CN111783512A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111783512A
CN111783512A CN201911094567.9A CN201911094567A CN111783512A CN 111783512 A CN111783512 A CN 111783512A CN 201911094567 A CN201911094567 A CN 201911094567A CN 111783512 A CN111783512 A CN 111783512A
Authority
CN
China
Prior art keywords
optimal
video frame
current
video
cache region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911094567.9A
Other languages
English (en)
Other versions
CN111783512B (zh
Inventor
辛辉敏
张喆晨
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Yu Vision Mdt Infotech Ltd
Original Assignee
Xi'an Yu Vision Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Yu Vision Mdt Infotech Ltd filed Critical Xi'an Yu Vision Mdt Infotech Ltd
Priority to CN201911094567.9A priority Critical patent/CN111783512B/zh
Publication of CN111783512A publication Critical patent/CN111783512A/zh
Application granted granted Critical
Publication of CN111783512B publication Critical patent/CN111783512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、设备及存储介质。该方法包括:在遍历视频帧序列过程中,若当前视频帧为当前对象的最优视频帧,则将所述当前视频帧存入视频缓存区中;确定所述视频缓存区中视频帧的最优对象;其中,所述视频缓存区中每个对象具有唯一最优视频帧;若所述视频缓存区中任一对象在该对象的最优视频帧中的最优信息大于信息阈值,则从该最优视频帧中提取该对象的最优图像。本发明实施例通过判断视频帧缓存区中对象的最优视频帧中的最优信息是否大于信息阈值,从而确定是否需要从最优视频帧中提取最优图像,以保证最优图像质量的基础上,节省视频缓存区中的内存空间。

Description

图像处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
人脸检测与识别技术被广泛应用于监控安防领域,检测与识别算法越来越成熟。对于监控视频中的视频帧,检测并识别其中的人脸图像,从而实现对目标身份的识别以及对目标的追踪。
但是,在目前的目标识别中,仅根据识别出的人脸对确定目标的信息,无法更全面地通过目标的特征确定目标的信息。另外,由于设备中的内存有限,当前的图像识别技术难以实现在内存有限的设备上对大量图像进行有效识别。而且,在对识别出的图像进行传输时,一般是将识别出的人脸图像与背景图像进行同时传输,背景图像重复传输会导致增大传输带宽负担的问题。
发明内容
本发明实施例提供一种图像处理方法、装置、设备及存储介质,以在保证最优图像质量的基础上实现对象的最优图像的提取,并节省视频缓存区的内存。
第一方面,本发明实施例提供了一种图像处理方法,该方法包括:
在遍历视频帧序列过程中,若当前视频帧为当前对象的最优视频帧,则将所述当前视频帧存入视频缓存区中;
确定所述视频缓存区中视频帧的最优对象;其中,所述视频缓存区中每个对象具有唯一最优视频帧;
若所述视频缓存区中任一对象在该对象的最优视频帧中的最优信息大于信息阈值,则从该最优视频帧中提取该对象的最优图像。
第二方面,本发明实施例提供了一种图像处理装置,该装置包括:
遍历模块,用于在遍历视频帧序列过程中,若当前视频帧为当前对象的最优视频帧,则将所述当前视频帧存入视频缓存区中;
最优对象确定模块,用于确定所述视频缓存区中视频帧的最优对象;其中,所述视频缓存区中每个对象具有唯一最优视频帧;
最优对象提取模块,用于若所述视频缓存区中任一对象在该对象的最优视频帧中的最优信息大于信息阈值,则从该最优视频帧中提取该对象的最优图像。
第三方面,本发明实施例还提供了一种设备,该设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例中任一所述的图像处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一所述的图像处理方法。
本发明实施例中,通过遍历视频帧帧序列过程中,确定当前对象的最优视频帧,并存入视频缓存中,从而有效保存当前对象的最优视频帧,由于无需保存所有的当前视频帧,因此节省了视频缓存区的内存。通过确定视频帧缓存区视频帧的最优对象,从而确定视频帧中最优对象的数量,便于根据视频帧确定最优对象的最优图像。在缓存区中任一对象在最优视频帧中的最优信息大于信息阈值时,从最优视频帧中提取该对象的最优图像,从而在保证最优图像的图像质量的前提下,节省视频缓存区的内存。
附图说明
图1为本发明一种实施例提供的一种图像处理方法的流程图;
图2为本发明又一实施例提供的一种图像处理方法的流程图;
图3为本发明一种实施例提供的一种图像处理装置结构示意图;
图4为本发明一种实施例提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明一种实施例提供的一种图像处理方法的流程图。本实施例提供的图像处理方法可适用于对视频帧序列中对象的图像进行识别的情况,典型的,本发明实施例可以适用于在图像处理的过程中,及时提取对象的最优图像,节省视频帧缓存区内存的情况。该方法具体可以由图像处理装置来执行,该装置可以由软件和/或硬件的方式实现,该装置可以集成在设备中。参见图1,本发明实施例的方法具体包括:
S110、在遍历视频帧序列过程中,若当前视频帧为当前对象的最优视频帧,则将所述当前视频帧存入视频缓存区中。
其中,所述视频帧序列可以为通过图像采集设备采集的监控环境中的视频中的视频帧序列。所述当前视频帧为遍历过程中当前所检测的视频帧。所述当前对象可以为视频帧序列中识别到的人。所述最优视频帧可以为包含当前对象的最优图像的视频帧,即当前视频帧中的当前对象的最优图像能够充分体现当前对象的人物特征,以根据最优图像实现对当前对象的识别。
示例性的,遍历视频帧序列中的视频帧,对当前视频帧进行对象的检测和识别,如果识别到当前视频帧中存在人物图像,则对当前视频帧进行后续操作;若未识别到人物图像,则将该当前视频帧删除,不对当前视频帧执行其他操作,继续进行视频帧序列的遍历操作。其中,所述最优视频帧包括与当前对象关联的人脸最优视频帧和人体最优视频帧。例如,对当前视频帧根据人脸检测算法和人体检测算法进行检测和识别,分别识别得到任务的人脸图像和人体图像,并分别判断当前视频帧中的人脸图像是否为当前对象的最优人脸图像,以及人体图像是否为当前对象的最优人体图像。若当前视频帧中包括当前对象的最优人脸图像,则将当前视频帧作为当前对象的人脸最优视频帧,若当前视频帧中包括当前对象的最优人体图像,则将当前视频帧作为当前对象的人体最优视频帧。
对于存在人物图像的当前视频帧,判断当前视频帧是否为当前对象的最优视频帧,若是,则将当前视频帧存入视频缓存区中。由于视频缓存区中存储的为当前对象的最优视频帧,而不是将当前对象的所有视频帧都存储到视频缓存区中,因此能够节省视频缓存区的内存空间。
S120、确定所述视频缓存区中视频帧的最优对象;其中,所述视频缓存区中每个对象具有唯一最优视频帧。
其中,由于当前视频帧为当前对象的最优视频帧,才能够将当前视频帧存入视频缓存区中,因此视频缓存区中视频帧的最优对象为至少一个,每个对象具有对应的唯一最优视频帧。
可选的,确定所述视频缓存区中视频帧的最优对象,包括:若当前视频帧为当前对象的最优视频帧,则将所述当前对象作为所述当前视频帧的最优对象;若所述视频缓存区中存储有当前对象的上一最优视频帧,则从上一最优视频帧的最优对象中删除当前对象。
示例性的,如果当前视频帧为当前对象的最优视频帧,则将当前对象作为当前视频帧的最优对象,例如,当前视频帧中存在A、B、C、D和E五个当前对象,但是当前视频帧只为A、C和D三个当前对象的最优视频帧,则A、C和为当前视频帧的最优对象,即当前视频帧的最优对象为三个。由于每个对象具有唯一最优视频帧,因此,查询视频缓存区中的视频帧,判断视频缓存区中是否存储有当前对象的上一最优视频帧,若存在,则从上一最优视频帧的最优对象中删除当前对象,即只将当前对象作为当前视频帧的最优对象。
S130、若所述视频缓存区中任一对象在该对象的最优视频帧中的最优信息大于信息阈值,则从该最优视频帧中提取该对象的最优图像。
其中,最优信息可以为通过对象对应的最优视频帧中的最优图像获得的信息,例如,可以包括对象的标识信息、最优视频帧的帧号、最优图像的评分、对象位置信息以及对象属性信息等,用于记录对象的信息,所述最优信息可以存储于对象信息缓存区中,例如,在遍历视频帧序列的过程中,若当前视频帧为当前对象的最优视频帧,则将根据最优视频帧获取的对象对应的最优信息存储于对象信息缓存区中。在对象信息缓存区中,每一个当前对象对应唯一的最优信息,即对象的最优信息与最优视频帧为对应的。信息阈值可以根据实际情况进行设定。
示例性的,遍历视频缓存区中的视频帧,若任一对象在该对象对应的最优视频帧中的最优信息大于信息阈值,则说明该对象在最优视频帧中的最优信息能够最准确地表达该对象的特征,即该对象在最优视频帧中的图像能够准确清晰地体现该对象的特征,该对象在最优视频帧中的图像能够作为该对象的最优图像,因此,从该最优视频帧中提取该对象的最优图像,以确定对该对象的识别结果。
可选的,从该最优视频帧中提取该对象的最优图像之后,还包括:从该最优视频帧的最优对象中删除该对象;相应地,所述方法还包括:若所述任一视频帧的最优对象均删除,则从所述视频缓存区中删除该视频帧。
如果将视频缓存区中的视频帧一直保存,则会占用视频缓存区中的大量内存,而此时遍历操作仍在进行,依然需要持续将当前视频帧存入视频缓存区中,若不对视频缓存区中保存的视频帧进行处理,有可能导致视频帧缓存区存储空间不足,无法再向视频缓存区中进行存储。因此,在本发明实施例中,若已经从最优视频帧中提取对象的最优图像,则从最优视频帧的最优对象中删除该对象,若任一视频帧中的最优对象均已删除,即视频帧不是任一对象的最优视频帧,则将该视频帧从视频缓存区中删除以节省视频缓存区的内存。
本发明实施例中,通过遍历视频帧帧序列过程中,确定当前对象的最优视频帧,并存入视频缓存中,从而有效保存当前对象的最优视频帧,由于无需保存所有的当前视频帧,因此节省了视频缓存区的内存。通过确定视频帧缓存区视频帧的最优对象,从而确定视频帧中最优对象的数量,便于根据视频帧确定最优对象的最优图像。在缓存区中任一对象在最优视频帧中的最优信息大于信息阈值时,从最优视频帧中提取该对象的最优图像,从而在保证最优图像的图像质量的前提下,节省视频缓存区的内存。
图2为本发明又一实施例提供的一种图像处理方法的流程图。本发明实施例为对上述实施例的进一步优化,未在本实施例中详细描述的细节详见上述实施例。参见图2,本实施例提供的图像处理方法可以包括:
S210、在遍历视频帧序列过程中,提取所述当前视频帧中的当前对象。
示例性的,在遍历视视频帧序列的过程中,对当前视频帧中的人物图像进行检测和识别,从而确定当前视频帧中的当前对象。在对当前视频帧中的人物图像进行检测和识别时,确定当前对象在当前视频帧中的信息,即当前对象的标识信息、当前对象在当前视频帧中图像的评分、当前对象的位置信息以及当前对象的属性信息等。
S220、判断视频缓存区中是否存储有当前对象的最优视频帧,若是,则执行S230;若否,则执行S240。
具体的,可以根据当前对象的标识信息,确定视频缓存区中是否存储有当前对象的最优视频帧。示例性的,可以将当前对象的标识信息与对象信息缓存区中的最优信息中的标识信息进行匹配,由于对象信息缓存区中的最优信息与视频缓存区中的最优视频帧为对应的,并且为同时存储的,因此,若当前对象的标识信息与对象信息缓存区中的最优信息中的标识信息匹配成功,则说明视频缓存区中存储有当前对象的最优视频帧,若不匹配,则说明视频缓存区中没有存储当前对象的最优视频帧。
S230、若当前对象在当前视频帧中的信息优于当前对象在该最优视频帧中的最优信息,则确定当前视频帧为当前对象的最优视频帧。
示例性的,将当前对象在当前视频帧中的信息与当前对象在最优视频帧中的最优信息进行对比,例如,将当前对象在当前视频帧中的图像的评分,与当前对象在最优视频帧中的最优信息中的最优图像的评分进行对比,若当前对象在当前视频帧中的图像的评分高于当前对象在最优视频帧中的最优信息中的最优图像评分,则将当前视频帧确定为当前对象的最优视频帧,若当前对象在当前视频帧中的图像的评分低于或等于当前对象在最优视频帧中的最优信息中的最优图像评分,则确定当前视频帧不是当前对象的最优视频帧。若对于当前视频帧中的所有当前对象,该当前视频帧都不是当前对象的最优视频帧,则将该当前视频帧删除。
S240、将当前视频帧作为当前对象的最优视频帧。
示例性的,若根据当前对象的标识信息判断,视频缓存区中未存储当前对象的最优视频帧,则将当前视频帧作为当前对象的最优视频帧。
S250、将所述当前视频帧存入视频缓存区中。
示例性的,将当前视频帧存入视频缓存区中,同时将当前对象在最优视频帧中的最优信息,存入对象信息缓存区中。
S260、确定所述视频缓存区中视频帧的最优对象;其中,所述视频缓存区中每个对象具有唯一最优视频帧。
S270、若所述视频缓存区中任一对象在该对象的最优视频帧中的最优信息大于信息阈值,则从该最优视频帧中提取该对象的最优图像。
可选的,所述方法还包括:若所述视频缓存区中存储的视频帧数量大于第一预设数量,则执行最优图像提取操作。
其中,第一预设数量可以根据实际情况进行设定,示例性的,若视频缓存区中存储的视频帧大于第一预设数量,则说明视频缓存区中当前的剩余存储空间较小,需要对视频缓存区进行处理以使视频缓存区具有足够的空间以存储视频帧。因此,在本发明实施例中,若视频缓存区中存储的视频帧数量大于第一预设数量,则执行最优图像提取的操作,并在最优图像提取完成之后,从最优视频帧中删除该最优对象,当任一视频帧中的最优对象均删除,则从视频缓存区中删除该视频帧。
可选的,若不存在最优对象均删除的视频帧,且视频缓存区中的视频帧数量大于第一预设数量,则降低信息阈值,以使存在视频帧中的所有最优对象的最优信息均大于信息阈值,以满足删除该视频帧的条件。示例性的,若信息阈值为90分,如果不存在最优对象的信息均超过90分的视频帧,则将信息阈值设置为85分,继续判断是否存在最优对象的信息均超过85分的视频帧。
可选的,若仍不存在最优对象均删除的视频帧,且视频缓存区中的视频帧数量大于第一预设数量,则从视频缓存区中查询最优对象数量最小的视频帧,从该视频帧中提取最优对象的最优图像,并将该视频帧从视频缓存区中删除。例如,3个视频帧中的最优对象的个数分别为3个、7个和5个,则将最优对象为3个的视频帧作为处理对象,提取其中的所有最优对象的最优图像,并将该视频帧从视频缓存区中删除。
可选的,所述方法还包括:若视频缓存区中视频帧的任一最优对象,与连续的第二预设数量帧当前视频帧中的当前对象均不相同,则执行最优图像提取操作。
示例性的,在遍历视频缓存区的过程中,若当前视频帧的最优对象,与对象信息缓存中的最优信息中的标识信息相匹配,则说明该最优对象并不是新出现的对象,则将该对象的对象标记设置为零,其中对象标记存储于对象信息缓存中。若当前视频帧的最优对象,与对象信息缓存中的最优信息中的标识信息不匹配,则将对象标记加一,并保存于对象信息缓存中。若对象标记满足第二预设数量,则说明该对象已不再继续出现于视频帧序列中,因此执行最优图像提取操作,以节省视频缓存区的内存。
S280、将从最优视频帧中提取的至少一个最优图像,以及得到的背景图像发送至服务器。
若将各对象的最优图像与提取最优图像后的背景图像均发送至服务器,则可能存在不同对象的最优图像在同一视频帧中,因此会导致背景图像重复发送的问题,因此,在本发明实施例中,从视频帧中提取最优对象的最优图像之后,将得到的背景图与最优图像存入图片缓存区中,并设置背景图的唯一标识,根据唯一标识将背景图与各对象的最优图像建立关联。若该背景图关联的最优图像的数量与该视频帧中最优对象的数量相等,则将该背景图与其关联的最少一个最优图像发送至服务器。其中,最优图像包括最优人脸图像和最优人体图像。可选的,将最优图像关联的图像描述信息,以及最优图像发送至服务器,图像描述信息包括最优图像类型、图像的标识信息等。可选的,数据发送传输的格式可以为XML(Extensible Markup Language,可扩展标记语言)、JSON(JavaScriptObjectNotation,Java脚本对象简谱)等数据格式。由于在本发明实施例中,对应多个最优图像的背景图像只需要传输一次,而不必多次重复传输,因此有效降低了对传输带宽的要求。
本发明实施例的技术方案,通过判断视频缓存区中是否存储有当前对象的最优视频帧,从而能够确定当前对象是否是出现过的对象,并根据判断结果确定当前对象的最优视频帧,通过在视频缓存区中存储的视频帧数量大于第一预设数量,以及视频缓存区中视频帧的最优对象,与遍历视频帧序列过程中连续遍历的第二预设数量个当前视频帧中的当前对象均不相同时,则执行最优图像提取操作,从而有效地降低了视频缓存区中的内存。通过将从最优视频帧中提取的至少一个最优图像,以及得到的背景图像发送至服务器,从而有效降低了对传输带宽的要求。
图3为本发明一种实施例提供的一种图像处理装置结构示意图。该装置适用于对视频帧序列中对象的图像进行识别的情况,典型的,本发明实施例可以适用于在图像处理的过程中,及时提取对象的最优图像,节省视频帧缓存区内存的情况。该装置可以由软件和/或硬件的方式实现,该装置可以集成在设备中。
参见图3,该装置具体包括:
遍历模块310,用于在遍历视频帧序列过程中,若当前视频帧为当前对象的最优视频帧,则将所述当前视频帧存入视频缓存区中;
最优对象确定模块320,用于确定所述视频缓存区中视频帧的最优对象;其中,所述视频缓存区中每个对象具有唯一最优视频帧;
最优对象提取模块330,用于若所述视频缓存区中任一对象在该对象的最优视频帧中的最优信息大于信息阈值,则从该最优视频帧中提取该对象的最优图像。
可选的,还包括:
当前对象提取模块,用于提取所述当前视频帧中的当前对象;
第一确定模块,用于若视频缓存区中存储有当前对象的最优视频帧,且当前对象在当前视频帧中的信息优于当前对象在该最优视频帧中的最优信息,则确定当前视频帧为当前对象的最优视频帧;
第二确定模块,用于若视频缓存区中未存储当前对象的最优视频帧,则将当前视频帧作为当前对象的最优视频帧。
可选的,最优对象确定模块320,包括:
当前视频帧最优对象确定单元,用于若当前视频帧为当前对象的最优视频帧,则将所述当前对象作为所述当前视频帧的最优对象;
当前对象删除单元,用于若所述视频缓存区中存储有当前对象的上一最优视频帧,则从上一最优视频帧的最优对象中删除当前对象。
可选的,还包括:
最优对象删除模块,用于从该最优视频帧中提取该对象的最优图像之后,从该最优视频帧的最优对象中删除该对象;
视频帧删除模块,用于若所述任一视频帧的最优对象均删除,则从所述视频缓存区中删除该视频帧。
可选的,还包括:
第一最优图像提取操作执行模块,用于若所述视频缓存区中存储的视频帧数量大于第一预设数量,或者,若视频缓存区中视频帧的任一最优对象,与连续的第二预设数量帧当前视频帧中的当前对象均不相同,则执行最优图像提取操作。
可选的,所述最优视频帧包括与当前对象关联的人脸最优视频帧和人体最优视频帧。
可选的,还包括:
发送模块,用于将从最优视频帧中提取的至少一个最优图像,以及得到的背景图像发送至服务器。
本发明实施例的技术方案,通过遍历模块在遍历视频帧序列过程中,若当前视频帧为当前对象的最优视频帧,则将所述当前视频帧存入视频缓存区中,从而有效保存当前对象的最优视频帧,由于无需保存所有的当前视频帧,因此节省了视频缓存区的内存。通过最优对象确定模块确定所述视频缓存区中视频帧的最优对象;其中,所述视频缓存区中每个对象具有唯一最优视频帧,从而确定视频帧中最优对象的数量,便于根据视频帧确定最优对象的最优图像。通过最优对象提取模块若所述视频缓存区中任一对象在该对象的最优视频帧中的最优信息大于信息阈值,则从该最优视频帧中提取该对象的最优图像,从而在保证最优图像的图像质量的前提下,节省视频缓存区的内存。
图4为本发明一种实施例提供的一种设备的结构示意图。图4示出了适于用来实现本发明实施例的示例性设备412的框图。图4显示的设备412仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,设备412包括:一个或多个处理器416;存储器428,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器416执行,使得所述一个或多个处理器416实现本发明实施例所提供的图像处理方法,包括:
在遍历视频帧序列过程中,若当前视频帧为当前对象的最优视频帧,则将所述当前视频帧存入视频缓存区中;
确定所述视频缓存区中视频帧的最优对象;其中,所述视频缓存区中每个对象具有唯一最优视频帧;
若所述视频缓存区中任一对象在该对象的最优视频帧中的最优信息大于信息阈值,则从该最优视频帧中提取该对象的最优图像。
以通用设备的形式表现。设备412的组件可以包括但不限于:一个或者多个处理器或者处理器416,系统存储器428,连接不同系统组件(包括系统存储器428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备412典型地包括多种计算机系统可读存储介质。这些存储介质可以是任何能够被设备412访问的可用存储介质,包括易失性和非易失性存储介质,可移动的和不可移动的存储介质。
系统存储器428可以包括易失性存储器形式的计算机系统可读存储介质,例如随机存取存储器(RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统434可以用于读写不可移动的、非易失性磁存储介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光存储介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据存储介质接口与总线418相连。存储器428可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440,可以存储在例如存储器428中,这样的程序模块462包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块462通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器426等)通信,还可与一个或者多个使得用户能与该设备412交互的设备通信,和/或与使得该设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且,设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器420通过总线418与设备412的其它模块通信。应当明白,尽管图4中未示出,可以结合设备412使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在系统存储器428中的多个程序中其他程序的至少一个,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的一种图像处理方法。
本发明一种实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种图像处理方法:
在遍历视频帧序列过程中,若当前视频帧为当前对象的最优视频帧,则将所述当前视频帧存入视频缓存区中;
确定所述视频缓存区中视频帧的最优对象;其中,所述视频缓存区中每个对象具有唯一最优视频帧;
若所述视频缓存区中任一对象在该对象的最优视频帧中的最优信息大于信息阈值,则从该最优视频帧中提取该对象的最优图像。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的存储介质的任意组合。计算机可读存储介质可以是计算机可读信号存储介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明实施例中,计算机可读存储介质可以是任何包含或存储程序的有形存储介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号存储介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读存储介质上包含的程序代码可以用任何适当的存储介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或设备上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像处理方法,其特征在于,所述方法包括:
在遍历视频帧序列过程中,若当前视频帧为当前对象的最优视频帧,则将所述当前视频帧存入视频缓存区中;
确定所述视频缓存区中视频帧的最优对象;其中,所述视频缓存区中每个对象具有唯一最优视频帧;
若所述视频缓存区中任一对象在该对象的最优视频帧中的最优信息大于信息阈值,则从该最优视频帧中提取该对象的最优图像。
2.根据权利要求1所述的方法,其特征在于,所述最优视频帧包括与当前对象关联的人脸最优视频帧和人体最优视频帧。
3.根据权利要求1所述的方法,其特征在于,若当前视频帧为当前对象的最优视频帧,则将所述当前视频帧存入视频缓存区中之前,还包括:
提取所述当前视频帧中的当前对象;
若视频缓存区中存储有当前对象的最优视频帧,且当前对象在当前视频帧中的信息优于当前对象在该最优视频帧中的最优信息,则确定当前视频帧为当前对象的最优视频帧;
若视频缓存区中未存储当前对象的最优视频帧,则将当前视频帧作为当前对象的最优视频帧。
4.根据权利要求1所述的方法,其特征在于,确定所述视频缓存区中视频帧的最优对象,包括:
若当前视频帧为当前对象的最优视频帧,则将所述当前对象作为所述当前视频帧的最优对象;
若所述视频缓存区中存储有当前对象的上一最优视频帧,则从上一最优视频帧的最优对象中删除当前对象。
5.根据权利要求1所述的方法,其特征在于,从该最优视频帧中提取该对象的最优图像之后,还包括:从该最优视频帧的最优对象中删除该对象;
相应地,所述方法还包括:若所述任一视频帧的最优对象均删除,则从所述视频缓存区中删除该视频帧。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述视频缓存区中存储的视频帧数量大于第一预设数量,或者,若视频缓存区中视频帧的任一最优对象,与连续的第二预设数量帧当前视频帧中的当前对象均不相同,则执行最优图像提取操作。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将从最优视频帧中提取的至少一个最优图像,以及得到的背景图像发送至服务器。
8.一种图像处理装置,其特征在于,所述装置包括:
遍历模块,用于在遍历视频帧序列过程中,若当前视频帧为当前对象的最优视频帧,则将所述当前视频帧存入视频缓存区中;
最优对象确定模块,用于确定所述视频缓存区中视频帧的最优对象;其中,所述视频缓存区中每个对象具有唯一最优视频帧;
最优对象提取模块,用于若所述视频缓存区中任一对象在该对象的最优视频帧中的最优信息大于信息阈值,则从该最优视频帧中提取该对象的最优图像。
9.一种设备,其特征在于,所述设备包括:一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的一种图像处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的一种图像处理方法。
CN201911094567.9A 2019-11-11 2019-11-11 图像处理方法、装置、设备及存储介质 Active CN111783512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911094567.9A CN111783512B (zh) 2019-11-11 2019-11-11 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911094567.9A CN111783512B (zh) 2019-11-11 2019-11-11 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111783512A true CN111783512A (zh) 2020-10-16
CN111783512B CN111783512B (zh) 2024-05-14

Family

ID=72755756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911094567.9A Active CN111783512B (zh) 2019-11-11 2019-11-11 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111783512B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020224A1 (en) * 2008-07-24 2010-01-28 Canon Kabushiki Kaisha Method for selecting desirable images from among a plurality of images and apparatus thereof
CN103997645A (zh) * 2014-04-29 2014-08-20 长沙理工大学 一种快速的hevc帧内编码单元和模式决策方法
CN106157278A (zh) * 2015-03-23 2016-11-23 南通录万电子有限公司 基于改进遗传算法的阈值图像分割方法
CN106548114A (zh) * 2015-09-17 2017-03-29 腾讯科技(北京)有限公司 图像处理方法及装置
GB201704100D0 (en) * 2017-03-15 2017-04-26 Advanced Risc Mach Ltd Video data processing system
CN107645621A (zh) * 2016-07-20 2018-01-30 阿里巴巴集团控股有限公司 一种视频处理的方法和设备
CN108491822A (zh) * 2018-04-02 2018-09-04 杭州高创电子科技有限公司 一种基于嵌入式设备有限缓存的人脸检测去重方法
CN108875512A (zh) * 2017-12-05 2018-11-23 北京旷视科技有限公司 人脸识别方法、装置、系统、存储介质和电子设备
CN109035246A (zh) * 2018-08-22 2018-12-18 浙江大华技术股份有限公司 一种人脸的图像选择方法及装置
CN109274971A (zh) * 2012-11-30 2019-01-25 索尼公司 图像处理设备和图像处理方法
CN109874012A (zh) * 2017-12-04 2019-06-11 北京金山云网络技术有限公司 一种视频编码方法、编码器、电子设备及介质
CN110149530A (zh) * 2018-06-15 2019-08-20 腾讯科技(深圳)有限公司 一种视频处理方法和装置
CN110263680A (zh) * 2019-06-03 2019-09-20 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN110399848A (zh) * 2019-07-30 2019-11-01 北京字节跳动网络技术有限公司 视频封面生成方法、装置及电子设备
CN113362233A (zh) * 2020-03-03 2021-09-07 浙江宇视科技有限公司 图片处理方法、装置、设备、系统及存储介质
CN114691603A (zh) * 2020-12-31 2022-07-01 浙江宇视科技有限公司 目标信息存储方法、装置、电子设备及介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020224A1 (en) * 2008-07-24 2010-01-28 Canon Kabushiki Kaisha Method for selecting desirable images from among a plurality of images and apparatus thereof
CN109274971A (zh) * 2012-11-30 2019-01-25 索尼公司 图像处理设备和图像处理方法
CN103997645A (zh) * 2014-04-29 2014-08-20 长沙理工大学 一种快速的hevc帧内编码单元和模式决策方法
CN106157278A (zh) * 2015-03-23 2016-11-23 南通录万电子有限公司 基于改进遗传算法的阈值图像分割方法
CN106548114A (zh) * 2015-09-17 2017-03-29 腾讯科技(北京)有限公司 图像处理方法及装置
CN107645621A (zh) * 2016-07-20 2018-01-30 阿里巴巴集团控股有限公司 一种视频处理的方法和设备
GB201704100D0 (en) * 2017-03-15 2017-04-26 Advanced Risc Mach Ltd Video data processing system
CN109874012A (zh) * 2017-12-04 2019-06-11 北京金山云网络技术有限公司 一种视频编码方法、编码器、电子设备及介质
CN108875512A (zh) * 2017-12-05 2018-11-23 北京旷视科技有限公司 人脸识别方法、装置、系统、存储介质和电子设备
CN108491822A (zh) * 2018-04-02 2018-09-04 杭州高创电子科技有限公司 一种基于嵌入式设备有限缓存的人脸检测去重方法
CN110149530A (zh) * 2018-06-15 2019-08-20 腾讯科技(深圳)有限公司 一种视频处理方法和装置
CN109035246A (zh) * 2018-08-22 2018-12-18 浙江大华技术股份有限公司 一种人脸的图像选择方法及装置
CN110263680A (zh) * 2019-06-03 2019-09-20 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN110399848A (zh) * 2019-07-30 2019-11-01 北京字节跳动网络技术有限公司 视频封面生成方法、装置及电子设备
CN113362233A (zh) * 2020-03-03 2021-09-07 浙江宇视科技有限公司 图片处理方法、装置、设备、系统及存储介质
CN114691603A (zh) * 2020-12-31 2022-07-01 浙江宇视科技有限公司 目标信息存储方法、装置、电子设备及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A. ARUNKUMAR等: "Optimized buffer allocation for video multicasting applications with virtual memory implementation", 《 EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING》, 2 March 2018 (2018-03-02), pages 1 - 11 *
REIN-LIEN VINCENT HSU等: "Quality Assessment of Facial Images", 《2006 BIOMETRICS SYMPOSIUM: SPECIAL SESSION ON RESEARCH AT THE BIOMETRIC CONSORTIUM CONFERENCE》, 8 October 2007 (2007-10-08), pages 1 - 6 *
卫娟等: "基于局部特征在线学习的视频人脸识别", 《计算机应用与软件》, vol. 32, no. 06, 15 June 2015 (2015-06-15), pages 198 - 202 *
李睿轩: "基于帧缓存压缩技术的解码器优化解决方案", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 06, 15 June 2018 (2018-06-15), pages 138 - 1777 *
董恩增等: "基于主动视觉的人脸检测与跟踪算法研究", 《系统仿真学报》, vol. 27, no. 05, 8 May 2015 (2015-05-08), pages 973 - 979 *

Also Published As

Publication number Publication date
CN111783512B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN112633384B (zh) 基于图像识别模型的对象识别方法、装置和电子设备
CN109960932B (zh) 文件检测方法、装置和终端设备
US11475588B2 (en) Image processing method and device for processing image, server and storage medium
CN111209431A (zh) 一种视频搜索方法、装置、设备及介质
CN110879986A (zh) 人脸识别的方法、设备和计算机可读存储介质
CN110796108B (zh) 一种人脸质量检测的方法、装置、设备及存储介质
CN116433692A (zh) 一种医学图像分割方法、装置、设备和存储介质
CN113780163A (zh) 一种页面加载时间的检测方法、装置、电子设备及介质
CN110414625B (zh) 确定相似数据的方法、装置、电子设备及存储介质
CN112857746A (zh) 一种灯光检测仪的追踪方法、装置、电子设备及存储介质
CN113762455A (zh) 检测模型训练方法、单字检测方法、装置、设备及介质
CN111783512B (zh) 图像处理方法、装置、设备及存储介质
CN113378025B (zh) 数据处理方法、装置、电子设备及存储介质
CN111898529B (zh) 脸部检测方法、装置、电子设备和计算机可读介质
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
WO2018155594A1 (ja) 情報処理装置、情報処理方法、及びコンピュータ読み取り可能な記録媒体
CN113642443A (zh) 模型的测试方法、装置、电子设备及存储介质
CN109460511B (zh) 一种获取用户画像的方法、装置、电子设备及存储介质
CN111447637B (zh) 频谱数据采集方法、装置、设备及存储介质
CN113721240A (zh) 一种目标关联方法、装置、电子设备及存储介质
CN114093006A (zh) 活体人脸检测模型的训练方法、装置、设备以及存储介质
CN113449542B (zh) 一种换脸识别方法、装置、设备和介质
CN113989177A (zh) 图像数据处理方法、装置、设备及存储介质
CN114077858A (zh) 向量数据处理方法、装置、设备及存储介质
CN112380981B (zh) 人脸关键点的检测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant