CN108600656A - 在视频中添加面部标签的方法及装置 - Google Patents

在视频中添加面部标签的方法及装置 Download PDF

Info

Publication number
CN108600656A
CN108600656A CN201810353791.4A CN201810353791A CN108600656A CN 108600656 A CN108600656 A CN 108600656A CN 201810353791 A CN201810353791 A CN 201810353791A CN 108600656 A CN108600656 A CN 108600656A
Authority
CN
China
Prior art keywords
frame
video
video frame
label
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810353791.4A
Other languages
English (en)
Other versions
CN108600656B (zh
Inventor
袁培江
史震云
范斌
梁功伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201810353791.4A priority Critical patent/CN108600656B/zh
Publication of CN108600656A publication Critical patent/CN108600656A/zh
Application granted granted Critical
Publication of CN108600656B publication Critical patent/CN108600656B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种在视频中添加面部标签的方法及装置,所述方法包括:从视频中识别出包括面部特征的第一视频帧的帧标识和所述面部特征在所述第一视频帧中的位置;在所述视频中确定与所述第一视频帧的帧标识相同的第二视频帧;根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧中添加面部标签。本公开在视频中识别出包括面部特征的第一视频帧的帧标识和面部特征在视频帧中的位置,在视频中根据识别出的帧标识确定需要添加面部标签的视频帧,并根据识别出的位置在视频帧的相应位置添加面部标签。因此,可以对保存的视频或实时的视频进行面部识别后添加面部识别标签,实现利用视频进行安全防护等各种应用,且实时效果好。

Description

在视频中添加面部标签的方法及装置
技术领域
本公开涉及图像识别领域,尤其涉及一种在视频中添加面部标签的方法及装置。
背景技术
随着人脸识别技术的应用不断增多,通过人脸识别进行安全防护的需求也越来越多,例如通过小区的监控录像查找疑似犯罪通缉人员等。在某些应用场景下,例如在机场车站的安检口安装有监控摄像头,除利用摄像头拍摄的监控录像进行识别,还需要利用实时的监控视频快速的对通过的人员进行人脸识别,实时性的要求高。
发明内容
有鉴于此,本公开提出了一种在视频中添加面部标签的方法及装置。
根据本公开的一方面,提供了一种在视频中添加面部标签的方法,所述方法包括:
从视频中识别出包括面部特征的第一视频帧的帧标识和所述面部特征在所述第一视频帧中的位置;
在所述视频中确定与所述第一视频帧的帧标识相同的第二视频帧;
根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧中添加面部标签。
根据本公开的另一方面,提供了一种在视频中添加面部标签的装置,所述装置包括:
面部识别模块,用于从视频中识别出包括面部特征的第一视频帧的帧标识和所述面部特征在所述第一视频帧中的位置;
视频帧确定模块,用于在所述视频中确定与所述第一视频帧的帧标识相同的第二视频帧;
面部标签确定模块,用于根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧中添加面部标签。
根据本公开的另一方面,提供了一种在视频中添加面部标签的装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行时实现上述任意一项权利要求所述的方法。
根据本公开的另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现任意一项权利要求所述的方法。
在本公开的实施例中,在视频中识别出包括面部特征的第一视频帧的帧标识和面部特征在视频帧中的位置,在视频中根据识别出的帧标识确定需要添加面部标签的视频帧,并根据识别出的位置在视频帧的相应位置添加面部标签。可以对保存的视频或实时的视频进行面部识别,以及添加面部识别标签,实现利用视频进行安全防护等各种应用,且实时效果好。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图;
图2是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图;
图3是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图;
图4是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图;
图5是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图;
图6是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图;
图7是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图;
图8是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图;
图9是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图;
图10是根据一示例性实施例示出的一种在视频中添加面部标签的方法中MQ消息订阅线程的流程图;
图11是根据一示例性实施例示出的一种在视频中添加面部标签的方法中视频解码和缓冲线程的流程图;
图12是根据一示例性实施例示出的一种在视频中添加面部标签的方法中MQ消息订阅线程的流程图;
图13是根据一示例性实施例示出的一种在视频中添加面部标签的方法中添加告警标签的流程图;
图14是根据一示例性实施例示出的一种在视频中添加告警标签的MQ消息订阅线程的流程图;
图15是根据一示例性实施例示出的一种在视频中添加告警标签的主线程的流程图;
图16是根据一示例性实施例示出的一种在视频中添加告警标签的方法中告警标签显示位置方案1的示意图;
图17是根据一示例性实施例示出的一种在视频中添加告警标签的方法中告警标签显示位置方案2的示意图;
图18是根据一示例性实施例示出的一种在视频中添加告警标签的方法中告警标签显示位置方案3的示意图;
图19是根据一示例性实施例示出的一种在视频中添加告警标签的方法中告警标签重叠显示的示意图;
图20是根据一示例性实施例示出的一种在视频中添加告警标签的方法中多路视频并发叠加标签的流程图;
图21是根据一示例性实施例示出的一种在视频中添加面部标签的装置的框图;
图22是根据一示例性实施例示出的一种在视频中添加面部标签的装置的框图;
图23是根据一示例性实施例示出的一种用于在视频中添加面部标签的装置的框图;
图24是根据一示例性实施例示出的一种用于在视频中添加面部标签的装置的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图1是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图,如图1所示,所述方法包括如下步骤:
步骤S10,从视频中识别出包括面部特征的第一视频帧的帧标识和所述面部特征在所述第一视频帧中的位置。
在本公开中,视频可以包括已经保存的完整的视频,也可以包括实时监控录像给出的实时的视频。首先,可以预先为视频的各视频帧设置对应的帧标识。帧标识可以为顺序编号,也可以为按照一定规则设置的唯一标识。例如,将视频1从第一帧开始按照数字1开始进行顺序编码,如果视频1包括100帧,则按照数字编号为从第1帧到第100帧。然后,可以利用面部识别技术对视频进行面部识别,例如利用训练好的面部识别神经网络模型对视频进行面部识别,从视频中识别出包含面部的视频帧。进一步地,可以获取包含面部的视频帧的帧标识,并从该视频帧中识别出面部特征,以确定面部特征在该视频帧中的位置。举例而言,面部特征可以包括面部的所有者标识、面部的男女属性等。面部特征在帧视频中的位置可以包括识别出的面部在视频帧中的坐标值等。
在视频中识别出面部特征包括多种情况:一种情况是,识别出视频中各视频帧中出现的所有活体的面部特征。另一种情况是,根据具体的识别需求,从视频的各视频帧中识别出特定活体的面部特征。例如从视频的各视频帧中识别犯罪嫌疑人的面部特征。
例如,利用训练好的面部识别神经网络模型,对视频1进行面部识别。视频1包括面部特征的各视频帧为第10帧至第100帧。从第10帧中识别出三个人的面部,分别为人物A、人物B和人物C。人物A在第10帧中的坐标为坐标1。人物B在第10帧中的坐标为坐标2。人物C在第10帧中的坐标为坐标3。第11帧中识别出四个人的面部,分别为人物A、人物B、人物C和人物D。人物A在第11帧中的坐标为坐标4。人物B在第11帧中的坐标为坐标5。人物C在第11帧中的坐标为坐标6。人物D在第11帧中的坐标为坐标7。其他帧也是类似的,不再赘述。
步骤S20,在所述视频中确定与所述第一视频帧的帧标识相同的第二视频帧。
为了在视频中添加面部标签,首先需要确定在视频中需要添加面部标签的视频帧。即在视频中确定出与步骤S10中给出的识别出面部特征的帧标识相同的视频帧。例如,对视频1利用步骤S10进行面部识别后,得到了第10帧至第100帧中出现面部的识别结果。然后,根据识别结果,在视频1的第10帧到第100分别添加对应的面部标签。在对视频1添加面部标签时,也可以按照预设的帧标识查找到相应的视频帧再添加标签。
步骤S30,根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧中添加面部标签。
在确定出的需要添加面部标签的视频帧中,根据步骤S10中识别出的面部特征的位置,在视频中添加面部标签。例如在视频1的第10帧中,分别按照坐标1、坐标2和坐标3,添加面部标签。面部标签包括方框或箭头等标签。
如果步骤S10中对视频进行面部识别,是对实时监控录像给出的实时视频帧进行面部识别,在步骤30中可以在实时视频帧中添加面部标签。这样,可以实现对视频的实时添加面部标签,提高视频的识别效率。
在本公开的实施例中,从视频中识别出包括面部特征的第一视频帧的帧标识和面部特征在视频帧中的位置后,可以根据帧标识和识别出的位置在第2视频帧的相应位置添加面部标签,不仅有利于对视频中的活体例如人物进行抓拍识别,还可以筛选出特定对象例如具有特定面部特征的人群,实时的在视频画面上以醒目标签警示出来,便于后续工作展开。例如:小区监控发现疑似犯罪通缉人员并立即告警提示抓捕等。因此,有利于实现安全防护等各种应用,且实时效果好。
图2是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图,如图2所示,步骤S10包括如下步骤:
步骤S11,对所述视频进行抓拍,获取抓拍帧。
步骤S12,对抓拍帧进行面部识别。
步骤S13,如果从抓拍帧中识别出面部特征,则将抓拍帧的帧标识作为第一视频帧的帧标识,将所述面部特征在所述抓拍帧中的位置作为所述面部特征在所述第一视频帧中的位置。
在一种可能的实现方式中,某些面部特征出现在视频中时,往往在多个连续的视频帧中同时出现。对视频进行面部识别时,为提高面部识别的效率,可以先从视频获取抓拍帧,再对抓拍帧进行面部识别,获取包含识别出的面部的抓拍帧的帧标识,并从抓拍帧中获取面部特征的位置。然后,可以根据视频中面部特征出现的频率,确定抓拍时的视频帧的间隔。
对视频进行抓拍以及面部识别的装置可以是抓拍机,对视频进行解析并叠加标签的装置可以是客户端。抓拍机和客户端可以是两个独立的设备,也可以集成在一个设备上。
例如,在视频1中,人物A、人物B和人物C,在第10帧至第第100帧中连续出现。以9帧为间隔对视频1进行抓拍,获取第1帧、第11帧、第21帧……为抓拍帧。通过对抓拍帧进行面部识别,识别出在第11帧,第21帧……第91帧中均出现了人物A、人物B和人物C。得到帧标识为第11帧,第21帧……第91帧。识别出的面部在抓拍帧中的位置分别为第11帧中人物A的坐标10、人物B的坐标11、人物C的坐标12;第21帧中人物A的坐标13、人物B的坐标14、人物C的坐标15……。
在为视频添加面部标签时,根据上述识别出面部的抓拍帧的帧标识和面部特征的位置信息,将视频中的第11帧,第21帧……第91帧,分别按照识别出的面部特征对应的坐标,添加面部标签。
图3是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图,如图3所示,本实施例还包括如下步骤:
步骤S40,根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧以及所述第二视频帧之后的连续N个视频帧中添加面部标签。
由于对视频按照一定间隔M进行抓拍,只在抓拍帧上添加面部标签,在播放视频时标签可能会一闪而过看不清楚。因此,为使观看者在视频播放时更加清晰的看到面部标签,在为视频的抓拍帧添加面部标签时,不但可以在识别出面部特征的抓拍帧中添加面部标签,还可以在识别出面部特征的抓拍帧之后连续N个视频帧中,都添加面部标签。通常,当按照间隔M个视频帧对视频进行抓拍时,M大于N。
例如以9帧为间隔对视频1进行抓拍,识别出在第11帧,第21帧……第91帧中均出现了人物A、人物B和人物C。如只在第11帧,第21帧……第91帧添加面部标签。由于视频帧的播放速度快,添加的面部标签可能一闪而过,使观看者无法清晰的看到。在为视频添加面部标签时,可在第11帧至第18帧(或第11帧至第19帧)、第21帧至第28帧(或第21帧至第29帧)……中均添加面部标签,面部标签的显示时间变长,观看者可以更加清晰的看到面部标签。
图4是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图,如图4所示,本实施例还包括如下步骤:
步骤S50,如果所述面部特征与目标对象相符合,在所述第二视频帧中添加告警标签。
在一种可能的实现方式中,目标对象包括犯罪嫌疑人的面部特征的集合等,观看者可以根据目标对象从视频中识别出来的特定的面部特征。当从视频中识别出的面部特征与目标对象集符合时,可以在视频中添加告警标签提示观看者。告警标签可以利用与面部标签不同的颜色、不同的形状、增加底色,也可以利用增加告警声音等形式,与面部标签进行区分,达到提示观看者的目的。
在一种可能的实现方式中,所述告警标签包括信息框和连接线,所述信息框内显示告警信息,所述连接线连接所述信息框和所述第二视频帧中的面部特征。
告警标签包括信息框和连接线。其中,信息框可以用于显示告警信息,告警信息包括告警的原因等。例如在视频中对识别出的对犯罪嫌疑人F添加了告警标签,在告警标签的信息框中,显示“犯罪嫌疑人F”,并利用连接线,将信息框和识别出的面部特征连接起来。
图5是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图,如图5所示,步骤S50包括如下步骤:
步骤S51,根据所述面部特征在所述第一视频帧中的位置,确定所述信息框的第一显示位置。
步骤S52,在所述第二视频帧中的第一显示位置显示所述信息框。
在一种可能的实现方式中,可以根据面部特征在所述第一视频帧中的位置的不同,将信息框在视频帧中的不同位置进行显示。信息框的显示位置随着面部特征的位置变化而变化,方便观看者看到告警信息所对应的面部特征的移动情况。
例如,将视频帧划分为左上、左下、右上和右下四个面积大小相同的区域。当告警标签对应的面部特征出现在左上区域时,将信息框显示在面部特征的左上方。当告警标签对应的面部特征出现在左下区域时,将信息框显示在面部特征的左下方。当告警标签对应的面部特征出现在右上区域时,将信息框显示在面部特征的右上方。当告警标签对应的面部特征出现在右下区域时,将信息框显示在面部特征的右下方。
还可以将视频水平划分为多个区域,或竖直划分为多个区域。各区域的面积可以相等,也可以不等。按照视频中内容的不同,或视频帧中识别出的面部特征的位置的不同,将信息框根据面部特征出现的区域,设定在不同的显示位置。
图6是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图,如图6所示,步骤S50包括如下步骤:
步骤S53,当多个第一视频帧出现相同的告警信息时,根据所述面部特征在第一个出现相同的告警信息的第一视频帧中的位置,确定所述信息框的第二显示位置。
步骤S54,在出现相同告警信息的多个第二视频帧的第二显示位置上显示所述信息框。
在一种可能的实现方式中,当多个连续的视频帧都出现相同的告警信息时,可将多个连续的视频帧中信息框,按照在第一个视频帧中确定的显示位置进行显示,方便观看者在固定的位置观看告警信息。
例如,在视频1的第10帧至第30帧,均出现了告警信息。且告警信息对应的面部特征,在第10帧至第30帧中移动了较大的距离,移动速度也较快。此时,将信息框在第10帧至第30帧中,都固定显示在第10帧确定的显示位置上,再由连接线将信息框和面部特征进行连接。这样,可以使观看者既能在固定的显示位置看到告警信息,又能利用连接线清楚的看到告警信息对应的面部特征。
图7是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图,如图7所示,本实施例还包括如下步骤:
步骤S55,在所述第二视频帧的视频帧的第三显示位置显示所述信息框。
在一种可能的实现方式中,将信息框在视频帧中的设定的显示位置进行显示。例如,将信息框在在视频帧的边缘区域进行显示。将信息框在视频帧的边缘区域进行显示,可以避免信息框遮挡视频帧中的内容。
应用示例1:
图8是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图,如图8所示,该方法可以包括如下步骤:
步骤110,将同一视频源的视频输入抓拍机进行抓拍,可以按照设定的抓拍规则对视频进行抓拍。例如按照间隔9个视频帧的抓拍规则对视频进行抓拍。
步骤120,将抓拍机抓拍的视频帧进行视频解码,获取抓拍的视频帧内的场景图。
步骤130,将视频解码后的抓拍的视频帧进行动态人脸识别,识别出包括人脸的视频帧的帧标识、视频帧内的人脸特征以及人脸的位置坐标的抓拍消息。
步骤140,将抓拍消息放入消息队列服务器内进行存储。
步骤150,客户端,例如加载在智能手机等各种设备上的客户端,向同一视频源获取视频,并向队列服务器订阅抓拍消息。
步骤160,客户端对视频进行视频解码获取视频帧的场景图像,对抓拍消息进行消息解析获取人脸的位置坐标等信息。
步骤170,当解析出的视频中的视频帧,与解析的抓拍消息中的帧标识匹配时,在解析出的视频帧中,根据人脸的位置坐标在视频帧中添加抓拍标签。当解析出的视频中的视频帧,与解析的抓拍消息中的帧标识不匹配时,不进行处理,直接执行步骤8。
步骤180,播放视频帧。
应用示例2:
图9是根据一示例性实施例示出的一种在视频中添加面部标签的方法的流程图,如图9所示,该方法可以包括如下步骤:
步骤210,将从视频源获取到的视频利用视频解码线程进行视频解码,得到解码后的视频帧的帧ID和帧图像。在本示例中,抓拍机与客户端可以是异步的,分别在不同的终端上运行。再加上MQ(Message Queue,消息队列)消息的延时,导致客户端在解码出视频图像后,无法对应到具体的MQ抓拍标签上。此时需要在视频码流中,为每一个视频帧的帧头增加一个唯一标识ID,如:视频源服务端的毫秒级时间戳。通过这个唯一ID与帧图像对应的方式,确保图像与标签的同步叠加。
步骤211,将解码后的帧ID和帧图像存储在环形缓冲区进行存储。
步骤212,将从视频源获取到的视频进行抓拍,并对抓拍到的视频帧进行人脸识别,得到抓拍消息。抓拍消息包括抓拍的视频帧的帧标识,以及识别出的人脸的位置信息等。抓拍机并不是对所有视频帧都进行动态识别,中间会存在很多帧都没有抓拍消息。比如一秒25帧的视频,有可能只对其中两三帧进行了识别。在叠加数字标签后播放时,就会导致视频中的标签一闪而过。解决方案是:将每一个人脸抓拍标签的显示时间延长,比如每个人脸标签在接下来的4至5帧图像中都显示出来。视频连续播放时这些标签看起来就是连续的了。
步骤213,将抓拍消息存入MQ(Message Queue,消息缓存)服务器。
步骤214,消息订阅线程从MQ服务器中调取抓拍消息,获取抓拍的视频帧的帧标识,以及识别出的人脸的位置信息等。
步骤215,标签容器为抓拍消息提供对应的标签数据。
步骤216,由于需要等待从视频源获取到抓拍消息,视频播放线程可以延时启动。例如将视频放入环形缓冲区进行暂存,延迟500毫秒后启动。
步骤217,视频播放线程将视频进行视频解码的同时,读取抓拍消息中的帧ID和帧图像。若解析出的视频帧没有对应抓拍消息中的帧ID,则直接执行步骤220。
步骤218,根据抓拍消息中的帧ID,在标签容器中取标签数据。
步骤219,为与帧ID对应的视频帧的帧图像叠加标签。
步骤220,视频播放线程在播放界面按顺序显示叠加了标签的视频帧或没有叠加标签的视频帧。
应用示例3:
本示例中的MQ消息订阅线程,用于从MQ服务器订阅抓拍消息,然后将收到的消息存入一个MAP变量中,供解码播放线程调用。MAP变量大致形式:{key:帧ID,value:抓拍人脸坐标、人脸ID等信息}。因为TCP传输的特性,可能会导致后面帧的抓拍消息比前面帧的先收到,而MAP的KEY自动排序正好解决此问题,MAP遍历时可确保遍历顺序与视频帧的顺序一致。
图10是根据一示例性实施例示出的一种在视频中添加面部标签的方法中MQ消息订阅线程的流程图,如图10所示,该方法可以包括如下步骤:
步骤300,抓拍消息的线程启动,开始监听抓拍机生成的抓拍消息,抓拍机在视频中抓拍视频帧,并通过识别抓拍到的视频帧内的人脸,得到识别出人脸的视频帧的帧ID,以及识别出的人脸的坐标位置。
步骤310,收到抓拍机输出的一条抓拍消息。
步骤320,按照抓拍消息中的帧ID,查找已经生成的MAP消息。
步骤330,若已经生成的MAP消息中接收到的抓拍消息中的帧ID,执行步骤340,否则执行步骤350。
步骤340,因为一帧视频图像可能会识别出多个人脸,所以MAP容器的每个key(即帧ID)所对应的value就会有多个人脸特征和坐标位置。在向MAP写入这条消息时,先判断是否已经存在以此ID为key的成员。若没有,则增加新成员。若已经存在,则只增加原有成员中的坐标位置。即在已经生成的MAP消息中,在帧ID对应的内容中,增加一个人脸坐标位置,不用新生成一个MAP消息。
步骤350,新生成一个MAP消息,包括帧ID和人脸的坐标位置。
步骤360,判断是否检测到关闭信息,若检测到关闭消息,接步骤370,否则执行步骤310继续接收抓拍消息。
步骤370,线程结束。
应用示例4:
本示例中的视频解码和缓冲线程,用于连接视频源,打开视频流(视频),并解码出图像数据和帧头中的帧ID。如果此时缓冲区是可写状态,则写入帧ID和图像数据,以备主进程读取。
图11是根据一示例性实施例示出的一种在视频中添加面部标签的方法中视频解码和缓冲线程的流程图,如图11所示,该方法可以包括如下步骤:
步骤400,线程开始后,打开视频流。
步骤410,对视频流进行解码,解码视频流中的一帧视频(一个视频帧),得到解码后的视频帧ID。
步骤420,读取缓冲区的状态。缓冲区用于缓存视频帧。视频解码速率和叠加后进行播放的速率会存在偏差,有可能会导致缓存溢出。此时缓冲区中所有数据都是还没来得及被主进程处理的视频图像。必须等待主进程读取数据后,缓冲区有了空闲位置,才能写入新的帧ID和图像数据。
步骤430,判断缓冲区是否溢出。若判断为溢出,执行步骤440。若没有溢出,执行步骤450.
步骤440,缓存区有溢出,需要等待读取线程,重新返回步骤420。
步骤450,缓存区没有溢出,此时写入解码后的视频帧的帧ID和图像。
步骤460,判断是否检测到关闭信号。若检测到,执行步骤470。否则返回步骤410。
步骤470,线程结束。
应用示例5:
本示例中的主进程用于控制整个流程的走向,并接收调用方的传参,接收各类控制信号并处理,保障各线程间的数据同步。
图12是根据一示例性实施例示出的一种在视频中添加面部标签的方法中MQ消息订阅线程的流程图,如图12所示,该方法可以包括如下步骤:
步骤500,主进程开始后进行初始化操作,例如接收参数和设置容器(例如标签容器)。其中,参数包括视频源通道连接参数、MQ服务器连接参数、标签显示样式、播放容器参数、控制开关变量等。根据这些参数进行整个应用程序的初始化。
步骤510,读取缓冲区内的下一帧的视频帧。
步骤520,判断是否在缓冲区内读取到下一帧的视频帧。若读取到,执行步骤540。若未读取到,执行步骤530。
步骤530,未读取到下一帧的视频帧,等待解码线程将解码后的视频帧写入缓冲区,返回步骤510。
步骤540,在MAP消息中查找是否有与读取到的下一帧的帧视频对应的帧ID。
步骤550,在缓冲区内读取到下一帧的帧视频时,判断订阅的抓拍消息中是否有与读取到的视频帧的帧标识对应的抓拍消息。若有,执行步骤560。若否,说明读取到的视频帧不需要叠加数字标签,执行步骤570。
步骤560,当MAP消息中有对应的帧标识时,根据MAP消息中的人脸的坐标位置,在视频帧内叠加数字标签。
步骤570,在播放界面显示叠加了标签或未叠加标签的视频帧。
如果步骤560中找到了这一帧要叠加的数字标签,则根据标签中的人脸坐标位置绘制出抓拍标签。当有多个人脸的坐标位置时,需要循环遍历,依次绘制出来数字标签。
应用示例6:
本示例可以在播放视频时,添加告警标签。告警依赖于抓拍而产生,需要先采用抓拍机对视频流进行解码并识别出人脸特征后,再根据此人脸特征从特征库中比对查找符合相似度的人员,找到后才会产生告警。例如:比对服务端从MQ服务器订阅抓拍消息,从消息中解析出人脸特征、人员ID等信息。将解析出的信息与特征数据库中遍历比对,如果发现特征相似度符合一定比例,产生一条告警消息发布到MQ服务器。告警消息中包含被认为相似的人员信息。
客户端连接视频源,对视频流解码的同时,从MQ服务器订阅对应视频通道的告警消息,解析出告警人员姓名、性别等基本信息,然后绘制出告警标签。
图13是根据一示例性实施例示出的一种在视频中添加面部标签的方法中添加告警标签的流程图,如图13所示,在示例1的基础上,该方法还可以包括如下步骤:
步骤600,对比服务装置在消息队列服务器中订阅抓拍消息,抓拍消息中包括人脸的位置坐标和人脸特征等。
步骤610,对比服务装置对抓拍消息进行解析,解析出人脸特征。
步骤620,将解析出的人脸特征,与特征库进行比对,特征库中包括需要触发告警的人脸特征等。例如犯罪嫌疑人的人脸特征,并根据比对成功的人脸特征,生成告警消息发送回消息队列服务器。告警消息中包括触发告警的人脸所述的姓名、性别等信息。
步骤630,客户端在消息服务队列中获取到告警消息后,对告警消息进行消息解析,并根据解析后的告警信息,在解码后的帧视频中叠加告警标签。
在本示例中,告警消息是跟识别出的人脸有关的,与视频流的某一帧却并没有直接关联。同一个人在视频中连续移动时,告警可以标示出是同一人。抓拍消息中包含有识别人脸ID,可以在告警消息中也附带此人脸ID。在连续多帧视频图像中,可以根据这个人脸ID来确认是否同一人,以及这个人移动到哪个位置。
应用示例7:
客户端叠加告警标签流程包括MQ消息订阅线程:与叠加抓拍类似,用于从MQ服务器订阅告警消息。然后将收到的消息存入一个MAP变量中,供主进程解码播放时使用。MAP变量大致形式:{key:抓拍人ID,value:姓名、性别、告警出现坐标等信息},无需按KEY进行排序。出于性能考虑,使用unordered_map。同一个人可能产生多次告警(即从MQ服务器订阅到多条同一个人的告警消息),仅需保留一条即可。
图14是根据一示例性实施例示出的一种在视频中添加告警标签的MQ消息订阅线程的流程图。如图14所示,该方法与示例5的步骤相似。区别在于:收到告警消息后,如果已经存在以此人员ID为key的MAP数据,若步骤730的判断结果为是,直接返回步骤710等待接收下一条消息。
应用示例8:
客户端叠加告警标签流程还包括主进程。由于告警依赖于抓拍,所以主进程的流程与示例3的抓拍流程相同。
图15是根据一示例性实施例示出的一种在视频中添加告警标签的主线程的流程图,如图15所示,在示例3的基础上,该方法不同之处在于:
步骤800,获取当前帧视频中出现的人脸的当前人员ID。
步骤810,根据当前人员ID在告警标签中进行查找。告警标签可以包括触发告警的人脸的人员ID,人脸特征等信息。
步骤820,当告警标签中有当前人员ID时,如果判断当前帧视频有此人,执行步骤830。否则执行步骤840。
步骤830,在帧视频中当前人员ID对应的坐标位置处,叠加一个告警标签。
步骤840,将当前的帧视频中的识别出的人脸的人员ID指向下一个人的人员ID,执行步骤850。
步骤850,如果当前的帧视频的人员序列已经空,没有下一个人,进入播放流程。否则根据下一个人的人员ID比对告警标签,并为比对成功的人员ID叠加告警标签后进行播放。
由于每帧视频都可能识别出多个人脸,每个人脸都有可能会产生告警信息,对当前视频帧的多个人脸进行遍历,根据每个人员ID在告警标签容器中查找是否存在此人的告警,每找到一个都向图像中叠加一个告警标签。
本公开结合人脸识别和比对技术,可以在现有的视频监控基础上,增加快速、精准的人员识别,筛选出特定的人群,即时警告或提醒。而且没有人工监视的疲劳、错漏等缺陷。无需改动现有布控网络,不需要为每个监控端额外增加配套设施,仅需部署抓拍机和比对服务器即可,减小运营部署成本。
本公开中的动态识别和比对工作可以由服务器完成,因此在视频监控客户端软件中不需要增加复杂的动态识别模块和特征比对模块,软件体积增量极小,不会造成软件臃肿。本公开可采用SDK接口函数的形式提供调用入口,任何客户端只需要调用接口就可以很方便的实现想要的功能,叠加抓拍、告警及其他的扩展标签,极大的减轻了客户端软件集成此功能的开发难度,降低软件开发成本。
本公开可支持多路视频并发,每路视频叠加各自相关的抓拍、告警等数字标签,而且相互之间不影响、无干扰。
应用示例9:
在本公开中,告警标签可以是一个带箭头的多边形。告警文字内容在多边形框内,箭头则指向人脸的位置,并随着人的移动而改变。当标签叠加在视频上,会覆盖住视频本身图像的一部分。为了不影响视频正常播放,又能比较清晰的查看告警内容,可以将告警标签透明化。本公开提供多种方案供调用方选择。如:使用透明背景图片、程序画透明多边形等。
在标签透明化过程中,会涉及到大量的加权计算。计算复杂度随着透明矩阵的区域大小成正比增加。如果一帧图像中叠加的告警标签较多时,有可能计算的时间超过正常播放的帧率,导致从缓冲区中读取帧数据比写数据慢。最终造成缓冲区溢出,产生丢帧花屏现象。
为优化此性能瓶颈,采用缩小计算区域的方式。正常计算时是对整张场景图进行计算。本公开中先使用算法得出告警标签出现位置范围,取出含箭头在内的矩阵信息,再对此矩阵进行加权计算,大量节省了系统计算时间和资源。
本实施例提供三种告警标签的显示位置的方案,图16至图18分别给出三个方案的示意图。
图16是根据一示例性实施例示出的一种在视频中添加告警标签的方法中告警标签显示位置方案1的示意图。如图16所示,在本方案中,告警标签跟随人脸移动。每一帧图像都会根据人脸当前位置坐标,来确定告警标签的出现坐标。人脸在视频屏幕的方向位置,将决定告警标签出现方向为:左上角、左下角、右下角、右下角。
图17是根据一示例性实施例示出的一种在视频中添加告警标签的方法中告警标签显示位置方案2的示意图。如图17所示,在本方案中,告警标签固定在首次出现位置附近。每一个不同人员所触发的告警,标签第一次出现时按照图16中的算法得出坐标位置。其后每一帧都固定在此位置不变,只是箭头指向随着人的移动而变化。以告警标签中心点为x轴与y轴相交的原点,结合告警标签两条对角线所分成的八个区域,箭头的指向算法包括:分别位于8个不同方向、人脸与标签重叠时处理,共计9种算法方案。
图18是根据一示例性实施例示出的一种在视频中添加告警标签的方法中告警标签显示位置方案3的示意图。如图18所示,在本方案中,告警标签固定在屏幕侧边。当调用方选择将告警标签固定在屏幕的上下左右某一个侧边时,多个标签将依序出现在屏幕侧边,箭头指向算法与方案2的方案基本相同,但是箭头所指方向数量只有一半。
如果从一个视频帧图像中识别出多个人脸,并且产生了多个告警,这一帧在视频播放时绘制出多个告警标签,则有可能会产生后绘制的标签覆盖住前面标签的现象。图19是根据一示例性实施例示出的一种在视频中添加告警标签的方法中告警标签重叠显示的示意图。可以通过计算多个标签的左上角顶点x,y坐标之间的间距,判断是否能够容纳告警标签的宽度和高度。
应用示例10:
图20是根据一示例性实施例示出的一种在视频中添加告警标签的方法中多路视频并发叠加标签的流程图。如图20所示,本公开可以实现多路视频并发,叠加各自相关的抓拍、告警等数字标签,而且相互之间不影响、无干扰。每一路视频标签的叠加都运行在单独的线程中,视频a、视频b分别从MQ消息队列服务器订阅接收自己对应的消息标签。叠加到视频图像后,在各自对应的播放窗口上显示出来。
图21是根据一示例性实施例示出的一种在视频中添加面部标签的装置的框图,如图21所示,所述装置包括:
面部识别模块41,用于从视频中识别出包括面部特征的第一视频帧的帧标识和所述面部特征在所述第一视频帧中的位置。
视频帧确定模块42,用于在所述视频中确定与所述第一视频帧的帧标识相同的第二视频帧。
面部标签确定模块43,用于根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧中添加面部标签。
图22是根据一示例性实施例示出的一种在视频中添加面部标签的装置的框图,如图22所示,
在一种可能的实现方式中,所述面部识别模块41包括:
抓拍子模块411,用于对所述视频进行抓拍,获取抓拍帧;
面部识别子模块412,用于对抓拍帧进行面部识别;
识别处理子模块413,用于如果从抓拍帧中识别出面部特征,则将抓拍帧的帧标识作为第一视频帧的帧标识,将所述面部特征在所述抓拍帧中的位置作为所述面部特征在所述第一视频帧中的位置。
在一种可能的实现方式中,所述面部标签确定模块43,包括:
连续添加子模块431,用于根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧以及所述第二视频帧之后的连续N个视频帧中添加面部标签。
在一种可能的实现方式中,该装置还包括:
告警标签添加模块44,用于如果所述面部特征与目标对象相符合,在所述第二视频帧中添加告警标签。
在一种可能的实现方式中,所述告警标签包括信息框和连接线,所述信息框内显示告警信息,所述连接线连接所述信息框和所述第二视频帧中的面部特征。
在一种可能的实现方式中,所述告警标签添加模块44,包括:
第一信息框确定子模块441,用于根据所述面部特征在所述第一视频帧中的位置,确定所述信息框的第一显示位置;
第一信息框显示子模块442,用于在所述第二视频帧中的第一显示位置显示所述信息框。
在一种可能的实现方式中,所述告警标签添加模块44,还包括:
第二信息框确定子模块443,用于当多个第一视频帧出现相同的告警信息时,根据所述面部特征在第一个出现相同的告警信息的第一视频帧中的位置,确定所述信息框的第二显示位置;
第二信息框显示子模块444,用于在出现相同告警信息的多个第二视频帧的第二显示位置上显示所述信息框。
在一种可能的实现方式中,所述告警标签添加模块44,还包括:
第三信息框显示子模块445,用于在所述第二视频帧的视频帧的第三显示位置显示所述信息框。
图23是根据一示例性实施例示出的一种用于在视频中添加面部标签的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图23,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器804,上述计算机程序指令可由装置800的处理器820执行以完成上述方法。
图24是根据一示例性实施例示出的一种用于在视频中添加面部标签的装置1900的框图。例如,装置1900可以被提供为一服务器。参照图24,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

1.一种在视频中添加面部标签的方法,其特征在于,所述方法包括:
从视频中识别出包括面部特征的第一视频帧的帧标识和所述面部特征在所述第一视频帧中的位置;
在所述视频中确定与所述第一视频帧的帧标识相同的第二视频帧;
根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧中添加面部标签。
2.根据权利要求1所述的方法,其特征在于,从视频中识别出包括面部特征的第一视频帧的帧标识和所述面部特征在所述第一视频帧中的位置,包括:
对所述视频进行抓拍,获取抓拍帧;
对抓拍帧进行面部识别;
如果从抓拍帧中识别出面部特征,则将抓拍帧的帧标识作为第一视频帧的帧标识,将所述面部特征在所述抓拍帧中的位置作为所述面部特征在所述第一视频帧中的位置。
3.根据权利要求2所述的方法,其特征在于,根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧中添加面部标签,包括:
根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧以及所述第二视频帧之后的连续N个视频帧中添加面部标签。
4.根据权利要求1所述的方法,其特征在于,还包括:
如果所述面部特征与目标对象相符合,在所述第二视频帧中添加告警标签。
5.根据权利要求4所述的方法,其特征在于,所述告警标签包括信息框和连接线,所述信息框内显示告警信息,所述连接线连接所述信息框和所述第二视频帧中的面部特征。
6.根据权利要求5所述的方法,其特征在于,在所述第二视频帧中添加告警标签,包括:
根据所述面部特征在所述第一视频帧中的位置,确定所述信息框的第一显示位置;
在所述第二视频帧中的第一显示位置显示所述信息框。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
当多个第一视频帧出现相同的告警信息时,根据所述面部特征在第一个出现相同的告警信息的第一视频帧中的位置,确定所述信息框的第二显示位置;
在出现相同告警信息的多个第二视频帧的第二显示位置上显示所述信息框。
8.根据权利要求5所述的方法,其特征在于,在所述第二视频帧中添加告警标签,包括:
在所述第二视频帧的视频帧的第三显示位置显示所述信息框。
9.一种在视频中添加面部标签的装置,其特征在于,所述装置包括:
面部识别模块,用于从视频中识别出包括面部特征的第一视频帧的帧标识和所述面部特征在所述第一视频帧中的位置;
视频帧确定模块,用于在所述视频中确定与所述第一视频帧的帧标识相同的第二视频帧;
面部标签确定模块,用于根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧中添加面部标签。
10.根据权利要求9所述的装置,其特征在于,所述面部识别模块包括:
抓拍子模块,用于对所述视频进行抓拍,获取抓拍帧;
面部识别子模块,用于对抓拍帧进行面部识别;
识别处理子模块,用于如果从抓拍帧中识别出面部特征,则将抓拍帧的帧标识作为第一视频帧的帧标识,将所述面部特征在所述抓拍帧中的位置作为所述面部特征在所述第一视频帧中的位置。
11.根据权利要求10所述的装置,其特征在于,所述面部标签确定模块,包括:
连续添加子模块,用于根据所述面部特征在所述第一视频帧中的位置,在所述第二视频帧以及所述第二视频帧之后的连续N个视频帧中添加面部标签。
12.根据权利要求9所述的装置,其特征在于,还包括:
告警标签添加模块,用于如果所述面部特征与目标对象相符合,在所述第二视频帧中添加告警标签。
13.根据权利要求12所述的装置,其特征在于,所述告警标签包括信息框和连接线,所述信息框内显示告警信息,所述连接线连接所述信息框和所述第二视频帧中的面部特征。
14.根据权利要求13所述的装置,其特征在于,所述告警标签添加模块,包括:
第一信息框确定子模块,用于根据所述面部特征在所述第一视频帧中的位置,确定所述信息框的第一显示位置;
第一信息框显示子模块,用于在所述第二视频帧中的第一显示位置显示所述信息框。
15.根据权利要求14所述的装置,其特征在于,所述告警标签添加模块,还包括:
第二信息框确定子模块,用于当多个第一视频帧出现相同的告警信息时,根据所述面部特征在第一个出现相同的告警信息的第一视频帧中的位置,确定所述信息框的第二显示位置;
第二信息框显示子模块,用于在出现相同告警信息的多个第二视频帧的第二显示位置上显示所述信息框。
16.根据权利要求13所述的装置,其特征在于,所述告警标签添加模块,还包括:
第三信息框显示子模块,用于在所述第二视频帧的视频帧的第三显示位置显示所述信息框。
CN201810353791.4A 2018-04-19 2018-04-19 在视频中添加面部标签的方法及装置 Expired - Fee Related CN108600656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810353791.4A CN108600656B (zh) 2018-04-19 2018-04-19 在视频中添加面部标签的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810353791.4A CN108600656B (zh) 2018-04-19 2018-04-19 在视频中添加面部标签的方法及装置

Publications (2)

Publication Number Publication Date
CN108600656A true CN108600656A (zh) 2018-09-28
CN108600656B CN108600656B (zh) 2020-08-04

Family

ID=63613882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810353791.4A Expired - Fee Related CN108600656B (zh) 2018-04-19 2018-04-19 在视频中添加面部标签的方法及装置

Country Status (1)

Country Link
CN (1) CN108600656B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427805A (zh) * 2019-06-20 2019-11-08 平安科技(深圳)有限公司 视频显示方法、装置、计算机设备和存储介质
CN110677722A (zh) * 2019-09-29 2020-01-10 上海依图网络科技有限公司 视频处理方法及其装置、介质和系统
CN110738709A (zh) * 2019-09-10 2020-01-31 北京中盾安全技术开发公司 一种基于二维码的视频评测方法及其视频评测系统
CN111107272A (zh) * 2020-01-02 2020-05-05 广州高博软件科技有限公司 多媒体视频流总结系统及流程
CN111614959A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 一种视频打码方法、装置以及电子设备
CN111614973A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 视频打码方法、装置和电子设备
CN111862705A (zh) * 2020-06-24 2020-10-30 北京安博盛赢教育科技有限责任公司 一种提示直播教学目标的方法、装置、介质和电子设备
CN112306976A (zh) * 2020-01-09 2021-02-02 北京字节跳动网络技术有限公司 信息处理方法、装置和电子设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111614959A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 一种视频打码方法、装置以及电子设备
CN111614973A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 视频打码方法、装置和电子设备
CN111614959B (zh) * 2019-02-26 2023-02-03 北京嘀嘀无限科技发展有限公司 一种视频打码方法、装置以及电子设备
CN110427805A (zh) * 2019-06-20 2019-11-08 平安科技(深圳)有限公司 视频显示方法、装置、计算机设备和存储介质
CN110427805B (zh) * 2019-06-20 2024-03-19 平安科技(深圳)有限公司 视频显示方法、装置、计算机设备和存储介质
CN110738709A (zh) * 2019-09-10 2020-01-31 北京中盾安全技术开发公司 一种基于二维码的视频评测方法及其视频评测系统
CN110677722A (zh) * 2019-09-29 2020-01-10 上海依图网络科技有限公司 视频处理方法及其装置、介质和系统
CN111107272A (zh) * 2020-01-02 2020-05-05 广州高博软件科技有限公司 多媒体视频流总结系统及流程
CN112306976A (zh) * 2020-01-09 2021-02-02 北京字节跳动网络技术有限公司 信息处理方法、装置和电子设备
CN111862705A (zh) * 2020-06-24 2020-10-30 北京安博盛赢教育科技有限责任公司 一种提示直播教学目标的方法、装置、介质和电子设备

Also Published As

Publication number Publication date
CN108600656B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN108600656A (zh) 在视频中添加面部标签的方法及装置
CN109189987A (zh) 视频搜索方法和装置
CN104615769B (zh) 图片分类方法及装置
CN109089170A (zh) 弹幕显示方法及装置
CN104918107B (zh) 视频文件的标识处理方法及装置
CN110418112A (zh) 一种视频处理方法及装置、电子设备和存储介质
CN106791893A (zh) 视频直播方法及装置
CN107948708A (zh) 弹幕展示方法及装置
CN106295515B (zh) 确定图像中的人脸区域的方法及装置
CN110147467A (zh) 一种文本描述的生成方法、装置、移动终端及存储介质
CN108260020A (zh) 在全景视频中显示互动信息的方法和装置
CN108985176A (zh) 图像生成方法及装置
CN108924644A (zh) 视频片段提取方法及装置
CN105335714B (zh) 照片处理方法、装置和设备
CN108804440A (zh) 提供视频搜索结果的方法和装置
CN109544716A (zh) 学生签到方法及装置、电子设备和存储介质
CN107807762A (zh) 界面展示方法及装置
CN109146789A (zh) 画面拼接方法及装置
CN109286848B (zh) 一种终端视频信息的交互方法、装置及存储介质
CN108062364A (zh) 信息展示方法及装置
CN110209877A (zh) 视频分析方法及装置
CN110019960A (zh) 数据处理方法及装置、电子设备和存储介质
CN107943550A (zh) 界面展示方法及装置
CN112672208A (zh) 视频播放方法、装置、电子设备、服务器及系统
CN107797741A (zh) 界面展示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200804