CN111414517B - 视频人脸解析方法、装置及服务器 - Google Patents

视频人脸解析方法、装置及服务器 Download PDF

Info

Publication number
CN111414517B
CN111414517B CN202010221642.XA CN202010221642A CN111414517B CN 111414517 B CN111414517 B CN 111414517B CN 202010221642 A CN202010221642 A CN 202010221642A CN 111414517 B CN111414517 B CN 111414517B
Authority
CN
China
Prior art keywords
face
video
information
bucket
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010221642.XA
Other languages
English (en)
Other versions
CN111414517A (zh
Inventor
宋文龙
阳青松
杜中强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sioeye Technology Co ltd
Original Assignee
Chengdu Sioeye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sioeye Technology Co ltd filed Critical Chengdu Sioeye Technology Co ltd
Priority to CN202010221642.XA priority Critical patent/CN111414517B/zh
Publication of CN111414517A publication Critical patent/CN111414517A/zh
Application granted granted Critical
Publication of CN111414517B publication Critical patent/CN111414517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提出一种视频人脸解析方法、装置及服务器,涉及视频技术领域。其中,上述视频人脸解析方法包括将视频数据分为多个视频片段,并行地对多个所述视频片段进行人脸解析。在对视频片段进行人脸解析的步骤包括:从所述视频片段中的图像帧中获取人脸图像,从活动的人脸桶中搜索与所述人脸图像匹配的第一目标人脸信息;所述人脸桶为用于存储同一时间周期内采集到的人脸信息的存储单元;将得到的所述第一目标人脸信息与所述视频片段所属的视频数据绑定。如此,实现提高对单个视频数据进行人脸解析的效率,使服务器能够更好的应对巨大的视频处理压力。使游客能够更快的得到相关的视频数据,以提高用户体验。

Description

视频人脸解析方法、装置及服务器
技术领域
本发明涉及视频技术领域,具体而言,涉及一种视频人脸解析方法、装置及服务器。
背景技术
如今,为游客提供记录游玩过程的视频数据已成为游乐园的主要服务。准确、快速的找到与游客相关的视频数据是提供高质量服务的关键。其中,准确地找到与游客相关的视频数据依赖于人脸解析。
在游乐园运营期间,大量游乐园相机会持续采集并向服务器上次视频数据。与此同时,服务器将对所上传的视频数据中每一帧图像进行人脸解析。随着视频数据的增加,将影响对视频数据的人脸解析效率,增加视频数据实现人脸解析的时长,进而影响游客查找相关视频数据的效率。
发明内容
有鉴于此,本发明的目的在于提供一种视频人脸解析方法、装置及服务器。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,实施例提供一种视频人脸解析方法,所述视频人脸解析方法包括:
将视频数据分为多个视频片段;
并行地对多个所述视频片段进行人脸解析;
其中,对所述视频片段进行人脸解析的步骤包括:
从所述视频片段中的图像帧中获取人脸图像;
从活动的人脸桶中搜索与所述人脸图像匹配的第一目标人脸信息;所述人脸桶为用于存储同一时间周期内采集到的人脸信息的存储单元;
将得到的所述第一目标人脸信息与所述视频片段所属的视频数据绑定。
第二方面,实施例提供一种视频人脸解析装置,所述视频人脸解析装置包括:
划分模块,用于将视频数据分为多个视频片段;
识别模块,用于并行地对多个所述视频片段进行人脸解析;
其中,所述识别模块包括:
获取子模块,用于从所述视频片段中的图像帧中获取人脸图像;
搜索子模块,用于从活动的人脸桶中搜索与所述人脸图像匹配的第一目标人脸信息;所述人脸桶为用于存储同一时间周期内采集到的人脸信息的存储单元;
绑定子模块,用于将得到的所述第一目标人脸信息与所述视频片段所属的视频数据绑定。
第三方面,实施例提供一种服务器,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的视频人脸解析方法。
第四方面,实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的视频人脸解析方法。
与现有技术相比,本发明实施例提供的视频人脸解析方法通过将接收到的每个视频数据进行分割,采用并行的方式对分割得到的视频片段进行人脸解析,提高对各条视频数据的解析效率。同时,在进行人脸解析时,将每一图像帧中的人脸图像与活动的人脸桶内的人脸信息进行比对,通过有效的缩小与人脸图像匹配的第一目标人脸信息的搜索范围,将每个视频片段的人脸解析效率提高,从而,整体缩短视频人脸解析的耗时,使游客相关的视频数据被采集到后,能够被迅速、准确地被游客查找到,进而提高用户体验。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的应用场景示意图。
图2示出了本发明实施例提供的服务器的示意图。
图3示出了本发明实施例提供的视频人脸解析方法的步骤流程图之一。
图4为图3中步骤S102的子步骤流程图之一。
图5为图3中步骤S102的子步骤流程图之二。
图6示出了本发明实施例提供的视频人脸解析方法的步骤流程图之二。
图7示出了本发明实施例提供的视频人脸解析方法的步骤流程图之三。
图8示出了本发明实施例提供的视频人脸解析方法的步骤流程图之四。
图9示出了本发明实施例提供的视频人脸解析装置的示意图。
图标:100-服务器;200-摄像设备;110-存储器;120-处理器;130-通信模块;300-视频人脸解析装置;301-划分模块;302-识别模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
游玩视频的提供已经是游乐园中的常规且重要的服务,游乐园内的所有游乐设施上均安装有摄像头。上述摄像头用于采集游客使用游乐设施的视频数据,并上传到服务器,由服务器进行人脸解析。需要说明的是,被采集到的视频数据能否准确地推送给对应的游客,其关键在于对视频数据进行可靠的人脸解析。完成了人脸解析的视频数据才能够被游客匹配到。
通常视频的帧率为30FPS或60FPS,也即,每秒有30帧或60帧图像,每个图像中可能出现1-10个人脸。换句话说,即便是对单个视频数据中出现的人脸进行解析,所需的计算量也很大。然而,随着游乐园的游乐设施增加,服务器将收到大量需要被解析的视频数据。大量需要被解析的视频数据将给服务器带来巨大的处理压力,巨大的处理压力将直接影响到人脸解析的效率。
另外,游乐设施每一轮运行的时长一般在2-5分钟左右,如果要让游客使用完游乐设备就能搜索到对应的视频,那就将对服务器的人脸解析效率提出要求。
为了改善相关技术中服务器面对巨大的处理压力时人脸解析效率不高的问题,本发明实施例提供了一种视频人脸解析方法、装置及服务器。
请参考图1,图1示出了本申请实施例提供的视频人脸解析方法的应用场景示意图,包括服务器100及摄像设备200。上述摄像设备200通过网络与服务器100通信连接,以实现服务器100与摄像设备200之间的数据交互。
游乐设施的载客设备上安装有至少一台摄像设备200。摄像设备200的采集视野可以根据实际情况调整,用于采集游客使用游乐设施的画面,以生成视频数据。可以理解地,在游乐设施运转过程中,摄像设备200与游客保持同样的速度运动,以便能够采集游客各个时刻的画面。
在游乐设施每轮运行过程中,摄像设备200都会进行视频数据的采集。可以理解地,在游乐设施每一轮运行过程,安装于其上的摄像设备200都会采集一段对应的视频数据。各台摄像设备200将所采集的视频数据发送到服务器100。
请参照图2,是服务器100的方框示意图。服务器100用于接收摄像设备200采集的视频数据。可以理解地,服务器100由于要对接游乐园所有的摄像设备200,因此,服务器100可能同时接收到多段由不同摄像设备200采集的视频数据。当然,服务器100也会接收到同一摄像设备200采集到的多段视频数据,一段视频数据与游乐设施的一轮运行过程对应。
本发明实施例中,服务器100用于对接收到的视频数据进行人脸解析。可以理解地,对视频数据进行人脸解析也即对视频数据中每一帧图像中出现的人脸进行人脸识别。
无论是针对服务器100同时段接收到多段视频数据,还是不同时段接收到同一摄像设备200上传的多段视频数据,进行人脸解析的原理都是相同的。因此,为了方便描述视频人脸解析方法,本发明实施例中,以对一段视频数据进行人脸解析为例进行描述。
如图2所示,上述服务器100包括存储器110、处理器120及通信模块130。所述存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,存储器110用于存储程序或者数据。所述存储器110可以是,但不限于,随机存取存储器110(Random Access Memory,RAM),只读存储器110(Read Only Memory,ROM),可编程只读存储器110(Programmable Read-Only Memory,PROM),可擦除只读存储器110(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器110(ElectricErasable Programmable Read-Only Memory,EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序,并执行相应地功能。
通信模块130用于通过所述网络建立所述服务器100与其它通信终端之间的通信连接,并用于通过所述网络收发数据。
在一些实施例中,为了方便游客搜索获得与其相关的视频数据,服务器100还可以与游客的智能终端通信连接。
上述智能终端用于从服务器100请求相关服务。可选地,智能终端可以通过访问服务器100查看并下载与操作智能终端的游客相关的视频数据。上述智能终端中安装有第三方应用程序(Application,APP),该第三方应用程序中可以运行有小程序,游客可以通过该小程序与服务器100进行交互,例如,游客在乘坐了游乐设备以后,可以通过该小程序观看或者下载自己的游玩照片或者视频。可选地,当游客通过智能终端安装的第三方应用程序进入该小程序时,该小程序可以触发智能终端进行人脸图像采集,并根据采集到的人脸图像生成查询指令发送至服务器100,以便服务器100基于查询指令查找出游客相关的视频数据,并由智能终端显示该游客相关的视频数据供游客观看、下载等。另外,还可以在智能终端中安装应用程序,使得游客可以通过该应用程序与服务器100进行交互,实现图像或者视频的观看、下载等。
如前所述,视频数据具有大量的图像帧且每一帧图像中也可能存在多张人脸。因此,要基于用户上传的人脸图像查找到与之相关的视频数据,那就需要服务器100已完成对视频数据的人脸解析。然而,随着需由服务器100人脸解析的视频数据的增加,一段视频数据从上传到服务器100到人脸解析完成之间的时长将增长。因此,难以满足游客结束游乐设施的乘坐即可从服务器100查找到相关的视频数据的需求。为此,本发明实施例提供了一种视频人脸解析方法及装置,以解决上述问题。
请参考图3,图3示出了本发明实施例提供的一种视频人脸解析方法。如图3所示,上述视频人脸解析方法可以包括以下步骤:
步骤S101,将视频数据分为多个视频片段。
上述视频数据可以是由摄像设备200上传的一段连续的视频流。可以理解地是,上述视频数据与摄像设备200所安装的游乐设施的一轮运行过程有关。换句话说,上述视频数据是摄像设备200以其视野角度记录下的所对应的游乐设施一轮运行过程的图像数据。
在本发明实施例中,将一段连续的视频数据切分为多个视频时长小于视频数据的视频片段。可以理解地,若将切分得到的多个视频片进行拼接可得到原视频数据。
步骤S102,并行地对多个视频片段进行人脸解析。
上述人脸解析可以是对视频片段的图像帧中所出现的人脸进行人脸识别。在一些实施例中,可以依次对每一帧图像帧中出现的每张人脸进行人脸识别。
在本发明实施例中,服务器100同时对得到的多个视频片段进行人脸解析,以并行的处理方式提高单个视频数据的解析效率。通过缩短单个视频数据的解析时耗,从而使服务器100面对大量视频数据的处理压力时也能够快速完成解析。
为了方便本领域技术人员了解本发明实施例提供的视频人脸解析方法,下面以一个例子进行说明,具体如下:
游乐园中海盗船上安装有摄像设备a摄像设备b;过山车上安装有摄像设备d。在海盗船每一轮载客运转时摄像设备a、摄像设备b均会以各自的视野角度记录海盗船的运行过程,并分别生成一段视频数据(即,视频数据1和视频数据2)上传服务器100。过山车上的摄像设备d在过山车每一轮载客运行的过程中均以自身视角进行记录并生成一段视频数据(视频数据3)上传服务器100。服务器100对接收到的视频数据1、2和3的处理方式均相同,下面以对视频数据1进行处理为例进行说明,服务器100将视频数据1划分为视频片段1、视频片段2、视频片段3。服务器100并行地对视频片段1、视频片段2、视频片段3进行人脸解析。这样相较于现有技术而言,完成对视频数据1的人脸解析时长将缩短至现有技术的三分之一。服务器100对其他视频数据亦如此,即可大大提高视频数据人脸解析的效率。这样服务器100即便面对大量的视频数据处理压力,也能确保视频解析的时效,使游客能够在游乐设施使用完毕之后便可快速找到对应的游玩视频,提升游玩体验。
下面对本发明实施例的实施细节进行描述。
上述步骤S101的目的在于缩小并行处理的基本单元的视频时长,以便提高对单个视频数据的人脸解析效率。为了实现上述目的,可以但不限于采用以下任意一种实现方式:
实现方式一:服务器100可以基于时间长度为尺度对视频数据进行划分。比如,以5s为尺度,将视频数据划分为多个时长为5s的视频片段。
实现方式二:服务器100还可以基于数量为尺度对视频数据进行划分。比如,以10个为尺度,将视频数据划分为10个时长相等的视频片段。
实现方式三:还可以依据图像帧中人脸占比的变化情况对视频数据进行划分。比如,依次计算视频数据中每一帧图像帧中的人脸面积占比。再计算相邻两帧图像帧之间的人脸面积占比变化率,并计算人脸面积占比变化率的均值。将所对应的人脸面积占比变化率超过上述均值的相邻两帧图像帧分隔开,如此,即可得到多段视频片段。通过上述方式切分所得到的视频片段中,属于同一视频片段的图像帧中出现的人脸占比都接近(即,图像帧中人脸角度、数量变化的比较小)。
上述步骤S102的目的在于缩短单个视频数据的人脸解析时长。其主要通过并行的处理方式实现对单个视频数据人脸解析所需的总时长。
在一些实施例中,还可以从缩短解析每一个视频片段的解析时耗的角度,进一步地缩短人脸解析时长。作为一种实施方式,如图4所示,上述步骤S102中对视频片段进行人脸解析的步骤包括:
步骤S102-1,从视频片段中的图像帧中获取人脸图像。
在本发明实施例中,上述步骤S102-1可以依次基于视频片段的每一帧图像帧进行处理。可选地,先识别出图像帧出现的人脸,再从图像帧中获取与每张人脸对应的人脸图像。可以理解地,若获取到多张人脸图像,对每张人脸图像的处理原理相同,下面的描述中仅以对一张人脸图像进行处理为例。
步骤S102-2,从活动的人脸桶中搜索与人脸图像匹配的第一目标人脸信息。
上述人脸桶为用于存储同一时间周期内采集到的人脸信息的存储单元。人脸桶中可以存储有多个人脸信息,比如,时间周期为1天时,对应于当天建立的人脸桶内存储有当天采集到的所有人脸信息。上述人脸信息可以是人脸特征信息,也可以是人脸图。
在一些实施例中,服务器100中设有人脸库(即人脸数据库),上述人脸桶属于人脸库。可以理解地,人脸库从存储内容的角度来看,其包括多张人脸信息。人脸库从存储空间的角度来看,其包括至少一个人脸桶。
人脸库中的人脸桶具有状态的标记,依据所标记的状态的不同,人脸桶可以被分为活动的人脸桶和非活动的人脸桶。人脸桶的状态可以根据实际情况进行变更(即,在活动与非活动之间切换)。可以理解地,近期被匹配到过的人脸桶的状态为活动,长期未被匹配到的人脸桶的状态为非活动。优先在活动的人脸桶中搜索与人脸图像匹配的第一目标人脸信息,以提高人脸搜索的效率,缩短人脸图像匹配的时间。
在本发明实施例中,可以将人脸图像优先与此时标记为活动的人脸桶内存储的人脸信息进行一一比对。如果出现一个人脸信息与人脸图像之间的相似度超过预设阈值,则认为人脸信息与人脸图像属于同一个人,故将该人脸信息确定为人脸图像对应的第一目标人脸信息。
步骤S102-3,将得到的第一目标人脸信息与视频片段所属的视频数据绑定。
在一些实施例中,建立视频数据与第一目标人脸信息之间的对应关系,如此,游客在查询相关视频数据时,服务器100仅需将游客提供的人脸图像与各视频数据所对应的第一目标人脸信息进行比对,只要比对成功(即,相似度超过预设阈值),则可将比对成功的第一目标人脸信息所对应的视频数据推送给游客。
在一些实施例中,由于摄像设备200会跟随游客同步位移,因此,同一段视频数据中出现的游客变化不大,不同图像帧之间的区别主要在于游客的人脸呈现角度、方向等的不同。故,为了缩短视频片段的人脸解析时长,上述将第一目标人脸信息与视频片段所属的视频数据绑定的步骤包括:
(1)获取解析时长。
在一些实施例中,上述解析时长可以是指对视频数据启动人脸解析的总时长。比如,视频数据被切分为视频片段1、视频数据2和视频数据3,从启动并行对视频片段1、视频数据2和视频数据3进行人脸解析开始计时,以作为解析时长。
在另一些实施例中,上述解析时长可以是指多个视频片段中已完成第一目标人脸信息匹配的子片段的总视频时长。
可以理解地,已完成第一目标人脸信息匹配的子片段中每一帧图像帧中所出现的人脸均已完成人脸识别,因此,也可以称上述子片段为视频片段中完成人脸解析的部分。比如,视频片段1、视频片段2和视频片段3的视频时长分为1分钟。并行对视频片段1、视频片段2和视频片段3进行人脸解析时,若视频片段1中已完成人脸解析的子片段的视频时长为20s,视频片段2中已完成人脸解析的子片段的视频时长为18s,视频片段2中已完成视频解析的子片段的视频时长为22s,那么此时所对应的解析时长为60s。
(2)当解析时长超过预设值时,将已得到的第一目标人脸信息与视频数据绑定,并停止继续对视频数据所对应的视频片段进行人脸解析。
在一些实施例中,由于对切分后的视频片段进行并行人脸解析,使视频数据中不同时段的图像帧都能一起被解析,如此,即可加快出现于视频数据中的游客的识别。相较于现有技术需要对视频数据进行逐帧而言,如果遇到视频数据前阶段图像质量不高、需解析到视频数据后阶段才能识别出视频中的人物这种情况,本发明所提出的实施方式无需完成对视频数据中所有图像帧的识别,即可确定出视频数据中所出现的游客,从而方便游客查找与自己相关的视频。从而,又进一步地缩短对视频数据进行人脸解析所需的时长。
在一些实施例中,上述步骤S102-3面对采用上述实现方式三切分得到的视频片段时优势更佳明显。可以理解地,上述实现方式三切分得到的视频片段中属于同一视频片段的图像帧中出现的人脸之间的差异不大,属于不同视频片段的图像帧中出现的人脸之间的差异相对较大。换句话说,同一视频片段中不同的图像帧的人脸解析结果差异不大,而,不同视频片段的图像帧的人脸解析结果差异相对较大。如此,配合并行对多个视频片段进行人脸解析,即便视频片段的人脸解析未全部完成,也能提高该视频数据被相关游客查找到的命中率。
基于图4所示的步骤S102的子步骤可知,在一些实施例中,在搜索人脸图像匹配的第一目标人脸信息时,通过将搜索范围限制在活动的人脸桶,从而实现将搜索范围可靠的缩小,进而减少人脸图像的人脸识别时耗。
需要说明的是,将搜索范围限制在活动的人脸桶,之所以能够将搜索范围可靠的缩小,其原因在于游乐园场景的特殊性。即,部分游客不会经常出现去游乐园游玩,因此,这部分游客所对应的人脸桶由于时间长不被匹配中,其状态会切换为非活动,可见,非活动的人脸桶内的人脸信息的比对价值也不高。而同一天同一游客会使用多个游乐设备并伴随产生多段视频数据,显然,当天出现在游乐园的游客所对应的人脸桶的比对价值高,命中第一目标人脸信息的概率也高。
当然,也可能存在从活动的人脸桶中未搜索到第一目标人脸信息的问题。为了改善这一问题,在一些实施例中,如图5所示,对视频片段进行人脸解析的子步骤还包括:
子步骤S102-4,从非活动的人脸桶中搜索与人脸图像匹配的第一目标人脸信息,以便将得到的第一目标人脸信息与视频数据绑定。
当然,还可能存在人脸库中所有的人脸桶都搜索不到第一目标人脸信息的情况。针对上述情况,可以从该人脸图像中提取人脸信息,并存储在当前时间周期对应的人脸桶中。
在一些实施例中,还可能存在人脸库中没有活动的人脸桶的场景,在此场景下,如图6所示,上述视频人脸解析方法还包括:
步骤S201,将人脸图像与人脸库中人脸信息进行比对。
步骤S202,若从人脸库中未确定出与人脸图像匹配的第二目标人脸信息,则基于人脸图像创建新的人脸桶,并将新的人脸桶的状态标记为活动。
在一些实施例中,可以是首先新确定一个存储区域。其次,从人脸图像中提取人脸信息。再次,将提取到的人脸信息存储至新确定出的存储区域,从而得到一个新的人脸桶。最后,将新的人脸桶的状态标记为活动。
在一些实施例中,新的人脸桶创建后用于存放所对应的时间周期内采集到的人脸信息。
在一些实施例中,可以将新的人脸桶中的人脸信息作为第一目标人脸信息与视频数据进行绑定。
通常新创建的人脸桶其对应的状态为活动,但是如前所述,人脸桶的状态是可以根据实际情况在活动与非活动之间进行切换的。故,在一些实施例中,如图7所示,上述视频人脸解析方法还包括:
步骤S301,当一个活动的人脸桶中的人脸信息在第一指定时长内均未被匹配作为第一目标人脸信息时,将活动的人脸桶对应的状态变更为非活动。
比如,设定第一指定时长为2天,若是一个活动的人脸桶其内存储的人脸信息持续2天未被任何一张人脸图像匹配中过,则将该人脸桶的状态变更为非活动。
步骤S302,当一非活动的人脸桶中的人脸信息被匹配作为第一目标人脸信息时,将非活动的人脸桶对应的状态变更为活动。
此外,随着游乐园的游客增多,视频数据的人脸解析量也增大。与此同时,人脸桶的数量也会增大。人脸桶的数量增大,一方面增加了人脸解析的时耗,另一方面也占用较多存储资源。为了改善上述问题,结合游乐园的特殊性,如图8所示,上述视频人脸解析方法还包括:
步骤S401,获取人脸桶的活跃信息及存续时长。
上述活跃信息包括人脸桶所对应的状态变更次数、所对应的状态为活动的历史时长及所对应的状态为非活动的历史时长。
可选地,上述状态变更次数为人脸桶所对应状态的切换次数。比如,人脸桶的状态从活动切换为非活动则状态变更次数为1,当其状态从非活动再切换为活动则状态变更次数为2,以此类推,其状态再次从活动切换为非活动则状态变更次数为3。
可选地,上述状态为活动的历史时长为人脸桶自创建以后状态处于活动的总是很长。同理,对应的状态为非活动的历史时长为人脸桶自创建以后状态处于非活动的总是很长。
可以理解地,对于人脸桶而言,其状态为活动的历史时长和状态为非活动的历史时长之和等于其存续时长。
步骤S402,当非活动的人脸桶中出现存续时长超过第一时长且活跃信息不满足预设活跃条件的目标人脸桶时,将所述目标人脸桶删除。
在一些实施例中,上述预设活跃条件可以包括人脸桶的状态变更次数超过预设值且人脸桶的状态为活动的历史时长大于状态为非活动的历史时长。
在一些可能的实施例中,上述判断是否满足预设活跃条件的方式还可以是基于非活动的人脸桶所对应的状态时间曲线进行判断。可以理解地,上述状态时间曲线可以体现人脸桶的状态切换时间点。其横坐标为时间轴;其纵坐标代表人脸桶的状态(比如,活动状态对应的取值为1,非活动状态对应的取值为0)。可选地,可以通过判断状态时间曲线的变化是否具有周期性(比如,每隔一个月会出现一次从非活动切换至活动),如果具有则认为满足预设活跃条件。
在另一些实施例中,还可以是当一个人脸桶属于非活动的时长超过第二时长时,将该人脸桶删除。
在另一些实施例中,在人脸图像搜索的过程中,在一定时间周期内被匹配到的目标人脸信息将其状态切换为活动的人脸信息,而在一定时间周期内未被匹配到的目标人脸信息将其状态切换为非活动的人脸信息。在人脸图像搜索时,优先与活动的人脸信息匹配,再与非活动的人脸信息匹配,以提高人脸识别效率。
为了执行上述实施例及各个可能的方式中的相应步骤,下面给出一种视频人脸解析装置300的实现方式,可选地,该视频人脸解析装置300可以采用上述图2所示的服务器100的器件结构。进一步地,请参阅图9,图9为本发明实施例提供的一种视频人脸解析装置300的功能模块图。需要说明的是,本实施例所提供的视频人脸解析装置300,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。该视频人脸解析装置300包括:划分模块301及识别模块302。
划分模块301,用于将视频数据分为多个视频片段。
在本发明实施例中,上述步骤S101可以由划分模块301执行。
识别模块302,用于并行地对多个所述视频片段进行人脸解析。
在本发明实施例中,上述步骤S102可以由识别模块302执行。可选地,所述识别模块302包括:
获取子模块,用于从所述视频片段中的图像帧中获取人脸图像。
搜索子模块,用于从活动的人脸桶中搜索与所述人脸图像匹配的第一目标人脸信息;所述人脸桶为用于存储同一时间周期内采集到的人脸信息的存储单元。
绑定子模块,用于将得到的所述第一目标人脸信息与所述视频片段所属的视频数据绑定。
可选地,上述绑定子模块还包括用于:
获取解析时长;其中,所述解析时长为启动人脸解析的总时长;或者,所述解析时长为多个所述视频片段中已完成第一目标人脸信息匹配的子片段的总视频时长;
当解析时长超过预设值时,将已得到的第一目标人脸信息与视频数据绑定,并停止继续对所述视频数据所对应的所述视频片段进行人脸解析。
可选地,上述模块可以软件或固件(Firmware)的形式存储于图2所示的存储器110中或固化于该服务器100的操作系统(Operating System,OS)中,并可由图2中的处理器120执行。同时,执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
在本发明实施例中,还可以提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器120执行时实现上述的视频人脸解析方法。
综上所述,本发明实施例提供了一种视频人脸解析方法、装置及服务器。其中,上述视频人脸解析方法包括将视频数据分为多个视频片段,并行地对多个所述视频片段进行人脸解析。在对视频片段进行人脸解析的步骤包括:从所述视频片段中的图像帧中获取人脸图像,从活动的人脸桶中搜索与所述人脸图像匹配的第一目标人脸信息;所述人脸桶为用于存储同一时间周期内采集到的人脸信息的存储单元;将得到的所述第一目标人脸信息与所述视频片段所属的视频数据绑定。通过并行处理视频片段及缩小比对范围的方式,提高对单个视频数据进行人脸解析的效率,使服务器能够更好的应对巨大的视频处理压力。使游客能够更快的得到相关的视频数据,以提高用户体验。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种视频人脸解析方法,其特征在于,应用于服务器,所述服务器内设有人脸库,所述人脸库中包括活动的人脸桶及非活动的人脸桶,所述视频人脸解析方法包括:
将视频数据分为多个视频片段;
并行地对多个所述视频片段进行人脸解析;
其中,对所述视频片段进行人脸解析的步骤包括:
从所述视频片段中的图像帧中获取人脸图像;
从活动的人脸桶中搜索与所述人脸图像匹配的第一目标人脸信息;所述人脸桶为用于存储同一时间周期内采集到的人脸信息的存储单元;
当从所述活动的人脸桶中未搜索到所述第一目标人脸信息时,从所述非活动的人脸桶中搜索与所述人脸图像匹配的第一目标人脸信息;其中,在一所述活动的人脸桶中的人脸信息在第一指定时长内均未被匹配作为所述第一目标人脸信息时,该活动的人脸对应的状态变为非活动;在一所述非活动的人脸桶中的人脸信息被匹配作为所述第一目标人脸信息时,该非活动的人脸桶对应的状态变更为活动;
将得到的所述第一目标人脸信息与所述视频片段所属的视频数据绑定。
2.根据权利要求1所述的视频人脸解析方法,其特征在于,所述将所述第一目标人脸信息与所述视频片段所属的视频数据绑定的步骤包括:
获取解析时长;其中,所述解析时长为启动人脸解析的总时长;或者,所述解析时长为多个所述视频片段中已完成第一目标人脸信息匹配的子片段的总视频时长;
当所述解析时长超过预设值时,将已得到的所述第一目标人脸信息与所述视频数据绑定,并停止继续对所述视频数据所对应的所述视频片段进行人脸解析。
3.根据权利要求1所述的视频人脸解析方法,其特征在于,所述服务器内设有人脸库,所述人脸库包括多条人脸信息;当检测到所述人脸库中不包括活动的人脸桶时,所述视频人脸解析方法还包括:
将所述人脸图像与所述人脸库中人脸信息进行比对;
若从所述人脸库中未确定出与所述人脸图像匹配的第二目标人脸信息,则基于所述人脸图像创建新的所述人脸桶,并将新的所述人脸桶的状态标记为活动。
4.根据权利要求1所述的视频人脸解析方法,其特征在于,所述视频人脸解析方法还包括:
当一所述活动的人脸桶中的人脸信息在第一指定时长内均未被匹配作为所述第一目标人脸信息时,将所述活动的人脸桶对应的状态变更为非活动;
当一所述非活动的人脸桶中的人脸信息被匹配作为所述第一目标人脸信息时,将所述非活动的人脸桶对应的状态变更为活动。
5.根据权利要求1所述的视频人脸解析方法,其特征在于,所述视频人脸解析方法还包括:
获取所述人脸桶的活跃信息及存续时长;其中,所述活跃信息包括所述人脸桶所对应的状态变更次数、所对应的状态为活动的历史时长及所对应的状态为非活动的历史时长;
当所述非活动的人脸桶中出现所述存续时长超过第一时长且所述活跃信息不满足预设活跃条件的目标人脸桶时,将所述目标人脸桶删除。
6.一种视频人脸解析装置,其特征在于,应用于服务器,所述服务器内设有人脸库,所述人脸库中包括活动的人脸桶及非活动的人脸桶,所述视频人脸解析装置包括:
划分模块,用于将视频数据分为多个视频片段;
识别模块,用于并行地对多个所述视频片段进行人脸解析;
其中,所述识别模块包括:
获取子模块,用于从所述视频片段中的图像帧中获取人脸图像;
搜索子模块,用于从活动的人脸桶中搜索与所述人脸图像匹配的第一目标人脸信息;当从所述活动的人脸桶中未搜索到所述第一目标人脸信息时,从所述非活动的人脸桶中搜索与所述人脸图像匹配的第一目标人脸信息;所述人脸桶为用于存储同一时间周期内采集到的人脸信息的存储单元;在一所述活动的人脸桶中的人脸信息在第一指定时长内均未被匹配作为所述第一目标人脸信息时,该活动的人脸对应的状态变为非活动;在一所述非活动的人脸桶中的人脸信息被匹配作为所述第一目标人脸信息时,该非活动的人脸桶对应的状态变更为活动;
绑定子模块,用于将得到的所述第一目标人脸信息与所述视频片段所属的视频数据绑定。
7.根据权利要求6所述的视频人脸解析装置,其特征在于,所述绑定子模块还包括用于:
获取解析时长;其中,所述解析时长为启动人脸解析的总时长;或者,所述解析时长为多个所述视频片段中已完成第一目标人脸信息匹配的子片段的总视频时长;
当所述解析时长超过预设值时,将已得到的所述第一目标人脸信息与所述视频数据绑定,并停止继续对所述视频数据所对应的所述视频片段进行人脸解析。
8.一种服务器,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现权利要求1-5任一所述的视频人脸解析方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的视频人脸解析方法。
CN202010221642.XA 2020-03-26 2020-03-26 视频人脸解析方法、装置及服务器 Active CN111414517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010221642.XA CN111414517B (zh) 2020-03-26 2020-03-26 视频人脸解析方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010221642.XA CN111414517B (zh) 2020-03-26 2020-03-26 视频人脸解析方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN111414517A CN111414517A (zh) 2020-07-14
CN111414517B true CN111414517B (zh) 2023-05-19

Family

ID=71491459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010221642.XA Active CN111414517B (zh) 2020-03-26 2020-03-26 视频人脸解析方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN111414517B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0402822A2 (en) * 1989-06-14 1990-12-19 NECCHI S.r.l. Anti-theft case, particularly for compact disc cassettes, video cassettes, and the like
CN101021904A (zh) * 2006-10-11 2007-08-22 鲍东山 视频内容分析系统
JP2013239949A (ja) * 2012-05-16 2013-11-28 Nippon Telegr & Teleph Corp <Ntt> 映像解析処理装置、映像解析処理方法、および映像解析処理用プログラム
CN104820665A (zh) * 2014-03-17 2015-08-05 腾讯科技(北京)有限公司 展示推荐信息的方法、终端及服务器
CN106709424A (zh) * 2016-11-19 2017-05-24 北京中科天云科技有限公司 一种优化的监控视频存储系统及设备
CN106874827A (zh) * 2015-12-14 2017-06-20 北京奇虎科技有限公司 视频识别方法和装置
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术(北京)有限公司 基于视频序列的人脸识别方法和装置
CN108235114A (zh) * 2017-11-02 2018-06-29 深圳市商汤科技有限公司 视频流的内容解析方法和系统、电子设备、存储介质
CN108989764A (zh) * 2018-08-22 2018-12-11 河南省颍河电子科技有限公司 一种景区游客影片生成系统
CN110096619A (zh) * 2019-03-13 2019-08-06 长沙湘计海盾科技有限公司 视频数据分析方法、分析平台、终端及存储介质
CN110245630A (zh) * 2019-06-18 2019-09-17 广东中安金狮科创有限公司 监控数据处理方法、装置及可读存储介质
CN110543584A (zh) * 2018-05-29 2019-12-06 腾讯科技(深圳)有限公司 一种建立人脸索引的方法、装置、处理服务器及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881505B2 (en) * 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
US9900394B2 (en) * 2014-05-30 2018-02-20 Microsoft Technology Licensing, Llc User-specific and user-activity-based routing within a website

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0402822A2 (en) * 1989-06-14 1990-12-19 NECCHI S.r.l. Anti-theft case, particularly for compact disc cassettes, video cassettes, and the like
CN101021904A (zh) * 2006-10-11 2007-08-22 鲍东山 视频内容分析系统
JP2013239949A (ja) * 2012-05-16 2013-11-28 Nippon Telegr & Teleph Corp <Ntt> 映像解析処理装置、映像解析処理方法、および映像解析処理用プログラム
CN104820665A (zh) * 2014-03-17 2015-08-05 腾讯科技(北京)有限公司 展示推荐信息的方法、终端及服务器
CN106874827A (zh) * 2015-12-14 2017-06-20 北京奇虎科技有限公司 视频识别方法和装置
CN106709424A (zh) * 2016-11-19 2017-05-24 北京中科天云科技有限公司 一种优化的监控视频存储系统及设备
CN108235114A (zh) * 2017-11-02 2018-06-29 深圳市商汤科技有限公司 视频流的内容解析方法和系统、电子设备、存储介质
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术(北京)有限公司 基于视频序列的人脸识别方法和装置
CN110543584A (zh) * 2018-05-29 2019-12-06 腾讯科技(深圳)有限公司 一种建立人脸索引的方法、装置、处理服务器及存储介质
CN108989764A (zh) * 2018-08-22 2018-12-11 河南省颍河电子科技有限公司 一种景区游客影片生成系统
CN110096619A (zh) * 2019-03-13 2019-08-06 长沙湘计海盾科技有限公司 视频数据分析方法、分析平台、终端及存储介质
CN110245630A (zh) * 2019-06-18 2019-09-17 广东中安金狮科创有限公司 监控数据处理方法、装置及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谭萍 ; 邢玉娟 ; .探究基于视频的人脸识别研究进展.佳木斯职业学院学报.2016,(第11期),全文. *

Also Published As

Publication number Publication date
CN111414517A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
US20160189752A1 (en) Constrained system real-time capture and editing of video
CN107426603B (zh) 一种视频播放方法及装置
JPH11506575A (ja) 情報の選択記憶システム及び方法
WO2018086527A1 (zh) 一种视频处理方法及装置
CN107438196A (zh) 用于播放录制视频的方法和设备
US20220172476A1 (en) Video similarity detection method, apparatus, and device
CN108540817B (zh) 视频数据处理方法、装置、服务器及计算机可读存储介质
CN112291634B (zh) 视频处理方法及装置
CN113613051B (zh) 无缝续播方法、装置、服务器及计算机存储介质
CN112182289B (zh) 一种基于Flink框架的数据去重方法及装置
CN111414517B (zh) 视频人脸解析方法、装置及服务器
US10628681B2 (en) Method, device, and non-transitory computer readable medium for searching video event
CN112528748B (zh) 一种从视频中识别并截取静态幻灯片的方法
US20200092444A1 (en) Playback method, playback device and computer-readable storage medium
CN114708287A (zh) 一种镜头边界检测方法、设备及存储介质
CN112752067A (zh) 目标追踪方法、装置、电子设备及存储介质
KR102042397B1 (ko) 압축영상에 대한 신택스 기반의 히트맵 생성 방법
CN115243073A (zh) 一种视频处理方法、装置、设备及存储介质
CN117014649A (zh) 视频处理方法、装置及电子设备
EP4195149A1 (en) Target detection and tracking method and apparatus, electronic device, and storage medium
CN112040325B (zh) 一种视频播放方法、装置、电子设备及存储介质
CN110781797B (zh) 一种标注方法、装置及电子设备
CN112201047B (zh) 一种基于Flink框架的嫌疑车辆落脚点分析方法及装置
CN114913622A (zh) 行车记录仪的视频显示方法、系统和计算机存储介质
CN112181986A (zh) 一种基于Flink框架的数据分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant