CN110427805A - 视频显示方法、装置、计算机设备和存储介质 - Google Patents

视频显示方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110427805A
CN110427805A CN201910537916.3A CN201910537916A CN110427805A CN 110427805 A CN110427805 A CN 110427805A CN 201910537916 A CN201910537916 A CN 201910537916A CN 110427805 A CN110427805 A CN 110427805A
Authority
CN
China
Prior art keywords
face
information
attribute
user interface
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910537916.3A
Other languages
English (en)
Other versions
CN110427805B (zh
Inventor
张磊
宋晨
李雪冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910537916.3A priority Critical patent/CN110427805B/zh
Publication of CN110427805A publication Critical patent/CN110427805A/zh
Application granted granted Critical
Publication of CN110427805B publication Critical patent/CN110427805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出的视频显示方法、装置、计算机设备和存储介质,其中方法包括:接初始视频;采集所述初始视频中人脸的特征信息以及位置信息;将所述特征信息与预设数据库中的信息进行匹配,以得到所述人脸的身份信息;将所述特征信息通过预设算法计算得到对应所述人脸的属性;将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置,设置重叠的双层用户界面层,将视频以及属性身份信息分别在显示在不同用户界面层,使得视频显示不容易出现延迟、卡顿的,大大高了显示的速度,使用户具有更好的体验效果。

Description

视频显示方法、装置、计算机设备和存储介质
技术领域
本发明涉及到数据处理的技术领域,特别是涉及到一种视频显示方法、装置、计算机设备和存储介质。
背景技术
近年来,人脸识别技术得到迅速的发展和广泛的应用。人脸识别技术是利用已知的人脸库,根据计算机或相关设备分析人脸图像,进而提取人脸中的特征,再根据提取的特征与人脸库进行比较,从而确认待测人脸身份的方法。而通常对人脸识别之后,还会将人脸表情、身份等方面的信息通过特定算法进行计算,然后通过视频显示出来。
目前显示人脸以及对应的人脸信息时,通常都是在一个进程中进行操作,然后显示在用户界面(UI)层中,而在解决显示和计算都需要耗费大量的时间,容易导致视频出现延迟、卡顿,显示不流畅,甚至无法显示实时的人脸识别情况,用户体验效果极差。
发明内容
本发明的主要目的为提供一种视频显示方法、装置、计算机设备和存储介质,旨在解决现有视频显示人脸容易出现卡顿,显示不流畅的问题。
基于上述发明目的,本发明提出一种视频显示方法,包括:
接收初始视频,所述初始视频包括有至少一个人脸的视频;
采集所述初始视频中人脸的特征信息以及位置信息,所述位置信息为所述人脸在视频界面中位置的信息;
将所述特征信息与预设数据库中的信息进行匹配,以得到所述人脸的身份信息;
将所述特征信息通过预设算法计算得到对应所述人脸的属性;
将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置。
进一步地,所述人脸具有多个并分别已进行编号,所述特征信息包括多种特征类型的人脸特征,所述采集所述初始视频中人脸的特征信息以及位置信息的步骤,包括:
采集所述人脸的位置信息,并启动多个进程,每个所述进程对应一个或多个特征类型;
在对应各所述特征类型的进程中,分别对各所述人脸进行采集得到多个部分特征,每个所述部分特征对应一种特征类型;
将多个所述部分特征按照相同编号结合得到对应所述编号的人脸的特性信息。
进一步地,所述根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置的步骤之后,包括:
获取所述第二用户界面中显示所述属性以及所述身份信息的位置的坐标;
依据所述属性及所述身份信息的数据量以及所述坐标确定显示区域;
将所述显示区域进行模糊处理。
进一步地,所述依据所述属性及所述身份信息的数据量以及所述坐标确定显示区域的步骤,包括:
获取预设的显示格式,所述显示格式包括字段的字体;
根据所述属性以及所述身份信息的数据量以确定将所述属性以及所述身份信息按所述显示格式显示后,在所述第二用户界面层所占的空间,记为显示空间;
以所述坐标作为所述显示空间的中心点,得到所述显示区域。
进一步地,所述将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置的步骤之后,包括:
获取在所述第一用户界面层显示所述初始视频的当前帧图像的第一时间,以及在所述第二用户界面层中显示对应所述当前帧图像的人脸的属性以及所述身份信息的第二时间;
计算所述第一时间与所述第二时间之间的时间差值,记为T0
判断|T0|是否大于预设阀值;
若是,则依据所述时间差值调整在所述第二用户界面层中显示的属性以及所述身份信息,以及在所述第一用户界面层中显示的视频图像,以使所述第一用户界面层显示所述初始视频的图像时,在所述第二用户界面层中同步显示对应所述图像的属性以及所述身份信息。
进一步地,所述依据所述时间差值调整在所述第二用户界面层中显示的属性以及所述身份信息,以及在所述第一用户界面层中显示的视频图像,以使所述第一用户界面层显示所述初始视频的图像时,在所述第二用户界面层中同步显示对应所述图像的属性以及所述身份信息的步骤,包括:
若所述时间差值大于0,则获取所述当前帧的下一帧图像以及对应所述下一帧图像中人脸的属性以及身份信息,在第一用户界面层中显示所述下一帧图像,且在所述第二用户界面层中显示对应所述下一帧图像中人脸的属性以及身份信息;
若所述时间差值小于0,则获取所述当前帧图像中人脸属性以及身份信息,并显示在所述第二用户界面层中。
本发明还提供一种视频显示装置,包括:
接收视频单元,用于接收初始视频,所述初始视频包括有至少一个人脸的视频;
采集信息单元,用于采集所述初始视频中人脸的特征信息以及位置信息,所述位置信息为所述人脸在视频界面中位置的信息;
匹配信息单元,用于将所述特征信息与预设数据库中的信息进行匹配,以得到所述人脸的身份信息;
计算属性单元,用于将所述特征信息通过预设算法计算得到对应所述人脸的属性;
显示属性单元,用于将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置。
进一步地,所述人脸具有多个并分别已进行编号,所述特征信息包括多种特征类型的人脸特征,所述采集信息单元包括:
启动进程子单元,用于采集所述人脸的位置信息,并启动多个进程,每个所述进程对应一个或多个特征类型;
采集特征子单元,用于在对应各所述特征类型的进程中,分别对各所述人脸进行采集得到多个部分特征,每个所述部分特征对应一种特征类型;
结合特征子单元,用于将多个所述部分特征按照相同编号结合得到对应所述编号的人脸的特性信息。
本发明还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
本发明的有益效果为:设置重叠的双层用户界面层,将视频以及属性身份信息分别在显示在不同用户界面层,使得视频显示不容易出现延迟、卡顿的,大大高了显示的速度,使用户具有更好的体验效果。
附图说明
图1为本发明一实施例中视频显示方法的步骤示意图;
图2为本发明一实施例中视频显示装置的结构示意框图;
图3为本发明一实施例的计算机设备的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,本实施例中的视频显示方法,包括:
步骤S1:接收初始视频,所述初始视频包括有至少一个人脸的视频;
步骤S2:采集所述初始视频中人脸的特征信息以及位置信息,所述位置信息为所述人脸在视频界面中位置的信息;
步骤S3:将所述特征信息与预设数据库中的信息进行匹配,以得到所述人脸的身份信息;
步骤S4:将所述特征信息通过预设算法计算得到对应所述人脸的属性;
步骤S5:将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置。
如上述步骤S1所述,上述视频显示方法通过双层用户界面(User Interface,简称UI)层来实现,其中,一层用于显示视频,记为第一用户界面层,一层用于显示人脸的属性以及视频图像中人脸的身份信息,记为第二用户界面层。本实施例中,第一用户界面层与第二用户界面层重叠设置,且第一用户界面层置于第二用户界面层的底层,以保证上述双层用户界面层均正常显示,避免观看视频的同时对观看属性造成困扰。上述初始视频,可通过摄像头或其他外部设备进行采集得到,当接收到该初始视频时,可对初始视频进行处理,需知,上述初始视频为包含有至少一个人脸的视频。
如上述步骤S2及S3所述,先获取初始视频中的人脸,然后对人脸进行特征采集,上述特征信息包括多种特征类型的人脸特征,如人脸的五官、肤色、发型等。同时获取该人脸的位置信息,该位置信息即人脸在视频界面中的位置的信息,如界面中的坐标。将得到的人脸的特征信息与预设数据库中的信息进行匹配得到该人脸的身份信息,即识别出该人脸,上述数据库中存储有大量的人脸特征信息以及对应的该人脸的资料,通过将人脸的特征信息与数据库中的信息逐个对比,得到与该人脸特征信息匹配的信息,对应该信息的人脸即是上述识别出的人脸。已知上述人脸可以为一个或多个,在一个实施例中,初始视频中的人脸具有多个,在获得初始视频时可对人脸进行编号,则上述步骤S2包括:
步骤S21:采集所述人脸的位置信息,并启动多个进程,每个所述进程对应一个或多个特征类型;
步骤S22:在对应各所述特征类型的进程中,分别对各所述人脸进行采集得到多个部分特征,每个所述部分特征对应一种特征类型;
步骤S23:将多个所述部分特征按照相同编号结合得到对应所述编号的人脸的特性信息。
本实施例中,在人脸数目比较多的时候,例如,对1000个人脸同时进行识别,此时人脸特征识别的运算量比较大,即使将人脸特征识别设置为单进程进行运算,但是计算的特征内容过多,导致后续得到的属性与视频显示的时间有差异,而为了在满足观看进行同步处理又会影响显示的实时性,因此,需将人脸特征的识别分为多个进程,多个进程同步进行以节省采集时间。具体地,对初始视频中各帧图像的每个人脸分别进行编号,启动多个进程,其中,每个进程分别对应人脸的一个特征类型,在每个进程中从各人脸中获取对应类型的特征,然后将对应编号的特征进行结合,得到对应上述编号的人脸的特征信息,然后将这些特征信息与预设数据库中的对应的特征信息进行对比。其中上述不同类型的特征可以为发型、肤色、眼睛等,上述进程可以根据特征的个数来启动。
举例地,现将视频中的人脸进行编号,编号的方式不做限定,如以1、2、3…N(N为正整数)标注人脸,以A、B、C三个进程为例,视频一帧图像中具有1号人脸以及2号人脸,其中A进程用于收集发型特征,已知每个收集的发型特征与标注人脸的编号对应,B进程用于收集肤色特征,已知每个收集的肤色特征与标注人脸的编号进行对应,C进程收集眼睛的特征,已知每个收集的眼睛特征与标注人脸的编号对应,再将所有A、B、C收集的特征按编号整合,得到1号人脸的特征信息以及2号人脸的特征信息,再将这些特征信息与原有的数据库进行对比,从而可以实现快速识别人脸数目比较多的情况。
应当理解,上述类似于A、B、C进程可以视情况而定,设置一个或者多个。进程内收集特征类型也可以包括一个或者多个,例如:A进程可以同时收集发型特征和肤色特征。在实际的应用中,视频中的人脸数目比较少时,例如几十上百个人脸,现有的处理器均能及时收集人脸信息并与数据库做出比较,故可以设置少量进程甚至一个进程就可以满足需求,耗费的时间不足以影响工作人员的查看,为了节省成本,可以只设置少量进程甚至一个进程来工作。
如上述步骤S4及S5所述,上述属性包括对应人脸的年龄、性别、表情、心情等等,这些属性可通过预设算法计算得到,此处的预设算法可为现有的人脸属性检测算法或人脸属性分析算法,这些算法均为现有技术,具体过程计算过程此处不再赘述。本实施例中,上述第一用户界面层用于显示上述初始视频,第二用户界面层用于显示视频中人脸的属性以及身份信息,故在得到该属性之后,依据前述获得的位置信息,得到人脸在视频界面中具体坐标,然后在第二用户界面层中对应该坐标的位置显示上述属性以及上述识别得到的身份信息。
具体地,视频是一帧一帧的,其本质是播放速率比较快的图片。例如,在1分钟内每间隔3秒连续采集得到40帧图像,再对采集到的40帧图像进行人脸追踪采集算法计算等,将算法计算的属性以及识别到的身份信息与上述采集到的40帧图像中的人脸一一对应并在用户界面层中显示出来。
现有的技术中,视频和人脸属性均在同一用户界面层中显示,由于接收视频和算法计算的数据均是同一用户界面层原因,在数据传输和数据处理上容易造成冲突,导致显示会出现卡顿、不流畅、实时显示延迟等问题。故在实时显示人脸识别技术信息时,将视频单独在一层用户界面层中显示,且不对视频的原有帧做任何改变,另外再增一层用户界面层对算法计算的属性进行显示,使算法计算的属性和视频显示不在同一层用户界面层上,进而解决上述显示出现卡顿、不流畅等问题。
在一个实施例中,上述步骤S5之后,包括:
步骤S51:获取所述第二用户界面中显示所述属性以及所述身份信息的位置的坐标;
步骤S52:依据所述属性及所述身份信息的数据量以及所述坐标确定显示区域;
步骤S53:将所述显示区域进行模糊处理。
本实施例中,为了避免两层用户界面层叠加导致显示不清楚的现象,可对顶层的第二用户界面层进行模糊处理或不突出处理,具体而言,首先获取位置信息,以确定显示属性以及身份信息的位置,上述位置信息为第一用户界面层视频中人脸的位置,第一用户界面层与第二用户界面层层叠,则该位置的坐标即为第二用户界面层中显示属性以身份信息的坐标,由于显示需要位置空间,如显示身份信息中姓名、属性中的年龄心情等,均需要一定的位置来进行显示,这时可通过获得显示这些数据的数据量,以便得到显示所占用的位置空间,然后以上述获得的坐标为中点以及显示占用的位置空间大小来划定显示区域,由于第一用户界面层以及第二用户界面层重叠设置,将上述显示区域在第二用户界面层显示出来时,会使得第一用户界面层的人脸无法看清,故这时可对显示区域进行模糊处理,模糊处理即将显示的内容虚化,模糊处理为现有成熟的技术,此处不再赘述。另外还可以适当调整模糊的程度,以使得上述两层用户界面层显示的内容均可以通过人眼看清。
上述确定显示区域的方法如下,即上述步骤S52,包括:
步骤S521:获取预设的显示格式,所述显示格式包括字段的字体;
步骤S521:根据所述属性以及所述身份信息的数据量以确定将所述属性以及所述身份信息按所述显示格式显示后,在所述第二用户界面层所占的空间,记为显示空间;
步骤S521:以所述坐标作为所述显示空间的中心点,得到所述显示区域。
具体而言,在界面中显示属性以及身份信息需要显示位置,而显示字段的不同字体所占用的显示位置大小不一样,本实施例中,显示属性以及身份信息采用统一的格式,该格式为预设的显示格式,具体包括段落、字体等,例如采用宋体六号字体。首先获取该显示格式,然后根据属性和身份信息的数据量得到按该显示格式显示后的大小,即在第二用户界面层所占的空间,此处为显示空间,然后以上述坐标作为中点,例如上述显示空间为具有一定面积的正方形,即显示的内容形成上述正方形,则以上述坐标作为该正方形的对角线交点,该显示空间即为上述显示区域。
在一个实施例中,上述步骤S5之后,包括:
步骤S54:将所述身份信息与预设的特殊人员数据库中的信息进行对比,以判断所述身份信息是否为所述特殊人员的身份信息;
步骤S55:若是,则对所述人脸进行标记。
本实施例中,对于某些应用场景,例如在商城的监测视频中,当视频中出现某些特殊人员,如来该商城偷窃的惯偷,则可对其进程重点标记,以便于工作人员作出及时反应,对工作提前作出安排。具体地,先建立特殊人员的数据库,将上述对应人脸的身份信息特殊人员数据库中的信息进行比较,从而判断身份信息是否为特殊人员的身份信息,若存在有与特殊人员的数据库相匹配的特殊人员,则将提醒相关工作人员,并将相关资料发送给工作人员,确定接下来需要做的工作。
当然,除了将身份信息进行比较,还可以将人脸进行比较,如将识别人脸的特征与数据库中的人脸特征进行比较,相对应的,特殊人员的数据库可以是人脸特征的数据库,也可以是基于基础数据库中人脸识别后的身份信息库。在一个实施例中,可在见到目标人物时,就对特殊人员进行标记,同时在目标人物出现时,将此段视频剪切下来,方便工作人员进行查看,也可以同时在原视频中作出标记,例如将出现的时间作出标记等。
在一个实施例中,上述步骤S5之后,包括:
步骤S6:获取在所述第一用户界面层显示所述视频的当前帧图像的第一时间,以及在所述第二用户界面层中显示对应所述当前帧图像的人脸的属性以及所述身份信息的第二时间;
步骤S7:计算所述第一时间与所述第二时间之间的时间差值,记为T0
步骤S8:判断|T0|是否大于预设阀值;
步骤S9:若是,则依据所述时间差值调整在所述第二用户界面层中显示所述当前帧的属性以及所述身份信息,以及在所述第一用户界面层中显示的视频图像,以使所述第一用户界面层显示所述初始视频的图像时,在所述第二用户界面层中同步显示对应所述图像的属性以及所述身份信息。
本实施例中,视频显示和算法计算虽然都是基于摄像头拍摄的视频,但是由于硬件配置问题等的原因,二者解析过程的时间不同,出现不同延时的情况,导致视频显示播放的时间与算法计算属性的时间不同,若这个时间差大于一定值时,则可能会出现属性与视频中的人脸对应不上,当人数过多时还会出现误识或者漏识的现象。
如上述S6-S9所述,获取第一用户界面层初始视频中当前帧图像的第一时间,已知视频播放是通过快速播放多帧图片从而得到动画的效果,当前帧图像即是当前正在显示的那帧图片;同时获取在第二用户界面中显示对应当前帧图像的属性以及身份信息的第二时间信息,需知该属性是由前述算法计算之后得到,故可能存在第二用户界面层显示当前帧的属性和身份新比第一用户界面层显示当前帧图像的时间延迟现象,这时计算第一时间减去第二时间得到的差值,即计算第一时间和第二时间之间的时间差值,该时间差值记为T0;这时可判断两者之差是否超过预设阀值,即判断|T0|是否大于预设阀值,若是,则说明这时会出现属性与视频中的人脸对应不上,影响画面显示质量,接着可根据时间差调整第二用户界面层显示属性的时间进度,或者结合调整在所述第一用户界面层中显示的视频图像的时间进度,使二者的显示时间保持一致,即使得两者同步显示对应图像的内容,在另一实施例中,也可以调整第一用户界面层中视频的播放速度,以使两层用户界面层的显示同步。
进一步地,上述步骤S9,包括:
步骤S91:若所述时间差值大于0,则获取所述当前帧的下一帧图像以及对应所述下一帧图像中人脸的属性以及身份信息,在第一用户界面层中显示所述下一帧图像,且在所述第二用户界面层中显示对应所述下一帧图像中人脸的属性以及身份信息;
步骤S92:若所述时间差值小于0,则获取所述当前帧图像中人脸属性以及身份信息,并显示在所述第二用户界面层中。
本实施例中,在时间差值的绝对值大于预设阀值的情况下,才对视频或属性、身份信息进行调整,而|T0|大于预设阀值时具有两种可能,一是第一时间比第二时间多,即两者的时间差值大于0,即说明第一用户界面层显示的视频的当前帧图像比第二用户界面显示当前帧图像的属性和身份信息要早,表明对应当前帧图像的属性和身份信息还没有进行计算,这时可忽略视频在时间差值当中的各帧图像,直接计算当前帧的下一帧图像的属性以及身份信息,然后可以同时获取下一帧图像以及下一图像的属性以及身份信息,分别同时显示在第一用户界面层以及第二用户界面层。另一种是第一时间比第二时间少,即两者时间差值小于0,说明第一用户界面层显示的视频的当前帧图像比第二用户界面显示当前帧图像的属性和身份信息要迟,表明第一用户界面层视频播放较慢,而计算属性与身份信息较快,这时可以直接获取当前帧图像对应的属性和身份信息,在第二用户界面层中显示。
举例地,第一时间为视频的第12分30秒,第二时间为视频的第12分20秒,将两者对比,得到第一时间比第二时间多10秒,即T0=10,这时计算当前帧下一帧的属性和身份信息,然后同时获取下一帧图像和对应的属性和身份信息,并分别显示在第一用户界面层和第二用户界面层。若第一时间为视频的第12分20秒,第二时间为视频的第12分30秒,即第一时间比第二时间少10秒,即T0=-10,即表明当前帧图像的属性和身份信息已计算,这时可直接获取当前帧图像的属性和身份信息,并显示在第二用户界面层,使得第一用户界面层与第二用户界面层显示的内容始终保持同步。
在一个实施例中,上述第一用户界面层与第二用户界面层分别设置在不同的处理器(CPU)中,不同的CPU可同步进行,通过不同的CPU进行处理,可大大加快处理速度,解决视频卡顿、显示不流畅的问题,且显示的实时性也会大大提高,更利于用户的观看及即时处理。
参照图2,本实施例中视频显示装置,包括:
接收视频单元100,用于接收初始视频,所述初始视频包括有至少一个人脸的视频,所述位置信息为所述人脸在视频界面中位置的信息;
采集信息单元200,用于采集所述初始视频中人脸的特征信息以及位置信息;
匹配信息单元300,用于将所述特征信息与预设数据库中的信息进行匹配,以得到所述人脸的身份信息;
计算属性单元400,用于将所述特征信息通过预设算法计算得到对应所述人脸的属性;
显示属性单元500,用于将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置。
如上述接收视频单元100所述,上述视频显示装置通过双层用户界面(UserInterface,简称UI)层来实现,其中,一层用于显示视频,记为第一用户界面层,一层用于显示人脸的属性以及视频图像中人脸的身份信息,记为第二用户界面层。本实施例中,第一用户界面层与第二用户界面层重叠设置,且第一用户界面层置于第二用户界面层的底层,以保证上述双层用户界面层均正常显示,避免观看视频的同时对观看属性造成困扰。上述初始视频,可通过摄像头或其他外部设备进行采集得到,当接收到该初始视频时,可对该初始视频进行处理,需知,上述初始视频指包含有至少一个人脸的视频。
如上述采集信息单元200及匹配信息单元300所述,先获取初始视频中的人脸,然后对人脸进行特征采集,上述特征信息包括多种特征类型的人脸特征,如人脸的五官、肤色、发型等。同时获取该人脸的位置信息,该位置信息即人脸在视频界面中的位置的信息,如界面中的坐标。将得到的人脸的特征信息与预设数据库中的信息进行匹配得到该人脸的身份信息,即识别出该人脸,上述数据库中存储有大量的人脸特征信息以及对应的该人脸的资料,通过将人脸的特征信息与数据库中的信息逐个对比,得到与该人脸特征信息匹配的信息,对应该信息的人脸即是上述识别出的人脸。已知上述人脸可以为一个或多个,在一个实施例中,初始视频中的人脸具有多个,在获得初始视频时可对人脸进行编号,则上述采集信息单元200包括:
启动进程子单元,用于采集所述人脸的位置信息,并启动多个进程,每个所述进程对应一个或多个特征类型;
采集特征子单元,用于在对应各所述特征类型的进程中,分别对各所述人脸进行采集得到多个部分特征,每个所述部分特征对应一种特征类型;
结合特征子单元,用于将多个所述部分特征按照相同编号结合得到对应所述编号的人脸的特性信息。
本实施例中,在人脸数目比较多的时候,例如,对1000个人脸同时进行识别,此时人脸特征识别的运算量比较大,即使将人脸特征识别设置为单进程进行运算,但是计算的特征内容过多,导致后续得到的属性与视频显示的时间有差异,而为了在满足观看进行同步处理又会影响显示的实时性,因此,需将人脸特征的识别分为多个进程,多个进程同步进行以节省采集时间。具体地,对初始视频中各帧图像的每个人脸分别进行编号,启动多个进程,其中,每个进程分别对应人脸的一个特征类型,在每个进程中从各人脸中获取对应类型的特征,然后将对应编号的特征进行结合,得到对应上述编号的人脸的特征信息,然后将这些特征信息与预设数据库中的对应的特征信息进行对比。其中上述不同类型的特征可以为发型、肤色、眼睛等,上述进程可以根据特征的个数来启动。
举例地,现将初始视频中的人脸进行编号,编号的方式不做限定,如以1、2、3…N(N为正整数)标注人脸,以A、B、C三个进程为例,视频一帧图像中具有1号人脸以及2号人脸,其中A进程用于收集发型特征,已知每个收集的发型特征与标注人脸的编号对应,B进程用于收集肤色特征,已知每个收集的肤色特征与标注人脸的编号进行对应,C进程收集眼睛的特征,已知每个收集的眼睛特征与标注人脸的编号对应,再将所有A、B、C收集的特征按编号进行整合,得到1号人脸的特征信息以及2号人脸的特征信息,再将这些特征信息与原有的数据库进行对比,从而可以实现快速识别人脸数目比较多的情况。
应当理解,上述类似于A、B、C进程可以视情况而定,设置一个或者多个。进程内收集特征类型也可以包括一个或者多个,例如:A进程可以同时收集发型特征和肤色特征。在实际的应用中,视频中的人脸数目比较少时,例如几十上百个人脸,现有的处理器均能及时收集人脸信息并与数据库做出比较,故可以设置少量进程甚至一个进程就可以满足需求,耗费的时间不足以影响工作人员的查看,为了节省成本,可以只设置少量进程甚至一个进程来工作。
如上述计算属性单元400及显示属性单元500所述,上述属性包括对应人脸的年龄、性别、表情、心情等等,这些属性可通过预设算法计算得到,此处的预设算法可为现有的人脸属性检测算法或人脸属性分析算法,这些算法均为现有技术,具体过程计算过程此处不再赘述。本实施例中,上述第一用户界面层用于显示上述初始视频,第二用户界面层用于显示视频中人脸的属性以及身份信息,故在得到该属性之后,依据前述获得的位置信息,得到人脸在视频界面中具体坐标,然后在第二用户界面层中对应该坐标的位置显示上述属性以及上述识别得到的身份信息。
具体地,视频是一帧一帧的,其本质是播放速率比较快的图片。例如,在1分钟内每间隔3秒连续采集得到40帧图像,再对采集到的40帧图像进行人脸追踪采集算法计算等,将算法计算的属性以及识别到的身份信息与上述采集到的40帧图像中的人脸一一对应并在用户界面层中显示出来。
现有的技术中,视频和人脸属性均在同一用户界面层中显示,由于接收视频和算法计算的数据均是同一用户界面层原因,在数据传输和数据处理上容易造成冲突,导致显示会出现卡顿、不流畅、实时显示延迟等问题。故在实时显示人脸识别技术信息时,将视频单独在一层用户界面层中显示,且不对视频的原有帧做任何改变,另外再增一层用户界面层对算法计算的属性进行显示,使算法计算的属性和视频显示不在同一层用户界面层上,进而解决上述显示出现卡顿、不流畅等问题。
在一个实施例中,上述视频显示装置,还包括:
获取坐标单元,用于获取所述第二用户界面中显示所述属性以及所述身份信息的位置的坐标;
确定区域单元,用于依据所述属性及所述身份信息的数据量以及所述坐标确定显示区域;
模糊显示单元,用于将所述显示区域进行模糊处理。
本实施例中,为了避免两层用户界面层叠加导致显示不清楚的现象,可对顶层的第二用户界面层进行模糊处理或不突出处理,具体而言,首先获取位置信息,以确定显示属性以及身份信息的位置,上述位置信息为第一用户界面层视频中人脸的位置,第一用户界面层与第二用户界面层层叠,则该位置的坐标即为第二用户界面层中显示属性以身份信息的坐标,由于显示需要位置空间,如显示身份信息中姓名、属性中的年龄心情等,均需要一定的位置来进行显示,这时可通过获得显示这些数据的数据量,以便得到显示所占用的位置空间,然后以上述获得的坐标为中点以及显示占用的位置空间大小来划定显示区域,由于第一用户界面层以及第二用户界面层重叠设置,将上述显示区域在第二用户界面层显示出来时,会使得第一用户界面层的人脸无法看清,故这时可对显示区域进行模糊处理,模糊处理即将显示的内容虚化,模糊处理为现有成熟的技术,此处不再赘述。另外还可以适当调整模糊的程度,以使得上述两层用户界面层显示的内容均可以通过人眼看清。
上述确定区域单元,包括:
获取格式子单元,用于获取预设的显示格式,所述显示格式包括字段的字体;
确定空间子单元,用于根据所述属性以及所述身份信息的数据量以确定将所述属性以及所述身份信息按所述显示格式显示后,在所述第二用户界面层所占的空间,记为显示空间;
得到区域子单元,以所述坐标作为所述显示空间的中心点,得到所述显示区域。
具体而言,在界面中显示属性以及身份信息需要显示位置,而显示字段的不同字体所占用的显示位置大小不一样,本实施例中,显示属性以及身份信息采用统一的格式,该格式为预设的显示格式,具体包括段落、字体等,例如采用宋体六号字体。首先获取该显示格式,然后根据属性和身份信息的数据量得到按该显示格式显示后的大小,即在第二用户界面层所占的空间,此处为显示空间,然后以上述坐标作为中点,例如上述显示空间为具有一定面积的正方形,即显示的内容形成上述正方形,则以上述坐标作为该正方形的对角线交点,该显示空间即为上述显示区域。
在一个实施例中,上述视频显示装置,还包括:
对比身份单元,用于将所述身份信息与预设的特殊人员数据库中的信息进行对比,以判断所述身份信息是否为所述特殊人员的身份信息;
标记人脸单元,用于判断所述身份信息为所述特殊人员的身份信息时,则对所述人脸进行标记。
本实施例中,对于某些应用场景,例如在商城的监测视频中,当视频中出现某些特殊人员,如来该商城偷窃的惯偷,则可对其进程重点标记,以便于工作人员作出及时反应,对工作提前作出安排。具体地,先建立特殊人员的数据库,将上述对应人脸的身份信息特殊人员数据库中的信息进行比较,从而判断身份信息是否为特殊人员的身份信息,若存在有与特殊人员的数据库相匹配的特殊人员,则将提醒相关工作人员,并将相关资料发送给工作人员,确定接下来需要做的工作。
当然,除了将身份信息进行比较,还可以将人脸进行比较,如将识别人脸的特征与数据库中的人脸特征进行比较,相对应的,特殊人员的数据库可以是人脸特征的数据库,也可以是基于基础数据库中人脸识别后的身份信息库。在一个实施例中,可在见到目标人物时,就对特殊人员进行标记,同时在目标人物出现时,将此段视频剪切下来,方便工作人员进行查看,也可以同时在原视频中作出标记,例如将出现的时间作出标记等。
在一个实施例中,上述视频显示装置,还包括:
获取时间单元,用于获取在所述第一用户界面层显示所述初始视频的当前帧图像的第一时间,以及在所述第二用户界面层中显示对应所述当前帧图像的人脸的属性以及所述身份信息的第二时间;
对比时间单元,用于计算所述第一时间与所述第二时间之间的时间差值,记为T0
判断阀值单元,用于判断|T0|是否大于预设阀值;
调整时间单元,用于判定|T0|大于预设阀值时,依据所述时间差值调整在所述第二用户界面层中显示所述当前帧的属性以及所述身份信息,以及在所述第一用户界面层中显示的视频图像,以使所述第一用户界面层显示所述初始视频的图像时,在所述第二用户界面层中同步显示对应所述图像的属性以及所述身份信息。
本实施例中,视频显示和算法计算虽然都是基于摄像头拍摄的视频,但是由于硬件配置问题等的原因,二者解析过程的时间不同,出现不同延时的情况,导致视频显示播放的时间与算法计算属性的时间不同,若这个时间差大于一定值时,则可能会出现属性与视频中的人脸对应不上,当人数过多时还会出现误识或者漏识的现象。
具体而言,获取第一用户界面层初始视频中当前帧图像的第一时间,已知视频播放是通过快速播放多帧图片从而得到动画的效果,当前帧图像即是当前正在显示的那帧图片;同时获取在第二用户界面中显示对应当前帧图像的属性以及身份信息的第二时间信息,需知该属性是由前述算法计算之后得到,故可能存在第二用户界面层显示当前帧的属性和身份新比第一用户界面层显示当前帧图像的时间延迟现象,这时计算第一时间减去第二时间得到的差值,即计算第一时间信息和第二时间信息之间的时间差值,该时间差值记为T0;这时可判断两者之差是否超过预设阀值,即判断|T0|是否大于预设阀值,若是,则说明这时会出现属性与视频中的人脸对应不上,影响画面显示质量,接着可根据时间差调整第二用户界面层显示属性的时间进度,或者结合调整在所述第一用户界面层中显示的视频图像的时间进度,使二者的显示时间保持一致,即使得两者同步显示对应当前帧图像的内容,在另一实施例中,也可以调整第一用户界面层中视频的播放速度,以使两层用户界面层的显示同步。
进一步地,上述调整时间单元,包括:
第一调整子单元,用于所述时间差值大于0时,则获取所述当前帧的下一帧图像以及对应所述下一帧图像中人脸的属性以及身份信息,在第一用户界面层中显示所述下一帧图像,且在所述第二用户界面层中显示对应所述下一帧图像中人脸的属性以及身份信息;
第二调整子单元,用于所述时间差值小于0时,则获取所述当前帧图像中人脸属性以及身份信息,并显示在所述第二用户界面层中。
本实施例中,在时间差值的绝对值大于预设阀值的情况下,才对视频或属性、身份信息进行调整,而|T0|大于预设阀值时具有两种可能,一是第一时间比第二时间多,即两者的时间差值大于0,即说明第一用户界面层显示的初始视频的当前帧图像比第二用户界面显示当前帧图像的属性和身份信息要早,表明对应当前帧图像的属性和身份信息还没有进行计算,这时可忽略视频在时间差值当中的各帧图像,直接计算当前帧的下一帧图像的属性以及身份信息,然后可以同时获取下一帧图像以及下一图像的属性以及身份信息,分别同时显示在第一用户界面层以及第二用户界面层。另一种是第一时间比第二时间少,即两者时间差值小于0,说明第一用户界面层显示的初始视频的当前帧图像比第二用户界面显示当前帧图像的属性和身份信息要迟,表明第一用户界面层视频播放较慢,而计算属性与身份信息较快,这时可以直接获取当前帧图像对应的属性和身份信息,在第二用户界面层中显示。
举例地,第一时间为视频的第12分30秒,第二时间为视频的第12分20秒,将两者对比,得到第一时间比第二时间多10秒,即T0=10,这时计算当前帧下一帧的属性和身份信息,然后同时获取下一帧图像和对应的属性和身份信息,并分别显示在第一用户界面层和第二用户界面层。若第一时间为视频的第12分20秒,第二时间为视频的第12分30秒,即第一时间比第二时间少10秒,即T0=-10,即表明当前帧图像的属性和身份信息已计算,这时可直接获取当前帧图像的属性和身份信息,并显示在第二用户界面层,使得第一用户界面层与第二用户界面层显示的内容始终保持同步。
在一个实施例中,上述第一用户界面层与第二用户界面层分别设置在不同的处理器(CPU)中,不同的CPU可同步进行,通过不同的CPU进行处理,可大大加快处理速度,解决视频卡顿、显示不流畅的问题,且显示的实时性也会大大提高,更利于用户的观看及即时处理。
参照图3,本发明实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于进行视频显示时所需的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频显示方法。
上述处理器执行上述视频显示方法的步骤:接收初始视频,所述初始视频包括有至少一个人脸的视频;采集所述初始视频中人脸的特征信息以及位置信息,所述位置信息为所述人脸在视频界面中位置的信息;将所述特征信息与预设数据库中的信息进行匹配,以得到所述人脸的身份信息;将所述特征信息通过预设算法计算得到对应所述人脸的属性;将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置。
上述计算机设备,上述人脸具有多个并分别已进行编号,所述特征信息包括多种特征类型的人脸特征,所述采集所述初始视频中人脸的特征信息以及位置信息的步骤,包括:采集所述人脸的位置信息,并启动多个进程,每个所述进程对应一个或多个特征类型;在对应各所述特征类型的进程中,分别对各所述人脸进行采集得到多个部分特征,每个所述部分特征对应一种特征类型;将多个所述部分特征按照相同编号结合得到对应所述编号的人脸的特性信息。
在一个实施例中,上述根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置的步骤之后,包括:获取所述第二用户界面中显示所述属性以及所述身份信息的位置的坐标;依据所述属性及所述身份信息的数据量以及所述坐标确定显示区域;将所述显示区域进行模糊处理。
在一个实施例中,上述依据所述属性及所述身份信息的数据量以及所述坐标确定显示区域的步骤,包括:获取预设的显示格式,所述显示格式包括字段的字体;根据所述属性以及所述身份信息的数据量以确定将所述属性以及所述身份信息按所述显示格式显示后,在所述第二用户界面层所占的空间,记为显示空间;以所述坐标作为所述显示空间的中心点,得到所述显示区域。
在一个实施例中,上述将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置的步骤之后,包括:获取在所述第一用户界面层显示所述初始视频中的当前帧图像的第一时间,以及在所述第二用户界面层中显示对应所述当前帧图像的人脸的属性以及所述身份信息的第二时间;计算所述第一时间与所述第二时间之间的时间差值,记为T0;判断|T0|是否大于预设阀值;若是,则依据所述时间差值调整在所述第二用户界面层中显示所述当前帧的属性以及所述身份信息,以及在所述第一用户界面层中显示的视频图像,以使所述第一用户界面层显示所述初始视频的图像时,在所述第二用户界面层中同步显示对应所述图像的属性以及所述身份信息。
在一个实施例中,上述依据所述时间差值调整在所述第二用户界面层中显示的属性以及所述身份信息,以及在所述第一用户界面层中显示的视频图像,以使所述第一用户界面层显示所述初始视频的图像时,在所述第二用户界面层中同步显示对应所述图像的属性以及所述身份信息的步骤,包括:若所述时间差值大于0,则获取所述当前帧的下一帧图像以及对应所述下一帧图像中人脸的属性以及身份信息,在第一用户界面层中显示所述下一帧图像,且在所述第二用户界面层中显示对应所述下一帧图像中人脸的属性以及身份信息;若所述时间差值小于0,则获取所述当前帧图像中人脸属性以及身份信息,并显示在所述第二用户界面层中。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本发明一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现一种视频显示方法,具体为:接收初始视频,所述初始视频包括有至少一个人脸的视频;采集所述初始视频中人脸的特征信息以及位置信息,所述位置信息为所述人脸在视频界面中位置的信息;将所述特征信息与预设数据库中的信息进行匹配,以得到所述人脸的身份信息;将所述特征信息通过预设算法计算得到对应所述人脸的属性;将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置。
上述计算机可读存储介质,上述人脸具有多个并分别已进行编号,所述特征信息包括多种特征类型的人脸特征,所述采集所述初始视频中人脸的特征信息以及位置信息的步骤,包括:采集所述人脸的位置信息,并启动多个进程,每个所述进程对应一个或多个特征类型;在对应各所述特征类型的进程中,分别对各所述人脸进行采集得到多个部分特征,每个所述部分特征对应一种特征类型;将多个所述部分特征按照相同编号结合得到对应所述编号的人脸的特性信息。
在一个实施例中,上述根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置的步骤之后,包括:获取所述第二用户界面中显示所述属性以及所述身份信息的位置的坐标;依据所述属性及所述身份信息的数据量以及所述坐标确定显示区域;将所述显示区域进行模糊处理。
在一个实施例中,上述依据所述属性及所述身份信息的数据量以及所述坐标确定显示区域的步骤,包括:获取预设的显示格式,所述显示格式包括字段的字体;根据所述属性以及所述身份信息的数据量以确定将所述属性以及所述身份信息按所述显示格式显示后,在所述第二用户界面层所占的空间,记为显示空间;以所述坐标作为所述显示空间的中心点,得到所述显示区域。
在一个实施例中,上述将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置的步骤之后,包括:获取在所述第一用户界面层显示所述初始视频中的当前帧图像的第一时间,以及在所述第二用户界面层中显示对应所述当前帧图像的人脸的属性以及所述身份信息的第二时间;计算所述第一时间与所述第二时间之间的时间差值,记为T0;判断|T0|是否大于预设阀值;若是,则依据所述时间差值调整在第二用户界面层中显示所述当前帧的属性以及所述身份信息,以及在所述第一用户界面层中显示的视频图像,以使所述第一用户界面层显示所述初始视频的图像时,在所述第二用户界面层中同步显示对应所述图像的属性以及所述身份信息。
在一个实施例中,上述依据所述时间差值调整在所述第二用户界面层中显示的属性以及所述身份信息,以及在所述第一用户界面层中显示的视频图像,以使所述第一用户界面层显示视频的图像时,在所述第二用户界面层中同步显示对应所述图像的属性以及所述身份信息的步骤,包括:若所述时间差值大于0,则获取所述当前帧的下一帧图像以及对应所述下一帧图像中人脸的属性以及身份信息,在第一用户界面层中显示所述下一帧图像,且在所述第二用户界面层中显示对应所述下一帧图像中人脸的属性以及身份信息;若所述时间差值小于0,则获取所述当前帧图像中人脸属性以及身份信息,并显示在所述第二用户界面层中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储与一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM一多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频显示方法,其特征在于,包括:
接收初始视频,所述初始视频包括有至少一个人脸的视频;
采集所述初始视频中人脸的特征信息以及位置信息,所述位置信息为所述人脸在视频界面中位置的信息;
将所述特征信息与预设数据库中的信息进行匹配,以得到所述人脸的身份信息;
将所述特征信息通过预设算法计算得到对应所述人脸的属性;
将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置。
2.根据权利要求1所述的视频显示方法,其特征在于,所述人脸具有多个并分别已进行编号,所述特征信息包括多种特征类型的人脸特征,所述采集所述初始视频中人脸的特征信息以及位置信息的步骤,包括:
采集所述人脸的位置信息,并启动多个进程,每个所述进程对应一个或多个特征类型;
在对应各所述特征类型的进程中,分别对各所述人脸进行采集得到多个部分特征,每个所述部分特征对应一种特征类型;
将多个所述部分特征按照相同编号结合得到对应所述编号的人脸的特性信息。
3.根据权利要求1所述的视频显示方法,其特征在于,所述根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置的步骤之后,包括:
获取所述第二用户界面中显示所述属性以及所述身份信息的位置的坐标;
依据所述属性及所述身份信息的数据量以及所述坐标确定显示区域;
将所述显示区域进行模糊处理。
4.根据权利要求1所述的视频显示方法,其特征在于,所述依据所述属性及所述身份信息的数据量以及所述坐标确定显示区域的步骤,包括:
获取预设的显示格式,所述显示格式包括字段的字体;
根据所述属性以及所述身份信息的数据量以确定将所述属性以及所述身份信息按所述显示格式显示后,在所述第二用户界面层所占的空间,记为显示空间;
以所述坐标作为所述显示空间的中心点,得到所述显示区域。
5.根据权利要求1所述的视频显示方法,其特征在于,所述将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置的步骤之后,包括:
获取在所述第一用户界面层显示所述初始视频的当前帧图像的第一时间,以及在所述第二用户界面层中显示对应所述当前帧图像的人脸的属性以及所述身份信息的第二时间;
计算所述第一时间与所述第二时间之间的时间差值,记为T0
判断T0是否大于预设阀值;
若是,则依据所述时间差值调整在所述第二用户界面层中显示的属性以及所述身份信息,以及在所述第一用户界面层中显示的视频图像,以使所述第一用户界面层显示所述初始视频的图像时,在所述第二用户界面层中同步显示对应所述图像的属性以及所述身份信息。
6.根据权利要求1所述的视频显示方法,其特征在于,所述依据所述时间差值调整在所述第二用户界面层中显示的属性以及所述身份信息,以及在所述第一用户界面层中显示的视频图像,以使所述第一用户界面层显示所述初始视频的图像时,在所述第二用户界面层中同步显示对应所述图像的属性以及所述身份信息的步骤,包括:
若所述时间差值大于0,则获取所述当前帧的下一帧图像以及对应所述下一帧图像中人脸的属性以及身份信息,在第一用户界面层中显示所述下一帧图像,且在所述第二用户界面层中显示对应所述下一帧图像中人脸的属性以及身份信息;
若所述时间差值小于0,则获取所述当前帧图像中人脸属性以及身份信息,并显示在所述第二用户界面层中。
7.一种视频显示装置,其特征在于,包括:
接收视频单元,用于接收初始视频,所述初始视频包括有至少一个人脸的视频;
采集信息单元,用于采集所述初始视频中人脸的特征信息以及位置信息,所述位置信息为所述人脸在视频界面中位置的信息;
匹配信息单元,用于将所述特征信息与预设数据库中的信息进行匹配,以得到所述人脸的身份信息;
计算属性单元,用于将所述特征信息通过预设算法计算得到对应所述人脸的属性;
显示属性单元,用于将所述初始视频显示在第一用户界面层中,并根据所述位置信息将所述属性以及所述身份信息显示在与所述第一用户界面层重叠的第二用户界面层中,且位于对应所述第一用户界面层中人脸的指定位置。
8.根据权利要求7所述的视频显示方法,其特征在于,所述人脸具有多个并分别已进行编号,所述特征信息包括多种特征类型的人脸特征,所述采集信息单元包括:
启动进程子单元,用于采集所述人脸的位置信息,并启动多个进程,每个所述进程对应一个或多个特征类型;
采集特征子单元,用于在对应各所述特征类型的进程中,分别对各所述人脸进行采集得到多个部分特征,每个所述部分特征对应一种特征类型;
结合特征子单元,用于将多个所述部分特征按照相同编号结合得到对应所述编号的人脸的特性信息。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201910537916.3A 2019-06-20 2019-06-20 视频显示方法、装置、计算机设备和存储介质 Active CN110427805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910537916.3A CN110427805B (zh) 2019-06-20 2019-06-20 视频显示方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910537916.3A CN110427805B (zh) 2019-06-20 2019-06-20 视频显示方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110427805A true CN110427805A (zh) 2019-11-08
CN110427805B CN110427805B (zh) 2024-03-19

Family

ID=68408804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910537916.3A Active CN110427805B (zh) 2019-06-20 2019-06-20 视频显示方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110427805B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656130A (zh) * 2021-08-16 2021-11-16 北京百度网讯科技有限公司 一种数据展示方法、装置、设备以及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1739965A1 (en) * 2005-06-27 2007-01-03 Matsuhita Electric Industrial Co., Ltd. Method and system for processing video data
CN102446210A (zh) * 2010-09-06 2012-05-09 索尼公司 图像处理装置、程序和图像处理方法
CN102521568A (zh) * 2011-11-30 2012-06-27 苏州奇可思信息科技有限公司 视频教学过程中的学员兴趣基数统计方法
CN103237203A (zh) * 2013-04-09 2013-08-07 广东欧珀移动通信有限公司 一种基于移动终端的音视频同步方法及系统
JP2013195725A (ja) * 2012-03-21 2013-09-30 Dainippon Printing Co Ltd 画像表示システム
CN103813161A (zh) * 2012-11-12 2014-05-21 腾讯科技(深圳)有限公司 延时测试方法和装置
CN103945121A (zh) * 2014-03-24 2014-07-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN104104990A (zh) * 2014-07-29 2014-10-15 小米科技有限责任公司 调整视频中字幕的方法及装置
CN106796651A (zh) * 2014-09-02 2017-05-31 三星电子株式会社 电子设备的多媒体数据处理方法及其电子设备
CN108009530A (zh) * 2017-12-27 2018-05-08 欧普照明股份有限公司 一种身份标定系统和方法
CN108600656A (zh) * 2018-04-19 2018-09-28 北京深醒科技有限公司 在视频中添加面部标签的方法及装置
CN109214303A (zh) * 2018-08-14 2019-01-15 北京工商大学 一种基于云端api的多线程动态人脸签到方法
CN109391792A (zh) * 2017-08-03 2019-02-26 腾讯科技(深圳)有限公司 视频通信的方法、装置、终端及计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1739965A1 (en) * 2005-06-27 2007-01-03 Matsuhita Electric Industrial Co., Ltd. Method and system for processing video data
CN102446210A (zh) * 2010-09-06 2012-05-09 索尼公司 图像处理装置、程序和图像处理方法
CN102521568A (zh) * 2011-11-30 2012-06-27 苏州奇可思信息科技有限公司 视频教学过程中的学员兴趣基数统计方法
JP2013195725A (ja) * 2012-03-21 2013-09-30 Dainippon Printing Co Ltd 画像表示システム
CN103813161A (zh) * 2012-11-12 2014-05-21 腾讯科技(深圳)有限公司 延时测试方法和装置
CN103237203A (zh) * 2013-04-09 2013-08-07 广东欧珀移动通信有限公司 一种基于移动终端的音视频同步方法及系统
CN103945121A (zh) * 2014-03-24 2014-07-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN104104990A (zh) * 2014-07-29 2014-10-15 小米科技有限责任公司 调整视频中字幕的方法及装置
CN106796651A (zh) * 2014-09-02 2017-05-31 三星电子株式会社 电子设备的多媒体数据处理方法及其电子设备
CN109391792A (zh) * 2017-08-03 2019-02-26 腾讯科技(深圳)有限公司 视频通信的方法、装置、终端及计算机可读存储介质
CN108009530A (zh) * 2017-12-27 2018-05-08 欧普照明股份有限公司 一种身份标定系统和方法
CN108600656A (zh) * 2018-04-19 2018-09-28 北京深醒科技有限公司 在视频中添加面部标签的方法及装置
CN109214303A (zh) * 2018-08-14 2019-01-15 北京工商大学 一种基于云端api的多线程动态人脸签到方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656130A (zh) * 2021-08-16 2021-11-16 北京百度网讯科技有限公司 一种数据展示方法、装置、设备以及存储介质
CN113656130B (zh) * 2021-08-16 2024-05-17 北京百度网讯科技有限公司 一种数据展示方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN110427805B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
US11200404B2 (en) Feature point positioning method, storage medium, and computer device
US9251854B2 (en) Facial detection, recognition and bookmarking in videos
WO2019100282A1 (zh) 一种人脸肤色识别方法、装置和智能终端
US20090003702A1 (en) Image completion
KR20190018483A (ko) 인터넷에 기반하는 얼굴 미화 시스템
CN107771336A (zh) 基于颜色分布的图像中的特征检测和掩模
US20150086945A1 (en) Makeup application assistance device, makeup application assistance system, and makeup application assistance method
US20170140210A1 (en) Image processing apparatus and image processing method
CN109710780A (zh) 一种归档方法及装置
CN104751108A (zh) 人脸图像识别装置和人脸图像识别方法
US9491263B2 (en) Systems and methods for automatically modifying a picture or a video containing a face
CN110636259B (zh) 一种基于视频检测的osd叠加方法
US10354124B2 (en) Electronic apparatus and controlling method for improve the image quality preference of skin area
US10441172B2 (en) Brain image reconstruction apparatus
CN106778627B (zh) 检测人脸颜值的方法、装置和移动终端
DE102017212176A1 (de) System und Verfahren zum Ermitteln einer Wirksamkeit einer kosmetischen Hautbehandlung
CN107179824A (zh) 一种自动调整屏幕显示的方法、装置和终端
CN110427805A (zh) 视频显示方法、装置、计算机设备和存储介质
CN111611860B (zh) 一种微表情发生检测方法及检测系统
US11882918B2 (en) Make-up assistance method and apparatus and smart mirror
CN109063644A (zh) 基于人脸识别表情涂鸦方法、装置、存储介质及电子设备
CN105611380A (zh) 视频图像处理方法及装置
Bridewell et al. Inattentional Blindness in a Coupled Perceptual-Cognitive System.
CN109147008A (zh) 基于人脸识别的表情涂鸦方法、装置、存储介质及电子设备
CN114332297A (zh) 图像的绘制方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant