CN113469135A - 对象身份信息的确定方法、装置、存储介质及电子装置 - Google Patents
对象身份信息的确定方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN113469135A CN113469135A CN202110858681.5A CN202110858681A CN113469135A CN 113469135 A CN113469135 A CN 113469135A CN 202110858681 A CN202110858681 A CN 202110858681A CN 113469135 A CN113469135 A CN 113469135A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- frame
- feature
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000010801 machine learning Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种对象身份信息的确定方法、装置、存储介质及电子装置,其中,该方法包括:使用目标模型对目标视频进行分析,以确定出目标视频中包括的目标对象的图像在每帧图像中的目标位置信息,其中,目标模型为使用多组训练数据通过机器学习训练出的,多组训练数据中的每组数据包括图像以及图像中的对象的位置信息;基于目标位置信息从目标视频中确定出目标帧图像;对目标帧图像进行活体检测,以得到检测结果;在检测结果指示目标对象为活体对象的情况下,识别目标帧图像,以确定目标对象的身份信息。通过本发明,解决了相关技术中存在的确定对象身份信息不准确的问题,提高了确定对象身份信息的准确率。
Description
技术领域
本发明实施例涉及通信领域,具体而言,涉及一种对象身份信息的确定方法、装置、存储介质及电子装置。
背景技术
在相关技术中,在人脸闸机考勤机场景下,需要准确且迅速识别人脸,在人脸识别成功后,上报人脸的识别结果到考勤系统中。在确定对象身份信息时,通常需要将采集到的正面和侧面两个方向的人脸图像进行匹配,整个识别流程相对复杂且需要用户高度配合,导致识别速度较慢,不适应用于针对人脸闸机考勤场景。并且,相关技术中,通常采用标准的卷积方式搭建的目标检测及特征提取模型,很少涉及在闸机人脸识别速度和准确度方面的优化,在人流增多的大压力场景下,容易造成拥堵及检测和识别较慢以及误识别较多的情况,导致考勤异常。
由此可知,相关技术中存在确定对象身份信息不准确的问题。
针对相关技术中存在的上述问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种对象身份信息的确定方法、装置、存储介质及电子装置,以至少解决相关技术中存在的确定对象身份信息不准确的问题。
根据本发明的一个实施例,提供了一种对象身份信息的确定方法,包括:使用目标模型对目标视频进行分析,以确定出所述目标视频中包括的目标对象的图像在每帧图像中的目标位置信息,其中,所述目标模型为使用多组训练数据通过机器学习训练出的,所述多组训练数据中的每组数据包括图像以及图像中的对象的位置信息,所述目标视频为对所述目标对象进行拍摄所得到的视频;基于所述目标位置信息从所述目标视频中确定出目标帧图像;在所述检测结果指示所述目标对象为活体对象的情况下,识别所述目标帧图像,以确定所述目标对象的身份信息。
根据本发明的另一个实施例,提供了一种对象身份信息的确定装置,包括:分析模块,用于使用目标模型对目标视频进行分析,以确定出所述目标视频中包括的目标对象的图像在每帧图像中的目标位置信息,其中,所述目标模型为使用多组训练数据通过机器学习训练出的,所述多组训练数据中的每组数据包括图像以及图像中的对象的位置信息,所述目标视频为对所述目标对象进行拍摄所得到的视频;第一确定模块,用于基于所述目标位置信息从所述目标视频中确定出目标帧图像;检测模块,用于对所述目标帧图像进行活体检测,以得到检测结果;第二确定模块,用于在所述检测结果指示所述目标对象为活体对象的情况下,识别所述目标帧图像,以确定所述目标对象的身份信息。
根据本发明的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,使用目标模型对目标视频进行分析,以确定出目标视频中包括的目标对象的图像在每帧图像中的目标位置信息,根据目标位置信息从目标视频中确定出目标帧图像,对目标帧图像进行活体检测,以得到检测结果,在检测结果指示目标对象为活体对象的情况下,识别目标帧图像,以确定目标对象的身份信息。由于目标模型是通过机器学习训练出来的,因此,可以准确确定出目标对象在每帧图像中的目标位置信息,进而可以根据目标位置信息准确地确定出目标帧图像,直接对目标帧图像进行活体检测,确定目标对象的身份信息,无需对象的配合即可准确地确定出对象的身份信息。因此,可以解决相关技术中存在的确定对象身份信息不准确的问题,提高了确定对象身份信息的准确率。
附图说明
图1是本发明实施例的一种对象身份信息的确定方法的移动终端的硬件结构框图;
图2是根据本发明实施例的对象身份信息的确定方法的流程图;
图3是根据本发明示例性实施例的目标模型结构示意图;
图4是根据本发明示例性实施例的目标层结构示意图;
图5是根据本发明示例性实施例的深度可分离卷积原理示意图;
图6是根据本发明具体实施方式的对象身份信息的确定方法流程图;
图7是根据本发明实施例的对象身份信息的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种对象身份信息的确定方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的对象身份信息的确定方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种对象身份信息的确定方法,图2是根据本发明实施例的对象身份信息的确定方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,使用目标模型对目标视频进行分析,以确定出所述目标视频中包括的目标对象的图像在每帧图像中的目标位置信息,其中,所述目标模型为使用多组训练数据通过机器学习训练出的,所述多组训练数据中的每组数据包括图像以及图像中的对象的位置信息,所述目标视频为对所述目标对象进行拍摄所得到的视频;
步骤S204,基于所述目标位置信息从所述目标视频中确定出目标帧图像;
步骤S206,对所述目标帧图像进行活体检测,以得到检测结果;
步骤S208,在所述检测结果指示所述目标对象为活体对象的情况下,识别所述目标帧图像,以确定所述目标对象的身份信息。
在上述实施例中,目标对象可以为人、物体等。当目标对象为人时,目标视频可以是考勤系统所采集的视频。在获取到目标视频后,可以通过目标模型对目标视频进行分析,以确定出目标对象在目标视频中的每帧图像中的目标位置信息。根据目标位置信息从目标视频中确定出目标帧图像,对目标帧图像进行活体检测,在确定目标对象为活体对象的情况下,识别目标帧图像,以确定出目标对象的身份信息。其中,目标模型可以为快速检测网络模型。利用快速检测网络模型对每帧图像进行分析,以确定出目标对象的图像在每帧图像中的目标位置信息。
在上述实施例中,当目标对象为人时,可以将目标帧图像送入活体算法,对检测到的人脸进行真假辨别,防止通过人脸照片、视频等造成的误识别。
可选地,上述步骤的执行主体可以是后台处理器,或者其他的具备类似处理能力的设备,还可以是至少集成有图像获取设备以及数据处理设备的机器,其中,图像获取设备可以包括摄像头等图形采集模块,数据处理设备可以包括计算机、手机等终端,但不限于此。
通过本发明,使用目标模型对目标视频进行分析,以确定出目标视频中包括的目标对象的图像在每帧图像中的目标位置信息,根据目标位置信息从目标视频中确定出目标帧图像,对目标帧图像进行活体检测,以得到检测结果,在检测结果指示目标对象为活体对象的情况下,识别目标帧图像,以确定目标对象的身份信息。由于目标模型是通过机器学习训练出来的,因此,可以准确确定出目标对象在每帧图像中的目标位置信息,进而可以根据目标位置信息准确地确定出目标帧图像,直接对目标帧图像进行活体检测,确定目标对象的身份信息,无需对象的配合即可准确地确定出对象的身份信息。因此,可以解决相关技术中存在的确定对象身份信息不准确的问题,提高了确定对象身份信息的准确率。
在一个示例性实施例中,基于所述目标位置信息从所述目标视频中确定出目标帧图像包括:基于所述目标位置信息对所述每帧图像进行检测,以确定所述每帧图像的评分;将评分最高的帧图像确定为所述目标帧图像。在本实施例中,可以对拍摄到的目标视频进行分析,以确定出目标对象的图像在每帧图像中的目标位置信息,根据目标位置信息对每帧图像进行检测,确定每帧图像的评分,将评分最高的帧图像确定为目标帧图像。
在一个示例性实施例中,基于所述目标位置信息对所述每帧图像进行检测,以确定所述每帧图像的评分包括:对所述每帧图像的所述目标位置信息进行检测,以确定所述每帧图像中的所述目标对象的目标部位的拍摄区域以及所述拍摄区域的图像清晰度;基于所述拍摄区域以及所述图像清晰度确定所述每帧图像的评分。在本实施例中,对每帧图像的目标位置信息进行检测,确定每帧图像中的目标对象的目标部位的拍摄区域,以及拍摄区域的图像清晰度,根据拍摄区区域以及图像清晰度确定每帧图像的评分。其中,当目标对象为人时,目标部位可以为人的头部,拍摄区域可以为正脸、侧脸等部位。即可以将检测跟踪模块检测到的人脸结果送入人脸角度、质量评分模块,输出视频帧中检测到的人脸进行角度及质量评分,将挑选出正面的人脸角度以及检测到清晰完整的高质量人脸确定为目标帧图像。该步骤通过筛选掉质量较差或者角度不好的人脸,可以有效提高人脸识别的速度,此外,可通过挑出较好的人脸信息来提高后续的识别精度。
在一个示例性实施例中,使用目标模型对每帧图像进行分析,以确定出所述目标对象的图像在所述每帧图像中的所述目标位置信息包括:提取所述每帧图像的第一特征;依次利用多个目标层对所述第一特征进行处理,以确定出所述目标对象的图像在所述每帧图像中的所述目标位置信息,其中,所述目标层包括扩展层、深度卷积层以及投影层。在本实施例中,目标模型中可以包括多个目标层,将每帧图像的第一特征输入至第一个目标层后,将第一个目标层输出的结果输入至第二个目标层……,依次利用多个目标层对第一特征进行处理,以确定出目标位置信息。其中,目标模型结构示意图可参见附图3,如图3所示,目标模型包括Expansion Layer层(扩展层)、Depthwise Convolution(深度卷积层)以及Projection Layer层(投影层)。利用多个目标层可以实现目标对象的快速检测定位。
在一个示例性实施例中,依次利用多个目标层对所述第一特征进行处理,以确定出所述目标对象的图像在所述每帧图像中的所述目标位置信息包括:利用所述扩展层对所述第一特征进行升维处理,以得到第二特征;利用所述深度卷积层对所述第二特征进行卷积处理,以得到第三特征;利用所述投影层对所述第三特征进行降维处理,以得到与所述第一特征维度相同的第四特征;融合所述第一特征以及所述第四特征,以确定出所述目标位置信息。在本实施例中,构建快速检测网络模型的基本思想为特征值的维度越低,卷积层的乘法计算量就越小。如果整个网络都是低维的特征,那么整体计算速度就会很快。但只是使用低维的特征效果并不会好,如果卷积层的过滤器丢失太多的目标信息反而影响最终的检测效果。因此,可以通过低维特征映射到高维进行深度可分离卷积,然后进行高维到低维的反映射然后进行特征融合的方式输出特征,改进后的检测基础网络模块。
在上述实施例中,Expansion Layer层可以是1x1 Expansion Layer,1x1Expansion Layer可以用于将低维空间映射到高维空间,通过超参数控制将输入的低维特征扩展几倍。Depthwise Convolution可以为3x3 Depthwise Convolution层,DepthwiseConvolution即为深度可分离卷积层,利用该卷积层可有效降低模块中特征提取时的计算量,以此达到提高检测速度的目的。1x1 Projection Layer层目的是为了将之前扩展到高维的特征映射回低维特征,可实现输入和输出在相同的维度从而方便不同网络层的特征进行融合。其中,目标层结构示意图可参见附图4。
在一个示例性实施例中,利用所述深度卷积层对所述第二特征进行卷积处理,以得到第三特征包括:提取所述第二特征中包括的有效特征;对所述有效特征进行卷积处理,以得到深度卷积特征;对所述深度卷积特征进行过滤处理,以得到深度卷积子特征;将所述深度卷积子特征进行融合,以得到所述第三特征。在本实施例中,可以采用深度可分离卷积的方法构建检测跟踪模块,然后将摄像装置拍摄到的人脸视频帧输入到检测跟踪模块,得到视频中的人脸位置和目标id。其中,深度可分离卷积原理示意图如5图所示。
在一个示例性实施例中,识别所述目标帧图像,以确定所述目标对象的身份信息包括:将所述目标帧图像与预先存储的存储图像进行比对,以确定所述目标帧图像与所述存储图像的第一相似度;从所述存储图像中确定出与所述目标帧图像的第一相似度超过预定阈值的目标存储图像,将所述目标存储图像对应的身份信息确定为所述目标对象的身份信息。在本实施例中,当目标对象为人,由考勤系统拍摄目标帧图像的情况下,可以预先存储对象的图像进行,将采集到的图像与存储的图像进行比对,确定二者的相似度,将相似度最高或者相似度超过预定阈值的图像对应的身份信息确定为目标对象的身份信息。其中,预定阈值可以为85%、90%、95%等,本发明对此不作限制。
在一个示例性实施例中,将所述目标帧图像与预先存储的存储图像进行比对,以确定所述目标帧图像与所述存储图像的第一相似度包括:提取所述目标帧图像中的所述目标对象的目标特征信息;将所述目标特征信息与所述存储图像中的对象的存储特征信息进行比对,以确定所述目标特征信息与所述存储特征信息的第二相似度;将所述第二相似度确定为所述第一相似度。在本实施例中,建立好对应目标的特征信息底库,供提取出的目标特征进行对比。在确定第一相似度时,可以提取目标帧图像中的目标对象的目标特征信息,将目标特征信息与存储的特征信息进行比对,以确定二者的相似度,并将该相似度确定为目标帧图像与存储的图像的相似度。当目标对象为人时,可以将目标帧图像以及存储的图像送入特征提取比对模型,首先利用送入的人脸位置等信息从图片中提取出人脸特征信息,然后将该带比对的目标特征和底库中的目标特征进行相似度比对,当相似度值超过设定的阈值时,输出人脸识别结果。
在一个示例性实施例中,对所述目标帧图像进行活体检测,以得到检测结果包括:确定所述目标帧图像的第一图像特征;确定所述目标帧图像中包括的目标对象的图像的第二图像特征;基于所述第一图像特征以及所述第二图像特征确定所述检测结果。在本实施例中,可以采用普通RGB摄像头,通过分析采集到人像的破绽如:摩尔纹、成像畸形、图像里面漏出的各种类型的边框、图像质量、反射率等,并结合分析全局特征和局部微纹理信息确定目标对象是否为活体,并得出检测结果。在检测结果指示目标对象为非活体的情况下,可以进行假体过滤,执行告警操作等。其中,第一图像特征和第二图像特征均可以包括摩尔纹、成像畸形、图像里面漏出的各种类型的边框、图像质量、反射率等。
在上述实施例中,可以比较第一图像特征与第二图像特征的相似度,在相似度大于预定阈值的情况下,确定检测结果为活体,在相似度小于预定阈值的情况下,确定检测结果为非活体。
此外,还可以根据第一图像特征和第二图像特征中是否包括边框等确定目标对象是否为活体。
在一个示例性实施例中,在识别所述目标帧图像,以确定所述目标对象的身份信息之后,所述方法还包括:确定拍摄所述目标帧图像的拍摄时间;将所述拍摄时间以及所述身份信息进行关联,以得到所述目标对象的拍摄记录。在本实施例中,在确定出目标对象的身份信息之后,可以将拍摄时间和身份信息进行关联,以得到拍摄记录。当目标对象为人,拍摄目标帧图像的为考勤系统时,可以利用识别输出的结果,即身份信息,上报给闸机和考勤系统进行相应的考勤相关记录。
下面结合具体实施方式对对象身份信息的确定方法进行说明:
图6是根据本发明具体实施方式的对象身份信息的确定方法流程图,如图6所示,该流程包括:
步骤S602,输入视频帧。
步骤S604,人脸检测模块、跟踪模块:采用深度可分离卷积的方法构建检测跟踪模块,然后将摄像装置拍摄到的人脸视频帧输入到检测跟踪模块,得到视频中的人脸位置和目标id。
步骤S606,人脸角度、质量评分模块:将检测跟踪模块检测到的人脸结果送入人脸角度、质量评分模块,输出视频帧中检测到的人脸进行角度及质量评分。
步骤S608,优选模块:将人脸角度及质量评分送入到优选模块,挑选出正面的人脸角度以及检测到清晰完整的高质量人脸送入后续算法进行处理,该步骤通过筛选掉质量较差或者角度不好的人脸,可以有效提高人脸识别的速度,此外,可通过挑出较好的人脸信息来提高后续的识别精度。
步骤S610,判断是否为最优人脸,在判断结果为是的情况下,执行步骤S612,在判断结果为否的情况下,执行步骤S604。
步骤S612,活体检测模块:将挑选出的最优人脸送入活体算法,对检测到的人脸进行真假辨别,防止通过人脸照片、视频等造成的误识别。
步骤S614,判断是否为活体,在判断结果为是的情况下,执行步骤S616,在判断结果为否的情况下,执行步骤S604。
步骤S616,送入特征提取比对模型,首先利用送入的人脸位置等信息从图片中提取出人脸特征信息,然后将该带比对的目标特征和底库中的目标特征进行相似度比对。
步骤S618,判断比对结果是否为大于相似度阈值,在判断结果为是的情况下,执行步骤S622,在判断结果为否的情况下,执行步骤S620。
步骤S620,识别失败,丢弃识别结果。
步骤S622,当相似度值超过设定的阈值时,输出人脸识别结果。利用识别输出的结果,上报给闸机和考勤系统进行相应的考勤相关记录。
在前述实施例中,不同于其他闸机人脸识别方法,其具有快速和准确特点,特别人流量大、要求识别速度快且准确的场景。在利用深度可分离卷积构建检测等神经网络模型,可以快速高效的检测到人脸位置等信息,利用人脸优选策略和活体检测算法,不仅可以提高人脸识别的速度,还大大提高了人脸识别的精度,同时可以防止使用照片、面具等进行违规开门和考勤的情况。并且,无需用户过多配合即可快速准确的识别闸机出入口出现的人脸信息,并将人脸识别结果上报至考勤系统,方便高效的实现人员的日常考勤任务。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种对象身份信息的确定装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本发明实施例的对象身份信息的确定装置的结构框图,如图7所示,该装置包括:
分析模块72,用于使用目标模型对目标视频进行分析,以确定出所述目标视频中包括的目标对象的图像在每帧图像中的目标位置信息,其中,所述目标模型为使用多组训练数据通过机器学习训练出的,所述多组训练数据中的每组数据包括图像以及图像中的对象的位置信息,所述目标视频为对所述目标对象进行拍摄所得到的视频;;
第一确定模块74,用于基于所述目标位置信息从所述目标视频中确定出目标帧图像;
检测模块76,用于对所述目标帧图像进行活体检测,以得到检测结果;
第二确定模块78,用于在所述检测结果指示所述目标对象为活体对象的情况下,识别所述目标帧图像,以确定所述目标对象的身份信息。
其中,分析模块72对应于上述人脸检测模型,跟踪模块,第一确定模块74对应于上述人脸角度、质量评分模块以及人脸优先模块,检测模块76对应于上述活体检测模块,第二确定模块78对应于上述特征提取、比对模块。
在一个示例性实施例中,第一确定模块74可以通过如下方式实现基于所述目标位置信息从所述目标视频中确定出目标帧图像:基于所述目标位置信息对所述每帧图像进行检测,以确定所述每帧图像的评分;将评分最高的帧图像确定为所述目标帧图像。
在一个示例性实施例中,第一确定模块74可以通过如下方式实现基于所述目标位置信息对所述每帧图像进行检测,以确定所述每帧图像的评分:对所述每帧图像的所述目标位置信息进行检测,以确定所述每帧图像中的所述目标对象的目标部位的拍摄区域以及所述拍摄区域的图像清晰度;基于所述拍摄区域以及所述图像清晰度确定所述每帧图像的评分。
在一个示例性实施例中,分析模块72可以通过如下方式实现使用目标模型对每帧图像进行分析,以确定出所述目标对象的图像在所述每帧图像中的所述目标位置信息:提取所述每帧图像的第一特征;依次利用多个目标层对所述第一特征进行处理,以确定出所述目标对象的图像在所述每帧图像中的所述目标位置信息,其中,所述目标层包括扩展层、深度卷积层以及投影层。
在一个示例性实施例中,分析模块72可以通过如下方式实现依次利用多个目标层对所述第一特征进行处理,以确定出所述目标对象的图像在所述每帧图像中的所述目标位置信息:利用所述扩展层对所述第一特征进行升维处理,以得到第二特征;利用所述深度卷积层对所述第二特征进行卷积处理,以得到第三特征;利用所述投影层对所述第三特征进行降维处理,以得到与所述第一特征维度相同的第四特征;融合所述第一特征以及所述第四特征,以确定出所述目标位置信息。
在一个示例性实施例中,分析模块72可以通过如下方式实现利用所述深度卷积层对所述第二特征进行卷积处理,以得到第三特征:提取所述第二特征中包括的有效特征;对所述有效特征进行卷积处理,以得到深度卷积特征;对所述深度卷积特征进行过滤处理,以得到深度卷积子特征;将所述深度卷积子特征进行融合,以得到所述第三特征。
在一个示例性实施例中,第二确定模块78可以通过如下方式实现识别所述目标帧图像,以确定所述目标对象的身份信息:将所述目标帧图像与预先存储的存储图像进行比对,以确定所述目标帧图像与所述存储图像的第一相似度;从所述存储图像中确定出与所述目标帧图像的第一相似度超过预定阈值的目标存储图像,将所述目标存储图像对应的身份信息确定为所述目标对象的身份信息。
在一个示例性实施例中,第二确定模块78可以通过如下方式实现将所述目标帧图像与预先存储的存储图像进行比对,以确定所述目标帧图像与所述存储图像的第一相似度:提取所述目标帧图像中的所述目标对象的目标特征信息;将所述目标特征信息与所述存储图像中的对象的存储特征信息进行比对,以确定所述目标特征信息与所述存储特征信息的第二相似度;将所述第二相似度确定为所述第一相似度。
在一个示例性实施例中,检测模块76可以通过如下方式实现对所述目标帧图像进行活体检测,以得到检测结果:确定所述目标帧图像的第一图像特征;确定所述目标帧图像中包括的目标对象的图像的第二图像特征;基于所述第一图像特征以及所述第二图像特征确定所述检测结果。
在一个示例性实施例中,所述装置可以用于在识别所述目标帧图像,以确定所述目标对象的身份信息之后,确定拍摄所述目标帧图像的拍摄时间;将所述拍摄时间以及所述身份信息进行关联,以得到所述目标对象的拍摄记录。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (13)
1.一种对象身份信息的确定方法,其特征在于,包括:
使用目标模型对目标视频进行分析,以确定出所述目标视频中包括的目标对象的图像在每帧图像中的目标位置信息,其中,所述目标模型为使用多组训练数据通过机器学习训练出的,所述多组训练数据中的每组数据包括图像以及图像中的对象的位置信息,所述目标视频为对所述目标对象进行拍摄所得到的视频;
基于所述目标位置信息从所述目标视频中确定出目标帧图像;
对所述目标帧图像进行活体检测,以得到检测结果;
在所述检测结果指示所述目标对象为活体对象的情况下,识别所述目标帧图像,以确定所述目标对象的身份信息。
2.根据权利要求1所述的方法,其特征在于,基于所述目标位置信息从所述目标视频中确定出目标帧图像包括:
基于所述目标位置信息对所述每帧图像进行检测,以确定所述每帧图像的评分;
将评分最高的帧图像确定为所述目标帧图像。
3.根据权利要求2所述的方法,其特征在于,基于所述目标位置信息对所述每帧图像进行检测,以确定所述每帧图像的评分包括:
对所述每帧图像的所述目标位置信息进行检测,以确定所述每帧图像中的所述目标对象的目标部位的拍摄区域以及所述拍摄区域的图像清晰度;
基于所述拍摄区域以及所述图像清晰度确定所述每帧图像的评分。
4.根据权利要求1所述的方法,其特征在于,使用目标模型对每帧图像进行分析,以确定出所述目标对象的图像在所述每帧图像中的所述目标位置信息包括:
提取所述每帧图像的第一特征;
依次利用多个目标层对所述第一特征进行处理,以确定出所述目标对象的图像在所述每帧图像中的所述目标位置信息,其中,所述目标层包括扩展层、深度卷积层以及投影层。
5.根据权利要求4所述的方法,其特征在于,依次利用多个目标层对所述第一特征进行处理,以确定出所述目标对象的图像在所述每帧图像中的所述目标位置信息包括:
利用所述扩展层对所述第一特征进行升维处理,以得到第二特征;
利用所述深度卷积层对所述第二特征进行卷积处理,以得到第三特征;
利用所述投影层对所述第三特征进行降维处理,以得到与所述第一特征维度相同的第四特征;
融合所述第一特征以及所述第四特征,以确定出所述目标位置信息。
6.根据权利要求5所述的方法,其特征在于,利用所述深度卷积层对所述第二特征进行卷积处理,以得到第三特征包括:
提取所述第二特征中包括的有效特征;
对所述有效特征进行卷积处理,以得到深度卷积特征;
对所述深度卷积特征进行过滤处理,以得到深度卷积子特征;
将所述深度卷积子特征进行融合,以得到所述第三特征。
7.根据权利要求1所述的方法,其特征在于,识别所述目标帧图像,以确定所述目标对象的身份信息包括:
将所述目标帧图像与预先存储的存储图像进行比对,以确定所述目标帧图像与所述存储图像的第一相似度;
从所述存储图像中确定出与所述目标帧图像的第一相似度超过预定阈值的目标存储图像,将所述目标存储图像对应的身份信息确定为所述目标对象的身份信息。
8.根据权利要求7所述的方法,其特征在于,将所述目标帧图像与预先存储的存储图像进行比对,以确定所述目标帧图像与所述存储图像的第一相似度包括:
提取所述目标帧图像中的所述目标对象的目标特征信息;
将所述目标特征信息与所述存储图像中的对象的存储特征信息进行比对,以确定所述目标特征信息与所述存储特征信息的第二相似度;
将所述第二相似度确定为所述第一相似度。
9.根据权利要求1所述的方法,其特征在于,对所述目标帧图像进行活体检测,以得到检测结果包括:
确定所述目标帧图像的第一图像特征;
确定所述目标帧图像中包括的目标对象的图像的第二图像特征;
基于所述第一图像特征以及所述第二图像特征确定所述检测结果。
10.根据权利要求1所述的方法,其特征在于,在识别所述目标帧图像,以确定所述目标对象的身份信息之后,所述方法还包括:
确定拍摄所述目标帧图像的拍摄时间;
将所述拍摄时间以及所述身份信息进行关联,以得到所述目标对象的拍摄记录。
11.一种对象身份信息的确定装置,其特征在于,包括:
分析模块,用于使用目标模型对目标视频进行分析,以确定出所述目标视频中包括的目标对象的图像在每帧图像中的目标位置信息,其中,所述目标模型为使用多组训练数据通过机器学习训练出的,所述多组训练数据中的每组数据包括图像以及图像中的对象的位置信息,所述目标视频为对所述目标对象进行拍摄所得到的视频;
第一确定模块,用于基于所述目标位置信息从所述目标视频中确定出目标帧图像;
检测模块,用于对所述目标帧图像进行活体检测,以得到检测结果;
第二确定模块,用于在所述检测结果指示所述目标对象为活体对象的情况下,识别所述目标帧图像,以确定所述目标对象的身份信息。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述权利要求1至10任一项中所述的方法的步骤。
13.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至10任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110858681.5A CN113469135A (zh) | 2021-07-28 | 2021-07-28 | 对象身份信息的确定方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110858681.5A CN113469135A (zh) | 2021-07-28 | 2021-07-28 | 对象身份信息的确定方法、装置、存储介质及电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113469135A true CN113469135A (zh) | 2021-10-01 |
Family
ID=77882938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110858681.5A Pending CN113469135A (zh) | 2021-07-28 | 2021-07-28 | 对象身份信息的确定方法、装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113469135A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516632A (zh) * | 2021-05-18 | 2021-10-19 | 浙江大华技术股份有限公司 | 检测方法、装置、系统、存储介质及电子装置 |
CN114220045A (zh) * | 2021-11-23 | 2022-03-22 | 浙江大华技术股份有限公司 | 对象识别方法、装置及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066983A (zh) * | 2017-04-20 | 2017-08-18 | 腾讯科技(上海)有限公司 | 一种身份验证方法及装置 |
CN109977839A (zh) * | 2019-03-20 | 2019-07-05 | 北京字节跳动网络技术有限公司 | 信息处理方法和装置 |
CN111161090A (zh) * | 2019-11-26 | 2020-05-15 | 北京海益同展信息科技有限公司 | 圈养栏信息的确定方法、装置及系统、存储介质 |
CN112215180A (zh) * | 2020-10-20 | 2021-01-12 | 腾讯科技(深圳)有限公司 | 一种活体检测方法及装置 |
CN112580395A (zh) * | 2019-09-29 | 2021-03-30 | 深圳市光鉴科技有限公司 | 基于深度信息的3d人脸活体识别方法、系统、设备及介质 |
CN112767645A (zh) * | 2021-02-02 | 2021-05-07 | 南京恩博科技有限公司 | 一种烟雾识别方法及装置、电子设备 |
-
2021
- 2021-07-28 CN CN202110858681.5A patent/CN113469135A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066983A (zh) * | 2017-04-20 | 2017-08-18 | 腾讯科技(上海)有限公司 | 一种身份验证方法及装置 |
CN109977839A (zh) * | 2019-03-20 | 2019-07-05 | 北京字节跳动网络技术有限公司 | 信息处理方法和装置 |
CN112580395A (zh) * | 2019-09-29 | 2021-03-30 | 深圳市光鉴科技有限公司 | 基于深度信息的3d人脸活体识别方法、系统、设备及介质 |
CN111161090A (zh) * | 2019-11-26 | 2020-05-15 | 北京海益同展信息科技有限公司 | 圈养栏信息的确定方法、装置及系统、存储介质 |
CN112215180A (zh) * | 2020-10-20 | 2021-01-12 | 腾讯科技(深圳)有限公司 | 一种活体检测方法及装置 |
CN112767645A (zh) * | 2021-02-02 | 2021-05-07 | 南京恩博科技有限公司 | 一种烟雾识别方法及装置、电子设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516632A (zh) * | 2021-05-18 | 2021-10-19 | 浙江大华技术股份有限公司 | 检测方法、装置、系统、存储介质及电子装置 |
CN114220045A (zh) * | 2021-11-23 | 2022-03-22 | 浙江大华技术股份有限公司 | 对象识别方法、装置及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2676224B1 (en) | Image quality assessment | |
US10534957B2 (en) | Eyeball movement analysis method and device, and storage medium | |
KR101731771B1 (ko) | 버스트 포토 캡처된 세트로부터 키퍼 이미지의 자동 선택 | |
US9619708B2 (en) | Method of detecting a main subject in an image | |
CN109299658B (zh) | 脸部检测方法、脸部图像渲染方法、装置及存储介质 | |
US9489566B2 (en) | Image recognition apparatus and image recognition method for identifying object | |
CN112633255B (zh) | 目标检测方法、装置及设备 | |
CN110175553B (zh) | 基于步态识别与人脸识别建立特征库的方法及装置 | |
CN109815823B (zh) | 数据处理方法及相关产品 | |
CN111914762A (zh) | 基于步态信息的身份识别方法及装置 | |
CN113469135A (zh) | 对象身份信息的确定方法、装置、存储介质及电子装置 | |
WO2020172870A1 (zh) | 一种目标对象的移动轨迹确定方法和装置 | |
CN110765903A (zh) | 行人重识别方法、装置及存储介质 | |
CN112101195A (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
CN111291646A (zh) | 一种人流量统计方法、装置、设备及存储介质 | |
CN111814690A (zh) | 一种目标重识别方法、装置和计算机可读存储介质 | |
CN112766065A (zh) | 一种移动端考生身份认证方法、装置、终端及存储介质 | |
CN109508645A (zh) | 监控场景下身份识别方法及装置 | |
CN113673308B (zh) | 对象识别方法、装置和电子系统 | |
CN110738607A (zh) | 基于人工智能拍摄驾驶证的方法、装置、设备及存储介质 | |
US20160140395A1 (en) | Adaptive sampling for efficient analysis of ego-centric videos | |
CN113837006A (zh) | 一种人脸识别方法、装置、存储介质及电子设备 | |
CN113553990B (zh) | 多人脸跟踪识别的方法、装置、计算机设备及存储介质 | |
CN112766175B (zh) | 活体检测方法、装置及非易失性存储介质 | |
CN112580462B (zh) | 一种特征点选择方法、终端和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |