CN109492513B - 光场监控的人脸空间去重方法 - Google Patents

光场监控的人脸空间去重方法 Download PDF

Info

Publication number
CN109492513B
CN109492513B CN201810508559.3A CN201810508559A CN109492513B CN 109492513 B CN109492513 B CN 109492513B CN 201810508559 A CN201810508559 A CN 201810508559A CN 109492513 B CN109492513 B CN 109492513B
Authority
CN
China
Prior art keywords
face
dimensional
scene
group
light field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810508559.3A
Other languages
English (en)
Other versions
CN109492513A (zh
Inventor
朱康
吴旻烨
石志儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoke Intelligent Technology Shanghai Co ltd
Original Assignee
Yaoke Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoke Intelligent Technology Shanghai Co ltd filed Critical Yaoke Intelligent Technology Shanghai Co ltd
Priority to CN201810508559.3A priority Critical patent/CN109492513B/zh
Publication of CN109492513A publication Critical patent/CN109492513A/zh
Application granted granted Critical
Publication of CN109492513B publication Critical patent/CN109492513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Abstract

本发明涉及光场监控的人脸空间去重方法，包括：分别从若干彩色相机、若干深度相机中分别获取监控场景内的人脸群、场景深度信息；对人脸群进行空间关联，形成人脸组；筛选人脸组并去重，获得最优人脸；形成人脸集。本发明采用若干彩色相机、深度相机联合形成一个较大的视野范围，能够获得深度信息，深度信息能够复原场景内的被遮挡人员，能够极大的提高人脸检测的效率；还可以关联三维信息，对已检测或识别的人员进行三维空间的轨迹跟踪和定位。

Description

光场监控的人脸空间去重方法
技术领域
本发明涉及光场相机监控应用中的人脸识别领域，具体地说是一种光场监控的人脸空间去重方法。
背景技术
在现代智慧城市的相机监控应用中，人脸识别技术是一个非常重要的技术手段，它能够主动地进行场景人员的搜索和识别，对危险人员进行预警。人脸识别技术应用背景广泛，可用于公安系统的罪犯身份识别、身份证与持证人的交叉比对、监控系统以及智能门禁系统等。
人脸识别技术的一般流程分为人脸检测、人脸对齐和人脸识别，其中：
人脸检测是在相机拍摄场景中，通过算法搜索与检测存在人脸的区域，并对人脸位置和大小等信息进行标识。人脸检测是人脸识别技术的第一个步骤，这一步骤的所获得的精度与速度直接影响整个系统的性能；
人脸对齐是在人脸检测结果中对人脸的诸如眉毛、眼睛、鼻子、嘴巴以及脸颊等脸部特征进行关键点提取，形成对人脸的关键点描述。人脸对齐在人脸识别、搜索和姿态表情分析等领域中起到关键作用，其对齐效率和准确度直接影响后期算法效果；
人脸识别是利用算法对对齐后的人脸进行特征描述，然后与人脸数据库已有人脸数据进行比对匹配，从而对检测人脸进行识别。
在现有的监控系统中，人脸识别技术大部分以单台监控相机为单位进行人脸识别。首先，由于单台相机视场角有一定的限制，安装位置和姿态固定，从而限制了相机可以覆盖的视野范围。其次大部分人脸识别技术的前提是需要最大限度的保持人脸正对相机，以保证人脸检测和人脸对齐的步骤能够更为准确，进而提高人脸识别率。但是实际场景中的人员的姿态随机性比较大，当人员侧对相机，或以一定的俯、仰角度面对相机时候，单台相机的人脸检测可能会失效或者人脸对齐模块失去鲁棒性。再次，在人流较为密集的场景，人员之间存在遮挡关系，这将会直接导致单台相机的人脸检测模块对于被遮挡人员的检测失效。最后，单台相机只能捕获三维场景的二维投影信息，无法关联人员的三维空间信息，从而无法有效的对人员进行轨迹跟踪和定位。
CN201310504743.8号发明专利公开了一种基于人脸聚类的视频编目方法、检索方法及其系统，包括：对视频文件进行镜头切分；对视频镜头进行人脸检测，得到人脸图片及相关信息；对检测出的人脸图片进行去重；对去重后的人脸图片进行人脸特征提取，将提取到的人脸特征存入人脸特征库；根据人脸特征，对人脸图片进行特征聚类；对人脸类别库中存储的各个人脸类别进行人工标注；根据人工标注后的人脸类别和类别中人脸的相关信息，自动生成人脸元数据，将所述人脸元数据增加到原始编目文件中，得到最终的视频编目文件。是一种对单相机的人脸检测过程中的去重和时间维度去重的技术方案，无法解决上述因人员侧向角度、相互遮挡而产生的问题。
CN 201710846556.6号公开了一种多摄像头协同的人脸追踪的方法，利用多摄像进行人脸跟踪，在监控场景的感兴趣区域内可以获取多张不同光照，不同姿态，模糊度不同等目标人脸图像。通过此方案有效地提高了人脸图像采集的效率，提高了人脸的识别率。
CN201610316057.1号发明公开了回头客自动识别方法及系统，包括以下步骤：追踪监控区域内的人脸并记录人脸信息；对所述人脸信息进行去重处理；判断所述人脸信息是否为人脸数据库中已有的人脸信息；其说明书0046-56段提供了人脸去重的技术手段，可以做到更高的匹配准确率；通过对特征向量投影可以进一步的提高回头客识别的准确率。CN201710937599.5号一种基于人脸识别的客流计数方法，E步骤也给出了比对去重的参考内容。
此外，CN201210527836.8号公开了一种大规模人脸图像检索方法，提供了人脸的特征表述的技术方案；CN201510154919.0号专利公开了一种面向视频监控的正面人脸快速评价方法，提供了人脸正面脸特征处理的技术参考。
发明内容
本发明为解决现有的问题，旨在提供一种光场监控的人脸空间去重方法。
为了达到上述目的，本发明采用的技术方案，包括：
步骤一，分别从若干彩色相机、若干深度相机中分别获取监控场景内的人脸群、场景深度信息；
步骤二，对人脸群进行空间关联，形成人脸组；
步骤三，筛选人脸组并去重，获得最优人脸；形成人脸集。
其中，步骤一中，基于场景深度信息在监控场景内生成点云模型。
其中，根据彩色相机的内参数、旋转矩阵以及平移向量，将点云模型中的每一个三维点映射至彩色相机的像素点，形成深度信息。
其中，步骤二中对人脸群进行空间关联的步骤如下：
首先，对于彩色相机采集的图像进行人脸检测和人脸对齐，获取二维人脸群；其次，求取人脸特征点的重心位置，并以此点为中心点计算对应世界坐标系下的三维坐标，从而形成三维人脸群；
最后，对全部三维人脸群进行关联，形成若干仅含同一人员的人脸组。
其中，步骤三中，在人脸组中分别筛选，得到人员的最正脸，形成人脸集。其中，对人脸组同一人员的多张人脸，与最优参考人脸模型计算二范数距离，最后选取距离最小的人脸作为最正脸。
和现有技术相比，本发明采用若干彩色相机、深度相机联合形成一个较大的视野范围，能够获得深度信息，深度信息能够复原场景内的被遮挡人员，能够极大的提高人脸检测的效率；还可以关联三维信息，对已检测或识别的人员进行三维空间的轨迹跟踪和定位。多台相机的设置消除了单台相机视野小的限制，应对不同的场景的问题，减小了单台相机由于人员姿态原因导致的人脸检测失效。
附图说明
图1为本发明一个实施例的流程示意图。
具体实施方式
现结合附图对本发明作进一步地说明。
本实施例中，光场监控系统搭载7个彩色相机，通过不同的姿态和位置的相机对同一场景进行布防监控；同时搭载了2个深度相机，以获取场景的深度信息。在分别对不同的相机应用人脸检测模块时，不同的相机获得的人脸集合有交叉，即同一人员的人脸将会在不同的相机中以不同的姿态被人脸检测模块获取。
第一，这对于人脸识别模块而言，存在人脸数据的冗余性，即对同一人的不同姿态人脸分别与数据库进行比对，影响了人脸识别系统的效率。第二，每个相机获取人脸信息的过程相对独立，在对人脸的跟踪和定位过程中，数据的冗余性将会影响这一过程的准确性和效率。监控系统应用只需要获取每一时刻每个人员的一幅最优脸，从而要求光场监控系统搭建人脸去重模块，降低数据的冗余性。
在本实施例中，每个相机独自进行人脸检测获取各自的人脸群，根据人脸检测结果的空间位置关系，对多个人脸群中的人脸元素进行关联形成人脸组，并对存在冗余性的人脸组筛选得到最优人脸，最终在光场监控系统中获取一组不重复的人脸集。
最优人脸的定义为，在人脸组中选取最正人脸，以期提高后续的人脸对齐和人脸识别的准确性；
人脸群的定义为，人脸检测模块输出的人脸结果，以相机编号为索引；
人脸组的定义为人脸群通过空间关联技术形成的以人员编号为索引的人脸结果；
而人脸集的定义为，正脸筛选器输出的人脸结果，以人员为编号，每个人员编号下只存在一个人脸。
基于上述系统和定义，本实施例利用计算机视觉中的相机标定技术，分别获得N个彩色相机和M个深度相机的内参
Figure GDA0001731961850000041
和
Figure GDA0001731961850000042
旋转矩阵
Figure GDA0001731961850000043
和
Figure GDA0001731961850000044
以及平移向量
Figure GDA0001731961850000045
和
Figure GDA0001731961850000046
其中i∈[1,N]和j∈[1,M]。设定图像中像素点表示为p＝(x,y)T，对应三维世界物点表示为P＝(X,Y,Z)T。
参见图1，图1展示的是本发明的一个实施例的流程示意图。
步骤一，分别从7个彩色相机、2个深度相机中分别获取监控场景内的人脸群、场景深度信息，通过点云模型重映射生成的N个深度图在空间上与N个彩色图的位置重合。具体操作为：
设定深度相机Dj获取的深度图像信息为
Figure GDA00017319618500000413
并将其转化为深度相机Dj坐标系三维空间中的点云集合Dj:
Figure GDA0001731961850000047
其中，fx和fy分别为深度相机Dj的横向和纵向焦距。由此在世界坐标系下的多点云集合融合后的点云集合Dw:
Figure GDA0001731961850000048
根据公式(1)和(2)，光场监控系统可以在监控场景范围实时生成一个点云模型Dw。
随后，设定彩色相机Ci获取的图像数据为
Figure GDA0001731961850000049
根据彩色相机的内参数内参
Figure GDA00017319618500000410
旋转矩阵
Figure GDA00017319618500000411
以及平移向量
Figure GDA00017319618500000412
可以将世界坐标系下的点云数据Dw中的每一个三维点Pw映射至彩色相机的像素点
Figure GDA0001731961850000051
形成与
Figure GDA0001731961850000052
对应的深度信息
Figure GDA0001731961850000053
Figure GDA0001731961850000054
通过公式(3)，光场监控系统可以在每个相机位置的每一个像素点同时获得RGBD数据。
步骤二，对人脸群进行空间关联，形成人脸组；即对人脸进行空间重映射。首先，对于彩色相机Ci采集的图像Ii，进行人脸检测和人脸对齐，获取二维人脸群
Figure GDA0001731961850000055
其中Gi为人脸检测器在
Figure GDA00017319618500000514
中检测出的人脸数量。每个人脸
Figure GDA0001731961850000056
存在64个特征点
Figure GDA0001731961850000057
其次，利用64个特征点求取特征点的重心位置
Figure GDA0001731961850000058
并以此点为人脸的中心点，根据公式(1)和(2)计算对应世界坐标系下的三维坐标
Figure GDA0001731961850000059
从而形成三维人脸群:
Figure GDA00017319618500000510
最终人脸检测器在N个相机下检测出的全部人脸都变换到了世界坐标系下。
最后，对
Figure GDA00017319618500000511
进行关联形成人脸组。人脸组包含K个子组，K为算法计算得出的场景中人员个数。第k子组为同一个人的检测人脸关联，包含Sk个元素，每个元素对应当前人脸在某个相机Ci下检测到的
Figure GDA00017319618500000512
即
Figure GDA00017319618500000513
步骤三，筛选人脸组并去重，获得最优人脸；形成人脸集；具体操作为：
对于第k子组的所有元素，同时表征了同一人员的不同姿态的人脸检测结果。如上文所述，为了提高后续的人脸识别效率，对于同一个人员，监控系统只需要得到一个最优的人脸，进行人脸识别。所以通过对比Sk个人脸数据，筛选得到最正脸So。最后对人脸组中的所有子组应用此过程，最终形成人脸集S，其中包括K个人脸数据fo。首先，我们选用一个以64个特征点表征的最优参考人脸模型，然后对于同一人员的多张人脸，分别与最优参考人脸模型计算二范数距离，最后选取距离最小的人脸作为当前多张人脸中最正的人脸作为输出结果。
上述相机所获取的数据流在服务器端进行光场渲染处理和人脸识别应用。上述设置的优势在于：首先，7个彩色相机联合形成一个较大的视野范围，从一定程度上消除了单台相机视野小的限制，同时可以通过光场合成孔径技术完成一定焦距和孔径范围内的合成孔径成像，以应对不同的场景。其次，由于7个彩色相机的位置和姿态不同，从而可以拍摄到场景中同一个人员在不同姿态下的人脸，从而减小了单台相机由于人员姿态原因导致的人脸检测失效。再次，联合深度相机获取的场景深度信息，光场渲染技术能够复原一定范围内的被遮挡人员，能够极大的提高人脸检测的效率。最后，联合深度传感器获取的场景深度信息，可以对已检测或识别的人员进行三维空间的轨迹跟踪和定位。因此本实施例能够很好的弥补传统监控系统中人脸识别技术的应用缺陷。
上面结合附图及实施例描述了本发明的实施方式，实施例给出的结构并不构成对本发明的限制，本领域内熟练的技术人员可依据需要做出调整，在所附权利要求的范围内做出各种变形或修改均在保护范围内。

Claims (3)

1.一种光场监控的人脸空间去重方法，其特征在于包括如下步骤：
步骤一，分别从若干彩色相机、若干深度相机中分别获取监控场景内的人脸群、场景深度信息，即：
基于场景深度信息在监控场景内生成点云模型；根据彩色相机的内参数、旋转矩阵以及平移向量，将点云模型中的每一个三维点映射至彩色相机的像素点，形成深度信息
步骤二，对人脸群进行空间关联，形成人脸组；即：
首先对于彩色相机采集的图像进行人脸检测和人脸对齐，获取二维人脸群；其次，求取人脸特征点的重心位置，并以此点为中心点计算对应世界坐标系下的三维坐标，从而形成三维人脸群；最后，对全部三维人脸群进行关联，形成若干仅含同一人员的人脸组；
步骤三，筛选人脸组并去重，获得最优人脸；形成人脸集。
2.根据权利要求1所述的一种光场监控的人脸空间去重方法，其特征在于：步骤三中，在人脸组中分别筛选，得到人员的最正脸，形成人脸集。
3.根据权利要求2所述的一种光场监控的人脸空间去重方法，其特征在于：对人脸组同一人员的多张人脸，与最优参考人脸模型计算二范数距离，最后选取距离最小的人脸作为最正脸。
CN201810508559.3A 2018-05-24 2018-05-24 光场监控的人脸空间去重方法 Active CN109492513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810508559.3A CN109492513B (zh) 2018-05-24 2018-05-24 光场监控的人脸空间去重方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810508559.3A CN109492513B (zh) 2018-05-24 2018-05-24 光场监控的人脸空间去重方法

Publications (2)

Publication Number Publication Date
CN109492513A CN109492513A (zh) 2019-03-19
CN109492513B true CN109492513B (zh) 2023-04-07

Family

ID=65689289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810508559.3A Active CN109492513B (zh) 2018-05-24 2018-05-24 光场监控的人脸空间去重方法

Country Status (1)

Country Link
CN (1) CN109492513B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008568B (zh) * 2019-11-07 2023-09-05 浙江大华技术股份有限公司 逃票检测方法及其相关装置
CN113052917A (zh) * 2021-03-29 2021-06-29 黑芝麻智能科技(上海)有限公司 相机不可见位置的图像坐标的获取方法、标定方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156688A (zh) * 2015-03-10 2016-11-23 上海骏聿数码科技有限公司 一种动态人脸识别方法及系统
CN107045631A (zh) * 2017-05-25 2017-08-15 北京华捷艾米科技有限公司 人脸特征点检测方法、装置及设备
WO2017219391A1 (zh) * 2016-06-24 2017-12-28 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156688A (zh) * 2015-03-10 2016-11-23 上海骏聿数码科技有限公司 一种动态人脸识别方法及系统
WO2017219391A1 (zh) * 2016-06-24 2017-12-28 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别系统
CN107045631A (zh) * 2017-05-25 2017-08-15 北京华捷艾米科技有限公司 人脸特征点检测方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三维人脸数据的预处理及深度图像获取;董瑞霞;《福建电脑》;20170225(第02期);全文 *

Also Published As

Publication number Publication date
CN109492513A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN104573617B (zh) 一种摄像控制方法
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
Eweiwi et al. Temporal key poses for human action recognition
CN105138954A (zh) 一种图像自动筛选查询识别系统
CN102043953A (zh) 一种实时鲁棒的针对特定场景的行人检测方法
CN108573231B (zh) 基于运动历史点云生成的深度运动图的人体行为识别方法
CN107609475B (zh) 基于光场相机的行人检测误检提出方法
CN109271923A (zh) 人脸姿态检测方法、系统、电子终端及存储介质
Gálai et al. Feature selection for Lidar-based gait recognition
CN111639580B (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
CN107038400A (zh) 人脸识别装置及方法和利用其的目标人跟踪装置及方法
US20210104052A1 (en) Information processing apparatus and method for aligning captured image and object
WO2020207172A1 (zh) 基于三维光场技术的光学无人机监测方法及系统
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN111833380B (zh) 一种多视角影像融合的空间目标跟踪系统及方法
CN109492513B (zh) 光场监控的人脸空间去重方法
CN108564043B (zh) 一种基于时空分布图的人体行为识别方法
CN104504162B (zh) 一种基于机器人视觉平台的视频检索方法
Demirkus et al. People detection in fish-eye top-views
CN111881841A (zh) 一种基于双目视觉的人脸检测识别方法
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN116580107A (zh) 一种跨视角多目标实时轨迹跟踪方法与系统
Benedek et al. Lidar-based gait analysis in people tracking and 4D visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant