CN109753930B - 人脸检测方法及人脸检测系统 - Google Patents
人脸检测方法及人脸检测系统 Download PDFInfo
- Publication number
- CN109753930B CN109753930B CN201910005175.4A CN201910005175A CN109753930B CN 109753930 B CN109753930 B CN 109753930B CN 201910005175 A CN201910005175 A CN 201910005175A CN 109753930 B CN109753930 B CN 109753930B
- Authority
- CN
- China
- Prior art keywords
- image acquisition
- face
- coordinates
- image
- acquisition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本公开提供了一种人脸检测方法及人脸检测系统,其中,该人脸检测方法包括:获取多个依次设置的图像采集装置在各自视场内采集的初始图像;获取所述初始图像中人脸图像,确定所述人脸图像中人脸特征点的第一坐标,其中所述第一坐标为采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标;将所述第一坐标转换为第二坐标,其中所述第二坐标为所述人脸特征点在预定的所述图像采集装置的相机坐标系下的坐标。该人脸检测方法基于多个依次设置的图像采集装置进行人脸检测,可检测的视场范围较大,多个依次设置的图像采集装置的布置方式更加灵活,且人脸检测的准确度较高。
Description
技术领域
本公开涉及人脸检测技术领域,具体而言,涉及一种人脸检测方法及人脸检测系统。
背景技术
基于人脸检测的人机交互方法,因为有非接触性、与生活方式相吻合、检测成本低廉等特点,而成为符合以人为中心的交互方式之一。但是对于常角镜头摄像头来说,视场角在45°至60°之间,当交互的屏幕太大时,受视场角的限制导致只能在较小的范围内能够检测到人脸;而广角镜头摄像头则会产生较大的畸变,导致检测准确度较低。
发明内容
鉴于现有技术存在的上述问题,本发明的目的在于提供一种能够实现大视场下的人脸检测方法及人脸检测系统。
根据本公开的第一方案,提供了一种人脸检测方法,其包括:
获取多个依次设置的图像采集装置在各自视场内采集的初始图像;
获取所述初始图像中人脸图像,确定所述人脸图像中人脸特征点的第一坐标,其中所述第一坐标为采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标;
将所述第一坐标转换为第二坐标,其中所述第二坐标为所述人脸特征点在预定的所述图像采集装置的相机坐标系下的坐标。
在一些实施例中,所述确定所述人脸图像中人脸特征点的第一坐标,包括:
基于所述人脸图像分别获取所述人脸特征点在世界坐标系下的坐标和所述人脸特征点在图像坐标系下的坐标;
获取采集到所述人脸图像的所述图像采集装置的内参矩阵和畸变系数;
基于所述人脸特征点在世界坐标系下的坐标和所述人脸特征点在图像坐标系下的坐标、所述内参矩阵和所述畸变系数,确定采集到所述人脸图像的所述图像采集装置的外参矩阵;
基于所述外参矩阵将所述人脸特征点在世界坐标系下的坐标转换为采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标以作为所述第一坐标。
在一些实施例中,所述基于所述外参矩阵将所述人脸特征点在世界坐标系下的坐标转换为采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标以作为所述第一坐标,包括:
从所述人脸特征点中选取关键人脸特征点;
将所述关键人脸特征点在世界坐标系下的坐标转换为在采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标以作为所述第一坐标。
在一些实施例中,所述将所述第一坐标转换为第二坐标,包括:
基于预置的至少一个相邻所述图像采集装置之间的旋转矩阵和平移向量,将所述第一坐标依次在所述至少一个相邻所述图像采集装置的相机坐标系之间进行坐标系转换,直至转换至预定的所述图像采集装置的相机坐标系下并形成所述第二坐标。
在一些实施例中,任意相邻两个所述图像采集装置之间均具有视场重叠区域,所述视场重叠区域至少具有一个使相邻两个所述图像采集装置均能采集到完整人脸图像的人脸图像采集区。
在一些实施例中,确定所述预置的至少一个相邻所述图像采集装置之间的旋转矩阵和平移向量包括:
通过第一图像采集装置对所述人脸图像采集区内的预置人脸进行图像采集,以获得第一预置人脸图像,基于所述第一预置人脸图像获取人脸特征点在所述第一图像采集装置的相机坐标系下的第三坐标;
通过第二图像采集装置对所述人脸图像采集区内的所述预置人脸进行图像采集以获得第二预置人脸图像,基于所述第二预置人脸图像获取人脸特征点在所述第二图像采集装置的相机坐标系下的第四坐标;其中,所述第一图像采集装置和所述第二图像采集装置为多个所述图像采集装置中的任意的两个;
基于所述第三坐标和所述第四坐标计算相邻的所述第一图像采集装置和所述第二图像采集装置之间的旋转矩阵和平移向量。
在一些实施例中,所述方法还包括:
以所述第二坐标为初始坐标检测人脸的运动轨迹,基于所述运动轨迹生成对应的控制指令。
根据本公开的第二方案,提供了一种人脸检测系统,其包括:
多个依次设置的图像采集装置,用于采集各自视场内的初始图像;
处理装置,用于获取所述初始图像中的人脸图像,确定所述人脸图像中人脸特征点的第一坐标,其中所述第一坐标为采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标;将所述第一坐标转换为第二坐标,其中所述第二坐标为所述人脸特征点在预定的所述图像采集装置的相机坐标系下的坐标。
在一些实施例中,所述处理装置具体用于:
基于所述人脸图像分别获取所述人脸特征点在世界坐标系下的坐标和所述人脸特征点在图像坐标系下的坐标;
获取采集到所述人脸图像的所述图像采集装置的内参矩阵和畸变系数;
基于所述人脸特征点在世界坐标系下的坐标和所述人脸特征点在图像坐标系下的坐标、所述内参矩阵和所述畸变系数,确定采集到所述人脸图像的所述图像采集装置的外参矩阵;
基于所述外参矩阵将所述人脸特征点在世界坐标系下的坐标转换为采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标以作为所述第一坐标。
在一些实施例中,所述处理装置具体用于:
从所述人脸特征点中选取关键人脸特征点;
将所述关键人脸特征点在世界坐标系下的坐标转换为在采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标以作为所述第一坐标。
在一些实施例中,所述处理装置具体用于:
基于预置的至少一个相邻所述图像采集装置之间的旋转矩阵和平移向量,将所述第一坐标依次在所述至少一个相邻所述图像采集装置的相机坐标系之间进行坐标系转换,直至转换至预定的所述图像采集装置的相机坐标系下并形成所述第二坐标。
在一些实施例中,任意相邻两个所述图像采集装置之间均具有视场重叠区域,所述视场重叠区域至少具有一个使相邻两个所述图像采集装置均能采集到完整人脸图像的人脸图像采集区。
在一些实施例中,多个所述图像采集装置中包括相邻的第一图像采集装置和第二图像采集装置;
所述第一图像采集装置用于,对所述人脸图像采集区内的预置人脸进行图像采集,以获得第一预置人脸图像;
所述第二图像采集装置用于,对所述人脸图像采集区内的所述预置人脸进行图像采集以获得第二预置人脸图像;
所述处理装置进一步用于,基于所述第一预置人脸图像获取人脸特征点在所述第一图像采集装置的相机坐标系下的第三坐标;基于所述第二预置人脸图像获取人脸特征点在所述第二图像采集装置的相机坐标系下的第四坐标;基于所述第三坐标和所述第四坐标计算相邻的所述第一图像采集装置和所述第二图像采集装置之间的旋转矩阵和平移向量。
在一些实施例中,所述处理装置进一步用于,以所述第二坐标为初始坐标检测人脸的运动轨迹,基于所述运动轨迹生成对应的控制指令。
应当理解,前面的一般描述和以下详细描述都仅是示例性和说明性的,而不是用于限制本公开。
本节提供本公开中描述的技术的各种实现或示例的概述,并不是所公开技术的全部范围或所有特征的全面公开。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1为本发明实施例涉及的人脸检测方法的流程图;
图2为本发明实施例涉及的人脸检测方法的一种具体实施方式的流程图;
图3为图像采集装置的排布示意图;
图4为视场角与CMOS芯片的关系示意图;
图5为视场重叠区域进行人脸图像采集的示意图;
图6为本发明实施例涉及的人脸检测系统的结构框图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
为了保持本公开实施例的以下说明清楚且简明,本公开省略了已知功能和已知部件的详细说明。
图1为本发明实施例的人脸检测方法的流程示意图,该人脸检测方法基于多个依次设置的图像采集装置进行人脸检测,可检测的视场范围较大,多个依次设置的图像采集装置的布置方式更加灵活,且人脸检测的准确度较高。参见图1所示,该人脸检测方法具体包括如下步骤:
S1,获取多个依次设置的图像采集装置在各自视场内采集的初始图像。
多个依次设置的图像采集装置的各自的小视场能够组合成一个整体的大视场。在进行人脸检测时,多个图像采集装置分别采集其各自的小视场内的初始图像,也就实现了获取大视场图像的目的。
例如,配合图2所示,当采用包括第一图像采集装置和第二图像采集装置在内的两个图像采集装置进行人脸检测时,则分别获取第一图像采集装置和第二图像采集装置分别采集到的各自视场内的初始图像。
S2,获取初始图像中人脸图像,确定人脸图像中人脸特征点的第一坐标,其中第一坐标为采集到人脸图像的图像采集装置的相机坐标系下的坐标。
此处,可以基于深度神经网络(DNN)检测初始图像中是否存在人脸图像,只要在多个图像采集装置采集的多个初始图像中任意一张检测到人脸图像,则可基于该检测到的人脸图像确定人脸特征点的第一坐标。
仍以两个图像采集装置为例,可通过深度神经网络分别对获取到的来自第一图像采集装置和第二图像采集装置的初始图像进行人脸识别,检测是否存在人脸图像。如果任意一个图像采集装置采集的初始图像中检测到人脸图像,则基于检测到的人脸图像确定人脸特征点的第一坐标。
S3,将第一坐标转换为第二坐标,其中第二坐标为人脸特征点在预定的图像采集装置的相机坐标系下的坐标。
该预定的图像采集装置为从多个依次设置的图像采集装置中选取的任意一个图像采集装置,并将该图像采集装置的相机坐标系作为标准坐标系,这样,无论多个图像采集装置中哪一个采集到人脸图像,并基于获取的人脸图像确定到人脸特征点的第一坐标后,均可转换至该标准坐标系下,并形成第二坐标。该第二坐标能够表征人脸在大视场下的位置。
继续以两个图像采集装置为例,当选定第一图像采集装置的相机坐标系为标准坐标系时,如果第二图像采集装置采集到人脸图像,则确定的人脸特征点的第一坐标需要转换至第一图像采集装置的相机坐标系下以生成第二坐标。如果第一图像采集装置采集到人脸图像,则确定到的人脸特征点的第一坐标与第二坐标相同。
配合图3所示,多个依次设置的图像采集装置可以是等间距依次布置,根据安装场景需要,也可以是非等间距的依次布置。但任意相邻两个图像采集装置之间均需具有视场重叠区域,且该视场重叠区域至少具有一个使相邻两个图像采集装置均能采集到完整人脸图像的人脸图像采集区。以便于基于该人脸图像采集区,可以计算相邻两个图像采集装置之间的旋转矩阵和平移向量。也即视场重叠区域具有一个人脸图像采集区,且该人脸图像采集区的尺寸足以容纳一张正常尺寸的完整人脸,两个相邻的图像采集装置均能采集到该人脸图像采集区内的完整人脸图像。需要说明的是,只要图像采集装置的像素足够大,且物距足够远,则理论上任意相邻两个图像采集装置均能形成上述的人脸图像采集区。当然,实际应用时,相邻两个图像采集装置在设计的最大物距所形成的视场至少需要具有视场重叠区域,且该视场重叠区域内至少具有一个上述人脸图像采集区。
配合图4、图5所示,由于图像采集装置的视场边缘具有无法采集到完整人脸图像的边缘区域,故相邻图像采集装置的视场重叠区域至少要包括:相邻两个图像采集装置的边缘区域以及能够采集到完整人脸的人脸图像采集区,人脸图像采集区的宽度不小于人脸的实际宽度即可,如此视场重叠区域的最小水平宽度可通过如下公式表示:
h=h0*2+h1 (1)
其中,h为视场重叠区域的最小水平宽度,h0为图像采集装置的边缘区域的水平宽度,h1为人脸的宽度。
图像采集装置的边缘区域的水平宽度可通过如下公式计算:
h0=u*k/f (2)
其中,u为图像采集装置的物距,k为人脸图像在CMOS芯片所占的宽度,f为图像采集装置的焦距。
人脸图像在CMOS芯片所占的宽度可通过如下公式计算:
k=m*单个像元尺寸 (3)其中,m为人脸图像在CMOS芯片的水平方向上所占用的像素数量。
基于上述公式(1)、(2)及(3),可以计算得出视场重叠区域的最小水平宽度。
单个图像采集装置在特定物距下的水平视场宽度可通过如下公式计算得到:
V=2*u*tan(FOV(水平)/2) (4)
其中,V为单个图像采集装置的水平视场宽度,u为图像采集装置的物距,FOV(水平)为图像采集装置在水平方向上的视场角。
FOV(水平)=2*arctan(w/2f) (5)
FOV(垂直)=2*arctan(L/2f) (6)
FOV(整体)=2*arctan(d/2f) (7)
其中,w为CMOS芯片的水平长度,L为CMOS芯片的垂直宽度,d为CMOS芯片的对角线长度,f为图像采集装置的焦距。
基于公式(4)至(7)可计算得出单个图像采集装置的水平视场宽度。
在采用相同图像采集装置的情况下,多个图像采集装置可形成的扩大后的视场的最大水平宽度可通过如下公式计算:
扩大后的视场的最大水平宽度=n*V-(n-1)*h (8)
其中,n为水平方向上依次设置的图像采集装置的数量,V为单个图像采集装置的水平视场宽度,h为相邻两个图像采集装置的视场重叠区域的最小水平宽度。
在要形成特定水平宽度的大视场时,可通过上述公式(1)-(8)计算所需布置的图像采集装置的数量,从而为设计提供依据。
如表1为采用两个图像采集装置的视场数据与采用一个图像采集装置的视场数据的对比表。
表1
基于表1所示数据可知,当采用两个视场角为60°的摄像头所形成的扩大后的水平视场宽度为1218mm,如果采用一个摄像头,视场角需要达到90°时,其水平视场宽度才能够达到1273mm,从而实现与两个视场角为60°的摄像头所形成的扩大后的水平视场宽度接近,但由于视场角较大,畸变系数较大,影响检测准确度。而应用本发明实施例的方法,通过多个图像采集装置之间的配合,既能够实现扩大视场的目的,又能够提高人脸检测的准确度。
在一些实施例中,为计算任意相邻两个图像采集装置之间的旋转矩阵和平移向量,可将多个图像采集装置中任意相邻的两个定义为第一图像采集装置和第二图像采集装置,并在该第一图像采集装置和第二图像采集装置之间的人脸图像采集区内预置一预置人脸,该预置人脸可为真实的人站立在第一图像采集装置和第二图像采集装置前方,并使人脸恰好位于人脸图像采集区内。则确定相邻两个图像采集装置之间的旋转矩阵和平移向量可包括如下步骤:
步骤1,通过第一图像采集装置对人脸图像采集区内的预置人脸进行图像采集,以获得第一预置人脸图像,基于第一预置人脸图像获取人脸特征点在第一图像采集装置的相机坐标系下的第三坐标。
步骤2,通过第二图像采集装置对人脸图像采集区内的预置人脸进行图像采集以获得第二预置人脸图像,基于第二预置人脸图像获取人脸特征点在第二图像采集装置的相机坐标系下的第四坐标。
步骤3,基于第三坐标和第四坐标计算相邻的第一图像采集装置和第二图像采集装置之间的旋转矩阵和平移向量。
其中,第三坐标和第四坐标分别为人脸特征点在第一图像采集装置的相机坐标系下的坐标和在第二图像采集装置的相机坐标系下的坐标,通过第一图像采集装置和第二图像采集装置的相机坐标系之间的旋转矩阵和平移向量可以实现互相转换,转换公式如下:
引入齐次坐标合并矩阵运算中的乘法和加法,使之转换为:
其中,为n组第三坐标,为n组第四坐标。通过第一图像采集装置和第二图像采集装置分别获取多组第三坐标和第四坐标,即可准确的计算出其二者的相机坐标系之间的旋转矩阵和平移向量,能够克服现有技术中利用例如双目标定等获取旋转矩阵和平移向量的方法,因2D靶标的标定板的可视范围有限,不适用于大视场的问题,以及3D靶标的制作成本高,尺寸精度低的问题。
在一些实施例中,步骤S2中基于人脸图像确定人脸特征点的第一坐标,可包括如下步骤:
S21,基于人脸图像分别获取人脸特征点在世界坐标系下的坐标和人脸特征点在图像坐标系下的坐标。
其中,获取人脸特征点在世界坐标系下的坐标,可基于预先构置的人脸3D模型来获取,该人脸特征点通常包括68个点位,当然不仅于68点位,也可为例如72个点位或88个点位等。
S22,获取采集到人脸图像的图像采集装置的内参矩阵和畸变系数。此处,可基于单目标定的方法获取图像采集装置的内参矩阵和畸变系数。
S23,基于人脸特征点在世界坐标系下的坐标和人脸特征点在图像坐标系下的坐标、内参矩阵和畸变系数,确定采集到人脸图像的图像采集装置的外参矩阵。该外参矩阵包括旋转矩阵和平移向量,可基于solvePnP()函数计算获得,该外参矩阵用于表征图像采集装置的世界坐标系与相机坐标系之间的转换关系。
S24,基于外参矩阵将人脸特征点在世界坐标系下的坐标转换为采集到人脸图像的图像采集装置的相机坐标系下的坐标以作为第一坐标。
在一些实施例中,步骤S24可包括如下具体步骤:
S241,从人脸特征点中选取关键人脸特征点。其中,该关键人脸特征点为用于代表人脸位置的人脸特征点,例如,可为68个人脸特征点中位于鼻尖处的第31个点,也可为位于鼻尖和嘴之间的第34个点,也可为世界坐标系的P(0,0,0)点。
S242,将关键人脸特征点在世界坐标系下的坐标转换为在采集到人脸图像的图像采集装置的相机坐标系下的坐标以作为第一坐标。
在一些实施例中,将第一坐标转换为第二坐标具体包括如下步骤:基于预置的至少一个相邻图像采集装置之间的旋转矩阵和平移向量,将第一坐标依次在至少一个相邻图像采集装置的相机坐标系之间进行坐标系转换,直至转换至预定的图像采集装置的相机坐标系下并形成第二坐标。
对人脸特征点的坐标进行坐标系转换只能在相邻两个图像采集装置之间进行。例如,当采用三个依次设置的第一图像采集装置、第二图像采集装置及第三图像采集装置进行人脸检测时,如果选定第一图像采集装置的相机坐标系作为标准坐标系,则基于第三图像采集装置采集到的人脸图像确定的人脸特征点的第一坐标,首先需要基于第二图像采集装置和第三图像采集装置的相机坐标系之间的旋转矩阵和平移向量,将该第一坐标转换成该第二图像采集装置的相机坐标系下的坐标,然后再基于第二图像采集装置和第一图像采集装置之间的旋转矩阵和平移向量,将第二图像采集装置的相机坐标系下的坐标转换为第一图像采集装置的相机坐标系下的坐标,以形成第二坐标。整个坐标转换过程中,需要进行两次坐标转换。依次类推,如果采用两个图像采集装置进行人脸检测,则最多只需进行一次坐标转换。如果采用四个图像采集装置进行人脸检测,则最多需要进行三此坐标转换。
相邻的两个图像采集装置的进行人脸特征点的坐标转换的公式如下:
其中,R为相邻两个图像采集装置之间的相机坐标系的旋转矩阵,T为相邻两个图像采集装置之间的相机坐标系的平移向量,为人脸特征点在一个图像采集装置的相机坐标系下的坐标,为人脸特征点在另一个图像采集装置的相机坐标系下的坐标。
在一些实施例中,所述方法还可包括:以第二坐标为初始坐标检测人脸的运动轨迹,基于运动轨迹生成对应的控制指令。
具体的,可通过例如光流法追踪人脸,以不断的更新人脸特征点在大视场的标准坐标系下的坐标,以实现捕捉人脸的运动轨迹的目的,当检测到人脸的运动轨迹符合预设的特定动作时,可生成与特定动作相对应的控制指令,通过该控制指令可以控制例如显示装置或其他的电子设备,从而实现基于人脸的智能交互。
图6为本发明实施例的人脸检测系统的结构框图,该人脸检测系统基于多个依次设置的图像采集装置进行人脸检测,可检测的视场范围较大,多个依次设置的图像采集装置的布置方式更加灵活,且人脸检测的准确度较高。参见图6所示,该人脸检测系统具体包括:多个依次设置的图像采集装置和处理装置。
其中,多个依次设置的图像采集装置,用于在各自视场内采集初始图像。多个依次设置的图像采集装置的各自的小视场能够组合成一个整体的大视场。在进行人脸检测时,多个图像采集装置分别采集其各自的小视场内的初始图像,也就实现了通过多个图像采集装置对大视场进行图像采集的目的。例如,当采用包括第一图像采集装置和第二图像采集装置在内的两个图像采集装置进行人脸检测时,则分别通过第一图像采集装置和第二图像采集装置分别采集其各自视场内的初始图像。
处理装置,用于获取初始图像中人脸图像,确定人脸图像中人脸特征点的第一坐标,其中第一坐标为采集到人脸图像的图像采集装置的相机坐标系下的坐标;将第一坐标转换为第二坐标,其中第二坐标为人脸特征点在预定的图像采集装置的相机坐标系下的坐标。
此处,可以基于深度神经网络(DNN)检测初始图像中是否存在人脸图像,只要在多个图像采集装置采集的多个初始图像中任意一张检测到人脸图像,则可基于该检测到的人脸图像确定人脸特征点的第一坐标。
该预定的图像采集装置为从多个依次设置的图像采集装置中选取的任意一个图像采集装置,并将该图像采集装置的相机坐标系作为标准坐标系,这样,无论多个图像采集装置中哪一个采集到人脸图像,并基于获取的人脸图像确定到人脸特征点的第一坐标后,均可转换至该标准坐标系下,并形成第二坐标。该第二坐标能够表征人脸在大视场下的位置。
仍以两个图像采集装置为例,可通过深度神经网络分别对第一图像采集装置和第二图像采集装置采集到的初始图像进行人脸识别,检测是否存在人脸图像。如果任意一个图像采集装置采集的初始图像中检测到人脸图像,则基于检测到的人脸图像确定人脸特征点的第一坐标,然后将确定的人脸特征点的第一坐标转换至第一图像采集装置的相机坐标系下以生成第二坐标。如果第一图像采集装置采集到人脸图像,则将确定到的人脸特征点的第一坐标与第二坐标相同。
多个依次设置的图像采集装置可以是等间距依次布置,根据安装场景需要,也可以是非等间距的依次布置。但任意相邻两个图像采集装置之间均需具有视场重叠区域,且该视场重叠区域至少具有一个使相邻两个图像采集装置均能采集到完整人脸图像的人脸图像采集区。以便于基于该人脸图像采集区,可以计算相邻两个图像采集装置之间的旋转矩阵和平移向量。也即视场重叠区域具有一个人脸图像采集区,且该人脸图像采集区的尺寸足以容纳一张正常尺寸的完整人脸,两个相邻的图像采集装置均能采集到该人脸图像采集区内的完整人脸图像。需要说明的是,只要图像采集装置的像素足够大,且物距足够远,则理论上任意相邻两个图像采集装置均能形成上述的人脸图像采集区。当然,实际应用时,相邻两个图像采集装置在设计的最大物距所形成的视场至少需要具有视场重叠区域,且该视场重叠区域内至少具有一个上述人脸图像采集区。
由于图像采集装置的视场边缘具有无法采集到完整人脸图像的边缘区域,故相邻图像采集装置的视场重叠区域至少要包括:相邻两个图像采集装置的边缘区域以及能够采集到完整人脸的人脸图像采集区,人脸图像采集区的宽度不小于人脸的实际宽度即可,如此视场重叠区域的最小水平宽度可通过如下公式表示:
h=h0*2+h1 (16)
其中,h为视场重叠区域的最小水平宽度,h0为图像采集装置的边缘区域的水平宽度,h1为人脸的宽度。
图像采集装置的边缘区域的水平宽度可通过如下公式计算:
h0=u*k/f (17)
其中,u为图像采集装置的物距,k为人脸图像在CMOS芯片所占的宽度,f为图像采集装置的焦距。
人脸图像在CMOS芯片所占的宽度可通过如下公式计算:
k=m*单个像元尺寸 (18)其中,m为人脸图像在CMOS芯片的水平方向上所占用的像素数量。
基于上述公式(16)、(17)及(18),可以计算得出视场重叠区域的最小水平宽度。
单个图像采集装置在特定物距下的水平视场宽度可通过如下公式计算得到:
V=2*u*tan(FOV(水平)/2) (19)
其中,V为单个图像采集装置的水平视场宽度,u为图像采集装置的物距,FOV(水平)为图像采集装置在水平方向上的视场角。
FOV(水平)=2*arctan(w/2f) (20)
FOV(垂直)=2*arctan(L/2f) (21)
FOV(整体)=2*arctan(d/2f) (22)
其中,w为CMOS芯片的水平长度,L为CMOS芯片的垂直宽度,d为CMOS芯片的对角线长度,f为图像采集装置的焦距。
其中,w为CMOS芯片的水平宽度,f为图像采集装置的焦距。
基于公式(19)至(22)可计算得出单个图像采集装置的水平视场宽度。
在采用相同图像采集装置的情况下,多个图像采集装置可形成的扩大后的视场的最大水平宽度可通过如下公式计算:
扩大后的视场的最大水平宽度=n*V-(n-1)*h (23)
其中,n为水平方向上依次设置的图像采集装置的数量,V为单个图像采集装置的水平视场宽度,h为相邻两个图像采集装置的视场重叠区域的最小水平宽度。在要形成特定水平宽度的大视场时,可通过上述公式(16)-(23)计算所需布置的图像采集装置的数量,从而为设计提供依据。
如表2为采用两个图像采集装置的视场数据与采用一个图像采集装置的视场数据的对比表。
表2
基于表2所示数据可知,当采用两个视场角为60°的摄像头所形成的扩大后的水平视场宽度为1218mm,如果采用一个摄像头,视场角需要达到90°时,其水平视场宽度才能够达到1273mm,从而实现与两个60°的摄像头所形成的扩大后的水平视场宽度接近,但由于视场角较大,畸变系数较大,影响检测准确度。而应用本发明实施例的系统,通过多个图像采集装置之间的配合,既能够实现扩大视场的目的,又能够提高人脸检测的准确度。
在一些实施例中,为计算任意相邻两个图像采集装置之间的旋转矩阵和平移向量,可将多个图像采集装置中任意相邻的两个定义为第一图像采集装置和第二图像采集装置,并在该第一图像采集装置和第二图像采集装置之间的人脸图像采集区内预置一预置人脸,该预置人脸可为真实的人站立在第一图像采集装置和第二图像采集装置前方,并使人脸恰好位于人脸图像采集区内。
第一图像采集装置,用于对人脸图像采集区内的预置人脸进行图像采集,以获得第一预置人脸图像;
第二图像采集装置,用于对人脸图像采集区内的预置人脸进行图像采集以获得第二预置人脸图像;
处理装置进一步用于,基于第二预置人脸图像获取人脸特征点在第二图像采集装置的相机坐标系下的第四坐标;基于第一预置人脸图像获取人脸特征点在第一图像采集装置的相机坐标系下的第三坐标;基于第三坐标和第四坐标计算相邻的第一图像采集装置和第二图像采集装置之间的旋转矩阵和平移向量。
其中,第三坐标和第四坐标分别为人脸特征点在第一图像采集装置的相机坐标系下的坐标和在第二图像采集装置的相机坐标系下的坐标,通过第一图像采集装置和第二图像采集装置的相机坐标系之间的旋转矩阵和平移向量可以实现互相转换,转换公式如下:
引入齐次坐标合并矩阵运算中的乘法和加法,使之转换为:
其中,为n组第三坐标,为n组第四坐标。通过第一图像采集装置和第二图像采集装置分别获取多组第三坐标和第四坐标,即可准确的计算出其二者的相机坐标系之间的旋转矩阵和平移向量,能够克服现有技术中利用例如双目标定等获取旋转矩阵和平移向量的方法,因2D靶标的标定板的可视范围有限,不适用于大视场的问题,以及3D靶标的制作成本高,尺寸精度低的问题。
在一些实施例中,处理装置进一步用于:基于人脸图像分别获取人脸特征点在世界坐标系下的坐标和人脸特征点在图像坐标系下的坐标;获取采集到人脸图像的图像采集装置的内参矩阵和畸变系数;基于人脸特征点在世界坐标系下的坐标和人脸特征点在图像坐标系下的坐标、内参矩阵和畸变系数,计算采集到人脸图像的图像采集装置的外参矩阵;基于外参矩阵将人脸特征点在世界坐标系下的坐标转换为采集到人脸图像的图像采集装置的相机坐标系下的坐标以作为第一坐标。其中,获取人脸特征点在世界坐标系下的坐标,可基于预先构置的人脸3D模型来获取,该人脸特征点通常包括68个点位,当然不仅于68点位,也可为例如72个点位或88个点位等。可基于单目标定的方法获取图像采集装置的内参矩阵和畸变系数。该外参矩阵包括旋转矩阵和平移向量,可基于solvePnP()函数计算获得,该外参矩阵用于表征图像采集装置的世界坐标系与相机坐标系之间的转换关系。
在一些实施例中,所述处理装置进一步用于:从人脸特征点中选取关键人脸特征点;将关键人脸特征点在世界坐标系下的坐标转换为在采集到人脸图像的图像采集装置的相机坐标系下的坐标以作为第一坐标。该关键人脸特征点为用于代表人脸位置的人脸特征点,例如,可为68个人脸特征点中位于鼻尖处的第31个点,也可为位于鼻尖和嘴之间的第34个点,也可为世界坐标系的P(0,0,0)点。
在一些实施例中,所述处理装置进一步用于:基于预置的至少一个相邻图像采集装置之间的旋转矩阵和平移向量,将第一坐标依次在至少一个相邻图像采集装置的相机坐标系之间进行坐标系转换,直至转换至特定的图像采集装置的相机坐标系下并形成第二坐标。
对人脸特征点的坐标进行坐标系转换只能在相邻两个图像采集装置之间进行。例如,当采用三个依次设置的第一图像采集装置、第二图像采集装置及第三图像采集装置进行人脸检测时,如果选定第一图像采集装置的相机坐标系作为标准坐标系,则基于第三图像采集装置采集到的人脸图像确定的人脸特征点的第一坐标,首先需要基于第二图像采集装置和第三图像采集装置的相机坐标系之间的旋转矩阵和平移向量,将该第一坐标转换成该第二图像采集装置的相机坐标系下的坐标,然后再基于第二图像采集装置和第一图像采集装置之间的旋转矩阵和平移向量,将第二图像采集装置的相机坐标系下的坐标转换为第一图像采集装置的相机坐标系下的坐标,以形成第二坐标。整个坐标转换过程中,需要进行两次坐标转换。依次类推,如果采用两个图像采集装置进行人脸检测,则最多只需进行一次坐标转换。如果采用四个图像采集装置进行人脸检测,则最多需要进行三此坐标转换。
相邻的两个图像采集装置的进行人脸特征点的坐标转换的公式如下:
其中,R为相邻两个图像采集装置之间的相机坐标系的旋转矩阵,T为相邻两个图像采集装置之间的相机坐标系的平移向量,为人脸特征点在一个图像采集装置的相机坐标系下的坐标,为人脸特征点在另一个图像采集装置的相机坐标系下的坐标。
在一些实施例中,所述处理装置进一步用于:以第二坐标为初始坐标检测人脸的运动轨迹,基于运动轨迹生成对应的控制指令。
具体的,可通过例如光流法追踪人脸,以不断的更新人脸特征点在大视场的标准坐标系下的坐标,以实现捕捉人脸的运动轨迹的目的,当检测到人脸的运动轨迹符合预设的特定动作时,可生成与特定动作相对应的控制指令,通过该控制指令可以控制例如显示装置或其他的电子设备,从而实现基于人脸的智能交互。
以上实施例仅为本发明的示例性实施例,不用于限制本发明,本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内,对本发明做出各种修改或等同替换,这种修改或等同替换也应视为落在本发明的保护范围内。
Claims (12)
1.一种人脸检测方法,其特征在于,包括:
从多个依次设置的图像采集装置中选取任意一个图像采集装置,将所述图像采集装置确定为预定的图像采集装置,并将所述图像采集装置的相机坐标系确定为标准坐标系,其中,任意相邻两个所述图像采集装置之间均具有视场重叠区域,所述视场重叠区域至少具有一个使相邻两个所述图像采集装置均能采集到完整人脸图像的人脸图像采集区;
获取多个依次设置的图像采集装置在各自视场内采集的初始图像;
获取所述初始图像中人脸图像,确定所述人脸图像中人脸特征点的第一坐标,其中所述第一坐标为采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标;
将所述第一坐标转换为第二坐标,其中所述第二坐标为所述人脸特征点在预定的所述图像采集装置的相机坐标系下的坐标。
2.根据权利要求1所述的人脸检测方法,其特征在于,所述确定所述人脸图像中人脸特征点的第一坐标,包括:
基于所述人脸图像分别获取所述人脸特征点在世界坐标系下的坐标和所述人脸特征点在图像坐标系下的坐标;
获取采集到所述人脸图像的所述图像采集装置的内参矩阵和畸变系数;
基于所述人脸特征点在世界坐标系下的坐标和所述人脸特征点在图像坐标系下的坐标、所述内参矩阵和所述畸变系数,确定采集到所述人脸图像的所述图像采集装置的外参矩阵;
基于所述外参矩阵将所述人脸特征点在世界坐标系下的坐标转换为采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标以作为所述第一坐标。
3.根据权利要求2所述的人脸检测方法,其特征在于,所述基于所述外参矩阵将所述人脸特征点在世界坐标系下的坐标转换为采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标以作为所述第一坐标,包括:
从所述人脸特征点中选取关键人脸特征点;
将所述关键人脸特征点在世界坐标系下的坐标转换为在采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标以作为所述第一坐标。
4.根据权利要求1所述的人脸检测方法,其特征在于,所述将所述第一坐标转换为第二坐标,包括:
基于预置的至少一个相邻所述图像采集装置之间的旋转矩阵和平移向量,将所述第一坐标依次在所述至少一个相邻所述图像采集装置的相机坐标系之间进行坐标系转换,直至转换至预定的所述图像采集装置的相机坐标系下并形成所述第二坐标。
5.根据权利要求4所述的人脸检测方法,其特征在于,确定所述预置的至少一个相邻所述图像采集装置之间的旋转矩阵和平移向量包括:
通过第一图像采集装置对所述人脸图像采集区内的预置人脸进行图像采集,以获得第一预置人脸图像,基于所述第一预置人脸图像获取人脸特征点在所述第一图像采集装置的相机坐标系下的第三坐标;
通过第二图像采集装置对所述人脸图像采集区内的所述预置人脸进行图像采集以获得第二预置人脸图像,基于所述第二预置人脸图像获取人脸特征点在所述第二图像采集装置的相机坐标系下的第四坐标;其中,所述第一图像采集装置和所述第二图像采集装置为多个所述图像采集装置中的任意的两个;
基于所述第三坐标和所述第四坐标计算相邻的所述第一图像采集装置和所述第二图像采集装置之间的旋转矩阵和平移向量。
6.根据权利要求1所述的人脸检测方法,其特征在于,所述方法还包括:
以所述第二坐标为初始坐标检测人脸的运动轨迹,基于所述运动轨迹生成对应的控制指令。
7.一种人脸检测系统,其特征在于,包括:
多个依次设置的图像采集装置,用于在各自视场内采集初始图像;
处理装置,用于从多个依次设置的图像采集装置中选取任意一个图像采集装置,将所述图像采集装置确定为预定的图像采集装置,并将所述图像采集装置的相机坐标系确定为标准坐标系,其中,任意相邻两个所述图像采集装置之间均具有视场重叠区域,所述视场重叠区域至少具有一个使相邻两个所述图像采集装置均能采集到完整人脸图像的人脸图像采集区;获取所述初始图像中人脸图像,确定所述人脸图像中人脸特征点的第一坐标,其中所述第一坐标为采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标;将所述第一坐标转换为第二坐标,其中所述第二坐标为所述人脸特征点在预定的所述图像采集装置的相机坐标系下的坐标。
8.根据权利要求7所述的人脸检测系统,其特征在于,所述处理装置具体用于:
基于所述人脸图像分别获取所述人脸特征点在世界坐标系下的坐标和所述人脸特征点在图像坐标系下的坐标;
获取采集到所述人脸图像的所述图像采集装置的内参矩阵和畸变系数;
基于所述人脸特征点在世界坐标系下的坐标和所述人脸特征点在图像坐标系下的坐标、所述内参矩阵和所述畸变系数,确定采集到所述人脸图像的所述图像采集装置的外参矩阵;
基于所述外参矩阵将所述人脸特征点在世界坐标系下的坐标转换为采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标以作为所述第一坐标。
9.根据权利要求8所述的人脸检测系统,其特征在于,所述处理装置具体用于:
从所述人脸特征点中选取关键人脸特征点;
将所述关键人脸特征点在世界坐标系下的坐标转换为在采集到所述人脸图像的所述图像采集装置的相机坐标系下的坐标以作为所述第一坐标。
10.根据权利要求7所述的人脸检测系统,其特征在于,所述处理装置具体用于:
基于预置的至少一个相邻所述图像采集装置之间的旋转矩阵和平移向量,将所述第一坐标依次在所述至少一个相邻所述图像采集装置的相机坐标系之间进行坐标系转换,直至转换至预定的所述图像采集装置的相机坐标系下并形成所述第二坐标。
11.根据权利要求10所述的人脸检测系统,其特征在于,多个所述图像采集装置中包括相邻的第一图像采集装置和第二图像采集装置;
所述第一图像采集装置用于,对所述人脸图像采集区内的预置人脸进行图像采集,以获得第一预置人脸图像;
所述第二图像采集装置用于,对所述人脸图像采集区内的所述预置人脸进行图像采集以获得第二预置人脸图像;
所述处理装置进一步用于,基于所述第一预置人脸图像获取人脸特征点在所述第一图像采集装置的相机坐标系下的第三坐标;基于所述第二预置人脸图像获取人脸特征点在所述第二图像采集装置的相机坐标系下的第四坐标;基于所述第三坐标和所述第四坐标计算相邻的所述第一图像采集装置和所述第二图像采集装置之间的旋转矩阵和平移向量。
12.根据权利要求7所述的人脸检测系统,其特征在于,
所述处理装置进一步用于,以所述第二坐标为初始坐标检测人脸的运动轨迹,基于所述运动轨迹生成对应的控制指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910005175.4A CN109753930B (zh) | 2019-01-03 | 2019-01-03 | 人脸检测方法及人脸检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910005175.4A CN109753930B (zh) | 2019-01-03 | 2019-01-03 | 人脸检测方法及人脸检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109753930A CN109753930A (zh) | 2019-05-14 |
CN109753930B true CN109753930B (zh) | 2021-12-24 |
Family
ID=66405331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910005175.4A Active CN109753930B (zh) | 2019-01-03 | 2019-01-03 | 人脸检测方法及人脸检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109753930B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113536844B (zh) * | 2020-04-16 | 2023-10-31 | 中移(成都)信息通信科技有限公司 | 人脸对比方法、装置、设备及介质 |
CN111915779B (zh) * | 2020-07-31 | 2022-04-15 | 浙江大华技术股份有限公司 | 一种闸机控制方法、装置、设备和介质 |
CN113570671A (zh) * | 2021-06-30 | 2021-10-29 | 惠州市德赛西威智能交通技术研究院有限公司 | 鱼眼摄像头标定方法、存储介质和电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105023010A (zh) * | 2015-08-17 | 2015-11-04 | 中国科学院半导体研究所 | 一种人脸活体检测方法及系统 |
CN105447007A (zh) * | 2014-08-11 | 2016-03-30 | 联想(北京)有限公司 | 一种电子设备及数据处理方法 |
CN105930821A (zh) * | 2016-05-10 | 2016-09-07 | 上海青研信息技术有限公司 | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 |
CN107610053A (zh) * | 2017-10-10 | 2018-01-19 | 成都学知乐科技有限公司 | 使用移动设备对教学过程实时采集的方法 |
CN108171728A (zh) * | 2017-12-25 | 2018-06-15 | 清华大学 | 基于混合相机系统的无标记运动物体姿态恢复方法及装置 |
CN109087265A (zh) * | 2018-08-09 | 2018-12-25 | 北京大恒图像视觉有限公司 | 一种多相机图像坐标转换方法和装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5453429B2 (ja) * | 2009-07-22 | 2014-03-26 | オムロン株式会社 | 監視カメラ端末 |
US20130286161A1 (en) * | 2012-04-25 | 2013-10-31 | Futurewei Technologies, Inc. | Three-dimensional face recognition for mobile devices |
KR102009292B1 (ko) * | 2012-05-11 | 2019-08-12 | 한국전자통신연구원 | 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법 |
US9615081B2 (en) * | 2013-10-28 | 2017-04-04 | Lateral Reality Kft. | Method and multi-camera portable device for producing stereo images |
CN106157304A (zh) * | 2016-07-01 | 2016-11-23 | 成都通甲优博科技有限责任公司 | 一种基于多个相机的全景图拼接方法及系统 |
CN107423714A (zh) * | 2017-07-28 | 2017-12-01 | 中控智慧科技股份有限公司 | 图像获取设备和方法 |
CN107633536B (zh) * | 2017-08-09 | 2020-04-17 | 武汉科技大学 | 一种基于二维平面模板的相机标定方法及系统 |
CN108875507B (zh) * | 2017-11-22 | 2021-07-23 | 北京旷视科技有限公司 | 行人跟踪方法、设备、系统和计算机可读存储介质 |
CN109064397B (zh) * | 2018-07-04 | 2023-08-01 | 广州希脉创新科技有限公司 | 一种基于摄像耳机的图像拼接方法及系统 |
-
2019
- 2019-01-03 CN CN201910005175.4A patent/CN109753930B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447007A (zh) * | 2014-08-11 | 2016-03-30 | 联想(北京)有限公司 | 一种电子设备及数据处理方法 |
CN105023010A (zh) * | 2015-08-17 | 2015-11-04 | 中国科学院半导体研究所 | 一种人脸活体检测方法及系统 |
CN105930821A (zh) * | 2016-05-10 | 2016-09-07 | 上海青研信息技术有限公司 | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 |
CN107610053A (zh) * | 2017-10-10 | 2018-01-19 | 成都学知乐科技有限公司 | 使用移动设备对教学过程实时采集的方法 |
CN108171728A (zh) * | 2017-12-25 | 2018-06-15 | 清华大学 | 基于混合相机系统的无标记运动物体姿态恢复方法及装置 |
CN109087265A (zh) * | 2018-08-09 | 2018-12-25 | 北京大恒图像视觉有限公司 | 一种多相机图像坐标转换方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109753930A (zh) | 2019-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109753930B (zh) | 人脸检测方法及人脸检测系统 | |
CN102761706B (zh) | 成像设备和成像方法 | |
WO2012023766A2 (ko) | 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 | |
CN106371281A (zh) | 基于结构光多模块360度空间扫描和定位的3d相机 | |
US20170228585A1 (en) | Face recognition system and face recognition method | |
CN103530599A (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
CN111062234A (zh) | 一种监控方法、智能终端及计算机可读存储介质 | |
CN106056594A (zh) | 一种基于双光谱的可见光图像提取系统与方法 | |
KR101125233B1 (ko) | 융합기술기반 보안방법 및 융합기술기반 보안시스템 | |
CN105787876A (zh) | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 | |
CN113329179B (zh) | 拍摄对位方法、装置、设备及存储介质 | |
CN108876823B (zh) | 基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法 | |
CN107507133B (zh) | 一种基于圆管作业机器人的实时图像拼接方法 | |
KR101718081B1 (ko) | 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치 | |
KR20130077414A (ko) | 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라 | |
KR101715781B1 (ko) | 물체 인식 시스템 및 그 물체 인식 방법 | |
CN115457176A (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
CN108805921A (zh) | 图像获取系统及方法 | |
CN110991306A (zh) | 自适应的宽视场高分辨率智能传感方法和系统 | |
CN104349197A (zh) | 一种数据处理方法及装置 | |
CN111696143A (zh) | 一种事件数据的配准方法与系统 | |
CN103780829A (zh) | 多摄影机的整合处理系统及其方法 | |
CN113112532B (zh) | 一种多ToF相机系统实时配准方法 | |
Rathnayake et al. | An efficient approach towards image stitching in aerial images | |
CN115278071B (zh) | 图像处理方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |