CN110826368B - 一种用于数据分析的人脸图像采集方法 - Google Patents

Abstract

本发明涉及一种人脸图像采集方法，属于人工智能领域；现有技术中采集人脸图像信息往往不准确；本发明提供了一种图像采集方法，包括对轨道的控制和对相机控制，利用光源可以防止被测试人员应付测试，得到不准确数据；使得被试者无法预先得知光源下一刻的位置，这样被试者为了完成测试任务，只能将注意力放在光源本身上。

Description

一种用于数据分析的人脸图像采集方法

技术领域

本发明涉及人工智能用图像数据采集领域。具体地说，是涉及的人脸图像数据的采集领域。

背景技术

随着人工智能的发展，人脸识别技术越来越发挥出重要的作用。随着图像分辨率的提升，人脸识别的应用领域也越来越广。通过获取人脸图像，再通过深度学习神经网络，输出各应用领域所需的各种信息。例如通过面部表情的识别，可以判断此时人的精神状态；另外，通过面部表情以及人眼视线的实时追踪识别，可以进行人机交互。此时的人机交互并不需要其他辅助工具例如鼠标，或者借助人的手势触摸去完成。这一应用可以解放双手去完成其他工作，例如对车辆的驾驶等。但实现上述应用情景，需要一个重要前提，即是要求人工神经网络的输出必须准确。而要求人工神经网络学习的输出准确，则需要前期高精度数据的输入，使计算机在神经网络学习阶段对实际情况的判断更准确。然而目前现有技术中对于图像采集却有诸多亟待解决的问题。

例如，1）无法做到高效采集人脸图像：因为需要采集人脸某时刻各个角度的多幅照片，采用相机拍摄时需要相机做二维的往返运动，浪费大量时间。此外，在拍摄时需要做到被试者保护静止，而往往被试者在相机做二维往返运动时，无法长时间保持静止，因此很多采集的图像存在误差。

2）现有技术使用的是显示器以及显示器上的相机，让被试者观看屏幕上的某一点，然后照相记录人脸图像。因为采用的是屏幕，屏幕将会把背景光挡住。此时拍摄的图像并不能真实反映实际的环境。因为实际环境，例如驾驶时，自然光会透过车前挡玻璃，照射到人脸。而采用屏幕上的相机屏蔽掉这部分光线，没有还原真实场景，这样会造成机器学习后的输出误差，影响使用效果。

3）不易采集人脸侧面图像（或大角度图像），如果采集侧面图像需要人转头将近90度，首先体验感不好，其次人眼注视点需要在人的侧面较远地方，会导致承载注视点的装置长度非常大。

发明内容

鉴于现有技术中存在的问题，本发明的目的之一在于。

为达此目的，本发明采用以下技术方案：一种人脸图像采集方法，其特征在于：所述方法包括以下步骤：

一种人脸图像采集方法，其特征在于：所述方法包括以下步骤：

步骤S1 轨道随机生成横向或纵向坐标点，所述相机和所述光源从坐标原点开始按照所述坐标点移动，被试者用鼻尖去对准所述光源，保持不变；

步骤S2 所述光源先按照所述坐标点横向或纵向移动，每移动一步后，等待采集被试者图像；

步骤S3 横向或纵向移动到头，该被试者图像采集结束。

优选的，所述步骤S2 对轨道的控制具体包括步骤S21-S23；

步骤S21 邻近所述相机设置的光源随机闪烁多种颜色；

步骤S22 当所述相机和所述光源移动到某一坐标点时，被试者看到特定颜色的信号时，按下手中按钮，触发相机拍照，成功采集；当被试者看到其他颜色的信号时，按下手中按钮，相机无响应，采集不成功；

步骤S23 成功采集后，所述相机和所述光源移动到下一个坐标点采集图像。

优选的：将所述图像采集方法采集的数据用于后期神经网络学习，输入到神经网络中信息包括有所述图像对应的人眼注视的该光源位置信息。

优选的：该采集方法还包括每次采集完被试者人脸图像后，需要对每个相机进行标定，该标定是通过一在被试者附近的标定板完成的。

优选的：所述光源用于显示特定颜色的标识或者可采用其他信号源来代替所述光源。

优选的：所述光源的显示时间为0.2-1秒。

优选的：所述相机和所述光源的移动是无规律的随机运动。

优选的：所述光源可分为横向采集光源和纵向采集光源，分别位于横向轨道上和纵向轨道上。

优选的：所述图像采集方法是基于图像采集系统来实施的，所述图像采集系统包括：多个相机，并且相机摆放在特定的位置以满足同一时刻拍摄图像的需要。

优选的：图像采集系统还包括：多个支架，该多个支架包括多个横向支架和多个纵向支架；多个相机初始位置固定在多个所述横向支架和纵向支架的交叉位置。

采用了上述技术方案，使其对现有技术做出了实质性的贡献，产生了意料之外的技术效果。这一突出的优势主要体现在如下几点，但本发明的发明点并不限于下述列举的几点。

本发明的发明点在于：采用步骤中对相机的控制，利用光源可以防止被测试人员应付测试，得到不准确数据；本发明的另一发明点在于采用的步骤中对轨道的控制，使得被试者无法预先得知光源下一刻的位置，这样被试者为了完成测试任务，只能将注意力放在光源本身上。

在每次采集完成后对各相机进行标定。现有技术中多是在全部数据采集完后的下次数据采集前完成标定，并没有考虑采集过程中其他外界干扰对相机采集带来的误差。在每次相机采集的过程中，同时将标定板随人脸图像一起拍摄在同一图像中，实现一次采集后进行标定，再进行光源处相机的再移动。这也是本发明的另一发明点。

该标定板用于对各相机进行标定。即在每次采集完人脸图像后，需要对每个相机进行标定，从而保证了图像采集的准确性。这也是本发明的另一发明点。

附图说明

图1是本发明固定相机用测试架的示意图；

图2是本发明相机和光源的控制流程图。

图3是本发明采集的人脸图像示意图。

图中：1-纵向支架、2-横向支架、3-基座、4-螺纹杆、5-相机、10-相机用测试架、20-标定板。

下面对本发明进一步详细说明。但下述的实例仅仅是本发明的简易例子，并不代表或限制本发明的权利保护范围，本发明的保护范围以权利要求书为准。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

为更好地说明本发明，便于理解本发明的技术方案，本发明的典型但非限制性的实施例如下：

本发明是为了人脸识别机器学习图像数据的需要而自搭建的一套图像采集系统，该相机系统包括几个部分，下面分别介绍该相机的不同部件：

该图像采集系统包括有多个相机，并且相机摆放在特定的位置以满足同一时刻拍摄图像的需要。

该相机可以以阵列的方式排列在被试者的面前，以方便在同一时刻拍摄多张照片；该机相的拍摄角度选择是特定的，每一相机都是以特定的角度对准人脸，以保证同一时刻拍摄得到不同角度的人脸图像。

当上述的排成阵列的相机在同一时刻拍摄人脸时，至少平行方向排列的两个相机在对准人脸的方向，即该相机的光轴方向间夹角为90度设置。当然，该光轴方向间夹角可大于90度，以方便得到更多的人脸照片信息。

图像采集系统还包括：多个支架，该多个支架包括多个横向支架和多个纵向支架；多个相机固定在多个所述横向支架和纵向支架的交叉位置；一轨道结构，其包括横向轨道和纵向轨道，该轨道结构能够在支架上沿水平方向和竖直方向自由移动；一光源固定在横向轨道和纵向轨道的交叉位置，或者该光源位于横向轨道和纵向轨道中之一的基座上；一相机与该光源固定，使相机能随光源移动而移动。

优选的，9个工业相机，组成3*3矩阵，同一行或同一列的所述工业相机的相距为50cm。

优选的，所述固定的工业相机在对准人脸的方向，即该相机的光轴方向各不相同。

优选的，所述工业相机的光轴方向对准位于3*3矩阵中间工业相机光轴延长线。

优选的，相机的光轴方向与人的面部垂直的方向呈方向45度，这个角度保证了能够很容易拍到人脸扭转90°的图片，

优选的，出于测试的方便，可以对固定住的相机的光轴方向进行手动或者遥控自动调整。

优选的，该支架为滑轨形式，即各支架间的相互距离可以调整，通过支架间相互距离的调整从而可以改变相机间的相对位置，以适应不同测试场合的需要。

优选的，该按钮，光源，以及多个相机通过MEGA 2560板子控制。

实施例1

利用图像采集系统进行图像采集的方法包括以下步骤：

步骤S1： 轨道随机生成横向或纵向坐标点，所述相机和所述光源从坐标原点开始按照所述坐标点移动，被试者用鼻尖去对准所述光源，保持不变；

步骤S2： 采集被试者人脸图像，包括所述光源按照所述坐标点横向或纵向移动，每移动一步后，采集所述被试者图像；

步骤S3： 横向或纵向移动光源到下一坐标点，重复采集图像，直至每一坐标点被采集，则该被试者图像采集结束。

如图2所示，步骤S2相机控制，具体包括步骤S21-步骤S23：

步骤S21：光源随机闪烁多种颜色；

步骤S22：当所述相机和所述光源移动到某一坐标点时，被试者看到特定颜色的信号时，按下手中按钮，触发相机拍照，成功采集； 当被试者看到其他颜色的信号时，按下手中按钮，相机无响应，采集不成功；

步骤S23：成功采集后，结束该坐标点的采集。

采用上述数据采集方法，可有效提高数据采集的精度，因为只有当被试者眼睛注视到灯的位置，该图像才会被记录，其他无关图像不会被记录。记录时，多个相机拍摄人脸图像的同时还拍摄了与被试者面部在同一平面的标定板20，如图3所示。即在得到神经网络训练用数据的同时也对各相机进行了标定。

其中与灯连接的相机可以代表灯的位置，即记录下了实时灯的位置。利用小灯可以防止被测试人员应付测试，得到不准确数据。其中需要在每次采集被试者人脸图像的同时进行标定提高了相机采集精度，这是因为在该采集过程中，因为与光源相连的相机需要移动等动作，这会造成支架的移动，这一移动致使各相机脱离原始位置。因此为了采集图像的准确性，需要采用一标定板20对每个相机进行重新标定。具体为每完成一次坐标的图像采集，便进行一次标定。

现有技术中采集人脸图像数据用于后期神经网络学习往往采用的是显示屏与相机相配合的方式，例如现有技术CN108171218A，其采用的相机是屏幕上的摄像头；因为采用的是显示屏，显示屏背后的光线无法透过，这造成形成训练用数据无法反映室外的自然环境。特别是有于无人驾驶或辅助驾驶领域，因在室外环境中，驾驶员在驾驶时，前挡风玻璃会透过自然光，这使得机器学习后的图像判断产生误差。而本申请采用的是支架结构，自然光完全可以从支架后透射进来，这使得本申请中相机采集的图像数据更加逼近室外环境，使得在驾驶领域人脸图像识别以及人眼视场识别提供了真实的训练数据。

实施例2

该实施例与上述实施例中相同的步骤就不再重复，本实施例仅仅介绍某些变化的步骤。

在步骤S20中，只有确保采集到的数据集中的人眼图像的确是与此时人眼关联的光源位置是正确对应的，才能保证神经网络学习效果，本发明采取的技术手段中，核心技术是使被试者看某种颜色的光（例如红色的光），只有某种颜色的光出现才能按下拍照的按钮,其他时刻即便按下按钮也是不能拍照的。

为了提醒被试者要将视线放在光源上看，以免错过红灯亮时，没有按下按钮，除了采用红绿蓝三色灯外，还可以是光源本身具备可以显示某个标识的显示屏式光源，即光源显示某个单词，例如当显示屏显示单词“red”，此时相当于前一实施例中的红光，当不显示单词或者显示其他单词时，则即便是被试者按下按钮，所有的照相机也不会照相。

为了提醒被试者还可以采用非光源的其他信号源来代替光源，例如可以采用一机械结构突然弹出个标志，此时按下按钮，则会拍照。

关于信号显示的时间的扩展，该信号持续的时间既不能时间太短，时间也不能太长。时间太短，则被试者还没有反应时间去按下按钮；持续时间太长，可能会造成数据误差，即被试者看到信号时，也没及时按下按钮，当被试者的视线没有集中在信号时，这时再按下按钮，造成人眼图像和对应的光源位置实际上是不对应的；而根据人眼的一般反应时间为0.1秒左右，信号显示的时间为0.2-1秒。

实施例3

该实施例与上述实施例中相同的步骤就不再重复，本实施例仅仅介绍某些变化的步骤。

在步骤S10中，关于光源的运动，光源的运动还可以是随机的，优选的是无规律的；这样被试者无法预先得知光源下一刻的位置，这样被试者为了完成测试任务，只能将注意力放在光源本身上。因此对于光源的运动可以通过事先的程序来控制步进电机，进而控制光源的运动。例如在轨道步骤中提到横向间距和纵向间距，其是随机的，每一次都不一样。例如第一次横向，移动+10cm，第二次横向移动+12cm，第三次横向移动-4cm，具体可参见表1：

	第一次	第二次	第三次	第四次
					横向移动距离	+10CM	+12CM	-4CM	返回原点
纵向移动距离	+8CM	-5CM	+10CM	返回原点

表1

在步骤S10中，可以采用多个光源，具体分为横向采集光源和纵向采集光源，分别位于横向滑轨上和纵向滑轨上，这样可以进一步加快采集效率。可选的，在横向支架和纵向支架上还可以包括有红外光源，该红外光源用于光线不足情况下提供对被试者的脸部补光。

申请人声明，本发明通过上述实施例来说明本发明的详细结构特征，但本发明并不局限于上述详细结构特征，即不意味着本发明必须依赖上述详细结构特征才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明所选用部件的等效替换以及辅助部件的增加、具体方式的选择等，均落在本发明的保护范围和公开范围之内。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (8)

1.一种人脸图像采集方法，其特征在于：所述方法应用于图像采集系统，所述图像采集系统包括：多个支架，该多个支架包括多个横向支架和多个纵向支架；多个相机固定在多个所述横向支架和纵向支架的交叉位置，多个相机以阵列的方式排列在被试者的面前，多个机相的拍摄角度选择是特定的，每一相机都是以特定的角度对准人脸，以保证同一时刻拍摄得到不同角度的人脸图像，当排成阵列的相机在同一时刻拍摄人脸时，至少平行方向排列的两个相机在对准人脸的方向，即该相机的光轴方向间夹角为90度设置；一轨道结构，其包括横向轨道和纵向轨道，该轨道结构能够在支架上沿水平方向和竖直方向自由移动；一光源固定在横向轨道和纵向轨道的交叉位置，或者该光源位于横向轨道和纵向轨道中之一的基座上；一相机与该光源固定，使相机能随光源移动而移动；该多个支架为滑轨形式，各支架间的相互距离可以调整，所述方法包括以下步骤：

步骤S1：轨道随机生成横向或纵向坐标点，相机和光源从坐标原点开始按照所述坐标点移动，被试者用鼻尖去对准所述光源，保持不变；

步骤S2：采集被试者人脸图像，包括所述光源按照所述坐标点横向或纵向移动，每移动一步后，采集所述被试者图像；

步骤S3：横向或纵向移动光源到下一坐标点，重复采集图像，直至每一坐标点被采集，则该被试者图像采集结束；

该采集方法还包括每次采集完被试者人脸图像后，需要对每个相机进行标定，该标定是通过一在被试者附近的标定板完成的，每完成一次坐标的图像采集，便进行一次标定；

步骤S2具体包括步骤S21-S23；

步骤S21：邻近所述相机设置的光源随机闪烁多种颜色；

步骤S22：当所述相机和所述光源移动到某一坐标点时，被试者看到特定颜色的信号时，按下手中按钮，触发相机拍照，成功采集；当被试者看到其他颜色的信号时，按下手中按钮，相机无响应，采集不成功；

步骤S23：成功采集后，结束该坐标点的采集。

2.根据权利要求1的所述的采集方法，其特征在于：将所述图像采集方法采集的数据用于后期神经网络学习，输入到神经网络中数据包括有所述人脸图像对应的人眼注视的该光源位置信息。

3.根据权利要求1所述的采集方法，所述光源用于显示特定颜色的标识；或者可采用其他信号源来代替所述光源。

4.根据权利要求1所述的采集方法，其特征在于：所述光源的显示时间为0.2-1秒。

5.根据权利要求1的所述的采集方法，其特征在于：所述相机和所述光源的移动是无规律随机运动。

6.根据权利要求1的所述的采集方法，其特征在于：所述光源可分为横向采集光源和纵向采集光源，分别位于横向轨道上和纵向轨道上。

7.一种人脸图像采集系统，该采集系统包括多个相机，并且该多个相机摆放在特定的位置以满足同一时刻拍摄人脸各角度图像的需要；该图像采集系统还采用包括权利要求1-6任一项所述的人脸图像采集方法采集图像。

8.根据权利要求7的所述的图像采集系统，该图像采集系统还包括多个支架，该多个支架包括多个横向支架和多个纵向支架；多个相机固定在多个所述横向支架和纵向支架的交叉位置。