CN110826367A - 一种用于数据分析的人脸图像采集系统 - Google Patents

Abstract

本发明涉及一种人脸图像采集系统，属于人工智能领域；现有技术中采集人脸图像信息往往使用一个相机或是显示屏上的摄像头，或是影响图像的精准度或是不能反映实际环境；本发明提供了一种图像采集系统，所述系统包括多个相机，以及用于固定多个相机的支架；所述支架包括横向支架和纵向支架，以及设置在支架上的多个基座；所述基座用于安装多个相机；该系统中自然光完全可以从支架后透射进来，这使得本申请中相机采集的图像数据更加逼近室外环境，使得在驾驶领域人脸图像识别以及人眼视场识别提供了真实的训练数据。

Description

一种用于数据分析的人脸图像采集系统

技术领域

本发明涉及人工智能神经网络用图像数据采集领域。具体地说，是涉及的人脸图像数据的采集领域。

背景技术

随着人工智能的发展，人脸识别技术越来越发挥出重要的作用。随着图像分辨率的提升，人脸识别的应用领域也越来越广。通过获取人脸图像，通过深度学习神经网络，输出各应用领域所需的各种信息。例如通过面部表情的识别，可以判断此时人的精神状态；另外，通过面部表情以及人眼视线的实时追踪识别，可以进行人机交互。此时的人机交互并不需要其他辅助工具例如鼠标，或者借助人的手势触摸去完成。这一应用可以解放双手去完成其他工作，例如对车辆的驾驶等。但实现上述应用情景，需要一个重要前提，即是要求人工神经网络的输出必须准确。而要求人工神经网络学习的输出准确，则需要前期高精度数据的输入，使计算机在神经网络学习阶段对实际情况的判断更准确。

然而目前现有技术中对于图像采集却有诸多亟待解决的问题。例如，1）无法做到高效采集人脸图像：因为需要采集人脸某时刻各个角度的多幅照片，采用相机拍摄时需要相机做二维的往返运动，浪费大量时间。此外，在拍摄时需要做到被试者保持静止，而往往被试者在相机做二维往返运动时，无法长时间保持静止，因此很多采集的图像存在误差。2）现有技术使用的是显示器以及显示器上的相机，让被试者观看屏幕上的某一点，然后照相记录人脸图像。因为采用的是屏幕，屏幕将会把背景光挡住。此时拍摄的图像并不能真实反映实际的环境。因为实际环境，例如驾驶时，自然光会透过车前挡玻璃，照射到人脸。而采用屏幕上的相机屏蔽掉这部分光线，没有还原真实场景，这样会造成机器学习后的输出误差，影响使用效果。3）不易采集人脸侧面图像（或大角度图像），如果采集侧面图像需要人转头将近90度，首先体验感不好，其次人眼注视点需要在人的侧面较远地方，会导致承载注视点的装置长度非常大。

发明内容

鉴于现有技术中存在的问题，本发明采用以下技术方案：

一种用于神经网络的图像采集系统，其特征在于：所述系统包括多个相机，以及用于固定多个相机的支架；所述支架包括横向支架和纵向支架，以及设置在支架上的多个基座；所述基座用于安装多个相机。

优选地，所述机相的拍摄角度选择是特定的，每一所述相机都是以特定的角度对准人脸，以保证同一时刻拍摄得到不同角度的人脸图像。

优选地，当排成阵列的所述相机在同一时刻拍摄人脸时，至少横向或纵向排列的两个相机在对准人脸的方向的夹角，即该两个相机的光轴方向间夹角为大于等于90度设置。

优选地，所述横向支架和所述纵向支架的截面都是矩形，在每个横向支架和纵向支架的延伸方向上，在横向支架和纵向支架的四个面上，都设置有条形凹槽或是条形凸起，用作所述基座的导轨。

优选地，所述横向支架的端部具备有与所述纵向支架的凹槽相适应凸起，使得两者可以结合在一起，并且可以根据需要调整两者之间的位置关系。

优选地，所述横向支架和所述纵向支架还可具备有与所述支架延伸方向相互平行的螺纹杆，所述螺纹杆具有外螺纹，其与所述基座的内螺纹相匹配。

优选地，所述系统还包括光源，所示光源设置在所述螺纹杆的基座上，根据预先设置的程序，显示不同颜色；所述光源紧邻所述螺纹杆的基座的相机设置。

优选地，所述图像采集系统还包括有按钮，用户可通过按钮控制所述光源、与光源相连的相机进行拍照。

优选地，所述系统还包括控制器，所述控制器可控制所述光源、所述相机以及用于驱动所述螺纹杆的电机；所述控制器还连接于服务器。

优选地，所述控制器可从服务器获取图像采集的时间。

优选地，所述相机设置在所述横向支架和所述纵行支架的交点上。

优选地，所述相机仅仅设置在所述横向支架和所述纵行支架构成的矩形框架的四个顶点上。

优选地，所述相机仅仅设置在所述横向支架和所述纵行支架位于中间的交点上。

一种用于神经网络的人脸图像采集方法，使用了上述图像采集系统。

优选的，在图像采集中需要在每次人脸采集后对各相机进行重新标定。该重新标定包括在拍摄人脸的同时，在该图像中还包括一标定板的图像，该标定板用于对各相机进行标定。即在每次采集完人脸图像后，需要对每个相机进行标定，该标定是通过一在被试者附近的标定板完成的。

与现有技术方案相比，本发明至少具有以下有益效果：

1）现有技术中对于人眼数据的采集往往只采用一个相机，如CN107688391A，一次只能采集一张图片，无法实时采集到各个角度的多张图像。本申请通过支架结构，能够同时得到多张人眼图像。此外，当相机的光轴方向与人的面部垂直的方向呈方向45度，这个角度保证了能够很容易拍到人脸扭转90°的图片。为后期的深度学习提供更多的数据支撑。采用多相机采集，能做到对人眼的某一视线角下多角度人脸图像采集，这为后期神经网络学习后输出人眼视线方向信息提供可能。

2）现有技术中采集人脸图像数据用于后期神经网络学习往往采用的是显示屏与相机相配合的方式，例如现有技术CN108171218A，其采用的相机是屏幕上的摄像头；因为采用的是显示屏，显示屏背后的光线无法透过，这造成形成训练用数据无法反映室外的自然环境。特别是有于无人驾驶或辅助驾驶领域，因在室外环境中，驾驶员在驾驶时，前挡风玻璃会透过自然光，这使得机器学习后的图像判断产生误差。而本申请采用的是支架结构，自然光完全可以从支架后透射进来，这使得本申请中相机采集的图像数据更加逼近室外环境，使得在驾驶领域人脸图像识别以及人眼视场识别提供了真实的训练数据。

本发明的发明点在于图像采集系统包括多个相机，这样能做到对人眼的某一视线角下多角度人脸图像采集，这为后期神经网络学习后输出人眼视线方向信息提供可能。

本发明的另一发明点在于固定多个相机的支架，自然光完全可以从支架后透射进来，这使得本申请中相机采集的图像数据更加逼近室外环境，使得在驾驶领域人脸图像识别以及人眼视场识别提供了真实的训练数据。

本发明另一发明点在于光源紧邻相机设计，这样能够保证被试者的视线放在光源上。

本发明的另一发明点在于每个相机都具有特定的角度，现有技术中对于人脸图像的采集少有采集到人脸侧面照片。但采用具有特定角度对准人脸的相机，配合本发明的采集方法可高效的采集到当人眼注视某位置时各个角度包括最大90度侧面的图像，方便后续的神经网络深度学习。

使用标定板用于对各相机进行标定。即在每次采集完人脸图像后，需要对每个相机进行标定，从而保证了图像采集的准确性。这也是本发明的另一发明点。

附图说明

图1是采用本发明图像采集装置采集人眼图像得到眼部三维坐标的图示；

图2是本发明固定相机用测试架的示意图；

图3是本发明采集的人脸图像示意图。

图中：1-纵向支架、2-横向支架、3-基座、4-螺纹杆、5-相机、10-相机用测试架、20-标定板。

下面对本发明进一步详细说明。但下述的实例仅仅是本发明的简易例子，并不代表或限制本发明的权利保护范围，本发明的保护范围以权利要求书为准。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

为更好地说明本发明，便于理解本发明的技术方案，本发明的典型但非限制性的实施例如下：

本发明是为了人脸识别机器学习图像数据的需要而自搭建的一套图像采集系统，该相机系统包括几个部分，下面分别介绍该相机的不同部件：

该图像采集系统包括有多个相机，并且相机摆放在特定的位置以满足同一时刻拍摄图像的需要。

该相机可以以阵列的方式排列在被试者的面前，以方便在同一时刻拍摄多张照片；该机相的拍摄角度选择是特定的，每一相机都是以特定的角度对准人脸，以保证同一时刻拍摄得到不同角度的人脸图像。

当上述的排成阵列的相机在同一时刻拍摄人脸时，至少平行方向排列的两个相机在对准人脸的方向，即该相机的光轴方向间夹角为90度设置。当然，该光轴方向间夹角可大于90度，以方便得到更多的人脸照片信息。

实施例1

如图1所示，采用本发明图像采集系统采集人眼图像得到眼部三维坐标，具体系统如下：

该图像采集系统包括有为了上述固定的相机摆放方便而提供的固定相机用测试架。该测试架可以使用的材料包括铝合金等金属材料，也可以是塑料等较轻的材料构成，应当注意，该测试架不限于上述材料制作，凡是能够提供相机在室外测试时固定的材料都可以用来制备该测试架。

工业相机安装在铝合金材质支撑架的正面。

为了说明的方便，本实施例以9个工业相机为例，说明该9个工业相机在固定结构上的摆放位置。该测试架由3个横向平行排列的支架以及3个纵向排列的支架组成，横向支架与纵向支架交叉的位置固定１个工业相机，该固定可以采用的方向包括：在相机上安装相机基座，在所述支架交叉位置也安装基座，两个基座间采用螺钉螺母固定方式固定，也可以采用卡扣的方式固定，固定方式包括但不限于上述方式。

该9个工业相机，组成3*3矩阵，同一行或同一列的所述工业相机的相距为50cm；所述固定的工业相机在对准人脸的方向，即该相机的光轴方向各不相同；所述工业相机的光轴方向对准位于3*3矩阵中间工业相机光轴（相机内成像透镜主光轴方向）；相机的光轴方向与人的面部垂直的方向呈方向45度，这个角度保证了能够很容易拍到人脸扭转90°的图片，

出于测试的方便，可以对固定住的相机的光轴方向进行手动或者遥控自动调整。优选的，该支架为滑轨形式，即各支架间的相互距离可以调整，通过支架间相互距离的调整从而可以改变相机间的相对位置，以适应不同测试场合的需要。

此外，为了确定人眼注视位置，在该测试架上还安装有测试用灯；该灯优选为小型的Led光源，当然也可以采用其他类型的小型光源；该光源为红绿蓝三色Led灯。根据预先设置的程序，显示不同颜色。

该光源位于滑轨之上，该光源可在滑轨上往返自由移动。并且该滑轨可移动的安装在固定用支架上，使该滑轨也能在支架上沿水平方向和竖直方向往返移动。测试时，该光源由预先设置的程序控制以一定的时间间隔在滑轨上运动。为了使源在由支架围成的结构中尽可能范围广的出现，该滑轨也由预先设置的程序控制在支架上移动，因此该光源可以在支架围成的区域都出现。

该滑轨可以为水平滑轨和竖直滑轨组成，也可如图2所示滑轨仅为水平滑轨；该滑轨也可采用螺纹杆4代替。光源位于水平滑轨和竖起滑轨的交叉位置；在光源位置的附近放置一相机，该相机在所述9个工业相机拍摄图像时也进行拍摄，该相机是为了记录此时光源位置对应的人眼注视光源图像。该相机随光源的移动而移动。具体地，该相机固定在滑轨交点处，可在轨道的XY平面移动，控制误差在3mm。

该图像采集系统还包括有按钮，用户可通过按钮控制9个工业相机和与光源相连的相机的拍照。通过该拍照，可以实时得到人脸图像；该按钮，光源，以及10个相机通过MEGA2560板控制；该相机可均为红外相机。

实施例2

如图2所示，本发明采用的图像采集系统包括有为了上述固定的相机5摆放方便而提供的固定相机5用支架10，该支架10由3个横向平行排列的支架2以及3个纵向排列的支架1组成，在每个支架上都设置有若干基座3，其上可以根据需要设置工业相机或是光源。

每个横向支架2和纵向支架1的截面都是矩形，在每个横向支架2和纵向支架1的延伸方向上，在矩形的四个面上，都设置有条形凹槽或是条形凸起，用作若干基座的导轨；而若干基座3具备与导轨形状相匹配的形状，如凸起或是凹槽。

此外横向支架2和纵向支架1还可具备有与支架延伸方向相互平行的螺纹杆4，螺纹杆4具有外螺纹，在螺纹杆4的端部具有与支架端部相结合的结合部用于固定螺纹杆4，每个螺纹杆4与相应的支架相互平行并保持一定间距，每个基座3除具备有与支架相互匹配的结合部如凸起或是凹槽使得其能够在支架上滑动，还具备螺纹通孔，其内侧壁具有内螺纹，其与螺纹杆4的外螺纹相互配合；基座3的运动原理是通过电机带动螺纹杆旋转，螺纹杆作用于基座的内螺纹，并带动其前后运动，而基座的与支架结合部保证了基座沿支架延伸方向运动。

在每个螺纹杆4的端部除了用于固定的结合部外，还具备小型电机，该小型电机可以驱动螺纹杆4进行旋转，从而控制基座3在导轨上沿导轨延伸的方向往返运动；除此之外，基座3还可以采用步进电机驱动在支架上沿支架延伸方向前后运动。

横向支架2和纵向支架1之间的位置关系也是可以调节的，由于纵向支架1的横截面为矩形，并且在矩形的四个面上，都设置有条形凹槽，横向支架2的端部具备有与该凹槽相适应凸起，使得两者可以结合在一起，并且可以根据需要调整两者之间的位置关系，在位置确定后，通过固定部件固定；与此相对的也可以是纵向支架1卡设在横向支架2的凹槽中。

此外，为了确定人眼注视位置，在支架上还安装有测试用灯；该灯为小型的Led光源，当然也可以采用其他类型的小型光源；该光源为红绿蓝三色Led灯。根据预先设置的程序，显示不同颜色。

使被试者关注某种光源，只有某种颜色的光（例如红色的光）出现才能按下拍照的按钮,其他时刻即便按下按钮也是不能拍照的。

实施例3

图像采集系统包括有为了上述固定的相机摆放方便而提供的固定相机用支架，该支架由多个横向平行排列的支架以及多个纵向排列的支架组成，在每个支架上都设置有若干基座，其上可以根据需要设置工业相机或是光源；此外每个横向支架和纵向支架还可具备有与支架延伸方向相互平行的螺纹杆以及驱动螺纹杆的电机；其中相机、光源、电机通过有线或无线的方式连接到控制器，所述控制器还与服务器相连。

其中有线的方式为信号线，无线的方式为WIFI、蓝牙、2G、3G、4G等网络连接方式。

控制器控制电机使得相机和光源移动到相应的位置，然后控制相机和光源相互配合，完成相应的图像采集作业，同时从服务器获取图像采集的时间，在采集的人脸图像上标注有时间戳，根据需要控制器可以将采集的图像传送给服务器，进行后续的处理，例如对标注有时间戳众多人脸图像进行图像处理，并对处理后的数据进行相应的应用。

在人脸图像采集过程中，多个相机的位置布局尤为重要，以正对人脸为目标，同一行的相机需对称设置，以一行3个相机为例，中间的相机正对人脸，两边的相机以中间相机为中点对称设置，光源设置在紧邻相机的位置。

测试时，该光源由预先设置的程序控制以一定的时间间隔在滑轨上运动，相机在小灯亮起时记录下人脸图像；采用上述数据采集方法，可有效提高数据采集的精度，因为只有当被试者眼睛注视到灯的位置，该图像才会被记录，其他无关图像不会被记录。记录时，多个相机拍摄一二维码，得到相机的角度和姿态。其中与灯连接的相机可以代表灯的位置，即记录下了实时灯的位置。利用小灯可以防止被测试人员应付测试，得到不准确数据。

实施例4

所述图像采集系统使用以下方法进行数据采集，所述方法包括以下步骤：

步骤S1： 轨道随机生成横向或纵向坐标点，所述相机和所述光源从坐标原点开始按照所述坐标点移动，被试者用鼻尖去对准所述光源，保持不变；

步骤S2： 采集被试者人脸图像，所述光源按照所述坐标点横向或纵向移动，每移动一步后，等待采集被试者图像；

步骤S3： 横向或纵向移动光源到下一坐标点，重复采集图像，直至每一坐标点被采集，则该被试者图像采集结束。

步骤S2 具体包括步骤S21-步骤S23：

步骤S21：光源随机闪烁多种颜色；

步骤S22：当所述相机和所述光源移动到某一坐标点时，被试者看到特定颜色的信号时，按下手中按钮，触发相机拍照，成功采集； 当被试者看到其他颜色的信号时，按下手中按钮，相机无响应，采集不成功；

步骤S23：成功采集后，结束该坐标点的采集。

在采集所述被试者图像的同时，还可以对每个相机进行标定，该标定是通过一与被试者面部在同一平面的标定板完成标定的。每完成一次坐标的图像采集，便进行一次标定。例如附图3所示。在该采集过程中，因为与光源相连的相机需要移动等动作，这会造成支架的移动，这一移动致使各相机脱离原始位置。因此为了采集图像的准确性，需要采用一标定板20对每个相机进行重新标定。

申请人声明，本发明通过上述实施例来说明本发明的详细结构特征，但本发明并不局限于上述详细结构特征，即不意味着本发明必须依赖上述详细结构特征才能实施。

所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明所选用部件的等效替换以及辅助部件的增加、具体方式的选择等，均落在本发明的保护范围和公开范围之内。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种用于神经网络的图像采集系统，其特征在于：所述系统包括多个相机，以及用于固定多个相机的支架；所述支架包括横向支架和纵向支架，以及设置在支架上的多个基座；所述基座用于安装多个相机；每一所述相机都是以特定的角度对准人脸，以保证同一时刻拍摄得到不同角度的人脸图像。

2.根据权利要求1所述的采集系统，当排成阵列的所述相机在同一时刻拍摄人脸时，至少横向或纵向方向排列的两个相机在对准人脸的方向的夹角，即该两个相机的光轴方向间夹角为大于等于90度设置。

3.根据权利要求1所述的采集系统，所述横向支架和所述纵向支架的截面都是矩形，在每个横向支架和纵向支架的延伸方向上，在所述横向支架和纵向支架的四个面上，都设置有条形凹槽或是条形凸起，用作所述基座的的导轨。

4.根据权利要求1所述的采集系统，所述横向支架和所述纵向支架还具备有与所述支架延伸方向相互平行的螺纹杆，所述螺纹杆具有外螺纹，其与所述基座的内螺纹相匹配。

5.根据权利要求1所述的采集系统，所述系统还包括光源，所示光源设置在所述螺纹杆的基座上，根据预先设置的程序，显示不同颜色；所述光源紧邻所述螺纹杆的基座设置一相机。

6.根据权利要求1所述的采集系统，所述相机设置在所述横向支架和所述纵向支架的交点上。

7.根据权利要求1所述的采集系统，所述相机仅仅设置在所述横向支架和所述纵向支架构成的矩形框架的四个顶点上。

8.根据权利要求1所述的采集系统，所述相机仅仅设置在所述横向支架和所述纵向支架位于中间的交点上。

9.一种神经网络用人脸图像采集方法，使用权利要求1-8所述的图像采集系统，该采集方法包括：

步骤S1： 轨道随机生成横向或纵向坐标点，所述相机和所述光源从坐标原点开始按照所述坐标点移动，被试者用鼻尖去对准所述光源，保持不变；

步骤S2： 采集被试者人脸图像，所述光源按照所述坐标点横向或纵向移动，每移动一步后，等待采集被试者图像；

步骤S3： 横向或纵向移动光源到下一坐标点，重复步骤S2采集图像，直至每一坐标点被采集，则该被试者图像采集结束。

10.根据权利要求9所述的采集方法，每次采集完人脸图像后，需要对所述每个相机进行标定，该标定是通过一在被试者附近的标定板完成的。

Images