CN112419399A - 一种图像测距方法、装置、设备和存储介质 - Google Patents

一种图像测距方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112419399A
CN112419399A CN201910785829.XA CN201910785829A CN112419399A CN 112419399 A CN112419399 A CN 112419399A CN 201910785829 A CN201910785829 A CN 201910785829A CN 112419399 A CN112419399 A CN 112419399A
Authority
CN
China
Prior art keywords
target user
double
camera
face image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910785829.XA
Other languages
English (en)
Inventor
王云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201910785829.XA priority Critical patent/CN112419399A/zh
Publication of CN112419399A publication Critical patent/CN112419399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种图像测距方法、装置、设备和存储介质。其中，该方法包括：获取目标用户的人脸图像；确定所述人脸图像中双瞳中点的成像偏差；确定所述目标用户相对于相机的成像平面的头部偏移角；根据所述成像偏差和所述头部偏移角，对所述目标用户的测距进行补偿，得到所述目标用户的双瞳中点到相机的实际距离。本发明实施例提供的技术方案，采用人脸图像中双瞳中点的成像偏差和头部偏移角对双瞳中点到相机的距离进行校正，提高测距的准确性，同时无需对人脸图像中的特征样本进行选取和对人脸图像对的差异进行准确分析，极大减少了图像测距过程中的计算量，提高了图像测距的速率。

Description

一种图像测距方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种图像测距方法、装置、设备和存储介质。
背景技术
目前，用户在工作或者娱乐中需要长时间观察某一对象时，可能会不自觉地靠近该目标对象，长期下去会影响用户视力，因此需要判断用户与目标对象的距离，以在距离过近时提醒用户。
现有技术中通常采用单目测距或者双目测距的方式来检测用户双瞳中点与目标对象上安装的相机距离；单目测距是首先通过移动端采集用户人脸图像，再利用人脸检测算法对人脸图像进行特征定位(如嘴角之间的距离、鼻子的大小、人脸大小等特征)，进而根据所选取的特征利用相似三角形原理求得用户双瞳中点到相机的距离；双目测距是从两个相机获取用户的人脸图像对；同一用户在人脸图像对中的成像结果是具有差异的，被称为“视差”，此时同样利用相似三角形原理结合已知的相机间距、相机的焦距以及视差获得双瞳中点与目标物的距离。
而对于单目测距来说，每次测距对于人脸图像中特征样本的选取和估计需要大量的时间，并且会产生较大的过程误差；而对于双目测距，其计算量很大，硬件要求较高，而且相机对的图像配准结果直接影响最终距离测量的准确性。
发明内容
本发明实施例提供了一种图像测距方法、装置、设备和存储介质，减少距离测量的计算量，提高测距结果的准确性。
第一方面，本发明实施例提供了一种图像测距方法，该方法包括：
获取目标用户的人脸图像；
确定所述人脸图像中双瞳中点的成像偏差；
确定所述目标用户相对于相机的成像平面的头部偏移角；
根据所述成像偏差和所述头部偏移角，对所述目标用户的测距进行补偿，得到所述目标用户的双瞳中点到相机的实际距离。
第二方面，本发明实施例提供了一种图像测距装置，该装置包括：
图像获取模块，用于获取目标用户的人脸图像；
成像偏差获取模块，用于确定所述人脸图像中双瞳中点的成像偏差；
偏移角确定模块，用于确定所述目标用户相对于相机的成像平面的头部偏移角；
测距模块，用于根据所述成像偏差和所述头部偏移角，对所述目标用户的测距进行补偿，得到所述目标用户的双瞳中点到相机的实际距离。
第三方面，本发明实施例提供了一种设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的图像测距方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的图像测距方法。
本发明实施例提供的一种图像测距方法、装置、设备和存储介质，根据目标用户的人脸图像中双瞳中点的成像偏差和目标用户相对于相机的成像平面的头部偏移角，对目标用户的双瞳中点到相机的距离测量过程进行补偿，得到目标用户的双瞳中点到相机的实际距离，本方案采用人脸图像中双瞳中点的成像偏差和头部偏移角对双瞳中点到相机的距离进行校正，提高测距的准确性，同时无需对人脸图像中的特征样本进行选取和对人脸图像对的差异进行准确分析，极大减少了图像测距过程中的计算量，提高了图像测距的速率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1A为本发明实施例一提供的一种图像测距方法的流程图；
图1B为本发明实施例一提供的方法中目标用户正视相机的场景示意图；
图1C为本发明实施例一提供的方法中目标用户侧视相机的场景示意图；
图2A为本发明实施例二提供的一种图像测距方法的流程图；
图2B为本发明实施例二提供的图像测距过程的原理示意图；
图3A为本发明实施例三提供的一种图像测距方法的流程图；
图3B为本发明实施例三提供的图像测距过程的原理示意图；
图4为本发明实施例四提供的一种图像测距装置的结构示意图；
图5为本发明实施例五提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种图像测距方法的流程图，本实施例可适用于测量任意姿态的人脸图像中目标用户的双瞳中点到相机的距离的情况中。本实施例提供的一种图像测距方法可以由本发明实施例提供的图像测距装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是承载有相应的图像处理能力的任一种智能终端。
具体的，参考图1A，该方法可以包括如下步骤：
S110，获取目标用户的人脸图像，并确定人脸图像中双瞳中点的成像偏差。
具体的，通过拍摄某一用户的人脸图像，来测量该用户的双瞳中点到相机的距离时，存在用户正视或者侧视相机两种情况，此时该用户为本实施例中的目标用户，在目标用户正视相机的理想情况下，该目标用户在距离相机一定的位移下正视相机，此时相机位于目标用户的正前方，使得三维空间中的目标用户双瞳所在的直线与相机的成像平面为平行关系，且相机位于目标用户双瞳连线的中垂线上，从而使相机所采集的目标用户的人脸图像中的双瞳中点位于成像平面的焦点上，如图1B所示；此时采用相似三角形原理，通过相机的焦距、人脸图像中的双瞳成像距离以及三维空间中目标用户的双瞳实际距离，计算目标用户在正视相机时双瞳中点与相机的距离；而在目标用户侧视相机时，如图1C所示，三维空间中的目标用户双瞳所在的直线会与在目标用户正视相机的理想情况下的双瞳所在直线存在一定的角度误差，导致目标用户双瞳所在的直线与相机的成像平面无法构成平行关系，此时采用理想情况下的方式计算得到的目标用户的双瞳中点与相机的距离存在较大的偏差，本实施例主要对于目标用户侧视相机的情况进行分析。
其中，本实施例中的成像偏差为人脸图像中的双瞳中点到成像焦点的距离；示例性的，如图1C所示，目标用户在侧视相机时，由于目标用户的头部相对于相机产生一定的偏移，使得三维空间中目标用户的双瞳中点在成像时，会偏离相机的成像平面的焦点，而投影到该成像平面的其他位置，此时该成像偏差为在相机所采集的人脸图像中目标用户的双瞳中点在成像平面中的位置与该相机的成像平面中设定的成像焦点的距离。
可选的，目标用户在相机前方侧视相机，该相机首先采集目标用户的人脸图像，并根据人脸中的各个特征点识别出该人脸图像中目标用户的双瞳中点，从而判断人脸图像中目标用户的双瞳中点在相机的成像平面中的位置，根据该双瞳中点在成像平面中的位置和成像平面中的成像焦点，计算本次采集的人脸图像中目标用户的双瞳中点的成像偏差，以便后续根据双瞳中点的成像偏差对目标用户的测距过程进行补偿，从而提高三维空间中目标用户的双瞳中点到相机的距离的准确性。
S120，确定目标用户相对于相机的成像平面的头部偏移角。
其中，头部偏移角为目标用户相对相机的注视偏离角度；具体的，以相机的成像平面为参考，目标用户在侧视相机时，可以确定该目标用户当前处于相机的非正前方位置，此时与目标用户正视相机相比，可以认为用户头部旋转一定角度后继续注视相机，与相机的成像平面形成一定的角度，如图1C所示，此时该头部偏移角为目标用户相对于正视相机的理想情况下头部旋转的角度。
可选的，相机采集到目标用户当前侧视相机时的人脸图像后，通过对人脸图像中目标用户的特征信息进行识别，根据该人脸图像中的各特征点与该目标用户在正视相机时所得到的人脸图像中的各特征点的位置偏移，确定在人脸图像中目标用户的侧视人脸姿态，从而确定目标用户相对于相机的成像平面的头部偏移角，以便后续根据该头部偏移角对目标用户的测距过程进行补偿，从而提高三维空间中目标用户的双瞳中点到相机的距离的准确性。
S130，根据成像偏差和头部偏移角，对目标用户的测距进行补偿，得到目标用户的双瞳中点到相机的实际距离。
可选的，在得到目标用户的人脸图像中双瞳中点的成像偏差和头部偏移角时，可以在将三维空间中的目标用户投影到相机的二维成像平面中时，根据成像平面中目标用户的双瞳中点的成像偏差和三维空间中目标用户的头部偏移角，在目标用户的投影过程中准确查找出与双瞳中点相关的相似三角形，从而对目标用户侧视相机时所采用的在理想情况下的测距方式中所选用的相似三角形进行补偿，进而准确得到目标用户的双瞳中点到相机的实际距离。
示例性的，本实施例中相机在拍摄目标用户的人脸图像时，如图1C所示，相应投影过程中存在的相似三角形为三维空间中的目标用户的双瞳所在直线在根据头部偏移角旋转至与相机的成像平面构成平行关系后，该旋转后的直线与相机采集头构成的三角形，以及在相机的成像平面中人脸图像中目标用户的双瞳所在直线与相机采集头构成的三角形，此时本实施例中根据成像偏差和头部偏移角，对目标用户的测距进行补偿，得到目标用户的双瞳中点到相机的实际距离，具体可以包括：根据成像偏差和相机的焦距，确定人脸图像中双瞳中点到相机的距离；根据头部偏移角和预先输入的目标用户的双瞳实际距离，确定对应的双瞳偏移距离；根据人脸图像的第一双瞳成像距离、人脸图像中双瞳中点到相机的距离和双瞳偏移距离，确定目标用户的双瞳中点到相机的实际距离。
具体的，在得到人脸图像中目标用户的双瞳中点的成像偏差d1后，可以根据该成像偏差d1和相机的焦距f，应用勾股定理计算得到目标用户侧视相机时人脸图像中目标用户的双瞳中点到相机的距离
Figure BDA0002178006010000071
此时能够确定三角形AB’C和三角形EDC相似，点B’为与相机的成像平面构成平行关系的双瞳偏移距离l2延伸后与投影线相交的点，则相似三角形中包括的在相机的成像阶段的三角形EDC中的双瞳中点到相机的距离d2，也就是三角形EDC中的边长EC，同时计算人脸图像中的双瞳之间的距离l1，也就是三角形EDC中的边长ED的两倍；进一步的，在确定目标用户相对于相机的成像平面的头部偏移角后，由于需要检测目标用户的双瞳中点到相机的实际距离，因此目标用户在通过相机拍摄人脸图像之前，会预先输入对应的双瞳实际距离IPD，此时根据该头部偏移角和三维空间中目标用户的双瞳实际距离IPD，确定三维空间中与相机的成像平面构成平行关系的双瞳偏移距离l2，而由于相机采集目标用户的人脸图像时，目标用户不会距离相机的中心轴很远，否则会采集不到目标用户的信息，此时在目标用户距离相机的中心轴较近的情况下，图1C中三维空间中目标用户的双瞳偏移距离l2中点B与三角形AB’C中点B’的位置误差较小，同时由于三角形AB’C中的边长AB’未知，而边长AB为双瞳偏移距离l2的一半，因此在计算时将点B代替点B’，也就是确定三角形ABC和三角形EDC相似；此时根据相似三角形中的相似原理可以确定
Figure BDA0002178006010000072
此时AC＝d、EC＝d2、AB＝l2/2和ED＝l1/2，因此确定
Figure BDA0002178006010000073
从而采用公式
Figure BDA0002178006010000074
计算三维空间中目标用户的双瞳中点到相机的实际距离，其中d为目标用户的双瞳中点到相机的实际距离。
本实施例提供的技术方案，根据目标用户的人脸图像中双瞳中点的成像偏差和目标用户相对于相机的成像平面的头部偏移角，对目标用户的双瞳中点到相机的距离测量过程进行补偿，得到目标用户的双瞳中点到相机的实际距离，本方案采用人脸图像中双瞳中点的成像偏差和头部偏移角对双瞳中点到相机的距离进行校正，提高测距的准确性，同时无需对人脸图像中的特征样本进行选取和对人脸图像对的差异进行准确分析，极大减少了图像测距过程中的计算量，提高了图像测距的速率。
实施例二
图2A为本发明实施例二提供的一种图像测距方法的流程图；图2B为本发明实施例二提供的图像测距过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，本实施例中主要对于目标用户在人脸图像中的头部偏移角的确定过程进行详细的解释说明。
可选的，如图2A所示，本实施例中可以包括如下步骤：
S210，获取目标用户的人脸图像中双瞳中点的成像偏差。
S220，在预先构建的图像参考集中，根据人脸图像的瞳孔成像大小选取出目标用户的参考图像。
具体的，图像参考集是由相机预先采集的大量用户在不同位置正视相机的理想情况下的人脸图像构成，参考图像为目标用户正视相机时拍摄的图像；此时图像参考集中针对每一用户，均包含在多个不同位置下正视相机的采集图像，如图2B所示，图像参考集可以根据用户特征对每一用户对应的图像进行分区存储。如果在预先构建的图像参考集中未查找到目标用户的参考图像，则提示目标用户需要首先采集正视相机的图像，从而使目标用户正视相机，以便拍摄当前的图像作为该目标用户的参考图像。
可选的，在获取到目标用户的人脸图像后，可以对该人脸图像进行识别，判断该目标用户具体为哪一用户，从而在预先构建的图像参考集中选取出该目标用户对应的多个不同位置下的图像；进而由于用户正视相机时，不同位置下的图像中的瞳孔成像大小也不相同，因此可以根据目标用户侧视相机时所采集的人脸图像中目标用户的瞳孔成像大小，在该目标用户对应的多个不同位置下的图像中选取出相同瞳孔成像大小的图像，说明该图像对应的用户位置与目标用户侧视相机时的位置相同，因此将该图像作为本实施例中的参看图像。
S230，根据人脸图像中的第一双瞳成像距离和参考图像中的第二双瞳成像距离，确定目标用户的头部偏移角。
可选的，本实施例参考上述实施例提供的图1C，此时头部偏移角的余弦值为目标用户在三维空间中的双瞳偏移距离l2与双瞳实际距离IPD的比值，因此通过采用反三角函数对双瞳偏移距离l2与双瞳实际距离IPD的比值进行对应的反余弦运算，可以得到该头部偏移角；而本实施例中双瞳偏移距离l2未知，但是在对目标用户投影后，由于将点B替代点B’，此时人脸图像中的第一双瞳成像距离l1相当于目标用户在三维空间中的双瞳偏移距离l2的成像结果，参考图像中的第二双瞳成像距离l1re相当于目标用户的双瞳实际距离IPD与相机的成像平面平行时的投影结果，此时人脸图像中的第一双瞳成像距离l1和参考图像中的第二双瞳成像距离l1re的比值与双瞳偏移距离l2与双瞳实际距离IPD的比值相等，因此本实施例采用人脸图像中的第一双瞳成像距离l1和参考图像中的第二双瞳成像距离l1re的比值代替双瞳偏移距离l2与双瞳实际距离IPD的比值，确定目标用户的头部偏移角。具体的，在选取出目标用户的参考图像后，需要获取目标用户的侧视相机的人脸图像中双瞳之间的第一双瞳成像距离，该第一双瞳成像距离对应目标用户侧视相机时对应的双瞳偏移距离；同时获取目标用户在相同位置下正视相机时采集的参考图像中目标用户的双瞳之间的第二双瞳成像距离，该第二双瞳成像距离对应目标用户正视相机时对应的双瞳实际距离，此时根据采用对应的反三角函数根据第一双瞳成像距离和第二双瞳成像距离，计算目标用户的头部偏移角。示例性的，目标用户的头部偏移角的计算公式为：
Figure BDA0002178006010000101
其中，θ为目标用户的头部偏移角；l1为人脸图像中的第一双瞳成像距离；l1re为参考图像中的第二双瞳成像距离。
S240，根据成像偏差和头部偏移角，对目标用户的测距进行补偿，得到目标用户的双瞳中点到相机的实际距离。
示例性的，参考上述实施例提供的图1C，三角形AB’C和三角形EDC相似，则相似三角形中包括的在相机的成像阶段的三角形EDC中的双瞳中点到相机的距离d2，也就是三角形EDC中的边长EC，同时计算人脸图像中的双瞳之间的距离l1，也就是三角形EDC中的边长ED的两倍；进一步的，在确定目标用户相对于人脸图像的头部偏移角后，由于需要检测目标用户的双瞳中点到相机的实际距离，因此目标用户会预先输入对应的双瞳实际距离IPD，此时根据该头部偏移角和三维空间中目标用户的双瞳实际距离IPD，确定三维空间中与相机的成像平面构成平行关系的双瞳偏移距离l2，而由于相机采集目标用户的人脸图像时，目标用户不会距离相机的中心轴很远，否则会采集不到目标用户的信息，此时在目标用户距离相机的中心轴较近的情况下，图1C中三维空间中目标用户的双瞳偏移距离l2中的点B与三角形AB’C中的点B’的位置误差较小，同时由于三角形AB’C中的边长AB’未知，而边长AB为双瞳偏移距离l2的一半，因此在计算时将点B代替点B’，也就是确定三角形ABC和三角形EDC相似；此时根据相似三角形中的相似原理可以确定
Figure BDA0002178006010000102
此时AC＝d、EC＝d2、AB＝l2/2和ED＝l1/2，因此确定
Figure BDA0002178006010000103
从而采用公式
Figure BDA0002178006010000104
计算三维空间中目标用户的双瞳中点到相机的实际距离，其中d为目标用户的双瞳中点到相机的实际距离。
本实施例提供的技术方案，通过目标用户的人脸图像中的双瞳成像大小在预先构建的图像参考集中选取对应的目标用户正视相机时拍摄的参考图像，进而根据人脸图像中的第一双瞳成像距离和参考图像中的第二双瞳成像距离，确定目标用户的头部偏移角，保证头部偏移角的准确性，同时根据目标用户的人脸图像中双瞳中点的成像偏差和目标用户相对于相机的成像平面的头部偏移角，对目标用户的双瞳中点到相机的距离测量过程进行补偿，得到目标用户的双瞳中点到相机的实际距离，本方案采用人脸图像中双瞳中点的成像偏差和头部偏移角对双瞳中点到相机的距离进行校正，在保证测距准确性基础上，极大减少了图像测距过程中的计算量，提高了图像测距的速率。
实施例三
图3A为本发明实施例三提供的一种图像测距方法的流程图；图3B为本发明实施例三提供的图像测距过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，本实施例中主要对于目标用户在人脸图像中的头部偏移角的另一确定过程进行详细的解释说明。
可选的，如图3A所示，本实施例中可以包括如下步骤：
S310，获取历史人脸图像以及对应的头部偏移角标签。
具体的，本实施例对偏移角计算模型进行训练时，首先需要获取大量用户正视或者侧视相机的历史人脸图像，并人工标注各个历史人脸图像在采集时用户的头部偏移角，作为历史人脸图像对应的头部偏移角标签，以便后续判断通过神经网络模型计算出的头部偏移角是否准确；此时在大量历史人脸图像中选取出一幅历史人脸图像，并确定该历史人脸图像对应的头部偏移角标签。
S320，将历史人脸图像输入到预设的神经网络模型中，得到历史人脸图像的当前头部偏移角。
可选的，将获取的历史人脸图像输入本实施例中预设的神经网络模型中，该神经网络模型针对最终的头部偏移角计算进行训练，通过该神经网络模型中预设的训练参数和各个神经元结构之间的关系，对输入的历史人脸图像进行分析，判断该历史人脸图像中的人脸姿态，从而得到历史人脸图像的当前头部偏移角，以便后续将当前头部偏移角与对应的头部偏移角标签进行比对，根据比对结果对该预设的神经网络模型中的训练参数和神经元结构进行优化，从而对该预设的神经网络模型进行迭代训练，并依次判断神经网络模型训练的准确性。
S330，根据头部偏移角标签和当前头部偏移角，确定对应的分类损失，对神经网络模型中的训练参数进行修正，并继续获取新的历史人脸图像，直至分类损失低于预设损失阈值，则将当前的神经网络模型作为偏移角计算模型。
具体的，在得到历史人脸图像的当前头部偏移角时，该当前头部偏移角是一种预估值，此时对当前头部偏移角与该历史人脸图像对应的头部偏移角标签进行比对分析，也就是对历史人脸图像的预估头部偏移角和实际头部偏移角进行比对，从而确定本次的头部偏移角计算时该预设的神经网络模型中的存在的分类损失，该分类损失可以明确表明当前训练的神经网络模型的分类准确程度；此时，若本次训练的分类损失超出预设损失阈值，说明本次训练的神经网络模型对头部偏移角计算的准确性还不高，需要再次进行训练；此时将本次训练得到的分类损失按照模型训练过程进行反向传播，并根据该分类损失对预设的神经网络模型中的训练参数进行修正，从而不断调整该模型中的训练参数，继续获取新的历史人脸图像和对应头部偏移角标签，通过修正后的神经网络模型再次确定该新的历史人脸图像的当前头部偏移角，得到新的分类损失，依次循环，直至得到的分类损失低于预设损失阈值，说明本次训练的神经网络模型对头部偏移角计算已经达到一定的准确性，无需对历史人脸图像再次训练，此时将当前的神经网络模型作为最终的偏移角计算模型，不断提高神经网络模型的分类准确度，以便后续通过该偏移角计算模型准确计算目标用户在人脸图像中的头部偏移角。
S340，获取目标用户的人脸图像中双瞳中点的成像偏差。
S350，将人脸图像输入预先构建的偏移角计算模型中，得到目标用户的头部偏移角。
可选的，在偏移角计算模型训练成功后，可以直接将目标用户侧视相机时采集的人脸图像输入到训练好的偏移角计算模型，通过该偏移角计算模型对目标用户的人脸图像中的人脸姿态进行分析，从而得到目标用户的头部偏移角，提高头部偏移角的准确性。
S360，根据成像偏差和头部偏移角，对目标用户的测距进行补偿，得到目标用户的双瞳中点到相机的实际距离。
本实施例提供的技术方案，通过将目标用户的人脸图像输入预先构建的偏移角计算模型中，得到目标用户的头部偏移角，保证头部偏移角的准确性，同时根据目标用户的人脸图像中双瞳中点的成像偏差和目标用户相对于相机的成像平面的头部偏移角，对目标用户的双瞳中点到相机的距离测量过程进行补偿，得到目标用户的双瞳中点到相机的实际距离，本方案采用人脸图像中双瞳中点的成像偏差和头部偏移角对双瞳中点到相机的距离进行校正，在保证测距准确性基础上，极大减少了图像测距过程中的计算量，提高了图像测距的速率。
实施例四
图4为本发明实施例四提供的一种图像测距装置的结构示意图，具体的，如图4所示，该装置可以包括：
图像获取模块410，用于获取目标用户的人脸图像；
成像偏差获取模块420，用于确定人脸图像中双瞳中点的成像偏差；
偏移角确定模块430，用于确定目标用户相对于相机的成像平面的头部偏移角；
测距模块440，用于根据成像偏差和头部偏移角，对目标用户的测距进行补偿，得到目标用户的双瞳中点到相机的实际距离。
本实施例提供的技术方案，根据目标用户的人脸图像中双瞳中点的成像偏差和目标用户相对于相机的成像平面的头部偏移角，对目标用户的双瞳中点到相机的距离测量过程进行补偿，得到目标用户的双瞳中点到相机的实际距离，本方案采用人脸图像中双瞳中点的成像偏差和头部偏移角对双瞳中点到相机的距离进行校正，提高测距的准确性，同时无需对人脸图像中的特征样本进行选取和对人脸图像对的差异进行准确分析，极大减少了图像测距过程中的计算量，提高了图像测距的速率。
进一步的，上述偏移角确定模块430，可以具体用于：
在预先构建的图像参考集中，根据人脸图像的瞳孔成像大小选取出目标用户的参考图像；
根据人脸图像中的第一双瞳成像距离和参考图像中的第二双瞳成像距离，确定目标用户的头部偏移角。
进一步的，上述参考图像为目标用户正视相机时拍摄的图像。
进一步的，上述偏移角确定模块430，还可以具体用于：
将人脸图像输入预先构建的偏移角计算模型中，得到目标用户的头部偏移角。
进一步的，上述偏移角计算模型可以通过模型训练模块进行构建，上述模型训练模块，可以具体用于：
获取历史人脸图像以及对应的头部偏移角标签；
将历史人脸图像输入到预设的神经网络模型中，得到历史人脸图像的当前头部偏移角；
根据头部偏移角标签和当前头部偏移角，确定对应的分类损失，对神经网络模型中的训练参数进行修正，并继续获取新的历史人脸图像，直至分类损失低于预设损失阈值，则将当前的神经网络模型作为偏移角计算模型。
进一步的，上述测距模块440，可以具体用于：
根据成像偏差和相机的焦距，确定人脸图像中双瞳中点到相机的成像距离；
根据头部偏移角和目标用户的双瞳实际距离，确定对应的双瞳偏移距离；
根据人脸图像的第一双瞳成像距离、成像距离和双瞳偏移距离，确定目标用户的双瞳中点到相机的实际距离。
进一步的，上述成像偏差为人脸图像中的双瞳中点到成像焦点的距离。
进一步的，上述头部偏移角为目标用户相对相机的注视偏离角度。
本实施例提供的图像测距装置可适用于上述任意实施例提供的图像测距方法，具备相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图，如图5所示，该设备包括处理器50、存储装置51和通信装置52；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50、存储装置51和通信装置52可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储装置51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中提供的图像测距方法对应的程序指令/模块。处理器50通过运行存储在存储装置51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述图像测距方法。
存储装置51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置52可用于实现设备间的网络连接或者移动数据连接。
本实施例提供的一种设备可用于执行上述任意实施例提供的图像测距方法，具备相应的功能和有益效果。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的图像测距方法。该方法具体可以包括：
获取目标用户的人脸图像中双瞳中点的成像偏差；
确定目标用户在人脸图像中的头部偏移角；
根据成像偏差和头部偏移角，对目标用户的测距进行补偿，得到目标用户的双瞳中点到相机的实际距离。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的图像测距方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述图像测距装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像测距方法，其特征在于，包括：
获取目标用户的人脸图像；
确定所述人脸图像中双瞳中点的成像偏差；
确定所述目标用户相对于相机的成像平面的头部偏移角；
根据所述成像偏差和所述头部偏移角，对所述目标用户的测距进行补偿，得到所述目标用户的双瞳中点到相机的实际距离。
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标用户在所述人脸图像中的头部偏移角，包括：
在预先构建的图像参考集中，根据所述人脸图像的瞳孔成像大小选取出所述目标用户的参考图像；
根据所述人脸图像中的第一双瞳成像距离和所述参考图像中的第二双瞳成像距离，确定所述目标用户的头部偏移角。
3.根据权利要求2所述的方法，其特征在于，所述参考图像为所述目标用户正视相机时拍摄的图像。
4.根据权利要求1所述的方法，其特征在于，所述确定所述目标用户在所述人脸图像中的头部偏移角，包括：
将所述人脸图像输入预先构建的偏移角计算模型中，得到所述目标用户的头部偏移角。
5.根据权利要求4所述的方法，其特征在于，所述偏移角计算模型通过执行下述操作进行构建：
获取历史人脸图像以及对应的头部偏移角标签；
将所述历史人脸图像输入到预设的神经网络模型中，得到所述历史人脸图像的当前头部偏移角；
根据所述头部偏移角标签和所述当前头部偏移角，确定对应的分类损失，对神经网络模型中的训练参数进行修正，并继续获取新的历史人脸图像，直至所述分类损失低于预设损失阈值，则将当前的神经网络模型作为所述偏移角计算模型。
6.根据权利要求1所述的方法，其特征在于，所述根据所述成像偏差和所述头部偏移角，对所述目标用户的测距进行补偿，得到所述目标用户的双瞳中点到相机的实际距离，包括：
根据所述成像偏差和所述相机的焦距，确定所述人脸图像中双瞳中点到相机的距离；
根据所述头部偏移角和预先输入的所述目标用户的双瞳实际距离，确定对应的双瞳偏移距离；
根据所述人脸图像的第一双瞳成像距离、所述人脸图像中双瞳中点到相机的距离和所述双瞳偏移距离，确定所述目标用户的双瞳中点到相机的实际距离。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述成像偏差为所述人脸图像中的双瞳中点到成像焦点的距离。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述头部偏移角为所述目标用户相对所述相机的注视偏离角度。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的图像测距方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的图像测距方法。
CN201910785829.XA 2019-08-23 2019-08-23 一种图像测距方法、装置、设备和存储介质 Pending CN112419399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910785829.XA CN112419399A (zh) 2019-08-23 2019-08-23 一种图像测距方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910785829.XA CN112419399A (zh) 2019-08-23 2019-08-23 一种图像测距方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN112419399A true CN112419399A (zh) 2021-02-26

Family

ID=74779024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910785829.XA Pending CN112419399A (zh) 2019-08-23 2019-08-23 一种图像测距方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112419399A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114910052A (zh) * 2022-05-27 2022-08-16 深圳市立体通技术有限公司 一种基于摄像头的测距方法、控制方法、装置和电子设备
CN115590462A (zh) * 2022-12-01 2023-01-13 广州视景医疗软件有限公司（Cn） 一种基于摄像头的视力检测方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101074876A (zh) * 2007-06-26 2007-11-21 北京中星微电子有限公司 一种自动测量距离的方法及装置
CN101950550A (zh) * 2010-09-28 2011-01-19 冠捷显示科技（厦门）有限公司 基于观看者视角显示不同角度画面的显示装置
CN103793719A (zh) * 2014-01-26 2014-05-14 深圳大学 一种基于人眼定位的单目测距方法和系统
JP2016009056A (ja) * 2014-06-24 2016-01-18 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
KR101706992B1 (ko) * 2016-01-27 2017-02-15 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
CN106503645A (zh) * 2016-10-19 2017-03-15 深圳大学 基于Android的单目测距方法和系统
CN106909880A (zh) * 2017-01-16 2017-06-30 北京龙杯信息技术有限公司 人脸识别中的人脸图像预处理方法
CN107169405A (zh) * 2017-03-17 2017-09-15 上海云从企业发展有限公司 基于双目摄像机活体识别的方法及装置
CN108345848A (zh) * 2018-01-31 2018-07-31 广东欧珀移动通信有限公司 用户注视方向识别方法及相关产品

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101074876A (zh) * 2007-06-26 2007-11-21 北京中星微电子有限公司 一种自动测量距离的方法及装置
CN101950550A (zh) * 2010-09-28 2011-01-19 冠捷显示科技（厦门）有限公司 基于观看者视角显示不同角度画面的显示装置
CN103793719A (zh) * 2014-01-26 2014-05-14 深圳大学 一种基于人眼定位的单目测距方法和系统
JP2016009056A (ja) * 2014-06-24 2016-01-18 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
KR101706992B1 (ko) * 2016-01-27 2017-02-15 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
CN106503645A (zh) * 2016-10-19 2017-03-15 深圳大学 基于Android的单目测距方法和系统
CN106909880A (zh) * 2017-01-16 2017-06-30 北京龙杯信息技术有限公司 人脸识别中的人脸图像预处理方法
CN107169405A (zh) * 2017-03-17 2017-09-15 上海云从企业发展有限公司 基于双目摄像机活体识别的方法及装置
CN108345848A (zh) * 2018-01-31 2018-07-31 广东欧珀移动通信有限公司 用户注视方向识别方法及相关产品

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WIROT PONGLANGKA ET AL: "Eye-gaze Distance Estimation Based on Gray-level Intensity of Image Patch", 《2011 INTERNATIONAL SYMPOSIUM ON INTELLIGENT SIGNAL PROCESSING AND COMMUNICATION SYSTEMS (ISPACS)》, 6 February 2012 (2012-02-06), pages 1 - 5 *
刘勤生: "基于人眼瞳孔定位的单目测距系统研究及实现", 《中国优秀硕士虚伪论文全文数据库信息科技辑》, vol. 2017, no. 7, 15 July 2017 (2017-07-15), pages 138 - 881 *
李贤辉: "基于人眼定位的单目测距方法及 ARM 平台实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, vol. 2017, no. 7, 15 July 2017 (2017-07-15), pages 138 - 882 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114910052A (zh) * 2022-05-27 2022-08-16 深圳市立体通技术有限公司 一种基于摄像头的测距方法、控制方法、装置和电子设备
CN115590462A (zh) * 2022-12-01 2023-01-13 广州视景医疗软件有限公司（Cn） 一种基于摄像头的视力检测方法和装置

Similar Documents

Publication Publication Date Title
CN109727288B (zh) 用于单目同时定位与地图构建的系统和方法
CN108955718B (zh) 一种视觉里程计及其定位方法、机器人以及存储介质
US10515259B2 (en) Method and system for determining 3D object poses and landmark points using surface patches
US9824428B2 (en) Image correction method, image correction apparatus and video system
JP6800091B2 (ja) 視線計測装置及びプログラム
EP3252715A1 (en) Two-camera relative position calculation system, device and apparatus
US20200272230A1 (en) Method and device for determining gaze point based on eye movement analysis device
WO2019137215A1 (en) Head pose and distraction estimation
EP2704056A2 (en) Image processing apparatus, image processing method
JP6840697B2 (ja) 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
CN102713975B (zh) 图像整理系统、图像整理方法和计算机程序
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
KR20150065445A (ko) 얼굴 포즈를 이용한 정면 얼굴 검출 장치 및 방법
WO2014008320A1 (en) Systems and methods for capture and display of flex-focus panoramas
CN112419399A (zh) 一种图像测距方法、装置、设备和存储介质
WO2020032254A1 (ja) 注意対象推定装置及び注意対象推定方法
JP6276713B2 (ja) 画像データ処理方法、画像データ処理装置および画像データ処理プログラム
WO2022021093A1 (zh) 拍摄方法、拍摄装置及存储介质
JP6785723B2 (ja) 視線計測装置
US11571125B2 (en) Line-of-sight measurement device
JP7255436B2 (ja) 眼球構造推定装置
US10356394B2 (en) Apparatus and method for measuring position of stereo camera
WO2019019160A1 (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
US20160063319A1 (en) Method and apparatus for tracking gaze
CN108108694B (zh) 一种人脸特征点定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination