CN115049738A - 人与相机之间距离的估计方法及系统 - Google Patents
人与相机之间距离的估计方法及系统 Download PDFInfo
- Publication number
- CN115049738A CN115049738A CN202110250900.1A CN202110250900A CN115049738A CN 115049738 A CN115049738 A CN 115049738A CN 202110250900 A CN202110250900 A CN 202110250900A CN 115049738 A CN115049738 A CN 115049738A
- Authority
- CN
- China
- Prior art keywords
- camera
- distance
- person
- plane
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 210000001747 pupil Anatomy 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000015654 memory Effects 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人与相机之间距离的估计方法及系统，方法包括:对拍摄人的照片进行人脸检测，定位出两个瞳孔的像素坐标；根据拍摄照片的相机投影模型、相机的内参矩阵以两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式；将平均瞳距值代入模型公式得到人与相机的距离。在对拍摄人的照片进行人脸检测的步骤之前，还包括对相机进行参数标定，参数包括相机的内参矩阵以及畸变参数，通过相机参数对照片进行去畸变处理，对去畸变处理后的照片检测人的年龄，根据年龄判定是儿童或成年人，将对应平均瞳距值代入模型公式得到人与相机的距离。本发明提供的方法简单运算量小，准确率高，可以实现更好更快速的人机交互，效率高、鲁棒性强。
Description
技术领域
本发明涉及智能交互技术领域，具体涉及一种人与相机之间距离的估计方法及系统。
背景技术
智能机器人与人类交互是智能机器人的一个重要的应用场景，主要通过综合多个传感器的信号进行处理并做出合理的应答，给用户带来良好的交互体验。常用的传感器包括麦克风、摄像头和激光等，摄像头获取的图像信息则更加丰富，通过图片处理技术可以检测到图中物体的种类以及其中物体的一些相关属性。为了让智能机器人能人类进行更加良好的交互，必须要有一个对环境更精准的感知。针对这一需求，已经有相关的技术(激光SLAM技术和视觉SLAM技术)和硬件设备(双目相机和RGB-D相机)等技术和设备的发展。但是，激光雷达和深度相机又存在成本高和不容易小型化方面的问题。由此，一些基于单目摄像头的环境感知技术得以发展，比如ORB-SLAM、SVO-SLAM。基于这些技术，智能机器人可以获得环境中物体到摄像头的距离，进而根据这些信息做出更合理的交互响应，但是这些视觉SLAM技术算法复杂而且对算力要求高。此外，在有些交互场景下智能机器人仅需要知道用户与其的大概距离即可，而不需要稠密的三维信息，因此复杂的算法反而成为了一种资源的浪费。
发明内容
因此，本发明提供一种人与相机之间距离的估计方法及系统，克服现有技术中获取用户与摄像头的距离的算法复杂、运算量大的缺陷。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明实施例提供一种人与相机之间距离的估计方法，包括:
对拍摄人的照片进行人脸检测，并定位出两个瞳孔的像素坐标；
根据拍摄照片的相机投影模型、相机的内参矩阵以及定位的两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式；
将平均瞳距值代入所述人与相机距离计算的模型公式，得到人与相机的距离。
优选地，在所述对拍摄人的照片进行人脸检测的步骤之前，还包括：
对相机进行参数标定，标定的参数包括相机的内参矩阵以及畸变参数，通过所述内参矩阵和畸变参数对照片进行去畸变处理。
优选地，所述通过所述内参矩阵和畸变参数对照片进行去畸变处理，包括：
将相机坐标系下的三维点投影到预设归一化图像平面，获取三维点对应的像素平面二维点，以及三维点通过内参矩阵得到归一化平面上的坐标列向量；
根据相机透镜径向畸变参数、切向畸变参数及对应的坐标转变关系，获取相机坐标系上三维点去畸变后的归一化平面上的点；
将去畸变后的归一化平面上的点通过内参矩阵投影到像素平面上，得到该点在照片图像上的正确坐标位置。
优选地，将相机坐标系下的三维点用列向量[X,Y,Z]T表示，三维点对应的像素平面二维点为[u,v]T，同时设平面Z＝1的平面为归一化平面；将三维点投影到归一化图像平面，设各个点在归一化平面上的坐标用列向量形式[x,y]T表示，则有关系：
通过像素平面二维点[u,v]T以及三维点通过内参矩阵得到归一化平面上的点[x,y]T，设列向量形式[xdistorted,ydistorted]T为考虑透镜径向畸变和切向畸变情况下，相机坐标系上三维点在归一化平面上的投影，则有如下变换关系：
式中，k1,k2,k3为径向畸变参数，p1,p2为切向畸变参数，r表示归一化平面上的点[x,y]T与坐标系原点[0,0]T之间的距离；
去畸变后的归一化平面上的点[xdistorted,ydistorted]T通过内参矩阵投影到像素平面上，得到该点在图像上的正确坐标位置[udistorted,vdistorted]T：
式中，fx,fy为相机焦距；cx,cy为主点坐标。
优选地，所述人与相机之间距离的估计方法，还包括：对去畸变处理后的照片进行人脸检测，并检测照片中人的年龄，根据年龄判定是儿童或成年人，将儿童或成年人的平均瞳距值代入所述人与相机距离计算的模型公式，得到人与相机的距离。
优选地，所述根据拍摄照片的相机投影模型、相机的内参矩阵以及定位的两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式的过程，包括：
根据相机投影模型、相机的内参矩阵下像素坐标与相机坐标系坐标对应的关联关系，利用定位的两个瞳孔像素坐标，获取相机坐标系下两个瞳孔坐标对应的像素坐标[X1,Y1,Z1]T，[X2,Y2,Z2]T；
根据两个瞳孔的像素坐标获取像素瞳距d；
将人脸视为一张平面，在相机坐标系下Z1＝Z2＝Z，其中Z为人机距离，Y1＝Y2，则平均瞳距值D由X1和X2之间的距离决定；
根据素瞳距d、平均瞳距值D及像素坐标与相机坐标系坐标对应的关联关系，建立人与相机之间距离计算的模型公式。
7.根据权利要求6所述的人与相机之间距离的估计方法，其特征在于，
获取两个瞳孔的像素坐标(u1,v1)，(u2,v2)，相机坐标系下对应的两个瞳孔的坐标分别为[X1,Y1,Z1]T，[X2,Y2,Z2]T，两种坐标的之间根据相机投影关系产生以下关联：
式中，fx,fy为相机焦距；cx,cy为主点坐标；
像素瞳距d通过以下公式表示：
d＝[(u1-u2)2+(v1-v2)2]1/2
将人脸视为一张平面，则Z1＝Z2＝Z，其中Z为人机距离，在相机坐标系下，Y1＝Y2，平均瞳距值由X1和X2之间的距离决定，则平均瞳距值D通过以下公式计算：
D2＝(X1-X2)2+(Y1-Y2)2＝(X1-X2)2
d＝(fx 2(X1-X2)2+fy 2(Y1-Y2)2)1/2/Z
d＝fx|X1-X2|/Z
人与相机之间距离计算的模型公式为：
Z＝fx·D/d。
第二方面，本发明实施例提供一种人与相机之间距离的估计系统，包括：
瞳孔的像素坐标获取模块，用于对拍摄人的照片进行人脸检测，并定位出两个瞳孔的像素坐标；
距离计算的模型公式建模模块，用于根据拍摄照片的相机投影模型、相机的内参矩阵以及定位的两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式；
人与相机的距离获取模块，用于将平均瞳距值代入所述人与相机距离计算的模型公式，得到人与相机的距离。
优选地，所述人与相机之间距离的估计系统，还包括：去畸变处理模块，用于对相机进行参数标定，标定的参数包括相机的内参矩阵以及畸变参数，通过所述内参矩阵和畸变参数对照片进行去畸变处理。
优选地，所述人与相机之间距离的估计系统，还包括：人脸年龄检测模块，用于对去畸变处理后的照片进行人脸检测，并检测照片中人的年龄。
第三方面，本发明实施例提供一种计算机设备，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行本发明实施例第一方面的人与相机之间距离的估计方法。
第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行本发明实施例第一方面的人与相机之间距离的估计方法。
本发明技术方案，具有如下优点：
本发明提供的人与相机之间距离的估计方法及系统，所基于的硬件成本低，传感器只需要一个普通的单目摄像头即可，对评估的相机只需进行一次参数标定；在获取相机拍摄的人的照片后通过所述参数对照片进行去畸变处理；对去畸变处理后的照片进行人脸检测，定位出两个瞳孔的像素坐标；根据相机投影模型、相机的内参矩阵及两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式；将平均瞳距值代入所述人与相机距离计算的模型公式，得到人与相机的距离，还可以通过相机参数对照片进行去畸变处理，对去畸变处理后的照片检测人的年龄，根据年龄判定是儿童或成年人，将对应平均瞳距值代入模型公式得到人与相机的距离。本发明提供的方法简单运算量小，准确率高，可以实现更好更快速的人机交互，效率高、鲁棒性强。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中人与相机之间距离的估计方法的一个具体示例的流程图；
图2为本发明实施例中提供的标定板照片的示意图；
图3为本发明实施例中提供的畸变校正结果示意图；
图4为本发明实施例中提供的瞳孔定位效果示意图；
图5为本发明实施例中人与相机真实分布数据与拟合出的模型曲线画的对比图；
图6为本发明实施例中人与相机之间距离的估计系统的一个具体示例的原理框图；
图7为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种的人与相机之间距离的估计方法，如图1所示，包括:
步骤S1:对相机进行参数标定，标定的参数包括相机的内参矩阵以及畸变参数，通过所述内参矩阵和畸变参数对照片进行去畸变处理。
实际应用中采用的相机可以是普通相机，也可以是鱼眼相机，鱼眼相机使视角范围更广，对应的鱼眼相机的畸变参数与普通相机的畸变参数有所不同。相机参数标定是指通过专用的相机标定工具箱进行相机投影模型参数的确定，且相机进行参数标定过程做一次即可，因为通常在没有改动的情况下，相机内参矩阵和畸变参数不会变化。本发明实施例中拍摄照片的为包含人的两个瞳孔的人脸照片，实际应用该人脸照片能为正脸，可能为稍微倾斜的侧脸，只要包含人的两个瞳孔即可。
在一具体实施例中采用普通相机，拍摄照片分辨率为1080*720，从不同角度拍摄了12张以上的标定板照片，标定板为专业的11*7的棋盘格，格子大小为20mm，如图2所示，采用Matlab相机专用标定工具箱(仅作为举例，不以此为限)，得出的标定结果如下：
k1＝-0.28340811,k2＝0.07395907,k3＝0,p1＝0.00019359,p2＝1.76187114e-05；
式中：fx,fy为相机焦距，cx,cy为主点坐标；畸变参数：k1,k2,k3,p1,p2；其中k1,k2,k3是径向畸变参数，p1,p2是切向畸变参数。
所述通过所述内参矩阵和畸变参数对照片进行去畸变处理，包括：
本发明实施例通过所述内参矩阵和畸变参数对照片进行去畸变处理的过程，包括：将相机坐标系下的三维点投影到预设归一化图像平面，获取三维点对应的像素平面二维点，以及三维点通过内参矩阵得到归一化平面上的坐标列向量；根据相机透镜径向畸变参数、切向畸变参数及对应的坐标转变关系，获取相机坐标系上三维点去畸变后的归一化平面上的点；将去畸变后的归一化平面上的点通过内参矩阵投影到像素平面上，得到该点在照片图像上的正确坐标位置。
具体地，本发明实施例将相机坐标系下的三维点用列向量[X,Y,Z]T表示，三维点对应的像素平面二维点为[u,v]T，同时设Z＝1(仅作为举例，不以此为限，通常选择Z不为零且好计算)的平面为归一化平面；将三维空间点投影到归一化图像平面，设它在归一化平面上的坐标用列向量形式[x,y]T表示，则有：
本发明实施例中归一化平面上的点[x,y]T，是不考虑透镜径向畸变和切向畸变情况下相机坐标系上的三维点在归一化平面上Z＝1的投影；设列向量形式[xdistorted,ydistorted]T为考虑透镜径向畸变和切向畸变情况下，相机坐标系上三维点在归一化平面Z＝1上的投影，则有如下变换关系：
式中，r表示归一化平面上的点[x,y]T与坐标系原点[0,0]T之间的距离；
去畸变后的归一化平面上的点[xdistorted,ydistorted]T通过内参矩阵投影到像素平面上，得到该点在图像上的正确位置[udistorted,vdistorted]T：
式中，fx,fy为相机焦距；cx,cy为主点坐标。
实际应用中，通常的摄像头由于透镜的原因都会发生一些畸变，即直线经过投影以后变为曲线，鱼眼摄像头更是畸变的厉害。本发明实施例利用的是小孔相机投影模型(仅作为举例，不以此为限)，所以要进行畸变矫正尽量消除透镜和装配问题导致的变形，畸变校正得结果如图3所示。此畸变校正过程在每次获取照片以后都需要做，因为相机中畸变参数均已确定，故畸变矫正关键公式如下所示：
步骤S2:根据拍摄照片的相机投影模型、相机的内参矩阵以及定位的两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式。
在一具体实施例中，年龄作为人与相机之间距离的重要参考，而瞳孔的像素位置对于构建人与相机之间距离模型公式至关重要。人脸特征点检测通常输出较多人脸得特征点坐标，只需提取出瞳孔特征点得像素坐标即可。通过人脸检测技术(为现有成熟的人脸检测技术，例如是对儿童和成人的图像进行标注后输入到深度学习模型中进行训练，得到人脸年龄推断模型，将待识别的照片输入到人脸年龄推断模型中推断出其对应的年龄，在此不作限制)对畸变处理后的照片推断其年龄age，并定位出两个瞳孔的像素坐标(u1,v1)，(u2,v2)，瞳孔定位效果如图4所示。因此实际应用中，对去畸变处理后的照片进行人脸检测，并检测照片中人的年龄，根据年龄判定是儿童或成年人，将儿童或成年人的平均瞳距值代入所述人与相机距离计算的模型公式，得到人与相机的距离。
本发明根据拍摄照片的相机投影模型、相机的内参矩阵以及定位的两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式的过程，包括：根据相机投影模型、相机的内参矩阵下像素坐标与相机坐标系坐标对应的关联关系，利用定位的两个瞳孔像素坐标，获取相机坐标系下两个瞳孔坐标对应的像素坐标[X1,Y1,Z1]T，[X2,Y2,Z2]T；根据两个瞳孔的像素坐标获取像素瞳距d；将人脸视为一张平面，在相机坐标系下Z1＝Z2＝Z，其中Z为人机距离，Y1＝Y2，则平均瞳距值D由X1和X2之间的距离决定；根据素瞳距d、平均瞳距值D及像素坐标与相机坐标系坐标对应的关联关系，建立人与相机之间距离计算的模型公式。
具体地，获取两个瞳孔的像素坐标(u1,v1)，(u2,v2)，假设相机坐标系下对应的两个瞳孔的坐标分别为[X1,Y1,Z1]T，[X2,Y2,Z2]T，两种坐标的之间根据相机投影关系产生以下关联：
式中，fx,fy为相机焦距；cx,cy为主点坐标；
则像素瞳距d通过以下公式表示：
d＝[(u1-u2)2+(v1-v2)2]1/2,
在较大场景中，人机距离远大于瞳孔之间的空间距离，此时人脸视为一张平面，即Z1＝Z2＝Z，其中Z为人机距离，在相机坐标系下，Y1＝Y2，空间瞳距由X1和X2之间的距离决定，则实际空间瞳距为D通过以下公式计算：
D2＝(X1-X2)2+(Y1-Y2)2＝(X1-X2)2
d＝(fx 2(X1-X2)2+fy 2(Y1-Y2)2)1/2/Z
d＝fx|X1-X2|/Z
因此，人与相机之间距离计算的模型公式为：
Z＝fx·D/d。
步骤S5:将平均瞳距值代入所述人与相机距离计算的模型公式，得到人与相机的距离。
实际实施中通过实际数据采集得出的像素瞳距和人与相机距离的对应数据。像素瞳距和人与摄像机距离的对应数据，数据分布如下表：
在一具体实施例中，根据年龄判定是儿童或成年人，获取儿童或成年人对应的平均瞳距D，将儿童或成年人的平均瞳距值D代入人与相机距离计算的模型公式，计算得出人机距离Z，根据经验实际的儿童平均瞳距像取6cm，实际的成人平均瞳距像取8cm。根据相机投影模型公式，结合前几步得出得相机参数，以儿童平均瞳距为例，计算得出人机距离Z：
Z＝fx·D/d＝8550/d
式中，fx为相机焦距，d为像素瞳距。
本发明实施例将真实分布数据与通过本发明实施例提供的方法拟合出的模型曲线画在同一张图上做对比，对比结果如图5所示，可见本发明实施例提供的人与相机之间距离的估计准确率较高。
实施例2
本发明实施例提供一种人与相机之间距离的估计系统，如图6所示，包括：
去畸变处理模块1，用于对相机进行参数标定，标定的参数包括相机的内参矩阵以及畸变参数，通过所述内参矩阵和畸变参数对照片进行去畸变处理；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。
瞳孔的像素坐标获取模块2，用于瞳孔的像素坐标获取模块，用于对拍摄人的照片进行人脸检测，并定位出两个瞳孔的像素坐标；模块执行实施例1中的步骤S2所描述的方法，在此不再赘述。
距离计算的模型公式建模模块3，用于根据拍摄照片的相机投影模型、相机的内参矩阵以及定位的两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式；模块执行实施例1中的步骤S3所描述的方法，在此不再赘述。
人与相机的距离获取模块4，用于将平均瞳距值代入所述人与相机距离计算的模型公式，得到人与相机的距离。模块执行实施例1中的步骤S4所描述的方法，在此不再赘述。
在一实施例中，人与相机之间距离的估计系统，还包括：
人脸年龄检测模块5，用于在对去畸变处理后的照片进行人脸检测，并检测照片中人的年龄；例如是对儿童和成人的图像进行标注后输入到深度学习模型中进行训练，得到人脸年龄推断模型，将待识别的照片输入到人脸年龄推断模型中推断出其对应的年龄。
本发明实施例提供的人与相机之间距离的估计系统，所基于的硬件成本低，传感器只需要一个普通的单目摄像头即可，对评估的相机只需进行一次参数标定；在获取相机拍摄的人的照片后通过所述参数对照片进行去畸变处理；对去畸变处理后的照片进行人脸检测，定位出两个瞳孔的像素坐标；根据相机投影模型、相机的内参矩阵及两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式；将平均瞳距值代入所述人与相机距离计算的模型公式，得到人与相机的距离。本发明提供的方法简单运算量小，准确率高，可以实现更好更快速的人机交互，效率高、鲁棒性强。
实施例3
本发明实施例提供一种计算机设备，如图7所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1的人与相机之间距离的估计方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1的人与相机之间距离的估计方法。
其中，通信总线402可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固降硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的人与相机之间距离的估计方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1的人与相机之间距离的估计方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固降硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (12)
1.一种人与相机之间距离的估计方法，其特征在于，包括:
对拍摄人的照片进行人脸检测，并定位出两个瞳孔的像素坐标；
根据拍摄照片的相机投影模型、相机的内参矩阵以及定位的两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式；
将平均瞳距值代入所述人与相机距离计算的模型公式，得到人与相机的距离。
2.根据权利要求1所述的人与相机之间距离的估计方法，其特征在于，在所述对拍摄人的照片进行人脸检测的步骤之前，还包括：
对相机进行参数标定，标定的参数包括相机的内参矩阵以及畸变参数，通过所述内参矩阵和畸变参数对照片进行去畸变处理。
3.根据权利要求2所述的人与相机之间距离的估计方法，其特征在于，所述通过所述内参矩阵和畸变参数对照片进行去畸变处理，包括：
将相机坐标系下的三维点投影到预设归一化图像平面，获取三维点对应的像素平面二维点，以及三维点通过内参矩阵得到归一化平面上的坐标列向量；
根据相机透镜径向畸变参数、切向畸变参数及对应的坐标转变关系，获取相机坐标系上三维点去畸变后的归一化平面上的点；
将去畸变后的归一化平面上的点通过内参矩阵投影到像素平面上，得到该点在照片图像上的正确坐标位置。
4.根据权利要求3所述的人与相机之间距离的估计方法，其特征在于，
将相机坐标系下的三维点用列向量[X,Y,Z]T表示，三维点对应的像素平面二维点为[u,v]T，同时设平面Z＝1的平面为归一化平面；将三维点投影到归一化图像平面，设各个点在归一化平面上的坐标用列向量形式[x,y]T表示，则有关系：
通过像素平面二维点[u,v]T以及三维点通过内参矩阵得到归一化平面上的点[x,y]T，设列向量形式[xdistorted,ydistorted]T为考虑透镜径向畸变和切向畸变情况下，相机坐标系上三维点在归一化平面上的投影，则有如下变换关系：
式中，k1,k2,k3为径向畸变参数，p1,p2为切向畸变参数，r表示归一化平面上的点[x,y]T与坐标系原点[0,0]T之间的距离；
去畸变后的归一化平面上的点[xdistorted,ydistorted]T通过内参矩阵投影到像素平面上，得到该点在图像上的正确坐标位置[udistorted,vdistorted]T：
式中，fx,fy为相机焦距；cx,cy为主点坐标。
5.根据权利要求2所述的人与相机之间距离的估计方法，其特征在于，还包括：
对去畸变处理后的照片进行人脸检测，并检测照片中人的年龄，根据年龄判定是儿童或成年人，将儿童或成年人的平均瞳距值代入所述人与相机距离计算的模型公式，得到人与相机的距离。
6.根据权利要求4或5所述的人与相机之间距离的估计方法，其特征在于，所述根据拍摄照片的相机投影模型、相机的内参矩阵以及定位的两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式的过程，包括：
根据相机投影模型、相机的内参矩阵下像素坐标与相机坐标系坐标对应的关联关系，利用定位的两个瞳孔像素坐标，获取相机坐标系下两个瞳孔坐标对应的像素坐标[X1,Y1,Z1]T，[X2,Y2,Z2]T；
根据两个瞳孔的像素坐标获取像素瞳距d；
将人脸视为一张平面，在相机坐标系下Z1＝Z2＝Z，其中Z为人机距离，Y1＝Y2，则平均瞳距值D由X1和X2之间的距离决定；
根据素瞳距d、平均瞳距值D及像素坐标与相机坐标系坐标对应的关联关系，建立人与相机之间距离计算的模型公式。
7.根据权利要求6所述的人与相机之间距离的估计方法，其特征在于，
获取两个瞳孔的像素坐标(u1,v1)，(u2,v2)，相机坐标系下对应的两个瞳孔的坐标分别为[X1,Y1,Z1]T，[X2,Y2,Z2]T，两种坐标的之间根据相机投影关系产生以下关联：
式中，fx,fy为相机焦距；cx,cy为主点坐标；
像素瞳距d通过以下公式表示：
d＝[(u1-u2)2+(v1-v2)2]1/2
将人脸视为一张平面，则Z1＝Z2＝Z，其中Z为人机距离，在相机坐标系下，Y1＝Y2，平均瞳距值由X1和X2之间的距离决定，则平均瞳距值D通过以下公式计算：
D2＝(X1-X2)2+(Y1-Y2)2＝(X1-X2)2
d＝fx|X1-X2|/Z
人与相机之间距离计算的模型公式为：
Z＝fx·D/d。
8.一种人与相机之间距离的估计系统，其特征在于，包括：
瞳孔的像素坐标获取模块，用于对拍摄人的照片进行人脸检测，并定位出两个瞳孔的像素坐标；
距离计算的模型公式建模模块，用于根据拍摄照片的相机投影模型、相机的内参矩阵以及定位的两个瞳孔像素坐标，建模人与相机之间距离计算的模型公式；
人与相机的距离获取模块，用于将平均瞳距值代入所述人与相机距离计算的模型公式，得到人与相机的距离。
9.根据权利要求8所述的人与相机之间距离的估计系统，其特征在于，还包括：去畸变处理模块，用于对相机进行参数标定，标定的参数包括相机的内参矩阵以及畸变参数，通过所述内参矩阵和畸变参数对照片进行去畸变处理。
10.根据权利要求9所述的人与相机之间距离的估计系统，其特征在于，还包括：人脸年龄检测模块，用于对去畸变处理后的照片进行人脸检测，并检测照片中人的年龄。
11.一种计算机设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7中任一所述的人与相机之间距离的估计方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行1-7中任一所述的人与相机之间距离的估计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250900.1A CN115049738A (zh) | 2021-03-08 | 2021-03-08 | 人与相机之间距离的估计方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250900.1A CN115049738A (zh) | 2021-03-08 | 2021-03-08 | 人与相机之间距离的估计方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115049738A true CN115049738A (zh) | 2022-09-13 |
Family
ID=83156684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110250900.1A Pending CN115049738A (zh) | 2021-03-08 | 2021-03-08 | 人与相机之间距离的估计方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115049738A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115962783A (zh) * | 2023-03-16 | 2023-04-14 | 太原理工大学 | 掘进机截割头的定位方法及掘进机 |
| CN117555509A (zh) * | 2024-01-12 | 2024-02-13 | 深圳市康莱米电子股份有限公司 | 教育平板电脑的屏幕调节方法、系统、设备及介质 |
-
2021
- 2021-03-08 CN CN202110250900.1A patent/CN115049738A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115962783A (zh) * | 2023-03-16 | 2023-04-14 | 太原理工大学 | 掘进机截割头的定位方法及掘进机 |
| CN117555509A (zh) * | 2024-01-12 | 2024-02-13 | 深圳市康莱米电子股份有限公司 | 教育平板电脑的屏幕调节方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3614340B1 (en) | Methods and devices for acquiring 3d face, and computer readable storage media | |
| EP3496383A1 (en) | Image processing method, apparatus and device | |
| WO2018019282A1 (zh) | 双目全景图像获取方法，装置及存储介质 | |
| US8755630B2 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
| WO2018119889A1 (zh) | 三维场景定位方法和装置 | |
| EP3816929A1 (en) | Method and apparatus for restoring image | |
| JP2019028843A (ja) | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 | |
| US20120069018A1 (en) | Ar process apparatus, ar process method and storage medium | |
| US20130136302A1 (en) | Apparatus and method for calculating three dimensional (3d) positions of feature points | |
| CN110942032A (zh) | 活体检测方法及装置、存储介质 | |
| CN108737694B (zh) | 照相机系统及图像提供方法 | |
| TW201118791A (en) | System and method for obtaining camera parameters from a plurality of images, and computer program products thereof | |
| WO2021136386A1 (zh) | 数据处理方法、终端和服务器 | |
| CN111028205B (zh) | 一种基于双目测距的眼睛瞳孔定位方法及装置 | |
| CN112200056B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN115049738A (zh) | 人与相机之间距离的估计方法及系统 | |
| CN110619660A (zh) | 一种物体定位方法、装置、计算机可读存储介质及机器人 | |
| CN111080776A (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
| CN111627073B (zh) | 一种基于人机交互的标定方法、标定装置和存储介质 | |
| CN112802081A (zh) | 一种深度检测方法、装置、电子设备及存储介质 | |
| WO2022218161A1 (zh) | 用于目标匹配的方法、装置、设备及存储介质 | |
| CN114520906B (zh) | 基于单目相机的三维人像补全方法和补全系统 | |
| CN114078093A (zh) | 一种图像校正方法、智能终端及存储介质 | |
| CN113902853A (zh) | 一种人脸三维重建方法、装置、电子设备及存储介质 | |
| CN113902852A (zh) | 一种人脸三维重建方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |