CN115471556A - 一种单目相机图像目标点三维定位方法及装置 - Google Patents

Abstract

本申请提供了一种单目相机图像目标点三维定位方法及装置，该方法不需要额外的测量其他参数，无需加入额外的光路设计以及硬件设备，通过映射关系及移动单目相机获得的位移、坐标即可获得三维坐标系下所述目标点的坐标，成本低、操作便捷、误差小、精度高。

Description

一种单目相机图像目标点三维定位方法及装置

技术领域

本申请涉及瞳孔检测技术领域，特别涉及一种单目相机图像目标点三维定位方法及装置。

背景技术

在许多计算机视觉应用领域(如，视光测量领域)中，一般需要定位目标点的三维位置，使得仪器基于目标点的三维位置对准目标点的区域进行相应操作。

目前，目标点的三维位置自动定位方法主要依赖于加入额外的光路，来定位目标点在空间上的距离，或者加入距离传感器来检测目标点距离仪器的前后距离等。但是，这种方式增加了硬件，提高了定位的成本。

发明内容

为解决上述技术问题，本申请实施例提供一种单目相机图像目标点三维定位方法及装置，技术方案如下：

本申请一方面提供一种单目相机图像目标点三维定位方法，包括：

获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标；

获取所述单目相机在第二位置采集的第二目标图像，确定所述目标点在所述第二目标图像中的坐标，所述第二位置为从所述第一位置移动第一位移之后的位置；

基于所述单目相机从像素坐标系到三维坐标系之间的映射关系、所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标，获得所述三维坐标系下所述目标点的坐标。

可选的，所述获得所述三维坐标系下所述目标点的坐标，具体为：将所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标代入以下公式，求解得到所述三维坐标系下所述目标点的坐标：

其中，(X,Y,Z)是目标点在三维坐标系中的坐标，m₁₁、m₁₂、m₁₃、m₁₄、m₂₁、m₂₂、m₂₃、m₂₄、m₃₁、m₃₂、m₃₃、m₃₄为基于所述单目相机的相机参数确定得到的系数值，(u₁，v₁)和(u₂，v₂)分别为目标点在第一目标图像和第二目标图像的坐标，(D_x，D_Y，D_z)表示所述第一位移。

可选的，获得所述三维坐标系下所述目标点的坐标后，将所述单目相机自第二位置向当前位置移动第二位移，基于所述第二位移及所述三维坐标系下所述目标点在第二位置处的坐标，确定所述三维坐标下所述目标点在当前位置处的坐标。

可选的，所述移动单目相机之后，还包括：获取单目相机在当前位置采集的当前目标图像，确定目标点在所述当前目标图像中的坐标；

基于所述映射关系，确定所述三维坐标系下所述目标点在当前位置处的坐标所对应的在当前目标图像中的坐标预测值；

确定目标点在所述当前目标图像中的坐标与所述坐标预测值的差异是否在设定阈值范围内；

若否，则更新所述第一位置，并返回执行所述获取单目相机在第一位置采集的第一目标图像的步骤。

可选的，包括：获得所述三维坐标系下所述目标点的坐标后，将所述单目相机在保持至少一个坐标轴的坐标值不变的情况下移动，然后采集当前目标图像，确定所述目标点在所述当前目标图像中的坐标；

基于所述目标点在所述当前目标图像中的坐标、所述映射关系和移动时所述坐标轴的坐标值不变的情况，确定所述三维坐标系下所述目标点在当前位置处的坐标。

可选的，包括：

获得所述三维坐标系下所述目标点的坐标后，将该坐标与目标点的定位坐标比较，若比较结果不满足第一预设条件，则根据比较结果确定所述单目相机的移动参数，并根据移动参数移动所述单目相机，确定所述三维坐标下所述目标点在当前位置处的坐标；返回将该坐标与目标点的定位坐标比较的步骤。

可选的，所述获取所述单目相机在第二位置采集的第二目标图像，包括：

检测所述单目相机是否处于停止移动的状态；

若是，获取所述单目相机在第二位置采集的第二目标图像。

可选的，所述检测所述单目相机是否处于停止移动的状态，包括：

检测是否接收到所述单目相机的移动完成信号；

或，获取所述单目相机在当前时刻之前的多帧历史图像；

确定所述目标点在每帧所述历史图像中的坐标，基于所述目标点在每帧所述历史图像中的坐标，确定所述目标点的坐标变化情况是否满足第二预设条件。

本申请另一方面提供一种瞳孔尺寸获取方法，包括：

将眼部图像作为目标图像，将瞳孔中心点作为目标点，基于上述方法确定所述三维坐标下所述目标点在当前位置处的坐标；

将眼部图像中过瞳孔中心点且平行于像素坐标系的X轴或Y轴的直线与瞳孔边缘相交的其中一个交点作为参考点，获取所述参考点在当前眼部图像中的坐标；

基于参考点在当前眼部图像中的坐标、参考点与瞳孔中心点的位置关系以及所述映射关系，获得三维坐标系下参考点在当前位置处的坐标；

基于三维坐标系下参考点在当前位置处的坐标和三维坐标下目标点在当前位置处的坐标确定瞳孔的尺寸。

本申请第三方面提供一种单目相机图像目标点三维定位装置，包括：

第一确定模块，用于获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标；

第二确定模块，用于获取所述单目相机在第二位置采集的第二目标图像，确定所述目标点在所述第二目标图像中的坐标，所述第二位置为从所述第一位置移动第一位移之后的位置；

获得模块，用于基于所述单目相机从像素坐标系到三维坐标系之间的映射关系、所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标，获得所述三维坐标系下所述目标点的坐标。

与现有技术相比，本申请的有益效果为：

在本申请中，通过获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标，通过移动单目相机，获取单目相机在第二位置采集的第二目标图像，确定目标点在所述第二目标图像中的坐标，基于单目相机从像素坐标系到三维坐标系之间的映射关系、第一位移、目标点分别在第一目标图像和第二目标图像中的坐标，获得三维坐标系下所述目标点的坐标，不需要额外的测量其他参数，无需加入额外的光路设计以及硬件设备，通过映射关系及移动单目相机获得的位移、坐标即可获得三维坐标系下所述目标点的坐标，成本低、操作便捷、误差小、精度高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例1提供的一种单目相机图像目标点三维定位方法的流程图；

图2是本申请实施例2提供的一种单目相机图像目标点三维定位方法的流程图；

图3是本申请实施例3提供的一种单目相机图像目标点三维定位方法的流程图；

图4是本申请实施例4提供的一种单目相机图像目标点三维定位方法的流程图；

图5是本申请实施例5提供的一种瞳孔尺寸获取方法的流程图；

图6是本申请提供的一种单目相机图像目标点三维定位装置的逻辑结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

如图1所示的，为本申请实施例1提供的一种单目相机图像目标点三维定位方法的流程图，该方法可以包括以下步骤：

步骤S11、获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标。

本实施例中，目标点为单目相机采集的图像中的其中一个像素点。目标点可以根据需要进行选定，在本申请中不做限制。

步骤S12、获取所述单目相机在第二位置采集的第二目标图像，确定所述目标点在所述第二目标图像中的坐标，所述第二位置为从所述第一位置移动第一位移之后的位置。

获取所述单目相机在第二位置采集的第二目标图像，可以包括但不局限于：

S121、检测所述单目相机是否处于停止移动的状态。

本步骤可以包括但不局限于：

S1211、检测是否接收到所述单目相机的移动完成信号。

本实施例中，所述单目相机可以搭载在移动平台上进行移动，移动平台可以在所述单目相机随之移动完成之后，反馈移动完成信号。

当然，在移动平台无法反馈移动完成信号的情况下，本步骤，也可以包括：

S1212、获取所述单目相机在当前时刻之前的多帧历史图像；

S1213、确定所述目标点在每帧所述历史图像中的坐标，基于所述目标点在每帧所述历史图像中的坐标，确定所述目标点的坐标变化情况是否满足第二预设条件。

基于所述目标点在每帧所述历史图像中的坐标，确定所述目标点的坐标变化情况是否满足第二预设条件，可以包括：计算所述瞳孔中心在每帧所述历史图像中的坐标的方差，确定所述方差是否小于设定方差阈值。

若小于设定方差阈值，则确定所述瞳孔中心的坐标处于稳定状态，所述单目相机移动完成。

其中，在移动平台无法反馈移动完成信号的情况下，在检测到瞳孔之后，可以根据瞳孔中心在图像中的坐标(u₁,v₁)来设定单目相机移动的距离以使得单目相机按照设定的移动距离进行移动，具体可以但不局限于，设定单目相机向右或向左移动的距离xMoving：

XDis是实际的移动距离，cols是图像的宽；XDis是的值根据经验自行设定的一个已知距离，本实施例中可以但不局限于取5mm。

若是，则执行步骤S122。

S122、获取所述单目相机在第二位置采集的第二目标图像。

当然，获取所述单目相机在第二位置采集的第二目标图像，也可以包括但不局限于：

S123、每当所述单目相机在第一位置采集第一目标图像之后采集到一次目标图像，确定该目标图像与所述单目相机上一次采集的目标图像中的瞳孔中心的位置是否发生变化；

若发生变化，则说明所述单目相机发生了移动，执行步骤S124。

S124、将该目标图像作为所述单目相机在第二位置采集的第二目标图像。

通过执行步骤S123-S124，可以实现在单目相机每次采集到新的目标图像时，即确定单目相机是否发生移动，在单目相机发生移动时，获取单目相机在第二位置采集的第二目标图像。

步骤S13、基于所述单目相机从像素坐标系到三维坐标系之间的映射关系、所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标，获得所述三维坐标系下所述目标点的坐标。

本实施例中，所述单目相机从像素坐标系到三维坐标系之间的映射关系，可以包括但不局限于：映射公式：

其中，(X,Y,Z)是目标点在三维坐标系中的坐标，m₁₁、m₁₂、m₁₃、m₁₄、m₂₁、m₂₂、m₂₃、m₂₄、m₃₁、m₃₂、m₃₃、m₃₄为基于所述单目相机的相机参数确定得到的系数值，(u₁，v₁)和(u₂，v₂)分别为目标点在第一目标图像和第二目标图像的坐标，(D_x，D_Y，D_z)表示所述第一位移。映射公式可以通过以下方式获得：

S131、获得公式一：

其中，(u,v)是图像中点的像素坐标，(X,Y,Z)是对应点在三维坐标系中的三维坐标，Zc是一个比例因子，R为旋转矩阵，T为平移矩阵，cameraMatrix表示所述单目相机的相机参数。

可以理解的是，本实施例中的单目相机为经过标定的单目相机，其中，所述单目相机的内参矩阵，通过在对所述单目相机进行标定的过程中得到。对所述单目相机进行标定的过程，可以包括但不局限于：

1：准备阶段：准备一张棋盘格图像，最好保证横竖方向上的黑白交叉点个数最好不同。棋盘格图像能够站立摆放，可将其粘贴于一块钢板或者硬纸板上。

2：将准备好的棋盘格放置于装配好的单目相机前，要保证单目相机能够拍摄到棋盘格的全部内容，每拍摄一张图像，就将棋盘格调整一下位置或者姿态，如此拍摄N张棋盘格图像。

3：对于每一张棋盘格图像，使用角点检测算法，检测图像中黑白交叉点的角点坐标，这一步也可以使用findChessboardCorners算法来进行角点检测，如此获取一组角点坐标。因为一张棋盘格图像对应该棋盘格在真实世界坐标系下的一个位姿，因此同时可以获得角点对应的三维坐标(x,y,z)，从左上角角点开始，设置左上角角点的三维坐标为(0,0,0)，相邻的角点的三维坐标增幅为side，即打印出来的棋盘格中每个正方形方块的边长side，单位为mm。以左右相邻的两个交叉点为例，其坐标分别为(x,y,z)和(x+side,y,z)。为了方便后续的标定处理，z设置为0。

4：第3步中建立了棋盘格图像与真实棋盘格上对应点的一一对应关系。后续就可以对建立起对应关系的这些点对使用标定函数calibrateCamera来进行处理，计算出单目相机的相机参数cameraMatrix；畸变参数矩阵distCoeffs。相机参数cameraMatrix为3*3大小的矩阵。

S132、基于单目相机移动的位移将所述公式一展开得到公式二：

其中，(X,Y,Z)是目标点在三维坐标系中的三维坐标，m₁₁、m₁₂、m₁₃、m₁₄、m₂₁、m₂₂、m₂₃、m₂₄、m₃₁、m₃₂、m₃₃、m₃₄为基于所述单目相机的相机参数确定得到的系数值，(u₁，v₁)和(u₂，v₂)为目标点在不同图像中的坐标，(D_x，D_Y，D_z)表示所述第一位移，Z_c是一个比例因子；

S133、消去Zc得映射公式：

与上述映射公式相对应，获得所述三维坐标系下所述目标点的当前坐标，可以包括但不局限于：

S134、将所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标代入上述映射公式，求解得到所述三维坐标系下所述目标点的坐标；

其中，(X,Y,Z)是目标点在三维坐标系中的坐标，m₁₁、m₁₂、m₁₃、m₁₄、m₂₁、m₂₂、m₂₃、m₂₄、m₃₁、m₃₂、m₃₃、m₃₄为基于所述单目相机的相机参数确定得到的系数值，(u₁，v₁)和(u₂，v₂)分别为目标点在第一目标图像和第二目标图像的坐标，(D_x，D_Y，D_z)表示所述第一位移。

在本实施例中，通过获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标，通过移动单目相机，获取单目相机在第二位置采集的第二目标图像，确定目标点在所述第二目标图像中的坐标，基于单目相机从像素坐标系到三维坐标系之间的映射关系、第一位移、目标点分别在第一目标图像和第二目标图像中的坐标，获得三维坐标系下所述目标点的坐标，不需要额外的测量其他参数，无需加入额外的光路设计以及硬件设备，通过映射关系及移动单目相机获得的位移、坐标即可获得三维坐标系下所述目标点的坐标，成本低、操作便捷、误差小、精度高。

作为本申请另一可选实施例2，主要是对上述实施例1描述的单目相机图像目标点三维定位方法的扩展方案，如图2所示，该方法可以包括但并不局限于以下步骤：

步骤S21、获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标。

步骤S22、获取所述单目相机在第二位置采集的第二目标图像，确定所述目标点在所述第二目标图像中的坐标，所述第二位置为从所述第一位置移动第一位移之后的位置。

步骤S23、基于所述单目相机从像素坐标系到三维坐标系之间的映射关系、所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标，获得所述三维坐标系下所述目标点的坐标。

步骤S21-S23的详细过程可以参见实施例1中步骤S11-S13的相关介绍，在此不再赘述。

步骤S24、将所述单目相机自第二位置向当前位置移动第二位移，基于所述第二位移及所述三维坐标系下所述目标点在第二位置处的坐标，确定所述三维坐标下所述目标点在当前位置处的坐标。

具体地，基于第二位移和三维坐标系下目标点在第二位置处的坐标，可以确定三维坐标系下每个坐标轴的坐标值的相对变化量，基于每个坐标轴的坐标值的相对变化量，可以确定三维坐标下目标点在当前位置处的坐标。

可以理解的是，单目相机每次发生移动均可以通过本步骤，确定三维坐标系下目标点在当前位置出的坐标。此外，也可以同理扩展为，基于所述第二位移、所述三维坐标系下所述目标点在第一位置处的坐标及第一位移，确定所述三维坐标下所述目标点在当前位置处的坐标。还可以扩展为，每次发生移动，基于上次移动后所获取的三维坐标下目标点在上次移动后所处位置处的坐标及本次位移，确定所述三维坐标下所述目标点在当前位置处的坐标。

在本实施例中，通过获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标，通过移动单目相机，获取单目相机在第二位置采集的第二目标图像，确定目标点在所述第二目标图像中的坐标，基于单目相机从像素坐标系到三维坐标系之间的映射关系、第一位移、目标点分别在第一目标图像和第二目标图像中的坐标，获得三维坐标系下所述目标点的坐标，不需要额外的测量其他参数，无需加入额外的光路设计以及硬件设备，通过映射关系及移动单目相机获得的位移、坐标即可获得三维坐标系下所述目标点的坐标，成本低、操作便捷、误差小、精度高。

并且，通过将所述单目相机自第二位置向当前位置移动第二位移，基于所述第二位移及所述三维坐标系下所述目标点在第二位置处的坐标，确定所述三维坐标下所述目标点在当前位置处的坐标，可以满足实时定位三维坐标系下目标点的坐标的要求。例如，若目标点为瞳孔中心点，可以实现单目相机对瞳孔中心的实时定位，可以满足外部精密仪器实施自动眼科激光手术、检查等要求。

作为本申请另一可选实施例3，主要是对上述实施例2描述的单目相机图像目标点三维定位方法的扩展方案，如图3所示，该方法可以包括但并不局限于以下步骤：

步骤S31、获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标。

步骤S32、获取所述单目相机在第二位置采集的第二目标图像，确定所述目标点在所述第二目标图像中的坐标，所述第二位置为从所述第一位置移动第一位移之后的位置。

步骤S33、基于所述单目相机从像素坐标系到三维坐标系之间的映射关系、所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标，获得所述三维坐标系下所述目标点的坐标。

步骤S34、将所述单目相机自第二位置向当前位置移动第二位移，基于所述第二位移及所述三维坐标系下所述目标点在第二位置处的坐标，确定所述三维坐标下所述目标点在当前位置处的坐标。

步骤S31-S34的详细过程可以参见实施例2中步骤S21-S24的相关介绍，在此不再赘述。

步骤S35、获取单目相机在当前位置采集的当前目标图像，确定目标点在所述当前目标图像中的坐标。

步骤S36、基于所述映射关系，确定所述三维坐标系下所述目标点在当前位置处的坐标所对应的在当前目标图像中的坐标预测值。

基于所述映射关系和目标点在所述当前目标图像中的坐标，可以确定所述三维坐标系下所述目标点在当前位置处的坐标。

在确定所述三维坐标系下所述目标点在当前位置处的坐标的基础上，本步骤可以包括但不局限于：

将所述三维坐标系下所述目标点在当前位置处的坐标代入如下反推公式，得到所述三维坐标系下所述目标点在当前位置处的坐标所对应的在当前目标图像中的坐标预测值：

该反推公式等同于实施例1中的映射公式的前两行，仅代入前两行即能求解，当然若带入全部映射公式也可以求解。其中，(X,Y,Z)是所述三维坐标系下所述目标点在当前位置处的坐标，m₁₁、m₁₂、m₁₃、m₁₄、m₂₁、m₂₂、m₂₃、m₂₄、m₃₁、m₃₂、m₃₃、m₃₄为基于所述单目相机的相机参数确定得到的系数值，(u，v)为所述三维坐标系下所述目标点在当前位置处的坐标所对应的在当前目标图像中的坐标预测值。

步骤S37、确定目标点在所述当前目标图像中的坐标与所述坐标预测值的差异是否在设定阈值范围内。

设定阈值范围可以根据需要进行设置，在本申请中不做限制。目标点在所述当前目标图像中的坐标与所述坐标预测值的差异超出阈值范围，说明依据相机移动的位移所计算的目标点位置与其实际位置不一致，可能是目标点在相机移动的过程中自身发生了移动，比如应用在瞳孔定位中，相机移动的同时眼球转动或眨眼带来的瞳孔自身位置移动。如此一来，三维坐标系下所述目标点的坐标成为未知，并且基于之前目标点的图像及位置所建立的映射关系也不再适用，若要继续进行目标点定位则需要重新获得映射关系，计算三维坐标系下目标点的坐标。

若否，则执行步骤S38。若是，说明经过反推验证，定位准确，并且相机移动过程中目标点的位置稳定不变，可以结束本次定位。

步骤S38、更新所述第一位置，并返回执行所述获取单目相机在第一位置采集的第一目标图像的步骤。

在本实施例中，通过获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标，通过移动单目相机，获取单目相机在第二位置采集的第二目标图像，确定目标点在所述第二目标图像中的坐标，基于单目相机从像素坐标系到三维坐标系之间的映射关系、第一位移、目标点分别在第一目标图像和第二目标图像中的坐标，获得三维坐标系下所述目标点的坐标，不需要额外的测量其他参数，无需加入额外的光路设计以及硬件设备，通过映射关系及移动单目相机获得的位移、坐标即可获得三维坐标系下所述目标点的坐标，成本低、操作便捷、误差小、精度高。

并且，通过将所述单目相机自第二位置向当前位置移动第二位移，基于所述第二位移及所述三维坐标系下所述目标点在第二位置处的坐标，确定所述三维坐标下所述目标点在当前位置处的坐标，可以满足实时定位三维坐标系下目标点的坐标的要求。

以及，基于映射关系，确定所述三维坐标系下所述目标点在当前位置处的坐标，进一步基于映射关系确定所述三维坐标系下所述目标点在当前位置处的坐标所对应的在当前目标图像中的坐标预测值，若目标点在所述当前目标图像中的坐标与所述坐标预测值的差异未在设定阈值范围内，则定位无效，目标点自身可能发生了移动，返回更新所述第一位置，并返回执行所述获取单目相机在第一位置采集的第一目标图像的步骤，重新进行目标点定位，保证目标点定位的准确性。

作为本申请另一可选实施例4，主要是对上述实施例1描述的单目相机图像目标点三维定位方法的扩展方案，如图4所示，该方法可以包括但并不局限于以下步骤：

步骤S41、获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标。

步骤S42、获取所述单目相机在第二位置采集的第二目标图像，确定所述目标点在所述第二目标图像中的坐标，所述第二位置为从所述第一位置移动第一位移之后的位置。

步骤S43、基于所述单目相机从像素坐标系到三维坐标系之间的映射关系、所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标，获得所述三维坐标系下所述目标点的坐标。

步骤S41-S43的详细过程可以参见实施例1中步骤S11-S13的相关介绍，在此不再赘述。

步骤S44、将所述单目相机在保持至少一个坐标轴的坐标值不变的情况下移动，然后采集当前目标图像，确定所述目标点在所述当前目标图像中的坐标。

保持至少一个坐标轴的坐标值不变，可以包括但不局限于：保持X轴、Y轴和Z轴中至少一个轴的坐标值不变。

需要说明的是，当前目标图像是在将单目相机在保持至少一个坐标轴的坐标值不变的情况下移动之后采集到的，但是，确定目标点在所述当前目标图像中的坐标并不受任何移动限制，无论移动是否保持至少一个坐标轴的坐标值不变，在采集到当前目标图像之后，基于图像处理方法均可确定目标点在当前目标图像中的坐标。

步骤S45、基于所述目标点在所述当前目标图像中的坐标、所述映射关系和移动时所述坐标轴的坐标值不变的情况，确定所述三维坐标系下所述目标点在当前位置处的坐标。

具体地，可以将所述目标点在所述当前目标图像中的坐标和移动时所述坐标轴的坐标值不变的情况对应的保持不变的坐标轴的坐标值代入上述映射公式中的第一部分：

求解得到所述三维坐标系下所述目标点在发生变化的坐标轴的坐标值。

基于移动时所述坐标轴的坐标值不变的情况对应的保持不变的坐标轴的坐标值和所述三维坐标系下所述目标点在发生变化的坐标轴的坐标值，可以确定所述三维坐标系下所述目标点在当前位置处的坐标。

例如，若将所述单目相机在保持X轴和Y轴的坐标值不变移动的情况下移动，可以确定三维坐标系下目标点的X轴和Y轴的坐标值为已知值(如，移动之前一次确定的三维坐标下目标点的X轴和Y轴的坐标值)，将所述目标点在所述当前目标图像中的坐标和三维坐标系下目标点的X轴和Y轴的坐标值代入映射公式中的第一部分，求解得到三维坐标系下所述目标点在Z轴的坐标值，将三维坐标系下目标点的X轴和Y轴的坐标值和三维坐标系下所述目标点在Z轴的坐标值组成三维坐标系下所述目标点在当前位置出的坐标。

需要说明的是，本步骤所给出的举例仅为其中一种情况，其并作为对确定三维坐标下所述目标点在当前位置处的坐标的限制。

在本实施例中，通过获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标，通过移动单目相机，获取单目相机在第二位置采集的第二目标图像，确定目标点在所述第二目标图像中的坐标，基于单目相机从像素坐标系到三维坐标系之间的映射关系、第一位移、目标点分别在第一目标图像和第二目标图像中的坐标，获得三维坐标系下所述目标点的坐标，不需要额外的测量其他参数，无需加入额外的光路设计以及硬件设备，通过映射关系及移动单目相机获得的位移、坐标即可获得三维坐标系下所述目标点的坐标，成本低、操作便捷、误差小、精度高。

并且，通过将所述单目相机在保持至少一个坐标轴的坐标值不变的情况下移动，然后采集当前目标图像，确定所述目标点在所述当前目标图像中的坐标，基于所述目标点在所述当前目标图像中的坐标、所述映射关系和移动时所述坐标轴的坐标值不变的情况，确定所述三维坐标系下所述目标点在当前位置处的坐标，可以满足实时定位三维坐标系下目标点的坐标的要求。

在本申请的另一个实施例中，还可以在上述实施例2、3或4中获得所述三维坐标系下所述目标点的坐标之后执行如下步骤：

S501、将该坐标与目标点的定位坐标比较，若比较结果不满足第一预设条件，则根据比较结果确定所述单目相机的移动参数，并根据移动参数移动所述单目相机，确定所述三维坐标下所述目标点在当前位置处的坐标；返回将该坐标与目标点的定位坐标比较的步骤。

本实施例中，该坐标与目标点的定位坐标比较，可以包括但不局限于：

该坐标中三个坐标轴的坐标值与目标点的定位坐标中三个坐标轴的坐标值比较；

或，该坐标中其中一个坐标轴的坐标值与目标点的定位坐标中对应一个坐标轴的坐标值比较；

或，该坐标中其中两个坐标轴的坐标值与目标点的定位坐标中对应两个坐标轴的坐标值比较。

比较结果不满足第一预设条件，可以包括但不局限于：该坐标与目标点的定位坐标之间的差异未在设定坐标阈值范围内。

所述单目相机的移动参数可以用于指示单目相机移动。

对应该坐标中三个坐标轴的坐标值与目标点的定位坐标中三个坐标轴的坐标值比较的实施方式，所述单目相机的移动参数可以包括：所述单目相机的三个坐标轴的移动参数，移动参数可以包括但不局限于：移动距离和移动方向。

对应该坐标中其中一个坐标轴的坐标值与目标点的定位坐标中对应一个坐标轴的坐标值比较；或，该坐标中其中两个坐标轴的坐标值与目标点的定位坐标中对应两个坐标轴的坐标值比较的实施方式，所述单目相机的移动参数可以包括：所述单目相机的一个坐标轴或两个坐标轴的移动参数，移动参数可以包括但不局限于：移动距离和移动方向。

例如，若单目相机的移动参数包括：单目相机的Z轴的移动参数，对应的，单目相机的X轴和Y轴的坐标值保持不变，基于单目相机的Z轴的移动参数，只移动Z轴，获得移动Z轴后单目相机采集到的当前目标图像，确定目标点在当前目标图像中的坐标，基于目标点在当前目标图像中的坐标、单目相机的X轴和Y轴的坐标值及上述映射公式，可以确定三维坐标下目标点在当前位置处的Z轴的坐标值，返回比较Z轴的坐标值与目标点的定位坐标中Z轴的坐标值，直至目标点在Z轴的坐标值与目标点的定位坐标中Z轴的坐标值之间的差异在设定坐标阈值范围内。

然后保持单目相机的Z轴的坐标值不变，确定单目相机的X轴和Y轴的移动参数，基于单目相机的X轴和Y轴的移动参数，移动X轴和Y轴，获得移动X轴和Y轴后单目相机采集到的当前目标图像，确定目标点在当前目标图像中的坐标，基于目标点在当前目标图像中的坐标、单目相机的Z轴的坐标值及上述映射公式，可以确定三维坐标下目标点在当前位置处的X轴和Y轴的坐标值，返回比较X轴和Y轴的坐标值与目标点的定位坐标中X轴和Y轴的坐标值，直至目标点在X轴和Y轴的坐标值与目标点的定位坐标中X轴和Y轴的坐标值之间的差异在设定坐标阈值范围内。

在本申请的另一个实施例中，提供一种瞳孔尺寸获取方法，如图5所示的，为本申请实施例5提供的一种瞳孔尺寸获取方法的流程图，该方法可以包括以下步骤：

步骤S51、将眼部图像作为目标图像，将瞳孔中心点作为目标点，确定所述三维坐标下所述目标点在当前位置处的坐标。

瞳孔中心点可以通过以下方式获得：

使用图像分割技术对第一目标图像进行处理，分割出瞳孔，获取瞳孔边缘坐标点，对瞳孔边缘坐标点进行拟合，如椭圆拟合，即可获得瞳孔中心点，例如将椭圆拟合所确定的椭圆的中心位置作为瞳孔中心点。

本实施例中，确定所述三维坐标系下所述目标点在当前位置处的坐标的详细过程可以参见实施例2或3或4中的相关介绍，在此不再赘述。

步骤S52、将眼部图像中过瞳孔中心点且平行于像素坐标系的X轴或Y轴的直线与瞳孔边缘相交的其中一个交点作为参考点，获取所述参考点在当前眼部图像中的坐标。

步骤S53、基于参考点在当前眼部图像中的坐标、参考点与瞳孔中心点的位置关系以及所述映射关系，获得三维坐标系下参考点在当前位置处的坐标。

若参考点为过瞳孔中心点且平行于像素坐标系的X轴的直线与瞳孔边缘相交的其中一个交点，参考点与瞳孔中心点的位置关系为参考点与瞳孔中心点在Y轴和Z轴的坐标值一致且在X轴的坐标值不一致，相应地，本步骤可以包括：

S531、基于位置关系，将所述三维坐标下所述目标点在当前位置处的坐标中的Y轴和Z轴的坐标值作为三维坐标系下参考点的Y轴和Z轴的坐标值；

S532、将参考点在当前眼部图像中的坐标和三维坐标系下参考点的Y轴和Z轴的坐标值代入上述映射公式中的第一部分，求解得到三维坐标系下参考点的X轴的坐标值，将三维坐标系下参考点的X轴、Y轴和Z轴的坐标值组成三维坐标系下参考点在当前位置处的坐标。

若参考点为过瞳孔中心点且平行于像素坐标系的Y轴的直线与瞳孔边缘相交的其中一个交点，参考点与瞳孔中心点的位置关系为参考点与瞳孔中心点在X轴和Z轴的坐标值一致且在Y轴的坐标值不一致，相应地，本步骤可以包括：

S533、基于位置关系，将所述三维坐标下所述目标点在当前位置处的坐标中的X轴和Z轴的坐标值作为三维坐标系下参考点的X轴和Z轴的坐标值。

S534、将参考点在当前眼部图像中的坐标和三维坐标系下参考点的X轴和Z轴的坐标值代入上述映射公式中的第一部分，求解得到三维坐标系下参考点的Y轴的坐标值，将三维坐标系下参考点的X轴、Y轴和Z轴的坐标值组成三维坐标系下参考点在当前位置处的坐标。

步骤S54、基于三维坐标系下参考点在当前位置处的坐标和三维坐标下目标点在当前位置处的坐标确定瞳孔的尺寸。

本步骤可以包括但不局限于：

S541、基于三维坐标系下参考点在当前位置处的坐标和三维坐标下目标点在当前位置处的坐标，确定参考点和目标点之间距离，将距离与2的乘积作为瞳孔的尺寸。

本实施例中，在不需要额外的测量其他参数，无需加入额外的光路设计以及硬件设备，通过映射关系及移动单目相机获得的位移、坐标即可获得三维坐标系下所述目标点的坐标，成本低、操作便捷、误差小、精度高的基础上，基于参考点在当前眼部图像中的坐标、参考点与瞳孔中心点的位置关系以及所述映射关系，获得三维坐标系下参考点在当前位置处的坐标，基于三维坐标系下参考点在当前位置处的坐标和三维坐标下目标点在当前位置处的坐标确定瞳孔的尺寸，保证瞳孔的尺寸的精度。

接下来对本申请提供的单目相机图像目标点三维定位装置进行介绍，下文介绍的单目相机图像目标点三维定位装置与上文介绍的单目相机图像目标点三维定位方法可相互对应参照。

请参见图6，单目相机图像目标点三维定位装置包括：第一确定模块100、第二确定模块200和获得模块300。

第一确定模块100，用于获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标；

第二确定模块200，用于获取所述单目相机在第二位置采集的第二目标图像，确定所述目标点在所述第二目标图像中的坐标，所述第二位置为从所述第一位置移动第一位移之后的位置；

获得模块300，用于基于所述单目相机从像素坐标系到三维坐标系之间的映射关系、所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标，获得所述三维坐标系下所述目标点的坐标。

获得模块300获得所述三维坐标系下所述目标点的坐标的过程，具体可以包括：：将所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标代入以下公式，求解得到所述三维坐标系下所述目标点的坐标：

其中，(X,Y,Z)是目标点在三维坐标系中的坐标，m₁₁、m₁₂、m₁₃、m₁₄、m₂₁、m₂₂、m₂₃、m₂₄、m₃₁、m₃₂、m₃₃、m₃₄为基于所述单目相机的相机参数确定得到的系数值，(u₁，v₁)和(u₂，v₂)分别为目标点在第一目标图像和第二目标图像的坐标，(D_x，D_Y，D_z)表示所述第一位移。

本实施例中，上述装置还可以包括：

第三确定模块，用于将所述单目相机自第二位置向当前位置移动第二位移，基于所述第二位移及所述三维坐标系下所述目标点在第二位置处的坐标，确定所述三维坐标下所述目标点在当前位置处的坐标。

本实施例中，上述装置还可以包括：

第四确定模块，用于获取单目相机在当前位置采集的当前目标图像，确定目标点在所述当前目标图像中的坐标；

第五确定模块，用于基于所述映射关系，确定所述三维坐标系下所述目标点在当前位置处的坐标所对应的在当前目标图像中的坐标预测值；

第六确定模块，用于确定目标点在所述当前目标图像中的坐标与所述坐标预测值的差异是否在设定阈值范围内；

更新模块，用于若目标点在所述当前目标图像中的坐标与所述坐标预测值的差异未在设定阈值范围内，则更新所述第一位置，并返回执行所述获取单目相机在第一位置采集的第一目标图像的步骤。

本实施例中，上述装置还可以包括：

第七确定模块，用于将所述单目相机在保持至少一个坐标轴的坐标值不变的情况下移动，然后采集当前目标图像，确定所述目标点在所述当前目标图像中的坐标；

第八确定模块，用于基于所述目标点在所述当前目标图像中的坐标、所述映射关系和移动时所述坐标轴的坐标值不变的情况，确定所述三维坐标系下所述目标点在当前位置处的坐标。

本实施例中，上述装置还可以包括：

第十确定模块，用于：

获得所述三维坐标系下所述目标点的坐标后，将该坐标与目标点的定位坐标比较，若比较结果不满足第一预设条件，则根据比较结果确定所述单目相机的移动参数，并根据移动参数移动所述单目相机，确定所述三维坐标下所述目标点在当前位置处的坐标；返回将该坐标与目标点的定位坐标比较的步骤。

本实施例中，第二确定模块200所述获取所述单目相机在第二位置采集的第二目标图像的过程，具体可以包括：

检测所述单目相机是否处于停止移动的状态；

若是，获取所述单目相机在第二位置采集的第二目标图像。

本实施例中，第二确定模块200所述检测所述单目相机是否处于停止移动的状态的过程，具体可以包括：

检测是否接收到所述单目相机的移动完成信号；

或，获取所述单目相机在当前时刻之前的多帧历史图像；

确定所述目标点在每帧所述历史图像中的坐标，基于所述目标点在每帧所述历史图像中的坐标，确定所述目标点的坐标变化情况是否满足第二预设条件。

在本申请的另一个实施例中，提供一种瞳孔尺寸获取装置，包括：第十一确定模块、获取模块、参考点坐标获得模块和第十二确定模块。

第十一确定模块，用于将眼部图像作为目标图像，将瞳孔中心点作为目标点，基于实施例2或3或4所介绍的方法确定所述三维坐标下所述目标点在当前位置处的坐标；

获取模块，用于将眼部图像中过瞳孔中心点且平行于像素坐标系的X轴或Y轴的直线与瞳孔边缘相交的其中一个交点作为参考点，获取所述参考点在当前眼部图像中的坐标；

参考点坐标获得模块，用于基于参考点在当前眼部图像中的坐标、参考点与瞳孔中心点的位置关系以及所述映射关系，获得三维坐标系下参考点在当前位置处的坐标；

第十二确定模块，用于基于三维坐标系下参考点在当前位置处的坐标和三维坐标下目标点在当前位置处的坐标确定瞳孔的尺寸。

需要说明的是，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

以上对本申请所提供的一种单目相机图像目标点三维定位方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种单目相机图像目标点三维定位方法，其特征在于，包括：

获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标；

获取所述单目相机在第二位置采集的第二目标图像，确定所述目标点在所述第二目标图像中的坐标，所述第二位置为从所述第一位置移动第一位移之后的位置；

基于所述单目相机从像素坐标系到三维坐标系之间的映射关系、所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标，获得所述三维坐标系下所述目标点的坐标。

2.根据权利要求1所述的方法，其特征在于，所述获得所述三维坐标系下所述目标点的坐标，具体为：将所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标代入以下公式，求解得到所述三维坐标系下所述目标点的坐标：

其中，(X,Y,Z)是目标点在三维坐标系中的坐标，m₁₁、m₁₂、m₁₃、m₁₄、m₂₁、m₂₂、m₂₃、m₂₄、m₃₁、m₃₂、m₃₃、m₃₄为基于所述单目相机的相机参数确定得到的系数值，(u₁，v₁)和(u₂，v₂)分别为目标点在第一目标图像和第二目标图像的坐标，(D_x，D_Y，D_z)表示所述第一位移。

3.根据权利要求1所述的方法，其特征在于，获得所述三维坐标系下所述目标点的坐标后，将所述单目相机自第二位置向当前位置移动第二位移，基于所述第二位移及所述三维坐标系下所述目标点在第二位置处的坐标，确定所述三维坐标下所述目标点在当前位置处的坐标。

4.根据权利要求3所述的方法，其特征在于，所述移动单目相机之后，还包括：获取单目相机在当前位置采集的当前目标图像，确定目标点在所述当前目标图像中的坐标；

基于所述映射关系，确定所述三维坐标系下所述目标点在当前位置处的坐标所对应的在当前目标图像中的坐标预测值；

确定目标点在所述当前目标图像中的坐标与所述坐标预测值的差异是否在设定阈值范围内；

若否，则更新所述第一位置，并返回执行所述获取单目相机在第一位置采集的第一目标图像的步骤。

5.根据权利要求1所述的方法，其特征在于，包括：获得所述三维坐标系下所述目标点的坐标后，将所述单目相机在保持至少一个坐标轴的坐标值不变的情况下移动，然后采集当前目标图像，确定所述目标点在所述当前目标图像中的坐标；

基于所述目标点在所述当前目标图像中的坐标、所述映射关系和移动时所述坐标轴的坐标值不变的情况，确定所述三维坐标系下所述目标点在当前位置处的坐标。

6.根据权利要求3、4或5所述的方法，其特征在于，包括：

获得所述三维坐标系下所述目标点的坐标后，将该坐标与目标点的定位坐标比较，若比较结果不满足第一预设条件，则根据比较结果确定所述单目相机的移动参数，并根据移动参数移动所述单目相机，确定所述三维坐标下所述目标点在当前位置处的坐标；返回将该坐标与目标点的定位坐标比较的步骤。

7.根据权利要求1至5之一所述的方法，其特征在于，所述获取所述单目相机在第二位置采集的第二目标图像，包括：

检测所述单目相机是否处于停止移动的状态；

若是，获取所述单目相机在第二位置采集的第二目标图像。

8.根据权利要求7所述的方法，其特征在于，所述检测所述单目相机是否处于停止移动的状态，包括：

检测是否接收到所述单目相机的移动完成信号；

或，获取所述单目相机在当前时刻之前的多帧历史图像；

确定所述目标点在每帧所述历史图像中的坐标，基于所述目标点在每帧所述历史图像中的坐标，确定所述目标点的坐标变化情况是否满足第二预设条件。

9.一种瞳孔尺寸获取方法，其特征在于，包括：

将眼部图像作为目标图像，将瞳孔中心点作为目标点，基于权利要求3、4或5的方法确定所述三维坐标下所述目标点在当前位置处的坐标；

将眼部图像中过瞳孔中心点且平行于像素坐标系的X轴或Y轴的直线与瞳孔边缘相交的其中一个交点作为参考点，获取所述参考点在当前眼部图像中的坐标；

基于参考点在当前眼部图像中的坐标、参考点与瞳孔中心点的位置关系以及所述映射关系，获得三维坐标系下参考点在当前位置处的坐标；

基于三维坐标系下参考点在当前位置处的坐标和三维坐标下目标点在当前位置处的坐标确定瞳孔的尺寸。

10.一种单目相机图像目标点三维定位装置，其特征在于，包括：

第一确定模块，用于获取单目相机在第一位置采集的第一目标图像，确定目标点在所述第一目标图像中的坐标；

第二确定模块，用于获取所述单目相机在第二位置采集的第二目标图像，确定所述目标点在所述第二目标图像中的坐标，所述第二位置为从所述第一位置移动第一位移之后的位置；

获得模块，用于基于所述单目相机从像素坐标系到三维坐标系之间的映射关系、所述第一位移、所述目标点分别在所述第一目标图像和所述第二目标图像中的坐标，获得所述三维坐标系下所述目标点的坐标。

Images