CN109377525A - 一种拍摄目标的三维坐标估计方法和拍摄设备 - Google Patents

Abstract

本发明适用于三维空间的检测领域，提供了一种拍摄目标的三维坐标估计方法和拍摄设备，所述方法包括：获取拍摄装置拍摄的目标图像；根据所述目标图像得到一个或多个目标的二维矩形框；针对每个目标分别计算拍摄装置相对于目标的三维空间姿态；根据所述目标的二维矩形框和拍摄装置相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号；根据目标的二维矩形框的四个边对应于目标的三维包围盒的点的编号代入包围盒方程式得到目标的三维坐标。本发明可以使拍摄设备获取拍摄目标的三维坐标。

Description

一种拍摄目标的三维坐标估计方法和拍摄设备

技术领域

本发明属于三维空间的检测领域，尤其涉及一种拍摄目标的三维坐标估计方法、计算机可读存储介质和拍摄设备。

背景技术

拍摄目标经现有技术的拍摄设备成像后，可得到拍摄目标的二维坐标。然而，实际应用中，经常希望能获取拍摄目标的三维坐标。因此，现有技术的拍摄设备无法满足实际应用的需求。

发明内容

本发明的目的在于提供一种拍摄目标的三维坐标估计方法、计算机可读存储介质和拍摄设备，旨在解决现有技术的拍摄设备无法获取拍摄目标的三维坐标的问题。

第一方面，本发明提供了一种拍摄目标的三维坐标估计方法，所述方法包括：

获取拍摄装置拍摄的目标图像；

根据所述目标图像得到一个或多个目标的二维矩形框；

针对每个目标分别计算拍摄装置相对于目标的三维空间姿态；

根据所述目标的二维矩形框和拍摄装置相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号；

根据目标的二维矩形框的四个边对应于目标的三维包围盒的点的编号代入包围盒方程式得到目标的三维坐标。

第二方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的拍摄目标的三维坐标估计方法的步骤。

第三方面，本发明提供了一种拍摄设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的拍摄目标的三维坐标估计方法的步骤。

在本发明中，由于根据目标图像得到一个或多个目标的二维矩形框；根据所述目标的二维矩形框和拍摄装置相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号；根据目标的二维矩形框的四个边对应于目标的三维包围盒的点的编号代入包围盒方程式得到目标的三维坐标。因此本发明可以使拍摄设备获取拍摄目标的三维坐标。

附图说明

图1是本发明实施例一提供的拍摄目标的三维坐标估计方法的流程图。

图2是本发明实施例三提供的拍摄设备的具体结构框图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1，本发明实施例一提供的拍摄目标的三维坐标估计方法包括以下步骤：需注意的是，若有实质上相同的结果，本发明的拍摄目标的三维坐标估计方法并不以图1所示的流程顺序为限。

S101、获取拍摄装置拍摄的目标图像。

S102、根据所述目标图像得到一个或多个目标的二维矩形框。

在本发明实施例一中，S102具体可以为：

根据所述目标图像，采用神经网络深度学习算法，如yolo、ssd、mtcnn、faster-rcnn，预测得到一个或多个目标的二维矩形框，二维矩形框的中心点记作u0、v0，宽高分别记作w、h。

S103、针对每个目标分别计算拍摄装置相对于目标的三维空间姿态。

在本发明实施例一中，S103具体可以为：

针对每个目标分别采用神经网络深度学习算法预测得到和目标三维空间姿态相关的矢量q，根据和目标三维空间姿态相关的矢量q转换成目标的三维空间姿态R。具体可以包括以下步骤：

S1031、构造一组和目标三维空间姿态相关的矢量q。

在本发明实施例一中，和目标三维空间姿态相关的矢量q可以是：4元数{q0,q1,q2,q3}、姿态矩阵或者三个姿态角{a,b,c}。当三维空间的其中两个维度所确定的平面是与拍摄装置视线方向垂直时，所述矢量q是二元数。

S1032、接收拍摄装置拍摄的目标图像I*。

S1033、将优化的神经网络模型参数W*以及接收的拍摄装置拍摄的目标图像I*代入神经网络模型方程，得到矢量q。

在本发明实施例一中，神经网络模型方程为f(W*,I*)＝q。

优化的神经网络模型参数W*可以通过以下方式得到：

接收拍摄装置拍摄的用于学习的目标图像I；

利用机器学习将N组样本数据I₁,q₁...I_N,q_N形成的样本集，按照神经网络模型方程优化神经网络模型参数W，得到优化的神经网络模型参数W*。

在本发明实施例一中，神经网络模型方程为

f(W,I₁)＝q₁

...

f(W,I_N)＝q_N。

其中，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。

利用机器学习将N组样本数据I₁,q₁...I_N,q_N形成的样本集，具体为：

从原始图像按二维标注坐标u0、v0、w、h对每个目标分别截取图像I；

标注图像I对应的姿态学习数据q，利用摄影测量方法在图像上标注目标的特征点或者特征线，利用Pnp算法或后方交会算法得到姿态R，转换成q作为姿态学习数据，为保证学习数据的唯一性，q＝{q0，q1，q2，q3}的q0分量小于0时，以-q＝{-q0,-q1,-q2,-q3}作为学习数据。这种标注方法能不依赖其他昂贵设备直接根据图像快速得到目标的姿态和位置。由于在建立神经网络模型的前向传播的时候，神经网络模型的输出层输出表示目标三维空间姿态的4个值，由于神经网络模型输出的值域范围是(-∞,∞)，而表示目标三维空间姿态的四元数受到平方和等于1的约束q₀ ²+q₁ ²+q₂ ²+q₃ ²＝1。因此当矢量q是四元数时，所述神经网络模型的输出处理过程为：

将神经网络模型的最后输出层输出的矢量Q经单位化约束层处理后输出四元数矢量q{q₀,q₁,q₂,q₃}；计算过程如下：

前向传播公式其中，i＝0..3，这样能保证是四元数{q₀,q₁,q₂,q₃}的单位矢量约束q₀ ²+q₁ ²+q₂ ²+q₃ ²＝1；

反向传播公式其中，E是误差函数其中是四元数第i分量的期待值，当误差函数

时，

四元数预测的是三维空间姿态，退化成二元数就是预测二维平面上的方向，可预测二维平面目标在平面上的姿态，例如，可用于航拍照片预测地面目标的方向。

因此当矢量q是二元数时，所述神经网络模型的输出处理过程为：

将神经网络模型的最后输出层输出的矢量Q经单位化约束层处理后输出二元数矢量q{q₀,q₁}；计算过程如下：

前向传播公式其中，i＝0,1，能保证{q₀,q₁}是单位矢量约束q₀ ²+q₁ ²＝1；

反向传播公式其中E是误差函数其中是目标在平面上的单位方向矢量期待值。

S1034、通过矢量q解算得到拍摄装置相对于目标的三维空间姿态R。

在本发明实施例一中，矢量q可以是四元数、n个特征点在图像上的坐标、旋转矢量或者旋转矩阵等，其中，n≥3。

当矢量q是四元数时，拍摄装置相对于目标的三维空间姿态R可用下式算出：

当矢量q是n个特征点在图像上的坐标P₁,…,P_N时，拍摄装置相对于目标的三维空间姿态R和位置T可以通过计算机视觉物像对应关系解算出来，具体可通过OpenCV库函数中的cv::solvePnP函数得到拍摄装置相对于目标的三维空间姿态R和拍摄装置相对于目标的三维空间坐标T。

当矢量q是旋转矢量时，可以通过OpenCV库函数中的cv::Rodrigues函数将旋转矢量转换成拍摄装置相对于目标的三维空间姿态R。

S104、根据所述目标的二维矩形框和拍摄装置相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号。

在本发明实施例一中，S104具体可以包括以下步骤：

随意选择一个z>0代入公式进行计算得到T₀，其中z是在拍摄装置坐标系下目标的z坐标，即目标相对于拍摄装置的距离，这个距离并不影响n个点横纵坐标u,v之间的大小关系；c_x,c_y是拍摄装置主点坐标，f_x、f_y是拍摄装置的像素焦距，是目标在图像的中心点，x_L、y_T是目标的二维矩形框的左上角坐标；由于z是任意选取的，T₀并不是真值T，计算T₀的目的只是为了以下步骤选择编号iL、编号iR、编号iT和编号iB；实验过程中我们取z＝10进行计算；

假设目标上有n个包围点1,…,n对应存在n个共线方程

根据这个共线方程可以得到每个目标的三维包围盒的点X_i对应的像坐标u_i和v_i；

选择u_i中的最小值u_iL作为目标的二维矩形框左侧横坐标

u_iL＝min(u_i|i＝1,…,n)

选择u_i中的最大值u_iR作为目标的二维矩形框右侧横坐标

u_iR＝max(u_i|i＝1,…,n)

选择v_i中的最小值v_iT作为目标的二维矩形框上侧横坐标

v_iT＝min(v_i|i＝1,…,n)

选择v_i中的最大值v_iB作为目标的二维矩形框下侧横坐标

v_iB＝max(v_i|i＝1,…,n)

实际情况中通常将目标的三维包围盒的点X_i|i＝1…n＝8设置成目标的三维包围盒的n＝8个顶点

比较得到i＝1..8中u_i的最小值和最大值分别对应编号iL和编号iR，其中，编号iL和编号iR分别为目标的三维包围盒的点投影在图像上x坐标的最小值和最大值对应的点的编号。

比较得到i＝1..8中v_i的最小值和最大值分别对应编号iT和编号iB，其中，编号iT和编号iB分别为目标的三维包围盒的点投影在图像上y坐标最小值和最大值对应的点的编号。

在本发明实施例一中，S104具体也可以包括以下步骤：

对于目标上的n个目标的三维包围盒的点而言，先对目标的三维包围盒的点X_i进行变换，得到变换后的分量比较大小确定编号iL、编号iR、编号iT和编号iB，其中编号iL和编号iR分别为目标的三维包围盒的点投影在图像上x坐标的最小值和最大值对应的点的编号，编号iT和编号iB分别为目标的三维包围盒的点投影在图像上y坐标最小值和最大值对应的点的编号；

具体可通过以下公式计算中的最小值ΔX_min对应的点

的编号为iL；ΔX_i|i＝1...n中的最大值ΔX_max对应的点的编号为iR；ΔY_i|i＝1...n

中的最小值ΔY_min对应的点的编号为iT；ΔY_i|i＝1...n中的最大值ΔY_max对应的点

的编号为iB。

S105、根据目标的二维矩形框的四个边对应于目标的三维包围盒的点的编号代入包围盒方程式(Bounding Box Equation)得到目标的三维坐标。

在本发明实施例一中，S105具体也可以包括以下步骤：

包围盒方程AT＝X_box，其中

r_ij是矩阵R的i行j列的元素值，矩阵A_4*3为包围盒矩阵Bound Box Matrix(BBM)实际上是由左右上下4个边缘矢量four side vectors包含[b_Left b_Right b_Top b_Bottom]行拼合而成。

其中[x_L,y_T,x_R,y_B]目标矩形框在二维图像的范围，c_x,c_y是拍摄装置的主点坐标，f_x、f_y是拍摄装置的焦距，

4行1列的X_box为包围盒矢量Bound Box vector，

其中，编号iL是u_i最小的目标的三维包围盒的点的编号,编号iR是u_i最大的目标的三维包围盒的点的编号，编号iT是v_i最小的目标的三维包围盒的点的编号,编号iB是v_i最大的目标的三维包围盒的点的编号，

X_i＝[x_i y_i z_i]’是编号i的物方点坐标，假设目标中心是目标本体坐标系原点，目标在三维空间中的外包立体矩形框由立方体n＝8个点构成，i＝1,…,n,可以定义

其中2a,2b,2c是目标的长宽高。

通过解出AT＝X_box，拍摄装置相对于目标的三维坐标T＝[t_xt_yt_z]’，只有t_xt_yt_z3个未知数，4个方程，通过最小二乘法解出T＝(AA^T)^-1A^TX_box；

或者，

加上共线方程约束，将代入方程AT＝X_box得到通过最小二乘法求解z，再将z代入得到目标的三维坐标。

实施例二：

本发明实施例二提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的拍摄目标的三维坐标估计方法的步骤。

实施例三：

图2示出了本发明实施例三提供的拍摄设备的具体结构框图，一种拍摄设备100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的拍摄目标的三维坐标估计方法的步骤。

在本发明中，由于根据目标图像得到一个或多个目标的二维矩形框；根据所述目标的二维矩形框和拍摄装置相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号；根据目标的二维矩形框的四个边对应于目标的三维包围盒的点的编号代入包围盒方程式得到目标的三维坐标。因此本发明可以使拍摄设备获取拍摄目标的三维坐标。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种拍摄目标的三维坐标估计方法，其特征在于，所述方法包括：

获取拍摄装置拍摄的目标图像；

根据所述目标图像得到一个或多个目标的二维矩形框；

针对每个目标分别计算拍摄装置相对于目标的三维空间姿态；

根据所述目标的二维矩形框和拍摄装置相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号；

根据目标的二维矩形框的四个边对应于目标的三维包围盒的点的编号代入包围盒方程式得到目标的三维坐标。

2.如权利要求1所述的方法，其特征在于，所述根据所述目标图像得到一个或多个目标的二维矩形框具体为：

根据所述目标图像，采用神经网络深度学习算法，预测得到一个或多个目标的二维矩形框，二维矩形框的中心点记作u0、v0，宽高分别记作w、h。

3.如权利要求2所述的方法，其特征在于，所述针对每个目标分别计算拍摄装置相对于目标的三维空间姿态具体为：

针对每个目标分别采用神经网络深度学习算法预测得到和目标三维空间姿态相关的矢量q，根据和目标三维空间姿态相关的矢量q转换成目标的三维空间姿态R。

4.如权利要求3所述的方法，其特征在于，所述针对每个目标分别计算拍摄装置相对于目标的三维空间姿态具体包括以下步骤：

构造一组和目标三维空间姿态相关的矢量q；

接收拍摄装置拍摄的目标图像I*；

将优化的神经网络模型参数W*以及接收的拍摄装置拍摄的目标图像I*代入神经网络模型方程，得到矢量q；

通过矢量q解算得到拍摄装置相对于目标的三维空间姿态R。

5.如权利要求4所述的方法，其特征在于，神经网络模型方程为f(W*,I*)＝q；

优化的神经网络模型参数W*通过以下方式得到：

接收拍摄装置拍摄的用于学习的目标图像I；

利用机器学习将N组样本数据I₁,q₁...I_N,q_N形成的样本集，按照神经网络模型方程优化神经网络模型参数W，得到优化的神经网络模型参数W*。

6.如权利要求5所述的方法，其特征在于，所述利用机器学习将N组样本数据I₁,q₁...I_N,q_N形成的样本集具体为：

从原始图像按二维标注坐标u0、v0、w、h对每个目标分别截取图像I；

标注图像I对应的姿态学习数据q，利用摄影测量方法在图像上标注目标的特征点或者特征线，利用Pnp算法或后方交会算法得到姿态R，转换成q作为姿态学习数据，当q＝{q0，q1，q2，q3}的q0分量小于0时，以-q＝{-q0,-q1,-q2,-q3}作为学习数据；

当矢量q是四元数时，所述神经网络模型的输出处理过程为：

将神经网络模型的最后输出层输出的矢量Q经单位化约束层处理后输出四元数矢量q{q₀,q₁,q₂,q₃}；计算过程如下：

前向传播公式其中，i＝0..3，

反向传播公式其中，E是误差函数其中是四元数第i分量的期待值；

当矢量q是二元数时，所述神经网络模型的输出处理过程为：

将神经网络模型的最后输出层输出的矢量Q经单位化约束层处理后输出二元数矢量q{q₀,q₁}；计算过程如下：

前向传播公式其中，i＝0,1，

反向传播公式其中E是误差函数其中是目标在平面上的单位方向矢量期待值，当误差函数

时，

7.如权利要求2所述的方法，其特征在于，所述根据所述目标的二维矩形框和拍摄装置相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号具体包括以下步骤：

随意选择一个z>0代入公式进行计算得到T₀，其中z是在拍摄装置坐标系下目标的z坐标，即目标相对于拍摄装置的距离，c_x,c_y是拍摄装置主点坐标，f_x、f_y是拍摄装置的像素焦距，是目标在图像的中心点，x_L、y_T是目标的二维矩形框的左上角坐标；

假设目标上有n个包围点1,…,n对应存在n个共线方程

根据这个共线方程得到每个目标的三维包围盒的点X_i对应的像坐标u_i和v_i；

选择u_i中的最小值u_iL作为目标的二维矩形框左侧横坐标u_iL＝min(u_i|i＝1,…,n)，

选择u_i中的最大值u_iR作为目标的二维矩形框右侧横坐标u_iR＝max(u_i|i＝1,…,n)，

选择v_i中的最小值v_iT作为目标的二维矩形框上侧横坐标v_iT＝min(v_i|i＝1,…,n)，

选择v_i中的最大值v_iB作为目标的二维矩形框下侧横坐标v_iB＝max(v_i|i＝1,…,n)；

将目标的三维包围盒的点X_i|i＝1…n＝8设置成目标的三维包围盒的n＝8个顶点，比较得到i＝1..8中u_i的最小值和最大值分别对应编号iL和编号iR，其中，编号iL和编号iR分别为目标的三维包围盒的点投影在图像上x坐标的最小值和最大值对应的点的编号；比较得到i＝1..8中v_i的最小值和最大值分别对应编号iT和编号iB，其中，编号iT和编号iB分别为目标的三维包围盒的点投影在图像上y坐标最小值和最大值对应的点的编号；

或者，

所述根据所述目标的二维矩形框和拍摄装置相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号具体包括以下步骤：

对于目标上的n个目标的三维包围盒的点而言，先对目标的三维包围盒的点X_i进行变换，得到变换后的分量比较大小确定编号iL、编号iR、编号iT和编号iB，其中编号iL和编号iR分别为目标的三维包围盒的点投影在图像上x坐标的最小值和最大值对应的点的编号，编号iT和编号iB分别为目标的三维包围盒的点投影在图像上y坐标最小值和最大值对应的点的编号；

具体通过以下公式计算ΔX_i|i＝1...n中的最小值ΔX_min对应的点的编号为iL；ΔX_i|i＝1...n中的最大值ΔX_max对应的点的编号为iR；ΔY_i|i＝1...n中的最小值ΔY_min对应的点的编号为iT；ΔY_i|i＝1...n中的最大值ΔY_max对应的点的编号为iB。

8.如权利要求7所述的方法，其特征在于，所述根据目标的二维矩形框的四个边对应于目标的三维包围盒的点的编号代入包围盒方程式得到目标的三维坐标具体包括以下步骤：

包围盒方程AT＝X_box，其中

其中r_ij是矩阵R的i行j列的元素值，[x_L,y_T,x_R,y_B]目标矩形框在二维图像的范围，

4行1列的X_box为包围盒矢量，其中，编号iL是u_i最小的目标的三维包围盒的点的编号,编号iR是u_i最大的目标的三维包围盒的点的编号，编号iT是v_i最小的目标的三维包围盒的点的编号,编号iB是v_i最大的目标的三维包围盒的点的编号，

X_i＝[x_i y_i z_i]’是编号i的物方点坐标，假设目标中心是目标本体坐标系原点，目标在三维空间中的外包立体矩形框由立方体n＝8个点构成，i＝1,…,n，定义其中2a,2b,2c是目标的长宽高；

通过解出AT＝X_box中拍摄装置相对于目标的三维坐标T＝[t_xt_yt_z]’，只有t_xt_yt_z3个未知数，4个方程，通过最小二乘法解出T＝(AA^T)^-1A^TX_box；

或者，

加上共线方程约束，将代入方程AT＝X_box得到通过最小二乘法求解z，再将z代入得到目标的三维坐标。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的拍摄目标的三维坐标估计方法的步骤。

10.一种拍摄设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的拍摄目标的三维坐标估计方法的步骤。