CN111443808B - 一种生成目标的三维信息数据的方法及陀螺仪系统 - Google Patents

Abstract

本申请适用于三维空间的检测领域，提供了一种生成目标的三维信息数据的方法及陀螺仪系统。所述方法包括：S101、保持陀螺仪系统的姿态和显示了包含目标的图像的屏幕成固定的姿态关系，记录此时陀螺仪系统的姿态矩阵作为基准姿态矩阵R_g0，记录屏幕坐标系相对于陀螺仪系统本体坐标系的姿态变换矩阵dR；S102、相对于基准姿态矩阵，旋转陀螺仪系统得到新的姿态矩阵R_g，计算陀螺仪系统的新的姿态相对于屏幕坐标系的目标姿态R_gR_g0 ^‑1dR^‑1，并将目标姿态R_gR_g0 ^‑1dR^‑1作为目标的三维姿态数据。本发明能很好地解决生成目标三维信息数据的问题，能够大幅度提高标注目标三维信息数据的效率并达到足够精度。

Description

一种生成目标的三维信息数据的方法及陀螺仪系统

技术领域

本申请属于三维空间的检测领域，尤其涉及一种生成目标的三维信息数据的方法及陀螺仪系统。

背景技术

机器学习在近年来得到了广泛发展，一方面机器视觉领域中学习的对象都是图像坐标系下二维的，如图像上的目标框坐标，图像上的旋转角，图像关键点坐标，另一方面我们生活的是三维世界，机器学习通过图像感知三维世界中的物坐标，因此利用机器学习进行三维目标检测的需求非常迫切。而用于三维信息学习的目标三维数据非常少，人工标注费时费力，这是机器学习三维信息领域中的一个巨大瓶颈。不同于二维拉框式数据标注，现有三维数据是通过极其昂贵和笨重的激光设备收集，且仅能得到室内近距离的深度信息，通过kinect也只能近距离测量深度信息，深度信息转换成目标位置姿态也十分低效，如linemode和nyu数据，这都限制了深度学习感知三维场景的发展。

发明内容

本申请的目的在于提供一种生成目标的三维信息数据的方法、计算机可读存储介质及陀螺仪系统，旨在解决现有三维数据是通过极其昂贵和笨重的激光设备收集，且仅能得到室内近距离的深度信息，通过kinect也只能近距离测量深度信息，深度信息转换成目标位置姿态也十分低效的问题。

第一方面，本申请提供了一种生成目标的三维信息数据的方法，所述方法包括：

S101、保持陀螺仪系统的姿态和显示了包含目标的图像的屏幕成固定的姿态关系，记录此时陀螺仪系统的姿态矩阵作为基准姿态矩阵R_g0，记录屏幕坐标系相对于陀螺仪系统本体坐标系的姿态变换矩阵dR；

S102、相对于基准姿态矩阵，旋转陀螺仪系统得到新的姿态矩阵R_g，计算陀螺仪系统的新的姿态相对于屏幕坐标系的目标姿态R_gR_g0 ^-1dR^-1，并将目标姿态R_gR_g0 ^-1dR^-1作为目标的三维姿态数据。

第二方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的生成目标的三维信息数据的方法的步骤。

第三方面，本申请提供了一种陀螺仪系统，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如第一方面所述的生成目标的三维信息数据的方法的步骤。

在本申请中，由于保持陀螺仪系统的姿态和显示了包含目标的图像的屏幕成固定的姿态关系，记录此时陀螺仪系统的姿态矩阵作为基准姿态矩阵R_g0，记录屏幕坐标系相对于陀螺仪系统本体坐标系的姿态变换矩阵dR；相对于基准姿态矩阵，旋转陀螺仪系统得到新的姿态矩阵R_g，计算陀螺仪系统的新的姿态相对于屏幕坐标系的目标姿态R_gR_g0 ^-1dR^-1，并将目标姿态R_gR_g0 ^-1dR^-1作为目标的三维姿态数据。该方法能很好地解决生成目标三维信息数据的问题，能够大幅度提高标注目标三维信息数据的效率并达到足够精度。进一步本申请还利用包围盒方程式得到目标的三维坐标。

附图说明

图1是本申请实施例一提供的生成目标的三维信息数据的方法的流程图。

图2是本申请实施例三提供的陀螺仪系统的具体结构框图。

具体实施方式

为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

从Faster-RCNN到yolo再到Cascade都是对接二维数据输入进行机器学习，而客观世界是三维的。针对这个问题，请参阅图1，本申请实施例一提供了一种生成目标的三维信息数据的方法，包括以下步骤：需注意的是，若有实质上相同的结果，本申请的生成目标的三维信息数据的方法并不以图1所示的流程顺序为限。

S101、保持陀螺仪系统的姿态和显示了包含目标的图像的屏幕成固定的姿态关系(如便携式陀螺仪系统的头部指向屏幕，同时右侧指向屏幕右侧，或便携式陀螺仪系统的背部指向屏幕，头部指向屏幕上方)，记录此时陀螺仪系统的姿态矩阵作为基准姿态矩阵R_g0，记录屏幕坐标系相对于陀螺仪系统本体坐标系的姿态变换矩阵dR；

其中，基准姿态矩阵可以是相对于显示屏幕(例如计算机屏幕、触摸屏)或与显示屏幕刚性连接的任何设备(例如基准杆、面板等)。

S102、相对于基准姿态矩阵，旋转陀螺仪系统得到新的姿态矩阵R_g，计算陀螺仪系统的新的姿态相对于屏幕坐标系的目标姿态R_gR_g0 ^-1dR^-1，并将目标姿态R_gR_g0 ^-1dR^-1作为目标的三维姿态数据。

目标的三维信息数据既可用于标注，又可用于推理。三维信息数据标注可用于人工智能机器学习的目标位置姿态(如6DPose)的学习数据。

在本申请实施例一中，所述方法还可以包括：

在旋转过程中屏幕上显示的图像渲染出与目标姿态R_gR_g0 ^-1 dR^-1对应的可视化视图与标注者进行视觉交互，所述可视化视图叠加显示在屏幕上显示的图像中的目标所在区域。

陀螺仪系统可以是便携式陀螺仪系统，如手机等。

所述相对于基准姿态矩阵，旋转陀螺仪系统得到新的姿态矩阵R_g具体可以为：

由标注者调整陀螺仪系统的姿态，使得该姿态和屏幕上显示的图像中的目标的姿态一致，记录此时陀螺仪系统的姿态矩阵R_g；计算出图像中的目标相对于屏幕的姿态为R_gR_g0 ^-1dR^-1或者屏幕相对于图像中的目标的姿态为[R_gR_g0 ^-1dR^-1]^-1＝dRR_g0R_g ^-1。

S101和S102具体包括：

模式1：SHOT模式

当陀螺仪系统的摄像头方向正对着屏幕的时候，记录此时陀螺仪系统的姿态矩阵作为基准姿态矩阵R_g0，调整陀螺仪系统的姿态到R_g，陀螺仪系统的本体坐标系是Y轴朝上Z轴朝屏幕外，记录屏幕坐标系相对于陀螺仪系统本体坐标系的姿态变换矩阵为

陀螺仪系统的新的姿态相对于屏幕坐标系的姿态为R_gR_g0 ^-1dR^-1；

或者，

模式2：POINT模式

当陀螺仪系统的Y轴正对着屏幕的时候，记录此时陀螺仪系统的姿态矩阵作为基准姿态矩阵R_g0，调整陀螺仪系统的姿态到R_g，陀螺仪系统的本体坐标系Y轴朝前，Z轴朝上，记录屏幕坐标系相对于陀螺仪系统本体坐标系的姿态变换矩阵为

的变换；陀螺仪系统的新的姿态相对于屏幕坐标系的姿态为R_gR_g0 ^-1dR^-1；

在四元数域里假设R_g对应q，R_g0对应q₀，则(R_gR_g0 ^-1)dR^-1对应的四元数是(q*q₀’)dq’

根据四元数姿态矩阵公式，屏幕相对于目标的姿态

所述生成目标的三维信息数据的方法还可以包括：

根据包含目标的图像，采用神经网络深度学习算法，预测得到一个或多个目标的二维矩形框，二维矩形框的中心点记作u0、v0，宽高分别记作w、h；

针对每个目标分别计算屏幕相对于目标的三维空间姿态；

根据所述目标的二维矩形框和屏幕相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号；

根据目标的二维矩形框的四个边对应于目标的三维包围盒的点的编号代入包围盒方程式得到目标的三维坐标。

所述根据所述目标的二维矩形框和屏幕相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号具体包括以下步骤：

随意选择一个z>0代入公式

进行计算得到T₀，其中z是在屏幕坐标系下目标的z坐标，即目标相对于屏幕的距离，

c_x,c_y是相机主点坐标，f_x、f_y是相机的像素焦距，所述相机是虚拟的用于观察屏幕中的目标的相机，

是目标在图像的中心点，x_L、y_T是目标的二维矩形框的左上角坐标；

假设目标上有n个包围点1,…,n对应存在n个共线方程

根据这个共线方程得到每个目标的三维包围盒的点X_i对应的像坐标u_i和v_i；

选择u_i中的最小值u_iL作为目标的二维矩形框左侧横坐标u_iL＝min(u_i|i＝1,…,n)，

选择u_i中的最大值u_iR作为目标的二维矩形框右侧横坐标u_iR＝max(u_i|i＝1,…,n)，

选择v_i中的最小值v_iT作为目标的二维矩形框上侧横坐标v_iT＝min(v_i|i＝1,…,n)，

选择v_i中的最大值v_iB作为目标的二维矩形框下侧横坐标v_iB＝max(v_i|i＝1,…,n)；

将目标的三维包围盒的点X_i|i＝1…n＝8设置成目标的三维包围盒的n＝8个顶点，比较得到i＝1..8中u_i的最小值和最大值分别对应编号iL和编号iR，其中，编号iL和编号iR分别为目标的三维包围盒的点投影在图像上x坐标的最小值和最大值对应的点的编号；比较得到i＝1..8中v_i的最小值和最大值分别对应编号iT和编号iB，其中，编号iT和编号iB分别为目标的三维包围盒的点投影在图像上y坐标最小值和最大值对应的点的编号；

或者，

所述根据所述目标的二维矩形框和屏幕相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号具体包括以下步骤：

对于目标上的n个目标的三维包围盒的点而言，先对目标的三维包围盒的点X_i进行变换，得到变换后的分量比较大小确定编号iL、编号iR、编号iT和编号iB，其中编号iL和编号iR分别为目标的三维包围盒的点投影在图像上x坐标的最小值和最大值对应的点的编号，编号iT和编号iB分别为目标的三维包围盒的点投影在图像上y坐标最小值和最大值对应的点的编号；

具体通过以下公式计算

ΔX_i|i＝1...n中的最小值ΔX_min对应的点的编号为iL；ΔX_i|i＝1...n中的最大值ΔX_max对应的点的编号为iR；ΔY_i|i＝1...n中的最小值ΔY_min对应的点的编号为iT；ΔY_i|i＝1...n中的最大值ΔY_max对应的点的编号为iB。

所述根据目标的二维矩形框的四个边对应于目标的三维包围盒的点的编号代入包围盒方程式得到目标的三维坐标具体包括以下步骤：

包围盒方程AT＝X_box，其中

其中r_ij是矩阵R的i行j列的元素值，

[x_L,y_T,x_R,y_B]目标矩形框在二维图像的范围，

4行1列的X_box为包围盒矢量，其中，编号iL是u_i最小的目标的三维包围盒的点的编号,编号iR是u_i最大的目标的三维包围盒的点的编号，编号iT是v_i最小的目标的三维包围盒的点的编号,编号iB是v_i最大的目标的三维包围盒的点的编号，

X_i＝[x_iy_iz_i]’是编号i的物方点坐标，假设目标中心是目标本体坐标系原点，目标在三维空间中的外包立体矩形框由立方体n＝8个点构成，i＝1,…,n，定义

其中2a,2b,2c是目标的长宽高；

通过解出AT＝X_box中屏幕相对于目标的三维坐标T＝[t_xt_yt_z]’，只有t_xt_yt_z3个未知数，4个方程，通过最小二乘法解出T＝(AA^T)^-1A^TX_box；

或者，

加上共线方程约束，将

代入方程AT＝X_box得到

通过最小二乘法求解z，再将z代入

得到目标的三维坐标。

实施例二：

本申请实施例二提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例一提供的生成目标的三维信息数据的方法的步骤。

实施例三：

图2示出了本申请实施例三提供的陀螺仪系统的具体结构框图，一种陀螺仪系统100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本申请实施例一提供的生成目标的三维信息数据的方法的步骤。

在本申请中，由于保持陀螺仪系统的姿态和显示了包含目标的图像的屏幕成固定的姿态关系，记录此时陀螺仪系统的姿态矩阵作为基准姿态矩阵R_g0，记录屏幕坐标系相对于陀螺仪系统本体坐标系的姿态变换矩阵dR；相对于基准姿态矩阵，旋转陀螺仪系统得到新的姿态矩阵R_g，计算陀螺仪系统的新的姿态相对于屏幕坐标系的目标姿态R_gR_g0 ^-1dR^-1，并将目标姿态R_gR_g0 ^-1dR^-1作为目标的三维姿态数据。该方法能很好地解决生成目标三维信息数据的问题，能够大幅度提高标注目标三维信息数据的效率并达到足够精度。进一步本申请还利用包围盒方程式得到目标的三维坐标。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种生成目标的三维信息数据的方法，其特征在于，所述方法包括：

S101、保持陀螺仪系统的姿态和显示了包含目标的图像的屏幕成固定的姿态关系，记录此时陀螺仪系统的姿态矩阵作为基准姿态矩阵R_g0，记录屏幕坐标系相对于陀螺仪系统本体坐标系的姿态变换矩阵dR；

S102、相对于基准姿态矩阵，旋转陀螺仪系统得到新的姿态矩阵R_g，计算陀螺仪系统的新的姿态相对于屏幕坐标系的目标姿态R_gR_g0 ^-1dR^-1，并将目标姿态R_gR_g0 ^-1dR^-1作为目标的三维姿态数据；

所述相对于基准姿态矩阵，旋转陀螺仪系统得到新的姿态矩阵R_g具体为：

由标注者调整陀螺仪系统的姿态，使得该姿态和屏幕上显示的图像中的目标的姿态一致，记录此时陀螺仪系统的姿态矩阵R_g；计算出图像中的目标相对于屏幕的姿态为R_gR_g0 ^{- 1}dR^-1或者屏幕相对于图像中的目标的姿态为

[R_gR_g0 ^-1dR^-1]^-1＝dRR_g0R_g ^-1；

S101和S102具体包括：

当陀螺仪系统的摄像头方向正对着屏幕的时候，记录此时陀螺仪系统的姿态矩阵作为基准姿态矩阵R_g0，调整陀螺仪系统的姿态到R_g，陀螺仪系统的本体坐标系是Y轴朝上Z轴朝屏幕外，记录屏幕坐标系相对于陀螺仪系统本体坐标系的姿态变换矩阵为

陀螺仪系统的新的姿态相对于屏幕坐标系的姿态为R_gR_g0 ^-1dR^-1；

或者，

当陀螺仪系统的Y轴正对着屏幕的时候，记录此时陀螺仪系统的姿态矩阵作为基准姿态矩阵R_g0，调整陀螺仪系统的姿态到R_g，陀螺仪系统的本体坐标系Y轴朝前，Z轴朝上，记录屏幕坐标系相对于陀螺仪系统本体坐标系的姿态变换矩阵为

的变换；陀螺仪系统的新的姿态相对于屏幕坐标系的姿态为R_gR_g0 ^-1dR^-1。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

在旋转过程中屏幕上显示的图像渲染出与目标姿态R_gR_g0 ^-1 dR^-1对应的可视化视图与标注者进行视觉交互，所述可视化视图叠加显示在屏幕上显示的图像中的目标所在区域。

3.如权利要求1所述的方法，其特征在于，陀螺仪系统是便携式陀螺仪系统。

4.如权利要求1所述的方法，其特征在于，

在四元数域里假设R_g对应q，R_g0对应q₀，则(R_gR_g0 ^-1)dR^-1对应的四元数是(q*q₀’)dq’

根据四元数姿态矩阵公式，屏幕相对于目标的姿态

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据包含目标的图像，采用神经网络深度学习算法，预测得到一个或多个目标的二维矩形框，二维矩形框的中心点记作u0、v0，宽高分别记作w、h；

针对每个目标分别计算屏幕相对于目标的三维空间姿态；

根据所述目标的二维矩形框和屏幕相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号；

根据目标的二维矩形框的四个边对应于目标的三维包围盒的点的编号代入包围盒方程式得到目标的三维坐标。

6.如权利要求5所述的方法，其特征在于，所述根据所述目标的二维矩形框和屏幕相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号具体包括以下步骤：

随意选择一个z>0代入公式

进行计算得到T₀，其中z是在屏幕坐标系下目标的z坐标，即目标相对于屏幕的距离，

c_x,c_y是相机主点坐标，f_x、f_y是相机的像素焦距，所述相机是虚拟的用于观察屏幕中的目标的相机，

是目标在图像的中心点，x_L、y_T是目标的二维矩形框的左上角坐标；

假设目标上有n个包围点1,…,n对应存在n个共线方程

根据这个共线方程得到每个目标的三维包围盒的点X_i对应的像坐标u_i和v_i；

选择u_i中的最小值u_iL作为目标的二维矩形框左侧横坐标u_iL＝min(u_i|i＝1,…,n)，

选择u_i中的最大值u_iR作为目标的二维矩形框右侧横坐标u_iR＝max(u_i|i＝1,…,n)，

选择v_i中的最小值v_iT作为目标的二维矩形框上侧横坐标v_iT＝min(v_i|i＝1,…,n)，

选择v_i中的最大值v_iB作为目标的二维矩形框下侧横坐标v_iB＝max(v_i|i＝1,…,n)；

将目标的三维包围盒的点X_i|i＝1…n＝8设置成目标的三维包围盒的n＝8个顶点，比较得到i＝1..8中u_i的最小值和最大值分别对应编号iL和编号iR，其中，编号iL和编号iR分别为目标的三维包围盒的点投影在图像上x坐标的最小值和最大值对应的点的编号；比较得到i＝1..8中v_i的最小值和最大值分别对应编号iT和编号iB，其中，编号iT和编号iB分别为目标的三维包围盒的点投影在图像上y坐标最小值和最大值对应的点的编号；

或者，

所述根据所述目标的二维矩形框和屏幕相对于目标的三维空间姿态找到目标的二维矩形框的四条边对应于目标的三维包围盒的点的编号具体包括以下步骤：

对于目标上的n个目标的三维包围盒的点而言，先对目标的三维包围盒的点X_i进行变换，得到变换后的分量比较大小确定编号iL、编号iR、编号iT和编号iB，其中编号iL和编号iR分别为目标的三维包围盒的点投影在图像上x坐标的最小值和最大值对应的点的编号，编号iT和编号iB分别为目标的三维包围盒的点投影在图像上y坐标最小值和最大值对应的点的编号；

具体通过以下公式计算

△X_i|i＝1...n中的最小值△X_min对应的点的编号为iL；△X_i|i＝1...n中的最大值△X_max对应的点的编号为iR；△Y_i|i＝1...n中的最小值△Y_min对应的点的编号为iT；△Y_i|i＝1...n中的最大值△Y_max对应的点的编号为iB。

7.如权利要求6所述的方法，其特征在于，所述根据目标的二维矩形框的四个边对应于目标的三维包围盒的点的编号代入包围盒方程式得到目标的三维坐标具体包括以下步骤：

包围盒方程AT＝X_box，其中

其中r_ij是矩阵R的i行j列的元素值，

[x_L,y_T,x_R,y_B]目标矩形框在二维图像的范围，

4行1列的X_box为包围盒矢量，其中，编号iL是u_i最小的目标的三维包围盒的点的编号,编号iR是u_i最大的目标的三维包围盒的点的编号，编号iT是v_i最小的目标的三维包围盒的点的编号,编号iB是v_i最大的目标的三维包围盒的点的编号，

X_i＝[x_i y_i z_i]’是编号i的物方点坐标，假设目标中心是目标本体坐标系原点，目标在三维空间中的外包立体矩形框由立方体n＝8个点构成，i＝1,…,n，定义

其中2a,2b,2c是目标的长宽高；

通过解出AT＝X_box中屏幕相对于目标的三维坐标T＝[t_xt_yt_z]’，只有t_xt_yt_z3个未知数，4个方程，通过最小二乘法解出T＝(AA^T)^-1A^TX_box；

或者，

加上共线方程约束，将

代入方程AT＝X_box得到

通过最小二乘法求解z，再将z代入

得到目标的三维坐标。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的生成目标的三维信息数据的方法的步骤。

9.一种陀螺仪系统，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的生成目标的三维信息数据的方法的步骤。

Images