CN110827392B - 单目图像三维重建方法、系统及装置 - Google Patents

单目图像三维重建方法、系统及装置 Download PDF

Info

Publication number
CN110827392B
CN110827392B CN201910964298.0A CN201910964298A CN110827392B CN 110827392 B CN110827392 B CN 110827392B CN 201910964298 A CN201910964298 A CN 201910964298A CN 110827392 B CN110827392 B CN 110827392B
Authority
CN
China
Prior art keywords
dimensional
reference plane
image
dimensional image
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910964298.0A
Other languages
English (en)
Other versions
CN110827392A (zh
Inventor
林大甲
黄宗荣
江世松
郑敏忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinqianmao Technology Co ltd
Original Assignee
Jinqianmao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinqianmao Technology Co ltd filed Critical Jinqianmao Technology Co ltd
Priority to CN201910964298.0A priority Critical patent/CN110827392B/zh
Publication of CN110827392A publication Critical patent/CN110827392A/zh
Application granted granted Critical
Publication of CN110827392B publication Critical patent/CN110827392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及测量领域，尤其涉及一种单目图像三维重建方法、系统及装置。单目图像三维重建方法包括以下步骤：拍摄得到一二维图像；分割所述二维图像，得到对应三维空间中的多个参考平面；根据多个参考平面完成所述二维图像所对应的三维重建；提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。本发明提供的单目图像三维重建方法、系统及装置，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。其结构简单，实现容易，有很好的场景易用性。

Description

单目图像三维重建方法、系统及装置
本案是以申请号为201811009447.X，申请日为2018年8月31日，名称为《基于参考平面的单目图像三维重建方法、系统及装置》的专利申请为母案的分案申请。
技术领域
本发明涉及测量领域，尤其涉及一种单目图像三维重建方法、系统及装置。
背景技术
图像三维重建应用于各个领域。单目视觉结构简单，应用方便，在不借助已知标准物的前提下，只能对图像中指定的单个平面上的物体进行三维重建。双目立体视觉模拟人眼功能，通过视差完成三维重建，与单目视觉相比，能够对图像中所有物体进行三维重建，但双目立体视觉具有结构复杂、精确校准过程困难，对应点匹配误差大的缺点，在物体表面特征点较稀疏的场景中，很难获得精确的形状完成三维重建。结构光摄像头需要配合激光投射器、光学衍射元件及红外摄像头等核心器件，通过红外摄像头捕捉到扩散的红外散斑，算出各个点的深度信息，但光学衍射元件成本较高，非一般用户所能承受。高成本的三维激光扫描仪，及双目立体相机的都有较高的要求，因此需要一个更好的替代方案来解决此问题。
发明内容
本发明所要解决的技术问题是：提供一种的单目图像三维重建方法、系统及装置。
为了解决上述技术问题，本发明采用的第一技术方案为：
一种单目图像三维重建方法，包括以下步骤：
S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
S2、分割所述二维图像，得到对应三维空间中的多个参考平面；
S3、根据多个参考平面完成所述二维图像所对应的三维重建；
S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。
本发明采用的第二技术方案为：
一种单目图像三维重建系统，包括一个或多个处理器及存储器，所述存储器存储有程序，该程序被处理器执行时实现以下步骤：
S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
S2、分割所述二维图像，得到对应三维空间中的多个参考平面；
S3、根据多个参考平面完成所述二维图像所对应的三维重建；
S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。
本发明采用的第三技术方案为：
一种单目图像三维重建装置，包括相互连接的摄像头和三维重建单元，所述摄像头被配置为拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
所述三维重建单元被配置为分割所述二维图像，得到对应三维空间中的多个参考平面；根据多个参考平面完成所述二维图像所对应的三维重建；提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。
本发明的有益效果在于：本发明提供的单目图像三维重建方法、系统及装置，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。其结构简单，实现容易，有很好的场景易用性。
附图说明
图1为本发明的基于参考平面的单目图像三维重建方法的步骤流程图；
图2为本发明的基于参考平面的单目图像三维重建系统的结构示意图；
图3为本发明的基于参考平面的单目图像三维重建系统的投影点平面重建示意图；
标号说明：
1、处理器；2、存储器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1，一种基于参考平面的单目图像三维重建方法，包括以下步骤：
S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
S2、分割所述二维图像，得到对应三维空间中的多个参考平面；
S3、根据多个参考平面完成所述二维图像所对应的三维重建；
S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。
从上述描述可知，本发明的有益效果在于：本发明提供的基于参考平面的单目图像三维重建方法，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。
进一步的，步骤S1具体为：
旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；
步骤S2具体为：
使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；
步骤S3具体为：
将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；
步骤S4具体为：
提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建。
进一步的，步骤S2还包括：
将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。
参阅图2，本发明还提供的一种基于参考平面的单目图像三维重建系统，包括一个或多个处理器1及存储器2，所述存储器2存储有程序，该程序被处理器1执行时实现以下步骤：
S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
S2、分割所述二维图像，得到对应三维空间中的多个参考平面；
S3、根据多个参考平面完成所述二维图像所对应的三维重建；
S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。
从上述描述可知，本发明的有益效果在于：本发明提供的基于参考平面的单目图像三维重建系统，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。
进一步的，该程序被所述处理器执行时进一步实现包括以下步骤：
步骤S1具体为：
旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；
步骤S2具体为：
使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；
步骤S3具体为：
将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；
步骤S4具体为：
提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建。
进一步的，该程序被所述处理器执行时进一步实现包括以下步骤：
将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。
本发明还提供的一种基于参考平面的单目图像三维重建装置，包括相互连接的摄像头和三维重建单元，所述摄像头被配置为拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
所述三维重建单元被配置为分割所述二维图像，得到对应三维空间中的多个参考平面；根据多个参考平面完成所述二维图像所对应的三维重建；提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。
从上述描述可知，本发明的有益效果在于：本发明提供的基于参考平面的单目图像三维重建装置，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。其结构简单，实现容易，有很好的场景易用性。
进一步的，所述摄像头具体被配置为旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；
所述三维重建单元具体被配置为使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；
将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；
提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建。
进一步的，所述三维重建单元具体被配置为将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。
请参照图1，本发明的实施例一为：
本发明提供的基于参考平面的的单目图像三维重建方法，包括步骤：
S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
S2、分割所述二维图像，得到对应三维空间中的多个参考平面；
S3、根据多个参考平面完成所述二维图像所对应的三维重建；
S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。
需要说明的是，本发明所述的图像三维重建，是指通过图像求得物体在统一三维参考坐标系下的坐标，摄像头是三维世界空间和二维图像之间的一种映射，其映射模型可表示为：
Figure GDA0003963586830000061
该映射模型表示三维参考坐标系上某点的齐次坐标(Xw，Yw，Zw，1)与该点映射到二维图像坐标系上的齐次坐标(u，v，1)之间的关系，可以通过摄像头内部参数K与摄像头外部参数(旋转R与平移t)获得。其中，摄像头内部参数
Figure GDA0003963586830000071
是摄像头的固有矩阵，(u0，v0)是摄像头光学中心在CCD成像平面上的投影位置，f是摄像头的焦距，dx和dy分别是CCD每个像素在水平方向和垂直方向上的物理尺寸。
上述的步骤S1具体为：
在本实施例中，旋转摄像头至需要三维重建的场景区域，摄像头对该区域进行图像抓取，建立二维图像坐标系；所述二维图像坐标系是以二维图像的左上角为原点，向右为u轴，向下为v轴所创建的坐标系；并通过云台得到摄像头光轴的旋转角度值，所述光轴旋转角度值包括云台的垂直转动角度αc和水平转动角度βc；
上述的步骤S2具体为：
在本实施例中，预先采集大量同类应用场景图片，使用SLIC算法对图像进行超像素处理，得到图像颜色与纹理的分布情况；对具有相同特性的超像素进行分组，相同特性是指图像中具有同一类几何意义的区域像素，比如对于工地场景，一般把图像分成两类几何类型，即参考平面(施工面)和非参考平面(从参考平面伸出的物体，如钢筋、脚手架、水泥柱等)；对采集的场景图片集进行超像素分组后，对分组进行标注(参考平面还是非参考平面)，再通过深度学习创建场景的几何分类模型；
在S1步骤抓取图像后，将分类模型对图像进行分析，分割出参考平面几何区域，把图像中属于参考平面区域的像素标记为参考平面类型，其他剩余像素标记为非参考平面类型；
上述的步骤S3具体为：
在本实施例中，为方便描述，以云台处于初始位置零方位(水平角与垂直角都为0度)时的光轴为Zc轴，建立摄像头坐标系XcYcZc；在参考平面上，以光轴为原点，以摄像头坐标系XcYcZc的坐标轴方向为参考方向，建立三维参考坐标系XwYwZw，其中Yw垂直于参考平面；
控制云台把摄像头光轴分别定位到参考平面的任意三个位置点，参考平面位置点的定位可以通过图像匹配算法，比较画面中心n×n像素区域与步骤S2得到的参考平面类型像素集进行确定，然后根据云台转动角度值及激光测距的距离，得到参考平面三个位置点在坐标系XcYcZc下的坐标值；
在本实施例中，通过云台定位激光束到参考平面的第一个位置点P1，由点P1到激光测量器的距离
Figure GDA0003963586830000081
及云台的垂直转动角度α1、水平转动角度β1，计算得到点P1在坐标系XcYcZc下的坐标值/>
Figure GDA0003963586830000082
Figure GDA0003963586830000083
同理，可得激光束到参考平面第二个点P2的坐标值
Figure GDA0003963586830000084
及第三个点P3的坐标值/>
Figure GDA0003963586830000085
此处不再赘述；
由参考平面的法向量
Figure GDA0003963586830000086
可得向量/>
Figure GDA0003963586830000087
在参考平面法线上的投影向量/>
Figure GDA0003963586830000088
进一步可得，光轴与参考平面距离最近时，光轴相对零方位的垂直偏角
Figure GDA0003963586830000089
光轴相对零方位的水平偏角/>
Figure GDA00039635868300000810
由步骤S1中抓取图像时的云台垂直转动角度αc和水平转动角度βc，可得光轴彼时的单位向量
Figure GDA00039635868300000811
进一步可得，投影向量
Figure GDA00039635868300000812
和单位向量/>
Figure GDA00039635868300000813
之间的夹角/>
Figure GDA00039635868300000814
进一步可得，步骤S1抓取的图像中，光轴到参考平面的平移向量
Figure GDA00039635868300000815
及旋转向量
Figure GDA00039635868300000816
把(旋转Rc与平移tc)代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型
Figure GDA0003963586830000091
中，即可实现对参考平面的三维重建，得到图像中参考平面的每个像素点所对应三维参考坐标系下的坐标；
上述的步骤S4具体为：
在本实施例中，物体投影点的提取方法如下：
对图像应用SharpMask图像分割算法，得到图像中物体的边缘分割纹理，对属于S2得到的非参考平面类型像素集范围的纹理像素点，计算其在参考平面的投影点；
所述投影点是指物体上的每一点投影到参考平面上的点，物体点与投影点的连线垂直于参考平面，即与参考平面的法向量平行；
物体与参考平面的连接处，反映在图像上就是，物体的边缘分割纹理像素点与参考平面像素点的相邻区域，在物体的边缘分割纹理像素点的八连通邻域内，查找是否包含步骤S2得到的参考平面类型像素集，把包含的参考平面像素列入所述物体边缘分割纹理像素点的投影点集；把纹理像素点分别与投影点集中的每个参考平面像素点进行结合，得到所述纹理像素点在二维图像坐标系中的平面直线集；
在三维参考坐标系XwYwZw下，取参考平面上一点m(0，0，0)与参考平面外一点n(0，0，1)，可知向量
Figure GDA0003963586830000092
即参考平面的法向量，代入过点m、n且与参考平面垂直的平面的三维参考坐标系和二维图像坐标系之间的映射模型/>
Figure GDA0003963586830000093
Figure GDA0003963586830000094
中，即可实现对所述垂直平面的三维重建，得到法向量/>
Figure GDA0003963586830000095
在二维图像坐标系下的直线；
按照物体点与投影点的连线与参考平面的法向量平行的约束条件原则，在所述平面直线集中找到与法向量
Figure GDA0003963586830000096
直线平行相关度最高的直线，平行相关度可以两直线的夹角作判别条件，把平行相关度最高的直线所对应的参考平面像素点，作为物体点的投影点；并由步骤S2参考平面的三维重建结果，可得投影点所对应三维参考坐标系下的坐标Pp＝(Xp，Yp，Zp)；
由步骤S3中单位向量
Figure GDA0003963586830000101
和平移向量tc，可得步骤S1抓取图片时的光轴向量/>
Figure GDA0003963586830000102
由参考平面法线上的投影向量
Figure GDA0003963586830000103
可得，向量/>
Figure GDA0003963586830000104
在参考平面上的投影向量
Figure GDA0003963586830000105
以投影向量
Figure GDA0003963586830000106
作为法向量，结合投影点Pp，可得过投影点且与参考平面垂直的平面，此垂直平面即为物体点所在的平面；
进一步可得，向量
Figure GDA0003963586830000107
与垂直平面的交点(Xi，Yi，Zi)，其中/>
Figure GDA0003963586830000108
Figure GDA0003963586830000109
进一步可得，光轴到垂直平面的平移值
Figure GDA00039635868300001010
代入垂直平面的三维参考坐标系和二维图像坐标系之间的映射模型
Figure GDA00039635868300001011
中，即可得到物体点所对应三维参考坐标系下的坐标；
重复以上，即可得到图像中所有物体点在三维参考坐标系下的坐标，完成图像中所有物体的三维重建；
如图3所示，二维图像中，在参考平面ρ(建设工地楼面)上，有一根斜插在参考平面上的钢筋，钢筋的像素点A、B在参考平面ρ上的投影点为a、b，得到过投影点a、b与参考平面ρ垂直的模拟平面π1、π2，进一步可得平面π1、π2与二维图像之间的映射模型，从而得到图像像素点A、B的三维坐标；依此类推，可得钢筋所有像素点的三维坐标，完成整个钢筋的三维重建。
参照图2，本发明的实施例二为：
本发明提供的一种基于参考平面的单目图像三维重建系统，包括一个或多个处理器及存储器，所述存储器存储有程序，该程序被处理器执行时实现以下步骤：
S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
S2、分割所述二维图像，得到对应三维空间中的多个参考平面；
S3、根据多个参考平面完成所述二维图像所对应的三维重建；
S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。
需要说明的是，本发明所述的图像三维重建，是指通过图像求得物体在统一三维参考坐标系下的坐标，摄像头是三维世界空间和二维图像之间的一种映射，其映射模型可表示为：
Figure GDA0003963586830000111
该映射模型表示三维参考坐标系上某点的齐次坐标(Xw，Yw，Zw，1)与该点映射到二维图像坐标系上的齐次坐标(u，v，1)之间的关系，可以通过摄像头内部参数K与摄像头外部参数(旋转R与平移t)获得。其中，摄像头内部参数
Figure GDA0003963586830000112
是摄像头的固有矩阵，(u0，v0)是摄像头光学中心在CCD成像平面上的投影位置，f是摄像头的焦距，dx和dy分别是CCD每个像素在水平方向和垂直方向上的物理尺寸。
上述的步骤S1具体为：
在本实施例中，旋转摄像头至需要三维重建的场景区域，摄像头对该区域进行图像抓取，建立二维图像坐标系；所述二维图像坐标系是以二维图像的左上角为原点，向右为u轴，向下为v轴所创建的坐标系；并通过云台得到摄像头光轴的旋转角度值，所述光轴旋转角度值包括云台的垂直转动角度αc和水平转动角度βc；
上述的步骤S2具体为：
在本实施例中，预先采集大量同类应用场景图片，使用SLIC算法对图像进行超像素处理，得到图像颜色与纹理的分布情况；对具有相同特性的超像素进行分组，相同特性是指图像中具有同一类几何意义的区域像素，比如对于工地场景，一般把图像分成两类几何类型，即参考平面(施工面)和非参考平面(从参考平面伸出的物体，如钢筋、脚手架、水泥柱等)；对采集的场景图片集进行超像素分组后，对分组进行标注(参考平面还是非参考平面)，再通过深度学习创建场景的几何分类模型；
在S1步骤抓取图像后，将分类模型对图像进行分析，分割出参考平面几何区域，把图像中属于参考平面区域的像素标记为参考平面类型，其他剩余像素标记为非参考平面类型；
上述的步骤S3具体为：
在本实施例中，为方便描述，以云台处于初始位置零方位(水平角与垂直角都为0度)时的光轴为Zc轴，建立摄像头坐标系XcYcZc；在参考平面上，以光轴为原点，以摄像头坐标系XcYcZc的坐标轴方向为参考方向，建立三维参考坐标系XwYwZw，其中Yw垂直于参考平面；
控制云台把摄像头光轴分别定位到参考平面的任意三个位置点，参考平面位置点的定位可以通过图像匹配算法，比较画面中心n×n像素区域与步骤S2得到的参考平面类型像素集进行确定，然后根据云台转动角度值及激光测距的距离，得到参考平面三个位置点在坐标系XcYcZc下的坐标值；
在本实施例中，通过云台定位激光束到参考平面的第一个位置点P1，由点P1到激光测量器的距离
Figure GDA0003963586830000121
及云台的垂直转动角度α1、水平转动角度β1，计算得到点P1在坐标系XcYcZc下的坐标值/>
Figure GDA0003963586830000122
Figure GDA0003963586830000123
同理，可得激光束到参考平面第二个点P2的坐标值
Figure GDA0003963586830000124
及第三个点P3的坐标值/>
Figure GDA0003963586830000125
此处不再赘述；
由参考平面的法向量
Figure GDA0003963586830000126
可得向量/>
Figure GDA0003963586830000127
在参考平面法线上的投影向量/>
Figure GDA0003963586830000131
进一步可得，光轴与参考平面距离最近时，光轴相对零方位的垂直偏角
Figure GDA0003963586830000132
光轴相对零方位的水平偏角/>
Figure GDA0003963586830000133
由步骤S1中抓取图像时的云台垂直转动角度αc和水平转动角度βc，可得光轴彼时的单位向量
Figure GDA0003963586830000134
进一步可得，投影向量
Figure GDA0003963586830000135
和单位向量/>
Figure GDA0003963586830000136
之间的夹角/>
Figure GDA0003963586830000137
进一步可得，步骤S1抓取的图像中，光轴到参考平面的平移向量
Figure GDA0003963586830000138
及旋转向量/>
Figure GDA0003963586830000139
把(旋转Rc与平移tc)代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型
Figure GDA00039635868300001310
中，即可实现对参考平面的三维重建，得到图像中参考平面的每个像素点所对应三维参考坐标系下的坐标；
上述的步骤S4具体为：
在本实施例中，物体投影点的提取方法如下：
对图像应用SharpMask图像分割算法，得到图像中物体的边缘分割纹理，对属于S2得到的非参考平面类型像素集范围的纹理像素点，计算其在参考平面的投影点；
所述投影点是指物体上的每一点投影到参考平面上的点，物体点与投影点的连线垂直于参考平面，即与参考平面的法向量平行；
物体与参考平面的连接处，反映在图像上就是，物体的边缘分割纹理像素点与参考平面像素点的相邻区域，在物体的边缘分割纹理像素点的八连通邻域内，查找是否包含步骤S2得到的参考平面类型像素集，把包含的参考平面像素列入所述物体边缘分割纹理像素点的投影点集；把纹理像素点分别与投影点集中的每个参考平面像素点进行结合，得到所述纹理像素点在二维图像坐标系中的平面直线集；
在三维参考坐标系XwYwZw下，取参考平面上一点m(0，0，0)与参考平面外一点n(0，0，1)，可知向量
Figure GDA0003963586830000141
即参考平面的法向量，代入过点m、n且与参考平面垂直的平面的三维参考坐标系和二维图像坐标系之间的映射模型/>
Figure GDA0003963586830000142
Figure GDA0003963586830000143
中，即可实现对所述垂直平面的三维重建，得到法向量/>
Figure GDA0003963586830000144
在二维图像坐标系下的直线；
按照物体点与投影点的连线与参考平面的法向量平行的约束条件原则，在所述平面直线集中找到与法向量
Figure GDA0003963586830000145
直线平行相关度最高的直线，平行相关度可以两直线的夹角作判别条件，把平行相关度最高的直线所对应的参考平面像素点，作为物体点的投影点；并由步骤S2参考平面的三维重建结果，可得投影点所对应三维参考坐标系下的坐标Pp＝(Xp，Yp，Zp)；
由步骤S3中单位向量
Figure GDA0003963586830000146
和平移向量tc，可得步骤S1抓取图片时的光轴向量
Figure GDA0003963586830000147
由参考平面法线上的投影向量
Figure GDA0003963586830000148
可得，向量/>
Figure GDA0003963586830000149
在参考平面上的投影向量
Figure GDA00039635868300001410
以投影向量
Figure GDA00039635868300001411
作为法向量，结合投影点Pp，可得过投影点且与参考平面垂直的平面，此垂直平面即为物体点所在的平面；
进一步可得，向量
Figure GDA00039635868300001412
与垂直平面的交点(Xi，Yi，Zi)，其中/>
Figure GDA00039635868300001413
Figure GDA0003963586830000151
进一步可得，光轴到垂直平面的平移值
Figure GDA0003963586830000152
代入垂直平面的三维参考坐标系和二维图像坐标系之间的映射模型
Figure GDA0003963586830000153
中，即可得到物体点所对应三维参考坐标系下的坐标；
重复以上，即可得到图像中所有物体点在三维参考坐标系下的坐标，完成图像中所有物体的三维重建。
本发明的实施例三为：
本发明还提供的一种基于参考平面的单目图像三维重建装置，包括相互连接的摄像头和三维重建单元，所述摄像头被配置为拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
所述三维重建单元被配置为分割所述二维图像，得到对应三维空间中的多个参考平面；根据多个参考平面完成所述二维图像所对应的三维重建；提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建。
所述摄像头具体被配置为旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；
所述三维重建单元具体被配置为使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；
将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；
提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建。
所述三维重建单元具体被配置为将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。
在具体实施例中，上述的基于参考平面的单目图像三维重建装置，包括测量端；所述测量端包括激光、摄像头、调角器和处理器；所述激光设置在摄像头上，所述激光、摄像头和调角器分别与处理器连接，所述激光和摄像头分别与调角器连接，还包括服务端和至少一个以上的终端；所述测量端通过服务端分别与终端连接。服务端分别与测量端及终端通过网络连接。服务端提供测量端和终端之间的通信接口，服务端接收来自/发送去往测量端或终端的电信号。终端向用户显示可视输出，包括二维图像、三维重建结果的文本信息、图形信息及其任意组合。终端接收用户的控制输入，向服务端发送控制信号，执行二维图像抓取，获取图像内物体三维重建结果。
综上所述，本发明提供的一种基于参考平面的单目图像三维重建方法、系统及装置，利用单目对平面的三维重建能力，首先创建参考平面，然后基于参考平面把图像中的每个物体点映射到每个模拟平面，来获得每个物体点的深度，完成整个图像的三维重建。其结构简单，实现容易，有很好的场景易用性。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种单目图像三维重建方法，其特征在于，包括以下步骤：
S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
S2、分割所述二维图像，得到对应三维空间中的多个参考平面；
S3、根据多个参考平面完成所述二维图像所对应的三维重建；
S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建；
步骤S1具体为：
旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；
步骤S2具体为：
使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；
步骤S3具体为：
将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；
步骤S4具体为：
提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建；
所述步骤S2还包括：
预先采集大量同类应用场景图片，使用SLIC算法对所述采集的同类应用场景图片进行超像素处理，得到图像颜色与纹理的分布情况；
对具有相同特性的超像素进行分组；
对采集的同类应用场景图像进行超像素分组后，对分组进行标注，标注出是参考平面还是非参考平面，再通过深度学习创建分类模型。
2.根据权利要求1所述的单目图像三维重建方法，其特征在于，步骤S2还包括：
将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。
3.一种单目图像三维重建系统，其特征在于，包括一个或多个处理器及存储器，所述存储器存储有程序，该程序被处理器执行时实现以下步骤：
S1、拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
S2、分割所述二维图像，得到对应三维空间中的多个参考平面；
S3、根据多个参考平面完成所述二维图像所对应的三维重建；
S4、提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建；
步骤S1具体为：
旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；
步骤S2具体为：
使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；
步骤S3具体为：
将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；
步骤S4具体为：
提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建；
所述步骤S2还包括：
预先采集大量同类应用场景图片，使用SLIC算法对所述采集的同类应用场景图片进行超像素处理，得到图像颜色与纹理的分布情况；
对具有相同特性的超像素进行分组；
对采集的同类应用场景图像进行超像素分组后，对分组进行标注，标注出是参考平面还是非参考平面，再通过深度学习创建分类模型。
4.根据权利要求3所述的单目图像三维重建系统，其特征在于，该程序被所述处理器执行时进一步实现包括以下步骤：
将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。
5.一种单目图像三维重建装置，其特征在于，包括相互连接的摄像头和三维重建单元，所述摄像头被配置为拍摄得到一二维图像，所述二维图像的内容为需要三维重建的场景；
所述三维重建单元被配置为分割所述二维图像，得到对应三维空间中的多个参考平面；根据多个参考平面完成所述二维图像所对应的三维重建；提取所述二维图像中所有物体在其对应的参考平面上的投影点，完成所有物体的三维重建；
所述摄像头具体被配置为旋转摄像头至需要三维重建的场景区域后，通过摄像头对场景区域进行图像拍摄，得到一二维图像；
所述三维重建单元具体被配置为使用分类模型对二维图像进行分析，分割出对应三维空间中的多个参考平面；
将所述摄像头的光轴到参考平面的平移向量及旋转向量代入参考平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中参考平面的三维重建；
提取所述二维图像中所有物体在其对应的参考平面上的投影点，得到所述物体点所在的平面，将所述物体点所对应的摄像头的光轴到参考平面的平移向量及旋转向量代入物体点平面的三维参考坐标系和二维图像坐标系之间的映射模型中，完成二维图像中所有物体的三维重建；
还包括所述分类模型的建立；
所述分类模型的建立包括：
预先采集大量同类应用场景图片，使用SLIC算法对所述采集的同类应用场景图片进行超像素处理，得到图像颜色与纹理的分布情况；
对具有相同特性的超像素进行分组；
对采集的同类应用场景图像进行超像素分组后，对分组进行标注，标注出是参考平面还是非参考平面，再通过深度学习创建分类模型。
6.根据权利要求5所述的单目图像三维重建装置，其特征在于，所述三维重建单元具体被配置为将所述二维图像中属于参考平面区域的像素标记为参考平面类型，所述二维图像中不属于参考平面区域的像素标记为非参考平面类型。
CN201910964298.0A 2018-08-31 2018-08-31 单目图像三维重建方法、系统及装置 Active CN110827392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910964298.0A CN110827392B (zh) 2018-08-31 2018-08-31 单目图像三维重建方法、系统及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910964298.0A CN110827392B (zh) 2018-08-31 2018-08-31 单目图像三维重建方法、系统及装置
CN201811009447.XA CN109147027B (zh) 2018-08-31 2018-08-31 基于参考平面的单目图像三维重建方法、系统及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811009447.XA Division CN109147027B (zh) 2018-08-31 2018-08-31 基于参考平面的单目图像三维重建方法、系统及装置

Publications (2)

Publication Number Publication Date
CN110827392A CN110827392A (zh) 2020-02-21
CN110827392B true CN110827392B (zh) 2023-03-24

Family

ID=64825870

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910964298.0A Active CN110827392B (zh) 2018-08-31 2018-08-31 单目图像三维重建方法、系统及装置
CN201811009447.XA Active CN109147027B (zh) 2018-08-31 2018-08-31 基于参考平面的单目图像三维重建方法、系统及装置
CN201910963573.7A Active CN110838164B (zh) 2018-08-31 2018-08-31 基于物体点深度的单目图像三维重建方法、系统及装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201811009447.XA Active CN109147027B (zh) 2018-08-31 2018-08-31 基于参考平面的单目图像三维重建方法、系统及装置
CN201910963573.7A Active CN110838164B (zh) 2018-08-31 2018-08-31 基于物体点深度的单目图像三维重建方法、系统及装置

Country Status (1)

Country Link
CN (3) CN110827392B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741404B (zh) * 2019-01-10 2020-11-17 奥本未来(北京)科技有限责任公司 一种基于移动设备的光场采集方法
CN111220127B (zh) * 2019-01-31 2022-07-26 金钱猫科技股份有限公司 一种激光聚焦测量方法及终端
CN112837404B (zh) * 2019-11-25 2024-01-19 北京初速度科技有限公司 一种平面对象的三维信息的构建方法及装置
CN111415420B (zh) * 2020-03-25 2024-01-23 北京迈格威科技有限公司 空间信息确定方法、装置及电子设备
CN112198529B (zh) * 2020-09-30 2022-12-27 上海炬佑智能科技有限公司 参考平面调整及障碍物检测方法、深度相机、导航设备
CN112198527B (zh) * 2020-09-30 2022-12-27 上海炬佑智能科技有限公司 参考平面调整及障碍物检测方法、深度相机、导航设备
CN112884898B (zh) * 2021-03-17 2022-06-07 杭州思看科技有限公司 用于测量纹理映射精度的参考装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024361A1 (zh) * 2013-08-20 2015-02-26 华为技术有限公司 三维重建方法及装置、移动终端
CN106960442A (zh) * 2017-03-01 2017-07-18 东华大学 基于单目红外的夜间机器人视觉大视场三维构建方法
CN107063129A (zh) * 2017-05-25 2017-08-18 西安知象光电科技有限公司 一种阵列式并行激光投影三维扫描方法
CN107945268A (zh) * 2017-12-15 2018-04-20 深圳大学 一种基于二元面结构光的高精度三维重建方法及系统
CN108062788A (zh) * 2017-12-18 2018-05-22 北京锐安科技有限公司 一种三维重建方法、装置、设备和介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240198B1 (en) * 1998-04-13 2001-05-29 Compaq Computer Corporation Method for figure tracking using 2-D registration
CN102697508B (zh) * 2012-04-23 2013-10-16 中国人民解放军国防科学技术大学 采用单目视觉的三维重建来进行步态识别的方法
CN102708566B (zh) * 2012-05-08 2014-10-29 天津工业大学 一种新型的单个摄像机和单个投影光源同步标定方法
CN103578133B (zh) * 2012-08-03 2016-05-04 浙江大华技术股份有限公司 一种将二维图像信息进行三维重建的方法和设备
CN103077524A (zh) * 2013-01-25 2013-05-01 福州大学 混合视觉系统标定方法
CN104809755B (zh) * 2015-04-09 2017-10-20 福州大学 基于单幅图像文化遗存遗址的三维重建方法
CN106204717B (zh) * 2015-05-28 2019-07-16 长沙维纳斯克信息技术有限公司 一种立体图像快速三维重建方法与装置
CN105303554B (zh) * 2015-09-16 2017-11-28 东软集团股份有限公司 一种图像特征点的3d重建方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024361A1 (zh) * 2013-08-20 2015-02-26 华为技术有限公司 三维重建方法及装置、移动终端
CN106960442A (zh) * 2017-03-01 2017-07-18 东华大学 基于单目红外的夜间机器人视觉大视场三维构建方法
CN107063129A (zh) * 2017-05-25 2017-08-18 西安知象光电科技有限公司 一种阵列式并行激光投影三维扫描方法
CN107945268A (zh) * 2017-12-15 2018-04-20 深圳大学 一种基于二元面结构光的高精度三维重建方法及系统
CN108062788A (zh) * 2017-12-18 2018-05-22 北京锐安科技有限公司 一种三维重建方法、装置、设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Accurate multiple view 3D reconstruction using patch-based stereo for large-scale scenes;Shen S;《IEEE Transactions on Image Processing》;20131231;全文 *
单目图像序列光流三维重建技术研究综述;张聪炫;《电子学报》;20161231;全文 *

Also Published As

Publication number Publication date
CN110838164A (zh) 2020-02-25
CN109147027A (zh) 2019-01-04
CN110827392A (zh) 2020-02-21
CN110838164B (zh) 2023-03-24
CN109147027B (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110827392B (zh) 单目图像三维重建方法、系统及装置
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN108827147B (zh) 一种基于快速标定的图像测量方法及系统
US11521311B1 (en) Collaborative disparity decomposition
US6781618B2 (en) Hand-held 3D vision system
US7098435B2 (en) Method and apparatus for scanning three-dimensional objects
JP4245963B2 (ja) 較正物体を用いて複数のカメラを較正するための方法およびシステム
US20030071194A1 (en) Method and apparatus for scanning three-dimensional objects
CN109544628B (zh) 一种指针式仪表的准确读数识别系统及方法
CN105654547B (zh) 三维重建方法
CN109242898B (zh) 一种基于图像序列的三维建模方法及系统
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
KR20120072146A (ko) 파노라마 영상을 이용한 입체 영상 생성 장치 및 방법
Mahdy et al. Projector calibration using passive stereo and triangulation
Wenzel et al. High-resolution surface reconstruction from imagery for close range cultural Heritage applications
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
Shimamura et al. Construction of an immersive mixed environment using an omnidirectional stereo image sensor
JPH10122819A (ja) キャリブレーション方法およびその装置
CN115326835B (zh) 圆筒内表面检测方法、可视化方法以及检测系统
Limonov et al. Stereoscopic realtime 360-degree video stitching
CN112422848B (zh) 一种基于深度图和彩色图的视频拼接方法
WO2018056802A1 (en) A method for estimating three-dimensional depth value from two-dimensional images
CN111091595B (zh) 斜视三维测绘方法及测绘系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant