CN111383330A - 一种复杂环境三维重建方法和系统 - Google Patents
一种复杂环境三维重建方法和系统 Download PDFInfo
- Publication number
- CN111383330A CN111383330A CN202010203630.4A CN202010203630A CN111383330A CN 111383330 A CN111383330 A CN 111383330A CN 202010203630 A CN202010203630 A CN 202010203630A CN 111383330 A CN111383330 A CN 111383330A
- Authority
- CN
- China
- Prior art keywords
- sub
- scene
- plane
- dimensional reconstruction
- planes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims description 47
- 239000013598 vector Substances 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种复杂环境三维重建方法和系统，本申请的方法采用移动机器人，对目标环境进行环绕扫描，获得目标环境的全局体素数据，将全局体素数据划分为多个子场景，分别对各子场景分别进行分析与验证，在子场景符合设定条件时，结束对子场景的分析，进行场景融合，创建三维地图，获得三维重建模型。本申请的系统包括机器人、深度摄像装置、场景分析与重建中心，场景分析与重建中心采用三维重建方法实现对环境的三维重建。本申请通过将全局数据划分为多个子场景，对各子场景分别进行分析验证，避免了整体数据分析时数据庞大、内存需求高的困难，减少了内存占用，提高了分析精度，提供更加精确完整的三维重建模型。
Description
技术领域
本发明涉及环境重建技术领域，尤其是涉及一种复杂环境三维重建方法和系统。
背景技术
三维重建是对物体建立适合计算机表示和处理的数学模型，并在计算机中表达客观世界的虚拟现实的关键技术。将三维重建技术应用到移动机器人上，在未知环境中机器人根据感知到的环境信息，对活动场所构建三维环境地图，精确的三维地图是确保机器人安全、稳定工作的前提，是目前服务类机器人研究中的热点问题。
美国斯坦福大学基于立体视觉原理，实现了移动机器人的三维环境重建；卡内基梅隆大学基于立体视觉实现了三维栅格的机器人空间感知和以激光、图像为源数据的三维室内重建，在机器人上配两个2D激光测距仪和一个摄像头，沿着测试场地采集100个不同视点的图像信息，利用立体匹配完成对室内环境的三维栅格地图建立，在摄像机附近清楚的地图下帮助机器人导航和执行动作；德国Andreas教授的Irma3D移动机器人通过Riegl VZ-400三维激光扫描仪获取室外环境点云数据对古建筑群实现了高精度的三维场景重现；德国Tubingen大学的Peter Biber等利用ActivMedia Peoplebot机器人结合全景相机实现对室内环境的三维重建等。
国内实现了在一个旋转平台上物体的重建，但由于旋转平台的转速影响重建的速度，且该方法只能对单一的小物体进行三维重建。
在fusion技术中，具有代表性的技术是KinectFusion实时三维扫描与重建技术，该技术是用Kinect摄像头作为扫描仪，以深度摄像机的位置作为坐标原点，将扫描获得的数据写入坐标系中，通过SLAM技术追踪摄像机的位置与姿态，根据扫描获得的实时场景数据融合到坐标系下，实现被扫描场景的三维模型构建。由于Kinect深度摄像机近距离的深度值比远距离的深度值更精确，因此KinectFusion给近距离的深度值更高的权重，对同一部分场景反复扫描获取多帧数据，根据权重平均值实现多帧数据的融合，通过反复更新扫描获得重建模型。
由于三维实时扫描的地图重建获得的模型是一个整体平滑图像，图像中各物体边缘直接相互连接，物体之间相互遮挡造成被遮挡区域的数据模型不完整，无法区分并提取场景中单独物体模型分析，因此，如何正确分割物体并去除支撑平面，只保留要分析的物体，并避免支撑面上较小或较薄的物体被误认为支撑平面或者直接被忽略，是日前亟待解决的问题。
发明内容
本发明的目的是提供一种复杂环境三维重建方法和系统，通过深度摄像图像获得全局体素数据，划分为多个子场景，对各子场景进行分割分析验证，满足条件后进行三维重建，将三维扫描与场景分析技术相结合，进行复杂环境的三维重建，实现了快速实时构建场景、物体的高质量模型。
本发明的上述发明目的通过以下技术方案得以实现：
一种复杂环境三维重建方法，包括以下步骤：
S1、开始；
S2、对目标环境进行环绕扫描，获得目标环境的全局体素数据；
S3、将全局体素数据划分为至少二个子场景；
S4、对各子场景分别进行分析与验证；
S5、进行场景融合；
S6、创建三维地图；
S7、结束。
本发明进一步设置为：步骤S2中，以深度摄像机的位置为坐标原点构建坐标系，追踪深度摄像机的当前位置与姿态，实时更新融合摄像数据，获得目标环境的全局体素数据。
本发明进一步设置为：步骤S3中，将全局体素数据划分为N个子场景，其中，N是大于1的正整数.
本发明进一步设置为：步骤S4中，子场景的分析与验证,包括以下步骤:
A1、获取子场景的体素数据；
A2、提取子场景的场景点云；
A3、根据场景点云，获得子平面检测图数据；
A4、基于二元图割算法，对子平面进行分割，获得子物体分割图；
A5、基于熵验证分割结果是否正确，若否，进入下一步，若是，转A7；
A6、推算下一次摄像的最优推动与最优视角，进行再次环绕扫描，划分子场景，转A1；
A7、建立子数据模型；
A8、结束当前子场景的分析。
本发明进一步设置为：步骤A3中，根据场景点云，采用分割算法获取子平面，结合子平面的相邻性，通过能量方程的最小化，删除所有属于平面的子平面与多余的边界，构造子平面图。
本发明进一步设置为：设子平面图G′P＝(ν′p，ε′p)，ν′p表示分割得到的各个子平面，ε′p表示相邻子平面的边界；
将子平面标记为：Y＝[y1，……yn]，yi∈{0,1}；
式中，当子平面Pi属于平面时，标记yi＝1，反之，则yi＝0；
能量方程如下式所示：
其中，Ed(yμ)为数据项：
式中，δ是固定常量，d是子平面Pμ中心点到匹配平面的距离，cosθμ,l是Pμ的平均法向量与匹配平面法向量的夹角；
Es(yμ，yν)为滑项：
Es(yμ，yν)＝Wc×Ec+Wp×Ep+Wn×En (3)
式中，Wc、Wp、Wn为权重常量，Ec、Ep为子平面Pμ、Pν之间颜色和平面度直方图的距离的单位化值；En为两个法向量的差异：
En(yμ，yν)＝1-η(1-cosθμ，ν) (4)
式中，θμ，ν为子平面Pμ、Pν平均法向量夹角；当两个相邻子平面构成凸角，η＝0.01，反之η＝1；
平面检测结束后，更新子平面图Gp＝(νp，εp)，完成数据预处理。
本发明进一步设置为：步骤A4中，对不同的子平面反复执行基于投票式的二元图割算法,产生多个物体假设，并通过投票机制选择可能性较高的假设，得到分割准确度较高的子物体分割图。
本发明进一步设置为：根据背景处罚值的定义获得参数能量方程，通过最小化参数能量方程，为n个子平面分别设置前景和背景标记，记为：X＝[x1，……xn]，xi∈{0，1}；选一个子平面为前景子平面，标记为Ps，并设xi＝1；
参数能量方程如下式：
式中，
为数据项：
公式(6)、(7)中的否则，表示除公式中表述的条件外的其余所有条件；fμ表示背景处罚值；d(Ps，Pμ)表示两个子平面Ps、Pμ中心点之间的距离；λ是一个固定值；
Es(xμ，xν)表示平滑项：
Es(xμ，xν)＝1-p(lμ≠lν|x(Pμ，Pν)) (8)；
x(Pμ，Pν)表示从子平面Pμ、Pν中提取的特征向量；为预测函数；g(t)＝1/(1+e-t)将预测函数得到的值转换为评估值；eμν是子平面Pμ、Pν的边界，pc(eμν)表示切割eμν的可能性，
pc(eμν)＝η(1-cosθμ，ν) (10)。
本发明进一步设置为：步骤A5中,采用基于熵的主动式分割结果验证,选择下一次最优推动及扫描的最优视角；
定义熵来衡量场景分割结果和三维重建的置信度:
H＝H(S，R)＝H(S)+H(R|S) (11)；
S是分割结果可能性随机变量,R是重建结果可能性随机变量,H(S)是分割熵，H(R|S)是在所述分割下的重建熵；
对Gp的S离散化Si∈S(Gp)，表示被切割边的切割可能性总和；
对特定的Gp的划分可能性为：
分割熵为：
为了评估重建的准确度，对特定子场景物体点云取零值表面并均匀采样提取离散点，记为Ω；位于某个离散点S局部的数据可信度用泊松场梯度来计算，
c(S)＝Γ(s)×ns (13)；
其中，Γ(s)是S处的梯度值，ns是S处的法向量；S∈Ω；
重建熵为：
式中，ε0(S)是子物体分割图的所有边界，
是边e连接相邻面上的离散点。
本发明的上述发明目的通过以下技术方案得以实现：
一种复杂环境三维重建系统，包括机器人、深度摄像装置、场景分析与重建中心，深度摄像装置安装地机器人上，随机器人的移动进行环绕扫描，并将扫描图像发送给场景分析与重建中心；场景分析与重建中心接收深度摄像装置传输的场景图像，结合机器人的位置，获得全局体素数据，从全局体素数据中划分至少二个子场景，分别对各子场景进行分析，从子场景数据中提取包含法向量的3D场景点云，进行分割算法，将场景点云分割为至少二个子平面，通过平面检测算法得到子平面图，并基于二元图割算法将物体分割转化为图割问题，得到子物体分割图，基于熵算法对分割结果进行验证，推算下次一最优推动与最优扫描视角，并引导机器人进行下一次扫描，更新模型数据，重新对场景进行评估，达到预设条件时，对场景进行融合，实现环境的三维重建。
与现有技术相比，本发明的有益技术效果为：
1.本申请的方法通过将全局数据划分为多个子场景，对各子场景分别进行分析验证，避免了整体数据分析时数据庞大、内存需求高的困难，减少了内存占用，提高了分析精度；
2.进一步地，本申请对各子场景提取场景点云，构造子平面图，用分割方法去除了支撑平面，实现了物体的分割；
3.进一步地，本申请基于熵对场景中置信度低的分割结果进行验证，保证了分析结果的精准性，为获得更加精确完整的三维重建模型提供支持；
4.本申请的系统，采用将全局体素数据划分为子场景，对子场景进行分析与验证的三维重建方法，实现了精准的三维重建。
附图说明
图1是本发明的一个具体实施例的三维重建方法流程示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
具体实施例1
本发明的一种复杂环境三维重建方法，如图1所示，包括以下步骤：
S1、开始；
S2、对目标环境进行环绕扫描，获得目标环境的全局体素数据；
S3、将全局体素数据划分为子场景；
S4、对子场景进行分析与验证；
S5、进行场景融合；
S6、创建三维地图；
S7、结束。
在ROS平台移动机器人上搭载Kinect 3D摄像头，环绕扫描对场景位置结构进行整体把握，检测周围环境的几何信息获得深度图像。
以Kinect深度摄像机的位置作为坐标原点构建坐标系，采用SLAM技术追踪Kinect摄像机当前的位置及姿态，将扫描获得的实时数据更新并融合到坐标系中，得到目标环境的全局体素数据。
将全局体素数据划分为N个子场景(ROI)，其中，N是大于1的正整数，对各子场景分别进行分析验证。
对子场景的分析与验证,包括以下步骤:
A1、获取子场景的体素数据；
A2、提取子场景的场景点云；
A3、根据场景点云，获得子平面检测图数据；
A4、基于二元图割算法，对子平面进行分割，获得子物体分割图；
A5、基于熵验证分割结果是否正确，若否，进入下一步，若是，转A7；
A6、推算下一次摄像的最优推动与最优视角，进行再次环绕扫描，划分子场景，转A1；
A7、建立子数据模型；
A8、结束当前子场景的分析。
运用Raycasting算法，对某一子场景(ROI)的体素数据提取场景点云，场景点云中包含该子场景的法向量，采用分割算法对场景点云进行分割，得到多于一个的子平面，根据子平面的相邻性，
通过能量方程的最小化，删除所有属于平面的子平面与多余的边界，构造子场景的子平面图(patch graph)。
设子平面图G′P＝(ν′p，ε′p)，ν′p表示分割得到的各个子平面，ε′p表示相邻子平面的边界；
将子平面标记为：Y＝[y1，……yn]，yi∈{0,1}；
式中，当子平面Pi属于平面时，标记yi＝1，反之，则yi＝0；
能量方程如下式所示：
其中，Ed(yμ)为数据项：
式中，δ是固定常量，d是子平面Pμ中心点到匹配平面的距离，cosθμ,l是Pμ的平均法向量与匹配平面法向量的夹角；
Es(yμ，yν)为滑项：
Es(yμ，yν)＝Wc×Ec+Wp×Ep+Wn×En (3)
式中，Wc、Wp、Wn为权重常量，Ec、Ep为子平面Pμ、Pν之间颜色和平面度直方图的距离的单位化值；En为两个法向量的差异：
En(yμ，yν)＝1-η(1-cosθμ,ν) (4)
式中，θμ,ν为子平面Pμ、Pν平均法向量夹角；当两个相邻子平面构成凸角，η＝0.01，反之η＝1；
平面检测结束后，更新子平面图Gp＝(νp，εp)，完成数据预处理。
对不同的子平面反复执行基于投票式的二元图割算法,产生多个物体假设，并通过投票机制选择可能性较高的假设，得到分割准确度较高的子物体分割图。
二元图割问题实质上是标记问题，根据背景处罚值的定义获得参数能量方程，通过最小化该参数能量方程，为n个子平面分别设置前景和背景标记，记为：
X＝[x1，……xn]，xi∈{0,1}；
选一个子平面为前景子平面，标记为Ps，并设xi＝1；
参数能量方程如下式：
式中，
为数据项：
公式(6)、(7)中的否则，表示除公式中表述的条件外的其余所有条件；fμ表示背景处罚值；d(Ps，Pμ)表示两个子平面Ps、Pμ中心点之间的距离；λ是一个固定值；
Es(xμ，xν)表示平滑项：
Es(xμ，xν)＝1-p(lμ≠lν|x(Pμ，Pν)) (8)；
x(Pμ，Pν)表示从子平面Pμ、Pν中提取的特征向量；f为预测函数；g(t)＝1/(1+e-t)将预测函数得到的值转换为评估值；eμν是子平面Pμ、Pν的边界，pc(eμν)表示切割eμν的可能性，
pc(eμν)＝η(1-cosθμ,ν) (10)。
采用基于熵的主动式分割结果验证,选择下一次最优推动(NBP)及扫描的最优视角(NBV)。
定义熵来衡量场景分割结果和三维重建的置信度，即用联合熵来衡量两个随机变量中的信息量:
H＝H(S,R)＝H(S)+H(R|S) (11)；
S是分割结果可能性随机变量,R是重建结果可能性随机变量,H(S)是分割熵，H(R|S)是在所述分割下的重建熵；
对Gp的S离散化Si∈S(Gp)，表示被切割边的切割可能性总和；
对特定的Gp的划分可能性为：
分割熵为：
为了评估重建的准确度，对特定子场景物体点云取零值表面并均匀采样提取离散点，记为Ω；位于某个离散点S局部的数据可信度用泊松场(Poisson Field)梯度进行计算：
c(S)＝Γ(s)×ns (13)；
其中，Γ(s)是S处的梯度值，ns是S处的法向量；S∈Ω；
重建熵为：
式中，ε0(S)是子物体分割图的所有边界，
是边e连接相邻面上的离散点。
验证结束后，推算下一次的最优推动NBP以及下一次的最优扫描视角NBV，引导ROS机器人进行下一步扫描更新，获得更加完整的模型数据，并将数据反馈给场景分析阶段进行评估，分割结果满足预先设定的算法结束条件时，结束当前子场景ROI(Region ofinterest)的分析。
将各个RIO分析结果的场景融合，获得三维重建模型。
具体实施例二
一种复杂环境三维重建系统，包括ROS平台移动机器人、Kinect 3D深度摄像头、场景分析与重建中心，深度摄像装置安装地机器人上，随机器人的移动进行环绕扫描，采用分治策略，检测周围环境的几何信息获得深度图像，并将扫描图像发送给场景分析与重建中心。
场景分析与重建中心接收深度摄像装置传输的场景图像，结合机器人的位置，运行KinectFusion，获得全局体素数据，从全局体素数据中划分10个子场景，采用分治策略分别对各子场景进行分析。
采用Raycasting算法，从KinectFusion获取的子场景数据中提取包含法向量的3D场景点云，进行分割算法，将场景点云分割为至少30个子平面，形成小的聚簇，通过平面检测算法得到子平面图。
对子平面图运行场景分析算法，将物体分割问题转化为图割问题，基于二元图割算法并通过投票机制获得场景初始的分割结果，将子平面图转化为子物体分割图。
基于熵算法对分割结果进行验证，推算下次一最优推动与最优扫描视角，并引导ROS机器人进行下一次扫描更新，获得更加完整的模型数据，并将数据反馈给场景分析阶段，重新对场景进行评估，场景分割结果达到预设的算法结束条件时，结束当前子平面的分析。
对各个子场景进行融合，实现环境的三维重建。
本实施例的实施原理为：
以KinectFusion实时三维扫描与重建技术为基础，对ROS机器人搭载Kinect深度摄像机在扫描过程中获得的场景模型进行实时分析，首先将初始场景划分为多个子长景(ROI)，从每个ROI的全局体素数据中提取场景点云后，进行分割算法得到子平面图(patchgraph)，并通过平面检测算法和二元图割方法，对场景模型排除支撑平面以及进行分割得到子物体平面图(object graph)，然后反馈给ROS机器人进行更新扫描，当满足算法结束条件时结束当前ROI的分析。将每个RIO分析后的数据不断重复进行精确拼接、融合与地图更新，实现被扫描场景和物体的实时建模重建。进行场景分析的同时采用基于熵的分割结果验证，并推算ROS机器人下一个最优推动(NBP)与最优视角(NBV)，引导ROS主动式的扫描更新，保证场景模型的完整性，提高场景重建与分析结果的可信度。
本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。
Claims (10)
1.一种复杂环境三维重建方法，其特征在于，包括以下步骤：
S1、开始；
S2、对目标环境进行环绕扫描，获得目标环境的全局体素数据；
S3、将全局体素数据划分为子场景；
S4、对子场景进行分析与验证；
S5、进行场景融合；
S6、创建三维地图；
S7、结束。
2.根据权利要求1所述复杂环境三维重建方法，其特征在于，步骤S2中，以深度摄像机的位置为坐标原点构建坐标系，追踪深度摄像机的当前位置与姿态，实时更新融合摄像数据，获得目标环境的全局体素数据。
3.根据权利要求1所述复杂环境三维重建方法，其特征在于，步骤S3中，将全局体素数据划分为N个子场景，其中，N是大于1的正整数。
4.根据权利要求1所述复杂环境三维重建方法，其特征在于，步骤S4中，子场景的分析与验证，包括以下步骤：
A1、获取子场景的体素数据；
A2、提取子场景的场景点云；
A3、根据场景点云，获得子平面检测图数据；
A4、基于二元图割算法，对子平面进行分割，获得子物体分割图；
A5、基于熵验证分割结果是否正确，若否，进入下一步，若是，转A7；
A6、推算下一次摄像的最优推动与最优视角，进行再次环绕扫描，划分子场景，转A1；
A7、建立子数据模型；
A8、结束当前子场景的分析。
5.根据权利要求4所述复杂环境三维重建方法，其特征在于，步骤A3中，根据场景点云，采用分割算法获取子平面，结合子平面的相邻性，通过能量方程的最小化，删除所有属于平面的子平面与多余的边界，构造子平面图。
6.根据权利要求5所述复杂环境三维重建方法，其特征在于，设子平面图G′P＝(v′p，ε′p)，v′p表示分割得到的各个子平面，ε′p表示相邻子平面的边界；
将子平面标记为：Y＝[y1，……yn]，yi∈{0，1}；
式中，当子平面Pi属于平面时，标记yi＝1，反之，则yi＝0；
能量方程如下式所示：
其中，Ed(yμ)为数据项：
式中，δ是固定常量，d是子平面Pu中心点到匹配平面的距离，
cosθμ，l是Pμ的平均法向量与匹配平面法向量的夹角；
Es(yμ’yv)为滑项：
Es(yμ，yv)＝Wc×Ec+Wp×Ep+Wn×En (3)
式中，Wc、Wp、Wn为权重常量，Ec、Ep为子平面Pμ、Pν之间颜色和平面度直方图的距离的单位化值；En为两个法向量的差异：
En(yμ，yv)＝1-η(1-cosθμ，ν) (4)
式中，θμ，ν为子平面Pμ、Pν平均法向量夹角；当两个相邻子平面构成凸角，η＝0.01，反之η＝1；
平面检测结束后，更新子平面图Gp＝(vp，εp)，完成数据预处理。
7.根据权利要求4所述复杂环境三维重建方法，其特征在于，步骤A4中，对不同的子平面反复执行基于投票式的二元图割算法，产生多个物体假设，并通过投票机制选择可能性较高的假设，得到分割准确度较高的子物体分割图。
8.根据权利要求7所述复杂环境三维重建方法，其特征在于，根据背景处罚值的定义获得参数能量方程，通过最小化参数能量方程，为n个子平面分别设置前景和背景标记，记为：X＝[x1，……xn]，xi∈{0，1}；选一个子平面为前景子平面，标记为Ps，并设xi＝1；
参数能量方程如下式：
式中，
为数据项：
公式(6)、(7)中的否则，表示除公式中表述的条件外的其余所有条件；fμ表示背景处罚值；d(Ps，Pμ)表示两个子平面Ps、Pμ中心点之间的距离；λ是一个固定值；
Es(xμ，xv)表示平滑项：
Es(xμ，xv)＝1-p(lμ≠lv|x(Pμ，Pν)) (8)；
x(Pμ，Pν)表示从子平面Pμ、Pν中提取的特征向量；f为预测函数；
g(t)＝1/(1+e-t)将预测函数得到的值转换为评估值；euv是子平面Pμ、Pν的边界，pc(eμv)表示切割eμv的可能性，
pc(eμv)＝η(1-cosθμ，ν) (10)。
9.根据权利要求4所述复杂环境三维重建方法，其特征在于，步骤A5中，采用基于熵的主动式分割结果验证，选择下一次最优推动及扫描的最优视角；
定义熵来衡量场景分割结果和三维重建的置信度：
H＝H(S，R)＝H(S)+H(R|S) (11)；
S是分割结果可能性随机变量，R是重建结果可能性随机变量，H(S)是分割熵，H(R|S)是在所述分割下的重建熵；
对Gp的S离散化Si∈S(Gp)，表示被切割边的切割可能性总和；
对特定的Gp的划分可能性为：
分割熵为：
为了评估重建的准确度，对特定子场景物体点云取零值表面并均匀采样提取离散点，记为Ω；位于某个离散点S局部的数据可信度用泊松场梯度来计算，
c(S)＝Γ(s)×ns (13)；
其中，Γ(s)是S处的梯度值，ns是S处的法向量；S∈Ω；
重建熵为：
式中，ε0(S)是子物体分割图的所有边界，
是边e连接相邻面上的离散点。
10.一种复杂环境三维重建系统，其特征在于，包括机器人、深度摄像装置、场景分析与重建中心，深度摄像装置安装地机器人上，随机器人的移动进行环绕扫描，并将扫描图像发送给场景分析与重建中心；场景分析与重建中心接收深度摄像装置传输的场景图像，结合机器人的位置，获得全局体素数据，从全局体素数据中划分至少二个子场景，分别对各子场景进行分析，从子场景数据中提取包含法向量的3D场景点云，进行分割算法，将场景点云分割为至少二个子平面，通过平面检测算法得到子平面图，并基于二元图割算法将物体分割转化为图割问题，得到子物体分割图，基于熵算法对分割结果进行验证，推算下次一最优推动与最优扫描视角，并引导机器人进行下一次扫描，更新模型数据，重新对场景进行评估，达到预设条件时，对场景进行融合，实现环境的三维重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010203630.4A CN111383330A (zh) | 2020-03-20 | 2020-03-20 | 一种复杂环境三维重建方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010203630.4A CN111383330A (zh) | 2020-03-20 | 2020-03-20 | 一种复杂环境三维重建方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111383330A true CN111383330A (zh) | 2020-07-07 |
Family
ID=71220004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010203630.4A Pending CN111383330A (zh) | 2020-03-20 | 2020-03-20 | 一种复杂环境三维重建方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383330A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012302A (zh) * | 2021-03-02 | 2021-06-22 | 北京爱笔科技有限公司 | 三维全景图生成方法、装置、计算机设备和存储介质 |
| CN113325767A (zh) * | 2021-05-27 | 2021-08-31 | 深圳Tcl新技术有限公司 | 场景推荐方法、装置、存储介质及电子设备 |
| CN114092791A (zh) * | 2021-11-19 | 2022-02-25 | 济南大学 | 一种基于场景感知的人机协同方法、系统及机器人 |
| CN114529678A (zh) * | 2022-02-23 | 2022-05-24 | 北京航空航天大学 | 基于多局部模型拼接的大范围室内空间三维重建方法 |
| CN118115685A (zh) * | 2024-03-14 | 2024-05-31 | 重庆赛力斯凤凰智创科技有限公司 | 仿真场景生成、测试方法、装置、设备和介质 |
| CN118418192A (zh) * | 2024-07-03 | 2024-08-02 | 中联重科股份有限公司 | 臂载随动感知系统、臂架作业方法及作业机械 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105260737A (zh) * | 2015-11-25 | 2016-01-20 | 武汉大学 | 一种融合多尺度特征的激光扫描数据物理平面自动化提取方法 |
| CN105427293A (zh) * | 2015-11-11 | 2016-03-23 | 中国科学院深圳先进技术研究院 | 室内场景扫描重建的方法及装置 |
| CN106803267A (zh) * | 2017-01-10 | 2017-06-06 | 西安电子科技大学 | 基于Kinect的室内场景三维重建方法 |
-
2020
- 2020-03-20 CN CN202010203630.4A patent/CN111383330A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427293A (zh) * | 2015-11-11 | 2016-03-23 | 中国科学院深圳先进技术研究院 | 室内场景扫描重建的方法及装置 |
| CN105260737A (zh) * | 2015-11-25 | 2016-01-20 | 武汉大学 | 一种融合多尺度特征的激光扫描数据物理平面自动化提取方法 |
| CN106803267A (zh) * | 2017-01-10 | 2017-06-06 | 西安电子科技大学 | 基于Kinect的室内场景三维重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 蔡晨贾农: "基于KinectFusion的主动式室内场景重建与分析", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012302A (zh) * | 2021-03-02 | 2021-06-22 | 北京爱笔科技有限公司 | 三维全景图生成方法、装置、计算机设备和存储介质 |
| CN113012302B (zh) * | 2021-03-02 | 2024-07-12 | 北京爱笔科技有限公司 | 三维全景图生成方法、装置、计算机设备和存储介质 |
| CN113325767A (zh) * | 2021-05-27 | 2021-08-31 | 深圳Tcl新技术有限公司 | 场景推荐方法、装置、存储介质及电子设备 |
| CN114092791A (zh) * | 2021-11-19 | 2022-02-25 | 济南大学 | 一种基于场景感知的人机协同方法、系统及机器人 |
| CN114529678A (zh) * | 2022-02-23 | 2022-05-24 | 北京航空航天大学 | 基于多局部模型拼接的大范围室内空间三维重建方法 |
| CN118115685A (zh) * | 2024-03-14 | 2024-05-31 | 重庆赛力斯凤凰智创科技有限公司 | 仿真场景生成、测试方法、装置、设备和介质 |
| CN118418192A (zh) * | 2024-07-03 | 2024-08-02 | 中联重科股份有限公司 | 臂载随动感知系统、臂架作业方法及作业机械 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111383330A (zh) | 一种复杂环境三维重建方法和系统 | |
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| EP3382644B1 (en) | Method for 3d modelling based on structure from motion processing of sparse 2d images | |
| US9942535B2 (en) | Method for 3D scene structure modeling and camera registration from single image | |
| Toft et al. | Long-term 3d localization and pose from semantic labellings | |
| Bulatov et al. | Context-based automatic reconstruction and texturing of 3D urban terrain for quick-response tasks | |
| Karantzalos et al. | Large-scale building reconstruction through information fusion and 3-d priors | |
| CN111640158B (zh) | 基于对应掩模的端到端的摄像头与激光雷达外参标定方法 | |
| Pylvanainen et al. | Automatic alignment and multi-view segmentation of street view data using 3d shape priors | |
| US20080247668A1 (en) | Method for reconstructing three-dimensional images from two-dimensional image data | |
| CN109685886A (zh) | 一种基于混合现实技术的配网三维场景建模方法 | |
| CN107492107B (zh) | 基于平面与空间信息融合的物体识别与重建方法 | |
| CN110245566B (zh) | 一种基于背景特征的红外目标远距离追踪方法 | |
| CN112465849B (zh) | 一种无人机激光点云与序列影像的配准方法 | |
| Zhao et al. | Cbhe: Corner-based building height estimation for complex street scene images | |
| CN114549956A (zh) | 一种深度学习辅助的倾斜模型建筑物外立面目标识别方法 | |
| CN115690138A (zh) | 一种融合车载影像与点云的道路边界提取与矢量化方法 | |
| Özdemir et al. | A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment | |
| Deng et al. | Binocular video-based 3D reconstruction and length quantification of cracks in concrete structures | |
| Gao et al. | Complete and accurate indoor scene capturing and reconstruction using a drone and a robot | |
| CN104166995B (zh) | 一种基于马步测度的Harris‑SIFT双目视觉定位方法 | |
| CN116385420A (zh) | 区域尺寸的确定方法、系统、设备及存储介质 | |
| Sun et al. | Geographic, geometrical and semantic reconstruction of urban scene from high resolution oblique aerial images. | |
| CN106780577B (zh) | 一种基于组特征的直线匹配方法 | |
| CN112767459A (zh) | 基于2d-3d转换的无人机激光点云与序列影像配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200707 |