CN113902846A - 一种基于单目深度相机和里程传感器的室内三维建模方法 - Google Patents

一种基于单目深度相机和里程传感器的室内三维建模方法 Download PDF

Info

Publication number
CN113902846A
CN113902846A CN202111182816.7A CN202111182816A CN113902846A CN 113902846 A CN113902846 A CN 113902846A CN 202111182816 A CN202111182816 A CN 202111182816A CN 113902846 A CN113902846 A CN 113902846A
Authority
CN
China
Prior art keywords
monocular depth
camera
depth camera
frame
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111182816.7A
Other languages
English (en)
Other versions
CN113902846B (zh
Inventor
李锐剑
赵希亭
吕文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiwu Intelligent Technology Shanghai Co ltd
Original Assignee
Daiwu Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiwu Intelligent Technology Shanghai Co ltd filed Critical Daiwu Intelligent Technology Shanghai Co ltd
Priority to CN202111182816.7A priority Critical patent/CN113902846B/zh
Publication of CN113902846A publication Critical patent/CN113902846A/zh
Application granted granted Critical
Publication of CN113902846B publication Critical patent/CN113902846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及三维稠密重建技术领域，具体涉及一种基于单目深度相机和里程传感器的室内三维建模方法，包括：采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像；利用所述里程计传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧；对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿；基于所述相机位姿，进行室内三维建模。该方法可以克服目前三维建模系统因为彩色点云配准失效和误配准导致的建模结果不可用的问题。

Description

一种基于单目深度相机和里程传感器的室内三维建模方法
技术领域
本发明涉及三维稠密重建技术领域，具体涉及一种基于单目深度相机和里程传感器的室内三维建模方法。
背景技术
在三维稠密重建领域，常用的输入设备为单目深度相机，传统方法对单目图像进行二维特征匹配，再对深度图像进行三维点云配准，最后逐帧计算相对位姿，进而得到每帧的相机位姿。文章“Open3D:A Modern Library for 3D Data Processing”对单目深度相机生成的彩色点云进行配准，从而实现帧间位姿估计，进一步对重建过程分段，先匹配固定数量的连续帧，组成一段(fragment)，再以段为整体进行段与段之间的彩色点云配准和位姿优化，实现了比较好的细节并保证了建模结果的结构性。
但是，由于单目深度相机会受物体表面材质的影响，容易出现深度值缺失的问题；此外，在使用单目深度相机时，白墙等平面场景的深度缺乏三维信息，存在不可观的自由度；并且，在使用单目深度相机时，图像容易受运动影响而出现运动模糊，白墙、天花板等场景难以提取有效特征。这些都会导致基于彩色点云配准的位姿估计失败。即便是配准成功的场景，由于缺乏对结果的验证，也容易造成段间误配准，导致重建结果不可用。
因此，有必要提供一种室内三维建模的方法，克服目前三维建模系统因为彩色点云配准失效和误配准导致的建模结果不可用的问题。
发明内容
解决的技术问题
针对现有技术所存在的上述缺点，本发明提供了一种基于单目深度相机和里程传感器的室内三维建模方法，该方法可以克服目前三维建模系统因为彩色点云配准失效和误配准导致的建模结果不可用的问题。
技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
本发明提供一种基于单目深度相机和里程传感器的室内三维建模方法，包括：
采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像；
利用所述里程计传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧；
对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿；
基于所述相机位姿，进行室内三维建模。
进一步地，所述综合两者采集的场景数据得到多帧单目深度图像，具体为：
采用一棋盘格标定板，对所述单目深度相机和所述里程传感器组成的系统进行标定，得到所述里程计传感器的单目相机cam0到所述单目深度相机cam1的外参
Figure BDA0003297961410000021
根据内置标定已知所述里程计传感器输出的位姿odom到所述里程计传感器的单目相机cam0的外参
Figure BDA0003297961410000031
由此计算所述里程计传感器输出的位姿odom到所述单目深度相机cam1的外参
Figure BDA0003297961410000032
Figure BDA0003297961410000033
根据所述外参
Figure BDA0003297961410000034
将所述里程计传感器采集的位置数据转换到所述单目深度相机的坐标系，并与所述单目深度相机采集的场景数据综合，得到所述多帧单目深度图像及所述相对位置初值。
进一步地，所述根据所述外参
Figure BDA0003297961410000035
将所述里程计传感器采集的位置数据转换到所述单目深度相机的坐标系，具体为：
所述单目深度相机以5帧每秒的帧率运行，所述里程计传感器以200帧每秒的帧率运行；
根据所述单目深度相机和所述里程计传感器发布数据的时间戳，为所述单目深度相机的每一帧匹配时间上最相近的所述里程计传感器采集的位置数据作为这一帧的初始位姿，再根据所述外参
Figure BDA0003297961410000036
将所述里程计传感器采集的位置数据转换到所述单目深度相机的坐标系。
进一步地，所述利用所述里程计传感器提供的位置数据计算得到相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，具体为：
将所述多帧单目深度图像均转化成彩色点云；
通过彩色点云配准算法进行帧与帧之间的彩色点云配准，其中所述点云配准算法使用具有联合优化目标的ICP迭代，优化的目标函数如下：
E(T)＝(1-δ)Ec(T)+δEG(T)
其中，T是待优化的相对位姿，Ec和EG分别是光度误差项和几何误差项，δ是经验决定的权重，几何项EG测量的是点q到点p切平面的距离差：
Figure BDA0003297961410000041
其中，p，q分别是两个点云的对应匹配点，K是匹配点集合，np是点p的法线，颜色项EC测量的是点q的颜色C(q)与其在点p的切平面的投影的颜色差：
Figure BDA0003297961410000042
其中，f(·)表示将点q投影到点p的切平面，Cp(·)表示点p切平面上连续定义的预计算函数。
进一步地，所述彩色点云配准还包括对于是否配准正确进行判断，具体为：
对于彩色点云中的每个点，取其邻域点构建协方差矩阵，计算法向量，配准结果包含两个点云间的匹配点对，由此得到多个已知法向量的匹配点对；
约定某一点的法向量方向与所述单目深度相机到该点的向量夹角为负，若所有匹配点对中，法向量夹角小于5°的匹配点对的数量超过匹配点对总数的70％，则判断配准正确，反之为误配准。
进一步地，所述基于所述相机位姿，进行室内三维建模，具体为：
基于所述相机位姿，利用TSDF算法得到三维建模结果，所述TSDF算法包括：
将空间划分为等大的三维网格，根据所述相机位姿和内参，将任意体素x投影到所述单目深度图像中，获取其在所述单目深度图像中的测量距离Ddepth(x)，并计算任意体素x到所述单目深度相机的真实距离Dreal(x)；定义tsdfi(x)为对体素x的第i次的观测值，有：
Figure BDA0003297961410000051
其中，t为截断距离，根据TSDF定义，当Ddepth(x)与Dreal(x)的距离差小于t，tsdfi(x)返回(-1，1)之间的值，否则返回±1；
根据下式：
Figure BDA0003297961410000052
其中，Wi(x)＝Wi-1(x)+wi(x)，wi(x)为对体素x的第i次的观测权重；
在每个所述相机位姿处对体素x的TSDF值进行更新；
当所有所述相机位姿更新结束，得到一个全局数据立方体，每一个体素x中的值代表该体素x到重建表面的距离，其中正负交界的位置就是全局数据立方体表面的位置，提取所有的表面得到三维建模结果。
进一步地，每个所述一段包括连续的40帧单目深度图像融合生成的彩色点云。
进一步地，对每个所述一段进行首尾扩展，以使相邻段之间有10帧单目深度图像重叠。
有益效果
本发明提供的技术方案，与已知的公有技术相比，具有如下有益效果：
本发明针对室内三维建模提出了提高彩色点云配准准确率和鲁棒性的算法，避免了配准失效对建模结果的影响，改进了三维建模算法流程，实现了精细鲁棒的室内三维建模。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于单目深度相机和里程传感器的室内三维建模方法步骤示意图；
图2为本发明一实施例提供的基于单目深度相机和里程传感器的室内三维建模方法流程示意图；
图3为本发明一实施例提供的基于单目深度相机和里程传感器的室内三维建模方法中生成一段的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，本发明一实施例提供了一种基于单目深度相机和里程传感器的室内三维建模方法，包括：
S100、采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像。
在本实施例中，参阅图2，本实施例采用一个单目深度相机和一个里程计传感器组成的双传感器系统，两个传感器采用上下分布。由于单目深度相机和里程计传感器都可以提供单目图像，采用一棋盘格标定板，对所述单目深度相机和所述里程传感器组成的系统进行标定，得到所述里程计传感器的单目相机cam0到所述单目深度相机cam1的外参
Figure BDA0003297961410000071
根据内置标定已知所述里程计传感器输出的位姿odom到所述里程计传感器的单目相机cam0的外参
Figure BDA0003297961410000072
由此计算所述里程计传感器输出的位姿odom到所述单目深度相机cam1的外参
Figure BDA0003297961410000073
Figure BDA0003297961410000074
根据所述外参
Figure BDA0003297961410000075
将所述里程计传感器采集的位置数据转换到所述单目深度相机的坐标系，并与所述单目深度相机采集的场景数据综合，得到所述多帧单目深度图像及所述相对位置初值。
S200、利用所述里程计传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧。
在本实施例中，利用所述里程计传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，具体为：
将所述多帧单目深度图像均转化成彩色点云；
通过彩色点云配准算法进行帧与帧之间的彩色点云配准，其中所述点云配准算法使用具有联合优化目标的ICP迭代，优化的目标函数如下：
E(T)＝(1-δ)Ec(T)+δEG(T)
其中，T是待优化的相对位姿，Ec和EG分别是光度误差项和几何误差项，δ是经验决定的权重，几何项EG测量的是点q到点p切平面的距离差：
Figure BDA0003297961410000081
其中，p，q分别是两个点云的对应匹配点，K是匹配点集合，np是点p的法线，颜色项EC测量的是点q的颜色C(q)与其在点p的切平面的投影的颜色差：
Figure BDA0003297961410000082
其中，f(·)表示将点q投影到点p的切平面，Cp(·)表示点p切平面上连续定义的预计算函数。
采用上述配准方法在于发明人研究发现彩色点云配准算法对两帧点云的相对位姿初值T较为敏感。在常规的点云配准算法中，T通常被设置为单位矩阵(identitymatrix)，这假设两帧间相对位姿变化比较小，否则彩色点云配准容易收敛到局部极小值而导致配准失败。
因此，发明人引入里程计提供的位姿初值，在配准前，根据当前帧和前一帧的里程计数据计算T，这样就能得到更稳定准确的配准结果，即使配准失败，我们依然可以使用T作为配准结果。由于里程计传感器融合了视觉信息与非视觉信息如惯性测量单元(IMU)，因此在视觉定位失效的情况下也能够输出鲁棒的相对位姿。获得鲁棒的点云配准结果之后，我们选择连续的40帧作为一个段，使用0pen3D提供的位姿图优化算法，对段内部的帧的累计误差进行平均，此时的累计误差小，优化后段内细节得到保留。
在本实施例中，发明人研究发现彩色点云配准存在误配准情况，如图3左边所示，操作员先在墙一侧的房间录制，其后在墙另一侧的房间录制，当进行段配准时，根据前述彩色点云配准方法，彩色点云配准趋向于将两侧的墙融合在一起，这显然是错误的。
因此，发明人引入了在彩色点云配准过程中对于是否配准正确进行判断，具体为：
对于彩色点云中的每个点，取其邻域点构建协方差矩阵，计算法向量，配准结果包含两个点云间的匹配点对，由此得到多个已知法向量的匹配点对；
约定某一点的法向量方向与所述单目深度相机到该点的向量夹角为负，可以使匹配点对中两个点的法向量具有可比性；若所有匹配点对中，法向量夹角小于5°的匹配点对的数量超过匹配点对总数的70％，则判断配准正确，反之为误配准。
S300、对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿。
在本实施例中，每个所述一段是连续的40帧单目深度图像融合生成的彩色点云，段配准也属于彩色点云配准。如图3所示，由于连续的扫描一般在空间上是非重复的，对任意两个相邻所述一段，它们的相对位姿主要取决于前一个所述一段的最后一帧和后一个所述一段的第一帧的配准结果。当以所述一段为整体对所有的所述一段进行优化，优化结果容易在段与段之间出现剧变。因此我们对每个所述一段进行首尾扩展，保证相邻所述一段之间有10帧重叠，这样在进行段间位姿图优化时，受重叠帧约束，段与段之间的连接更加平滑，使建模结果连续性更好。
S400、基于所述相机位姿，进行室内三维建模。
在本实施例中，具体为：
基于所述相机位姿，利用TSDF算法得到三维建模结果，所述TSDF算法包括：
将空间划分为等大的三维网格，根据所述相机位姿和内参，将任意体素x投影到所述相机位姿中，获取其在所述相机位姿中的测量距离Ddepth(x)，并计算任意体素x到所述单目深度相机的真实距离Dreal(x)；定义tsdfi(x)为对体素x的第i次的观测值，有：
Figure BDA0003297961410000101
其中，t为截断距离，根据TSDF定义，当Ddepth(x)与Dreal(x)的距离差小于t，tsdfi(x)返回(-1，1)之间的值，否则返回±1；
根据下式：
Figure BDA0003297961410000102
其中，Wi(x)＝Wi-1(x)+wi(x)，wi(x)为对体素x的第i次的观测权重；
在每个所述相机位姿处对体素x的TSDF值进行更新；
当所有所述相机位姿更新结束，得到一个全局数据立方体，每一个体素x中的值代表该体素x到重建表面的距离，其中正负交界的位置就是全局数据立方体表面的位置，提取所有的表面得到三维建模结果，该结果具有极高的鲁棒性和准确性。
本发明的优点在于针对室内三维建模提出了提高彩色点云配准准确率和鲁棒性的算法，避免了配准失效对建模结果的影响，改进了三维建模算法流程，实现了精细鲁棒的室内三维建模。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。

Claims (8)

1.一种基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，包括：
采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像；
利用所述里程计传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧；
对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿；
基于所述相机位姿，进行室内三维建模。
2.根据权利要求1所述的基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，所述综合两者采集的场景数据得到多帧单目深度图像，具体为：
采用一棋盘格标定板，对所述单目深度相机和所述里程传感器组成的系统进行标定，得到所述里程计传感器的单目相机cam0到所述单目深度相机cam1的外参
Figure FDA0003297961400000011
根据内置标定已知所述里程计传感器输出的位姿odom到所述里程计传感器的单目相机cam0的外参
Figure FDA0003297961400000012
由此计算所述里程计传感器输出的位姿odom到所述单目深度相机cam1的外参
Figure FDA0003297961400000013
Figure FDA0003297961400000014
根据所述外参
Figure FDA0003297961400000015
将所述里程计传感器采集的位置数据转换到所述单目深度相机的坐标系，并与所述单目深度相机采集的场景数据综合，得到所述多帧单目深度图像及所述相对位置初值。
3.根据权利要求2所述的基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，所述根据所述外参
Figure FDA0003297961400000021
将所述里程计传感器采集的位置数据转换到所述单目深度相机的坐标系，具体为：
所述单目深度相机以5帧每秒的帧率运行，所述里程计传感器以200帧每秒的帧率运行；
根据所述单目深度相机和所述里程计传感器发布数据的时间戳，为所述单目深度相机的每一帧匹配时间上最相近的所述里程计传感器采集的位置数据作为这一帧的初始位姿，再根据所述外参
Figure FDA0003297961400000022
将所述里程计传感器采集的位置数据转换到所述单目深度相机的坐标系。
4.根据权利要求1所述的基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，所述利用所述里程计传感器提供的位置数据计算得到相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，具体为：
将所述多帧单目深度图像均转化成彩色点云；
通过彩色点云配准算法进行帧与帧之间的彩色点云配准，其中所述点云配准算法使用具有联合优化目标的ICP迭代，优化的目标函数如下：
E(T)＝(1-δ)Ec(T)+δEG(T)
其中，T是待优化的相对位姿，Ec和EG分别是光度误差项和几何误差项，δ是经验决定的权重，几何项EG测量的是点q到点p切平面的距离差：
Figure FDA0003297961400000031
其中，p,q分别是两个点云的对应匹配点，K是匹配点集合，np是点p的法线，颜色项EC测量的是点q的颜色C(q)与其在点p的切平面的投影的颜色差：
Figure FDA0003297961400000032
其中，f(·)表示将点q投影到点p的切平面，Cp(·)表示点p切平面上连续定义的预计算函数。
5.根据权利要求4所述的基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，所述彩色点云配准还包括对于是否配准正确进行判断，具体为：
对于彩色点云中的每个点，取其邻域点构建协方差矩阵，计算法向量，配准结果包含两个点云间的匹配点对，由此得到多个已知法向量的匹配点对；
约定某一点的法向量方向与所述单目深度相机到该点的向量夹角为负，若所有匹配点对中，法向量夹角小于5°的匹配点对的数量超过匹配点对总数的70％，则判断配准正确，反之为误配准。
6.根据权利要求1所述的基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，所述基于所述相机位姿，进行室内三维建模，具体为：
基于所述相机位姿，利用TSDF算法得到三维建模结果，所述TSDF算法包括：
将空间划分为等大的三维网格，根据所述相机位姿和内参，将任意体素x投影到所述单目深度图像中，获取其在所述单目深度图像中的测量距离Ddepth(x)，并计算任意体素x到所述单目深度相机的真实距离Dreal(x)；定义tsdfi(x)为对体素x的第i次的观测值，有：
Figure FDA0003297961400000041
其中，t为截断距离，根据TSDF定义，当Ddepth(x)与Dreal(x)的距离差小于t，tsdfi(x)返回(-1,1)之间的值，否则返回±1；
根据下式：
Figure FDA0003297961400000042
其中，Wi(x)＝Wi-1(x)+wi(x)，wi(x)为对体素x的第i次的观测权重；
在每个所述相机位姿处对体素x的TSDF值进行更新；
当所有所述相机位姿更新结束，得到一个全局数据立方体，每一个体素x中的值代表该体素x到重建表面的距离，其中正负交界的位置就是全局数据立方体表面的位置，提取所有的表面得到三维建模结果。
7.根据权利要求1所述的基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，每个所述一段包括连续的40帧单目深度图像融合生成的彩色点云。
8.根据权利要求7所述的基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，对每个所述一段进行首尾扩展，以使相邻段之间有10帧单目深度图像重叠。
CN202111182816.7A 2021-10-11 2021-10-11 一种基于单目深度相机和里程传感器的室内三维建模方法 Active CN113902846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111182816.7A CN113902846B (zh) 2021-10-11 2021-10-11 一种基于单目深度相机和里程传感器的室内三维建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111182816.7A CN113902846B (zh) 2021-10-11 2021-10-11 一种基于单目深度相机和里程传感器的室内三维建模方法

Publications (2)

Publication Number Publication Date
CN113902846A true CN113902846A (zh) 2022-01-07
CN113902846B CN113902846B (zh) 2024-04-12

Family

ID=79191455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111182816.7A Active CN113902846B (zh) 2021-10-11 2021-10-11 一种基于单目深度相机和里程传感器的室内三维建模方法

Country Status (1)

Country Link
CN (1) CN113902846B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578522A (zh) * 2022-11-17 2023-01-06 武汉光庭信息技术股份有限公司 一种基于图像的彩色稠密化点云生成方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031064A1 (en) * 2004-06-10 2007-02-08 Wenyi Zhao Method and apparatus for aligning video to three-dimensional point clouds
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN106910242A (zh) * 2017-01-23 2017-06-30 中国科学院自动化研究所 基于深度相机进行室内完整场景三维重建的方法及系统
US20180018805A1 (en) * 2016-07-13 2018-01-18 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法
CN108765548A (zh) * 2018-04-25 2018-11-06 安徽大学 基于深度相机的三维场景实时重建方法
CN109544677A (zh) * 2018-10-30 2019-03-29 山东大学 基于深度图像关键帧的室内场景主结构重建方法及系统
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031064A1 (en) * 2004-06-10 2007-02-08 Wenyi Zhao Method and apparatus for aligning video to three-dimensional point clouds
US20180018805A1 (en) * 2016-07-13 2018-01-18 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN106910242A (zh) * 2017-01-23 2017-06-30 中国科学院自动化研究所 基于深度相机进行室内完整场景三维重建的方法及系统
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法
CN108765548A (zh) * 2018-04-25 2018-11-06 安徽大学 基于深度相机的三维场景实时重建方法
CN109544677A (zh) * 2018-10-30 2019-03-29 山东大学 基于深度图像关键帧的室内场景主结构重建方法及系统
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
WO2021115071A1 (zh) * 2019-12-12 2021-06-17 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578522A (zh) * 2022-11-17 2023-01-06 武汉光庭信息技术股份有限公司 一种基于图像的彩色稠密化点云生成方法及装置
CN115578522B (zh) * 2022-11-17 2023-03-10 武汉光庭信息技术股份有限公司 一种基于图像的彩色稠密化点云生成方法及装置

Also Published As

Publication number Publication date
CN113902846B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
JP7143225B2 (ja) 三次元再構成方法及び三次元再構成装置
EP3447730B9 (en) Three-dimensional reconstruction method
CN107533763B (zh) 图像处理装置、图像处理方法及程序
CA2890717C (en) Three-dimensional object recognition device and three-dimensional object recognition method
CN108694741B (zh) 一种三维重建方法及装置
JP2009017480A (ja) カメラキャリブレーション装置およびそのプログラム
WO2010142929A1 (en) 3d image generation
CN111882655B (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN109859249B (zh) Rgbd序列中基于自动分层的场景流估计方法
JP2014074632A (ja) 車載ステレオカメラの校正装置及び校正方法
CN113223050A (zh) 一种基于ArUco码的机器人运动轨迹实时采集方法
CN113902846A (zh) 一种基于单目深度相机和里程传感器的室内三维建模方法
WO2021230157A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN115097419A (zh) 一种激光雷达到imu的外参标定方法及装置
JP2007025863A (ja) 撮影システム、撮影方法及び画像処理プログラム
CN117456114A (zh) 基于多视图的三维图像重建方法及系统
JP7170230B2 (ja) 三次元再構成方法及び三次元再構成装置
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
CN114608522B (zh) 一种基于视觉的障碍物识别与测距方法
JP2000055658A (ja) 画像処理装置および方法、並びに提供媒体
KR100961616B1 (ko) 컨투어 정합을 이용한 전방향 카메라 보정 방법 및 시스템
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
JP2004020398A (ja) 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体
CN113916213A (zh) 定位方法、装置、电子设备和计算机可读存储介质
JP2018205008A (ja) カメラキャリブレーション装置およびカメラキャリブレーション方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant