CN104680520A - 一种现场三维信息勘验方法及系统 - Google Patents
一种现场三维信息勘验方法及系统 Download PDFInfo
- Publication number
- CN104680520A CN104680520A CN201510064304.9A CN201510064304A CN104680520A CN 104680520 A CN104680520 A CN 104680520A CN 201510064304 A CN201510064304 A CN 201510064304A CN 104680520 A CN104680520 A CN 104680520A
- Authority
- CN
- China
- Prior art keywords
- rgb
- information
- parameter
- image
- depth information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000011835 investigation Methods 0.000 title abstract 3
- 239000000284 extract Substances 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 235000012730 carminic acid Nutrition 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种现场三维信息勘验方法，包括以下步骤：步骤S1、获取目标物体的深度信息流与RGB信息流；步骤S2、基于获取的深度信息、RGB信息，提取运动参数后进行拼接。本发明提供了一种实时重构、操作简单易用且无需贴标记点的三维扫描勘察方法。
Description
技术领域
本发明涉及一种现场三维信息勘验方法及系统。
背景技术
传统的三维扫描技术有激光扫描与结构光扫描，这些扫描技术有一个通用的缺点是操作复杂，需要专业培训，同时为了获得高精度拼接效果，还需要在待测物体上贴大量标记点。这些都给这些三维扫描技术的推广应用带来大量不便。
在公安现场勘验领域，常用的现场勘验技术有视频、照片与绘图等方式，这些都是基于二维平面信息的勘验，如果想获取现场物证尺寸与相对空间位置信息，就需要使用三维数字建模技术。同时，在现场勘验的过程中，不能对物证进行各种处理与破坏，因此不能使用传统的在物体表面贴标记点的方式进行三维扫描，必须采用无损的三维扫描技术。
RGB-D传感器可以在采集传统RGB图像信号的同时采集物体的深度信息，该类传感器由一个传统的视频传感器和一个近红外深度传感器组成，获得深度信息的是依靠激光散斑成像。2011年微软发布kinect传感器即为第一代RGB-D传感器，它是基于Primesense公司的激光散斑成像方式来获得深度信息，采用类似技术的RGB-D传感器还有华硕公司的Xtion Pro Live，Primesense公司的Carmine1.08等。基于RGB-D传感器的三维扫描技术可用于人像扫描[1]，室内地图等领域[2]。不同于传统的激光三维扫描，基于RGB-D的三维扫描技术具有使用方便，性价比高等优点，例如Matterport公司的3D扫描仪，可在2小时扫描完成140平米的室内扫描。
发明内容
发明要解决的问题
本发明目的在于提供一种实时重构、操作简单易用且无需贴标记点的三维扫描勘察方法。
用于解决问题的方案
一种现场三维信息勘验方法，包括以下步骤：
步骤S1、获取目标物体的深度信息流与RGB信息流；
步骤S2、基于获取的深度信息、RGB信息，提取运动参数后进行拼接，具体包括：
步骤S21、基于设定的扫描范围，对当前的扫描仪位置进行预估：
根据光线投射方法，得到预估图像，将所述预估图像与扫描图像进行匹配，得到匹配误差；基于匹配误差，再次根据光线投射方法，更新预估图像，再次将所述预估图像与扫描图像进行匹配，得到匹配误差，直至所述匹配误差小于阈值；
步骤S22、对所述深度信息采用ICP匹配算法，提取主运动参数；
步骤S23、对所述RGB信息提取SURF特征，计算辅助运动参数；
步骤S24、将所述主运动参数与所述辅助运动参数进行融合，按照融合后的参数，将所述深度信息、RGB信息、扫描仪位置数据集成到TSDF数据卷，实时获得目标物体的三维数据。
本发明还提供一种现场三维信息勘验系统，包括：
RGB-D传感器，用于获取目标物体的深度信息流与RGB信息流，
处理模块与所述RGB-D传感器连接，用于基于获取的深度信息、RGB信息，提取运动参数后进行拼接，包括：基于设定的扫描范围，对当前的扫描仪位置进行预估；根据光线投射方法，得到预估图像，将所述预估图像与扫描图像进行匹配，得到匹配误差；基于匹配误差，再次根据光线投射方法，更新预估图像，再次将所述预估图像与扫描图像进行匹配，得到匹配误差，直至所述匹配误差小于阈值；对所述深度信息采用ICP匹配算法，提取主运动参数；对所述RGB信息提取SURF特征，计算辅助运动参数；将所述主运动参数与所述辅助运动参数进行融合，按照融合后的参数，将所述深度信息、RGB信息、扫描仪位置数据集成到TSDF数据卷，实时获得目标物体的三维数据。
优选地，现场三维信息勘验系统，所述RGB-D传感器为集成式RGB-D传感器。
发明的效果
本发明针对小范围的现场关键场景，开发一种基于RGB-D传感器的手持式、三维模型实时重构、操作简单易用且无需贴标记点的三维扫描方法和系统。实现了手持式，实时重构与无需贴标记点等目标。
附图说明
图1为本发明一实施例的流程示意图；
图2为本发明一实施例的结构示意图；
具体实施方式
以下将结合实施例详细说明本发明的各种示例性实施例、特征和方面。为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有这些具体细节，本发明同样可以实施。在另外一些实例中，对于大家熟知的方法、手段、材料未作详细描述，以便于凸显本发明的主旨。
如图1所示，一种现场三维信息勘验方法，包括以下步骤：
步骤S1、获取目标物体的深度信息流与RGB信息流。
深度信息流，由RGB-D传感器输出的包含深度信息的深度图像组成。
RGB信息流，由RGB-D传感器输出的彩色图像组成。
步骤S2、基于获取的深度信息、RGB信息，提取运动参数后进行拼接。步骤S2具体可以包括：
步骤S21、基于设定的扫描范围，对当前的扫描仪位置进行预估：根据光线投射方法，得到预估图像，将所述预估图像与扫描图像进行匹配，得到匹配误差；基于匹配误差，再次根据光线投射方法，更新预估图像，再次将所述预估图像与扫描图像进行匹配，得到匹配误差，直至所述匹配误差小于阈值。
设定的扫描范围，可以根据现场的实际情况，设定一个具体的扫描范围，例如，可以将扫描范围的起始点设定为扫描仪，最小的扫描范围可以设定为扫描仪0.3米×0.3米×0.3米，最大的扫描范围可以设定3米×3米×3米。所示扫描范围，可以为扫描仪的正前方，也可以为以扫描仪为中心点30°至180°的扇面范围，具体可以依据现场实际情况确定。
光线投射方法，可以为通过RayCast算法，得到预估图像。
匹配误差，是指预估图像与扫描图像的对应点差值之和。
阈值，是指允许的匹配误差最大值，该数值可以根据情况而设定。
步骤S22、对所述深度信息采用ICP匹配算法，提取主运动参数。
ICP匹配算法，是指Iterative Closest Point算法，用于计算深度图像与三维模型之间的相对位置。
步骤S23、对所述RGB信息提取SURF特征，计算辅助运动参数。
SURF特征提取分析，是对SIFT算法的改进，其基本结构、步骤与SIFT相近，但具体实现的过程有所不同。SURF算法的优点是速度远快于SIFT且稳定性好。SURF大量合理使用积分图像降低运输量，而且在运用的过程中并未降低精度(小波变换，Hessian矩阵行列式检测都是成熟有效的手段)。在时间上，SURF运行速度大约为SIFT的3倍；在质量上，SURF的鲁棒性很好，特征点识别率较SIFT高，在视角、光照、尺度变化等情形下，大体上都优于SIFT。
主运动参数、辅助运动参数，可以为扫描仪的6自由度运动参数。
步骤S24、将所述主运动参数与所述辅助运动参数进行融合，按照融合后的参数，将所述深度信息、RGB信息、扫描仪位置数据集成到TSDF数据卷，实时获得目标物体的三维数据。
将所述主运动参数与所述辅助运动参数进行融合，是指如果主运动参数与辅助运动参数的位移矢量的欧氏距离小于设定的阈值，则采用主运动参数作为融合后的参数，否则采用辅助运动参数作为融合后的参数。
融合后的参数，仍然是扫描仪的6自由度运动参数。
TSDF数据卷，是指Truncated Signed Distance Function Volume，是三维扫描模型的一种表示方式。
如图2所示，本发明还提供一种现场三维信息勘验系统，包括：
RGB-D传感器，用于获取目标物体的深度信息流与RGB信息流，
处理模块，与所述RGB-D传感器连接，用于基于获取的深度信息、RGB信息，提取运动参数后进行拼接，包括：基于设定的扫描范围，对当前的扫描仪位置进行预估；根据光线投射方法，得到预估图像，将所述预估图像与扫描图像进行匹配，得到匹配误差；基于匹配误差，再次根据光线投射方法，更新预估图像，再次将所述预估图像与扫描图像进行匹配，得到匹配误差，直至所述匹配误差小于阈值；对所述深度信息采用ICP匹配算法，提取主运动参数；对所述RGB信息提取SURF特征，计算辅助运动参数；将所述主运动参数与所述辅助运动参数进行融合，按照融合后的参数，将所述深度信息、RGB信息、扫描仪位置数据集成到TSDF数据卷，实时获得目标物体的三维数据。
优选地，现场三维信息勘验系统，所述RGB-D传感器为集成式RGB-D传感器。
在一种实施方式中，采用以下方法实现手持式，实时重构与无需贴标记点等目标。
步骤1，采用集成式RGB-D传感器，可以同时获取物体的深度信息流与RGB信息流。
步骤2，采用配备英伟达高性能独立显卡的笔记本电脑作为主机来驱动RGB-D传感器与扫描程序，实现模型实时重构。
步骤3，采用一个定制夹具将RGB-D传感器固定在笔记本上来实现手持式扫描。
步骤4，采用基于深度信息与RGB信息的特征点提取与拼接算法，实现无需在待扫描物体上贴标记点即可完成扫描。
其中，步骤1中所采用的集成式RGB-D传感器包括微软公司的kinect1.0，华硕公司的Xtion Pro Live，Primesense公司的Carmine 1.08与Carmine1.09，乐视公司的Letv体感传感器。
其中，步骤2中配备英伟达高性能独立显卡一般是指GTX840M，GTX850M，GTX860M，GTX870M甚至更好性能的显卡。
其中，步骤3中所使用的定制夹具是指将RGB-D传感器固定在笔记本屏幕背面。
其中，步骤4中所使用的三维场景重建算法整体框图如图1所示，具体包括以下几步：
步骤S1、获取目标物体的深度信息流与RGB信息流；
步骤S2、基于获取的深度信息、RGB信息，提取运动参数后进行拼接，具体包括：
步骤S21、基于标准扫描范围，对当前的扫描仪位置进行预估：根据光线投射方法，得到预估图像，将所述预估图像与扫描图像进行匹配，得到匹配误差；基于匹配误差，再次根据光线投射方法，更新预估图像，再次将所述预估图像与扫描图像进行匹配，得到匹配误差，直至所述匹配误差小于阈值；
步骤S22、对所述深度信息采用ICP匹配算法，提取主运动参数；
步骤S23、对所述RGB信息提取SURF特征，计算辅助运动参数；
步骤S24、将所述主运动参数与所述辅助运动参数进行融合，按照融合后的参数，将所述深度信息、RGB信息、扫描仪位置数据集成到TSDF数据卷，实时获得目标物体的三维数据。
在一种实施方式中，使用Primesense 1.09的RGB-D传感器，笔记本电脑华硕N551JM4710，采用自行开发与之配套的软件进行小范围场景扫描，扫描过程如下：
步骤1：将RGB-D传感器通过USB口与笔记本电脑连接，并安装好相应驱动。
步骤2：打开扫描软件，设定扫描范围，范围起始点为扫描仪，最小为0.3米×0.3米×0.3米，最大不超过3米×3米×3米。
步骤3：点击打开设备，可打开RGB-D传感器，可以从软件中看到RGB-D传感器实时传输回来的视频图像和深度图像，视频图像帧率一般为20-30帧。
步骤4：点击开始扫描，软件将视频流与深度图像流实时进行三维拼接。左半部分为RGB实时图像，右半部分为实时重构的三维模型。
步骤5：缓慢移动RGB-D传感器，获得一定范围的扫描模型；如果模型拼接出现错误，可以重新扫描。
步骤6：扫描完成；
步骤7：生成模型，软件自动生成完整的三维模型，模型中包含深度信息和纹理信息，可以保存为ply、obj与stl格式。
虽然已经参照以上实施方式说明了本发明，但是，应该理解的是本发明不限于所公开的实施方式。所附权利要求书的范围应在最宽泛的范围内进行解释，以涵盖所有变型、等同结构和功能。
Claims (3)
1.一种现场三维信息勘验方法，其特征在于，包括以下步骤：
步骤S1、获取目标物体的深度信息流与RGB信息流；
步骤S2、基于获取的深度信息、RGB信息，提取运动参数后进行拼接，具体包括：
步骤S21、基于设定的扫描范围，对当前的扫描仪位置进行预估：
根据光线投射方法，得到预估图像，将所述预估图像与扫描图像进行匹配，得到匹配误差；
基于匹配误差，再次根据光线投射方法，更新预估图像，再次将所述预估图像与扫描图像进行匹配，得到匹配误差，直至所述匹配误差小于阈值；
步骤S22、对所述深度信息采用ICP匹配算法，提取主运动参数；
步骤S23、对所述RGB信息提取SURF特征，计算辅助运动参数；
步骤S24、将所述主运动参数与所述辅助运动参数进行融合，按照融合后的参数，将所述深度信息、RGB信息、扫描仪位置数据集成到TSDF数据卷，实时获得目标物体的三维数据。
2.一种现场三维信息勘验系统，其特征在于，包括：
RGB-D传感器，用于获取目标物体的深度信息流与RGB信息流，
处理模块，与所述RGB-D传感器连接，用于基于获取的深度信息、RGB信息，提取运动参数后进行拼接，包括：
基于设定的扫描范围，对当前的扫描仪位置进行预估；根据光线投射方法，得到预估图像，将所述预估图像与扫描图像进行匹配，得到匹配误差；基于匹配误差，再次根据光线投射方法，更新预估图像，再次将所述预估图像与扫描图像进行匹配，得到匹配误差，直至所述匹配误差小于阈值；对所述深度信息采用ICP匹配算法，提取主运动参数；对所述RGB信息提取SURF特征，计算辅助运动参数；将所述主运动参数与所述辅助运动参数进行融合，按照融合后的参数，将所述深度信息、RGB信息、扫描仪位置数据集成到TSDF数据卷，实时获得目标物体的三维数据。
3.根据权利要求2所述的现场三维信息勘验系统，其特征在于，所述RGB-D传感器为集成式RGB-D传感器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510064304.9A CN104680520B (zh) | 2015-02-06 | 2015-02-06 | 一种现场三维信息勘验方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510064304.9A CN104680520B (zh) | 2015-02-06 | 2015-02-06 | 一种现场三维信息勘验方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104680520A true CN104680520A (zh) | 2015-06-03 |
| CN104680520B CN104680520B (zh) | 2018-08-14 |
Family
ID=53315513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510064304.9A Withdrawn - After Issue CN104680520B (zh) | 2015-02-06 | 2015-02-06 | 一种现场三维信息勘验方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104680520B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296756A (zh) * | 2015-06-04 | 2017-01-04 | 高德软件有限公司 | 一种多边形的压缩方法及装置 |
| CN106530395A (zh) * | 2016-12-30 | 2017-03-22 | 碰海科技（北京）有限公司 | 深度及彩色成像一体式手持三维建模装置 |
| WO2017076106A1 (zh) * | 2015-11-06 | 2017-05-11 | 杭州海康威视数字技术股份有限公司 | 图像的拼接方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
| CN104240297A (zh) * | 2014-09-02 | 2014-12-24 | 东南大学 | 一种救援机器人三维环境地图实时构建方法 |
-
2015
- 2015-02-06 CN CN201510064304.9A patent/CN104680520B/zh not_active Withdrawn - After Issue
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
| CN104240297A (zh) * | 2014-09-02 | 2014-12-24 | 东南大学 | 一种救援机器人三维环境地图实时构建方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296756A (zh) * | 2015-06-04 | 2017-01-04 | 高德软件有限公司 | 一种多边形的压缩方法及装置 |
| WO2017076106A1 (zh) * | 2015-11-06 | 2017-05-11 | 杭州海康威视数字技术股份有限公司 | 图像的拼接方法和装置 |
| US10755381B2 (en) | 2015-11-06 | 2020-08-25 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method and device for image stitching |
| CN106530395A (zh) * | 2016-12-30 | 2017-03-22 | 碰海科技（北京）有限公司 | 深度及彩色成像一体式手持三维建模装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104680520B (zh) | 2018-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fathi et al. | Automated as-built 3D reconstruction of civil infrastructure using computer vision: Achievements, opportunities, and challenges | |
| Golparvar-Fard et al. | Evaluation of image-based modeling and laser scanning accuracy for emerging automated performance monitoring techniques | |
| Thoeni et al. | A comparison of multi-view 3D reconstruction of a rock wall using several cameras and a laser scanner | |
| KR101841668B1 (ko) | 입체 모델 생성 장치 및 방법 | |
| CN103810685B (zh) | 一种深度图的超分辨率处理方法 | |
| Alshawabkeh et al. | Integration of digital photogrammetry and laser scanning for heritage documentation | |
| US9659408B2 (en) | Mesh reconstruction from heterogeneous sources of data | |
| CN104933704B (zh) | 一种三维立体扫描方法及系统 | |
| CN103971408A (zh) | 三维人脸模型生成系统及方法 | |
| Peña-Villasenín et al. | 3-D modeling of historic façades using SFM photogrammetry metric documentation of different building types of a historic center | |
| CN109685893B (zh) | 空间一体化建模方法及装置 | |
| US11989827B2 (en) | Method, apparatus and system for generating a three-dimensional model of a scene | |
| Rüther et al. | From point cloud to textured model, the zamani laser scanning pipeline in heritage documentation | |
| CN104680520A (zh) | 一种现场三维信息勘验方法及系统 | |
| CN111047678B (zh) | 一种三维人脸采集装置和方法 | |
| CN113362467B (zh) | 基于点云预处理和ShuffleNet的移动端三维位姿估计方法 | |
| Gonzalez‐Aguilera et al. | Forensic terrestrial photogrammetry from a single image | |
| JP3862402B2 (ja) | ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 | |
| Karnicki | Photogrammetric reconstruction software as a cost-efficient support tool in conservation research | |
| Firdaus et al. | Comparisons of the three-dimensional model reconstructed using MicMac, PIX4D mapper and Photoscan Pro | |
| Bui et al. | Integrating videos with LIDAR scans for virtual reality | |
| WO2023074124A1 (ja) | 建屋内構造物認識システム及び建屋内構造物認識方法 | |
| TWI768231B (zh) | 資訊處理裝置、記錄媒體、程式產品以及資訊處理方法 | |
| Sakpere | Virtual 3D reconstruction of archaeological pottery using coarse registration | |
| CN117115274B (zh) | 三维信息的确定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Meijun Inventor before: Zhou Xiaohui Inventor before: Fan An |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20180302 Address after: The high-tech industry of Guangdong Province in 511500 Qingcheng District of Qingyuan city science and Technology Innovation Park Development Zone, Chong Hing Road No. 18 Tian Chi Exhibition Service Center by 159 Applicant after: Qingyuan starter Intelligent Technology Co., Ltd. Address before: 710000 Shaanxi city of Xi'an province Changan District Wei Guolu Xi'an University of Posts and Telecommunications Applicant before: Zhou Xiaohui Applicant before: Fan An |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| AV01 | Patent right actively abandoned | ||
| AV01 | Patent right actively abandoned | ||
| AV01 | Patent right actively abandoned |
Granted publication date: 20180814 Effective date of abandoning: 20190425 |
|
| AV01 | Patent right actively abandoned |
Granted publication date: 20180814 Effective date of abandoning: 20190425 |