CN117173342A - 基于水下单双目相机的自然光下移动三维重建装置及方法 - Google Patents
基于水下单双目相机的自然光下移动三维重建装置及方法 Download PDFInfo
- Publication number
- CN117173342A CN117173342A CN202311447519.XA CN202311447519A CN117173342A CN 117173342 A CN117173342 A CN 117173342A CN 202311447519 A CN202311447519 A CN 202311447519A CN 117173342 A CN117173342 A CN 117173342A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- point cloud
- coordinate system
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000011521 glass Substances 0.000 claims abstract description 17
- 229910052594 sapphire Inorganic materials 0.000 claims abstract description 17
- 239000010980 sapphire Substances 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000005286 illumination Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000000280 densification Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 229910000838 Al alloy Inorganic materials 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
基于水下单双目相机的自然光下移动三维重建装置及方法，装置壳体前方和下方设有镶嵌蓝宝石玻璃视窗的开孔；双目相机紧贴于水密壳体前方的蓝宝石玻璃视窗，单目相机和线激光器斜向紧贴于水密壳体下方的蓝宝石玻璃视窗。重建方法包括设备标定，图像采集，图像预处理，点云生成，场景重建。本发明在自然光照或主动光源等较强光线照射的情况下，前方双目相机在光照充足的情况下完成视觉里程计的任务，而下方单目相机和线激光器可以避免过亮环境对激光线提取的影响。此外，通过改进损失约束的深度神经网络能够确保在一定光照条件下仍然可以准确的在图像中提取激光线的像素坐标。两者搭配能够完成大范围的移动式高精度的场景三维重建。
Description
技术领域
本发明涉及一种三维移动重建方法及装置，尤其涉及一种基于水下单双目相机的自然光下移动三维重建装置及方法。
背景技术
水下物体的三维移动重建是，水下观察、测绘的重要方式。现有的三维移动重建技术包括：基于激光三角法的旋转水下物体三维重建方法（CN112991533A）将激光发射器与相机通过支架固定在旋转轴上，通过事先标定好的激光平面与相机之间的坐标关系，提取相机拍摄图片中的激光点坐标，转换为三维点云。再将旋转轴驱动的不同角度的点云进行拼接，完成物体表面的三维重建。该专利中的设备局限于单个相机只能得到单帧图像激光线的三维点云，该技术的三维重建过程选择旋转马达带动相机旋转并进行多角度图像拼接，导致重建范围是以旋转轴为圆心，相机观测范围为半径的圆，难以满足大范围的场景重建。
基于多光谱光度立体与激光扫描的三维成像装置及方法（CN109920007A）集成多光谱光度立体和激光扫描两种技术，通过标定、获取多帧图像、计算位姿、点云生成、法向量优化等过程,实现对小场景或物体进行高精度、高细节的三维重建。该技术激光线提取要求没有自然光源，以免复杂光线环境对激光提取带来影响。
现有技术均考虑单个相机完成三维重建任务，但同时使用单目和双目可以并行完成不同功能的任务，进一步释放视觉传感器的优势，因此亟需相关技术扩展水下移动三维重建的方法及装置。
发明内容
本发明目的是提供一种具有耐光功能的水下单双目移动三维重建装置及方法，依靠本发明提供的装置及方法，在自然光照或主动光源等较强光线照射的情况下，仍可克服复杂光线环境对激光提取带来影响而实现水下移动三维重建。
基于水下单双目相机的自然光下移动三维重建装置，包括水密壳体，该水密壳体上方设有用于固定在水下航行器上的固定环；其特征是所述水密壳体前方和下方设有镶嵌蓝宝石玻璃视窗的开孔；双目相机紧贴于水密壳体前方的蓝宝石玻璃视窗，单目相机和线激光器斜向紧贴于水密壳体下方的蓝宝石玻璃视窗，相机信号由光纤传输至岸上。
基于水下单双目相机的自然光下移动三维重建方法，其特征是利用所述三维重建装置，包括以下步骤：
步骤S1.设备标定：首先设定双目相机和单目相机曝光、亮度、分辨率参数使其在拍摄过程中保持不变；标定所有相机的内参；标定相对于单目相机坐标系的线激光平面参数，并在后续拍摄数据过程中保持不变；标定双目相机和单目相机之间的外部参数，用以进行坐标系转换。
步骤S2.图像采集：将设备固定在水下航行器，使其一直处于开启状态，操作水下航行器移动并对场景进行拍摄；双目相机与单目相机以相同的频率同步采集数据。
步骤S3.图像预处理：对双目图像使用特征提取、匹配、求解，从而获取每帧图像的相机位姿并作为装置当前的位姿，通过深度神经网络提取方法获取单目相机每帧图像中激光线的像素坐标。
步骤S4.点云生成：结合已经获取的激光线的像素坐标和已标定的线激光平面的参数，基于相机投影模型和激光三角法，获取单目图像中每个激光线的像素坐标的三维点云坐标；
通过双目相机与单目相机间的相对位置关系，将单目相机坐标系下的激光线的三维点云坐标转换至双目相机坐标系下；
结合基于图像特征点的里程计获取每帧图像的相机位姿，对每帧图像的三维点云坐标，通过每帧之间坐标系的对齐，使所有图像三维点云处于同一坐标系下。
步骤S5.场景重建：通过对多帧三维点云的下采样、去噪、上采样获得场景的低噪声稠密三维点云，通过对三维点云进行泊松三角面片化以生成场景的三维模型。
通过以上步骤即可进行重建，而本发明所提出的水下移动三维重建的三维成像方法的技术细节体现在S3、S4、S5，分别标以K1、K2、K3，下面对其进一步优化。
K1.步骤S3中，根据步骤S2图像采集后得到的视频序列，使用深度学习网络对激光线像素进行提取，具体来说，将图像输入到VGG神经网络中，最后通过交叉熵损失，一阶连续性损失，二阶连续性损失约束激光线像素坐标的提取，使网络能够在光照条件下正确提取到激光线像素。
其中交叉熵损失为：
，
其中表示第/>行第/>列像素的类别值，激光线为1，背景为0，/>表示分割网络预测第/>行第/>列像素为激光线的概率，/>为图像总行数，/>为图像总列数，/>为像素总数；
一阶连续性损失为：
，
其中表示分割网络预测第/>行第/>列像素为激光线的概率，/>为图像总行数，/>为图像总列数。
二阶连续性损失为：
，
其中表示第行像素预测为激光线的概率总和，/>为图像总行数。
总损失为：
。
K2.步骤S4中，根据S1标定的激光平面在单目坐标系下的平面参数，可以由像素坐标得到单目坐标系下的三维点云。
首先，根据相机投影模型，将图像像素坐标转化为相机坐标系中归一化平面上的坐标(x,y,1)。
根据相机投影模型可知，在相机坐标系下，沿着投影射线分布的三维点存在比例关系：
，
之后，联立根据预先标定的，在相机坐标系下的激光线照射形成的平面的方程：
，
可以得到图像中激光线像素对应的三维点云坐标：
，
其中，（x,y,1）是相机坐标系中激光线像素在归一化平面上的坐标，是单目相机坐标系下激光线平面的参数，/>是单目相机坐标系下的三维点云坐标。
根据步骤S1标定获得的单目相机坐标系到双目相机坐标系的转换矩阵，将单目坐标系点云转换到双目相机坐标系点云，该转换矩阵包括一个3*3维度的旋转矩阵和一个3*1维度的位移矩阵/>；
，
，
其中是单目相机坐标系下的三维点云坐标。
同样的，基于图像特征点的里程计获取每帧的双目相机到世界坐标系的转换矩阵，将不同时刻单目相机坐标系下的三维点云转换到统一的世界坐标系下：
，
其中是世界坐标系下的三维点云坐标；由此获得大范围的水下场景三维点云。
K3.步骤S5中，为了得到平滑无噪声的水下场景重建结果，首先对三维点云进行体素下采样。具体来说，将世界坐标系划分为指定边长的三维网格，统计每一个网格中的三维点数量；对于三维点数量大于一个的体素网格，求解内部三维点的坐标中心，作为该体素网格的代表性三维点，同时删除其他三维点，用来达到去除冗余噪声和点云分布均匀化的目的。
其次，对三维点云进行去噪。具体来说，统计每一个三维点到5个最近邻三维点的距离总和，当该距离大于所有三维点到5个最近邻三维点的距离总和平均数的5倍时，认为该三维点属于离群的噪声点，将其从三维点云中剔除，用来达到去除点云噪声的目的。
之后，对三维点云进行上采样。具体来说，在上述每个三维点和最近邻5个三维点组成的局部点云中，用二次曲面方程拟合6个点组成的三维曲面。在该曲面上随机采样选取5个三维点加入到整体的三维点云中，用来达到点云的稠密化的目的。
最后，对三维点云进行三角面片化用以生成场景的三维模型。具体来说，使用泊松三角化方法对三维点云进行三角面片化，用来生成完整的三维模型。
本发明提供了一种新型的用于水下移动三维重建的装置及方法，在自然光照或主动光源等较强光线照射的情况下，前方双目相机在光照充足的情况下完成视觉里程计的任务，而下方单目相机和线激光器可以避免过亮环境对激光线提取的影响。此外，通过改进损失约束的深度神经网络能够确保在一定光照条件下仍然可以准确的在图像中提取激光线的像素坐标。两者搭配能够完成大范围的移动式高精度的场景三维重建。
实现了以下几个效果：
（1）现有技术中尚未出现同时采用单目相机和双目相机的水下移动三维重建装置，其原因之一是没有出现如何对单目相机和双目相机采集的数据进行协同运用的方法。本发明填补了这一空白。使用线激光器、单目相机、双目相机组合的独特装置结构，保证了在自然光照条件和主动光源照射条件下，放置在装置内部前方的双目相机可以在高亮度环境中获得清晰的水下图像用以定位，放置在装置内部下方的单目相机可以避开强光照射，保持在相对较暗的环境中完成激光线提取。
（2）该方法使用深度神经网络在传统交叉熵损失的基础上增加了一阶连续性损失和二阶连续性损失，加速网络的收敛速度，提高深度神经网络对激光线的线性结构提取精度，避免复杂场景对激光线坐标提取的干扰，完成了从图像采集到高精度大范围三维表面模型的移动式构建过程。
（3）该装置便于挂载到水下航行器中，对不同角度的大范围场景进行重建。
附图说明
图1 三维重建装置前视图（安装蓝宝石玻璃）。
图2三维重建装置前视图（未安装蓝宝石玻璃）。
图3三维重建装置仰视图（安装蓝宝石玻璃）。
图4三维重建装置仰视图（未安装蓝宝石玻璃）。
图5 三维重建方法流程图。
图6相机标定图像采集示意图。
图7 单目相机拍摄的一个摆件在水下低光照环境中的原始图像。
图8深度学习提取到的图7的激光线结果图。
图9场景在水下的原始图像。
图10对图9场景进行三维点云重建时的效果图。
图11一段管状物在水下的图像。
图12对图11中段管状物进行三维重建的效果图。
其中，1.双目相机，2.线激光器，3.单目相机，4.水密壳体，5. 蓝宝石玻璃。
具体实施方式
如图1-图4所示，本发明的基于水下单双目相机的自然光下移动三维重建装置，包括一个铝合金方形防水壳5，该壳体前面和下面开孔，由蓝宝石玻璃和橡胶胶圈进行防水密封。内部由一个有机塑料框架4作为内部支撑框架。双目相机1紧贴蓝宝石玻璃架设在有机塑料框架4上，位于铝合金方形防水壳5前方。单目相机3和线激光器2斜向紧贴蓝宝石玻璃架设在有机塑料框架4上，位于铝合金方形防水壳5下方。相机信号由铝合金方形防水壳5内部的光纤传输至岸上设备。此外，铝合金方形防水壳5内部设备由内部可充电式锂电池供电。
如图5所示，基于水下移动三维重建的三维成像方法，其具体技术方案如下：
S1.采集设备标定：首先设定双目相机1和单目相机3的曝光、亮度、分辨率参数使其在拍摄过程中保持不变；标定所有相机的内参；如图6所示，标定相对于单目相机坐标系的线激光平面参数，测得在相机坐标系下线激光平面的参数，并在后续拍摄数据过程中保持不变；标定双目相机1和单目相机3之间的外部参数，用以进行坐标系转换。
S2.图像采集：将设备固定在水下航行器，使双目相机1、线激光器2、单目相机3一直处于开启状态，操作水下航行器移动并对场景进行拍摄；双目相机1与单目相机3以30HZ的频率同步采集数据。
S3.图像预处理：对双目图像使用特征匹配求解获取每帧的相机位姿并作为装置当前的位姿，如图7、图8所示，通过深度神经网络提取方法获取单目相机当前图像中的激光线的像素坐标。
S4.点云生成：结合已经获取的激光线的像素坐标和已标定的线激光平面的参数，基于相机投影模型和激光三角法，获取单目图像中每个像素坐标的三维点云坐标。通过双目相机与单目相机间的相对位置关系，将单目相机坐标系下的三维点云坐标转换至双目相机坐标系下。结合基于图像特征点的里程计获取每帧的相机位姿、获取的三维点云坐标，通过坐标系对齐。使所有图像计算出的三维点云处于同一坐标系下。三维点云重建如图9、图10所示。
S5.场景重建：通过对多帧三维点云的下采样，去噪，上采样获得场景的低噪声稠密三维点云，通过对三维点云进行泊松三角面片化以生成场景的三维模型，结果如图11、图12所示，其中管状物为位于海水中的金属管。
通过以上步骤即可进行重建，而本发明所提出的水下移动三维重建的三维成像方法的技术细节体现在S3、S4、S5，分别标以K1、K2、K3，下面对其进一步优化，具体如下。
K1.步骤S3中，根据S2图像采集后得到的视频序列，使用深度学习网络对激光线像素进行提取，具体来说，本发明将图像输入到VGG神经网络中，最后通过交叉熵损失，一阶连续性损失，二阶连续性损失约束激光线的提取，使网络能够在光照条件下正确提取到激光线像素。
其中交叉熵损失为：
，
其中表示第/>行第/>列像素的类别值，激光线为1，背景为0，/>表示分割网络预测第/>行第/>列像素为激光线的概率，/>为图像总行数，/>为图像总列数，/>为像素总数；
一阶连续性损失为：
，
其中表示分割网络预测第/>行第/>列像素为激光线的概率，/>为图像总行数，/>为图像总列数。
二阶连续性损失为：
，
其中表示第行像素预测为激光线的概率总和，/>为图像总行数。
总损失为：
。
K2.步骤S4中，根据S1标定的激光平面在单目坐标系下的平面参数，可以由像素坐标得到单目坐标系下的三维点云。
首先，根据相机投影模型，将图像像素坐标转化为相机坐标系中归一化平面上的坐标(x,y,1)。
根据相机投影模型可知，在相机坐标系下，沿着投影射线分布的三维点存在比例关系：
，
之后，联立根据预先标定的，在相机坐标系下的激光线照射形成的平面的方程：
，
可以得到图像中激光线像素对应的三维点云坐标：
，
其中，（x,y,1）是相机坐标系中激光线像素在归一化平面上的坐标，是单目相机坐标系下激光线平面的参数，/>是单目相机坐标系下的三维点云坐标。
根据S1标定获得的单目相机坐标系到双目相机坐标系的转换矩阵，将单目坐标系点云转换到双目相机坐标系点云，该转换矩阵包括一个3*3维度的旋转矩阵和一个3*1维度的位移矩阵/>；
，
，
其中是单目相机坐标系下的三维点云坐标。
同样的，基于图像特征点的里程计获取每帧的双目相机到世界坐标系的转换矩阵，将不同时刻单目相机坐标系下的三维点云转换到统一的世界坐标系下：
，
其中是世界坐标系下的三维点云坐标；由此获得大范围的水下场景三维点云。
K3.步骤S5中，为了得到平滑无噪声的水下场景重建结果，首先对三维点云进行体素下采样。具体来说，将世界坐标系划分为指定边长的三维网格，统计每一个网格中的三维点数量。对于三维点数量大于一个的体素网格，求解内部三维点的坐标中心，作为该体素网格的代表性三维点，同时删除其他三维点，用来达到去除冗余噪声和点云分布均匀化的目的。
其次，对三维点云进行去噪。具体来说，统计每一个三维点到5个最近邻三维点的距离总和，当该距离大于所有三维点到5个最近邻三维点的距离总和平均数的5倍时，认为该三维点属于离群的噪声点，将其从三维点云中剔除，用来达到去除点云噪声的目的。
之后，对三维点云进行上采样。具体来说，在上述每个三维点和最近邻5个三维点组成的局部点云中，用二次曲面方程拟合6个点组成的三维曲面。在该曲面上随机采样选取5个三维点加入到整体的三维点云中，用来达到点云的稠密化的目的。
最后，对三维点云进行三角面片化用以生成场景的三维模型。具体来说，使用泊松三角化方法对三维点云进行三角面片化，用来生成完整的三维模型。
Claims (5)
1.基于水下单双目相机的自然光下移动三维重建装置，包括水密壳体（4），该水密壳体（4）上方设有用于固定在水下航行器上的固定环；其特征是所述水密壳体（4）前方和下方设有镶嵌蓝宝石玻璃视窗（5）的开孔；双目相机（1）紧贴于水密壳体前方的蓝宝石玻璃视窗（5），单目相机（3）和线激光器（2）斜向紧贴于水密壳体（4）下方的蓝宝石玻璃视窗（5）。
2.基于水下单双目相机的自然光下移动三维重建方法，其特征是利用权利要求1所述装置，包括以下步骤：
步骤S1.设备标定：首先设定双目相机和单目相机曝光、亮度、分辨率参数使其在拍摄过程中保持不变；标定所有相机的内参；标定相对于单目相机坐标系的线激光平面参数，并在后续拍摄数据过程中保持不变；标定双目相机和单目相机之间的外部参数，用以进行坐标系转换；
步骤S2.图像采集：将设备固定在水下航行器，使其一直处于开启状态，操作水下航行器移动并对场景进行拍摄；双目相机与单目相机以相同的频率同步采集数据；
步骤S3.图像预处理：对双目图像使用特征提取、匹配、求解，从而获取每帧图像的相机位姿并作为装置当前的位姿，通过深度神经网络提取方法获取单目相机每帧图像中激光线的像素坐标；
步骤S4.点云生成：结合已经获取的激光线的像素坐标和已标定的线激光平面的参数，基于相机投影模型和激光三角法，获取单目图像中每个激光线的像素坐标的三维点云坐标；
通过双目相机与单目相机间的相对位置关系，将单目相机坐标系下的激光线的三维点云坐标转换至双目相机坐标系下；
结合基于图像特征点的里程计获取每帧图像的相机位姿，对每帧图像的三维点云坐标，通过每帧之间坐标系的对齐，使所有图像三维点云处于同一坐标系下；
步骤S5.场景重建：通过对多帧三维点云的下采样、去噪、上采样获得场景的低噪声稠密三维点云，通过对三维点云进行泊松三角面片化以生成场景的三维模型。
3.如权利要求2所述的方法，其特征是所述步骤S3中，根据步骤S2图像采集后得到的视频序列，使用深度学习网络对激光线像素进行提取，具体来说，将图像输入到VGG神经网络中，最后通过交叉熵损失，一阶连续性损失，二阶连续性损失约束激光线像素坐标的提取，使网络能够在光照条件下正确提取到激光线像素；
其中交叉熵损失为：
，
其中表示第/>行第/>列像素的类别值，激光线为1，背景为0，/>表示分割网络预测第/>行第/>列像素为激光线的概率，/>为图像总行数，/>为图像总列数，/>为像素总数；
一阶连续性损失为：
，
其中表示分割网络预测第/>行第/>列像素为激光线的概率，/>为图像总行数，/>为图像总列数；
二阶连续性损失为：
，
其中表示第行像素预测为激光线的概率总和，/>为图像总行数；
总损失为：
。
4.如权利要求2所述的方法，其特征是所述步骤S4中，根据步骤S1标定的激光平面在单目坐标系下的平面参数，由像素坐标得到单目坐标系下的三维点云；
首先，根据相机投影模型，将图像像素坐标转化为相机坐标系中归一化平面上的坐标（x,y,1）；
根据相机投影模型可知，在相机坐标系下，沿着投影射线分布的三维点存在比例关系：
，
之后，联立根据预先标定的，在相机坐标系下的激光线照射形成的平面的方程：
，
得到图像中激光线像素对应的三维点云坐标：
，
其中，（x,y,1）是相机坐标系中激光线像素在归一化平面上的坐标，是单目相机坐标系下激光线平面的参数，/>是单目相机坐标系下的三维点云坐标；
根据S1标定获得的单目相机坐标系到双目相机坐标系的转换矩阵，将单目坐标系点云转换到双目相机坐标系点云，该转换矩阵包括一个3*3维度的旋转矩阵和一个3*1维度的位移矩阵/>；
，
，
其中是单目相机坐标系下的三维点云坐标；
同样的，基于图像特征点的里程计获取每帧的双目相机到世界坐标系的转换矩阵，将不同时刻单目相机坐标系下的三维点云转换到统一的世界坐标系下；
，
其中是世界坐标系下的三维点云坐标；由此获得大范围的水下场景三维点云。
5.如权利要求2所述的方法，其特征是所述步骤S5场景重建中，为了得到平滑无噪声的水下场景重建结果，首先对三维点云进行体素下采样，具体来说，将世界坐标系划分为指定边长的三维网格，统计每一个网格中的三维点数量；对于三维点数量大于一个的体素网格，求解内部三维点的坐标中心，作为该体素网格的代表性三维点，同时删除其他三维点，用来达到去除冗余噪声和点云分布均匀化的目的；
其次，对三维点云进行去噪，具体来说，统计每一个三维点到5个最近邻三维点的距离总和，当该距离大于所有三维点到5个最近邻三维点的距离总和平均数的5倍时，认为该三维点属于离群的噪声点，将其从三维点云中剔除，用来达到去除点云噪声的目的；
之后，对三维点云进行上采样，具体来说，在上述每个三维点和最近邻5个三维点组成的局部点云中，用二次曲面方程拟合6个点组成的三维曲面；在该曲面上随机采样选取5个三维点加入到整体的三维点云中，用来达到点云的稠密化的目的；
最后，对三维点云进行三角面片化用以生成场景的三维模型，具体来说，使用泊松三角化方法对三维点云进行三角面片化，用来生成完整的三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311447519.XA CN117173342B (zh) | 2023-11-02 | 基于水下单双目相机的自然光下移动三维重建装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311447519.XA CN117173342B (zh) | 2023-11-02 | 基于水下单双目相机的自然光下移动三维重建装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117173342A true CN117173342A (zh) | 2023-12-05 |
| CN117173342B CN117173342B (zh) | 2024-07-02 |
Family
ID=
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392329A (zh) * | 2023-12-08 | 2024-01-12 | 中国海洋大学 | 一种基于移动式多光谱光度立体设备的使用方法 |
| CN117541730A (zh) * | 2024-01-08 | 2024-02-09 | 清华四川能源互联网研究院 | 一种水下目标的三维图像重建方法及系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107588721A (zh) * | 2017-08-28 | 2018-01-16 | 武汉科技大学 | 一种基于双目视觉的零件多尺寸的测量方法及系统 |
| CN109146959A (zh) * | 2018-08-29 | 2019-01-04 | 华南农业大学 | 单目相机实现动态点三维测量方法 |
| CN109920007A (zh) * | 2019-01-26 | 2019-06-21 | 中国海洋大学 | 基于多光谱光度立体与激光扫描的三维成像装置及方法 |
| CN110349221A (zh) * | 2019-07-16 | 2019-10-18 | 北京航空航天大学 | 一种三维激光雷达与双目可见光传感器的融合标定方法 |
| CN110987902A (zh) * | 2019-11-28 | 2020-04-10 | 中国海洋大学 | 一种基于高压舱的水下libs光谱-图像联合探测装置 |
| CN111210468A (zh) * | 2018-11-22 | 2020-05-29 | 中移（杭州）信息技术有限公司 | 一种图像深度信息获取方法及装置 |
| CN212628104U (zh) * | 2020-08-28 | 2021-02-26 | 青岛海米飞驰智能科技有限公司 | 一种深海双目立体视觉相机 |
| CN112785702A (zh) * | 2020-12-31 | 2021-05-11 | 华南理工大学 | 一种基于2d激光雷达和双目相机紧耦合的slam方法 |
| CN213213633U (zh) * | 2020-11-03 | 2021-05-14 | 合肥富煌君达高科信息技术有限公司 | 一种基于高速相机的水下高速摄像系统 |
| WO2021115071A1 (zh) * | 2019-12-12 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
| CN112991533A (zh) * | 2021-03-18 | 2021-06-18 | 中国海洋大学 | 基于激光三角法的旋转水下物体三维重建方法 |
| WO2022242416A1 (zh) * | 2021-05-21 | 2022-11-24 | 北京百度网讯科技有限公司 | 点云数据的生成方法和装置 |
| CN115471534A (zh) * | 2022-08-31 | 2022-12-13 | 华南理工大学 | 基于双目视觉和imu的水下场景三维重建方法及设备 |
| CN116468786A (zh) * | 2022-12-16 | 2023-07-21 | 中国海洋大学 | 一种面向动态环境的基于点线联合的语义slam方法 |
| CN116977391A (zh) * | 2023-07-31 | 2023-10-31 | 哈尔滨工程大学 | 一种基于双目多线结构光的水下三维重建方法 |
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107588721A (zh) * | 2017-08-28 | 2018-01-16 | 武汉科技大学 | 一种基于双目视觉的零件多尺寸的测量方法及系统 |
| CN109146959A (zh) * | 2018-08-29 | 2019-01-04 | 华南农业大学 | 单目相机实现动态点三维测量方法 |
| CN111210468A (zh) * | 2018-11-22 | 2020-05-29 | 中移（杭州）信息技术有限公司 | 一种图像深度信息获取方法及装置 |
| CN109920007A (zh) * | 2019-01-26 | 2019-06-21 | 中国海洋大学 | 基于多光谱光度立体与激光扫描的三维成像装置及方法 |
| CN110349221A (zh) * | 2019-07-16 | 2019-10-18 | 北京航空航天大学 | 一种三维激光雷达与双目可见光传感器的融合标定方法 |
| CN110987902A (zh) * | 2019-11-28 | 2020-04-10 | 中国海洋大学 | 一种基于高压舱的水下libs光谱-图像联合探测装置 |
| WO2021115071A1 (zh) * | 2019-12-12 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
| CN212628104U (zh) * | 2020-08-28 | 2021-02-26 | 青岛海米飞驰智能科技有限公司 | 一种深海双目立体视觉相机 |
| CN213213633U (zh) * | 2020-11-03 | 2021-05-14 | 合肥富煌君达高科信息技术有限公司 | 一种基于高速相机的水下高速摄像系统 |
| CN112785702A (zh) * | 2020-12-31 | 2021-05-11 | 华南理工大学 | 一种基于2d激光雷达和双目相机紧耦合的slam方法 |
| CN112991533A (zh) * | 2021-03-18 | 2021-06-18 | 中国海洋大学 | 基于激光三角法的旋转水下物体三维重建方法 |
| WO2022242416A1 (zh) * | 2021-05-21 | 2022-11-24 | 北京百度网讯科技有限公司 | 点云数据的生成方法和装置 |
| CN115471534A (zh) * | 2022-08-31 | 2022-12-13 | 华南理工大学 | 基于双目视觉和imu的水下场景三维重建方法及设备 |
| CN116468786A (zh) * | 2022-12-16 | 2023-07-21 | 中国海洋大学 | 一种面向动态环境的基于点线联合的语义slam方法 |
| CN116977391A (zh) * | 2023-07-31 | 2023-10-31 | 哈尔滨工程大学 | 一种基于双目多线结构光的水下三维重建方法 |
Non-Patent Citations (8)
| Title |
|---|
| LONGPENG BIAN等: "Enhanced Combined Techniques for Interval-Valued Intuitionistic Fuzzy Multiple-Attribute Group Decision-Making and Applications to Quality Evaluation of Large-Scale Multi-View 3D Reconstruction", IEEE * |
| ZHENGWU SHI等: "Refraction calibration of housing parameters for a flat-port underwater camera", SPIE DIGITAL LIBRARY, 31 October 2022 (2022-10-31) * |
| 娄博阳等: "基于视觉与激光引导的高精度定位导航方法", CNKI * |
| 张海明;杨洗陈;高贵;: "激光再制造机器人待加工零件形貌三维重建", 中国激光, no. 11 * |
| 曹文君;赵祚喜;刘雄;李叶林;: "一种单双目结合的全景避障测距方法", 现代电子技术, no. 05 * |
| 王晓华;傅卫平;苏立;: "室内环境下结合里程计的双目视觉SLAM研究", 西安理工大学学报, no. 04 * |
| 王迪;杨龙;张志毅;: "基于单双目结合的线结构光扫描技术", 计算机工程与设计, no. 03 * |
| 董军宇;蹇木伟;姜荣;: "三维表面纹理高度重建中的光线不均校正", 计算机工程与应用, no. 34 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392329A (zh) * | 2023-12-08 | 2024-01-12 | 中国海洋大学 | 一种基于移动式多光谱光度立体设备的使用方法 |
| CN117392329B (zh) * | 2023-12-08 | 2024-02-06 | 中国海洋大学 | 一种基于移动式多光谱光度立体设备的使用方法 |
| CN117541730A (zh) * | 2024-01-08 | 2024-02-09 | 清华四川能源互联网研究院 | 一种水下目标的三维图像重建方法及系统 |
| CN117541730B (zh) * | 2024-01-08 | 2024-03-29 | 清华四川能源互联网研究院 | 一种水下目标的三维图像重建方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462329B (zh) | 一种基于深度学习的无人机航拍影像的三维重建方法 | |
| CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
| CN110648398B (zh) | 基于无人机航摄数据的正射影像实时生成方法及系统 | |
| CN109544679A (zh) | 管道内壁的三维重建方法 | |
| CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
| KR101590778B1 (ko) | 3차원 장면으로부터 시각 정보의 실시간 포착을 위한 방법 및 카메라 | |
| CN104156536B (zh) | 一种盾构机刀具磨损的可视化定量标定及分析方法 | |
| WO2018214067A1 (en) | Methods and systems for processing an image | |
| CN109801234B (zh) | 图像几何校正方法及装置 | |
| FR2836215A1 (fr) | Systeme et procede de modelisation et de restitution tridimensionnelle d'un objet | |
| CN102984453A (zh) | 利用单摄像机实时生成半球全景视频图像的方法及系统 | |
| CN115937288A (zh) | 一种变电站三维场景模型构建方法 | |
| CN104980632A (zh) | 影像撷取方法及装置 | |
| CN109788270B (zh) | 3d-360度全景图像生成方法及装置 | |
| CN104463956B (zh) | 一种月表虚拟场景构建方法及装置 | |
| WO2021249401A1 (zh) | 模型生成方法、图像透视图确定方法、装置、设备及介质 | |
| CN111325782A (zh) | 一种基于多尺度统一的无监督单目视图深度估计方法 | |
| CN116402942A (zh) | 一种融合多尺度图像特征的大规模建筑物三维重建方法 | |
| Chibunichev et al. | Photogrammetry for archaeology: Collecting pieces together | |
| CN116245757A (zh) | 多模态数据的多场景通用性遥感影像云修复方法和系统 | |
| CN116468769A (zh) | 一种基于图像的深度信息估计方法 | |
| CN111678457A (zh) | 一种OLED透明屏下ToF装置及测距方法 | |
| CN117173342B (zh) | 基于水下单双目相机的自然光下移动三维重建装置及方法 | |
| CN114332355A (zh) | 一种基于深度学习的弱光多视图几何重建方法 | |
| CN112785678B (zh) | 基于三维模拟的日照分析方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |