CN115359193A - 一种基于双目鱼眼相机的快速半稠密三维重建方法 - Google Patents
一种基于双目鱼眼相机的快速半稠密三维重建方法 Download PDFInfo
- Publication number
- CN115359193A CN115359193A CN202211279242.XA CN202211279242A CN115359193A CN 115359193 A CN115359193 A CN 115359193A CN 202211279242 A CN202211279242 A CN 202211279242A CN 115359193 A CN115359193 A CN 115359193A
- Authority
- CN
- China
- Prior art keywords
- matching
- point
- dense
- feature
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于双目鱼眼相机及尺度不变特征变换（ORB，Oriented Fast and Rotated Brief）特征提取和简单线性迭代聚类（SLIC，Simple Linear Iterative Clustering）超像素分割的快速半稠密三维重建方法，该技术能够对左右两相机同时摄取的同一场景的两张二维图像进行校正、特征提取、图像分割、立体匹配等处理，从而还原出场景的三维信息。相较于现有的稠密重建方法及稀疏重建方法，在尽可能减小计算量、保证效率的同时保留了足够描绘场景中物体轮廓的点，以实现无人机避障需求下的场景重建效果。
Description
技术领域
本发明涉及一种快速半稠密三维重建方法，具体涉及一种基于双目鱼眼相机及尺度不变特征变换（ORB，Oriented Fast and Rotated Brief）特征提取和简单线性迭代聚类（SLIC，Simple Linear Iterative Clustering）超像素分割的快速半稠密三维重建方法。
背景技术
为从二维图像中恢复场景的三维信息，三维重建即根据物体或者场景所拍摄的两个或者两个以上二维的图像，由计算机自动进行计算和匹配，计算出物体或者场景的二维几何信息和深度信息，进而建立三维的立体模型的过程，其重点在于获取目标场景或物体的深度信息。深度信息的测量分为主动式和被动式两种，主动式即借助激光、声波、电磁波等光源或能量源发射至物体表面来直接获得距离。主动式相机容易受到环境因素的影响，如混合像素、外界光源等，导致景物深度不准确，且系统误差与随机误差对测量结果的影响很大，需要进行后期数据处理，主要体现在场景像素点的位置重合上；被动式则以基于视差原理的立体视觉为主，通过计算和匹配获得距离及深度信息，相较于主动式则更能满足探索未知环境的鲁棒性、可靠性需求。本发明属于基于图像的被动式三维重建方法。
根据重建稠密程度的不同，又将基于单/双目图像的三维重建分为稀疏重建、半稠密重建及稠密重建三种。稀疏重建方法是视觉同步定位与建图（SLAM，SimultaneousLocalization And Mapping）中的常用方法，通常是通过重建一些图像特征点的深度来计算相机位姿。稀疏重建在比如检测、避障这样要求重建点云连续性较高的实际应用中表现吃力，不能满足需求；稠密重建是对整个图像或者图像中的绝大部分像素进行重建。与稀疏、半稠密相比，稠密重建对场景三维信息的理解更为全面，更能符合应用需求。但其要重建的点云数量太多，一味追求信息全面性的后果势必是耗费过多的算力，无人机机载计算机对此力不从心。本发明所提出的介于稀疏及稠密之间的半稠密方法则取长补短，在减小计算量、保证效率的同时保留了足够描绘场景中物体轮廓的点，满足无人机避障所需的快速重建需求。
发明内容
本发明的目的在于提供一种基于双目鱼眼相机及尺度不变特征变换（ORB，Oriented Fast and Rotated Brief）特征提取和简单线性迭代聚类（SLIC，Simple LinearIterative Clustering）超像素分割的快速半稠密三维重建方法，该技术能够对左右两相机同时摄取的同一场景的两张二维图像进行校正、特征提取、图像分割、立体匹配等处理，从而还原出场景的三维信息。相较于现有的稠密重建方法及稀疏重建方法，在尽可能减小计算量、保证效率的同时保留了足够描绘场景中物体轮廓的点，以实现无人机避障需求下的场景重建效果。
一种基于双目鱼眼相机的快速半稠密三维重建方法，其特征在于，包括以下步骤：
S1 由双目摄像头拍摄图像；
S2 将拍摄的图像输入到畸变校正模块，由畸变校正模块进行摄像机标定及畸变校正的常规操作；
S3 将畸变校正模块的结果输入到立体匹配模块，由立体匹配模块进行特征点匹配和其他点匹配；
S4 将立体匹配模块的结果输入到模型重建模块，由模型重建模块将所求解出的全部特征点及其他点的三维坐标信息转化成点云，实现半稠密的三维重建；
S5 输出点云。
其中，所述S1中的双目摄像头为基线固定且支持单USB连接线的双目鱼眼摄像头。
其中，所述S3中的特征点匹配所采用的算法为尺度不变特征变换（ORB，OrientedFast and Rotated Brief）和随机抽样一致（RANSAC，RANdom SAmple Consensus）算法：提取左右两相机同时摄取的同一场景的两幅图像中的尺度不变特征变换（ORB，OrientedFast and Rotated Brief）特征点，使用汉明距离匹配，再利用随机抽样一致（RANSAC，RANdom SAmple Consensus）算法筛选得到最佳匹配点对，根据所获得的匹配点对来恢复所述特征点的深度、生成基于特征点匹配的视差图；
其中，所述S3中的其他点匹配则是以简单线性迭代聚类（SLIC，Simple LinearIterative Clustering）超像素分割技术为依托，在对上一步的特征点匹配中得到的最佳匹配点对使用三角剖分的方式形成2D网络，作为其他点判断视差的先决条件，在约束中同时加入简单线性迭代聚类（SLIC，Simple Linear Iterative Clustering）超像素分割算法的结果以增加前述基于特征点的视差图的连续性，实现点图稠密程度由稀疏到半稠密的变化，同时根据这些新获得的匹配点对恢复其深度信息。
本发明的技术效果：
本发明提供的基于双目鱼眼相机的快速半稠密三维重建方法的优势在于：
1）选取双目鱼眼相机摄取图像，获得最大可逼近180°的较寻常双目相机更为广阔的视野；
2）采用尺度不变特征变换（ORB，Oriented Fast and Rotated Brief）与随机抽样一致（RANSAC，RANdom SAmple Consensus）算法结合的方式进行特征点匹配，有效降低误匹配率；
3）约束中融合简单线性迭代聚类（SLIC，Simple Linear Iterative Clustering）超像素分割算法，在尽可能减小计算量、保证效率的同时大幅增加点云稠密程度，保留了足够描绘场景中物体轮廓的点，使得三维重建结果更为适配无人机避障需求。
附图说明
附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
图1示出了本发明的算法流程示意图；
图2示出了本发明的立体匹配模块的算法流程示意图；
图3示出了本发明的立体匹配模块中的特征点提取及匹配环节的算法流程示意图。
具体实施方式
本发明提供的基于双目鱼眼相机的快速半稠密三维重建方法，如图1所示，其由输入双目图像、畸变校正模块1、立体匹配模块2、模型重建模块3、输出点云五部分构成。
如图1，所述三维重建方法中双目鱼眼摄像头同时对同一场景摄取的左右两张图像，经畸变校正模块1进行图像去畸变处理后输入至立体匹配模块2，由立体匹配模块2进行特征点匹配及其他点匹配，获得特征点及其他点的深度信息，将所述深度信息输入到模型重建模块3以生成包含深度信息的三维点云，最后输出点云。
如图2，所述立体匹配模块2主要由特征点匹配、超像素分割、深度计算三部分构成。
如图2，所述立体匹配模块2接收到去畸变后的双目图像，经特征点提取及匹配后对其进行三角剖分，形成2D网络，融合简单线性迭代聚类（SLIC，Simple Linear IterativeClustering）超像素分割后的结果形成先验知识，并依据此先验知识计算得出上述特征点及图像分割得到的其他点的深度信息并输出给模型重建模块3。
如图3所示，所述立体匹配模块2中的特征点提取及匹配环节由三个步骤组成：
1）尺度不变特征变换（ORB，Oriented Fast and Rotated Brief）特征提取；
2）使用汉明距离匹配；
3）随机抽样一致（RANSAC，RANdom SAmple Consensus）算法筛选最佳匹配点对；其有效降低了特征匹配的误匹配率，使得该环节的可靠程度得到显著提升。
以上所述，仅为本发明优选的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种基于双目鱼眼相机的快速半稠密三维重建方法，其特征在于，包括以下步骤：
S1 由双目摄像头拍摄图像；
S2 将拍摄的图像输入到畸变校正模块，由畸变校正模块进行摄像机标定及畸变校正的常规操作；
S3 将畸变校正模块的结果输入到立体匹配模块，由立体匹配模块进行特征点匹配和其他点匹配；
S4 将立体匹配模块的结果输入到模型重建模块，由模型重建模块将所求解出的全部特征点及其他点的三维坐标信息转化成点云，实现半稠密的三维重建；
S5 输出点云。
2.根据权利要求1所述的方法，其特征在于，所述S1中的双目摄像头为基线固定且支持单USB连接线的双目鱼眼摄像头。
3.根据权利要求1所述的方法，其特征在于，所述S3中的特征点匹配所采用的算法为尺度不变特征变换ORB和随机抽样一致RANSAC算法：提取左右两相机同时摄取的同一场景的两幅图像中的尺度不变特征变换ORB特征点，使用汉明距离匹配，再利用随机抽样一致RANSAC算法筛选得到最佳匹配点对，根据所获得的匹配点对来恢复所述特征点的深度、生成基于特征点匹配的视差图。
4.根据权利要求1所述的方法，其特征在于，所述S3中的其他点匹配则是以简单线性迭代聚类SLIC超像素分割技术为依托，在对上一步的特征点匹配中得到的最佳匹配点对使用三角剖分的方式形成2D网络，作为其他点判断视差的先决条件，在约束中同时加入简单线性迭代聚类SLIC超像素分割算法的结果以增加前述基于特征点的视差图的连续性，实现点图稠密程度由稀疏到半稠密的变化，同时根据这些新获得的匹配点对恢复其深度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211279242.XA CN115359193B (zh) | 2022-10-19 | 2022-10-19 | 一种基于双目鱼眼相机的快速半稠密三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211279242.XA CN115359193B (zh) | 2022-10-19 | 2022-10-19 | 一种基于双目鱼眼相机的快速半稠密三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115359193A true CN115359193A (zh) | 2022-11-18 |
| CN115359193B CN115359193B (zh) | 2023-01-31 |
Family
ID=84007799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211279242.XA Active CN115359193B (zh) | 2022-10-19 | 2022-10-19 | 一种基于双目鱼眼相机的快速半稠密三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115359193B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880448A (zh) * | 2022-12-06 | 2023-03-31 | 温州鹿城佳涵网络技术服务工作室 | 基于双目成像的三维测量方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171787A (zh) * | 2017-12-18 | 2018-06-15 | 桂林电子科技大学 | 一种基于orb特征检测的三维重建方法 |
| CN112085845A (zh) * | 2020-09-11 | 2020-12-15 | 中国人民解放军军事科学院国防科技创新研究院 | 基于无人机影像的室外场景快速三维重建装置 |
| CN112929626A (zh) * | 2021-02-02 | 2021-06-08 | 辽宁工程技术大学 | 一种基于智能手机影像的三维信息提取方法 |
| CN114119864A (zh) * | 2021-11-09 | 2022-03-01 | 同济大学 | 一种基于三维重建与点云匹配的定位方法和装置 |
| CN114494388A (zh) * | 2022-01-27 | 2022-05-13 | 中国铁建重工集团股份有限公司 | 一种大视场环境下图像三维重建方法、装置、设备及介质 |
-
2022
- 2022-10-19 CN CN202211279242.XA patent/CN115359193B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171787A (zh) * | 2017-12-18 | 2018-06-15 | 桂林电子科技大学 | 一种基于orb特征检测的三维重建方法 |
| CN112085845A (zh) * | 2020-09-11 | 2020-12-15 | 中国人民解放军军事科学院国防科技创新研究院 | 基于无人机影像的室外场景快速三维重建装置 |
| CN112929626A (zh) * | 2021-02-02 | 2021-06-08 | 辽宁工程技术大学 | 一种基于智能手机影像的三维信息提取方法 |
| CN114119864A (zh) * | 2021-11-09 | 2022-03-01 | 同济大学 | 一种基于三维重建与点云匹配的定位方法和装置 |
| CN114494388A (zh) * | 2022-01-27 | 2022-05-13 | 中国铁建重工集团股份有限公司 | 一种大视场环境下图像三维重建方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 覃丹等: "基于ORB和SLIC超像素分割的特征点匹配方法", 《计算机科学与应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880448A (zh) * | 2022-12-06 | 2023-03-31 | 温州鹿城佳涵网络技术服务工作室 | 基于双目成像的三维测量方法、装置、设备及存储介质 |
| CN115880448B (zh) * | 2022-12-06 | 2024-05-14 | 西安工大天成科技有限公司 | 基于双目成像的三维测量方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115359193B (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113052835B (zh) | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 | |
| CN112927362B (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
| CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
| KR102152436B1 (ko) | 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법 | |
| CN113129352B (zh) | 一种稀疏光场重建方法及装置 | |
| CN113052880B (zh) | 一种sfm稀疏重建方法、系统及应用 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN114782636A (zh) | 三维重建方法、装置及系统 | |
| CN115359193B (zh) | 一种基于双目鱼眼相机的快速半稠密三维重建方法 | |
| Shivakumar et al. | Real time dense depth estimation by fusing stereo with sparse depth measurements | |
| Gadasin et al. | Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems | |
| CN113160335A (zh) | 一种基于双目视觉的模型点云及三维表面重建方法 | |
| CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
| CN116402978A (zh) | 一种基于双目视觉结构特性的稠密三维重建方法 | |
| CN117115336A (zh) | 一种基于遥感立体影像的点云重建方法 | |
| CN113902932A (zh) | 特征提取方法、视觉定位方法及装置、介质和电子设备 | |
| CN117788686A (zh) | 一种基于2d影像的三维场景重建方法、装置及电子设备 | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| Xu et al. | Kinect-based easy 3d object reconstruction | |
| CN116206050A (zh) | 三维重建方法、电子设备和计算机可读存储介质 | |
| CN109089100B (zh) | 一种双目立体视频的合成方法 | |
| Vladimir | Point clouds registration and generation from stereo images | |
| Mondal et al. | Performance review of the stereo matching algorithms | |
| Huang et al. | A Novel, Efficient and Accurate Method for Lidar Camera Calibration | |
| Shin et al. | Camera pose estimation framework for array‐structured images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |