CN110425983B - 一种基于偏振多光谱的单目视觉三维重建测距方法 - Google Patents
一种基于偏振多光谱的单目视觉三维重建测距方法 Download PDFInfo
- Publication number
- CN110425983B CN110425983B CN201910683660.7A CN201910683660A CN110425983B CN 110425983 B CN110425983 B CN 110425983B CN 201910683660 A CN201910683660 A CN 201910683660A CN 110425983 B CN110425983 B CN 110425983B
- Authority
- CN
- China
- Prior art keywords
- polarization
- multispectral
- distance
- dimensional reconstruction
- monocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明公开了一种基于偏振多光谱的单目视觉三维重建测距方法,包括以下步骤:步骤一、搭建单目摄像机成像系统;步骤二、多光谱偏振处理及偏振信息获取;步骤三、特征提取与立体匹配;步骤四、三维点云结构重建;步骤五、采用相似三角形原理进行距离测量;步骤六、筛选距离数据。本发明提出的采用单目视觉测距方法,能够在不损害测量精度的条件下,有效地降低设备操作难度。针对特征提取难以提取无纹理的物体以及高光产生数据空洞的情况,使用多光谱偏振成像的方法,获得每个像素的多光谱Stokes参量,提高特征提取与立体匹配的效率与准确度。
Description
技术领域
本发明涉及三维重建技术领域,具体涉及一种基于偏振多光谱的单目视觉三维重建测距方法。
背景技术
计算机视觉技术是用摄像机和电脑组成的系统代替人的视觉生理系统的技术,它能对目标进行识别、跟踪、测量等操作,并且能进一步对图像进行处理,运用计算机处理技术,使处理后的图像更加符合生物视觉系统的视觉成像效果,更加有利于满足计算机视觉系统的需要。三维重建在计算机视觉中日益重要,计算机通过计算机数字图像处理技术、计算机视觉、机器学习、图像处理及模式识别等技术来实现通过二维的图像信息来实现对该图像的三维信息处理能力。
通过三维重建进行测距的流程一般包括:摄像机标定、图像采集、图像预处理、特征提取与立体匹配、三维重建、距离测量。
在图像采集过程中,对于传统相机拍摄模式来说,自然光的反射会对采集到的图像产生影响;并且,三维测量重建一般研究采用灰度相机结合一些手段,或者只有RGB相机。自然光属于非偏振光,但是当自然光经过物体表面的反射之后,会产生部分偏振光。当反射光偏振方向与入射光偏振方向一致时,产生高光分量,并且不同光谱段的高光反射情况不同,而高光分量的存在使得在进行三维重建时会出现大面积的数据空洞。另外,目前,视觉测距广泛采用的是基于双目视觉的视差法,但是双目视觉设备要求高。
因此,本发明认为,一方面在图像采集时使用偏振片,可以有效地去除高光分量;另一方面,使用多个光谱段的数据采集,可以有效互补实现数据空洞。对于平滑、无纹理的物体来说,传统的特征提取算法只能提取数量较少的特征点,并伴随匹配精度低的缺点,使用偏振多光谱可以更有效更多地获取目标精确的特征点,提升重建效果。本发明提出基于单目视觉的三维重建测距方法在保证精度的前提下,也有助于进一步降低成本以及操作难度。
发明内容
本发明要解决的技术问题是:目前的三维重建算法特征点提取与匹配效果差、单目视觉测距算法可行度低的技术问题。基于特征提取与立体匹配,提出了一种效果好、实现简单、算法精度较高的方法,即一种基于偏振多光谱的单目视觉三维重建测距方法。
为解决上述技术问题,本发明所采取的技术方案为:一种基于偏振多光谱的三维重建测距方法,适用于单目摄像机拍摄的三维重建素材图像。具体技术方案如下:
一种基于偏振多光谱的单目视觉三维重建测距方法,包括以下步骤:
步骤一、搭建单目摄像机成像系统;
步骤二、多光谱偏振处理及偏振信息获取;
步骤三、特征提取与立体匹配;
步骤四、三维点云结构重建;
步骤五、采用相似三角形原理进行距离测量;
步骤六、筛选距离数据。
进一步的,所述单目摄像机成像系统,包括目标物、单目相机、运动可控小车和装置台,目标物水平放置于装置台上,单目摄像机固定在高度与装置台相近的运动可控小车上,小车在运动过程中拍摄一系列符合要求的三维重建素材图像,设定小车以速度v匀速直线运动。
进一步的,步骤二中搭建偏振成像系统,调整偏振片角度以及相位延迟器、旋转滤光片,偏振片旋转θ实现偏振态图像获取,相位延迟器实现整体相位延迟δ,滤光片旋转ω实现6个光谱段的产生,得到6×6=36幅光谱偏振态图,计算Stokes参量图。
不同光谱段图像的偏振信息由Stokes参量的四个参数[S0,S1,S2,S3]描述出来,其中:
进一步的,步骤三中采用SURF算法,利用OpenCV库进行SURF算法实现,结合Stokes参量进行特征提取,对欧氏距离设置阈值T,只保留欧氏距离小于T的匹配点。
进一步的,步骤四中,为了使三维重建可视化,调用PCL库生成三维点云结构。
进一步的,步骤五中,测量的距离即为世界坐标系中的被测三维物体上的点摄像机镜头中心点的距离L1、L2分别表示三维物体上的点分别在两幅图像上的二维平面对应点到摄像机中心轴同一水平面的高度差,为计算机直接采集到的像素距离,d表示拍摄两幅图像时单目摄像机相隔的水平距离。
进一步的,步骤六中对所有的距离数据计算均值,以均值为中心设置合适的区间,对距离数据进行筛选。
与现有技术相比,本技术方案具有以下优点:
现有的三维重建测距方法大都是基于双目视觉的一些计算机算法,本发明提出的采用单目视觉测距方法,能够在不损害测量精度的条件下,有效地降低设备操作难度。针对特征提取难以提取无纹理的物体以及高光产生数据空洞的情况,使用多光谱偏振成像的方法,获得每个像素的多光谱Stokes参量,提高特征提取与立体匹配的效率与准确度。
附图说明
图1为本发明方法的具体操作流程图。
图2为单目摄像机成像系统的简单示意图。
图3为多光谱偏振成像系统的结构示意图。
图4为本发明方法中的距离测量原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
以下结合附图实施例对本发明的实施作进一步说明。
如图1所示,本发明的基于偏振多光谱的单目视觉三维重建测距方法,包括以下步骤:
1.搭建单目摄像机成像系统,如附图2所示,主要包括目标物,单目相机,运动可控小车。待拍摄物体水平放置于装置台上,单目摄像机固定在高度与装置台相近的运动可控小车上,小车在运动过程中拍摄一系列符合要求的三维重建素材图像,为保证测距精确度,设定小车以速度v匀速直线运动。
2.多光谱偏振处理及偏振信息获取。根据图3所示搭建偏振成像系统,调整偏振片角度以及相位延迟器、旋转滤光片,偏振片旋转θ实现偏振态图像获取,相位延迟器实现整体相位延迟δ,滤光片旋转ω实现6个光谱段的产生,得到6×6=36幅光谱偏振态图,计算Stokes参量图。偏振片的转动、相位延迟器和滤光片选择都基于STM32单片机,通过电机驱动偏振片调整角度,相位延迟器的数值取决于STM32单片机,通过电机驱动滤光片架子旋转实现不同滤光片的选择。测量时设定相位延迟器的值为0,偏振片分别取0°、90°、45°、135°,获取相应偏振状态的光强图像;再将相位延迟器的值设定为将偏振片置为45°、135°以同样方法获取对应图像。
不同光谱段图像的偏振信息由Stokes参量的四个参数[S0,S1,S2,S3]描述出来,其中:
上述公式中,0°、90°、45°、135°为偏振片选取的角度,要获取S3的数据,必须设置的相位延迟,得到六个不同偏振态的光强图像。然后对每一像素根据以上方法可得出四个Stokes矢量的图像进而得到偏振态图像。
3.特征提取与立体匹配。采用SURF算法。利用OpenCV库进行SURF算法实现,结合Stokes参量进行特征提取,得到了比传统方法多得多的特征点,并且每个像素点的特征更加明显,现实情况下,立体匹配会存在不正确的匹配点,这时需要对欧氏距离设置阈值T,只保留欧氏距离小于T的匹配点。本发明利用多光谱偏振态图像并结合Stokes参量进行特征提取,实现适用于无纹理、高光明显的物体的特征提取,得到数量更多的用于立体匹配的特征点。
4.三维点云结构重建。立体匹配后的匹配点经过光线投影算法,有且仅有一个与之对应的三维空间中的像素点,这些三维空间中的像素点形成的集合,在距离测量中起到了至关重要的作用,为了使三维重建可视化,调用PCL库生成三维点云结构,本发明的方法得到的点云结构更符合真实情况。
5.采用相似三角形原理进行距离测量,测量的距离即为世界坐标系中的被测三维物体上的点摄像机镜头中心点的距离。如图4的距离测量原理图所示,根据已知条件,推导得出距离的算法公式。计算机能够直接采集到的L1与L2为像素距离。理论上需要先将像素距离转化为实际距离再进行下一步处理,而由算法公式上式中,L1、L2分别表示三维物体上的点分别在两幅图像上的二维平面对应点到摄像机中心轴同一水平面的高度差,d表示拍摄两幅图像时单目摄像机相隔的水平距离。可知,因为存在比值关系,实际操作中可以不进行转化处理,使算法更加简洁高效。
6.筛选距离数据。原则上,同一物体上的不同点到摄像机的距离不会有极大的差异,实际情况中可能产生差距较大的距离数据,此时针对所有的距离数据计算均值,以均值为中心设置合适的区间,对距离数据进行筛选。
以上所述的实施例只是本发明的一种较佳的方案,并非对本发明作任何形式上的限制,在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。
Claims (7)
1.一种基于偏振多光谱的单目视觉三维重建测距方法,包括以下步骤:
步骤一、搭建单目摄像机成像系统;
步骤二、多光谱偏振处理及偏振信息获取;
步骤三、特征提取与立体匹配;
步骤四、三维点云结构重建;
步骤五、采用相似三角形原理进行距离测量;
步骤六、筛选距离数据;
所述单目摄像机成像系统,包括目标物、单目相机、运动可控小车和装置台,目标物水平放置于装置台上,单目摄像机固定在高度与装置台相近的运动可控小车上,小车在运动过程中拍摄一系列符合要求的三维重建素材图像,设定小车以速度v匀速直线运动;
步骤二中搭建偏振成像系统,调整偏振片角度以及相位延迟器、旋转滤光片,偏振片旋转θ实现偏振态图像获取,相位延迟器实现整体相位延迟δ,滤光片旋转ω实现6个光谱段的产生,得到6×6=36幅光谱偏振态图,计算Stokes参量图。
3.如权利要求2所述的基于偏振多光谱的单目视觉三维重建测距方法,其特征在于:步骤三中采用SURF算法,利用OpenCV库进行SURF算法实现,结合Stokes参量进行特征提取,对欧氏距离设置阈值T,只保留欧氏距离小于T的匹配点。
4.如权利要求3所述的基于偏振多光谱的单目视觉三维重建测距方法,其特征在于:步骤四中,为了使三维重建可视化,调用PCL库生成三维点云结构。
6.如权利要求1所述的基于偏振多光谱的单目视觉三维重建测距方法,其特征在于:步骤六中对所有的距离数据计算均值,以均值为中心设置合适的区间,对距离数据进行筛选。
7.如权利要求1所述的基于偏振多光谱的单目视觉三维重建测距方法,其特征在于:用于得到偏振图像的相位延迟器、偏振片及滤光片由STM32程序控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910683660.7A CN110425983B (zh) | 2019-07-26 | 2019-07-26 | 一种基于偏振多光谱的单目视觉三维重建测距方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910683660.7A CN110425983B (zh) | 2019-07-26 | 2019-07-26 | 一种基于偏振多光谱的单目视觉三维重建测距方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110425983A CN110425983A (zh) | 2019-11-08 |
CN110425983B true CN110425983B (zh) | 2021-04-06 |
Family
ID=68412768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910683660.7A Active CN110425983B (zh) | 2019-07-26 | 2019-07-26 | 一种基于偏振多光谱的单目视觉三维重建测距方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110425983B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110864807B (zh) * | 2019-11-26 | 2021-06-25 | 北华航天工业学院 | 一种无人机载轻小型多光谱成像系统及其成像方法 |
CN110889810A (zh) * | 2019-11-29 | 2020-03-17 | 合肥视展光电科技有限公司 | 一种基于偏振的滤光薄膜提取图像方法及系统 |
CN111932615B (zh) * | 2020-07-10 | 2023-06-23 | 中国电子科技集团公司第十一研究所 | 一种偏振测距方法、装置及可读存储介质 |
CN113747142A (zh) * | 2021-08-16 | 2021-12-03 | 合肥芯福传感器技术有限公司 | 被动式单光子成像3d摄像机及摄像方法 |
CN113747143A (zh) * | 2021-08-16 | 2021-12-03 | 合肥芯福传感器技术有限公司 | 被动式红外热成像3d摄像机及摄像方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101629806A (zh) * | 2009-06-22 | 2010-01-20 | 哈尔滨工程大学 | 结合激光发射器的非线性ccd三维定位装置及定位方法 |
CN102575985A (zh) * | 2009-10-08 | 2012-07-11 | Vtt技术研究中心 | 用于确定物品及其表面的特性的测量仪器和方法 |
WO2013054469A1 (ja) * | 2011-10-13 | 2013-04-18 | パナソニック株式会社 | 奥行き推定撮像装置および撮像素子 |
CN103292695A (zh) * | 2013-05-10 | 2013-09-11 | 河北科技大学 | 一种单目立体视觉测量方法 |
CN103765253A (zh) * | 2011-06-08 | 2014-04-30 | 荷兰应用自然科学研究组织Tno | 用于产生衍射光栅的方法 |
CN108459417A (zh) * | 2018-02-05 | 2018-08-28 | 华侨大学 | 一种单目窄带多光谱立体视觉系统及其使用方法 |
CN108648203A (zh) * | 2018-04-24 | 2018-10-12 | 上海工程技术大学 | 一种基于单目摄像头的人体三维姿态估计的方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104596502B (zh) * | 2015-01-23 | 2017-05-17 | 浙江大学 | 一种基于cad模型与单目视觉的物体位姿测量方法 |
CN105029691B (zh) * | 2015-06-02 | 2016-09-14 | 国家烟草质量监督检验中心 | 一种基于三维重建技术的卷烟空头检测方法 |
-
2019
- 2019-07-26 CN CN201910683660.7A patent/CN110425983B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101629806A (zh) * | 2009-06-22 | 2010-01-20 | 哈尔滨工程大学 | 结合激光发射器的非线性ccd三维定位装置及定位方法 |
CN102575985A (zh) * | 2009-10-08 | 2012-07-11 | Vtt技术研究中心 | 用于确定物品及其表面的特性的测量仪器和方法 |
CN103765253A (zh) * | 2011-06-08 | 2014-04-30 | 荷兰应用自然科学研究组织Tno | 用于产生衍射光栅的方法 |
WO2013054469A1 (ja) * | 2011-10-13 | 2013-04-18 | パナソニック株式会社 | 奥行き推定撮像装置および撮像素子 |
CN103292695A (zh) * | 2013-05-10 | 2013-09-11 | 河北科技大学 | 一种单目立体视觉测量方法 |
CN108459417A (zh) * | 2018-02-05 | 2018-08-28 | 华侨大学 | 一种单目窄带多光谱立体视觉系统及其使用方法 |
CN108648203A (zh) * | 2018-04-24 | 2018-10-12 | 上海工程技术大学 | 一种基于单目摄像头的人体三维姿态估计的方法 |
Non-Patent Citations (3)
Title |
---|
Investigation of parameter effects on the performance of high-temperature PEM fuel cell;Lingchao Xia;《i n t e r n a t i o n a l journal o f hydrogen energy》;20181231;全文 * |
偏振多光谱机器视觉的高反光无纹理目标三维重构方法;郝婧蕾;《测绘学报》;20180630;摘要部分 * |
基于单目图像序列的铸件三维重建方法;张洪鑫;《中国机械工程》;20181231;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110425983A (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110425983B (zh) | 一种基于偏振多光谱的单目视觉三维重建测距方法 | |
CN105894499B (zh) | 一种基于双目视觉的空间物体三维信息快速检测方法 | |
CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
CN107680156B (zh) | 基于偏振信息的三维重建方法 | |
TWI530909B (zh) | 影像合成系統及方法 | |
WO2016037486A1 (zh) | 人体三维成像方法及系统 | |
US20210044787A1 (en) | Three-dimensional reconstruction method, three-dimensional reconstruction device, and computer | |
CN108510540B (zh) | 立体视觉摄像机及其高度获取方法 | |
CN110009672A (zh) | 提升ToF深度图像处理方法、3D图像成像方法及电子设备 | |
CN110322485B (zh) | 一种异构多相机成像系统的快速图像配准方法 | |
EP3403403A1 (en) | Calibration method and apparatus for panoramic stereo video system | |
CN112396562A (zh) | 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法 | |
WO2014044126A1 (zh) | 坐标获取装置、实时三维重建系统和方法、立体交互设备 | |
TW201118791A (en) | System and method for obtaining camera parameters from a plurality of images, and computer program products thereof | |
EP1946567A2 (en) | Device for generating three dimensional surface models of moving objects | |
CN103337094A (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
CN109712192A (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
JP2009139995A (ja) | ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム | |
CA2870480A1 (en) | Hybrid precision tracking | |
CN111060008B (zh) | 一种3d智能视觉设备 | |
WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、系统 | |
KR101853269B1 (ko) | 스테레오 이미지들에 관한 깊이 맵 스티칭 장치 | |
CN109559353A (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
JP2000230809A (ja) | 距離データの補間方法,カラー画像階層化方法およびカラー画像階層化装置 | |
CN116977449B (zh) | 一种基于闪烁棋盘格的复眼事件相机主动标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191108 Assignee: HANGZHOU MAQUAN INFORMATION TECHNOLOGY Co.,Ltd. Assignor: HANGZHOU DIANZI University Contract record no.: X2022330000227 Denomination of invention: A method of monocular vision 3D reconstruction ranging based on polarization multispectral Granted publication date: 20210406 License type: Common License Record date: 20220615 |
|
EE01 | Entry into force of recordation of patent licensing contract |