CN112396687A - 基于红外微偏振片阵列的双目立体视觉三维重建系统及方法 - Google Patents
基于红外微偏振片阵列的双目立体视觉三维重建系统及方法 Download PDFInfo
- Publication number
- CN112396687A CN112396687A CN201910740465.3A CN201910740465A CN112396687A CN 112396687 A CN112396687 A CN 112396687A CN 201910740465 A CN201910740465 A CN 201910740465A CN 112396687 A CN112396687 A CN 112396687A
- Authority
- CN
- China
- Prior art keywords
- infrared
- image
- instantaneous field
- camera
- polarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于红外微偏振片阵列的双目立体视觉三维重建系统及方法,其利用瞬时视场误差偏振信息增加图像匹配的细节信息。本发明的方法包含如下步骤:(1):用红外微偏振片阵列双目相机获取实时偏振图像数据;(2):用红外微偏振片阵列双目相机分别对红外标定板进行图像对采集;(3):对步骤(2)得到的数据进行预处理;(4):分别对瞬时视场误差偏振度ρIFOVE图像和瞬时视场误差S0IFOVE图像进行像素级融合;步骤(5):采用基于区域的立体匹配算法对左右相机处理后的融合图像进行立体匹配;(6):利用得到的是视差图和标定好的相机参数,然后利用网格对三维重建结果进行优化,通过纹理映射技术显示三维模型纹理。
Description
技术领域
本发明属于计算机视觉和偏振光学技术领域,涉及一种引入红外微偏振片阵列瞬时视场误差的双目立体视觉三维重建方法。
背景技术
双目立体视觉是计算机视觉中的一个重要分支。双目立体视觉利用一个能进行平移运动的相机,或者是两个摆放在不同位置的相机来模拟人眼,通过相机获取三维物体不同位置角度的两幅二维图像。双目立体视觉通过计算三维空间中一点在两个相机焦平面上像点的位置偏差,计算出空间点的三维坐标值,进而实现物体的三维重建。与其他获取物体三维信息的方法相比,双目立体视觉技术直接模拟人眼,系统更加简单可靠,因而在多个领域有着广泛的应用。
目前,双目立体视觉技术的研究和应用主要集中在可见光波段。受成像器件的限制,可见光波段的双目立体视觉系统只能应用在白天或者有主动可见光光源的场景。而在没有可见光照的情况下,可见光波段的双目立体视觉系统就不再起作用。因此极大的限制了双目立体视觉的应用范围。任何物体当温度高于绝对零度的时候,都会向外界发射红外辐射,且物体温度越高,辐射越强。红外相机正是利用红外探测器件接受物体发出的红外辐射,经过转化,将不可见的红外辐射转变成可见的图像。然而红外图像噪声大、纹理信息和细节信息缺失严重,导致双目立体匹配算法效果不理想。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提出一种引入红外微偏振片阵列瞬时视场误差的双目立体视觉三维重建系统及方法,利用瞬时视场误差偏振信息增加图像匹配的细节信息。以解决现有技术中存在的红外双目立体视觉在匹配过程中存在的细节信息严重缺失问题。
为了达到上述目的,本发明公开的方法采用以下技术方案予以实现:
基于红外微偏振片阵列的双目立体视觉三维重建方法,其特征在于,包含如下步骤:
步骤(1):用红外微偏振片阵列双目相机获取实时偏振图像数据,I0、I45、I90、I135分别表示0°偏振像素值、45°偏振像素值、90°偏振像素值和135°偏振像素值,(i,j)表示像素位置;
步骤(2):用红外微偏振片阵列双目相机分别对红外标定板进行图像对采集,左右相机各采集15组,然后标定,解算出相机的内外参数;
步骤(3):对步骤(2)得到的数据进行预处理;
步骤(4):分别对步骤(3)红外微偏振片阵列双目相机得到的去噪后的瞬时视场误差偏振度ρIFOVE图像和瞬时视场误差S0IFOVE图像进行像素级融合,得到融合后的图像;
步骤(5):采用基于区域的立体匹配算法对左右相机处理后的融合图像进行立体匹配,然后通过视差可靠性检测得到物体更加准确的视差图;
步骤(6):利用得到的是视差图和标定好的相机参数,然后利用网格对三维重建结果进行优化,通过纹理映射技术显示三维模型纹理,使得重建效果更加准确。
作为本发明公开的方法的一种优选实施方式:所述步骤(3)包含如下数据处理流程:
步骤(3a):对左右相机获取的红外偏振图像进行去噪;
步骤(3b):计算去噪后左右红外偏振图像的瞬时视场误差斯托克斯矢量,采用每4个偏振像元为一组,每4个像元都包含I0、I45、I90、I135依次计算其瞬时视场误差斯托克斯矢量;(i,j)表示像素位置,其计算公式如下:
利用得到的瞬时视场误差斯托克斯矢量计算瞬时视场误差偏振信息,偏振度计算公式为:
本发明还公开了基于红外微偏振片阵列的双目立体视觉三维重建系统,用于执行任一上述的基于红外微偏振片阵列的双目立体视觉三维重建方法,包含以下模块:
(1)红外微偏振片阵列双目相机数据获取模块:红外微偏振片阵列相机通过千兆网口传输数据,通过千兆网口交换机连接两个红外微偏振片阵列相机,然后采集获得数据;
(2)红外微偏振片阵列双目相机标定模块:红外标定板采用在玻璃板上镀金属棋盘格,然后通过红外标定板标定获取双目相机的内外参数;
(3)红外微偏振片阵列双目数据预处理模块:由于微偏振片阵列图像噪声比较严重,对红外微偏振片阵列双目数据进行降噪处理;对采集到的图像以4个像元为单元,通过瞬时视场误差斯托克斯矢量解算得到瞬时视场误差红外偏振信息;
(4)瞬时视场误差红外偏振图像与瞬时视场误差S0IFOVE图像融合模块:物体的瞬时视场误差S0IFOVE图像和瞬时视场误差偏振度ρIFOVE图像存在差异性和互补性;通过融合瞬时视场误差红外偏振度ρIFOVE图像与瞬时视场误差S0IFOVE图像,增加双目匹配的准确性;
(5)图像对匹配模块:通过图像对匹配算法,得到物体视差图;
(6)物体三维重建模块:用相机的参数以及视差图,生成物体的三维结构图。
本发明有益效果是:
本发明公开的系统及方法具备同样的有益效果,具体的引入红外微偏振片阵列瞬时视场误差的双目立体视觉三维重建方法,由两个红外微偏振片阵列相机组成双目立体视觉系统,通过对左右红外微偏振片阵列相机进行标定,获取相机内外参数。然后获取目标的红外偏振数据,对获得的数据进行预处理,然后利用每4个像元为一组,依次计算瞬时视场误差斯托克斯矢量和瞬时视场误差偏振度。本发明得到的瞬时视场误差偏振度图像细节边缘信息更加丰富,瞬时视场误差S0IFOVE图像可以显示物体的能量分布。对瞬时视场误差S0IFOVE图像和瞬时视场误差偏振度图像进行像素级融合,得到的融合图像细节边缘更加丰富。对处理后的图像进行特征点匹配,再结合相机标定参数,得到物体的三维模型。
本发明针对目前在双目立体视觉中,红外图像噪声大、纹理信息和细节信息缺失严重,导致双目立体匹配算法效果不理想。本发明提出一种引入红外微偏振片阵列瞬时视场误差的双目立体视觉三维重建方法,利用每4个像元为一组,引入瞬时视场误差,依次计算瞬时视场误差斯托克斯矢量和瞬时视场误差偏振度。本发明得到的瞬时视场误差偏振度ρIFOVE图像细节边缘信息更加丰富,瞬时视场误差S0IFOVE图像可以显示物体的能量分布。对瞬时视场误差S0IFOVE图像和瞬时视场误差偏振度ρIFOVE图像进行像素级融合,得到的融合图像细节边缘更加丰富。分别用左右相机得到的融合图像进行立体匹配,使得最终得到的物体的三维模型更加准确。
附图说明
图1是本发明的方法的流程图。
图2是本发明的微偏振片阵列相机像元的示意图。
图3是本发明的红外标定板示意图。
附图标记说明:
1-金属镀膜,2-玻璃基底。
具体实施方式
下面结合附图及实施例描述本发明具体实施方式:
本发明公开的基于红外微偏振片阵列的双目立体视觉三维重建方法,步骤如下:
步骤(1)用红外微偏振片阵列双目相机获取实时偏振图像数据,如图2所示I0、I45、I90、I135分别表示0°偏振像素值、45°偏振像素值、90°偏振像素值和135°偏振像素值,(i,j)表示像素位置。
步骤(2)如图3所示,用红外微偏振片阵列双目相机分别对红外标定板进行图像对采集,左右相机各采集15组,然后标定,解算出相机的内外参数。
步骤(3a)对左右相机获取的红外偏振图像进行去噪。由于红外微偏振片阵列图像噪声比较严重,所以需要对得到的红外偏振数据进行降噪处理。
步骤(3b)计算去噪后左右红外偏振图像的瞬时视场误差斯托克斯矢量,和传统的去马赛克算法不同,本发明采用每4个偏振像元为一组,每4个像元都包含I0、I45、I90、I135依次计算其瞬时视场误差斯托克斯矢量。如图2所示,(i,j)表示像素位置。其计算公式如下:
利用得到的瞬时视场误差斯托克斯矢量计算瞬时视场误差偏振信息,偏振度计算公式为:
步骤(4)分别对红外微偏振片阵列双目相机得到的去噪后的瞬时视场误差偏振度ρIFOVE图像和瞬时视场误差S0IFOVE图像进行像素级融合,得到融合后的图像。
步骤(5)采用基于区域的立体匹配算法对左右相机处理后的融合图像进行立体匹配,然后通过视差可靠性检测得到物体更加准确的视差图。
步骤(6)利用得到的是视差图和标定好的相机参数,然后利用网格对三维重建结果进行优化,通过纹理映射技术显示三维模型纹理,使得重建效果更加准确。
本发明公开的系统用于执行上述的方法,本发明公开的系统采用以下技术方案:基于红外微偏振片阵列的双目立体视觉三维重建系统及方法,由两个红外微偏振片阵列相机组成双目立体视觉系统,通过对左右红外微偏振片阵列相机进行标定,获取相机内外参数。然后获取目标的红外偏振数据,对获得的数据进行预处理,然后利用每4个像元为一组,依次计算瞬时视场误差斯托克斯矢量和瞬时视场误差偏振度。本发明得到的瞬时视场误差偏振度图像细节边缘信息更加丰富,瞬时视场误差S0IFOVE图像可以显示物体的能量分布。对瞬时视场误差S0IFOVE图像和瞬时视场误差偏振度图像进行像素级融合,得到的融合图像细节边缘更加丰富。对处理后的图像进行特征点匹配,再结合相机标定参数,得到物体的三维模型。
本发明公开的系统采用以下模块给与实现:
(1)红外微偏振片阵列双目相机数据获取模块:本发明的的红外微偏振片阵列相机通过千兆网口传输数据,通过千兆网口交换机连接两个红外微偏振片阵列相机,然后采集获得数据;
(2)红外微偏振片阵列双目相机标定模块:本发明的红外标定板采用在玻璃板上镀金属棋盘格,然后通过红外标定板标定获取双目相机的内外参数。
(3)红外微偏振片阵列双目数据预处理模块:
(3a)由于微偏振片阵列图像噪声比较严重,对红外微偏振片阵列双目数据进行降噪处理;
(3b)对采集到的图像以4个像元为单元,通过瞬时视场误差斯托克斯矢量解算得到瞬时视场误差红外偏振信息。
(4)瞬时视场误差红外偏振图像与瞬时视场误差S0IFOVE图像融合模块:物体的瞬时视场误差S0IFOVE图像和瞬时视场误差偏振度ρIFOVE图像存在差异性和互补性。通过本发明解算的瞬时视场误差偏振度图像细节边缘信息更加丰富,瞬时视场误差S0IFOVE图像可以显示物体的能量分布,但细节特征和边缘模糊。通过融合瞬时视场误差红外偏振度ρIFOVE图像与瞬时视场误差S0IFOVE图像,可以有效的增加双目匹配的准确性。
(5)图像对匹配模块:通过图像对匹配算法,得到物体视差图。
(6)物体三维重建模块:用相机的参数以及视差图,生成物体的三维结构图。
上面结合附图对本发明优选实施方式作了详细说明,但是本发明不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化,这些变化涉及本领域技术人员所熟知的相关技术,这些都落入本发明专利的保护范围。
不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解,本发明不限于特定的实施方式,本发明的范围由所附权利要求限定。
Claims (3)
1.基于红外微偏振片阵列的双目立体视觉三维重建方法,其特征在于,包含如下步骤:
步骤(1):用红外微偏振片阵列双目相机获取实时偏振图像数据,I0、I45、I90、I135分别表示0°偏振像素值、45°偏振像素值、90°偏振像素值和135°偏振像素值,(i,j)表示像素位置;
步骤(2):用红外微偏振片阵列双目相机分别对红外标定板进行图像对采集,左右相机各采集15组,然后标定,解算出相机的内外参数;
步骤(3):对步骤(2)得到的数据进行预处理;
步骤(4):分别对步骤(3)红外微偏振片阵列双目相机得到的去噪后的瞬时视场误差偏振度ρIFOVE图像和瞬时视场误差S0IFOVE图像进行像素级融合,得到融合后的图像;
步骤(5):采用基于区域的立体匹配算法对左右相机处理后的融合图像进行立体匹配,然后通过视差可靠性检测得到物体更加准确的视差图;
步骤(6):利用得到的是视差图和标定好的相机参数,然后利用网格对三维重建结果进行优化,通过纹理映射技术显示三维模型纹理,使得重建效果更加准确。
3.基于红外微偏振片阵列的双目立体视觉三维重建系统,用于执行如权利要求1或2的方法,其特征在于:包含以下模块:
(1)红外微偏振片阵列双目相机数据获取模块:红外微偏振片阵列相机通过千兆网口传输数据,通过千兆网口交换机连接两个红外微偏振片阵列相机,然后采集获得数据;
(2)红外微偏振片阵列双目相机标定模块:红外标定板采用在玻璃板上镀金属棋盘格,然后通过红外标定板标定获取双目相机的内外参数;
(3)红外微偏振片阵列双目数据预处理模块:由于微偏振片阵列图像噪声比较严重,对红外微偏振片阵列双目数据进行降噪处理;对采集到的图像以4个像元为单元,通过瞬时视场误差斯托克斯矢量解算得到瞬时视场误差红外偏振信息;
(4)瞬时视场误差红外偏振图像与瞬时视场误差S0IFOVE图像融合模块:物体的瞬时视场误差S0IFOVE图像和瞬时视场误差偏振度ρIFOVE图像存在差异性和互补性;通过融合瞬时视场误差红外偏振度ρIFOVE图像与瞬时视场误差S0IFOVE图像,增加双目匹配的准确性;
(5)图像对匹配模块:通过图像对匹配算法,得到物体视差图;
(6)物体三维重建模块:用相机的参数以及视差图,生成物体的三维结构图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910740465.3A CN112396687B (zh) | 2019-08-12 | 2019-08-12 | 基于红外微偏振片阵列的双目立体视觉三维重建系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910740465.3A CN112396687B (zh) | 2019-08-12 | 2019-08-12 | 基于红外微偏振片阵列的双目立体视觉三维重建系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112396687A true CN112396687A (zh) | 2021-02-23 |
CN112396687B CN112396687B (zh) | 2023-08-18 |
Family
ID=74602285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910740465.3A Active CN112396687B (zh) | 2019-08-12 | 2019-08-12 | 基于红外微偏振片阵列的双目立体视觉三维重建系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112396687B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113284111A (zh) * | 2021-05-26 | 2021-08-20 | 汕头大学 | 一种基于双目立体视觉的毛囊区域定位方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110024966A (ko) * | 2009-09-03 | 2011-03-09 | 포항공과대학교 산학협력단 | 스테레오 매칭 장치 및 그 방법 |
CN104216135A (zh) * | 2014-09-05 | 2014-12-17 | 西北工业大学 | 一种获取全偏振参数的微偏振片阵列、制备方法及其应用 |
CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
CN108335350A (zh) * | 2018-02-06 | 2018-07-27 | 聊城大学 | 双目立体视觉的三维重建方法 |
CN108961383A (zh) * | 2017-05-19 | 2018-12-07 | 杭州海康威视数字技术股份有限公司 | 三维重建方法及装置 |
-
2019
- 2019-08-12 CN CN201910740465.3A patent/CN112396687B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110024966A (ko) * | 2009-09-03 | 2011-03-09 | 포항공과대학교 산학협력단 | 스테레오 매칭 장치 및 그 방법 |
CN104216135A (zh) * | 2014-09-05 | 2014-12-17 | 西北工业大学 | 一种获取全偏振参数的微偏振片阵列、制备方法及其应用 |
CN108961383A (zh) * | 2017-05-19 | 2018-12-07 | 杭州海康威视数字技术股份有限公司 | 三维重建方法及装置 |
CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
CN108335350A (zh) * | 2018-02-06 | 2018-07-27 | 聊城大学 | 双目立体视觉的三维重建方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113284111A (zh) * | 2021-05-26 | 2021-08-20 | 汕头大学 | 一种基于双目立体视觉的毛囊区域定位方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112396687B (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105894499B (zh) | 一种基于双目视觉的空间物体三维信息快速检测方法 | |
CN114399554B (zh) | 一种多相机系统的标定方法及系统 | |
WO2021098080A1 (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
CN104504688A (zh) | 基于双目立体视觉的客流密度估计的方法和系统 | |
WO2018171008A1 (zh) | 一种基于光场图像的高光区域修复方法 | |
CN102072706B (zh) | 一种多相机定位与跟踪方法及系统 | |
CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
CN111210481A (zh) | 多波段立体相机的深度估计加速方法 | |
CN111028295A (zh) | 一种基于编码结构光和双目的3d成像方法 | |
WO2008075271A2 (en) | Calibrating a camera system | |
CN103337094A (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
CN103971378A (zh) | 一种混合视觉系统中全景图像的三维重建方法 | |
CN109919911A (zh) | 基于多视角光度立体的移动三维重建方法 | |
JP6087947B2 (ja) | 非同期センサに依存するシーンの3d再構成の方法 | |
CN111429571B (zh) | 一种基于时空图像信息联合相关的快速立体匹配方法 | |
CN110322485A (zh) | 一种异构多相机成像系统的快速图像配准方法 | |
CN110910456B (zh) | 基于Harris角点互信息匹配的立体相机动态标定方法 | |
WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、系统 | |
CN110992463B (zh) | 一种基于三目视觉的输电导线弧垂的三维重建方法及系统 | |
CN115359127A (zh) | 一种适用于多层介质环境下的偏振相机阵列标定方法 | |
CN112950727B (zh) | 基于仿生曲面复眼的大视场多目标同时测距方法 | |
CN112396687B (zh) | 基于红外微偏振片阵列的双目立体视觉三维重建系统及方法 | |
CN114332755B (zh) | 一种基于双目三维建模的发电焚烧炉监控方法 | |
CN113808070B (zh) | 一种双目数字散斑图像相关的视差测量方法 | |
CN113706693B (zh) | 一种微光条件下偏振三维重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |