CN113822831A - 一种基于空间变换的红外与可见光融合方法 - Google Patents
一种基于空间变换的红外与可见光融合方法 Download PDFInfo
- Publication number
- CN113822831A CN113822831A CN202111030294.9A CN202111030294A CN113822831A CN 113822831 A CN113822831 A CN 113822831A CN 202111030294 A CN202111030294 A CN 202111030294A CN 113822831 A CN113822831 A CN 113822831A
- Authority
- CN
- China
- Prior art keywords
- infrared
- visible light
- lens
- spatial transformation
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 35
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000032669 eclosion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于空间变换的红外与可见光融合方法，包括如下步骤：S1：建立空间变换关系库；S2：根据被检测物体和相机的距离调整镜头与成像面之间的距离镜头信息和图片信息调参，并获取红外和可见光图像；S3：计算两个相机成像面的对应关系；S4：对图片进行融合并获取融合图片。本发明利用射影变换能够克服传统可见光与红外融合的计算量大的问题，但当红外和可见光相机镜头与成像面位置发生相对变化后原射影变换矩阵失效，因此本发明能够解决这一问题，而且由于红外和可见光图像是通过空间变化得来的，融合不会出现匹配率不高和融合存在鬼影等现象。
Description
技术领域
本发明涉及光学技术领域，特别涉及一种基于空间变换的红外与可见光融合方法。
背景技术
在可见光与红外融合中，由于传感器之间的成像方法和成像平台的差异，即使同时从同一区域角度拍摄红外图像和可见光图像，红外图像和可见光图像之间也存在巨大差异，这使得与红外和可见图像匹配更加困难。首先，成像原理的区别在于具有不同内在特征的光谱不同波段的红外和可见光。可见光图像比例的灰色值由对象表面的反向速率和阴影决定，而红外线则由对象表面的反射率和温度决定。特别是，在温差的影响下，红外图像具有较高的动态范围。其次，由于红外和可见光镜头同时从同一区域拍摄时不能处于完全相同的位置，因此两者之间的透视会存在一定差异，这将导致图像的几何失真，从而难以及时估计模型的参数。
基于特征的配准红外可见光融合的方法是从红外与可见光图像中分别抽取共有特征，在特征空间寻找模型变换参数，也是目前红外和可见光图像配准的研究热点。从特征提取可分为点特征、线特征和区域特征。目前基于特征配准的图像融合方式大多都不尽人意，由于红外图像和可见光图像的分辨率不同，导致图像配准过程中匹配不精确和匹配存在鬼影等问题。
基于射影变换的红外和可见光融合方法仅依靠空间变换实现了像素级的匹配，能够有效的解决匹配复杂、精度不高和存在鬼影问题。但是，很多情况下需要拍摄不同距离的对象，此时需要调整镜头和成像面之间的位置关系(对焦)，受限于射影变换原理，当图像采集设备的镜头和成像面相对位置关系发生变化后射影变换的对应关系也相应失效。
发明内容
针对基于特征点匹配的红外图像和可见光融合的过程中计算量大、配准存在误差、匹配存在鬼影和基于射影变换的方法对焦后空间变换失效的问题，本发明提供一种基于空间变换的红外与可见光融合方法，此方法适用于可对焦成像系统。
为实现上述目的，本发明的具体方案如下：
一种基于空间变换的红外与可见光融合方法，包括如下步骤：
S1：建立空间变换关系库；
S2：根据被检测物体和相机的距离调整镜头与成像面之间的距离镜头信息和图片信息调参，并获取红外和可见光图像；
S3：计算两个相机成像面的对应关系；
S4：对图片进行融合并获取融合图片。
优选地，所述步骤S1、S2中，获取红外和可见光图像的方法为，使用参数一致的红外镜头和可见光镜头。
优选地，所述红外镜头和可见光镜头需要保持一致的硬件参数，包括焦距和分辨率。
优选地，所述步骤S2中，根据镜头信息和图片信息调参的方法为，测距结果对镜头的位置进行调参。
优选地，所述步骤S4中，对图片进行融合的方法为，加权平均法、羽化算法，绝对值最大算法、或拉普拉斯金字塔融合算法方法。
优选地，所述步骤S4中，对图片进行融合的方法采用加权平均法。
采用本发明的技术方案，具有以下有益效果：
本发明克服了以下两种方法的缺点：(1)传统可见光与红外融合的计算量大的问题，、匹配率低和融合存在鬼影现象；(2)设备成像面和镜头发射管相对位置关系变化后射影变换失效。本发明提前对固定若干位置进行射影变换的建立，利用被拍摄对象的距离确定调焦位置，并根据镜头调焦后位置和相邻已建立射影变换的位置关系进行插值处理，获取到两个成像面像素级匹配。
附图说明
图1为本发明整体结构示意图；
图2为本发明被摄图像示意图；
图3为本发明使用的标准物示意图；
图4为本发明的流程图；
图5位本发明建立关系库示意图。
具体实施方式
以下结合附图和具体实施例，对本发明进一步说明。
参照图1和图2，本发明是一种基于空间变换的红外与可见光融合方法，需要依靠红外镜头1和可见光镜头2来分别采集红外光和可见光，使被摄物体3的红外图像5和可见光图像6都显示在显示屏4上，并且尽可能的让这两台相机的硬件参数保持一致，例如焦距、分辨率等，红外镜头1与可见光镜头2的距离尽可能近，并且尽可能的使两个镜头的光轴平行，即使红外镜头1与可见光镜头2的光轴保持平行和适当小的距离，7为激光测距模块能够实时获取两个相机视场中心对焦位置到相机的距离。
参照图2，在上述条件的满足下，红外图像5和可见光图像6只有相对被摄物体的位置有所不同，利用两个镜头之间的间距和空间位置，只需要对两幅图像进行空间变换，用空间转换的方法将两枚摄像头采集到的信息完美融合。
按照上诉要求搭建的相机拍摄图像后，红外镜头1和可见光镜头2拍摄的照片如图2所示，其中虚线边框是红外图像5，实线边框是可见光图像6，两个图片只有空间间距的不同，导致两张图片只有稍微的位移，可以通过平移图像来达到完美的融合，假如两个分辨率都是1366×768，例如上图中六角星中点，在两个图像的像素点分别为(783，360)和(183，390)，那么只需要红外图像5的像素右移15个像素点，可见光图像6左移15个像素点就能完美融合。如果由于两个镜头的参数不一致导致图像几何失真，那么采用射影变换的方法来矫正失真，如果镜头参数和位置不变动，那么经过第一次调参后，再次拍摄并融合也可以使用第一次的参数。
参照图3为标准物，其直径固定、四个球8的球心在同一个面内，且球心距已知。
参照图4，系统在使用前需要先建立空间变换关系库，使用图3中所示的标准物建立两个像平面的对应关系。具体过程如图4所示，将标准物在监测空间范围内选择几个均匀分布的位置分别放置如图5所示，每放置一个位置同时用两个相机采集，利用共面的四个点，按照二维射影变换公式建立两个像平面的对应关系，记录相应位置标准物到两个相机的空间距离，建立空间变换关系库。
参照图4，本发明的整体流程如下：
S1：建立空间变换关系库
首先，将附带有激光测距模块的红外相机和可见光相机固定到夹具上，在测量范围空间内等间距选择若干个位置，将标准物的中的标准球使用温热油进行加热，并依次分别放置在这些位置上，在放置的每一个位置上同时用两个相机采集图像；然后，分别对拍摄图像中的球进行分割，并使用重心方法对图像中圆心位置进行定位，利用共面的四个点建立两个像平面的对应关系；将所有位置信息及对应射影变换关系式作为数据进行存储建立空间变换关系库。
S2：调整镜头位置并获取红外和可见光图像。
首先激光测距模块测量待测物体到相机的距离，根据距离同步调整两个相机镜头到成像面的相对位置至图像清晰(由于镜头参数相同，故调整距离相同)；然后，两个相机同时拍摄被测物体获取图像。
S3：计算两个相机成像面的对应关系。
首先，在空间变换关系库寻找当前测量场景下对焦被测物体的距离相邻前后两个位置的对应数据；然后，分别使用两套对应关系参数计算每个像素的对应关系；最后，按照式(3)对当前位置的对应关系位置进行线性插值获取匹配信息。
S4：对图片进行融合并获取融合图片
图像融合的方法有很多例如：加权平均的融合方法，羽化算法，绝对值最大的融合方法，拉普拉斯金字塔融合算法方法等。
1)加权平均法，即简单的使用加权的方式从左边过渡到右边。这种方法效果一般，但算法实现极其简单，速度快；
2)羽化算法，这种方法过渡会比加权平均法自然，但会造成不好的模糊效果；
3)拉普拉斯金字塔融合，有的地方也称为多分辨率融合算法。这种方法是将图像建立一个拉普拉斯金字塔，其中金字塔的每一层都包含了图像不同的频段。分开不同频段进行融合效果出奇的好；
4)绝对值最大算法，即通过计算相邻像素点的差绝对值，绝对值越大，图像层次越分明，优点在于边缘强度高，纹理清晰，但是拼接感强，结构不完整。
由于两个相机分别采集的是红外图像5和可见光图像6，为了加快融合速度，且让融合图像即显示红外信息，又显示可见光的信息，加权平均融合是比较好的方法。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。
Claims (6)
1.一种基于空间变换的红外与可见光融合方法，其特征在于，包括如下步骤：
S1：建立空间变换关系库；
S2：根据被检测物体和相机的距离调整镜头与成像面之间的距离镜头信息和图片信息调参，并获取红外和可见光图像；
S3：计算两个相机成像面的对应关系；
S4：对图片进行融合并获取融合图片。
2.根据权利要求1所述的基于空间变换的红外与可见光融合方法，其特征在于，所述步骤S1、S2中，获取红外和可见光图像的方法为，使用参数一致的红外镜头和可见光镜头。
3.根据权利要求2所述的基于空间变换的红外与可见光融合方法，其特征在于，所述红外镜头和可见光镜头需要保持一致的硬件参数，包括焦距和分辨率。
4.根据权利要求1所述的基于空间变换的红外与可见光融合方法，其特征在于，所述步骤S2中，根据镜头信息和图片信息调参的方法为，测距结果对镜头的位置进行调参。
5.根据权利要求1所述的基于空间变换的红外与可见光融合方法，其特征在于，所述步骤S4中，对图片进行融合的方法为，加权平均法、羽化算法，绝对值最大算法、或拉普拉斯金字塔融合算法方法。
6.根据权利要求5所述的基于空间变换的红外与可见光融合方法，其特征在于，所述步骤S4中，对图片进行融合的方法采用加权平均法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111030294.9A CN113822831B (zh) | 2021-09-03 | 2021-09-03 | 一种基于空间变换的红外与可见光融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111030294.9A CN113822831B (zh) | 2021-09-03 | 2021-09-03 | 一种基于空间变换的红外与可见光融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113822831A true CN113822831A (zh) | 2021-12-21 |
| CN113822831B CN113822831B (zh) | 2023-06-16 |
Family
ID=78913966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111030294.9A Active CN113822831B (zh) | 2021-09-03 | 2021-09-03 | 一种基于空间变换的红外与可见光融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822831B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150055886A1 (en) * | 2013-08-20 | 2015-02-26 | Samsung Techwin Co., Ltd. | Image fusion system and method |
| CN105205818A (zh) * | 2015-09-18 | 2015-12-30 | 国网上海市电力公司 | 一种电气设备红外图像和可见光图像配准的方法 |
| CN106500852A (zh) * | 2016-09-28 | 2017-03-15 | 北方夜视技术股份有限公司 | 红外与可见光图像配准与融合的系统与方法 |
| CN111080724A (zh) * | 2019-12-17 | 2020-04-28 | 大连理工大学 | 一种红外和可见光的融合方法 |
| KR102257752B1 (ko) * | 2020-05-14 | 2021-05-31 | 인천대학교 산학협력단 | 인공지능 기반 적외선 이미지와 가시광선 이미지를 융합하는 영상 융합 장치 및 방법 |
-
2021
- 2021-09-03 CN CN202111030294.9A patent/CN113822831B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150055886A1 (en) * | 2013-08-20 | 2015-02-26 | Samsung Techwin Co., Ltd. | Image fusion system and method |
| CN105205818A (zh) * | 2015-09-18 | 2015-12-30 | 国网上海市电力公司 | 一种电气设备红外图像和可见光图像配准的方法 |
| CN106500852A (zh) * | 2016-09-28 | 2017-03-15 | 北方夜视技术股份有限公司 | 红外与可见光图像配准与融合的系统与方法 |
| CN111080724A (zh) * | 2019-12-17 | 2020-04-28 | 大连理工大学 | 一种红外和可见光的融合方法 |
| KR102257752B1 (ko) * | 2020-05-14 | 2021-05-31 | 인천대학교 산학협력단 | 인공지능 기반 적외선 이미지와 가시광선 이미지를 융합하는 영상 융합 장치 및 방법 |
Non-Patent Citations (4)
| Title |
|---|
| ZEHUA ZHOU等: "Infrared image and visible image fusion based on wavelet transform", ICCIA, pages 886 - 890 * |
| 胡永利;王亮;刘蓉;张丽;段福庆;: "一种从粗到精的红外和可见光卫星图像配准方法", 光谱学与光谱分析, no. 11, pages 90 - 94 * |
| 闫钧华;朱智超;孙思佳;杭谊青;: "基于多尺度红外与可见光图像配准研究", 激光与红外, no. 03, pages 99 - 103 * |
| 马金磊等: "基于随机游走算法的红外与可见光图像融合", 电光与控制, pages 1 - 6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113822831B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sinha et al. | Pan–tilt–zoom camera calibration and high-resolution mosaic generation | |
| US9762871B2 (en) | Camera assisted two dimensional keystone correction | |
| CN107659774B (zh) | 一种基于多尺度相机阵列的视频成像系统及视频处理方法 | |
| US6023588A (en) | Method and apparatus for capturing panoramic images with range data | |
| JP2019149809A (ja) | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 | |
| US7804996B2 (en) | Method for associating stereo image and three-dimensional data preparation system | |
| CN109003311B (zh) | 一种鱼眼镜头的标定方法 | |
| CN105530431A (zh) | 一种反射式全景成像系统及方法 | |
| de Agapito et al. | Self-Calibration of a Rotating Camera with Varying Intrinsic Parameters. | |
| CN105184784B (zh) | 基于运动信息的单目相机获取深度信息的方法 | |
| CN105376471A (zh) | 一种基于移动平台的全景拍摄系统及方法 | |
| CN109883391B (zh) | 基于微透镜阵列数字成像的单目测距方法 | |
| EP2791868A1 (en) | System and method for processing multi-camera array images | |
| CN105282443A (zh) | 一种全景深全景图像成像方法 | |
| US20220137555A1 (en) | System and method for lightfield capture | |
| CN113255643A (zh) | 一种应用于位移监测的机器视觉识别算法 | |
| CN115830103A (zh) | 一种基于单目彩色的透明物体定位方法、装置及存储介质 | |
| CN114359406A (zh) | 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法 | |
| CN113436130B (zh) | 一种非结构光场智能感知系统与装置 | |
| CN107977998B (zh) | 一种基于多视角采样的光场校正拼接装置及方法 | |
| CN109682312B (zh) | 一种基于摄像头测量长度的方法及装置 | |
| CN113822831A (zh) | 一种基于空间变换的红外与可见光融合方法 | |
| CN111583388A (zh) | 一种三维扫描系统的扫描方法及设备 | |
| CN112446925A (zh) | 摄像设备参数标定方法、设备及系统 | |
| CN111784749A (zh) | 一种基于双目视觉的空间定位与运动分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |