CN105590305A - 基于红外与微光图像融合技术的彩色夜视系统 - Google Patents
基于红外与微光图像融合技术的彩色夜视系统 Download PDFInfo
- Publication number
- CN105590305A CN105590305A CN201610123046.1A CN201610123046A CN105590305A CN 105590305 A CN105590305 A CN 105590305A CN 201610123046 A CN201610123046 A CN 201610123046A CN 105590305 A CN105590305 A CN 105590305A
- Authority
- CN
- China
- Prior art keywords
- image
- pyramid
- infrared
- night vision
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004297 night vision Effects 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 title claims abstract description 17
- 238000005516 engineering process Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 238000002156 mixing Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 7
- 239000000779 smoke Substances 0.000 abstract 2
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 2
- 235000019504 cigarettes Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
基于红外与微光图像融合技术的彩色夜视系统，本发明涉及一种彩色夜视系统，特别是运用了将红外、微光两种夜视图像融合成像的技术。目前，主要的夜视设备有两种：红外热像仪、微光夜视仪。但是，第一种红外图像轮廓模糊、分辨率低、层次感差，成像不符合人眼视觉特性，不利于人眼观察。另一种微光夜视仪，容易受光照、天气等环境条件影响，在雨、烟、雾等恶劣条件下，图像细节损失严重。本发明提供一种不受天气、光照、烟雾影响，分辨率高，实时性好，细节丰富，符合人眼视觉特性，易于人员读识别、理解的彩色夜视系统。本发明使用图像金字塔方法，对同一场景、同一视角下的红外、微光两路夜视图像进行融合。再利用色彩传递快速算法，将白天自然场景下的色调传递给融合后的夜视图像。
Description
技术领域
本发明涉及一种彩色夜视系统，特别是运用了将红外、微光两种夜视图像融合成像的技术。
背景技术
目前，主要的夜视设备有两种：红外热像仪、微光夜视仪。但是，第一种红外图像轮廓模糊、分辨率低、层次感差，成像不符合人眼视觉特性，不利于人眼观察。另一种微光夜视仪，容易受光照、天气等环境条件影响，在雨、烟、雾等恶劣条件下，图像细节损失严重。
发明内容
发明的目的：提供一种不受天气、光照、烟雾影响，分辨率高，实时性好，细节丰富，符合人眼视觉特性，易于人员读识别、理解的彩色夜视系统。
本发明的技术：使用图像金字塔方法，对同一场景、同一视角下的红外、微光两路夜视图像进行融合。再利用色彩传递快速算法，将白天自然场景下的色调传递给融合后的夜视图像。
本发明的效果：实现了微光和红外热成像的实时彩色融合，得到更为符合人眼视觉特点的彩色图像，有助于丰富图像信息。使用该系统，在夜晚、雾霾、雨雪等可见度很低的天气下，可以自然、直观地识别目标物体及其相对的背景位置信息。
附图说明
附图是发明结构示意图。
具体实施方式
本发明的实现主要分四个模块：图像预处理、图像融合、色彩传递、图像输出。
模块一，图像预处理。该部分主要包括以下三个方面：图像获得、图像配准、图像增强。为了对景物微光图像和红外图像进行高质量的融合，必须先按照这两种成像机理和特点，获得同一场景、同一视角的原始图像。图像配准，需要微光、红外两路图像不仅要帧同步，还要同步精度到像素级，保证像素对齐。图像增强则对于图像融合奠定了较好的基础，为图像融合质量提供了保障。
模块二，图像融合。本发明使用的图像融合算法是图像金字塔方法，其原理是：将参与融合的两幅图像分别分解为多尺度的金字塔图像序列，将低分辨率的图像在上层，高分辨率的图像在下层，上层图像的大小为前一次图像大小的1/4。层数为0,1,2……N。将所有图像的金字塔在相应层上以一定规则融合，就可得到合成金字塔，再将该合成金字塔按照金字塔生成的逆过程进行重构，得到融合金字塔，由融合金字塔恢复出融合后的图像。由于金字塔的分解算法、每层的融合算法不一样，可以衍生出多种金字塔融合算法，常见的有高斯金字塔、拉普拉斯金字塔、小波金字塔等。
模块三，色彩传递。共有四个步骤：第一步，将微光、红外两路图像进行线性组合后映射到颜色空间，得到伪彩色图像。第二步，计算伪彩色图像颜色空间各通道的均值、标准差，再将类似场景白天自然光下的一幅图像作为参考图像，计算参考图像的均值、标准差；将伪彩色图像各通道的像素值减去自身均值，根据参考图像、伪彩色图像的标准差比进行缩放，再加上参考图像的均值；以此，进行色彩增强，完成白天自然光下图像到夜视图像的色彩传递。第三步，根据红外、微光二维灰度信息，与彩色融合图像建立一一对应的二维彩色查找表。第四步，根据查找表，快速、实时地输出彩色夜视图像。以上四个步骤中，前三个步骤都可以在实际使用之前的调试过程中完成，不影响实际使用，这样就保证了实际使用过程中彩色夜视图像的高实时性。
模块四，图像输出。按照实际工程要求，将融合好的彩色夜视图像实时传输到显示器上。
Claims (4)
1.本发明涉及一种彩色夜视系统，特别是运用了将红外、微光两种夜视图像融合成像的技术。
2.根据权利要求1所述的基于红外与微光图像融合技术的彩色夜视系统，其特征是使用的图像融合算法是图像金字塔方法，其原理是：将参与融合的两幅图像分别分解为多尺度的金字塔图像序列，将低分辨率的图像在上层，高分辨率的图像在下层，上层图像的大小为前一次图像大小的1/4；层数为0,1,2……N；将所有图像的金字塔在相应层上以一定规则融合，就可得到合成金字塔，再将该合成金字塔按照金字塔生成的逆过程进行重构，得到融合金字塔，由融合金字塔恢复出融合后的图像；由于金字塔的分解算法、每层的融合算法不一样，可以衍生出多种金字塔融合算法，常见的有高斯金字塔、拉普拉斯金字塔、小波金字塔等。
3.根据权利要求1所述的基于红外与微光图像融合技术的彩色夜视系统，其特征是夜视图像是彩色的，且颜色近似于同场景在自然光下的颜色。
4.根据权利要求1所述的基于红外与微光图像融合技术的彩色夜视系统，其特征是彩色融合夜视图像的生成是快速、实时的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610123046.1A CN105590305A (zh) | 2016-03-04 | 2016-03-04 | 基于红外与微光图像融合技术的彩色夜视系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610123046.1A CN105590305A (zh) | 2016-03-04 | 2016-03-04 | 基于红外与微光图像融合技术的彩色夜视系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105590305A true CN105590305A (zh) | 2016-05-18 |
Family
ID=55929865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610123046.1A Pending CN105590305A (zh) | 2016-03-04 | 2016-03-04 | 基于红外与微光图像融合技术的彩色夜视系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105590305A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815826A (zh) * | 2016-12-27 | 2017-06-09 | 上海交通大学 | 基于场景识别的夜视图像彩色融合方法 |
| CN107103596A (zh) * | 2017-04-27 | 2017-08-29 | 湖南源信光电科技股份有限公司 | 一种基于yuv空间的彩色夜视图像融合方法 |
| CN107705274A (zh) * | 2017-08-21 | 2018-02-16 | 中国核电工程有限公司 | 一种基于数学形态学多尺度的微光与红外图像融合方法 |
| CN108154494A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| CN109756685A (zh) * | 2017-11-07 | 2019-05-14 | 科盾科技股份有限公司 | 一种基于图像拼接和图像融合的车载夜视系统 |
| CN109829417A (zh) * | 2019-01-28 | 2019-05-31 | 上海市建筑科学研究院 | 基于红外热成像技术监测机房热点的优化方法及监测装置 |
| CN110651301A (zh) * | 2017-05-24 | 2020-01-03 | 黑拉有限责任两合公司 | 用于自动为夜视图像着色的方法和系统 |
| CN116186418A (zh) * | 2023-04-27 | 2023-05-30 | 深圳市夜行人科技有限公司 | 一种微光成像系统推荐方法、系统及介质 |
| CN116993729A (zh) * | 2023-09-26 | 2023-11-03 | 南京铂航电子科技有限公司 | 一种基于二次谐波的夜视仪成像系统和方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069769A (zh) * | 2015-08-26 | 2015-11-18 | 哈尔滨工业大学 | 一种微光与红外夜视图像融合方法 |
-
2016
- 2016-03-04 CN CN201610123046.1A patent/CN105590305A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069769A (zh) * | 2015-08-26 | 2015-11-18 | 哈尔滨工业大学 | 一种微光与红外夜视图像融合方法 |
Non-Patent Citations (6)
| Title |
|---|
| ZHANG JUNJU 等: "Real-time Color Image Fusion for Infrared and Low-light-level Cameras", 《INTERNATIONAL SYMPOSIUM ON PHOTOELECTRONIC DETECTION AND IMAGING》 * |
| 史世明 等: "基于多分辨率色彩传递的彩色夜视方法研究", 《光子学报》 * |
| 张宝辉: "红外与可见光的图像融合系统及应用研究", 《中国博士学位论文全文数据库信息科技辑》 * |
| 许真: "基于纹理传递的夜视图像处理", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 谯涵丹 等: "红外与微光融合图像的多尺度色彩传递算法", 《红外技术》 * |
| 闫敏敏: "基于视觉感知的红外和微光图像彩色融合方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815826A (zh) * | 2016-12-27 | 2017-06-09 | 上海交通大学 | 基于场景识别的夜视图像彩色融合方法 |
| CN107103596A (zh) * | 2017-04-27 | 2017-08-29 | 湖南源信光电科技股份有限公司 | 一种基于yuv空间的彩色夜视图像融合方法 |
| CN110651301A (zh) * | 2017-05-24 | 2020-01-03 | 黑拉有限责任两合公司 | 用于自动为夜视图像着色的方法和系统 |
| CN107705274B (zh) * | 2017-08-21 | 2022-04-19 | 中国核电工程有限公司 | 一种基于数学形态学多尺度的微光与红外图像融合方法 |
| CN107705274A (zh) * | 2017-08-21 | 2018-02-16 | 中国核电工程有限公司 | 一种基于数学形态学多尺度的微光与红外图像融合方法 |
| CN109756685A (zh) * | 2017-11-07 | 2019-05-14 | 科盾科技股份有限公司 | 一种基于图像拼接和图像融合的车载夜视系统 |
| CN108154494A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| CN108154494B (zh) * | 2017-12-25 | 2019-05-14 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| CN109829417A (zh) * | 2019-01-28 | 2019-05-31 | 上海市建筑科学研究院 | 基于红外热成像技术监测机房热点的优化方法及监测装置 |
| CN116186418A (zh) * | 2023-04-27 | 2023-05-30 | 深圳市夜行人科技有限公司 | 一种微光成像系统推荐方法、系统及介质 |
| CN116186418B (zh) * | 2023-04-27 | 2023-07-04 | 深圳市夜行人科技有限公司 | 一种微光成像系统推荐方法、系统及介质 |
| CN116993729A (zh) * | 2023-09-26 | 2023-11-03 | 南京铂航电子科技有限公司 | 一种基于二次谐波的夜视仪成像系统和方法 |
| CN116993729B (zh) * | 2023-09-26 | 2024-03-29 | 南京铂航电子科技有限公司 | 一种基于二次谐波的夜视仪成像系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105590305A (zh) | 基于红外与微光图像融合技术的彩色夜视系统 | |
| CN111062905B (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
| US10194135B2 (en) | Three-dimensional depth perception apparatus and method | |
| DE112020004813T5 (de) | Systeme und verfahren zur erweiterung von sensorsystemen und bildgebungssystemen mit polarisation | |
| CN101667303B (zh) | 一种基于编码结构光的三维重建方法 | |
| CN109920007A (zh) | 基于多光谱光度立体与激光扫描的三维成像装置及方法 | |
| CN105957004B (zh) | 一种基于图割优化的全景影像修补方法及系统 | |
| CN107154014A (zh) | 一种实时彩色及深度全景图像拼接方法 | |
| CN103093426B (zh) | 恢复定标板遮挡区域的纹理和光照的方法 | |
| CN102547063A (zh) | 基于颜色对比度增强的自然感彩色融合方法 | |
| CN105139350A (zh) | 一种无人机侦察图像地面实时重建处理系统 | |
| CN107105216B (zh) | 一种基于针孔阵列的连续视差、广视角的三维光场显示装置 | |
| CN105869115B (zh) | 一种基于kinect2.0的深度图像超分辨率方法 | |
| CN104601953A (zh) | 一种视频图像融合处理系统 | |
| CN109428987A (zh) | 一种头戴式全景360度立体摄像装置及摄像处理方法 | |
| CN104980727B (zh) | 基于虚拟现实技术的图像合成方法和头戴式显示设备 | |
| CN107958489B (zh) | 一种曲面重建方法及装置 | |
| CN205249392U (zh) | 一种辅助驾驶设备的视频采集系统 | |
| CN104361595A (zh) | 远距离六维夜视方法 | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| CN105139370B (zh) | 一种基于可见光与近红外双波段相机的实时图像融合方法 | |
| Jin et al. | Image Enhancement Based on Selective-Retinex Fusion Algorithm. | |
| CN106971385B (zh) | 一种飞行器态势感知用多源图像实时融合方法及其装置 | |
| CN110111292A (zh) | 一种红外与可见光图像融合方法 | |
| CN109495694B (zh) | 一种基于rgb-d的环境感知方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160518 |
|
| WD01 | Invention patent application deemed withdrawn after publication |