CN106469442A - 一种基于阵列图像的低照度图像增强方法 - Google Patents
一种基于阵列图像的低照度图像增强方法 Download PDFInfo
- Publication number
- CN106469442A CN106469442A CN201610842446.8A CN201610842446A CN106469442A CN 106469442 A CN106469442 A CN 106469442A CN 201610842446 A CN201610842446 A CN 201610842446A CN 106469442 A CN106469442 A CN 106469442A
- Authority
- CN
- China
- Prior art keywords
- image
- array
- low
- illumination
- carried out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000011946 reduction process Methods 0.000 claims abstract description 5
- 238000003707 image sharpening Methods 0.000 claims abstract description 4
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000005728 strengthening Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 238000004377 microelectronic Methods 0.000 claims 1
- 241000219739 Lens Species 0.000 description 9
- 210000000695 crystalline len Anatomy 0.000 description 9
- 230000004927 fusion Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 241000272194 Ciconiiformes Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于阵列图像的低照度图像增强方法。该低照度图像增强方法的实施步骤包括：(1)由同焦距阵列镜头获得低照度环境下的阵列图像；(2)对获取的阵列图像首先逐张运用多尺度Retinex算法进行初步增强，(3)再对增强后的阵列图像进行图像锐化增强边缘；(4)以中心图像为参考图像进行多尺度特征的配准；(5)对图像进行像素值加权平均的图像融合；(6)对增强后的图像用线性滤波进行降噪处理；(7)将图像由RGB格式转换成HSV格式，对V通道再进行一次Retinex增强。该发明在3×3阵列镜头上得到有效的验证，有望扩展移动设备在图像增强领域的应用范围。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于阵列图像的低照度图像增强方法，可用于低照度环境下的图像增强。
背景技术
随着电子设备的快速发展和专业摄像器材应用的普及，人们越来越能拍摄到质量较高的图片。但是在实际摄影过程中，总会存在各种不可控因素，致使获得的图片存在各种缺陷。尤其是由于拍摄环境光源缺失或者光照条件不足等引起图像偏暗的现象，从而产生了低照度图像。在图像经过存储、转换、传输等操作后，更进一步降低了低照度图像的质量。低照度图像广泛存在于人们生活中。为保障社会公共安全，广场、交通要道、住宅区、办公楼等重要公共场所都安装视频监控系统，以便犯罪行为发生后能及时准确地了解现场状况。然而一般情况下，不法分子都选择在夜间实施不法行为，此时由于光照太弱，监控系统只能捕捉得到低照度图像。还有些场景，如医院对病人进行观测，由于光源会影响到病人休息质量，只能开启极低照度的光源，因此会获得低照度的检测图像。又比如监狱为了对罪犯实施监控，也需要在隐蔽位置安装摄像头，且在夜间拍照时也不能开启闪光灯。由此看出，在低照度环境下进行图像获取尤为重要，对低照度图像进行图像处理也显得更为紧迫。低照度图像灰度范围窄、灰度变化不明显，且相邻像素的空间关联性高，这些特点使得图像中的细节、背景和噪声等都包含在较窄的灰度范围之内。因此为了改善低照度图像的视觉效果，将其转换为一种更适于人眼观察和计算机处理的形式，便于提取有用信息，这就需要对获取的低照度图像进行增强处理。
另外，阵列镜头最初构想来源是2005年斯坦福大学Ren Ng提出的光场技术，其核心是在主透镜与传感器之间加了一个微透镜阵列，可以实现先拍照后对焦。2007年Lytro公司利用该技术推出世界上首款光场相机，与传统相机不同，它可以记录光的众多属性。而在Lytro之前，德国的Raytrix公司也生产光场相机，Raytrix三维光场相机拥有实时长景深和不失焦的特点，一般应用于科学及工业级用途、3D立体显示技术。Raytrix公司相机与Lytro相机一样，其光学成像系统由主透镜，微透镜阵列和探测器三部分组成。但Lytro和Raytrix公司的光场相机光学成像系统中都加有微透镜阵列，尺寸大，厚度厚，不能用于手机等移动设备上。为克服这一缺陷，2011年，Pelican公司推出阵列相机不再加入微透镜阵列，其阵列式镜头由4×4排列的16枚子镜头组成，一次拍摄得到16幅单色图像。该相机的强大之处在于可以实现先拍照后对焦，后期可以通过图像匹配、拼接等完成三维图像重构并显示。我们研究的阵列式镜头与Pelican公司类似，可实现运动模糊图像的复原、图像测量、重对焦、超分辨率重建等。
发明内容
本发明要解决的技术问题是：在传统的低照度图像增强方法中，光照均匀是至关重要的，根据光照图像反推出目标物体信息。光照度的估计将直接严重影响增强的效果，最终影响图像的视觉效果。本发明涉及的关键方法是像素值加权平均的图像融合以及在HSV上的Retinex再次增强。本发明所采用的技术方案是：
(1)由同焦距阵列镜头获得低照度环境下的阵列图像；
(2)对获取的阵列图像首先逐张运用multi-scale Retinex算法进行初步增强；
(3)再对增强后的阵列图像进行图像锐化增强边缘；
(4)以中心图像为参考图像进行多尺度特征的配准；
(5)对图像进行像素值加权平均的图像融合；
(6)对增强后的图像用线性滤波进行降噪处理；
(7)将图像由RGB格式转换成HSV格式，对V通道在进行一次Retinex增强。
附图说明
图1本发明流程图
图2本发明使用的阵列镜头
图3本发明使用的阵列图像
图4使用multi-scale Retinex算法初步增强后的图像
图5对初步增强后图像进行锐化的图像
图6基于多尺度特征配准后的阵列图像
图7融合后的图像
图8使用线性滤波进行降噪后的图像
图9增强后得到的最终图像
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，结合本发明中涉及的阵列图像，对本发明进一步详细说明。
附图2所示为使用阵列镜头拍摄得到转动的风扇得到的3*3阵列图像如附图3所示，这组阵列图像存在一定的视差，阵列图像中每张子图像的光照度都不同。基于阵列图像的低照度图像增强方法的具体实施方法如下：
1)对获取的阵列图像首先逐张运用multi-scale Retinex算法进行初步增强multi-scale Retinex算法，可以实现颜色增强，颜色恒定性，局部动态范围压缩和全局动态范围压缩，它也可以用于X射线图像增强，其计算公式如下：
其中，Ii(x，y)是原始输入图像，F(x，y)是中心环绕函数，k＝3，
w1＝w2＝w3＝1/3 (2)
使用multi-scale Retinex算法对低照度阵列图像逐张进行初步增强，初步增强后的图像如附图4所示。
2)对增强后的阵列图像进行图像锐化
初步增强后的图像边缘有所退化，我们把图像中0.5-0.9光照值映射到0.1-0.9，经过处理，图像的对比度明显增强，如附图5所示。
3)对阵列图像进行基于多尺度特征的配准
我们取阵列图像的中心图像(第5幅图像)为基准图像进行配准。使用小波变换分解原始图像，在每个尺度上检测角点位置，然后把小尺度上的角点映射到大尺度的图像上，进而获得原始图像的角点位置，最后将图像进行重建，得到配准后的阵列图像，如附图6所示。
4)对阵列图像进行像素值加权平均的图像融合
首先将阵列图像的所有子图像都分解成R，G，B三个通道，然后在每个相同通道上的所有图像的像素值取加权平均值进行融合，分别得到R，G，B三个通道上融合后的图像，最后把上述得到的R，G，B三个通道合成一幅RGB图像，融合后的图像如附图7所示。
5)对融合后的使用线性滤波进行降噪处理
因为低照度图像自身存在大量的噪声，融合后噪声加重，严重影响图像的质量，我们使用线性滤波进行降噪处理，如附图8所示。
6)将图像由RGB格式转换成HSV格式，在V通道上使用Retinex算法再次增强
首先将图像由RGB格式变换到HSV格式，其中V通道表示图像的亮度信息，使用Retinex算法对V通道进行增强，最后再将H，S，V三个通道合成一幅图像，再转换成RGB图像，得到最终增强后的图像，如附图9所示。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应该涵盖在本发明的权利要求书的保护范围之内。
Claims (4)
1.同焦距阵列镜头模组由华天科技(昆山)电子有限公司和格科微电子(上海)有限公司提供，由3×3排列的9枚子镜头组成，一次拍摄得到九幅彩色运动模糊图像。这里使用阵列镜头拍摄得到的阵列图像是必要技术特征，而阵列镜头的构造及组件不是必要的。
2.根据权利要求1所述的同焦距阵列镜头拍摄低照度阵列图像，算法特征包括：
(1)由同焦距阵列镜头获得低照度环境下的阵列图像；
(2)对获取的阵列图像首先逐张运用多尺度Retinex算法进行初步增强；
(3)再对增强后的阵列图像进行图像锐化增强边缘；
(4)以中心图像为参考图像进行多尺度特征的配准；
(5)对图像进行像素值加权平均的图像融合；
(6)对增强后的图像用线性滤波进行降噪处理；
(7)将图像由RGB格式转换成HSV格式，对V通道在进行一次Retinex增强。
3.根据权利要求2所述的同焦距阵列镜头低照度图像增强方法，其特征在于将图像初步增强后进行锐化并进行图像融合，再转换到HSV格式进行再次增强。特别的，这里的阵列图像存在视差每幅图像中光照强度不同且不均匀，经过图像融合后，能弥补光照不均匀的缺陷，再转换到HSV格式进行再次增强，得到质量更好的图像。
4.再根据权利要求2所述的基于阵列镜头的低照度图像增强方法，不同于基于单幅图像的增强方法，这里使用的是阵列图像，能弥补光照不均匀的缺陷，得到对比度更好，细节信息更丰富的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610842446.8A CN106469442A (zh) | 2016-09-23 | 2016-09-23 | 一种基于阵列图像的低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610842446.8A CN106469442A (zh) | 2016-09-23 | 2016-09-23 | 一种基于阵列图像的低照度图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106469442A true CN106469442A (zh) | 2017-03-01 |
Family
ID=58230525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610842446.8A Pending CN106469442A (zh) | 2016-09-23 | 2016-09-23 | 一种基于阵列图像的低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106469442A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392879A (zh) * | 2017-07-20 | 2017-11-24 | 武汉大学 | 一种基于参考帧的低照度监控图像增强方法 |
| CN108230272A (zh) * | 2018-01-04 | 2018-06-29 | 京东方科技集团股份有限公司 | 一种图像增强方法和装置 |
| CN109472758A (zh) * | 2018-11-20 | 2019-03-15 | 山东科技大学 | 一种地震剖面图像纹理细节增强方法 |
| EP3525165A1 (en) * | 2018-02-09 | 2019-08-14 | Samsung Electronics Co., Ltd. | Method and apparatus with image fusion |
| CN112085737A (zh) * | 2020-07-31 | 2020-12-15 | 新绎健康科技有限公司 | 一种用于获取红外血管图像增强图像的方法及系统 |
| CN112884684A (zh) * | 2021-01-13 | 2021-06-01 | 电子科技大学 | 一种基于raw图像的反光图像合成方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140083602A (ko) * | 2012-12-26 | 2014-07-04 | 금오공과대학교 산학협력단 | 디해이징 및 레티넥스 결합을 이용한 시야 개선 영상 처리 시스템 및 방법 |
| CN104240194A (zh) * | 2014-04-29 | 2014-12-24 | 西南科技大学 | 一种基于抛物线函数的低照度图像增强算法 |
-
2016
- 2016-09-23 CN CN201610842446.8A patent/CN106469442A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140083602A (ko) * | 2012-12-26 | 2014-07-04 | 금오공과대학교 산학협력단 | 디해이징 및 레티넥스 결합을 이용한 시야 개선 영상 처리 시스템 및 방법 |
| CN104240194A (zh) * | 2014-04-29 | 2014-12-24 | 西南科技大学 | 一种基于抛物线函数的低照度图像增强算法 |
Non-Patent Citations (2)
| Title |
|---|
| 秦绪佳等: "基于三边滤波的HSV色彩空间Retinex图像增强算法", 《小型微型计算机系统》 * |
| 邹建成等: "基于微阵列相机运动模糊图像的复原", 《北方工业大学学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392879A (zh) * | 2017-07-20 | 2017-11-24 | 武汉大学 | 一种基于参考帧的低照度监控图像增强方法 |
| CN107392879B (zh) * | 2017-07-20 | 2019-10-25 | 武汉大学 | 一种基于参考帧的低照度监控图像增强方法 |
| CN108230272A (zh) * | 2018-01-04 | 2018-06-29 | 京东方科技集团股份有限公司 | 一种图像增强方法和装置 |
| CN108230272B (zh) * | 2018-01-04 | 2022-04-15 | 京东方科技集团股份有限公司 | 一种图像增强方法和装置 |
| EP3525165A1 (en) * | 2018-02-09 | 2019-08-14 | Samsung Electronics Co., Ltd. | Method and apparatus with image fusion |
| US11449971B2 (en) | 2018-02-09 | 2022-09-20 | Samsung Electronics Co., Ltd. | Method and apparatus with image fusion |
| CN109472758A (zh) * | 2018-11-20 | 2019-03-15 | 山东科技大学 | 一种地震剖面图像纹理细节增强方法 |
| CN112085737A (zh) * | 2020-07-31 | 2020-12-15 | 新绎健康科技有限公司 | 一种用于获取红外血管图像增强图像的方法及系统 |
| CN112884684A (zh) * | 2021-01-13 | 2021-06-01 | 电子科技大学 | 一种基于raw图像的反光图像合成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jia et al. | LLVIP: A visible-infrared paired dataset for low-light vision | |
| CN106469442A (zh) | 一种基于阵列图像的低照度图像增强方法 | |
| Rerabek et al. | New light field image dataset | |
| CN111062905B (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
| EP3520390B1 (en) | Recolorization of infrared image streams | |
| US8687883B2 (en) | Method and a device for merging a plurality of digital pictures | |
| JP2018513640A (ja) | パンニングショットの自動生成 | |
| CN108055452A (zh) | 图像处理方法、装置及设备 | |
| Zhang et al. | Detecting photographic composites using shadows | |
| CN108154514A (zh) | 图像处理方法、装置及设备 | |
| CN104853080B (zh) | 图像处理装置 | |
| KR20150021522A (ko) | 입체 결상을 구현하는 방법 및 장치 | |
| CN107392879B (zh) | 一种基于参考帧的低照度监控图像增强方法 | |
| CN108156369A (zh) | 图像处理方法和装置 | |
| Asmare et al. | Image enhancement by fusion in contourlet transform | |
| CN113034417A (zh) | 基于生成对抗网络的图像增强系统和图像增强方法 | |
| TW202236840A (zh) | 針對具有多個深度處的目標的場景的影像融合 | |
| CN101867721A (zh) | 宽动态图像的实现方法、实现装置及成像设备 | |
| Zheng et al. | Low-light image and video enhancement: A comprehensive survey and beyond | |
| Fu et al. | Low-light raw video denoising with a high-quality realistic motion dataset | |
| Pawłowski et al. | Visualization techniques to support CCTV operators of smart city services | |
| CN107295261A (zh) | 图像去雾处理方法、装置、存储介质和移动终端 | |
| CN116437198B (zh) | 图像处理方法与电子设备 | |
| Fredembach et al. | Automatic and accurate shadow detection from (potentially) a single image using near-infrared information | |
| Guo et al. | Low-light color imaging via cross-camera synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190716 Address after: 100144 Beijing City, Shijingshan District Jin Yuan Zhuang Road No. 5 Applicant after: NORTH CHINA University OF TECHNOLOGY Address before: 100144 Beijing City, Shijingshan District Jin Yuan Zhuang Road No. 5 Science College of North China University of Technology Applicant before: Zou Jiancheng |
|
| TA01 | Transfer of patent application right | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170301 |
|
| WD01 | Invention patent application deemed withdrawn after publication |