CN106780330A - 一种基于彩色与黑白双摄像头的超分辨率重建方法 - Google Patents
一种基于彩色与黑白双摄像头的超分辨率重建方法 Download PDFInfo
- Publication number
- CN106780330A CN106780330A CN201611120324.4A CN201611120324A CN106780330A CN 106780330 A CN106780330 A CN 106780330A CN 201611120324 A CN201611120324 A CN 201611120324A CN 106780330 A CN106780330 A CN 106780330A
- Authority
- CN
- China
- Prior art keywords
- black
- image
- white
- colored
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009977 dual effect Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 230000003412 degenerative effect Effects 0.000 abstract 1
- 230000004927 fusion Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000872198 Serjania polyphylla Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005713 exacerbation Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
本发明涉及是图像处理领域，具体公开了一种基于彩色与黑白双摄像头的超分辨率重建方法。彩色镜头得到高亮度、低噪点的图像，黑白镜头获取细节丰富的图像。在同样的退化条件下，对两幅图像进行精确地视差估计，通过视差估计将黑白图像的高频信息融合到彩色图像的亮度分量中，完成对彩色图像的超分辨率重建。该方法充分利用场景的深度信息，校正了不同景深区域的对比度和细节信息，同时避免了单摄像头拍摄多张低分辨率图像时的非同时性以及同一场景在连续拍摄时产生的运动位移带来的误差。
Description
技术领域
本发明主要涉及到数字图像处理领域，特指一种基于彩色与黑白双摄像头的超分辨率重建方法。
背景技术
在大量的电子图像应用领域，人们经常期望得到高分辨率图像。目前，增加空间分辨率最直接的解决方法是通过传感器制造技术减少像素尺寸。然而随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。另外一种办法是增加芯片的尺寸，从而增加图像的容量，然而很难提高大容量的耦合转换率。高精度光学和图像传感器的高价格也是一个必须考虑的重要因素。因此有必要采用一种新的方法来增加空间分辨率，从而克服传感器和光学制造技术的限制。
一种很有前途的方法就是采用信号处理的方法从多个可观察到的低分辨率图像得到高分辨率图像。其基本前提是通过同一场景可以获取多幅低分辨率图像，每一幅低分辨率图像都为超分辨图像的重建提供一些不同的信息。目前，常用的方法是通过一台照相机的多次拍摄获取多张同一场景的低分辨率图像。但是这种方法存在缺陷：拍出来的多幅低分辨图像不具有同时性，同一场景间会存在一定的运动位移，对后续的配准、信息融合带来误差，进而降低超分辨率重建的效果。另一种是利用不同视点处的相机同时拍摄同一场景的多张照片进行超分辨率重建，这种方法，一旦不同视点间相机距离远，则很难达到亚像素精度的信息互补。因此本发明提出了一种利用双摄像头模组以及两个摄像头功能互补性的超分辨重建方法。
发明内容
本发明要解决的技术问题在于：如何利用以彩色与黑白双摄像头拍摄的彩色、黑白图像进行超分辨率重建。本发明提出一种基于彩色与黑白双摄像头的超分辨率重建方法，充分利用双摄像头中彩色相机亮度高、噪点低，黑白相机细节丰富，拍摄的图像具有同时性等特点，首先利用彩色图像的亮度分量与黑白图像的低频信号进行精确地视差估计，再利用视差信息对黑白图像的高频信号进行几何变化，对亮度分量进行高频信息补偿。将得到的高分辨率的亮度分量转化到RGB空间，即得到了彩色高分辨率图像。
为解决上述技术问题，本发明提出的技术方案是：
一种基于彩色与黑白双摄像头的超分辨率重建方法，包括以下步骤：
S1：利用彩色与黑白双摄像头模组同时分别获取彩色与黑白图像；
S2：对步骤S1中获取的彩色与黑白图像进行处理，分别获得彩色图像的亮度分量以及黑白图像的低频信息与高频信息；
S3：对得到的亮度分量以及低频信号进行精确地视差估计，得到视差信息，该视差信息为亮度分量与低频信号间的像素对应关系。
S4：根据步骤S3得到的视差信息，将步骤S2中获取的高频信息进行几何变换后，融合到亮度分量中，完成对亮度分量的超分辨率重建得到超分辨图。
S5：将步骤S4中得到的亮度分量的超分辨图转换到RGB颜色空间，即完成了对彩色图像的超分辨率重建。
作为本发明的优选技术方案，所述步骤S1中的双摄像头模组是由彩色镜头IMX278和黑白镜头IMX214组成，其中彩色镜头提高亮度，降低噪点；黑白镜头扩大进光亮，丰富细节信息。
作为本发明的优选技术方案，所述步骤S2包括：
步骤S21：将彩色图像由RGB颜色空间转换到HSV颜色空间，保留其饱和度分量和色调分量；
步骤S22：将黑白图像分别使用低通和高通滤波器分解成低频信号和高频信号，其中，低通滤波器使用双边滤波器，而低通过滤后的图像与原图的残差作为高频信号。
作为本发明的优选技术方案，所述步骤S3中的精确地视差估计是指，在经过双目标定，获得双摄像头的内外参数后，对亮度分量和低频信号进行双目校正与双目亚像素精度地视差计算。
作为本发明的优选技术方案，所述步骤S4中根据步骤S3得到的视差信息，对黑白图像的高频信号进行几何变换，对于亮度分量高频信息的恢复，采用对应像素直接替换的方法。
作为本发明的优选技术方案，所述步骤S5中将步骤S4中得到的亮度分量的超分辨图和步骤S1中获取的彩色图像的饱和度分量、色调分量转换到RGB颜色空间，得到彩色图的超分辨率图像。
与现有技术相比，本发明具有以下有益效果：
本发明基于彩色与黑白双摄像头模组，利用彩色摄像头高亮度、低噪度，黑白摄像头细节丰富等特性，在精确视差估计的基础上，利用彩色图像的亮度分量以及黑白图像的高频信号进行信息融合，得到彩色的高分辨率图像。该方法充分利用场景的深度信息，校正了不同景深区域的对比度和细节信息，同时避免了单摄像头拍摄多张低分辨率图像时的非同时性以及同一场景在连续拍摄时产生的运动位移带来的误差。
附图说明
图1为本发明基于彩色与黑白双摄像头的超分辨率重建方法流程图。
图2为本发明双摄像头模组示意图。
图3为本发明高频信息补偿示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述：
下面结合附图，对本发明的具体实施方式进行详细描述：
如图1所示，本实例提供的一种基于彩色与黑白双摄像头的超分辨率重建方法，包括如下步骤：
步骤一：利用图2所示的彩色与黑白双摄像头模组同时分别获取彩色与黑白图像，双摄像头由彩色镜头IMX278和黑白镜头IMX214组成，其中彩色镜头用于提高亮度，降低噪点；黑白镜头用于扩大进光亮，丰富细节信息。
步骤二：将彩色图像由RGB颜色空间转换到HSV颜色空间，保留其饱和度分量和色调分量，并使用其亮度分量进行后续处理；将黑白图像分别使用低通和高通滤波器分解成低频信号和高频信号。其中，低通滤波器可以使用双边滤波器，而低通过滤后的图像与原图像的残差作为高频信号。
步骤三：对步骤二得到的亮度分量以及低频信号进行精确地视差估计，得到亮度分量与低频信号间的像素对应关系。
步骤四：如图3所示，根据步骤三得到的视差信息，将步骤二中获取的高频信息进行几何变换，融合到亮度分量中，完成对亮度分量的超分辨率重建。
步骤五：将步骤四中得到的亮度分量的超分辨图转换到RGB颜色空间，即完成了对彩色图像的超分辨率重建。
如上所述，本发明基于彩色与黑白双摄像头模组，利用彩色摄像头高亮度、低噪度，黑白摄像头细节丰富等特性，在精确视差估计的基础上，利用彩色图像的亮度分量以及黑白图像的高频信号进行信息融合，得到彩色的高分辨率图像。该方法充分利用场景的深度信息，校正了不同景深区域的对比度和细节信息，同时避免了单摄像头拍摄多张低分辨率图像时的非同时性以及同一场景在连续拍摄时产生的运动位移带来的误差。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则的内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围内。
Claims (6)
1.一种基于彩色与黑白双摄像头的超分辨率重建方法，其特征在于，包括如下步骤：
步骤S1：利用彩色与黑白双摄像头模组同时分别获取彩色与黑白图像；
步骤S2：对步骤S1中获取的彩色与黑白图像进行处理，分别获得彩色图像的亮度分量以及黑白图像的低频信息与高频信息；
步骤S3：对得到的亮度分量以及低频信号进行精确地视差估计，得到视差信息，该视差信息为亮度分量与低频信号间的像素对应关系；
步骤S4：根据步骤S3得到的视差信息，将步骤S2中获取的高频信息进行几何变换后，融合到亮度分量中，完成对亮度分量的超分辨率重建得到超分辨图；
步骤S5：将步骤S4中得到的亮度分量的超分辨图转换到RGB颜色空间，即完成了对彩色图像的超分辨率重建。
2.根据权利要求1所述基于彩色与黑白双摄像头的超分辨率重建方法，其特征在于，所述步骤一中的双摄像头模组是由彩色镜头IMX278和黑白镜头IMX214组成。
3.根据权利要求1或2所述基于彩色与黑白双摄像头的超分辨率重建方法，其特征在于，所述步骤S2包括：
步骤S21：将彩色图像由RGB颜色空间转换到HSV颜色空间，保留其饱和度分量和色调分量；
步骤S22：将黑白图像分别使用低通和高通滤波器分解成低频信号和高频信号，其中，低通滤波器使用双边滤波器，而低通过滤后的图像与原图的残差作为高频信号。
4.根据权利要求1所述基于彩色与黑白双摄像头的超分辨率重建方法，其特征在于，所述步骤S3中的精确地视差估计是指，在经过双目标定，获得双摄像头的内外参数后，对亮度分量和低频信号进行双目校正与双目亚像素精度地视差计算。
5.根据权利要求1所述基于彩色与黑白双摄像头的超分辨率重建方法，其特征在于，所述步骤S4中根据步骤S3得到的视差信息，对黑白图像的高频信号进行几何变换，对于亮度分量高频信息的恢复，采用对应像素直接替换的方法。
6.根据权利要求1所述基于彩色与黑白双摄像头的超分辨率重建方法，其特征在于，所述步骤S5中将步骤S4中得到的亮度分量的超分辨图和步骤S1中获取的彩色图像的饱和度分量、色调分量转换到RGB颜色空间，得到彩色图的超分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611120324.4A CN106780330B (zh) | 2016-12-08 | 2016-12-08 | 一种基于彩色与黑白双摄像头的超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611120324.4A CN106780330B (zh) | 2016-12-08 | 2016-12-08 | 一种基于彩色与黑白双摄像头的超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106780330A true CN106780330A (zh) | 2017-05-31 |
| CN106780330B CN106780330B (zh) | 2018-05-11 |
Family
ID=58882487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611120324.4A Active CN106780330B (zh) | 2016-12-08 | 2016-12-08 | 一种基于彩色与黑白双摄像头的超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106780330B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154474A (zh) * | 2017-12-22 | 2018-06-12 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及设备 |
| CN108198161A (zh) * | 2017-12-29 | 2018-06-22 | 深圳开立生物医疗科技股份有限公司 | 一种双摄像头图像的融合方法、装置及设备 |
| CN108460795A (zh) * | 2018-03-05 | 2018-08-28 | 成都通甲优博科技有限责任公司 | 倒金字塔式双目立体匹配方法及系统 |
| CN108717691A (zh) * | 2018-06-06 | 2018-10-30 | 成都西纬科技有限公司 | 一种图像融合方法、装置、电子设备及介质 |
| CN109120861A (zh) * | 2018-09-29 | 2019-01-01 | 成都臻识科技发展有限公司 | 一种极低照度下的高质量成像方法及系统 |
| CN109729253A (zh) * | 2019-02-22 | 2019-05-07 | 王熙 | 一种基于彩色和独立红绿蓝光学图像叠合增强的算法和四色摄像头 |
| CN110070489A (zh) * | 2019-04-30 | 2019-07-30 | 中国人民解放军国防科技大学 | 一种基于视差注意力机制的双目图像超分辨方法 |
| US10616459B2 (en) | 2017-11-30 | 2020-04-07 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and device for dual-camera-based imaging and storage medium |
| CN111264057A (zh) * | 2017-12-27 | 2020-06-09 | 索尼公司 | 信息处理装置、信息处理方法和记录介质 |
| CN113077533A (zh) * | 2021-03-19 | 2021-07-06 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置以及计算机存储介质 |
| CN113170048A (zh) * | 2019-02-19 | 2021-07-23 | 华为技术有限公司 | 一种图像处理的装置和方法 |
| CN114485629A (zh) * | 2021-12-16 | 2022-05-13 | 广州极飞科技股份有限公司 | 无人设备导航方法、装置、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101527033A (zh) * | 2008-03-04 | 2009-09-09 | 河海大学 | 超分辨率重建和自动配准的工业ccd彩色成像系统 |
| WO2016061757A1 (zh) * | 2014-10-22 | 2016-04-28 | 宇龙计算机通信科技(深圳)有限公司 | 基于双摄像头模组的图像生成方法及双摄像头模组 |
| CN105827965A (zh) * | 2016-03-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种基于移动终端的图像处理方法及移动终端 |
-
2016
- 2016-12-08 CN CN201611120324.4A patent/CN106780330B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101527033A (zh) * | 2008-03-04 | 2009-09-09 | 河海大学 | 超分辨率重建和自动配准的工业ccd彩色成像系统 |
| WO2016061757A1 (zh) * | 2014-10-22 | 2016-04-28 | 宇龙计算机通信科技(深圳)有限公司 | 基于双摄像头模组的图像生成方法及双摄像头模组 |
| CN105827965A (zh) * | 2016-03-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种基于移动终端的图像处理方法及移动终端 |
Non-Patent Citations (1)
| Title |
|---|
| 张博洋: "图像及视频超分辨率重建技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10616459B2 (en) | 2017-11-30 | 2020-04-07 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and device for dual-camera-based imaging and storage medium |
| CN108154474B (zh) * | 2017-12-22 | 2021-08-27 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及设备 |
| CN108154474A (zh) * | 2017-12-22 | 2018-06-12 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及设备 |
| CN111264057A (zh) * | 2017-12-27 | 2020-06-09 | 索尼公司 | 信息处理装置、信息处理方法和记录介质 |
| CN111264057B (zh) * | 2017-12-27 | 2021-08-13 | 索尼公司 | 信息处理装置、信息处理方法和记录介质 |
| CN108198161A (zh) * | 2017-12-29 | 2018-06-22 | 深圳开立生物医疗科技股份有限公司 | 一种双摄像头图像的融合方法、装置及设备 |
| CN108460795A (zh) * | 2018-03-05 | 2018-08-28 | 成都通甲优博科技有限责任公司 | 倒金字塔式双目立体匹配方法及系统 |
| CN108717691B (zh) * | 2018-06-06 | 2022-04-15 | 成都西纬科技有限公司 | 一种图像融合方法、装置、电子设备及介质 |
| CN108717691A (zh) * | 2018-06-06 | 2018-10-30 | 成都西纬科技有限公司 | 一种图像融合方法、装置、电子设备及介质 |
| CN109120861A (zh) * | 2018-09-29 | 2019-01-01 | 成都臻识科技发展有限公司 | 一种极低照度下的高质量成像方法及系统 |
| CN113170048A (zh) * | 2019-02-19 | 2021-07-23 | 华为技术有限公司 | 一种图像处理的装置和方法 |
| CN109729253A (zh) * | 2019-02-22 | 2019-05-07 | 王熙 | 一种基于彩色和独立红绿蓝光学图像叠合增强的算法和四色摄像头 |
| CN109729253B (zh) * | 2019-02-22 | 2024-04-30 | 王熙 | 一种基于彩色和独立红绿蓝光学图像叠合增强的方法 |
| CN110070489A (zh) * | 2019-04-30 | 2019-07-30 | 中国人民解放军国防科技大学 | 一种基于视差注意力机制的双目图像超分辨方法 |
| CN113077533A (zh) * | 2021-03-19 | 2021-07-06 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置以及计算机存储介质 |
| CN113077533B (zh) * | 2021-03-19 | 2023-05-12 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置以及计算机存储介质 |
| CN114485629A (zh) * | 2021-12-16 | 2022-05-13 | 广州极飞科技股份有限公司 | 无人设备导航方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106780330B (zh) | 2018-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106780330B (zh) | 一种基于彩色与黑白双摄像头的超分辨率重建方法 | |
| CN111080724B (zh) | 一种红外和可见光的融合方法 | |
| US11830222B2 (en) | Bi-level optimization-based infrared and visible light fusion method | |
| DE102018119625A1 (de) | Reduzieren von strukturierten IR-Mustern bei der Stereoskopischen Tiefensensorbildgebung | |
| CN105578063A (zh) | 一种图像处理方法和终端 | |
| CN103327220B (zh) | 低照度Bayer图像上以绿色通道为导向的去噪方法 | |
| CN103971352A (zh) | 一种基于广角镜头的快速图像拼接方法 | |
| CN108712608A (zh) | 终端设备拍摄方法和装置 | |
| CN105869112B (zh) | 一种边缘保持最小化的高动态范围图像色调映射方法 | |
| CN105122793A (zh) | 图像处理装置、摄像装置及图像处理程序 | |
| CN103268596A (zh) | 一种降低图像噪声和使颜色接近标准的方法 | |
| WO2020011112A1 (zh) | 图像处理方法、系统、可读存储介质及终端 | |
| WO2020168465A1 (zh) | 一种图像处理的装置和方法 | |
| TW201804432A (zh) | 用於擷取與呈顯全景或立體影像串流之方法與裝置 | |
| CN107079127A (zh) | 投影仪以及影像显示方法 | |
| US11863888B2 (en) | Image signal processing for reducing lens flare | |
| CN113516607B (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| CN106067937A (zh) | 镜头模块阵列、图像感测装置与数字缩放图像融合方法 | |
| CN107527325A (zh) | 一种基于暗通道优先的单目水下视觉增强方法 | |
| CN108090877A (zh) | 一种基于图像序列的rgb-d相机深度图像修复方法 | |
| CN105657268A (zh) | 一种基于多分辨率的多视点视频拼接融合算法 | |
| US9860456B1 (en) | Bayer-clear image fusion for dual camera | |
| CN111860632B (zh) | 多路图像一致性融合方法 | |
| CN110580684A (zh) | 一种基于黑白-彩色双目相机的图像增强方法 | |
| CN106162133B (zh) | 基于自适应导向滤波的颜色插值方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |