CN110544210A - 一种基于模糊边界插值的Bayer CFA图像恢复方法 - Google Patents
一种基于模糊边界插值的Bayer CFA图像恢复方法 Download PDFInfo
- Publication number
- CN110544210A CN110544210A CN201910304338.9A CN201910304338A CN110544210A CN 110544210 A CN110544210 A CN 110544210A CN 201910304338 A CN201910304338 A CN 201910304338A CN 110544210 A CN110544210 A CN 110544210A
- Authority
- CN
- China
- Prior art keywords
- channel
- positions
- image
- bayer cfa
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000011084 recovery Methods 0.000 title claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 2
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241001428800 Cell fusing agent virus Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明公开了一种基于模糊边界插值的Bayer CFA图像恢复方法,步骤包括:步骤1:计算所有图像位置上的图像边缘强度和模糊隶属度;步骤2:采用模糊边界强度插值恢复所有位置的G通道值;步骤3:恢复Bayer CFA阵列中G位置上的R通道值;步骤4:恢复Bayer CFA阵列中B位置上的R通道值;步骤5:恢复Bayer CFA阵列中的B通道值,在Bayer CFA阵列中,R通道和B通道的位置特征完全相同,因此采用步骤2~步骤4的过程恢复B通道,最终获得每个像素位置上的R、G、B通道值,从而获得一副完整的RGB图像。本发明的方法,简单易行,准确率高。
Description
技术领域
本发明属于图像处理技术领域,涉及一种基于模糊边界插值的Bayer CFA图像恢复方法。
背景技术
目前大多数手机成像模块都采用RGB快照式成像原理,能够快速采集图像及视频,成像模块的核心结构是在CMOS表面覆盖滤光片薄膜层实现分色,共存在红(R)、绿(G)、蓝(B)三种滤光片,每个像素位置覆盖一种颜色的滤光片,拍摄一幅图像只需曝光一次,因此具备成像快、体积小、成本低等优势。手机成像模块上滤光片排列方式多遵循1976年的美国专利U.S.3971065,多被称为Bayer CFA阵列。
Bayer CFA阵列方法将整个成像面积划分成重复排列的2×2阵列,每个2×2阵列的滤光片按照R,G,G,B顺序排列,如图1所示,根据Bayer CFA阵列在CMOS的成像数据被称为mosaic图像,因为每个像素位置只采集一种颜色,其他两种颜色则需要进行图像恢复,根据mosaic图像恢复每个位置上的另外两种颜色的过程被称作demosaic。但是现有技术条件下,针对手机成像的mosaic图像所采用的插值的demosaic方法,容易发生颜色混淆、模糊、虚假色等缺陷,影响了手机拍摄图像的质量。
发明内容
本发明的目的是提供一种基于模糊边界插值的Bayer CFA图像恢复方法,解决了现有技术中,针对手机成像的mosaic图像所采用的插值的demosaic方法,容易发生颜色混淆、模糊、虚假色等缺陷,影响了手机拍摄图像质量的问题。
本发明所采用的技术方案是,一种基于模糊边界插值的Bayer CFA图像恢复方法,按照以下步骤具体实施:
步骤1:计算所有图像位置上的图像边缘强度和模糊隶属度;
步骤2:采用模糊边界强度插值恢复所有位置的G通道值;
步骤3:恢复Bayer CFA阵列中G位置上的R通道值;
步骤4:恢复Bayer CFA阵列中B位置上的R通道值;
步骤5:恢复Bayer CFA阵列中的B通道值,
在Bayer CFA阵列中,R通道和B通道的位置特征完全相同,因此采用步骤2~步骤4的过程恢复B通道,
通过上述的5个步骤,最终获得每个像素位置上的R、G、B通道值,从而获得一副完整的RGB图像。
本发明的有益效果是,针对基于Bayer CFA阵列的手机成像mosaic图像,提出一种demosaic方法,首先将mosaic图像分离成离散的R、G、B三个通道,然后基于图像插值demosaic方法,计算所有位置的R、G、B通道值,获得完整的图像信息。
附图说明
图1是本发明方法基于Bayer CFA阵列的手机直接成像图像(mosaic图像)及demosaic原理图;
图2是本发明方法计算所有位置图像边缘强度的3×3邻域示意图;
图3是本发明方法中的G通道的恢复过程;
图4是本发明方法恢复R位置上的G通道值示意图;
图5是本发明方法中的R通道值的恢复过程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
参照图1,本发明的Bayer CFA图像恢复方法,利用现有的稀疏R、G、B点进行图像恢复。由于Bayer CFA阵列中G的采样率是R和B通道的两倍,因此本发明首先采用模糊边界强度插值恢复G通道,然后基于通道间的相关性计算R和B通道,按照以下步骤具体实施:
步骤1:计算所有图像位置上的图像边缘强度和模糊隶属度,
现有的多种demosaic算法通过判断图像边缘方向,选择水平或垂直方向上的邻域点对图像进行插值恢复。然而,对于没有显著边缘特征的图像区域,仅利用水平或者垂直方向的邻域插值会造成较大的插值误差。因此,本发明将采用一定距离内的所有邻域进行插值,提出邻域点权重的计算方法,该权重是与图像边缘强度负相关的,即边缘强度越高,权重则越低。
根据mosaic图像3×3邻域定义图像的边缘强度,如图2任取mosaic图像中的一个3×3邻域,中心点Pi,j代表该位置(i,j)的mosaic图像值,其边缘强度Si,j定义为:
利用上述的公式,获得所有位置的边缘强度Si,j,由于边缘强的像素容易导致大的插值误差,因此根据边缘强度定义插值的模糊隶属度函数为:
其中,Smax代表所有图像位置中的最大边缘强度,以上公式说明边缘强度大的位置对应的模糊隶属度小。
步骤2:采用模糊边界强度插值恢复所有位置的G通道值,
参照图3,在Bayer CFA阵列的mosaic图像中,50%的位置是已知的G采样点,其他50%的位置中R和B各占25%,因此计算出R和B位置上的G通道值,就能够获得所有位置的G通道值,(即实现步骤2的主要任务)
参照图4,选取Bayer CFA阵列中5×5邻域来说明G通道的图像恢复过程,Ri,j为5×5邻域的中心位置,该位置的G通道值计算过程为:
其中,和代表在(i,j)位置上,基于模糊边界强度插值的G和R预测值;然后利用和根据RGB图像中不同通道间的相关性再来计算(i,j)位置上G通道值计算式如下:
在Bayer CFA阵列中,R和B的位置排列规律完全相同,因此计算B位置上的G通道值,与前述计算R位置上的G通道值过程完全相同,通过本步骤2,能够计算出所有位置上的G通道值;
步骤3:恢复Bayer CFA阵列中G位置上的R通道值,
参照图5,恢复mosaic图像中的R值,相当于计算在2×2重复阵列中的2个G位置和1个B位置上的R通道值,以下通过计算2个G位置上的R值为例进行说明,
计算G位置的R值时,总共存在两种类型的G位置,参考图4的位置示意图,将Gi,j-1和Gi+1,j分别代表2×2阵列中的两类G位置,对于Gi,j-1位置,其水平方向存在两个R邻域点,则Gi,j-1位置的R值为:
其中,和分别代表采用水平方向邻域像素计算的R和G模糊预测值,计算式分别如下:
对于另一个Gi+1,j位置,其垂直方向存在两个R邻域,Gi+1,j位置的R值的计算式为:
其中,和分别代表垂直方向G位置求解R值的模糊预测值,计算式分别如下:
至此,得到所有G位置上的R通道值。
步骤4:恢复Bayer CFA阵列中B位置上的R通道值,
以恢复R通道值为例,在Bayer CFA的2×2阵列中存在2个G位置,1个B位置的R通道值待求,步骤3已经计算出2个G位置的R值,因此只剩下B位置的R通道值待求,
参照图4,以恢复Bi+1,j-1位置的R通道值为例,其计算式为:
其中,Gi+1,j-1已通过步骤2获得,和分别代表Bi+1,j-1位置求解R值的模糊预测值,计算式分别如下:
由此,在Bayer CFA的2×2重复阵列中,除了R位置外的另外三个位置,都已经恢复出R值,因此图像中R通道值计算完成,
而B通道的位置排列与R通道完全相同,因此其计算过程参照步骤3和本步骤4的前述部分;
步骤5:恢复Bayer CFA阵列中的B通道值,
在Bayer CFA阵列中,R通道和B通道的位置特征完全相同,因此采用步骤2~步骤4的过程恢复B通道,
通过上述的5个步骤,最终获得每个像素位置上的R、G、B通道值,从而获得一副完整的RGB图像。
Claims (5)
1.一种基于模糊边界插值的Bayer CFA图像恢复方法,其特征在于,按照以下步骤具体实施:
步骤1:计算所有图像位置上的图像边缘强度和模糊隶属度;
步骤2:采用模糊边界强度插值恢复所有位置的G通道值;
步骤3:恢复Bayer CFA阵列中G位置上的R通道值;
步骤4:恢复Bayer CFA阵列中B位置上的R通道值;
步骤5:恢复Bayer CFA阵列中的B通道值,
在Bayer CFA阵列中,R通道和B通道的位置特征完全相同,因此采用步骤2~步骤4的过程恢复B通道,
通过上述的5个步骤,最终获得每个像素位置上的R、G、B通道值,从而获得一副完整的RGB图像。
2.根据权利要求1所述的基于模糊边界插值的Bayer CFA图像恢复方法,其特征在于:所述的步骤1中,根据mosaic图像3×3邻域定义图像的边缘强度,任取mosaic图像中的一个3×3邻域,中心点Pi,j代表该位置(i,j)的mosaic图像值,其边缘强度Si,j定义为:
利用上述的公式,获得所有位置的边缘强度Si,j,由于边缘强的像素容易导致大的插值误差,因此根据边缘强度定义插值的模糊隶属度函数为:
其中,Smax代表所有图像位置中的最大边缘强度,以上公式说明边缘强度大的位置对应的模糊隶属度小。
3.根据权利要求2所述的基于模糊边界插值的Bayer CFA图像恢复方法,其特征在于:所述的步骤2中,在Bayer CFA阵列的mosaic图像中,50%的位置是已知的G采样点,其他50%的位置中R和B各占25%,因此计算出R和B位置上的G通道值,就能够获得所有位置的G通道值,
选取Bayer CFA阵列中5×5邻域来说明G通道的图像恢复过程,Ri,j为5×5邻域的中心位置,该位置的G通道值计算过程为:
其中,和代表在(i,j)位置上,基于模糊边界强度插值的G和R预测值;然后利用和根据RGB图像中不同通道间的相关性再来计算(i,j)位置上G通道值计算式如下:
在Bayer CFA阵列中,R和B的位置排列规律完全相同,因此计算B位置上的G通道值,与前述计算R位置上的G通道值过程完全相同,能够计算出所有位置上的G通道值。
4.根据权利要求3所述的基于模糊边界插值的Bayer CFA图像恢复方法,其特征在于:所述的步骤3中,恢复mosaic图像中的R值,相当于计算在2×2重复阵列中的2个G位置和1个B位置上的R通道值,以下通过计算2个G位置上的R值为例进行说明,
计算G位置的R值时,总共存在两种类型的G位置,将Gi,j-1和Gi+1,j分别代表2×2阵列中的两类G位置,对于Gi,j-1位置,其水平方向存在两个R邻域点,则Gi,j-1位置的R值为:
其中,和分别代表采用水平方向邻域像素计算的R和G模糊预测值,计算式分别如下:
对于另一个Gi+1,j位置,其垂直方向存在两个R邻域,Gi+1,j位置的R值的计算式为:
其中,和分别代表垂直方向G位置求解R值的模糊预测值,计算式分别如下:
至此,得到所有G位置上的R通道值。
5.根据权利要求4所述的基于模糊边界插值的Bayer CFA图像恢复方法,其特征在于:所述的步骤4中,以恢复R通道值为例,在Bayer CFA的2×2阵列中存在2个G位置,1个B位置的R通道值待求,步骤3已经计算出2个G位置的R值,因此只剩下B位置的R通道值待求,
以恢复Bi+1,j-1位置的R通道值为例,其计算式为:
其中,Gi+1,j-1已通过步骤2获得,和分别代表Bi+1,j-1位置求解R值的模糊预测值,计算式分别如下:
由此,在Bayer CFA的2×2重复阵列中,除了R位置外的另外三个位置,都已经恢复出R值,因此图像中R通道值计算完成,
而B通道的位置排列与R通道完全相同,因此其计算过程参照步骤3和本步骤4的前述部分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910304338.9A CN110544210B (zh) | 2019-04-16 | 2019-04-16 | 一种基于模糊边界插值的Bayer CFA图像恢复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910304338.9A CN110544210B (zh) | 2019-04-16 | 2019-04-16 | 一种基于模糊边界插值的Bayer CFA图像恢复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110544210A true CN110544210A (zh) | 2019-12-06 |
CN110544210B CN110544210B (zh) | 2022-10-11 |
Family
ID=68702674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910304338.9A Active CN110544210B (zh) | 2019-04-16 | 2019-04-16 | 一种基于模糊边界插值的Bayer CFA图像恢复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110544210B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102170572A (zh) * | 2010-06-22 | 2011-08-31 | 上海盈方微电子有限公司 | 一种新型边缘自适应cfa彩色图像插值方法 |
CN108460805A (zh) * | 2018-01-18 | 2018-08-28 | 西安理工大学 | 一种利用传统数码相机获取rgb和红外图像的方法 |
-
2019
- 2019-04-16 CN CN201910304338.9A patent/CN110544210B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102170572A (zh) * | 2010-06-22 | 2011-08-31 | 上海盈方微电子有限公司 | 一种新型边缘自适应cfa彩色图像插值方法 |
CN108460805A (zh) * | 2018-01-18 | 2018-08-28 | 西安理工大学 | 一种利用传统数码相机获取rgb和红外图像的方法 |
Non-Patent Citations (2)
Title |
---|
程培岩等: "基于贝尔模板的文本图像压缩及重构算法的研究", 《太原理工大学学报》 * |
赵亮等: "基于色差空间的低复杂度Bayer图像插值算法", 《航天返回与遥感》 * |
Also Published As
Publication number | Publication date |
---|---|
CN110544210B (zh) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7236191B2 (en) | Method and system for image processing with pixel interpolation using second order gradients | |
US8180170B2 (en) | Apparatus and method of recognizing image feature pixel point | |
CN111510691B (zh) | 颜色插值方法及装置、设备、存储介质 | |
CN101272503B (zh) | 一种保持图像清晰度的网格噪声消除方法及其装置 | |
CN110730336B (zh) | 一种去马赛克方法及装置 | |
CN103347190B (zh) | 一种边相关的联合彩色去马赛克和放大方法 | |
CN113168669B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN111383200B (zh) | 基于生成式对抗神经网络的cfa图像去马赛克方法 | |
US20110279712A1 (en) | Imaging apparatus, integrated circuit, and image processing method | |
CN102224524B (zh) | 图像处理装置以及图像处理方法 | |
KR101257946B1 (ko) | 영상의 색수차를 제거하는 장치 및 그 방법 | |
Saito et al. | Demosaicing approach based on extended color total-variation regularization | |
US7714900B2 (en) | Color interpolation processing method | |
CN110544210B (zh) | 一种基于模糊边界插值的Bayer CFA图像恢复方法 | |
CN114902276A (zh) | 图像处理器 | |
WO2014084730A1 (en) | System and method for generating image using multiple lenses and multiple imagers | |
Paul et al. | Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method | |
WO2010099048A2 (en) | Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems | |
CN113840124B (zh) | 图像处理方法及系统 | |
CN101489142B (zh) | 数字影像的彩色插补方法 | |
KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
CN114511469B (zh) | 一种图像智能降噪先验检测方法 | |
Song et al. | Edge pattern based demosaicking algorithm of color filter array | |
CN111263128B (zh) | 图像插值方法及装置、存储介质、终端 | |
Weerasinghe et al. | Method of color interpolation in a single sensor color camera using green channel separation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |