CN110544210A - 一种基于模糊边界插值的Bayer CFA图像恢复方法 - Google Patents
一种基于模糊边界插值的Bayer CFA图像恢复方法 Download PDFInfo
- Publication number
- CN110544210A CN110544210A CN201910304338.9A CN201910304338A CN110544210A CN 110544210 A CN110544210 A CN 110544210A CN 201910304338 A CN201910304338 A CN 201910304338A CN 110544210 A CN110544210 A CN 110544210A
- Authority
- CN
- China
- Prior art keywords
- channel
- positions
- image
- bayer cfa
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000011084 recovery Methods 0.000 title claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 2
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241001428800 Cell fusing agent virus Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明公开了一种基于模糊边界插值的Bayer CFA图像恢复方法，步骤包括：步骤1：计算所有图像位置上的图像边缘强度和模糊隶属度；步骤2：采用模糊边界强度插值恢复所有位置的G通道值；步骤3：恢复Bayer CFA阵列中G位置上的R通道值；步骤4：恢复Bayer CFA阵列中B位置上的R通道值；步骤5：恢复Bayer CFA阵列中的B通道值，在Bayer CFA阵列中，R通道和B通道的位置特征完全相同，因此采用步骤2～步骤4的过程恢复B通道，最终获得每个像素位置上的R、G、B通道值，从而获得一副完整的RGB图像。本发明的方法，简单易行，准确率高。
Description
技术领域
本发明属于图像处理技术领域，涉及一种基于模糊边界插值的Bayer CFA图像恢复方法。
背景技术
目前大多数手机成像模块都采用RGB快照式成像原理，能够快速采集图像及视频，成像模块的核心结构是在CMOS表面覆盖滤光片薄膜层实现分色，共存在红(R)、绿(G)、蓝(B)三种滤光片，每个像素位置覆盖一种颜色的滤光片，拍摄一幅图像只需曝光一次，因此具备成像快、体积小、成本低等优势。手机成像模块上滤光片排列方式多遵循1976年的美国专利U.S.3971065，多被称为Bayer CFA阵列。
Bayer CFA阵列方法将整个成像面积划分成重复排列的2×2阵列，每个2×2阵列的滤光片按照R,G,G,B顺序排列，如图1所示，根据Bayer CFA阵列在CMOS的成像数据被称为mosaic图像，因为每个像素位置只采集一种颜色，其他两种颜色则需要进行图像恢复，根据mosaic图像恢复每个位置上的另外两种颜色的过程被称作demosaic。但是现有技术条件下，针对手机成像的mosaic图像所采用的插值的demosaic方法，容易发生颜色混淆、模糊、虚假色等缺陷，影响了手机拍摄图像的质量。
发明内容
本发明的目的是提供一种基于模糊边界插值的Bayer CFA图像恢复方法，解决了现有技术中，针对手机成像的mosaic图像所采用的插值的demosaic方法，容易发生颜色混淆、模糊、虚假色等缺陷，影响了手机拍摄图像质量的问题。
本发明所采用的技术方案是，一种基于模糊边界插值的Bayer CFA图像恢复方法，按照以下步骤具体实施：
步骤1：计算所有图像位置上的图像边缘强度和模糊隶属度；
步骤2：采用模糊边界强度插值恢复所有位置的G通道值；
步骤3：恢复Bayer CFA阵列中G位置上的R通道值；
步骤4：恢复Bayer CFA阵列中B位置上的R通道值；
步骤5：恢复Bayer CFA阵列中的B通道值，
在Bayer CFA阵列中，R通道和B通道的位置特征完全相同，因此采用步骤2～步骤4的过程恢复B通道，
通过上述的5个步骤，最终获得每个像素位置上的R、G、B通道值，从而获得一副完整的RGB图像。
本发明的有益效果是，针对基于Bayer CFA阵列的手机成像mosaic图像，提出一种demosaic方法，首先将mosaic图像分离成离散的R、G、B三个通道，然后基于图像插值demosaic方法，计算所有位置的R、G、B通道值，获得完整的图像信息。
附图说明
图1是本发明方法基于Bayer CFA阵列的手机直接成像图像(mosaic图像)及demosaic原理图；
图2是本发明方法计算所有位置图像边缘强度的3×3邻域示意图；
图3是本发明方法中的G通道的恢复过程；
图4是本发明方法恢复R位置上的G通道值示意图；
图5是本发明方法中的R通道值的恢复过程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
参照图1，本发明的Bayer CFA图像恢复方法，利用现有的稀疏R、G、B点进行图像恢复。由于Bayer CFA阵列中G的采样率是R和B通道的两倍，因此本发明首先采用模糊边界强度插值恢复G通道，然后基于通道间的相关性计算R和B通道，按照以下步骤具体实施：
步骤1：计算所有图像位置上的图像边缘强度和模糊隶属度，
现有的多种demosaic算法通过判断图像边缘方向，选择水平或垂直方向上的邻域点对图像进行插值恢复。然而，对于没有显著边缘特征的图像区域，仅利用水平或者垂直方向的邻域插值会造成较大的插值误差。因此，本发明将采用一定距离内的所有邻域进行插值，提出邻域点权重的计算方法，该权重是与图像边缘强度负相关的，即边缘强度越高，权重则越低。
根据mosaic图像3×3邻域定义图像的边缘强度，如图2任取mosaic图像中的一个3×3邻域，中心点Pi，j代表该位置(i,j)的mosaic图像值，其边缘强度Si，j定义为：
利用上述的公式，获得所有位置的边缘强度Si，j，由于边缘强的像素容易导致大的插值误差，因此根据边缘强度定义插值的模糊隶属度函数为：
其中，Smax代表所有图像位置中的最大边缘强度，以上公式说明边缘强度大的位置对应的模糊隶属度小。
步骤2：采用模糊边界强度插值恢复所有位置的G通道值，
参照图3，在Bayer CFA阵列的mosaic图像中，50％的位置是已知的G采样点，其他50％的位置中R和B各占25％，因此计算出R和B位置上的G通道值，就能够获得所有位置的G通道值，(即实现步骤2的主要任务)
参照图4，选取Bayer CFA阵列中5×5邻域来说明G通道的图像恢复过程，Ri,j为5×5邻域的中心位置，该位置的G通道值计算过程为：
其中，和代表在(i,j)位置上，基于模糊边界强度插值的G和R预测值；然后利用和根据RGB图像中不同通道间的相关性再来计算(i,j)位置上G通道值计算式如下：
在Bayer CFA阵列中，R和B的位置排列规律完全相同，因此计算B位置上的G通道值，与前述计算R位置上的G通道值过程完全相同，通过本步骤2，能够计算出所有位置上的G通道值；
步骤3：恢复Bayer CFA阵列中G位置上的R通道值，
参照图5，恢复mosaic图像中的R值，相当于计算在2×2重复阵列中的2个G位置和1个B位置上的R通道值，以下通过计算2个G位置上的R值为例进行说明，
计算G位置的R值时，总共存在两种类型的G位置，参考图4的位置示意图，将Gi,j-1和Gi+1,j分别代表2×2阵列中的两类G位置，对于Gi,j-1位置，其水平方向存在两个R邻域点，则Gi,j-1位置的R值为：
其中，和分别代表采用水平方向邻域像素计算的R和G模糊预测值，计算式分别如下：
对于另一个Gi+1,j位置，其垂直方向存在两个R邻域，Gi+1,j位置的R值的计算式为：
其中，和分别代表垂直方向G位置求解R值的模糊预测值，计算式分别如下：
至此，得到所有G位置上的R通道值。
步骤4：恢复Bayer CFA阵列中B位置上的R通道值，
以恢复R通道值为例，在Bayer CFA的2×2阵列中存在2个G位置，1个B位置的R通道值待求，步骤3已经计算出2个G位置的R值，因此只剩下B位置的R通道值待求，
参照图4，以恢复Bi+1,j-1位置的R通道值为例，其计算式为：
其中，Gi+1，j-1已通过步骤2获得，和分别代表Bi+1,j-1位置求解R值的模糊预测值，计算式分别如下：
由此，在Bayer CFA的2×2重复阵列中，除了R位置外的另外三个位置，都已经恢复出R值，因此图像中R通道值计算完成，
而B通道的位置排列与R通道完全相同，因此其计算过程参照步骤3和本步骤4的前述部分；
步骤5：恢复Bayer CFA阵列中的B通道值，
在Bayer CFA阵列中，R通道和B通道的位置特征完全相同，因此采用步骤2～步骤4的过程恢复B通道，
通过上述的5个步骤，最终获得每个像素位置上的R、G、B通道值，从而获得一副完整的RGB图像。
Claims (5)
1.一种基于模糊边界插值的Bayer CFA图像恢复方法，其特征在于，按照以下步骤具体实施：
步骤1：计算所有图像位置上的图像边缘强度和模糊隶属度；
步骤2：采用模糊边界强度插值恢复所有位置的G通道值；
步骤3：恢复Bayer CFA阵列中G位置上的R通道值；
步骤4：恢复Bayer CFA阵列中B位置上的R通道值；
步骤5：恢复Bayer CFA阵列中的B通道值，
在Bayer CFA阵列中，R通道和B通道的位置特征完全相同，因此采用步骤2～步骤4的过程恢复B通道，
通过上述的5个步骤，最终获得每个像素位置上的R、G、B通道值，从而获得一副完整的RGB图像。
2.根据权利要求1所述的基于模糊边界插值的Bayer CFA图像恢复方法，其特征在于：所述的步骤1中，根据mosaic图像3×3邻域定义图像的边缘强度，任取mosaic图像中的一个3×3邻域，中心点Pi，j代表该位置(i,j)的mosaic图像值，其边缘强度Si，j定义为：
利用上述的公式，获得所有位置的边缘强度Si，j，由于边缘强的像素容易导致大的插值误差，因此根据边缘强度定义插值的模糊隶属度函数为：
其中，Smax代表所有图像位置中的最大边缘强度，以上公式说明边缘强度大的位置对应的模糊隶属度小。
3.根据权利要求2所述的基于模糊边界插值的Bayer CFA图像恢复方法，其特征在于：所述的步骤2中，在Bayer CFA阵列的mosaic图像中，50％的位置是已知的G采样点，其他50％的位置中R和B各占25％，因此计算出R和B位置上的G通道值，就能够获得所有位置的G通道值，
选取Bayer CFA阵列中5×5邻域来说明G通道的图像恢复过程，Ri,j为5×5邻域的中心位置，该位置的G通道值计算过程为：
其中，和代表在(i,j)位置上，基于模糊边界强度插值的G和R预测值；然后利用和根据RGB图像中不同通道间的相关性再来计算(i,j)位置上G通道值计算式如下：
在Bayer CFA阵列中，R和B的位置排列规律完全相同，因此计算B位置上的G通道值，与前述计算R位置上的G通道值过程完全相同，能够计算出所有位置上的G通道值。
4.根据权利要求3所述的基于模糊边界插值的Bayer CFA图像恢复方法，其特征在于：所述的步骤3中，恢复mosaic图像中的R值，相当于计算在2×2重复阵列中的2个G位置和1个B位置上的R通道值，以下通过计算2个G位置上的R值为例进行说明，
计算G位置的R值时，总共存在两种类型的G位置，将Gi,j-1和Gi+1,j分别代表2×2阵列中的两类G位置，对于Gi,j-1位置，其水平方向存在两个R邻域点，则Gi,j-1位置的R值为：
其中，和分别代表采用水平方向邻域像素计算的R和G模糊预测值，计算式分别如下：
对于另一个Gi+1,j位置，其垂直方向存在两个R邻域，Gi+1,j位置的R值的计算式为：
其中，和分别代表垂直方向G位置求解R值的模糊预测值，计算式分别如下：
至此，得到所有G位置上的R通道值。
5.根据权利要求4所述的基于模糊边界插值的Bayer CFA图像恢复方法，其特征在于：所述的步骤4中，以恢复R通道值为例，在Bayer CFA的2×2阵列中存在2个G位置，1个B位置的R通道值待求，步骤3已经计算出2个G位置的R值，因此只剩下B位置的R通道值待求，
以恢复Bi+1,j-1位置的R通道值为例，其计算式为：
其中，Gi+1，j-1已通过步骤2获得，和分别代表Bi+1,j-1位置求解R值的模糊预测值，计算式分别如下：
由此，在Bayer CFA的2×2重复阵列中，除了R位置外的另外三个位置，都已经恢复出R值，因此图像中R通道值计算完成，
而B通道的位置排列与R通道完全相同，因此其计算过程参照步骤3和本步骤4的前述部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910304338.9A CN110544210B (zh) | 2019-04-16 | 2019-04-16 | 一种基于模糊边界插值的Bayer CFA图像恢复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910304338.9A CN110544210B (zh) | 2019-04-16 | 2019-04-16 | 一种基于模糊边界插值的Bayer CFA图像恢复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110544210A true CN110544210A (zh) | 2019-12-06 |
| CN110544210B CN110544210B (zh) | 2022-10-11 |
Family
ID=68702674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910304338.9A Active CN110544210B (zh) | 2019-04-16 | 2019-04-16 | 一种基于模糊边界插值的Bayer CFA图像恢复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110544210B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102170572A (zh) * | 2010-06-22 | 2011-08-31 | 上海盈方微电子有限公司 | 一种新型边缘自适应cfa彩色图像插值方法 |
| CN108460805A (zh) * | 2018-01-18 | 2018-08-28 | 西安理工大学 | 一种利用传统数码相机获取rgb和红外图像的方法 |
-
2019
- 2019-04-16 CN CN201910304338.9A patent/CN110544210B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102170572A (zh) * | 2010-06-22 | 2011-08-31 | 上海盈方微电子有限公司 | 一种新型边缘自适应cfa彩色图像插值方法 |
| CN108460805A (zh) * | 2018-01-18 | 2018-08-28 | 西安理工大学 | 一种利用传统数码相机获取rgb和红外图像的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 程培岩等: "基于贝尔模板的文本图像压缩及重构算法的研究", 《太原理工大学学报》 * |
| 赵亮等: "基于色差空间的低复杂度Bayer图像插值算法", 《航天返回与遥感》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110544210B (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7236191B2 (en) | Method and system for image processing with pixel interpolation using second order gradients | |
| US8180170B2 (en) | Apparatus and method of recognizing image feature pixel point | |
| CN111510691B (zh) | 颜色插值方法及装置、设备、存储介质 | |
| CN101272503B (zh) | 一种保持图像清晰度的网格噪声消除方法及其装置 | |
| CN110730336B (zh) | 一种去马赛克方法及装置 | |
| CN103347190B (zh) | 一种边相关的联合彩色去马赛克和放大方法 | |
| CN113168669B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN111383200B (zh) | 基于生成式对抗神经网络的cfa图像去马赛克方法 | |
| US20110279712A1 (en) | Imaging apparatus, integrated circuit, and image processing method | |
| CN102224524B (zh) | 图像处理装置以及图像处理方法 | |
| KR101257946B1 (ko) | 영상의 색수차를 제거하는 장치 및 그 방법 | |
| Saito et al. | Demosaicing approach based on extended color total-variation regularization | |
| US7714900B2 (en) | Color interpolation processing method | |
| CN110544210B (zh) | 一种基于模糊边界插值的Bayer CFA图像恢复方法 | |
| CN114902276A (zh) | 图像处理器 | |
| WO2014084730A1 (en) | System and method for generating image using multiple lenses and multiple imagers | |
| Paul et al. | Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method | |
| WO2010099048A2 (en) | Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems | |
| CN113840124B (zh) | 图像处理方法及系统 | |
| CN101489142B (zh) | 数字影像的彩色插补方法 | |
| KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
| CN114511469B (zh) | 一种图像智能降噪先验检测方法 | |
| Song et al. | Edge pattern based demosaicking algorithm of color filter array | |
| CN111263128B (zh) | 图像插值方法及装置、存储介质、终端 | |
| Weerasinghe et al. | Method of color interpolation in a single sensor color camera using green channel separation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |