CN1780404A - 对色彩过滤阵列图像解马赛克的方法与装置 - Google Patents
对色彩过滤阵列图像解马赛克的方法与装置 Download PDFInfo
- Publication number
- CN1780404A CN1780404A CN 200410097324 CN200410097324A CN1780404A CN 1780404 A CN1780404 A CN 1780404A CN 200410097324 CN200410097324 CN 200410097324 CN 200410097324 A CN200410097324 A CN 200410097324A CN 1780404 A CN1780404 A CN 1780404A
- Authority
- CN
- China
- Prior art keywords
- color
- pixel
- value
- object pixel
- mosaic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 78
- 238000001914 filtration Methods 0.000 claims description 38
- 239000003086 colorant Substances 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008676 import Effects 0.000 claims description 10
- 238000011002 quantification Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012958 reprocessing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000005321 cobalt glass Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种于数字图像采集系统中，对色彩过滤阵列图像解马赛克的方法与装置。本发明于数据训练阶段中输入大量图像样本作分析统计，并对照其相对应的全彩图像，将最佳结果记录于数据库。于数据应用阶段中查询数据库，重建色彩过滤阵列图像。利用本发明的解马赛克图片的效果佳，硬件的需求低，并且容易硬件化。由于本发明把所有的像素关系皆做成数据库来统计，因此数据库不限于唯一一组，可视情况调整或更新数据库，具有相当大的弹性。
Description
技术领域
本发明有关于图像处理(image processing)方法与装置，特别是有关于一种于数字图像采集系统(digital image acquisition system)中，对色彩过滤阵列(color filter array，CFA)图像中的像素(pixel)，解马赛克(demosaicking)的方法与装置。
背景技术
近年来，数字图像采集技术快速发展，人们普遍利用数字相机(digital stillcamera，DSC)、数字摄像机(digital video，DV)与扫描仪等的图像采集系统来拍照及记录生活的过程。然而记录一张数字图像需要经过许多处理程序，包括白平衡调整(white balance adjustment)、伽码校正(gamma correction)、图像压缩(compression)等，其中一个非常重要的部分是色彩过滤阵列图像的插补(interpolation)、重建(reconstruction)，或者可以说是解马赛克。
色彩过滤阵列有许多样式(pattem)，最常见的阵列是贝尔色彩过滤阵列(bayer CFA)，过滤出红(red)、绿(green)与蓝(blue)三种颜色，另有其它样本的色彩过滤阵列过滤出青绿(cyan)、品红(magenta)、黄(yellow)与绿四种颜色。以下，不失一般性，以贝尔色彩过滤阵列为例做说明。
一张彩色图像的每个像素(pixel)至少需要三种基础颜色，才能组合回它原本的色彩。一般计算机图像通常都会使用红、绿与蓝三种颜色作为基础颜色。如果要呈现一个景物的真实现象，至少需要使用三个感应器分别去记录每个像素至少三个颜色的值。为了减少硬件大小及成本考虑，大多数的图像采集系统仅使用带有色彩过滤阵列的单颗感应器。但是色彩过滤阵列只允许每个像素上只有一种颜色会被记录在感应器上，这表示这种图像采集系统必须重建(reconstruct)每个像素所缺的其它颜色。此程序即所谓的解马赛克。
自从1976年提出贝尔色彩过滤阵列样本，就有很多种解马赛克的方法被提出。一般被分成两类，第一类不做任何检测，将同一套数学公式套用到每个像素。第二类是根据一些几何图案检测此像素与周围的像素间是否有边缘(edge)的样版，如果有，会针对边缘样版的不同，将此像素套用不同的解马赛克方法，算出此像素所缺的其它颜色。
第一类不做任何检测。最简单的方法就是双线性(bilinear)的插补，利用周围拥有目标像素所缺其它颜色的像素群，将其数值依颜色作平均即是目标像素其它颜色的值。虽然这种方法计算起来很快而且很容易实行，双线性的插补法会衍生很多解马赛克时不好的附属品，例如：失真的颜色以及使图像中对象间的边缘模糊化。
Pei的方法是在公元2000年所提出(“Effective color interpolation in CCDcolor filter array using signal correlation，”IEEE Image Processing)，利用现实世界中Kr等于G与R的差值，Kb等于G与B的差值的值为常数为理论基础，导出所欠缺的另两个颜色的数学公式。
在美国第4642678号专利文献中，Cok提出了一种在不同的色彩平面(color plane)间，简单的光谱(spectrum)关连性现象，在一个局部图像区域，其红/绿、蓝/绿的颜色比率(color ratios)几乎是非常相近的现象。后来这个观察现象被应用到很多方法中，设计出通过其它颜色平面的辅助算出所缺乏的颜色。除了颜色比率，很多方法也利用类似的观念，例如利用不同颜色间的差值(亦即红绿间的差值，或蓝绿间的差值)。然而，上述这些方法对于图像中很锐利的边缘和细微部分无法处理得很好。
在2002年，Gunturk等人(“Color plane interpolation using alternatingprojections，”IEEE Trans.Image Processing)提出一种有效率的方法，利用原本色彩过滤阵列图像上做限制集合(constraint set)和先前所提的光谱关连性，通过交替投影(alternating projection)来估算出两个限制集合，再利用限制集合算出每个像素所欠缺的其它颜色。在2003年，Lu等人(“On new method andperformance measures for color filter array，”IEEE Trans.Image Processing)提出另一种方法，将中间点像素与周围的关系分上，下，左，右四个方向来考虑，若该像素与该方向相同颜色像素的差值愈大，则空间上的关连性越小，以此导出所欠缺其它颜色的数学公式。另外，Lu的方法还使用调适中间数过滤法(adaptive median filtering)来做后处理。
在美国专利文献公开第20030215159号中，Okuno等人揭示一种像素插补装置，包含一插补图案表(interpolation pattern table)，此表输出一插补方向数据以指定插补方向，而各插补像素数据的计算是根据落在插补方向数据所指定的插补方向上的像素数据。
第二类检测边缘样版。在1986年，Cok(美国第4630307号专利文献中)揭示一种图形辨识(pattern recognition，PR)的解马赛克方法，首先提供多个不同的插补算式以产生适当的插补信号值，并完成相对应多个几何图像特征。接着，辨识目标像素与其周围像素之间有无符合一些几何图像特征，例如边缘、线(line)和角落(comer)。若符合其中的一个几何图像特征，则使用其适用的插补算式以产生插补信号值。都不符合的话，则使用双线性插补等简易的方法来估算出所缺的其它颜色值。一般来说，通过探索空间上周围像素间的关连性，这些方法都会帮助沿着图像边缘的色彩插补效果，胜过跨过边缘的算法。例如Larochen等人(美国第5373322号专利文献)所提出的边缘分类的方法，以边缘分类为基础，辨识出较佳的计算方向，得到所缺的其它颜色值。
另外，在美国第5629734号专利文献中，Hamilton等人提出了一种解马赛克的装置，利用拉普拉斯二阶值(Laplacian second-order values)与梯度值(gradient values)来作为边缘检测的工具，以得到较佳的插补定向(preferredorientation for interpolation)。
除此之外，有些采用混和的方式做解马赛克的动作，达到拥有较锐利的边缘和减少解马赛克造成的不好附属品的图像质量。在1999年，Kimmel(“Demosaicing：image reconstruction from color CCD samples，”IEEETrans.Image Processing)使用一种边缘导向的技巧去得到所缺的其它颜色，其作法是通过一些边缘辨识，插补其周围四个像素的颜色值或颜色的比例比重，也同时用逆扩散(inverse diffusion)的程序抑制解马赛克造成的不好附属品。在2001年，Li等人(“New edge-directed interpolation，”IEEE Trans.ImageProcessing)揭示一种检测边缘样版的方法，通过低分辨率的色彩过滤阵列图像和解完马赛克后的高解析图像间的协方差(covariance)，利用其几何双重性(duality)和边缘导向，以及不同颜色平面间的差值来做插补，算出所缺的其它颜色值。
解马赛克的方法或装置不胜枚举，其主要目的就是拥有最佳图像质量的解马赛克图片，但如何花费最少硬件支出的成本，才是最实用的解马赛克的方法与装置。
发明内容
本发明为实现一种达成最佳图像质量及花费最少硬件支出成本的解马赛克方法。其主要目的是提供一种在数字图像采集系统中，对色彩过滤阵列图像解马赛克的方法。
此方法包含二个阶段，一为数据训练阶段(data training phase)，另一为数据应用阶段(data practice phase)。数据训练阶段主要包含下列步骤：(a1)准备多个色彩过滤阵列图像样本及其相对应的全彩(full-color)图像，每一全彩图像中的每一像素包含至少三种颜色实际值。(a2)对每一色彩过滤阵列图像样本中的每一目标(target)像素，取出一相对应的处理窗(concentrative window)并量化(quantize)此处理窗中的所有像素成为一组样本索引(pattern index)。(a3)依据各目标像素的相对应处理窗中的像素的颜色值与相对应的样本索引，使用多组可行系数组合(possible coefficient set)以得出各目标像素所缺的每一颜色重建值，再计算出各目标像素所缺的每一颜色重建值与实际值之间的误差(error)值。(a4)决定每一组样本索引与其所缺的每一颜色对应的最佳(optimal)系数组合，并输出至一数据库(database)。
于数据应用阶段中，主要包含下列步骤：(b1)输入一色彩过滤阵列图像，针对每一目标像素，取出一相对应的处理窗并量化处理窗中的所有像素成为一组样本索引。(b2)根据每一目标像素所缺的每一颜色，输入其相对应的样本索引至此数据库，以得到每一目标像素所缺的每一颜色对应的最佳系数组合，再依据目标像素的相对应处理窗中的像素的颜色值，计算出每一目标像素所缺的每一颜色重建值。
其中，步骤(a2)中的该量化动作是分别将该处理窗中所有相同颜色的像素的亮度相互比较，再将每个像素的相对亮度大小二进制化后以至少一个位表示的；步骤(a2)中该处理窗是在该目标像素的周围，包含目标像素在内的有限像素所涵盖的一个区域范围；步骤(a3)中与步骤(b2)中该目标像素的相对应处理窗中的像素是相对应处理窗所涵盖的区域范围内的全部像素；步骤(a3)中与步骤(b2)中该目标像素的相对应处理窗的像素是相对应处理窗所涵盖的区域范围内的部份像素；步骤(a3)中与步骤(b2)中的该颜色值是原始颜色值；步骤(a3)中与步骤(b2)中的该颜色值是原始颜色值，搭配重建过程中先重建出的一种或一种以上的颜色重建值；步骤(a3)中该处理窗中目标像素所缺的颜色的重建值为可行系数组合与目标像素的相对应处理窗中的像素的原始颜色值的函数；步骤(a3)中该处理窗中目标像素所缺的颜色的重建值为可行系数组合、目标像素的相对应处理窗中的像素的原始颜色值与重建过程中先重建出的颜色值的函数；步骤(a4)中该决定动作是从该多组可行系数中，选择误差值最小的可行系数组合为一最佳系数组合；步骤(a3)中的该误差值是表示两张图像间的差值的一距离测度。
本发明另一个目的是提供上述解马赛克的装置。此装置包含一取样器、一量化器、一误差计算与选择器、一数据库存储器与一图像重建器。取样器根据输入的多个色彩过滤阵列图像，对每一色彩过滤阵列图像中的每一目标像素，取一相对应的处理窗，再取出处理窗中的所有像素的原始颜色值。量化器接收并量化处理窗中的所有像素的原始颜色值，然后产生一组样本索引。误差计算与选择器，接收处理窗中的所有像素的原始颜色值与量化器产生的样本索引，并根据输入的相对应于该色彩过滤阵列图像的全彩图像，误差计算与选择器利用多组可行系数组合以得出各目标像素所缺的每一颜色重建值，再计算每一颜色重建值与实际值的间的误差值，然后从多组可行系数组合与其相对应的累计误差值之中，决定并产生此组样本索引与目标像素所缺每一颜色对应的最佳系数组合。
数据库存储器接收与存储误差计算与选择器产生的样本索引与其所缺每一颜色对应的最佳系数组合，并根据量化器产生的样本索引，产生目标像素所缺每一颜色对应的最佳系数组合。图像重建器则根据由数据库存储器产生的目标像素所缺每一颜色对应的最佳系数组合与目标像素的相对应处理窗中的像素的颜色值，产生每一目标像素所缺每一颜色的重建值。
其中，该图像重建器所根据的该目标像素的相对应处理窗中的像素是相对应处理窗所涵盖的区域范围内的全部像素；该图像重建器所根据的该目标像素的相对应处理窗的部分像素是相对应处理窗所涵盖的区域范围内的部份像素；该误差计算与选择器从该多组可行系数中，选择误差值最小的可行系数组合为一最佳系数组合；该误差值是表示两张图像间的差值的一距离测度；该数据库存储器为一可记录媒体；该数据库存储器为一随机存取内存、或一只读存储器、或一闪存卡、或一光盘；该图像重建器所依据的该颜色值是原始颜色值；该图像重建器还依据该原始颜色值，搭配已产生的颜色重建值，以重建尚未产生的其它颜色重建值。
本发明最大的特色是利用比现有技术少的硬件成本来实施，而得到接近的效果。并且统计的训练数据库是以存储装置(storage device)存储。使用者可以更换统计方式，也可以视情况调整或更新数据库。此外，数据库不限于唯一一组，可视情况调整所需的数据库，非常有弹性与变化。
现配合下列附图、实施例的详细说明及权利要求书，将上述及本发明的其它目的与优点详述于后。
附图说明
图1是本发明在数字图像采集系统中，对色彩过滤阵列图像解马赛克方法的流程图。
图2A是根据本发明，色彩过滤阵列图像与处理窗的关系图。
图2B是目标像素的样本索引、绿色可行系数组合与误差值关系表。
图2C是目标像素的样本索引、红色可行系数组合与误差值关系表。
图3是根据本发明的解马赛克装置的结构图。
图4A～图4B是不同形状的处理窗。
图5为比较五种不同解马赛克方法所完成的PSNR值。
图6说明使用五种不同解马赛克方法所需的硬件需求表。
其中，附图标记说明如下：
101准备多个色彩过滤阵列图像样本及其相对应的全彩图像，每一全彩图像中的每一像素包含至少三种颜色实际值；
102对每一色彩过滤阵列图像样本中的每一目标像素，取出一相对应的处理窗并量化此处理窗中的所有像素成为一组样本索引；
103依据各目标像素的相对应处理窗中的像素的颜色值与相对应的样本索引，使用多组可行系数组合以得出各目标像素所缺的每一颜色重建值，再计算出各目标像素所缺的每一颜色重建值与实际值之间的误差值；
104决定每一组样本索引与其所缺的每一颜色对应的最佳系数组合，并输出至一数据库；
105输入一色彩过滤阵列图像，针对每一目标像素，取出一相对应的处理窗并量化该处理窗中的所有像素成为一组样本索引；
106根据每一目标像素所缺的每一颜色，输入其相对应的样本索引至此数据库，以得到每一目标像素所缺的每一颜色对应的最佳系数组合，再依据目标像素的相对应处理窗中的像素的颜色值，计算出每一目标像素所缺的每一颜色重建值。
201色彩过滤阵列图像 202处理窗
203目标像素 204处理窗中的红色像素
205处理窗中的绿色像素 206处理窗中的蓝色像素
207所有像素的亮度位的集合 208原始样本索引
211，221样本索引 212绿色可行系数组合
213，223误差值 222红色可行系数组合
300本发明的解马赛克的装置
301取样器 302量化器
具体实施方式
图1是本发明在数字图像采集系统中，对色彩过滤阵列图像解马赛克方法的流程图。本发明分两个阶段：数据训练阶段100与数据应用阶段110。于数据训练阶段100中输入大量图像样本作分析统计，并对照其相对应的全彩图像，将最佳结果记录于数据库。于数据应用阶段110中查询数据库，重建色彩过滤阵列图像。
参考图1，于数据训练阶段中，包含下列步骤：首先，准备多个色彩过滤阵列图像样本及其相对应的全彩图像，每一全彩图像中的每一像素包含至少三种颜色实际值，如步骤101所示。然后，对每一色彩过滤阵列图像样本中的每一目标像素，取出一相对应的处理窗并量化此处理窗中的所有像素成为一组样本索引，如步骤102所示。接着，依据各目标像素的相对应处理窗中的像素的原始颜色值(亦可以原始颜色值搭配重建过程中先重建出的颜色重建值)与相对应的样本索引，使用多组可行系数组合以得出各目标像素所缺的每一颜色重建值，再计算出各目标像素所缺的每一颜色重建值与实际值之间的误差值，如步骤103所示。最后，决定每一组样本索引与其所缺的每一颜色对应的最佳系数组合，并输出至一数据库，如步骤104所示。
本发明于数据应用阶段，包含下列二个步骤。在步骤105中，输入一色彩过滤阵列图像，针对每一目标像素，取出一相对应的处理窗并量化处理窗中所有像素使成为一组样本索引。在步骤106中，根据每一目标像素所缺的每一颜色，输入其相对应的样本索引至此数据库，以得到每一目标像素所缺的每一颜色对应的最佳系数组合，再依据目标像素的相对应处理窗中的像素的原始颜色值(亦可以原始颜色值搭配重建过程中先重建出的颜色重建值)，计算出每一目标像素所缺乏的颜色值。
图2A是色彩过滤阵列图像与处理窗的关系图。图2B是图2A中目标像素203的样本索引、绿色可行系数组合与误差值关系表。图2C是图2A中目标像素203的样本索引、红色可行系数组合与误差值关系表。
参考图2A，在步骤102中，在色彩过滤阵列图像201中任取一块大小固定的处理窗202，在处理窗202范围内，分别将处理窗202中所有相同颜色的像素(如标号204，205，206所示)，相互比较其相对性的亮度(intensity)大小，再将每一像素量化为至少一个亮度位。以亮度位为一个位为例，比较处理窗202中红色像素间204的大小，则可将红色像素R1、R2、R3和R4量化为R1＝R2＝R3＝L(即逻辑低值)＝0，R4＝H(即逻辑高值)＝1。比较处理窗202中绿色像素间205的大小，则可将绿色像素G1、G2、G3和G4量化为G1＝G2＝L＝0，G3＝G4＝H＝1。比较处理窗202中蓝色像素间206的大小，则可将蓝色像素B1、B2、B3、B4和B5量化为B1＝B2＝B5＝L＝0，B3＝B4＝H＝1。此处理窗中所有像素的亮度位的集合207即是一组原始样本索引208(即0000000110111)。
根据本发明，处理窗中目标像素所缺的颜色的重建值为可行系数组合与目标像素的相对应处理窗中的像素的原始颜色值的函数，亦即目标像素所缺的颜色的重建值＝F(可行系数组合，目标像素的相对应处理窗中的像素的原始颜色值)，其中处理窗的像素可仅含部份像素，或视为部份像素的系数强制设为零。以下是以目标像素所缺的颜色的重建值等于相对应处理窗中的像素的原始颜色值乘以相对应的可行系数组合，再除以系数总和作说明。
在步骤103中，由于目标像素203所缺的颜色是绿色与红色，于图2B的关系表中，依据目标像素203相对应的样本索引(000001011)(本例将B1、B2、B3与B4省略)使用多组可行系数组合212(本例中仅使用G1、G2、G3与G4的组合)分别得出目标像素所缺的多个绿色重建值(表中未显示)，再计算出绿色重建值与全彩图中相对应像素的绿色实际值之间的误差值213。依此类推，于图2C的关系表中，依据目标像素203相对应的样本索引(000001011)使用多组可行系数组合222(本例中仅使用R1、R2、R3与R4的组合)以得出目标像素所缺的多个红色重建值(表中未显示)，再计算出红色重建值与全彩图中相对应像素的红色实际值之间的误差值223。其中的误差值表示两张影像间的差值的距离测度(possible distance metric)。例如均方差(mean squared error)值或均方根差(root mean squared error)值等。
在步骤104中，选出最小误差值的最佳系数组合，因此，此样本索引(000001011)对应的绿色最佳系数组合为(1100)，红色最佳系数组合为(2110)，并记录于一数据库。
在步骤105中，若输入的色彩过滤阵列图像中的目标像素本身为蓝色且其相对应的样本索引(000001011)。在步骤106中，以样本索引(000001011)当作输入去查询数据库，得到目标像素的相对应处理窗中的像素乘以相对应的系数，再除以系数总和，即可得到目标像素的绿色重建值等于1/2*G1+1/2*G2，和红色重建值等于1/2*R1+1/4*R2+1/4*R3(参考图2A)。
以下以一范例，详细说明本发明的图1中的步骤流程。数据训练阶段：
在步骤101中准备的大量色彩过滤阵列图像样本及其相对应的全彩图像系作分析统计用。在步骤102中，量化后的样本索引是使用可行系数组合的依据。在步骤103中，基本上采取固定色度内插(constant-hue-basedinterpolation)的方法，先算出所有缺第一颜色C1的像素，其上下左右拥有第一颜色值的像素乘以各种可行系数组合，再除以系数总和所得到的第一颜色重建值C1r，对照全彩图中相对应像素的第一颜色实际值算出此像素的均方差。同时记录目标像素与周围八点像素群的亮度位(即样本索引)，与各种不同可行系数组合所得到的均方差值。
接着，针对缺乏第二颜色C2的像素，计算周围原本拥有第二颜色像素的KC2，也就是C1r与C2的差值，乘以各种可行系数组合，再除以系数总和，得到目标像素的C1与C2的差值，再对照全彩图中相对应像素的原有C1或缺少后重建的C1r得到第二颜色重建值C2r，并与全彩图像的第二颜色实际值的差值作比较，算出均方差值。同时记录目标像素与周围八点像素群的亮度位(即样本索引)，与各种不同可行系阵列合所得到的均方差值。至于针对缺乏第三颜色C3的像素，计算周围原本拥有第三颜色像素的KC3，也就是C1与C3的差值，乘以各种可行系数组合，再除以系数总和，得到目标像素的C1r与C3的差值，再对照全彩图中相对应像素的原有C1或缺少后重建的C1r得到第三颜色重建值C3r，并与全彩图像的第三颜色实际值的差值作比较，计算均方差值。同时记录目标像素与周围八点像素群的亮度位(即样本索引)，与各种不同可行系数组合所得到的均方差值。
等到输入大量图像去做完统计后，在步骤104中，将目标像素与周围八点像素群的亮度位(即样本索引)，对应其累计均方差最小的最佳系数组合的数值，放入数据库中。
数据应用阶段：
在步骤105中，输入一色彩过滤阵列图像，针对每一目标像素，取出一相对应的处理窗并量化此处理窗中的所有像素成为一组样本索引。
在步骤106中，样本索引当作数据库的输入，查询数据库，其上下左右拥有第一颜色值的像素乘以数据库内对应的最佳系数组合，再除以系数总和，即可得到所欠缺的第一颜色重建值C1r。接着，样本索引当作数据库的输入，查询数据库，将目标像素周围原本拥有第二颜色值像素的C1r与C2的差值，乘以数据库内对应的最佳系数，再除以系数总和，得到C1r与C2的差值，而目标像素所缺的第二颜色重建值C2r等于C1(r)-(C1-C2)。最后，样本索引当作数据库的输入，查询数据库，将目标像素周围原本拥有第三颜色值像素的C1r与C3的差值，乘以数据库内对应的最佳系数组合，再除以系数总和，得到C1与C3的差值，而目标像素所缺的第三颜色重建值C3r等于C1(r)-(C1-C3)。
因此，根据本发明，处理窗中目标像素所缺乏的颜色值亦是可行系数组合、目标像素的相对应处理窗中的像素的原始颜色值与目标像素的相对应处理窗中的像素重建过程中先重建出的颜色值的函数，其中处理窗的像素可视需要选取部份重要，或将部份的像素的系数强制设为零，亦即目标像素所缺的颜色的重建值＝F(可行系数组合，目标像素的相对应处理窗中的像素的原始颜色值，目标像素的相对应处理窗中的像素重建过程中先重建出的颜色值)，其中处理窗的像素可仅含部份像素，或视为部份像素的系数强制设为零。
图3是本发明的解马赛克装置的结构示意图。参考图3，本发明提供一种在数字图像采集系统中，对色彩过滤阵列图像解马赛克的装置300，此装置包含一取样器301、一量化器302、一误差计算与选择器303、一数据库存储器304与一图像重建器305。在数据训练阶段中：输入多个色彩过滤阵列图像306至取样器301，取样器301对每一色彩过滤阵列图像样本中的每一目标像素，取一相对应的处理窗并取出处理窗中的所有像素的原始颜色值。量化器302接收并量化由取样器301输出的处理窗中的所有像素的原始颜色值，再产生一组样本索引。
误差计算与选择器303，接收由取样器301取出的处理窗中的所有像素的原始颜色值与量化器302产生的样本索引，同时，根据输入的相对应于色彩过滤阵列图像306的全彩图像307，误差计算与选择器利用多组可行系数组合以得出各目标像素所缺的每一颜色重建值，再计算每一颜色重建值与实际值之间的误差值，持续累计大量样本图像的误差值，然后从多组可行系数组合与其相对应的误差值之中，决定并产生样本索引与目标像素所缺的每一颜色对应的最佳系数组合。数据库存储器304接收与存储该误差计算与选择器产生的该一组样本索引与目标像素所缺每一颜色对应的最佳系数组合。
在数据应用阶段中：输入多个色彩过滤阵列图像306至取样器301，取样器301对每一色彩过滤阵列图像中的每一目标像素，取一相对应的处理窗并取出处理窗中的所有像素的原始颜色值。量化器302接收并量化由取样器301输出的处理窗中的所有像素的原始颜色值，再产生一组样本索引。数据库存储器304根据量化器302产生的样本索引，产生目标像素所缺每一颜色对应的最佳系数组合。图像重建器305则根据由数据库存储器304产生的目标像素所缺的每一颜色对应的最佳系数组合与目标像素的相对应处理窗中的像素的颜色值，产生每一目标像素所缺每一颜色的重建值，以重建色彩过滤阵列图像306的重建全彩图像308。
其中，数据库存储器304为一可记录媒体(record medium)，例如，一随机存取内存(random access memory)或一只读存储器(read-only memory)或一闪存卡(flash card)或一光盘(compact disc)。
另外，图3中重建全彩图像308至图像重建器305的虚线键号，表示已产生的一种颜色重建值，可选择(optional)是否要回馈至图像重建器305，再调整并重建尚未产生的其它颜色重建值，此更增加本发明计算方式的弹性。
图4A～图4B是不同形状的处理窗。其中，处理窗的形状可以是各种形状，例如正方形(如图4A所示)、菱形或井字形(如图4B所示)等等。不同的色彩过滤阵列图像，可对应到不同形状的处理窗。另外，同一种色彩过滤阵列之中，处理不同的颜色(甚至是不同的缺色)时，亦可以对应到不同的处理窗。
根据本发明，数据训练的图像样本也可以适度加以筛选：即选择性地将图像样本加入统计数据库。当一张新的图像样本中所有处理窗的自相关(auto-correlation)低于某一临界值(threshold)，表示此样本图像在统计的过程中，出现很多同一组样本索引对应到好几种可行系数组合，其均方差数值都差不多，也就是很分散的情况。或此样本图像与其它图像的互相关(cross-correlation)低于某一临界值，则判断此一样本图像为一独特图像，亦不加入统计数据库。因为一般而言这种图像都是有丰富或杂乱的内容，即使没将此类图像加入统计，而将之前的数据库直接套用在此类图像，也不会造成此类图像重组后效果不好，因为此类图像内容丰富，人眼在观看时，不易察觉其细微变化。
另外一个佚代(iterative)的筛选机制如下：统计的过程中，若有任何样本图像造成整个重建图像的PSNR(peak signal-to-noise ratio)值减少很多，则此一样本图像也不加入统计数据库。
图5是比较使用五种解马赛克方法所完成的PSNR值。参考图5，根据柯达相片CD所提供的十二张图片做五种解马赛克方法的PSNR值比较，此五种方法包括Gunturk、Lu、BP、Pei以及本发明所使用的方法。其中，图中批注反投影(back projection，BP)的意义是，每个像素初步得到三个颜色值时，做进一步的后处理，让图像中的一些噪声或拉炼状效果可以减到最小。利用BP方式，算出九宫格的每一像素的Kr、Kb值，九宫格中间像素的值为周围像素取平均之后的Kr’、Kb’值，同时利用原本样本图像的中间像素本身的颜色和Kr’、Kb’值，去反推中间像素原本所欠缺的另两个颜色值，比起初步得到的另两个颜色值会更接近其实际值。一般而言，PSNR的值越高，代表其图形越接近原图。由图5可以看出本发明的解马赛克效果接近Gunturk、Lu，比其它两种Pei加上BP、PR加上BP更好。
图6是使用五种不同的解马赛克方法所需的硬件需求表。由图6可以看出本发明的硬件需求是介于Gunturk、Lu与Pei、PR之间。
由上述效果和硬件的需求比较，可以看出本发明产生的解马赛克图片效果直逼Gunturk和Lu的方法，而硬件的需求只比PR和Pei高出一些，也容易硬件化。另外，由于本发明是把所有的像素关系皆做成数据库来统计，数据库不限于唯一一组，并且视情况调整所需的数据库，例如拍人物、风景可以套用不同的数据库。再者，统计的数据库可以随机存取内存的方式存储，若使用者有更好的统计方式，皆可随时更新数据库。数据库不仅可以静态产生，也可以动态建立或静态产生后加入动态调整。
然而以上所述仅为本发明的较佳实施例而已，当不能以此限定本发明实施的范围。即大凡依本发明权利要求书所作的均等变化与修饰，皆应仍属本发明专利涵盖的范围内。
Claims (20)
1.一种在数字图像采集系统中对色彩过滤阵列图像解马赛克的方法，其特征在于，该方法包含一数据训练阶段与一数据应用阶段，
该数据训练阶段中包含下列步骤：
(a1)准备多个色彩过滤阵列图像样本及其相对应的全彩图像，每一全彩图像中的每一像素包含至少三种颜色实际值；
(a2)对每一色彩过滤阵列图像样本中的每一目标像素，取出一相对应的处理窗，并量化该处理窗中的所有像素成为一组样本索引；
(a3)依据各该目标像素的相对应处理窗中的像素的颜色值与相对应的样本索引，使用多组可行系数组合以得出各该目标像素所缺的每一颜色重建值，再计算各该目标像素所缺的每一颜色重建值与实际值之间的误差值；以及
(a4)决定每一组样本索引与其所缺的每一颜色对应的最佳系数组合，并输出至一数据库；
该数据应用阶段包含下列步骤：
(b1)输入一色彩过滤阵列图像，针对每一目标像素，取出一相对应的处理窗并量化该处理窗中的所有像素成为一组样本索引；以及
(b2)根据每一目标像素所缺的每一颜色，输入其相对应的样本索引至该数据库，以得到每一目标像素所缺的每一颜色对应的最佳系数组合，再依据该目标像素的相对应处理窗中的像素的颜色值，计算出每一目标像素所缺的每一颜色重建值。
2.如权利要求1所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的方法，其特征在于，步骤(a2)中的该量化动作是分别将该处理窗中所有相同颜色的像素的亮度相互比较，再将每个像素的相对亮度大小二进制化后以至少一个位表示。
3.如权利要求1所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的方法，其特征在于，步骤(a2)中该处理窗是在该目标像素的周围，包含目标像素在内的有限像素所涵盖的一个区域范围。
4.如权利要求1所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的方法，其特征在于，步骤(a3)中与步骤(b2)中该目标像素的相对应处理窗中的像素是相对应处理窗所涵盖的区域范围内的全部像素。
5.如权利要求1所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的方法，其特征在于，步骤(a3)中与步骤(b2)中该目标像素的相对应处理窗的像素是相对应处理窗所涵盖的区域范围内的部份像素。
6.如权利要求1所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的方法，其特征在于，步骤(a3)中与步骤(b2)中的该颜色值是原始颜色值。
7.如权利要求1所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的方法，其特征在于，步骤(a3)中与步骤(b2)中的该颜色值是原始颜色值，搭配重建过程中先重建出的一种或一种以上的颜色重建值。
8.如权利要求1所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的方法，其特征在于，步骤(a3)中该处理窗中目标像素所缺的颜色的重建值为可行系数组合与目标像素的相对应处理窗中的像素的原始颜色值的函数。
9.如权利要求8所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的方法，其特征在于，步骤(a3)中该处理窗中目标像素所缺的颜色的重建值为可行系数组合、目标像素的相对应处理窗中的像素的原始颜色值与重建过程中先重建出的颜色值的函数。
10.如权利要求1所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的方法，其特征在于，步骤(a4)中该决定动作是从该多组可行系数中，选择误差值最小的可行系数组合为一最佳系数组合。
11.如权利要求1所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的方法，其特征在于，步骤(a3)中的该误差值是表示两张图像间的差值的一距离测度。
12.一种在数字图像采集系统中对色彩过滤阵列图像解马赛克的装置，其特征在于包含：
一取样器，根据输入的多个色彩过滤阵列图像，对每一色彩过滤阵列图像中的每一目标像素，取一相对应的处理窗，取得该处理窗中的所有像素的原始颜色值；
一量化器，接收并量化该所有像素的原始颜色值，再产生一组样本索引；
一误差计算与选择器，接收该所有像素的原始颜色值与该一组样本索引，并根据输入的相对应于该色彩过滤阵列图像的全彩图像，利用多组可行系数组合以得出各该目标像素所缺的每一颜色重建值，再计算每一颜色重建值与实际值之间的误差值，然后从该多组可行系数组合与其相对应的误差值之中，决定并产生该一组样本索引与该目标像素所缺每一颜色对应的最佳系数组合；
一数据库存储器，接收与存储该一组样本索引与其所缺每一颜色对应的该最佳系数组合，并根据该一组样本索引，产生该目标像素所缺每一颜色对应的最佳系数组合；以及
一图像重建器，根据由该目标像素所缺每一颜色对应的最佳系数组合与目标像素的相对应处理窗中的像素的颜色值，产生每一目标像素所缺每一颜色的重建值。
13.如权利要求12所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的装置，其特征在于，该图像重建器所根据的该目标像素的相对应处理窗中的像素是相对应处理窗所涵盖的区域范围内的全部像素。
14.如权利要求12所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的装置，其特征在于，该图像重建器所根据的该目标像素的相对应处理窗的部分像素是相对应处理窗所涵盖的区域范围内的部份像素。
15.如权利要求12所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的装置，其特征在于，该误差计算与选择器从该多组可行系数中，选择误差值最小的可行系数组合为一最佳系数组合。
16.如权利要求12所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的装置，其特征在于，该误差值是表示两张图像间的差值的一距离测度。
17.如权利要求12所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的装置，其特征在于，该数据库存储器为一可记录媒体。
18.如权利要求12所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的装置，其特征在于，该数据库存储器为一随机存取内存、或一只读存储器、或一闪存卡、或一光盘。
19.如权利要求12所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的装置，其特征在于，该图像重建器所依据的该颜色值是原始颜色值。
20.如权利要求19所述的在数字图像采集系统中对色彩过滤阵列图像解马赛克的装置，其特征在于，该图像重建器还依据该原始颜色值，搭配已产生的颜色重建值，以重建尚未产生的其它颜色重建值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100973248A CN100459718C (zh) | 2004-11-26 | 2004-11-26 | 对色彩过滤阵列图像解马赛克的方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100973248A CN100459718C (zh) | 2004-11-26 | 2004-11-26 | 对色彩过滤阵列图像解马赛克的方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1780404A true CN1780404A (zh) | 2006-05-31 |
| CN100459718C CN100459718C (zh) | 2009-02-04 |
Family
ID=36770486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2004100973248A Expired - Fee Related CN100459718C (zh) | 2004-11-26 | 2004-11-26 | 对色彩过滤阵列图像解马赛克的方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100459718C (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102630018A (zh) * | 2012-03-27 | 2012-08-08 | 上海算芯微电子有限公司 | 去马赛克的方法和装置 |
| CN104380726A (zh) * | 2012-07-06 | 2015-02-25 | 富士胶片株式会社 | 图像处理装置及方法以及摄像装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6917381B2 (en) * | 2000-11-30 | 2005-07-12 | Intel Corporation | Color filter array and color interpolation algorithm |
| JP4641675B2 (ja) * | 2001-07-18 | 2011-03-02 | 三洋電機株式会社 | 画像信号処理装置 |
| US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
| US20030117507A1 (en) * | 2001-12-21 | 2003-06-26 | Nasser Kehtarnavaz | Color filter array interpolation |
| US7133553B2 (en) * | 2003-02-18 | 2006-11-07 | Avago Technologies Sensor Ip Pte. Ltd. | Correlation-based color mosaic interpolation adjustment using luminance gradients |
| CN1262104C (zh) * | 2003-09-27 | 2006-06-28 | 哈尔滨工业大学 | 采用神经网络技术对图像进行滤波的方法 |
-
2004
- 2004-11-26 CN CNB2004100973248A patent/CN100459718C/zh not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102630018A (zh) * | 2012-03-27 | 2012-08-08 | 上海算芯微电子有限公司 | 去马赛克的方法和装置 |
| CN102630018B (zh) * | 2012-03-27 | 2014-07-23 | 上海算芯微电子有限公司 | 去马赛克的方法和装置 |
| CN104380726A (zh) * | 2012-07-06 | 2015-02-25 | 富士胶片株式会社 | 图像处理装置及方法以及摄像装置 |
| CN104380726B (zh) * | 2012-07-06 | 2016-04-13 | 富士胶片株式会社 | 图像处理装置及方法以及摄像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100459718C (zh) | 2009-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9414087B2 (en) | Compression of light field images | |
| CN111127336B (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
| CN1315099C (zh) | 图像处理方法和设备、压缩图像信号的方法和解压方法 | |
| CN104702926B (zh) | 摄像机 | |
| TWI249336B (en) | Method and apparatus of color filter array demosaicking for digital image acquisition system | |
| US6125201A (en) | Method, apparatus and system for compressing data | |
| CN101779472B (zh) | 生成图像数据的装置、方法 | |
| CN111080541B (zh) | 基于比特分层和注意力融合机制的彩色图像去噪方法 | |
| CN1300744C (zh) | 对数字图像曝光不足的缺陷进行自动修正的方法和系统 | |
| CN1213615C (zh) | 用于内插象素的丢失色彩值的方法和设备 | |
| CN1674048A (zh) | 图像处理装置、图像处理方法及其程序产品 | |
| CN1263279C (zh) | 图像处理装置 | |
| CN1753506A (zh) | Cmos图像实时增强预处理实现方法 | |
| CN101048795A (zh) | 模糊图像部分的增强 | |
| CN113822830B (zh) | 基于深度感知增强的多曝光图像融合方法 | |
| CN1956552A (zh) | 图像处理装置、图像处理方法以及图像处理程序 | |
| CN100342710C (zh) | 增强图像的结构方法 | |
| CN102893609A (zh) | 图像处理设备和图像处理设备的控制方法 | |
| CN1622637A (zh) | 图像死点和噪声的消除方法 | |
| CN1324527C (zh) | 用于图像缩放的单元和方法 | |
| CN1213600C (zh) | N－维滤波原始图象像素的n－维滤波器和方法 | |
| CN1311675C (zh) | 摄影装置、方法、程序以及存储介质 | |
| CN1478253A (zh) | 防止图像传感器的绿色不一致 | |
| CN100459718C (zh) | 对色彩过滤阵列图像解马赛克的方法与装置 | |
| CN1748409A (zh) | 图像处理装置、图像处理程序和记录了该程序的记录介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090204 Termination date: 20161126 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |