CN100521797C - 使用图像边缘指示值重建所缺色彩的色彩内插装置及方法 - Google Patents

使用图像边缘指示值重建所缺色彩的色彩内插装置及方法 Download PDF

Info

Publication number
CN100521797C
CN100521797C CNB2005101248306A CN200510124830A CN100521797C CN 100521797 C CN100521797 C CN 100521797C CN B2005101248306 A CNB2005101248306 A CN B2005101248306A CN 200510124830 A CN200510124830 A CN 200510124830A CN 100521797 C CN100521797 C CN 100521797C
Authority
CN
China
Prior art keywords
color
colour component
pixel
image
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005101248306A
Other languages
English (en)
Other versions
CN1968422A (zh
Inventor
张宏安
陈宏铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AviSonic Tech Corp
Original Assignee
BAFANG SCIENCE AND TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BAFANG SCIENCE AND TECHNOLOGY Co Ltd filed Critical BAFANG SCIENCE AND TECHNOLOGY Co Ltd
Publication of CN1968422A publication Critical patent/CN1968422A/zh
Application granted granted Critical
Publication of CN100521797C publication Critical patent/CN100521797C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/648Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

一种处理对应彩色滤镜阵列的多个像素以重建具有单一色彩成分的每一像素中所缺乏的色彩成分的色彩内插方法,其包含有:(a)检测目标像素所对应的多个内插方向上的图像边缘,并产生分别对应于该多个内插方向的多个图像边缘指示值,其中该多个图像边缘指示值均被多个随机调整因子所正规化过;以及(b)依据分别位于该多个内插方向上多个邻近像素以及该多个内插方向所对应的该多个图像边缘指示值来重建该目标像素所缺乏的至少一个色彩成分,其中每一邻近像素所具有的色彩成分是相同于该目标像素所缺乏的该色彩成分。

Description

使用图像边缘指示值重建所缺色彩的色彩内插装置及方法
技术领域
本发明是有关于图像处理,尤指一种应用经随机调整因子调整后的图像边缘指示值来重建像素所缺色彩成分的色彩内插装置与色彩内插方法。
背景技术
于图像获取系统中,三种色彩成分必须同时地被获取以便可精确地表示出图像的内容,而为了建构可同时获取三种色彩成分的数字图像获取系统,往往需要使用三个独立的图像传感器,如此一来,将造成生产成本过高以及使产品结构变得十分复杂,所以,为了使数字图像获取系统的成本与尺寸达到最小化,该数字图像获取系统上的图像图像传感器阵列(由多个硅芯片所构成)亦必须让其尺寸减小,换言之,色彩取样的个数便必须是一个较小的数值。一种可行的方法是使图像获取系统中每一图像传感器仅收集单一色彩的数据来产生具有低数据量的获取图像,所以,图像获取系统一般而言便采用马赛克式彩色滤镜(mosaic color filter),其中该马赛克式彩色滤镜又可被称作彩色滤镜阵列(col orfilter array,CFA),因此,图像获取系统便经由取样三种色彩成分之一所得到的色彩阵列来获得获取图像,其中该色彩阵列是对每一像素而储存其所包含的单一色彩成分。由于图像感测系统是忽略各像素的其它两种色彩成分,因此,对于每一像素而言,图像感测系统所获取的原始感测数据便包含较少的色彩取样。由于彩色滤镜阵列中的每一滤镜是对应一像素并仅允许位于特定频带的色彩成分通过,因此在所获取的图像被进一步处理或显示之前,每一像素所缺乏的色彩成分便必须先进行重建以使每一像素包含所有的三种色彩成分。
由于人眼是依据三原色的刺激来进行色彩感测,所以为了自原始感测数据重构出完整的彩色图像,则必须执行色彩内插机制来估算每一像素所缺乏的两种色彩成分。假设现实世界中物体所对应的图像中的色彩强度是平滑地变动,所以,为了节省图像处理所耗费的资源,因此色彩内插操作便依据每一待重建像素的周围一部分像素所提供的信息来进行,亦即,当彩色滤镜阵列(例如美国专利3,971,065所揭露的Bayer色彩型样)为已知时,则每一像素所缺乏的两种色彩成分便可经由使用相邻像素所提供的信息而加以重建出来。于重建色彩成分时,已知色彩内插方法是直接复制最邻近的像素的色彩值或者是使用相邻像素的色彩值于经由线性(linear)平均或对数(logarithmic)平均后所产生的平均值,来经由相邻像素来估测出每一像素中所缺乏色彩成分以便将原始感测数据转换为完整彩色图像的色彩内插操作即为业界已知的解马赛克操作(demosaicing)。由于在图像边缘进行像素值的平均(亦即低通滤波操作)会造成图像失真(aliasing),所以大多数的已知解马赛克操作经常造成下述的图像问题:锯齿边缘(zipper effect)、假色(falsecolor)或于图像边缘密度高的地方产生模糊的边缘。现今已有一些已知色彩内插方法可用来解决上述图像问题,例如双线性(bilinear)方法、以色彩值差值为基础(color difference based)的方法、以色彩值变化量为基础(gradient-based)的方法以及C2D2(color correlations and directionalderivatives)方法,此外,大部分的已知方法主要可以划分为两种类型:非自适应色彩内插方法(non-adaptive color interpolation)以及与图像边缘有关的自适应色彩内插方法(edge-directed adaptive color interpolation)。
非自适应色彩内插方法包含有上述的色彩内插操作,其是均匀地应用于整张图像中;另一方面,对于自适应色彩内插方法而言,其则应用图像边缘的信息来于色彩内插操作的过程中调整色彩取样的权重(weight)。此外,进行实时(real-time)图像处理的应用装置一般会需要一种低运算复杂度的内插算法来提供锐利且不含假色的高质量图像。由于高空间频率(spatialfrequency)的关系,假色经常发生于图像中的边缘部分,而区域性空间特性(localized spatial feature),例如邻近像素的色调(hue)突然变化的图像边缘部分,会造成预估出来的色彩是不正确的;此外,假色往往发生在缺乏一种色彩成分时,特别是应用彩色滤镜阵列来获取图像的图像获取系统,更是常遭遇此一假色问题。此外,为了提供不具假色的锐利图像,因此于显示图像之前便经常使用锐利化滤镜(sharpening filter)来预先提升图像质量,然而,若每一像素有短缺一些色彩成分时,则锐利化滤镜不但无法去除色彩假影(color artifact),反而加强了该色彩假影的视觉效果。
所以,于实作一图像获取系统时,自适应色彩内插方法的效能是极度奠基于图像边缘的检测能力以及内插算法的运算复杂度,换句话说,对于色彩内插而言,图像边缘的检测能力是很重要的。以已知C2D2方法为例,其常常受图像边缘模糊与假色的问题所苦,所以,对于数字图像获取系统而言,其是极需要一种色彩内插算法以于每一像素使用较少色彩取样下仍可正确地重建出所缺乏的色彩成分,并可产生不具锯齿边缘与假色的锐利图像。
发明内容
因此,本发明的目的之一在于提供一种应用随机调整因子调整后的图像边缘指示值来正确地重建像素所缺色彩的色彩内插装置与色彩内插方法,以解决上述问题。
依据本发明的实施例,其是揭露一种色彩内插装置,用来处理对应彩色滤镜阵列的多个像素以重建具有单一色彩成分的每一像素中所缺乏的色彩成分。该色彩内插装置包含有:图像边缘检测电路以及内插电路。该图像边缘检测电路用来检测目标像素所对应的多个内插方向上的图像边缘,并产生分别对应于该多个内插方向的多个图像边缘指示值,其中该图像边缘检测电路加总第一色彩差值的绝对值与第二色彩差值的绝对值以产生总和并接着以随机调整因子来正规化该总和以正规化该多个内插方向的标准差来决定内插方向所对应的图像边缘指示值,该第一色彩差值为该内插方向上第一像素的色彩值与相反于该内插方向的另一内插方向上第二像素的色彩值的差,该第二色彩差值为该内插方向上第三像素的色彩值与该目标像素的色彩值的差,该第一、第二像素所具有的色彩成分是相同于该目标像素所缺乏的色彩成分,以及该第三像素的色彩成分是相同于该目标像素所具有的色彩成分。该内插电路是耦接于该图像边缘检测电路,用来依据分别位于该多个内插方向上多个邻近像素的色彩值以及该多个内插方向所对应的该多个图像边缘指示值来重建该目标像素所缺乏的至少一个色彩成分,其中该多个邻近像素中每一邻近像素所具有的色彩成分是相同于该目标像素所缺乏的该色彩成分。
此外,依据本发明的实施例,其还揭露一种色彩内插方法,用来处理对应彩色滤镜阵列的多个像素以重建具有单一色彩成分的每一像素中所缺乏的色彩成分。该色彩内插方法包含有:(a)检测目标像素所对应的多个内插方向上的图像边缘,并产生分别对应于该多个内插方向的多个图像边缘指示值,其中内插方向所对应的图像边缘指示值经由加总第一色彩差值的绝对值与第二色彩差值的绝对值以产生总和并接着以随机调整因子来正规化该总和以正规化该多个内插方向的标准差而产生,该第一色彩差值为该内插方向上第一像素的色彩值与相反于该内插方向的另一内插方向上第二像素的色彩值的差,该第二色彩差值为该内插方向上第三像素的色彩值与该目标像素的色彩值的差,该第一、第二像素所具有的色彩成分是相同于该目标像素所缺乏的色彩成分,以及该第三像素的色彩成分是相同于该目标像素所具有的色彩成分;以及(b)依据分别位于该多个内插方向上多个邻近像素的色彩值以及该多个内插方向所对应的该多个图像边缘指示值来重建该目标像素所缺乏的至少一个色彩成分,其中该多个邻近像素中每一邻近像素所具有的色彩成分是相同于该目标像素所缺乏的该色彩成分。
本发明提供较强的图像边缘检测能力以及较佳的图像质量,此外,由于本发明的操作是根据邻近像素于空间上所具有的特性的检测结果,因此其便可精确地重建出每一像素所缺乏的色彩,换言之,经由本发明方向性图像边缘自适应加权式色彩内插方法的使用,便可提供不具假色且具有像素之间色调平滑转变的锐利图像。再者,本发明方向性图像边缘自适应加重式色彩内插方法可应用于任何图像获取装置,例如数字相机或数字摄影机。
附图说明
图1为本发明应用于数字相机或数字摄影机以进行图像获取的图像获取系统的一实施例的示意图。
图2为图1所示的彩色滤镜阵列的色彩型样的示意图。
图3为图1所示的色彩内插处理器的功能方块图。
图4为本发明重建目标像素所缺乏的色彩成分的一实施例的流程图。
[主要元件标号说明]
 
10 图像获取系统 11 镜头
12 彩色滤镜阵列 13 图像传感器阵列
14 色彩内插处理器 41 图像边缘检测电路
42 加权式内插电路 43 权重运算模块
44 内插模块
具体实施方式
请参阅图1,图1为本发明应用于数字相机或数字摄影机(DV camcorder)以进行图像获取的图像获取系统10的一实施例的示意图。图像获取系统10包含有:镜头11,用来以光学方式接收图像;彩色滤镜阵列12,其具有特定色彩型样(color pattern)以过滤穿透镜头11的图像;图像传感器阵列(imagesensor array)13,用来感测彩色滤镜阵列12的输出结果;以及色彩内插处理器14,用来执行本发明所揭露的方向性图像边缘自适应的加权式色彩内插方法(directional edge-adaptive weighted color interpolation)以重建每一像素所缺乏的色彩成分来得到完整的彩色图像。
请参阅图2,图2为图1所示的彩色滤镜阵列12的色彩型样20的示意图。于本实施例中,色彩型样20为已知的Bayer色彩型样,然而请注意,本发明并未局限于使用Bayer色彩型样。如图2所示,目标像素B44所缺乏的色彩成分是需被重建,因此本发明色彩内插方法便使用12个内插方向D1~D12来重建所缺乏的绿色色彩成分,而依据已知Bayer色彩型样可知,目标像素B44本身是具有蓝色色彩成分,以及相邻的每一像素G43、G34、G45、G54、G32、G23、G25、G36、G56、G65、G63、G52均具有绿色色彩成分。于本实施例中,由于每一内插方向上的相邻像素均具有绿色色彩成分,因此图1所示的色彩内插处理器14便会分别于12个内插方向D1~D12上执行内插运算,亦即,12个相邻像素G43、G34、G45、G54、G32、G23、G25、G36、G56、G65、G63、G52可用来提供内插出目标像素B44所缺乏色彩成分所需使用的色彩值。另一方面,若目标像素B44所要重建的色彩成分不是绿色(例如红色),则仅有具有红色色彩成分的4个邻近像素R33、R35、R55、R53会被选用。本发明色彩内插处理器14的运作详述如下。
请同时参阅图2与图3,图3为图1所示的色彩内插处理器14的功能方块图。色彩内插处理器14包含有图像边缘检测电路41以及加权式内插电路42。于本实施例中,图像获取系统10是处理图1所示的彩色滤镜阵列12所对应的多个像素以重建每一像素所缺乏的色彩成分。图像边缘检测电路41用来处理目标像素B44的12个内插方向D1~D12上的图像边缘,然后分别产生对应于内插方向D1~D12的多个图像边缘指示值I1~I12。加权式内插电路42是耦接于图像边缘检测电路41,用来分别依据位于内插方向D1~D12上的邻近像素G43、G34、G45、G54、G32、G23、G25、G36、G56、G65、G63、G52以重建出目标像素B44所缺乏的绿色色彩成分;此外,加权式内插电路42另用来依据邻近像素R33、R35、R55、R53重建出目标像素B44所缺乏的红色色彩成分。
对于各内插方向D1、D2、...、D12,图像边缘检测电路41经由加总第一色彩差值的绝对值与第二色彩差值的绝对值以加强图像边缘的分辨率,并决定相对应的图像边缘指示值I1、I2、...、I12,其中该第一色彩差值为位于该内插方向上第一像素的色彩值与位于相反于该内插方向的另一内插方向上第二像素的色彩值的差值,而该第二色彩差值则为位于该内插方向上第三像素的色彩值与位于该目标像素的色彩值的差值,此外,该第一、第二像素所具有的色彩成分是相同于目标像素所缺乏的色彩成分,以及该第三像素所具有的色彩成分则相同于目标像素本身所具有的色彩成分。
为了增加图像边缘指示值的分辨率,本发明是提供一种随机图像边缘检测(stochastic edge-detecting)的机制,而相较于已知图像边缘检测机制(例如于已知C2D2方法中的线性调整机制),本发明随机图像边缘检测机制可具有较准确的图像边缘检测能力,且可通用于其它的边缘方向。在随机图像边缘检测机制中,其是使用具有区域性固定高斯分布(locally stationaryGaussian distribution)的图像来源(image source),所以,在一区域性固定区域(locally stationary region)中的图像取样将会具有相同的随机平均值(stochastic mean)。若目前图像取样表示为X(d),而相距该目前图像取样X(d)达d个像素的图像取样则表示为X(d),于本实施例中,两图像取样X(0)与X(d)均位于一固定区域中而具有相同的随机平均值;然后,两图像取样X(0)与X(d)的差值X(0)-X(d)将会是具有平均值为零的高斯随机变量(Gaussian random variable),而且差值大幅偏离零点的机率将会极小。由于本发明加权式色彩内插操作的目的是在图像取样与目标像素之间的图像边缘的可能性很高时施加较小的权重予该图像取样,此外,由于机率分布会随着不同像素距离d的图像像素所求出的差值而变动,所以,本发明的图像边缘指示值另会经由正规化各图像像素所对应的差值来加以求出,如此一来,便可公正地测量出图像边缘的强度。
为了对差值进行正规化,于本实施例中,所计算出来的差值会再乘上调整因子κ,如此一来,调整后的差值便对应于具有相同标准差(standarddeviation)的同一高斯分布,而上述调整因子κ的设定如下所述。假设Ω(d)代表自相关函数(auto-correlation function),并表示为:
Ω(d)=(E[(X(0)-μX)(X(d)-μX)])/(σX 2)                (1)
于算式(1)中,μX代表于一固定区域中的随机平均值,而σX则代表标准差,其中,差值X(0)X(d)的标准差则如下表示之:
E [ ( X ( 0 ) - X ( d ) ) 2 ] = E [ ( ( X ( 0 ) - μ X ) - ( X ( d ) - μ X ) ) 2 ] - - - ( 2 . a )
          = E [ ( X ( 0 ) - μ X ) 2 - 2 ( X ( 0 ) - μ X ) ( X ( d ) - μ X ) + ( X ( d ) - μ X ) 2 ] - - - ( 2 . b )
          = σ X 2 - 2 σ X 2 Ω ( d ) + σ X 2 - - - ( 2 . c )
          = σ X ( 1 - Ω ( d ) ) - - - ( 2 . d )
其中,算式(2.c)会成立是因为该固定区域本身所具有的特性。若预定距离d1是设定为基本距离(basic distance),则对于其它距离dn而言,正规化因子(调整因子)κn将会是:
κ n = σ X ( 1 - Ω ( d 1 ) ) σ X ( 1 - Ω ( d n ) ) = ( 1 - Ω ( d 1 ) ) ( 1 - Ω ( d n ) ) - - - ( 3 )
其中,当将经由算式(1)所求出的Ω(d1)与Ω(d2)代入算式(3)后,便可得到所要的正规化因子κn
以图像边缘指示值I1为例,其运算如下所述:
I1=κ1*[ABS(the color value of G43-the color value of G45)+ABS(thecolor value of B42-the color value of B44)]
                                                      (4)
于算式(4)中,ABS()为一绝对值运算函数,G43即为上述第一像素,G45即为上述第二像素,以及B42即为上述第三像素,所以,距离d1等于2个像素。如图2所示,多个距离d1~d12可被划分为两种类别:若1≦n≦4,则dn=2;以及若5≦n≦12,则 d n = 2 5 . 换言之,κn的数值也会有两种。假设自相关函数Ω(d)具有如下格式:Ω(d)=exp(-d22),其中τ代表与图像有关的因子(image dependent factor),如此一来,若函数值Ω(d1)很大,则对于5≦n≦12而言,κn将会极趋近0.5,因此,调整因子(正规化因子)κn的设定便可归纳如下:
κ n = 1 , 1 ≤ n ≤ 4 0.5 , 5 ≤ n ≤ 12 - - - ( 5 )
请注意,剩余的图像边缘指示值I2~I12可轻易地根据上述技术揭露、算式(4)与算式(5)而加以求出,故不另赘述于此。
于本实施例中,图3所示的加权式内插电路42包含有权重运算模块43以及内插模块44。权重运算模块43依据多个图像边缘指示值I1~I12来计算出邻近像素G43、G34、G45、G54、G32、G23、G25、G36、G56、G65、G63、G52所分别对应的多个权重(weight)W1~W12,其中多个权重W1~W12中每一权重可经由下列算式而计算出来:
W n = ( 1 1 + I n ) / Σ n = 1 12 1 1 + I n - - - ( 6 )
请注意,算式(6)并非计算权重的唯一方法,亦即,于另一实施例中,亦可使用其它的表达式或者对照表(look-up table)来决定所需的权重,简而言之,本发明并未局限于使用上述算式(6)。
内插模块44是耦接于权重运算模块43,用来依据算式(6)所求出的权重W1~W12以及邻近像素G43、G34、G45、G54、G32、G23、G25、G36、G56、G65、G63、G52的色彩值来重建色彩成分,其中内插模块44是加总邻近像素G43、G34、G45、G54、G32、G23、G25、G36、G56、G65、G63、G52的色彩值与相对应权重W1~W12的乘积来计算出目标像素B44所缺乏的绿色色彩成分,换句话说,所重建的绿色色彩成分G等于:
G=W1*(color value of G43)+W2*(color value of G34)+...+W12*(color value of G52)
                                           (7)
然而,如“Effective color interpolation in CCD color filter arrays using signalcorrelation“(IEEE Trans.on Circuit and System for Video Technology,vol.13,no.6,Jun 2003)所揭露,因为图像获取系统10所获取的图像中的蓝色、绿色及红色色彩成分具有高度相关性,所以相较于色彩值(R,G,B),色彩差值(G-R,G,G-B)会较为平滑(smoother),如此一来,于色彩差值空间(color differencespace)中,图像失真便将不那么明显(亦即于视觉上较不易察觉),因此,内插模块44亦可以应用色彩差值(G-R,G,G-B)而非色彩值(R,G,B)的方式来重建缺乏的绿色色彩成分,以获得较佳的图像质量,亦即,于另一使用色彩差值的实施例中,重建的绿色色彩成分G便等于:
G=(color value of B44)+W1*(color difference value between green colorcomponent and blue color component of G43)+W2*(color difference valuebetween green color component and blue color component of G34)+...+W12*(color difference value between green color component and blue colorcomponent of G52)
                                                         (8)
对于重建目标像素B44所缺乏的红色色彩成分而言,其操作是类似于上述重建绿色色彩成分的操作。参照算式(4)以及相关技术揭露可知,图像边缘检测电路41可获得多个图像边缘指示值I1’~I4’;同样地,参照算式(6)与相关技术揭露可知,权重运算模块43可获得多个权重W1’~W4’,而于本发明一实施例中,所重建的红色色彩成分R等于:
R=W1’*(color value of R33)+W2’*(color value of R35)+W3’*(colorvalue of R55)+W4’*(color value of R53)
                                                                (9)
此外,于使用色彩差值的另一实施例中,所重建的红色色彩成分R则等于:
R=(reconstructed green color value of B44)-W1’*(color difference valuebetween green color component and red color component of R33)-W2’*(colordifference value between green color component and red color component of R35)-W3’*(color difference value between green color component and red colorcomponent of R55)-W4’*(color difference value between green color componentand red color component of R53)
                                                                    (10)
于上述发明说明中,用于重建目标像素B44所缺乏的色彩成分的色彩内插操作已被详细地揭露,而根据上述技术揭露,本领域技术人员便可轻易了解同样操作可应用于其它像素来重建其所缺乏的色彩成分,因此在不影响本发明的技术揭露下,不另赘述于此。
请参阅图4,图4为本发明重建目标像素所缺乏的色彩成分的一实施例的流程图。本发明所揭露的方向性图像边缘自适应的加权式色彩内插方法于重建色彩时包含下列步骤:
步骤300:依据12个内插方向来进行色彩内插以重建多个目标像素中缺乏的绿色色彩成分。
步骤302:依据4个内插方向来进行色彩内插以重建步骤300中该多个目标像素中仍缺乏的其它色彩成分。
步骤304:依据12个内插方向来进行色彩内插以重建其它像素所缺乏的色彩成分。
请注意,色彩内插是由图1所示的硬件电路来加以实施,然而,色彩内插亦可由软件运算的方式来加以实作。举例来说,处理器与储存装置是用来建构所要的色彩内插装置,其中该储存装置储存有色彩内插程序,所以,当该处理器加载并执行该色彩内插程序时,该处理器便可执行前述的加权式色彩内插操作;换句话说,执行该色彩内插程序的该处理器所具有的功能系相同于上述以硬件来加以实作的色彩内插装置的功能。
相较于现有技术,本发明提供较强的图像边缘检测能力以及较佳的图像质量,此外,由于本发明的操作是根据邻近像素于空间上所具有的特性(spatial feature)的检测结果,因此其便可精确地重建出每一像素所缺乏的色彩,换言之,经由本发明方向性图像边缘自适应加权式色彩内插方法的使用,便可提供不具假色以及具有像素之间色调(hue)平滑转变的锐利图像。再者,本发明方向性图像边缘自适应加权式色彩内插方法可应用于任何图像获取装置,例如数字相机或数字摄影机。
以上所述仅为本发明的较佳实施例,凡依本发明权利要求范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (12)

1.一种色彩内插装置,用来处理对应彩色滤镜阵列的多个像素以重建具有单一色彩成分的每一像素中所缺乏的色彩成分,该色彩内插装置包含有:
图像边缘检测电路,用来检测目标像素所对应的多个内插方向上的图像边缘,并产生分别对应于该多个内插方向的多个图像边缘指示值,其中该图像边缘检测电路加总第一色彩差值的绝对值与第二色彩差值的绝对值以产生总和并接着以随机调整因子来正规化该总和以正规化该多个内插方向的标准差来决定内插方向所对应的图像边缘指示值,该第一色彩差值为该内插方向上第一像素的色彩值与相反于该内插方向的另一内插方向上第二像素的色彩值的差,该第二色彩差值为该内插方向上第三像素的色彩值与该目标像素的色彩值的差,该第一、第二像素所具有的色彩成分是相同于该目标像素所缺乏的色彩成分,以及该第三像素的色彩成分是相同于该目标像素所具有的色彩成分;以及
内插电路,耦接于该图像边缘检测电路,用来依据分别位于该多个内插方向上多个邻近像素的色彩值以及该多个内插方向所对应的该多个图像边缘指示值来重建该目标像素所缺乏的至少一个色彩成分,其中该多个邻近像素中每一邻近像素所具有的色彩成分是相同于该目标像素所缺乏的该色彩成分。
2.根据权利要求1所述的色彩内插装置,其中该内插电路包含有:
权重运算模块,用来依据该多个图像边缘指示值计算分别对应该多个邻近像素的多个权重;以及
内插模块,耦接于该权重运算模块,用来依据该多个权重与该多个邻近像素所具有的色彩成分以重建该目标像素所缺乏的该色彩成分。
3.根据权利要求2所述的色彩内插装置,其中该内插模块加总该多个权重与该多个邻近像素所具有的色彩成分的多个乘积来重建该目标像素所缺乏的该色彩成分。
4.根据权利要求1所述的色彩内插装置,其中该彩色滤镜阵列为Bayer色彩型样。
5.根据权利要求1所述的色彩内插装置,其是应用于图像获取装置。
6.根据权利要求5所述的色彩内插装置,其中该图像获取装置为数字相机或数字摄影机。
7.一种色彩内插方法,用来处理对应彩色滤镜阵列的多个像素以重建具有单一色彩成分的每一像素中所缺乏的色彩成分,该色彩内插方法包含有:
(a)检测目标像素所对应的多个内插方向上的图像边缘,并产生分别对应于该多个内插方向的多个图像边缘指示值,其中内插方向所对应的图像边缘指示值是经由加总第一色彩差值的绝对值与第二色彩差值的绝对值以产生总和并接着以随机调整因子来正规化该总和以正规化该多个内插方向的标准差而产生,该第一色彩差值为该内插方向上第一像素的色彩值与相反于该内插方向的另一内插方向上第二像素的色彩值的差,该第二色彩差值为该内插方向上第三像素的色彩值与该目标像素的色彩值的差,该第一、第二像素所具有的色彩成分是相同于该目标像素所缺乏的色彩成分,以及该第三像素的色彩成分是相同于该目标像素所具有的色彩成分;以及
(b)依据分别位于该多个内插方向上多个邻近像素的色彩值以及该多个内插方向所对应的该多个图像边缘指示值来重建该目标像素所缺乏的至少一个色彩成分,其中该多个邻近像素中每一邻近像素所具有的色彩成分是相同于该目标像素所缺乏的该色彩成分。
8.根据权利要求7所述的色彩内插方法,其中步骤(a)还包含有:
(a1)依据该多个图像边缘指示值计算分别对应该多个邻近像素的多个权重;以及
(a2)依据该多个权重与该多个邻近像素所具有的色彩成分以重建该目标像素所缺乏的该色彩成分。
9.根据权利要求8所述的色彩内插方法,其中步骤(a2)还包含有:加总该多个权重与该多个邻近像素所具有的色彩成分的多个乘积来重建该目标像素所缺乏的该色彩成分。
10.根据权利要求7所述的色彩内插方法,其中该彩色滤镜阵列为Bayer色彩型样。
11.根据权利要求7所述的色彩内插方法,其是应用于图像获取装置。
12.根据权利要求11所述的色彩内插方法,其中该图像获取装置为数字相机或数字摄影机。
CNB2005101248306A 2005-11-17 2005-11-23 使用图像边缘指示值重建所缺色彩的色彩内插装置及方法 Expired - Fee Related CN100521797C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/164,284 US7486844B2 (en) 2005-11-17 2005-11-17 Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels
US11/164,284 2005-11-17

Publications (2)

Publication Number Publication Date
CN1968422A CN1968422A (zh) 2007-05-23
CN100521797C true CN100521797C (zh) 2009-07-29

Family

ID=38040859

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101248306A Expired - Fee Related CN100521797C (zh) 2005-11-17 2005-11-23 使用图像边缘指示值重建所缺色彩的色彩内插装置及方法

Country Status (3)

Country Link
US (1) US7486844B2 (zh)
CN (1) CN100521797C (zh)
TW (1) TWI296482B (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
US8571346B2 (en) 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7885458B1 (en) 2005-10-27 2011-02-08 Nvidia Corporation Illuminant estimation using gamut mapping and scene classification
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8005297B2 (en) * 2006-01-18 2011-08-23 Qualcomm Incorporated Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
KR100809687B1 (ko) * 2006-02-28 2008-03-06 삼성전자주식회사 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
KR100780932B1 (ko) * 2006-05-30 2007-11-30 엠텍비젼 주식회사 컬러 보간 방법 및 장치
JP4983141B2 (ja) * 2006-08-04 2012-07-25 ソニー株式会社 カラーフィルタ
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
US7822293B2 (en) * 2006-11-17 2010-10-26 Aptina Imaging Corporation Imaging systems and method for generating video data using edge-aware interpolation with soft-thresholding
US8723969B2 (en) 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
US8724895B2 (en) * 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
CN101122998B (zh) * 2007-09-28 2010-06-23 宝利微电子系统控股公司 一种基于方向检测的图像插值方法及装置
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8780128B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
KR100952667B1 (ko) * 2008-03-20 2010-04-13 중앙대학교 산학협력단 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법
US7995840B2 (en) * 2008-03-28 2011-08-09 Seiko Epson Corporation Image processing apparatus, image processing method, and program for attaining image processing
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US8111299B2 (en) * 2008-08-15 2012-02-07 Seiko Epson Corporation Demosaicking single-sensor camera raw data
JP5076186B2 (ja) * 2008-10-23 2012-11-21 株式会社メガチップス 画像拡大方法
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
TWI376646B (en) * 2008-12-23 2012-11-11 Silicon Motion Inc Pixel processing method and image processing system
US8331688B2 (en) 2009-01-07 2012-12-11 International Business Machines Corporation Focus-based edge detection
US8571312B2 (en) * 2009-01-16 2013-10-29 Samsung Electronics Co., Ltd. Image interpolation method and apparatus using pattern characteristics of color filter array
KR101637488B1 (ko) * 2009-01-16 2016-07-07 삼성전자주식회사 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
CN101969571B (zh) * 2009-07-27 2013-08-21 慧帝科技(深圳)有限公司 像素处理方法
US20110032269A1 (en) * 2009-08-05 2011-02-10 Rastislav Lukac Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
TWI389571B (zh) * 2009-09-30 2013-03-11 Mstar Semiconductor Inc 影像處理方法以及影像處理裝置
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
CN101834586A (zh) * 2010-04-21 2010-09-15 四川和芯微电子股份有限公司 随机信号产生电路及方法
JP5672776B2 (ja) * 2010-06-02 2015-02-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012099903A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、撮像装置
JP2012191465A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
DE102011086456A1 (de) * 2011-11-16 2013-05-16 Siemens Aktiengesellschaft Rekonstruktion von Bilddaten
EP2815393B1 (en) 2012-02-14 2023-04-05 Gentex Corporation High dynamic range imager system
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
CN103974043B (zh) * 2013-01-24 2016-02-10 瑞昱半导体股份有限公司 影像处理装置与影像处理方法
US9870598B2 (en) 2013-04-26 2018-01-16 Nvidia Corporation Low complexity adaptive filtering for mobile captures
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
TWI517099B (zh) 2013-11-15 2016-01-11 瑞昱半導體股份有限公司 影像連續邊緣偵測系統與其方法
CN104376540B (zh) * 2014-12-01 2017-02-22 北京思比科微电子技术股份有限公司 一种Bayer图像的去噪方法
US10520975B2 (en) * 2016-03-03 2019-12-31 Regents Of The University Of Minnesota Polysynchronous stochastic circuits
US10740686B2 (en) 2017-01-13 2020-08-11 Regents Of The University Of Minnesota Stochastic computation using pulse-width modulated signals
JP6781406B2 (ja) * 2017-03-28 2020-11-04 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
US10848730B2 (en) 2017-06-15 2020-11-24 Blackmagic Design Pty Ltd Raw image processing system and method
US10996929B2 (en) 2018-03-15 2021-05-04 Regents Of The University Of Minnesota High quality down-sampling for deterministic bit-stream computing
CN110858894B (zh) * 2018-08-23 2021-11-26 瑞昱半导体股份有限公司 色彩重建装置与方法
CN116347186A (zh) * 2021-12-15 2023-06-27 超威半导体(上海)有限公司 用于图像去马赛克的装置和方法
CN115082323B (zh) * 2022-08-19 2022-11-04 深流微智能科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59171387A (ja) * 1983-03-18 1984-09-27 Hitachi Ltd テレビジヨン信号の構成方法
FI91029C (fi) * 1992-04-14 1994-04-25 Salon Televisiotehdas Oy Menetelmä ja kytkentäjärjestely kuvaruudulla näytettävän kuvan pysty- ja vaakaresoluution kaksinkertaistamiseksi
JP3644874B2 (ja) * 1999-07-15 2005-05-11 シャープ株式会社 画像補間装置
US6628330B1 (en) * 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
US7242819B2 (en) * 2002-12-13 2007-07-10 Trident Microsystems, Inc. Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion

Also Published As

Publication number Publication date
TWI296482B (en) 2008-05-01
US7486844B2 (en) 2009-02-03
TW200721851A (en) 2007-06-01
CN1968422A (zh) 2007-05-23
US20070110300A1 (en) 2007-05-17

Similar Documents

Publication Publication Date Title
CN100521797C (zh) 使用图像边缘指示值重建所缺色彩的色彩内插装置及方法
US6816197B2 (en) Bilateral filtering in a demosaicing process
US6970597B1 (en) Method of defining coefficients for use in interpolating pixel values
JP3663112B2 (ja) 方向性平滑化演算を用いた画像のモザイク解除方法
US7916940B2 (en) Processing of mosaic digital images
EP1622393B1 (en) Color interpolation using data dependent triangulation
US6934056B2 (en) Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
US7133553B2 (en) Correlation-based color mosaic interpolation adjustment using luminance gradients
CN102006484A (zh) 图像处理装置、图像处理方法以及程序
JP3771054B2 (ja) 画像処理装置及び画像処理方法
JPH10200906A (ja) 撮像信号処理方法、撮像信号処理装置、及び機械読み取り可能な記録媒体
CN102778201A (zh) 图像处理设备、图像处理方法和程序
US20110134291A1 (en) Image-processing device for color image data and method for the image processing of color image data
KR20040066051A (ko) 가중 그래디언트 기반 및 컬러 수정 보간
JP2001095001A (ja) 画像のデモザイク方法
US8482625B2 (en) Image noise estimation based on color correlation
CN106204453B (zh) 一种图像的插值方法及装置
CN110430403B (zh) 一种图像处理方法和装置
US8213710B2 (en) Apparatus and method for shift invariant differential (SID) image data interpolation in non-fully populated shift invariant matrix
US8363135B2 (en) Method and device for reconstructing a color image
CN100559885C (zh) 像素色彩信息重建方法
US6642932B2 (en) Method and system for interpolation in color images
Lukac et al. A robust, cost-effective post-processor for enhancing demosaicked camera images
US20050190993A1 (en) Method and apparatus for determining an edge trend for an interested pixel of an image
CN118233764B (zh) 图像的去马赛克方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: YIJING SCIENCE AND TECHNOLOGY JOINT-STOCK CO., LTD

Free format text: FORMER NAME: BAFANG SCIENCE AND TECHNOLOGY JOINT-STOCK CO., LTD.

CP01 Change in the name or title of a patent holder

Address after: Hsinchu Science Park, Taiwan, China

Patentee after: Avisonic Technology Corp.

Address before: Hsinchu Science Park, Taiwan, China

Patentee before: Bafang Science and Technology Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090729

Termination date: 20161123