CN104243944A - 去马赛克方法、储存媒体以及影像信号处理器 - Google Patents

去马赛克方法、储存媒体以及影像信号处理器 Download PDF

Info

Publication number
CN104243944A
CN104243944A CN201410269851.6A CN201410269851A CN104243944A CN 104243944 A CN104243944 A CN 104243944A CN 201410269851 A CN201410269851 A CN 201410269851A CN 104243944 A CN104243944 A CN 104243944A
Authority
CN
China
Prior art keywords
pixel
color
treatment
value
deserving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410269851.6A
Other languages
English (en)
Other versions
CN104243944B (zh
Inventor
彭源智
施延德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Imaging Inc
Himax Imaging Ltd
Original Assignee
Himax Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Imaging Inc filed Critical Himax Imaging Inc
Publication of CN104243944A publication Critical patent/CN104243944A/zh
Application granted granted Critical
Publication of CN104243944B publication Critical patent/CN104243944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种去马赛克方法、储存媒体以及影像信号处理器。该数字影像的去马赛克方法，数字影像的像素以左上至右下的方式依序被处理。若当前处理的像素为第二颜色或第三颜色，产生中心位于当前处理的像素的次窗，利用屏蔽选择第一多个已处理像素。当前处理的像素的方向权重组根据该第一多个已处理像素的储存方向权重计算。当前处理的像素的内插方向根据该方向权重组计算。当前处理的像素的第一颜色值根据该方向权重组以及该次窗内具有第一颜色的像素的第一颜色值计算。

Description

去马赛克方法、储存媒体以及影像信号处理器
技术领域
本发明涉及一种关于数字影像处理，且特别有关于对具有彩色滤波器阵列覆盖的影像传感器所截取的数字影像进行去马赛克的方法。
背景技术
大部份数字相机或影像传感器利用彩色滤波器阵列(Color Filter Array，CFA)截取数字影像以降低成本，例如熟知的Bayer式彩色滤波器阵列。如此一来，在所截取的影像中，每一像素只记录一种颜色的值，这种影像称为马赛克影像。图1所示为Bayer样式的构成示意图，其中G代表绿色，R代表红色，B代表蓝色。为了重建全彩色影像，会将马赛克影像去马赛克以取得马赛克影像的每一像素其它两个缺少颜色的值。
一些去马赛克方法可大致被分成两个步骤，第一个步骤为决定每一像素的内插方向，第二个步骤为沿着所决定的内插方向利用内插法取得每一像素其它两个缺少颜色的值。举例而言，一些去马赛克方法利用双线性(bilinear)内插法估计每一像素其它两个缺少颜色的信息。在双线性内插法中，其它两个缺少颜色的值是根据垂直、水平或/和对角方向上相邻像素的值的平均值计算。尽管如此，当每一像素其它两个缺少颜色的值并未沿着适当的内插方向计算时，例如拉炼效应(zipper effect)或错误颜色等伪影(artifact)可能会在去马赛克影像中出现。拉炼效应会造成影像中的直线看起来像是拉炼一般。部分伪影的效应可藉由防止跨边缘(edge)内插而削减。
发明内容
有鉴于此，本发明一实施例提供一种去马赛克方法，适用于具有彩色滤波器阵列覆盖的影像传感器所截取的数字影像，其中该数字影像的每一像素具有第一颜色、第二颜色以及第三颜色其中之一，该数字影像的所有像素以从该数字影像左上至右下的方式依序被处理，该去马赛克方法包括：若一当前处理的像素为该第二颜色或该第三颜色，对该当前处理的像素执行一第一操作以取得该当前处理的像素的该第一颜色的值，其中该第一操作包括：产生中心位于该当前处理的像素的一第一次窗；利用一第一屏蔽选择第一多个已处理像素；根据该第一多个已处理像素的储存方向权重计算该当前处理的像素的方向权重组；根据该当前处理的像素的该方向权重组决定该当前处理的像素的内插方向；跟据该当前处理的像素的该方向权重组以及该第一次窗内具有该第一颜色的像素的该第一颜色的值计算该当前处理的像素的该第一颜色的值；以及储存该当前处理的像素的该方向权重组中值最大的方向权重、该内插方向以及该第一颜色的值。
本发明另一实施例提供一种非暂时性机器可读取储存媒体，包括已编译的一程序代码，其中当该程序代码被一机器加载并执行时，该机器执行一去马赛克方法，该马赛克方法用于对具有彩色滤波器阵列覆盖的影像传感器所截取的数字影像进行去马赛克化，其中该数字影像的每一像素具有第一颜色、第二颜色以及第三颜色其中之一，该数字影像的所有像素以从该数字影像左上至右下的方式依序被处理，该去马赛克方法包括：若一当前处理的像素为该第二颜色或该第三颜色，对该当前处理的像素执行一第一操作以取得该当前处理的像素的该第一颜色的值，其中该第一操作包括：产生中心位于该当前处理的像素的一第一次窗；利用一第一屏蔽选择第一多个已处理像素；根据该第一多个已处理像素的储存方向权重计算该当前处理的像素的方向权重组；根据该当前处理的像素的该方向权重组决定该当前处理的像素的内插方向；跟据该当前处理的像素的该方向权重组以及该第一次窗内具有该第一颜色的像素的该第一颜色的值计算该当前处理的像素的该第一颜色的值；以及储存该当前处理的像素的该方向权重组中值最大的方向权重、该内插方向以及该第一颜色的值。
本发明再一实施例提供一种影像信号处理器，用于处理具有彩色滤波器阵列覆盖的影像传感器所截取的数字影像，其中该数字影像的每一像素具有第一颜色、第二颜色以及第三颜色其中之一，该数字影像的所有像素以从该数字影像左上至右下的方式依序被处理，该影像信号处理器包括：一缓冲模块，接收该数字影像；一去马赛克模块，耦接至该缓冲模块，对该数字影像的每一像素进行去马赛克化以重建每一像素其它两个缺少颜色的值；一存储模块，耦接至该去马赛克模块；以及一影像处理模块，耦接至该去马赛克模块，接收该数字影像的每一像素的该第一颜色、该第二颜色以及该第三颜色的值，根据上述值对该数字影像的每一像素执行一影像处理操作；其中若该去马赛克模块正在处理的一当前处理的像素为该第二颜色或该第三颜色，该去马赛克模块产生中心位于该当前处理的像素的一第一次窗，利用一第一屏蔽选择第一多个已处理像素，根据该第一多个已处理像素的储存方向权重计算该当前处理的像素的方向权重组，根据该当前处理的像素的该方向权重组决定该当前处理的像素的内插方向，跟据该当前处理的像素的该方向权重组以及该第一次窗内具有该第一颜色的像素的该第一颜色的值计算该当前处理的像素的该第一颜色的值，将该当前处理的像素的该方向权重组中值最大的方向权重、该内插方向以及该第一颜色的值储存至该存储模块，并且将该当前处理的像素的该第一颜色的值传送至该影像处理模块。
附图说明
图1所示为Bayer样式的构成示意图。
图2A至图2C所示为根据本发明一实施例的数字影像的去马赛克方法的流程图。
图3A所示为对非绿色像素进行去马赛克化的一范例。
图3B所示为已处理像素的数据的一范例。
图3C所示为估计未处理像素的内插方向的一范例。
图3D-1和图3D-2所示为像素数据的一范例。
图4所示为对绿色像素进行去马赛克化的一范例。
图5所示为根据本发明一实施例的用于去马赛克化数字影像的影像信号处理器的示意图。
附图符号说明
50～影像信号处理器；
510～缓冲模块；
520～去马赛克模块；
530～存储模块；
540～影像处理模块；
B～蓝色；
B0、B1、B2、B3、B4～蓝色像素；
G～绿色；
G0、G1、G2、…、G12～绿色像素；
IMG～数字影像；
M1、M2～屏蔽；
P_IMG～已处理影像；
R～红色；
R0、R1、R2、…、R9～红色像素；
S201、S202、S203、…、S221～步骤；
SW1、SW2～次窗。
具体实施方式
以下说明为本发明的实施例。其目的是要举例说明本发明一般性的原则，不应视为本发明的限制，本发明的范围当以本发明的权利要求为准。
图2A至图2C所示为根据本发明一实施例的数字影像的去马赛克方法的流程图。在本实施例中，数字影像由一具有Bayer式彩色滤波器阵列覆盖的影像传感器所截取。数字影像的每一像素仅包括一绿色值、一红色值或一蓝色值。须注意的是，本领域技术人员可利用其它任何彩色滤波器阵列取代本实施例所述的Bayer式彩色滤波器阵列。上述去马赛克方法由一影像信号处理器执行。若影像信号处理器在没有更多全彩色缓冲器的情况下使用线型(line-based)扫描架构输出处理过的数字影像，会需要产生以当前正在处理的像素为中心的次窗(sub window)以在其它影像管线(pipeline)执行去马赛克化或其它影像处理，例如锐利化、平滑化或/和去噪声化。数字影像的像素以从数字影像左上至右下的方式被依序处理，也就是说，扫描结构为左上至右下。
在步骤S201中，决定当前处理(current-processed)的像素是否为绿色。若当前处理的像素不是绿色(步骤S201：否)，则会对当前处理的像素执行第一操作(步骤S202～S206)、重新估计操作(步骤S207)以及第三操作(步骤S208～S210)以取得当前处理的像素的其它两个颜色的值。若当前处理的像素是绿色(步骤S201：是)，则会对当前处理的像素执行第二操作(步骤S211～S219)以取得当前处理的像素的红色值与蓝色值。第一操作中，于步骤S202产生中心位于当前处理的像素的第一次窗SW1，如图3A和图3C中所示的第一次窗SW1。图3A和图3C仅显示具有Bayer式彩色滤波器阵列覆盖的影像传感器所截取的数字影像的一部分。因此，G0～G12代表绿色像素，R0～R9代表红色像素，而B0～B4代表蓝色像素。在本实施例中，第一次窗SW1为5×5的数据窗，但须注意的是，本发明并不局限于此第一次窗SW1的尺寸。在步骤S203中，第一屏蔽(mask)M1用来选择已处理(prior-processed)像素。举例而言，若当前处理的像素为像素R4，由于根据扫描架构像素R0、R1、R2、B0和B1会在像素R4之前被处理，则被选择的已处理像素为像素R0、R1、R2、B0和B1。每一个被选择的已处理像素为红色或蓝色。
在步骤S204中，计算当前处理的像素的方向权重组。在本实施例中，方向权重组包括水平(horizontal)权重、垂直(vertical)权重以及平坦(flat)权重。须注意的是，本发明的方向权重组所包含的方向权重个数并不局限于3个，举例而言，在另一实施例中，方向权重组可更进一步包括一西北-东南权重以及一东北-西南权重。在去马赛克方法中，「平坦(flat)」可代表在内插时没有使用特定的内插方向。另外，内插方向为「平坦」可由所有内插方向的一组合实现。须注意的是，在本说明书中，「水平」相当于东-西向，而「垂直」相当于南-北向。当前处理的像素的水平权重WH、垂直权重WV以及平坦权重WF分别根据下列式子计算：
W H = Σ X ∈ R W ( P X , H ) × W recorded ( P X , H ) ;
W V = Σ Y ∈ R W ( P Y , V ) × W recorded ( P Y , V ) ; 以及
W F = Σ Z ∈ R W ( P Z , F ) × W recorded ( P Z , F ) ;
其中R代表计算方向权重时所列入考虑的多个像素的集合，W(P)为该多个像素中一像素P的权重，Wrecorded(P)为该多个像素中一像素P的储存方向权重，PX,H代表该多个像素中具有水平内插方向的像素，PY,V代表该多个像素中具有垂直内插方向的像素，PZ,F代表该多个像素中具有平坦内插方向的像素。在一例子中，数字影像的所有像素的权重W皆为1。图3B所示为已处理像素R0、R1、R2、B0和B1的数据的一个范例。已处理像素R0、R1、R2、B0和B1的数据与资料用于当前处理的像素R4的相关计算。已处理像素的每一像素储存(记录)一内插方向以及一对应的储存方向权重。在图3B中，H代表水平，V代表垂直，F代表平坦。根据上列所述的用于计算方向权重的公式，若数字影像的全部像素的权重皆为1，则当前处理的像素R4的水平权重WH、垂直权重WV以及平坦权重WF是分别根据下列式子计算：
WH(R4)＝WH(R0)+WH(R1)；
WV(R4)＝WV(R2)+WV(B1)；以及
WF(R4)＝WF(B0)。
虽然在上述范例中仅考虑红色和蓝色的已处理像素，但在其它范例中，也同样可以将绿色的已处理像素一并列入考虑。
在步骤S205中，根据当前处理的像素的方向权重组决定当前处理的像素的内插方向。举例而言，当前处理的像素R4的内插方向为水平权重WH(R4)、垂直权重WV(R4)以及平坦权重WF(R4)之中值最大的方向权重所对应的方向。举例而言，若垂直权重WV(R4)的值比水平权重WH(R4)以及平坦权重WF(R4)都来得大，则当前处理的像素R4的内插方向为垂直。如此一来，当前处理的像素R4的内插方向是由相邻像素R0、R1、R2、B0和B1投票而得。
若三个方向权重的值皆相等，在计算当前处理的像素的方向权重组时所考虑的多个像素的每一像素的权重W可根据每一像素和当前处理的像素之间的距离设定，也就是说，像素PN的权重W(PN)为：
W ( P N ) = 1 ED ( P N → P C ) ;
其中PC代表当前处理的像素，ED(PN→PC)代表PN至PC的欧氏距离(Euclidean distance)。
举例而言，根据上列所述的权重W的公式，当前处理的像素R4的水平权重WH、垂直权重WV以及平坦权重WF分别根据下列所示的式子计算：
W H ( R 4 ) = 1 8 × W H ( R 0 ) + 1 2 × W H ( R 1 ) ;
W V ( R 4 ) = 1 8 × W V ( R 2 ) + 1 2 × W V ( B 1 ) ; 以及
W F ( R 4 ) = 1 2 × W F ( B 0 ) .
在另一例子中，若当前处理的像素R4的内插方向不可藉由投票决定，则方向权重组可根据对应方向的绿色值的差(梯度)重新计算，例如如下列所示：
W ′ H ( R 4 ) = W H ( R 4 ) + 1 | DG H | + 1 ;
W ′ V ( R 4 ) = W V ( R 4 ) + 1 | DG V | + 1 ; 以及
W ′ F ( R 4 ) = W F ( R 4 ) + 1 ( | DG H | + | DG V | ) / 2 + 1 ;
其中DGH代表水平方向上的绿色值的差，DGV代表垂直方向上的绿色值的差。另一方面，方向权重组可根据下列所示重新计算：
W ′ H ( R 4 ) = 1 | DG H | + 1 × ( W H ( R 4 ) + N ) ;
W ′ V ( R 4 ) = 1 | DG V | + 1 × ( W V ( R 4 ) + N ) ; 以及
W ′ F ( R 4 ) = 1 ( | DG H | + | DG V | ) / 2 + 1 × ( W F ( R 4 ) + N ) ;
其中N为使(WH(R4)+N)、(WV(R4)+N)以及(WF(R4)+N)不为0的一正整数。
若三个方向权重的值皆相等，则当前处理的像素R4的内插方向为平坦且其对应储存的方向权重为WF(R4)。
在步骤S206中，根据当前处理的像素的方向权重组以及第一次窗SW1中的绿色像素的绿色值计算当前处理的像素的绿色值。在本实施例中，当前处理的像素的绿色值G根据当前处理的像素的方向权重组、水平绿色梯度GH、垂直绿色梯度GV以及平坦绿色梯度GF计算，如下列式子所示：
G = W H × G H + W V × G V + W F × G F W H + W V + W F .
举例而言，当前处理的像素R4的绿色值G(R4)根据下列所示计算：
G H ( R 4 ) = G ( G 5 ) + G ( G 6 ) 2 ;
G V ( R 4 ) = G ( G 3 ) + G ( G 8 ) 2 ;
G F ( R 4 ) = G ( G 3 ) + G ( G 5 ) + G ( G 6 ) + G ( G 8 ) 4 ; 以及
G ( R 4 ) = W H ( R 4 ) × G H ( R 4 ) + W V ( R 4 ) × G V ( R 4 ) + W F ( R 4 ) × G F ( R 4 ) W H ( R 4 ) + W V ( R 4 ) + W F ( R 4 ) .
在步骤S206之后，可取得并储存当前处理的像素的内插方向、对应至该内插方向的方向权重以及绿色值。举例而言，若当前处理的像素R4的内插方向为垂直，则对应于当前处理的像素R4所储存的数据包括垂直内插方向、垂直权重WV(R4)以及其绿色值G(R4)。
在步骤S207中，当前处理的像素的绿色值不只根据已处理像素更根据未处理像素重新估计。在图3A所示的范例中，当像素R4正被处理时，像素G6～G11、R5～R8、B2～B4为未处理像素。为了将未处理像素列入考虑，未处理像素的内插分向可先根据至少当前处理的像素的数据进行估计。图3C所示为估计未处理像素R6的内插方向的一范例。第一屏蔽M1用来为像素R6选择像素R3、R4、R9、B2和B4。须注意的是，虽然图3C所使用的屏蔽与图3A所使用的屏蔽相同，但在其它例子中图3C所使用的屏蔽可与图3A所使用的屏蔽不同。像素R6的内插方向以与步骤S204和S205中决定像素R4内插方向相同的方式，由像素R3、R4、R9、B2和B4投票决定。像素B2和B4以及其它未处理像素的内插方向可同样以与步骤S204和S205中决定像素R4内插方向相同的方式投票决定。在未处理像素G6～G11、R5～R8、B2～B4的内插方向皆估计完之后，当前处理的像素R4的内插方向根据第一次窗SW1内的像素R0～R8和B0～B3的内插方向以及对应的方向权重重新计算。也就是说，当前处理的像素R4的内插方向由像素R0～R8和B0～B3重新投票决定。图3D-1和图3D-2所示为像素R0～R8和B0～B3的数据的一范例，其中像素R4的数据从步骤S202～S205取得。若所有像素的权重皆为1，则像素R4的方向权重组根据像素R0～R8和B0～B3的数据重新计算，如下列式子所示：
WH(R4)＝WH(R0)+WH(R1)+WH(R7)+WH(R8)；
WV(R4)＝WV(R2)+WV(R4)+WV(R5)+WV(R6)+WV(B1)+WV(B3)；
WF(R4)＝WF(R3)+WF(B0)+WF(B2)。
在另一范例中，若每一像素的权重根据每一像素与当前处理的像素之间的距离决定，则当前处理的像素R4的方向权重组如下列式子所示重新计算：
W H ( R 4 ) = 1 8 × W H ( R 0 ) + 1 2 × W H ( R 1 ) + 1 2 × W H ( R 7 ) + 1 8 × W H ( R 8 ) ;
W V ( R 4 ) = 1 8 × W V ( R 2 ) + a × W V ( R 4 ) + 1 2 × W V ( R 5 ) + 1 8 × W V ( R 6 )
+ 1 2 × W V ( B 1 ) + 1 2 × W V ( B 3 ) ; 以及
W F ( R 4 ) = 1 2 × W F ( B 0 ) + 1 2 × W F ( R 3 ) + 1 2 × W F ( B 2 ) ;
其中因为像素R4到像素R4本身的欧氏距离为0，像素R4的权重特别指定为一使用者定义的参数a，在本范例中，a＝1。
在重新计算像素R4的方向权重组之后，当前处理的像素R4的内插方向根据像素R4的方向权重组重新决定。举例而言，当前处理的像素R4的内插方向为重新计算后的WH(R4)、WV(R4)和WF(R4)中值最大的方向权重所对应的方向。接着，当前处理的像素R4的绿色值根据下列式子重新计算：
G = W H × G H + W V × G V + W F × G F W H + W V + W F ;
其中GH、GV以及GF分别为如上所述的水平绿色梯度、垂直绿色梯度以及平坦绿色梯度。
在步骤S207之后，重新储存当前处理的像素的重新决定后的内插方向、对应于重新决定后的内插方向的重新计算的方向权重以及重新计算后的绿色值。
在另一实施例中，步骤S207可省略。也就是说，当前处理的像素的绿色值可以不重新估计。
在取得当前处理的像素的绿色值之后，对当前处理的像素执行第三操作(步骤S208～S210)以取得当前处理的像素的蓝色值或红色值。在步骤S208中，先判断当前处理的像素的颜色。若当前处理的像素为红色，则在步骤S209中计算当前处理的像素的蓝色值。若当前处理的像素为蓝色，则在步骤S210中计算当前处理的像素的红色值。
在步骤S209中，根据当前处理的像素的绿色值以及与当前处理的像素相邻的蓝色像素的储存方向权重以及绿色值和蓝色值之间的差计算当前处理的像素的蓝色值B，其中上述与当前处理的像素相邻的蓝色像素的每一个具有与当前处理的像素相同的储存内插方向。当前处理的像素的蓝色值B根据下列式子计算：
B = G - Σ [ W N ( P B ) × ( G ( P B ) - B ( P B ) ) ] Σ W N ( P B ) ;
其中PB代表在第一次窗SW1中具有与当前处理的像素相同内插方向N的像素，N为水平、垂直或平坦其中之一。以图3D-1和图3D-2为例，当前处理的像素R4的储存方向为垂直，由于像素B1和B3的内插方向也同样是垂直(未处理像素B3的内插方向可以与步骤S207所述相同的方式估计)，因此当前处理的像素R4的蓝色值B(R4)为：
B ( R 4 ) = G ( R 4 ) - W V ( B 1 ) × ( G ( B 1 ) - B ( B 1 ) ) + W V ( B 3 ) × ( G ( B 3 ) - B ( B 3 ) ) W V ( B 1 ) + W V ( B 3 ) .
在另一范例中，若在第一次窗SW1中没有像素具有与当前处理的像素相同的内插方向N，则当前处理的像素的蓝色值B可根据下列所示计算：
B = G - Σ ( G ( P B ′ ) - B ( P B ′ ) ) Num ( P B ′ ) ;
其中PB′代表第一次窗SW1中的所有蓝色像素，Num(PB′)代表第一次窗SW1中所有蓝色像素的个数。举例而言，假设当前处理的像素R4的储存内插方向为水平，则当前处理的像素R4的蓝色值B(R4)为：
B ( R 4 ) = G ( R 4 ) - [ ( G ( B 0 ) - B ( B 0 ) ) 4 + ( G ( B 1 ) - B ( B 1 ) ) 4 + ( G ( B 2 ) - B ( B 2 ) ) 4 + ( G ( B 3 ) - B ( B 3 ) ) 4 ] .
若当前处理的像素为蓝色，则在步骤S210中计算当前处理的像素的红色值。由于以红色像素为中心点的Bayer影像和以蓝色像素为中心点的Bayer影像为对称，因此计算当前处理的蓝色像素的红色值的算法与上列所述的计算当前处理的红色像素的蓝色值的算法相似。
若当前处理的像素为绿色，则对当前处理的像素执行第二操作(步骤S211～S219)以取得当前处理的像素的红色值和蓝色值。在步骤S211中，产生中心位于当前处理的像素的第二次窗SW2，如图4所示。图4仅显示具有Bayer式彩色滤波器阵列覆盖的影像传感器所截取的数字影像的一部分。在本实施例中，第二次窗SW2为3×3的数据窗，但须注意的是，本发明并不局限于此第二次窗SW1的尺寸。举例而言，第二次窗SW2可为5×5的数据窗。在步骤S212中，第二屏蔽M2用来选择已处理的蓝色和红色像素。在图4所示的范例中，当前处理的像素为像素G6，而第二屏蔽M2所选择的已处理的蓝色和红色像素为像素B1、R4和R5。
在步骤S213中，以与步骤S204相同的方式计算当前处理的绿色像素的方向权重组。在另一实施例中，由于当前处理的绿色像素的方向权重组已事先估计过，如步骤S207所述，因此当前处理的绿色像素的方向权重组可沿用事先估计所得的方向权重组。在步骤S214中，根据当前处理的绿色像素的方向权重组决定当前处理的绿色像素的内插方向。举例而言，若水平权重WH(G6)的值大于垂直权重WV(G6)以及平坦权重WF(G6)，则当前处理的绿色像素G6的内插方向为水平。在步骤S215中，估计位于第二次窗SW2内的红色或蓝色未处理像素的绿色值，例如以与步骤S202～S207所述相同的方式估计蓝色未处理像素B3和红色未处理像素R5的绿色值。在步骤S215之后，与当前处理的绿色像素相邻的像素的绿色值皆为已知，例如，像素B1、B3、R4和R5的绿色值为已知。在步骤S216中，估计第二次窗SW2内的蓝色未处理像素的红色值，例如，以与步骤S210所述相同的方式估计蓝色未处理像素B3的红色值。在步骤S216之后，与当前处理的绿色像素相邻的像素的红色值皆为已知，例如，像素B1、B3、R4和R5的红色值为已知。在步骤S217中，根据与当前处理的绿色像素相邻的像素的红色值以及当前处理的绿色像素的方向权重组计算当前处理的绿色像素的红色值。举例而言，如下列式子所示，根据当前处理的绿色像素G6的方向权重组以及相邻像素B1、B3、R4和R5的红色值计算当前处理的绿色像素G6的红色值R(G6)：
R H ( G 6 ) = R ( R 4 ) + R ( R 5 ) 2 ;
R V ( G 6 ) = R ( B 1 ) + R ( B 3 ) 2 ;
R F ( G 6 ) = R ( B 1 ) + R ( B 3 ) + R ( R 4 ) + R ( R 5 ) 4 ; 以及
R ( G 6 ) = W H ( G 6 ) × R H ( G 6 ) + W V ( G 6 ) × R V ( G 6 ) + W F ( G 6 ) × R F ( G 6 ) W H ( G 6 ) + W V ( G 6 ) + W F ( G 6 ) .
在步骤S218中，估计第二次窗SW2内的红色未处理像素的蓝色值，以与步骤S209所述相同的方式估计红色未处理像素R5的蓝色值。在步骤S209之后，与当前处理的绿色像素相邻的像素的蓝色值皆为已知，例如，像素B1、B3、R4和R5的蓝色值为已知。在步骤S219中，根据与当前处理的绿色像素相邻的像素的蓝色值以及当前处理的绿色像素的方向权重组计算当前处理的绿色像素的蓝色值。举例而言，如下列式子所示，根据当前处理的绿色像素G6的方向权重组以及相邻像素B1、B3、R4和R5的蓝色值计算当前处理的绿色像素G6的蓝色值B(G6)：
B H ( G 6 ) = B ( R 4 ) + B ( R 5 ) 2 ;
B V ( G 6 ) = B ( B 1 ) + B ( B 3 ) 2 ;
B F ( G 6 ) = B ( B 1 ) + B ( B 3 ) + B ( R 4 ) + B ( R 5 ) 4 ; 以及
B ( G 6 ) = W H ( G 6 ) × B H ( G 6 ) + W V ( G 6 ) × B V ( G 6 ) + W F ( G 6 ) × B F ( G 6 ) W H ( G 6 ) + W V ( G 6 ) + W F ( G 6 ) .
在步骤S219之后，当前处理的绿色像素的红色值以及蓝色值皆为已知。在一实施例中，在步骤S201～S219之后，当前处理的绿色像素以及一些相邻像素的三种颜色的值可在其它影像管线中供其它影像处理操作使用，例如锐利化、平滑化或/和去噪声化。接着，对数字影像的全部像素皆执行步骤S201～S219(步骤S220～S221)。
上列所述的去马赛克方法可以以程序代码(例如：指令)的型态嵌入于一非暂时性机器可读取(如计算机可读取)储存媒体，例如软盘、光盘片、硬盘、或是任何其它机器可读取储存媒体。当已编译的程序代码被机器(例如一数字影像装置或一计算机)加载且执行时，此机器执行上述去马赛克方法。
图5所示为根据本发明一实施例的用于去马赛克化数字影像的影像信号处理器50的示意图。在本实施例中，数字影像IMG由一具有Bayer式彩色滤波器阵列覆盖的影像传感器所截取。数字影像IMG的每一像素仅包括一绿色值、一红色值或一蓝色值。影像信号处理器50包括缓冲模块510、去马赛克模块520、存储模块530以及影像处理模块540。
缓冲模块510接收数字影像IMG。去马赛克模块520耦接至缓冲模块510并对数字影像IMG的每一像素执行去马赛克化以重建每一像素其它两个缺失颜色的值。存储模块530耦接至去马赛克模块520并储存每一像素的内插方向和对应于该内插方向的方向权重以及当去马赛克模块520对每一像素执行上述马赛克方法的步骤S201～S219时所使用的数据。影像处理模块540耦接至去马赛克模块520，接收数字影像IMG的每一像素的绿色值、红色值和蓝色值以根据上述值对每一像素执行影像处理操作，例如锐利化、平滑化、去噪声化或/和其它影像处理操作，并在执行影像处理操作之后输出已处理影像P_IMG。
本发明的方法，或特定型态或其部份，可以以程序代码的型态存在。程序代码可以包含于实体媒体，如软盘、光盘片、硬盘、或是任何其它电子设备或非暂时性机器可读取(如计算机可读取)储存媒体，亦或不限于外在形式的计算机程序产品，其中，当已编译的程序代码被机器，如计算机加载且执行时，此机器变成用以参与本发明的装置或系统，且可执行本发明的方法步骤。程序代码也可以通过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序代码被电子设备或机器，如计算机接收、加载且执行时，此机器变成用以参与本发明的系统或装置。当在一般用途处理单元实作时，程序代码结合处理单元提供一操作类似于应用特定逻辑电路的独特装置。
以上所述为实施例的概述特征。本领域技术人员应可以轻而易举地利用本发明为基础设计或调整以实行相同的目的和/或达成此处介绍的实施例的相同优点。本领域技术人员也应了解相同的配置不应背离本发明的精神与范围，在不背离本发明的精神与范围下他们可做出各种改变、取代和交替。说明性的方法仅表示示范性的步骤，但这些步骤并不一定要以所表示的顺序执行。可另外加入、取代、改变顺序和/或消除步骤以视情况而作调整，并与所揭示的实施例精神和范围一致。

Claims (22)

1.一种去马赛克方法，适用于具有彩色滤波器阵列覆盖的影像传感器所截取的数字影像，其中该数字影像的每一像素具有第一颜色、第二颜色以及第三颜色其中之一，该数字影像的所有像素以从该数字影像左上至右下的方式依序被处理，该去马赛克方法包括：
若一当前处理的像素为该第二颜色或该第三颜色，对该当前处理的像素执行一第一操作以取得该当前处理的像素的该第一颜色的值，其中该第一操作包括：
产生中心位于该当前处理的像素的一第一次窗；
利用一第一屏蔽选择第一多个已处理像素；
根据该第一多个已处理像素的储存方向权重计算该当前处理的像素的方向权重组；
根据该当前处理的像素的该方向权重组决定该当前处理的像素的内插方向；
跟据该当前处理的像素的该方向权重组以及该第一次窗内具有该第一颜色的像素的该第一颜色的值计算该当前处理的像素的该第一颜色的值；以及
储存该当前处理的像素的该方向权重组中值最大的方向权重、该内插方向以及该第一颜色的值。
2.根据权利要求1所述的去马赛克方法，还包括：
若该当前处理的像素为该第一颜色，对该当前处理的像素执行一第二操作以取得该当前处理的像素的该第二颜色的值以及该第三颜色的值，其中该第二操作包括：
产生中心位于该当前处理的像素的一第二次窗；
利用一第二屏蔽选择第二多个已处理像素；
根据该第二多个已处理像素的储存方向权重计算该当前处理的像素的方向权重组；
根据该当前处理的像素的该方向权重组决定该当前处理的像素的内插方向；
储存该当前处理的像素的该方向权重组中值最大的方向权重；
对第一多个未处理像素的每一未处理像素执行该第一操作以估计该第一多个未处理像素的每一未处理像素的该第一颜色的值，其中该第一多个未处理像素的每一未处理像素位于该第二次窗中且具有该第二颜色或该第三颜色；
估计第二多个未处理像素的每一未处理像素的该第二颜色的值，其中该第二多个未处理像素的每一未处理像素位于该第二次窗中且具有该第三颜色
根据与该当前处理的像素相邻的像素的该第二颜色的值以及该当前处理的像素的该方向权重组计算该当前处理的像素的该第二颜色的值；
估计第三多个未处理像素的每一未处理像素的该第三颜色的值，其中该第三多个未处理像素的每一未处理像素位于该第二次窗中且具有该第二颜色；以及
根据与该当前处理的像素相邻的像素的该第三颜色的值以及该当前处理的像素的该方向权重组计算该当前处理的像素的该第三颜色的值。
3.根据权利要求2所述的去马赛克方法，还包括：
对该当前处理的像素执行一重新估计操作以在该第一操作执行于该当前处理的像素之后重新估计该当前处理的像素的该第一颜色的值，其中该重新估计操作包括：
对第四多个未处理像素的每一未处理像素执行该第一操作以估计该第四多个未处理像素的每一未处理像素的方向权重组、储存方向权重以及该第一颜色的值，其中该第四多个未处理像素的每一未处理像素位于该第一次窗中；
根据该当前处理的像素、该第四多个未处理像素以及第四多个已处理像素的储存方向权重重新计算该当前处理的像素的该方向权重组，其中该第四多个已处理像素的每一已处理像素位于该第一次窗中；
根据该当前处理的像素的该方向权重组重新决定该当前处理的像素的该内插方向；
根据当前处理的像素的该方向权重组以及该第一次窗内具有该第一颜色的像素的该第一颜色的值重新计算该当前处理的像素的该第一颜色的值；以及
重新储存该当前处理的像素的该方向权重组中值最大的方向权重、该内插方向以及该第一颜色的值。
4.根据权利要求3所述的去马赛克方法，还包括：
若该当前处理的像素为该第二颜色或该第三颜色，对该当前处理的像素执行一第三操作以取得该当前处理的像素的该第三颜色或该第二颜色的值，其中该第三操作包括：
若该当前处理的像素为该第二颜色，根据当前处理的像素的该第一颜色的值以及与该当前处理的像素相邻且具有该第三颜色的像素的该第一颜色的值和该第三颜色的值之间的差计算该当前处理的像素的该第三颜色的值；以及
若该当前处理的像素为该第三颜色，根据当前处理的像素的该第一颜色的值以及与该当前处理的像素相邻且具有该第二颜色的像素的该第一颜色的值和该第二颜色的值之间的差计算该当前处理的像素的该第二颜色的值。
5.根据权利要求4所述的去马赛克方法，其中该方向权重组包括一水平权重、一垂直权重以及一平坦权重。
6.根据权利要求5所述的去马赛克方法，其中根据R多个参考像素的储存方向权重计算像素P的方向权重组包括：
分别根据下列式子取得该像素P的水平权重WH(P)、垂直权重WV(P)以及平坦权重WF(P)：
W H ( P ) = Σ X ∈ R W ( P X , H ) × W recorded ( P X , H ) ;
W V ( P ) = Σ Y ∈ R W ( P Y , V ) × W recorded ( P Y , V ) ; 以及
W F ( P ) = Σ Z ∈ R W ( P Z , F ) × W recorded ( P Z , F ) ;
其中W为一像素的权重，Wrecorded为该像素的储存方向权重，像素PX,H的方向权重组中值最大的方向权重为水平权重，像素PY,V的方向权重组中值最大的方向权重为垂直权重，像素PZ,F的方向权重组中值最大的方向权重为平坦权重。
7.根据权利要求6所述的去马赛克方法，其中该当前处理的像素的该内插方向为该方向权重组中值最大的方向权重所对应的方向。
8.根据权利要求7所述的去马赛克方法，其中该数字影像的全部像素的权重为1。
9.根据权利要求7所述的去马赛克方法，其中像素PN的权重W(PN)为：
W ( P N ) = 1 ED ( P N → P ) ;
其中ED(PN→P)代表像素PN至P的欧氏距离。
10.根据权利要求7所述的去马赛克方法，其中该彩色滤波器阵列为Bayer式彩色滤波器阵列，该第一颜色为绿色，该第二颜色为红色，该第三颜色为蓝色。
11.一种非暂时性机器可读取储存媒体，包括已编译的一程序代码，其中当该程序代码被一机器加载并执行时，该机器执行一去马赛克方法，该马赛克方法用于对具有彩色滤波器阵列覆盖的影像传感器所截取的数字影像进行去马赛克化，其中该数字影像的每一像素具有第一颜色、第二颜色以及第三颜色其中之一，该数字影像的所有像素以从该数字影像左上至右下的方式依序被处理，该去马赛克方法包括：
若一当前处理的像素为该第二颜色或该第三颜色，对该当前处理的像素执行一第一操作以取得该当前处理的像素的该第一颜色的值，其中该第一操作包括：
产生中心位于该当前处理的像素的一第一次窗；
利用一第一屏蔽选择第一多个已处理像素；
根据该第一多个已处理像素的储存方向权重计算该当前处理的像素的方向权重组；
根据该当前处理的像素的该方向权重组决定该当前处理的像素的内插方向；
跟据该当前处理的像素的该方向权重组以及该第一次窗内具有该第一颜色的像素的该第一颜色的值计算该当前处理的像素的该第一颜色的值；以及
储存该当前处理的像素的该方向权重组中值最大的方向权重、该内插方向以及该第一颜色的值。
12.根据权利要求11所述的非暂时性机器可读取储存媒体，其中该去马赛克方法还包括：
若该当前处理的像素为该第一颜色，对该当前处理的像素执行一第二操作以取得该当前处理的像素的该第二颜色的值以及该第三颜色的值，其中该第二操作包括：
产生中心位于该当前处理的像素的一第二次窗；
利用一第二屏蔽选择第二多个已处理像素；
根据该第二多个已处理像素的储存方向权重计算该当前处理的像素的方向权重组；
根据该当前处理的像素的该方向权重组决定该当前处理的像素的内插方向；
储存该当前处理的像素的该方向权重组中值最大的方向权重；
对第一多个未处理像素的每一未处理像素执行该第一操作以估计该第一多个未处理像素的每一未处理像素的该第一颜色的值，其中该第一多个未处理像素的每一未处理像素位于该第二次窗中且具有该第二颜色或该第三颜色；
估计第二多个未处理像素的每一未处理像素的该第二颜色的值，其中该第二多个未处理像素的每一未处理像素位于该第二次窗中且具有该第三颜色
根据与该当前处理的像素相邻的像素的该第二颜色的值以及该当前处理的像素的该方向权重组计算该当前处理的像素的该第二颜色的值；
估计第三多个未处理像素的每一未处理像素的该第三颜色的值，其中该第三多个未处理像素的每一未处理像素位于该第二次窗中且具有该第二颜色；以及
根据与该当前处理的像素相邻的像素的该第三颜色的值以及该当前处理的像素的该方向权重组计算该当前处理的像素的该第三颜色的值。
13.根据权利要求12所述的非暂时性机器可读取储存媒体，其中该去马赛克方法还包括：
对该当前处理的像素执行一重新估计操作以在该第一操作执行于该当前处理的像素之后重新估计该当前处理的像素的该第一颜色的值，其中该重新估计操作包括：
对第四多个未处理像素的每一未处理像素执行该第一操作以估计该第四多个未处理像素的每一未处理像素的方向权重组、储存方向权重以及该第一颜色的值，其中该第四多个未处理像素的每一未处理像素位于该第一次窗中；
根据该当前处理的像素、该第四多个未处理像素以及第四多个已处理像素的储存方向权重重新计算该当前处理的像素的该方向权重组，其中该第四多个已处理像素的每一已处理像素位于该第一次窗中；
根据该当前处理的像素的该方向权重组重新决定该当前处理的像素的该内插方向；
根据当前处理的像素的该方向权重组以及该第一次窗内具有该第一颜色的像素的该第一颜色的值重新计算该当前处理的像素的该第一颜色的值；以及
重新储存该当前处理的像素的该方向权重组中值最大的方向权重、该内插方向以及该第一颜色的值。
14.根据权利要求13所述的非暂时性机器可读取储存媒体，其中该去马赛克方法还包括：
若该当前处理的像素为该第二颜色或该第三颜色，对该当前处理的像素执行一第三操作以取得该当前处理的像素的该第三颜色或该第二颜色的值，其中该第三操作包括：
若该当前处理的像素为该第二颜色，根据当前处理的像素的该第一颜色的值以及与该当前处理的像素相邻且具有该第三颜色的像素的该第一颜色的值和该第三颜色的值之间的差计算该当前处理的像素的该第三颜色的值；以及
若该当前处理的像素为该第三颜色，根据当前处理的像素的该第一颜色的值以及与该当前处理的像素相邻且具有该第二颜色的像素的该第一颜色的值和该第二颜色的值之间的差计算该当前处理的像素的该第二颜色的值。
15.根据权利要求14所述的非暂时性机器可读取储存媒体，其中该方向权重组包括一水平权重、一垂直权重以及一平坦权重。
16.根据权利要求15所述的非暂时性机器可读取储存媒体，其中根据R多个参考像素的储存方向权重计算像素P的方向权重组包括：
分别根据下列式子取得该像素P的水平权重WH(P)、垂直权重WV(P)以及平坦权重WF(P)：
W H ( P ) = Σ X ∈ R W ( P X , H ) × W recorded ( P X , H ) ;
W V ( P ) = Σ Y ∈ R W ( P Y , V ) × W recorded ( P Y , V ) ; 以及
W F ( P ) = Σ Z ∈ R W ( P Z , F ) × W recorded ( P Z , F ) ;
其中W为一像素的权重，Wrecorded为该像素的储存方向权重，像素PX,H的方向权重组中值最大的方向权重为水平权重，像素PY,V的方向权重组中值最大的方向权重为垂直权重，像素PZ,F的方向权重组中值最大的方向权重为平坦权重。
17.根据权利要求16所述的非暂时性机器可读取储存媒体，其中该当前处理的像素的该内插方向为该方向权重组中值最大的方向权重所对应的方向。
18.根据权利要求17所述的非暂时性机器可读取储存媒体，其中该数字影像的全部像素的权重为1。
19.根据权利要求17所述的非暂时性机器可读取储存媒体，其中像素PN的权重W(PN)为：
W ( P N ) = 1 ED ( P N → P ) ;
其中ED(PN→P)代表像素PN至P的欧氏距离。
20.根据权利要求17所述的非暂时性机器可读取储存媒体，其中该彩色滤波器阵列为Bayer式彩色滤波器阵列，该第一颜色为绿色，该第二颜色为红色，该第三颜色为蓝色。
21.一种影像信号处理器，用于处理具有彩色滤波器阵列覆盖的影像传感器所截取的数字影像，其中该数字影像的每一像素具有第一颜色、第二颜色以及第三颜色其中之一，该数字影像的所有像素系以从该数字影像左上至右下的方式依序被处理，该影像信号处理器包括：
一缓冲模块，接收该数字影像；
一去马赛克模块，耦接至该缓冲模块，对该数字影像的每一像素进行去马赛克化以重建每一像素其它两个缺少颜色的值；
一存储模块，耦接至该去马赛克模块；以及
一影像处理模块，耦接至该去马赛克模块，接收该数字影像的每一像素的该第一颜色、该地二颜色以及该第三颜色的值，根据上述值对该数字影像的每一像素执行一影像处理操作；
其中若该去马赛克模块正在处理的一当前处理的像素为该第二颜色或该第三颜色，该去马赛克模块产生中心位于该当前处理的像素的一第一次窗，利用一第一屏蔽选择第一多个已处理像素，根据该第一多个已处理像素的储存方向权重计算该当前处理的像素的方向权重组，根据该当前处理的像素的该方向权重组决定该当前处理的像素的内插方向，跟据该当前处理的像素的该方向权重组以及该第一次窗内具有该第一颜色的像素的该第一颜色的值计算该当前处理的像素的该第一颜色的值，将该当前处理的像素的该方向权重组中值最大的方向权重、该内插方向以及该第一颜色的值储存至该存储模块，并且将该当前处理的像素的该第一颜色的值传送至该影像处理模块。
22.根据权利要求21所述的影像信号处理器，其中若该当前处理的像素为该第一颜色，该去马赛克模块产生中心位于该当前处理的像素的一第二次窗，利用一第二屏蔽选择第二多个已处理像素，根据该第二多个已处理像素的储存方向权重计算该当前处理的像素的方向权重组，根据该当前处理的像素的该方向权重组决定该当前处理的像素的内插方向，估计第一多个未处理像素的每一未处理像素的该第一颜色的值，其中该第一多个未处理像素的每一未处理像素位于该第二次窗中且具有该第二颜色或该第三颜色，估计第二多个未处理像素的每一未处理像素的该第二颜色的值，其中该第二多个未处理像素的每一未处理像素位于该第二次窗中且具有该第三颜色，根据与该当前处理的像素相邻的像素的该第二颜色的值以及该当前处理的像素的该方向权重组计算该当前处理的像素的该第二颜色的值，估计第三多个未处理像素的每一未处理像素的该第三颜色的值，其中该第三多个未处理像素的每一未处理像素位于该第二次窗中且具有该第二颜色，根据与该当前处理的像素相邻的像素的该第三颜色的值以及该当前处理的像素的该方向权重组计算该当前处理的像素的该第三颜色的值，储存该当前处理的像素的该方向权重组中值最大的方向权重、该内插方向以及该第二颜色的值和该第三颜色的值储存至该存储模块，并且将该当前处理的像素的该第二颜色的值和该第三颜色的值传送至该影像处理模块。
CN201410269851.6A 2013-06-20 2014-06-17 去马赛克方法、储存媒体以及影像信号处理器 Active CN104243944B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/922,934 2013-06-20
US13/922,934 US9042643B2 (en) 2013-06-20 2013-06-20 Method for demosaicking

Publications (2)

Publication Number Publication Date
CN104243944A true CN104243944A (zh) 2014-12-24
CN104243944B CN104243944B (zh) 2017-04-12

Family

ID=52110976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410269851.6A Active CN104243944B (zh) 2013-06-20 2014-06-17 去马赛克方法、储存媒体以及影像信号处理器

Country Status (3)

Country Link
US (1) US9042643B2 (zh)
CN (1) CN104243944B (zh)
TW (1) TWI493979B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107466410A (zh) * 2015-03-27 2017-12-12 英特尔公司 用于原始图像处理的新边缘感测量度

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11025869B2 (en) * 2019-08-08 2021-06-01 SK Hynix Inc. Image sensor, image sensor processor, and image processing system including the same
CN114445290B (zh) * 2021-12-28 2024-04-02 中国科学技术大学 一种面向硬件的联合去噪去马赛克方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100104214A1 (en) * 2008-10-24 2010-04-29 Daniel Tamburrino Methods and Systems for Demosaicing
US20100182466A1 (en) * 2009-01-16 2010-07-22 Samsung Digital Imaging Co., Ltd. Image interpolation method and apparatus using pattern characteristics of color filter array
US20100182464A1 (en) * 2009-01-21 2010-07-22 Rastislav Lukac Joint Automatic Demosaicking And White Balancing
US20110317916A1 (en) * 2010-06-28 2011-12-29 The Hong Kong Polytechnic University Method and system for spatial-temporal denoising and demosaicking for noisy color filter array videos
CN102870417A (zh) * 2011-02-28 2013-01-09 富士胶片株式会社 彩色成像设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111299B2 (en) * 2008-08-15 2012-02-07 Seiko Epson Corporation Demosaicking single-sensor camera raw data
JP5589585B2 (ja) * 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US20110032269A1 (en) * 2009-08-05 2011-02-10 Rastislav Lukac Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
US8638342B2 (en) * 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8508612B2 (en) * 2010-09-30 2013-08-13 Apple Inc. Image signal processor line buffer configuration for processing ram image data
EP2683167B1 (en) * 2011-02-28 2018-05-02 Fujifilm Corporation Color imaging device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100104214A1 (en) * 2008-10-24 2010-04-29 Daniel Tamburrino Methods and Systems for Demosaicing
US20100182466A1 (en) * 2009-01-16 2010-07-22 Samsung Digital Imaging Co., Ltd. Image interpolation method and apparatus using pattern characteristics of color filter array
US20100182464A1 (en) * 2009-01-21 2010-07-22 Rastislav Lukac Joint Automatic Demosaicking And White Balancing
US20110317916A1 (en) * 2010-06-28 2011-12-29 The Hong Kong Polytechnic University Method and system for spatial-temporal denoising and demosaicking for noisy color filter array videos
CN102870417A (zh) * 2011-02-28 2013-01-09 富士胶片株式会社 彩色成像设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107466410A (zh) * 2015-03-27 2017-12-12 英特尔公司 用于原始图像处理的新边缘感测量度
CN107466410B (zh) * 2015-03-27 2021-11-05 英特尔公司 用于原始图像处理的新边缘感测量度

Also Published As

Publication number Publication date
TW201501540A (zh) 2015-01-01
US9042643B2 (en) 2015-05-26
CN104243944B (zh) 2017-04-12
US20140376805A1 (en) 2014-12-25
TWI493979B (zh) 2015-07-21

Similar Documents

Publication Publication Date Title
JP4385282B2 (ja) 画像処理装置および画像処理方法
CN107578392B (zh) 一种基于残余插值的卷积神经网络去马赛克方法
TWI516132B (zh) An image processing apparatus, an image processing method, and a program
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
CN102254301B (zh) 基于边缘方向插值的cfa图像去马赛克方法
US20020167602A1 (en) System and method for asymmetrically demosaicing raw data images using color discontinuity equalization
Chung et al. Demosaicing of color filter array captured images using gradient edge detection masks and adaptive heterogeneity-projection
CN103765876A (zh) 图像处理设备以及图像处理方法和程序
US20020122586A1 (en) Image demosaicing method utilizing directional smoothing
US20130135448A1 (en) Image processing device and method, recording medium, and program
US20070229684A1 (en) Color interpolation method for Bayer filter array images
US7855741B2 (en) Apparatus and method for processing image
CN111539892A (zh) Bayer图像的处理方法、系统、电子设备和存储介质
CN108171668A (zh) 一种基于定向加权插值的cfa图像去马赛克方法
KR20110015969A (ko) 에지 적응적 보간 및 노이즈 필터링 방법, 컴퓨터로 판독 가능한 기록매체 및 휴대 단말
CN109302593A (zh) 一种面向单传感器相机成像系统的去马赛克算法
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
CN104243944A (zh) 去马赛克方法、储存媒体以及影像信号处理器
CN102663703B (zh) 基于Treelet的Bayer型CFA图像去噪方法
Ye et al. Image demosaicing by using iterative residual interpolation
KR100565429B1 (ko) 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치
Getreuer Malvar-he-cutler linear image demosaicking
US20120250976A1 (en) Wavelet transform on incomplete image data and its applications in image processing
CN114359050B (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN102930503B (zh) 基于cfa图像多方向边缘插值的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant