CN103202022B - 图像处理设备及其控制方法 - Google Patents

图像处理设备及其控制方法 Download PDF

Info

Publication number
CN103202022B
CN103202022B CN201180053860.6A CN201180053860A CN103202022B CN 103202022 B CN103202022 B CN 103202022B CN 201180053860 A CN201180053860 A CN 201180053860A CN 103202022 B CN103202022 B CN 103202022B
Authority
CN
China
Prior art keywords
image
pixel
resolution
coefficient
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180053860.6A
Other languages
English (en)
Other versions
CN103202022A (zh
Inventor
平井雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103202022A publication Critical patent/CN103202022A/zh
Application granted granted Critical
Publication of CN103202022B publication Critical patent/CN103202022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

根据通过使用单板彩色图像传感器所拍摄的图像，生成具有低分辨率和低频带的低分辨率图像，并且对所述图像和所述低分辨率图像各自进行伪色抑制和颜色噪声抑制。然后恢复所述低分辨率图像的分辨率，并且对所述图像和恢复了分辨率的所述低分辨率图像进行加权组合。如果判断为感兴趣像素属于生成了伪色的区域，则用于计算用于组合的比系数的混合比计算器(205、225)计算比系数，利用该比系数，恢复了分辨率的所述低分辨率图像的像素的颜色信号成为所述加权组合的结果。这使得可以有效抑制伪色和颜色噪声两者。

Description

图像处理设备及其控制方法
技术领域
本发明涉及一种图像处理设备及其控制方法，尤其涉及一种能够抑制图像中的噪声和伪色的图像处理设备。
背景技术
已知诸如数字照相机等的摄像设备，其中，这类摄像设备包括单板彩色图像传感器，例如CCD图像传感器或CMOS图像传感器，并且将光学图像存储为数字图像数据。尽管希望这类摄像设备能够拍摄高质量图像，但是在不能获得足够的S/N比(信号/噪声比)的环境下，例如，在暗场所或夜晚时，颜色成分的噪声(颜色噪声)使图像质量极大下降。导致图像质量下降的因素的另一例子是由例如图像传感器的暗电流所产生的噪声成分的叠加。
然而，近年来对于即使在暗场所或夜晚时也能够拍摄低噪声、高质量的图像的需求明显增大。
在如上所述的技术环境下，提出了用于抑制颜色噪声的各种方法。例如，日本特开2008-015741号(专利文献1)提出了一种用于在保存边缘成分的同时从高频成分消除噪声之后组合高频成分和低频成分的方法。另外，日本特开2007-272536号(专利文献2)提出了一种用于对于亮度成分和色差成分各自生成不同分辨率的低频图像和高频图像、对这些图像进行不同噪声抑制处理、然后组合这些图像的方法。
专利文献1和2所述的各方法具有这样的结构，在该结构中，将亮度成分和颜色成分分成高频成分和低频成分，并且在对其分别进行噪声抑制处理之后进行组合。
此外，在用于处理通过使用颜色滤波器的单板彩色图像传感器所拍摄的图像的处理中，发生所谓的伪色这一问题，其中，在拍摄具有高空间频率的被摄体的图像的部分中，出现原本不存在的颜色。因此，作为用于抑制在被摄体的高频区域中所生成的伪色的方法，通常使用感兴趣像素周围的像素进行感兴趣像素的颜色插值。
日本特开2002-300590号(专利文献3)和日本特开平H08-023541号(专利文献4)各自提出了一种用于对通过包括具有拜尔排列的颜色滤波器的图像传感器所获得的图像进行抑制伪色的颜色插值的方法。原色拜尔排列的单位模式为
，其中，该单位模式包括两个绿色(G)滤波器，在水平方向上与红色(R)滤波器邻接、并且在垂直方向上与蓝色(B)滤波器邻接的G滤波器是G1滤波器，在垂直方向上与R滤波器邻接、并且在水平方向上与B滤波器邻接的G滤波器是G2滤波器。
在对感兴趣像素进行颜色插值时，基于在垂直方向上与感兴趣像素邻接的G1像素或G2像素的值的关联度和在水平方向上与感兴趣像素邻接的G1像素或G2像素的值的关联度之间的关系，判断是使用G1像素还是G2像素的值来获得色差成分。
在专利文献4中，通过根据(R－G1)的值和(R－G2)的值之间的差对(R－G1)的值和(R－G2)的值进行加权平均获得色差成分R－G，并且通过根据(B－G1)的值和(B－G2)的值之间的差对(B－G1)的值和(B－G2)的值进行加权平均获得色差成分B－G。
此外，日本特开2007-336384号(专利文献5)提出了一种用于通过根据感兴趣像素中位于水平方向和垂直方向上的像素的相关性适应地选择插值中所使用的像素来生成亮度成分，从而通过抑制摩尔纹整体生成自然图像的方法。
专利文献1和2考虑到了抑制颜色噪声，但是没有考虑抑制伪色。另外，专利文献3～5考虑到了抑制伪色，但是没有考虑抑制颜色噪声。
仅抑制颜色噪声和伪色中的一个是不够的，并且需要抑制颜色噪声和伪色两者的图像。然而，没有提出用于有效抑制颜色噪声和伪色两者的传统方法。
发明内容
本发明提供能够抑制伪色和颜色噪声两者的图像处理设备及其控制方法。
根据本发明的一个方面，提供一种图像处理设备，其用于抑制通过使用单板彩色图像传感器所拍摄的图像的伪色和颜色噪声，其特征在于包括：分辨率降低部件，用于根据所述图像生成分辨率和频带比所述图像低的低分辨率图像；抑制部件，用于抑制所述图像和所述低分辨率图像各自的伪色和颜色噪声；分辨率增大部件，用于恢复通过所述抑制部件处理后的所述低分辨率图像的分辨率；计算部件，用于计算比系数，其中，所述比系数用于对通过所述抑制部件处理后的所述图像的像素和与该像素相对应的、恢复了分辨率的所述低分辨率图像的像素进行加权组合；以及组合部件，用于根据所述比系数，对通过所述抑制部件处理后的所述图像的像素的颜色信号和与该像素相对应的、恢复了分辨率的所述低分辨率图像的像素的颜色信号进行加权组合，其中，如果判断为所述图像的感兴趣像素属于生成伪色的区域，则所述计算部件计算出如下比系数：利用该比系数，恢复了分辨率的所述低分辨率图像的像素的颜色信号成为所述加权组合的结果。
根据本发明的另一方面，提供一种图像处理设备的控制方法，其中，所述图像处理设备用于抑制通过使用单板彩色图像传感器所拍摄的图像的伪色和颜色噪声，其特征在于包括以下步骤：分辨率降低步骤，用于使分辨率降低部件根据所述图像，生成分辨率和频带比所述图像低的低分辨率图像；抑制步骤，用于使抑制部件抑制所述图像和所述低分辨率图像各自的伪色和颜色噪声；分辨率增大步骤，用于使分辨率增大部件恢复在所述抑制步骤中处理后的所述低分辨率图像的分辨率；计算步骤，用于使计算部件计算比系数，其中，所述比系数用于对在所述抑制步骤中处理后的所述图像的像素和与该像素相对应的、恢复了分辨率的所述低分辨率图像的像素进行加权组合；以及组合步骤，用于使组合部件根据所述比系数，对在所述抑制步骤中处理后的所述图像的像素的颜色信号和与该像素相对应的、恢复了分辨率的所述低分辨率图像的像素的颜色信号进行加权组合，其中，如果在所述计算步骤中判断为所述图像的感兴趣像素属于生成伪色的区域，则所述计算部件计算出如下比系数：利用该比系数，恢复了分辨率的所述低分辨率图像的像素的颜色信号成为所述加权组合的结果。
通过以下参考附图对典型实施例的说明，本发明的其他特征将显而易见。
附图说明
图1是示出作为根据实施例的图像处理设备的例子的摄像设备的结构例子的框图；
图2是示出图1所示的色差信号处理器109的结构例子的框图；
图3是示出图2所示的混合比计算器205的结构例子的框图；
图4是示出CZP(圆形波带板)的图；以及
图5A～5C是示出从CZP中心开始在水平方向上延伸的轴上的G1和G2信号的例子的图。
具体实施方式
现参考附图详细说明本发明的典型实施例。
图1是示出作为根据本发明实施例的图像处理设备的例子的摄像设备的结构例子的框图。然而，在根据本发明的图像处理设备中，用于拍摄图像的结构并非必需的，并且能够处理拍摄图像的任何特定装置都可以进行摄像处理。
控制器100包括CPU、RAM和ROM，并且通过在RAM上展开存储在ROM中的程序、并且通过CPU执行所展开的程序，控制摄像设备的各单元的操作。注意，图1没有示出控制器100和各个功能块之间的任何连接线以避免附图复杂。另外还应注意，可以通过硬件实现图1所示的功能块107～113，但是在下面的说明中，通过控制器100的CPU执行软件来实现。
当通过例如半按下操作单元116的摄像按钮指定“摄像待机”时，控制器100指示同步信号生成器101生成用于获取图像信号的帧同步信号(水平和垂直同步信号)。
响应于该指示，同步信号生成器101指示定时脉冲生成器102向与模拟信号处理有关的块提供定时脉冲。当接收到来自同步信号生成器101的该指示时，定时脉冲生成器102向与模拟信号处理有关的摄像处理器103、CDS/AGC104和A/D转换器105提供定时脉冲。
CDS/AGC104从自包括单板彩色图像传感器的摄像处理器103所输出的模拟图像信号消除暗电流成分，并且通过调整增益增大图像信号的S/N比。A/D转换器105根据从定时脉冲生成器102所提供的定时，将模拟图像信号转换成数字图像数据，并且将该数据输出给FIFO106。
FIFO106发挥用于数字图像数据的临时缓冲器的功能。FIFO106之后的功能块是与数字信号处理有关的块。从WB处理器107开始进行的数字信号处理所需的时间不是恒定的，并且在A/D转换器105的输出定时时不一定可以立即开始数字信号处理。因此，FIFO106消除定时差。
WB处理器107调整彩色图像的彩色像素之间的增益(白平衡)。像素插值器108对于通过包括颜色滤波器的图像传感器所拍摄的图像的各像素，进行不足颜色成分的信息的插值。例如，当摄像处理器103包括包括具有上述拜尔排列的颜色滤波器的图像传感器、并且感兴趣像素是R像素时，图像插值器108通过周围B和G(G1和G2)像素对B和G颜色成分进行插值。还将颜色插值处理称为同步处理。插值的方法没有特别限制，并且可以采用特定传统方法。
色差信号处理器109根据感兴趣像素的RGB信号，生成色差信号(Cr和Cb)。颜色伽马处理器110对色差信号进行伽马处理。色度/拐点处理器111调整伽马处理之后的饱和增益。亮度信号处理器112生成亮度信号(Y)。亮度信号处理器112可以根据例如公式Y=0.6G+0.3R+0.1B生成亮度信号。亮度伽马处理器113校正亮度信号的伽马。
注意，通过R－Y(B－Y)定义色差信号Cr(Cb)。然而，由于人具有感觉绿色光为最亮光的特定光视效率特性，所以还可以通过使用G作为简单亮度将Cr当作为R－G(将Cb当作为B－G)来获得色差信号Cr(Cb)。
临时存储器114存储所生成的亮度信号和色差信号(颜色信号)。存储器控制器115在控制器100的控制下控制对临时存储器114的写/读取。
接着参考图2说明色差信号处理器109的结构和操作。
色差信号处理器109向感兴趣像素的输入信号重复应用低通滤波器(LPF)和下采样单元，从而生成空间频率和分辨率(像素数量)逐步降低的图像。例如，当应用在水平和垂直两个方向上将大小减小至1/2的下采样时，色差信号处理器109应用诸如具有滤波器系数[1，2，1]的低通滤波器等的、将奈奎斯特点处的频率特性设置成0的低通滤波器。
图2示出通过应用低通滤波器206和下采样单元207生成在水平和垂直两个方向上具有1/2分辨率的图像、并且通过应用低通滤波器226和下采样单元227生成在水平和垂直两个方向上具有1/4分辨率的图像的结构例子。然而，还可以生成具有更低频率和更低分辨率的图像。通过考虑原始图像的分辨率等，可以适当确定要生成的图像的阶段数量。也就是说，图2示出在抑制各图像的伪色和颜色噪声之后组合包括原始分辨率的三个图像的结构例子。然而，还可以处理具有四个以上不同分辨率的图像。
在下面的说明中，将用于处理具有特定分辨率的图像的各功能块240～242当作为“层”。因此，图2示出三层结构。注意，在图2中，用于处理分辨率为原始分辨率的1/4的图像的层242，具有与用于处理分辨率为原始分辨率的1/2的图像的层241相同的结构，因此以简化示出。
现说明各层的结构和操作。第一层240是用于处理来自像素插值器108的输出图像的层。伪色抑制器201根据感兴趣像素的颜色成分(RGB成分)，通过抑制伪色生成色差信号Cr和Cb。颜色噪声抑制器202通过使用例如上述专利文献1或2中对带分离图像中的一个所进行的降噪处理，抑制从伪色抑制器201所输出的色差信号Cr和Cb的噪声。注意，在本技术领域，用于对特定图像进行伪色抑制和颜色噪声抑制的方法众所周知，并且在本发明中也可以适当采用这些众所周知的方法，因而省略对伪色抑制器201和颜色噪声抑制器202的处理的详细说明。
混合比计算器205根据来自颜色噪声抑制器202的色差信号Cr和Cb，计算用于组合在当前层中经过了伪色抑制和颜色噪声抑制的色差信号Cr和Cb与从下一层所提供的色差信号Cr和Cb的比系数K。如果判断为感兴趣像素(或区域)属于颜色变化小的区域、或生成伪色的区域，则混合比计算器205计算增大来自下一层的色差信号Cr和Cb的组合比的比系数K。稍后参考图3详细说明混合比计算器205的结构和操作。
加法器209通过从1减去从混合比计算器205所输出的比系数K，计算系数(1－K)。乘法器210将在当前层中经过了伪色抑制和颜色噪声抑制的感兴趣像素的色差信号Cr和Cb乘以比系数K，并且输出该积。乘法器211将从下一层241所提供的感兴趣像素的色差信号Cr和Cb乘以系数(1－K)，并且输出该积。加法器212相加来自乘法器210和211的输出，并且将组合色差信号Cr和Cb作为来自色差信号处理器109的输出，提供给颜色伽马处理器110。
第二层241是用于对来自像素插值器108的输出图像应用低通滤波器206和下采样单元207的层，从而处理频带受限的低分辨率图像。第二层中的伪色抑制器221、颜色噪声抑制器222、混合比计算器225、加法器229、乘法器230、乘法器231和加法器232的结构和操作与第一层中相应的结构和操作相同，因而省略重复说明。上采样单元208将从加法器232输出的组合色差信号Cr和Cb的分辨率增大至与第一层中处理后的图像相同的分辨率。上采样单元208具有用于将通过下采样单元207降低后的分辨率恢复成原始分辨率的功能。当对水平方向和垂直方向各自上的现有像素A和B之间的像素C进行插值时，例如，上采样单元208可以使用诸如C=(A/2+B/2)等的线性插值。注意，用于增大分辨率的像素插值方法没有限制，并且可以适当采用诸如双三次方法等的众所周知的插值方法。
第三层242是用于处理通过向来自第二层241的下采样单元207的输出图像应用低通滤波器226和下采样单元227而频带进一步受限的低分辨率图像的层。除要处理的图像的频带和分辨率以外，第三层242的结构和操作与第二层241的相同，因而省略重复说明。上采样单元228将通过第三层242处理后的色差信号Cr和Cb的分辨率转换成与通过第二层241处理后的图像相同的分辨率，并且将该色差信号Cr和Cb提供给乘法器231。
注意，第三层242是图2所示例子的最下层，但是如上所述，还可以形成更下层。另外，注意，可以省略第三层。尽管用于确定层数量的方法没有特别限制，但是可以根据原始图像的分辨率或用于多速率信号处理的分割频带的数量来确定层数量。多速率信号处理是这样一种技术，该技术通过利用低分辨率图像具有高S/N比、并且高分辨率图像具有低S/N比这一特性，使用要通过各个层处理的图像中符合目的的层的图像来进行图像处理。该多速率信号处理在本技术领域众所周知，并且与本发明没有直接关系，因而省略详细说明。
图3是示出图2所示的混合比计算器205的结构例子的框图。
颜色边缘检测器2051接收感兴趣像素的色差信号Cr和Cb，并且检测各信号的急剧变化度。可以通过例如具有滤波器系数[-1，2，-1]的空间滤波器实现颜色边缘检测器2051。系数Kb计算器2052使用预定函数，将作为颜色边缘检测结果的滤波器应用结果中认为具有更高颜色边缘度的结果映射为0和1之间的系数Kb(第二比系数)。例如，系数Kb计算器对于可能具有高颜色边缘度的滤波器应用结果输出具有接近1的值的Kb，并且对于可能具有低颜色边缘度的滤波器应用结果输出具有接近0的值的Kb。
系数Kb的值越小，则在信号组合时给予下层的信号的权重越大。因此，如果Kb=0，将下层的(上采样)颜色信号直接提供给上层。如果Kb=1，则将自身层的颜色信号直接提供给上层。在范围0<Kb<1内，以比“自身层的信号：下层的信号=Kb：1-Kb”进行加权组合。在层241中，例如，加法器229和232及乘法器230和231执行该加权组合。
所检测到的颜色边缘度小的部分，是颜色变化小的区域。在该区域中，由于颜色噪声抑制器的处理的噪声抑制效果，通过使用作为低频图像的下层信号获得良好的噪声抑制效果。因此，在所检测到的颜色边缘度减小时，系数Kb的值减小，因而在信号组合时，来自下层的图像信号的比增大。
简单亮度计算器2053生成亮度信号。如上所述，通过利用人的特定光视效率特性，使用G信号生成亮度信号。例如，简单亮度计算器2053可以直接使用通过像素插值器108的同步处理所获得的G信号，并且还可以生成包含要处理像素的滤波器模式中所包括的G1和G2像素信号的平均值(G1+G2)/2，作为亮度信号Y。
亮度边缘检测器2054检测亮度信号Y的边缘(上升沿和下降沿)。可以通过例如具有滤波器系数[-1，0，1]的空间滤波器来实现亮度边缘检测器2054。系数Ka'计算器2055将亮度边缘检测结果映射至0和1之间的系数Ka'。例如，系数Ka'计算器在所检测到的亮度边缘的程度高时输出具有接近1的值的Ka'，并且在该程度低时输出具有接近0的值的Ka'。
系数Ka'的值越小，则在信号组合时给予下层的信号的权重越大。因此，如果Ka'=0，则将下层的(上采样)信号直接提供给上层。如果Ka'=1，则将自身层的信号直接提供给上层。在范围0<Ka'<1内，以比“自身层的信号：下层的信号=Ka':1-Ka'”来进行加权组合。在层241中，例如，加法器229和232及乘法器230和231执行该加权组合。
系数Kb是表示为了抑制颜色噪声而在图像组合时是对下层图像还是对当前层图像进行加权的指标。系数Ka'是表示为了抑制伪色而在图像组合时是对下层图像还是对当前层图像进行加权的指标。系数Ka'的值随着伪色区域的可能性增大而减小。
下面说明用于估计伪色区域的方法。图4示出在减小间距(空间频率从中心开始向外侧增大)的同时重复配置以图像中心作为原点的同心圆的、被称为CZP(圆形波带板)的图像。图5A～5C示出在从CZP的中心开始水平延伸的轴上绘制G1和G2信号值。通过对G1像素值进行插值获得G1信号值，并且通过对G2信号值进行插值获得G2信号值。
参考图5A～5C，CZP的原点处于右端，并且空间频率向左增大。图5A所示的曲线1001和1002表示作为图2所示的色差信号处理器109的输入信号的G1和G2信号的变化。图5B所示的曲线1003和1004表示应用低通滤波器206和下采样单元207之后的G1和G2信号的状态。图5C所示的曲线1005和1006表示在应用低通滤波器226和下采样单元227之后的G1和G2信号的状态。为了便于说明和理解，假定在图5A～5C中，通过放大利用下采样单元207和227所下采样的图像的G1和G2信号，以使得各信号具有与图2所示的色差信号处理器109的输入信号相同的大小，从而进行插值。因此，图5A～5C具有共用横轴。
另外，图5A～5C所示的F0～F4表示CZP中的空间频率的任意值。也就是说，图像(CZP)中心处的空间频率为F0，并且空间频率按照F1、F2、F3和F4的顺序向图像的外侧增大。
在各图5A～5C中，G1和G2信号在高频区域中产生相位差。可以将G1和G2信号产生相位差的区域当作为伪色区域(生成伪色信号的区域)。因此，可以通过检查是否存在相位差来判断感兴趣区域是否是伪色区域。
更具体地，计算拜尔排列中G1和G2像素与相同种类的相邻(或附近)像素的倾斜(差)ΔG1和ΔG2。如果倾斜之间的关系满足
ΔG1×ΔG2<0    ...(1)，
则可以判断为该区域是伪色区域。也就是说，如果相同方向上的倾斜反转，则可以判断为存在相位差。
注意，还可以计算例如水平和垂直两个方向上的倾斜，并且在例如水平和垂直两个方向中的一个上满足公式(1)时，判断为该区域是伪色区域。还可以不针对每一像素，而是针对包括多个像素的各区域判断该区域是否是伪色区域。例如，如果在特定区域中，满足公式(1)的像素的比等于或高于预定阈值时，可以判断为该区域是伪色区域。
当向图5A应用如上所述的方法时，对于输入给色差信号处理器109的图像中的G1和G2信号，可以判断为空间频率高于F1的区域2～4是伪色区域。对于应用了低通滤波器206的图像的G1和G2信号(图5B)，可以判断为空间频率高于F2的区域3和4是伪色区域。对于应用低通滤波器226的图像的G1和G2信号(图5C)，可以判断为空间频率高于F3的区域4是伪色区域。因此，如果混合比计算器205或225判断为存在伪色区域，则还可以通过增大色差信号中的下层信号的组合比，抑制伪色的影响。
相位检测器2056通过使用利用公式1所示的关系，检测G1和G2信号之间的相位差的产生，并且判断为检测到相位差的像素(或如上所述的区域)是伪色区域。来自相位检测器2056的输出是0或1，相位检测器2056在发现伪色区域时输出1，并且在没有发现伪色区域时输出0。
选择器2057根据来自相位检测器2056的判断结果，选择由计算器2055所计算出的系数Ka'和固定值1中的一个作为用于抑制伪色的系数Ka(第一比系数)。因此，对于发现不是伪色区域的像素(或区域)，不是选择系数Ka'，而是选择固定值1，即当前层为100%的组合比作为系数Ka。
将系数Ka和通过系数Kb计算器2052所计算出的系数Kb输入给比较器2058和选择器2059。比较器2058比较系数Ka和Kb，并且如果Ka<Kb，则向选择器2059输出0，并且如果Kb<Ka，则输出1。作为当前层的组合系数K，如果来自比较器2058的值是0，则选择器2059选择系数Ka，并且如果该值是1，则选择系数Kb。也就是说，从系数Ka和Kb中，选择具有较小值的系数(增大下层的权重的系数)作为当前层的组合系数K。
在上述实施例中，根据原始图像，生成分辨率和空间频带低于原始图像的分辨率和空间频带的低分辨率图像。然后，对原始图像和低分辨率图像各自的色差信号应用伪色抑制处理和颜色噪声抑制处理。此后，恢复低分辨率图像的分辨率，并且将该图像与原始图像组合。在该处理中，至少对于原始图像中的伪色区域或颜色变化小的区域(像素)，增大低分辨率图像的组合比。这使得可以通过有效抑制伪色和颜色噪声来生成色差信号。
其他实施例
注意，当在上述实施例中，层的数量增加时，以与层241的相同方式，进行具有次低分辨率和次低频带的低分辨率图像的处理，并且以与层242的相同方式，进行具有最低分辨率和最低频带的低分辨率图像的处理。然后，以与层241的相同方式，进行具有第三低分辨率和第三低频带的低分辨率图像的处理，并且以与层242的相同方式，进行具有次低分辨率和次低频带的低分辨率图像的处理。通过依次执行该处理，可以处理任意数量的层。
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者诸如CPU或MPU等的装置)、及通过下面的方法来实现本发明的方面，其中，通过系统或设备的计算机例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能，实现该方法的步骤。为此，经由网络或者通过用作为存储器装置的各种类型的记录介质(例如，非暂时性计算机可读介质)将该程序提供给计算机。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽解释以包含所有这类修改、等同结构和功能。
本申请要求2010年11月8日提交的日本2010-250257号专利申请的优先权，其全部内容通过引用包含于此。

Claims (5)

1.一种图像处理设备，其用于抑制通过使用单板彩色图像传感器所拍摄的图像的伪色和颜色噪声，其特征在于包括：
分辨率降低部件，用于根据通过使用所述图像传感器所拍摄的第一图像生成分辨率和频带比所述第一图像低的第二图像；
抑制部件，用于抑制所述第一图像和所述第二图像各自的伪色和颜色噪声；
分辨率增大部件，用于恢复通过所述抑制部件处理后的所述第二图像的分辨率；
计算部件，用于计算比系数，其中，所述比系数用于对通过所述抑制部件处理后的所述第一图像的像素和与该像素相对应的、恢复了分辨率的所述第二图像的像素进行加权组合；以及
组合部件，用于根据所述比系数，对通过所述抑制部件处理后的所述第一图像的像素的颜色信号和与该像素相对应的、恢复了分辨率的所述第二图像的像素的颜色信号进行加权组合，
其中，如果判断为所述第一图像的感兴趣像素属于生成伪色的区域，则所述计算部件基于属于所述第一图像的所述感兴趣像素的亮度计算第一比系数，基于属于所述第一图像的所述感兴趣像素的颜色计算第二比系数，并且选择所述第一比系数和所述第二比系数中的将恢复了分辨率的所述第二图像的像素的权重增大得更大的比系数，作为所述加权组合时所使用的比系数，
其中，所述图像传感器包括具有拜尔排列的颜色滤波器。
2.根据权利要求1所述的图像处理设备，其中，所述计算部件计算：
所述第一比系数，利用所述第一比系数，随着对于属于所述第一图像的所述感兴趣像素所检测到的亮度边缘的程度的减小，增大恢复了分辨率的所述第二图像的像素的权重，以及
所述第二比系数，利用所述第二比系数，随着对于属于所述第一图像的所述感兴趣像素所检测到的颜色边缘的程度的减小，增大恢复了分辨率的所述第二图像的像素的权重。
3.根据权利要求1所述的图像处理设备，其中，
如果判断为所述感兴趣像素属于在具有拜尔排列的所述颜色滤波器中、在从G1像素所获得的亮度信号和从G2像素所获得的亮度信号之间存在相位差的区域时，则所述计算部件判断为所述感兴趣像素属于生成伪色的区域，
G1像素在水平方向上与R即红色像素邻接，并且G2像素在水平方向上与B即蓝色像素邻接。
4.根据权利要求1所述的图像处理设备，其中，
所述分辨率降低部件生成分辨率和频带逐步降低的多个图像，以及
所述抑制部件、所述分辨率增大部件、所述计算部件和所述组合部件配置成针对所述多个图像中的每一个，根据具有次低分辨率和次低频带的图像和具有最低分辨率和最低频带的图像的组合执行操作。
5.一种图像处理设备的控制方法，其中，所述图像处理设备用于抑制通过使用单板彩色图像传感器所拍摄的图像的伪色和颜色噪声，其特征在于包括以下步骤：
分辨率降低步骤，用于使分辨率降低部件根据通过使用所述图像传感器所拍摄的第一图像，生成分辨率和频带比所述第一图像低的第二图像；
抑制步骤，用于使抑制部件抑制所述第一图像和所述第二图像各自的伪色和颜色噪声；
分辨率增大步骤，用于使分辨率增大部件恢复在所述抑制步骤中处理后的所述第二图像的分辨率；
计算步骤，用于使计算部件计算比系数，其中，所述比系数用于对在所述抑制步骤中处理后的所述第一图像的像素和与该像素相对应的、恢复了分辨率的所述第二图像的像素进行加权组合；以及
组合步骤，用于使组合部件根据所述比系数，对在所述抑制步骤中处理后的所述第一图像的像素的颜色信号和与该像素相对应的、恢复了分辨率的所述第二图像的像素的颜色信号进行加权组合，
其中，如果在所述计算步骤中判断为所述第一图像的感兴趣像素属于生成伪色的区域，则所述计算部件基于属于所述第一图像的所述感兴趣像素的亮度计算第一比系数，基于属于所述第一图像的所述感兴趣像素的颜色计算第二比系数，并且选择所述第一比系数和所述第二比系数中的将恢复了分辨率的所述第二图像的像素的权重增大得更大的比系数，作为所述加权组合时所使用的比系数，
其中，所述图像传感器包括具有拜尔排列的颜色滤波器。
CN201180053860.6A 2010-11-08 2011-11-02 图像处理设备及其控制方法 Active CN103202022B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010250257A JP5677040B2 (ja) 2010-11-08 2010-11-08 画像処理装置およびその制御方法
JP2010-250257 2010-11-08
PCT/JP2011/075880 WO2012063885A1 (en) 2010-11-08 2011-11-02 Image processing apparatus and control method of the same

Publications (2)

Publication Number Publication Date
CN103202022A CN103202022A (zh) 2013-07-10
CN103202022B true CN103202022B (zh) 2015-07-08

Family

ID=45349262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180053860.6A Active CN103202022B (zh) 2010-11-08 2011-11-02 图像处理设备及其控制方法

Country Status (6)

Country Link
US (1) US9137464B2 (zh)
EP (1) EP2638696B1 (zh)
JP (1) JP5677040B2 (zh)
KR (1) KR101460688B1 (zh)
CN (1) CN103202022B (zh)
WO (1) WO2012063885A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5719148B2 (ja) * 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
JP5919086B2 (ja) * 2012-05-09 2016-05-18 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
JP2014021928A (ja) * 2012-07-23 2014-02-03 Canon Inc 画像処理装置、画像処理方法およびプログラム
TWI566205B (zh) * 2012-11-02 2017-01-11 輝達公司 圖形驅動程式在顯像圖框中近似動態模糊的方法
JP6087612B2 (ja) * 2012-12-17 2017-03-01 キヤノン株式会社 画像処理装置および画像処理方法
CN103973997B (zh) * 2013-02-05 2017-09-26 浙江大华技术股份有限公司 一种图像处理方法及装置
JP2015162706A (ja) * 2014-02-26 2015-09-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6478482B2 (ja) * 2014-05-09 2019-03-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6525700B2 (ja) * 2015-04-14 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6603493B2 (ja) * 2015-06-29 2019-11-06 キヤノン株式会社 撮像装置、画像処理装置、撮像装置が実行する撮像方法、画像処理装置が実行する画像処理方法、及びプログラム
JP6757407B2 (ja) * 2016-06-15 2020-09-16 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR102584523B1 (ko) * 2016-11-16 2023-10-05 한화비전 주식회사 컬러 모아레 저감 방법 및 이를 이용한 영상 처리 장치
CN106507066B (zh) * 2016-11-22 2018-04-17 深圳开阳电子股份有限公司 抑制图像伪彩色的方法、装置
CN110073656B (zh) * 2016-12-14 2021-06-11 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及存储介质
JP6891014B2 (ja) * 2017-03-22 2021-06-18 キヤノン株式会社 画像処理装置および画像処理方法、並びにプログラム
CN108124141B (zh) * 2017-12-15 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法及装置
EP3688981B1 (en) * 2017-10-19 2024-02-28 Zhejiang Dahua Technology Co., Ltd. Methods and devices for processing images
JP7311994B2 (ja) * 2019-03-27 2023-07-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
WO2020215263A1 (zh) * 2019-04-24 2020-10-29 华为技术有限公司 一种图像处理方法及装置
KR20220145694A (ko) * 2021-04-22 2022-10-31 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5467404A (en) * 1991-08-14 1995-11-14 Agfa-Gevaert Method and apparatus for contrast enhancement
CN101480057A (zh) * 2006-06-29 2009-07-08 奥林巴斯株式会社 图像处理装置、图像处理程序、图像处理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3576600B2 (ja) 1994-07-11 2004-10-13 キヤノン株式会社 カラー撮像装置
JP4011861B2 (ja) 2001-03-29 2007-11-21 キヤノン株式会社 信号処理装置及び方法
US7257271B2 (en) 2003-12-17 2007-08-14 Eastman Kodak Company Noise reduction in color digital images using pyramid decomposition
JP5035585B2 (ja) * 2005-04-27 2012-09-26 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR101201672B1 (ko) * 2005-12-20 2012-11-15 삼성전자주식회사 의사 색 억제 기능을 갖는 디지털 영상 신호 처리 장치 및그 방법
JP5183880B2 (ja) * 2006-03-14 2013-04-17 ソニー株式会社 カラーフィルタおよび撮像素子
JP5256582B2 (ja) 2006-03-31 2013-08-07 株式会社ニコン 画像処理方法、画像処理プログラム、および画像処理装置
EP2003612A4 (en) 2006-03-31 2010-10-13 Nikon Corp IMAGE PROCESSING
JP4965903B2 (ja) 2006-06-16 2012-07-04 キヤノン株式会社 画像処理装置及び方法
JP2008015741A (ja) 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置
JP2008289090A (ja) * 2007-05-21 2008-11-27 Toshiba Corp 撮像信号処理装置
JP4914303B2 (ja) * 2007-07-13 2012-04-11 シリコン ヒフェ ベー．フェー． 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
KR101327789B1 (ko) * 2007-08-24 2013-11-11 삼성전자주식회사 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치
JP4934839B2 (ja) * 2008-02-19 2012-05-23 オリンパス株式会社 画像処理装置及びその方法並びにプログラム
JP5475293B2 (ja) 2009-01-28 2014-04-16 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム
JP5430379B2 (ja) * 2009-02-03 2014-02-26 キヤノン株式会社 撮像装置及びその制御方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5467404A (en) * 1991-08-14 1995-11-14 Agfa-Gevaert Method and apparatus for contrast enhancement
CN101480057A (zh) * 2006-06-29 2009-07-08 奥林巴斯株式会社 图像处理装置、图像处理程序、图像处理方法

Also Published As

Publication number Publication date
EP2638696B1 (en) 2019-03-13
KR101460688B1 (ko) 2014-11-12
US9137464B2 (en) 2015-09-15
WO2012063885A1 (en) 2012-05-18
KR20130083464A (ko) 2013-07-22
CN103202022A (zh) 2013-07-10
EP2638696A1 (en) 2013-09-18
JP2012104968A (ja) 2012-05-31
JP5677040B2 (ja) 2015-02-25
US20130222531A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
CN103202022B (zh) 图像处理设备及其控制方法
JP5011814B2 (ja) 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
US8270774B2 (en) Image processing device for performing interpolation
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
US8508625B2 (en) Image processing apparatus
US8081239B2 (en) Image processing apparatus and image processing method
WO2013031367A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20040080639A1 (en) Image processing method, image processing program, and image processor
US8452127B2 (en) Methods and apparatuses for reducing the effects of noise in image signals
US20120287286A1 (en) Image processing device, image processing method, and program
US8717460B2 (en) Methods and systems for automatic white balance
JP4810473B2 (ja) 画像処理装置および画像処理プログラム
TW200926838A (en) Image sensor apparatus and methods employing unit pixel groups with overlapping green spectral content
US8233733B2 (en) Image processing device
JP5291788B2 (ja) 撮像装置
JP2001339735A (ja) 単板式カラーカメラの色分離回路
JP2007288573A (ja) クロマサプレス処理装置
JP2010178226A (ja) 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム
JP2004064227A (ja) 映像信号処理装置
JP4122082B2 (ja) 信号処理装置およびその処理方法
JP2008079301A (ja) 撮像装置
JP2012227869A (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant