CN102572447A - 图像处理设备、图像处理方法及程序 - Google Patents

图像处理设备、图像处理方法及程序 Download PDF

Info

Publication number
CN102572447A
CN102572447A CN2011103197766A CN201110319776A CN102572447A CN 102572447 A CN102572447 A CN 102572447A CN 2011103197766 A CN2011103197766 A CN 2011103197766A CN 201110319776 A CN201110319776 A CN 201110319776A CN 102572447 A CN102572447 A CN 102572447A
Authority
CN
China
Prior art keywords
pixel
reference zone
statistic
intensity
test section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103197766A
Other languages
English (en)
Inventor
野村宜邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102572447A publication Critical patent/CN102572447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

公开了一种图像处理设备、方法及程序。该图像处理设备包括：检测部，其接收由单芯片彩色成像装置的成像处理产生的颜色马赛克图像作为输入，并且检测在作为内插处理目标的目标像素附近的高频信号的强度；多个统计量计算部，其中的每个统计量计算部设定在目标像素周围具有不同面积的参考区域，并且基于参考区域中包括的像素值来计算单独的统计量；以及内插部，其根据由检测部检测到的高频信号的强度来改变由多个统计量计算部计算的多个统计量的混合状态，并且通过多个统计量的混合处理来计算在目标像素的位置处的内插像素值。

Description

图像处理设备、图像处理方法及程序
技术领域
本公开涉及图像处理设备、图像处理方法及程序。特别地，本公开涉及对单芯片成像装置(单芯片彩色成像装置)的输出执行信号处理的图像处理设备、图像处理方法及程序。
背景技术
在将单芯片的固态成像装置用作成像设备的成像装置(图像传感器)的成像处理中，在成像装置上布置使对应于每个像素的诸如R、G或B的特定颜色的波长成分通过的滤色器，以执行彩色成像。在该方法中，由于针对每个像素仅获得一个颜色(例如，R、G和B中的任一个)，所以根据颜色生成马赛克形状的图像。
图1A图示了成像设备中使用的滤色器的示例。该布置被称为拜耳(Bayer)布置，拜耳布置使每个像素单位的特定波长成分(R、G或B)的光通过。拜耳布置包括作为最少单位的四个像素：使绿色(G)通过的两个滤波器、使蓝色(B)通过的一个滤波器、和使红色(R)通过的一个滤波器。
通过这样的滤波器获得的图像变成关于每个像素仅具有根据诸如R、G或B的滤波器的模式的颜色信息的图像。该图像被称为所谓的马赛克图像。为了根据该马赛克图像生成彩色图像，需要关于所有的各个像素生成与所有R、G和B有关的颜色信息。
可通过使用根据每个像素周围的像素获得的颜色信息执行内插，来计算对应于所有像素的所有颜色信息(例如，所有的R、G和B)，从而生成彩色图像。该内插处理被称为去马赛克处理。即，根据图1A所示的成像信号生成所有单个像素单位的颜色信息(R、G和B)、以及获得图1B所示的图像信号的处理被称为内插处理、去马赛克处理、上采样处理等。
对于这样的颜色内插处理(去马赛克处理)，已提出了各种技术，例如美国专利第4,642,678号。
特别地，如美国专利第5,652,621号或日本未审查专利申请公开第7-236147号中所公开的，使用相关性高的方向上的信号对不清楚的颜色进行内插的技术，甚至可以以高准确度对信号的高频成分进行内插。
但是，在现有的这些技术中，难以完全地对不清楚的颜色进行内插，以及非常可能的是，对于包括高频成分的颜色信号发生伪彩色(falsecolor)。此处，伪彩色指的是由于在内插的颜色信号中发生失真而将图像看作被彩色化的现象。
另外，[K.Hirakawa，T.W.Parks“Adaptive Homogeneity-DirectedDemosaicing Algorithm”]公开了这样的技术：通过寻找伪彩色的发生最小的内插方向，针对使用拜耳布置的成像装置而成像的马赛克图像，来有效地减少伪彩色。但是，该技术具有的问题是，不会如此完全地实现对伪彩色的抑制，以及特别地，在具有大量颜色的布置中显著地发生伪彩色。
另外，为了抑制伪彩色，已经提出了通过在摄影的时候使用特定的滤波器，例如光学低通滤波器(OLPF)以光学方式来减少颜色信号的高频成分的技术。但是，在使用这种滤波器的技术中，由于不存在具有理想频率特性的滤波器(OLPF)，所以难以充分地抑制伪彩色。
发明内容
因此，期望提供一种可生成彩色图像的图像处理设备、图像处理方法及程序，其中，该彩色图像是通过在经由单芯片彩色成像装置成像的马赛克图像的内插处理中抑制伪彩色的发生而获得的高质量的内插图像。
另外，期望提供一种可生成彩色图像的图像处理设备、图像处理方法及程序，其中，该彩色图像是通过在不会显著地增加计算量或硬件的情况下抑制伪彩色的发生而获得的高质量的内插图像。
根据本公开的实施例，提供了一种图像处理设备，包括：检测部，其接收由单芯片彩色成像装置的成像处理而生成的颜色马赛克图像作为输入，以及检测在作为内插处理目标的目标像素附近的高频信号的强度；多个统计量计算部，其中的每个统计量计算部设定在目标像素附近具有不同面积的参考区域，以及基于参考区域中包括的像素值来计算单独的统计；以及内插部，其根据由检测部检测的高频信号的强度来改变由多个统计量计算部计算的多个统计量的混合状态，以及根据多个统计量的混合处理来计算在目标像素的位置处的内插像素值。
在以上的实施例中，内插部可在由检测部检测到的高频信号的强度大的情况下，计算根据宽参考区域计算的统计的贡献被设定在高水平的内插像素值，以及在由检测部检测到的高频信号的强度小的情况下，计算根据窄参考区域计算的统计的贡献被设定在高水平的内插像素值。
根据本公开的另一实施例，存在一种图像处理设备，包括：检测部，其接收由单芯片彩色成像装置的成像处理而生成的颜色马赛克图像作为输入，以及检测在作为内插处理目标的目标像素附近的高频信号的强度；参考区域确定部，其确定定义参考像素的范围的参考区域，其中，该参考像素用于计算目标像素的内插像素值，该参考区域根据由检测部检测到的高频信号的强度具有不同的面积；统计量计算部，其根据由参考区域确定部确定的参考区域中包括的像素值，计算用于确定内插像素值的统计量；以及内插部，其根据由统计量计算部计算的统计量，计算在目标像素的位置处的内插像素值。
在以上实施例中，参考区域确定部可在由检测部检测到的高频信号的强度大的情况下设定宽参考区域，以及可在由检测部检测到的高频信号的强度小的情况下设定窄参考区域。
在以上实施例中，检测部可在作为内插处理目标的目标像素附近，检测在奈奎斯特(Nyquist)频率附近的高频信号的强度。
在以上实施例中，检测部可使用使在奈奎斯特频率附近的高频带通过的高通滤波器(HPF)，来检测高频信号的强度。
在以上实施例中，检测部可计算由单芯片彩色成像装置的成像处理生成的颜色马赛克图像中所包括的颜色信号，以及根据所计算的信号检测高频信号的强度。
在以上实施例中，统计量计算部计算参考区域中包括的像素的像素值的平均作为统计量。
在以上实施例中，统计量计算部采用IIR(无限脉冲响应)滤波器。
根据本公开的又一实施例，提供了一种图像处理方法，用于在图像处理设备中执行像素值内插处理，该方法包括：经由检测部，来接收由单芯片彩色成像装置的成像处理生成的颜色马赛克图像作为输入，以及检测在作为内插处理目标的目标像素附近的高频信号的强度；经由多个统计量计算部中的每个，来设定在目标像素附近具有不同面积的参考区域，以及基于参考区域中包括的像素值来计算单独的统计量；以及经由内插部，根据由检测部检测到的高频信号的强度来改变由多个统计量计算部计算的多个统计量的混合状态，以及根据多个统计量的混合处理来计算在目标像素的位置处的内插像素值。
根据本公开的又一实施例，提供了一种图像处理方法，用于在图像处理设备中执行像素值内插处理，该方法包括：经由检测部，来接收由单芯片彩色成像装置的成像处理生成的颜色马赛克图像作为输入，以及检测在作为内插处理目标的目标像素附近的高频信号的强度；经由参考区域确定部，来确定定义参考像素的范围的参考区域，其中，该参考像素用于计算目标像素的内插像素值，该参考区域根据由检测部检测到的高频信号的强度具有不同的面积；经由统计量计算部，根据由参考区域确定部确定的参考区域中包括的像素值，计算用于确定内插像素值的统计量；以及经由内插部，根据由统计量计算部计算的统计量，计算在目标像素的位置处的内插像素值。
根据本公开的又一实施例，提供了一种程序，其使像素值内插处理在图像处理设备中被执行，该程序具有例程，该例程包括：在检测部中，接收由单芯片彩色成像装置的成像处理生成的颜色马赛克图像作为输入，以及检测在作为内插处理目标的目标像素附近的高频信号的强度；在多个统计量计算部中的每个中，设定在目标像素附近具有不同面积的参考区域，以及基于参考区域中包括的像素值来计算单独的统计量；以及在内插部中，根据由检测部检测到的高频信号的强度来改变由多个统计量计算部计算的多个统计量的混合状态，以及根据多个统计量的混合处理来计算在目标像素的位置处的内插像素值。
根据本公开的又一实施例，提供了一种程序，其使像素值内插处理在图像处理设备中被执行，该程序具有例程，该例程包括：在检测部中，接收由单芯片彩色成像装置的成像处理生成的颜色马赛克图像作为输入，以及检测在作为内插处理目标的目标像素附近的高频信号的强度；在参考区域确定部中，确定定义参考像素的范围的参考区域，其中，该参考像素用于计算目标像素的内插像素值，该参考区域根据由检测部检测到的高频信号的强度具有不同的面积；在统计量计算部中，根据由参考区域确定部确定的参考区域中包括的像素值，计算用于确定内插像素值的统计量；以及在内插部中，根据由统计量计算部计算的统计量，计算在目标像素的位置处的内插像素值。
此处，例如可通过以计算机可读格式向可执行程序代码的图像处理设备或计算机系统提供各种程序代码的存储介质或通信介质，来提供该实施例中的程序。由于以计算机可读格式提供这样的程序，所以图像处理设备或计算机系统可实现根据该程序的处理。
从基于稍后描述的实施例和附图的详细描述中，本公开的各种目标、特征和优点将变得明显。本说明书中的术语“系统”指的是多个装置的逻辑集合配置，其不限于各个部件装置被布置在单个壳体中的配置。
根据上述配置，将由单芯片彩色成像装置的成像处理生成的颜色马赛克图像接收为输入，以及检测在作为内插处理目标的目标像素附近的高频信号的强度。另外，根据检测到的高频信号的强度，来设定具有不同面积的参考区域，以及使用根据具有不同面积的参考区域而计算的统计量，来确定内插像素值。例如，通过混合处理，在高频信号的强度大的情况下，计算根据宽参考区域计算的统计量的贡献被设定在高水平的内插像素值，以及在高频信号的强度小的情况下，计算根据窄参考区域计算的统计量的贡献被设定在高水平的内插像素值。可替选地，使用具有根据高频信号的强度而确定的面积的参考区域，来执行该处理。
通过这些处理，可根据像素区域中包括多少高频信号来设定最佳的参考区域，以及生成伪彩色被抑制的高质量图像。在下文中，在奈奎斯特频率附近的高频信号很大程度地包括在彩色信号中的像素区域被称为高频区域。
附图说明
图1A和图1B是图示去马赛克处理的图；
图2A和图2B是图示作为在根据本公开的实施例的图像处理设备中的处理目标的马赛克图像的示例的图；
图3是图示根据本公开的实施例的图像处理设备的内插执行部的配置示例的图；
图4是图示根据本公开的实施例的图像处理设备的内插执行部的另一配置示例的图；以及
图5是图示作为根据本公开的实施例的图像处理设备的配置示例的成像设备的硬件配置示例的图。
具体实施方式
在下文中，将参考附图对本公开的图像处理设备、图像处理方法及程序进行详细描述。将按照下面的顺序进行描述。
1.由根据实施例的图像处理设备执行的处理的概要
2.根据实施例的图像处理设备中的内插执行部的配置和处理
3.根据实施例的图像处理设备的硬件配置示例
4.图3所示的内插执行部100的部件的特定处理示例
(4-1.奈奎斯特频率检测部101的处理)
(4-2.小区域统计量计算部102的处理)
(4-3.大区域统计量计算部103的处理)
(4-4.内插部A 104的处理)
5.图4所示的内插执行部150的部件的特定处理示例
(5-1.奈奎斯特频率检测部151的处理)
(5-2.参考区域确定部152的处理)
(5-3.统计量计算部153的处理)
(5-4.内插部B 154的处理)
6.其它实施例
[1.由根据实施例的图像处理设备执行的处理的概要]
首先，将描述由根据实施例的图像处理设备执行的处理的概要。
图像处理设备以高准确度对使用单芯片彩色成像装置成像的马赛克图像执行内插处理，并且生成高质量彩色图像。
本实施例是能够应用于数码相机的相机信号处理的技术。通过使用该技术，可减少现有技术中的“伪彩色”的问题，并且可实现视觉上令人满意的内插结果。
例如，本实施例能够应用于由使用图1A所示的拜耳布置的单芯片成像装置成像的图像的内插处理，并且能够应用于使用具有大量颜色的彩色布置的单芯片彩色成像装置。
即，本实施例可应用于由具有各种布置，例如拜耳布置(图2A)或四颜色布置(图2B)的单芯片成像装置成像的图像的内插处理。
图2A所示的布置是参考图1A所描述的拜耳布置，并且使每个像素单位的特定波长的颜色成分(R、G或B)通过。拜耳布置由作为最小单位的四个像素来配置，这四个像素包括：使绿色(G)通过的两个滤波器、使蓝色(B)通过的一个滤波器、和使红色(R)通过的一个滤波器。
图2B所示的布置除了R、G和B以外，还具有X像素。例如，X可被设定成各种颜色，例如在颜色上不同于R、G和B的祖母绿，使所有波长都通过的白色，或仅使红外光通过的黑色。
另外，除了图2A和图2B所示的成像装置以外，本实施例还可应用于通过使用布置有四个或更多个颜色的成像装置而获得的图像数据的内插处理。
随着由单芯片彩色成像装置成像的颜色的数目增加，每一个颜色的像素的数目减少并且发生失真的频带变低。由于这个原因，在对超过三个颜色的颜色进行成像的单芯片彩色成像装置中，伪彩色的发生概率增加。因此，使用根据本实施例的伪彩色抑制处理是更有效的。
“失真”是在输入信号的高频区域中发生的噪声，其发生在频率高于1/2采样频率(奈奎斯特频率)的高频范围内。如果输入信号的频率成分高于奈奎斯特频率，则发生失真现象，并且从输入信号的频率成分的奈奎斯特频率或更高频率的信号推导的信号被插入到采样之后的信号的频率成分中作为噪声。
随着由单芯片彩色成像装置成像的颜色的数目增加，每个颜色的像素的数目减少，因此采样频率降低。因此，发生失真的频带变低。
本实施例提供了在发生这样的失真现象的频带中的有效的噪声减少解决方案。因此，在对超过三个颜色的颜色数目进行成像的单芯片彩色成像装置中，在采样频率低并且伪彩色的发生概率高的情况下，本实施例更有效。
根据本实施例的伪彩色抑制处理可应用于由单芯片彩色成像装置成像的图像的内插处理，该单芯片彩色成像装置除了具有图2A和图2B所示的拜耳布置或四颜色布置以外，还具有各种布置。
如上所述，根据本实施例的图像处理设备提供了在发生失真的频带中的有效的噪声减少解决方案，从而实现具有更少噪声的内插处理。
根据本实施例的图像处理设备使用根据由单芯片彩色成像装置成像并且从该成像装置输出的颜色信号中所包括的失真的强度的适当面积的参考区域，来计算内插处理所需要的统计量。在一般的内插处理中，使用在不同颜色信号之间存在强相关性的事实来执行内插。
例如，使用某种颜色C1来估计颜色C2的像素值的表达式被表示为下面的表达式(1)。
C 1 ( x ) - C 2 ( x ) ≅ 1 N Σ t ∈ local ( C 1 ( x + t ) - C 2 ( x + t ) ) ≅ mC 1 ( x ) - mC 2 ( x )
…表达式(1)
在表达式(1)中，x是目标像素的位置，C1(x)和C2(x)是在像素位置x处的已知颜色C1和C2的像素值，t是指示参考区域的坐标的偏移，N是参考区域中的像素的数目，以及mC1(x)和mC2(x)是包括像素位置x的参考区域中的像素值C1和C2的平均值。
在表达式(1)中，在目标像素位置x处的颜色C1的像素值C1(x)是从成像信号中直接获得的，而在像素位置x处的颜色C2的像素值C2(x)不是从成像信号中直接获得的。此时，根据表达式(1)来计算在像素位置x处的颜色信号的差C1(x)-C2(x)，并且可根据该表达式来计算在位置x处的颜色C2的像素值C2(x)。
表达式(1)是用于使用在包括位置x的参考区域中的已知颜色C1和C2的像素值，来计算在位置x处的未知颜色C2的像素值C2(x)的表达式。
表达式(1)是用于根据自然图片的特性计算无法直接从成像装置的输出中获得的目标像素x的颜色(C2)的像素值(C2(x))的表达式，在自然图片中，不同颜色信号之间的像素值的差(色差)在局部区域中基本上保持不变。
根据表达式(1)，可仅使用包括目标像素的参考区域中的已知像素值，来估计目标像素位置处的不清楚的颜色信号。
例如，如果C1(x)已知，则使用C1(x)、mC1(x)和mC2(x)来计算不清楚的值C2(x)。
但是，在表达式(1)的内插方法中，当颜色信号中包括导致失真的高频成分时，表达式(1)中部的项与表达式(1)右端的项彼此不一致，如下：
1 N Σ t ∈ local ( C 1 ( x + t ) - C 2 ( x + t ) ) ≠ mC 1 ( x ) - mC 2 ( x )
即，存在发生这样的不相符之处的问题。
另外，通过改变表达式(1)来获得下面的表达式(2)。
C 2 ( x ) ≅ ( C 1 ( x ) - 1 N Σ t ∈ local C 1 ( x + t ) ) + 1 N Σ t ∈ local C 2 ( x + t ) ≅ ( C 1 ( x ) - mC 1 ( x ) ) + mC 2 ( x )
表达式(2)
像素值的平均值的计算等同于向颜色信号施加低通滤波器(LPF)。表达式(2)表示可根据C2的低频成分和C1的高频成分来计算不清楚的值C2(x)。
即，内插处理使用了在C1的高频成分与C2的高频成分之间存在强相关性的事实。
在该内插处理中，如果颜色信号中包括高频成分，则发生失真，因此在内插结果中发生伪彩色，其中，mC1(x)和mC2(x)的计算结果偏离理想的LPF结果。
在本实施例中，通过改变在根据颜色信号的频率特性计算统计值(表达式(1)中的平均值)时所使用的参考区域的面积，来解决以上问题。
参考区域对应于参考像素的设定区域，其中，该参考像素用于计算目标像素位置的内插像素值。
自然图片中的颜色信号主要具有低频成分，并且高频成分仅存在于具有陡沿的目标的部分中。
因此，在颜色信号中不包括高频成分的图像的大部分区域中，可充分地相信按照窄参考区域计算的统计量而没有颜色信号的失真。
相反，在颜色信号中包括导致信号的失真的高频成分的情况下，如果使用窄参考区域来计算统计量，则由于失真的强烈影响而难以计算正确的统计量。
但是，由于存在高频信号的区域被限制在由成像设备(相机)成像的自然图片中，所以通过放大参考区域的面积，可对仅将低频成分包括为参考像素值的颜色信号进行采样，其中，在参考区域中获得用于内插像素值的计算的参考像素值。
即，通过放大参考区域，可计算相对正确的统计量。
仅考虑到如果放大参考区域则失真的影响减少的事实，优选的是尽可能地放大参考区域，但这是不正确的。
这是因为在目标像素位置处的颜色信号之间的相关关系仅保持在包括目标像素位置的窄区域中。
因此可以说，当信号的高频成分是中心时，保持颜色信号之间的强相关性。
因此，为了使采用表达式(1)的内插处理的内插值接近于理想的像素值，优选地是将用于获得参考图像值的参考区域设定为窄的。例如，在大部分的像素值内插技术中，使用预定的窄参考区域，例如大约7×7像素的区域。
在本实施例中，除了现有技术中使用的预定的窄参考区域以外，例如还将大约31×31像素的宽区域设定为用于获得参考像素值的参考区域，以及使用宽参考区域中的参考像素值来执行内插处理。
如果在内插处理中发生伪彩色，则这看起来非常不自然。因此，应该防止伪彩色。
因此，在本实施例中，根据颜色信号的频率特性，来改变内插处理中所使用的参考区域的面积。
在颜色信号中包括奈奎斯特频率附近的高频成分的情况下，使用宽参考区域，而在颜色信号中不包括奈奎斯特频率附近的高频成分的情况下，使用窄参考区域。
[2.根据实施例的图像处理设备中的内插执行部的配置和处理]
将参考图3及其后的图来描述根据本实施例的图像处理设备中的内插执行部的配置和处理。
图3是图示在根据本实施例的图像处理设备中执行内插处理的内插执行部100的部件的框图。
如图3所示，根据本实施例的图像处理设备包括奈奎斯特频率检测部101、小区域统计量计算部102、大区域统计量计算部103、和内插部A 104。
作为单芯片成像装置(单芯片彩色成像装置)的输出的马赛克图像121被输入到内插执行部100中。马赛克图像121仅包括单色数据，例如每个像素位置的R、G或B。
内插执行部100输出内插图像122，在内插图像122中，在每个像素位置设定所有颜色的像素值数据。
奈奎斯特频率检测部101检测在包括在马赛克图像121的颜色信号中的奈奎斯特频率附近的高频信号的强度。
小区域统计量计算部102使用包括预定窄像素区域的窄参考区域来计算统计量。
大区域统计量计算部103使用包括预定宽像素区域的宽参考区域来计算统计量。
统计量是根据用于确定内插像素值的参考区域的像素值而计算的值。
内插部A 104根据奈奎斯特频率检测部101中检测到的高频信号的强度，首先使用利用小区域统计量计算部102和大区域统计量计算部103的两个不同的参考区域而计算的统计量中的一个统计量，来确定目标像素位置处的不清楚颜色的像素值，其中，目标像素位置是确定内插像素值的像素位置。
具体地，内插部A 104执行下面的内插处理。
如果确定奈奎斯特频率检测部101中检测到的高频信号具有等于或大于预定阈值的强度并且在高频区域中，则使用由大区域统计量计算部103计算的统计量来执行内插处理。
如果确定奈奎斯特频率检测部101中检测到的高频信号具有小于预定阈值的强度并且不在高频区域中，则使用由小区域统计量计算部102计算的统计量来执行内插处理。另外，取代通过阈值的简单切换，可根据高频信号的强度对两个统计值进行混合。
图3所示的内插执行部100使用针对小区域统计量计算部102和大区域统计量计算部103具有不同大小的两个参考区域，来计算两个不同的统计量。可替选地，作为能够使用三个或更多个具有不同大小的参考区域的配置，内插执行部100可计算三个或更多个可根据奈奎斯特频率检测部101中检测到的高频信号的强度而选择性地应用的统计量。
例如，在设定小区域统计量计算部、中间区域统计量计算部、和大区域统计量计算部这三个统计量计算部的情况下，执行下面的内插处理，其中，小区域统计量计算部使用窄参考区域来计算统计量，中间区域统计量计算部使用中间参考区域来计算统计量，而大区域统计量计算部使用宽参考区域来计算统计量。
内插部A 104执行下面的内插处理。
根据奈奎斯特频率检测部101中检测到的高频信号的强度S来执行下面的内插处理。
当阈值Th1≤S时，使用由大区域统计量计算部计算的统计量来执行内插处理，其中，大区域统计量计算部使用宽参考区域来计算统计量。
当阈值Th2≤S＜阈值Th1时，使用由中间区域统计量计算部计算的统计量来执行内插处理，其中，中间区域统计量计算部使用中间参考区域来计算统计量。
当S＜阈值Th2时，使用由小区域统计量计算部计算的统计量来执行内插处理，其中，小区域统计量计算部使用窄参考区域来计算统计量。
以这种方式，可使用具有三个或更多个不同参考区域的配置。
图4图示根据第二实施例的图像处理设备中的内插执行部150。
图4中所示的内插执行部150包括奈奎斯特频率检测部151、参考区域确定部152、统计量计算部153、和内插部B 154。
作为单芯片成像装置(单芯片彩色成像装置)的输出的马赛克图像171可被输入到内插执行部150中。马赛克图像171仅包括单色数据，例如每个像素位置的R、G或B。
内插执行部150输出内插图像172，在内插图像172中，在每个像素位置处设定所有颜色的像素值数据。
奈奎斯特频率检测部151检测在包括在马赛克图像171的颜色信号中的奈奎斯特频率附近的高频信号的强度。
参考区域确定部152根据奈奎斯特频率检测部101中检测到的高频信号的强度，来确定参考区域的大小。
具体地，参考区域确定部152执行下面的参考区域确定处理。
例如，如果确定奈奎斯特频率检测部151中检测到的高频信号的强度强于预定阈值并且对应于高频区域，则扩大参考区域的大小。
另外，例如，如果确定奈奎斯特频率检测部151中检测到的高频信号的强度弱于预定阈值并且不对应于高频区域，则缩小参考区域的大小。
统计量计算部153将由参考区域确定部152确定的参考区域中的像素值用作计算统计量的参考像素。
内插部B 154执行根据由统计量计算部153计算的统计量确定不清楚颜色的像素值的内插处理。
以这种方式，在根据本实施例的图像处理设备中，改变参考区域的面积，使用高频区域中的宽参考像素区域以及使用不是高频区域的区域中的窄参考像素区域来计算统计量，以及使用所计算的统计量来确定内插像素值。
通过执行该处理，可抑制在现有技术中产生伪彩色的像素区域中的伪彩色，并且以与现有技术相同的水平实现其它区域中的内插性能。
因此可以说，本公开涉及这样的图像处理设备，其通过关于伪彩色抑制和内插性能保持的不同图像质量问题而改变参考区域的面积，来实现平衡。
通过向颜色信号施加高通滤波器来计算高频信号的强度，但是在某种颜色的像素的数目不同于不同颜色的像素的数目的情况下，向具有大量像素的颜色施加高通滤波器，以及结果可用于具有少量像素的颜色。
原因如下。即，由于在由成像装置(相机)成像的自然图片中的颜色之间存在强相关性，可将某种颜色的高频信号的强度用作对不同颜色的高频成分的强度的替代，以及可以以高准确度来检测高频信号，以便提高在大量像素中的高通滤波器的设计自由度。
在本实施例中的内插执行部被实现为硬件的情况下，可通过在宽参考区域的统计量的计算中使用IIR(无限脉冲响应)，来减少硬件的成本。
IIR滤波器是各向异性滤波器，但是由于很少在可视感觉上感知到由各向异性导致的内插处理的性能恶化，所以这不会导致问题。
[3.根据本实施例的图像处理设备的硬件配置示例]
接下来，将参考图5描述根据本实施例的图像处理设备(数码相机)的配置示例。首先将描述整个图像处理设备的配置和操作，然后将描述各个部分的配置和操作。最后，将描述可从本实施例推导的变型。
图5是图示作为根据本实施例的图像处理设备的示例的数码相机系统的配置的框图。如图5所示，图像处理设备包括透镜201、光圈202、CCD图像传感器203、相关双采样电路204、A/D转换器205、DSP块206、定时生成器207、D/A转换器208、视频编码器209、视频监视器210、编解码器(CODEC)211、存储器212、CPU 213、和输入装置214。
输入装置214是操作按钮等，例如布置在相机体中的记录按钮。另外，DSP块206是具有信号处理器和图像RAM的块，其中，信号处理器可对图像RAM中存储的图像数据执行预先编程的图像处理。在下文中，DSP块被简称为DSP。
通过光学系统到达CCD 203的入射光到达CCD成像表面上的每个光接收装置，被光接收装置中的光电转换器转换成电信号，通过相关双采样电路204进行噪声抑制(noise-removal)，被A/D转换器205数字化，然后临时存储在DSP 206的图像存储器中。
在成像期间，定时生成器207控制信号处理系统，使得图像输入保持在预定的帧速率。以预定的速率将像素流传送给DSP 206，执行适当的图像处理，然后将图像数据传送给D/A转换器208或编解码器211、或其两者。D/A转换器208将从DSP 206传送的图像数据转换成模拟信号，以及视频编码器209将结果转换成视频信号。视频监视器210可监视视频信号，视频监视器210在本发明中用作相机取景器(camera finder)。另外，编解码器211对从DSP 206传送的图像数据执行编码，并且将编码的图像数据记录在存储器212中。此处，存储器212可为使用半导体、磁记录介质、磁光介质、光记录介质等的记录装置等。
在上文中，描述了本实施例中的数码摄像照相机的整个系统，但是在DSP 206中执行内插处理等，其中，内插处理等是与本公开有关的图像处理。参考图3和图4描述的内插执行部包括在图像处理设备的DSP 206中，其中，图像处理设备是图5所示的数码相机。
在下文中，将描述在图像处理设备的DSP 206中执行的处理示例，其中，图像处理设备是根据本实施例的图5中所示的数码相机。
在DSP 206中，计算单元对输入图像信号流顺序地执行以预定程序代码描述的计算。在下文中，程序中的每个处理单元被描述为功能模块，以及每个处理执行顺序被描述为流程图。但是，在本公开中，可安装用于实现与下文中描述的功能块相同的处理的硬件电路，而不是本实施例中描述的程序。
[4.图3中所示的内插执行部100的部件的具体处理示例]
首先，在参考图3和图4所描述的根据本实施例的图像处理设备的内插执行部中，改变参考区域的面积，在高频区域中使用宽参考像素区域来计算统计量，而在不是高频区域的区域中使用窄参考像素区域来计算统计量，以及使用所计算的统计量来确定内插像素值。
通过执行上述处理，可抑制在现有技术中产生伪彩色的像素区域中的伪彩色，以及以与现有技术相同的水平实现其它区域中的内插性能。
在下文中，在图3所示的内插执行部100中，将在输入马赛克图像121的情况下描述具体的处理示例，其中，马赛克图像121是如图2B所示的具有R、G、B和X四个颜色布置的单芯片成像装置(单芯片彩色成像装置)的输出。
(4-1.奈奎斯特频率检测部101的处理)
首先，将描述奈奎斯特频率检测部101的处理。
在奈奎斯特频率检测部101中，使用下面的表达式(3)来计算不同颜色Y的信号，其中，不同颜色Y在像素数量上大于图2B中包括的四个颜色(R、G、B和X)，并且具有更高的频率成分。Y代表不同颜色的信号，其中，不同颜色在像素数量上大于直接从单芯片成像装置(单芯片彩色成像装置)获得的四个颜色(R、G、B和X)，并且具有更高的频率成分。
Y ( x + 0.5 , y + 0.5 ) ≅ Mosaic ( x , y ) + Mosaic ( x + 1 , y ) + Mosaic ( x , y + 1 ) + Mosaic ( x + 1 , y + 1 ) …表达式(3)
在以上表达式(3)中，x和y代表像素位置，而“Mosaic(马赛克)”代表马赛克图像。
Y信号被计算为在R、G、B和X四个像素的中心位置的像素值。
奈奎斯特频率检测部101随后使用使在颜色成分R、G、B和X的奈奎斯特频率附近的频带通过的高通滤波器(HPF)，根据下面的表达式(4)，来计算Y的高频成分的强度。
Nyq ( x , y ) = Σ t = 0 1 Σ s = 0 1 | Y ( x + s - 1.5 , y + t - 0.5 ) - Y ( x + s - 0.5 , y + t - 0.5 ) × 2 + Y ( x + s + 0.5 , y + t - 0.5 ) |
+ | Y ( x + s - 0.5 , y + t - 1.5 ) - Y ( x + s - 0.5 , y + t - 0.5 ) × 2 + Y ( x + s - 0.5 , y + t + 0.5 ) |
…表达式(4)
在以上表达式中，Nyq(x，y)是指示目标像素(x，y)中的高频成分的强度的值。以上表达式是根据目标像素(x，y)附近的Y信号的分布计算高频成分的强度的表达式。
将根据该表达式计算的值Nyq(x，y)供应给图3所示的内插部A 104，作为目标像素(x，y)中的高频成分的强度指标值。
内插部A 104基于该值，确定优先使用在两个不同参考区域中计算的统计量中的哪一个。
即，如上所述，内插部A 104执行下面的内插处理。
当奈奎斯特频率检测部101中计算的Nyq(x，y)大时，优先使用由大区域统计量计算部103计算的统计量来执行内插处理。
当奈奎斯特频率检测部101中计算的Nyq(x，y)小时，优先使用由小区域统计量计算部102计算的统计量来执行内插处理。
(4-2.小区域统计量计算部102的处理)
接下来，将描述小区域统计量计算部102的处理。
小区域统计量计算部102将窄像素区域，例如7×7像素的部分区域设定为参考区域，其中，在窄像素区域中，作为内插目标像素的目标像素(x，y)是中心；以及小区域统计量计算部102计算窄参考区域中所包括的R、G、B、X和Y的像素值的平均值，作为用于确定内插像素值的统计量。
在下文中，在小区域统计量计算部102中计算的窄区域(例如，7×7像素区域)中的各个颜色R、G、B、X和Y的平均值被表示如下。
R的平均值：mHR(x，y)
G的平均值：mHG(x，y)
B的平均值：mHB(x，y)
X的平均值：mHX(x，y)
Y的平均值：mHY(x，y)
小区域统计量计算部102计算这些值，作为窄参考区域(例如，7×7像素区域)中的统计量。
(4-3.大区域统计量计算部103的处理)
接着，将描述大区域统计量计算部103的处理。
大区域统计量计算部103将宽像素区域，例如31×31像素的部分区域设定为参考区域，其中，在宽像素区域中，作为内插目标像素的目标像素(x，y)是中心；以及大区域统计量计算部103计算宽参考区域中所包括的R、G、B、X和Y的像素值的平均值，作为用于确定内插像素值的统计量。
在下文中，在大区域统计量计算部103中计算的宽区域(例如，31×31像素区域)中的各个颜色R、G、B、X和Y的平均值被表示如下。
R的平均值：mLR(x，y)
G的平均值：mLG(x，y)
B的平均值：mLB(x，y)
X的平均值：mLX(x，y)
Y的平均值：mLY(x，y)
大区域统计量计算部102计算这些值，作为宽参考区域(例如，31×31像素区域)中的统计量。
(4-4.内插部A 104的处理)
接着，将描述内插部A 104的处理。
在内插部A 104中，根据下面的表达式(5)来确定作为内插目标像素位置的目标像素(x，y)的内插像素值，即不清楚颜色的像素值。
Blend(x，y)＝min(Nyq(x，y)×const1，1)
C(x，y)＝Y(x，y)-(mLY(x，y)×Blend(x，y)+mHY(x，y)×(1-Blend(x，y)))+(mLC(x，y)×Blend(x，y)+mHC(x，y)×(1-Blend(x，y)))…表达式(5)
在以上表达式(5)中，“const1”是用于控制在两个不同参考区域中计算的统计量的混合比的系数。
通过改变系数，可控制伪彩色抑制效果。另外，表达式中的C用R、G、B和X中的任意颜色替换。
表达式(5)是通过混合各个平均值来计算最终目标像素的内插像素值C(x，y)的表达式，其中，各个平均值即为：在小区域统计量计算部102中计算的窄参考区域(例如，7×7像素区域)中的Y信号和C信号(R、G、B和X中的任一个是内插目标的颜色信号)的平均值，即Y的平均值：mHY(x，y)和C的平均值：mHC(x，y)；以及在大区域统计量计算部103中计算的宽参考区域(例如，31×31像素区域)中的Y信号和C信号(R、G、B和X中的任一个是内插目标的颜色信号)的平均值，即Y的平均值：mLY(x，y)和C的平均值：mLC(x，y)。
根据表达式Blend(x，y)＝min(Nyq(x，y)×const1，1)来计算混合比Blend(x，y)。
即，将通过将根据上述表达式(4)计算的目标像素(x，y)中的高频成分的强度指标值Nyq(x，y)乘以预定系数“const1”而获得的值(Nyq(x，y)×const1)与1进行比较以选择较小的值，以及将所选择的值设定为混合比Blend(x，y)。
例如，在高频区域中，(Nyq(x，y)×const1)的值增加，因此(Nyq(x，y)×const1)＞1。在这种情况下，根据以上表达式Blend(x，y)＝min(Nyq(x，y)×const1，1)计算的混合比Blend(x，y)变成Blend(x，y)＝1。
在这样的高频区域中，仅通过宽参考区域(例如，31×31像素区域)中的Y信号和C信号(R、G、B和X中的任一个是内插目标的颜色信号)的平均值，即Y的平均值：mLY(x，y)和C的平均值：mLC(x，y)来计算根据以上表达式(5)计算的目标像素的内插像素值C(x，y)。
另一方面，在高频成分小的区域中，(Nyq(x，y)×const1)的值减小，因此(Nyq(x，y)×const1)＜1。在这种情况下，根据以上表达式Blend(x，y)＝min(Nyq(x，y)×const1，1)计算的混合比Blend(x，y)变成Blend(x，y)＝0到1。
在这样的高频成分小的平坦区域中，根据以上表达式(5)计算的目标像素的内插像素值C(x，y)具有窄参考区域(例如，7×7像素区域)中的Y信号和C信号(R、G、B和X中的任一个是内插目标的颜色信号)的平均值的贡献，即具有Y的平均值：mHY(x，y)和C的平均值：mHC(x，y)的贡献，其中，该贡献大于0。
由于(Nyq(x，y)×const1)的值减小，即，由于高频成分变得更小，所以窄参考区域(例如，7×7像素区域)中的Y信号和C信号(R、G、B和X中的任一个是内插目标的颜色信号)的平均值的贡献增加，即Y的平均值：mHY(x，y)和C的平均值：mHC(x，y)的贡献增加。
此时，宽参考区域(例如，31×31像素区域)中的Y信号和C信号(R、G、B和X中的任一个是内插目标的颜色信号)的平均值的贡献减少，即Y的平均值：mLY(x，y)和C的平均值：mLC(x，y)的贡献减少。
以这种方式，在高频区域中，设定最终目标像素的内插像素值C(x，y)，使得由大区域统计量计算部103计算的宽参考区域(例如，31×31像素区域)中的统计量(平均值)的贡献高，而窄参考区域(例如，7×7像素区域)中的统计量(平均值)的贡献低。
另一方面，在高频成分小的平坦区域中，设定最终目标像素的内插像素值C(x，y)，使得由大区域统计量计算部103计算的宽参考区域(例如，31×31像素区域)中的统计量(平均值)的贡献低，而窄参考区域(例如，7×7像素区域)中的统计量(平均值)的贡献高。
图3中所示的内插执行部100通过该处理接收马赛克图像121作为输入，其中，马赛克图像121是单芯片成像装置(单芯片彩色成像装置)的输出，以及内插执行部100通过执行对每个像素位置的所有颜色(R、G、B和X)的像素值进行设定的内插处理，来输出内插图像122。
[5.图4所示的内插执行部150的部件的具体处理示例]
接着，将描述在图4所示的内插执行部150中输入马赛克图像121的情况下的具体处理示例，其中，该马赛克图像121是具有图2B所示的四个颜色布置R、G、B和X的单芯片成像装置(单芯片彩色成像装置)的输出。
(5-1.奈奎斯特频率检测部151的处理)
首先，将描述奈奎斯特频率检测部151的处理。
以与图3所示的奈奎斯特频率检测部101的处理相同的方式，来执行奈奎斯特频率检测部151的处理。
首先，使用上面的表达式(3)来计算不同颜色的信号值，其中，不同颜色在像素数量上大于图2B中包括的四个颜色(R、G、B和X)，并且具有更高的频率成分。
接着，使用使在颜色成分R、G、B和X的奈奎斯特频率附近的频带通过的高通滤波器(HPF)，根据表达式(4)，来计算Y的高频成分的强度。
将根据表达式(4)计算的值Nyq(x，y)供应给图4所示的参考区域确定部152，作为目标像素(x，y)中的高频成分的强度指标值。
参考区域确定部152根据该值来确定参考区域的面积。
(5-2.参考区域确定部152的处理)
接着，将描述参考区域确定部152的处理。
参考区域确定部152根据奈奎斯特频率检测部151中检测到的颜色信号的高频成分的强度，来设定目标像素位置是中心的参考区域。
具体地，如上所述，参考区域确定部152执行下面的参考区域确定处理。
例如，如果确定奈奎斯特频率检测部151中检测到的高频信号的强度强于预定阈值，并且对应于高频区域，则扩大参考区域的大小。
另外，如果确定奈奎斯特频率检测部151中检测到的高频信号的强度弱于预定阈值，并且不对应于高频区域，则缩小参考区域的大小。
例如，在例如7×7像素至31×31像素的范围中选择参考区域。
具体地，例如根据下面的表达式(6)，当高频成分的强度强时，参考区域确定部152设定宽参考区域。
如果(Nyq(x，y)＜const2)，则将参考区域设定为7×7像素
如果(const2≤Nyq(x，y)＜const3)，则将参考区域设定为9×9像素
如果(const3≤Nyq(x，y)＜const4)，则将参考区域设定为11×11像素
…
如果(const13≤Nyq(x，y))，则将参考区域设定为31×31像素
…表达式(6)
在表达式(6)中，const2至const13是预设用于控制伪彩色抑制效果的系数，其中，const2＜const3＜const4＜…＜const13。
关于由参考区域确定部152确定的参考区域的信息被提供给统计量计算部153。
(5-3.统计量计算部153的处理)
接着，将描述统计量计算部153的处理。
统计量计算部153使用作为参考像素的由参考区域确定部152选择的参考区域范围中所包括的R、G、B、X和Y，来计算像素值的平均值，该像素值的平均值是用于确定内插像素值的统计量。
在下文中，在统计量计算部153中基于参考区域中的参考像素而计算的各个颜色R、G、B、X和Y的平均值被表示如下。
R的平均值：mR(x，y)
G的平均值：mG(x，y)
B的平均值：mB(x，y)
X的平均值：mX(x，y)
Y的平均值：mY(x，y)
统计量计算部153使用作为参考像素的由参考区域确定部152选择的参考区域范围中所包括的R、G、B、X和Y，来计算这些值。
(5-4.内插部B 154的处理)
接着，将描述内插部B 154的处理。
内插处理部B 154根据下面的表达式(7)，来确定目标像素位置(x，y)的不清楚颜色的像素值，其中，目标像素位置(x，y)是内插处理的像素位置。
C(x，y)＝(Y(x，y)-mY(x，y))+mC(x，y)    …(7)
在表达式(7)中，C用R、G、B和X中的任一个颜色来替换。
图4所示的内插执行部150通过该处理接收马赛克图像171作为输入，其中，马赛克图像171是单芯片成像装置(单芯片彩色成像装置)的输出，并且内插执行部150通过执行对每个像素位置的所有颜色(R、G、B和X)的像素值进行设定的内插处理来输出内插图像172。
[6.其它实施例]
以上作为示例，描述了根据以上实施例的作为窄参考区域的7×7像素区域和作为宽参考区域的31×31像素区域。
可根据马赛克图像的像素的数目或所包括的颜色的数目，来适当地选择参考区域的大小。
本公开可应用于各种颜色布置。例如，关于数码相机中通常使用的如图2A所示的拜耳布置，可采用这样的配置，在这样的配置中，以现有技术在所有的像素位置对G进行内插，然后使用G信号而不是以上实施例中所使用的Y信号对不同颜色进行内插。
在以上实施例中，当在所有的像素位置计算Y信号时，根据上述表达式(3)增加和平均从单芯片成像装置(单芯片彩色成像装置)的输出获得的R、G、B和X，但是考虑到每个像素值的Y信号的贡献等，可使用复杂方法来计算Y信号。
另外，在上述实施例中，描述了将平均值用作用于计算内插像素值的统计量并且在平均值的计算中获得参考区域中的像素值的简单平均的示例，但是，可采用设定根据像素位置的权重以获得加权平均的配置。
当参考区域中的像素位置远离目标像素的位置时，将权重设定为小。
可将平均值的计算执行为主要使用低通滤波器(LPF)的处理，并且对应于根据像素位置改变LPF滤波器的系数的处理。与在所有的像素位置具有系数1的LPF(简单平均)相比，系数在像素位置远离目标像素位置时变小的LPF没有频率特性的快速变化，并且取得令人满意的内插结果。
作为用于确定内插像素值的统计量，可取代参考区域中的像素的平均值，而使用诸如方差或协方差的数据。
作为用于估计内插像素位置的不清楚颜色的像素值的表达式，采用上述表达式(2)，但是内插像素值的估计表达式不限于表达式(2)。
例如，如果表示为一般表达式，则可将上述表达式(2)表示为下面的表达式(8)。
C 2 ( x ) ≅ k ( C 1 ( x ) - mC 1 ( x ) ) + mC 2 ( x ) …表达式(8)
上述表达式(2)对应于在表达式(8)表示的线性回归表达式中将系数k设定为k＝1的情况。
此处，作为系数k的计算方法，存在采用下面的表达式(9)或(10)的方法等。
k = mC 2 ( x ) mC 1 ( x )
…表达式(9)
k = 1 N Σ t ∈ local ( C 1 ( x + t ) × C 2 ( x + t ) ) - ( 1 N Σ t ∈ local C 1 ( x + t ) ) ( 1 N Σ t ∈ local C 2 ( x + t ) ) 1 N Σ t ∈ local ( C 1 ( x + t ) ) 2 - ( 1 N Σ t ∈ local C 1 ( x + t ) ) 2
…表达式(10)
此处，例如根据表达式(9)或(10)来计算系数k。例如，根据内插性能与计算量之间的权衡，从这些计算方法中选择考虑到安装是有利的计算方法。
例如，表达式(10)是既考虑到信号之间的正相关性又考虑到信号之间的负相关性的、具有高内插性能的表达式，但是为了应用于马赛克图像需要在所有的像素位置存在所有的颜色。因此，由于应当以k的计算的高准确度来预先执行颜色信号内插，以及表达式本身复杂，所以这导致计算上的高负担。
另外，当计算统计量时，例如当计算用于确定内插像素值的参考区域中的平均值时，可使用IIR(无限脉冲响应)滤波器来减少硬件安装的成本。
在将用于执行统计量的计算的电路安装为数码相机上的硬件的情况下，可使用现有技术中被称为延迟线的一种存储器。存储器是具有与硬件规模一样大的规模的硬件，以及为了根据宽参考区域中的像素值计算统计量，应该设置具有大电路规模的延迟线。
当将等方性区域(isotropic region)(在垂直和水平方向具有相同宽度的区域，参考目标像素位置)用作参考区域时，应当设置非常大的延迟线。但是，当将非等方性区域(anisotropic region)用作参考区域时，可使用IIR执行统计量计算。
例如，为了使用IIR来计算以光栅扫描的顺序输入的像素值的平均值，为每个颜色准备X方向的一维累积缓冲器，并且可根据下面的表达式(11)来顺序地对像素值进行累积和平均。
AccumulationBufferC(x(T)，T)＝AccumulationBufferC(x(T)，T-1)×const14+C(x(T))×(1-const14)…表达式(11)
在表达式(11)中，x代表x方向的坐标位置，T代表时间，而const14代表在[0:1]范围内的IIR滤波器的系数。
此处，用颜色布置中所包括的颜色来替换C。
在上文中，已参考具体实施例描述了本公开。但是，本领域技术人员显然可在不偏离本公开的精神的范围内对实施例进行修改或替代。即，本公开的实施例是示例性的，因此不应被解释为限制性的。为了确定本公开的精神，应当考虑权利要求。
另外，可由硬件、软件或其组合配置来执行本公开中描述的一系列处理。在由软件执行处理的情况下，记录有处理序列的程序可安装在以专用硬件装配的计算机的存储器中以被执行，或者程序可安装在能够执行各种处理的通用计算机上以被执行。例如，可预先将程序存储在记录介质中。除了从记录介质安装到计算机中以外，还可通过诸如LAN(局域网)或因特网的网络来接收程序并且将程序安装在诸如内置硬盘的记录介质中。
该说明书中公开的各种处理可根据情形以时间序列的方式来执行，或者可根据执行处理的设备的处理能力或根据需要来并行或独自地执行。另外，该说明书中的术语“系统”指的是多个装置的逻辑集合配置，其不限于将各个部件装置布置在同一壳体内的配置。
本公开包含与2010年10月21日在日本专利局提交的日本优先权专利申请JP2010-236176中公开的主题相关的主题，其全部内容通过引用合并于此。
本领域的技术人员应当理解，根据设计要求和其它因素可进行各种修改、组合、子组合和替换，只要其在所附权利要求书或其等同的范围内即可。

Claims (13)

1.一种图像处理设备，包括：
检测部，其接收由单芯片彩色成像装置的成像处理产生的颜色马赛克图像作为输入，并且检测在作为内插处理目标的目标像素附近的高频信号的强度；
多个统计量计算部，其中的每个统计量计算部设定在所述目标像素周围具有不同面积的参考区域，并且基于所述参考区域中包括的像素值来计算单独的统计量；以及
内插部，其根据由所述检测部检测到的所述高频信号的所述强度来改变由所述多个统计量计算部计算的多个统计量的混合状态，并且通过所述多个统计量的混合处理来计算在所述目标像素的位置处的内插像素值。
2.如权利要求1所述的设备，
其中，在由所述检测部检测到的所述高频信号的所述强度大的情况下，所述内插部计算根据宽参考区域计算的统计量的贡献被设定在高水平的内插像素值，而在由所述检测部检测到的所述高频信号的所述强度小的情况下，所述内插部计算根据窄参考区域计算的统计量的贡献被设定在高水平的内插像素值。
3.一种图像处理设备，包括：
检测部，其接收由单芯片彩色成像装置的成像处理产生的颜色马赛克图像作为输入，并且检测在作为内插处理目标的目标像素附近的高频信号的强度；
参考区域确定部，其确定用于限定参考像素的范围的参考区域，其中，所述参考像素用于计算所述目标像素的内插像素值，所述参考区域根据由所述检测部检测到的所述高频信号的所述强度而具有不同面积；
统计量计算部，其根据由所述参考区域确定部确定的所述参考区域中包括的像素值，计算用于确定所述内插像素值的统计量；以及
内插部，其根据由所述统计量计算部计算的所述统计量，计算在所述目标像素的位置处的所述内插像素值。
4.如权利要求3所述的设备，
其中，在由所述检测部检测到的所述高频信号的所述强度大的情况下，所述参考区域确定部设定宽参考区域，而在由所述检测部检测到的所述高频信号的所述强度小的情况下，所述参考区域确定部设定窄参考区域。
5.如权利要求1所述的设备，
其中，所述检测部在作为所述内插处理目标的所述目标像素的附近，检测在奈奎斯特频率附近的所述高频信号的所述强度。
6.如权利要求5所述的设备，
其中，所述检测部使用使在所述奈奎斯特频率附近的高频带通过的高通滤波器HPF，来检测所述高频信号的所述强度。
7.如权利要求1所述的设备，
其中，所述检测部计算包括在由所述单芯片彩色成像装置的所述成像处理产生的所述颜色马赛克图像中的颜色信号，并且根据所计算的信号检测所述高频信号的所述强度。
8.如权利要求1所述的设备，
其中，所述统计量计算部计算所参考区域中包括的像素的所述像素值的平均作为所述统计量。
9.如权利要求1所述的设备，
其中，所述统计量计算部采用无限脉冲响应IIR滤波器。
10.一种图像处理方法，用于在图像处理设备中执行像素值内插处理，所述方法包括：
经由检测部，来接收由单芯片彩色成像装置的成像处理产生的颜色马赛克图像作为输入，并且检测在作为内插处理目标的目标像素附近的高频信号的强度；
经由多个统计量计算部中的每个，来设定在所述目标像素周围具有不同面积的参考区域，并且基于所述参考区域中包括的像素值来计算单独的统计量；以及
经由内插部，根据由所述检测部检测到的所述高频信号的所述强度来改变由所述多个统计量计算部计算的多个统计量的混合状态，并且通过所述多个统计量的混合处理来计算在所述目标像素的位置处的内插像素值。
11.一种图像处理方法，用于在图像处理设备中执行像素值内插处理，所述方法包括：
经由检测部，来接收由单芯片彩色成像装置的成像处理产生的颜色马赛克图像作为输入，并且检测在作为内插处理目标的目标像素附近的高频信号的强度；
经由参考区域确定部，来确定用于限定参考像素的范围的参考区域，其中，所述参考像素用于计算所述目标像素的内插像素值，所述参考区域根据由所述检测部检测到的所述高频信号的所述强度而具有不同面积；
经由统计量计算部，根据由所述参考区域确定部确定的所述参考区域中包括的像素值，计算用于确定所述内插像素值的统计量；以及
经由内插部，根据由所述统计量计算部计算的所述统计量，计算在所述目标像素的位置处的所述内插像素值。
12.一种程序，其使像素值内插处理在图像处理设备中被执行，所述程序具有例程，所述例程包括：
在检测部中，接收由单芯片彩色成像装置的成像处理产生的颜色马赛克图像作为输入，并且检测在作为内插处理目标的目标像素附近的高频信号的强度；
在多个统计量计算部中的每个中，设定在所述目标像素周围具有不同面积的参考区域，并且基于所述参考区域中包括的像素值来计算单独的统计量；以及
在内插部中，根据由所述检测部检测到的所述高频信号的所述强度来改变由所述多个统计量计算部计算的多个统计量的混合状态，并且通过所述多个统计量的混合处理来计算在所述目标像素的位置处的所述内插像素值。
13.一种程序，其使像素值内插处理在图像处理设备中被执行，所述程序具有例程，所述例程包括：
在检测部中，接收由单芯片彩色成像装置的成像处理产生的颜色马赛克图像作为输入，并且检测在作为内插处理目标的目标像素附近的高频信号的强度；
在参考区域确定部中，确定用于限定参考像素的范围的参考区域，其中，所述参考像素用于计算所述目标像素的内插像素值，所述参考区域根据由所述检测部检测到的所述高频信号的所述强度而具有不同面积；
在统计量计算部中，根据由所述参考区域确定部确定的所述参考区域中包括的像素值，计算用于确定所述内插像素值的统计量；以及
在内插部中，根据由所述统计量计算部计算的所述统计量，计算在所述目标像素的位置处的所述内插像素值。
CN2011103197766A 2010-10-21 2011-10-14 图像处理设备、图像处理方法及程序 Pending CN102572447A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010236176A JP5672941B2 (ja) 2010-10-21 2010-10-21 画像処理装置、および画像処理方法、並びにプログラム
JP2010-236176 2010-10-21

Publications (1)

Publication Number Publication Date
CN102572447A true CN102572447A (zh) 2012-07-11

Family

ID=45972719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103197766A Pending CN102572447A (zh) 2010-10-21 2011-10-14 图像处理设备、图像处理方法及程序

Country Status (4)

Country Link
US (1) US20120098991A1 (zh)
JP (1) JP5672941B2 (zh)
CN (1) CN102572447A (zh)
BR (1) BRPI1106575A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI750368B (zh) * 2017-05-05 2021-12-21 美商克萊譚克公司 光學檢驗結果之計量導引檢驗樣品成形

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013611B1 (en) * 2013-09-06 2015-04-21 Xilinx, Inc. Method and device for generating a digital image based upon a selected set of chrominance groups
JP6080190B2 (ja) * 2014-09-15 2017-02-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ デモザイク化の方法
JP6622481B2 (ja) * 2015-04-15 2019-12-18 キヤノン株式会社 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
CN115168682B (zh) * 2022-09-05 2022-12-06 南京师范大学 一种大规模时空点数据lod绘制方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050058361A1 (en) * 2003-09-12 2005-03-17 Canon Kabushiki Kaisha Image processing apparatus
CN101646042A (zh) * 2008-08-04 2010-02-10 株式会社东芝 图像处理设备和图像处理方法
CN101715114A (zh) * 2008-09-30 2010-05-26 索尼株式会社 帧频转换设备及方法、运动矢量检测和预测系数产生设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4298446B2 (ja) * 2003-09-12 2009-07-22 キヤノン株式会社 画像処理装置
JP4298445B2 (ja) * 2003-09-12 2009-07-22 キヤノン株式会社 画像処理装置
JP4583871B2 (ja) * 2004-10-18 2010-11-17 三菱電機株式会社 画素信号生成装置、撮像装置および画素信号生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050058361A1 (en) * 2003-09-12 2005-03-17 Canon Kabushiki Kaisha Image processing apparatus
CN101646042A (zh) * 2008-08-04 2010-02-10 株式会社东芝 图像处理设备和图像处理方法
CN101715114A (zh) * 2008-09-30 2010-05-26 索尼株式会社 帧频转换设备及方法、运动矢量检测和预测系数产生设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI750368B (zh) * 2017-05-05 2021-12-21 美商克萊譚克公司 光學檢驗結果之計量導引檢驗樣品成形

Also Published As

Publication number Publication date
JP5672941B2 (ja) 2015-02-18
BRPI1106575A2 (pt) 2014-02-04
US20120098991A1 (en) 2012-04-26
JP2012090146A (ja) 2012-05-10

Similar Documents

Publication Publication Date Title
US20130077862A1 (en) Image processing apparatus, image processing method and program
US9582863B2 (en) Image processing apparatus, image processing method, and program
KR101633946B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 기록 매체
US9179113B2 (en) Image processing device, and image processing method, and program
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
US8270774B2 (en) Image processing device for performing interpolation
CN103202022B (zh) 图像处理设备及其控制方法
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
EP2088787A1 (en) Image picking-up processing device, image picking-up device, image processing method and computer program
EP2523160A1 (en) Image processing device, image processing method, and program
CN102821230A (zh) 图像处理装置和图像处理方法
EP2088788B1 (en) Image picking-up processing device, image picking-up device, image processing method and computer program
US20120224766A1 (en) Image processing apparatus, image processing method, and program
US8625893B2 (en) Image processing device and image processing method
CN102572447A (zh) 图像处理设备、图像处理方法及程序
US8233733B2 (en) Image processing device
KR20210018136A (ko) 영상 처리 방법 및 장치
CN104410786A (zh) 图像处理设备和图像处理设备的控制方法
US8184183B2 (en) Image processing apparatus, image processing method and program with direction-dependent smoothing based on determined edge directions
US20100215267A1 (en) Method and Apparatus for Spatial Noise Adaptive Filtering for Digital Image and Video Capture Systems
KR101327790B1 (ko) 영상 보간 방법 및 장치
KR100741517B1 (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
Whitehead et al. A low complexity method of color image demosaicing directly to YCbCr 4: 2: 0
RADHAMMA et al. An Adaptive Demosaicing Algorithm for Edge Detection
Kenarsari-Anhari et al. Efficient high-quality demosaicing using spatially adaptive weighting

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120711