CN104067611A - 图像处理设备、图像处理方法及程序 - Google Patents

图像处理设备、图像处理方法及程序 Download PDF

Info

Publication number
CN104067611A
CN104067611A CN201280067385.2A CN201280067385A CN104067611A CN 104067611 A CN104067611 A CN 104067611A CN 201280067385 A CN201280067385 A CN 201280067385A CN 104067611 A CN104067611 A CN 104067611A
Authority
CN
China
Prior art keywords
pixel
compensation
value
concerned
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280067385.2A
Other languages
English (en)
Other versions
CN104067611B (zh
Inventor
馆真透
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104067611A publication Critical patent/CN104067611A/zh
Application granted granted Critical
Publication of CN104067611B publication Critical patent/CN104067611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

提供一种用于对基于RGBW排列的图像进行降噪处理和缺陷补偿处理的设备和方法。在包括R、G和B各颜色像素和白色(W)像素的基于RGBW排列的图像数据的颜色像素的像素值补偿处理中，在作为补偿目标的关注像素的位置处和参考区域内与关注像素具有相同颜色的参考像素的位置处插入W像素，基于插入W像素的各像素值计算平滑权重，从而通过执行应用所计算出的平滑权重的平滑处理来计算关注像素的补偿像素值。此外，通过在该颜色像素的附近应用W像素来确定该颜色像素是否处于纹理区域中，并且只要该颜色像素不在纹理中，就执行缺陷补偿处理。

Description

图像处理设备、图像处理方法及程序
技术领域
本公开涉及一种图像处理设备、图像处理方法及程序，尤其涉及对构成图像的缺陷像素或包括噪声的像素进行补偿的图像处理设备、图像处理方法及程序。
背景技术
对于摄像设备(诸如数字照相机)中的摄像元件中使用的滤色器，例如，在大多数情况下使用排列有红色(R)、绿色(G)和蓝色(B)的拜耳(Bayer)排列，但是已经提出了具有包括全部波长透过型白色(W)像素的RGBW排列的滤色器，除了R、G和B色以外，这种滤色器还包括红、绿和蓝的全部波长区域。
然而，在使用RGBW排列滤色器捕获的并且具有白色(W)像素的图像中包括如下降噪处理问题。与白色(W)像素相比，R、G、B等像素灵敏度低并且噪声量大，此外，可用于计算作为降噪目标的关注像素的补偿像素值的参考像素的数量，即，与补偿目标像素具有相同颜色的参考像素的样本数量少。因此，存在如下问题：即使执行了参照具有相同颜色的像素的降噪(noise reduction,NR)处理，也不能获得显著降噪效果。
此外，如果目的是致力于噪声随光的强度变化的模型(如散射噪声)，那么这会引起平滑强度由于停留在像素本身上的噪声而显著变化以及信号水平下降的问题。
此外，由于在白色(W)排列中颜色像素采样位置散布在缺陷补偿中，所以难以区分缺陷和纹理，并且存在不能获得足够的补偿效果的问题。
另外，作为已公开的与降低图像中的噪声有关的现有技术，例如存在专利文献1(日本未审查的专利申请公报2003-224861号)、专利文献2(日本未审查的专利申请公报2011-76186号)等。
专利文献1(日本未审查的专利申请公报2003-224861号)公开了一种结构，其中通过根据亮度信号(Y)的频率分量强度减小每个区域的色差信号(C)的频率分量来降低噪声。然而，该技术即使在亮度信号(Y)和色差信号(C)之间没有关系的点处也基于Y信号进行C信号中的噪声降低，因而担心在几乎不发生亮度变化(如颜色纹理)的点处，也将失去色差信号。
在专利文献2(日本未审查的专利申请公报2011-76186号)中，公开了一种使用W像素进行纹理方向的确定并且基于该确定的结果进行缺陷补偿的技术。专利文献2公开了对W像素进行缺陷补偿的技术，但是没有公开对W以外的颜色像素进行补偿的方法。此外，由于各种方向确定处理需经过参考二维平面上的上、下、左、右方向的像素的二维处理，所以存在算术运算成本增加的问题。
引用列表
专利文献
专利文献1：日本未审查的专利申请公报2003-224861号
专利文献2：日本未审查的专利申请公报2011-76186号
发明内容
技术问题
鉴于上述问题，本公开的目的是提供一种图像处理设备、图像处理方法及程序，该图像处理设备、图像处理方法及程序用于降低在通过装配有全部波长透过型白色(W)像素的滤色器所捕获的图像中所包括的噪声或者进行缺陷补偿。
解决问题的方案
本公开的第一方面提供一种图像处理设备，包括：信号处理单元，用于执行像素值补偿，其中所述信号处理单元输入RGBW排列的图像数据，所述RGBW排列具有R、G、B各颜色像素和透过R、G和B各波长的几乎全部波长光的白色(W)像素，并且其中在颜色像素的像素值补偿处理中，所述信号处理单元在作为补偿目标的关注像素的位置处和参考区域内与所述关注像素具有相同颜色的参考像素的位置处插入W像素，基于插入W像素的各像素值计算平滑权重，从而通过执行应用所计算出的平滑权重的平滑处理来计算所述关注像素的补偿像素值。
在根据本公开的图像处理设备的一个实施例中，所述信号处理单元可以确定所述插入W像素的像素值中是否存在一个或多个饱和像素值，并且如果所述插入W像素的像素值中不存在饱和像素值，则所述信号处理单元可以通过执行应用基于所述插入W像素的各像素值计算出的平滑权重的平滑处理来计算所述关注像素的补偿像素值，并且如果在所述插入W像素的像素值中存在饱和像素值，则所述信号处理单元可以通过执行应用基于作为所述补偿目标的所述关注像素和所述参考区域内与所述关注像素具有相同颜色的所述参考像素的各像素值计算出的平滑权重的平滑处理而不应用所述插入W像素来计算所述关注像素的补偿像素值。
在根据本公开的图像处理设备的一个实施例中，所述信号处理单元可以执行以下处理：在所述参考区域为二维区域的情况下，在位于二维区域的参考区域中的与所述关注像素具有相同颜色的参考像素的位置处插入W像素。
在根据本公开的图像处理设备的一个实施例中，所述信号处理单元可以执行以下处理：在所述参考区域作为一维区域的情况下，在位于一维区域的参考区域中的与所述关注像素具有相同颜色的参考像素的位置处插入W像素。
在根据本公开的图像处理设备的一个实施例中，所述信号处理单元可以执行像素值补偿作为用于降低所述关注像素中包括的噪声的降噪(NR)处理。
在根据本公开的图像处理设备的一个实施例中，所述信号处理单元可以确定缺陷可能性，即，确定是否存在所述颜色像素是缺陷像素的可能性，其中所述信号处理单元可以通过应用被确定具有缺陷可能性的颜色像素附近的W像素来执行确定所述颜色像素是否处于纹理区域中的纹理检测处理，并且如果在所述纹理检测处理中确定所述颜色像素处于所述纹理区域中，则所述信号处理单元可以不执行缺陷补偿处理，并且如果在所述纹理检测处理中确定所述颜色像素不处于所述纹理区域中，则所述信号处理单元可以执行所述缺陷补偿处理。
在根据本公开的图像处理设备的一个实施例中，在所述纹理检测处理中，所述信号处理单元可以通过应用距被确定具有缺陷可能性的颜色像素最近的W像素和该最近W像素外侧的W像素之间的像素值的差来确定所述颜色像素是否处于所述纹理区域中。
本公开的第二方面提供一种图像处理方法，用于在图像处理装置中执行像素值补偿，其中所述图像处理装置的信号处理单元进行以下步骤：输入RGBW排列的图像数据，所述RGBW排列具有R、G和B各颜色像素以及透过R、G和B各波长的几乎全部波长光的白色(W)像素；在颜色像素的像素值补偿处理中，在作为补偿目标的关注像素的位置处和参考区域内与所述关注像素具有相同颜色的参考像素的位置处插入W像素；基于所述插入W像素的每个像素值计算平滑权重；以及通过执行应用所计算出的平滑权重的平滑处理来计算所述关注像素的补偿像素值。
本公开的第三方面提供一种程序，该程序用于在图像处理设备中执行像素值补偿，该程序使所述图像处理设备的信号处理单元进行以下步骤：输入RGBW排列的图像数据，所述RGBW排列具有R、G和B各颜色像素以及透过R、G和B各波长的几乎全部波长光的白色(W)像素；在颜色像素的像素值补偿处理中，在作为补偿目标的关注像素的位置处和参考区域内与所述关注像素具有相同颜色的参考像素的位置处插入W像素；基于所述插入W像素的各像素值计算平滑权重；以及通过执行应用所计算出的平滑权重的平滑处理来计算所述关注像素的补偿像素值。
此外，例如可以使用以计算机可读形式提供的存储介质或者通信介质将根据本公开的程序提供给能够执行各种程序代码的信息处理设备或者计算机系统。通过以计算机可读形式提供这种程序，在该信息处理设备或计算机系统上实现根据该程序的处理。
通过下面描述的根据本公开的示例或者基于附图的更详细的描述，根据本公开的其他目的、特征和优点变得明显。此外，本说明书中的系统被配置为多个设备的逻辑组合，并且每个配置中的设备不局限于在同一外壳内。
发明的有益效果
利用根据本公开的示例的配置，实现了用于对RGBW排列的图像执行降噪处理和缺陷补偿处理的设备和方法。
具体来说，在具有R、G和B各颜色像素和白色(W)像素的RGBW排列构成图像数据的颜色像素的像素值补偿处理中，在作为补偿目标的关注像素的位置处和参考区域内与关注像素具有相同颜色的参考像素的位置处插入W像素，基于插入W像素的各像素值计算平滑权重，从而通过执行应用所计算出的平滑权重的平滑处理来计算关注像素的补偿像素值。此外，通过应用颜色像素附近的W像素，确定颜色像素是否存在于纹理区域中，只要颜色像素不在纹理中，就执行缺陷补偿处理。
利用这种处理，实现了用于对RGBW排列的图像执行降噪处理和缺陷补偿处理的设备和方法。
附图说明
图1是用于描述RGBW排列的示例的图。
图2是用于描述RGBW排列中颜色像素密度降低的图。
图3是用于描述在根据本公开的图像处理设备中执行的降噪处理的具体示例的图。
图4是用于描述在根据本公开的图像处理设备中执行的降噪处理中应用的平滑函数的具体示例的图。
图5是用于描述在根据本公开的图像处理设备中执行的降噪处理的具体示例的图。
图6是用于描述使用W像素获得平滑强度的优点的图。
图7是用于描述针对根据本公开的图像处理设备中执行的降噪处理中饱和的W像素的策略的图。
图8是用于描述如果逐行使用一维(1D)数据执行插入W像素的分配和补偿则必须执行的处理示例的图。
图9是示出用于描述在根据本公开的图像处理设备中执行的降噪处理的具体顺序的流程图。
图10是用于描述RGBW排列示例的图。
图11是用于描述缺陷补偿处理概要的图。
图12是用于描述像素缺陷的一般检测处理的示例的图。
图13是用于描述像素缺陷的一般检测处理的示例的图。
图14是用于描述根据本公开的图像处理设备中执行的用于从图像检测纹理的处理的一个示例的图。
图15是示出用于描述根据本发明的图像处理设备中执行的缺陷补偿处理的处理顺序的流程图。
图16是用于描述根据本公开的图像处理设备的配置和处理的图。
图17是用于描述根据本公开的图像处理设备的配置和处理的图。
图18是用于描述根据本公开的图像处理设备的配置和处理的图。
具体实施方式
下面参照附图详细描述根据本公开的图像处理设备、图像处理方法及程序。此外，将按照下列标题进行描述。
1.包括全部波长透过型W(白色)像素的像素排列
2.通过在作为补偿目标的颜色像素的像素位置处插入W像素并且应用插入的W像素来计算颜色像素的补偿像素值的处理示例
3.在作为缺陷补偿目标的颜色像素的补偿处理中根据应用W像素的纹理检测结果进行缺陷补偿的处理示例
4.图像处理设备的配置示例
4-1.图像处理设备的配置示例1
4-2.图像处理设备的配置示例2
4-3.图像处理设备的配置示例3
5.本公开的配置的结论
[1.包括全部波长透过型W(白色)像素的像素排列]
首先，描述包括全部波长透过型W(白色)像素的像素排列的示例，即，根据本公开的图像处理设备中用于捕获作为降噪处理或缺陷补偿处理目标的图像的摄像元件的像素排列的示例。
如上所述，在诸如数字照相机的摄像设备中，已知将R、G和B颜色排列为摄像元件中使用的滤色器的拜耳排列，但是近来提出了具有RGBW排列的滤色器，RGBW排列包括允许R、G和B颜色的几乎全部波长范围中的R、G和B颜色的光透过的全部波长透过型W(白色)像素。
RGBW排列的具体示例是图1的(a)至(d)中示出的RGBW排列。此外，作为参考示例，图1的(e)示出作为一般GRB排列的拜耳排列。
已经提出了如图1所示的各自具有W像素的各种排列，但是与现有技术中的拜耳排列相比，使用W像素会降低R、G和B颜色的颜色像素密度。
在大多数情况下，作为用于降低图像中包括的噪声的处理，进行如下处理：选择与降噪目标像素(关注像素)具有相同颜色的邻近像素为参考像素；并且使用参考像素的像素值计算降噪像素的补偿像素值。
然而，例如，与图1的(e)中所示的拜耳排列相比，图1的(a)至(d)中所示的RGBW排列中的R、G和B像素的密度降低。因此，在进行补偿处理以对每个R、G和B像素进行降噪的情况下可使用的参考像素，即，与补偿目标像素具有相同颜色并且可用于参考的邻近像素的数量减少。也就是说，每单位区域具有相同颜色的颜色像素的数量减少。结果，出现不能使用数量足够的参考像素的像素值和补偿精度下降的问题。
参考图2描述具体示例。
图2是示出图1的(a)和图1的(c)中所示的每个RGBW像素排列中的7×7像素区域的图。
例如，在图2的(a)中，7×7像素区域中的中心像素(B)被设置为关注像素，即，降噪目标像素。将中心是关注像素的7×7像素区域设置为中心是关注像素的参考区域。执行以下处理：通过选择与参考区域中所包括的关注像素具有相同颜色的像素作为参考像素并且使用该参考像素的像素值来计算关注像素的补偿像素值，即，降噪像素值。
然而，如图2的(a)中所示，在7×7像素参考区域中，仅包括4个与作为中心像素的B像素具有相同颜色的B像素。
此外，在进行降噪处理的情况下，例如通过分配取决于作为补偿目标像素的关注像素与参考像素之间的像素值的差的权重并且执行加权相加等，来执行用于计算关注像素的补偿像素值的处理。也就是说，执行用于改变关注像素的像素值的补偿处理(即，所谓的平滑处理)，以使得关注像素以及关注像素附近与关注像素具有相同颜色的参考像素的像素值平滑。然而，当参考像素的数量少时，例如，在补偿目标像素或参考像素中仅包括一个错误像素或者其他情况时，也存在计算出不自然的补偿像素值的趋势变强的问题。
对于图2的(c)中所示的像素排列或者对于包括RGBW排列的其他排列也是如此。此外，在B像素以外的R和G像素中，也存在如下问题：与RGB像素排列相比，在RGBW排列中每单位区域具有相同颜色的像素的数量较少，并且补偿精度由于可用于计算补偿像素值的参考像素的数量减少而下降。
[2.通过在作为补偿目标的颜色像素的像素位置处插入W像素并且应用插入的W像素来计算颜色像素的补偿像素值的处理示例]
接下来，描述通过在作为补偿目标的颜色像素的像素位置处插入W像素并且应用插入的W像素来计算颜色像素的补偿像素值的处理的示例，作为根据本公开的图像处理设备中执行的图像噪声降低处理的示例。
例如，如上所述，在图1的(a)至(d)或者图2的(a)和(c)中所示的RGBW排列中，与图1的(e)中所示的仅配置RGB像素的拜耳排列相比，R、G和B颜色像素的像素密度降低。
例如，在图2中所示的中心为关注像素的由7×7像素配置的参考区域中，与作为补偿目标的处于中心的关注像素具有相同颜色的像素数量少，并且在参考具有相同颜色的、数量少的像素的补偿处理中补偿精度降低。
在根据本公开的图像处理设备中，通过在作为补偿目标的颜色像素的像素位置处插入W像素并且应用插入的W像素，来计算颜色像素的补偿像素值。下面参考图3及后续图描述该处理的示例。
图3的(1)中的捕获图像(马赛克图像)是与图2的(a)具有相同排列的图像，并且表示摄像元件的RGBW排列的输出图像。该摄像元件的输出图像的每个像素只被设置为R、G、B和W之一的像素值。
此外，这种图像被称为马赛克图像(mosaic image)。将R、G和B的像素值分配给马赛克图像中的每个像素位置的处理被称为去马赛克处理，并且例如在数字照相机中，将通过执行去马赛克处理而将RGB像素值分配给每个像素位置的图像存储在存储器中并且在显示器上显示该图像。
图3中示出对图3的(1)所示的且在去马赛克处理之前存在的马赛克图像执行基于像素的降噪处理的示例。
图3中的示例示出通过设置其中心像素为补偿目标像素(即，降噪目标)的7×7像素参考区域来计算补偿目标像素的补偿像素值的情况。在图3的示例中，将作为该7×7像素参考区域的中心的B像素(B0)设置为补偿目标像素，并且计算B像素(B0)的补偿像素值。
首先，从参考区域中选择与补偿目标像素具有相同颜色的像素。图3的(1)中所示的四个像素B1、B2、B3和B4被选择作为参考像素。
例如，在执行现有技术中的降噪处理的情况下，即，在执行通过进行取决于作为补偿目标像素的关注像素与参考像素之间的像素值差的加权加法等来计算关注像素的补偿像素值的、所谓的平滑处理的情况下，执行如下补偿像素值(B0')的计算。
B0'＝p(B0)|B0-B0|+q(B1)|B0-B1|+r(B2)|B0-B2|+s(B3)|B0-B3|+t(B4)|B0-B4|.....(等式a)
在上述(等式a)中，p、q、r、s和t是取决于关注像素与参考像素之间的像素值差的权重(平滑权重)，并且例如预先规定用于定义图4所示的曲线的平滑函数，并且根据该平滑函数设置p、q、r、s和t。
这样，如果执行降噪处理，例如多次执行所谓的平滑处理，所述平滑处理通过执行取决于作为补偿目标像素的关注像素与参考像素之间的像素值差的加权加法等来计算关注像素的补偿像素值。然而，在参考像素的数量少且执行取决于关注像素与参考像素之间的像素值差的加权加法的情况下，例如，即使在仅包括一个错误像素时，也会出现该错误像素的影响增加并且计算出不自然的补偿像素值而没有进行最理想的平滑化的情形。
在降噪处理(即，根据本公开的图像处理设备对关注像素执行的像素值补偿处理)中，估计作为补偿目标的关注像素(B0)和四个参考像素(B1至B4)的各位置的W像素值。也就是说，对作为补偿目标的关注像素(B0)和四个参考像素(B1至B4)的各像素位置执行W像素插入处理。该W像素插入处理可通过在插入像素位置附近设置W像素作为参考像素的插入处理来执行。
在图3所示的RGBW排列中，被示出为参考像区域的7×7像素的大约一半由W像素配置，并且W像素的像素密度最高。例如，在关注像素(B0)和四个参考像素(B1至B4)五个像素位置每个位置附近，在上方、下方、左方和右方邻近地存在四个W像素。在每个插入像素位置，例如，计算四个W像素的像素值的平均值，并进而确定插入W像素的W像素值。替代地，可以通过插入处理计算插入像素值，在该插入处理中，例如通过加权加法等来考虑边缘方向，其中大的权重被分配给像素值的梯度减小的方向上的像素。
如图3的(2)所示的插入图像中，插入W像素(W0至W5)分别被分配给作为补偿目标的关注像素(B0)和四个参考像素(B1至B4)的像素位置。
通过应用插入W像素的W像素值来计算作为补偿目标的关注像素(B0)在降噪之后得到的补偿像素值。
具体来说，如图5所示，通过应用使用插入的W像素值计算出的平滑强度来计算补偿像素值。
例如，根据下面示出的(等式1)计算关注像素的补偿像素值INR(p)。
[公式1]
(等式1)
在上述等式中，参数表示下列值。
INR(p):关注像素的补偿像素值(＝降噪处理之后得到的补偿像素值)
Ωp:其中心为关注像素的参考区域
I(q):作为参考区域Ωp内与关注像素具有相同颜色的像素的参考像素的像素值
W(p):关注像素位置处的插入W像素值
W(q):参考面积Ωp内与关注像素具有相同颜色的参考像素位置处的插入W像素值
φ:平滑函数
根据上述(等式1)计算作为参考区域的中心的关注像素的补偿像素值。根据上述(等式1)，通过使用参考像素位置处的插入W像素值确定平滑权重来计算关注像素的补偿像素值。
平滑函数φ与上文参照图4描述的函数相同，并且是分配取决于关注像素与参考像素之间的差的权重的函数。此外，在该处理示例中，平滑函数φ被定义为如下函数，该函数用于计算取决于与关注像素的位置相对应的插入W像素的W像素值和与参考像素的位置相对应的插入W像素的W像素值之间的差的权重。
这样，例如，7×7像素参考区域中包括的B像素的数量小，但是7×7像素参考区域中包括的W像素的数量大，并且通过原样使用B像素作为参考像素，进而使用插入W像素确定平滑权重，并进而计算插入像素值，该降噪处理可以具有更高的精度。
具体来说，由于W像素与R、G和B各颜色像素之间存在由滤色器的光谱特性导致的强关联，因而这产生有效的结果。此外，由于W像素敏感度高，因而噪声降低，并且能够确定取决于边缘或纹理的适当平滑权重。此外，由于存在于W像素的噪声和存在于颜色像素的噪声之间没有关联，因而还具有如下优点：通过从W像素计算平滑强度来抑制信号水平的变化而不依赖于利用平滑强度直接对其进行平滑化的像素值。
此外，参照图3至图5描述的处理示例是以关注像素为B像素计算B像素的补偿像素值的处理示例，但是还可以对B像素以外的颜色像素R和G进行相同的处理。
也就是说，通过如下操作来计算用于降低噪声的补偿像素值：设置参考区域(例如，7×7像素)，该参考区域的中心是作为补偿目标的R、G和B颜色像素中的任一颜色像素；在关注像素和参考像素的位置处插入W像素，并且应用上述(等式1)。
此外，参考区域不限于7×7像素，并且能够设置7×7像素区域以外的各种尺寸的区域。
在该处理示例中，根据上述(等式1)计算作为关注像素的降噪像素值的补偿像素值，但是在降噪(NR)处理中，参照图6描述使用W像素获得平滑强度的优点。
图6示出以下处理示例。
(A)在从颜色像素计算平滑强度值的情况下执行降噪(NR)处理时信号水平改变的示例。
(B)在从插入W像素计算平滑强度的情况下执行降噪(NR)处理时信号水平改变的示例。
即，图6的(A)示出了在以图3中所示的B0像素的像素值补偿为例进行描述的情况下根据上述(等式a)(即下述(等式a))计算补偿像素值(B0')的处理。
B0'＝p(B0)|B0＝B0|+q(B1)|B0-B1|+r(B2)|B0-B2|+s(B3)|B0-B3|+t(B4)|B0-B4|
另一方面，图6的(B)等同于根据上述(等式1)计算补偿像素值的处理。
如图6的(A)所示，在从颜色图像本身获得平滑强度的情况下，当作为补偿目标的中心像素存在正的噪声时，应用强补偿(NR)并且信号被大大地降低。另一方面，如果存在负的噪声，则应用弱补偿(NR)，并且信号的增加很小。总体上，信号水平降低。
另一方面，如图6的(B)所示，通过从插入W像素获得平滑强度，不仅在作为补偿目标的中心像素存在正的噪声的情况下，而且在应用负的噪声的情况下，都能够以几乎相同的程度应用补偿(NR)。因而，总体上，减少信号水平的变化的补偿是可能的。
在根据本公开的配置中，利用存在于RGB的噪声和存在于W的噪声之间没有关联这一事实，并且通过从插入的W像素计算平滑强度，任意地设置应用强补偿(NR)的斑点和应用弱补偿(NR)的斑点，而不依赖存在于中心像素的噪声的水平。因此，补偿(NR)之后得到的信号的平均水平能够接近中心值。
这样，在通过在R、G和B各颜色像素的位置处插入W像素并且使用该插入W像素值分配平滑权重的配置中，一个问题是该W像素何时饱和。具有饱和像素值的像素不反映正确像素值的可能性很高，并且优选不进行将饱和像素设置为参考像素的补偿。
下面参照图7描述针对W像素饱和的策略。
通过设置如下参考区域(例如，7×7像素)来在关注像素和参考像素的位置处插入W像素：该参考区域的中心为作为补偿目标的R、G和B颜色像素中的任一颜色像素。
至此描述的处理与上文参考图3至图5描述的处理相同。
如图7所示，插入像素W0被分配给位于参考区域中心的作为补偿目标的关注像素的位置，并且四个插入W像素W1至W4被分配给该关注像素附近的7×7像素参考区域。
接下来，执行用于确定插入W像素中的任一个是否饱和的饱和处理。
如果插入W像素中的任一个是最大像素值，则确定该插入W像素饱和。
在插入W像素W0至W4都不是饱和像素的情况下，如图7的(a)所示，根据上述(等式1)，通过如下操作来执行补偿(NR)处理：应用通过应用插入W像素计算出的平滑权重而不应用这些插入W像素，并进而计算关注像素的补偿像素值。
另一方面，在插入W像素W0至W4中包括至少一个饱和像素的情况下，如图7的(b)所示，根据下述(等式2)，通过如下操作来执行补偿(NR)处理：应用基于关注像素和与具有关注像素相同颜色的参考像素之间的差的平滑权重而不应用插入W像素，并进而计算关注像素的插入值。
[公式2]
...(等式2)
在上述等式中，参数表示下列值。
INR(p):关注像素的补偿像素值(＝降噪处理后得到的补偿像素值)
Ωp:其中心为关注像素的参考区域
I(q):作为参考区域Ωp内与关注像素具有相同颜色的像素的参考像素的像素值
φ:平滑函数
这样，(a)在插入W像素的像素值不饱和情况下，通过如下操作来执行补偿(NR)处理：应用通过应用插入W像素计算出的平滑权重，并进而计算关注像素的插入像素值。
(b)在插入W像素的像素值饱和的情况下，通过如下操作来执行补偿(NR)处理：应用通过应用原始颜色像素计算出的平滑权重，并进而计算关注像素的插入像素值。
这样，依据插入W像素是否饱和，可互换地执行(a)处理和(b)处理这两种处理操作。
通过执行这种处理，可以避免基于饱和插入W像素的补偿，并且可以执行高精度的补偿(NR)处理。
上述降噪(NR)处理是使用二维(2D)平面的处理，在该2D平面上参考区域被设置为7×7像素，但是如果执行使用二维平面的处理，则存储器中必须至少保存该参考区域的二维(2D)图像。
在水平方向(x方向)上逐行顺序输出来自摄像元件的图像值。即，来自摄像元件的图像值作为一维(1D)数据被顺序输入到信号处理单元。
如果执行使用二维(2D)平面(在该二维平面上，上述参考区域被设置为7×7像素)的处理，则出现以下问题：必须保存至少7行的数据，需要高容量的存储器，并且例如照相机等的成本增加。
为了避免使用高容量的存储器，可以配置为逐行使用一维(1D)数据执行上述插入W像素的分配，并且执行作为降噪处理的像素值补偿。此外，之后，例如，还可以配置为使用无限脉冲响应(infinite impulseresponse，IIR)滤波器执行参考竖直方向上的像素的补偿。此外，作为只参考当前信号和较早信号的处理，IIR滤波器用于对按照时间顺序输入的信号进行的滤波处理，并且使得可以省略保存所有参考像素值的存储器。
图8是用于描述逐行使用一维(1D)数据执行上述插入W像素的分配和补偿的处理示例的图。
图8的(1)中所示的数据等同于从摄像元件输出的水平行的像素数据。
这里，将被设置为降噪处理目标的关注像素设置为图8的(1)中所示的中心部分处的B像素，其为NR处理像素。NR处理像素的像素值是I(p)。
插入W像素被分配至该行中包括的NR处理像素和B像素的位置。
可以通过应用相邻W像素的像素值(如与每个B像素相邻的两个W像素的平均值)来确定插入W像素的像素值。
在插入W像素分配处理之后，执行根据上述(等式1)的补偿像素值的计算。
然而，如果插入W像素的像素值饱和，则执行根据上述(等式2)的补偿像素值的计算而不使用插入W像素。
通过进行这种处理，以低成本实现具有较大数量TAP的降噪处理。
参考图9中所示的流程图描述根据本公开的图像处理设备中执行的降噪(NR)处理的处理序列。
图9所示的流程图示出例如在诸如数字照相机的图像处理设备中，在通过从摄像元件输入所捕获的图像信号来执行信号处理的信号处理单元中执行的处理。例如，在具有根据以图9中所示的信号处理序列记录的程序执行该程序的功能的信号处理单元内的诸如CPU的数据处理单元中执行该处理。
信号处理单元选择从摄像元件逐个顺序输入的RGBW像素信号作为补偿目标，并进而执行该处理。
首先，在步骤S101，确定补偿目标像素(关注像素)是否为白色(W)像素。
如果补偿目标像素(关注像素)是白色(W)像素，则处理前进到步骤S107。
如果补偿目标像素(关注像素)不是白色(W)像素，即，如果补偿目标像素(关注像素)是R、G和B中的任意颜色像素，则处理前进到步骤S102。
如果补偿目标像素(关注像素)是白色(W)像素，则处理前进到步骤S107，执行现有技术中的平滑处理，计算作为插入目标元件(关注像素)的W像素的插入像素值，并进而将补偿目标像素设置为降噪像素。
在RGBW排列中，由于W像素的像素密度高，因此即使只选择W像素作为参考像素、使用只由W像素配置的参考像素的像素值、分配平滑强度，并进而计算插入像素值，补偿精度减小的可能性也很低。
另一方面，如果补偿目标像素(关注像素)不是白色(W)，也就是说，如果补偿目标像素是R、G和B中的任意颜色像素，则处理前进到步骤S102。
在步骤S102，执行W像素插入处理，该W像素插入处理用于将W像素分配至其中心为关注像素的参考像素区域中与关注像素具有相同颜色的参考像素的位置。
这种处理是上文参照图3和图5描述的W像素插入处理。
接下来，在步骤S103，确定插入W像素中是否存在至少一个饱和像素。
如果确认插入W像素中存在至少一个饱和像素，则处理前进到步骤S105。
如果确认插入W像素中一个饱和像素都不存在，则处理前进到步骤S104。
当确认插入W像素中一个饱和像素都不存在并且处理前进到步骤S104时，在步骤S104和S106中执行根据上述(等式1)计算插入像素值的处理。也就是说，使用应用于插入W像素的像素值的平滑权重，根据(等式1)计算关注像素的像素值。插入像素值被设置为降噪之后得到的关注像素的像素值。
另一方面，如果确认插入W像素中存在一个或多个饱和像素，则在步骤S105和S106中，执行用于根据上述(等式2)计算插入像素值的处理。也就是说，通过计算应用关注像素的像素值和与关注像素具有相同颜色的参考像素的像素值的平滑权重，来根据(等式2)计算关注像素的像素值。插入像素值被设置为降噪之后得到的关注像素的像素值。
在步骤S106，当应用补偿像素值的计算(等式1)或(等式2)结束时，处理前进到步骤S110。
在步骤S110，确定针对构成图像的所有像素的插入像素值计算是否结束。如果存在未处理的像素，则返回到步骤S101，对该未处理的像素进行步骤S101及之后的处理，并进而对该未处理的像素进行补偿像素值计算处理。
在步骤S110，当确定对所有像素的处理结束时，该处理结束。
[3.在作为缺陷补偿目标的颜色像素的补偿处理中根据应用W像素的纹理检测结果进行缺陷补偿的处理示例]
接下来，作为在根据本公开的图像处理设备中执行的用于补偿图像中包括的缺陷像素的处理示例，描述以下处理示例，其中，执行应用作为补偿目标的颜色像素的像素位置附近的W像素的纹理检测，根据纹理检测结果确定是否执行补偿处理，并进而进行补偿。
首先，如图1和图2所述，由于在包括白色(W)像素的RGBW排列中颜色像素之间的距离大于现有技术的拜耳排列中的颜色像素之间的距离，因而存在难以执行缺陷补偿的问题。
具体来说，如果如先前图8所述执行应用一维(1D)像素数据的缺陷补偿处理以削减硬件(HW)成本，则由于像素之间的距离较大，而出现这种问题。
此外，应用一维(1D)像素数据的缺陷补偿处理例如是以下处理：选择与作为补偿目标的像素(关注像素)具有相同颜色的邻近像素作为参考像素，应用参考像素的像素值，并进而计算补偿像素的像素值。
在此情况下，如果存在于补偿目标像素附近并且具有相同颜色的像素的数量大，则高精度的补偿是可能的。然而，如果在补偿目标像素附近具有相同颜色并且可用于参考的像素的数量少，则缺陷补偿精度下降。具体来说，在存在纹理(如所捕获的图像中所包括的摄像对象的图案)的情况下，当受损像素分散时，难以确定存在缺陷还是纹理，并且非常难以执行高精度的缺陷补偿。
例如，如图10所示，在图10的(a)至(d)中所示的RGBW排列中，当从水平方向观看时，在所有排列中，每两个像素中存在一个W像素，而在所有排列中，每四个像素中存在一个R像素和一个B像素，并且在除了图10的(c)中的排列以外的排列中每四个像素中只存在一个G像素。
由于具有相同颜色的像素之间的距离越大，越难以区分纹理和缺陷，因而在现有技术中，不能原样应用多次执行一维缺陷补偿的技术。
下面描述执行分析处理的处理示例，该分析处理使用与补偿目标像素(关注像素)相邻的白色(W)像素，确定存在缺陷还是存在纹理，并且如果确定存在缺陷，则由此执行缺陷补偿。
首先，参照图11描述根据本公开的缺陷补偿处理的概要。
在近年来使用的传感器中，像素密度高，并且观察到在图像拍摄处理中实际画面上的一个亮斑由于光学系统的特性而在两个或更多个像素上延伸。如图11的(1)所示，例如观察到一个亮斑不仅在中心颜色像素G上延伸，而且还在相邻的W像素上延伸。另一方面，由于光学特性对像素缺陷没有影响，因而信号水平只在一个像素中显著上下波动。
此外，如图11的(2)所示，由于白色(W)像素具有允许所有波长的可见光通过的特性，因而例如如果位于参考区域的中心的作为补偿目标像素(关注像素)的颜色像素(G)的信号水平由于亮斑的影响而上升，则相邻的白色(W)像素的信号水平也上升。
然而，如果作为补偿目标像素(关注像素)的颜色像素(G)的像素水平由于缺陷而上升，则相邻W像素的像素水平与G像素相比相对较低。
换句话说，通过进行使用与补偿目标像素(关注像素)相邻的白色(W)像素的分析处理，关于存在缺陷还是存在根据所捕获的图像的纹理的确定是有效的。
接下来，参照图12和图13描述一般像素缺陷的检测处理示例。
首先，参照图12描述缺陷检测处理的示例1。
图12中所示的缺陷检测处理的示例是使用与以上参照图8描述的一维(1D)像素行数据相同的像素行数据的缺陷检测处理的示例。
确定位于图12中的像素行的中心的补偿目标像素(关注像素)G(x)是否为缺陷像素。
在该处理中，获得与G(x)具有相同颜色的相邻G像素的像素值。
在图中的示例中，获得G(x+8),G(x+4),G(x),G(x-4)和G(x-8)各G像素的像素值。
此外，确定这五个G像素的像素值当中的最大值(max)和最小值(min)。
如果G(x)是最大值(max)，则确定存在G(x)像素具有白色斑点缺陷的可能性，如果G(x)是最小值(min)，则确定存在G(x)像素具有黑色斑点缺陷的可能性。
白色斑点缺陷是导致输出比正常像素值大的像素值的缺陷，而黑色斑点缺陷是导致输出比正常像素值小的像素值的缺陷。
接下来，参照图13描述缺陷检测处理的示例2。
图13所示的缺陷检测处理的示例是通过如下操作确定补偿目标像素(关注像素)G(x)是否为缺陷像素的处理：比较补偿目标像素(关注像素)G(x)的像素值(a)与从与补偿目标像素(关注像素)G(x)相邻的像素估计的补偿目标像素(关注像素)G(x)位置的估计像素值(b)。
在该处理中，首先也以与上述处理的示例1中相同的方式获得与G(x)具有相同颜色的邻近G像素的像素值。
在图中的示例中，获得G(x+8),G(x+4),G(x),G(x-4)和G(x-8)各G像素的像素值。
此外，根据下述等式计算根据G(x)左侧的两个G像素(即，G(x-4)和G(x-8))估计的补偿目标像素(关注像素)G(x)位置处的估计像素值Gl(x)。
Gl(x)＝G(x-4)+{G(x-4)-G(x-8)}
以同样的方式，根据下述等式计算根据G(x)右侧的两个G像素(即，G(x+4)和G(x+8))估计的补偿目标像素(关注像素)G(x)位置处的估计像素值Gr(x)。
Gr(x)＝G(x+4)+{G(x+4)-G(x+8)}
将这两个估计像素值(即，Gl(x)和Gr(x))与实际补偿目标像素(关注像素)的像素值G(x)进行比较。
如果G(x)大于这两个估计像素值(即，Gl(x)和Gr(x))中的最大值(max)，则确定存在G(x)像素具有白斑缺陷的可能性，如果G(x)小于这两个估计像素值(即，Gl(x)和Gr(x))中的最小值(min)，则确定存在G(x)像素具有黑斑缺陷的可能性。
白斑缺陷是导致输出比正常像素值大的像素值的缺陷，而黑斑缺陷是导致输出比正常像素值小的像素值的缺陷。
例如，根据参照图12和图13描述的处理执行像素的缺陷检测。此外，还具有除此之外的各种缺陷检测处理，并且在根据本公开的配置中，可以应用各种缺陷检测处理。
接下来，参照图14描述在根据本公开的图像处理设备中执行的用于从图像检测纹理的处理的一个示例。
图14示出(1)分配用于纹理检测的像素的示例和(2)纹理检测序列。
(1)分配用于纹理检测的像素的示例是以与以上参照图8描述的方式相同方式使用一维(1D)像素数据(即，一行中的像素数据)的示例。
作为用于确定纹理存在与否的目标的补偿目标像素(关注像素)被设置为图14的(1)中所示的G(x)。
获得关注像素G(x)附近的W像素的像素值。
在图14的(1)中所示的示例中，获得四个相邻W像素的像素值，即，W(x-3),W(x-1),W(x+1)和W(x+3)。
例如，在如图14的(1)所示的曲线图中，获得与每个坐标位置相对应的每个像素的信号水平。
图14的(2)示出用于确定是否存在凸纹理的处理，凸纹理为关注像素G(x)的信号水平高于相邻像素的信号水平的纹理。
如以上参照图11所述，由于多个相邻像素的像素值受一个亮斑影响，因而在凸纹理的情况下，可以认为相邻的W的水平也变高。
因此，首先，根据下述(等式3)计算与关注像素G(x)相邻的W像素的最大值。
Max(W(x-1),W(x+1))....(等式3)
接下来，根据下述(等式4)计算上述相邻W像素外侧的两个W像素的最小值。
Min(W(x-3),W(x+3))....(等式4)
接下来，计算根据上述(等式3)所计算出的与关注像素G(x)相邻的W像素的最大值与根据(等式4)所计算出的关注像素G(x)外侧的W像素的最小值之间的差，并且将该差与预定的阈值(Th)相比较。
如果该差大于阈值(Th)，则确定关注像素G(x)处于纹理(凸纹理)中。
如果该差不大于阈值，则确定关注像素G(x)不处于纹理(凸纹理)中。
即，if(Max(W(x-1),W(x+1))-Min(W(x-3),W(x+3))>Th)....(等式5)
如果上述(等式5)成立，则确定关注像素G(x)处于纹理(凸纹理)中。
如果上述(等式5)不成立，则确定关注像素G(x)不处于纹理(凸纹理)中。
图14的(2)示出用于确定是否存在凸纹理的处理，其中，凸纹理为关注像素G(x)的信号水平高于相邻像素的信号水平的纹理，但是在图14的(2)中，还执行用于确定是否存在凹纹理的纹理，其中，凹纹理为关注像素G(x)的信号水平低于相邻像素的信号水平的纹理。
在凹纹理确定处理中，首先，根据下述(等式3)计算与关注像素G(x)相邻的W像素的最小值。
Min(W(x-1),W(x+1))....(等式6)
接下来，根据(等式7)计算上述相邻W像素外侧的两个W像素的最大值。
Max(W(x-3),W(x+3))....(等式7)
接下来，计算根据上述(等式6)所计算出的与关注像素G(x)相邻的W像素的最小值与根据(等式7)所计算出的关注像素G(x)外侧的W像素的最大值之间的差，并且将该差与预定的阈值(Th)相比较。
如果该差大于阈值(Th)，则确定关注像素G(x)处于纹理(凹纹理)中。
如果该差不大于阈值，则确定关注像素G(x)不处于纹理(凹纹理)中。
即，if(Max(W(x-3),W(x+3))-Min(W(x-1),W(x+1))>Th)....(等式8)
如果上述(等式8)成立，则确定关注像素G(x)处于纹理(凹纹理)中。
如果上述(等式8)不成立，则确定关注像素G(x)不处于纹理(凹纹理)中。
以这种方式，根据本公开的图像处理设备执行应用W像素的纹理确定处理。如果执行了参照图12和图13描述的用于确定缺陷可能性的处理，并且进而确定存在具有缺陷的可能性，则执行参照图14描述的纹理确定处理。如果确定像素被确定为具有在纹理中存在缺陷的可能性，则原样输出该像素值作为有效像素值而不确定为存在缺陷，并进而执行作为缺陷补偿的像素值补偿。
参照图15描述根据本公开的图像处理设备中执行的缺陷补偿处理的处理序列。
图15所示的流程图示出例如在诸如数字照相机的图像处理设备中，通过从摄像元件输入拍摄图像信号执行信号处理的信号处理设备中执行的处理。例如，在具有根据以图15中所示的信号处理序列记录的程序执行该程序的功能的信号处理单元内的诸如CPU的数据处理单元中执行该处理。
该信号处理单元选择从摄像元件逐个顺序输入的RGBW像素信号作为补偿目标，并进而进行该处理。
首先，在步骤S201，确定补偿目标像素(关注像素)是否为白色(W)像素。
如果补偿目标像素(关注像素)是白色(W)像素，则处理前进到步骤S207。
如果补偿目标像素(关注像素)不是白色(W)像素，即，如果补偿目标像素(关注像素)是R、G和B中的任意颜色像素，则处理前进到步骤S202。
如果补偿目标像素(关注像素)是白色(W)像素，则处理前进到步骤S207，并执行现有技术中的缺陷补偿处理。在步骤S207，确定是否存在像素有缺陷的可能性，如果确定存在缺陷像素，则计算作为补偿目标元件(关注像素)的W像素的补偿像素值。然后，将该补偿像素值设置为输出像素。此外，由于在RGBW排列中W像素的像素密度高，因而即使通过只选择W像素作为参考像素并进而使用仅由W像素配置的参考像素的像素值来计算补偿值，补偿精度减小的可能性也很低。
另一方面，如果补偿目标像素(关注像素)不是白色(W)像素，即，如果补偿目标像素(关注像素)是R、G和B中的任意颜色像素，则处理前进到步骤S202。
在步骤S202，确定是否存在作为R、G和B中任意颜色像素的关注像素是缺陷像素的可能性。
通过应用例如上文参照图12和图13描述的缺陷检测处理来执行该处理。
在步骤S203，如果确定存在作为R、G和B中任意颜色像素的关注像素是缺陷像素的可能性，则处理前进到步骤S204。
另一方面，在步骤S203，如果确定不存在作为R、G和B中任意颜色像素的关注像素是缺陷像素的可能性，则处理前进到步骤S210而不对关注像素进行缺陷补偿。
在步骤S203，如果确定存在作为R、G和B中任意颜色像素的关注像素是缺陷像素的可能性，则在步骤S204，进一步执行用于确定关注像素是否处于纹理区域中的纹理确定处理。
通过在关注像素的附近应用W像素来执行纹理确定处理。即，执行以上参照图14描述的纹理确定处理。
在步骤S205，如果确定关注像素处于纹理区域中，则处理前进到步骤S210而不对关注像素进行缺陷补偿处理。
另一方面，在步骤S205，如果确定关注像素不处于纹理区域，则确定关注像素为缺陷像素，并且在步骤S206，执行缺陷补偿处理。
此外，缺陷补偿处理例如执行以下处理。
如果存在关注像素是白斑的可能性，并且关注像素不是凸纹理，则例如执行以下缺陷补偿(a)和(b)中的任一处理。
(a)将如下值设置为关注像素的补偿像素值：该值为关注像素附近具有相同颜色的四个像素的像素值当中，按照像素值增加顺序的第二像素值(2nd_max)。
(b)将如下值设置为关注像素的补偿像素值：以上参照图13描述的，根据与关注像素具有相同颜色的左侧像素的像素值估计的第一估计像素值和根据具有相同颜色的右侧像素的像素值估计的第二估计像素值当中的最大值。
例如，如果关注像素是图13所示的G(x)，则上述(b)中的处理如下分配补偿像素值。
根据以下等式，根据G(x)左侧的两个G像素(即，G(x-4)和G(x-8))计算第一估计像素值Gl(x)。
Gl(x)＝G(x-4)+{G(x-4)-G(x-8)}
此外，根据下述等式，根据G(x)右侧的两个G像素(即，G(x+4)和G(x+8))计算第二估计像素值Gr(x)。
Gr(x)＝G(x+4)+{G(x+4)-G(x+8)}
将Gl(x)和Gr(x)这两个估计像素值当中的最大值，即，作为根据上述等式选择的Gl(x)和Gr(x)之一的最大像素值max(Gl(x),Gr(x))，设置为作为补偿目标的关注像素G(x)的补偿像素值。
通过该处理分配补偿像素值。
如果存在关注像素是黑斑的可能性，并且关注像素不处于凹纹理中，则例如进行下述缺陷补偿(c)和(d)中的任一处理。
(c)将如下值设置为关注像素的补偿像素值：关注像素附近具有相同颜色的四个像素的像素值当中按像素值减小顺序的第二像素值(2nd_min)。
(d)将如下值设置为关注像素的补偿像素值：以上参照图13描述的，根据与关注像素具有相同颜色的左侧像素的像素值估计的第一估计像素值和根据具有相同颜色的右侧像素的像素值估计的第二估计像素值当中的最小值。
例如，如果关注像素是图13所示的G(x)，则上述(d)中的处理如下分配补偿像素值。
根据下述等式，根据G(x)左侧的两个G像素(即，G(x-4)和G(x-8))计算第一估计像素值Gl(x)。
Gl(x)＝G(x-4)+{G(x-4)-G(x-8)}
此外，根据下述等式，根据G(x)右侧的两个G像素(即，G(x+4)和G(x+8))计算第二估计像素值Gr(x)。
Gr(x)＝G(x+4)+{G(x+4)-G(x+8)}
将Gl(x)和Gr(x)这两个估计像素值当中的最小值，即，作为根据上述等式选择的Gl(x)和Gr(x)之一的最小像素值min(Gl(x),Gr(x))，设置为作为补偿目标的关注像素G(x)的补偿像素值。
通过该处理分配补偿像素值。
作为关注像素的这种补偿像素值分配处理，执行步骤S206中的缺陷补偿处理。
接下来，在步骤S210，确定是否对构成图像的所有像素都进行了步骤201至207中的缺陷补偿处理。如果存在未处理的像素，则处理返回到步骤S201，并且通过执行步骤S201及之后的处理，对未处理的像素进行处理。
在步骤S210中，当确定对所有像素的处理结束时，该处理结束。
[4.图像处理设备的配置示例]
接下来，描述用于执行上述降噪处理和缺陷补偿处理的图像处理设备的配置示例。
参照图16至图18描述根据本公开的图像处理设备的多种配置示例。图16至图18中所述的信号处理单元例如配置为数字照相机中的信号处理单元。图16至图18等同于以下设置的信号处理单元。
(a)图16所示的信号处理单元200为如下信号处理单元：该信号处理单元执行使用一维(1D)像素数据的缺陷补偿处理和使用作为二维(2D)区域的参考区域的降噪(NR)处理。
(b)图17所示的信号处理单元300为如下信号处理单元：该信号处理单元执行降噪(NR)处理和使用一维(1D)像素数据的缺陷补偿处理。
(c)图18所示的信号处理单元400为如下信号处理单元：该信号处理单元执行降噪(NR)处理和使用作为二维(2D)区域的参考区域的缺陷补偿处理。
以下顺序描述这些信号处理单元的配置和处理。
此外，这些信号处理单元中的每一个都配置在例如数字照相机中，并且例如根据存储在数字照相机中的存储器中的程序从由CPU等配置的控制单元输入控制信号，并且根据由控制信号规定的定时或顺序依次执行规定的处理。
[4-1.图像处理设备的配置示例1]
首先，作为图像处理设备的第一配置示例，参照图16描述如下图像处理设备的示例，该图像处理设备具有用于执行使用一维(1D)像素数据的缺陷补偿处理和使用作为二维(2D)区域的参考区域的降噪(NR)处理的信号处理单元200。
图16所示的信号处理单元200具有数据转换处理单元210和RGB信号处理单元230。
图16所示的数据转换处理单元210按照水平方向上的行中的像素顺序顺次输入来自具有RGBW像素排列的摄像元件(图像传感器)150的像素信号。
数据转换处理单元210按照从摄像元件(图像传感器)150输入的、水平方向上的行的像素顺序选择补偿目标像素，并进而执行使用一维(1D)像素数据的缺陷补偿处理和使用作为二维(2D)区域的参考区域的降噪(NR)处理。
首先，在W像素缺陷补偿单元211和颜色像素缺陷补偿单元212中，执行参照图10至图15描述的关于上述条目(即，[3.在作为缺陷补偿目标的颜色像素的补偿处理中根据应用W像素的纹理检测结果进行缺陷补偿的处理示例])的缺陷补偿处理。
如果缺陷补偿目标像素(关注像素)是W像素，则W像素缺陷补偿单元211执行该处理。如果缺陷补偿目标像素(关注像素)是W像素以外的R、B和G任意颜色像素，则颜色像素缺陷补偿单元212执行该处理。
此外，在该处理中，颜色像素缺陷补偿单元212如上所述基于W像素执行纹理检测，并且如果确定关注像素处于纹理区域，则原样输出原始像素值作为有效像素值而不进行关注像素的像素值补偿。如果确定关注像素是缺陷像素但不处于纹理中，则执行补偿并进而分配补偿像素值。
在W像素缺陷补偿单元211和颜色像素缺陷补偿单元212中，将完成了对其的缺陷补偿处理的像素数据存储在行存储器213中。
接下来的W像素降噪(NR)处理单元214和颜色像素降噪(NR)处理单元215使用存储在行存储器213中的图像数据执行用于设置作为二维区域的参考区域的降噪处理。该处理是参照图2至图9描述的关于上述条目(即，[2.通过在作为补偿目标的颜色像素的像素位置处插入W像素并且应用该插入W像素计算颜色像素的补偿像素值的处理示例])的处理。
例如，通过设置其中心为被设置为作为处理目标的关注像素的参考区域(如7×7像素)，进行关于上述条目[2]描述的降噪处理。
如果降噪处理目标像素(关注像素)是W像素，则W像素降噪(NR)处理单元214执行该处理。如果降噪处理目标像素(关注像素)是W像素以外的R、G和B任意颜色像素，则颜色像素降噪(NR)处理单元215执行该处理。
此外，在该处理中，如以上参照图3、5、7和其他图描述的，颜色像素降噪(NR)处理单元215将插入W像素分配给关注像素和参考区域中的参考像素的位置，并且计算应用插入W像素的平滑权重，并进而根据上述(等式1)计算插入像素值。
然而，如果插入W像素饱和，则执行应用上述(等式2)的补偿像素值计算处理。
此外，对其分别进行了缺陷补偿处理和降噪处理的补偿像素数据被输入到颜色相关的重构马赛克处理单元220中。
颜色相关的重构马赛克处理单元220输入作为来自W像素降噪(NR)处理单元214和颜色像素降噪(NR)处理单元215的输出信号的RGBW信号，并且执行用于从RGBW颜色排列转换到RGB排列231的处理。
具体来说，例如，执行下述五种转换或补偿处理。
将W像素的位置转换到G像素(估计G像素值)＝(GonW)
将G像素的位置转换到R像素(估计R像素值)＝(RonG)
将G像素的位置转换到B像素(估计B像素值)＝(BonG)
将R像素的位置转换到R像素(估计R像素值)＝(RonR)
将B像素的位置转换到B像素(估计B像素值)＝(BonB)
此外，这种重构马赛克处理的一方面是一个示例，并且根据由摄像元件中设置的滤色器的配置确定的输入图像信号和输出到RGB信号处理单元230的输出图像信号之间的对应关系确定重构马赛克处理的该方面。
根据本示例，颜色相关的重构马赛克处理单元220的每个构成元件执行以下处理。
W位置G插入参数计算单元221计算如下插入参数，该插入参数用于计算分配给RGBW排列中的W像素位置处的G像素值。
G位置RB插入参数计算单元222计算如下插入参数，该插入参数用于计算分配给RGBW排列中的G像素位置处的R像素值或B像素值。
R位置R插入参数计算单元223计算如下插入参数，该插入参数用于计算分配给RGBW排列中的R像素位置处的补偿R像素值。
B位置B插入参数计算单元224计算如下插入参数，该插入参数用于计算分配给RGBW排列中的B像素位置处的补偿B像素值。
加权加法处理单元225输入由插入参数计算单元221至224中的每一个计算出的插入参数，并且计算构成RGB排列(拜耳排列)231的每个像素的RGB信号值。
此外，对于由颜色相关的重构马赛克处理单元(数据转换单元)220执行的从RGBW排列数据转换到RGB排列的处理，基本上可以使用本申请人较早提交的日本未审查的专利申请公报2011-55038号中公开的处理。对于该数据转换处理的处理细节，请参考日本未审查的专利申请公报2011-55038号。
以此方式，由加权加法处理单元225生成的RGB排列(拜耳排列)231被输出到RGB信号处理单元230。
RGB信号处理单元230与普通照相机或图像处理设备具有的用于RGB排列(拜耳排列)信号的信号处理单元相同。RGB信号处理单元230通过对从权重平均单元225输出的RGB排列(拜耳排列)231执行信号处理来生成颜色图像。具体来说，RGB信号处理单元230通过例如执行白平衡调节处理、去马赛克处理、阴影处理、RGB颜色矩阵处理、γ修正处理等，来生成颜色图像。
[4-2.图像处理设备的配置示例2]
接下来，作为第二图像处理设备的配置示例，参照图17描述如下图像处理设备的示例，该图像处理设备具有用于执行降噪(NR)处理和使用一维(1D)像素数据的缺陷补偿处理的信号处理单元300。
图17所示的信号处理单元300具有数据转换处理单元310和RGB信号处理单元330。
如图17所示，数据转换处理单元310按照水平方向上行中像素的顺序顺次从具有RGBW像素排列的摄像元件(图像传感器)150输入像素信号。
数据转换处理单元310以从摄像元件(图像传感器)150输入的水平方向的行中像素的顺序选择补偿目标像素，并进而执行降噪(NR)处理和使用一维(1D)像素数据的缺陷补偿处理。
首先，在W像素缺陷补偿单元311和颜色像素缺陷补偿单元312中，执行参照图10至图15描述的关于上述条目(即，[3.在作为缺陷补偿目标的颜色像素的补偿处理中根据应用了W像素的纹理检测结果进行缺陷补偿的处理示例])的缺陷补偿处理。
如果缺陷补偿目标像素(关注像素)是W像素，则W像素缺陷补偿单元311执行该处理。如果缺陷补偿目标像素(关注像素)是W像素以外的R、G和B任意颜色像素，则颜色像素缺陷补偿单元312执行该处理。
此外，在该处理中，如上所述，颜色像素缺陷补偿单元312基于W像素进行纹理检测，并且如果确定关注像素处于纹理区域中，则原样输出原始像素值作为有效像素值，而不对该关注像素进行像素值补偿。如果确定关注像素是缺陷像素但不处于纹理中，则执行补偿并进而分配补偿像素值。
在W像素缺陷补偿单元311中，将完成了对其的缺陷补偿处理的像素数据存储在行存储器213中。
在颜色像素缺陷补偿单元312中，将完成了对其的缺陷补偿处理的像素数据输入到颜色像素水平降噪(NR)处理单元313中。
作为一维(1D)像素行数据，颜色像素水平降噪(NR)处理单元313顺序输入在颜色像素缺陷补偿单元312中完成了对其的缺陷补偿处理的像素数据，并且执行使用该一维(1D)像素行数据的降噪处理。该处理是参照图8描述的关于上述条目(即，[2.通过在作为补偿目标的颜色像素的像素位置处插入W像素并且应用该插入W像素计算颜色像素的补偿像素值的处理示例])的处理。
如参照图8描述的，在像素行中作为降噪处理目标的颜色像素的位置处和相同颜色的相邻像素的位置处插入W像素，进行插入W像素的分配，计算应用插入W像素的平滑权重，并由此根据上述(等式1)计算补偿像素值。
然而，如果插入W像素饱和，则执行应用上述(等式2)的补偿像素值计算处理。
通过应用水平行降低噪声的像素数据被输入到颜色像素竖直降噪(NR)单元314。
颜色像素竖直降噪(NR)单元314例如使用无限脉冲响应(IIR)滤波器进行参考竖直方向上的像素的补偿。
颜色像素竖直降噪(NR)单元314的输出被输入到行存储器315中。
此外，存储在行存储器315中的对其分别进行了缺陷补偿处理和降噪处理的补偿像素数据被输入到颜色相关的重构马赛克处理单元320中。
颜色相关的重构马赛克处理单元320具有W位置G插入参数计算单元321、G位置RB插入参数计算单元322、R位置R插入参数计算单元323、B位置B插入参数计算单元324和加权加法处理单元325。
如同上文参照图16描述的颜色相关的重构马赛克处理单元220，颜色相关的重构马赛克处理单元320执行从RGBW颜色排列转换到RGB排列331的处理，并进而将所生成的RGB排列331输出到RGB信号处理单元330。
RGB信号处理单元330与安装在普通照相机或图像处理设备中的对RGB排列(拜耳排列)进行处理的信号处理单元相同。RGB信号处理单元330通过对从权重平均单元325输出的RGB排列(拜耳排列)331执行信号处理来生成颜色图像。具体来说，RGB信号处理单元330通过执行例如白平衡调节处理、去马赛克处理、阴影处理、RGB颜色矩阵处理、γ修正处理等生成颜色图像。
[4-3.图像处理设备的配置示例3]
接下来，作为第三图像处理设备的示例，参照图18描述如下图像处理设备的示例，该图像处理设备具有用于执行降噪(NR)处理和使用作为二维(2D)区域的参考区域的缺陷补偿处理的信号处理单元400。
图18所示的信号处理单元400具有数据转换处理单元410和RGB信号处理单元430。
如图18所示，数据转换处理单元410按照水平方向上的行中的像素的顺序顺次从具有RGBW像素排列的摄像元件(图像传感器)150输入像素信号。
数据转换处理单元410将从摄像元件(图像传感器)150输入的水平方向上的行中的像素顺序存储在行存储器411中，之后使用存储在行存储器411中的二维(2D)图像数据执行缺陷补偿处理和降噪(NR)处理。
首先，在W像素缺陷补偿单元411和颜色像素缺陷补偿单元412中，对存储在行存储器411中的图像数据执行参照图10至图15描述的关于上述条目(即，[3.在作为缺陷补偿目标的颜色像素的补偿处理中根据应用W像素的纹理检测结果进行缺陷补偿的处理示例])的缺陷补偿处理。
如果缺陷补偿目标像素(关注像素)是W像素，则W像素缺陷补偿单元411执行该处理。如果缺陷补偿目标像素(关注像素)是W像素以外的R、G和B任意颜色像素，则颜色像素缺陷补偿单元412执行该处理。
此外，在该处理中，如上所述，颜色像素缺陷补偿单元412基于W像素进行纹理检测，并且如果确定关注像素处于纹理区域中，则原样输出原始像素值作为有效像素值，而不对关注像素进行像素值补偿。如果确定关注像素是缺陷像素但不处于纹理中，则执行补偿并由此分配补偿像素值。
在W像素缺陷补偿单元411和颜色像素缺陷补偿单元412中对其完成了缺陷补偿处理的图像数据项目分别被输入至接下来的W像素降噪(NR)处理单元414和颜色像素降噪(NR)处理单元415。
W像素降噪(NR)处理单元414和颜色像素降噪(NR)处理单元415执行用于设置作为二维区域的参考区域的降噪处理。该处理是参照图2至图9描述的关于上述条目(即，[2.通过在作为补偿目标的颜色像素的像素位置处插入W像素并且应用该插入W像素计算颜色像素的补偿像素值的处理示例])的处理。
例如，通过设置其中心被设置为作为处理目标的关注像素的参考区域(如7×7像素)，来进行上述关于条目[2]描述的降噪处理。
如果降噪处理目标像素(关注像素)是W像素，则W像素降噪(NR)处理单元414执行该处理。如果降噪处理目标像素(关注像素)是W像素以外的R、G和B任意颜色像素，则颜色像素降噪(NR)处理单元415执行该处理。
此外，在该处理中，如上文参照图3、5、7和其他图描述的，颜色像素降噪(NR)处理单元415将插入W像素分配给关注像素和参考区域中的参考像素的位置，并且通过计算应用插入W像素的平滑权重，根据上述(等式1)计算插入像素值。
然而，如果插入W像素饱和，则执行应用上述(等式2)的补偿像素值计算处理。
此外，对其分别进行了缺陷补偿处理和降噪处理的补偿像素数据被输入到颜色相关的重构马赛克处理单元420中。
颜色相关的重构马赛克处理单元420具有W位置G插入参数计算单元421、G位置RB插入参数计算单元422、R位置R插入参数计算单元423、B位置B插入参数计算单元424和加权加法处理单元425。
像以上参照图16描述的颜色相关的重构马赛克处理单元220那样，颜色相关的重构马赛克处理单元420执行从RGBW颜色排列转换到RGB排列431的处理，并由此将所生成的RGB排列431输出到RGB信号处理单元430。
RGB信号处理单元430与安装在普通照相机或图像处理设备中的用于处理RGB排列(拜耳)信号的信号处理单元相同。RGB信号处理单元430通过对从权重平均单元425输出的RGB排列(拜耳排列)431执行信号处理来生成颜色图像。具体来说，RGB信号处理单元430通过例如执行白平衡调节处理、去马赛克处理、阴影处理、RGB颜色矩阵处理、γ修正处理等，来生成颜色图像。
[5.本公开的配置的结论]
以上参照具体实例详细描述了根据本公开的示例。然而，本领域的技术人员显然可以在不偏离本公开的主旨的范围内对这些示例进行修改或替换。也就是说，因为以实施例的形式公开了本发明，所以不应当以限制性的方式理解本发明。为了确定本公开的主旨，应当考虑权利要求的范围。
此外，可以如下配置本说明书中公开的技术。
(1)一种图像处理设备，包括：
信号处理单元，用于执行像素值补偿，
其中，所述信号处理单元输入RGBW排列的图像数据，所述RGBW排列具有R、G、B各颜色像素以及透过R、G和B各波长的几乎全部波长光的白色(W)像素，并且
其中，在颜色像素的像素值补偿处理中，所述信号处理单元在作为补偿目标的关注像素的位置处和参考区域内与所述关注像素具有相同颜色的参考像素的位置处插入W像素，基于插入W像素的各像素值计算平滑权重，从而通过执行应用所计算出的平滑权重的平滑处理来计算所述关注像素的补偿像素值。
(2)根据(1)所述的图像处理设备，
其中，所述信号处理单元确定所述插入W像素的像素值中是否存在一个或多个饱和像素值，
其中，如果所述插入W像素的像素值中不存在饱和像素值，则所述信号处理单元通过执行应用如下平滑权重的平滑处理来计算所述关注像素的补偿像素值：该平滑权重是基于所述插入W像素的各像素值而计算出的，并且
其中，如果在所述插入W像素的像素值中存在饱和像素值，则所述信号处理单元通过执行应用如下平滑权重的平滑处理而不应用所述插入W像素来计算所述关注像素的补偿像素值：该平滑权重是基于作为所述补偿目标的关注像素和所述参考区域内与所述关注像素具有相同颜色的所述参考像素的各像素值而计算出的。
(3)根据(1)或(2)所述的图像处理设备，
其中，所述信号处理单元执行以下处理：在所述参考区域为二维区域的情况下，在位于二维区域的参考区域中的与所述关注像素具有相同颜色的参考像素的位置处插入W像素。
(4)根据(1)至(3)中任意一项所述的图像处理设备，
其中，所述信号处理单元执行以下处理：在所述参考区域为一维区域的情况下，在位于一维区域的参考区域中的与所述关注像素具有相同颜色的参考像素的位置处插入W像素。
(5)根据(1)至(4)中任意一项所述的图像处理设备，
其中，所述信号处理单元执行所述像素值补偿作为用于减少所述关注像素中所包括的噪声的降噪(NR)处理。
(6)根据(1)至(5)中任意一项所述的图像处理设备，
其中，所述信号处理单元确定缺陷可能性，即，确定是否存在所述颜色像素是缺陷像素的可能性，
其中，所述信号处理单元通过应用被确定具有缺陷可能性的颜色像素附近的W像素，来执行用于确定所述颜色像素是否处于纹理区域中的纹理检测处理，
其中，在所述纹理检测处理中，如果确定所述颜色像素处于所述纹理区域中，则所述信号处理单元不执行缺陷补偿处理，并且
其中，在所述纹理检测处理中，如果确定所述颜色像素不处于所述纹理区域中，则所述信号处理单元执行所述缺陷补偿处理。
(7)根据(6)所述的图像处理设备，
其中，在所述纹理检测处理中，所述信号处理单元通过应用距被确定具有缺陷可能性的颜色像素最近的W像素与该最近的W像素外侧的W像素之间的像素值之差，来确定所述颜色像素是否处于所述纹理区域中。
此外，根据本公开的配置中包括在上述设备和系统中执行实施该处理的方法或者执行该处理的程序以及其上存储该程序的记录介质。
此外，可以通过硬件、软件或者二者的组合执行本说明书中描述的处理序列。如果通过软件执行该处理，则将其中记录该处理序列的程序安装在集成为专用硬件的计算机内的存储器上，并由此执行该程序，但是作为选择，也可以将该程序安装在能够执行各种处理的通用计算机上，并由此执行该程序。例如，可以将该程序预先记录在记录介质上。除了从该记录介质将该程序安装在计算机上以外，还可以在诸如局域网(LAN)或因特网的网络上接收该程序，并且可将该程序安装在记录介质上，如内置硬件。
此外，本说明书中描述的各种处理不仅按照所描述的时间序列执行，而且还可以并行执行或者根据执行该处理的设备的处理能力或者根据需要个别地执行。此外，本说明书中的系统被配置为多个设备的逻辑组合，并且每个配置中的设备不局限于在同一个壳体内。
工业应用
如上所述，利用根据本公开的示例的配置，实现了对RGBW排列的图像执行降噪处理和缺陷补偿处理的设备和方法。
具体来说，在对构成具有R、G和B各颜色像素和白色(W)像素的RGBW排列的图像数据的颜色像素的像素值补偿处理中，在作为补偿目标的关注像素的位置处和作为参考区域内与关注像素具有相同颜色的像素的参考像素的位置处插入W像素，基于插入W像素的各像素值计算平滑权重，从而通过执行应用所计算出的平滑权重的平滑处理来计算关注像素的补偿像素值。此外，通过在该颜色像素的附近应用W像素，确定该颜色像素是否处于纹理区域中，并且只要该颜色像素不在纹理中，就执行缺陷补偿处理。
利用该处理，实现了对RGBW排列的图像执行降噪处理和缺陷补偿处理的设备和方法。
附图标记列表
150 摄像元件
200 信号处理单元
210 数据转换处理单元
211 W像素缺陷补偿单元
212 颜色像素缺陷补偿单元
213 行存储器
214 W像素降噪(NR)单元
215 颜色像素降噪(NR)单元
220 颜色相关的重构马赛克处理单元
221 W位置G插入参数计算单元
222 G位置RB插入参数计算单元
223 R位置R插入参数计算单元
224 B位置B插入参数计算单元
225 加权加法单元
230 RGB信号处理单元
231 RGB排列
300 信号处理单元
310 数据转换处理单元
311 W像素缺陷补偿单元
312 颜色像素缺陷补偿单元
313 颜色像素水平降噪(NR)单元
314 颜色像素竖直降噪(NR)单元
315 行存储器
320 颜色相关的重构马赛克处理单元
321 W位置G插入参数计算单元
322 G位置RB插入参数计算单元
323 R位置R插入参数计算单元
324 B位置B插入参数计算单元
325 加权加法单元
330 RGB信号处理单元
331 RGB排列
400 信号处理单元
410 数据转换处理单元
411 行存储器
412 W像素缺陷补偿单元
413 颜色像素缺陷补偿单元
414 W像素降噪(NR)单元
415 颜色像素降噪(NR)单元
420 颜色相关的重构马赛克处理单元
421 W位置G插入参数计算单元
422 G位置RB插入参数计算单元
423 R位置R插入参数计算单元
424 B位置B插入参数计算单元
425 加权加法单元
430 RGB信号处理单元
431 RGB排列

Claims (9)

1.一种图像处理设备，包括：
信号处理单元，用于执行像素值补偿，
其中，所述信号处理单元输入RGBW排列的图像数据，所述RGBW排列具有R、G、B各颜色像素以及透过R、G和B各波长的几乎全部波长光的白色(W)像素，并且
其中，在颜色像素的像素值补偿处理中，所述信号处理单元在作为补偿目标的关注像素的位置处和参考区域内与所述关注像素具有相同颜色的参考像素的位置处插入W像素，基于插入W像素的各像素值计算平滑权重，从而通过执行应用所计算出的平滑权重的平滑处理来计算所述关注像素的补偿像素值。
2.根据权利要求1所述的图像处理设备，
其中，所述信号处理单元确定所述插入W像素的像素值中是否存在一个或多个饱和像素值，
其中，如果所述插入W像素的像素值中不存在饱和像素值，则所述信号处理单元通过执行应用如下平滑权重的平滑处理来计算所述关注像素的补偿像素值：该平滑权重是基于所述插入W像素的各像素值而计算出的，并且
其中，如果在所述插入W像素的像素值中存在饱和像素值，则所述信号处理单元通过执行应用如下平滑权重的平滑处理而不应用所述插入W像素来计算所述关注像素的补偿像素值：该平滑权重是基于作为所述补偿目标的关注像素和所述参考区域内与所述关注像素具有相同颜色的所述参考像素的各像素值而计算出的。
3.根据权利要求1所述的图像处理设备，
其中，所述信号处理单元执行以下处理：在所述参考区域为二维区域的情况下，在位于二维区域的参考区域中的与所述关注像素具有相同颜色的参考像素的位置处插入W像素。
4.根据权利要求1所述的图像处理设备，
其中，所述信号处理单元执行以下处理：在所述参考区域为一维区域的情况下，在位于一维区域的参考区域中的与所述关注像素具有相同颜色的参考像素的位置处插入W像素。
5.根据权利要求1所述的图像处理设备，
其中，所述信号处理单元执行所述像素值补偿作为用于减少所述关注像素中所包括的噪声的降噪(NR)处理。
6.根据权利要求1所述的图像处理设备，
其中，所述信号处理单元确定缺陷可能性，即，确定是否存在所述颜色像素是缺陷像素的可能性，
其中，所述信号处理单元通过应用被确定具有缺陷可能性的颜色像素附近的W像素，来执行用于确定所述颜色像素是否处于纹理区域中的纹理检测处理，
其中，在所述纹理检测处理中，如果确定所述颜色像素处于所述纹理区域中，则所述信号处理单元不执行缺陷补偿处理，并且
其中，在所述纹理检测处理中，如果确定所述颜色像素不处于所述纹理区域中，则所述信号处理单元执行所述缺陷补偿处理。
7.根据权利要求6所述的图像处理设备，
其中，在所述纹理检测处理中，所述信号处理单元通过应用距被确定具有缺陷可能性的颜色像素最近的W像素与该最近的W像素外侧的W像素之间的像素值之差，来确定所述颜色像素是否处于所述纹理区域中。
8.一种用于在图像处理装置中执行像素值补偿的图像处理方法，其中所述图像处理装置的信号处理单元执行如下步骤：
输入RGBW排列的图像数据，所述RGBW排列具有R、G和B各颜色像素以及透过R、G和B各波长的几乎全部波长光的白色(W)像素；
在颜色像素的像素值补偿处理中，在作为补偿目标的关注像素的位置处和参考区域内与所述关注像素具有相同颜色的参考像素的位置处插入W像素；
基于插入W像素的各像素值计算平滑权重；以及
通过执行应用所计算出的平滑权重的平滑处理来计算所述关注像素的补偿像素值。
9.一种用于在图像处理设备中执行像素值补偿的程序，所述程序使所述图像处理设备的信号处理单元执行以下步骤：
输入RGBW排列的图像数据，所述RGBW排列具有R、G和B各颜色像素以及透过R、G和B各波长的几乎全部波长光的白色(W)像素；
在颜色像素的像素值补偿处理中，在作为补偿目标的关注像素的位置处和参考区域内与所述关注像素具有相同颜色的参考像素的位置处插入W像素；
基于插入W像素的各像素值计算平滑权重；以及
通过执行应用所计算出的平滑权重的平滑处理来计算所述关注像素的补偿像素值。
CN201280067385.2A 2012-01-24 2012-11-29 图像处理设备、图像处理方法及图像处理装置 Active CN104067611B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-011716 2012-01-24
JP2012011716 2012-01-24
PCT/JP2012/080872 WO2013111449A1 (ja) 2012-01-24 2012-11-29 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN104067611A true CN104067611A (zh) 2014-09-24
CN104067611B CN104067611B (zh) 2016-08-24

Family

ID=48873190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280067385.2A Active CN104067611B (zh) 2012-01-24 2012-11-29 图像处理设备、图像处理方法及图像处理装置

Country Status (6)

Country Link
US (2) US9253459B2 (zh)
JP (1) JP5904213B2 (zh)
KR (1) KR101980931B1 (zh)
CN (1) CN104067611B (zh)
CA (1) CA2861220C (zh)
WO (1) WO2013111449A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI573114B (zh) * 2015-12-08 2017-03-01 奇景光電股份有限公司 顯示系統與驅動方法
TWI626480B (zh) * 2016-04-27 2018-06-11 采鈺科技股份有限公司 具有低藍光密度的彩色濾波器陣列
CN109565558A (zh) * 2016-07-29 2019-04-02 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN110072034A (zh) * 2018-01-23 2019-07-30 瑞昱半导体股份有限公司 影像处理方法及影像处理装置
CN117934353A (zh) * 2024-03-20 2024-04-26 上海玄戒技术有限公司 一种图像处理方法、装置、设备、存储介质及芯片

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111449A1 (ja) 2012-01-24 2013-08-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
BR112014023256A8 (pt) 2012-03-27 2017-07-25 Sony Corp Aparelho e método de processamento de imagem, e, dispositivo de formação de imagem, e, programa
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
JP2016048815A (ja) * 2014-08-27 2016-04-07 ソニー株式会社 画像処理装置、画像処理方法、及び、画像処理システム
KR102346961B1 (ko) * 2015-03-18 2022-01-04 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 노이즈 제거 시스템
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
US10210826B2 (en) * 2017-02-22 2019-02-19 Himax Technologies Limited Sub-pixel rendering method for delta RGBW panel and delta RGBW panel with sub-pixel rendering function
JP7116001B2 (ja) * 2019-03-27 2022-08-09 日立Astemo株式会社 撮像装置及び画像処理方法
CN110855889B (zh) * 2019-11-21 2021-04-13 重庆金山医疗技术研究院有限公司 图像处理方法、装置、图像处理设备及存储介质
KR20220004436A (ko) 2020-07-03 2022-01-11 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
KR20220010285A (ko) 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법
CN114255173A (zh) * 2020-09-24 2022-03-29 苏州科瓴精密机械科技有限公司 粗糙度补偿方法、系统、图像处理设备及可读存储介质
CN112702543B (zh) * 2020-12-28 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
JP7307770B2 (ja) * 2021-07-20 2023-07-12 日本電子株式会社 分析装置および画像処理方法
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6833868B1 (en) * 1998-12-10 2004-12-21 Imec Vzw Method and device for determining corrected color aspects of a pixel in an imaging device
CN101080022A (zh) * 2006-04-14 2007-11-28 索尼株式会社 成像设备
CN102006484A (zh) * 2009-08-31 2011-04-06 索尼公司 图像处理装置、图像处理方法以及程序

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3880862B2 (ja) 2002-01-29 2007-02-14 富士フイルムホールディングス株式会社 撮像装置
KR100581514B1 (ko) * 2004-03-16 2006-05-22 엠텍비젼 주식회사 가중치 값을 이용한 결함 픽셀 보정 장치 및 방법
US7821553B2 (en) * 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4241754B2 (ja) * 2006-04-14 2009-03-18 ソニー株式会社 撮像装置
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP5085140B2 (ja) * 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP5222625B2 (ja) * 2007-06-01 2013-06-26 富士フイルム株式会社 撮像装置
JP4604078B2 (ja) 2007-11-22 2010-12-22 アキュートロジック株式会社 欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置
JP5033702B2 (ja) * 2008-04-04 2012-09-26 富士フイルム株式会社 撮像装置
JP2011076186A (ja) 2009-09-29 2011-04-14 Kddi Corp 操作支援装置、操作支援方法およびプログラム
JP2012217139A (ja) * 2011-03-30 2012-11-08 Sony Corp 画像理装置および方法、並びにプログラム
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2013111449A1 (ja) 2012-01-24 2013-08-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2013214272A (ja) 2012-03-08 2013-10-17 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
BR112014023256A8 (pt) 2012-03-27 2017-07-25 Sony Corp Aparelho e método de processamento de imagem, e, dispositivo de formação de imagem, e, programa
JP2013218487A (ja) 2012-04-06 2013-10-24 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013219705A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6833868B1 (en) * 1998-12-10 2004-12-21 Imec Vzw Method and device for determining corrected color aspects of a pixel in an imaging device
CN101080022A (zh) * 2006-04-14 2007-11-28 索尼株式会社 成像设备
CN102006484A (zh) * 2009-08-31 2011-04-06 索尼公司 图像处理装置、图像处理方法以及程序

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI573114B (zh) * 2015-12-08 2017-03-01 奇景光電股份有限公司 顯示系統與驅動方法
US9792879B2 (en) 2015-12-08 2017-10-17 Himax Technologies Limited Display system and driving method
TWI626480B (zh) * 2016-04-27 2018-06-11 采鈺科技股份有限公司 具有低藍光密度的彩色濾波器陣列
US10151862B2 (en) 2016-04-27 2018-12-11 Visera Technologies Company Limited Color filter array having low density of blue color
CN109565558A (zh) * 2016-07-29 2019-04-02 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN109565558B (zh) * 2016-07-29 2021-03-26 奥林巴斯株式会社 图像处理装置、图像处理方法和存储介质
CN110072034A (zh) * 2018-01-23 2019-07-30 瑞昱半导体股份有限公司 影像处理方法及影像处理装置
CN117934353A (zh) * 2024-03-20 2024-04-26 上海玄戒技术有限公司 一种图像处理方法、装置、设备、存储介质及芯片

Also Published As

Publication number Publication date
US20140347528A1 (en) 2014-11-27
KR20140116870A (ko) 2014-10-06
JPWO2013111449A1 (ja) 2015-05-11
CA2861220A1 (en) 2013-08-01
US9445022B2 (en) 2016-09-13
JP5904213B2 (ja) 2016-04-13
KR101980931B1 (ko) 2019-05-21
CN104067611B (zh) 2016-08-24
US20160112659A1 (en) 2016-04-21
CA2861220C (en) 2020-02-11
US9253459B2 (en) 2016-02-02
WO2013111449A1 (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
CN104067611A (zh) 图像处理设备、图像处理方法及程序
US7016549B1 (en) Image processing method for direction dependent low pass filtering
JP5454075B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4054184B2 (ja) 欠陥画素補正装置
TWI516132B (zh) An image processing apparatus, an image processing method, and a program
EP1416739B1 (en) Color interpolation for image sensors using a local linear regression method
CN103733608B (zh) 图像处理设备及其控制方法
US8005297B2 (en) Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing
US8379975B2 (en) Image processing device and method, and program recording medium
CN103379343A (zh) 图像处理装置、图像处理方法和程序
WO2010017241A2 (en) Bad pixel cluster detection
CN102984527A (zh) 图像处理装置、图像处理方法、信息记录介质和程序
CN102970463A (zh) 图像处理设备、图像处理方法以及程序
US9443290B2 (en) Defringing RAW images
JP5372586B2 (ja) 画像処理装置
KR20200069356A (ko) 인 어레이 광학적 블랙 픽셀에 대한 크로스토크 보상을 구비하는 감광성 이미징 시스템 및 디바이스
CN116362988A (zh) 用于图像处理的设备和方法
KR101327790B1 (ko) 영상 보간 방법 및 장치
KR20130021977A (ko) 이미지 센서의 픽셀 간 오프셋 보정 장치 및 그 보정 방법
JP4189565B2 (ja) 画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置
US20230388667A1 (en) Rgb-nir processing and calibration
CN115643490A (zh) 图像串扰补偿方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant