CN105096281A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN105096281A
CN105096281A CN201510239605.0A CN201510239605A CN105096281A CN 105096281 A CN105096281 A CN 105096281A CN 201510239605 A CN201510239605 A CN 201510239605A CN 105096281 A CN105096281 A CN 105096281A
Authority
CN
China
Prior art keywords
pixel
image processing
view data
reference pixels
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510239605.0A
Other languages
English (en)
Other versions
CN105096281B (zh
Inventor
田嶋千寻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105096281A publication Critical patent/CN105096281A/zh
Application granted granted Critical
Publication of CN105096281B publication Critical patent/CN105096281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理装置及图像处理方法。所述图像处理装置用来对图像数据执行噪声降低处理，并且包括设置单元、确定单元及输出单元。所述设置单元从多个像素组候选当中设置像素组。所述多个像素组候选至少包括具有作为第一像素数的多个像素的第一像素组，或者具有作为与所述第一像素数不同的第二像素数的多个像素的第二像素组。所述确定单元基于根据所设置的像素组而获得的、目标像素与参照像素之间的相似度，来确定与所述参照像素相对应的权重。所述输出单元输出基于所述参照像素的像素值以及所述权重而计算出的值，作为所述目标像素的噪声降低的像素值。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及一种用于降低图像数据中包括的噪声的方法。
背景技术
诸如数码相机及数字摄像机等的数字摄像装置已被广泛使用。数字摄像装置通过把由诸如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器等的摄像传感器接收的光，转换为数字信号，来生成数字图像数据。遗憾的是，由于摄像传感器及电路的特性，导致生成数字图像数据的处理产生暗电流噪声、热噪声及散粒噪声(shotnoise)等，因而噪声混入到数字图像数据中。
因此，需要噪声降低处理，以获得高质量的数字图像数据。一种可用的噪声降低处理是如下的方法，即利用多个参照像素，并通过与各参照像素相对应的加权平均，来计算图像数据中的目标像素的像素值。日本特表第2007-536662号公报及日本特开第2011-39675号公报讨论了如下的方法，即通过比较包括目标像素的区域和包括参照像素的区域，来确定目标像素与参照像素之间的相似度，并且基于相似度，来获得与参照像素相对应的权重。利用这些方法，以使得针对具有较高相似度的参照像素获得较大权重的方式，来进行加权平均，从而使噪声降低。
在用于确定目标像素与参照像素之间的相似度的区域中包括的像素数越多，越能够更加精确地计算相似度，由此能够实现更高的噪声降低效果。特别是，在图像数据中包括的噪声的量大的情况下，如果以区域中少的像素数来确定相似度，则噪声降低效果可能是低的，因为仅能够以有限的精度水平，来估计不包括噪声的图像数据中的相似度。这是因为，可能向具有与区域中包括的噪声图相似的噪声图的参照像素，应用大的权重。换言之，向不应该被应用大的权重的参照像素，应用了大的权重。因此，被获得作为目标像素的像素值的加权平均值的噪声降低效果可能是低的。
如果用于确定相似度的区域中包括的像素数多，则虽然能够更精确地获得不包括噪声的图像数据的相似度，但是，与目标像素具有高相似度的参照像素的数量减少。结果，要被计算作为目标像素的噪声降低的像素值的加权平均值，受到少的像素数的影响。因此，噪声降低效果可能是低的。
发明内容
本发明是针对如下一种技术，该技术用于基于图像数据中的噪声量以及与噪声量相关的摄像条件，来改变用于计算相似度的像素的数量，从而在减轻处理负荷的同时，执行适当的噪声降低处理。
根据本发明的一个方面，提供一种图像处理装置，其被构造为对图像数据执行噪声降低处理，该图像处理装置包括：设置单元，其被构造为从多个像素组候选当中设置像素组，其中，所述多个像素组候选至少包括具有作为第一像素数的多个像素的第一像素组，或者具有作为与所述第一像素数不同的第二像素数的多个像素的第二像素组；确定单元，其被构造为基于根据由所述设置单元设置的所述像素组而获得的、目标像素与参照像素之间的相似度，来确定与所述参照像素相对应的权重；以及输出单元，其被构造为输出基于所述参照像素的像素值以及所述权重而计算出的值，作为所述目标像素的噪声降低的像素值。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是例示图像处理装置的硬件结构的示意图。
图2A及图2B是例示噪声降低方法的示意图。
图3是例示用于根据相似度来计算权重的函数的示意图。
图4是例示图像处理装置的逻辑结构的框图。
图5A是例示噪声方差(noisevariance)与用作摄像信息的ISO(国际标准化组织)感光度之间的关系的图。图5B是例示噪声方差与用作摄像信息的曝光时间之间的关系的图。
图6A至图6F是各自例示匹配区域设置的示例的示意图。
图7是例示用于设置匹配区域的表格的图。
图8是例示图像处理装置中的处理的流程图。
图9A是例示噪声方差与传感器温度之间的关系的示意图。图9B是例示用于设置匹配区域的表格的图。
图10是例示图像处理装置的逻辑结构的框图。
图11是例示噪声方差与像素值之间的关系的示意图。
图12是例示图像处理装置中的处理的流程图。
图13是例示图像处理装置的逻辑结构的框图。
图14是例示图像处理装置中的处理的流程图。
图15是例示图像处理装置的逻辑结构的框图。
图16是例示选择单元的详细结构的图。
图17是例示图像处理装置中的处理的流程图。
图18是例示噪声方差与区域中的像素数之间的关系的图。
具体实施方式
下面，将参照附图，来详细描述本发明的各种示例性实施例、特征及方面。应当指出，以下在示例性实施例中描述的结构仅仅是示例，并且本发明并不限于图中所示的结构。
将描述第一示例性实施例。图1是例示根据第一示例性实施例的图像处理装置的硬件结构的图。在本示例性实施例中，将描述数字照相机的结构示例，作为图像处理装置的示例。然而，图像处理装置并不限于被描述作为图像处理装置的示例的数字照相机。例如，图像处理装置可以是诸如移动电话、平板设备或个人计算机等的信息处理装置，并且还可以被包括在诸如照相手机等的摄像装置中。
根据本示例性实施例的图像处理装置包括中央处理单元(CPU)101、随机存取存储器(RAM)102、存储单元103、通用接口(I/F)104、摄像单元105、输入单元106、显示单元108及主总线109。CPU101根据输入信号或后述的程序，来控制图像处理装置的各单元。存储单元103存储由CPU101执行用来实现各类软件的计算机程序。CPU101操作存储在存储单元103中的软件，以实现图像处理装置中的各类图像处理。在该示例中，将描述CPU101控制整个装置的情况。作为另一选择，可以由多个硬件设备分担处理，来控制整个装置。
摄像单元105将由摄像单元105中包括的透镜聚焦的光，转换为电信号，以生成数字图像数据。摄像单元105基于由用户经由后述的输入单元106输入的摄像指令信息，来拍摄图像，以生成数字图像数据。摄像指令信息是指例如ISO(国际标准化组织)感光度、曝光时间或自动聚焦(AF)。通过摄像而获得的图像数据被存储在缓冲存储器中，然后经历CPU101的预定图像处理。存储单元103存储所得的数据。
RAM102被用作用于临时存储由摄像单元105通过摄像获得的图像数据的缓冲存储器、用于存储要在显示单元108上显示的图像数据和经由输入单元106接收的指令的存储器，以及CPU101的工作区等。
显示单元108显示图像拍摄期间的取景器图像，以及通过摄像获得的图像数据。显示单元108不一定必须被配设在图像处理装置中，只要显示单元108具有对可经由通用I/F104连接的外部装置进行显示控制的功能即可。
输入单元106接收从用户发出给图像处理装置的指令。输入单元106例如包括如下的操作部件，诸如用于发出开/关(ON/OFF)图像处理装置的指令的电源按钮，以及用于发出再现图像数据的指令的再现按钮。作为另一选择，显示单元108可以充当触摸屏，并且可以经由显示单元108接收来自用户的指令。在这种情况下，显示单元108显示供用户输入期望的指令的用户界面(UI)。
通用I/F104是用于将图像处理装置连接到外部装置的接口。通用I/F104把诸如存储卡等的外部存储器107，连接到主总线109。此外，通用I/F104可以被配置为经由红外通信、无线局域网(LAN)等，来与通信装置交换数据。
下面，将描述由CPU101执行的各类图像处理。在本示例性实施例中，CPU101对由摄像单元105通过摄像获得的图像数据执行噪声降低处理，并且将噪声降低后的图像数据存储在存储单元103中。
(基于非局部均值(Non-LocalMeans)的噪声降低处理)
在本示例性实施例中由CPU101执行的图像处理是被称为非局部均值(NLM)的噪声降低处理，通常是用于如下的图像去噪的图像处理中的处理，所述图像去噪可以取图像中的全部像素的均值，该均值是按这些像素与目标像素的相似程度而加权的。图2A及图2B是例示基于NLM的噪声降低处理的图。图2A例示了图像数据201。在图像数据201中，如果左上角的像素的像素值被表示为(0,0)，则各像素的像素值被表示为I(x,y)。在此，如果像素202用作目标像素，则目标像素202的像素值是I(4,4)。通过使用参照像素的像素值以及分别与参照像素相对应的权重的加权平均，来确定在噪声降低处理之后获得的目标像素的像素值(以下又称为输出值)。具体而言，通过下面的式(1)来获得噪声降低的目标像素的像素值Inew：
I new = Σ j = 1 N S w j × I j Σ j = 1 N S w j - - - ( 1 ) ,
其中，NS代表用于加权平均的参照像素的数量，Ij(j＝1至NS)代表参照像素的像素值，并且wj(j＝1至NS)代表与参照像素相对应的权重。
基于参照像素与目标像素的相似度，来计算与参照像素相对应的权重。在被称为NLM的噪声降低处理中，通过使用包括目标像素的区域和包括参照像素的区域，来确定目标像素与参照像素之间的相似度。用于确定相似度的区域被称为匹配区域。下面，将使用图2A中所示的图像数据201作为示例，来进行描述。在此，包括目标像素202的5×5像素矩形区域204被设置为参照像素组，并且，参照像素组中包括的25个像素各自被设置为参照像素。此外，3×3像素区域被设置为匹配区域。基于设置的匹配区域，来计算目标像素与参照像素之间的相似度。如果像素206被设置为参照像素，则通过比较包括目标像素202的像素组203(以下称为目标区域203)和包括参照像素206的像素组205(以下称为参照区域205)，来确定目标像素202与参照像素之间的相似度。具体而言，基于目标区域203中的像素的像素值与参照区域205中的相应像素的像素值之间的差平方和(sumofsquareddifferences，SSD)，来获得相似度。通过下面的式(2)来获得相似度Cj：
C j = Σ p Σ q ( b j ( p , q ) - b s ( p , q ) ) 2 - - - ( 2 ) ,
其中，bs(p,q)代表目标区域203中的像素，并且bj(p,q)(j＝1至NS)代表参照区域205中的像素，如图2B所示。
较小的相似度Cj表示目标像素和参照像素彼此更相似。还可以通过使用差的绝对值之和、评价函数等，来获得作为目标区域及参照区域中的相应像素的像素值的SSD的相似度Cj。
接下来，根据相似度来获得与参照像素相对应的权重。图3是例示用于根据相似度来获得权重的函数的示例的图。仅要求针对较小的相似度Cj确定较大的权重，而针对较大的相似度Cj确定较小的权重。例如，通过下面的式(3)来确定权重：
w j = exp ( - C j h 2 ) - - - ( 3 ) ,
其中，h代表用于控制权重的变量。较大的变量h产生较高的噪声降低效果，但也造成图像数据中的边缘的模糊。如上所述，将参照像素组204中包括的各像素设置为参照像素，并确定了与各参照像素相对应的权重。在本示例性实施例中，目标像素也被设置为参照像素。
(图像处理装置的逻辑结构)
图4是例示根据本示例性实施例的图像处理装置的逻辑结构的框图。根据本示例性实施例的图像处理装置401基于当拍摄图像时设置的ISO感光度和曝光时间，来设置匹配区域。ISO感光度和曝光时间用作与对应于待处理图像数据的噪声相关的信息。
输入单元402基于来自CPU101的指令，来输入由摄像单元105通过摄像获得的图像数据。从存储单元103及外部存储器107中输入图像数据。摄像信息获取单元410获取何时通过摄像获得待处理图像数据的摄像信息，作为与待处理图像数据中的噪声量相关的信息。在本示例性实施例中，获取当拍摄图像时设置的ISO感光度和曝光时间，作为摄像信息。摄像信息获取单元410从图像数据的报头信息中，获取ISO感光度和曝光时间。作为另一选择，替代从图像数据的报头信息中进行获取，可以从摄像单元105直接获取摄像信息。作为又一选择，可以从存储单元103或外部存储器107中，获取与图像数据相对应的摄像信息。摄像信息获取单元410将获取到的摄像信息，输出到匹配区域设置单元405。
匹配区域设置单元405基于与对应于图像数据的噪声相关的摄像信息，来设置匹配区域。匹配区域设置单元405设置包括如下像素数的匹配区域，所述像素数适合于由摄像信息预测的图像数据中的噪声量。匹配区域设置单元405参照由表存储单元411存储的表格。稍后，将详细描述该处理。
目标区域获取单元403获取输入的图像数据中的目标像素的像素值，以及与匹配区域相对应的目标区域中包括的像素的像素值。例如，如图2A所示，当包括3×3像素的区域被设置为匹配区域时，目标区域获取单元403获取在中心处包括目标像素的3×3矩形区域中包括的9个像素的像素值。目标区域获取单元403将获取到的各像素值输出到相似度计算单元407。
参照像素选择单元404选择如下的参照像素，该参照像素要被用于用来计算目标像素的输出值的加权平均。参照像素选择单元404从预定参照像素组中，依次选择未处理的像素作为参照像素。如图2A所示，当包括目标像素的25个像素被设置为参照像素组时，参照像素选择单元404针对目标像素选择参照像素25次。参照像素选择单元404把表示选择的像素的像素位置的信息，输出到参照区域获取单元406。
参照区域获取单元406从由输入单元402输入的图像数据中，获取由参照像素选择单元404选择的参照像素的像素值，以及基于匹配区域确定的参照区域中包括的像素的像素值。如同在目标区域获取单元403的情况下一样，当包括3×3像素的区域被设置为匹配区域时，参照区域获取单元406获取在中心处包括参照像素的3×3矩形区域中包括的9个像素的像素值。目标区域中包括的像素的位置分别对应于参照区域中包括的像素的位置。参照区域获取单元406把获取到的各个像素的像素值，输出到相似度计算单元407。
相似度计算单元407根据式(2)，基于如下的SSD来计算参照像素与目标像素的相似度，所述SSD是通过计算目标区域与参照区域中的相应像素之差、并且通过对差的平方求和而获得的。相似度计算单元407把与参照像素相对应的相似度，输出到像素值确定单元408。在本示例性实施例中，在参照像素组中包括的25个像素，被设置为用于计算目标像素的输出值的参照像素。因此，相似度计算单元407计算相似度25次，以确定目标像素的输出值。
像素值确定单元408基于从相似度计算单元407接收的相似度，以及从输入单元402接收的各参照像素的像素值，来确定目标像素的输出值。如式(1)中所示，利用参照像素的像素值和相应的权重，来计算加权平均，从而获得目标像素的输出值。像素值确定单元408依次把目标像素的输出值，输出到输出单元409。
输出单元409针对全部像素，输出包括噪声降低的输出值的输出图像数据。输出单元409响应于来自CPU101的指令，把输出图像数据临时存储到RAM102中，然后把输出图像数据输出到显示单元108及存储单元103。作为另一选择，可以把输出图像数据，输出到连接至通用I/F104的外部存储器107。
(匹配区域设置)
现在，将详细描述由匹配区域设置单元405执行的处理。在本示例性实施例中，基于包括目标像素的目标区域与包括参照像素的参照区域之间的像素值的差，来计算参照像素与目标像素的相似度。换言之，基于目标区域中的像素值的图案与参照区域中的像素值的图案之间的相似度，来确定相似度。通过以对具有相似图案的像素值应用大的权重的方式，进行加权平均，来对随机噪声分量求平均，从而计算噪声降低的目标像素的值。一般而言，随着用于计算相似度的匹配区域中包括的像素数的增多，能够更精确地计算相似度。特别是，在图像数据中的噪声大的情况下，与匹配区域相对应的目标区域及参照区域中的像素值的图案，受到噪声分量的严重影响。因此，当以小的像素数来计算相似度时，目标区域中的噪声分量的图案有残留，因而目标像素的噪声降低效果低。当匹配区域中包括的像素数被设置为大时，能够不考虑目标区域中的随机噪声分量的图案，来对噪声分量求平均。然而，如果匹配区域中包括的像素数增多，则变得难以确定参照区域中的像素值的图案是否与目标区域中的图案相似。更具体而言，当匹配区域中的像素数大时，在目标像素之外的像素被设置为参照像素时，表示相似度的值很可能是大的。在本示例性实施例中，较小的相似度的值，表示目标区域中的图案与参照区域中的图案之间的较高相似度。因此，针对较高的相似度应用较小的权重。从各方面考虑，分别在噪声降低处理之前和之后获得的目标像素的像素值几乎相同，因而，不太可能获得噪声降低效果。鉴于上述情况，需要设置包括适当像素数的匹配区域，来计算目标像素与参照像素之间的相似度。特别是，根据图像数据中的噪声量，匹配区域中的适当像素数有变化。
根据当拍摄图像时设置的ISO感光度和曝光时间，图像数据的噪声特性有变化。因此，在本示例性实施例中，基于与图像数据中的噪声相关的ISO感光度和曝光时间，来确定包括适当像素数的匹配区域。图5A及图5B分别是示意性地例示ISO感光度与噪声方差之间的关系的图、以及曝光时间与噪声方差之间的关系的图。图5A及图5B中的纵轴表示图像数据中的噪声方差。具有较小噪声方差的图像数据包括较少量的噪声，因而与具有大的噪声方差的图像相比，更有可能具有较高的可视性。因此，能够基于噪声方差来估计图像数据中的噪声量。可以通过使用如下的多个图像数据，来获得图5A中所示的噪声特性，所述多个图像数据是摄像单元105以不同的ISO感光度和在除ISO感光度之外的其他摄像条件固定的情况下、通过摄像而获得的。通过计算分别与ISO感光度相对应的图像数据的噪声方差，并且通过在噪声方差之间进行插值，而获得图5A中所示的噪声特性。如图5A所示，当在ISO感光度被设置为较高值的情况下拍摄图像时，图像数据中的噪声量增加。将ISO感光度设置为较高的值，意味着增大在摄像时输出的传感器的增益，因而噪声量被放大，从而导致大的噪声方差。同样，在图5B中，以不同的曝光时间，并且在除曝光时间之外的其他摄像条件固定的情况下，获得多个图像数据。可以通过计算分别与曝光时间相对应的图像数据中的噪声方差，并且通过在噪声方差之间进行插值，来获得图5B中所示的噪声特性。如图5B所示，随着针对摄像而设置的曝光时间的增加，图像数据中的噪声量相应地增加。这是因为，随着曝光时间的增加，由传感器接收的光的量增加。
在本示例性实施例中，匹配区域设置单元405基于影响图像数据中的噪声量的ISO感光度和曝光时间，来设置包括适当像素数的匹配区域。图6A至图6D例示了由根据本示例性实施例的匹配区域设置单元405设置的4个匹配区域。图6A例示了包括3×3像素(即9个像素)的匹配区域。图6B例示了包括5×5像素(即25个像素)的匹配区域。图6C例示了包括13个像素的匹配区域。在图6C中，从中心像素到13个像素中的各个的曼哈顿(Manhattan)距离等于或小于2。图6D例示了包括21个像素的匹配区域，所述21个像素是通过从5×5矩形区域中减去4个角的4个像素而获得的。根据本示例性实施例的匹配区域设置单元405根据ISO感光度和曝光时间，将图6A至图6F中所示的像素布置中的任何一个设置为匹配区域。图7例示了由表存储单元411存储的、用于设置匹配区域的表格的示例。在图7中，代表像素数的a、b、c及d满足关系a<b<c<d。由于识别了通过利用图5A及图5B中所示的各个摄像条件进行摄像而获得的图像数据中的噪声量，因此，根据图像中的噪声量来设置像素数。当ISO感光度高并且曝光时间长时，使用大数量的像素。当ISO感光度高并且曝光时间短时，使用中等数量的像素。当ISO感光度低并且曝光时间短时，使用小数量的像素。
(图像处理装置中的处理流程)
图8是例示由CPU101执行的图像处理装置中的处理的流程图。在步骤S801中，输入单元402输入由摄像单元105通过摄像获得的图像数据。
在步骤S802中，摄像信息获取单元410获取当摄像单元105拍摄图像以获得要处理的数字图像数据时设置的、摄像单元105的ISO感光度和曝光时间，作为摄像信息。在步骤S803中，匹配区域设置单元405设置匹配区域，该匹配区域用于对要处理的图像数据，执行基于NLM的噪声降低处理。匹配区域是指用于确定目标像素与参照像素之间的相似度的像素组。通过参照图7中所示的、由表存储单元411存储的表格，匹配区域设置单元405根据噪声，来设置包括适当像素数的匹配区域。在该示例中，设置图6B中所示的匹配区域。
在步骤S804中，目标区域获取单元403获取包括目标像素的目标区域中的像素的像素值。目标区域是与由匹配区域设置单元405设置的区域相对应的像素组。因此，在该示例中，获取在中心处包括目标像素的5×5矩形区域中的像素的像素值。
在步骤S805中，参照像素选择单元404从用于计算参照像素组中包括的目标像素的输出值的参照像素当中，选择尚未经历计算相似度的处理的像素。在步骤S806中，参照区域获取单元406获取包括参照像素的参照区域中包括的像素的像素值。如同在目标区域的情况下一样，参照区域是与由匹配区域设置单元405设置的区域相对应的像素组。因此，获取在中心处包括所选择的参照像素的5×5区域中包括的像素的像素值。
在步骤S807中，相似度计算单元407基于目标区域与参照区域中的相应像素的像素值之差，来计算目标像素与参照像素之间的相似度。在本示例性实施例中，相似度是目标区域与参照区域之间的SSD，如式(2)中所示。像素值的较小的SSD，表示参照区域中的像素值的图案与目标区域中的像素值的图案更相似。在该示例中，图6B中所示的区域被设置为匹配区域。因此，针对25个像素，计算相应像素位置的像素值之差。计算25个像素的SSD，作为与参照像素相对应的相似度。
在步骤S808中，确定参照像素选择单元404是否已选择了参照像素组中的全部像素。当存在未处理的像素时，处理返回到步骤S805，由此，在未处理的像素被设置为参照像素的情况下，重复步骤S806及S807中的处理。在该示例中，在中心处包括目标像素的5×5矩形区域被设置为参照像素组。因此，对25个像素重复执行步骤S806及S807中的处理。当在步骤S808中确定已针对参照像素组中的全部像素计算了相似度时，处理前进到步骤S809。
在步骤S809中，像素值确定单元408由各个参照像素的像素值和相应的相似度，根据式(1)来计算目标像素的输出值。通过式(1)计算的目标像素的输出值，是与目标像素的原始像素值相比较噪声降低的像素值。
以各像素被设置为目标像素的方式，对图像数据中的全部像素执行上述的处理。当在步骤S810中确定已计算了图像数据中的全部像素的输出值时，获得噪声降低的图像数据。在步骤S811中，输出单元409输出噪声降低的图像数据，并且，本示例性实施例中的噪声降低处理终止。
如上所述，在本示例性实施例中，基于与噪声量相关的ISO感光度和曝光时间，来确定计算目标像素与参照像素之间的相似度所需的各像素周围的像素组。具体而言，当以图像数据中的噪声方差被预测为大的ISO感光度和曝光时间、而拍摄了图像时，比较各自包括较大像素数的目标区域与参照区域。由此，能够根据图像数据中的噪声量，利用适当的像素数来计算目标像素与参照像素之间的相似度。此外，如果匹配区域包括较小的像素数，则能够以较小的计算量，来计算目标像素与参照像素之间的相似度。因此，在本示例性实施例中，能够降低噪声降低处理的计算成本。
在第一示例性实施例中，根据能够用以预测图像数据中的噪声的摄像条件，来设置用于比较目标区域与参照区域的匹配区域中包括的像素数。作为另一选择，可以使用摄像环境作为与噪声相关的摄像信息。
图9A例示了传感器温度与图像数据中的噪声方差之间的关系。在图9A中，纵轴代表图像数据中的噪声方差，并且横轴代表传感器温度。可以从并入于摄像单元105中的传感器附装的温度计，来获取传感器温度。可以通过使用如下的多个图像数据，来获得图9A中所示的噪声特性，所述多个图像数据是由摄像单元105以不同的恒定传感器温度并且在其他摄像条件固定的情况下、通过摄像而获得的。如图9A所示，通过在高传感器温度下摄像而获得的图像数据具有大的噪声方差，这一点是公知的。这是因为，随着传感器温度的上升，热噪声增加。
图9B是用于基于ISO感光度、曝光时间及传感器温度来设置匹配区域的三维表格。在表格中，针对通过在高ISO感光度、长曝光时间和高传感器温度的条件下摄像而获得的图像数据，设置包括大的像素数的匹配区域。
匹配区域设置单元405能够通过获取ISO感光度、曝光时间和传感器温度作为摄像信息，并且参照图9B中所示的表格，来更适当地设置匹配区域。
在第一示例性实施例中，描述了通过参照ISO感光度和曝光时间来设置匹配区域的示例。然而，依据图像数据和摄像条件等，在某些情况下，ISO感光度和曝光时间并不能够都被获取作为摄像信息。因此，鉴于前述的情况，期望装置具有如下的结构，即，使得即使当仅能够获取到摄像信息中的一者时，也能够设置匹配区域。
具体而言，预先设置摄像信息的固定值，以在相应的摄像条件未知时使用。结果，即使当仅能够获得摄像信息中的一者时，也能够适当地设置匹配区域。例如，即使不能获取到表示曝光时间的信息，也能够通过将某一曝光时间设置为固定值，来准备当曝光时间未知时要使用的列。基于该列，来设置与获取到的ISO感光度相对应的匹配区域。通过该结构，能够至少根据获取到的摄像信息，来设置匹配区域。期望选择最有可能使用的值或者平均值，作为当相应的摄像信息未知时要使用的像素值。
在第一示例性实施例中，基于当通过摄像获得要进行噪声处理的图像数据时设置的摄像信息，来设置匹配区域。在这种情况下，针对整个图像数据设置单个匹配区域。图像数据包括具有不同噪声特性的区域。因此，在第二示例性实施例中，将描述针对各像素设置匹配区域的方法。对与第一示例性实施例中类似的结构，赋予了与第一示例性实施例中相同的附图标记，并且将不再重复描述。
图10例示了根据第二示例性实施例的图像处理装置401。图11是例示像素值(亮度)与噪声方差之间的关系的图。可以通过使用如下的多个图像数据，来获得图11中所示的噪声特性，所述多个图像数据是通过以不同的亮度、并且在其他摄像条件固定的情况下进行摄像而获得的。如图11所示，表示较高亮度和较大光量的较大像素值具有较大的噪声量，这一点是公知的。因此，本示例性实施例的匹配区域设置单元405使用目标像素的像素值，作为与图像数据中的噪声相关的信息，来设置匹配区域。
图12是例示在根据第二示例性实施例的图像处理装置401中执行的处理的流程图。在步骤S801中输入图像数据之后，在步骤S1201中，匹配区域设置单元405从输入单元402获取目标像素的像素值。在步骤S803中，匹配区域设置单元405根据目标像素的像素值，来确定匹配区域。例如，如上所述，由于在图像数据中，较大的像素值具有较大的噪声量，因此随着像素值的增大，匹配区域设置单元405设置包括较大像素数的匹配区域。如同在第一示例性实施例中一样，当匹配区域被设置为图6A至图6D中所示的4个匹配区域中的任何一个时，可以通过针对像素值设置3个级别的阈值，来确定图6A至图6D中所示的匹配区域中的任何一个。例如，如果假设阈值Th1、Th2及Th3满足关系Th1>Th2>Th3，则针对等于或大于阈值Th1的像素值，设置包括最大像素数的图6B中所示的匹配区域。针对小于阈值Th1并且等于或大于阈值Th2的像素值，设置图6D中所示的匹配区域。针对小于阈值Th2并且等于或大于阈值Th3的像素值，设置图6C中所示的匹配区域。针对小于阈值Th3的像素值，设置图6A中所示的匹配区域。之后的处理与上述的示例性实施例中类似。
第二示例性实施例与第一示例性实施例的不同在于，针对要处理的图像数据中的各像素设置匹配区域。因此，在步骤S809中计算出目标像素的输出值之后，在步骤S810中确定是否已对图像数据中的全部像素执行了处理。如果在步骤S810中确定存在未处理的像素，则处理返回到步骤S1201，并且从像素值的获取和匹配区域的设置起，重复处理。
在第二示例性实施例中，通过使用目标像素的像素值来设置匹配区域。作为另一选择，与各像素的噪声量相关的信息可以不是目标像素的像素值，并且可以是目标区域中包括的像素的像素值的平均或中值。作为另一选择，可以针对图像数据中的各区域计算像素值的平均值，并且可以针对各区域设置匹配区域。
在上述的示例性实施例中，基于诸如摄像信息及像素值等能够用以预测噪声特性的信息，来设置用于计算相似度的匹配区域。在第三示例性实施例中，将描述如下的方法，即分析图像数据，以估计图像数据中的实际噪声量，并且根据估计出的噪声量来设置匹配区域。与第一示例性实施例中类似的结构被赋予了与第一示例性实施例中相同的附图标记，并且将不再予以描述。
图13例示了根据第三示例性实施例的图像处理装置401。根据第三示例性实施例的图像处理装置401包括噪声量估计单元1301。噪声量估计单元1301估计从输入单元402接收的图像数据中的噪声量。
例如，如果不考虑时间方向上的噪声，则能够近似地获得代表图像数据中的噪声量的噪声方差，作为图像数据的平直部(flatpart)中的方差。通过下面的式(4)来获得方差：
&sigma; 2 = 1 N &Sigma; i = 1 N ( x i - x &OverBar; ) 2 - - - ( 4 ) ,
其中，N代表要获得方差的区域中包括的像素数，x代表各像素值，并且代表区域中包括的像素的像素值的平均值。简言之，式(4)是用于针对区域中的像素的像素值的平均值来获得噪声的方差的公式。
噪声量估计单元1301使用式(4)来估计图像数据中的噪声量。在本示例性实施例中，基于在待处理图像数据中的平直部中估计的噪声量，来设置用于计算目标像素与参照像素之间的相似度的匹配区域。
图14是例示在根据第三示例性实施例的图像处理装置401中执行的处理的流程图。在步骤S1401中，噪声量估计单元1301首先检测图像数据中的平直部。可以运用传统上已知的方法来检测图像数据中的平直部。噪声量估计单元1301通过式(4)，计算在检测出的平直部中估计的噪声量。
在步骤S803中，匹配区域设置单元405根据从噪声量估计单元1301输出的估计噪声量，来设置匹配区域。随着估计噪声量越大，设置包括更多像素数的匹配区域。在此，可以如同在第一示例性实施例中一样使用表格，或者可以如同在第二示例性实施例中一样，根据阈值来确定匹配区域。
步骤S804中及之后的处理与第一示例性实施例中类似。换言之，在本示例性实施例中，针对图像数据中的全部目标像素，基于相同的匹配区域来计算相似度。
根据上述的第三示例性实施例，能够设置包括根据从图像数据中估计的噪声量的像素数的匹配区域。并不总是能够获取到当拍摄待处理图像时使用的摄像单元105的摄像条件及摄像环境。例如，在根据第三示例性实施例的图像处理装置401是一般的个人计算机(PC)和平板电脑终端等的情况下，执行第三示例性实施例中所述的噪声降低处理的图像处理装置401，和通过摄像来生成图像数据的摄像单元105是分开的装置。在这种情况下，可能无法获取到要进行噪声降低的图像数据的摄像信息。因此，通过如同在第三示例性实施例中一样从图像数据中估计噪声量，能够设置包括适当像素数的匹配区域。
在上述的示例性实施例中，基于与图像数据中的噪声相关的信息来设置匹配区域，然后执行噪声降低处理。在第四示例性实施例中，将描述如下的方法，即首先并行地执行分别使用包括不同像素数的匹配区域的噪声降低处理，并且基于图像数据中的噪声量，把使用包括更适当的像素数的匹配区域的噪声降低处理的结果，确定为输出值。
图15是详细例示根据第四示例性实施例的图像处理装置401的框图。输入单元1501输入图像数据。第一目标区域获取单元1502从输入单元1501，获取包括预先设置的目标像素的第一目标区域中的像素值。参照像素确定单元1503确定要处理的参照像素，并将参照像素输出到第一参照区域获取单元1512及第二参照区域获取单元1507。第一参照区域获取单元1512针对参照像素，获取在第一目标区域中的相应位置布置的像素的像素值。相似度计算单元1504计算第一目标区域中的目标像素与参照像素之间的相似度。像素值确定单元1505由与从相似度计算单元1504获取到的相似度相对应的权重，以及相应参照像素的像素值，确定目标像素的第一输出值。
另一方面，第二目标区域获取单元1506从输入单元1501，获取第二目标区域中的像素的像素值。第二目标区域中的像素数与所述第一目标区域中的像素数不同，并且被预先设置。第二参照区域获取单元1507针对参照像素，获取在第二目标区域中的相应位置布置的像素的像素值。相似度计算单元1508计算第二目标区域中的目标像素与参照像素之间的相似度。像素值确定单元1509由与从相似度计算单元1508获取到的相似度相对应的权重，以及相应参照像素的像素值，确定目标像素的第二输出值。
第一输出值和第二输出值分别从像素值确定单元1505和像素值确定单元1509，被输入到选择单元1510。选择单元1510基于与图像数据中的噪声相关的信息，选择第一输出值及第二输出值中的一者作为目标像素的输出值。选择单元1510将选择的值作为目标像素的输出值，输出到输出单元1511。输出单元1511输出包括输出值的输出图像数据。
图16是详细例示选择单元1510的结构的框图。选择单元1510包括评价单元1601和像素数获取单元1602，以及确定单元1603。像素数获取单元1602获取第一目标区域及第二目标区域中各自包括的像素数。换言之，像素数获取单元1602获取分别用于计算第一输出值和第二输出值的像素数。评价单元1601获取各个输入图像数据中的噪声量。如上所述，可以基于与噪声相关的摄像条件或摄像环境，来确定噪声量。作为其他选择，可以针对各目标像素，基于像素值来确定噪声量，或者可以通过式(4)，从图像数据中估计噪声量。
确定单元1603基于由评价单元1601计算出的各个图像数据的噪声量，从第一输出值及第二输出值当中确定基于利用更适当的像素数计算出的相似度的值。
图17是例示根据第四示例性实施例的、由CPU101执行的图像处理装置401的处理的流程图。在第四示例性实施例中，第一目标区域是图6A中所示的包括9个像素的区域，并且第二目标区域是图6B中所示的包括25个像素的区域。
在步骤S1702中，第一目标区域获取单元1502获取在中心处包括目标像素的3×3矩形区域(第一目标区域)中的像素值。在步骤S1703中，参照像素确定单元1503输入要处理的参照像素。在步骤S1704中，获取在中心处包括参照像素的3×3矩形区域中的像素值。在步骤S1705中，相似度计算单元1504基于各个3×3矩形区域中包括的相应像素之间的像素值的差，来计算参照像素与目标像素的相似度。在步骤S1706中，确定是否已将设置的参照像素组中的全部像素作为参照像素进行了处理。如果已针对全部参照像素计算了相似度，则处理前进到步骤S1707。在步骤S1707中，像素值确定单元1505通过利用参照像素的像素值和相应的权重进行加权平均，来计算第一输出值。第一输出值是基于如下的相似度，该相似度是利用各个3×3矩形区域中的相应像素的像素值而计算出的。当通过将全部像素设置为目标像素而计算出第一输出值时，处理从步骤S1708前进到步骤S1716。
除了用于计算相似度的像素组以外，以类似的方式进行从步骤S1709到S1715的处理。如上所述，在从步骤S1709到S1715的处理中，通过使用5×5矩形区域(第二目标区域)中包括的像素组来计算相似度，并且获得第二输出值。
在步骤S1716中，选择单元1510针对各像素，选择从像素值确定单元1505输出的输出值和从像素值确定单元1509输出的输出值中的一者。针对目标像素，评价单元1601针对各像素，评价利用第一目标区域进行了噪声降低并从像素值确定单元1505输出的图像数据，和利用第二目标区域进行了噪声降低并从像素值确定单元1509输出的图像数据。在该示例中，计算各个图像数据中的噪声量。确定单元1603基于评价单元1601的评价结果，确定来自像素值确定单元1505的输出值和来自像素值确定单元1509的输出值中的哪一个经过了更适当的噪声降低。在本示例性实施例中，作为由评价单元1601执行的评价的结果，确定要选择具有较小噪声量的输出值，并且输出选择的输出值。
当已确定了全部像素的输出值时，在步骤S1717中，输出单元1511输出输出图像数据。
在第四示例性实施例中，在已由像素值确定单元1505和像素值确定单元1509处理了全部像素之后，选择单元1510针对各像素选择输出值。然而，这不应该被理解为具有限制的意思。可以在每次分别从像素值确定单元1505和像素值确定单元1509获取到第一输出值及第二输出值时，选择目标像素的输出值。在这种情况下，例如，针对输入图像数据中的各像素，计算噪声方差作为噪声量的评价值，以针对各像素，确定用于计算相似度的适当的像素数。通过存储图18中所示的表格，来确定根据噪声方差的适当像素数。然后，选择单元1510从来自像素值确定单元1505和像素值确定单元1509的输出值当中，选择如下的输出值，该输出值是作为利用包括与确定的像素数更接近的像素数的像素组来计算相似度的结果而获得的。在这种情况下，仅将输入图像数据输入到评价单元1601就足够了。此时，将来自像素值确定单元1505和像素值确定单元1509的输出输入到选择单元1510就足够了。
如上所述，并行地执行分别使用包括不同像素数的匹配区域的噪声降低处理，并且选择所得的输出值中的一者。结果，能够获得与在上述的示例性实施例中一样的相同效果。
在上述的示例性实施例中，将在中心处包括目标像素或参照像素的矩形区域设置为匹配区域。然而，这不应该被理解为具有限制的意思。例如，如图6E所示，可以通过将包括多个非相邻像素的像素组设置为匹配区域，来计算目标像素与参照像素之间的相似度。此外，如图6F所示，可以把在中心处具有目标像素或参照像素的、十字形状的像素组，设置为匹配区域。
在上述的示例性实施例中，描述了在中心处包括目标像素的5×5像素区域，作为用于计算目标像素的输出值的像素的参照像素组。然而，这不应该被理解为具有限制的意思。可以将图像数据中的全部像素设置为参照像素组。作为另一选择，可以将不包括目标像素的多个像素设置为参照像素组。
作为另一选择，可以将NLM以外的公知噪声降低处理和上述的示例性实施例进行组合，并配置为可以依据图像数据来进行切换。在这种情况下，可以根据例如当拍摄图像时设置的ISO感光度，来切换公知的噪声降低处理和上述的示例性实施例。作为另一选择，可以切换上述的示例性实施例和在NLM中将固定数量的像素用于块匹配的噪声降低处理。在这种情况下，在上述示例性实施例中通过以使用像素组候选当中的最小像素数来进行块匹配的方式，来进行将固定数量的像素用于块匹配的噪声降低处理，能够降低计算负荷。
可以通过将存储介质提供给系统或装置来实现本发明。所述存储介质存储有用于实现上述示例性实施例的功能的软件的程序代码。在这种情况下，所述系统或装置的计算机(或者CPU或微处理器单元(MPU))读取并执行存储在计算机可读存储介质中的程序代码，由此，实现所述示例性实施例的功能。
另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多程序)以执行上述实施例中的一个或更多的功能、并且/或者包括用于执行上述实施例中的一个或更多的功能的一个或更多电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多的功能、并且/或者控制所述一个或更多电路执行上述实施例中的一个或更多的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一者或更多。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。所附权利要求的范围应当被赋予最宽的解释，以涵盖所有这类变型以及等同的结构和功能。

Claims (19)

1.一种图像处理装置，其被构造为对图像数据执行噪声降低处理，所述图像处理装置包括：
设置单元，其被构造为从多个像素组候选当中设置像素组，其中，所述多个像素组候选至少包括具有作为第一像素数的多个像素的第一像素组，或者具有作为与所述第一像素数不同的第二像素数的多个像素的第二像素组；
确定单元，其被构造为基于根据由所述设置单元设置的像素组而获得的、目标像素与参照像素之间的相似度，来确定与所述参照像素相对应的权重；以及
输出单元，其被构造为输出基于所述参照像素的像素值以及所述权重而计算出的值，作为所述目标像素的噪声降低的像素值。
2.根据权利要求1所述的图像处理装置，其中，所述设置单元获取与所述图像数据中的噪声相关的信息，并且基于所获取到的与噪声相关的信息来设置像素组。
3.根据权利要求1所述的图像处理装置，其中，所述确定单元基于目标区域来获得与所述参照像素相对应的相似度，其中，基于所设置的像素组，所述目标区域包括所述目标像素以及具有所述参照像素的参照区域。
4.根据权利要求1所述的图像处理装置，其中，所述确定单元将所述图像数据中的多个像素设置为多个参照像素，并且确定分别与所述多个参照像素相对应的多个权重。
5.根据权利要求1所述的图像处理装置，其中，所述设置单元针对所述图像数据中的各个来设置像素组。
6.根据权利要求1所述的图像处理装置，其中，所述设置单元针对所述图像数据中的各像素来设置像素组。
7.根据权利要求1所述的图像处理装置，其中，在与噪声相关的信息表示所述图像数据中的噪声方差大于预定值的第一情况下，所述设置单元将所设置的像素组设置为包括如下的像素数，该像素数大于在与噪声相关的信息表示所述图像数据中的噪声方差比在所述第一情况下小的第二情况下由所述设置单元对所设置的像素组设置的像素数。
8.根据权利要求1所述的图像处理装置，
其中，所述多个像素组候选还包括第三像素组，所述第三像素组具有作为与所述第一像素数及所述第二像素数不同的第三像素数的多个像素，并且，
其中，所述设置单元将所述第一像素组、所述第二像素组及所述第三像素组当中的一个像素组设置为所设置的像素组。
9.一种图像处理装置，所述图像处理装置包括：
第一噪声降低处理单元，其被构造为针对图像数据中的目标像素及参照像素，通过基于所述参照像素与所述目标像素的相似度进行加权，来获得所述目标像素的第一噪声降低的输出值，其中，基于与第一像素组相对应的、包括所述目标像素的目标区域和包括所述参照像素的参照区域，来获得所述参照像素与所述目标像素的相似度；
第二噪声降低处理单元，其被构造为通过基于所述参照像素与所述目标像素的相似度进行加权，来获得所述目标像素的第二噪声降低的输出值，其中，基于与第二像素组相对应的、包括所述目标像素的目标区域和包括所述参照像素的参照区域，来获得所述参照像素与所述目标像素的相似度，其中，所述第二像素组包括与所述第一像素组中的像素数不同的像素数；以及
选择单元，其被构造为基于与所述图像数据中的噪声相关的信息，来选择所述第一噪声降低的输出值和所述第二噪声降低的输出值中的任何一者，作为所述目标像素的噪声降低的输出值。
10.根据权利要求9所述的图像处理装置，
其中，所述第一像素组中包括的像素数大于所述第二像素组中包括的像素数，并且，
其中，在与噪声相关的信息表示所述图像数据中的噪声大于预定值的情况下，所述选择单元选择所述第一噪声降低的输出值。
11.根据权利要求9所述的图像处理装置，其中，与所述图像数据中的噪声相关的信息是表示当获得所述图像数据时的国际标准化组织ISO感光度的信息。
12.根据权利要求9所述的图像处理装置，其中，与所述图像数据中的噪声相关的信息是表示当获得所述图像数据时的曝光时间的信息。
13.根据权利要求9所述的图像处理装置，其中，与所述图像数据中的噪声相关的信息是表示当获得所述图像数据时的温度的信息。
14.根据权利要求9所述的图像处理装置，其中，与所述图像数据中的噪声相关的信息是所述目标像素的像素值。
15.一种图像处理装置，所述图像处理装置包括：
获取单元，其被构造为获取图像数据；以及
处理单元，其被构造为针对所获取到的图像数据中的各像素，利用基于像素组来计算相似度的非局部均值NLM，来对所述图像数据执行噪声降低处理，所述像素组包括基于与所述图像数据中的噪声相关的信息而设置的像素数。
16.一种摄像装置，其包括根据权利要求1所述的图像处理装置。
17.一种图像处理装置的图像处理方法，该图像处理装置被构造为对图像数据执行噪声降低处理，所述图像处理方法包括以下步骤：
从多个像素组候选当中设置像素组，其中，所述多个像素组候选至少包括具有作为第一像素数的多个像素的第一像素组，或者具有作为与所述第一像素数不同的第二像素数的多个像素的第二像素组；
基于根据所设置的像素组而获得的、目标像素与参照像素之间的相似度，来确定与所述参照像素相对应的权重；以及
输出基于所述参照像素的像素值以及所述权重而计算出的值，作为所述目标像素的噪声降低的像素值。
18.一种图像处理装置的图像处理方法，所述图像处理方法包括以下步骤：
经由第一噪声降低处理，针对图像数据中的目标像素及参照像素，通过基于所述参照像素与所述目标像素的相似度进行加权，来获得所述目标像素的第一噪声降低的输出值，其中，基于与第一像素组相对应的、包括所述目标像素的目标区域和包括所述参照像素的参照区域，来获得所述参照像素与所述目标像素的相似度；
经由第二噪声降低处理，通过基于所述参照像素与所述目标像素的相似度进行加权，来获得所述目标像素的第二噪声降低的输出值，其中，基于与第二像素组相对应的、包括所述目标像素的目标区域和包括所述参照像素的参照区域，来获得所述参照像素与所述目标像素的相似度，其中，所述第二像素组包括与所述第一像素组中的像素数不同的像素数；以及
基于与所述图像数据中的噪声相关的信息，来选择所述第一噪声降低的输出值和所述第二噪声降低的输出值中的任何一者，作为所述目标像素的噪声降低的输出值。
19.一种图像处理装置的图像处理方法，所述图像处理方法包括以下步骤：
获取图像数据；以及
针对所获取到的图像数据中的各像素，利用基于像素组来计算相似度的非局部均值NLM，来对所述图像数据执行噪声降低处理，所述像素组包括基于与所述图像数据中的噪声相关的信息而设置的像素数。
CN201510239605.0A 2014-05-14 2015-05-12 图像处理装置及图像处理方法 Active CN105096281B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-100845 2014-05-14
JP2014100845A JP6465563B2 (ja) 2014-05-14 2014-05-14 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN105096281A true CN105096281A (zh) 2015-11-25
CN105096281B CN105096281B (zh) 2019-08-02

Family

ID=54538945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510239605.0A Active CN105096281B (zh) 2014-05-14 2015-05-12 图像处理装置及图像处理方法

Country Status (3)

Country Link
US (2) US20150332440A1 (zh)
JP (1) JP6465563B2 (zh)
CN (1) CN105096281B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875084A (zh) * 2018-07-17 2018-11-23 上海精数信息科技有限公司 项目声量排序方法、装置、电子设备、存储介质
CN111936927A (zh) * 2018-10-31 2020-11-13 深圳市大疆创新科技有限公司 控制装置、摄像装置、系统、控制方法以及程序
CN112801908A (zh) * 2021-02-05 2021-05-14 深圳技术大学 图像去噪方法、装置、计算机设备和存储介质
CN113365000A (zh) * 2020-03-04 2021-09-07 爱思开海力士有限公司 图像感测设备及其操作方法
CN114584673A (zh) * 2020-12-01 2022-06-03 京东方科技集团股份有限公司 一种图像处理方法和装置
CN115379110A (zh) * 2021-05-18 2022-11-22 爱思开海力士有限公司 图像处理装置
CN113365000B (zh) * 2020-03-04 2024-06-04 爱思开海力士有限公司 图像感测设备及其操作方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6465563B2 (ja) * 2014-05-14 2019-02-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7032913B2 (ja) * 2017-11-27 2022-03-09 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
GB2572603B (en) * 2018-04-05 2022-03-23 Imagination Tech Ltd Edge and depth processing hardware
CN112801882B (zh) * 2019-11-14 2022-11-08 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN111583145B (zh) * 2020-04-30 2023-11-28 深圳市商汤智能传感科技有限公司 图像降噪方法及装置、电子设备和存储介质
CN112085682B (zh) * 2020-09-11 2023-08-22 成都国科微电子有限公司 图像降噪方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123679A (zh) * 2006-08-10 2008-02-13 富士通株式会社 图像处理装置、图像处理方法和计算机产品
US20080088857A1 (en) * 2006-10-13 2008-04-17 Apple Inc. System and Method for RAW Image Processing
US20120121203A1 (en) * 2009-08-07 2012-05-17 Takayuki Hara Image processing apparatus, image processing method, and computer program
JP2012156968A (ja) * 2011-01-28 2012-08-16 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2012191311A (ja) * 2011-03-09 2012-10-04 Nippon Telegr & Teleph Corp <Ntt> 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
US20120268623A1 (en) * 2004-05-05 2012-10-25 Centre National De La Recherche Scientifique-Cnrs Image data processing method by reducing image noise, and camera integrating means for implementing said method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8237830B2 (en) * 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
US8824831B2 (en) * 2007-05-25 2014-09-02 Qualcomm Technologies, Inc. Advanced noise reduction in digital cameras
US8861885B2 (en) * 2009-08-26 2014-10-14 Apple Inc. Directional noise filtering
JP5291133B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
JP2013114518A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5932485B2 (ja) * 2012-05-25 2016-06-08 キヤノン株式会社 ノイズリダクション装置及びノイズリダクション方法
JP6362333B2 (ja) * 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6161326B2 (ja) * 2013-02-27 2017-07-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6501452B2 (ja) * 2014-04-04 2019-04-17 キヤノン株式会社 画像処理装置及びシステム、画像処理方法、並びにプログラム
JP6465563B2 (ja) * 2014-05-14 2019-02-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120268623A1 (en) * 2004-05-05 2012-10-25 Centre National De La Recherche Scientifique-Cnrs Image data processing method by reducing image noise, and camera integrating means for implementing said method
CN101123679A (zh) * 2006-08-10 2008-02-13 富士通株式会社 图像处理装置、图像处理方法和计算机产品
US20080088857A1 (en) * 2006-10-13 2008-04-17 Apple Inc. System and Method for RAW Image Processing
US20120121203A1 (en) * 2009-08-07 2012-05-17 Takayuki Hara Image processing apparatus, image processing method, and computer program
JP2012156968A (ja) * 2011-01-28 2012-08-16 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2012191311A (ja) * 2011-03-09 2012-10-04 Nippon Telegr & Teleph Corp <Ntt> 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875084A (zh) * 2018-07-17 2018-11-23 上海精数信息科技有限公司 项目声量排序方法、装置、电子设备、存储介质
CN108875084B (zh) * 2018-07-17 2021-03-12 上海精数信息科技有限公司 项目声量排序方法、装置、电子设备、存储介质
CN111936927A (zh) * 2018-10-31 2020-11-13 深圳市大疆创新科技有限公司 控制装置、摄像装置、系统、控制方法以及程序
CN113365000A (zh) * 2020-03-04 2021-09-07 爱思开海力士有限公司 图像感测设备及其操作方法
CN113365000B (zh) * 2020-03-04 2024-06-04 爱思开海力士有限公司 图像感测设备及其操作方法
CN114584673A (zh) * 2020-12-01 2022-06-03 京东方科技集团股份有限公司 一种图像处理方法和装置
CN114584673B (zh) * 2020-12-01 2024-01-09 京东方科技集团股份有限公司 一种图像处理方法和装置
CN112801908A (zh) * 2021-02-05 2021-05-14 深圳技术大学 图像去噪方法、装置、计算机设备和存储介质
CN112801908B (zh) * 2021-02-05 2022-04-22 深圳技术大学 图像去噪方法、装置、计算机设备和存储介质
CN115379110A (zh) * 2021-05-18 2022-11-22 爱思开海力士有限公司 图像处理装置

Also Published As

Publication number Publication date
US20170289472A1 (en) 2017-10-05
CN105096281B (zh) 2019-08-02
US9967482B2 (en) 2018-05-08
US20150332440A1 (en) 2015-11-19
JP6465563B2 (ja) 2019-02-06
JP2015219603A (ja) 2015-12-07

Similar Documents

Publication Publication Date Title
CN105096281A (zh) 图像处理装置及图像处理方法
US10395103B2 (en) Object detection method, object detection apparatus, and program
US9047673B2 (en) Apparatus and method for extracting target, and recording medium storing program for performing the method
US9934446B2 (en) Object detecting apparatus and method
US9424632B2 (en) System and method for generating high dynamic range images
CN108875519B (zh) 对象检测方法、装置和系统及存储介质
US11734802B2 (en) Image processing apparatus, method, and storage medium for patch-based noise reduction
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
US10311327B2 (en) Image processing apparatus, method of controlling the same, and storage medium
Liu et al. Statistical analysis of the performance assessment results for pixel-level image fusion
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN117496560B (zh) 一种基于多维向量的指纹纹线识别方法及装置
JP6221333B2 (ja) 画像処理装置、画像処理回路及び画像処理方法
JP5772446B2 (ja) 画像処理装置及び画像処理プログラム
JP6614824B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
Bedagkar-Gala et al. Joint modeling of algorithm behavior and image quality for algorithm performance prediction
JP4740889B2 (ja) パラメータ推定装置，パラメータ推定方法，その方法を実装したプログラム及びそのプログラムを記録した記録媒体
JP5206300B2 (ja) プログラム、カメラ、画像処理装置および画像の合焦度算出方法
US10372750B2 (en) Information processing apparatus, method, program and storage medium
JP5353141B2 (ja) プログラム、カメラ、画像処理装置、及び画像の合焦度算出方法
CN115618206B (zh) 干扰数据确定方法、装置、电子设备及存储介质
CN114979607B (zh) 图像处理方法、图像处理器及电子设备
JP6318661B2 (ja) 被写体検出装置、撮像装置及び画像処理プログラム
JP2023156897A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6326840B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant