CN101273623B - 摄像装置、图像处理装置以及图像处理方法 - Google Patents

摄像装置、图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN101273623B
CN101273623B CN2006800355322A CN200680035532A CN101273623B CN 101273623 B CN101273623 B CN 101273623B CN 2006800355322 A CN2006800355322 A CN 2006800355322A CN 200680035532 A CN200680035532 A CN 200680035532A CN 101273623 B CN101273623 B CN 101273623B
Authority
CN
China
Prior art keywords
correction coefficient
signal
unit
picture signal
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800355322A
Other languages
English (en)
Other versions
CN101273623A (zh
Inventor
新垣英哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN101273623A publication Critical patent/CN101273623A/zh
Application granted granted Critical
Publication of CN101273623B publication Critical patent/CN101273623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

本发明的目的是，即使在进行灰度转换处理的情况下，也能取得灰度转换处理和降噪处理之间的协调，并给予图像信号整体均匀的噪声感。信号处理部对来自摄像元件的图像信号进行第一信号转换处理，并将处理后的图像信号转送到校正系数计算部。校正系数计算部根据从信号处理部输入的图像信号计算应用于各区域的灰度转换处理的各区域的校正系数即区域校正系数。降噪部使用由校正系数计算部计算出的区域校正系数，对来自摄像元件的图像信号实施降噪处理，并将处理后的信号转送到信号处理部。信号处理部针对降噪处理后的图像信号使用上述区域校正系数来进行各区域的灰度转换处理，并转送到压缩部。

Description

摄像装置、图像处理装置以及图像处理方法
技术领域
本发明涉及进行灰度转换处理的摄像装置和图像处理装置，特别是涉及控制降噪处理以便给予图像信号整体均匀的噪声感的摄像装置和图像处理装置。
背景技术
在目前的数字静止相机和摄像机等中，为了防止由数字信号处理的位丢失引起的画质退化，针对最终的输出信号的灰度宽度(通常8位)将输入和处理系统中的图像信号的灰度宽度(10～12位左右)设定得更宽。在该情况下，有必要进行灰度转换，以便与输出系统的灰度宽度一致，一般根据与标准场景对应的固定的灰度特性来转换。
然而，在生成具有为了人的视觉功能而主观上优选的灰度特性的图像信号的情况下，有必要按图像信号内的各区域进行不同的灰度转换(以下称为空间移变(space variant)的灰度转换)。
例如在日本特许第3465226号公报中公开了一种方法，该方法根据纹理信息将图像信号分割成区域，并对各区域自适应地进行灰度转换。
而且，一般还进行针对图像信号的降噪，例如在日本特开2004-88149号公报中公开了一种方法，该方法通过按各区域估计图像信号内的噪声量来进行降噪处理。
专利文献1：日本特许第3465226号公报
专利文献2：日本特开2004-88149号公报
在上述日本特许第3465226号公报所示的方法中，由于进行空间移变的灰度转换，因而即使在明暗比大的场景中也能取得充分的改善效果。然而，由于噪声量的变动根据各区域而不同，因而具有图像信号整体的噪声感的平衡崩溃的课题。
并且，在日本特开2004-88149号公报所示的方法中，进行基于摄像元件和摄影条件的噪声量模型化，并在图像信号内根据信号值电平适当地估计噪声量，从而可进行高精度的降噪处理。然而，在进行空间移变的灰度转换的情况下，即使是同一信号值电平，噪声量的变动也根据各区域而不同，因而具有不能准确估计噪声量的课题。
并且，在进行空间移变的灰度转换处理的情况下，即使是在输入时的图像信号中包含相同程度的噪声量的区域，伴随灰度转换的噪声量的变动也不同(例如，当乘以1以下的增益时噪声减少)，因而具有从图像信号整体来看产生不协调感的情况。
发明内容
本发明提供一种即使在进行灰度转换处理的情况下，也能取得灰度转换处理和降噪处理之间的协调，并给予图像信号整体均匀的噪声感的摄像装置、图像处理装置以及图像处理程序。
本发明的第1形态是一种摄像装置，其按各区域对来自摄像元件的图像信号进行灰度转换处理，该摄像装置具有：第一信号处理单元，其根据来自所述摄像元件的图像信号进行第一信号转换处理；校正系数计算单元，其根据通过所述第一信号转换处理而得到的图像信号计算应用于所述各区域的灰度转换处理的所述各区域的校正系数即区域校正系数；降噪单元，其根据来自摄像元件的图像信号使用所述区域校正系数来进行降噪处理；以及第二信号处理单元，其根据通过所述降噪处理而得到的图像信号使用所述区域校正系数来进行所述各区域的灰度转换处理，所述降噪单元具有：噪声量估计单元，其针对来自所述摄像元件的图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述区域校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理，所述摄像装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述区域校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，所述噪声量估计单元使用所述基准噪声模型来估计噪声量，所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量而进行函数化后的模型。
根据这种结构，在第一信号转换处理单元中，对来自摄像元件的图像信号进行第一信号转换处理，在校正系数计算单元中，根据第一信号转换处理后的图像信号计算应用于各区域的灰度转换处理的区域校正系数，换句话说，与空间移变的灰度转换处理相关的校正系数。然后，在降噪处理单元中，对来自摄像元件的图像信号实施使用上述区域校正系数的降噪处理，接下来，在第二信号处理单元中，对降噪处理后的图像信号进行使用上述区域校正系数的各区域的灰度转换处理。
这样，针对进行了规定的信号处理后的图像信号计算与空间移变的灰度转换处理相关的校正系数，并使用该校正系数来对来自摄像元件的图像信号进行降噪处理和灰度转换处理，因而可缓解在进行空间移变的灰度转换处理时强调的针对区域间的噪声感差异的不协调感。并且，由于对来自摄像元件的图像信号进行降噪处理，因而可进行高精度的降噪处理。
另外，以下将本形态与后述的实施方式具体地对应起来说明。即，与本形态对应的实施方式是第1实施方式，例如，作为本形态的构成要素的第一和第二信号处理单元均相当于图1所示的信号处理部105。其中，更具体地说，第二信号处理单元相当于图2所示的校正系数乘法部126。计算单元例如相当于图1所示的校正系数计算部106。降噪单元例如相当于图1所示的降噪部109。
该形态的优选应用例例如如图1所示是这样的摄像装置，即：在信号处理部105中对来自摄像元件(透镜系统100、DDC 101等)的图像信号进行规定的信号处理，在校正系数计算部106中计算与空间移变的灰度转换处理相关的校正系数。然后，在降噪部109中使用上述校正系数对来自摄像元件的图像信号实施降噪处理，在信号处理部105具有的校正系数乘法部126(参照图2)中对降噪后的图像信号进行灰度转换处理。
本发明的第2形态是一种摄像装置，其按各区域对来自摄像元件的图像信号进行灰度转换处理，该摄像装置具有：第一信号处理单元，其根据来自所述摄像元件的图像信号进行第一信号转换处理；校正系数计算单元，其根据通过所述第一信号转换处理而得到的图像信号，计算应用于所述各区域的灰度转换处理的所述各区域的校正系数即区域校正系数；降噪单元，其根据通过所述第一信号转换处理而得到的图像信号使用所述区域校正系数来进行降噪处理；以及第二信号处理单元，其根据通过所述降噪处理而得到的图像信号使用所述区域校正系数来进行所述各区域的灰度转换处理，所述降噪单元具有：噪声量估计单元，其针对通过所述第一信号转换处理而得到的图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述区域校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理，所述摄像装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述区域校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，所述噪声量估计单元使用所述基准噪声模型来估计噪声量，所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量而进行函数化后的模型。
根据这种结构，在第一信号转换处理单元中，对来自摄像元件的图像信号进行第一信号转换处理，在校正系数计算单元中，根据第一信号转换处理后的图像信号计算应用于各区域的灰度转换处理的区域校正系数，换句话说，与空间移变的灰度转换处理相关的校正系数。然后，在降噪处理单元中，对第一信号转换处理后的图像信号实施使用上述区域校正系数的降噪处理，接下来，在第二信号处理单元中，对降噪处理后的图像信号进行使用上述区域校正系数的各区域的灰度转换处理。
这样，针对进行了规定的信号处理后的图像信号计算与空间移变的灰度转换处理相关的校正系数，并使用该校正系数来对进行了规定的信号处理后的图像信号进行降噪处理和灰度转换处理，因而可缓解在进行空间移变的灰度转换处理时强调的针对区域间的噪声感差异的不协调感。并且，由于处理整体按顺序进行，因而与现有的信号处理系统的亲和性高，具有可应用于多种设备的优点。
另外，以下将本形态与后述的实施方式具体地对应起来说明。即，与本形态对应的实施方式是图18示出其整体结构的第2实施方式，作为本形态的构成要素的第一信号处理单元例如相当于图18所示的信号处理部200。并且，计算单元例如相当于校正系数计算部106。降噪单元例如相当于降噪部209。第二信号处理单元例如相当于校正系数乘法部201。
该形态的优选应用例例如如图18所示是这样的摄像装置，即：在信号处理部200中对来自摄像元件的图像信号进行规定的信号处理，在校正系数计算部106中计算与空间移变的灰度转换处理相关的校正系数。然后，在降噪部209中使用上述校正系数对进行了规定的信号处理后的图像信号实施降噪处理，在校正系数乘法部201中对降噪后的图像信号进行灰度转换处理。
在上述摄像装置中可以是，记载的所述校正系数计算单元具有提取单元，该提取单元从通过所述第一信号转换处理而得到的图像信号中提取与所述区域对应的像素的像素值，所述校正系数计算单元根据由该提取单元提取出的与所述区域对应的像素的像素值计算所述区域校正系数。
根据这种结构，在提取单元中，根据实施了规定的图像处理后的图像信号提取与区域对应的像素的像素值。然后，根据由提取单元提取出的与区域对应的像素的像素值计算区域校正系数。在该情况下，提取单元可以从通过第一信号转换处理而得到的图像信号中提取注目像素和包含注目像素的局部区域，并按该各局部区域计算校正系数。由此，可改变局部区域的尺寸。结果，可进行精度和处理速度的调整，可取得处理自由度得到提高的效果。
在上述摄像装置中可以是，所述校正系数计算单元具有直方图计算单元，该直方图计算单元根据由所述提取单元提取出的与所述区域对应的图像信号计算针对该区域的直方图，所述校正系数计算单元根据该直方图计算所述区域校正系数。
根据这种结构，在校正系数计算单元的直方图计算单元中，根据由提取单元提取出的与区域对应的图像信号计算针对区域的直方图。然后，在校正系数计算单元中，根据该直方图计算区域校正系数。这样，由于根据直方图计算与灰度转换相关的校正系数，因而可按各区域进行最佳的灰度转换，可得到高质量的图像信号。
在上述摄像装置中可以是，所述第一信号处理单元具有：缩小率设定单元，其针对由所述图像信号生成单元生成的图像信号设定缩小率；以及缩小图像生成单元，其根据所述缩小率生成缩小图像信号，所述第一信号处理单元通过根据所述缩小图像信号进行信号转换处理来进行所述第一信号转换处理，所述校正系数计算单元根据通过所述第一信号转换处理而得到的图像信号计算修正前的区域校正系数，之后根据所述缩小率修正所述修正前的区域校正系数，以便与来自所述摄像元件的图像信号对应，从而计算所述区域校正系数。
根据这种结构，由缩小率设定单元设定任意的缩小率，在缩小图像生成单元中，根据所设定的缩小率生成缩小图像。然后，校正系数计算单元根据实施了第一信号转换处理后的缩小图像信号计算修正前的区域校正系数，并且，将该修正前的区域系数扩展修正成与来自摄像元件的图像信号(换句话说，原图像信号)对应，从而计算与来自摄像元件的图像信号对应的区域校正系数。
这样，根据原图像信号生成缩小图像信号，并使用该缩小图像信号来计算修正前的校正系数，因而可实现处理的高速化。并且，由于具有设定缩小率的缩小率设定单元，因而可设定任意的缩小率，因此可进行画质和处理时间的调整，可提高处理自由度。
在上述摄像装置中可以是，所述降噪单元具有：噪声量估计单元，其针对来自所述摄像元件的图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述区域校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理。
根据这种结构，在噪声估计单元中，估计与来自摄像元件的图像信号对应的噪声量，由平滑化单元对该图像信号实施基于该噪声量和上述区域校正系数的平滑化处理，从而进行降噪处理。
这样，在降噪单元中，由于根据区域校正系数校正所估计的噪声量，因而可通过灰度转换平衡良好地降低按各区域强调的噪声。在该情况下，由于噪声量估计单元按由上述提取单元进行提取的各区域估计噪声量，因而可进行精度良好的降噪处理。
在上述摄像装置中可以是，所述降噪单元具有：噪声量估计单元，其针对通过所述第一信号转换处理而得到的图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述区域校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理。
根据这种结构，在噪声估计单元中，针对通过第一信号转换处理而得到的图像信号估计噪声量，由平滑化单元对通过该第一信号转换处理而得到的图像信号实施基于该噪声量和上述区域校正系数的平滑化处理，从而进行降噪处理。
这样，在降噪单元中，由于根据区域校正系数校正所估计的噪声量，因而可通过灰度转换平衡良好地降低按各区域强调的噪声。在该情况下，由于噪声量估计单元按由上述提取单元进行提取的各区域估计噪声量，因而可进行精度良好的降噪处理。
在上述摄像装置中可以是，该摄像装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述区域校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，所述噪声量估计单元使用所述基准噪声模型来估计噪声量。
根据这种结构，由于使用用于估计与摄像元件、ISO灵敏度、色信号和校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型来估计噪声量，因而可进行与摄像元件、ISO灵敏度、色信号和校正系数等对应的高精度的噪声量估计。
在上述摄像装置中可以是，所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量而进行函数化后的模型。
这样，由于基准噪声模型使用将处理对象的图像信号的信号值电平和区域校正系数作为独立变量而进行函数化后的模型，因而可进行基于信号值电平和区域校正系数的高精度的噪声量估计。
在上述摄像装置中可以是，所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量，使用线性近似、对数近似和多项式近似中的至少一个而进行函数化后的模型。
这样，由于基准噪声模型使用将处理对象的图像信号的信号值电平和区域校正系数作为独立变量，使用线性近似、对数近似和多项式近似中的至少一个而进行函数化后的模型，因而可提高噪声模型的精度，可得到高质量的图像信号。并且，通过进行函数化，可实现系统的低成本化。
所述第一信号处理单元可以与所述第一信号转换处理一起，进行白平衡处理、插值处理、色度强调处理和边缘强调处理中的至少任意一个。
根据这种结构，由于第一信号处理单元不仅进行第一信号转换处理，而且进行白平衡处理、插值处理、色度强调处理和边缘强调处理中的至少任意一个，因而可将来自摄像元件的图像信号调整为更优选的状态。
在上述摄像装置中可以是，所述第一信号处理单元具有边缘强调处理单元，该边缘强调处理单元与所述第一信号转换处理一起进行边缘强调处理，该边缘强调处理单元具有：边缘强调系数计算单元，其根据处理对象的图像信号计算边缘强调系数；以及边缘强调单元，其根据所述边缘强调系数对所述处理对象的图像信号进行边缘强调。
根据这种结构，第一信号处理单元具有边缘强调处理单元，该边缘强调处理单元不仅进行第一信号转换处理，而且进行边缘强调处理。在该边缘强调处理单元中，在边缘强调系数计算单元中根据处理对象的图像信号计算边缘强调系数，在边缘强调单元中对处理对象的图像信号进行基于边缘强调系数的边缘强调。
这样，根据图像信号计算边缘强调系数，并根据该边缘强调系数进行边缘强调处理，因而可在边缘部和平坦部进行边缘强调效果的调整，可得到高质量的图像信号。
在上述摄像装置中可以是，所述边缘强调处理单元还具有边缘校正系数计算单元，该边缘校正系数计算单元根据所述边缘强调系数计算边缘校正系数，所述降噪单元使用所述区域校正系数和所述边缘校正系数来进行降噪处理。
根据这种结构，在边缘校正系数计算单元中，根据由上述边缘强调系数计算单元计算出的边缘强调系数计算边缘校正系数，在降噪单元中进行使用该边缘校正系数和上述区域校正系数的降噪处理。这样，通过实施基于区域校正系数的降噪处理，可改善由灰度转换引起的各局部区域的噪声感的平衡。
并且，由于上述边缘强调单元进行基于上述边缘校正系数的边缘强调处理，因而可在边缘部和平坦部进行边缘强调效果的调整，可得到更高质量的图像信号。
在上述摄像装置中可以是，所述第二信号处理单元对通过所述降噪处理而得到的图像信号乘以所述区域校正系数来进行所述各区域的灰度转换处理。
根据这种结构，第二信号处理单元对通过降噪处理而得到的图像信号乘以区域校正系数来进行各区域的灰度转换处理。这样，由于通过乘法处理进行灰度转换，因而可实现处理的高速化。
本发明的第3形态是一种图像处理装置，其按各区域对实施了规定的图像处理后的图像信号进行灰度转换处理，该图像处理装置具有：校正系数计算单元，其根据实施了所述规定的图像处理后的图像信号，计算应用于所述各区域的灰度转换处理的所述各区域的校正系数即区域校正系数；转换单元，其根据实施了所述规定的图像处理后的图像信号使用所述区域校正系数来进行所述各区域的灰度转换处理；以及降噪单元，其根据通过所述灰度转换处理而得到的图像信号使用所述区域校正系数来进行降噪处理，所述降噪单元具有：噪声量估计单元，其针对通过所述灰度转换处理而得到的图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述区域校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理，所述图像处理装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述区域校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，所述噪声量估计单元使用所述基准噪声模型来估计噪声量，所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量而进行函数化后的模型。
根据这种结构，在校正系数计算单元中，规定的图像处理针对图像信号计算与空间移变的灰度转换处理相关的校正系数，并使用该校正系数，在转换单元和降噪单元中分别进行灰度转换处理和降噪处理。
由此，可缓解在进行空间移变的灰度转换处理时强调的针对区域间的噪声感差异的不协调感。并且，由于能以独立于摄像装置的形式进行处理，因而可应用于多种图像信号。
另外，以下将本形态与后述的实施方式具体地对应起来说明。即，与本形态对应的实施方式是图25示出其整体结构的第3实施方式，作为本形态的构成要素的校正系数计算单元例如相当于校正系数计算部106。转换单元例如相当于信号处理部105。降噪单元例如相当于降噪部209。
该形态的优选应用例例如如图25所示是这样的图像处理装置，即：针对实施了规定的图像处理后的图像信号，在校正系数计算部106中计算与空间移变的灰度转换处理相关的校正系数，使用上述校正系数在信号处理部105中进行灰度转换处理，然后针对灰度转换处理后的图像信号，在降噪部209中使用上述校正系数来进行降噪处理。
在上述图像处理装置中可以是，所述校正系数计算单元具有提取单元，该提取单元从实施了所述规定的图像处理后的图像信号中提取与所述区域对应的图像信号，所述校正系数计算单元根据由该提取单元提取出的与所述区域对应的图像信号计算所述区域校正系数。
根据这种结构，在提取单元中，从实施了规定的图像处理后的图像信号中提取与区域对应的像素的像素值。然后，根据由提取单元提取出的与区域对应的图像信号，例如根据与该区域对应的像素的像素值计算区域校正系数。在该情况下，提取单元可以从通过第一信号转换处理而得到的图像信号中提取注目像素和包含注目像素的局部区域，并按该各局部区域计算校正系数。
由此，可改变局部区域的尺寸。结果，可进行精度和处理速度的调整，可取得处理自由度得到提高的效果。
在上述图像处理装置中可以是，所述校正系数计算单元具有直方图计算单元，该直方图计算单元根据由所述提取单元提取出的与所述区域对应的图像信号计算针对该区域的直方图，所述校正系数计算单元根据该直方图计算所述区域校正系数。
根据这种结构，在校正系数计算单元的直方图计算单元中，根据由提取单元提取出的与区域对应的图像信号计算针对区域的直方图。然后，在校正系数计算单元中，根据该直方图计算区域校正系数。这样，由于根据直方图计算与灰度转换相关的校正系数，因而可按各区域进行最佳的灰度转换，可得到高质量的图像信号。
在上述图像处理装置中可以是，该图像处理装置具有：缩小率设定单元，其针对实施了所述规定的图像处理后的图像信号设定缩小率；以及缩小图像生成单元，其根据所述缩小率生成缩小图像信号，所述校正系数计算单元根据所述缩小图像信号计算修正前的区域校正系数，之后根据所述缩小率修正所述修正前的区域校正系数，以便与实施了所述规定的图像处理后的图像信号对应，从而计算所述区域校正系数。
根据这种结构，由缩小率设定单元设定任意的缩小率，在缩小图像生成单元中，根据所设定的缩小率生成缩小图像。然后，校正系数计算单元根据该缩小图像信号计算修正前的区域校正系数，并且将该修正前的区域系数扩展修正成与缩小前的实施了规定的图像处理后的图像信号对应，从而计算区域校正系数。
这样，根据实施了规定的图像处理后的图像信号生成缩小图像信号，并使用该缩小图像信号来计算修正前的校正系数，因而可实现处理的高速化。并且，由于具有设定缩小率的缩小率设定单元，因而可设定任意的缩小率，因此可进行画质和处理时间的调整，可提高处理自由度。
在上述图像处理装置中可以是，所述降噪单元具有：噪声量估计单元，其针对通过所述灰度转换处理而得到的图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述区域校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理。
根据这种结构，在噪声估计单元中，针对通过灰度转换处理而得到的图像信号估计噪声量，由平滑化单元对通过该灰度转换处理而得到的图像信号实施基于该噪声量和上述区域校正系数的平滑化处理，从而进行降噪处理。
这样，在降噪单元中，由于根据区域校正系数校正所估计的噪声量，因而可通过灰度转换平衡良好地降低按各区域强调的噪声。在该情况下，由于噪声量估计单元按由上述提取单元进行提取的各区域估计噪声量，因而可进行精度良好的降噪处理。
在上述图像处理装置中可以是，该图像处理装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述区域校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，所述噪声量估计单元使用所述基准噪声模型来估计噪声量。
根据这种结构，由于使用用于估计与摄像元件、ISO灵敏度、色信号和校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型来估计噪声量，因而可进行与摄像元件、ISO灵敏度、色信号和校正系数等对应的高精度的噪声量估计。
在上述图像处理装置中可以是，所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量，使用线性近似、对数近似和多项式近似中的至少一个而进行函数化后的模型。
这样，由于基准噪声模型使用将处理对象的图像信号的信号值电平和区域校正系数作为独立变量，使用线性近似、对数近似和多项式近似中的至少一个而进行函数化后的模型，因而可提高噪声模型的精度，可得到高质量的图像信号。并且，通过进行函数化，可实现系统的低成本化。
在上述图像处理装置中可以是，所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量而进行函数化后的模型。
这样，由于基准噪声模型使用将处理对象的图像信号的信号值电平和区域校正系数作为独立变量而进行函数化后的模型，因而可进行基于信号值电平和区域校正系数的高精度的噪声量估计。
在上述图像处理装置中可以是，所述转换单元具有边缘强调处理单元，该边缘强调处理单元与所述各区域的灰度转换处理一起进行边缘强调处理，该边缘强调处理单元具有：边缘强调系数计算单元，其根据实施了所述规定的图像处理后的图像信号计算边缘强调系数；以及边缘强调单元，其根据所述边缘强调系数对实施了所述规定的图像处理后的图像信号进行边缘强调。
根据这种结构，转换单元具有边缘强调处理单元，该边缘强调处理单元不仅进行各区域的灰度转换处理，而且进行边缘强调处理。在该边缘强调处理单元中，在边缘强调系数计算单元中根据实施了规定的图像处理后的图像信号计算边缘强调系数，在边缘强调单元中对实施了规定的图像处理后的图像信号进行基于边缘强调系数的边缘强调。
这样，根据实施了规定的图像处理后的图像信号计算边缘强调系数，并根据该边缘强调系数进行边缘强调处理，因而可在边缘部和平坦部进行边缘强调效果的调整，可得到高质量的图像信号。
在上述图像处理装置中可以是，所述边缘强调处理单元还具有边缘校正系数计算部，该边缘校正系数计算部根据所述边缘强调系数计算边缘校正系数，所述降噪单元使用所述区域校正系数和所述边缘校正系数来进行降噪处理。
根据这种结构，在边缘校正系数计算单元中，根据由上述边缘强调系数计算单元计算出的边缘强调系数计算边缘校正系数，在降噪单元中进行使用该边缘校正系数和上述区域校正系数的降噪处理。这样，通过实施基于区域校正系数的降噪处理，可改善由灰度转换引起的各局部区域的噪声感的平衡。
并且，由于上述边缘强调单元进行基于上述边缘校正系数的边缘强调处理，因而可在边缘部和平坦部进行边缘强调效果的调整，可得到更高质量的图像信号。
在上述图像处理装置中可以是，所述转换单元通过对实施了所述规定的图像处理后的图像信号乘以所述区域校正系数来进行所述各区域的灰度转换处理。
根据这种结构，转换单元通过对实施了规定的图像处理后的图像信号乘以区域校正系数来进行各区域的灰度转换处理。这样，由于通过乘法处理进行灰度转换，因而可实现处理的高速化。
本发明的第4形态是一种图像处理程序，其按各区域对来自摄像元件的图像信号进行灰度转换处理，该图像处理程序用于使计算机执行如下步骤：根据来自所述摄像元件的图像信号进行第一信号转换处理的步骤；根据通过所述第一信号转换处理而得到的图像信号，计算应用于所述各区域的灰度转换处理的所述各区域的校正系数即区域校正系数的步骤；根据来自摄像元件的图像信号使用所述区域校正系数来进行降噪处理的步骤；以及根据通过所述降噪处理而得到的图像信号使用所述区域校正系数来进行所述各区域的灰度转换处理的步骤。
本发明的第5形态是一种图像处理程序，其按各区域对来自摄像元件的图像信号进行灰度转换处理，该图像处理程序用于使计算机执行如下步骤：对来自所述摄像元件的图像信号进行第一信号转换处理的步骤；根据通过所述第一信号转换处理而得到的图像信号计算应用于所述各区域的灰度转换处理的所述各区域的校正系数即区域校正系数的步骤；根据通过所述第一信号转换处理而得到的图像信号使用所述区域校正系数来进行降噪处理的步骤；以及根据通过所述降噪处理而得到的图像信号使用所述区域校正系数来进行所述各区域的灰度转换处理的步骤。
本发明的第6形态是一种图像处理程序，其按各区域对实施了规定的图像处理后的图像信号进行灰度转换处理，该图像处理程序用于使计算机执行如下步骤：根据实施了所述规定的图像处理后的图像信号计算应用于所述各区域的灰度转换处理的所述各区域的校正系数即区域校正系数的步骤；根据实施了所述规定的图像处理后的图像信号使用所述区域校正系数来进行所述各区域的灰度转换处理的步骤；以及根据通过所述灰度转换处理而得到的图像信号使用所述区域校正系数来进行降噪处理的步骤。
在上述图像处理程序中可以是，所述第一信号转换处理具有边缘强调处理单元，该边缘强调处理单元与所述第一信号转换处理一起进行边缘强调处理，该边缘强调处理单元具有：边缘强调系数计算单元，其根据处理对象的图像信号计算边缘强调系数；以及边缘强调单元，其根据所述边缘强调系数对所述处理对象的图像信号进行边缘强调。
在上述图像处理程序中可以是，所述边缘强调处理单元还具有边缘校正系数计算单元，该边缘校正系数计算单元根据所述边缘强调系数计算边缘校正系数，所述降噪单元使用所述区域校正系数和所述边缘校正系数来进行降噪处理。
本发明的第7形态是一种图像处理装置，其进行灰度转换处理，该图像处理装置具有：计算单元，其根据图像信号计算应用于所述灰度转换处理的校正系数；降噪单元，其根据所述图像信号使用所述校正系数来进行降噪处理；以及转换单元，其根据所述降噪处理后的图像信号使用所述校正系数来进行所述灰度转换处理，所述降噪单元具有：噪声量估计单元，其针对所述计算单元计算校正系数时使用的所述图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理，所述图像处理装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，所述噪声量估计单元使用所述基准噪声模型来估计噪声量，所述基准噪声模型是将处理对象的图像信号的信号值电平和所述校正系数作为独立变量而进行函数化后的模型。
根据这种结构，针对实施了规定的图像处理后的图像信号计算与灰度转换处理相关的校正系数，并使用该校正系数来进行降噪处理和灰度转换处理，因而可缓解按各像素强调的针对噪声感差异的不协调感。
另外，以下将本形态与后述的实施方式具体地对应起来说明。即，与本形态对应的实施方式是图1、图18、图32和图37分别示出其整体结构的第1、第2、第4或第5实施方式，作为本形态的构成要素的计算单元例如相当于图1或图18所示的校正系数计算部106、或者图32或图37所示的校正系数计算部501。降噪单元例如相当于降噪部209。转换单元例如相当于信号处理部105、200、500或504、以及校正系数乘法部126或201。
该形态的优选应用例例如如图1所示是这样的图像处理装置，即：针对实施了规定的图像处理后的图像信号，在图1所示的校正系数计算部106中按各像素或各规定区域计算与灰度转换处理相关的校正系数，然后针对图像信号在降噪部109中使用上述校正系数进行降噪处理，针对降噪处理后的图像信号使用上述校正系数在信号处理部105和校正系数乘法部126(参照图2)中进行灰度转换处理。
本发明的第8形态是一种图像处理装置，其进行灰度转换处理，该图像处理装置具有：计算单元，其根据图像信号计算应用于所述灰度转换处理的校正系数；转换单元，其根据所述图像信号使用所述校正系数来进行所述灰度转换处理；以及降噪单元，其针对由所述转换单元转换后的图像信号，使用所述校正系数来进行降噪处理，所述降噪单元具有：噪声量估计单元，其针对通过所述灰度转换处理而得到的图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理，所述图像处理装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，所述噪声量估计单元使用所述基准噪声模型来估计噪声量，所述基准噪声模型是将处理对象的图像信号的信号值电平和所述校正系数作为独立变量而进行函数化后的模型。
根据这种结构，针对实施了规定的图像处理后的图像信号计算与灰度转换处理相关的校正系数，并使用上述校正系数来进行降噪处理和灰度转换处理，因而可缓解按各像素强调的针对噪声感差异的不协调感。
另外，以下将本形态与后述的实施方式具体地对应起来说明。即，与本形态对应的实施方式是图25和图41分别示出其整体结构的第3或第6实施方式，作为本形态的构成要素的计算单元例如相当于图25所示的校正系数计算部106、或者图41所示的校正系数计算部501。转换单元例如相当于信号处理部105或500。降噪单元例如相当于降噪部209。
该形态的优选应用例例如如图25所示是这样的图像处理装置，即：针对实施了规定的图像处理后的图像信号，在校正系数计算部106中按各像素或各规定区域计算与灰度转换处理相关的校正系数，使用该校正系数在信号处理部105中进行灰度转换处理，然后针对灰度转换处理后的图像信号，在降噪部209中使用上述校正系数来进行降噪处理。
在上述图像处理装置中可以是，所述降噪单元具有：噪声量估计单元，其针对所述图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述校正系数进行平滑化处理。
根据这种结构，针对图像信号估计噪声量，并根据噪声量和校正系数进行降噪处理。这样，例如通过按各区域估计噪声量，可进行精度良好的降噪处理。并且，由于根据校正系数校正所估计的噪声量，因而可通过灰度转换平衡良好地降低按各像素强调的噪声。
在上述图像处理装置中可以是，所述噪声量估计单元具有记录单元，该记录单元记录与摄像元件、ISO灵敏度、色信号和校正系数对应的一个以上的基准噪声模型。
根据这种结构，由于根据与摄像元件、ISO灵敏度、色信号和校正系数对应的噪声模型进行噪声量估计，因而可进行与摄像元件、ISO灵敏度、色信号和校正系数对应的高精度的噪声量估计。
在上述图像处理装置中可以是，所述转换单元具有：边缘强调系数计算单元，其根据所述图像信号计算边缘强调系数；边缘校正系数计算单元，其根据所述边缘强调系数计算边缘校正系数；以及边缘强调单元，其根据所述边缘强调系数对所述图像信号进行边缘强调。
根据这种结构，根据图像信号计算边缘强调系数和边缘校正系数，并根据边缘强调系数进行边缘强调处理，因而可在边缘部和平坦部进行边缘强调效果的调整，可得到高质量的图像信号。
在上述图像处理装置中可以是，所述降噪单元根据所述校正系数和所述边缘校正系数进行降噪处理。
根据这种结构，由于根据校正系数和边缘校正系数进行降噪处理，因而可改善由灰度转换引起的各像素的噪声感的平衡，并可在所强调的边缘部和平坦部进行降噪效果的调整。
本发明的第9形态是一种图像处理方法，其进行灰度转换处理，在该图像处理方法中，根据图像信号计算应用于所述灰度转换处理的校正系数；根据所述图像信号使用所述校正系数来进行降噪处理；以及根据所述降噪处理后的图像信号使用所述校正系数来进行所述灰度转换处理，针对计算校正系数时使用的所述图像信号估计噪声量，根据所述噪声量和所述校正系数进行平滑化处理，通过该平滑化处理进行所述降噪处理；存储用于估计与所述摄像元件、ISO灵敏度、色信号和所述校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型；使用所述基准噪声模型来估计噪声量；所述基准噪声模型是将处理对象的图像信号的信号值电平和所述校正系数作为独立变量而进行函数化后的模型。
本发明的第10形态是一种图像处理方法，其进行灰度转换处理，在该图像处理方法中，根据图像信号计算应用于所述灰度转换处理的校正系数；根据所述图像信号使用所述校正系数来进行所述灰度转换处理；以及针对转换后的图像信号，使用所述校正系数来进行降噪处理，针对通过所述灰度转换处理而得到的图像信号估计噪声量，根据所述噪声量和所述校正系数进行平滑化处理，通过该平滑化处理进行所述降噪处理；存储用于估计与所述摄像元件、ISO灵敏度、色信号和所述校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型；使用所述基准噪声模型来估计噪声量；所述基准噪声模型是将处理对象的图像信号的信号值电平和所述校正系数作为独立变量而进行函数化后的模型。
根据本发明，取得这样的效果，即：即使在进行灰度转换处理的情况下，也能取得灰度转换处理和降噪处理之间的协调，并给予图像信号整体均匀的噪声感。
并且，上述各形态涉及的图像处理装置是具有处理图像数据的功能的装置，例如适合应用于数字静止相机等摄像装置。
附图说明
图1是示出本发明的第1实施方式的摄像装置的概略结构的框图。
图2是示出图1所示的信号处理部的概略结构的框图。
图3是示出图2所示的边缘强调处理部的概略结构的框图。
图4是用于说明边缘校正系数计算的说明图，是示出边缘分量和边缘校正系数之间的关系的一例的曲线图。
图5是示出图1所示的校正系数计算部的概略结构的框图。
图6是示出图1所示的噪声估计部的概略结构的框图。
图7是与注目像素和注目区域相关的说明图。
图8是与注目像素和注目区域相关的说明图。
图9是用于说明噪声量估计的说明图。
图10是用于说明噪声量估计的说明图。
图11是用于说明噪声量估计的说明图。
图12是示出图1所示的降噪部的概略结构的框图。
图13是示出由本发明的第1实施方式的摄像装置实现的信号处理过程的流程图。
图14是示出由本发明的第1实施方式的摄像装置实现的信号处理过程的流程图。
图15是示出图14所示的步骤11中的降噪时的噪声量估计处理的处理过程的流程图。
图16是示出图15所示的步骤20中的噪声量估计处理的处理过程的流程图。
图17是示出图13和图14所示的步骤3和步骤13中的与边缘强调相关的处理过程的流程图。
图18是示出本发明的第2实施方式的摄像装置的概略结构的框图。
图19是示出图18所示的信号处理部的概略结构的框图。
图20是示出图19所示的边缘强调处理部的概略结构的框图。
图21是示出图18所示的噪声估计部的概略结构的框图。
图22是示出图18所示的降噪部的概略结构的框图。
图23是示出由本发明的第2实施方式的摄像装置实现的信号处理过程的流程图。
图24是示出由本发明的第2实施方式的摄像装置实现的信号处理过程的流程图。
图25是示出本发明的第3实施方式的摄像装置的概略结构的框图。
图26是示出图25所示的信号处理部的概略结构的框图。
图27是示出图25所示的校正系数计算部的概略结构的框图。
图28是示出图25所示的噪声估计部的概略结构的框图。
图29是示出图25所示的降噪部的概略结构的框图。
图30是示出由本发明的第3实施方式的摄像装置实现的信号处理过程的流程图。
图31是示出由本发明的第3实施方式的摄像装置实现的信号处理过程的流程图。
图32是示出本发明的第4实施方式的摄像装置的概略结构的框图。
图33是示出图32所示的信号处理部的概略结构的框图。
图34是示出图32所示的校正系数计算部的概略结构的框图。
图35是示出由本发明的第4实施方式的摄像装置实现的信号处理过程的流程图。
图36是示出由本发明的第4实施方式的摄像装置实现的信号处理过程的流程图。
图37是示出本发明的第5实施方式的摄像装置的概略结构的框图。
图38是示出图37所示的信号处理部的概略结构的框图。
图39是示出由本发明的第5实施方式的摄像装置实现的信号处理过程的流程图。
图40是示出由本发明的第5实施方式的摄像装置实现的信号处理过程的流程图。
图41是示出本发明的第6实施方式的摄像装置的概略结构的框图。
图42是示出由本发明的第6实施方式的摄像装置实现的信号处理过程的流程图。
图43是示出由本发明的第6实施方式的摄像装置实现的信号处理过程的流程图。
标号说明
104：缩小图像生成部；105、200：信号处理部；106：校正系数计算部；107：校正系数映射图用缓冲器；108、208：噪声估计部；109、209：降噪部；120：白平衡部；121：校正处理部；122：色度调整部；123：灰度转换部；124：Y/C分离部；125：边缘强调处理部；126、201：校正系数乘法部；132：滤波器用ROM；133：滤波器处理部；134：边缘校正系数计算用ROM；135：边缘校正系数计算部；137：边缘强调部。
具体实施方式
以下，参照附图说明本发明的摄像装置的实施方式。
[第1实施方式]
图1是示出本发明的第1实施方式的摄像装置的一个结构例的框图。在图1中，透镜系统100和CCD 101按该顺序沿光轴配置。CCD 101与A/D转换器102连接。A/D转换器102经由缓冲器103与缩小图像生成部104连接，并与噪声估计部108和降噪部109直接连接。缩小率设定部158与缩小图像生成部104连接。缩小图像生成部104与信号处理部105连接。信号处理部105与校正系数计算部106、降噪部109以及压缩部110连接。校正系数计算部106与校正系数映射图用缓冲器107连接。校正系数映射图用缓冲器107与信号处理部105和噪声估计部108连接。噪声估计部108与降噪部109连接。降噪部109与信号处理部105连接。而且，压缩部110与存储卡等输出部111连接。
下面，简单说明具有上述结构的摄像装置的作用。
首先，经由未作图示的外部接口设定了ISO灵敏度等摄影条件之后，由用户按下未作图示的快门按钮时，通过透镜系统100成像的被摄体像通过CCD 101从光学被摄体被转换成电信号，并作为模拟信号被输出。另外，在本实施方式中，假定CCD 101是把Bayer(拜耳)型原色滤波器配置在前面的单板CCD。上述模拟信号在A/D转换器102中被转换成数字信号，并被转送到缓冲器103。另外，在本实施方式例中，假定A/D转换器102是以12位灰度转换成数字信号的A/D转换器。
缓冲器103内的图像信号(以下把从A/D转换器102转送来的图像信号称为“原图像信号”)最初被转送到缩小图像生成部104。缩小图像生成部104以校正系数计算处理的高速化为目的，根据供校正系数计算用而由缩小率设定部158设定的缩小率，从图像信号生成缩小图像信号。作为图像缩小方法，例如可列举公知的降序抽样方法作为一例。另外，通过把缩小率设定得大或者与图像信号等倍，还能重视校正系数计算精度。这样生成的缩小图像信号被转送到信号处理部105。
信号处理部105读出来自缩小图像生成部104的缩小图像信号，通过进行白平衡调整、插值处理、色度强调处理、灰度转换处理、边缘强调处理等，生成图像信号。
具体地说，信号处理部105对所输入的图像信号进行白平衡调整处理之后，通过插值处理生成三板状态的图像信号，并进行色度强调处理和灰度转换处理。接下来，根据下述的(1)式进行Y/C分离处理，根据转换后的亮度信号Y计算边缘分量，根据该边缘分量进行边缘强调处理，并把边缘强调处理后的图像信号转送到校正系数计算部106。
Y＝0.29900R+0.58700G+0.11400B
Cb＝-0.16874R-0.33126G+0.50000B    (1)
Cr＝0.50000R-0.41869G-0.08131B
接下来，信号处理部105根据针对缩小图像计算出的上述边缘分量计算边缘强调系数，并根据该边缘强调系数计算边缘校正系数。该边缘校正系数是针对原图像信号上的像素的系数，在后级的降噪处理时被利用。另外，详情在后面描述。
校正系数计算部106提取以注目像素为中心的规定尺寸的矩形区域，例如在本实施方式中是16×16像素单位的局部区域。校正系数计算部106根据所提取的局部区域的直方图设定灰度转换曲线，并在基于转换曲线的灰度转换处理中求出各注目像素涉及的校正系数。接下来，校正系数计算部106根据缩小图像信号的缩小率计算针对与缩小图像上的像素对应的原图像信号上的像素的校正系数(以下把该校正系数称为“区域校正系数”)，并将其记录到校正系数映射图用缓冲器107内。由此，在校正系数映射图用缓冲器107内记录有与原图像信号上的像素对应的区域校正系数。该区域校正系数在以后的降噪处理、信号处理(校正系数乘法处理)等中被利用。
然后，噪声估计部108从缓冲器103中取得原图像信号，并从该原图像信号中提取以注目像素为中心的规定尺寸的矩形区域，例如在本实施方式中是6×6像素单位的局部区域。接下来，从上述校正系数映射图用缓冲器107中取得区域校正系数，根据该区域校正系数和在摄影时通过外部接口设定的ISO灵敏度，估计刚才提取的局部区域中的注目像素的噪声量，并将其转送到降噪部109。
降噪部109从缓冲器103中取得原图像信号，根据在上述信号处理部105中计算出的边缘校正系数和由噪声估计部108估计出的噪声量，对该原图像信号的注目像素进行降噪处理，并将降噪处理后的图像信号转送到信号处理部105。
信号处理部105在从降噪部109中取得降噪处理后的图像信号时，对该图像信号进行白平衡调整、插值处理、色度强调处理、灰度转换处理、Y/C分离处理、边缘强调处理等。并且，信号处理部105根据从校正系数映射图用缓冲器107取得的区域校正系数对处理后的图像信号进行校正。此时，在校正后的图像信号超过规定电平的情况下，通过削波处理进一步校正，以使电平处于规定范围内。然后，当针对所有像素的校正处理结束时，信号处理部105将最终的图像信号转送到压缩部110。
压缩部110根据以下的(2)式将信号处理后的图像信号转换成RGB信号之后，进行公知的压缩处理等，并转送到输出部111。
R＝Y+1.40200Cr
G＝Y-0.34414Cb-0.71414Cr    (2)
B＝Y+1.77200Cb
输出部111将图像信号记录保存到存储卡等内。
以下，更详细地说明上述摄像装置的作用。
图2是示出本实施方式的信号处理部105的一个结构例的框图。如图2所示，信号处理部105构成为具有：白平衡部120、插值处理部121、色度强调部122、灰度转换部123、Y/C分离部124、边缘强调处理部125以及校正系数乘法部126。
白平衡部120与插值处理部121和边缘强调处理部125连接。插值处理部121与色度强调部122连接。色度强调部122与灰度转换部123连接。灰度转换部123与Y/C分离部124连接。Y/C分离部124与边缘强调处理部125和校正系数乘法部126连接。边缘强调处理部125与校正系数乘法部126和降噪部109连接。校正系数乘法部126与校正系数映射图用缓冲器107、校正系数计算部106以及压缩部110连接。
在这种结构中，从缩小图像生成部104或降噪部109转送来的图像信号被输入到信号处理部105内的白平衡部120。白平衡部120根据摄影信息，对各色信号乘以规定的白平衡系数来进行白平衡调整。白平衡调整后的图像信号被转送到插值处理部121和边缘强调处理部125。插值处理部121对白平衡调整后的图像信号进行插值处理。插值处理后的图像信号被转送到色度强调部122。色度强调部122对来自插值处理部121的各色信号进行矩阵乘法处理，并进行色度强调。色度强调处理后的信号被转送到灰度转换部123。灰度转换部123根据按照各色信号电平而预先设定的转换曲线进行灰度转换。此时，在超过灰度宽度的情况下进行削波处理，并进行调整以便处于范围内。灰度转换处理后的图像信号被转送到Y/C分离部124。Y/C分离部124根据上述的(1)式将各色信号分离为亮度信号Y和色差信号C。分离后的亮度信号Y被转送到边缘强调处理部125，色差信号C被转送到校正系数乘法部126。
边缘强调处理部125对来自白平衡部120的色信号进行滤波器处理，提取边缘分量，将该边缘分量与从Y/C分离部124提供的插值后的亮度信号Y相加来进行边缘强调处理。边缘强调后的亮度信号Y被转送到校正系数乘法部126。
在输入到信号处理部105的图像信号是来自降噪部109的信号的情况下，校正系数乘法部126从校正系数映射图用缓冲器107中取得与各像素对应的区域校正系数，进行对亮度信号Y和色差信号C乘以所取得的区域校正系数的处理，并将处理后的信号转送到压缩部110。另一方面，在输入到信号处理部105的图像信号是来自缩小图像生成部104的信号的情况下，校正系数乘法部126不进行上述区域校正系数的乘法处理，而是将该信号照原样输出到校正系数计算部106。
图3是示出图2所示的边缘强调处理部125的一个结构例的框图。如该图所示，边缘强调处理部125构成为具有：亮度信号计算部130、缓冲器131、滤波器用ROM 132、滤波器处理部133、边缘校正系数计算用ROM 134、边缘校正系数计算部135、边缘校正系数映射图用缓冲器136以及边缘强调部137。
在边缘强调处理部125中，亮度信号计算部130与缓冲器131连接。滤波器用ROM 132和缓冲器131与滤波器处理部133连接。滤波器处理部133与边缘校正系数计算部135和边缘强调部137连接。并且，边缘强调部137与校正系数乘法部126连接。边缘校正系数计算用ROM 134与边缘校正系数计算部135连接。边缘校正系数计算部135与边缘校正系数映射图用缓冲器136连接。边缘校正系数映射图用缓冲器136与降噪部109连接。
在具有这种结构的边缘强调处理部125中，由白平衡部120白平衡调整后的图像信号被转送到亮度信号计算部130。亮度信号计算部130以像素为单位读出白平衡调整后的图像信号，根据上述的(1)式计算亮度信号Y，并将其转送到缓冲器131。缓冲器131临时保持来自亮度信号计算部130的亮度信号。
滤波器处理部133从滤波器ROM 132中读出公知的边缘分量提取-滤波器处理所需要的滤波器系数。这里，例如是5×5像素尺寸的滤波器的情况下，以5×5像素为单位从缓冲器131中读出局部区域，使用从上述滤波器ROM 132读出的滤波器系数来求出与该局部区域相关的边缘分量，并将所求出的边缘分量转送到边缘校正系数计算部135和边缘强调部137。
边缘强调部137从在Y/C分离部124中根据(1)式转换后的亮度信号Y中提取规定尺寸的局部区域，将来自滤波器处理部133的边缘分量与亮度信号Y相加，进行边缘强调处理。另一方面，边缘校正系数计算部135从边缘校正系数用ROM 134中读出校正边缘的函数或表。
这里，在边缘校正系数用ROM 134内例如存储有使图4所示的输入边缘分量和边缘校正系数相关联的函数或表。
现在，设转换曲线为f()，注目像素Px，y的输入边缘分量为Ex，y，注目像素Px，y的边缘校正系数为Cedge：x，y，则边缘校正系数Cedge：x，y由以下的(3)式给出。
Cedge：x，y＝f(Ex，y)         (3)
边缘校正系数计算部135根据从边缘校正系数用ROM 134读出的函数或表的值进行针对缩小图像信号的边缘校正系数，并根据缩小图像信号的缩小率对针对该缩小图像信号的边缘校正系数进行插值，从而计算针对原图像信号的边缘校正系数，并将计算出的边缘校正系数转送到边缘校正系数映射图用缓冲器136。由此，在边缘校正系数映射图用缓冲器136内记录有针对原图像信号的边缘校正系数，换句话说，把各像素用作注目像素时的针对各像素的边缘校正系数Cedge，该边缘校正系数在后级的降噪处理时被利用。
另外，作为上述插值方法，例如可列举最邻近插值、双线性插值、双三次插值等作为一例。
图5是示出图1所示的校正系数计算处理部106的一个结构例的框图。如该图所示，校正系数计算处理部106构成为具有：缓冲器140、提取部141、直方图计算部142、累积归一化部143以及校正系数计算部144。
信号处理部105与校正系数计算部106的缓冲器140连接。缓冲器140与提取部141连接。提取部141与直方图计算部142连接。直方图计算部142与累积归一化部143连接。累积归一化部143与校正系数计算部144连接。校正系数计算部144与校正系数映射图用缓冲器107连接。
在具有这种结构的校正系数计算处理部106中，从信号处理部105转送来的图像信号经由缓冲器140被提供给提取部141。提取部141从该图像信号(亮度信号Y)中提取局部区域的信号，并将其转送到直方图计算部142。直方图计算部142按各局部区域生成直方图，并将其转送到累积归一化部143。
累积归一化部143通过累积直方图来生成累积直方图，使该累积直方图按照灰度宽度归一化来生成灰度转换曲线，并将其转送到校正系数计算部144。这里，在本实施方式中，由于把图像信号的灰度宽度设为12位，因而上述灰度转换曲线为12位输入12位输出。
校正系数计算部144计算通过与基于来自累积归一化部的灰度转换曲线的区域的信号电平对应的灰度转换处理而产生的区域校正系数。
现在，设灰度转换曲线为t()，输入信号电平为AVc，通过灰度转换处理而产生的校正系数为g’，则校正系数g’由以下的(4)式给出。
g’＝t(AVc)/AVc    (4)
这里，上述校正系数g’是针对缩小图像信号的校正系数。校正系数计算部144根据缩小图像信号的缩小率和与校正系数对应的像素的空间位置坐标，使用上述(4)式和公知的插值处理来计算与原图像信号上的像素对应的区域校正系数g。计算出的区域校正系数g被转送到校正系数映射图用缓冲器107，并在后级的处理时被利用。另外，作为上述插值处理方法，例如可列举最邻近插值、双线性插值、双三次插值等作为一例。
图6是示出噪声估计部108的一个结构例的框图。如该图所示，噪声估计部108构成为具有：提取部145、平均计算部146、增益计算部147、标准值赋予部148、参数选择部149、参数用ROM 150、插值部151以及校正部152。
缓冲器103与提取部145连接。提取部145与平均计算部146连接。提取部145与平均计算部146连接。平均计算部146与参数选择部149连接。校正系数映射图用缓冲器107与增益计算部147连接。增益计算部147、标准值赋予部148以及参数用ROM 150与参数选择部149连接。参数选择部149与插值部151连接。插值部151与校正部152连接。校正部152与降噪部109连接。
在具有这种结构的噪声估计部108中，提取部145从缓冲器103中提取图7所示的以注目像素Px，y为中心的局部区域(Pij(i＝x-1，x，x+1，j＝y-1，y，y+1))，并将其转送到平均值计算部146。并且，提取部145针对单板状态的色信号，如图8所示，按各色信号形成局部区域，之后将其转送到平均值计算部146。然后，以后按该各色信号实施噪声量估计和降噪处理。
平均计算部146使用下述的(5)式来计算局部区域(Pij(i＝x-1，x，x+1，j＝y-1，y，y+1))的平均值AVx，y，并将该平均值AVx，y转送到参数选择部149。
AVx，y＝ΣPij/9         (5)
增益计算部147从校正系数映射图用缓冲器107中读出与注目像素对应的区域校正系数g，并将其转送到参数选择部149。参数选择部149根据来自平均计算部146的局部区域的平均值AVx，y和来自增益计算部147的区域校正系数g来估计噪声量。图9至图11是与噪声量估计相关的说明图。
图9是对把信号电平设为L时的噪声量N作了描绘的图，使用二次函数对图9进行模型化则得到以下的(6)式。
N＝αL2+βL+γ             (6)
在上述式(6)中，α、β、γ分别是常数项。
噪声量N不仅根据信号电平(色信号)的变化而变化，而且根据摄像元件、ISO灵敏度和在灰度转换处理等中与像素值相乘的区域校正系数的变化而变化。α、β、γ是根据这些摄像元件、ISO灵敏度和区域校正系数而决定的值。另外，本发明中的“ISO灵敏度”不是指在银盐相机中使用的胶卷的灵敏度，而是表示在本实施方式的数字相机的情况下，使对摄像元件获得的电信号进行放大时的放大程度与胶卷的灵敏度相当的灵敏度。图9示出区域校正系数是1.0、2.0、3.0时(在该情况下，摄像元件和ISO灵敏度恒定)的噪声量N作为一例。在使α、β、γ反映摄像元件和ISO灵敏度的情况下，标准值赋予部148把摄像元件和ISO灵敏度的信息提供给参数选择部149。然后，参数选择部149决定与区域校正系数g、摄像元件和ISO灵敏度对应的α、β、γ来估计噪声量。此时，与区域校正系数g、摄像元件和ISO灵敏度对应的α、β、γ如以下的(7)式所示，可决定为根据实测值定式化后的函数。
N＝α(g)L2+β(g)L+γ(g)          (7)
在上述(7)式中，α(g)、β(g)、γ(g)是把区域校正系数g设为变量而根据实测值定式化后的函数。然而，噪声量的分布倾向根据处理系统的组合而不同。因此，这里使用二次多项式进行模型化，然而还能按照噪声量分布倾向，进行使用以下的(8)式那样的一次函数或(9)式那样的Log函数的模型化。(8)、(9)式由于能容易地与上述(7)式置换，因而省略说明。
N＝α(g)L+β(g)                (8)
N＝α(g)1ogL                   (9)
不过，记录多个上述(7)式的函数，并每次都通过运算计算噪声量，这在处理上是麻烦的。因此，可以进行图10所示的模型简化。在图10中，针对区域校正系数隔开规定间隔地设定基准噪声模型。这里示出区域校正系数g＝1.0、2.0、3.0时的基准噪声模型。
在本实施方式中，把提供最大噪声量的模型(在图10的例中，g＝3.0的噪声模型)用作基准噪声模型，预先记录以规定数量的折线对该模型进行近似后的结果。折线的拐点使用由信号电平L和噪声量N构成的坐标数据(Ln，Nn)表示。这里，n表示拐点数。并且，也预先记录用于从上述基准噪声模型导出其他噪声模型(即，与g＝3.0以外的g对应的噪声模型)的系数kg。从基准噪声模型导出其他噪声模型是通过乘以上述系数kg来进行的。
图11是示出从图10所示的简化后的噪声模型计算噪声量的方法的图。这里，例如假定求出与所给出的信号电平1和校正系数g对应的噪声量N(在该情况下，摄像元件和ISO灵敏度恒定)。首先，检索信号电平1属于基准噪声模型的哪个区间。这里，假定属于(Ln，Nn)和(Ln+1，Nn+1)之间的区间。然后，使用下述的(10)式通过线性插值求出基准噪声模型中的基准噪声量N1。并且，选择与数值上最接近g的区域校正系数的噪声模型对应的系数kg，如(11)式所示，对该基准噪声量N1乘以系数kg，从而求出噪声量N。
[算式1]
N l = N n + 1 - N n L n + 1 - L n ( l - L n ) + N n - - - ( 10 )
N＝kg□Nl              (11)
参数选择部149根据来自平均计算部146的与注目像素Px，y对应的局部区域的平均值AVx，y设定信号电平1，并使用由增益计算部147读出的区域校正系数来设定与注目像素Px，y对应的区域校正系数g。
接下来，参数选择部149从参数用ROM 150中检索信号电平所属的区间的坐标数据(Ln，Nn)和(Ln+1，Nn+1)，并将其转送到插值部151。而且，从参数用ROM 150中检索系数kg，并将其转送到校正部152。
插值部151根据来自参数选择部149的信号电平和区间的坐标数据(Ln，Nn)和(Ln+1，Nn+1)，基于上述(10)式计算基准噪声模型中的基准噪声量N1，并将其转送到校正部152。
校正部152根据来自参数选择部149的系数kg和来自插值部151的基准噪声量N1，基于(11)式计算噪声量N，将其用作注目像素Px，y的噪声量Nx，y。将各像素作为注目像素而估计出的噪声量Nx，y和平均值AVx，y被转送到降噪部109。
图12是示出降噪部109的一个结构例的框图。如图12所示，降噪部109构成为具有：提取部153、切换部154、范围设定部155、第1平滑化部156以及第2平滑化部157。
缓冲器103与提取部153连接。提取部153与切换部154连接。噪声估计部108和边缘校正系数映射图用缓冲器136与范围设定部155连接。切换部154和范围设定部155与第1平滑化部156和第2平滑化部157连接。第1平滑化部156和第2平滑化部157与信号处理部105连接。
在具有这种结构的降噪部109中，局部区域的平均值AVx，y和噪声量Nx，y从噪声估计部108被转送到范围设定部155。范围设定部155从边缘校正系数映射图用缓冲器136中取得根据上述(3)式计算出的边缘校正系数Cedge，根据该边缘校正系数Cedge、来自噪声估计部108的局部区域的平均值AVx，y以及噪声量Nx，y，使用以下的(12)式设定上限Up和下限Low作为与噪声量相关的容许范围，并把该容许范围的上限Up和下限Low转送到切换部154。
Up＝AVx，y+(Nx，y/2)*Cedge：x，y
Low＝AVx，y-(Nx，y/2)*Cedge：x，y         (12)
并且，范围设定部155把平均值AVx，y和噪声量Nx，y转送到第1平滑化部156和第2平滑化部157。切换部154读出来自提取部153的注目像素Px，y，判断是否属于上述容许范围。判断有三种，即：“属于噪声范围”、“高于噪声范围”、以及“低于噪声范围”。在“属于噪声范围”的情况下，切换部154把注目像素Px，y的像素值PVx，y转送到第1平滑化部156，除此以外，将其转送到第2平滑化部157。
第1平滑化部156使用以下的(13)式，进行把来自范围设定部155的平均值AVx，y代入来自切换部154的注目像素Px，y的像素值PVx，y的处理。
PVx，y＝AVx，y    (13)
进行了上述(13)式的降噪处理后的注目像素P’x，y和噪声量Nx，y被转送到信号处理部105。第2平滑化部157使用来自范围设定部155的平均值AVx，y和噪声量Nx，y，进行校正来自切换部154的注目像素Px，y的处理。首先，在“高于噪声范围”的情况下，按以下的(14)式进行校正。
PVx，y＝AVx，y-Nx，y/2                  (14)
并且，在“低于噪声范围”的情况下，按以下的(15)式进行校正。
PVx，y＝AVx，y+Nx，y/2                  (15)
进行了上述(14)式或(15)式的降噪处理后的注目像素Px，y的像素值PVx，y和噪声量Nx，y被转送到信号处理部105，进行在上述图2中说明的信号处理，处理后的图像信号经由压缩部110被提供给输出部111，从而被记录在记录介质内。
如以上所说明那样，根据本实施方式的摄像装置，在信号处理部105中，对来自摄像元件的图像信号进行规定的图像信号处理(第一信号转换处理)，在校正系数计算部106中，根据图像处理后的图像信号计算应用于各区域的灰度转换处理的区域校正系数，换句话说，与空间移变的灰度转换处理相关的校正系数。然后，在降噪处理部中，对原图像信号实施使用上述区域校正系数的降噪处理，该降噪处理后的图像信号被再次转送到信号处理部105，从而进一步被实施使用区域校正系数的各区域的灰度转换处理。
这样，针对进行了规定的信号处理后的图像信号计算与空间移变的灰度转换处理相关的校正系数，并使用该校正系数对来自摄像元件的图像信号(原图像信号)进行降噪处理和灰度转换处理，因而可缓解在进行空间移变的灰度转换处理时强调的针对区域间的噪声感差异的不协调感。并且，由于对来自摄像元件的图像信号进行降噪处理，因而可进行高精度的降噪处理。
另外，在上述实施方式中，假定CCD 101是将Bayer(拜耳)型原色滤波器配置在前面的单板CCD，然而无需受限于这种结构。例如，还能应用于色差线顺次型补色滤波器和二板、三板CCD。
并且，在上述实施方式中，以硬件的处理为前提，然而无需受限于这种结构。例如，还能使用以下结构，即：把来自CCD 101的信号用作未处理状态的原始(Raw)数据，把从外部接口输入的ISO灵敏度等摄影信息作为头信息来输出，并单独使用软件进行处理。以下，参照图13和图14说明信号处理的软件处理。
图13和图14是示出由本发明的第1实施方式的摄像装置执行的与信号处理的软件处理相关的处理过程的流程图。
在图13的步骤1中，读出图像信号和包含ISO灵敏度等摄影信息的头信息。在步骤2中，生成校正系数计算用的缩小图像。在步骤3中，进行伴随白平衡调整、色插值、色度强调、灰度转换、边缘强调等信号处理和边缘强调处理的边缘校正系数的计算。在步骤4中，提取16×16的局部区域，在步骤5中，进行直方图生成处理。在步骤6中，累积在步骤5中生成的直方图，并进行归一化处理。在步骤7中，根据累积直方图设定灰度转换曲线，并根据转换曲线计算与各像素对应的校正系数。在步骤8中，进行针对计算出的校正系数的削波处理，然后在步骤9中，根据与缩小图像对应的校正系数，计算并记录针对原信号对应的像素的区域校正系数，从而生成校正系数映射图。
在步骤10中，判断所有区域的提取是否已完成，在已完成的情况下移到图14的步骤11，在未完成的情况下移到步骤4。在图14的步骤11中，根据区域校正系数、边缘校正系数和ISO灵敏度进行降噪处理。在步骤12中，进行白平衡调整、色插值、色度强调和灰度转换处理。在步骤13中，进行边缘强调处理。在步骤14中，对图像信号乘以区域校正系数。在步骤15中，使用公知的信号压缩技术进行信号压缩，在步骤16中，输出处理后的信号，结束本处理。
图15是示出上述步骤11中的降噪时的噪声量估计处理的处理过程的流程图。
在步骤18中，从缓冲器输入图像信号。在步骤19中，提取图7所示的注目像素和3×3像素尺寸的局部区域。在步骤20中，如另行说明那样计算与注目像素对应的噪声量。在步骤21中，对注目像素设定上述(12)式所示的容许范围。在步骤22中，判断是否属于容许范围内，在属于的情况下转到步骤23，在不属于的情况下转到步骤24。在步骤23中，进行上述(13)式所示的处理。在步骤24中，进行上述(14)式和(15)式所示的处理。在步骤25中，判断所有区域的提取是否已完成，在未完成的情况下转到步骤19，在已完成的情况下转到步骤26。在步骤26中，把降噪处理后的信号输出到信号处理部。
图16是示出上述步骤20中的噪声量估计处理的处理过程的流程图。
在步骤28中，计算上述(5)式所示的局部区域的平均值。在步骤29中，根据所读入的头信息设定ISO灵敏度等信息。在头信息内不存在所需要的参数的情况下，分配规定的标准值。在步骤30中，从校正系数映射图用缓冲器取得区域校正系数。在步骤31中，读出基准噪声模型的坐标数据和区域校正系数。在步骤32中，通过上述(10)式所示的插值处理求出基准噪声量。在步骤33中，通过(11)式所示的校正处理求出噪声量。在步骤34中，输出计算出的噪声量，结束该处理。另外，在上述步骤31至步骤34中，也可以通过使用(6)式至(9)式来计算噪声量。
图17是示出上述步骤3和步骤13中的与边缘强调相关的处理过程的流程图。
在步骤36中，输入图像信号。在步骤37中，从图像信号中提取局部区域。在步骤38中，通过滤波器处理提取边缘分量。在步骤39中，根据边缘分量计算边缘校正系数。在步骤40中，根据边缘分量进行边缘强调处理。在步骤41中，判断所有区域的提取是否已完成，在未完成的情况下移到步骤37，在已完成的情况下移到步骤42。在步骤42中，输出边缘强调处理已完成的图像信号。
[第2实施方式]
下面，参照附图说明本发明的第2实施方式的摄像装置。
图18是示出本发明的第2实施方式的摄像装置的概略结构的框图。
第2实施方式的结构与上述第1实施方式大致相同，不同点在于，具有信号处理部200来代替信号处理部105，具有噪声估计部208来代替噪声估计部108，具有降噪部209来代替降噪部109，并且还具有校正系数乘法部201。
以下，关于本实施方式的图像处理装置，省略与第1实施方式的共同点而主要说明不同点。另外，对与第1实施方式相同的结构分配相同的名称和编号。
在图18中，缩小率设定部158与缩小图像生成部104连接。信号处理部200与校正系数计算部106、噪声估计部208以及降噪部209连接。校正系数计算部106与校正系数映射图用缓冲器107连接。校正系数映射图用缓冲器107与噪声估计部208和校正系数乘法部201连接。噪声估计部208与降噪部209连接。降噪部209与校正系数乘法部201连接。校正系数乘法部201与压缩部110连接。而且，压缩部110与输出部111连接。
下面，简单说明本实施方式的摄像装置的作用。
首先，经由未作图示的外部接口设定了ISO灵敏度等摄影条件之后，由用户按下未作图示的快门按钮时，通过透镜系统100成像的被摄体像通过CCD 101从光学被摄体被转换成电信号，并作为模拟信号被输出。另外，在本实施方式中，假定CCD 101是把Bayer(拜耳)型原色滤波器配置在前面的单板CCD。上述模拟信号在A/D转换器102中被转换成数字信号，并被转送到缓冲器103。另外，在本实施方式例中，假定A/D转换器102是以12位灰度转换成数字信号的A/D转换器。
缓冲器103内的图像信号最初被转送到缩小图像生成部104。在缩小图像生成部104中，以校正系数计算处理的高速化为目的，根据供校正系数计算用而由缩小率设定部158设定的缩小率，从图像信号生成缩小图像信号。图像缩小方法使用公知的降序抽样方法。并且，通过把缩小率设定得大或者与图像信号等倍，还能重视校正系数计算精度。缩小图像信号被转送到信号处理部200。
信号处理部200对来自缩小图像生成部104的缩小图像信号实施白平衡调整、插值处理、色度强调处理、灰度转换处理、边缘强调处理等，并转送到校正系数计算部106。
校正系数计算部106提取以注目像素为中心的规定尺寸的矩形区域，例如在本实施方式中是16×16像素单位的局部区域。并且，校正系数计算部106根据所提取的局部区域的直方图设定灰度转换曲线，并在基于转换曲线的灰度转换处理中求出各注目像素涉及的校正系数。并且，校正系数计算部106根据缩小图像的缩小率计算针对与缩小图像上的像素对应的原图像信号上的像素的校正系数(区域校正系数)，并将其转送到校正系数映射图用缓冲器107。由此，在校正系数映射图用缓冲器107内记录有与原图像信号对应的区域校正系数。该区域校正系数在以后的降噪处理和信号处理(校正系数乘法处理)中被利用。
然后，信号处理部200从缓冲器103中直接读出原图像信号，对该原图像信号实施白平衡调整、插值处理、色度强调处理、灰度转换处理、边缘强调处理等，然后将处理后的原图像信号转送到噪声估计部208和降噪部209。并且，信号处理部200与上述第1实施方式的信号处理部105一样，在内部具有边缘强调处理部125(参照图2)，进行针对由该边缘强调处理部125计算出的图像信号的边缘校正系数计算，并保持其计算结果。另外，该边缘校正系数在后述的降噪部209中的降噪处理时被利用。
噪声估计部208从由信号处理部200输入的处理后的原图像信号中提取以注目像素为中心的规定尺寸的矩形区域，例如在本实施方式中是3×3像素单位的局部区域。接下来，噪声估计部208根据提取出的局部区域、从校正系数映射图用缓冲器107取得的区域校正系数以及在摄影时通过外部接口设定的ISO灵敏度，估计注目像素的噪声量，并将其转送到降噪部209。
降噪部209从由信号处理部200输入的图像信号中提取注目像素，根据由噪声估计部208估计出的噪声量和在所述信号处理部200中的边缘强调处理时计算出的边缘校正系数进行降噪处理，并把降噪处理后的图像信号转送到校正系数乘法部201。
校正系数乘法部201通过对来自降噪部209的图像信号乘以从校正系数映射图用缓冲器107取得的区域校正系数，进行校正处理。在超过规定电平的情况下，通过削波处理进行校正，以使电平处于规定范围内。当针对所有像素的校正处理结束时，校正系数乘法部201将此时的图像信号作为最终的图像信号转送到压缩部110。压缩部110根据上述的(2)式将信号处理后的图像信号转换成RGB信号，之后进行公知的压缩处理等，并转送到输出部111。输出部111把信号记录保存到存储卡等内。
图19是示出信号处理部200的一个结构例的框图。如该图所示，信号处理部200构成为具有：白平衡部120、插值处理部121、色度强调部122、灰度转换部123、Y/C分离部124以及边缘强调处理部125。
缩小图像生成部104和缓冲器103与白平衡部120连接。白平衡部120与插值处理部121和边缘强调处理部125连接。插值处理部121与色度强调部122连接。色度强调部122与灰度转换部123连接。灰度转换部123与Y/C分离部124连接。Y/C分离部124与边缘强调处理部125连接。边缘强调处理部125和Y/C分离部124与校正系数计算部106、噪声估计部208以及降噪部209连接。
白平衡部120根据摄影信息对各色信号乘以规定的白平衡系数来进行白平衡调整。白平衡调整后的图像信号被转送到插值处理部121和边缘强调处理部125。插值处理部121对白平衡调整后的图像信号进行插值处理。插值处理后的图像信号被转送到色度强调处理部122。色度强调处理部122对来自插值处理部121的各色信号进行矩阵乘法处理，并进行色度强调。色度强调处理后的信号被转送到灰度转换部123。灰度转换部123根据按照各色信号电平而预先设定的转换曲线进行灰度转换。在超过灰度宽度的情况下，进行削波处理，并进行调整以便处于范围内。
灰度转换处理后的信号被转送到Y/C分离部124。Y/C分离部124根据上述的(1)式将各色信号分离为亮度信号Y和色差信号C。亮度信号Y被转送到边缘强调处理部125。边缘强调处理部125通过对来自白平衡部120的色信号进行滤波器处理来提取边缘分量，并将其与插值后的亮度信号Y相加，从而进行边缘强调处理。并且，在图像信号是从缓冲器103被转送到信号处理部200的原图像信号的情况下，边缘强调处理部125根据边缘分量计算边缘校正系数，并在后级的降噪处理中利用。
边缘强调处理后的亮度信号Y与由Y/C分离部124分离出的色差信号C一起在是缩小图像信号的情况下被转送到校正系数计算部106，在是原图像信号的情况下被转送到噪声估计部208和降噪部209。
图20是示出边缘强调处理部125的一个结构例的框图。如该图所示，本实施方式的边缘强调处理部125的结构基本上与第1实施方式的边缘强调处理部大致相同，然而边缘强调部137的连接目的地不同。即，在上述第1实施方式中，边缘强调部137仅与校正系数乘法部126连接(参照图3)，而在本实施方式中，边缘强调部137与校正系数计算部106、噪声估计部208以及降噪部209连接。另外，关于各部的作用，由于与第1实施方式相同，因而省略说明。
图21是示出噪声估计部208的一个结构例的框图。如该图所示，噪声估计部208构成为具有：提取部245、平均计算部246、增益计算部247、标准值赋予部248、参数选择部249、参数用ROM 250、插值部251以及校正部252。
信号处理部200与提取部245连接。提取部245与平均计算部246连接。平均计算部246与参数选择部249连接。校正系数映射图用缓冲器107与增益计算部247连接。增益计算部247、标准值赋予部248以及参数用ROM 250与参数选择部249连接。参数选择部249与插值部251连接。插值部251与校正部252连接。校正部252与降噪部209连接。在本实施方式的噪声估计部208中，关于噪声量估计，使用与在第1实施方式中对色信号估计噪声量相同的方法，对亮度信号Y和色差信号C进行噪声量估计。以下详细说明。
首先，提取部245针对从信号处理部200输入的图像信号提取局部区域的信号，并将其转送到平均计算部246。平均计算部246根据从提取部245输入的局部区域的信号计算用于进行降噪处理的局部区域平均值，并将其转送到参数选择部249。增益计算部247从校正系数映射图用缓冲器107中读出与注目像素对应的区域校正系数，并将其转送到参数选择部249。参数选择部249根据来自平均计算部246的局部区域的平均值以及来自增益计算部247的区域校正系数估计噪声量。这里的与亮度信号Y和色差信号C对应的噪声量的模型定式化、模型简化以及噪声量计算方法由于与上述第1实施方式相同，因而省略说明。估计出的噪声量和平均值被转送到降噪部209。
图22是示出降噪部209的一个结构例的框图。如该图所示，降噪部209构成为具有：提取部253、切换部254、范围设定部255、第1平滑化部256以及第2平滑化部257。
信号处理部200与提取部253连接。提取部253与切换部254连接。并且，噪声估计部208和边缘校正系数映射图用缓冲器136与范围设定部255连接。切换部254和范围设定部255与第1平滑化部256和第2平滑化部257连接。第1平滑化部256和第2平滑化部257与校正系数乘法部201连接。
在本实施方式的降噪部209中，关于噪声量降低方法，使用与在第1实施方式中对色信号进行降噪相同的方法，对亮度信号Y和色差信号C进行降噪。与亮度信号Y和色差信号C对应的噪声量相关的容许范围的设定方法和降噪方法由于与第1实施方式相同，因而省略说明。进行了降噪处理后的图像信号被转送到信号处理部校正系数乘法部201。
如以上所说明那样，根据本实施方式的摄像装置，在信号处理部200中，对来自摄像元件的图像信号(即原图像信号)进行缩小和白平衡调整等规定的图像处理，在校正系数计算部106中，根据该图像处理后的图像信号计算应用于各区域的灰度转换处理的区域校正系数，换句话说，与空间移变的灰度转换处理相关的校正系数。然后，在降噪处理部209中，对由信号处理部200处理后的原图像信号实施使用区域校正系数的降噪处理，接下来，在校正系数乘法部201中，对降噪处理后的图像信号进行使用上述区域校正系数的各区域的灰度转换处理。
这样，针对进行了规定的信号处理后的图像信号计算与空间移变的灰度转换处理相关的校正系数即区域校正系数，并使用该区域校正系数来对进行了规定的信号处理后的图像信号进行降噪处理和灰度转换处理，因而可缓解在进行空间移变的灰度转换处理时强调的针对区域间的噪声感差异的不协调感。并且，由于处理整体按顺序进行，因而与现有的信号处理系统的亲和性高，具有可应用于多种设备的效果。
另外，在上述实施方式中，以硬件的处理为前提，然而无需受限于这种结构。例如，还能使用以下结构，即：把来自CCD 101(参照图18)的信号用作未处理状态的原始(Raw)数据，把从外部接口输入的ISO灵敏度等摄影信息作为头信息来输出，单独使用软件进行处理。
图23是示出与信号处理的软件处理相关的过程的流程图。另外，关于与图13和图14所示的第1实施方式中的信号处理流程相同的处理，分配相同的步骤数。
在图23的步骤1中，读出图像信号和包含ISO灵敏度等摄影信息的头信息。在步骤2中，生成校正系数计算用的缩小图像。在步骤3中，进行白平衡调整、色插值、色度强调、灰度转换以及边缘强调的信号处理。在步骤4中，提取16×16的局部区域，在步骤5中，进行直方图生成处理。在步骤6中，累积在步骤5中生成的直方图并进行归一化处理。在步骤7中，根据累积直方图设定灰度转换曲线，根据转换曲线计算与各像素对应的校正系数。在步骤8中，进行针对计算出的校正系数的削波处理，然后在步骤9中，根据与缩小图像对应的校正系数，计算针对原信号对应的像素的区域校正系数，并将其记录到校正系数映射图用缓冲器内。
在步骤10中，判断所有区域的提取是否已完成，在已完成的情况下移到图24的步骤50，在未完成的情况下移到步骤4。在图24的步骤50中，进行白平衡调整、色插值、色度强调和灰度转换。在步骤51中，进行边缘校正系数的计算和边缘强调处理。在步骤52中，根据区域校正系数、边缘校正系数和ISO灵敏度进行降噪处理。在步骤53中，对图像信号乘以区域校正系数。在步骤15中，使用公知的信号压缩技术来进行信号压缩，在步骤16中，输出处理后的图像信号，结束本处理。另外，步骤52中的降噪和噪声量估计以及步骤51中的边缘强调处理的过程与第1实施方式中的流程相同。
[第3实施方式]
下面，参照附图说明本发明的第3实施方式的摄像装置。
图25是示出本发明的第3实施方式的摄像装置的概略结构的框图。
以下，关于本实施方式的摄像装置，省略与第1实施方式的共同点而主要说明不同点。另外，对与第1实施方式相同的结构分配相同的名称和编号。
在图25中，信号处理部105与缩小图像生成部104、噪声估计部208以及降噪部209连接。缩小率设定部158与缩小图像生成部104连接。缩小图像生成部104与校正系数计算部106连接。校正系数计算部106与校正系数映射图用缓冲器107连接。校正系数映射图用缓冲器107与信号处理部105和噪声估计部208连接。噪声估计部208与降噪部209连接。降噪部209与压缩部110连接。而且，压缩部110与输出部111连接。
在具有上述结构的摄像装置中，经由未作图示的外部接口设定了ISO灵敏度等摄影条件之后，由用户按下未作图示的快门按钮时，通过透镜系统100成像的被摄体像通过CCD 101从光学被摄体被转换成电信号，并作为模拟信号被输出。另外，在本实施方式中，假定CCD 101是把Bayer(拜耳)型原色滤波器配置在前面的单板CCD。上述模拟信号在A/D转换器102中被转换成数字信号，并被转送到缓冲器103。另外，在本实施方式例中，假定A/D转换器102是以12位灰度转换成数字信号的A/D转换器。缓冲器内的图像信号被转送到信号处理部105。
信号处理部105读出来自缓冲器103的图像信号，生成进行了白平衡调整、插值处理、色度强调处理、灰度转换处理、边缘强调处理等后的图像信号，并将其转送到缩小图像生成部104。另外，在还未针对处理对象的图像信号求出校正系数的阶段中，针对边缘强调处理后的图像信号不进行校正系数乘法部126的处理，而是转送到缩小图像生成部104。并且，信号处理部105根据在边缘强调处理时提取出的边缘分量计算边缘校正系数。该边缘校正系数在后级的降噪部209中的降噪处理时被利用。
缩小图像生成部104以校正系数计算处理的高速化为目的，根据供校正系数计算用而由缩小率设定部158设定的缩小率，从实施了规定的图像处理后的图像信号生成缩小图像信号。作为该图像缩小方法，例如可列举公知的降序抽样方法作为一例。并且，通过把缩小率设定得大或者与图像信号等倍，还能重视校正系数计算精度。缩小图像信号被转送到校正系数计算部106。
校正系数计算部106提取以注目像素为中心的规定尺寸的矩形区域，例如在本实施方式中是16×16像素单位的局部区域。并且，校正系数计算部106根据所提取的局部区域的直方图设定灰度转换曲线，并在基于转换曲线的灰度转换处理中求出各注目像素涉及的校正系数。接下来，校正系数计算部106根据从缩小图像生成部104取得的缩小率，计算针对与缩小图像上的像素对应的原图像信号上的像素的校正系数(区域校正系数)，并将其转送到校正系数映射图用缓冲器107。由此，在校正系数映射图用缓冲器107内记录有与原图像信号相关的区域校正系数。该区域校正系数在以后的信号处理(校正系数乘法处理)和降噪处理中被利用。
接下来，信号处理部105从校正系数映射图用缓冲器107中取得区域校正系数，并对边缘强调处理后的图像信号乘以所取得的区域校正系数，从而对处理后的图像信号实施空间移变的灰度转换。此时，在超过规定电平的情况下，通过削波处理进行校正，以使电平处于规定范围内。然后，当针对所有像素的校正处理结束时，信号处理部105把处理后的图像信号转送到噪声估计部208和降噪部209。
噪声估计部208从由信号处理部105输入的处理后的图像信号中提取以注目像素为中心的规定尺寸的矩形区域，例如在本实施方式中是5×5像素单位的局部区域。接下来，根据从校正系数映射图用缓冲器107取得的区域校正系数和在摄影时通过外部接口设定的ISO灵敏度，估计所提取的局部区域中的注目像素的噪声量，并将其转送到降噪部209。
降噪部209从由信号处理部105输入的图像信号中提取注目像素，针对该提取出的注目像素，根据来自噪声估计部208的噪声量和在所述的边缘强调处理时计算出的边缘校正系数进行降噪处理。降噪处理后的图像信号被转送到压缩部110。
压缩部110根据上述的(2)式把信号处理后的图像信号转换成RGB信号，之后进行公知的压缩处理等，并转送到输出部111。输出部111把信号记录保存到存储卡等内。
图26是示出信号处理部105的结构一例的框图。如该图所示，本实施方式的信号处理部105基本上与第1实施方式中的信号处理部的结构相同，然而不同点在于，仅缓冲器103与白平衡部120连接，并且校正系数乘法部126与缩小图像生成部104、噪声估计部208以及降噪部209连接。另外，各部的作用由于相同，因而省略说明。
图27是示出校正系数计算部106的结构一例的框图。如该图所示，本实施方式的校正系数计算部106基本上与第1实施方式中的校正系数计算部106相同，然而不同点在于，缩小图像生成部104与缓冲器140连接。另外，各部的作用由于相同，因而省略说明。
图28是示出噪声估计部208的结构一例的框图。如该图所示，本实施方式的噪声估计部208基本上与第2实施方式中的噪声估计部208大致相同，然而不同点在于，信号处理部105与提取部145连接。另外，关于各部的作用，由于与上述第2实施方式的构成要素相同，因而省略说明。
图29是示出降噪部209的结构一例的框图。如该图所示，本实施方式的降噪部209基本上与第2实施方式中的降噪部209相同，然而不同点在于，信号处理部105与提取部153连接，第1平滑化部156和第2平滑化部157与压缩部110连接。另外，关于各部的作用，由于与上述第2实施方式的各构成要素相同，因而省略说明。
如以上说明那样，根据本实施方式的摄像装置，与上述第1至第2实施方式的摄像装置不同，在校正系数计算部106的近前配置了缩小图像生成部104。由此，在信号处理部105中，仅对原图像信号进行白平衡调整、边缘强调等各种处理，另一方面，在校正系数计算部106中，计算与基于缩小图像信号的空间移变的灰度转换处理相关的校正系数、以及与该校正系数对应的原图像信号上的区域校正系数。即，缩小图像生成部104、校正系数计算部106、校正系数映射图用缓冲器107、噪声估计部208以及降噪部209被独立设置为与其他构成要素分开的块，从而具有容易应用于现有的多种装置的优点。另外，具有可缓解进行空间移变的灰度转换处理时强调的针对区域间的噪声感差异的不协调感的优点，这一点与上述第1至第2实施方式的摄像装置相同。
另外，在上述实施方式中，以硬件的处理为前提，然而无需受限于这种结构。例如，还能使用以下结构，即：把来自CCD 101(参照图25)的信号用作未处理状态的原始(Raw)数据，把从外部接口输入的ISO灵敏度等摄影信息作为头信息来输出，单独使用软件进行处理。
图30和图31是示出与信号处理的软件处理相关的处理过程的流程图。另外，对与图13和图14所示的第1实施方式中的信号处理过程相同的处理分配相同的步骤数。
在图30的步骤1中，读出图像信号和包含ISO灵敏度等摄影信息的头信息。在步骤54中，进行白平衡调整、色插值、色度强调以及灰度转换处理。在步骤55中，进行边缘校正系数计算和边缘强调处理。在步骤56中，生成校正系数计算用的缩小图像。在步骤4中，提取16×16的局部区域，在步骤5中，进行直方图生成处理。在步骤6中，累积在步骤5中生成的直方图，并进行归一化处理。在步骤7中，根据累积直方图设定灰度转换曲线，并根据转换曲线计算与各像素对应的校正系数。
在步骤8中，进行针对计算出的校正系数的削波处理，然后在步骤9中，根据与缩小图像对应的校正系数计算针对原信号对应的像素的区域校正系数，并将其记录。在步骤10中，判断所有区域的提取是否已完成，在已完成的情况下移到图31的步骤57，在未完成的情况下移到步骤4。在图31的步骤57中，对图像信号乘以区域校正系数。在步骤58中，根据区域校正系数、边缘校正系数和ISO灵敏度进行降噪处理。在步骤15中，使用公知的信号压缩技术来进行信号压缩，在步骤16中，输出处理后的信号，结束本处理。
另外，步骤58中的降噪和噪声量估计以及步骤55中的边缘强调流程与第1实施方式中的流程相同。
[第4实施方式]
下面，参照附图说明本发明的第4实施方式的摄像装置。
图32是示出本发明的第4实施方式的摄像装置的概略结构的框图。
第4实施方式的结构与上述第1实施方式大致相同，然而不同点在于，具有信号处理部500而代替信号处理部105，具有校正系数计算部501而代替校正系数计算部106，以及去除缩小率设定部158和缩小图像生成部105。
以下，关于本实施方式的摄像装置，省略与第1实施方式的共同点而主要说明不同点。另外，对与第1实施方式相同的结构分配相同的名称和编号。
在图32中，经由透镜系统100和CCD 101拍摄到的信号在A/D转换器102中被转换成数字信号。来自A/D转换器102的信号经由缓冲器103被转送到信号处理部500、噪声估计部108以及降噪部109。
信号处理部500与校正系数计算部501和压缩部110连接。校正系数计算部501与校正系数映射图用缓冲器107连接。
校正系数映射图用缓冲器107与信号处理部500和噪声估计部108连接。噪声估计部108与降噪部109连接。降噪部109与信号处理部500连接。压缩部110与输出部111连接。
下面，简单说明本实施方式的摄像装置的作用。
首先，经由未作图示的外部接口设定了ISO灵敏度等摄影条件之后，由用户按下未作图示的快门按钮时，通过透镜系统100成像的被摄体像通过CCD 101从光学被摄体被转换成电信号，并作为模拟信号被输出。该模拟信号在A/D转换器102中被转换成数字信号，并被转送到缓冲器103。缓冲器103内的图像信号被转送到信号处理部500。输入到信号处理部500的图像信号在白平衡调整处理后，通过插值处理而成为三板状态的图像信号，进行色度强调处理，之后被转送到校正系数计算部501。在校正系数计算部501中，根据所转送的图像信号中的注目像素、或者局部区域的特征量设定灰度转换曲线，并根据该灰度转换曲线进行灰度转换处理。在该灰度转换处理中，求出注目像素涉及的校正系数，该校正系数被记录在该校正系数映射图用缓冲器107内，并在以后的降噪处理和信号处理(例如，校正系数乘法处理)中被利用。
另外，在本实施方式中，作为特征量使用注目像素的信号电平，然而不限于此。
噪声估计部108从由缓冲器103输入的图像信号中提取以注目像素为中心的规定尺寸的矩形区域，例如在本实施方式中是6×6像素单位的局部区域。接下来，噪声估计部108根据所提取的局部区域、从校正系数映射图用缓冲器107取得的区域校正系数以及在摄影时通过外部接口设定的ISO灵敏度，估计注目像素的噪声量，并将其转送到降噪部109。
降噪部109从由缓冲器103输入的图像信号中提取注目像素，针对该注目像素，根据由噪声估计部208估计出的噪声量进行降噪处理，并把降噪处理后的图像信号及其噪声量转送到信号处理部500。
信号处理部500在从降噪部109收取图像信号时，对该图像信号进行白平衡调整、插值处理、色度强调处理、Y/C分离处理、边缘强调处理等。然后，信号处理部500使用从校正系数映射图用缓冲器107取得的校正系数来对处理后的图像信号进行校正。另外，在超过规定电平的情况下，信号处理部500通过削波处理进行校正，以使电平处于规定范围内。然后，当针对所有像素的校正处理结束时，信号处理部500把该图像信号作为最终的图像信号转送到压缩部110。压缩部110对信号处理后的图像信号进行公知的压缩处理等，并转送到输出部111。输出部111把该图像信号记录保存在存储卡等内。
图33是示出信号处理部500的一个结构例的框图。如该图所示，信号处理部500构成为具有：白平衡部120、插值处理部121、色度强调部122、Y/C分离部124、边缘强调处理部125以及校正系数乘法部126。
从缓冲器103或降噪部109转送来的图像信号被输入到白平衡部120。白平衡部120与插值处理部121和边缘强调处理部125连接。插值处理部121与色度强调部122连接。色度强调部122与Y/C分离部124连接。Y/C分离部124与边缘强调处理部125和校正系数乘法部126连接。边缘强调处理部125与校正系数乘法部126连接，校正系数乘法部126与校正系数映射图用缓冲器107、校正系数计算部501以及压缩部110连接。
在白平衡部120中，根据摄影信息对各色信号乘以规定的白平衡系数来进行白平衡调整。白平衡调整后的图像信号被转送到插值处理部121和边缘强调处理部125。插值处理部121对白平衡调整后的图像信号进行插值处理。插值处理后的图像信号被转送到色度强调部122。色度强调部122对来自插值处理部121的各色信号进行矩阵乘法处理，从而进行色度强调。色度强调处理后的信号被转送到Y/C分离部124。Y/C分离部124根据上述的(1)式将各色信号分离为亮度信号Y和色差信号C，把亮度信号Y转送到边缘强调处理部125，并把色差信号C转送到校正系数乘法部126。
边缘强调处理部125对来自白平衡部120的色信号进行滤波器处理，提取边缘分量，将其与插值后的亮度信号Y相加，从而进行边缘强调处理。边缘强调后的亮度信号Y被转送到校正系数乘法部126。
这里，在输入到信号处理部500的图像信号是来自降噪部109的信号的情况下，校正系数乘法部126从校正系数映射图用缓冲器107中取得与来自边缘强调处理部125的亮度信号Y和来自Y/C分离部124的色差信号C的各像素对应的校正系数，对亮度信号Y和色差信号C进行校正系数的乘法处理，并将处理后的信号转送到压缩部110。
另一方面，在输入到信号处理部500的图像信号是来自缓冲器103的信号的情况下，校正系数乘法部126不进行上述校正系数的乘法运算，而是将亮度信号Y和色差信号C照原样输出到校正系数计算部501。
图34是示出校正系数计算部501的一个结构例的框图。如该图所示，本实施方式的校正系数计算部501具有：缓冲器140、灰度转换曲线设定部502、灰度转换曲线记录部503以及校正系数计算部144。
信号处理部500与缓冲器140连接。缓冲器140和灰度转换曲线记录部503与灰度转换曲线设定部502连接。灰度转换曲线设定部502与校正系数计算部144连接。校正系数计算部144与校正系数映射图用缓冲器107连接。
图像信号经由缓冲器140被输入到信号处理部500。信号处理部500把该图像信号转送到灰度转换曲线设定部502。灰度转换曲线设定部502根据图像信号中的各像素的信号电平，从预先记录在灰度转换曲线记录部503内的灰度转换曲线中选择最佳曲线。在本实施方式中，由于把图像信号的灰度宽度设为12位，因而上述灰度转换曲线为12位输入12位输出。上述灰度转换曲线和信号电平被转送到校正系数计算部144。
这里，还能采用以下结构，即：作为各像素的信号电平，使用以注目像素为中心的规定尺寸的局部区域内的像素的平均信号电平。并且，还能采用以下结构，即：作为与灰度转换曲线相关联的特征量，计算其他特征量(直方图等)，使其与灰度转换曲线相关联而代替信号电平。
校正系数计算部144根据灰度转换曲线和信号电平计算灰度转换中的校正系数。
现在，设灰度转换曲线为t()，输入信号电平为AVc，通过灰度转换处理而产生的校正系数为g，则校正系数由上述的(4)式给出。该校正系数被转送到校正系数映射图用缓冲器107，并在后级的处理时被利用。
另外，在上述实施方式中，以硬件的处理为前提，然而无需受限于这种结构。例如，还能使用以下结构，即：把来自CCD 101(参照图32)的信号用作未处理状态的原始(Raw)数据，把从外部接口输入的ISO灵敏度等摄影信息作为头信息来输出，并单独使用软件进行处理。
图35和图36是示出与信号处理的软件处理相关的过程的流程图。另外，关于与图13和图14所示的第1实施方式中的信号处理流程相同的处理，分配相同的步骤数。
在图35的步骤1中，读出图像信号和包含ISO灵敏度等摄影信息的头信息。在步骤60中，进行白平衡调整、色插值、色度强调等信号处理。在步骤61中，提取注目像素或局部区域，在步骤62中，根据注目像素的像素值或者局部区域内平均像素值设定灰度转换曲线，并根据转换曲线计算与各像素对应的校正系数。在步骤8中，进行针对计算出的校正系数的削波处理。在步骤9中，记录校正系数。在步骤64中，判断所有像素或所有区域的提取是否已完成，在已完成的情况下移到图36的步骤11，在未完成的情况下移到步骤61。
在图36的步骤11中，根据校正系数和ISO灵敏度进行降噪处理。在步骤65中，进行白平衡调整、色插值、色度强调等。在步骤13中，进行边缘强调处理。在步骤14中，对图像信号乘以校正系数。在步骤15中，使用公知的信号压缩技术来进行信号压缩，在步骤16中，输出处理后的信号，结束本处理。
[第5实施方式]
下面，参照附图说明本发明的第5实施方式的摄像装置。
图37是示出本发明的第5实施方式的摄像装置的概略结构的框图。
第5实施方式的结构与上述第2实施方式大致相同，然而不同点在于，具有信号处理部504而代替信号处理部200，具有校正系数计算部501而代替校正系数计算部106，并且不具有缩小率设定部158和缩小图像生成部104。
以下，关于本实施方式的摄像装置，省略与第2实施方式的共同点而主要说明不同点。另外，对与第2实施方式相同的结构分配相同的名称和编号。
在图37中，经由透镜系统100和CCD 101拍摄到的信号在A/D转换器102中被转换成数字信号。来自A/D转换器102的信号经由缓冲器103被转送到信号处理部504、噪声估计部208以及降噪部209。
信号处理部504与校正系数计算部501、噪声估计部208以及降噪部209连接。校正系数计算部501与校正系数映射图用缓冲器107连接。
下面，简单说明本实施方式的摄像装置的作用。
首先，经由未作图示的外部接口设定了ISO灵敏度等摄影条件之后，由用户按下未作图示的快门按钮时，通过透镜系统100成像的被摄体像通过CCD 101从光学被摄体被转换成电信号，并作为模拟信号被输出。该模拟信号在A/D转换器102中被转换成数字信号，并被转送到缓冲器103。缓冲器103内的图像信号被转送到信号处理部504。
信号处理部504对所输入的图像信号进行白平衡调整处理、插值处理、色度强调处理、边缘强调处理等，并将处理后的图像信号转送到校正系数计算部501。并且，信号处理部504在边缘强调处理时，计算与图像信号对应的边缘校正系数。该边缘校正系数在后级的降噪处理时被利用。
校正系数计算部501计算校正系数，并将其记录在校正系数映射图用缓冲器107内。另外，校正系数计算部501具有与上述第4实施方式的校正系数计算部501相同的功能，省略与校正系数计算相关的详细说明。该校正系数在以后的降噪处理和信号处理(例如，校正系数乘法处理)中被利用。
噪声估计部208提取从信号处理部504转送来的图像信号中的以注目像素为中心的规定尺寸的矩形区域，例如在本例中是3×3像素单位的局部区域。并且，噪声估计部208根据所提取的局部区域、从校正系数映射图用缓冲器107取得的校正系数以及在摄影时通过外部接口设定的ISO灵敏度，估计注目像素的噪声量，并将其转送到降噪部209。
降噪部209针对从由信号处理部504转送来的图像信号中提取出的注目像素，根据来自噪声估计部208的噪声量以及在所述边缘强调处理时计算出的边缘校正系数进行降噪处理。降噪处理后的图像信号被转送到校正系数乘法部201。
校正系数乘法部201针对来自降噪部209的图像信号，从校正系数映射图用缓冲器107取得校正系数，并使用该校正系数来进行校正处理。当针对所有像素的校正处理结束时，校正系数乘法部201把处理后的图像信号作为最终的图像信号转送到压缩部110。
图38是示出信号处理部504的一个结构例的框图。如该图所示，信号处理部504构成为具有：白平衡部120、插值处理部121、色度强调部122、Y/C分离部124以及边缘强调处理部125。
缓冲器103与白平衡部120连接。白平衡部120与插值处理部121和边缘强调处理部125连接。插值处理部121与色度强调部122连接。色度强调部122与Y/C分离部124连接。Y/C分离部124与边缘强调处理部125连接。边缘强调处理部125与校正系数计算部501、噪声估计部208以及降噪部209连接。
白平衡部120根据摄影信息对各色信号乘以规定的白平衡系数来进行白平衡调整。白平衡调整后的图像信号被转送到插值处理部121和边缘强调处理部125。插值处理部121对白平衡调整后的图像信号进行插值处理。插值处理后的图像信号被转送到色度强调部122。色度强调部122对来自插值处理部121的各色信号进行矩阵乘法处理，并进行色度强调。色度强调处理后的信号被转送到Y/C分离部124。Y/C分离部124根据上述的(1)式将各色信号分离为亮度信号Y和色差信号C。亮度信号Y和色差信号C被转送到边缘强调处理部125。
边缘强调处理部125通过对来自白平衡部120的色信号进行滤波器处理来提取边缘分量，并将其与插值处理后的亮度信号Y相加来进行边缘强调处理。并且，在图像信号是从缓冲器103被转送到信号处理部200的原图像信号的情况下，边缘强调处理部125根据边缘分量计算边缘校正系数，并在后级的降噪处理中利用。
边缘强调处理后的亮度信号Y与在Y/C分离部124分离出的色差信号C一起被转送到校正系数计算部501、噪声估计部208以及降噪部209。
另外，在上述实施方式中，以硬件的处理为前提，然而无需受限于这种结构。例如，还能使用以下结构，即：把来自CCD 101(参照图37)的信号用作未处理状态的原始(Raw)数据，把从外部接口输入的ISO灵敏度等摄影信息作为头信息来输出，单独使用软件进行处理。
图39和图40是示出与信号处理的软件处理相关的过程的流程图。另外，关于与图23和图24所示的第2实施方式中的信号处理流程相同的处理，分配相同的步骤数。
在图39的步骤1中，读出图像信号和包含ISO灵敏度等摄影信息的头信息。在步骤66中，进行白平衡调整、色插值、色度强调等信号处理。在步骤67中，进行边缘校正系数的计算和边缘强调处理。在步骤61中，提取注目像素或局部区域，在步骤62中，根据注目像素的像素值或者局部区域内平均像素值设定灰度转换曲线，并根据转换曲线计算与各像素对应的校正系数。在步骤8中，进行针对计算出的校正系数的削波处理。在步骤63中，记录校正系数。在步骤64中，判断所有像素或所有区域的提取是否已完成，在已完成的情况下移到图40的步骤52，在未完成的情况下移到步骤61。
在图40的步骤52中，根据校正系数、边缘校正系数以及ISO灵敏度进行降噪处理。在步骤53中，对图像信号乘以校正系数。在步骤15中，使用公知的信号压缩技术来进行信号压缩，在步骤16中，输出处理后的图像信号，结束本处理。
另外，步骤52中的降噪处理和步骤67中的边缘强调处理与第2实施方式中的处理内容相同。
[第6实施方式]
下面，参照附图说明本发明的第6实施方式的摄像装置。
图41是示出本发明的第6实施方式的摄像装置的概略结构的框图。
第6实施方式的结构与上述第3实施方式大致相同，然而不同点在于，具有信号处理部500而代替信号处理部105，具有校正系数计算部501而代替校正系数计算部106，并且不具有缩小率设定部158和缩小图像生成部104。
以下，关于本实施方式的摄像装置，省略与第3实施方式的共同点而主要说明不同点。另外，对与第3实施方式相同的结构分配相同的名称和编号。
在图41中，经由透镜系统100和CCD 101拍摄到的信号在A/D转换器102中被转换成数字信号。来自A/D转换器102的信号经由缓冲器103被转送到信号处理部500。信号处理部500与噪声估计部208、降噪部209以及校正系数计算部501连接。
校正系数计算部501与校正系数映射图用缓冲器107连接。校正系数映射图用缓冲器107与信号处理部500和噪声估计部208连接。
噪声估计部208与降噪部209连接。降噪部209与压缩部110连接。而且，压缩部110与存储卡等输出部111连接。
下面，简单说明本实施方式的摄像装置的作用。
首先，经由未作图示的外部接口设定了ISO灵敏度等摄影条件之后，由用户按下未作图示的快门按钮时，通过透镜系统100成像的被摄体像通过CCD 101从光学被摄体被转换成电信号，并作为模拟信号被输出。该模拟信号在A/D转换器102中被转换成数字信号，并被转送到缓冲器103。信号处理部500从缓冲器103读入图像信号，进行白平衡调整处理、插值处理、色度强调处理、边缘强调处理等，并将处理后的图像信号转送到校正系数计算部501。并且，信号处理部500在边缘强调处理时，计算与图像信号对应的边缘校正系数。该边缘校正系数在后级的降噪处理时被利用。
校正系数计算部501计算所转送的图像信号中的校正系数，并将其记录到校正系数映射图用缓冲器107内。另外，校正系数计算部501的校正系数计算方法与上述第4实施方式的校正系数计算部501相同。该校正系数在以后的信号处理(例如，校正系数乘法处理)和降噪处理中被利用。
信号处理部500对边缘强调处理后的图像信号乘以从校正系数映射图用缓冲器107取得的校正系数，并对所有像素进行校正处理。校正处理后的信号被转送到噪声估计部208和降噪部209。
噪声估计部208在来自信号处理部500的图像信号中提取以注目像素为中心的规定尺寸的矩形区域，例如在本例中是5×5像素单位的局部区域。并且，噪声估计部208根据所提取的局部区域、从校正系数映射图用缓冲器107取得的校正系数以及在摄影时通过外部接口设定的ISO灵敏度，估计注目像素的噪声量，并将其转送到降噪部209。
降噪部209针对来自信号处理部500的从图像信号中提取出的注目像素，根据来自噪声估计部208的噪声量以及在所述边缘强调处理时计算出的边缘校正系数进行降噪处理。降噪处理后的图像信号被转送到压缩部110进行压缩，压缩后的图像信号通过输出部111记录在存储卡等内。
另外，在上述实施方式中，以硬件的处理为前提，然而无需受限于这种结构。例如，还能使用以下结构，即：把来自CCD 101(参照图41)的信号用作未处理状态的原始(Raw)数据，把从外部接口输入的ISO灵敏度等摄影信息作为头信息来输出，单独使用软件进行处理。
图42和图43是示出与信号处理的软件处理相关的过程的流程图。另外，关于与图30和图31所示的第3实施方式中的信号处理流程相同的处理，分配相同的步骤数。
在图42的步骤1中，读入图像信号和包含ISO灵敏度等摄影信息的头信息。在步骤66中，进行白平衡调整、色插值、色度强调等信号处理。在步骤67中，进行边缘校正系数的计算和边缘强调处理。在步骤61中，提取注目像素或局部区域，在步骤62中，根据注目像素的像素值或者局部区域内平均像素值设定灰度转换曲线，并根据转换曲线计算与各像素对应的校正系数。在步骤8中，进行针对计算出的校正系数的削波处理。在步骤63中，记录校正系数。在步骤10中，判断所有像素或所有区域的提取是否已完成，在已完成的情况下移到图43的步骤53，在未完成的情况下移到步骤61。
在图43的步骤53中，对图像信号乘以校正系数。在步骤52中，根据校正系数、边缘校正系数以及ISO灵敏度进行降噪处理。
在步骤15中，使用公知的信号压缩技术来进行信号压缩，在步骤16中，输出处理后的信号，结束本处理。
另外，步骤52中的降噪处理和噪声量估计处理以及步骤67中的边缘强调处理与上述第3实施方式中的处理过程相同。

Claims (25)

1.一种摄像装置，其按图像的各区域进行灰度转换处理，该摄像装置具有：
第一信号处理单元，其根据来自摄像元件的图像信号进行第一信号转换处理；
校正系数计算单元，其根据通过所述第一信号转换处理而得到的图像信号，计算应用于所述各区域的灰度转换处理的所述各区域的校正系数即区域校正系数；
降噪单元，其根据来自所述摄像元件的图像信号使用所述区域校正系数来进行降噪处理；以及
第二信号处理单元，其根据通过所述降噪处理而得到的图像信号使用所述区域校正系数来进行所述各区域的灰度转换处理，
所述降噪单元具有：噪声量估计单元，其针对来自所述摄像元件的图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述区域校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理，
所述摄像装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述区域校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，
所述噪声量估计单元使用所述基准噪声模型来估计噪声量，
所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量而进行函数化后的模型。
2.一种摄像装置，其按图像的各区域进行灰度转换处理，该摄像装置具有：
第一信号处理单元，其根据来自摄像元件的图像信号进行第一信号转换处理；
校正系数计算单元，其根据通过所述第一信号转换处理而得到的图像信号，计算应用于所述各区域的灰度转换处理的所述各区域的校正系数即区域校正系数；
降噪单元，其根据通过所述第一信号转换处理而得到的图像信号使用所述区域校正系数来进行降噪处理；以及
第二信号处理单元，其根据通过所述降噪处理而得到的图像信号使用所述区域校正系数来进行所述各区域的灰度转换处理，
所述降噪单元具有：噪声量估计单元，其针对通过所述第一信号转换处理而得到的图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述区域校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理，
所述摄像装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述区域校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，
所述噪声量估计单元使用所述基准噪声模型来估计噪声量，
所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量而进行函数化后的模型。
3.根据权利要求1或权利要求2所述的摄像装置，其中，所述校正系数计算单元具有提取单元，该提取单元从通过所述第一信号转换处理而得到的图像信号中提取与所述区域对应的像素的像素值，所述校正系数计算单元根据由该提取单元提取出的与所述区域对应的像素的像素值计算所述区域校正系数。
4.根据权利要求3所述的摄像装置，其中，所述校正系数计算单元具有直方图计算单元，该直方图计算单元根据由所述提取单元提取出的与所述区域对应的图像信号计算针对该区域的直方图，所述校正系数计算单元根据该直方图计算所述区域校正系数。
5.根据权利要求1或权利要求2所述的摄像装置，其中，
所述第一信号处理单元具有：缩小率设定单元，其针对来自所述摄像元件的图像信号设定缩小率；以及缩小图像生成单元，其根据所述缩小率生成缩小图像信号，所述第一信号处理单元通过根据所述缩小图像信号进行信号转换处理来进行所述第一信号转换处理，
所述校正系数计算单元根据通过所述第一信号转换处理而得到的图像信号计算所述区域校正系数，根据所述缩小率修正所述区域校正系数，以便与来自所述摄像元件的图像信号对应。
6.根据权利要求1或权利要求2所述的摄像装置，其中，所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量，使用线性近似、对数近似和多项式近似中的至少一个而进行函数化后的模型。
7.根据权利要求1或权利要求2所述的摄像装置，其中，所述第一信号处理单元不仅进行所述第一信号转换处理，而且进行白平衡处理、插值处理、色度强调处理和边缘强调处理中的至少任意一个。
8.根据权利要求1或权利要求2所述的摄像装置，其中，所述第一信号处理单元具有边缘强调处理单元，该边缘强调处理单元不仅进行所述第一信号转换处理，而且进行边缘强调处理，该边缘强调处理单元具有：边缘强调系数计算单元，其根据处理对象的图像信号计算边缘强调系数；以及边缘强调单元，其根据所述边缘强调系数对所述处理对象的图像信号进行边缘强调。
9.根据权利要求8所述的摄像装置，其中，
所述边缘强调处理单元还具有边缘校正系数计算单元，该边缘校正系数计算单元根据所述边缘强调系数计算边缘校正系数，
所述降噪单元使用所述区域校正系数和所述边缘校正系数来进行降噪处理。
10.根据权利要求1或权利要求2所述的摄像装置，其中，所述第二信号处理单元对通过所述降噪处理而得到的图像信号乘以所述区域校正系数来进行所述各区域的灰度转换处理。
11.一种图像处理装置，其按图像的各区域进行灰度转换处理，该图像处理装置具有：
校正系数计算单元，其根据图像信号计算应用于所述各区域的灰度转换处理的所述各区域的校正系数即区域校正系数；
转换单元，其根据所述图像信号使用所述区域校正系数来进行所述各区域的灰度转换处理；以及
降噪单元，其根据通过所述灰度转换处理而得到的图像信号使用所述区域校正系数来进行降噪处理，
所述降噪单元具有：噪声量估计单元，其针对通过所述灰度转换处理而得到的图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述区域校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理，
所述图像处理装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述区域校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，
所述噪声量估计单元使用所述基准噪声模型来估计噪声量，
所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量而进行函数化后的模型。
12.根据权利要求11所述的图像处理装置，其中，所述校正系数计算单元具有提取单元，该提取单元从所述图像信号中提取与所述区域对应的图像信号，所述校正系数计算单元根据由该提取单元提取出的与所述区域对应的图像信号计算所述区域校正系数。
13.根据权利要求12所述的图像处理装置，其中，所述校正系数计算单元具有直方图计算单元，该直方图计算单元根据由所述提取单元提取出的与所述区域对应的图像信号计算针对该区域的直方图，所述校正系数计算单元根据该直方图计算所述区域校正系数。
14.根据权利要求11～权利要求13中的任意一项所述的图像处理装置，其中，
该图像处理装置具有：缩小率设定单元，其针对所述图像信号设定缩小率；以及缩小图像生成单元，其根据所述缩小率生成缩小图像信号，
所述校正系数计算单元根据所述缩小图像信号计算所述区域校正系数，根据所述缩小率修正所述区域校正系数，以便与所述图像信号对应。
15.根据权利要求11所述的图像处理装置，其中，所述基准噪声模型是将处理对象的图像信号的信号值电平和所述区域校正系数作为独立变量，使用线性近似、对数近似和多项式近似中的至少一个而进行函数化后的模型。
16.根据权利要求11～权利要求13中的任意一项所述的图像处理装置，其中，所述转换单元具有边缘强调处理单元，该边缘强调处理单元不仅进行所述各区域的灰度转换处理，而且进行边缘强调处理，该边缘强调处理单元具有：边缘强调系数计算单元，其根据所述图像信号计算边缘强调系数；以及边缘强调单元，其根据所述边缘强调系数对所述图像信号进行边缘强调。
17.根据权利要求16所述的图像处理装置，其中，
所述边缘强调处理单元还具有边缘校正系数计算部，该边缘校正系数计算部根据所述边缘强调系数计算边缘校正系数，
所述降噪单元使用所述区域校正系数和所述边缘校正系数来进行降噪处理。
18.根据权利要求11～权利要求13中的任意一项所述的图像处理装置，其中，所述转换单元通过对所述图像信号乘以所述区域校正系数来进行所述各区域的灰度转换处理。
19.一种图像处理装置，其进行灰度转换处理，该图像处理装置具有：
计算单元，其根据图像信号计算应用于所述灰度转换处理的校正系数；
降噪单元，其根据所述图像信号使用所述校正系数来进行降噪处理；以及
转换单元，其根据所述降噪处理后的图像信号使用所述校正系数来进行所述灰度转换处理，
所述降噪单元具有：噪声量估计单元，其针对所述计算单元计算校正系数时使用的所述图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理，
所述图像处理装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，
所述噪声量估计单元使用所述基准噪声模型来估计噪声量，
所述基准噪声模型是将处理对象的图像信号的信号值电平和所述校正系数作为独立变量而进行函数化后的模型。
20.根据权利要求19所述的图像处理装置，其中，
所述转换单元具有：
边缘强调系数计算单元，其根据进行了所述降噪处理后的所述图像信号计算边缘强调系数；
边缘校正系数计算单元，其根据所述边缘强调系数计算边缘校正系数；以及
边缘强调单元，其根据所述边缘强调系数对进行了所述降噪处理后的所述图像信号进行边缘强调。
21.根据权利要求19所述的图像处理装置，其中，所述降噪单元根据所述校正系数和所述边缘校正系数进行降噪处理。
22.一种图像处理装置，其进行灰度转换处理，该图像处理装置具有：
计算单元，其根据图像信号计算应用于所述灰度转换处理的校正系数；
转换单元，其根据所述图像信号使用所述校正系数来进行所述灰度转换处理；以及
降噪单元，其针对由所述转换单元转换后的图像信号使用所述校正系数来进行降噪处理，
所述降噪单元具有：噪声量估计单元，其针对通过所述灰度转换处理而得到的图像信号估计噪声量；以及平滑化单元，其根据所述噪声量和所述校正系数进行平滑化处理，所述降噪单元通过该平滑化处理进行所述降噪处理，
所述图像处理装置具有噪声模型存储单元，该噪声模型存储单元存储有用于估计与所述摄像元件、ISO灵敏度、色信号和所述校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型，
所述噪声量估计单元使用所述基准噪声模型来估计噪声量，
所述基准噪声模型是将处理对象的图像信号的信号值电平和所述校正系数作为独立变量而进行函数化后的模型。
23.根据权利要求22所述的图像处理装置，其中，
所述转换单元具有：
边缘强调系数计算单元，其根据所述计算单元计算校正系数时使用的所述图像信号计算边缘强调系数；
边缘校正系数计算单元，其根据所述边缘强调系数计算边缘校正系数；以及
边缘强调单元，其根据所述边缘强调系数对所述计算单元计算校正系数时使用的所述图像信号进行边缘强调。
24.一种图像处理方法，其进行灰度转换处理，在该图像处理方法中，
根据图像信号计算应用于所述灰度转换处理的校正系数；
根据所述图像信号使用所述校正系数来进行降噪处理；
根据所述降噪处理后的图像信号使用所述校正系数来进行所述灰度转换处理；
针对计算校正系数时使用的所述图像信号估计噪声量，根据所述噪声量和所述校正系数进行平滑化处理，通过该平滑化处理进行所述降噪处理；
存储用于估计与所述摄像元件、ISO灵敏度、色信号和所述校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型；
使用所述基准噪声模型来估计噪声量；
所述基准噪声模型是将处理对象的图像信号的信号值电平和所述校正系数作为独立变量而进行函数化后的模型。
25.一种图像处理方法，其进行灰度转换处理，在该图像处理方法中，
根据图像信号计算应用于所述灰度转换处理的校正系数；
根据所述图像信号使用所述校正系数来进行所述灰度转换处理；
针对转换后的图像信号使用所述校正系数来进行降噪处理；
针对通过所述灰度转换处理而得到的图像信号估计噪声量，根据所述噪声量和所述校正系数进行平滑化处理，通过该平滑化处理进行所述降噪处理；
存储用于估计与所述摄像元件、ISO灵敏度、色信号和所述校正系数中的至少任意一个的变化对应的噪声量的基准噪声模型；
使用所述基准噪声模型来估计噪声量；
所述基准噪声模型是将处理对象的图像信号的信号值电平和所述校正系数作为独立变量而进行函数化后的模型。
CN2006800355322A 2005-09-28 2006-09-28 摄像装置、图像处理装置以及图像处理方法 Active CN101273623B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005283021 2005-09-28
JP283021/2005 2005-09-28
PCT/JP2006/319296 WO2007037325A1 (ja) 2005-09-28 2006-09-28 撮像装置

Publications (2)

Publication Number Publication Date
CN101273623A CN101273623A (zh) 2008-09-24
CN101273623B true CN101273623B (zh) 2012-07-04

Family

ID=37899749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800355322A Active CN101273623B (zh) 2005-09-28 2006-09-28 摄像装置、图像处理装置以及图像处理方法

Country Status (5)

Country Link
US (1) US8115833B2 (zh)
EP (1) EP1931134A4 (zh)
JP (1) JP4717885B2 (zh)
CN (1) CN101273623B (zh)
WO (1) WO2007037325A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100207A (ja) * 2007-10-16 2009-05-07 Olympus Corp ノイズ低減システム、ノイズ低減プログラム及び撮像システム
JP2009145991A (ja) * 2007-12-11 2009-07-02 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP5197423B2 (ja) * 2009-02-18 2013-05-15 オリンパス株式会社 画像処理装置
JP2011095933A (ja) * 2009-10-28 2011-05-12 Sony Corp シェーディング補正方法、シェーディング補正値測定装置、撮像装置及びビームプロファイル測定装置
KR20110048922A (ko) * 2009-11-03 2011-05-12 삼성전자주식회사 이미지 센서의 통합 노이즈 모델링 방법 및 이를 이용하는 노이즈 저감 방법
JP5526840B2 (ja) * 2010-02-09 2014-06-18 ソニー株式会社 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
JP2012191250A (ja) * 2011-03-08 2012-10-04 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP5948073B2 (ja) * 2012-02-08 2016-07-06 株式会社 日立産業制御ソリューションズ 画像信号処理装置、画像信号処理方法
TWI519151B (zh) * 2012-08-30 2016-01-21 義晶科技股份有限公司 影像處理方法以及影像處理裝置
JP2015097382A (ja) * 2013-10-08 2015-05-21 キヤノン株式会社 情報処理装置、撮像システム、情報処理方法、及びプログラム
JP6485068B2 (ja) * 2014-02-05 2019-03-20 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
JP6613554B2 (ja) * 2014-09-30 2019-12-04 株式会社ニコン 画像処理装置およびプログラム
CN105306788B (zh) * 2015-10-27 2018-05-15 广东欧珀移动通信有限公司 一种拍照图像的降噪方法和装置
CN109785347A (zh) * 2018-04-27 2019-05-21 京东方科技集团股份有限公司 图像处理方法、图像处理系统及存储介质
CN113840048B (zh) * 2021-09-02 2024-04-12 信利光电股份有限公司 一种智能调整摄像头画面四角亮度的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287794A (ja) * 2003-03-20 2004-10-14 Minolta Co Ltd 画像処理装置
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム
CN1633159A (zh) * 2005-01-26 2005-06-29 北京中星微电子有限公司 一种去除图像噪声的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155586A (en) 1991-08-19 1992-10-13 Sony Corporation Of America Method and apparatus for flare correction
JPH0818852A (ja) 1994-07-01 1996-01-19 Sony Corp ビデオカメラのノイズ除去装置
JP3465226B2 (ja) 1999-10-18 2003-11-10 学校法人慶應義塾 画像濃度変換処理方法
JP3762725B2 (ja) 2002-08-22 2006-04-05 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP4411879B2 (ja) 2003-07-01 2010-02-10 株式会社ニコン 信号処理装置、信号処理プログラム、および電子カメラ
JP4356376B2 (ja) * 2003-07-01 2009-11-04 株式会社ニコン 信号処理装置、信号処理プログラム、および電子カメラ
US7515748B2 (en) * 2004-01-22 2009-04-07 Lexmark International, Inc. Controlled moving window adaptive histogram equalization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287794A (ja) * 2003-03-20 2004-10-14 Minolta Co Ltd 画像処理装置
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム
CN1633159A (zh) * 2005-01-26 2005-06-29 北京中星微电子有限公司 一种去除图像噪声的方法

Also Published As

Publication number Publication date
EP1931134A4 (en) 2009-07-01
CN101273623A (zh) 2008-09-24
WO2007037325A1 (ja) 2007-04-05
US8115833B2 (en) 2012-02-14
JPWO2007037325A1 (ja) 2009-04-09
JP4717885B2 (ja) 2011-07-06
EP1931134A1 (en) 2008-06-11
US20090167901A1 (en) 2009-07-02

Similar Documents

Publication Publication Date Title
CN101273623B (zh) 摄像装置、图像处理装置以及图像处理方法
US8411991B2 (en) Image processing apparatus, image processing method, and program
US7570390B2 (en) Image processing device and method
US8654221B2 (en) Image processing device and method, and program
US8116563B2 (en) Image processing device and method, recording medium, and program
CN101861728B (zh) 降噪系统、降噪方法以及摄像系统
CN100366052C (zh) 图像处理设备和方法
US7755670B2 (en) Tone-conversion device for image, program, electronic camera, and tone-conversion method
US8164662B2 (en) Image-processing device for color image data and method for the image processing of color image data
CN101715049B (zh) 噪声消除处理电路、噪声消除处理方法及固体摄像装置
JP4523008B2 (ja) 画像処理装置および撮像装置
JP2006319781A (ja) 画像処理装置、画像処理プログラム
US20100188529A1 (en) Image processing apparatus and storage medium storing image processing program
CN105993170B (zh) 图像处理装置、摄像装置、图像处理方法
CN102223480A (zh) 图像处理装置及图像处理方法
KR100601967B1 (ko) 영상의 다이나믹 레인지 압축 장치 및 방법
US8351695B2 (en) Image processing apparatus, image processing program, and image processing method
JP2006114006A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
JP3951993B2 (ja) 撮像装置及びこの撮像装置に用いられるカラーデータ計測方法
JP2001078235A (ja) 画像評価方法および画像評価装置
JP2002223350A (ja) 画像処理装置
CN100369455C (zh) 影像动态响应重新分布装置与方法及使用其的数码相机
CN115205140A (zh) 图像颜色校正方法、校正设备以及可读存储介质
JP2002176584A (ja) 自動露出補正装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant