CN100574372C - 信息处理装置和方法、学习装置和方法 - Google Patents

信息处理装置和方法、学习装置和方法 Download PDF

Info

Publication number
CN100574372C
CN100574372C CNB2007100011129A CN200710001112A CN100574372C CN 100574372 C CN100574372 C CN 100574372C CN B2007100011129 A CNB2007100011129 A CN B2007100011129A CN 200710001112 A CN200710001112 A CN 200710001112A CN 100574372 C CN100574372 C CN 100574372C
Authority
CN
China
Prior art keywords
mentioned
image
pixel
noise
photography conditions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2007100011129A
Other languages
English (en)
Other versions
CN101005569A (zh
Inventor
神明克尚
高桥健治
市川勉
泽尾贵志
矢野幸司
杉山寿伸
奥村明弘
井上孝夫
高桥纪晃
近藤哲二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101005569A publication Critical patent/CN101005569A/zh
Application granted granted Critical
Publication of CN100574372C publication Critical patent/CN100574372C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Image Input (AREA)

Abstract

提供信息处理装置和方法、学习装置和方法。能够更准确地除去由图像传感器拍摄的图像中包含的噪声。图像传感器部将表示拍摄被摄体时的摄影条件的摄影条件信息提供给系数ROM号码算出部，并且将摄影图像提供给类分类适应处理部。系数ROM号码算出部根据摄影条件从系数ROM中指定最佳系数ROM，将其系数ROM号码提供给系数ROM保存部。系数ROM保存部从指定的系数ROM获取与类代码对应的预测系数。类分类适应处理部使用预测系数求出从摄影图像除去噪声的处理图像并输出，该预测系数是将摄影图像进行类分类的类代码提供给系数ROM保存部而得到的。本发明能够应用于摄像装置。

Description

信息处理装置和方法、学习装置和方法
技术领域
本发明涉及一种信息处理装置和信息处理方法、学习装置和学习方法、以及程序，特别是涉及能够更准确地除去由图像传感器拍摄的图像中包含的噪声的信息处理装置和信息处理方法、学习装置和学习方法、以及程序。
背景技术
本申请人已经提出了类分类适应处理(例如参照专利文献1)。类分类适应处理是如下的信号处理：将输入的第一图像的规定区域的多个像素的像素值、与通过使用了教师图像和学生图像的学习处理而预先求出的预测系数的线性1次式进行运算，由此，从输入的第一图像求出第二图像信号。
如果第一图像是包括噪声的图像、第二图像是除去(降低)噪声的图像，则该类分类适应处理作为噪声除去处理发挥功能，另外如果第一图像是SD(Standard Definition：标准清晰度)图像、第二图像是比SD图像更高分辨率的HD(High Definition：高清晰度)图像，则该类分类适应处理作为将低分辨率图像变换为高分辨率图像的分辨率变换处理而发挥功能。
在专利文献1中公开的类分类适应处理中，由用户自身操作操纵杆等来指定噪声除去处理中的除去噪声的程度(噪声除去度)、分辨率变换处理中的变换后的分辨率(水平分辨率以及垂直分辨率)，可根据该指定的值来变更上述的预测系数。
以往，在使用了类分类适应处理的噪声除去处理中，将由调谐器等接收到的图像(信号)、从记录再现装置被再现的图像(信号)设为第一图像，作为从该第一图像除去的噪声，设想有传输时、压缩时产生的弱电场噪声、压缩失真的噪声等。
另外，在通过CCD(Charge Coupled Device：电荷耦合器件)传感器、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器等图像传感器进行拍摄(摄影)而得到的图像中，具有根据拍摄时的照度、曝光时间等而变化的特性(噪声特性)的噪声。
例如，由图像传感器拍摄的图像中包含的噪声量(水平)和拍摄时曝光时间之间的关系(特性)如图1所示，曝光时间越长噪声量也越大，因此，曝光时间越长，作为信号(Signal)和噪声(Noise)之间的比的S/N比越小。另外，拍摄时的照度(亮度)和S/N比之间的关系是拍摄时的照度越低、信号和噪声的水平越接近，因此如图2所示，拍摄时的照度越低，S/N比越小。
专利文献1：日本特开2002-218414号公报
发明内容
发明要解决的问题
如上所述，在由图像传感器拍摄的图像中包含的噪声中，有与传输时、压缩时产生的弱电场噪声、压缩失真的噪声不同类型的噪声，在使用了现有类分类适应处理的噪声除去处理中，无法充分除去。
本发明是鉴于这种状况而提出的，其能够更准确地除去由图像传感器拍摄的图像中包含的噪声。
用于解决问题的手段
本发明的第一侧面的信息处理装置，具备：摄影单元，拍摄被摄体；类分类单元，将上述摄影单元所输出的第一图像根据上述第一图像的摄影条件特征分类为类；保存单元，保存拍摄时的摄影条件不同的多个系数存储器，该系数存储器存储通过根据下述的学习装置而学习获得的每个上述类的预测系数；指定单元，根据上述摄影单元拍摄时的上述摄影条件，从多个上述系数存储器中指定一个上述系数存储器；和运算单元，通过使用所指定的上述系数存储器的、上述第一图像的上述类的预测系数进行运算，求出从上述第一图像除去噪声的第二图像。
上述摄影条件可以是拍摄时的照度或者曝光时间。
在上述保存单元中还保存上述拍摄时的摄影条件和上述摄影单元固有的每个固有信息的上述系数存储器，在上述指定单元中根据上述摄影条件以及上述固有信息，可以从保存的多个上述系数存储器中指定一个上述系数存储器。
在上述保存单元中还保存上述拍摄时的摄影条件和表示构成上述摄影单元的像素中的缺陷像素的位置的每个缺陷位置信息的第二系数存储器，在上述指定单元中根据上述摄影条件以及上述缺陷位置信息，可以从保存的多个上述系数存储器中指定一个上述第二系数存储器，在上述运算单元中对上述缺陷像素进行校正、且求出从上述第一图像除去噪声的第二图像。
还可以设置：缺陷像素检测单元，检测上述摄影单元的上述缺陷像素，输出上述缺陷位置信息；和存储单元，存储上述缺陷位置信息。
在上述缺陷像素检测单元中，可以根据不同时间拍摄的两张图像的对应的各像素是否具有相同的像素值，检测上述缺陷像素。
上述摄影单元、上述类分类单元、上述保存单元、上述指定单元、以及上述运算单元的全部、或者至少包括上述摄影单元的一部分，能够由芯片构成。
本发明的第一侧面的信息处理方法，包括以下步骤：将拍摄被摄体所得到的第一图像，根据上述第一图像的摄影条件特征分类为类；根据得到上述第一图像时的摄影条件，从拍摄时的上述摄影条件不同的多个系数存储器中指定一个上述系数存储器，其中，上述系数存储器存储通过根据下述的学习方法而学习获得的每个上述类的预测系数；通过使用所指定的上述系数存储器的、上述第一图像的上述类的预测系数进行运算，求出从上述第一图像除去噪声的第二图像。
本发明的第一侧面的程序，使计算机执行以下步骤：将拍摄被摄体所得到的第一图像，根据其特征分类为类；根据得到上述第一图像时的上述摄影条件，从拍摄时的摄影条件不同的多个系数存储器中指定一个上述系数存储器，其中，上述系数存储器存储通过学习获得的每个上述类的预测系数；通过使用所指定的上述系数存储器的、上述第一图像的上述类的预测系数进行运算，求出从上述第一图像除去噪声的第二图像。
在本发明的第一侧面中，将拍摄被摄体所得到的第一图像根据其特征分类为类；根据得到第一图像时的摄影条件，从拍摄时的摄影条件不同的多个系数存储器中指定一个系数存储器，其中，上述系数存储器存储通过学习获得的每个类的预测系数。然后，通过使用所指定的系数存储器的第一图像的类的预测系数进行运算，求出从第一图像除去噪声的第二图像。
本发明的第二侧面的学习装置，学习预测系数，该预测系数在进行作为所拍摄的图像的摄影图像的噪声除去处理时使用，该学习装置具备：条件决定单元，决定摄影条件；摄影单元，在所决定的上述摄影条件下，拍摄被摄体；噪声图像生成单元，生成抽出了通过上述摄影单元拍摄的图像中包含的噪声的噪声图像；教师图像生成单元，生成成为噪声除去处理后的目标图像的教师图像；学生图像生成单元，通过对上述教师图像附加上述噪声图像，生成与进行噪声除去处理之前的上述摄影图像相当的学生图像；存储单元，按不同的每个上述摄影条件，存储上述教师图像和上述学生图像的成对的数据；抽出单元，关于上述摄影条件的每个，从上述学生图像抽出在求出作为构成对的上述教师图像的像素的关注像素中使用的多个像素；和运算单元，根据抽出的上述多个像素运算上述预测系数，其中，上述预测系数使利用上述预测系数求出的上述关注像素的预测误差统计上最小。
在上述噪声图像生成单元中通过运算成为由上述摄影单元拍摄的多个上述图像的平均的图像、与由上述摄影单元拍摄的多个上述图像各个之间的差分，生成多个上述噪声图像。
本发明的第二侧面的学习方法，学习预测系数，该预测系数在进行作为所拍摄的图像的摄影图像的噪声除去处理时使用，该学习方法包括以下步骤：决定摄影条件；在所决定的上述摄影条件下，拍摄被摄体；生成抽出了所拍摄的图像中包含的噪声的噪声图像；生成成为噪声除去处理后的目标图像的教师图像；通过对上述教师图像附加上述噪声图像，生成与进行噪声除去处理之前的上述摄影图像相当的学生图像；按不同的每个上述摄影条件，存储上述教师图像和上述学生图像的成对的数据；关于上述摄影条件的每个，从上述学生图像抽出在求出作为构成对的上述教师图像的像素的关注像素中使用的多个像素；和根据抽出的上述多个像素运算上述预测系数，其中，上述预测系数使利用上述预测系数求出的上述关注像素的预测误差统计上最小。
本发明的第二侧面的程序，使计算机执行学习预测系数的处理，该预测系数在进行作为所拍摄的图像的摄影图像的噪声除去处理时使用，该程序包括以下步骤：决定摄影条件；在所决定的上述摄影条件下，拍摄被摄体；生成抽出了所拍摄的图像中包含的噪声的噪声图像；生成成为噪声除去处理后的目标图像的教师图像；通过对上述教师图像附加上述噪声图像，生成与进行噪声除去处理之前的上述摄影图像相当的学生图像；按不同的每个上述摄影条件，存储上述教师图像和上述学生图像的成对的数据。
在本发明的第二侧面中，在所决定的摄影条件下拍摄被摄体，生成抽出了所拍摄的图像中包含的噪声的噪声图像。另外，生成成为噪声除去处理后的目标图像的教师图像，通过对所生成的教师图像附加噪声图像，生成与进行噪声除去处理之前的摄影图像相当的学生图像。然后，按不同的每个摄影条件，存储教师图像和学生图像的成对的数据。
发明的效果
根据本发明，能够准确地除去用图像传感器拍摄的图像中包含的噪声。
附图说明
图1是说明曝光时间和噪声量之间的关系的图。
图2是说明拍摄时的照度和S/N比之间的关系的图。
图3是表示应用了本发明的摄像装置的一个实施方式的结构例的框图。
图4是表示图3的类分类适应处理部的详细结构例的框图。
图5是表示预测抽头和类抽头的抽头结构的例子的图。
图6是说明图3的摄像装置的噪声除去处理的流程图。
图7是表示求出预测系数的学习装置的结构例的框图。
图8是表示图7的学习用数据生成部的详细结构例的框图。
图9是表示图8的噪声图像生成部的详细结构例的框图。
图10是说明学习用数据的生成的图。
图11是说明学习用数据的生成的图。
图12是说明学习用数据的生成的图。
图13是说明学习用数据的生成的图。
图14是说明图7的学习装置的学习处理的流程图。
图15是说明图14的步骤S31的学习用数据生成处理的流程图。
图16是说明对缺陷像素进行检测的检测方法的概念的图。
图17是说明对缺陷像素进行检测的检测方法的概念的图。
图18是表示缺陷像素检测系统的结构例的框图。
图19是表示摄像装置的第二实施方式的结构例的框图。
图20是说明图19的摄像装置的噪声除去处理的流程图。
图21是表示摄像装置的第三实施方式的结构例的框图。
图22是说明图3的摄像装置中的芯片的结构例的框图。
图23是说明图3的摄像装置中的芯片的结构例的框图。
图24是说明图3的摄像装置中的芯片的结构例的框图。
图25是说明图3的摄像装置中的芯片的结构例的框图。
图26是表示应用了本发明的计算机的一个实施方式的结构例的框图。
附图标记说明
1：摄像装置；11：图像传感器部；12：系数ROM号码算出部；13：系数ROM保存部；13-1至13-r：系数ROM；14：类分类适应处理部；21：类分类部；22：预测抽头抽出部；23：预测运算部；51：学习装置；61：学习用数据生成部；62：学习对数据库；63：预测抽头抽出部；64：类抽头抽出部；65：类代码产生部；66：正规方程式生成部；67：预测系数算出部；81：教师图像生成部；82：噪声图像生成部；83：噪声附加部；91：摄影条件决定部；92：摄影图像生成部；93：平均处理部；94：差分运算部；95：噪声图像存储部；111：系数ROM号码算出部；112：缺陷信息ROM；113：系数ROM保存部；114-1至114-r：系数ROM；141：缺陷信息非易失性存储器；142：缺陷检测部；143：图像保持用非易失性存储器；181至184：图像传感器LSI。
具体实施方式
以下，说明本发明的实施方式，下面举例说明本发明的构成要件与说明书或者附图中记载的实施方式的对应关系。本记载是为了确认支持本发明的实施方式被记载在说明书或者附图中。因此，即使有虽然记载在说明书或者附图中，但是没有作为与本发明的构成要件对应的实施方式而记载在这里的实施方式，也不意味该实施方式不与该构成要件对应。相反，即使实施方式作为与构成要件对应的部分而记载于此，也不意味该实施方式不与该构成要件以外的构成要件对应。
本发明的第一侧面的信息处理装置(例如，图3的摄像装置1)，具备：摄影单元(例如，图3的图像传感器部11)，拍摄被摄体；类分类单元(例如，图4的类分类部21)，将上述摄影单元所输出的第一图像根据其特征分类为类；保存单元(例如，图3的系数ROM保存部13)，保存拍摄时的摄影条件不同的多个系数存储器，该系数存储器存储通过学习获得的每个上述类的预测系数；指定单元(例如，图3的系数ROM号码算出部12)，根据上述摄影单元拍摄时的上述摄影条件，从多个上述系数存储器中指定一个上述系数存储器；和运算单元(例如，图4的预测运算部23)，通过使用所指定的上述系数存储器的、上述第一图像的上述类的预测系数进行运算，求出从上述第一图像除去噪声的第二图像。
本发明的第一侧面的信息处理装置还具备：缺陷像素检测单元(例如，图21的缺陷检测部142)，检测上述摄影单元的上述缺陷像素，输出上述缺陷位置信息；和存储单元(例如，图21的缺陷信息非易失性存储器141)，存储上述缺陷位置信息。
本发明的第一侧面的信息处理装置，上述摄影单元、上述类分类单元、上述保存单元、上述指定单元以及上述运算单元的全部、或者至少包含上述摄影单元的一部分能够由芯片(例如，图22至图25的图像传感器LSI181至184)构成。
本发明的第一侧面的信息处理方法(例如，图6的噪声除去处理方法)，包括以下步骤：将拍摄被摄体所得到的第一图像，根据其特征分类为类(例如，图6的步骤S7)；根据得到上述第一图像时的上述摄影条件，从拍摄时的摄影条件不同的多个系数存储器中指定一个上述系数存储器，其中，上述系数存储器存储通过学习获得的每个上述类的预测系数(例如，图6的步骤S5)；通过使用所指定的上述系数存储器的、上述第一图像的上述类的预测系数进行运算，求出从上述第一图像除去噪声的第二图像(例如，图6的步骤S10)。
本发明的第二侧面的学习装置(例如，图7的学习装置51)，学习预测系数，该预测系数在进行作为所拍摄的图像的摄影图像的噪声除去处理时使用，该学习装置具备：条件决定单元(例如，图9的摄影条件决定部91)，决定摄影条件；摄影单元(例如，图9的摄影图像生成部92)，在所决定的上述摄影条件下，拍摄被摄体；噪声图像生成单元(例如，图9的差分运算部94)，生成抽出了通过上述摄影单元拍摄的图像中包含的噪声的噪声图像；教师图像生成单元(例如，图8的教师图像生成部81)，生成成为噪声除去处理后的目标图像的教师图像；学生图像生成单元(例如，图8的噪声附加部83)，通过对上述教师图像附加上述噪声图像，生成与进行噪声除去处理之前的上述摄影图像相当的学生图像；和存储单元(例如，图7的学习对数据库62)，按不同的每个上述摄影条件，存储上述教师图像和上述学生图像的成对的数据。
本发明的第二侧面的学习装置还具备：抽出单元(例如，图7的预测抽头抽出部63)，关于上述摄影条件的每个，从上述学生图像抽出在求出作为上述教师图像的像素的关注像素中使用的多个像素；和运算单元(例如，图7的预测系数算出部67)，根据抽出的上述多个像素运算上述预测系数，其中，上述预测系数使利用上述预测系数求出的上述关注像素的预测误差统计上最小。
本发明的第二侧面的学习方法(例如，图14的学习处理方法)，学习预测系数，该预测系数在进行作为所拍摄的图像的摄影图像的噪声除去处理时使用，该学习方法包括以下步骤：决定摄影条件(例如，图15的步骤S51)；在所决定的上述摄影条件下，拍摄被摄体(例如，图15的步骤S52)；生成抽出了所拍摄的图像中包含的噪声的噪声图像(例如，图15的步骤S54)；生成成为噪声除去处理后的目标图像的教师图像(例如，图15的步骤S56)；通过对上述教师图像附加上述噪声图像，生成与进行噪声除去处理之前的上述摄影图像相当的学生图像(例如，图15的步骤S57)；按不同的每个上述摄影条件，存储上述教师图像和上述学生图像的成对的数据(例如，图15的步骤S58)。
下面参照附图说明本发明的实施方式。
图3示出了应用本发明的摄像装置的第一实施方式的结构例。
图3的摄像装置1由图像传感器部11、系数ROM号码算出部12、系数ROM保存部13以及类分类适应处理部14构成。系数ROM保存部13保存了r个(r≥1)系数ROM13-1至13-r。此外，系数ROM13-1至13-r，既可以作为物理上独立的系数存储器进行保存，也可以通过形成在一个存储器上的不同地址空间中而保存。该摄像装置1例如搭载在数字摄像机、数字静像照相机、或者便携电话机等中。
图像传感器部11至少具有图像传感器11a和外围电路11b，其中，所述图像传感器11a由将来自被摄体的光(光信号)转换为电荷(电信号)的CCD传感器、CMOS传感器构成；所述外围电路11b用于对图像传感器11a所输出的电信号进行放大、读出。该图像传感器11a对应于构成图像的像素，在图像传感器部11中，通过在阵列上配置多个图像传感器11a来构成传感器阵列。
图像传感器部11将拍摄(摄像)被摄体所得到的摄影图像，输出到类分类适应处理部14。此外，在本实施方式中输出图像意味着输出构成图像的图像信号。另外，图像传感器部11将表示输出到类分类适应处理部14的摄影图像的摄影条件的摄影条件信息输出到系数ROM号码算出部12。该摄影条件信息是关于被摄体的照度、曝光时间等的每次拍摄时变动的条件的信息。
对系数ROM号码算出部12，从图像传感器部11提供摄影条件信息，并且从未图示的操作部或者通信部提供图像传感器11a的固有信息。该固有信息是表示与图像传感器11a相同型号的图像传感器共同存在的特性的信息、表示图像传感器11a单体特性(个体差)的信息等、每次拍摄时不变动的与图像传感器11a相关的固定的信息。
系数ROM号码算出部12根据摄影条件信息和固有信息，从系数ROM13-1至13-r中将最佳的系数ROM指定到系数ROM保存部13。具体地说，系数ROM号码算出部12通过向系数ROM保存部13输出对系数ROM13-1至13-r分别赋予的系数ROM号码，对系数ROM保存部13指定最佳的系数ROM。
系数ROM保存部13的系数ROM13-1至13-r中的每个，按每个类存储参照图7通过后述的学习求出的用于除去噪声的预测系数。在系数ROM13-1至13-r中，求出预测系数时的摄影条件信息或者固有信息不同。
系数ROM保存部13对应于从系数ROM号码算出部12提供的系数ROM号码，选择系数ROM13-1至13-r中的某一个。另外，系数ROM保存部13从选择的系数ROM中获取从类分类适应处理部14提供的类代码所表示的类的预测系数，提供给类分类适应处理部14。
对类分类适应处理部14，从图像传感器部11提供摄影图像。类分类适应处理部14将提供的摄影图像根据其特征分类为规定的类，将其结果得到的类代码输出到系数ROM保存部13。而且，将与所输出的类代码对应的预测系数，从系数ROM保存部13提供给类分类适应处理部14。
类分类适应处理部14通过使用从图像传感器部11提供的摄影图像、和从系数ROM保存部13提供的与根据摄影图像特征所分类的类对应的预测系数来进行运算，从而输出对摄影图像实施噪声除去处理的处理图像。
图4是表示图3的类分类适应处理部14的详细结构例的框图。
类分类适应处理部14由类分类部21、预测抽头抽出部22以及预测运算部23构成，类分类部21还具有类抽头抽出部31以及类代码产生部32。
来自图像传感器部11(图3)的摄影图像，被提供给预测抽头抽出部22以及类抽头抽出部31。
类分类部21将构成处理图像的像素依次设为关注像素，将该关注像素分类到构成摄影图像的像素的几个类中的某一类中(进行类分类)。即，类抽头抽出部31，作为类抽头抽出构成在将关注像素进行类分类中使用的摄影图像的几个像素。此外，在摄像装置1内预先决定关于将构成处理图像的像素中的哪个像素设为关注像素的信息。
类代码产生部32根据构成来自类抽头抽出部31的类抽头的像素，进行类分类，产生与其结果得到的类对应的类代码，输出到系数ROM保存部13(图3)。
作为进行类分类的方法，例如可采用ADRC(AdaptiveDynamic Range Coding：自适应动态范围编码)。
在使用ADRC的方法中，构成类抽头的像素的像素值被ADRC处理，按照其结果得到的ADRC代码决定关注像素的类。
此外，在K位ADRC中，例如检测出构成类抽头的像素的像素值的最大值MAX和最小值MIN，将DR＝MAX-MIN设为集合局部的动态范围，根据该动态范围DR，构成类抽头的像素值被重新量化为K位。即，从构成类抽头的各像素的像素值减去最小值MIN，将该减法值除以(量化)DR/2K。然后，作为ADRC代码，输出将如上所述得到的构成类抽头的K位的各像素的像素值以规定顺序排列的位串。因而，在类抽头例如被进行了1位ADRC处理的情况下，将构成该类抽头的各像素的像素值除以最大值MAX和最小值MIN的平均值(舍去小数点以下)，由此各像素的像素值被设为1位(2值化)。然后，作为ADRC代码，输出将该1位像素值以规定顺序排列的位串。类代码产生部32例如作为类代码，产生(输出)将类抽头进行ADRC处理而得到的ADRC代码。
此外，类代码产生部32，除此之外例如也可以将构成类抽头的像素视作向量的成分，通过将该向量进行向量量化等而进行类分类。
预测抽头抽出部22作为预测抽头，抽出构成在预测关注像素的像素值中使用的摄影图像的像素(的像素值)。
具体地说，预测抽头抽出部22将相对于与关注像素对应的摄影图像的像素(例如对于关注像素在空间上位于最接近的位置上的摄影图像)，位于空间上接近的位置上的多个像素，作为预测抽头从摄影图像抽出。
此外，预测抽头和类抽头，既可以设为具有相同的抽头结构，也可以设为具有不同的抽头结构。
对预测运算部23，除了从预测抽头抽出部22提供的预测抽头之外，还从系数ROM保存部13(图3)提供预测系数。预测运算部23使用该预测抽头和预测系数，进行求出关注像素的真值的预测值的规定预测运算。由此，预测运算部23求出并输出关注像素的像素值(的预测值)、即构成处理图像的像素的像素值。
图5示出了预测抽头和类抽头的抽头结构的例子。此外，预测抽头和类抽头的抽头结构，可设为图5所示之外的构造。
图5的A示出了类抽头的抽头结构的例子。在图5的A中，由9个像素构成了类抽头。即，在图5的A中，由图像传感器部11所输出的摄影图像中的与关注像素对应的像素P5、和在该像素的上方向、下方向、左方向、右方向分别相邻的2个像素P2、P1、P8、P9、P4、P3、P6、P7，构成所谓十字形状的类抽头。
图5的B示出了预测抽头的抽头结构的例子。在图5的B中，由13个像素构成预测抽头。即，在图5的B中，由图像传感器部11所输出的摄影图像中的以与关注像素对应的像素P27为中心在纵方向上排列的5个像素P21、P23、P27、P31、P33、将与关注像素对应的像素P27的左和右所相邻的像素P26、P28各自作为中心在纵方向上排列的3个像素P22、P26、P30、P24、P28、P32、以及从与关注像素对应的像素P27在左和右离开1个像素的像素P25、P29，构成所谓菱形形状的预测抽头。
下面说明图4的预测运算部23中的预测运算、以及该预测运算中使用的预测系数的学习。
目前作为从摄影图像抽出预测抽头、使用该预测抽头和预测系数求出(预测)构成除去噪声的处理图像的像素(下面适当称为处理图像像素)的像素值的规定预测运算，例如当采用线性1次预测运算时，通过下面的线性1次式求出处理图像像素的像素值y。
[式1]
y = Σ n = 1 N w n x n . . . ( 1 )
其中，在式(1)中，xn表示构成关于处理图像像素y的预测抽头的第n个摄影图像的像素(下面适当称为摄影图像像素)的像素值，wn表示与第n个摄影图像像素(的像素值)相乘的第n个预测像素。此外在式(1)中，预测抽头由N个摄影图像像素x1、x2、...、xN构成。
也可以不用式(1)所示的线性1次式，而通过2次以上的高次式求出处理图像像素的像素值y。
现在，当将第k个取样的处理图像像素的像素值的真值表示为yk、并且将通过式(1)所得到的该真值yk的预测值表示为yk’时，该预测误差ek由下式表示。
[式2]
ek＝yk-yk’    …(2)
当前，按照式(1)求出式(2)的预测值yk’，因此当按照式(1)来替换式(2)的yk’时，得到下式。
[式3]
e k = y k - ( Σ n = 1 N w n x n , k ) . . . ( 3 )
其中，在式(3)中，xn，k表示构成关于第k个取样的处理图像像素的预测抽头的第n个摄影图像像素。
使式(3)(或者式(2))的预测误差ek为0的预测系数wn最合适预测处理图像像素，但是对全部的处理图像像素求出这种预测像素wn通常是困难的。
因此，作为表示预测系数wn是最佳预测系数的规范，当例如采用最小二乘法时，能够通过将由下式表示的平方误差总和E设为最小而求出最佳预测系数wn。
[式4]
E = Σ k = 1 K e k 2 . . . ( 4 )
其中，在式(4)中，K表示处理图像像素yk、和构成关于该处理图像像素yk的预测抽头的摄影图像像素x1，k、x2，k、…、xN，k的集合取样数(学习用取样数)。
式(4)的平方误差的总和E的最小值(极小值)如式(5)所示，通过使以预测系数wn对总和E进行偏微分得到的结果为0的wn而提供。
[式5]
∂ E ∂ w n = e 1 ∂ e 1 ∂ w n + e 2 ∂ e 2 ∂ w n + . . . + e k ∂ e n ∂ w n = 0 , ( n = 1,2 , . . . , N ) . . . ( 5 )
因此，当以预测系数wn对上述式(3)进行偏微分时，得到下式。
[式6]
∂ e k ∂ w 1 = - x 1 , k , ∂ e k ∂ w 2 = - x 2 , k , . . . , ∂ e k ∂ w N = - x N , k , ( k = 1,2 , . . . , K ) . . . ( 6 )
从式(5)和式(6)得到下式。
[式7]
Σ k = 1 K e k x 1 , k = 0 , Σ k = 1 K e k x 2 , k = 0 , . . . Σ k = 1 K e k x N , k = 0 . . . ( 7 )
通过将式(3)代入式(7)的ek，可由式(8)所示的正规方程式表示式(7)。
[式8]
Figure C20071000111200227
式(8)的正规方程式例如可通过扫除法(Gauss-Jordan消去法)等而求解出预测像素wn。
通过按每类建立式(8)的正规方程式并求解，能够按每类求出最佳预测系数(在此是平方误差总和E为最小的预测系数)wn。
参照图6的流程图，说明求出除去了摄影图像的噪声的处理图像的摄像装置1的噪声除去处理。
最初在步骤S1中，图像传感器部11拍摄被摄体，将其结果得到的摄影图像输出到类分类适应处理部14，在步骤S2中，将表示摄影图像摄影条件的摄影条件信息输出到系数ROM号码算出部12。
在步骤S3中，系数ROM号码算出部12获取从操作部或者通信部等提供的图像传感器11a的固有信息。
在步骤S4中，类抽头抽出部31将构成求出的处理图像的像素中的规定像素决定为关注像素。
在步骤S5中，系数ROM号码算出部12根据摄影条件信息和固有信息，从存储在系数ROM保存部13中的系数ROM13-1至13-r中决定最适合关注像素的系数ROM，将确定该系数ROM的系数ROM号码输出到系数ROM保存部13。
在步骤S6中，类抽头抽出部31将构成摄影图像的几个像素作为类抽头抽出，该摄影图像在进行关注像素的类分类中使用。
在步骤S7中，类代码产生部32根据构成来自类抽头抽出部31的类抽头的像素进行类分类，求出与其结果得到的类对应的类代码，输出到系数ROM保存部13。
在步骤S8中，系数ROM保存部13选择与从系数ROM号码算出部12提供的系数ROM号码对应的系数ROM。另外，在步骤S8中，系数ROM保存部13从选择的系数ROM获取从类分类适应处理部14提供的类代码所表示的类的预测系数，输出到类分类适应处理部14。
在步骤S9中，预测抽头抽出部22将构成在预测关注像素的像素值中使用的摄影图像的像素(的像素值)作为预测抽头而抽出。
在步骤S10中，预测运算部23通过使用从预测抽头抽出部22提供的预测抽头和从系数ROM保存部13提供的预测系数进行式(1)的运算(预测运算)，求出关注像素(的像素值)。
在步骤S11中，预测运算部23判断是否将处理图像的全部像素设为关注像素，在判断为还没有将处理图像的全部图像设为关注像素的情况下，处理返回到步骤S4。其结果，对还没有设为关注像素的处理图像像素进行步骤S4至S11的处理。
另一方面，在步骤S11中，在判断为将处理图像的全部像素设为关注像素的情况下，在步骤S12中，预测运算部23输出处理图像并结束处理。
如上所述，求出对来自图像传感器部11的摄影图像实施了噪声除去处理的处理图像，并从摄像装置1输出。此外，在摄像装置1拍摄了运动图像的情况下，对每帧(场)重复图6的处理。
图7示出了进行学习的学习装置的结构例，该学习通过建立式(8)的正规方程式并求解从而求出每类的预测系数wn。
图7的学习装置51由以下部分构成：学习用数据生成部61、学习对数据库62、预测抽头抽出部63、类抽头抽出部64、类代码产生部65、正规方程式生成部66、以及预测系数算出部67。
学习用数据生成部61对摄影条件进行各种改变，生成作为在预测系数wn的学习中使用的学习用数据的教师图像和学生图像，输出到学习对数据库62。
在学习对数据库62中，从学习用数据生成部61提供关于多个摄影条件的由学习用数据生成部61生成的多个教师图像以及学生图像。学习对数据库62关于多个学生图像的每个，设为学生图像和与其对应的教师图像的对(学习对)，按每个摄影条件进行分组存储。然后，学习对数据库62将规定摄影条件下的作为学习对之一的学生图像输出到预测抽头抽出部63以及类抽头抽出部64，并且将作为学习对的另一个的教师图像输出到正规方程式生成部66。
预测抽头抽出部63将构成学习对的教师图像的像素依次设为关注教师像素，关于该关注教师像素，通过抽出学习对中的学生图像的像素中的规定像素而构成与图4的预测抽头抽出部22所构成的预测抽头相同抽头结构的预测抽头，提供给正规方程式生成部66。
类抽头抽出部64关于关注教师像素，通过抽出构成学生图像的像素中的规定像素而构成与图4的类抽头抽出部31所构成的类抽头相同抽头结构的类抽头，提供给类代码产生部65。
类代码产生部65根据类抽头抽出部64所输出的类抽头，进行与图4的类代码产生部32相同的类分类，将与其结果得到的类对应的类代码输出到正规方程式生成部66。
正规方程式生成部66从学习对数据库62读出关注教师像素，对从类代码产生部65提供的每个类代码进行将该关注教师像素和学生图像作为对象的累加，其中，所述学生图像构成从预测抽头抽出部63提供的、构成关于关注教师像素的预测抽头。
即，对正规方程式生成部66，提供存储在学习对数据库62中的教师图像yk、预测抽头抽出部63所输出的预测抽头xn，k、类代码产生部65所输出的类代码。
然后，正规方程式生成部66对与从类代码产生部65提供的类代码对应的每类，使用预测抽头(学生图像)xn，k，进行式(8)的左边矩阵中的学生图像彼此的相乘(xn，kxn’，k)、以及与求和(∑)相当的运算。
而且，正规方程式生成部66仍然对与从类代码产生部65提供的类代码对应的每类，使用预测抽头(学生图像)xn，k和教师图像yk，进行式(8)的右边向量中的学生图像xn，k以及教师图像yk的相乘(xn，kyk)、以及与求和(∑)相当的运算。
即，正规方程式生成部66将对前次被作为关注教师像素的教师图像求出的式(8)中的左边矩阵的成分(∑xn，kxn’，k)、和右边向量成分(∑xn，kyk)，存储到其内置的存储器(未图示)中，将该矩阵的成分(∑xn，kxn’，k)或者向量的成分(∑xn，kyk)，与关于作为新的关注教师像素的教师图像使用该教师图像yk+1以及学生图像xn，k+1计算的所对应的成分xn，k+1xn’，k+1或者xn，k+1yk+1相加(进行由式(8)的求和表示的加法运算)。
然后，正规方程式生成部66将存储在学习对数据库62中的关于某个摄影条件的教师数据全部设为关注教师像素，进行上述的累加，由此当关于各类建立式(8)所示的正规方程式时，将该正规方程式提供给预测系数算出部67。
预测系数算出部67通过对某个摄影条件求解关于从正规方程式生成部66提供的各类的正规方程式，对每类求出某个摄影条件下的最佳的预测系数wn并输出。
图8是表示图7的学习用数据生成部61的详细结构例的框图。
学习用数据生成部61由教师图像生成部81、噪声图像生成部82以及噪声附加部83构成。
教师图像生成部81生成成为学习教师的教师图像。在图3的摄像装置1中，为了除去由图像传感器部11拍摄的摄影图像的噪声，需要使用具有噪声比由图像传感器11使用的图像传感器11a少的高S/N特性的图像传感器来生成教师图像。因而，教师图像生成部81，例如使用商务用高数值孔径、高动态范围、或者1个像素的像素尺寸大的图像传感器、冷却CCD传感器等噪声减低图像传感器来生成教师图像。另外，也可以将通过CG(Computer Graphics：计算机图形图像)人工进行制作的图像设为教师图像。教师图像生成部81将生成的教师图像提供给噪声附加部83以及学习对数据库62(图7)。
噪声图像生成部82使用与在图像传感器部11中使用的图像传感器11a相同型号的图像传感器，生成只包含噪声(主要是噪声)的图像(噪声图像)，并输出到噪声附加部83。
噪声附加部83对从教师图像生成部81提供的教师图像附加从噪声图像生成部82获取的噪声图像，将其结果得到的图像作为学生图像输出到学习对数据库62。更具体地说，噪声附加部83通过将教师图像和噪声图像所对应的像素彼此相加从而生成学生图像，输出到学习对数据库62。
图9是表示图8的噪声图像生成部82的详细结构例的框图。
噪声图像生成部82由摄影条件决定部91、摄影图像生成部92、平均处理部93、差分运算部94以及噪声图像存储部95构成。
摄影条件决定部91决定被摄体的照度、曝光时间等摄影条件，将表示决定的摄影条件的摄影条件信息输出到摄影图像生成部92。
摄影图像生成部92具有与图像传感器11a相同型号(同型)的图像传感器，使用该图像传感器拍摄被摄体，生成摄影图像。此时，摄影图像生成部92在按照从摄影条件决定部91提供的摄影条件信息的摄影条件下进行拍摄。摄影图像生成部92通过将该摄影图像的生成重复规定次数，将规定张数的摄影图像输出到平均处理部93以及差分运算部94。此外，摄影图像生成部92所拍摄的被摄体是一面一样的物体、完全静止的物体等，是构成图像的各像素的像素值在拍摄规定张数的期间固定(不变)的物体。
平均处理部93对从摄影图像生成部92提供的多张摄影图像，通过计算所对应的像素(摄影图像中的相同位置的像素)彼此的像素值的平均值，算出各像素的代表像素值。进行了该平均处理的图像被视作只表示被摄体成分的图像、换言之被视为除去了各像素中包含的噪声成分的图像，平均处理部93将噪声除去图像提供给差分运算部94，该噪声除去图像将各像素的像素值设为代表像素值。此外，也可以通过介质滤波器等滤波器处理求出各像素的代表像素值。
差分运算部94通过运算从摄影图像生成部92提供的摄影图像、和从平均处理部93提供的噪声除去图像的所对应的图像彼此的像素值的差分，生成抽出了噪声成分的噪声图像(主要是只由噪声成分构成的图像)。差分运算部94对从摄影图像生成部92提供的多张摄影图像执行该处理，将多张噪声图像输出到噪声图像存储部95。
噪声图像存储部95存储从差分运算部94提供的多张噪声图像。该噪声图像表示在由摄影条件决定部91决定的摄影条件下的与图像传感器11a相同型号的图像传感器中固有的噪声。噪声图像存储部95根据需要将存储的噪声图像提供给图8的噪声附加部83。
下面，参照图10至图13说明学习用数据的生成。
图10是示意性地表示由噪声图像生成部82生成噪声图像的图。
摄影图像生成部92在由摄影条件决定部91决定的摄影条件下，使用与图像传感器11a相同型号的图像传感器来拍摄被摄体，生成摄影图像Fj(j＝1，...，q)。
平均处理部93在从摄影图像生成部92提供的多张(q张)摄影图像Fj的对应像素彼此间进行像素值的平均处理，生成噪声除去图像Fav。
例如，如图11的A所示，摄影图像F1至Fq的相同位置A的像素A1至Aq(在图11的A中只示出了4张摄影图像)，尽管拍摄了相同被摄体，但却如图11的B所示具有不同的像素值。
平均处理部93关于噪声除去图像Fav的全部像素，执行将噪声除去图像Fav的位置A的像素的像素值Aav设为像素A1至Aq的像素值的平均值的平均处理。
然后，差分运算部94如图10所示，对从摄影图像生成部92提供的摄影图像Fj的各像素，减去从平均处理部93提供的噪声除去图像Fav的所对应的像素的像素值，由此生成噪声图像Uj。
图12是示意性地表示由学习用数据生成部61生成学生图像的图。
教师图像生成部81使用具有比图像传感器11a更高S/N比特性的图像传感器，生成多张(p张)教师图像Ti(i＝1，...，p)。
噪声附加部83对从教师图像生成部81提供的多张(p张)教师图像T1至Tp的每个，附加从噪声图像生成部82获取的噪声图像U1至Up，生成学生图像(S11至S1q)、(S21至S2q)、...、(Sp1至Spq)。
例如，噪声附加部83对教师图像T1分别附加噪声图像U1至Uq，生成学生图像S11至S1q。另外，噪声附加部83对教师图像T2分别附加噪声图像U1至Uq，生成学生图像S21至S2q。
下面同样地，学习用数据生成部61对1张教师图像Ti，生成q张学生图像Si1至Siq，输出到学习对数据库62。
学习对数据库62对q张学生图像Si1至Siq各个分配教师图像Ti，生成q组教师图像和学生图像对(学习对)。由此在学习对数据库62中，在规定的摄影条件下，生成(p×q)组的教师图像和学生图像对(学习对)。
通过改变摄影条件重复执行以上的学习用数据的生成(处理)，在学习对数据库62中存储各种摄影条件下的教师图像和学生图像对(学习对)。
例如，如图13所示，在学习对数据库62中存储：在摄影条件A下的学生图像S11-a至S1q-a、和与其对应的教师图像T1-a、...、T1-a(q张T1-a)、T2-a、...、T2-a(q张T2-a)、...、Tp-a、...、Tp-a(q张Tp-a)的(p×q)组的学习对；在摄影条件B下的学生图像S11-b至S1q-b、和与其对应的教师图像T1-b、...、T1-b(q张T1-b)、T2-b、...、T2-b(q张T2-b)、...、Tp-b、...、Tp-b(q张Tp-b)的(p×q)组的学习对；以及在摄影条件C下的学生图像S11-c至S1q-c、和与其对应的教师图像T1-c、...、T1-c(q张T1-c)、T2-c、...、T2-c(q张T2-c)、...、Tp-c、...、Tp-c(q张Tp-c)的(p×q)组的学习对。
下面参照图14的流程图，说明某个摄影条件下的学习装置51的学习处理。
最初在步骤S31中，学习用数据生成部61进行学习用数据生成处理。该处理将参照图15在后面详细叙述。学习用数据生成部61生成学习用数据，并提供给学习对数据库62进行存储。
在步骤S32中，预测抽头抽出部63将存储在学习对数据库62中的教师图像Ti(i＝1，...，p的某个)中还没有设为关注教师像素的教师图像设为关注教师图像。并且在步骤S32中，预测抽头抽出部63关于关注教师像素从存储在学习对数据库62中的学生图像Sij(j＝1，...，q的某个)抽出预测抽头，提供给正规方程式生成部66。
在步骤S33中，类抽头抽出部64关于关注教师像素，从存储在学习对数据库62中的学生图像Sij抽出类抽头，并提供给类代码产生部65。
在步骤S34中，类代码产生部65根据关于关注教师像素的类抽头，进行关注教师像素的类分类，将与其结果得到的类对应的类代码输出到正规方程式生成部66。
在步骤S35中，正规方程式生成部66从学习对数据库62读出关注教师像素，对从类代码产生部65提供的每个类代码(类)进行将该关注教师像素和学生图像Sij作为对象的式(8)的累加，所述学生图像Sij构成从预测抽头抽出部63提供的、构成关于关注教师像素的预测抽头。
在步骤S36中，预测抽头抽出部63判断在学习对数据库62中是否存储有还没有设为关注教师像素的教师图像。在步骤S36中，在判断为学习对数据库62中还存储有没有设为关注教师像素的教师图像的情况下，处理返回步骤S32，预测抽头抽出部63将还没有设为关注教师像素的教师图像的像素设为新的关注教师像素。下面重复同样的处理。
另一方面，在步骤S36中判断为在学习对数据库62中没有存储没有设为关注教师像素的教师图像的情况下，在步骤S37中，正规方程式生成部66将通过到此为止的处理所得到的每类的式(8)中的左边的矩阵和右边的向量提供给预测系数算出部67。
另外，在步骤S37中，预测系数算出部67通过对由正规方程式生成部66提供的每类的式(8)中的左边矩阵和右边向量构成的每类的正规方程式进行求解，对每类求出预测系数wn并输出，结束处理。
此外，由于学习用数据的数量不充足等，有时产生无法得到在求出预测系数中所需数量的正规方程式的类，但是关于这种类，预测系数算出部67例如输出默认的预测系数。
下面，参照图15的流程图详细说明图14的步骤S31中执行的学习用数据生成处理。
最初在步骤S51中，摄影条件决定部91决定摄影条件，将表示所决定的摄影条件的摄影条件信息输出到摄影图像生成部92。
在步骤S52中，摄影图像生成部92使用与图像传感器11a相同型号的图像传感器来拍摄被摄体，生成摄影图像。在步骤S52中，将该处理重复规定次数，从摄影图像生成部92将拍摄了相同被摄体的多张摄影图像F1至Fq提供给平均处理部93以及差分运算部94。
在步骤S53中，平均处理部93关于从摄影图像生成部92提供的多张摄影图像F1至Fq，计算所对应的像素(摄影图像中的相同位置的像素)彼此的像素值平均值，由此算出各像素的代表像素值。而且，在步骤S53中，平均处理部93生成将各像素的像素值设为代表像素值的噪声除去图像Fav，并提供给差分运算部94。
在步骤S54中，差分运算部94通过从由摄影图像生成部92提供的多张摄影图像F1至Fq减去噪声除去图像Fav，生成多张噪声图像U1至Uq，输出到噪声图像存储部95。
在步骤S55中，噪声图像存储部95存储从差分运算部94提供的多张噪声图像U1至Uq。
在步骤S56中，教师图像生成部81使用具有比图像传感器11a更高S/N比特性的图像传感器，生成教师图像T1至Tp。
在步骤S57中，噪声附加部83对从教师图像生成部81提供的教师图像Ti(i＝1，...，p)附加从噪声图像生成部82获取的噪声图像U1至Uq，生成学生图像Si1至Siq，并输出到学习对数据库62。
在步骤S58中，学习对数据库62对q张学生图像Si1至Siq的每个分配教师图像Ti，生成q组的教师图像和学生图像对(学习对)并存储。之后处理返回图14，进入到步骤S32。
通过设定不同的摄影条件来重复进行图14的学习处理，能够求出多个摄影条件下的每类的预测系数。然后，按每个摄影条件，将求出的每类的预测系数保存到图3的系数ROM保存部13的各系数ROM13-1至13-r中。
如上所述，在学习处理中决定摄影条件，生成使用了与图像传感器11a相同型号的图像传感器的摄影图像，从该摄影图像进一步生成噪声图像。然后使用生成的噪声图像制作多个教师图像和学生图像对(学习对)，使用它求出预测系数wn。因而能够求出规定摄影条件下的最合适图3的图像传感器部11中使用的图像传感器11a的噪声特性的预测系数wn。
在半导体设备(图像传感器)的制造中，很难制造出具有完全相同特性(光电变换效率、布线容量、电路耐噪声性、漏电流量等)的多个半导体设备，因此在半导体设备之间产生某种程度的个体差。在使用了现有的类分类适应处理的噪声除去处理中，很难说能够充分除去考虑了由于半导体设备的个体差引起的图像传感器间的不同噪声特性的噪声，但是在图3的摄像装置1中，由学习装置51如上所述进行使用最适合图像传感器11a的噪声特性的预测系数wn的类分类适应处理，因此能够对从图像传感器部11输出的摄影图像实施考虑了图像传感器11a的噪声特性的噪声除去处理。即，对应于图像传感器11a的噪声特性，能够更准确地除去摄影图像的噪声。
另外，有时在半导体设备的制造过程中产生问题，图像传感器(像素)成为缺陷(缺陷像素)。因此，说明不仅进行噪声除去处理、而且还进行缺陷像素的校正处理的摄像装置的实施方式(第二实施方式)。
首先，参照图16以及图17说明检测缺陷像素的检测方法的概念。
图16的A示出了传感器阵列中的三个像素B、B’、以及B”成为缺陷像素的例子。
假设像素(图像传感器)输出8位(0至255)的像素值，在该像素成为缺陷像素的情况下，缺陷像素的像素值例如始终成为固定的值。即如图16所示，在摄影图像Fj中，缺陷像素如像素B那样连续输出始终为0的像素值、如像素B’那样连续输出1至254的某个固定像素值、或者如像素B”那样连续输出始终为255的像素值。
因此，图像传感器部11通过拍摄多个测试图生成多张摄像图像F’1至F’q(图17的A)，该多个测试图被制作成相同位置的像素值不是相同值。然后，如图17的B所示，在摄影图像F’1至F’q的相同位置A的像素A1至Aq具有始终固定在0至255中的某个的像素值的情况下，能够检测出摄影图像F’1至F’q的位置A的像素为缺陷像素。
此外，还考虑到即使像素是缺陷像素、也由于传输通路中产生的噪声等的影响而不会成为完全相同的像素值的情况，因此当摄影图像F’1至F’q的规定像素彼此的像素值差分的绝对值(像素值最大值和最小值之差)在规定值以下(例如5以下)时，最好将该像素判断为缺陷像素。
图18示出了对搭载在图3的摄像装置1上的图像传感器部11的缺陷像素进行检测的缺陷像素检测系统的结构例。
在图18的缺陷像素检测系统中，从图像传感器部11将通过拍摄多个测试图而生成的多张摄像图像F’1至F’q输出到检查装置101，该多个测试图被制作成摄影图像中的相同位置彼此的像素值不是相同的值。
检查装置101关于构成摄影图像F’1至F’q的各像素，通过上述的检测方法检查像素是否是缺陷像素(检测缺陷像素)。并且，检查装置101在具有缺陷像素的情况下将表示缺陷像素位置的信息，作为缺陷位置信息提供给缺陷信息ROM102。
图19示出了摄像装置的第二实施方式的结构例。此外，在图19中，关于与图3对应的部分标记相同符号，并适当省略其说明。
图19的摄像装置1，在具有图像传感器部11以及类分类适应处理部14的点上，与图3的摄像装置1相同。另外在图19中，代替图3的系数ROM号码算出部12以及系数ROM保存部13，设置了系数ROM号码算出部111以及系数ROM保存部113，并且新设置有缺陷信息ROM112。
对系数ROM号码算出部111，与图3的系数ROM号码算出部12同样地提供了摄影条件信息以及固有信息，并且从缺陷信息ROM112提供缺陷位置信息。
系数ROM号码算出部111根据摄影条件信息、固有信息以及缺陷位置信息，从保存在系数ROM保存部113中的系数ROM13-1至13-r以及系数ROM114-1至114-r中将最佳的系数ROM指定给系数ROM保存部113。
即，在来自缺陷信息ROM112的缺陷位置信息表示图像传感器部11中不存在缺陷像素的情况下，系数ROM号码算出部111根据摄影条件信息以及固有信息，从系数ROM13-1至13-r中将最佳系数ROM指定给系数ROM保存部113。
另一方面，在来自缺陷信息ROM112的缺陷位置信息表示图像传感器部11中存在缺陷像素的情况下，系数ROM号码算出部111根据摄影条件信息以及固有信息，从系数ROM114-1至114-r中将最佳系数ROM指定给系数ROM保存部113。在系数ROM114-1至114-r中，存储有作为缺陷像素的关注像素的系数成为0的预测系数。
缺陷信息ROM112存储图像传感器部11的缺陷位置信息，并根据需要提供给系数ROM号码算出部111。此外，缺陷信息ROM112既可以通过复制存储在图18的缺陷信息ROM102中的缺陷位置信息，获取图像传感器部11的缺陷位置信息，也可以通过将缺陷信息ROM102作为缺陷信息ROM112安装在摄像装置1上，获取图像传感器部11的缺陷位置信息。
系数ROM保存部113具有与图3的系数ROM保存部13相同的系数ROM13-1至13-r。系数ROM13-1至13-r，按每个类存储了在图像传感器部11中不存在缺陷像素的情况下的用于除去噪声的预测系数。
另外，系数ROM保存部113具有系数ROM114-1至114-r。系数ROM114-1至114-r对在图像传感器部11中存在缺陷像素的情况下的缺陷像素进行校正，进一步按每类存储用于除去噪声的预测系数。
能够使用图7的学习装置51，如下生成系数ROM114-1至114-r中存储的预测系数。
最初在图9的摄影图像生成部92生成摄影图像之前，使用图18的缺陷像素检测系统，检查所拍摄的图像传感器(与图像传感器11a相同型号的图像传感器)中是否有缺陷像素。现在在摄影图像生成部92的图像传感器的像素位置PX上检测出缺陷像素的情况下，使用由该图像传感器拍摄的摄影图像进行学习而得到的预测系数，成为在图像传感器11a的像素位置PX上存在缺陷像素的情况下用于对缺陷像素进行校正、且除去噪声的预测系数。
另外，当摄影图像生成部92采用了在与像素位置PX不同的像素位置PY上具有缺陷像素的图像传感器(与图像传感器11a相同型号的图像传感器)时，使用由该图像传感器拍摄的摄影图像进行学习而得到的预测系数，成为在图像传感器11a的像素位置PY上存在缺陷像素的情况下用于对缺陷像素进行校正、且除去噪声的预测系数。
同样地，通过使摄影图像生成部92采用在各种像素位置上具有缺陷的图像传感器，能够得到用于对各种像素位置的缺陷像素进行校正、且除去噪声的预测系数。此外，即使在一个图像传感器上存在2个以上的缺陷像素的情况下，也能够得到用于对该缺陷像素进行校正、且除去噪声的预测系数。
系数ROM保存部113对应于从系数ROM号码算出部111提供的系数ROM号码，选择系数ROM13-1至13-r以及系数ROM114-1至114-r的某个。另外，系数ROM保存部113从选择的系数ROM中，获取从类分类适应处理部14提供的类代码所表示的类的预测系数，并提供给类分类适应处理部14。
参照图20的流程图，说明图19的摄像装置1的噪声除去处理。
最初在步骤S71中，图像传感器部11拍摄被摄体，将其结果得到的摄影图像输出到类分类适应处理部14，在步骤S72中将表示摄影图像的摄影条件的摄影条件信息输出到系数ROM号码算出部111。
在步骤S73中，系数ROM号码算出部111获取从操作部或者通信部提供的固有信息。
在步骤S74中，系数ROM号码算出部111从缺陷信息ROM112获取图像传感器部11的缺陷位置信息。
在步骤S75中，类分类适应处理部14的类抽头抽出部31，将构成求出的处理图像的像素中的规定像素决定为关注像素。
在步骤S76中，系数ROM号码算出部111根据来自缺陷信息ROM112的缺陷位置信息，判断关注像素是否是缺陷像素。
在由步骤S76判断为关注像素不是缺陷像素的情况下，在步骤S77中，系数ROM号码算出部111根据摄影条件信息以及固有信息，从噪声除去用的系数ROM13-1至13-r中决定最佳系数ROM，将确定该系数ROM的系数ROM号码输出到系数ROM保存部113。
另一方面，在由步骤S76判断为关注像素是缺陷像素的情况下，在步骤S78中，系数ROM号码算出部111根据摄影条件信息以及固有信息，从缺陷校正且噪声除去用的系数ROM114-1至114-r中决定最佳的系数ROM，将确定该系数ROM的系数ROM号码输出到系数ROM保存部113。
步骤S77或者步骤S78的处理后执行的步骤S79至S85的处理，分别与图6的步骤S6至S12的处理相同，因此省略其详细说明，但是在步骤S79至S85的处理中，从系数ROM保存部113将与从抽出的类抽头求出的类代码对应的预测系数提供给类分类适应处理部14，类分类适应处理部14根据预测系数和摄影图像求出处理图像并输出。
因而，在图20的噪声除去处理中，与图6的噪声除去处理同样地对应于图像传感器11a的噪声特性，能够更准确地除去摄影图像的噪声，除此之外，在图像传感器11a的像素上有制造时的缺陷的情况下，能够对该缺陷像素进行校正。另外，能够校正制造时的缺陷像素，因此能够提高图像传感器的表观产量。
图21示出了摄像装置的第三实施方式的结构例。此外在图21中，对与图19对应的部分标记相同符号，适当省略其说明。
在第二实施方式中，由图18的缺陷像素检测系统求出的表示图像传感器部11的缺陷像素位置的缺陷位置信息，被存储在图19的摄像装置1的缺陷信息ROM112中，但是图21的摄像装置1由摄像装置1自身检测缺陷像素，存储缺陷位置信息。
图21的摄像装置1在具有图像传感器部11、系数ROM号码算出部111、系数ROM保存部113、以及类分类适应处理部14的点上，与图19的摄像装置1相同，在代替缺陷信息ROM112而具有缺陷信息非易失性存储器141、缺陷检测部142、以及图像保持用非易失性存储器143的点上，与图19的摄像装置1不同。
缺陷信息非易失性存储器141存储(覆盖)从缺陷检测部142提供的图像传感器部11的缺陷位置信息，根据需要提供给系数ROM号码算出部111。
缺陷检测部142在从图像传感器部11提供的摄影图像、和从图像保持用非易失性存储器143提供的保持图像之间进行图像的比较，从而检测图像传感器部11的缺陷像素，将表示检测出的缺陷像素位置的缺陷位置信息提供给缺陷信息非易失性存储器141。
具体地说，缺陷检测部142判断摄影图像和保持图像的对应的像素彼此的关注像素的像素值是否是相同值。在判断为关注像素的像素值是相同值的情况下，缺陷检测部142将表示成为关注像素的像素的像素值相同的次数的计数器数CNT增加1。然后，缺陷检测部142将计数器数CNT达到规定次数CNTTH的像素设为缺陷像素。
存储在图像保持用非易失性存储器143中的保持图像，是在例如数日前、数周前、或者数百张前等相同位置的像素值为相同值的概率可以考虑为是零的程度以前，由图像传感器部11拍摄、并通过缺陷检测部142存储的摄影图像。此外，由于如上所述将摄影图像和保持图像的拍摄时刻设定成足够的时间间隔(采样间隔)使得相同位置的像素值不成为相同值，因此规定次数CNTTH例如可设为2至4次左右。
缺陷检测部142每当从图像传感器部11提供摄影图像时进行缺陷像素的检测，将作为其结果的缺陷位置信息提供给缺陷信息非易失性存储器141。另外，缺陷检测部142将从图像传感器部11提供的摄影图像作为保持图像提供给图像保持用非易失性存储器143并存储(覆盖)。
图像保持用非易失性存储器143，作为保持图像存储从缺陷位置检测部142提供的摄影图像。另外，图像保持用非易失性存储器143，存储从缺陷位置检测部142提供的像素值为相同值的像素的像素位置和计数器数CNT。
缺陷检测部142和图像保持用非易失性存储器143对应于图18的检查装置101。但是在图18的检查装置101中存储q张摄影图像F’1至F’q，并比较各像素的像素值，与此相对，在缺陷检测部142中，仅仅比较摄影图像和保持图像，不会产生多个缺陷像素，因此在图像保持用非易失性存储器143中只要有存储1张摄影图像、以及多个像素的像素位置和计数器数CNT的存储容量即可。
在图19所示的摄像装置1中，在将图像传感器部11组装进摄像装置1之前，由图18的检查装置101判断是否有缺陷像素，将作为其判断结果的缺陷位置信息存储到缺陷信息ROM112中，因此无法与由于老化或者长期使用而产生的图像传感器部11的缺陷像素对应，但是在图21的摄像装置1中，由摄像装置1自身检测出图像传感器部11的缺陷像素，并存储缺陷位置信息，因此还能够检测出使用途中产生的缺陷像素。然后，在缺陷像素被设为关注像素的情况下，系数ROM号码算出部111能够指定用于校正缺陷像素、且除去噪声的系数ROM114-1至114-r，因此对应于图像传感器11a的噪声特性，能够更准确地除去摄影图像的噪声，除此之外在图像传感器部11中有制造时以及使用时的缺陷像素的情况下，能够校正该缺陷像素。并且，使得与没有图像传感器11a的缺陷像素的情况相同地校正摄影图像，因此提高了图像传感器11a的表观上的可靠性。
图3、图19、以及图21的摄像装置1，能够将其全部、或者至少包含图像传感器部11的一部分作为一个芯片而构成。在该情况下，能够减小芯片间的差异，能够提供稳定的摄像装置1。下面说明针对图3的摄像装置1的芯片的各种结构例。
在图22中，将图3的摄像装置1的全部模块、即图像传感器部11、系数ROM号码算出部12、系数ROM保存部13、以及类分类适应处理部14作为图像传感器LSI(Large Scale Integration：大规模集成电路)181，由1个芯片实现。
由此通过将全部模块组装进图像传感器LSI181，系数ROM13-1至13-r不需要对应于各种(各型号的)图像传感器11a，因此能够存储与多种摄影条件信息和固有信息对应的预测系数。或者，如果设为只要与相同的摄影条件信息和固有信息对应就好，则只要少数的系数ROM即可。
另外，系数ROM保存部13的系数ROM13-1至13-r所对应的图像传感器，限定于与在图像传感器部11中使用的图像传感器11a相同型号的图像传感器，因此系数ROM号码算出部12也可以不获取固有信息。
此外，在固有信息中包含表示图像传感器部11中使用的图像传感器11a单体特性(个体差)的信息的情况下，由具有写入用电路的只能够写入1次的保险丝等写入设备、非易失性存储器构成系数ROM13-1至13-r，需要在LSI完成后写入表示个体差的信息。
因此，如图23所示，除了系数ROM保存部13之外，将图像传感器部11、系数ROM号码算出部12以及类分类适应处理部14作为图像传感器LSI(Large Scale Integration：大规模集成电路)182，能够由1个芯片实现。
该情况下，系数ROM13-1至13-r不需要具备写入用电路，因此能够将系数ROM小型化。另外，可以与不需要设置系数ROM保存部13相应地将图像传感器LSI182小型化，而且图像传感器LSI182能够以共同的结构来制造，因此还能够实现LSI(芯片)的成本降低。
在图24中，与图23进行比较可知，除了系数ROM保存部13之外，类分类适应处理部14也配置在芯片外，将图像传感器部11和系数ROM号码算出部12作为图像传感器LSI(Large ScaleIntegration：大规模集成电路)183，由1个芯片实现。
在该情况下，在图像传感器LSI183内处理摄影条件信息。然后，从图像传感器LSI183只将反映了摄影条件信息的系数ROM号码提供给系数ROM保存部13。换句话说，能够在图像传感器LSI183内处理摄影条件信息，进行信息量的缩减。
在图25中，只将图像传感器部11作为图像传感器LSI184，由1个芯片实现。
在该情况下，系数ROM号码算出部12、类分类适应处理部14也可以分别构成为LSI(芯片)，各芯片的通用性变高。即，相对于CCD传感器、CMOS传感器等图像传感器11a的种类不同、型号不同的图像传感器11a各自的图像传感器LSI，能够使用系数ROM号码算出部12的芯片、类分类适应处理部14的芯片。另外，能够容易地变更在系数ROM保存部13的系数ROM中存储的预测系数，灵活地对应于不同的噪声特性。
如上所述，在学习装置51中，通过使用与图像传感器11a相同型号的图像传感器来生成噪声图像，能够求出最适合(特定)图像传感器11a的预测系数。
然后，在摄像装置1中，根据来自图像传感器部11的摄影条件信息来选择由学习装置51学习的最佳的预测系数，因此对应于在图像传感器部11中使用的图像传感器11a的噪声特性，能够更准确地除去摄影图像的噪声。
上述摄像装置1、学习装置51所进行的一系列处理既可以通过硬件进行，也可以通过软件进行。在通过软件进行一系列处理的情况下，构成该软件的程序安装在通用计算机等上。
因此，图26示出了安装了执行上述一系列处理的程序的计算机的一个实施方式的结构例。
程序可以预先记录在作为内置于计算机中的记录介质的硬盘205、ROM203中。
或者，另外程序可以临时或者永久地记录在软盘、CD-ROM(Compact Disk Read Only Memory：光盘只读存储器)、MO(Magneto Optical：磁光)盘、DVD(Digital VersatileDisk：多功能数字光盘)、磁盘、半导体存储器等可移动记录介质211中。这种可移动记录介质211可作为所谓套装软件提供。
此外，除了从如上所述的可移动记录介质211将程序安装到计算机中之外，也可以从下载站点通过数字卫星广播用的人造卫星将程序无线传送到计算机中，或者通过LAN(Local AreaNetwork：局域网)、因特网之类的网络有线传送到计算机，在计算机中由通信部208接收这样传送过来的程序，安装在内置的硬盘205中。
计算机内置有CPU(Central Processing Unit：中央处理单元)202。在CPU202中，通过总线201连接有输入输出接口210，CPU202通过输入输出接口210，当由用户通过操作由键盘、鼠标、麦克风等构成的输入部207等来输入指令时，根据该指令执行保存在ROM(Read Only Memory：只读存储器)203中的程序。或者，另外CPU202将保存在硬盘205中的程序、从卫星或者网络传输并由通信部208接收从而安装在硬盘205中的程序、或者从安装在驱动器209的可移动记录介质211读出从而安装在硬盘205中的程序，加载到RAM(Random Access Memory：随机存取存储器)204中来执行。摄影部212拍摄被摄体，将其结果得到的图像提供给CPU202、硬盘205。由此，CPU202进行根据上述流程图的处理、或者进行根据上述框图结构进行的处理。并且，CPU202根据需要，例如将该处理结果通过输入输出接口210，从由LCD(LiquidCrystal Display：液晶显示器)、扬声器等构成的输出部206输出、或者从通信部208发送、进而在硬盘205中记录等。
此外，对用于使计算机进行各种处理的程序进行记述的处理步骤，未必按作为流程图所记载的顺序以时间序列进行处理，还包含并行或者个别执行的处理(例如并行处理或者基于对象的处理)。
另外，既可以由一台计算机处理程序，也可以由多台计算机分散处理程序。而且，也可以传输到远方的计算机而执行程序。
此外本发明的实施方式不限于上述实施方式，可以在不超出本发明要旨的范围内进行种种变更。

Claims (11)

1.一种学习装置，学习预测系数，该预测系数在进行作为所拍摄的图像的摄影图像的噪声除去处理时使用，该学习装置具备：
条件决定单元，决定摄影条件；
摄影单元，在所决定的上述摄影条件下，拍摄被摄体；
噪声图像生成单元，生成抽出了通过上述摄影单元拍摄的图像中包含的噪声的噪声图像；
教师图像生成单元，生成成为噪声除去处理后的目标图像的教师图像；
学生图像生成单元，通过对上述教师图像附加上述噪声图像，生成与进行噪声除去处理之前的上述摄影图像相当的学生图像；
存储单元，按不同的每个上述摄影条件，存储上述教师图像和上述学生图像的成对的数据；
抽出单元，关于上述摄影条件的每个，从上述学生图像抽出在求出作为构成对的上述教师图像的像素的关注像素中使用的多个像素；和
运算单元，根据抽出的上述多个像素运算上述预测系数，其中，上述预测系数使利用上述预测系数求出的上述关注像素的预测误差统计上最小。
2.根据权利要求1所述的学习装置，其特征在于，
上述噪声图像生成单元通过运算成为由上述摄影单元拍摄的多个上述图像的平均的图像、与由上述摄影单元拍摄的多个上述图像各个之间的差分，生成多个上述噪声图像。
3.一种学习方法，学习预测系数，该预测系数在进行作为所拍摄的图像的摄影图像的噪声除去处理时使用，该学习方法包括以下步骤：
决定摄影条件；
在所决定的上述摄影条件下，拍摄被摄体；
生成抽出了所拍摄的图像中包含的噪声的噪声图像；
生成成为噪声除去处理后的目标图像的教师图像；
通过对上述教师图像附加上述噪声图像，生成与进行噪声除去处理之前的上述摄影图像相当的学生图像；
按不同的每个上述摄影条件，存储上述教师图像和上述学生图像的成对的数据；
关于上述摄影条件的每个，从上述学生图像抽出在求出作为构成对的上述教师图像的像素的关注像素中使用的多个像素；和
根据抽出的上述多个像素运算上述预测系数，其中，上述预测系数使利用上述预测系数求出的上述关注像素的预测误差统计上最小。
4.一种信息处理装置，具备：
摄影单元，拍摄被摄体；
类分类单元，将上述摄影单元所输出的第一图像根据上述第一图像的摄影条件特征分类为类；
保存单元，保存拍摄时的摄影条件不同的多个系数存储器，该系数存储器存储通过根据权利要求1所述的学习装置而学习获得的每个上述类的预测系数；
指定单元，根据上述摄影单元拍摄时的上述摄影条件，从多个上述系数存储器中指定一个上述系数存储器；和
运算单元，通过使用所指定的上述系数存储器的、上述第一图像的上述类的预测系数进行运算，求出从上述第一图像除去噪声的第二图像。
5.根据权利要求4所述的信息处理装置，其特征在于，
上述摄影条件是拍摄时的照度或者曝光时间。
6.根据权利要求4所述的信息处理装置，其特征在于，
上述保存单元还保存上述拍摄时的摄影条件和上述摄影单元固有的每个固有信息的上述系数存储器，
上述指定单元根据上述摄影条件以及上述固有信息，从保存的多个上述系数存储器中指定一个上述系数存储器。
7.根据权利要求4所述的信息处理装置，其特征在于，
上述保存单元还保存上述拍摄时的摄影条件和表示构成上述摄影单元的像素中的缺陷像素的位置的每个缺陷位置信息的第二系数存储器，
上述指定单元根据上述摄影条件以及上述缺陷位置信息，从保存的多个上述系数存储器中指定一个上述第二系数存储器，
上述运算单元对上述缺陷像素进行校正、且求出从上述第一图像除去噪声的第二图像。
8.根据权利要求7所述的信息处理装置，其特征在于，还具备：
缺陷像素检测单元，检测上述摄影单元的上述缺陷像素，输出上述缺陷位置信息；和
存储单元，存储上述缺陷位置信息。
9.根据权利要求8所述的信息处理装置，其特征在于，
上述缺陷像素检测单元根据不同时间拍摄的两张图像的对应的各像素是否具有相同的像素值，检测上述缺陷像素。
10.根据权利要求4所述的信息处理装置，其特征在于，
上述摄影单元、上述类分类单元、上述保存单元、上述指定单元、以及上述运算单元的全部、或者至少包括上述摄影单元的一部分，由芯片构成。
11.一种信息处理方法，包括以下步骤：
将拍摄被摄体所得到的第一图像，根据上述第一图像的摄影条件特征分类为类；
根据得到上述第一图像时的摄影条件，从拍摄时的上述摄影条件不同的多个系数存储器中指定一个上述系数存储器，其中，上述系数存储器存储通过根据权利要求3所述的学习方法而学习获得的每个上述类的预测系数；
通过使用所指定的上述系数存储器的、上述第一图像的上述类的预测系数进行运算，求出从上述第一图像除去噪声的第二图像。
CNB2007100011129A 2006-01-16 2007-01-16 信息处理装置和方法、学习装置和方法 Expired - Fee Related CN100574372C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006007257 2006-01-16
JP2006007257A JP2007189589A (ja) 2006-01-16 2006-01-16 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN101005569A CN101005569A (zh) 2007-07-25
CN100574372C true CN100574372C (zh) 2009-12-23

Family

ID=38262791

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2007100011129A Expired - Fee Related CN100574372C (zh) 2006-01-16 2007-01-16 信息处理装置和方法、学习装置和方法

Country Status (4)

Country Link
US (1) US7853099B2 (zh)
JP (1) JP2007189589A (zh)
KR (1) KR20070076432A (zh)
CN (1) CN100574372C (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101354669B1 (ko) * 2007-03-27 2014-01-27 삼성전자주식회사 이미지 센서의 불량 화소 검출 방법 및 장치, 이미지센서로부터의 이미지 획득 방법 및 장치
JP4931238B2 (ja) * 2007-08-14 2012-05-16 キヤノン株式会社 撮像装置及びその駆動方法
US8331710B2 (en) * 2007-11-06 2012-12-11 Sony Corporation Image processing apparatus and method, learning apparatus and method, and program
JP5180795B2 (ja) * 2007-12-10 2013-04-10 キヤノン株式会社 撮像装置及びその制御方法
JP5099429B2 (ja) * 2007-12-21 2012-12-19 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム、並びに学習装置
JP5061882B2 (ja) 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに学習装置
US8891866B2 (en) * 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
JP5766077B2 (ja) * 2011-09-14 2015-08-19 キヤノン株式会社 ノイズ低減のための画像処理装置及び画像処理方法
JP5968025B2 (ja) * 2012-04-11 2016-08-10 キヤノン株式会社 撮像装置及び撮像装置の制御方法
TW201419853A (zh) * 2012-11-09 2014-05-16 Ind Tech Res Inst 影像處理器及其影像壞點偵測方法
CN108141573A (zh) * 2015-10-22 2018-06-08 奥林巴斯株式会社 图像处理装置、图像处理方法以及程序
US11222404B2 (en) 2016-03-25 2022-01-11 Koninklijke Philips N.V. Image reconstruction
US9760978B1 (en) * 2016-05-09 2017-09-12 Adobe Systems Incorporated Missing region prediction
US9911201B2 (en) 2016-06-23 2018-03-06 Adobe Systems Incorporated Imaging process initialization techniques
WO2018199031A1 (ja) * 2017-04-27 2018-11-01 日本電信電話株式会社 学習型信号分離方法、及び学習型信号分離装置
WO2019194064A1 (ja) * 2018-04-02 2019-10-10 日本電産株式会社 画像処理装置、画像処理方法、外観検査システムおよび外観検査方法
EP3620989A1 (en) * 2018-09-07 2020-03-11 Panasonic Intellectual Property Corporation of America Information processing method, information processing apparatus, and program
CN112822982B (zh) * 2018-10-10 2023-09-15 株式会社岛津制作所 图像制作装置、图像制作方法以及学习完毕模型的制作方法
CN109785254A (zh) * 2018-12-29 2019-05-21 努比亚技术有限公司 图片降噪方法、图片降噪模型生成方法、终端及存储介质
KR102226897B1 (ko) * 2019-01-25 2021-03-11 주식회사 딥바이오 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
WO2020170835A1 (ja) * 2019-02-18 2020-08-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2020203191A1 (ja) * 2019-04-03 2020-10-08 三菱電機株式会社 圧縮装置、圧縮方法、および圧縮プログラム
JPWO2021095256A1 (zh) * 2019-11-15 2021-05-20
CN116114027A (zh) * 2020-07-23 2023-05-12 第一百欧有限公司 利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统
WO2022099133A1 (en) * 2020-11-09 2022-05-12 Canon U.S.A., Inc. Using activation maps to detect best areas of an image for prediction of noise levels
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
JP2023077988A (ja) * 2021-11-25 2023-06-06 キヤノン株式会社 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1169082A (zh) * 1996-06-17 1997-12-31 索尼公司 相关数字信号中的噪声降低
CN1300504A (zh) * 1999-02-19 2001-06-20 索尼公司 图象信号处理设备和方法、学习设备和方法以及记录介质
CN1669329A (zh) * 2002-07-19 2005-09-14 索尼株式会社 信息信号处理设备、信息信号处理方法、图像信号处理设备、图像显示设备、生成用在其中的校正数据的设备和方法、生成系数数据的设备和方法、执行这些方法的程序以及存储程序的计算机可读媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
US6081343A (en) * 1995-11-28 2000-06-27 Fuji Photo Film Co., Ltd. Digital printer and image data conversion method therefor
JP2001304842A (ja) * 2000-04-25 2001-10-31 Hitachi Ltd パターン検査方法及びその装置並びに基板の処理方法
JP4035356B2 (ja) * 2002-04-10 2008-01-23 キヤノン株式会社 撮像装置およびその制御方法
TWI237341B (en) * 2004-07-21 2005-08-01 Ritdisplay Corp System of detection and repair and method thereof
TWI447575B (zh) * 2005-01-21 2014-08-01 Photon Dynamics Inc 自動缺陷修復系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1169082A (zh) * 1996-06-17 1997-12-31 索尼公司 相关数字信号中的噪声降低
CN1300504A (zh) * 1999-02-19 2001-06-20 索尼公司 图象信号处理设备和方法、学习设备和方法以及记录介质
CN1669329A (zh) * 2002-07-19 2005-09-14 索尼株式会社 信息信号处理设备、信息信号处理方法、图像信号处理设备、图像显示设备、生成用在其中的校正数据的设备和方法、生成系数数据的设备和方法、执行这些方法的程序以及存储程序的计算机可读媒体

Also Published As

Publication number Publication date
JP2007189589A (ja) 2007-07-26
US7853099B2 (en) 2010-12-14
US20070165112A1 (en) 2007-07-19
CN101005569A (zh) 2007-07-25
KR20070076432A (ko) 2007-07-24

Similar Documents

Publication Publication Date Title
CN100574372C (zh) 信息处理装置和方法、学习装置和方法
Jiang et al. Learning the image processing pipeline
US9432589B2 (en) Systems and methods for generating high dynamic range images
CN102835102B (zh) 图像处理设备和图像处理设备的控制方法
US8346003B2 (en) Image processing for reducing blur
CN102025959A (zh) 从低清晰度视频产生高清晰度视频的系统与方法
US20210358081A1 (en) Information processing apparatus, control method thereof, imaging device, and storage medium
CN102907103A (zh) 图像处理设备、图像处理方法和程序
CN102903088A (zh) 图像处理装置和方法
CN102789630B (zh) 图像处理设备、图像处理方法和学习设备
CN103067671A (zh) 一种显示图像的方法及装置
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
CN103634579A (zh) 图像处理装置和方法、程序和固态成像装置
CN110555877B (zh) 一种图像处理方法、装置及设备、可读介质
JP4238516B2 (ja) データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
US20130202199A1 (en) Using higher order statistics to estimate pixel values in digital image processing to improve accuracy and computation efficiency
JP2006140952A (ja) 画像処理装置および画像処理方法
JP6435560B1 (ja) 画像処理装置、画像処理方法、プログラム及び撮像装置
US11182617B2 (en) Device and method for generating heat map
Choudhury Robust HDR image quality assessment using combination of quality metrics
CN100521741C (zh) 图像处理装置和图像处理方法
CN116935767A (zh) 视觉系统的准确度确定方法、装置、计算机可读存储介质
Walia et al. Performance Analysis of kNN-Based Image Demosaicing for Variable Window Sizes
Sekmen et al. A Compact Multi-Exposure File Format for Backward and Forward Compatible HDR Imaging
CN117474855A (zh) 基于混合cnn-t和多区域特征的无参考屏幕图像质量评估方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091223

Termination date: 20140116