CN101753797A - 图像信号处理设备及方法和程序 - Google Patents

图像信号处理设备及方法和程序 Download PDF

Info

Publication number
CN101753797A
CN101753797A CN200910246354.3A CN200910246354A CN101753797A CN 101753797 A CN101753797 A CN 101753797A CN 200910246354 A CN200910246354 A CN 200910246354A CN 101753797 A CN101753797 A CN 101753797A
Authority
CN
China
Prior art keywords
gray level
level correction
processing unit
value
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910246354.3A
Other languages
English (en)
Other versions
CN101753797B (zh
Inventor
若园雅史
加藤直哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101753797A publication Critical patent/CN101753797A/zh
Application granted granted Critical
Publication of CN101753797B publication Critical patent/CN101753797B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

提供图像信号处理设备、图像信号处理方法和程序。所述图像信号处理设备包括以下元件。控制单元，确定表示用于校正输入帧的亮度的转换特性的灰度级校正特性。分离单元，将所确定的灰度级校正特性分为表示主要被摄体的代表性值的校正量的代表性灰度级校正值和通过从灰度级校正特性中除去代表性灰度级校正值而获得的剩余灰度级校正特性；增益处理单元，将所分离的代表性灰度级校正值作为增益统一地应用于帧。降噪处理单元，关于应用了代表性灰度级校正值的帧执行降噪处理。灰度级校正处理单元，使用所分离的剩余灰度级校正特性关于已经执行了降噪处理的帧执行灰度级校正处理。

Description

图像信号处理设备及方法和程序
技术领域
本发明涉及图像信号处理设备及方法和程序。更具体地说，本发明涉及其中即使当组合地执行灰度级校正处理和降噪处理时，也可以获得具有适当地降低的噪声的图像的图像信号处理设备及方法和程序。
背景技术
随着近来固态成像技术(如，降噪)的进步或信号处理技术的进步，即使数字照相机也已经提供有捕捉具有宽动态范围的图像数据的能力。在该情况下，执行曝光控制从而与在正常条件下的图像捕捉相比减小曝光量，以防止在成像元件中发生饱和(例如，参见日本待审查专利申请公开No.2008-148180)。
在下文中将在上述控制中执行的成像称为“宽DR成像”，且在下文中将在上述控制下捕捉的图像称为“宽DR图像”。
宽DR图像比在正常条件下捕捉的图像均匀地更暗。这样，当输出宽DR图像时，在照相机内，在数字信号处理中执行灰度级校正处理从而最优化主要被摄体的亮度。灰度级校正处理的示例通常包括色调曲线处理(tone curveprocessing)和动态范围压缩处理。
以主要被摄体的图像可以显得更亮的方式执行灰度级校正处理。该操作具有增加分配给主要被摄体的信号的宽度的效果。因此，在数字信号处理中，用于对应部分的信号连续性(电平改变的平滑性)恶化。
在数字照相机中，通常执行降噪处理(以下称为“NR处理”)以便降低图像数据中的噪声。在NR处理中，考虑指示在输入电平和噪声分量之间的关系的噪声模型(例如，参见日本待审查专利申请公开No.2008-131529)或考虑人的视觉特性(例如，参见日本未审查专利申请公开No.2008-113222)，从图像数据中除去噪音分量。
例如，通常使用非线性平滑滤波器(如，双边滤波器)执行NR处理。用于平滑数字信号的处理具有通过平均包括量化误差和噪声的多个数据片段来改进电平连续性(分辨率)的效果。因此，NR处理也具有输入图像的改进的信号连续性以及噪声消除或降低的性质。
发明内容
当对宽DR图像执行如上所述的灰度级校正处理和NR处理两者时，处理的性能可能如下那样降低而不论首先执行灰度级校正处理还是NR处理。
当首先执行灰度级校正处理然后执行NR处理时，由于灰度级校正处理的影响，可能放大噪声或可能抑制初始信号的幅度。因此，难以在噪声和初始信号之间进行区别，造成NR处理的性能降低的危险。在灰度级校正处理之后获得的图像中，由于其影响，不建立噪声模型。因此，难以适当地执行NR处理。
另一方面，当首先执行NR处理然后执行灰度级校正处理时，因为由于主要被摄体的低亮度(因为还没有执行灰度级校正)的缘故可能不必要地正确地反映人的视觉特性，所以存在NR处理的性能降低的危险。另外，因为灰度级校正处理允许校正主要被摄体从而增加其亮度，所以可能恶化被摄体的电平的连续性。
因此期望防止或减少当组合地执行灰度级校正处理和降噪处理时处理性能的恶化。
在本发明的实施例中，图像信号处理设备包括以下组件。控制单元，被配置为确定表示用于校正输入帧的亮度的转换特性的灰度级校正特性。分离单元，被配置为将由控制单元确定的灰度级校正特性分离为表示主要被摄体的代表性值的校正量的代表性灰度级校正值和通过从灰度级校正特性中除去代表性灰度级校正值而获得的剩余灰度级校正特性。增益处理单元，被配置为将由分离单元分离出来的代表性灰度级校正值作为增益统一地应用于帧。降噪处理单元，被配置为关于由增益处理单元应用了代表性灰度级校正值的帧执行降噪处理。灰度级校正处理单元，被配置为使用由分离单元分离出来的剩余灰度级校正特性，关于已经由降噪处理单元执行了降噪处理的帧执行灰度级校正处理。
剩余灰度级校正特性可以是通过关于主要被摄体的代表性值归一化灰度级校正特性而获得的归一化灰度级校正函数。
灰度级校正处理单元可以执行色调曲线处理作为灰度级校正处理。
灰度级校正处理单元可以执行动态范围压缩处理作为灰度级校正处理。
灰度级校正处理单元可以执行阴影校正处理作为灰度级校正处理。
图像信号处理设备可进一步包括参数设置单元，被配置为使用由分离单元分离出来的代表性灰度级校正值来设置降噪处理的噪声模型的参数。
在本发明的另一实施例中，图像信号处理方法包括步骤：确定表示用于校正输入帧的亮度的转换特性的灰度级校正特性；将所确定的灰度级校正特性分为表示用于主要被摄体的代表性值的校正量的代表性灰度级校正值和通过从灰度级校正特性中去除代表性灰度级校正值而获得的剩余灰度级校正特性；将分离出的代表性灰度级校正值作为增益统一地应用到帧；关于应用了代表性灰度级校正值的帧执行降噪处理；和使用分离出的剩余灰度级校正特性关于已经执行了降噪处理的帧执行灰度级校正处理。
在本发明的另一实施例中，用于使得计算机执行包括以下步骤的处理的程序，所述步骤包括：确定表示用于校正输入帧的亮度的转换特性的灰度级校正特性；将所确定的灰度级校正特性分为表示用于主要被摄体的代表性值的校正量的代表性灰度级校正值和通过从灰度级校正特性中除去代表性灰度级校正值而获得的剩余灰度级校正特性；将所分离的代表性灰度级校正值作为增益统一地应用到帧；关于应用了代表性灰度级校正值的帧执行降噪处理；和使用所分离的剩余灰度级校正特性关于已经执行了降噪处理的帧执行灰度级校正处理。
根据本发明的实施例，可以组合地执行灰度级校正处理和降噪处理。此外，根据本发明的实施例，当组合地执行灰度级校正处理和降噪处理时可以防止或减少处理性能的恶化。
附图说明
图1是图示根据本发明实施例的数字照相机的示例配置的框图；
图2是图示图1所示的NR处理单元的示例配置的图；
图3是图示转换表的示例的图；
图4是图示在成像模式中捕捉的图像数据的图像的图；
图5是图4所示的图像数据的灰度级校正特性的示例的图；
图6是描述图像信号处理单元的处理的图；
图7是描述图1所示的数字照相机的宽DR成像处理的流程图；
图8是图示在标准成像模式中现有技术配置的各个处理中信号连续性的曲线的图；
图9是图示在宽DR成像模式中现有技术配置的各个处理中信号连续性的曲线的图；
图10是图示在宽DR成像模式中图像信号处理单元的各个处理中信号连续性的曲线的图；
图11是描述灰度级校正(即，阴影处理)的图；
图12是图示根据本发明实施例的图像信号处理系统的示例配置的框图；
图13是描述图12所示的个人计算机的图像信号处理的流程图；和
图14是图示计算机的硬件的示例配置的框图。
具体实施方式
现在将在根据第一实施例的数字照相机和根据第二实施例的个人计算机的情况下描述根据本发明实施例的图像信号处理设备。
第一实施例
图1是图示用作根据本发明实施例的图像信号处理设备的数字照相机1的示例配置的框图。
在图1所示的示例中，数字照相机1包括曝光控制器11、曝光量调整单元12、成像元件13、模拟-数字(A/D)转换单元14、图像信号处理单元15、信号处理单元16、显示单元17和记录单元18。
曝光控制器11和曝光量调整单元12被配置为执行曝光控制。曝光控制器11根据被摄体的亮度分布和数字照相机1的成像模式设置曝光调整值(也就是说，曝光量调整单元12的控制值)，从而获得成像元件13的适当曝光量。曝光控制器11将曝光调整值输出到检测(DET)处理单元21。曝光量调整单元12使用从曝光控制器11输出的控制值调整成像元件13的曝光量，并执行曝光。控制值的示例通常包括光圈开口(aperture opening)、曝光时间和中性密度(ND)滤波器的密度。
成像元件13可以由例如固态成像元件(如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器)配置。成像元件13将从被摄体等通过比如透镜之类的光学块(未图示)入射的光转换为模拟信号。
A/D转换单元14将由成像元件13转换为模拟信号的图像信号量化以产生数字图像数据。将图像数据从A/D转换单元14输出到图像信号处理单元15的DET处理单元21和增益处理单元23。
图像信号处理单元15关于从A/D转换单元14输出的图像数据执行图像信号处理。具体地说，图像信号处理单元15执行灰度级校正，从而获得从A/D转换单元14输出的图像数据(帧)中主要被摄体的期望的亮度，且还执行降噪处理以减少图像数据中的噪声。在该情况下，图像信号处理单元15以在降噪处理之前和之后的实质上的两个单独的阶段执行亮度灰度级校正处理。例如，在第一阶段中执行灰度级校正处理从而增加灰度级，且在第二阶段中执行灰度级校正处理从而在高亮度部分中降低灰度级。在下文中将降噪处理适当地称为“NR处理”或“噪声去除处理”。
图像信号处理单元15包括DET处理单元21、分离处理单元22、被配置为执行第一阶段中的灰度级校正处理的增益处理单元23、降噪(NR)调整处理单元24、NR处理单元25、和被配置为执行第二阶段中的灰度级校正处理的色调图(TM)(灰度级校正)处理单元26。
DET处理单元21使用从曝光控制器11输出的曝光调整值分析从A/D转换单元14输出的图像数据，以确定要施加到图像数据的灰度级校正特性，并将所确定的灰度级校正特性输出到分离处理单元22。例如，DET处理单元21确定灰度级校正函数作为灰度级校正特性的示例。灰度级校正函数是定义用于最优化图像数据的亮度的转换特性作为在输入和输出亮度电平之间的关系的函数。例如，可以确定灰度级校正函数，以使得可以减少在高亮度部分中发生曝光过度和增加主要被摄体的亮度。
分离处理单元22将从DET处理单元21输出的灰度级校正特性分解为增益处理单元23执行第一阶段中的亮度灰度级校正处理所需的分量和TM处理单元26执行第二阶段中的亮度灰度级校正处理所需的分量，并将每一分量分配给对应的单元。例如，当从DET处理单元21输入灰度级校正函数作为灰度级校正特性时，分离处理单元22将灰度级校正函数分解为代表性灰度级校正值和作为剩余灰度级校正函数(通过从灰度级校正函数中减去代表性灰度级校正值而获得)的归一化灰度级校正函数。然后，分离处理单元22将代表性灰度级校正值分配给增益处理单元23，并将归一化灰度级校正函数分配给TM处理单元26。还将代表性灰度级校正值输出到NR调整处理单元24。
代表性灰度级校正值是当关于主要被摄体的代表性值(代表性电平值)执行的校正处理由增益表示时获得的增益值。归一化灰度级校正函数是归一化以使得灰度级校正函数的输入输出电平可以关于主要被摄体的代表性值相同的灰度级校正函数。
增益处理单元23使用从分离处理单元22输出的代表性灰度级校正值执行第一阶段中的亮度灰度级校正处理。具体地说，增益处理单元23使用从分离处理单元22输出的代表性灰度级校正值来校正(调整)从A/D转换单元14输出的图像数据从而获得均匀亮度，并将已经校正了其亮度的图像数据输出到NR处理单元25。
NR调整处理单元24使用从分离处理单元22输出的代表性灰度级校正值来计算指示在输入电平和噪声分量之间的关系的噪声模型的参数，并设置NR处理单元25的噪声模型中的参数。
例如，在NR处理单元25中，执行在日本待审查专利申请公开No.2008-113222中公开的噪声去除处理。NR处理单元25使用由NR调整处理单元24设置的噪声模型，在从增益处理单元23输出的图像数据中除去噪声，并输出结果到TM处理单元26。NR处理单元25的噪声去除包括降低噪声以及完全地去除噪声。
TM处理单元26使用从分离处理单元22输出的归一化灰度级校正函数执行第二阶段中的亮度灰度级校正处理。具体地说，TM处理单元26使用从分离处理单元22输出的归一化灰度级校正函数，关于从NR调整处理单元24输出的图像数据执行灰度级校正，并将经灰度级校正的图像数据输出到信号处理单元16。可以使用色调曲线处理、动态范围压缩处理、或阴影处理等实现灰度级校正。将在下文中通过示例的方式在色调曲线处理的情况下描述灰度级校正。
信号处理单元16关于从TM处理单元26输出的图像数据执行信号处理，比如在后续的显示单元17上显示图像或将图像数据转换为适于记录在记录单元18上的图像数据，并将产生的图像数据输出到对应的显示单元17或记录单元18。在信号处理单元16中，执行其中，例如，组合了信号格式转换(如，伽马转换或YCbCr转换)和使用查找表(LUT)的颜色转换处理的信号处理。
显示单元17可以由例如液晶显示器(LCD)面板等配置，且被配置为显示与从信号处理单元16输出的图像数据对应的图像。记录单元18被配置为将从信号处理单元16输出的图像数据记录到比如光盘或磁盘之类的记录介质(未图示)上。
图2是图示NR处理单元25的示例配置的图。
图2所示的NR处理单元25包括物理特征值计算单元31、视觉特征值计算单元32、阈值确定单元33和噪声去除单元34。
将从增益处理单元23输出的图像数据输入到物理特征值计算单元31、视觉特征值计算单元32和噪声去除单元34。
物理特征值计算单元31使用由NR调整处理单元24设置其参数的噪声模型，来计算噪声量(物理特征值)σ2(其是取决于输入图像数据的亮度的值)，并将噪声量输出到阈值确定单元33。
视觉特征值计算单元32确定由输入图像数据指示的图像的颜色R、G和B，并使用视觉模型计算校正参数(视觉特征值)k，其是用于校正物理特征值的系数。视觉特征值计算单元32将校正参数输出到阈值确定单元33。
视觉模型可以由例如考虑人的视觉特性而创建的颜色校正值转换表配置，这将在以下参考图3描述。
阈值确定单元33使用从物理特征值计算单元31输出的噪声量σ2和从视觉特征值计算单元32输出的校正参数k，来计算滤波器阈值ε(其用于噪声去除单元34执行噪声去除处理的)，并将计算出的滤波器阈值ε输出到噪声去除单元34。使用例如乘法器来配置阈值确定单元33，且其被配置为将从物理特征值计算单元31输出的噪声量σ2乘以从视觉特征值计算单元32输出的校正参数k以产生值kσ2，并将值kσ2输出到噪声去除单元34作为滤波器阈值ε。以这样的方式确定滤波器阈值ε，由此允许使用考虑了噪声的物理特性和人的视觉特性的适当阈值的噪声去除处理。
例如，噪声去除单元34使用从阈值确定单元33输出的滤波器阈值ε关于输入图像数据执行基于ε滤波器的噪声去除，并将经历了噪声去除处理的图像数据输出到后续TM处理单元26。噪声去除单元34还可以使用除了使用ε滤波器的其它方法来去除噪声。
图3是图示用作视觉模型的转换表的示例配置的图。
转换表是其中颜色、(r，g，b)值和校正参数k彼此相关联的转换表，且被配置为将图像的每一颜色值R、G和B转换为校正参数k。
在转换表中，绿色、(r，g，b)＝(100，170，100)和校正参数k＝2.0彼此相关联，且黄色、(r，g，b)＝(240，200，60)和校正参数k＝2.0彼此相关联。进一步，蓝色、(r，g，b)＝(90，90，200)和校正参数k＝3.0彼此相关联，且红色、(r，g，b)＝(200，50，70)和校正参数k＝3.0彼此相关联。另外，肉色、(r，g，b)＝(220，170，170)和校正参数k＝3.0彼此相关联，且其他颜色和参数k＝2.5彼此相关联。
视觉特征值计算单元32确定由输入图像数据指示的图像的颜色R、G和B，并从转换表中的(r，g，b)值之中选择最接近颜色R、G和B的每一确定值的值。然后，视觉特征值计算单元32从转换表中选择与所选的(r，g，b)值对应的校正参数k，并将所选的校正参数k输出到阈值确定单元33。
基于每一个值的彩色空间距离(矢量)执行从转换表中的(r，g，b)值之中最接近颜色R、G和B的每一值的值的选择。
现在将参考图4描述数字照相机1的成像模式。
数字照相机1具有至少包括宽DR成像模式(其中捕捉具有宽动态范围的图像)和标准成像模式(其中捕捉具有非宽动态范围或标准动态范围的图像)的成像模式。在图4所示的示例中，提供了采用不同的曝光调整方法的两个类型的宽DR成像模式，即，宽DR成像模式A和宽DR成像模式B。
当数字照相机1的成像模式是宽DR成像模式A时，曝光控制器11使用例如用于执行曝光调整以便不极端地降低主要被摄体的曝光量同时防止在成像元件13上发生曝光过度的方法来设置曝光调整值，这在日本待审查专利申请公开No.2008-148180中公开。
当数字照相机1的成像模式是宽DR成像模式B时，曝光控制器11使用例如用于执行曝光调整以便防止在成像元件13上发生任意曝光过度的方法来设置曝光调整值。
可以使用任意特定的曝光调整方法，包括但不限于，如上所述的宽DR成像模式A和宽DR成像模式B。用于在DR成像模式中的图像捕捉的曝光调整值具有比用于标准模式中的图像捕捉更低的曝光。
在图4所示的示例中，图示了通过以如上所述的成像模式捕捉图像而获得的图像数据的图像51到53及其直方图54到56。具体地说，在图4的上部中，图示了通过以标准成像模式捕捉图像而获得的图像数据的图像51及其直方图54。在图4的中部，图示了通过以宽DR成像模式A捕捉图像而获得的图像数据的图像52及其直方图55。在图4的下部，图示了通过以宽DR成像模式B捕捉图像而获得的图像数据的图像53及其直方图56。
在直方图54到56中，纵坐标表示频率且横坐标表示亮度(发光度)，其中越往右，亮度越高。另外，图像51到53中的主要被摄体是在屏幕中心的人，且在直方图54到56中的范围E指示主要被摄体的亮度分布。虽然在这里没有具体地陈述，但对于其它直方图也是这样。
在以标准成像模式的图像捕捉中，如直方图54中的范围E指示的，主要被摄体具有足够的亮度，这是优选的。但是，在图像51的上部中的高亮度的天空部分中，发生曝光过度且被摄体(天空部分)的亮度没有反映在信号中。
另一方面，在以宽DR成像模式A的图像捕捉中，以比以标准成像模式的图像捕捉中更低的曝光捕捉图像。在以宽DR成像模式A的图像捕捉中，因为曝光比在以标准成像模式的图像捕捉中更低，所以与标准成像模式中图像51的相比较，图像52的天空部分的亮度基本上反映在信号中。
在以宽DR成像模式B的图像捕捉中，以比以宽DR成像模式A的图像捕捉中更进一步降低的曝光捕捉图像。在以宽DR成像模式B的图像捕捉中，因为比以宽DR成像模式A的图像捕捉中进一步降低了曝光，所以图像53的天空部分的亮度完全地反映在信号中。但是，在以任一宽DR成像模式的图像捕捉中，由于降低了曝光，如由直方图55和56中的范围E所指示的，主要被摄体的亮度低。
图5是图示图4中所示的图像数据的灰度级校正特性的示例的图。在图5所示的示例中，图示了表示通过以图4所示的各个的成像模式捕捉图像而获得的图像数据的灰度级校正特性的色调曲线61到63、与在基于色调曲线61到63的灰度级校正之后获得的图像数据片段对应的图像64到66、和图像64到66的直方图67到69的曲线图。
在色调曲线61到63的曲线图中，横坐标表示输入电平，其中越往右，亮度越高。纵坐标表示输出电平，其中越接近输出电平的上端，亮度越高。虽然在这里没有具体地陈述，但对于色调曲线的其他曲线图也是这样。
如在图像51到53中那样，图像64到66中的主要被摄体是在屏幕中心的人。进一步，色调曲线62和63的曲线图中的范围F指示主要被摄体的亮度范围，且在直方图67到69中的范围E指示主要被摄体的亮度分布。
在DET处理单元21中，确定用于校正通过捕捉图像而获得的图像数据的亮度的灰度级校正特性。灰度级校正特性是用于校正主要被摄体的亮度(其由于以宽DR成像模式的图像捕捉而低)，同时保持高亮度部分的信号的处理特性，且可以是例如由色调曲线62或63表示的灰度级校正函数。
可以使用任意方法来确定灰度级校正特性。DET处理单元21确定灰度级校正特性以使得，例如，可以防止在高亮度部分中发生曝光过度和增加主要被摄体的亮度。具体地说，在由色调曲线62的曲线图中的范围F指示的主要被摄体的亮度范围内，DET处理单元21确定灰度级校正特性，以使得通过曝光控制器11的曝光调整值，可以偏移(消除)比在标准成像模式中更低的曝光。在亮度的范围F之外，DET处理单元21确定灰度级校正特性，以使得可以逐渐地降低校正量。
类似地，在由色调曲线63的曲线图的范围F指示的主要被摄体的亮度范围内，DET处理单元21确定灰度级校正特性，以使得通过曝光控制器11的曝光调整值，可以偏移比在宽DR成像模式A中进一步降低的曝光。在亮度的范围F之外，DET处理单元21确定灰度级校正特性以使得可以逐渐地降低校正量。因此，在范围F内的色调曲线63的斜率比在范围F内的色调曲线62的斜率更陡峭。在色调曲线62和63的曲线图中，“×(1/曝光调整值)”表示曝光调整值的偏移。
通过使用色调曲线(灰度级校正特性)62，校正图4所示的图像52的低亮度部分从而增加亮度。也就是说，可以执行校正以使得如由图像65和直方图68指示的，图4所示的图像52中的主要被摄体可以具有最优的亮度(例如，在标准成像模式中与由图像64和直方图67中的范围E指示的亮度相等的亮度)。
类似地，通过使用色调曲线(灰度级校正特性)63，校正图4所示的图像53的低亮度部分从而增加亮度。也就是说，可以执行校正以使得如由图像66和直方图69指示的，图4所示的图像53中的主要被摄体可以具有最优的亮度(例如，在标准成像模式中与由图像64和直方图67中的范围E指示的亮度相等的亮度)。
通过以标准成像模式捕捉图像而获得的图像数据可以不必经历图像信号处理单元15的灰度级校正。但是，在图5所示的示例中，为了与通过以宽DR成像模式捕捉图像而获得的图像数据比较，图示了色调曲线61、图像64和直方图67。因此，图5中所示的色调曲线61是线性的，在灰度级校正之后获得的图像64匹配图4中图示的图像51，且在灰度级校正之后获得的直方图67匹配图4中图示的直方图54。
现在将参考图6描述图像信号处理单元15的处理的细节。在图6中图示的示例中，为了描述的方便，没有图示NR调整处理单元24。分离处理单元22包括代表性值检测单元71和灰度级校正归一化单元72。
此外，在图6图示的示例中，图示了色调曲线81到83和直方图91到93的曲线图。色调曲线81表示由DET处理单元21确定的灰度级校正特性，且为了描述的目的，色调曲线82是统一地应用由代表性值检测单元71检测到的代表性灰度级校正值G的处理的输入和输出特性的色调曲线表达。色调曲线83表示由灰度级校正归一化单元72确定的归一化灰度级校正特性。直方图91到93分别是输入到增益处理单元23的图像数据的直方图、在增益处理之后获得的图像数据的直方图、和在灰度级校正之后获得的图像数据的直方图。
例如，将由色调曲线81表示的灰度级校正特性的数据从DET处理单元21输入到代表性值检测单元71和灰度级校正归一化单元72。
代表性值检测单元71检测在由DET处理单元21确定的灰度级校正特性中，作为表示要关于主要被摄体的代表性值执行的校正量的值的代表性灰度级校正值G。代表性灰度级校正值G是由增益表示的数值。作为示例，当灰度级校正特性由函数y＝f(x)表示时，通过使用输入/输出比率f(x)/x(也就是说，函数y＝f(x)的斜率)，由以下等式(1)确定代表性灰度级校正值G：
G＝argmax(f(x)/x)       ...(1)
其中当已经给定主要被摄体的亮度范围时，获得“x∈主要被摄体的亮度范围”。当已经通过例如其检测给定主要被摄体的亮度，且是某个值x0时(也就是说，当主要被摄体的代表性值是x0时)，获得G＝f(x0)/x0。此外，除了在该范围内的f(x)/x的最大值之外，例如，通过使用f(x)/x的平均值，可以确定当主要被摄体的亮度具有一范围时确定的代表性灰度级校正值G。另外，当主要被摄体的亮度未知时，使用f(x)/x的最大值。
在代表性灰度级校正值G的检测处理中，检测用于校正主要被摄体的亮度的元素。
灰度级校正归一化单元72根据由DET处理单元21确定的灰度级校正特性，去除由代表性值检测单元71检测到的代表性灰度级校正值G，以确定剩余分量。也就是说，灰度级校正归一化单元72关于主要被摄体归一化由DET处理单元21确定的灰度级校正特性，并确定新的灰度级校正特性。例如，当灰度级校正特性由函数y＝f(x)表示时，通过使用由代表性值检测单元71检测到的代表性灰度级校正值G，由以下等式(2)确定表示作为新的灰度级校正特性的归一化灰度级校正特性的函数f′(x)：
f′(x)＝f(x×G)/G    ...(2)
在等式(2)中，将x轴乘以G以便偏移基于代表性灰度级校正值G的电平宽度的增加，这由如下所述的增益处理单元23执行，且将y轴乘以1/G以从使用代表性灰度级校正值G增加的亮度恢复初始亮度。也就是说，如由色调曲线83指示的，确定f′(x)的等式(2)是用于将灰度级校正特性转换为主要被摄体x0周围的线性线的表达式，即，用于归一化灰度级校正特性f(x)的表达式。因此，代表性灰度级校正值G的检测等效于用于归一化的常数的检测。
因此，分离处理单元22将由色调曲线81表示的灰度级校正特性分解为由色调曲线82表示的、对于各帧统一的增益G以及由色调曲线83表示的归一化灰度级校正特性，并分别将增益G和归一化灰度级校正特性分配给增益处理单元23和TM处理单元26。
也就是说，将由代表性值检测单元71检测到的代表性灰度级校正值G输出到增益处理单元23，且将由灰度级校正归一化单元72确定的归一化灰度级校正特性输出到TM处理单元26。也将代表性灰度级校正值G输出到NR调整处理单元24(在图6所示的示例中未图示)。以下将参考图7描述在NR调整处理单元24中执行的处理的细节。
如由色调曲线82指示的，增益处理单元23将增益(代表性灰度级校正值)G统一地应用于输入图像数据。这样，如在直方图92中指示的，用于亮度的轴(横坐标)伸展了增益的量，造成图像的信号的电平宽度的增加。因此，在代表性灰度级校正值G的应用之前的、如由直方图91中的范围E所指示的暗处的主要被摄体的亮度分布被校正，以使得如由直方图92中的范围E指示的，可以根据主要被摄体的亮度而增加亮度。
NR处理单元25关于从增益处理单元23获得的图像数据执行NR处理。在这时，图像数据的亮度已经由增益处理单元23调整，且已经建立了允许如上参考图2所述的视觉模型正确地操作的条件。这样，NR处理单元25可以执行主要被摄体的最优NR处理。
TM处理单元26使用由色调曲线83表示的归一化灰度级校正特性，关于在NR处理之后获得的图像数据执行灰度级校正。归一化灰度级校正特性是主要被摄体的代表性值(例如，x0)的归一化版本。这样，一直到代表性值x0，归一化灰度级校正特性都是线性的，且具有超过代表性值x0的高亮度部分的亮度通常降低的性质。因此，可以在由信号处理单元16执行的后续处理中防止或减少曝光过度的发生。
此外，在灰度级校正中，使用通过归一化主要被摄体的代表性值而获得的灰度级校正特性。这样，如在直方图92和93中指示的，可以缩窄已经由NR处理加宽的用于亮度(图像信号的电平宽度)的轴，而不改变主要被摄体的亮度范围E的宽度。
因此，在图像信号处理单元15中，由增益处理单元23和TM处理单元26执行两阶段的亮度灰度级校正处理，由此根据由DET处理单元21确定的灰度级校正特性来校正图像数据的亮度。
也就是说，TM处理单元26与增益处理单元23合作操作，以实现根据DET处理单元21的确定(灰度级校正特性)的图像数据的亮度校正。
注意，如果没有提供TM处理单元26，则将图像数据输入到后续的信号处理单元16(其中已经校正整个图像)，从而由增益处理单元23在亮度调整中增加亮度，造成曝光过度和宽DR成像的效果不够的危险。
现在将描述数字照相机1的操作。将参考图7中图示的流程图描述数字照相机1的宽DR成像处理。例如，当通过用户操作开启数字照相机1的电源且将数字照相机1的操作模式切换到宽DR成像模式时，开始图7中图示的处理。
在步骤S11，曝光控制器11和曝光量调整单元12执行曝光控制。也就是说，曝光控制器11确认数字照相机1的成像模式是宽DR成像模式。然后，例如，如上参考图4所述，曝光控制器11使用执行曝光调整以便不极端地减少主要被摄体的曝光量同时防止在成像元件13中发生曝光过度的方法，来设置曝光调整值(曝光量调整单元12的控制值)。曝光量调整单元12使用从曝光控制器11输出的控制值来调整成像元件13的曝光量，并执行曝光。
在步骤S12中，成像元件13以已经由曝光量调整单元12调整的曝光来捕捉被摄体的图像。也就是说，成像元件13将通过包括透镜等的光学块(未图示)从被摄体等入射的光转换为模拟信号。
由成像元件13将曝光的光转换为模拟信号，且进一步由A/D转换单元14量化为数字图像数据。将图像数据从A/D转换单元14输出到图像信号处理单元15的DET处理单元21和增益处理单元23。
在步骤S13中，DET处理单元21使用从曝光控制器11输出的曝光调整值，分析从A/D转换单元14输出的图像数据，并确定用于校正图像数据的亮度的灰度级校正特性，也就是，表示灰度级校正特性的灰度级校正函数。如上参考图5所述，确定灰度级校正函数，从而例如防止在高亮度部分发生曝光过度和增加主要被摄体的亮度。将由DET处理单元21确定的灰度级校正函数输出到分离处理单元22的代表性值检测单元71和灰度级校正归一化单元72。
在步骤S14中，代表性值检测单元71根据由DET处理单元21确定的灰度级校正函数来检测代表性灰度级校正值G。如上参考图6所述，例如，当灰度级校正特性由函数y＝f(x)表示时，通过使用输入/输出比率f(x)/x，由等式(1)确定代表性灰度级校正值G。将由代表性值检测单元71检测到的代表性灰度级校正值G输出到灰度级校正归一化单元72、增益处理单元23和NR调整处理单元24。
在步骤S15中，灰度级校正归一化单元72将表示归一化灰度级校正特性的归一化灰度级校正函数f′(x)确定为剩余分量，其是通过从由DET处理单元21确定的灰度级校正函数中除去由代表性值检测单元71检测到的代表性灰度级校正值G所确定的。如上参考图6所述，例如，当灰度级校正特性由函数y＝f(x)表示时，通过使用由代表性值检测单元71检测到的代表性灰度级校正值G，由等式(2)确定归一化灰度级校正函数f′(x)。
将由灰度级校正归一化单元72确定的归一化灰度级校正函数f′(x)输出到TM处理单元26。
在步骤S16，增益处理单元23使用由代表性值检测单元71确定的代表性灰度级校正值G，校正从A/D转换单元14输出的图像数据的整个图像的亮度。也就是说，增益处理单元23将增益(代表性灰度级校正值)G统一地应用于图像数据。这样，根据主要被摄体校正了图像数据的整个图像的亮度。将已经由增益处理单元23校正了亮度的图像数据输出到NR处理单元25。
在步骤S17，NR调整处理单元24使用由代表性值检测单元71检测到的代表性灰度级校正值G，设置由NR处理单元25使用的噪声模型。例如，由NR处理单元25使用的噪声模型由以下等式(3)定义，这在日本待审查专利申请公开No.2008-148180中公开：
σ ( x ) = ax 2 + bx + c - - - ( 3 )
其中参数a定义了基本上与输入电平成比例的噪声分量，参数b定义了基本上与输入电平的平方根成比例的噪声分量，且参数c定义了不取决于输入电平的噪声分量。在等式(3)中，σ(x)指的是表示噪声信号的幅度的方差的噪声模型，且是物理上计算的值。
用于由等式(3)表示的噪声模型σ(x)中的参数a、b和c可以分别由以下等式(4)到(6)定义：
a≡Va2                ...(4)
b≡gFD2·gsig2        ...(5)
c≡nri2·gsig2        ...(6)
在等式(4)中，参数Va是指示成像元件13的开口(灵敏度)的不均匀性的特性的值。将参数Va表示为指示当光均匀地入射在成像元件13的光接收单元上时从各个像素输出的均值的变化的比率。更具体地说，将参数Va计算为通过从当光均匀地入射在光接收单元上时获得的输出值的变化中减去光学散粒噪声(optical shot noise)和本底噪声(floor noise)的变化所获得的值的平方根。
参数b对应于由成像元件13产生的光学散粒噪声。在等式(5)中，参数gFD指示当将成像元件13的电荷量转换为电压值时产生的增益值。
参数c对应于要取决于输入电平的本底噪声。在等式(6)中，参数nri指示通过在模拟处理系统的输入单元中，将比如热噪声、黑暗散粒噪声和暗电流变化之类的本底噪声转换为信号电平而获得的已转换的噪声值。具体地说，将参数nri计算为当屏蔽在成像元件13的光接收单元上的入射光时获得的各个像素的输出值的方差的平方根。
在等式(5)和(6)中，参数gsig指示模拟图像信号传输系统和A/D转换系统中的总增益。参数gsig由等式(7)表示如下：
g sig = g CDS &CenterDot; g a &CenterDot; ( 1 < < n bits ) - 1 V fs &CenterDot; g d . . . ( 7 )
在等式(7)中，参数gCDS指示在相关双采样(CDS)单元(未图示)中产生的增益。参数ga指示在A/D转换单元14之前提供的模拟放大器(未图示)中产生的增益。参数nbits指示A/D转换单元14的输出数据的最大位数。参数Vfs指示A/D转换单元14的输入电压的所允许的最大值。
参数gd指示由在后续的图像信号处理单元15中提供的增益处理单元23应用于在A/D转换之后获得的图像数据的增益(代表性灰度级校正值)G。
也就是说，NR调整处理单元24通过将等式(7)乘以增益(代表性灰度级校正值)G并设置参数，来确定在等式(3)中的函数的形状，并设置由NR处理单元25使用的噪声模型中所确定的形状。这样，可以考虑由增益处理单元23应用于等式(7)中的参数gd上的增益(代表性灰度级校正值)G的效果。
在步骤S18中，NR处理单元25关于从增益处理单元23获得的图像数据执行NR处理。具体地说，在步骤S18的处理中，物理特征值计算单元31使用在步骤S16设置了参数的噪声模型，来计算噪声量σ2，其是取决于从增益处理单元23输出的图像数据的亮度的值，并将噪声量σ2输出到阈值确定单元33。
视觉特征值计算单元32确定由从增益处理单元23输出的图像数据指示的图像的颜色R、G和B，并使用由如上参考图3所述的转换表形成的视觉模型，计算作为用于校正物理特征值的系数的校正参数k。视觉特征值计算单元32将校正参数k输出到阈值确定单元33。
阈值确定单元33将从物理特征值计算单元31输出的噪声量σ2乘以从视觉特征值计算单元32输出的校正参数k，以产生值kσ2，并将值kσ2输出到噪声去除单元34作为滤波器阈值ε。
例如，噪声去除单元34使用从阈值确定单元33输出的滤波器阈值ε，关于从增益处理单元23输出的图像数据执行基于ε滤波器的噪声去除，并将经历了噪声去除处理的图像数据输出到后续TM处理单元26。
因此，在NR处理单元25中，通过将基于噪声模型的噪声量σ2乘以基于视觉模型的校正参数k来确定滤波器阈值ε。因此，由于已经由增益处理单元23调整了输入图像数据的亮度，所以可以使用考虑噪声的物理特性和人的视觉特性的适当的阈值，来正确地操作视觉模型，且可以对于主要被摄体执行噪声去除处理。
在步骤S19中，TM处理单元26使用例如由如上参考图6所述的色调曲线83表示的归一化灰度级校正函数，关于在NR处理之后获得的图像数据执行灰度级校正处理(即，色调曲线处理)。将经灰度级校正的图像数据输出到信号处理单元16。
在步骤S20，信号处理单元16关于从TM处理单元26输出的图像数据执行信号处理，比如在后续的显示单元17上显示图像或将图像数据转换为适于记录在记录单元18上的图像数据，并将产生的图像数据输出到对应的显示单元17或记录单元18。
例如，将经历了相机信号处理的、适于在显示单元17上显示图像的图像数据输出到其中显示图像的显示单元17。由记录单元18将经历了相机信号处理的、适于记录在记录单元18上的图像数据记录到比如光盘或磁盘之类的记录介质(未图示)上。
因此，代表性值检测单元71根据对于图像数据确定的灰度级校正函数来检测代表性灰度级校正值G，且增益处理单元23使用检测到的代表性灰度级校正值G来校正图像数据的整个图像的亮度。这样，可以对于主要被摄体执行最优NR处理。也就是说，即使当组合地执行灰度级校正处理和降噪处理时，也可以获得具有适当地减少的噪声的图像。
此外，TM处理单元26与增益处理单元23合作地操作以实现根据DET处理单元21的确定(灰度级校正函数)的图像数据的亮度校正。也就是说，在TM处理单元26中，使用具有高亮度部分的亮度通常减小的性质的归一化灰度级校正特性来执行灰度级校正。这样，可以防止或减少在由信号处理单元16执行的后续处理中曝光过度的发生，并可以实现宽DR成像的效果。
此外，由灰度级校正归一化单元72归一化灰度级校正特性，且由TM处理单元26使用归一化灰度级校正函数执行灰度级校正。这可以改进或防止在宽DR成像期间信号连续性(电平改变的平滑性)的恶化，同时保持NR处理的性能。
因此，可以防止当组合地执行灰度级校正处理和降噪处理时涉及的处理恶化。
现在将参考图8到10详细描述在如上所述的宽DR成像期间信号连续性的恶化的改进或防止。在图8中，图示了曲线图111到114，其表示在标准成像模式中现有技术配置的各个处理中的信号连续性。在图9中，图示了曲线图121到124，其表示在宽DR成像模式中现有技术配置的各个处理中的信号连续性。在图10中，图示了曲线图131到135，其表示在宽DR成像模式的图像信号处理单元15的各个处理中的信号连续性。
在图8和图9图示的现有技术配置中，假定首先执行NR处理然后执行灰度级校正处理。注意，相反配置(其中首先执行灰度级校正处理的配置)可能引起在NR处理中的噪声与初始信号之间的区别的减少，且因此通常难以使用该配置。此外，在图8到图10中，为了描述的方便，如由0.5/0.5NR处理低通滤波器(LPF)系数指示的，使用两抽头ε滤波器执行NR处理。
图8中图示的曲线图111表示在模拟信号的图像数据的像素位置处的电平。图8图示的曲线图112表示在A/D转换之后获得的图像数据的信号连续性。图8图示的曲线图113表示在NR处理之后获得的图像数据的信号连续性。图8图示的曲线图114表示在灰度级校正之后获得的图像数据的信号连续性。
图9中图示的曲线图121表示在模拟信号的图像数据的像素位置处的电平。图9图示的曲线图122表示在A/D转换之后获得的图像数据的信号连续性。图9图示的曲线图123表示在NR处理之后获得的图像数据的信号连续性。图9图示的曲线图124表示在灰度级校正之后获得的图像数据的信号连续性。
图10中图示的曲线图131表示在模拟信号的图像数据的像素位置处的电平。图10图示的曲线图132表示在A/D转换之后获得的图像数据的信号连续性。图10图示的曲线图133表示在增益处理之后获得的图像数据的信号连续性。图10图示的曲线图134表示在NR处理之后获得的图像数据的信号连续性。图10图示的曲线图135表示在灰度级校正之后获得的图像数据的信号连续性。
在图8中图示的曲线图111、图9中图示的曲线图121和图10中图示的曲线图131中，横坐标表示像素位置而纵坐标表示电平。也就是说，可以看到图9中图示的曲线图121和图10中图示的曲线图131具有比图8中图示的曲线图111更低的电平。
此外，在图8中图示的曲线图112到114、图9中图示的曲线图122到124和图10中图示的曲线图132到135中，虚线的水平刻度(scale)表示量化精度，其中在每一曲线图中沿着刻度的阶梯形曲线的斜率越缓和，表示连续信号的量化精度就越高。也就是说，与图8中图示的曲线图112到114、图9中图示的曲线图122和123和图10中图示的曲线图132、134和135中的一个刻度对应的阶梯形曲线具有比与在图9中图示的曲线图124和图10中图示的曲线图133中的两个刻度对应的阶梯形曲线更缓和的斜率，这表示更高的量化精度和连续信号。
将首先参考图8到10所示的曲线图描述现有技术配置中的宽DR成像模式。如由图8中图示的曲线图111和图9中图示的曲线图121指示的，在现有技术配置的宽DR成像模式中，关于具有比标准成像中更低电平的模拟信号执行A/D转换。
在现有技术配置的宽DR成像模式中，在A/D转换之后执行NR处理，然后执行灰度级校正以校正主要被摄体的亮度。在该情况下，通过灰度级校正增大分配给主要被摄体的信号的范围。因此，在现有技术配置的宽DR成像模式中，在灰度级校正之后，如由图9图示的曲线图124指示的，输出与在标准成像(由图8中图示的曲线图114指示)中获得的图像数据相比信号连续性恶化的图像数据。
相反，在图像信号处理单元15中，如由图9中图示的曲线图121和图10中图示的曲线图131指示的，如在现有技术配置中的宽DR成像模式中，关于具有比标准成像中更低电平的模拟信号执行A/D转换。
此外，在图像信号处理单元15中，在A/D转换之后，如由图10中图示的曲线图133指示的，用于亮度的轴(横坐标)伸展了增益处理中的增益量，造成产生具有恶化的信号连续性的图像数据。也就是说，数字信号的增益的增大增加了量化误差的影响，以使得信号具有间断的值(改变量增加，造成连续性的恶化)。
但是，如由图10中图示的曲线图134指示的，由于后续NR处理中的平滑效果，可以将该图像数据修改为具有改进的信号连续性的图像数据。也就是说，因为ε滤波器的阈值ε通常大于信号精度(＝电平分辨率)，所以NR处理的平滑效果提供了改进的信号连续性。
此外，在灰度级校正中，通过使用归一化灰度级校正特性，如以上使用图6中图示的直方图92和93所述的，可以减小在NR处理中已经伸展的图像的信号的电平宽度。因此，不像在现有技术的灰度级校正之后获得的图像数据(由图9图示的曲线图124指示)，在灰度级校正中不发生信号连续性的恶化。因此，如由图10中图示的曲线图135指示的，由于NR处理的平滑效应，由图像信号处理单元15执行的灰度级校正之后获得的图像数据的信号连续性高于在现有技术的灰度级校正之后获得的图像数据(由图9中图示的曲线图124指示)的信号连续性。
因此，对于已经调整其亮度的主要被摄体执行NR处理，由此最优化NR处理中的参数。这样，即使当组合地执行NR处理和灰度级校正处理时，也可以获得具有适当地减少的噪声的图像。
此外，可以防止或减少可能由增益处理所引起的信号连续性的恶化，且另外，灰度级校正处理允许改进信号连续性。总体上，可以获得具有高信号连续性的图像。
虽然已经通过示例的方式在色调曲线处理的情况下描述了灰度级校正，但可以使用动态范围压缩处理代替色调曲线处理。
动态范围压缩处理是用于压缩信号的范围同时保证图像的精细细节的处理。技术上，在该处理中，基于空间特征分解或提取图像信号，并将其分为两个或多个分量，且单独地调整信号分量的强度。
例如，日本待审查专利申请公开No.2001-275015(与US 6965416B2对应)描述了动态范围压缩处理，其中提取图像的低频带分量且使用LUT压缩范围，且其中提取和高亮高频带分量。日本待审查专利申请公开No.2007-049540(与US 2007053607A1对应)描述了动态范围压缩处理，其中提取图像的低频分量并压缩范围，且其中使用对比度校正选择性地高亮高频分量。
也就是说，在TM处理单元26使用动态范围压缩处理执行灰度级校正的情况中，如在日本待审查专利申请公开No.2001-275015或日本待审查专利申请公开No.2007-049540中公开的，例如，当压缩低频分量的范围时，关于低频分量执行基于归一化灰度级校正函数的色调曲线处理。
还可以使用例如用于增加图像的外围部分的亮度的阴影处理来实现灰度级校正。现在将参考图11描述这样的情形：其中TM处理单元26使用用作透镜的阴影处理校正的阴影处理执行灰度级校正，其具有减少图像的外围部分的曝光量的功能。
图11是图示当使用阴影处理执行灰度级校正时，由图像信号处理单元15执行的处理的细节的图。图11中图示的示例与图6中图示的示例的不同在于DET处理单元21和TM处理单元26分别由DET处理单元151和TM处理单元152替代，且公共地使用分离处理单元22、增益处理单元23和NR处理单元25。
在图11中图示的示例中，图示了用于阴影校正(shading correction)的增益曲线171到173的曲线图和图像181到183。虽然作为主要被摄体的人的亮度的改变没有表示在图像181到183中，但人的亮度实际上以类似于图像181到183的背景的方式改变。
在增益曲线171到173的曲线图中，横坐标表示在图像181到183中的图像高度(关于作为原点的光轴的位置的像素位置)，其中0的图像高度(图11中的左端)指示图像181的中间位置(光轴的位置)且x0的图像高度是主要被摄体(在图像181到183中的人)的图像高度。纵坐标表示增益。
增益曲线171表示由DET处理单元151确定的灰度级校正特性，且增益曲线172表示用于统一地应用由代表性值检测单元71检测到的代表性灰度级校正值G的增益曲线(直线)。增益曲线173表示由灰度级校正归一化单元72确定的归一化灰度级校正特性。图像181到183分别是与输入到增益处理单元23的图像数据、在增益处理之后获得的图像数据和在灰度级校正之后获得图像数据对应的图像。
在通过图像捕捉获得的图像数据的图像181中，由于透镜的特性，越接近图像181的外边缘，颜色越暗。这被称为阴影。在DET处理单元151中，确定用于阴影校正以最优地调整主要被摄体的亮度的灰度级校正特性。
在该情况下，与具有主要被摄体的x0的图像高度的像素位置对应的阴影校正增益(其由增益曲线171表示)用作灰度级校正特性。例如，将由增益曲线171表示的灰度级校正特性的数据从DET处理单元151输入到代表性值检测单元71和灰度级校正归一化单元72。
如在图6中图示的示例中，代表性值检测单元71使用等式(1)检测作为表示由DET处理单元151确定的灰度级校正特性的校正量的值的代表性灰度级校正值G。在与像素位置对应的阴影校正增益用于灰度级校正的情况中，例如，在由主要被摄体定义的像素位置的范围内的校正增益的平均值或最大值、或简单地校正增益的最大值可以用作代表性灰度级校正值G。在代表性灰度级校正值G的检测处理中，检测用于校正主要被摄体的亮度的元件。
如在图6中图示的示例中，灰度级校正归一化单元72使用等式(2)从由DET处理单元151确定的灰度级校正特性中去除由代表性值检测单元71检测到的代表性灰度级校正值G，以确定剩余分量。也就是说，灰度级校正归一化单元72关于主要被摄体归一化由DET处理单元151确定的灰度级校正特性，并确定新的灰度级校正特性。
因此，分离处理单元22将由增益曲线171表示的灰度级校正特性分解为由增益曲线172表示的增益G(其对于帧是统一的)和由增益曲线173表示的归一化灰度级校正特性。将由代表性值检测单元71检测到的代表性灰度级校正值G输出到增益处理单元23，且将由灰度级校正归一化单元72确定的归一化灰度级校正特性输出到TM处理单元152。
如由增益曲线172指示的，增益处理单元23将增益(代表性灰度级校正值)G统一地应用于输入图像数据。这样，校正在应用代表性灰度级校正值G之前如由图像181指示的暗背景和主要被摄体的亮度，以使得如由图像182的背景指示的，可以根据主要被摄体增加亮度。
NR处理单元25关于从增益处理单元23获得的图像数据执行NR处理。在这时，已经由增益处理单元23调整图像数据的亮度。这样，NR处理单元25可以对于主要被摄体执行最优的NR处理。
TM处理单元152使用由增益曲线173表示的归一化灰度级校正特性，关于NR处理之后获得的图像数据(其已经关于主要被摄体的x0的图像高度进行了归一化)执行灰度级校正，即，阴影校正。这样，可以获得已经经历了阴影校正的图像183。也就是说，如由图像183的背景指示的，可以获得已经被校正以使得越接近图像183的外边缘颜色越亮，且已经被校正以使得图像183的外围部分和中心部分两者可以被统一地校正的图像183。
因此，在图像信号处理单元15中，由增益处理单元23和TM处理单元152执行两阶段的亮度校正处理，由此根据由DET处理单元151确定的灰度级校正特性来校正图像数据的阴影。
第二实施例
图12是图示根据本发明实施例的包括用作图像信号处理设备的个人计算机的图像信号处理系统201的示例配置的框图。
在图12中图示的示例中，图像信号处理系统201包括：包含第一级部分的成像装置211，该第一级部分具有直到图1中图示的数字照相机1的A/D转换单元的单元；和包括第二级部分的个人计算机212，第二级部分具有图像信号处理单元15和数字照相机1的后续单元。在图12中图示的示例中，与图1中对应的部分被分配了对应的附图标记，且由于冗余而省略其描述。
具体地说，成像装置211包括图1中图示的曝光控制器11、曝光量调整单元12、成像元件13和A/D转换单元14。成像装置211被配置为将已经通过使用成像元件13捕捉图像而获得的且使用A/D转换单元14转换为数字数据的未显像的图像数据(undeveloped image data)(原始图像数据)记录到记录介质(未图示)上。成像装置211还将在由曝光控制器11控制的、在图像捕捉的时候获得的曝光调整值作为元数据记录在RAM图像文件中。将曝光调整值添加到，例如，可交换图像文件格式(Exif)信息等的“ExposureBiasValue(曝光偏置值)(ID：37380)”标签。待使用的标签是示例，可以使用比如厂商特有标签之类的其它标签。
成像装置211经由例如通用串行总线(USB)线缆、记录介质、网络等将记录在记录介质上的具有添加的元数据的原始图像数据传送到个人计算机212。
个人计算机212包括图1中图示的图像信号处理单元15(其包括DET处理单元21、分离处理单元22、增益处理单元23、NR调整处理单元24、NR处理单元25和TM处理单元26)、信号处理单元16、显示单元17和记录单元18。
个人计算机212从成像装置211获取具有添加的元数据的原始图像数据，并将具有添加的元数据的原始图像数据输入到图像信号处理单元15，其中执行如上参考图6所述的NR处理和灰度级校正处理。
具体地说，将原始图像数据和添加到原始图像数据的元数据(即，曝光调整值)输入到图像信号处理单元15的DET处理单元21，并用于确定灰度级校正特性。还将原始图像数据输入到图像信号处理单元15的增益处理单元23。将原始图像数据在已经调整亮度之后输出到NR处理单元25，且在已经执行了NR处理之后将其输出到TM处理单元26以执行灰度级校正处理。
现在将参考图13中图示的流程图描述由个人计算机212执行的图像信号处理。图13中步骤S112到S119的处理基本上类似于图7中步骤S13到S20的处理，且由于冗余省略其具体描述。
例如，通过用户操作开启成像装置211的电源并将成像装置211的操作模式切换到宽DR成像模式。因为成像模式是宽DR成像模式，所以成像装置211的曝光控制器11设置曝光调整值(曝光量调整单元12的控制值)从而不极端地减少主要被摄体的曝光量同时防止在成像元件13中发生曝光过度。曝光量调整单元12使用从曝光控制器11输出的控制值来调整成像元件13的曝光量，并执行曝光。成像元件13以已经由曝光量调整单元12调整的曝光捕捉被摄体的图像。
由成像元件13将曝光的光转换为模拟信号，且进一步由A/D转换单元14量化为数字图像数据。在从曝光控制器11输出的曝光调整值已经作为元数据添加到从A/D转换单元14输出的未显像的图像数据(原始图像数据)之后将所述图像数据记录到记录介质(未图示)上。
根据用户操作，将记录在成像装置211中的记录介质上的原始图像数据经由例如USB线缆等传送到个人计算机212。
在步骤S111，个人计算机212将已经添加了从成像装置211输出的元数据的原始图像数据输入到图像信号处理单元15。将原始图像数据输入到DET处理单元21和增益处理单元23。将作为元数据添加到原始图像数据的曝光调整值输入到DET处理单元21。
在步骤S112中，DET处理单元21使用从曝光控制器11输出的曝光调整值，分析从成像装置211输出的图像数据，并确定用于校正图像数据的亮度的灰度级校正特性，也就是，表示灰度级校正特性的灰度级校正函数。如上参考图5所述，确定灰度级校正函数从而，例如，防止在高亮度部分发生曝光过度和增加主要被摄体的亮度。将由DET处理单元21确定的灰度级校正函数输出到分离处理单元22的代表性值检测单元71和灰度级校正归一化单元72。
在步骤S113中，代表性值检测单元71根据由DET处理单元21确定的灰度级校正函数来检测代表性灰度级校正值G。如上参考图6所述，例如，当灰度级校正特性由函数y＝f(x)表示时，使用输入/输出比率f(x)/x由等式(1)确定代表性灰度级校正值G。将由代表性值检测单元71检测到的代表性灰度级校正值G输出到增益处理单元23和NR调整处理单元24。
在步骤S114中，灰度级校正归一化单元72将表示归一化灰度级校正特性的归一化灰度级校正函数f′(x)确定为剩余分量，其是通过从由DET处理单元21确定的灰度级校正函数中去除由代表性值检测单元71检测到的代表性灰度级校正值G所确定的。如上参考图6所述，例如，当灰度级校正特性由函数y＝f(x)表示时，使用由代表性值检测单元71检测到的代表性灰度级校正值G，由等式(2)确定归一化灰度级校正函数f′(x)。
将由灰度级校正归一化单元72确定的归一化灰度级校正函数f′(x)输出到TM处理单元26。
在步骤S115，增益处理单元23使用由代表性值检测单元71确定的代表性灰度级校正值G，校正从成像装置211输出的图像数据的整个图像的亮度。也就是说，增益处理单元23将增益(代表性灰度级校正值)G统一地应用于图像数据。这样，根据主要被摄体校正了图像数据的整个图像的亮度。将已经由增益处理单元23校正了亮度的图像数据输出到NR处理单元25。
在步骤S116，NR调整处理单元24使用由代表性值检测单元71检测到的代表性灰度级校正值G，设置由NR处理单元25使用的噪声模型。也就是说，NR调整处理单元24通过将以上等式(7)乘以增益(代表性灰度级校正值)G并设置参数，来确定在以上等式(3)中的函数的形状，并设置由NR处理单元25使用的噪声模型中所确定的形状。
在步骤S117，NR处理单元25关于从增益处理单元23获得的图像数据执行NR处理。在这时，已经由增益处理单元23调整了图像数据的亮度。这样，NR处理单元25可以对于主要被摄体执行最优的NR处理。将已经经历了噪声去除处理的图像数据输出到后续的TM处理单元26。
在步骤S118，TM处理单元26使用归一化灰度级校正特性关于在NR处理之后获得的图像数据执行灰度级校正，即，色调曲线处理。将经灰度级校正的图像数据输出到信号处理单元16。
在步骤S119，信号处理单元16关于从TM处理单元26输出的图像数据执行信号处理，比如在后续的显示单元17上显示图像或将图像数据转换为适于记录在记录单元18上的图像数据，并将所产生的图像数据输出到对应的显示单元17或记录单元18。
例如，将经历了相机信号处理的、适于在显示单元17上显示图像的图像数据输出到其中显示图像的显示单元17。由记录单元18将经历了相机信号处理的、适于记录在记录单元18上的图像数据记录到比如光盘或磁盘之类的记录介质(未图示)上。
因此，对于已经调整了其亮度的主要被摄体执行NR处理。这样，即使在图12图示的个人计算机212中，也可以最优化NR处理的参数，并且即使当组合地执行NR处理和灰度级校正处理时也可以获得具有适当地减少的噪声的图像。
虽然已经通过示例的方式描述了具有基于视觉模型的块(视觉特征值计算单元32)的NR处理单元25，但是本发明的实施例还可以使用未明确地具有这种模块的NR处理单元。
也就是说，即使没有明确地基于视觉模型的模块的NR处理也可以具有例如用于对于像素的每一电平调制参数的机制。当在参数与噪声模型之间存在差异时，可以认为与视觉模型对应的成分被包括在该参数中。因此，根据本发明的实施例，如在具有基于视觉模型的模块的NR处理中，可以改进NR处理的性能。
可以通过硬件或软件执行如上所述的一系列处理。在通过软件执行所述一系列处理的情况中，将构成该软件的程序从程序记录介质安装到并入专用硬件的计算机、通用个人计算机等中。
图14是图示使用程序执行如上所述的一系列处理的计算机的硬件的示例配置的框图。
中央处理单元(CPU)301、只读存储器(ROM)302和随机存取存储器(RAM)303经由总线304彼此连接。
输入/输出接口305进一步连接到总线304。输入/输出接口305连接到包括键盘、鼠标等的输入单元306以及包括显示器、扬声器等的输出单元307。总线304也连接到包括硬件、非易失性存储器等的存储单元308、包括网络接口等的通信单元309和被配置为驱动可拆卸介质311的驱动器310。
在具有上述配置的计算机中，CPU 301经由输入/输出接口305和总线304将例如在存储单元308中存储的程序加载到RAM 303中，并执行程序，由此执行如上所述的一系列处理。
例如，以记录在可拆卸介质311上或经由比如局域网、因特网或数字广播之类的有线或无线传输介质的形式提供由CPU 301执行的程序，并安装到存储单元308中。
由计算机执行的程序可以是以在这里描述的次序以时间序列方式执行处理的程序，或可以是并行或在需要的定时(如，当调用处理时)执行处理的程序。
在这里使用的术语“系统”是指由多个装置构成的整个设备。
本发明的实施例不限于如上所述的本实施例，可以进行各种修改而不脱离本发明的范围。
本申请包括与于2008年11月27日在日本专利局提交的日本优先权专利申请JP 2008-302340中公开的主题相关的主题，将其全部内容通过引用完全包括于此。
本领域技术人员应该理解根据设计要求及其它因素，可产生各种修改、组合、部分组合和替代，只要它们在所附权利要求及其等效物的范围之内。

Claims (8)

1.一种图像信号处理设备，包括：
控制单元，被配置为确定表示用于校正输入帧的亮度的转换特性的灰度级校正特性；
分离单元，被配置为将由所述控制单元确定的所述灰度级校正特性分离为表示主要被摄体的代表性值的校正量的代表性灰度级校正值和通过从所述灰度级校正特性中去除所述代表性灰度级校正值而获得的剩余灰度级校正特性；
增益处理单元，被配置为将由所述分离单元分离的所述代表性灰度级校正值作为增益统一地应用于所述帧；
降噪处理单元，被配置为关于由所述增益处理单元应用了所述代表性灰度级校正值的所述帧执行降噪处理；和
灰度级校正处理单元，被配置为使用由所述分离单元分离的所述剩余灰度级校正特性，关于已经由所述降噪处理单元执行了降噪处理的所述帧执行灰度级校正处理。
2.如权利要求1所述的图像信号处理设备，其中，所述剩余灰度级校正特性是通过关于所述主要被摄体的所述代表性值归一化所述灰度级校正特性而获得的归一化灰度级校正函数。
3.如权利要求2所述的图像信号处理设备，其中，所述灰度级校正处理单元执行色调曲线处理作为所述灰度级校正处理。
4.如权利要求2所述的图像信号处理设备，其中，所述灰度级校正处理单元执行动态范围压缩处理作为所述灰度级校正处理。
5.如权利要求2所述的图像信号处理设备，其中，所述灰度级校正处理单元执行阴影校正处理作为所述灰度级校正处理。
6.如权利要求2所述的图像信号处理设备，进一步包括参数设置单元，被配置为使用由所述分离单元分离的代表性灰度级校正值来设置降噪处理的噪声模型的参数。
7.一种图像信号处理方法，包括步骤：
确定表示用于校正输入帧的亮度的转换特性的灰度级校正特性；
将所确定的灰度级校正特性分为表示主要被摄体的代表性值的校正量的代表性灰度级校正值和通过从所述灰度级校正特性中去除所述代表性灰度级校正值而获得的剩余灰度级校正特性；
将分离出的代表性灰度级校正值作为增益统一地应用于帧；
关于应用了所述代表性灰度级校正值的帧执行降噪处理；和
使用分离出的剩余灰度级校正特性关于已经执行了降噪处理的帧执行灰度级校正处理。
8.一种使得计算机执行包括如下步骤的处理的程序：
确定表示用于校正输入帧的亮度的转换特性的灰度级校正特性；
将所确定的灰度级校正特性分为表示主要被摄体的代表性值的校正量的代表性灰度级校正值和通过从所述灰度级校正特性中去除所述代表性灰度级校正值而获得的剩余灰度级校正特性；
将分离出的代表性灰度级校正值作为增益统一地应用于帧；
关于应用了所述代表性灰度级校正值的帧执行降噪处理；和
使用分离出的剩余灰度级校正特性关于已经执行了降噪处理的帧执行灰度级校正处理。
CN200910246354.3A 2008-11-27 2009-11-27 图像信号处理设备及方法 Expired - Fee Related CN101753797B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP302340/08 2008-11-27
JP2008302340A JP4645921B2 (ja) 2008-11-27 2008-11-27 画像信号処理装置および方法、プログラム、並びに撮像装置

Publications (2)

Publication Number Publication Date
CN101753797A true CN101753797A (zh) 2010-06-23
CN101753797B CN101753797B (zh) 2012-07-18

Family

ID=42195988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910246354.3A Expired - Fee Related CN101753797B (zh) 2008-11-27 2009-11-27 图像信号处理设备及方法

Country Status (3)

Country Link
US (1) US8564862B2 (zh)
JP (1) JP4645921B2 (zh)
CN (1) CN101753797B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581098A (zh) * 2014-12-01 2015-04-29 北京思比科微电子技术股份有限公司 一种lens shading自适应的处理方法
US20210325314A1 (en) * 2020-04-15 2021-10-21 Shanghai Huali Integrated Circuit Corporation Image processing method and device for cdsem

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011228807A (ja) * 2010-04-15 2011-11-10 Nikon Corp 画像処理プログラム、画像処理装置、および画像処理方法
JP2012019392A (ja) * 2010-07-08 2012-01-26 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
US20120262503A1 (en) * 2011-03-18 2012-10-18 Hsin-Nan Lin Monitor and method of displaying pixels on displaying device
JP5948073B2 (ja) * 2012-02-08 2016-07-06 株式会社 日立産業制御ソリューションズ 画像信号処理装置、画像信号処理方法
JP6083959B2 (ja) * 2012-06-15 2017-02-22 キヤノン株式会社 伝送装置、その制御方法、および制御プログラム
US10199011B2 (en) * 2012-09-11 2019-02-05 Apple Inc Generation of tone mapping function for dynamic pixel and backlight control
JP5819897B2 (ja) * 2013-09-10 2015-11-24 株式会社Ｓｃｒｅｅｎホールディングス 撮像システムおよび撮像方法
JP6341672B2 (ja) * 2014-01-23 2018-06-13 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6581862B2 (ja) * 2015-09-18 2019-09-25 日本放送協会 Ｈｄｒ−ｓｄｒ一体化制作用ビデオカメラ
JP6705237B2 (ja) * 2016-03-18 2020-06-03 株式会社リコー 画像圧縮装置、画像形成装置、画像圧縮方法およびプログラム
US11100888B2 (en) 2017-06-28 2021-08-24 The University Of British Columbia Methods and apparatuses for tone mapping and inverse tone mapping

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3016652B2 (ja) * 1992-02-07 2000-03-06 松下電器産業株式会社 ゲインコントロール回路
DE69403581T2 (de) * 1993-08-13 1998-02-05 Agfa Gevaert Nv Verfahren zum Erzeugen frequenzmodulierter Halbtonbilder
US7440612B2 (en) * 1998-11-13 2008-10-21 Sony Corporation Image processing apparatus and method capable of correcting gradation of image data
JP4556276B2 (ja) 2000-03-23 2010-10-06 ソニー株式会社 画像処理回路及び画像処理方法
CN1244075C (zh) * 2002-06-20 2006-03-01 成都威斯达芯片有限责任公司 可编程自适应的图像质量非线性增强处理装置及其处理方法
JP4427001B2 (ja) * 2005-05-13 2010-03-03 オリンパス株式会社 画像処理装置、画像処理プログラム
WO2006137216A1 (ja) * 2005-06-22 2006-12-28 Mitsubishi Denki Kabushiki Kaisha 撮像装置及び撮像装置における階調変換方法
JP4687320B2 (ja) 2005-08-11 2011-05-25 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
JP2007174243A (ja) * 2005-12-21 2007-07-05 Sharp Corp 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラムおよび記録媒体
JP4914651B2 (ja) * 2006-06-12 2012-04-11 オリンパスイメージング株式会社 電子撮像装置及び電子撮像方法
JP4395789B2 (ja) * 2006-10-30 2010-01-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4797949B2 (ja) 2006-11-24 2011-10-19 ソニー株式会社 撮像装置、画像処理装置、方法およびプログラム
JP2008148180A (ja) 2006-12-13 2008-06-26 Sony Corp 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581098A (zh) * 2014-12-01 2015-04-29 北京思比科微电子技术股份有限公司 一种lens shading自适应的处理方法
US20210325314A1 (en) * 2020-04-15 2021-10-21 Shanghai Huali Integrated Circuit Corporation Image processing method and device for cdsem
US11573188B2 (en) * 2020-04-15 2023-02-07 Shanghai Huali Integrated Circuit Corporation Image processing method and device for CDSEM

Also Published As

Publication number Publication date
JP4645921B2 (ja) 2011-03-09
CN101753797B (zh) 2012-07-18
JP2010130299A (ja) 2010-06-10
US20100128332A1 (en) 2010-05-27
US8564862B2 (en) 2013-10-22

Similar Documents

Publication Publication Date Title
CN101753797B (zh) 图像信号处理设备及方法
CN101902550B (zh) 图像处理装置及图像处理方法
CN101646014B (zh) 图像处理设备和图像处理方法
US8600154B2 (en) Image processing apparatus and image processing method
US8045061B2 (en) Method and apparatus for removing color noise of image signal
US11146738B2 (en) Image processing apparatus, control method, and non-transitory computer-readable storage medium
US8189940B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN104869380A (zh) 图像处理设备和图像处理方法
US7532754B2 (en) Image processing apparatus and print control apparatus
GB2504381A (en) Selecting a colour matching profile to increase the vividness of an image
US7130485B2 (en) Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions
US7512264B2 (en) Image processing
US8279308B1 (en) Optimized log encoding of image data
US9053552B2 (en) Image processing apparatus, image processing method and non-transitory computer readable medium
US9565412B2 (en) Image processing apparatus that develops photographed data, image processing method, and recording medium
US9432646B2 (en) Image processing apparatus, image processing method, program and electronic apparatus
JP4752421B2 (ja) 画像レタッチ方法、画像レタッチ装置及び画像レタッチプログラム
US10594902B2 (en) Image conversion method
US11829885B2 (en) Image processing apparatus that performs machine learning of learning model, method of controlling image processing apparatus, and storage medium
US20100238300A1 (en) Color control apparatus, method for creating color control system, and method for creating color reproduction apparatus
KR20020067051A (ko) 아날로그 컬러 신호 처리 방법 및 아날로그 컬러 신호처리 장치 및 컬러 카메라
US20230153954A1 (en) Information processing device and method, and computer readable storage medium
JP2018137580A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2015023445A (ja) 画像処理装置、及び画像形成装置
US20190206361A1 (en) Image data display system, image data display method, and image data display program recording medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120718

Termination date: 20151127

CF01 Termination of patent right due to non-payment of annual fee