CN108141573A - 图像处理装置、图像处理方法以及程序 - Google Patents

图像处理装置、图像处理方法以及程序 Download PDF

Info

Publication number
CN108141573A
CN108141573A CN201580083713.1A CN201580083713A CN108141573A CN 108141573 A CN108141573 A CN 108141573A CN 201580083713 A CN201580083713 A CN 201580083713A CN 108141573 A CN108141573 A CN 108141573A
Authority
CN
China
Prior art keywords
pixel
value
color
correcting
calculating part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580083713.1A
Other languages
English (en)
Inventor
丸山裕辉
市川学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN108141573A publication Critical patent/CN108141573A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

提供能够对构成摄像元件的多个像素各自的分光灵敏度的偏差进行校正的图像处理装置、图像处理方法以及程序。图像处理装置(40)具有：第二外部接口部(41)，其从摄像装置(10)获取图像数据和校正系数；校正量计算部(441)，其使用关注像素周围的颜色与关注像素的滤色镜的颜色相同的周边同色像素的像素值和第二外部接口部(41)所获取的校正系数，来计算关注像素处的校正对象的颜色成分的估计值，并根据该估计值和关注像素的校正系数来计算关注像素的像素值的校正量；以及像素值校正部(442)，其根据校正量计算部(441)所计算出的校正量来校正关注像素的像素值。

Description

图像处理装置、图像处理方法以及程序
技术领域
本发明涉及对构成摄像元件的多个像素中分别设置的滤色器的分光灵敏度特性进行校正的图像处理装置、图像处理方法以及程序。
背景技术
以往，在数字照相机等摄像装置中，公知有如下的技术：按每个摄像元件对设置在CCD(Charge Coupled Device：电荷耦合器件)或CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)等摄像元件的受光面上的滤色器的分光透射率的偏差导致的像素分光灵敏度的偏差进行调整(参照专利文献1)。在该技术中，通过摄像元件对光谱被棱镜分光后的可见光进行光电转换，从而根据由R(红)、G(绿)以及B(蓝)各个颜色成分的组合构成的图像数据，按波长计算R、G以及B各自的值，并以使该计算出的R、G以及B的值与预先按波长计算出的基准值的差分分别变小的方式，计算出与R、G以及B各自的值相乘的校正系数，然后通过使用该校正系数来校正每个摄像元件的分光灵敏度的偏差。
现有技术文献
专利文献
专利文献1：日本特开2010-193378号公报
发明内容
发明要解决的课题
然而，在上述的专利文献1中，具有如下的问题点：由于未按每个像素进行分光灵敏度的校正，因此无法对每个像素的分光灵敏度的偏差进行校正。
本发明就是鉴于上述问题点而完成的，其目的在于提供图像处理装置、图像处理方法以及程序，能够对构成摄像元件的多个像素各自的分光灵敏度的偏差进行校正。
用于解决课题的手段
为了解决上述课题并达成目的，本发明的图像处理装置的特征在于，该图像处理装置具有获取部，其获取摄像元件所生成的图像数据，并且从记录部获取校正系数，该摄像元件使用具有相互不同的分光透射率的多种颜色的滤色器来形成规定的排列图案，并且各个滤色器被配置在与多个像素中的任意像素对应的位置上，该记录部按每个像素记录所述校正系数，该校正系数用于校正关注像素处的与分光灵敏度和预先设定的基准分光灵敏度在规定波长区域中的差对应的像素值差分；校正量计算部，其使用周边同色像素中的各像素的像素值和所述校正系数来计算所述关注像素处的校正对象颜色成分的估计值，并根据该估计值和所述关注像素的所述校正系数来计算所述关注像素的像素值的校正量，其中所述周边同色像素是所述关注像素的周边的像素，配置有颜色与配置于所述关注像素的滤色器的颜色相同的滤色器；以及像素值校正部，其根据所述校正量计算部所计算出的所述校正量来校正所述关注像素的像素值。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述校正量计算部根据所述周边同色像素的像素值的理论值和所述周边同色像素的像素值的实测值来计算相似度，并将相似度高的候选值计算为所述估计值，其中，所述周边同色像素的像素值的理论值是基于所述候选值和所述周边同色像素中的各像素的所述校正系数而计算出的。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述理论值是所述候选值与所述周边同色像素中的各像素的所述校正系数之积。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述相似度是基于所述周边同色像素中的各像素的所述理论值与所述实测值之差的值。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述校正量计算部将所述周边同色像素中的各像素的像素值除以所述校正系数，并根据该相除后的值来计算所述估计值。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述校正量计算部计算所述周边同色像素中的各像素的像素值除以所述校正系数而得到的值的统计值，作为所述估计值。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述校正量计算部在所述周边同色像素中，通过求解按每个像素建立所述周边同色像素的像素值、所述校正系数以及所述估计值之间的关系式而成的联立方程式，来计算所述估计值。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述校正量计算部计算分别对所述周边同色像素中的多个像素进行组合而计算出的所述估计值的统计值，作为所述估计值。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述校正量计算部根据在所述关注像素的周围像素值未饱和的周边像素中的各像素的像素值与所述周边同色像素中的各像素的所述校正系数之比，来计算所述估计值。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述像素值校正部使用所述校正量来校正所述关注像素的像素值，使得所述关注像素的校正后的像素值进入从所述周边同色像素中的各像素的像素值的平均值到所述关注像素的像素值的范围。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述像素值校正部在所述关注像素的像素值减去所述校正量后的值与所述周边同色像素的像素值的平均值之差比规定值大的情况下，不从所述关注像素的像素值减去所述校正量。
另外，本发明的图像处理方法的特征在于，该图像处理方法包含如下步骤：获取步骤，获取摄像元件所生成的图像数据，并且从记录部获取校正系数，该摄像元件使用具有相互不同的分光透射率的多种颜色的滤色器来形成规定的排列图案，并且各个滤色器被配置在与多个像素中的任意像素对应的位置上，该记录部按每个像素记录所述校正系数，该校正系数用于校正关注像素处的与分光灵敏度和预先设定的基准分光灵敏度在规定波长区域中的差对应的像素值差分；计算步骤，使用周边同色像素中的各像素的像素值和所述校正系数，来计算所述关注像素处的校正对象颜色成分的估计值，其中所述周边同色像素是所述关注像素周边的像素，配置有颜色与配置于所述关注像素的滤色器的颜色相同的滤色器；校正量计算步骤，根据在所述计算步骤中计算出的所述估计值和所述关注像素的所述校正系数，来计算所述关注像素的像素值的校正量；以及像素值校正步骤，根据在所述校正量计算步骤中计算出的所述校正量来校正所述关注像素的像素值。
另外，本发明的程序的特征在于，该程序使图像处理装置执行如下步骤：获取步骤，获取摄像元件所生成的图像数据，并且从记录部获取校正系数，该摄像元件使用具有相互不同的分光透射率的多种颜色的滤色器来形成规定的排列图案，并且各个滤色器被配置在与多个像素中的任意像素对应的位置上，该记录部按每个像素记录所述校正系数，该校正系数用于校正关注像素处的与分光灵敏度和预先设定的基准分光灵敏度在规定波长区域中的差对应的像素值差分；计算步骤，使用周边同色像素中的各像素的像素值和所述校正系数，来计算所述关注像素处的校正对象颜色成分的估计值，其中所述周边同色像素是所述关注像素的周边的像素，配置有颜色与配置于所述关注像素的滤色器的颜色相同的滤色器；校正量计算步骤，根据在所述计算步骤中计算出的所述估计值和所述关注像素的所述校正系数，来计算所述关注像素的像素值的校正量；以及像素值校正步骤，根据在所述校正量计算步骤中计算出的所述校正量来校正所述关注像素的像素值。
发明效果
根据本发明实现了如下效果：能够对构成摄像元件的多个像素各自的分光灵敏度的偏差进行校正。
附图说明
图1是示意性地示出本发明的实施方式1的摄像系统的结构的框图。
图2是示出本发明的实施方式1的图像处理装置所执行的处理的概要的流程图。
图3是示出图2的校正量计算处理的概要的流程图。
图4是示出图3的R成分校正量计算处理的概要的流程图。
图5是示出图3的G成分校正量计算处理的概要的流程图。
图6是示出图3的B成分校正量计算处理的概要的流程图。
图7是示出图4的基于平均的R成分估计值计算处理的概要的流程图。
图8是示出图4的基于相似度的R成分估计值计算处理的概要的流程图。
图9是示意性地示出本发明的实施方式1的图像处理装置的校正量计算部所计算的R成分估计值的计算方法的图。
图10是示出图8的各R成分候选值的相似度计算处理的概要的流程图。
图11是示出针对图3的关注像素(x，y)的像素值的校正量计算处理的概要的流程图。
图12是示出本发明的实施方式1的变形例的针对关注像素(x，y)的像素值的校正量计算处理的概要的流程图。
图13是示出本发明的实施方式2的图像处理装置所执行的R成分校正量计算处理的概要的流程图。
图14是示出图13的基于像素值与校正系数的比的R成分估计值计算处理的概要的流程图。
图15是示意性地示出相似的校正系数的分类的图。
图16是示出本发明的实施方式3的图像处理装置所执行的校正量计算处理的概要的流程图。
图17是示出图16的各颜色成分的校正量计算处理的概要的流程图。
图18是示出图17的针对与关注像素(x，y)不同的颜色成分基于相似度的不同颜色成分估计值计算处理的概要的流程图。
图19是示出图18的候选值EstC1’、EstC2’处的相似度Sim’计算处理的概要的流程图。
图20是示出本发明的实施方式4的图像处理装置所执行的各颜色成分的校正量计算处理的概要的流程图。
图21是示出图20的各颜色成分中基于相似度的各颜色成分估计值计算处理的概要的流程图。
图22是示出图21的候选值EstR’、EstG’、EstB’处的相似度Sim’计算处理的概要的流程图。
图23是示出本发明的实施方式5的图像处理装置所执行的各颜色成分的校正量计算处理的概要的流程图。
图24是示出图23的基于联立方程式的不同颜色成分估计值计算处理的概要的流程图。
图25是示出本发明的实施方式6的图像处理装置所执行的各颜色成分的校正量计算处理的概要的流程图。
图26是示出图25的基于像素值与校正系数的比的不同颜色成分估计值计算处理的概要的流程图。
图27是示意性地示出关注像素(x，y)附近的不同颜色像素饱和的情况下的比Ratio的计算区域的图。
具体实施方式
下面，参照附图对用于实施本发明的方式(下面称作“实施方式”)进行说明。另外，本发明并不受以下说明的实施方式限定。并且，在附图的记载中对相同部分标注相同的标号进行说明。
(实施方式1)
(摄像系统的结构)
图1是示意性地示出本发明的实施方式1的摄像系统的结构的框图。图1所示的摄像系统1具有摄像装置10、图像处理装置40、显示装置50。
(摄像装置的结构)
首先，对摄像装置10的结构进行说明。摄像装置10具有光学系统101、光圈102、快门103、驱动器104、摄像元件105、滤色器106、模拟处理部107、A/D转换部108、第一操作部109、存储器接口部110、记录介质111、易失性存储器112、非易失性存储器113、总线114、摄像控制部115、第一外部接口部116。
光学系统101使用单个或多个透镜构成。光学系统101例如使用对焦透镜和变焦镜头构成。
光圈102通过限制光学系统101所会聚的光的入射量来进行曝光的调整。光圈102在摄像控制部115的控制下，限制光学系统101所会聚的光的入射量。也可以不使用光圈102，而使用快门103或摄像元件105中的电子快门来控制光的入射量。
快门103在摄像控制部115的控制下，将摄像元件105的状态设定为曝光状态或遮光状态。快门103例如使用焦平面快门等构成。也可以不使用快门103，而使用摄像元件105中的电子快门。
驱动器104在后述的摄像控制部115的控制下，驱动光学系统101、光圈102以及快门103。例如，驱动器104通过使光学系统101沿光轴O1移动来进行摄像装置10的变焦倍率的变更或焦点位置的调整。
摄像元件105在后述的摄像控制部115的控制下，接收光学系统101所会聚的光并转换为图像数据(电信号)而输出。摄像元件105使用多个像素配置为二维状而成的CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)或CCD(ChargeCoupled Device：电荷耦合器件)等图像传感器构成。另外，摄像元件105具有能够电子控制受光量的电子快门功能。
滤色器106以层叠的方式设置在摄像元件105的受光面上。关于滤色器106，使相互不同的波长区域的光透射的多个滤色器分别形成规定排列图案，形成该排列图案的各个滤色器配置在与构成摄像元件105的多个像素中的任意一个像素对应的位置上。滤色器106的拜耳排列中的透射红色的波长区域的光的滤镜R、透射绿色的波长区域的光的滤镜G以及透射蓝色的波长区域的光的滤镜B分别设置在摄像元件105的各像素的受光面上。另外，以下，设将滤镜R配置在受光面上而成的像素为R像素、将滤镜G配置在受光面上而成的像素为G像素、将滤镜B配置在受光面上而成的像素为B像素来进行说明。
模拟处理部107对从摄像元件105输出的模拟信号实施规定模拟处理并输出给A/D转换部108。具体而言，模拟处理部107对从摄像元件105输入的模拟信号进行噪声降低处理和增益提升处理等。例如，模拟处理部107对模拟信号在降低了复位噪声等的基础上进行波形整形，进而进行增益提升以成为目标的明亮度。
A/D转换部108通过对从模拟处理部107输入的模拟信号进行A/D转换而生成数字的图像数据(下面称作“RAW图像数据”)，并经由总线114输出给易失性存储器112。另外，A/D转换部108也可以对后述的摄像装置10的各部直接输出RAW图像数据。另外，也可以将上述的滤色器106、模拟处理部107以及A/D转换部108设置于摄像元件105，从而摄像元件105直接输出数字的RAW图像数据。
第一操作部109对摄像装置10赋予各种指示。具体而言，第一操作部109具有将摄像装置10的电源状态切换为接通状态或断开状态的电源开关、赋予静态图像摄影的指示的释放开关、切换摄像装置10的各种设定的操作开关以及赋予动态图像摄影的指示的动态图像开关等。
记录介质111使用从摄像装置10的外部安装的存储卡构成，经由存储器接口部110而装卸自如地安装于摄像装置10。另外，记录介质111也可以在摄像控制部115的控制下，经由存储器接口部110而将程序和各种信息分别输出给非易失性存储器113。
易失性存储器112暂时存储经由总线114而从A/D转换部108输入的图像数据。例如，易失性存储器112暂时存储由摄像元件105按每一帧经由模拟处理部107、A/D转换部108以及总线114而依次输出的图像数据。易失性存储器112使用SDRAM(Synchronous DynamicRandom Access Memory：同步动态随机存取存储器)等构成。
非易失性存储器113记录用于使摄像装置10进行动作的各种程序、程序的执行过程中所使用的各种数据。另外，非易失性存储器113具有：程序记录部113a；以及校正系数记录部113b，其记录经由第一外部接口部116输入的校正系数，该校正系数用于校正构成摄像元件105的多个像素各自的分光灵敏度的偏差。这里，所谓校正系数是用于校正关注像素处的像素值的差分的系数，该像素值的差分对应于分光灵敏度和预先设定的基准分光灵敏度在规定波长区域中的差。另外，所谓基准分光灵敏度是向摄像元件105照射均匀的光时的各滤色器中的相同颜色像素的平均的分光灵敏度。该校正系数由未图示的装置预先计算出并记录于校正系数记录部113b中。
总线114使用连接摄像装置10的各结构部位的传送路径等构成，将在摄像装置10的内部产生的各种数据传送到摄像装置10的各结构部位。
摄像控制部115使用CPU(Central Processing Unit：中央处理单元)等构成，根据来自第一操作部109的指示信号和释放信号，对构成摄像装置10的各部进行指示和数据的传送等，而统一控制摄像装置10的动作。例如，在从第一操作部109输入了第二释放信号的情况下，摄像控制部115进行开始摄像装置10中的摄影动作的控制。这里，所谓摄像装置10中的摄影动作是指模拟处理部107和A/D转换部108对摄像元件105所输出的模拟信号实施规定处理的动作。这样，被实施了处理的图像数据在摄像控制部115的控制下，经由总线114和存储器接口部110而记录于记录介质111中。
第一外部接口部116经由总线114将从外部设备输入的信息输出给非易失性存储器113或易失性存储器112，另一方面，经由总线114将易失性存储器112所存储的信息、非易失性存储器113所记录的信息以及摄像元件105所生成的图像数据输出给外部设备。具体而言，第一外部接口部116经由总线114将摄像元件105所生成的图像数据以及校正系数记录部113b所记录的校正系数输出给图像处理装置40。
(图像处理装置的结构)
接下来，对图像处理装置40的结构进行说明。
图像处理装置40具有第二外部接口部41、第二记录部42、总线43、分光灵敏度偏差校正部44、图像处理部45。
第二外部接口部41经由摄像装置10的第一外部接口部116而分别获取摄像元件105所生成的图像数据以及校正系数记录部113b所记录的校正系数，并将所获取的图像数据和校正系数输出给分光灵敏度偏差校正部44或第二缓冲器部422。第二外部接口部41和第一外部接口部116例如经由能够双向交换信息的控制线缆或无线通信路径等而连接。另外，第二外部接口部41作为本实施方式1的获取部而发挥功能。
第二记录部42使用易失性存储器和非易失性存储器构成，记录经由第二外部接口部41而从摄像装置10输入的图像数据、校正系数、用于使图像处理装置40进行动作的各种程序、程序的执行过程中所使用的各种数据。另外，第二记录部42具有：第二程序记录部421，其记录用于驱动图像处理装置40的程序；以及第二缓冲器部422，其暂时存储从摄像装置10输入的图像数据以及关注像素的校正系数等。
总线43使用连接图像处理装置40的各结构部位的传送路径等构成，将在图像处理装置40的内部产生的各种数据传送到图像处理装置40的各结构部位。
分光灵敏度偏差校正部44对与第二外部接口部41所获取的图像数据对应的图像的各像素的分光灵敏度的偏差进行校正，并输出到图像处理部45。分光灵敏度偏差校正部44具有校正量计算部441、像素值校正部442。另外，分光灵敏度偏差校正部44在图像数据中包含有OB值(光学黑值)的情况下，也可以进行OB相减处理。
校正量计算部441使用校正系数记录部113b所记录的关注像素的校正系数、以及关注像素周围的周边同色像素中的各像素的像素值和校正系数，来计算关注像素处的校正对象的颜色成分的估计值，并根据该估计值和关注像素的校正系数来计算关注像素的像素值的校正量，所述周边同色像素配置有颜色与配置于关注像素的滤色器的颜色相同的滤色器。这里，所谓周边同色像素是位于关注像素的附近的像素，其配置有与配置于关注像素的滤色器的颜色相同颜色的滤色器。
像素值校正部442使用校正量计算部441所计算出的校正量来校正关注像素的像素值。具体而言，像素值校正部442通过从关注像素的像素值减去校正量计算部441所计算出的校正量来校正关注像素的像素值，并将该校正后的像素值输出到图像处理部45。
图像处理部45对被分光灵敏度偏差校正部44校正了分光灵敏度偏差的图像数据进行规定图像处理而输出到显示装置50。这里，所谓规定图像处理是包含如下处理在内的基本图像处理：白平衡调整处理、摄像元件105为拜耳排列的情况下的图像数据的同步化处理、颜色矩阵运算处理、γ校正处理、颜色再现处理、边缘强调处理以及噪声降低处理等。另外、图像处理部45根据预先设定的各图像处理的参数而进行再现自然的图像的图像处理。这里，所谓各图像处理的参数是对比度、锐度、饱和度、白平衡以及灰度的值。另外，也可以将进行了规定图像处理的图像数据经由第二外部接口部41而记录于摄像装置10的非易失性存储器113或记录介质111中。
(显示装置的结构)
接下来，对显示装置50的结构进行说明。显示装置50显示与从图像处理装置40输入的图像数据对应的图像。显示装置50使用液晶或有机EL(Electro Luminescence：电致发光)等显示面板等构成。
在具有以上结构的摄像系统1中，图像处理装置40从摄像装置10分别获取图像数据和校正系数，并使用该获取的校正系数来计算图像数据的用于校正关注像素像素值的校正量，然后使用校正量来校正关注像素的像素值。然后，显示装置50显示与被图像处理装置40实施了图像处理的图像数据对应的图像。
(图像处理装置的处理)
接下来，对图像处理装置40所执行的处理进行说明。图2是示出图像处理装置40所执行的处理的概要的流程图，示出主例程。
如图2所示，首先，校正量计算部441执行如下校正量计算处理：从摄像装置10获取摄像元件105所生成的图像数据和校正系数记录部113b所记录的校正系数，并计算所获取的图像数据中的关注像素的像素值的校正量(步骤S1)。在这种情况下，校正量为带标号的值。具体而言，在分光灵敏度比基准分光灵敏度低的像素时校正量为负值，另一方面，在分光灵敏度比基准分光灵敏度高的像素时校正量为正值。另外，校正量计算处理的详细在后面说明。这里，在使校正量的正负的定义相反的情况下，在后述的使用校正系数的处理中只要使加减法相反即可。
像素值校正部442通过减去校正量计算部441所计算出的各像素的校正量来校正各像素的像素值(步骤S2)。在步骤S2之后，图像处理装置40结束本处理。
(校正量计算处理)
接下来，对在图2的步骤S1中进行了说明的校正量计算处理的详细进行说明。图3是示出校正量计算处理的概要的流程图。
如图3所示，首先，校正量计算部441将表示像素在与存储于第二记录部42的第二缓冲器部422中的图像数据对应的图像的高度方向(纵向)上的位置的计数器y初始化(计数器y＝0)，(步骤S11)，将表示像素在与图像数据对应的图像的宽度方向(横向)上的位置的计数器x初始化(计数器x＝0)(步骤S12)。
接着，校正量计算部441执行如下的R成分校正量计算处理：计算针对关注像素(x，y)的像素值的R成分的校正量(步骤S13)。这里，所谓R成分是R波段的像素值。另外，R成分校正量计算处理的详细在后面说明。
然后，校正量计算部441执行如下的G成分校正量计算处理：计算针对关注像素(x，y)的像素值的G成分的校正量(步骤S14)。这里，所谓G成分是G波段的像素值。另外，G成分校正量计算处理的详细在后面说明。
接着，校正量计算部441执行如下的B成分校正量计算处理：计算针对关注像素(x，y)的像素值的B成分的校正量(步骤S15)。这里，所谓B成分是B波段的像素值。另外，B成分校正量计算处理的详细在后面说明。
然后，校正量计算部441执行如下的校正量计算处理：根据在上述的步骤S13～步骤S15中计算出的R成分、G成分以及B成分各自的校正量来计算针对关注像素(x，y)的像素值的校正量(步骤S16)。另外，针对关注像素(x，y)的校正量计算处理的详细在后面说明。
接着，校正量计算部441将计数器x递增(x＝x+1)(步骤S17)。
然后，在计数器x比与图像数据对应的图像的宽度小的情况下(步骤S18：“是”)，校正量计算部441返回到步骤S13。与此相对，在计数器x不比与图像数据对应的图像的宽度小的情况下(步骤S18：“否”)，校正量计算部441转移到后述的步骤S19。
在步骤S19中，校正量计算部441将计数器y递增(y＝y+1)。
然后，在计数器y比与图像数据对应的图像的高度小的情况下(步骤S20：“是”)，图像处理装置40返回到上述的步骤S12。与此相对，在计数器y不比与图像数据对应的图像的高度小的情况下(步骤S20：“否”)，图像处理装置40返回到图2的主例程。
(R成分校正量计算处理)
接下来，对在图3的步骤S13中进行了说明的R成分校正量计算处理的详细进行说明。图4是示出R成分校正量计算处理的概要的流程图。
如图4所示，首先，在关注像素(x，y)为R像素的情况下(步骤S31：“是”)，校正量计算部441执行如下的基于平均的R成分估计值计算处理：根据关注像素(x，y)的周边像素(例如以关注像素(x，y)为中心的5×5像素的范围等)的像素值的平均值来计算R成分的估计值(步骤S32)。另外，基于平均的R成分估计值计算处理的详细在后面说明。在步骤S32之后，图像处理装置40转移到步骤S34。
在步骤S31中，在关注像素(x，y)不为R像素的情况下(步骤S31)“否”)，校正量计算部441执行根据关注像素(x，y)的像素值的相似度来计算R成分的估计值的基于相似度的R成分估计值计算处理(步骤S33)。另外，基于相似度的R成分估计值计算处理的详细在后面说明。在步骤S33之后，图像处理装置40转移到步骤S34。
接着，校正量计算部441通过对在上述的步骤S32或步骤S33中估计的关注像素(x，y)的R成分估计值乘以关注像素(x，y)的R成分校正系数，来计算针对关注像素(x，y)的像素值的R成分的校正量(步骤S34)。在步骤S34之后，图像处理装置40返回到图3的校正量计算处理的子例程。
(G成分校正量计算处理)
接下来，对在图3的步骤S14中进行了说明的G成分校正量计算处理的详细进行说明。图5是示出G成分校正量计算处理的概要的流程图。
如图5所示，首先，在关注像素(x，y)为G像素的情况下(步骤S41：“是”)，校正量计算部441执行根据关注像素(x，y)的周边像素的像素值的平均值来计算G成分的估计值的基于平均的G成分估计值计算处理(步骤S42)。另外，基于平均的G成分估计值计算处理的详细在后面说明。在步骤S42之后，图像处理装置40转移到步骤S44。
在步骤S41中，在关注像素(x，y)不为G像素的情况下(步骤S41：“否”)，校正量计算部441执行根据关注像素(x，y)的像素值的相似度来计算G成分的估计值的基于相似度的G成分估计值计算处理(步骤S43)。另外，基于相似度的G成分估计值计算处理的详细在后面说明。在步骤S43之后，图像处理装置40转移到步骤S44。
接着，校正量计算部441通过对在上述的步骤S42或步骤S43中估计的关注像素(x，y)的G成分估计值乘以关注像素(x，y)的G成分校正系数，来计算针对关注像素(x，y)的像素值的G成分的校正量(步骤S44)。在步骤S44之后，图像处理装置40返回到图3的校正量计算处理的子例程。
(B成分校正量计算处理)
接下来，对在图3的步骤S15中进行了说明的B成分校正量计算处理的详细进行说明。图6是示出B成分校正量计算处理的概要的流程图。
如图6所示，首先，在关注像素(x，y)为B像素的情况下(步骤S51：“是”)，校正量计算部441执行根据关注像素(x，y)的周边像素的像素值的平均值来计算B成分的估计值的基于平均的B成分估计值计算处理(步骤S52)。另外，基于平均的B成分估计值计算处理的详细在后面说明。在步骤S52之后，图像处理装置40转移到步骤S54。
在步骤S51中，在关注像素(x，y)不为B像素的情况下(步骤S51：“否”)，校正量计算部441执行根据关注像素(x，y)的像素值的相似度来计算B成分的估计值的基于相似度的B成分估计值计算处理(步骤S53)。另外，基于相似度的B成分估计值计算处理的详细在后面说明。在步骤S53之后，图像处理装置40转移到步骤S54。
接着，校正量计算部441通过对在上述的步骤S52或步骤S53中估计的关注像素(x，y)的B成分估计值乘以关注像素(x，y)的B成分校正系数，来计算针对关注像素(x，y)的像素值的B成分的校正量(步骤S54)。在步骤S54之后，图像处理装置40返回到图3的校正量计算处理的子例程。
如在上述的图3～图6中进行了说明的那样，校正量计算部441对所有像素计算所有成分的校正量，但也可以仅对特定的颜色的像素以及颜色成分计算校正量。
(基于平均的R成分估计值计算处理)
接下来，对在图4的步骤S32中进行了说明的基于平均的R成分估计值计算处理的详细进行说明。图7是示出基于平均的R成分估计值计算处理的概要的流程图。
如图7所示，首先，校正量计算部441计算关注像素(x，y)周边的R像素的像素值的平均值AveR(步骤S61)。这里，所谓周边是以关注像素(x，y)为中心的M×N像素(M和N为3以上的奇数。其中，关于R成分和B成分除了M＝N＝3)的范围。另外，校正量计算部441也可以将关注像素(x，y)的像素值包含在内而计算平均值AveR。另外，校正量计算部441除了平均值以外也可以计算统计值。例如，校正量计算部441也可以计算将加权平均值、中值以及绝对值为一定值以上的校正系数排除后的上述统计值中的任意一个。
接着，校正量计算部441计算在上述的步骤S61中计算出的平均值AveR作为关注像素(x，y)的R成分估计值(步骤S62)。在步骤S62之后，图像处理装置40返回到图4的R成分校正量计算处理。另外，在本实施方式1中，在图5的步骤S42的基于平均的G成分估计值计算处理和图6的步骤S52的基于平均的B成分估计值计算处理中，通过将R成分分别置换为G成分和B成分，并进行上述同样的处理，能够计算出G成分估计值或B成分估计值，因此省略基于平均的G成分估计值计算处理和基于平均的B成分估计值计算处理的说明。
(基于相似度的R成分估计值计算处理)
接下来，对在图4的步骤S33中进行了说明的基于相似度的R成分估计值计算处理的详细进行说明。图8是示出基于相似度的R成分估计值计算处理的概要的流程图。图9是示意性地示出校正量计算部441所计算出的R成分估计值的计算方法的图。
如图8所示，首先，校正量计算部441计算关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的R成分校正系数的平均值AveCoef(步骤S71)。以下，将关注像素(x，y)的周边的与关注像素(x，y)相同颜色的像素称作参照像素。另外，所谓周边是与上述的图7的步骤S61相同的范围。另外，在本实施方式1中，参照像素作为周边同色像素而发挥功能。
接着，校正量计算部441计算关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的像素值的平均值AvePix(步骤S72)。在这种情况下，校正量计算部441根据上述的参照像素的像素值来计算平均值AvePix。
然后，校正量计算部441将候选值Est初始化(Est＝Est0)(步骤S73)。在这种情况下，校正量计算部441期望将输入给分光灵敏度偏差校正部44的像素值所能取的最大值Est0设定为候选值Est。
接着，校正量计算部441将相似度Sim初始化(Sim＝MAX)(步骤S74)。在这种情况下，校正量计算部441设定相似度Sim所能取的最大值。这里，相似度Sim被定义为：越相似(相似度越高)则值越小，越不相似(相似度越低)则值越大。
然后，校正量计算部441将计数器Step初始化为0(Step＝0)(步骤S75)。
接着，校正量计算部441计算一大一小两个候选值Estp、Estm(步骤S76)。具体而言，如图9所示，校正量计算部441通过下面的式(1)和式(2)来对候选值Est计算一大一小两个候选值Estp、Estm。
Estp＝Est+(Est0/2Step)···(1)
Estm＝Est-(Est0/2Step)···(2)
然后，校正量计算部441执行各R成分候选值的相似度计算处理，该相似度计算处理计算各R成分的估计值的相似度(步骤S77)。
(各R成分估计值的相似度计算处理)
图10是示出在图8的步骤S77中进行了说明的各R成分候选值的相似度计算处理的概要的流程图。
如图10所示，首先，校正量计算部441从第二缓冲器部422获取关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的像素值和R成分校正系数(步骤S91)。具体而言，校正量计算部441从第二缓冲器部422获取参照像素的像素值和R成分校正系数。
接着，校正量计算部441计算各像素的理论值Ideal(步骤S92)。具体而言，校正量计算部441按每个像素计算在上述的步骤S91中获取的参照像素(x+Δx，y+Δy)的R成分校正系数CoefR(x+Δx，y+Δy)与在上述的图8的步骤71中计算出的R成分校正系数的平均值AveCoef的差乘以R成分候选值Est而得到的值，作为理论值Ideal(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(3)而按每个像素计算理论值Ideal(x+Δx，y+Δy)。
Ideal(x+Δx，y+Δy)＝(CoefR(x+Δx，y+Δy)-AveCoef)×Est
···(3)
然后，校正量计算部441计算各像素的实测值Val(步骤S93)。具体而言，校正量计算部441按每个像素计算参照像素(x+Δx，y+Δy)的像素值Pix(x+Δx，y+Δy)与在图8的步骤72中计算出的像素值的平均值AvePix的差作为实测值Val(x+Δx，y+Δy)。更具体而言，校正量计算部411通过下面的式(4)而按每个像素计算实测值Val(x+Δx，y+Δy)。
Val(x+Δx，y+Δy)＝Pix(x+Δx，y+Δy)-AvePix
···(4)
接着，校正量计算部441计算各像素的理论值Ideal与实测值Val的差分绝对值Diff(步骤S94)。具体而言，校正量计算部441按每个像素计算像素(x+Δx，y+Δy)的理论值Ideal(x+Δx，y+Δy)与实测值Val(x+Δx，y+Δy)的差分绝对值Diff(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(5)而按每个像素计算差分绝对值Diff(x+Δx，y+Δy)。
Diff(x+Δx，y+Δy)＝|(Val(x+Δx，y+Δy)-Ideal(x+Δx，y+Δy)|
···(5)
另外，也可以代替差分绝对值Diff(x+Δx，y+Δy)，校正量计算部441通过下面的式(6)来计算差分平方值作为Diff(x+Δx，y+Δy)。
Diff(x+Δx，y+Δy)＝
((Val(x+Δx，y+Δy)-Ideal(x+Δx，y+Δy))2
···(6)
然后，校正量计算部441计算所有参照像素的差分绝对值Diff的总和值作为相似度Sim(步骤S95)。另外，校正量计算部441也可以计算加权的总和，而不是所有参照像素的差分绝对值的简单的总和。例如，在进行加权的情况下，校正量计算部441也可以一边根据各像素距关注像素(x，y)的距离而变更加权的系数一边计算所有参照像素的差分绝对值的总和。另外，在进行加权的情况下，校正量计算部441也可以一边以差分绝对值Diff越大则权重越大的方式变更加权的系数一边计算所有参照像素的差分绝对值的总和(与利用单调递增函数对差分绝对值Diff进行转换而计算差分绝对值的总和的情况是等效的)。在步骤S95之后，图像处理装置40返回到图8的基于相似度的R成分估计值计算处理。
这样，校正量计算部441在各R成分估计值的相似度计算处理中，将像素值的分布和理论值的分布的相似度程度取为差分绝对值或差分平方值的总和作为评价值，但也可以利用其他方法来计算该评价值。例如，校正量计算部441也可以使用NCC(NormalizedCross-Correlation：归一化互相关)和ZNCC(Zero-mean Normalized Cross-Correlation：零均值归一化互相关)等来计算评价值。另外，关于G成分和B成分，通过将R成分置换为G成分或B成分，并进行上述同样的处理，能够计算出各G成分的估计值的相似度和各B成分的估计值的相似度，因此省略各G成分估计值的相似度计算处理和各B成分估计值的相似度计算处理的说明。对候选值Est、Estp、Estm分别进行该处理，计算出三个相似度Sim、Simp、Simm。
返回到图8，继续步骤S78以后的说明。
在步骤S78中，校正量计算部441选择相似度取最小值的候选值。具体而言，校正量计算部441计算(选择)与三个相似度Sim、相似度Simp以及相似度Simm中最小的相似度对应的候选值(Est、Estp、Estm中的任意一个)。具体而言，如图9所示，校正量计算部441一边对一大一小两个相似度和当前的相似度这三个进行比较一边选择取最小值的候选值，并且反复进行该处理，由此搜索相似度为最小值的候选值。在步骤S78之后，图像处理装置40转移到步骤S79。
在步骤S79中，校正量计算部441将在步骤S78中计算出的候选值更新为候选值Est。例如，在步骤S78中计算出的候选值为Estp的情况下，校正量计算部441使Est为Estp(Est＝Estp)。
然后，校正量计算部441将n递增(n＝n+1)(步骤S80)。
接着，在计数器Step比n小(Step＜n)的情况下(步骤S81：“是”)，图像处理装置40返回到上述的步骤S76。与此相对，在计数器Step不比n小的情况下(步骤S81：“否”)，图像处理装置40转移到步骤S82。这里，n期望是使Est0÷2n为1以上的值。
在步骤S82中，校正量计算部441计算候选值Est作为R成分估计值。在步骤S82之后，图像处理装置40返回到图4的R成分校正量计算处理。
这样，根据基于相似度的R成分估计值计算处理，由于不使用关注像素周边的不同颜色像素的像素值，因此即使不同颜色像素饱和，校正量计算部441也能够计算出关注像素处的与关注像素不同的颜色成分的估计值。
另外，在本实施方式1中，校正量计算部441在基于相似度的R成分估计值计算处理中，一边对一大一小两个相似度和当前的相似度这三个进行比较一边选择取最小值的候选值，并且反复执行该处理，由此搜索相似度为最小值的候选值。由此，校正量计算部441由于不使用关注像素周边的不同颜色像素的像素值，因此即使不同颜色像素饱和，也能够计算出关注像素处的与关注像素不同的颜色成分的估计值。另外，校正量计算部441也可以利用其他方法来搜索相似度最高的候选值。例如，校正量计算部441也可以利用网罗地使候选值摆动而搜索相似度最高的值的方法、公知的登山方法以及局部搜索法等。另外，在图5的步骤S43的基于相似度的G成分估计值计算处理和图6的步骤S53的基于相似度的B成分估计值计算处理中，通过将R成分置换为G成分或B成分，并进行上述同样的处理，能够计算出G成分估计值或B成分估计值，因此省略基于相似度的G成分估计值计算处理和基于相似度的B成分估计值计算处理的说明。
(针对关注像素(x，y)的像素值的校正量计算处理)
接下来，对在图3的步骤S16中进行了说明的针对关注像素(x，y)的像素值的校正量计算处理进行说明。图11是示出针对关注像素(x，y)的像素值的校正量计算处理的概要的流程图。
如图11所示，首先，校正量计算部441计算在图3的步骤S13、步骤S14以及步骤S15中分别计算出的R、G、B成分的校正量的总和值Sumc(步骤S101)。
接着，校正量计算部441计算在上述的步骤S101中计算出的总和值Sumc作为关注像素(x，y)的校正量(步骤S102)。在步骤S102之后，图像处理装置40返回到图3的校正量计算处理。
根据以上说明的本发明的实施方式1，由于不使用关注像素周边的不同颜色像素的像素值，因此即使不同颜色像素饱和，校正量计算部441也能够计算出关注像素处的与关注像素不同的颜色成分的估计值。
(实施方式1的变形例)
接下来，对本发明的实施方式1的变形例进行说明。本实施方式1的变形例具有与上述的实施方式1的摄像系统1相同的结构，但图像处理装置所执行的针对关注像素(x，y)的像素值的校正量计算处理不同。具体而言，在本实施方式1的变形例中，防止了过校正和错误的校正。以下，对本实施方式1的变形例的图像处理装置所执行的针对关注像素(x，y)的像素值的校正量计算处理进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。
(针对关注像素(x，y)的像素值的校正量计算处理)
图12是示出本实施方式1的变形例的图像处理装置所执行的针对关注像素(x，y)的像素值的校正量计算处理的概要的流程图。
如图12所示，首先，校正量计算部441计算在图3的步骤S13、步骤S14以及步骤S15中分别计算出的R、G、B成分的校正量的总和值Sumc(步骤S111)。
接着，校正量计算部441计算关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的像素值的平均值Ave(步骤S112)。在这种情况下，校正量计算部441优选使用与在图8的步骤S72中计算出平均值Ave的相同颜色像素相同的像素。
然后，校正量计算部441计算在步骤S112中计算出的平均值Ave与关注像素(x，y)的像素值Pix的差Delta(Delta＝Pix-Ave)(步骤S113)。
接着，在Delta和Sumc的符号相同的情况下(步骤S114：“是”)，当|Delta|＜|Sumc|时(步骤S115：“是”)，校正量计算部441使Sumc为Delta(Sumc＝Delta)(步骤S116)。在步骤S116之后，图像处理装置40转移到后述的步骤S118。
在步骤S114中，在Delta和Sumc的符号相同的情况下(步骤S114：“是”)，当不为|Delta|＜|Sumc|时(步骤S115：“否”)，图像处理装置40转移到后述的步骤S118。
在步骤S114中，在Delta和Sumc的符号不相同的情况下(步骤S114：“否”)，校正量计算部441使Sumc为“0”(Sumc＝0)(步骤S117)。在步骤S117之后，图像处理装置40转移到后述的步骤S118。
接着，校正量计算部441计算总和值Sumc作为关注像素(x，y)的校正量(步骤S118)。在步骤S118之后，图像处理装置40返回到图3的校正量计算处理。
根据以上说明的本发明的实施方式1的变形例，由于在Delta和Sumc的符号不相同的情况下，校正量计算部441使Sumc为“0”，或者在Delta和Sumc的符号相同的情况下，当不为|Delta|＜|Sumc|时，校正量计算部441不进行校正，因此未校正关注像素(x，y)的像素值，因此能够防止过校正和错误的校正。
另外，在本发明的实施方式1中，通过进行Delta和Sumc的符号的比较、|Delta|＜|Sumc|的判定，将校正后的像素值限制在Pix与Ave之间，但也可以采用其他方法。例如，校正量计算部441也可以在Ave＜Pix的情况下，将从Pix减去Sumc而得的值限制在Ave以上且Pix以下，另一方面，在Ave≥Pix的情况下，将从Pix减去Sumc而得的值限制在Pix以上且Ave以下。
(实施方式2)
接下来，对本发明的实施方式2进行说明。本实施方式2的摄像系统具有与上述的实施方式1的摄像系统1相同的结构，但图像处理装置所执行的R成分校正量计算处理不同。具体而言，在上述的实施方式1中，根据相似度而独立地计算各颜色成分的估计值，但在本实施方式2中，根据像素值与校正系数的比而独立地计算各颜色成分的估计值。以下，对本实施方式2的图像处理装置所执行的R成分校正量计算处理进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。另外，在以下的说明中，对针对R成分的处理进行说明，但对G成分和B成分也进行同样的处理，因此关于G成分和B成分的处理省略说明。
(R成分校正量计算处理)
图13是示出本实施方式2的图像处理装置40所执行的R成分校正量计算处理的概要的流程图。在图13中，步骤S121、步骤S122、步骤S124与上述的图4的步骤S31、步骤S32、步骤S34分别对应。
在步骤S123中，校正量计算部441执行根据像素值与校正系数的比来计算R成分的估计值的、基于像素值与校正系数的比的R成分估计值计算处理。在步骤S123之后，图像处理装置40转移到步骤S124。
(基于像素值与校正系数的比的R成分估计值计算处理)
图14是示出在图13的步骤S123中进行了说明的基于像素值与校正系数的比的R成分估计值计算处理的概要的流程图。在图14中，步骤S201和步骤S202与上述的图8的步骤S71和步骤S72分别对应。
在步骤S203中，校正量计算部441计算各像素的校正系数相对于平均值的差ΔCoef。具体而言，校正量计算部441按每个像素计算参照像素(x+Δx，y+Δy)的R成分校正系数CoefR(x+Δx，y+Δy)与在步骤S201中计算出的R成分校正系数的平均值AveCoef的差ΔCoef(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(7)来计算各像素的校正系数相对于平均值的差ΔCoef。
ΔCoef(x+Δx，y+Δy)＝CoefR(x+Δx，y+Δy)-AveCoef
···(7)
接着，校正量计算部441计算各像素的像素值相对于平均值的差ΔVal(步骤S204)。具体而言，校正量计算部441按每个像素计算参照像素(x+Δx，y+Δy)的像素值Pix(x+Δx，y+Δy)与在步骤S202中计算出的像素值的平均值AvePix的差ΔVal(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(8)而按每个像素计算差ΔVal。
ΔVal(x+Δx，y+Δy)＝Pix(x+Δx，y+Δy)-AvePix····(8)
然后，校正量计算部441计算各像素的ΔCoef与ΔVal的比Ratio(步骤S205)。具体而言，校正量计算部441按每个像素计算参照像素(x+Δx，y+Δy)的ΔCoef(x+Δx，y+Δy)与ΔVal(x+Δx，y+Δy)的比Ratio(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(9)而按每个像素计算比Ratio(x+Δx，y+Δy)。
Ratio(x+Δx，y+Δy)＝ΔVal(x+Δx，y+Δy)/ΔCoef(x+Δx，y+Δy)
···(9)
另外，校正量计算部441也可以在ΔCoef(x+Δx，y+Δy)为0的情况下，进行使Ratio(x+Δx，y+Δy)＝0的处理、或者进行将该像素(x+Δx，y+Δy)的处理排除的处理。此时，校正量计算部441将排除的像素(x+Δx，y+Δy)在接下来的平均值计算处理中也排除。
接着，校正量计算部441计算比Ratio的平均值作为候选值Est(步骤S206)。具体而言，校正量计算部441计算在步骤S205中计算出的所有参照像素的比Ratio的平均值作为候选值Est。在步骤S206之后，图像处理装置40返回到图4的R成分校正量计算处理。另外，校正量计算部441除了平均值以外也可以使用加权平均值或中值等统计值。
另外，校正量计算部441也可以计算作为代表的参照像素的比Ratio的平均值作为候选值Est。这里，所谓作为代表的参照像素例如是从校正系数的绝对值较大的一方到第k个为止的像素、或者是从校正系数的绝对值较大的一方数第k个的像素等。
图15是示意性地示出相似的校正系数的分类的图。在图15中，横轴表示校正系数，纵轴表示像素数。另外，在图15中，曲线L1表示对应于校正系数的像素数。
如图15所示，在选择校正系数的绝对值较小的第k个的情况、以及选择校正系数的绝对值较大的第k个的情况下，校正系数的绝对值越大则k个误差的比例越小，因此提高了所得到的估计值的精度。
另外，校正量计算部441也可以在按校正系数的值相似的每个参照像素计算出比Ratio的平均值之后，将这些平均值计算为候选值Est。由此，能够降低由随机噪声导致的像素值的偏差带来的影响。
根据以上说明的本发明的实施方式2，校正量计算部441根据像素值与校正系数的比来计算R成分的候选值Est，从而不需要像上述的实施方式1那样搜索相似度为最小的估计值，因此能够通过一次计算来计算出候选值Est。
(实施方式3)
接下来，对本发明的实施方式3进行说明。本实施方式3具有与上述的实施方式1的摄像系统1相同的结构，但图像处理装置所执行的校正量计算处理不同。具体而言，在上述的实施方式1中，独立地计算出R成分、B成分以及G成分各自的估计值，但在本实施方式3中，集中R成分、B成分以及G成分而计算估计值。以下，对本实施方式3的图像处理装置所执行的校正量计算处理进行说明。另外，对与上述的实施方式1相同的结构标注相同的标号而省略说明。
(校正量计算处理)
图16是示出本发明的实施方式3的图像处理装置40所执行的校正量计算处理的概要的流程图。在图16中，步骤S301、步骤S302、步骤S304～步骤S308与上述的图3的步骤S11、步骤S12、步骤S16～步骤S20分别对应。
在步骤S303中，校正量计算部441执行各颜色成分的校正量计算处理，该校正量计算处理计算关注像素(x，y)处的各颜色成分的校正量。
(各颜色成分的校正量计算处理)
图17是示出图16的步骤S303的各颜色成分的校正量计算处理的概要的流程图。
如图17所示，首先，校正量计算部441针对与关注像素(x，y)相同的颜色成分执行基于平均的估计值计算处理(步骤S311)。具体而言，校正量计算部441根据关注像素(x，y)的颜色成分进行上述的图4的R成分校正量计算处理中的步骤S32的基于平均的R成分估计值计算处理、图5的G成分校正量计算处理中的步骤S42的基于平均的G成分估计值计算处理以及图6的B成分校正量计算处理中的步骤S52的基于平均的B成分估计值计算处理中的任意一个。
接着，校正量计算部441针对与关注像素(x，y)不同的颜色成分执行基于相似度的不同颜色成分估计值计算处理(步骤S312)。例如，校正量计算部441在关注像素(x，y)为G像素的情况下，计算R成分和B成分的估计值。另外，针对与关注像素(x，y)不同的颜色成分的基于相似度的不同颜色成分估计值计算处理的详细在后面说明。
然后，校正量计算部441计算各颜色成分的校正量(步骤S313)。具体而言，校正量计算部441通过对关注像素(x，y)的各颜色成分的估计值乘以校正系数来计算针对关注像素(x，y)的像素值的各颜色成分的校正量。在步骤S313之后，图像处理装置40返回到图16的校正量计算处理。
(针对与关注像素(x，y)不同的颜色成分的基于相似度的不同颜色成分估计值计算处理)
接下来，对在图17的步骤S312中进行了说明的针对与关注像素(x，y)不同的颜色成分的基于相似度的不同颜色成分估计值计算处理进行说明。图18是示出针对与关注像素(x，y)不同的颜色成分的基于相似度的不同颜色成分估计值计算处理的概要的流程图。
如图18所示，校正量计算部441计算关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的不同颜色成分校正系数的平均值AveCoefC1和平均值AveCoefC2(步骤S321)。具体而言，校正量计算部441将不同颜色像素设为C1、C2，将不同颜色像素C1和不同颜色像素C2各自的校正系数的平均值设为AveCoefC1、AveCoefC2。
接着，校正量计算部441计算关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的像素值的平均值AvePix(步骤S322)。在这种情况下，校正量计算部441期望根据参照像素的像素值来计算像素值的平均值AvePix。此时，校正量计算部441除了平均值以外也可以计算统计值。例如，校正量计算部441也可以计算加权平均值和中值等。
然后，校正量计算部441将候选值EstC1和候选值EstC2初始化(EstC1＝EstC2＝0)(步骤S323)，将候选值EstC1’、候选值EstC2’初始化(EstC1’＝EstC2’＝0)(步骤S324)。
接着，校正量计算部441将相似度Sim初始化(Sim＝MAX)(步骤S325)，将候选值EstC2’初始化(EstC2’＝0)(步骤S326)。
然后，校正量计算部441执行候选值EstC1’、EstC2’处的相似度Sim’计算处理，该相似度Sim’计算处理计算候选值EstC1’和候选值EstC2’处的相似度Sim’(步骤S327)。
(候选值EstC1’、EstC2’处的相似度Sim’计算处理)
图19是示出在图18的步骤S327中进行了说明的候选值EstC1’、EstC2’处的相似度Sim’计算处理的概要的流程图。
如图19所示，首先，校正量计算部441从第二缓冲器部422输出关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的像素值和不同颜色成分校正系数(步骤S341)。
接着，校正量计算部441计算各像素的理论值Ideal(步骤S342)。具体而言，校正量计算部441针对参照像素(x+Δx，y+Δy)，计算对C1成分的校正系数CoefC1(x+Δx，y+Δy)和C2成分的校正系数CoefC2(x+Δx，y+Δy)与在上述的图18的步骤S321中计算出的不同颜色成分校正系数的平均值AveCoefC1和AveCoefC2的差乘以输入的不同颜色成分候选值EstC1’、EstC2’而得的值的和，作为理论值Ideal(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(10)而按每个像素计算理论值Ideal(x+Δx，y+Δy)。
Ideal(x+Δx，y+Δy)＝(CoefC1(x+Δx，y+Δy)-AveCoefC1)×EstC1’+(CoefC2(x+Δx，y+Δy)-AveCoefC2)×EstC2’
···(10)
然后，校正量计算部441计算各像素的实测值Val(步骤S343)。具体而言，校正量计算部441针对参照像素(x+Δx，y+Δy)，计算像素值Pix(x+Δx，y+Δy)与在上述的图18的步骤S322中计算出的像素值的平均值AvePix的差，作为实测Val(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(11)而按每个像素计算实测Val(x+Δx，y+Δy)。
Val(x+Δx，y+Δy)＝Pix(x+Δx，y+Δy)-AvePix
···(11)
接着，校正量计算部441计算各像素的理论值Ideal与实测值Val的差分绝对值Diff(步骤S344)。具体而言，校正量计算部441按每个像素计算像素(x+Δx，y+Δy)的在上述的步骤S342中计算出的理论值Ideal(x+Δx，y+Δy)与在上述的步骤S343中计算出的实测值Val(x+Δx，y+Δy)的差分绝对值Diff(x+Δx，y+Δy)。更具体而言，校正量计算部441通过上述的式(5)而按每个像素计算差分绝对值Diff(x+Δx，y+Δy)。另外，也可以代替差分绝对值Diff(x+Δx，y+Δy)，校正量计算部441通过上述的式(6)而计算差分平方值作为Diff(x+Δx，y+Δy)。
接着，校正量计算部441计算差分绝对值Diff的总和值作为相似度Sim’(步骤S345)。具体而言，校正量计算部441计算所有参照像素的差分绝对值的总和值作为相似度Sim’。另外，校正量计算部441也可以计算加权后的总和作为相似度Sim’。在这种情况下，校正量计算部441也可以根据各像素距关注像素(x，y)的距离来变更加权的系数。在步骤S345之后，图像处理装置40返回到图18的针对与关注像素(x，y)不同的颜色成分的基于相似度的不同颜色成分估计处理。
这样，校正量计算部441在候选值EstC1’、EstC2’的相似度Sim’计算处理中，将像素值的分布和理论值的分布的相似度程度取为差分绝对值或差分平方值的总和作为评价值，但也可以利用其他方法来计算该评价值。例如，校正量计算部441也可以使用NCC(Normalized Cross-Correlation：归一化互相关)和ZNCC(Zero-mean Normalized Cross-Correlation：零均值归一化互相关)来计算评价值。
返回到图18，继续步骤S328以后的说明。
在步骤S328中，在Sim’＜Sim的情况下(步骤S328：“是”)，校正量计算部441更新候选值EstC1、候选值EstC2以及相似度Sim(EstC1＝EstC1’，EstC2＝EstC2’，Sim＝Sim’)(步骤S329)。在步骤S329之后，图像处理装置40转移到步骤S330。
在步骤S328中，在不为Sim’＜Sim的情况下(步骤S328：“否”)，图像处理装置40转移到步骤S330。
接着，校正量计算部441将候选值EstC2’递增(步骤S330)。在这种情况下，校正量计算部441使递增的值为1以上。
然后，在EstC2’≤EstC2Max的情况下(步骤S331：“是”)，图像处理装置40返回到上述的步骤S327。与此相对，在不为EstC2’≤EstC2Max的情况下(步骤S331：“否”)，图像处理装置40转移到步骤S332。
在步骤S332中，校正量计算部441将候选值EstC1’递增(步骤S332)。在这种情况下，校正量计算部441使递增的值为1以上。
然后，在EstC1’≤EstC1Max的情况下(步骤S332：“是”)，图像处理装置40返回到上述的步骤S326。与此相对，在不为EstC1’≤EstC1Max的情况下(步骤S332：“否”)，图像处理装置40转移到步骤S334。
在步骤S334中，校正量计算部441计算候选值EstC1、候选值EstC2作为不同颜色成分估计值。在步骤S334之后，图像处理装置40返回到图17的各颜色成分的校正量计算处理。
根据以上说明的本发明的实施方式3，由于校正量计算部441一并计算不同颜色成分的估计值，因此即使是拍摄呈R成分、G成分以及B成分混合后的颜色的被摄体而得的图像数据，也能够高精度地计算出估计值。
另外，在本发明的实施方式3中，校正量计算部441也可以利用其他方法来搜索相似度取最小值的估计值。例如，校正量计算部441也可以利用网罗地使候选值摆动而搜索最小值的方法、公知的登山方法以及局部搜索法等。
(实施方式4)
接下来，对本发明的实施方式4进行说明。本实施方式4的摄像系统具有与上述的实施方式3的摄像系统1相同的结构，但图像处理装置所执行的各颜色成分的校正量计算处理不同。具体而言，在本实施方式4中，一并计算所有颜色成分的估计值。以下，对本实施方式4的图像处理装置所执行的各颜色成分的校正量计算处理进行说明。另外，对与上述的实施方式3的摄像系统1相同的结构标注相同的标号而省略说明。
(各颜色成分的校正量计算处理的概要)
图20是示出本实施方式4的图像处理装置40所执行的各颜色成分的校正量计算处理的概要的流程图。
如图20所示，首先，校正量计算部441执行将自身颜色成分和不同颜色成分全部包含在内而计算各颜色成分的估计值的在各颜色成分中基于相似度的各颜色成分估计值计算处理(步骤S401)。
(在各颜色成分中基于相似度的各颜色成分估计值计算处理)
图21是示出在各颜色成分中基于相似度的各颜色成分估计值计算处理的概要的流程图。
如图21所示，校正量计算部441计算关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的各颜色成分的校正系数的平均值AveCoefR、平均值AveCoefG以及平均值AveCoefB(步骤S411)。
接着，校正量计算部441计算关注像素(x，y)周边的关注像素(x，y)的像素值的平均值AvePix(步骤S412)。在这种情况下，校正量计算部441期望根据参照像素的像素值来计算像素值的平均值AvePix。
然后，校正量计算部441将候选值EstR、候选值EstG以及候选值EstB初始化(EstR＝EstG＝EstB＝0)(步骤S413)，将候选值EstR’、候选值EstG’以及候选值EstB’初始化(EstR’＝EstG’＝EstB’＝0)(步骤S414)。
接着，校正量计算部441将相似度Sim初始化(Sim＝MAX)(步骤S415)，将候选值EstG’初始化(EstG’＝0)(步骤S416)，并且将候选值EstB’初始化(EstB’＝0)(步骤S417)。
然后，校正量计算部441执行候选值EstR’、EstG’、EstB’处的相似度Sim’计算处理，该相似度Sim’计算处理计算候选值EstR’、候选值EstG’以及候选值EstB’处的相似度Sim’(步骤S418)。
(候选值EstR’、EstG’、EstB’的相似度Sim’计算处理)
图22是示出图21的步骤S418中的候选值EstR’、EstG’、EstB’处的相似度Sim’计算处理的概要的流程图。
如图22所示，首先，校正量计算部441从第二缓冲器部422获取关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素和各颜色成分校正系数(步骤S431)。具体而言，校正量计算部441从第二缓冲器部422获取参照像素的像素值和校正系数。
接着，校正量计算部441计算各像素的理论值Ideal(步骤S432)。具体而言，校正量计算部441针对参照像素(x+Δx，y+Δy)，计算对各颜色成分校正系数CoefR(x+Δx，y+Δy)、CoefG(x+Δx，y+Δy)以及CoefB(x+Δx，y+Δy)与在上述的图21的步骤S411中计算出的各颜色成分校正系数的平均值AveCoefR、AveCoefG以及AveCoefB的差乘以输入的各颜色成分候选值EstR’、EstG’、EstB’而得的值的和，作为理论值Ideal(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(12)而按每个像素计算理论值Ideal(x+Δx，y+Δy)。
Ideal(x+Δx，y+Δy)＝(CoefR(x+Δx，y+Δy)-AveCoefR)×EstR’+(CoefG(x+Δx，y+Δy)-AveCoefG)×EstG’+(CoefB(x+Δx，y+Δy)-AveCoefB)×EstB’
···(12)
然后，校正量计算部441计算各像素的实测值Val(步骤S433)。具体而言，校正量计算部441针对参照像素(x+Δx，y+Δy)，计算像素值Pix(x+Δx，y+Δy)与在上述的图21的步骤S412中计算出的像素值的平均值AvePix的差，作为实测Val(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(13)而按每个像素计算实测Val(x+Δx，y+Δy)。
Val(x+Δx，y+Δy)＝Pix(x+Δx，y+Δy)-AvePix
···(13)
接着，校正量计算部441计算各像素的理论值Ideal与实测值Val的差分绝对值Diff(步骤S434)。具体而言，校正量计算部441计算参照像素(x+Δx，y+Δy)的理论值Ideal(x+Δx，y+Δy)与实测值Val(x+Δx，y+Δy)的差分绝对值Diff(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(14)而按每个像素计算差分绝对值Diff(x+Δx，y+Δy)。
Diff(x+Δx，y+Δy)＝|Val(x+Δx，y+Δy)-Ideal(x+Δx，y+Δy)|
···(14)
另外，也可以代替差分绝对值Diff(x+Δx，y+Δy)，校正量计算部441将式(15)那样的差分平方值作为Diff(x+Δx，y+Δy)。
Diff(x+Δx，y+Δy)＝
(Val(x+Δx，y+Δy)-Ideal(x+Δx，y+Δy))2
···(15)
然后，校正量计算部441计算差分绝对值Diff的总和值作为相似度Sim’(步骤S435)。具体而言，校正量计算部441计算所有参照像素的差分绝对值的总和值作为相似度Sim’。另外，校正量计算部441也可以计算加权后的总和作为相似度Sim’。在这种情况下，校正量计算部441也可以根据各像素距关注像素(x，y)的距离来变更加权的系数。在步骤S435之后，图像处理装置40返回到图21的在各颜色成分中基于相似度的各颜色成分估计值计算处理。
这样，校正量计算部441在候选值EstR’、EstG’、EstB’处的相似度Sim’计算处理中，将像素值的分布和理论值的分布的相似度程度取为差分绝对值或差分平方值的总和作为评价值，但也可以利用其他方法来计算该评价值。例如，校正量计算部441也可以使用NCC(Normalized Cross-Correlation：归一化互相关)和ZNCC(Zero-mean Normalized Cross-Correlation：零均值归一化互相关)等来计算评价值。
返回到图21，继续步骤S419以后的说明。
在步骤S419中，在Sim’＜Sim的情况下(步骤S419：“是”)，校正量计算部441更新候选值EstR、EstG、EstB(EstR＝EstR’，EstG＝EstG’，EstB＝EstB’)(步骤S420)。在步骤S420之后，图像处理装置40转移到步骤S421。
在步骤S419中，在不为Sim’＜Sim的情况下(步骤S419：“否”)，图像处理装置40转移到步骤S421。
接着，校正量计算部441将候选值EstB’递增(步骤S421)。在这种情况下，校正量计算部441使递增的值为1以上。
然后，在候选值EstB’≤EstBMax(EstBMax为预先设定的B的候选值搜索范围的最大值)的情况下(步骤S422：“是”)，图像处理装置40返回到上述的步骤S418。与此相对，在不为候选值EstB’≤EstBMax的情况下(步骤S422：“否”)，图像处理装置40转移到步骤S423。
在步骤S423中，校正量计算部441将候选值EstG’递增。在这种情况下，校正量计算部441使递增的值为1以上。
接着，在候选值EstG’≤EstGMax(EstGMax为预先设定的G的候选值搜索范围的最大值)的情况下(步骤S424：“是”)，图像处理装置40返回到上述的步骤S417。与此相对，在不为候选值EstB’≤EstGMax的情况下(步骤S424：“否”)，图像处理装置40转移到步骤S425。
在步骤S425中，校正量计算部441将候选值EstR’递增。在这种情况下，校正量计算部441使递增的值为1以上。
接着，在候选值EstR’≤EstRMax(EstRMax为预先设定的R的候选值搜索范围的最大值)的情况下(步骤S426：“是”)，图像处理装置40返回到上述的步骤S416。与此相对，在不为候选值EstR’≤EstRMax的情况下(步骤S426：“否”)，图像处理装置40转移到步骤S427。
在步骤S427中，校正量计算部441计算候选值EstR、EstG、EstB作为各颜色成分估计值。在步骤S427之后，返回到图20的各颜色成分的校正量计算处理。
返回到图20，继续步骤S402以后的说明。
在步骤S402中，校正量计算部441通过对在上述的步骤S401中计算出的各颜色成分的估计值、关注像素(x，y)的颜色成分的估计值乘以校正系数，来计算针对关注像素(x，y)的像素值的各颜色成分的校正量。在步骤S402之后，图像处理装置40返回到图17的各颜色成分的校正量计算处理。
根据以上说明的本发明的实施方式4，由于校正量计算部441一并计算所有颜色成分的估计值，因此即使是拍摄呈R成分、G成分以及B成分混合的颜色的被摄体而得的图像数据，也能够计算出估计值。
另外，在本发明的实施方式4中，校正量计算部441也可以利用其他方法来搜索相似度取最小值的估计值。例如，校正量计算部441也可以利用网罗地使候选值摆动而搜索最小值的方法、公知的登山方法以及局部搜索法等。
(实施方式5)
接下来，对本发明的实施方式5进行说明。本实施方式5的摄像系统具有与上述的实施方式3的摄像系统1相同的结构，但图像处理装置所执行的各颜色成分的校正量计算处理不同。具体而言，在本实施方式5中，通过求解按每个像素建立周边像素的像素值、参照像素的校正系数以及估计值的关系式而成的联立方程式，来计算估计值。以下，对本实施方式5的图像处理装置所执行的各颜色成分的校正量计算处理进行说明。另外，对与上述的实施方式3的摄像系统1相同的结构标注相同的标号而省略说明。
(各颜色成分的校正量计算处理的概要)
图23是示出本实施方式5的图像处理装置40所执行的各颜色成分的校正量计算处理的概要的流程图。
如图23所示，首先，校正量计算部441执行与关注像素(x，y)相同的颜色成分中基于平均的计算估计值的处理(步骤S441)。
接着，校正量计算部441执行通过联立方程式来计算不同颜色成分的估计值的基于联立方程式的不同颜色成分估计值计算处理(步骤S442)。
(基于联立方程式的不同颜色成分估计值计算处理)
图24是示出图23的步骤S422的基于联立方程式的不同颜色成分估计值计算处理的概要的流程图。
如图24所示，首先，校正量计算部441计算关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的不同颜色成分校正系数的平均值AveCoefC1和平均值AveCoefC2(步骤S451)。
接着，校正量计算部441计算关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的像素值的平均值AvePix(步骤S452)。在这种情况下，校正量计算部441期望根据参照像素的像素值来计算像素值的平均值AvePix。此时，校正量计算部441除了平均值以外也可以计算统计值。例如，校正量计算部441也可以计算加权平均值和中值等。
然后，校正量计算部441计算各像素的校正系数相对于平均值的差ΔCoefC1、ΔCoefC2(步骤S453)。具体而言，校正量计算部441按每个像素计算参照像素(x+Δx，y+Δy)的C1成分的校正系数CoefC1(x+Δx，y+Δy)和C2成分的校正系数CoefC2(x+Δx，y+Δy)与在上述的步骤S451中计算出的C1、C2成分的校正系数的平均值AveCoefC1、AveCoefC2的差ΔCoefC1(x+Δx，y+Δy)、ΔCoefC2(x+Δx，y+Δy)。具体而言，校正量计算部441通过下面的式(16)和式(17)而按每个像素计算各像素的校正系数相对于平均值的差ΔCoefC1(x+Δx，y+Δy)、ΔCoefC2(x+Δx，y+Δy)。
ΔCoefC1(x+Δx，y+Δy)＝CoefC1(x+Δx，y+Δy)-AveCoefC1
···(16)
ΔCoefC2(x+Δx，y+Δy)＝CoefC2(x+Δx，y+Δy)-AveCoefC2
···(17)
接着，校正量计算部441计算各像素的像素值相对于平均值的差ΔVal(步骤S454)。具体而言，校正量计算部441按每个像素计算参照像素(x+Δx，y+Δy)的像素值Pix(x+Δx，y+Δy)与在上述的步骤S452中计算出的像素值的平均值AvePix的差ΔVal(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(18)而计算差ΔVal(x+Δx，y+Δy)。
ΔVal(x+Δx，y+Δy)＝Pix(x+Δx，y+Δy)-AvePix
···(18)
然后，校正量计算部441根据联立方程式来计算候选值EstC1’、EstC2’(步骤S455)。具体而言，校正量计算部441从参照像素中提取两个像素(x+Δx1，y+Δy1)、像素(x+Δx2，y+Δy2)，并针对提取出的像素通过求解下面的联立方程式(19)、(20)来计算候选值EstC1’、EstC2’。
ΔVal(x+Δx1，y+Δy1)＝ΔCoefC1(x+Δx1，y+Δy1)×EstC1’+ΔCoefC2(x+Δx1，y+Δy1)×EstC2’
···(19)
ΔVa2(x+Δx2，y+Δy2)＝ΔCoefC1(x+Δx2，y+Δy2)×EstC1’+ΔCoefC2(x+Δx2，y+Δy2)×EstC2’
···(20)
校正量计算部441针对利用以下的方法而提取的两个像素执行上述的计算，从而计算出各自的候选值EstC1’、EstC2’。具体而言，校正量计算部441针对从参照像素取两个像素的所有的组合执行上述的计算。
另外，校正量计算部441也可以针对从作为代表的参照像素中取两个像素的所有的组合执行上述的计算。例如，校正量计算部441将从校正系数的绝对值较大的一方到第k个为止的像素作为代表。在这种情况下，校正量计算部441在选择校正系数的绝对值较小的k个时和选择校正系数的绝对值较大的k个时，校正系数的绝对值越大则k个误差的比例越小，因此提高了得到的估计值的精度。
并且，校正量计算部441也可以针对从校正系数的值相似的像素中取两个像素的所有的组合执行上述的计算。
在步骤S456中，校正量计算部441使用在步骤S455中计算出的多个候选值EstC1’、EstC2’，计算它们的平均值作为估计值EstC1、EstC2。另外，校正量计算部441除了平均值以外也可以计算通过加权平均值或中值等其他统计值而计算出的值作为估计值EstC1、EstC2。另外，校正量计算部441也可以将计算候选值的平均值而得到的值计算为估计值Est，所述候选值是对校正系数的数相似的两个像素进行计算而得到的。由此，能够降低随机噪声对像素值的偏差的影响。
返回到图23，继续步骤S443以后的说明。
在步骤S443中，校正量计算部441通过对在上述的步骤S442中计算出的各颜色成分的估计值、关注像素(x，y)的各颜色成分的估计值乘以校正系数，来计算针对关注像素(x，y)的像素值的各颜色成分的校正量。在步骤S443之后，图像处理装置40返回到图17的各颜色成分的校正量计算处理。
根据以上说明的本发明的实施方式5，校正量计算部441能够通过求解按每个像素建立周边同色像素的像素值、周边同色像素的校正系数以及估计值的关系式而成的联立方程式，来计算估计值。
另外，在本发明的实施方式5中，通过求解两个成分的联立方程式来计算估计值，但也可以通过求解R成分、G成分以及B成分这三个成分的联立方程式来计算估计值。
(实施方式6)
接下来，对本发明的实施方式6进行说明。本实施方式6的摄像系统具有与上述的实施方式3的摄像系统1相同的结构，但图像处理装置所执行的各颜色成分的校正量计算处理不同。以下，对本实施方式6的图像处理装置所执行的各颜色成分的校正量计算处理进行说明。
(各颜色成分的校正量计算处理)
图25是示出本实施方式6的图像处理装置40所执行的各颜色成分的校正量计算处理的概要的流程图。在图25中，步骤S461、步骤S463与上述的图23的步骤S441和步骤S443分别对应。
在步骤S462中，校正量计算部441执行基于像素值与校正系数的比的不同颜色成分估计值计算处理。
(基于像素值与校正系数的比的不同颜色成分估计值计算处理)
图26是示出在图25的步骤S462中进行了说明的基于像素值与校正系数的比的不同颜色成分估计值计算处理的概要的流程图。
如图26所示，首先，校正量计算部441计算关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的不同颜色成分校正系数的平均值AveCoefC1和平均值AveCoefC2(步骤S471)。
接着，校正量计算部441计算关注像素(x，y)周边的与关注像素(x，y)相同颜色的像素的像素值的平均值AvePix(步骤S472)。在这种情况下，校正量计算部441期望根据参照像素的像素值来计算像素值的平均值AvePix。此时，校正量计算部441除了平均值以外也可以计算统计值。例如，校正量计算部441也可以计算加权平均值和中值等。
然后，校正量计算部441计算各像素的校正系数相对于平均值的差ΔCoefC1、ΔCoefC2(步骤S473)。具体而言，校正量计算部441按每个像素计算参照像素(x+Δx，y+Δy)的C1成分的校正系数CoefC1(x+Δx，y+Δy)和C2成分的校正系数CoefC2(x+Δx，y+Δy)与在步骤S471中计算出的不同颜色成分校正系数的平均值AveCoefC1和AveCoefC2的差ΔCoefC1、ΔCoefC2。更具体而言，校正量计算部441通过下面的式(21)和(22)而按每个像素计算ΔCoefC1、ΔCoefC2。
ΔCoefC1(x+Δx，y+Δy)＝CoefC1(x+Δx，y+Δy)-AveCoefC1
···(21)
ΔCoefC2(x+Δx，y+Δy)＝CoefC2(x+Δx，y+Δy)-AveCoefC2
···(22)
接着，校正量计算部441计算各像素的像素值相对于平均值的差ΔVal(步骤S474)。具体而言，校正量计算部441按每个像素计算参照像素(x+Δx，y+Δy)的像素值Pix(x+Δx，y+Δy)与在上述的步骤S472中计算出的像素值的平均值AvePix的差ΔVal(x+Δx，y+Δy)。更具体而言，校正量计算部441通过下面的式(23)来计算ΔVal(x+Δx，y+Δy)。
ΔVal(x+Δx，y+Δy)＝Pix(x+Δx，y+Δy)-AvePix
···(23)
然后，校正量计算部441计算关注像素(x，y)附近与C1、C2相同颜色的像素的像素值的比ValC2/ValC1(步骤S475)。具体而言，校正量计算部441将位于关注像素(x，y)附近的与C1成分、C2成分相同颜色的像素的像素值设为ValC1、ValC2，计算它们的比ValC2/ValC1。另外，校正量计算部441也可以将以关注像素(x，y)为中心位于M×N像素的范围内的与C1、C2相同颜色的像素的像素值平均值设为ValC1、ValC2。另外，在位于附近的像素饱和的情况下，校正量计算部441也可以在能够计算C1与C2的像素值的比的最接近关注像素的像素的区域中计算像素值ValC1、ValC2。
图27是示意性地示出关注像素(x，y)附近的不同颜色像素饱和的情况下的比Ratio的计算区域的图。在图27中，横轴表示x坐标，纵轴表示像素值。另外，在图27中，曲线L10表示R像素的像素值，曲线L11表示B像素的像素值。并且，在图27中示出斜线区域W1饱和的区域。
如图27所示，在斜线区域W1中，由于像素C1和像素C2均饱和，因此无法正确地计算出比ValC2/ValC1。因此，校正量计算部441在能够计算C1与C2的像素值的比的最接近关注像素的像素的区域中计算像素值ValC1、ValC2、。
返回到图26，继续步骤S476以后的说明。
在步骤S476中，校正量计算部441计算各像素的C1成分的候选值EstC1’。具体而言，校正量计算部441通过下面的式(24)而按每个像素计算候选值EstC1’。
另外，校正量计算部441在上式的分母为0的情况下，使EstC1’(x+Δx，y+Δy)＝0、或者将该像素(x+Δx，y+Δy)的处理排除。在将像素的处理排除时，校正量计算部441在接下来的平均值计算处理中也同样地将该像素排除而进行计算。
然后，校正量计算部441计算候选值EstC1’的平均值作为估计值EstC1(步骤S477)。具体而言，校正量计算部441将在上述的步骤S476中计算出的所有像素的候选值EstC1’的平均值计算为估计值EstC1。在这种情况下，校正量计算部441除了简单的平均值以外也可以计算通过加权平均值或中值等其他统计值而求出的值作为估计值EstC1。另外，校正量计算部441在进行步骤S477的处理之前，将EstC1初始化为0。
接着，校正量计算部441计算估计值EstC2(步骤S478)。具体而言，校正量计算部441使用在上述的步骤S477中计算出的估计值EstC1和在步骤S475中计算出的比ValC2/ValC1来计算估计值EstC2。更具体而言，校正量计算部441通过下面的式(25)来计算估计值EstC2。
EstC2＝EstC1×(ValC2/ValC1)···(25)
在步骤S478之后，图像处理装置40返回到图25的各颜色成分的校正量计算处理。
根据以上说明的本发明的实施方式6，能够根据像素值未饱和的周边像素中的各像素的像素值和周边同色像素中的各像素的校正系数的比来计算估计值。
另外，在本发明的实施方式6中，根据像素值未饱和的周边像素中的各像素的像素值和周边同色像素中的各像素的校正系数的比来计算估计值，但是，例如在上述的实施方式1、3等中也可以利用该方法来搜索相似度的最小值。
(其他实施方式)
本发明的实施方式的滤色器是由R滤镜、G滤镜以及B滤镜构成的拜耳排列的滤色器，但即使是其他滤色器也能够应用本发明。例如，在本发明中，也可以代替上述的实施方式的滤色器的R滤镜，而采用由补色的Mg(品红色)滤镜、G滤镜以及B滤镜构成的滤色器。另外，在本发明中，也可以是使用了Cy(青色)滤镜、Mg滤镜以及Ye(黄色)滤镜的补色滤镜的滤色器。在使用了这样的滤色器的情况下，只要通过利用公知的补色插值为原色的插值方法来进行即可。
另外，在本发明的实施方式中，在一个摄像元件上设置具有相互不同的分光透射率的多个滤色器，但是，即使是双板式、或三板式的摄像装置也能够应用本发明，所述双板式的摄像装置例如使用仅将透射绿色波长区域的G滤镜设置在各像素的受光面或者摄像元件的整个面上而得的摄像元件、和使透射红色或蓝色波长区域的R滤镜和B滤镜以形成为方格图案的方式交错地设置在各像素的受光面上而得的摄像元件，所述三板式的摄像装置使用分别仅设置R滤镜、G滤镜、B滤镜而得的摄像元件。在这种情况下，在计算出一方的摄像元件中的G像素的校正系数的情况下，能够通过使用与该G像素的坐标对应的另一方的摄像元件的R像素或B像素的像素值来计算本发明的校正量。
本发明并不限定于上述的实施方式，当然可以在本发明的主旨的范围内进行各种变形和应用。例如，除了在本发明的说明中使用的摄像系统以外，也可以将本发明的图像处理装置作为图像处理引擎，而搭载于手机或智能手机中的具有摄像元件的便携设备、摄像机、内窥镜、监视照相机、显微镜那样的通过光学设备来拍摄被摄体的摄像装置等能够拍摄被摄体的任何设备。
另外，在本说明书中，在上述的各动作流程图的说明中，为了方便，使用“首先”、“接下来”、“接着”、“然后”等对动作进行说明，但并不意味着必须按该顺序实施动作。
另外，上述的实施方式中的图像处理装置的各处理的方法即各流程图所示的处理均可以事先作为能够由CPU等控制部执行的程序而存储。此外，可以保存在存储卡(ROM卡、RAM卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中而进行分发。而且，CPU等控制部读取存储在该外部存储装置的存储介质中的程序，并通过该读取的程序来控制动作，从而能够执行上述的处理。
另外，本发明并不限定于上述实施方式及其变形例本身，可以在实施阶段中在不脱离发明的主旨的范围内对构成要素进行变形来具体化。另外，通过对上述实施方式所公开的多个构成要素进行适当组合，可以形成各种发明。例如，可以从上述实施方式和变形例所记载的所有构成要素中删除几个构成要素。并且，可以对在各实施例和变形例中说明的构成要素进行适当组合。
另外，在说明书或附图中，至少一次与更广义或同义的不同术语一起被记载的术语在说明书或附图的任何位置都能置换为该不同的术语。这样，可以在不脱离发明的主旨的范围内进行各种变形和应用。
标号说明
1：摄像系统；10：摄像装置；40：图像处理装置；41：第二外部接口部；42：第二记录部；43、114：总线；44：分光灵敏度偏差校正部；45：图像处理部；50：显示装置；101：光学系统；102：光圈；103：快门；104：驱动器；105：摄像元件；106：滤色器；107：模拟处理部；108：A/D转换部；109：第一操作部；110：存储器接口部；111：记录介质；112：易失性存储器；113：非易失性存储器；113a：程序记录部；113b：校正系数记录部；115：摄像控制部；116：第一外部接口部；421：第二程序记录部；422：第二缓冲器部；441：校正量计算部；442：像素值校正部。

Claims (13)

1.一种图像处理装置，其特征在于，其具有：
获取部，其获取摄像元件所生成的图像数据，并且从记录部获取校正系数，该摄像元件使用具有相互不同的分光透射率的多种颜色的滤色器来形成规定的排列图案，并且各个滤色器被配置在与多个像素中的任意像素对应的位置上，该记录部按每个像素记录所述校正系数，该校正系数用于校正关注像素处的与分光灵敏度和预先设定的基准分光灵敏度在规定波长区域中的差对应的像素值差分；
校正量计算部，其使用周边同色像素中的各像素的像素值和所述校正系数来计算所述关注像素处的校正对象颜色成分的估计值，并根据该估计值和所述关注像素的所述校正系数来计算所述关注像素的像素值的校正量，其中所述周边同色像素是所述关注像素的周边的像素，配置有颜色与配置于所述关注像素的滤色器的颜色相同的滤色器；以及
像素值校正部，其根据所述校正量计算部所计算出的所述校正量来校正所述关注像素的像素值。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述校正量计算部根据所述周边同色像素的像素值的理论值和所述周边同色像素的像素值的实测值来计算相似度，并将相似度高的候选值计算为所述估计值，其中，所述周边同色像素的像素值的理论值是基于所述候选值和所述周边同色像素中的各像素的所述校正系数而计算出的。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述理论值是所述候选值与所述周边同色像素中的各像素的所述校正系数之积。
4.根据权利要求2或3所述的图像处理装置，其特征在于，
所述相似度是基于所述周边同色像素中的各像素的所述理论值与所述实测值之差的值。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述校正量计算部将所述周边同色像素中的各像素的像素值除以所述校正系数，并根据该相除后的值来计算所述估计值。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述校正量计算部计算所述周边同色像素中的各像素的像素值除以所述校正系数而得到的值的统计值作为所述估计值。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述校正量计算部在所述周边同色像素中，通过求解按每个像素建立所述周边同色像素的像素值、所述校正系数以及所述估计值之间的关系式而成的联立方程式，来计算所述估计值。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述校正量计算部计算分别对所述周边同色像素中的多个像素进行组合而计算出的所述估计值的统计值，作为所述估计值。
9.根据权利要求1所述的图像处理装置，其特征在于，
所述校正量计算部根据在所述关注像素的周围，像素值未饱和的周边像素中的各像素的像素值与所述周边同色像素中的各像素的所述校正系数之比，来计算所述估计值。
10.根据权利要求1至9中的任意一项所述的图像处理装置，其特征在于，
所述像素值校正部使用所述校正量来校正所述关注像素的像素值，使得所述关注像素的校正后的像素值进入从所述周边同色像素中的各像素的像素值的平均值到所述关注像素的像素值的范围。
11.根据权利要求1至10中的任意一项所述的图像处理装置，其特征在于，
所述像素值校正部在所述关注像素的像素值减去所述校正量后的值与所述周边同色像素的像素值的平均值之差比规定值大的情况下，不从所述关注像素的像素值减去所述校正量。
12.一种图像处理方法，其特征在于，其包含如下步骤：
获取步骤，获取摄像元件所生成的图像数据，并且从记录部获取校正系数，该摄像元件使用具有相互不同的分光透射率的多种颜色的滤色器来形成规定的排列图案，并且各个滤色器被配置在与多个像素中的任意像素对应的位置上，该记录部按每个像素记录所述校正系数，该校正系数用于校正关注像素处的与分光灵敏度和预先设定的基准分光灵敏度在规定波长区域中的差对应的像素值差分；
计算步骤，使用周边同色像素中的各像素的像素值和所述校正系数，来计算所述关注像素处的校正对象颜色成分的估计值，其中所述周边同色像素是所述关注像素周边的像素，配置有颜色与配置于所述关注像素的滤色器的颜色相同的滤色器；
校正量计算步骤，根据在所述计算步骤中计算出的所述估计值和所述关注像素的所述校正系数，来计算所述关注像素的像素值的校正量；以及
像素值校正步骤，根据在所述校正量计算步骤中计算出的所述校正量来校正所述关注像素的像素值。
13.一种程序，其特征在于，其使图像处理装置执行如下步骤：
获取步骤，获取摄像元件所生成的图像数据，并且从记录部获取校正系数，该摄像元件使用具有相互不同的分光透射率的多种颜色的滤色器来形成规定的排列图案，并且各个滤色器被配置在与多个像素中的任意像素对应的位置上，该记录部按每个像素记录所述校正系数，该校正系数用于校正关注像素处的与分光灵敏度和预先设定的基准分光灵敏度在规定波长区域中的差对应的像素值差分；
计算步骤，使用周边同色像素中的各像素的像素值和所述校正系数，来计算所述关注像素处的校正对象颜色成分的估计值，其中所述周边同色像素是所述关注像素的周边的像素，配置有颜色与配置于所述关注像素的滤色器的颜色相同的滤色器；
校正量计算步骤，根据在所述计算步骤中计算出的所述估计值和所述关注像素的所述校正系数，来计算所述关注像素的像素值的校正量；以及
像素值校正步骤，根据在所述校正量计算步骤中计算出的所述校正量来校正所述关注像素的像素值。
CN201580083713.1A 2015-10-22 2015-10-22 图像处理装置、图像处理方法以及程序 Pending CN108141573A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079896 WO2017068702A1 (ja) 2015-10-22 2015-10-22 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN108141573A true CN108141573A (zh) 2018-06-08

Family

ID=58556766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580083713.1A Pending CN108141573A (zh) 2015-10-22 2015-10-22 图像处理装置、图像处理方法以及程序

Country Status (5)

Country Link
US (1) US10531029B2 (zh)
EP (1) EP3367679A4 (zh)
JP (1) JP6670844B2 (zh)
CN (1) CN108141573A (zh)
WO (1) WO2017068702A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019069414A1 (ja) * 2017-10-04 2019-04-11 オリンパス株式会社 内視鏡装置、画像処理方法およびプログラム
JP7308609B2 (ja) * 2018-11-27 2023-07-14 キヤノン株式会社 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010193378A (ja) * 2009-02-20 2010-09-02 Nikon Corp 調整装置及び調整方法、並びに撮像装置
CN102907103A (zh) * 2010-06-02 2013-01-30 索尼公司 图像处理设备、图像处理方法和程序
CN103297718A (zh) * 2012-03-01 2013-09-11 索尼公司 缺陷像素校正设备及其控制方法和执行该方法的程序

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3587433B2 (ja) * 1998-09-08 2004-11-10 シャープ株式会社 固体撮像素子の画素欠陥検出装置
TW200632856A (en) * 2005-03-09 2006-09-16 Sunplus Technology Co Ltd System and method for color signal interpolation
JP4660694B2 (ja) 2005-06-28 2011-03-30 コニカミノルタセンシング株式会社 分光装置の波長校正方法及び分光装置
JP4754939B2 (ja) * 2005-11-01 2011-08-24 オリンパス株式会社 画像処理装置
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
JP2010190741A (ja) * 2009-02-18 2010-09-02 Nikon Corp 測定装置、測定方法および撮像装置
JP5464982B2 (ja) * 2009-11-20 2014-04-09 キヤノン株式会社 撮像装置および画像処理方法
US9160937B2 (en) * 2011-08-30 2015-10-13 Sharp Kabushika Kaisha Signal processing apparatus and signal processing method, solid-state imaging apparatus, electronic information device, signal processing program, and computer readable storage medium
JP2015070348A (ja) * 2013-09-27 2015-04-13 池上通信機株式会社 色むら補正方法及び色むら補正処理部を有した撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010193378A (ja) * 2009-02-20 2010-09-02 Nikon Corp 調整装置及び調整方法、並びに撮像装置
CN102907103A (zh) * 2010-06-02 2013-01-30 索尼公司 图像处理设备、图像处理方法和程序
CN103297718A (zh) * 2012-03-01 2013-09-11 索尼公司 缺陷像素校正设备及其控制方法和执行该方法的程序

Also Published As

Publication number Publication date
JPWO2017068702A1 (ja) 2018-08-09
US10531029B2 (en) 2020-01-07
EP3367679A1 (en) 2018-08-29
WO2017068702A1 (ja) 2017-04-27
JP6670844B2 (ja) 2020-03-25
US20180234650A1 (en) 2018-08-16
EP3367679A4 (en) 2019-06-05

Similar Documents

Publication Publication Date Title
CN102742279B (zh) 滤色器阵列图像的迭代去噪
CN102547116B (zh) 焦点检测设备及其控制方法
CN102484721B (zh) 四通道滤色片阵列图案
CN103430551B (zh) 使用具有纵色像差的透镜单元的成像系统及其操作方法
CN105284103B (zh) 电子传感器和用于控制电子传感器的方法
CN102461174B (zh) 具有四个通道的滤色器阵列图案
RU2397542C2 (ru) Способ и устройство для создания изображений с высоким динамическим диапазоном из множественных экспозиций
CN108476309A (zh) 图像处理装置、图像处理方法以及程序
CN104424626B (zh) 校正图像色偏的方法与相关装置
JP5406151B2 (ja) ３次元撮像装置
CN101204083A (zh) 利用颜色数字图像对动作如锐度修改进行控制的方法
CN102131040A (zh) 自适应镜头黑点校正
CN102461175A (zh) 用于四通道彩色滤光片阵列的内插
CN107409201A (zh) 图像处理装置、图像处理方法和程序
CN113676639B (zh) 图像处理方法、处理装置、电子设备及介质
CN105009563A (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN107409200A (zh) 图像处理装置、图像处理方法和程序
CN104025577A (zh) 图像处理装置、方法以及摄像装置
CN113628135A (zh) 图像颜色校正方法、装置、计算机装置及存储介质
CN105122787B (zh) 摄像装置、校准系统、校准方法
CN108141573A (zh) 图像处理装置、图像处理方法以及程序
Cao et al. Information capacity: a measure of potential image quality of a digital camera
JP2015087543A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
CN104780322B (zh) 摄像装置、摄像方法、图像处理装置
CN105359517B (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180608

WD01 Invention patent application deemed withdrawn after publication