CN100559826C - 图像处理设备及其方法 - Google Patents
图像处理设备及其方法 Download PDFInfo
- Publication number
- CN100559826C CN100559826C CNB2005800328462A CN200580032846A CN100559826C CN 100559826 C CN100559826 C CN 100559826C CN B2005800328462 A CNB2005800328462 A CN B2005800328462A CN 200580032846 A CN200580032846 A CN 200580032846A CN 100559826 C CN100559826 C CN 100559826C
- Authority
- CN
- China
- Prior art keywords
- object type
- certainty factor
- type
- value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 95
- 238000000034 method Methods 0.000 title description 20
- 238000012937 correction Methods 0.000 claims abstract description 209
- 230000000875 corresponding effect Effects 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 32
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 3
- 230000001915 proofreading effect Effects 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 description 94
- 238000001514 detection method Methods 0.000 description 65
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 57
- 230000015654 memory Effects 0.000 description 32
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 21
- 229910052721 tungsten Inorganic materials 0.000 description 21
- 239000010937 tungsten Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 230000004044 response Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 230000004043 responsiveness Effects 0.000 description 13
- 238000011282 treatment Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000009825 accumulation Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 239000004744 fabric Substances 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004321 preservation Methods 0.000 description 4
- 238000000611 regression analysis Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 108010014172 Factor V Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
- H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
一种确信度计算电路,计算对包含在由所接受的图像数据表示的图像中的各个图像的置信度程度进行表示的确信度,所述各个图像表示预定的多个对象类型,根据从所接受的图像数据获得的特征值,对每个规定对象类型执行所述计算。浓度校正值计算电路计算与多个对象类型的各个类型有关的浓度校正值。在浓度校正值统一电路中,用基于所计算的每个对象类型的确信度的各个权重进行加权,从而统一多个浓度校正值。在图像校正电路中,使用统一浓度校正值,对由所接受的图像数据表示的图像浓度进行校正。
Description
技术领域
本发明涉及一种图像处理设备及其方法、以及图像处理程序。
背景技术
日本专利申请公开No.2002-218480中描述了一种具有图像数据处理器24的数字静态摄像机,其中图像数据处理器24包括场景确定单元31。场景确定单元31根据颜色直方图和图像是否包含代表人物的图像,确定图像是处于快照、肖像、纪念摄影、风景、日落、夜景、夜景肖像、海景、荧光灯光源下的场景摄影还是钨丝灯光源下的场景摄影的拍摄场景。当确定了已拍摄图像的场景时,根据确定的拍摄场景,对图像进行针对每种拍摄场景而设定的校正处理。
然而,实际的图像也包括对其所属的预设拍摄场景无法清楚判别的图像。例如,在日本专利申请公开No.2002-218480中,将包括以日落场景为背景的人物的图像(快照)确定为“日落场景”或“快照”。在图像具有两种场景特征的情况下,当将图像判定为一种场景或另一种时,可能会不利地影响最终校正结果。
发明内容
本发明的目的是即使对于包含多种对象类型(拍摄场景)的图像也可以适当地应用图像校正。
本发明的另一目的是可以根据确信在待处理的图像中包含的对象类型在图像中存在的程度(似然、确信度(certainty)、置信度(confidence)、程度),应用图像校正。
本发明的另一目的是可以根据拍摄时使用的、基于待处理图像而检测的光照类型的似然(确信度、置信度、程度),应用图像校正。
根据本发明的图像处理设备的特征在于,包括:对象类型确信度计算装置,用于计算对包含在由所应用的图像数据表示的图像中的各个图像的置信度程度进行表示的确信度,所述各个图像表示预定的多个对象类型,根据从图像数据获得的特征值,对每个规定对象类型执行所述计算;对象类型校正值计算装置,用于根据图像数据计算与多个对象类型的各个类型有关的校正值;校正值统一装置,用于计算通过用与对象类型确信度计算装置所计算的关于多个对象类型的各个类型的对象类型确信度相符合的权重,对由对象类型校正值计算装置已计算的关于对应对象类型的对象类型校正值的每一个进行加权而获得的统一校正值,并统一由加权而获得的对象类型值;以及图像数据校正装置,用于使用校正值统一装置计算的统一校正值,对图像数据进行校正。
根据本发明的图像处理方法的特征在于,包括:计算对包含在由所应用的图像数据表示的图像中的各个图像的置信度程度进行表示的确信度,所述各个图像表示预定的多个对象类型,根据从图像数据获得的特征值,对每个规定对象类型执行所述计算;根据图像数据计算与多个对象类型的各个类型有关的校正值;计算通过用与关于多个对象类型的各个类型的对象类型确信度相符合的权重,对关于对应对象类型而计算的对象类型校正值的每一个进行加权而获得的统一校正值,并统一由加权而获得的对象类型值;以及使用所计算的统一校正值,对图像数据进行校正。
本发明还提供了一种使计算机执行上述图像处理方法的程序(使计算机执行如上所述的图像处理设备的功能的程序)。根据本发明的程序使计算机执行:对象类型确信度计算处理,用于计算对包含在由所应用的图像数据表示的图像中的各个图像的置信度程度进行表示的确信度,所述各个图像表示预定的多个对象类型,根据从所接受的图像数据获得的特征值,对每个规定对象类型执行所述计算;对象类型校正值计算处理,用于根据图像数据计算与多个对象类型的各个类型有关的校正值;校正值统一处理,用于计算通过用与对象类型确信度计算处理所计算的关于多个对象类型的各个类型的对象类型确信度相符合的权重,对由对象类型校正值计算处理已计算的关于对应对象类型的对象类型校正值的每一个进行加权而获得的统一校正值,并统一由加权而获得的对象类型值;以及图像数据校正处理,用于使用由校正值统一处理计算的统一校正值,对图像数据进行校正。
预先确定要计算其确信度的多个对象类型。将基于图像数据可识别的多个对象类型(也可以称作拍摄场景类型)设定作为对象类型,设定这些对象类型,以在图像校正中对其进行不同校正(根据经验已知,执行不同的校正处理得到适当的校正图像)。例如,可以将“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”、“亮色调”和“检测范围之外”设定作为多个对象类型。
针对每个预定对象类型,计算对包含在由所应用的图像数据表示的图像的各幅图像的(似然)程度进行表示的确信度(水平或等级),所述各幅图像表示预定的多个对象类型。在计算确信度时,使用每个对象类型包含特定特征的程度。
例如,“水下”对象类型的图像(以下将称作“水下图像”)通常在图像的较宽范围上包含具有所谓水下颜色(属于蓝色到绿色的颜色范围的颜色)的像素。在最简单的情况下,如果包含具有水下颜色的像素达到超过预定面积的程度,则可以将该图像识别为水下图像,并可以根据这个面积计算确信度。不言而喻,可以使用多种类型的特征来计算图像是水下图像的确信度。
在一个实施例中,图像处理设备具有存储器(用于确信度计算的存储器),用于针对每个对象类型,存储适合确信度计算的一个或多个特征类型、以及用于根据特征计算确信度的点数据。当参考用于确信度计算的存储器时,根据图像数据计算特征值,并可以根据与所计算的特征值相符合而获得的点数据计算确信度。点数据本身可以用作确信度。如果使用多个特征计算确信度,则可以采用将每项点数据累加而获得的值作为确信度。可以采用累加的点数据除以特征数目的结果作为确信度。可以基于加的点数据除以特征数目的结果,根据预定函数决定确信度。优选地将确信度归一化为0到1范围内的值。
在多个对象类型中,可以配置成获得与能够对其确信度进行计算的多个对象类型(经过检测的图像类型)的各个类型有关的确信度,并使用获得的多个确信度,来获得检测范围之外的对象类型的确信度。例如,将与能够对其确信度进行计算的多个对象类型的各个类型有关的确信度归一化到0到1的范围上,并可以采用将从1中减去关于各个对象类型而归一化的所计算的确信度所获得的值相乘的结果,作为检测范围之外的对象类型的确信度。
根据所接受的图像数据计算与多个对象类型的各个类型有关的校正值。与其确信度在对象类型确信度计算处理中计算的各个对象类型相对应地计算校正值。
所计算的校正值包括多种校正值、浓度(亮度)灰度级校正值、CMY浓度灰度级校正值、饱和度校正值和其他可以用于图像校正的校正值。例如,在计算浓度校正值(浓度灰度级校正值)以作为校正值的情况下,在计算浓度校正值中可以采用多种已知的计算方法。例如,可以预先设定目标浓度校正值,可以计算校正系数,以使由所接受的输入图像数据表示的每个像素(或特定部分)的平均浓度变为目标浓度校正值,并可以根据该校正系数计算浓度校正值。如日本专利申请公开No.2001-257883的说明书中所述的,可以根据依赖于多重回归分析的回归公式,计算浓度校正量。浓度校正值可以是函数或表(查找表)的形式。无论如何,校正值规定输入值与输出值之间的关系。如果校正值是浓度校正值,则该值规定输入浓度值与输出浓度值之间的关系。
也可以配置成对于由对象类型确信度计算装置所计算的确信度少于预定值的对象类型,不计算与该对象类型有关的校正值。不执行与输入图像中不包含(或包括的可能性较小)的对象类型有关的校正值的计算过程,可以缩减校正值计算处理所需的时间。
根据所计算的多个对象类型确信度,统一由对象类型校正值计算装置所计算的多个校正值。
在一个实施例中,统一之后的校正值是根据所计算的多个对象类型确信度来计算与每个对象类型的确信度幅度相符合的权重,并对用所计算的权重乘以每个校正值而获得的值进行统一的结果。在统一处理中,可以执行根据校正值类型而不同的计算。例如,如果校正值是浓度校正值,则统一处理是加法处理。如果校正值是亮度校正值,则统一处理是乘法处理。因此,可以根据校正值的类型决定统一处理。
在另一实施例中,统一之后的校正值是根据所计算的多个对象类型确信度来计算与确信度的幅度相符合的权重,并对所计算的每个对象类型的权重、应用的或预先设定的与多个对象类型的各个类型有关的重要程度、以及校正值(各个对应对象类型的校正值)相乘在一起而获得的值进行统一的结果。
每个对象类型的确信度越大(与确信度相符合的权重越大),获得的统一校正值越强烈地反映与特定对象类型有关的校正值。在进一步使用重要程度的情况下,统一校正值强烈地反映与重要程度较大的对象类型有关的校正值。
使用由校正值统一处理获得的统一校正值,对所接受的图像数据进行校正。
根据本发明,自动区分由所接受的图像数据表示的图像中包含的对象类型,并获得根据对图像中包含这些对象类型的程度进行表示的确信度而加权的统一校正值。根据由此获得的统一校正值对图像数据进行校正。即使图像是包含两个或更多对象类型的图像,也可以执行良好平衡的校正处理。因为统一校正值中强烈反映了与具有基于确信度的较大权重的对象类型的校正值,所以实现了与所应用的图像数据表示的图像内容相符合的图像校正。通常,在进一步使用外部应用或预先设定的每个对象类型的重要程度的情况下,可以根据重要程度改变统一校正值。可以执行基于用于偏好的图像校正。
在一个实施例中,图像处理设备还包括对象类型指定装置,对象类型确定度计算装置计算与对象类型指定装置所指定的对象类型、或不同于对象类型指定装置所指定的对象类型的其他对象类型相关的对象类型确信度。此外,对象类型确定度计算装置计算与对象类型指定装置所指定的对象类型、或不同于对象类型指定装置所指定的对象类型的其他对象类型相关的对象类型确信度。例如在预先已知特定对象类型不存在于由应用到图像处理设备的图像数据表示的图像中的情况下,不必计算与该特定对象类型有关的确信度和校正值。由对象类型指定装置指定预先已知存在于图像中的特定对象类型(或预先已知不存在于图像中的特定对象类型。相对于指定的对象类型,单独地计算确信度和校正值,或相对于指定的对象类型之外的其他对象类型,单独地计算确信度和校正值。这可以缩短用于计算确信度的处理和用于计算校正值的处理中包含的处理时间。此外,配置成强制性地不计算与特定对象类型有关的确信度和校正值,以防止在特定对象类型不存在于图像中的情况下计算与特定对象类型有关的确信度和校正值。这增强了校正精度。
图像处理设备优选地还包括:光照类型确信度计算装置,用于计算对在多个预定光照类型的各个类型下拍摄的图像数据表示的图像的置信度程度进行表示的光照确信度,根据从图像数据获得的特征值,针对每个预定光照类型执行该计算;光照类型校正量计算装置,用于根据图像数据,计算与多个预定光照类型的各个类型有关的校正量;以及校正量计算装置,用于对光照类型校正量计算装置所计算的关于对应光照类型的每个校正量,用与光照类型确信度计算装置所计算的光照类型确信度相符合的权重进行加权,并通过将由加权所得的光照类型值累加,计算校正量;其中多个预定对象类型包括可检测的多个对象类型(能够计算其确信度)和检测范围之外的对象类型;校正值统一装置使用通过将校正量计算装置所计算的校正量与待校正的输入值相加而获得的值,作为检测范围之外的对象类型的校正值。通过将校正量计算装置所计算的校正量与从图像数据获得的输入值(浓度值、亮度值等)相加而获得的值成为非检测目标的对象类型的校正值(浓度校正值、亮度校正值等)。
摄影时所用的光照类型包括产生特殊颜色偏移和特殊颜色图案的类型。例如,在背光下捕获的图像、由近距离闪光捕获的图像和在钨丝光源下捕获的图像均具有特殊颜色偏移和特殊颜色图案。可以根据依赖于光照类型而出现在图像中的颜色偏移和颜色图案,计算确信度(光照类型确信度)。
在光照类型确信度的计算中,可以配置成获得与其确信度能够计算的各个光照类型有关的确信度,并使用获得的与各个光照类型有关的确信度,来获得与检测范围之外的光照类型有关的确信度(另一光照类型的确信度)。
例如,如果在背光下拍摄人物,获得的图像中的人物将显得较暗,而周围背景显得较亮。对于这种图像,图像处理设备可能降低对象类型“人脸”的确信度,而提高对象类型“检测范围之外”的确信度。当获知这些事实时,图像处理设备计算与光照类型有关的确信度,并使用根据基于该光照类型的确信度的权重而计算的校正量,计算与对象类型“检测范围之外”有关的校正量,从而可以提高与包含检测范围之外的对象类型的图像相关的图像校正精度。
附图说明
图1是示出了图像处理系统的整体配置的方框图;
图2是示出了根据第一实施例的图像处理设备的电气结构的方框图;
图3示出了由图像处理设备检测的对象类型的内容、图像示例和定义;
图4是示出了确信度计算电路、浓度校正值计算电路和浓度校正值统一电路的功能的功能性方框图;
图5示出了确信度计算存储器的内容;
图6是示出了确信度计算存储器的创建流程的流程图;
图7示出了确信度计算存储器中存储的标识点的创建流程;
图8是示出了计算确信度的处理流程的流程图;
图9是表示用于根据标识点来计算确信度的函数的图;
图10是示出了计算关于人脸的确信度的处理流程的流程图;
图11示出了与三种对象类型(人脸、蓝天和检测范围之外)的每一种有关的确信度、基于确信度的权重和重要程度的示例;
图12示出了统一浓度校正值的方式;
图13是示出了图像数据校正电路的细节的方框图;
图14是示出了根据第一实施例的修改方案的图像处理设备的电气结构的方框图;
图15是示出了根据第一实施例的修改方案的图像处理设备的电气结构的方框图;
图16示出了用于接受对象类型确信度修正的屏幕示例;
图17是示出了根据第二实施例的图像处理设备的电气结构的方框图;
图18示出了由第二实施例的图像处理设备检测的光照类型的内容、图像示例和定义;以及
图19是示出了确信度计算电路(针对光照类型)、浓度校正值计算电路和用于计算对象类型“检测范围之外”的浓度校正值的电路的功能的功能性方框图。
具体实施方式
第一实施例
图1是示出了图像处理系统的硬件配置的方框图。图2是示出了构成图像处理系统的图像处理设备1的电气结构、以及存储单元4的方框图。
图像处理系统包括图像处理设备1、与图像处理设备1相连的输入单元2(键盘、鼠标等)、显示单元3(CRT显示器、液晶显示器等)、存储单元4(硬盘等)和打印机5。
图像数据已存储在与图像处理设备1相连的存储单元4中。通过输入接口(未示出),将已从存储单元4中读出的图像数据输入图像处理设备1。(下文中,输入图像处理设备1的图像数据称作“输入图像数据”,由输入图像数据表示的图像称作“输入图像”。)当然,可以设置成将已记录在CD-ROM、DVD-ROM、存储卡或其他记录介质而非存储单元4上的图像数据输入图像处理设备1。在这种情况下,CD-ROM驱动器或DVD-ROM驱动器等与图像处理系统的图像处理设备1相连。自然也可以设置成将通过网络传输的图像数据输入图像处理设备1。在这种情况下,用于在网络上发送和接收图像数据的收发机(调制解调器等)与图像处理设备1相连。
将已从存储单元4中读出的输入图像数据施加至包括在图像处理设备1中的确信度计算电路12、浓度校正值计算电路13和图像校正电路15。
确信度计算电路12针对每种对象,计算对由施加的输入图像数据表示的输入图像中包含的多个预定对象类型的各个类型的程度(似然)进行表示的确信度。用于计算确信度的存储器21和人脸图案数据存储器22与确信度计算电路12相连。通过使用已在存储器21和22中存储的数据,确信度计算电路12计算由输入图像数据表示的输入图像中包含的每个对象类型的确信度。稍后将详细描述确信度计算电路12中的确信度计算处理、用于计算确信度的存储器21和人脸图案数据存储器22。
浓度校正值计算电路13基于输入图像数据,计算向输入图像应用浓度校正的值(浓度校正值)。存储器23与浓度校正值计算电路13相连,存储器23中已存储了与多个预定对象类型的各个类型有关的目标浓度值。对于多个对象类型,浓度校正值计算电路13根据存储器23中存储的目标浓度值,计算每个对象类型的浓度校正值。稍后将描述浓度校正值计算电路13执行的处理细节。
基于在确信度计算电路12中计算的对象类型确信度和使用输入单元2从外部输入的对象类型重要程度,浓度校正值统一电路14统一由浓度校正值计算电路13计算的对象类型浓度校正值。浓度校正值统一电路14计算统一浓度校正值,该统一浓度校正值强烈反映出与确信度较大的对象类型有关的浓度校正值,并强烈反映出与重要程度较大的对象类型有关的浓度校正值。稍后将描述浓度校正值统一电路14执行的处理细节。
图像校正电路15根据从浓度校正值统一电路14输出的统一浓度校正值,对输入图像数据的浓度进行校正。通过输出接口(未示出),从图像处理设备1中输出经过了图像校正电路15进行的浓度校正的图像数据,并将其施加至显示单元3或打印机5。在显示单元3的屏幕上显示或从打印机5输出由经过了浓度校正的图像数据表示的图像。
图3示出了由确信度计算电路12识别(检测)并已计算出确信度的对象类型、与这些对象类型相对应的图像示例、以及对象类型的定义。图4是示出了确信度计算电路12、浓度校正值计算电路13和浓度校正值统一电路14的功能的功能性方框图。
在本实施例中,确信度计算电路12确定表示“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”或“亮色调”这七个对象类型中的任意类型的图像是否包含在输入图像中,如果输入图像中包含任意类型,则计算它们被包含的置信度程度(确信度)(功能块12a到12g)。此外,确信度计算电路12确定这七个对象类型都未包含在输入图像中,并使用相对于“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”或“亮色调”这七个对象类型的各个类型而计算的确信度,计算输入图像中类型的确信度(与对象类型“检测范围之外”有关的确信度)(功能块12h)。即,确信度计算电路12识别(检测)输入图像是否包含对“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”、“亮色调”和“检测范围之外”八个对象类型之中的任何对象类型进行表示的图像,如果包含这种图像,则将其被包含的程度(确信度)计算为百分比。稍后将描述计算确信度的处理细节。
浓度校正值计算电路13基于输入图像数据,计算与其确信度已在确信度计算电路12中计算的各个对象类型有关的浓度校正值。具体地,在本实施例中,浓度校正值计算电路13适用于计算与“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”、“亮色调”和“检测范围之外”八个对象类型中的各个类型有关的浓度校正值(功能块13a到13h)。
浓度校正值统一电路14根据由确信度计算电路12计算(功能块12a到12h)的对象类型确信度、和从输入单元2输入的对象类型重要程度,统一由浓度校正值计算电路13中计算的对象类型浓度校正值,并计算一个浓度校正值(统一浓度校正值)(功能块14a)。
统一浓度校正值可以由函数方程表达,所述函数方程表示与输入浓度值相对应的输出浓度值。统一浓度校正值T(s)(其中s表示输入浓度值并且是变量)由以下方程1表示。
T(s)=∑[SiViTi(s)] ...方程1
在方程1中,变量i指示对象类型“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”、“亮色调”和“检测范围之外”。这里Si表示如上所述的由图像处理系统的操作员使用输入单元2输入的对象类型重要程度;Ti(s)表示由浓度校正值计算电路13获得的对象类型浓度校正值;以及Vi表示基于上述确信度计算电路12所计算的对象类型确信度而获得的对象类型权重。根据以下方程2计算权重Vi。
Vi=Pi/∑(Pi) ...方程2
在方程2中,变量i也指示对象类型“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”、“亮色调”和“检测范围之外”。此外,Pi表示由确信度计算电路12所计算的对象类型确信度。
如方程1和2所示,通过将与确信度幅度和重要程度S相符合的权重Vi乘以对象类型的浓度校正值Ti(s)而得到的结果累加,获得统一浓度校正值T(s),其中确信度与每个对象类型有关,重要程度S是由操作员给定的,并与每个对象类型有关。由此,统一浓度校正值T(s)强烈反映出与确信度较大的对象类型有关的浓度校正值,并强烈反映出与所应用(设定)的重要程度较大的对象类型有关的浓度校正值。
现在描述确信度计算电路12执行的处理细节。在本实施例中对其确信度进行计算的对象类型“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”、“亮色调”和“检测范围之外”之中,对于“人脸”和“检测范围之外”的计算确信度方法不同于对于其他对象类型“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”和“亮色调”的计算确信度方法。稍后描述针对对象类型“人脸”和“检测范围之外”的确信度计算处理;首先描述关于对象类型“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”和“亮色调”的确信度计算处理。
图5示出了在确信度计算电路12计算关于各个对象类型的确信度(除了对象类型“人脸”和“检测范围之外”的确信度)中使用的确信度计算存储器21的内容。
在确信度计算存储器21中与除了“人脸”和“检测范围之外”的各个特征类型(在本实施例中六个类型“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”和“亮色调”)相对应地存储了用于确信度计算的特征类型和特征类型识别点(多个识别点的集合)(下文中称作“识别点组”),其中确信度计算电路12计算针对所述对象类型的确信度。
一般而言,多个特征类型与一个对象类型相对应,作为在计算确信度时使用的特征类型。例如,参考图5,“B值平均”、“B值(80%点)-B值(20%点)”和“Cb值70%点”已存储在确信度计算存储器21中,作为要用于计算对象类型“水下”的确信度的特征类型。这表示如下事实:采用三个特征,即(1)通过将构成输入图像的每个像素的B值平均而获得的值(B值平均),(2)通过从与直方图的80%点相对应的B值减去与构成输入图像的每个像素的B值累积直方图的20%点相对应的B值而获得的值[B值(80%点)-B值(20%点)],以及(3)与构成输入图像的每个像素的色差Cb值的累积直方图的70%点相对应的值(Cb值70%点),作为要在计算关于对象类型“水下”的确信度中使用的特征类型。
识别点组是用于计算确信度的识别点的集合。在以下描述的创建确信度计算存储器21的处理中,与识别点组有关的细节将显而易见。
参考图6和7描述创建确信度计算存储器21的处理。图6是示出了创建确信度计算存储器21的处理流程的流程图,图7使用直方图来显示与一个特征有关的识别点组的特定计算流程。
如上所述,将要用于确信度计算的特征类型和与各个特征类型相对应的识别点组与除了“人脸”和“检测范围之外”的其他各个对象类型相对应地存储在确信度计算存储器21中。通过下述的学习处理,创建确信度计算存储器21。
现在以对象类型“水下”作为特定示例,描述学习处理,即计算要用于确信度计算的特征类型的处理和计算与各个特征类型相对应的识别点组的处理。
准备多个要经历学习的样本图像数据项。预先将所准备的多个样本图像数据项区分为其对象类型假设是“水下”的样本图像(图像中水下颜色的面积比是50%或更大;见图3)(下文将其称作“水下样本图像”)和其对象类型不应该假设是“水下”的样本图像(图像中不存在水下颜色或水下颜色的面积比小于50%)(这称作“非水下样本图像)(图7左侧示出了这种情况)。
向所有样本图像分配权重,以进行学习(水下样本图像和所有非水下样本图像)。首先,将分配给所有样本图像的权重设定为初始值(例如,“1“)(步骤31)。
使用多个水下样本图像来创建关于一个特征的累积直方图(步骤32;图7的中上部示出了直方图的创建)。例如,选择作为特征类型之一的“B值平均”,并创建关于所选特征类型(“B值平均”)的累积直方图。
类似地,通过使用多个非水下样本图像,创建关于一个特征类型(在上述示例的情况下,是“B值平均”)的累积直方图(步骤33;图7的中下部示出了直方图的创建)。
通过对使用多个水下样本图像而创建的关于一个特征类型的累积直方图和使用多个非水下样本图像而创建的关于一个特征类型的累积直方图进行利用,计算对应的特征值到特征值的频率值之比的对数值。用直方图表示所计算的对数值的结果是图7右侧示出的直方图(下文中,该直方图称作“辨别器”)。辨别器是在预定间隔上与各个特征值相对应的对数值的集合。
在图7右侧所示的辨别器中,沿垂直轴的值(上述对数值)是“识别点”(见图5)。如稍后所述,确信度计算电路12使用辨别器(确信度计算存储器21),计算关于所施加的输入图像数据的特征,并计算与所计算的特征值相对应的识别点。在具有与正识别点相对应的特征值的输入图像中,应该认为对象类型是“水下”的可能性较大,可以说该值的绝对值越大,这种可能性越大。相反,在具有与负识别点相对应的特征值的输入图像中,对象类型不是“水下”的可能性较大,可以说该值的绝对值越大,这种可能性越大。
类似地,相对于例如G值平均、B值平均、亮度Y平均、色差Cr平均、色差Cb平均、饱和度平均、色调平均、多个n%点和多个(m%点)-(n%点)等其他特征类型中的各个来创建这种辨别器(在步骤35“否”;步骤32到34)。创建与多个特征类型的各个相对应的多个辨别器。
从所选的多个辨别器中选择判断对象类型是“水下”的图像最有效的辨别器(步骤36)。计算正确响应率,以选择最有效的辨别器。根据如下方程3计算正确响应率。
正确响应率=正确响应样本图像的数目/样本图像的总数
...方程3
如上所述,预先已知水下样本图像和非水下样本图像。例如,对于水下样本图像A,计算一个特征的值,并用与该特征类型相对应的辨别器获得与所计算的特征值相对应的识别点。如果识别点是正值,则辨别器认为这指示对于水下样本图像A进行了正确判断(图像是正确响应样本图像)。使正确响应样本图像的数目递增。相反,如果与相对于水下样本图像B而计算的一个特征的值相对应的识别点是负值,则辨别器认为这指示对于水下样本图像B未进行正确判断(图像是不正确响应样本图像)。
对于非水下样本图像,如果与所计算的特征值相对应的识别点是负值,则辨别器认为这指示进行了正确判断(图像是正确响应样本图像)。使正确响应样本图像的数目递增。如果识别点是正值,则辨别器认为这指示未进行正确判断(图像是不正确响应样本图像)。
相对于所创建的与多个特征类型的各个相关联的多个辨别器,计算上述正确响应率,并选择指示最高正确响应率的辨别器,作为最有效辨别器。
接下来,确定正确响应率是否超过了预定阈值(步骤37)。在正确响应率超过了预定阈值的情况下(在步骤37“是”),则认为这指示了如果使用所选辨别器,可以足够高的可能性挑选出对象类型“水下”。则学习处理结束。在确信度计算存储器21中存储与所选辨别器相对应的特征类型和所选辨别器中的识别点组(以规定间隔与各个特征值相对应的识别点的集合)(步骤38)。
如果所计算的正确响应率小于预定阈值(在步骤37“否”),则执行下述处理。
首先,从处理的对象中排除由上述处理所选的特征类型(步骤39)。
接着,更新所有样本图像的权重(步骤40)。
在样本图像权重的更新中,更新每幅样本图像的权重,以提高未获得正确响应的样本图像的权重(即,不正确响应样本图像),并降低获得正确响应的样本图像的权重(即,正确响应样本图像),对所有样本图像执行这一步骤,原因在于要强调无法用所选辨别器正确判断的图像,从而可以正确地判断这些图像。应该注意,因为权重更新只需要获得不正确响应样本图像的权重与正确响应样本图像的权重之间的相对改变,所以更新是提高不正确响应样本图像的权重与降低正确响应样本图像的权重之一就足够了。
使用权重已更新的样本图像,对除了已排除的特征类型之外的各个特征类型,再次创建辨别器(步骤32到35)。
在从第二次开始创建辨别器的处理中,当创建累积直方图时(步骤32,33),使用已应用于每幅样本图像的权重。例如,如果假设已分配给一幅样本图像的权重是“2”,则在基于该样本图像而创建的每个直方图中将频率加倍(图7的中部所示的顶部和底部直方图)。
从最新创建的辨别器中选择最有效辨别器(步骤36)。在从第二次开始选择最有效辨别器的处理中也使用已应用于样本图像的权重。例如,如果一幅样本图像的权重是“2”,则在对于该样本图像已获得正确响应的情况下,在方程3中将正确响应样本图像的数目加“2”,而不是“1”。由此,强调了如下事实:具有较大权重的样本图像比具有较小权重的图像获得更多的正确辨别。
将与初始处理循环中选作最有效辨别器的辨别器相关的正确响应率和与第二次处理循环中选作最有效辨别器的辨别器相关的正确响应率相加。如果相加之和的正确响应率超过预定阈值,则判断这两个辨别器是用于辨别对象类型“水下”的辨别器。
如果正确响应率仍小于阈值,则进一步重复类似处理(在步骤37“否”;步骤39、40,步骤32到36)。
因此,当相对于对象类型“水下”已选择与B值平均、B值(80%点)-B值(20%)和色差Cb70%点相对应的三个辨别器时,如果在步骤37中正确响应率超过阈值(步骤37“是”),则决定这三个辨别器作为辨别对象类型“水下”的辨别器。如图5顶部的三行所示,在确信度计算存储器21中存储这三个辨别器中的特征类型识别点组。
通过相对于除对象类型“人脸”和“检测范围之外”以外的其他对象类型(在本实施例中六个对象类型“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”和“亮色调”),执行上述处理,完成了确信度计算存储器21(图5)。
图8是示出了使用确信度计算存储器21,相对于输入图像计算除对象类型“人脸”和“检测范围之外”以外的其他对象类型(六个对象类型“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”和“亮色调”)的确信度的处理的流程图。在确信度计算电路12中执行计算与除对象类型“人脸”和“检测范围之外”以外的其他对象类型(“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”和“亮色调”)相关的确信度的处理。
将已从存储单元4中读出的输入图像数据施加至确信度计算电路12(步骤51)。
从确信度计算存储器21中读出与一个对象类型(例如,“水下”)有关的特征类型和识别点组,并将其存储在临时保存存储器(未示出)(步骤52)。
基于输入图像数据,计算与存储在临时存储单元中的特征类型(多个特征类型中的任何一个)有关的特征值。例如,在对象类型是“水下”的情况下,用于计算该对象类型的确信度的特征类型是三个特征类型:B值平均、B值(80%点)-B值(20%)和色差Cb70%点。根据输入图像数据,计算这三个特征类型中的一个特征类型(例如,B值平均)的值(步骤53)。
根据已存储在临时保存存储器中的识别点组,决定与所计算的特征值相对应的识别点(步骤54)。
确定是否已对于与这一个对象类型相对应的所有特征类型决定了识别点(步骤55)。如果存在剩余特征类型,则选择剩余特征类型之一。接着,对于所选的特征类型,计算特征值,并通过与上述步骤类似的处理决定与所计算的特征值相对应的识别点(步骤55“否”;步骤56,步骤53,54)。
当决定了与对应于一个对象类型的所有特征类型有关的识别点时,将决定的识别点相加(下文中,这称作“累加识别点”)(步骤55“是”;步骤57)。
根据累加识别点的值和与这一个对象类型相对应的特征类型的数目,计算确信度(步骤58)。图9以图表的形成示出了用于计算确信度的一个函数示例。根据图9所示的函数,计算与将累加识别点除以特征类型数目而获得的值相符合的确信度(0到1的值)。将对于一个特征类型而计算的确信度存储在临时保存存储器中。
对于除对象类型“人脸”和“检测范围之外”以外的其他对象类型(六个对象类型“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”和“亮色调”)中的每一个执行上述处理(步骤59“否”;步骤60)。在临时保存存储器中存储与对象类型“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”和“亮色调”中的各个有关的确信度(步骤59“是”)(功能块12b到12g)。
接着,将描述与对象类型“人脸”有关的确信度的计算。
图10是示出了计算与对象类型“人脸”有关的确信度的处理流程的流程图。仍然在确信度计算电路12中,相对于对象类型“人脸”执行确信度计算处理。
所用的输入图像数据与上述用于计算对象类型“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”和“亮色调”中的每一个的确信度的输入图像数据相同(步骤51)。
通过图案匹配(例如,使用典型人脸的浓淡图案的图案匹配),检测由输入图像数据表示的图像是否包含表示人脸的图像部分。多种尺寸的图案数据已存储在与确信度计算电路12相连的人脸图案数据存储器22中,并使用多个图案数据项的每一个来检测输入图像是否包含表示人脸的图像部分。
如果根据图案匹配判断输入图像不包含人脸,则决定对象类型“人脸”的确信度为“0”(步骤73“否”;步骤77)。
如果根据图案匹配判断输入图像包含人脸(步骤73“是”),则通过图案匹配获得人脸的大致中心(例如,相对坐标)及人脸的大致尺寸(根据用于图案匹配的图案数据的尺寸)。根据获得的人脸的大致中心和大致尺寸,从输入图像中剪切包含人脸的矩形区域(包含人脸的可能性较高的矩形区域)。当然,可以设置成将输入图像显示在显示单元3的显示屏幕上,并且图像处理系统的操作员指定包含人脸的矩形区域(在这种情况下,无需通过图案匹配来检测人脸的处理)。根据从输入图像中剪切(指定)的矩形区域,执行提取人脸图像区域的处理(步骤74)。
在提取人脸图像区域的处理中可以采用多种处理。
例如,根据表示该矩形区域的图像数据,将相同系统颜色的像素的颜色数据(RGB)转换成预定值,从而创建图像数据,该图像数据是具有肤色和接近肤色的颜色数据的像素、具有白色和接近白色的颜色数据的像素和具有黑色和接近黑色的颜色数据等的集合。随后合并不存在边缘的部分,并采用合并图像部分中肤色部分和接近肤色的部分,作为人脸图像区域。
在由表示矩形区域的图像数据所表示的矩形区域中,可以相对于从中心到周边的方向(64个方向)中的各个方向,决定边缘位置(肤色与其他颜色之间的边界的位置),也可以将决定的64个边缘位置相连而规定的区域用作人脸图像区域。
如果从表示矩形区域的图像数据中提取了表示人脸图像区域的图像数据,则计算所提取的人脸图像区域的圆形度(步骤75)。根据如下方程4计算圆形度。
圆形度=(周长L×周长L)/面积S ...方程4
决定与根据方程4所计算的圆形度相符合的确信度(步骤76)。在决定与圆形度相符合的确信度时,可以使用图9所示的函数(图表)或可以使用特定的其他函数。
将所决定的与对象类型“人脸”有关的确信度也存储在临时保存存储器(功能块12a)中。
在输入图像包含多个人脸的情况下,计算与各个人脸有关的确信度,并计算其平均。采用所计算的平均值,作为与对象类型“人脸”有关的确信度。
当计算了与除对象类型“检测范围之外”的其他对象类型(“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”和“亮色调”)的各个有关的确信度时,使用这些所计算的确信度,检测与对象类型“检测范围之外”有关的确信度。根据如下方程5计算与对象类型“检测范围之外”有关的确信度Pot(功能块12h)。
Pot=1-MAX(P1,P2,...,P7) ....方程5
这里,P1、P2、...、P7表示除对象类型“检测范围之外”以外的其他对象类型的确信度,MAX(P1,P2,...,P7)表示P1、P2、...、P7之中的最大值。
通过以上的处理,相对于输入图像计算了与所有对象类型“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”、“亮色调”和“检测范围之外”中的各个有关的确信度(总共八个确信度)。
接下来将描述浓度校正值计算电路13执行的处理。
浓度校正值计算电路13是用于根据输入图像数据来获得对象类型“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”、“亮色调”和“检测范围之外”中的各个的浓度校正值的电路。在上述确信度计算处理中,不必获得与确信度为“0”的对象类型有关的浓度校正值。
现在将描述与对象类型“人脸”、“水下”、“高饱和度”、“日落场景”、“夜景”、“蓝天”、“亮色调”和“检测范围之外”中的各个有关浓度校正值的计算。
(1)对象类型“人脸”的浓度校正值计算(功能块13a)
在上述确信度计算电路12中,获得输入图像中包含的多个人脸图像区域、以及与这些区域中的各个区域相对应的确信度,并将其施加至浓度校正值计算电路13。根据所施加的多个人脸图像区域和与这些区域中的各个区域相对应的确信度,浓度校正值计算电路13指定构成人脸的像素,并计算已由对应确信度加权的平均浓度。接着,浓度校正值计算电路13计算校正系数,以使已计算的加权平均浓度变成目标浓度(设定值)。根据所计算的校正系数,浓度校正值计算电路13创建浓度校正值[规定与各个输入浓度(0到4095)相对应的输出浓度(0到4095)的表或函数](在12位浓度级的情况下)。
(2)对象类型“水下”的浓度校正值计算(功能块13b)
从构成输入图像的像素中检测在蓝色到绿色的颜色范围内的像素,从这些像素中获得视觉浓度最小化的浓度。计算最小视觉浓度将成为目标浓度(设定值)的校正系数,并根据所计算的校正系数,计算浓度校正值。应该注意,视觉浓度是通过以比率3∶6∶1对C、M和Y浓度进行加权而获得的浓度;视觉浓度与亮度成比例。
(3)对象类型“高饱和度”的浓度校正值计算(功能块13c)
从构成输入图像的像素中检测拥有其饱和度最高的色调的像素,并从这些像素中获得视觉浓度最小化的浓度。计算最小视觉浓度将成为目标浓度(设定值)的校正系数,并根据所计算的校正系数,计算浓度校正值。
(4)对象类型“日落场景”的浓度校正值计算(功能块13d)
在输入图像是日落图像的情况下,输入图像中存在具有属于橙色范围的颜色的像素。检测具有橙色范围的像素,并从这些像素中获得视觉浓度最小化的浓度。计算最小视觉浓度将成为目标浓度(设定值)的校正系数,并根据所计算的校正系数,计算浓度校正值。
(5)对象类型“夜景”的浓度校正值计算(功能块13e)
在输入图像是夜景图像的情况下,存在低浓度像素(高亮部分)和高浓度像素(阴影部分)。计算最小浓度成为高亮的目标浓度(设定值)、以及最大浓度成为阴影的目标浓度(设定值)的校正浓度值。
(6)对象类型“蓝天”的浓度校正值计算(功能块13f)
在输入图像是蓝天图像的情况下,输入图像中存在具有属于蓝绿色范围的颜色的像素。检测具有属于蓝绿色范围的颜色的像素,并从这些像素中获得视觉浓度最小化的浓度。计算最小视觉浓度将成为目标浓度(设定值)的校正系数,并根据所计算的校正系数,计算浓度校正值。
(7)对象类型“高色调”的浓度校正值计算(功能块13g)
在输入图像是高色调图像的情况下,输入图像中存在具有属于白色范围的颜色的像素。检测具有属于白色范围的颜色的像素,并从这些像素中获得C、M和Y中视觉浓度最小化的浓度。计算最小视觉浓度将成为目标浓度(设定值)的校正系数,并根据所计算的校正系数,计算浓度校正值。
(8)对象类型“检测范围之外”的浓度校正值计算(功能块13h)
计算构成输入图像的所有像素的视觉浓度,计算这些浓度的平均值将成为目标浓度(设定值)的校正系数,并根据所计算的校正系数,计算浓度校正值。
不言而喻,计算与每个对象类型有关的浓度校正值的方法不限于上述方法。例如,对于对象类型“人脸”,除了构成人脸的像素的平均浓度之外,还可以计算(检测)最小浓度和最大浓度,可以计算其平均浓度、最小浓度和最大浓度将成为对应目标浓度(目标平均浓度、目标最小浓度和目标最大浓度)的校正函数,并可以采用所计算的校正函数作为浓度校正值。在用图表表示浓度校正值的情况下,图表可以是线性的或曲线。
向浓度校正值统一电路14施加由浓度校正值计算电路13计算的与多个对象类型中的每一个有关的浓度校正值Ti(s)、由确信度计算电路12计算的与多个对象类型中的每一个有关的确信度Pi、以及使用输入单元2输入的与多个对象类型中的每一个有关的重要程度Si。根据上述方程1和2,在浓度校正值统一电路14中计算统一的浓度校正值T(s)(功能块14a)。
参考图11和12具体描述在浓度校正值统一电路14中创建统一的浓度校正值。
例如,在从输入图像获得的确信度对于对象类型“人脸”是0.6、对于“蓝天”是0.1、以及对于其他对象类型是0的情况下,根据方程5,对于“检测范围之外”的确信度是0.4(图11)。根据方程2,计算对象类型“人脸”的权重Vfa(=0.55)、“蓝天”的权重Vbs(=0.09)和“检测范围之外”的权重Vot(=0.36)。此外,由图像处理系统的操作员输入与对象类型“人脸”、“蓝天”和“检测范围之外”中的各个有关的重要程度Sfa、Sbs和Sot。这里,假设保持“人脸”重要程度Sfa=0.6,“蓝天”重要程度Sbs=0.1,“检测范围之外”重要程度Sot=0.3。
根据方程1[浓度校正值Tfa(s)、Tbs(s)和Tot(s)由图12左侧的图表指示],将根据从输入图像获得的确信度而计算的与对象类型“人脸”、“蓝天”和“检测范围之外”中的各个有关的权重Vfa、Vbs和Vot、以及由操作员输入的与对象类型“人脸”、“蓝天”和“检测范围之外”中的各个有关的重要程度Sfa、Sbs和Sot乘以对象类型“人脸”和“蓝天”中的各个类型的浓度校正值[Tfa(s)、Tbs(s)和Tot(s)]。将这些浓度校正值累加的结果用作统一浓度校正值T(s)。应该注意,在图12的左侧所示的对象类型“人脸”和“蓝天”的浓度校正值Tfa(s)和Tbs(s)的图表中,存在其中与输入浓度值(s)相对应的输出浓度值[Tfa(s)和Tbs(s)]的值呈负值(级别)的部分。这是因为设定了目标值,以使沿增亮图像的方向计算浓度校正值。在最后获得的统一浓度校正值T(s)中,将对其中输出浓度值呈负值的部分进行裁剪(clip),以使输出浓度值变成在范围0到4095中的任何浓度级[见图12右侧的统一浓度校正值T(s)的图表]。
使用由此创建的统一浓度校正值T(s),在图像校正电路15中对输入图像进行校正。
图13是图像校正电路15的功能性方框图。
向图像校正电路15施加与已施加至上述确信度计算电路12和浓度校正值计算电路13的输入图像数据相同的输入图像数据。
执行缩减处理(功能块81)。缩减处理减小具有大量像素的图像中的像素数目,从而缩短以后执行的灰度级转换处理、灰度级校正处理和RGB转换处理中的处理时间。应该注意,在对经过浓度校正的图像数据输出并进行尺寸缩减的情况下,执行缩减处理。在对经过浓度校正的图像数据输出并进行尺寸放大的情况下,不执行缩减处理。
计算与构成缩减后输入图像的每个像素有关的浓度(功能块82)。
使用上述统一浓度校正值T(s),对经过尺寸缩减的图像中的每个像素的浓度进行校正(功能块83)。
根据校正后的浓度,计算(转换)输入图像的逐像素RGB值(功能块84)。最后,执行放大处理(功能块85)。应该注意,在将经过浓度校正的图像数据输出并进行尺寸放大的情况下,执行放大处理。在对经过浓度校正的图像数据输出并进行尺寸缩减的情况下,不执行放大处理。
从图像处理设备1中输出已从图像校正电路15中输出的浓度校正后的图像数据。将已输出的校正后图像数据施加至打印机5并对其进行打印。必要时,将图像数据施加至显示单元3,并显示在显示屏幕上。不言而喻,可以将校正后图像数据存储在存储单元4中。
因此,在图像处理设备1中,自动识别(检测)由输入图像数据表示的图像中包含的对象类型,计算所识别的各个对象类型的确信度,并根据确信度和操作员输入的重要程度,计算统一浓度校正值T(s)。根据所计算的统一浓度校正值T(s),执行浓度校正处理。统一浓度校正值T(s)是根据输入图像中包含的对象类型的确信度而计算的。因此,即使图像是存在例如两个对象类型的图像,也可以实现适当的浓度校正。
修改1
图14是示出了第一实施例的修改方案中的图像处理设备1的电气结构的方框图。该设备与图2所示的图像处理设备1的不同之处在于,将对象类型指定数据输入图像处理设备1中包括的确信度计算电路12。
对象类型指定数据是用于从图像处理设备1所识别的对象类型中指定待识别(要计算其确信度)的对象类型的数据。该数据由图像处理系统的操作员使用输入单元2输入,并施加至确信度计算电路12。
在预先已知由向图像处理设备1施加的输入图像数据所表示的输入图像不包含例如对象类型“夜景”的情况下,不必要计算与对象类型“夜景”有关的确信度和浓度校正值。在这种情况下,假设指定除对象类型“夜景”之外的其他对象类型的数据是对象类型指定数据。在确信度计算电路12中计算与各个所指定的对象类型有关的确信度。不计算与未指定的对象类型有关的确信度和浓度校正值。这可以缩短确信度计算电路12中确信度计算处理的处理时间和浓度校正值计算电路13中浓度校正值计算处理的处理时间。此外,在上述示例的情况下,不将与对象类型“夜景”有关的浓度校正值合并到统一浓度校正值T(s)中。尤其在不管对象类型“夜景”是否存在而获得与对象类型“夜景”有关的确信度的图像的情况下,可以提高校正精度。
可以设置成向确信度计算电路12施加其确信度将不计算的对象类型的指定数据。在这种情况下,相对于除所指定的对象类型之外的其他各个对象类型,在确信度计算电路12中计算确信度。不执行与所指定的对象类型有关的确信度计算(也不执行浓度校正值计算电路13中的浓度校正值的计算)。
在对象类型指定数据的接受中,可以设置成并不在图像处理设备1中直接指定能够被识别(能够计算其确信度)的对象类型,而接受基于“ID照片”等其他表达形式的指定。ID照片是仅仅是人脸的对象类型。如果接受输入图像是“ID照片”的事实,则图像处理设备1只相对于对象类型“人脸”计算确信度,并只相对于该对象类型计算浓度校正值。(当然,在只指定了一个对象类型的情况下,可以使与该对象类型有关的确信度成为最大值。)此外,在只指定了一个对象类型的情况下,统一浓度校正值等于与所指定的对象类型有关的浓度校正值。
修改2
图15是示出了第一实施例的另一修改方案中的图像处理设备1的电气结构的方框图。该设备与图14所示的图像处理设备1的不同之处在于,将对象类型确信度数据输入图像处理设备1中包括的确信度计算电路12。
在预先已知由待处理的图像数据表示的图像的情况下(图像处理系统的操作员已确定了待处理的图像的情况),对象类型确信度数据由图像处理系统的操作员使用输入单元2输入,并施加至确信度计算电路12。
假设已知待处理的输入图像是具有蓝天作为背景、人物作为前景的图像。在这种情况下,例如,从输入单元2输入人脸确信度0.5和蓝天确信度0.5,作为对象类型确信度数据。确信度计算电路12将输入的确信度(人脸确信度和蓝天确信度)按照原样输出,不执行确信度计算处理。因为不执行确信度计算处理,所以不需要用于确信度计算处理的时间,可以缩短图像校正处理的处理时间。
修改3
可以设置成在显示屏幕上与待处理的图像一起显示已由确信度计算电路12计算的对象类型确信度,并接受操作员对对象类型确信度的修正。图16示出了接受对对象类型确信度的修正的显示示例。使用显示屏幕和输入单元2,接受对确信度计算电路12计算的对象类型确信度中的各个确信度的修正。在这种情况下,从确信度计算电路12中输出由操作员修正的对象类型确信度。
第二实施例
图17是示出了第二实施例中图像处理设备1A的电气结构的方框图。该设备与图2所示的第一实施例的图像处理设备1的不同之处在于,该设备还具有确信度计算电路16、浓度校正量计算电路17、针对对象类型“检测范围之外”的浓度校正值计算电路18、以及存储器24和25。此外,如稍后所述,关于对象类型的浓度校正值计算电路13A中的处理不同于第一实施例中的处理。
在第二实施例的图像处理设备1A中,与对象类型“检测范围之外”有关的浓度校正值不在浓度校正值计算电路13A中计算。这一点是第二实施例的浓度校正值计算电路13A与第一实施例的浓度校正值计算电路13的不同之处。将确信度计算电路16(针对光照类型)、浓度校正量计算电路17、针对对象类型“检测范围之外”的浓度校正值计算电路18、以及存储器24和25用于计算与对象类型“检测范围之外”有关的浓度校正值。
由输入图像数据表示的图像不仅包括在标准光照条件下(例如户外)捕获的图像,还包括在非标准光照条件(例如“背光”、“近距离闪光”和“钨丝(tungsten)”)下捕获的图像。在非标准光照条件下,对象的确信度计算电路无法总是正确地识别对象类型,并存在提高对象类型“检测范围之外”的确信度的情况。
例如,如果在背光状态下拍摄人物,获得的图像中的人物将显得较暗,而周围背景将显得较亮。对于这种图像,图像处理设备1可能降低对象类型“人脸”的确信度,并提高对象类型“检测范围之外”的确信度。考虑到这些事实,图像处理设备1A除了执行第一实施例的图像处理设备1的功能之外,还识别光照类型,并以与第一实施例中的方式类似的方式,计算与各个光照类型有关的确信度,从而根据光照类型,提高对具有对象类型“检测范围之外”的确信度的图像的浓度校正的精度。
在图像处理设备1A中包括的确信度计算电路(针对光照类型)16中识别由输入图像数据表示的输入图像的光照类型,并计算其确信度。
图18示出了由确信度计算电路(针对光照类型)16识别(检测)并已计算其确信度的光照类型、与这些光照类型相对应的图像示例、以及光照类型的定义。图19是示出了确信度计算电路(针对光照类型)16、浓度校正值计算电路17和针对对象类型“检测范围之外”的浓度校正值计算电路18的功能的功能性方框图。
确信度计算电路(针对光照类型)16以与上述关于对象类型的确信度计算电路12的方式类似的方式,计算与光照类型“背光”、“近距离闪光”和“钨丝”有关的确信度(光照确信度)(图17的功能块16a到16c)。即,确信度计算电路16执行与光照类型“背光”、“近距离闪光”和“钨丝”中的各个有关的学习处理,并创建与多个特征类型(例如,图像中心部分的平均浓度值、图像周边部分的平均浓度值、以及图像中心部分的平均浓度值与图像周边部分的平均浓度值之差)各个有关的辨别器。从多个创建的辨别器中选择与适合识别每个光照类型的图像的特征类型相对应的辨别器。在与确信度计算电路(针对光照类型)16相连的存储器24(下文中称作“光照确信度计算存储器24”)中存储与所选辨别器相对应的特征类型和识别点组。使用光照确信度计算存储器24,计算与从输入图像数据中获得的特征类型相对应的识别点,获得与识别点(或累加识别点)相符合的确信度(光照确信度)。
此外,还以类似于第一实施例中计算与对象类型“检测范围之外”有关的确信度的方式,使用光照类型“背光”、“近距离闪光”和“钨丝”中各个类型的确信度,计算除光照类型“背光”、“近距离闪光”和“钨丝”之外的其他光照类型(下文中这种光照类型称作光照类型“其他”)的光照确信度(功能块16d)。根据以下方程6计算与光照类型“其他”有关的确信度Qot。
Qot=1-MAX(Q1,Q2,Q3) ...方程6
这里,Q1、Q2和Q3表示除光照类型“其他”之外的各个光照类型的确信度。MAX(Q1,Q2,Q3)表示Q1、Q2和Q3中的最大值。
接下来将描述浓度校正量计算电路17。
浓度校正量计算电路17根据输入图像数据,获得光照类型“背光”、“近距离闪光”、“钨丝”和“其他”中各个类型的浓度校正量。在上述光照类型计算处理中,不必获得与确信度为“0”的光照类型有关的浓度校正量。
根据如下方程,计算光照类型“背光”、“近距离闪光”、“钨丝”和“其他”中各个类型的浓度校正量Tbl、Tst、Ttg和Tot:
Tbl=a1X1+a2X2+a3X3+...
Tst=b1Y1+b2Y2+b3Y3+... ...方程7
Ttg=c1Z1+c2Z2+c3Z3+...
Tot=d1A1+d2A2+d3A3+...
方程7均是基于多重回归分析的回归公式。这里,Xm、Ym、Zm和Am(m=1,2,3,...)表示分别与光照类型“背光”、“近距离闪光”、“钨丝”和“其他”有关的特征,an、bn、cn和dn(n=1,2,3,...)表示部分回归系数。
将描述关于光照类型“背光”的浓度校正量的计算公式(Tbl=a1X1+a2X2+a3X3+...),作为光照类型“背光”、“近距离闪光”、“钨丝”和“其他”的代表。
首先,准备光照类型是“背光”的多个图像数据项,并获得指示“背光”的特征值,例如,图像中心部分的平均浓度值、图像周边部分的平均浓度值、以及图像中心部分的平均浓度值与图像周边部分的平均浓度值之差。此外,预先设定用作目标值的浓度校正量。至于该量的类型,可以使用与关于光照类型的确信度计算处理中使用的光照确信度计算存储器24中存储的类型相同的类型。
对作为未知量的部分回归系数a1、b1、c1和d1执行多重回归分析,并决定部分回归系数a1、b1、c1和d1。在部分回归系数存储器25中存储所决定的部分回归系数a1、b1、c1和d1。
使用部分回归系数存储器25中存储的部分回归系数a1、b1、c1和d1、以及从输入图像数据中获得的特征X1、X2、X3和X4,根据方程7决定关于输入图像数据的光照类型“背光”的浓度校正量Tbl。(功能块17a)。
不言而喻,以相同方式,在部分回归系数存储器25中存储与其他光照类型“近距离闪光”、“钨丝”和“其他”相关的bn、cn和dn(n=1,2,3,...)。使用部分回归系数存储器25中存储的部分回归系数,根据方程7在浓度校正量计算电路17中计算关于“近距离闪光”、“钨丝”和“其他”的浓度校正量Tst、Ttg和Tot(功能块17b到17d)。
向针对对象类型“检测范围之外”的浓度校正值计算电路18施加在浓度校正量计算电路17中计算的光照类型“背光”、“近距离闪光”、“钨丝”和“其他”中各个类型的浓度校正量Tbl、Tst、Ttg和Tot、以及在光照确信度计算电路16中计算的光照类型“背光”、“近距离闪光”、“钨丝”和“其他”中各个类型的光照确信度(假设为Qbl、Qst、Qtg和Qot)。
根据如下方程8,在针对对象类型“检测范围之外”的浓度校正值计算电路18中计算对象类型“检测范围之外”的浓度校正值Tot(s)(功能块18a)。
Tot(s)=s+WblTbl+WstTst+WtgTtg+WotTot ...方程8
在上述方程8中,变量s是输入浓度值,Wbl、Wst、Wtg和Wot分别是基于光照类型“背光”、“近距离闪光”、“钨丝”和“其他”的确信度的权重。此外,Tbl、Tst、Ttg和Tot分别是光照类型“背光”、“近距离闪光”、“钨丝”和“其他”的浓度校正量。
根据如下方程,计算方程8中光照类型“背光”、“近距离闪光”、“钨丝”和“其他”的各个权重Wbl、Wst、Wtg和Wot:
Wr=Qr/∑(Qr) ...方程9
在方程9中,变量r表示这与光照类型“背光”、“近距离闪光”、“钨丝”和“其他”中的每一个相关。
将根据方程8而得的与对象类型“检测范围之外”有关的浓度校正值Tot代入第一实施例的方程1。计算反映光照确信度的统一浓度校正值T(s)。
在图像校正电路15中,使用所计算的统一浓度校正值T(s),对输入图像数据的浓度进行校正。在这一点上,本实施例与第一实施例相同。
在第二实施例中,如上所述,在输入图像中存在对象类型“检测范围之外”的情况下,计算与光照类型的确信度(基于确信度的权重)相符合的“检测范围之外”浓度校正值,并将所计算的浓度校正值反映在统一浓度校正值中。实现了与光照类型相符合的浓度校正。
在第二实施例中,也以类似于第一实施例的修改1的方式,可以设置成指定(限定)其光照确信度待决定的光照类型。因为仅仅相对于所指定的光照类型计算确信度和浓度校正量,所以可以缩短光照确信度计算电路16中的处理时间。例如,因为移动电话未配备有闪光,所以使用移动电话捕获的图像不包括近距离闪光的光照条件下的图像。在这种情况下,指定光照类型“背光”、“钨丝”和“其他”。不计算关于“近距离闪光”的确信度和浓度校正量。
以类似于第一实施例的修改2的方式,可以设置成接受由操作员输入的光照类型确信度。在这种情况下,针对光照类型,将由操作员输入的光照类型确信度按照原样从确信度计算电路16中输出。不执行确信度计算电路16中针对光照类型的确信度计算处理。
此外,以类似于第一实施例的修改3的方式,可以设置成在显示屏幕上与待处理的图像一起显示由确信度计算电路16针对光照类型而计算的光照类型确信度,并接受操作员对光照类型确信度的修正。针对光照类型,从确信度计算电路16中输出由操作员修正的光照类型确信度。
在上述第一和第二实施例中,针对每个对象类型,计算浓度校正值(浓度灰度级校正值),并根据所计算的对象类型确信度(基于确信度的权重)和输入的重要程度,计算统一浓度校正值。然而,可以不计算浓度校正值,或除了计算浓度校正值之外,还可以计算C、M和Y浓度的白平衡已改变的CMY浓度校正值、输出饱和度已与输入饱和度相符合的饱和度灰度级校正值、以及其他灰度级校正值,并可以计算统一CMY校正值和统一饱和度灰度级校正值等。在这种情况下,使用统一CMY校正值和统一饱和度灰度级校正值,对输入图像数据进行校正。
图像处理设备1和1A可以由如上所述的硬件电路实现,其部分或整体可以由软件(程序)实现。
Claims (4)
1.一种图像处理设备,包括:
对象类型确信度计算装置,用于计算对包含在由所应用的图像数据表示的图像中的各个图像的置信度程度进行表示的确信度,所述各个图像表示预定的多个对象类型,根据从图像数据获得的特征值,对每个规定对象类型执行所述计算;
对象类型校正值计算装置,用于根据图像数据来计算与多个对象类型的各个类型有关的校正值;
校正值统一装置,用于通过利用与所述对象类型确信度计算装置所计算的关于多个对象类型的各个类型的对象类型确信度相符合的权重,对由所述对象类型校正值计算装置计算的关于对应对象类型的每一个对象类型校正值进行加权,并统一由加权而获得的对象类型值,来计算统一校正值;
图像数据校正装置,用于使用由所述校正值统一装置计算的统一校正值,对图像数据进行校正;
对象类型指定装置;
其中所述对象类型确信度计算装置计算与所述对象类型指定装置所指定的对象类型相关的对象类型确信度、或计算与不同于所述对象类型指定装置所指定的对象类型的其他对象类型相关的对象类型确信度;以及
所述对象类型校正值计算装置计算与所述对象类型指定装置所指定的对象类型相关的对象类型校正值、或计算与不同于所述对象类型指定装置所指定的对象类型的其他对象类型相关的对象类型校正值。
2.根据权利要求1所述的图像处理设备,其中,对于由所述对象类型确信度计算装置计算的确信度小于规定值的对象类型,所述对象类型校正值计算装置放弃计算关于所述对象类型的校正值。
3.根据权利要求1所述的图像处理设备,其中所述校正值统一装置通过对于多个对象类型的各个类型、将应用的或预先设定的重要程度、由所述对象类型确信度计算装置相对于对应对象类型所计算的对象类型确信度、以及由所述对象类型校正值计算装置相对于对应对象类型所计算的校正值相乘在一起,并统一由相乘而获得的对象类型值,来计算统一校正值。
4.一种图像处理方法,包括:
计算对包含在由所应用的图像数据表示的图像中的各个图像的置信度程度进行表示的确信度,所述各个图像表示预定的多个对象类型,根据从图像数据获得的特征值,对每个规定对象类型执行所述计算;
根据图像数据来计算与多个对象类型的各个类型有关的校正值;
通过用与关于多个对象类型的各个类型的对象类型确信度相符合的权重,对关于对应对象类型而计算的对象类型校正值的每一个进行加权,并统一由加权而获得的对象类型值,来计算统一校正值;以及
使用所计算的统一校正值,对图像数据进行校正;
计算与所指定的对象类型相关的对象类型确信度、或计算与不同于所指定的对象类型的其他对象类型相关的对象类型确信度;以及
计算与所指定的对象类型相关的对象类型校正值、或计算与不同于所指定的对象类型的其他对象类型相关的对象类型校正值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004285681 | 2004-09-30 | ||
JP285681/2004 | 2004-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101032159A CN101032159A (zh) | 2007-09-05 |
CN100559826C true CN100559826C (zh) | 2009-11-11 |
Family
ID=36119139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005800328462A Active CN100559826C (zh) | 2004-09-30 | 2005-09-30 | 图像处理设备及其方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7894673B2 (zh) |
EP (1) | EP1802096B1 (zh) |
JP (1) | JP4549352B2 (zh) |
CN (1) | CN100559826C (zh) |
WO (1) | WO2006036027A1 (zh) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8111940B2 (en) | 2004-09-30 | 2012-02-07 | Fujifilm Corporation | Image correction apparatus and method, and image correction program |
US8761532B2 (en) * | 2007-02-20 | 2014-06-24 | Xerox Corporation | Method and system for the selective application of automatic image enhancement to digital images |
JP4992519B2 (ja) * | 2007-04-02 | 2012-08-08 | セイコーエプソン株式会社 | 情報処理方法、情報処理装置及びプログラム |
JP2009004887A (ja) * | 2007-06-19 | 2009-01-08 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
US8174731B2 (en) * | 2007-08-31 | 2012-05-08 | Brother Kogyo Kabushiki Kaisha | Image processing device outputting image for selecting sample image for image correction |
JP4433017B2 (ja) * | 2007-08-31 | 2010-03-17 | ブラザー工業株式会社 | 画像処理装置及び画像処理プログラム |
JP4793356B2 (ja) * | 2007-08-31 | 2011-10-12 | ブラザー工業株式会社 | 画像処理装置及び画像処理プログラム |
US8159716B2 (en) | 2007-08-31 | 2012-04-17 | Brother Kogyo Kabushiki Kaisha | Image processing device performing image correction by using a plurality of sample images |
US8094343B2 (en) * | 2007-08-31 | 2012-01-10 | Brother Kogyo Kabushiki Kaisha | Image processor |
JP4442664B2 (ja) | 2007-08-31 | 2010-03-31 | ブラザー工業株式会社 | 画像処理装置、画像処理方法、画像処理プログラム |
JP5440173B2 (ja) * | 2007-10-26 | 2014-03-12 | 日本電気株式会社 | 画像補正方法及び画像補正装置並びにプログラム |
JP4998794B2 (ja) * | 2007-11-29 | 2012-08-15 | Nkワークス株式会社 | 画像補正方法と画像補正装置 |
JP5148989B2 (ja) | 2007-12-27 | 2013-02-20 | イーストマン コダック カンパニー | 撮像装置 |
JP5132445B2 (ja) * | 2008-06-25 | 2013-01-30 | キヤノン株式会社 | 画像処理装置および画像処理方法並びにコンピュータプログラムおよび記憶媒体 |
JP5164692B2 (ja) * | 2008-06-27 | 2013-03-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
JP4772839B2 (ja) * | 2008-08-13 | 2011-09-14 | 株式会社エヌ・ティ・ティ・ドコモ | 画像識別方法および撮像装置 |
CN101895684B (zh) * | 2009-05-22 | 2012-11-28 | 奥林巴斯映像株式会社 | 摄影条件控制装置、照相机以及摄影条件控制方法 |
US8331684B2 (en) * | 2010-03-12 | 2012-12-11 | Sony Corporation | Color and intensity based meaningful object of interest detection |
JP5574816B2 (ja) | 2010-05-14 | 2014-08-20 | キヤノン株式会社 | データ処理装置及びデータ処理方法 |
JP5618670B2 (ja) * | 2010-07-21 | 2014-11-05 | キヤノン株式会社 | データ処理装置及びその制御方法 |
JP5578328B2 (ja) * | 2011-05-31 | 2014-08-27 | コニカミノルタ株式会社 | 画像読取装置 |
KR102093647B1 (ko) * | 2013-02-22 | 2020-03-26 | 삼성전자 주식회사 | 카메라를 구비하는 장치의 이미지 촬영장치 및 방법 |
KR101497933B1 (ko) * | 2013-08-19 | 2015-03-03 | 현대모비스(주) | 클러스터링 기법을 이용한 다수 영상의 합성 시스템 및 방법 |
CN105450923A (zh) * | 2014-09-25 | 2016-03-30 | 索尼公司 | 图像处理方法、图像处理装置以及电子设备 |
WO2016046664A1 (en) * | 2014-09-25 | 2016-03-31 | Sony Corporation | Image processing method, image processing apparatus and electronic device |
US11395020B2 (en) * | 2016-09-08 | 2022-07-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Bitrate control in a virtual reality (VR) environment |
JP6937603B2 (ja) * | 2017-04-21 | 2021-09-22 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 |
US10970552B2 (en) * | 2017-09-28 | 2021-04-06 | Gopro, Inc. | Scene classification for image processing |
US11503208B2 (en) | 2018-03-26 | 2022-11-15 | Huawei Technologies Co., Ltd. | Intelligent assistant control method and terminal device for recommending a photographing mode to a user |
CN108737797B (zh) * | 2018-08-17 | 2020-03-27 | Oppo广东移动通信有限公司 | 白平衡处理方法、装置和电子设备 |
CN109451292B (zh) * | 2018-12-15 | 2020-03-24 | 深圳市华星光电半导体显示技术有限公司 | 图像色温校正方法及装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0832838A (ja) * | 1994-07-21 | 1996-02-02 | Matsushita Electric Ind Co Ltd | 階調補正方法および階調補正装置 |
US5715377A (en) * | 1994-07-21 | 1998-02-03 | Matsushita Electric Industrial Co. Ltd. | Gray level correction apparatus |
JP3461626B2 (ja) * | 1995-07-28 | 2003-10-27 | シャープ株式会社 | 特定画像領域抽出方法及び特定画像領域抽出装置 |
JP2923894B1 (ja) * | 1998-03-31 | 1999-07-26 | 日本電気株式会社 | 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体 |
JP2000196890A (ja) * | 1998-12-28 | 2000-07-14 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びに記録媒体 |
JP2001076149A (ja) * | 1999-09-06 | 2001-03-23 | Fuji Photo Film Co Ltd | 主要被写体抽出方法および装置 |
JP4154847B2 (ja) * | 2000-09-26 | 2008-09-24 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体 |
JP2002218480A (ja) | 2001-01-23 | 2002-08-02 | Minolta Co Ltd | 画像撮影装置 |
JP4197858B2 (ja) * | 2001-08-27 | 2008-12-17 | 富士通株式会社 | 画像処理プログラム |
JP4294896B2 (ja) * | 2001-09-26 | 2009-07-15 | 富士フイルム株式会社 | 画像処理方法および装置並びにそのためのプログラム |
JP2004173010A (ja) * | 2002-11-20 | 2004-06-17 | Konica Minolta Holdings Inc | 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体 |
JP2004240622A (ja) | 2003-02-05 | 2004-08-26 | Konica Minolta Holdings Inc | 画像処理方法、画像処理装置及び画像処理プログラム |
US20040151376A1 (en) * | 2003-02-05 | 2004-08-05 | Konica Minolta Holdings, Inc. | Image processing method, image processing apparatus and image processing program |
JP2004246673A (ja) * | 2003-02-14 | 2004-09-02 | Fuji Photo Film Co Ltd | 顔画像処理装置及びシステム |
-
2005
- 2005-09-30 JP JP2006537861A patent/JP4549352B2/ja active Active
- 2005-09-30 EP EP05790448.4A patent/EP1802096B1/en active Active
- 2005-09-30 US US11/664,112 patent/US7894673B2/en active Active
- 2005-09-30 CN CNB2005800328462A patent/CN100559826C/zh active Active
- 2005-09-30 WO PCT/JP2005/018577 patent/WO2006036027A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP1802096B1 (en) | 2019-10-23 |
WO2006036027A1 (ja) | 2006-04-06 |
US20070292038A1 (en) | 2007-12-20 |
CN101032159A (zh) | 2007-09-05 |
JPWO2006036027A1 (ja) | 2008-05-15 |
US7894673B2 (en) | 2011-02-22 |
EP1802096A4 (en) | 2011-04-13 |
EP1802096A1 (en) | 2007-06-27 |
JP4549352B2 (ja) | 2010-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100559826C (zh) | 图像处理设备及其方法 | |
JP4611069B2 (ja) | 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体 | |
CN104717432B (zh) | 处理一组输入图像的方法、图像处理设备和数字照相机 | |
KR100667663B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 | |
EP3542347B1 (en) | Fast fourier color constancy | |
US8644638B2 (en) | Automatic localized adjustment of image shadows and highlights | |
US7668365B2 (en) | Determination of main object on image and improvement of image quality according to main object | |
US7936377B2 (en) | Method and system for optimizing an image for improved analysis of material and illumination image features | |
CN107451969A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
US20100195902A1 (en) | System and method for calibration of image colors | |
US9460521B2 (en) | Digital image analysis | |
CN107888840A (zh) | 高动态范围图像获取方法和装置 | |
CN101959018A (zh) | 图像处理设备、图像处理方法和程序 | |
EP1844441A1 (en) | Determining scene distance in digital camera images | |
CN101983507A (zh) | 自动红眼检测 | |
JP2014520446A (ja) | 画像の自動露出補正 | |
CN114066857A (zh) | 红外图像质量评价方法、装置、电子设备及可读存储介质 | |
CN106770274A (zh) | 作物的生理表征检测方法、可携带式检测装置与检测系统 | |
Ershov et al. | The cube++ illumination estimation dataset | |
JP2005124186A (ja) | 画像カラーバランス補正システムおよび方法 | |
CN108769505A (zh) | 一种图像处理集方法及电子设备 | |
US20030151758A1 (en) | Image processing unit, image processing method, and image processing program | |
JP4087749B2 (ja) | 画像処理システム及び画像処理方法 | |
JPH11341501A (ja) | 電子写真撮像装置、電子写真撮像方法、電子写真撮像制御プログラムを記録した媒体 | |
CN110035232A (zh) | 一种基于目标对象的图像获取方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |