CN102651818A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN102651818A
CN102651818A CN2012100410971A CN201210041097A CN102651818A CN 102651818 A CN102651818 A CN 102651818A CN 2012100410971 A CN2012100410971 A CN 2012100410971A CN 201210041097 A CN201210041097 A CN 201210041097A CN 102651818 A CN102651818 A CN 102651818A
Authority
CN
China
Prior art keywords
white balance
balance adjusting
colour temperature
picture signal
look
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100410971A
Other languages
English (en)
Other versions
CN102651818B (zh
Inventor
上田敬史
水口淳
佐藤大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102651818A publication Critical patent/CN102651818A/zh
Application granted granted Critical
Publication of CN102651818B publication Critical patent/CN102651818B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明公开一种图像处理装置、图像处理方法和程序。图像处理装置包括:色温估计单元,其构造成估计成像时光源的色温;白平衡调节单元,其构造成执行第一白平衡调节和第二白平衡调节,在第一白平衡调节中,当所估计的色温在预定的色温范围内时,基于所估计的色温调节图像信号的白平衡,在第二白平衡调节中,当所估计的色温在预定的色温范围内时以及当所估计的色温不在预定的色温范围内时,都基于所估计的色温调节图像信号的白平衡;以及色区域提取单元,其构造成通过使用施加了第二白平衡调节的图像信号来提取特定颜色的色区域。

Description

图像处理装置、图像处理方法和程序
技术领域
本发明涉及图像处理装置、图像处理方法和程序,更具体而言,本发明涉及正确地和容易地提取特定颜色的色区域的技术。
背景技术
在现有技术中,当从拾取图像中提取特定颜色的色区域时,由于光源的影响而不能正确地提取特定颜色的色区域。例如,在从通过在诸如钨灯的低色温光源下进行成像而获得的拾取图像提取黄色或者红色的色区域的情况下,无彩色区域由于光源的影响而变成提取的目标。因而,在日本未审查专利申请公报No.2009-170966中,当检测到特定颜色的色区域时,检测特定颜色时的亮度信号和颜色信号的阈值依赖于色温信息而变化。
此外,白平衡调节机构设置到成像设备等,以校正光源的影响。因而,在日本未审查专利公报No.2005-333433中,当图像处理应用到特定颜色的色区域时,根据通过白平衡调节进行的白色点变化而改变与来自外部的标识对应的色区域。
发明内容
此处,在检测特定颜色时的亮度信号和颜色信号的阈值依赖于色温信息而改变的情况下,必须预先准备示出阈值如何基于色温信息改变的改变信息或者每个色温的阈值。此外,同样在根据通过白平衡调节进行的白色点变化而改变色区域的情况下,必须预先准备示出色区域如何根据白色点变化而改变的变化信息。即,应该预先准备许多信息以提取色区域。因而,不管光源的色温,都不容易提取特定颜色的色区域。
期望提供一种图像处理装置、图像处理方法和程序,通过该装置、方法和程序,能正确地和容易地提取特定颜色的色区域。
根据本发明的实施例,提供一种图像处理装置,其包括色温估计单元,其构造成估计成像时光源的色温;白平衡调节单元,其构造成执行第一白平衡调节和第二白平衡调节,在第一白平衡调节中,当所估计的色温在预定的色温范围内时,基于所估计的色温调节图像信号的白平衡,在第二白平衡调节中,当所估计的色温在预定的色温范围内时以及当所估计的色温不在预定的色温范围内时,都基于所估计的色温调节图像信号的白平衡;以及色区域提取单元,其构造成通过使用施加了第二白平衡调节的图像信号来提取特定颜色的色区域。
在本发明的实施例中,估计成像时光源的色温。例如基于拾取图像的图像信号或者通过使用色温传感器等来估计色温。在第一白平衡调节中,当估计的色温在预定的色温范围内时,基于估计的色温调节图像信号的白平衡。此外,在第二白平衡调节中,即使当估计的色温不在预定的色温范围内时,仍基于估计的色温调节图像信号的白平衡。通过使用被施加第二白平衡调节的图像信号,执行特定颜色的颜色区域的提取。例如,对于提取的颜色区域或者除了提取的颜色区域以外的区域,基于颜色区域的提取结果,通过使用其白平衡被调节的图像信号来执行调节亮度、饱和度和锐度中至少一者的图像调节。作为其白平衡被调节的图像信号,例如使用被施加第一白平衡调节的图像信号。此外,根据用户操作设定要被提取的区域的特定颜色。
根据本发明的另一实施例,提供一种图像处理方法,包括:估计成像时光源的色温;执行第一白平衡调节和第二白平衡调节,在第一白平衡调节中,当所估计的色温在预定色温范围内时,基于所估计的色温调节图像信号的白平衡,在第二白平衡调节中,当所估计的色温在预定的色温范围内时以及当所估计的色温不在预定色温范围内时,都基于所估计的色温调节图像信号的白平衡;并且通过使用施加了第二白平衡调节的图像信号来提取特定颜色的色区域。
根据本发明的另一实施例,提供一种使计算机执行图像处理的程序,包括:执行第一白平衡调节和第二白平衡调节,在第一白平衡调节中,当成像时光源的色温在预定色温范围内时,基于色温调节图像信号的白平衡,在第二白平衡调节中,当所估计的色温在预定的色温范围内时以及当色温不在预定色温范围内时,都基于色温调节图像信号的白平衡;并且通过使用施加了第二白平衡调节的图像信号来提取特定颜色的色区域。
根据该另一实施例的程序是能设置到通用目的计算机系统的程序,该通用计算机系统程序能例如通过诸如光盘、磁盘和半导体存储器或者诸如网络的通信介质记录介质而以计算机可读的方式执行各种程序代码。通过以计算机可读的方式提供这种程序,与该程序对应的处理在计算机系统上实现。
根据本发明实施例,估计成像时光源的色温。当所估计的色温在预定的色温范围内时,执行其中基于所估计的色温调节图像信号的白平衡的第一白平衡调节。即使当所估计的温度不在预定的色温范围内时,执行其中基于所估计的色温调节图像信号的白平衡的第二白平衡调节。此外,通过使用施加了第二白平衡调节的图像信号执行特定颜色的色区域的提取,使得不管光源的色温如何能正确地和容易地提取特定颜色的色区域,而不预先准备示出如何基于色温信息改变阈值的改变信息或者每个色温的阈值等。
附图说明
图1图示成像设备的构造;
图2是示出根据实施例的操作的流程图;
图3图示预定的色温范围;
图4图示当使用色差信号Cb和Cr时的颜色判定标准;
图5A和图5B图示了图像调节操作;
图6是示出根据另一实施例的操作的流程图;以及
图7A至图7E图示第二实施例的操作。
具体实施方式
以下将描述本发明的实施例。以下列顺序进行描述。
1.成像设备的构造
2.根据实施例的操作
3.根据另一实施例的操作
1.成像设备的构造
图1图示使用根据本发明的实施例的成像处理装置的成像设备的构造。此成像设备10包括成像光学系统11、成像单元12、预处理单元13、色温估计单元21、白平衡调节单元22、色区域提取单元23、图像调节单元24、后处理单元31、编码单元32、输出单元33、控制单元40和用户界面单元41。此处,色温估计单元21、白平衡调节单元22、色区域提取单元23和图像调节单元24构成根据本发明实施例的图像处理装置。
成像光学系统11主要由透镜构成,并在成像单元12的光接收表面上形成未示出的对象的光学图像。
成像单元12由诸如互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)的固态成像元件组成。成像单元12通过成像光学系统11产生与形成在光接收表面上的光学图像对应的成像信号,并将成像信号输出到预处理单元13。
预处理单元13将相关双重采样(CDS)、模拟放大处理、A/D转换处理等施加到从成像单元12供应的成像信号,并将成像信号输出到色温估计单元21。
色温估计单元21通过使用从预处理单元13供应的成像信号执行用于白平衡控制的信号分量检测,以基于检测结果估计在拾取图像产生中光源的色温。色温估计单元21可以例如不仅通过使用成像信号而且通过使用色温传感器估计拾取图像产生中的光源的色温。
白平衡调节单元22基于在色温估计单元21中估计的色温而设定白平衡增益,并通过设定的白平衡增益而调节每个颜色信号的信号水平。因而,白平衡调节单元22执行白平衡调节。此外,在所估计的色温在预定色温范围内的情况下,白平衡调节单元22执行第一白平衡调节,通过第一白平衡调节,允许白平衡遵循所估计的色温。此外,不仅在所估计的色温在预定色温范围内的情况下而且在所估计的色温不在色温范围内的情况下,白平衡调节单元22执行第二白平衡调节,通过第二白平衡调节,允许白平衡遵循所估计的色温。白平衡调节单元22将对其施加了第二白平衡调节的图像信号输出到色区域提取单元23。此外,白平衡调节单元22将对其施加了第一白平衡调节的图像信号或者对其施加了第二白平衡调节的图像信号输出到图像调节单元24。此处,当在色区域提取单元23中提取特定颜色的色区域时,白平衡调节单元22可以执行第二白平衡调节。
色区域提取单元23通过使用对其施加了第二白平衡调节的图像信号而提取拾取图像中的特定颜色的色区域,以将提取结果输出到图像调节单元24。
图像调节单元24对于施加了白平衡调节的图像信号基于色区域的提取结果而执行图像调节。图像调节单元24例如基于色区域的提取结果而调节提取的色区域或者除了提取的色区域以外的色区域的饱和度、亮度和锐度中的至少一者。图像调节单元24将图像调节之后的图像信号输出到后处理单元31。图像调节单元24可以不仅执行饱和度、亮度和锐度中至少一者的调节,而且还执行其他图像调节。
后处理单元31通过使用从图像调节单元24输出的图像信号而执行后处理。后处理单元31执行诸如改变拾取的图像的大小的图像大小变换处理、改变拾取的图像的方向的旋转处理和拾取图像的反转处理的后处理。后处理单元31将后处理之后的图像信号输出到编码单元32。
编码单元32压缩和编码从后处理单元31供应的图像信号,以产生具有预定格式的编码数据。例如,编码单元32通过使用诸如JPEG和MPEG的格式而执行压缩编码,以产生编码数据,并将编码数据输出到输出单元33。
输出单元33执行将从编码单元32供应的编码数据输出到外部的处理。输出单元33例如执行将编码的数据供应到外部装置的处理或者将编码数据记录在存储介质中的处理。
用户界面(I/F)单元41连接到控制单元40。用户界面单元41从用户接收操作输入,并包括电源开关、诸如快门键和变焦键的操作键、用于执行菜单显示、菜单项的选择或者各种设定等的各种操作键。此外,在用户界面单元41中,执行用于指定在色区域提取单元23中提取的色区域的特定颜色的操作、用于指定如何在图像调节单元24中调节图像的操作、用于指定如何在后处理单元31中执行后处理的操作等。用户界面单元41将与用户操作对应的操作信号输出到控制单元40。
控制单元40由微计算机等组成。控制单元40执行存储程序,并基于操作信号控制每个单元,以使成像设备10的操作与用户操作对应。
2.根据实施例的操作
图2是图示根据实施例的图像处理装置的操作的流程图。在步骤ST1中,色温估计单元21执行色温估计。色温估计单元21估计拾取图像产生中的光源的色温,并进行到步骤ST2。
在步骤ST2,白平衡调节单元22判定所估计的色温是否在预定色温范围内。当所估计的色温在预定色温范围内时,白平衡调节单元22进行到步骤ST3。当所估计的色温不在预定色温范围内时,即,当所估计的色温低于或者高于预定色温范围时,白平衡调节单元22进行到步骤ST4。
在步骤ST3,白平衡调节单元22将所估计的色温设定为第一色温和第二色温,并进行到步骤ST7。此处,第一色温设定为拾取图像产生中的光源的、当执行第一白平衡调节时使用的色温。第二色温设定为拾取图像产生中的光源的、当执行第二白平衡调节时使用的色温。第一色温和第二色温具有相同的估计值。
在步骤ST4,白平衡调节单元22判定所估计的色温是否低于预定色温范围。当所估计的色温低于预定色温范围时,白平衡调节单元22进行到步骤ST5。当所估计的色温高于预定色温范围时,白平衡调节单元22进行到步骤ST6。
在步骤ST5,白平衡调节单元22将范围下限色温和所估计的色温分别设定为第一色温和第二色温,并进行到步骤ST7。此处,范围下限色温是示出图3所示的预定色温范围的下限的色温。
在步骤ST6,白平衡调节单元22将范围上限色温和所估计色温分别设定为第一色温和第二色温,并进行到步骤ST7。范围上限色温是示出图3所示的预定色温范围的上限的色温。
在步骤ST7中,白平衡调节单元22判定是否执行色区域的提取。当色区域提取单元23设定成提取特定颜色的色区域时,白平衡调节单元22进行到步骤ST8,并且当色区域提取单元23不设定成提取色区域时,白平衡调节单元22进行到步骤ST12。
在步骤ST8,白平衡调节单元22执行第二白平衡调节。当拾取图像产生中的光源的色温是第二色温时,白平衡调节单元22通过设定白平衡增益并调节每个颜色信号的信号水平而执行第二白平衡调节。然后,白平衡调节单元22进行到步骤ST9。
在步骤ST9,白平衡调节单元22执行信号转换。例如,当通过使用三原色的图像信号执行白平衡调节时,白平衡调节单元22将三原色的(对其施加了白平衡调节的)图像信号转换成亮度信号和色差信号。然后,白平衡调节单元22进行到步骤ST10。此处,步骤ST9中的信号转换是当白平衡调节单元22输出的图像信号的信号系统和当在色区域提取单元23中提取特定颜色的色区域时使用的图像信号的信号系统彼此不同时提供的处理。因而,当从白平衡调节单元22输出的图像信号的信号系统和当在色区域提取单元23中提取特定颜色的色区域时使用的图像信号的信号系统彼此相等时,不必提供步骤ST9的处理。例如,当通过使用三原色图像信号的(对其施加了白平衡调节的)图像信号提取色区域时或者当通过使用亮度信号和色差信号执行白平衡调节时,步骤ST9的信号转换是不必要的。
在步骤ST10,色区域提取单元23提取色区域。色区域提取单元23通过使用对其施加了第二白平衡调节的图像信号而提取拾取图像中的特定颜色的色区域,并进行到步骤ST11。此处,在色区域提取单元23中使用的图像信号是对其施加了第二白平衡调节的图像信号,即,即使当所估计的色温不在预定色温范围内时也对其正确地施加白平衡调节的图像信号,也就是说,根据所估计的色温而对其施加白平衡调节的图像信号。因而,色区域调节单元23能通过将对其施加了第二白平衡调节的图像信号与预定特定颜色的颜色判定标准相比较,来正确地提取特定颜色的色区域。图4图示当使用色差信号Cb和Cr时的颜色判定标准。设定为特定颜色能被切换,并且当用户例如选择“蓝色”作为特定颜色时,,色区域提取单元23提取其中色差信号Cb和Cr处于“蓝色”范围中的图像的区域。例如,当用户选择“黄色”作为特定颜色时,色区域提取单元23提取其中色差信号Cb和Cr处于“黄色”的范围中的图像的区域。此外,可以设定未示出的新鲜颜色的颜色判定标准,并且可以自动地提取人的面部、手部等的区域。由于使用了对其施加了第二白平衡调节的图像信号,不必针对每个色温设置颜色判定标准,并能容易提取特定颜色的色区域。
在步骤ST11,图像调节单元24执行图像调节。图像调节单元24基于色区域的提取结果而对提取的色区域或者除了提取的色区域以外的色区域执行调节。当图像调节单元24降低除了提取的色区域以外的区域的饱和度以使该其他区域具有无彩色颜色时,例如,能产生所谓的局部颜色的图像。通过调节提取的颜色区域的亮度以增大对比度,能从图5A所示的拾取的图像产生似乎通过使用图5B所示的偏振过滤器而拍摄的拾取的图像。此外,不仅可以调节亮度或者饱和度,还可以调节锐度。例如,通过执行用于降低除了提取的色区域以外的区域的锐度的处理,能产生特定颜色的色区域中的对象能被聚焦的拾取的图像。此处,对提取的颜色区域和除了提取的颜色区域以外的区域能执行不同的调节。
当判定为在步骤ST7不执行色区域的提取,并且步骤进行到步骤ST12时,白平衡调节单元22执行第一白平衡调节。当拾取图像产生中的光源的色温是第一色温时,白平衡调节单元22通过设定白平衡增益并调节每个颜色信号的信号水平而执行第一白平衡调节。然后,白平衡调节单元22进行到步骤ST13。即,在第一白平衡调节中,当所估计的色温在预定色温范围内时,根据色温执行白平衡调节。此外,在第一白平衡调节中,当所估计的色温低于预定色温范围时,在色温是范围下限色温的条件下执行白平衡调节。而且,在第一白平衡调节中,当所估计的色温高于预定色温范围时,在色温是范围上限色温的条件下执行白平衡调节。因而,当所估计的色温不在预定色温范围内时,基于对其施加了第一白平衡调节的图像信号的图像变成具有光源的氛围的图像。
在步骤ST13,白平衡调节单元22执行信号转换。例如,当通过使用三原色的图像信号执行白平衡调节时,白平衡调节单元22将三原色的、对其施加了白平衡调节的图像信号转换成亮度信号和色差信号。此处,步骤ST13中的信号转换是当从白平衡调节单元22输出的图像信号的信号系统和在后处理单元的后处理中使用的图像信号的信号系统彼此不同时设置的处理。因而,当从白平衡调节单元22输出的图像信号的信号系统和在后处理单元31的后处理中使用的图像信号的信号系统彼此相等时,不必设置步骤ST13的处理。
因而,色区域提取单元23通过使用对其施加了第二白平衡调节的图像信号来提取色区域。即,即使当所估计的色温不在预定色温范围内,也根据所估计的色温执行白平衡调节,并且通过使用对其施加了白平衡的图像信号来提取色区域。因而,不管光源的色温如何,也能正确地和容易地提取特定颜色的色区域,而不预先准备示出如何基于色温信息改变阈值的色温信息或者每个色温的阈值等。
此外,通过对被施加了第二白平衡调节的图像信号执行图像调节,根据特定颜色的色区域的判定结果,通过根据所估计的色温调节白平衡的图像能确认图像调节的处理结果。
此处,当不执行色区域的提取时,执行第一白平衡调节,使得当所估计的色温低于或者高于预定色温范围时,能产生具有光源的颜色的图像。
3.根据另一实施例的操作
在根据以上所述实施例的操作中,基于色区域的判定结果对被施加了第二白平衡调节的图像信号执行图像调节。然而,如果基于色区域的判定结果对被施加了第一白平衡调节的图像信号执行图像调节,能产生获得使得根据特定颜色的色区域的判定结果对具有光源的氛围的图像执行图像调节的图像。在以下另一实施例中,将描述基于色区域的判定结果而对被施加了第一白平衡调节的图像信号执行图像调节的情况。
图6是图示根据其他实施例的图像处理装置的操作的流程图。在步骤ST21中,色温估计单元21执行色温估计。色温估计单元21估计拾取图像产生中的光源的色温,并进行到步骤ST22。
在步骤ST22,白平衡调节单元22判定所估计的色温是否在预定色温范围内。当所估计的色温在预定的色温范围内时,白平衡调节单元22进行到步骤ST23。当所估计的色温不在预定色温范围内时,即,当所估计的色温低于或者高于预定的色温范围时,白平衡调节单元22进行到步骤ST24。
在步骤ST23,白平衡调节单元22将所估计的色温设定为第一色温和第二色温,并进行到步骤ST27。第一色温设定为拾取图像产生中光源的、当执行第一白平衡调节时使用的色温。第二色温设定为在拾取图像产生中光源的、当执行第二白平衡调节时使用的色温。第一色温和第二色温具有相同的估计值。
在步骤ST24,白平衡调节单元22判定所估计的色温是否低于预定的色温范围。当所估计的色温低于预定的色温范围时,白平衡调节单元22进行到步骤ST25。当所估计的色温高于预定的色温范围时,白平衡调节单元22进行到步骤ST26。
在步骤ST25,白平衡调节单元22将范围下限色温和所估计的色温分别设定为第一色温和第二色温,并进行到步骤ST27。范围下限色温是示出预定的色温范围的下限的色温。
在步骤ST26,白平衡调节单元22将范围上限色温和所估计的色温分别设定为第一色温和第二色温,并进行到步骤ST27。范围上限色温是示出预定的色温范围的上限的色温。
在步骤ST27,白平衡调节单元22判定是否执行色区域的提取。当色区域提取单元24设定成提取特定颜色的色区域时,白平衡调节单元22进行到步骤ST28,并且当色区域提取单元23不设定成提取色区域时,白平衡调节单元22进行到步骤ST34。
在步骤ST28,白平衡调节单元22执行第二白平衡调节。当拾取图像产生中的光源的色温是第二色温时,白平衡调节单元22通过设定白平衡增益并调节每个颜色信号的信号水平而执行第二白平衡调节。然后,白平衡调节单元22进行到步骤ST29。
在步骤ST29,白平衡调节单元22执行信号转换。例如,当通过使用三原色的图像信号执行白平衡调节时,白平衡调节单元22将三原色的图像信号的(对其施加了白平衡调节的)图像信号转换成亮度信号和色差信号。然后,白平衡调节单元22进行到步骤ST30。此处,当从白平衡调节单元22输出的图像信号的信号系统和当在色区域提取单元23中提取特定颜色的色区域时使用的图像信号的信号系统彼此此相等时,不必设置步骤ST29的处理。
在步骤ST30,色区域提取单元23提取色区域。色区域提取单元23通过使用被施加了第二白平衡调节的图像信号而提取拾取的图像中的特定颜色的色区域,并进行到步骤ST31。此处,在色区域提取单元31中使用的图像信号是被施加了第二白平衡调节的图像信号,即,即使所估计的色温超过遵循设定范围时也被正确地施加白平衡调节的图像信号,也就是说,根据所估计的色温而被施加白平衡调节的图像信号。因而,色区域提取单元23能通过使用被施加了第二白平衡调节的图像信号而正确地提取特定颜色的色区域。
在步骤ST31,白平衡调节单元22执行第一白平衡调节。当拾取图像产生中的光源的色温是第一色温时,白平衡调节单元22通过设定白平衡增益并调节每个颜色信号的信号水平而执行第一白色平衡调节。因而,白平衡调节单元22进行到步骤ST32。
在步骤ST32,白平衡调节单元23执行信号转换。例如,当三原色的图像信号从白平衡调节单元22供应时,白平衡调节单元22将三原色图像信号转换成亮度信号和色差信号,并进行到步骤ST33。此处,步骤ST23中的信号转换是当从白平衡调节单元22输出的图像信号的信号系统和在图像调节单元24中的图像调节中使用的图像信号的信号系统彼此不同时设定的处理。因而,当从白平衡调节单元22输出的图像信号的信号系统与在图像调节单元24中的图像调节中使用的图像信号的信号系统彼此相同时,不必设置步骤ST32的处理。
在步骤ST33中,图像调节单元24执行图像调节。图像调节单元24对提取的色区域或者除了提取的色区域以外的色区域基于色区域的提取结果而执行被施加了第一白平衡调节的图像信号的调节。图像调节单元24调节如上所述的饱和度、亮度、锐度等。
当判定为在步骤ST27中不执行色区域的提取并且处理进行到步骤ST34时,白平衡调节单元22执行第一白平衡调节。当拾取图像产生中的光源的色温是第一色温时,白平衡调节单元22通过设定白平衡增益并调节每个颜色信号的信号水平而执行第一白平衡调节。然而,白平衡调节单元22进行到步骤ST35。
在步骤ST35,白平衡调节单元22执行信号转换。例如,当通过使用三原色的图像信号执行白平衡调节时,白平衡调节单元22将三原色的、被施加了白平衡调节的图像信号转换成亮度信号和色差信号。此处,步骤ST35中的信号转换是当从白平衡调节单元22输出的图像信号的信号系统和在后处理单元31中的后处理中使用的图像信号的信号系统彼此不同时设置的处理。因而,当从白平衡调节单元22输出的图像信号的信号系统与在后处理单元31中的后处理中使用的图像信号的信号系统彼此相同时,不必设置步骤ST35的处理。
因而,色区域提取单元23通过使用被施加了第二白平衡调节的图像信号而提取色区域。因而,不管光源的色温如何,色区域提取单元23能正确地和容易地提取特定颜色的色区域,而不预先准备示出如何基于色温信息而改变阈值的改变信息或者每个色温的阈值。
此外,当执行色区域的提取时,基于色区域提取结果对被施加了第一白平衡调节的图像信号执行图像调节。因而,能产生这样的图像,获得该图像,使得根据特定颜色的色区域的判定结果而对具有摄影光源的氛围的图像执行图像调节。
图7A至图7E图示根据其他实施例的操作。例如,图7A图示包括作为对象的前侧花PA和后侧花PB的拾取的图像。此处,假定前侧花PA具有特定的颜色。此外,假定后侧花PB具有与被正确地施加了白平衡调节的图像上的特定颜色不同的颜色,并具有因为光源的色温低于下限色温而与未被施加了跟随光源色温的白平衡调节的图像上的颜色类似的颜色。
在此情况下,当通过使用因为光源的色温低于下限色温而未被施加了跟随光源的色温的白平衡调节的图像信号来提取特定颜色的色区域时,如图7B所示,具有特定颜色的前侧花和后侧花错误地判定为特定颜色的色区域。此处,由条纹图案示出了不是特定颜色的色区域的区域。
因而,当执行局部颜色处理以使除了特定颜色的色区域以外的部分的饱和度成为无彩色时或者当降低特定颜色的色区域以外的部分的锐度以强调特定颜色的色区域时,如图7C所示也强调不具有特定颜色的后侧的花。
然而,在本发明的实施例中,即使当成像时的光源的色温低于下限色温,通过使用基于光源的色温而被施加了白平衡调节的图像信号而提取特定颜色的色区域。因而,如图7D所示,仅仅具有特定颜色的前侧花判定为特定颜色的色区域,并且如图7E所示,仅仅前侧花能以强调的方式显示。
此外,基于颜色提取结果对被施加了第一白平衡调节的图像信号执行图像调节。因而,图像调节之后的图像是被获得使得根据特定颜色的色区域的判定结果而对具有光源氛围的图像执行图像调节的图像。
当不执行色区域的提取时,执行第一白平衡调节。因而,当所估计的色温低于或者高于预定色温范围时能产生具有光源的颜色的图像。
在此说明书中描述的一系列处理可以由硬件、软件或者硬件和软件的复合构造而执行。在由软件执行处理的情况下,记录处理顺序的程序安装在结合在专用硬件中的计算机中的存储器上,以被执行。可选地,程序能安装在能执行各种处理的通用计算机上以被执行。
例如,程序能预先记录在用作记录介质的硬盘或者只读存储器(ROM)中。可选地,程序能暂时或者永久地存储(记录)在诸如柔性盘、致密盘、只读存储器(CD-ROM)、磁光(MO)盘、数字万用盘(DVD)、磁盘和半导体存储卡的可移除记录介质中。这种可移除记录介质能设置为所谓的封装软件。
此外,程序不仅能从可移除记录介质安装在计算机上,还可以以无线或者有线的方式从下载地址通过诸如局域网(LAN)和因特网的网络传输到计算机。计算机能接收以此方式传输的程序,并将该程序安装到诸如内置硬盘的记录介质中。
应该注意,本发明的理解不受以上所述实施例的限制。实施例以举例的状态公开了本发明。实施例不限于例如在“蓝色”、“红色”、“黄色”和“绿色”中的一者设定特定颜色的条件下如图4所示通过使用色差信号Cb和Cr提取色区域的情况。例如,可以执行通过使用三原色的图像信号而对色区域进行提取或者在其他颜色设定为特定颜色的条件下对色区域进行提取。明显地,本领域的技术人员能在本发明的范围内修改或者替换实施例。即,本发明的实质应该根据本发明的实施例来判断。
本公开包含了与在2011年2月28日在日本专利局提交的日本优先权专利公开JP2011-041725中公开的主题相关的主题,该专利的全部内容通过引用而结合于此。

Claims (9)

1.一种图像处理装置,包括:
色温估计单元,其构造成估计成像时光源的色温;
白平衡调节单元,其构造成执行第一白平衡调节和第二白平衡调节,在所述第一白平衡调节中,当所估计的色温在预定的色温范围内时,基于所估计的色温调节图像信号的白平衡,在所述第二白平衡调节中,当所估计的色温在预定的色温范围内时以及当所估计的色温不在所述预定的色温范围内时,都基于所估计的色温调节图像信号的白平衡;以及
色区域提取单元,其构造成通过使用施加了所述第二白平衡调节的图像信号来提取特定颜色的色区域。
2.根据权利要求1所述的图像处理装置,还包括:
图像调节单元,其构造成通过使用在所述白平衡调节单元中调节了白平衡的图像信号,基于所述色区域的提取结果来执行图像调节。
3.根据权利要求2所述的图像处理装置,其中,所述图像调节单元对在所述白平衡调节单元中施加了所述第一白平衡调节的图像信号执行所述图像调节。
4.根据权利要求2所述的图像处理装置,其中,所述图像调节单元基于所述色区域的提取结果,对所述图像信号中所提取的色区域和除了所提取的色区域以外的区域中的至少一者执行亮度、饱和度和清晰度中至少一者的调节。
5.根据权利要求1所述的图像处理装置,其中,所述色区域提取单元通过将施加了所述第二白平衡调节的图像信号和在不依赖于色温的情况下对每个特定颜色预先设定的颜色判定标准进行比较来执行色区域的提取。
6.根据权利要求1所述的图像处理装置,其中,所述色区域提取单元能切换所述特定颜色。
7.根据权利要求1所述的图像处理装置,其中,当在所述色区域提取单元中不执行色区域的提取时,所述白平衡调节单元执行所述第一白平衡调节。
8.一种图像处理方法,包括:
估计成像时光源的色温;
执行第一白平衡调节和第二白平衡调节,在所述第一白平衡调节中,当所估计的色温在预定色温范围内时,基于所估计的色温调节图像信号的白平衡,在所述第二白平衡调节中,当所估计的色温在预定的色温范围内时以及当所估计的色温不在所述预定色温范围内时,都基于所估计的色温调节图像信号的白平衡;并且
通过使用施加了所述第二白平衡调节的图像信号来提取特定颜色的色区域。
9.一种使计算机执行图像处理的程序,包括:
执行第一白平衡调节和第二白平衡调节,在所述第一白平衡调节中,当成像时光源的色温在预定色温范围内时,基于所述色温调节图像信号的白平衡,在所述第二白平衡调节中,当所估计的色温在预定的色温范围内时以及当所述色温不在所述预定色温范围内时,都基于所述色温调节图像信号的白平衡;并且
通过使用施加了所述第二白平衡调节的图像信号来提取特定颜色的色区域。
CN201210041097.1A 2011-02-28 2012-02-21 图像处理装置、图像处理方法 Expired - Fee Related CN102651818B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011041725A JP5821214B2 (ja) 2011-02-28 2011-02-28 画像処理装置と画像処理方法およびプログラム
JP2011-041725 2011-02-28

Publications (2)

Publication Number Publication Date
CN102651818A true CN102651818A (zh) 2012-08-29
CN102651818B CN102651818B (zh) 2015-12-16

Family

ID=45656189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210041097.1A Expired - Fee Related CN102651818B (zh) 2011-02-28 2012-02-21 图像处理装置、图像处理方法

Country Status (4)

Country Link
US (1) US9077945B2 (zh)
EP (1) EP2493200B1 (zh)
JP (1) JP5821214B2 (zh)
CN (1) CN102651818B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079909A (zh) * 2014-07-23 2014-10-01 深圳英飞拓科技股份有限公司 一种图像自动白平衡方法及装置
CN106131526A (zh) * 2016-07-13 2016-11-16 凌云光技术集团有限责任公司 一种基于rgb空间的白平衡处理方法及装置
CN108063891A (zh) * 2017-12-07 2018-05-22 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109076167A (zh) * 2016-06-17 2018-12-21 索尼公司 图像处理器、摄像装置和图像处理系统
WO2019085889A1 (en) * 2017-10-30 2019-05-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. White balance processing method, electronic device and computer readable storage medium
CN111602390A (zh) * 2017-09-06 2020-08-28 深圳传音通讯有限公司 终端白平衡处理方法、终端及计算机可读存储介质
US11190745B2 (en) 2017-11-02 2021-11-30 Sony Corporation Image processing apparatus and image processing method
CN114025144A (zh) * 2021-09-29 2022-02-08 浙江大华技术股份有限公司 白平衡增益调整方法、电子设备和计算机可读存储介质
US11330177B2 (en) 2018-01-25 2022-05-10 Sony Semiconductor Solutions Corporation Image processing apparatus and image processing method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140035000A (ko) * 2012-09-11 2014-03-21 삼성전자주식회사 영상 촬영 장치 및 그 제어 방법
WO2014115421A1 (ja) * 2013-01-25 2014-07-31 富士フイルム株式会社 撮像装置およびその動作制御方法
CN114374830B (zh) * 2022-01-06 2024-03-08 杭州海康威视数字技术股份有限公司 图像白平衡方法、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04170888A (ja) * 1990-11-05 1992-06-18 Canon Inc ホワイトバランス補正装置
US5283635A (en) * 1988-06-03 1994-02-01 Canon Kabushiki Kaisha White balance adjusting device with plural thresholds for range control
US5412487A (en) * 1991-11-27 1995-05-02 Hitachi, Ltd. Video camera and apparatus for extracting an object
US6094220A (en) * 1996-02-08 2000-07-25 Hitachi, Ltd. Image pickup apparatus with image extracting unit
JP2009170966A (ja) * 2008-01-10 2009-07-30 Canon Inc 画像処理装置及び画像処理方法、並びにプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63219291A (ja) 1986-12-12 1988-09-12 Hitachi Ltd ホワイトバランス制御装置
JPH0787588B2 (ja) * 1987-12-29 1995-09-20 富士写真フイルム株式会社 自動白バランス調整方法及び装置
JPH0229191A (ja) * 1988-07-19 1990-01-31 Canon Inc 撮像装置
US5442408A (en) * 1989-11-17 1995-08-15 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance in response to luminance information signal and color information signal obtained from image sensing device
JP3343921B2 (ja) * 1991-08-06 2002-11-11 ミノルタ株式会社 人物適応露出制御装置
EP0530738A3 (en) 1991-09-02 1993-08-04 Matsushita Electric Industrial Co., Ltd. Automatic white balance device
JPH07162890A (ja) * 1993-12-08 1995-06-23 Matsushita Electric Ind Co Ltd ホワイトバランス調整装置
JP3847965B2 (ja) 1998-07-30 2006-11-22 キヤノン株式会社 撮像装置
JP4288395B2 (ja) * 1999-01-20 2009-07-01 株式会社ニコン ホワイトバランス調整機能を備える電子カメラ
US7146041B2 (en) * 2001-11-08 2006-12-05 Fuji Photo Film Co., Ltd. Method and apparatus for correcting white balance, method for correcting density and recording medium on which program for carrying out the methods is recorded
JP4135365B2 (ja) * 2002-01-21 2008-08-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7148921B2 (en) 2002-03-06 2006-12-12 Canon Kabushiki Kaisha White balance adjustment method, image sensing apparatus, program, and storage medium
JP4039147B2 (ja) * 2002-07-03 2008-01-30 コニカミノルタオプト株式会社 撮像装置
JP4208563B2 (ja) * 2002-12-18 2009-01-14 キヤノン株式会社 自動焦点調節装置
JP4235903B2 (ja) * 2003-09-10 2009-03-11 ソニー株式会社 撮像装置
JP4082383B2 (ja) * 2004-05-20 2008-04-30 ソニー株式会社 撮像装置、画像処理方法および色領域設定プログラム
WO2006059573A1 (ja) 2004-12-02 2006-06-08 Matsushita Electric Industrial Co., Ltd. 色彩調整装置及び方法
JP4887733B2 (ja) * 2005-10-28 2012-02-29 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP2008072575A (ja) * 2006-09-15 2008-03-27 Canon Inc 画像処理装置、方法、及びコンピュータプログラム
JP4994825B2 (ja) * 2006-12-22 2012-08-08 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4668956B2 (ja) 2007-06-29 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2009055077A (ja) * 2007-08-23 2009-03-12 Olympus Imaging Corp 撮像装置
JP5113514B2 (ja) * 2007-12-27 2013-01-09 キヤノン株式会社 ホワイトバランス制御装置およびホワイトバランス制御方法
KR101451982B1 (ko) * 2008-02-12 2014-10-24 삼성전자주식회사 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법
JP2009302700A (ja) * 2008-06-11 2009-12-24 Sony Corp 撮像装置、画像処理装置およびプログラム
US20100020193A1 (en) * 2008-07-28 2010-01-28 Texas Instruments Incorporated Method and apparatus for white balance
JP5308792B2 (ja) * 2008-11-28 2013-10-09 オリンパス株式会社 ホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム、および、撮像装置
JP5187241B2 (ja) * 2009-02-16 2013-04-24 株式会社リコー 撮像装置及び撮像方法
JP2010226364A (ja) * 2009-03-23 2010-10-07 Seiko Epson Corp ホワイトバランス処理装置、ホワイトバランス処理方法およびホワイトバランス処理プログラム
JP2011041725A (ja) 2009-08-24 2011-03-03 Masatoshi Higashii 寝具装置
US8547450B2 (en) * 2010-02-22 2013-10-01 Texas Instruments Incorporated Methods and systems for automatic white balance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283635A (en) * 1988-06-03 1994-02-01 Canon Kabushiki Kaisha White balance adjusting device with plural thresholds for range control
JPH04170888A (ja) * 1990-11-05 1992-06-18 Canon Inc ホワイトバランス補正装置
US5412487A (en) * 1991-11-27 1995-05-02 Hitachi, Ltd. Video camera and apparatus for extracting an object
US6094220A (en) * 1996-02-08 2000-07-25 Hitachi, Ltd. Image pickup apparatus with image extracting unit
JP2009170966A (ja) * 2008-01-10 2009-07-30 Canon Inc 画像処理装置及び画像処理方法、並びにプログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079909B (zh) * 2014-07-23 2016-04-13 深圳英飞拓科技股份有限公司 一种图像自动白平衡方法及装置
CN104079909A (zh) * 2014-07-23 2014-10-01 深圳英飞拓科技股份有限公司 一种图像自动白平衡方法及装置
KR102392221B1 (ko) 2016-06-17 2022-05-02 소니그룹주식회사 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템
CN109076167A (zh) * 2016-06-17 2018-12-21 索尼公司 图像处理器、摄像装置和图像处理系统
KR20190019904A (ko) * 2016-06-17 2019-02-27 소니 주식회사 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템
US11202046B2 (en) 2016-06-17 2021-12-14 Sony Corporation Image processor, imaging device, and image processing system
CN106131526A (zh) * 2016-07-13 2016-11-16 凌云光技术集团有限责任公司 一种基于rgb空间的白平衡处理方法及装置
CN106131526B (zh) * 2016-07-13 2018-11-16 凌云光技术集团有限责任公司 一种基于rgb空间的白平衡处理方法及装置
CN111602390A (zh) * 2017-09-06 2020-08-28 深圳传音通讯有限公司 终端白平衡处理方法、终端及计算机可读存储介质
US10609352B2 (en) 2017-10-30 2020-03-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. White balance processing method, electronic device and computer readable storage medium
US10812767B2 (en) 2017-10-30 2020-10-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. White balance processing method, electronic device and computer readable storage medium
WO2019085889A1 (en) * 2017-10-30 2019-05-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. White balance processing method, electronic device and computer readable storage medium
US11190745B2 (en) 2017-11-02 2021-11-30 Sony Corporation Image processing apparatus and image processing method
CN108063891B (zh) * 2017-12-07 2020-04-24 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108063891A (zh) * 2017-12-07 2018-05-22 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
US11330177B2 (en) 2018-01-25 2022-05-10 Sony Semiconductor Solutions Corporation Image processing apparatus and image processing method
CN114025144A (zh) * 2021-09-29 2022-02-08 浙江大华技术股份有限公司 白平衡增益调整方法、电子设备和计算机可读存储介质
CN114025144B (zh) * 2021-09-29 2024-02-06 浙江大华技术股份有限公司 白平衡增益调整方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
US20120218439A1 (en) 2012-08-30
US9077945B2 (en) 2015-07-07
CN102651818B (zh) 2015-12-16
JP2012178788A (ja) 2012-09-13
EP2493200A1 (en) 2012-08-29
JP5821214B2 (ja) 2015-11-24
EP2493200B1 (en) 2020-01-22

Similar Documents

Publication Publication Date Title
CN102651818A (zh) 图像处理装置、图像处理方法和程序
US10546615B2 (en) Digital image processing apparatus and method of controlling the same
US10037455B2 (en) Face detection device, imaging apparatus, and face detection method
EP3709260A1 (en) Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer-readable storage medium
US8897501B2 (en) Face detection device, imaging apparatus, and face detection method
EP3471395B1 (en) Method and electronic device for processing raw image acquired through camera by using external electronic device
US9747492B2 (en) Image processing apparatus, method of processing image, and computer-readable storage medium
JP4008778B2 (ja) 撮像装置
JP2006203879A (ja) カメラ装置
US11637960B2 (en) Image processing apparatus, image processing method, and storage medium
JP2005295379A (ja) 画像符号化方法,撮像装置およびコンピュータプログラム
JP2012133607A (ja) 画像処理装置、画像処理方法及びプログラム
JP2013106284A (ja) 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
JP2008015860A (ja) 画像認識カメラ
JP2007188126A (ja) 画像明るさ算出装置および方法並びにプログラム
US7573507B2 (en) White balance controlling apparatus, method, program, and image pickup apparatus
US20200228706A1 (en) Electronic device for controlling frame rate of image sensor and method thereof
JP2007251532A (ja) 撮像装置及び顔領域抽出方法
US11425301B2 (en) Image processing apparatus, information processing apparatus, image processing method, and information processing method
US20160373713A1 (en) Image processing apparatus, image processing method, and program
JP2008160280A (ja) 撮像装置および自動撮像方法
WO2019082653A1 (ja) 情報処理装置、撮影装置、撮影システム、情報処理方法、撮影方法、情報処理プログラム、及び撮影プログラム
JP2008197763A (ja) 撮影装置および方法並びにプログラム
WO2010103668A1 (en) Image processing apparatus, image processing method, and image processing program
JP2010154274A (ja) ノイズ低減装置及びノイズ低減方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151216

Termination date: 20210221