CN101494738B - 图像捕获设备、图像处理设备和方法 - Google Patents

图像捕获设备、图像处理设备和方法 Download PDF

Info

Publication number
CN101494738B
CN101494738B CN2009100056241A CN200910005624A CN101494738B CN 101494738 B CN101494738 B CN 101494738B CN 2009100056241 A CN2009100056241 A CN 2009100056241A CN 200910005624 A CN200910005624 A CN 200910005624A CN 101494738 B CN101494738 B CN 101494738B
Authority
CN
China
Prior art keywords
scene
image
estimated value
information
brightness value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009100056241A
Other languages
English (en)
Other versions
CN101494738A (zh
Inventor
小野俊树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101494738A publication Critical patent/CN101494738A/zh
Application granted granted Critical
Publication of CN101494738B publication Critical patent/CN101494738B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像捕获设备、图像处理设备和方法及其程序。图像处理设备包括:输入部件,被配置为接收将被处理的输入图像;明度信息提取部件,被配置为从所述图像中提取用于表明整个图像明度的明度信息;亮度值分布信息提取部件,被配置为从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息;和场景确定部件,被配置为根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景。

Description

图像捕获设备、图像处理设备和方法
相关申请的交叉引用
本发明包含了与在日本专利局于2008年1月22日所提交的日本专利申请JP2008-011068相关的主题,通过全部引用在此结合以供参考。
技术领域
本发明涉及图像捕获设备,并且尤其涉及一种可以使用多个图像捕获条件来捕获图像的图像捕获设备、一种图像处理设备和方法以及用于使计算机执行所述方法的程序。
背景技术
迄今为止,诸如数字静物照相机之类的图像捕获设备已经变得可以被利用,所述图像捕获设备捕获诸如人和风景之类的对象的图像并且记录捕获图像。作为这些图像捕获设备之一,已经提出一种图像捕获设备,用于确定在捕获图像中所包括的对象的场景并且依照所确定的场景来设置图像捕获条件。
例如,已经提出用于确定在捕获图像中所包括的对象的背光状态并且依照此捕获图像的背光状态来执行背光校正的图像捕获设备(例如,参见日本未经审查的专利申请公开号2004-235956(图1))。
发明内容
依照上述背景技术,可以通过确定在捕获图像中所包括的对象的背光状态依照该背光状态来执行背光校正。然而例如取决于在捕获图像中所包括的对象的大小或布置,背光场景可以类似于除背光场景之外的室内场景或室外场景(诸如前光场景)。因此,在一些情况下可能很难区分背光场景。即便在这种情况下,通过适当地确定背光场景,也可以设置更适当的图像捕获条件。把各个场景与背光场景适当地区分也是重要的。
希望适当地确定在捕获图像中所包括的对象的场景。
依照本发明实施例,提供了一种图像处理设备,包括以下元件:输入装置,用于接收将被处理的输入图像;明度信息提取装置,用于从所述图像中提取用于表明整个图像明度的明度信息;亮度值分布信息提取装置,用于从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息;场景确定装置,用于根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景;明度信息估计值参数存储装置,用于以逐个场景为基础来存储用来表明依照所述各个场景的明度信息分布的明度信息估计值参数;亮度值分布信息估计值参数存储装置,用于以逐个场景为基础来存储用于表明对应于依照所述各个场景的所述亮度值分布信息的特征量的亮度值分布信息估计值参数;和确定估计值计算装置,用于以逐个场景为基础使用对应于所提取明度信息的明度信息估计值参数来计算明度信息估计值,以逐个场景为基础使用对应于所提取亮度值分布信息的亮度值分布信息估计值参数来计算亮度值分布信息估计值,并且以逐个场景为基础根据以逐个场景为基础计算的明度信息估计值和亮度值分布信息估计值来计算确定估计值。场景确定装置可以根据以逐个场景为基础计算的确定估计值来确定在所述图像中所包括的对象的场景。
对应于亮度值分布信息的特征量至少可以包括用于表明在直方图中对应于所指定类别的比例的值,所述直方图用于表明在所述图像中亮度值的分布。
对应于亮度值分布信息的特征量至少可以包括通过对直方图执行判别分析方法所获得的二值化阈值,所述直方图用于表明在所述图像中亮度值的分布。
图像处理设备可以进一步包括亮度值区域信息提取装置,用于将所述图像划分为多个区域并且提取每个区域的亮度值区域信息。场景确定装置可以根据所提取的明度信息、所提取的亮度值分布信息和所提取的亮度值区域信息来确定在所述图像中所包括的对象的场景。
图像处理设备可以进一步包括以下元件:划分区域估计值转换信息存储装置,用于存储用来表明图像区域组的区域组信息和估计值转换表,其中根据依照各个场景的亮度值区域信息的大小来分类所述图像区域组,并且所述估计值转换表用于根据所述区域组信息来将所提取的亮度值区域信息转换为划分区域估计值;和划分区域估计值计算装置,用于以逐个场景为基础使用所述区域组信息和估计值转换表来为所提取的亮度值区域信息计算划分区域估计值。场景确定装置可以根据以逐个场景为基础计算的确定估计值和划分区域估计值来确定在所述图像中所包括的对象的场景。
划分区域估计值计算装置可以在从图像的预定区域中所提取的亮度值区域信息存在于预定范围内的情况下执行校正以便增加所述划分区域估计值。
图像处理设备进一步包括明度校正处理装置,用于在所述图像中所包括的对象的场景被确定为预定场景的情况下执行与预定场景相应的明度校正处理。
图像处理设备可以进一步包括图像捕获条件设置装置,用于在所述图像中所包括的对象的场景被确定为背光场景的情况下依照在所述图像中存在面部以及存在光发射来设置图像捕获条件。
图像处理设备可以进一步包括显示控制装置,用于在所述图像中所包括的对象的场景已经在预定时段内被连续地确定为相同的场景的情况下显示标记,所述标记用于表示在预定时段内已经被连续确定的场景。
依照本发明另一实施例,提供了一种图像处理设备,包括以下元件:划分区域估计值转换信息存储装置,用于存储用来表明所捕获图像的区域组的区域组信息和估计值转换表,其中根据依照各个场景的捕获图像的预定区域中的亮度值区域信息的大小来分类所述捕获图像的区域,并且所述估计值转换表用于根据所述区域组信息来将所述亮度值区域信息转换为划分区域估计值;亮度值区域信息提取装置,用于将所述捕获图像划分为多个区域并且提取每个区域的亮度值区域信息;划分区域估计值计算装置,用于以逐个场景为基础使用所述区域组信息和估计值转换表来为所提取的亮度值区域信息计算划分区域估计值;和场景确定装置,用于根据以逐个场景为基础所计算的划分区域估计值来确定在捕获图像中所包括的对象的场景。
依照本发明另一实施例,提供了一种图像处理方法,包括步骤:从图像中提取用于表明整个图像明度的明度信息;从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息;根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景;以逐个场景为基础来存储用于表明依照各个场景的所述明度信息的分布的明度信息估计值参数;以逐个场景为基础来存储用于表明对应于依照所述各个场景的所述亮度值分布信息的特征量的亮度值分布信息估计值参数;并且以逐个场景为基础使用对应于所提取明度信息的所述明度信息估计值参数来计算明度信息估计值,以逐个场景为基础使用对应于所提取亮度值分布信息的所述亮度值分布信息估计值参数来计算亮度值分布信息估计值,并且以逐个场景为基础根据以逐个场景为基础计算的所述明度信息估计值和亮度值分布信息估计值来计算确定估计值,其中根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景包括根据以逐个场景为基础计算的所述确定估计值来确定在所述图像中所包括的所述对象的场景。
依照本发明另一实施例,提供了一种用于使计算机执行包括以下步骤的处理的程序:从图像中提取用于表明整个图像明度的明度信息;从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息;并且根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景。
依照本发明另一实施例,提供了一种图像处理设备,包括以下元件:图像捕获装置,用于捕获对象的图像并且产生捕获图像;明度信息提取装置,用于从捕获图像中提取用于表明整个捕获图像的明度的明度信息;亮度值分布信息提取装置,用于从所述捕获图像中提取用于表明在所述捕获图像中亮度值分布的亮度值分布信息;场景确定装置,用于根据所提取的明度信息和所提取的亮度值分布信息来确定在所述捕获图像中所包括的对象的场景;明度信息估计值参数存储装置,用于以逐个场景为基础来存储用于表明依照各个场景的所述明度信息的分布的明度信息估计值参数;亮度值分布信息估计值参数存储装置,用于以逐个场景为基础来存储用于表明对应于依照所述各个场景的所述亮度值分布信息的特征量的亮度值分布信息估计值参数;和确定估计值计算装置,用于以逐个场景为基础使用对应于所提取明度信息的所述明度信息估计值参数来计算明度信息估计值,以逐个场景为基础使用对应于所提取亮度值分布信息的所述亮度值分布信息估计值参数来计算亮度值分布信息估计值,并且以逐个场景为基础根据以逐个场景为基础计算的所述明度信息估计值和亮度值分布信息估计值来计算确定估计值,其中所述场景确定装置根据以逐个场景为基础计算的所述确定估计值来确定在所述图像中所包括的所述对象的场景。
依照本发明实施例,杰出的有益效果在于可以适当地确定在捕获图像中所包括的对象的场景。
附图说明
图1是示出依照本发明实施例的图像捕获设备的示例性功能结构的框图;
图2是示出依照本发明实施例的主控制部件的示例性功能结构的框图;
图3是示出依照本发明实施例的场景确定部件的示例性功能结构的框图;
图4是依照本发明实施例示意地示出在场景度分数计算信息存储部件中所存储的场景度分数计算信息的图;
图5是依照本发明实施例示意地示出在场景索引计算信息存储部件中所存储的场景索引计算信息的图;
图6是依照本发明实施例示出用于产生场景度分数计算信息的方法的要点的图;
图7是用于依照本发明实施例示意地示出由EV值提取部件所提取的EV值的直方图的图;
图8是用于示出场景度分数计算信息(EV值)的图,所述场景度分数计算信息是用于存储为每个场景所产生的EV信息估计值参数的场景度分数计算信息的例子;
图9是示出了用来表示从图像所提取的亮度值分布的直方图的图;
图10A是用于示出捕获图像的图;
图10B是用于示出从在图10A中所示出的捕获图像中提取的直方图的图;
图11是用于示出通过使用对捕获图像执行判别分析方法所计算的阈值而获得的二值化图像的图;
图12是用于示意地示出从各个图像所提取的亮度值中值的直方图的图;
图13A和13B是示出用于存储为每个场景所产生的亮度值分布信息估计值参数的场景度分数计算信息的例子的图;
图14A和14B是示出用于存储为每个场景所产生的亮度值分布信息估计值参数的场景度分数计算信息的例子的图;
图15A和15B是示出用于存储为每个场景所产生的亮度值分布信息估计值参数的场景度分数计算信息的例子的图;
图16是示出用于产生在计算场景索引中所使用的场景索引计算信息的方法的要点的图;
图17包括示出用于将图像划分为预定区域的方法的要点的图;
图18包括示出其中根据在每个区域中亮度值的平均值来产生直方图的情况的要点的图,根据多个捕获图像来计算所述平均值;
图19包括示出其中根据在每个区域中亮度值的平均值来产生直方图的情况的要点的图,根据多个捕获图像来计算所述平均值;
图20是示出关于夜间图像的场景频率模式的例子的图;
图21A是示出在其中把相同的号码给予属于相同组的区域的情况下夜间场景频率模式的例子的图;
图21B是示出用于在计算场景索引时以逐个区域为基础来确定估计值的估计值转换表的例子的图;
图22A是示出关于背光图像的场景频率模式的例子的图;
图22B是用于示出估计值转换表的例子的图;
图23A是示出用于表示在多个捕获图像和为这些捕获图像所计算的夜间场景索引之间关系的图表的图;
图23B和23C是用于示出在相对阴暗地方中捕获图像的图;
图24A是示出用于计算场景索引校正值的估计值转换表的图;
图24B是示出用于表示在夜间场景索引和场景索引校正值之间关系的图表的图;
图25A是示出用于表示在多个捕获图像和为这些捕获图像所计算的夜间场景索引之间关系的图表的图;
图25B和25C是用于示出在相对阴暗地方中捕获的图像的图;
图26A是示出关于背光场景的估计值转换表的图;
图26B是示出用于表示在背光场景索引和场景索引校正值之间关系的图表的图;
图27是示出在图像捕获条件和用于设置所述图像捕获条件的条件之间关系的图;
图28A和28B是示出依照本发明实施例的低明度校正的要点的图;
图29A和29B是依照本发明实施例示出在显示部件上显示的场景识别图标的显示例子的图;
图30A和30B是依照本发明实施例示出在显示部件上显示的场景识别图标的显示例子的图;
图31是示出由依照本发明实施例的图像捕获设备所执行的场景确定处理的处理过程的流程图;
图32是示出由依照本发明实施例的图像捕获设备所执行的场景确定处理的处理过程内的场景度分数计算处理的过程的流程图;
图33是示出由依照本发明实施例的图像捕获设备所执行的场景确定处理的处理过程内的场景索引计算处理的过程的流程图;
图34是示出由依照本发明实施例的图像捕获设备所执行的图像捕获模式设置处理的处理过程的流程图;
图35是示出由依照本发明实施例的图像捕获设备所执行的图像捕获模式设置处理的处理过程内的夜间场景模式设置处理的过程的流程图;
图36是示出由依照本发明实施例的图像捕获设备所执行的图像捕获模式设置处理的处理过程内的背光场景模式设置处理的过程的流程图;和
图37是示出由依照本发明实施例的图像捕获设备所执行的场景识别图标显示处理的处理过程的流程图。
具体实施方式
现在将参考附图来详细描述本发明的实施例。
图1是示出依照本发明实施例的图像捕获设备100的示例性功能结构的框图。图像捕获设备100包括透镜部件111、光圈机构部件112、快门机构部件113、图像拾取元件114、透镜控制部件115、定时产生器(TG;定时信号产生电路)116、模拟信号处理部件121、模拟到数字(A/D)转换部件122、数字信号处理部件123、主控制部件200、操作接受部件130、快门线释放按钮131、显示部件140、记录部件150、外部接口(I/F)160、电可擦除可编程只读存储器(EEPROM)171、随机存取光存储器(RAM)172、污点检测部件180、充电/光发射控制部件191和光发射部件192。图像捕获设备100可以通过例如使用数字静物照相机来实现,所述数字静物照相机可以捕获对象的图像,产生图像数据,通过对所述图像数据执行图像分析来提取特征量,并且使用所提取的特征量来应用各个图像处理。
透镜部件111包括用于收集从对象所反射的光的多个透镜(变焦透镜、聚焦透镜等)。从对象所反射的入射光通过这些透镜被传递并且被提供到图像拾取元件114。这些透镜由变焦控制机构部件(未在附图中示出)、聚焦控制机构部件(未在附图中示出)或运动污点控制机构部件(未在附图中示出)来驱动。例如,通过根据来自主控制部件200的控制信号控制对变焦控制机构部件或聚焦控制机构部件的驱动来执行变焦控制或聚焦控制。主控制部件200根据图像捕获设备100的污点信息来确定应当把校正光学系统移动到的位置以及所述校正光学系统的当前位置信息,所述污点信息由污点检测部件180检测。根据此确定,运动污点控制机构部件被驱动控制,由此执行运动污点校正控制。
光圈机构部件112根据来自主控制部件200的控制信号来控制孔径的大小,其中入射光将经由透镜部件111通过所述孔径传递。快门机构部件113根据来自主控制部件200的控制信号来控制时间(曝光时间),入射光将在所述时间期间经由透镜部件111传递。用于控制快门机构部件113的控制信号是响应于快门线释放按钮131的按压操作所产生的控制信号。光圈机构部件112和快门机构部件113依照这种方式控制曝光量。
图像拾取元件114是其中在图像拾取面上提供滤色器的彩色图像拾取元件。图像拾取元件114依照从TG 116所提供的驱动脉冲来操作并且依照入射光在图像拾取面上形成对象的图像,所述入射光从所述对象反射并且通过透镜部件111传递。图像拾取元件114依照在图像拾取面上形成的对象的图像来产生模拟图像信号,并且向模拟信号处理部件121提供所产生的模拟图像信号。作为图像拾取元件114,可以使用诸如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器之类的图像拾取元件。
透镜控制部件115根据来自主控制部件200的控制信号来控制变焦控制机构部件、聚焦控制机构部件或运动污点控制机构部件。
TG 116根据来自主控制部件200的控制信号来产生由图像拾取元件114所使用的各个驱动脉冲以便累积并读取每个屏幕的图像信号。TG 116向图像拾取元件114提供这些各个产生的驱动脉冲。即,这些各个驱动脉冲被用为图像信号捕获处理和图像信号输出处理的定时信号。
模拟信号处理部件121将对从图像拾取元件114所提供的图像信号应用模拟处理,诸如采样处理(采样保持(S/H))和放大处理(自动增益控制(AGC))。模拟信号处理部件121向A/D转换部件122提供模拟处理的模拟图像信号。
A/D转换部件122通过以预定采样率采样模拟图像信号来将从模拟信号处理部件121所提供的模拟图像信号转换为数字图像信号。A/D转换部件122向数字信号处理部件123提供所转换的数字图像信号。
数字信号处理部件123根据从A/D转换部件122所提供的数字图像信号来产生用于执行取景、静止图像捕获、自聚焦、测光处理等的各个信号。数字信号处理部件123向主控制部件200输出所产生的各个信号。例如,在取景时,数字信号处理部件123根据输入图像信号来产生显示图像信号并且经由主控制部件200向显示部件140提供所产生的显示图像信号。在捕获静止图像时,数字信号处理部件123根据输入图像信号产生用于表示一个图像的静止图像信号、对所产生的静止图像信号应用压缩处理等并且经由主控制部件200向记录部件150提供所处理的静止图像信号。在自聚焦时,数字信号处理部件123根据输入图像信号检测在屏幕内预定区域中的高频分量,产生用于表明所检测高频分量级别的参数并且向主控制部件200提供所产生的参数。在测光处理时,数字信号处理部件123根据输入图像信号来检测屏幕内预定区域中的光量分量(AE信号),产生用于表明所检测光量分量的光量级别的参数,并且向主控制部件200提供所产生的用于表明所述光量级别的参数。
主控制部件200是用于控制在图像捕获设备100中所包括的部件的主控制部件。主控制部件200包括中央处理器(CPU)、程序只读存储器(ROM)、工作区域RAM和包括各个输入/输出(I/O)端口和接口的微计算机。将参考图2和3来详细描述主控制部件200。
操作接受部件130是用于接受由用户所输入操作的细节并且向主控制部件200输出依照所接受操作细节的信号的操作接受部件。作为操作接受部件130,例如在图像捕获设备100上提供诸如快门线释放按钮131和变焦按钮132(在图29中示出)之类的操作部件。快门线释放按钮131是当记录捕获图像时由用户操作的瞬间型压力开关。在本发明的实施例中,主控制部件200确定快门线释放按钮131的按压状态。即,主控制部件200区分三个按压状态:其中快门线释放按钮131完全未被用户按压的状态(关断状态);其中所述快门线释放按钮131被用户不完全地按压的状态(不完全状态);和其中快门线释放按钮131被用户完全按压的状态(完全按压状态)。变焦按钮132是当捕获图像时可操作来调节变焦因子的按钮。
显示部件140是用于显示对应于从数字信号处理部件123所提供的图像数据的图像的显示部件。在显示部件140上显示捕获图像(所谓的通过图像),其对应于由图像拾取元件114所产生的图像信号。例如可以通过使用液晶设备(LCD)来实现显示部件140。作为选择,显示部件140可以是用于显示各个选择按钮的触摸面板。使用触摸面板,可以通过例如利用手指触摸这些选择按钮的区域来输出操作。
记录部件150是用于记录从数字信号处理部件123所提供的图像数据的记录设备。作为记录部件150,可以使用诸如半导体存储器之类的可拆除记录介质,包括磁盘存储卡或数字通用盘片(DVD)。作为选择,记录部件150可以被预先包括在图像捕获设备100中或者可拆除地连接到图像捕获设备100。
外部I/F 160是包括输入输出端子的外部I/F,诸如通用串行总线(USB)。
EEPROM 171是存储器,用于在主控制部件200的控制之下存储数据等,所述数据即使当图像捕获设备100的电力被关闭时也必须被保持。所述数据例如包括在图像捕获设备100中所设置的各个信息项。
RAM 172是用于暂时地存储由主控制部件200用来执行各个处理的程序和数据的存储器。
污点检测部件180检测被施加到图像捕获设备100的加速度、运动、倾斜等并且向主控制部件200输出对应于所检测的加速度、运动、倾斜等的电压值。污点检测部件180例如获得对应于在两个方向上的角速度的电压值,两个方向为俯仰(pitch)方向和偏转(yaw)方向。主控制部件200根据从污点检测部件180所输出的电压值来执行运动污点校正计算,并且把电压值转换为对应于所述电压值的数值,由此获得例如由于摄影师手晃动而导致的图像捕获设备100移动的信息(污点信息)。例如可以通过使用陀螺仪传感器来实现污点检测部件180。
充电/光发射控制部件191根据来自主控制部件200的控制信号来控制光发射部件192的充电和光发射。即,光发射部件192经由充电/光发射控制部件191被连接到主控制部件200,并且光发射部件192的光发射时间由所述主控制部件200来控制。
光发射部件192是例如在包含图像捕获设备100的外壳的前面或上部所提供的光发射器件,使得光发射部件192在透镜部件111的正方向上(在所述透镜部件111的光轴方向上)发光。光发射部件192在非常短的时间发出强光。即,光发射部件192向充当图像捕获目标的对象发出强光。诸如可以通过使用诸如氙气灯之类的放电装置来实现光发射部件192。主控制部件200在执行完全光发射操作之前使光发射部件192以预定的光量来执行初步光发射操作。根据从此初步光发射操作所获得的测光数据,主控制部件200确定将从光发射部件192所发射的光量。即,主控制部件200检测整个屏幕的亮度值作为从初步光发射操作所获得的测光数据,该整个屏幕的亮度值对应于从图像拾取元件114所输出的模拟图像信号。通过把所检测的亮度值与其中可以实现适当曝光量的目标亮度值相比较,主控制部件200确定将从光发射部件192发射的光量。因此,图像捕获设备100没有调光传感器。
图2是示出依照本发明实施例的主控制部件200的示例性功能结构的框图。主控制部件200包括面部检测部件210、静止确定部件220、主要对象检测部件230、曝光值(EV)提取部件240、场景判定部件250、曝光条件假定部件260、曝光确定部件270、程序图保持部件281、图像捕获条件设置部件280和显示控制部件290。图2在主控制部件200中的功能结构当中只示出了与设置图像捕获条件相关的示例性功能结构,并且省略了其它功能结构。相互独立地控制面部检测部件210、静止确定部件220、主要对象检测部件230和场景判定部件250。在图2中,以举例形式描述了其中主控制部件200执行在EEPROM 171中所记录的程序的情况。作为选择,可以通过使用硬件来实现在图2中所示出的功能结构。
面部检测部件210检测在对应于从数字信号处理部件123所输出的图像信号的捕获图像中包括的人的面部。面部检测部件210向曝光确定部件270输出所检测面部的信息。这里可以使用的面部检测方法包括通过把模板与实际图像相匹配来执行的面部检测方法以及根据在捕获图像中所包括的人的皮肤部分或面部的特征量的面部检测方法,所述模板其中记录有面部的亮度值分布的信息。面部的信息例如是用于表明是否已经在捕获图像中检测到面部(是否存在面部)的信息。
静止确定部件220根据从污点检测部件180所输出的电压值来执行运动污点校正计算处理并且计算对应于电压值的数值(由于图像捕获设备100的移动所导致的污点量)。静止确定部件220把所计算的污点量与在图像捕获设备100静止时的污点量相比较,根据比较结果来确定图像捕获设备100是否静止,并且向曝光确定部件270输出确定结果(图像捕获设备100是否静止)。特别地是,静止确定部件220通过把所计算的污点量与在图像捕获设备100静止时的污点量相比较来计算偏差量,并且根据偏差量和时间来确定图像捕获设备100是否静止。
主要对象检测部件230检测在对应于从数字信号处理部件123所输出的图像信号的捕获图像中包括的主要对象。主要对象检测部件230向曝光确定部件270输出所检测的主要对象的信息。这里可以使用的主要对象检测方法包括用于将捕获图像的亮度值与预定值相比较来检测捕获图像是否包括主要对象的检测方法,所述亮度值是当光发射部件192执行初步光发射操作时获得的。当例如在当前场景被确定为深于或等于预定级别的阴暗场景的情况下不完全地按压快门线释放按钮131时或当当前场景被确定为夜间场景或背光场景并且没有检测到面部时,执行主要对象的检测。主要的对象的信息例如是用于表明是否已经在捕获图像中检测到主要对象(是否存在主要的对象)的信息。
EV值提取部件240根据从数字信号处理部件123所输出的AE信号来检测用于表明在捕获图像中所包括的对象明度(即明度,brightness)的EV值。EV值提取部件240向场景判定部件250、曝光条件假定部件260和图像捕获条件设置部件280输出所检测的EV值。
场景判定部件250根据从数字信号处理部件123所输出的图像信号和从EV值提取部件240所输出的EV值来确定对应于从数字信号处理部件123所输出的图像信号的捕获图像中包括的对象的场景。场景判定部件250向曝光确定部件270和显示控制部件290输出所确定的场景。在捕获图像中包括的对象的场景例如可以是:包括在夜间用于充当对象的户外活动的夜间场景、包括用于充当对象的建筑物内部的室内场景或包括用于充当对象的目标的背光场景,其中太阳在所述目标后面。参考图3详细描述场景判定部件250。
曝光条件假定部件260通过把从EV值提取部件240所输出的EV值与预定阈值相比较来计算差异并且根据所计算的差异来假定曝光条件。例如,当从EV值提取部件240所输出的EV值小于预定阈值时,曝光可能是不够的。从而,曝光条件假定部件260假定用于减少快门速度和光圈大小并且增加AGC处理中的增益的曝光条件。相比之下,当从EV值提取部件240所输出的EV值大于或等于预定阈值时,曝光可能是过度的。从而,曝光条件假定部件260假定用于增加快门速度和光圈大小并且减小AGC处理中的增益的曝光条件。在本发明的实施例中,在由曝光条件假定部件260假定的曝光条件当中,光圈大小被表示为基准光圈大小Ie,快门速度被表示为基准快门速度Te并且增益被表示为基准增益Ge。
曝光确定部件270根据从场景判定部件250所输出的捕获图像中包括的对象的场景、从面部检测部件210输出的用于表明是否存在面部的信息、从静止确定部件220输出的用于表明图像捕获设备100是否静止的信息以及从主要对象检测部件230输出的用于表明捕获图像是否包括主要对象的信息来确定被曝光条件假定部件260假定为曝光条件的基准光圈大小Ie、基准快门速度Te和基准增益Ge是否是适当的。曝光确定部件270根据确定结果来选择程序图并且向图像捕获条件设置部件280输出用于表明已经对其进行确定的所选程序图和信息项的信息。
程序图保持部件281保持与可以设置的各个图像捕获模式相对应的多个程序图。程序图保持部件281向图像捕获条件设置部件280提供所保持的程序图。在此例子中,将描述其中在主控制部件200的程序图保持部件281中保持程序图的例子。作为选择,例如程序图可以被保持在EEPROM 171中,并且在EEPROM 171中所保持的程序图可被提供到图像捕获条件设置部件280。
图像捕获条件设置部件280把对应于由用户所指定的图像捕获模式的程序图改变为由曝光确定部件270所选择的程序图并且根据从EV值提取部件240所输出的EV值来确定曝光条件。根据所确定的曝光条件,图像捕获条件设置部件280分别向光圈机构部件112和快门机构部件113输出用于控制光圈机构部件112和快门机构部件113的控制信号。另外,图像捕获条件设置部件280依照图像捕获条件来控制图像捕获模式设置和低明度校正。此外,当快门线释放按钮131被按压时(完全按压状态),如果在捕获图像中所包括的对象的场景被确定为具体场景,诸如夜间场景或背光场景,图像捕获条件设置部件280执行控制以便使用至少两个不同图像捕获/记录参数来记录捕获图像。当快门线释放按钮131被不完全按压时,建立至少两个不同的图像捕获/记录参数。两个不同的图像捕获/记录参数例如包括由用户所指定的图像捕获/记录参数和依照所确定场景的图像捕获/记录参数。
显示控制部件290在显示部件140上显示场景识别图标,其对应于在从场景判定部件250输出的捕获图像中包括的对象的场景。参考图29A到30B详细描述了在显示部件140上显示的场景识别图标的显示例子。
图3是示出依照本发明实施例的场景判定部件250的示例性功能结构的框图。场景判定部件250包括亮度值分布信息提取部件251、场景度分数计算信息存储部件300、场景度分数计算部件252、区域划分部件253、亮度值提取部件254、场景索引计算信息存储部件350、场景索引计算部件255和场景确定部件256。
亮度值分布信息提取部件251提取直方图,所述直方图用于表明在对应于从数字信号处理部件123所输出的图像信号的捕获图像中的亮度值分布。亮度值分布信息提取部件251向场景度分数计算部件252输出所提取的直方图。
场景度分数计算信息存储部件300存储由场景度分数计算部件252当计算场景度分数时所使用的场景度分数计算信息。场景度分数计算信息存储部件300向场景度分数计算部件252提供所存储的场景度分数计算信息。将参考图4详细描述在场景度分数计算信息存储部件300中所存储的场景度分数计算信息。
场景度分数计算部件252根据从EV值提取部件240所输出的EV值和从亮度值分布信息提取部件251所输出的直方图来使用在场景度分数计算信息存储部件300中所存储的场景度分数计算信息计算场景度分数。场景度分数计算部件252向场景确定部件256输出所计算的场景度分数。场景度分数是用于确定在捕获图像中包括的对象的场景的分数,所述捕获图像对应于从数字信号处理部件123所输出的图像信号。将参考图13A到图15B详细描述场景度分数的计算。
区域划分部件253把对应于从数字信号处理部件123所输出的图像信号的捕获图像划分为多个区域。区域划分部件253向亮度值提取部件254输出所述捕获图像和划分区域的信息。
亮度值提取部件254使用区域划分部件253提取从捕获图像所划分的每个区域中的亮度值并且以逐个区域为基础向场景索引计算部件255输出所提取的亮度值。
场景索引计算信息存储部件350存储由场景索引计算部件255当计算场景索引时所使用的场景索引计算信息。场景索引计算信息存储部件350向场景索引计算部件255提供所存储的场景索引计算信息。将参考图5详细描述在场景索引计算信息存储部件300中所存储的场景索引计算信息。
场景索引计算部件255根据每个区域中的亮度值使用在场景索引计算信息存储部件350中所存储的场景索引计算信息来计算场景索引,所述亮度值从亮度值提取部件254输出。场景索引计算部件255向场景确定部件256输出所计算的场景索引。场景索引是用于确定在捕获图像中包括的对象的场景的索引,所述捕获图像对应于从数字信号处理部件123输出的图像信号。将参考图21A到图26B详细描述场景索引的计算。
场景确定部件256使用从场景度分数计算部件252所输出的场景度分数和从场景索引计算部件255所输出的场景索引中的至少一个来确定在捕获图像中包括的对象的场景,所述捕获图像对应于从数字信号处理部件123所输出的图像信号。场景确定部件256向曝光确定部件270和显示控制部件290输出所确定的场景。
图4是用于依照本发明实施例示意地示出在场景度分数计算信息存储部件300中存储的场景度分数计算信息的图。场景度分数计算信息存储部件300存储场景度分数计算信息(EV值)311、场景度分数计算信息(亮度中值)321、场景度分数计算信息(亮度峰值)322、场景度分数计算信息(亮度底宽)323、场景度分数计算信息(亮度的二值化阈值)324、场景度分数计算信息(亮度曝光不足区域的比例)325和场景度分数计算信息(亮度左侧区域的比例)326。在图4中,在EV信息场景度分数计算信息310的项组中表明根据从图像中提取的EV值所产生的场景度分数计算信息,并且在亮度值分布信息场景度分数计算信息320的项组中表明根据从图像所提取的直方图所产生的场景度分数计算信息。
在本发明的实施例中,使用这些场景度分数计算信息项来计算捕获图像的每个场景的场景度分数。对应于在所计算场景度分数当中的最高场景度分数的场景被确定为在捕获图像中包括的对象的场景。将参考图13A到图15B详细描述这些场景度分数计算信息项。
图5是用于依照本发明实施例示意地示出在场景索引计算信息存储部件350中存储的场景索引计算信息的图。场景索引计算信息存储部件350存储夜间场景索引计算信息360、背光场景索引计算信息370、户外场景索引计算信息380和室内场景索引计算信息390。场景索引计算信息的项分别存储场景频率模式361、371、381和391以及估计值转换表362、372、382和392。场景频率模式361、371、381和391是用于根据依照每个场景的亮度平均值的趋势来分类从捕获图像中划分的预定区域的模式。估计值转换表362、372、382和392在获得估计值中用于根据从捕获图像中划分的每个预定区域以及依照场景频率模式分类的各个区域所提取的亮度值的平均值来计算场景索引。
在本发明的实施例中,使用这些场景索引计算信息项来计算捕获图像的每个场景的场景索引。对应于大于或等于阈值的所计算场景索引的场景被确定为在捕获图像中包括的对象的场景。如果存在大于或等于阈值的多个场景索引,那么对应于在这些场景索引当中最高场景索引的场景被确定为在捕获图像中包括的对象的场景。作为选择,场景确定条件可以是以下条件,根据为捕获图像的每个场景所计算的场景度分数所确定的场景等效于根据为捕获图像的每个场景所计算的场景索引所确定的场景。
接下来,将参考附图详细描述由场景判定部件250执行的场景确定。在本发明的实施例中,将描述其中确定夜间场景、室内场景、室外场景和背光场景中的哪个场景是在捕获图像中包括的对象的场景的例子。首先,将描述用于产生场景度分数计算信息的方法,所述场景度分数计算信息用来计算场景度分数。在本发明的实施例中所示出的每个捕获图像被假定为彩色图像。
图6是依照本发明实施例示出用于产生场景度分数计算信息的方法的要点的图。在图6中,将描述其中产生关于夜间场景、室内场景、室外场景和背光场景的场景度分数计算信息的例子。参照图6,EV值提取部件411和EV信息场景度分数计算信息产生部件412根据在多个图像组401到404中包括的捕获图像来产生每个场景的EV信息场景度分数计算信息,所述图像组例如夜间图像组401、背光图像组402、户外图像组403和室内图像组404。亮度值分布信息提取部件413和亮度值分布信息场景度分数计算信息产生部件414根据在多个图像组401到404中包括的捕获图像来产生每个场景的亮度值分布信息场景度分数计算信息。所产生的场景度分数计算信息项被存储在场景度分数计算信息存储部件300中。
作为选择,产生这种场景度分数计算信息项可由使用在记录部件150中记录的捕获图像的图像捕获设备100或由使用捕获图像的图像处理设备(诸如个人计算机)来执行,其中所述捕获图像使用图像捕获设备100或另一图像捕获设备来记录。当场景度分数计算信息由不同于图像捕获设备100的图像处理设备产生时,所产生的场景度分数计算信息被输入到图像捕获设备100并且被存储在场景度分数计算信息存储部件300中。
夜间图像组401是一组图像,其中每个图像通过捕获用于充当对象的夜间场景图像(诸如跨过海洋的桥或建筑物的外形)来获得。背光图像组402是一组图像,其中每个图像通过捕获用于充当对象的背光户外图像(诸如山脉或建筑物的外形)来获得。户外图像组403是一组图像,其中每个图像通过捕获用于充当对象的户外图像(诸如草地或公园场地)来获得。室内图像组404是一组图像,其中每个图像通过捕获用于充当对象的建筑物内部图像(诸如各个建筑物的内部)来获得。可以由用户或开发者来执行对这些场景的分类。作为选择,可以根据诸如AdaBoost之类的机器学习算法使用学习设备来执行对这些场景的分类。
EV值提取部件411从在夜间图像组401、背光图像组402、户外图像组403和室内图像组404中所包括的图像中提取EV值。EV值提取部件411向EV信息场景度分数计算信息产生部件412输出所提取的EV值。
EV信息场景度分数计算信息产生部件412以逐个图像组为基础来累积从EV值提取部件411所输出的EV值,根据每个图像组的累积结果以逐个图像组为基础来计算关于EV信息的估计值参数,并且根据估计值参数来产生EV信息场景度分数计算信息。所产生的EV信息场景度分数计算信息项被存储在场景度分数计算信息存储部件300中。将参考图8详细描述这些EV信息场景度分数计算信息项。
亮度值分布信息提取部件413提取用于表明在夜间图像组401、背光图像组402、户外图像组403和室内图像组404中包括的每个图像中的亮度值分布的直方图。亮度值分布信息提取部件413向亮度值分布信息场景度分数计算信息产生部件414输出所提取的直方图。
亮度值分布信息场景度分数计算信息产生部件414以逐个图像组为基础累积从亮度值分布信息提取部件413所输出的亮度值分布信息,根据每个图像组的累积结果以逐个图像组为基础来计算关于亮度值分布信息的估计值参数,并且根据估计值参数来产生亮度值分布信息场景度分数计算信息。所产生的亮度值分布信息场景度分数计算信息项被存储在场景度分数计算信息存储部件300中。将参考图13A到图15B详细描述这些亮度值分布信息场景度分数计算信息项。
如上面所描述,可以通过使用已经记录的多个捕获图像执行统计学习来获得场景度分数计算信息项。由于近年来可以以很低价来购买诸如大容量硬盘驱动器(HDD)之类的大容量存储设备,诸如使用数字照相机等捕获的图像之类的许多和各个图像可以作为图像数据来管理。在各个模式中的大量图像被存储在大容量存储设备中。通过在各个模式中使用这些图像来执行统计学习,来产生场景度分数计算信息。通过使用场景度分数计算信息,可以在高准确度的情况下区分多个场景。当图像捕获设备100的用户执行场景分类时,可以产生用于依照用户偏好执行场景确定的场景度分数计算信息。
图7是用于依照本发明实施例示意地示出由EV值提取部件411所提取的EV值的直方图的图。图7示出了通过把从夜间图像组401中包括的图像中所提取的EV值分类为19个级别并且累积所分类的EV值所获得的EV信息直方图420。在EV信息直方图420中,在横坐标上绘制了被分类为19个级别的EV值,并且在纵坐标上绘制了频率(捕获图像的数目)。每个场景的直方图常常具有依照每个场景的特性分布。例如,由于在夜间图像组401中所包括的图像是夜间场景图像,所以许多图像是相对阴暗的图像并且具有相对较低的EV值。因此,具有低EV值的级别频率在EV信息直方图420中更高。依照这种方式,使用依照每个场景的特性分布来产生EV信息估计值参数。
例如,在EV信息直方图420中设置阈值W1和W2(W2<W1)。EV值被分类为其在EV信息直方图420中的频率大于或等于阈值W1的一组区域、其频率大于或等于阈值W2并且小于阈值W1的一组区域、其频率小于阈值W2的一组区域以及其频率为“0”的一组区域。在图7中,EV值=0到4的频率大于或等于阈值W1。EV值=5的频率大于或等于阈值W2并且小于阈值W1。EV值=6的频率小于阈值W2。EV值=7到18的频率为“0”。根据所分类的区域组,如图8所示,可以计算EV信息场景度分数计算信息。
图8是用于示出场景度分数计算信息(EV值)311的图,所述场景度分数计算信息311是用于存储为每个场景所产生的EV信息估计值参数的场景度分数计算信息的例子。如上面已经描述,为在对应于每个场景的EV信息直方图中所分类的四个区域组中的每个确定EV信息估计值参数。在图8中,其在各个EV信息直方图中的频率大于或等于阈值W1的区域被表示为“高”;其频率大于或等于阈值W2并且小于阈值W1的区域被表示为“中间”;其频率小于阈值W2的区域被表示为“低”;并且其频率为“0”的区域由斜线来表示。在图8中,用粗体示出了其在相应EV信息直方图中频率大于或等于阈值W1的区域(“高”区域)画面。如在场景度分数计算信息(EV值)311中的“高”区域所表明,可以使用EV值把捕获图像粗略地分组为室外/背光场景和室内/夜间场景。即,对应于室外/背光场景的许多图像是相对明亮的图像。因此,在场景度分数计算信息(EV值)311中的“高”区域常常集中在相对右侧。相比之下,对应于室内/夜间场景的许多图像是相对阴暗的图像。因此,在场景度分数计算信息(EV值)311中的“高”区域常常集中在相对左侧。
类似地,可以想到使用EV值把场景分组为粗略确定的场景。例如,当EV值为16时,场景被确定为“向阳场景”。当EV值为11时,场景被确定为“多云场景”。当EV值为6时,场景被确定为“阴暗室内场景”。当EV值为3时,场景被确定为“夜间场景”。然而例如当存在阴暗场景时,常常很难区分夜间场景和室内场景。类似地,在多数情况下很难区分其它场景。因此,重要的是增加把这些场景相互区分的准确度。在本发明的实施例中,执行使用EV信息和亮度值分布信息的场景确定。据此,可以改进确定每个场景的准确度。
接下来,将参考附图详细描述用于产生亮度值分布信息场景度分数计算信息的方法。
图9是示出了用来表示从图像所提取的亮度值分布的直方图的图。在图9中所示出的直方图430是这样的直方图,其中按16阶归一化在图像组401到404中包括的一个捕获图像内整个屏幕所提取的亮度值。在此例子中,将描述使用依照这种方式提取的颜色直方图来为每个捕获图像计算下面示出的值(1)到(6)的例子。以逐个图像组为基础累积所计算的值(1)到(6)。根据每个图像组的累积结果,计算关于亮度值分布信息的估计值参数。根据估计值参数,产生亮度值分布信息场景度分数计算信息。
(1)整个直方图中亮度值的中值;
(2)直方图中的峰值;
(3)直方图的底宽;
(4)直方图中曝光不足区域的比例;
(5)整个直方图的左侧一半的比例;和
(6)使用判别分析方法的二值化阈值。
这里,(1)整个直方图的亮度值的中值是整个直方图中频率的中值。即,当从整个直方图中的频率所获得的区域被划分为两个区域:左区域和右区域时,整个直方图中的亮度值的中值是对应于划分区域的级别。例如,在直方图430中,获得级别“8”作为整个直方图中亮度值的中值。
(2)直方图中的峰值是在整个直方图内频率最高的级别。例如,在直方图430中,获得级别“10”作为直方图中的峰值。
(3)直方图的底宽是根据在整个直方图内频率最低的级别,在从具有最低频率的级别的预定范围内存在的级别。因此,多个值可以作为直方图的底宽存在。例如,在直方图430中,获得级别“7”作为频率最低的级别。根据级别“7”的频率,从级别“7”开始在向上方向上在阈值H1内以及在向下方向上在阈值H2内存在的级别“5”、“6”和“8”被提取作为直方图的底宽。直方图的这些底宽的范围被表示为D1。其中在整个直方图内频率最低的级别并未被包括作为直方图的底宽。
(4)直方图中曝光不足区域的比例是用于表明在直方图左端对应于级别“0”的频率相对于整个直方图的比例的值。对应于直方图的曝光不足区域的比例的级别被表示为D2。
(5)整个直方图中左侧一半的比例是用于表明在直方图左端对应于级别“0到7”的频率相对于整个直方图的比例的值。对应于整个直方图的左侧一半的比例的级别被表示为D3。
(6)将参考图9到11描述使用判别分析方法的二值化阈值。判别分析方法是通过把图像的渐变值(gradation value)划分为两类来从图像中提取预定区域的分析方法。在两类之间出现最大间隔的位置处(即,两类类间方差变为最大值的位置处)的值k被计算为阈值。例如,在图9所示出的直方图430中,可以根据阈值k把构成捕获图像的像素分类为两类:类C1和类C2。关于此分类,例如类C1可以充当目标区,并且类C2可以充当背景。作为选择,例如类C2可以充当目标区,并且类C1可以充当背景。
现在将描述阈值k的计算。可以如下表示用于根据阈值k的每个类的统计:
η ( k ) = σ B 2 ( k ) / σ T 2 · · · ( 1 )
σ B 2 ( k ) = Σ j = 1,2 ω j ( k ) ( g ‾ j ( k ) - g ‾ T ) 2 · · · ( 2 )
σ T 2 = Σ g = 1 L ( g - g ‾ T ) 2 p ( g ) = σ W 2 ( k ) + σ B 2 ( k ) · · · ( 3 )
ω 1 ( k ) = Σ g = 1 k p ( g ) · · · ( 4 )
ω 2 ( k ) = Σ g = k + 1 L p ( g ) · · · ( 5 )
g ‾ 1 ( k ) = Σ g = 1 k gp ( g ) / ω 1 ( k ) · · · ( 6 )
g ‾ 2 ( k ) = Σ g = k + 1 L gp ( g ) / ω 2 ( k ) · · · ( 7 )
σ 1 2 ( k ) = Σ g = 1 k ( g - g ‾ 1 ( k ) ) 2 p ( g ) / ω 1 ( k ) · · · ( 8 )
σ 2 2 ( k ) = Σ g = k + 1 k ( g - g ‾ 2 ( k ) ) 2 p ( g ) / ω 2 ( k ) · · · ( 9 )
σ W 2 ( k ) = Σ j = 1,2 ω j ( k ) σ j 2 ( k ) · · · ( 10 )
g ‾ T = Σ g = 1 L gp ( g ) = Σ j = 1,2 ω j ( k ) g ‾ j ( k ) · · · ( 11 )
其中h(g)(g=1,…,L)表示直方图中的频率,并且p(g)表示其中p(g)=h(g)/N(N:整个像素的数目)的归一化直方图。方程式(1)是用于计算间隔的方程式,并且计算在0和1内的值。方程式(2)是用于计算两类的类间方差的方程式。方程式(3)是用于计算整个直方图方差的方程式。方程式(10)是用于计算类间方差的方程式。方程式(11)是用于计算整个直方图中平均值的方程式。
图10A是用于示出捕获图像的图,并且图10B是用于示出从所述捕获图像中提取的直方图的图。图10A示出了捕获图像440,其是在傍晚用于充当对象的游乐园的图像。图10B示出了从捕获图像440所提取的直方图。在图10B所示出的直方图中,其是按256阶归一化的直方图,使用上述判别分析方法计算的阈值k的位置被表示为垂直线。
图11是示出了通过使用阈值k所获得的二值化图像441的图,所述阈值k使用对捕获图像440执行的判别分析方法来计算。在图10B所示出的直方图中,例如当与相对于阈值k的左区域相对应的像素是黑色时,与相对于阈值k的右区域相对应的像素是白色的,根据在图10A中所示出的捕获图像440来产生在图11中所示出的二值化图像441。
如上面已经所描述,为以逐个场景为基础所分类的多个图像来计算值(1)到(6),并且在统计上学习这些值(1)到(6),借此产生场景度分数计算信息。
图12是用于示意地示出从各个图像所提取的亮度值中值的直方图的图。特别地是,图12示出了通过把从在夜间图像组401中包括的各个图像所提取的亮度值中值分类为19个级别并且累积所分类的亮度值中值所获得的亮度值分布信息直方图450。亮度值分布信息直方图450除横坐标示出了被分类为19个级别的亮度值中值之外类似于在图7中所示出的直方图。如参考图7所描述,每个场景的直方图常常具有依照每个场景的特性分布。例如,由于在夜间图像组401中所包括的图像是夜间场景图像,所以许多图像是相对阴暗的图像并且具有相对较低的亮度值中值。因此,具有低亮度值中值的级别的频率在亮度值分布信息直方图450中更高。依照这种方式,使用依照每个场景的特性分布来产生亮度值分布信息估计值参数。
在图12中,如在图7中,使用阈值W1和W2(W2<W1)把区域分类为四个区域组。根据所分类的区域组,如图13A到图15B所示,将描述用于计算亮度值分布信息场景度分数计算信息的例子。在本发明的实施例中,下述例子对于在计算EV信息场景度分数计算信息中所使用的阈值W1和W2(W2<W1)以及对于在计算亮度值分布信息场景度分数计算信息中所使用的阈值W1和W2(W2<W1)来说使用相同的值。作为选择,可以使用不同的值。在本发明的实施例中,下述例子使用两个阈值W1和W2(W2<W1)。作为选择,可以使用一个阈值或三个或更多阈值来分类直方图的区域并且根据所分类的区域可以计算场景度分数计算信息。
图13A到15B是示出用于存储为每个场景所产生的亮度值分布信息估计值参数的场景度分数计算信息的例子的图。这里,场景度分数计算信息例如包括场景度分数计算信息(亮度中值)321、场景度分数计算信息(亮度峰值)322、场景度分数计算信息(亮度底宽)323、场景度分数计算信息(亮度的二值化阈值)324、场景度分数计算信息(亮度曝光不足区域的比例)325和场景度分数计算信息(亮度左侧区域的比例)326。如在图8中,其在各个直方图中的频率大于或等于阈值W1的区域被表示为“高”;其频率大于或等于阈值W2并且小于阈值W1的区域被表示为“中间”;其频率小于阈值W2的区域被表示为“低”;并且其频率为“0”的区域由斜线来表示。另外,用粗体示出了其在相应直方图中频率大于或等于阈值W1的区域(“高”区域)画面。如在每个场景度分数计算信息项中的“高”区域所示,特性趋势依照每个场景出现。
如已经描述,依照本发明实施例,通过执行对以逐个场景为基础分类的捕获图像的统计学习来产生依照每个场景的直方图,并且根据直方图来产生每个场景度分数计算信息项。所产生的场景度分数计算信息被存储在场景度分数计算信息存储部件300中。
接下来,将描述用于使用在场景度分数计算信息存储部件300中存储的场景度分数计算信息来确定在捕获图像中包括的对象的场景的场景确定方法。
为了确定在捕获图像中包括的对象的场景,使用在图8中所示出的场景度分数计算信息(EV值)311、在图13A中所示出的场景度分数计算信息(亮度中值)321、在图13B中所示出的场景度分数计算信息(亮度峰值)322、在图14A中所示出的场景度分数计算信息(亮度底宽)、在图14B中所示出的场景度分数计算信息(亮度的二值化阈值)324、在图15A中所示出的场景度分数计算信息(亮度曝光不足区域的比例)325以及在图15B中所示出的场景度分数计算信息(亮度左侧区域的比例)326以逐个场景为基础来计算场景度分数SD。根据所计算的场景度分数SD,确定在捕获图像中包括的对象的场景。
特别地是,例如假定在每个场景度分数计算信息项中所存储的对应于“高”的估计值为“1”;对应于“中间”的估计值为“1/2”;对应于“低”的估计值为“1/4”;并且对应于倾斜部分的估计值为“0”。
EV值提取部件240从捕获图像中提取EV值(例如,“0”到“18”),所述捕获图像对应于从数字信号处理部件123所输出的图像信号。场景度分数计算部件252从对应于所提取EV值的场景度分数计算信息(EV值)311中以逐个场景为基础来获得估计值。例如,当所提取的EV值为“7”时,从场景度分数计算信息(EV值)311获得“0”作为夜间场景的估计值,获得“0”作为背光场景的估计值,获得“1/4”作为室外场景的估计值,并且获得“1”作为室内场景的估计值。
亮度值分布信息提取部件251从捕获图像提取直方图,所述捕获图像对应于从数字信号处理部件123所输出的图像信号。根据所提取的直方图,场景度分数计算部件252计算对应于在图13A到15B中所示出的各个场景度分数计算信息项(亮度中值、亮度峰值、亮度底宽、亮度的二值化阈值、亮度曝光不足区域的比例以及亮度左侧区域的比例)。此后,场景度分数计算部件252根据每个场景度分数计算信息项以逐个场景为基础获得对应于每个计算值的估计值。例如,当所计算的亮度中值为“8”时,从场景度分数计算信息(亮度中值)321获得“1/4”作为夜间场景的估计值,获得“1”作为背光场景的估计值,获得“1”作为室外场景的估计值,并且获得“1”作为室内场景的估计值。例如当所计算的亮度峰值为“9”时,还从场景度分数计算信息(亮度峰值)322获得“0”作为夜间场景的估计值,获得“1/4”作为背光场景的估计值,获得“1/4”作为室外场景的估计值,并且获得“1/2”作为室内场景的估计值。对于亮度底宽、亮度的二值化阈值、亮度曝光不足区域的比例以及亮度左侧区域的比例来说,类似地以逐个场景为基础获得估计值。
此后,使用以逐个场景为基础从场景度分数计算信息所获得的估计值,场景度分数计算部件252使用下列方程式以逐个场景为基础来计算场景度分数SD:
SD=(E1×wt1)+{(H1+H2+…+Hn-1)/(n-1)}×wt2    (12)
其中n为自然数,所述自然数在此例子中为“7”;E1是从场景度分数计算信息(EV值)311所获得的估计值;H1是从场景度分数计算信息(亮度中值)321所获得的估计值;H2是从场景度分数计算信息(亮度峰值)322所获得的估计值;H3是从场景度分数计算信息(亮度底宽)323所获得的估计值;H4是从场景度分数计算信息(亮度的二值化阈值)324所获得的估计值;H5是从场景度分数计算信息(亮度曝光不足区域的比例)325所获得的估计值;并且H6是从场景度分数计算信息(亮度左侧区域的比例)326所获得的估计值。
此外,wt1和wt2是用于当计算场景度分数SD时加权EV信息场景度分数计算信息和亮度值分布信息场景度分数计算信息的值。例如,wt1可以被设置为0.5,并且wt2可以被设置为0.5。在这种情况下,加权EV信息场景度分数计算信息变为等效于加权亮度值分布信息场景度分数计算信息。作为选择,例如wt1可以被设置为0.3,并且wt2可以被设置为0.7,或者wt1可以被设置为0.1,并且wt2可以被设置为0.9。依照这种方式,可以强调亮度值分布信息。在0和1内的值被计算为场景度分数SD的值。
关于以逐个场景为基础依照这种方式计算的场景度分数SD,例如夜间场景的场景度分数被表示为SD1;背光场景的场景度分数被表示为SD2;室外(户外)场景的场景度分数被表示为SD3;并且室内场景的场景度分数被表示为SD4。在这种情况下,场景确定部件256通过比较场景度分数SD1到SD4来区分每个场景。特别地是,对应于具有最高值的场景度分数SD的场景被确定为对应于捕获图像的场景,所述捕获图像对应于从数字信号处理部件123所输出的图像信号。即,所计算的场景度分数SD的值越接近于1,所述场景越可靠。
接下来,将参考附图详细描述用于产生在计算场景索引中所使用的场景索引计算信息的方法。
图16是示出用于产生在计算场景索引中所使用的场景索引计算信息的方法的要点的图。在图16中,将描述其中产生关于夜间场景、室内场景、室外场景和背光场景的场景索引计算信息的例子。如图16所示,使用区域划分部件501、亮度值提取部件502和场景索引计算信息产生部件503根据在图像组401到404中包括的捕获图像来产生关于每个场景的场景索引计算信息。所产生的场景索引计算信息被存储在场景索引计算信息存储部件350中。由于图像组401到404与在图6中所示出的图像组401到404相同,所以不再重复其详细描述以便避免重复。
产生这种场景索引计算信息项可以由使用在记录部件150中记录的捕获图像的图像捕获设备100或由使用捕获图像的图像处理设备(诸如个人计算机)来执行,其中所述捕获图像使用图像捕获设备100或另一图像捕获设备来记录。当场景索引计算信息由不同于图像捕获设备100的图像处理设备产生时,所产生的场景索引计算信息被输入到图像捕获设备100并且被存储在场景索引计算信息存储部件350中。
区域划分部件501是用于将在夜间图像组401、背光图像组402、户外图像组403和室内图像组404中包括的每个图像划分为多个区域的部件。区域划分部件501向亮度值提取部件502输出已经被划分的图像以及关于通过划分所述图像所获得的每个区域的信息。将参考图17来详细描述图像的划分。
亮度值提取部件502使用区域划分部件501提取从捕获图像所划分的每个区域中的亮度值,并且以逐个区域为基础向场景索引计算信息产生部件503输出所提取的亮度值。
场景索引计算信息产生部件503以逐个图像组为基础累积从亮度值提取部件502以逐个区域为基础输出的亮度值的平均值,并且根据每个图像组的累积结果以逐个图像组为基础来产生场景索引计算信息。以逐个图像组为基础所产生的场景索引计算信息被存储在场景索引计算信息存储部件350中。将参考图21等详细描述场景索引计算信息。
如上面所描述,可以通过使用已经记录的多个捕获图像执行统计学习来获得场景索引计算信息项。就像场景度分数计算信息情况一样,通过使用大容量存储设备来产生场景索引计算信息,可以以高准确度来区分多个场景。当图像捕获设备100的用户分类场景时,可以产生用于依照用户偏好执行场景确定的场景索引计算信息。
图17包括示出用于将图像划分为预定区域的方法的要点的图。在图17的部分(a)中所示出的图像510是与在图16中所示出的户外图像组403中包括的捕获图像相同的图像。图17的部分(b)示出了其中捕获图像510被划分成49个区域(7×7区域)的情况。在各个区域中显示的号码(0到48)是各个区域的标识号。同样适用于在图18到20所示出的各个区域中的号码。在此例子中,将描述其中图像被划分成49个区域的情况。然而,可以类似地处理其中图像被划分成除49个区域之外的区域的情况。
依照这种方式,对应于图像信号的有效图像帧被划分成了每个均具有预定区域的区域。提取在每个划分区域中包括的像素的亮度值。以逐个区域为基础计算所提取亮度值的平均值。使用为每个图像的每个区域所计算的亮度的平均值,为捕获图像的每个组产生直方图。根据直方图,为捕获图像的每个组产生场景频率模式。场景频率模式表明依照每个场景出现的特性区域的分布。以下,将参考附图详细描述为捕获图像的每个组所产生的直方图和场景频率模式。
图18和19包括示出其中根据在各个区域中亮度值的平均值来产生直方图的情况的要点的图,根据多个捕获图像来计算所述平均值。图18示出了其中对于在夜间图像组401中包括的每个图像中具有标识号3的区域而产生直方图的情况。图19示出了其中对于在夜间图像组401中包括的每个图像中具有标识号24的区域而产生直方图的情况。在图18的部分(a)和图19的部分(a)中所示出的夜间图像组401与在图16中所示出的夜间图像组401相同。如图18的部分(b)和图19的部分(b)所示,在夜间图像组401中所包括的每个图像被划分成49个区域,并且按照逐个图像基础来计算在每个区域中亮度值的平均值。
图18的部分(c)示出了根据亮度值的平均值所产生的直方图521,其中对在图18的部分(b)中所示出的具有标识号3的区域计算所述亮度值。图19的部分(c)示出了根据亮度值的平均值所产生的直方图522,其中对在图19的部分(b)中所示出的具有标识号24的区域计算所述亮度值。在直方图521和522中,用横坐标来绘制亮度值的平均值,并且用纵坐标绘制频率(图像的数目)。如图18的部分(c)所示,在夜间图像的上部中央部分中,由于在夜间存在许多诸如天空之类的阴暗部分,所以具有亮度值低平均值的级别的频率更高。相比之下,如图19的部分(c)所示,夜间图像的中央部分常常包括如下部分,所述部分包括用于充当对象中央的目标,不过整个图像表示夜间场景。从而,中央部分常常包括相对明亮的部分。因此,亮度值的平均值在相对较宽范围级别内分布。类似地,其它区域常常具有特性分布。
依照这种方式,在捕获图像的各个区域中亮度值的平均值分布是以逐个场景为基础的特性分布。在本发明的实施例中,区域被分类为依照每个场景具有类似分布的预定数目个区域组,并且设置依照每个所分类的区域组的估计值,借此产生场景索引计算信息。以下,将描述关于夜间图像的场景索引计算信息和关于背光图像的场景索引计算信息。
图20是示出关于夜间图像的场景频率模式的例子的图。通过根据对各个区域所计算的亮度值的平均值把每个捕获图像的49个区域组织为组,来获得在图20中所示出的夜间场景频率模式530。在图20中,用粗体来表明组531到535。在夜间图像中,上和下部分具有许多阴暗部分,诸如在夜间的天空和地面,并且相对中央部分常常包括用于充当对象中央的相对明亮的目标。因此,在夜间场景频率模式530中,当区域从上和下部分进展到中央部分时(从组531进展到组535),所述区域从其中具有较低亮度值平均值的级别的频率更高的一组区域进展到其中在相对较宽范围级别上分布亮度值平均值的一组区域。即,夜间场景频率模式530是其中组531到535是低亮度区域的频率模式。
图21A是示出在其中对于图20所示出的夜间场景频率模式530来说把相同的号码给予属于相同组的区域的情况的图。即,号码“1”被给予在组531中包括的各个区域;号码“2”被给予在组532中包括的各个区域;号码“3”被给予在组533中包括的各个区域;号码“4”被给予在组534中包括的各个区域;并且号码“5”被给予在组535中包括的各个区域。在图21A中所示出的夜间场景频率模式540除把相同的号码给予属于相同组的区域之外均与在图20中所示出的夜间场景频率模式530相同。
图21B是示出用于计算场景索引时为每个区域确定估计值的估计值转换表的例子的图。在图21B中所示出的估计值转换表550用来根据在图21A所示出的夜间场景频率模式540中的组531到535与其中提取亮度值的平均值的区域之间的关系来获得49个划分区域中的每个的估计值。这里,在图21B中所示出的Y1、Y2、Y3、Y4和Y5是用于分类从各个区域所提取的亮度值的平均值的值,并且Y1<Y2<Y3<Y4<Y5。t11到t16、…、t51到t56还是依照亮度值的平均值以及其中计算这些平均值的区域所属的组而确定的估计值。根据统计学习来确定这些估计值。例如,当数值t增加时,估计值变得更大。依照这种方式,场景索引计算信息包括场景频率模式和估计值转换表。
图22A是用于示出关于背光图像的场景频率模式的例子的图,并且图22B是用于示出关于背光图像的估计值转换表的例子的图。通过像夜间场景频率模式540那样根据对各个区域所计算的亮度值平均值把每个捕获图像的49个区域组织为组,来获得在图22A中所示出的背光场景频率模式560。在图22A中,用粗体来表明组561到566。在背光图像中,上部具有许多明亮部分,诸如中午的天空,并且相应地亮度值的平均值常常分布在相对较高的级别上。相比之下,尽管较低的中央部分常常包括用于充当对象中央的人,这是因为人后面是明亮的,所以亮度值的平均值常常分布在相对较低的级别上。因此,在背光场景频率模式560中,当区域从下部中央部分进展到上部时(从组566进展到组561),所述区域从其中具有较低亮度值平均值的级别的频率更高的一组区域进展到其中在具有较高亮度值平均值的级别的频率更高的一组区域。即,背光场景频率模式560是其中组566和565为低亮度区域的频率模式,组564和563为中间亮度区域,并且组562和561为高亮度区域。依照每个场景可以使组的数目是不同的。例如,在关于夜间图像的场景频率模式中所述区域被组织为五个组,并且在关于背光图像的场景频率模式中所述区域被组织为六个组。
图22B示出了用于在计算场景索引时确定每个区域的估计值的估计值转换表570。估计值转换表570用来根据在背光场景频率模式560中的组561到566与其中提取亮度值的平均值的区域之间的关系来获得49个划分区域中的每个的估计值。由于估计值转换表570除组的数目和估计值是不同的之外类似于在图21B中所示出的估计值转换表550,所以不再重复其描述以免重复。
现在将描述用于计算场景索引的场景索引计算方法。在此例子中,将以举例形式描述其中计算关于夜间场景的场景索引的情况。
区域划分部件253把对应于从数字信号处理部件123所输出的图像信号的捕获图像划分为49个区域。亮度值提取部件254提取在从捕获图像所划分的各个区域中的亮度值。场景索引计算部件255计算在捕获图像的每个区域中的亮度值的平均值,并且根据每个区域中的亮度值的平均值使用在场景索引计算信息存储部件350中所存储的场景索引计算信息来计算场景索引。
特别地是,例如对于在图21A中所示出的夜间场景频率模式540中被给予了组号“1”的区域来说,确定根据此区域所计算的亮度值的平均值对应于以下哪个状态:小于Y1;大于或等于Y1并且小于Y2;大于或等于Y2并且小于Y3;大于或等于Y3并且小于Y4;并且大于或等于Y4并且小于Y5。例如,当根据被给予了组号“1”的区域所计算的亮度值的平均值小于Y1时,“t11”被确定为该区域的估计值。例如,当根据被给予了组号“1”的区域所计算的亮度值的平均值大于或等于Y1并且小于Y2时,“t12”被确定为该区域的估计值。类似地,确定49个区域的估计值。使用依照这种方式所确定的估计值,计算关于夜间场景的场景索引YS1。可以通过下列方程式来获得场景索引YS1:
YS1=(ER1+ER2+ER3+…ERn)/n(13)
其中n是划分区域的数目;并且ER1…ERn是为各个区域所确定的估计值,其中在此例子中n=49。
根据通过使用此方程式所计算的场景索引YS1的值,确定捕获图像是否为夜间场景。例如,当所计算的场景索引YS1大于或等于阈值T1时,捕获图像可以被确定为是夜间场景。依照这种方式,对于一个捕获图像来说,使用关于每个场景的场景索引计算信息来以逐个场景为基础计算场景索引。例如,当在为各个场景所计算的场景索引当中的多个场景索引大于或等于阈值时,捕获图像可以被确定为在大于或等于阈值的场景索引当中具有最高值的场景索引的场景。
图23A是示出用于表示在多个捕获图像和为这些捕获图像所计算的夜间场景索引之间关系的图表的图。在此图表中,用横坐标绘制捕获图像的标识号,并且用纵坐标绘制夜间场景索引。在此图表中,例如当阈值T1为180时,其夜间场景索引具有大于或等于阈值T1的值的捕获图像可以被确定为夜间场景。
图23B和23C是用于示出在相对阴暗地方中捕获图像的图。例如,尽管在图23B中所示出的捕获图像是在夜间在街道上所捕获的图像,但是因为捕获图像是相对明亮地方的图像,相对较小的值(例如,夜间场景索引:76)被计算为夜间场景索引571。因此,在图23B中所示出的捕获图像未被确定为夜间场景。相比之下,在图23C中所示出的捕获图像是在夜间在街道上所捕获的图像,并且因为捕获图像是相对阴暗地方的图像,相对较大的值(例如夜间场景索引:208)被计算为夜间场景索引572。因此,在图23C中所示出的捕获图像被确定为夜间场景。依照这种方式,可以通过只使用夜间场景索引来确定夜间场景。然而,通过使用下述场景索引校正值来校正夜间场景索引,可以进一步改进用于确定夜间场景的准确度。
图24A是示出用于计算场景索引校正值的估计值转换表的图。在图24A中所示出的估计值转换表550除用粗体表明在每个组内的一个部分之外类似于在图21B中所示出的估计值转换表550。当计算场景索引校正值时,当粗体的“t11”、“t22”、“t33”、“t44”和“t55”之一被确定为相应区域中的估计值时,对预定值进行计数。例如,顺序地增加“1”作为场景索引校正值。
特别地是,对于被给予了组号“1”的区域来说,当根据此区域所计算的亮度值的平均值小于Y1时,把“1”增加到场景索引计算值。对于被给予了组号“2”的区域来说,当根据此区域所计算的亮度值的平均值大于或等于Y1并且小于Y2时,把“1”增加到场景索引计算值。类似地,对被给予了组号“3”到“5”的区域来计算场景索引校正值。相比之下,当确定除用粗体的“t11”、“t22”、“t33”、“t44”或“t55”之外的估计值时,并不对场景索引校正值进行任何计算。即,在为49个区域所确定的估计值之间,对于场景索引校正值来说对对应于“t11”、“t22”、“t33”、“t44”和“t55”的那些区域进行计数。
图24B是示出用于表示在夜间场景索引和场景索引校正值之间关系的图表的图。在图24B所示出的图表中,用横坐标绘制场景索引校正值SK,并且用纵坐标绘制夜间场景索引的值。在此例子中,如图23A到23C所示,使用场景索引校正值SK来增加所计算的夜间场景索引值。例如,当场景索引校正值SK大于或等于阈值T2时,如图24B所示,增加夜间场景索引。相比之下,例如当场景索引校正值SK小于阈值T2时,并不增加或减少夜间场景索引。依照这种方式,注意在区域当中具有最高频率的区域,并且对对应于此区域的区域的数目进行计数,借此计算场景索引校正值SK。当场景索引校正值SK大于或等于阈值T2时,执行用于增加夜间场景索引的处理,由此进一步把夜间场景与其它场景相分离。据此,可以执行更适当的场景确定。
图25A是示出用于表示在多个捕获图像和为这些捕获图像所计算的夜间场景索引之间关系的图表的图。通过使用场景索引校正值转换在图23A所示出的图表中所示出的夜间场景索引来获得此图表。例如,当把在图25A中所示出的图表与在图23A中所示出的图表相比较时,在其中夜间场景索引值为低的部分中存在可忽略的改变。然而,当夜间场景索引值增加时,夜间场景索引被转换为较高值。即,可以进一步把夜间场景与其它场景相分离,并且可以改进用于确定夜间场景的准确度。在图25B和25C中所示出的捕获图像分别与在图23B和23C中所示出的那些捕获图像相同。例如,对于在图25B中所示出的捕获图像来说,相对较小的值(例如,夜间场景索引:76)被计算为夜间场景索引571,并且相应地,场景索引校正值并不大于或等于阈值T2。因此,在夜间场景索引中不存在任何变化。相比之下,对于在图25C中所示出的捕获图像来说,相对较大的值(例如,夜间场景索引:284)被计算为夜间场景索引573,并且相应地,场景索引校正值大于或等于阈值T2。因此,增加夜间场景索引。
图26A是用于示出关于背光场景的估计值转换表的图,并且图26B是示出用于表示在背光场景索引和场景索引校正值之间关系的图表的图。在图26A中所示出的估计值转换表570除用粗体表明在每个组内的一个部分之外类似于在图22B中所示出的估计值转换表570。当计算关于背光场景的场景索引校正值时,如在图24A中,当粗体的“s61”、“s52”、“s43”、“s34”、“s25”和“s16”之一被确定为相应区域中的估计值时对预定值进行计数。在图26B所示出的图表中,用横坐标绘制场景索引校正值SK,并且用纵坐标绘制背光场景索引的值。背光场景索引的转换类似于在图24B中所示出的夜间场景索引的情况。在此例子中,将描述其中使用共同的阈值T2来用于夜间场景和背光场景的情况。作为选择,可以以逐个场景为基础使用不同的阈值。
如同上述,已经描述了其中使用场景度分数来确定捕获图像的场景的例子以及其中使用场景索引来确定捕获图像的场景的例子。可以通过使用场景度分数和场景索引之一确定场景来改进场景确定准确度。然而,可以通过使用场景度分数和场景索引确定场景来进一步改进场景确定准确度。以下,将描述其中使用场景度分数和场景索引来确定场景的例子。例如,选择具有最高场景度分数的场景。当为所选场景所计算的场景索引大于或等于阈值时,可以确定所选场景。通过使用场景度分数和场景索引确定场景,可以改进场景确定准确度。
接下来,将描述在所确定的场景和图像捕获模式之间的关系。
图27是示出在图像捕获条件和用于设置所述图像捕获条件的条件之间关系的图。此例子示出了其中通过执行初步光发射操作的夜间场景601、背光场景602、面部检测603、主要对象检测604,以及用于表明图像捕获设备100的静止或移动状态的静止/移动状态605被用为用于设置图像捕获条件的条件的情况。此例子还示出了其中缓慢同步模式611、闪光灯发射模式612、高灵敏度模式613、夜间模式614、白天同步模式615和强度校正616被设置为图像捕获条件的情况。将参考图34到36详细描述这些设置。
例如,当捕获夜间场景或室内场景的静止图像时,减小快门速度,导致有更多机率出现运动污点。当增加快门速度时,尽管运动污点变得不太可能出现,可能无法在诸如夜间场景之类的阴暗场景中捕获美丽的背景图像。近年来,已经广泛地执行用于通过在AGC处理中增加放大增益并且捕获具有高灵敏度的图像来捕获背景图像的方法。然而,由于噪声量通过增加增益而增加,所以并非包括夜间场景的所有阴暗场景都可以被处理。因此依照本发明实施例,可以通过确定图像捕获设备100的静止状态来捕获诸如夜间场景之类的阴暗场景的美丽图像。
图28A和28B是示出依照本发明实施例的低明度校正的要点的图。在此例子中,将描述当场景被确定为夜间场景时所执行的低明度校正。例如,当场景被确定为夜间场景时,执行改变明度的低明度校正处理。
在本发明的实施例中,例如在被称作自动模式的标准模式中执行场景确定。自动模式是覆盖从诸如夜间场景之类的低明度场景到诸如室外场景之类的高明度场景的宽范围的图像捕获模式。因此,在自动模式中的曝光条件不同于夜间模式中的预定阈值(明度目标值)。通过依照明度执行低明度校正来执行用于将在自动模式中的明度级带到接近于夜间模式中的预定阈值的处理。
在图28A所示出的图表中,用横坐标绘制从捕获图像所提取的EV值,并且用纵坐标绘制亮度目标值。从捕获图像所提取的当前EV值被表示为L1。如图28A中的图表所示,根据从捕获图像所提取的EV值执行低明度校正,由此把EV值带到接近于夜间模式中的预定阈值。在图28B所示出的图表中,用横坐标绘制为捕获图像所计算的夜间场景度分数,并且用纵坐标绘制明度目标值。根据捕获图像所计算的当前场景度分数被表示为L2。
在本发明的实施例中,除在图28A中所示出的低明度校正之外,使用所确定场景的信息来执行用于改变校正量的处理。例如,当在场景确定处理中所计算的场景度分数为高时,执行校正以便进一步使图像变暗。作为选择,例如当场景度分数为低时,执行校正以便进一步使图像明亮。特别地是,例如计算在对应于在图28A中所示出的L1的低明度校正值和对应于在图28B中所示出的L2的低明度校正值之间的差异d,并且所计算的差异d充当校正量以便在明度上反映。依照这种方式,可以通过使用所确定场景的信息来执行更适当的低明度校正。
作为选择,可以通过使用夜间场景索引代替使用夜间场景度分数来执行校正。作为选择,可以通过使用夜间场景度分数和夜间场景索引来执行校正。可以类似地处理除夜间场景之外的场景。
图29A到30B是依照本发明实施例示出在显示部件140上显示的场景识别图标的显示例子的图。图29A示出了背光场景识别图标700,其是对应于背光场景的示例性场景识别图标。图29B示出了夜间场景识别图标710,其是对应于夜间场景的示例性场景识别图标。图30A示出了其颜色已经被改变的背光场景识别图标700。图30B示出了其颜色已经被改变的夜间场景识别图标710。
当在正执行监视以便在显示部件140上显示捕获图像的情况下已经由场景判定部件250在预定时段连续地确定相同的场景时,显示对应于该场景的场景识别图标。例如,如图29A所示,当在显示部件140上正显示对应于背光场景的捕获图像时,如果场景判定部件250已经在预定时段连续地确定背光场景,那么在所述显示部件140上连同所述捕获图像一起显示背光场景识别图标700。
当在显示部件140上正显示场景识别图标时,如果不完全地按压快门线释放按钮131,例如如图30A和30B所示,那么改变在显示部件140上所显示的场景识别图标的颜色。例如,如图30A所示,当在显示部件140上连同捕获图像一起显示背光场景识别图标700时,如果快门线释放按钮131被不完全地按压,那么改变背光场景识别图标700的颜色。
例如,当图像捕获设备100被极大地移动或者在其中亮度不稳定的地方时,场景识别图标的显示摆动使得可以依照重复的方式来显示和擦除场景识别图标。相比之下,在本发明的实施例中,防止显示场景识别图标的摆动以及重复显示/擦除所述场景识别图标,并且可以依照稳定方式显示所述场景识别图标。据此,可以显示场景识别图标,使得摄影师可以容易地查看所显示的场景识别图标。在本发明的实施例中,描述了其中在显示部件140上显示场景识别图标作为用于表示每个场景的标记的例子。作为选择,可以显示诸如文本或图像之类的另一标记作为用于表示每个场景的标记。
接下来,将参考附图描述依照本发明实施例的图像捕获设备100的操作。
图31是示出由依照本发明实施例的图像捕获设备100所执行的场景确定处理的处理过程的流程图。在此例子中,将描述其中使用场景度分数和场景索引来确定场景的例子。例如在监视捕获图像期间执行场景确定。
最初,获得捕获图像(步骤S901)。然后,执行场景度分数计算处理(步骤S910)。将参考图32详细描述场景度分数计算处理。然后,执行场景索引计算处理(步骤S920)。将参考图33详细描述场景索引计算处理。
然后,场景确定部件256选择在由场景度分数计算部件252所计算的场景度分数当中具有最高场景度分数的场景(步骤S902)。然后,场景确定部件256确定由场景索引计算部件255为所选场景所计算的场景索引是否大于或等于阈值(步骤S903)。当为所选场景所计算的场景索引大于或等于阈值时(在步骤S903为是),场景确定部件256确定所选场景为当前捕获图像的场景(步骤S904)。相比之下,当为所选场景所计算的场景索引小于阈值时(在步骤S903为否),场景确定部件256确定当前捕获图像的场景是不可确定的(步骤S905)。
当具有最高场景度分数的场景在其它场景当中具有关于EV信息的最高场景度分数以及关于亮度值分布信息的最高场景度分数时,在步骤S903可以在不使用场景索引执行确定的情况下确定所述场景。
图32是用于示出在由依照本发明实施例的图像捕获获设备100执行的场景确定处理的处理过程内的场景度分数计算处理的过程(在图31中所示出的步骤S910中的处理过程)的流程图。
最初,EV值提取部件240从捕获图像中提取EV值(步骤S911)。然后,亮度值分布信息提取部件251从捕获图像提取直方图(步骤S912)。然后,场景度分数计算部件252根据由EV值提取部件240所提取的EV值和由亮度值分布信息提取部件251所提取的直方图以逐个场景为基础使用在场景度分数计算信息存储部件300中所存储的场景度分数计算信息来计算场景度分数。
图33是用于示出在由依照本发明实施例的图像捕获设备100执行的场景确定处理的处理过程内的场景索引计算处理的过程(在图31中所示出的步骤S920中的处理过程)的流程图。
最初,区域划分部件253把捕获图像划分为预定区域(步骤S921)。然后,亮度值提取部件254从每个划分区域提取亮度值(步骤S922)。然后,场景索引计算部件255计算在每个区域中所提取亮度值的平均值,并且根据亮度值的平均值以逐个场景为基础通过使用在场景索引计算信息存储部件350中所存储的场景索引计算信息来计算场景索引校正值和场景索引(步骤S923)。
图34是示出由依照本发明实施例的图像捕获设备100所执行的图像捕获模式设置处理的处理过程的流程图。
最初,确定是否已经确定夜间场景(步骤S951)。当已经确定夜间场景时(在步骤S951为是),执行夜间场景模式设置处理(步骤S960)。参考图35详细描述夜间场景模式设置处理。
当尚未确定夜间场景时(在步骤S951为否),确定是否已经确定背光场景(步骤S952)。当已经确定背光场景时(在步骤S952为是),执行背光场景模式设置处理(步骤S970)。参考图36详细描述背光场景模式设置处理。当尚未确定背光场景时(在步骤S952为否),执行不同于夜间场景或背光场景的另一场景的模式设置处理(步骤S953)。
图35是用于示出在由依照本发明实施例的图像捕获设备100执行的图像捕获模式设置处理的处理过程内的夜间场景模式设置处理的过程(在图34中所示出的步骤S960中的处理过程)的流程图。
确定在捕获图像中是否检测到面部(步骤S961)。当在捕获图像中检测到面部时(在步骤S961为是),设置其中发射闪光的闪光灯发射模式(步骤S962)。然后,确定图像捕获设备100是否是静止的(步骤S963)。
当确定图像捕获设备100是静止的时(在步骤S963为是),可以设想图像捕获设备100被利用三脚架固定或位于固定地方。因此,设置缓慢同步模式(步骤S964)。缓慢同步模式是其中在阴暗场景中可以利用闪光灯发射来捕获对象(人)的清楚图像并且可以利用缓慢快门速度来捕获在阴暗场景中美丽的背景图像的模式。由于图像捕获设备100被确定为是静止的,所以不执行用于提升图像信号的AGC处理,并且从而可以降低快门速度。据此,摄影师可以记录美丽的且无噪声的捕获图像。
相比之下,当确定图像捕获设备100并不是静止的时(在步骤S963为否),例如可以设想摄影师正在用手拿着图像捕获设备100的同时捕获图像或者所述图像捕获设备100位于并不稳定的地方。因此,设置其中执行用于提升图像信号的AGC处理并且增加快门速度的曝光模式(高灵敏度模式),由此防止运动污点(步骤S965)。通过利用闪光灯发射来捕获图像,可以捕获对象(人)的清楚图像。通过执行用于提升图像信号的AGC处理,可以捕获在阴暗场景中美丽的背景图像。通过把快门速度增加到可以防止运动污点的级别,即使当摄影师用手拿着图像捕获设备100,该摄影师也可以记录可靠获得的捕获图像。粗略地说,当把快门速度增加到等效于图像捕获透镜的焦距倒数的速度(秒)时,由于照相机移动所导致的图像捕获错误通常不太可能出现。从而例如把快门速度调节为比等效于图像捕获透镜的焦距倒数的速度(秒)更快的速度。
当在捕获图像中没有检测到面部时(在步骤S961为否),通过执行初步光发射操作来确定是否存在主要对象(步骤S966)。在阴暗场景中,很可能难以准确地执行面部检测。从而,通过执行初步光发射操作来确定主要对象是非常有效的。当通过执行初步光发射操作确定存在主要对象时(在步骤S966为是),流程继续至步骤S962。相比之下,当通过执行初步光发射操作确定不存在主要对象时(在步骤S966为否),那么确定图像捕获设备100是否是静止的(步骤S967)。
当确定图像捕获设备100是静止的时(在步骤S967为是),设置在捕获夜间场景图像中专用的夜间模式(步骤S968)。当设置此夜间模式时,由于在捕获图像中不存在任何人,所以禁止闪光灯发射,并且使用缓慢快门速度来捕获图像。据此,摄影师可以记录美丽的且无噪声的捕获图像。
相比之下,当确定图像捕获设备100不是静止的时(在步骤S967为否),设置高灵敏度模式(步骤S969)。在这种情况下,由于在捕获图像中不存在任何人,所以禁止闪光灯发射,并且执行用于提升图像信号的AGC处理。据此,可以捕获在阴暗场景中的背景图像。通过把快门速度增加到高达可以防止运动污点的级别,即使当摄影师用手拿着图像捕获设备100,该摄影师也可以可靠地记录捕获图像。
这里,设置每个图像捕获模式意味着设置对应于图像捕获模式的程序图。可以类似地设置各个图像捕获模式,除上述图像捕获模式之外包括风景模式、肖像模式等。
当在步骤S963和S967中确定图像捕获设备100是否是静止的时,所述处理具有与用于使用污点校正设备消除或减少运动污点的确定准则不同的确定准则。这是因为可以通过使诸如上述用于确定阴暗场景以及改变曝光条件的确定准则不同于用于消除或减少运动污点的静止确定准则来执行优化。
当图像捕获设备100具有自拍器功能时,很可能当图像捕获设备100利用三脚架固定或者位于固定地方时开启自拍功能。因此例如可以只在开启自拍器功能时执行上述处理。还可以不禁止闪光灯发射而不考虑是否检测到面部。还可以通过利用操作接受部件130执行手动操作来将面部检测部件210、静止确定部件220、主要对象检测部件230和场景判定部件250设置为关闭。还可以通过利用操作接受部件130执行手动操作来将上述处理设置为关闭。
图36是用于示出在由依照本发明实施例的图像捕获设备100执行的图像捕获模式设置处理的处理过程内的背光场景模式设置处理的过程(在图34中所示出的步骤S970中的处理过程)的流程图。
确定在捕获图像中是否检测到面部(步骤S971)。当在捕获图像中检测到面部时(在步骤S971为是),设置其中发射闪光的闪光灯发射模式(步骤S972),并且设置白天同步模式(步骤S973)。白天同步模式是其中在背光场景的情况下例如在主要对象可能是阴暗的并且凹陷(sunken)的情况下,可以利用闪光灯发射来捕获主要对象和背景的良好图像的图像捕获模式。当人后面明亮时,面部变得阴暗并且凹陷,并且在捕获图像中可能检测不到面部。因此,当在捕获图像中没有检测到面部时(在步骤S971为否),通过执行初步光发射操作来确定存在主要对象(步骤S974)。
当通过执行初步光发射操作确定存在主要对象时(在步骤S974为是),流程继续至步骤S972。相比之下,当通过执行初步光发射操作确定不存在主要对象时(在步骤S974为否),那么执行强度校正处理(步骤S975)。强度校正处理是用于执行强度校正以便在图像信号的低亮度侧增加亮度强度级的处理。结果,背光场景可以被捕获并作为自然图像记录。
当摄影师已经禁止闪光灯发射时,白天同步模式是不可设置的。因此,当摄影师已经禁止闪光灯发射时,执行强度校正。强度校正控制的细节取决于是否检测到面部而可以是不同的。例如,当检测到面部时,可以执行校正以便把面部亮度的强度调节到适当级别。
图37是示出由依照本发明实施例的图像捕获设备100所执行的场景识别图标显示处理的处理过程的流程图。特别地是,此处理过程由显示控制部件290执行。
最初,执行监视以便在显示部件140上显示捕获图像(步骤S981)。然后,确定是否已经确定场景(步骤S982)。当已经确定场景时(在步骤S982为是),那么确定所确定的场景是否与先前刚确定的场景相同(步骤S983)。当所确定的场景与先前刚刚确定的场景相同时(在步骤S983为是),使图标显示计数器增加(步骤S984)。那么,确定图标显示计数器是否大于或等于阈值(步骤S986)。
当图标显示计数器大于或等于阈值时(在步骤S986中为是),“TRUE”被设置为图标显示标志(步骤S987)。于是在显示部件140上显示对应于此确定场景的场景识别图标(步骤S988)。当图标显示计数器并不大于或等于阈值时(在步骤S986中为否),流程继续至步骤S989。
当没有确定场景时(在步骤S982中为否),或者当所确定的场景并不与先前刚刚确定的场景相同时(在步骤S983为否),复位图标显示计数器(步骤S985)。于是,“FALSE”被设置为图标显示标志(步骤S989)。然后擦除在显示部件140上所显示的场景识别图标(步骤S990)。当在显示部件140上没有显示场景识别图标时,并不执行用于擦除场景识别图标的此处理。
然后确定是否已经不完全地按压快门线释放按钮131(步骤S991)。当快门线释放按钮131尚未被不完全按压时(在步骤S991中为否),流程返回到步骤S981。相比之下,当快门线释放按钮131已经被不完全地按压时(在步骤S991中为是),确定“TRUE”是否已经被设置为图标显示标志(步骤S992)。当“TRUE”已经被设置为图标显示标志时(在步骤S992中为是),改变在显示部件140上所显示的场景识别图标的颜色(步骤S993)。相比之下,当“TRUE”尚未被设置为图标显示标志时(在步骤S992中为否),终止场景识别图标显示处理。
如上面已经描述,在诸如夜间中的阴暗地方中或在房间内,图像捕获设备100的用户可以通过在不使用各种设置和图像捕获方法的情况下确定图像捕获设备100的静止状态来容易地获得良好的图像。例如,当用户已经利用三脚架固定图像捕获设备100来代替使用手拿着所述图像捕获设备100时,可以获得美丽的且无噪声的图像。当用户用手拿着图像捕获设备100时,可以获得没有运动污点的图像。因此,可以处理任何阴暗场景模式。
使用面部检测部件210、静止确定部件220、主要对象检测部件230和场景判定部件250,由于只在必要时执行光发射所以可以获得自然图像。还可以减少功率消耗,并且相应地,用户可以使用图像捕获设备100更长时间。通过在开启自拍器功能时把面部检测部件210、静止确定部件220、主要对象检测部件230和场景判定部件250设置为被激活,可以减少功率消耗,并且用户可以使用图像捕获设备100更长时间。
通过使用场景度分数计算信息和场景索引计算信息执行场景确定,可以准确地区分包括夜间场景、室内场景、室外场景和背光场景在内的各个场景。甚至可以确定其中用户可能没能捕获图像的场景(诸如背光场景)。利用通过执行初步光发射操作的面部检测和主要对象检测,即便在背光场景中也可以执行适当的处理。据此,可以在不使用户执行困难操作的情况下容易地获得良好的图像。此外,甚至可以确定其中用户可能没能捕获图像的场景(诸如夜间场景)。因为根据场景度分数等把明度控制为适当的明度,所以可以在不使用户执行困难操作的情况下容易地获得良好的图像。
由于以稳定方式显示用于使用户识别场景的场景识别图标,所以用户可以更容易地识别所述场景。
尽管在本发明的实施例中以16阶表明度值分布信息,不过即使当按其它数目的阶来表明度值分布信息时也可以执行类似的处理。尽管在本发明的实施例中已经以举例形式描述了根据六个亮度值分布信息项所产生的亮度值分布信息场景度分数计算信息,诸如整个直方图的亮度中值,可以通过使用根据其它亮度值分布信息所产生的亮度值分布信息场景度分数计算信息来计算场景度分数。作为亮度值分布信息,可以使用例如直方图的峰宽、直方图中的峰值高度、直方图的底宽、直方图的间隔和/或直方图中曝光过度区域的比例。
尽管在本发明的实施例中已经以举例形式描述了诸如数字静物照相机之类的图像捕获设备,本发明的实施例适用于各种图像捕获设备,诸如具有静止图像捕获功能的摄像放像机和具有图像捕获部件的移动电话。本发明的实施例还适用于具有不同结构的图像捕获设备,诸如可更换透镜的照相机或电影摄像机。
尽管在本发明的实施例中已经描述了其中使用EV值作为明度信息的例子,不过本发明的实施例适用于其中使用诸如光值(LV)之类的明度信息的情况。
尽管在本发明的实施例中已经描述了其中使用在不围绕光轴方向旋转图像捕获设备的情况下捕获图像的例子,不过本发明的实施例例如适用于通过围绕光轴方向旋转图像捕获设备90度所捕获的图像。在这种情况下,例如预先产生通过旋转图像捕获设备90度所捕获的图像的场景索引计算信息。使用此场景索引计算信息,计算场景索引。作为选择,根据从捕获图像所划分的每个区域中提取的亮度值平均值来计算正常的场景索引。另外,使用旋转90度的场景频率模式来计算场景索引。通过使用这些场景索引,可以执行场景确定。作为选择,通过使用角度传感器来检测图像捕获设备的旋转角度,使用所述图像捕获设备的旋转角度来确定捕获图像的旋转角度,并且依照所述捕获图像的旋转角度来计算场景索引。
以举例形式图示了本发明的实施例以便实现本发明。尽管在实施例和下面将描述的权利要求的特征之间存在一致性,不过本发明并不局限于此,并且在不脱离本发明的精神和范围的情况下可以进行各种修改。
即依照本发明实施例,明度信息提取装置例如对应于EV值提取部件240。亮度值分布信息提取装置例如对应于亮度值分布信息提取部件251。场景确定装置例如对应于场景确定部件256。
依照本发明另一实施例,明度信息估计值参数存储装置例如对应于场景度分数计算信息存储部件300。亮度值分布信息估计值参数存储装置例如对应于场景度分数计算信息存储部件300。确定估计值计算装置例如对应于场景度分数计算部件252。
依照本发明另一实施例,亮度值区域信息提取装置例如对应于区域划分部件253和亮度值提取部件254。
依照本发明另一实施例,明度信息估计值参数存储装置例如对应于场景度分数计算信息存储部件300。亮度值分布信息估计值参数存储装置例如对应于场景度分数计算信息存储部件300。划分区域估计值转换信息存储装置例如对应于场景索引计算信息存储部件350。确定估计值计算装置例如对应于场景度分数计算部件252。划分区域估计值计算装置例如对应于场景索引计算部件255。
依照本发明另一实施例,明度校正处理装置例如对应于图像捕获条件设置部件280。
依照本发明另一实施例,图像捕获条件设置装置例如对应于图像捕获条件设置部件280。
依照本发明另一实施例,显示控制装置例如对应于显示控制部件290。
依照本发明另一实施例,划分区域估计值转换信息存储装置例如对应于场景索引计算信息存储部件350。亮度值区域信息提取装置例如对应于区域划分部件253和亮度值提取部件254。划分区域估计值计算装置例如对应于场景索引计算部件255。场景确定装置例如对应于场景确定部件256。
依照本发明的其它实施例,提取明度信息的步骤例如对应于步骤S911。提取亮度值分布信息的步骤例如对应于步骤S912。确定场景的步骤例如对应于步骤S904。
在本发明的实施例中所描述的处理过程可以被认为是具有此过程系列的方法或者可以被认为是用于使计算机执行所述过程系列的程序或其上记录有所述程序的记录介质。
那些本领域技术人员应当理解,在附加权利要求及其等效物的范围内,根据设计要求及其它因素可以进行各种修改、组合、子组合和变化。

Claims (12)

1.一种图像处理设备,包括:
输入装置,用于接收将被处理的输入图像;
明度信息提取装置,用于从所述图像中提取用于表明整个图像明度的明度信息;
亮度值分布信息提取装置,用于从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息;
场景确定装置,用于根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景;
明度信息估计值参数存储装置,用于以逐个场景为基础来存储用于表明依照各个场景的所述明度信息的分布的明度信息估计值参数;
亮度值分布信息估计值参数存储装置,用于以逐个场景为基础来存储用于表明对应于依照所述各个场景的所述亮度值分布信息的特征量的亮度值分布信息估计值参数;和
确定估计值计算装置,用于以逐个场景为基础使用对应于所提取明度信息的所述明度信息估计值参数来计算明度信息估计值,以逐个场景为基础使用对应于所提取亮度值分布信息的所述亮度值分布信息估计值参数来计算亮度值分布信息估计值,并且以逐个场景为基础根据以逐个场景为基础计算的所述明度信息估计值和亮度值分布信息估计值来计算确定估计值,
其中所述场景确定装置根据以逐个场景为基础计算的所述确定估计值来确定在所述图像中所包括的所述对象的场景。
2.如权利要求1所述的图像处理设备,其中对应于所述亮度值分布信息的所述特征量至少包括用于表明在直方图中对应于所指定类别的比例的值,所述直方图用于表明在所述图像中亮度值的分布。
3.如权利要求1所述的图像处理设备,其中对应于所述亮度值分布信息的所述特征量至少包括通过对直方图执行判别分析方法所获得的二值化阈值,所述直方图用于表明在所述图像中亮度值的分布。
4.如权利要求1所述的图像处理设备,其中进一步包括亮度值区域信息提取装置,用于将所述图像划分为多个区域并且提取每个所述区域的亮度值区域信息,
其中所述场景确定装置根据所提取的明度信息、所提取的亮度值分布信息和所提取的亮度值区域信息来确定在所述图像中所包括的所述对象的场景。
5.如权利要求4所述的图像处理设备,其中进一步包括:
划分区域估计值转换信息存储装置,用于存储用来表明所述图像的区域组的区域组信息和估计值转换表,其中根据依照所述各个场景的亮度值区域信息的大小来分类所述图像的区域组,并且所述估计值转换表用于根据所述区域组信息来将所提取的亮度值区域信息转换为划分区域估计值;和
划分区域估计值计算装置,用于以逐个场景为基础使用所述区域组信息和估计值转换表来为所提取的亮度值区域信息计算划分区域估计值,
其中所述场景确定装置根据以逐个场景为基础计算的所述确定估计值和划分区域估计值来确定在所述图像中所包括的所述对象的场景。
6.如权利要求5所述的图像处理设备,其中所述划分区域估计值计算装置用于在从所述图像的预定区域中所提取的亮度值区域信息存在于预定范围内的情况下执行校正以便增加所述划分区域估计值。
7.如权利要求1所述的图像处理设备,其中进一步包括明度校正处理装置,用于在所述图像中所包括的所述对象的场景被确定为预定场景的情况下执行与所述预定场景相应的明度校正处理。
8.如权利要求1所述的图像处理设备,其中进一步包括图像捕获条件设置装置,用于在所述图像中所包括的所述对象的场景被确定为背光场景的情况下依照在所述图像中存在面部以及存在光发射来设置图像捕获条件。
9.如权利要求1所述的图像处理设备,其中进一步包括显示控制装置,用于在所述图像中所包括的所述对象的场景已经在预定时段被连续地确定为相同的场景的情况下显示标记,所述标记用于表示在预定时段已经被连续确定的场景。
10.一种图像处理设备,包括:
划分区域估计值转换信息存储装置,用于存储用来表明所捕获图像的区域组的区域组信息和估计值转换表,其中根据依照各个场景的在所捕获图像的预定区域中的亮度值区域信息的大小来分类所述捕获图像的区域组,并且所述估计值转换表用于根据所述区域组信息来将所述亮度值区域信息转换为划分区域估计值;
亮度值区域信息提取装置,用于将捕获图像划分为多个区域并且提取每个所述区域的亮度值区域信息;
划分区域估计值计算装置,用于以逐个场景为基础使用所述区域组信息和估计值转换表来为所提取的亮度值区域信息计算划分区域估计值;和
场景确定装置,用于根据以逐个场景为基础所计算的所述划分区域估计值来确定在所捕获图像中所包括的所述对象的场景。
11.一种图像处理方法,包括步骤:
从图像中提取用于表明整个图像的明度的明度信息;
从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息;
根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景;
以逐个场景为基础来存储用于表明依照各个场景的所述明度信息的分布的明度信息估计值参数;
以逐个场景为基础来存储用于表明对应于依照所述各个场景的所述亮度值分布信息的特征量的亮度值分布信息估计值参数;并且
以逐个场景为基础使用对应于所提取明度信息的所述明度信息估计值参数来计算明度信息估计值,以逐个场景为基础使用对应于所提取亮度值分布信息的所述亮度值分布信息估计值参数来计算亮度值分布信息估计值,并且以逐个场景为基础根据以逐个场景为基础计算的所述明度信息估计值和亮度值分布信息估计值来计算确定估计值,
其中根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景包括根据以逐个场景为基础计算的所述确定估计值来确定在所述图像中所包括的所述对象的场景。
12.一种图像捕获设备,包括:
图像捕获装置,用于捕获对象的图像并且产生捕获图像;
明度信息提取装置,用于从所述捕获图像中提取用于表明整个捕获图像的明度的明度信息;
亮度值分布信息提取装置,用于从所述捕获图像中提取用于表明在所述捕获图像中亮度值分布的亮度值分布信息;
场景确定装置,用于根据所提取的明度信息和所提取的亮度值分布信息来确定在所述捕获图像中所包括的所述对象的场景;
明度信息估计值参数存储装置,用于以逐个场景为基础来存储用于表明依照各个场景的所述明度信息的分布的明度信息估计值参数;
亮度值分布信息估计值参数存储装置,用于以逐个场景为基础来存储用于表明对应于依照所述各个场景的所述亮度值分布信息的特征量的亮度值分布信息估计值参数;和
确定估计值计算装置,用于以逐个场景为基础使用对应于所提取明度信息的所述明度信息估计值参数来计算明度信息估计值,以逐个场景为基础使用对应于所提取亮度值分布信息的所述亮度值分布信息估计值参数来计算亮度值分布信息估计值,并且以逐个场景为基础根据以逐个场景为基础计算的所述明度信息估计值和亮度值分布信息估计值来计算确定估计值,
其中所述场景确定装置根据以逐个场景为基础计算的所述确定估计值来确定在所述图像中所包括的所述对象的场景。
CN2009100056241A 2008-01-22 2009-01-20 图像捕获设备、图像处理设备和方法 Expired - Fee Related CN101494738B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008011068 2008-01-22
JP2008-011068 2008-01-22
JP2008011068A JP2009177271A (ja) 2008-01-22 2008-01-22 撮像装置、その制御方法およびプログラム

Publications (2)

Publication Number Publication Date
CN101494738A CN101494738A (zh) 2009-07-29
CN101494738B true CN101494738B (zh) 2012-03-21

Family

ID=40513776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100056241A Expired - Fee Related CN101494738B (zh) 2008-01-22 2009-01-20 图像捕获设备、图像处理设备和方法

Country Status (4)

Country Link
US (1) US8917332B2 (zh)
EP (1) EP2083566A3 (zh)
JP (1) JP2009177271A (zh)
CN (1) CN101494738B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5292829B2 (ja) * 2008-01-25 2013-09-18 株式会社ニコン 撮像装置
JP5424712B2 (ja) * 2009-05-21 2014-02-26 キヤノン株式会社 画像処理装置及びその制御方法とプログラム
KR20110125154A (ko) * 2010-05-12 2011-11-18 삼성전자주식회사 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법
CN102547079B (zh) 2010-12-29 2014-05-07 株式会社理光 夜景光源检测设备及夜景光源检测方法
JP5780764B2 (ja) 2011-01-17 2015-09-16 オリンパス株式会社 撮像装置
JP5818571B2 (ja) * 2011-08-11 2015-11-18 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
CN103188423A (zh) * 2011-12-27 2013-07-03 富泰华工业(深圳)有限公司 摄像装置及摄像方法
US8773543B2 (en) * 2012-01-27 2014-07-08 Nokia Corporation Method and apparatus for image data transfer in digital photographing
JP6272015B2 (ja) * 2013-12-25 2018-01-31 キヤノン株式会社 焦点調節装置及び方法及び撮像装置
JP6043753B2 (ja) * 2014-06-12 2016-12-14 富士フイルム株式会社 コンテンツ再生システム、サーバ、携帯端末、コンテンツ再生方法、プログラムおよび記録媒体
CN105827902B (zh) * 2015-06-19 2019-01-11 维沃移动通信有限公司 一种夜景检测方法及终端
US9571741B1 (en) 2015-10-08 2017-02-14 Gopro, Inc. Smart shutter in low light
CN106851120A (zh) * 2016-12-28 2017-06-13 深圳天珑无线科技有限公司 拍照方法及其拍照装置
CN106851121B (zh) 2017-01-05 2019-07-05 Oppo广东移动通信有限公司 控制方法及控制装置
CN107295255B (zh) * 2017-06-21 2020-08-04 深圳市万普拉斯科技有限公司 拍摄模式的确定方法、装置及终端
CN110969196B (zh) * 2019-11-22 2023-08-18 Oppo广东移动通信有限公司 一种场景预测方法及终端、存储介质
CN112804464B (zh) * 2020-12-30 2023-05-09 北京格视科技有限公司 一种hdr图像生成方法、装置、电子设备及可读存储介质
JP7367119B1 (ja) 2022-05-23 2023-10-23 星和電機株式会社 ノイズ検出装置、ノイズ検出方法、ノイズ検出プログラム及び記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5049997A (en) * 1989-04-10 1991-09-17 Fuji Photo Film Co., Ltd. Video camera exposure control method and apparatus for preventing improper exposure due to changing object size or displacement and luminance difference between the object and background
US6148097A (en) * 1995-06-07 2000-11-14 Asahi Kogaku Kogyo Kabushiki Kaisha Optical member inspecting apparatus and method of inspection thereof
JP3791102B2 (ja) * 1997-03-19 2006-06-28 ソニー株式会社 露光制御装置、露光制御方法およびカメラ
JP3697487B2 (ja) * 1998-07-28 2005-09-21 コニカミノルタフォトイメージング株式会社 デジタルカメラ
US6792203B1 (en) * 1999-09-01 2004-09-14 Olympus Optical Co., Ltd. Camera and distance measuring apparatus used in the same
JP2002077723A (ja) * 2000-09-01 2002-03-15 Minolta Co Ltd 動画像処理装置、動画像処理方法および記録媒体
US7298402B2 (en) * 2000-10-26 2007-11-20 Olympus Corporation Image-pickup apparatus with expanded dynamic range capabilities
US20020071041A1 (en) * 2000-12-07 2002-06-13 Pine Joshua I. Enhanced resolution mode using color image capture device
JP4306261B2 (ja) 2003-01-30 2009-07-29 ソニー株式会社 撮像装置及び撮像方法
JP2007121654A (ja) * 2005-10-27 2007-05-17 Eastman Kodak Co 撮像装置
US20100003005A1 (en) * 2006-05-18 2010-01-07 Pioneer Corporation Data processing device, data processing method, data processing program and recording medium including program recorded therein
JP4940785B2 (ja) 2006-06-28 2012-05-30 沖電気工業株式会社 無線装置、無線通信システム、無線装置の無線通信方法及び無線通信システムの無線通信方法
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene

Also Published As

Publication number Publication date
EP2083566A2 (en) 2009-07-29
EP2083566A3 (en) 2012-08-22
US8917332B2 (en) 2014-12-23
US20090185055A1 (en) 2009-07-23
JP2009177271A (ja) 2009-08-06
CN101494738A (zh) 2009-07-29

Similar Documents

Publication Publication Date Title
CN101494738B (zh) 图像捕获设备、图像处理设备和方法
CN101567976B (zh) 图像拍摄设备
CN101118366B (zh) 摄像设备及其控制方法
CN1928692B (zh) 具有多个摄像元件的照相机装置
JP4819001B2 (ja) 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム
US20050276446A1 (en) Apparatus and method for extracting moving objects from video
JP5313037B2 (ja) 電子カメラ、画像処理装置および画像処理方法
US20090073285A1 (en) Data processing apparatus and data processing method
CN103339655B (zh) 图像捕捉装置、图像捕捉方法及计算机程序产品
WO2010128579A1 (ja) 電子カメラ、画像処理装置及び画像処理方法
JP4474885B2 (ja) 画像分類装置及び画像分類プログラム
US20170257561A1 (en) Shooting Method and Shooting Device
CN103139466A (zh) 信息处理装置、成像装置、信息处理方法和程序
US11438501B2 (en) Image processing apparatus, and control method, and storage medium thereof
JP2008042617A (ja) デジタルカメラ
CN101170647A (zh) 检测特定对象区域的方法和数码相机
CN103179345A (zh) 数字拍摄设备及其控制方法
CN101140753B (zh) 图像显示方法和图像显示装置及照相机
JP2011160044A (ja) 撮像装置
CN103004179A (zh) 跟踪装置和跟踪方法
CN101640764A (zh) 摄像装置和摄像方法
CN102087401B (zh) 自动聚焦方法、记录该方法的记录介质以及自动聚焦设备
JP5036334B2 (ja) 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム
US8149317B2 (en) Display device, photographing apparatus, and display method
JP4872564B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120321

Termination date: 20160120

EXPY Termination of patent right or utility model