CN101193208B - 图像拍摄装置、图像处理装置及方法 - Google Patents

图像拍摄装置、图像处理装置及方法 Download PDF

Info

Publication number
CN101193208B
CN101193208B CN2007101954816A CN200710195481A CN101193208B CN 101193208 B CN101193208 B CN 101193208B CN 2007101954816 A CN2007101954816 A CN 2007101954816A CN 200710195481 A CN200710195481 A CN 200710195481A CN 101193208 B CN101193208 B CN 101193208B
Authority
CN
China
Prior art keywords
image
face
facial
zone
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101954816A
Other languages
English (en)
Other versions
CN101193208A (zh
Inventor
冈田深雪
野村博文
辻村贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101193208A publication Critical patent/CN101193208A/zh
Application granted granted Critical
Publication of CN101193208B publication Critical patent/CN101193208B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Abstract

本发明公开了图像拍摄装置、图像处理装置、方法及程序，其中，该图像拍摄装置包括感测对象的图像的成像单元以及检测由成像单元感测的图像中面部的面部检测单元。运动检测单元检测表示在由成像单元感测的图像中的、由面部检测单元检测的面部区域的抖动量的面部运动量，并且还检测表示除面部区域之外的区域的抖动量的背景运动量。抖动校正单元根据由运动检测单元检测的面部运动量和背景运动量来校正由成像单元感测的图像的抖动。通过本发明，可根据图像适当地校正图像抖动。

Description

图像拍摄装置、图像处理装置及方法
相关申请的交叉参考
本发明包含于2006年11月30日在日本专利局提交的日本专利申请JP 2006-325015的主题，其全部内容结合于此作为参考。
技术领域
本发明涉及一种图像拍摄装置，更具体地，涉及一种能够校正图像抖动的图像拍摄装置，用于处理图像以校正图像抖动的装置和方法，以及用于在计算机上执行该方法的计算机程序。
背景技术
近年来，诸如数码相机、数码摄像机以及可用作静止相机和运动相机的相机的图像拍摄装置已经变得越来越普及，并且其在性能上实现很大的提高。然而，当通过手持的图像拍摄装置拍摄对象图像时，可能发生两种抖动。一种是图像拍摄装置的抖动，另一种是对象的抖动。
检测这种抖动的的一种技术是使用诸如振动传感器、速度传感器、加速度传感器或重力传感器的传感器来检测抖动。另一种技术是通过图像处理来检测运动向量。
通过根据抖动检测结果在与抖动方向相反的方向上移动图像位置，可以防止或抑制由于抖动所引起的由图像拍摄装置拍摄的图像的模糊。防止/抑制抖动的一种方法是通过偏移图像传感器的读地址以及偏移图像存储器的写/读地址来电子补偿抖动。另一种方法是通过偏移/倾斜抖动补偿透镜、变形/倾斜补偿校正棱镜或偏移图像传感器来光学补偿抖动。
例如，已经提出对根据从定时发生器提供的快门速度与采样定时信号同步地从抖动传感器输出的抖动进行采样，并根据所采样的抖动信号来控制从图像传感器输出的图像信号的读地址(例如，参见日本未审查专利申请公开第05-316404号)。
发明内容
在上述技术中，无论包括在图像中的对象如何，都为图像的所有部分统一执行抖动校正。换句话说，统一为整个图像执行抖动补偿。
然而，在上述抖动校正技术中，因为以相同方式对待包括在图像中的诸如人物轮廓和背景的对象而不考虑对象的运动，所以存在在人物轮廓的面部、眼睛、鼻子、嘴等处发生模糊的可能性。为了防止上面的问题，期望提供不仅适当地校正图像的全局抖动而且还校正诸如包括在图像中的人物轮廓面部的部分的局部抖动的技术。
根据本发明的实施例，提供了一种图像拍摄装置，一种用于图像拍摄装置以处理图像的方法，以及一种由计算机执行以处理图像的程序，该图像拍摄装置包括：成像装置，用于感测对象的图像；面部检测装置，用于检测由成像装置感测的图像中的面部；运动检测装置，用于检测表示在由成像装置感测的图像中的、由面部检测装置检测的面部区域的抖动量的面部运动量，并且还检测表示除面部区域之外的区域的抖动量的背景运动量；以及抖动校正装置，用于根据由运动检测装置检测的面部运动量和背景运动量来校正由成像装置感测的图像的抖动。因此，如果在图像中检测出面部，则检测表示图像中的面部区域的抖动量的面部运动量以及表示除面部区域之外的区域的抖动量的背景运动量，并根据检测的面部运动量和背景运动量校正图像的抖动。
该图像拍摄装置还可以包括校正值计算装置，用于根据由运动检测装置检测的面部运动量和背景运动量来计算将由抖动校正装置校正的图像抖动的校正值。这使得可以根据在图像中检测的面部运动量和背景运动量计算图像抖动的校正值。在这种情况下，校正值计算装置可根据由运动检测装置检测的面部运动量和背景运动量以及根据预定的加权因子来计算校正值。这使得可以根据在图像中检测的面部运动量和背景运动量以及根据预定的加权因子来计算校正值。在这种情况下，校正值计算装置可通过与由运动检测装置检测的背景运动量相比对由运动检测装置检测的面部运动量应用更大的加权因子来计算校正值。即，通过与背景运动量相比对面部运动量应用更大的加权因子来计算与图像抖动相关的校正值。
在图像拍摄装置中，面部检测装置还可检测与由成像装置感测的图像中所检测的面部相关的特征信息，以及校正值计算装置可根据与由面部检测装置检测的面部相关的特征信息来计算加权因子。即，检测与图像中的面部相关的特征信息，并根据与面部相关的检测特征信息来计算加权因子。在这种情况下，与面部相关的特征信息可包括从由表示面部区域大小的信息、表示面部区域坐标的信息、作为面部的可能性、表示正向程度的信息、表示面部倾斜程度的信息、表示微笑程度的信息、表示严肃程度的信息、以及表示眼睛闭合程度的信息组成的组中所选择的一条或多条信息。即，基于包括从由表示面部区域大小的信息、表示可面部区域坐标的信息、作为面部的可能性、表示正向程度的信息、表示面部倾斜程度的信息、表示微笑程度的信息、表示严肃程度的信息、以及表示眼睛闭合程度的信息组成的组中所选择的一条或更多条信息的特征信息，可以计算加权因子。
在校正值的计算中，校正值计算装置可以为靠近由面部检测装置检测的面部的块增加加权因子。即，在校正值的计算中，校正值计算装置为靠近在图像中检测的面部的块增加加权因子。
在图像拍摄装置中，运动检测装置可将由成像装置感测的图像分成多个区域，使得在这些区域的一个区域中包括由面部检测装置检测的面部，从包括面部的区域中检测面部运动量，并从除包括面部的区域之外的区域中检测背景运动量。即，由成像装置感测的图像被分成多个区域，使得在这些区域的一个区域中包括由面部检测装置检测的面部，并从包括面部的区域中检测面部运动量，还从除包括面部的区域之外的区域中检测背景运动量。
图像拍摄装置还可包括振动检测装置，用于检测由于图像拍摄装置的振动所引起的抖动量，以及抖动校正装置可根据由运动检测装置检测的面部运动量和背景运动量以及由振动检测装置检测的抖动量来校正由成像装置感测的图像抖动。即，根据检测的面部运动量和背景运动量以及检测的图像拍摄装置的抖动量来校正图像的抖动。
图像拍摄装置还可以包括相机控制值检测装置，用于基于与面部相关的特征信息来检测是否为由面部检测装置检测的面部最优设定了聚焦和/或曝光的程度，以及校正值计算装置可根据由相机控制值检测装置检测的是否为面部最优设定了聚焦和/或曝光的程度来为面部计算校正值。即，根据是否为面部最优设定了聚焦和/或曝光的程度计算面部的校正值。
图像拍摄装置还可以包括设定装置，用于设定是否应该执行由成像装置感测的图像中面部的检测。即，对于是否应该执行图像中面部的检测进行设定，从而选择是否应该执行考虑了面部运动的图像抖动的校正。
图像拍摄装置还可以包括用于存储与特定人物的面部相关的特定人物信息的特定人物存储装置以及用于确定由面部检测装置检测的面部是否与存储在特定人物存储装置中的特定人物的面部相同的特定人物识别装置，并且校正值计算装置可计算校正值，使得如果特定人物识别装置确定由面部检测装置检测的面部与存储在特定人物存储装置中的特定人物的面部相同，则校正值计算装置根据区域是否包括特定人物的面部来修改每个区域的加权因子。即，如果确定在图像中检测的面部与特定人物的面部相同，则根据区域是否包括特定人物的面部来修改每个区域的加权因子，并使用修改的加权因子计算图像抖动的校正值。
在图像拍摄装置中，校正值计算装置可计算表示由运动检测装置检测的面部运动量的平均值的第一平均值，根据第一平均值计算由面部检测装置检测的面部区域的校正值，计算表示由运动检测装置检测的背景运动量的平均值的第二平均值，并根据第二平均值计算除由面部检测装置检测的面部区域之外的区域的校正值。即，根据面部运动量的平均值计算面部区域的校正值，并根据背景运动量的第二平均值计算除面部区域之外的区域的校正值。
在图像拍摄装置中，如果通过面部检测装置检测多个面部，则校正值计算装置可计算由面部检测装置检测的每个面部的面部运动量的平均值，并根据计算的平均值计算校正值。即，当检测多个面部时，计算每个面部的面部运动量的平均值，并根据平均值分别为每个面部计算校正值。
在图像拍摄装置中，抖动校正装置可校正由成像装置感测的图像的抖动，使得由面部检测装置检测的面部区域朝向图像中心移动。即，校正图像的抖动，使得朝向图像中心移动在图像中检测的面部区域。
在图像拍摄装置中，基于通过面部检测装置从由成像装置检测的当前图像中检测的面部与通过面部检测装置从由成像装置在当前图像之前的预定时间所检测的先前图像中检测的面部之间的相关性，运动检测装置可检测在由成像装置感测的图像中由面部检测装置检测的面部区域的面部运动量。即，基于通过面部检测装置从由成像装置检测的当前图像中检测的面部与通过面部检测装置从由成像装置在当前图像之前的预定时间所检测的先前图像中检测的面部之间的相关性，运动检测装置检测在由成像装置感测的图像中由面部检测装置检测的面部区域的面部运动量。
根据本发明的实施例，提供了一种图像拍摄装置，一种用于图像拍摄装置处理图像的方法，以及一种可由计算机执行以处理图像的程序。该图像拍摄装置包括：图像输入装置，用于输入图像；面部检测装置，用于检测经由图像输入装置输入的图像中的面部；运动检测装置，用于检测表示在经由图像输入装置输入的图像中由面部检测装置检测的面部区域的抖动量的面部运动量，并且还检测表示除面部区域之外的区域的抖动量的背景运动量；以及抖动校正装置，用于根据由运动检测装置检测的面部运动量和背景运动量来校正经由图像输入装置输入的图像的抖动。即，如果在输入图像中检测面部，则检测表示输入图像中面部区域的抖动量的面部运动量以及表示除面部区域之外的区域的抖动量的背景运动量，并根据检测的面部运动量和背景运动量校正输入图像的抖动。
如上所述，本发明提供了可根据图像正确适当校正图像抖动的重要优点。
附图说明
图1是根据本发明实施例的图像拍摄装置的功能框图；
图2是根据本发明实施例的面部检测器的功能框图；
图3示出了与图像抖动校正处理相关的根据本发明实施例的图像拍摄装置的功能结构的实例；
图4示出了在通过块匹配方法检测图像的运动向量的处理中运动向量检测器将图像分为多个部分的方式实例；
图5示出了在运动向量检测器通过块匹配方法执行检测图像运动向量的处理中当前帧和先前帧之间关系的实例。
图6A和6B示出了在通过块匹配方法检测图像的运动向量的处理中运动向量检测器将图像分为多个部分的方式实例；
图7示出了由运动向量检测器检测的图像的运动向量的实例；
图8示出了包括人物轮廓的面部的图像实例；
图9A和9B示出了包括多个人物轮廓的面部的图像实例；
图10示出了包括多个人物轮廓的面部的图像实例；
图11示出了包括多个人物轮廓的面部的图像实例；
图12示出了包括多个人物轮廓的面部的图像实例；
图13是示出在图像拍摄装置中执行的计算抖动校正值的处理的流程图；
图14示出了为包括人物轮廓的图像的9个块分别计算的运动向量；
图15示出了从图像拍摄装置的抖动分量和图像不同部分的抖动分量中提取对象的抖动分量的方法实例；
图16示出了从图像不同部分的运动向量和图像中人物轮廓的运动向量中提取图像背景的抖动分量的方法实例；
图17示出了为包括两个人物轮廓的图像的16个块分别计算的运动向量；
图18是示出在图像拍摄装置中执行的计算抖动校正值的处理的流程图；
图19示出了朝向图像中心校正包括面部区域的移动对象区域的位置的方式；
图20A和20B示出了基于由面部检测器检测的面部区域从图像中检测运动向量的方法实例；以及
图21是示出在图像拍摄装置中执行的计算抖动校正值的处理的流程图。
具体实施方式
下面，结合附图参照实施例更加详细地描述本发明。
图1是根据本发明实施例的图像拍摄装置100的功能框图。图像拍摄装置100的特定实例包括数码相机和数码摄像机，其可以是独立类型或嵌入在诸如便携式电话或个人计算机的其它装置中的类型。
图像拍摄装置100包括控制器110、成像单元120、信号处理单元130、图像存储单元140、图像压缩/解压缩单元150、用户界面160、输入/输出单元170、存储介质180、总线190、振动传感器200、存储器2 10、面部检测器300、运动向量检测器400、以及抖动校正单元410。直接或经由图像存储单元140或总线190执行上述块中图像信号的传输。
控制器110是用于根据存储在存储器(未示出)中的控制程序控制图像拍摄装置100的各个部分的单元。
成像单元120包括光学系统121和图像传感器122，用于将来自对象的入射光转换为电信号，并将所得到的电信号提供给信号处理单元130。光学系统121包括一组透镜，其包括例如聚焦透镜、变焦透镜、抖动校正透镜和/或抖动校正棱镜，并适用于将来自对象的入射光经由该组透镜引导至图像传感器122。图像传感器122将从光学系统121提供的入射光转换为电信号，并将所得到的电信号提供给信号处理单元130。在成像单元120中，通过控制抖动校正透镜的位置和/或倾斜、抖动校正棱镜的变形和/或倾斜、和/或图像传感器122的位置，光学地校正所检测的抖动。注意，在控制器110的控制下执行抖动校正。
信号处理单元130对从图像传感器122提供的电信号执行各种信号处理，并将作为信号处理结果而获得的图像数据提供给图像存储单元140、图像压缩/解压缩单元150、用户界面160以及面部检测器300。由信号处理单元130执行的信号处理包括降噪处理、电平校正处理、模数转换处理以及色彩校正处理。信号处理单元130还对从控制器110控制下的各个部分输入的图像执行各种图像处理。
图像存储单元140用于存储将在图像拍摄装置100中被处理的图像数据。
图像压缩/解压缩单元150用于在图像处理中压缩或解压缩图像数据。更具体地，例如，通过图像压缩/解压缩单元150压缩图像数据，并将得到的压缩图像数据提供给存储介质180并存储在其中。另一方面，将由图像压缩/解压缩单元150解压缩的图像数据提供给图像存储单元140、显示器161以及面部检测器300。在压缩处理中，可将图像数据压缩为例如JPEG(联合图象专家组)格式。
用户界面160包括显示器161和选择单元162，并用于与使用图像拍摄装置100的用户交互。
显示器161用于根据从信号处理单元130或图像压缩/解压缩单元150输出的图像数据显示图像。更具体地，例如，显示器161显示由图像拍摄装置100拍摄的对象图像。
如果用户向选择单元162输入选择信息，则选择单元162将输入的选择信息转换为电信号，并将得到的电信号输出至控制器110。更具体地，例如，如果面部检测器300检测从成像单元120输出的图像中的面部，则图像拍摄装置100基于检测的面部对图像执行抖动校正处理。如上所述，根据经由选择单元162由用户输入的选择信息，开启或关闭抖动校正模式。当拍摄的图像包括面部时，如果抖动校正模式处于开启状态，则执行基于面部的抖动校正处理。然而，如果抖动校正模式处于关闭状态，则不执行基于面部的抖动校正处理。
例如，可以配置用户界面160，使得显示器161和选择单元162被集成为触摸面板的形式。可选地，可以分别配置显示器161和选择单元162，使得通过液晶显示器(LCD)实现显示器161，以及由硬键实现选择单元162。
输入/输出单元170用于将从图像压缩/解压缩单元150接收的图像数据输出至诸如外部存储介质的外部装置输出，并且还用于将从外部存储介质输入的图像数据传送给图像压缩/解压缩单元150。
存储介质180存储从图像压缩/解压缩单元150提供的图像数据，相反地，将存储在其中的图像数据提供给图像压缩/解压缩单元1 50。可将各种存储介质用作图像存储介质。特定实例包括磁盘、光盘、半导体存储介质以及磁带。可以以可移动存储介质或内置存储介质的形式实现图像存储介质。
各个部分共同使用总线190以传输图像数据。
振动传感器200检测独立于图像的抖动分量，即，图像拍摄装置100本身的振动。与检测的振动相关的信息被输出至控制器110。例如，可通过陀螺传感器、速度传感器或加速度传感器实现振动传感器200。
存储器210是用于存储各种信息的易失性或非易失性存储器。
面部检测器300用于检测包括在由输入图像数据表示的图像中的面部。稍后将参照图2描述面部检测器300的细节。
运动向量检测器400执行图像处理以检测输入图像数据的图像的各个块的运动向量，并将对应于检测向量的值提供给控制器110。
抖动校正单元410根据基于由运动向量检测器400检测的运动向量计算的抖动校正值，通过移动输入图像数据的图像的位置来校正图像的抖动。抖动校正单元410包括稍后将参照图14详细描述的电子抖动校正机构和光学抖动校正机构。
将其抖动被抖动校正单元410校正的图像提供给图像压缩/解压缩单元150。图像压缩/解压缩单元150压缩从抖动校正单元410接收的图像并将得到的压缩图像存储在存储介质180中。还将其抖动被抖动校正单元410校正的图像提供给显示器161并显示在其上。
图2是示出面部检测器300的功能结构实例的框图。
面部检测器300包括控制器310、图像输入单元320、图像放大/缩小单元330、图像存储器340、参考数据存储器350、判断单元360、检测结果输出单元370以及图像输出单元380。
控制器310根据由控制器110发布的命令控制面部检测器300的各个部分。
图像输入单元320运行，使得当图像数据从信号处理单元130、图像存储单元140或图像压缩/解压缩单元150输入至图像输入单元320时，图像输入单元320将输入的图像数据提供给图像放大/缩小单元330。
图像放大/缩小单元330将从图像输入单元320接收的图像数据放大或缩小至适于检测面部的大小。根据由控制器110提供的命令确定图像的放大/缩小率。
图像存储器340存储从图像放大/缩小单元330输出的放大/缩小的图像。
参考数据存储器350存储用在面部检测处理中的面部的参考数据，并将参考数据提供给判断单元360。参考面部数据包括面部图像、面部的一般特征的数据和/或特定人物的面部特征的数据。通常，特征数据比面部图像作为参考面部数据更有利，因为特征数据可以用更小的数据大小表示更多数的面部。
判断单元360确定存储在图像存储器340中的图像数据的图像是否包括面部，并将确定结果输出至检测结果输出单元370。更具体地，判断单元360从存储在图像存储器340中的图像数据的图像中提取具有预定窗口大小的局部图像，并通过检查提取的局部图像与存储在参考数据存储器350中的面部数据之间的相关性确定提取的局部图像是否是面部。重复执行上述确定，从而确定存储在图像存储器340中的图像数据的图像是否包括面部。
如果在参考数据存储器350中存储图像数据的图像，则判断单元360基于检测的面部和存储在参考数据存储器350中的面部数据之间的相关性，提取与在图像中检测的面部相关的各种信息，并且判断单元360将提取信息作为面部检测结果提供给检测结果输出单元370。
如果检测结果输出单元370接收来自判断单元360的确定结果和面部检测结果，则检测结果输出单元370将接收到的确定结果和面部检测结果传送给控制器110。
图像输出单元380用于将存储在图像存储器340中的图像输出给图像存储单元140。
从面部检测器300输出的面部检测结果具有下列值。
即，从面部检测器300输出的面部检测结果包括表示检测面部特征的以下6个面部估计值(1)至(6)。
(1)面部的区域(对应于与相机的距离)
(2)面部的位置(与图像中心的距离)
(3)表示是面部的可能性的值
(4)面部的角度(向前、右、左、上、或下)
(5)面部的倾斜程度
(6)面部的观察部分(上、下、左、或右部分)
除上述面部估计值(1)至(6)之外，面部检测结果还可包括表示面部表情或表示面部的一部分的状态的以下面部估计值(7)至(9)。
(7)微笑程度
(8)严肃程度
(9)眼睛闭合(眨眼)的程度
基于对图像的各块所给出的面部估计值，确定各块的运动向量的加权因子。
图3示出了与图像抖动校正处理相关的根据本发明实施例的图像拍摄装置100的功能结构的实例。
图像拍摄装置100包括图像输入单元420、面部检测器300、运动向量检测器400、抖动校正单元410、图像输出单元430、校正值计算单元440以及选择单元162。
图像输入单元420是用于输入图像并将输入图像传送给面部检测器300、运动向量检测器400以及抖动校正单元410的单元。
面部检测器300类似于上面参照图1和2描述的面部检测器300，并用于检测从图像输入单元420输出的图像中的面部，并将检测结果提供给运动向量检测器400和校正值计算单元440。注意，面部检测器300根据经由选择单元162输入的命令，依赖于面部检测模式设定为开启状态或关闭状态，执行或不执行面部检测处理。
运动向量检测器400通过执行图像处理检测由图像输入单元420提供的图像的运动向量，并将检测的运动向量提供给校正值计算单元440。稍后将参照图4至14详细描述由运动向量检测器400检测的运动向量。
校正值计算单元440基于与由面部检测器300检测的面部相关的各种信息，通过对从运动向量检测器400输出的运动向量进行加权来计算抖动校正值，并将得到的抖动校正值输出至抖动校正单元410。稍后还将参照图4至14进一步详细描述由校正值计算单元440执行的抖动校正值的计算。
根据由校正值计算单元440提供的抖动校正值，抖动校正单元410移动从图像输入单元420输出的图像的位置，从而补偿图像的抖动。
图像输出单元430用于输出其抖动已被抖动校正单元410补偿的图像。图像输出单元430对应于例如适于显示图像的显示器161。图像输出单元430还对应于用于从/向外部装置输入/输出图像的图像数据的输入/输出单元170。图像的图像数据可被存储在诸如存储介质180的图像存储介质中或可经由存储介质存储在外部装置中。
选择单元162类似于图1所示的选择单元162，并用于根据由用户输入的命令，将表示面部校正模式处于开启状态或关闭状态的选择信息输出至面部检测器300。
现在，在下面描述通过使用块匹配方法执行图像处理来检测运动向量的处理。
图4示出了由运动向量检测器400在通过块匹配方法检测图像的运动向量的处理中将图像分成块的方式实例。
在基于块匹配方法通过图像处理检测运动向量的处理中，将运动图像的在时间上连续的每个帧分为如图4所示的多个块，并从先前帧中检测类似于当前帧中块的块。基于相似块之间位置的不同，确定各块的运动向量。
更具体地，在基于块匹配方法通过图像处理检测图像500的运动向量的处理中，运动向量检测器400将图像500的帧分为多块。划分图像的最简单方法是垂直和水平地将图像分为相等的块。在图4所示的实例中，图像500被分为16个相等的块。顺序选择图像的块作为目标块，在目标块周围定义具有当前目标块被预测移动的预测最大大小的搜索区域，并计算所定义的搜索区域内的目标块的运动向量。在图4所示的实例中，从图像500的16个块(501和503至517)中选择块501作为目标块，并在当前目标块501周围定义搜索区域502。
图5示出了在由运动向量检测器400执行的基于块匹配方法通过图像处理检测图像的运动向量的处理中先前帧540和当前帧550之间的关系实例。
先前帧540和当前帧550是运动图像的顺序帧的两个连续帧。在图5中，在先前帧540中放置目标块541。在当前帧550中将目标块541投射到目标块551上，使得目标块551位于与目标板541的位置相同的位置上，并在目标板551周围定义搜索区域552。在图5中，为了易于理解，以放大的方式画出先前帧540中的目标块541和当前帧550中的目标块551和搜索区域552。可定义搜索区域使得当前目标块的搜索区域与先前或其它目标块的搜索区域重叠。
在当前帧550中的搜索区域552内移动目标块551。例如，移动区域551a至区域551c，并在搜索区域552内搜索与先前帧540中的目标块541具有最高相关性的区域。在5所示的实例中，区域553被检测出与搜索区域552内的目标块具有最高相关性。
在搜索中，如果在搜索区域552中检测出与目标块541具有最高相关性的区域，则确定先前帧540中的目标块541已被移动至当前帧550的搜索区域552中的区域553的位置。然后，基于当前帧550中搜索区域552中的目标块551和区域553之间的位置关系确定运动向量554。在基于块匹配方法通过图像处理的运动向量的检测中，如上所述，为每个目标块计算一个运动向量。即，为每块估计帧间相关性(匹配)，并基于帧间相关性确定每块的运动向量。
如图4所示，通过计算各块的运动向量的平均值确定整体对图像500的一个帧的全局运动向量。此外，通过对每块的运动向量进行加权来确定每块的局部运动向量。
在图4所示实例中的图像500包括人物轮廓601的面部602的情况下，面部检测器300检测面部602的面部区域603，并且运动向量检测器400如下检测面部区域603的运动向量。即，如在图4所示实例的情况下，如果在目标块511中包括由面部检测器300检测的面部区域603，则检测包括面部区域603的目标块511的运动向量。因此，在面部被包括在特定目标块中的情况下，可以使用上述技术唯一确定面部区域的运动向量。因此，可以正确检测面部区域603的运动向量。
另一方面，在如图6A所示方式将图像560中由面部检测器300检测的人物轮廓604的面部605的面部区域被分为16块的情况下，如下确定运动向量。在这种情况下，由面部检测器300检测的面部区域606没有被完全包括在一个块中，但被包括在多个块563至566上。在这种情况下，检测部分包括面部606的块563至566的运动向量。因此，如果人物轮廓604正在移动，则存在不能正确确定面部区域606的运动向量的可能性。在本实施例中，为了避免上述问题，当运动向量检测器400检测图像的运动向量时，运动向量检测器400根据由面部检测器300检测的面部区域划分图像。
图6A和6B示出了运动向量检测器400在基于块匹配方法通过图像处理检测图像的运动向量的处理中将图像分为多个块的方式实例。
在图6A所示的实例中，如图4所示的实例，将图像560简单分为1 6个块。在该实例中，因为没有考虑由由面部检测器300检测的面部区域606而划分图像，所以面部区域606被部分包括在多个块563至566中。
在图6B所示的实例中，考虑由由面部检测器300检测的面部区域606而划分图像560，使得在一个块573中完全包括由面部检测器300检测的人物轮廓604的面部区域606，从而确保可通过块573的运动向量唯一给出面部区域606的运动向量。
相反，在图6A所示的实例中，面部区域被部分包括在多个块中，所以不能通过一个块的运动向量唯一给出面部区域的运动向量。另一方面，在图6B所示的实例中，划分图像560使得在一个块中完全包括面部区域，因此可通过一个块的运动向量唯一给出面部区域的运动向量。因此，只要关心检测面部区域的运动向量，划分图像的方法比图6A所示的方法更有利。在上面描述的实例中，图像被分为相等的块。只要在一个块中完全包括面部区域，就可以以不同的方式划分图像。
在本实施例中，如上所述，在检测图像的运动向量的处理中使用由面部检测器300检测的面部区域的坐标。
为了与其他部分相比对面部区域更加有效地抑制抖动分量，通过相对较大的因子对包括面部区域的块的运动向量进行加权，以对图像的全局运动向量具有较大的贡献。在加权处理中，如稍后进一步详细描述的，根据面部区域的大小、是面部的可能性、向前的可能性等精确地确定加权因子。
图7示出了由运动向量检测器400为图像580的各个部分检测的运动向量的实例。
在图7所示的实例中，与图4中的图像500相同，图像580被分成1 6个块，并为这16个块的每一个检测运动向量。在图7所示的实例中，图像580包括人物轮廓607和人物轮廓610，并通过面部检测器300检测面部608的面部区域609和面部611的面部区域612。因此，放置块使得在一个块中包括面部区域609以及在另一块中包括面部区域612。箭头581v、584v等表示为块581至597检测的运动向量。如图7所示，为每块检测运动向量。
接下来，在下面描述为各个检测的运动向量计算加权因子的方法。
首先，描述根据与检测面部相关的各种信息计算加权因子的方法。
图8示出了包括3个人物轮廓613、615以及617的图像701的实例。如上所述，在为图像的各个部分检测运动向量之后，所检测的运动向量没有被直接用于计算抖动校正值，而是使用通过根据对象状态确定的因子进行加权的运动向量计算抖动校正值。例如，当图像包括人物面部时，根据该块是否包括面部区域来为图像的每一个块确定加权因子。如果一个块包括面部区域，则向该块分配较大的加权因子，使得在面部周围的区域中更加有效地抑制抖动。
在图像被分为N块的情况下，如下计算加权因子。对不包括面部区域的块的加权因子给出预定值wn′＝w0(n＝0至n-1)，其中，w0被初始设定为等于1/N。如果块包括面部，则根据如下描述的等式(1)，根据多个面部估计值确定该块的加权因子wn′。
wn′＝w0×(E01×面部区域大小)
+(E02×面部区域的坐标)
+(E03×表示是面部的可能性的值)
+(E04×正向程度)
+(E05×倾斜程度)
其中，E01至E05是各个面部估计值的预定加权因子。
更具体地，随着包括在块中的面部区域大小的增加，随着面部区域与帧中心的距离(坐标)的减小，随着是面部的可能性的增加，随着正向程度的增加，以及随着倾斜程度的减小，包括面部区域的块的加权因子增加。
在以上述方式分别为N个块计算加权因子w0′至w0-1′之后，归一化加权因子w0′至w0-1′使得其总和变得等于1。
在图8所示的实例中，因为面部区域的大小较大，面部靠近帧的中心，正前程度较高以及倾斜程度较低，所以将较大的加权因子给予包括面部613的面部区域614的块。然而，因为面部区域的大小相对较小，面部617的位置不靠近帧的中心，以及倾斜程度相对较大，所以将小的加权因子给予包括面部617的面部区域618的块。因为面部区域的大小相对较小，面部的位置不靠近帧的中心，以及正前程度较低，所以对包括面部615的面部区域616的块给出相对较小的加权因子。
接下来，描述根据对于检测面部聚焦和曝光的最优性程度确定加权因子的方法。
图9至12示出了每个均包括多个人物面部的图像的实例。
在图9A和9B所示的实例中，图像包括位于与图像拍摄装置100具有不同距离处的多个人物轮廓的面部。在这种情况下，不仅根据面部的特征信息，而且还根据每个面部的聚焦和曝光是否最优的程度来确定加权因子。即，根据每个面部的聚焦和曝光是否最优的程度，修改根据面部的特征信息计算的加权因子。
图9A示出了包括位于所测量的距离图像拍摄装置100不同距离处的人物轮廓的面部619、621以及623的图像702的实例。在图像702中，检测各个面部619、621以及623的面部区域620、622以及624。
检测面部的聚焦是否最优的程度，例如，使得在面部区域中设定AF检测框，并检测AF检测区域中的图像的高频分量。随着高频分量积分的增加，聚焦清晰度被认为是高的。在图9A所示的图像702中，如果面部区域622的聚焦清晰度最高，则增加包括图像702中的面部区域622的块的加权因子。
图9B示出了包括位于所测量的距离图像拍摄装置100不同距离处的人物轮廓的面部625、627以及629的图像703的实例。在图像703中，检测各个面部625、627以及629的面部区域626、628以及630。
例如，通过将面部的曝光与预定的参考曝光等级进行比较，检测面部的曝光正确性。如果曝光接近参考曝光等级，则曝光正确性被认为是高的。在图9B所示的图像703中，如果面部区域626的曝光正确性最高，则增加包括图像703中的面部区域626的块的加权因子。
图10示出了所谓集体照片形式的包括许多人物面部的图像704。在图像704中，人物轮廓631的面部632的面部区域633以及其它面部区域全部被检测。
在具有图10所示图像704的集体照片中，存在许多具有小的面部区域大小的面部区域，以及没有具有大的面部区域大小的面部区域。此外，图像704中的大多数面部向前。因此，当图形被确定为集体照片时，加权因子被均等地分配给各个面部区域，并且加权因子被设定的相当小，使得为集体照片最优化加权因子。
图11示出了包括作为主要对象的人物轮廓634和636以及还包括背景中的其它人物轮廓638和640的图像705的实例。
在图11所示的实例中，图像705包括人物轮廓634和636的主要对象，并且还包括背景中的其它人物轮廓638和640，人物轮廓634和636的主要对象的面部区域相对较大并靠近图像中心。另一方面，背景中的其它人物轮廓638和640的面部区域相对较小并位于图像的外围区域。主要对象的人物轮廓的面部具有向前的高可能性，而其它的人物轮廓的面部具有向前的低可能性。如果根据上述估计确定人物轮廓在背景中，则将小的加权因子分配给该人物轮廓的面部区域。因此，将背景中人物轮廓的加权因子校正为合理值。
图12示出了包括多个人物面部642、644和646的图像706的实例。
如图12所示的实例，图像706包括多个面部区域643、645和647，如果从多个面部区域检测出特定人物(已知人物)的面部区域，则与其它面部区域相比将更大的加权因子分配给该面部区域，使得为该特定人物最有效地抑制抖动。
例如，在包括图12所示多个面部区域643、645和647的图像706中，如果将面部区域643确定为特定人物，则与具有更大面部区域大小或更高正向程度的面部区域相比将更大的加权因子分配给该面部区域。
特定人物是被图像拍摄装置100的用户预先指定的一个人物。预先将特定人物的特征数据作为特定人物数据库存储在图像拍摄装置100中。特征数据包括表示面部轮廓的数据和表示形状、特征、以及各个面部部分(例如，眼睛、鼻子、眉毛、嘴、耳朵、头发、胡子、眼镜等)位置的数据。可将特定人物数据从外部输入至图像拍摄装置100。将在图像中检测出的每个面部区域的特征数据与特定人物数据库中的特定人物数据相比较，并根据相关系数确定该面部是否是特定人物面部。，例如，可基于在日本审查专利申请公开第6-7388号中公开的技术，执行特定人物的面部图像的识别。
如上所述，当在图像中检测出一个或多个面部时，以每个面部的值表示对象的重要程度，并根据重要程度确定每个面部的加权因子。
下面将更加详细地描述根据本发明实施例的图像拍摄装置100的操作。
图13是示出由图像拍摄装置100执行的计算抖动校正值的处理的流程图。
首先，在图像拍摄装置100中，输入由成像单元120拍摄的图像(步骤S901)。如果从成像单元120输入图像，则确定面部检测模式是否被设定为开启状态(步骤S902)。如果面部检测模式处于关闭状态(步骤S902)，则没有必要执行基于面部的抖动校正，因此处理进入步骤S912。
另一方面，如果面部检测模式处于开启状态(步骤S902)，则面部检测器300检测输入图像中的面部，并计算与检测面部相关的各种信息(步骤S903)。
接下来，确定是否已在输入图像中检测出面部(步骤S904)。如果在输入图像中没有检测出面部(步骤S904)，则没有必要执行基于面部的抖动校正，因此处理进入步骤S912。
如果已经在输入图像中检测出面部(步骤S904)，则将输入图像分为多个块，使得每个检测的面部包括在一个块中(步骤S905)。在输入图像的划分中，确定块的边界，使得面部不被分成如图6B所示的不同块。例如，输入图像被分成N块。在已经在输入图像中检测出多个面部的情况下，可如下划分输入图像。估计检测的面部并选择一个或多个主要面部，划分图像使得每个选择的一个或主要面部包括在一个块中。
接下来，从多个块中选择一个目标块(步骤S906)。检测并存储所选择的目标块的运动向量(步骤S907)。接着，确定所选择的目标块是否包括面部(步骤S908)。如果选择的目标块包括面部(步骤S908)，则基于与包括在目标块中的面部相关的各种信息计算加权因子(步骤S909)。例如，当目标块包括面部时，根据等式(1)计算该目标块的加权因子(步骤S909)。因此，当目标块包括面部时，将相对较大的加权因子分配给该目标块，使得为包括面部的块更有效地抑制图像的抖动。在步骤S909中对块的加权因子的计算中，可参照图9至图12根据上述一种方法确定加权因子。
如果选择的目标块不包括面部(步骤S908)，则基于预定值计算目标块的加权因子(步骤S910)。更具体地，在存在N块的情况下，通过w0给出预定值，通过wn′＝w0＝1/N(n＝0至N-1)给出不包括面部的每个块的加权因子。
接下来，确定是否已经为所有块执行了上面的处理(步骤S911)。如果没有为所有块执行该处理(步骤S911)，则处理流程返回步骤S906以重复上述处理，来为下一个目标块计算加权因子(步骤S906至S910)。
如果已经为所有块执行了该处理(步骤S911)，则归一化各个块的计算的加权因子w0′至wn-1′，使得其总和变得等于1。然后，通过对应的归一化加权因子w0′至wn-1′对各个块的检测运动向量进行加权，从而计算每块的帧间运动向量(步骤S915)。将计算的帧间运动向量作为校正值提供给抖动校正单元410(步骤S916)。
在面部检测模式处于开启状态的情况下(步骤S902)，或者在输入图像中没有检测到面部的情况下(步骤S904)，将输入图像分为多个块(步骤S912)。例如，输入图像被分为N块。
接下来，从多个块中选择一个目标块，并检测和存储所选择的目标块的运动向量(步骤S913)。接着，基于预定值计算目标块的加权因子(步骤S914)。更具体地，在存在N块的情况下，通过w0给出预定的初始值，通过wn′＝w0＝1/N给出不包括面部的每块的加权因子。然后，处理进入步骤S915。在步骤S915中，计算每块的帧间运动向量。
如上所述，通过根据块是否包括面部区域确定的因子对每帧中的N块的运动向量进行加权，并由各个块的加权运动向量计算表示图像的全局运动的一个运动向量。将得到的全局运动向量提供给抖动校正单元410。抖动校正单元410根据接收到的运动向量在与抖动相反的方向上补偿抖动。结果，将图像的抖动抑制到充分低的水平，并输出所得到的高质量图像。特别地，与背景相比对人物轮廓的面部更多地抑制抖动，因此，得到的图像对于主要对象是清楚的。
接下来，参照图14，下面进一步详细地描述适于根据由校正值计算单元440计算的抖动校正值校正图像抖动的抖动校正单元410。
如上所述，抖动校正单元410包括电子抖动校正机构和光学抖动校正机构。电子抖动校正机构是通过在从图像传感器122读取数据的操作中偏移读地址或在向图像存储单元140写数据的操作中偏移写地址来校正抖动的机构。光学抖动校正机构是通过移动或倾斜抖动校正透镜，或通过变形或倾斜抖动校正棱镜或通过移动图像传感器122来校正抖动的机构。
电子抖动校正机构或光学抖动校正机构根据由多个局部运动向量计算的图像的全局运动向量来校正图像的抖动。电子抖动校正机构还能够根据为一个图像检测的多个局部运动向量局部地校正图像的抖动。抖动校正单元410至少包括电子抖动校正机构。
图1 4示出了为包括人物轮廓648的图像707的各个9个块计算运动向量751至759的实例。在图像707中，为图像707的背景中的块检测运动向量751至758，因此彼此相等并表示图像的全局运动。另一方面，为包括作为主要对象的人物轮廓648的面部649的面部区域650的块检测运动向量759，因此，运动向量759表示局部向量并且可不同于运动向量751至758。即，运动向量759表示面部的运动，而运动向量751至758表示背景的运动。
对于图14所示的图像707，因为运动向量751至758彼此相等，所以抖动校正单元410的电子抖动校正机构对与运动向量751至758对应的块作出相同的局部校正。然而，电子抖动校正机构根据不同于运动向量751至758的运动向量759对与运动向量759对应的块作出不同的局部校正。
结果，为作为主要对象的人物轮廓的面部区域有效地抑制了抖动，并可获得清晰的图像。因此，可以将面部和附近区域的抖动抑制到充分低的水平，使得所得到的图像对于主要对象具有高质量而不被背景或背景中物体的抖动所影响。注意，根据本发明的本实施例的技术不仅可应用于特定的抖动校正机构(例如，电子抖动校正机构或光学抖动校正机构)，还可应用于多种抖动校正机构。
接下来，下面参照图15描述基于由振动传感器200检测的图像拍摄装置100自身的抖动分量(抖动量)201来校正图像抖动的方法。
图1 5示出了基于由振动传感器200检测的图像拍摄装置100的抖动分量(抖动量)201以及由运动向量检测器400检测的图像的每个块的抖动分量(抖动量)401来检测对象的抖动分量的方法实例。
如图15所示，可通过将由运动向量检测器400检测的图像的每个块的抖动分量401减去由振动传感器200检测的图像拍摄装置100的抖动分量201，获得移动对象的抖动分量402。换句话说，通过从图像的每个块的抖动分量中去除由于手抖等而导致的图像拍摄装置100的抖动分量，获得移动对象的抖动分量。基于为每块计算的抖动分量，可计算面部区域的抖动分量。
图16示出了基于为由运动向量检测器400检测的图像708的各个块检测的运动向量以及为在由运动向量检测器400检测的图像708中作为移动对象的人物轮廓651检测的运动向量来检测图像708中除移动对象之外的背景的抖动分量的方法实例。
如图16所示，可通过将图像708的各个块的运动向量减去被认为是包括作为移动对象的人物轮廓651的面部区域和身体区域的区域651a的运动向量，获得仅准确表示不包括移动对象的运动分量的背景的运动分量的运动向量。
如上所述，使用振动传感器200可以检测独立于图像处理的(图像拍摄装置100的)抖动分量。还可以通过从对于图像的各个块的由运动向量检测器400检测的运动向量中减去由振动传感器200检测的抖动分量并对得到的值进行加权来计算移动对象的抖动校正值。因此，可以根据由运动向量检测器400检测的运动向量以及由振动传感器200检测的抖动分量来计算抖动校正值。
接下来，下面描述基于由面部检测器300检测的面部区域和由运动向量检测器400检测的运动向量校正图像的各个部分的抖动的方法。在上述实例中，当运动向量检测器400检测运动向量时，如果通过面部检测器300检测面部，则将拍摄图像分为多个区域，使得拍摄图像被完全包括在一个区域中，并为各个区域确定运动向量。
相反，在下面描述的方法中，当运动向量检测器400检测运动向量时，不管图像是否包括面部，都将拍摄图像分为多个区域，并确定各个区域的运动向量。更具体地，将为图像的各个区域检测的运动向量分成背景的抖动向量(全局向量)和包括面部的移动对象的抖动向量(局部向量)，并基于分离的抖动向量执行抖动的检测和校正。
图17示出了为包括人物轮廓652和人物轮廓655的图像711的16个块计算运动向量759至774的实例。在图17所示的图像711中，为图像711的背景中的块检测运动向量759至768，因此这些运动向量759至768彼此相同并表示图像711的全局运动。为部分包括作为一个移动对象的人物轮廓652的面部653的面部区域654的块检测运动向量769和770，因此这些向量表示人物轮廓652的面部的局部运动。为部分包括人物轮廓652的身体的块检测运动向量771，因此运动向量771表示人物轮廓652的身体的局部运动。为部分包括作为一个移动对象的人物轮廓655的面部656的面部区域657的块检测运动向量772和773，因此这些向量表示人物轮廓655的面部的局部运动。为部分包括人物轮廓655的身体的块检测运动向量774，因此运动向量774表示人物轮廓655的身体的局部运动。
抖动校正单元410的电子抖动校正机构能够基于为单个图像检测的多个运动向量局部校正抖动。
在图17所示的图像711中，因为运动向量759至768彼此相等，所以抖动校正单元410的电子抖动校正机构对与运动向量759至768对应的块做出相同的局部校正。另一方面，抖动校正单元410的电子抖动校正机构根据各个运动向量769至774对与运动向量769至774相应的块做出局部校正。即，当移动人物轮廓655的面部656或身体时，根据运动执行抖动校正。
如上所述，对每块进行该块是否包括面部的至少一部分的确定，并存储表示每块的确定结果的数据。计算面部区域的平均运动向量和背景区域的平均运动向量，并存储计算的平均运动向量。然后，根据计算的平均运动向量执行抖动校正。可将诸如人物轮廓的身体、胳膊、腿等的移动对象区域认为是面部区域的一部分，并可计算包括这些部分的面部区域的运动向量的平均值，或者可为移动对象的各个部分分别计算平均运动向量。结果，为作为主要对象的人物轮廓的面部区域有效地抑制了抖动，并且可获得清晰的图像。因此，可以将面部和附近区域的抖动抑制到充分低的水平，使得所得到的图像对于主要对象具有高质量而不被背景或背景中物体的抖动所影响。
接下来，参照图18，下面描述诸如图17所示的校正抖动的处理。
图18是示出由图像拍摄装置100执行的计算抖动校正值的处理的流程图。
首先，在图像拍摄装置100中，输入由成像单元120拍摄的图像(步骤S921)。如果从成像单元120输出图像，则确定面部检测模式是否被设定为开启状态(步骤S922)。在面部检测模式处于关闭状态的情况下(步骤S922)，不需要执行基于面部的抖动校正。因此，在这种情况下，在正常模式下计算抖动校正值而部考虑面部，并将计算的抖动校正值提供给抖动校正单元410(步骤S938)。
另一方面，如果面部检测模式处于开启状态(步骤S922)，则面部检测器300检测输入图像中的面部，并计算与检测面部相关的各种信息(步骤S923)。
此后，将输入图像分为多个区域(块)(步骤S924)。例如，将输入图像分为N块。
从多个块中选择一个块(步骤S925)，确定所选择的块是否包括面部(步骤S926)。如果选择的块包括面部(步骤S926)，则检测所选择的块的运动向量，并在适于存储面部的运动向量的阵列(下文简称为面部向量阵列)中存储检测的运动向量(步骤S927)。与当前块相关的面部/背景标记被设定为“面部”(步骤S928)。在已经检测多个面部的情况下，在每个面部向量阵列中存储每个面部的运动向量，并将与包括面部的每个块相关的面部/背景标记设定为“面部”。
如果选择的块不包括面部(步骤S926)，则检测所选择块的运动向量，并在用于存储背景运动向量的阵列(下文简称为背景向量阵列)中存储检测的运动向量(步骤S929)。将与当前块相关的面部/背景标记设定为“背景”(步骤S930)。
接下来，确定是否已经为所有块执行了上面的处理(步骤S931)。如果没有为所有块执行该处理(步骤S931)，则处理返回至步骤S925以重复上述处理，来检测下一块的运动向量(步骤S925至S930)。
如果已经为所有块执行了该处理(步骤S931)，则由存储在面部向量阵列中的运动向量计算面部区域的平均运动向量，并由存储在背景向量阵列中的运动向量计算背景区域的平均运动向量(步骤S932)。在已经检测到多个面部的情况下，为每个面部区域分别计算平均运动向量。
从多个块中选择一个块(步骤S933)，并确定对应于所选块的面部/背景标记是否被设定为“面部”(步骤S934)。如果对应于所选块的面部/背景标记被设定为“面部”(步骤S934)，则由面部区域的平均运动向量计算所选块的抖动校正值(步骤S935)。另一方面，如果对应于所选块的面部/背景标记被设定为“背景”(步骤S934)，则由背景区域的平均运动向量计算所选块的抖动校正值(步骤S936)。
此后，确定是否已经为所有块执行了上面的处理(步骤S937)。如果没有为所有块执行该处理，(步骤S937)，则处理返回至步骤S933以重复上述处理，来为下一块计算校正值(步骤S933至S936)。
如果已经为所有块执行了该处理(步骤S937)，则将为每块计算的校正值提供给抖动校正单元410(步骤S938)。
如上所述，为所有N块的每一块计算运动向量，并由N个块的运动向量计算面部区域和背景区域的平均运动向量。此外，基于计算的平均运动向量，根据每块是否是面部区域或背景区域来计算各块的校正值。将计算的校正值提供给抖动校正单元410。抖动校正单元410在与抖动方向相反的方向上补偿抖动以获得其抖动被抑制到充分低的水平的高质量图像。特别地，与背景相比为人物轮廓的面部更有效地抑制抖动，因此得到的图像对主要对象是清楚的。
接下来，基于局部运动向量计算包括面部的移动对象区域的校正值，使得朝向图像中心校正对象的位置。即，校正人物轮廓的图像的抖动，使得校正使人物轮廓的位置朝向图像中心移动。
图19A和19B示出了朝向图像中心校正包括面部区域的移动对象区域的位置的方式。
如图19A所示，如果由向量a给出为图像712计算的全局校正值(校正向量)，则通过向量a校正图像712中面部区域的位置。
如图19B所示，在人物轮廓的面部658没有位于靠近图像714中心的情况下，不仅进行抖动的校正，而且还可将人物轮廓的面部658移动至靠近图像714中心的位置。
例如，当由向量a给出为图像714计算的全局校正值时，确定用于将面部658移动至图像中心的向量b并通过加权因子w6进行加权。根据等式(2)，根据向量a和加权向量b的和进行面部的局部校正：
校正值＝向量a+w6×向量b    (2)
其中，通过面部的坐标和图像中心的坐标之间的差来确定向量b，并将加权因子w6设定为0.1至0.5的范围内的值。
因此，如上所述，除面部区域的抖动校正之外，还进行取景(framing)校正。
如上所述，根据局部运动向量校正面部区域和从面部区域预测的人物轮廓的区域，同时根据全局运动向量校正背景区域，因此根据这些区域来最优校正抖动。
计算面部区域和从面部区域预测的移动对象区域的局部校正向量，使得校正向量的应用使面部区域和对象区域朝向图像中心移动，即，执行抖动校正，使得人物轮廓向图像中心移动，从而进一步实现期望的取景。
在上述实施例中，基于块匹配方法，通过图像处理检测运动向量。然而，检测运动向量的方法不限于这种方法，而可以通过其它方法检测运动向量。在下面描述其它方法的实例。
图20示出了基于由面部检测器300检测的面部区域从图像中检测运动向量的方法实例。
在这种方法中，如图20所示，基于在运动图像的先前帧(图像715)中检测的面部区域和在紧随先前帧的当前帧(图像716)中检测的面部区域来检测运动向量。注意，当前帧(图像716)是从先前帧(图像715)开始过去预定时间周期t时出现的帧。为了检测各种抖动分量，使用振动传感器200和基于由面部检测器300检测的面部区域来检测运动向量的机构。
图20A示出了包括人物轮廓660、人物轮廓660的面部661以及由面部检测器300检测的面部661的面部区域662的图像(图像715)的先前帧的实例。
图20B示出了包括人物轮廓660、人物轮廓660的面部661以及由面部检测器300检测的面部661的面部区域663的图像(图像716)的当前帧的实例。图20B还示出了由振动传感器200检测的手抖向量680以及基于由面部检测器300检测的面部区域检测的运动向量681。在图20B所示的当前帧中，面部处在由手抖向量680和基于面部区域检测的运动向量681的和所表示的位置。
当通过面部检测器300在图像(图像716)的当前帧中检测出一个或多个面部区域时，基于面部区域的坐标、表示是面部的可能性的值、面部的角度等，确定每个面部区域的总估计值En。例如，根据等式(3)计算总估计值En：
En＝w1×面部区域大小
+w2×面部区域的坐标
+w3×表示是面部的可能性的值
+w4×正向程度
+w5×面部的倾斜程度             (3)
其中，w1至w5是各个估计值的加权因子。
注意，总估计值En不限于根据等式(3)计算的值，而是可以不同地确定总估计值En。例如，总估计值En可包括一个或多个附加估计因子，或可仅包括一个或多个在等式(3)中包括的估计值。
在先前帧(图像715)中，设定具有比面部区域的大小更大的大小的搜索区域，使得在搜索区域中包括在当前帧(图像716)中检测的面部区域。在搜索区域内搜索具有接近于由面部检测器300检测的面部区域的估计值的估计值的面部。如果在先前帧和当前帧中发现面部估计值彼此相似的面部，则将这两个面部之间的向量用作运动向量(面部区域向量)。
使用上述面部区域向量和由振动传感器200检测的独立于图像的手抖向量，根据在下面描述的等式(4)确定校正向量。
校正向量＝手抖分量的校正向量
+w7×面部区域运动向量
+w8×从面部到图像中心的向量         (4)
其中，w7和w8是加权因子。注意，w8可以等于w6。
在检测多个面部的情况下，可由根据等式(4)为各个面部计算的校正向量确定每帧的单个校正向量，或者可根据各个校正向量对各个面部区域分别进行局部校正。
接下来，下面参照图21描述根据基于面部区域检测的运动向量校正抖动的处理。
图21是示出由图像拍摄装置100执行的计算抖动校正值的处理的流程图。
首先，在图像拍摄装置100中，输入由成像单元120拍摄的图像(步骤S941)。如果从成像单元120输入图像，则确定面部检测模式是否被设定为开启状态(步骤S942)。如果面部检测模式处于关闭状态(步骤S942)，则基于由振动传感器200检测的手抖向量计算校正值#3(步骤S950)。然后，处理进入步骤S951。
另一方面，如果面部检测模式处于开启状态(步骤S942)，则面部检测器300检测输入图像中的面部，并计算与检测的面部相关的各种信息(步骤S943)。
接下来，基于由面部检测器300检测的每个面部的特征信息确定每个面部区域的总估计值En。例如，根据等式(3)计算总估计值En(步骤S944)。然后，在运动图像的先前帧中设定具有比面部区域大小更大的大小的搜索区域，使得在搜索区域中包括在当前帧中检测的面部区域，并确定在搜索区域中是否存在具有接近于由面部检测器300检测的面部区域估计值的估计值的面部(步骤S945)。如果没有检测出具有相似面部估计值的面部(步骤S945)，则确定不能检测基于面部区域的运动向量，处理进入步骤S950。
另一方面，如果在搜索区域中检测出具有相似面部估计值的面部(步骤S945)，则将在先前帧和当前帧中分别检测的两个相似面部区域之间的向量用作运动向量(面部运动向量)(步骤S946)。
接下来，基于由振动传感器200检测的手抖向量来计算校正值#1(步骤S947)，并由校正值#1和面部区域运动向量，根据等式(5)计算校正值#2(步骤S948)。
校正值#2＝校正值#1
+w7×面部区域运动向量            (5)
接着，根据等式(6)使用校正值#2计算校正值#3(步骤S949)。
校正值#3＝校正值#2
+w8×从面部到图像中心的向量      (6)
注意，在步骤S948和S949中，确定上述等式(4)的值。还应注意，w7和w8是与上述加权因子相同的加权因子。
接下来，根据在步骤S949或S950中计算的校正值#3计算图像的全局抖动校正值，并将计算的抖动校正值提供给抖动校正单元410(步骤S951)。
因此，除对面部区域的抖动校正之外，还可以进行取景校正，使得朝向图像中心移动面部。因此，可以获得高质量的输出图像，面部区域的抖动被抑制，并且取景被很好地控制。在上述处理中，等式或值仅仅是实例，可以使用其它等式或值。
根据上述实施例，可以获得其抖动被抑制到非常低的水平的清晰图像。特别地，可以为面部和附近区域更有效地抑制抖动，因此，可以为图像中的主要对象实现高质量。
此外，可以为主要对象实现高质量而不受背景或背景物体的影响。
可通过基于面部区域的坐标、图像中面部的位置、面部区域大小、是面部的可能性、正向程度、倾斜程度等确定加权因子来更加适当地计算抖动校正值。
可根据单个向量为图像全局地执行抖动校正，或者根据多个向量为图像的各个部分局部地执行抖动校正。因此，可以根据图像的对象最优地进行校正。
当校正局部抖动时，可以朝向图像的中心移动面部区域的位置，使得作为图像主要对象的人物轮廓位于适当的位置上。
在图像拍摄装置被配置为仅包括作为抖动检测单元和抖动校正单元的电子抖动检测单元和电子抖动校正单元的情况下，可以减小图像拍摄装置的大小、成本和功耗。
当检测到图像包括以集体照片形式定位的许多人物轮廓时，为集体照片优化加权因子，使得可以获得高质量的集体照片。
当在背景中存在一个或多个人物轮廓时，将背景中的这些人物轮廓与作为主要对象的人物轮廓相区别，并抑制背景中人物轮廓的影响。因此，可以为主要人物轮廓最有效地抑制抖动。
在图像中检测出多个面部的情况下，检测被最恰当设定了聚焦和曝光的面部，并为检测的面部最有效地校正抖动，使得图像对于这个面部具有高质量。
当在图像中检测特定人的面部时，将较大的加权因子分配给该人物轮廓，使得为这个特定人物最有效地抑制抖动。
可以通过从检测的运动向量中减去面部区域的抖动分量来检测全局抖动分量。
代替使用块匹配方法检测运动向量，可通过检测表示面部区域移动的向量来确定运动向量，并且可根据面部区域以优化方式执行局部抖动校正。当图像包括多个面部时，可以根据面部分别为各个面部最优地校正抖动。
因此，如上所述，本发明使得可以根据图像适当地校正图像的抖动。
例如，可将本发明应用于在例如适于从数码相机等输入图像并在显示器上显示输入图像的个人计算机上实现的图像处理装置。
注意，在上面仅通过实例而没有限制地描述了本发明的实施例。通过上述实施例中的特定元件实现本发明的特征。注意，这些特征不限于在实施例中描述的那些特定元件，而是可以进行各种修改。
例如，通过上述实施例中的成像单元120实现成像装置。
例如，通过上述实施例中的面部检测器300实现面部检测装置。
例如，通过上述实施例中的运动向量检测器400实现运动检测装置。
例如，通过上述实施例中的抖动校正单元410实现抖动校正装置。
例如，通过上述实施例中的校正值计算单元440实现校正值计算装置。
例如，通过上述实施例中的振动传感器200实现振动检测装置。
例如，通过上述实施例中的控制器110实现相机控制值检测装置。
例如，通过上述实施例中的选择单元162实现设定装置。
例如，通过存储器210实现特定人物存储装置，以及例如，通过上述实施例中的控制器110实现特定人物识别装置。
例如，通过信号处理单元130实现图像输入装置。
例如，通过上述实施例中的步骤S901实现图像输入步骤。例如，通过上述实施例中的步骤S903实现面部检测步骤。例如，通过上述实施例中的步骤S907实现移动距离检测步骤。例如，通过上述实施例中的步骤S916实现抖动校正步骤。
可将在实施例中描述的处理步骤的顺序认为是包括步骤顺序的方法，或者可以以计算机程序的形式或以存储程序的存储介质的形式实现步骤顺序。
本领域的技术人员应该理解，根据设计要求和其它因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。

Claims (18)

1.一种图像拍摄装置，包括：
成像装置，用于感测对象的图像；
面部检测装置，用于检测由所述成像装置感测的所述图像中的面部；
运动检测装置，用于检测表示在由所述成像装置感测的图像中的、由所述面部检测装置检测的所述面部的区域的抖动量的面部运动量，并且还检测表示除所述面部的区域之外的区域的抖动量的背景运动量；以及
抖动校正装置，用于根据由所述运动检测装置检测的所述面部运动量和所述背景运动量来校正由所述成像装置感测的图像的抖动。
2.根据权利要求1所述的图像拍摄装置，还包括校正值计算装置，用于根据由所述运动检测装置检测的所述面部运动量和所述背景运动量来计算将由所述抖动校正装置校正的图像抖动的校正值。
3.根据权利要求2所述的图像拍摄装置，其中，所述校正值计算装置根据由所述运动检测装置检测的所述面部运动量和所述背景运动量以及根据预定的加权因子来计算所述校正值。
4.根据权利要求3所述的图像拍摄装置，其中，所述校正值计算装置通过与由所述运动检测装置检测的所述背景运动量相比对由所述运动检测装置检测的所述面部运动量应用更大的加权因子来计算所述校正值。
5.根据权利要求3所述的图像拍摄装置，其中，
所述面部检测装置还检测与由所述成像装置感测的图像中所检测的所述面部相关的特征信息；以及
所述校正值计算装置根据与由所述面部检测装置检测的面部相关的所述特征信息来计算所述加权因子。
6.根据权利要求5所述的图像拍摄装置，其中，与所述面部相关的所述特征信息包括从由表示面部区域大小的信息、表示面部区域坐标的信息、表示作为面部可能性的信息、表示正向程度的信息、表示所述面部倾斜程度的信息、表示微笑程度的信息、表示严肃程度的信息、以及表示眼睛闭合程度的信息组成的组中所选择的一条或多条信息。
7.根据权利要求5所述的图像拍摄装置，其中，在所述校正值的计算中，所述校正值计算装置为靠近由所述面部检测装置检测的面部的块增加加权因子。
8.8根据权利要求1所述的图像拍摄装置，其中，所述运动检测装置将由所述成像装置感测的图像分为多个区域，使得在这些区域的一个区域中包括由所述面部检测装置检测的面部，并从包括所述面部的区域中检测所述面部运动量，并从除包括所述面部的区域之外的区域中检测所述背景运动量。
9.根据权利要求1所述的图像拍摄装置，还包括振动检测装置，用于检测由所述图像拍摄装置的振动所引起的抖动量，其中，
所述抖动校正装置根据由所述运动检测装置检测的所述面部运动量和所述背景运动量以及由所述振动检测装置检测的所述抖动量来校正由所述成像装置感测的图像的抖动。
10.根据权利要求5所述的图像拍摄装置，还包括相机控制值检测装置，用于基于与由所述面部检测装置检测的面部相关的所述特征信息来检测是否为所述面部最优设定了聚焦和/或曝光的程度，其中，
所述校正值计算装置根据由所述相机控制值检测装置检测的、是否为所述面部最优设定了聚焦和/或曝光的程度来计算所述面部的校正值。
11.根据权利要求1所述的图像拍摄装置，还包括设定装置，用于设定是否应该执行由所述成像装置感测的图像中面部的检测。
12.根据权利要求3所述的图像拍摄装置，还包括：
特定人物存储装置，用于存储与特定人物的面部相关的特定人物信息；以及
特定人物识别装置，用于确定由所述面部检测装置检测的面部是否与存储在所述特定人物存储装置中的所述特定人物的面部相同，其中，
所述校正值计算装置计算校正值，使得如果所述特定人物识别装置确定由所述面部检测装置检测的面部与存储在所述特定人物存储装置中的所述特定人物的面部相同，则所述校正值计算装置根据区域是否包括所述特定人物的面部来修改每个区域的加权因子。
13.根据权利要求2所述的图像拍摄装置，其中，所述校正值计算装置计算表示由所述运动检测装置检测的所述面部运动量的平均值的第一平均值，根据所述第一平均值来计算由所述面部检测装置检测的所述面部的区域的校正值，计算表示由所述运动检测装置检测的所述背景运动量的平均值的第二平均值，并根据所述第二平均值来计算除由所述面部检测装置检测的所述面部的区域之外的区域的校正值。
14.根据权利要求13所述的图像拍摄装置，其中，如果通过所述面部检测装置检测多个面部，则所述校正值计算装置计算由所述面部检测装置检测的每个面部的面部运动量的平均值，并根据所计算的平均值计算所述校正值。
15.根据权利要求1所述的图像拍摄装置，其中，所述抖动校正装置校正由所述成像装置感测的图像的抖动，使得由所述面部检测装置检测的所述面部的区域向图像中心移动。
16.根据权利要求1所述的图像拍摄装置，其中，基于通过所述面部检测装置从由所述成像装置检测的当前图像中检测的面部与由所述面部检测装置从由所述成像装置在所述当前图像之前的预定时间所检测的先前图像中检测的面部之间的相关性，所述运动检测装置检测在由所述成像装置感测的图像中由所述面部检测装置检测的所述面部的区域的所述面部运动量。
17.一种图像处理装置，包括：
图像输入装置，用于输入图像；
面部检测装置，用于检测经由所述图像输入装置输入的所述图像中的面部；
运动检测装置，用于检测表示在经由所述图像输入装置输入的所述图像中由所述面部检测装置检测的所述面部的区域的抖动量的面部运动量，并且还检测表示除所述面部的区域之外的区域的抖动量的背景运动量；以及
抖动校正装置，用于根据由所述运动检测装置检测的所述面部运动量和所述背景运动量来校正经由所述图像输入装置输入的所述图像的抖动。
18.一种处理图像的方法，包括以下步骤：
图像输入步骤，输入图像；
面部检测步骤，检测在所述图像输入步骤中输入的所述图像中的面部；
运动检测步骤，检测表示在所述图像输入步骤中输入的所述图像中的、在所述面部检测步骤中检测的所述面部的区域的抖动量的面部运动量，并检测表示除所述面部的区域之外的区域的抖动量的背景运动量；以及
抖动校正步骤，根据在所述运动检测步骤中检测的所述面部运动量和所述背景运动量来校正在所述图像输入步骤中输入的所述图像的抖动。
CN2007101954816A 2006-11-30 2007-11-30 图像拍摄装置、图像处理装置及方法 Expired - Fee Related CN101193208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006325015 2006-11-30
JP2006-325015 2006-11-30
JP2006325015A JP4274233B2 (ja) 2006-11-30 2006-11-30 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム

Publications (2)

Publication Number Publication Date
CN101193208A CN101193208A (zh) 2008-06-04
CN101193208B true CN101193208B (zh) 2010-09-01

Family

ID=39487927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101954816A Expired - Fee Related CN101193208B (zh) 2006-11-30 2007-11-30 图像拍摄装置、图像处理装置及方法

Country Status (3)

Country Link
US (1) US8228390B2 (zh)
JP (1) JP4274233B2 (zh)
CN (1) CN101193208B (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2395781A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
JP4201809B2 (ja) * 2006-11-13 2008-12-24 三洋電機株式会社 手ぶれ補正装置及び方法並びに撮像装置
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
JP4986175B2 (ja) * 2007-12-28 2012-07-25 カシオ計算機株式会社 撮像装置及びプログラム
JP5048542B2 (ja) * 2008-02-07 2012-10-17 オリンパス株式会社 画像処理装置及び画像処理プログラム
JP4940164B2 (ja) * 2008-02-07 2012-05-30 オリンパス株式会社 撮像装置及び撮像方法
JP4561845B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置と画像処理プログラム
JP4919297B2 (ja) * 2008-03-13 2012-04-18 富士フイルム株式会社 画像評価装置および方法並びにプログラム
JP4534172B2 (ja) * 2008-04-03 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5109866B2 (ja) * 2008-08-13 2012-12-26 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP4720880B2 (ja) * 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5213613B2 (ja) * 2008-09-26 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法及び撮像装置及びプログラム
DE102008042562A1 (de) 2008-10-02 2010-04-08 Robert Bosch Gmbh Kamera und korrespondierendes Verfahren zur Auswahl eines aufzunehmenden Objekts
US20100150447A1 (en) * 2008-12-12 2010-06-17 Honeywell International Inc. Description based video searching system and method
JP2010224677A (ja) * 2009-03-19 2010-10-07 Seiko Epson Corp 画像評価方法、画像評価プログラムおよび印刷装置
US8452599B2 (en) * 2009-06-10 2013-05-28 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for extracting messages
US8269616B2 (en) * 2009-07-16 2012-09-18 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for detecting gaps between objects
US20110019018A1 (en) * 2009-07-22 2011-01-27 National Chung Cheng University Image comprssion system in coordination with camera motion
CN101990063B (zh) * 2009-08-05 2012-05-09 华晶科技股份有限公司 利用移动检测调整数字相机的拍摄设定的方法
US8337160B2 (en) * 2009-10-19 2012-12-25 Toyota Motor Engineering & Manufacturing North America, Inc. High efficiency turbine system
US8237792B2 (en) 2009-12-18 2012-08-07 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for describing and organizing image data
US8723965B2 (en) * 2009-12-22 2014-05-13 Panasonic Corporation Image processing device, imaging device, and image processing method for performing blur correction on an input picture
CN102118559B (zh) * 2009-12-30 2012-10-03 华晶科技股份有限公司 利用移动侦测调整数字相机的拍摄条件的方法
JP5488076B2 (ja) * 2010-03-15 2014-05-14 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
JP5484184B2 (ja) * 2010-04-30 2014-05-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2011257502A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像安定化装置、画像安定化方法、及びプログラム
US8424621B2 (en) 2010-07-23 2013-04-23 Toyota Motor Engineering & Manufacturing North America, Inc. Omni traction wheel system and methods of operating the same
EP2424243B1 (en) * 2010-08-31 2017-04-05 OCT Circuit Technologies International Limited Motion estimation using integral projection
JP5857322B2 (ja) * 2011-06-02 2016-02-10 新シコー科技株式会社 オートフォーカスカメラ及びカメラ付きモバイル端末装置
JP2012257080A (ja) 2011-06-09 2012-12-27 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
US9357161B1 (en) * 2011-10-17 2016-05-31 Pixelworks, Inc. Motion vector interpolation for motion compensation
GB2511973A (en) * 2011-12-27 2014-09-17 Hewlett Packard Development Co User interface device
FR2991785B1 (fr) 2012-06-06 2014-07-18 Astrium Sas Stabilisation d'une ligne de visee d'un systeme d'imagerie embarque a bord d'un satellite
KR20140031613A (ko) * 2012-09-05 2014-03-13 삼성전자주식회사 영상 처리 장치 및 방법
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
EP2739044B1 (en) * 2012-11-29 2015-08-12 Alcatel Lucent A video conferencing server with camera shake detection
CN103888655B (zh) * 2012-12-21 2017-07-25 联想(北京)有限公司 一种拍照方法及电子设备
US10547774B2 (en) * 2013-01-09 2020-01-28 Sony Corporation Image processing device, image processing method, and program
JP5892075B2 (ja) * 2013-01-16 2016-03-23 トヨタ自動車株式会社 対象物検出装置及び対象物検出方法、警報装置及び警報方法、運転支援装置及び運転支援方法
US9852511B2 (en) 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object
CN104427240A (zh) * 2013-09-09 2015-03-18 深圳富泰宏精密工业有限公司 电子装置及其影像调整方法
US9736381B2 (en) * 2014-05-30 2017-08-15 Intel Corporation Picture in picture recording of multiple regions of interest
JP2016009998A (ja) * 2014-06-24 2016-01-18 キヤノン株式会社 撮像装置、撮像方法及びプログラム
CN104093014A (zh) * 2014-07-21 2014-10-08 宇龙计算机通信科技(深圳)有限公司 图像处理方法和图像处理装置
US9462189B2 (en) * 2014-07-31 2016-10-04 Apple Inc. Piecewise perspective transform engine
JP6454112B2 (ja) * 2014-09-25 2019-01-16 キヤノン株式会社 ぶれ補正装置、ぶれ補正方法及びプログラム、並びに撮像装置
JP6415228B2 (ja) * 2014-10-03 2018-10-31 キヤノン株式会社 画像合成装置および画像合成装置の制御方法
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
EP3381180B1 (en) * 2015-11-24 2023-07-05 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
JP6725979B2 (ja) * 2015-11-27 2020-07-22 キヤノン株式会社 像ブレ補正装置及びその制御方法、記憶媒体
JP6577852B2 (ja) * 2015-12-03 2019-09-18 キヤノン株式会社 動きベクトル検出装置およびその制御方法
CN105516589B (zh) * 2015-12-07 2018-07-03 凌云光技术集团有限责任公司 基于人脸识别的智能曝光方法及系统
US20170272660A1 (en) * 2016-03-17 2017-09-21 Casio Computer Co., Ltd. Imaging device configured to control a region of imaging
JP6815747B2 (ja) * 2016-05-02 2021-01-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、プログラム、および、記憶媒体
JP2018164146A (ja) * 2017-03-24 2018-10-18 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US10764499B2 (en) * 2017-06-16 2020-09-01 Microsoft Technology Licensing, Llc Motion blur detection
CN109255797B (zh) * 2017-07-14 2021-08-06 富士通株式会社 图像处理装置及方法、电子设备
CN107995413B (zh) * 2017-10-31 2020-09-29 维沃移动通信有限公司 一种拍照控制方法及移动终端
US11575834B2 (en) * 2019-12-17 2023-02-07 Canon Kabushiki Kaisha Image stabilization apparatus, method of controlling same, and storage medium
CN111479035B (zh) * 2020-04-13 2022-10-18 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质
KR20210155284A (ko) * 2020-06-15 2021-12-22 한화테크윈 주식회사 영상처리장치
CN112738405B (zh) * 2020-12-30 2022-02-01 维沃移动通信（杭州）有限公司 视频拍摄方法、装置和电子设备
US11228702B1 (en) * 2021-04-23 2022-01-18 Gopro, Inc. Stabilization of face in video
US20230368343A1 (en) * 2022-02-08 2023-11-16 Meta Platforms Technologies, Llc Global motion detection-based image parameter control
CN114827473B (zh) * 2022-04-29 2024-02-09 北京达佳互联信息技术有限公司 视频处理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1486085A (zh) * 2002-09-25 2004-03-31 北京中星微电子有限公司 通过面部图像对键盘进行锁定的通信终端和方法
CN1812492A (zh) * 2004-03-31 2006-08-02 富士胶片株式会社 数字相机、图像回放装置、面部图像显示装置及其控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3384459B2 (ja) 1992-04-17 2003-03-10 ソニー株式会社 撮像装置
JPH1091795A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
JP3466895B2 (ja) * 1997-12-12 2003-11-17 キヤノン株式会社 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット
US6501794B1 (en) * 2000-05-22 2002-12-31 Microsoft Corporate System and related methods for analyzing compressed media content
JP3659157B2 (ja) * 2000-10-17 2005-06-15 日本電気株式会社 映像内容に重み付けをする画像圧縮方式
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
KR101108634B1 (ko) * 2004-01-06 2012-01-31 소니 주식회사 화상 처리 장치 및 화상 처리 방법 및 기록 매체
JP4379918B2 (ja) * 2004-11-29 2009-12-09 富士フイルム株式会社 撮影装置及び撮影方法
JP2006295350A (ja) * 2005-04-07 2006-10-26 Sony Corp 撮像装置及び撮像結果の処理方法
JP2007033543A (ja) * 2005-07-22 2007-02-08 Fujifilm Holdings Corp 撮影装置
US8073280B2 (en) * 2006-05-16 2011-12-06 Panasonic Corporation Image processing apparatus and image processing program for correcting image degradation
US8699857B2 (en) * 2007-12-06 2014-04-15 Olympus Imaging Corp. Reproducer, digital camera, slide show reproduction method, program, image display apparatus, image display method, image reproduction method, and image display program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1486085A (zh) * 2002-09-25 2004-03-31 北京中星微电子有限公司 通过面部图像对键盘进行锁定的通信终端和方法
CN1812492A (zh) * 2004-03-31 2006-08-02 富士胶片株式会社 数字相机、图像回放装置、面部图像显示装置及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2005-275379A 2005.10.06

Also Published As

Publication number Publication date
US8228390B2 (en) 2012-07-24
CN101193208A (zh) 2008-06-04
JP2008141437A (ja) 2008-06-19
US20080186386A1 (en) 2008-08-07
JP4274233B2 (ja) 2009-06-03

Similar Documents

Publication Publication Date Title
CN101193208B (zh) 图像拍摄装置、图像处理装置及方法
US8818055B2 (en) Image processing apparatus, and method, and image capturing apparatus with determination of priority of a detected subject and updating the priority
CN100502471C (zh) 图像处理装置、图像处理方法和成像装置
CN101175187B (zh) 图像存储设备、成像设备以及图像存储方法
US7801360B2 (en) Target-image search apparatus, digital camera and methods of controlling same
US7855731B2 (en) Image vibration-compensating apparatus and method thereof
JP4535164B2 (ja) 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム
US20110193986A1 (en) Image sensing device
JP4732303B2 (ja) 撮像装置
CN101998058A (zh) 摄像装置和图像处理装置
KR20100048600A (ko) 인물 구도 제안 영상 촬영 장치 및 방법
CN101783877A (zh) 图像拍摄装置及频闪图像生成方法
CN103634513B (zh) 图像处理设备及其控制方法
CN103312975A (zh) 图像处理装置、以及图像处理方法
CN101739688A (zh) 运动矢量检测装置、运动矢量处理方法和程序
CN101931746A (zh) 摄像装置以及摄像方法
CN108259769B (zh) 图像处理方法、装置、存储介质及电子设备
US20210256713A1 (en) Image processing apparatus and image processing method
US11159725B2 (en) Image processing apparatus, image processing method, and recording medium
JP5167236B2 (ja) 被写体追跡装置及びその制御方法
EP2690859B1 (en) Digital photographing apparatus and method of controlling same
JP2014067315A (ja) 認証装置、認証方法、および、そのプログラム
JP2007096440A (ja) 撮像装置
JP5222429B2 (ja) 被写体追跡装置及びその制御方法
CN115037869A (zh) 自动对焦方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100901

Termination date: 20151130

EXPY Termination of patent right or utility model