CN102812699A - 图像处理设备、方法以及计算机程序存储设备 - Google Patents

图像处理设备、方法以及计算机程序存储设备 Download PDF

Info

Publication number
CN102812699A
CN102812699A CN2011800150234A CN201180015023A CN102812699A CN 102812699 A CN102812699 A CN 102812699A CN 2011800150234 A CN2011800150234 A CN 2011800150234A CN 201180015023 A CN201180015023 A CN 201180015023A CN 102812699 A CN102812699 A CN 102812699A
Authority
CN
China
Prior art keywords
edge circle
photograph
taken
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800150234A
Other languages
English (en)
Other versions
CN102812699B (zh
Inventor
木下雅也
米田丰
龟谷敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102812699A publication Critical patent/CN102812699A/zh
Application granted granted Critical
Publication of CN102812699B publication Critical patent/CN102812699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

图像处理设备、方法以及非瞬态计算机程序存储设备协作来处理连续的图像。相应的框被创建，并被定位在连续的图像内，其中，每一框都具有边界。当检测到框边界之间的变化时，控制器触发图像拍摄。此方法导致对关注时刻的拍摄，即使被摄体不是人物也可以。可以以各种方式来分类框边界的变化，例如包括纵横比、形状、朝向以及位置的变化。通过用这种方式来检测变化，成像设备可以自动地拍摄有趣的事件的图像。

Description

图像处理设备、方法以及计算机程序存储设备
技术领域
本发明涉及图像处理设备、方法以及计算机程序存储设备。具体而言，本发明涉及能够获取最佳拍摄图像的图像处理设备、方法以及计算机程序存储设备。
背景技术
最近，在诸如数字照相机之类的成像设备中提出了这样的技术：提供了检测被摄人物的面部并检测面部表情的面部表情检测功能。当面部表情检测功能检测到被摄体的面部表情是微笑时，自动地记录拍摄到的图像（参见专利文献1）。
[引用列表]
[专利文献]
PTL 1:日本专利No.4197019
发明内容
[技术问题]
然而，如本发明人认识到的，利用专利文献1中所描述的技术，对快门的触发仅仅基于面部的表情，除面部以外的被摄体的状态变化，诸如行走的人倒下时，孩子停止来回走动时等等，无法自动地被记录为拍摄到的图像。此外，专利文献1中所描述的技术也无法应用于除人以外的没有面部表情的被摄体。
本发明是在考虑到上文所描述的情况的背景下作出的，具体而言，本发明旨在更可靠地获取最佳拍摄图像。
例如，根据本发明的一个实施例的示例性图像处理设备包括：
被配置成创建位于第一图像内的第一框边界和位于第二图像内的第二框边界的处理器，第一图像和所述第二图像是时间上连续的图像；以及
被配置成检测第一框边界和第二框边界之间的变化的控制器。
图像处理设备可选地包括快门，以及被配置成响应于控制器检测到第一框边界和第二框边界之间的变化而驱动快门并利用图像传感器来拍摄图像的快门触发机构。第一框边界和第二框边界之间的变化可以是下列各项中的至少一项：纵横比的变化、形状的变化以及位置变化。此外，第一框边界和第二框边界之间的变化也可以响应于被摄体在第一框边界和第二框内的移动以及被摄体的特征变化中的一项而发生。
快门触发机构可以被配置成在快门不活动达预定时间段之后驱动快门。
此示例性的图像处理设备可以处理视频内的第一图像和第二图像，其中，视频包括在数字照相机和数字摄像机中的至少一个的取景器中拍摄到的图像；并且，第一框边界和第二框边界在取景器内可见。
另外，处理器被配置成确定位于第一框边界内的第一较小框以及第二框边界内的第二较小框，以及
当第一较小框与第一框边界的区域比率以及第二较小框与第二框边界的区域比率满足预定的准则时，控制器检测出第一框边界和第二框边界之间的变化。
本发明的另一个示例性实施例是包括下列步骤的方法：
利用处理器确定位于第一图像内的第一框边界和位于第二图像内的第二框边界，第一图像和第二图像是时间上连续的图像；以及
检测第一框边界和第二框边界之间的变化。
此方法可选地响应于检测到第一框边界和第二框边界之间的变化而驱动快门并利用图像传感器来拍摄图像。第一框边界和第二框边界之间的变化是下列各项中的至少一项：纵横比的变化、形状的变化以及位置的变化。此外，第一框边界和第二框边界之间的变化是响应于被摄体在第一框边界和第二框内的移动以及被摄体的特征变化中的一项而发生的。
可以在快门不活动达预定的时间段之后驱动快门。
该方法还可包括在数字照相机和数字摄像机中的至少一个的取景器中拍摄图像；以及
在取景器内呈现第一框边界和第二框边界。
可选地，该方法可以确定位于第一框边界内的第一较小框以及第二框边界内的第二较小框，其中，当第一较小框与第一框边界的区域比率以及第二较小框与第二框边界的区域比率满足预定的准则时，检测出第一框边界和第二框边界之间的变化。
本发明的另一个示例性实施例是具有当由处理器执行时执行以下方法的指令的非瞬态计算机可读存储设备，所述方法包括：
利用处理器确定位于第一图像内的第一框边界和位于第二图像内的第二框边界，第一图像和第二图像是时间上连续的图像；以及
检测第一框边界和第二框边界之间的变化。
非瞬态计算机程序存储设备还可响应于检测到第一框边界和第二框边界之间的变化而驱动快门并利用图像传感器来拍摄图像，其中
第一框边界和第二框边界之间的所述变化是下列各项中的至少一项：纵横比的变化、形状的变化以及位置的变化。可以在数字照相机和数字摄像机中的至少一个的取景器中拍摄图像，其中，在取景器内呈现第一框边界和第二框边界。
可以使用的另一个特征是确定位于第一图像内的第一较小框以及第二图像内的第二较小框，其中，检测包括：当第一较小框与第一框边界的区域比率和第二较小框与第二框边界的区域比率满足预定的准则时，检测出第一框边界和第二框边界之间的变化。
附图说明
[图1]图1是示出了根据本发明的一个实施例的图像处理设备的配置的例子的框图。
[图2]图2是示出了被摄体跟踪单元的配置的例子的框图。
[图3]图3是示出了被摄体图生成单元的配置的例子的框图。
[图4]图4是示出了被摄体候选区域矩形形成单元的配置的例子的框图。
[图5]图5是示出了被摄体区域选择单元的配置的例子的框图。
[图6]图6是示出了被摄体跟踪处理的流程图。
[图7]图7是示出了被摄体图生成处理的流程图。
[图8]图8是示出了被摄体图生成处理的具体例子的图形。
[图9]图9是示出了被摄体候选区域矩形形成处理的流程图。
[图10]图10是示出了被摄体候选区域矩形形成处理的具体例子的示意图。
[图11]图11是示出了被摄体区域选择处理的流程图。
[图12]图12是示出条带显著性图的被摄体区域特征量之和的示意图。
[图13]图13是示出加权因子的示意图。
[图14]图14是示出了控制单元的功能配置的例子的框图。
[图15]图15是示出了自动快门处理的流程图。
[图16]图16是示出被摄体区域的纵横比的变化的示意图。
[图17]图17是示出了控制单元的功能配置的另一个例子的框图。
[图18]图18是示出了自动快门处理的流程图。
[图19]图19是示出了控制单元的功能配置的再一个例子的框图。
[图20]图20是示出了自动快门处理的流程图。
[图21]图21是示出预定区域内的被摄体区域的纵横比的变化的示意图。
[图22]图22是示出了图像处理设备的配置的另一个例子的框图。
[图23]图23是示出了图22所示出的控制单元的功能配置的例子的框图。
[图24]图24是示出了自动快门处理的流程图。
[图25]图25是示出被摄体区域和面部区域的比率变化的示意图。
[图26]图26是示出了控制单元的功能配置的另一个例子的框图。
[图27]图27是示出了自动快门处理的流程图。
[图28]图28是示出被摄体区域和面部区域的比率变化的示意图。
[图29]图29是示出了图像处理设备的配置的再一个例子的框图。
[图30]图30是示出了图29所示出的控制单元的功能配置的例子的框图。
[图31]图31是示出了帧标识处理的流程图。
[图32]图32是示出了计算机的硬件配置的例子的框图。
具体实施方式
下面将参考附图来说明本发明的实施例。
（图像处理设备的配置的例子）
图1是示出了根据本发明一个实施例的图像处理设备11的配置的例子的示意图。
在诸如拍摄移动体的图像的数字摄像机和数字照相机之类的成像设备中提供了图像处理设备11。
图像处理设备11包括光学系统31、成像器32、数字信号处理单元33、显示单元34、控制单元35、透镜驱动单元36、接口控制单元37以及用户接口38。
光学系统31被形成为包括成像透镜（在附图中未示出）在内的光学系统。进入光学系统31的光由成像器32进行光电转换，成像器32是由诸如电荷耦合器件（CCD）之类的成像元件所形成的。成像器32光电转换产生的电信号（模拟信号）由模拟-数字（A/D）转换单元（在附图中未示出）转换为数字信号的图像数据，该图像数据被提供给数字信号处理单元33。
数字信号处理单元33对从成像器32提供的图像数据执行预定信号处理。数字信号处理单元33包括预处理单元51、去马赛克处理单元52、YC生成单元53、分辨率转换单元54、被摄体跟踪单元55以及编解码器56。
作为预处理，预处理单元51对来自成像器32的图像数据执行将R、G和B的黑电平钳位到预定电平的钳位处理，R、G和B的颜色通道之间的校正处理等等。去马赛克处理单元52对经过预处理单元51预处理的图像数据执行内插像素的颜色分量以便图像数据的每一个像素都具有全部颜色分量R、G和B的去马赛克处理。
YC生成单元53从已经接受去马赛克处理单元52的去马赛克处理的R、G、B图像数据生成（分离出）亮度（Y）信号和颜色（C）信号。分辨率转换单元54对由YC生成单元53处理过的图像数据执行分辨率转换处理。
被摄体跟踪单元55执行被摄体跟踪处理。被摄体跟踪处理基于由YC生成单元53所生成的亮度信号和颜色信号所形成的图像数据，检测对应于图像数据的输入图像中的被摄体，并跟踪被摄体。
这里，对被摄体执行检测的假设前提是：被摄体是当用户看一眼输入图像时假定吸引了用户注意力的输入图像中的对象，即，假定被用户看着的对象。因此，被摄体不仅限于人。
被摄体跟踪单元55向控制单元35提供作为被摄体跟踪处理的结果而获取的关于被摄体框的数据。被摄体框表示输入图像中的一个区域，该区域包括被摄体。请注意，稍后将参考图2来更详细地描述被摄体跟踪单元55。
编解码器56编码由YC生成单元53或分辨率转换单元54生成的图像数据，并在必要时，编码记录在DRAM 40中的图像数据。此外，编解码器56将经过编码的图像数据记录到记录介质中（附图中未示出）或解码经过编码的图像数据。由编解码器56解码的图像数据或由分辨率转换单元54获取的图像数据被输送至显示单元34并显示在其上。显示单元34由例如液晶显示器构成。显示单元34根据控制单元35的控制，显示对应于从数字信号处理单元33提供的图像数据的输入图像。
控制单元35根据从接口控制单元37提供的控制信号来控制图像处理设备11的每一单元。
例如，控制单元35向数字信号处理单元33提供用于进行各种类型的信号处理的参数等等。此外，控制单元35还从数字信号处理单元33获取作为各种类型的信号处理的结果而获得的数据，并将数据输送至接口控制单元37。
此外，控制单元35还基于从被摄体跟踪单元55提供的关于被摄体框的数据，使被摄体框被显示在显示于显示单元34的输入图像上。被摄体框表示输入图像中的一个区域，该区域包括被摄体。
此外，控制单元35还驱动光学系统31中所包括的成像透镜，并将控制信号提供给透镜驱动单元36以调整光圈等等。此外，控制单元35还控制成像器32对输入图像的拍摄。
用户接口38包括诸如按钮、手柄、开关、麦克风等等之类的输入装置，当用户向图像处理设备11输入命令时操作这些输入装置。此外，用户接口38包括诸如灯、扬声器等等之类的向用户呈现信息的输出装置。
例如，当操作作为用户接口38的按钮时，用户接口38通过接口控制单元37将根据操作产生的控制信号提供给控制单元35。
（被摄体跟踪单元的配置的例子）
接下来，将参考图2来说明图1所示出的被摄体跟踪单元55的配置的例子。
图2所示出的被摄体跟踪单元55包括被摄体图生成单元71、被摄体候选区域矩形形成单元72、被摄体区域选择单元73以及加权因子计算单元74。
对于输入图像的诸如亮度和颜色之类的每一个特征，被摄体图生成单元71生成表示输入图像的预定帧的预定区域中的特征量的显著性图，并将所生成的显著性图提供给加权因子计算单元74。此外，被摄体图生成单元还基于所生成的显著性图和从加权因子计算单元74提供的每一个特征量的加权因子，生成表示一个区域包括输入图像中的被摄体的可能性的被摄体图。
更具体而言，被摄体图生成单元71执行为每一个特征所生成的显著性图的每一区域的信息（特征量）的加权加法，并由此生成被摄体图。对于同一个位置中的每一个区域，执行加权加法。被摄体图生成单元71将所生成的被摄体图输送至被摄体候选区域矩形形成单元72。
请注意，在每一显著性图中，带有相对大信息量的区域，即，输入图像中与特征量大的区域相对应的区域是包括被摄体的可能性较高的区域。相应地，基于每一显著性图，可以在输入图像中识别包括被摄体的区域。
在从被摄体图生成单元71所提供的被摄体图中，被摄体候选区域矩形形成单元72获取构成被摄体候选的区域，即，包括带有被摄体图中的大量信息的区域在内的矩形区域，并将表示矩形区域的坐标的坐标信息提供给被摄体区域选择单元73。此外，被摄体候选区域矩形形成单元72计算与被摄体图上的坐标信息所表示的矩形区域有关的信息（以下简称为"区域信息"），将区域信息与坐标信息相关联，并将它提供给被摄体区域选择单元73。
基于从被摄体候选区域矩形形成单元72提供的区域信息，被摄体区域选择单元73从矩形区域选择被摄体区域，该被摄体区域是包括作为跟踪目标的所关注被摄体的矩形区域。然后，被摄体区域选择单元73将被摄体区域的坐标信息提供给控制单元35（参见图1）和加权因子计算单元74。
加权因子计算单元74计算用来加权在与从被摄体图生成单元71提供的预定帧的每一特征量图上的被摄体区域相对应的区域中的特征量之中、对应于相对大的特征量的下一帧的显著性图的加权因子。然后，加权因子计算单元74将计算出的加权因子提供给被摄体图生成单元71。
利用上文所描述的配置，被摄体跟踪单元55可以为输入图像的每一帧获取表示被摄体区域的被摄体框。
（被摄体图生成单元的配置的例子）
接下来，将参考图3来说明图2所示出的被摄体图生成单元71的配置的例子。
如图3所示，被摄体图生成单元71包括显著性图生成单元111、条带显著性图生成单元112、条带显著性图合成单元113和合成显著性图合成单元114。
利用输入图像的预定帧，显著性图生成单元111为每一个特征量生成表示与诸如亮度和颜色之类的特征有关的信息（特征量）的显著性图，并将所生成的显著性图提供给条带显著性图生成单元112。
条带显著性图生成单元112按预定次数从显著性图生成单元111所提供的每一显著性图中的特征量中提取预定条带分量的特征量，并生成表示每一提取的特征量的条带显著性图。然后，条带显著性图生成单元112将所生成的条带显著性图提供给加权因子计算单元74和条带显著性图合成单元113。
条带显著性图合成单元113基于从加权因子计算单元74提供的加权因子，针对每一个特征量，合成从条带显著性图生成单元112提供的条带显著性图，由此生成合成显著性图。然后，条带显著性图合成单元113将合成显著性图提供给加权因子计算单元74和合成显著性图合成单元114。
合成显著性图合成单元114基于从加权因子计算单元74提供的加权因子，合成从条带显著性图合成单元113提供的合成显著性图，并由此生成被摄体图。然后，合成显著性图合成单元114将被摄体图提供给被摄体候选区域矩形形成单元72（参见图2）。
下面，上文所描述的条带显著性图和合成显著性图也被简称为显著性图。
（被摄体候选区域矩形形成单元的配置的例子）
接下来，将参考图4来说明图2所示出的被摄体候选区域矩形形成单元72的配置的例子。
如图4所示，被摄体候选区域矩形形成单元72包括二进制化处理单元131、标记处理单元132、矩形区域坐标计算单元133和区域信息计算单元134。
二进制化处理单元131基于预定阈值，将从被摄体图生成单元71提供的被摄体图中对应于输入图像的每一个像素的信息二进制化为值0或1，并将该值提供给标记处理单元132。下面，被摄体图中对应于输入图像的每一个像素的信息也被简称为像素。
在从二进制化处理单元131提供的二进制化的被摄体图中，标记处理单元132标记其中值是1的像素彼此相邻的区域（在下文中，该区域被称为连接区），并将带有标记的连接区的被摄体图提供给矩形区域坐标计算单元133。
在从标记处理单元132提供的具有标记的连接区的被摄体图中，矩形区域坐标计算单元133计算包括（包围）连接区的矩形区域的坐标。然后，矩形区域坐标计算单元133将表示坐标的坐标信息与被摄体图一起提供给区域信息计算单元134。
区域信息计算单元134计算区域信息，该区域信息是与从矩形区域坐标计算单元133提供的被摄体图的坐标信息所表示的矩形区域有关的信息。然后，区域信息计算单元134将区域信息与坐标信息相关联，并将它提供给被摄体区域选择单元73（参见图1）。
（被摄体区域选择单元的配置的例子）
接下来，将参考图5来说明被摄体区域选择单元73的配置的例子。
如图5所示，被摄体区域选择单元73包括区域信息比较单元151和被摄体区域确定单元152。
区域信息比较单元151将从被摄体候选区域矩形形成单元72提供的每一矩形区域的区域信息与存储在区域信息存储单元153中的一帧之前（例如，在时间上连续的图像）的被摄体区域的区域信息进行比较，并将比较结果提供给被摄体区域确定单元152。
基于从区域信息比较单元151提供的比较结果，被摄体区域确定单元152将与和一帧之前的被摄体区域的区域信息最接近的区域信息相关联的坐标信息所表示的矩形区域确定为被摄体区域。然后，被摄体区域确定单元152将所确定的被摄体区域的坐标信息提供给控制单元35（参见图1）和加权因子计算单元74（参见图2）。同时，被摄体区域确定单元152将被摄体区域的区域信息提供给区域信息存储单元153。
区域信息存储单元153存储从被摄体区域确定单元152提供的被摄体区域的区域信息。在一帧之后，存储在区域信息存储单元153中的被摄体区域的区域信息由区域信息比较单元151读出。
（被摄体跟踪处理）
在下文中，将说明图像处理设备11的被摄体跟踪处理。
图6是示出了由图像处理设备11所执行的被摄体跟踪处理的流程图。例如，当由用户操作作为用户接38的按钮，图像处理设备11的操作模式被切换到执行被摄体跟踪处理的被摄体跟踪模式，并且由用户在显示在显示单元34上的输入图像中选择作为跟踪目标的被摄体的预定区域时，被摄体跟踪处理开始。
在步骤S11中，被摄体跟踪单元55的被摄体图生成单元71执行被摄体图生成处理，并生成被摄体图。被摄体图生成单元71将被摄体图提供给被摄体候选区域矩形形成单元72。
（被摄体图生成处理）
这里，将参考图7和图8，详细说明被摄体图生成处理。图7是示出了被摄体图生成处理的流程图，图8是示出了被摄体图生成处理的具体例子的示意图。
在图7所示出的流程图的步骤S31中，被摄体图生成单元71的显著性图生成单元111从输入图像的预定帧、为诸如亮度和颜色之类的特征中的每一项生成显著性图（对于每一个特征量）。然后，显著性图生成单元111将所生成的显著性图提供给条带显著性图生成单元112。
更具体而言，如图8所示，从输入图像200生成M种类型的显著性图。M种类型的显著性图包括表示与亮度有关的信息的亮度信息图F1，表示与颜色有关的信息的颜色信息图F2到FK，以及表示与边缘有关的信息的边缘信息图F(K+1)到FM。
在亮度信息图F1中，从输入图像的每一个像素中获取的亮度分量（亮度信号）Y被当作对应于输入图像的每一个像素的信息。在颜色信息图F2到FK中，从输入图像的每一个像素中获取的颜色分量（颜色信号）R、G和B被当作对应于输入图像的每一个像素的信息。此外，在边缘信息图F(K+1)到FM中，例如，在输入图像的每一个像素中的0度、45度、90度和135度的方向的边缘强度被当作对应于输入图像的每一个像素的的信息。
请注意，对于上文所描述的显著性图，像素的各个分量R、G和B的值的平均值可以用作亮度信息图F1的信息（特征量），色差分量Cr和Cb，或Lab颜色空间中的a*坐标分量和b*坐标分量可以用作颜色信息图F2到FK的信息。此外，除0度、45度、90度和135度的方向以外的方向的边缘强度可以用作边缘信息图F(K+1)到FM的信息。
在步骤S32中，条带显著性图生成单元112从每一显著性图中的特征量中提取预定条带分量的特征量，并生成表示每一提取的特征量的条带显著性图。然后，条带显著性图生成单元112将所生成的条带显著性图提供给加权因子计算单元74和条带显著性图合成单元113。
更具体而言，如图8所示，从亮度图F1中的亮度信息中提取条带1到条带N的亮度信息，生成表示每一个条带的亮度信息的条带亮度信息图R11到R1N。此外，从颜色信息图F2到FK中的颜色信息中提取条带1到条带N的颜色信息，并生成表示每一个条带的颜色信息的条带颜色信息图R21到R2N，…，RK1到RKN。此外，还从边缘信息图F(K+1)到FM中的边缘信息中提取条带1到条带N的边缘信息，并生成表示每一个条带的边缘信息的条带边缘信息图R(K+1)1到R(K+1)N，...,RM1到RMN。如此，条带显著性图生成单元112生成（M x N）种类型的条带显著性图。
这里，将说明由条带显著性图生成单元112所执行的处理的例子。
例如，条带显著性图生成单元112使用每一显著性图来生成具有彼此不同的分辨率的多个显著性图，并将显著性图表示为对应的特征量的金字塔图。例如，生成八层分辨率的级别L1到级别L8的金字塔图。假设级别L1的金字塔图具有最高分辨率，按从级别L1到级别L8的顺序，金字塔图的分辨率变低。
在此情况下，由显著性图生成单元111生成的显著性图被表示成级别L1的金字塔图。此外，在级别Li（其中，i=1或i=7或1<i<7）的金字塔图中彼此相邻的四个像素的像素值的平均值被当作与相邻的四个像素相对应的级别L（i+1）的金字塔图的一个像素的像素值。因而，级别L(i+1)的金字塔图是级别Li的金字塔图在高度和宽度上的半像（如果不可除尽，向下舍入）。
此外，条带显著性图生成单元112从多个金字塔图中选择不同层中的两个金字塔图，并获得所选金字塔图之间的差，从而生成每一特征量的N数量的差图像。请注意，由于各层中的金字塔图的大小不同（像素的数量不同），因此，在生成差图像时，根据较大的图像的大小，较小的金字塔图被上转换。
例如，在各层中的特征量的金字塔图中，条带显著性图生成单元112获取级别L6和级别L3，级别L7和级别L3，级别L7和级别L4，级别L8和级别L4，以及级别L8和级别L5的各层组合中的金字塔图之间的差。如此，获取总共五个特征量的差图像。
更具体而言，例如，在生成级别L6和级别L3的组合的差图像的情况下，根据级别L3的金字塔图的大小，级别L6的金字塔图被上转换。即，上转换之前的级别L6的金字塔图中的一个像素的像素值被当作上转换之后的级别L6的金字塔图中的彼此相邻的一些像素的像素值。然后，获取级别L6的金字塔图中的像素的像素值和与级别L6的金字塔图中的像素位于相同位置的级别L3的金字塔图中的像素的像素值之差，并将该差作为差图像中的像素的像素值。
通过如此生成差图像，可以从显著性图中提取预定条带分量的特征量，好像将使用带通滤波器的滤波处理应用于显著性图。
请注意，在上面的描述中，虽然当获取差图像时通过金字塔图的各层的组合来确定从显著性图中提取的条带的宽度，但是可以根据需要来确定组合。
此外，预定条带分量的特征量的提取不仅限于上文所描述的使用差图像的技术，也可以使用另一种技术。
返回到图7中的流程图，在步骤S33中，条带显著性图合成单元113基于从加权因子计算单元74所提供的一组加权因子WR，为每一个特征量合成从条带显著性图生成单元112提供的条带显著性图。条带显著性图合成单元113将合成的条带显著性图（合成显著性图）提供给加权因子计算单元74和合成显著性图合成单元114。
更具体而言，如图8所示，使用加权因子w11到w1N来执行条带亮度信息图R11到R1N的加权加法，并获得合成显著性图C1，这些加权因子w11到w1N是用于从加权因子计算单元74提供的条带亮度信息图中的每一个的权重。此外，还使用加权因子w21到w2N，…，wK1到wKN来执行条带颜色信息图R21到R2N，…，RK1到RKN的加权加法，并获得合成显著性图C2到CK，上述加权因子w21到w2N，…，wK1到wKN是用于从加权因子计算单元74提供的条带颜色信息图中的每一个的权重。此外，还使用加权因子w(K+1)1到w(K+1)N,…,wM1到wMN来执行条带边缘信息图R(K+1)1到R(K+1)N，...,RM1到RMN的加权加法，并获得合成显著性图CK+1到CM，这些加权因子w(K+1)1到w(K+1)N,…,wM1到wMN是用于从加权因子计算单元74提供的条带边缘信息图中的每一个的权重。如此，条带显著性图合成单元113生成M种类型的合成显著性图。请注意，虽然稍后将更详细地描述加权因子组WR，但是，加权因子组WR的各个加权因子具有从0到1的值。然而，当第一次执行被摄体图生成处理时，加权因子组WR的各个加权因子都被设置为1，并没有权重地将条带显著性图相加。
在步骤S34中，合成显著性图合成单元114基于从加权因子计算单元74提供的一组加权因子WC，合成从条带显著性图合成单元113提供的合成显著性图，并由此生成被摄体图，并将被摄体图提供给被摄体候选区域矩形形成单元72。
更具体而言，如图8所示，使用加权因子w1到wM线性地耦合合成显著性图C1到CM，这些加权因子w1到wM是用于从加权因子计算单元74提供的条带亮度信息图中的每一个的权重。此外，将线性耦合所获得的图的像素值乘以被摄体权重（这是预先获取的权重），并规范化，从而获得被摄体图201。请注意，虽然稍后将更详细地描述加权因子组WC，但是，加权因子组WC的各个加权因子具有从0到1的值。然而，请注意，当第一次执行被摄体图生成处理时，加权因子组WC的各个加权因子都被设置为1，并没有权重地线性地耦合合成显著性图。
换言之，如果要获得的被摄体图上的关注位置（像素）被当作目标位置，则与每一个合成显著性图上的目标位置相同位置（像素）的像素值乘以每一个合成显著性图的加权因子，并将乘以加权因子的像素值的总和作为目标位置的像素值。此外，还将如此获得的被摄体图上的每一位置的像素值乘以预先为被摄体图获得的被摄体权重，并规范化，从而获得最终的被摄体图。例如，执行规范化，使得被摄体图的每一个像素的像素值是从0到255的值。
以上文所描述的方式，被摄体图生成单元71由显著性图生成条带显著性图和合成显著性图，由此生成被摄体图。
返回到图6中的流程图，在步骤S12中，被摄体候选区域矩形形成单元72执行被摄体候选区域矩形形成处理，并在从被摄体图生成单元71提供的被摄体图中获取包括要成为被摄体候选的区域的矩形区。
（被摄体候选区域矩形形成处理）
现在将参考图9和图10详细说明被摄体候选区域矩形形成处理。图9是示出了被摄体候选区域矩形形成处理的流程图，而图10是示出了被摄体候选区域矩形形成处理的具体例子的示意图。
在图9所示出的流程图的步骤S51中，被摄体候选区域矩形形成单元72的二进制化处理单元131基于预定阈值将从被摄体图生成单元71提供的被摄体图中的信息二进制化为值0和1中的一个，并将值提供给标记处理单元132。
更具体而言，对于图10的顶部所示出的被摄体图201中的每一个像素的像素值（是从0到255的值），二进制化处理单元131将小于阈值127的像素值设置为0，并将等于或大于阈值127的像素值设置为1。如此，获取二进制化图202，图10从上数第二个图示出了其例子。在图10所示出的二进制化图202中，以白色示出的部分（像素）具有像素值1，而以黑色示出的部分（像素）具有像素值0。请注意，虽然这里假设阈值是127，但是，它可以是另一个值。
在步骤S52中，在从二进制化处理单元131提供的二进制化图202（二进制化的被摄体图）中，标记处理单元132对像素值为1的像素彼此相邻的连接区进行标记，这例如是通过形态学(morphological)操作所获得的。然后，标记处理单元132将二进制化图202提供给矩形区域坐标计算单元133。
更具体而言，例如，如图10从上数第三个图所示，在二进制化图202中，连接区211用标记“1”来标记，连接区212用标记“2”来标记。
在步骤S53中，在从标记处理单元132提供的二进制化图202中，矩形区域坐标计算单元133计算分别包括（包围）连接区211和212的多个矩形区域的坐标。然后，矩形区域坐标计算单元133将表示矩形区域的坐标的坐标信息与二进制化图202一起提供给区域信息计算单元134。
更具体而言，如图10从上数第四个图所示，在二进制化图202中，检测到外包围用标记“1”标记的连接区211的矩形框（外接框）221，并获取例如矩形框221的图形中的左上方顶点和右下方顶点的坐标。此外，还检测到外包围用标记“2”标记的连接区212的矩形框222，并获取例如矩形框222的图形中的左上方顶点和右下方顶点的坐标。
在步骤S54中，区域信息计算单元134基于从矩形区域坐标计算单元133提供的坐标信息和从被摄体图生成单元71提供的被摄体图，来计算有关被摄体图上由矩形框包围的矩形区域的区域信息。
更具体而言，基于表示二进制化图202中的矩形框221和222的、从矩形区域坐标计算单元133提供的坐标信息，区域信息计算单元134计算矩形框221和222中的每一个的大小以及矩形框221和222中的每一个的中心位置的坐标，作为有关每一矩形区域的区域信息。区域信息计算单元134将计算出的区域信息与从矩形区域坐标计算单元133提供的坐标信息相关联，并将相关联的区域信息提供给被摄体区域选择单元73。
以上文所描述的方式，被摄体候选区域矩形形成单元72在被摄体图中获取包围要成为关注的被摄体的候选的每一区域的矩形框，以及表示被摄体图上由矩形框包围的区域的特征的区域信息。矩形框通过位于它所在的图像的边界内的边沿来限定。
返回到图6中的流程图，在步骤S13中，被摄体区域选择单元73执行被摄体区域选择处理，并基于从被摄体区域选择单元73提供的区域信息，从多个矩形区域中选择包括关注的被摄体的被摄体区域（该被摄体区域是一个矩形区域）。
（被摄体区域选择处理）
这里，参考图11中的流程图，将更详细地说明被摄体区域选择处理。
在步骤S71中，区域信息比较单元151将从被摄体候选区域矩形形成单元72提供的每一矩形区域的区域信息与存储在区域信息存储单元153中的一帧之前的被摄体区域的区域信息进行比较，并将比较结果提供给被摄体区域确定单元152。
更具体而言，例如，区域信息比较单元151将从被摄体候选区域矩形形成单元72提供的包围被摄体图上的每一矩形区域的矩形框的大小与存储在区域信息存储单元153中的包围一帧之前的被摄体区域的矩形框（被摄体框）的大小进行比较。尽管框边界的区域是可以检测到的一个特征，但也可以在连续的帧之间检测到框的其他相对属性，如位置、形状和纵横比。此外，例如，区域信息比较单元151将从被摄体候选区域矩形形成单元72提供的包围被摄体图上的每一矩形区域的矩形框的中心位置的坐标与存储在区域信息存储单元153中的包围一帧之前的被摄体区域的矩形框（被摄体框）的中心位置的坐标进行比较。
在步骤S72中，基于来自区域信息比较单元151的比较结果，被摄体区域确定单元152将具有包围一帧之前的被摄体区域的矩形框（被摄体框）的大小的矩形区域、具有最靠近中心位置的坐标的矩形框的大小的矩形区域、以及包括中心位置的矩形区域这几项中的一项确定为被摄体区域。被摄体区域确定单元152将确定的被摄体区域的坐标信息提供给控制单元35和加权因子计算单元74。同时，被摄体区域确定单元152将确定的被摄体区域的区域信息（被摄体框的大小或中心位置）提供给区域信息存储单元153。
请注意，当第一次执行被摄体区域选择处理时，一帧之前的被摄体区域的区域信息没有存储在区域信息存储单元153中。因此，在被摄体跟踪处理的开始时（在下文中，预定的区域被称为最初选定的区域），包括由用户选定的被摄体的预定区域的矩形区域被设置为被摄体区域。
以上文所描述的方式，被摄体区域选择单元73从作为被摄体候选的矩形区域中选择所关注的被摄体的被摄体区域。
（加权因子的计算）
返回到图6中的流程图，在步骤S14中，加权因子计算单元74基于从被摄体图生成单元71提供的条带显著性图和合成显著性图，并基于从被摄体区域选择单元73提供的表示被摄体区域的坐标信息，来计算图8所示出的加权因子组WR和加权因子组WC。
更具体而言，如图12所示，如果与表示预定条带显著性图Rmn上的被摄体区域的被摄体框231相对应的矩形区域中的特征量（信息量）的总和(1=m或1<m<M或m=M,1=n或1<n<N或n=N)被当作被摄体区域特征量的总和rmn，则计算图13的上面部分所示出的加权因子组WR。
图13所示出的加权因子组WR中的各个因子对应于图8所示出的各加权因子w11到wMN。请注意，在图13中，Max(a，...,z)表示值a到z之中的最大值。
例如，图13所示出的加权因子组WR中的顶部第一行中的各个因子表示与对应于图8所示出的“条带1”的每一个特征量的条带显著性图R11到RM1有关的加权因子w11到wM1。如图13所示，加权因子w11到wM1是取从0到1的值的因子，以便它们的分母是各条带显著性图R11到RM1的被摄体区域特征量的总和r11到rM1之中的最大值，而它们的分子是各条带显著性图R11到RM1的被摄体区域特征量的总和r11到rM1。
类似地，图13所示出的加权因子组WR中从上数第N行中的各个因子表示与对应于图8所示出的“条带N”的每一个特征量的条带显著性图R1N到RMN有关的加权因子w1N到wMN。如图13所示，加权因子w1N到wMN是取从0到1的值的因子，以便它们的分母是各条带显著性图R1N到RMN的被摄体区域特征量的总和r1N到rMN之中的最大值，而它们的分子是各条带显著性图R1N到RMN的被摄体区域特征量的总和r1N到rMN。
换言之，根据加权因子w1n到wMn，在对应于“条带n”的每一个特征量的条带显著性图R1n到RMn之中，执行加权，以便对于其中被摄体区域特征量的总和变为最大的特征量的条带显著性图，最大值变为1，对于其他条带显著性图，执行对应于被摄体区域特征量的总和的加权。
此外，如果与表示预定的条带显著性图Cm(1=m或1<m<M或m=M)上的被摄体区域的矩形框221相对应的矩形区域中的特征量（信息量）的总和被当作被摄体区域特征量的总和cm，则计算图13的下面部分所示出的加权因子组WC。
图13所示出的加权因子组WC中的各个因子对应于图8所示出的各个加权因子w1到wM。
更具体而言，图13所示出的加权因子组WC中的各个因子表示对于图8所示出的每一个特征量的合成显著性图C1到CM的加权因子w1到wM。如图13所示，加权因子w1到wM是取从0到1的值的因子，以便它们的分母是各个合成显著性图C1到CM的被摄体区域特征量的总和c1到cM之中的最大值，而它们的分子是各个合成显著性图C1到CM的被摄体区域特征量的总和c1到cM。
换言之，根据加权因子w1到wM，在每一个特征量的合成显著性图C1到CM之中，执行加权，以便对于其中被摄体区域特征量的总和变为最大的特征量的合成显著性图，最大值变为1，对于其他合成显著性图，执行对应于被摄体区域特征量的总和的加权。
加权因子计算单元74将计算出的加权因子组WR提供给被摄体图生成单元71的条带显著性图合成单元113。同时，加权因子计算单元74将计算出的加权因子组WC提供给被摄体图生成单元71的合成显著性图合成单元114。在图6所示出的流程图中，在执行步骤S14之后，对于下一帧执行被摄体跟踪处理，对于每一帧，反复地执行此处理。
利用上文所描述的处理，在涉及输入图像的预定帧的每一个特征量的显著性图中，根据与在该帧中选定的被摄体区域相对应的区域的特征量的相对大小，确定与下一帧的每一个特征量的显著性图有关的加权因子。因此，即使在特征量在各帧之间变化的情况下，也生成被摄体图，以便将最大的权重应用于多个特征量之中最近似表示被摄体的特征量的显著性图。因此，即使在被摄体的状态变化的环境中，也可以更稳定地跟踪被摄体。
此外，由于被摄体区域被确定为包括整个被摄体，因此，即使在被摄体区域的一部分的状态变化的环境中，也可以更稳定地跟踪被摄体。
在已知的被摄体跟踪技术中，特别是在被摄体区域中的各坐标中的一个坐标（或包括该坐标的区域的一部分）被识别的情况下，无法跟踪整个被摄体，也无法正确地设置用于自动聚焦（AF）、自动曝光（AE）和自动颜色控制（ACC）的检测帧。在识别出在被摄体区域内并具有相同特征量的相同特征量区域的情况下，与上文所描述的情况相比，可以提高设置检测帧的准确性。然而，在很多情况下，相同特征量区域只是被摄体区域的一小部分，因此，无法获得充分的检测准确性。
另一方面，根据上文所描述的被摄体跟踪处理，可以识别包括整个被摄体的被摄体区域。因此，可以提高检测准确性，也可以将跟踪结果应用到各种应用。
此外，例如通过学习将人的整个图像注册在字典中，藉此来检测和跟踪人的被摄体跟踪技术也是已知的。然而，不能跟踪除在字典中注册的人以外的被摄体。此外，在字典中注册的信息（图像）的量变大，这会导致设备的尺寸很大。
另一方面，利用上文所描述的被摄体跟踪处理，可以检测和跟踪任何给定的被摄体，此外，也没有必要在字典中等中注册大量的信息。因此，可以实现紧凑的设备尺寸。
在上面的描述中，亮度分量、颜色分量和边缘方向被用作特征量。然而，本发明不仅限于这些例子，例如，可以添加运动信息。此外，例如，优选地，使用诸如亮度分量和颜色分量之类的具有互补关系的特征量，并可以适当地选择这样的特征量。
另外，在上面的描述中，对应于M×（N+1）个类型的显著性图来计算M×（N+1）个类型的加权因子。然而，通过适当地仅计算对应于一些显著性图的加权因子，可以降低图像处理设备11中的计算量。例如，可以仅计算与合成显著性图C1到CM的M个类型的显著性图相对应的加权因子w1到wM。
此外，在上面的描述中，区域信息计算单元134计算矩形框的大小以及矩形框的中心位置的坐标，作为矩形区域的区域信息。然而，区域信息计算单元134可以计算矩形区域内的像素值的积分值或峰值（最大值）。在此情况下，在被摄体区域选择处理中（参见图11），在一个区域内像素值的积分值或峰值与一帧之前的被摄体区域内的像素值的积分值或峰值最接近的矩形区域被当作被摄体区域。
如果图像处理设备11是拍摄静止图像的数字照相机，则用户在确认显示在显示单元34上的视频（呈现于取景器中的取景器图像）的同时，使用由快门触发机构触发的快门，通过执行快门操作在所希望的时刻拍摄静止图像。
作为应用上文所描述的被摄体跟踪处理的跟踪结果的应用的示例，可以导致按如上文所描述的方式构成的图像处理设备11执行自动快门处理，代替由用户执行快门操作。自动快门处理可以响应于被跟踪的被摄体的状态变化来拍摄静止图像。
（控制单元的功能配置的例子）
这里，将参考图14来说明执行自动快门处理的控制单元35的功能配置。自动快门处理响应于通过上文所描述的被摄体跟踪处理所跟踪的被摄体的状态的变化来拍摄静止图像。
图14所示出的控制单元35设有坐标信息获取单元331、区域形状确定单元332和成像控制单元333。
坐标信息获取单元331从被摄体跟踪单元55获取被摄体区域的为每一输入图像帧所提供的坐标信息（参见图1），并将该坐标信息提供给区域形状确定单元332。
区域形状确定单元332基于从坐标信息获取单元331提供的被摄体区域的坐标信息，确定各输入图像帧之间的被摄体区域的形状的变化。更具体而言，区域形状确定单元332确定被摄体区域的纵横比在各帧之间的变化，该被摄体区域是由被摄体区域的坐标信息表示的矩形区域，并将反映确定结果的信息提供给成像控制单元333。
成像控制单元333基于从区域形状确定单元332提供的信息来控制成像器32、数字信号处理单元33和透镜驱动单元36，并由此控制对成像透镜的驱动、光圈调整、对图像数据的信号处理、在记录介质（附图中未示出）上的记录等等。概括地说，成像控制单元333控制由图像处理设备11所执行的图像拍摄。
（自动快门处理）
接下来，将参考图15所示出的流程图来说明由图像处理设备11所执行的自动快门处理。
在步骤S311中，被摄体跟踪单元55执行参考图6所示出的流程图所说明的被摄体跟踪处理，并将被摄体区域的坐标信息提供给控制单元35。
在步骤S312中，坐标信息获取单元331从被摄体跟踪单元55获取被摄体区域的坐标信息，并将该坐标信息提供给区域形状确定单元332。
在步骤S313中，区域形状确定单元332基于从坐标信息获取单元331提供的被摄体区域的坐标信息，监测每一帧的输入图像中的被摄体区域的纵横比，并确定被摄体区域的纵横比在各帧之间是否相对于预定阈值而显著地变化。
当在步骤S313中确定被摄体区域的纵横比没有相对于预定阈值显著变化时，则处理返回到步骤S311，并重复从步骤S311到步骤S313的处理。
另一方面，当在步骤S313中确定被摄体区域的纵横比相对于预定阈值显著变化时，区域形状确定单元332向成像控制单元333提供表示被摄体区域的纵横比相对于预定阈值显著地变化的信息。
例如，如图16的左侧部分所示，假设作为被摄体的正在跑的孩子位于第(n-1)帧的输入图像中。这里，如果表示第(n-1)帧的输入图像中的被摄体区域的被摄体框H(n-1)的高度用Hh(n-1)来表示，被摄体框H(n-1)的宽度用Hw(n-1)来表示，则被摄体区域的纵横比P(n-1)被表示为Hh(n-1)/Hw(n-1)。
然后，如图16的右部分所示，如果作为被摄体的孩子刚刚在第n帧的输入图像中倒下，则第n帧的输入图像中的被摄体区域的纵横比P(n)=Hh(n)/Hw(n)与第（n-1）帧的输入图像中的被摄体区域的纵横比P(n-1)相比已经变化。
此时，如果区域形状确定单元332确定第（n-1）帧的输入图像中的被摄体区域的纵横比P(n-1)和第n帧的输入图像中的被摄体区域的纵横比P(n)之间的差|P(n)-P(n-1)|大于预定阈值，则向成像控制单元333提供被摄体区域的纵横比相对于预定阈值显著变化的信息。
返回到图15所示出的流程图，如果在步骤S314中从区域形状确定单元332提供了表示被摄体区域的纵横比相对于预定阈值显著变化的信息，则成像控制单元333将表示图像拍摄命令的信息提供给成像器32、数字信号处理单元33和透镜驱动单元36。响应于此，数字信号处理单元33对与图16所示出的第n帧的输入图像相对应的图像数据执行预定信号处理。所产生的图像数据被记录在记录介质上（在附图中未示出）。
利用上文所描述的处理，当包括被摄体的被摄体区域的纵横比显著地变化时，拍摄静止图像。如此，可以执行图像拍摄，而不会丢失诸如参考图16所说明的小孩刚刚倒下的时刻之类的重要时刻。此外，在被摄体跟踪处理中，如果选择鸟作为被摄体，则例如由于包围鸟的被摄体框（被摄体区域）的纵横比的变化，可以在鸟拍打其翅膀的时刻拍摄图像。如此，即使在被摄体不是人并且没有面部表情的情况下，也可以更可靠地获取最佳拍摄图像。
请注意，虽然在上面的描述中，被摄体区域的纵横比通过（被摄体区域的高度）/（被摄体区域的宽度）来表达，但是它也可以表达为（被摄体区域的宽度）/（被摄体区域的高度）。
此外，虽然在上面的描述中，确定了各帧之间的被摄体区域的纵横比的变化，但也可以只确定各帧之间的被摄体区域的高度或宽度的变化。
虽然在上面的描述中，当被摄体的状态变化时拍摄静止图像，但是当被摄体的状态的变化停止时也可以拍摄静止图像。
（控制单元的功能配置的另一个例子）
鉴于此，将参考图17来说明当被摄体的状态变化停止时拍摄静止图像的图像处理设备11中所提供的控制单元35的功能配置的例子。
请注意，在图17所示出的控制单元35中，用相同名称和相同附图标记来表示与图14所示出的控制单元35中提供的结构元件具有相同功能的结构元件，并相应地省略对其说明。
更具体而言，图17所示出的控制单元35与图14所示出的控制单元35的不同之处在于：提供了区域形状确定单元431代替区域形状确定单元332。
基于从坐标信息获取单元331提供的被摄体区域的坐标信息，区域形状确定单元431确定被摄体区域的纵横比在预定数量的帧期间的变化，被摄体区域是由被摄体区域的坐标信息所表示的矩形区域。然后，区域形状确定单元431将反映确定结果的信息提供给成像控制单元333。
（自动快门处理）
接下来，将参考图18所示出的流程图来说明配备有图17所示出的控制单元35的图像处理设备11所执行的自动快门处理。
请注意，图18所示出的流程图的步骤S411、S412和S414中的处理基本上与图15所示出的流程图的步骤S311、S312和S314中的处理相同，因此，将省略对其的说明。
具体而言，在步骤S413中，基于从坐标信息获取单元331提供的被摄体区域的坐标信息，区域形状确定单元431监测每一帧的输入图像中的被摄体区域的纵横比，并确定被摄体区域的纵横比是否在预定数量的帧内发生改变。
当在步骤S413中确定被摄体区域的纵横比已经在预定数量的帧内改变时，处理返回到步骤S411，并重复从步骤S411到步骤S413的处理。
另一方面，当在步骤S413中确定被摄体区域的纵横比在预定数量的帧内没有改变时，区域形状确定单元431向成像控制单元333提供表示被摄体区域的纵横比在预定数量的帧内没有改变的信息。
例如，当对于从第（n-q)帧到第n帧的q帧几乎没有检测到被摄体区域的纵横比P(n-q)，...,p(n)的变化宽度时，即，当被摄体的状态变化已停止时，向成像控制单元333提供表示被摄体区域的纵横比在预定数量的帧内没有改变的信息。响应于此，从成像控制单元333发出拍摄第n帧的输入图像的命令。
利用上文所描述的处理，当包括被摄体的被摄体区域的纵横比在预定数量的帧内没有改变时，拍摄静止图像。如此，例如，当走来走去并反复地站起来以及蹲下去的小孩停止移动时，可以执行图像拍摄，而不会流失几秒。此外，在被摄体跟踪处理中，当选择鸟作为被摄体时，当鸟没有在空中拍打其翅膀时，可以在几秒内执行图像拍摄。如此，即使在被摄体不是人并且没有面部表情的情况下，也可以更可靠地获取最佳拍摄图像。
在上面的描述中，响应于被摄体的状态的变化，拍摄静止图像。然而，在此情况下，拍摄静止图像，不管被摄体在输入图像上的位置如何。因此，有这样的情况；获取被摄体位于图像的末尾附近的图像。这样的图像很可能被认为拍得不好。
（控制单元的功能配置的另一个例子）
鉴于此，将参考图19来说明响应于被摄体的位置和被摄体的状态变化而拍摄静止图像的图像处理设备11中所提供的控制单元35的功能配置的例子。
请注意，在图19所示出的控制单元35中，用相同名称和相同的附图标记来表示与图14所示出的控制单元35的结构元件具有相同功能的结构元件，并相应地省略对其说明。
更具体而言，图19所示出的控制单元35与图14所示出的控制单元35的不同之处在于，另外提供了位置检测单元531。
位置检测单元531基于从坐标信息获取单元331提供的被摄体区域的坐标信息，检测输入图像的预定帧中的被摄体的位置。根据检测到的位置，位置检测单元531向区域形状确定单元332提供从坐标信息获取单元331提供的被摄体区域的坐标信息。
（自动快门处理）
接下来，将参考图20所示出的流程图来说明配备有图19所示出的控制单元35的图像处理设备11所执行的自动快门处理。
请注意，图20所示出的流程图的步骤S511、S512、S514和S515中的处理基本上与图15所示出的流程图的步骤S311到S314中的处理相同，因此，将省略对其说明。
具体而言，在步骤S513中，基于从坐标信息获取单元331提供的被摄体区域的坐标信息，位置检测单元531监测每一帧的输入图像中的被摄体区域的位置，并确定被摄体区域的位置是否在输入图像中的预定区域内。由位置检测单元531检测到的被摄体区域的位置可以是被摄体区域（矩形区域）的所有四个顶点的坐标，或者也可以是被摄体区域的中心位置的坐标。此外，还假设预定区域被设在输入图像的中心附近。
当在步骤S513中确定被摄体区域的位置不在预定区域内时，处理返回到步骤S511，并重复从步骤S511到步骤S513的处理。
另一方面，当在步骤S513中确定被摄体区域的位置在预定区域内时，位置检测单元531向区域形状确定单元332提供从坐标信息获取单元331提供的被摄体区域的坐标信息。
结果，在被摄体区域在如图21所示的虚线所示出的区域A内的情况下，如果区域形状确定单元332确定第（n-1）帧的输入图像中的被摄体区域的纵横比P(n-1)和第n帧的输入图像中的被摄体区域的纵横比P(n)之间的差|P(n)-P(n-1)|大于预定阈值，则向成像控制单元333提供被摄体区域的纵横比相对于预定阈值显著变化的信息。响应于此，从成像控制单元333发出拍摄第n帧的输入图像的命令。
利用上文所描述的处理，当包括被摄体的被摄体区域的纵横比在输入图像上的预定区域中显著变化时，拍摄静止图像。如此，如图21所示，可以拍摄令人满意的图像，而不会丢失诸如孩子刚刚倒下的时刻之类的重要时刻。此外，如果选择鸟作为被摄体跟踪处理中的被摄体，则，例如，由于包围鸟的被摄体框（被摄体区域）的纵横比的变化，可以在鸟拍打其翅膀的时刻拍摄令人满意的图像。如此，即使在被摄体不是人并且没有面部表情的情况下，也可以更可靠地获得令人满意的最佳拍摄图像。
请注意，在上面的描述中，当输入图像上的预定区域中的被摄体的状态变化时，拍摄静止图像。然而，如果给图17所示出的控制单元35提供了图17所示出的区域形状确定单元431来代替区域形状确定单元332，则也可以在输入图像上的预定区域内当被摄体的状态变化停止时拍摄静止图像。
此外，虽然在上面的描述中，假设预定区域被设在输入图像的中心的附近，但它也可以由用户设置在输入图像上所希望的位置。如此，可以拍摄图像达到用户所希望的效果。
在上面的描述中，根据被摄体的状态变化，拍摄静止图像，被摄体不仅限于是人。当被摄体是人时，可以检测人的面部，并可以根据整个被摄体（人）和面部之间的关系，拍摄人的静止图像。
（图像处理设备的配置的另一个例子）
图22示出了检测作为被摄体的人的面部，并根据整个被摄体（人）和面部之间的关系来拍摄静止图像的图像处理设备611的配置的例子。
请注意，在图22所示出的图像处理设备611中，用相同名称和相同附图标记来表示与图1所示出的图像处理设备11中所提供的结构元件具有相同功能的结构元件，并相应地省略对其说明。
具体而言，图22所示出的图像处理设备611与图1所示出的图像处理设备11的不同之处在于：在数字信号处理单元33中另外提供了面部检测单元621，并提供了控制单元622代替控制单元35。
基于由YC生成单元53生成的亮度信号和颜色信号构成的图像数据，面部检测单元621从被摄体跟踪单元55检测到的作为被摄体的人的被摄体区域检测根据图像数据所显示的输入图像中的面部。然后，面部检测单元621将表示面部的区域（以下简称为“面部区域”）的坐标信息提供给控制单元622。
基于从被摄体跟踪单元55所提供的被摄体区域和从面部检测单元621提供的面部区域的坐标信息，控制单元622执行拍摄静止图像的自动快门处理。
（控制单元的功能配置的例子）
这里，将参考图23来说明控制单元622的功能配置的例子。
请注意，图23所示出的控制单元622中所设有的成像控制单元633与图14所示出的控制单元35中所设有的成像控制单元333具有基本上相同的功能，因此，省略对其说明。
坐标信息获取单元631获取从被摄体跟踪单元55提供的输入图像的每一帧的被摄体区域的坐标信息，还获取从面部检测单元621提供的输入图像的每一帧的面部区域的坐标信息，并将所获取的坐标信息提供给区域形状确定单元632。
基于从坐标信息获取单元631提供的被摄体区域和面部区域的坐标信息，区域形状确定单元632确定被摄体区域和面部区域的比率在各帧之间的变化，并将反映确定结果的信息提供给成像控制单元633。
（自动快门处理）
接下来，将参考图24所示出的流程图来说明配备有图23所示出的控制单元622的图23所示出的图像处理设备611所执行的自动快门处理。
请注意，图24所示出的流程图的步骤S611和S615中的处理基本上与图15所示出的流程图的步骤S311和S314中的处理相同，因此，将省略对其说明。
具体而言，在步骤S612中，面部检测单元621从人（这是由被摄体跟踪单元55执行的被摄体跟踪处理中检测到的被摄体）的被摄体区域检测输入图像中的面部。然后，面部检测单元621将表示面部区域的坐标信息提供给控制单元622。
在步骤S613中，坐标信息获取单元631获取分别从被摄体跟踪单元55和面部检测单元621提供的被摄体区域的坐标信息和面部区域的坐标信息，并将所获取的坐标信息提供给区域形状确定单元632。
在步骤S614中，基于从坐标信息获取单元631提供的被摄体区域和面部区域的坐标信息，区域形状确定单元632监测每一帧的输入图像中的被摄体区域和面部区域的比率，并确定被摄体区域和面部区域的比率是否在各帧之间相对于预定阈值发生显著变化。
更具体而言，基于从坐标信息获取单元631提供的被摄体区域和面部区域的坐标信息，区域形状确定单元632确定比率Fh/Hw（其中，Fh是表示面部区域的面部框F的高度，Hw是表示被摄体区域的被摄体框H的宽度）是否在各帧之间相对于预定阈值发生显著变化。
当在步骤S614中确定被摄体区域和面部区域的比率没有相对于预定阈值显著地变化时，则处理返回到步骤S611，并重复从步骤S611到步骤S614的处理。
另一方面，当在步骤S614中确定被摄体区域和面部区域的比率相对于预定阈值显著地变化时，区域形状确定单元632向成像控制单元633提供表示被摄体区域和面部区域的比率相对于预定阈值显著地变化的信息。
例如，如图25的左侧所示，当作为被摄体的正在跑的孩子位于第（n-1）帧的输入图像中时，被摄体区域和面部区域的比率Q(n-1)被表达为Fh(n-1)/Hw(n-1)，其中，Fh(n-1)是表示面部区域的面部框F(n-1)的高度，而Hw(n-1)是表示被摄体区域的被摄体框H(n-1)的宽度。
然后，如图25的右侧所示，如果作为被摄体的孩子刚刚在第n帧的输入图像中倒下，则第n帧的输入图像中的被摄体区域和面部区域的比率Q(n)=Fh(n)/Hw(n)与第（n-1）帧的输入图像中的被摄体区域和面部区域的比率Q(n-1)相比已经变化。
此时，如果区域形状确定单元632确定第（n-1）帧的输入图像中的被摄体区域和面部区域的比率Q(n-1)和第n帧的输入图像中的被摄体区域和面部区域的比率Q(n)之间的差|Q(n)-Q(n-1)|大于预定阈值，则向成像控制单元633提供被摄体区域和面部区域的比率相对于预定阈值显著变化的信息。响应于此，从成像控制单元633发出拍摄第n帧的输入图像的命令。
利用上文所描述的处理，当被摄体区域和面部区域的比率显著地变化时，拍摄静止图像。结果，可以执行图像拍摄，而不会丢失诸如如图25所示的小孩刚刚倒下的时刻之类的重要时刻，因此，可以更可靠地获取最佳拍摄图像。
请注意，如果图23所示出的控制单元622还在坐标信息获取单元631的后级包括图19所示出的位置检测单元531，则也可以在被摄体区域和面部区域的比率在输入图像的预定区域中发生显著变化时拍摄静止图像。
此外，在上面的描述中，当作为人的被摄体的被摄体区域和作为人的一部分的面部的面部区域的比率变化时，拍摄静止图像。然而，如果可以分别检测被摄体和被摄体的一部分，则可以响应于各个区域的比率变化，拍摄除人以外的被摄体的图像。
虽然在上面的描述中，当被摄体区域和面部区域的比率变化时拍摄静止图像，但也可以在被摄体区域和面部区域的比率达到预定值时拍摄静止图像。
（控制单元的功能配置的另一个例子）
鉴于此，将参考图26来说明当被摄体区域和面部区域的比率达到预定值时拍摄静止图像的图像处理设备611中设有的控制单元622的功能配置的例子。
请注意，在图26所示出的控制单元622中，通过相同名称和相同附图标记来表示与图23所示出的控制单元622中所提供的结构元件具有相同功能的结构元件，并相应地省略对其说明。
更具体而言，图26所示出的控制单元622与图23所示出的控制单元622的不同之处在于，提供了区域比率比较单元731代替区域形状确定单元632。
基于从坐标信息获取单元631提供的被摄体区域和面部区域的坐标信息，区域比率比较单元731将输入图像的预定帧中的被摄体区域和面部区域的比率与预定目标值进行比较，并将反映比较结果的信息提供给成像控制单元633。请注意，目标值可以由用户根据需要来设置。
（自动快门处理）
接下来，将参考图27所示出的流程图来说明配备有图26所示出的控制单元622的图26所示出的图像处理设备611所执行的自动快门处理。
请注意，图27所示出的流程图的步骤S711到步骤S713和步骤S715中的处理基本上与图24所示出的流程图的步骤S611到步骤S613和步骤S615中的处理相同，因此，将省略对其说明。
具体而言，在步骤S714中，基于从坐标信息获取单元631提供的被摄体区域和面部区域的坐标信息，区域比率比较单元731将输入图像的预定帧中的被摄体区域和面部区域的比率与预定目标值进行比较。
更具体而言，基于被摄体区域和面部区域的坐标信息，区域比率比较单元731确定被摄体区域和面部区域的比率与目标值之差是否小于预定阈值。
当在步骤S714中确定目标值与被摄体区域和面部区域的比率之差不小于预定阈值时，则处理返回到步骤S711，并重复从步骤S711到步骤S714的处理。
另一方面，当在步骤S714中确定目标值与被摄体区域和面部区域的比率之间的差小于预定阈值时，即，当被摄体区域和面部区域的比率与目标值相同或基本上与目标值相同时，区域比率比较单元731向成像控制单元633提供表示目标值与被摄体区域和面部区域的比率之差小于预定阈值的信息。
例如，如图28的左侧所示，假设一个孩子作为被摄体在第p帧的输入图像中正在从远处跑向并靠近图像处理设备611。这里，被摄体区域和面部区域的比率S(p)被表达为Hh(p)/Fh(p)，其中，Hh(p)是表示第p帧的输入图像中的被摄体区域的被摄体框H(p)的高度，而Fh(p)是表示面部区域的面部框F(p)的高度。
然后，如图28的右侧所示，当孩子作为被摄体在图像处理设备611的附近移动并且在第N帧的输入图像中确定目标值与被摄体区域和面部区域的比率S(N)=Hh(N)/Fh(N)之间的差小于预定阈值时，向成像控制单元633提供目标值与被摄体区域和面部区域的比率之差小于预定阈值的信息。响应于此，从成像控制单元633发出拍摄第N帧的输入图像的命令。
利用上文所描述的处理，当目标值与被摄体区域和面部区域的比率之差小于预定阈值时，拍摄静止图像。结果，能够抓住孩子靠近并且成像范围中的人的大小（所谓的镜头）变为拍摄身体上半部图像的最佳镜头的时刻，如图28所示。如此，可以更可靠地获取最佳拍摄图像。
此外，通过调整目标值，可以以用户所希望的镜头，如拍摄整个被摄体的全景镜头、拍摄面部的特写镜头等等来拍摄静止图像。
在上面的描述中，说明了当图像处理设备作为拍摄静止图像的数字照相机来形成时执行的处理。当图像处理设备被形成为拍摄视频的数字摄像机时，有可能使图像处理设备执行帧标识处理，作为应用被摄体跟踪处理的跟踪结果的应用的例子。帧标识处理响应于被跟踪的被摄体的状态变化来标识视频中的预定帧。
（图像处理设备的再一个例子）
接下来，将参考图29来说明执行帧标识处理的图像处理设备811的配置的例子。帧标识处理响应于通过上文所描述的被摄体跟踪处理所跟踪的被摄体的状态变化来标识视频中的预定帧。
请注意，在图29所示出的图像处理设备811中，用相同名称和相同附图标记来表示与图1所示出的图像处理设备11中所提供的结构元件具有相同功能的结构元件，并相应地省略对其说明。
具体而言，图29所示出的图像处理设备811与图1所示出的图像处理设备11的不同之处在于：提供了控制单元821代替控制单元35。
控制单元821基于从被摄体跟踪单元55提供的被摄体区域的坐标信息，来执行标识视频中的预定帧的帧标识处理。
（控制单元的功能配置的例子）
这里，将参考图30来说明控制单元821的功能配置的例子。
请注意，在图30所示出的控制单元821中，坐标信息获取单元831和区域形状确定单元832与图14所示出的控制单元35中所提供的坐标信息获取单元331和区域形状确定单元332具有基本上相同的功能，因此，将省略对其说明。
基于来自区域形状确定单元832的信息，帧标识单元833控制数字信号处理单元33在数字信号处理单元33中执行信号处理，并标识要被记录在记录介质（附图中未示出）上的输入图像的预定帧。
（帧标识处理）
接下来，将参考图31所示出的流程图来说明图29所示出的包括图30所示出的控制单元821的图像处理设备811所执行的帧标识处理。
请注意，图31所示出的流程图的步骤S811到步骤S813中的处理基本上与图15所示出的流程图的步骤S311到步骤S313中的处理相同，因此，将省略对其说明。
具体而言，如果从区域形状确定单元832提供了表示被摄体区域的纵横比相对于预定阈值显著变化的信息，则帧标识单元833在步骤S814中控制数字信号处理单元33，以便用于标识预定帧的标记被添加到输入图像中。结果，在记录介质（附图中未示出）中记录添加有用于标识预定帧的标记作为元数据的视频。
利用上文所描述的处理，当包括被摄体的被摄体区域的纵横比显著变化时，添加标记，以标识视频中的帧。如此，例如，在编辑记录的视频的情况下，有可能轻松地检索诸如孩子刚刚倒下的时刻之类的重要时刻。
请注意，在上面的描述中，当被摄体区域的纵横比显著变化时，标识视频中的帧。然而，如果给图30所示出的控制单元821提供了图17所示出的区域形状确定单元431来代替区域形状确定单元832，则也可以当在输入图像上的预定区域内被摄体的状态变化已停止时标识视频中的帧。
此外，如果图30所示出的控制单元821还在坐标信息获取单元831的后级包括图19所示出的位置检测单元531，则也可以当在输入图像上的预定区域内被摄体的状态发生变化时标识视频中的帧。
此外，如果图像处理设备811的数字信号处理单元33还包括图22所示出的面部检测单元621，并且图30所示出的控制单元821包括图23所示出的区域形状确定单元632代替区域形状确定单元832，则也可以在被摄体区域和面部区域的比率显著变化时标识视频中的帧。
此外，当被摄体区域和面部区域的比率显著变化时，帧标识单元833可以向数字信号处理单元33发出启动或停止在记录介质（附图中未示出）上记录视频的命令。
上文所描述的处理系列可以通过硬件来实现，或者也可以通过软件来实现。当通过软件来执行该系列处理时，将构成软件的程序安装到含在专用硬件内的计算机中，或者将程序从程序存储介质安装到例如可以通过安装各种类型的程序来执行各种类型功能的通常的个人计算机。
图32是示出了根据程序执行上文所描述的处理系列的计算机的硬件配置的示例的框图。
在计算机中，中央处理单元（CPU）901、只读存储器（ROM）902和随机访问存储器（RAM）903通过总线904相互连接。
此外，输入/输出接口905还连接到总线904。输入单元906、输出单元907、存储单元908、通信单元909以及驱动可移动介质911的驱动器910连接到输入/输出接口905。输入单元906包括键盘、鼠标，麦克风等等。输出单元907包括显示器、扬声器等等。存储单元908包括硬盘、非易失性存储器等等。通信单元909包括网络接口等等。可移动介质911是磁盘、光盘、磁光盘、半导体存储器等等。
在如上文所描述的那样配置的计算机中，执行上文所描述的处理系列，以便CPU 901通过输入/输出接口905和总线904将存储在例如存储单元908中的程序加载到RAM 903中，并执行程序。
由计算机（CPU 901）执行的程序是通过将它记录在例如磁盘（包括软盘）、光盘（压缩光盘-只读存储器（CD-ROM）、数字多功能盘（DVD）等等）、磁光盘，或由半导体存储器等等所形成的封装介质的可移动介质911中来提供。或者，上面的程序也可以通过诸如局域网、因特网和数字卫星广播之类的有线或无线传输介质来提供。
通过将可移动介质911附接到驱动器910，可以经由输入/输出接口905将程序安装在存储单元908中。此外，程序还可以由通信单元40通过有线或无线传输介质接收，并可以将其安装到存储单元908中。此外，程序还可以预先安装在ROM 902中或存储单元908中。
请注意，由计算机执行的程序可以是这样的程序：根据此说明书中所描述的顺序，按时间顺序执行处理，也可以是这样的程序：在必要的时刻，如在执行调用时，执行处理。
本发明的实施例不仅限于上文所描述的实施例，可以进行各种修改，只要它们在本发明的精神和范围内。
[附图标记列表]
11图像处理设备
34显示单元
35控制单元
55被摄体跟踪单元
71被摄体图生成单元
72被摄体候选区域矩形形成单元
73被摄体区域选择单元
74加权因子计算单元
111显著性图生成单元
112条带显著性图生成单元
113条带显著性图合成单元
114合成显著性图合成单元
131二进制化处理单元
132标记处理单元
133矩形区域坐标计算单元
134区域信息计算单元
151区域信息比较单元
152被摄体区域确定单元
200输入图像
201被摄体图
221,222矩形区域
231被摄体框
332区域形状确定单元
333成像控制单元
431区域形状确定单元
531位置检测单元
632区域形状确定单元
633成像控制单元
731区域比率比较单元
832区域形状确定单元
833帧标识单元

Claims (20)

1.一种图像处理设备，包括：
处理器，被配置成确定位于第一图像内的第一框边界和位于第二图像内的第二框边界，其中第一图像和第二图像是时间上连续的图像；以及
控制器，被配置成检测第一框边界和第二框边界之间的变化。
2.如权利要求1所述的图像处理设备，还包括：
快门；以及
快门触发机构，被配置成响应于所述控制器检测到第一框边界和第二框边界之间的变化而驱动所述快门并利用图像传感器来拍摄图像。
3.如权利要求1所述的图像处理设备，其中
第一框边界和第二框边界之间的所述变化是下列各项中的至少一项：
纵横比的变化，
形状的变化，以及
位置的变化。
4.如权利要求1所述的图像处理设备，其中
第一框边界和第二框边界之间的所述变化是响应于下列各项中的一项而发生的：
被摄体在第一框边界和第二框边界内的移动，以及
所述被摄体的特征变化。
5.如权利要求1所述的图像处理设备，其中：
所述第一图像和所述第二图像是视频内的图像。
6.如权利要求5所述的图像处理设备，其中：
所述视频包括在数字照相机和数字摄像机中的至少一个的取景器中拍摄到的图像；以及
所述第一框边界和所述第二框边界在所述取景器内可见。
7.如权利要求2所述的图像处理设备，其中：
所述快门触发机构被配置成在所述快门不活动达预定时间段之后驱动所述快门。
8.如权利要求1所述的图像处理设备，其中：
所述处理器被配置成确定位于所述第一框边界内的第一较小框以及所述第二框边界内的第二较小框，以及
当第一较小框与第一框边界的区域比率以及第二较小框与第二框边界的区域比率满足预定的准则时，所述控制器检测出第一框边界和第二框边界之间的所述变化。
9.一种图像处理方法，包括：
利用处理器确定位于第一图像内的第一框边界和位于第二图像内的第二框边界，第一图像和第二图像是时间上连续的图像；以及
检测第一框边界和第二框边界之间的变化。
10.如权利要求9所述的方法，还包括：
响应于检测到第一框边界和第二框边界之间的变化而驱动快门并利用图像传感器来拍摄图像。
11.如权利要求9所述的方法，其中
第一框边界和第二框边界之间的所述变化是下列各项中的至少一项：
纵横比的变化，
形状的变化，以及
位置的变化。
12.如权利要求9所述的方法，其中
第一框边界和第二框边界之间的所述变化是响应于下列各项中的一项而发生的：
被摄体在第一框边界和第二框边界内的移动，以及
所述被摄体的特征变化。
13.如权利要求9所述的方法，其中：
所述第一图像和所述第二图像是视频内的图像。
14.如权利要求13所述的方法，还包括：
在数字照相机和数字摄像机中的至少一个的取景器中拍摄所述图像；以及
在所述取景器内呈现所述第一框边界和所述第二框边界。
15.如权利要求10所述的方法，其中：
所述驱动包括在所述快门不活动达预定的时间段之后驱动所述快门。
16.如权利要求9所述的方法，还包括：
确定位于所述第一框边界内的第一较小框以及所述第二框边界内的第二较小框，其中
所述检测包括：当第一较小框与第一框边界的区域比率以及第二较小框与第二框边界的区域比率满足预定的准则时，检测出第一框边界和第二框边界之间的变化。
17.一种具有当由处理器执行时执行包括下列各操作的方法的指令的非瞬态计算机可读存储设备：
利用处理器确定位于第一图像内的第一框边界和位于第二图像内的第二框边界，第一图像和第二图像是时间上连续的图像；以及
检测第一框边界和第二框边界之间的变化。
18.如权利要求17所述的非瞬态计算机可读存储设备，其中，所述方法还包括：
响应于检测到第一框边界和第二框边界之间的变化而驱动快门并利用图像传感器来拍摄图像，其中
第一框边界和第二框边界之间的所述变化是下列各项中的至少一项：
纵横比的变化，
形状的变化，以及
位置的变化。
19.如权利要求17所述的非瞬态计算机可读存储设备，其中，所述方法还包括：
在数字照相机和数字摄像机中的至少一个的取景器中拍摄所述图像；以及
在所述取景器内呈现所述第一框边界和所述第二框边界。
20.如权利要求17所述的非瞬态计算机可读存储设备，其中，所述方法还包括：
确定位于所述第一框边界内的第一较小框以及所述第二框边界内的第二较小框，其中
所述检测包括：当第一较小框与第一框边界的区域比率以及所述第二较小框与第二框边界的区域比率满足预定的准则时，检测出第一框边界和第二框边界之间的变化。
CN201180015023.4A 2010-03-30 2011-03-16 图像处理设备和方法 Active CN102812699B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010079189A JP5577793B2 (ja) 2010-03-30 2010-03-30 画像処理装置および方法、並びにプログラム
JP2010-079189 2010-03-30
PCT/JP2011/001547 WO2011121917A1 (en) 2010-03-30 2011-03-16 Image processing apparatus, method, and computer program storage device

Publications (2)

Publication Number Publication Date
CN102812699A true CN102812699A (zh) 2012-12-05
CN102812699B CN102812699B (zh) 2016-03-30

Family

ID=44711687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180015023.4A Active CN102812699B (zh) 2010-03-30 2011-03-16 图像处理设备和方法

Country Status (9)

Country Link
US (2) US8964038B2 (zh)
EP (2) EP3512191A1 (zh)
JP (1) JP5577793B2 (zh)
KR (1) KR101677315B1 (zh)
CN (1) CN102812699B (zh)
BR (1) BR112012023987A2 (zh)
RU (1) RU2012140422A (zh)
TW (1) TW201204024A (zh)
WO (1) WO2011121917A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488128A (zh) * 2016-10-27 2017-03-08 成都西纬科技有限公司 一种自动拍照的方法及装置
CN108781252A (zh) * 2016-10-25 2018-11-09 华为技术有限公司 一种图像拍摄方法及装置
US11538232B2 (en) 2013-06-14 2022-12-27 Qualcomm Incorporated Tracker assisted image capture

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5577793B2 (ja) * 2010-03-30 2014-08-27 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5978639B2 (ja) 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
WO2013145589A1 (ja) * 2012-03-26 2013-10-03 パナソニック株式会社 画像処理装置、撮像装置および画像処理方法
CN104364824A (zh) * 2012-06-13 2015-02-18 松下知识产权经营株式会社 物体检测装置
WO2013189840A1 (en) * 2012-06-18 2013-12-27 Thomson Licensing A device and a method for color harmonization of an image
FR3047597B1 (fr) * 2016-01-04 2018-01-19 Laoviland Experience Procede de traitement graphique d'images
JP2018037944A (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、撮像装置および撮像制御方法
JP2020154828A (ja) * 2019-03-20 2020-09-24 富士通株式会社 データ補完プログラム、データ補完方法及びデータ補完装置
JP7089493B2 (ja) * 2019-08-14 2022-06-22 Kddi株式会社 人物検知装置、方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339349A (zh) * 2007-07-04 2009-01-07 三洋电机株式会社 摄像装置以及自动聚焦控制方法
US20090213231A1 (en) * 2008-02-23 2009-08-27 Sanyo Electric Co., Ltd. Video camera
CN101631198A (zh) * 2008-07-14 2010-01-20 三洋电机株式会社 摄像装置
US20100157129A1 (en) * 2008-12-24 2010-06-24 Samsung Digital Imaging Co., Ltd. Apparatus and method for capturing digital image using face recognition function

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04197019A (ja) 1990-11-28 1992-07-16 Hitachi Ltd ディジタル保護継電装置
JP3065838B2 (ja) * 1993-02-15 2000-07-17 沖電気工業株式会社 人物認識方法
JP4341936B2 (ja) * 1998-12-25 2009-10-14 カシオ計算機株式会社 撮像方法および撮像装置
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
WO2006040761A2 (en) * 2004-10-15 2006-04-20 Oren Halpern A system and a method for improving the captured images of digital still cameras
JP4096950B2 (ja) * 2005-02-24 2008-06-04 船井電機株式会社 撮像装置および自動撮影方法
JP2007123953A (ja) * 2005-10-24 2007-05-17 Sony Corp 撮像装置及び撮像方法
JP4197019B2 (ja) 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
JP4656331B2 (ja) * 2006-12-27 2011-03-23 富士フイルム株式会社 撮像装置および撮像方法
US20090009651A1 (en) * 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Imaging Apparatus And Automatic Focus Control Method
JP2009124210A (ja) * 2007-11-12 2009-06-04 Olympus Imaging Corp 撮像装置、撮像方法、画像検索装置および画像検索方法
JP2009200713A (ja) 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
JP5131586B2 (ja) * 2008-04-03 2013-01-30 カシオ計算機株式会社 撮影装置、画像記録方法、及びプログラム
JP4640456B2 (ja) * 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP5577793B2 (ja) * 2010-03-30 2014-08-27 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339349A (zh) * 2007-07-04 2009-01-07 三洋电机株式会社 摄像装置以及自动聚焦控制方法
US20090213231A1 (en) * 2008-02-23 2009-08-27 Sanyo Electric Co., Ltd. Video camera
CN101631198A (zh) * 2008-07-14 2010-01-20 三洋电机株式会社 摄像装置
US20100157129A1 (en) * 2008-12-24 2010-06-24 Samsung Digital Imaging Co., Ltd. Apparatus and method for capturing digital image using face recognition function

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538232B2 (en) 2013-06-14 2022-12-27 Qualcomm Incorporated Tracker assisted image capture
CN108781252A (zh) * 2016-10-25 2018-11-09 华为技术有限公司 一种图像拍摄方法及装置
CN108781252B (zh) * 2016-10-25 2021-06-15 华为技术有限公司 一种图像拍摄方法及装置
CN106488128A (zh) * 2016-10-27 2017-03-08 成都西纬科技有限公司 一种自动拍照的方法及装置

Also Published As

Publication number Publication date
US20130027579A1 (en) 2013-01-31
EP2553920B1 (en) 2019-05-08
JP2011211631A (ja) 2011-10-20
CN102812699B (zh) 2016-03-30
KR20130009788A (ko) 2013-01-23
KR101677315B1 (ko) 2016-11-17
EP2553920A4 (en) 2014-06-18
WO2011121917A1 (en) 2011-10-06
US8964038B2 (en) 2015-02-24
US9509903B2 (en) 2016-11-29
JP5577793B2 (ja) 2014-08-27
BR112012023987A2 (pt) 2016-08-02
US20150168811A1 (en) 2015-06-18
EP3512191A1 (en) 2019-07-17
EP2553920A1 (en) 2013-02-06
RU2012140422A (ru) 2014-03-27
TW201204024A (en) 2012-01-16

Similar Documents

Publication Publication Date Title
CN102812699A (zh) 图像处理设备、方法以及计算机程序存储设备
TWI425826B (zh) 影像選擇裝置、影像選擇方法
KR101155406B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
CN102761706B (zh) 成像设备和成像方法
CN101325658B (zh) 成像设备和成像方法
CN103733607B (zh) 用于检测运动物体的装置和方法
EP2768214A2 (en) Method of tracking object using camera and camera system for object tracking
US9013589B2 (en) Digital image processing apparatus and digital image processing method capable of obtaining sensibility-based image
CN107636692A (zh) 图像捕获设备及操作其的方法
US9779290B2 (en) Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images
US20070242149A1 (en) Image display control apparatus, method of controlling the same, and control program therefor
CN102265602A (zh) 图像拍摄装置
CN103905727A (zh) 被摄体区域跟踪设备及其控制方法
CN103581543A (zh) 拍摄装置、拍摄控制方法、和眼球识别装置
CN107948511B (zh) 图像亮度处理方法、装置、存储介质和图像亮度处理设备
US9020269B2 (en) Image processing device, image processing method, and recording medium
CN106791456A (zh) 一种拍照方法及电子设备
JP2009089220A (ja) 撮像装置
US20090190835A1 (en) Method for capturing image to add enlarged image of specific area to captured image, and imaging apparatus applying the same
JP5206422B2 (ja) 構図選択装置及びプログラム
US12002279B2 (en) Image processing apparatus and method, and image capturing apparatus
JPH06268894A (ja) 自動撮像装置
JP2011193066A (ja) 撮像装置
JP5370577B2 (ja) 構図選択装置及びプログラム
JP2016048863A (ja) 被写体検出装置、その制御方法、撮像装置、表示装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant