CN102625036A - 图像处理装置、摄像装置及记录介质 - Google Patents

图像处理装置、摄像装置及记录介质 Download PDF

Info

Publication number
CN102625036A
CN102625036A CN2012100186779A CN201210018677A CN102625036A CN 102625036 A CN102625036 A CN 102625036A CN 2012100186779 A CN2012100186779 A CN 2012100186779A CN 201210018677 A CN201210018677 A CN 201210018677A CN 102625036 A CN102625036 A CN 102625036A
Authority
CN
China
Prior art keywords
image
subject
main subject
images
photographs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100186779A
Other languages
English (en)
Inventor
新田启一
坂本浩一
高桥秋彦
二叶文彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN102625036A publication Critical patent/CN102625036A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H04N1/2141—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer
    • H04N1/2145—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer of a sequence of images for selection of a single frame before final recording, e.g. from a continuous sequence captured before and after shutter-release
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/215—Recording a sequence of still pictures, e.g. burst mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供图像处理装置、摄像装置及记录介质，推定主要被拍摄对象。一种图像处理装置，具有：图像取得部，用于取得按照时间系列摄像的多个图像；被拍摄对象提取部，其提取多个图像中包含的彼此不同的多个被拍摄对象；主要被拍摄对象推定部，其判断多个被拍摄对象分别在多个图像中处于哪个位置，基于多个被拍摄对象在多个图像中的各自的位置信息，推定多个被拍摄对象的哪个是多个被拍摄对象中的主要被拍摄对象。

Description

图像处理装置、摄像装置及记录介质
技术领域
本发明涉及图像处理装置、摄像装置及记录介质。
背景技术
日本专利特开2009-089174号公报公开了通过排除时间系列性地取得的多个图像中包含的没有变化的被拍摄对象的技术，以适合主要的被拍摄对象的摄影条件进行摄影的数码相机(专利文献1参照)。
在先技术文献
专利文献
专利文献1日本专利特开2009-089174号公报
发明的概要
发明打算解决的课题
然而，专利文献1记载的数码相机，如果摄像间隔变短的话，在图像互相之间被拍摄对象的变化变少，使主要的被拍摄对象的挑选变难。并且，在专利文献1记载的数码相机中，将动的被拍摄对象假定为主要的被拍摄对象，不过，实际上，动的被拍摄对象如果有多个，其未必全部是摄影者打算摄影的主要被拍摄对象。因此，为了实现以适合主要的被拍摄对象的摄影条件摄影，或是，从多帧的摄影图像中提取主要被拍摄对象的拍摄良好的图像等功能的目的，要求图像中的主要被拍摄对象的推定精度的提高。
发明内容
因此，在本发明包含的技术革新(创新)一个侧面中，以提供能够解决上述课题的图像处理装置、摄像装置以及读取存储介质为目的。该目的通过权利要求所记载的技术特征的组合来达成。即，在本发明的第1方式中提供图像处理装置，其具有：图像取得部，用于取得按照时间系列摄像的多个图像；被拍摄对象提取部，其提取多个图像中包含的互相不同的多个被拍摄对象；主要被拍摄对象推定部，其判断多个被拍摄对象分别在多个图像中位于哪个位置，基于多个被拍摄对象分别在多个图像中的各自的位置信息，推定多个被拍摄对象的哪一个是多个被拍摄对象中的主要被拍摄对象。
并且，作为本发明的第二方式，提供一种摄像装置，其具有上述图像处理装置；被用户操作的释放按钮；和对于释放按钮的一次操作，拍摄多个图像的摄像部。
并且，作为本发明的第三方式，提供一种图像处理方法，图像取得工序，用于取得按时间系列摄像的多个图像；被拍摄对象提取工序，提取多个图像中包含的互相不同的多个被拍摄对象；主要被拍摄对象推定工序，判断多个被拍摄对象分别在多个图像中位于哪个位置，基于多个被拍摄对象分别在多个图像中的位置信息，推定多个被拍摄对象的哪一个是多个图像中的主要被拍摄对象。
另外，上述发明的概要并未列举出本发明的必要的技术特征的全部，这些的特征群的辅助结合也够成本发明。
附图说明
图1是数码相机100的立体图。
图2是数码相机100的立体图。
图3是表示数码相机100的内部电路200的框图。
图4是表示主要被拍摄对象推定部270的动作工序的流程图。
图5是示例摄影图像群410的示意图。
图6是示意性地表示候选被拍摄对象挑选部260的动作的图。
图7是示意性地表示候选被拍摄对象挑选部260的动作的图。
图8是示意性地表示候选被拍摄对象挑选部260的动作的图。
图9是示意性地表示候选被拍摄对象挑选部260的动作的图。
图10是表示主要被拍摄对象推定部270的动作工序的流程图。
图11是示意性地表示主要被拍摄对象推定部270的动作的图。
图12是示意性地表示主要被拍摄对象推定部270的动作的图。
图13是示意性地表示主要被拍摄对象推定部270的动作的图。
图14是示意性地表示主要被拍摄对象推定部270的动作的图。
图15是表示图像选择部280的动作工序的流程图。
图16是示意性地表示图像选择部280的动作的图。
图17是示意性地表示图像选择部280的动作的图。
图18是示意性地表示图像选择部280的动作的图。
图19是示意性地表示图像选择部280的动作的图。
图20是示意性地表示图像选择部280的动作的图。
图21是示意性地表示图像选择部280的动作的图。
图22是执行图像处理程序的个人电脑的示意图。
具体实施方式
以下，通过发明的实施方式说明本发明，不过，以下的实施方式并不限定权利范围所涉及的发明，另外，在实施方式中说明的特征组合并非全部为发明的解决手段所必须的。
图1是从斜前方向看一种摄像装置的数码相机100的立体图。数码相机100具有前后薄的大致立方体的机箱110、被配置在机箱110前面的透镜镜筒120及发光窗130、在机箱110的上表面配置的电源开关142、释放按钮144以及包含变焦杆146等的操作部140。
透镜镜筒120保持摄影透镜122，该摄影透镜122将被拍摄对象图像成像在被配置在机箱110内部的摄像元件上。由在机箱110内部被配置的未图示的发光部发出的光，经由发光窗130照明被拍摄对象。
电源开关142在每次被按压时将数码相机100的电源断开或接通。变焦杆146使被透镜镜筒120保持的摄影透镜的倍率发生变化。
在用户将释放按钮144半按下的情况下，自动对焦部、测光传感器等被驱动的同时，实行摄像元件的取景图像摄影动作。这样，数码相机100在取景图像摄影之后具备被拍摄对象图像的正式摄影。释放按钮144一被全按压操作，则快门打开，执行被拍摄对象图像的正式摄影动作。在摄影范围的亮度暗等的情况下，配合正式摄影的定时，从发光窗130向被拍摄对象投射光。
图2是从斜后方看数码相机100的立体图。与图1共同的要素标以同样的参照号码省略重复的说明。
在机箱110背面配置有包含十字键141及背面按钮143等的操作部140的一部分和背面显示部150。在对数码相机100输入各种设定时，在切换数码相机100的动作模式时等，由用户操纵十字键141及背面按钮143。
背面显示部150由液晶显示面板等形成，占据机箱110背面的很多区域。数码相机100在取景图像摄影模式的情况下，入射到透镜镜筒120的被拍摄对象图像被摄像元件连续性地光电转换，作为摄影图像在背面显示部150显示。用户通过观察背面显示部150上显示的取景图像，能知道有效的摄影范围。
并且，在背面显示部150上，与数码相机100的状态一并显示电池的剩余量、能够存储摄影图像数据的存储介质的剩余容量等。并且，当数码相机100用重放模式进行动作时，从存储介质读出摄影图像数据，重放图像在背面显示部150表示。
图3是示意性地表示数码相机100的内部电路200的框图。对于图1及图2中的共同的要素标以同样的参照号码，省略重复的说明。内部电路200包含控制部201、图像取得部202及摄影图像处理部203。
控制部201由CPU210、显示驱动部220、程序存储器230及主内存240构成。CPU210根据从程序存储器230读入到主内存240的固件，统一控制数码相机100的动作。显示驱动部220依照来自CPU210的指示而生成显示图像，在背面显示部150上显示所生成的图像。
图像取得部202包含摄像元件驱动部310、摄像元件312、模拟/数字变换部320、图像处理部330、自动对焦部340及测光传感器350。
摄像元件驱动部310驱动摄像元件312，将根据摄影透镜122在摄像元件312表面成像的被拍摄对象图像光电转换，形成图像信号。作为摄像元件312，能够使用CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等。
摄像元件312输出的图像信号被模拟/数字变换部320离散化，由图像处理部330转换成摄影图像数据。图像处理部330对生成的摄影图像数据施以白平衡、锐度、伽马、灰阶校正的处理，调整将所生成的图像数据保存在后述的二次存储介质332中时的压缩率等。
将在图像处理部330中生成的图像数据存储并保存在二次存储介质332。作为二次存储介质332，使用具有闪存卡等的非易失性存储元件的介质。再者，二次存储介质332的至少一部能够从数码相机100拆装更换。
以在背面显示部150上显示为目的生成的取景图像摄影的时候，自动对焦部340根据用户对于释放按钮144的半按操作，在摄影图像的规定区域的对比变为最高的时候判断为摄影透镜122已经对焦。测光传感器350测量被拍摄对象的亮度，决定数码相机100的摄影条件。变倍驱动部360根据CPU210的指示使摄影透镜122的一部分移动。这样，摄影透镜122的倍率变化，摄影图像的视角变化。
输入部370接受来自操作部140的输入，保持被数码相机100设定的设定值等。CPU210参照输入部370，决定工作条件。
如上所述，具有内部电路200的数码相机100，进一步相对于用户按压下释放按钮144的1次摄影操作(全按操作)，具有图像取得部202取得多帧的图像数据的摄影模式。被设定成该摄影模式的话，CPU210通过摄像元件驱动部310，进行摄像元件312连续摄影的控制。
由此，取得时间系列摄影图像(影像)数据。这样，取得的时间系列的摄影图像数据被依次输入到图像处理部330内的FIFO(First In FirstOut)存储器。FIFO存储器具有规定的容量，当依次输入的输入数据达到规定的容量时，马上按照输入的顺序输出摄影图像数据。在上述摄影模式中，从由用户进行释放按钮144的全按压操作起经过规定时间为止，时间系列的摄影图像数据依次被输入FIFO存储器，在这期间，删除从FIFO存储器输出的数据。
从释放按钮144被做全按操作后经过规定时间时，马上禁止向FIFO存储器写入摄影图像数据。由此，在FIFO存储器内，保持在释放按钮144的全按操作前后取得的多帧的时间系列摄影图像数据。即，通过相对于一次的摄影操作，图像取得部202取得按照时间系列摄像的多帧的图像，而能够从那些多个图像中选择摄影条件(光圈开度，快门速度，摄像元件灵敏度等)、摄影时间、主要被拍摄对象的拍摄情况等适合的图像。由此，能使摄影的成功率提高。
近年来，由于摄像元件的连拍性能，存储器的集积度的提高等，针对用户的一次释放按钮操作，能够取得达数十张的摄影图像数据。因此，从大量的摄影图像数据选择少数的图像成为用户的新的负担。
与此相对，数码相机100具有摄影图像处理部203。摄影图像处理部203具有被拍摄对象提取部250、主要被拍摄对象推定部270及图像选择部280，从被摄影的图像中选择主要被拍摄对象的拍摄情况好的图像。以下，说明摄影图像处理部203的动作。
图4是表示摄影图像处理部203中的被拍摄对象提取部250及候选被拍摄对象挑选部260的动作工序的流程图。另外，图5至图9是示意性地表示在摄影图像处理部203的被拍摄对象提取部250及候选被拍摄对象挑选部260中执行的处理的图，在下列的说明中随时参照。
如图5所示，摄影图像处理部203是从二次存储介质332读出根据1次的释放操作(全按操作)图像取得部202取得的包括多个摄影图像41-1～41-n的摄影图像群410(步骤S101)。多个摄影图像41-1～41-n虽然按时间系列性地摄影，不过，由于连续摄影中的手抖动、被拍摄对象的状态变化等，而使其内容互相不同。再者，在步骤S101取得的多个摄影图像数据，不限于从二次存储介质332读出的数据，也可以是摄像元件312摄影的存储到被二次存储介质332之前的摄影图像数据。
其次，摄影图像处理部203如在图5中表示的摄影图像41-1那样，通过被拍摄对象提取部250，提取各个摄影图像41-1～41-n中包含的多个被拍摄对象11～31(步骤S102)。
接着，摄影图像处理部203对于被拍摄对象11～31分别执行脸部识别(分类成同一范畴的“脸”的被拍摄对象的识别)(步骤S103)。这样，如图5中用框围着表示的那样，将被识别出脸的被拍摄对象15、16、21～31作为被拍摄对象，作为处理的对象，其他的被拍摄对象11～14从摄影图像处理部203进行处理的对象中删除。(步骤S104)。
再者，在以下的说明中，作为处理对象的被拍摄对象，以假定为人物(脸)的例子进行了说明，不过，处理对象并不受此限定。例如，也可以是狗、车等其他的被拍摄对象。此外，将在下面描述的多个被拍摄对象，不限于同一种类的被拍摄对象(如脸)，也可以是不同种类的被拍摄对象(例如，人类的脸和狗和车)。
其次，摄影图像处理部203在候选被拍摄对象挑选部260中，对各个被拍摄对象15～31，挑选是否能成为主要被拍摄对象的候选(步骤S105)。图6例示了候选被拍摄对象挑选部260的挑选被拍摄对象方法之一。
即，候选被拍摄对象挑选部260对已经进行识别脸的各个被拍摄对象15～31的一个一个提取视线，根据被提取的视线是否朝向数码相机100一侧来评价被拍摄对象(步骤S105)。
图6用实线矩形表示视线朝向数码相机100的被拍摄对象(脸)。根据这个评价，候选被拍摄对象挑选部260将视线朝向数码相机100的被拍摄对象作为能够成为主要被拍摄对象的候选被拍摄对象进行挑选(步骤S106)。
以下，候选被拍摄对象挑选部260对在步骤S101取得的全图像反复进行上述步骤S105、S106的处理，直到在摄影图像41-1上面没有了未评价的被拍摄对象为止(步骤S107：否)。当未评价的被拍摄对象没有了时(步骤S107：是)，候选被拍摄对象挑选部260进行的处理结束。
这样，被提取的视线朝向数码相机100一侧的被拍摄对象21～23、26～31，作为主要被拍摄对象的候选被挑选。其他的被拍摄对象15，16，24，25从候选被拍摄对象挑选部260的以后的处理的对象中被删除。
在图7中，例示了由候选被拍摄对象挑选部260实现的其他的评价方法。即，候选被拍摄对象挑选部260从识别的脸中提取具有笑容的特征进行评价(步骤S105)。按照与笑容的特征相关的评价(笑容的程度，即笑容度)，候选被拍摄对象挑选部260将评价值(笑容度)在规定值以上的被拍摄对象22，26，27，29，30，31作为候选被拍摄对象而加以挑选(步骤S106)。图7用实线矩形表示这些被拍摄对象(脸)。其他的被拍摄对象21，23，28从候选被拍摄对象挑选部260以后的处理的对象中删除。
并且，候选被拍摄对象挑选部260也可以识别预先登记在数码相机100中的个体(特定个人)，根据与数码相机100的用户的亲近度作为候选被拍摄对象进行评价(步骤S105)。用户和特定个人的亲近度对于每个特定个人，与用于其识别的图像特征量一起，被数码相机100预先登记及记录。例如，本实施方式中，在图像内存在的被拍摄对象里面，具有规定值以上的亲近度的特定个人，作为候选被拍摄对象而提取。
这样，候选被拍摄对象挑选部260挑选图8示例的被拍摄对象26，27，30，31(步骤S106)。因而，其他的被拍摄对象15、16、21～25、28、29，从候选被拍摄对象挑选部260以后的处理的对象中被去除。
图9给出了由候选被拍摄对象挑选部260进行评价的其他评价方法示例。候选被拍摄对象挑选部260，针对多个摄影图像41-1～41-n，提取每个被拍摄对象15～31的各单体的出现频度(涉及各摄影图像帧的各单体的出现帧数)，评价被拍摄对象(步骤S105)。再者，图9中，为了简便，例示了关于被拍摄对象26，27，30，31，在各摄影图像帧中的该被拍摄对象出现的帧。
这样，出现频度高(例如，出现帧数为10以上的)被拍摄对象26、27，被候选被拍摄对象挑选部260挑选为候选被拍摄对象(步骤S106)。因而，其他的被拍摄对象30、31，从候选被拍摄对象挑选部260以后的处理的对象中被去除。
这样，候选被拍摄对象挑选部260个别评价了被拍摄对象的脸的基础上，评价能成为主要被拍摄对象的候选的被拍摄对象。并且，候选被拍摄对象挑选部260将评价高的被拍摄对象挑选为候选被拍摄对象。由此，能够减轻在下次将要说明的主要被拍摄对象推定部270的处理的负担。
再者，当然，作为在候选被拍摄对象挑选部260中的候选被拍摄对象的评价项目及评价方法不局限于上述的例子。并且，在上述说明中，单独表示了执行候选被拍摄对象挑选部260的挑选动作的多个例子，不过，也可以组合执行这些的一部分或全部的构成。此时的评价的顺序也不仅限于上述的顺序。
图10是表示在摄影图像处理部203的主要被拍摄对象推定部270的动作工序的流程图。并且，图11到图14是示意性地表示在主要被拍摄对象推定部270中被执行的处理的图，在以下说明中随时参照。
在这里，作为一个例子，对于候选被拍摄对象挑选部260作为被拍摄对象候选，挑选被拍摄对象26，27的情况加以说明。摄影图像处理部203如图11所示，使主要被拍摄对象推定部270对于候选被拍摄对象挑选部260以是候选被拍摄对象而挑选的被拍摄对象26、27逐个作为主要被拍摄对象的单独评价(步骤S201)。作为评价的方法，例如，能例示基于在各个摄影图像41-1～41-n中的候选被拍摄对象26、27的位置的方法。
图12是示意性地表示主要被拍摄对象推定部270基于在画面421中的被拍摄对象的位置的履历评价候选被拍摄对象26、27的方法的图。在图12中，表示在一个图像上重叠显示在摄影图像41-1～41-5中的候选被拍摄对象26、27的位置。
在摄影被拍摄对象时，摄影者常常在设定摄影范围时，尽量把准备摄影的被拍摄对象设置在靠近画面中央的位置。特别是，当想摄影的被拍摄对象是在被拍摄范围内移动的动态被拍摄对象的情况下，常常是为了让想摄影的被拍摄对象尽可能靠近图像中央的位置，而移动照相机进行摄影。
因此，如图12所示，主要被拍摄对象推定部270对数码相机100的多个摄影图像41-1～41-n，分别跟踪候选被拍摄对象26、27，调查候选被拍摄对象26、27的位置被拍摄在从摄影图像41-1～41-n的各帧中心C离开了多少的位置。通过实行上述跟踪动作，比如，脸的方向是背着向后的情况等，有无法执行正常的脸识别的摄影图像帧，也能够在帧间对同一被拍摄对象建立对应关系。
并且，如后所述，在取得的多个摄影图像41-1～41-n中，在释放按钮144被按下去的定时，按照时间上靠近的定时取得的摄影图像帧中拍摄进的被拍摄对象，是符合摄影者(用户)的摄影意图的被拍摄对象的概率高。因而，比如，根据如下顺序，能使主要被拍摄对象的推定精度提高。
即，根据释放按钮144被全按操作的定时被决定的1帧的图像(例如，在后述的图14，在释放按钮144被全按后紧接之后取得的摄影图像41-3)作为初期帧。接着，涉及在时间上比初期帧还先取得的多个图像(在图14的例子中摄影图像41-2、41-1)、及，在时间上比初期帧还后取得的多个图像((在图14的例子中，摄影图像41-4、41-5、41-6)的各个，单独识别在初期帧图像中被检测出的多个被拍摄对象。接着，分别对被检测出的多个被拍摄对象判断在多个图像中的各自的位置。
主要被拍摄对象推定部270，反复进行上述的步骤S203、S204(步骤S202：否)，直至未评价的被拍摄对象没有了为止。在已经没有未评价的被拍摄对象时(步骤S202：是)，转移到在主要被拍摄对象推定部270中的步骤S203的处理。
更具体，主要被拍摄对象推定部270通过从多个摄影图像41-1～41-5的中心C到候选被拍摄对象26的距离d1，d2，d3，d4，d5所对应的值的平均值或累计值评价在多个摄影图像41-1～41-5中，候选被拍摄对象26被拍摄的位置。其次，主要被拍摄对象推定部270也可以与从多个摄影图像41-1～41-5的中心C到候选被拍摄对象27的距离D1，D2，D3，D4，D5对应的值的平均值或累计价值来评价其他的候选被拍摄对象27。
在接下来的步骤S203中，比较每个候选被拍摄对象得到的评价值(上述的例子中与离开画面中心C的距离对应的值的平均值或累计值)。根据这样的评价，明白了在图示的例子中，候选被拍摄对象27比候选被拍摄对象26还拍摄在摄影图像中心C的附近。因此，主要被拍摄对象推定部270推定候选被拍摄对象27是主要被拍摄对象。这样，摄影图像处理部203从被拍摄对象26、27中推定被拍摄对象27为主要被拍摄对象(步骤S203)。在上面的例子中，说明了以和自图像的中心C到候补被拍摄对象的距离对应于的值为基础，推定主要被拍摄对象的例子。不过，也可以是根据从各图像上的规定点到候选被拍摄对象为止的距离(例如将图像均等分割为纵横各3个时的各分割线的交点，或是从这个各交点里面的摄影画面上方的2点起的最近距离)所对应的值推定主要被拍摄对象的构成。
图13是示意性地表示主要被拍摄对象推定部270基于在画面422中的位置的履历来评价候选被拍摄对象26、27的其他方法的图。如图示，首先，在数码相机100的画面422的中央附近设定预先被确定的规定区域A。接着，对在多个摄影图像41-1～41-5中候选被拍摄对象26、27进入规定区域A的次数进行计数。再者，规定区域A的位置，不被限定在画面中央，当特别考虑构图的情况等，也可以是被设定画面中央附近以外的区域的。
这样，明白了候选被拍摄对象27在规定区域A内拍摄的次数比候选被拍摄对象26还多。因此，主要被拍摄对象推定部270，推定候选被拍摄对象27是主要被拍摄对象。
这样，摄影图像处理部203，基于涉及多个画帧的各被拍摄对象的位置，能够推定主要被拍摄对象27。但是，基于位置的履历推定主要被拍摄对象27时的评价方法不只限于上述的方法。比如，在图12所示的方法中，也可以在评价和中心C的距离D1，D2，D3，D4，D5时，不是单纯平均，而是加上统计性的处理后计算出评价值。并且，也可以评价与中心C的距离的被拍摄对象27随着时间的流逝接近画面422的中心。
图14是示意性地表示主要被拍摄对象推定部270评价候选被拍摄对象26、27的补充性的方法的图。如已经说明过的一样，数码相机100的图像取得部202能够相对于一次的摄影操作取得按照时间系列摄像的多个图像。这样，在被取得的多个摄影图像41-1～41-n中，时间上靠近释放按钮144被按下的定时的摄影图像中拍摄入的候选被拍摄对象26、27，如上所述，是符合摄影者的摄影意图的被拍摄对象的概率高。
因而，如上述那样，在评价候选被拍摄对象26、27时，也可以对于取得的定时在时间上接近释放按钮144被按下的定时的摄影图像中拍摄的候选被拍摄对象26、27加权评价。并且，也可以对于更接近于释放定时的图像中的更靠近画面421中心C的候选被拍摄对象27，或是，在更接近释放定时的图像中进入到画面421的规定区域A的候选被拍摄对象27，进一步加权来评价。这样，能使主要被拍摄对象的推定精度进一步提高。
图15是表示图像选择部280的动作工序的流程图。图像选择部280，首先，从摄影图像群410提取多个选择候选图像(步骤S301)。从摄影图像41-1～41-n，例如，以拍摄了已经被推定的主要被拍摄对象为条件的提取选择候选图像，对摄影图像41-1～41-n分别调查是否变为选择候选图像。
图像选择部280反复步骤S301(步骤S302：否)，直到没有了能够成为选择候选图像为止。如果没有能够变为选择候选图像的摄影图像时(步骤S302：是)，图像选择部280对选择候选图像分别评价主要被拍摄对象27的摄影状态(步骤S303)。
图像选择部280在成为选择的对象的摄影图像残留的期间(步骤S304：否)，对摄影图像的各々反复进行主要被拍摄对象的摄影状态的评价(步骤S303)，全部的候选图像评价结束了的时候(步骤S304：是)，在步骤S305，基于评价结果，将主要被拍摄对象的拍摄情形最佳的图像作为选择图像，结束处理。在该基础上，结束在摄影图像处理部203的图像选择处理。
接着，对步骤S303、S305的处理进行说明。图16是示意性地表示图像选择部280根据主要被拍摄对象27的摄影状态评价选择候选图像的方法的图。如果与摄影图像群410的最初的摄影图像41-1比较的话，拍摄到摄影图像41-2中的被拍摄对象11～16、21～31相同。然而，在摄影图像41-2中，由于某种理由景深变化，相对于主要被拍摄对象27的对比度，其他的被拍摄对象11～16、21～25、28～31的对比度低。
这样，在摄影图像41-2中的主要被拍摄对象27的对比度比其他的被拍摄对象11～16、21～25、28～31高时，图像选择部280判断为在该图像中主要被拍摄对象27被相对地加以强调，选择该摄影图像41-2。
再者，在摄影图像41-2中的一个被拍摄对象26因为位于主要被拍摄对象27附近，所以以和主要被拍摄对象27同等高度的对比度被摄影。然而，考虑其他的全部被拍摄对象11～16、21～25、28～31综合地进行评价的话，能够评价为被拍摄对象11～16、21～25、28～31的对比度比主要被拍摄对象27更低。
并且，也可以对于各选择候选图像的主要被拍摄对象27的区域的图像数据，算出高频分量，将这个高频分量的区域内的累积值变为最大的图像作为选择图像。高频分量的计算可以用周知的高通滤波器、DCT演算提取。这样，能从候选图像中选择在主要被拍摄对象27中有重点的图像。
图17是示意性地表示图像选择部280根据主要被拍摄对象27的摄影状态评价摄影图像的其他的方法的图。拍摄到摄影图像41-3中的被拍摄对象11～14、21～31，和摄影图像群410的最初的摄影图像41-1相同。然而，在摄影图像41-3中，主要被拍摄对象27和其他的被拍摄对象11～14、21～26、28～31的位置变化。
由此，其他的被拍摄对象11～15、16、21～26、28～31在摄影图像41-3中占的面积，比摄影图像41-1的小。这样，在摄影图像41-3中，当其他的被拍摄对象11～16、21～26、28～31所占的面积小的情况下，图像选择部280将在该摄影图像41-3中主要被拍摄对象27评价为相对地被强调，选择该摄影图像41-3。
图18是示意性地表示图像选择部280根据不要被拍摄对象15、16、21～26、28～31的摄影状态来评价选择候选图像或其他的方法的图。拍摄在摄影图像41-4中的被拍摄对象15、16、21～31和摄影图像群410的最初的摄影图像41-1相同。然而，在摄影图像41-4中，不要被拍摄对象15、16、21～26、28～31的位置分散。
由此，在摄影图像41-4中的不要被拍摄对象15、16、21～26、28～31的位置，与摄影图像41-1比较，则在摄影图像41-4的周边部分更接近。这样，在摄影图像41-4中的不要被拍摄对象15、16、21～26、28～31的位置与周边部接近时，图像选择部280评价为在该摄影图像41-4中的主要被拍摄对象27被相对地强调，选择该摄影图像41-4。
图19是示意性地表示图像选择部280根据主要被拍摄对象27摄影状态评价选择候选图像的方法的图。拍摄在摄影图像41-5中的被拍摄对象11～16、21～31和摄影图像群410的最初的摄影图像41-1相同。然而，在摄影图像41-5中，对于主要被拍摄对象27的照明很强，其他的被拍摄对象11～16、21～25、28～31相对较暗地拍摄。
这样，其他的被拍摄对象11～16、21～25、28～31相比，摄影图像41-5中的主要被拍摄对象27被明亮地拍摄的情况下，图像选择部280将在该图像中的主要被拍摄对象27评价为被相对明亮地拍摄，并选择该摄影图像41-5。
再者，在摄影图像41-5中的一个被拍摄对象26与主要被拍摄对象27同等明亮地被摄影。然而，如果合并全部的被拍摄对象11～16、21～25、28～31进行评价的话，则主要被拍摄对象27的对比度综合性地高于其他的被拍摄对象11～14、21～25、28～31。
图20是示意性地表示图像选择部280根据主要被拍摄对象27的摄影状态评价选择候选图像的其他方法的图。拍摄到摄影图像41-6中的被拍摄对象11～14、21～31和摄影图像群410的最初的摄影图像41-1相同。然而，在摄影图像41-6中，主要被拍摄对象27本身的尺寸发生很大变化的同时，主要被拍摄对象27和不要被拍摄对象11～14、21～26、28～31的大小的相对关系也发生变化。
这样，主要被拍摄对象27在摄影图像41-6中占有的面积比摄影图像41-1的大。这样，在摄影图像41-6中主要被拍摄对象27所占的面积更大的时候，图像选择部280评价为在该摄影图像41-6中主要被拍摄对象27被相对地加以强调，将该摄影图像41-6作为选择图像而选择。
也可以代替将这样的被拍摄对象27的大小与其他的被拍摄对象15、16、21～26、28～31的大小比较，将对于相对较大的选择候选图像评价为主要被拍摄对象27被强调的方法，改用将主要被拍摄对象27的大小最大的选择候选图像评价为主要被拍摄对象27被强调的方法。
图21是示意性地表示图像选择部280根据主要被拍摄对象27的摄影状态评价选择候选图像的其他方法的图。拍摄到摄影图像41-7中的被拍摄对象11～14、21～31和摄影图像群410的最初的摄影图像41-1大体上相同。然而，在摄影图像41-7中，主要被拍摄对象27的位置位于拍摄现场的中央。这样，当摄影图像41-7中的主要被拍摄对象27的位置接近摄影图像41-7的规定位置(例如，中央)时，图像选择部280评价在该摄影图像41-7中主要被拍摄对象27相对地被强调，选择该摄影图像41-7。
再者，在上述的例子中，评价了主要被拍摄对象27位置越靠近中央，越被评价为主要被拍摄对象被强调，不过，评价方法并不受此限定。例如，主要被拍摄对象27以避开在画面中央存在的所谓「太阳旗构图」为目的，也可以评价为使主要被拍摄对象27的位置，越靠近将图像区域纵横各分割成3等份的分割线，越被强调。
这样，图像选择部280评价各摄影图像41-1～41-n中的主要被拍摄对象27的摄影状态，对用户来说更重要的主要被拍摄对象27的摄影状态比其他的被拍摄对象11～16、21～26、28～31处于更良好的摄影状态，作为结果选择主要被拍摄对象27被强调的图像。
再者，由于主要被拍摄对象的评价的选择的顺序，不限定于上述的顺序。并且，用于选择的上述的评价方法也不一定全部实行。此外，上述的评价方法只不过是个例子，也可以与其他的评价项目或评价方法并用。如上所述，计算出每个评价项目的评价值，基于该评价值，将摄影图像排序。
通过以上操作，图像选择部280选择的摄影图像41-2～41-7，例如，在数码相机100被设定成重放模式时，优先地对用户出示。这样，用户能够缩短用于从多个摄影图像选择摄影图像时的选择工作时间。并且，数码相机100也可以将评价特别低的摄影图像自动地废弃，或者到用户指示可以显示为止为非显示。
这样，图像选择部280评价在各个摄影图像中被更强调的主要被拍摄对象，选择被拍摄对象的拍摄最优选的图像。因而，用户能省去从很多的摄影图像中提取选择图像的麻烦。特别是，如果配置为能够自动选定显示主要被拍摄对象的拍摄最优的1个摄影图像并选择显示的构成的话，可以显著地减少用于提取选定图像的时间并且，不是省略由用户进行的全部选择，而是扩大图像选择部280的选择范围，只减轻用户的选择的麻烦即可。此外，图像选择部280在上述处理过程中改变选择图像，而指定图像，也可以将选择交给用户。在这种情况下，图像选择部280能够以区别于其他图像的状态在背面显示部150等上显示所指定的图像。
图22是示意性地表示执行摄影条件设定程序的个人电脑500的图。个人电脑500具有显示器520、主体部530及键盘540。
主体部530通过与数码相机100的通信，能够从数码相机100取得摄影图像的图像数据。取得的图像数据可以存储在个人电脑500的存储介质中。并且，个人电脑500还具有装载应该执行的程序时使用的光驱动器532。
如上述的个人电脑500通过读入摄影图像处理程序，来执行图4、图10及图15中表示的工序的摄影图像处理装置而工作。并且，个人电脑500能够借助电缆510，从数码相机100取得摄影图像数据作为处理的对象。
即，摄影图像处理程序包括以下工序：取得按照时间序列拍摄的多个图像的图像取得工序；提取多个图像包含的互相不同的多个被拍摄对象的被拍摄对象提取工序；判断多个被拍摄对象分别在多个图像中处于哪个位置，基于多个被拍摄对象在多个图像中的各自的位置信息，推定多个被拍摄对象的哪个是多个图像中的主要被拍摄对象的主要被拍摄对象推定工序。并且，摄影图像处理程序让个人电脑500执行这些一连串的工序。
由此，用户用更大的显示器520及键盘540容易操作。通过使用个人电脑500，能高速处理更大量的图像。并且，也可以在增加被拍摄对象提取工序、主要被拍摄对象推定工序及图像选择工序的各个中的评价项目的同时，可以将评价单位设定得更细。这样，能够在更详细地反映用户的意图的同时能辅助图像选择。
再者，数码相机100及个人电脑500之间的摄影图像数据的转送，也可以像图示那样地经由电缆510，也可以是无线通讯。并且，通过接受存储了摄影图像数据的二次存储介质，也可以取得摄影图像数据。并且，摄影图像处理程序的执行不限定于个人电脑500，也可以通过铺面或在线的印刷服务设备等执行。
在上述实施方式中，说明了在步骤S105、S106中，根据基于被拍摄对象的视线检测的评价、基于被拍摄对象的笑容度的评价、基于出现频率(涉及各摄影图像帧的各固体的出现帧数)的评价，在提取了主要被拍摄对象的候选被拍摄对象的基础上，基于相当于从图像中心C到候选被拍摄对象为止的距离的值，或者在画面内的规定区域拍摄了各候选被拍摄对象的帧数来推定主要被拍摄对象的例子。然而，还能像下面那样进行变形。
即，CPU210首先，对按照时间系列取得的多个帧图像，实行了脸识别之后，对被识别的多个脸的各个脸执行跟踪动作。这样，在以时间系列取得的多个摄影图像帧之间，执行与被识别的脸的对应。作为这时的跟踪动作的初期帧，例如，选择释放按钮144被全按下操作的紧接之后取得的图像，以这个初期帧中的各脸的坐标为起点，对于在时间上比这个先取得的帧以及在时间上后取得的帧执行各个跟踪动作。这样的跟踪动作，例如利用以用脸识别被提取的脸区域作为模板实行模板匹配。
这样做，如上所述，能够对于各脸，计算出与从各帧中的图像中心C到候选被拍摄对象为止的距离对应的值的平均值或者累积值，或是，各候选被拍摄对象被拍摄在画面内的规定区域的帧数，基于这些，通过与上述的情况相同的手法推定主要被拍摄对象。
此时，如在上述实施方式中说明过的那样，也可以对接近释放按钮144被操作的定时的图像加权进行评价。这样做，在一连串的摄影图像中，推定摄影者打算摄影的主要被拍摄对象的同时，指定该主要被拍摄对象在各图像帧中的位置、区域。
其次，在被推定的主要被拍摄对象的各摄影图像帧中的拍摄情况以其图像特性为基础进行评价。基于图像特性的主要被拍摄对象的拍摄情况的评价，能够通过在步骤S105、S106说明过的根据被拍摄对象的视线检测的评价、根据被拍摄对象的笑容度的评价、参照图16说明的主要被拍摄对象的对比度评价、使用了主要被拍摄对象区域的图像数据的高频分量的评价、参照图17、图20说明的主要被拍摄对象的大小，参照图18、图21说明的主要被拍摄对象、其他的被拍摄对象的位置、参照图19说明的主要被拍摄对象的亮度等执行。
并且，除此之外，根据被推定的主要被拍摄对象区域的图像数据的高频分量，评价的主要被拍摄对象的抖动和/或模糊程度、主要被拍摄对象的方向、主要被拍摄对象的隐藏(遮挡)、主要被拍摄对象是否闭着眼，主要被拍摄对象的一部分或全部是否从摄影图像帧中出镜等，能够评价主要被拍摄对象的拍摄情况。并且，进一步组合这些方法的一部分或全部，也可以评价主要被拍摄对象的拍摄情况。
上述的主要被拍摄对象的一部分出镜的判断，例如，通过将主要被拍摄对象区域的大小和位置在时间系列间顺次比较，检测出主要被拍摄对象区域的位置与摄影图像帧的画面端部相接，且与其大小的时间序列图像的时间上相邻的帧相比较小来判断。
并且，主要被拍摄对象全部的出镜不能推定主要被拍摄对象，即，由于存在主要被拍摄对象不存在的摄影图像帧，在摄影图像帧间对应各被拍摄对象的上述的跟踪动作，可以通过检测出在该摄影图像帧不能执行来判断。
可以自动地执行这样的评价，将主要被拍摄对象的拍摄情况恰当的优先对摄影者提示。并且，对于主要被拍摄对象的拍摄不优选的帧图像，也可以对用户提示为删除图像候选。此外，上述主要被拍摄对象的推定处理，主要是被拍摄对象推定部270基于在取景图像拍摄(预摄影中)中得到的摄像图像数据来进行，将在其后进行的静止图像拍摄之前得到的取景图像中的主要被拍摄对象的位置/区域信息与正式摄影的静止图像数据相关联，图像处理部330在二次存储介质322中存储。另外，基于在上述静止图像正式拍摄之前得到的取景图像中的主要被拍摄对象的位置/区域信息，主要被拍摄对象推定部270比如通过模板匹配，从正式摄影静止图像中推定主要被拍摄对象的位置、区域，将该位置/区域信息与正式摄影静止图像数据相关联进行存储的构成也可。有了这样的构成，可以省略由用户编辑正式摄影静止图像的被拍摄对象区域时设定主要被拍摄对象的区域的麻烦。此外，在取景图像(或动态视频)的摄影中，使用被拍摄的取景图像(或动态视频)的数据，主要被拍摄对象推定部270通过上述方法推定主要被拍摄对象，为了其后的取景图像(或者是动态视频，或者是静止图像的正式摄影图像)的摄影，也可以是自动设置自动对焦部340取得为了进行自动对焦动作的评价值的画面内的区域的构成，例如，也可以是用在取景图像摄影开始后得到的10帧，通过上述手法推定主要被拍摄对象区域，设定上述评价值取得范围，其后，以相关区域的图像数据为基础，例如，通过模板匹配，进行主要被拍摄对象的跟踪动作，使该区域的位置随时更新而进行自动对焦动作的构成。如果采用这样的构成，可以无需用户设置相关区域也能进行自动对焦操作。此外，还可以容易地得到只有被推定的主要被拍摄对象的区域为彩色图像，其他区域的图像数据中，比如将色差图像数据设定成0，形成黑白化等单色的特殊效果图像。在取景图像(或动态视频)摄影时，如果采用将相应的图像在背面显示部150显示的构成的话，则特别是在背面显示部150的显示面积小的情况下，或者在主要被拍摄对象较小的时候，用户也可以很容易地掌握在画面内的主要被拍摄对象的位置，可以通过移动摄像装置，使主要被拍摄对象的位置最优选，而很容易地获得恰当构图的图像。
以上，利用实施方式说明了本发明，但是本发明的技术范围不受以上的实施方式记载的范围所限定。本领域技术人员明白，对上述实施例能够加以多种多样的改良和变更。根据权利要求书的记载可以明确，实施了这样的变更和改良的实施方式也包含在本发明的技术范围之内。
并且，对于权利要求书、说明书以及附图中所示的装置、系统、程序以及方法中的动作、工序、步骤以及阶段等各处理的执行顺序，只要未特别明示为「在...之前」、「比...之前」等，且只要未将前处理的输出用于后处理中，则可按任意顺序实现。关于权利要求书、说明书以及附图中的动作流程，即使为方便起见而使用「首先」、「其次」等字样进行说明，但并非意味着必须按该顺序实施。
标记的说明
11～31被拍摄对象，100数码相机，110机箱，120镜筒，122摄影透镜，130发光窗，140操作部，141十字键，142电源开关，143背面按钮，144释放按钮，146变焦杆，150背面显示部，200内部电路，201控制部，202图像取得部，203摄影图像处理部，210CPU，220显示驱动部，230程序存储器，240主内存，250被拍摄对象提取部，260候选被拍摄对象挑选部，270主要被拍摄对象推定部，280图像选择部，310摄像元件驱动部，312摄像元件，320模拟/数字转换部，330图像处理部，332次存储介质，340自动对焦部，350测光传感器，360变倍驱动部，370输入部，410摄影图像群，41-1～41-n摄影图像，421、422画面，500个人电脑，510电缆，520显示器，530主体部，532光驱动器，540键盘

Claims (15)

1.一种图像处理装置，具有：
图像取得部，用于取得按照时间系列摄像的多个图像；
被拍摄对象提取部，其提取所述多个图像中包含的彼此不同的多个被拍摄对象；
主要被拍摄对象推定部，其判断所述多个被拍摄对象分别在所述多个图像处于哪个位置，基于所述多个被拍摄对象在所述多个图像中的各自的位置信息，推定所述多个被拍摄对象的哪个是所述多个被拍摄对象中的主要被拍摄对象。
2.根据权利要求1所述的图像处理装置，其中，
所述主要被拍摄对象推定部按照所述多个被拍摄对象分别在所述多个图像中的各自的位置的履历信息，推定所述多个被拍摄对象的哪个是主要被拍摄对象。
3.根据权利要求1所述的图像处理装置，其中，
所述被拍摄对象提取部作为所述多个被拍摄对象而检测出多个脸，
所述主要被拍摄对象推定部通过涉及所述多个图像个别地跟踪所述多个脸的每一个来判断在多个被拍摄对象分别在所述多个图像中的各自的位置。
4.根据权利要求1所述的图像处理装置，其中，
所述主要被拍摄对象推定部分别对于所述多个被拍摄对象，根据自所述多个图像中彼此相同的该图像内的基准位置开始的距离所对应的值来推定所述主要被拍摄对象。
5.根据权利要求1所述的图像处理装置，其中，
所述主要被拍摄对象推定部分别对于所述多个被拍摄对象，根据所述多个图像中彼此相同的该图像内的基准区域所存在的帧数推定所述主要被拍摄对象。
6.根据权利要求1所述的图像处理装置，其中，
所述主要被拍摄对象推定部对于所述多个图像中，在所述的时间系列上更接近于指示了摄像的定时的图像中出现的被拍摄对象加权后评价。
7.根据权利要求1所述的图像处理装置，其中，
还具有图像指定部，对于所述多个图像，按照对所述主要被拍摄对象推定部所推定的所述主要被拍摄对象的区域的图像特性进行评价的结果，从所述多个图像中指定主要被拍摄对象的拍摄最优选的图像。
8.根据权利要求7所述的图像处理装置，其中，
所述图像指定部至少指定以下任意一个图像：在所述多个图像中所述主要被拍摄对象推定部所推定的所述主要被拍摄对象的区域的对比度或高频分量更大的图像、
所述主要被拍摄对象的区域所占的面积更大的图像、
所述主要被拍摄对象的区域的位置更靠近中央的图像、以及
将所述主要被拍摄对象的至少一部分出镜的图像去除了的图像。
9.根据权利要求7所述的图像处理装置，其中，
所述主要被拍摄对象是人物，所述图像指定部，基于所述多个图像中所述主要被拍摄对象推定部所推定的主要被拍摄对象的模糊程度、抖动程度、视线方向、眼睛的开闭状态、笑容的程度中的至少一个来指定所述主要被拍摄对象的拍摄最优选的图像。
10.一种摄像装置，具有：
权利要求1所述的图像处理装置、
由用户操作的释放按钮、
相对于所述释放按钮的一次操作，拍摄所述多个图像的摄像部。
11.根据权利要求10所述的摄像装置，其中，
所述被拍摄对象提取部在由所述释放按钮的操作定时决定的所述多个图像中的一个图像中，提取所述多个被拍摄对象，
所述主要被拍摄对象推定部，将相应图像作为初始期帧，对在时间上比该初期帧先取得的所述多个图像，以及在时间上比该初期帧更后取得的所述多个图像的每个，单独跟踪所述多个被拍摄对象，由此判断多个被拍摄对象分别在所述多个图像中的各自的位置。
12.一种摄像装置，包括：
权利要求1所述的图像处理装置；
将所述多个图像作为预备摄影图像而摄像，并且在所述预备摄影图像的摄像后进行正式图像的摄像的摄像部；以及
进行所述摄影部的对焦动作的自动对焦部，
所述主要被拍对象推定部采用所述预备摄影图像推定所述主要被拍摄对象，并且推定所述主要被拍摄对象的画面内的位置，
所述自动对焦部在以后的预备摄影图像的摄影中，基于由所述主要被拍摄对象推定部推定出的所述主要被拍摄对象的画面内的位置，设定对焦的区域。
13.根据权利要求12所述的摄像装置，其中，
还具有存储部，该存储部与所述正式图像对应，存储被所述主要被拍摄对象推定部采用所述正式图像的摄影前的所述预备摄影图像推定的所述主要被拍摄对象在画面内的位置。
14.根据权利要求12所述的摄像装置，还具有显示图像的显示部，
所述表示部，用彩色表示包含被所述主要被拍摄对象推定部推定的所述主要被拍摄对象的区域，并用黑白表示其他的区域。
15.一种记录介质，记录有使计算机执行以下工序的程序：
图像取得工序，用于取得按时间系列摄像的多个图像；
被拍摄对象提取工序，提取所述多个图像中包含的互相不同的多个被拍摄对象；
主要被拍摄对象推定工序，判断所述多个被拍摄对象分别在所述多个图像中处于哪个位置，基于所述多个被拍摄对象分别在所述多个图像中的位置信息，推定所述多个被拍摄对象的哪一个是所述多个图像中的主要被拍摄对象。
CN2012100186779A 2011-01-25 2012-01-20 图像处理装置、摄像装置及记录介质 Pending CN102625036A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011013216A JP5246275B2 (ja) 2011-01-25 2011-01-25 撮像装置およびプログラム
JP2011-013216 2011-01-25

Publications (1)

Publication Number Publication Date
CN102625036A true CN102625036A (zh) 2012-08-01

Family

ID=46564706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100186779A Pending CN102625036A (zh) 2011-01-25 2012-01-20 图像处理装置、摄像装置及记录介质

Country Status (3)

Country Link
US (1) US20120206619A1 (zh)
JP (1) JP5246275B2 (zh)
CN (1) CN102625036A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607538A (zh) * 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 拍摄方法及拍摄装置
CN104660904A (zh) * 2015-03-04 2015-05-27 深圳市欧珀通信软件有限公司 拍摄主体识别方法及装置
CN105204624A (zh) * 2015-08-28 2015-12-30 努比亚技术有限公司 拍摄模糊处理方法及装置
CN107493429A (zh) * 2017-08-09 2017-12-19 广东欧珀移动通信有限公司 自拍照片的自拍杆屏蔽方法和装置
CN109729268A (zh) * 2018-12-26 2019-05-07 武汉市澜创信息科技有限公司 一种人脸拍摄方法、装置、设备及介质
CN109981967A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 用于智能机器人的拍摄方法、装置、终端设备及介质
CN110830712A (zh) * 2019-09-16 2020-02-21 幻想动力(上海)文化传播有限公司 一种自主摄影系统和方法
CN110892444A (zh) * 2017-06-29 2020-03-17 林克物流有限公司 去除影像中的待处理对象的方法及执行该方法的装置
CN111368698A (zh) * 2020-02-28 2020-07-03 Oppo广东移动通信有限公司 主体识别方法、装置、电子设备及介质
CN112733650A (zh) * 2020-12-29 2021-04-30 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质
CN115474002A (zh) * 2021-04-30 2022-12-13 苹果公司 用于更改视觉媒体的用户界面
US11687224B2 (en) 2017-06-04 2023-06-27 Apple Inc. User interface camera effects
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11895391B2 (en) 2018-09-28 2024-02-06 Apple Inc. Capturing and displaying images with multiple focal planes
US11962889B2 (en) 2016-06-12 2024-04-16 Apple Inc. User interface for camera effects

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611592B2 (en) * 2009-08-26 2013-12-17 Apple Inc. Landmark identification using metadata
JP5987306B2 (ja) * 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US9049382B2 (en) * 2012-04-05 2015-06-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
EP2838253A4 (en) * 2012-04-09 2015-10-07 Sony Corp DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM
JP2015111746A (ja) 2012-04-09 2015-06-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN104919791A (zh) 2013-01-09 2015-09-16 索尼公司 图像处理设备、图像处理方法以及程序
JP6337779B2 (ja) * 2013-01-09 2018-06-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP6303297B2 (ja) * 2013-06-14 2018-04-04 富士通株式会社 端末装置、視線検出プログラムおよび視線検出方法
US9736381B2 (en) * 2014-05-30 2017-08-15 Intel Corporation Picture in picture recording of multiple regions of interest
EP2975576A1 (en) * 2014-07-15 2016-01-20 Thomson Licensing Method of determination of stable zones within an image stream, and portable device for implementing the method
JP2016142658A (ja) * 2015-02-03 2016-08-08 オリンパス株式会社 状況把握装置、状況把握方法、及び状況把握のためのプログラム
CN104639839B (zh) * 2015-03-16 2017-09-19 广东欧珀移动通信有限公司 拍摄方法及装置
JP6640460B2 (ja) * 2015-03-30 2020-02-05 富士フイルム株式会社 画像撮影装置、画像撮影方法、プログラムおよび記録媒体
US20170054897A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Co., Ltd. Method of automatically focusing on region of interest by an electronic device
JP6440604B2 (ja) * 2015-09-29 2018-12-19 富士フイルム株式会社 被写体評価システム，被写体評価方法，被写体評価プログラムおよびそのプログラムを格納した記録媒体
US20170272660A1 (en) 2016-03-17 2017-09-21 Casio Computer Co., Ltd. Imaging device configured to control a region of imaging
CN105915805A (zh) * 2016-06-15 2016-08-31 北京光年无限科技有限公司 一种用于智能机器人的拍照方法
JP6274272B2 (ja) * 2016-08-03 2018-02-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
KR20180052002A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
US10136049B2 (en) * 2017-01-09 2018-11-20 International Business Machines Corporation System, method and computer program product for contextual focus/zoom of event celebrities
EP3662411A1 (en) * 2017-08-01 2020-06-10 Apple Inc. Biometric authentication techniques
US11151235B2 (en) 2017-08-01 2021-10-19 Apple Inc. Biometric authentication techniques
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
JP2021150760A (ja) * 2020-03-18 2021-09-27 キヤノン株式会社 撮像装置およびその制御方法
JP6785481B1 (ja) * 2020-05-22 2020-11-18 パナソニックＩｐマネジメント株式会社 画像追尾装置
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
JP2021197623A (ja) * 2020-06-12 2021-12-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
EP4101156A1 (en) * 2021-04-30 2022-12-14 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
CN114222058B (zh) * 2021-11-15 2022-12-06 深圳南天东华科技有限公司 跟随式电子支付机器及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260894A (ja) * 2004-03-15 2005-09-22 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2006295707A (ja) * 2005-04-13 2006-10-26 Fuji Photo Film Co Ltd 画像再生装置及び像ブレ補正プログラム
US20080008361A1 (en) * 2006-04-11 2008-01-10 Nikon Corporation Electronic camera and image processing apparatus
CN101246541A (zh) * 2007-02-16 2008-08-20 索尼株式会社 图像处理设备和方法、图像拾取设备、以及计算机程序
US20090268074A1 (en) * 2008-03-07 2009-10-29 Panasonic Corporation Imaging apparatus and imaging method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置
JP2009239391A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 複眼撮影装置およびその制御方法並びにプログラム
JP2010021943A (ja) * 2008-07-14 2010-01-28 Sanyo Electric Co Ltd 撮像装置
US20100074557A1 (en) * 2008-09-25 2010-03-25 Sanyo Electric Co., Ltd. Image Processing Device And Electronic Appliance
JP5231178B2 (ja) * 2008-11-11 2013-07-10 オリンパスイメージング株式会社 カメラ
JP5127686B2 (ja) * 2008-12-11 2013-01-23 キヤノン株式会社 画像処理装置および画像処理方法、ならびに、撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260894A (ja) * 2004-03-15 2005-09-22 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2006295707A (ja) * 2005-04-13 2006-10-26 Fuji Photo Film Co Ltd 画像再生装置及び像ブレ補正プログラム
US20080008361A1 (en) * 2006-04-11 2008-01-10 Nikon Corporation Electronic camera and image processing apparatus
CN101246541A (zh) * 2007-02-16 2008-08-20 索尼株式会社 图像处理设备和方法、图像拾取设备、以及计算机程序
US20090268074A1 (en) * 2008-03-07 2009-10-29 Panasonic Corporation Imaging apparatus and imaging method

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587847B2 (en) 2013-11-07 2020-03-10 Beijing Zhigu Rui Tuo Tech Co., Ltd Content capture and transmission of data of a subject to a target device
CN103607538A (zh) * 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 拍摄方法及拍摄装置
CN104660904A (zh) * 2015-03-04 2015-05-27 深圳市欧珀通信软件有限公司 拍摄主体识别方法及装置
CN105204624A (zh) * 2015-08-28 2015-12-30 努比亚技术有限公司 拍摄模糊处理方法及装置
CN105204624B (zh) * 2015-08-28 2018-09-04 努比亚技术有限公司 拍摄模糊处理方法及装置
US11962889B2 (en) 2016-06-12 2024-04-16 Apple Inc. User interface for camera effects
US11687224B2 (en) 2017-06-04 2023-06-27 Apple Inc. User interface camera effects
CN110892444A (zh) * 2017-06-29 2020-03-17 林克物流有限公司 去除影像中的待处理对象的方法及执行该方法的装置
CN107493429B (zh) * 2017-08-09 2020-01-10 Oppo广东移动通信有限公司 自拍照片的自拍杆屏蔽方法和装置
CN107493429A (zh) * 2017-08-09 2017-12-19 广东欧珀移动通信有限公司 自拍照片的自拍杆屏蔽方法和装置
CN109981967A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 用于智能机器人的拍摄方法、装置、终端设备及介质
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11895391B2 (en) 2018-09-28 2024-02-06 Apple Inc. Capturing and displaying images with multiple focal planes
CN109729268B (zh) * 2018-12-26 2021-03-02 武汉市澜创信息科技有限公司 一种人脸拍摄方法、装置、设备及介质
CN109729268A (zh) * 2018-12-26 2019-05-07 武汉市澜创信息科技有限公司 一种人脸拍摄方法、装置、设备及介质
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN110830712A (zh) * 2019-09-16 2020-02-21 幻想动力(上海)文化传播有限公司 一种自主摄影系统和方法
CN111368698A (zh) * 2020-02-28 2020-07-03 Oppo广东移动通信有限公司 主体识别方法、装置、电子设备及介质
CN111368698B (zh) * 2020-02-28 2024-01-12 Oppo广东移动通信有限公司 主体识别方法、装置、电子设备及介质
CN112733650A (zh) * 2020-12-29 2021-04-30 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质
CN112733650B (zh) * 2020-12-29 2024-05-07 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
CN115474002A (zh) * 2021-04-30 2022-12-13 苹果公司 用于更改视觉媒体的用户界面

Also Published As

Publication number Publication date
US20120206619A1 (en) 2012-08-16
JP5246275B2 (ja) 2013-07-24
JP2012156704A (ja) 2012-08-16

Similar Documents

Publication Publication Date Title
CN102625036A (zh) 图像处理装置、摄像装置及记录介质
US10477093B2 (en) Method for capturing image and image capturing apparatus for capturing still images of an object at a desired time point
CN105516582B (zh) 摄像装置以及摄像装置的控制方法
CN101600054B (zh) 照相机及照相机的控制方法
CN101118366B (zh) 摄像设备及其控制方法
CN103988490B (zh) 图像处理装置、图像处理方法和记录介质
CN102754426B (zh) 通过亮度和运动选择拍摄条件
US8736689B2 (en) Imaging apparatus and image processing method
CN101312502B (zh) 图像拍摄装置、图像再现装置以及图像拍摄方法
CN105359502B (zh) 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
CN105516611A (zh) 摄像装置和摄影方法
CN101621628A (zh) 摄影装置、摄影条件的设定方法及记录介质
CN102404503B (zh) 自动调焦设备和摄像设备
JPWO2007132870A1 (ja) タイムラプス撮影装置
CN103842903B (zh) 成像设备、成像方法以及程序
CN101115139A (zh) 拍摄装置和曝光控制方法
CN103248815A (zh) 摄像装置、摄像方法
CN101359150B (zh) 摄像设备及其控制方法
CN103004179A (zh) 跟踪装置和跟踪方法
KR101046041B1 (ko) 촬상 장치
CN103188440A (zh) 摄像装置以及摄像方法
CN107306326A (zh) 摄像装置和摄像方法
JP2013012124A (ja) 画像処理装置、撮像装置およびプログラム
CN101561872A (zh) 图像处理装置
CN103312979B (zh) 摄影设备以及摄影设备的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120801

WD01 Invention patent application deemed withdrawn after publication