CN103428464B - 被摄体识别设备和被摄体识别方法 - Google Patents

Abstract

本发明提供一种被摄体识别设备和被摄体识别方法，单独地识别多个被摄体，或者集中识别多个被摄体。因此，本发明的被摄体识别设备构成为包括：图像输出部，其获取多个被摄体像而输出图像；检测部，其检测上述图像内的多个被摄体像；第1识别部，其识别上述检测到的多个被摄体像；以及第2识别部，其集中识别上述检测到的多个被摄体像。

Description

被摄体识别设备和被摄体识别方法

技术领域

本发明涉及具有多重记录功能的被摄体识别设备及其方法。

背景技术

近年来，如下所述的动态图像摄影设备得到实用化：在通过摄录一体机或数码相机等动态图像摄影设备，进行使用了一个动态图像摄影设备的动态图像摄影时，同时获取与全摄影范围内的多个区域对应的多个动态图像，例如通过具备多个图像处理引擎，使得能够同时记录不同的动态图像，从而实现所谓多重记录功能。

例如，通过日本特开2010-268019号公报公开的摄影设备具有获取包含第2图像（一部分区域）的第1图像（全体）的图像获取单元、和与第1图像大致同时获取与第1图像不同的第2图像的图像获取单元这两个图像获取单元，进行向第1图像合成第2图像的处理，对其结果得到的合成静态图像进行记录。

但是，上述通过日本特开2010-268019号公报公开的单元构成为，将通过对所获取的两个静态图像进行合成，得到其合成静态图像作为主要目标，没有公开例如获取多个动态图像，利用这些动态图像的内容。

近年来，用户能够使用普遍普及的便宜的小型摄录一体机或数码相机，非常容易地进行高画质的动态图像摄影。因此，对动态图像进行摄影的机会急速地增加，不仅期望实现以往的静态图像，还期望实现动态图像的摄影手法的多样化。

发明内容

本发明的目的在于，提供如下所述的被摄体识别设备及其方法，该被摄体识别设备包括：图像输出部，其获取多个被摄体像而输出图像；检测部，其检测上述图像内的多个被摄体像；第1识别部，其识别检测到的上述多个被摄体像；以及第2识别部，其集中识别检测到的上述多个被摄体像。

本发明的一方式的被摄体识别设备，包括：图像输出部，其获取多个被摄体像而输出图像；检测部，其检测上述图像内的多个被摄体像；第1识别部，其识别检测到的上述多个被摄体像；以及第2识别部，其集中识别检测到的上述多个被摄体像。

另外，在本发明的一方式的被摄体识别方法中，获取多个被摄体像而输出图像；检测上述图像内的多个被摄体像；识别检测到的上述多个被摄体像；以及集中识别检测到的上述多个被摄体像。

根据本发明，提供如下所述的被摄体识别设备及其方法，该被摄体识别设备包括：图像输出部，其获取多个被摄体像而输出图像；检测部，其检测上述图像内的多个被摄体像；第1识别部，其识别检测到的上述多个被摄体像；以及第2识别部，其集中识别检测到的上述多个被摄体像。

可以从以下的详细说明明确本发明的目的和利益。

附图说明

图1A～图1F是说明第1实施方式的概念的图。

图2是示出第1实施方式的动态图像摄影设备的内部结构的概略的结构图。

图3是示出第1实施方式的动态图像摄影设备的摄影动作时的处理的流程图。

图4A～图4E是示出在第1实施方式中显示摄影对象框，并且设定记录模式时的概略的图。

图5A～图5F是示出与图3的处理对应，动态图像摄影时的摄影对象框的变化的图。

图6A～图6F是示出将在图5A～图5F的各时机记录的第1被摄体作为主要被摄体的动态图像的变化的图。

图7A～图7F是示出将在图5A～图5F的各时机记录的第2被摄体作为主要被摄体的动态图像的变化的图。

图8是示出在第1实施方式的显示部上显示的图像的、在画面上假设的坐标的图。

图9是示出第1实施方式的摄影对象框重叠判定的流程图。

图10是示出在第1实施方式的显示部上显示的多个摄影对象框的坐标的图。

图11是示出在第1实施方式的显示部上显示的合成摄影对象框的坐标的图。

图12是示出第1实施方式的合成摄影对象框的X1的判定的流程图。

图13是示出第1实施方式的合成摄影对象框的X2的判定的流程图。

图14是示出第1实施方式的合成摄影对象框的Y1的判定的流程图。

图15是示出第1实施方式的合成摄影对象框的Y2的判定的流程图。

图16A～图16D是示出第1实施方式的画面上的两个摄影对象框变更为合成摄影对象框的情况的概念图。

图17是示出图16A～图16D的摄影对象框的放大时和缩小时的X轴上的点的迁移的图。

图18是示出图16A～图16D的摄影对象框的放大时和缩小时的Y轴上的点的迁移的图。

因19是第2、第3实施方式的被摄体监视设备的结构图。

具体实施方式

（第1实施方式）

以下，通过图示的第1实施方式对本发明进行说明。本实施方式是在作为被摄体识别设备之一的动态图像摄影设备中应用了本发明时的例示。本实施方式的动态图像摄影设备使用摄像元件对通过光学透镜形成的光学像进行光电转换，将由此得到的图像信号转换成表示动态图像的数字图像数据。由此生成的数字图像数据记录在记录介质中。并且，根据记录在记录介质中的数字图像数据，在显示部上再现显示动态图像。动态图像摄影设备如上所述构成，且具有多个图像处理引擎，从而以通过预定的操作来获取多个数字图像数据的方式构成。

在用于以下说明的各附图中，为了使各构成要素成为能够在附图上识别的程度的大小，有时对每个构成要素使用不同的比例尺来示出。因此在本发明中，在这些附图中记载的构成要素的数量、构成要素的形状、构成要素的大小的比率以及各构成要素的相对的位置关系不仅限定于图示的方式。

图1A～图1F是说明本实施方式的概念的图。图2是示出本实施方式的动态图像摄影设备的内部结构的概略的块结构图。图3～图18是说明本实施方式的动态图像摄影设备中的动作的图。其中，图3是示出本实施方式的动态图像摄影设备的动态图像摄影时的处理的流程图。

图4A～图4E是示出在本实施方式的动态图像摄影设备中，进行触摸操作来显示摄影对象框，并且设定记录模式时的概略的图。图5A～图5F是示出与图3的处理对应，动态图像摄影时的摄影对象框的变更的图。图6A～图6F、图7A～图7F是示出在图5A～图5F的各时机记录的动态图像的变化的图，图6A～图6F示出将第1被摄体作为主要被摄体的动态图像，图7A～图7F示出将第2被摄体作为主要被摄体的动态图像。图8示出本实施方式的动态图像摄影设备的显示部的画面上的坐标。图9是示出在本实施方式的动态图像摄影设备的画面中、判定两个摄影对象框的重叠时的“摄影对象框重叠判定”的流程图。图10是示出在本实施方式的动态图像摄影设备的显示部上显示的多个摄影对象框的坐标的图。图11是在本实施方式的动态图像摄影设备的显示部上显示的合成摄影对象框的坐标的图。

图12～图14是示出生成合成摄影对象框并显示时的“合成摄影对象框生成”的流程图。其中，图12示出合成摄影对象框的X1的判定，图13示出合成摄影对象框的X2的判定，图14示出合成摄影对象框的Y1的判定，图15示出合成摄影对象框的Y2的判定。图16A～图16D是示出在画面中两个摄影对象框变更为合成摄影对象框时的情况的概念图。图17、图18是将图16A～图16D的摄影对象框尺寸变更时的情况图表化的图。图17示出摄影对象框的放大时和缩小时的X轴上的点的迁移，图18示出Y轴上的点的迁移。

首先，使用图1A～图1F简单地对本实施方式的概念进行说明。摄影者为了使用本实施方式的动态图像摄影设备将多个被摄体作为摄影对象进行摄影，将动态图像摄影设备朝向期望的摄影对象。此时，在动态图像摄影设备的显示部60的画面上显示图1A～图1F所示的图像。此时，标号101、102是成为摄影对象的多个被摄体，分别称为第1被摄体101、第2被摄体102。

另外，图1A所示的标号67a、67b是可识别地显示第1被摄体101、第2被摄体102的识别用框、即摄影对象框，是第1辅助图像。该摄影对象框相当于对通过一般的脸检测功能检测到的脸图像区域自动地附上的脸检测框。

关于摄影对象框，也可以通过操作触摸屏，从正在画面上显示中的图像中选择期望的被摄体，接受该选择结果来进行显示。即使此时，也可以在显示了通过脸检测功能检测到的脸检测框之后，作为选择该脸检测框时的候选。摄影者观察显示候选的显示，通过预定的操作选择期望的被摄体。由此，将摄影对象框重叠显示在所选择的被摄体上。

图1A是摄影准备状态，示出刚设定了对于摄影对象内的多个（本实施方式中为两个）被摄体的摄影对象框（67a、67b）之后的状态。如上所述，当设定了摄影对象框时，在各摄影对象框按照对应的被摄体的运动进行追踪的同时检测各被摄体的位置。因此，脸检测功能还作为位置检测部来发挥功能。

接着，设定进行动态图像摄影时的记录模式。记录模式是如下所述的模式：

以被摄体的脸为主进行记录的脸特写模式；

以使包含被摄体的脸的上半身进入的方式进行记录的上半身特写模式；以及

以使包含被摄体的脸在内的全身进入的方式进行记录的全身模式。

在上半身特写模式中，设定以检测到的脸为中心，朝向其脸的下侧且高度为脸的2倍的摄影对象框。在全身模式中，设定以检测到的脸为中心，朝向其脸的下侧且高度为脸的5倍的摄影对象框。但是，在上半身特写模式、全身模式中，虽然都以脸为起始点设定与上述的各模式对应的摄影对象框，但是此时对从显示部60的画面伸出的部分进行剪切等，自动地进行摄影对象框尺寸的调整。该调整是通过后述的记录区域设定部68进行的。

摄影者能够任意地选择这些记录模式。该选择操作是操作触摸屏等输入装置来进行的。并且，摄影对象框按照各记录模式而不同。因此，摄影对象框还作为可识别地显示记录模式的识别用显示框发挥功能。

如图1B所示，当摄影者选择了记录模式时，显示所选择的摄影对象框69a、69b（第1识别部），各摄影对象框包含各被摄体像。摄影对象框69a基于包含第1被摄体101的脸检测框67a，摄影对象框69b基于包含第2被摄体102的脸检测框67b。该摄影对象框69a、69b也按照分别对应的被摄体的运动进行追踪。

在该状态下，当摄影者为了开始动态图像摄影而进行了释放操作时，开始与摄影对象框69a、69b对应的多个动态图像摄影（第1图像）。如上所述，摄影对象框69a、69b示出摄影对象的主要区域。因此，实际的动态图像被记录为将摄影对象框69a、69b作为主要区域来包含的预定的纵横比为16：9或4：3等的动态图像。另外，除了将这些各被摄体作为主要被摄体的多个动态图像以外，也可以将显示在画面上的全体图像同时记录为动态图像。将此时的情况示出在图1C。

当从图1C的状态继续进行动态图像摄影时，在画面内的多个被摄体101、102中产生运动。并且，如图1D所示，当被摄体101、102在画面内向靠近方向运动时，两个摄影对象框69a、69b重叠预定量以上。

于是，如图1E所示，两个摄影对象框69a、69b变更为一个大的摄影对象框69c（第2识别部）。该新的摄影对象框69c是以包含两个摄影对象框69a、69b对应的两个被摄体101、102的方式，根据两个摄影对象框69a、69b而生成的合成摄影对象框。该合成摄影对象框的尺寸根据两个摄影对象框69a、69b的尺寸来设定。在两个摄影对象框69a、69b的尺寸不同时，根据大的摄影对象框（在本实施方式中为摄影对象框69b）的尺寸来设定合成摄影对象框69c（第2辅助图像）。并且，将合成摄影对象框69c作为主要区域的一个动态图像（第2图像）接着上述两个动态图像各个而记录。

此时，原来的两个摄影对象框69a、69b的数据被保持，只是不进行显示，但继续进行针对各个对应的被摄体的追踪。

当在图1E的状态下继续进行动态图像摄影时，被摄体101、102在画面内向离开的方向运动。并且，当与两个被摄体101、102分别对应的两个摄影对象框69a、69b（此时处于非显示状态）的重叠成为预定量以下时，如图1F所示，摄影对象框69c再次变更为两个摄影对象框69a、69b，接着继续进行不同的多个动态图像摄影。

接着，以下使用图2说明本实施方式的动态图像摄影设备（以下，称为摄录一体机1）的内部结构的概略。

如图2所示，本实施方式的摄录一体机1由摄影光学系统41、光圈机构部42、镜头驱动器43、光圈驱动器44、快门机构部51、快门驱动器45、摄像元件52、模拟处理部53、模拟数字转换部（以下，称为AD转换部）54、AE处理部55、AF处理部56、图像处理部57、图像压缩解压缩部58、显示驱动器59、显示部60、存储器接口（以下，称为存储器IF）61、记录介质62、SDRAM63、闪存64、操作部65、控制部66、脸检测部67、记录区域设定部68、摄影对象框显示部79、电源电路70、通信用总线73等构成。图2的标号O表示摄影光学系统41的光轴。

摄影光学系统41是如下所述的单元：使来自被摄体的光束透射而形成被摄体像，使该被摄体像成像在摄像元件52的受光面上。摄影光学系统41由沿着光轴O并列配设的多个光学透镜、分别支撑这些多个光学透镜的透镜框等构成。摄影光学系统41是通过镜头驱动器43由控制部66驱动。在图2中，简化图示了摄影光学系统41的多个光学透镜和透镜框等。

镜头驱动器43是使支撑上述摄影光学系统41的至少一部分光学透镜的透镜框在沿着光轴O的方向上进退移动的单元。镜头驱动器43由致动器等驱动源、传递来自该驱动源的驱动力的驱动机构等、以及控制上述驱动源的电气电路等构成。

光圈机构部42是设置在上述摄影光学系统41内，对透射过该摄影光学系统41的光束进行调节的单元。光圈机构部42是经由光圈驱动器44而由控制部66驱动。

光圈驱动器44由步进电机等驱动源、传递来自该驱动源的驱动力的驱动机构等、以及控制上述驱动源的电气电路等构成。

快门机构部51是对成像在摄像元件52的受光面上的被摄体像的曝光时间进行控制的单元。快门机构部51是经由快门驱动器45而由控制部66驱动的。快门驱动器45是在控制部66的控制下控制快门机构部51的单元。

摄像元件52是如下所述的光电转换元件：通过对形成在受光面上的被摄体像进行光电转换，从而将该被摄体像转换为模拟图像信号。关于摄像元件52，使用CMOS或CCD等光电转换元件。将通过摄像元件52生成的模拟图像信号输出到模拟处理部53。因此，摄像元件52是获取表示多个被摄体像的图像信号并输出的图像输出部。

通过上述摄影光学系统41、光圈机构部42、快门机构部51、摄像元件52等构成摄录一体机1的摄像部。

模拟处理部53是如下所述的信号处理部：接收从摄像元件52输出的模拟图像信号，在降低噪声的基础上进行了波形整形之后，进行增益提高等以成为期望的明亮度。由模拟处理部53处理完的信号输出到AD转换部54。

AD转换部54是如下所述的信号处理部：接收从模拟处理部53输出的模拟图像信号，将其转换为数字图像数据。从AD转换部54输出的数字图像数据经由通信用总线73发送到SDRAM63，被暂时存储。

AE处理部55是根据数字图像数据计算被摄体亮度的数据处理部，并且还是检测光源的光源检测部。作为在AE处理部55中进行处理的数据、即被摄体亮度计算用数据，除了上述的数字图像数据以外，也可以是在摄录一体机1上设置专用测光传感器，来自该专用测光传感器的输出数据。

AF处理部56是如下所述的数据处理部：其从数字图像数据中取出高频成分的信号，进行AF处理来获取对焦值。

图像处理部57是对数字图像数据实施各种图像处理的数据处理部。将在该图像处理部57中进行了各种处理之后的数字图像数据再次暂时存储到SDRAM63中。

图像压缩解压缩部58是进行基于预定压缩方式的数字图像数据的压缩、和压缩后的数字图像数据的解压缩的数据处理部。在由该图像压缩解压缩部58处理的数字图像数据为静态图像数据时，进行按照JPEG标准的方式等的压缩和解压缩。在由图像压缩解压缩部58处理的数字图像数据为动态图像数据时，进行按照Motion-JPEG标准或H.264标准等的各种方式的压缩和解压缩。

显示部60为了显示基于数字图像数据的图像，由液晶显示装置等各种方式的显示装置构成。显示部60是在控制部66的控制下通过显示驱动器59来驱动。显示驱动器59是在控制部66的控制下控制显示部60的单元。

显示部60接受刚进行摄影动作之后的数字图像数据并进行预定时间的作为摄影结果的图像显示。或者，进行基于已在记录介质62中记录的数字图像数据的静态图像或动态图像的再现显示和实时取景显示等显示。

在根据已在记录介质62中记录的数字图像数据进行图像再现时，控制部66从已在记录介质62中记录的数字图像数据中读出期望的数据，通过图像压缩解压缩部58实施解压缩。将通过图像压缩解压缩部58解压缩后的数字图像数据暂时存储在SDRAM63中。接着，控制部66通过显示驱动器59从SDRAM63读出解压缩完的数字图像数据，在转换成能使用显示部60显示的影像信号之后，输出到显示部60。由此，在显示部60上再现显示静态图像或动态图像。

存储器IF61是如下所述的接口：在控制部66的控制下控制记录介质62，读入已在该记录介质62中记录的数字图像数据文件，或将数字图像数据文件记录到记录介质62。

记录介质62是记录数字图像数据文件等的介质，使用以能够对摄录一体机1进行装卸的方式设置的卡形状的半导体存储器、即所谓存储卡等。另外，记录介质62的方式不限定于该方式，也可以固定在摄录一体机1上，也可以除了半导体存储器以外，使用光学记录介质、磁记录介质、电子记录介质等各种方式。通过存储器IF61和记录介质62构成记录部。

SDRAM63是由暂时存储通过AD转换部54生成的数字图像数据、和在图像处理部57、图像压缩解压缩部58中处理后的数字图像数据等各种数据的易失性存储器构成的存储部。

闪存64是由预先存储有在白平衡和低通滤波器的系数等摄录一体机1的动作中所需的各种参数、和用于确定摄录一体机1的固有信息（产品名和制造编号）等各种信息的非易失性存储器构成的存储部。而且，在闪存64中还预先存储有控制部66执行的各种程序。也就是说，控制部66在适当的时机读入存储在闪存64中的程序来执行。此时，控制部66从闪存64读入在各种处理中所需的各种参数。

操作部65由对摄录一体机1进行各种操作的多个操作部件等构成。当摄影者操作了操作部65的预定的操作部件时，产生预定的指示信号，该指示信号传递到控制部66。控制部66接受该指示信号来执行各种处理。操作部65除了与电源按钮、释放按钮、再现按钮、菜单按钮、动态图像按钮、模式切换按钮等机械开关连动的操作部件以外，还包含进行针对触摸屏等控制部66的指示的输入用操作部件。

控制部66是集中地控制摄录一体机1的各种处理的控制部。另外，控制部66对暂时存储在SDRAM63中的数字图像数据附加需要的头信息和脚注信息来制作数字图像数据文件，将所制作的数字图像数据文件通过存储器IF61记录到记录介质62。在控制部66上直接连接有操作部65、闪存64、脸检测部67。

脸检测部67使用预定的图像分析，检测在摄影图像中包含的具有预定特征的图像、即人物或宠物的脸图像的形态和大小等与被摄体有关的信息。并且，具有在该检测到的脸图像运动时对其进行追踪的功能，而且实现即使在追踪中的脸图像跑出到画面外后再次进入到画面内时继续进行追踪的功能。也就是说，脸检测部67是检测摄影图像内的被摄体像的检测部，还作为被摄体检测部来发挥功能。

摄影对象框显示部79在通过脸检测部67或操作部65的触摸屏选择的区域中，将预定形态的摄影对象框重叠显示在画面上。并且，根据脸检测部67的检测结果使摄影对象框进行追踪。另外，摄影对象框显示部79还具有显示与所设定的记录模式对应的记录模式识别用显示框的功能。

记录区域设定部68设定与通过摄影对象框显示部79显示的摄影对象框对应的记录用图像区域。

电源电路70由电池等电源、和控制该电源的电路等构成，在控制部66的控制下，对摄录一体机1内的各单元适当地供给必要的电力。

通信用总线73是将在摄录一体机1的内部产生的各种数据送到构成摄录一体机1的单元的通信路径。通信用总线73与AD转换部54、AE处理部55、AF处理部56、图像处理部57、图像圧缩解压缩部58、显示驱动器59、存储器IF61、SDRAM63、控制部66、镜头驱动器43、光圈驱动器44、快门驱动器45等连接。

关于其他结构，具有与一般的动态图像摄影设备相同的结构，省略其图示。另外，关于图2所示的构成要素，对于与本发明没有直接关联的构成要素，仅进行简单的说明。

下面说明如上所述构成的本实施方式的摄录一体机1的动作。首先，当摄录一体机1的电源电路70接通时，摄录一体机1成为摄影准备状态。摄影者将该状态的摄录一体机1朝向期望的多个被摄体。并且，以使期望的多个被摄体进入到显示部60的画面内的方式构图。

摄影者在显示部60的画面上进行成为摄影对象的被摄体的选择操作而显示摄影对象框（图1A）。如上所述，在处于摄影准备状态的摄录一体机1朝向期望的被摄体时，在显示部60的画面进行实时取景显示。并且，脸检测部67根据通过摄像元件52获取的数字图像数据同时执行脸检测。

当在显示部60的画面上显示作为摄影对象的多个被摄体101、102时，对这些多个被摄体101、102进行脸检测，在各个脸区域上显示脸检测框67a、67b。在本实施方式中，将脸检测框67a、67b作为摄影对象框来处理。

摄影者从作为多个摄影对象框的脸检测框67a、67b中选择期望的脸检测框67b。此时的操作是对于构成操作部65的一部分的触摸屏的触摸操作。

图4A～图4E示出在动态图像摄影设备中显示进行触摸操作来进行动态图像摄影的摄影对象框，并且示出选择记录模式时的概略。图4A～图4E示出已经执行完对于多个被摄体101、102中的一方被摄体101的触摸操作、摄影对象框显示、模式设定，接着，进行对于另一方被摄体102的操作时的动作。

图4A示出摄影者利用手指103，触摸操作显示部60的画面内的对于被摄体101、102中的另一方被摄体102的脸检测框67b的状况。此时，当对脸检测框67b进行了一次触摸操作时，将与脸检测框67b对应的被摄体确定为第2被摄体102，显示摄影对象框69ba，该摄影对象框69ba包围以该第2被摄体102的脸区域为中心的预定区域。该操作后的画面成为如图4B所示。此时，记录模式被设定为脸特写模式。关于记录模式，如上所述准备三个模式，根据触摸操作依次进行切换。并且，在显示与期望的记录模式对应的摄影对象框（在图4A～图4E中三种摄影对象框69ba、69bb、69bc）中的表示期望的记录模式的摄影对象框时，通过进行预定时间以上的触摸操作（所谓长按操作）来设定记录模式。在图4B中，显示与脸特写模式对应的摄影对象框69ba。当在此处进行长按操作时，设定为脸特写模式。另一方面，当在图4B中进行一般的触摸操作时切换到图4C，显示与上身特写模式对应的摄影对象框69bb。当在此处进行长按操作时，设定为上身特写模式。另一方面，当在图4C中进行一般的触摸操作时切换到图4D，显示与全身模式对应的摄影对象框69bc。当在此处进行长按操作时，设定为全身模式。另一方面，当在图4D中进行一般的触摸操作时再次切换到图4B。

如上所述通过长按操作来设定记录模式，显示与所设定的记录模式对应的摄影对象框。在图4E中，第1被摄体101被设定为脸特写模式，显示与其对应的摄影对象框69a，第2被摄体102被设定为全身模式，显示与其对应的摄影对象框69bc。

使用图4A～图4E进行说明的动作与图3的步骤S1-步骤S8对应。首先，在图3的步骤S1中，控制部66监视来自在操作部65中包含的触摸屏的信号，并且进行对于与显示中的脸检测框67a、67b对应的各被摄体101、102的追踪。并且，当检测到摄影者的触摸操作时，判断在该触摸操作的触摸位置上是否存在脸、即触摸位置是否位于脸检测框67a、67b中的任意一个区域内。

当在触摸位置上存在脸、即触摸位置为脸检测框67a、67b中的任意一个区域内时，前进到步骤S4，在步骤S4中，将与触摸位置对应的脸检测框设定为基准位置。之后，在步骤S3中，根据在步骤S4中设定的基准位置显示摄影对象框69a、69b。之后，前进到步骤S5。

另一方面，在上述步骤S1中，在触摸位置为脸检测框67a、67b以外的区域时前进到步骤S2，在步骤S2中，将进行了触摸操作的位置设定为基准位置。之后，在步骤S3中，根据在步骤S2中设定的基准位置显示摄影对象框69a、69b。之后，前进到步骤S5。

在步骤S5中，控制部66判别基于上述步骤S1紧之前的触摸操作的信号。也就是说，在检测到的触摸操作为预定时间以上的长按操作时，前进到步骤S7，在一般的触摸操作时，前进到步骤S6。

在步骤S6中，控制部66进行摄影对象框尺寸的变更。即，控制部66显示与当前显示中的摄影对象框不同的摄影对象框。换言之，控制部66变更记录模式。之后，回到步骤S5，重复进行相同的处理直到进行长按操作为止。

另一方面，在步骤S7中，控制部66确定摄影对象框尺寸，即设定与当前显示中的摄影对象框对应的记录模式。之后，前进到步骤S8。

接着，在步骤S8中，控制部66监视来自操作部65的信号，进行分支：是对摄影对象进一步进行选择，还是执行摄影动作。在进行摄影对象选择操作时检测来自触摸屏的选择操作信号。此时，回到步骤S1，之后重复进行相同的处理。在进行摄影操作时，检测来自释放按钮或触摸屏的摄影操作信号。此时前进到接下来的步骤S9。

在步骤S9中，控制部66驱动包含摄像元件52的摄像部而取入动态图像数据，即开始动态图像摄影。

在此时的显示部60的画面上进行图5A所示的显示。图5A的第1被摄体101被设定为脸特写模式，记录图6A所示的动态图像60a。另外，图5A的第2被摄体102被设定为全身模式，记录图7A所示的动态图像60b。由此，同时执行将被预先选择为摄影对象的多个被摄体分别作为主要被摄体的不同的动态图像摄影。除此以外，也可以同时对图5A所示的全体图像的动态图像进行摄影。

当在图5A、图6A、图7A的状态下继续进行动态图像摄影时，两个被摄体101、102在图5A的画面内向靠近的方向运动。于是，图5A的画面经过图5B变化成图5C、图5D，立即成为图5E所示的画面。此时，将第1被摄体101作为主要被摄体的动态图像经过图6B、图6C、图6D被记录为图6E所示的动态图像。也就是说，在图6A～图6D中记录基于脸特写模式的动态图像，其中在图6D中记录了第2被摄体102从画面右端侵入到画面内的情况。并且，在图6E中，从基于到此为止的摄影对象框69a的脸特写模式变更为基于合成摄影对象框69c的合成记录模式。

同样，将第2被摄体101作为主要被摄体的动态图像经过图7B、图7C、图7D被记录为图7E所示的动态图像。其中在图7D中，记录了第1被摄体101从画面左端侵入到画面内的情况。并且，在图7E中，从基于到此为止的摄影对象框69b的全身模式变更为基于合成摄影对象框69c的合成记录模式。

如上所述，当两个摄影对象的被摄体101、102在显示部60的画面内靠近时，摄影对象框69a、69b变更为图5E所示的合成摄影对象框69c。并且，继续记录基于该合成摄影对象框69c的动态图像、即图6E、图7E所示的基于合成记录模式的动态图像。

在从该状态进一步继续进行动态图像摄影时，当两个被摄体101、102在画面内向离开的方向运动时，立即成为图5F所示的画面。此时，图5E的合成摄影对象框69c回到原来的摄影对象框69a、69c，所记录的动态图像也回到基于各个摄影对象框69a、69b的记录模式。

通过图3的步骤S9～步骤S26说明其间的原委。首先在图3的步骤S9中控制部66开始进行动态图像摄影。

于是，在步骤S10中，控制部66驱动包含摄像元件52的摄像部而获取动态图像数据的1帧量的数字图像数据。关于动态图像数据的获取，由于应用在一般的摄录一体机中使用的以往技术，因此省略其详细说明。

接着在步骤S11中，控制部66使基于脸检测部67的检测的两个摄影对象框在显示部60的画面内的位置追踪两个被摄体101、102的运动，在更新之后进行显示。

接着在步骤S12中，控制部66判断基于脸检测部67的检测的两个摄影对象框在显示部60的画面内的相对位置是否产生了变化。在没有相对位置变化时，前进到步骤S23。在存在相对位置变化、且两个被摄体101、102向离开的方向变化时，前进到步骤S13。在存在相对位置变化、且两个被摄体101、102向靠近方向变化时，前进到步骤S18。

在步骤S12中，当没有相对位置变化，并前进到步骤S23时，在该步骤S23中，控制部66将框控制标志设定为control=0。之后，前进到步骤S24。

在步骤S12中，当相对位置变化为离开的方向，并前进到步骤S13时，在该步骤S13中，控制部66判断摄影对象框是否为变更中，并且将框控制标志设定为control=1。在是摄影对象框的变更中时，前进到步骤S15。在不是摄影对象框的变更中时，前进到步骤S14。

接着在步骤S14中，控制部66开始摄影对象框的变更（维持框控制标志control=1）。之后，前进到步骤S15。

在步骤S15中，控制部66控制摄影对象框显示部79、记录区域设定部68等，使显示中的摄影对象框慢慢缩小。

接着在步骤S16中，控制部66进行摄影对象框变更是否结束的判断。如果摄影对象框变更结束，则前进到步骤S17，在该步骤S17中，将框控制标志设定为control=0，前进到步骤S24。在步骤S16中，在摄影对象框变更没有结束时，前进到步骤S24。

另一方面，在步骤S12中，当相对位置变化为靠近的方向，前进到步骤S18时，在该步骤S18中，控制部66进行摄影对象框是否为变更中的判断，并且将框控制标志设定为control=1。在是摄影对象框的变更中时，前进到步骤S20。在不是摄影对象框的变更中时，前进到步骤S19。

接着在步骤S19中，控制部66开始摄影对象框的变更（维持框控制标志control=1）。之后，前进到步骤S20。

在步骤S20中，控制部66控制摄影对象框显示部79、记录区域设定部68等，使显示中的摄影对象框慢慢放大。

接着在步骤S21中，控制部66进行摄影对象框变更是否结束的判断。如果摄影对象框变更控制结束，则前进到步骤S22，在该步骤S22中，将框控制标志设定为control=0，前进到步骤S24。在步骤S21中，在摄影对象框变更没有结束时，前进到步骤S24。

在步骤S24中，控制部66对于与在SDRAM63中暂时存储的1帧量的两个摄影对象框对应的数字图像数据记录与各个摄影对象框有关的附加信息。之后，前进到步骤S25。

在步骤S25中，控制部66进行是否完成了最后帧的处理的判断。如果完成了最后帧的处理，则前进到步骤S26。如果没有完成最后帧的处理，则回到步骤S10，重复进行之后的处理。

在步骤S26中，控制部66控制SDRAM63、存储器IF61、记录介质62，对生成中的多个动态图像文件附加关联信息和同步再现用标记等各种必要的附加信息，之后关闭文件。

上述的关联信息是将进行了同时记录的原本的全体图像数据与将其中的多个被摄体作为主要被摄体的多个动态图像数据彼此关联起来的信息。通过具有该关联信息，在处理独立的多个动态图像数据文件时非常方便。例如在进行动态图像再现时，如果构成多窗口显示或多重显示的再现环境，则能够使多个动态图像同步地同时再现，因此能够进行身临其境或者富有变化的动态图像再现。

接着，使用图8～图9对两个被摄体101、102在画面内接近时和离开时的、摄影对象框69a、69b和合成摄影对象框69c变更时的机制进行说明。图8示出在摄录一体机1的显示部上显示的图像的、在画面上假设的坐标。

在该图8中，假设了将在显示部60上显示的画面（与通过摄像元件52获取的全体图像相当）的画面左下角的点作为原点（0，0），将横轴作为X轴、将纵轴作为Y轴的坐标系。

在显示部60的画面内显示两个被摄体101、102，在各被摄体101、102上设定有摄影对象框69a、69b。并且，将关于各摄影对象框69a、69b的坐标规定为如下所述的坐标：

与第1被摄体101对应的摄影对象框69a的左下的坐标（AX1，AY1）

与第1被摄体101对应的摄影对象框69a的右下的坐标（AX2，AY1）

与第2被摄体102对应的摄影对象框69b的左下的坐标（BX1，BY1）

与第2被摄体102对应的摄影对象框69b的右下的坐标（BX2，BY1）

与第2被摄体102对应的摄影对象框69b的右上的坐标（BX2，BY2）。

在图9示出使用如上所述规定的摄影对象框的坐标，将在两个被摄体101、102在画面内接近时，判定两个摄影对象框69a、69b的重叠的“摄影对象框重叠判定”。该处理在动态图像摄影中经常执行。另外，该“摄影对象框重叠判定”是在控制部66的控制下，通过脸检测部67、摄影对象框显示部79、记录区域设定部68等的协作来进行的。

首先，在图9的步骤S31中，关于画面中的坐标系的X轴上的点AX1、BX1，进行是否“AX1<BX1”的判断。在“AX1<BX1”时，前进到步骤S32。

在步骤S32中，进行是否“AX2<BX1”的判断。在不是“AX2＜BX1”、即“AX2≥BX1”时，前进到步骤S38。并且，在该步骤S38中，在判断为存在摄影对象框的重叠时结束一系列的处理。

另一方面，当在步骤S31中不是“AX1<BX1”、即“AX1≥BX1”时，前进到步骤S33。

在步骤S33中，进行是否“BX2＜AX1”的判断。在不是“BX2<AX1”、即“BX2≥AX1”时，前进到步骤S38。并且，在该步骤S38中，当判断为存在摄影对象框的重叠时结束一系列的处理。

另一方面，当在步骤S32中“AX2<BX1”时、以及在步骤S33中“BX2<AX1”时，在任一种情况下都前进到步骤S34。

在步骤S34中，进行是否“AY1<BY1”的判断。在“AY1<BY1”时，前进到步骤S35。

在步骤S35中，进行是否“AY2<BY1”的判断。在不是“AY2<BY1”、即“AY2≥BY1”时，前进到步骤S38。并且，在该步骤S38中，在判断为存在摄影对象框的重叠时结束一系列的处理。

另一方面，当在步骤S34中不是“AY1<BY1”、即“AY1≥BY1”时，前进到步骤S36。

在步骤S36中，进行是否“BY2<AY1”的判断。在不是“BY2<AY1”、即“BY2≥AY1”时，前进到步骤S38。并且，在该步骤S38中，在判断为存在摄影对象框的重叠时结束一系列的处理。

另一方面，在步骤S35中“AY2<BY1”的情况下、和在步骤S36中“BY2<AY1”的情况下，在任一种情况下都前进到步骤S37。并且，在该步骤S37中，在判断为没有摄影对象框的重叠时结束一系列的处理。

由此，当判断为画面中的与两个被摄体101、102对应的摄影对象框69a、69b重叠时，接着生成覆盖两个摄影对象框69a、69b双方的合成摄影对象框69c，将其显示在画面上。下面使用图10～图14说明此时的一系列的“合成摄影对象框生成”。

图10、图11与上述图8同样，示出在显示在显示部上的图像的、在画面上假设的坐标。在图10中，也假设了将显示部60的画面（与通过摄像元件52获取的全体图像相当的）的画面左下角的点作为原点（0，0），将横轴作为X轴、将纵轴作为Y轴的坐标系。

在图10所示的显示部60的画面上显示有两个被摄体101、102，在各被摄体101、102上设定有摄影对象框69a、69b。并且，与图8同样地规定关于各摄影对象框69a、69b的坐标。并且，在该坐标上，通过上述的“摄影对象框重叠判定”（参照图9），判断为两个摄影对象框69a、69b重叠（参照图10）。

此时，在生成合成摄影对象框69c时，在两个摄影对象框69a、69b的尺寸不同时，按照大的摄影对象框（本实施方式中为摄影对象框69b）的尺寸设定合成摄影对象框69c。由此，如图11所示，如在显示部60的画面上显示的合成摄影对象框69c那样，设定具有将两个被摄体101、102纳入到一个区域的摄影图像区域的合成摄影对象框69c。另外，在图11中，将关于合成摄影对象框69c的坐标规定为：

合成摄影对象框69c的左下的坐标（X1，Y1）

合成摄影对象框69c的右下的坐标（X2，Y1）

合成摄影对象框69c的左上的坐标（X1，Y2）

合成摄影对象框69c的右上的坐标（X2，Y2）。

图12～图15是“合成摄影对象框生成。该处理是在控制部66的控制下通过脸检测部67、摄影对象框显示部79、记录区域设定部68等的协作来进行。

在图12中判定合成摄影对象框的坐标X1。在图12的步骤S41中，进行图10的是否“AX1<BX1”的判断。在“AX1<BX1”时，前进到步骤S42。并且，在该步骤S42中，应用“X1=AX1”而结束一系列的处理。

另一方面，在图12的步骤S41中，在不是“AX1<BX1”、即“AX1≥BX1”时前进到步骤S43。并且，在该步骤S43中，应用“X1=BX1”而结束一系列的处理。

在图13中判定合成摄影对象框的坐标X2。在图13的步骤S44中，进行图10的是否“AX2<BX2”的判断。在“AX2<BX2”时前进到步骤S46。并且，在该步骤S46中，应用“X2=BX2而结束一系列的处理。

另一方面，在图13的步骤S44中，在不是“AX2＜BX2”、即“AX2≥BX2”时，前进到步骤S45。并且，在该步骤S45中，应用X2=AX2而结束一系列的处理。

在图14中判定合成摄影对象框的坐标Y1。在图14的步骤S47中，进行图10的是否“AY1<BY1”的判断。在“AY1<BY1”时，前进到步骤S48。并且，在该步骤S48中，应用“Y1=AY1”而结束一系列的处理。

另一方面，在图14的步骤S47中，在不是“AY1<BY1”、即“AY1≥BY1”时，前进到步骤S49。并且，在该步骤S49中，应用“Y1=BY1”而结束一系列的处理。

在图15中判定合成摄影对象框的坐标Y2。在图15的步骤S50中，进行图10的是否“AY2<BY2”的判断。在“AY2<BY2”时，前进到步骤S52。并且，在该步骤S52中，应用“Y2=BY2”而结束一系列的处理。

另一方面，在图15的步骤S50中，在不是“AY2<BY2”、即“AY2≥BY2”时，前进到步骤S51。并且，在该步骤S51中，应用Y2=AY2而结束一系列的处理。

由此，设定合成摄影对象框69c，显示在显示部60的画面上的所设定的位置上。在本实施方式中，在使尺寸小的摄影对象框69a慢慢放大而接近尺寸大的摄影对象框69b的尺寸之后，使两者重合而最终显示合成摄影对象框69c。图16A～图16D经时地示出此时的情况。

在图16A中，在显示部60的画面内显示有两个被摄体101、102，显示与被摄体101、102对应的、尺寸不同的摄影对象框69a、69b。并且，两个摄影对象框69a、69b的一部分重合。

在从该图16A迁移到图16B、图16C时，两个被摄体101、102向靠近的方向运动，两个摄影对象框69a、69b慢慢重合。与此同时，尺寸小的摄影对象框69a被慢慢放大，使得与尺寸大的摄影对象框69b重合。并且，最终显示图16D所示的一个合成摄影对象框69c。

在两个被摄体101、102向离开的方向运动时，从合成摄影对象框69c再次变更为分别对应的摄影对象框69a、69b。此时的摄影对象框尺寸变更的顺序为与上述的放大时的尺寸变更相反的顺序，其处理大致相同。

在与被摄体101、102对应的摄影对象框69a、69b变更到合成摄影对象框69c时，不进行瞬间的切换，而是慢慢地变更。

图17、图18是将摄影对象框尺寸变更时的情况图表化了的图。图17是示出放大时和缩小时的、摄影对象框在X轴上的点的迁移的图表。图18是示出放大时和缩小时的、摄影对象框在Y轴上的点的迁移的图表。在图17、图18中，在横轴上取时间，在纵轴上取坐标。通过进行图17、图18所示的摄影对象框的变更，从而能够成为更没有违和感的动态图像。

由此，在画面内的被摄体101、102接近时，进行将与各被摄体对应的摄影对象框69a、69b变更为与同时收纳两个被摄体101、102的合成摄影对象框69c对应的摄影区域的动态图像摄影。

因此，在摄影对象框69a、69b和合成摄影对象框69c变更时，对执行中的记录模式进行摄影图像区域的变更。具体地讲，对以脸特写模式摄影中的第1被摄体101进行记录中的动态图像为了与合成摄影对象框69c对应而进行缩小变焦。由于当在动态图像摄影中进行了激烈的变焦时会成为不自然的动态图像，因此期望慢慢地进行变焦。因此，与在将摄影对象框69a、69b变更为合成摄影对象框69c时使摄影对象框慢慢放大或缩小同样，对于摄影中的动态图像也慢慢地进行变焦。此时进行的变焦不是驱动摄影光学系统41来进行的光学变焦，而是根据通过摄像元件52获取的全图像数据进行的所谓电子变焦。

如以上说明，根据本实施方式，在将画面内的多个被摄体作为摄影对象进行动态图像摄影时，能够同时记录将多个被摄体分别作为主要被摄体的单独的动态图像。并且，当在画面内多个被摄体彼此接近或者离开时，一边保持与各被摄体的运动对应的动态图像摄影的连续性，一边自然地进行动态图像摄影。也就是说，当两个被摄体在画面内靠近而进入到相同的摄影对象框内时，进行将两个被摄体作为主要被摄体的动态图像摄影，当两个被摄体在画面内离开时，进行将各被摄体作为主要被摄体的单独的动态图像摄影。

因此，摄影者仅通过在显示部60的画面内继续捕捉作为摄影对象的多个被摄体，进行将画面内的多个被摄体分别作为主要被摄体的多个动态图像的摄影。除此以外，还能够对与显示部60的画面对应的全体图像进行摄影。

关于在本实施方式中说明的各处理，只要不违反其性质，能够允许步骤的变更。因此，对于上述的处理，也可以变更各处理的执行顺序，或者同时执行多个处理，或在每次执行一系列的处理时，使各处理的顺序不同。

（第2实施方式）

接着，对本发明的第2实施方式进行说明。本实施方式是在省略了显示功能和记录功能的、简单的被摄体监视设备中应用了本发明的例示。

如图19所示，被摄体监视设备100的结构与上述第1实施方式的摄录一体机1大致相同，对相同的单元附上相同的标号。

图19的被摄体识别部110是使用以往的监视设备的技术识别被摄体的单元，因此省略识别被摄体的功能的详细说明。

当被摄体监视设备100开始动作，被摄体识别部110识别出一个或多个被摄体时，被摄体识别部110开始该被摄体的追踪。

当被摄体识别部110识别出多个被摄体时，分别识别各被摄体或者集中识别该多个被摄体。

（第3实施方式）

接着，对本发明的第3实施方式进行说明。虽然本实施方式具有与第2实施方式相同的结构，但是动作不同。

当被摄体监视设备100开始动作，被摄体识别部110识别出一个或多个被摄体时，被摄体识别部110开始该被摄体的追踪。

当被摄体识别部110识别出多个被摄体时，在追踪各被摄体的同时检测各被摄体的位置。

被摄体识别部110根据各被摄体的位置，分别识别各被摄体，或者集中识别该多个被摄体。

此时，被摄体识别部110也可以在各被摄体的位置比预定距离远离时分别识别各被摄体，在各被摄体的位置比预定距离近时集中识别该多个被摄体。

（第2实施方式和第3实施方式的变形例）

被摄体监视设备100也可以还具有图像输出部，图像输出部输出包含被摄体识别部110识别出的被摄体的图像。

被摄体监视设备100也可以还具有图像显示部，图像显示部显示包含被摄体识别部110识别出的被摄体的图像。

被摄体监视设备100也可以还具有图像记录部，图像记录部记录包含被摄体识别部110识别出的被摄体的图像。

被摄体监视设备100也可以还具有辅助图像输出部，辅助图像输出部生成表示被摄体识别部110识别出的被摄体的至少一部分的辅助图像，对该辅助图像进行输出记录。而且，也可以根据该辅助图像求出上述的各被摄体的位置。另外，该辅助图像可以是分别表示被摄体识别部110识别出的多个被摄体的多个辅助图像，也可以是表示集中识别出的多个被摄体的一个辅助图像。

本发明不限定于上述的实施方式，当然可以在不脱离发明的要旨的范围内实施各种变形和应用。而且，在本实施方式中包含各种阶段的发明，通过所公开的多个构成要件的适当的组合，能够得到各种发明。例如，即使从本实施方式所示的所有构成要件删除几个构成要件，也能够解决发明所要解决的课题，在能够得到发明效果的情况下，能够将删除了该构成要件的结构抽出为发明。本发明只通过权利要求限定，不会通过特定的实施方式而被制约。

本发明不仅能够在摄录一体机或数字摄录一体机等特化到摄影功能的电子设备、即动态图像摄影设备中应用，而且还能够在具有动态图像摄影功能的其他方式的电子设备，例如便携电话、智能手机、录音设备、电子记事本、个人电脑、游戏设备、电视、钟表、利用了GPS（Global Positioning System）的导航设备等各种带有动态图像摄影功能的电子设备中应用。

Claims (16)

1.一种被摄体识别设备，其包括：

图像输出部，其获取多个被摄体像而输出图像；

检测部，其检测上述图像内的多个被摄体像；

第1识别部，其将检测到的上述多个被摄体像分别作为主要被摄体进行识别；以及

第2识别部，其将检测到的上述多个被摄体像作为一个主要被摄体进行集中识别，

其中，上述被摄体识别设备还包括位置检测部，该位置检测部对检测到的上述多个被摄体像的位置进行检测，

根据检测到的上述多个被摄体像的位置之间的距离，上述第1识别部和上述第2识别部中的至少一方进行动作。

2.根据权利要求1所述的被摄体识别设备，其中，

上述第1识别部输出分别包含识别出的上述多个被摄体像的多个第1图像，

上述第2识别部输出包含识别出的上述多个被摄体像全体的一个第2图像。

3.根据权利要求2所述的被摄体识别设备，其中，

上述第1识别部输出表示在上述图像输出部输出的图像中被上述第1识别部作为上述多个第1图像而输出的部分中的至少一部分的多个第1辅助图像，

上述第2识别部输出表示在上述图像输出部输出的图像中被上述第2识别部作为上述一个第2图像而输出的部分中的至少一部分的一个第2辅助图像。

4.根据权利要求1所述的被摄体识别设备，其中，

上述被摄体识别设备还包括显示部和记录部，

上述显示部显示上述第1识别部的输出和上述第2识别部的输出中的至少一方，并且上述记录部对上述显示部的显示内容进行记录。

5.根据权利要求2所述的被摄体识别设备，其中，

上述被摄体识别设备还包括显示部和记录部，

上述显示部显示上述第1识别部输出的多个第1图像和上述第2识别部输出的一个第2图像中的至少一方，并且上述记录部对上述显示部的显示内容进行记录。

6.根据权利要求3所述的被摄体识别设备，其中，

上述被摄体识别设备还包括显示部和记录部，

上述显示部显示上述第1识别部输出的多个第1辅助图像和上述第2识别部输出的一个第2辅助图像中的至少一方，并且上述记录部对上述显示部的显示内容进行记录。

7.根据权利要求1所述的被摄体识别设备，其中，

在检测到的上述多个被摄体像的位置之间的距离比预定距离远时，上述第1识别部进行动作，

在检测到的上述多个被摄体像的位置之间的距离比预定距离近时，上述第2识别部进行动作。

8.根据权利要求3所述的被摄体识别设备，其中，

上述位置检测部根据上述多个第1辅助图像的位置检测上述多个被摄体像的位置。

9.一种被摄体识别方法，其包括以下步骤：

获取多个被摄体像而输出图像；

检测上述图像内的多个被摄体像；

将检测到的上述多个被摄体像分别作为主要被摄体进行识别；以及

将检测到的上述多个被摄体像作为一个主要被摄体进行集中识别，

其中，上述被摄体识别方法还包括以下步骤：

对检测到的上述多个被摄体像的位置进行检测；以及

根据检测到的上述多个被摄体像的位置之间的距离，进行将检测到的上述多个被摄体像分别作为主要被摄体进行识别的动作和将检测到的上述多个被摄体像作为一个主要被摄体进行集中识别的动作中的至少一方。

10.根据权利要求9所述的被摄体识别方法，其中，还包括以下步骤：

输出分别包含识别出的上述多个被摄体像的多个第1图像；以及

输出包含识别出的上述多个被摄体像全体的一个第2图像。

11.根据权利要求10所述的被摄体识别方法，其中，还包括以下步骤：

输出表示从上述图像中作为上述多个第1图像而输出的部分中的至少一部分的多个第1辅助图像；以及

输出表示从上述图像中作为上述一个第2图像而输出的部分中的至少一部分的一个第2辅助图像。

12.根据权利要求9所述的被摄体识别方法，其中，还包括以下步骤：

显示检测到的上述多个被摄体像的识别结果的输出和检测到的上述多个被摄体像的集中识别结果的输出中的至少一方，并且对上述显示内容进行记录。

13.根据权利要求10所述的被摄体识别方法，其中，还包括以下步骤：

显示上述多个第1图像和上述一个第2图像中的至少一方，并且对上述显示内容进行记录。

14.根据权利要求11所述的被摄体识别方法，其中，还包括以下步骤：

显示上述多个第1辅助图像和上述一个第2辅助图像中的至少一方，并且对上述显示内容进行记录。

15.根据权利要求9所述的被摄体识别方法，其中，还包括以下步骤：

在检测到的上述多个被摄体像的位置之间的距离比预定距离远时，识别检测到的上述多个被摄体像；以及

在检测到的上述多个被摄体像的位置之间的距离比预定距离近时，集中识别检测到的上述多个被摄体像。

16.根据权利要求11所述的被摄体识别方法，其中，还包括以下步骤：

根据上述多个第1辅助图像的位置，检测上述多个被摄体像的位置。