CN105075237B - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

信息处理设备可包括控制装置。控制装置生成显示数据，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时，用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的相应被摄对象。另外，控制装置接收来自用户的输入，以从所述列表中选择一个候选图像，其中根据所述一个候选图像的选择，生成显示数据。

Description

图像处理设备、图像处理方法和程序

相关申请的引用

本申请要求2013年2月28日提交的日本专利申请JP 2013-038795的优先权，该申请的整个内容通过引用包含于此。

技术领域

本技术涉及进行使用户可以容易地识别图像中的被摄对象的处理的图像处理设备，图像处理方法和程序。

背景技术

近来的数字静态照相机和数字摄像机通常具有面部检测功能，并且具有按照面部位置和区域，最佳地匹配照相机的各种参数(焦距、亮度等)的功能。

此外，近年来，还提供一种识别个人的功能，当存在多人时，还提供识别是否存在预先登记的期望人物，并优先匹配各种参数(焦距、亮度等)和识别的期望人物的功能。

对于这种个人识别技术，已活跃地进行了设想安全领域的特定摄影条件(正面面部、照明、大面积等)中以面部图像为对象的研究，在先进研究领域中，存在具有精度非常高的识别能力的多种技术，在基于安全的商用产品中提供了这些技术。

专利文献1公开一种涉及个人识别的技术。

专利文献2公开一种进行面部识别，并扩大和显示面部图像的技术。

[引文列表]

[专利文献]

[PTL 1]JP 2012-198781A

[PTL 2]日本专利No.4794584

发明内容

然而，在普通用户的静止图像和运动图像的摄影机会，再现拍摄的图像的机会等中，存在其中难以识别要特别关注的被摄对象的情况。例如，当在小学的运动会中进行视频拍摄时，用户通过取景器或监控显示器识别被摄对象，并对该被摄对象进行摄影。然而，在许多情况下，由于用户在许多孩子中认不清他/她的孩子，因此用户不能成功地进行摄影，或者会遗漏要拍摄的场景。

鉴于上面所述，例如，当应用上述个人识别技术时，能够追踪图像中的特定人物，和使用户可以容易地在被摄对象中找出他/她的孩子。然而实际上，为了实现个人识别技术，高处理能力对算术运算设备来说是必需的；于是，难以在消费类设备中提供个人识别技术。

此外，即使当提供个人识别技术时，在使用消费类摄像机或数字照相机的情况下，换句话说，在日常的摄影场面中拍摄的面部图像包括与特定的摄影条件相比，技术难度高的许多面部图像(小图像、遮蔽、阴影、非正面面部等)。因此，难以精确地进行个人识别。

于是，在本技术中，理想的是利用更简单的技术，而不利用个人识别技术，使用户可以容易地在图像中找出要关注的被摄对象。

按照本公开的实施例，信息处理设备可包括控制装置，所述控制装置：生成显示数据，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时，用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的相应被摄对象；和接收来自用户的输入，以从所述列表中选择一个候选图像，其中根据所述一个候选图像的选择，生成显示数据。

按照本公开的实施例，信息处理方法可包括利用控制装置，生成显示数据，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时，用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的相应被摄对象；和接收来自用户的输入，以从所述列表中选择一个候选图像，其中根据所述一个候选图像的选择，生成显示数据。

按照本公开的实施例，非临时性记录介质可记录有可由计算机执行的程序，所述程序可包括显示数据的生成，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时，用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的相应被摄对象；和接收来自用户的输入，以从所述列表中选择一个候选图像，其中根据所述一个候选图像的选择，生成显示数据。

这样，能够识别选择候选图像，并实现与选择的候选者提示图像对应的候选者提示图像的强调显示。

按照本技术的实施例的程序是使算术运算处理设备进行上述图像处理方法的各个处理的程序。

按照本技术，获得能够使用户快速并且容易地找出图像中的要关注的被摄对象的效果。

附图说明

图1是按照本技术的实施例的图像处理设备的方框图。

图2是按照实施例的图像处理设备的处理的流程图。

图3是按照实施例的成像设备的方框图。

图4是按照实施例的显示状态的说明图。

图5是按照实施例的显示状态的说明图。

图6是按照第一实施例的显示控制处理的流程图。

图7是按照第一实施例的选择对应处理的流程图。

图8是一直到按照实施例的候选者提示图像生成的说明图。

图9是按照实施例的候选者提示图像示例的说明图。

图10是按照第二实施例的显示控制处理的流程图。

图11是按照第二实施例的选择对应处理的流程图。

图12是按照第三实施例的显示控制处理的流程图。

图13是与按照第三实施例的追踪处理对应的显示例子的说明图。

图14是按照第四实施例的显示控制处理的流程图。

图15是按照第四实施例的另一个显示控制处理例子的流程图。

图16是按照实施例的再现设备的方框图。

图17是按照实施例的计算机设备的方框图。

具体实施方式

下面，将按照以下顺序，说明实施例。

<1.按照实施例的图像处理设备的结构和处理例子>

<2.成像设备的结构>

<3.候选者提示图像和选择的被摄对象的强调显示的例子>

<4.作为成像设备的第一实施例的处理例子>

<5.作为成像设备的第二实施例的处理例子>

<6.作为成像设备的第三实施例的处理例子>

<7.作为成像设备的第四实施例的处理例子>

<8.对再现设备的应用>

<9.对程序和计算机设备的应用>

<10.变形例>

<1.按照实施例的图像处理设备的结构和处理例子>

图1图解说明按照实施例的图像处理设备1的结构例子。

图像处理设备1包括选择候选者检测单元2、显示数据生成单元3和控制单元4。

选择候选者检测单元2进行在作为运动图像或静止图像的主图像中，检测作为被摄对象图像的选择候选图像的处理。

运动图像数据或静止图像数据作为图像数据Dg，被提供给选择候选者检测单元2。例如，图像数据Dg包括利用成像设备拍摄的拍摄图像数据，利用再现设备从记录介质再现的再现图像数据，在接收设备中接收的接收图像数据，等等。另外，静止图像数据是对应于一帧的帧图像数据，运动图像数据是基于多个时间连续帧的帧图像数据组。此外，输入图像数据Dg是在显示输出中使用的主图像数据。

选择候选者检测单元2在图像数据Dg中，检测选择候选图像。在实施例的说明中，例如，选择候选图像被假定为“面部图像”。选择候选者检测单元2在帧图像数据中，检测面部图像，并把所述面部图像设定为选择候选图像Df。

显示数据生成单元3进行利用作为主图像的图像数据Dg，生成显示数据Ddsp的处理。从显示数据生成单元3输出的显示数据Ddsp被提供给显示设备(未图示)，被显示成图像，从而被用户看到。

控制单元4允许显示数据生成单元3结合由选择候选者检测单元2检测的选择候选图像Df和图像数据Dg(主图像)，从而生成包括候选者提示图像的显示数据Ddsp。这样，显示设备(未图示)进行其中候选者提示图像被叠加在主图像上的显示。

另外，候选者提示图像是用于明确地提示一个或多个选择候选图像(面部图像)的图像，例如包括其中排列面部图像的面部列表的图像等。例如，图4B图解说明面部列表201的例子，面部列表201将在下面说明。

此外，控制单元4监视用户的选择操作信息Ssel。当对于候选者提示图像(例如，面部列表)，进行了用户的选择操作时，控制单元4允许显示数据的生成，所述显示数据包括其中在主图像(图像数据Dg)中，强调与选择的候选者提示图像对应的被摄对象图像的显示。即，控制单元4允许在基于图像数据Dg的显示图像上，进行其中在主图像上，向用户明确提示用户从面部列表中选择的面部的显示。例如，图5A图解说明其中用将在后面说明的指示符203，强调与从面部列表201中选择的选择候选者对应的主图像200中的图像(面部)的例子。

另外，包括选择候选者检测单元2、显示数据生成单元3和控制单元4的图像处理设备1可用作为算术运算设备的CPU(中央处理器)或DSP(数字信号处理器)实现。

此外，例如，考虑用CPU等实现控制单元4的功能，考虑用连接到CPU的DSP等，或者它们的协同处理，实现选择候选者检测单元2和显示数据生成单元3的功能。

图2中说明图像处理设备1的处理例子。

图2A图解说明当图像数据Dg是运动图像数据时，与作为运动图像的连续的帧图像数据Dg的输入对应的处理。在继续帧图像数据的输入的时候，过程从步骤F1进入步骤F2。

选择候选者检测单元2在步骤F2，接收一帧的图像数据Dg，然后在步骤F3，检测选择候选图像。例如，选择候选者检测单元2通过面部识别处理，分析作为主图像的一帧中是否存在面部图像，当存在一个或多个面部图像时，选择候选者检测单元2把面部图像设定为选择候选图像Df。

按照用户是否选择了选择候选图像(在选择时期中)，使步骤F4的处理分支。在未进行选择的时期中，过程进入步骤F5。

在步骤F5，进行包括候选者提示图像的显示数据的生成和输出。即，控制单元4允许显示数据生成单元3结合作为主图像的一帧的图像数据Dg和选择候选图像Df，从而生成其中选择候选图像Df例如是排列成面部列表的候选者提示图像的显示数据Ddsp。随后，显示数据生成单元3把显示数据Ddsp输出给显示设备(未图示)。

随后，在直到用户进行选择操作为止的时期中，过程从步骤F6返回步骤F1。从而，对顺序输入的各个帧图像数据Dg，进行步骤F2、F3和F5。这样，在显示设备上，显示其中候选者提示图像(面部列表)被叠加在作为运动图像的主图像上的图像。用户能够看到面部列表，和选择要关注的被摄对象。

在步骤F6，控制单元4监视用户的选择操作。当发现用户进行了选择操作时，控制单元4允许过程从步骤F6进入步骤F7，指令显示数据生成单元3生成和输出其中强调选择的被摄对象图像的显示数据。显示数据生成单元3生成和输出其中在此时的帧图像数据Dg之后的主图像上，显著地提示选择的被摄对象的位置的图像。另外，当在步骤F7，生成显示数据时，可以连续地进行候选者提示图像(面部列表)的叠加，或者可以不叠加面部列表，从而不进行面部列表的显示。

在其中进行选择的时期中，过程从步骤F4进入步骤F7，重复该处理。

因而，在用户的选择操作之后，其中通过诸如指示符或强调显示之类的技术，强调待用户关注的被摄对象的图像被显示在主图像上，以致用户能够一看就能够识别目标被摄对象在图像中的位置。

另外，当在选择状态下存在取消操作时，由于在存在下一个选择操作之前，不进行步骤F7的处理，因此强调显示结束，利用图5的处理，进行其中把面部列表叠加在主图像上的显示。

此外，当帧图像数据的输入结束时，图2A的处理结束。

图2B图解说明当作为图像数据Dg，输入静止图像时的处理例子。图2B图解说明与作为静止图像数据的一帧的图像数据Dg的输入对应的处理。

选择候选者检测单元2在步骤F10，接收一帧的图像数据Dg，然后在步骤F11，检测选择候选图像。随后，例如，选择候选者检测单元2通过面部识别处理，分析在图像数据Dg中是否存在面部图像，当存在一个或多个面部图像时，选择候选者检测单元2把面部图像本身设定为选择候选图像Df。

在步骤F12，进行包括选择候选图像的显示数据的生成和输出。即，控制单元4允许显示数据生成单元3结合作为主图像的一帧的图像数据Dg和选择候选图像Df，从而生成其中选择候选图像Df例如是排列成面部列表的候选者提示图像的显示数据Ddsp。随后，显示数据生成单元3把显示数据Ddsp输出给显示设备(未图示)。这样，在显示设备上进行其中把面部列表叠加在静止图像上的显示。

在步骤F13，控制单元4监视用户的选择操作。当发现用户进行了选择操作时，控制单元4允许过程进入步骤F14，指令显示数据生成单元3生成和输出其中强调选择的被摄对象图像的显示数据。从而，显示数据生成单元3生成作为其中在作为静止图像的主图像(图像数据Dg)上，显著地提示选择的被摄对象的位置的图像的显示数据，并把所述显示数据输出给显示设备。

这样，其中通过指示符或强调显示之类的技术，强调待用户关注的被摄对象的图像被显示在显示的静止图像上。

如上所述，在图像处理设备1中，例如，在作为运动图像或静止图像的主图像中，作为选择候选图像，检测面部图像等，把选择候选图像和主图像结合，从而生成显示数据，以致能够容易地在显示上，识别选择候选图像。随后，用户对选择候选图像进行选择操作，以致在主图像上强调，并显著地提示与选择的选择候选图像对应的被摄对象图像。从而，获得能够快速并且容易地从图像中，找出待用户关注的被摄对象的效果。

此外，按照这种方式，还获得减轻用户的压力的效果。

图像处理设备1的处理例子被认为在下面说明的各个实施例中，可类似地进行各种变更。

<2.成像设备的结构>

下面将举例详细说明其中内含图像处理设备1的成像设备10的结构和操作(候选者提示图像显示和强调显示)。

图3图解说明按照实施例的成像设备10的结构例子。

成像设备10是所谓的数字静态照相机或数字摄像机，是进行静止图像或运动图像的拍摄和记录的设备，具有内含于其中的按照实施例的图像处理设备。成像设备10在作为所谓的监视图像(被摄对象监视图像)的运动图像显示中，进行候选者提示图像显示和强调显示。

此外，采用其中面部图像被设定为选择候选图像的例子，和其中面部列表被显示成候选者提示图像的例子。

如图3中图解所示，成像设备10包括光学系统11、成像器12、光学系统驱动单元13、传感器单元14、记录单元15、通信单元16、数字信号处理单元20、控制单元30、显示单元34和操作单元35。

光学系统11具有诸如盖板透镜、变焦透镜或聚焦透镜之类的透镜，和光圈机构。利用所述光学系统11，来自被摄对象的光被收集在成像器12中。

成像器12例如具有CCD(电荷耦合器件)类或CMOS(互补金属氧化物半导体)类成像元件。

例如，成像器12对于通过成像元件中的光电转换而获得的电信号，进行CDS(相对双采样)处理、AGC(自动增益控制)处理等，还进行A/D(模/数)转换处理。随后，成像器12把作为数字数据的成像信号输出给后一级的数字信号处理单元20。

光学系统驱动单元13在控制单元30的控制下，驱动光学系统11的聚焦透镜，从而进行聚焦操作。此外，光学系统驱动单元13在控制单元30的控制下，驱动光学系统11的光圈机构，从而进行曝光调整。此外，光学系统驱动单元13在控制单元30的控制下，驱动光学系统11的变焦透镜，从而进行变焦操作。

数字信号处理单元20例如是利用DSP等，以图像处理处理器的形式构成的。数字信号处理单元20对来自成像器12的数字信号(拍摄图像数据)，进行各种信号处理。

例如，数字信号处理单元20包括预处理单元21、同步单元22、YC生成单元23、分辨率转换单元24、编解码器单元25、选择候选者检测单元26、候选者信息存储单元27和显示数据生成单元28。

预处理单元21对于来自成像器12的拍摄图像数据，进行把R、G和B的黑色电平固定在预定电平的箝位处理，或者R、G和B的颜色通道间的校正处理。

同步单元22进行去马赛克处理，以致各个像素的图像数据具有R、G和B全部的颜色分量。

YC生成单元23从R、G和B的图像数据，生成(分离)亮度(Y)信号和颜色(C)信号。

分辨率转换单元24对已对其进行各种信号处理的图像数据，进行分辨率转换处理。

编解码器单元25对已对其进行分辨率转换的图像数据，进行记录或通信用编码处理。

选择候选者检测单元26对在YC生成单元23中获得的拍摄图像数据(亮度信号/颜色信号)，进行各个帧单元(或者各个间歇帧)的图像分析处理，并提取选择候选图像。即，选择候选者检测单元26对在时间轴上，连续输入的图像数据，进行面部图像检测，并提取选择候选图像。

例如，通过对于拍摄图像数据的图像分析中的诸如模式匹配之类的技术，可进行面部检测。另外，采用面部图像作为选择候选图像只是用于举例说明。作为变形例，后面将说明另一个例子。

选择候选者检测单元26检测面部图像，并提取面部图像位于的图像区域。提取的图像区域的图像，例如，矩形边框状的区域的图像被用作选择候选图像。

此外，选择候选者检测单元26对于提取的选择候选图像，生成图像区域(围绕面部的边框区域)的位置信息(例如，关于画面上的x和y坐标，以及被摄对象距离的信息等)，和边框的大小信息(例如，边框的宽度、高度、像素数等)。

此外，选择候选者检测单元26还能够进行对于选择候选图像的属性检测。例如，选择候选者检测单元26通过图像分析，识别用作选择候选图像的被摄对象的属性，并生成属性信息。例如，属性信息是指示用作选择候选图像的被摄对象是成人还是儿童的信息，或者指示被摄对象是女性还是男性的信息。此外，可以判别关于更详细的年龄组等的信息。例如，选择候选者检测单元26能够判别面部图像的特征点，并确定性别或年龄组。

另外，选择候选者检测单元26可对图像进行均衡处理或离群点消除处理，生成关于候选图像的信息。

关于候选图像的信息被移交给控制单元30。此外，选择候选图像和关于选择候选图像的信息被保存在候选者信息存储单元27中。

在控制单元30的控制下，候选者信息存储单元27保存选择候选者检测单元26的检测结果。具体地，保存作为选择候选图像的帧的图像数据本身，以及关于选择候选图像的信息。关于选择候选图像的信息包括控制单元30分配给每个选择候选图像的标识符(ID)，位置信息，大小信息，属性信息等等。

在控制单元30的控制下，显示数据生成单元28生成作为监视图像的显示数据，所述监视图像被输出给显示单元34。

作为监视图像的显示数据基本上包括作为已由分辨率转换单元24对其进行分辨率转换的拍摄图像数据(主图像)的各帧的数据。在其间开启进行候选者提示图像显示和强调显示的操作的功能(下面称为“强调显示功能”)的时期中，显示数据生成单元28根据主图像(拍摄图像数据)，生成用于监视图像显示的显示数据。显示数据被提供给显示单元34，以致进行监视图像显示。

当开启强调显示功能时，显示数据生成单元28按照控制单元30的指令，进行把保存在候选者信息存储单元27中的选择候选图像数据叠加在主图像上，并生成包括作为候选者提示图像的面部列表的显示数据的处理。该显示数据被提供给显示单元34，导致其中候选者提示图像(面部列表)被叠加在监视图像上的图像的显示。

此外，在强调显示功能被开启的时期中，显示数据生成单元28按照与用户选择对应的控制单元30的指令，进行生成其中强调并显示在主图像中选择的被摄对象的显示数据的处理。该显示数据被提供给显示单元34，导致其中在监视图像中可明确地识别选择的被摄对象的图像的显示。

另外，在图3的例子中，选择候选者检测单元26、候选者信息存储单元27和显示数据生成单元28都被例示成在数字信号处理单元20进行的功能构成。然而，这只是用于举例说明。选择候选者检测单元26、候选者信息存储单元27和显示数据生成单元28的处理可由控制单元30进行。

控制单元30由包括CPU、ROM(只读存储器)、RAM(随机存取存储器)、闪存等的微型计算机(算术处理设备)构成。

CPU执行保存在ROM、闪存等中的程序，从而控制整个成像设备10。

RAM是在CPU的各种数据处理时的工作区，用于临时保存数据、程序等。

除了保存使CPU可以控制各个元件的OS(操作系统)和诸如图像文件灾的内容文件之外，ROM和闪存(非易失性存储器)还用于保存用于各种操作的应用软件，固件等。特别地，在本例中，还保存用于进行用于将在后面说明的强调显示功能的处理的程序。

这种控制单元30关于数字信号处理单元20中的各种信号处理的指令，与用户操作对应的摄影操作和记录操作，记录的图像文件的再现操作，变焦、聚焦、曝光调整等的照相机操作，用户操作等，控制各个必要元件的操作。

此外，在本实施例的情况下，控制单元30具有追踪处理单元30a的功能，在后面说明的第一到第五实施例中的处理中，还进行为强调显示功能所必需的被摄对象追踪处理。具体地，控制单元30进行追踪作为构成运动图像的各帧中的选择候选图像提取的各个被摄对象，并判定在各帧之间，被摄对象是否彼此一致的处理，并进行追踪选择的被摄对象的处理。

另外，追踪处理单元30a也可被实现成数字信号处理单元20的功能。

显示单元34是为用户(摄影者等)进行各种显示的显示单元，例如是利用在成像设备10的外壳上形成的显示设备，比如LCD(液晶显示器)或有机EL(电致发光)显示器形成的。另外，可利用呈所谓的取景器形式的LCD或有机EL显示器，形成显示单元34。

显示单元34包括显示设备和使显示设备可以进行显示的显示驱动器。显示驱动器根据控制单元30的指令，允许在显示设备上进行各种显示。例如，显示驱动器再现和显示拍摄并记录在记录介质中的静止图像或运动图像，或者响应来自显示数据生成单元28的显示数据，把作为以在释放(快门操作)待机期间拍摄的各帧的拍摄图像数据为基础的运动图像的监视图像，显示在显示设备的屏幕上。此外，显示驱动器允许各种操作菜单、图标、消息等，即，GUI(图形用户界面)被显示在屏幕上。在本实施例的情况下，例如，还对监视图像进行与强调显示功能对应的显示。

操作单元35具有接收用户操作的输入功能，并把与输入操作对应的信号发送给控制单元30。

例如，操作单元35是利用设置在成像设备10的外壳上的各种操作器，在显示单元34上形成的触摸面板等实现的。

作为外壳的操作器，设置再现菜单开启按钮、决定按钮、方向键、取消按钮、变焦键、滑动键、快门按钮(释放按钮)等。

此外，借助利用触摸面板和显示在显示单元34上的图标和菜单，各种操作是可能的。

记录单元15例如包括非易失性存储器，充当保存诸如静止图像数据或运动图像数据之类的图像文件(内容文件)，图像文件的属性信息，缩略图图像等的存储区。

图像文件例如以是JPEG(联合图像专家组)、TIFF(标记图像文件格式)、GIF(图形交换格式)等的形式保存的。

可以多样地考虑记录单元15的实际形态。例如，记录单元15可以是内含在成像设备10中的闪存，或者可具有基于相对于成像设备10可拆卸的存储卡(例如，可移植闪存)和对所述存储卡进行记录再现访问的卡记录再现单元的形态。此外，可按内含在成像设备10中的HDD(硬盘驱动器)等的形态，实现记录单元15。

此外，在本例中，用于进行用于强调显示功能的处理的程序可被保存在记录单元15中。

通信单元16有线或无线地与外部设备进行数据通信或网络通信。

例如，通信单元16与外部显示设备，记录设备，再现设备等，进行拍摄图像数据(静止图像文件或运动图像文件)的通信。

此外，作为网络通信单元，例如，通信单元16可通过各种网络，比如因特网、家庭网或LAN(局域网)进行通信，或者可与网络上的服务器、终端等进行各种数据传输和接收。

传感器单元14全面地表示各种传感器。例如，传感器单元14具备用于检测整个成像设备10的运动，比如抖动，或者成像设备10的姿势和移动(摇移移动、俯仰移动等)的陀螺传感器(角速度传感器)、加速度传感器等。

此外，传感器单元14具备检测用于曝光调整等的外部照度的照度传感器，还可具备测量被摄对象距离的测距传感器。

此外，作为传感器单元14，在一些情况下，可以设置检测光学系统11的变焦透镜的位置的变焦透镜位置传感器，和检测聚焦透镜的位置的聚焦透镜位置传感器。

此外，作为传感器单元14，在一些情况下，可以设置检测机械虹膜(光圈机构)的孔径量的传感器。

传感器单元14的各个传感器把检测的信息传送给控制单元30。控制单元30利用传感器单元14检测的信息，能够进行各种控制。

在这种成像设备10中，如图1中所示的图像处理设备1的元件如下。

作为选择候选者检测单元26、候选者信息存储单元27、显示数据生成单元28和控制单元30，安装与图1的图像处理设备1中的选择候选者检测单元2、显示数据生成单元3和控制单元4对应的结构。

<3.候选者提示图像及选择的被摄对象的强调显示的例子>

下面参考图4和图5，说明强调显示功能的具体显示例子。图4和图5都表示显示在显示单元34上的图像的例子。

图4A是其中监视图像被显示成主图像200的例子。例如，在运动会上，用户(摄影者)把成像设备10对准学生。

当开启强调显示功能时，候选者提示图像201(下面也称为“面部列表201”)被叠加地显示在作为主图像200的监视图像上，如图4B中图解所示。

例如，当从拍摄图像数据中，检测8人的面部，作为选择候选图像时，所述8人的面部图像被排列显示成面部列表201。然而，归因于显示区域的限制，图4B图解说明其中垂直地排列显示4个面部图像的例子。

用户对面部列表201进行预定操作(例如，翻页操作或滚动操作)，以致能够前进屏幕上的显示。例如，在图4B的面部列表201上，显示人物HM1、HM2、HM3和HM4的面部图像。然而，用户在触摸面板上进行滚动操作，以致能够显示人物HM5、HM6、HM7和HM8的面部图像，如图4C中图解所示。

另外，在图4B和图4C的例子中，显示指示用作选择候选图像的面部图像部分的边框显示204(在图4B和图4C中，用虚线边框指示)。利用边框显示204指示的各个区域的面部图像被排列显示在面部列表201上。

不过，可不进行主图像200上的选择候选图像的边框显示204。

调整形状大小地显示面部列表201的面部图像，以致依据预定大小，扩大或缩小从主图像200提取的实际面部图像区域的图像数据。例如，由于主图像200中拍摄得较小的面部图像被调整到在一定程度上易于看见的大小，因此大小几乎相同地显示每个人物的面部图像。从而，在面部列表201上，用户能够容易地辨认每个人物。

用户能够从面部列表201中选择要关注的人物。例如，假定用户从面部列表201中，找出他/她的孩子(人物HM7)，并进行选择人物HM7的触摸操作，如图4C中图解所示。

响应所述选择操作，进行其中在主图像200上，强调选择的被摄对象的显示。

图5A、图5B和图5C都是其中强调地显示与选择的面部图像对应的被摄对象图像(人物HM7的图像)的例子。

图5A是其中响应选择操作，在主图像200上，显示指示被摄对象的位置的指示符203，以致在主图像200上强调该被摄对象的例子。在图5A中，指示符203用箭头标记表示。然而，显然也可多样地考虑指示符203的形状、颜色和大小。此外，也可考虑使指示符203闪烁，或者高亮度地显示指示符203。

此外，在图5A的例子中，在所述选择之后，持续地显示面部列表201，并在面部列表201上，强调选择的被摄对象。具体地，选择的人物HM7的面部图像被改变成面部列表201的顺序第一(顶部)的位置。即，显示的面部列表201上的面部图像的顺序从图4C的人物HM5、HM6、HM7和HM8的顺序被改变成人物HM7、HM5、HM6和HM8的顺序。此外，在面部列表201上，使人物HM7的面部图像比其它面部图像更显著。图5A图解说明其中采用粗线列表边框202的例子。不过，可设想各种显示方式，比如加亮显示，背景颜色或者列表边框的变更，或者闪烁。

在图5B的例子中，当在主图像200上，对每个选择候选图像进行边框显示204时，响应选择操作，对于对应的被摄对象，进行特殊边框显示205。在图5B中，特殊边框显示205是粗边框，而其它边框显示204是虚线边框。只要特殊边框显示205是可明确地与其它边框显示204区分的显示方式就足够了。

另外，在选择之后，可以终止其它选择候选图像的边框显示204。此外，在选择之前，可不进行边框显示204，和在选择之后，可进行边框显示204和特殊边框显示205。

面部列表201中的强调显示的方式类似于图5A。

图5C是其中响应选择操作，结束面部列表201的显示的例子。另外，图5C是其中在主图像200上，显示指示对应被摄对象的位置的指示符203，以致强调被摄对象的例子。

在选择之后，可多样地考虑强调对应被摄对象的例子。所述例子被大致分成主图像200上的强调和面部列表201上的强调。

在主图像200上的强调中，除了指示符203和特殊边框显示205之外，存在对于对应的面部图像本身，进行高亮度显示或闪烁显示，仅仅允许对应面部图像是彩色的，而其它面部图像为单色或者变暗，或者相对于其它面部图像，仅仅改变对应面部图像的色调的技术。此外，可在主图像中，把对应面部图像扩大到适当大小。总之，只要用户明确地辨认显示在主图像200上的所选人物的面部部分就足够了。利用这种强调显示，用户能够即刻从成像设备10的屏幕中，找出待关注的被摄对象，从而易于拍摄该被摄对象。

此外，当在选择之后，显示面部列表201时，最好通过变更列表上的顺序，或者使列表图像或列表边框不同于另一个列表图像或列表边框，进行强调。这样，用户能够识别曾经选择的面部图像，易于检查选择错误等。

<4.作为成像设备的第一实施例的处理例子>

下面参考图6和图7，说明作为进行如上所述的强调显示的处理例子的第一实施例。第一实施例采用其中在如图5A和图5B中图解所示的选择操作之后，连续显示面部列表201的例子。

图6是其中在成像设备10中，进行监视图像显示的时期中，用于强调显示的控制单元30的处理的流程图。例如，控制单元30进行与作为拍摄图像数据的各帧对应的图6的处理。

在步骤F101，控制单元30检查强调显示功能是否被开启。只要强调显示功能的开/关可由用户设定就足够了。不过，控制单元30可响应摄影模式或其它条件，自动进行开/关设定。

当强调显示功能被关闭时，在步骤F112，控制单元30向显示数据生成单元28传送候选者提示图像OFF的指令，然后在步骤F113，关闭选择标记。选择标记是指示是否根据用户操作，选择被摄对象(在选择期间)的内部标记。

随后，在步骤F114，控制单元30把基于当前设定条件的帧图像显示指令传送给显示数据生成单元28。即，控制单元30允许显示数据生成单元28响应当前设定，根据一个当前帧的拍摄图像数据，生成作为监视图像的一帧的显示数据，并把所述显示数据输出给显示单元34。

在强调显示功能被关闭的时期中，在每个帧定时，重复上述处理，以致显示数据生成单元28向显示单元34供给作为通常的监视图像的显示数据。从而，如图4A中图解所示的作为监视图像的主图像200被显示在显示单元34上。

当强调显示功能被开启时，控制单元30进行步骤F102-F111的处理。

在步骤F102，控制单元30向显示数据生成单元28传送候选者提示图像ON的指令。这样，显示数据生成单元28进入进行把面部列表201叠加在主图像200(作为监视图像的帧图像数据)上的合成处理的设定状态。

在步骤F103，控制单元30检查在拍摄图像数据的当前目标帧中，是否存在选择候选图像(面部图像)。即，控制单元30检查选择候选者检测单元26中的选择候选图像的检测结果。如果在待处理的当前帧中，不存在选择候选图像，那么在步骤F113，控制单元30关闭选择标记，在步骤F114，把基于当前设定的帧图像显示指令传送给显示数据生成单元28。这种情况下，由于不进行面部列表201的叠加条件的设定(后面说明的步骤F107)，因此输出作为通常的监视图像的显示数据。

当选择候选者检测单元26检测到一个或多个面部图像时，认为存在选择候选图像，从而控制单元30的处理从步骤F103进入步骤F104。在步骤F104，控制单元30获得并管理关于每个检测的选择候选图像的信息。即，控制单元30获得关于每个面部图像的帧中的位置、大小、属性等的信息。此外，控制单元30通过追踪处理单元30a的功能，检查相对于前一帧的被摄对象的同一性，并向各个面部图像分配ID。

向多帧之中，被确定为同一被摄对象的面部图像分配一个ID。因此，在按时间顺序排列的各帧中，控制单元30(追踪处理单元30a)进行各个面部图像的追踪处理。另外，如果在待处理的当前帧中检测到的面部图像是从在前一帧之前出现的面部图像中连续追踪的面部图像，那么控制单元30分配与前一帧的ID相同的ID。控制单元30向新出现的面部图像，或者前一帧中的但未被连续追踪的人物的面部图像，分配新的ID。另外，只要把在JP 2004-283959A等中公开的公知技术用于追踪处理就足够了。

在步骤F105，控制单元30允许候选者信息存储单元27保存用作各个选择候选图像的面部图像数据本身。此时，通过与各个面部图像的关联，关于ID、位置、大小、属性等的关联信息也被保存。

随后，在步骤F106，控制单元30检查选择标记，并使处理分支。当选择标记被关闭时，即，当用户未进行选择操作时，在步骤F107，控制单元30把图像叠加条件指令传送给显示数据生成单元28。即，控制单元30进行用于执行结合通过列出作为保存在候选者信息存储单元27中的选择候选图像的面部图像而获得的候选者提示图像(面部列表)201和主图像201的处理的指令，和此时的处理条件的指示。

例如，作为处理条件，指定面部列表201中的各个面部图像的显示顺序。例如，指定面部图像的排列顺序，比如ID的升序，大小的降序，帧中的位置顺序(从左上到右下的顺序，从屏幕的中央开始的顺序等)，或者属性顺序(儿童优先，女性优先等)。

此外，当作为面部列表201，可显示在一个屏幕上的面部图像的数目为N时，控制单元30指令按照以上顺序的第1个面部图像到第N个面部图像的组合。

此外，当在主图像200上，对于用作选择候选图像的面部图像进行边框显示204时，控制单元30还指令边框显示204的执行。

此外，控制单元30指示面部列表201的组合位置，以及面部列表201上的各个面部图像的大小等，作为叠加条件。

依据步骤F107的指令(叠加条件设定)，显示数据生成单元28响应指定的顺序等的条件，在每个后续帧中，读取保存在候选者信息存储单元27中的面部图像，进行必要的大小调整，然后进入进行结合大小调整的面部图像和主图像200(作为监视图像的帧图像数据)的处理的设定状态。

实际上，在步骤F107的叠加条件设定之后，控制单元30的处理顺序进入步骤F108、步骤F109和步骤F114，在步骤F114，控制单元30指令显示数据生成单元根据当前的设定条件，生成一帧的显示数据。如上所述，面部列表201的顺序条件被设定，以致显示数据生成单元28按照指定的顺序条件，结合各个面部图像和主图像200，从而生成包括面部列表201的显示数据。随后，所述显示数据被提供给显示单元34，然后例如进行如图4B中图解所示的显示。

另外，如在图4B和图4C中所示，对于面部列表201，进行用户的翻页操作、顺序颠倒操作和滚动操作。这种情况下，控制单元30响应步骤F108中的选择候选图像的调换指令，在步骤F107中，再次指示条件。例如，响应用户操作，控制单元30再次设定显示在面部列表201上的面部图像，以及顺序。

此外，图7中详细图解说明步骤F109的选择对应处理。不过，当不进行用户的选择候选图像的选择时，即，当不进行面部列表201上的面部图像的选择时，处理从步骤F151进入步骤F157，以致指令关闭所有强调显示，然后结束步骤F109的选择对应处理(步骤F157的处理将在后面说明)。

从而，在直到进行选择操作为止的时期中，响应在步骤F107中设定或变更的叠加条件，在步骤F114，生成其中面部列表201已与主图像200结合的显示数据，然后进行如图4B和图4C中图解所示的显示。

下面参考图8，示意说明到现在为止，在控制单元30的控制下进行的用于面部列表201的显示的数字信号处理单元20的处理。

图8的左上部图解说明作为拍摄图像数据的帧FR1、FR2、FR3...。例如，这些帧被假定包括3个人物的图像。

选择候选者检测单元26对于本例的情况下的各帧，进行面部图像检测，然后进行提取，作为选择候选图像。

右上部图解说明在帧FR1、FR2、FR3...中，由选择候选者检测单元26检测，并且被边框围绕的面部图像。

在图6的上述步骤F104中，控制单元30向面部图像分配ID。然而，如利用图8的ID1、ID2和ID3所示，在各帧中，相同的ID被分配给被确定为同一人物的面部图像(追踪的面部图像)。

随后，在图6的步骤F105，关于面部图像的信息被保存在候选者信息存储单元27中。如在图8的右下侧中图解所示，作为面部图像提取的区域的实际图像数据不被扩大、缩小等地被保存在候选者信息存储单元27中。此外，使ID(ID1、ID2和ID3)与各个面部图像数据关联，并被保存，按照相同的方式关联并保存包括大小、位置、属性等的相关数据DT(DT1、DT2和DT3)。

此外，对于各帧，提取面部图像，并在步骤F105，保存在候选者信息存储单元27中。不过，相同的人物是利用ID管理的，在候选者信息存储单元27，适当的是更新同一人物的面部。

拍摄图像数据的各帧FR1、FR2、FR3...在分辨率转换单元24中经历用于监视图像的分辨率转换，然后被提供给显示数据生成单元28。

显示数据生成单元28进行把保存在候选者信息存储单元27中的面部图像叠加在经过分辨率转换的拍摄图像数据(主图像200)上的处理。这种情况下，采用从控制单元30指示的叠加条件。此外，保存在候选者信息存储单元27中的面部图像具有包含在原始帧图像数据中的大小。从而，显示数据生成单元28进行把各个面部图像的大小调整到与关于面部列表201的设定对应的适当大小的处理。即使保存在候选者信息存储单元27中的面部图像的大小不同，从面部列表201本身的外观和用户的视认性改善的观点来看，也最好把面部图像的大小调整成几乎相同，并按易于确定面部图像的适当大小排列。

此外，当控制单元30在面部列表201中，设定了叠加条件，以致按大小的降序，把面部图像排列在主图像200上时，显示数据生成单元28参照保存在候选者信息存储单元27中的大小信息，进行从面部列表201的顶部起，顺序显示大小较大的面部图像的结合处理。

此外，在设定在主图像200上进行边框显示204的情况下，还把边框图像和每个选择候选图像结合。

这样，如在图8的左下部中图解所示，生成作为显示数据的帧dFR1、dFR2、dFR3...。这种情况下，其中在拍摄图像数据上，被拍摄得较大的人物HM10的面部图像被排列在顶部，并按人物HM11和HM12的顺序排列其它面部图像的面部列表201与主图像200结合，并被显示。此外，对于各个选择候选图像，也进行边框显示204。

在如上所述的面部列表201的显示中，在本例的处理中，进行以下适当的显示操作。

首先，响应帧前进，进行面部图像追踪，相同的ID被分配给被确定是同一人物的面部图像。

这样，在面部列表201上，能够避免每个人物的顺序被频繁改变。例如基本上，假定在面部列表201上，面部图像是按ID的顺序排列的。从而，即使对于每一帧继续进行处理，由于ID顺序的显示顺序被保持，因此面部列表201上的顺序在一定程度上被固定。当在面部列表201上，频繁改变面部图像的顺序时，由于用户难以辨认每个面部图像或者进行选择操作，因此最好基本上根据ID，管理显示顺序，可能的话，同一人物的显示位置最好不被改变。

随后，依据用户的摄影方向，诸如变焦之类的操作，被摄对象人物的移动等，改变拍摄图像中的各个面部图像的位置和大小。

例如，面部拍摄得较大的人物，或者拍摄在画面的中央的人物很可能是用户要关注的人物。于是，允许容易地选择这种人物的面部图像也是可取的。于是，例如，在某个时间点，如在图8的例子中图解所示，当利用ID2追踪的人物HM10的面部被拍摄得较大时，该面部在较高的位置，被显示在面部列表201上。进行这样的处理，以致不阻止面部图像位置在面部列表201上被频繁改变，从而很可能被用户选择的面部图像可被排列在所述列表的较高位置。

另外，因此之故，对于以大小顺序或图像中的位置为基础的面部列表201上的顺序设定(顺序的变化)来说，适当的是考虑面部图像在一定程度上在相当长的帧时期中连续具有较大的大小，或者被连续置于画面的中央的时间条件。

此外，可不在每个帧定时，进行面部图像检测和面部列表图像的更新，实际上，可每隔预定帧，比如每30帧一次或者每60帧一次地进行面部图像检测和面部列表图像的更新。

返回图6，说明在开始面部列表201的显示之后的处理。

用户在面部列表201上找出要关注的人物，随后进行所述人物的选择操作(参见图4C)。当进行了选择操作时，在图6的步骤F109，进行选择对应处理。

如图7中图解所示，在对于面部列表201，进行选择候选图像(面部图像)的选择操作之后，由于控制单元30允许处理从步骤F151进入步骤F152，因此选择标记被开启。即，达到指示“选择中”的状态。随后，控制单元30在步骤F153和F154，进行用于强调显示的控制处理。

在步骤F153，控制单元30进行候选者提示图像(面部列表)201中的显示顺序变更指令。即，控制单元30允许按照显示顺序，强调所选对象的面部图像。例如，控制单元30指令显示数据生成单元28变更顺序，以致选择的面部图像被置于面部列表201的顶部，如在图5A和图5B中图解所示。

在步骤F154，控制单元30进行候选者提示图像(面部列表)201中的强调显示指令。即，控制单元30允许在面部列表201上，强调选择的面部图像本身。例如，控制单元30指令显示数据生成单元28在面部列表201上，进行面部图像的强调显示，如图5A和图5B中图解所示。

在步骤F155，控制单元30指令显示数据生成单元28在主图像200上，进行所选被摄对象的面部图像的强调显示。即，控制单元30允许在主图像200上，强调选择的面部图像本身。例如，控制单元30允许选择的面部图像比其它面部图像更显著，比如如图5B中图解所示的特殊边框显示205的显示的指令，或者与其它面部图像相比，仅仅所选被摄对象的高亮度显示。

在步骤F156，控制单元30指令显示数据生成单元28显示指示符203，以致在主图像200上，指出所选被摄对象的面部图像的位置。即，控制单元30允许强调选择的被摄对象图像的位置。例如，控制单元30指令指示符203的显示，如图5A中图解所示。

不是所有的步骤F153和F154都需要被执行。这里，在步骤F153和F154中，进行用于在面部列表201上的强调的显示指令。不过，可以进行步骤F153和F154之一。此外，也可考虑其中不进行面部列表201上的强调，即，不进行步骤F153和F154的处理的例子。

此外，步骤F155和F156指示主图像200上的所选被摄对象的强调处理。不过，只要进行步骤F155和F156之一就足够了。当然，可以进行步骤F155和F156两者。

向显示数据生成单元28指示与选择对应处理的选择操作对应的图像叠加条件。

随后，在图6的步骤F114，控制单元30指令显示数据生成单元28根据当前的设定条件，生成显示数据，以致响应选择操作，包括强调显示的图像被显示在显示单元34上。例如，显示如图5A和图5B中图解所示的图像。通过查看所述图像，用户能够容易地在监视图像中，找出要关注的人物。

在选择操作之后，由于选择标记被开启，因此控制单元30的处理从步骤S106进入步骤F110。

在步骤F110，控制单元30监视用户的选择取消操作。当未检测到选择取消操作时，处理进入步骤F114。特别地，不进行对于显示数据生成单元28的设定变更，从而继续面部列表201的显示和强调显示。

另外，控制单元30(追踪处理单元30a)不断地追踪作为包含所选面部图像的选择候选图像而检测到的面部图像，并利用相同的ID，管理被确定为同一被摄对象的面部图像(步骤F104和F105)。

从而，在维持选择的面部图像的追踪时，响应当前帧中的选择候选图像的位置，显示指示符203或者特殊边框显示205，从而连续进行强调显示。

即，随着帧前进，主图像200上的所选被摄对象的位置被变更。不过，面部图像被追踪，并利用相同ID持续管理，以致可在与帧的被摄对象相应的适当位置，显示指示符203或特殊边框显示205。

当在步骤F110，检测到选择取消操作时，在步骤F111，控制单元30关闭选择标记。随后，处理进入步骤F114。

这种情况下，当处理下一帧时，处理顺序进入步骤F106、F107、F108和F109。不过，在这种情况下，由于选择标记被关闭，从而未达到指示“选择中”的状态，因此处理从图7的步骤F151进入步骤F157。此时，控制单元30指令显示数据生成单元28关闭所有的强调显示。随后，处理进入步骤F114。这样，显示数据生成单元28结束响应选择操作进行的强调显示(对应于步骤F153-F156的显示)，并生成显示数据，以致进行如图4C中图解所示的和选择前的显示相同的显示。从而，用户能够再次在面部列表201上，选择期望的面部图像。

此外，当用户进行关闭强调显示功能的操作时，由于如上所述，处理从步骤F101进入步骤F112，因此面部列表201的显示也被关闭。另外，实际上在选择期间，可能存在进行其中用户关闭强调显示功能的操作的情况。从而，在步骤F112，理想的是进行候选者提示图像OFF的指令，和强调显示OFF的指令。

在进行上述处理的本实施例的成像设备10中，作为拍摄图像数据中的选择候选图像，检测面部图像，结合选择候选图像和主图像200，生成并在显示单元34上显示包括候选者提示图像(面部列表)201的显示数据。这样，用户易于辨认拍摄(进入屏幕中)的各个人物的面部。例如，当面部图像较小地拍摄多个人物时，在主图像(监视图像)中，难以辨别各个人物。然而，利用面部列表201，较大地顺序排列各个人物，以致可明确地辨认各个人物。

随后，响应用户的选择操作，在主图像200上，强调选择被摄对象的图像或位置。这样，用户能够在拍摄图像中，立即辨认要关注的人物的位置。从而，能够容易地以强调的人物作为主要对象，进行摄影(静止图像拍摄或运动图像拍摄)。这样，避免错过要拍摄的场面，易于获得令人满意的图像内容。

此外，在处理例子中，显示数据生成单元28生成包括其中排列选择候选图像(面部图像)的候选者提示图像(面部列表)201的显示数据。随后，控制单元30向包含在作为主图像的运动图像中的多帧中的，被确定为相同被摄对象的面部图像分配相同的ID(标识符)，并根据所述ID，控制面部列表201中的面部图像的显示顺序。这样，能够避免在各帧等中，面部图像的排列顺序在面部列表201中被频繁改变，从而改善用户查看面部列表201上的各个面部图像的容易性，和易于进行选择操作。

此外，在选择操作之后，控制单元30允许显示数据生成单元28继续包括面部列表201的显示数据的生成。这样，能够改善当用户期望另外的选择(选择的面部图像的变更)时的操作性，或者在选择操作之后，表现利用面部列表201的各个面部的可辨认性。

此外，响应对于面部列表201的选择操作，控制单元30允许显示数据生成单元28进行其中在面部列表201上，强调选择的面部图像的显示。这样，用户能够容易地在面部列表201上，辨认选择的被摄对象。用户易于发现选择错误，以致在实际使用中获得便利性。

此外，在作为运动图像的主图像200的帧前进过程中，根据对于与在选择操作中选择的面部图像对应的被摄对象的面部图像的各帧中的追踪结果，控制单元30指令显示数据生成单元，以致设定其中强调所选被摄对象的面部图像的显示的位置。

主图像200中的被摄对象的位置在各帧中变动。于是，在作为连续帧或间歇帧的各帧中，控制单元30响应作为所选被摄对象图像的追踪结果的图像中的位置，实现指示符203，特殊边框显示205等。这样，能够始终在作为运动图像的主图像200上，明确地强调和提示选择的被摄对象。

同时在本例中，作为例子，采用了其中作为候选者提示图像201，垂直地排列面部图像的面部列表。不过，作为候选者提示图像201，可以考虑各种显示方式。图9图解说明其例子。

图9A图解说明主图像200。这里，当提取了4个面部图像，作为候选者提示图像201时，可以采用其中如图9B中图解所示，水平排列面部图像的面部列表。

此外，图9C图解说明不按列表的形式显示的候选者提示图像201。这是其中在主图像200上，扩大面部图像，并使之与各个被摄对象的面部部分结合的例子。各个扩大的面部图像是候选者提示图像201。

此外，图9D是其中面部图像作为候选者提示图像201被分散在屏幕的不同部分的例子。

如上所述，候选者提示图像201并不局限于其中顺序排列面部图像的列表形式。采用其中在屏幕上，能够明确地辨认各个面部图像的技术就足够了。

<5.作为成像设备的第二实施例的处理例子>

下面参考图10和图11，说明作为第二实施例的强调显示的处理例子。

在第一实施例中，在选择操作之后，候选者提示图像(面部列表)201的显示是连续的。然而，第二实施例是其中如图5C中图解所示，当存在选择操作时，结束面部列表201的显示的例子。

图10是在成像设备设备10中，进行监视图像显示的时期中的用于强调显示的控制单元30的处理的流程图。例如，控制单元30进行与作为拍摄图像数据的各帧对应的图10的处理。

在图10中，利用相同的步骤编号指示和图6的处理相同的处理，并省略其说明。和图6的不同之处在于增加了步骤F120，以及作为选择对应处理的步骤F109A的内容。

首先，类似于第一实施例，进行面部列表201的显示，当用户进行了选择操作时，作为步骤F109A，进行图11的处理。

图11是其中不进行图7的处理中的步骤F153和F154的例子，其它细节与图7相同。即，在选择操作之后，由于面部列表201的显示结束，从而不进行面部列表201上的强调显示，因此不进行图7中描述的步骤F153和F154。

响应选择操作，图10的步骤F109A，在图11的步骤F152，开启选择标记，然后在步骤F155和F156，指令主图像200上的强调显示。然后，响应其设定状态，显示数据生成单元28响应图10的步骤F114的指令，生成其中结合指示符203、特殊边框显示205等的显示数据。

然后，在后续帧之后，归因于“选择中”，处理顺序进入步骤F106、F110和F120，控制单元30指令显示数据生成单元28关闭候选者提示图像(面部列表)201的显示。

从而，在步骤F114中在显示数据生成单元28中生成的显示数据是不包括面部列表201的数据。

结果，在选择操作之后，如图5C中图解所示，面部列表201的显示终止。不过，包括指示符203等的强调显示的主图像200被显示在显示单元34上。

另外，当在步骤F110，检测到选择取消操作时，在步骤F111，控制单元30关闭选择标记。然后，处理进入步骤F120和F114。

这种情况下，当处理后续帧时，由于在步骤F102，控制单元30向显示数据生成单元28分派开启候选者提示图像201的显示的指令，步骤F120不被执行，因此在达到步骤F114之后，候选者提示图像ON的设定延续。从而，类似于在选择操作之前，进行面部列表201的显示。此外，在这种情况下，由于选择标记被关闭，并且未达到指示“选择中”的状态，因此处理从图11的步骤F151进入步骤F157，控制单元30指令显示数据生成单元28关闭所有的强调显示。

结果，当存在选择取消操作时，返回选择之前的显示状态，以致用户能够再次在面部列表201上，选择期望的面部图像。

在上述第二实施例中，响应对于候选者提示图像(面部列表)201的选择操作，控制单元30指令显示数据生成单元28终止面部列表201的显示。这样，在选择期间，仅仅通过主图像200(监视图像)中的强调，就能够明确地提示选择的被摄对象，用户能够容易地辨认要关注的被摄对象，和通过完全利用屏幕，辨认整个拍摄的被摄对象。特别地，在不进行重新选择的情况下，在选择期间，不进行面部列表201的显示，以致能够容易地在显示屏幕上，看到摄影对象，对用户来说这是更可取的。

另外，难以一概而言其中在选择中，进行面部列表201的显示的第一实施例，和其中在选择中，不进行面部列表201的显示的第二实施例中的哪一个对用户来说更可取。它取决于使用情况，用户的偏好，被摄对象选择的情形等。于是，只要用户能够按照用户的设定操作，切换第一实施例的应用和第二实施例的应用就足够了。

<6.作为成像设备的第三实施例的处理例子>

下面参考图12和图13，说明作为第三实施例的用于强调显示的处理例子。另外，类似于第一实施例，第三实施例的说明涉及其中在选择之后，继续面部列表201的显示的例子。

第三实施例是在进行选择和强调显示之后的追踪处理中，不可能实现追踪之后，考虑候选者提示图像的显示的处理例子。

图12是在成像设备10中，进行监视图像显示的时期中，用于强调显示的控制单元30的处理的流程图。例如，控制单元30进行与作为拍摄图像数据的各帧对应的图12的处理。

在图12中，利用相同的步骤编号指示和图6的处理相同的处理，并省略其说明。和图6的不同之处在于增加了步骤F130-F132，以及步骤F107A的内容。

另外在图12的处理例子中，基本上，选择候选者检测单元26检测作为选择候选图像的面部图像，响应于此，控制单元30进行候选者提示图像201的显示(步骤F103、F104、F105、F107A和F114)。

对于步骤F107A中的图像叠加条件的指令，进行与后面说明的优先检测大小和优先检测区域的判定对应的条件设定。不过，这是曾经选择的被摄对象的追踪被中断之后的处理，直到最初进行选择操作为止，与图6的步骤F107相同。

另外，始终对检测的面部图像，进行在图6的处理例子中说明的用于ID分配的追踪。此外，当在面部列表201上，选择某个面部图像之后，按照相同的方式，对该面部图像进行后续帧中的追踪。

对于图12的处理例子，将参考图13，说明在为了显示面部列表201，进行选择操作之后的处理。

当用户在某个时间点，为了显示面部列表201，进行选择操作时，在图12的步骤F109的选择对应处理(图7的上述处理)中，选择标记被开启，然后进行强调显示设定。随后，响应步骤F114的最终设定中的显示数据生成指令，生成显示数据。这样，例如，如图13A中图解所示，利用指示符203、特殊边框显示205等，在主图像200上进行强调显示，并利用高度有序的分类，粗线列表框202等，在面部列表201上进一步进行强调显示。另外，在图13A中，假定选择人物HM10的面部图像。

在处理后续帧的时间点，因此选择标记被开启，因此控制单元30从步骤F106进入步骤F130。

控制单元30追踪作为包含所选面部图像的选择候选图像而被不断检测到的面部图像。不过，在步骤F130，控制单元30判断所选被摄对象的面部图像的追踪是否可继续。

当在当前帧中，继续追踪时，处理从步骤F130进入步骤F110，检查选择取消操作，当存在选择取消操作时，处理进入步骤F114。

从而，在保持对于所选面部图像的追踪的时候，响应当前帧中的所选面部图像的位置，显示指示符203或特殊边框显示205，从而继续显示强调显示。到目前为止，这和第一实施例相同。

不过，由于所选被摄对象的面部图像的追踪基于在帧图像中，存在作为面部图像，要辨认的面部图像的假定，因此，归因于诸如被摄对象的移动，摄影方向的变化，或者在被摄对象前面经过的某人之类的情形，追踪可能被中断。

例如，作为图13B中图解所示的情形，当所选人物HM10的面部在画面之外时，追踪被中断。

如上所述，当所选被摄对象的面部图像的追踪被中断时，在步骤F130，控制单元30判定追踪失败，然后进入步骤F131。这种情况下，由于不能进行主图像200上的强调显示，因此控制单元30解除选择状态，从而在步骤F131，关闭选择标记。

随后，在步骤F132，控制单元30设定优先检测条件。例如，控制单元30设定优先检测大小和优先检测区域。优先检测大小和优先检测区域是用于估计之后进入帧中的面部图像和已选择的人物(对其来说，追踪已被中断的人物)是同一人的条件。

具体地，优先检测大小指示之前刚刚追踪的所选面部图像的大小信息。优先检测区域指示帧图像中的包括之前刚刚追踪的所选面部图像的区域。例如，刚刚在追踪被中断之前，设定所选面部图像位于的区域，如用图13B的优先选择区域PA所示。

在进行上述处理之后，由于在从后续帧起的处理中，选择标记被关闭，因此进行步骤F107A、F108和F109。首先，在步骤F109(图7的步骤F157)，控制单元30指令显示数据生成单元28关闭所有的强调显示。这样，显示不被选择，主图像200上的强调显示和面部列表201上的强调显示被关闭。

此外，在紧接在追踪失败之后的帧中，未检测到到目前为止选择的人物M10的面部图像(F104和F105)。从而，例如，如在图13B中图解所示，在此时检测到的人物HM11和HM12的面部图像被排列在面部列表201上，人物HM10的面部图像未保留在面部列表201上。

这样，获得和选择之前的状态相同的状态。不过，在这种情况下，控制单元30对于在各帧中检测到的选择候选图像(面部图像)，进行与步骤F107A中的优先检测条件的判定对应的图像叠加条件指示。即，控制单元30判定在步骤F104和F105中管理的面部图像是否满足在步骤F132中设定的优先检测条件，并进行与所述判定对应的图像叠加条件指示。

具体地，控制单元30判定在追踪失败之后，新出现的面部图像(例如，新近被分配ID的面部图像)在帧中的位置是否在优先检测区域PA中(是否面部图像中的一些面部图像在优先检测区域PA中，或者面部图像位于优先检测区域PA附近)。此外，控制单元30判定新出现的面部图像的大小是否与优先检测大小一致，或者接近优先检测大小。

这里，例如，当新出现的面部图像对应于优先检测区域和优先检测大小时，控制单元30估计该面部图像以前已进入选择状态，不过是对其来说，追踪已失败的被摄对象的面部图像。随后，作为步骤F107A的图像叠加条件指示，控制单元30指令显示数据生成单元28优先把该面部图像显示在面部列表201上。例如，所述优先显示指示在列表上，首先显示该面部图像。

随后，在步骤F114，控制单元30指示按当前设定的显示数据的生成。

在控制单元30的控制下，显示数据生成单元28生成显示数据，以致估计其追踪已失败的面部图像被首先显示在面部列表201上。例如，如图13C中图解所示，首先显示人物HM10的面部图像。

随后，当用户在某个时间点，进行在面部列表201上，再次选择人物HM10的选择操作时，如图13D中图解所示，利用步骤F109的选择对应处理，进行强调显示。

在如上所述的第三实施例中，在作为运动图像的主图像200的帧前进过程中，当与在选择操作中选择的选择候选图像对应的被摄对象图像的追踪不可行时，控制单元30设定优先检测条件。随后，当选择候选者检测单元26检测到的选择候选图像(面部图像)满足优先检测条件时，控制单元30进行控制，以致选择候选图像被优先显示在候选者提示图像(面部列表)201上。

当摄影者作为普通用户进行摄影时，存在其中使摄影方向摇晃，或者不能追踪运动中的被摄对象的许多情况。于是，即使在曾经选择被摄对象之后，也存在其中被摄对象在画面之外的情况。此外，存在归因于成像设备10和被摄对象之间的障碍物、人等，所选被摄对象未被拍摄到的情况。

在这种情况下，由于被摄对象的强调变得不可能，因此强调显示终止。不过，在许多情况下，被摄对象随后会以相同的大小，或者在相同的位置返回画面中。此时，可取的是用户的重新选择较为容易。从而，当估计到所述返回时，允许所述被摄对象被首先显示在面部列表201上，从而实现用户的可识别性，以及之后的选择操作的容易性。

作为优先显示，除了采用高位置之外，还可进行用于提示选择的显示(例如，加亮显示或闪烁显示列表框)。

此外，按照优先检测条件，估计新出现的面部图像是否是和先前选择的人物为同一人的面部图像。

就新出现的面部图像是否是和所选人物为同一人的面部图像的判定来说，可以考虑利用个人识别技术。不过，如上所述，个人识别处理的处理负荷较大，从而个人识别处理难以应用于消费类设备。此外，当摄影条件不正确时，不能获得可靠性。于是，在本实施例中，不进行个人识别处理，而是把在与追踪失败时的情形相似的情形下的面部图像估计为选择的面部图像。这样，利用简单的处理，可实现对于用户的优先提示，获得非常适合于作为消费类设备的成像设备10的处理。

特别地，由于优先检测条件以刚好在对应于在选择操作中选择的候选者提示图像的被摄对象图像的追踪行不通之前的主图像中的位置或大小为基础，因此能够比较地精确判定新出现的被摄对象图像是否是脱离追踪的被摄对象图像。

另外，可以多样地考虑判定技术。例如，可以确定大小条件和位置条件之一，或者“满足”条件的范围可相当宽泛。当然，可允许用户设定所述条件。

此外，把属性加入条件中也是合适的。例如，可控制把“男孩”的属性包含在优先检测条件中，以致能够提高新出现的面部图像是否是和所选面部图像的人物为同一人的面部图像的判定精度。

另外，当过去一定时间时，包括位置条件、大小条件等的优先检测条件可被清除。同一人物在几乎相同的位置，或者以几乎相同的大小进入画面的高可能性以当前时期是从追踪失败起，未经过许多时间的时期的假设为基础。于是，当经过预定时间时，只要清除在步骤F132中设定的优先检测条件就足够了，然后按照通常条件，进行面部列表201的显示。

此外，第三实施例中的追踪失败之后的处理适用于类似于第二实施例，在选择期间，未进行面部列表201的显示的处理例子。即，当强调显示因追踪失败而终止，从而再次进行面部列表201的显示时，可以考虑增加优先检测条件的判定。

<7.作为成像设备的第四实施例的处理例子>

下面参考图14，说明作为第四实施例的用于强调显示的处理例子。另外，第四实施例的说明涉及其中类似于第一实施例，在选择之后，继续面部列表201的显示的例子。不过，第四实施例也适用于类似于第二实施例，在选择期间，不显示面部列表201的显示的例子。

第四实施例是允许显示数据生成单元28利用在选择候选者检测单元26中检测的选择候选图像之中，满足预定条件的选择候选图像，生成包括候选者提示图像(面部列表)201的显示数据的例子。

图14是在成像设备10中，进行监视图像显示的时期中的用于强调显示的控制单元30的处理的流程图。例如，控制单元30进行与作为拍摄图像数据的各帧对应的图14的处理。

在图14中，利用相同的步骤编号指示和图6的处理相同的处理，并省略其说明。和图6的不同之处在于步骤F104A和F105A的内容。

这种情况下，在步骤F103，控制单元30检查在拍摄图像数据的当前目标帧中，存在选择候选图像(面部图像)，然后进入步骤F104A。

在步骤F104A，控制单元30判定各个检测的面部图像是否是向着前方的面部图像(正面面部判定)。例如，由于在选择候选者检测单元26的检测之际，能够识别面部图像是否是正面面部，因此只要控制单元30从选择候选者检测单元26接收关于各个面部图像是否是正面面部的信息就足够了。

随后，控制单元30获得并管理各个面部图像在帧内的位置、大小、属性等的有关信息。此外，控制单元30通过追踪处理单元30a的功能，检查相对于前一帧的被摄对象的同一性，并向各个面部图像分配ID。另外在这种情况下，控制单元30向已被有效追踪的面部图像，分配和过去的帧中的ID相同的ID。

在步骤F105A，响应正面面部判定的结果和追踪情况，控制单元30进行把各个面部图像的面部图像数据，ID，和关于位置、大小、属性等的关联信息保存在候选者信息存储单元27中的处理。

步骤F106之后的处理和图6的相同。

下面，按照以下规则(a)、(b)、(c)和(d)，进行步骤F104A中的管理，和步骤F105A中的到候选者信息存储单元27的存储。

(a)向到目前为止，未被追踪的新的正面面部的面部图像，分配新的ID，并保存图像数据、关联信息和ID。

(b)利用和在先帧中的ID相同的ID，管理作为追踪中的面部图像的正面面部的面部图像，并保存图像数据、关联信息和ID。

(c)利用和在先帧中的ID相同的ID，连续管理作为追踪中的面部图像的非正面面部的面部图像。候选者信息存储单元27不更新或除去面部图像数据和ID。其中发生变化的关联信息，比如位置信息或大小信息被更新。

(d)作为新的面部图像，并且不是正面面部的面部图像不被分配ID，并且不被视为选择候选图像。图像数据和关联信息不被保存在候选者信息存储单元27中。

根据管理和存储规则，最终保存在候选者信息存储单元27中，并用于面部列表201的显示的所有面部图像数据是按照规则(a)和(b)保存的正面面部的面部数据。

另外，存在其中(c)的面部图像是在过去的帧中，已被分配ID的面部图像，是关联信息和ID被保存在候选者信息存储单元27中，但是在当前帧中，不向着正面的面部图像。利用追踪，估计和过去的帧中相同的人物。然而，存在其中被摄对象低头或者扭头，从而在当前帧中，未检测到正面面部的情况。不过，由于正面面部作为面部存在于帧图像数据中，因此它被包含在面部列表201中。不过，由于如在(c)中所述，面部图像数据未被更新，因此在面部列表201中，使用过去帧的面部图像数据。

通过这种处理，可获得响应步骤F107和F114的处理，在显示数据生成单元28中生成的显示数据的面部列表201，作为其中只排列正面面部的列表。具体地，使用在当前时间点，向着正面的面部图像，过去的向着正面的面部图像被用于未向着正面的面部图像，从而生成面部列表201。

如上所述，在第四实施例中，控制单元30允许显示数据生成单元28利用在选择候选者检测单元26中检测的选择候选图像之中的满足预定条件(例如，正面面部)的面部图像，生成包括面部列表201的显示数据。这样，能够提供其中用户易于辨认被摄对象的候选者提示图像(面部列表)201。此外，按照这种方式，也易于进行选择操作。

另外，除了正面面部之外，还可多样地考虑预定条件。

例如，通过利用属性条件，还能够通过把儿童的面部图像视为选择候选图像，在面部列表201只显示儿童的面部图像，或者通过把女性的面部图像视为选择候选图像，能够在面部列表201只显示女性的面部图像。

特别地，在利用如上所述，随着帧前进而不存在任何变化的属性条件的情况下，可以进行如图15中图解所示的处理例子。

即，在步骤F103A，把预定条件加入关于是否存在选择候选图像的判定中，例如，采用是否“存在儿童的面部图像”的判定。随后，在步骤F104B，只有满足“儿童的面部图像”的条件的面部图像被视为选择候选图像，并经历信息获取，和ID设定/管理处理。对于其它方面，进行和图6的处理相同的处理就足够了。

如上所述，在把面部图像视为选择候选图像的步骤中，可以确定预定条件。这样，例如，实现在面部列表201上，只显示儿童的面部图像的操作。当用户的摄影目的涉及他/她的孩子等的特定属性时，如上所述只列出所述属性的面部图像，以致也能够提高选择能力。

此外，用作选择候选图像的属性条件被设定成由用户选择也是可取的。

此外，在图15的处理例子中，面部图像是上述正面面部图像的事实可被用作步骤F103A的判定条件。在这种情况下，扭转的面部进入不被视为选择候选图像的状态。

此外，在图14和图15的处理例子中，作为除正面面部或属性以外的条件，可以使用笑脸等的表情判定结果，或者可以使用面部图像大小。

<8.对再现设备的应用>

到目前为止，说明了成像设备10的实施例。不过，按照本技术的实施例的图像处理设备也适用于再现设备。

图16图解说明其中具有图像处理设备1的再现设备50的结构例子。

再现设备50包括控制单元51、图像再现单元52、操作单元53和数字信号处理单元60。另外，显示设备90被图解说明成独立的结构。不过，显示设备90可以与再现设备50一体地形成。

例如，图像再现单元52被例示成从记录介质，比如光盘、磁光盘、磁盘、利用非易失性存储器的存储卡、HDD或嵌入式存储芯片(RAM、ROM、闪存等)，再现作为运动图像或静止图像的图像数据的部件。图像再现单元52把再现的图像数据传送给数字信号处理单元60。

数字信号处理单元60包括分辨率转换单元61、选择候选者检测单元62、候选者信息存储单元63和显示数据生成单元64。

分辨率转换单元61对再现的图像数据，进行为显示输出所必需的分辨率转换处理。

类似于上述成像设备10中的选择候选者检测单元26和候选者信息存储单元27，选择候选者检测单元62和候选者信息存储单元63进行用于强调显示的选择候选图像的检测，以及选择候选图像和相关数据的存储。

当强调显示功能被关闭时，显示数据生成单元64利用来自分辨率转换单元61的图像数据(主图像)，生成显示数据，并把该显示数据提供给显示设备90。当强调显示功能被开启时，显示数据生成单元64通过进行把候选者提示图像叠加在主图像上的叠加处理，生成显示数据，当存在用户的选择操作时，显示数据生成单元64生成包括用于强调对应被摄对象的图像(或图像效果)的显示数据，并把该显示数据提供给显示设备90。

控制单元51控制图像再现单元52和数字信号处理单元60的操作。此外，控制单元51检测来自操作单元53的操作信息。

操作单元53包括当再现设备50的用户进行各种操作时需要的操作器(按键或表盘)，遥控器，显示设备90的触摸面板操作单元，等等。

在这种结构中，例如，当再现来自图像再现单元52的运动图像时，控制单元51进行图2A的处理，图6和图7，图10和图11，图12，图14或图15的处理，以致候选者提示图像被叠加在显示于显示设备90上的再现运动图像上，或者能够响应用户的选择，进行再现的运动图像(主图像)上的强调显示，以及候选者提示图像上的强调显示。

此外，例如，当再现来自图像再现单元52的静止图像时，控制单元51进行图2B的处理，以致候选者提示图像被叠加在显示于显示设备90上的再现的静止图像上，或者能够响应用户的选择，进行再现的静止图像(主图像)上的强调显示，以及候选者提示图像上的强调显示。

如上所述，按照本技术的实施例的强调显示功能也适用于再现设备50，查看静止图像或运动图像的用户能够辨认作为候选者提示图像的在再现设备50的屏幕中的人物(例如，面部)，并选择该人物。随后，响应所述选择，用户能够容易地识别所选面部在主图像中的位置。例如，当在家庭等中，再现在运动会拍摄的运动图像或静止图像时，用户能够容易地在再现的图像中，找出他/她的孩子，以致获得作为再现设备50非常有用的功能。

另外，由于图3中图解所示的成像设备10能够再现记录在记录单元15中的拍摄图像数据，把再现的图像数据显示在显示单元34上，因此，可以说图3的成像设备10具有在其中的图16的再现设备50。即，在进行在成像设备10中拍摄的运动图像或静止图像的图像再现的情况下，按照本技术的实施例的强调显示功能也是可用的。

此外，图16图解说明再现设备50。不过，可以考虑作为电视调谐器或网络通信单元的图像再现单元52的使用。即，可以对接收的图像数据，下载的图像数据等，实现强调显示功能。

<9.对程序和计算机设备的应用>

到目前为止，说明了图像处理设备1、成像设备10和再现设备50的实施例。不过，上述强调显示功能的处理可利用硬件或软件进行。

实施例的程序是使例如算术运算处理设备，比如CPU(中央处理器)或DSP(数字信号处理器)进行在上述实施例中说明的处理的程序。

即，实施例的程序是使算术运算处理设备进行在作为运动图像或静止图像的主图像中，检测作为被摄对象图像的选择候选图像的处理，结合检测的选择候选图像和主图像，生成并输出包括候选者提示图像的显示数据的处理，和响应对于显示的候选者提示图像的选择操作，生成并输出显示数据的处理的程序，所述显示数据包括其中在主图像中，强调与选择的候选提示图像对应的被摄对象图像的显示。

具体地，只要实施例的程序是使算术运算处理设备进行图2A、图2B、图6和图7、图10和图11、图12、图14或图15的处理的程序就足够了。

借助这样的程序，利用算术运算处理设备，能够实现进行上述强调显示功能的设备。

这种程序可被预先记录在作为嵌入诸如计算机设备之类的机器中的记录介质的HDD，具有CPU的微计算机中的ROM等上。

另一方面，程序可被临时或永久保存(记录)在可拆卸记录介质，比如软盘、CD-ROM(光盘只读存储器)、MO(磁光盘)、DVD(数字通用光盘)、蓝光光盘(注册商标)、磁盘、半导体存储器或存储卡中。可以所谓的套装软件的形式，提供这样的可拆卸记录介质。

此外，除了从可拆卸介质安装到个人计算机等之外，还可通过诸如LAN(局域网)或因特网之类的网络，从下载站点下载所述程序。

此外，所述程序适合于待广泛提供的实施例的图像处理设备。例如，程序被下载到个人计算机、便携式信息处理设备、蜂窝电话机、游戏机、视频播放器、PDA(个人数字助手)等，以致便携式信息处理设备等可用作按照本技术的实施例的信息处理设备。

例如，在如图17中图解所示的计算机设备中，可以进行和信息处理设备1、成像设备10和再现设备50中的用于强调显示功能的处理相同的处理。

在图17中，计算机设备70的CPU 71按照保存在ROM 72中的程序，或者从存储单元78载入RAM 73的程序，进行各种处理。此外，RAM 73适当地保存当CPU 71进行各种处理时需要的数据等。

CPU 71、ROM 72和RAM 73通过总线74相互连接。此外，输入/输出接口75也连接到总线74。

输入/输出接口75连接到包括键盘、鼠标等的输入单元76，包括显示器，比如CRT(阴极射线管)、LCD或有机EL面板，和扬声器的输出单元77，包括硬盘的存储单元78，和包括调制解调器等的通信单元79。通信单元79通过包括因特网的网络，进行通信处理。

此外，驱动器80被酌情连接到输入/输出接口75，诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质81被适当地安装在输入/输出接口75上，从可拆卸介质81读取的计算机程序被酌情安装在存储单元78中。

当利用软件，进行上述强调显示处理时，从网络或记录介质安装构成所述软件的程序。

例如，如图17中图解所示，记录介质由与设备本体分离地分发，以向用户交付程序，和记录程序的可拆卸介质81构成，可拆卸介质81包括磁盘(包括软盘)、光盘(包括蓝光光盘、CD-ROM和DVD)、磁光盘(包括MD(小型光盘))、半导体存储器等。另一方面，记录介质也可由嵌入设备本体中交付给用户，记录程序的ROM 72、包含在存储单元78中的硬盘等构成。

在这种计算机设备70中，利用通信单元79中的接收操作，或者驱动器80(可拆卸介质81)或存储单元78的再现操作，当输入运动图像数据时，CPU 71根据所述程序，进行如图2A、图2B、图6和图7、图10和图11、图12、图14或图15中图解所示的处理，以致能够对于输入的图像数据，进行包括强调显示的显示操作。

<10.变形例>

对于各个上述实施例，可以考虑各种变形例。

图像处理设备1、成像设备10、再现设备50和计算机设备70中的选择候选图像并不局限于面部图像。例如，当人物是对象时，代替面部图像，身体图像可以是对象。此外，在采用特定属性的面部图像的情况下，代替性别或年龄组，出现在图像中的特征，例如，戴眼镜的人物的面部图像，或者戴帽子的人物的面部图像，可被提取为选择候选图像。

此外，代替人物，诸如狗或猫之类的宠物，诸如花或树之类的植物，建筑物等可被提取为选择候选图像。

另外，通过对于图像数据的图像分析中的图案映射的技术等，面部检测、人体检测等是可能的。不过，通过仅仅改变图案映射中使用的词典，其它种类的检测本质上也是可能的。例如，(特定种类的)狗、猫等的检测是可能的。

此外，例如，还可考虑通过基于帧差分的运动体检测技术，检测运动体，并采用运动体作为候选图像。可多样地考虑选择候选图像的提取和选择技术。

此外，在所有实施例的例子中，当运动图像是对象时，可不对每一帧进行选择候选图像的检测，可按比如每隔1帧，每5帧，每60帧或者每300帧的间隔帧，进行选择候选图像的检测。这样，还可降低用于强调显示功能的控制单元(1、30、50等)的处理负荷。

此外，在所有实施例的例子中，即使当运动图像是对象时，也可对每一帧进行选择候选图像的检测，并间隔更长地进行候选者信息存储单元(27和63)中的面部图像等的选择候选图像数据本身的更新。即，在相同被摄对象的情况下，对于每一帧，更新用于生成候选者提示图像201，比如面部列表的图像本身的必要性较低，把图像作为静止画面显示在面部列表201上可提供良好的可见性。

在图6的处理例子(作为成像设备的第一实施例)的说明中，追踪检测的面部图像，并在多帧内，向连续追踪的面部图像分配相同的ID，从而获得在面部列表201上，易于看见和选择各个面部图像的效果。不过，也可考虑其中在各个实施例中，不进行追踪的处理例子。

当存在被摄对象的移动时，在面部列表201上，面部图像被频繁改变。在一些情况下，几乎无移动的被摄对象，比如合影是要拍摄的对象。此外，如上所述，选择候选图像并不局限于面部图像，也可设想植物等。

例如，当要关注的被摄对象轻微移动或者不移动时，即使不进行追踪，对于每一帧，利用就图像中的位置顺序而论的ID，管理选择候选图像，在所述列表上，选择候选图像也不会被频繁改变。即，例如，即使分配给各个选择候选图像的ID对应于采用仅仅在当前帧中检测到的选择候选图像的编号的定位，如果按ID的顺序，列举显示ID也不存在任何问题。当设想这样的使用情况时，可不进行通过利用追踪处理，向相同的被摄对象分配相同ID，管理相同被摄对象的处理。

此外，例如，当间隔较长(比如每300帧一次)地进行面部图像检测的处理，并响应所述检测更新候选者提示图像201时，在最初作为候选者提示图像201的面部列表上，面部图像不被频繁改变。在这种情况下，当然可取的是响应按照追踪的ID设定，控制列表上的顺序。不过，即使不经常进行追踪，也不会失去候选者提示图像201的易看性。从而，也可考虑其中不进行追踪处理的处理例子。

在图14或图15的处理例子(成像设备的第四实施例)中，说明了对于面部图像，利用正面面部、属性等的条件的处理。不过，除了面部图像之外，可多样地考虑预定条件。例如，可多样地考虑选择将在候选者提示图像中采用的图像的预定条件，比如特定颜色、特定动物种类，特定颜色的植物等。

此外，在各个实施例中，对于选择并强调显示的被摄对象，可以进行各种控制。

例如，可以考虑对于成像设备10中的所选被摄对象进行聚焦，并响应所选被摄对象的亮度，进行曝光调整。

此外，在伴随着摄影(例如，运动图像摄影)，通过麦克风进行声音拾取的情况下，也可考虑响应于被选被摄对象在视角空间中的方向，进行指向性调整。

此外，也可考虑进行与所选被摄对象对应的自动变焦控制。例如，进行自动变焦透镜驱动，以致在拍摄的图像上，以预定或者更大的大小，反映所选被摄对象。根据与随着追踪处理，到所选被摄对象的距离的变化对应的变焦，可以进行视角的调整。

此外，也可考虑采用触发来启动运动图像拍摄。例如，按照被摄对象的选择，开始运动图像摄影记录。

此外，对于拍摄的图像信号的各种信号处理也是可能的。

例如，只对在拍摄的各帧中选择的被摄对象的区域，应用图像处理，比如画质调整、降噪或肤色调整。

另一方面，也可考虑在所选被摄对象的区域之外，应用图像效果，例如，马赛克处理、喷涂、抹除处理等。

此外，也可考虑对拍摄的图像或记录的图像应用诸如添加火焰或裁剪之类的编辑。

例如，可以进行诸如包括所选被摄对象的帧的部分区域的剪切或扩大之类的处理。

此外，可以进行拍摄图像数据中的图像周边部分的剪切等，以致所选被摄对象被置于图像的中央，和进行构图。

上述只是用于举例说明。另外，可以多样地考虑其中应用程序或者成像设备10的自动调整功能利用被摄对象的选择结果的处理。

此外，本技术也适用于监控摄像头应用(记录开始判定)。例如，在监视的图像上，或其再现图像上，进行面部列表显示，或者与选择对应的强调显示，以致在观察者发现可疑者时，本技术有效。

本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。

另外，也可如下构成本技术。

(1)一种信息处理设备，包括：控制装置，所述控制装置：生成显示数据，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时，用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的相应被摄对象；和接收来自用户的输入，以从所述列表中选择一个候选图像，其中根据所述一个候选图像的选择，生成显示数据。

(2)按照(1)所述的设备，其中主图像是运动图像。

(3)按照(1)或(2)所述的设备，其中列表中的第一候选图像包括根据对应于第一候选图像的被摄对象的面部部分是否在主图像中的分析，从主图像中提取的面部图像。

(4)按照(1)-(3)任意之一所述的设备，其中利用作为强调的指示符，或者标记，指示第一区域中的与从列表中选择的第一候选图像对应的部分。

(5)按照(1)-(4)任意之一所述的设备，其中根据用户从列表中的候选图像的选择，显示在第二区域中的列表消失。

(6)按照(1)-(5)任意之一所述的设备，其中根据用户从列表中的候选图像的选择，终止第二显示区中的列表的显示。

(7)按照(1)-(6)任意之一所述的设备，其中在作为多个候选图像的列表被显示在第二区域中的时候，根据用户的第一候选图像的选择，按照多个候选图像的顺序，列表中的第一候选图像的位置被变更成优先位置。

(8)按照(1)-(7)任意之一所述的设备，其中当控制装置对主图像中的与从列表中选择的第一候选图像对应的被摄对象的追踪被中断时，第一候选图像的选择状态被解除。

(9)按照(1)-(8)任意之一所述的设备，其中当控制装置对主图像中的与从列表中选择的第一候选图像对应的被摄对象的追踪被中断时，控制装置设定优先检测大小和优先检测区域。

(10)按照(1)-(9)任意之一所述的设备，其中控制装置判定在追踪被中断之后，新出现的被摄对象在帧中的位置是否在优先检测区域中或附近。

(11)按照(1)-(10)任意之一所述的设备，其中控制装置判定在追踪被中断之后，帧中的新出现的被摄对象的大小是否与优先检测大小一致，或者接近优先检测大小。

(12)按照(1)-(11)任意之一所述的设备，其中显示在第二区域中的列表之中的多个候选图像中的候选图像可利用预定操作变更。

(13)按照(1)-(12)任意之一所述的设备，其中所述预定操作是对于列表的翻页操作或滚动操作。

(14)按照(1)-(13)任意之一所述的设备，其中依据利用参数设定的预定条件，区分多个候选图像的显示的优先顺序。

(15)按照(1)-(14)任意之一所述的设备，其中参数包括大小、在主图像中的位置、或者属性之一。

(16)按照(1)-(15)任意之一所述的设备，其中以预定的大小，扩大或缩小从主图像中提取的作为列表中的候选图像的面部图像的大小。

(17)按照(1)-(16)任意之一所述的设备，其中所述预定大小是以致用户可辨认和显示的面部图像对应的个人的大小。

(18)按照(1)-(17)任意之一所述的设备，其中主图像是从成像设备输出的拍摄的运动图像的监视图像。

(19)一种信息处理方法，包括：利用控制装置，生成显示数据，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时，用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的相应被摄对象；和接收来自用户的输入，以从所述列表中选择一个候选图像，其中根据所述一个候选图像的选择，生成显示数据。

(20)一种记录有可由计算机执行的程序的非临时性记录介质，所述程序包括：生成显示数据，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时，用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的相应被摄对象；和接收来自用户的输入，以从所述列表中选择一个候选图像，其中根据所述一个候选图像的选择，生成显示数据。

(21)一种图像处理设备，包括：选择候选者检测单元，所述选择候选者检测单元在主图像中，检测作为被摄对象图像的选择候选图像，所述主图像是运动图像或静止图像；显示数据生成单元，所述显示数据生成单元至少利用主图像，生成显示数据；和控制单元，所述控制单元允许显示数据生成单元通过结合在选择候选者检测单元中检测的选择候选图像和主图像，生成包括候选者提示图像的显示数据，和响应对于候选者提示图像的选择操作，生成包括其中在主图像中，强调与选择的候选者提示图像对应的被摄对象图像的显示的显示数据。

(22)按照(21)所述的图像处理设备，其中显示数据生成单元生成包括其中排列选择候选图像的候选者提示图像的显示数据，控制单元向包含在作为主图像的动态图像中的多帧中，被确定为同一被摄对象的选择候选图像分配相同的标识符，并根据所述标识符，控制候选者提示图像中的选择候选图像的显示顺序。

(23)按照(21)或(22)所述的图像处理设备，其中即使在对于候选者提示图像的选择操作之后，控制单元也允许显示数据生成单元生成包括候选者提示图像的显示数据。

(24)按照(21)-(23)任意之一所述的图像处理设备，其中响应对于候选者提示图像的选择操作，控制单元允许显示数据生成单元进行在候选者提示图像上，强调选择的选择候选图像的显示。

(25)按照(21)-(24)任意之一所述的图像处理设备，其中响应对于候选者提示图像的选择操作，控制单元指令显示数据生成单元终止候选者提示图像的显示。

(26)按照(21)-(25)任意之一所述的图像处理设备，其中在作为动态图像的主图像的帧前进的过程中，根据每帧中，对于与在选择操作中选择的选择候选图像对应的被摄对象图像的追踪结果，控制单元指令显示数据生成单元，以致其中强调被摄对象图像的显示的位置被设定。

(27)按照(21)-(26)任意之一所述的图像处理设备，其中显示数据生成单元生成包括其中排列选择候选图像的候选者提示图像的显示数据，在作为动态图像的主图像的帧前进的过程中，当与在选择操作中选择的选择候选图像对应的被摄对象图像的追踪行不通时，控制单元设定优先检测条件，并进行控制，以致当选择候选者检测单元检测到的选择候选图像满足优先检测条件时，在候选者提示图像上优先显示该选择候选图像。

(28)按照(21)-(27)任意之一所述的图像处理设备，其中优先检测条件是以刚刚在与在选择操作中选择的选择候选图像对应的被摄对象图像的追踪行不通之前的主图像中的位置或大小为基础的条件。

(29)按照(21)-(28)任意之一所述的图像处理设备，其中控制单元允许显示数据生成单元利用在选择候选者检测单元中检测的选择候选图像之中的，满足预定条件的选择候选图像，生成包括候选者提示图像的显示数据。

(30)一种图像处理方法，包括：在主图像中，检测作为被摄对象图像的选择候选图像，所述主图像是运动图像或静止图像；通过结合检测的选择候选图像和主图像，生成包括候选提示图像的显示数据，并输出所述显示数据；和响应对于显示的候选者提示图像的选择操作，生成并输出包括其中在主图像中，强调与选择的候选者提示图像对应的被摄对象图像的显示的显示数据。

(31)一种程序，所述程序使算术运算处理设备执行：

在主图像中，检测作为被摄对象图像的选择候选图像的处理，所述主图像是运动图像或静止图像；通过结合检测的选择候选图像和主图像，生成包括候选提示图像的显示数据，并输出所述显示数据的处理；和响应对于显示的候选者提示图像的选择操作，生成并输出包括其中在主图像中，强调与选择的候选者提示图像对应的被摄对象图像的显示的显示数据的处理。

[附图标记列表]

1 图像处理设备

2，26，62 选择候选者检测单元

3，28，64 显示数据生成单元

4，30，51 控制单元

10 成像设备

11 光学系统

12 成像器

13 光学系统驱动单元

14 传感器单元

15 记录单元

16 通信单元

20 数字信号处理单元

21 预处理单元

22 同步单元

23 YC生成单元

24 分辨率转换单元

25 编解码器单元

27 候选者信息存储单元

30a 追踪处理单元

34 显示单元

35，53 操作单元

50 再现设备

70 计算机设备

71 CPU

Claims (18)

1.一种信息处理设备，包括：

控制装置，所述控制装置：

生成显示数据，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的各个被摄对象；和

接收来自用户的输入，以从所述列表中选择一个候选图像，其中基于对所述一个候选图像的选择生成显示数据，

其中在作为多个候选图像的列表被显示在第二区域中时，基于用户对第一候选图像的选择，按照所述多个候选图像的顺序，所述列表中的第一候选图像的位置被变更成优先位置。

2.按照权利要求1所述的设备，其中主图像是运动图像。

3.按照权利要求1所述的设备，其中所述列表中的第一候选图像包括基于对应于第一候选图像的被摄对象的面部部分是否在主图像中的分析而从主图像中提取的面部图像。

4.按照权利要求1所述的设备，其中利用作为强调的指示符或者标记，指示第一区域中的与从所述列表中选择的第一候选图像对应的部分。

5.按照权利要求1所述的设备，其中基于用户从所述列表中对候选图像的选择，显示在第二区域中的列表消失。

6.按照权利要求1所述的设备，其中基于用户从所述列表中对候选图像的选择，终止第二区域中的列表的显示。

7.按照权利要求1所述的设备，其中，当控制装置对主图像中的与从所述列表中选择的第一候选图像对应的被摄对象的追踪被中断时，第一候选图像的选择状态被解除。

8.按照权利要求1所述的设备，其中，当控制装置对主图像中的与从所述列表中选择的第一候选图像对应的被摄对象的追踪被中断时，控制装置设定优先检测大小和优先检测区域。

9.按照权利要求8所述的设备，其中控制装置判定在所述追踪被中断之后新出现的被摄对象在帧中的位置是否在优先检测区域中或附近。

10.按照权利要求8所述的设备，其中控制装置判定在所述追踪被中断之后帧中的新出现的被摄对象的大小是否与优先检测大小一致或者接近优先检测大小。

11.按照权利要求1所述的设备，其中显示在第二区域中的所述列表之中的多个候选图像中的候选图像能够通过预定操作被改变。

12.按照权利要求11所述的设备，其中所述预定操作是对于所述列表的翻页操作或滚动操作。

13.按照权利要求1所述的设备，其中依据利用参数设定的预定条件，区分所述多个候选图像的显示的优先顺序。

14.按照权利要求13所述的设备，其中所述参数包括大小、在主图像中的位置、或者属性中的一个。

15.按照权利要求1所述的设备，其中以预定的大小，扩大或缩小从主图像中提取的作为所述列表中的候选图像的面部图像的大小。

16.按照权利要求15所述的设备，其中所述预定大小是以致用户能够辨认与显示的面部图像对应的个人的大小。

17.按照权利要求1所述的设备，其中主图像是从成像设备输出的拍摄的运动图像的监视图像。

18.一种信息处理方法，包括：

利用控制装置生成显示数据，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时，用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的各个被摄对象；和

接收来自用户的输入，以从所述列表中选择一个候选图像，其中基于对所述一个候选图像的选择，生成所述显示数据，

其中在作为多个候选图像的列表被显示在第二区域中时，基于用户对第一候选图像的选择，按照所述多个候选图像的顺序，所述列表中的第一候选图像的位置被变更成优先位置。