CN103888658A - 信息处理设备和记录介质 - Google Patents

Abstract

本发明涉及信息处理设备和记录介质。提供一种信息处理设备，包括从拍摄图像中，识别面部区域的识别单元，使存储单元保存指示由识别单元识别出的面部区域的面部识别信息的存储控制器，和可区别于指示第二面部区域的显示地在显示单元上叠加某种显示的显示控制器，所述某种显示把在与由保存在存储单元中的另一个拍摄图像的面部识别信息指示的第一面部区域对应的区域当中，但是未包含在识别单元从当前拍摄图像中识别出的第二面部区域中的区域表示成摄像单元按照外部指令拍摄的当前拍摄图像中的候选面部区域。

Description

信息处理设备和记录介质

相关申请的引用

本申请要求2012年12月21日提交的日本专利申请JP2012-279279的优先权，该申请的整个内容在此引为参考。

技术领域

本公开涉及信息处理设备和记录介质。

背景技术

通常，当为多人照相时，比如在合影中，理想的是拍摄其中尽可能多的人表情愉快的图像。因此，提出一种通过进行笑脸检测或者眨眼检测，报告每个人正在微笑，作为快门定时的技术，和在摄像之后，用另一个图像校正无愉快表情的面部区域的摄像设备。

例如，未经审查的日本专利申请公开No.2008-198062公开一种挑出尽管被识别成拍摄图像中的面部区域，但是未微笑或者目光转向别处的面部区域，并替换以另一个图像的微笑并且注视前方的面部区域的技术。

发明内容

然而，在上述未经审查的日本专利申请公开No.2008-198062中公开的技术只处理被识别成面部的区域，不对未被识别成面部的区域，比如注视旁边的面部进行任何处理。

从而，在本公开中，提出一种新的改进的信息处理设备和记录介质，所述信息处理设备和记录介质能够根据另一个图像的面部识别信息，报告仅仅就拍摄图像来说，未被识别成面部的面部区域。

按照本公开的实施例，提供一种信息处理设备，包括从拍摄图像中，识别面部区域的识别单元，使存储单元保存指示由识别单元识别出的面部区域的面部识别信息的存储控制器，和可区别于指示第二面部区域的显示地在显示单元上叠加某种显示的显示控制器，所述某种显示把在与由保存在存储单元中的另一个拍摄图像的面部识别信息指示的第一面部区域对应的区域当中，但是未包含在识别单元从当前拍摄图像中识别出的第二面部区域中的区域表示成摄像单元按照外部指令拍摄的当前拍摄图像中的候选面部区域。

按照本公开的实施例，提供一种记录有程序的非临时性计算机可读记录介质，所述程序用于使计算机执行以下步骤：从拍摄图像中识别面部区域，使存储单元保存指示识别出的面部区域的面部识别信息，和可区别于指示第二面部区域的显示地在显示单元上叠加某种显示，所述某种显示把在与由保存在存储单元中的另一个拍摄图像的面部识别信息指示的第一面部区域对应的区域当中，但是未包含在从当前拍摄图像中识别出的第二面部区域中的区域表示成摄像单元按照外部指令拍摄的当前拍摄图像中的候选面部区域。

按照如上所述的本公开的一个或多个实施例，根据另一个图像的面部识别信息，能够报告仅仅就拍摄图像来说，未被识别成面部的面部区域。

附图说明

图1是图解说明按照本公开的实施例的图像处理器的概况的说明图；

图2是图解说明按照第一实施例的照相机的结构的方框图；

图3是图解说明按照第一实施例的图像处理器的操作的流程图；

图4是说明利用按照第一实施例的显示控制器的关联处理的说明图；

图5是说明利用按照第一实施例的显示控制器的与第二种算法相应的关联处理的说明图；

图6是图解说明按照变形例1的图像处理器的操作的流程图；

图7是图解说明按照变形例2的图像处理器的操作的流程图；

图8是图解说明按照第二实施例的图像处理器的操作的流程图；

图9A是图解说明按照变形例3的图像处理器的操作的流程图；

图9B是图解说明按照变形例3的图像处理器的操作的流程图；

图10是图解说明按照第三实施例的图像处理器的概况的说明图；

图11是说明按照第三实施例的图像处理器的合成处理的说明图。

具体实施方式

下面参考附图，详细说明本公开的优选实施例。注意在说明书和附图中，功能和结构基本相同的构成元件用相同的附图标记表示，这些构成元件的重复说明被省略。

下面将按照以下顺序进行说明。

1.按照本公开的实施例的图像处理设备的概况

2.实施例

2-1.第一实施例

2-1-1.结构

2-1-2.操作处理

2-1-3.变形例1

2-1-4.变形例2

2-2.第二实施例

2-2-1.操作处理

2-2-2.变形例3

2-3.第三实施例

3.结论

<<1.按照本公开的实施例的图像处理设备的概况>>

可在各个实施例中实现本公开，从章节(2-1.第一实施例)到(2-3.第三实施例)详细说明实施例的例子。另外，按照本实施例的信息处理设备(信息处理设备1)配备有：

A.从拍摄的图像中识别面部区域的识别单元(11)；

B.使存储单元(2)保存面部识别信息的存储控制器(13)，所述面部识别信息指示由识别单元识别的面部区域；和

C.可区别于指示第二面部区域的显示地在显示单元上叠加某种显示的显示控制器(14)，所述某种显示把在与由保存在存储单元中的另一个拍摄图像的面部识别信息指示的第一面部区域对应的区域当中，但是未包含在识别单元从当前拍摄图像中识别出的第二面部区域中的区域表示成摄像单元(4)按照外部指令拍摄的当前拍摄图像中的候选面部区域。

按照本公开的实施例的图像处理器从摄像单元按照外部指令拍摄的当前拍摄图像中，找出其中尽管面部识别失败，但是确定存在面部区域的区域，并使显示单元可区别于其中面部识别成功的图像地把该区域显示成候选面部区域。注意在本说明书中，利用图像传感器的光的感测被称为摄像。例如，图像处理器包含在诸如固定照相机、用户拿着的手持式照相机、或者附着在用户、动物、车辆等上的可穿戴式照相机之类的设备中。

因此，识别单元首先对连续或者在指定定时拍摄的图像(另一个拍摄图像)进行面部识别，并输出面部识别信息。面部识别信息指的是包括指示识别的面部区域的位置、范围、拍摄时间、微笑度等的信息在内的信息。

存储控制器随后使存储单元累积地保存从识别单元输出的面部识别信息。这样，通过使存储控制器使与拍摄的图像相比，数据大小较小的面部识别信息被保存，与保存拍摄图像的情况相比，能够减小存储单元的已用存储容量。

随后，识别单元对摄像单元按照外部指令，比如快门按钮的按下，或者通过通信给予的摄像指令拍摄的拍摄图像(当前拍摄图像)，进行面部识别。

显示控制器随后通过使当前拍摄图像和累积的面部识别信息关联，确定当前拍摄图像中的候选面部区域。更具体地，显示控制器通过使由面部识别信息指示的面部区域与当前拍摄图像之中的面部识别失败的区域关联，确定候选面部区域。换句话说，从当前拍摄图像的与在另一个拍摄图像中识别的面部区域(第一面部区域)对应的区域之中，显示控制器把未包含在当前拍摄图像中的面部识别成功的区域（第二面部区域）中的区域确定为候选面部区域。例如，显示控制器把尽管由于刚好在获得当前拍摄图像之前，被摄对象注视前方，因而面部识别已成功，但是由于在当前拍摄图像的获取期间，所述被摄对象注视旁边，因而现在面部识别失败的被摄对象的面部区域确定为候选面部区域。下面，显示控制器的确定候选面部区域的这种处理也被称为关联处理。

之后，显示控制器通过使显示单元可区别于指示其中面部识别成功的区域的显示地在当前拍摄图像上，叠加指示确定的候选面部区域的显示，通知用户。

这样，图像处理器能够利用来自另一个图像的面部识别信息，把由于被摄对象注视旁边，从而仅仅就当前拍摄图像来说，面部识别失败的面部区域确定为候选面部区域，并向用户报告确定的候选面部区域。因此，图像处理器能够明确地向用户告知面部识别失败的被摄对象的存在，并促使用户提醒该被摄对象注意，从而再次获得当前拍摄图像。

这里，将参考图1，具体说明图像处理器的叠加指示候选面部区域的显示的这种操作的概况。图1是图解说明按照本公开的实施例的图像处理器的概况的说明图。如图1中图解所示，图像处理器1对当前拍摄图像31进行关联处理，使显示单元显示关联的当前拍摄图像32。

更具体地，首先，图像处理器1从当前拍摄图像31中，识别注视前方的被摄对象92、93和95的面部。因此，如图像31中所示，图像处理器1把确认识别指示符7叠加在被摄对象92、93和95的相应面部区域上，所述识别指示符7是指示当前拍摄图像31中，面部识别取得成功的区域的显示。

另一方面，图像处理器1未能识别当前拍摄图像31中，未注视前方的被摄对象91和94的面部。因而，通过利用预先累积的面部识别信息，进行上面说明的关联处理，图像处理器1能够把被摄对象91和92的面部区域确定为候选面部区域。之后，如在当前拍摄图像32中所示，图像处理器1把作为指示候选面部区域的显示的暂定识别指示符8叠加在被摄对象91和92的相应面部区域上。注意，如图1中图解所示，可区别于确认识别指示符7地显示暂定识别指示符8。

从而，上面说明了按照本公开的实施例的图像处理器的概况。

<<2.实施例>>

<2-1.第一实施例>

[2-1-1.结构]

首先参考图2，说明包括按照第一实施例的图像处理器1的照相机的结构。注意，图2是图解说明按照第一实施例的照相机100的结构的方框图。如图2中图解所示，照相机100包括图像处理器1、存储单元2、显示单元3、摄像单元4、操作单元5和通信单元6。另外，照相机100的各个构成元件分别通过总线9连接。下面，详细说明照相机100的每个构成元件。

(通信单元)

通信单元6是用于通过诸如局域网(LAN)或电话线之类的有线或无线网络通信的模块，包括接受外部指令的功能。具体地，通信单元6接受从另一个信息处理设备传送的诸如摄像指令和图像合成指令之类的指令。另外，通信单元6还可把利用图像处理器1处理的图像传送给另一个信息处理设备。

(操作单元)

操作单元5包括接受外部指令的功能。具体地，操作单元5接受用户的输入操作，比如摄像指令和合成指令。例如，操作单元5用快门按钮实现，或者用与显示单元3一体地形成的触摸面板实现。

(摄像单元)

摄像单元4包括图像传感器、包含摄像镜头的摄像光学系统和拍摄图像信号处理器。摄像单元4以数字信号的形式，输出拍摄图像的数据。摄像单元4按照利用操作单元5或通信单元6接受的摄像指令，或者在摄像控制器15的控制下，拍摄图像。注意，图像传感器例如用电荷耦合器件(CCD)成像器或者互补金属氧化物半导体(CMOS)成像器实现。

(显示单元)

显示单元3根据显示控制器14的控制，显示按照外部摄像指令，由摄像单元4拍摄的当前拍摄图像。另外，在未接受外部摄像指令的情况下，显示单元3实时显示由摄像单元4连续拍摄的图像。下面也把按照这种方式，由摄像单元4拍摄，并实时显示的图像称为直通图像。另外，显示单元3例如用液晶显示器(LCD)或有机发光二极管(OLED)显示器实现。

(存储单元)

存储单元2保存用摄像单元4拍摄的图像，和从识别单元11输出的面部识别信息。另外，存储单元2例如用诸如存储卡或者其它闪存，或者数字通用光盘(DVD)之类的存储介质实现。

(图像处理器)

图像处理器1包括对当前拍摄图像进行候选面部区域判定处理，并把指示判定的候选面部区域的暂定识别指示符8叠加在当前拍摄图像上的功能。另外，如图2中图解所示，图像处理器1起识别单元11、编辑单元12、存储控制器13、显示控制器14和摄像控制器15的作用。

-识别单元11

识别单元11识别在拍摄图像中拍摄的被摄对象的面部区域。具体地，识别单元11识别笑脸区域(笑脸的面部区域)和正面面部区域(注视前方的面部的面部区域)。此外，识别单元11还能够识别指示面部区域中的微笑程度的微笑度，和指示面部的角度与摄像单元4的光轴之间的重合程度的正面度。识别单元11随后输出这些识别结果，作为面部识别信息。

-存储控制器13

存储控制器13使存储单元2保存当前拍摄图像，以及从识别单元11输出的面部识别信息。另外，存储控制器13使存储单元2保存从后面讨论的显示控制器14输出的关联数据。这里，存储控制器13对应于拍摄当前拍摄图像的时间地保存当前拍摄图像和关联数据。另外，存储控制器13对应于识别单元11从中识别出面部识别信息的图像的拍摄时间地保存所述面部识别信息。另外，存储控制器13还使存储单元2对应于拍摄图像的时间地保存由摄像单元4拍摄的供编辑单元12的处理之用的图像。注意在下面，存储控制器13使存储单元2保存某物的动作也将被称为存储控制器13记录某物。

-显示控制器14

显示控制器14根据累积的面部识别信息，按照前面讨论的关联处理，确定当前拍摄图像中的候选面部区域。此时，显示控制器14输出指示候选面部区域的位置和范围的关联数据，作为关联处理结果。另外，显示控制器14使显示单元3可区别于指示识别单元11识别出的区域的确认识别指示符7地在当前拍摄图像上，叠加指示候选面部区域的暂定识别指示符8。注意在下面，显示控制器14使显示单元3显示某物的动作也将被称为显示控制器14显示某物。

-编辑单元12

编辑单元12编辑当前拍摄图像中的候选面部区域的区域。例如，编辑单元12进行编辑，以便用与在拍摄当前拍摄图像之前或之后的时刻拍摄并记录的另一个拍摄图像中的候选面部区域对应的区域，替换当前拍摄图像中的候选面部区域的区域。另外，编辑单元12也可编辑识别单元11从当前拍摄图像中识别成面部的区域。

-摄像控制器15

摄像控制器15包括控制摄像单元4获得拍摄图像的功能。例如，摄像控制器15按照操作单元5或通信单元6接收的摄像指令，控制摄像单元4，从而获得当前拍摄图像。另外，即使没有摄像指令，摄像控制器15也可控制摄像单元4连续拍摄并获得直通图像。此外，摄像控制器15还可使摄像单元4拍摄供编辑单元12的编辑处理之用的拍摄图像。

(补充注释)

上面说明的图像处理器1、存储单元2、显示单元3、摄像单元4和操作单元5也可形成分别包括通信单元6的独立信息处理设备。在这种情况下，图像处理器1可通过经有线或无线网络，控制存储单元2、显示单元3、摄像单元4和操作单元5，进行关联处理和暂定识别指示符8的叠加。

从而，上面说明了按照本公开的实施例的照相机100和图像处理器的相应结构。

[2-1-2.操作处理]

下面参考图3和4，说明图像处理器1的操作。图3是图解说明按照第一实施例的图像处理器1的操作的流程图。如图3中图解所示，首先，在步骤S104，识别单元11从直通图像中识别面部，并输出面部识别信息。随后在步骤S108，存储控制器13记录从识别单元11输出的面部识别信息。然后在步骤S112，摄像控制器15判定操作单元5或通信单元6是否收到摄像指令。

在未收到摄像指令的情况下(S112/否)，处理再次返回步骤S104。从而，由于步骤S104-S112被重复，因此存储控制器13累积地记录面部识别信息。注意由于存储控制器13记录与待保存的拍摄图像相比，数据大小较小的面部识别信息，因此与使拍摄图像被保存的情况相比，能够减小存储单元2的已用存储容量。

这里，假定即使在收到摄像指令，和终止后面说明的步骤S116及之后步骤中的处理之后，图像处理器1也通过重复步骤S104-S112，累积地记录面部识别信息。从而，即使在有摄像指令的情况下，图像处理器1也能够无间隙地记录面部识别信息。另外，图像处理器1还能够根据记录的面部识别信息，利用不同于摄像日期的算法，在某个其它时间进行关联处理。

同时，在收到摄像指令的情况下(S112/是)，在步骤S116，摄像控制器15使摄像单元4拍摄图像，存储控制器13记录拍摄的当前拍摄图像。随后，在步骤S120，识别单元11从当前拍摄图像中识别面部，并输出面部识别信息。随后，在步骤S124，存储控制器3记录从识别单元11输出的面部识别信息。

随后，在步骤S128，显示控制器14对当前拍摄图像和累积的面部识别信息进行关联处理。注意，该关联处理中使用的面部识别信息是在拍摄当前拍摄图像之前的时刻，在步骤S104-S108中累积的面部识别信息。后面将说明关联处理的具体处理细节。

之后，在步骤S132，显示控制器14根据关联处理结果，把暂定识别指示符8叠加在当前拍摄图像的候选面部区域上，关联处理结果是指示候选面部区域的位置和范围的关联数据。另外，显示控制器14根据在上述步骤S124中记录的当前拍摄图像的面部识别信息，把确认识别指示符7叠加在当前拍摄图像上。因此，显示控制器14能够明确地向用户告知面部识别失败的被摄对象的存在，并促使用户提醒该被摄对象注意，然后再次拍摄图像。

最后，在步骤S136，存储控制器13记录关联数据。因此，例如在稍后的日期，图像处理器1能够根据在与当前拍摄图像相同的时间记录的关联数据，叠加暂定识别指示符8。类似地，图像处理器1能够根据在与当前摄像时间相同的时间记录的面部识别信息，叠加确认识别指示符7。

下面参考图4，具体说明步骤S128中的关联处理。

图4是说明利用按照第一实施例的显示控制器14的关联处理的说明图。如图4中图解所示，显示控制器14可根据图像33、34、35、36和37的面部识别信息，叠加确认识别指示符7。

各种算法适用于显示控制器14的关联处理。因而，在本说明书中，将说明两种算法的例子。这些算法进行关联处理，所述关联处理把利用在与拍摄当前拍摄图像的时刻接近的时刻获得的面部识别信息识别的被摄对象看作持续存在于相同的地点。另外，显示控制器14还可记录指示相同被摄对象的面部区域的运动状态，并在未能识别出该被摄对象的面部时，通过预测所述运动，估计面部区域的位置。

(按照第一种算法的关联处理)

在拍摄当前拍摄图像的时间和获得面部识别信息的时间之间的差值小于或等于第一阈值的情况下，显示控制器14进行关联处理，叠加暂定识别指示符8。由于显示控制器14利用累积的面部识别信息，因此与其中累积图像，并在关联处理时进行面部识别的比较例相比，关联处理所用的时间较少。

下面将说明按照第一种算法的关联处理的流程。

首先，显示控制器14选择在拍摄当前拍摄图像的时刻之前拍摄的，并且对其来说，拍摄时间的差值小于或等于第一阈值的图像的面部识别信息。显示控制器14随后对当前拍摄图像和选择的面部识别信息进行关联处理，从而确定候选面部区域。换句话说，显示控制器14把其识别出的面部由刚好在当前拍摄图像的拍摄时刻之前的面部识别信息指示的人物视为在拍摄时刻也存在于相同地点，并把与该人物的面部区域对应的区域确定为候选面部区域。之后，显示控制器14把暂定识别指示符8叠加在候选面部区域上。

接下来，将说明把图像34视为当前拍摄图像的具体应用例子。这里，假定对于当前拍摄图像34，记录图像数据，而对于图像33、35、36和37，只记录面部识别信息。

首先，显示控制器14选择图像33的面部识别信息，作为在拍摄图像34之前拍摄的，并且对其来说，拍摄时刻的差值小于或等于第一阈值的图像的面部识别信息。随后，从由选择的面部识别信息指示的被摄对象91、92、94和95的面部区域之中，显示控制器14确定与未包括在从图像34中识别出其面部的被摄对象92、94和95的面部区域当中的被摄对象91的面部区域对应的区域，作为候选面部区域。之后，显示控制器14把暂定识别指示符8A叠加在与被摄对象91的面部区域对应的区域上，如在图像34-1中图解所示。

从而，上面说明了按照第一种算法的关联处理。

(按照第二种算法的关联处理)

在满足以下两个条件的情况下，显示控制器14进行关联处理，并叠加暂定识别指示符8。

第一个条件是拍摄当前拍摄图像的时刻和获得面部识别信息的时刻之间的差值小于或等于第二阈值。这里，第二阈值被认为大于第一种算法中的第一阈值。另外，第一个条件也可是所述差值大于第一阈值，但是小于或等于第二阈值。因此，显示控制器14能够利用未被第一种算法选择的拍摄时间更远的面部识别信息，进行关联处理。然而，在拍摄时间极远的情况下，可以想到被摄对象已移动，从而不在相同的地点。因而，在该算法中，设定以下的第二个条件。

第二个条件是与由选择的面部识别信息指示的面部区域对应的区域，和当前拍摄图像中的面部识别成功的区域之间的匹配的数目等于或大于第三阈值。换句话说，如果其面部被识别出的匹配被摄对象的数目等于或大于第三阈值，那么即使过去了等于或大于第一阈值的时间量，显示控制器14也进行关联处理。

例如，在拍摄合影等的情况下，被摄对象静止不动，从而多数面部继续被识别出。从而，可以想到将存在其面部被识别出的大量的匹配被摄对象。因而，如果其面部被识别出的匹配被摄对象的数目等于或大于第三阈值，那么即使过去了等于或大于第一阈值的时间量，显示控制器14也可进行关联处理，好像无被摄对象运动似的。这样，依据第二个条件，显示控制器14能够确定候选面部区域，同时考虑到被摄对象运动的可能性。

下面参考图5，说明按照第二种算法的关联处理的流程。

图5是说明利用按照第一实施例的显示控制器14的与第二种算法相应的关联处理的说明图。如图5中图解所示，首先，在步骤S128-1，显示控制器14计算由面部识别信息指示的拍摄时间，或者换句话说，其中识别出面部识别信息的图像的拍摄时间和拍摄当前拍摄图像的时间之间的差值。

之后，在步骤S128-2，显示控制器14如上所述判定计算的差值是否小于或等于第二阈值，作为第一个条件。此时，如前所述，显示控制器14还判定计算的差值是否大于第一阈值，另外小于或等于第二阈值。

随后，在所述差值小于或等于第二阈值的情况下(S128-2/是)，在步骤S128-3，显示控制器14计算与由面部识别信息指示的面部区域对应的区域和当前拍摄图像的其中面部识别成功的区域之间的匹配数。

之后，在步骤S128-4，显示控制器14如上所述判定计算的匹配数是否等于或大于第三阈值，作为第二个条件。

随后，在匹配数等于或大于第三阈值的情况下(S128-4/是)，在步骤S128-5，显示控制器14从与由面部识别信息指示的面部区域对应的当前拍摄图像的区域当中，确定当前拍摄图像中的面部识别失败的区域，作为候选面部区域。

在如前所述的步骤S132中，显示控制器14把暂定识别指示符8叠加在按照这种方式，确定为候选面部区域的区域上。

注意在拍摄当前拍摄图像的时间和由面部识别信息指示的时间之间的差值大于第二阈值的情况下(S128-2/否)，显示控制器14不确定候选面部区域，不叠加暂定识别指示符8。另外，在与由面部识别信息指示的面部区域对应的区域和当前拍摄图像中的面部识别成功的区域之间的匹配数小于第三阈值的情况下(S128-4/否)，显示控制器14不确定候选面部区域，不叠加暂定识别指示符8。

对于上述第二种算法，现在将说明把图像35看作当前拍摄图像的具体应用例子。这里，对于当前拍摄图像35，记录图像数据，而对于图像33、34、36和37，只记录面部识别信息。

首先，假定显示控制器14确定由图像33的面部识别信息指示的拍摄时间和图像35的拍摄时间之间的差值大于第一阈值，但是小于或等于第二阈值。这里，假定在由图像33的面部识别信息指示的被摄对象91、92、94和95的面部区域，和从图像35中识别出其面部的被摄对象91、92和95的面部区域之间存在3个匹配，并且假定该值等于或大于第三阈值。在这种情况下，从由选择的面部识别信息指示的被摄对象91、92、94和95的面部区域当中，显示控制器14确定与未包含在从图像35中，识别出其面部的被摄对象91、92和95的面部区域当中的被摄对象94的面部区域对应的区域，作为候选面部区域。随后，显示控制器14把暂定识别指示符8B叠加在与被摄对象94的面部区域对应的区域上，如图像35-1中图解所示。

从而，上面说明了按照第二种算法的关联处理。

(补充注释)

上面，显示控制器14利用在拍摄当前拍摄图像之前的时刻，在步骤S104-S108中拍摄的图像的面部识别信息，进行关联处理。然而，本公开并不局限于这样的例子。例如，显示控制器14也可利用在拍摄当前拍摄图像之后的时刻拍摄的图像的面部识别信息，进行关联处理。

更具体地，在拍摄当前拍摄图像之后(即，在上面的步骤S124之后)，重复上述步骤S104-S108，在随后的步骤S128中，显示控制器14可利用在此时累积的面部识别信息，进行关联处理。显示控制器14可利用在当前拍摄图像的拍摄之前和之后的面部识别信息，进行关联处理，或者可以只利用在当前拍摄图像的拍摄之前或之后的面部识别信息，进行关联处理。

下面，将把图像36视为当前拍摄图像，具体说明利用在拍摄当前拍摄图像之后的时刻拍摄的图像的面部识别信息，进行按照第一种算法的关联处理的例子。这里，假定对于当前拍摄图像36，记录图像数据，而对于图像33、34、35和37，只记录面部识别信息。

首先，显示控制器14选择图像37的面部识别信息，作为在拍摄图像36之后拍摄的，并且对其来说，拍摄时间的差值小于或等于第一阈值的图像的面部识别信息。之后，从由图像37的所选面部识别信息指示的被摄对象91、92、94和95的面部区域当中，显示控制器14确定与未包括在从图像36中，识别出其面部的被摄对象91、92和95的面部区域之中的被摄对象94的面部区域对应的区域，作为候选面部区域。随后，显示控制器14把暂定识别指示符8叠加在与图像36中的被摄对象94的面部区域对应的区域上。

通过进行按照上面作为例子说明的算法的关联处理，显示控制器14把确认识别指示符7或暂定识别指示符8叠加在被摄对象91、92、93、94和95上。

从而，上面说明了按照第一实施例的图像处理器1的操作处理。

[2-1-3.变形例1]

下面，说明第一实施例的变形例。按照本变形例的图像处理器1被配置成在显示单元3不管摄像指令地显示直通图像的情况下，显示暂定识别指示符8。下面将参考图6，说明图像处理器1的操作。

图6是图解说明按照变形例1的图像处理器1的操作的流程图。如图6中图解所示，首先，在步骤S204，识别单元11从直通图像中识别面部，并输出面部识别信息。随后在步骤S208，存储控制器13记录从识别单元11输出的面部识别信息。

随后，在步骤S212，显示控制器14对直通图像和累积的面部识别信息，进行关联处理。此时的关联处理如上参考图4所述。之后，在步骤S216，显示控制器14根据在上面的步骤S212中获得的关联数据，把暂定识别指示符8叠加在直通图像中的候选面部区域上。从而，在用户发出摄像指令之前，显示控制器14能够明确地向用户告知面部识别失败的被摄对象的存在，并促使用户提醒该被摄对象注意。

之后，在步骤S220，摄像控制器15判定操作单元5或通信单元6是否收到摄像指令。在未收到摄像指令的情况下(S220/否)，处理再次返回步骤S204。另一方面，在收到摄像指令的情况下(S220/是)，在步骤S224，摄像控制器15使摄像单元4拍摄图像，存储控制器13记录拍摄的当前拍摄图像。随后，在步骤S228，识别单元11从当前拍摄图像中识别面部，并输出面部识别信息。最后，在步骤S232，存储控制器13记录从识别单元11输出的面部识别信息。

从而，上面说明了按照变形例1的图像处理器1的操作处理。

[2-1-4.变形例2]

下面说明第一实施例的另一个变形例。按照本变形例的图像处理器1不响应摄像指令，进行新的拍摄，而是记录在摄像指令的定时时的直通图像，作为当前拍摄图像，以及源于已进行的关联处理的关联数据。下面参考图7，说明图像处理器1的操作。

图7是图解说明按照变形例2的图像处理器1的操作的流程图。如图7中图解所示，在步骤S304-S320，图像处理器1与上述步骤S204-S220中类似地工作。

随后，在步骤S324，存储控制器13记录紧接在先的直通图像。随后在步骤S328，存储控制器13对应于紧接在先的直通图像地记录关联数据，所述关联数据是在步骤S312中的紧接在先的关联处理的结果。

这样，在摄像指令的情况下，图像处理器1不重复摄像和关联处理。

从而，上面说明了按照变形例2的图像处理器1的操作处理。

<2-2.第二实施例>

按照本实施例的图像处理器1通过对于其中面部识别成功的区域，或者候选面部区域的区域，换入对应于另一个图像的区域，进行合成。由于本实施例的结构如第一实施例中所述，因此这里将简化或省略详细的说明。下面参考图8，说明图像处理器1的操作。

[2-2-1.操作处理]

图8是图解说明按照第二实施例的图像处理器1的操作的流程图。如图8中图解所示，首先在步骤S404，识别单元11从直通图像中识别面部，然后输出面部识别信息。这里，如前所述，面部识别信息包括指示识别的面部区域中的微笑程度的微笑度。随后在步骤S408，存储控制器13记录从识别单元11输出的面部识别信息。

随后，在步骤S412，显示控制器14对直通图像和累积的面部识别信息进行关联处理。此时的关联处理如上参考图4所述。

之后，在步骤S416，存储控制器13记录直通图像中的其中识别出面部，并且其微笑度高于指定阈值的区域的图像，作为笑脸区域图像，及其位置和范围。

随后在步骤S420，显示控制器14显示未获得笑脸指示符，以及未获得笑脸计数，所述未获得笑脸指示符指示其中还未记录笑脸区域图像的面部区域，未获得笑脸计数指示相关面部区域的数目。更具体地，显示控制器14在作为直通图像中的其中识别出面部的区域或者候选面部区域，并且其中未记录笑脸区域图像的区域上叠加未获得笑脸指示符。另外，显示控制器14显示直通图像中的其中识别出面部的区域或者候选面部区域当中，其中未记录笑脸区域图像的区域的数目，作为未获得笑脸计数。因此，显示控制器14能够向用户告知让另外的多少人微笑，以便拍摄每个人都在微笑的图像。

随后在步骤S424，存储控制器13判定对于识别出的面部区域和候选面部区域的所有面部区域，是否记录了笑脸区域图像，摄像控制器15判定操作单元5或通信单元6是否收到摄像指令。

在对于所有面部区域，还未记录笑脸区域图像，并且未收到摄像指令的情况下(S424/否)，处理再次返回步骤S404。从而，存储控制器13能够累积地记录笑脸区域图像。此外，摄像控制器15还能够使摄像单元4反复拍摄图像，直到记录了与识别出的面部区域和候选面部区域的所有区域对应的笑脸区域图像为止。注意在对于相同的面部区域，识别出具有更高的微笑度的笑脸区域的情况下，存储控制器13更新已记录的笑脸区域图像。在自记录以来，过去了指定时间量的情况下，或者在利用步骤S412中的关联处理，检测到被摄对象运动的情况下，存储控制器13也可从存储单元2中删除面部图像。从而，可以减小存储单元2的存储容量。

另一方面，在对于所有面部区域，记录了笑脸区域图像的情况下，或者在收到摄像指令的情况下(S424/是)，在步骤S248，编辑单元12合成笑脸区域图像和直通图像，并输出合成结果，作为当前拍摄图像。更具体地，对于当前拍摄图像中的其中识别出面部的区域和候选面部区域的区域，编辑单元12合成与相关区域对应的笑脸区域图像。因此，图像处理器1能够自动生成合成图像，在该合成图像中，所有或者大部分的在当前拍摄图像中识别出其面部的被摄对象以及此时碰巧未识别出其面部的被摄对象都在微笑。

之后，在步骤S432，存储控制器13记录编辑单元12输出的合成图像。

这样，在诸如通过用另一个表情更好的图像替换当前拍摄图像中的表情不好的面部区域，进行合成之类的情况下，图像处理器1能够不仅替换成功识别的面部区域，而且能够替换候选面部区域。

从而，上面说明了按照第二实施例的图像处理器1的操作处理。

[2-2-2.变形例3]

下面说明第二实施例的变形例。按照本变形例的图像处理器1显示与其中识别出面部的区域，或者候选面部区域的区域对应的笑脸区域图像，作为可选择的合成用候选图像，并根据用户操作进行合成。下面参考图9A和9B，说明图像处理器1的操作。

图9A和9B是图解说明按照变形例3的图像处理器1的操作的流程图。如图9A中图解所示，在步骤S504-S520，图像处理器1如上述步骤S204-S220中地类似工作。

之后，在步骤S524-S536，图像处理器1如上述步骤S116-S128中地类似工作。然后，在步骤S540，存储控制器13与当前拍摄图像对应地记录关联数据。

之后，如图9B中图解所示，在步骤S544，识别单元11从直通图像中识别面部，并输出面部识别信息。随后，在步骤S548，存储控制器13记录从识别单元11输出的面部识别信息。

然后，在步骤S552，存储控制器13记录直通图像中的识别出面部，并且其微笑度高于指定阈值的区域的图像，作为笑脸区域图像，及其位置和范围。

之后，在步骤S556，存储控制器13判定步骤S544-S552是否已被重复指定次数。在步骤S544-S552未被重复指定次数的情况下(S556/否)，处理再次返回步骤S544。

另一方面，在步骤S544-S552已被重复指定次数的情况下(S556/是)，在步骤S560，显示控制器14把指示非笑脸区域的非笑脸指示符叠加在当前拍摄图像上。更具体地，根据在步骤S536中输出的关联数据，显示控制器14在当前拍摄图像中的其中识别出面部的区域和候选面部区域当中的，未包含在笑脸区域之中的非笑脸区域上，叠加非笑脸指示符。

随后在步骤S564，显示控制器14叠加面部图像，作为候选图像，所述面部图像是在步骤S544-S552中累积的笑脸区域图像，并且对应于当前拍摄图像中的非笑脸区域。因此，用户能够从候选图像中选择合成用面部图像。这里，由于候选面部区域是其中甚至未识别出面部，或者是否笑脸的问题未被确认的区域，因而候选面部区域包含在非笑脸区域之中。从而，在用户查看当前拍摄图像，并认为候选面部区域是笑脸的情况下，也能够不进行合成地保持原始面部区域的自然状态。

随后，在步骤S568，编辑单元12把用户选择的候选图像合成到当前拍摄图像中，并输出合成图像。最后，在步骤S572，存储控制器13记录由编辑单元12输出的合成图像。

从而，上面说明了按照变形例3的图像处理器1的操作处理。

<2-3.第三实施例>

下面说明第三实施例。按照本实施例的图像处理器1安装在网络上的服务器中，并合成利用多个摄像设备拍摄的图像。更具体地，编辑单元12把与用和拍摄当前拍摄图像的摄像设备不同的摄像设备拍摄的图像中的候选面部区域对应的区域，合成到当前拍摄图像中的候选面部区域的区域上。下面参考图10和11，说明按照本实施例的图像处理器1的操作的概况。

图10是图解说明按照第三实施例的图像处理器1的概况的说明图。如图10中图解所示，在遍布室外的各个固定地点安装固定式摄像机108A-108D。下面，当不必单独说明时，固定式摄像机108A-108D将被共同称为固定式摄像机108。本实施例设想不仅如图10中图解所示，在室外放置许多固定式摄像机108，而且在室内也放置许多固定式摄像机108的情形。另外，包括图像处理器1的服务器200利用由固定式摄像机108，或者通过携带在用户身上而使用的照相机拍摄的图像进行面部识别处理、关联处理和各种指示符的叠加。

图10中图解所示的用户98正在用照相机104拍摄被摄对象96和97。服务器200借助无线通信，连接到照相机104和固定式摄像机108。照相机104和固定式摄像机108具有上面参考图2说明的照相机100的结构，不过除去了图像处理器1。

首先，照相机104和固定式摄像机108把拍摄的图像传给服务器200。服务器200随后对接收自照相机104的图像进行面部识别处理，面部识别信息的记录和关联处理，使照相机104的显示单元显示叠加有暂定识别指示符8的图像。注意照相机104和固定式摄像机108被认为把指示当前位置的位置信息连同图像一起传给服务器200。

如图10中图解所示，尽管被摄对象96面向照相机104的方向，但是被摄对象97面向固定式摄像机108A的方向，而不是面向照相机104的方向。从而，尽管被摄对象96的面部被识别出，但是被摄对象97的面部未被识别出。因此，在直通图像中，在被摄对象96上叠加确认识别指示符7，而在被摄对象97上叠加暂定识别指示符8。

这里将参考图11，说明对于按照用户98的摄像指令，拍摄当前拍摄图像的情况，包含在服务器200中的图像处理器1的操作。

图11是说明按照第三实施例的图像处理器1的合成处理的说明图。如图11中图解所示，服务器200包括图像处理器1和通信单元6。

当按照来自用户98的摄像指令，拍摄当前拍摄图像时，照相机104把当前拍摄图像38传给服务器200。注意在当前拍摄图像38中，被摄对象96的面部被识别，但是被摄对象97的面部未被识别。同时，服务器200接收利用固定式摄像机108A拍摄的图像39，固定式摄像机108A是安装在被摄对象97的位置附近，并且安装在被摄对象97面向的地方的固定式摄像机108。注意在图像39中识别出被摄对象97的面部。因而，编辑单元12把从图像39中识别出其面部的被摄对象97的面部图像合成到当前拍摄图像38的作为候选面部区域给出的被摄对象97的面部区域中，从而生成合成图像38-1。

这样，图像处理器1能够根据从不同的摄像设备获得的图像，对当前拍摄图像的候选面部区域进行合成处理。

从而，上面说明了按照第三实施例的图像处理器1的操作处理。

<<3.结论>>

如上所述，按照本公开的实施例的图像处理器1能够可区别于面部识别成功的面部区域地向用户呈现按照摄像指令拍摄的当前拍摄图像中的面部识别失败的面部区域，作为候选面部区域。另外，图像处理器1还能够把对应于另一个图像的面部图像合成到候选面部区域中。此外，图像处理器1能够把对应于另一个图像的面部图像合成到识别出面部的区域中。另外，由于图像处理器1相继累积的面部识别信息是对应于摄像时间记录的，因此图像处理器1还能够在稍后的日期，应用按照候选面部区域估计精度更高的算法的关联处理。

从而，上面参考附图，详细说明了本公开的优选实施例。然而，本公开的技术范围并不局限于这样的例子。对本公开的技术领域的普通技术人员来说，显然可以作出各种修改或变更，只要所述修改或变更在权利要求中记载的技术思想的范围内，并且应理解这样的修改或变更显然属于本公开的技术范围。

例如，可以创建使内置在信息处理设备中的诸如CPU、ROM和RAM之类的硬件发挥与上述图像处理器1的各个构成元件类似的功能的计算机程序。另外，还提供具有记录在上面的这种计算机程序的记录介质。

另外，也可如下构成本技术。

(1)一种信息处理设备，包括：

从拍摄图像中，识别面部区域的识别单元；

使存储单元保存指示由识别单元识别出的面部区域的面部识别信息的存储控制器；和

可区别于指示第二面部区域的显示地在显示单元上叠加某种显示的显示控制器，所述某种显示把在与由保存在存储单元中的另一个拍摄图像的面部识别信息指示的第一面部区域对应的区域当中，但是未包含在识别单元从当前拍摄图像中识别出的第二面部区域中的区域表示成摄像单元按照外部指令拍摄的当前拍摄图像中的候选面部区域。

(2)按照(1)所述的信息处理设备，其中所述信息处理设备还包括：

编辑候选面部区域的区域的编辑单元。

(3)按照(2)所述的信息处理设备，

其中存储控制器使存储单元保存拍摄的图像，

其中编辑单元把与在拍摄当前拍摄图像之前的时刻拍摄并保存在存储单元中的拍摄图像中的候选面部区域对应的区域，合成到所述候选面部区域的区域中。

(4)按照(2)所述的信息处理设备，

其中存储控制器使存储单元保存拍摄的图像，

其中编辑单元把与在拍摄当前拍摄图像之后的时刻拍摄并保存在存储单元中的拍摄图像中的候选面部区域对应的区域，合成到所述候选面部区域的区域中。

(5)按照(2)-(4)任意之一所述的信息处理设备，

其中显示控制器把候选图像叠加在显示单元上，

其中编辑单元按照外部指令，把候选图像合成到当前拍摄图像中的候选面部区域的区域中。

(6)按照(2)-(5)任意之一所述的信息处理设备，

其中编辑单元编辑当前拍摄图像中的对应于第一面部区域的区域。

(7)按照(1)-(6)任意之一所述的信息处理设备，

其中显示控制器把指示候选面部区域的显示叠加在由摄像单元在外部指令之前拍摄，并实时显示在显示单元上的当前拍摄图像上。

(8)按照(1)-(7)任意之一所述的信息处理设备，

其中另一个拍摄图像的面部识别信息是在拍摄当前拍摄图像之前的时刻拍摄的拍摄图像的面部识别信息。

(9)按照(1)-(7)任意之一所述的信息处理设备，

其中另一个拍摄图像的面部识别信息是在拍摄当前拍摄图像之后的时刻拍摄的拍摄图像的面部识别信息。

(10)按照(1)-(9)任意之一所述的信息处理设备，

其中在拍摄当前拍摄图像的时间和拍摄另一个拍摄图像的时间之间的差值小于或等于第一阈值的情况下，显示控制器在显示单元上叠加指示候选面部区域的显示。

(11)按照(1)-(10)任意之一所述的信息处理设备，

其中在拍摄当前拍摄图像的时间和拍摄另一个拍摄图像的时间之间的差值小于或等于第二阈值，并且第一面部区域和第二面部区域之间的匹配数大于或等于第三阈值的情况下，显示控制器在显示单元上叠加指示候选面部区域的显示。

(12)按照(2)-(6)任意之一所述的信息处理设备，

其中信息处理设备还包括：

控制摄像单元的摄像控制器，

其中识别单元从拍摄图像中识别笑脸区域，

其中存储控制器使存储单元保存利用识别单元识别出的笑脸区域的图像，

其中摄像控制器使摄像单元重复摄像，直到与所有的第二面部区域和候选面部区域的区域对应的笑脸区域的图像被保存在存储单元中为止，

其中编辑单元把保存在存储单元中的笑脸区域的图像合成到第二面部区域和候选面部区域中。

(13)按照(1)-(12)任意之一所述的信息处理设备，

其中识别单元从拍摄图像中识别笑脸区域，

其中显示控制器在显示单元上叠加把当前拍摄图像中的在第二面部区域和候选面部区域的区域之中，但是未包含在识别单元从当前拍摄图像中识别出的笑脸区域中的区域表示成非笑脸区域的显示。

(14)按照(2)-(6)任意之一所述的信息处理设备，

其中编辑单元把与用和拍摄当前拍摄图像的摄像单元不同的摄像单元拍摄的拍摄图像中的候选面部区域对应的区域，合成到所述候选面部区域的区域中。

(15)一种记录有程序的非临时性计算机可读记录介质，所述程序用于使计算机执行以下步骤：

从拍摄图像中识别面部区域；

使存储单元保存指示识别出的面部区域的面部识别信息；和

可区别于指示第二面部区域的显示地在显示单元上叠加某种显示，所述某种显示把在与由保存在存储单元中的另一个拍摄图像的面部识别信息指示的第一面部区域对应的区域当中，但是未包含在从当前拍摄图像中识别出的第二面部区域中的区域表示成摄像单元按照外部指令拍摄的当前拍摄图像中的候选面部区域。

Claims (15)

1.一种信息处理设备，包括：

识别单元，从拍摄图像中识别面部区域；

存储控制器，使存储单元保存指示由识别单元识别出的面部区域的面部识别信息；以及

显示控制器，能够区别于指示识别单元从摄像单元按照外部指令拍摄的当前拍摄图像中识别出的第二面部区域的显示地在显示单元上叠加显示，所述显示把在与由保存在存储单元中的另一个拍摄图像的面部识别信息指示的第一面部区域对应的区域当中、但是未包含在第二面部区域中的区域表示成当前拍摄图像中的候选面部区域。

2.按照权利要求1所述的信息处理设备，其中所述信息处理设备还包括：

编辑单元，编辑候选面部区域的区域。

3.按照权利要求2所述的信息处理设备，

其中存储控制器使存储单元保存拍摄的图像，

其中编辑单元把与在拍摄当前拍摄图像之前的时刻拍摄并保存在存储单元中的拍摄图像中的候选面部区域对应的区域合成到所述候选面部区域的区域中。

4.按照权利要求2所述的信息处理设备，

其中存储控制器使存储单元保存拍摄的图像，

其中编辑单元把与在拍摄当前拍摄图像之后的时刻拍摄并保存在存储单元中的拍摄图像中的候选面部区域对应的区域合成到所述候选面部区域的区域中。

5.按照权利要求2所述的信息处理设备，

其中显示控制器把候选图像叠加在显示单元上，并且

其中编辑单元按照外部指令把候选图像合成到当前拍摄图像中的候选面部区域的区域中。

6.按照权利要求2所述的信息处理设备，

其中编辑单元编辑当前拍摄图像中的对应于第一面部区域的区域。

7.按照权利要求1所述的信息处理设备，

其中显示控制器把指示候选面部区域的显示叠加在由摄像单元在外部指令之前拍摄并实时显示在显示单元上的当前拍摄图像上。

8.按照权利要求1所述的信息处理设备，

其中所述另一个拍摄图像的面部识别信息是在拍摄当前拍摄图像之前的时刻拍摄的拍摄图像的面部识别信息。

9.按照权利要求1所述的信息处理设备，

其中所述另一个拍摄图像的面部识别信息是在拍摄当前拍摄图像之后的时刻拍摄的拍摄图像的面部识别信息。

10.按照权利要求1所述的信息处理设备，

其中在拍摄当前拍摄图像的时间和拍摄另一个拍摄图像的时间之间的差值小于或等于第一阈值的情况下，显示控制器在显示单元上叠加指示候选面部区域的显示。

11.按照权利要求1所述的信息处理设备，

其中在拍摄当前拍摄图像的时间和拍摄另一个拍摄图像的时间之间的差值小于或等于第二阈值，并且第一面部区域和第二面部区域之间的匹配数大于或等于第三阈值的情况下，显示控制器在显示单元上叠加指示候选面部区域的显示。

12.按照权利要求2所述的信息处理设备，

其中所述信息处理设备还包括：

控制摄像单元的摄像控制器，

其中所述识别单元从拍摄图像中识别笑脸区域，

其中所述存储控制器使存储单元保存利用识别单元识别出的笑脸区域的图像，

其中所述摄像控制器使摄像单元重复摄像，直到与所有的第二面部区域和候选面部区域的区域对应的笑脸区域的图像被保存在存储单元中为止，并且

其中所述编辑单元把保存在存储单元中的笑脸区域的图像合成到第二面部区域和候选面部区域中。

13.按照权利要求1所述的信息处理设备，

其中所述识别单元从拍摄图像中识别笑脸区域，并且

其中所述显示控制器在显示单元上叠加把当前拍摄图像中的在第二面部区域和候选面部区域的区域之中、但是未包含在识别单元从当前拍摄图像中识别出的笑脸区域中的区域表示成非笑脸区域的显示。

14.按照权利要求2所述的信息处理设备，

其中所述编辑单元把与用和拍摄当前拍摄图像的摄像单元不同的摄像单元拍摄的拍摄图像中的候选面部区域对应的区域合成到所述候选面部区域的区域中。

15.一种信息处理方法，包括：

从拍摄图像中识别面部区域；

使存储单元保存指示识别出的面部区域的面部识别信息；以及

能够区别于指示从摄像单元根据外部指令拍摄的当前拍摄图像中识别出的第二面部区域的显示地在显示单元上叠加显示，所述显示把在与由保存在存储单元中的另一个拍摄图像的面部识别信息指示的第一面部区域对应的区域当中、但是未包含在第二面部区域中的区域表示成当前拍摄图像中的候选面部区域。

Images