CN101867708B - 摄影装置、显示装置、再现装置、摄影方法以及显示方法 - Google Patents

Abstract

本发明提供一种摄影装置、显示装置、再现装置、摄影方法以及显示方法，其能够简便且即时欣赏到所摄影的动态图像。本发明具有：输出动态图像的图像数据的摄像部(2)；根据图像数据判定图像之中是否包含脸的脸检测部(3)；存储有用于识别脸的识别用数据的脸数据库(4b)；根据脸检测部(3)的判定结果与存储于脸数据库(4b)中的识别用数据，判定图像数据中的脸是否与识别用数据一致，在一致的情况下决定为代表图像的代表图像决定部(1b)；以及显示通过代表图像决定部(1b)所决定的代表图像的显示部(8)，其中，根据动态图像的图像数据，在动态图像的最后显示共同登场的人物(26)。

Description

摄影装置、显示装置、再现装置、摄影方法以及显示方法

技术领域

本发明涉及摄影装置、显示装置、再现装置、摄影方法以及显示方法，具体而言，涉及所谓摄像机、数字相机、带相机的移动电话等具有动态图像记录部的摄影装置和摄影方法、或者对这些动态图像进行显示或再现的显示装置、再现装置、显示方法。

背景技术

本发明以2009年4月15日申请的在先日本专利申请第2009-098665号作为优先权基础并主张其权利，本发明中引入了其全部内容作为参考。

近些年来，数字设备的记录容量增大，记录大量动态图像变得容易。然而这些所记录的动态图像中有很多没有经过编辑，希望提出一种在再现时能够简单处理动态图像，快乐地进行欣赏的技术。

于是，例如在国际公开第2006/025272号公报中公开了如下视频分类装置：其从视频中提取出场人物的脸的数量、位置和大小来作为脸姿态数据，使用该检测结果对出场人物进行分类，从而能进行图像检索。另外，在日本特开2008-301357号公报中公开了一种摄像装置，其在结束了摄影的动态图像的最后记录结尾用图像。

如上，以往提出了很多方案，而它们都是以复杂的操作流程作为前提的，有的无法即时欣赏所摄影的动态图像，有的由于特定主题(被摄体)的出场而不能欣赏兼具统一性与变化的图像再现。

发明内容

本发明就是鉴于这种情况而完成的，其目的在于提供一种能简便且即时欣赏到所摄影的动态图像的摄影装置、显示装置、再现装置、摄影方法以及显示方法。

本发明涉及的摄影装置具有摄影模式和再现模式，其具有：记录部，其在以上述摄影模式进行摄影时记录摄影动态图像；第一判定部，其在以上述摄影模式进行摄影时，根据上述摄影动态图像的图像数据，判定在上述摄影动态图像中出现的主被摄体，将判定结果记录于上述记录部；第二判定部，其在进行上述再现模式的再现并且集合多个上述摄影动态图像进行再现时，根据各摄影动态图像中的主被摄体，判定在多个摄影动态图像中共同出场的人物；以及再现部，其使用上述第二判定部的判定结果，提取上述动态图像的一部分依次再现。

另外，本发明涉及的摄影装置具有：摄影部，其对图像进行摄影；动态图像记录部，其将由上述摄影部连续取得的图像记录为动态图像；人物确定部，其根据由上述摄影部得到的脸图像，在上述摄影的动作中，根据所述脸图像的大小和位置，确定在记录于上述动态图像记录部的动态图像中出场的主被摄体；以及显示控制部，其在对所记录的上述动态图像进行缩略图显示时，按照上述人物的确定结果，将包含上述所确定的人物的图像作为代表图像进行显示。

另外，本发明涉及的显示装置具有：出场人物判定部，其判定在动态图像中出现的人物；图像显示部，其用于排列显示多个图像；共同人物判定部，其根据上述出场人物判定部判定的在动态图像中出现的人物，判定在显示于上述图像显示部上的多个图像中共同出场的人物；以及代表图像决定部，其按照上述共同人物判定部的判定结果，决定上述动态图像的代表图像。

另外，本发明涉及的再现装置具有：第一主被摄体判定部，其对多个动态图像判定各动态图像中所包含的主被摄体；第二主被摄体判定部，其根据上述多个动态图像中所包含的第一主被摄体组的图像判定第二主被摄体；以及摘要再现部，其优先再现上述第二主被摄体出场的部分。

另外，本发明涉及的摄影装置具有：摄像部，其输出动态图像的图像数据；脸检测部，其根据上述图像数据，判定图像中是否包含脸；脸数据库，其存储有用于识别脸的识别用数据；代表图像决定部，其根据上述脸检测部的判定结果与存储于上述脸数据库中的识别用数据，判定上述图像数据中的脸是否与识别用数据一致，在一致的情况下决定为代表图像；以及显示部，其显示由上述代表图像决定部所决定的代表图像。

另外，本发明涉及的摄影方法具有如下步骤：对图像进行摄影，将连续取得的图像记录为动态图像，在摄影动作中，根据上述动态图像中的脸图像的大小和位置，确定在所记录的上述动态图像中出场的主被摄体，当以缩略图显示上述所记录的动态图像时，按照上述人物的确定结果，将包含所确定的上述人物在内的图像作为代表图像进行显示。

另外，本发明涉及的显示方法具有如下步骤：根据动态图像中出现的脸图像，判定显现于动态图像中的主被摄体，根据各动态图像中的主被摄体，判定在上述所显示的多个动态图像中共同出场的人物，按照上述出场的人物的判定结果，决定上述动态图像的代表图像。

根据本发明，能够提供一种能够简便且即时欣赏到简单摄影的动态图像的摄影装置、显示装置、再现装置、摄影方法以及显示方法。

附图说明

图1是表示本发明一个实施方式涉及的相机构成的框图。

图2是表示在本发明一个实施方式涉及的相机中，选择主被摄体时所使用的附加信息的图。

图3是表示在本发明一个实施方式涉及的相机中，从多个动态图像中提取代表图像的例子的图。

图4是表示在本发明一个实施方式涉及的相机中，从多个动态图像中提取代表图像的另一个例子的图。

图5是表示在本发明一个实施方式涉及的相机中，从一个动态图像中提取代表图像的例子的图。

图6是表示在本发明一个实施方式涉及的相机中，选择多个动态图像进行再现的情形的图。

图7是表示在本发明一个实施方式涉及的相机中，选择一个动态图像进行部分再现的情形的图。

图8是表示本发明一个实施方式涉及的相机的相机控制动作的流程图。

图9是表示本发明一个实施方式涉及的相机的图像再现动作的流程图。

图10是表示本发明一个实施方式涉及的相机的图像再现动作的流程图，是图9所示流程图的连续。

图11是表示在本发明一个实施方式的变形例涉及的相机中，从多个动态图像中选择代表图像后进行的缩略图显示的图。

图12是表示本发明一个实施方式的变形例涉及的相机的缩略图显示的动作的流程图。

具体实施方式

下面，按照附图对使用应用了本发明的相机的一个实施方式进行说明。图1是表示本发明一个实施方式涉及的相机10的电路的框图。相机10是数字相机，由信号处理和控制部1、摄像部2、脸检测部3、记录部4、操作判定部6、声音收录部7、显示部8、时钟部9、通信部12等构成。

摄像部2包含摄影镜头和快门等曝光控制部、摄像元件、摄像元件的驱动和读取电路等，通过摄像元件，将利用摄影镜头所形成的被摄体像转换为动态图像的图像数据。该图像数据被输出到信号处理和控制部1以及脸检测部3。

信号处理和控制部1按照所存储的程序，控制相机10的整体进程。另外，获取从摄像部2输出的图像信号，进行间隔剔除处理、边缘强调、颜色校正、图像压缩等各种图像处理，并进行实时取景显示、向记录部4中记录、在显示部8上再现显示等图像处理。信号处理和控制部1内包括代表图像决定部1b、合成显示部1c、声音分析部1d。

如后所述，代表图像决定部1b根据动态图像的图像数据，决定在缩略图显示和结尾等中使用的代表图像。在摄影时决定主被摄体(代表图像的候选)(附图中的“摄影时”的功能)；在摄影结束后再现开始前，根据主被摄体决定代表图像(图中的“再现时”的功能)。合成显示部1c将动态图像中被选作结尾用的代表图像合成到动态图像的最后。声音分析部1d使用从后述的声音收录部7输入的周围的声音数据进行声音分析，例如分析声音数据中是否包含笑声，或声音大还是小等。

脸检测部3从摄像部2输入图像数据，根据该图像数据，判定图像中是否包含人物的脸部分。而且，在判定的结果为包含脸部分的情况下，判定脸的位置及其大小，然后判断是否包含与记录于后述的脸数据库(脸DB)4b中的多个人物相同的特定人物。另外，在包含脸的情况下，脸检测部3还进行笑容度判定。笑容度是将笑容程度数值化的概念，数值越大则笑容度越高。

在通过释放按钮进行了摄影指示时，记录部4记录由摄像部2获得且通过信号处理和控制部1进行了图像处理的动态图像的图像数据。另外，在记录图像数据时，与脸位置、大小、特征等信息关联起来存储该附加信息。另外，作为附加信息，除此之外还包括声音分析部1d的分析结果、由后述的时钟部9获得的摄影日期时间信息等。脸DB 4b是用于预先登记摄影者的家人和友人等的脸图像及其特征的数据库。另外，脸DB 4b中还与脸图像相关联地登记有此人的姓名。

操作判定部6判定释放按钮等操作部件的操作状态，将该判定出的操作状态输出到信号处理和控制部1。声音收录部7具有用于收集周围声音的麦克风、用于进行声音信号的放大等的声音处理电路、以及将模拟声音信号变更为数字声音数据的AD转换电路等，并将声音数据输出到信号处理和控制部1内的声音分析部1d。

显示部8进行实时取景显示、再现显示、菜单显示等各种显示。另外，该显示部8还兼作为触摸面板，能够检测出摄影者的手指等所触碰的位置。时钟部9具有日历功能和时钟功能，摄影时输出摄影日期时间信息。通信部12向相机10的外部发送图像数据等，作为通信方式，包括红外线通信、无线通信、有线通信等通信，还可以利用USB存储器等向外部输出。

接着，使用图2说明记录于记录部4中的图像数据和图像数据中附带记录的附加信息。图2(a)是以动态图像方式记录的图像1的关联信息的一个例子，图2(b)表示画面的分割例，在本实施方式中为区域A1～A9的九分割。在各区域A1～A9中，如图2(c)所示，将脸大小分为D1～D3这三个级别。

图2(a)中，对于动态图像的图像1，时间(秒)表示从摄影开始起的经过时间。如图2(a)所示，在摄影开始时(0秒时)，图像中映出两个脸。其中的一个人为特定人物P-A，在A4的位置(画面左侧中央)有脸的大小D2(参见图2(b))，笑容度为6；另一个人为不明人物P-X，在A6的位置(画面右侧中央)有脸的大小D3，笑容度为7。笑容度的数值越大则笑脸程度越高。另外，周围声音较小，此时的摄影日期时间为9月15日11点21分10秒。

在本实施方式中，如图2(a)所示，每隔5秒判定一次脸图像的数量、位置、大小、特征、周围声音的大小、摄影日期时间信息，并记录于记录部4。记录部4还对是否能成为代表图像的候选(主被摄体)进行判定并记录。在图2(a)的例子中，经过0秒时映出两个人，但脸的大小都为D2，而且都处于画面的两侧(A4和A6的位置)，因而哪个人物都称不上是主被摄体，候选被记录为“无”。

从摄影开始起经过了5秒时，虽然映出两个人，然而脸的大小却一个是D2，另一个是更小的D3，且处于画面两侧(A4和A6的位置)，因而哪个人物都称不上是主被摄体，候选被记录为“无”。接下来，从摄影开始起经过了10秒时，映出三个人，其中，特定人物P-A以D2的大小映现在正中间(A5的位置)。由于正中间存在特定人物，因而该P-A为主被摄体，将该P-A作为代表图像的候选而记录下来。从摄影开始起经过了15秒时和经过20秒时都映出三个人，特定人物P-A在这些时刻也以D2的大小映现于正中间(A5的位置)。由于正中间存在特定人物，因而将该P-A作为代表图像的候选而记录下来。

接着，使用图3说明根据多个动态图像决定代表图像的考虑方式。动态图像A21、动态图像B22、动态图像C23是一系列记录的动态图像。各动态图像是连续的静止图像的集合。动态图像A21内映出人物26和人物28，动态图像B22内映出人物26，动态图像C23内映出人物26和人物27。针对此时出现的人物26～28，与登记于脸DB 4b内的人物进行对比，判定是否具有相同人物，于是人物26对应于B小孩，人物27对应于C小孩，人物28没有对应的特定人物，而脸DB 4b中虽然登记有A小孩，然而其没有出现在动态图像A21～动态图像C23中。

分析这些一系列动态图像A21～动态图像C23中的出场人物，人物26(B小孩)在动态图像A21～动态图像C23中都曾出现，而人物28没有登记于脸DB 4B中，而人物27(C小孩)虽然出现于画面中央部23c，然而仅在最后出现，属于较小的像，因此将人物26(B小孩)决定为代表图像。在本实施方式中，将出现在最初和最后的动态图像中并且为某种程度大小的像的人物决定为代表图像。

接着，使用图4说明将所决定的代表图像用于结尾而进行显示的例子。动态图像D31、动态图像E32、动态图像F33的例子都是旅行时所拍摄的动态图像。与图3中说明的内容同样，根据该动态图像31～33决定成为代表图像的人物。动态图像D31中映出人物26，动态图像E32中映出人物26。另外，在构成动态图像F33的图像33a、33b、33c中也分别映出人物26。根据这些分析，在本例中将频度最高的人物26决定为代表图像。

在这样连续再现多个动态图像的情况下，对频度最高的人物以出场人物中主角的方式对待，在动态图像再现结束时用结尾34进行显示。即，如图4所示，结尾34显示所决定的代表图像、即人物26，并且显示主角者的姓名。此时，根据登记于脸DB 4b中的脸图像和姓名检索主角者姓名来进行显示。

接着，使用图5说明再现一个动态图像时再现其中一部分的部分再现。图5是对宴会这样的事件的情形进行摄影的动态图像的例子。在这种事件中，具有参加者大笑而热烈的场景，即便之后进行再现也能欣赏这样的场面。然而在部分再现时，如果突然从大笑的场面开始，则无法获悉成为大笑契机的理由，存在唐突的感觉。于是，在本实施方式中，从成为大笑场景的基础的提问场景开始再现。

即，在图5所示的例子中，在动态图像的部分41中，人物26向人物29发出提问，在接下来的时刻的动态图像的部分42中，人物29作出回答，在此后时刻的动态图像的部分43中，大家发出大笑。于是，如果检测出大笑的部分43，则从成为该大笑契机的动态图像的部分41起进行部分再现。具体而言，通过声音分析部1d将在大笑场景之前发出的词汇判定为“回答”，将在该“回答”之前发出的词汇判定为“提问”。从该“提问”开始部分再现其后的场景。当然，有时会在“提问”和“回答”之后出现“插话”，因此既可以判定“提问”特有的句尾是否为上扬的词汇，也可以判定是否包含“吗？”、“么？”等提问所特有的语言。

下面，使用图6说明连续再现多个动态图像的情况。在再现动态图像的情况下，最开始在显示部8上显示动态图像的缩略图。在图6所示的例子中，显示纵向配置三个、横向配置三个共计九个的动态图像的缩略图。图6(a)表示进行动态图像的缩略图显示的状态，图6(b)表示用户通过触碰而选择左上端的动态图像的情形，图6(c)表示通过触碰而选择正中央上方的动态图像的情形，此后没有图示出来，实际上是选择右上端的动态图像。

如果选择了多个动态图像(图6所示例子中为三个)，则用户接下来触碰显示于显示部8上的再现标记。如果通过触摸面板等检测到用户的再现指示，则相机10开始再现多个动态图像。并且，除了触摸面板之外，还可以通过十字按钮等来移动光标，通过OK按钮进行决定等，也可以适当变更指示方式。

接着，使用图7说明再现一个动态图像的一部分的部分再现。在显示部8上如图7(a)所示选择一个动态图像，接着如图7(b)所示选择再现，则如图7(c)所示，进行用于选择“部分”或“全篇”的显示。全篇是从最初到最后通篇对所选择的动态图像进行再现显示的模式，部分是使用图5所说明的那样从成为大笑契机的场景开始再现所选择的动态图像的模式。

针对用于执行以上使用图3至图7说明的本实施方式的动作的流程，将使用图8至图10所示的流程图进行说明。图8是相机控制的流程。进入相机控制的流程后，首先进行电源是否接通的判定(S101)。在该步骤中，判定作为相机10的操作部件的电源开关是否打开，在电源开关切断的情况下，结束相机控制的流程。并且，即便结束了相机控制的流程，也检测电源开关的状态，当电源开关打开时，从步骤S101起开始动作。

在步骤S101的判定结果为电源接通的情况下，接着进行是否为摄影模式的判定(S102)。在该判定结果为摄影模式的情况下，接着进行实时取景显示(S103)。此时，根据由摄像部2获得的图像数据，在显示部8上对被摄体像进行实时取景显示。用户根据实时取景显示来决定构图，或者决定快门时机，可进行释放动作。

开始实时取景显示后，接下来进行是否开始记录的判定(S104)。此时在操作判定部6中判定是否操作了释放按钮。本实施方式中，如果最初操作了释放按钮，则开始动态图像的记录，如果再次操作释放按钮，则结束动态图像的记录。

在步骤S104的判定结果并非记录开始的情况下，返回步骤S101。另一方面，在判定的结果为记录开始的情况下，进行摄影、收音、记录和计时(S111)。在该步骤中，摄像部2获得图像数据，将通过信号处理和控制部1进行了图像处理的动态图像的图像数据记录于记录部4。另外，声音收录部7获得声音数据，输出到声音分析部1d。另外，通过时钟部9测量从动态图像的记录开始经过的时间。

接着检测脸(表情)，还进行笑声检测(S112)。在该步骤中，通过脸检测部3对使用图2说明的脸的位置和特征、大小和笑容度进行判定。声音分析部1d还使用通过声音收录部7获得的声音数据，检测声音中是否包含笑声、声音是否较大等。

接着记录每个时间的有关脸的信息，还记录每个时间的有关笑声的信息(S113)。此时，在步骤S112中按照各时间将检测到的脸(表情)和笑声的信息记录于记录部4。由此，能够记录图2(a)所示的信息中最下级的候选信息之外的信息。接着，进行是否为画面中央的快拍照片的判定(S114)。这里，是否为快拍照片的判定是对如下进行判定：例如摄影倍率是否为1/50左右，换言之例如在用35mm胶片换算后焦距是50mm的情况下，是否为比50×50＝2500即2.5m左右要近的被摄体，或者是否为从腰部往上的人物像的相片等。另外，在是快拍照片的情况下，还判定由脸检测部3所检测到的脸部分是否处于画面中央。

在步骤S114中的判定结果为是画面中央的快拍照片的情况下，接下来作为主被摄体被候选，并记录该时刻(S115)。这里，将图2(a)所示的信息中最下级的候选信息与计时时间对应起来记录。在进行该记录后，或者在步骤S114中的判定结果是并非画面中央快拍的情况下，接下来判定是否结束记录(S116)。此时，通过操作判定部6判定是否再次操作了释放按钮。在该判定的结果是并未结束记录的情况下，返回步骤S101。

在步骤S116中的判定结果为结束记录的情况下，结束动态图像摄影，在步骤S121以后，进行用于生成结尾用图像的前处理。首先，判定是否具有主被摄体候选(S121)。在此，判定是否存在步骤S115中的主被摄体候选的记录。即，判定是否记录有图2(a)的信息中的在最下级如P-A那样成为候选的特定人物。

如果步骤S121的判定结果为记录着主被摄体候选，则接着在数据库中进行对应文本的判定(S122)，进行是否存在对应文本的判定(S123)。此时，判定在脸DB 4b中是否将候选的特定人物的名字作为文本信息进行了登记。

在步骤S123中的判定结果为存在对应文本的情况下，将该主被摄体的名字与动态图像的图像数据一起作为附加信息进行记录(S124)。一旦记录了主被摄体的名字，或者步骤S123中的判定结果为不存在对应文本的情况下，接着进行全部候选的判定是否已经结束的判定(S125)。在该步骤中，针对图2(a)的最下级所示的全部候选，进行是否进行了步骤S121～S124中的处理的判定。在该判定的结果为没有对全部候选完成判定的情况下，返回步骤S121。另一方面，在对全部候选完成了判定的情况下，返回步骤S101。

在步骤S102的判定结果为并非摄影模式的情况下，接着进行是否为再现模式的判定(S131)。在该步骤中，判定是否通过操作判定部6选择了再现模式。在该判定结果为不是再现模式的情况下，返回步骤S101。

另一方面，在步骤S131的判定结果为再现模式的情况下，进行图像再现(S132)。这里，进行所选择的多个或一个动态图像的再现。在选择了多个动态图像的情况下，依次再现这些动态图像。而当再现一个动态图像的情况下，也能选择使用图5说明的部分再现。后面会使用图9和图10说明该图像再现的详细情况。在图像再现结束后，返回步骤S101。

接着，使用图9和图10说明图像再现的流程。进入该图像再现的流程后，首先进行是否结束的判定(S201)。在该步骤中，通过再次按压再现按钮等的操作，进行用户是否指示了结束再现模式的判定。在该判定的结果为结束的情况下，结束图像再现，返回到原来的流程。

在步骤S201的判定结果为并未结束的情况下，进行缩略图显示(S202)。在该步骤中，针对在所选择的各动态图像中映现有最初作为候选的主被摄体的图像，如图6(a)所示在显示部8上进行缩略图显示。例如在选择了图2所示的图像1的情况下，由于动态图像的摄影开始后经过10秒时P-A作为候选而被记录，因此对该经过10秒时的图像进行缩略图显示。

在进行了缩略图显示后，则接下来进行是否被选择的判定(S203)。这里，进行用户是否触碰了期望再现的动态图像的判定。在该判定的结果为被选择的情况下，进行选择缩略图框的显示(S211)。在该步骤中，如图6(b)、图6(c)、图7(a)所示，以粗线表示所选择的动态图像的框。并且，为表示所选择的情况，除了加粗框线之外，还可以变更为各种显示方法例如改变框线颜色或进行闪烁显示等，这是毋庸质疑的。

在进行了选择缩略图框的显示后，接着进行再现图像顺序的决定(S212)。本实施方式中，由于按照用户触碰的顺序再现动态图像，因此，此时按照所触碰的顺序来决定动态图像的再现顺序。接下来，进行再现图像总时间的判定(S213)。此时，求出所选择的动态图像的各再现时间的总和。进行了再现图像的总时间的判定后，返回步骤S203。

在步骤S203的判定结果为没有被选择的情况下，进行是否结束选择的判定(S221)。即，每当步骤S203中存在选择操作时，都分支到步骤S211，直到选择操作结束为止都将步骤S211分支到步骤S201。当用户进行了动态图像再现的操作等时，从步骤S221分支到步骤S222，进行是否选择了多个动态图像的判定(S223)。判定在步骤S203～S213中是否选择了多个动态图像。在该判定的结果为选择了多个动态图像的情况下，判定在所选择的最初和最后的动态图像中出现的人物(S223)。这里，提取出在所选择的最初动态图像中出现的候选和在最后动态图像中出现的候选。例如在选择了图2所示的图像1时，虽然出现了P-A、P-B、P-X这三个人，然而P-A是作为候选进行登记的，因此提取出该P-A。

接着，进行在步骤S223中被判定的人物是否为主被摄体的判定(S224)。在该步骤中，对在最初的动态图像中被判定为候选的人物与在最后的动态图像中被判定为候选的人物是否一致进行判定。该判定的结果为一致的情况下，将该候选判定为主角(S227)。本实施方式中，将在所选择的最初和最后的动态图像双方都出现的人物作为主角，在结尾处进行显示。

在步骤S224中的判定结果为主被摄体不一致的情况下，或者在步骤S222中判定为没有选择多个动态图像的情况下，接下来判定出场最多的人物(S225)。在多个动态图像中的最初和最后不存在共同的主被摄体的情况下，检索出场时间最长的人物。而且，在只选择了一个的情况下，检索出场时间最长的人物。例如在图5的例子中，相当于人物26、29。

在进行了出场最长时间人物的判定后，接下来进行出场时间最长的人物是否为主被摄体的判定(S226)。本实施方式中，仅将登记于脸DB 4b中的人物作为主被摄体来处理，因此，这里判定在步骤S225中判定出的人物是否被登记在脸DB 4b中。该判定的结果如果是主被摄体，则如上所述在步骤S227中判定为主角。

如果在步骤S227中判定为主角，或者步骤S226中的判定结果为出场时间最长的人物并非主被摄体的情况下，接下来进行是否有主角以外的出场人物的判定(S231)。在该步骤中，判定是否具有在所选择的一个或多个动态图像中出场的人物。在该判定的结果是有出场人物的情况下，进行出场人物的判定(S232)。例如在图2(a)所示的图像1中，由于P-A被判定为主角，因而该出场人物以外的P-B和P-X被判定为出场人物。并且，作为出场人物还可以是登记于脸DB 4b中的人物以外的人物。这种情况下，如果能够通过脸检测部3区分男性、女性和推测年龄等，则能够一并获得这些信息。

在步骤S232中进行了出场人物的判定后，或者步骤S231中的判定结果为除主角之外不存在出场人物的情况下，接下来进行是否为部分再现的判定(S301)。如在上述图7(c)中说明的那样，如果触碰显示部8的“部分”则会执行部分再现，所以在该步骤中进行是否触碰了“部分”的判定。

在步骤S301中的判定结果为没有触碰“部分”的情况下，接着按照顺序再现(S302)。在该步骤中，按照步骤S212中所决定的顺序进行动态图像的再现。并且，在再现时进行全篇再现；除此之外，在各个动态图像较长的情况下，可以生成各自的摘要版，再现该摘要版。这种情况下，可以分割为预定时间，以3秒至5秒左右，节奏良好地显示主角人物的图像，或者判定所摄影的图像的开头图像、结束图像等或者特征性场景，仅对该图像，每隔3秒左右切换显示。信号处理和控制部1根据出现了主角(第一被摄体)人物的图像来判定摘要版用的图像(出现了第二被摄体的图像)，并再现该摘要版的图像。

在按照顺序开始再现之后，接下来进行是否再现到最后的判定(S303)。这里，判定是否再现到了在步骤S212中所决定的再现顺序的最后。在该判定的结果为没有再现到最后的情况下，返回步骤S302，继续动态图像的再现。

在步骤S303中的判定结果为再现到最后的情况下，在步骤S304以后进行结尾的显示。首先进行主角判定(S304)。此时，判定在步骤S227中是否进行了主角判定。在该判定的结果为进行了主角判定的情况下，接着显示主角笑容度最高的图像(S305)。如图2(a)所示，对检测到的出场人物也分别判定笑容度并进行了记录，因此针对判定为主角的出场人物，检索笑容度最高的图像。在图2(a)所示的例子中，主角是P-A，该P-A的笑容度最高的图像是在摄影开始起15秒之后，因此如图4的动态图像34那样显示此时的P-A的图像。

接着，显示主角的名字(S306)。由于在步骤S124中记录了主被摄体的名字，所以在本步骤中根据映出主角的图像来判定主角的名字，如图4的动态图像34那样进行显示。因此，在存在主角的情况下，首先在步骤S305中显示主角的图像，然后在步骤S306中显示主角的名字。并且，当在步骤S232中判定为存在出场人物的情况下，也可以显示这些人物的名字。在不知道出场人物名字的情况下，如果出场人物用“**名”、“一名男性”、“叔叔”、“小孩”等可判定的范围来显示，则画面会变得丰富而能够进行欣赏。

在步骤S304中的判定结果为不存在主角的情况下，显示全部图像共同的日期时间(S307)。如图2(a)所示，在拍摄动态图像时还一并记录日期时间信息，因此，根据该日期时间信息来显示多个动态图像共同的日期时间。如果摄影日相同则显示摄影日，如果摄影日不相同则显示摄影月，如果摄影月不相同则显示摄影年。

如果在步骤S307中显示了全部图像共同的日期时间，或者在步骤S306显示了主角名字，则接下来进行再现时间是否为1分钟以上的判定(S311)。此时，根据步骤S213中求出的再现图像总时间来进行判定。该判定的结果为1分钟以上的情况下，在10秒内结束结尾的显示(S312)，而判定的结果为1分钟以内的情况下，则在3秒内结束结尾的显示(S313)。这是由于：如果再现时间较短而结尾较长，则会成为不协调的再现。本实施方式中，按照再现时间来变更结尾的显示时间。

在步骤S312或S313中结束了结尾的显示后，返回步骤S101(参见图8)。

在步骤S301中的判定结果为部分再现的情况下，接着按照顺序进行文件判定(S321)。此时，以反映出触碰了图6所示的缩略图的顺序、或者与缩略图指定一起指定的顺序的方式进行文件判定。然后，进行指定文件中是否存在笑声的判定(S322)。在进行动态图像的摄影时，通过声音收录部7输入声音数据，在声音分析部1d中判定是否包含笑声和该声音的大小，如图2(a)所示，将判定结果与动态图像一起记录。根据该记录，在该步骤中判定是否包含笑声。

在步骤S322中的判定结果为存在笑声的情况下，接着再现从此前的对话到笑声为止的部分(S323)。在该步骤中，如图5中说明的那样，从成为笑声契机的对话开始再现动态图像。并且，在契机的时间不明确的情况下，再现即将发笑之前的预定时间。

如果进行了步骤S323的再现，则接下来进行是否再现到最后文件的判定(S324)。在该判定的结果是没有再现到最后文件即结束的情况下，返回步骤S321。另一方面，在判定的结果是再现到了最后文件才结束，则跳到上述步骤S304，进行结尾的显示，结束再现。

在步骤S322的判定结果为文件中不存在笑声的情况下，接着进行主角是否出场的判定(S331)。在该步骤中，根据步骤S227中是否进行了主角判定来进行判定。该判定的结果为主角已出场的情况下，再现包含主角且声音较大的部分(S322)。该步骤中，在预定时间的期间内再现主演出场并且声音较大的部分。时间过长则会成为无聊的图像，因此可以不全部再现声音较大的部分。在进行了该再现后，返回步骤S324。

在步骤S331中的判定结果为主角没有出场的情况下，进行人物是否出场的判定(S333)。如上所述，如果在拍摄动态图像时人物已出场，则会与动态图像的图像一起记录，所以根据该记录结果进行判定。在该判定的结果为人物已出场的情况下，再现带笑容的人物较多的期间(S334)。在拍摄动态图像时通过脸检测部3判定笑容度并记录，因此根据该笑容度进行再现。另一方面，在步骤S333中的判定结果为没有人物出场的情况下，以倍速进行再现(S335)。由于没有人物出场，因此属于风景等图像的情况，此时即便通过倍速再现也不会存在不适感。例如在一边追镜一边拍摄雄壮的群山的情况下，无需花费追镜的时间进行再现，即便是倍速也能在不耗费时间的情况下体会到雄壮。

如果进行了步骤S334或步骤S335中的再现，则返回步骤S324，判定是否再现到了最后的文件，在再现到了最后的情况下，在上述步骤S304之后，进行结尾的显示并结束再现。

如上，在本发明的一个实施方式中，在根据多个动态图像生成一个动态图像进行再现时，作为第一判定部发挥作用的信号处理和控制部1在摄影时判定出场人物并记录(S115)，作为第二判定部发挥作用的信号处理和控制部1在再现时将在多个图像中共同出场的人物作为主角(S227)，依次再现显示。另外，决定主角出场的代表图像，在结尾时显示该代表图像(S305)。因此，在再现所摄影的动态图像时能够简单且即时地进行欣赏。尤其在本实施方式中，集合多个在不同时刻拍摄的动态图像，换言之，即便是从缩略图显示中集合多个动态图像进行再现的情况下，也判定在多个摄影动态图像中共同出场的人物，使用该判定结果再现动态图像，因此在再现多个摄影动态图像时能够简单且即时地进行欣赏。另外，由于是不同时刻所摄影的图像，因此再现时会被赋予变化，搜索相同主题(被摄体)来显示，因此能够欣赏到具有统一感的图像再现。

另外，在本发明的一个实施方式中，当选择代表图像时，首先在摄影时判定是否是可能成为代表图像的主被摄体的候选(S114和S115)，在摄影结束后再现开始前，决定主角出场的代表图像(S227)，将其显示于结尾。如上，由于在摄影时和再现时分别进行处理，因此能够在短时间内进行再现。如果集合多个动态图像来完成一个动态图像，则会存在拍摄了主角以外的部分的动态图像，这种情况下，摄影中无法获悉是主角还是配角。本实施方式中，通过在再现时选择多个动态图像再开始，从而从共同出场的人物中决定主角。也就是说，在摄影和再现这两个阶段正确地进行主角的选择。

进而，在本发明的一个实施方式中，参照登记于脸DB 4b中的人物的名字来记录主被摄体的候选(S121～S124)。另外，进行结尾显示时，显示从主被摄体中决定的主角的图像(S305)，并显示主角的名字(S306)。由于显示成为主角的人物的名字，因此更具欣赏效果。

进而，在本发明的一个实施方式中，再现多个动态图像的情况下，在决定主角时，如果是在所选择的最初动态图像和最后动态图像中出场的人物(S223)且是主被摄体(S224)，则将其作为主角(S227)。这是因为：如果在最初和最后出场，则会产生作为主角的情节一贯性，可投入地观赏。而且，在决定主角时，除此之外，还可以采用如下方法：选择在所选择的动态图像中最多地映现在动态图像中的主被摄体等。

进而，在本发明的一个实施方式中，在进行部分再现的情况下，自动选择具有笑声的场景来再现(S322、S323)。具有笑声的场景是气氛热烈的状况，具有再现上的欣赏性。而且，在再现具有笑声的场景时，本实施方式中是从具有成为笑声契机的提问的场景开始再现的，因此可消除唐突感。还可以理解是何种会话引发气氛热烈，能一并提升欣赏性。

而且，在本发明的一个实施方式中，在进行部分再现时，没有笑声的情况下再现声音较大的期间(S332)、带笑容的人物较多的期间(S334)。因此，即便在没有笑声的情况下也能判定重要的热烈场景，欣赏到有效的部分再现。

再有，本发明的一个实施方式中，在结尾的显示时显示主角的图像(S305)。因此，能够在没有唐突感的情况下结束动态图像。另外，此时预先根据脸DB 4B的登记来显示主角名字，能够在朋友圈内再现动态图像时进行欣赏，能明确表示出这是结尾图像。另外，结尾图像由于文字而变得丰富，烘托出图像结束的感觉，观赏者的情绪也被带动。进而通过显示名字，即便在不知晓主角模样仅知道名字的情况下也能理解到该人是怎样的人而具观赏性。这与电影的结尾一样，会成为对出演者的慰劳，并且出演者的动力也得以提升。

进而，在本发明的一个实施方式中，结尾显示的时间可根据动态图像的再现时间来变更(S311～S313)。因此，能够成为与动态图像的再现时间对应的结尾时间。

接下来，使用图11和图12说明步骤S202中的缩略图显示的变形例。在一个实施方式中，对各动态图像中作为主被摄体被候选的图像内最开始的图像进行排列显示。与此相对，本变形例中对在多个动态图像中共同出场的每个人物分别进行缩略图显示。

使用图11说明该变形例的缩略图显示。在该变形例中，动态图像G41、动态图像H42、动态图像J43这三个动态图像记录于记录部4中。人物27、人物26出现于动态图像G41中，人物26出现于动态图像H42中，而人物27、人物26出现于动态图像J43中。

在记录了这种动态图像的情况下，显示部8会交替地显示缩略图显示45和缩略图显示46，缩略图显示45集合了映出人物26的场景，缩略图显示46集合了映出人物27的场景。在本例中，显示部8显示纵横各两个图像总计四个图像。人物27仅出现于三张图像，因此缩略图显示46中对一个图像没有显示。

接着，使用图12所示的流程图说明用于通过缩略图来显示共同出场的人物的动作。进入到缩略图显示的流程后，首先进行将各动态图像的开始图像缩小后排列的显示(S401)。接着，进行显示缩略图动态图像的共同出场人物的检索(S402)。此时，通过脸检测部3进行判定，根据记录于记录部4中的出场人物的脸特征进行检索。在图2(a)所示的例子中，检索到P-A、P-B、P-X这三个人。

在进行共同出场人物的检索后，接着对是否具有共同出场的人物进行判定(S403)。在该判定的结果为有共同出场人物的情况下，接着判定是否经过了预定时间、本变形例为3秒(S404)。在该判定的结果为没有经过预定时间的情况下，进行是否结束了缩略图显示的判定(S421)。在显示中为了结束显示模式而由用户操作了操作部件的情况下，返回原来的流程。在判定结果不是结束的情况下，返回步骤S404。

当步骤S404中的判定结果是经过了预定时间时，接着使共同出场最多的人成为代表图像进行缩略图显示(S405)。此时如图11所示的缩略图显示45那样，对映出出场最多的人物26的图像进行缩略图显示。另外，当显示为代表图像时，使用选作候选的最初图像。接着，使没有出场的帧变暗(S406)。因为也有时在全部图像中都没有出场，所以用黑色或预定颜色填涂相当于没有出场的图像的缩略图等，从而表示出没有在此处出现的信息。

接下来，对是否经过了预定时间、本变形例中为3秒时间进行判定(S411)。在该判定结果为没有经过预定时间的情况下，与步骤S421相同，进行是否结束的判定(S422)。该判定的结果为没有结束的情况下返回步骤S411；另一方面，在结束的情况下返回到原来的流程。

在步骤S411的判定结果为经过了预定时间的情况下，接着将共同出场次多的人作为代表图像进行缩略图显示(S412)。此时，如图11所示的缩略图显示46那样，对映出出场次多的人物27的图像进行缩略图显示。接着，使没有出场的帧变暗(S413)。与步骤S406相同，当出场人物的图像数量不足缩略图显示的帧数量时，使不足部分的帧变暗。在图11所示的缩略图显示46中，由于只有三个帧，因而右上方的帧变暗。

接下来，对是否经过了预定时间、本变形例为3秒钟进行判定(S414)。在该判定的结果为没有经过预定时间的情况下，与步骤S421相同，进行是否结束的判定(S423)。在该判定的结果为没有结束的情况下返回步骤S414；另一方面，在结束的情况下返回到原来的流程。

在步骤S414中的判定结果为经过了预定时间的情况下，返回步骤S401。

如上，本变形例的缩略图显示是在中心对共同出场的人物进行缩略图显示。因此，在进行再现时易于从多个动态图像之中进行选择。另外，在本变形例中，在进行缩略图显示时，将出场人物作为代表图像来显示。由于将被选作候选的图像作为代表图像进行缩略图显示，因此选择出位于中央、某种程度上较大地映出的图像，因此在选择再现显示时易于观看。

并且，举例示出的图11的缩略图显示45、46中，共同出场的人物为两人，然而不限于此，当然也可以是三个人以上。这种情况下，在图12所示的流程图中，对应于第三个人以后的人，可以增加步骤S404～S406。

如上所述，在本发明的一个实施方式和变形例中，在确定了在动态图像中出场的人物，进行动态图像的缩略图显示时，按照作为人物确定部发挥作用的信号处理和控制部1对人物的确定结果，将包含所确定的人物在内的图像作为代表图像进行显示。因此，能够简便且即时地欣赏动态图像。即，在进行缩略图显示时，若仅显示开头图像的话，则有时不会映出作为动态图像主题的人物，而本实施方式中将所确定的人物作为代表图像进行显示，因而能简单地选择动态图像，即时欣赏到动态图像。另外，在本发明的一个实施方式和变形例中，作为出场人物判定部发挥作用的信号处理和控制部1进行摄影时出现于动态图像的人物的人物判定，在作为共同人物判定部发挥作用的信号处理和控制部1再现多个动态图像的情况下，判定共同出场的人物，由代表图像决定部1b决定动态图像的代表图像。因此，能够立即由多个动态图像生成一个动态图像，而能够进行欣赏。

并且，在本发明的一个实施方式和变形例中，再现时选择缩略图后再现动态图像，然而不限于此，能够省略基于缩略图的选择。例如可以在集合了多个映出相同出场人物的动态图像的时刻，进行以相同出场人物贯穿始终的摘要再现。这种情况下，在再现模式画面上设置摘要再现按钮，对其进行操作时，则能够以包含在最新摄影图像中的出场人物进行统一性的动态图像编辑。当存在显现该出场人物紧前面所摄影的动态图像时，可以仅收集此人出场的场景，集合若干个动态图像生成新动态图像来进行再现。还可以采取这样的欣赏方式：显示图3所示的脸DB 4b的A小孩～C小孩，通过选择哪个脸来切换自动编辑动态图像。还可以不选择脸，为了制作出以出现于最后摄影的动态图像中的人物作为主人公的图像，利用最后图像的出场人物，对其他动态图像进行检索，集合若干动态图像生成新动态图像来进行再现。

摄影装置兼作为再现装置，也可以另外设置再现装置，通过再现装置再现由摄影装置摄影的动态图像。作为再现装置，既可以是再现专用设备，当然也可以通过个人计算机进行再现。还可以由再现装置兼用作摄影装置。这种情况下，在再现动态图像时，在再现装置侧自动选择代表图像等，因而会显示出预料不到的图像而能够进行欣赏。

另外，在本发明的一个实施方式和变形例中，在说明上，从主被摄体中选择代表图像，然而也可以将主被摄体本身作为代表图像进行显示。进而，在本发明的一个实施方式和变形例中，在结尾显示主角和主角的名字，但是也可以在结尾之外、例如动态图像开头部分显示。如果在开头显示，则能够提高想要观看自此开始的动态图像的情绪。还能够唤起若某人出场就要观看这样的情绪。此外，会出现一种开始某种情况的感觉，使人具有一种交织着预测与期待的心情。

进而，在本发明的一个实施方式和变形例中，仅在选择一个动态图像时进行部分再现，然而不限于此，当然，即便在选择多个动态图像的情况下也可以在各动态图像中进行部分再现。

再有，在本发明的一个实施方式和变形例中，作为用于摄影的设备，使用数字相机进行了说明，而作为相机既可以是数字单反相机，也可以是便携数字相机，还可以是摄像机、影像相机那样的动态图像用的相机，也可以是内置于移动电话和移动信息终端(PDA：Personal Digital Assist，个人数字助理)、游戏设备等中的相机。

本发明不仅限于上述实施方式，能够在实施阶段在不脱离其主旨的范围内对构成要素进行变形并使其具体化。另外，通过对上述实施方式中公开的多个构成要素进行适当组合，可形成各种发明。例如可以删除实施方式所示的全部构成要素中的几个构成要素。还可以适当组合不同实施方式中的构成要素。

Claims (7)

1.一种具有摄影模式和再现模式的摄影装置，该摄影装置具有： 

记录部，其在以上述摄影模式进行摄影时记录摄影动态图像； 

第一判定部，其在以上述摄影模式进行摄影时，根据上述摄影动态图像中出现的脸图像的大小和位置，判定在上述摄影动态图像中出现的主被摄体，将判定结果记录到上述记录部中； 

第二判定部，其在进行上述再现模式的再现并且集合一系列上述摄影动态图像进行再现时，根据各个摄影动态图像中的主被摄体，通过对比判定在多个摄影动态图像中共同出场的人物；以及 

再现部，其使用上述第二判定部的判定结果，提取上述多个动态图像的一部分依次再现。 

2.一种摄影装置，该摄影装置具有： 

摄影部，其对图像进行摄影； 

动态图像记录部，其将由上述摄影部连续取得的图像记录为动态图像； 

脸检测部，其根据由上述摄影部得到的脸图像，在上述摄影的动作中，根据所述脸图像的大小和位置，确定在记录于上述动态图像记录部的一系列动态图像中出场的主被摄体的脸部分；以及 

显示控制部，其在对所记录的上述一系列动态图像进行缩略显示时，按照上述主被摄体的脸部分的确定结果，判定在所显示的多个动态图像中共同出场的人物，将包含所判定的共同出场人物的图像作为代表图像进行显示。 

3.一种显示装置，该显示装置具有： 

出场人物判定部，其根据一系列动态图像中出现的脸图像的大小和位置，判定在各个动态图像中出现的主被摄体； 

图像显示部，其用于排列显示多个图像； 

共同人物判定部，其根据上述出场人物判定部判定的各一系列动态图像中的各个主被摄体，通过对比判定在显示于上述图像显示部上的多个图像中共同出场的人物；以及 

代表图像决定部，其按照上述共同人物判定部的判定结果，决定上述一系列动态图像的代表图像。 

4.一种再现装置，该再现装置具有： 

第一主被摄体判定部，其根据一系列动态图像中出现的脸图像的大小和位置判定各动态图像中所包含的主被摄体； 

第二主被摄体判定部，其根据上述一系列动态图像中所包含的第一主被摄体组的图像通过对比判定第二主被摄体；以及 

摘要再现部，其优先再现上述第二主被摄体出场的部分。 

5.一种摄像装置，该摄像装置具有： 

摄像部，其输出动态图像的图像数据； 

脸检测部，其根据上述图像数据，判定图像中是否包含脸； 

脸数据库，其存储有用于识别脸的识别用数据，以及与上述识别用数据关联地登记人物的姓名； 

代表图像决定部，其根据上述脸检测部的判定结果与存储于上述脸数据库中的识别用数据，通过对比判定上述图像数据中的脸是否与识别用数据一致，在一致的情况下决定为代表图像；以及 

显示部，其显示由上述代表图像决定部所决定的代表图像以及上述人物的姓名。 

6.一种摄影方法，该摄影方法具有如下步骤： 

对图像进行摄影； 

将连续取得的图像记录为动态图像； 

在摄影动作中，根据上述动态图像中的脸图像的大小和位置，确定在所记录的一系列动态图像中出场的主被摄体的脸部分；以及 

当对所记录的一系列动态图像进行缩略显示时，按照上述主被摄体的脸部分的确定结果，判定在所显示的多个动态图像中共同出场的人物，将包含所判定的共同出场人物的图像作为代表图像进行显示。 

7.一种显示方法，该显示方法具有如下步骤： 

根据一系列动态图像中出现的脸图像的大小和位置，判定在各个动态图像中出现的主被摄体； 

根据各一系列动态图像中的各个主被摄体，通过对比判定在所显示的多个动态图像中共同出场的人物；以及 

按照上述出场的人物的判定结果，决定上述多个动态图像的代表图像。 

Images