CN101287056A - 图像再现装置、图像再现程序、记录介质、图像再现方法 - Google Patents

Abstract

本发明提供一种能够容易地掌握整体图像的人物和面部图像的人物之间的对应的图像再现装置。图像再现装置(1)具备：整体图像制作部(16c)，其由图像制作显示用的整体图像；面部信息提取部(21)，其提取图像中的多个面部部分的信息；面部图像制作部(16b)，其根据面部部分的信息，制作比整体图像中的面部部分放大了的显示用的面部图像；合成图像制作部(16a)，其将整体图像和多个面部图像组合，制作一个合成图像，合成图像制作部(16a)将多个面部图像彼此的相对位置决定成与整体图像中的各面部部分彼此的相对位置对应，且以面部图像不会覆盖该整体图像中的面部部分的方式制作合成图像。

Description

图像再现装置、图像再现程序、记录介质、图像再现方法

技术领域

本发明涉及能够同时显示整体图像和将面部部分放大后的面部图像的图像再现装置、图像再现程序、记录介质、图像再现方法。

背景技术

近年来，在例如数字照相机或监视摄像机系统等中，检测图像中的面部部分的面部检测技术受到关注。并且，还提出了各种在再现图像时利用通过面部检测技术检测到的面部部分的提案。

作为这种技术的一个例子，在日本特开2004-193933号公报中记载了如下的图像放大显示方法：利用面部检测技术从摄影图像中检测面部区域，在再现电子影集时，优选放大显示检测到的面部部分。

并且，在日本特开2005-354333号公报中记载了一种图像再现装置，该图像再现装置在进行幻灯片放映(slide show)时，图像内的面部自动拉近显示。由此，为了防止在直接以幻灯片放映来显示图像时引起的单调的显示，不会使观看者感到厌烦，而进行了努力研究。此外，在该公报的图9和0069段落等中记载了如下技术：从整体图像中提取面部图像，将提取出的面部图像重叠在整体图像上的提取出该面部的位置上，进行幻灯片放映显示。从而，受关注的人物的面部在该面部所位于的位置(即重叠在整体图像中的面部部分)上被放大显示。

此外，还提出了同时拍摄广角图像和远角图像的技术和显示的技术。作为这类技术，例如在日本特开2004-15517号公报中记载了一种影像集中显示装置，该影像集中显示装置针对同一被摄体，将监视区域整体的缩小图像和关注部分的放大图像同时显示到监视画面上。

专利文献1：日本特开2004-193933号公报

专利文献2：日本特开2005-354333号公报

专利文献3：日本特开2004-15517号公报

如上所述，提出了各种利用面部检测技术来识别摄影图像的面部部分并放大显示面部部分的显示装置，但若在已提出的显示装置的基础上，还提供发展了被摄体的面部图像显示的再现方法，则能够改善容易变单调的图像显示，能够利用静态图像再现的机会当然也将会增多。

并且，作为显示面部图像时的一个课题之一，可以举出如下问题：当整体图像是拍摄了多个人物的图像时，即使同时显示多个面部图像，仍不能简单地将面部图像与整体图像中的人物之间对应起来的情况较多。

此外，在进行团体比赛的运动等的摄影场景中，若不对面部图像进行某些处理就进行显示，则不能容易地掌握面部图像的人物属于对抗的多个组中的哪一组。

发明内容

本发明是鉴于上述情况而进行的，其目的在于，提供一种能够容易地掌握整体图像的人物与面部图像的人物之间的对应的图像再现装置、图像再现程序、记录介质、图像再现方法。

并且，本发明的目的在于，提供一种图像再现装置，该图像再现装置能够容易地掌握面部图像的人物属于整体图像中的多个组的哪一组。

为了达到上述目的，第一方面的图像再现装置，其具备：面部信息提取部，其提取图像中的多个面部部分的信息；面部图像制作部，其根据所提取的多个面部部分的信息，由上述图像来制作与上述图像中的该面部部分相比放大了的多个面部图像；以及合成图像制作部，其将表示上述图像整体的整体图像和上述多个面部图像组合来制作合成图像，上述合成图像制作部将上述多个面部图像彼此的相对位置决定成与上述整体图像中的各面部部分彼此的相对位置对应，且以该面部图像不会覆盖该整体图像中的面部部分的方式来制作上述合成图像。

并且，第二发明的图像再现装置，在上述第一发明的图像再现装置中，上述合成图像制作部以使显示上述多个面部图像的区域和显示上述整体图像的区域为不同区域的方式来制作合成图像。

而且，第三发明的图像再现装置，在上述第一发明的图像再现装置中，所述图像再现装置还具备用于输入放大率的操作部，上述面部图像制作部以使面部图像相对于上述整体图像中的面部部分的放大率与所输入的放大率对应的方式来制作面部图像。

第四发明的图像再现装置，在上述第一发明的图像再现装置中，上述合成图像制作部附加明示上述面部图像与上述整体面部图像中的哪个面部部分对应的信息来制作合成图像。

第五发明的图像再现装置，在上述第一发明的图像再现装置中，所述图像再现装置还具有判断上述各面部部分的摄影距离的距离判断部，上述面部图像制作部以使面部图像的显示尺寸成为与对应于该面部图像的面部部分的摄影距离对应的尺寸的方式来制作面部图像。

第六发明的图像再现装置，在上述第五发明的图像再现装置中，上述面部图像制作部以当上述摄影距离相对较近时显示尺寸相对较大、当该摄影距离相对较远时显示尺寸相对较小的方式来制作面部图像。

第七发明的图像再现装置，在上述第一发明的图像再现装置中，所述图像再现装置还具有用于进行将面部图像设为不显示的输入操作的操作部，上述合成图像制作部从制作合成图像时的对象中除去被进行了不显示的输入操作的面部图像，来制作合成图像。

第八发明的图像再现装置，在上述第一发明的图像再现装置中，上述合成图像制作部将上述面部图像旋转为与上述整体图像中的面部部分不同的斜度，然后制作合成图像。

第九发明的图像再现装置，在上述第八发明的图像再现装置中，上述面部信息提取部还提取上述图像中的面部部分的斜度作为面部部分的信息，上述合成图像制作部根据所提取的面部部分的斜度使上述面部图像旋转以使该面部部分正立，然后制作合成图像。

第十发明的图像再现装置，在上述第一发明的图像再现装置中，上述面部图像制作部制作被旋转成与上述整体图像中的面部部分不同的斜度的面部图像。

第十一发明的图像再现装置，其具有：面部信息提取部，其提取图像中的多个面部部分的信息；面部图像制作部，其根据所提取的多个面部部分的信息，由上述图像来制作与上述图像中的该面部部分相比放大了的多个面部图像；颜色判断部，其判断位于上述面部部分附近的区域的颜色；以及合成图像制作部，其根据判断出的颜色将上述多个面部图像分类成组，将被分类的每组中所汇总的上述多个面部图像和表示上述图像整体的整体图像组合，来制作一个合成图像，上述合成图像制作部以使上述面部图像不覆盖上述整体图像中的面部部分的方式来制作上述合成图像。

第十二发明的图像再现装置，在上述第十一发明的图像再现装置中，上述合成图像制作部附加明示上述面部图像与上述整体图像中的哪个面部部分对应的信息来制作合成图像。

第十三发明的图像再现程序使计算机执行如下步骤：提取图像中的多个面部部分的信息的步骤；判断上述各面部部分的摄影距离的步骤；根据所提取的多个面部部分的信息，由上述图像来制作与上述图像中的该面部部分相比放大了的多个面部图像，使得面部图像的显示尺寸成为与对应于该面部图像的面部部分的摄影距离对应的尺寸的步骤；以及将上述多个面部图像彼此的相对位置决定成与表示上述图像整体的整体图像中的各面部部分彼此的相对位置对应，且以该面部图像不覆盖整体图像中的面部部分的方式将上述整体图像和上述多个面部图像组合来制作一个合成图像的步骤。

第十四发明的记录介质可由计算机读取，且记录用于使计算机执行如下步骤的图像再现程序：提取图像中的多个面部部分的信息的步骤；判断上述各面部部分的摄影距离的步骤；根据所提取的多个面部部分的信息，由上述图像来制作与上述图像中的该面部部分相比放大了的多个面部图像，使得面部图像的显示尺寸成为与对应于该面部图像的面部部分的摄影距离对应的尺寸的步骤；以及将上述多个面部图像彼此的相对位置决定成与表示上述图像整体的整体图像中的各面部部分彼此的相对位置对应，且以该面部图像不覆盖整体图像中的面部部分的方式将上述整体图像和上述多个面部图像组合来制作一个合成图像的步骤。

第十五发明的图像再现方法包括如下步骤：提取图像中的多个面部部分的信息的步骤；判断上述各面部部分的摄影距离的步骤；根据所提取的多个面部部分的信息，由上述图像来制作与上述图像中的该面部部分相比放大了的多个面部图像，使得面部图像的显示尺寸成为与对应于该面部图像的面部部分的摄影距离对应的尺寸的步骤；以及将上述多个面部图像彼此的相对位置决定成与表示上述图像整体的整体图像中的各面部部分彼此的相对位置对应，且以该面部图像不覆盖整体图像中的面部部分的方式将上述整体图像和上述多个面部图像组合来制作一个合成图像的步骤。

根据本发明的图像再现装置、图像再现程序、记录介质、图像再现方法，可以容易掌握整体图像的人物和面部图像的人物之间的对应。

并且，根据本发明的图像再现装置，可以容易地掌握面部图像的人物属于整体图像中的多个组的哪一组。

附图说明

图1是示出本发明的实施方式1中的图像再现装置的结构的框图。

图2是示出在上述实施方式1中、左右分割显示中的整体图像和多个面部图像的显示例的图。

图3是示出在上述实施方式1中、将特定的面部图像相对地放大显示的例子的图。

图4是示出在上述实施方式1中、将特定的面部图像相对地缩小显示的例子的图。

图5是示出在上述实施方式1中、重叠显示中的整体图像和多个面部图像的显示例的图。

图6是示出在上述实施方式1中、显示不需要的面部图像的情况的图。

图7是示出在上述实施方式1中、不显示不需要的面部图像后的情况的图。

图8是示出在上述实施方式1中、进行了第1远近强调的重叠显示的例子的图。

图9是示出在上述实施方式1中、进行了第2远近强调的重叠显示的例子的图。

图10是示出在上述实施方式1中、中心分割显示中的整体图像和多个面部图像的显示例的图。

图11是示出在上述实施方式1中、对面部图像进行斜度校正之前的例子的图。

图12是示出在上述实施方式1中、对面部图像进行斜度校正之后的例子的图。

图13是示出在上述实施方式1中、上下分割显示中的整体图像和多个面部图像的显示例的图。

图14是示出在上述实施方式1中、根据进行了颜色判断的结果来对面部图像进行组显示的例子的图。

图15是示出在上述实施方式1中、对某个人物显示面部光标和人物光标时的情况的图。

图16是示出在上述实施方式1中、对其他人物显示面部光标和人物光标时的情况的图。

图17是示出上述实施方式1中的图像再现装置的处理流程的流程图。

图18是示出在上述实施方式1中、与图17的步骤S17中的显示模式对应的显示处理的流程图。

图19是示出在上述实施方式1中、图17的步骤S18中的放大缩小处理的流程图。

图20是示出在上述实施方式1中、图17的步骤S19中的部分不显示处理的流程图。

图21是示出在上述实施方式1中、图17的步骤S20中的远近强调显示处理的流程图。

图22是示出在上述实施方式1中、图17的步骤S21中的斜度校正处理的流程图。

图23是示出在上述实施方式1中、图17的步骤S22中的利用颜色进行区分的处理的流程图。

标号说明

11图像再现装置；11CPU；11a再现控制部；12ROM；13RAM；14读出部；15图像存储部；16显示图像制作部；16a合成图像制作部；16b面部图像制作部；16c整体图像制作部；17显示处理部；18显示部；18a显示画面；19操作部；21面部信息提取部；22距离判断部；23颜色判断部。

具体实施方式

下面参照附图说明本发明的实施方式。

[实施方式1]

图1～图23示出本发明的第一实施方式，图1是示出图像再现装置的结构的框图。

该图像再现装置1构成为具有CPU 11、ROM 12、RAM 13、读出部14、图像存储部15、显示图像制作部16、显示处理部17、显示部18、操作部19、面部信息提取部21、距离判断部22、以及颜色判断部23。

其中，CPU 11、ROM 12、RAM 13、读出部14、图像存储部15、显示图像制作部16、显示处理部17、面部信息提取部21、距离判断部22、以及颜色判断部23经由总线可相互通信地连接。并且，显示处理部17连接到显示部18上。操作部19连接到CPU 11上。

CPU 11是统一控制该图像再现装置1的控制部，CPU 11具有用于进行与图像再现相关的控制的再现控制部11a。

ROM 12是非易失性存储器，其保存了由CPU 11执行的控制程序和在该图像再现装置1内使用的各种数据等。

RAM 13是CPU 11作业中使用的易失性存储器，用于存储图像数据等。

图像存储部15构成为例如闪存等非易失性记录介质，记录有多个图像。

读出部14读出在图像存储部15中存储的例如压缩状态的图像数据，在实施解压缩处理之后，传送并写入到RAM 13等中。

显示图像制作部16构成为具备合成图像制作部16a、面部图像制作部16b、以及整体图像制作部16c。面部图像制作部16b根据由面部信息提取部21以后述方式提取的面部部分的信息，从自图像存储部15读出并被展开于RAM 13中的图像中提取面部部分，调整成适合于在显示部18内以适当尺寸进行部分显示的尺寸，制作面部图像。整体图像制作部16c将在上述RAM 13中展开的图像(例如1000万像素的图像)的大致整体(在此说是“大致整体”是因为，在摄影图像和显示图像之间的长宽比不同时等，摄影图像的一部分有时不能显示到显示图像上。)转换为用于显示到显示部18上的整体图像(例如23万像素的图像)。合成图像制作部16a将由整体图像制作部16c制作的整体图像和由面部图像制作部16b制作的面部图像组合，制作作为合成图像的1个显示用的图像。显示图像制作部16进行如下处理：将由合成图像制作部16a制作的显示用的图像再次写入到RAM 13中。上述说明中，在合成图像制作部16a进行合成前，将整体图像和面部图像的尺寸调整成显示用尺寸，但不限于此，也可以对合成处理后的合成图像实施显示用的尺寸调整(resize)处理。

显示处理部17读出由显示图像制作部16制作并存储于RAM 13中的显示用的图像数据，将该图像数据转换成用于输出到显示部18的信号，将转换后的信号输出到显示部18。

显示部18根据从显示处理部17输入的信号来显示图像，显示部18例如构成为包括LCD或CRT、或有机EL等。

操作部19包括用于进行与该图像再现装置1相关的各种操作的操作开关、操作按钮、电压开关等。该操作部19还包括用于设定是否进行面部图像显示的按钮、用于放大/缩小面部图像的按钮、用于移动后述的光标(面部光标、人物光标等)的按钮、用于设定与面部图像显示相关的显示模式的按钮、用于将不需要的面部图像设为不显示的按钮、用于指示远近强调的按钮、用于指示斜度校正的按钮、以及用于指示利用颜色进行区分的按钮等。

面部信息提取部21判断存储于图像存储部15中的图像文件的文件头部中是否存在通过面部检测得到的面部部分的信息，在存在信息的情况下，进行读出(提取)该面部部分的信息的处理。在此，面部部分的信息包括图像中的面部部分的位置和尺寸的信息。并且，在文件头部中不存在面部部分的信息的情况下，面部信息提取部21对从图像存储部15读出并在RAM 13中展开的图像进行分析，判断是否存在面部部分，在判断为存在面部部分的情况下，检测(提取)该面部部分的尺寸和位置，作为面部部分的信息。另外，此处设定为在文件头部中记录有面部部分的信息的情况下使用该信息，仅在没有记录有面部部分的信息的情况下进行面部检测，取得面部部分的信息；当然也可以设定成无论文件头部中是否记录有面部部分的信息，都必须进行面部检测。并且，该面部信息提取部21还起到斜度判断部的作用，其根据面部部分的左右眼和鼻子的位置关系来判断面部的斜度。

距离判断部22用于判断通过数字照相机等摄像装置拍摄到多个人物时的、该摄像装置到多个人物的距离关系(在此，所谓“距离关系”包括仅表示远近的情况)。该距离判断部22所使用的技术有很多种，举出如下2个例子：一种方法是分析图像来判断距离；另一种方法是在拍摄时预先检测距离信息并存储，读出该距离信息，以判断距离。对于第一种方法，更详细地说，是在存在检测到面部的人物彼此重叠的部分的情况下，掌握该重叠的前后关系，从而对多个人的远近关系赋予顺序。第二种方法如上所述，是以通过数字照相机等摄像装置记录距离信息为前提。即，在画面中央以外的位置上也可以进行对焦的所谓多点AF照相机中，在摄影准备动作中，首先检测画面中的各面部部分。并且，对检测到的各面部部分的位置进行对焦检测(对比度AF)，从而检测到各面部部分的摄影距离。而且，之后对图像进行实际摄影，在将实际拍摄的图像作为文件写入到记录介质中时，将检测出的面部部分的位置、尺寸以及摄影距离写入到文件头部中。此外，当在图像再现装置1中再现图像时，距离判断部22从文件头部读出面部部分的位置和尺寸、摄影距离，根据它们中的摄影距离来判断各人物的距离关系。

颜色判断部23判断图像中包含的被检测到面部的人物的、位于面部部分附近的区域的颜色，例如衣服的颜色或帽子的颜色等。

接着，图2是表示左右分割显示中的整体图像和多个面部图像的显示例。

左右分割显示是该图像再现装置1被设定为左右分割模式时进行的显示。当显示部18的显示画面18a例如为横长时，左右分割显示是指如下的显示方法：将该显示画面18a左右分割，在分割出的一方、例如左侧一半上显示整体图像a，在分割出的另一方、例如右侧一半上显示面部图像b1～b6。在该显示方法中，整体图像a中的人物的面部和面部图像b1～b6不重叠。

在该图2所示的例子中，在整体图像a上显示6位人物P1～P6，是这些人物P1～P6正在进行团体操(所谓的人体金字塔)的图像。并且，人物P1位于最上层，人物P2位于中层左侧，人物P3位于中层右侧，人物P4位于下层左侧，人物P5位于下层中央，人物P6位于下层右侧。

另一方面，在显示画面18a的右半部分上显示人物P1的面部图像b1、人物P2的面部图像b2、人物P3的面部图像b3、人物P4的面部图像b4、人物P5的面部图像b5、人物P6的面部图像b6。而且，这些面部图像b1～b6分别配置成与整体图像a中的各人物的面部配置为大致相同的配置(即，多个面部图像b1～b6彼此的相对位置与整体图像a中的各人物P1～P6的面部部分彼此的相对位置对应)来进行显示。在此，为了使“多个面部图像彼此的相对位置与整体图像中的多个面部部分彼此的相对位置对应”，优选某个面部部分和其他面部部分之间的左右方向以及上下方向的位置关系在各对应的面部图像彼此中不反转。即，面部图像b1显示于最上层，面部图像b2显示于中层左侧，面部图像b3显示于中层右侧，面部图像b4显示于下层左侧，面部图像b5显示于下层中央，面部图像b6显示于下层右侧。另外，在该例子中显示成面部图像彼此不重叠。

通过采用这种显示方法，能够一眼判断出面部被作为面部图像而拉近显示的人物位于整体图像中的哪个位置。并且，整体图像的显示区域和面部图像的显示区域分开，所以可以容易地识别面部图像。

接着，图3是示出将特定的面部图像相对地放大显示的例子的图。

面部图像上能够显示例如由粗框或色框(红色框等)或高亮度显示等构成的光标c。该光标c可以移动到多个面部图像b1～b6中的任何一个上。并且，该图3中光标c位于面部图像b5。此时，通过对操作部19的按钮进行操作，能够放大或缩小面部图像b5的位置的图像，而不变更显示尺寸。在该图3中示出进行了放大操作、显示与图2所示的图像相比放大了的面部图像b5的例子。该放大的面部图像b5是由面部图像制作部16b根据接收到来自操作部19的放大操作的再现控制部11a的控制而制作的。

同样地，图4是示出将特定的面部图像相对地缩小显示的例子的图。

在该图4所示的例子中，通过操作部19进行缩小操作，光标c的位置的面部图像b5被相对地缩小显示。

由于可进行这样的处理，从而可以应对想观看面部周围的情况或想进一步拉近面部来进行观看的情况。由此，可以观察周围的状况或面部的表情等。

另外，上述说明了将光标c对准到特定的面部图像上，仅放大或缩小该光标位置的图像的例子，但也可以指定全部面部图像、同时放大/缩小这些所有的面部图像。并且，在放大显示整体图像、或在已经进行放大显示的情况下，也可以进行相对地缩小显示。此外，还可以使整体图像和面部图像的放大缩小连动。

接着，图5是示出重叠显示中的整体图像和多个面部图像的显示例的图。

重叠显示是该图像再现装置1被设定为重叠显示模式时进行的显示。重叠显示是如下的显示方法：在显示部18的显示画面18a上显示整体图像a，并且在该整体图像a上重叠显示面部图像(该图5所示的例子中为面部图像b11～b13)。

该图5所示的例子中，在整体图像a上显示了被检测到面部的3位人物P11～P13，是这些人物P11～P13正在进行田径比赛(relay)的图像。并且，人物P11位于画面上的左侧，人物P12位于画面上的中间，人物P13位于画面上的右侧。

从这些人物的面部位置附近弹出作为明示面部图像与整体图像中的哪一个面部部分对应的信息的弹出框，在从人物P11弹出的弹出框内显示人物P11的面部图像b11，在从人物P12弹出的弹出框内显示人物P12的面部图像b12，在从人物P13弹出的弹出框内显示人物P13的面部图像b13。此时，各弹出框的配置与各人物的面部的配置大致相同，且配置成不会与各人物的面部重叠。并且，在该图5所示的例子中也显示成面部图像彼此不重叠。

通过采用这种使用弹出框的显示方法，能够一眼明确地判断出面部被作为面部图像而拉近显示的人物位于整体图像中的哪个位置。

接着，参照图6和图7说明将不需要的面部图像设为不显示的例子。在此，图6是示出显示不需要的面部图像的情况的图，图7是示出不显示不需要的面部图像后的情况的图。

图6和图7所示的图像的摄影场景与图5相同。即，该场景是在进行田径比赛的主要人物P11～P13的背景上拍摄了很多位观众的场景。此时，面部检测是自动进行的处理，所以也对主要人物P11～P13之外的观众即P14进行面部检测。该情况下，若进行自动显示面部图像的处理，则如图6所示，从人物P14的面部附近弹出弹出框，在该弹出框内显示人物P14的面部图像b14。相对于此，在只想显示主要人物P11～P13的面部图像b11～b13的情况下，将未图示的光标等对准到面部图像b14之后，对操作部19的按钮进行操作，从而能够将该面部图像b14设为不显示，图7中示出此时的情况。

另外，这种面部图像的不显示在如图2所示的左右分割显示中也可以同样地进行。

这样，由于能够将不需要的面部图像设为不显示，所以能够仅将想要观看的面部作为面部图像来观看。

接着，图8是示出进行了第1远近强调的重叠显示的例子的图。

该图8所示的图像的摄影场景也与上述的图5相同。而且，在该图8所示的例子中进行了面部图像彼此的远近强调。即，距离判断部22判断出人物P11的位置最靠前(从照相机观看距离近)，然后是人物P13，人物P12的位置最远。合成图像制作部16a根据来自该距离判断部22的信息，将面部图像彼此的边缘部重叠显示，从而由该重叠的前后关系来强调面部图像彼此的远近关系。即，合成图像制作部16a将面部图像b11重叠在面部图像b12的左侧靠前方，将面部图像b13重叠在面部图像b12的右侧靠前方，以这种方式将面部图像重叠在整体图像上。另外，在该远近强调中，为了更加容易地取得面部图像与人物之间的对应，没有显示弹出部分，当然显示也无防。

通过进行这样的显示，即使在显示面积较少的情况下，也能够较大地显示面部图像，并且容易了解面部图像彼此的远近关系，所以可以更加容易地掌握例如正在进行田径比赛的人物P11～P13的顺序。

接着，图9是示出进行了第2远近强调的重叠显示的例子的图。

该图9所示的图像的摄影场景也与上述的图5相同。而且，在该图9所示的例子中，采用与图8所示的方式不同的方式进行面部图像彼此的远近强调。即，面部图像制作部16b根据来自上述的距离判断部22的信息制作各面部图像，使面部图像b11的显示尺寸最大、面部图像b13的显示尺寸中等、面部图像b12的显示尺寸最小。而且，合成图像制作部16a将这些面部图像b11～b13以面部图像彼此不重叠且与各人物P11～P13的面部的配置为大致相同的配置的方式重叠在整体图像a上。

通过进行这样的显示，能够容易地掌握面部图像彼此的远近关系。而且，能够使显示张持有度。

另外，在该第2远近强调中也没有显示弹出部分，当然显示也无防。并且，在此，在摄影距离相对较近时，面部图像的显示尺寸相对较大，在摄影距离相对较远时，面部图像的显示尺寸相对较小，但不限于此。例如，当由于摄影距离远而导致面部图像的显示尺寸过小时，失去了作为面部图像来显示的意义，所以可以考虑对显示尺寸设置下限等适当进行对应。

接着，图10是示出中心分割显示中的整体图像和多个面部图像的显示例的图。

中心分割显示是该图像再现装置1被设定为中心分割显示模式时进行的显示。

在该中心分割显示中，在显示画面18a的中央显示整体图像a，以包围该整体图像a的方式显示面部图像b21～b28。此时的各面部图像b21～b28也配置成与整体图像a中的各对应人物的配置大致相同。这样的显示适合于人物围成环的方式分布的图像。因此，作为适用场景的例子，可以举出人坐在桌子周围吃饭的场景或开会的场景等。

接着，参照图11和图12说明进行面部图像的斜度校正的例子。在此，图11是示出对面部图像进行斜度校正之前的例子的图，图12是示出对面部图像进行斜度校正之后的例子的图。

图11和图12所示的图像的摄影场景是3位人物P31～P33进行倒立的场景。

当对这种图像进行面部检测并自动显示面部时，如图11所示，由于进行倒立，所以显示上下反转的面部图像b31～b33。于是，在将该图像再现装置1设定为斜度校正模式的情况下，面部信息提取部21检测在RAM中展开的图像中的各面部部分的左右眼以及鼻子的位置关系，判断面部正立时的方向。并且，合成图像制作部16a根据该判断结果，将面部图像b31～b33旋转使得面部成为正立的方向，并制作出图12所示的面部图像b31’～b33’，然后与整体图像合成，构成图12所示的显示图像。另外，在此合成图像制作部16a使面部图像旋转，但替代于此，也可以采用如下方式：合成图像制作部16a根据上述判断结果，制作使面部部分旋转以使面部部分成为正立的方向的面部图像。从而，即使是整体图像中倾斜的面部，也能够显示正立方向的面部作为面部图像，所以能够容易地判断面部或面部表情等。

另外，在进行这种斜度校正的情况下，以适当的角度旋转面部图像，所以如图11和图12所示，可以将面部图像的框设为圆形。该情况下，可以将四边形框倾斜显示等状态防患于未然。并且，当然也可以在其他显示模式中进行该斜度校正。而且，在此将倾斜的面部设为正立方向时的面部图像，但不必一定限于设为正立方向的面部图像。例如，在横向的人物还将其面部倾斜的情况下，即使进行旋转以使人物整体直立，面部仍倾斜，所以在该情况下面部保持为稍微倾斜的状态也无防。

图13是示出上下分割显示中的整体图像和多个面部图像的显示例的图。

上下分割显示是该图像再现装置1被设定为上下分割显示模式时进行的显示。上下分割显示是如下的显示方法：在将该显示画面18a上下分割出的一方、例如上侧显示整体图像a，并且在分割出的另一方、例如下侧显示面部图像b31’～b33’。另外，该图13所示的图像的摄影场景与图12所示的场景相同，也同样地进行斜度校正。

这种上下分割显示当然也可以用于图13所示那样图像再现装置1的显示画面18a为横长的情况，但在图像再现装置1例如为手持型图像再现装置、且通过改变保持的姿势而可以成为纵长的显示画面18a的情况下，可以更加有效地利用。而且，整体图像的显示区域和面部图像的显示区域分开，所以能够容易地进行面部图像的识别。

接着，图14是示出在根据颜色判断的结果来对面部图像进行组显示的例子的图。

该图14所示的显示是该图像再现装置1被设定为利用颜色进行区分的显示模式(也可称为组显示模式)时进行的显示。图14所示的图像的摄影场景是将多位人物分为2个组进行足球等球赛的场景。各组身穿不同颜色的队服，颜色判断部23对位于面部部分附近的区域进行颜色判断，进行根据判断出的颜色将面部部分分成多个组的处理。

在此，例如属于身穿红色队服的组的人物为人物P1r、P2r、P3r、...，属于身穿白色队服的组的人物为人物P1w、P2w、P3w、...。

此时，一个组例如身穿红色队服的组的成员的面部图像b1r...重叠排列于显示画面18a的左上部，另一组例如身穿白色队服的组的成员的面部图像b1w...重叠排列于显示画面18a的右上部。在此，之所以将面部图像重叠是由于被检测出面部的人数多，如果不将全体人员的面部图像重叠则难以进行显示。并且，重叠时的顺序优选为与整体图像a中的各人物的位置对应的顺序，但可以是除此之外的顺序，例如与到各人物的距离对应的顺序。该图14所示的例子中，作为一例，人物P1r的面部图像b1r与人物P1w的面部图像b1w配置于各重叠的面部图像的最前面。并且，在该图14所示的例子中，不仅将面部图像的重叠沿左右方向错开，还沿上下方向错开。

若使用这种显示方法，则能够进行面部图像的分组，能够容易地掌握各面部图像的人物属于哪个组。

接着，参照图15和图16说明使用了面部光标和人物光标的整体图像中的人物与面部图像之间的对应。图15是示出对某个人物显示面部光标和人物光标时的情况的图，图16是示出对其他人物显示面部光标和人物光标时的情况的图。

首先，图15和图16所示的图像的摄影场景与上述的图14相同。而且，在图15所示的例子中，人物光标C1位于人物P1w的面部部分，并且面部光标C2位于该人物P1w的面部图像b1w上。这些人物光标C1与面部光标C2的组合是明示面部图像与整体图像中的哪个面部部分对应的信息。在此，人物光标C1和面部光标C2与上述的光标c同样，显示为例如粗框、色框(红色框等)或为高亮度显示等。另外，人物光标C1的显示状态和面部光标C2的显示状态可以不同。并且，人物光标C1可以自由地在整体图像内的期望位置移动，也可以分散地仅在整体图像内的面部部分的位置移动。

接着，在图15所示的状态中，通过对操作部19的按钮进行操作，例如在整体图像a中使人物光标C1移动到人物P2r的面部部分。通过这样，如图16所示，面部光标C2自动地移动到该人物P2r的面部图像b2r的位置，该面部光标C2所位于的面部图像b2r自动地显示到最前面。

另一方面，在图15所示的状态中，通过对操作部19的按钮进行操作，使面部光标C2从面部图像b1w的位置移动到面部图像b2r的位置。通过这样，如图16所示，面部图像b2r自动地显示到最前面，并且人物光标C1自动从人物P1w的面部部分的位置移动到人物P2r的面部部分的位置。

通过进行这种显示，在想要观看整体图像中的特定人物的面部的情况下，只要将人物光标C1对准到该特定人物的面部部分，面部光标C2就自动移动到该特定人物的面部图像上，该面部图像就显示到最前面，所以能够简单地进行观看。另一方面，在想要知道某个面部图像的人物在整体图像中位于哪里时，只要将面部光标C2对准到该面部图像上，人物光标C1就自动移动到该面部图像的人物的面部部分的位置上，所以能够简单地知道该人物位于哪里。

接着，图17是示出图像再现装置1的处理流程的流程图。

当开始该处理时，首先通过操作部19选择图像(步骤S11)。

然后，根据再现控制部11a的控制，读出部14读出从图像存储部15选择的图像，进行解压缩处理，写入到RAM 13(步骤S12)。

接着，判断是否由用户通过操作部19进行了显示面部图像的指示(步骤S13)，在判断为没有进行过指示的情况下，将选出的图像以通常方式再现(即，仅显示整体图像，不显示面部图像)(步骤S14)。

并且，在步骤S13中判断为进行了显示面部图像的指示的情况下，面部信息提取部21从图像文件的头部提取面部信息(步骤S15)。另外，该步骤S15的处理在如下情况下进行：在数字照相机等摄像装置中进行面部检测，面部部分的信息被记录到文件的头部中的情况。另一方面，当在摄像装置侧没有进行面部检测的情况下，在该图像再现装置1内进行面部检测的处理，提取面部部分的信息。

接着，设定显示模式(步骤S16)。在此，当用户通过操作部19选择了例如图2等所示的左右分割显示模式、图5等所示的重叠显示模式、图10所示的中心分割显示模式、图13所示的上下分割显示模式等中的任意一个模式时，设定该显示模式，在用户没有进行设定输入的情况下，设定预定的显示模式。

并且，按照后述方式进行与显示模式对应的显示(步骤S17)。

接着，进行放大缩小处理(步骤S18)，进行部分不显示的处理(步骤S19)，进行远近强调显示的处理(步骤S20)，进行斜度校正的处理(步骤S21)，进行基于颜色的区分处理(步骤S22)，判断是否通过操作部19进行了结束指示(步骤S23)，在还没有进行结束指示的情况下，返回到步骤S11，重复进行上述的处理，在进行了结束指示的情况下，结束该处理。

接着，图18是示出与图17的步骤S17中的显示模式对应的显示处理的流程图。

当开始该处理时，首先判断是否设定了重叠显示(步骤S31)，在判断为设定了重叠显示的情况下，进行图5等所示的重叠显示(步骤S32)。

并且，在该步骤S31中判断为没有设定重叠显示的情况下，则已设定为分割显示，因而接着判断所设定的分割显示的种类(步骤S33)。

在步骤S33中判断出分割种类为左右分割的情况下，进行图2等所示的左右分割显示(步骤S34)，在判断出分割种类为上下分割的情况下，进行图13所示的上下分割显示(步骤S35)，在判断出分割种类为中心分割的情况下，进行图10所示的中心分割显示(步骤S36)。

这样，在进行了步骤S32、步骤S34、步骤S35或步骤S36中的任一个处理之后，从该处理返回到图17所示的处理。

接着，图19是示出图17的步骤S18中的放大缩小处理的流程图。

当开始该处理时，首先判断是否通过操作部19进行了移动光标的操作(步骤S41)。

在此，在判断为移动了光标的情况下，根据移动操作，将光标显示到特定的面部图像上(步骤S42)。

接着，判断是否通过操作部19进行了拉近操作(步骤S43)，在判断为进行了拉近操作的情况下，将显示有光标的面部图像放大显示(步骤S44)。

该步骤S44的处理结束或在步骤S43中判断为没有进行拉近操作的情况下，接着判断是否通过操作部19进行了拉远(down)操作(步骤S45)。

在此，在判断为进行了拉远操作的情况下，将显示有光标的面部图像缩小显示(步骤S46)。

在该步骤S46的处理结束的情况下、在步骤S41中判断为光标没有移动的情况下、或在步骤S45中判断为没有进行拉远操作的情况下，从该处理返回到图17的处理。

图20是示出图17的步骤S19中的部分不显示的处理的流程图。

当开始该处理时，首先判断是否通过操作部19进行了移动光标的操作(步骤S51)。

在此，在判断为移动了光标的情况下，根据移动操作，将光标显示到特定的面部图像上(步骤S52)。

接着，判断是否通过操作部19进行了不显示操作(步骤S53)，在判断为进行了不显示操作的情况下，将显示有光标的面部图像设为不显示(步骤S54)。

在该步骤S54的处理结束的情况下、在步骤S51中判断为没有移动光标的情况下、或在步骤S53中判断为没有进行不显示操作的情况下，从该处理返回到图17的处理。

图21是示出图17的步骤S20中的远近强调显示处理的流程图。

当开始该处理时，首先判断是否通过操作部19进行了远近强调的指示(步骤S61)。

在此，在判断为进行了远近强调的指示的情况下，判断与各面部图像对应的人物的远近(步骤S62)。

并且，根据步骤S62的远近判断结果，进行例如图8或图9所示的远近强调显示的处理(步骤S63)。

在该步骤S63的处理结束的情况下、或在步骤S61中判断为没有进行远近强调的指示的情况下，从该处理返回到图17所示的处理。

图22是示出图17的步骤S21中的斜度校正处理的流程图。

当开始该处理时，首先判断是否通过操作部19进行了斜度校正的指示(步骤S71)。

在此，在判断为进行了斜度校正的指示的情况下，分析图像中的各面部部分的左右眼的位置和鼻子的位置等，从而进行斜度判断(步骤S72)。

并且，根据步骤S72的斜度判断结果，判断面部图像中是否存在斜度(步骤S73)，在判断为存在斜度的情况下，进行例如参照图11和图12所说明的斜度校正(步骤S74)。

在该步骤S74的处理结束了的情况下、在步骤S71中判断为没有进行过斜度校正的指示的情况下、或在步骤S73中判断为没有斜度的情况下，从该处理返回到图17所示的处理。

图23是示出图17的步骤S22中的基于颜色的区分处理的流程图。

当开始该处理时，首先判断是否通过操作部19进行了基于颜色的区分的指示(步骤S81)。

在此，在判断为进行了基于颜色的区分的指示的情况下，判断图像中的各面部部分的附近区域的颜色(步骤S82)。

并且，根据步骤S82的颜色判断结果，进行区分显示(组显示)，其中，将面部图像分类成组，按照每个组集中显示面部图像(步骤S83)。

接着，判断是否通过操作部19进行了显示光标的指示(步骤S84)。

在此，在判断为进行了显示光标的指示的情况下，如上述图15、图16等所示，在整体图像上显示人物光标C1，并且在与显示有人物光标C1的人物对应的面部图像上显示面部光标C2(步骤S85)。

然后，判断是否通过操作部19进行了移动任何一个光标的操作(步骤S86)。

在此，在判断为进行了移动任何一个光标的操作的情况下，判断移动的是否为面部光标C2(步骤S87)。

在此，在判断为移动的是面部光标C2的情况下，将通过该面部光标C2的移动操作所选择的面部图像显示到重叠的面部图像组的最前面(步骤S88)，并且在所选择的面部图像上显示面部光标C2(步骤S89)。

接着，判断与所选择的面部对应的整体图像中的人物(步骤S90)。将人物光标C1移动到判断出的人物的面部部分上(步骤S91)。

另一方面，在步骤S87中判断为移动的不是面部光标C2的情况下，则移动的是人物光标C1，所以在通过该人物光标C1的移动操作所选择的位置上显示人物光标C1(步骤S92)，并且判断与所选择的人物对应的面部图像(步骤S93)。

然后，将判断出的面部图像显示在重叠的面部图像组的最前面(步骤S94)，并且将面部光标C2移动到判断出的面部图像上进行显示(步骤S95)。

这样，在步骤S91或步骤S95的处理结束了的情况下、在步骤S81中判断为没有进行颜色区分的指示的情况下、在步骤S84中判断为没有进行显示光标的指示的情况下、或在步骤S86中判断为没有进行移动光标的操作的情况下，从该处理返回到图17所示的处理。

根据这种实施方式1，在将根据面部检测的结果得到的多个面部图像和整体图像一起显示时，面部图像彼此的位置关系大致与整体图像中的与各面部图像对应的面部部分的位置关系对应，所以视觉上可以容易地掌握正在显示的面部图像是哪个人物的面部图像。

并且，能够从多个显示模式中选择希望的显示模式，所以可以从选择项中进行最适合于图像的显示。

而且，能够将希望的面部图像放大或缩小显示，所以能够应对想要进一步放大观看时或想要进一步观看周围状况时。

此外，能够将希望的面部图像设为不显示，所以可以不显示通过面部检测自动显示的面部图像内的不需要的面部图像。

另外，能够根据距离判断的结果进行面部图像的远近强调，所以能够进一步容易地掌握整体图像中的人物彼此的位置关系。

并且，能够根据需要进行斜度校正，所以对于在整体图像中倾斜的面部，也可以作为正立方向的面部图像而容易观看。

而且，能够根据面部部分的附近区域的颜色将面部图像分组，所以在拍摄了多个组的整体图像中，能够按照每个组容易观看地显示面部图像。

另外，在以上的实施方式中，说明了图17～图23的流程图由进行软件处理的CPU 11和进行硬件处理的读出部14、显示图像制作部16、显示处理部17、显示部18、面部信息提取部21、距离判断部22、颜色判断部23等的组合来执行的情况。但是，对于将软件处理和硬件处理如何组合不限于上述方式，可以设为任意的设计事项。并且，由CPU 11进行的软件处理还可以通过如下方式实现：由CPU 11读出在ROM.12中存储的软件程序，CPU 11自身依照读出的软件程序进行上述动作，或者，CPU 11使其他构成要件进行上述动作，从而执行软件处理。因此，上述的软件程序自身实现CPU 11的功能，所以该程序也构成本发明。并且，存储了该程序的记录介质也构成本发明。在此，作为记录介质，可以使用闪存、IC卡等半导体存储器、硬盘或磁盘等磁记录介质、CD-ROM或DVD等光学记录介质、MD等光磁记录介质等任意的记录介质。此外，进行上述处理的方法也构成本发明。

并且，在上述的各实施方式中，说明了将本发明应用于图像再现装置上的例子，但不限于此，例如也可以适用于例如数字照相机等摄像装置中内置的图像再现部、便携电话的照相机部中内置的图像再现部或其他设备中内置的图像再现部。

而且，本发明不限于上述的实施方式，在实施阶段，可以在不脱离本发明宗旨的范围内对构成要件进行变形并具体化。并且，通过上述实施方式中公开的多个构成要素的适当组合，能够形成各种发明。例如，可以从实施方式所示的全部构成要件中删除几个构成要件。此外，还可以将不同的实施方式中的构成要件适当组合。像这样，可以在不脱离发明宗旨的范围内进行各种变形或应用。

本发明能够良好地应用于能够同时显示整体图像和将面部部分放大的面部图像的图像再现装置、图像再现程序、记录介质和图像再现方法。

Claims (14)

1.一种图像再现装置，其具备提取图像中的面部部分的信息的面部信息提取部，所述图像再现装置的特征在于，其具备：

面部图像制作部，其根据所提取的多个面部部分的信息，由上述图像来制作与上述图像中的该面部部分相比放大了的多个面部图像；以及

合成图像制作部，其将表示上述图像整体的整体图像和上述多个面部图像组合来制作合成图像，

上述合成图像制作部将上述多个面部图像彼此的相对位置决定成与上述整体图像中的各面部部分彼此的相对位置对应，来制作上述合成图像。

2.根据权利要求1所述的图像再现装置，其特征在于，上述合成图像制作部以使显示上述多个面部图像的区域和显示上述整体图像的区域为不同区域的方式来制作合成图像。

3.根据权利要求1所述的图像再现装置，其特征在于，所述图像再现装置还具备用于输入放大率的操作部，

上述面部图像制作部以使面部图像相对于上述整体图像中的面部部分的放大率与所输入的放大率对应的方式来制作面部图像。

4.根据权利要求1所述的图像再现装置，其特征在于，上述合成图像制作部附加明示上述面部图像与上述整体面部图像中的哪个面部部分相对应的信息来制作合成图像。

5.根据权利要求1所述的图像再现装置，其特征在于，所述图像再现装置还具有判断上述各面部部分的摄影距离的距离判断部，

上述面部图像制作部以使面部图像的显示尺寸成为与对应于该面部图像的面部部分的摄影距离对应的尺寸的方式来制作面部图像。

6.根据权利要求5所述的图像再现装置，其特征在于，上述面部图像制作部以当上述摄影距离相对较近时显示尺寸相对较大、当该摄影距离相对较远时显示尺寸相对较小的方式来制作面部图像。

7.根据权利要求1所述的图像再现装置，其特征在于，所述图像再现装置还具有用于进行将面部图像设为不显示的输入操作的操作部，

上述合成图像制作部从制作合成图像时的对象中除去被进行了不显示的输入操作的面部图像，来制作合成图像。

8.根据权利要求1所述的图像再现装置，其特征在于，上述合成图像制作部将上述面部图像旋转为与上述整体图像中的面部部分不同的斜度，然后制作合成图像。

9.根据权利要求1所述的图像再现装置，其特征在于，上述合成图像制作部以使该面部图像不覆盖该整体图像中的面部部分的方式来制作上述合成图像。

10.根据权利要求8所述的图像再现装置，其特征在于，上述面部信息提取部还提取上述图像中的面部部分的斜度作为面部部分的信息，

上述合成图像制作部根据所提取的面部部分的斜度使上述面部图像旋转以使该面部部分正立，然后制作合成图像。

11.根据权利要求1所述的图像再现装置，其特征在于，上述面部图像制作部制作被旋转成与上述整体图像中的面部部分不同的斜度的面部图像。

12.一种图像再现装置，其具备提取图像中的面部部分的信息的面部信息提取部，所述图像再现装置的特征在于，其具备：

面部图像制作部，其根据所提取的多个面部部分的信息，由上述图像来制作与上述图像中的该面部部分相比放大了的多个面部图像；

颜色判断部，其判断位于上述面部部分附近的区域的颜色；以及

合成图像制作部，其根据判断出的颜色将上述多个面部图像分类成组，将被分类的每组中所汇总的上述多个面部图像和表示上述图像整体的整体图像组合，来制作合成图像，

上述合成图像制作部以使上述面部图像不覆盖上述整体图像中的面部部分的方式来制作上述合成图像。

13.根据权利要求12所述的图像再现装置，其特征在于，上述合成图像制作部附加明示上述面部图像与上述整体图像中的哪个面部部分对应的信息来制作合成图像。

14.一种图像再现方法，该图像再现方法提取图像中的多个面部部分的信息来再现图像，其特征在于，所述图像再现方法包括；

判断上述各面部部分的摄影距离的步骤；

根据所提取的多个面部部分的信息，由上述图像来制作与上述图像中的该面部部分相比放大了的多个面部图像，使面部图像的显示尺寸成为与对应于该面部图像的面部部分的摄影距离对应的尺寸的步骤；以及

将上述多个面部图像彼此的相对位置决定成与表示上述图像整体的整体图像中的各面部部分彼此的相对位置对应，且以该面部图像不覆盖整体图像中的面部部分的方式将上述整体图像和上述多个面部图像组合来制作一个合成图像的步骤。

Images