CN105430222A - 图像再现系统及图像再现方法 - Google Patents

Abstract

提供一种图像再现装置和图像再现方法，其可以适用的图像范围广，并可以在短时间内生成，可以给予用户期待感和乐趣。图像再现装置具有：图像记录部(2)，其记录了对应于多个摄影图像的图像数据；图像选择部(3)，其从记录在图像记录部(2)中的图像数据中选择对应于代表图像的图像；类似图像检索部(8a)，其检索包括对应于和代表图像类似的图像的图像数据的内容包；和幻灯片放映部(6)，其把与由类似图像检索部(8a)检索到的内容包中包含的图像数据对应的图像作为构成幻灯片放映的图像的一部分，与多个摄影图像一起在显示部(5)上进行再现。

Description

图像再现系统及图像再现方法

本申请是原案申请号为200910004326.0的发明专利申请(申请日：2009年2月6日，优先权日：2008年2月8日，发明名称：图像再现系统及图像再现方法)的分案申请。

技术领域

本发明涉及一种图像再现系统和图像再现方法，具体地讲，涉及一种娱乐欣赏利用数码照相机等摄像装置拍摄的图像的图像再现系统和图像再现方法。

背景技术

近年来，数码照相机等摄像装置得到普及。在欣赏利用摄像装置拍摄的图像时，不仅可以打印，还可以简单地在个人电脑(PC)、手机、电视机等的屏幕上进行欣赏。在这些设备中，作为欣赏摄影图像的方法采取幻灯片放映的方法，与顺序观看打印的照片时相同，在屏幕上顺序再现图像。但是，幻灯片放映只是单纯地顺序切换图像，全部看完需花费时间，而且比较单调，所以目前状况可以说没怎么得到普及。

为了提高这种幻灯片放映方法的附加价值，专利文献1公开了一种幻灯片放映再现方法，该方法将构成幻灯片放映的各个脸部图像的集合照片合成并插入到幻灯片放映中。即，在该再现方法中，从脸部图像的数量多的组的代表图像开始排列顺序，确定图像的尺寸并生成集合场景，将该集合场景插入到幻灯片放映的最后场景。

【专利文献1】日本特开2007－249371号公报

在前述专利文献1所述的幻灯片放映再现方法中，不能适用于脸部图像以外的图像。并且，需要重新生成代表图像，导致代表图像的生成花费功夫和时间。另外，代表图像被限定为“脸部图像的集合照片”这样的预测范围，不能对用户提供迫切的期待感和乐趣。

发明内容

本发明就是鉴于上述情况而提出的，其目的在于，提供一种图像再现系统和图像再现方法，其可以适用的图像范围广，并可以在短时间内生成，可以给予用户期待感和乐趣。

为了达到上述目的，第一发明涉及的图像再现系统具有：记录部，其记录有与多个图像对应的图像数据；代表图像选择部，其从记录在所述记录部中的图像数据中选择与代表图像对应的图像；内容封套记录部，其将内容的封套图像和与所述内容相关的信息作为内容包进行记录；检索部，其在所述内容封套记录部记录的内容包中检索包含如下的图像的内容包：该图像是与所述代表图像类似的封套图像；和幻灯片放映再现部，其把由所述检索部检索到的内容包中包含的所述封套图像作为构成幻灯片放映的图像的一部分再现，并再现所述内容包中包含的与所述内容相关的信息以及所述多个图像。

第二发明涉及的图像再现系统在所述第一发明中，所述检索部，在检索与代表图像类似的封套图像时，在与数据库图像的纵横尺寸比一致的范围中、并且忽视文字部分进行检索。

第三发明涉及的图像再现系统在所述第一发明中，所述检索部，判定所述代表图像中是否有脸部，在判定结果是有脸部时，从数据库中选择具有脸部的图像；在判定结果是没有脸部时，从数据库中选择没有脸部的图像。

第四发明涉及的图像再现系统在所述第一发明中，所述内容包括以下的任一种：漫画、动画、电视节目、电影、音乐CD和音乐DVD。

第五发明涉及的图像再现系统在所述第一发明中，与所述内容相关的信息包括：音乐或歌词。

第六发明涉及的图像再现方法包括：记录有与多个图像对应的图像数据；从记录的图像数据中选择与代表图像对应的图像；将内容的封套图像和与所述内容相关的信息作为内容包进行记录；在记录的内容包中检索包含如下的图像的内容包：该图像是与所述代表图像类似的封套图像；和把检索到的内容包中包含的所述封套图像作为构成幻灯片放映的图像的一部分再现，并再现所述内容包中包含的与所述内容相关的信息以及所述多个图像。

根据本发明，可以提供一种图像再现系统和图像再现方法，其能够适用的图像范围广，并可以在短时间内生成，可以给予用户期待感和乐趣。

附图说明

图1是表示本发明的第1实施方式涉及的由照相机和个人电脑构成的图像再现系统的结构的方框图。

图2是表示在本发明的第1实施方式涉及的图像再现系统中，用户对图像再现系统的使用状态的图，(a)表示进行拍摄的情况，(b)表示将照相机的摄影图像存储在个人电脑中的情况，(c)表示利用电视机欣赏幻灯片放映的情况，(d)表示在幻灯片放映时再现显示辅助图像的情况。

图3表示在本发明的第1实施方式涉及的图像再现系统中，为了检索与代表图像类似的辅助图像而删除文字的示例图，(a)表示音乐CD等的封套(jacket)的图像，(b)表示从(a)的图像中删除文字后的图，(c)表示代表图像。

图4是表示本发明的第1实施方式涉及的照相机的照相机控制的动作的流程图。

图5是表示本发明的第1实施方式涉及的照相机的图像一致程度判定的动作的流程图。

图6是表示本发明的第2实施方式涉及的由照相机和服务器构成的图像再现系统的结构的方框图。

图7是表示在本发明的第2实施方式涉及的图像再现系统中，图像等的流程与再现显示的关系的图。

图8是表示本发明的第2实施方式涉及的照相机的照相机控制的动作的流程图。

图9是表示本发明的第2实施方式涉及的服务器的服务器控制的动作的流程图。

图10是表示本发明的第3实施方式涉及的由照相机和服务器构成的图像再现系统的结构的方框图。

图11是表示在本发明的第3实施方式涉及的图像再现系统中，图像等的流程与再现显示的关系的图。

图12是表示在本发明的第3实施方式的第1变形例涉及的图像再现系统中，图像等的流程与再现显示的关系的图。

图13是表示在本发明的第3实施方式的第2变形例涉及的图像再现系统中，辅助内容确定的动作的流程图。

标号说明

1摄影部；2图像记录部；3图像选择部；4通信及控制部；5显示部；6幻灯片放映部；6A辅助数据部；7顺序控制部；8类似图像检索部；8a脸部检测文字检测及加工部；9辅助内容记录部；10照相机；12摄影图像；12a代表图像；20个人电脑；21内容封套记录部；22辅助图像；23脸部检测文字检测及加工部；24通信及控制部；25代表图像临时存储部；25A代表图像及数据临时存储部；26图像记录部；27关联信息检索部；28顺序再现部；29网络发布部；30电视机；40服务器；100摄影图像；110封套图像；111图像部分；120动态图像。

具体实施方式

以下，参照附图使用应用了本发明的图像再现系统说明优选的实施方式。图1是表示本发明的第1实施方式涉及的、由照相机10和个人电脑20和电视机30构成的图像再现系统的结构的方框图。

照相机10是拍摄被摄体并获取图像的数码照相机。个人电脑20可以连接照相机10，如后面所述存储音乐CD等的封套的图像数据等。电视机30可以连接照相机10，根据在照相机10内部生成的幻灯片放映的图像数据，再现显示幻灯片放映。另外，照相机10与个人电脑20的连接除采用电缆等的有线连接、电波和红外线等无线连接外，也包括通过USB存储器等存储介质的信息传递。

照相机10具有摄影部1、图像记录部2、图像选择部3、通信及控制部4、显示部5、幻灯片放映部6、顺序控制部7、类似图像检索部8、脸部检测文字检测及加工部8a、和辅助内容记录部9。通信及控制部4进行照相机10的整体控制，并且在与个人电脑20和电视机30连接时进行通信。

摄影部1包括用于成像被摄体像的光学系统、对被摄体像进行光电转换的摄像元件、处理从摄像元件输出的信号的图像处理部等，输出图像数据。图像记录部2记录从摄影部1输出的图像数据。显示部5进行记录在图像记录部2中的图像的再现显示等的显示。图像选择部3根据来自操作部件的摄影者指示，选择代表图像。

类似图像检索部8从记录在个人电脑20等中的图像等中，检索与图像选择部3指示的代表图像类似的辅助图像。在本实施方式中，对音乐CD等内容的封套的图像等和摄影图像进行比较，检索与摄影图像类似的图像。

脸部检测文字检测及加工部8a进行从图像中检测脸部、删除文字的处理。在内容封套中往往不仅包含图像，还包含标题和著作者和艺术家名，此外还有商标、出版社名称等文字。因此，利用脸部检测文字检测及加工部8a的文字检测部，从图像中删除文字等，类似图像检索部8对删除文字后的音乐CD等的封套的图像和摄影图像进行比较，检索与摄影图像类似的图像(即辅助图像)。

辅助内容记录部9记录由类似图像检索部8检索到的辅助图像。并且，也记录与辅助图像相关联的信息，例如在音乐CD等的内容中记录的音乐(语音数据)、该音乐的歌词的文本数据等。

幻灯片放映部6将记录在图像记录部2中的代表图像和摄影图像、及记录在辅助内容记录部9中的辅助图像等组合，使显示部5进行幻灯片放映。顺序控制部7控制进行幻灯片放映时的图像的再现显示的顺序。

个人电脑20具有通信及控制部24和内容封套记录部21。通信及控制部24进行个人电脑20的整体控制，并且在连接照相机10的通信及控制部4时，进行通信的控制。内容封套记录部21存储LP唱片、音乐CD、DVD等的内容的封套的图像、和书的封皮图像、音乐和歌词等与内容相关的信息。即，内容包括已有的漫画、动画、电视节目、电影、音乐等各种内容，在内容封套记录部21中存储有与这些内容相关联的图像及相关信息。

在本实施方式中，照相机10通过通信及控制部4和个人电脑20的通信及控制部24，从内容封套记录部21获取这些信息。但是，除这种方法之外，还可以从个人电脑20通过因特网等网络从外部服务器等获取，并且，照相机10还可以通过因特网等网络直接访问外部服务器等，并获取这些信息。除这种方法之外，还可以利用存储卡等记录了这些信息的记录介质。

下面，使用图2说明本实施方式的动作。首先，如图2(a)所示，使用照相机10进行摄影。然后，如图2(b)所示，将照相机10连接到个人电脑20。此时，用户一边观看在显示部8上再现的摄影图像一边选择代表图像。照相机10的类似图像检索部8等进行与代表图像类似的辅助图像的检索，将检索到的辅助图像记录在辅助内容记录部9中。

利用照相机10拍摄的图像可以在照相机10的显示部5上以常规的1帧为单位进行再现显示或幻灯片放映来欣赏，还可以如图2(c)所示，连接到电视机30，与朋友等更多的人一起观看欣赏。并且，在利用电视机30再现显示进行欣赏时，如图2(d)所示，作为导入用图像，可以再现显示大家都知道的内容(辅助图像)，做好开始欣赏时的心理准备。

图2(d)所示的幻灯片放映不是只再现摄影图像的1帧，而是在从摄影图像中选择多帧通过幻灯片放映的方式进行欣赏时，将作为辅助内容(辅助图像)被检索出的音乐CD等的封套组合起来进行显示。即，在再现显示图2(c)所示的摄影图像100之前，如图2(d)所示，显示与摄影图像100类似的封套图像110。通过显示这种辅助内容(此时为封套图像110)，与单纯地仅显示摄影图像100时相比，可以诱发欣赏者的兴趣。

另外，如果把记录在该音乐CD中的音乐用作BGM，还可以有助于烘托氛围。即，作为辅助图像的基础的音乐CD的音乐是与摄影图像具有的氛围相同的封套的音乐，所以感觉自然协调的情况居多，可以节省特意选曲的时间。

并且，在把图3(a)所示的音乐CD的封套的封套图像110作为检索对象进行类似图像的检索时，如图3(b)所示，删除文字部分，只单纯提取图像部分111。并且，进行图3(c)所示的摄影图像100与图3(b)所示的图像部分111的比较，进行与摄影图像100类似的图像的检索。

另外，在检索类似图像时，也可以利用画面内的脸部的位置和大小的信息。近年来，在照相机领域中，为了结合对焦和曝光，正在进行从画面内确定脸部位置的技术的研究，也可以应用这种技术。

下面，使用图4所示的流程图说明本实施方式的照相机10的动作。在进入照相机控制的流程后，首先进行是否已设定为再现模式的判定(S1)。该照相机10可以使用再现模式和摄影模式这两种模式。在判定结果是没有设定再现模式时，判定为是摄影模式，然后检测快门释放按钮的操作状态，进行是否进行摄影的判定(S2)。

在判定结果是不摄影时，返回步骤S1，而在进行摄影时，执行摄影动作(S3)。摄影动作是在摄影部1中获取被摄体像的图像数据，将该图像数据记录在图像记录部2中。在摄影动作结束后返回，返回步骤S1。

在步骤S1的判定结果是再现模式时，检测再现按钮等的操作状态，进行是否进行再现的判定(S11)。在判定结果是进行再现时，进入步骤S12及其以后的步骤，执行再现模式。在本实施方式的再现模式下，除常规的再现显示和普通的幻灯片放映外，还可以进行结合了辅助内容的幻灯片放映的再现显示。

然后，进行是否进行数据库(DB)通信的判定(S13)。照相机10的用户在获得作为辅助内容的辅助图像时，用户进行该意图的操作，所以在该步骤进行是否已进行了操作的判定。在判定结果是进行DB通信时，然后进行是否进行类似图像的检索的判定(S21)。此处判定用户是否已进行开始检索的操作。

在步骤S21的判定结果是没有开始检索时，返回步骤S1。而在判定结果是开始检索时，指定代表图像(S22)。在该步骤，使显示部5顺序地再现显示记录在图像记录部2中的摄影图像，用户根据喜好从该再现显示的摄影图像中指定代表图像。

在代表图像的指定结束后，进行与所选择的代表图像类似的图像的检索(S23)。将在后面使用图5说明检索该类似图像的图像一致性判定的子程序。然后，对于在步骤S22指定的代表图像，判定与全部对象图像的图像一致性，并判定是否结束(S25)。在判定结果是没有结束时，变更对象图像(S27)，返回步骤S23，进行相对于在步骤S27中变更过的对象图像的图像一致性判定。

在步骤S25，在判定为已结束与全部对象图像的图像一致性判定时，接着获取一致性最大的图像(S26)。在步骤S23的图像一致性判定的子程序中，对于每个对象图像都将一致性数值化，所以在该步骤中获取在判定了一致性的对象图像中一致性的数值最大的对象图像，把其作为辅助图像。在获取了一致性最大的图像后返回，从步骤S1开始执行。另外，在幻灯片放映中与辅助图像一起再现显示的代表图像通常为1帧，但在有多帧时，重复多次进行代表图像的选择。

在步骤S13的判定结果是不进行DB通信时，然后进行是否进行幻灯片放映的判定(S14)。在判定结果是不进行幻灯片放映时，进行常规的再现显示、例如从缩略再现开始的选择图像的再现显示(S15)。而另一方面，在进行幻灯片放映时，执行步骤S31及其以后的步骤，犹如幻灯片放映的打开画面那样再现辅助图像(在步骤S26获取的图像)，然后再现显示代表图像，然后按照拍摄的时间序列以幻灯片放映的形式顺序地再现显示摄影图像。

关于幻灯片放映，首先进行是否已接收了图像的判定(S31)。即，进行是否已在步骤S13进行DB通信、并在步骤S26获取了辅助通信的判定。

在判定结果是已接收图像时，进行是否进行外部输出的判定(S32)。当在照相机10上连接电视机30、并且如图2(c)(d)所示由多人进行欣赏时，在该步骤进行将幻灯片放映的图像数据输出给电视机30等外部设备的外部输出。在判定结果是进行外部输出时，从通信及控制部4向电视机30等外部设备输出辅助图像、代表图像、摄影图像等的图像数据等。在图像外部输出结束后返回，从步骤1开始执行。

在步骤S32的判定结果是不进行外部输出时，进行辅助图像的再现(S33)，然后进行代表图像的再现(S34)。在代表图像的再现结束后，按照摄影日期时刻顺序依次幻灯片放映摄影图像(S35)。

这样在通常的幻灯片放映之前，再现显示与代表图像类似的辅助图像，然后再现显示代表图像。即，如图2(d)所示，首先再现辅助图像，增加幻灯片放映将要开始的感觉，然后如图2(c)所示，开始再现摄影图像。在辅助图像之后输出的图像是成为类似图像的检索基础的代表图像。通过显示代表图像，可以使欣赏者理解为什么显示该辅助图像。图1中的顺序控制部7进行这种排序。

在步骤S31的判定结果是没有结束图像接收时，不检索辅助图像，跳过步骤S33、S34，执行步骤S35的按照时间序列的幻灯片放映。在按照时间序列的幻灯片放映结束后返回，从步骤S1开始执行。

下面，使用图5所示的流程图说明步骤S23的图像一致性判定的子程序。在判定图像一致性时，需要注意在内容封套记录部21等的数据库(DB)中存储的DB图像的纵横尺寸比与摄影图像不同。

例如，在像LP唱片和音乐CD的封套那样正方形图像和普通数码照相机的4：3的图像中，直接比较一致性比较困难。因此，在本实施方式中，根据DB图像的纵横尺寸比，在切取了摄影图像的中央部分后再进行比较。并且，在这样切取的范围中进行图像的类似程度的比较，同时检测脸部的位置，使用删除了文字的图像进行比较。

在进入图像一致性判定子程序后，首先进行在步骤S22指定的代表图像的脸部的数量和位置的判定(S101)。然后，根据步骤S101的判定结果，判定代表图像中是否有脸部(S102)。在判定结果是有脸部时，从记录在作为数据库(DB)的内容封套记录部21中的图像中选择具有脸部的图像(S103)。在该步骤，从多个图像中选择一个对象图像。通过前面叙述的步骤S27的处理，选择下一个对象图像，并在步骤S25中判定是否已对全部对象图像结束处理。

然后，在与记录在内容封套记录部21中的图像的纵横尺寸比一致的范围中，与代表图像进行比较(S104)。并且，在考虑了记录在内容封套记录部21中的图像和纵横尺寸比的范围中，选择脸部的位置和脸部的数量相同的图像(S105)。

在步骤S102的判定结果是代表图像中没有脸部时，从记录在内容封套记录部21中的图像中选择没有脸部的图像(S111)。并且，在与记录在内容封套记录部21中的图像的纵横尺寸比一致的范围中，与代表图像进行比较(S112)。

在步骤S105或S112的处理结束后，然后进行所选择的图像中是否存在文字的判定(S106)。如前面所述，当图像中混合有文字等时，类似程度的判定精度降低，所以利用事前删除了文字等的部分来判定一致性。

在步骤S106的判定结果是存在文字时，利用文字部分以外的部分来判定一致性(S107)，在步骤S106判定为不存在文字时，跳过步骤S107进入步骤S108。

然后，在与记录在内容封套记录部21中的DB图像的纵横尺寸比一致的整个范围中，判定与代表图像类似的一致性(S108)。在一致性判定结束后，返回原来的程序。

如以上说明的那样，在本发明的第1实施方式中，在通过幻灯片放映来再现显示摄影图像之前，再现显示代表图像和与该代表图像类似的辅助图像。辅助图像是从记录有DB图像的内容封套记录部21中检索到的，通过再现显示辅助图像和代表图像，可以提高欣赏者的兴趣，可以给予用户期待感和乐趣。

并且，在本实施方式中，由于在代表图像中不需要存在脸部图像，所以可以适用的图像的范围扩大，并且代表图像是单纯地仅从摄影图像中指定的，没有生成代表图像用的图像处理，所以能够在短时间内生成。

另外，在本实施方式中，在与DB图像的纵横尺寸比一致的范围中进行一致性的判定，并且忽视文字部分来判定一致性，所以能够在短时间内进行高精度的一致性判定。

另外，在本实施方式中，DB图像是音乐CD等的封套和书等的封皮的图像，但不限于此，例如也可以是照相机10的摄影者已经拍摄的图像、记录在外部服务器中的由第三人拍摄的图像、插图和绘画等其他各种图像。

并且，在本实施方式中，在按照时间序列的幻灯片放映之前，只在开头部分进行代表图像和辅助图像的再现显示，但不限于此，也可以在中间部分的区分良好的定时等进行第2代表图像及其辅助图像的再现显示。另外，在本实施方式中，采用使照相机10和个人电脑20协作动作的系统，但也可以利用个人电脑20和安装在其上的程序来执行照相机10的图像选择部3、类似图像检索部8、脸部检测文字检测及加工部8a、幻灯片放映部6、顺序控制部7、辅助内容记录部9等的功能。

下面，使用图6～图9说明本发明的第2实施方式。在第1实施方式中是在照相机10内部进行类似图像的检索，但在第2实施方式中，经由因特网等网络在服务器等外部设备中进行类似图像检索。

图6是表示第2实施方式涉及的由照相机10和服务器40构成的图像再现系统的结构的方框图。照相机10具有摄影部1、图像记录部2、图像选择部3、通信及控制部4、显示部5、幻灯片放映部6、顺序控制部7和辅助内容记录部9。这些各个部分的功能与图1所示的第1实施方式相同，所以省略具体说明。

发挥数据库的功能的服务器40具有内容封套记录部21、类似图像检索部22、脸部检测文字检测及加工部23、通信及控制部24和代表图像临时存储部25。通信及控制部24进行服务器40的整体控制，同时通过因特网等与照相机10等外部设备进行通信。

类似图像检索部22和脸部检测文字检测及加工部23与图1所示的第1实施方式相同，所以省略具体说明，但脸部检测文字检测及加工部23发挥检测脸部的位置和数量，并提取文字部分将其从图像中删除的作用。并且，类似图像检索部22从记录在内容封套记录部21中的图像中检索与代表图像类似的图像。

代表图像临时存储部25是临时存储由照相机10的图像选择部3指定的代表图像的存储部。前面叙述的类似图像检索部22使用存储在代表图像临时存储部25中的代表图像来进行检索。

这样，在照相机10侧配置辅助内容存储部9、幻灯片放映的顺序控制部7、为了进行幻灯片放映而从图像记录部2或辅助内容存储部9依次读出数据并再现的幻灯片放映部6等，使服务器40侧具有临时存储从照相机10发送的来代表图像的功能、和检索类似图像的功能。在检索类似图像时，与第1实施方式相同，考虑是否是人物图像、脸部的位置和数量等来进行检索，并且忽视辅助内容的文字部分来进行处理。

下面，使用图7说明本实施方式的动作。如图7所示，照相机10拍摄被摄体11，从此时拍摄的摄影图像12中指定代表图像12a(图中No.4的图像)，把该代表图像12a通过网络19发送给服务器40。服务器40从作为数据库的内容封套记录部21中检索与代表图像类似的类似图像，把一致性最高的图像作为辅助图像22。

在检索到辅助图像22后，服务器40向照相机10发送辅助图像22。照相机10开始幻灯片放映时，首先再现显示检索到的辅助图像22，然后再现显示代表图像12a，然后按照摄影顺序再现No.1～No.4的摄影图像12。

并且，辅助图像22是出版的内容，所以对该内容附加有带有制造商的附带信息、用户的感想和意见等附带信息(图中A～D)。在辅助图像22为音乐CD的情况下还包含乐曲数据作为附带信息。因此，与再现显示辅助图像22一起，可以一边再现收录在音乐CD中的乐曲一边进行幻灯片放映。并且，也能够根据曲名、作曲家、艺术家等其他信息，检索虽然没有收录在该乐曲CD中、但具有相同氛围的乐曲并进行再现。

下面，使用图8所示的流程图说明本实施方式的照相机10的动作。对于和图4所示第1实施方式的照相机控制相同的处理步骤，赋予相同的步骤序号，并省略具体说明。在第1实施方式中，辅助图像的检索是在照相机10内部进行的，但在第2实施方式中，在服务器40中进行检索，所以重点说明该不同之处。

进入照相机控制的流程后执行的步骤S1～步骤S15与第1实施方式相同。在步骤S13的是否进行DB通信的判定结果是进行DB通信时，判定是否开始获取辅助图像及其相关信息(S21A)。该判定通过检测用户是否操作了未图示的开始获取用的操作部件来进行。

在步骤S21A的判定结果是不进行辅助图像等的获取时，进行用于获取其他信息的获取信息变更(S29)，然后返回步骤S1。在步骤S29，当不满意在后面叙述的步骤S26A获取的辅助图像及其相关信息时，为了进一步进行信息获取，设定/变更信息获取的条件等。另一方面，在步骤S21A的判定结果是开始获取辅助图像等时，指定代表图像(S22)，把该指定的代表图像发送给服务器40(S23A)。代表图像由用户从在显示部5上再现显示的摄影图像中指定。

在代表图像的发送结束后(S25→Yes)，从服务器40获取一致性最大的图像(辅助图像)和与该辅助图像相关的信息(S26A)。即，由服务器40进行辅助图像等的检索，所以照相机10等待服务器40的检索结束并发送过来检索结果，当检索结果发送过来时，获取发送过来的辅助图像及其相关信息。关于相关信息，如果辅助图像是音乐CD的封套的图像，则指收录在音乐CD中的音乐等。

在步骤S14的判定结果是不进行幻灯片放映时，进行是否已接收图像的判定(S31)。在第2实施方式中，辅助图像的检索是在外部服务器40中实施的，在该步骤，进行是否已在步骤S26A中从服务器40接收到了辅助图像的判定。

在步骤S31的判定结果是接收到了图像时，如使用图7说明的那样，再现显示辅助图像，并使用相关信息进行例如音乐CD的再现(S33A)，再现显示代表图像(S35A)。在结束辅助图像和代表图像的再现显示后，接着对于摄影图像，按照摄影日期时刻顺序依次执行将要再现的通常的幻灯片放映(S35A)。

在步骤S31的判定结果是没有接收到图像时，由于没有辅助图像，所以在步骤S35A执行通常的幻灯片放映，在常规的幻灯片放映结束后返回，从步骤S1开始执行。

这样，第2实施方式的照相机10不进行图像检索，而向服务器40发送代表图像(S24)，获取由服务器40检索到的辅助图像等(S26)，使用该辅助图像执行幻灯片放映(S33～S35)。并且，在网络通信状态下，通过网络向外部发送图像(S23A)，根据已得到的获取信息再获取其他信息(S29)。在不满意检索到的辅助图像等时或对乐曲不满意时，在步骤S29，可以发布进一步获取信息的指示。

另外，在第2实施方式中，与第1实施方式相同，也可以能够对电视机30进行拍摄，在使照相机10上再现显示辅助图像的幻灯片放映。该情况下，在步骤S31之后，判定是否进行外部输出，根据判定结果将图像输出到外部。

下面，使用图9所示的流程图说明本实施方式的服务器40的动作。在进入该流程后，首先判定是否已获取代表图像(S51)。如前面所述，由于照相机10在步骤S23A中发送过来了代表图像，所以在该步骤进行是否接收到代表图像的判定。

在步骤S51的判定结果是已获取代表图像时，将所获取的代表图像临时存储在代表图像临时存储部25中(S52)。然后，通过脸部检测文字检测及加工部23将文字从对象图像中删除(S53)。即，在记录于内容封套记录部21中的音乐CD等的封套的图像中记述有文字等，通过删除该文字等，提高图像的一致性判定的精度。

然后，通过脸部检测文字检测及加工部23检测对象图像的脸部的位置，也考虑该脸部的位置来判定代表图像与对象图像的一致性(S54)。在此，求出对应于一致性的数值。在一致性的判定结束后，进行是否已对内容封套记录部21中的全部对象图像结束了一致性判定的判定(S55)。在判定结果是没有结束时，变更为下一个对象图像(S57)，返回步骤S53，重复与前述相同的判定。

在步骤S55的判定结果是已对全部对象图像结束了判定时，将一致性最大的图像(辅助图像)及该辅助图像的相关信息(例如收录的音乐等)发送给照相机10(S56)。

然后，进行是否已从照相机10接收到图像NG的判定(S71)。即，在照相机10的用户不满意从服务器40发送过来的辅助图像时，在步骤S29通过获取信息变更来发送该意旨。在判定结果是接收到图像NG时，将一致性其次高的图像及其相关信息发送给照相机10(S72)，返回步骤S71。

在步骤S71的判定结果为不是图像NG时，然后进行相关信息是否OK的判定(S73)。在照相机10的用户不满意从服务器40发送过来的相关信息时，在步骤S29中发送该意旨。在判定结果是不OK时，发送与辅助图像相关的其他相关信息(S74)，返回步骤S73。在步骤S73的判定结果是相关信息OK时返回。

在步骤S51的判定结果是没有获取代表图像时，作为常规的图像记录和浏览的服务器进行工作。首先，进行是否已获取记录用图像的判定(S61)。在判定结果是已获取记录用图像时，将该图像记录在服务器40内的记录用的图像记录部中(S62)，然后返回。

在步骤S61的判定结果是没有获取记录用图像时，进行是否欣赏记录在服务器40中的图像的判定(S63)。在判定结果是不欣赏图像时直接返回，另一方面在判定结果是欣赏图像时，通过访问来进行图像显示(S64)并返回。

这样，在本发明的第2实施方式中，在服务器40获取代表图像后，临时存储该代表图像，进行具有类似封套的音乐CD等的检索(S51→S54)，将检索到的辅助图像发送给照相机10(S56)，此时也一起发送相关信息。在用户进行了不满意所发送的辅助图像的意旨的操作时，在步骤S71、S73中判定出该意旨，发送其他辅助图像和相关信息(S71、S74)。并且，具有记录单纯的摄影图像的图像储存功能，保管发送过来的图像(S62)，通过访问进行再现(S63→S64)。服务器40也可以省略图像储存功能，也可以具有其他功能。

下面，使用图10和图11说明本发明的第3实施方式。在第1和第2实施方式中，在幻灯片放映的开头部分再现显示辅助图像，并且作为辅助图像单独地显示再现静态图像。在第3实施方式中，在最后再现显示辅助图像，并且在再现辅助图像后接着再现显示与辅助图像相关的动态图像。

图10是表示第3实施方式涉及的由照相机10和电视机30和服务器40构成的图像再现系统的结构的方框图。照相机10具有摄影部1、图像记录部2、图像选择部3、通信及控制部4、显示部5和辅助数据部6A。除辅助数据部6A外，各部分的功能与图1所示的第1实施方式相同，所以对相同的部分省略具体说明。

辅助数据部6A是与图像相关联地存储代表图像具有的摄影日期时刻和摄影地点的存储部。摄影日期时刻等的信息在向服务器10发送代表图像时被一起发送，服务器40在进行辅助图像的检索时，也考虑摄影日期时刻等的信息来进行检索。

发挥数据库的作用的服务器40具有内容封套记录部21、类似图像检索部22、通信及控制部24、代表图像及数据临时存储部25A、图像记录部26、相关信息检索部27、顺序再现部28和网络发布部29。内容封套记录部21等与第2实施方式相同，所以重点说明不同的部分。

内容封套记录部21与第1实施方式相同，除音乐CD等外，还存储着DVD等的动态图像的封套图像及其相关影像等。在DVD等的动态图像的情况下，除封套图像外，也存储有动态图像的开头图像用于检索。同样，在漫画和动画等具有图像的内容的情况下，除封皮的图像外，也存储有最初的图像用于检索。类似图像及数据检索部22从内容封套记录部21中检索与代表图像类似的图像，并作为辅助图像输出。代表图像及数据临时存储部25A存储从照相机10发送过来的代表图像、和存储在辅助数据部6中的与代表图像相关联地发送过来的摄影日期时刻等信息。

图像记录部26记录存储在照相机10的图像记录部2中的通过幻灯片放映来再现显示的摄影图像等。相关信息检索部27检索与辅助图像(音乐CD或影像DVD等的封套等)相关的信息，例如与音乐CD相关的作曲家名、艺术家名等。

顺序再现部28以记录在图像记录部26中的摄影图像、类似图像、和由数据检索部22检索到的辅助图像、由相关信息检索部27检索到的相关信息为基础，控制这些图像和信息的再现显示的顺序。网络发布部29通过因特网等网络连接到电视机30，将由顺序再现部28顺序输出的摄影图像和辅助图像等发送给电视机30。电视机30是大屏幕电视机，用于再现显示从网络发布部29发布的图像和信息。

下面，使用图11说明本实施方式的动作。从由照相机10拍摄的摄影图像12中指定代表图像12a(图中的No.4图像)，通过网络19发送给服务器40。另外，除代表图像12a外，也一并发送在幻灯片放映中使用的全部摄影图像(图中No.1～No.3)。服务器40从作为数据库的内容封套记录部21中检索类似图像，把一致性最大的图像作为辅助图像22。

服务器40在类似图像及数据检索部22中检索类似图像，并检索相关信息。并且，顺序再现控制部28按照摄影日期时刻顺序依次将摄影图像通过网络发布部29、网络19发送给电视机30，电视机30进行再现显示。并且，在幻灯片放映的最后，发送代表图像12a，然后再现显示与该代表图像12a类似的辅助图像22。

在该实施方式中，发送与代表图像12a类似的基于DVD的封套图像的辅助图像22，在再现显示该辅助图像22后，再现收录在该DVD中的动态图像120。在该示例中，在幻灯片放映了作为维也纳之旅的回忆的照片后，再现以维也纳为题材的DVD的动态图像120。

在第1和第2实施方式中，说明了把对应于代表图像12a的辅助图像22置于开头进行显示的示例，但在本实施方式中，最后再现辅助图像22，进行对欣赏者留下最深印象的幻灯片放映。当然，除在最后再现外，也可以在幻灯片放映的中途烘托氛围高潮的位置再现代表图像12a。该再现的定时可以由用户任意设定。并且，还可以按照代表图像12a的再现顺序确定辅助图像22的再现顺序。另外，也可以不在电视机30上再现显示，而与第1和第2实施方式相同，利用照相机10进行再现显示。

另外，在显示基于摄影图像12的幻灯片放映的最后的图像后，接着欣赏完检索到的DVD的影像、例如旅行照片，然后欣赏以相同位置为舞台的电影或纪录片，由此激发旅情，可以陷入回忆中。

下面，使用图12和图13说明本发明的第3实施方式的变形例。在第1～第3实施方式中，在显示部上顺序地显示一个图像，但在该第1变形例中是显示多个。即，如图12所示，在电视机30的屏幕是大屏幕时，可以在一个屏幕上显示多个图像，所以不必拘泥于时分显示。还可以实现在电视机30的大屏幕上排列多个摄影图像并进行切换，同时再现DVD的应用方式。另外，该第3实施方式的变形例的结构与图10所示第3实施方式的结构相同，所以省略具体说明。

并且，在第1～第3实施方式中，由用户指定代表图像，获取辅助图像，但也可以通过执行图13所示的辅助内容确定的流程图，从摄影图像中自动选择辅助图像。

在进入辅助内容确定的流程后，首先选择最初的摄影图像(S201)。然后，从内容封套记录部21中检索与选择的摄影图像类似的图像(S203)。临时记录类似程度在预定值以上的内容(图像)(S203)。然后，从摄影图像中选择下一个图像(S204)。

在选择了其他图像后，然后判定是否已没有摄影图像(S205)。在判定结果是还有下一个摄影图像时，返回步骤S202，重复前面叙述的步骤，记录类似程度在预定值以上的内容。在步骤S205的判定结果是已没有摄影图像时，即已对全部摄影图像结束了检索时，检索预定次数以上，把在步骤S203中临时记录的内容作为辅助内容(辅助图像)并发送(S206)。关于发送，在像第1和第2实施方式那样利用照相机10进行再现显示时是发送给照相机10，在像第3实施方式那样通过网络发布给电视机30时是发送给电视机30。

这样，如果是进行几次检索均被检索到的内容，则可以称为与摄影图像的相关性高的辅助内容。例如在为维也纳旅行时，摄影图像中包含许多维也纳的风景，所以可以选择确实与其风土相关的电影和音乐，可以自然地烘托图像再现。

如以上说明的那样，在本发明的各个实施方式中，对代表图像和与内容相关的图像进行比较，检索类似的图像作为辅助图像，在进行幻灯片放映时，在再现显示辅助图像后再现显示代表图像。因此，即使是脸部之外的图像，也能够检索辅助图像，所以可实现能够适用的图像范围广的效果。并且，不需要生成代表图像，所以能够在短时间内处理。另外，辅助图像是与内容相关的图像，所以可以给予用户期待感和乐趣。

另外，在本实施方式中，关于摄影用的设备使用数码照相机进行了说明，但照相机也可以是数码单反照相机、袖珍数码照相机，当然也可以是内置于手机或便携式信息终端(PDA：PersonalDigitalAssist)等中的照相机。

本发明不限于上述实施方式，在实施阶段中可以在不脱离其宗旨的范围内改变构成要素来具体实施。并且，根据上述各个实施方式公开的多个构成要素的适当组合可以形成各种发明。例如，可以从实施方式所示的所有构成要素中删除几个构成要素。另外，还可以适当组合不同实施方式中的构成要素。

Claims (6)

1.一种图像再现系统，其特征在于，所述图像再现系统具有：

记录部，其记录有与多个图像对应的图像数据；

代表图像选择部，其从记录在所述记录部中的图像数据中选择与代表图像对应的图像；

内容封套记录部，其将内容的封套图像和与所述内容相关的信息作为内容包进行记录；

检索部，其在所述内容封套记录部记录的内容包中检索包含如下的图像的内容包：该图像是与所述代表图像类似的封套图像；和

幻灯片放映再现部，其把由所述检索部检索到的内容包中包含的所述封套图像作为构成幻灯片放映的图像的一部分再现，并再现所述内容包中包含的与所述内容相关的信息以及所述多个图像。

2.根据权利要求1所述的图像再现系统，其特征在于，

所述检索部，在检索与代表图像类似的封套图像时，在与数据库图像的纵横尺寸比一致的范围中、并且忽视文字部分进行检索。

3.根据权利要求1所述的图像再现系统，其特征在于，

所述检索部，判定所述代表图像中是否有脸部，在判定结果是有脸部时，从数据库中选择具有脸部的图像；在判定结果是没有脸部时，从数据库中选择没有脸部的图像。

4.根据权利要求1所述的图像再现系统，其特征在于，所述内容包括以下的任一种：漫画、动画、电视节目、电影、音乐CD和音乐DVD。

5.根据权利要求1所述的图像再现系统，其特征在于，与所述内容相关的信息包括：音乐或歌词。

6.一种图像再现方法，其特征在于，所述图像再现方法包括：

记录有与多个图像对应的图像数据；

从记录的图像数据中选择与代表图像对应的图像；

将内容的封套图像和与所述内容相关的信息作为内容包进行记录；

在记录的内容包中检索包含如下的图像的内容包：该图像是与所述代表图像类似的封套图像；和

把检索到的内容包中包含的所述封套图像作为构成幻灯片放映的图像的一部分再现，并再现所述内容包中包含的与所述内容相关的信息以及所述多个图像。