CN100454312C - 信息处理设备、方法和程序产品 - Google Patents

Abstract

本发明涉及信息处理设备、方法和程序产品，其中的信息处理设备包括特征抽取装置，用于在彼此相关联的多个图像中抽取指定图像的特征，图像确定装置，用于基于抽取的特征确定指定图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像，以及元数据添加装置，用于当确定指定图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，向多个图像中的另一图像添加是字符串的字符串数据的第一元数据。

Description

信息处理设备、方法和程序产品

相关申请的交叉对比

本发明根据35U.S.C.§119要求2006年3月27日提交日本专利局的日本专利申请JP 2006-086130的优先权，该文献全部内容在此结合以作参考。

技术领域

本发明涉及一种信息处理设备、方法和程序产品。特别地，本发明涉及信息处理设备、方法和程序产品，其能够基于元数据对内容分组，以生成新的内容。

背景技术

在相关技术中，诸如HDD(硬盘驱动器)记录器或个人计算机这样的设备使用添加到内容的元数据能够搜索内容。然而这种情形下，用户必须主动提示设备为了搜索用户想选择什么元数据。此外，用户最后还要选择其上显示搜索结果的一个列表中的一个内容。

例如当通过普通胶片照相机摄取的照片保存在相册中时，根据事件、它们被摄取的地点或它们被摄取的日期，它们能够保存在不同相册或不同的页面中。此外，能够把与摄取的照片相关的收据、小册子、票据等一同保存。因而当数年过后搜索照片时，基于作为关键字的日期或事件名称，根据分类的相册或页面，能够找到照片。

此外，有一个例子，其中照相胶片图像被转换为电子图像，通过添加附加的信息诸如拍摄的日期和地点，作为电子数据被保存和管理，并且其中记录了图像的照相胶片通过使它们与电子数据相关联而被保存(例如参考JP-A-10-143631(专利文献1))。

发明内容

然而，在相关技术的硬盘记录器或个人计算机中，难以按传统胶片照相机摄取的照片相册那样的方式通过与收据、小册子或票据相关联，存储诸如照片和运动图画这样的内容。

本发明的作出是鉴于以上的问题，希望基于例如从收据、小册子、票据等产生的元数据对内容进行分组。

根据本发明一个实施例的信息处理设备包括特征抽取装置，用于在彼此相关联的多个图像中抽取指定图像的特征，图像确定装置，用于基于抽取的特征确定指定图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像，以及元数据添加装置，用于当确定指定图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，向多个图像中的另一图像添加是字符串的字符串数据的第一元数据。

特征抽取装置能够抽取出现在指定图像中的字符串的特征。

特征抽取装置能够抽取指定图像的特征，并识别出现在指定图像中的字符串。

该信息处理设备还包括元数据抽取装置，用于抽取添加到彼此相关联的多个图像的第二元数据，以及分组装置，用于基于抽取的第二元数据把多个图像分成组。

该信息处理设备还包括元数据抽取装置，用于抽取添加到彼此相关联的多个图像的第二元数据，以及生成装置，用于生成其中基于抽取的第二元数据被分组的多个图像根据分组被编排的内容。

生成装置能够在内容被显示时，根据第一元数据或第二元数据在内容中设置背景图像作为多个图像的背景及多个图像的编排。

该信息处理设备还包括共用元数据数目确定装置，用于确定向其添加第一元数据和第二元数据中相同元数据的图像数是否大于规定阈值，以及当确定向其添加第一元数据和第二元数据中相同元数据的图像数大于规定阈值时，生成装置能够生成一内容，在该内容中，基于第一元数据或第二元数据被分组的多个图像根据分组被编排。

该信息处理设备还包括同义词获取装置，用于向其作为词添加了第一元数据或第二元数据的每一图像获取第一元数据或第二元数据的同义词，以及共用元数据数确定装置，用于确定向其添加第一元数据和第二元数据中相同元数据的图像数是否不小于规定阈值，并当确定向其添加第一元数据和第二元数据中相同元数据的图像数不小于规定阈值时，生成装置能够生成一内容，在该内容中，基于各图像的第一元数据、第二元数据或同义词被分组的多个图像根据分组被编排。

该信息处理设备还包括显示控制单元，用于控制内容的显示。

根据本发明一个实施例的一种信息处理方法包括以下步骤，在彼此相关联的多个图像中抽取指定图像的特征，基于抽取的特征确定指定图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像，以及当确定指定图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，向多个图像中另一图像添加是字符串的字符串数据的第一元数据。

根据本发明一个实施例的一种程序产品包括以下步骤，在彼此相关联的多个图像中抽取指定图像的特征，基于抽取的特征确定指定图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像，以及当确定指定图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，向多个图像中另一图像添加是字符串的字符串数据的第一元数据。

根据本发明的一个实施例，抽取多个彼此相关的图像中指定图像的特征，基于抽取的特征判断指定图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像，并当确定指定的图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，向多个图像中的另一图像添加是字符串的字符串数据的第一元数据。

如上所述，根据本发明的一个实施例，能够生成内容。而且根据本发明的一个实施例，能够基于例如通过收据、小册子、门票等产生的元数据对内容分组。

附图说明

图1是一框图，表示根据本发明一个实施例HDD记录器的一例；

图2是一框图，表示HDD记录器控制单元的示例性配置；

图3的图示表示图像簇的一例；

图4的图示表示对图像簇进一步进行分簇的例子；

图5是一流程图，说明添加元数据过程的一例；

图6是一流程图，说明生成剪贴簿的一例；

图7的图示表示背景模板的例子；

图8的图示表示编排模板的例子；

图9的图示表示剪贴簿中指定页的一个配置例子；

图10的图示表示剪贴簿的一配置例；

图11是一流程图，说明剪贴簿自动产生过程一例；

图12是一流程图，说明向剪贴簿添加一图像过程的一例；

图13是一流程图，说明添加元数据过程的另一例；

图14是一流程图，说明显示剪贴簿过程一例；

图15的图示表示显示剪贴簿表的一例；

图16的图示表示显示剪贴簿表的另一例；

图17的图示表示显示剪贴簿表的另一例；以及

图18的示意图表示个人计算机一个配置的例子。

具体实施方式

以下将说明本发明的实施例，本发明的构成特征与说明书中描述的实施例及附图之间的对应关系在以下示例说明。该说明是要确认，在说明书和附图中写出了支持本发明的实施例。因而，如果有实施例在说明书和附图中写出，但在此没有作为对应于本发明一个构成特征的实施例写出，这并不意味着该实施例不对应于该构成的特征。反之，如果在此写出的实施例作为对应于一个构成特征的实施例，这并不意味着该实施例不对应于另外的构成特征。

根据本发明一个实施例的信息处理设备包括特征抽取装置(例如体图2中的特征抽取单元54)，用于在彼此相关联的多个图像中抽取指定图像的特征，图像确定装置(图2中的图像确定单元55)，用于基于抽取的特征确定指定图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像，以及元数据添加装置(例如图2中的元数据添加单元56)，用于当确定指的图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，向多个图像中的另一图像添加是字符串的字符串数据的第一元数据。

特征抽取装置能够抽取是出现在指定图像中的字符串的特征(例如图5中的步骤S13)。

特征抽取装置能够抽取指定图像的特征，并识别出现在指定图像中的字符串(例如图5中的步骤S14)。。

该信息处理设备还包括元数据抽取装置(例如图2中的元数据抽取单元57)，用于抽取添加到彼此相关联的多个图像的第二元数据，以及分组装置(例如图2中的计算单元72)，用于基于抽取的第二元数据把多个图像分成组。

该信息处理设备还包括生成装置(图2中的内容生成装置58)，用于生成其中基于抽取的第二元数据被分组的多个图像根据分组被编排的内容。

生成装置能够在内容被显示时(例如图6中步骤S36和步骤S39)，根据第一元数据或第二元数据设置背景图像作为多个图像的背景及多个图像内容的编排。

该信息处理设备还包括共用元数据数目确定装置(例如图2中的共用元数据数目确定单元59)，用于确定向其添加第一元数据和第二元数据中相同元数据的图像数是否不小于规定阈值，以及当确定向其添加第一元数据和第二元数据中相同元数据的图像数不小于规定阈值时(例如图11中步骤S64到步骤S70)，生成装置能够生成一内容，在该内容中，基于第一元数据或第二元数据被分组的多个图像根据分组被编排。

该信息处理设备还包括同义词获取装置(例如图2中的同义词获取单元60)，用于对向其作为词添加了第一元数据或第二元数据的每一图像获取第一元数据或第二元数据的同义词。

该信息处理设备还包括显示控制单元(例如图2中的显示控制单元53)，用于控制内容的显示。

根据本发明一个实施例的一种信息处理方法包括以下步骤，在彼此相关联的多个图像中抽取指定图像的特征(例如图5中步骤S12和步骤S13)，基于抽取的特征确定指定图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像(例如图5中步骤S15)，以及当确定指定图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，向多个图像中的另一图像添加是字符串的字符串数据的第一元数据(例如图5中步骤S18)。

根据本发明一个实施例的一种程序产品包括以下步骤，在彼此相关联的多个图像中抽取指定图像的特征(例如图5中步骤S12和步骤S13)，基于抽取的特征确定指定图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像(例如图5中步骤S15)，以及当确定指定图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，向多个图像中的另一图像添加是字符串的字符串数据的第一元数据(例如图5中步骤S18)。

图1是一框图，表示根据本发明一个实施例HDD记录器配置的的一例；

图1的HDD记录器记录并播放从未示出的外部设备提供的AV(音频视频)信号，或作为从未示出的模拟调谐器或未示出的线路调谐器提供的模拟信号输入的视频和音频信号。HDD记录器1向连接到外部的监视器2输出播放的视频信号。HDD记录器还向连接到外部的扬声器3输出播放的音频信号。

提供AV信号的外部设备例如是通过i.LINK(索尼公司注册商标)连接的外部设备、数字BS(广播卫星)调谐器、数字CS(通信卫星)调谐器、数字摄像机、数字静态相机、扫描仪等。

驱动器4如果需要连接到HDD记录器1。如果需要在驱动器4上安装可移除的介质，诸如磁盘(包括软盘)、光盘(包括CD-ROM(小型盘只读存储器)及DVD(数字通用盘))、磁光盘、或半导体存储器，在它们之间供给或接收数据。

HDD记录器1包括编解码器11、采样率转换器12、模拟输入处理单元13、A/D转换器14、切换单元15、NTSC(国家电视制式委员会)解码器16、编码器17、记录和回放单元18、操作单元19、控制单元20、解码器21、NTSC编码器22、及D/A转换器23。

编解码器11解压缩从未示出的外部设备提供的AV信号中的数字视频信号，以将其提供给NTSC解码器16。

采样率转换器12把从未示出的外部设备提供的AV信号中的数字音频信号的采样率转换为不同的采样率。采样率转换器12把转换的数字音频信号提供给切换单元15。

模拟输入处理单元13基于从控制单元20提供的指示用户在操作单元19的操作的一个信号，选择从未示出的模拟调谐器或未示出的线路调谐器提供的模拟信号之一。模拟输入处理单元13把在选择的模拟信号中的模拟视频信号提供给NTSC解码器16。模拟输入处理单元13还把在选择的模拟信号中的模拟音频信号提供给A/D转换器14。

A/D转换器14对从模拟输入处理单元13提供的模拟音频信号进行A/D转换。A/D转换器14把从A/D转换器14得到数字音频信号提供给切换单元15。

切换单元15基于从控制单元20提供的指示用户在操作单元19的操作的一个信号，选择从采样率转换器12提供的数字音频信号和从A/D转换器14提供的数字音频信号之一。切换单元15把所选择的数字音频信号提供给NTSC解码器16。

NTSC解码器16把从编解码器11提供的数字视频信号或从模拟输入处理单元13输入的模拟视频信号，转换为NTSC制式的数字视频信号。NTSC解码器16合成被转换的NTSC制式的数字视频信号和从切换单元15提供的数字视频信号。

当向HDD记录器1记录输入的视频信号和音频信号时，NTSC解码器向编码器17提供作为合成信号的数字AV信号。另一方面，当输入到HDD记录器1的视频信号和音频信号没有被记录并被直接回放时，NTSC解码器16把数字AV信号作为合成信号提供给稍后所述的NTSC编码器22和D/A转换器23。

编码器17对于从NTSC解码器提供的数字AV信号，进行符合规定系统诸如MPEG(运动图像专家组)系统的编码处理。编码器17把压缩的和编码的信号数据作为编码处理的结果提供给记录和回放单元18。

记录和回放单元18例如包括硬盘、光盘等。记录和回放单元18记录从编码器17提供的信号数据。记录和回放单元18还把记录的信号数据提供给解码器21。就是说，记录和回放单元18回放所记录的信号数据。

操作单元19例如包括各种操作按钮、键或触摸扳。用户操作操作单元19，以输入用于记录器1的指令。操作单元19根据用户的操作向控制单元20提供指示由用户进行的操作的信号。

控制单元20例如包括微处理器等，其基于从操作单元19提供的指示用户的操作的信号，控制整个HDD记录器1。

解码器21对于从记录和回放单元18提供的信号数据，进行符合以上系统诸如MPEG(运动图像专家组)系统的解码处理。解码器21向NTSC编码器22提供作为处理结果被解压缩和被解码的数字AV信号中的数字视频信号。解码器21还把被解压缩和被解码的数字AV信号中的数字音频信号，作为处理结果提供给D/A转换器23。

NTSC编码器22把从解码器21提供的数字视频信号转换为NTSC制式的视频信号。NTSC编码器22向监视器2提供被转换的视频信号。

D/A转换器23对从解码器21提供的数字音频信号进行D/A转换。D/A转换器23把转换结果的音频信号提供给扬声器3。

根据以上的配置，HDD记录器1能够记录并回放输入的视频信号和音频信号。

图2是一框图，表示图1的HDD记录器1的记录和回放单元18及控制单元20的配置的例子。

记录和回放单元18包括图像数据库31、模板数据库32、内容数据库33和词典数据库34。以下图像数据库31称为图像DB31，模板数据库32称为模板DB32，内容数据库33称为内容DB33，词典数据库34称为词典DB34。

图像DB31通过使其与指示图像属性的元数据相关联，存储作为从图1的编码器17提供的图像的数据的图像数据。

当显示作为记录在内容DB33中内容的剪贴簿时，模板DB32记录背景模板，其作为编排在剪贴簿中的图像背景的背景图像数据，编排模板，其作为用来设置图像在剪贴簿中编排的信息，以及元数据，其通过使它们相关联指示背景模板或编排模板的属性。

内容DB33记录剪贴簿的数据，它们是通过元数据被分组的图像根据分组编排的内容。内容的细节将稍后说明。

词典DB34作为字词记录各种词典的数据，诸如日语词典、英-日词典、日-英词典和辞典。

控制单元20包括选择单元51、记录与回放控制单元52、显示控制单元53、特征抽取单元54、图像确定单元55、元数据添加单元56、元数据抽取单元57、内容生成单元58、共用元数据数目确定单元59及同义词获取单元60。

选择单元51基于从操作单元19提供的指示用户操作的信号，向记录与回放控制单元52提供指示由用户操作的指令的信息。

选择单元51基于从操作单元19提供的指示用户为选择在监视器2上显示的图像、背景模板或剪贴簿所作操作的信号，向记录与回放控制单元52提供指示由用户选择的图像、背景模板或内容的信息。

选择单元51基于从操作单元19提供的指示用户为选择在其中存储图像的指定文件夹所作操作的信号，向记录与回放控制单元52提供指示由用户选择的指定文件夹的信息。

选择单元51从由记与回放控制单元52读出的图像的图像数据，选择指定图像数据。

此外，选择单元51基于从操作单元19提供的指示用户为选择用于确定向其添加了相同元数据的图像的数目而设置阈值所作的操作的信号，向共用元数据数确定单元59提供指示由用户设置的阈值的信息。

记录与回放控制单元52控制由记录与回放单元18进行的记录或回放。记录与回放控制单元52从记录与回放单元18读出图像数据、背景模板、编排模板或剪贴簿数据。

记录与回放控制单元52基于从选择单元51提供的指示由用户选择的指定文件夹的信息，读出在指定文件夹中存储的图像数据。

记录与回放控制单元52把读出的图像数据提供给特征抽取单元54。记录与回放控制单元52还在记录和回放单元18中，存储新读出的并向其添加了从元数据添加单元56提供的元数据的图像数据。

此外，记录与回放控制单元52把读出的图像数据、背景模板、编排模板或剪贴簿数据提供给内容生成单元58。

显示控制单元53基于由记录与回放控制单元52读出的图像数据、背景模板、编排模板或剪贴簿数据，控制解码器21中的解码处理。

特征抽取单元54抽取从记录与回放控制单元52提供的图像数据中图像的特征。具体来说，特征抽取单元54抽取从记录与回放控制单元52提供的图像数据中图像的边缘和平滑部分的特征。特征抽取单元54还抽取包含在从记录与回放控制单元52提供的图像数据的图像中的字符串区域。

进而，特征抽取单元54包括特征识别单元71。特征识别单元71识别被抽取的字符串区域中的字符。

特征抽取单元54向图像确定单元55提供特征量和被识别的字符串的字符，该特征量表示被抽取的图像的边缘和平滑部分的特征的量。

基于表示从特征抽取单元54提供的图像的边缘和平滑部分的特征量和被识别的字符串的字符，图像确定单元55确定由记录和回放控制单元52读出的图像是否是其上写有字符串的证书、收据、门票或票据的表面的图像。当确定由记录和回放控制单元52读出的图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，图像确定单元55基于识别出的字符串的字符获取字符串数据。

图像确定单元55把获取的字符串数据提供给元数据添加单元56。

元数据添加单元56向记录与回放控制单元52，提供作为从图像确定单元55提供的字符串数据的元数据。具体来说，元数据添加单元56把从图像确定单元55提供的字符串数据，作为元数据添加到由记录与回放控制单元52新读出的图像数据。

元数据抽取单元57抽取添加到由记录与回放控制单元52读出的图像数据的元数据。元数据抽取单元57把抽取的元数据提供给内容生成单元58。

此外，元数据抽取单元57确定抽取的元数据中是否有共用的元数据。当确定了有共用的元数据时，元数据抽取单元57计算共用的元数据数目，即添加有相同元数据的图像数目，并将其提供给共用元数据数目确定单元59。元数据抽取单元57把共用的元数据提供给内容生成单元58。

内容生成单元58，基于从元数据抽取单元57提供的元数据，或从稍后将说明的同义词获取单元60提供的同义词，生成作为内容的剪贴簿，在该内容中，按分组编排了由记录与回放控制单元52读出并根据元数据或同义词划分为组的多个图像。内容生成单元58包括计算单元72和模板设置单元73。

计算单元72基于从元数据抽取单元57提供的元数据，或从同义词获取单元60提供的同义词，把多个图像根据元数据或同义词划分为组。计算单元72包括分簇单元91和层次决策单元92。

分簇单元91基于从元数据抽取单元57提供的元数据，或从同义词获取单元60提供的同义词，进行图像的分簇。在美国专利申请No.11/523,515(2006年9月20日提交)中描述了一个示例性分簇单元，该文献在此结合以作参考。

分层决策单元92基于从元数据抽取单元57提供的元数据，或从同义词获取单元60提供的同义词，作为由分簇单元91分簇的结果决策簇的层次。

将参照图3和图4说明根据元数据由计算单元72进行多个图像分组的过程。

图3的视图表示图像组(簇)的一例。

图3中，图像p1到p25表示记录在记录与回放单元18的图像DB 31中的图像。图3中的一个矩形表示一个图像，然而，在实施本发明时可使用任何形状的图像。此外，元数据分别添加到图像p1到p25。

在图3的例子中，“婚礼”作为表示一个事件的元数据被添加到图像p1到p12。“樱花观赏”作为表示一个事件的元数据被添加到图像p13到p19。“公司差旅”作为表示一个事件的元数据被添加到图像p20到p25。

分簇单元91基于添加到图像p1到p25表示事件的元数据，进行图像的分簇。

具体来说如图3所示，分簇单元91产生包含图像p1到p12的簇，包含图像p13到p19的簇及包含图像p20到p25的簇。

图4的视图表示对于图3中的图像的组(簇)进一步进行分簇的一例。

图像p1到p25具有元数据，其不同于表示事件“婚礼”、“樱花观赏”和“公司差旅”的元数据。具体来说，图像p1到p25包含“教堂的婚礼”、“招待会”、“宴会之后”、“樱花”、“盛宴”、“狗”和“温泉”的元数据。

分簇单元91基于被添加到图像p1到p25表示事件的元数据进行图像的分簇。基于作为表示事件的元数据的“婚礼”、“樱花观赏”和“公司差旅”，以及作为子事件(它们是事件的更低层事件)元数据的“教堂的婚礼”、“招待会”、“宴会之后”、“樱花”、“盛宴”、“狗”和“温泉”，分层决策单元92作为由分簇单元91分簇的结果决策簇层次。

具体来说如图4所示，分簇单元91和分层决策单元92产生包含图像P1到P3的簇，包含图像P4到P7的簇，包含图像P8到P12的簇，包含图像P13到P14的簇，包含图像P15到P17的簇，包含图像P18到P19的簇，包含图像P20到P22的簇，及包含图像P23到P25的簇。

以上产生的簇形成要生成的剪贴簿的页。

返回图2，模板设置单元73允许记录与回放控制单元52，依赖于从元数据抽取单元57提供的元数据，或从同义词获取单元60提供的同义词，从记录与回放单元18读出背景模板和编排模板。模板设置单元73对产生的簇设置读出的背景模板和编排模板。

内容生成单元58通过记录与回放控制单元52在记录与回放单元18的内容DB 33中存储剪贴簿，其中根据元数据或同义词被分组的多个图像按组编排，并设置背景模板和编排模板。

共用元数据数目确定单元59确定向其添加了相同元数据并从元数据抽取单元57提供的图像的数目，是否不小于从选择单元51获取的规定阈值。当确定向其添加了相同元数据的图像的数目不小于规定阈值时，共用元数据数目确定单元59把信息提供给内容生成单元58，该信息指示向其添加了相同元数据的图像的数目不小于规定阈值。

同义词获取单元60对向其添加了元数据的每一图像获取元数据的同义词。具体来说，从记录与回放单元18中的字典DB 34获取添加到由记录与回放控制单元52读出的图像数据的元数据的同义词。同义词获取单元60把获取的同义词提供给内容生成单元58。

以下将说明在HDD记录器1中添加元数据的过程。

当图像被记录在记录或回放单元18中的指定文件夹时，HDD记录器1的控制单元20启动该过程。

图5是一流程图，表示在HDD记录器1中添加元数据过程的一例。

在步骤S11，记录与回放控制单元52记录在记录或回放单元18中的指定文件夹中记录的图像的图像数据。选择单元51从由记录与回放控制单元52读出的图像数据选择一定的图像数据。记录与回放控制单元52把选择的图像数据提供给特征抽取单元54。

在步骤S12，特征抽取单元54从记录与回放控制单元52提供的图像数据中抽取图像的边缘和平滑部分的特征。特征抽取单元54能够抽取图像数据中图像的样式重复的特征，或抽取图像动态范围或活动性的特征。就是说，特征抽取单元54抽取在从人物或景物图像分辨证书、收据、门票或票据的图像时能够使用的特征。

在步骤S13，特征抽取单元54抽取包含在从记录与回放控制单元52提供的图像数据的图像中的字符串区域。例如，特征抽取单元54基于在步骤S12中检测的边缘位置，由被检测的边缘围绕的区域的拓扑结构等，抽取字符串特征区域。

在步骤S14，字符识别单元71识别包含在所抽取区域的图像中字符串的字符。特征抽取单元54把特征量和识别出的字符串的字符提供给图像确定单元55，特征量表示被抽取图像的边缘和平滑部分的特征量。

在步骤S15，图像确定单元55，基于从特征抽取单元54提供的表示图像边缘和平滑部分的特征的量的特征量，以及所识别的字符串的字符，确定由记录与回放控制单元52读出的图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像。就是说，图像确定单元55确定所选择的图像是证书、收据、门票和票据的图像，还是人物或景物的图像。例如，在大小几乎相同的20个或更多字符包含在图像中的情形下，或在大小几乎相同的10个或更多字符包含在图像中，字符的边缘占全部边缘80％或更多，且平滑部分占图像60％或更多的情形下，图像确定单元55确定该图像是证书、收据、门票或票据的表面之一。

在步骤S15，当确定由记录与回放控制单元52读出的图像是其上写有字符的证书、收据、门票或票据的表面的图像时，过程进到步骤S16。

在步骤S16，图像确定单元55基于识别出的字符串获取字符串数据。图像确定单元55把获取的字符串数据提供给元数据添加单元56。

在步骤S17，选择单元51从由记录与回放控制单元52读出的图像数据选择另一图像数据。

在步骤S18，元数据添加单元56提供元数据，该元数据是从图像确定单元55向记录与回放控制单元52提供的字符串数据。具体来说，元数据添加单元56把从图像确定单元55提供的字符串数据作为元数据，添加到由记录与回放控制单元52新读出的图像数据的另一图像，且该过程结束。

另一方面，在步骤S15，当确定由记录与回放控制单元52读出的图像不是其上写有字符串的证书、收据、门票或票据的表面的图像时，该过程结束。

返回步骤S11，较好的是从读出的图像中选择下一个图像，并对于所有读出的图像顺序施加以上过程。

如上所述，HDD记录器1可向另一图像添加收据、门票或票据的表面的字符串的字符串数据作为元数据。

以下将说明在HDD记录器1生成剪贴簿的过程。

例如当操作单元19被操作且控制单元20接收用于生成剪贴簿的过程的指令时，HDD记录器1的控制单元20启动该过程。

图6是一流程图，表示在HDD记录器1中生成剪贴簿过程的一例。

在步骤S31，选择单元51基于从操作单元19提供的指示用户为选择其中存储图像的指定文件夹的操作的信号，向记录与回放控制单元52提供指示由用户选择的指定文件夹的信息。记录与回放控制单元52基于从选择单元51提供的指示由用户选择的指定文件夹的信息，读出存储在指定文件夹中的图像数据。记录与回放控制单元52向元数据抽取单元57和内容生成单元58提供读出的图像数据。

在步骤S32，内容生成单元58确定是否自动生成了剪贴簿。具体来说，内容生成单元58基于从操作单元19提供的信号，该信号指示由用户为选择剪贴簿是否自动生成的所作操作，例如点击自动生成按钮，确定剪贴簿是否自动生成。

当在步骤S32确定剪贴簿自动生成时，过程进到步骤S33。

在步骤S33，元数据抽取单元57抽取被添加到图像数据的元数据，该图像数据存储在由记录与回放控制单元52读出的指定文件夹中。元数据抽取单元57把抽取的元数据提供给内容生成单元58。

在步骤S34，内容生成单元58中的计算单元72基于抽取的元数据按事件进行图像的分簇。就是说，分簇单元91基于表示事件的元数据把图像划分为组，这些事件被添加到存储在指定文件夹中的图像数据。

在步骤S35，内容生成单元58中的模板设置单元73读出向其添加了对应于各分簇事件的元数据的背景模板。就是说，模板设置单元73允许记录与回放控制单元52，根据从元数据抽取单元57提供的元数据，从记录与回放单元18读出背景模板。

在步骤S36，模板设置单元73设置读出的背景模板，即对于分簇的数据簇向其添加了对应于事件的元数据的背景模板。

图7的视图表示背景模板配置的例子。图7所示的背景模板111-1到111-3分别包含元数据。模板设置单元73设置具有元数据的背景模板，这些元数据对应于添加到图像数据的元数据，该图像数据产生按事件分簇的事件簇。

在步骤S37，计算单元72基于添加到各事件的图像的元数据，根据子事件进行图像分簇。就是说，计算单元72根据子事件把图像划分为组，以便根据子事件划分页面中的图像。

在步骤S38，模板设置单元73，依赖于根据各子事件分簇的图像数目，按页面读出编排模板。

在步骤S39，模板设置单元73按页面对各页面设置读出的编排模板。

图8是一视图，表示编排模板的配置的例子。图8中所示的编排模板131-1到131-3分别包括元数据。模板设置单元73设置对应于添加到图像数据的元数据的编排模板，这些图像数据产生按子事件分簇的子事件簇，并设置子事件各页面中的图像数。

图9的视图表示在要生成的剪贴簿中指定页面配置的例子。

在图9的例子中，背景模板111和编排模板131设置在页面151中。背景模板111例如具有与编排在页面151中四个图像的元数据相同的元数据。根据编排模板131，例如能够进行四个图像的编排。此外，在页面151中显示了一个注释“○△□×2005”。用户通过对操作单元19的操作可在页面151中任何位置设置任意注释。

在步骤S40，内容生成单元58通过记录与回放控制单元52在记录与回放单元18的内容DB 33中提供并记录剪贴簿，其中按组编排了根据元数据分组的多个图像，并设置背景模板和编排模板，然后该过程结束。

图10的视图表示要生成的剪贴簿配置的例子。

在图10的例子中，剪贴簿171包括从页151到页155的5个页面。编排在剪贴簿171中的页151到页155中的所有图像包含表示同一事件的元数据。在剪贴簿171中设置对应于该元数据的背景模板111。页151是剪贴簿171的扉页。以同页面151相同的方式在页面152到155中编排分别与编排模板131包含规定数目的图像。

证书、收据、门票或票据的表面的图像最好也编排在页面151到页155中至少之一中。

另一方面，在步骤S32，当确定没有自动生成剪贴簿时，该过程进到步骤S41。在步骤S41到步骤S46，人工生成剪贴簿。

在步骤S41，选择单元51基于从操作单元19提供的指示由用户为从读出文件夹选择图像所作的操作的信号，把指示在由用户选择的指定文件夹中的图像的信息提供给记录与回放控制单元52。记录与回放控制单元52基于从选择单元51提供的指示由用户选择的图像的信息，读出存储在指定文件夹中并由用户选择的图像数据。记录与回放控制单元52把选择的图像数据提供给内容生成单元58。

在步骤S42，内容生成单元58中的计算单元72把在步骤S41选择的图像数据分组在一个簇中。

在步骤S43，选择单元51基于由操作单元19提供的指示由用户为选择背景模板所作操作的信号，把指示由用户选择的背景模板的信息提供给记录与回放控制单元52。

在步骤S44，记录与回放控制单元52基于从选择单元51提供的指示由用户选择的背景模板的信息，从记录与回放单元18读出背景模板。

在步骤S45，模板设置单元73从记录与回放控制单元52获取所选择的背景模板。模板设置单元73把从记录与回放控制单元52获取的背景模板设置到其中图像被分组的簇。

在步骤S46，计算单元72基于添加到该组图像的元数据按子事件进行图像的分簇，把图像根据子事件分成页面，且过程进到步骤S38。

于是，HDD记录器1能够生成剪贴簿，其中按组编排了根据元数据被分组的多个图像。

剪贴簿可通过从图像数据新产生的图像数据的组合形成，或剪贴簿可以是被编辑的数据，它们是通过参考图像数据指示图像显示位置的数据。

此外，剪贴簿可链接到多个其它剪贴簿。具体来说，例如使添加到编排在各剪贴簿中的图像的规定的元数据彼此相关联，剪贴簿可彼此链接。例如，最好还允许编排有相同图像的剪贴簿彼此链接。

以下将说明HDD记录器1中剪贴簿自动产生的过程。

例如当图像添加到记录与回放单元18中的图像DB31时，HDD记录器1的控制单元20执行剪贴簿自动产生的过程。例如最好在记录在图像DB31中的图像数变成规定数时，进行剪贴簿自动产生的过程。而且最好例如按预定的间隔，进行剪贴簿自动产生的过程。

图11是一流程图，表示HDD记录器1中剪贴簿自动产生的过程的一例。

在步骤S61，记录与回放控制单元52从记录与回放单元18读出所有没有存储在剪贴簿中的图像数据。元数据抽取单元57抽取添加到没有存储在由记录与回放控制单元52读出的剪贴簿中的所有图像数据的元数据。

在步骤S62，元数据抽取单元57确定在被抽取的元数据中是否有共用的元数据。就是说，元数据抽取单元57确定是否有图像，其被添加了共用的元数据。

在步骤S62，当确定有共用的元数据时，元数据抽取单元57计算共用元数据的数目，即向其添加了相同元数据的图像的数目，把该数目提供给共用元数据数确定单元59，然后过程进到步骤S63。

在步骤S63，共用元数据数确定单元59确定添加有相同元数据并从元数据抽取单元57提供的图像数目，是否不小于从选择单元51获取的规定阈值。在步骤S63，当确定添加有相同元数据的图像数不小于规定阈值时，共用元数据数确定单元59向内容生成单元58提供信息，该信息指示添加有相同元数据的图像数目不小于规定阈值，且元数据抽取单元57把共用元数据提供给内容生成单元58，然后过程进到步骤S64。

在步骤S64，内容生成单元58基于从元数据抽取单元57提供的共用元数据，根据从共用元数据数确定单元59提供的指示添加有相同元数据的图像数不小于预定阈值的信息，在没有存储在由记录与回放控制单元52读出的剪贴簿中存储的图像数据中，获取添加有共用元数据的图像数据。

在步骤S65，同义词获取单元60获取添加到图像数据的元数据的同义词，这些图像数据添加有共用元数据，并由记录与回放控制单元52从记录与回放单元18中的字典DB34读出。同义词获取单元60把获取的同义词提供给内容生成单元58。模板设置单元73基于从元数据抽取单元57提供的元数据或从同义词获取单元60提供的同义词，读出背景模板，向该背景模板添加了从元数据抽取单元57提供的元数据，或对应于从同义词获取单元60提供的同义词的元数据。

在步骤S66，模板设置单元73对添加有共用元数据的图像设置读出的背景模板。

在步骤S67，计算单元72基于添加到添加有共用元数据图像的其它元数，据根据子事件进行图像的分簇。

在图11的流程图中从步骤S68到步骤S70的过程分别与图6流程图从步骤S38到步骤S40的过程相同，因而其说明从略。

在步骤S71，元数据抽取单元57确定在所抽取的元数据中是否没有其它的共用元数据。当在步骤S71确定没有其它的共用数据时，过程结束。

另一方面，在步骤S71，当确定有其它的共用元数据时，过程返回步骤S63，并将重复步骤S63之后的过程。

当在步骤S62确定没有其它共用元数据时，过程结束。此外在步骤S63，当确定添加有相同元数据的图像数小于预定的阈值时，过程结束。

于是，当添加有共用元数据的图像数变为预定的阈值或更大时，HDD记录器1能够自动产生包含添加有共用元数据的图像的剪贴簿。

以下将说明向HDD记录器1中的剪贴簿添加图像的过程。

例如当图像添加到记录与回放单元18中的图像BD31时，HDD记录器1的控制单元20执行向剪贴簿添加图像的过程。向剪贴簿添加图像的过程例如最好在记录在图像DB31中的图像数变为规定阈值时。而且向剪贴簿添加图像的过程例如最好以预定的间隔进行。

图12是一流程图，表示向HDD记录器1中的剪贴簿添加图像的过程的例子。

在步骤S81，记录与回放控制单元52确定是否有剪贴簿包含添加有共用元数据的图像。例如，通过参考历史信息，该信息指示在图11生成剪贴簿的过程中已产生了包含添加有共用元数据图像的剪贴簿，记录与回放控制单元52确定有剪贴簿包含添加有共用元数据的图像。在步骤S81，当确定有剪贴簿添加有共用元数据时，过程进到步骤S82。

在步骤S82，记录与回放控制单元52基于指示已产生添加有共用元数据的剪贴簿的历史信息，从记录与回放单元18读出包含添加有共用元数据的图像的剪贴簿。记录与回放控制单元52还读出没有存储在剪贴簿中的所有图像数据。元数据抽取单元57抽取读出的剪贴簿的元数据及添加到没有存储在剪贴簿中的所有图像数据的元数据。

在步骤S83，元数据抽取单元57确定在所抽取的添加到没有存储在剪贴簿中的所有图像数据的元数据中，是否有添加到剪贴簿的共用元数据。就是说元数据抽取单元57确定是否有另一图像添加有共用元数据。

在步骤S83，当确定有共用元数据时，元数据抽取单元57把该共用元数据提供给内容生成单元58，然后过程进到步骤S84。

在步骤S84，内容生成单元58，基于从元数据抽取单元57提供的共用元数据，从没有存储在由记录与回放控制单元52读出的剪贴簿中的图像数据，选择另一添加有共用元数据的图像数据。内容生成单元58还选择存储在包含添加有共用元数据的图像的剪贴簿中的图像数据。

在步骤S85，计算单元72基于添加到存储在剪贴簿中的图像数据及添加有共用元数据的另一图像的元数据，按子事件进行图像的分簇。

在图12的流程图中从步骤S86到步骤S88的过程分别与图6流程图从步骤S38到步骤S40的过程相同，因而其说明从略。

另一方面，当在步骤S81确定没有包含添加有共用元数据的剪贴簿时，过程结束。

在步骤S83，当确定没有共用元数据时，过程结束。

因而，HDD记录器1能够把图像添加到已经产生并包含添加有共用元数据的图像的剪贴簿。

在以上说明中，HDD记录器1基于先前添加到图像数据的元数据，生成剪贴簿，然而最好把元数据新添加到生成的剪贴簿。

将更具体地解释把元数据添加到HDD记录器1中的过程。

例如当操作单元19被操作且控制单元20获取用于添加元数据过程的指令时，HDD记录器1的控制单元20启动该过程。

图13示出向HDD记录器1中的剪贴簿添加元数据过程的例子。

在步骤S101，选择单元51基于从操作单元19提供的表示由用户为选择在监视器2上显示的剪贴簿所作操作的信号把信息提供给记录与回放控制单元52，该信息指示由用户选择的剪贴簿。记录与回放控制单元52基于所提供的指示由用户选择的剪贴簿的信息，从记录与回放单元18读出由用户选择的剪贴簿的数据。

在步骤S102，选择单元51从由记录与回放控制单元52读出的剪贴簿的数据选择指定图像数据。记录与回放控制单元52把所选择的图像数据提供给特征抽取单元54。

由于在图13的流程图中从步骤S103到步骤S105的过程分别与图5流程图从步骤S12到步骤S14的过程相同，因而其说明从略。

在步骤S106，当确定由记录与回放控制单元52读出的图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，过程进到步骤S107。

在步骤S107，图像确定单元55基于识别出的字符串而获取字符串数据。图像确定单元55把获取的字符串数据提供给元数据添加单元56。

在步骤S108，元数据添加单元56把从图像确定单元55提供的作为字符串的元数据提供给记录与回放控制单元52。具体来说，从图像确定单元55提供的字符串作为元数据添加到由记录与回放控制单元52读出的剪贴簿，然后过程结束。

另一方面，在步骤S106，当确定由记录与回放控制单元52读出的图像不是其上写有字符串的证书、收据、门票、或票据的表面的图像时，过程进到步骤S109。

在步骤S109，基于从操作单元19提供的指示由用户为表示是否从剪贴簿选择了另一图像所作的操作的信号，选择单元51把信息提供给记录与回放控制单元52，该信息指示是否从剪贴簿选择了另一图像。就是说，记录与回放控制单元52确定是否从剪贴簿选择了另一图像。

在步骤S109，当确定从剪贴簿选择了另一图像时，过程返回步骤S102，且过程在步骤S102之后将被重复。

另一方面，当确定在步骤S109没有从剪贴簿选择另一图像时，过程结束。

于是，控制单元20能够把字符串数据作为元收据添加到剪贴簿，其是存储在剪贴簿的证书、收据、门票、或票据的表面的图像的字符串。

以下，将说明显示HDD记录器1中的剪贴簿的过程。

例如当操作单元19被操作且控制单元20获取用于显示剪贴簿的过程的一指令时，HDD记录器1的控制单元20启动该过程。

图14是表示显示剪贴簿过程流程图的例子。

在步骤S121，基于从操作单元19提供的指示由用户为选择表的显示样式所作的操作的信号，选择单元51把信息提供给记录与回放控制单元52，该信息指示在其上显示由用户选择的剪贴簿的表的显示样式，其中显示在监视器2上的剪贴簿被显示在该表上。

在步骤S122，记录与回放控制单元52从记录与回放单元18读出存储的所有剪贴簿。根据所提供的指示其上显示由用户选择的剪贴簿的显示样式的信息，记录与回放控制单元52把为显示剪贴簿的表的显示数据提供给显示控制单元53。HDD记录器1基于由控制单元20的控制在监视器2上显示剪贴簿的表。

在步骤S123，基于从操作单元19提供的信号，该信号指示由用户为从在监视器2上显示的剪贴簿的表选择剪贴簿之一所作的操作，选择单元51把信息提供给记录与回放控制单元52，该信息指示由用户从剪贴簿的表所选择的剪贴簿之一。

图15到图17的视图表示在监视器2上显示的剪贴簿的表的例子。

图15的视图表示以索引的形式显示的剪贴簿的表的例子。在图15的例子中，在监视器2的屏幕191上作为表显示作为各剪贴簿扉页的第一页。用户通过操作操作单元19并移动光标211可选择剪贴簿之一。

图16的视图表示使用日历所显示的剪贴簿表的一例。

监视器2的屏幕191有一显示在左侧的日历显示区，及显示在右侧的预览屏幕显示区。在日历显示区，基于添加到剪贴簿表示日期的元数据，作为各剪贴簿扉页的第一页显示在日历中对应的日期部分。在预览屏幕显示区，显示剪贴簿预览屏幕231-2，其出现在通过光标231-1在日历显示区中选择的日期上。

在图16的例子中，通过光标231-1在表示11月份的日历显示区中选择了11月18日。被显示的是剪贴簿的预览屏幕231-2，其添加了所选择的11月18日的元数据。

图17的视图表示使用映象所显示的剪贴簿表的例子。监视器2的屏幕191包括显示在左侧的映象显示区和在右侧显示的表显示区。在映象显示区，显示了表示指定区域的一个映象。用户能够在所显示的映象上选择指定的地方。在表显示区显示了添加有由用户选择的元数据的剪贴簿的表。

在图17的例子中，通过光标251-1选择了映象显示区的映象中的“Tokyo”。在表显示区中，显示了添加有元数据“Tokyo”的剪贴簿的扉页。用户可从所显示的表选择一个剪贴簿。

于是，可从所显示的剪贴簿的表选择一个剪贴簿。

返回图14，在步骤S124，基于从由用户选择的剪贴簿的表所提供的指示一个剪贴簿的信息，记录与回放控制单元52向显示控制单元53提供用于显示所选择的剪贴簿的显示数据。HDD记录器1基于控制单元20的控制在监视器2上显示所选择的剪贴簿的扉页。

在步骤S125，记录与回放控制单元52确定所显示的剪贴簿是否没有下一页。在步骤S125，当确定没有下一页时，过程结束。

另一方面，当确定有下一页时，过程进到步骤S126。

在步骤S126，HDD记录器1基于控制单元20的控制，在监视器2上显示所选择的剪贴簿的下一页，且过程返回步骤S125。

于是，HDD记录器1显示剪贴簿。

在以上的说明中，向图像数据添加元数据的过程是通过控制单元20自动进行的，然而添加元数据的过程最好还可通过操作单元19的用户操作进行，以选择证书、收据、门票和票据的图像。

在以上的说明中，剪贴簿由图像数据生成，然而剪贴簿也可从剪贴簿生成。

于是，在控制内容生成的情形下，可生成内容。在抽取彼此相关联的多个图像中指定图像的特征，并基于抽取的特征确定指定图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像的情形下，以及当确定指定图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，以及在作为字符串的字符串数据的第一元数据添加到多个图像中另一图像的情形下，可基于例如由收据、小册子或门票产生的元收据对内容分组。

本发明不限于HDD记录器，而是可用于能够记录或回放图像或内容的多种设备，例如可用于个人计算机等。

上述的过程系列可通过硬件以及软件执行。当过程系列由软件执行时，软件从程序记录介质安装到计算机，其中包含在软件中的程序结合在专用硬件或例如通用计算机中，其通过安装各种程序能够执行各种功能。

如图18所示，程序记录介质存储程序(这些程序要安装到计算机并允许成为由计算机执行的状态)包括可移除介质311，它们是包介质，诸如磁盘(包括软盘)、光盘(包括CD-ROM(小型盘只读存储器))、DVD(数字通用盘)、光电盘或半导体存储器、暂时或永久存储程序的ROM(未示出)、以及形成存储单元308的硬盘等。

注意，本发明的实施例不限于以上的实施例，并可在不背离本发明要旨的范围内有各种各样的修改。

业内专业人员应当理解，依赖于设计的需要和其它因素可能出现各种修改、组合、子组合及替换，只要它们在所附权利要求或其等价物的范围内即可。

Claims (10)

1.一种信息处理设备，包括：

特征抽取装置，用于在彼此相关联的多个图像中抽取指定图像的特征；

图像确定装置，用于基于抽取的特征确定指定图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像；以及

元数据添加装置，用于当确定指定图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，向多个图像中的另一图像添加是字符串的字符串数据的第一元数据。

2.根据权利要求1的信息处理设备，

其中特征抽取装置抽取是出现在指定图像中的字符串的特征。

3.根据权利要求1的信息处理设备，

其中特征抽取装置抽取指定图像的特征，并识别出现在指定图像中的字符串。

4.根据权利要求1的信息处理设备，还包括：

元数据抽取装置，用于抽取添加到彼此相关联的多个图像的第二元数据；以及

分组装置，用于基于抽取的第二元数据把多个图像分成组。

5.根据权利要求1的信息处理设备，还包括：

元数据抽取装置，用于抽取添加到彼此相关联的多个图像的第二元数据；以及

生成装置，用于生成一内容，在该内容中，基于抽取的第二元数据被分组的多个图像根据分组被编排。

6.根据权利要求5的信息处理设备，

其中生成装置在内容被显示时，根据第一元数据或第二元数据在内容中设置背景图像作为多个图像的背景及多个图像的编排。

7.根据权利要求5的信息处理设备，还包括：

共用元数据数确定装置，用于确定向其添加第一元数据和第二元数据中相同元数据的图像数是否不小于规定阈值，以及

其中当确定向其添加第一元数据和第二元数据中相同元数据的图像数不小于规定阈值时，生成装置生成一内容，在该内容中，基于第一元数据或第二元数据被分组的多个图像根据分组被编排。

8.根据权利要求5的信息处理设备，还包括：

同义词获取装置，用于对向其作为词添加了第一元数据或第二元数据的每一图像获取第一元数据或第二元数据的同义词，以及

共用元数据数确定装置，用于确定向其添加第一元数据和第二元数据中相同元数据的图像数是否不小于规定阈值，以及

其中当确定向其添加第一元数据和第二元数据中相同元数据的图像数不小于规定阈值时，生成装置生成一内容，在该内容中，基于各图像的第一元数据、第二元数据或同义词被分组的多个图像根据分组被编排。

9.根据权利要求5的信息处理设备，还包括：

显示控制装置，用于控制内容的显示。

10.一种信息处理方法，包括：

在彼此相关联的多个图像中抽取指定图像的特征；

基于抽取的特征确定指定图像是否为其上写有字符串的证书、收据、门票或票据的表面的图像；以及

当确定指定图像是其上写有字符串的证书、收据、门票或票据的表面的图像时，向多个图像中另一图像添加是字符串的字符串数据的第一元数据。

Images