CN103403765A - 内容加工装置及其集成电路、方法和程序 - Google Patents

Abstract

一种内容加工装置，对各个用户保有的内容抽取内容的属性信息。该内容加工装置使用与表示表现作品的方法的作品表现模型匹配的内容的特性即参照信息和属性信息，进行作品表现模型的校正，并确定用于使内容适合于被校正后的作品表现模型的加工处理信息。该内容加工装置根据所确定的加工处理信息对内容进行加工，并使用被校正后的作品表现模型生成作品。

Description

内容加工装置及其集成电路、方法和程序

技术领域

本发明涉及通过与内容的详情对应的加工来生成作品的内容处理技术。

背景技术

近年来，拍摄被摄体像的袖珍相机、无反光镜单镜头相机、单镜头反光式相机等DSC（Digital Still Camera：数字静态相机）、以及带摄像机移动电话终端和数字电影等得到广泛普及，能够轻松地实现照相摄影或动态图像摄影。并且，图像数据保存用记录介质的大容量化得到发展。另外，随着社会化媒体的发展，各种各样的人们相互共享个人内容。因此，个人用户能够保有并共享数量庞大的内容，但是用户为了运用并欣赏用户保有的数量庞大的内容组，需要许多时间和劳力。

因此，为了有效地欣赏用户期望的内容，如下的内容加工处理技术受到关注：根据内容的详情或摄影事件详情选择事前准备的模板等雏形，按照对该雏形规定的详情自动对内容进行加工，并生成视听用的作品。

还公知有这样的方法（例如，参照专利文献1）：在修饰作为内容的图像时，根据对图像的图像解析来估计被摄体或者摄影状况，根据被摄体或者摄影状况的估计结果，从修饰数据库中抽取修饰详情，并对摄影图像进行所抽取的修饰。

另外还公知有这样的方法（例如，参照专利文献2）：作为使用内容组生成数字相册的处理，指定记述有配置图像数据的特征和加工处理方法的模板，将内容组中包含的图像数据的特征与在各个布局框中配置的图像数据的特征量进行比较，确定配置候选图像，并对所确定的图像适用在模板中记述的加工处理。

现有技术文献

专利文献

专利文献1：日本特开2011－205296号公报

专利文献2：日本特开2010－72934号公报

发明概要

发明要解决的问题

但是，在专利文献1的技术中，针对根据内容而估计出的被摄体或摄影状况，需要存在对应的图像修饰。因此，对于不能估计出与图像修饰对应的被摄体或摄影状况的内容，存在不能进行图像修饰的问题。

另外，在专利文献2的技术中，对于每个模板确定作为处理目标的内容应该具有的特征，并且需要使作为内容的图像数据的特征与对模板中记述的各个布局框配置的图像数据的特征量一致。因此，在不存在最适合于内容的模板的情况下，将存在不能生成数字相册的问题。

发明内容

鉴于上述问题，本发明的目的在于提供一种内容加工技术，即使是没有最适合的雏形或数据库等，也能够使用用户保有的各个内容轻松地生成视听用的作品。

用于解决问题的手段

为了解决前述现有问题，本发明的内容加工装置使用表示表现作品的方法的作品表现模型来加工内容并生成作品，其特征在于，该内容加工装置包括：内容信息取得部，从作为目标的内容中取得属性信息；参照信息取得部，取得与所述作品表现模型匹配的内容应该具有的属性即参照信息；加工处理信息确定部，根据所述参照信息和所述属性信息对所述作品表现模型进行校正，并确定表示用于使所述内容适合于被校正后的所述作品表现模型的加工处理的加工处理信息；以及加工处理部，根据所述加工处理信息对所述内容进行加工，并使用被加工后的所述内容和被校正后的所述作品表现模型生成作品。

发明效果

根据上述的内容加工装置，通过根据内容的属性信息对作品表现模型进行校正，能够使用适合内容的作品表现模型，内容加工装置不一定需要预先保存最适合于内容的加工处理信息。因此，使用被校正后的作品表现模型即可轻松地将内容加工成有效的视听形式，而且不需要用户从头开始进行加工处理。

附图说明

图1是实施方式1、2涉及的内容加工装置的块图。

图2是表示实施方式1的进行内容加工处理的步骤的流程图。

图3是表示从内容组抽取的内容信息中的设备元数据信息的一例的图。

图4是表示从内容组抽取的内容信息中的解析元数据信息的一例的图。

图5是表示从内容组抽取的内容信息中的利用元数据信息的一例的图。

图6是表示实施方式1的在作品表现模型存储部3中存储的作品表现模型的一例的图。

图7是表示实施方式1的作品表现模型校正部6的功能结构的块图。

图8是表示实施方式1的内容和所生成的作品的示例的图。

图9是表示实施方式2的模板的一例的图。

图10是表示实施方式2的根据模板进行内容加工处理的步骤的流程图。

图11是表示实施方式2的在作品表现模型存储部3中存储的模板的模板信息的一例的图。

图12是表示模板的选择配置即template1－1的一例的图。

图13是表示模板的加工详情即mID000101的一例的图。

图14是表示实施方式2的根据模板进行差分信息计算处理的步骤的流程图。

图15是按照template1－1的选择基准选择的画框1～3的图像的一例。

图16是表示实施方式2的根据模板进行校正详情调整处理的步骤的流程图。

图17是表示与画框1～3相关的内容的加工详情和模板的校正详情及校正优先度的一例的图。

图18是表示与画框1～3相关的最终内容的加工处理信息和附加加工信息的一例的图。

图19是表示按照图18所示的被校正后的作品表现模型生成的最终作品的一例的图。

图20是表示实施方式3的进行包括基于与人相关之信息的校正详情的加工变换处理后的结果的一例的图。

图21是表示实施方式3的进行包括基于与场所相关之信息的校正详情的加工变换处理后的结果的一例的图。

图22是表示实施方式3的进行包括基于与摄影事件相关之信息的校正详情的加工变换处理后的结果的一例的图。

图23是表示实施方式4的内容加工装置的结构的块图。

图24是表示实施方式5的内容加工装置的结构的块图。

具体实施方式

（完成本发明的经过）

在生成用于有效地欣赏内容的作品的内容加工处理技术中，通常有如专利文献1那样仅关注内容的一个特性并适应与该一个特性对应的图像修饰等模板的方法、和如专利文献2那样指定模板应该编入的内容的特性并找出具有该特性的内容的方法。

但是，在如专利文献1所述的技术中，由于作品是根据所关注的一个特性而唯一生成的，因而不论未关注的其它特性对于用户是否重要，均未反映在作品中。即存在这样的问题：作品将成为依赖于所关注的一个特性的定型产品，不一定是有效地欣赏内容的作品。

另一方面，在如专利文献2所述的技术中，需要使模板应该编入的内容的特性与内容的特性一致。因为即使将内容勉强编入到不能称为最佳的模板中，由于布局和图像修饰等与内容的详情的特性不一致而形成的不协调感增强，不会成为有效地欣赏内容的作品。

以上说明的过去的内容加工处理技术的问题的原因在于，由于内容的创作意图和在加工处理中使用的模板的生成意图不一定一致，因而未必能够使用最适合于内容的模板。但是，针对各种各样的内容准备模板组，一边能够使用始终是最佳的模板，这是极其困难的。

因此，发明者们想到了使用内容的特性和模板应该编入的内容的特性来校正模板，并使用校正后的模板来生成作品。这样，即使是不存在最适合于内容的模板，也能够通过模板的校正来生成最适合于内容的模板。因此，能够生成反映了模板的生成意图和内容的创作意图双方的有效的作品。

（用于实施发明的方式）

下面，参照附图说明本发明的实施方式。

（实施方式1）

<结构>

图1是表示本实施方式涉及的内容加工装置10的结构的块图。图1所示的内容加工装置10由内容数据存储部1、内容信息抽取部2、作品表现模型存储部3、作品表现模型指定部4、参照信息抽取部5、加工处理信息确定部6、和加工处理部7构成。

内容数据存储部1是存储用户保有的内容的文件（数据）的存储介质。所谓内容是指用户创作或者取得的数据，例如在事件中拍摄到的照片图像和动态图像数据、通过因特网等取得的照片图像和动态图像数据、文本和音乐数据等。内容数据存储部1例如利用HDD或DVD等大容量介质盘或半导体存储器等寄存器装置实现。

内容信息抽取部2从内容中抽取设备元数据信息、解析元数据信息、利用元数据信息等如后面所述的属性信息。

作品表现模型存储部3是存储有作品表现模型的存储介质，该作品表现模型示出了有关将作为目标的内容生成什么样的作品的表现方法。在作品表现模型中包含表示有关怎样加工内容的加工方法的加工处理信息、和与该加工处理信息对应的参照信息。参照信息是指与作品表现模型匹配的内容应该具有的属性信息。因此，作品表现模型例如是由表示按照检测出的人脸的单位来切取人物的加工方法的加工处理信息、和与人物的服装、性别相关的参照信息的组合构成的。其中，在与参照信息相关的项目（例如，对于上述的与服装相关的参照信息，与参照信息相关的项目是服装）中，将可以根据内容而变化的项目特别称为“调整项目”。关于在作品表现模型存储部3中存储的作品表现模型，在参照信息中至少包括一个调整项目。作品表现模型存储部3例如利用HDD等大容量介质盘或半导体存储器等寄存器装置实现。

作品表现模型指定部4从在作品表现模型存储部3中存储的作品表现模型中指定至少一个作品表现模型。作品表现模型是利用如下的方法指定的。即，将由作品表现模型的创作者或特定的经营商预先确定的作品表现模型具有的事件详情/主题、与内容的事件详情/主题进行比较，选择并确定具有与内容的事件详情/主题相同或者相似度较高的事件详情/主题的作品表现模型。内容的事件详情/主题是从利用元数据信息中取得用户直接输入的事件名称。在不能根据利用元数据信息确定事件的情况下，使用从摄影设备元数据信息取得的时间、场所等的摄影时信息、和从解析元数据信息取得的参加人物信息、场景、被摄体对象（object）进行估测。例如，旅行或派对等普通事件、生日派对、结婚仪式、运动会、郊游、滑雪旅行、入学仪式等特定事件被确定出或者估测出。

参照信息抽取部5抽取由作品表现模型指定部4指定出的作品表现模型中包含的参照信息。具体地讲，对于表示内容的加工方法的加工处理信息、以及诸如内容的布局、附加修饰这种不改变内容自身的作品表现模型（下面称为“附加加工信息”），取得调整项目和与调整项目相关的参照值的组合即参照信息。

加工处理信息确定部6根据由内容信息抽取部2抽取的内容的属性信息、和由参照信息抽取部5抽取的参照信息，对作品表现模型进行校正，并确定用于使被校正后的作品表现模型和内容相适合的、内容的加工处理详情。具体地讲是进行如下所述的动作。首先，加工处理信息确定部6对于调整项目将参照信息和内容的属性信息进行比较，并计算差分。然后，加工处理信息确定部6根据所得到的差分信息，对于调整项目生成加工处理信息或附加加工信息或者针对这两方的校正详情的候选。最后，加工处理信息确定部6确定有无实施所生成的校正详情的候选，并确定加工处理信息和附加加工信息、即确定针对作品表现模型的校正，并且确定针对内容的加工处理信息。

加工处理部7按照由加工处理信息确定部6确定的校正后的作品表现模型来加工内容。具体地讲，使用被校正后的加工处理信息对作为目标的内容进行加工处理，使用被校正后的附加加工信息变换为特定的视听形式。例如，对目标的内容进行修饰、数字相册化或者幻灯片化的处理。所谓特定的视听形式是指视听设备能够再现的显示形式，例如JPEG等图像形式、MPEG等动态图像形式、HTML等显示形式。

<属性信息>

对内容的属性信息进行说明。如上所述，内容的属性信息包括设备元数据信息、解析元数据信息、利用元数据信息等。

设备元数据信息是由内容取得设备赋予的元数据中包含的属性信息。由内容取得设备赋予的元数据例如有EXIF（Exchangeable Image FileFormat，可交换图像文件格式）信息、动态图像用扩展元数据、CDDB（Compact Disc DataBase，光盘数据库）信息、ID3标签等音乐元数据。上述元数据中包含的内容的属性信息包括例如摄影日期信息、摄影场所信息即GPS（Global Positioning System，全球定位系统）信息、摄影时的摄影模式信息、各种摄影时的相机参数的信息、各种传感器信息等的摄影方法信息、音乐的曲名和作曲者等乐曲信息、声音的标本化频率、量化比特数、比特率、信道数、或者表示这些信息的组合的录音模式信息等。

解析元数据信息是能够利用内容解析方法得到的元数据。关于能够通过图像解析得到的元数据，例如有边缘、颜色、结构等图像的基本的低级特征量（low-level features）、物体特异的被称为局部特征量的表示对象的形状的高级特征量（high-level features）。另外，解析元数据信息例如能够使用图像内的人脸、人、物体等被摄体对象、海边、森林、室内这样的特定场景等能够识别的类别的识别结果等。另外，在内容是动态图像时，可以将基于时间序列的运动、场景的解析信息用作解析元数据信息，在内容是音乐时，可以将旋律等的解析信息等用作解析元数据信息。另外，在内容是动态图像或者声音时，可以将通过声音解析而得到的声音、副语言、环境声音、特定音源信息这样的解析结果用作解析元数据信息。

利用元数据信息是指用户赋予的信息、使用履历等通过利用内容而被赋予的元数据。例如，用户附加的与内容相关联的事件名称、被摄体人物的个人名称、摄影者等的信息，针对内容的视听频次、利用内容生成的作品的种类和所在地和生成者，通过因特网共享内容的对方名称和集体名称等利用履历信息等。

<动作>

下面，对本实施方式的内容加工装置10的动作进行详细说明。

图2是表示在根据内容的属性信息和参照信息对作品表现模型进行校正并确定加工处理信息后，进行内容的加工变换处理的步骤的流程图。

在用户选择视听目标的内容后，内容加工装置10从内容数据存储部1取得作为目标的内容，内容信息抽取部2从所取得的目标内容中抽取属性信息（S1）。由内容信息抽取部2抽取的内容的属性信息是上述的设备元数据信息、解析元数据信息、利用元数据信息等。

图3表示设备元数据信息的一例。在图3中，按照对各个内容分配的每个内容号码示出了设备元数据，并示出了作为属性信息的文件名和数据的类型及取得时间。另外，在内容是图像或者动态图像的情况下，示出了作为摄影时的地理位置信息的从GPS信息得到的经度信息和纬度信息、进行摄影时的明亮度调整的ISO（International Organization for Standardization，国际标准化组织）敏感度信息、将明亮度调整为能够适合视听状态的曝光信息、摄影设备的类型、摄影设备的摄影模式信息。另外，在内容是音乐数据的情况下，示出了录音设备的音质模式。

下面，图4表示解析元数据信息的一例。在图4中，按照对各个内容分配的每个内容号码示出了解析元数据信息。在内容是图像的情况下，示出了色彩信息、边缘这样的图像特征。其中，边缘是结构信息，是按照每个一定角度计算出图像中被检测为线段的边缘特征来作为图像内统计值的信息。另外，在图4中，作为属性信息示出了作为利用人脸检测技术等得到的人脸信息即有无人脸及朝向信息、数量信息。并且，在图4中示出了通过边缘检测等得到的场景、通过对象检测等得到的对象作为属性信息。另外，在内容是动态图像数据或者声音数据的情况下，示出了声音特征、曲调作为属性信息。

另外，图5表示利用元数据信息的一例。在图5中，关于用户赋予的信息，示出了内容的摄影事件名称、各个内容中的出场人物、其它用户附加的标签信息。并且，示出了利用显示设备再现的次数、数字相册或者幻灯片化等利用该内容生成的作品、共享该内容的对方地址和SNS（SocialNetworking Service，社交网络服务）等服务名称，作为利用元数据信息。

然后，内容加工装置10进行目标内容的作品表现模型指定处理（S2）。具体地讲，作品表现模型指定部4根据内容中包含的被摄体、背景的类型或者摄影事件详情/主题指定作品表现模型。图6表示在作品表现模型存储部3中存储的作品表现模型的一例。在图6中，按照对每个作品表现模型分配的每个表现信息号码，示出了调整项目和参照值作为参照信息，并示出了内容的加工详情作为加工处理信息，还示出了修饰、推移效应效果、布局配置作为附加加工信息。其中，参照值是指与参照信息中的调整项目对应的值。例如，对于人脸数量为1的参照信息，如果调整项目是人脸数量，则与人脸数量这个调整项目对应的参照值是1。

下面，对将加工目标的内容设为图8（a）所示的内容（属性信息是内容号码ID00000001）、所指定的作品表现模型是mID000001进行说明。

然后，内容加工装置10起动参照信息抽取部5，参照信息抽取部5从在所指定的作品表现模型中记述的参照信息中抽取调整项目和与调整项目对应的参照值（S3）。如图6所示，由于mID000001的调整项目是人脸数量，因而抽取“人脸数量：1”作为参照信息。

然后，内容加工装置10起动加工处理信息确定部6，加工处理信息确定部6根据由内容信息抽取部2抽取的目标内容的属性信息、和由参照信息抽取部5抽取的参照信息，确定作品表现模型的校正详情（S4）。具体地讲是实施如下所述的动作。

首先，加工处理信息确定部6计算参照信息与属性信息的差分。在此，对于加工处理信息确定部6的功能结构的一例，参照图7来说明具体的处理详情。图7是加工处理信息确定部6的功能块图。加工处理信息确定部6由内容信息解析部61、差分值计算部62、校正优先度计算部63、加工处理信息校正部64、附加加工信息校正部65构成。内容信息解析部61根据一个以上的目标内容的属性信息，对与调整项目对应的属性值进行抽取或者解析。例如，在调整项目是人脸数量的情况下，如果属性信息包含“人脸数量：3”，则属性值是3。另外，例如在调整项目是摄影时间段的情况下，内容信息解析部61根据属性信息中包含的摄影时刻，计算属性值即摄影时间段。

差分值计算部62计算由参照信息抽取部5抽取的参照信息与由内容信息解析部61进行解析计算出的属性值的差分，作为差分值。如图4所示，由于ID00000001的人脸数量是3，因而根据图像的属性信息计算出“人脸数量：3”，并计算与参照信息的“人脸数量：1”的差分，得到“人脸数量：＋2”作为差分信息。

然后，加工处理信息确定部6使用由差分值计算部62计算出的目标内容的差分信息，根据调整项目确定各种校正详情。校正优先度计算部63根据差分信息进行加工处理信息的校正详情与附加加工信息的校正详情的候选生成、和针对所生成的候选的优先度赋予。在此，所谓优先度是指对加工处理信息、附加加工信息、或者针对这两方的校正详情的候选分别附加的值，是用于确定是否实施校正详情的候选的指标。在本实施方式中，将优先度2（普通）设为阈值。在此，在表现方法号码mID000001中，针对人脸数量的差分值，在是负的数值时规定为“优先度：1”（低），在是0时规定为“优先度：2”，在是正的数值时规定为“优先度：3”（高）。因此，关于用于与“人脸数量：3”匹配的校正候选，例如生成“优先度：3”的如下的校正详情候选，即，“加工处理信息：抽取3个的上半身”；“附加加工信息：配置分别面向3个上半身的角色，布局为三角形”。

然后，加工处理信息校正部64和附加加工信息校正部65将优先度为阈值以上的校正详情的候选，确定为针对作品表现模型的校正。在上述的示例中，优先度3的校正详情候选只有一个，因而上述的候选直接被确定为校正详情。即，加工处理信息校正部64将根据检测出的3个人脸分别抽取上半身区域的加工处理信息，确定为校正后的加工处理信息。另外，附加加工信息校正部65将具有如下详情的信息确定为校正后的附加加工信息。即，由于ID00000001的图像内的人脸全部朝向右侧，因而将各个人物设为A、B、C并进行如下修饰：以与人脸相对的方式选择朝向左侧的3个角色，并以成为与被加工后的内容相同尺寸的方式放大缩小为与A、B、C各自的上半身相同的尺寸。关于内容的配置是将3个人脸设为n＝3的n边形即三角形的形状。

然后，内容加工装置10起动加工处理部7，加工处理部7按照加工处理信息和附加加工信息进行内容的加工变换处理和保存（S5）。即，按照在上述的S4所确定的被校正后的作品表现模型和加工处理信息，图8（a）的内容被加工成如图8（b）所示。在进行加工变换处理后，能够在各种显示设备上进行加工内容的视听。

<补充>

（1）内容加工装置10的加工变换处理开始

在上述的实施方式1中，作为内容加工装置10开始加工变换处理并从内容数据存储部1取得作为目标的内容的契机，说明了用户选择视听目标的内容的情况，但也可以是在除此以外的如下契机时，内容加工装置10开始加工变换处理并从内容数据存储部1取得目标内容。

例如，也可以是，内容加工装置10监视在内容数据存储部1中存储的内容，以将新的内容被存储在内容数据存储部1中为契机。并且，也可以是，内容加工装置10在预定的时刻开始内容的加工变换处理。另外，还可以是，在满足预定的条件时内容加工装置10开始内容的加工变换处理，所述预定的条件是指内容加工装置10将具有与有关预定的作品表现模型的参照信息相同或相似的属性信息的内容被存储在内容数据存储部1中为契机，或者将具有相同的属性信息的内容的集合即内容集被存储在内容数据存储部1中为契机等。

（2）设备元数据信息

在上述的实施方式1中，图3示出了设备元数据信息的示例，但也可以将除此以外的如下所述的信息用作设备元数据信息。

例如，在内容是图像或者动态图像数据的情况下，属性信息也可以包括表示被拍摄的时刻的摄影时刻信息。另外，在内容是音乐数据的情况下，属性信息也可以包括类型（genre）等信息。

（3）解析元数据信息

在上述的实施方式1中，图4示出了解析元数据信息的示例，但也可以将除此以外的如下所述的信息用作解析元数据信息。

在图4中，色彩信息使用了RGB颜色值的图像内统计值，但也可以使用HSV或YUV颜色空间中的色相信息，还可以使用颜色直方图、颜色矩等统计量信息。

另外，在图4中使用如颜色信息、结构信息那样的低维数特征量，但也可以使用能够表现被摄体对象的特征的高维数特征量。其中，高维数特征量是指以特征点为中心的局部区域的特征或表示物体的形状的特征。具体地讲，可以举出基于SIFT（Scale－Invariant Feature Transform）、SURF（Speeded Up Robust Features）、HOG（Histograms of Oriented Gradients）的特征量。

另外，在图4中，关于能够利用人脸检测技术得到的人脸信息，示出了有无人脸及朝向信息、数量信息作为属性信息，但也可以将人脸的大小、服装的颜色、形状作为属性信息。另外，也可以使用根据人检测信息还进行了与人相关的图像识别的分析结果作为属性信息。或者，还可以将基于普通物体识别等图像识别技术的结果作为内容的属性信息，该图像识别技术进行车辆检测、狗和猫等宠物检测、普通对象的识别。

另外，关于与图像的区域相关的属性信息，例如也可以使用利用Saliency Map、Depth Map等区域信息计算方法生成的特定被摄体、背景场景的区域信息。

另外，在内容是动态图像数据或者声音数据的情况下，例如也可以使用声音、副语言、环境声音、特定音源信息等利用音响模型的声音解析结果作为属性信息。

（4）利用元数据信息

在上述的实施方式1中，图5示出了利用元数据信息的示例，但也可以将除此以外的如下所述的信息用作利用元数据信息。

例如，也可以将在事件单位中共用的ID作为利用元数据信息。即，针对由在一个摄影事件中拍摄的多个内容构成的数据集，对该摄影事件单位分配ID。此时，利用元数据信息可以是根据摄影事件单位而独立的信息，即针对数据集采用一个利用元数据信息，或者也可以对每个内容使用独立的利用元数据信息。

（5）作品表现模型的指定（S2）

在上述的实施方式1中说明了这样的情况，即作品表现模型指定部4根据内容中包含的被摄体、背景的类型或者摄影事件详情/主题来指定作品表现模型，但作品表现模型指定部4也可以利用如下所述的方法指定作品表现模型。

例如，作品表现模型指定部4可以一览显示如图6所示的由作品表现模型存储部3保存的作品表现模型，让用户输入作品表现模型。

或者，作品表现模型指定部4也可以一览显示摄影事件/主题并让用户进行选择，由此指定预先对该摄影事件/主题设定的作品表现模型。

或者，作品表现模型指定部4还可以从作品表现模型存储部3中抽取具有与内容的主题等相同或者相似的主题等的作品表现模型，让用户从所抽取的作品表现模型中选择指定哪个作品表现模型。

（6）作品表现模型

在上述的实施方式1中，图6示出了作品表现模型的一例，但也可以采用如下所述的作品表现模型。

作为作品表现模型的一例，在图6中示出了各一个的可调整项目和参照值，但也可以是，例如将两个以上的作品表现模型进行组合，并生成具有两个以上的可调整项目的作品表现模型。

（7）内容的主题的抽取方法

在上述的实施方式1中记述了根据内容的事件详情/主题来确定作品表现模型，在此对取得内容的事件详情/主题的方法进行说明。

例如，内容加工装置10能够从利用元数据信息中取得用户直接输入的事件名称，并取得内容的事件详情/主题。并且，也能够使用从摄影设备元数据信息取得的时间和场所等摄影时信息、从解析元数据信息取得的参加人物信息、场景、被摄体对象进行估测。

下面，对主题的估测动作进行详细说明。

例如，按照目标内容单位抽取设备元数据信息的时间信息和纬度经度信息作为统计量，将如“秋季的京都岚山”那样时间和场所信息的组合作为事件名称进行估测及确定。并且，例如在使用解析元数据信息的情况下，也可以将作为目标内容单位的统计量而得到的风景场景信息中如“室内”、“雪景”那样的风景设为主题，还可以将人脸和对象信息进行组合，由此根据“室内”、“家人三名”、“蛋糕”等信息估测摄影事件名称，并确定为“家庭的家宴”。另外，根据利用元数据信息，如果出场人物只有家人，还可以与设备元数据信息的场所信息进行组合并估测确定为“家人在公园里”的事件名称，或与解析元数据信息的场景信息进行组合并进一步详细估测确定为“家人在公园里郊游”的事件名称。通过积累并保存选择确定表，能够按照该表来使用可取得的属性信息进行估测并确定合适的事件名称/主题，该选择确定表能够根据从设备元数据信息、解析元数据信息、利用元数据信息得到的特征量等的组合，确定能够选择并确定的摄影事件名称、主题详情。

另外，关于取得内容的事件详情/主题的方法，也可以使用基于利用元数据信息的取得和基于各个属性信息的估测中的任意一方，也可以例如只在不能实现基于利用元数据信息的取得的情况下，根据各个属性信息进行估测。

通过使用如以上说明的设备元数据信息、解析元数据信息、利用元数据信息中至少一种以上的信息，得到作为一个作品表现模型的目标的一组内容的主题，能够得到用于选择合适的作品表现模型的内容的属性信息。

（8）差分信息

在上述的实施方式1中，关于差分信息示出了人脸的检测数量的差分，但不限于该示例。差分信息只要是与调整项目对应的信息即可。例如，关于与图像信息相关的调整项目，可以举出与人脸、人体、场景、对象信息相关的对象，如人体全身像的数量、被摄体和背景的比例等。另外，关于与声音信息相关的调整项目，可以举出与声音、副语言、环境声音、特定音源信息等相关的项目，如声音的大小、音乐和杂音的比例等。另外，例如关于与人际关系相关的调整项目，可以举出与家人信息、朋友信息、SNS信息、因特网信息等相关的项目，如孩子及其双亲、朋友关系、SNS的朋友状态等。另外，属性信息不限于能够直接从内容得到的信息，也可以是将通过对内容进行解析而直接得到的值组合多个后得到的信息。例如，关于“孩子及其双亲”，可以根据与家人信息相关的利用元数据信息、和通过人脸检测而得到的解析结果及基于该结果的出现频次信息，判定有无家人关系。

另外，也可以不由内容信息解析部61根据内容信息抽取部2抽取的属性信息来计算内容信息，而是由内容信息抽取部2直接计算内容信息，并且不设置内容信息解析部61。

（9）作品表现模型的校正

在上述的实施方式1中，关于加工处理信息说明了根据被检测的3个人脸分别抽取上半身区域的处理，但不限于该示例，也可以是表示如下所述的加工方法的加工处理信息。例如也可以是这样的处理，将包括被检测出的人体整体的区域作为被摄体区域，并对被摄体的区域进行分割，例如按照被检测的每个人脸来分割被摄体区域等。另外，在参照信息是两个被摄体之间的“距离：0.5m”、而属性信息是两个被摄体之间的“距离：2m”的情况下，能够适用将两个被摄体区域进行整合并生成一个被摄体区域的加工处理信息。另外，在参照信息是“时间段：傍晚”、而属性信息是“时刻：16时”的情况下，能够适用对图像整体或者背景区域进行色调变换以便能够看到晚霞的加工处理信息。

另外，在内容是动态图像、声音等的情况下能够进行如下所述的加工。例如，在参照信息是“被摄体：朋友关系”、而内容是“被摄体：朋友关系及行人”的动态图像时，也可以使用从该动态图像中将摄入了行人的场景部分删除的加工处理信息，还可以使用将只拍摄了作为朋友关系的被摄体组的帧变换为静止图像的加工处理信息。另外，在参照信息是“环境声音：没有”、而内容是“环境声音：高频噪声”的动态图像或者声音中，也可以使用对该动态图像或者声音实施低通滤波处理的加工处理信息。

另外，在上述的实施方式1中，关于附加加工信息的校正方法，说明了对于被抽取的各个上半身将相面对的朝左的上半身角色追加在右侧的详情，但不限于该示例。被变更的附加加工信息不限于修饰部件，例如也可以是背景部件、推移效果部件、布局部件。另外，例如当在针对静止图像的修饰中使用动态图像来取代该静止图像的情况下，也可以使用动态图像或者动画（animation）图像作为修饰部件。另外，变更用的部件不限于由内容加工装置10保存在作品表现模型存储部3中的部件，例如也可以通过因特网从外部的服务器取得。

另外，在上述的实施方式1中，说明了仅对一个项目存在差分信息，且加工处理信息和附加加工信息的校正方法是一种方法的情况，但不限于该示例。例如，在调整项目是行人的人数并存在差分的情况下，也可以进行根据行人的人数来增加对行人的加工的校正，还可以进行剪裁图像使得行人的人数达到参照值的校正。在这种情况下，如后面所述，能够使用优先度来确定作品表现模型的校正。

另外，在实施方式1中示出了内容是图像的示例，但对于包括与图像同时拍摄的动态图像、附加的备注、BGM等音乐在内的一组内容，同样也能够确定校正详情。并且，在对于差分信息不能适当校正加工处理信息或附加加工信息的情况下，内容加工装置10也可以通过因特网从外部装置取得被校正后的加工处理信息或附加加工信息、或者针对加工处理信息或附加加工信息的校正方法。例如，内容加工装置可以通过因特网检索针对加工处理信息或附加加工信息的校正方法，下载合适的校正方法并使用，还可以预先从网络上的服务器下载针对加工处理信息或附加加工信息的校正方法，并存储在作品表现模型存储部3中，根据需要进行读出。

（10）校正优先度

在上述的实施方式1中说明了差分信息只有一个、校正详情的候选为一个的情况，但不限于该示例。

例如也可以是，在针对一个差分信息存在多个校正详情的候选的情况下，仅对优先度较高的校正详情候选实施校正详情。例如，在如上所述调整项目是行人的人数并存在差分的情况下，考虑对根据行人的人数来增加对行人的加工的校正详情的候选设定为优先度3，对以使行人的人数达到参照值的方式来剪裁图像的校正详情的候选设定为优先度2，并且仅实施前者的校正详情的候选。

或者，在作品表现模型包括两个以上的参照信息，且针对一个内容存在两个以上的差分信息的情况下，对各个差分信息生成校正详情的候选，并使用优先度来决定实施这些校正详情的全部候选、实施一部分校正详情的候选、不实施校正详情的候选。例如，在调整项目是人的上半身的朝向和狗的大小，且内容包含3个人和1条狗的情况下，按照下面所述来设定校正优先度。即，针对3个人的上半身分别生成一个以上的校正详情的候选，并对校正候选逐个设定校正优先度。并且，对狗生成一个以上的校正详情的候选，并对校正候选逐个设定校正优先度。即，对内容生成至少4个校正候选，对各个校正候选设定校正优先度。在这种情况下，加工处理信息确定部6可以将阈值设为一定值，也可以设为针对全部校正详情的优先度的一定比率。

另外，在上述的实施方式1中，在表现信息号码mID000001中，针对人脸数量的差分值，在是负的数值时规定为“优先度：1”（低），在是0时规定为“优先度：2”（普通），在是正的数值时规定为“优先度：3”（高），但不限于该示例，也可以按照下面所述来确定优先度。例如，在人脸数量为5以下时从被检测的各个人脸抽取上半身区域并布局为n边形比较容易、而在人脸数量为6以上时将被抽取的上半身布局为n边形比较困难的情况下，在相对于人脸数量的差分值为＋1以上＋4以下时设为“优先度：3”、在＋5以上时设为“优先度：0”（最低）。

另外，关于针对各个校正详情的候选的优先度以及是否实施校正详情的候选的条件，可以预先在作品表现模型中进行规定，也可以由内容加工装置进行保存。在预先在作品表现模型中进行规定的情况下，能够由作品表现模型的创作者决定能够校正作品表现模型的范围。另外，在作品表现模型不具有针对各个校正详情的候选的优先度的情况下，内容加工装置可以使用在具有相同或者相似的调整项目和参照信息的作品表现模型中规定的优先度，也可以使用创作者相同的作品表现模型中规定的优先度。另外，如上所述，针对各个校正详情的候选的优先度当然可以是调整项目及对应的差分值、或者依据于内容加工或附加加工的难易度的值。

这样，能够根据作品表现模型的校正的难易度决定是否实施校正，或者仅在作品表现模型的创作者等设定的允许范围内校正作品表现模型。

（11）图像以外的内容加工

在上述的实施方式1中，对内容仅是图像的情况、以及内容是图像、和与图像同时拍摄的动态图像、附加的备注、BGM等音乐的集合的情况进行了说明，但不限于该示例。例如，内容可以仅是动态图像，内容也可以仅是音乐，或者内容还可以是动态图像与音乐的组合。

例如，在内容是在户外演奏原创乐曲的动态图像、与在录音室中录制该原创乐曲得到的音乐的组合的情况下，通过使用参照信息为“环境：室内”、并进行加工使“从动态图像中切取从开幕到闭幕的区间，并切换为在录音室中录制声音得到的音乐”的作品表现模型，能够使用差分信息“环境：户外”将作品表现模型校正为“从动态图像中切取从开幕到闭幕的区间，并切换为对在录音室中录制声音得到的音乐附加了户外的反响效果的声音”来生成作品。

<总结>

如上所述，通过根据内容的属性信息来校正作品表现模型，内容加工装置即使没有保存最适合于内容的加工处理信息，也能够使用适合于内容的作品表现模型，并使用被校正后的作品表现模型轻松地将内容加工成有效的视听形式进行欣赏，而且不需要用户从头开始生成加工处理信息。

（实施方式2）

在本实施方式中详细说明使用规定了作品表现模型的模板进行内容的加工的方法。另外，对具有与实施方式1相同的功能的结构标注相同的标号，并省略说明。

图9表示在作品表现模型存储部3中保存的模板的一例。图9所示的模板是将目标内容全部作为一个组的一个模板。

下面，对本实施方式的内容加工装置的动作进行说明。图10是表示在根据内容的属性信息和所选择的模板进行作品表现模型校正处理后，进行内容的加工变换处理的步骤的流程图。

首先，内容加工装置开始用户保有的内容的作品表现模型校正处理。内容加工装置从内容数据存储部1取得作为目标的内容，内容信息抽取部2从所取得的目标内容中抽取属性信息（S11）。抽取处理与上述的S1相同，所得到的属性信息也相同，因而省略详细说明。

然后，内容加工装置显示模板一览作为在作品表现模型存储部3中存储的作品表现模型，作品表现模型指定部4进行在目标内容中使用的模板的选择确定处理（S12）。关于选择模板的方法，例如举出由用户选择合适的模板的方法，或者根据内容中包含的被摄体、背景的类型、摄影事件详情/主题而自动选择模板的方法。

图11表示被选择的模板的一例。如图11所示，模板是按照场景单位被划分为数字相册中的页单位或幻灯片中的分割单位的结构，在该场景单位中包括如图12所示的规定了待选择的内容的指标或条件及配置布局的详情的“选择配置”、和如图13所示的记载了待加工的详情的“加工详情信息”。另外，在图11中示出了一个模板包括3个以上的场景的示例，然而一个模板只要包括至少一个场景即可。图12表示图11所示的tID0000001中包含的选择配置template1－1。在template1－1中，关于选择配置信息记述了图像框是3个、以及各个图像框的图像选择条件和配置的布局信息。图13表示图11所示的mID000101。如图13所示，在加工详情信息中记述了针对各个图像框而选择的图像自身的加工处理信息及其参照信息、和除此以外的附加加工信息及其参照信息。

然后，内容加工装置起动参照信息抽取部5，参照信息抽取部5从模板中抽取参照信息（S13）。然后，内容加工装置起动加工处理信息确定部6，加工处理信息确定部6根据由内容信息抽取部2抽取的目标内容的属性信息和由参照信息抽取部5抽取的参照信息，确定作品表现模型的校正详情（S14）。具体地讲是实施如下所述的动作。

首先，加工处理信息确定部6计算参照信息与属性信息的差分。图14表示与计算差分信息的处理步骤相关的流程图。使用图12所示的template1－1和图13所示的mID000101来说明具体的处理详情。另外，图15表示按照template1－1的选择基准而选择的画框1～3的图像。另外，图15的图像是使用内容的解析元数据信息选择的与template1－1的选择基准一致的图像，但也可以使用除此以外的内容的属性信息来选择图像，还可以使用内容的任意的属性信息或者这些属性信息的组合。

如图14所示，参照信息抽取部5从模板的加工详情中抽取调整项目（S21）。如图13所示抽取出的调整项目被按照每个框来记述，因而加工处理信息确定部6顺序地首先抽取人脸数量作为画框1的调整项目。并且，加工处理信息确定部6根据调整项目选择必要的解析方法（S22）。内容信息解析部61按照所选择的解析方法进行解析处理，并计算能够与调整项目进行比较的内容的属性信息（S23）。例如，关于画框1，加工处理信息确定部6选择人脸检测器、人体检测器作为解析方法，内容信息解析部61计算出人脸数量是2。关于画框2，加工处理信息确定部6选择空白的比率计算方法作为解析方法，内容信息解析部61计算出空白的比率为0.4。关于画框3，加工处理信息确定部6选择与背景的相似度判定作为解析方法，内容信息解析部61计算出相似度是0.5。另外，关于解析方法可以在模板中进行定义，也可以由内容加工装置预先规定与调整项目对应的解析方法。

然后，差分值计算部62计算调整项目的参照值与在S23计算出的解析结果的差分作为差分信息（S24）。例如，关于画框1，由于参照值是“人脸数量：1”、解析结果是“人脸数量：2”，因而差分值计算部62计算出“人脸数量：＋1”。关于画框2，由于参照值是“空白的比率：0.5”、解析结果是“空白的比率：0.4”，因而差分值计算部62计算出“空白的比率：－1”。关于画框3，由于参照值是“背景相似度：1”、解析结果是“背景相似度：0.5”，因而差分值计算部62计算出“背景相似度：－0.5”。并且，加工处理信息确定部6确认是否对全部调整项目即全部画框完成处理，在没有完成时返回到S21，在已完成时结束差分信息的计算处理（S25）。例如，通过反复3次进行画框1～3的处理来计算出与全部调整项目相关的差分信息，从而完成处理。

然后，加工处理信息确定部6使用由差分值计算部62计算出的目标内容的差分信息，根据调整项目确定校正详情并进行计算（S14）。图16表示与确定校正详情的处理步骤相关的流程图。

使用图12所示的template1－1和图13所示的mID000101和图15所示的选择图像例来说明具体的处理详情。如图16所示，校正优先度计算部63对计算出的差分信息和根据调整项目而生成的校正详情候选计算校正优先度（S31）。图17表示计算出的校正优先度。然后，校正优先度计算部63根据该优先度确定校正详情（S32）。如图17所示，针对优先度2以上的校正详情候选，对于画框1由于需要人体区域抽取和角色加工和布局变更，因而内容加工、修饰、配置全部被选择，对于画框2由于需要空白的比率变更，因而选择内容加工，对于画框3由于需要与选择图像相似的背景图像，因而选择配置。另外，在模板中记述了对于每个调整项目根据差分值计算优先度的方法。

然后，加工处理信息校正部64和附加加工信息校正部65确定最终的内容自身的加工处理信息和最终的附加加工信息（S33）。例如，关于画框1，由于只有上半身，因而加工处理信息校正部64将上半身区域的抽取作为校正后的加工处理信息，由于人脸朝向左侧，因而附加加工信息校正部65附加朝向右侧的上半身的修饰角色，并将布局设为直线配置沿上下方向来配置各个上半身图像的详情，作为校正后的附加加工信息。关于画框2，加工处理信息校正部64将从图像中抽取如下区域的加工，作为校正后的加工处理信息，该区域是在空白的比率达到0.5的区域中面积为最大的区域。关于画框3，附加加工信息校正部65将从可选择的背景基底中选择与选择图像相似的图像作为校正后的附加加工信息。在此，由于存在具有一定相似度的背景基底，因而从背景基底中选择相似图像，但是在不存在具有一定相似度的背景基底的情况下，关于具有下一个校正优先度的动作，能够将通过因特网进行检索并下载取得作为校正后的附加加工信息。并且，加工处理信息确定部6确认是否对全部调整项目完成处理，在没有完成时返回到S31，在已完成时结束校正详情的调整处理（S35）。例如，通过反复3次进行画框1～3的处理来进行与全部调整项目相关的校正详情的调整，从而完成处理。图18表示与画框1～3相关的最终的加工处理信息和附加加工信息的详情。

然后，加工处理部7按照由加工处理信息确定部6确定的校正后的作品表现模型，对内容进行加工变换，并保存所生成的作品（S15）。图19表示使用图12所示的template1－1和图13所示的mID000101以及图15所示的选择图像例，按照图18所示的校正详情而生成的最终的加工变换处理结果的一例。

<补充>

（1）模板

在上述的实施方式2中，说明了如图9所示将目标内容全部设为一个组的一个模板的情况，但是在对多个组单位适用分别不同的模板的情况下，也可以将模板的组设为针对一个内容组的一个模板进行处理。

另外，关于一个模板的单位，对于数字相册结构的情况能够规定为1页量，对于包括推移效果的幻灯片结构的情况，能够设为具有按时序变化的1场景量的结构的模板。

（2）差分信息计算方法

在上述的实施方式2中，说明了对从模板中抽取的全部调整项目计算差分信息的情况，但也可以按照如下所述的方法计算差分信息。

例如，可以由模板的创作者或者模板的利用者预先指定计算差分信息的调整项目，也可以不论模板的类型如何，均由利用者设定计算差分信息的调整项目。

另外，在针对调整项目存在多个解析方法的情况下，也可以由用户预先确定条件并赋予优先顺序，但也可以由加工处理信息确定部6对内容自动检测可解析的项目并进行设定。例如，在计算有关人的信息时，在利用人脸检测和人体检测中哪一方的信息时，当在人脸检测中不能检测或者检测可靠度较低、但是能够在人体检测中进行检测或者检测可靠度较高的情况下，能够确定为采用使用人体检测的解析方法的判定。另外，在具有结构等相似的模板的情况下，能够将在相似的模板中解析方法是否共用作为选择解析方法的基准。例如，即使是存在多个解析方法时，也能够按照在相似的模板中规定的解析方法的重复率从高到低的顺序依次选择作为基准的解析方法。

另外，也可以是，在模板中不包含解析方法，但分别包含加工前后的理想的内容。这样，能够计算出与理想的内容的差分。另外，对于能够适用于不是模板形式而是如实施方式1那样的内容的作品表现模型的详情，也能够进行相同的处理。

（3）在上述的实施方式2中，对于作品表现模型的校正仅说明了一种校正方法，但也可以使用如下所述的其它校正方法。

关于对加工目标的内容进行加工的加工处理信息，能够选择被摄体或者背景区域的切取、基于图像的特定特征或特定区域的伸缩加工等，能够以与模板的参照信息匹配的方式选择加工处理信息。另外，也可以根据在模板中记述的详情，在确定加工处理信息后调整附加加工信息，或者还可以在确定附加加工信息后确定加工处理信息。或者，也可以根据每个调整项目独立地设定在加工处理信息和附加加工信息之中先确定哪一方。另外，也可以进行内容之间的尺寸的大小和配置的平衡调整。例如，在图像内的人脸的尺寸不同的情况下，也可以将一方放大或者缩小使尺寸相同，或者在选择图像不同是4：3和16：9的情况下，也可以将不要的背景区域较大的一侧删除，使与一方的比率一致。另外，也能够调整为幻灯片、演示电影等包含时间性推移的详情，还能够规定为调整推移效果的校正详情。

<总结>

如上所述，通过根据内容的属性信息来校正模板，能够使用适合于内容的模板，内容加工装置不一定需要保存最适合于内容的模板，使用被校正后的模板即可轻松地将内容加工成有效的视听形式并进行视听及欣赏，而且不需要用户从头开始进行加工处理。

（实施方式3）

在本实施方式中详细说明这样的方法：利用内容的特定的属性信息，按照与该信息对应的作品表现模型动态地调整与作为视听目标的内容的摄影事件/主题适合的内容的加工处理信息。另外，在本实施方式中，对具有与实施方式1或者2相同功能的结构标注相同的标号，并省略说明。

本实施方式的内容加工装置20设置内容信息抽取部12和作品表现模型指定部14来取代内容信息抽取部2和作品表现模型指定部4。

内容信息抽取部12在内容信息抽取部2的功能基础上，还具有内容信息解析部61的功能，以便得到有关特定的属性信息的解析信息。另外，作品表现模型指定部14在作品表现模型指定部4的功能基础上，还具有根据特定属性信息确定作品表现模型的功能。详细情况在后面进行说明。

对本实施方式的内容加工装置20的动作进行说明。本实施方式的内容加工装置20从内容数据存储部1取得目标内容，在由内容信息抽取部12从目标内容中抽取属性信息后（S1或者S11），替代实施方式1或者2中的S2或者S12的动作，由作品表现模型指定部14按照内容的属性信息中的特定属性信息来确定作品表现模型（S42），由参照信息抽取部5抽取所确定的作品表现模型的参照信息（S3或者S13），由加工处理信息确定部6根据属性信息和在作品表现模型中记载的参照信息，确定能够调整的校正内容（S4或者S14）。并且，内容加工装置根据所确定的校正后的作品表现模型，由加工处理部7进行内容的加工变换处理（S5或者S15）。在此，特定的属性信息是指与人相关的信息和与场所相关的信息和与摄影事件相关的信息等，在本实施方式中对于上述的S42进行详细说明。

首先，内容加工装置从内容数据存储部1取得作为目标的内容（S1或者S11），内容信息抽取部12进行所取得的目标内容的特定的属性信息的抽取处理。被抽取的内容的特定的属性信息指与人相关的信息和与场所相关的信息和与摄影事件相关的信息这三种信息。

然后，作品表现模型指定部14从在作品表现模型存储部3中保存的作品表现模型中选择适合于目标内容的作品表现模型（S42）。作品表现模型指定部14主要选择对内容附加某附加信息的处理、将多个内容或者被分割后的内容配置在特定的位置的布局配置处理、和具有时间推移的推移效果处理，作为作品表现模型。另外，这些处理是根据内容具有的特定属性信息来变更校正详情的处理。以后的动作（S3～S5或者S13～S15）与实施方式1和2相同，因而省略说明。

在下面的说明中，对于作为特定属性信息的与人相关的信息和与场所相关的信息和与摄影事件相关的信息，分别进行有关合成处理和布局配置处理和推移效果处理的说明。

首先，对内容的特定属性信息是与人相关的信息的情况进行说明。其中，所谓与人相关的属性信息包括能够对人进行检测的详情即“人脸”、“上半身”、“全身”等。另外，所谓能够调整的项目包括各个检测详情的“数量”、“朝向”、“旋转方向”、“检测似然度（可靠性）”、“年龄”、“性别”、“表情”、“穿着物品”或者这些要素的组合。通过使用这些与人相关的属性信息计算调整项目的差分信息并调整校正详情，能够进行最终的加工处理。具体地讲，作品表现模型指定部14使用与属性信息对应的属性值，确定针对该内容的作品表现模型，加工处理信息确定部6根据所确定的作品表现模型的参照信息和内容的属性信息，确定针对最终的加工处理信息和附加加工信息的校正。图20表示进行该加工变换处理的结果的一例。

图20（A）表示按照内容中的正面人脸以外的人即行人将不同的角色进行合成得到的作品表现模型。在这种情况下，作品表现模型指定部14将行人的“数量”、“朝向”、“旋转方向”、“尺寸”作为调整项目，从将角色进行合成得到的多个作品表现模型中，确定适用于各个行人的作品表现模型，由此确定出与各个行人匹配的角色。加工处理信息确定部6按照每个行人根据参照信息和属性信息进行作品表现模型的校正，以便使行人的朝向和角色的朝向一致，加工处理部7进行加工变换处理作为附加加工。

下面，图20（B）表示根据中心内容中的正面体的人物来确定其它内容的配置的加工详情。在这种情况下，作品表现模型指定部14将正面体的“数量”、“朝向”、“旋转方向”、“尺寸”作为调整项目，从适应正面体的数量“4”的作品表现模型中指定作品表现模型，该作品表现模型在与各个正面体一致的人物是以少量人数被摄入的图像的各个配置位置进行内容的布局配置，加工处理信息确定部6还根据参照信息和属性信息确定加工变换处理，该加工变换处理进行用于抽取与正面体一致的人物是以少量人数被摄入的图像并抽取人区域的加工，加工处理部7进行加工变换处理。

另外，图20（C）表示与内容中的正面人脸的各个人脸状态匹配的显示推移效应的效果被选择确定为校正详情的加工详情。在此，所谓显示推移效应是指如下的图像的切换效果，例如进行将数字相册的页面翻页的操作，将上述的正面人脸放大，并切换为仅抽取出人脸的下一个图像。在这种情况下，作品表现模型指定部14将正面人脸的“数量”、“朝向”、“旋转方向”、“性别”、“年龄”作为调整项目，确定使用与各个人脸的信息对应的显示推移效果的作品表现模型，加工处理信息确定部6按照检测出的每个人脸确定作为数字相册的下一个图像的内容的加工，加工处理部7顺序进行按照各个效果进行显示的加工变换处理。

下面，对内容的特定属性信息是与场所相关的信息的情况进行说明。其中，所谓与场所相关的内容的属性信息，包括能够对场所进行检测的详情即“基于GPS的位置信息”、“地标”。另外，所谓调整项目包括各个检测详情的“摄影方位”、“范围”、“地标的尺寸及数量”、“来由（过去）”及这些要素的组合等。另外，也可以在前述的调整项目中进一步组合“摄影时刻”、根据摄影时刻计算出的“时间段”、或者“季节”。通过使用这些与场所相关的属性信息计算调整项目的差分信息并调整校正详情，能够进行最终的加工处理。图21表示进行该变换处理的结果的一例。

图21（A）表示根据位于内容中的背景中的地标信息将与该地标对应的插图进行合成得到的作品表现模型。在这种情况下，作品表现模型指定部14将地标的“摄影方位”、“范围”、“尺寸”、“摄影时间段”作为参照信息，选择用于附加与地标匹配的插图的作品表现模型，加工处理信息确定部6确定附加加工信息，加工处理部7进行加工变换处理。具体地讲是进行如下所述的处理。首先，内容信息抽取部12根据GPS的纬度、经度信息和摄影方位确定地标“富士山”。然后，作品表现模型指定部14从与地标“富士山”对应的作品表现模型中，选择根据GPS的摄影时刻信息来附加“富士山日出”的修饰图像的作品表现模型。最后，加工处理信息确定部6根据作品表现模型的参照信息和属性信息确定修饰图像的尺寸和附加位置，加工处理部7进行附加加工处理。

下面，图21（B）表示根据待配置的内容的摄影场所决定在该场所配置具有来由的内容的加工详情。在这种情况下，内容信息抽取部12将内容的摄影场所的“区域大小”、“摄影方位”、“来由的关联性”作为调整项目，选择并抽取与各个摄影场所最具关联性的内容，作品表现模型指定部14选择用于布局配置与各个内容的配置位置最具关联性的内容的作品表现模型。具体地讲是进行如下所述的处理。首先，根据对于内容是共用的来由的关联性，内容信息抽取部12确定来由“出云”。然后，内容信息抽取部12通过被摄体解析，从左侧的图像中检测出“出云峭壁”、从右侧的图像中检测出“出云大社”，作品表现模型指定部14从与来由“出云”对应的作品表现模型中，选择对于左侧的图像附加“出云峭壁”的修饰图像的作品表现模型、和对于右侧的图像附加“勾玉”的修饰图像的作品表现模型。最后，加工处理信息确定部6根据作品表现模型的参照信息和属性信息确定修饰图像的尺寸和附加位置，加工处理部7进行附加加工处理。

另外，图21（C）表示与内容拍摄场所的设施详情匹配的显示推移效应的效果被选择确定为校正详情的加工详情。在这种情况下，将拍摄场所的设施详情的“场景”、“摄影方位”、“摄影范围”、“摄影时间”作为调整项目，确定与各个设施的信息对应的显示推移效应的效果，并顺序地进行按照各个效果进行显示的加工变换处理。内容信息抽取部12将该图像分析为拍摄了结婚仪式会场内的人们的场景，作品表现模型指定部14选择用于赋予如同花瓣飘舞的效果K的作品表现模型。最后，加工处理信息确定部6根据作品表现模型的参照信息和属性信息调整效果K的附加位置，以便使被摄体的人脸不被隐藏遮挡，加工处理部7进行附加加工处理。

另外，对内容的特定属性信息是与摄影事件相关的信息的情况进行说明。在此，所谓与摄影事件相关的内容的属性信息，包括能够对摄影事件进行检测的详情即“季节事件”、“事件被摄体”、“事件场景”等。另外，所谓调整项目包括各个检测详情的“文字信息”、“被摄体的数量”、“被摄体的尺寸”、“背景和场景的区域”、“时间宽度”及这些要素的组合等。通过使用这些与摄影事件相关的属性信息计算调整项目的差分信息并调整校正详情，能够进行最终的加工处理。图22表示进行该加工变换处理的结果的一例。

图22（A）表示根据存在于内容中的被摄体的形状信息将与该被摄体对应的事件相关的插图进行合成得到的加工详情。在这种情况下，将被摄体的“尺寸”、“区域”、“形状”、“摄影时间段”作为调整项目，选择与被摄体匹配的事件的插图，并作为附加加工进行加工变换处理。在该示例中，内容信息抽取部12根据摄影时间检测出“圣诞节”事件，作品表现模型指定部14选择用于将与圣诞节事件相关联的插图合成在被摄体即建筑物中的作品表现模型。最后，加工处理信息确定部6根据作品表现模型的参照信息和属性信息确定合成处理，该合成处理包括在塔顶上合成星星的修饰图像、在屋顶的中央合成花环的修饰图像等，加工处理部7进行合成处理。

下面，图22（B）表示根据配置于中心的内容的构图，按照该构图确定其它内容的配置位置的加工详情。在这种情况下，将摄影内容的“被摄体的数量”、“被摄体的尺寸”、“风景场景的区域”作为调整项目来进行加工变换处理，抽取构成各个摄影内容的构图的被摄体区域和背景区域，选择表示与各个被摄体区域或背景区域最接近的详情的内容并进行配置。具体地讲，以内容信息抽取部12根据中心的内容而得到的“被摄体的数量：4”为基础，作品表现模型指定部14从以该内容为中心、在周围四处配置各个被摄体被单独拍摄或者与少量人一起拍摄的图像的作品表现模型中，选择一个作品表现模型，并选择被配置在周围四处的图像。然后，加工处理信息确定部6根据属性信息和参照信息进行图像的区域抽取、布局框的变形和移动等调整，加工处理部7进行变换处理。

另外，图22（C）表示与在摄影事件中拍摄的同一被摄体对象的数量匹配的显示推移效应的效果被选择确定为校正详情的加工详情。在这种情况下，将作为摄影事件的特定被摄体的“数量”、“尺寸”、“频次”、“摄影时间”作为调整项目，确定与各个被摄体的信息对应的显示推移效应的效果，并顺序地进行按照各个效果进行显示的加工变换处理。在图22（C）的示例中，内容信息抽取部12对于在背景不怎么变化的场景中拍摄的散步中的狗的内容组，抽取作为被拍摄的被摄体的狗的对象，作品表现模型指定部14选择用于赋予被摄体部分按照时间序列而渐变推移的效果L的作品表现模型。最后，加工处理信息确定部6进行所抽取的对象的尺寸、效果L中的推移效果、显示顺序等的调整，加工处理部7进行变换处理。

<补充>

（1）基于与人相关的信息的校正

在上述的实施方式3中说明了这样的情况，即将行人的“数量”、“朝向”、“旋转方向”、“尺寸”作为调整项目，作品表现模型指定部14从将角色合成得到的多个作品表现模型中确定适用于各个行人的作品表现模型，但也可以采用除此以外的如下所述的作品表现模型。

例如，也可以采用以与被检测为被摄体的人的方向相对的方式来配置角色的作品表现模型。或者，也能够采用根据位于周围的人的人数来配置虚拟声音的作品表现模型、根据位于周围的人的人数来附加杂音声音的作品表现模型、根据在内容中出场的人物的年龄和性别和表情等对每个人物附加不同的印记的作品表现模型。

另外，在上述的实施方式3中说明了这样的情况，即将正面体的“数量”、“朝向”、“旋转方向”、“尺寸”作为调整项目，作品表现模型指定部14指定用于将与各个正面体一致的人物是以少量人数被摄入的图像布局在各个配置位置的作品表现模型，但是作品表现模型指定部14也可以采用除此以外的如下所述的作品表现模型。

例如，也可以采用仅将内容中的人脸中一定角度范围的人脸作为目标，按照该数量进行画面分割并配置相关联的图像的作品表现模型。或者，也可以采用按照被摄入的身体的区域面积量进行加权，按照加权进行画面分割并配置相关联的图像的作品表现模型。并且，也可以采用根据人的相对位置关系，使针对被配置在周围的图像的修饰工具的详情根据该配置的每个图像而变化的作品表现模型。

另外，在上述的实施方式3中说明了这样的情况，即将正面人脸的“数量”、“朝向”、“旋转方向”、“性别”、“年龄”作为调整项目，作品表现模型指定部14确定与各个人脸的信息对应的显示推移效应的效果，但是作品表现模型指定部14也可以采用除此以外的如下所述的作品表现模型。

作品表现模型指定部14也可以采用例如按照被检测出的人脸的年龄顺序显示进行人脸的渐变推移的效果的作品表现模型。或者，也可以采用按照被检测出的人脸的组合数量，将各个组合的人脸推移显示到正在检测的另一个图像的作品表现模型，还可以采用按照检测出的人物被摄入的身体的区域部分来进行摄影技巧的推移显示的作品表现模型。

另外，不限于上述的示例，也能够采用使用与人相关的属性信息确定作品表现模型并进行校正的处理。

另外，由于图像识别技术等分析方法存在进行错误识别的可能性，因而也可以对解析结果进行校正。在这种情况下，例如内容信息抽取部12可以使用在SNS中共享的信息、通过手工处理附加了标签的信息等利用元数据信息，还可以在内容加工装置中设置简易UI（User Interface：用户接口）让用户输入校正信息。

另外，也可以是，内容加工装置20根据内容中的人的出现频次设定重要度。例如也可以是，内容加工装置20重视频繁出现的人的信息并优先识别为被摄体，在是否是行人不确定的情况下，视为被摄体来进行图像处理。

（2）基于与场所相关的信息的校正

在上述的实施方式3中说明了这样的情况，即将内容的摄影场所的“区域大小”、“摄影方位”、“来由的关联性”作为调整项目，内容信息抽取部12选择抽取与各个摄影场所最具关联性的内容，作品表现模型指定部14选择在各个内容的配置位置进行布局配置的作品表现模型，但是也可以采用除此以外的如下所述的作品表现模型。

例如，也可以采用根据内容组的拍摄场所的地理信息的远近来改变各内容之间的画面分割的位置的作品表现模型。另外，关于附加加工信息，也可以配置与内容的摄影位置相关联的修饰图像、或者使用与内容的摄影位置相关联的配置基础或者背景。或者，在内容组与多个地标相关的情况下，也可以根据每个地标的摄影张数变更对包括该地标的内容附加的修饰工具，或者还可以进行将与摄影张数较多的地标相关联的内容作为重要内容，并配置在中央或者配置在较大的画框中等的加工。

另外，在一个内容与两个以上的地标相关联的情况下，也可以将任意一个地标优先。此时，优先顺序能够根据例如地标的类型进行确定。另外，在地标的一部分被检测出的情况下，也可以进行根据该检测出的地标的位置和大小来附加该地标的整体像的附加加工。另外，也可以在内容中未检测出被摄体的空白区域中，根据空白区域的大小来附加加工与地标相关联的修饰工具。另外，在附加修饰工具等的附加加工中，也可以根据内容的摄影时间段来改变该修饰工具等的色调。

另外，在上述的实施方式3中说明了这样的情况，即对于由内容信息抽取部12分析为是摄入了结婚仪式会场内的人们的场景的图像，作品表现模型指定部14选择用于赋予如同花瓣飘舞的效果K的作品表现模型，但是也可以采用除此以外的如下所述的作品表现模型。

例如也可以是，内容信息抽取部12根据摄影场所的场景以及建筑物信息判定摄影目的，作品表现模型指定部14选择与摄影目的相关联的作品表现模型。另外，也可以是，在内容组中，根据被摄体在地图上的位置和轨迹或者特定被摄体的运动来选择内容的推移效果。

另外，不限于上述的示例，也能够采用使用与场所相关的属性信息来确定作品表现模型并进行校正的处理。

另外，场所信息的取得方法不限于GPS信息，内容信息抽取部12也可以使用在SNS中共享的签到（check in）信息、或者通过手工处理附加了标签的信息、基于简易UI的用户的反馈信息。

（3）基于与事件相关的信息的校正

在上述的实施方式3中说明了这样的情况，即将被摄体的“尺寸”、“区域”、“形状”、“摄影时间段”作为调整项目，作品表现模型指定部14选择与被摄体匹配的事件的插图，由内容加工装置20进行作为附加加工的加工变换处理，但是也可以采用除此以外的如下所述的作品表现模型。

例如，作品表现模型指定部14也可以采用配置与内容中的被摄体即对象的类型、数量、形状等匹配的插图等并进行合成得到的作品表现模型。另外，也可以采用配置与根据内容中的文字区域而检测出的文字相关联的对象的插图并进行合成得到的作品表现模型，或者选择确定根据摄影目的和摄影时间而附加的插图的详情的作品表现模型。

另外，在存在与被摄体的尺寸或形状、摄影时间段相关联的多个事件的情况下，内容加工装置20也能够根据事件的类型和规模来确定采用与哪个事件相关联的作品表现模型。或者，也可以根据检测该事件的解析方法的可靠度，确定是否采用与事件相关联的作品表现模型。

另外，在上述的实施方式3中说明了这样的情况，即将摄影内容的“被摄体的数量”、“被摄体的尺寸”、“风景场景的区域”作为调整项目，内容信息抽取部12抽取构成各个摄影内容的构图的被摄体区域和背景区域，作品表现模型指定部14选择用于选择表示与各个被摄体区域或者背景区域最接近的详情的内容并进行配置的作品表现模型，但是也可以采用除此以外的如下所述的作品表现模型。

例如，作品表现模型指定部14也可以采用根据构成摄影事件的内容中共用的背景场景或者被摄体进行画面分割的作品表现模型。另外，也可以采用根据背景的推移信息将显示区域分割、并选择与各个事件匹配的画面分割布局的作品表现模型。

另外，在上述的实施方式3中说明了这样的情况，即将作为摄影事件的特定被摄体的“数量”、“尺寸”、“频次”、“摄影时间”作为调整项目，作品表现模型指定部14确定与各个被摄体的信息对应的显示推移效应的效果，内容加工装置20顺序地进行按照各个效果进行显示的变换处理，但是也可以采用除此以外的如下所述的作品表现模型。

例如也可以是，在能够被识别为摄影事件中的被摄体的多个特定对象存在多个的情况下，作品表现模型指定部14选择用于附加根据其数量可知移动状态的推移效果的作品表现模型。或者，也可以选择用于附加以被摄体为中心、可知背景的运动的推移效果的作品表现模型。

另外，不限于上述的示例，也能够采用使用与事件相关的属性信息来确定作品表现模型并进行校正的处理。

另外，事件信息的取得方法不限于被摄体解析等图像解析，也可以使用在SNS中共享的内容或者相册的标题信息、或者通过手工处理附加了标签的信息、基于简易UI的用户的反馈信息。

<总结>

如上所述，通过根据内容的特定的属性信息确定作品表现模型，并根据内容的属性信息来校正作品表现模型，能够动态地生成适合于内容的作品表现模型，用户不需要从头开始进行加工处理，即可使用被校正后的生成表现信息来轻松地将内容加工成有效的视听形式进行欣赏。

（实施方式4）

在本实施方式中，对根据用于鉴赏作品的终端条件进行内容的加工的方法进行详细说明。另外，对具有与实施方式1～3相同的功能的结构标注相同的标号，并省略说明。

图23表示本实施方式的内容加工装置30。用户终端是鉴赏作品的用户使用的网络终端，例如是大型液晶TV、个人电脑、平板电脑终端等。

终端信息输入部21从用于鉴赏作品的用户终端取得终端信息。其中，终端信息例如是指终端画面的尺寸和析像度等的终端能力、以及FTTH、LTE等的线路类型等用于取得作品的线路速度等。

加工处理信息确定部26使用属性信息和参照信息、以及终端信息输入部21取得的终端信息，确定作品表现模型的校正详情。详细情况在后面进行说明。

<动作>

对本实施方式的内容加工装置30的动作进行说明。本实施方式的内容加工装置30从内容数据存储部1取得目标内容，内容信息抽取部2从所取得的目标内容中抽取属性信息（S1或者S11）。

然后，内容加工装置30从在作品表现模型存储部3中存储的作品表现模型中，指定作品表现模型指定部4使用的作品表现模型（S2或者S12）。

然后，内容加工装置30起动参照信息抽取部5，参照信息抽取部5从所指定的作品表现模型中抽取参照信息（S3或者S13）。

然后，内容加工装置30起动终端信息输入部21，终端信息输入部21从用户终端取得终端画面的尺寸和线路类型（S51）

然后，内容加工装置30起动加工处理信息确定部26，加工处理信息确定部26根据由内容信息抽取部2抽取的目标内容的属性信息、和由参照信息抽取部5抽取的参照信息、以及由终端信息输入部21取得的终端信息，确定作品表现模型的校正方法（S54）。关于使用参照信息和属性信息进行的作品表现模型的校正，与上述实施方式1的S4或者实施方式2的S14相同，因而在此仅对使用终端信息进行的作品表现模型的校正进行下面的详细说明。

加工处理信息确定部26使用终端信息确定作品表现模型的校正方法和加工处理信息。在本实施方式中，根据终端画面的尺寸和线路速度来校正作品表现模型。例如，如果终端画面的尺寸为10英寸以下，则以能够简洁易懂地理解作品的方式来校正作品表现模型。具体地讲，在用户终端是具有5英寸的显示部的平板电脑终端的情况下，加工处理信息确定部26进行将作为附加加工而使用的修饰图像更换为具有面向平板电脑的简洁图案的修饰图像的校正。另外，例如如果用户终端取得作品的线路速度在有线连接时是1Mbps以下、在无线连接时是10Mbps以下，则以减小作品的信息量的方式来校正作品表现模型。具体地讲，当用户终端取得作品的线路在第三代移动通信系统中的线路速度是7.2Mbps的情况下，加工处理信息确定部26将用于赋予从内容图像1向内容图像2的渐变效果的详情的加工处理信息，变更为将显示从内容图像1切换为内容图像2的详情的加工处理信息。

然后，内容加工装置30起动加工处理部7，加工处理部7按照加工处理信息和校正后的作品表现模型，进行内容的加工变换处理和保存（S5或者S15）。

<补充>

（1）终端信息

在上述的实施方式4中，关于终端信息的示例是示出了终端画面的尺寸和线路类型，但是也可以将除此以外的如下所述的信息用作终端信息。

例如，也可以将终端画面的总像素数或者水平像素数与垂直像素数的组合用作终端信息。并且，在内容是动态图像数据的情况下，也可以将终端画面的最大帧速率用作终端信息。

或者，也可以将内容加工装置与用户终端之间的数据传输速度的平均值或者最大值用作终端信息。

（2）作品表现模型的校正

在上述的实施方式4中示出了这样的情况，即如果终端画面的尺寸为预定的基准值以下，则以能够简洁易懂地理解作品的方式来校正作品表现模型，如果用户终端取得作品的线路速度为预定的基准值以下，则以减小作品的信息量的方式来校正作品表现模型，但是也可以按照下面所述来进行作品表现模型的校正。

例如，以终端画面的尺寸或水平像素数/垂直像素数为基准，对于具有大型TV显像设备或大型显示器的个人电脑等将画面尺寸设为大尺寸，对于小型TV显像设备或小型笔记本电脑将画面尺寸设为中等尺寸，对于平板电脑终端或智能电话、移动电话终端等将画面尺寸设为小尺寸。并且，在将画面尺寸设为大尺寸时，也可以进行诸如这样的作品表现模型的校正：即避免成为画质降低的原因的缩小或压缩等加工详情，并将修饰图像更换为面向高析像度的修饰图像。另外，在将画面尺寸设为小尺寸时，也可以进行诸如这样的作品表现模型的校正：即除了将在附加加工中使用的修饰图像更换为具有面向平板电脑的简洁图案的修饰图像以外，将缩小率达到预定值（例如20％）以下的修饰图像删除。或者，作为作品表现模型的校正候选，也可以采用“背景图像的删除”、“式样框的删除”。这样，能够在大型画面中鉴赏高品质的作品，并且能够在小型画面中鉴赏简单的作品，还能够生成与终端的画面尺寸匹配的合适质量的作品。

或者，例如同样以线路速度为基准，对于FTTH等100Mbps以上的高速有线连接，将线路速度设为高速，对于CATV、ADSL等中等有线连接和LTE、WiMAX等高速无线连接，将线路速度设为中速，对于ISDN、拨号等低速有线连接和3G、PHS等中速或低速的无线连接，将线路速度设为低速。并且，在将线路速度设为高速时，也可以避免成为画质降低的原因的缩小或压缩、帧速率的变更等加工处理信息，还可以将用于把动态图像内容加工成静止图像的详情的加工处理信息，变更为对动态图像内容直接在动态图像状态下进行加工的加工处理信息。另外，在将线路速度设为低速时，不限于赋予渐变效果的加工处理信息，也可以将赋予推移画面效果的加工处理信息变更为画面切换的加工处理信息。或者，也可以将具有动画效果的附加加工信息校正成赋予静止图像的附加加工信息，还可以将对动态图像内容直接在动态图像状态下进行加工的加工处理信息，变更为用于把动态图像内容加工成静止图像的加工处理信息。这样，能够在使用高速线路鉴赏作品的环境下鉴赏高品质的作品，并且即使是在只能使用低速线路的环境下，也能够通过缩短或者消除作品的数据传输等待时间来愉快地鉴赏作品。

另外，对于画面尺寸为中等或者线路速度为中等的终端信息，当然也可以根据中等尺寸的画面或者中等速度的线路来校正作品表现模型。即，可以变更加工处理信息或者对加工处理信息的校正候选设定限制，或者也可以变更附加加工信息或者对附加加工信息的校正候选设定限制。

（实施方式5）

在本实施方式中，对按照用户的指示来加工内容、或者按照用户的指示来重新生成作品的方法进行详细说明。另外，对具有与实施方式1～3相同的功能的结构标注相同的标号，并省略说明。

图24表示本实施方式的内容加工装置40。

用户指示输入部31从用户取得对作品的指示。其中，所谓对作品的指示，例如是指实施使属性信息或者参照信息的一部分变更的作品表现模型的校正的指示，或者不实施上述校正的指示。详细情况在后面进行说明。用户指示输入部例如由显示器、和受理用户的指示的触摸屏等构成。

加工处理信息确定部36使用属性信息和参照信息、以及用户指示输入部31受理的用户指示，确定作品表现模型的校正详情。详细情况在后面进行说明。

<动作>

对本实施方式的内容加工装置40的动作进行说明。本实施方式的内容加工装置40从内容数据存储部1取得目标内容，内容信息抽取部2从所取得的目标内容中抽取属性信息（S1或者S11）。

然后，内容加工装置40从在作品表现模型存储部3中存储的作品表现模型中，指定作品表现模型指定部4使用的作品表现模型（S2或者S12）。

然后，内容加工装置40起动参照信息抽取部5，参照信息抽取部5从所指定的作品表现模型中抽取参照信息（S3或者S13）。

然后，内容加工装置40起动用户指示输入部31和加工处理信息确定部36，用户指示输入部31从用户取得用户指示（S61）。在此，用户指示输入部31从加工处理信息确定部36取得属性信息和参照信息，对于在参照信息中规定的各个调整项目，从用户受理“保持属性值”、“保持参照值”、“使用双方进行适当校正”中任意一方作为指示。例如，对于“调整项目：人脸数量”，在属性值是3、参照值是1的情况下，用户指示输入部31让用户选择以下任意一方并接受其结果：以不变更内容的属性信息“人脸数量：3”的方式将作品表现模型校正为“人脸数量：3”，或者不变更作品表现模型中的“人脸数量：1”，或者使用诸如在实施方式1的补充部分中说明的优先度来确定人脸数量。

然后，加工处理信息确定部36根据由内容信息抽取部2抽取的目标内容的属性信息、由参照信息抽取部5抽取的参照信息、以及由用户指示输入部31取得的用户指示，确定作品表现模型的校正方法（S64）。

加工处理信息确定部36对于用户指示是指示了“使用双方进行适当校正”的调整项目，按照在实施方式1的补充部分中说明的那样，使用优先度确定与该调整项目相关的校正详情。即，进行与S4或者S14相同的动作。另一方面，在用户指示是“保持属性值”或者“保持参照值”的情况下，仅使用适合于用户指示的校正候选，并使用优先度确定与该调整项目相关的校正详情。例如，对于“调整项目：人脸数量”，在属性值是3、参照值是1、用户指示是“保持属性值”的情况下，仅生成诸如人脸数量是3的作品表现模型的校正候选，使用优先度从所生成的校正候选中确定校正后的作品表现模型。

然后，内容加工装置40起动加工处理部7，加工处理部7按照内容的加工详情和对内容附加的加工详情，进行内容的加工变换处理和保存（S5或者S15）。

这样，用户能够按照每个调整项目选择内容的特性与作品表现模型的生成意图的平衡，能够在作品中反映用户的喜好，例如不想对被摄入内容即照片中的特定的地标附加修饰图像，或者因想要避免所选择的作品表现模型的布局失衡而保持布局等。

<补充>

（1）基于用户指示的再加工

在上述的实施方式5中说明了用户指示是在内容的加工处理之前被输入的情况，但也可以是，内容加工装置40在生成作品后将该作品提示给用户，在受理用户指示后再次执行S64和S5或者S15，由此校正作品表现模型并修改作品。这样，用户能够一面确认作品一面将作品修改为符合自身喜好的方式。

另外，用户指示不限于对各个调整项目指定“保持属性值”、“保持参照值”、“使用双方进行适当校正”中任意一方的指示，也可以是指定“保持属性值”、“不保持属性值”中任意一方的指示，或者是指定“保持参照值”、“不保持参照值”中任意一方的指示。或者，用户指示也可以是将内容的一部分或者全部更换为其它内容的指示。或者，也可以是将内容的加工详情变更为优先度较低的其它加工详情的指示，还可以是将附加加工的修饰图像更换为其它修饰图像的指示。或者，也可以是，内容加工装置提示作品表现模型的校正详情的候选及其优先度，用户指示是诸如“优先度的阈值”那样表示是否实施校正详情的候选的条件的指示、或者直接选择是否实施校正详情的候选的指示中的任意一种指示。

另外，当在生成作品后受理用户指示并校正作品表现模型来修改作品的情况下，也可以在S5或者S15仅对差分重新进行加工处理。因为已加工的内容及附加加工中与作品表现模型中未被校正的部分相关的内容，在作品的修改前后不变，因而能够直接在修改后的作品中使用。即，通过实施与作品表现模型中已被校正的部分相关的内容加工和附加加工，能够生成作品。例如，对于更换内容的一部分的用户指示，内容加工装置可以进行已更换后的内容的加工、和已更换后的内容的附加加工等与作品表现模型中已被校正的部分相关的加工。

（2）用户指示输入

在上述的实施方式5中说明了这样的情况，即用户指示输入部31对于在参照信息中规定的各个调整项目受理用户指示，但是当在生成作品后受理到用户指示的情况下，用户指示输入部31也可以显示所生成的作品并接受修改指示。另外，用户指示输入部31在受理修饰图像的替换等校正附加加工的用户指示的情况下，也可以将基于校正后的作品表现模型的作品作为预览提示给用户。这样，用户能够更直观地进行用于修改作品的指示。

（本实施方式的其它变形例）

（1）在实施方式1～5中说明了内容被存储在内容数据存储部1中的情况，但本发明不一定局限于这种情况。例如，本发明的内容加工装置也可以具有从存储内容的外部存储介质或服务器取得内容的内容数据取得部，以取代内容数据存储部1。

并且，同样在实施方式1～5中说明了作品表现模型或者模板被存储在作品表现模型存储部3中的情况，但本发明不一定局限于这种情况。例如，本发明的内容加工装置也可以具有从存储作品表现模型或者模板的外部存储介质或服务器取得作品表现模型或者模板的作品表现模型取得部，以取代作品表现模型存储部3。

（2）在实施方式1～5中说明了校正优先度计算部63根据校正详情和差分详情确定优先度的情况，但本发明不一定局限于这种情况。例如，校正优先度计算部63也可以根据校正详情和差分详情中至少一方计算校正详情的困难程度。此时，加工处理信息校正部64、附加加工信息校正部65可以采用困难程度最低的校正详情，还可以采用困难程度为阈值以下的校正详情。

（3）实施方式1～5的内容加工装置可以典型地实现为集成电路即LSI（Large Scale Integration）。可以将各个电路分别设为独立的单片，也可以设为包含全部电路或者一部分电路的单片。例如，内容信息抽取部有时与其它电路部被集成为同一个集成电路，有时形成为另一个集成电路。

在此是记述为LSI，但根据集成度的不同，有时也被称为IC（IntegratedCircuit：集成电路）、系统LSI、超级(super)LSI、特级(ultra)LSI。

并且，集成电路化的方法不限于LSI，也可以利用专用电路或者通用处理器实现。也可以采用在制作LSI后能够编程的可现场编程门阵列（FPGA：Field Programmable Gate Array）、能够重构架LSI内部的电路单元的连接和设定的可配置处理器（reconfigurable processor）。

另外，如果伴随半导体技术的发展或利用派生的其他技术替换LSI的集成电路化的技术问世，当然也可以使用该技术进行功能单元的集成化。

另外，实施方式1～5的内容加工装置也可以利用被写入存储介质中的程序、和读入程序并执行程序的计算机实现。存储介质可以是存储卡、CD－ROM等任何记录介质。另外，实施方式1～5的内容加工装置也可以利用经由网络而下载的程序、和从网络上下载程序并执行程序的计算机实现。该程序是使计算机执行作品生成处理的内容加工程序，在该作品生成处理中使用表示表现作品的方法的作品表现模型来加工内容并生成作品，其特征在于，所述作品生成处理包括：内容信息取得步骤，从作为目标的内容中取得属性信息；参照信息取得步骤，取得与所述作品表现模型匹配的内容应该具有的属性即参照信息；加工处理信息确定步骤，根据所述参照信息和所述属性信息对所述作品表现模型进行校正，并确定表示用于使所述内容适合于被校正后的所述作品表现模型的加工处理的加工处理信息；以及加工处理步骤，根据所述加工处理信息对所述内容进行加工，并使用被加工后的所述内容和被校正后的所述作品表现模型生成作品。

（4）实施方式1～5的说明只不过是本发明的示例，能够在不脱离本发明的范围的情况下进行各种改进和变形。

<补充>

下面，对实施方式的内容加工装置及集成电路、方法、程序的结构及效果进行说明。

（1）实施方式的内容加工装置使用表示表现作品的方法的作品表现模型来加工内容并生成作品，其特征在于，该内容加工装置包括：内容信息取得部，从作为目标的内容中取得属性信息；参照信息取得部，取得与所述作品表现模型匹配的内容应该具有的属性即参照信息；加工处理信息确定部，根据所述参照信息和所述属性信息对所述作品表现模型进行校正，并确定表示用于使所述内容适合于被校正后的所述作品表现模型的加工处理的加工处理信息；以及加工处理部，根据所述加工处理信息对所述内容进行加工，并使用被加工后的所述内容和被校正后的所述作品表现模型生成作品。

另外，实施方式的集成电路使用表示表现作品的方法的作品表现模型来加工内容并生成作品，其特征在于，该集成电路包括：内容信息取得部，从作为目标的内容中取得属性信息；参照信息取得部，取得与所述作品表现模型匹配的内容应该具有的属性即参照信息；加工处理信息确定部，根据所述参照信息和所述属性信息对所述作品表现模型进行校正，并确定表示用于使所述内容适合于被校正后的所述作品表现模型的加工处理的加工处理信息；以及加工处理部，根据所述加工处理信息对所述内容进行加工，并使用被加工后的所述内容和被校正后的所述作品表现模型生成作品。

另外，实施方式的内容加工方法使用表示表现作品的方法的作品表现模型来加工内容并生成作品，其特征在于，该内容加工方法包括：内容信息取得步骤，从作为目标的内容中取得属性信息；参照信息取得步骤，取得与所述作品表现模型匹配的内容应该具有的属性即参照信息；加工处理信息确定步骤，根据所述参照信息和所述属性信息对所述作品表现模型进行校正，并确定表示用于使所述内容适合于被校正后的所述作品表现模型的加工处理的加工处理信息；以及加工处理步骤，根据所述加工处理信息对所述内容进行加工，并使用被加工后的所述内容和被校正后的所述作品表现模型生成作品。

另外，实施方式的内容加工程序使计算机执行作品生成处理，在该作品生成处理中使用表示表现作品的方法的作品表现模型来加工内容并生成作品，其特征在于，所述作品生成处理包括：内容信息取得步骤，从作为目标的内容中取得属性信息；参照信息取得步骤，取得与所述作品表现模型匹配的内容应该具有的属性即参照信息；加工处理信息确定步骤，根据所述参照信息和所述属性信息对所述作品表现模型进行校正，并确定表示用于使所述内容适合于被校正后的所述作品表现模型的加工处理的加工处理信息；以及加工处理步骤，根据所述加工处理信息对所述内容进行加工，并使用被加工后的所述内容和被校正后的所述作品表现模型生成作品。

根据上述的这些结构，对于用户保有的各种内容，通过根据内容的属性信息对作品表现模型进行校正，能够使用适合内容的作品表现模型，内容加工装置不一定需要保存最适合于内容的加工处理信息，使用被校正后的作品表现模型即可轻松地将内容加工成有效的视听形式，而且不需要用户从头开始进行加工处理。

（2）另外，实施方式的上述（1）的内容加工装置也可以是，所述作品表现模型包括模板，与所述模板相关的参照信息具有通过由所述加工处理信息确定部进行的校正而能够变更的一个以上的项目。

这样，将作品表现模型中能够根据内容的属性信息进行校正的项目明确为能够变更的项目，而且按照模板单位对作品表现模型进行处理，因而用户通过选择模板，能够选择适合于内容的作品表现模型。

（3）另外，实施方式的上述（2）的内容加工装置也可以是，所述参照信息包括每个所述能够变更的项目的参照值，所述属性信息包括按照每个所述能够变更的项目而取得的属性值，所述加工处理信息确定部根据每个所述能够变更的项目的参照值与属性值的差分，对所述作品表现模型进行校正并确定所述加工处理信息。

这样，能够对模板的能够校正的项目定量地评价内容的属性信息与模板的参照信息的差，将模板校正成更适合于内容的模板。

（4）另外，实施方式的上述（3）的内容加工装置也可以是，所述能够变更的项目是与图像信息相关的项目，所述内容信息取得部通过对所述内容的图像解析来取得所述属性值。

这样，能够使用人脸、人体、场景、目标信息等有关图像信息的内容信息、和能够对该图像信息进行校正的模板来生成作品。

（5）另外，实施方式的上述（3）的内容加工装置也可以是，所述能够变更的项目是与声音信息相关的项目，所述内容信息取得部通过对所述内容的声音解析来取得所述属性值。

这样，能够使用声音、副语言、环境声音、特定音源信息等有关声音信息的内容信息、和能够对该声音信息进行校正的模板来生成作品。

（6）另外，实施方式的上述（3）的内容加工装置也可以是，所述能够变更的项目是与所述内容的被摄体人物之间的关系相关的项目，所述内容信息取得部通过解析所述内容中的被摄体人物之间的关系来取得所述属性值。

这样，能够使用家人信息、朋友信息、SNS信息、因特网信息等人际关系信息、和能够对该人际关系信息进行校正的模板来生成作品。

（7）另外，实施方式的上述（3）的内容加工装置也可以是，所述加工处理信息确定部对于每个所述能够变更的项目，生成作品表现模型的校正和加工处理信息的候选、及校正优先度，根据所述校正优先度对作品表现模型进行校正并确定作品处理信息。

这样，能够根据内容确定是否对模板中能够校正的项目进行校正，能够将模板校正成更适合于内容的形式。

（8）另外，实施方式的上述（7）的内容加工装置也可以是，所述加工处理信息至少包括用于对内容的被摄体区域或者背景区域进行区域加工的信息。

这样，由于使内容与校正后的模板的参照信息匹配，因而能够对内容的被摄体区域或者背景区域进行区域分割、区域整合、区域抽取或者区域变换等区域加工处理。

（9）另外，实施方式的上述（7）的内容加工装置也可以是，针对所述作品表现模型的校正是指对于在内容的修饰中使用的部件，按照所述内容来变更所述模板中的所述部件中的一个以上的部件的处理。

这样，对于模板中被用于内容的修饰的部件，能够进行背景部件、修饰部件、推移效果部件或者布局部件等的变更。

（10）另外，实施方式的上述（9）的内容加工装置也可以是，针对所述作品表现模型的校正是指经由网络取得所述模板的部件，将所述模板的部件中的一个以上的部件按照所述内容更换为经由所述网络取得的部件。

这样，对于模板中被用于内容的修饰的部件，能够经由网络取得在进行变更时使用的部件。

（11）另外，实施方式的上述（1）的内容加工装置也可以是，所述内容加工装置还具有接受用于鉴赏所述作品的终端的信息的终端信息输入部，所述加工处理信息确定部还使用所述终端的信息，对所述作品表现模型进行校正并确定所述加工处理信息。

这样，内容加工装置能够根据用于鉴赏作品的终端来生成合适的作品。

（12）另外，实施方式的上述（1）的内容加工装置也可以是，所述内容加工装置还具有受理用户对所述作品的指示的用户指示输入部，所述加工处理信息确定部还使用来自所述用户的指示，对所述作品表现模型进行校正并确定所述加工处理信息。

这样，内容加工装置通过反映来自用户的指示，能够生成符合用户的喜好的作品。

（13）另外，实施方式的上述（12）的内容加工装置也可以是，来自所述用户的指示是指在对所述作品表现模型的校正中，实施与所述属性信息和所述参照信息中任意一方相关的校正的指示、或者不实施该校正的指示。

这样，用户能够将参照信息或者内容的属性信息中想要直接反映在作品中的部分或者一定想要加工的部分，明确指示给内容加工装置。

（14）另外，实施方式的上述（1）的内容加工装置也可以是，所述内容信息取得部通过解析来取得与摄影被摄体、摄影环境、摄影详情中的一个以上相关的特定属性信息，所述内容加工装置还具有使用所述特定属性信息来确定所述作品表现模型的作品表现模型确定部。

这样，通过根据内容的特定的属性信息确定作品表现模型，并根据内容的属性信息来校正作品表现模型，能够动态地生成适合于内容的作品表现模型，使用被校正后的作品表现模型即可轻松地将内容加工成有效的视听形式，而且不需要用户从头开始进行加工处理。

（15）另外，实施方式的上述（14）的内容加工装置也可以是，对所述内容进行解析并取得特定属性信息的单元包含以下任意一种以上的单元：对与人相关的人脸信息或者身体信息进行解析的单元、对与场所相关的GPS信息或者地标信息进行解析的单元、以及对与事件相关的主题信息或者活动信息进行解析的单元，所述特定属性信息是由包含的所述单元所取得的信息，包括以下任意一种以上的信息：包括与所述人相关的信息的摄影被摄体信息、包括与所述场所相关的信息的摄影环境信息、以及包括与所述事件相关的信息的摄影详情信息。

这样，对于将人作为被摄体、并将人脸信息或身体信息等被摄体信息作为特定属性信息的内容，能够使用被摄体信息中的数量、朝向、旋转方向、检测可靠性、年龄、性别、表情、穿着物品等项目的信息，确定针对该内容的作品表现模型的校正。并且，对于在相同或者相关联的场所进行拍摄、并将GPS信息或地标信息等场所信息作为特定属性信息的内容，能够使用场所信息中的方位、区域、尺寸、时间段、季节、地名、来由物体等项目的信息，确定针对该内容的作品表现模型的校正。另外，对于针对相同或者相关联的事件拍摄的、并将主题信息、场景信息或者活动信息等摄影详情信息作为特定属性信息的内容，能够使用摄影详情信息中的时间宽度、季节物品、移动区域、仪式、集会等项目的信息，确定针对该内容的作品表现模型的校正。

（16）另外，实施方式的上述（14）的内容加工装置也可以是，所述加工处理信息包含以下任意一种以上的信息：用于修饰内容并进行合成加工的信息、用于显示并加工为内容的显示推移效果的信息、以及配置内容的布局加工用的信息，包含的所述信息是根据对所述内容进行解析的结果而确定的。

这样，在取得内容的特定属性信息并按照每个内容来校正作品表现模型的情况下，作为内容的加工处理信息能够使用内容的合成或者内容之间的推移效果，作为作品表现模型的校正方法能够进行内容的布局的确定。

产业上的可利用性

本发明的内容加工装置及方法例如在进行内容的修饰或数字相册或幻灯片的生成时，能够在保持加工的基准的状态下，动态地对根据用户的本地数据的摄影被摄体或摄影详情的实体的内容加工进行调整处理，并进行加工变换处理。因此，能够有效地进行适合于内容的视听变换处理，因而能够用于各种内容视听终端设备中。并且，也能够用于DVD/BD录制器、TV、计算机软件或数据服务器等用途中。

标号说明

10、20、30、40 内容加工装置；1 内容数据存储部；2、12 内容信息抽取部；3 作品表现模型存储部；4、14 作品表现模型指定部；5 参照信息抽取部；6、26、36 加工处理信息确定部；7 加工处理部；21 终端信息取得部；31 用户指示输入部；61 内容信息解析部；62 差分值计算部；63校正优先度计算部；64 加工处理信息校正部；65 附加加工信息校正部。

Claims (19)

1.一种内容加工装置，使用作品表现模型来加工内容并生成作品，该作品表现模型表示对作品进行表现的方法，所述内容加工装置的特征在于，该内容加工装置包括：

内容信息取得部，从作为目标的内容中取得属性信息；

参照信息取得部，取得与所述作品表现模型匹配的内容应该具有的属性即参照信息；

加工处理信息确定部，根据所述参照信息和所述属性信息对所述作品表现模型进行校正，并确定表示用于使所述内容适合于被校正后的所述作品表现模型的加工处理的加工处理信息；以及

加工处理部，根据所述加工处理信息对所述内容进行加工，并使用被加工后的所述内容和被校正后的所述作品表现模型生成作品。

2.根据权利要求1所述的内容加工装置，其特征在于，所述作品表现模型包括模板，

与所述模板相关的参照信息具有通过由所述加工处理信息确定部进行的校正而能够变更的一个以上的项目。

3.根据权利要求2所述的内容加工装置，其特征在于，所述参照信息包括每个所述能够变更的项目的参照值，

所述属性信息包括按照每个所述能够变更的项目而取得的属性值，

所述加工处理信息确定部根据每个所述能够变更的项目的参照值与属性值的差分，对所述作品表现模型进行校正并确定所述加工处理信息。

4.根据权利要求3所述的内容加工装置，其特征在于，所述能够变更的项目是与图像信息相关的项目，

所述内容信息取得部通过对所述内容的图像解析来取得所述属性值。

5.根据权利要求3所述的内容加工装置，其特征在于，所述能够变更的项目是与声音信息相关的项目，

所述内容信息取得部通过对所述内容的声音解析来取得所述属性值。

6.根据权利要求3所述的内容加工装置，其特征在于，所述能够变更的项目是与所述内容的被摄体人物之间的关系相关的项目，

所述内容信息取得部通过解析所述内容中的被摄体人物之间的关系来取得所述属性值。

7.根据权利要求3所述的内容加工装置，其特征在于，所述加工处理信息确定部对于每个所述能够变更的项目，生成作品表现模型的校正和加工处理信息的候选、及校正优先度，根据所述校正优先度对作品表现模型进行校正并确定作品处理信息。

8.根据权利要求7所述的内容加工装置，其特征在于，所述加工处理信息至少包括用于对内容的被摄体区域或者背景区域进行区域加工的信息。

9.根据权利要求7所述的内容加工装置，其特征在于，针对所述作品表现模型的校正是指对于在内容的修饰中使用的部件，按照所述内容来变更所述模板中的所述部件中的一个以上的部件的处理。

10.根据权利要求9所述的内容加工装置，其特征在于，针对所述作品表现模型的校正是指经由网络取得所述模板的部件，将所述模板的部件中的一个以上的部件按照所述内容更换为经由所述网络取得的部件。

11.根据权利要求1所述的内容加工装置，其特征在于，所述内容加工装置还具有受理用于鉴赏所述作品的终端的信息的终端信息输入部，

所述加工处理信息确定部还使用所述终端的信息，对所述作品表现模型进行校正并确定所述加工处理信息。

12.根据权利要求1所述的内容加工装置，其特征在于，所述内容加工装置还具有受理用户对所述作品的指示的用户指示输入部，

所述加工处理信息确定部还使用来自所述用户的指示，对所述作品表现模型进行校正并确定所述加工处理信息。

13.根据权利要求12所述的内容加工装置，其特征在于，来自所述用户的指示是指在对所述作品表现模型的校正中，实施与所述属性信息和所述参照信息中任意一方相关的校正的指示、或者不实施该校正的指示。

14.根据权利要求1所述的内容加工装置，其特征在于，所述内容信息取得部通过解析来取得与摄影被摄体、摄影环境、摄影详情中的一个以上相关的特定属性信息，

所述内容加工装置还具有使用所述特定属性信息来确定所述作品表现模型的作品表现模型确定部。

15.根据权利要求14所述的内容加工装置，其特征在于，对所述内容进行解析并取得特定属性信息的单元包含以下任意一种以上的单元：对与人相关的人脸信息或者身体信息进行解析的单元、对与场所相关的GPS信息或者地标信息进行解析的单元、以及对与事件相关的主题信息或者活动信息进行解析的单元，

所述特定属性信息是由包含的所述单元所取得的信息，包括以下任意一种以上的信息：包括与所述人相关的信息的摄影被摄体信息、包括与所述场所相关的信息的摄影环境信息、以及包括与所述事件相关的信息的摄影详情信息。

16.根据权利要求14所述的内容加工装置，其特征在于，所述加工处理信息包含以下任意一种以上的信息：用于修饰内容并进行合成加工的信息、用于显示并加工为内容的显示推移效果的信息、以及配置内容的布局加工用的信息，

包含的所述信息是根据对所述内容进行解析的结果而确定的。

17.一种集成电路，使用作品表现模型来加工内容并生成作品，该作品表现模型表示对作品进行表现的方法，所述集成电路的特征在于，该集成电路包括：

内容信息取得部，从作为目标的内容中取得属性信息；

参照信息取得部，取得与所述作品表现模型匹配的内容应该具有的属性即参照信息；

加工处理信息确定部，根据所述参照信息和所述属性信息对所述作品表现模型进行校正，并确定表示用于使所述内容适合于被校正后的所述作品表现模型的加工处理的加工处理信息；以及

加工处理部，根据所述加工处理信息对所述内容进行加工，并使用被加工后的所述内容和被校正后的所述作品表现模型生成作品。

18.一种内容加工方法，使用作品表现模型来加工内容并生成作品，该作品表现模型表示对作品进行表现的方法，所述内容加工方法的特征在于，该内容加工方法包括：

内容信息取得步骤，从作为目标的内容中取得属性信息；

参照信息取得步骤，取得与所述作品表现模型匹配的内容应该具有的属性即参照信息；

加工处理信息确定步骤，根据所述参照信息和所述属性信息对所述作品表现模型进行校正，并确定表示用于使所述内容适合于被校正后的所述作品表现模型的加工处理的加工处理信息；以及

加工处理步骤，根据所述加工处理信息对所述内容进行加工，并使用被加工后的所述内容和被校正后的所述作品表现模型生成作品。

19.一种使计算机执行作品生成处理的内容加工程序，在该作品生成处理中使用作品表现模型来加工内容并生成作品，该作品表现模型表示对作品进行表现的方法，所述内容加工程序的特征在于，所述作品生成处理包括：

内容信息取得步骤，从作为目标的内容中取得属性信息；

参照信息取得步骤，取得与所述作品表现模型匹配的内容应该具有的属性即参照信息；

加工处理信息确定步骤，根据所述参照信息和所述属性信息对所述作品表现模型进行校正，并确定表示用于使所述内容适合于被校正后的所述作品表现模型的加工处理的加工处理信息；以及

加工处理步骤，根据所述加工处理信息对所述内容进行加工，并使用被加工后的所述内容和被校正后的所述作品表现模型生成作品。

Images