CN101268494B - 视频制作装置以及视频制作方法 - Google Patents

Abstract

公开能够根据文本容易地制作出充满创意的视频的视频制作装置。在视频视听装置(102)中，用户信息目录存储单元(114)存储用户信息目录，所述用户信息目录为用于记叙故事情节的关键字和相对于所述关键字的语义内容的组与用于制作动画的运动图像要素已对应的用户信息目录。用户信息追加单元(119)根据用户操作，将关键字和相对于所述关键字的语义内容的组与运动图像要素之间的对应，追加到用户信息目录中。发送和接收单元(111)从视频制作装置(101)接收具有语义内容的字符串，所述具有语义内容的字符串包含关键字和赋予所述关键字的语义内容。运动图像构成要素决定单元(112)根据所述用户信息目录决定运动图像要素，所述动画要素与具有语义内容的字符串中所包含的、关键字和赋予所述关键字的语义内容的组对应。动画制作单元(116)利用决定出的运动图像要素制作运动图像。

Description

视频制作装置以及视频制作方法

技术领域

本发明涉及基于记叙了故事情节的文本，利用运动图像要素制作动画视频的视频制作装置以及视频制作方法。 

背景技术

以往提出了以下的方法，即从文本中提取成为故事情节的基础的关键字，选择与提取出的关键字相关联的运动图像要素，并通过将它们合成而制作动画的方法(比如，参照专利文献1)。 

在该方法中，从预先在系统准备的数据中，选择与提取出的关键字相关联的运动图像要素，制作一个动画数据。 

【专利文献1】日本专利申请特开2002-366964号公报 

发明内容

发明所要解决的课题 

但是，在以往的方法中，制作者制作与关键字相关联的运动图像要素并将其存储。因此，如果视听者通过输入关键字，制作作为动画数据的视频，则与视听者的爱好和意志无关地、而与制作者所意识的运动图像要素相同的运动图像要素被使用。所以无论是哪个视听者都制作相同的视频。也就是说，视频制作者所看到的视频直接送达视听者。这样，制作出的视频反映了制作者端的意思而未反映视听者端的意思。 

本发明的目的在于提供根据文本容易地制作出充满创意的视频的视频制作方法以及视频制作装置。 

用于解决课题的手段 

本发明为，基于故事情节，利用运动图像要素制作动画的视频制作装置，采用的结构包括：输入单元，输入具有语义内容的字符串，所述具有语义内容的字符串包含用于记叙故事情节的关键字和语义内容的组；用户信息目录存储单元，存储用户信息目录，所述用户信息目录为在对运动图像进行重放 的用户端，关键字和语义内容的组与用于制作动画的运动图像要素已对应的用户信息目录；运动图像构成要素决定单元，根据所述用户信息目录决定运动图像要素，所述运动图像要素与所输入的所述具有语义内容的字符串中所包含的、关键字和语义内容的所述组对应；以及运动图像制作单元，利用决定出的运动图像要素制作运动图像。 

而且，本发明为，用于基于故事情节，利用运动图像要素制作动画的视频制作方法，包括以下步骤：输入具有语义内容的字符串，所述具有语义内容的字符串包含用于记叙故事情节的关键字和语义内容的组；根据用户信息目录决定运动图像要素，所述运动图像要素与所输入的所述具有语义内容的字符串中所包含的、关键字和语义内容的所述组对应，所述用户信息目录为在对运动图像进行重放的用户端，关键字和语义内容的组与用于制作动画的运动图像要素已对应的目录；以及利用决定出的运动图像要素制作运动图像。 

发明的效果 

根据本发明，能够不改变具有语义内容的字符串所表示的故事情节，制作出反映了视听者端的意思的充满创意的视频。 

附图说明

图1是本发明的一个实施方式的运动图像制作系统的结构图。 

图2是表示本实施方式的关键字目录的记叙例的图。 

图3是表示本实施方式的语义内容目录的记叙例的图。 

图4是表示本实施方式的具有语义内容目录的字符串的记叙例的图。 

图5是表示本实施方式的运动图像要素信息目录的记叙侧的图。 

图6是表示本实施方式的用户信息目录的记叙例的第一图。 

图7是表示本实施方式的用户信息目录的记叙例的第二图。 

图8是用来说明本实施方式的运动图像构成要素决定单元的动作的图。 

图9是本实施方式的关键字提取单元的处理的流程图。 

图10是本实施方式的用户信息追加单元的处理的流程图。 

图11是用来说明本实施方式的用户信息追加单元的处理的图。 

图12是本实施方式的运动图像构成要素决定单元的处理的流程图。 

图13是用来说明本实施方式的运动图像制作系统的处理的第一图。 

图14是用来说明本实施方式的运动图像制作系统的处理的第二图。 

图15是用来说明本实施方式的运动图像制作系统的处理的第三图。 

图16是用来说明本实施方式的运动图像制作系统的处理的第四图。 

具体实施方式

以下，参照附图详细地说明本发明的一个实施方式的运动图像制作系统。首先，利用图1说明本实施方式的运动图像制作系统。图1是本实施方式的运动图像制作系统的结构图。 

本实施方式的运动图像制作系统100采用通过网络103连接视频制作装置101、视频视听装置102以及运动图像要素服务器113的方式。另外，视频制作装置101与视频视听装置102也可以分别配备于同种装置。也就是说，也可以分别具备视频制作装置101与视频视听装置102的双方的多个装置，通过网络103或者便携电话网等的公共电话网相互连接。 

首先，说明视频制作装置101的结构。视频制作装置101包括：关键字目录存储单元104、语义内容目录存储单元105、关键字提取单元107、语义内容附加单元108、发送和接收单元110、以及关键字追加单元118。视频制作装置101输入字符串106，所述字符串106为利用关键字记叙了故事情节的文本。 

关键字目录存储单元104存储用于记叙故事情节的关键字的目录(以下称为‘关键字目录’)。 

图2是表示关键字目录的记叙例的图。如图2所示，关键字目录104a为使用了XML(可扩展标记语言，extensible markup language)的记叙。 

具体说明关键字目录104a中所包含的数据。在‘KeywordList’201中记叙有多个‘Keyword’202至206。在‘Keyword’202中记叙有成为动作者的关键字。而且，比如，在‘Keyword’203中，以属性‘update’记叙关键字‘直子’被追加到关键字目录104a的年月日。这样，记叙有关键字以外的信息。 

而且，在‘KeywordList’201中记叙有表示动作的‘Keyword’204、表示名词的‘Keyword’205以及由名词和动作的组构成的‘Keyword’206。关键字目录104a像这样构成。后面将详细说明关键字目录104a，其在从输入的字符串106中提取关键字时所使用。 

语义内容目录存储单元105存储语义内容目录，所述语义内容目录中记叙有相对于记叙在关键字目录104a中的关键字的语义内容。 

图3是表示语义内容目录的记叙例的图。如图3所示，语义内容目录105a为XML的记叙。具体说明语义内容目录105a。 

在语义内容目录105a中，记叙有‘提取关键字List’301。‘提取关键字List’301由多个‘Keyword’302构成，所述‘Keyword’302具有一个以上的‘语义内容’303和304作为子要素。 

比如，在属性为‘word’的‘Keyword’302中，记叙有‘Mie-chan’(爱称)那样的关键字，而在作为‘Keyword’302的子要素的字符串即‘语义内容’303中，记叙有‘女孩’那样的语义内容。在‘语义内容’304中也同样地记叙有‘猫’那样的语义内容。也就是说，在‘Keyword’302中，对‘Mie-chan’那样的关键字定义着如‘女孩’和‘猫’那样的多个语义内容。而且，在‘语义内容’305中，以属性‘phrase(短语)’记叙着该语义内容的词性。另外，在‘语义内容’中，也可以比如像类似‘http://abcde.co.jp/ONNANOKO/’的URI(统一资源标志符，uniform resource identifier)那样，记叙唯一确定的识别信息。 

语义内容目录105a如上所述构成。后面将详细说明语义内容目录105a，用于对从字符串中提取出的关键字附加该关键字的语义内容。 

这样，在图1所示的运动图像制作系统100中，分别管理用于提取关键字的关键字目录104a、以及用于将语义内容附加在关键字的语义内容目录105a。由此，对于关键字目录104a而言，能够使其成为从网络103上可访问的状态，或者将其上载到Web(网络)服务器等，由多个人共享；对于语义内容目录105a而言，能够由个人进行管理。由此，能够节省用户个人对成为提取的对象的关键字进行设定的劳力和时间。 

图1所示的关键字提取单元107输入字符串106，利用关键字目录104a，提取所输入的字符串106中所包含的关键字。然后，关键字提取单元107将提取出的关键字输出到语义内容附加单元108。将在后面利用其它的图详细说明关键字提取单元107的关键字提取处理。 

语义内容附加单元108利用语义内容目录105a，提取所输入的关键字的语义内容，并将在输入的关键字附加了提取出的语义内容的具有语义内容的字符串109，输出到发送和接收单元110。另外，在对于一个关键字记叙有多个语义内容时，比如，对选项进行表示，向用户询问，由此选择某些语义内 容并提取。而且，在具有语义内容的字符串109的发送目的地已经决定的情况下，也可以基于地址簿的设定、以及时刻和制作者的地点等的周围的信息，选择恰当的语义内容并提取。 

图4是表示具有语义内容的字符串的记叙例的图。在具有语义内容的字符串109中，记叙有表示动画的故事情节的各个场景的‘Animation’401。在‘Animation’401中，记叙有作为从字符串106提取出的关键字的‘输入字符串’403，以及作为其语义内容被附加的‘语义内容’402。而且，在具有语义内容的字符串109中，以属性‘role(任务)’404a和404b记叙着输入字符串的作用。通过属性‘role’404a和404b，能够提高运动图像构成要素决定单元112中的动画构成要素选择的处理精度。 

具有语义内容的字符串109被这样构成。通过根据字符串106制作具有语义内容的字符串109，能够补充字符串106所缺少的信息，因此能够提高所制作的动画视频的表现力。而且，具有语义内容的字符串109只是将语义内容附加在字符串106内的关键字，因此原来的字符串106的内容不会改变。也就是说，能够使原来的字符串106与具有语义内容的字符串109的关系具有可逆性。由此，比如，在具有语义内容的字符串109的接收端，能够将原来的字符串106复原并表示。 

这里，图示着以下的情况：在成为基础的字符串106中，记叙有关键字‘Mie-chan’和关键字‘跑’，‘女孩’作为关键字‘Mie-chan’的语义内容被选择，而‘跑’作为关键字‘跑’的语义内容被选择。 

图1所示的发送和接收单元110通过网络103，将具有语义内容的字符串109传送到视频视听装置102。而且，当从视频视听装置102传送来语义内容和关键字时，发送和接收单元110接收它们，并将它们交给关键字追加单元118。 

关键字追加单元118将关键字和语义内容，追加到存储在关键字目录存储单元104的关键字目录104a、以及存储在语义内容目录存储单元105的语义内容目录105a。关键字追加单元118通过发送和接收单元110，将从连接在网络103的其它的装置输入的关键字和语义内容、以及由用户输入的关键字和语义内容等，追加到关键字目录104a和语义内容目录105a。具体而言，如果关键字追加单元118输入关键字和该关键字的语义内容，则将关键字追加到关键字目录104a，并将关键字和语义内容的组追加到语义内容目录105a。 或者，在指定已经记叙在关键字目录104a以及语义内容目录105a的关键字而输入语义内容的情况下，以附加在语义内容目录105a中的符合的关键字的形式，追加语义内容。由此，能够在最初预先定义了的关键字和语义内容中追加新的内容，因此能够多次利用最初预先定义了的关键字和语义内容。另外，不只是视频制作装置101的用户，视频视听装置102的用户等其它的用户也能够编辑关键字目录104a和语义内容目录105a。 

视频制作装置101被如上那样构成。另外，也可以将记叙在关键字目录104a的全部的关键字，记叙在语义内容目录105a。具体而言，比如，可以在视频制作装置101设置一个装置单元，在关键字目录104a检索未被记叙在语义内容目录105a的关键字，并显示符合的关键字使用户输入语义内容。由此，能够在语义内容附加单元108中对于由关键字提取单元107提取出的所有的关键字附加某些语义内容。 

接下来，说明运动图像要素服务器113的结构。 

运动图像要素服务器113包括：运动图像要素存储单元120、运动图像要素信息目录存储单元121、和发送和接收单元122。运动图像要素存储单元120存储有各种运动图像要素。运动图像要素信息目录存储单元121存储运动图像要素信息目录，所述运动图像要素信息目录为存储在运动图像要素存储单元120中的运动图像要素的目录。发送和接收单元122根据请求，将存储在本装置的运动图像要素和运动图像要素信息目录，通过网络103发送到视频视听装置102。 

运动图像要素是指用于制作动画视频的素材数据，包括：人物或动物等的登场人物数据、3D(三维)的空间数据或静止图像等的背景数据、桌子或球等的小道具数据、照片或电影(movie)数据、表示登场人物等的动作内容的动作(motion)数据、登场人物的表情或用于表现其的感情和表情数据、以及生日或纪念日等的年月日数据等。 

图5是表示运动图像要素信息目录的记叙例的图。如图5所示，在运动图像要素信息目录121a中，记叙有由多个‘语义内容’502构成的‘运动图像要素信息List’501。比如，在‘语义内容’502中，以属性‘word(词汇)’记叙有‘女孩’、‘男孩’、‘猫’、或‘狗’那样的语义内容，而且，以属性‘href’记叙有能够确定运动图像要素的ID(参照目的地)。 

另外，虽然在图5中采用记叙有对于语义内容的运动图像要素的参照目 的地的方式，但是也可以记载对于语义内容和关键字的组的运动图像要素的参照目的地。 

这样，在运动图像要素服务器113中，记叙有预先设定的、语义内容和与其对应的运动图像要素的参照目的地。 

运动图像要素服务器113如上那样构成。 

接下来，说明视频视听装置102。视频视听装置102包括：发送和接收单元111、运动图像构成要素决定单元112、用户信息目录存储单元114、运动图像制作单元116、用户信息追加单元119、以及存储各种运动图像要素的运动图像要素存储单元(未图示)。 

发送和接收单元111接收从视频制作装置101发送来的具有语义内容的字符串109，并将接收到的具有语义内容的字符串109传送给运动图像构成要素决定单元112。而且，发送和接收单元111从运动图像要素服务器113接收运动图像要素信息目录121a，并将其传送给运动图像构成要素决定单元112。 

用户信息目录存储单元114存储有用户信息目录，所述用户信息目录为在对运动图像进行重放并视听端的用户，个人通过用户信息追加单元119对语义内容和关键字进行输入和编辑的、相对于语义内容和关键字的运动图像要素的目录。这里，被列表的运动图像要素既可以是存储在本装置的运动图像要素存储单元的运动图像要素，也可以是存储在运动图像要素服务器113的运动图像要素存储单元120的运动图像要素。另外，作为有关所利用的用户的信息，也可以将终端性能、年月日、时刻、通信状况、用户的年龄、性别、爱好信息和设备使用履历、以及用户所管理的地址簿等与各个系统相关联的信息包含在用户信息中。 

图6是表示本实施方式的用户信息目录的记叙例的图。如图6所示，在用户信息目录114a记叙有‘用户信息List’601。‘用户信息List’601由多个‘语义内容’602构成，所述‘语义内容’602具有一个以上的‘Keyword’603和604作为子要素。 

比如，在‘语义内容’602中，以属性‘word’记叙有‘女孩’那样的语义内容，而在‘Keyword’603中，在子要素的字符串，记叙有‘直子’那样的关键字。同样地，在‘Keyword’604中，也记叙有‘Mie-chan’那样的关键字。而且，在‘语义内容’602和‘Keyword’603中，以属性‘href’，记叙有能够确定运动图像要素 的ID。 

这样，用户信息目录114a为由用户登记的、与关键字和语义内容相对应的运动图像要素的目录。而且，用户信息目录114a也可以为对于动作数据的运动图像要素的目录。 

图7是表示在用户信息目录114a为对于动作数据的运动图像要素的目录时的记叙例的图。在该情况下，用户信息目录114a如图中的701和702所示，对‘跑’那样的语义内容，分别记叙有应将动作的骨骼模型设定为‘人型’的动作要素的参照目的地，以及应将动作的骨骼模型设定为‘动物型’的动作要素的参照目的地。这样，即使是相同的语义内容的动作，也通过根据动作对象对应不同的运动图像要素，能够选择更正确的运动图像要素。 

图1所示的运动图像构成要素决定单元112利用运动图像要素信息目录121a、以及存储在用户信息目录存储单元114的用户信息目录114a，根据具有语义内容的字符串109决定运动图像要素115并传送到运动图像制作单元116，所述运动图像要素115是用于最终制作出的运动图像(以下，简称为‘最终运动图像’)117的运动图像要素。 

运动图像制作单元116根据在运动图像构成要素决定单元112决定出的运动图像要素115，制作最终运动图像117。 

图8是用来说明运动图像构成要素决定单元112的动作的图。这里，说明如图8所示，具有语义内容的字符串109的关键字‘Mie-chan’801和‘跑’802的两个的情形。 

关键字‘Mie-chan’801的语义内容如图3所示，存在‘女孩’803的情形和‘猫’804的情形。这里，在视频制作装置101中，作为关键字‘Mie-chan’801的语义内容，假设选择了‘女孩’803。也就是说，假设如图4所示的内容的具有语义内容的字符串109被输入。 

在该情况下，运动图像构成要素决定单元112利用图6所示的用户信息目录114a，检索符合于关键字‘Mie-chan’和语义内容‘女孩’的运动图像要素805，并决定其为动作者的登场人物。 

另外，此时，运动图像构成要素决定单元112根据具有语义内容的字符串109，能够只利用‘语义内容’602，而不是根据‘语义内容’602以及‘Keyword’603和603的两种信息的组，来决定运动图像要素。 

另一方面，考虑在视频制作装置101，‘猫’804作为关键字‘Mie-chan’801 的语义内容被选择的情形。在该情况下，运动图像构成要素决定单元112在用户信息目录114a中，检索符合于关键字‘Mie-chan’和语义内容‘猫’的运动图像要素806和807，并作为动作者的登场人物决定其一。 

接下来，运动图像构成要素决定单元112转移到其它的关键字‘跑’802的运动图像要素(此时为动作数据)的决定处理。此时，运动图像构成要素决定单元112利用运动图像要素805的信息，所述运动图像要素805的信息为，作为动作者的登场人物而决定出的运动图像要素是对应‘人型’还是对应‘动物型’的哪个骨骼模型的信息。由此，能够锁定选择出的骨骼模型为人型808的动作。 

比如，在图8所示的运动图像要素806和807中，成为动作者的模型的骨骼模型不同。对于作为关键字‘跑’802的运动图像要素的动作数据的骨骼模型而言，通过利用这些决定出的运动图像要素(此时为动作者登场人物)的信息，在运动图像要素806的情况下，选择与运动图像要素805的情形相同的人型模型808的动作，而在运动图像要素807的情况下，选择四足的动物型模型809的动作。 

这样，运动图像构成要素决定单元112通过利用语义内容和关键字，即使在对相同的关键字存在多个运动图像要素的情况下，也能够更加正确地决定运动图像要素(动作数据)。 

图1所示的用户信息追加单元119根据用户操作，将新的语义内容和关键字追加到用户信息目录存储单元114的用户信息目录114a中。另外，用户信息追加单元119通过发送和接收单元111，将由用户追加的语义内容和关键字传送到视频制作装置101，并使上述的视频制作装置101的关键字目录104a以及语义内容目录105a也追加它们。后面将使用其它的图详细说明用户信息追加单元119的处理。 

视频视听装置102如上构成。 

另外，虽未图示，图1所示的视频制作装置101、视频视听装置102以及运动图像要素服务器113都分别具有：CPU(中央处理器，central processingunit)、存储了控制程序的ROM(只读存储器，read only memory)等的存储媒体、RAM(随机存储器，random access memory)等的用于工作的存储器、以及通信电路。也就是说，各个装置的CPU通过执行控制程序，实现上述各个单元的功能。 

接下来，利用图9详细地说明本实施方式的关键字提取单元107的关键字提取处理。图9是本实施方式的关键字提取单元107的流程图。 

首先，关键字提取单元107输入字符串106(ST701)，进行词素分析(morphological analysis)(ST702)。接下来，关键字提取单元107参照关键字目录104a进行关键字的选择(ST703)，进而通过对选择出的关键字进行标记(markup)，生成关键字提取后的字符串(ST704)。 

比如，在字符串106为‘Mie-chan正在跑着’的情况下，关键字提取单元107通过词素分析提取‘Mie-chan’、‘正’、‘在’、‘跑’、以及‘着’的五个单词，从提取出的单词中选择符合于关键字的单词，并通过将选择出的关键字用双引号圈起，输出关键字提取后的字符串‘“Mie-chan”正在“跑”着’。 

这里，关键字提取单元107进行词素分析是为了提高所提取的关键字的精度。比如，在所输入的字符串为‘由我进行讲演’的情况下，分解为‘由’、‘我’、‘进行’以及‘讲演’的四个单词，因为在图2的‘KeywordList’201中记叙有‘进行讲演’那样的‘Keyword’206，所以为‘由我“进行讲演而不是‘由我进行“讲演

。而且，这里为了提高关键字提取的精度，也可以利用实体论(ontology)等，吸收语言的(linguistic)波动(fluctuation)。另外，在以像英语那样单词的界限较明确的语言为对象的情况下，也可以省略进行词素分析的ST702的处理。 

接下来，利用图10和图11详细地说明本实施方式的用户信息追加单元119的处理。图10是表示用户信息追加单元119的处理的流程的图，图11是用来说明该处理的图。另外，在以下的说明以及图中，假设用大括号圈起的字符串表示关键字，用双引号圈起的字符串表示语义内容，记号‘*’为通配符(wild card)并指不问其内容如何。 

首先，用户信息追加单元119根据用户操作，输入要追加的运动图像要素1407、语义内容‘男孩’1406、以及提取关键字[Jun-chan]1405的三个数据，并制作这三个数据的组1401(ST1401)。接下来，用户信息追加单元119从在ST1401制作出的数据1401中，将提取关键字1405登记于视频制作装置101的关键字目录104a，并以提取出的关键字1405和语义内容1406的两个为相互对应的状态，将它们两个登记于视频制作装置101的语义内容目录105a。具体而言，提取关键字1405和语义内容1406通过发送和接收单元111被发送到视频制作装置101，由此通过视频制作装置101的关键字追加单元 118，被分别登记于关键字目录104a和语义内容目录105a。另外，用户信息追加单元119将在提取关键字1405、语义内容1406和运动图像要素1407以相互对应的状态登记于用户信息目录114a(ST1402)。 

另外，用户信息追加单元119所追加的运动图像要素1407也可以不必为实际的数据，还可以是比如URL(统一资源定位符，uniform resource locator)等的链接信息。而且，提取关键字1405也可以使用‘*’(通配符)。 

这里，假设在初始状态的用户信息目录114a-1中，仅记叙有‘“男孩”[*]’与运动图像要素1403之间的对应。在该情况下，比如输入了‘与“男孩”[Jun-chan]玩了。’那样的具有语义内容的字符串109时，运动图像构成要素决定单元112决定上述的运动图像要素1403。但是，在利用了上述的数据的组1401被登记后的用户信息目录114a-2的情况下，运动图像构成要素决定单元112决定运动图像要素1407而不是运动图像要素1403。 

这样，虽然对语义内容为‘男孩’的关键字的全部，在运动图像构成要素决定单元112被决定为运动图像要素1403，但是通过数据的组1401的登记，对关键字‘Jun-chan’的，被决定为其它的运动图像要素1407。也就是说，反映了视听用户的爱好。 

接下来，利用图12详细说明本实施方式的运动图像构成要素决定单元112的处理。图12是本实施方式的运动图像构成要素决定单元112的处理的流程图。 

首先，运动图像构成要素决定单元112读入具有语义内容的字符串109(ST801)，并对具有语义内容的字符串109的、所有的关键字和语义内容的组进行之后的处理(ST802和ST803)。 

首先，运动图像构成要素决定单元112参照用户信息目录114a，判断在用户信息目录114a中是否指定有一致的关键字和语义内容的组。如果在用户信息目录114a中指定有一致的关键字和语义内容的组(ST803：是)，则运动图像构成要素决定单元112决定与符合的关键字和语义内容对应的运动图像要素(ST807)。 

如果在用户信息目录114a中未指定有一致的关键字和语义内容的组(ST803：否)，则运动图像构成要素决定单元112检索用户信息目录114a，判断是否存在一致的语义内容。如果在用户信息目录114a中存在一致的语义内容(ST804：是)，则运动图像构成要素决定单元112决定与符合的语义内 容对应的运动图像要素(ST807)。 

这样，如果在用户信息目录114a中，存在与具有语义内容的字符串109对应的运动图像信息，则最优先地选择用户信息目录114a的信息，并提取。 

如果在用户信息目录114a不存在一致的语义内容(ST804：否)，则运动图像构成要素决定单元112访问运动图像要素服务器113而检索运动图像要素信息目录121a，判断在运动图像要素信息目录121a中是否存在一致的关键字和语义内容的组(ST805)。如果在运动图像要素信息目录121a中存在一致的关键字和语义内容的组(ST805：是)，则运动图像构成要素决定单元112决定与符合的关键字和语义内容的组对应的运动图像要素(ST807)。 

如果在运动图像要素信息目录121a中不存在一致的关键字和语义内容的组(ST805：否)，则运动图像构成要素决定单元112检索运动图像要素信息目录121a，判断是否存在在语义内容上一致的(ST806)。如果在运动图像要素信息目录121a中存在一致的语义内容(ST806：是)，则运动图像构成要素决定单元112决定与符合的语义内容对应的运动图像要素(ST807)。 

如果在运动图像要素信息目录121a中也不存在一致的语义内容(ST806：否)，则运动图像构成要素决定单元112结束一系列的处理。 

这样，在用户信息目录114a中不存在与具有语义内容的字符串109对应的运动图像要素的情况下，运动图像构成要素决定单元112从运动图像要素信息目录121a中选择预先由系统具备的运动图像要素。 

另外，ST803以及ST804的处理为使用了用户信息目录114a的处理，而ST805以及ST806的处理为使用了运动图像要素信息目录121a的处理，因此也可以使这些处理并行地同时进行。 

而且，将经过ST803至ST806的处理而在ST807决定出的运动图像要素，登记于用户信息目录114a，通过也使用其信息，还能够提高其它的运动图像要素的决定处理的精度。 

接下来，利用图13至图16说明运动图像制作系统100的动作的具体例。图13至图16表示记叙于用户信息目录114a的内容互不相同的情况下的、运动图像制作系统100的动作的例子。 

图13表示以下情形：在用户信息目录114a中存在语义内容“女孩”与关键字[Mie-chan]的组，并且和视频制作装置101端相同的运动图像要素与该组建立了关联。图14表示以下情形：在用户信息目录114a中虽然存在语义内 容“女孩”与关键字[Mie-chan]的组，但是和视频制作装置101端不同的运动图像要素与该组建立了关联。图15表示以下情形：在用户信息目录114a中虽然存在语义内容“女孩”与关键字[Mie-chan]的组，但是运动图像要素与不问关键字的内容如何的语义内容“女孩”建立了关联。图16表示以下情形：在用户信息目录114a中虽然不存在语义内容“女孩”与关键字[Mie-chan]的组，也不存在不问关键字的内容如何的语义内容“女孩”，但是由系统也就是由运动图像要素信息目录121a已经规定。 

接下来，说明在图13至图16的各个情形中，视频视听装置102制作最终运动图像117的处理。假设在所有的情况下，视频制作装置101都输入‘Mie-chan正在跑着’那样的字符串106。而且，为了简化说明，只着眼于‘Mie-chan’那样的单词而进行以下的说明。 

在图13所示的情况下，关键字提取单元107参照关键字目录104a，根据‘Mie-chan正在跑着’那样的字符串106，提取关键字‘Mie-chan’。语义内容附加单元108参照语义内容目录105a，提取与关键字‘Mie-chan’对应的语义内容“女孩”。然后，语义内容附加单元108制作‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109，并通过发送和接收单元110发送到视频视听装置102。这里，假设在视频制作装置101端，使某运动图像要素904与‘“女孩”[Mie-chan]’那样的语义内容和关键字的组建立了关联，并有意识地生成使用了运动图像要素904的运动图像905。 

视频视听装置102的发送和接收单元111接收‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109，传送到运动图像构成要素决定单元112。 

运动图像构成要素决定单元112提取‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109中所包含的‘“女孩”[Mie-chan]’那样的语义内容和关键字的组。接下来，运动图像构成要素决定单元112参照用户信息目录114a，判断是否存在与‘“女孩”[Mie-chan]’那样的语义内容和关键字的组对应的运动图像要素。因为在图14所示的用户信息目录114a中，与视频制作装置101同样地，运动图像要素904对‘“女孩”[Mie-chan]’那样的语义内容和关键字的组建立对应，所以运动图像构成要素决定单元112决定运动图像要素904作为适用于关键字‘Mie-chan’的运动图像要素115，并传送到运动图像制作单元116。 

然后，运动图像制作单元116利用运动图像要素904制作运动图像905，并作为最终运动图像117输出。运动图像制作单元116也可以比如根据具有语义内容的字符串109，复原原来的字符串106而进行语音读出(read out)等，将具有语音的运动图像作为视频而制作。 

这样，在图13所示的情况下，利用用户信息目录114a决定运动图像要素115，制作与在视频制作装置101端所意识的运动图像905相同而且基于用户的爱好的最终运动图像1002。 

在图14所示的情况下，首先与图13所示的情形同样地，视频制作装置101对视频视听装置102发送‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109。相对于此，视频视听装置102的发送和接收单元111接收‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109，并传送到运动图像构成要素决定单元112。 

接下来，运动图像构成要素决定单元112提取‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109中所包含的‘“女孩”[Mie-chan]’那样的语义内容和关键字的组。接下来，运动图像构成要素决定单元112参照用户信息目录114a，判断是否存在与‘“女孩”[Mie-chan]’那样的语义内容和关键字的组对应的运动图像要素。因为在图14所示的用户信息目录114a中，和运动图像要素904不同的运动图像要素1001与‘“女孩”[Mie-chan]’那样的语义内容和关键字的组相对应，所以运动图像构成要素决定单元112决定运动图像要素1001作为适用于关键字[Mie-chan]的运动图像要素115，并传送到运动图像制作单元116。 

然后，运动图像制作单元116利用运动图像要素1001制作运动图像1002，并作为最终运动图像117输出。 

这样，在图14所示的情况下，因为使用内容与视频制作装置101端的关联关系不同的用户信息目录114a而决定运动图像要素115，所以制作出与在视频制作装置101端所意识的运动图像905不同的、基于用户的爱好的最终运动图像1002。 

在图15所示的情况下，首先与图13所示的情形同样地，视频制作装置101对视频视听装置102发送‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109。相对于此，视频视听装置102在发送和接收单元111接收‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109，并传送到运动图 像构成要素决定单元112。 

接下来，运动图像构成要素决定单元112提取‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109中所包含的‘“女孩”[Mie-chan]’那样的语义内容和关键字的组。接下来，运动图像构成要素决定单元112参照用户信息目录114a，判断是否存在与‘“女孩”[Mie-chan]’那样的语义内容和关键字的组对应的运动图像要素。图15所示的用户信息目录114a中，不存在与‘“女孩”[Mie-chan]’那样的语义内容和关键字的组对应的运动图像要素。 

于是，接下来，运动图像构成要素决定单元112判断在用户信息目录114a中是否存在与语义内容“女孩”对应的运动图像要素。因为在图15所示的用户信息目录114a中，存在与语义内容“女孩”对应的运动图像要素1101，所以运动图像构成要素决定单元112决定运动图像要素1101作为适用于关键字‘Mie-chan’的运动图像要素115，并传送到运动图像制作单元116。 

然后，运动图像制作单元116利用运动图像要素1101制作运动图像1102，并作为最终运动图像117输出。 

这样，即使在图15所示的情况下，因为使用内容与视频制作装置101端的关联关系不同的用户信息目录114a而决定运动图像要素115，所以制作出与在视频制作装置101端所意识的运动图像905不同的、基于用户的爱好的最终运动图像1102。 

在图16所示的情况下，首先与图13所示的情形同样地，视频制作装置101对视频视听装置102发送‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109。相对于此，视频视听装置102在发送和接收单元111接收‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109，并传送到运动图像构成要素决定单元112。 

接下来，运动图像构成要素决定单元112提取‘“女孩”[Mie-chan]正在跑着’那样的具有语义内容的字符串109中所包含的‘“女孩”[Mie-chan]’那样的语义内容和关键字的组。接下来，运动图像构成要素决定单元112参照用户信息目录114a，判断是否存在与‘“女孩”[Mie-chan]’那样的语义内容和关键字的组对应的运动图像要素。图15所示的用户信息目录114a中，不存在与‘“女孩”[Mie-chan]’那样的语义内容和关键字的组对应的运动图像要素。 

于是，接下来，运动图像构成要素决定单元112判断在用户信息目录114a中是否存在与语义内容“女孩”对应的运动图像要素。在图15所示的用户信息 目录114a中，不存在与语义内容“女孩”对应的运动图像要素。 

于是，接下来，运动图像构成要素决定单元112判断在运动图像要素服务器113的运动图像要素信息目录121a中是否存在与‘“女孩”[Mie-chan]’那样的语义内容和关键字的组对应的运动图像要素。但是，在图16所示的用户信息目录114a中，不存在与‘“女孩”[Mie-chan]’那样的语义内容和关键字的组对应的运动图像要素。 

于是，接下来，运动图像构成要素决定单元112判断在运动图像要素信息目录121a中是否存在与语义内容“女孩”对应的运动图像要素。因为在图16所示的运动图像要素信息目录121a中，存在与语义内容“女孩”对应的运动图像要素1201，所以运动图像构成要素决定单元112决定运动图像要素1201作为适用于关键字‘Mie-chan’的运动图像要素115，并传送到运动图像制作单元116。 

然后，运动图像制作单元116利用运动图像要素1201制作运动图像1202，并作为最终运动图像117输出。 

这样，在图16所示的情况下，虽然在用户信息目录114a中不存在对应的运动图像要素115，但是通过利用系统中所规定的运动图像要素信息目录121a，制作出在系统所规定的最终运动图像1202。而且，因为利用内容与视频制作装置101端的关联关系不同的运动图像要素信息目录121a，所以制作出与在视频制作装置101端所意识的运动图像905不同的最终运动图像1202。 

如上所述，根据本实施方式，能够不改变视频制作装置101制作出的视频的故事情节(具有语义内容的字符串)，利用基于视频视听装置102的用户的信息的运动图像要素而制作视频。也就是说，能够不改变视频制作装置101端所意识的故事情节，利用对应于视频视听装置102的用户的爱好的运动图像要素，制作反映了视听者端的意思的充满了创意的视频，并且进行视听。进一步换言之，能够均衡地兼顾制作故事情节端的意思和基于该故事情节来制作视频端的意思。而且，因为以保留原来的字符串106的记叙内容的状态制作具有语义内容的字符串，所以能够在视频视听装置102端复原原来的字符串106。而且，通过使用户个人制作出的运动图像要素与运动图像要素相对应，能够对每个用户制作独特的视频。 

另外，虽然在本实施方式中，说明了视频制作装置101、视频视听装置102和运动图像要素服务器113通过网络103相连接的形态，但是也可以采 用使相同的装置具有视频制作装置101、视频视听装置102和运动图像要素服务器113的形态，还可以采用使相同的装置具有视频制作装置101和视频视听装置102的形态。而且，在采用这样的形态的情况下，关键字追加单元和用户信息追加单元也可以从由其它装置发送来的具有语义内容的字符串中，提取关键字和语义内容，并对本装置所保持的关键字目录和语义内容目录、或者用户信息目录进行信息的追加。 

本发明的第一形态的视频制作装置采用的结构包括：用户信息目录，所述用户信息目录为基于用户的爱好的关键字和相对于所述关键字的语义内容的组与用于制作动画的运动图像要素已对应的目录；用户信息追加单元，对于所述用户信息目录，用户基于爱好追加与所述关键字和语义内容的组以及与该组对应的所述运动图像要素；运动图像构成要素决定单元，输入由关键字和赋予该关键字的语义内容构成的具有语义内容的字符串，根据所述用户信息目录决定所述运动图像要素，所述运动图像要素与所输入的所述具有语义内容的字符串的、所述关键字和所述语义内容对应：以及运动图像制作单元，根据决定出的所述运动图像要素制作运动图像。 

由此，能够不改变通过具有语义内容的字符串表示的故事情节，利用系统中没有准备的、基于用户的爱好的运动图像要素，制作出反映了视听者端的意思的充满了创意的视频。也就是说，能够均衡地兼顾制作故事情节端的意思和基于该故事情节对运动图像进行重放端的意思。而且，能够根据附加了语义内容的关键字决定运动图像要素。比如，在存在‘Mie-chan’那样的关键字，该关键字具有‘女孩’和‘猫’的两个语义内容的情况下，即使关键字相同，也能够将语义内容作为线索，决定恰当的运动图像要素。而且，因为具有语义内容的字符串只是将语义内容附加到用于记叙故事情节的关键字中，所以原来的内容不会被改变。也就是说，可使在基于原来的关键字的记叙内容与具有语义内容的字符串的关系上具有可逆性。 

本发明的第二形态为在第一形态的视频制作装置中，在所述用户信息目录中不存在与所输入的所述关键字和所述语义内容对应的所述运动图像要素的情况下，所述运动图像构成要素决定单元根据所述用户信息目录决定所述运动图像要素，所述运动图像要素与所输入的所述语义内容对应。 

由此，即使在所述用户信息目录中不存在与关键字和赋予所述关键字的所述语义内容的组对应的运动图像要素的对应的情况下，也能够基于语义内 容利用用户信息目录来决定恰当的运动图像要素。 

本发明的第三形态为在第二形态的视频制作装置中，在所述用户信息目录中不存在与所输入的所述语义内容对应的所述运动图像要素的情况下，所述运动图像构成要素决定单元根据运动图像要素信息目录，决定与所输入的所述语义内容对应的所述运动图像要素，所述运动图像要素信息目录为预先规定的、关键字和相对于赋予所述关键字的语义内容的组与所述运动图像要素已对应的目录。 

由此，即使无法利用用户信息目录的情况下，也能够利用预先设定的运动图像要素来制作运动图像。 

本发明的第四形态为在第一形态的视频制作装置中，还包括：用户信息追加单元，将关键字和相对于所述关键字的语义内容的组与运动图像要素之间的对应，追加到所述用户信息目录中。 

由此，每个用户都能够编辑用户信息目录。而且，能够将编辑内容与其它用户共享。 

本发明的第五形态的视频制作方法，其特征在于具有以下的步骤：具有用户信息目录，所述用户信息目录为基于用户的爱好的关键字和相对于所述关键字的语义内容的组与用于制作动画的运动图像要素已对应的目录；在输入由关键字和赋予该关键字的语义内容构成的具有语义内容的字符串时，根据所述用户信息目录决定与所述具有语义内容的字符串中所包含的、所述关键字和所述语义内容对应的所述运动图像要素；以及，根据决定出的所述运动图像要素制作运动图像。 

由此，能够均衡地兼顾制作故事情节端的意思和基于该故事情节对基于该故事情节对运动图像进行重放端的意思，同时能够使在基于原来的关键字的记叙内容与具有语义内容的字符串的关系上具有可逆性。 

本发明的第六形态为在第五形态的视频制作方法中，还具有以下的步骤：具有关键字的目录和相对于所述关键字的语义内容的目录；输入字符串；利用所述关键字的目录，从所述字符串中提取关键字；对于提取出的所述关键字，利用所述语义内容的目录，生成在所述关键字中附加所述语义内容的具有语义内容的字符串。 

由此，能够补充在输入消息中缺乏的某些信息，从而能够给予所制作的动画视频表现力。 

本说明书是根据2005年9月21日提交的日本专利申请特愿第2005-274285。其内容全部包括在此。 

工业实用性 

根据本发明，能够不改变具有语义内容的字符串所表示的故事情节，利用系统中没有准备的、基于用户的爱好的运动图像要素，制作出反映了视听者端的意思的、充满创意的视频的视频制作装置。而且，本发明在以下应用和程序等的利用可能性很广：在用户之间的动画邮件的交换应用和聊天(chat)应用、使用登场人物等进行发表的应用、以及使用了CG(电脑图形，computergraphics)的游戏程序等。 

Claims (6)

1.一种视频制作装置，基于故事情节，利用运动图像要素制作动画，在该视频制作装置中，包括：

输入单元，输入具有语义内容的字符串，所述具有语义内容的字符串包含用于记叙故事情节的关键字和语义内容的组；

用户信息目录存储单元，存储用户信息目录，所述用户信息目录为在对运动图像进行重放的用户端，关键字和语义内容的组与用于制作动画的运动图像要素已对应的目录；

运动图像构成要素决定单元，根据所述用户信息目录决定运动图像要素，所述运动图像要素与所输入的所述具有语义内容的字符串中所包含的、关键字和语义内容的所述组对应；以及

运动图像制作单元，利用决定出的运动图像要素制作运动图像。

2.如权利要求1所述的视频制作装置，其中，在所述用户信息目录中不存在对应时，所述运动图像构成要素决定单元根据所述用户信息目录，决定与所输入的所述具有语义内容的字符串中所包含的所述语义内容对应的运动图像要素，所述对应为相对于所输入的所述具有语义内容的字符串中所包含的、关键字和语义内容的所述组的运动图像要素的对应。

3.如权利要求2所述的视频制作装置，其中，在所述用户信息目录中不存在相对于所输入的所述具有语义内容的字符串中所包含的所述语义内容的运动图像要素的对应时，所述运动图像构成要素决定单元根据运动图像要素信息目录，决定与所输入的所述具有语义内容的字符串中所包含的所述语义内容对应的运动图像要素，所述运动图像要素信息目录为预先规定的、关键字和语义内容的组与运动图像要素已对应的目录。

4.如权利要求1所述的视频制作装置，其中，还包括：

用户信息追加单元，根据用户操作，将关键字和语义内容的组与运动图像要素的对应，追加到所述用户信息目录中。

5.一种视频制作方法，用于基于故事情节，利用运动图像要素制作动画，在该视频制作方法中，包括以下步骤：

输入具有语义内容的字符串，所述具有语义内容的字符串包含用于记叙故事情节的关键字和语义内容的组；

根据用户信息目录，决定与所输入的所述具有语义内容的字符串中所包含的、关键字和语义内容的所述组对应的运动图像要素，所述用户信息目录为在对运动图像进行重放的用户端，关键字和语义内容的组与用于制作动画的运动图像要素已对应的目录；以及

利用决定出的运动图像要素制作运动图像。

6.如权利要求5所述的视频制作方法，其中，所述输入具有语义内容的字符串的步骤包括以下步骤：

利用用于记叙故事情节的关键字的目录从所输入的记叙了故事情节的文本的字符串中提取用于记叙所述故事情节的关键字；以及

利用关键字与语义内容已对应的目录，基于与所提取的所述关键字对应的语义内容和所述字符串，生成所述具有语义内容的字符串。

Images