CN103430217A - 输入支持装置、输入支持方法及记录介质 - Google Patents

输入支持装置、输入支持方法及记录介质 Download PDF

Info

Publication number
CN103430217A
CN103430217A CN2012800127779A CN201280012777A CN103430217A CN 103430217 A CN103430217 A CN 103430217A CN 2012800127779 A CN2012800127779 A CN 2012800127779A CN 201280012777 A CN201280012777 A CN 201280012777A CN 103430217 A CN103430217 A CN 103430217A
Authority
CN
China
Prior art keywords
action
data
emotion type
input
role modelling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800127779A
Other languages
English (en)
Other versions
CN103430217B (zh
Inventor
古川博美
佐藤宽之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOND CO Ltd
Original Assignee
BOND CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOND CO Ltd filed Critical BOND CO Ltd
Publication of CN103430217A publication Critical patent/CN103430217A/zh
Application granted granted Critical
Publication of CN103430217B publication Critical patent/CN103430217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种输入支持装置等，可适切且简易地作成用以将内容介绍给视听者的角色造型的动作。输入支持装置(3)的用户对输入设备(5)进行指定角色造型的动作的指定命令的输入处理。该角色造型的动作是用以介绍内容的动作。输入支持装置(3)支持指定命令的输入处理。内容包含素材数据(29)与语言数据(31)。语言数据(31)包含角色造型发出的声音。感情识别部(41)分析素材数据(29)及语言数据(31)，推论角色造型应表现的感情类型。命令提取部(43)不仅根据指定命令及声音，也根据推论出的感情类型决定角色造型的动作，产生动作命令。确认播放部(47)使命令提取部(43)作成的节目方案显示于显示设备(7)，并使使用者确认。

Description

输入支持装置、输入支持方法及记录介质
技术领域
本发明涉及输入支持装置、输入支持方法及记录介质，特别涉及对指定用以介绍内容(contents)的角色造型(character)的动作的指定命令的输入处理进行支持的输入支持装置等。
背景技术
在专利文献1记载有在通过计算机图形(computer graphics)作成人物角色造型(human character)时，从菜单(menu)选择动作，进行对应所选择的项目的动作而作成。
而且，在专利文献2记载有用以在游戏软件(game)领域中，不会显示发出声音的人的脸而能进行感情的传达的技术。亦即游戏机(game console)的用户由麦克风输入声音数据(audio data)。图像作成装置将声音数据分类成基准声音数据(reference audio data)，从预先存储的角色造型的表情中选择并显示。
专利文献1：日本国特开2005-266912号公报
专利文献2：日本国特开2003-248837号公报
发明内容
但是，如专利文献1这样作成人物角色造型时，需精细地指定人物角色造型的动作。因此，需依赖专家而作成。基于专家的作成是在使各素材(subject matter)(照片、视频(video)、声音、音乐、文字等)完成后进行整合而作成的。因此，一旦完成的话就无法变更。因此，外行人很难简易且适切地产生人物角色造型的动画(animation)。
而且，专利文献2是用以在传达游戏机的使用者所发出的声音时，隐藏使用者的技术。人物角色造型只不过是用户的置换而已。
因此，本发明的目的为提出一种输入支持装置等，可适切且简易地作成用以将内容介绍给视听者的角色造型的动作。
本申请发明的第一观点为一种输入支持装置，支持指定用以介绍内容的角色造型的动作的指定命令的输入处理，所述内容包含素材数据(subjectmatter data)和语言数据，所述语言数据包含表示所述角色造型发出的声音的声音数据，所述输入支持装置包含：分析所述素材数据及所述语言数据并推论所述角色造型应表现的感情类型的感情类型推论单元；产生表示所述角色造型的动作的动作命令的命令提取单元；以及对显示设备使所述内容与依照所述动作命令进行的所述角色造型的动作同步播放的确认播放单元，所述命令提取单元针对所述角色造型用以发出所述声音的动作，根据所述声音数据来决定该动作，针对所述角色造型用以发出所述声音的动作以外的动作，从存储于表现要素存储单元的所述角色造型的动作模式根据所述指定命令来决定该动作，进而也根据所述推论出的感情类型决定所述角色造型的动作，产生所述动作命令。
本申请发明的第二观点为第一观点的输入支持装置，其中，所述感情类型推论单元分析所述素材数据及所述语言数据，从多个基本的感情类型中选择一个或多个，将所述选择出的基本的感情类型及其程度作为所述角色造型应表现的感情类型，且在选择了多个所述基本的感情类型时，根据通过所述语言数据的分析而选择出的所述基本的感情类型决定优性(dominant)演出处理，根据其他的所述选择出的基本的感情类型决定辅助的演出处理，所述命令提取单元通过基本的感情类型与其程度的组合决定所述动作，且在所述一个基本的感情类型被选择时与选择出的所述基本的感情类型及其程度对应地决定所述动作，在所述多个基本的感情类型被选择时以比所述辅助的演出处理大的比重参照所述优性演出处理决定所述动作。
本申请发明的第三观点为第二观点的输入支持装置，其中，在所述动作模式中包含有待机动作，通过所述命令提取单元指定是否许可依照所述感情类型进行的修正的修正许可命令被输入，在无所述指定命令的输入、且既无所述素材数据也无所述语言数据的情况下，所述命令提取单元产生使所述待机动作进行的所述动作命令，在无所述指定命令的输入、且有所述语言数据或/及所述素材数据的情况下，所述感情类型推论单元分析所述语言数据或/及所述素材数据并识别所述感情类型产生所述动作命令，在有所述指定命令的输入、且无所述素材数据及所述语言数据的情况下，所述命令提取单元产生使通过所述指定命令指定的动作进行的所述动作命令，在有所述指定命令的输入、且有所述素材数据及/或所述语言数据的情况下，在所述修正许可命令不许可修正时，所述命令提取单元产生使通过所述指定命令指定的动作进行的所述动作命令，在所述修正许可命令许可修正时，所述感情类型推论单元分析所述语言数据或/及所述素材数据并识别所述感情类型，所述命令提取单元修正通过所述指定命令指定的动作并产生所述动作命令。
本申请发明的第四观点为第一观点至第三观点中任一观点的输入支持装置，其中包含：存储表示过去被进行的动作命令的修正处理的修正历史记录(modified history)的修正历史记录存储单元，所述命令提取单元也使用所述修正历史记录产生所述动作命令，所述命令提取单元在通过所述感情类型推论单元识别出的感情类型在情节数据(scenario data)上推移至下一个感情类型的时间点或/及所述指定命令在情节数据上推移至下一个指定命令的时间点中感情最强，随着在情节数据上的时间的经过而使其感情衰减并产生所述动作命令。
本申请发明的第五观点为第一观点至第四观点中任一观点的输入支持装置，其中包含：产生包含所述动作命令的情节数据的情节数据产生单元；和使所述内容与依照所述动作命令进行的所述角色造型的动作同步播放并产生动态图像数据的动态图像数据产生单元，所述情节数据为如下数据：远距播放处理装置将该情节数据与所述内容及所述角色造型图像一起来接收，同步播放所述内容与依照所述情节数据进行的所述角色造型的动作，所述动态图像数据为如下数据：远距播放装置接收该动态图像数据并播放。
本申请发明的第六观点为第一观点至第五观点中任一观点的输入支持装置，其中，所述角色造型存在多个，在一部分角色造型动作的情况下，所述感情类型推论单元使用已动作的角色造型的感情类型修正其他角色造型的感情类型或/及其程度。
本申请发明的第七观点为一种输入支持方法，在输入支持装置中支持指定用以介绍内容的角色造型的动作的指定命令的输入处理，所述内容包含素材数据和语言数据，所述语言数据包含表示所述角色造型发出的声音的声音数据，所述输入支持装置包含感情类型推论单元、命令提取单元和确认播放单元，所述输入支持方法包含如下的步骤：感情类型推论步骤，所述感情类型推论单元分析所述素材数据及所述语言数据并推论所述角色造型应表现的感情类型；命令提取步骤，所述命令提取单元针对所述角色造型用以发出所述声音的动作，根据所述声音数据来决定该动作，针对所述角色造型用以发出所述声音的动作以外的动作，从存储于表现要素存储单元的所述角色造型的动作模式根据所述指定命令来决定该动作，进而也根据所述推论出的感情类型决定所述角色造型的动作，产生表示所述角色造型的动作的动作命令；确认播放步骤，所述确认播放单元对显示设备使所述内容与依照所述动作命令进行的所述角色造型的动作同步播放；以及在所述指定命令被追加或变更的情况下，所述输入支持装置对追加或变更后的所述指定命令进行处理的步骤。
本申请发明的第八观点为一种计算机可读取的记录介质，稳定地记录有在计算机中用以实现第七观点的输入支持方法的程序(program)。
此外在本申请发明中，不仅产生角色造型的动作，也可以产生例如摄影技巧(camera work)、照明、背景色(background color)、音效(sound effects)等。
而且，以在计算机中用以实现第七观点的输入支持方法的程序而掌握本申请发明也可以。
发明的效果
在本申请发明中，在表现要素存储单元中预安装存储有专家作成的角色造型的动作模式。输入支持装置的用户输入指定命令并指定角色造型的动作。输入支持装置连同该指定，根据通过内容的分析而得到的感情类型决定角色造型的动作。据此，用户可简易地决定角色造型的动作，进而也能使决定的动作实施好几次并能简易地进行修正，因此，可使角色造型进行配合内容的感情表现。然后，在指定命令被追加、变更等的情形下，对追加、变更等之后的指定命令进行处理。因此依照本申请发明，可使用角色造型适切且简易地将内容介绍给视听者。
以往在专利文献1中仅指定角色造型的动作。此情形下，角色造型进行指定以外的动作成为对使用者而言不适切的处理。而且在专利文献2中虽然也记载有用户输入感情数据，但针对修正该感情数据等则未记载。当无用户进行的指定时，将声音数据分类为感情数据。成为分析对象的数据也被限定于声音数据这一与角色造型的动作直接结合的数据。这是因为：在专利文献2记载的技术中，角色造型构成代替用户，进行使用者的指定以外的动作成为对使用者而言不适切的处理。如此，背景技术为仅限于角色造型的动作不违反用户的意志这一消极的技术。自动地变更其动作指定就会违反使用者的意志而成为不适切的处理。因此，在专利文献1及2未记载当有动作指定时变更其指定。
相对于此，本申请发明以将内容介绍给视听者为目的。角色造型的动作用以支持该内容的介绍。目的与背景技术不同。因此与背景技术不同，使用者无须随心所欲地使角色造型动作。倒是为了达成符合内容的介绍的目的而修正成适切的动作就会符合使用者的希望。在本申请发明中通过专家预安装有动作模式。用户输入指定命令，可使用该动作模式简易地使角色造型动作。再者，本申请发明自动产生符合内容的动作。据此，可自动产生适切的动作。再者，确认播放单元对使用者提出自动产生的动作方案。据此，使用者通过重新输入更适切的指定命令等，可更明确地使自己的想法反映到角色造型的动作上。在依赖专家的情形下，各素材以完成品被供给，很难由整体的完整性(integrity)反映使用者的想法。本申请发明不是如背景技术这样仅为角色造型的动作不违反使用者的意志的消极的技术。本申请发明具有实现适合内容的介绍这一基准的指定命令的输入的更积极的意义。
特别是依照本申请发明，输入支持装置的用户仅通过准备图像、影像素材、音乐素材、文本数据(text data)等，使得具有从该等素材等提取的感情类型的角色造型可对视听者介绍该等素材等。因此，输入支持装置的用户即使是外行人也能使视听者容易产生共鸣而进行素材等的介绍。
依照本申请发明的第二观点，在分析素材数据及语言数据且多个基本的感情类型被选择的情形下，使包含声音数据这一接近角色造型的动作的信息在内的语言数据优先而决定演出处理。据此，即使是在内容想传达多个基本的感情类型的情形下，也能根据接近角色造型的动作的信息决定优先的演出处理。
依照本申请发明的第三观点，在无指定命令的输入的情形下也能自动产生角色造型的动作。因此，即使在指定命令被删除的情形下，也能对删除后的状态进行处理。进而使用者也能使其进行依照根据指定命令的指定那样的动作。
依照本申请发明的第四观点，通过随着时间经过而使感情表现的影响衰减，能够实现自然的感情表现的传达。
依照本申请发明的第五观点，针对情节数据的播送，在如远距播放处理装置这样能够进行一定的处理的情形下，通过装置侧的处理进行内容的播放。据此，使适合装置被设置的场所的角色造型动作等着眼于信息的接收者(receiver)的情节数据的播放为可能。另一方面，如远距播放装置这样只播放动态图像(moving picture)的终端机的情形下，在输入支持装置中产生动态图像数据并使其播放。据此，即使是处理能力不足的装置也能进行内容的介绍。
依照本申请发明的第六观点，当角色造型动作时，其他的角色造型可产生共鸣而进行动作。亦即动作的角色造型进行表现活动，成为说话者(speaker)。其他的角色造型成为该表现活动的收听者(listener)。依照本申请发明的第六观点，成为收听者的角色造型，例如若为相同的感情类型的表现，则再度放大并重新表现，且若为不同的感情类型的表现，则提取其他的感情类型并表现。据此，例如第四观点这样即使使现存的感情表现衰减，多个角色造型整体上也能统一感情类型而表现。通过视听者同化为成为收听者的角色造型，与该角色造型产生共鸣来视听内容，由此能够实现自然的感情类型的传达。
附图说明
图1是用以说明依照本发明的实施例一的节目产生系统1的构成及动作的概念框图。
图2是表示图1的感情识别部41、命令提取部43及确认播放部47的动作的概要的流程图。
图3是表示通过图1的感情识别部41决定的基本的感情类型及感情层次的组合与表现要素存储部25的关系的图。
图4是表示依照图1的感情识别部41的基本的感情类型及感情层次的组合和其相互关系的决定的关系的图。
图5是表示依照图1的命令提取部43的角色造型的动作的决定处理的图。
图6是表示在图1的命令提取部43中感情类型的影响的图。
图7是表示通过图1的输入支持装置3产生的节目的一例的图。
图8是用以针对图1的情节数据产生部51中的情节数据及动态图像数据的播送进行说明的概念框图。
图9是用以说明图8的终端机节目图像产生部73的构成及动作的概念框图。
图10是用以说明图8的动态图像数据产生部49的构成及动作的概念框图。
图11是表示在本申请发明的实施例二中的对话状态下的反应感情的推移的一例的图。
图12是表示在本申请发明的实施例二中的收听状态下的反应感情的推移的一例的图。
具体实施方式
以下参照图面针对用以实施本发明的形态进行说明。此外，本发明不是被限定于以下的实施例。
[实施例一]
图1是用以说明依照本发明的实施例的节目产生系统1的构成及动作的概念框图。节目产生系统1包含：输入支持装置3(本申请技术方案中的“输入支持装置”的一例)、输入设备5、显示设备7(本申请技术方案中的“显示设备”的一例)、远距播放处理装置9、远距播放装置11。输入支持装置3支持指定用以介绍内容的角色造型(登场人物或动作等的动作的主体)的动作的指定命令的输入处理。输入设备5供输入支持装置3的用户进行内容及指定命令的输入处理。显示设备7显示通过输入支持装置3产生的节目方案。远距播放处理装置9及远距播放装置11播放通过输入支持装置3产生的节目。
输入支持装置3包含：内容存储部21、指定命令存储部23、表现要素存储部25(本申请技术方案中的“表现要素存储单元”的一例)、角色造型图像存储部27。内容存储部21存储从输入设备5输入的内容。此处，内容包含素材数据29和语言数据31。素材数据29构成想对远距播放处理装置9及远距播放装置11的视听者传达的一连串的信息。素材数据包含图像、影像素材和音乐素材。语言数据31包含角色造型发出的声音(本申请发明的“声音数据”的一例)和通过语言进行的说明。指定命令存储部23存储从输入设备5输入的指定命令。表现要素存储部25预安装存储通过专家预先作成的角色造型的动作模式。角色造型图像存储部27存储角色造型的图像。
输入支持装置3还包含：感情识别部41(本申请技术方案中的“感情类型推论单元”的一例)、命令提取部43(本申请技术方案中的“命令提取单元”的一例)、动作命令存储部45、确认播放部47(本申请技术方案中的“确认播放单元”的一例)。感情识别部41分析存储于指定命令存储部23的指定命令和素材数据29及语言数据31，推论角色造型应表现的感情类型。命令提取部43参照存储于表现要素存储部25的动作模式，产生表示角色造型的动作的动作命令。此外，修正许可命令也从输入设备输入。此为在命令提取部43中指定是否许可依照感情类型进行的修正。当该修正许可命令不许可修正时，命令提取部43使角色造型进行待机演出或通过指定命令指定的动作。当该修正许可命令许可修正时，进行以下的修正处理。确认播放部47对显示设备7根据内容与角色造型图像存储部27的角色造型的图像，通过动作命令使角色造型动作，并使其同步播放。输入支持装置3的用户可通过参考显示设备7的显示，进行追加、变更、删除指定命令等，简易地实现更适切的角色造型的动作。
输入支持装置3还包含情节数据产生部51(本申请技术方案中的“情节数据产生单元”的一例)和动态图像数据产生部49(本申请技术方案中的“动态图像数据产生单元”的一例)。情节数据产生部51产生包含动作命令的情节数据。动态图像数据产生部49使内容和依照动作命令的角色造型的动作同步播放并产生动态图像数据。远距播放处理装置9如具有例如个人计算机(PC：Personal Computer)的功能这样可进行一定的信息处理。此点适合根据情节数据以终端机进行信息处理的播送。据此，可依照各终端机所存在的时间、场所而播送节目。另一方面，远距播放装置11为仅具备显示功能的监视器(monitor)等。远距播放装置11可播放动态图像。但是，仅播送情节数据无法实现节目播送。因此，输入支持装置3使用动态图像数据产生部49所产生的动态图像数据，实现对远距播放装置11的节目播送。
接着，参照图2说明图1的感情识别部41、命令提取部43及确认播放部47的动作的概要。图1的感情识别部41判断指定命令是否被输入(步骤ST1)。当被输入时，通过指定命令决定主演出(以最高的比例被考虑且被表现的一个或多个基本的感情类型)(步骤ST2)。接着，判断语言数据31是否被输入(步骤ST3)。当语言数据31被输入时，通过语言数据31决定副演出(以比例仅次于主演出而被考虑且被表现的一个或多个基本的感情类型)(步骤ST4)。接着，判断素材数据29是否被输入(步骤ST5)。当素材数据29被输入时，通过素材数据29决定辅助演出(以比例仅次于副演出而被考虑且被表现的一个或多个基本的感情类型)。据此，在指定命令、语言数据31及素材数据29被输入的情形下，分别决定一个或多个基本的感情类型，依此顺序以高的比例考虑且决定角色造型的动作。
在指定命令、语言数据31和素材数据29都没有输入的情况下(当在步骤ST1、7及8中为“否”时)，进行待机演出(步骤ST9)。待机演出是作为表现要素存储部25的动作模式之一而预先决定的。在无指定命令和语言数据31的输入但素材数据29被输入的情况下，通过素材数据29决定主演出、副演出及辅助演出(步骤ST10)。在无指定命令的输入但语言数据31被输入的情况下，通过语言数据31决定主演出及副演出(步骤ST11)。然后，前进到步骤ST5的判断步骤，在素材数据29未被输入时，通过指定命令或/及语言数据31决定辅助演出(步骤ST12)。在有指定命令的输入但无语言数据31的输入的情况下，当素材数据29被输入时，通过素材数据29决定副演出及辅助演出(步骤ST14)。当素材数据29未被输入时，也通过指定命令决定副演出及辅助演出(步骤ST15)。命令提取部43通过所决定的待机演出或主演出、副演出及辅助演出产生动作命令(步骤ST15)。确认播放部47对显示设备7提示动作方案。使用者参照动作方案进行指定命令等的输入处理。输入支持装置3根据修正后的指定命令等进行动作命令的产生处理等。
接着，参照图3至图6针对图1的感情识别部41及命令提取部43的动作具体地说明。内容包含有素材数据29和语言数据31。即使单纯地将该素材数据29和语言数据31播送给视听者，也仅是作为单纯的信息而送达给视听者而已。可通过与内容一起使角色造型动作，并附加用以传达感情的信息，催促视听者的评价判断，对视听者感性地传达。本申请发明与背景技术不同，不仅用以单方面地传达内容，也能使角色造型动作，以便能支持视听者对内容进行的评价判断。
在图1的表现要素存储部25存储有例如倾斜地举起两手等角色造型的各部分(parts)(例如眉毛、眼睛、肩膀、手等)的动作模式(本申请技术方案中的“动作模式”的一例)作为动作数据。存储有环境光(ambientlight)20%(白)等照明光、环境光等的色调、亮度、鲜艳度(vividness)作为照明数据。存储有上半身等相机的位置、时间、角度作为摄影技巧数据。此外，存储其他的数据也可以。
参照图3针对基本的感情类型(本申请技术方案中的“基本的感情类型”的一例)及感情层次(本申请技术方案中的“基本的感情类型的程度”的一例)进行说明。基本的感情类型例如有高兴(joy)(喜悦等)、信任(trust)(信任、信赖、信用等)、生气(anger)(发怒等)。各自设定有感情层次。感情识别部41分析指定命令及内容，选择一个或多个基本的感情类型，对每一被选择的基本的感情类型分析感情层次。通过基本的感情类型与感情层次的组合，针对存储于表现要素存储部25的动作数据、照明数据、摄影技巧数据等的各数据，使一个或多个相对应。例如对应基本的感情类型“高兴”，在感情层次低时，选择(2)拍手作为动作数据，选择(2)环境光50%(白)+(3)全身聚光(spotlight)(白)作为照明数据，选择(3)全身+(6)正面作为摄影技巧数据。若感情层次变高，则选择(1)将两手倾斜地往上举起+(3)轻轻跳跃几次作为动作数据，选择(1)环境光20%(白)+(3)全身聚光(白)作为照明数据，选择(2)脸特写镜头(close-up of a face)+(6)正面作为摄影技巧数据。若感情层次变得更高，则选择(2)拍手+(3)轻轻跳跃几次+(6)将右手举到正上方作为动作数据，选择(2)环境光50%(白)+(3)全身聚光(白)+(4)上半身聚光作为照明数据，选择(2)脸特写镜头+(4)移向目标(zoom in，放大)+(6)正面作为摄影技巧数据。
参照图4针对动作模式的产生进行说明。命令提取部43针对如嘴形的动作这样角色造型用以发出声音的动作，根据内容的语言数据31的声音来决定该动作。此乃因自然的发声之故。针对发出声音的动作以外的动作，根据指定命令和存储于表现要素存储部25的角色造型的动作模式来决定该动作。命令提取部43也进一步根据通过感情识别部41推论的感情类型决定角色造型的动作，产生动作命令。
例如作为语言数据的说明而记载为“非常高兴啊!”时，根据形态学的分析(morphological analysis)，仅从“高兴”这一词语选择一个高兴(joy)这一基本的感情类型(感情C)。此为图4的单纯表现。作为演出，若仅根据一个基本的感情类型就能使角色造型动作的话就足够。
但是，在本申请发明中，与背景技术不同，多个基本的感情类型可自动被选择。因此，不仅可选择例如高兴(joy)或信任(trust)这样的正面(plus)的感情类型，同时也可选择生气(anger)这样的负面(minus)的感情。此点相当于图4的复合表现。例如当记载为“我以笑容回答了，但对不礼貌的行动抑制不住怒气”作为说明时，在“我以笑容回答了”这一部分的形态学的分析中，正面的感情A被选择。没有关于感情层次的信息，例如设定平均值。另一方面，在“对不礼貌的行动抑制不住怒气”这一部分的形态学的分析中，负面的感情B被选择。感情层次为大的层次。如此，当多个基本的感情类型被选择时，进一步通过进行文字解析来进行基本的感情类型的主格判断。此情形下，例如着眼于“但”这一连接词(conjunction)，或着眼于“笑容”这一外形的表现与“怒气”这一内心的表现，判断为感情A为优性，感情B为辅助的。因此，命令提取部43以比与感情B及其感情层次对应的动作大的比例考虑与感情A及其感情层次对应的动作，决定角色造型的动作。如图5所示，针对角色造型的各部分，依照其考虑的比例决定形状(姿势)及时间(动作速度)。嘴形的数据等也根据需要进行修正。进而不限于角色造型的动作，针对照明数据、摄影技巧数据等也同样地决定。
在图4中对在相同的语言数据31内的优性演出动作与辅助的演出动作进行了说明。在本实施例中如图2所示，依照指定命令、语言数据31及素材数据29的顺序优先(亦即以更大的比例考虑)决定角色造型的动作。因此，就指定命令、语言数据31及素材数据29而言，在使其适合内容介绍的同时，越是与用户对角色造型动作的指定直接相关就以越大的比例进行考虑。
接着参照图6，针对感情的影响进行说明。在图6中最初作为待机动作而设为“直立(立正)”。从(1)的动作选择(依照某指定命令的输入的指定)到(7)的动作选择(依照其他的指定命令的输入的指定)的时间有10秒，其间感情影响减小。命令提取部43对角色造型的动作在(1)的动作选择的时间点有最大的影响，到下一个命令的指定为止的10秒间，影响自动地减小。因此，若设命令提取部43在(7)的动作选择的时间点从(1)动作选择经过了9秒，则来自(1)的动作的感情的影响止于10%左右。亦即命令提取部43产生动作命令，使得：在感情类型在情节数据上推移至下一个感情类型的时间点或/及指定命令在情节数据上推移至下一个指定命令的时间点中感情最强，其感情随着时间的经过而衰减。该修正处理例如如图6所示，针对角色造型的动作、语言数据31的播放、素材数据29的播放及BGM的播放，独立考虑感情的影响也可以。而且，图1的输入支持装置3包含修正历史记录存储部44(本申请技术方案中的“修正历史记录存储单元”的一例)。修正历史记录存储部44存储表示如何考虑过去被进行的感情类型的修正历史记录。命令提取部43通过该修正历史记录并参照输入支持装置3的用户的嗜好、喜好产生动作命令。图7是表示通过图1的输入支持装置3产生的节目的一例的图。
接着参照图8～10，针对依照情节数据及动态图像数据的节目播送进行说明。在图8～10中针对输入支持装置3的用户通过麦克风等声音输入单元输入担任角色造型的配音员说话的声音作为图1的语言数据31的声音的情形具体地说明。
在图8的节目产生系统1中，情节数据的播送在如远距播放处理装置9这样能够进行一定的处理的情形下，通过装置侧的处理进行内容的播放。据此，使适合装置被设置的场所的角色造型动作等着眼于信息的接收者的情节数据的播放成为可能。另一方面，如远距播放装置11这样只播放动态图像的终端机的情形下，在输入支持装置3中产生动态图像数据并使其播放。据此，即使是处理能力不足的装置也能进行内容的介绍。
在图8的节目产生系统1中存在两个远距播放处理装置91及92(本申请技术方案中的“远距播放处理装置”的一例)(以下表示多个装置的情形下省略下标)以及远距播放装置11(本申请技术方案中的“远距播放装置”的一例)。远距播放处理装置9及远距播放装置11也可以有多个。
参照图8，输入支持装置3具备：声音量化部61、声音量子存储部62、数据传送部63、动态图像数据传送部65。
声音量化部61将内容的语言数据31的声音分割，提取其一部分或全部作为声音要素、进行量化并产生量化数据(以下称该量化数据为“声音量子”)。声音量子例如针对“好久不见啦”这一CG角色造型(ComputerGraphics character：计算机图形角色造型)的台词，如“好”“久”“不”“见”“啦”这样以各个声音或无声状态为基准进行量化。声音量子存储部62存储所产生的各声音量子。命令提取部43为了图像用而将存储于声音量子存储部62的声音量子进行频率分析(frequency analysis)，进而通过分析音量决定角色造型的嘴形的图像。该角色造型的嘴形的图像与其他的图像区别地存储于图1的角色造型图像存储部27。
数据传送部63对远距播放处理装置9传送情节数据产生部51所产生的情节数据和存储于内容存储部21的内容。在图8中，传送声音量子以取代语言数据31的声音。而且，在远距播放处理装置9存储有独自的角色造型图像的情况下，使用该角色造型图像同步播放内容与角色造型的动作。在远距播放处理装置9没有存储独自的角色造型图像的情况下，数据传送部63传送存储于角色造型图像存储部27的角色造型的图像。动态图像数据传送部65对远距播放装置11传送动态图像数据产生部49所产生的动态图像数据。
远距播放处理装置9具有：接收从数据传送部63传送的信息的接收部71；使扬声器(speaker)76播放所接收的各声音量子，同时使监视器(monitor)75同步播放内容与角色造型图像并显示节目图像的终端机节目图像产生部73。远距播放装置11具备：接收动态图像数据的动态图像数据接收部81；播放所接收到的动态图像数据的监视器83。
图9是用以说明图8的终端机节目图像产生部73的构成及动作的概念框图。终端机节目图像产生部73具备：情节数据存储部101；音乐素材存储部103；角色造型图像存储部105；图像影像素材存储部107。情节数据存储部101存储所接收到的情节数据。音乐素材存储部103存储音乐素材。角色造型图像存储部105存储角色造型的图像。图像影像素材存储部107存储图像、图像素材。
存储于角色造型图像存储部105的角色造型的图像可以按每一远距播放处理装置9而不同。例如对远距播放处理装置91传送特别种类的要素图像数据(例如熊猫的种类)但不对其他的远距播放处理装置92等传送，而是对其他的远距播放处理装置92等传送别种类的要素图像数据(例如猫的种类)。该选择也可以通过输入设备5的使用者指定而使输入支持装置3传送特别的角色造型的图像，不对其他的远距播放处理装置传送。而且，远距播放处理装置9的用户指定并使特别的角色造型的图像传送也可以。据此，在远距播放处理装置91与92中通过能够不同的角色造型来播放相同的内容。以往节目播送为单方的信息的流动。相对于此，本申请发明的节目播送使配合各远距播放处理装置9的设置场所、播放时间等的节目图像的播送处理成为可能。而且，特别的角色造型的图像也可以通过各远距播放处理装置来准备。
首先，针对终端机节目图像产生部73的声音播放进行说明。终端机节目图像产生部73具备：终端机声音同步部109、声音播放部111、声音送出部113。终端机声音同步部109使各声音量子与音乐素材同步。声音播放部111使同步后的各声音量子及音乐素材播放。声音送出部113对扬声器76传送声音并使其播放。
接着，针对由终端机节目图像产生部73所具备的图像产生部115进行的图像显示进行说明。图像产生部115具备：角色造型动态图像产生部137、节目图像作成部139。角色造型动态图像产生部137根据情节数据通过3D向量数据处理(3D vector data processing)由角色造型的图像作成角色造型的动画(animation)图像。节目图像作成部139将作成的角色造型动态图像与图像、影像素材合成并作成节目图像。
对某声音量子而言，在由图像产生部115进行的节目图像的作成处理结束后，可能有图像的显示与声音的播放被进行的情形。此情形下，通过声音播放部111播放的声音量子，与成为由图像产生部115进行的节目图像的作成处理的基础的声音量子不同。因此，终端机节目图像产生部73具备使由声音播放部111进行的播放与由图像产生部115进行的节目图像的显示同步的同步部119。同步部119具备：声音用频率分析部131、时序控制部(timing control part)133。声音用频率分析部131分析通过声音播放部111播放的声音量子的频率并检测播放时间数据。时序控制部133比较播放时间数据与来自图像产生部115的节目图像的产生处理所需的时间，对声音播放部111控制播放的时序(timing)。
图10是用以说明图8的动态图像数据产生部49的构成及动作的概念框图。动态图像数据产生部49使用存储于声音量子存储部62的各声音量子、通过情节数据产生部51产生的情节数据、存储于角色造型图像存储部27的角色造型的图像数据、存储于内容存储部21的内容作成动态图像数据。动态图像数据产生部49具备：声音同步部159、图像产生部161、2D向量量化部163、连续图像存储部165、合成部167、动态图像数据存储部169。声音同步部159使各声音量子与音乐素材同步。图像产生部161产生节目图像(参照图9的图像产生部115)。2D向量量化部163对产生的节目图像进行2D向量处理，产生连续图像的图像1、...、图像n。连续图像存储部165存储连续图像。合成部167合成通过声音同步部159同步的声音与连续图像来产生动态图像数据。动态图像数据存储部169存储所产生的动态图像数据。
此外，远距播放处理装置9也能播放动态图像数据。因此，也可以通过输入支持装置3或远距播放处理装置9的用户的指示，不仅对远距播放装置11也对远距播放处理装置9传送动态图像数据。据此，例如输入支持装置3的用户在使多个终端机同时进行相同的显示时等，可减轻远距播放处理装置9的处理。但是，动态图像数据有加大传送数据量的可能性。因此，数据传送部63与动态图像数据传送部65也可以依照数据量和/或通信状况自动地选择作为情节数据等的传送或者传送动态图像数据。
而且，声音量子例如像以“好久不见啊”这一以发声后到声音暂时中断为止的一连串的声音为基准进行量化这样，以输入的声音为基准被量化也可以。而且，声音量子以一定的时间(例如30分之1秒等)为基准被量化也可以。
再者，图8的命令提取部43也能检测输入的声音的振幅，检测嘴的张开情况并产生角色造型图像。
由于这种远距播放成为可能，例如在远距播放处理装置9等之前有人时，通过输入“好久不见啊”作为CG角色造型的声音，可通过远距播放处理装置9等使CG角色造型说成“好久不见啊”而显示。据此，不仅实时(real time)的内容的演出，而且在视听者参加的形式下的内容也能实现。再者，关注度、话题性、认知度也提高，进而因谋求与拍摄实况的联系，故临场感也提高。进而假拟(pseudo-)会话成为可能，因此可实现人的诱导等配合场面的内容。
再者，在图1中输入设备5及显示设备7的处理负担小。因此，该等装置可通过用户侧的因特网浏览器(internet browser)等来实现。例如输入支持装置3的用户使用浏览器将素材数据29及语言数据31以及指定命令输入到输入支持装置3。输入支持装置3通过网页服务器(web server)实现其访问(access)。然后，使用该等素材等进行处理，显示于用户的浏览器。此处，用户侧的装置只要能显示浏览器即可，例如为PC(个人计算机)、智能型手机(smart phone)、平板计算机(tablet)等。而且，所显示的浏览器与输入用的可相同也可不同。再者，角色造型图像存储部27的角色造型图像也可以是用户访问其他的浏览器而选择出的。
[实施例二]
在该实施例中针对由多个角色造型进行的感情类型的表现及其修正进行说明。亦即在角色造型根据某感情类型而动作的情况下，使用该感情类型修正其他角色造型的感情类型。以下称此为“反应感情”。
在本实施例中为了简单起见，针对两个角色造型就周末的电影观赏进行会话的情形来说明。第一台词为“周末欣赏电影吧”。第二台词为“上映中的电影是恐怖片呢”。第三台词为“预定变更为买东西吧”。
图11是表示在对话状态下的反应感情的推移的一例的图。在图11中两个角色造型201和203进行对话。角色造型201表现第一及第三台词。角色造型203表现第二台词。
图1的感情识别部41从第一台词提取“喜悦”这一感情类型(感情类型205(感情类型P1))。命令提取部43一边使角色造型201表现该“喜悦”这一感情，一边使其叙述第一台词。此情形下，使角色造型203进行待机动作。
感情识别部41从第二台词提取“恐怖”这一感情类型(感情类型209(感情类型Q1))。命令提取部43一边使角色造型203表现该“恐怖”这一感情，一边使其叙述第二台词。角色造型201的感情类型在角色造型203开始动作的时间点仍旧为感情类型P1。因此，使角色造型201进行根据感情类型P1的待机动作。但是，感情的程度随着时间经过而衰减(感情类型207(感情类型P1))。
感情识别部41在角色造型203的动作开始后，使用角色造型203的感情类型修正角色造型201的感情类型或/及其程度。例如若角色造型203的感情类型与角色造型201的感情类型相同的话，维持角色造型201的感情类型并放大感情的程度。当角色造型203的感情类型与角色造型201的感情类型不同时，变更角色造型201的感情类型。此情形下根据角色造型203的感情的程度修正角色造型201的感情的程度也可以。
在图11中角色造型201的感情类型为“喜悦”。角色造型203的感情类型为“恐怖”。因两者不同，故感情识别部41使用感情类型215(感情类型Q1)修正感情类型213(感情类型P1)。在图11中选择作为新感情类型的“困惑”(感情类型219(感情类型R1))。然后，命令提取部43一边使角色造型201表现该“困惑”这一感情，一边使其叙述第三台词。
图12是表示在收听状态下的反应感情的推移的一例的图。在图12中两个角色造型251和253进行对话。角色造型251表现第一、第二及第三台词。角色造型253为收听者。
感情识别部41从第一台词提取“喜悦”这一感情类型(感情类型255(感情类型P1))。命令提取部43一边使角色造型251表现该“喜悦”这一感情，一边使其叙述第一台词。在该时间点使角色造型253进行待机动作。
在角色造型251开始动作时，感情识别部41使用角色造型251的感情类型及/或其程度来修正角色造型253的感情类型及/或其程度。在图12中使感情类型与P2一致(感情类型263(感情类型P2))。因此，使角色造型253进行根据感情类型P2的待机动作。
感情识别部41从第二台词提取“恐怖”这一感情类型(感情类型261(感情类型Q1))。在该时间点角色造型251的感情类型仍旧为感情类型P1，但感情的程度随着时间经过而衰减(感情类型259(感情类型P1))。命令提取部43因两者的感情类型不同，故一边使感情类型P2的表现随着时间经过而衰减，一边表现感情类型Q2，使其叙述第二台词。
当角色造型251开始叙述第二台词的动作时，感情识别部41使用感情类型Q2(感情类型271)修正角色造型253的感情类型P2(感情类型269)。命令提取部43使其进行根据修正后的感情类型的待机动作。
从第二台词重新提取的感情类型Q2与角色造型251的感情类型不同。因此，感情识别部41提取作为新感情类型的“困惑”(感情类型265(感情类型R2))。在相同情形下，例如一边维持感情类型，一边放大其程度。命令提取部43一边使角色造型253表现该“困惑”这一感情，一边使其叙述第三台词。
依照本实施例，在存在多个角色造型的情况下，当某角色造型动作时，其他的角色造型以产生共鸣的方式进行动作。亦即动作的角色造型进行表现活动，成为说话者。其他的角色造型成为该表现活动的收听者。成为收听者的角色造型，例如若为相同感情类型的表现，则再度放大并重新表现，而若为不同感情类型的表现，则提取其他的感情类型并表现。据此，多个角色造型整体上可统一感情类型而表现。通过视听者同化为成为收听者的角色造型，与该角色造型的产生共鸣来视听内容，由此能够实现自然的感情类型的传达。
符号的说明
1节目产生系统；3输入支持装置；5输入设备；7显示设备；9远距播放处理装置；11远距播放装置；21内容存储部；23指定命令存储部；25表现要素存储部；27角色造型图像存储部；29素材数据；31语言数据；41感情识别部；43命令提取部；44修正历史记录存储部；45动作命令存储部；47确认播放部；49动态图像数据产生部；51情节数据产生部。

Claims (8)

1.一种输入支持装置，支持指定用以介绍内容的角色造型的动作的指定命令的输入处理，
所述内容包含素材数据和语言数据，
所述语言数据包含表示所述角色造型发出的声音的声音数据，
所述输入支持装置包含：
分析所述素材数据及所述语言数据并推论所述角色造型应表现的感情类型的感情类型推论单元；
产生表示所述角色造型的动作的动作命令的命令提取单元；以及
对显示设备使所述内容与依照所述动作命令进行的所述角色造型的动作同步播放的确认播放单元，
所述命令提取单元，
针对所述角色造型用以发出所述声音的动作，根据所述声音数据来决定该动作，
针对所述角色造型用以发出所述声音的动作以外的动作，从存储于表现要素存储单元的所述角色造型的动作模式根据所述指定命令来决定该动作，
进而也根据所述推论出的感情类型决定所述角色造型的动作，产生所述动作命令。
2.如权利要求1所述的输入支持装置，其中，
所述感情类型推论单元，
分析所述素材数据及所述语言数据，从多个基本的感情类型中选择一个或多个，将所述选择出的基本的感情类型及其程度作为所述角色造型应表现的感情类型，
且在选择了多个所述基本的感情类型时，根据通过所述语言数据的分析而选择出的所述基本的感情类型决定优性演出处理，根据其他的所述选择出的基本的感情类型决定辅助的演出处理，
所述命令提取单元通过基本的感情类型与其程度的组合决定所述动作，
且在所述一个基本的感情类型被选择时与选择出的所述基本的感情类型及其程度对应地决定所述动作，
在所述多个基本的感情类型被选择时以比所述辅助的演出处理大的比重参照所述优性演出处理决定所述动作。
3.如权利要求2所述的输入支持装置，其中，
在所述动作模式中包含有待机动作，
通过所述命令提取单元指定是否许可依照所述感情类型进行的修正的修正许可命令被输入，
在无所述指定命令的输入、且既无所述素材数据也无所述语言数据的情况下，所述命令提取单元产生使所述待机动作进行的所述动作命令，
在无所述指定命令的输入、且有所述语言数据或/及所述素材数据的情况下，所述感情类型推论单元分析所述语言数据或/及所述素材数据并识别所述感情类型产生所述动作命令，
在有所述指定命令的输入、且无所述素材数据及所述语言数据的情况下，所述命令提取单元产生使通过所述指定命令指定的动作进行的所述动作命令，
在有所述指定命令的输入、且有所述素材数据及/或所述语言数据的情况下，
在所述修正许可命令不许可修正时，所述命令提取单元产生使通过所述指定命令指定的动作进行的所述动作命令，
在所述修正许可命令许可修正时，所述感情类型推论单元分析所述语言数据或/及所述素材数据并识别所述感情类型，所述命令提取单元修正通过所述指定命令指定的动作并产生所述动作命令。
4.如权利要求1～3中任一项所述的输入支持装置，其中包含：存储表示过去被进行的动作命令的修正处理的修正历史记录的修正历史记录存储单元，
所述命令提取单元也使用所述修正历史记录产生所述动作命令，
所述命令提取单元在通过所述感情类型推论单元识别出的感情类型在情节数据上推移至下一个感情类型的时间点或/及所述指定命令在情节数据上推移至下一个指定命令的时间点中感情最强，随着在情节数据上的时间的经过而使其感情衰减并产生所述动作命令。
5.如权利要求1～4中任一项所述的输入支持装置，其中包含：产生包含所述动作命令的情节数据的情节数据产生单元；和使所述内容与依照所述动作命令进行的所述角色造型的动作同步播放并产生动态图像数据的动态图像数据产生单元，
所述情节数据为如下数据：远距播放处理装置将该情节数据与所述内容及所述角色造型图像一起来接收，同步播放所述内容与依照所述情节数据进行的所述角色造型的动作，
所述动态图像数据为如下数据：远距播放装置接收该动态图像数据并播放。
6.如权利要求1～5中任一项所述的输入支持装置，其中，
所述角色造型存在多个，
在一部分角色造型动作的情况下，所述感情类型推论单元使用已动作的角色造型的感情类型修正其他角色造型的感情类型或/及其程度。
7.一种输入支持方法，在输入支持装置中支持指定用以介绍内容的角色造型的动作的指定命令的输入处理，
所述内容包含素材数据和语言数据，
所述语言数据包含表示所述角色造型发出的声音的声音数据，
所述输入支持装置包含感情类型推论单元、命令提取单元和确认播放单元，
所述输入支持方法包含如下的步骤：
感情类型推论步骤，所述感情类型推论单元分析所述素材数据及所述语言数据并推论所述角色造型应表现的感情类型；
命令提取步骤，所述命令提取单元，
针对所述角色造型用以发出所述声音的动作，根据所述声音数据来决定该动作，
针对所述角色造型用以发出所述声音的动作以外的动作，从存储于表现要素存储单元的所述角色造型的动作模式根据所述指定命令来决定该动作，
进而也根据所述推论出的感情类型决定所述角色造型的动作，产生表示所述角色造型的动作的动作命令；
确认播放步骤，所述确认播放单元对显示设备使所述内容与依照所述动作命令进行的所述角色造型的动作同步播放；以及
在所述指定命令被追加或变更的情况下，所述输入支持装置对所述追加或变更后的指定命令进行处理的步骤。
8.一种计算机可读取的记录介质，记录有在计算机中用以实现权利要求7所述的输入支持方法的程序。
CN201280012777.9A 2011-02-01 2012-01-18 输入支持装置、输入支持方法及记录介质 Active CN103430217B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011020101A JP4725936B1 (ja) 2011-02-01 2011-02-01 入力支援装置、入力支援方法及びプログラム
JP2011-020101 2011-02-01
PCT/JP2012/050937 WO2012105318A1 (ja) 2011-02-01 2012-01-18 入力支援装置、入力支援方法及び記録媒体

Publications (2)

Publication Number Publication Date
CN103430217A true CN103430217A (zh) 2013-12-04
CN103430217B CN103430217B (zh) 2016-06-08

Family

ID=44350539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280012777.9A Active CN103430217B (zh) 2011-02-01 2012-01-18 输入支持装置、输入支持方法及记录介质

Country Status (6)

Country Link
US (1) US9898850B2 (zh)
JP (1) JP4725936B1 (zh)
KR (1) KR101492359B1 (zh)
CN (1) CN103430217B (zh)
TW (1) TWI436808B (zh)
WO (1) WO2012105318A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038160A (zh) * 2017-12-06 2018-05-15 央视动画有限公司 动态动画保存方法、动态动画调用方法及装置
CN114258686A (zh) * 2019-08-29 2022-03-29 有限公司纽带 节目制作方法、节目制作装置以及记录介质
US12002487B2 (en) 2019-02-22 2024-06-04 Sony Group Corporation Information processing apparatus and information processing method for selecting a character response to a user based on emotion and intimacy

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369289B (zh) * 2012-03-29 2016-05-04 深圳市腾讯计算机系统有限公司 一种视频模拟形象的通信方法和装置
JP2014085952A (ja) * 2012-10-25 2014-05-12 Kddi Corp 表情生成装置およびプログラム
JP2014167737A (ja) * 2013-02-28 2014-09-11 Kddi Corp 仕草生成装置およびプログラム
CN104424955B (zh) * 2013-08-29 2018-11-27 国际商业机器公司 生成音频的图形表示的方法和设备、音频搜索方法和设备
CN103785171B (zh) * 2014-01-23 2016-08-17 北京智明星通科技有限公司 一种集成单击自感应及滑动操作模式的游戏系统及方法
WO2016035069A1 (en) * 2014-09-01 2016-03-10 Beyond Verbal Communication Ltd System for configuring collective emotional architecture of individual and methods thereof
JPWO2016068262A1 (ja) * 2014-10-29 2017-08-10 京セラ株式会社 コミュニケーションロボット
US10293260B1 (en) * 2015-06-05 2019-05-21 Amazon Technologies, Inc. Player audio analysis in online gaming environments
JP6782173B2 (ja) * 2017-01-11 2020-11-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および音声データ通信管理方法
US10546409B1 (en) * 2018-08-07 2020-01-28 Adobe Inc. Animation production system
JP6993314B2 (ja) * 2018-11-09 2022-01-13 株式会社日立製作所 対話システム、装置、及びプログラム
JPWO2020170441A1 (ja) * 2019-02-22 2021-12-16 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN109979592A (zh) * 2019-03-25 2019-07-05 广东邮电职业技术学院 心理健康预警方法、用户终端、服务器与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020017442A (ko) * 2000-08-30 2002-03-07 송대호 출판만화를 이용한 애니메이션 제작방법
JP3592194B2 (ja) * 2000-01-21 2004-11-24 株式会社リコー 映像内容説明文生成方法、映像内容説明文生成装置及び記録媒体
JP2008046425A (ja) * 2006-08-17 2008-02-28 National Institute Of Information & Communication Technology 印象表現出力装置及び方法
CN101145244A (zh) * 2006-09-12 2008-03-19 叶琦 网络传播的数码动漫真人秀照片连环画

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020022504A (ko) * 2000-09-20 2002-03-27 박종만 3차원 캐릭터의 동작, 얼굴 표정, 립싱크 및 립싱크된음성 합성을 지원하는 3차원 동영상 저작 도구의 제작시스템 및 방법
JP2003248837A (ja) 2001-11-12 2003-09-05 Mega Chips Corp 画像作成装置、画像作成システム、音声生成装置、音声生成システム、画像作成用サーバ、プログラム、および記録媒体
EP1326445B1 (en) * 2001-12-20 2008-01-23 Matsushita Electric Industrial Co., Ltd. Virtual television phone apparatus
US20040138959A1 (en) * 2002-09-09 2004-07-15 Michal Hlavac Artificial intelligence platform
US7257538B2 (en) * 2002-10-07 2007-08-14 Intel Corporation Generating animation from visual and audio input
JP2005266912A (ja) 2004-03-16 2005-09-29 Nara Institute Of Science & Technology 人物アニメーション作成システム及びそのユーザインタフェース
TWI263156B (en) 2004-12-17 2006-10-01 Shiau-Ming Wang Automatic program production system and method thereof
US20090128567A1 (en) * 2007-11-15 2009-05-21 Brian Mark Shuster Multi-instance, multi-user animation with coordinated chat
WO2009067560A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for generating 3d head models and for using the same
KR101334066B1 (ko) * 2008-02-11 2013-11-29 이점식 진화하는 사이버 로봇 시스템 및 그 제공 방법
JP5363797B2 (ja) * 2008-12-22 2013-12-11 任天堂株式会社 ゲームプログラムおよびゲーム装置
KR20100112764A (ko) * 2009-04-10 2010-10-20 엘지이노텍 주식회사 동작교정장치 및 그 제어방법과 이를 이용한 동작교정 서비스시스템
US9665563B2 (en) * 2009-05-28 2017-05-30 Samsung Electronics Co., Ltd. Animation system and methods for generating animation based on text-based data and user information
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592194B2 (ja) * 2000-01-21 2004-11-24 株式会社リコー 映像内容説明文生成方法、映像内容説明文生成装置及び記録媒体
KR20020017442A (ko) * 2000-08-30 2002-03-07 송대호 출판만화를 이용한 애니메이션 제작방법
JP2008046425A (ja) * 2006-08-17 2008-02-28 National Institute Of Information & Communication Technology 印象表現出力装置及び方法
CN101145244A (zh) * 2006-09-12 2008-03-19 叶琦 网络传播的数码动漫真人秀照片连环画

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038160A (zh) * 2017-12-06 2018-05-15 央视动画有限公司 动态动画保存方法、动态动画调用方法及装置
CN108038160B (zh) * 2017-12-06 2019-03-08 央视动画有限公司 动态动画保存方法、动态动画调用方法及装置
US12002487B2 (en) 2019-02-22 2024-06-04 Sony Group Corporation Information processing apparatus and information processing method for selecting a character response to a user based on emotion and intimacy
CN114258686A (zh) * 2019-08-29 2022-03-29 有限公司纽带 节目制作方法、节目制作装置以及记录介质

Also Published As

Publication number Publication date
TWI436808B (zh) 2014-05-11
CN103430217B (zh) 2016-06-08
US20140002464A1 (en) 2014-01-02
WO2012105318A1 (ja) 2012-08-09
US9898850B2 (en) 2018-02-20
KR101492359B1 (ko) 2015-02-10
TW201233413A (en) 2012-08-16
JP2012160082A (ja) 2012-08-23
KR20130116349A (ko) 2013-10-23
JP4725936B1 (ja) 2011-07-13

Similar Documents

Publication Publication Date Title
CN103430217A (zh) 输入支持装置、输入支持方法及记录介质
CA3048787C (en) Immersive story creation
US8847884B2 (en) Electronic device and method for offering services according to user facial expressions
KR101445263B1 (ko) 맞춤형 콘텐츠 제공 시스템 및 방법
US9332100B2 (en) Portable communications device
US9437246B2 (en) Information processing device, information processing method and program
JP2019521449A (ja) 永続的コンパニオンデバイス構成及び配備プラットフォーム
CN110782900A (zh) 协作ai讲故事
JP2011217197A (ja) 電子機器、再生制御システム、再生制御方法及びプログラム
CN107403011B (zh) 虚拟现实环境语言学习实现方法和自动录音控制方法
TW201913300A (zh) 人機互動方法及系統
US20130159853A1 (en) Managing playback of supplemental information
US20140028780A1 (en) Producing content to provide a conversational video experience
CN109413342A (zh) 音视频处理方法、装置、终端及存储介质
KR20140081636A (ko) 콘텐트 재생 방법 및 이를 위한 단말
CN111359209B (zh) 视频播放方法、装置和终端
US20220246135A1 (en) Information processing system, information processing method, and recording medium
CN115668957A (zh) 音频检测和字幕呈现
CN110099360A (zh) 语音消息处理方法及装置
WO2018095195A1 (zh) 一种包装盒定制方法及装置
KR20180042116A (ko) 구연동화 서비스 제공 시스템, 장치 및 구연동화 서비스 제공 방법
JP4625058B2 (ja) 仮想空間放送装置
KR20130093186A (ko) 인터랙티브 캐릭터를 활용한 동영상 제작 장치
CN109428972A (zh) 终端中的语音控制方法和设备
CN111091807A (zh) 语音合成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant