CN107430781B - 计算机图形的数据结构、信息处理装置、信息处理方法以及信息处理系统 - Google Patents

计算机图形的数据结构、信息处理装置、信息处理方法以及信息处理系统 Download PDF

Info

Publication number
CN107430781B
CN107430781B CN201680008159.5A CN201680008159A CN107430781B CN 107430781 B CN107430781 B CN 107430781B CN 201680008159 A CN201680008159 A CN 201680008159A CN 107430781 B CN107430781 B CN 107430781B
Authority
CN
China
Prior art keywords
data
model
time
note
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680008159.5A
Other languages
English (en)
Other versions
CN107430781A (zh
Inventor
岸勇希
比嘉康雄
饭岛章夫
多多良树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cable Communication Group Co ltd
Dentsu Group Inc
Original Assignee
DENTSU CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DENTSU CORP filed Critical DENTSU CORP
Publication of CN107430781A publication Critical patent/CN107430781A/zh
Application granted granted Critical
Publication of CN107430781B publication Critical patent/CN107430781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056—MIDI or other note-oriented file format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明能够容易地使计算机图形(CG)模型的动作与声音同步。本发明的一个方式的数据结构涉及计算机图形(CG)模型，其特征在于，包含第一时间顺序信息，该第一时间顺序信息用于以拍单位将CG模型的结构要素的坐标指定为时间顺序，所述第一时间顺序信息通过计算机而被用于CG模型的处理。

Description

计算机图形的数据结构、信息处理装置、信息处理方法以及信 息处理系统
技术领域
本发明涉及一种与三维计算机图形相关的数据结构、信息处理装置、信息处理方法以及信息处理系统。
背景技术
近年来，伴随着硬件的高性能化，三维计算机图形(3DCG(Three DimensionalComputer Graphics)，也简称作CG(Computer Graphics) 等)正被广泛地利用。此外，为了通过3DCG表现角色(CG模型)，而提出了各种各样的数据结构。例如，提出了一种适于人类等具有复杂的骨骼结构的角色的数据结构(例如，专利文献1及2)。能够使用这样的CG模型以及数据结构，制成CG的动态图像。
【现有技术文献】
【专利文献】
专利文献1：日本专利第3337938号公报
专利文献2：日本专利第3380158号公报
发明内容
【发明要解决的问题】
CG模型的运动(动作)能够通过使用被称作动作捕捉的系统，使现实世界的人、动物等的运动数字化并被提取到计算机中来制作而成。此外，也能够在计算机上使用应用来制成CG模型的动作。
然而，使CG模型的动作与声音数据(例如，乐曲数据、语音数据等)同步还较为困难的。例如，若考虑到制成使CG模型配合乐曲而进行跳舞的动作，在使用动作捕捉系统的情况下，则必须采用优秀的舞者作为捕捉对象(例如，人)，且无法轻易地制成。此外，即使是优秀的舞者，也存在有乐曲与跳舞产生稍微偏差的情况。
另一方面，在使用应用的情况下，应用的操作者(用户)也要对跳舞的编舞求得详细的数据。而且，即使跳舞的编舞的数据详细，在以往的应用中也需要用于使运动与声音数据同步的细微的调节，而难以完全地使声音数据与动作同步。
本发明是鉴于这一点而完成的，其目的之一在于，提供一种能够容易地使CG模型的动作与声音数据同步的数据结构、信息处理装置、信息处理方法以及信息处理系统。
【用于解决问题的手段】
本发明的一个方式的数据结构与计算机图形(CG)模型相关，其特征在于，包括第一时间顺序信息，该第一时间顺序信息用于以拍单位并按时间顺序指定CG模型的结构要素的坐标，所述第一时间顺序信息通过计算机而被用于CG模型的处理。
【技术效果】
根据本发明，能够容易地使CG模型的动作与声音数据同步。
附图说明
图1为表示本发明的一个实施方式的信息处理系统的概要结构的一个示例的图。
图2为表示本发明的一个实施方式的用户终端的功能结构的一个示例的图。
图3A和图3B为表示具有骨骼结构(多关节结构)的骨架模型的一个示例的图。
图4为音符接通信号的概念说明图。
图5为表示本发明的数据结构中的各通道的音符接通信号与预定的结构要素的对应关系的一个示例的图。
图6为表示本发明所涉及的符合科里奥数据格式的具体的数据示例的图。
图7为表示按照科里奥数据格式的动作数据的制成流程的一个示例的图。
图8为图7的步骤S12及S13的概念说明图。
图9为表示1拍之中的典型的角度变化的图案的一个示例的图。
图10为表示提取1拍之中的各8分之1拍的一个示例的图。
图11为表示使用了符合科里奥数据格式的动作数据来显示CG 模型时的流程的一个示例的图。
图12为表示对所保存的科里奥数据进行再现时的一个示例的图。
图13为表示实时对科里奥数据进行再现时的一个示例的图。
图14A和图14B为表示加速度参数的计算例的一个示例的图。
图15为表示科里奥数据格式中的加速度参数的存储方法的一个示例的图。
图16A和图16B为使用加速度参数时的角度变化的再现度的说明图。
图17为表示因时间流逝而产生的角度变化、与各时间相对应的加速度参数的变化的一个示例的图。
图18A和图18B为表示考虑到最高速的拍与帧相关联的一个示例的图。
图19A和图19B为表示作为基本的BPM中的角度以及速度的时间顺序数据的图。
图20A和图20B表示将图19A和图19B的时间顺序数据的BPM 设为一半时的角度以及速度的时间顺序数据的图。
图21A和图21B为表示将图19A和图19B的时间顺序数据的BPM 设为2倍时的角度以及速度的时间顺序数据的图。
图22为表示有效地利用被保存为科里奥数据格式的移动来制成舞蹈CG动态图像的流程的一个示例的图。
图23为表示编辑画面的一个示例的图。
图24为能够制成配合乐曲的舞蹈的编舞的软件(应用)的商务模型的概念说明图。
图25为表示有效地利用被保存为科里奥数据的移动来制成舞蹈 CG动态图像的流程的另一个示例的图。
图26为表示编辑画面的另一个示例的图。
图27为表示调色板编辑画面的一个示例的图。
图28为表示编辑画面的另一个示例(舞步模式)的图。
图29A和图29B为表示对两个关节角度不同的两拍的动作进行连接时的一个示例的图。
图30A～图30C为表示包括运动的动作数据仅与上半身相关的信息时的、运动与舞步的混合的一个示例的图。
图31A和图31B为表示用户的输入晚于期望的定时时的一个示例的图。
图32A和图32B为表示用户的输入早于期望的定时时的一个示例的图。
图33A和图33B为表示本发明中所假想的动作数据的一个示例的图。
图34A和图34B为表示用户的输入晚于期望的定时时的另一个示例的图。
图35A和图35B为表示用户的输入早于期望的定时时的另一个示例的图。
具体实施方式
对与CG的动态图像的以往的制成相关的问题更具体地进行说明。以往，计算机上的CG动态图像的制成以帧(构成动态图像的静止图像)单位来实施。通常的CG动态图像以将每单位时间的帧数量(例如，FPS(Frames Per Second，每秒帧数))固定的方式制成。
因此，在欲使CG模型的动作与预定的内容(例如，乐曲、语音等声音数据)同步的情况下，用户必须自己考虑该内容的再现时间的长度而对各帧的运动细微地进行调节。特别是，在使舞蹈CG与实况演奏等实时性较高的内容同步的情况下，存在有难以与演奏的细微的拍子的变化同步且产生偏差这样的问题。
为了解决上述的问题，本发明人认真地对能够容易地与声音数据同步的CG模型的运动数据(动作数据)的数据结构进行了研究。其结果为，构思了以拍子节奏并按时间顺序指定CG模型的运动的新数据结构，并完成了本发明。具体而言，根据本发明的一个方式的数据结构，能够以实际时间长度根据拍子而发生变化的拍单位(节拍单位) 构成CG模型的动作数据，而并不以帧单位、实际时间单位构成CG 模型的动作数据。由此，能够容易地对CG模型的动作所花费的时间进行调节，以使CG模型的动作数据与声音数据同步。
此外，当对基于本发明所涉及的数据结构的数据进行组合时，由于能够以拍单位对CG模型的动作进行指定，因此，与以以往那样的帧单位将CG模型的形态一个一个输入的方法相比，易于制成与乐曲等的拍子同步的CG动态图像。此外，并不限于声音数据，还能够容易地使CG模型的动作与语音其他的内容同步。
另外，本发明所涉及的上述数据结构也可以被称作编舞 (choreography)数据格式、科里奥数据格式等。此外，科里奥数据格式所表现的数据、符合科里奥数据格式的数据(例如，包括能够转换为科里奥数据格式的帧单位的时间顺序数据)等具有与科里奥数据格式的兼容性的数据也可以被称作科里奥数据、舞蹈科里奥数据等。
另一方面，在仅对各种各样的动作进行组合时，存在有成为不自然的CG动态图像的情况。例如，在制成使CG模型跳舞的动态图像的情况下，如果不是理解了舞蹈的编舞的用户，则看上去像舞蹈的动态图像的制成是非常困难的。
因此，本发明人进一步研究了即使是编舞不熟练的用户，也能够简单地对CG角色实施如舞蹈那样的编舞的情况，并关注到了每固定时间的“流动”是重要的，而不是每帧的形态。此外，发现了该“流动”在较多的舞蹈中，由以下的(1)～(3)的要素构成：
(1)以“八拍(eight)”(8拍)单位总结编舞；
(2)具有恒定的“型”；
(3)通过使“型”相连，并使其发生变化从而完成舞蹈。
具体地对各要素进行说明。对于要素(1)，以8拍单位(一个八拍)、8拍×4的32拍单位(四个八拍)制成编舞的情况较多。对于要素(2)，按照每个舞蹈的类型，存在有所谓的被称作“移动”的基本型(也被称作基础移动)。对于要素(3)，舞蹈基本上是移动的连续，并且通过在移动中产生手臂的摆动等变化(也称作变化移动)、或者赋予移动发生改变时的旋转等的重音(也称作重音动作)，从而完成舞蹈。
本发明人基于上述的关注点，通过使用考虑到了“流动”的科里奥数据，从而找出与声音数据同步而使CG模型进行如舞蹈一样的舞蹈的方法。具体而言，根据本发明的一个方式的应用，通过利用科里奥数据而以八拍单位对移动进行设定，从而即使是对CG动态图像的制成、舞蹈的编舞不熟练的用户，也能够容易地编辑和制成CG的舞蹈动态图像。
以下，参照附图对本发明的实施方式详细地进行说明。
＜信息处理系统＞
首先，对本发明所应用的信息处理系统进行说明。图1为表示本发明的一个实施方式的信息处理系统的概要结构的一个示例的图。图 1所示的信息处理系统1包括用户终端10、服务器20、电子乐器30 以及网络40。
用户终端10、服务器20以及电子乐器30能够经由网络40而相互连接，并使用科里奥数据来实施与CG模型相关的处理(发送和接收、转换、动态图像生成、显示等)。
用户终端10既可以是便携式电话、智能手机、平板式终端等便携式终端(移动通信终端)，也可以是计算机、多功能电视、机顶盒 (例如，Apple TV(注册商标)、Chromecast(注册商标))等固定通信终端。
服务器20为具有在用户终端10和/或电子乐器30之间对科里奥数据进行发送和/或接收的功能的装置。另外，该科里奥数据的发送和接收既可以根据来自用户终端10和/或电子乐器30的要求来实施，也可能周期性地或以预定的定时来实施。此外，服务器20也可以在用户终端10和/或电子乐器30之间对使用科里奥数据而生成的数据 (例如，动态图像等)进行发送和接收。
电子乐器30为具有产生与MIDI(Musical Instrument Digital Interface，乐器数字接口)数据等演奏信息相对应的声音的功能的装置。例如，电子乐器30为电子钢琴、合成器等，但是，并不限于此。
网络40对设备间进行连接并能够进行信息的通信。例如，网络 40包括因特网、移动网络、LAN(Local Area Network)、WAN(Wide Area Network)等各种各样的网络。另外，网络40既可以由无线构成，也可以由有线构成。
另外，该系统结构为一个示例，但是，并不限定于此。例如，用户终端10、服务器20以及电子乐器30在图1中分别为包括多个，但是，各设备的数量并不限于此。此外，信息处理系统1也可以是不包括用户终端10、服务器20以及电子乐器30中的一部分的结构。此外，在未与网络40连接的用户终端10等中，也可以通过对预定的存储介质进行连接，从而经由该存储介质而实施科里奥数据的输入和输出。
图2为表示本发明的一个实施方式的用户终端的功能结构的一个示例的图。如图2所示，用户终端10具有收发部11、取得部12、再现部13、输出部14、输入部15、生成部16、控制部17。用户终端10实现信息处理方法，所述信息处理方法具有使用本发明所涉及的数据结构来实施与CG模型相关的信息处理的工序。此外，用户终端10作为本发明所涉及的信息处理装置，能够构成显示装置、发送装置、接收装置、动态图像生成装置、数据转换装置、数据生成装置等。
另外，在图2中，主要示出了本实施方式中的特征部分的功能框图，用户终端10也可以具有其他的处理所需的其他的功能框图。此外，服务器20、电子乐器30既可以具有图2所示的功能框图的全部或一部分，也可以与用户终端10同样地构成本发明所涉及的信息处理装置(显示装置、发送装置、接收装置、动态图像生成装置、数据转换装置、数据生成装置等)。
收发部11经由网络40而在其他的用户终端10、服务器20、电子乐器30之间实施科里奥数据、所需的信息等的发送和接收。收发部11将接收到的科里奥数据输出至取得部12。此外，收发部11也可以将接收到的预定的数据(例如，CG模型的动作数据)输出至生成部16。此外，收发部11将接收到的各种信息输出至控制部17。收发部11能够由基于本发明所涉及的技术领域中的共同认识所说明的传送器/收发器、发送接收电路或发送接收装置构成。另外，收发部11也可以由发送部111以及接收部112构成。
取得部12从收发部11和/或生成部16取得科里奥数据。取得部 12将所取得的科里奥数据输出至收发部11和/或再现部13。
再现部13实施从取得部12输入的数据的再现，并将其输出至输出部14。例如，再现部13对科里奥数据进行解释，并将CG动态图像的再现所涉及的信号输出至输出部14。此外，再现部13也可以实施预定的内容(例如，乐曲、语音等的声音数据)的再现，并将其输出至输出部14。例如，如果内容为声音数据，则按照内容所涉及的音频文件格式，以输出部14能够识别的形式转换为再现用信号。再现部13能够由基于本发明所涉及的技术领域中的共同认识所说明的游戏者、图像/影像/语音处理电路、图像/影像/语音处理装置、放大器等构成。
输出部14实施从再现部13被输入的内容的再现信号的输出。输出部14也可以由多个功能部构成。例如，输出部14也可以由对视觉性的数据(例如，CG动态图像)进行显示的显示部、对声音数据进行输出的语音输出部构成。显示部能够由基于本发明所涉及的技术领域中的共同认识所说明的显示器、监视器等显示装置构成。此外，语音输出部能够由基于本发明所涉及的技术领域中的共同认识所说明的扬声器等输出装置构成。
输入部15根据来自用户的操作，接收相对于用户终端10的输入，并将输入结果输出至控制部17。输入部15能够由基于本发明所涉及的技术领域中的共同认识所说明的键盘、鼠标等输入装置构成。此外，输入部15也可以被设为与显示部一体的结构(例如，触摸面板)。
此外，输入部15也可以与预定的设备、存储介质连接，并对数据的输入进行接收。该输入结果被输入至控制部17、生成部16。在该情况下，输入部15能够构成为，包括基于本发明所涉及的技术领域中的共同认识所说明的输入/输出端子、输入/输出电路等。
生成部16使用从收发部11、输入部15等输入的数据生成科里奥数据。所生成的科里奥数据被输出至收发部11、取得部12。生成部16能够由基于本发明所涉及的技术领域中的共同认识所说明的运算器、运算电路、运算装置等构成。
控制部17实施用户终端10整体的控制。例如，控制部17也可以对取得部12取得或输出科里奥数据的定时进行控制。此外，控制部17也可以实施控制，使得将生成部16所生成的科里奥数据保存在用户终端10中。控制部17能够由基于本发明所涉及的技术领域中的共同认识所说明的控制器、控制电路或控制装置构成。
以下，示出了更具体的本发明所涉及的信息处理装置的一个示例。在此，使用图2所示的功能框图实施结构的说明。
本发明的一个实施方式的显示装置具有取得部12、再现部13、输出部14、控制部17。根据该显示装置，例如，再现部13能够使用科里奥数据实施CG动态图像的再现并经由输出部14进行显示，使得与由再现部13再现并从输出部14被输出的乐曲同步。另外，本发明的一个实施方式的显示装置的显示部能够由再现部13以及输出部14 构成。
本发明的一个实施方式的发送装置具有发送部111、取得部12、控制部17。本发明的一个实施方式所涉及的接收装置具有接收部112、取得部12、控制部17。根据该发送装置或接收装置，能够对包含科里奥数据的信号进行发送或接收，从而能够容易地实施科里奥数据的往返。
本发明的一个实施方式所涉及的动态图像生成装置具有取得部 12、再现部13、控制部17。根据该动态图像生成装置，由于能够使用科里奥数据生成与声音数据同步的CG动态图像，因此，在无法利用科里奥数据的装置中也能够对该CG动态图像进行再现。另外，本发明的一个实施方式所涉及的动态图像生成装置的生成部能够由再现部13构成。
本发明的一个实施方式所涉及的数据转换装置具有取得部12、生成部16、控制部17。根据该数据转换装置，能够将已有的动作数据(例如通过动作捕捉系统所取得的数据)等转换为科里奥数据，从而能够容易地实施科里奥数据的制成。另外，本发明的一个实施方式所涉及的数据转换装置的检测部、提取部以及选择部能够由生成部 16构成。
本发明的一个实施方式所涉及的数据生成装置具有取得部12、再现部13、输出部14、输入部15、生成部16、控制部17。根据该数据生成装置，例如通过控制部17执行应用，输入部15对用户的输入进行接收，控制部17根据该输入对各功能框图(再现部13，输出部14等)进行控制，从而能够从科里奥数据的组合生成新的科里奥数据、CG动态图像。另外，本发明的一个实施方式所涉及的数据生成装置的选择部能够由输入部15和/或控制部17构成。
另外，上述实施方式的说明所使用的框图表示功能单位的框。上述功能框图(结构部)通过硬件以及软件的任意的组合来实现。此外，各功能框图的实现方法并不特别限定。即，各功能框图既可以由物理性地结合的一个装置来实现，也可以通过有线或无线对物理性地分离的两个以上的装置进行连接，从而由上述多个装置来实现。
例如，用户终端10、服务器20的各功能的一部分或全部也可以使用ASIC(Application Specific Integrated Circuit)、PLD (Programmable Logic Device)、FPGA(Field Programmable Gate Array)等硬件来实现。此外，用户终端10、服务器20也可以通过包括处理器(CPU：Central Processing Unit)、网络连接用的通信接口、存储器、对程序进行保持的计算机能够读取的存储介质的计算机装置来实现。也就是说，本发明的一个实施方式所涉及的用户终端、服务器等也可以作为使用本发明所涉及的数据结构(科里奥数据)来实施与CG模型相关的处理的计算机而发挥功能。
在此，处理器、存储器等通过用于对信息进行通信的总线被连接起来。此外，计算机能够读取的记录介质例如为，软磁盘、光磁盘、 ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、 CD-ROM(Compact Disc-ROM)、RAM(Random AccessMemory)、硬盘等存储介质。此外，程序也可以经由电气通信线路而从网络40被发送。
用户终端10、服务器20的功能结构既可以通过上述的硬件来实现，也可以由通过处理器执行的软件模块来实现，也可以通过两者的组合来实现。处理器使操作系统工作从而对用户终端的整体进行控制。此外，处理器从存储介质将程序、软件模块、数据读出到存储器中，并根据它们来执行各种处理。
在此，该程序只要是使计算机执行与使用了本发明所涉及的数据结构的CG模型相关的信息处理的程序即可。例如，用户终端10的控制部17既可以通过被存储在存储器中并通过处理器进行工作的控制程序来实现，对于其他的功能框图也可以以同样的方式来实现。
在本发明中，上述那样的各装置利用科里奥数据。以下，首先对科里奥数据格式进行说明，其后对科里奥数据的生成以及使用了该科里奥数据的CG动态图像的制成进行说明。
＜科里奥数据格式＞
本发明所涉及的科里奥数据格式为，包括用于以拍单位将CG模型的结构要素的坐标指定为时间顺序的时间顺序信息的数据的格式。另外，“拍单位”是指能够用“拍”特定的单位，并不限于1拍单位，也包括8分之1拍单位等分数拍单位、两拍单位等多拍单位。
如上所述，本发明人认真地对能够容易地与声音数据同步的CG 模型的运动数据进行了研究。鉴于运动的再现性、数据量、与其他系统的协作等的结果，本发明人找出了电子乐器的演奏信息的保存形式适合于拍单位中的数据结构的表现，并完成了本发明所涉及的科里奥数据格式。
在具体的格式的说明之前，首先对CG模型的表现方法进行说明。在本说明书中，以将具有骨骼结构(多关节结构)的骨架模型用作 CG模型的情况为例进行了说明，但是，本发明能够应用的CG模型并不限于此。
图3为表示具有骨骼结构(多关节结构)的骨架模型的一个示例的图。图3A表示骨架模型的各结构要素以及基准姿态，图3B表示骨架模型的结构要素间的关系。另外，图3所示的示例为基本的结构，也可以还具有追加的结构(例如，皮肤、手指、毛发、衣服、帽子、手杖等)。
图3A所示的模型由多个骨骼构成，各骨骼由两个间接点以及使两个间接点相连的骨(bone)构成。图3A的“N”、“RS”等是骨的名称，在该示例中示出了18根骨。
通常骨架模型构成为，以某间接点为基准点(根)，经由各间接点而被连接的骨具有分层结构。例如，图3A的分层结构如图3B所示。在图3的情况下，B1以及W之间的间接点为根。此外，在对间接点、骨进行比较之际，将靠近根的一方设为母体，将远离根的一方设为子体。
在将CG模型配置在三维空间内时，将该模型建在以根的位置为基准的该模型用的坐标系(本地坐标系)上。并且，在表示三维空间整体的坐标系(世界坐标系、全局坐标系)上映射被建模的CG模型。
结构要素(间接点、骨等)的坐标既可以表示为三维空间的绝对坐标或相对坐标，也可以表示为以预定的间接点为基准的预定的骨的相对角度。例如，在以骨的相对角度表现坐标的情况下，也可以将 CG模型的基准姿态设为图3A那样的T字姿态，将该姿态时的各骨的角度设为0°。
另外，分层结构、根的位置并不限于图3的示例。例如，根的位置也可以在两腿之间(RF3与LF3之间)。此外，各结构要素的坐标和/或角度既可以使用从根到终端按顺序进行计算的正向运动学 (Forward Kinematics)来进行计算，也可以使用从子体的位置向母体的位置进行反向计算的反向运动学(Inverse Kinematics)来进行计算，也可以使用两者的组合或其他的方法。此外，在骨骼结构中，不仅设定有上述的分层结构，也可以设定有分层结构的初始状态、各骨的长度、各关节的可动范围等。
＜SMF格式和科里奥数据格式＞
如上所述，本发明的一个方式中的科里奥数据格式优选为，符合电子乐器的演奏信息的保存形式。特别优选为，广泛普及的MIDI数据的保存形式。接下来，对作为MIDI数据的保存形式中的一个保存形式的SMF(Standard MIDI File)格式的概要进行说明，并对符合 SMF格式的科里奥数据格式进行说明。
SMF格式由包含预定的控制信息的首部块、包含演奏数据的音轨块构成。演奏数据由Δ时间以及MIDI事件的组合构成。在此，Δ时间表示到发生下一个MIDI事件为止的时间。此外，MIDI事件表示演奏内容，例如，音符接通(发出声音)、音符关闭(声音停止)等。
音符接通信号为，在相对应的Δ时间的流逝后发出特定的声音的信号。音符接通信号例如能够通过在16进制中“9n kk vv”这样的 3byte来表现，意思是指“在通道n中以速度vv发出音符编号kk的声音”。图4为音符接通信号的概念说明图。如图4所示，通道为乐谱中的声部(预定的乐器的演奏声部)，音符编号为声音的高度，速度表示敲打乐器(键盘)的速度(强度)。
音符关闭信号为，在相对应的Δ时间的流逝后消除特定的声音的信号。音符关闭信号例如能够通过在16进制中“8n kk vv”这样的 3byte来表现，意思是指“在通道n中以速度vv消除音符编号kk的声音”。
音符编号以及速度均能够在10进制中取得0～127的数值。另外，速度为0的音符接通信号“9n kk 00”表示与“在通道n中消除音符编号kk的声音”这样的音符关闭信号相同的意思。
与图4中的通道0以及1所示的4分音符相对应的音符接通信号分别能够以“90 3E04”以及“91 3C 02”的方式进行表示。
在本发明的一个方式中，分别将各通道作为与CG模型中的任意的结构要素的坐标相关的信息进行处理。也就是说，科里奥数据格式也可以构成为，包括多个与CG模型的结构要素的坐标相关的拍单位的时间顺序信息。在此，与结构要素(例如，骨、间接点等)的坐标相关的信息例如既可以是与结构要素的绝对坐标或相对坐标相关的信息，也可以表示为结构要素(例如，骨)的相对角度。
作为与CG模型的结构要素的坐标相关的信息，能够使用音符接通信号的音符编号和/或速度。在该情况下，在某定时，预定的结构要素的特定的轴的角度和/或坐标能够从与该定时相对应的拍所配置的音符接通信号中取得。此外，音符接通信号和/或音符关闭信号的Δ时间也可以用作与CG模型的结构要素的坐标发生变化的拍的长度相关的信息。
例如，与音符关闭信号相对应的Δ时间也可以表示，从根据该音符关闭信号的紧前的音符接通信号计算得出的角度(或坐标)起，转变至根据该音符关闭信号的紧后的音符接通信号计算得出的角度(或坐标)所需的拍的长度。与各音符有关联的预定的结构要素的角度和 /或坐标的转变也可以按照预定的规则来实施。例如，也可以基于预定的内插方法，来确定和使用转变中的速度、加速度(后述)。另外，Δ时间优选为正数。
由于音符接通/关闭信号为在SMF格式中最频繁地被使用的信号，因此，在与MIDI相对应的电子乐器等中，能够高速地实施处理。
在音符接通信号中，也可以通过音符编号，以比较大的单位粗略地特定坐标或角度，通过速度，以比较小的单位详细地特定坐标或角度。例如，在某通道中的音符接通信号表示特定的轴向的角度(例如， x轴相对角度)的情况下，也可以通过以下的式1对该角度θ进行计算。
(式1)
θ＝(N-N0)×θN+(V-V0)×θV
在此，N为音符编号，N0为作为基准的音符编号，θN为每音符编号增量的角度增加量，V为速度，V0为作为基准的速度，θV为每速度增量的角度增加量。
例如，也可以采用如下设置，即，N0为60(与键盘中央的“C(do)”音相对应)，V0为1，θN为5°，θV为0.05°。另外，N0、V0、θN、θV等并不限于上述的值。
此外，在某通道中的音符接通信号表示特定的轴向的坐标的情况下，也可以通过以下的式2对该坐标位置P进行计算。
(式2)
P＝(N-N0)×PN+(V-V0)×PV
在此，N为音符编号，N0为作为基准的音符编号，PN为每音符编号增量的坐标增加量，V为速度，V0为作为基准的速度，PV为每速度增量的坐标增加量。
例如，也可以采用如下设置，即，N0为60(与键盘的中央的“C (do)”音相对应)，V0为1，PN为64cm，PV为0.5cm。此外，也可以设为PN为127cm，θV为1cm。另外，N0、V0、PN、PV等并不限于上述的值。
此外，也可以与上述相反地采用如下结构，即，通过速度，以比较大的单位粗略地特定坐标或角度，通过音符编号，以比较小的单位详细地特定坐标或角度。而且，也可以使用系统专用事件等、音符开 /闭以外的信号来特定与CG模型的结构要素的坐标相关的信息。
与结构要素的坐标相关的信息例如能够分为位置信息以及形态信息。位置信息为表示距CG模型的初始位置(例如，CG动态图像的开始时的位置)的相对位置的信息，例如也可以通过CG模型的基准点(根)的x轴坐标、y轴坐标、z轴坐标以及该基准点的旋转角度来表示。此外，形态信息为表示基于CG模型的基准姿态的角度或位置的信息，例如也可以将图3A那样的T字姿态设为0°，并且对于几个数量的指定骨，通过母体骨与子体骨之间的x轴相对角度、y轴相对角度以及z轴相对角度来表示。
对于将与各结构要素(例如，骨)的各坐标相关的信息分配为哪一个通道，能够根据系统的运用方式等而进行适当选择。在对于一个通道分配一个与结构要素的坐标相关的信息的情况下，表现CG模型所需的通道数量，在将指定骨数量设为18时共计为58通道。具体而言，对于形态信息而需要18(骨数量)×3(轴数量)＝54(通道)，对于位置信息而需要3(位置坐标)+1(位置基准角度)＝4(通道)。由于MIDI端口能够包括16通道，因此，如果是4MIDI端口，则能够表现由骨数量18构成的CG模型的坐标以及姿态。另外，在表现CG 模型的表情、手指等的情况下，由于需要进一步追加通道，因此，所需的MIDI端口数量也会增加。
另一方面，也可以对于一个通道分配多个与结构要素的坐标相关的信息。例如，能够构成为在一个通道中，表现预定的骨的x 轴相对角度、y轴相对角度以及z轴相对角度。在该情况下，例如，也可以将音符编号分为3个，并将比较小的音符编号(例如，0～42) 用作x轴相对角度，将比较中间的音符编号(例如，43～85)用作y 轴相对角度，将比较大的音符编号(例如，86～127)用作z轴相对角度。另外，分配方法并不限于此。
此外，符合科里奥数据格式的SMF格式并不特别是限定。例如，既可以是在一个磁道中包含所有通道的信息的格式0，也可以是由多个磁道构成的格式1，也可以是格式2。而且，也可以使用并不是已有的格式0～2的新格式。此外，如果科里奥数据格式是具有用于以拍单位将CG模型的结构要素的坐标指定为时间顺序的信息的格式，就不限于SMF格式。
图5为表示本发明的数据结构中的各通道的音符接通信号与预定的结构要素的对应关系的一个示例的图。如上所述，作为骨架模型的一个实施方式，各关节(或骨)的角度通过x轴角度、y轴角度以及z轴角度这三个要素来表现。在图5中，图3所示的表示“RA1”部分的骨的x轴角度、y轴角度以及z轴角度的信息分别被分配为不同的通道。另外，图5的x轴角度、y轴角度以及z轴角度所示的方向为一个示例，并不限于此。此外，图5所示的与五线谱的中央的线相对应的音符编号被设为在10进制中为60，在式1中将N0设为60，将V0设为1，将θN设为5°，将θV设为0.05°。
在图5中，在与x轴角度相对应的通道的音符接通信号中，音符编号在10进制中为70，速度为1。因此，根据式1，x轴角度为+50°。此外，在与y轴角度相对应的通道的音符接通信号中，音符编号为 62，速度为3。因此，根据式1，y轴角度为+10.1°。此外，在与 z轴角度相对应的通道的音符接通信号中，音符编号为60，速度为1。因此，根据式1，z轴角度为0°。
图6为表示符合本发明所涉及的科里奥数据格式的具体的数据示例的图。在图6中示出了与字节单位的数据列相对应的信息。另外，在图6中，数据列以横跨多行的方式示出，但是，实际上是连续的数据。此外，图6的科里奥数据格式符合SMF格式1，但是，并不限于此。
图6的第一行的数据列与MIDI首部相对应。在此，四分音符的分辨率被设定为48。图6的第二行的数据列与指挥磁道相对应。通常，拍子使用BPM(Beats Per Minute)单位而通过指挥磁道被指定。在图6中BPM被设定为120。图6的第三行以及第四行的数据列与通常的磁道(演奏磁道)相对应。
音符接通信号100在通道0(例如，与骨ID 0的x轴角度相对应)中对音符编号3C、速度7F的发音开始进行指示。音符接通信号 100通过相对应的音符关闭信号110而结束。此外，音符关闭信号110 的Δ时间为6(相当于8分之1拍)。因此，表示从由音符接通信号 100所示的角度向由下一个音符接通信号(音符接通信号120)所示的角度的转变时间为8分之1拍。
此外，在相同通道的信号连续的情况下，能够使用运行状态而省略第二次之后的状态字节(音符接通信号110、120)。音符接通信号130包含与另外的通道(通道1)相关的信息。此外，音符关闭信号140以及150分别与音符接通信号120以及130相对应。
如以上所说明那样，本发明所涉及的科里奥数据格式为，例如包括用于在具有与SMF格式的兼容性的、MIDI中的每个通道中，以拍单位将CG模型的结构要素的坐标指定为时间顺序的时间顺序信息 (音符开/闭信号的反复)。通过将数据结构设为SMF格式，从而CG模型的动作与电子乐器等其他的设备或系统的协作变容易。
＜符合科里奥数据格式的动作数据的生成＞
图7为表示按照科里奥数据格式的动作数据的制成流程的一个示例的图。另外，在图7中，示出了基于动作数据(帧单位的动作数据)而生成科里奥数据的示例，所述动作数据包括用于以帧单位将 CG模型的结构要素的坐标指定为时间顺序的时间顺序信息，但是，并不限于此。例如，也可以基于动作数据(拍单位的动作数据)而生成科里奥数据，所述动作数据包括用于以拍单位将CG模型的结构要素的坐标指定为时间顺序的时间顺序信息。
此外，作为图7的流程的实施例，还对实施图2所示的各功能框图的具体的处理内容的一个示例进行说明。在此，以用户终端10中的各功能框图为例进行说明，但是，如上所述，在具有图2的各功能框图的情况下服务器20等也可以实施同样的处理。
在图7的流程中，首先，提取动作数据(步骤S11)。该动作数据示例如既可以是通过动作捕捉系统而取得的数据，也可以是从 3DCG对应软件被输出的CG数据(例如，fbx形式、vmd形式等)。具体而言，在步骤S11中，生成部16对收发部11所接收到的动作数据或从输入部15被输入的动作数据进行提取。
接下来，对用于上述动作数据的提取的预定的帧周期进行特定 (步骤S12)。该预定的帧周期能够基于预定的拍子(例如，BPM) 进行特定。例如，该预定的帧周期也可以是，与预定的拍子中的某拍的长度(例如，1拍量，8分之1拍量等)相对应的周期。此外，该预定的帧周期能够通过使拍的长度与每单位时间的帧数量(例如，FPS (Frames Per Second))相乘来进行计算。
在步骤S12中，预定的拍子例如既可以是从动作数据检中测到的拍子，也可以是从与动作数据同步地再现的其他的数据(例如，乐曲数据)中检测到的拍子，也可以是从外部被设定的或预先被设定的拍子。
具体而言，在步骤S12中，生成部16对步骤S11中所提取的动作数据的FPS进行计算。此外，生成部16基于该FPS、科里奥数据格式的基准BPM(例如，BPM120)，对预定的帧周期进行计算。
图8为图7的步骤S12以及S13的概念说明图。图8表示以BPM120 中的8分之1拍间隔对60FPS的动作数据进行提取时的一个示例，并且从上侧(步骤S11中所提取的动作数据)向下侧(步骤S13中要提取的数据)进行提取。
在该情况下，生成部16对与BPM120的8分之1拍相对应的秒数进行计算，从而得出60(秒)/120(BPM)×1/8＝1/16(秒)。并且，生成部16将该拍的长度转换为帧的长度，从而得出1/16(秒)×60 (FPS)＝3.75(帧)。也就是说，能够计算出对动作数据进行提取的周期为3.75帧间隔。
在预定的帧周期的特定后，根据动作数据所包含的时间顺序信息，对与该预定的帧周期的各定时相对应的数据进行提取(步骤S13)。作为数据提取对象的定时也可以以动作数据所包含的时间顺序信息的特定的时间(例如，最初的帧)为基准进行计算。
在与作为数据提取对象的定时相对应的帧的数据被包含在动作数据中的情况下，能够直接对该数据进行提取。另一方面，在与作为数据提取对象的定时相对应的帧的数据未包含在动作数据中的情况下，也可以基于该定时的邻近的帧的数据而对数据进行提取。
例如，如图8所示，在动作数据仅包括整数帧的数据的情况下，存在有不存在与3.75帧周期那样的非整数的帧周期的定时相对应的数据的情况。在此，想到了作为数据提取对象的定时相当于非整数的帧周期F的倍数的情况。在该情况下，在以下的式3中，能够将内插的值作为与不存在的假想帧n(＝F的倍数)相对应的数据Dn来进行处理。
式3
Figure BDA0001365970180000191
在此，
Figure BDA0001365970180000192
表示x的下取整函数，
Figure BDA0001365970180000193
表示x的上取整函数，Dx表示帧x中的数据。例如，在n＝3.75的情况下，
Figure BDA0001365970180000194
具体而言，在步骤S13中，生成部16基于步骤S12中计算得出的帧周期F，并在相当于F的倍数的各帧中对步骤S11的动作数据进行提取。在图8的情况下，由于存在与8分之4拍、8分之8 拍相对应的帧，因此不需要内插，但是，其他的拍(用斜线实施了阴影的部分)需要实施式3那样的内插。例如，在假想帧n＝3.75中，能够使用以下的式。
D3.75＝D3×0.25+D4×0.75
根据该式，对与假想帧相对应的拍的定时的前后帧的数据进行线型内插，从而能够成为假想帧的值。另外，在非整数的帧周期的定时 (例如，7.5(＝3.75×2)帧)中，也可以实施同样的内插。另外，内插的方法并不限于线型内插。此外，内插所使用的帧并不限于前后1帧，例如，也可以是前后多个帧、前多个帧等。
此外，在于步骤S11中提取了拍单位的动作数据的情况下，也可以执行对与预定的拍周期相对应的数据进行提取的步骤，以替代步骤 S12以及S13。
接下来，针对所提取的与各定时相对应的数据，生成与CG模型的结构要素的坐标相关的信息(步骤S14)。通过与某定时相对应的数据，构成特定的形态。
更具体而言，在步骤S14中，生成部16针对所提取的与各定时相对应的数据，在以下的步骤中生成形态信息。首先，根据该数据对预定的数量的指定骨进行选择(步骤S141)。例如，既可以选择图3 所示那样的18根的骨，也可以选择其他的骨的组合。
针对各指定骨，提取用于对相对位置进行特定的三个相对角度(x、y、z轴角度)(步骤S142)。并且，针对各相对角度，将限定的最小单位(例如，0.05°)设为舍入宽度而实施端数处理(步骤S143)。步骤S143的端数处理后的各相对角度为形态信息。
另一方面，针对所提取的与各定时相对应的数据，在以下的步骤中生成位置信息。首先，对该数据所示的CG模型的位置是否正在从初始位置进行移动进行检测(步骤S144)。并且，在检测到正在移动的情况下(步骤S144-是)，对表示距CG模型的初始位置的相对位置的信息进行特定(步骤S145)。例如，对距CG模型的基准点(根) 的初始位置的x轴相对坐标、y轴相对坐标、z轴相对坐标以及该基准点的旋转角度进行提取。另外，也可以不实施步骤S144而实施步骤S145。
并且，针对各坐标以及角度，将限定的最小单位(例如，针对坐标而言为0.5cm，针对角度而言为0.05°)设为舍入宽度而实施端数处理(步骤S146)。步骤S146的端数处理后的各坐标以及角度为位置信息。
将步骤S14中所生成的各数据归纳为时间顺序，而生成科里奥数据(步骤S15)。此外，将科里奥数据转换为科里奥数据格式(步骤 S16)。另外，科里奥数据也可以在步骤S15中被保存为帧单位的时间顺序信息，也可以省略步骤S16。此外，也可以针对所保存的帧单位的时间顺序信息，通过实施步骤S16从而实施向科里奥数据格式的转换。
具体而言，在步骤S15中，生成部16将数据归纳为时间顺序而实施科里奥数据的生成。此外，在步骤S16中，以与各通道的音符接通/关闭信号相关联的方式，将与CG模型的结构要素的坐标相关的信息转换为科里奥数据格式，以符合图6所示那样的SMF格式1。
步骤S15中所生成的科里奥数据和/或步骤S16中被转换的符合科里奥数据格式的数据也可以被保存。例如，控制部17也可以实施对生成部16所生成的科里奥数据进行保存的控制。由此，能够以可容易地使CG模型的动作与声音数据同步的形式进行保存。
另外，也可以在步骤S14和/或S15中，不对步骤S13中所提取的与所有的定时相对应的数据实施处理。例如，生成部16针对步骤 S11中所提取的动作数据，对预定的帧区间进行选择，并限定于该帧区间内的数据而生成科里奥数据。具体而言，该预定的帧区间优选为，步骤S12中所利用的预定的拍子中的8拍量的长度。8拍量的长度的科里奥数据相当于考虑到了上述的“流动”的科里奥数据，且适合于一个八拍单位中的CG动态图像的编辑(后述)。
作为科里奥数据优选为，在与预定的拍的长度相对应的每个帧周期内，具有由预定的数量的指定骨中的三个特定角形成的形态信息、由四个轴构成的位置信息的数据。
更具体而言，科里奥数据优选为，以8分之1拍单位对信息进行保持。使用图9以及10对该理由进行说明。图9为表示1拍之中的典型的角度变化的图案的一个示例的图，图10为表示对1拍之中的各8分之1拍进行提取的一个示例的图。
本发明人关注到，当以拍单位观察时，生物(例如，人、动物等) 的结构要素的运动(例如，角度)的变化，通过图9所示那样的加减、减加、单调增加或单调减少中的任意的图案大致被表现出来。此外，鉴于该关注点的结果，如图10所示，本发明人找出了通过在1拍中对8个点进行提取，从而能够实施运动的变化的图案的判断、运动进行转变的曲线的粗略的形态的再现，并且完成了作为科里奥数据而以 8分之1拍单位对信息进行保持的构思。
另外，作为科里奥数据所包含的时间顺序信息并不限于8分之1 拍单位，也可以考虑兼顾数据量与原动作数据的再现性等而适当增减。
＜使用了按照科里奥数据格式的数据的CG模型显示流程＞
图11为表示使用了符合科里奥数据格式的动作数据来显示CG 模型时的流程的一个示例的图。此外，作为图11的流程的实施例，参照图12、图13对图2所示的实施各功能框图的具体的处理内容的一个示例进行说明。
图12为表示对所保存的科里奥数据进行再现时的一个示例的图。图13为表示对科里奥数据进行实时再现时的一个示例的图。在图12 中，示出了用户终端10使用另外的用户终端10或服务器20所保存的科里奥数据进行再现的情况，在图13中，示出了用户终端10使用从电子乐器30被输出的科里奥数据进行再现的情况，但是，并不限于此。
在图12中，程序装置取得MIDI数据(科里奥数据)，因此，相当于图2的取得部12。此外，在图13中，程序装置生成并取得MIDI 信号(科里奥数据)，因此，相当于图2的生成部16(以及取得部 12)。此外，在图12以及13中，MIDI转接盒取得MIDI信号(科里奥数据)，因此，相当于图2的取得部12。另外，在图12以及13 中为了简单而进行了省略，但MIDI信号使用收发部11经由网络40 而被收发。
此外，在图12以及13中，用户终端10所接收的MIDI信号包括表示科里奥数据的通道(也可以称作动作通道等)以及表示声音数据的通道(也可以称作语音通道、音乐通道等)，但是，并不限于此。
首先，取得各预定的拍中的与CG模型の结构要素的坐标相关的信息(相对角度等)(步骤S21)。具体而言，在步骤S21，MIDI转接盒取得MIDI信号，并将其分离为动作通道以及语音通道，并输出至再现部13。此外，再现部13通过解码器对科里奥数据(SMF格式) 进行分析，并基于各通道的音符开/闭信号，取得与各结构要素的坐标相关的时间顺序信息。
接下来，使所取得的与各坐标相关的信息和帧相关联(步骤S22)。该关联能够基于预定的拍子(例如，BPM)、在显示CG模型之际每单位时间所处理的帧数量(例如，FPS)来实施。
在科里奥数据包括与拍子相关的信息的情况下，在此所说的预定的拍子也可以从该信息中取得。此外，在此所说的预定的拍子既可以是从与CG模型的显示同步地再现的其他的数据(例如，乐曲数据) 中检测到的拍子，也可以是从外部被设定的或预先被设定的拍子。
具体而言，在步骤S22中，再现部13从步骤S21的科里奥数据中取得第一BPM。此外，再现部13从与CG动态图像同步地再现的数据(例如，乐曲数据)中取得第二BPM。并且，再现部13基于第一 BPM和第二BPM在时间方向上对步骤S21中所取得的时间顺序信息进行调节。例如，在第一BPM与第二BPM不同的情况下，再现部13使步骤S21中所取得的时间顺序信息仅伸缩第一BPM除以第二BPM而得到的值。
此外，再现部13基于步骤S21中所取得的时间顺序信息或应用了上述伸缩的时间顺序信息，来确定与显示CG动态图像的FPS相对应的帧中的各结构要素的坐标(位置、角度等)。具体而言，与图7 的流程的处理相反地，从图8的下侧(步骤S21的科里奥数据)向上侧(步骤S22中相关联的帧的数据)进行计算。
在于上述时间顺序信息的预定的拍的定时，存在有一致的帧的情况下，直接将该数据分配为帧，从而将该帧设为关键帧。另一方面，在于上述时间顺序信息的预定的拍的定时，不存在一致的帧的情况下，也可以基于该拍以及邻近的拍的数据，对分配为邻近的帧的数据进行计算，从而将邻近的帧设为关键帧。
例如，考虑到了各数据(角度)的拍的定时相当于非整数的帧周期F的情况。在该情况下，如果欲分配的数据的拍的定时为F的倍数且非整数的n帧，则通过式4以及式5对被分配为n帧的邻近帧的数据进行计算。
式4
Figure BDA0001365970180000241
式5
Figure BDA0001365970180000242
在此，
Figure BDA0001365970180000243
表示x的下取整函数，
Figure BDA0001365970180000244
表示x的上取整函数，Dn表示欲分配的数据，Dp表示与一拍之前的拍相对应的数据。
根据该式，能够对拍的定时中的假想帧的数据进行线型内插，并设为假想帧的邻近帧的值。另外，在其他的非整数的帧周期的定时(例如，7.5(＝3.75×2)帧)，也可以实施同样的内插。另外，内插的方法并不限于线型内插，邻近帧也不限于上述那样的最近的帧。此外，内插所使用的拍也不限于一拍之前的拍。
与科里奥数据所包含的角度或坐标相关的信息如图7的步骤 S143及S146中所述那样被量化，因此，在存在有原数据在阈值附近微动的情况下，存在有所显示的动态图像中产生晃动的可能性。因此，再现部13也可以针对与帧相关联的数据，在绘制前应用内插处理，从而抑制晃动。作为该内插处理，例如图13所示，能够采用使用了低通滤波器的指数移动平均等。在图13那样的实时再现的情况下，由于无法利用未来的数据，因此，优选为低通滤波器的处理。
使用步骤S22中与帧相关联的数据，对CG动态图像进行显示(步骤S23)。具体而言，在步骤S23中，再现部13通过绘制器，针对关键帧，使用所指定的数据而生成CG动态图像的再现所涉及的信号。此外，除了关键帧以外，再现部13还能够使用预定的内插方法(例如，正弦曲线内插)生成与CG动态图像的再现相关的信号。并且，输出部14通过显示器输出和显示从再现部13输出的与CG动态图像的再现相关的信号。
另外，如图12和图13所示，在输入有语音通道的情况下，再现部13以与动作通道所示的CG动态图像的再现同步的方式通过MIDI 音源实施再现，从而输出部14通过扬声器进行输出而成为发出声音的结构。
此外，针对步骤S23中所绘制的CG动态图像，既可以在未图示的存储部中以动态图像文件形式被保存，也可以经由收发部11以动态图像文件形式或流形式发送至其他的用户终端10等。
另外，在图13的示例中，也可以设为与科里奥数据同样地实时取得与CG模型的显示同步地再现的其他的数据(例如，乐曲数据) (被流分布)的结构。在该结构中，即使在因通信状况的变差，而产生数据包丢失、延迟等从而流音源的再现停止等的情况下，也能够按照流的进展，适当地配合乐曲的拍而对CG模型的动作进行再现。
＜科里奥数据格式的变形例＞
对于动作数据存在进一步的课题。以下，在对该课题进行说明之后，对解决该课题的科里奥数据格式的变形例进行说明。
动作数据优选为，能够尽量以较小的数据量对预定的动作进行再现。然而，仅单纯地减少数据量，则存在有丧失运动的流畅性的问题。
此外，在单纯地变更CG模型的运动的拍子的情况下，存在有运动的敏捷性消失这样的课题。例如，当仅降低BPM而对CG模型进行再现时，只是成为慢动作，在舞蹈CG等对运动要求有敏捷性的动态图像的情况下，观众所感受到的印象会较大地发生变化。
因此，本发明人关注到了CG模型的运动的流畅性与形态间的转变速度相对应。此外，本发明人关注到，为了使运动有张有驰，运动的抑扬顿挫较为重要，运动的敏捷性通过运动的速度的最高值而良好地表现出来。本发明人基于上述的关注点，而找出了通过考虑加速度，从而提高运动的敏捷性的再现性的情况。由此，能够抑制数据量的增大，且能够实现动作数据的高精度的再现。例如，在根据原来的动作而改变BPM从而对CG动态图像进行显示的情况下，也能够通过尽量维持高速的运动的部分的长度，从而能够抑制运动的敏捷性变差。
在本发明的一个实施方式中，在科里奥数据格式中，作为与结构要素的坐标相关的信息还包括另外的信息。具体而言，对于结构要素的坐标或角度而言，包括与速度系统(例如，速度、角速度、加速度、角加速度等)相关的信息。通过使用该信息，从而CG模型的运动变得更加流畅，并且，在拍子发生变动的情况下能够保持运动的敏捷性。
与速度系统相关的信息例如为与加速度或角加速度相关的信息 (也称作加速度参数、加速度信息等)、与速度或角速度相关的信息(以下，也称作速度参数等)。另外，在以下的说明中，作为与速度系统相关的信息示出了关于角度数据的加速度参数(也就是说，与角加速度相关的信息)的示例，但是，在使用坐标数据的情况下也是同样的，也可以将角度改为坐标。此外，替代加速度参数，也可以设为针对结构要素的坐标或角度，而根据速度参数对加速度参数进行计算的结构。
在本发明的一个实施方式中，在科里奥数据所示的预定的期间 (例如，8分之1拍的期间)内，结构要素的动作的加速度(或角加速度)能够近似于恒定(也就是说，等加速度运动)。具体而言，该预定的期间也可以为，从预定的音符接通信号的开始拍到通过相对应的音符关闭信号而完成音符闭为止的期间(或到下一个音符接通信号的开始拍为止的期间)。
图14为表示加速度参数的计算例的一个示例的图。图14A表示加速度参数为正的情况，图14B表示加速度参数为负的情况。如图 14所示，加速度参数能够通过预定的单位的期间的开始时以及结束时的角度的中点(用直线对两个角度进行连结的中点)与实际的(数据详细时的)角度的曲线之差求得。在加速度参数为正的情况下，角度变化量伴随着时间流逝而变大，另一方面，在加速度参数为负的情况下，角度变化量伴随着时间流逝而变小。如此，与速度系统相关的信息能够基于科里奥数据所包含的时间性地相邻的数据(结构要素的坐标、角度等)的平均值进行计算。
图15为表示科里奥数据格式中的加速度参数的存储方法的一个示例的图。图15表示图6所示那样的字节列。例如，加速度参数如音符关闭信号210、240以及250那样，也可以通过音符关闭信号的速度来表现。由此，能够对从相对应的音符接通信号的开始起，通过音符关闭信号而被指定的Δ时间的期间的加速度参数进行指定。此外，由于能够利用以往几乎未被有效地利用的音符关闭信号的速度，因此，能够抑制数据量的增大且包括加速度参数。
另外，加速度参数的正负也可以以预定的速度值V0为基准来进行判断。例如，也可以以加速度参数＝(V-V0)来进行计算。在此，V 为速度，V0例如能够被设为60。此外，加速度参数的正负也可以根据速度的2进制表现中的预定的比特的值来进行判断。此外，加速度参数并不限于通过音符关闭信号的速度来表现，也可以使用其他的事件(MIDI事件、SysEx事件等)来实现。
加速度参数在科里奥数据的制作时，例如，通过图7的步骤S14 来进行计算。此外，加速度参数在使用了科里奥数据的CG动态图像显示/制作时，例如，在图11的步骤S23中，被用于帧内插。
以下，对使用加速度参数的优点进行说明。图16为使用加速度参数时的角度变化的再现度的说明图。图16A表示原来的动作(60FPS) 的角度变化的曲线(实线)、和对所提取的与8分之1拍相对应的角度进行了样条内插的曲线(虚线)。另外，图16A的位于实线上的点线的圆圈与60FPS间隔的数据相对应。在该示例中，8分之1拍间隔的数据相当于15FPS。
在较多的CG动态图像显示方法中，关键帧的内插通过样条内插、对参数进行了设定的正弦曲线内插等来实施。因此，如图16A所示可知，当数据减少至8分之1拍间隔时，在样条内插中无法维持原来的动作的角度变化的形状，而存在有再现度变差的情况。
另一方面，图16B表示对所提取的与8分之1拍相对应的角度进行了样条内插的曲线(虚线)、和考虑到加速度而对所提取的与8 分之1拍相对应的角度进行了内插的曲线(实线)。通过考虑加速度从而能够识别中点处的预测与实际之差，因此，能够高精度地对曲线的梯度进行内插。
以下，对拍子发生变动的情况下用于保持运动的敏捷性的、最高速度维持调节进行说明。在本发明的一个实施方式中，关注与速度系统相关的信息的正负的变化点而对恒定期间内的各结构要素的最高速度的部分进行判断，从而实施时间顺序数据的伸缩，以不使最高速度发生变化。另外，CG模型的结构要素的最高速度是指，CG模型的结构要素的坐标(例如，角度、位置等)进行转变的最高速度(或最高角速度)。
图17为表示因时间流逝而产生的角度变化、与各时间相对应的加速度参数的变化的一个示例的图。还如图14所示，在加速度参数为正的情况下后半的角度变化较大(速度增加)，在加速度参数为负的情况下后半的角度变化较小(速度减小)。即，在加速度参数从正切换为负的拍中，角度逐渐增加且成为恒定期间内的最高速。此外，在加速度参数从负切换为正的拍中，角度逐渐减少且成为恒定期间内的最高速。
如此，通过使用加速度参数，从而能够通过该参数的正负的变化点容易地对恒定的时间区间内的最高速进行判断。
另外，替代加速度参数，也可以使用上述中点处的加速度本身。在该情况下，也可以通过对相邻的拍间的加速度进行比较，从而实施最高速的判断。此外，替代速度参数，也可以使用速度本身。此外，作为与速度系统相关的信息，也可以使用与预定的期间内的中点相对应的其他参数。例如，也可以在预定的单位的期间的开始时、结束时等，对加速度进行计算而将其作为加速度参数。
图18A和图18B为表示考虑到最高速的拍与帧相关联的一个示例的图。图18A为单纯地根据BPM的变化而使拍延长从而与帧相关联的示例。数据的原来的速度为BPM180，欲再现的速度为BPM90，因此，拍子成为一半。因此，单纯地将各拍的长度设为2倍，从而能够在相对应的帧或邻近的帧上映射数据。通过如此设置，运动的速度全部成为2分之1，因此，运动的敏捷性消失。
图18B为在BPM变化时，考虑到最高速而对拍的长度进行调节从而与帧相关联的示例。在图18B中，加速度参数的正负翻转之后的拍与该拍的前后的拍的实际时间(帧)的间隔被调节为，即使变更BPM 也不会发生改变。另一方面，针对除了上述拍以外的拍，与图18A相比被延伸(间隔变宽)。由此，作为整体的角度的变化量相同。
图19A和图19B、图20A和图20B、以及图21A和图21B为表示最高速度维持调节的另外的示例的图。图19A和图19B为表示作为基本的BPM中的角度以及速度的时间顺序数据的图。此外，图20A 和图20B、以及图21A和图21B为如下的图：对分别将图19A和图 19B的时间顺序数据的BPM设为一半以及2倍时的、简单的拍的伸缩的结果(虚线)、最高速度维持的调节的结果(实线)进行比较并显示的图。各图A以及图B表示伴随着时间顺序的角度的变化、对应于该角度的变化的速度的变化。
如图19A所示，该时间顺序数据为如下数据，即，在时刻0处角度为0，其后角度逐渐增加，在时刻t2处成为最大角度θmax，其后角度逐渐减少，然后角度成为0。图19B的对应的速度为，在时刻t1处成为最高速度Smax，在时刻t2处速度为0，在时刻t3处成为负方向的最高速度-Smax。
如图20A和图20B的虚线所示可知，当BPM成为一半的情况下，单纯地将各拍的长度设为2倍时，最高速度成为一半。另一方面，如图20的实线所示，根据最高速度维持调节，能够保持最高速度。
如图21A和图21B的虚线所示可知，当BPM成为2倍的情况下，单纯地将各拍的长度设为一半，最高速度成为2倍。在这之中，运动过快且不自然。另一方面，如图21的实线所示，根据最高速度维持调节，能够保持最高速度。
另外，如图20B和图21B所示，在最高速度维持调节中，调节后的速度的积分值(实线和时间轴所包围的面积)需要与调节前的速度的积分值(虚线和时间轴所包围的面积)相等。然而，存在有因拍子、拍的间隔，而难以使上述面积相等的情况。在这样的情况下，对最高速度维持的限制进行缓和而使面积相等。例如，也可以如图20所示，在BPM减少的情况下，使最高速度从Smax起下降而使面积相等，如图 21所示，在BPM增加的情况下，使最高速度从Smax起上升而使面积相等。
以上那样的使用了与速度系统相关的信息的最高速度维持调节也可以，在科里奥数据的制作时，被利用在图7的步骤S16中。例如，在实施向与步骤S12的预定的拍子不同的拍子的转换的情况下，能够利用该调节而保持运动的敏捷性。此外，该调节也可以，在使用了科里奥数据的CG动态图像显示/制作时，被利用在图11的步骤S22中。例如，在步骤S21的科里奥数据的拍子、和与CG动态图像同步地再现的数据的拍子不同的情况下，能够利用该调节来保持运动的敏捷性。
另外，如图9、10、16等所示，本发明人关注到了生物(例如，人、动物等)的结构要素的运动(例如，角度)的变化量、变化图案。从这一观点出发，作为本发明的再一个方式，也可以根据CG模型和/ 或动作的特征(种类、大小、形状、角度等)，对动作数据进行压缩。例如，由于通过CG模型，而使以预定的拍单位能够实现的运动的最大量受到限制，因此，也可以对取得与结构要素的坐标相关的信息(例如，相对角度)的值的范围进行限定，从而对信息量进行削减。
＜使用了科里奥数据的CG动态图像的制成＞
以下，对用户操作应用，对多个科里奥数据进行组合而生成新的 CG动态图像的示例进行说明。
图22为表示有效地利用被保存为科里奥数据的移动来制成舞蹈 CG动态图像的流程的一个示例的图。另外，在图22中，以图2所示的用户终端10(以下，仅称作用户终端)经由预定的应用 (application)，并通过用户的操作而制成舞蹈CG动态图像的情况为例进行说明。例如，也可以采用如下结构，即，控制部17执行应用，输入部15对用户的输入进行接收，控制部17根据该输入对各功能框图(再现部13、输出部14等)进行控制，输出部14对编辑画面等适当地进行显示。另外，也可以通过应用制成舞蹈其他的CG动态图像。
首先，用户终端对预定的应用进行启动(步骤S31)。用户终端对用于舞蹈CG动态图像的内容(例如，欲与舞蹈同步再现的乐曲、动态图像等)进行选择(步骤S32)。例如，也可以显示有预定的歌手名和预定的服务器能够提供的与该歌手相关的乐曲名并列的内容选择画面，并经由应用的用户接口，通过用户的操作而对任意的乐曲进行选择，从而对乐曲进行下载和/或流分布。此外，也可以从用户终端所保存的乐曲中进行选择。
接下来，用户终端取得所选择的内容的拍子(例如，通过BPM 来表现)(步骤S33)。例如，拍子也可以从预定的元数据中取得，也可以对乐曲进行分析而自动地被检测到，也可以用户手动进行输入，也可以从外部进行设定，也可以是限定的拍子。
用户终端为了使乐曲的再现位置与移动有关联而显示用户能够视觉感知的编辑画面300(步骤S34)。图23为表示编辑画面的一个示例的图。如图23所示，编辑画面300被构成为，包括第一区域310、第二区域320、第三区域330、第四区域340。此外，移动备选显示区域350以及重音备选显示区域360通过弹出显示、滑动显示等适当地进行显示。
而且，也可以显示有以能够通过用户的操作而实施乐曲的再现、停止等的方式构成的乐曲操作区域370。另外，编辑画面300的结构并不限于图23的配置。例如，在图23中，移动备选显示区域350 以及重音备选显示区域360与第一区域310重叠，但是，也可以与其他的区域重叠。
在第一区域310内显示有CG模型。第一区域310在编辑作业中，用于适当地显示所编辑的舞蹈的预览。例如，用户终端也可以，在通过用户的操作而选择了预定的移动的情况下，将与乐曲同步再现的 CG模型的动作的预览适当地显示在第一区域310内。
在第二区域320内限定有表示拍点的拍点轴321。在拍点轴321 上，多个拍点以预定的间隔(等间隔)且离散的方式设定，表示拍点的直线状的基准线322被配置在拍点轴321上的各拍点的位置处。另外，在图23中，显示基准线322的一部分。此外，也可以不显示拍点轴321、基准线322。
此外，用户终端在第二区域320内，以时间顺序的方式显示各拍的定时中的CG的运动。具体而言，在第二区域320内的、表示预定数量的拍的区间内，所选择的舞蹈的内容以能够使用户理解的方式被显示。例如，也可以通过显示文字“A”来表示选择“A”这样的名称的舞蹈。在图23中，在第二区域320内，从左起按照舞蹈“A”、“D”、“B”、“C”的顺序选择每8拍量。
此外，用户终端也可以是，在第二区域320内，根据所选择的舞蹈的内容标注和表示相对应的图案。例如，图案构成为，通过各不相同的形状、模样、色彩或它们的组合等，而能够进行区别。此外，也可以以对文字以及图案进行组合的方式来显示CG的运动的内容。
在第三区域330内，显示与第二区域320所显示的拍相对应的歌词。另外，用户终端在不具有相对应的歌词的信息的情况下，也可以不显示歌词。
用户终端在第四区域340内显示用于对作为第二区域320的显示对象的区间进行选择的乐曲的时间顺序信息。优选为，在第四区域 340内，以能够视觉感知的方式显示与作为第二区域320的显示对象的区间相当的部分被选择的情况。例如，该部分也可以标注和显示预定的图案。另外，在图23中，作为乐曲的时间顺序信息，显示有乐曲的语音信号的波形，但是，并不限于此。
另外，作为第二区域320的显示对象的区间，适合于图23所示那样的8拍×4的32拍单位(四个八拍)。此外，优选为，在第二区域320内，能够以8拍单位(一个八拍)指定粗略的舞蹈的内容(移动)。这是因为，容易实施考虑到了上述的编舞的「流动」的特征的编辑。
接下来，用户终端对能够用于编辑的基础移动的类型进行特定，并将该类型的基础移动的集合显示在编辑画面300上(步骤S35)。具体而言，用户终端在编辑画面300上显示移动备选显示区域350。
移动备选显示区域350例如如图23所示，作为基础移动的集合而显示多个移动备选351。各移动备选351也可以像预览影像那样再现并显示。另外，移动备选351的显示并不限于图23所示那样的静止图像或动态图像。例如，作为移动备选351，也可以显示表示移动的内容的文本。此外，移动备选显示区域350并不限于图23的布局，例如将区域构成为能够滚动。
此外，类型也可以根据预定的元数据被特定，也可以对乐曲进行分析(通过乐曲的内容(曲调、拍子等))而自动地被特定，也可以用户通过手动输入来特定，也可以从外部进行设定，也可以选择限定的类型。
用户终端根据来自用户的操作，对作为编辑对象(实施移动选择) 的一个八拍进行选择(步骤S36)。在此，用户终端也可以，根据来自用户的操作，从第四区域340对预定的四个八拍进行特定，从而将该四个八拍显示在第二区域320内。另外，步骤S35也可以被设为，在于步骤S36中选择了编辑对象之后来实施的结构。
用户终端根据来自用户的操作，对所选择的被分配为一个八拍的基础移动进行指定(步骤S37)。为了能够从移动备选351之中进行区别，也可以对所指定的移动备选351标注预定的图案(例如，下划线等)。例如，在图23中，在所指定的移动备选351之下，标注并显示下划线352。
此外，当在步骤S37中基础移动被指定时，用户终端进一步对与该基础移动相对应的变化移动的集合进行显示(步骤S38)。在此，变化移动的移动备选既可以，以与移动备选显示区域350的基础移动的移动备选351替换的方式来显示，也可以在保持显示有移动备选显示区域350的状态下而进一步显示在不同的移动备选显示区域内。
用户终端根据来自用户的操作，从上述基础移动或变化移动之中对所选择的被分配为一个八拍的移动进行确定(步骤S39)。
用户终端对是否在全部小节中移动被确定的情况进行适当判断 (步骤S40)。在移动未被确定的情况(步骤S40-否)下，直至在乐曲的所有的小节中使移动被确定为止，反复实施步骤S36～S39。另外，即使在一次被确定的移动中，也可以再次实施步骤S36～S39而变更为另外的移动。
如果在全部小节中使移动被确定(步骤S40-是)，则用户终端根据来自用户的操作，针对移动被确定的部分，选择成为编辑对象(实施重音选择)的拍(步骤S41)。
此外，用户终端将能够用于编辑的重音的集合显示在编辑画面 300上(步骤S42)。具体而言，用户终端在编辑画面300上显示重音备选显示区域360。另外，如步骤S35中的基础移动的类型那样，能够用于编辑的重音的类型也可以被特定。
在重音备选显示区域360内，例如如图23所示，作为重音动作的集合而显示多个重音备选361。各重音备选361既可以如图23所示以表示重音的内容的文本进行显示，也可以像移动备选351那样以静止图像或动态图像进行表示。此外，重音备选显示区域并不限于图23的布局，例如也可以将区域构成为能够滚动。
用户终端根据来自用户的操作，对所选择的被分配为拍的重音进行确定(步骤S43)。为了能够从重音备选361之中进行区别，而对所指定的重音备选361标注预定的图案(例如，下划线等)。
用户终端对是否完成重音选择进行适当判断(步骤S44)。例如，在用户终端通过用户持续实施重音选择的操作的情况(步骤S44-否) 下，反复实施步骤S41～S43。另外，即使在一次被确定的移动中，也可以再次实施步骤S36～S39而变更为另外的移动。重音选择的完成(步骤S44-是)例如也可以通过用户实施预定的操作(按压保存按钮等)来进行判断。
用户终端使用各拍所设定的移动、重音等的科里奥数据格式，生成舞蹈CG的动作数据(步骤S45)。并且，用户终端使用所生成的动作数据制成舞蹈CG动态图像，并对其进行保存(步骤S46)。另外，步骤S45中所生成的动作数据也可以单独作为科里奥数据被保存 /利用。
另外，在图22中，示出了直至步骤S40中全部小节的移动被确定为止不实施步骤S41～S44的重音选择工序的示例，但是，并不限于此。例如，也可以设为如下结构，即，即使在全部小节中移动未被确定，也能够针对步骤S36～S39中移动被确定的部分实施重音选择。此外，也可以设为即使移动未被确定也能够实施重音选择的结构。
根据以上所示的本发明的一个实施方式，通过对利用了科里奥数据的应用进行操作而以拍单位对动作进行设定，从而即使是对CG动态图像的制成、舞蹈的编舞不熟练的用户，也能够容易地编辑以及制成CG的舞蹈动态图像。此外，该应用也能够适合于用作对考虑了“流动”的工艺进行学习的教材。
图24为能够制成配合乐曲的舞蹈的编舞的软件(应用)的系统的概念说明图。在图24所示的软件中，利用本发明所涉及的科里奥数据，例如通过图22那样的流程来实施CG动态图像的制成等处理。
在本系统中，向用户免费或价格便宜地提供专用于舞蹈CG的编舞制成/显示功能的通常的软件。在通常的软件中，预安装有于预定数量的乐曲、角色建模数据、移动数据等，且免费提供。
另一方面，除了通常的软件所具有的功能以外，有偿提供追加了如下功能的面向上级者的软件，即用户能够自己制成原始的移动数据的功能、以能够通过通常的软件来利用的方式用户能够对自己制成的乐曲以及角色建模数据进行加工、提取等的功能。在此，数据的制成也可以使用其他的软件来实施。
此外，设置有面向通常的软件提供追加商品市场的追加商品市场服务器。在此，在追加商品市场中，具有面向上级者的软件的用户能够上传舞蹈CG动态图像的素材(例如，原始乐曲、原始角色建模数据、原始移动数据等)。所上传的数据不仅能够通过单一的追加商品市场服务器进行管理，也可以通过云进行管理。
通常的软件能够访问上述追加商品市场，该软件的用户能够对想要的商品(舞蹈CG动态图像的素材)进行选择，并用预定的金额进行购买。另外，追加商品市场所显示的商品优选为，经过了预定的审查且合格的商品。
并且，向上传了所购买的商品的、具有面向上级者的软件的用户支付收入分成。
此外，面向上级者的软件以及通常的软件能够将所制成的舞蹈 CG动态图像上传到动态图像站点、上传服务器等中。在此，在利用所上传的舞蹈CG动态图像而产生广告收入的情况下，向舞蹈CG动态图像的制成者以及舞蹈CG动态图像的素材的提供者支付收入分成。
根据本商务模型，能够刺激用户对乐曲、动作数据等的制成欲望，并活跃本发明所涉及的科里奥数据的利用。
＜使用了科里奥数据的CG动态图像的制成2＞
以下，对用户操作应用，组合多个科里奥数据而生成新的CG动态图像的另外的实施例进行说明。
与图22和图23所示的应用接口相比，本实施例的应用接口适合于对预定的数据(例如，声音数据)进行再现的同时的实时的CG编辑。根据本实施例的结构，用户能够在以实施节奏游戏的感觉进行消遣的同时实施CG编辑。
此外，在本实施例中，通过用户的操作，对多个编辑模式进行切换，从而能够容易地实施每预定的结构单位的编辑。本实施例中的编辑模式为，用于将能够以该模式进行选择的舞蹈备选限制为具有共通的特征的动作(例如，与身体的特定的部位相关的动作)的模式。例如，作为编辑模式，也可以对运动模式和舞步模式进行限定。
在此，能够通过运动模式进行选择的舞蹈备选由上半身的运动较多/较大的舞蹈(称作“运动”)构成。例如，运动也可以由鼓掌(拍手)、旋转、姿态、摆动手臂、加油形态、手势等运动构成。
能够通过舞步模式进行选择的舞蹈备选由下半身的运动较多/较大的舞蹈(称作“舞步”)构成。例如，舞步也可以由以旁侧、跳跃、步行、踢、停留等以腿的运动为中心的运动构成。
另外，运动和/或舞步被构成为，不仅对上半身/下半身进行限定，还对全身的运动(与全身相关的关节角度)进行限定。此外，作为运动以及舞步，能够使用与上述的基础移动、变化移动、重音等同样的动作。
图25为表示有效地利用被保存为科里奥数据的移动来制成舞蹈 CG动态图像的流程的另一个示例的图。另外，在图25中，与图22 的示例同样地，对图2所示的用户终端10(以下，仅称作用户终端) 经由预定的应用(application)，通过用户的操作而制成与乐曲同步的舞蹈CG动态图像的情况为例进行说明。此外，在图25中，示出了使用运动模式以及舞步模式进行编辑的示例，但是，所利用的编辑模式并不限于此。例如，也可以对包括与身体的特定的部位(右半身等)相关的运动的另外的模式进行限定并使用。
步骤S51～S53也可以与图22的步骤S31～S33相同，因此省略说明。
用户终端为了使乐曲的再现位置与移动有关联而对用户能够视觉感知的编辑画面400进行显示(步骤S54)。图26为表示编辑画面的另一个示例的图。如图26所示，编辑画面400包括：用于显示 CG模型的第一区域410；用于对由用户所选择的舞蹈进行时间线显示的第二区域420；对能够选择的舞蹈的备选进行显示的第三区域430；用于对该舞蹈的备选进行切换的第四区域440；菜单显示部450；再现指示部460；调色板编辑指示部470；以及编辑模式指示部480。
第一区域410用于在编辑作业中对所选择的舞蹈的预览适当地进行显示。
第二区域420用于使乐曲的再现位置可视化。在第二区域420 内限定有配置有时间标记421(例如点)的标记线425。当前的再现位置通过被配置在第二区域420的中央部的当前再现位置指示线422 来表示。
在此，时间标记421以在标记线425上表示预定的拍子数间隔(例如，2分之1拍间隔)的方式配置。此外，用户终端以伴随着乐曲的再现，使标记线425上的各时间标记421沿着标记线的延伸方向(例如，左方向)进行移动的方式显示。在图26中，在标记线425上以2分之1拍间隔配置有点，弱拍以比强拍稍大的点来表示。另外，标记线425也可以不被显示。此外，弱拍与强拍的区别并不限于此，也可以不进行区别。
此外，在标记线425上，以用户能够理解的方式显示各再现位置处所选择的舞蹈的内容。具体而言，在标记线425上配置有用于对所选择的舞蹈进行特定的舞蹈标记423。例如，在于预定的再现位置处由用户选择了1拍量的长度的舞蹈的情况下，配置有从该再现位置起表示1拍量的长度的舞蹈标记423。也就是说，舞蹈标记423的开始位置表示所选择的舞蹈的再现开始位置。换言之，舞蹈的开始位置以与乐曲的预定的再现位置有关联的方式被选择。
此外，各舞蹈标记423也可以通过因所选择的舞蹈的内容而不同的图案来表示。例如，图案构成为通过各不相同的形状、模样、色彩或它们的组合等，而能够进行区别。此外，也可以对文字以及图案进行组合，来显示舞蹈的内容。
另外，当前再现位置指示线422也可以被配置在第二区域420 的中央部以外的位置。此外，标记线425在图26中为直线，但是，并不限于此。例如，标记线425也可以是曲线、锯齿线、螺旋状的线等。而且，替代标记线425，也可以使用标记面(例如，四边形、圆等)。在该情况下，用户终端例如也可以如下方式来显示，即，以当前再现位置指示线422为标记面的边，伴随着乐曲的再现，与标记面相同的形状的时间标记421在从标记面的中心向边的方向(径向)上扩展。
在第三区域430内显示有能够选择的舞蹈备选431。在此，将预定数量(例如，四个)的舞蹈备选431的集合称作“调色板”。各舞蹈备选431也可以与舞蹈标记423同样地，通过因舞蹈的内容而不同的图案来表示。
此外，各舞蹈备选431优选为，相对应的舞蹈的拍子数以用户能够识别的方式显示。舞蹈的拍子数也可以通过文字来显示。例如，在图26中，由于对“托脸”的舞蹈备选431标注了“1/2”的字符，因此，用户能够识别该舞蹈为1/2拍的长度。
在通过用户的操作选择了预定的舞蹈备选431的情况下，基于当前再现位置指示线422所示的当前的再现位置，配置有舞蹈标记423。舞蹈标记423实际上被配置的再现位置既可以是当前的再现位置，也可以是使当前的再现位置偏移之后的位置。
具体而言，舞蹈标记423的开始位置优选为，基于乐曲的拍子进行补正(调节)。例如，舞蹈标记423的开始位置优选为，以被插入到距当前的再现位置最近的弱拍(或强拍)处的方式进行偏移。也就是说，用户终端也可以将不完整的定时处的输入转换为离该定时最近的预定的拍(例如，2分之1拍)的定时处的输入。另外，舞蹈标记 423的开始位置的补正方法并不限于此。
此外，在乐曲的再现中，在预定的舞蹈备选431以横跨恒定时间的方式被选择的情况(例如，在编辑画面400由触摸面板构成的情况下，并被长按时)下，也可以在该恒定时间所包含的弱拍和/或强拍、该恒定时间邻近的弱拍和/或强拍等上连续地配置舞蹈标记423。
在第四区域440内显示有调色板选择部441。也可以显示多个调色板选择部441，在图26中显示有显示调色板1、调色板2等的调色板选择部441。用户终端在通过用户的操作而选择了预定的调色板选择部441的情况下，将该被选择的调色板显示在第三区域430内。优选为以能够视觉感知在第三区域430内显示了哪个调色板的方式，构成调色板选择部441。在图26中，选择了调色板1。
另外，在于第三区域430内同时能够显示的数量以上的舞蹈备选 431被包含在一个调色板上的情况下，也可以通过用户对第三区域 430实施预定的操作(例如，在编辑画面400由触摸面板构成的情况下，实施轻拂操作)，从而变更第三区域430所显示的舞蹈备选431。此外，在该情况下，第四区域440以及调色板选择部441能够被省略。
菜单显示部450用于通过用户的操作而在编辑画面400上显示菜单。用户根据所显示的菜单，对过去制成的舞蹈列表(历史)的选择、或新的舞蹈的制成、CG模型的变更、编辑画面400的背景(舞台) 的变更、所制成的编舞/动态图像的保存、一个调色板内的舞蹈备选431的数量的变更、第四区域440所显示的调色板的数量的变更、其他设定的变更等进行选择，用户终端实施所选择的处理。
再现指示部460用于通过用户的操作对乐曲的再现/停止进行指示。伴随着乐曲的再现，如上所述第二区域420的各时间标记421 以及舞蹈标记423在标记线425的延伸方向上移动，并在舞蹈标记 423到达当前再现位置指示线422上的定时，第一区域410所显示的CG模型进行与该舞蹈标记423相对应的舞蹈。
另外，也可以在再现中和/或再现停止中，通过用户对第二区域 420实施预定的操作(例如，在编辑画面400由触摸面板构成的情况下，实施轻拂操作)，从而能够对乐曲的再现位置进行变更(能够搜索)的结构。此外，该搜索也可以是只能够在停止中实施的结构。
此外，也可以设为在再现停止中，通过用户对第二区域420的舞蹈标记423实施预定的操作(例如，在编辑画面400由触摸面板构成的情况下，实施点击操作)，从而能够消除该舞蹈标记423的结构。
另外，在通过用户的操作而选择了预定的舞蹈备选431的情况下，用户终端进行使CG模型实施舞蹈备选431所显示的舞蹈的处理，但是，也可以是此时根据该舞蹈而鸣起预定的声音的结构。作为预定的声音，既可以再现与舞蹈的动作相关联的声音(例如，如果是「鼓掌」则是拍手的声音)，也可以再现表示舞蹈被选出的情况的效果音。根据该构成，例如即使在编舞的实时再现产生偏差的情况下，也能够使用户难以感觉到偏差。
调色板编辑指示部470用于对通过用户的操作而开始调色板的内容的编辑(向调色板编辑画面转移)的情况进行指示。图27为表示调色板编辑画面的一个示例的图。例如，在图26中，当调色板编辑指示部470被用户实施操作时，编辑画面400像图27那样发生变化。
在图27中，编辑画面400包括用于对与预定的舞蹈备选431相对应的舞蹈进行选择的舞蹈选择部490。作为编辑对象的预定的舞蹈备选431通过用户对第三区域430进行操作来确定。此外，第三区域 430所显示的调色板的内容通过用户对调色板显示部441进行操作来确定。
舞蹈选择部490例如包括对各舞蹈的预览进行显示的舞蹈显示部491。当通过用户的操作而选择了任意的舞蹈显示部491时，舞蹈备选431被设定为所选择的舞蹈显示部491的舞蹈。
在此，优选为，显示有用于将舞蹈显示部491所显示的舞蹈限定于类似的舞蹈的舞蹈群组列表部495。用户为了对由具有预定的特征的舞蹈构成的舞蹈群组进行特定，而对舞蹈群组列表部495所包含的舞蹈群组列表496进行选择。例如，如图27所示，在作为舞蹈群组列表496而选择了“旋转”的情况下，在舞蹈显示部491上显示有“旋转”、“芭蕾旋转”等与旋转相关的舞蹈。
另外，对于相同的舞蹈群组所包含的舞蹈，舞蹈标记423以及舞蹈备选431所标注的图案既可以相同，也可以根据每个舞蹈而不同。
编辑模式指示部480用于在存在有多个舞蹈编辑模式的情况下，通过用户的操作而对编辑模式的切换进行指示。当编辑模式被切换时，第二区域420、第三区域430以及第四区域440的显示被切换为相对应的编辑模式的信息。也就是说，在本实施例中，由于能够单独地对多个舞蹈编辑模式进行编辑，因此，例如能够在仅实施了上半身的编辑作业之后，仅实施下半身的编辑作业这样的、CG模型的每个部位的灵活的编辑。
图28为表示编辑画面的另一个示例(舞步模式)的图。例如，在图26中，当编辑模式指示部480被用户实施操作时，编辑画面400 像图28那样发生变化。
另外，编辑模式指示部480也可以用于对当前的编辑模式进行显示。例如，在图26以及27中，示出了当前的编辑模式为运动模式的情况，在图28中，示出了当前的编辑模式为舞步模式的情况。
而且，编辑画面400并不限于图26～28所示的结构。例如，在本实施例中，编辑画面400被设为如下结构，即，伴随着乐曲的再现，第二区域420的各时间标记421以及舞蹈标记423在标记线的延伸方向上进行移动，但是，也可以被设为当前再现位置指示线422进行移动的结构。此外，编辑画面400上既可以设置对帮助、指导的显示进行指示的帮助指示部，也可以设置对CG动态图像的记录进行指示的记录指示部。
用户终端通过经由编辑画面400的来自用户的操作，实施运动模式的编辑以及舞步模式的编辑(步骤S55、S56)。并且，用户终端根据各模式中所设定的舞蹈生成动作数据(步骤S57)。在此，动作数据的生成既可以伴随着步骤S55、S56等的编辑来实施，也可以在编辑后在步骤S57中以预定的操作(例如，菜单的“保存”的选择) 为契机来实施。S55、S56中实时地生成的动作数据也可以在第一区域410中，用于编辑作业中的预览显示。此外，各模式的编辑的实施并不限于图25所示的顺序。
并且，用户终端使用所生成的动作数据制成舞蹈CG动态图像并进行保存(步骤S58)。另外，步骤S57中所生成的动作数据也可以单独作为科里奥数据而被保存/利用。
在步骤S57等中，针对多个动作的转变时、同时设定时的动作数据的生成，而考虑到了其他的课题。对于该课题，以下对本发明中的解决方法进行说明。
＜动作间的混合＞
参照图22、23以及25～28，对使用了科里奥数据的CG模型的动作制成方法进行说明。然而，在以时间顺序连续的拍中设定有不同的动作的情况(动作进行转变的情况)下，当直接应用各个动作数据时，存在有动作间的连接不自然的问题。
参照图29A和图29B对该问题进行说明。图29A和图29B为表示对两个关节角度的不同的两拍的动作进行连接时的一个示例的图。在图29A和图29B中，横轴表示时间(t)，纵轴表示角度(θ)。图 29A表示直接应用了各个动作数据的情况。在该情况下，由于在动作的边界处，关节角度以不连续的方式进行转变，因此，描绘出了不自然的动作。
此外，作为以往的动作的转变方法，存在有在转变期间内将之前的动作和之后的动作以恒定的比例进行连接的混合处理。例如，在混合处理中，针对某动作数据1和动作数据2，通过使各自的权重以10:0 →5:5→0:10伴随着时间而逐渐发生变化，从而对两个动作进行连接。然而，在使用并不是科里奥数据的以往的动作数据的情况下，由于只能粗略地对动作整体的数据进行内插，因此，考虑到了骨的运动不自然的情况。
因此，本发明人关注到了科里奥数据具有拍单位中的动作数据。此外，本发明人关注到了，对于靠近动作的结束的拍中的动作，用户对该动作的印象较小。本发明人还关注到了相反在动作的最初的拍中的动作没有严格地从拍开始的情况下，用户会从该动作感受到不自然的印象。本发明人基于上述的关注点，找出了在动作数据间实施自然的转变的方法。
具体而言，如图29B所示，在动作数据间的转变之际，按照每个关节，将之前的动作的后半的拍(例如，最后的1拍)所包含的各形态的动作数据、和下一个动作的最初的形态的动作数据，沿着时间顺序而按照预定的规则进行混合。例如，在具有每个8分之1拍的动作数据的情况下，生成并利用最后的1拍中的8点相应的被混合的动作数据。由此，能够使之前的动作的结束与下一个动作的最初的拍流畅地相连，并能能够生成自然的动作。
另外，动作的内插是指，使用预定的内插方法使某形态的整体向转变后形态转变。在动作的内插中，生成有使两个形态间相连的几个形态。另一方面，本实施方式中的动作的混合(骨水平混合)是指，分别将预定的拍子数量的多个形态、转变后形态按照每个结构要素 (以骨水平)进行混合，并使各混合后的结构要素(或形态整体)相连而转变到转变后形态。换言之，在本实施方式中的动作的混合中，多个动作以骨(间接)单位被混合。此外，内插、混合的具体的方法并不特别限定，也可以利用已有的权重方法等。
＜以相同的定时设定有多个舞蹈的情况＞
如上所述，在能够以多个模式进行编辑的情况下，考虑到了以相同的定时设定多个舞蹈的情况。在该情况下，由于根据骨不同而设定有多个角度等，因此，存在有各骨的运动不自然的可能性。
因此，本发明人构思了如下内容：在同时被设定有多个动作数据的期间(称作“同时设定期间”)内，以任意的数据优先的方式对 CG模型的动作进行确定。
以下，以在设定有4拍量的舞步的期间内，其中的后半两拍也设定有运动的情况为例进行说明，但是，并不限于此。此外，在本例中，在舞步的动作数据中存储有与CG模型的全身相关的结构要素的坐标 (关节角度)。
首先，对运动的动作数据包括仅与上半身相关的信息的情况进行说明。图30A～图30C为表示运动的动作数据包括仅与上半身相关的信息时的、运动与舞步的混合的一个示例的图。在图30中，示出了与各部位相对应的舞步以及运动的动作数据(间接角度)。
图30A为表示下半身的预定的骨的间接角度的图。在本例中，在同时设定期间内，为了下半身不受到运动的影响，而使用舞步的动作数据。
图30B为表示上半身的预定的骨的间接角度的图。另一方面，在同时设定期间内，上半身采用运动的动作数据。在此，针对上半身而在前半两拍与后半两拍之间产生了不连续的期间，因此，使用先前叙述的本发明的一个实施方式所涉及的骨水平混合，并在同时设定期间内的前1拍使上半身(手臂等)的各骨(例如，图3的LA2等)流畅地转变。
此外，针对一部分的骨的角度，也可以通过对舞步的动作数据和运动的动作数据进行加权从而对角度进行补正。具体而言，优选为，针对构成体轴(脊柱、头部等)的骨(例如，图3的B1、B2、N等) 的角度，对舞步的动作数据和运动的动作数据进行加权而获得角度。
图30C为表示与上半身的体轴相关的预定的骨的间接角度的图。下一个运动的动作与图30C的点线所示的角度相对应，但是，通过将其与下一个舞步的动作进行加权，从而重新对后半两拍的动作进行计算。通过如此设置，从而能够实现更自然的转变。
另一方面，在运动的动作数据包含与全身相关的信息的情况下，在同时设定期间内，采用运动的动作数据。也就是说，在同时设定期间内，舞步的动作以更换为运动的动作的方式被描绘。此时，对于全身，由于在前半两拍与后半两拍之间产生不连续的期间，因此，针对所有的骨，使用上述的骨水平混合，而在同时设定期间内的前1拍使上半身(手臂等)的各骨流畅地进行转变。
＜实时编辑时以及编辑后再现时的混合处理的不同＞
在图25～26所示那样的、显示实时被编辑的动作的情况下，会产生新的课题。例如，在以预定的动作使CG模型动作过程中，在通过用户的操作而指定了另外的动作的情况下，当突然对动作进行切换时会感到不自然。
此外，在动作数据的开始被限制为距当前的再现位置最近的弱拍 (或强拍)的情况下，当在拍的中途动作被指定时，存在有该动作产生影响并再现直至本来无企图的拍为止的情况。另一方面，在编辑后重新再现的情况(对已经设定完的动作数据进行再现的情况)下，不会在拍的中途开始动作。
本发明人关注到了如此在能够实时进行动作的编辑的系统中，在编辑时和编辑之后的再现时，动作的转变定时不同这一点。其结果为，本发明人构思了在这两种情况下改变转变中动作的生成方法。
以下，对转变中动作的生成方法进行说明。对于用户的输入在晚于还是早于期望的定时，处理上存在不同，因此，对各自的情况进行说明。
(用户的输入较晚的情况下)
图31A和图31B为表示用户的输入晚于期望的定时时的一个示例的图。图31A表示与编辑同时进行再现的情况，图31B为表示重新再现已经编辑的动作的情况。图31A和图31B均表示针对预定的关节，从角度θ1的动作起向角度θ2的动作转变的示例。在此，角度θ2的动作被设为1拍量的长度。
在图31A中，在经过弱拍500之后，以4分之1拍以内的定时(输入定时700)实施输入。因此，角度θ2的动作为，期望输入被设定在从弱拍500到弱拍501为止的期间内的角度的动作。然而，从弱拍 500到输入为止的期间为已经结束动作的再现的期间。因此，用户终端实施如下控制，即，以从输入定时700到预定的长度(例如，5帧、 16分之1拍等)后的转变完成定时800，显示被输入的动作的弱拍。从输入定时700到转变完成定时800为止的转变通过对上述的定时的形态进行内插来实施。
从转变定时800朝向下一个弱拍或强拍(在图31A的情况下，强拍601)快进动作，快进量与自原本想要输入的拍(弱拍500)发生的延迟相应。此外，实施如下控制，即，从该下一个弱拍或强拍起以通常的速度进行再现。
图31B表示重新再现实施了图31A的编辑之后的科里奥数据的情况。在该情况下，对弱拍500的1拍前的弱拍的θ1的动作和弱拍500 的θ2的动作进行补充。在图31B中，θ2的动作从弱拍500再现至弱拍501，因此，不同于图31A的情况且不会实施快速再现。另外，替代内插，也可以使用上述的骨水平混合。
(用户的输入较早的情况)
图32A和图32B为表示用户的输入早于期望的定时时的一个示例的图。图32A表示与编辑同时进行再现的情况，图32B表示对已经编辑的动作重新进行再现的情况。除了输入定时700不同以外，与图 32相同。
在图32A中，在弱拍500之前，以4分之1拍以内的定时(输入定时700)实施输入。因此，角度θ2的动作为，期望在从弱拍500 到弱拍501为止的期间内实施输入。因此，用户终端实施如下控制，即，显示从弱拍500被输入的动作的弱拍。另一方面，从输入定时 700到弱拍500为止的转变通过对上述的定时的形态进行内插(并不是混合)来实施。也就是说转变完成定时800与弱拍500一致。
图32B表示对实施了图32A的编辑之后的科里奥数据重新进行再现的情况。在该情况下，再现处理与图31B相同。
另外，在图31A、图31B、图32A和图32B中，以在弱拍邻近实施输入的情况为例进行了说明，但是，并不限于此。在于强拍邻近实施输入的情况下也能够采用同样的方法。
＜动作数据的变形例＞
动作数据通常被假想为表示从弱拍开始，以弱拍结束的动作，但是，本发明的实施方式并不限于此。例如，也可以对从强拍开始，以弱拍结束的动作进行限定。图33A和图33B为表示本发明中所假想的动作数据的一个示例的图。
图33A表示假想从弱拍开始，以弱拍结束的两拍量的“翻筋斗、摆形态”的动作。本来在“翻筋斗”之前应该包括手放在地面上的之前的预备动作，但是，由于图33A的动作不包括预备动作，因此，有可能成为不自然的动作。
图33B表示假想从强拍开始，以弱拍结束的两拍量的“翻筋斗、摆形态”的动作。在此，优选为，从与预备动作相对应的最初强拍开始的弱拍的期间并没有被计数为动作的拍子数。在图33B的示例中，通过将最初的强拍设为一次弯曲的形态，从而能够实现更真实的翻筋斗。
另外，也可以构成为在表示从强拍开始的动作的科里奥数据中，包括表示该动作从强拍开始的信息。由此，用户终端对预定的动作从强拍开始(包括预备动作)的情况进行识别，从而能够适当地实施动作的混合。
从强拍开始的动作与从弱拍开始的动作相比混合方法不同。以下进行说明。
(用户的输入较晚的情况)
图34A和图34B为表示用户的输入晚于期望的定时时的另一个示例的图。图34A表示与编辑同时进行再现的情况，图34B表示对已经编辑的动作重新进行再现的情况。角度θ2的动作除了包括半拍量的预备动作以外，与图31相同。另外，在本例中，用户的输入用于对动作的最初的弱拍的定时进行特定。也就是说，在用户的输入的定时不开始预备动作。
在图34A中，预备动作被忽略，用户终端与图31A同样地实施如下控制，即，在从输入定时700到完成预定的长度后的转变完成定时 800，显示有所输入的动作的弱拍。在该情况下，与图31A同样地，快速再现再现(高速再现)延迟的量。
图34B表示对实施了图34A的编辑之后的科里奥数据重新进行再现的情况。在该情况下，对从强拍600到弱拍500的半拍量的θ1的动作和θ2的动作的预备动作进行骨水平混合(不进行内插)。在图 34B中，θ2的除了预备动作以外的动作从弱拍500再现至弱拍501，因此，不同于图34A的情况且不会实施快速再现。
(用户的输入较早的情况)
图35A和图35B为表示用户的输入早于期望的定时时的另一个示例的图。图35A表示与编辑同时地进行再现的情况，图35B表示对已经编辑的动作重新进行再现的情况。除了输入定时700不同以外，与图32相同。
在图35A中，预备动作被忽略，用户终端与图32A同样地实施如下控制，即，显示有从弱拍500被输入的动作的弱拍。
图35B表示对实施了图35A的编辑之后的科里奥数据重新地进行再现的情况。在该情况下，再现处理与图34B相同。
另外，在图34A、图34B以及图35A、图35B中，以在弱拍邻近实施输入的情况为例进行了说明，但是，并不限于此。在于强拍邻近实施输入的情况下也能采用同样的方法。
此外，对在图31A及图34A中，在输入延迟的情况下，实施快速再现再现的情况进行了说明，但是，并不限于此。例如，也可以假设以本来假想的定时实施动作的切换，并从中途对转变后的动作进行再现。具体而言，也可以以如下方式实施控制，即，在图31A中，在转变完成定时800，以该定时显示编辑后所再现的形态，并且以从弱拍 500到转变完成定时800的时间所要再现的数据跳跃的方式进行显示。
＜使用科里奥数据的应用例＞
以下对使用本发明所涉及的科里奥数据的应用例进行说明。
作为某CG模型的动作数据而被制成的科里奥数据既可以转换为其他的CG模型的动作数据，也可以用于再现。该转换也可以通过考虑到CG模型的骨骼结构、分层结构的初始状态、基准姿态、各骨的长度、各关节的可动范围等，而对CG模型的各结构要素实施坐标转换(例如，位置、角度的调节)，从而来实现。此外，该转换中所考虑到的上述参数也可以被设为被包含在科里奥数据中的结构。
此外，利用科里奥数据进行动作的对象并不限于CG模型。例如，也可以使用科里奥数据，使由骨架模型那样的骨骼结构构成的机器人进行动作。在该情况下，考虑到用于科里奥数据的制成的CG模型和该机器人的骨骼结构、各部分的长度等，也可以在用于机器人的科里奥数据中应用上述那样的坐标转换。
科里奥数据能够应用于编舞的著作权管理系统。例如，通过对以预定的BPM使各种各样的舞蹈标准化的科里奥数据进行保存，从而能够使侵害判断容易化。该系统例如也可以由图1所示的服务器构成，以下对服务器作为科里奥数据的数据库、编舞的类似判断装置而发挥功能的情况进行说明。
首先，著作权管理系统以科里奥数据格式将预定的长度(或预定的拍子数量的长度)的跳舞的编舞登记到数据库中。在此，由于几乎较短的编舞不被称作创作物，因此，要求有预定的长度。针对该长度，例如也可以通过预定的团体来确定。另外，该长度也可以因编舞的不同而不同。
此外，著作权管理系统将由CG模型或肉体的人类实施的舞蹈动态图像、演出、程序等编舞，作为比较对象而对动作数据进行提取，从而对上述数据库的科里奥数据的类似性进行判断。在此，比较对象的动作数据通过被转换为科里奥数据格式，从而能够容易地实施比较。例如，也能够仅关注身体的一部分的运动来实施比较。
并且，如果各数据的骨的运动处于限定的误差的范围内，则判断为侵害了原来的著作物(编舞)。另外，即使对作为声音数据的MIDI 数据的类似性进行判断的方法应用于科里奥数据格式，也难以适当地对动作数据的类似性进行判断。在本发明的一个实施方式中，即使在作为科里奥数据格式而采用SMF格式的情况下，如图6所示音符编号以及速度所示的信息也不同于通常的SMF。
此外，著作权管理系统在比较对象的动态图像等被商业利用的情况下，也可以相对于预定的著作权管理团体，发行该团体的所管理的著作物(编舞)能够被实施商业利用这样的证书。由此，该团体能够基于该证书，向著作物利用者征收著作物使用费，并向著作权者进行分配。
在上述的实施方式中，主要示出了作为舞蹈用的动作数据而利用了科里奥数据的情况，但是，并不限于此。例如，科里奥数据能够用于配合台词的人的动作(戏剧、对比相声、短滑稽戏、单口相声等) 的动作数据。通过使用科里奥数据，从而能够与各种各样可变的台词的拍子同步地，使CG模型进行表演等。特别是，在对比相声中，根据逗和捧可知角色，并且，分别由恒定图案的姿势的组合构成动作，因此，通过图23所示的应用等谁都能够制成对比相声CG动态图像。
作为另外的应用例，对利用科里奥数据进行动作的CG模型的制成方法的一个示例进行说明。在本例中，通过对照片、插图等静止图像实施骨指定，从而制成原始角色(原始CG模型)。例如能够通过图2所示的用户终端10实现该制成处理。
首先，对设为与人类的骨骼相似的形态的对象物的照片数据或插图数据进行提取。并且，根据该数据对判断象物的外形。在此，作为外形的判断方法，也可以根据与背景色的差通过软件进行自动判断，也可以通过用户的操作(例如，经由触摸屏的操作)手动描摹对象物的外形从而进行判断，也可以以适用最初撮影之际所确定的外形的方式进行撮影从而对外形进行判断。
接下来，对对象物设定恒定数量的骨。所设定的骨的数量，例如也可以是10～18根程度。此外，在确定了对象物的外形的时间点，根据其形状，自动设定替换的骨的位置。而且，也可以通过用户的操作，而能够对间接位置、骨的长度等进行调节。
接下来，对欲使对象物进行运动的BPM进行确定。例如，既可以对乐曲进行指定，而对配合该乐曲的BPM进行提取，也可以通过用户的操作手动输入BPM。
接下来，使用科里奥数据，制成对象物像编舞那样运动的动作数据。例如，也可以与图22的流程同样地实施制成工序。在此，由于对象物是二维的，因此，用户终端能够将对象物识别为厚度恒定的三维数据。由此，能够使纸人以三维运动那样的感觉进行动作。
所制成的对象物的动作数据也可以被设为，作为动态图像数据/ 动态图像数据能够以各种各样的形式进行上传/下载的结构。由此，对象物的动作数据能够有效地利用在多种多样的场景中，例如，能够利用于壁纸、向SNS(Social Networking Service)的投稿，聊天室的图章等。
＜其他的结构＞
另外，上述的实施方式所涉及的服务器也可以具有各种功能。例如，也可以具有在用户终端上进行动作的应用的管理、动作数据的管理、传输乐曲信息的管理、收据信息(购买信息)的管理、用户所制成的CG动态图像信息的管理、用户管理、与其他服务/系统的协作API、外部认证(例如，OAuth2.0)等功能。
此外，在上述的实施方式所涉及的用户终端中进行动作的应用也可以具有各种功能。例如，也具有对用户的指导、各种设定、版本管理、PUSH通知、收费(存储收费、商品购买等)、编辑日志功能、流再现、新闻浏览、内容(动态图像、音乐)的下载、通过DRM而被保护的内容的再现、终端变更对应(例如，机种变更)等功能。另外，应用也可以是在Android(注册商标)OS、iOS(注册商标)等的OS 中进行动作的本机应用，也可以是在预定的浏览器中进行动作的Web 应用，也可以是在Flash中进行动作的应用。
此外，上述的实施方式所示的信息处理系统也可以包括其他的装置。例如，也可以采用具有大型显示器等的预定的视听系统，也可以将本发明所涉及的信息处理系统用于以播出、公众观看为首的事件。例如，能够使用本发明所涉及的信息处理系统，实施在电影院、餐馆、事件空间、公共空间内的CG动态图像的上映。
以上，对本发明详细地进行了说明，但是，作为本领域技术人员可知，本发明并不限定于本说明书中所说明的实施方式。例如，上述的各实施方式既可以单独被使用，也可以组合起来进行使用。本发明不会脱离通过权利要求书的记载而确定的本发明的主旨以及范围且能够以修正以及变更方式来实施。因此，本说明书的记载以例示说明为目的，并相对于本发明而不具有任何限制性的意思。
产业上的可利用性
根据本发明的一个方式所涉及的数据结构，能够容易地使CG模型的动作与声音数据同步。因此，该数据结构作为与三维计算机图形相关的信息处理装置所使用的数据结构是有用的。
本申请以2015年1月30日申请的日本专利2015-016214以及 2015年4月3日申请的日本专利2015-077162为基础。其内容全部包含在本申请中。

Claims (33)

1.一种计算机可读取的记录介质，该记录介质记录有程序，该程序使计算机执行以下步骤：
取得包含第一时间顺序信息并符合SMF格式的数据的步骤，所述第一时间顺序信息用于以拍单位并按时间顺序指定计算机图形、即CG模型的结构要素的坐标；以及
使用所述第一时间顺序信息的所述SMF格式中的音符接通信号的音符编号以及速度，计算CG模型的结构要素的坐标或角度，实施CG模型的处理的步骤,
作为所述角度的θ通过以下的式1计算：
θ=（N-N0）×θN＋（V-V0）×θV ……（式1）
在此，N为所述音符编号，N0为作为基准的音符编号，θN为每音符编号增量的角度增加量，V为所述速度，V0为作为基准的速度，θV为每速度增量的角度增加量。
2.如权利要求1所述的记录介质，其特征在于，
所述SMF格式的通道与一个或多个所述第一时间顺序信息相对应。
3.如权利要求1或2所述的记录介质，其特征在于，
所述SMF格式中的Δ时间通过所述计算机而被用作与CG模型的结构要素的坐标发生变化的拍的长度相关的信息。
4.如权利要求1或2所述的记录介质，其特征在于，
CG模型由骨骼构成，所述骨骼由两个间接点和使所述两个间接点相连的骨构成。
5.如权利要求4所述的记录介质，其特征在于，
所述第一时间顺序信息包括与CG模型的骨的相对角度相关的信息。
6.如权利要求4所述的记录介质，其特征在于，
所述第一时间顺序信息包括与距CG模型的初始位置的相对距离相关的信息和/或与CG模型的基准点的旋转角度相关的信息。
7.如权利要求4所述的记录介质，其特征在于，
所述第一时间顺序信息在CG模型的结构要素的坐标上包括与速度系统相关的信息。
8.如权利要求7所述的记录介质，其特征在于，
与所述速度系统相关的信息为，以所述第一时间顺序信息所包含的在时间上相邻的数据的平均值为基准的偏移。
9.如权利要求7或8所述的记录介质，其特征在于，
所述SMF格式中的音符关闭信号的速度通过所述计算机而被用作与所述速度系统相关的信息。
10.如权利要求1或2所述的记录介质，其特征在于，
作为所述坐标的P通过以下的式2计算：
P=（N-N0）×PN＋（V-V0）×PV ……（式2）
在此，N为所述音符编号，N0为作为基准的音符编号，PN为每音符编号增量的坐标增加量，V为所述速度，V0为作为基准的速度，PV为每速度增量的坐标增加量。
11.一种显示装置，其特征在于，具有：
取得部，其取得包含第一时间顺序信息并符合SMF格式的数据，所述第一时间顺序信息用于以拍单位并按时间顺序指定计算机图形、即CG模型的结构要素的坐标；以及
显示部，其基于所述第一时间顺序信息显示CG模型，
所述第一时间顺序信息的所述SMF格式中的音符接通信号的音符编号以及速度被用作计算CG模型的结构要素的坐标或角度,
作为所述角度的θ通过以下的式1计算：
θ=（N-N0）×θN＋（V-V0）×θV ……（式1）
在此，N为所述音符编号，N0为作为基准的音符编号，θN为每音符编号增量的角度增加量，V为所述速度，V0为作为基准的速度，θV为每速度增量的角度增加量。
12.如权利要求11所述的显示装置，其特征在于，
所述显示部基于对所述第一时间顺序信息应用了指数移动平均的结果，显示CG模型。
13.如权利要求11或12所述的显示装置，其特征在于，
还具有对预定的数据进行再现的再现部，
所述显示部以与所述再现部要再现的所述预定的数据同步的方式对CG模型进行显示。
14.如权利要求13所述的显示装置，其特征在于，
所述显示部以如下方式对CG模型进行显示，即，各结构要素的坐标进行转变的最高速度，等于以与包含所述第一时间顺序信息的数据相关的拍子对CG模型进行显示的情况。
15.一种发送装置，其特征在于，具有：
取得部，其取得包含第一时间顺序信息并符合SMF格式的数据，所述第一时间顺序信息用于以拍单位并按时间顺序指定计算机图形、即CG模型的结构要素的坐标；以及
发送部，其将该数据发送至接收装置，
所述第一时间顺序信息用于CG模型的处理，
所述第一时间顺序信息的所述SMF格式中的音符接通信号的音符编号以及速度被用作计算CG模型的结构要素的坐标或角度,
作为所述角度的θ通过以下的式1计算：
θ=（N-N0）×θN＋（V-V0）×θV ……（式1）
在此，N为所述音符编号，N0为作为基准的音符编号，θN为每音符编号增量的角度增加量，V为所述速度，V0为作为基准的速度，θV为每速度增量的角度增加量。
16.一种接收装置，其特征在于，具有：
取得部，其取得包含第一时间顺序信息并符合SMF格式的数据，所述第一时间顺序信息用于以拍单位并按时间顺序指定计算机图形、即CG模型的结构要素的坐标；以及
接收部，其接收包含该数据的信号，
所述第一时间顺序信息用于CG模型的处理，
所述第一时间顺序信息的所述SMF格式中的音符接通信号的音符编号以及速度被用作计算CG模型的结构要素的坐标或角度,
作为所述角度的θ通过以下的式1计算：
θ=（N-N0）×θN＋（V-V0）×θV ……（式1）
在此，N为所述音符编号，N0为作为基准的音符编号，θN为每音符编号增量的角度增加量，V为所述速度，V0为作为基准的速度，θV为每速度增量的角度增加量。
17.一种动态图像生成装置，其特征在于，具有：
取得部，其取得包含第一时间顺序信息并符合SMF格式的数据，所述第一时间顺序信息用于以拍单位并按时间顺序指定计算机图形、即CG模型的结构要素的坐标；以及
生成部，其基于所述第一时间顺序信息，生成对CG模型进行显示的动态图像，
所述第一时间顺序信息的所述SMF格式中的音符接通信号的音符编号以及速度被用作计算CG模型的结构要素的坐标或角度,
作为所述角度的θ通过以下的式1计算：
θ=（N-N0）×θN＋（V-V0）×θV ……（式1）
在此，N为所述音符编号，N0为作为基准的音符编号，θN为每音符编号增量的角度增加量，V为所述速度，V0为作为基准的速度，θV为每速度增量的角度增加量。
18.一种数据转换装置，其特征在于，
取得部，其取得舞蹈数据和与该舞蹈数据同步地再现的其他数据，所述舞蹈数据包括用于以帧单位并按时间顺序指定计算机图形、即CG模型的结构要素的坐标的第三时间顺序信息；
检测部，其从所述其他数据中对拍子进行检测，并基于该拍子特定预定的帧周期；
提取部，其从所述第三时间顺序信息中提取与所述预定的帧周期的各定时相对应的数据作为第二时间顺序信息；以及
生成部，其基于所述第二时间顺序信息生成包含第一时间顺序信息的数据，所述第一时间顺序信息用于以拍单位并按时间顺序指定CG模型的结构要素的坐标，
所述第一时间顺序信息的SMF格式中的音符接通信号的音符编号以及速度被用作计算CG模型的结构要素的坐标或角度,
作为所述角度的θ通过以下的式1计算：
θ=（N-N0）×θN＋（V-V0）×θV ……（式1）
在此，N为所述音符编号，N0为作为基准的音符编号，θN为每音符编号增量的角度增加量，V为所述速度，V0为作为基准的速度，θV为每速度增量的角度增加量。
19.如权利要求18所述的数据转换装置，其特征在于，
所述检测部还使用所述舞蹈数据对所显示的CG模型的FPS进行检测，并基于所述FPS和所述拍子来特定所述预定的帧周期。
20.如权利要求18或19所述的数据转换装置，其特征在于，
所述提取部从所述预定的定时的前后帧的数据中，内插并提取与所述预定的帧周期内的预定的定时相对应的数据。
21.如权利要求18或19所述的数据转换装置，其特征在于，
还具有对所述第三时间顺序信息中的预定的帧区间进行选择的选择部，
所述提取部从所述第三时间顺序信息中的所述预定的帧区间的数据中，提取与所述预定的帧周期的各定时相对应的数据作为所述第二时间顺序信息。
22.如权利要求21所述的数据转换装置，其特征在于，
所述预定的帧区间具有所述拍子中的8拍长度。
23.如权利要求18或19所述的数据转换装置，其特征在于，
所述预定的帧周期与所述拍子中的8分之1拍相对应。
24.如权利要求18所述的数据转换装置，其特征在于，
所述生成部基于所述第二时间顺序信息生成包含第一时间顺序信息并符合SMF格式的数据。
25.一种数据生成装置，其生成计算机图形、即CG模型的动作数据，所述数据生成装置的特征在于，具有：
取得部，其取得包含第一时间顺序信息并符合SMF格式的数据，所述第一时间顺序信息用于以拍单位并按时间顺序指定CG模型的结构要素的坐标；
选择部，其从包括多个基本动作的备选的基本动作备选集合中选择基本动作，所述基本动作是对于预定的每个拍子数以与预定的拍子数相应的所述数据而被限定；以及
生成部，其基于所选择的动作，生成所述动作数据，
所述第一时间顺序信息的所述SMF格式中的音符接通信号的音符编号以及速度被用作计算CG模型的结构要素的坐标或角度,
作为所述角度的θ通过以下的式1计算：
θ=（N-N0）×θN＋（V-V0）×θV ……（式1）
在此，N为所述音符编号，N0为作为基准的音符编号，θN为每音符编号增量的角度增加量，V为所述速度，V0为作为基准的速度，θV为每速度增量的角度增加量。
26.如权利要求25所述的数据生成装置，其特征在于，
所述选择部从包括多个与所述基本动作相对应的变形动作的备选的变形动作备选集合中选择变形动作。
27.如权利要求25或26所述的数据生成装置，其特征在于，
所述选择部选择以小于所述基本动作的拍子数来限定的重音动作，
所述生成部在设定有所述重音动作的拍中，考虑到所述重音动作而生成所述动作数据。
28.如权利要求25或26所述的数据生成装置，其特征在于，
预定的拍子数为8拍。
29.如权利要求25或26所述的数据生成装置，其特征在于，
还具有对预定的数据进行再现的再现部，
所述基本动作备选集合随所述再现部要再现的所述预定的数据而不同。
30.如权利要求25或26所述的数据生成装置，其特征在于，
还具有显示部,所述显示部在所述预定的数据包含语音数据的情况下，以每个预定的拍子数并按时间顺序显示与该语音数据相对应的歌词。
31.一种信息处理方法，其为计算机图形、即CG模型的信息处理方法，所述信息处理方法的特征在于，具有如下步骤：
取得包含第一时间顺序信息并符合SMF格式的数据的步骤，所述第一时间顺序信息用于以拍单位并按时间顺序指定CG模型的结构要素的坐标；以及
使用所述第一时间顺序信息的所述SMF格式中的音符接通信号的音符编号以及速度计算CG模型的结构要素的坐标或角度，实施CG模型的处理,
作为所述角度的θ通过以下的式1计算：
θ=（N-N0）×θN＋（V-V0）×θV ……（式1）
在此，N为所述音符编号，N0为作为基准的音符编号，θN为每音符编号增量的角度增加量，V为所述速度，V0为作为基准的速度，θV为每速度增量的角度增加量。
32.一种信息处理系统，其具有对计算机图形、即CG模型进行显示的显示装置，所述显示装置的特征在于，具有：
取得部，其取得包含第一时间顺序信息并符合SMF格式的数据，所述第一时间顺序信息用于以拍单位并按时间顺序指定CG模型的结构要素的坐标；以及
显示部，其基于所述第一时间顺序信息显示CG模型，所述第一时间顺序信息的所述SMF格式中的音符接通信号的音符编号以及速度被用作与计算CG模型的结构要素的坐标或角度，
作为所述角度的θ通过以下的式1计算：
θ=（N-N0）×θN＋（V-V0）×θV ……（式1）
在此，N为所述音符编号，N0为作为基准的音符编号，θN为每音符编号增量的角度增加量，V为所述速度，V0为作为基准的速度，θV为每速度增量的角度增加量。
33.一种数据生成装置，其生成计算机图形、即CG模型的动作数据，所述数据生成装置的特征在于，具有：
取得部，其取得包含第一时间顺序信息并符合SMF格式的数据，所述第一时间顺序信息用于以拍单位并按时间顺序指定CG模型的结构要素的坐标；
再现部，其对声音数据进行再现；
选择部，其以与所述再现部所再现的所述声音数据的再现位置有关联的方式选择通过包含所述第一时间顺序信息的数据来限定的动作的开始位置；
生成部，其基于所选择的动作的开始位置，生成所述动作数据，
所述动作的开始位置基于所述声音数据的拍子来实施补正，
所述第一时间顺序信息的所述SMF格式中的音符接通信号的音符编号以及速度被用作计算CG模型的结构要素的坐标或角度，
作为所述角度的θ通过以下的式1计算：
θ=（N-N0）×θN＋（V-V0）×θV ……（式1）
在此，N为所述音符编号，N0为作为基准的音符编号，θN为每音符编号增量的角度增加量，V为所述速度，V0为作为基准的速度，θV为每速度增量的角度增加量。
CN201680008159.5A 2015-01-30 2016-01-29 计算机图形的数据结构、信息处理装置、信息处理方法以及信息处理系统 Active CN107430781B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015-016214 2015-01-30
JP2015016214 2015-01-30
JP2015-077162 2015-04-03
JP2015077162 2015-04-03
PCT/JP2016/052633 WO2016121921A1 (ja) 2015-01-30 2016-01-29 コンピュータグラフィックスのデータ構造、情報処理装置、情報処理方法及び情報処理システム

Publications (2)

Publication Number Publication Date
CN107430781A CN107430781A (zh) 2017-12-01
CN107430781B true CN107430781B (zh) 2021-09-17

Family

ID=56543525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680008159.5A Active CN107430781B (zh) 2015-01-30 2016-01-29 计算机图形的数据结构、信息处理装置、信息处理方法以及信息处理系统

Country Status (4)

Country Link
US (1) US10410392B2 (zh)
JP (1) JP6942300B2 (zh)
CN (1) CN107430781B (zh)
WO (1) WO2016121921A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6684556B2 (ja) * 2015-08-28 2020-04-22 株式会社電通 データ変換装置、ロボット、プログラム及び情報処理方法
US10325395B2 (en) * 2016-01-20 2019-06-18 Facebook, Inc. Techniques for animating stickers with sound
JP7280493B2 (ja) * 2019-03-28 2023-05-24 株式会社Mixi 画像処理プログラム及び画像処理装置
US11783723B1 (en) * 2019-06-13 2023-10-10 Dance4Healing Inc. Method and system for music and dance recommendations
JP7115696B2 (ja) 2019-09-24 2022-08-09 株式会社エクシヴィ アニメーション制作システム
JP7390540B2 (ja) * 2019-09-24 2023-12-04 株式会社RiBLA アニメーション制作システム
WO2021059365A1 (ja) * 2019-09-24 2021-04-01 株式会社エクシヴィ アニメーション制作システム
US20220351449A1 (en) * 2019-09-24 2022-11-03 XVI Inc. Animation production system
JP6719633B1 (ja) * 2019-09-30 2020-07-08 株式会社コロプラ プログラム、方法、および視聴端末
JP7024027B1 (ja) 2020-09-11 2022-02-22 株式会社セガトイズ 動画作成装置、動画作成システム及び動画作成プログラム
CN113592986B (zh) * 2021-01-14 2023-05-23 腾讯科技（深圳）有限公司 基于神经网络的动作生成方法、装置及计算设备
TWI784582B (zh) * 2021-06-18 2022-11-21 中華學校財團法人中華科技大學 具閱讀簡譜功能之演奏型機器人
WO2023189649A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理システム、プログラムおよび情報処理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3668547B2 (ja) 1996-01-29 2005-07-06 ヤマハ株式会社 カラオケ装置
US5909218A (en) 1996-04-25 1999-06-01 Matsushita Electric Industrial Co., Ltd. Transmitter-receiver of three-dimensional skeleton structure motions and method thereof
JP3337938B2 (ja) 1996-04-25 2002-10-28 松下電器産業株式会社 ３次元骨格構造の動き送受信装置、および動き送受信方法
JPH10307930A (ja) 1997-05-07 1998-11-17 Yamaha Corp アニメーション作成システム
JP3380158B2 (ja) 1998-03-25 2003-02-24 株式会社ナムコ スケルトンモデルのデータ表現方法
JP4765155B2 (ja) * 2000-09-28 2011-09-07 ソニー株式会社 オーサリング・システム及びオーサリング方法、並びに記憶媒体
AU2002336354A1 (en) * 2001-09-15 2003-04-01 Michael Neuman Dynamic variation of output media signal in response to input media signal
JP3918580B2 (ja) * 2002-02-26 2007-05-23 ヤマハ株式会社 マルチメディア情報符号化装置、マルチメディア情報再生装置、マルチメディア情報符号化処理プログラム及びマルチメディア情報再生処理プログラム
JP2004127019A (ja) 2002-10-03 2004-04-22 Sony Corp 情報処理装置および画像表示制御方法と画像表示制御プログラム
US7573480B2 (en) * 2003-05-01 2009-08-11 Sony Corporation System and method for capturing facial and body motion
JP2004348012A (ja) * 2003-05-26 2004-12-09 Oki Electric Ind Co Ltd 携帯端末におけるカラオケシステム
US7317457B2 (en) * 2003-07-21 2008-01-08 Autodesk, Inc. Processing image data
US7589727B2 (en) * 2005-01-18 2009-09-15 Haeker Eric P Method and apparatus for generating visual images based on musical compositions
JP4917446B2 (ja) 2007-01-22 2012-04-18 ブラザー工業株式会社 画像生成装置、画像生成プログラム、データ補間装置、およびデータ補間プログラム
JP5206378B2 (ja) * 2008-12-05 2013-06-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN101727766B (zh) * 2009-12-04 2011-08-17 哈尔滨工业大学深圳研究生院 基于虚拟人的手语新闻播报方法
US9358456B1 (en) * 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
DE102013013956A1 (de) * 2013-08-21 2015-02-26 Andreas Stihl Ag & Co. Kg Führungsschiene für eine Sägekette mit einem verschleißreduzierten Umlenkabschnitt

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
论舞蹈编创过程中的音乐结构分析;李莘;《北京舞蹈学院学报》;20100930(第3期);第102-107页 *

Also Published As

Publication number Publication date
CN107430781A (zh) 2017-12-01
US20180012389A1 (en) 2018-01-11
US10410392B2 (en) 2019-09-10
JPWO2016121921A1 (ja) 2018-01-18
JP6942300B2 (ja) 2021-09-29
WO2016121921A1 (ja) 2016-08-04

Similar Documents

Publication Publication Date Title
CN107430781B (zh) 计算机图形的数据结构、信息处理装置、信息处理方法以及信息处理系统
JP6805422B2 (ja) 装置、プログラム及び情報処理方法
US10565889B2 (en) Method and system for authoring animated human movement examples with scored movements
EP0829847B1 (en) Conduct-along system
US20060174291A1 (en) Playback apparatus and method
JP5454604B2 (ja) 動画再生方法、動画再生装置及びプログラム
JP2011175598A (ja) 手話アニメーション生成装置及び手話アニメーション生成プログラム
JP2000311251A (ja) アニメーション作成装置および方法、記憶媒体
WO2019233348A1 (zh) 动画展示、制作方法及装置
JP2017042896A (ja) データ変換装置、ロボット、プログラム及び情報処理方法
JP2013045334A (ja) 画像生成方法、画像生成装置及びプログラム
JP5408205B2 (ja) 制御点設定方法、制御点設定装置及びプログラム
JP6431259B2 (ja) カラオケ装置、ダンス採点方法、およびプログラム
JP2006196017A (ja) アニメーション作成装置および方法、記憶媒体
Iwamoto et al. DanceDJ: A 3D dance animation authoring system for live performance
US9299180B2 (en) Image creation method, image creation apparatus and recording medium
WO2021085105A1 (ja) 情報処理装置、提案装置、情報処理方法および提案方法
JP6287921B2 (ja) 情報処理装置及びプログラム
US20230050570A1 (en) Exercise Method and Equipment
KR102670736B1 (ko) 댄스 매칭 방법 및 시스템
EP4350626A1 (en) Image processing system, method for controlling the same, and program
Kim et al. Interactive Locomotion Style Control for a Human Character based on Gait Cycle Features
JP5958389B2 (ja) 情報処理装置及びプログラム
JP5906897B2 (ja) 動き情報生成方法、動き情報生成装置及びプログラム
KR20220154587A (ko) 댄스 매칭 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: No. 1, No. 8, No. 1, east new bridge, east new bridge, Tokyo, Japan

Patentee after: Cable Communication Group Co.,Ltd.

Address before: No. 1, No. 8, No. 1, east new bridge, east new bridge, Tokyo, Japan

Patentee before: DENTSU Inc.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220425

Address after: No. 1, No. 8, No. 1, east new bridge, east new bridge, Tokyo, Japan

Patentee after: DENTSU Inc.

Address before: No. 1, No. 8, No. 1, east new bridge, east new bridge, Tokyo, Japan

Patentee before: Cable Communication Group Co.,Ltd.

TR01 Transfer of patent right