JP2017162119A - 装置、プログラム及び情報処理方法 - Google Patents
装置、プログラム及び情報処理方法 Download PDFInfo
- Publication number
- JP2017162119A JP2017162119A JP2016044890A JP2016044890A JP2017162119A JP 2017162119 A JP2017162119 A JP 2017162119A JP 2016044890 A JP2016044890 A JP 2016044890A JP 2016044890 A JP2016044890 A JP 2016044890A JP 2017162119 A JP2017162119 A JP 2017162119A
- Authority
- JP
- Japan
- Prior art keywords
- data
- value
- predetermined
- specific
- bpm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title description 15
- 238000003672 processing method Methods 0.000 title description 3
- 230000033001 locomotion Effects 0.000 claims abstract description 129
- 238000000034 method Methods 0.000 description 51
- 230000005540 biological transmission Effects 0.000 description 26
- 210000000988 bone and bone Anatomy 0.000 description 17
- 230000007704 transition Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 239000000470 constituent Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 241000253999 Phasmatodea Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
まず、本発明が適用される情報処理システムについて説明する。図2は、本発明の一実施形態に係る情報処理システムの概略構成の一例を示す図である。図2に示す情報処理システム1は、ユーザ端末10と、サーバ20と、電子楽器30と、ネットワーク40と、を含む。
図3は、本発明の一実施形態に係るユーザ端末の機能構成の一例を示す図である。図3に示すように、ユーザ端末10は、送受信部11と、取得部12と、再生部13と、出力部14と、入力部15と、生成部16と、制御部17と、を有する。ユーザ端末10は、本発明の一実施形態に係るデータ構造を用いてCGモデルに関する情報処理を行う工程を実現する機能を有する。また、ユーザ端末10は、本発明の一実施形態に係る情報処理装置として、表示装置、送信装置、受信装置、動画生成装置、データ変換装置、データ生成装置などを構成することができる。
本発明の一態様に係るコリオデータフォーマットは、CGモデルの構成要素の座標を、拍単位で時系列に指定するための時系列情報を含むデータのフォーマットである。なお、「拍単位」とは、「拍」で特定可能な単位であることをいい、1拍単位に限られず、8分の1拍単位などの分数拍単位や、2拍単位などの複数拍単位も含む。
本発明の一態様におけるコリオデータフォーマットは、電子楽器の演奏情報の保存形式に準拠することが好ましい。特に、広く普及しているMIDIデータの保存形式が好適である。次に、MIDIデータの保存形式の1つであるSMF(Standard MIDI File)フォーマットの概略を説明し、SMFフォーマットに準拠するコリオデータフォーマットを説明する。
本発明の一実施形態では、図2に示したような装置(例えば、ユーザ端末10)が、所定のマージ用パラメータに基づいて、複数のモーションデータをマージ(ブレンド、合成などともいう)して新たなモーションデータを生成する。これにより、マージ用パラメータの値を時間経過に伴って変える(制御する)ことで、あるモーションデータから別のモーションデータへの遷移を動的に、かつ自然に行うことができる。
提案マージ方法は複数のデータをマージするものであるが、当該複数のデータ(マージ対象)は、例えば以下の(1)、(2)、(3)又はこれらの組み合わせが挙げられる:
(1)複数のコリオデータ(モーションデータ)の構成要素の座標に関する情報、
(2)1つのコリオデータ内の複数のチャンネルそれぞれに含まれる構成要素の座標に関する情報、
(3)1つのコリオデータ内の1チャンネルに含まれる複数の構成要素の座標に関する情報。
なお、コリオデータフォーマット以外のフォーマットに従う複数のデータであっても、提案マージ方法を適用することができる。
上述の提案マージ方法では、マージ用パラメータが急激に変動する場合、変動の前後でモーションがいきなり変わることになるが、このような挙動が好ましくない場合がある。本発明者らは、例えば人間が音楽に合わせてダンスをする際、音楽のBPMがいきなり変わると、変動前のBPMをしばらく引きずってダンスを継続しつつ、徐々に変動後のBPMに合わせる動作をすることに着目した。
提案マージ方法を実施する装置は、マージ用パラメータを、モーションデータと同期して再生される他のデータ(例えば、楽曲データ)から検出(判断)してもよい。この場合、当該装置は、楽曲データの再生BPMに基づいて提案マージ方法を実施することができる。
10 ユーザ端末
11 送受信部
12 取得部
13 再生部
14 出力部
15 入力部
16 生成部
17 制御部
20 サーバ
30 電子楽器
40 ネットワーク
500 制御装置
Claims (13)
- 所定のパラメータがそれぞれ異なる値である場合に対応する複数のデータを用いて、前記所定のパラメータが特定の値である場合に対応する特定データを生成するように制御する制御部と、
前記特定データに基づいて、所定のコンピュータグラフィックス(CG)モデルを再生する再生部と、を有することを特徴とする装置。 - 前記所定のパラメータは、BPM(Beats Per Minute)及び動きの特性を示すパラメータの少なくとも1つであることを特徴とする請求項1に記載の装置。
- 前記制御部は、前記複数のデータのうち、前記所定のパラメータが第1の値である場合に対応する第1のデータにおいて前記第1の値を前記特定の値に合わせるように生成したデータと、前記所定のパラメータが第2の値である場合に対応する第2のデータにおいて前記第2の値を前記特定の値に合わせるように生成したデータと、を用いて、前記特定データを生成することを特徴とする請求項1に記載の装置。
- 前記複数のデータは、SMF(Standard MIDI File)フォーマットに準拠するデータ構造の同じチャンネルに含まれることを特徴とする請求項1に記載の装置。
- 前記所定のパラメータは、SMF(Standard MIDI File)フォーマットで規定される信号又はOSC(Open Sound Control)メッセージに含まれることを特徴とする請求項1に記載の装置。
- 前記複数のデータの数及び各データに対応する前記所定のパラメータの値の少なくとも1つが、時間で変動することを特徴とする請求項1に記載の装置。
- 前記制御部は、前記特定の値が第3の値から第4の値に変動し、かつ、前記第3の値と前記第4の値との差分の絶対値が所定の閾値以上である場合、前記特定の値の変動のタイミングから所定の期間において、前記特定の値が前記第3の値と前記第4の値の間に含まれると想定して、前記特定データを生成するように制御することを特徴とする請求項1に記載の装置。
- 前記複数のデータは、それぞれ前記所定のCGモデルの構成要素の座標を拍単位で時系列に指定するための時系列情報であることを特徴とする請求項1に記載の装置。
- コンピュータに、
所定のパラメータがそれぞれ異なる値である場合に対応する複数のデータを用いて、前記所定のパラメータが特定の値である場合に対応する特定データを生成するように制御するステップと、
前記特定データに基づいて、所定のコンピュータグラフィックス(CG)モデルを再生するステップと、を実行させるためのプログラム。 - 前記所定のパラメータは、BPM(Beats Per Minute)及び動きの特性を示すパラメータの少なくとも1つであることを特徴とする請求項9に記載のプログラム。
- 前記制御するステップは、前記複数のデータのうち、前記所定のパラメータが第1の値である場合に対応する第1のデータにおいて前記第1の値を前記特定の値に合わせるように生成したデータと、前記所定のパラメータが第2の値である場合に対応する第2のデータにおいて前記第2の値を前記特定の値に合わせるように生成したデータと、を用いて、前記特定データを生成するステップを含むことを特徴とする請求項9に記載のプログラム。
- 前記複数のデータは、SMF(Standard MIDI File)フォーマットに準拠するデータ構造の同じチャンネルに含まれることを特徴とする請求項9に記載のプログラム。
- 所定のパラメータがそれぞれ異なる値である場合に対応する複数のデータを用いて、前記所定のパラメータが特定の値である場合に対応する特定データを生成するように制御する工程と、
前記特定データに基づいて、所定のコンピュータグラフィックス(CG)モデルを再生する工程と、を有することを特徴とする情報処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016044890A JP6805422B2 (ja) | 2016-03-08 | 2016-03-08 | 装置、プログラム及び情報処理方法 |
CN201780015723.0A CN108780580B (zh) | 2016-03-08 | 2017-03-07 | 数据生成装置、存储介质及信息处理方法 |
US16/081,222 US10916045B2 (en) | 2016-03-08 | 2017-03-07 | Device, program, and information processing method |
PCT/JP2017/008971 WO2017154894A1 (ja) | 2016-03-08 | 2017-03-07 | 装置、プログラム及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016044890A JP6805422B2 (ja) | 2016-03-08 | 2016-03-08 | 装置、プログラム及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017162119A true JP2017162119A (ja) | 2017-09-14 |
JP6805422B2 JP6805422B2 (ja) | 2020-12-23 |
Family
ID=59789565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016044890A Active JP6805422B2 (ja) | 2016-03-08 | 2016-03-08 | 装置、プログラム及び情報処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10916045B2 (ja) |
JP (1) | JP6805422B2 (ja) |
CN (1) | CN108780580B (ja) |
WO (1) | WO2017154894A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11989892B2 (en) | 2018-08-10 | 2024-05-21 | Sony Corporation | Information processing apparatus and information processing method |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7069768B2 (ja) * | 2018-02-06 | 2022-05-18 | ヤマハ株式会社 | 情報処理方法、情報処理装置およびプログラム |
US11282253B2 (en) | 2019-09-30 | 2022-03-22 | Snap Inc. | Matching audio to a state-space model for pseudorandom animation |
US11348297B2 (en) * | 2019-09-30 | 2022-05-31 | Snap Inc. | State-space system for pseudorandom animation |
US11176723B2 (en) | 2019-09-30 | 2021-11-16 | Snap Inc. | Automated dance animation |
US11222455B2 (en) | 2019-09-30 | 2022-01-11 | Snap Inc. | Management of pseudorandom animation system |
EP4038580A1 (en) * | 2019-09-30 | 2022-08-10 | Snap Inc. | Automated dance animation |
JP7484293B2 (ja) | 2020-03-25 | 2024-05-16 | カシオ計算機株式会社 | アニメーション生成装置、アニメーション生成方法及びプログラム |
CN111970267B (zh) * | 2020-08-13 | 2022-08-30 | 国网电子商务有限公司 | 一种数据协议转换方法、装置、电子设备及存储介质 |
US11816773B2 (en) | 2020-09-30 | 2023-11-14 | Snap Inc. | Music reactive animation of human characters |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015194509A1 (ja) * | 2014-06-20 | 2015-12-23 | 株式会社ソニー・コンピュータエンタテインメント | 動画像生成装置、動画像生成方法、プログラム、及び情報記憶媒体 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3337938B2 (ja) | 1996-04-25 | 2002-10-28 | 松下電器産業株式会社 | 3次元骨格構造の動き送受信装置、および動き送受信方法 |
US5909218A (en) * | 1996-04-25 | 1999-06-01 | Matsushita Electric Industrial Co., Ltd. | Transmitter-receiver of three-dimensional skeleton structure motions and method thereof |
JP3380158B2 (ja) | 1998-03-25 | 2003-02-24 | 株式会社ナムコ | スケルトンモデルのデータ表現方法 |
AU2002223296A1 (en) * | 2000-11-27 | 2002-06-03 | Ding Huang | Modeling object interactions and facial expressions |
EP1406218A4 (en) * | 2001-05-21 | 2005-07-20 | Sega Corp | IMAGE PROCESSING APPARATUS AND GAME APPARATUS |
JP4139602B2 (ja) * | 2002-02-20 | 2008-08-27 | 大日本印刷株式会社 | 電池用銅部材およびそれを用いた端子および電池 |
US7863513B2 (en) * | 2002-08-22 | 2011-01-04 | Yamaha Corporation | Synchronous playback system for reproducing music in good ensemble and recorder and player for the ensemble |
JP2010257435A (ja) * | 2009-04-03 | 2010-11-11 | Sony Computer Entertainment Inc | コンテンツ再生装置、コンテンツ再生方法、およびプログラム |
JP5785414B2 (ja) * | 2011-03-29 | 2015-09-30 | 株式会社カプコン | プログラム、および、当該プログラムを記録したプログラム記録部を備えている画像処理装置 |
JP2013218480A (ja) * | 2012-04-06 | 2013-10-24 | Kddi Corp | 動き生成装置及び方法 |
JP2015125761A (ja) * | 2013-12-27 | 2015-07-06 | 株式会社アントール | Cg建築図面の表示方法及びcg建築図面の表示プログラム |
US20160055420A1 (en) * | 2014-08-20 | 2016-02-25 | Puretech Management, Inc. | Systems and techniques for identifying and exploiting relationships between media consumption and health |
-
2016
- 2016-03-08 JP JP2016044890A patent/JP6805422B2/ja active Active
-
2017
- 2017-03-07 US US16/081,222 patent/US10916045B2/en active Active
- 2017-03-07 WO PCT/JP2017/008971 patent/WO2017154894A1/ja active Application Filing
- 2017-03-07 CN CN201780015723.0A patent/CN108780580B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015194509A1 (ja) * | 2014-06-20 | 2015-12-23 | 株式会社ソニー・コンピュータエンタテインメント | 動画像生成装置、動画像生成方法、プログラム、及び情報記憶媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11989892B2 (en) | 2018-08-10 | 2024-05-21 | Sony Corporation | Information processing apparatus and information processing method |
Also Published As
Publication number | Publication date |
---|---|
US20190026932A1 (en) | 2019-01-24 |
CN108780580B (zh) | 2023-07-25 |
CN108780580A (zh) | 2018-11-09 |
WO2017154894A1 (ja) | 2017-09-14 |
JP6805422B2 (ja) | 2020-12-23 |
US10916045B2 (en) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017154894A1 (ja) | 装置、プログラム及び情報処理方法 | |
CN107430781B (zh) | 计算机图形的数据结构、信息处理装置、信息处理方法以及信息处理系统 | |
US9529566B2 (en) | Interactive content creation | |
US20060174291A1 (en) | Playback apparatus and method | |
WO2017037690A1 (ja) | データ変換装置、ロボット、プログラム及び情報処理方法 | |
Surges et al. | Feature selection and composition using pyoracle | |
JP2011175598A (ja) | 手話アニメーション生成装置及び手話アニメーション生成プログラム | |
JP4755672B2 (ja) | コンテンツ編集装置、方法及びプログラム | |
JP2008016031A (ja) | インターアクティブ式映像再生システムとその方法 | |
Hsu et al. | Spider king: Virtual musical instruments based on microsoft kinect | |
US7715693B2 (en) | Control apparatus and control method | |
JP2010140278A (ja) | 音声情報可視化装置及び音声情報可視化プログラム | |
JP2007298786A (ja) | 音楽再生プログラムおよび音楽再生装置 | |
US8958895B2 (en) | Information storage medium and information processing system | |
JP2006217183A (ja) | マルチメディアデータを生成するためのデータ処理装置およびプログラム | |
JP2014123085A (ja) | カラオケにおいて歌唱に合わせて視聴者が行う身体動作等をより有効に演出し提供する装置、方法、およびプログラム | |
Hamilton | Perceptually coherent mapping schemata for virtual space and musical method | |
JP2006064973A (ja) | 制御システム | |
JPH11149565A (ja) | 画像音響処理装置、画像音響処理方法および記録媒体 | |
WO2021085105A1 (ja) | 情報処理装置、提案装置、情報処理方法および提案方法 | |
KR101846023B1 (ko) | 미디 정보 기반 반복 애니메이션과 음악 연동 장치 및 방법 | |
Roman | The design and evaluation of the Gyroshuffle-A real-time quantised rhythmic instrument | |
JP2016080908A (ja) | 信号加工装置 | |
JP2024059688A (ja) | コンピュータプログラム、方法及びサーバ装置 | |
JP2006302033A (ja) | 映像生成方法、スタンドアロン型映像再生装置及びネットワーク配信型映像再生システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20201016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6805422 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |