JP2009020361A - Data segmenting device, method of data segmenting and program for segmenting data - Google Patents
Data segmenting device, method of data segmenting and program for segmenting data Download PDFInfo
- Publication number
- JP2009020361A JP2009020361A JP2007183579A JP2007183579A JP2009020361A JP 2009020361 A JP2009020361 A JP 2009020361A JP 2007183579 A JP2007183579 A JP 2007183579A JP 2007183579 A JP2007183579 A JP 2007183579A JP 2009020361 A JP2009020361 A JP 2009020361A
- Authority
- JP
- Japan
- Prior art keywords
- data
- motion
- beat
- music
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
Abstract
Description
本発明はデータ切り出し装置、データ切り出し方法及びデータ切り出しプログラムに関し、例えば、データを提供するサーバに適用して好適なものである。 The present invention relates to a data cutout device, a data cutout method, and a data cutout program, and is suitably applied to, for example, a server that provides data.
従来、楽曲データに基づく音楽の特徴を解析する技術があり、この技術に応じて、曲データの再生に合わせてロボット装置を動かすためのモーションデータが生成されている。
(例えば特許文献1参照)。
Conventionally, there is a technique for analyzing the characteristics of music based on music data, and motion data for moving the robot apparatus in accordance with the reproduction of the music data is generated according to this technique.
(For example, refer to Patent Document 1).
そして、このような楽曲データ及びモーションデータをロボット装置に与えることで、ロボット装置は、楽曲データの再生に合わせてモーションデータに応じた動きで動く(すなわち、あたかも音楽に合わせて踊りを踊る)ようになされていた。
ところで、このモーションデータを生成する手法には自動で生成する場合と手動で生成する場合とがあり、手動で生成する場合には、図1に示すように、このモーションデータR1は、例えば、ロボット装置R2の腕を大きく振る動作のモーションパーツデータR3a、ロボット装置R2を前方に素早く移動させる動作のモーションパーツデータR3b、ロボット装置R2を後方に素早く移動させる動作のモーションパーツデータR3c、・・・ロボット装置R2をその場でゆっくり回転させる動作のモーションパーツデータR3nのような、ロボット装置R2を動かしたときの動作の特徴で識別されるモーションパーツデータR3(R3a、R3b、R3c、・・・R3n)が、楽曲データR4に基づく音楽の特徴に合わせるように任意に複数つなげられることで生成されている。 By the way, there are a case where the motion data is generated automatically and a case where it is generated manually. In the case where the motion data is generated manually, as shown in FIG. Motion part data R3a for moving the arm of the device R2 greatly, Motion parts data R3b for moving the robot device R2 quickly forward, Motion parts data R3c for moving the robot device R2 quickly backward,... Motion part data R3 (R3a, R3b, R3c,... R3n) identified by the characteristics of the movement when the robot apparatus R2 is moved, such as the motion part data R3n of the movement that slowly rotates the apparatus R2. Is arbitrarily matched to the music characteristics based on the music data R4 It is generated by being linked number.
ところが、モーションパーツデータR3(R3a、R3b、R3c、・・・R3n)は、ロボット装置R2を動かしたときの動作の特徴で識別されるため、ユーザが、楽曲データR4に基づく音楽の特徴に合ったモーションパーツデータR3(R3a、R3b、R3c、・・・R3n)がどれであるのかを容易に判別すことができないという問題があった。 However, since the motion part data R3 (R3a, R3b, R3c,... R3n) is identified by the characteristics of the operation when the robot device R2 is moved, the user matches the music characteristics based on the music data R4. There is a problem that it is difficult to easily determine which motion part data R3 (R3a, R3b, R3c,... R3n) is.
本発明は以上の点を考慮してなされたもので、ロボット装置を動かすためのモーションデータをコンテンツの特徴に合わせて容易に生成し得るモーションパーツデータを提供するデータ切り出し装置、データ切り出し方法及びデータ切り出しプログラムを実現する。 The present invention has been made in consideration of the above points, and is a data cutout apparatus, a data cutout method, and data that provide motion part data that can easily generate motion data for moving a robot apparatus according to the characteristics of the content. Realize the clipping program.
かかる課題を解決するため本発明においては、コンテンツを解析して当該コンテンツを複数の区間に区切る区切位置を検出すると共に、当該区切位置により区切られるコンテンツの区間ごとの特徴を検出するコンテンツ解析部と、コンテンツ解析部により検出されたコンテンツの区間ごとの特徴に基づき、当該コンテンツの再生に合わせてロボット装置が動くためのモーションデータから、複数の区間のうちの1区間または連続する2以上の区間に対応する部分をモーションパーツデータとして切り出し、当該切り出したモーションパーツデータに対して、1区間または連続する2以上の区間の特徴を対応付ける切り出し部とを設けるようにした。 In order to solve such a problem, in the present invention, a content analysis unit that analyzes content and detects a break position that divides the content into a plurality of sections, and detects a feature for each section of the content that is divided by the break position; Based on the characteristics of each section of the content detected by the content analysis unit, from the motion data for the robot device to move in accordance with the playback of the content, one section of a plurality of sections or two or more sections that are continuous A corresponding portion is cut out as motion part data, and a cut-out unit for associating features of one section or two or more continuous sections with the cut-out motion part data is provided.
これにより、他のコンテンツ用のモーションデータを生成するとき、他のコンテンツの特徴に対してモーションパーツデータの動作の特徴が合うか否かをわざわざユーザに判別させることなく、他のコンテンツの特徴に合った1区間または連続する2以上の区間の特徴に対応付けられているモーションパーツデータを選択させてつなぎ合わせるだけで、他のコンテンツ用のモーションデータを生成することができる。 As a result, when generating motion data for other content, it is possible to make the feature of the other content without bothering the user to determine whether the motion feature of the motion part data matches the feature of the other content. Motion data for other contents can be generated simply by selecting and connecting the motion part data associated with the features of one combined section or two or more consecutive sections.
本発明によれば、コンテンツを解析して当該コンテンツを複数の区間に区切る区切位置を検出すると共に、当該区切位置により区切られるコンテンツの区間ごとの特徴を検出するコンテンツ解析部と、コンテンツ解析部により検出されたコンテンツの区間ごとの特徴に基づき、当該コンテンツの再生に合わせてロボット装置が動くためのモーションデータから、複数の区間のうちの1区間または連続する2以上の区間に対応する部分をモーションパーツデータとして切り出し、当該切り出したモーションパーツデータに対して、1区間または連続する2以上の区間の特徴を対応付ける切り出し部とを設けるようにしたことにより、他のコンテンツ用のモーションデータを生成するとき、他のコンテンツの特徴に対してモーションパーツデータの動作の特徴が合うか否かをわざわざユーザに判別させることなく、他のコンテンツの特徴に合った1区間または連続する2以上の区間の特徴に対応付けられているモーションパーツデータを選択させてつなぎ合わせるだけで、他のコンテンツ用のモーションデータを生成することができ、かくして、ロボット装置を動かすためのモーションデータを、コンテンツの特徴に合わせて容易に生成し得るモーションパーツデータを提供するデータ切り出し装置、データ切り出し方法及びデータ切り出しプログラムを実現し得る。 According to the present invention, a content analysis unit that analyzes content and detects a division position that divides the content into a plurality of sections, and detects a feature for each section of the content divided by the division position, and a content analysis unit Based on the detected characteristics of each section of the content, a motion corresponding to one section of the plurality of sections or two or more sections from the motion data for the robot apparatus to move in accordance with the reproduction of the content When generating motion data for other content by cutting out as part data and providing a cutout section that associates the cutout motion part data with features of one section or two or more continuous sections. , Motion parts data for other content features Without letting the user bother to determine whether or not the motion characteristics match, the user can select and link motion part data associated with the characteristics of one section or two or more consecutive sections that match the characteristics of other content. A data cutout device that can generate motion data for other contents simply by combining them, thus providing motion part data that can easily generate motion data for moving the robot apparatus according to the characteristics of the contents A data cutout method and a data cutout program can be realized.
以下図面について、本発明の一実施の形態を詳述する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
(1)第1の実施の形態
(1−1)第1の実施の形態の概要
まず、第1の実施の形態の概要を説明する。ちなみにこの概要を説明した後、第1の実施の形態の具体例の説明に移る。
(1) First Embodiment (1-1) Outline of First Embodiment First, the outline of the first embodiment will be described. By the way, after describing this outline, the description moves to a specific example of the first embodiment.
図2において1は、データ切り出し装置の機能ブロックを示す。このデータ切り出し装置1は、コンテンツを解析して当該コンテンツを複数の区間に区切る区切位置を検出すると共に、当該区切位置により区切られるコンテンツの区間ごとの特徴を検出するコンテンツ解析部2を有する。またデータ切り出し装置1には、コンテンツ解析部2により検出されたコンテンツの区間ごとの特徴に基づき、当該コンテンツの再生に合わせてロボット装置が動くためのモーションデータから、複数の区間のうちの1区間または連続する2以上の区間に対応する部分をモーションパーツデータとして切り出し、当該切り出したモーションパーツデータに対して、1区間または連続する2以上の区間の特徴を対応付ける切り出し部3が設けられている。
In FIG. 2,
このような構成を有することで、他のコンテンツ用のモーションデータを生成するとき、他のコンテンツの特徴に対してモーションパーツデータの動作の特徴が合うか否かをわざわざユーザに判別させることなく、他のコンテンツの特徴に合った1区間または連続する2以上の区間の特徴に対応付けられているモーションパーツデータを選択させてつなぎ合わせるだけで、他のコンテンツ用のモーションデータを生成することができ、かくして、ロボット装置を動かすためのモーションデータを、コンテンツの特徴に合わせて容易に生成し得るモーションパーツデータを切り出すことができる。 By having such a configuration, when generating motion data for other content, without letting the user bother to determine whether the operation characteristics of the motion part data match the characteristics of the other content, Motion data for other contents can be generated simply by selecting and joining the motion part data associated with the characteristics of one section or two or more consecutive sections that match the characteristics of other contents. Thus, it is possible to cut out motion part data that can easily generate motion data for moving the robot apparatus according to the characteristics of the content.
(1−2)第1の実施の形態の具体例
(1−2−1)モーションデータ生成システムの構成
つづけて、第1の実施の形態の具体例を説明する。図3において10は、全体として第1の実施の形態によるモーションデータ生成システムを示し、楽曲データの再生に合わせてモーションデータに応じた動作で動く機能を持つロボット装置11と、楽曲データの記憶及び再生機能を持つデータ記憶再生装置12と、楽曲データを提供する機能及び他のモーションデータを生成するためのモーションパーツデータを提供する機能を持つ楽曲及びモーションパーツ提供サーバ13とで構成される。このモーションパーツ提供サーバ13が上述したデータ切り出し装置1の具体例である。
(1-2) Specific Example of First Embodiment (1-2-1) Configuration of Motion Data Generation System A specific example of the first embodiment will be described. In FIG. 3,
データ記憶再生装置12は、ユーザからの指示に応じ、CD(Compact Disk)等のメディアから楽曲データを読み出したり、ネットワークNT上の楽曲及びモーションパーツ提供サーバ13から楽曲データを購入したりして取得するようになされている。そしてデータ記憶再生装置12は、このようにして取得した楽曲データ及びモーションデータを内蔵の記憶部に記憶する。
The data storage /
またデータ記憶再生装置12は、ユーザからの指示に応じ、楽曲データに対応するモーションデータを生成するためのモーションパーツデータを、楽曲及びモーションパーツ提供サーバ13に対して要求するようになされている。
In addition, the data storage /
ここで楽曲及びモーションパーツ提供サーバ13は、データ記憶再生装置12への提供用に、多くの楽曲データを内蔵の記憶部に記憶している。また楽曲及びモーションパーツ提供サーバ13は、ネットワークNTを介してアップロードされたモーションデータ(例えば、他のデータ記憶再生装置のユーザにより生成されたモーションデータ)を内蔵の記憶部に多数記憶している。
Here, the music and motion
さらに楽曲及びモーションパーツ提供サーバ13は、楽曲データを解析してビート位置を検出するとともに、ビート位置により区切られる楽曲データの複数の区間(以下、これをビート区間と呼ぶ)ごとの特徴を得るようになされている。さらに楽曲及びモーションパーツ提供サーバ13は、このようにして得たビート区間それぞれの特徴に応じて、1つのビート区間または2以上の連続するビート区間に対応する部分をモーションパーツデータとしてモーションデータから切り出し、この切り出したモーションパーツデータに対して、1つのビート区間または2以上の連続するビート区間の特徴をメタデータとして付加するようになされている。そして楽曲及びモーションパーツ提供サーバ13は、このようにして得たモーションパーツデータを内蔵の記憶部に記憶する。
Furthermore, the music and motion
そして楽曲及びモーションパーツ提供サーバ13は、データ記憶再生装置12からモーションパーツデータが要求されると、内蔵の記憶部に記憶しているモーションパーツデータを記憶部からまとめて読み出してデータ記憶再生装置12に送信する。
Then, when the motion storage data is requested from the data storage /
データ記憶再生装置12は、楽曲及びモーションパーツ提供サーバ13に対し、モーションパーツデータを要求した結果、この楽曲モーションパーツ提供サーバ13から送信されるモーションパーツデータを受信すると、これを内蔵の記憶部に記憶するようになされている。
When the data storage /
またデータ記憶再生装置12は、楽曲データ用のモーションデータを新たに作ることを望んだユーザからの、モーションデータを生成する指示に応じて、メタデータ(1以上のビート区間の特徴)に応じて特定したモーションパーツデータを記憶部から読み出して、その一覧をユーザに提示する。そしてデータ記憶再生装置12は、ユーザにより所定の操作が行われると、楽曲データに合わせてモーションパーツデータを選択してつなぎ合わせて新たなモーションデータを生成する。そしてデータ記憶再生装置12は、このようにして生成したモーションデータを内蔵の記憶部に記憶するようになされている。
Further, the data storage /
ここまで説明したように、第1の実施の形態によるモーションデータ生成システム10では、楽曲及びモーションパーツ提供サーバ13において、楽曲データを解析してビート位置を検出するとともに、ビート位置により区切られる楽曲データの複数のビート区間それぞれの特徴を得ると、このようにして得たビート区間それぞれの特徴に応じて、1つのビート区間または2以上の連続するビート区間に対応する部分をモーションパーツデータとしてモーションデータから切り出し、この切り出したモーションパーツデータに対して、1つのビート区間または2以上の連続するビート区間の特徴をメタデータとして付加している。従って、このようなモーションパーツデータを取得したデータ記憶再生装置12は、任意の楽曲データ用のモーションデータを新たに作るときに、楽曲データの音楽区間毎の特徴に対応するメタデータを有するモーションパーツデータを選ばせて、その結果としてユーザが選んだモーションパーツデータをつなぎ合わせるだけでモーションデータ生成することができる。
As described so far, in the motion
そしてデータ記憶再生装置12は、ユーザの指示に応じ、任意の楽曲データ及びモーションデータを記憶部から読み出し、ロボット装置11に対しこれら楽曲データ及びモーションデータを例えば無線で送信するようになされている。
The data storage /
ロボット装置11は、無線によりデータ記憶再生装置12から転送されてくる楽曲データ及びモーションデータを内蔵の記憶部(図示せず)により記憶する。そしてロボット装置11は、例えば床に載置された状態でユーザにより任意の音楽に合わせて踊るよう指示されると、これに応じて、記憶部から対応する楽曲データ及びモーションデータを読み出し、楽曲データを再生すると共に、この楽曲データの再生に合わせて可動部(図示せず)をモーションデータに基づく動作で可動する。
The
このようにモーションデータ生成システム10では、データ記憶再生装置12が取得した楽曲データ及びモーションデータをロボット装置11に転送することで、このロボット装置11を、音楽に合わせ動かすようになされている。
As described above, in the motion
(1−2−2)ロボット装置の構成
次に、ロボット装置11の機械構成及び機能構成について順に説明する。
(1-2-2) Configuration of Robot Device Next, the mechanical configuration and functional configuration of the
図4(A)及び(B)並びに図5において、11は全体としてロボット装置を示し、例えば全体として略回転楕円体状の装置筺体(以下、これを回転楕円体状筐体と呼ぶ)20を有している。かかる回転楕円体状筐体20は、その中央の略樽型形状の部分でなる筐体中央部21の互いに対向する一対の端部のうち、一方の端部(以下、これを右側端部と呼ぶ)側に略円錐台形状の部分でなる第1の筐体回動部(以下、これを筐体右側回動部と呼ぶ)22が設けられている。また回転楕円体状筐体20は、筐体中央部21の他方の端部(以下、これを左側端部と呼ぶ)側に、略円錐台形状の部分でなる第2の筐体回動部(以下、これを筐体左側回動部と呼ぶ)23が設けられている。
4A and 4B and FIG. 5,
さらに回転楕円体状筐体20は、筐体右側回動部22の右側に、略キャップ形状の部分でなる第1の筐体開閉部(以下、これを筺体右側開閉部と呼ぶ)24が設けられている。さらにまた回転楕円体状筐体20は、筐体左側回動部23の左側に、略キャップ形状の部分でなる第2の筐体開閉部(以下、これを筺体左側開閉部と呼ぶ)25が設けられている。
Further, the
そして回転楕円体状筐体20の中心点P1から当該回転楕円体状筐体20表面の最も遠い右側及び左側の両頂点P2、P3を直線で結ぶ線分(すなわち、楕円体の長軸)を水平回動軸線L1とすると、筐体右側回動部22は、筐体中央部21の右側端部に対し、当該水平回動軸線L1を中心にして軸回り一方向D1及びこれとは逆の軸回り他方向に回動可能に枢支されている。また筐体左側回動部23は、筐体中央部21の左側端部に対し、水平回動軸線L1を中心にして軸回り一方向D1及び軸回り他方向に回動可能に枢支されている。
Then, a line segment (that is, the major axis of the ellipsoid) connecting the rightmost and leftmost vertices P2 and P3 of the surface of the spheroid-shaped
さらに図6に示すように、筐体右側開閉部24は、筐体右側回動部22に対し、当該筐体右側回動部22の右側縁部22Aの所定位置に設けられたヒンジ部26を介して所定角度範囲で開閉可能に取り付けられている。因みに筐体右側開閉部24は、筐体右側回動部22の右側縁部22Aに対し開口縁部24Aを当接させる位置から、右側縁部22Aと開口縁部24Aとの開き角度が例えば90度となる位置までの所定角度範囲内で任意の角度に開くようになされている。一方、筐体左側開閉部25は、筐体左側回動部23に対し、当該筐体左側回動部23の左側縁部23Aの所定位置に設けられたヒンジ部27を介して所定角度範囲で開閉可能に取り付けられている。因みに筐体左側開閉部25は、筐体左側回動部23の左側縁部23Aに対し開口縁部25Aを当接させる位置から、左側縁部23Aと開口縁部25Aとの開き角度が例えば90度となる位置までの所定角度範囲で任意の角度に開くようになされている。
Further, as shown in FIG. 6, the housing right opening / closing
さらに筐体右側回動部22は、筒状に形成されており、内部にステレオ用の一対の第1及び第2のスピーカ28及び29のうち右チャンネル用の第1のスピーカ(以下、これを右スピーカと呼ぶ)28が円形の振動板の正面のみを右側縁部22Aの開口から露出させて収納されている。ここで筐体右側開閉部24は、筐体左側開閉部25とは独立して開閉し得るようになされている。そして筐体右側開閉部24は、ヒンジ部26を介して回転して、開口縁部24Aを筐体右側回動部22の右側縁部22Aに当接させて閉じた場合、右スピーカ28の振動板を外部から隠すことができる。また筐体右側開閉部24は、ヒンジ部26を介して回転して、開口縁部24Aを筐体右側回動部22の右側縁部22Aから離間させるように開いた場合、右スピーカ28の振動板を外部に露出させ得るようになされている。
Further, the housing right-
一方、筐体左側回動部23も、筒状に形成されており、内部に右スピーカ28と同様構成及び同様形状の左チャンネル用の第2のスピーカ(以下、これを左スピーカと呼ぶ)29が円形の振動板の正面のみを左側縁部23Aの開口から露出させて収納されている。従って筐体左側開閉部25は、ヒンジ部27を介して回転して、開口縁部25Aを筐体左側回動部23の左側縁部23Aに当接させて閉じた場合、左スピーカ29の振動板を外部から隠すことができる。また筐体左側開閉部25は、ヒンジ部27を介して回転して、開口縁部25Aを筐体左側回動部23の左側縁部23Aから離間させるように開いた場合、左スピーカ29の振動板の正面を外部に露出させ得るようになされている。
On the other hand, the housing left
また図7に示すように、筐体右側回動部22は、筐体左側回動部23とは独立して回動し得るようになされている。そして筐体右側回動部22は、筐体右側開閉部24の開閉動作からも独立して回動し得るようになされている。また筐体左側回動部23も、筐体左側開閉部25の開閉動作から独立して回動し得るようになされている。
Further, as shown in FIG. 7, the housing right
これに加えて図4(A)及び(B)並びに図5に示すように、筐体中央部21の右側端部には、当該筐体中央部21の最大外径よりも大きい所定外径を有する円環形状の右側車輪30が水平回動軸線L1を中心にして軸回り一方向D1及び軸回り他方向に回動可能に枢支されている。また筐体中央部21の左側端部には、右側車輪30と同様形状及び同様外形の左側車輪31が水平回動軸線L1を中心にして軸回り一方向D1及び軸回り他方向に回動可能に枢支されている。これら右側車輪30及び左側車輪31は、それぞれが回転して回転楕円体状筐体20を自走させるためのものであり、当該右側車輪30と左側車輪31とは独立して回動し得るようになされている。
In addition to this, as shown in FIGS. 4A and 4B and FIG. 5, the right end of the housing
そして筐体中央部21内には、内壁所定位置にバッテリ等でなる重り32が固定されている。また筐体中央部21は、回転楕円体状筐体20の中心点P1から右側端部(すなわち、右側車輪30)までの距離と、当該回転楕円体状筐体20の中心点P1から左側端部(すなわち、左側車輪31)までの距離とがほぼ等しい所定距離に選定されている。さらに筐体右側回動部22及び筐体左側回動部23は、互いに同じ形状でなり、互いの幅がほぼ等しい所定幅に選定されている。さらに筐体右側開閉部24及び筐体左側開閉部25も、互いに同じ形状でなり、それぞれ開口縁部24A及び25Aから表面の頂点P2及びP3までの幅がほぼ等しい所定長さに選定されている。すなわち回転楕円体状筐体20は、当該回転楕円体状筐体20の中心P1を通り、水平回動軸線L1を垂線とする仮想平面(図示せず)に対し左右が面対称に形成されている。
A
このため回転楕円体状筐体20は、机の天板や床等(以下、これらをまとめて床と呼ぶ)に載上される場合、筐体中央部21の最大外形部分の外周面を当該床の表面から僅かに離間させ、かつ水平回動軸線L1を床の表面と並行にした姿勢で右側車輪30及び左側車輪31により支持される。これに加えて回転楕円体状筐体20は、筐体中央部21内の重り32により当該筐体中央部21の重心が中心点P1から内壁寄りにずれているため、床に載上された場合、当該重り32を鉛直下側に位置させた(すなわち、重り32部分でなる重心を床の表面に極力近づけた)姿勢(以下、これを基準姿勢と呼ぶ)となる。そして筐体中央部21内の重り32は、その重さが比較的重く選定されている。従って回転楕円体状筐体20は、右側車輪30及び左側車輪31によって支持された状態で床に載上された場合、筐体右側開閉部24及び筐体左側開閉部25がそれぞれ独立して任意の角度に開かれ、また当該筐体右側開閉部24及び筐体左側開閉部25がそれぞれ独立して開かれた状態で筐体右側回動部22及び筐体左側回動部23がそれぞれ独立して回転しても、右側及び左側等に傾くことなく基準姿勢を維持することができる。
For this reason, when the
また回転楕円体状筐体20は、床の上を右側車輪30及び左側車輪31の回転により自走する場合も、筐体中央部21内の重り32により当該筐体中央部21の重心が中心点P1から内壁寄りにずれているため、当該筐体中央部21が水平回動軸線L1を中心にして軸回り一方向D1及び軸回り他方向に回転することを抑制し得るようになされている。さらに回転楕円体状筐体20は、重り32が比較的重いため、自走する際に筐体右側開閉部24及び筐体左側開閉部25がそれぞれ独立して任意の角度に開かれ、また当該筐体右側開閉部24及び筐体左側開閉部25がそれぞれ独立して開かれた状態で筐体右側回動部22及び筐体左側回動部23がそれぞれ独立して回転しても、右側及び左側等にほとんど傾くことなく基準姿勢をほぼ維持することができる。
Further, even when the
これに加えて筐体中央部21の表面には、基準姿勢で上側となる位置に、指や手等が接触したことを検知するための接触検知センサ部33が設けられている。かかる接触検知センサ部33は、例えば、筐体中央部21の表面における指先大の領域に接触した指や手等を検知するようになされている。また右側車輪30の右側には、光を発する環状の右側発光部34が設けられている。さらに左側車輪31の左側にも、右側発光部34と同様構成の光を発する環状の左側発光部35が設けられている。そしてかかる右側発光部34及び左側発光部35は、それぞれ全体や一部、また発光色等のように発光状態を可変して発光し得るようになされている。
In addition to this, a contact
次に、図8を用いてロボット装置11の機能構成について説明する。かかるロボット装置11は、各部を統括的に制御する主制御部40と、データ記憶再生装置12と通信する通信部41と、データ記憶再生装置12から与えられる楽曲データ及びモーションデータを記憶する記憶部42と、楽曲データを再生する再生部43と、再生部43により楽曲データを再生して得られた音楽を出力する出力部としての上述した右スピーカ28及び左スピーカ29と、ロボット装置11の可動部としての上述した筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30及び左側車輪31と、ロボット装置11の発光部としての上述した右側発光部34及び左側発光部35と、ユーザの操作を受け付ける操作部としての接触検知センサ部33と、これら可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)、発光部(34、35)及び接触検知センサ部33を制御する駆動制御部44と、ロボット装置11に印加される加速度を検出する加速度検出部45とで構成される。
Next, the functional configuration of the
ロボット装置11の主制御部40は、このロボット装置11が床に載置された状態において、接触検知センサ部33に指や手等が接触することでロボット装置11の主電源が入れられると、右側発光部34及び左側発光部35を所定の発光パターンで発光させて起動したことをユーザに通知する。
When the
そして主制御部40は、データ記憶再生装置12から楽曲データ及びモーションデータが送信されると、これら楽曲データ及びモーションデータを通信部41で受信する。
When the music data and motion data are transmitted from the data storage /
ここで、例えば図9に示すように、モーションデータMDは、このモーションデータMDに対応する楽曲データGDが再生処理されたときの処理時間軸TX1に合わせて、例えば楽曲データGDに基づく音楽のビートの位置(以下、これをビート位置と呼ぶ)を基準として可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれをビート位置に区切られるビート区間Btを単位として所定の動作で動かすためのデータであり、楽曲データを識別する楽曲識別情報(例えば楽曲データのタイトルやアーティスト名)が含まれていることで楽曲データと対応付けられている。
Here, as shown in FIG. 9, for example, the motion data MD is a beat of music based on the music data GD, for example, in accordance with the processing time axis TX1 when the music data GD corresponding to the motion data MD is reproduced. (Referred to below as the beat position) as movable parts (casing right
このモーションデータMDは、例えば、楽曲データGDの中で、前奏が流れるパートである前奏区間SC1、メインの旋律が流れるパートであるAメロ区間SC2、サビに至る前の溜め(ワビ)の旋律が流れるパートであるBメロ区間SC3、楽曲データGDのサビが流れるパートであるサビ区間SC4及び楽曲データGDの間奏が流れるパートである間奏区間SC5といった、連続する複数のビート区間Btのまとまりでなる音楽区間ごとの音楽の特徴に合わせた動作で、ロボット装置11の可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれを動かすようになされている。
The motion data MD includes, for example, a prelude section SC1 which is a part in which the prelude flows in the music data GD, an A melody section SC2 which is a part in which the main melody flows, and the melody of the sump (wabi) before reaching the chorus. Music composed of a group of a plurality of continuous beat sections Bt, such as a B melody section SC3 that is a flowing part, a rust section SC4 that is a part where rust of music data GD flows, and an interlude section SC5 that is a part where music data GD plays an interlude The movement of the
主制御部40は、楽曲データGD及びモーションデータMDを通信部41により受信すると、これら楽曲データGD及びモーションデータMDを楽曲識別情報により対応付けて、記憶部42に記憶されている再生プレイリストに登録するようにして記憶部42に記憶する。このようにして記憶部42には、楽曲データGD及びこの楽曲データGDに対応するモーションデータMDの組が1つ又は複数記憶される。
When the
このように記憶部42に楽曲データGD及びモーションデータMDを記憶した状態で、主制御部40は、ロボット装置11がユーザに掴まれて振られたことを加速度検出部45で検出すると、楽曲及びモーションを再生する要求(以下、これを楽曲及びモーション再生要求と呼ぶ)が入力されたと認識して、記憶部42から再生プレイリストを読み出し、この再生プレイリストに記載されている順に楽曲データGD及びこの楽曲データGDに対応するモーションデータMDを読み出す。そして主制御部40は、楽曲データGDを再生部43に送出すると共に、モーションデータMDを駆動制御部44に送出する。
When the
再生部43は、主制御部40から楽曲データGDが与えられると、楽曲データGDに対し所定の再生処理を施して、楽曲データGDに基づく音楽を右スピーカ28及び左スピーカ29から出力する。
When the music data GD is given from the
一方で駆動制御部44は、主制御部40からモーションデータMDが与えられると、再生部43による楽曲データGDの再生処理と並行して、モーションデータMDに応じた動作で可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれを動かす。
On the other hand, when the motion data MD is given from the
そして主制御部40は、楽曲データGD及びモーションデータMDの再生が終了すると、現時点で再生していた楽曲データGD及びモーションデータMDの次に再生プレイリストに記載されている楽曲データGD及びモーションデータMDを記憶部42から読み出して順次再生することを繰り返す。
When the reproduction of the music data GD and the motion data MD is finished, the
このようにしてロボット装置11は、楽曲データGDの再生に合わせるようにして、モーションデータMDに応じた動作で可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれを動かすことができ、あたかもロボット装置11が音楽に合わせて踊りを踊っているかのように見せることができる。
In this way, the
(1−2−3)データ記憶再生装置の構成
次に、上述したモーションデータ生成システム10におけるデータ記憶再生装置12の機能構成について説明する。
(1-2-3) Configuration of Data Storage / Reproduction Device Next, a functional configuration of the data storage /
データ記憶再生装置12は、図10に示すように、各部を統括的に制御する制御部50と、ユーザによる操作を受け付ける操作部51と、楽曲データGD、モーションデータMD及びモーションパーツデータを記憶する記憶部52と、このデータ記憶再生装置12での処理に関する内容を表示する表示部53と、楽曲データGDを再生する再生部54と、再生部54による楽曲データGDの再生の結果として得られる音楽を出力する出力部55と、ロボット装置11と通信接続する外部接続部56A及びネットワークNTを介してモーションパーツ提供サーバ13と通信接続するネットワーク接続部56Bを有する通信部56と、楽曲データGDを解析して楽曲データGDに基づく音楽の特徴を得る楽曲解析部57と、モーションパーツデータをつなぎ合わせてモーションデータMDを生成するモーション生成部58とで構成される。
As shown in FIG. 10, the data storage /
データ記憶再生装置12の制御部50は、ユーザにより操作部51を介して、メディアに記録された楽曲データを録音するための操作命令が入力されると、データ記憶再生装置12に装填された図示しないメディアから楽曲データGDを読み出すと共に、当該読み出した楽曲データGDを記憶部52に送出して記憶する(以下、このようにメディアから楽曲データGDを読み出して記憶することを、リッピングと呼ぶ)。
The
また制御部50は、ユーザにより操作部51を介して、所望の楽曲データGDを購入要求するための操作命令が入力されると、これに応じて通信部56のネットワーク接続部56Bを介してネットワーク上の楽曲及びモーションパーツ提供サーバ13にアクセスし所望の楽曲データを購入要求する。そして制御部50は、楽曲及びモーションパーツ提供サーバ13で課金処理が実行された結果、この楽曲及びモーションパーツ提供サーバ13から返信される楽曲データGDをネットワーク接続部56Bを介して受信して記憶部52に記憶する。
In addition, when an operation command for requesting purchase of desired music data GD is input by the user via the
このようにしてデータ記憶再生装置12には、記憶部52に対し、多数の楽曲データGDを記憶し得るようになされている。
In this way, the data storage /
一方、モーションデータ生成システム10では、複数のモーションパーツデータをつなぎ合わせることで、楽曲データGDに対応するモーションデータMDを生成できるようになされている。
On the other hand, the motion
ここで、データ記憶再生装置12が、楽曲及びモーションパーツ提供サーバ13から複数のモーションパーツデータを取得して、ユーザの指示に応じ、これら複数のモーションパーツデータをつなぎ合わせてモーションデータMDを生成する方法について詳しく説明する。
Here, the data storage /
データ記憶再生装置12の制御部50は、ユーザの指示に応じ、ユーザにより操作部51を介して、モーションデータMDを生成するための複数のモーションパーツデータの一括取得要求が入力されると、これに応じて通信部56のネットワーク接続部56Bを介してネットワーク上の楽曲及びモーションパーツ提供サーバ13にアクセスして、複数のモーションパーツデータを一括取得要求する。そして制御部50は、楽曲及びモーションパーツ提供サーバ13に対して複数のモーションパーツデータを一括取得要求した結果、この楽曲及びモーションパーツ提供サーバ13から返信される複数のモーションパーツデータをネットワーク接続部56Bを介して受信する。
In response to a user instruction, the
ここで、モーションパーツデータは、楽曲及びモーションパーツ提供サーバ13において、既存のモーションデータMDから切り出されたものであり、このモーションパーツデータに関連する関連情報がメタデータとして付加されている。ちなみに、モーションデータMDからのモーションパーツデータの切り出しについては後述する。
Here, the motion part data is extracted from the existing motion data MD in the music and motion
また本実施の形態においてこのモーションパーツデータは、一例として、4個分のビート区間Btで形成されたモーションパーツデータ(以下、これを4ビートモーションパーツデータとも呼ぶ)と、8個分のビート区間Btで形成されたモーションパーツデータ(以下、これを8ビートモーションパーツデータとも呼ぶ)との2種類があるものとする。 In this embodiment, the motion part data includes, for example, motion part data formed by 4 beat sections Bt (hereinafter also referred to as 4 beat motion part data) and 8 beat sections. It is assumed that there are two types of motion part data formed of Bt (hereinafter also referred to as 8-beat motion part data).
図11に示すように、4ビートモーションパーツデータMPAは、ロボット装置11の可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれを4個分のビート区間Btの間だけ所定の動作で動かすためのデータである。また8ビートモーションパーツデータMPBは、ロボット装置11の可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれを8個分のビート区間Btの間だけ所定の動作で動かすためのデータである。そしてこれら4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBには、メタデータMTが付加されている。
As shown in FIG. 11, the 4-beat motion part data MPA includes the movable parts of the robot apparatus 11 (the housing right
このメタデータMTには、図12に示すように、例えば、タイトル、アーティスト、アルバム、ジャンル、作曲者、作詞者、演奏者、といったような、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBの切り出し元であるモーションデータMDに対応する楽曲データGDを識別するための楽曲識別情報GIDが含まれている。 As shown in FIG. 12, the metadata MT includes, for example, 4-beat motion part data MPA and 8-beat motion part data MPB such as title, artist, album, genre, composer, lyricist, and performer. Music identification information GID for identifying music data GD corresponding to the motion data MD that is the cut-out source is included.
またメタデータMTには、例えば、モーションパーツ分類(例:曲開始用、前奏用、歌い出し用、Aメロ用、サビ用・・・)、雰囲気(例:静かな、激しい・・・)、音楽区間分類(例:前奏区間、Aメロ区間、Bメロ区間、サビ区間・・・)、曲調(例:ハ長調、イ短調・・・)、打楽器の度合い(音楽の中で打楽器の占める度合い)、メロディーの度合い(音楽の中でメロディーの占める度合い)、コーラスの頻度(音楽の中でコーラスが挿入される頻度)といったような、特徴解析情報TIDが含まれている。この特徴解析情報TIDは、楽曲データGDの中で、モーションデータMDから切り出した4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBに対応する部分の複数のビート区間Btの解析結果として得られるものである。 The metadata MT includes, for example, motion parts classification (for example, for song start, prelude, for singing, for A melody, for rust ...), atmosphere (for example, quiet, intense ...), Music section classification (eg: prelude section, A melody section, B melody section, chorus section ...), tune (eg, C major, a minor ...), degree of percussion instrument (degree of percussion instrument in music) ), The degree of melody (the degree that the melody occupies in the music), and the frequency of the chorus (the frequency with which the chorus is inserted in the music). This characteristic analysis information TID is obtained as an analysis result of a plurality of beat sections Bt in a portion corresponding to 4-beat motion part data MPA and 8-beat motion parts data MPB extracted from the motion data MD in the music data GD. It is.
さらにメタデータMTには、例えば、切り出し開始時間や切り出し終了時間のような、モーションデータMDの処理時間軸TX1(図9)上のどの位置から4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBが切り出されたかを示す切り出し位置情報CIDが含まれている。 Further, the metadata MT includes, for example, the 4-beat motion part data MPA and the 8-beat motion part data MPB from any position on the processing time axis TX1 (FIG. 9) of the motion data MD such as the cut start time and the cut end time. Cutout position information CID indicating whether or not is cut out is included.
データ記憶再生装置12の制御部50は、このような4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを受信すると、図13に示すように、4ビートモーションパーツデータMPAを4ビートモーションデータベースMDB1に登録するようにして記憶部52に記憶すると共に、図14に示すように、8ビートモーションパーツデータMPBを8ビートモーションデータベースMDB2に登録するようにして記憶部52に記憶する。
When the
この4ビートモーションデータベースMDB1(図13)には、4ビートモーションパーツデータMPAが、この4ビートモーションパーツデータMPAに付加されているメタデータMTの楽曲識別情報GID、特徴解析情報TID及び切り出し位置情報CIDに対応付けて登録されており、この4ビートモーションデータベースMDB1自体も記憶部52に記憶されている。
In this 4-beat motion database MDB1 (FIG. 13), 4-beat motion part data MPA includes music identification information GID, feature analysis information TID, and cut-out position information of metadata MT added to the 4-beat motion parts data MPA. The 4-beat motion database MDB1 itself is also stored in the
具体的に言うと、4ビートモーションデータベースMDB1には、例えば4ビートモーションパーツデータMPA01に対して、タイトル「インセクトワールド」、アーティスト「Mr.Adults」、アルバム「Symbolic Heart」、ジャンル「ロック」、作曲者「桜丼和利」、作詞者「桜丼和利」及び演奏者「桜丼和利、他」のような楽曲識別情報GIDが登録され、モーションパーツ分類「曲開始用」、雰囲気「華やか」、音楽区間分類「前奏区間」、曲調「ト長調(明るい)」、打楽器の度合い「小」、メロディーの度合い「大」及びコーラスの頻度「無」のような特徴解析情報TIDが登録され、切り出し開始時間「0:03」及び切り出し終了時間「0:08」のような切り出し位置情報CIDが登録されている。他の、4ビートモーションパーツデータMPA02・・・4ビートモーションパーツデータMPA0Nについても同様である。 Specifically, 4 to beat motion database MDB1, with respect to, for example, four beat motion parts data MPA 01, the title "Insect World", the artist "Mr.Adults", album "Symbolic Heart", the genre "rock", Music identification information GIDs such as composer “Kazuto Sakurajo”, songwriter “Kazuto Sakurajo” and performer “Kazuto Sakurajo, etc.” are registered, motion parts classification “for song start”, atmosphere “ Characteristic analysis information TID such as “Hayaka”, music segment classification “prelude segment”, tune “G major (bright)”, percussion instrument degree “small”, melody degree “large” and chorus frequency “none” are registered, Cutout position information CID such as cutout start time “0:03” and cutout end time “0:08” is registered. The same applies to the other 4 beat motion part data MPA 02 ... 4 beat motion part data MPA 0N .
また8ビートモーションデータベースMDB2(図14)には、8ビートモーションパーツデータMPBが、この8ビートモーションパーツデータMPBに付加されているメタデータMTの楽曲識別情報GID、特徴解析情報TID及び切り出し位置情報CIDに対応付けて登録されており、この8ビートモーションデータベースMDB2自体も記憶部52に記憶されている。
Further, in the 8-beat motion database MDB2 (FIG. 14), 8-beat motion part data MPB includes music identification information GID, feature analysis information TID, and cut-out position information of metadata MT added to the 8-beat motion part data MPB. The 8-beat motion database MDB2 itself is stored in the
具体的に言うと、8ビートモーションデータベースMDB2には、例えば8ビートモーションパーツデータMPB01に対して、タイトル「マロン飛行」、アーティスト「※※クラブ」、アルバム「太陽」、ジャンル「バラード」、作曲者「サーモンスモーク岩井」、作詞者「サーモンスモーク岩井」及び演奏者「サーモンスモーク岩井、他」のような楽曲識別情報GIDが登録され、モーションパーツ分類「歌い出し用」雰囲気「盛り上がり」、音楽区間「前奏区間→Aメロ区間」、曲調「ニ短調(暗い)」、打楽器の度合い「中」、メロディーの度合い「中」及びコーラスの頻度「小」のような特徴解析情報TIDが登録され、切り出し開始時間「2:15」及び切り出し終了時間「2:25」のような切り出し位置情報CIDが登録されている。他の、8ビートモーションパーツデータMPB02・・・8ビートモーションパーツデータMPB0Nについても同様である。 More specifically, in the 8-beat motion database MDB2, for example, the title “Maron Flying”, the artist “** Club”, the album “Sun”, the genre “ballad”, the composition for the 8-beat motion parts data MPB 01 Music identification information GIDs such as “Salmon Smoke Iwai”, songwriter “Salmon Smoke Iwai” and performer “Salmon Smoke Iwai, etc.” are registered, motion parts classification “for singing” atmosphere “swell”, music section Feature analysis information TID such as “prelude section → A melody section”, melody “d minor (dark)”, percussion instrument level “medium”, melody level “medium” and chorus frequency “low” are registered and cut out. Cutout position information CID such as start time “2:15” and cutout end time “2:25” is registered. It is. The same applies to the other 8-beat motion part data MPB 02 ... 8 beat motion part data MPB 0N .
このような4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを記憶部52に記憶した状態で、データ記憶再生装置12の制御部50は、ユーザにより操作部51を介して記憶部52内の楽曲データGDが指定され、この楽曲データGDに対応するモーションデータMDを生成するモーション生成要求が入力されると、指定された楽曲データGDを記憶部52から読み出して楽曲解析部57に送出する。
With the 4-beat motion parts data MPA and 8-beat motion parts data MPB stored in the
楽曲解析部57は、制御部50から楽曲データGDが与えられると、この楽曲データGDを音楽の処理時間軸TX1(図9)に沿って所定の単位処理部分に分けると共に、単位処理部分から1オクターブの12音階それぞれに相当する周波数帯域毎のエネルギーを抽出する。その結果、楽曲解析部57は、楽曲データGDの全体に亘って周波数帯域毎のエネルギーを抽出すると、当該周波数帯域毎のエネルギーをもとに音楽のビート位置を検出すると共に、検出したビート位置を区切りとするビート区間Btごとの、例えば、雰囲気、音楽区間分類、曲調、打楽器の度合い、メロディーの度合い、コーラスの頻度といったような音楽の特徴(以下、これをビート区間特徴とも呼ぶ)を得て、これをビート位置とともに制御部50に送出する。
When the music data GD is given from the
制御部50は、楽曲解析部57から楽曲データGDの1曲分の複数のビート区間特徴とビート位置とを得ると、図15に示すように、モーションパーツデータをつなぎ合わせてモーションデータMDを生成するためのモーション編集画面SSを表示部53に表示させる。
When the
この編集画面SSは、例えば、ロボット装置11の動きを模式的に示すシミュレート画像SGを配置したシミュレート欄SRと、再生ボタンB1、停止ボタンB2、早送りボタンB3、早戻しボタンB4及びモーションデータ生成ボタンB5の各操作ボタンを配置した操作ボタン欄BRと、楽曲データGDを再生処理したときの楽曲タイムラインGTLと、ビート位置により区切られる連続するビート区間Btのそれぞれに対応するビート区間特徴によって特定される楽曲データGDの音楽区間およびこの音楽区間毎の雰囲気を示す区間タイムラインKTLと、4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを配置してモーションデータMDを生成するためのモーションタイムラインMTLと、モーションタイムラインMTLに配置するための4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBの一覧を選択用に示すモーションパーツ選択欄MPRとで構成される。
The editing screen SS includes, for example, a simulation field SR in which a simulated image SG schematically showing the movement of the
ここで、楽曲タイムラインGTL、区間タイムラインKTL及びモーションタイムラインMTL(以下、これらをまとめてタイムライン群とも呼ぶ)には、同一のビート区間Btにまたがって編集ラインHが配置される。この編集ラインHは、現時点で4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを割り当てることが可能な位置(すなわち、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBの編集位置)を示している。また、編集ラインHが示す位置に4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBが割り当てられると、編集ラインHは、それに応じて、割り当てられた4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBの後に移動して、次の編集位置を示すようになされている。 Here, in the music timeline GTL, the section timeline KTL, and the motion timeline MTL (hereinafter collectively referred to as a timeline group), the editing line H is arranged across the same beat section Bt. This edit line H indicates a position to which 4 beat motion part data MPA and 8 beat motion part data MPB can be allocated at present (that is, edit position of 4 beat motion part data MPA and 8 beat motion part data MPB). ing. Further, when 4 beat motion part data MPA or 8 beat motion part data MPB is assigned to the position indicated by the edit line H, the edit line H is assigned with the assigned 4 beat motion part data MPA or 8 beat motion part accordingly. It moves after the data MPB to indicate the next editing position.
またモーションパーツ選択欄MPRには、区間タイムラインKTLに表示されている「音楽区間」及び「雰囲気」のうち、編集ラインHが位置する「音楽区間(この場合、前奏区間)」及び「雰囲気(この場合、静か)」を示す選択区間情報枠HWが設けられている。さらにモーションパーツ選択欄MPRには、選択区間情報枠HWに表示されている「音楽区間(この場合、前奏区間)」及び「雰囲気(この場合、静か)」に応じて4ビートモーションデータベースMDB1及び8ビートモーションパーツデータベースMDB2から検索された4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBの一覧が表示されるモーションパーツ選択枠MWが設けられている。 In the motion part selection field MPR, among the “music section” and “atmosphere” displayed in the section timeline KTL, the “music section (in this case, the prelude section)” and “atmosphere (in this case, the prelude section)” are located. In this case, a selected section information frame HW indicating “quiet” is provided. Further, in the motion part selection field MPR, the 4-beat motion databases MDB1 and 8 are displayed in accordance with the “music section (in this case, prelude section)” and “atmosphere (in this case, quiet)” displayed in the selected section information frame HW. A motion part selection frame MW for displaying a list of 4-beat motion part data MPA and 8-beat motion part data MPB retrieved from the beat motion parts database MDB2 is provided.
制御部50は、このような編集画面SSを表示部53に表示すると、記憶部52から読み出した楽曲データGDを楽曲タイムラインGTLに配置すると共に、楽曲解析部57から与えられたビート位置で楽曲データGDを区切ってビート区間Btを順次特定し、これらビート区間Btのうちで、1つのビート区間または2以上の連続するビート区間Btそれぞれのビート区間特徴に応じて特定される音楽区間を区間タイムラインKTLに配置する。
When such an editing screen SS is displayed on the
そして制御部50は、現時点の編集ラインHの位置(この場合、タイムライン群の中で楽曲データGDの先頭の位置)に対応する区間タイムラインKTLの「音楽区間(この場合、前奏区間)」及び「雰囲気(この場合、静か)」をモーションパーツ選択欄MPRの選択区間情報枠HWに配置する。
Then, the
また制御部50は、記憶部52に記憶する4ビートモーションデータベースMDB1及び8ビートモーションデータベースMDB2から、選択区間情報枠HWに表示されている「音楽区間(この場合、前奏区間)」及び「雰囲気(この場合、静か)」を含む特徴解析情報TIDを有する4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを読み出して、これらの一覧をモーションパーツ選択枠MWにまとめて配置する。
In addition, the
このとき制御部50は、読み出した4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBの特徴解析情報TIDから、モーションパーツ分類(この場合、曲開始用、前奏用、歌い出し用・・・)を抽出して、対応する4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBと共にモーションパーツ選択枠MWに配置するようになされている。
At this time, the
このようにしてデータ記憶再生装置12は、楽曲データGDの音楽区間(この場合、前奏区間)の特徴に合ったモーションパーツ分類(この場合、曲開始用、前奏用、歌い出し用・・・)のモーションパーツデータの一覧(この場合、4ビートモーションパーツデータMPA02、4ビートモーションパーツデータMPA05、4ビートモーションパーツデータMPA09、・・・8ビートモーションパーツデータMPB01、8ビートモーションパーツデータMPB07、8ビートモーションパーツデータMPB13・・・)を、モーションデータMDの生成用にユーザに提示するようになされている。
In this way, the data storage /
データ記憶再生装置12の制御部50は、モーションパーツデータの一覧をユーザに提示した結果、このユーザにより操作部51を介して、任意のモーションパーツデータ(この場合、一例として曲開始用の4ビートモーションパーツデータMPA05とする)がカーソルCにより選択されると、図16に示すように、選択された4ビートモーションパーツデータMPA05をモーションタイムラインMTL上の前奏区間の先頭から4個分のビート区間Btに割り当てる。
As a result of presenting a list of motion part data to the user, the
そして制御部50は、モーションタイムラインMTL上の残り(すなわち、前奏区間の残り、Aメロ区間、Bメロ区間、サビ区間、間奏区間・・・)についても、上述した前奏区間と同様にして、ユーザにより選択された4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを順次割り当てる。
Then, the
このようにしてデータ記憶再生装置12は、モーションタイムラインMTL上の全てが埋まるまで、ユーザにより選択された4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBをモーションタイムラインMTL上に割り当てることを繰り返すようになされている。
In this way, the data storage /
制御部50は、ユーザの選択操作に応じ、モーションタイムラインMTL上の全ての音楽区間に4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを割り当てた状態で、ユーザにより操作部51を介して、例えば、編集画面SSの操作ボタン欄BRの再生ボタンB1がカーソルCにより選択されると、これに応じて楽曲データGDを再生部56に送出する。
The
再生部56は、制御部50から楽曲データGDが与えられると、楽曲データGDに対し所定の再生処理を施して、楽曲データGDに基づく音楽を出力部57から出力する。
When the music data GD is given from the
一方で制御部50は、図17に示すように、再生部56による楽曲データGDの再生処理と並行して、モーションタイムラインMTL上に割り当てられた一連の4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBに応じた動作でロボット装置11可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれを動かしたときのシミュレート画像SGを生成し、これを編集画面SSのシミュレート欄SRに順次配置する。
On the other hand, as shown in FIG. 17, the
このようにしてデータ記憶再生装置12は、モーションタイムラインMTL上に割り当てられた一連の4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBに応じた動作でロボット装置11が可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれを動かした場合の動きを、編集画面SS上の連続的に変化するシミュレート画像SG(すなわち、シミュレート動画像)で示しながら、この楽曲データGDに基づく音楽を出力部57から聞かせることができる(すなわち、楽曲データGD及び一連の4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBをシミュレート再生して出力できる)。その結果、データ記憶再生装置12では、ロボット装置11に対し、楽曲データGD及び一連の4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを転送して実際に音楽に合わせて踊りを躍らせるような手間をかけなくても、ロボット装置11がどのように踊るのかをユーザに提示して確認させることができる。
In this way, the data storage /
データ記憶再生装置12の制御部50は、ユーザに対してシミュレート再生した結果、この内容でモーションデータMDを生成したいと所望したユーザにより、操作部51を介して、編集画面SSの操作ボタン欄BRのモーションデータ生成ボタンB5が選択操作されると、これに応じて、編集画面SSのモーションタイムラインMTLに割り当てられている4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを、楽曲データGDの先頭側から順にモーション生成部58に送出すると共に、楽曲データGDをモーション生成部58に送出する。
The
モーション生成部58は、制御部50から4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBが与えられると、これらを順につなぎ合わせることで1つのモーションデータMDを生成すると共に、生成したモーションデータMDに対して制御部50から与えられた楽曲データGDの楽曲識別情報GIDを付加することで楽曲データGDと対応付ける。そしてモーション生成部58は、このように生成したモーションデータMDを制御部50に送出する。
When the 4-beat motion part data MPA and the 8-beat motion part data MPB are given from the
制御部50は、モーション生成部58からモーションデータMDが与えられると、このモーションデータMDに付加されている楽曲識別情報により楽曲データGDと対応付けるようにして記憶部52に記憶する。
When the motion data MD is given from the
このようにしてデータ記憶再生装置12は、ユーザに対し、楽曲データGDの音楽区間毎の特徴に合ったモーションパーツデータの一覧を提示し、その提示した中から所望のモーションパーツデータを選択させることを繰り返させるだけで、楽曲データGDの特徴に合ったモーションデータMDを生成することができる。
In this way, the data storage /
つづいて、データ記憶再生装置12が、楽曲データGD及びモーションデータMDをロボット装置11に送信する手法について説明する。
Next, a method in which the data storage /
データ記憶再生装置12の制御部50は、通信部56の外部接続部56Aにロボット装置11が接続された状態で、ユーザにより操作部51を介して記憶部52内の楽曲データGDが指定され、指定された楽曲データGDと、この楽曲データGDに対応するモーションデータMDとをロボット装置11に転送するデータ転送命令が入力されると、記憶部52から、ユーザ所望の楽曲データGDとこの楽曲データGDに対応付けられているモーションデータMDとを読み出す。そして制御部50は、読み出した楽曲データGD及びモーションデータMDを、通信部56のネットワーク接続部56Bを介してロボット装置11に送信する。
The
このようにしてデータ記憶再生装置12は、ロボット装置11に対し、ユーザ所望の楽曲データGD及びこの楽曲データGD用のモーションデータMDを送信するようになされている。その結果、ロボット装置11は、上述したように、ユーザの指示に応じて、音楽に合わせた踊りを踊ることができる。
In this way, the data storage /
つづいて、データ記憶再生装置12が、自身に記憶するモーションデータMDを楽曲及びモーションパーツ提供サーバ13にアップロードする手法について説明する。
Next, a method in which the data storage /
データ記憶再生装置12の制御部50は、記憶部52にモーションデータMDを記憶した状態で、ユーザにより操作部51を介して記憶部52内のモーションデータMDが指定され、このモーションデータMDを楽曲及びモーションパーツ提供サーバ13へアップロードするアップロード要求が入力されると、指定されたモーションデータMDを記憶部52から読み出す。
The
そして制御部50は、通信部56のネットワーク接続部56Bを介してネットワーク上の楽曲及びモーションパーツ提供サーバ13にアクセスし、読み出したモーションデータMDを送信する。このようにしてデータ記憶再生装置12は、楽曲及びモーションパーツ提供サーバ13に対して、このデータ記憶再生装置12で生成したモーションデータMDをアップロードするようになされている。
And the
(1−2−4)楽曲及びモーションパーツ提供サーバの構成
次に、上述したモーションデータ生成システム10の主要部となるモーションパーツ提供サーバ13の機能構成について説明する。
(1-2-4) Configuration of Music and Motion Parts Providing Server Next, a functional configuration of the motion
図18に示すように、楽曲及びモーションパーツ提供サーバ13は、各部を統括的に制御する制御部60と、ネットワークNTを介してデータ記憶再生装置12と通信接続する通信部61と、複数の楽曲データGDを記憶する記憶部62と、楽曲データGDを解析して音楽の特徴を得る楽曲解析部63と、モーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すモーションパーツ切り出し部64とで構成される。
As shown in FIG. 18, the music and motion
制御部60は、記憶部62に複数の楽曲データGDを記憶した状態で、ネットワークNTを介してデータ記憶再生装置12から送信される楽曲データGDの購入要求を通信部61により受け付けると、所定の課金処理を実行した後、購入要求された楽曲データGDを記憶部62から読み出して通信部61によりデータ記憶再生装置12へ送信する。このようにして楽曲及びモーションパーツ提供サーバ13は、データ記憶再生装置12に対して楽曲データGDを提供するようになされている。
When the
また制御部60は、記憶部62に複数の楽曲データGDを記憶した状態で、ネットワークNTを介してデータ記憶再生装置12や他のデータ記憶再生装置からモーションデータMDが送信(すなわちアップロード)されると、このモーションデータMDを通信部61で受信する。そして制御部60は、受信したモーションデータMDに付加されている楽曲識別情報GIDにより、既に記憶している楽曲データGDと対応付けるようにして記憶部62に記憶する。このようにして楽曲及びモーションパーツ提供サーバ13は、データ記憶再生装置12や他のデータ記憶再生装置からモーションデータMDをアップロードされるようになされている。
In addition, the
つづいて、楽曲及びモーションパーツ提供サーバ13において、アップロードされたモーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出す方法について詳しく説明する。
Next, a method for cutting out 4-beat motion part data MPA and 8-beat motion part data MPB from uploaded motion data MD in the music and motion
ここで、楽曲及びモーションパーツ提供サーバ13の記憶部62には、モーションデータMDから4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを切り出すための切り出し設定情報が予め記憶されている。
Here, the
図19に示すように、この切り出し設定情報SAには、モーションデータMDからモーションパーツデータを切り出すときの設定が示されている。具体的には、この切り出し設定情報SAには、例えば、「前奏区間の先頭から4ビート区間分を曲開始用の4ビートモーションパーツデータMPAとして切り出す」、「前奏区間の先頭から8ビート区間分を曲開始用の8ビートモーションパーツデータMPBとして切り出す」、「前奏区間の先頭から5ビート区間目からの4ビート区間分を前奏用の4ビートモーションパーツデータMPAとして切り出す」、「前奏区間の先頭から9ビート区間目からの8ビート区間分を前奏用の8ビートモーションパーツデータMPBとして切り出す」、「前奏区間の後尾にかけての1ビート区間分とAメロ区間の先頭からの3ビート区間分とを歌い出し用の4ビートモーションパーツデータMPAとして切り出す」、「前奏区間の後尾にかけての2ビート区間分とAメロ区間の先頭からの6ビート区間分とを歌い出し用の8ビートモーションパーツデータMPBとして切り出す」、「Aメロ区間の先頭から4ビート区間目からの4ビート区間分をAメロ用の4ビートモーションパーツデータMPAとして切り出す」、・・・「後奏区間の後尾にかけての8ビート区間分を曲終了用の8ビートモーションパーツデータMPBとして切り出す」のように、楽曲データGDのビート区間毎の解析結果に応じて、モーションデータMDからモーションパーツデータを切り出す設定が具体的に示されている。 As shown in FIG. 19, the cutout setting information SA indicates settings for cutting out motion part data from the motion data MD. Specifically, in the cutout setting information SA, for example, “4 beat sections from the beginning of the prelude section are cut out as 4-beat motion part data MPA for starting music”, “8 beat sections from the beginning of the prelude section Is cut out as 8-beat motion part data MPB for starting a song "," 4 beat sections from the beginning of the prelude section are extracted as 4-beat motion part data MPA from the 5th beat section "," start of the prelude section Cut out 8 beat sections from the 9th beat section as 8 beat motion part data MPB for the prelude "," 1 beat section to the tail of the prelude section and 3 beat sections from the beginning of the A melody section “Cut out as 4-beat motion part data MPA for singing”, “2 bees to the end of the prelude section Cut out the section and the 6-beat section from the beginning of the A melody section as 8-beat motion part data MPB for singing ”,“ A melody for the 4-beat section from the 4th beat section from the beginning of the A melody section Cut out as 4-beat motion part data MPA for use ", ..." Cut out 8 beat sections to the end of the follow-up section as 8 beat motion parts data MPB for ending the song " The setting for extracting motion part data from the motion data MD according to the analysis result for each section is specifically shown.
制御部60は、データ記憶再生装置12からアップロードされたモーションデータMDを記憶部62に記憶すると、記憶したモーションデータMD、このモーションデータMDに対応する楽曲データGD、及び切り出し設定情報SAを記憶部62から読み出す。そして制御部60は、楽曲データGDを楽曲解析部63に送出する。また制御部60は、モーションデータMD及び切り出し設定情報SAをモーションパーツ切り出し部64に送出する。
When the
楽曲解析部63は、制御部60から楽曲データGDが与えられると、この楽曲データGDを音楽の処理時間軸TX1(図9)に沿って所定の単位処理部分に分けると共に、単位処理部分から1オクターブの12音階それぞれに相当する周波数帯域毎のエネルギーを抽出する。その結果、楽曲解析部63は、楽曲データGDの全体に亘って周波数帯域毎のエネルギーを抽出すると、当該周波数帯域毎のエネルギーをもとに音楽のビート位置を検出すると共に、検出したビート位置を区切りとするビート区間Btごとの、例えば、雰囲気、音楽区間分類、曲調、打楽器の度合い、メロディーの度合い、コーラスの頻度、といったようなビート区間特徴を得て、これらビート位置及びビート区間特徴を楽曲データGDと共にモーションパーツ切り出し部64に送出する。
When the music data GD is given from the
モーションパーツ切り出し部64は、制御部60からモーションデータMD及び切り出し設定情報SAが与えられると共に、楽曲解析部63からビート位置、ビート区間特徴及び楽曲データGDが与えられると、図20に示すように、ビート位置に応じて、楽曲データGD全体をビート区間Btで区切る。またモーションパーツ切り出し部64は、各ビート区間Btのビート区間特徴に記載されている音楽区間分類のうち、連続するビート区間Btで、且つ、同じ音楽区間分類のビート区間Btをつなぎ合わせるようにして、楽曲データGDの音楽区間(この場合、前奏区間SC1、Aメロ区間SC2、Bメロ区間SC3、サビ区間SC4、間奏区間SC5・・・)を特定する。
As shown in FIG. 20, when the
そしてモーションパーツ切り出し部64は、切り出し設定情報SAに応じて、モーションデータMDから4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを切り出す。
Then, the motion
具体的には、モーションパーツ切り出し部64は、切り出し設定情報SA(図19)に応じて、例えば、前奏区間の先頭から4ビート区間分を曲開始用の4ビートモーションパーツデータMPAとして切り出したり、前奏区間の後尾にかけての2ビート区間分とAメロ区間の先頭からの6ビート区間分とを歌い出し用の8ビートモーションパーツデータMPBとして切り出したりする。このようにしてモーションパーツ切り出し部64は、切り出し設定情報SAに応じて、モーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すようになされている。
Specifically, the motion parts cutout
モーションパーツ切り出し部64は、モーションデータMDから4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBを切り出すと、モーションデータMDの処理時間軸TX1(図20)上の4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBの切り出し開始位置(すなわち切り出し開始時間)及び終了位置(切り出し終了位置)を特定して切り出し位置情報CIDを生成する。またモーションパーツ切り出し部64は、切り出し元であるモーションデータMDに対応する楽曲データGDの楽曲識別情報GIDを取得する。
When the motion
またモーションパーツ切り出し部64は、モーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すと、これらに対して特徴解析情報TIDを生成する。
Further, when the 4-beat motion part data MPA and 8-beat motion part data MPB are cut out from the motion data MD, the motion part cut-out
具体的には、モーションパーツ切り出し部64は、切り出したのが4ビートモーションパーツデータMPAである場合には、切り出し設定情報SAの中でこの4ビートモーションパーツデータMPAを切り出すために用いた内容(例えば、「前奏区間の先頭から4ビート分を曲開始用の4ビートモーションパーツデータMPAとして切り出す」)からモーションパーツ分類として「曲開始用」を抽出する。そしてモーションパーツ切り出し部64は、抽出したモーションパーツ分類(この場合、「曲開始用」)と、4ビートモーションパーツデータMPAを構成する4個分のビート区間Btのビート区間特徴(すなわち、雰囲気、音楽区間分類、曲調、打楽器の度合い、メロディーの度合い、コーラスの頻度)とに対応する特徴解析情報TIDを生成する。
Specifically, when the cut out is the 4-beat motion part data MPA, the motion part cut-out
一方、モーションパーツ切り出し部64は、切り出したのが8ビートモーションパーツデータMPBである場合には、切り出し設定情報SAの中でこの8ビートモーションパーツデータMPBを切り出すために用いた内容(例えば「前奏区間の後尾にかけての2ビート分とAメロ区間の先頭からの6ビート分とを歌い出し用の8ビートモーションパーツデータMPBとして切り出す」)からモーションパーツ分類として「歌い出し用」を抽出する。そしてモーションパーツ切り出し部64は、抽出したモーションパーツ分類(この場合、「歌い出し用」)と、8ビートモーションパーツデータMPBを構成する8個分のビート区間Btのビート区間特徴(すなわち、雰囲気、音楽区間分類、曲調、打楽器の度合い、メロディーの度合い、コーラスの頻度)とに対応する特徴解析情報TIDを生成する。
On the other hand, if the cut out is the 8-beat motion part data MPB, the motion
そしてモーションパーツ切り出し部64は、これら楽曲識別情報GID、特徴解析情報TID及び切り出し位置情報CIDを格納するようにしてメタデータMTを生成し、切り出した4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBに対してこのメタデータMTを付加する。
Then, the motion
モーションパーツ切り出し部64は、このようにモーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すと、これらを制御部60に送出する。
When the motion
制御部60は、モーションパーツ切り出し部64から4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBが与えられると、これらを記憶部62に記憶する。
When the 4-beat motion parts data MPA and the 8-beat motion parts data MPB are given from the motion
このようにして楽曲及びモーションパーツ提供サーバ13は、モーションデータMDを新たに取得する毎に、このモーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを自動で切り出すことを繰り返し、記憶部62に対して多数記憶するようになされている。
In this way, each time the music and motion
続いて、データ記憶再生装置12に対して4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを送信する方法について説明する。
Next, a method for transmitting 4-beat motion part data MPA and 8-beat motion part data MPB to the data storage /
楽曲及びモーションパーツ提供サーバ13の制御部60は、記憶部62に複数の4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを記憶した状態で、ネットワークNTを介してデータ記憶再生装置12からモーションパーツデータを一括取得要求されると、その時点で記憶部62に記憶している4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBの全てを読み出して、これを通信部61によりデータ記憶再生装置12へ送信する。
The
このようにしてモーションパーツ提供サーバ13は、データ記憶再生装置12からモーションパーツデータを要求されると、記憶部62に記憶している4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBをまとめてデータ記憶再生装置12に提供するようになされている。
In this way, when the motion
ここまで説明したように、この第1の実施の形態におけるモーションデータ生成システム10では、楽曲及びモーションパーツ提供サーバ13が、モーションデータMDを新たに取得すると、このモーションデータMDに対応する楽曲データGDを解析してビート位置を検出するとともに、ビート位置により区切られる楽曲データの複数のビート区間Btそれぞれの特徴を示すビート区間特徴を得る。そして楽曲及びモーションパーツ提供サーバ13は、このようにして得たビート区間Btそれぞれのビート区間特徴に応じて、4個分または8個分のビート区間Btに対応する部分を4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBとしてモーションデータMDから切り出し、この切り出した4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBに対し、4個分または8個分のビート区間Btのビート区間特徴から生成した特徴解析情報TIDを付加するようにした。
As described above, in the motion
その結果、モーションデータ生成システム10において、楽曲及びモーションパーツ提供サーバ13から4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを取得したデータ記憶再生装置12では、任意の楽曲データ用GD用のモーションデータMDを新たに作るときに、楽曲データGDの音楽区間毎の特徴に対応する特徴解析情報TIDを有する4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを選ばせて、その結果としてユーザが選んだモーションパーツデータをつなぎ合わせるだけでモーションデータ生成することができ、楽曲データGDの特徴に合わせてモーションデータMDを容易に生成することができる。
As a result, in the motion
(1−2−5)モーションパーツ切り出し処理手順
ここで、上述したモーションデータ生成システム10において、データ記憶再生装置12が4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBをつなぎ合わせて新たにモーションデータMDを生成するときの処理手順(以下、これをモーションデータ生成処理手順とも呼ぶ)について、図21に示すシーケンスチャートを用いて説明する。ちなみに、このモーションデータ生成処理手順は、主としてデータ記憶再生装置12の制御部50、通信部56、楽曲解析部57及びモーション生成部58と、モーションパーツ提供サーバ13の制御部60、通信部61、楽曲解析部63及びモーションパーツ切り出し部64によって実行される処理の手順である。
(1-2-5) Motion Part Cutout Processing Procedure Here, in the motion
データ記憶再生装置12の制御部50は、ユーザにより、モーションデータMDを生成するための複数のモーションパーツデータの一括取得要求が入力されると、このモーションデータ生成処理手順のステップSP1において、楽曲及びモーションパーツ提供サーバ13にアクセスして、複数のモーションパーツデータを一括取得要求する。
When the user inputs a batch acquisition request for a plurality of motion part data for generating motion data MD, the
一方、楽曲及びモーションパーツ提供サーバ13の制御部60は、ステップSP11において、データ記憶再生装置12や他のデータ記憶再生装置からモーションデータMDがアップロードされたか否かを常に判別している。このステップSP11において肯定結果が得られると、このことは、新たなモーションデータMDがアップロードされたことを示しており、このとき楽曲及びモーションパーツ提供サーバ13の制御部60は、次のステップSP12に移る。
On the other hand, the
これに対し、ステップSP11において否定結果が得られると、このことは、新たなモーションデータMDが未だアップロードされていないことを示しており、このとき楽曲及びモーションパーツ提供サーバ13の制御部60は、ステップSP11の処理を繰り返すことで、データ記憶再生装置12や他のデータ記憶再生装置からモーションデータMDがアップロードされることを待ち受ける。
On the other hand, if a negative result is obtained in step SP11, this indicates that new motion data MD has not yet been uploaded. At this time, the
ステップSP12において楽曲及びモーションパーツ提供サーバ13の制御部60は、取得したモーションデータMDに対応する楽曲データGDを記憶部62から読み出して、楽曲解析部63によりこの楽曲データGDのビート位置を検出するとともに、ビート位置により区切られる楽曲データの複数のビート区間Btそれぞれの特徴を示すビート区間特徴を得て、次のステップSP13に移る。
In step SP12, the
ステップSP13において楽曲及びモーションパーツ提供サーバ13の制御部60は、モーションパーツ切り出し部64により、ビート区間Btそれぞれのビート区間特徴に応じて、1つのビート区間Btまたは2以上の連続するビート区間Bt(この場合は、4個分のビート区間Btや8個分のビート区間Bt)に対応する部分をモーションパーツデータ(この場合は、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPB)としてモーションデータMDから切り出し、この切り出したモーションパーツデータに対し、1つのビート区間Btまたは2以上の連続するビート区間Btのビート区間特徴から生成した特徴解析情報TIDを付加して、次のステップSP14に移る。
In step SP13, the
ステップSP14において楽曲及びモーションパーツ提供サーバ13の制御部60は、モーションパーツデータを記憶部62に記憶する。
In step SP14, the
そして楽曲及びモーションパーツ提供サーバ13の制御部60は、データ記憶再生装置12からのモーションパーツデータの一括取得要求を受け付けると、ステップSP15において、記憶部62に記憶しているモーションパーツデータの全てを読み出して、これをデータ記憶再生装置12へ送信し、このモーションデータ生成処理手順を終了する。
When the
データ記憶再生装置12の制御部50は、モーションパーツ提供サーバ13から送信されたモーションパーツデータを取得すると、ステップSP2において、取得したモーションパーツデータを記憶部52に記憶し、次のステップSP3に移る。
When the
ステップSP3においてデータ記憶再生装置12の制御部50は、ユーザから楽曲データGDが指定され、この楽曲データに対応するモーションデータを生成するモーション生成要求が入力されたか否かを判定する。このステップSP3で肯定結果を得ると、このことは、指定された楽曲データGDに対応するモーションデータMDの生成をユーザが所望していることを示し、このときデータ記憶再生装置12の制御部50は、次のステップSP4に移る。
In step SP3, the
ステップSP4においてデータ記憶再生装置12の制御部50は、ユーザの操作入力に応じて選択されたモーションパーツデータをつなぎ合わせることにより、指定された楽曲データGDに対応するモーションデータMDを生成して記憶部52に記憶し、次のステップSP5に移る。
In step SP4, the
これに対し、ステップSP3において否定結果が得られると、このことは、ユーザがモーションデータMDの生成を未だ望んでいないことを示し、このときデータ記憶再生装置12の制御部50は、このステップSP3の処理を繰り返す。
On the other hand, if a negative result is obtained in step SP3, this indicates that the user has not yet desired to generate the motion data MD. At this time, the
ステップSP5においてデータ記憶再生装置12の制御部50は、ユーザから楽曲データGDが指定され、データ転送命令が入力されたか否かを判定する。このステップSP5で肯定結果を得ると、このことは、指定された楽曲データGD及びこの楽曲データGDに対応するモーションデータMDをロボット装置11へ転送することをユーザが所望していることを示し、このときデータ記憶再生装置12の制御部50は、次のステップSP6に移る。
In step SP5, the
ステップSP6においてデータ記憶再生装置12の制御部50は、指定された楽曲データGD及びこの楽曲データGDに対応するモーションデータMDをロボット装置11に転送し、このモーションデータ生成処理手順を終了する。
In step SP6, the
これに対して、上述したステップSP5で否定結果を得ると、このことは、データ転送命令が未だ入力されていないことを示し、このときデータ記憶再生装置12の制御部制御部50は、ステップSP3に戻り、このステップSP3乃至ステップSP5の処理を繰り返す。
On the other hand, if a negative result is obtained in step SP5 described above, this indicates that a data transfer command has not yet been input. At this time, the control
このようなモーションデータ生成処理手順にしたがい、モーションデータ生成システム10において、データ記憶再生装置12の制御部50は、楽曲及びモーションパーツ提供サーバ13から取得したモーションパーツデータをユーザに選択させてつなぎ合わせることでモーションデータMDを生成するようになされている。
In accordance with such a motion data generation processing procedure, in the motion
(1−2−6)第1の実施の形態による動作及び効果
以上の構成において、モーションデータ生成システム10の楽曲及びモーションパーツ提供サーバ13では、モーションデータMDを取得すると、このモーションデータMDに対応する楽曲データGDを解析してビート位置を検出するとともに、ビート位置により区切られる楽曲データの複数のビート区間Btそれぞれの特徴を示すビート区間特徴を得る。
(1-2-6) Operation and effect according to the first embodiment In the above configuration, the music and motion
また楽曲及びモーションパーツ提供サーバ13は、このようにして得た連続するビート区間Btそれぞれのビート区間特徴に応じて、4個分または8個分のビート区間Btに対応する部分を4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBとしてモーションデータMDから切り出し、この切り出した4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBに対し、4個分または8個分のビート区間Btのビート区間特徴から生成した特徴解析情報TIDを付加して記憶する。
In addition, the music and motion
そして楽曲及びモーションパーツ提供サーバ13は、データ記憶再生装置12からのモーションパーツデータの一括取得要求に応じて、これら4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBをまとめて読み出してデータ記憶再生装置12に提供する。
Then, the music and motion
データ記憶再生装置12は、楽曲及びモーションパーツ提供サーバ13に対して4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを一括取得要求した結果、この楽曲及びモーションパーツ提供サーバ13から4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBが与えられると、これらを特徴解析情報TIDに応じて読み出せるように4ビートモーションパーツデータベースMDB1や8ビートモーションパーツデータベースMDB2に登録して記憶する。
The data storage /
こうすることで、データ記憶再生装置12は、任意の楽曲データGDに対するモーションデータMDを新たに生成するとき、楽曲データGDの音楽区間毎の特徴に対応する特徴解析情報TIDを有する4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを選ばせて、その結果としてユーザが選んだモーションパーツデータをつなぎ合わせるだけでモーションデータ生成することができ、かくして、楽曲データGDの特徴に合わせてモーションデータMDを容易に生成することができる。
In this way, when the data storage /
またモーションデータ生成システム10において、楽曲及びモーションパーツ提供サーバ13は、ロボット装置11の各可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)をまとめて動かすためのモーションデータMDから、これら各可動部をまとめて動かすための4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すようにした。
In the motion
こうすることで、楽曲及びモーションパーツ提供サーバ13は、ロボット装置11の可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)全体を組み合わせて動かすことで楽曲データGDに基づく音楽の特徴に合った動きを実現しているようなモーションデータMDからでも、その楽曲データGDに基づく音楽の特徴に合った動きを損なうことなく4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBとして切り出すことができる。
By doing so, the music and motion
さらにモーションデータ生成システム10において、楽曲及びモーションパーツ提供サーバ13は、モーションデータMDを新たに取得する毎に、このモーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを自動で切り出すようにした。
Further, in the motion
こうすることで、楽曲及びモーションパーツ提供サーバ13では、モーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すような煩雑な作業をユーザに強いることなく、これら4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを容易に切り出して、記憶部62に多数記憶することができる。
By doing so, the music and motion
さらに楽曲及びモーションパーツ提供サーバ13では、切り出し設定情報SAを予め記憶しており、この切り出し設定情報SAに応じてモーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すようにした。
Further, the music and motion
こうすることで、楽曲及びモーションパーツ提供サーバ13では、処理の方法や手順を変更するような手間をかけることなく、切り出し設定情報SAの内容を変更するだけで、モーションデータMDからの4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBの切り出し位置を変更することができる。
By doing so, the music and motion
以上の構成によれば、モーションデータ生成システム10において、楽曲及びモーションパーツ提供サーバ13が、楽曲データGDを解析してビート位置を検出するとともに、ビート位置により区切られる楽曲データGDの複数のビート区間Btそれぞれのビート区間特徴を得ると、このようにして得たビート区間Btそれぞれのビート区間特徴に応じて、4個または8個の連続するビート区間Btに対応する部分を4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBとしてモーションデータMDから切り出し、この切り出した4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBに対して、4個または8個の連続するビート区間Btのビート区間特徴から生成した特徴解析情報TIDを付加するようにしたことにより、このような4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを取得したデータ記憶再生装置12では、任意の楽曲データGD用のモーションデータMDを新たに作るときに、他の楽曲データGDに基づく音楽の特徴に対して4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBの動作の特徴が合うか否かをわざわざ判別することなく、楽曲データGDの音楽区間毎の特徴に対応する特徴解析情報TIDを有する4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを選ばせて、その結果としてユーザが選んだ4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBをつなぎ合わせるだけで、新たなモーションデータMDを生成することができ、かくして、ロボット装置11を動かすためのモーションデータMDを、楽曲データGDに基づく音楽の特徴に合わせて容易に生成することができる。
According to the above configuration, in the motion
(2)第2の実施の形態
次に、第2の実施の形態について説明する。この第2の実施の形態は、上述の第1の実施の形態において楽曲及びモーションパーツ提供サーバ13が有していた、モーションデータMDから4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを切り出す機能を、データ記憶再生装置12が有する場合の実施例である。ゆえに、ここでは、モーションデータMDから4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを切り出すことを中心に説明する。ちなみに、概要及びロボット装置11の構成については、第1の実施の形態と同様であるので第1の実施の形態を参照とする。
(2) Second Embodiment Next, a second embodiment will be described. In the second embodiment, the 4-beat motion part data MPA and the 8-beat motion part data MPB are extracted from the motion data MD, which the music and motion
(2−1)第2の実施の形態の具体例
(2−1−1)モーションデータ生成システムの構成
つづけて、第2の実施の形態の具体例を説明する。図22において10は、全体として第2の実施の形態によるモーションデータ生成システムを示し、楽曲データGDの再生に合わせてモーションデータMDに応じた動作で動く機能を持つロボット装置11と、楽曲データGDの記憶機能、再生機能、モーションデータMDからモーションパーツデータを切り出す機能を持つデータ記憶再生装置12と、モーションデータMDを提供する機能を持つモーションデータ提供サーバ14とで構成される。このうちデータ記憶再生装置12が上述したデータ切り出し装置1の具体例である。
(2-1) Specific Example of Second Embodiment (2-1-1) Configuration of Motion Data Generation System A specific example of the second embodiment will be described. In FIG. 22,
データ記憶再生装置12は、ユーザからの指示に応じ、メディアから楽曲データGDを読み出したり、ネットワークNT上の図示しない楽曲提供サーバから楽曲データGDを購入したりして取得するようになされている。そしてデータ記憶再生装置12は、このようにして取得した楽曲データGDを内蔵の記憶部に記憶する。
The data storage /
またデータ記憶再生装置12は、ユーザからの指示に応じ、楽曲データGDに対応する既存のモーションデータMDを、モーションデータ提供サーバ14に要求するようにもなされている。
The data storage /
ここでモーションデータ提供サーバ14は、他のデータ記憶再生装置のユーザによって生成された、所定の楽曲データGDに対応するモーションデータMDのアップロードをネットワークNTを介して受け付けると共に、それまでにアップロードされた複数のモーションデータMDを内蔵の記憶部に記憶している。
Here, the motion
したがってモーションデータ提供サーバ14は、データ記憶再生装置12からの要求に応じて、内蔵の記憶部に記憶しているモーションデータMDを読み出してデータ記憶再生装置12に送信する。
Therefore, the motion
データ記憶再生装置12は、モーションデータ提供サーバ14からモーションデータMDを取得すると、これを内蔵の記憶部に記憶する。このようにしてデータ記憶再生装置12には、楽曲データGDと、この楽曲データGDに対応するモーションデータMDが多数記憶されるようになされている。
When the data storage /
一方、データ記憶再生装置12は、ユーザからの指示に応じ、楽曲データGDに対応するモーションデータMDを新たに生成するようにもなされている。
On the other hand, the data storage /
データ記憶再生装置12は、内蔵の記憶部に記憶する楽曲データGDを解析してビート位置を検出するとともに、ビート位置により区切られる楽曲データの複数のビート区間Btごとのビート区間特徴を得るようになされている。またデータ記憶再生装置12は、このようにして得たビート区間Btそれぞれの特徴に応じて、1つのビート区間Btまたは2以上の連続するビート区間Btに対応する部分をモーションパーツデータとしてモーションデータMDから切り出し、この切り出したモーションパーツデータに対して、1つのビート区間Btまたは2以上の連続するビート区間Btの特徴をメタデータとして付加するようになされている。そしてデータ記憶再生装置12は、このようにして得たモーションパーツデータを内蔵の記憶部に記憶するようになされている。
The data storage /
したがってデータ記憶再生装置12は、楽曲データGD用のモーションデータMDを新たに作ることを望んだユーザからの、モーションデータMDの生成を要求する指示に応じて、メタデータMTに応じて特定したモーションパーツデータを読み出して、その一覧をユーザに提示する。そしてデータ記憶再生装置12は、ユーザより、楽曲データGDに合わせてモーションパーツデータが選択されてつなぎ合わされることに応じて、新たなモーションデータMDを生成する。そしてデータ記憶再生装置12は、このようにして生成したモーションデータMDを内蔵の記憶部に記憶するようになされている。
Therefore, the data storage /
ここまで説明したように、第2の実施の形態によるモーションデータ生成システム10では、データ記憶再生装置12において、楽曲データGDを解析してビート位置を検出するとともに、ビート位置により区切られる楽曲データGDの複数のビート区間それぞれの特徴を得ると、このようにして得たビート区間それぞれの特徴に応じて、1つのビート区間Btまたは2以上の連続するビート区間Btに対応する部分をモーションパーツデータとしてモーションデータMDから切り出し、この切り出したモーションパーツデータに対して、1以上のビート区間の特徴をメタデータとして付加している。従って、データ記憶再生装置12は、任意の楽曲データ用のモーションデータを新たに作るときに、楽曲データの音楽区間毎の特徴に対応するメタデータを有するモーションパーツデータを選ばせて、その結果としてユーザが選んだモーションパーツデータをつなぎ合わせるだけで、新たなモーションデータMDを生成することができる。
As described so far, in the motion
(2−1−2)データ記憶再生装置の機能構成
まず、データ記憶再生装置12の機能構成について説明する。
(2-1-2) Functional Configuration of Data Storage / Reproduction Device First, the functional configuration of the data storage /
第1の実施の形態と同一構成でなる部分に同じ符号を付した図23に示すように、第2の実施の形態のデータ記憶再生装置12は、各部を統括的に制御する制御部50と、ユーザによる操作を受け付ける操作部51と、楽曲データGD、モーションデータMD及びモーションパーツデータを記憶する記憶部52と、このデータ記憶再生装置12での処理に関する内容を表示する表示部53と、楽曲データGDを再生する再生部54と、再生部54による楽曲データGDの再生の結果として得られる音楽を出力する出力部55と、ロボット装置11と通信接続する外部接続部56A及びネットワークNTを介してモーションパーツ提供サーバ13と通信接続するネットワーク接続部56Bを有する通信部56と、楽曲データGDを解析して楽曲データGDに基づく音楽の特徴を得る楽曲解析部57と、モーションパーツデータをつなぎ合わせてモーションデータMDを生成するモーション生成部58と、モーションデータMDからモーションパーツデータを切り出すモーションパーツ切り出し部59とで構成され、このモーションパーツ切り出し部59を有する点が、上述の第1の実施の形態のデータ記憶再生装置12の構成と異なる。
As shown in FIG. 23 in which the same reference numerals are given to parts having the same configuration as in the first embodiment, the data storage /
ここで、データ記憶再生装置12が、モーションデータ提供サーバ14から、楽曲データGDに対応するモーションデータMDを取得する方法について説明する。
Here, a method in which the data storage /
データ記憶再生装置12の制御部50は、ユーザにより操作部51を介して、記憶部52に記憶する楽曲データGDの中から任意の楽曲データGDが指定され、この楽曲データGDに対応するモーションデータMDを取得要求するための操作命令が入力されると、これに応じて通信部56のネットワーク接続部56Bを介してネットワーク上のモーションデータ提供サーバ14にアクセスして所望のモーションデータMDを取得要求する。そして制御部50は、モーションデータ提供サーバ14から返信されるモーションデータMDをネットワーク接続部56Bを介して受信して記憶部52に記憶する。
The
このようにしてデータ記憶再生装置12は、楽曲データGD及びこの楽曲データGDに対応するモーションデータMDを記憶部52に多数記憶するようになされている。
In this way, the data storage /
つづいて、データ記憶再生装置12において、記憶部52に記憶する既存のモーションデータMDから、複数つなぎ合わせて他のモーションデータMDを生成するためのモーションパーツデータ(この場合、4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPB)を切り出す方法について詳しく説明する。
Subsequently, in the data storage /
まず、データ記憶再生装置12の制御部50は、モーションデータ提供サーバ14から新たなモーションデータMDを取得して記憶部52に記憶したとき、新たに記憶したモーションデータMDと、このモーションデータMDに対応する楽曲データGDとを記憶部52から読み出す。そして制御部50は、楽曲データGDを楽曲解析部57に送出すると共に、モーションデータMDをモーションパーツ切り出し部59に送出する。
First, when the
楽曲解析部57は、制御部50から楽曲データGDが与えられると、この楽曲データGDを音楽の処理時間軸TX1(図9)に沿って所定の単位処理部分に分けると共に、単位処理部分から1オクターブの12音階それぞれに相当する周波数帯域毎のエネルギーを抽出する。その結果、楽曲解析部57は、楽曲データGDの全体に亘って周波数帯域毎のエネルギーを抽出すると、当該周波数帯域毎のエネルギーをもとに音楽のビート位置を検出すると共に、検出したビート位置を区切りとするビート区間Btごとの、例えば、雰囲気、音楽区間分類、曲調、打楽器の度合い、メロディーの度合い、コーラスの頻度、といったようなビート区間特徴を得て、これらビート位置及びビート区間特徴を楽曲データGDと共にモーションパーツ切り出し部59に送出する。
When the music data GD is given from the
モーションパーツ切り出し部59は、制御部50からモーションデータMDが与えられると共に、楽曲解析部63からビート位置、ビート区間特徴及び楽曲データGDが与えられると、まず、楽曲データGDから、この楽曲データGDのタイトルやアーティスト、アルバム、ジャンル、・・・といった楽曲識別情報GID(図12)を取得する。そしてモーションパーツ切り出し部59は、この楽曲識別情報GIDに記載されているジャンルに基づいて、モーションデータMDからジャンルに応じた4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すためのジャンル別切り出し設定情報を生成する。
When the
ここで、このジャンル別切り出し設定情報の生成方法について詳しく説明する。 Here, a method for generating the genre-specific cutout setting information will be described in detail.
モーションパーツ切り出し部59は、例えば、取得した楽曲識別情報GIDの中にこの楽曲識別情報GIDに対応する楽曲データGDのジャンルが「バラード」であることが示されている場合には、他のジャンルに比べて曲の速さがゆっくりである(すなわち、1つのビート区間Btの時間間隔が大きい)と判別する。そしてモーションパーツ切り出し部59は、4ビートモーションパーツデータMPAに比べて全体の時間間隔が長くなる8ビートモーションパーツデータMPBを切り出さないようなジャンル別切り出し設定情報を生成する。
For example, when the acquired music identification information GID indicates that the genre of the music data GD corresponding to the music identification information GID is “ballad”, the motion
具体的には、モーションパーツ切り出し部59は、例えば、取得した楽曲識別情報GIDの中にこの楽曲識別情報GIDに対応する楽曲データGDのジャンルが「バラード」であることが示されている場合には、図24に示すように、「前奏区間の先頭から4ビート区間分を曲開始用の4ビートモーションパーツデータMPAとして切り出す」、「前奏区間の先頭から5ビート区間目からの4ビート区間分を前奏用の4ビートモーションパーツデータMPAとして切り出す」、「前奏区間の後尾にかけての1ビート区間分とAメロ区間の先頭からの3ビート区間分とを歌い出し用の4ビートモーションパーツデータMPAとして切り出す」、「Aメロ区間の先頭から4ビート区間目からの4ビート区間分をAメロ用の4ビートモーションパーツデータMPAとして切り出す」、・・・「後奏区間の後尾にかけての4ビート区間分を曲終了用の4ビートモーションパーツデータMPAとして切り出す」のような、モーションデータMDから4ビートモーションパーツデータMPAのみを切り出すジャンル別切り出し設定情報JA1を生成する。
Specifically, the motion
またモーションパーツ切り出し部59は、例えば、取得した楽曲識別情報GIDの中にこの楽曲識別情報GIDに対応する楽曲データGDのジャンルが「テクノ」であることが示されている場合には、他のジャンルに比べて音楽区間が明確でない(すなわち、音楽区間をどの程度正確に特定できるかが不明である)と判別する。そしてモーションパーツ切り出し部59は、音楽区間を特定しなくても4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出せるようなジャンル別切り出し設定情報を生成する。
For example, when the genre of the music data GD corresponding to the music identification information GID is indicated as “techno” in the acquired music identification information GID, the motion
具体的には、モーションパーツ切り出し部59は、例えば、取得した楽曲識別情報GIDの中にこの楽曲識別情報GIDに対応する楽曲データGDのジャンルが「テクノ」であることが示されている場合には、図25に示すように、「曲の先頭から4ビート区間分を曲開始用の4ビートモーションパーツデータMPAとして切り出す」、「曲の先頭から8ビート区間分を曲開始用の8ビートモーションパーツデータMPBとして切り出す」、「曲の開始から30秒経過後の4ビート区間分をテクノ用の4ビートモーションパーツデータMPAとして切り出す」、「曲の開始から30秒経過後の8ビート区間分をテクノ用の8ビートモーションパーツデータMPBとして切り出す」、「曲の開始から1分経過後の4ビート区間分をテクノ用の4ビートモーションパーツデータMPAとして切り出す」・・・「曲の後尾までの8ビート区間分を曲終了用の8ビートモーションパーツデータMPBとして切り出す」のような、音楽区間を特定しなくても4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出せるようなジャンル別切り出し設定JA2を生成する。
Specifically, the motion
このようにしてモーションパーツ切り出し部59は、楽曲識別情報GIDのジャンル(バラード、テクノ、ジャズ、ロック、ポップ、演歌、クラシック、・・・)に応じてジャンル別切り出し設定情報JA(JA1、JA2・・・)を自動で生成するようになされている。
In this way, the motion
データ記憶再生装置12のモーションパーツ切り出し部59は、ジャンル別切り出し設定情報JA(JA1、JA2・・・)を生成すると、ビート位置に応じて、楽曲データGD全体をビート区間Btで区切る(図20)。またモーションパーツ切り出し部59は、各ビート区間Btのビート区間特徴に記載されている音楽区間分類のうち、連続するビート区間Btの音楽区間分類で、且つ、同じ音楽区間分類のビート区間Btをつなぎ合わせるようにして、楽曲データGDの音楽区間(この場合、前奏区間SC1、Aメロ区間SC2、Bメロ区間SC3、サビ区間SC4、間奏区間SC5・・・)を特定する。ちなみに、楽曲データGDのジャンルが「テクノ」である場合には、楽曲データGDの音楽区間を特定しなくてもよい。
When the motion
そしてモーションパーツ切り出し部59は、ジャンル別切り出し設定情報JA(JA1、JA2・・・)に応じて、モーションデータMDから4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを切り出す。
Then, the motion
モーションパーツ切り出し部59は、モーションデータMDから4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBを切り出すと、モーションデータMDの処理時間軸TX1(図20)上の4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBの切り出し開始位置(すなわち切り出し開始時間)及び終了位置(切り出し終了時間)を特定して切り出し位置情報CIDを生成する。またモーションパーツ切り出し部59は、切り出し元であるモーションデータMDに対応する楽曲データGDの楽曲識別情報GIDを取得する。
When the motion
またモーションパーツ切り出し部59は、モーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すと、第1の実施の形態で上述したのと同様にして、特徴解析情報TIDを生成する(この場合は、切り出し設定情報SAの代わりにジャンル別切り出し設定情報JA(JA1、JA2・・・)を用いる)。
Further, when the 4-part motion part data MPA and the 8-beat motion part data MPB are cut out from the motion data MD, the motion part cut-out
そしてモーションパーツ切り出し部59は、これら楽曲識別情報GID、特徴解析情報TID及び切り出し位置情報CIDを格納するようにしてメタデータMTを生成し、切り出した4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBに対してこのメタデータMTを付加する。
Then, the motion
モーションパーツ切り出し部59は、このようにしてモーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すと、これらを制御部50に送出する。
When the motion
制御部50は、モーションパーツ切り出し部59から4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBが与えられると、これらをジャンル毎のデータベースに登録するようにして記憶部52に記憶する。
When the 4-beat motion part data MPA and the 8-beat motion part data MPB are given from the motion
具体的には、制御部50は、例えば、モーションパーツ切り出し部59から与えられた4ビートモーションパーツデータMPAに付加されているメタデータMTの楽曲識別情報GIDのジャンルに「バラード」であることが示されてる場合には、図26に示すように、この4ビートモーションパーツデータMPAをバラード用4ビートモーションデータベースBDBに登録するようにして記憶部52に記憶する。ちなみに、このバラード用4ビートモーションデータベースBDBへの4ビートモーションパーツデータMPAの登録方法は、第1の実施の形態において上述した、4ビートモーションデータベースMDB1(図13)への4ビートモーションパーツデータMPAの登録方法と同様であり、他のジャンルについても同様である。
Specifically, for example, the
また制御部50は、例えば、モーションパーツ切り出し部59から与えられた8ビートモーションパーツデータMPBに付加されているメタデータMTの楽曲識別情報GIDのジャンルに「テクノ」であることが示されている場合には、図27に示すように、この8ビートモーションパーツデータMPBをテクノ用8ビートモーションデータベースTDBに登録するようにして記憶部52に記憶する。ちなみに、このテクノ用8ビートモーションデータベースTDBへの8ビートモーションパーツデータMPBの登録方法は、第1の実施の形態において上述した、8ビートモーションデータベースMDB2(図14)への8ビートモーションパーツデータMPBの登録方法と同様であり、他のジャンルについても同様である。
Further, for example, the
このようにしてデータ記憶再生装置12は、楽曲及びモーションパーツ提供サーバ13からモーションデータMDを新たに取得する毎に、このモーションデータMDからジャンル毎の4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを自動で切り出すことを繰り返し、これらをジャンル毎のモーションパーツデータベース(すなわち、ジャンル毎の4ビートモーションデータベースや8ビートモーションデータベース)に登録するようにして多数記憶するようになされている。
In this way, each time the data storage /
つづいて、このようにジャンル毎のデータベースに4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBが登録された状態で、データ記憶再生装置12がモーションデータMDを生成する方法について説明する。
Next, a method for the data storage /
データ記憶再生装置12の制御部50は、ユーザにより操作部51を介して記憶部52内の楽曲データGDが指定され、この楽曲データGDに対応するモーションデータMDを生成するモーション生成要求が入力されると、指定された楽曲データGDを記憶部52から読み出して楽曲解析部57に送出する。
The
楽曲解析部57は、制御部50から楽曲データGDが与えられると、この楽曲データGDを音楽の処理時間軸TX1(図9)に沿って所定の単位処理部分に分けると共に、単位処理部分から1オクターブの12音階それぞれに相当する周波数帯域毎のエネルギーを抽出する。その結果、楽曲解析部57は、楽曲データGDの全体に亘って周波数帯域毎のエネルギーを抽出すると、当該周波数帯域毎のエネルギーをもとに音楽のビート位置を検出すると共に、検出したビート位置を区切りとするビート区間Btごとの、例えば、雰囲気、音楽区間分類、曲調、打楽器の度合い、メロディーの度合い、コーラスの頻度といったようなビート区間特徴を得て、これをビート位置とともに制御部50に送出する。
When the music data GD is given from the
制御部50は、楽曲解析部57から楽曲データGDの1曲分のビート区間特徴とビート位置とを得ると、モーションパーツデータをつなぎ合わせてモーションデータMDを生成するためのモーション編集画面SS(図15)を表示部53に表示させる。また制御部50は、記憶部52から読み出した楽曲データGDを楽曲タイムラインGTLに配置すると共に、楽曲解析部57から与えられたビート位置で楽曲データGDを区切ってビート区間Btを順次特定し、これらビート区間Btそれぞれのビート区間特徴に応じて特定される音楽区間を区間タイムラインKTLに配置する(ちなみに、テクノの場合は、音楽区間を特定しなくてよい)。
When the
そして制御部50は、現時点の編集ラインHの位置(この場合、タイムライン群の中で楽曲データGDの先頭の位置)に対応する区間タイムラインKTLの「音楽区間(この場合、前奏区間)」及び「雰囲気(この場合、静か)」をモーションパーツ選択欄MPRの選択区間情報枠HWに配置する。
Then, the
また制御部50は、記憶部52に記憶するジャンル毎のモーションパーツデータベースのうち、楽曲データGDに付加されている楽曲識別情報GIDが示す「ジャンル(この場合、一例としてバラードとする)」と同じ「ジャンル」に対応するデータベース(この場合、バラード用4ビートモーションデータベースBDB)から、選択区間情報枠HWに表示されている「音楽区間(この場合、前奏区間)」及び「雰囲気(この場合、静か)」を含む特徴解析情報TIDを有する4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを読み出して、これらの一覧をモーションパーツ選択枠MWにまとめて配置する。
The
このようにして第2の実施の形態によるデータ記憶再生装置12は、楽曲データGDの音楽区間(この場合、前奏区間)の特徴だけでなく、楽曲データGDのジャンルにも合ったモーションパーツ分類(この場合、曲開始用、前奏用、歌い出し用・・・)のモーションパーツデータの一覧を、モーションデータMDの生成用にユーザに提示するようになされている。
In this way, the data storage /
その結果、データ記憶再生装置12では、楽曲データGDの音楽区間毎の特徴に対応する特徴解析情報TIDを有し、且つ、楽曲データGDのジャンルに対応する楽曲識別情報GIDを有する4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを選ばせることができ、楽曲データGDの特徴及びジャンルに合わせてモーションデータMDを容易に生成することができる。
As a result, the data storage /
(2−1−3)モーションデータ提供サーバの機能構成
次に、モーションデータ提供サーバ14の機能構成について説明する。
(2-1-3) Functional Configuration of Motion Data Providing Server Next, a functional configuration of the motion
図28に示すように、モーションデータ提供サーバ14は、各部を統括的に制御する制御部70と、ネットワークNTを介してデータ記憶再生装置12と通信接続する通信部71と、複数のモーションデータMDを記憶する記憶部72とで構成される。
As shown in FIG. 28, the motion
制御部70は、記憶部72に複数の楽曲データGDを記憶した状態で、ネットワークNTを介してデータ記憶再生装置12や他のデータ記憶再生装置からモーションデータMDが送信(すなわちアップロード)されると、このモーションデータMDを通信部71で受信して記憶部72に記憶する。このようにしてモーションデータ提供サーバ14は、データ記憶再生装置12や他のデータ記憶再生装置からモーションデータMDをアップロードされるようになされている。
When the motion data MD is transmitted (that is, uploaded) from the data storage /
制御部70は、記憶部72に複数のモーションデータMDを記憶した状態で、ネットワークNTを介してデータ記憶再生装置12からモーションデータMDを取得要求されると、記憶部72に記憶しているモーションデータMDから要求されたモーションデータMDを読み出して、これを通信部71によりデータ記憶再生装置12へ送信する。
When the motion data MD is requested to be acquired from the data storage /
このようにしてモーションデータ提供サーバ14は、データ記憶再生装置12から要求されたモーションデータMDを提供するようになされている。
In this manner, the motion
ここまで説明したように、この第2の実施の形態におけるモーションデータ生成システム10では、データ記憶再生装置12が、モーションデータMDを新たに取得すると、このモーションデータMDに対応する楽曲データGDを解析してビート位置を検出するとともに、ビート位置により区切られる楽曲データの複数のビート区間Btそれぞれの特徴を示すビート区間特徴を得る。そしてデータ記憶再生装置12は、このようにして得たビート区間Btそれぞれのビート区間特徴に応じて、4個分または8個分のビート区間Btに対応する部分を4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBとしてモーションデータMDから切り出し、この切り出した4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBに対し、4個分または8個分のビート区間Btのビート区間特徴から生成した特徴解析情報TIDと楽曲データGDの楽曲識別情報GIDとを付加するようにした。
As described above, in the motion
その結果、データ記憶再生装置12では、音楽区間毎の特徴に対応するだけでなく、楽曲識別情報GIDのジャンルに対応する4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを提示することができ、楽曲データGDの特徴とジャンルとの両方を判断して4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを選択させ易くすることができる。
As a result, the data storage /
(2−1−4)モーションデータ生成処理手順
ここで、上述したモーションデータ生成システム10において、データ記憶再生装置12が4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBから新たにモーションデータMDを生成するときの処理手順(以下、これをモーションデータ生成処理手順とも呼ぶ)について、図29に示すシーケンスチャートを用いて説明する。ちなみに、このモーションデータ生成処理手順は、主としてデータ記憶再生装置12の制御部50、通信部56、楽曲解析部57、モーション生成部58及びモーションパーツ切り出し部59と、モーションデータ提供サーバ14の制御部70によって実行される処理の手順である。
(2-1-4) Motion Data Generation Processing Procedure Here, in the above-described motion
データ記憶再生装置12の制御部50は、ユーザにより楽曲データGDが指定され、この楽曲データGDに対応するモーションデータMDを取得するための取得要求が入力されると、このモーションデータ生成処理手順のステップSP21において、モーションデータ提供サーバ14にアクセスして、モーションデータMDを取得要求するする。
When the music data GD is designated by the user and an acquisition request for acquiring the motion data MD corresponding to the music data GD is input, the
一方、モーションデータ提供サーバ14の制御部70は、ステップSP31において、データ記憶再生装置12や他のデータ記憶再生装置からモーションデータMDがアップロードされたか否かを常に判別している。このステップSP31において肯定結果が得られると、このことは、新たなモーションデータMDがアップロードされたことを示しており、このときモーションデータ提供サーバ14の制御部70は、次のステップSP32に移る。
On the other hand, the
これに対し、ステップSP31において否定結果が得られると、このことは、新たなモーションデータMDが未だアップロードされていないことを示しており、このときモーションデータ提供サーバ14の制御部70は、ステップSP31の処理を繰り返すことで、データ記憶再生装置12や他のデータ記憶再生装置からモーションデータMDがアップロードされることを待ち受ける。
On the other hand, if a negative result is obtained in step SP31, this indicates that the new motion data MD has not yet been uploaded. At this time, the
ステップSP32においてモーションデータ提供サーバ14の制御部70は、取得したモーションデータMDを記憶部72に記憶する。
In step SP32, the
そしてモーションデータ提供サーバ14の制御部70は、データ記憶再生装置12からのモーションデータMDの取得要求を受け付けると、ステップSP33において、要求されたモーションデータMDを記憶部72から読み出してデータ記憶再生装置12へ送信し、このモーションデータ生成処理手順を終了する。
When the
データ記憶再生装置12の制御部50は、モーションデータ提供サーバ14から送信されたモーションデータMDを取得すると、ステップSP22において、取得したモーションデータMDを記憶部52に記憶し、次のステップSP23に移る。
When the
ステップSP23においてデータ記憶再生装置12の制御部50は、新たに記憶したモーションデータMDに対応する楽曲データGDを記憶部52から読み出して、楽曲解析部57によりこの楽曲データGDのビート位置を検出するとともに、ビート位置により区切られる楽曲データの複数のビート区間Btそれぞれの特徴を示すビート区間特徴を得て、次のステップSP24に移る。
In step SP23, the
ステップSP24においてデータ記憶再生装置12の制御部50は、モーションパーツ切り出し部59により、ビート区間Btそれぞれのビート区間特徴に応じて、1個以上のビート区間Btに対応する部分をモーションパーツデータとしてモーションデータMDから切り出し、この切り出したモーションパーツデータに対し、1つのビート区間Btまたは2以上の連続するビート区間Btのビート区間特徴から生成した特徴解析情報TIDを付加して、次のステップSP25に移る。
In step SP24, the
ステップSP25において楽曲及びモーションパーツ提供サーバ13の制御部50は、モーションパーツデータを記憶部52に記憶し、次のステップSP26に移る。
In step SP25, the
ステップSP26においてデータ記憶再生装置12の制御部50は、ユーザから楽曲データGDが指定され、この楽曲データに対応するモーションデータMDを生成する要求が入力されたか否かを判定する。このステップSP26で肯定結果を得ると、このことは、指定された楽曲データGDに対応するモーションデータMDの生成をユーザが所望していることを示し、このときデータ記憶再生装置12の制御部50は、次のステップSP27に移る。
In step SP26, the
ステップSP27においてデータ記憶再生装置12の制御部50は、ユーザの操作入力に応じて選択されたモーションパーツデータをつなぎ合わせることにより、指定された楽曲データGDに対応するモーションデータMDを生成して記憶部52に記憶し、次のステップSP28に移る。
In step SP27, the
これに対し、ステップSP26において否定結果が得られると、このことは、ユーザがモーションデータMDの生成を未だ望んでいないことを示し、このときデータ記憶再生装置12の制御部50は、このステップSP26の処理を繰り返す。
On the other hand, if a negative result is obtained in step SP26, this indicates that the user has not yet desired to generate the motion data MD. At this time, the
ステップSP28においてデータ記憶再生装置12の制御部50は、ユーザから楽曲データGDが指定され、データ転送命令が入力されたか否かを判定する。このステップSP28で肯定結果を得ると、このことは、指定された楽曲データGD及びこの楽曲データGDに対応するモーションデータMDをロボット装置11へ転送することをユーザが所望していることを示し、このときデータ記憶再生装置12の制御部50は、次のステップSP29に移る。
In step SP28, the
ステップSP29においてデータ記憶再生装置12の制御部50は、指定された楽曲データGD及びこの楽曲データGDに対応するモーションデータMDをロボット装置11に転送し、このモーションデータ生成処理手順を終了する。
In step SP29, the
これに対して、上述したステップSP28で否定結果を得ると、このことは、データ転送命令が未だ入力されていないことを示し、このときデータ記憶再生装置12の制御部制御部50は、ステップSP26に戻り、このステップSP26乃至ステップSP28の処理を繰り返す。
On the other hand, if a negative result is obtained in step SP28 described above, this indicates that a data transfer command has not yet been input. At this time, the
このようなモーションデータ生成処理手順にしたがい、データ記憶再生装置12は、既存のモーションデータMDからモーションパーツデータを切り出して記憶すると共に、ユーザの操作入力に応じて、記憶したモーションパーツデータをつなぎ合わせてモーションデータMDを生成するようになされている。
According to such a motion data generation processing procedure, the data storage /
(2−1−5)第2の実施の形態による動作及び効果
以上の構成において、モーションデータ生成システム10のデータ記憶再生装置12は、モーションデータMDを取得すると、このモーションデータMDに対応する楽曲データGDを解析してビート位置を検出するとともに、ビート位置により区切られる楽曲データの複数のビート区間Btそれぞれの特徴を示すビート区間特徴を得る。またデータ記憶再生装置12は、取得したモーションデータMDに対応する楽曲データGDから楽曲データGDを得る。さらにデータ記憶再生装置12は、楽曲識別情報GIDのジャンルに応じてジャンル別切り出し設定情報JA(JA1、JA2・・・)を生成する。
(2-1-5) Operations and Effects According to Second Embodiment In the above configuration, when the data storage /
さらに楽曲及びモーションパーツ提供サーバ13は、このようにして得たビート区間Btそれぞれのビート区間特徴とジャンル別切り出し設定情報JA(JA1、JA2・・・)とに応じて、4個分または8個分のビート区間Btに対応する部分を所定ジャンル用の4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBとしてモーションデータMDから切り出し、この切り出した4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBに対し、4個分または8個分のビート区間Btのビート区間特徴から生成した特徴解析情報TIDと楽曲識別情報GIDとを付加して記憶する。
Furthermore, the music and motion
こうすることで、データ記憶再生装置12は、任意の楽曲データGDに対するモーションデータMDを新たに生成するとき、楽曲データGDのジャンルに対応する楽曲データGDと音楽区間毎の特徴に対応する特徴解析情報TIDとを有する4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを選ばせて、その結果としてユーザが選んだ4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBをつなぎ合わせるだけでモーションデータ生成することができ、楽曲データGDの特徴に合わせてモーションデータMDを容易に生成することができる。
In this way, when the data storage /
以上の構成によれば、モーションデータ生成システム10において、データ記憶再生装置12は、楽曲データGDを解析してビート位置を検出するとともに、ビート位置により区切られる楽曲データGDの複数のビート区間Btそれぞれのビート区間特徴を得ると、このようにして得たビート区間Btそれぞれのビート区間特徴に応じて、4個または8個の連続するビート区間Btに対応する部分を4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBとしてモーションデータMDから切り出し、この切り出した4ビートモーションパーツデータMPAまたは8ビートモーションパーツデータMPBに対して、4個または8個の連続するビート区間Btのビート区間特徴から生成した特徴解析情報TIDを付加するようにしたことにより、任意の楽曲データGD用のモーションデータMDを新たに作るときに、他の楽曲データGDに基づく音楽の特徴に対して4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBの動作の特徴が合うか否かをわざわざ判別することなく、楽曲データGDの音楽区間毎の特徴に対応する特徴解析情報TIDを有する4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを選ばせて、その結果としてユーザが選んだ4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBをつなぎ合わせるだけで、新たなモーションデータMDを生成することができ、かくして、ロボット装置11を動かすためのモーションデータMDを、楽曲データGDに基づく音楽の特徴に合わせて容易に生成することができる。
According to the above configuration, in the motion
(3)第3の実施の形態
次に第3の実施の形態について説明する。この第3の実施の形態では、上述した第1の実施の形態のデータ記憶再生装置12及び楽曲及びモーションパーツ提供サーバ13と、上述した第2の実施の形態のデータ記憶再生装置12及びモーションデータ提供サーバ14をハードウェア構成により実現する。
(3) Third Embodiment Next, a third embodiment will be described. In the third embodiment, the data storage /
図30に示すデータ記憶再生装置100は、上述した第1及び第2の実施の形態による機能構成のデータ記憶再生装置12をハードウェア構成により実現した例であり、キーボード及びマウスなどでなる入力デバイス101がユーザによって操作されると、入力デバイス101でこれを認識し、その操作に応じた操作入力信号を入力処理部102に送る。入力処理部102は、供給される操作入力信号に対して所定の処理を施すことにより、操作入力信号を操作コマンドに変換し、これをバス103を介してCPU(Central Processing Unit)104に送る。
A data storage / reproduction device 100 shown in FIG. 30 is an example in which the data storage /
CPU104は、ROM(Read Only Memory)105又はハードディスクドライブ106に予め記憶されている基本プログラムやアプリケーションプログラムなどの各種プログラムをバス103を介してRAM(Random Access Memory)107に読み出す。そしてCPU104は、RAM107上で展開したこれら各種プログラムに従って全体を制御すると共に、所定の演算処理や、入力処理部102から与えられる操作コマンドに応じた各種処理を実行する。
The
具体的に言うと、CPU104は、例えば、ユーザにより入力デバイス101を介して自身に装填されたCDから楽曲データGDを読み出すよう指示する操作入力信号が入力されると、自身に挿入されたCDから楽曲データGDを読み出し、これをハードディスクドライブ106に任意に生成されるフォルダに格納することで記憶する。
Specifically, for example, when the user inputs an operation input signal for instructing to read the music data GD from the CD loaded in the user via the input device 101, the
またCPU104は、必要に応じて、有線通信処理部109及びネットワークインターフェース110を順次介してネットワークNT上のサーバ(例えば楽曲及びモーションパーツ提供サーバ13やモーションデータ提供サーバ14)と通信接続し、このサーバとの間で種々のデータをやり取りする。
Further, the
さらにCPU104は、必要に応じて、外部接続処理部111及び外部接続インターフェース112を順次介して外部装置(例えばロボット装置11)と通信接続し、この外部装置との間で種々のデータをやり取りする。
Furthermore, the
このようにして、他の装置との間でやり取りされるデータ(例えば楽曲データGD、モーションデータMD、4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPB)は、ハードディスクドライブ106の任意のフォルダに格納されることで記憶され、また必要に応じて読み出される。
In this way, data exchanged with other devices (for example, music data GD, motion data MD, 4-beat motion parts data MPA and 8-beat motion parts data MPB) is stored in an arbitrary folder of the
さらにCPU104は、例えば、ユーザにより入力デバイス101を介してハードディスクドライブ106のフォルダに格納されている楽曲データGDを再生するよう指示する操作入力信号が入力されると、ハードディスクドライブ106から入力デバイス101を介して指定された楽曲データGDを読み出して、これをバス103経由で音声処理部113に送る。音声処理部113は、楽曲データGDに対して複合処理、デジタルアナログ変換処理及び増幅処理などの音声処理を施して、この結果得られた楽曲信号をスピーカ114に送出する。この結果、スピーカ114からこの楽曲信号に基づく音楽が出力される。
Further, for example, when an operation input signal instructing the user to reproduce the music data GD stored in the folder of the
さらにCPU104は、必要に応じて、ハードディスクドライブ106から所定画面用の画面データを読み出し、この画面データをバス103経由で表示処理部115に送る。表示処理部115は、画面データに基づく所定の画面をディスプレイ116に表示する。
Further, the
ところで、このデータ記憶再生装置100は、CPU104がROM105またはハードディスクドライブ106に予め記憶された各種プログラムにしたがって各種処理を実行するようになされているので、上述した第1及び第2の実施の形態による機能構成のデータ記憶再生装置12(図10及び図23)の各種機能及び実行する処理に応じて、ROM105またはハードディスクドライブ106に記憶させる各種プログラムを適宜選定することにより、CPU104を機能構成の制御部50、楽曲解析部57、モーション生成部58及びモーションパーツ切り出し部59と同様に機能させることができ、また入力デバイス101及び入力処理部102を機能構成の操作部51と同様に機能させることができ、ハードディスクドライブ106を機能構成の記憶部52と同様に機能させることができ、有線通信処理部109及びネットワークインターフェース110を機能構成のネットワーク接続部56Bと同様に機能させることができ、外部接続処理部111及び外部接続インターフェース112を機能構成の外部接続部56Aと同様に機能させることができ、音声処理部113を機能構成の再生部54と同様に機能させることができ、スピーカ114を機能構成の出力部55と同様に機能させることができ、表示処理部115及びディスプレイ116を機能構成の表示部53と同様に機能させることができる。
By the way, the data storage / reproduction device 100 is configured such that the
したがって、この第3の実施の形態のデータ記憶再生装置100は、図30に示すようなハードウェア構成で、上述した第1及び第2の実施の形態での機能構成による各種機能を実現することができ、かくして、上述した第1及び第2の実施の形態と同様の効果を得ることができる。 Therefore, the data storage / reproduction device 100 of the third embodiment realizes various functions based on the functional configuration in the first and second embodiments described above with the hardware configuration shown in FIG. Thus, the same effects as those of the first and second embodiments described above can be obtained.
一方、図31に示すデータ提供サーバ200は、上述した第1の実施の形態による機能構成の楽曲及びモーションパーツ提供サーバ13及び上述した第2の実施の形態による機能構成のモーションデータ提供サーバ14をハードウェア構成により実現した例であり、ネットワークインターフェース207により外部から信号を受信すると、これをネットワークインターフェース207で認識し、その受信信号を有線通信処理部206に送る。有線通信処理部206は、供給される受信信号をバス202を介してCPU201に送る。
On the other hand, the data providing server 200 shown in FIG. 31 includes the music and motion
CPU201は、ROM203又はハードディスクドライブ205に予め記憶されている基本プログラムやアプリケーションプログラムなどの各種プログラムをバス202を介してRAM(Random Access Memory)204に読み出す。そしてCPU201は、RAM204上で展開したこれら各種プログラムに従って全体を制御すると共に、所定の演算処理や、有線通信処理部206から与えられる受信信号に応じた各種処理を実行する。
The
具体的に言うと、CPU201は、例えば、このデータ提供サーバ200の管理者により与えられた種々のデータをハードディスクドライブ205に任意に生成されるフォルダに格納することで記憶する。
Specifically, for example, the
またCPU201は、必要に応じて、有線通信処理部206及びネットワークインターフェース207順次介してネットワークNT上の装置やサーバ(例えばデータ記憶再生装置12)と通信接続し、この装置やサーバとの間で種々のデータをやり取りする。
In addition, the
さらにCPU201は、例えば、外部の装置やサーバと通信接続した結果、ネットワークインターフェース207を介してこの装置やサーバから、ハードディスクドライブ205に格納されている各種データを送信するよう指示する要求信号が受信されると、ハードディスクドライブ205から要求信号により指定されたデータを読み出して、これをバス202経由で有線通信処理部206に送出する。有線通信処理部206は、与えられたデータをネットワークインターフェース207を介して要求元の装置やサーバに送信する。
Further, for example, as a result of communication connection with an external device or server, the
ところで、このデータ提供サーバ200は、CPU201がROM203またはハードディスクドライブ205に予め記憶された各種プログラムにしたがって各種処理を実行するようになされているので、上述した第1の実施の形態による機能構成の楽曲及びモーションパーツ提供サーバ13(図18)及び上述した第2の実施の形態による機能構成のモーションデータ提供サーバ14(図28)の各種機能及び実行する処理に応じて、ROM203またはハードディスクドライブ205に記憶させる各種プログラムを適宜選定することにより、CPU201を機能構成の制御部60、楽曲解析部63、モーションパーツ切り出し部64及び制御部70と同様に機能させることができ、ハードディスクドライブ205を機能構成の記憶部62及び記憶部72と同様に機能させることができ、有線通信処理部206及びネットワークインターフェース207を機能構成の通信部61及び通信部71と同様に機能させることができる。
By the way, in the data providing server 200, the
したがって、この第3の実施の形態のデータ提供サーバ200は、図31に示すようなハードウェア構成で、上述した第1の実施の形態での機能構成による楽曲及びモーションパーツ提供サーバ13及び上述した第2の実施の形態での機能構成によるモーションデータ提供サーバ14の各種機能を実現することができ、かくして、上述した第1及び第2の実施の形態と同様の効果を得ることができる。
Therefore, the data providing server 200 of the third embodiment has a hardware configuration as shown in FIG. 31, and the music and motion
ちなみに、この第3の実施の形態では、データ記憶再生装置100のCPU104がROM105やハードディスクドライブ106に予め記憶された各種プログラムにしたがって、各種処理を実行する場合について述べたが、本発明はこれに限らず、各種プログラムを、CDやDVD(Digital Versatile Disk)などの記録媒体に記録しておき、CPU104がこの記録媒体から読み出した各種プログラムにしたがって、各種処理を実行するようにしてもよいし、各種プログラムをこの記録媒体からハードディスクドライブ106にインストールして実行するようにしてもよい。
Incidentally, in the third embodiment, the case where the
またデータ提供サーバ200についても同様に、各種プログラムを、CDやDVDなどの記録媒体に記録しておき、CPU201がこの記録媒体から読み出した各種プログラムにしたがって、各種処理を実行するようにしてもよいし、各種プログラムをこの記録媒体からハードディスクドライブ205にインストールして実行するようにしてもよい。
Similarly, the data providing server 200 may record various programs on a recording medium such as a CD or a DVD, and the
(4)他の実施の形態
なお、上述した第1及び第2の実施の形態では、コンテンツとして楽曲(音楽)を再生するための楽曲データGDを適用するようにした場合について述べたが、本発明はこれに限らず、楽曲データGD以外の音声データ、映像データ、プログラムデータなどであってもよい。
(4) Other Embodiments In the first and second embodiments described above, the case where the music data GD for playing back music (music) is applied as content has been described. The invention is not limited to this, and may be audio data other than the music data GD, video data, program data, and the like.
また、上述した第1及び第2の実施の形態では、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBに対して、楽曲識別情報GID、特徴解析情報TID及び切り出し位置情報CIDを格納したメタデータMTを付加するようにした場合について述べたが、本発明はこれに限らず、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBに対して、楽曲識別情報GID、特徴解析情報TID及び切り出し位置情報CIDを埋め込むようにしてもよいし、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBに対して、楽曲識別情報GID、特徴解析情報TID及び切り出し位置情報CIDをデータベースで管理するようにしてもよい。つまりは、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBへの、楽曲識別情報GID、特徴解析情報TID及び切り出し位置情報CIDの対応付けの方法は限定せず、それぞれを単独で対応付けたり、任意に複数組み合わせて対応付けたりしてよい。 In the first and second embodiments described above, the meta data storing the music identification information GID, the feature analysis information TID, and the cutout position information CID is stored for the 4-beat motion parts data MPA and the 8-beat motion parts data MPB. Although the case where the data MT is added has been described, the present invention is not limited to this, and the music identification information GID, the characteristic analysis information TID, and the cut-out for the 4-beat motion part data MPA and the 8-beat motion part data MPB. Position information CID may be embedded, and music identification information GID, feature analysis information TID, and cutout position information CID are managed in a database for 4-beat motion parts data MPA and 8-beat motion parts data MPB. May be. In other words, the method of associating the music identification information GID, the feature analysis information TID, and the cutout position information CID with the 4-beat motion parts data MPA and 8-beat motion parts data MPB is not limited. These may be arbitrarily combined and associated.
さらに、上述した第1及び第2の実施の形態では、モーションパーツデータとして4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを用いるようにした場合について述べたが、本発明はこれに限らず、モーションパーツデータとしては、1ビートモーションパーツデータや3ビートモーションパーツデータ、16ビートモーションパーツデータ、24ビートモーションパーツデータのように、1以上のビート区間Btで形成される他のモーションパーツデータを用いてもよいし、任意に複数組み合わせて複数種類を用いるようにしてもよく、その場合も、上述した第1及び第2の実施の形態と同様の効果を得ることができる。 Furthermore, in the first and second embodiments described above, the case where 4-beat motion part data MPA and 8-beat motion part data MPB are used as motion part data has been described, but the present invention is not limited to this. As the motion part data, other motion part data formed in one or more beat sections Bt, such as 1 beat motion part data, 3 beat motion part data, 16 beat motion part data, 24 beat motion part data, etc. It may be used, or a plurality of types may be used by arbitrarily combining a plurality of types, and in that case, the same effects as those of the first and second embodiments described above can be obtained.
さらに上述した第1及び第2の実施の形態では、モーション編集画面SS上で4ビートモーションパーツデータMPA及び8ビートモーションパーツデータMPBを並べるときの判断材料として、特徴解析情報TIDの「音楽区間」及び「雰囲気」を用いるようにした場合について述べたが、本発明はこれに限らず、「モーションパーツ分類」「曲調」「打楽器の度合い」「メロディーの度合い」「コーラスの頻度」といった特徴解析情報TIDの中の他の情報や、楽曲識別情報GIDの「タイトル」「アーティスト」「アルバム」「ジャンル」「作曲者」「作詞者」「演奏者」などの情報を判断材料として用いるようにしてもよく、それらを単独で判断材料としてもよいし、任意の複数を組み合わせて判断材料としてもよい。そうすることで、例えば、「曲調」がハ長調の楽曲データGDに対して同じ「曲調」でなるハ長調の4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを組み合わせて合成することでモーションデータMDを生成したり、「ジャンル」がジャズの楽曲データGDに対して同じ「ジャンル」でなるジャズの4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを組み合わせて合成することでモーションデータMDを生成したり、楽曲データGDに対応するモーションデータMDを同じ「作曲者」の4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを組み合わせて合成することで生成したりすることができ、それらの場合でも、上述した第1及び第2の実施の形態と同様の効果を得ることができる。 Further, in the first and second embodiments described above, “music section” of the feature analysis information TID is used as a judgment material when arranging the 4-beat motion part data MPA and the 8-beat motion part data MPB on the motion editing screen SS. However, the present invention is not limited to this, and feature analysis information such as “motion part classification”, “musical tone”, “percussion instrument level”, “melody level”, and “chorus frequency” is used. Other information in the TID and information such as “title”, “artist”, “album”, “genre”, “composer”, “lyricist”, and “performer” of the music identification information GID may be used as judgment materials. In addition, they may be used alone as a determination material, or any plurality may be combined as a determination material. By doing so, for example, by combining and combining the C major 4 beat motion part data MPA and the 8 beat motion part data MPB having the same “musical tone” with the music data GD whose “musical tone” is C major. Motion data MD is generated by generating data MD, or by combining jazz 4-beat motion part data MPA and 8-beat motion part data MPB having the same “genre” with music data GD whose “genre” is jazz. Can be generated by combining the 4 beat motion part data MPA and 8 beat motion part data MPB of the same “composer” with the motion data MD corresponding to the music data GD, Even in the case of the above, the first and second described above It is possible to obtain the same effect as facilities forms.
さらに上述した第1及び第2の実施の形態では、楽曲識別情報GIDに対して、楽曲データGDの「タイトル」「アーティスト」「アルバム」「ジャンル」「作曲者」「作詞者」「演奏者」、といった情報を適用するようにした場合について述べたが、本発明はこれに限らず、楽曲識別情報GIDに対して、「ボーカル」「ボーカルの性別」「発売開始年月日」「使用楽器」「指揮者」などを適用するようにしてもよく、またこれらの中の1つを単独で適用してもよいし、任意に複数組み合わせて適用してもよい。 Furthermore, in the first and second embodiments described above, “title”, “artist”, “album”, “genre”, “songwriter”, “lyricist”, “performer” of music data GD with respect to music identification information GID. However, the present invention is not limited to this, and for the music identification information GID, “vocals”, “vocals' gender”, “release date”, “instrument” “Conductor” or the like may be applied, and one of these may be applied alone or in any combination.
さらに上述した第1及び第2の実施の形態では、楽曲データGDを解析した解析結果から、「モーションパーツ分類」「雰囲気」「音楽区間」「曲調」「打楽器の度合い」「メロディーの度合い」「コーラスの頻度」、といった特徴解析情報TIDを得るようにした場合について述べたが、本発明はこれに限らず、特徴解析情報TIDとして「音楽のテンポ」「使用楽器」「ボーカルの性別」「ボーカルの人数」なども解析結果から得るようにしてもよく、またこれらの中の1つを単独で適用してもよいし、任意に複数組み合わせて適用してもよい。 Furthermore, in the first and second embodiments described above, from the analysis result obtained by analyzing the music data GD, “motion part classification” “atmosphere” “music section” “musical tone” “degree of percussion instrument” “degree of melody” “ The feature analysis information TID such as “the frequency of chorus” has been described. However, the present invention is not limited to this, and the feature analysis information TID includes “music tempo”, “instrument used”, “gender of vocals”, “vocals” The number of persons ”may be obtained from the analysis result, and one of them may be applied singly or may be arbitrarily combined and applied.
さらに上述した第1及び第2の実施の形態では、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBは、可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれをまとめて動かすようなデータである場合について述べたが、本発明はこれに限らず、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBは、可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれを個別に動かすようなデータであってもよい。そうすることで、データ記憶再生装置12は、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを組み合わせてモーションデータMDを生成するとき、可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれに対して4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを割り当てることができ、その分だけ、楽曲データGDに対する4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBをユーザに細かく割り当てさせることができる。
Further, in the first and second embodiments described above, the 4-beat motion part data MPA and the 8-beat motion part data MPB are movable parts (the casing right
さらに、上述した第1の実施の形態では、楽曲及びモーションパーツ提供サーバ13は、自身に記憶するモーションパーツデータの全てを、データ記憶再生装置12に対して一括で送信するようにした場合について述べたが、本発明はこれに限らず、データ記憶再生装置12から要求された音楽区間に関するモーションパーツデータだけを読み出して送信したり、データ記憶再生装置12から要求されたジャンルに関するモーションパーツデータだけを読み出して送信したりしてもよい。つまりは、楽曲及びモーションパーツ提供サーバ13がデータ記憶再生装置12に対してモーションパーツデータを送る際のモーションパーツデータの量は得に限定しない。
Furthermore, in the first embodiment described above, the music and motion
さらに上述した第1及び第2の実施の形態では、モーション編集画面SSのモーションタイムラインMTL上に対し、楽曲データGDに対応する4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを配置し終わった状態でシミュレーション再生するようにした場合について述べたが、本発明はこれに限らず、楽曲データGDに対応する4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを一部だけ配置した状態でシミュレーション再生するようにしてもよい。そうすることで、ユーザは、編集内容を確認しつつ、編集を継続することができる。 Further, in the first and second embodiments described above, the 4-beat motion part data MPA and the 8-beat motion part data MPB corresponding to the music data GD have been arranged on the motion timeline MTL on the motion editing screen SS. However, the present invention is not limited to this, and the 4-beat motion part data MPA and 8-beat motion part data MPB corresponding to the music data GD are only partially arranged. Simulation reproduction may be performed. By doing so, the user can continue editing while confirming the editing content.
さらに上述した第2の実施の形態では、モーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すためのジャンル別切り出し設定情報JA(JA1、JA2・・・)を、モーションデータMDを取得したときに生成するようにした場合について述べたが、本発明はこれに限らず、これらジャンル別切り出し設定情報JA(JA1、JA2・・・)を予め記憶部62に記憶しておいてもよい。また、ジャンル別に4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すためのジャンル別切り出し設定情報JA(JA1、JA2・・・)だけでなく、楽曲識別情報GIDの他の「タイトル」「アルバム」「作曲者」「作詞者」「演奏者」や、特徴解析情報TIDの「雰囲気」「音楽区間」「曲調」「打楽器の度合い」「メロディーの度合い」「コーラスの頻度」毎に4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すためのそれぞれの切り出し設定情報を、モーションデータMDを取得したときに生成するようにしてもよいし、予め生成して記憶しておいてもよい。
Further, in the second embodiment described above, the genre-specific cutout setting information JA (JA1, JA2,...) For cutting out the 4-beat motion part data MPA and the 8-beat motion part data MPB from the motion data MD is used as the motion data. The case where the MD is generated when the MD is acquired has been described, but the present invention is not limited to this, and the genre-specific cutout setting information JA (JA1, JA2,...) Is stored in the
さらに、上述した第1及び第2の実施の形態では、データ記憶再生装置12や楽曲及びモーションパーツ提供サーバ13は、モーションデータMDを取得したときに、このモーションデータMDからモーションパーツデータを切り出すようにした場合について述べたが、本発明はこれに限らず、取得したモーションデータMDをそのまま記憶しておいて、処理負荷が比較的低い深夜などにまとめてモーションパーツデータを切り出すようにしたり、データ記憶再生装置12のユーザや楽曲及びモーションパーツ提供サーバ13の管理者に指示されたタイミングでモーションパーツデータを切り出したりしてもよく、モーションデータMDからモーションパーツデータを切り出すタイミングは特に限定しない。
Furthermore, in the first and second embodiments described above, when the data storage /
さらに、上述した第1及び第2の実施の形態では、モーションデータMDにより、ロボット装置11の可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)のそれぞれを所定のパターンで動かすようにした場合について述べたが、本発明はこれに限らず、可動部(筐体右側回動部22、筐体左側回動部23、筐体右側開閉部24、筐体左側開閉部25、右側車輪30、左側車輪31)の1つを単独で動かすようにしてもよいし、複数の可動部を複数組み合わせて動かすようにしてもよい。また、モーションデータMDの他に、発光部(34、35)のそれぞれを発光させる発光データを用意し、この発光データを、モーションデータ生成システム10の中でモーションデータMDと同様に扱うようにしてもよい。そうすることで、この発光データを、発光パーツデータをユーザに選択させてつなぎ合わせて生成することに関しても、上述したモーションデータMDの場合と同様に実現できる。
Further, in the above-described first and second embodiments, the motion data MD is used to move the movable parts of the robot apparatus 11 (the housing right
さらには、モーションデータMDで動かせるのはロボット装置11だけでなく、何らかの可動部や発光部等を有する他のロボット装置であってもよく、そのようなロボット装置を動かせるようにモーションデータMDが形成されていればよい。
Furthermore, the motion data MD can be moved not only by the
さらに上述した第1及び第2の実施の形態では、モーションデータMDから4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すとき、ビート区間Btを単位として切り出すようにした場合について述べたが、本発明はこれに限らず、音楽区間を単位として4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを切り出すようにしてもよい。また、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBに応じた各可動部の動作の開始や終了が、ビート区間Btの先頭や後尾からわずかにはみ出しているような場合には、この4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBに応じた各可動部の動作が切りの良いところで完結するように、はみ出した分も含めて切り出すようにしてもよい。 Further, in the first and second embodiments described above, the case where the 4-beat motion part data MPA and the 8-beat motion part data MPB are cut out from the motion data MD is described with the beat section Bt as a unit. The present invention is not limited to this, and 4-beat motion part data MPA and 8-beat motion part data MPB may be cut out in units of music sections. If the start and end of the operation of each movable part corresponding to the 4-beat motion parts data MPA and 8-beat motion parts data MPB slightly protrude from the head or tail of the beat section Bt, this 4 It may be cut out including the protruding portion so that the operation of each movable part according to the beat motion parts data MPA and the 8-beat motion parts data MPB is completed at a good point.
さらに上述した第1及び第2の実施の形態では、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBをつなぎ合わせてモーションデータMDを生成するために、モーション編集画面SSに4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBを貼り付けるようにした場合について述べたが、本発明はこれに限らず、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBをつなぎ合わせてモーションデータMDを生成するために用いる手段(画面、操作ボタン、4ビートモーションパーツデータMPAや8ビートモーションパーツデータMPBの配置方法)は何でもよい。 Furthermore, in the first and second embodiments described above, the 4-beat motion part data is displayed on the motion editing screen SS in order to generate the motion data MD by connecting the 4-beat motion part data MPA and the 8-beat motion part data MPB. Although the case where MPA and 8-beat motion part data MPB are pasted has been described, the present invention is not limited to this, and motion data MD is generated by connecting 4-beat motion part data MPA and 8-beat motion part data MPB. Any means (screen, operation button, 4-beat motion parts data MPA and 8-beat motion parts data MPB arrangement method) used for the operation may be used.
さらに上述した第1及び第2の実施の形態では、表示部53を有するデータ記憶再生装置12に本発明を適用するようにした場合について述べたが、本発明はこれに限らず、表示部53を有さず、外部の表示部と所定のケーブルを介して外部接続されるデータ記憶再生装置に本発明を適用するようにしてもよい。
Further, in the first and second embodiments described above, the case where the present invention is applied to the data storage /
さらに、ここまで説明した他の実施の形態は、上述した第1及び第2の実施の形態だけに限定されず、これら第1および第2の実施の形態をハードウェア構成で実現する第3の実施の形態にもその範囲が及ぶものである。 Furthermore, the other embodiments described so far are not limited to the first and second embodiments described above, and a third embodiment that realizes the first and second embodiments with a hardware configuration. The scope also extends to the embodiment.
さらに、本発明は、上述した第1乃至第3の実施の形態及びここまで説明した他の実施の形態に限定されるものではなく、これら第1乃至第3の実施の形態及びここまで説明した他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を切り出した形態にもその適用範囲が及ぶものである。例えば、第2の実施の形態のデータ記憶再生装置12におけるモーションパーツ切り出し部59の機能を、第1の実施の形態の楽曲及びモーションパーツ提供サーバ13におけるモーションパーツ切り出し部64の機能で置き換えるなどしてもよいし、第1の実施の形態の楽曲及びモーションパーツ提供サーバ13におけるモーションパーツ切り出し部64の機能を、第2の実施の形態のデータ記憶再生装置12におけるモーションパーツ切り出し部59の機能で置き換えるなどしてもよい。
Furthermore, the present invention is not limited to the first to third embodiments described above and the other embodiments described so far, but has been described to the first to third embodiments and heretofore. The scope of application also extends to a form in which some or all of the other embodiments are arbitrarily combined, or a form in which a part is cut out. For example, the function of the motion
さらに、上述した第1乃至第3の実施の形態及びここまで説明した他の実施の形態では、本発明のデータ切り出し装置として、第1の実施の形態の楽曲及びモーションパーツ提供サーバ13及び第2の実施の形態のデータ記憶再生装置12を適用するようにした場合について述べたが、本発明はこれに限らず、パーソナルコンピュータやオーディオコンポ、DVDレコーダ、ハードディスクレコーダ、家庭用ゲーム装置など、この他種々の装置に適用することができる。
Furthermore, in the first to third embodiments described above and the other embodiments described so far, the music and motion
本発明は、データを提供するサーバに利用することができる。 The present invention can be used for a server that provides data.
1……データ切り出し装置、2……コンテンツ解析部、3……モーションパーツ切り出し部、6……要求側通信部、10……モーションデータ生成システム、11……ロボット装置、12、100……データ記憶再生装置、13……楽曲及びモーションパーツ提供サーバ、14……モーションデータ提供サーバ14、22……筐体右側回動部、23……筐体左側回動部、24……筐体右側開閉部、25……筐体左側開閉部、30……右側車輪、31……左側車輪、33……接触検知センサ部、34……右側発光部、35……左側発光部、37……マイク、40……主制御部、41、56、61、71……通信部、42、52、62、72……記憶部、43、54……再生部、44……駆動制御部、50、60、70……制御部、53……表示部、57、63……楽曲解析部、58……モーション生成部、59、64……モーションパーツ切り出し部、200・・・・・・データ提供サーバ、GID……楽曲識別情報、GD……楽曲データ、MD……モーションデータ、MPA……4ビートモーションパーツデータ、MPB……8ビートモーションパーツデータ、MT……メタデータ、SS……モーション編集画面、TID……特徴解析情報。
DESCRIPTION OF
Claims (9)
上記コンテンツ解析部により検出された上記コンテンツの区間ごとの特徴に基づき、当該コンテンツの再生に合わせてロボット装置が動くためのモーションデータから、上記複数の区間のうちの1区間または連続する2以上の区間に対応する部分をモーションパーツデータとして切り出し、当該切り出したモーションパーツデータに対して、上記1区間または連続する2以上の区間の特徴を対応付ける切り出し部と
を具えることを特徴とするデータ切り出し装置。 A content analysis unit that analyzes the content and detects a break position that divides the content into a plurality of sections, and detects a feature for each section of the content that is divided by the break position;
Based on the characteristics of each section of the content detected by the content analysis unit, from the motion data for the robot device to move in accordance with the playback of the content, one section of the plurality of sections or two or more continuous sections A data segmentation device comprising: a segment corresponding to a segment as motion part data, and a segmenting unit that correlates the segmented motion part data with features of the one segment or two or more consecutive segments. .
上記コンテンツ解析部により検出された上記コンテンツの区間ごとの特徴と、上記複数の区間から上記モーションパーツデータを切り出すための切り出し設定情報とに応じて、上記モーションデータから、上記複数の区間のうちの上記1区間または連続する2以上の区間に対応する部分をモーションパーツデータとして切り出す
ことを特徴とする請求項1に記載のデータ切り出し装置。 The cutout part
According to the feature of each section of the content detected by the content analysis unit and the cut-out setting information for cutting out the motion part data from the plurality of sections, the motion data is selected from the plurality of sections. The data cutout device according to claim 1, wherein a portion corresponding to the one section or two or more continuous sections is cut out as motion part data.
上記モーションデータから、上記コンテンツ解析部により検出された上記コンテンツの区間ごとの特徴の中で、同じまたは類似した特徴でなる上記1区間または連続する2以上の区間に対応する部分を、モーションパーツデータとして切り出す
ことを特徴とする請求項1に記載のデータ切り出し装置。 The cutout part
Of the features for each section of the content detected by the content analysis unit from the motion data, a portion corresponding to the one section or two or more consecutive sections having the same or similar features is represented by motion part data. The data cutout device according to claim 1, wherein the data cutout device is cut out as follows.
上記切り出し部は、
上記ロボット装置の複数の上記可動部をまとめて動かす上記モーションパーツデータを切り出す
ことを特徴とする請求項1に記載のデータ切り出し装置。 The motion data is formed so as to move a plurality of movable parts of the robot apparatus together in a movement according to the reproduction of the content,
The cutout part
The data clipping device according to claim 1, wherein the motion part data that moves a plurality of the movable parts of the robot device together is cut out.
上記モーションデータから切り出した上記モーションパーツデータに対して、上記1区間または連続する2以上の区間の特徴をメタデータとして付加する
ことを特徴とする請求項1に記載のデータ切り出し装置。 The cutout part
The data cutout device according to claim 1, wherein the feature of the one section or two or more continuous sections is added as metadata to the motion part data cut out from the motion data.
上記モーションデータから切り出した上記モーションパーツデータに対して、上記コンテンツを識別するコンテンツ識別情報を対応付ける
ことを特徴とする請求項1に記載のデータ切り出し装置。 The cutout part
The data cutout device according to claim 1, wherein content identification information for identifying the content is associated with the motion part data cut out from the motion data.
上記コンテンツ解析部は、
上記外部装置から送信された上記モーションデータを上記通信部により受信したときに、当該モーションデータMDに対応する上記コンテンツを解析する
ことを特徴とする請求項1に記載のデータ切り出し装置。 A communication unit that communicates with external devices
The content analysis unit
The data cutout device according to claim 1, wherein when the motion data transmitted from the external device is received by the communication unit, the content corresponding to the motion data MD is analyzed.
検出した上記コンテンツの区間ごとの特徴に基づき、当該コンテンツの再生に合わせてロボット装置が動くためのモーションデータから、上記複数の区間のうちの1区間または連続する2以上の区間に対応する部分をモーションパーツデータとして切り出し、当該切り出したモーションパーツデータに対して、上記1区間または連続する2以上の区間の特徴を対応付ける切り出しステップと
を具えることを特徴とするデータ切り出し方法。 A content analysis step of analyzing the content and detecting a break position that divides the content into a plurality of sections, and detecting a feature for each section of the content that is divided by the break position;
Based on the detected feature for each section of the content, a portion corresponding to one section of the plurality of sections or two or more sections is extracted from the motion data for the robot device to move in accordance with the reproduction of the content. A data cutout method comprising: a cutout step of cutting out as motion part data and associating the cutout motion part data with the features of the one section or two or more continuous sections.
検出した上記コンテンツの区間ごとの特徴に基づき、当該コンテンツの再生に合わせてロボット装置が動くためのモーションデータから、上記複数の区間のうちの1区間または連続する2以上の区間に対応する部分をモーションパーツデータとして切り出し、当該切り出したモーションパーツデータに対して、上記1区間または連続する2以上の区間の特徴を対応付ける切り出しステップと
を実行させることを特徴とするデータ切り出しプログラム。 A content analysis step of analyzing the content and detecting a break position that divides the content into a plurality of sections, and detecting a feature for each section of the content that is divided by the break position;
Based on the detected feature for each section of the content, a portion corresponding to one section of the plurality of sections or two or more sections is extracted from the motion data for the robot device to move in accordance with the reproduction of the content. A data cutout program which cuts out as motion part data, and causes the cutout motion part data to execute a cutout step for associating the feature of the one section or two or more continuous sections.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007183579A JP2009020361A (en) | 2007-07-12 | 2007-07-12 | Data segmenting device, method of data segmenting and program for segmenting data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007183579A JP2009020361A (en) | 2007-07-12 | 2007-07-12 | Data segmenting device, method of data segmenting and program for segmenting data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009020361A true JP2009020361A (en) | 2009-01-29 |
Family
ID=40360034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007183579A Pending JP2009020361A (en) | 2007-07-12 | 2007-07-12 | Data segmenting device, method of data segmenting and program for segmenting data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009020361A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012205853A (en) * | 2011-03-30 | 2012-10-25 | Daiichi Shokai Co Ltd | Game machine |
JP2012205852A (en) * | 2011-03-30 | 2012-10-25 | Daiichi Shokai Co Ltd | Game machine |
KR20190062120A (en) * | 2017-11-27 | 2019-06-05 | 엘지전자 주식회사 | Mobile terminla and music play system including mobile terminal |
-
2007
- 2007-07-12 JP JP2007183579A patent/JP2009020361A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012205853A (en) * | 2011-03-30 | 2012-10-25 | Daiichi Shokai Co Ltd | Game machine |
JP2012205852A (en) * | 2011-03-30 | 2012-10-25 | Daiichi Shokai Co Ltd | Game machine |
KR20190062120A (en) * | 2017-11-27 | 2019-06-05 | 엘지전자 주식회사 | Mobile terminla and music play system including mobile terminal |
KR102090574B1 (en) * | 2017-11-27 | 2020-03-18 | 엘지전자 주식회사 | Mobile terminla and music play system including mobile terminal |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4247626B2 (en) | Playback apparatus and playback method | |
Vail | The synthesizer: a comprehensive guide to understanding, programming, playing, and recording the ultimate electronic music instrument | |
JP2003536106A (en) | Interactive multimedia device | |
JP2002515987A (en) | Real-time music creation system | |
JP2008090633A (en) | Motion data creation device, motion data creation method and motion data creation program | |
TW200933616A (en) | Content reproducing device and contents reproducing method | |
Broughton et al. | How to DJ Right: the art and science of playing records | |
JP3014386B1 (en) | Turntable that can be attached to game machines | |
JP2009020361A (en) | Data segmenting device, method of data segmenting and program for segmenting data | |
JP3547391B2 (en) | Karaoke device with a function to edit and output visual music programs for gymnastics guidance | |
JP2012198380A (en) | Display control device | |
Réveillac | Electronic Music Machines: The New Musical Instruments | |
Young | Adaptive game music: the evolution and future of dynamic music systems in video games | |
JP5486941B2 (en) | A karaoke device that makes you feel like singing to the audience | |
Cliff | hpDJ: An automated DJ with floorshow feedback | |
Bell | Interrogating the live: a DJ perspective | |
JP3799359B2 (en) | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM | |
Arrasvuori | Playing and making music: Exploring the similarities between video games and music-making software | |
Marynowsky et al. | Sonic Robotics: Musical Genres as Platforms for Understanding Robotic Performance as Cultural Events | |
Lippit | Listening with Hands: The Instrumental Impulse and Invisible Transformation in Turntablism | |
Souvignier | Loops and grooves: The musician's guide to groove machines and loop sequencers | |
JP2009018054A (en) | Data providing device, data requesting device, data providing method, data requesting method, data providing program, and data requesting program | |
Redhead | Dynamic Music The Implications of Interactive Technologies on Popular Music Making | |
Hansen | The acoustics and performance of DJ scratching | |
Hansen et al. | DJ scratching performance techniques: Analysis and synthesis |