JP2012083862A - 映像コンテンツ生成システム、映像コンテンツ生成装置及びコンピュータプログラム - Google Patents
映像コンテンツ生成システム、映像コンテンツ生成装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2012083862A JP2012083862A JP2010227891A JP2010227891A JP2012083862A JP 2012083862 A JP2012083862 A JP 2012083862A JP 2010227891 A JP2010227891 A JP 2010227891A JP 2010227891 A JP2010227891 A JP 2010227891A JP 2012083862 A JP2012083862 A JP 2012083862A
- Authority
- JP
- Japan
- Prior art keywords
- music data
- music
- data
- node
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004590 computer program Methods 0.000 title claims description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 285
- 238000013500 data storage Methods 0.000 claims abstract description 97
- 238000003860 storage Methods 0.000 claims description 38
- 238000004458 analytical method Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 description 98
- 230000008569 process Effects 0.000 description 49
- 238000012545 processing Methods 0.000 description 46
- 230000000875 corresponding effect Effects 0.000 description 37
- 239000011159 matrix material Substances 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 29
- 238000002156 mixing Methods 0.000 description 25
- 238000010276 construction Methods 0.000 description 22
- 238000000513 principal component analysis Methods 0.000 description 22
- 238000000605 extraction Methods 0.000 description 17
- 230000001360 synchronised effect Effects 0.000 description 16
- 230000002457 bidirectional effect Effects 0.000 description 13
- 210000000988 bone and bone Anatomy 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 210000002683 foot Anatomy 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241001342895 Chorus Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 240000008168 Ficus benjamina Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】最適パス探索部24は、音楽データ記憶部21に所定のビート数の音楽データが記憶された際に、パスで特定される最終ノードから所定のビート数の音楽データに対応するノードまでの第1のコストと、最終ノードの候補であったノードから当該所定のビート数の音楽データに対応するノードまでの第2のコストとの比に応じて、所定量の音楽データに基づいてパスを新たに検索する、またはパスに、当該パスで特定される最終ノードから当該所定のビート数の音楽データに対応するノードまでのパスを追加する。
【選択図】図1
Description
非特許文献4には、モーショングラフ(Motion Graphs)を用いて新たな動きデータを生成する技術が開示されている。
非特許文献5には、パス探索技術として、ある始点からダイナミックプログラミング(dynamic programming)で最適なパスを探索する技術が開示されている。
図1は、本発明の一実施形態に係る映像コンテンツ生成システム1の構成を示すブロック図である。図1において、映像コンテンツ生成システム1は、メタデータ構築装置10と、映像コンテンツ生成装置20とを含む。メタデータ構築装置10と、映像コンテンツ生成装置20とは通信可能なネットワーク(図示せず)で接続されており、互いにデータの送受信を行うことができる。メタデータ構築装置10は、動き解析部11と、データベース12とを有する。映像コンテンツ生成装置20は、ストリーミングデータ記憶部19と、音楽データ記憶部21と、音楽解析部22と、音楽解析データ記憶部23と、最適パス探索部24と、同期部25と、同期情報記憶部26と、映像データ生成部27と、映像コンテンツ記憶部28と、再生部29とを有する。
人体スケルトン型加速度情報データは、人の各ジョイントの加速度をポーズ毎のフレームデータと複数のポーズの連続により表すものである。なお、人体スケルトン型加速度情報データは、加速度計で記録したり、映像や動きデータから算出したりすることができる。
動き解析部11は、動きデータベース2から動きデータを取得し、取得した動きデータを解析して動き特徴量を取得し、取得した動き特徴量をデータベース12に格納する。動き解析部11は、動きデータベース2に蓄積される全ての動きデータを対象にする。この動き解析部11の処理は、実際に映像コンテンツを生成する段階の前に、事前の準備段階として行われる。
ビート抽出部31は、入力された動きデータからビート時刻を検出する。ここで、動きデータのビート時刻は反復的な動きの方向又は強度が変化する時刻である、と定義する。例えば、ダンスなどの動きでは拍子を打つタイミングが相当する。ビート抽出部31は、入力された動きデータを短時間の動きデータに分割し、分割した動き区間から主成分分析によってビート時刻を検出する。
物理量変換部311は、入力された動きデータにおいて、時刻tにおけるジョイント相対位置を算出する。ジョイント相対位置は、ルートに対するジョイントの相対的な位置である。
まず、人体スケルトン型角度情報データ内の基本ポーズデータとフレームデータを用いて、ジョイント位置を算出する。基本ポーズデータは、基本ポーズのときのルートの位置及び各ジョイントの位置、並びに各骨の長さなど、基本ポーズを特定する情報を有する。フレームデータは、ジョイント毎に、基本ポーズからの移動量の情報を有する。ここでは、移動量として角度情報を利用する。この場合、時刻tにおけるk番目のジョイントの位置pk(t)は、(1)式および(2)式により算出される。pk(t)は3次元座標で表される。なお、時刻tはフレームデータの時刻である。本実施形態では、時刻tを単に「フレームインデックス」として扱う。これにより、時刻tは、0,1,2,・・・,T−1の値をとる。Tは、動きデータに含まれるフレームの個数である。
データ分割部312は、ジョイント相対位置データを、一定時間の区間に分割する。データ分割部312は、各ジョイントのジョイント相対位置データ「p’k(t)」に対して、それぞれデータ分割処理を行う。図5にデータ分割処理の概念を示す。データ分割処理では、ジョイント相対位置データを一定時間(一定数のフレーム分に対応)の区間に分割する。分割区間の長さは、適宜、設定可能である。分割区間の長さは、例えば、1フレーム当たりの時間の60倍である。
短時間主成分分析部313は、データ分割部312によって分割されたジョイント相対位置データに対し、各区間で主成分分析処理を行う。ここで、時刻tのフレーム「x(t)」を用いて、一区間のデータ「X」を「X={x(t1),x(t2),・・・,x(tN)}と表す。但し、Nは区間長(区間内に含まれるフレームの個数)である。Xは、M行N列の行列である(但し、M=3×K)。
まず、(4)式により、Xから平均値を除いたN行M列の行列Dを算出する。
主成分座標連結部314は、各区間の主成分の座標を、時系列に沿って連結する。この主成分座標連結部314が行う主成分座標連結処理では、連続する2つの区間の境界部分において、主成分の座標が滑らかに連結されるように、主成分の座標を調整する。
(10)式の最初の計算式の計算結果の座標Y1”に対し、第t1フレームの座標Y1”(t1)をY1 opt(t1)に置き換える。この置き換え後の座標Y1”が、座標シフト結果の座標である。
ビート推定部315は、主成分座標連結部314によって算出された連結後の全区間の主成分座標y(t)から、極値b(j)を算出する。この算出結果の極値b(j)がビートに対応する。ビートの集合Bは、(11)式で表される。
例えば、ビート推定部315は、主成分座標連結部314によって算出された連結後の全区間の主成分座標から自己相関値を算出し、該自己相関値の極値b(j)をビートに対応するものとして算出することができる。
また、ビート推定部315は、主成分座標連結部314によって、連結後の隣区間の主成分係数から算出した内積((9)式によるもの)の自己相関値を算出し、該自己相関値の極値b(j)をビートに対応するものとして算出することができる。
後処理部316は、ビート推定部315によって算出されたビート集合Bから、ビート時刻を検出する。
まず、ビート集合B内の各極値間を、(12)式により正弦曲線(sinusoid)で近似する。
盛り上がり算出部33は、各動きデータについて、主成分分析区間ごとに、(17)式により、動きの盛り上がりを算出する。
モーショングラフ生成部35は、各動きデータの、ビート時刻eb(j)の集合EB、テンポ及び盛り上がりを用いて、モーショングラフを生成する。モーショングラフについては非特許文献4に開示されている。モーショングラフは、ノード(頂点)群とノード間の連結関係を表すエッジ(枝)群とエッジの重みから構成される。エッジには双方向と単方向の2種類がある。
動きデータベース2内の動きデータは、ジャンル別に分類される。動きデータベース2内の動きデータのジャンルは、予め設定される。そのジャンル分けは動きの特徴によって行われる。各動きデータには、所属するジャンルを示す情報が付加されている。モーショングラフ生成部35は、動きデータに付加されたジャンル情報によって、動きデータのジャンルを判別する。図8の例では、動きデータベース2内の動きデータは、n個のジャンルデータベース(ジャンル1DBからジャンルnDB)に分類される。
まず、ビートフレーム抽出ステップでは、テンポiDBに属する全ての動きデータから、ビート時刻に該当するフレーム(ビートフレーム)を全て抽出する。この抽出されたビートフレームの集合をFiALL Bと表す。
次いで、連結性算出ステップでは、集合FiALL Bに含まれる全ビートフレームを対象とした全てのペアについて、(19)式又は(20)式により距離を算出する。あるビートフレームFi BとあるビートフレームFj Bとの距離をd(Fi B,Fj B)と表す。
次いで、モーショングラフ構築ステップでは、まず、集合FiALL Bに含まれる全ビートフレームをそれぞれ、モーショングラフのノードに設定する。従って、モーショングラフのノード数の初期値は、集合FiALL Bに含まれるビートフレームの個数に一致する。
(a)ビートフレームFi BとビートフレームFj Bが同じ主成分分析区間に属する場合、当該主成分分析区間の盛り上がりを重みに用いる。
(b)ビートフレームFi BとビートフレームFj Bが異なる主成分分析区間に属する場合、ビートフレームFi Bが属する主成分分析区間の盛り上がりとビートフレームFj Bが属する主成分分析区間の盛り上がりを平均した値を重みに用いる。
(ステップS101)全てのノードの色を「白」とする。その後、ステップS102の処理に進む。
(ステップS102)当ノードuの色を「グレー」とする。その後、ステップS103の処理に進む。
(ステップS103)子ノードvがある場合にはステップS106の処理に進み、それ以外の場合にはステップS104の処理に進む。
(ステップS104)当ノードuの色を「黒」とする。その後、ステップS105の処理に進む。
(ステップS105)当ノードuを親ノードとする。その後、ステップS103の処理に戻る。
(ステップS106)ノードvの色が「白」である場合にはステップS107の処理に進み、それ以外の場合にはステップS109の処理に進む。
(ステップS107)ノードvの親をノードuとする。その後、ステップS108の処理に進む。
(ステップS108)当ノードuをノードvとする。その後、ステップS102の処理に戻る。
(ステップS109)ループがあると判定し、処理を終了する。
映像コンテンツ生成装置20には、映像コンテンツ生成対象の楽曲の音楽データが、ストリーミング方式で楽曲ファイル3から配信(入力)される。ストリーミングデータ記憶部19は、ストリーミング方式で配信される音楽データを蓄積(記憶)する。
音楽データ記憶部21は、一定時間(例えば、10秒間)再生分の音楽データを蓄積する。音楽データ記憶部21に一定時間再生分の音楽データが蓄積されていない場合、ストリーミングデータ記憶部19に蓄積されている音楽データを、最初から1ビート分ずつ音楽データ記憶部21に移動させる。
音楽解析部22は、音楽データ記憶部21に一定時間再生分の音楽データが蓄積された場合、音楽データ記憶部21に蓄積されている一定時間再生分の音楽データを読み出して解析することにより音楽特徴量を取得する。本実施形態では、非特許文献2に記載の技術を用いて、一定時間再生分の音楽データから、ビート間隔及びビート時刻を取得する。また、本実施形態では(25)式により、一定時間再生分の音楽データの盛り上がりを算出する。
音楽解析部22は、一定時間再生分の音楽データのビート間隔、ビート時刻、テンポおよび盛り上がりを音楽特徴量として音楽解析データ記憶部212に格納する。また、音楽解析部22は、一定時間再生分の音楽データを映像コンテンツ記憶部28に格納する。
まず、最適パス探索部24は、メタデータ構築装置10が有するデータベース12内のモーショングラフデータの中から、映像コンテンツ生成対象の楽曲に合ったモーショングラフデータを選択する。この選択では、映像コンテンツ生成対象の楽曲に合ったジャンルのモーショングラフデータの中から、映像コンテンツ生成対象の楽曲のテンポに合ったモーショングラフデータを選択する。映像コンテンツ生成対象の楽曲に合ったジャンルは、利用者から入力してもらう、又は予め設定しておく。
始点選択ステップでは、モーショングラフ内のノードから、映像コンテンツの動きの始点となるノードの候補(始点候補ノード)を選択する。始点候補ノードには、モーショングラフ内のノードであって、各動きデータの最初のビートフレームに対応するノードを全て抽出する。従って、始点候補ノードは、通常、複数ある。
次いで、最適パス探索ステップでは、モーショングラフ上の始点候補ノードからの最適パスを始点候補ノード毎に探索し、各始点候補ノードに係る最適パスの中から最小コストのパスを選択する。このパス探索方法には、非特許文献5に記載されるパス探索技術を用いる。非特許文献5に記載されるパス探索技術は、ある始点からダイナミックプログラミングで最適なパスを探索するものである。このパスの検索方法をDynamic Programming更新方式と呼ぶ。以下、Dynamic Programming更新方式を用いた最適パス探索ステップの詳細を説明する。
同期部25は、最適パス探索部24が探索した最適パスに従って、動きデータと音楽データを対応付ける同期情報を生成する。以下、同期情報生成方法の詳細を説明する。
映像データ生成部27は、同期情報記憶部26に格納された同期情報に基づいて、映像コンテンツ生成対象の楽曲の音楽データとともに再生される映像データを生成する。具体的には、始点ビートフレームから経由ビートフレームを経由して終点ビートフレームに至るまでに必要な動きデータを動きデータベース2から取得する。
再生部29は、映像コンテンツ記憶部28に関連付けて格納された映像データと音楽データとを、ともに再生する。このとき、再生部29は、映像データに付加されたフレームレートの情報に従って、隣接ビートフレーム間のフレームレートを設定する。これにより、映像データと音楽データは、互いのビートが同期して再生される。なお、再生部29は、映像コンテンツ生成装置20とは独立した装置であってもよい。
また、上記周辺機器については、メタデータ構築装置10および映像コンテンツ生成装置20に直接接続するものであってもよく、あるいは通信回線を介して接続するようにしてもよい。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disk)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
例えば、携帯端末が、メタデータ構築装置10の各部と、映像コンテンツ生成装置20の各部とを備える構成としてもよい。また、メタデータ構築装置10の各部と、映像コンテンツ生成装置20の各部と、映像コンテンツ記憶部28に記憶されている音楽データと映像データとを携帯端末などの他の装置に配信する配信部とを備えた映像コンテンツ配信装置として構成してもよい。
また、上述した実施形態では人の動きデータを扱ったが、本発明は各種の物体の動きデータに適用することができる。ここで、物体とは、人、動物、植物その他の生物、及び、生物以外の物(ロボット等)を含む。
Claims (6)
- ストリーミング配信される楽曲に合わせた映像コンテンツを生成する映像コンテンツ生成システムにおいて、
映像コンテンツに利用可能な動きデータと、動きの種類ごとに分類された動き特徴量群を格納するモーショングラフを記憶するデータベースと、
前記ストリーミング配信される音楽データを記憶するストリーミングデータ記憶部と、
前記ストリーミングデータ記憶部から、前記音楽データを所定のビート数毎取得し、所定量の前記音楽データを記憶する音楽データ記憶部と、
前記音楽データ記憶部が記憶する前記所定量の音楽データから音楽特徴量を取得する音楽解析部と、
前記モーショングラフ上で、前記音楽データ記憶部が記憶する前記所定量の音楽データの音楽特徴量に対応する動き特徴量を有するノード群の中で該ノード群の最終ノードが一定の同期可能性を有するノード群を連結できるパスとして探索する最適パス探索部と、
前記最適パス探索部が探索した前記パスに応じた前記動きデータと前記所定量の音楽データとを対応付ける同期情報を生成する同期部と、
前記同期情報に基づいて、前記所定量の音楽データとともに再生される映像データを生成する映像データ生成部と、
前記所定量の音楽データのうち、前記所定のビート数の音楽データと、当該所定のビート数の音楽データとともに再生される前記映像データとを記憶する映像コンテンツ記憶部と、
を備え、
前記最適パス探索部は、前記音楽データ記憶部に前記所定のビート数の音楽データが記憶された際に、前記パスで特定される最終ノードから当該所定のビート数の音楽データに対応する前記ノードまでの第1のコストと、前記最終ノードの候補であった前記ノードから当該所定のビート数の音楽データに対応する前記ノードまでの第2のコストとの比に応じて、前記所定量の音楽データに基づいて前記パスを新たに検索する、または前記パスに、当該パスで特定される最終ノードから当該所定のビート数の音楽データに対応する前記ノードまでの前記パスを追加する
ことを特徴とする映像コンテンツ生成システム。 - 前記最適パス探索部は、前記音楽データ記憶部に前記所定のビート数の音楽データが記憶された場合、前記第1のコストが、前記第2のコストに所定の係数を乗算した値以上の場合には、前記所定量の音楽データに基づいて前記パスを新たに検索し、それ以外の場合には、前記パスに、当該パスで特定される最終ノードから当該所定のビート数の音楽データに対応する前記ノードまでの前記パスを追加する
ことを特徴とする請求項1に記載の映像コンテンツ生成システム。 - 前記ストリーミングデータ記憶部が記憶する音楽データに基づいて再生される音楽の特徴を解析し、解析した結果に基づいて前記所定のビート数を決定する移動量決定部
を備えたことを特徴とする請求項1または請求項2のいずれか1項に記載の映像コンテンツ生成システム。 - 前記移動量決定部は、前記ストリーミングデータ記憶部が記憶する音楽データに基づいて再生される音楽のフェーズが変化した時、或いはサビになった時、前記所定のビート数を増やし、それ以外の場合には前記所定のビート数を1ビートとする
ことを特徴とする請求項3に記載の映像コンテンツ生成システム。 - ストリーミング配信される楽曲に合わせた映像コンテンツを生成する映像コンテンツ生成装置において、
映像コンテンツに利用可能な動きデータと、動きの種類ごとに分類された動き特徴量群を格納するモーショングラフを取得する取得部と、
前記ストリーミング配信される音楽データを記憶するストリーミングデータ記憶部と、
前記ストリーミングデータ記憶部から、前記音楽データを所定のビート数毎取得し、所定量の前記音楽データを記憶する音楽データ記憶部と、
前記音楽データ記憶部が記憶する前記所定量の音楽データから音楽特徴量を取得する音楽解析部と、
前記モーショングラフ上で、前記音楽データ記憶部が記憶する前記所定量の音楽データの音楽特徴量に対応する動き特徴量を有するノード群の中で該ノード群の最終ノードが一定の同期可能性を有するノード群を連結できるパスとして探索する最適パス探索部と、
前記最適パス探索部が探索した前記パスに応じた前記動きデータと前記所定量の音楽データとを対応付ける同期情報を生成する同期部と、
前記同期情報に基づいて、前記所定量の音楽データとともに再生される映像データを生成する映像データ生成部と、
前記所定量の音楽データのうち、前記所定のビート数の音楽データと、当該所定のビート数の音楽データとともに再生される前記映像データとを記憶する映像コンテンツ記憶部と、
を備え、
前記最適パス探索部は、前記音楽データ記憶部に前記所定のビート数の音楽データが記憶された際に、前記パスで特定される最終ノードから当該所定のビート数の音楽データに対応する前記ノードまでの第1のコストと、前記最終ノードの候補であった前記ノードから当該所定のビート数の音楽データに対応する前記ノードまでの第2のコストとの比に応じて、前記所定量の音楽データに基づいて前記パスを新たに検索する、または前記パスに、当該パスで特定される最終ノードから当該所定のビート数の音楽データに対応する前記ノードまでの前記パスを追加する
ことを特徴とする映像コンテンツ生成装置。 - コンピュータに、
映像コンテンツに利用可能な動きデータと、動きの種類ごとに分類された動き特徴量群を格納するモーショングラフを取得する取得ステップと、
前記ストリーミング配信される音楽データを記憶するストリーミングデータ記憶ステップと、
前記ストリーミングデータ記憶ステップで記憶した前記音楽データから、当該音楽データを所定のビート数毎取得し、所定量の前記音楽データを記憶する音楽データ記憶ステップと、
前記音楽データ記憶ステップで記憶した前記所定量の音楽データから音楽特徴量を取得する音楽解析ステップと、
前記モーショングラフ上で、前記音楽データ記憶ステップで記憶した前記所定量の音楽データの音楽特徴量に対応する動き特徴量を有するノード群の中で該ノード群の最終ノードが一定の同期可能性を有するノード群を連結できるパスとして探索する最適パス探索ステップと、
前記最適パス探索ステップで探索した前記パスに応じた前記動きデータと前記所定量の音楽データとを対応付ける同期情報を生成する同期ステップと、
前記同期情報に基づいて、前記所定量の音楽データとともに再生される映像データを生成する映像データ生成ステップと、
前記所定量の音楽データのうち、前記所定のビート数の音楽データと、当該所定のビート数の音楽データとともに再生される前記映像データとを記憶する映像コンテンツ記憶ステップと、
を実行させ、
前記最適パス探索ステップでは、前記音楽データ記憶ステップで前記所定のビート数の音楽データを記憶した際に、前記パスで特定される最終ノードから当該所定のビート数の音楽データに対応する前記ノードまでの第1のコストと、前記最終ノードの候補であった前記ノードから当該所定のビート数の音楽データに対応する前記ノードまでの第2のコストとの比に応じて、前記所定量の音楽データに基づいて前記パスを新たに検索する、または前記パスに、当該パスで特定される最終ノードから当該所定のビート数の音楽データに対応する前記ノードまでの前記パスを追加する処理を実行させる
ためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010227891A JP5554677B2 (ja) | 2010-10-07 | 2010-10-07 | 映像コンテンツ生成システム、映像コンテンツ生成装置及びコンピュータプログラム |
US13/251,450 US8896609B2 (en) | 2010-10-07 | 2011-10-03 | Video content generation system, video content generation device, and storage media |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010227891A JP5554677B2 (ja) | 2010-10-07 | 2010-10-07 | 映像コンテンツ生成システム、映像コンテンツ生成装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012083862A true JP2012083862A (ja) | 2012-04-26 |
JP5554677B2 JP5554677B2 (ja) | 2014-07-23 |
Family
ID=45924852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010227891A Expired - Fee Related JP5554677B2 (ja) | 2010-10-07 | 2010-10-07 | 映像コンテンツ生成システム、映像コンテンツ生成装置及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8896609B2 (ja) |
JP (1) | JP5554677B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016071433A (ja) * | 2014-09-26 | 2016-05-09 | アイディアファクトリー株式会社 | コンテンツ生成装置、コンテンツ生成方法、コンテンツ生成プログラム、及びコンテンツ生成システム |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015089095A1 (en) | 2013-12-10 | 2015-06-18 | Google Inc. | Providing beat matching |
WO2015120333A1 (en) * | 2014-02-10 | 2015-08-13 | Google Inc. | Method and system for providing a transition between video clips that are combined with a sound track |
US10681408B2 (en) | 2015-05-11 | 2020-06-09 | David Leiberman | Systems and methods for creating composite videos |
US9691429B2 (en) | 2015-05-11 | 2017-06-27 | Mibblio, Inc. | Systems and methods for creating music videos synchronized with an audio track |
US9583142B1 (en) | 2015-07-10 | 2017-02-28 | Musically Inc. | Social media platform for creating and sharing videos |
USD801347S1 (en) | 2015-07-27 | 2017-10-31 | Musical.Ly, Inc | Display screen with a graphical user interface for a sound added video making and sharing app |
USD788137S1 (en) | 2015-07-27 | 2017-05-30 | Musical.Ly, Inc | Display screen with animated graphical user interface |
USD801348S1 (en) | 2015-07-27 | 2017-10-31 | Musical.Ly, Inc | Display screen with a graphical user interface for a sound added video making and sharing app |
US10909018B2 (en) * | 2015-09-04 | 2021-02-02 | International Business Machines Corporation | System and method for end-to-end application root cause recommendation |
WO2018068316A1 (en) | 2016-10-14 | 2018-04-19 | Sunland Information Technology Co. , Ltd. | Methods and systems for synchronizing midi file with external information |
CN107704263B (zh) * | 2017-10-19 | 2021-07-02 | 郑州云海信息技术有限公司 | 一种云环境下数据库管理方法及其装置 |
US10284752B1 (en) | 2018-05-22 | 2019-05-07 | BioForce Analytics LLC | Method for determining a start offset between a video recording device and an inertial measurement unit for use in synchronizing motion data of an object collected by the inertial measurement unit attached to the object with video frames captured by an image sensor of the video recording device of the object in motion |
US10469750B1 (en) | 2018-05-22 | 2019-11-05 | BioForce Analytics LLC | Method for embedding motion data of an object into a video file to allow for synchronized visualization of the motion data upon playback of the video file |
CN112188233B (zh) * | 2019-07-02 | 2022-04-19 | 北京新唐思创教育科技有限公司 | 拼接人体视频的生成方法、装置及设备 |
CN110324718B (zh) * | 2019-08-05 | 2021-09-07 | 北京字节跳动网络技术有限公司 | 音视频生成方法、装置、电子设备及可读介质 |
US11176723B2 (en) * | 2019-09-30 | 2021-11-16 | Snap Inc. | Automated dance animation |
US11222455B2 (en) | 2019-09-30 | 2022-01-11 | Snap Inc. | Management of pseudorandom animation system |
US11348297B2 (en) | 2019-09-30 | 2022-05-31 | Snap Inc. | State-space system for pseudorandom animation |
US11282253B2 (en) | 2019-09-30 | 2022-03-22 | Snap Inc. | Matching audio to a state-space model for pseudorandom animation |
US11816773B2 (en) * | 2020-09-30 | 2023-11-14 | Snap Inc. | Music reactive animation of human characters |
CN113099297B (zh) * | 2021-03-24 | 2022-09-30 | 北京达佳互联信息技术有限公司 | 卡点视频的生成方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004127019A (ja) * | 2002-10-03 | 2004-04-22 | Sony Corp | 情報処理装置および画像表示制御方法と画像表示制御プログラム |
US20050210255A1 (en) * | 2004-03-17 | 2005-09-22 | Microsoft Corporation | Systems and methods for encoding randomly distributed features in an object |
JP2007018388A (ja) * | 2005-07-08 | 2007-01-25 | Univ Of Tokyo | モーション作成装置およびモーション作成方法並びにこれらに用いるプログラム |
US20090278846A1 (en) * | 2008-05-09 | 2009-11-12 | Siemens Corporate Research, Inc. | System and method for geometric modeling of tubular structures |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056101A (ja) | 2003-08-04 | 2005-03-03 | Matsushita Electric Ind Co Ltd | 音楽データと連動したcgアニメーション装置 |
-
2010
- 2010-10-07 JP JP2010227891A patent/JP5554677B2/ja not_active Expired - Fee Related
-
2011
- 2011-10-03 US US13/251,450 patent/US8896609B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004127019A (ja) * | 2002-10-03 | 2004-04-22 | Sony Corp | 情報処理装置および画像表示制御方法と画像表示制御プログラム |
US20040163527A1 (en) * | 2002-10-03 | 2004-08-26 | Sony Corporation | Information-processing apparatus, image display control method and image display control program |
US20050210255A1 (en) * | 2004-03-17 | 2005-09-22 | Microsoft Corporation | Systems and methods for encoding randomly distributed features in an object |
JP2007018388A (ja) * | 2005-07-08 | 2007-01-25 | Univ Of Tokyo | モーション作成装置およびモーション作成方法並びにこれらに用いるプログラム |
US20090278846A1 (en) * | 2008-05-09 | 2009-11-12 | Siemens Corporate Research, Inc. | System and method for geometric modeling of tubular structures |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016071433A (ja) * | 2014-09-26 | 2016-05-09 | アイディアファクトリー株式会社 | コンテンツ生成装置、コンテンツ生成方法、コンテンツ生成プログラム、及びコンテンツ生成システム |
Also Published As
Publication number | Publication date |
---|---|
JP5554677B2 (ja) | 2014-07-23 |
US8896609B2 (en) | 2014-11-25 |
US20120086855A1 (en) | 2012-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5554677B2 (ja) | 映像コンテンツ生成システム、映像コンテンツ生成装置及びコンピュータプログラム | |
JP5238602B2 (ja) | 映像コンテンツ生成装置及びコンピュータプログラム | |
US11967101B2 (en) | Method and system for obtaining joint positions, and method and system for motion capture | |
JP5604225B2 (ja) | 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム | |
JP5055223B2 (ja) | 映像コンテンツ生成装置及びコンピュータプログラム | |
CN111724459B (zh) | 一种面向异构人体骨骼的运动重定向的方法及系统 | |
JP2013257656A (ja) | 動き類似度算出装置、動き類似度算出方法およびコンピュータプログラム | |
JP2012141881A (ja) | 人体姿勢推定装置、人体姿勢推定方法、およびコンピュータプログラム | |
JP5372823B2 (ja) | 映像コンテンツ生成システム、メタデータ構築装置、映像コンテンツ生成装置、携帯端末、映像コンテンツ配信装置及びコンピュータプログラム | |
JP2013045335A (ja) | 制御点設定方法、制御点設定装置及びプログラム | |
JP5778523B2 (ja) | 映像コンテンツ生成装置、映像コンテンツ生成方法及びコンピュータプログラム | |
Laggis et al. | A low-cost markerless tracking system for trajectory interpretation | |
JP5124439B2 (ja) | 多次元時系列データ分析装置及びコンピュータプログラム | |
Nakatsuka et al. | Audio-guided Video Interpolation via Human Pose Features. | |
CN109993818B (zh) | 三维人体模型运动合成的方法、装置、设备及介质 | |
JP5162512B2 (ja) | 多次元時系列データ分析装置及び多次元時系列データ分析プログラム | |
WO2021187093A1 (ja) | 画像処理装置、および、動画像データ生成方法 | |
Kim et al. | Reconstructing whole-body motions with wrist trajectories | |
JP6059614B2 (ja) | 仕草生成装置、仕草生成システム、仕草生成方法およびコンピュータプログラム | |
JP6092698B2 (ja) | 動きデータセグメント決定装置、動きデータセグメント決定方法およびコンピュータプログラム | |
WO1998053443A1 (fr) | Mode d'affichage graphique, procede de reproduction synchronisee, et dispositif de reproduction audiovisuelle synchronisee | |
JP6547807B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
WO2019156079A1 (ja) | 推定装置、推定方法、およびプログラム | |
JP6069152B2 (ja) | 仕草生成装置、仕草生成方法およびコンピュータプログラム | |
Deb | Synthesizing Human Actions with Emotion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130821 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140520 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5554677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |