JP2000149056A

JP2000149056A - 多関節物体の表示方法及び表示装置

Info

Publication number: JP2000149056A
Application number: JP32556998A
Authority: JP
Inventors: Hirobumi Ishida; 博文石田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1998-11-16
Filing date: 1998-11-16
Publication date: 2000-05-30
Anticipated expiration: 2018-11-16
Also published as: JP3209196B2

Abstract

(57)【要約】【課題】任意の２種類の動作を容易に違和感なく合成
することができる多関節物体の表示方法及び表示装置を
提供する。【解決手段】先ず、データ設定部１６及び第１分割デ
ータ記憶部１１により、第１の動作を第１の基本動作と
この第１の基本動作からのずれを表す第１の属性動作と
に分割して、得られた分割データを記憶する。また、デ
ータ設定部１６及び第２分割データ記憶部１２により、
第２の動作を第２の基本動作とこの第２の基本動作から
のずれを表す第２の属性動作とに分割して、得られた分
割データを記憶する。次に、第１の基本動作と第２の基
本動作とを予め設定された第１の割合で混合すると共
に、第１の属性動作と第２の属性動作とを予め設定され
た第２の割合で混合する。その後、混合された基本動作
と属性動作とを統合して表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は複数の関節を有する
多関節物体の第１の動作と第２の動作とを合成して表示
する表示方法及び表示装置に関し、特に、容易に合成す
ることができると共に、違和感なく表示することができ
る多関節物体の表示方法及び表示装置に関する。

【０００２】

【従来の技術】多関節物体、例えば人間に動作を付与し
てアニメーション表示する場合には、スケルトンと呼ば
れる骨組み構造に形状を付加した後、腰等の基準部位と
なる位置と、関節における骨の回転角を時間の関数とし
て求め、各時刻での多関節物体の形状を順次表示する方
法が使用されている。このような動作を生成するために
は、コンピュータのマウス等を使って対話的に関数を作
成したり、骨格の制約に基づいて計算によって動作を生
成する必要がある。

【０００３】しかし、上述の表示方法を使用すると、関
数の作成及び計算等の作業量が膨大となる。また、実際
の動作と微妙に異なる点があり、リアルな動作を表現す
ることが困難であるという問題点がある。

【０００４】そこで、モーションキャプチャと呼ばれる
方法を利用して、各時刻における各部分の位置及び向き
を現実世界から抽出する方法も使用されている。しか
し、このモーションキャプチャにより得られた動作デー
タは、修正して再利用することが困難である。

【０００５】このため、同一人物の２種類の類似した周
期運動（例えば、走る動作と元気に歩く動作）から求め
たパラメータを補間することにより、新しい動作（例え
ば、やや元気に歩く動作）を生成する方法も開示されて
いる（鵜沼宗利、武内良三、「ＣＧのための人間の動
作生成手法」、ＮＩＣＯＧＲＡＰＨ９２論文集、ｐｐ．
１３６−１４３、１９９２）。この方法によると、歩く
動作と走る動作等の２種類の類似した似通った周期運動
を合成しているので、その中間の動作を違和感なく生成
することができる。

【０００６】

【発明が解決しようとする課題】しかしながら、上述の
２種類の周期運動からパラメータを補間する従来の表示
方法においては、複雑な動作を合成する場合にパラメー
タを単純に補間して新しい動作を作成するので、一般的
な単純な動作をこの方法で合成すると、奇妙な動作にな
ることがあるという問題点がある。例えば、手を下から
上に上げる動作と、手を上から下に降ろす動作を関節角
において単純に合成すると、手を前に突き出して殆ど動
かない動作表示になることがある。このように、単に合
成により中間の動作を作成するのみでは、所望の動作と
全く異なる奇妙な動作が表示されることがある。

【０００７】なお、上記技術の他に、多関節物体をアニ
メーション表示するための種々の方法及び装置等が提案
されている（特開平１０−４９７０１号公報、特開平４
−３４６１７４号公報、特開平８−２１２３７３号公
報）。

【０００８】しかし、これらの従来の技術を使用して
も、２種類の動作を容易に違和感なく合成して表示させ
ることはできない。

【０００９】本発明はかかる問題点に鑑みてなされたも
のであって、任意の２種類の動作を容易に違和感なく合
成することができる多関節物体の表示方法及び表示装置
を提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明に係る多関節物体
の表示方法は、多関節物体の第１の動作と第２の動作と
を合成して表示する表示方法において、前記第１の動作
を第１の基本動作とこの第１の基本動作からのずれを表
す第１の属性動作とに分割すると共に、前記第２の動作
を第２の基本動作とこの第２の基本動作からのずれを表
す第２の属性動作とに分割する工程と、前記第１の基本
動作と前記第２の基本動作とを予め設定された第１の割
合で混合すると共に、前記第１の属性動作と前記第２の
属性動作とを予め設定された第２の割合で混合する工程
と、前記混合された基本動作と属性動作とを統合して表
示する工程と、を有することを特徴とする。

【００１１】前記第１及び第２の基本動作は、これを関
節における角度軸と時間軸とでグラフ化した場合に、前
記第１及び第２の動作の開始時刻及び終了時刻におい
て、単位時間の倍数と単位角度の倍数との組み合わせか
らなる座標点を通る関数により表されるものとすること
ができる。

【００１２】また、前記第１の動作及び第２の動作のい
ずれか１方又は両方は、実際の身振りにより取り込まれ
た動作であってもよい。

【００１３】本発明に係る多関節物体の表示装置は、多
関節物体の第１の動作と第２の動作とを合成して表示す
る表示装置において、前記第１の動作を第１の基本動作
とこの第１の基本動作からのずれを表す第１の属性動作
とに分割する第１データ分割部と、前記第２の動作を第
２の基本動作とこの第２の基本動作からのずれを表す第
２の属性動作とに分割する第２データ分割部と、前記第
１の基本動作と前記第２の基本動作とを混合する第１の
割合及び前記第１の属性動作と前記第２の属性動作とを
混合する第２の割合を設定する割合設定部と、前記割合
設定部により設定された第１及び第２の割合に基づいて
前記第１の基本動作と前記第２の基本動作とを混合する
と共に、前記第１の属性動作と前記第２の属性動作とを
混合する混合部と、前記混合された基本動作と属性動作
とを統合して表示する統合表示部と、を有することを特
徴とする。

【００１４】前記第１の動作及び第２の動作のいずれか
１方又は両方は、実際の身振りにより取り込まれた動作
であってもよい。また、前記第１データ分割部は分割し
た第１の基本動作と第１の属性動作とを記憶する第１の
記憶部を有し、前記第２データ分割部は分割した第２の
基本動作と第２の属性動作とを記憶する第２の記憶部を
有することが好ましい。

【００１５】本発明においては、第１の動作、第２の動
作を夫々第１の基本動作と第１の属性動作、第２の基本
動作と第２の属性動作に分割し、これにより得られた分
割データを、基本動作と属性動作とに関して別々に予め
設定された混合割合に基づいて混合している。従って、
基本動作に関する混合割合と属性動作に関する混合割合
とを任意に設定することができ、例えば基本動作につい
ては第１の動作を使用し、属性動作については第１の動
作及び第２の動作を混合したものを使用して、混合によ
り得られた属性動作を基本動作に付加すると、基本的な
動作は第１の動作から変化させることなく属性動作のみ
を変化させることができるので、第１の動作と第２の動
作とを違和感なく合成することができる。

【００１６】

【発明の実施の形態】以下、本発明の実施例に係る多関
節物体の表示方法について、添付の図面を参照して具体
的に説明する。図１は本発明の第１の実施例に係る多関
節物体の表示装置を示すブロック図である。図１に示す
ように、多関節物体の表示装置はデータ設定部１６を有
し、このデータ設定部１６から出力されたデータは、割
合記憶部１３、第１分割データ記憶部１１及び第２分割
データ記憶部１２に入力されるようになっている。ま
た、割合記憶部１３、第１分割データ記憶部１１及び第
２分割データ記憶部１２から出力された全てのデータは
混合部１４を介して統合表示部１５に入力され、この統
合表示部１５により表示されるようになっている。

【００１７】以下、これらの各部の動作について詳細に
説明する。第１分割データ記憶部１１は、多関節物体の
第１の動作を分割して得られた第１の基本動作及び第１
の属性動作からなる第１分割データを記憶する。第１分
割データ記憶部１１には１つの分割データを記憶できる
領域しかなくてもよいし、複数の分割データを記憶でき
る領域があってもよい。また、記憶素子としては、一度
だけ書き込みすることができるロム（ＲＯＭ；Read Onl
y Memory）のように読み取り専用のメモリを使用して
も、ラム（ＲＡＭ；Ramdom Access Memory）のように自
由に読み書きすることができるメモリを使用してもよ
い。

【００１８】第２分割データ記憶部１２は、第１分割デ
ータ記憶部１１と同様の方法で、他関節物体の第２の動
作を分割して得られた第２の基本動作及び第２の属性動
作からなる第２分割データを記憶する。割合記憶部１３
は、第１分割データと第２分割データとを混合する割合
を記憶する。混合の割合としては、基本動作に関しては
第１分割データ及び第２分割データのいずれか１方を１
として、他方を０となるように設定し、属性動作のパラ
メータに関しては第１分割データと第２分割データとの
合計が１となるような任意の割合を設定できるようにす
ることができる。また、属性動作を強調することができ
るように、第１分割データと第２分割データとの合計が
１以外の値になるように、割合を設定できるようにして
もよい。更に、属性動作の各パラメータに対して、第１
分割データと第２分割データとの混合割合を互いに同じ
値に設定できるようにしても、各混合割合を別々に設定
できるようにしてもよい。更にまた、全ての関節及び基
本位置に対して、第１分割データと第２分割データとに
同じ割合を設定できるようにしてもよく、例えば頭、身
体、腕及び足等の大きく分割した分類毎に関して同じ割
合を設定できるようにしても、各関節の各自由度毎に関
して別の割合を設定できるようにしてもよい。なお、予
め各部位及び各パラメータに関する第１分割データ及び
第２分割データの混合割合の組を登録しておき、その中
から１又は複数の混合割合を選択するようにしてもよ
い。

【００１９】データ設定部１６は、分割データ及び混合
割合を分割データ記憶部１１、分割データ記憶部１２及
び割合記憶部１３に設定する。この設定の方法として
は、キーボードを使用して直接入力する方法、又はスラ
イダーのようなものを画面上に出力して、それをマウス
等により操作する方法等がある。また、別の記憶装置か
らネットワークや記憶媒体などを使用して転送する方法
も使用することができる。更に、予め複数の分割データ
及び混合割合が分割データ記憶部１１、分割データ記憶
部１２及び割合記憶部１３のいずれかに格納されている
場合には、これらの複数のデータの中から１つを選択す
るためのデータを設定してもよい。

【００２０】混合部１４は、割合記憶部１３に記憶され
た混合割合に基づいて、第１分割データと第２分割デー
タとを基本動作と属性動作とに関して別々に混合し、得
られた混合データを出力する。混合の方法は、各関節及
び基準位置における各自由度毎に、基本動作と属性動作
のパラメータを別々に混合割合に基づいて重み付け加算
をして計算する。

【００２１】統合表示部１５は、混合データ中の基本動
作と属性動作とを統合して表示する。この統合表示部１
５には、例えば関節間の骨の長さと、必要に応じて骨の
周りの肉に相当する形状データとが格納されているもの
とする。格納の方法としては、予めロム（ＲＯＭ）のよ
うな読み取り専用のメモリに書き込んでおく方法、又は
設定部１６からラム（ＲＡＭ）のような自由に読み書き
することができるメモリに、必要に応じて書き込む方法
等を使用することができる。形状データとしては、ポリ
ゴンと呼ばれる多角形の集まりでも、その他グラフィッ
クスの分野で使用される他のデータでもよい。

【００２２】このように構成された第１の実施例に係る
表示装置を使用して多関節物体を表示する方法につい
て、以下に説明する。図２は最も単純な骨格構造を有す
る多関節物体を示す模式図である。本実施例において
は、多関節物体として、図２に示す１関節１自由度モデ
ルを使用し、第１の動作と第２の動作とを合成して表示
する方法について説明する。

【００２３】図２に示すように、１関節１自由度モデル
は骨Ｐ及び骨Ｑと、骨Ｐと骨Ｑとの間の関節Ｏを有し、
骨Ｐ及び骨Ｑは同一平面上にあるものである。そして、
骨Ｐと骨Ｑとがなす角度（関節角Θ）によって、モデル
の姿勢、即ち骨Ｐと骨Ｑとの相対位置が決定される。従
って、モデルの動作は関節角Θの時間による変化、即ち
時間関数Θ（ｔ）によって表現される。以下、この時間
関数Θ（ｔ）を動作関数という。

【００２４】図３は縦軸に関節角Θをとり、横軸に時間
ｔをとって、動作関数Θ（ｔ）を示すグラフ図である。
図３に示すように、関節角Θは時間ｔの経過に伴って連
続的に変化するので、動作関数Θ（ｔ）は曲線として表
現することができる。本実施例においては、動作関数Θ
（ｔ）を基本動作と属性動作とに分割して処理する。

【００２５】先ず、動作関数Θ（ｔ）から基本動作を求
める方法について説明する。図４は縦軸に関節角Θをと
り、横軸に時間ｔをとって、図３に示す動作関数Θ
（ｔ）と、その基本動作関数Φ（ｔ）の１例とを示すグ
ラフ図である。図４に示すように、基本動作関数Φ
（ｔ）は、単位時間の倍数と単位角度の倍数との組み合
わせで表わされる座標値、即ち図中の破線が交叉する格
子点上のいずれかの点を結ぶ曲線又は折れ線によって表
現することができる。以下、基本動作関数Φ（ｔ）が通
過するこれらの格子点を代表点といい、図中に○で示
す。図４においては、単位時間の倍数の全ての時刻に関
して、動作関数Θ（ｔ）に最も近い位置に存在する格子
点を代表点として、この代表点を結ぶ折れ線により基本
動作を表わしている。

【００２６】なお、基本動作関数Φ（ｔ）は折れ線によ
り表現する必要はなく、折れ線の代わりにスプライン関
数のような曲線で表現することもできる。また、動作関
数Θ（ｔ）に最も近い位置の格子点を代表点とする必要
はなく、代表点の設定方法については特に制限はない。
即ち、動作関数Θ（ｔ）から基本動作関数Φ（ｔ）を設
定する方法としては一意である必要はなく、格子点を通
る曲線であればどんな曲線でもよい。更に、単位時間の
倍数の全ての時刻に関して、格子点上を通るように基本
動作関数Φ（ｔ）を設定する必要はない。

【００２７】図５は縦軸に関節角Θをとり、横軸に時間
ｔをとって、図３に示す動作関数Θ（ｔ）と、その基本
動作関数Φ（ｔ）の他の例とを示すグラフ図である。図
５においては、単位時間の倍数と単位角度の倍数との組
み合わせで表わされる格子点上のいくつかの点を通るよ
うに基本動作関数Φ（ｔ）が設定されており、単位時間
の倍数の全ての時刻に関して、格子点上を通るものでは
ない。即ち、図５においては、動作関数Θ（ｔ）におい
て、動作が開始する端点、接線の傾きの符号が変化する
変極点、及び動作が終了する端点に最も近い単位時間の
倍数と単位角度の倍数との格子点を代表点として基本動
作関数Φ（ｔ）を求めている。このように、基本動作関
数Φ（ｔ）は少なくとも時間ｔの始め（動作の開始時
刻）と終わり（動作の終了時刻）の両端における２点の
格子点を通るように設定すればよい。

【００２８】次に、属性動作を求める方法について説明
する。図６は縦軸に関節角Θをとり、横軸に時間ｔをと
って、動作関数Θ（ｔ）及び基本動作関数Φ（ｔ）と属
性動作の一例とを示すグラフ図である。図６において
は、動作関数Θ（ｔ）の変化点における角度と、この変
化点と同時刻における基本動作関数Φ（ｔ）の角度との
差が予め設定された値以下となるように、一定の関節角
Θを有する基本動作関数Φ（ｔ）を求めている。従っ
て、図６においては、基本動作関数Φ（ｔ）はｔ軸に平
行な直線により表されるものとする。

【００２９】このように、図６に示す基本動作関数Φ
（ｔ）は、その両端（動作の開始時刻と終了時刻）が単
位時間の倍数と単位角度の倍数との組み合わせで表され
る格子点上にあるので、直線であっても基本動作とする
ことができる。また、動作関数Θ（ｔ）から単位角度の
２倍分を関節角Θの負の方向（下方）に平行移動させた
グラフを関数Ψ（ｔ）とする。このとき、下記数式１に
示す関係が成立する。

【００３０】

【数１】Θ（ｔ）＝Φ（ｔ）＋Ψ（ｔ）

【００３１】即ち、動作関数Θ（ｔ）は基本動作関数Φ
（ｔ）に関数Ψ（ｔ）を加算することにより求めること
ができる。このことから、属性動作は以下に示すように
定義することができる。即ち、基本動作に対してあるパ
ラメータを操作したときに動作関数Θ（ｔ）を導き出す
ことができる場合に、このパラメータと操作の組を属性
動作と定義する。この場合のパラメータは、関数Ψ
（ｔ）を表現するための各時刻における角度であっても
いいし、Ψ（ｔ）が既知の関数の重み付け加算で表現す
ることができる場合には、その係数をパラメータとして
もよい。例えば既知の関数を三角関数とした場合には、
パラメータはその係数であるフーリエスペクトルとな
る。また、動作関数Θ（ｔ）を導き出す操作は、図６に
示す例の場合は加算ということになる。

【００３２】図７は縦軸に関節角Θをとり、横軸に時間
ｔをとって、動作関数Θ（ｔ）と基本動作関数Φ（ｔ）
及び属性動作の他の例とを示すグラフ図である。図７に
おいては、基本動作関数Φ（ｔ）は代表点Ａ１、Ａ２、
Ａ３及びＡ４を通る折れ線により表されるものとする。
また、動作関数Θ（ｔ）において、時間ｔの始めの点を
端点Ｂ１、時間ｔの終わりの点を端点Ｂ４、接線の傾き
の符号が変化する点を変極点Ｂ２及びＢ３として、図中
に＋で表す。

【００３３】また、図８は縦軸に関節角Θをとり、横軸
に時間ｔをとって、動作関数Θ（ｔ）、基本動作関数Φ
（ｔ）及び変形基本動作関数Φ₁（ｔ）を示すグラフ図
である。なお変形基本動作関数Φ₁（ｔ）は、基本動作
関数Φ（ｔ）の代表点が動作関数上に乗るように変形し
たものである。図８を参照して、属性動作のパラメータ
を導き出す方法について以下に説明する。

【００３４】第１の工程として、基本動作関数Φ（ｔ）
の代表点Ａ２及びＡ３が、夫々動作関数Θ（ｔ）の変極
点Ｂ２及びＢ３と同じ時刻となるように移動させる。こ
のとき、代表点Ａ２及びＡ３を時間軸方向に移動させる
距離、即ち時間のずれを、夫々Ｃ２及びＣ３とする。そ
して、代表点Ａ２、Ａ３における時刻をｔ_A2、ｔ_A3と表
し、変極点Ｂ２、Ｂ３における時刻をｔ_B2、ｔ_B3と表す
と、Ｃ２及びＣ３は下記数式２により算出される。

【００３５】

【数２】Ｃ２＝ｔ_B2−ｔ_A2 Ｃ３＝ｔ_B3−ｔ_A3

【００３６】次に、第２の工程として、代表点Ａ１乃至
Ａ４が、夫々端点Ｂ１、変極点Ｂ２、Ｂ３及び端点Ｂ４
と同じ角度になるように移動させる。このとき、代表点
Ａ１乃至Ａ４を角度軸方向に移動させる角度、即ち角度
のずれを、夫々Ｄ１、Ｄ２、Ｄ３及びＤ４とする。そし
て、代表点Ａ１、Ａ２、Ａ３、Ａ４における角度を
Θ _A1、Θ_A2、Θ_A3、Θ_A4と表し、端点Ｂ１、Ｂ４、変極
点Ｂ２、Ｂ３における角度をΘ_B1、Θ_B4、Θ_B2、Θ_B3と
表すと、Ｄ１乃至Ｄ４は下記数式３により算出される。

【００３７】

【数３】Ｄ１＝Θ_B1−Θ_A1 Ｄ２＝Θ_B2−Θ_A2 Ｄ３＝Θ_B3−Θ_A3 Ｄ４＝Θ_B4−Θ_A4

【００３８】上記数式２及び３に基づいて、基本動作関
数Φ（ｔ）をその代表点Ａ１乃至Ａ４が夫々端点Ｂ１、
変極点Ｂ２、Ｂ３及び端点Ｂ４と一致するように変形さ
せた関数を変形基本動作関数Φ₁（ｔ）とし、動作関数
Θ（ｔ）から変形基本動作関数Φ₁（ｔ）を引いた関数
をΘ₁（ｔ）とすると、時刻ｔ_B1乃至時刻ｔ_B4において
は、Θ₁（ｔ）の値は０となる。

【００３９】第３の工程として、このΘ₁（ｔ）を、区
間［ｔ_A1，ｔ_A2］、［ｔ_A2，ｔ_A3］、［ｔ_A3，ｔ_A4］に
分割して、Θ₁（ｔ）の各区間におけるフーリエスペク
トルｆ₁₁乃至ｆ_1k、ｆ₂₁乃至ｆ_2k及びｆ₃₁乃至ｆ_3kを求
める。このフーリエスペクトルｆの１番目の添え字は区
間の番号を表わし、２番目の添え字はフーリエスペクト
ルの周波数に対応する値である。また、ｋはフーリエス
ペクトルの数である。

【００４０】図８においては、属性動作のパラメータは
Ｃ１乃至Ｃ４、Ｄ１乃至Ｄ４、並びにｆ_i1乃至ｆ_ik（ｉ
＝１，２，３）である。Θ₁（ｔ）の各区間は端点
が０であるので、各区間は周期関数の一部となり、その
フーリエ級数は各区間でΘ₁（ｔ）に収束することは数
学的に公知の定理である。このとき、正確にはｋは無限
個となるが、有限個で近似しても実用上の問題はない。
従って、第１乃至第３の各工程において逆の操作を実施
することにより、動作関数Θ（ｔ）を求めることができ
る。即ち、第１の工程として、基本動作関数Φ（ｔ）の
代表点Ａ１乃至Ａ４を、夫々Ｃ１乃至Ｃ４の値で時間軸
方向に伸縮させる。次に、第２の工程として、伸縮させ
た基本動作関数Φ（ｔ）の代表点Ａ１乃至Ａ４を、夫々
Ｄ１乃至Ｄ４の値で角度軸方向に伸縮させて、変形基本
動作関数Φ₁（ｔ）を求める。その後、第３の工程とし
て、フーリエスペクトルｆ_i1乃至ｆ_ik （ｉ＝１，２，
３）からフーリエ逆変換によりΘ₁（ｔ）を求めて、こ
のΘ₁（ｔ）をΦ₁（ｔ）に加算することにより、動作関
数Θ（ｔ）を求めることができる。

【００４１】図９は多関節物体の一例として人体の骨格
構造モデルを示す模式図であり、図１０は関節における
回転の自由度を示す模式図である。図９に示すように、
人体の骨格構造は、例えば１７個の関節Ｏ並びに各関節
Ｏ間及び端部の骨Ｐによりモデル化することができる。
関節Ｏを図１０に示す原点０とすると、Ｘ軸上の物体Ｓ
が回転する方向は、原理的にはＸ軸を軸として回転する
ｕ方向と、Ｙ軸を軸として回転するｖ方向と、Ｚ軸を軸
として回転するｗ方向との３方向の自由度があり、これ
らを組み合わせて任意の回転が実現できる。但し、人体
の骨格構造における各関節Ｏにおいては、首のように３
自由度に屈曲する関節もあるが、全ての関節が３自由度
で回転するわけではなく、肘、膝及び股関節のように１
自由度又は２自由度で屈曲する箇所もある。

【００４２】一般に多関節物体における外界からの相対
的な姿勢を表わすには、このような各関節Ｏにおける角
度以外に、その多関節物体の基準部位の位置及び方向を
指定する必要がある。人体の場合においては、例えば世
界座標系から見た腰のｘ、ｙ及びｚ座標値と、図１０に
示す３自由度に屈曲する腰の向きを決める必要がある。
即ち、多関節物体の動作を表現するためには、基準部位
の座標値、３自由度の向きを表わす関数、及び各関節の
各自由度毎の動作関数を与えればよい。

【００４３】多関節物体における分割データのデータ構
造の一例を下記表１に示す。但し、下記表１において
は、各関節における角度、基準部位の位置及び方向の各
自由度毎に、図８に示す方法で属性動作を求める場合の
データを示している。

【００４４】

【表１】

【００４５】上記表１に示すように、自由度の総数をｎ
個とすると、ｎ個の各自由度毎に代表点の個数ｍ個分だ
け基本動作と属性動作のパラメータがある。基本動作
は、次の代表点までの時間Δｔと、角度Θ又は位置によ
り表わされる。また、属性動作のパラメータは時間ｔ方
向のずれＣと、角度Θ又は位置方向のずれＤと、ｋ個の
フーリエスペクトルにより表わされる。なお、属性動作
を求める方法については、図８に示す場合のように一意
的に決まっている場合には、特に記述する必要はない。

【００４６】次に、基本動作と属性動作とを統合する方
法について説明する。前述の如く、先ず、属性動作パラ
メータを予め指定された操作に基づいて基本動作に施す
ことにより動作関数Θ（ｔ）を求める。次に、得られた
動作関数Θ（ｔ）から、各時刻における関節角度並びに
基準部位に対する位置及び向きを求める。そうすると、
求められた関節角度並びに基準部位に対する位置及び向
きから、各骨の世界座標系における位置及び向きを求め
ることができる。その方法としては、各関節間の角度及
び予め格納された骨の長さに基づいて、グラフィックス
の分野で公知の方法で、隣接する骨の座標系間の４×４
変換行列を求めることができる。また、基準部位の位置
及び向きに基づいて、基準部位に対する座標系から世界
座標系への４×４変換行列を求めることもできる。

【００４７】そして、所定の骨の座標系から世界座標系
における座標値は、これらの４×４変換行列を所定の骨
から基準部位の位置まで順次乗算することにより求める
ことができる。各骨は端点の座標値で表わされ、その周
りの肉についてもポリゴン等の複数の頂点により表現さ
れる。従って、これらの座標値を同次座標という４次元
ベクトルで表現し、これに対して前述の４×４変換行列
を実施することにより、世界座標系における座標値を求
めることができる。その後、グラフィックスの分野で公
知であるレンダリング法により、これらの骨及び肉を画
面上に表示することができる。

【００４８】即ち、本実施例においては、必要に応じ
て、データ設定部１６により第１分割データ記憶部１１
と第２分割データ記憶部１２に分割データを設定すると
共に、割合記憶部１３に混合割合を設定する。そして、
第１分割データ記憶部１１、第２分割データ記憶部１２
及び割合記憶部１３とに必要なデータが揃うか、又は選
択すべきデータが決定されると、混合部１４は第１分割
データ記憶部１１、第２分割データ記憶部１２及び割合
記憶部１３から分割データと混合割合とを読み出して、
第１分割データと第２分割データとを設定された混合割
合で混合し、この混合データを統合記憶部１５に供給す
る。統合表示部１５は供給された混合データを画像とし
て表示する。

【００４９】このように、本実施例においては、第１の
動作及び第２の動作を夫々基本動作と属性動作とに分割
し、これにより得られた第１及び第２分割データを、基
本動作と属性動作とに関して別々に混合割合に基づいて
混合している。従って、例えば基本動作については第１
の動作を使用し、属性動作については第１の動作及び第
２の動作を混合したものを使用して、混合により得られ
た属性動作を基本動作に付加すると、基本的な動作を変
化させることなく属性動作のみを変化させることがで
き、第１の動作と第２の動作とを違和感なく合成するこ
とができる。

【００５０】なお、本実施例においては、基本動作と属
性動作とに分割した分割データを設定するデータ設定部
１６とこれらの分割データを記憶する第１及び第２分割
データ記憶部１１及び１２とを有する表示装置について
説明しているが、本発明においては、データ設定部１６
並びに第１及び第２分割データ記憶部１１及び１２の代
わりに、基本動作と属性動作とに分割した後にこれらの
分割データを記憶する第１及び第２データ分割部を有し
ていてもよい。また、混合割合を設定するデータ設定部
１６及び割合記憶部１３の代わりに、混合割合を設定し
た後にこの混合割合を記憶する割合設定部を有していて
もよい。

【００５１】更に、本発明においては、第１及び第２の
動作のいずれか１方又は両方の動作を身振りから取り込
み、その動作を第１の実施例と同様に基本動作と属性動
作とに分割して処理することもできる。

【００５２】図１１は本発明の第２の実施例に係る多関
節物体の表示装置を示すブロック図である。但し、第２
の実施例は、第１の実施例における第２の動作のみを身
振りから取り込んで処理するものである。図１１に示す
ように、多関節物体の表示装置はデータ設定部２６及び
身振り入力部２７を有し、データ設定部２６から出力さ
れたデータは、割合記憶部２３及び分割データ記憶部２
１に入力されるようになっており、身振り入力部２７か
ら出力されたデータはデータ分割部２８に入力されるよ
うになっている。また、割合記憶部２３、分割データ記
憶部２１及びデータ分割部２８から出力された全てのデ
ータは混合部２４を介して統合表示部２５に入力され、
この統合表示部２５により表示されるようになってい
る。

【００５３】以下、これらの各部の動作について詳細に
説明する。第１の実施例における第１分割データ１１と
同様に、分割データ記憶部２１は第１の動作を分割して
得られた基本動作及び属性動作からなる第１分割データ
を記憶する。身振り入力部２７は第２の動作である身振
りを取り込んで、第２の動作データを出力する。身振り
の取り込み方法としては、例えばモーションキャプチャ
装置を使用する方法がある。モーションキャプチャ装置
としては、テレビカメラにより多関節物体の画像を取り
込んでその動作関数を計算によって求める光学式の装置
と、磁気センサを多関節物体の各部位に取り付けてその
動作関数を計算によって求める磁気式の装置と、加速度
センサ又はジャイロセンサ等を多関節物体の各部位に取
り付けてその動作関数を計算によって求める方式の装置
等がある。また、光学式の装置としては、多関節物体に
光の反射板などを取り付けて動作関数を求める装置と、
反射板等を使用せずに動作関数を求める装置とがある。
本実施例においては、動作関数を入力することができる
ものであれば、上述のいずれの方式の装置を使用しても
よい。

【００５４】データ分割部２８は身振り入力部２７から
入力された第２の動作データを基本動作と属性動作とに
分割して、第２分割データとして出力する。動作関数か
ら基本動作を求める方法としては、種々の方法を使用す
ることができる。例えば、第１の実施例における図５に
示す方法と同様に、動作関数Θ（ｔ）において、動作が
開始する端点、動作の接線の傾きの符号が変化する変極
点、及び動作が終了する端点を合わせて変化点として、
これらの変化点に最も近い単位時間の倍数と単位角度の
倍数との格子点を代表点として基本動作関数Φ（ｔ）を
求める方法がある。

【００５５】また、基本動作関数の角度又は位置と、動
作関数Θ（ｔ）の変化点における角度又は位置との差が
予め定めた値以下となるように、連続した時間区間を求
め、その区間の両端点に最も近い単位時間の倍数と単位
角度の倍数との格子点を代表点として基本動作関数Φ
（ｔ）を求める方法を使用してもよい。このような方法
を使用しても、第１の実施例における図５に示す基本動
作関数Φ（ｔ）が得られる。各場合における属性動作
は、第１の実施例と同様の方法で求めることができる。
なお、割合記憶部２３、混合部２４及び統合表示部２５
の動作は、夫々第１の実施例に示す割合記憶部１３、混
合部１４及び統合表示部１５の動作と同様である。デー
タ設定部２６の動作についても、第１の実施例における
データ設定部１６の動作と実質的には同じであり、第１
の分割データ及び第１の分割データと第２の分割データ
との混合割合を分割データ記憶部２１及び割合記憶部２
３に設定する。

【００５６】このように構成された第２の実施例におい
ては、身振り入力部２７により取り込まれた身振りの動
作データ（第２の動作）がデータ分割部２８に供給され
ると、このデータ分割部２８が動作データを基本動作と
属性動作とに分離して、これらを混合部２４に供給す
る。また、必要に応じて、分割データ記憶部２１に分割
データを設定すると共に、割合記憶部２３に混合割合を
設定する。分割データ記憶部２１と割合記憶部２３に必
要なデータが揃うか、又は選択すべきデータが決定する
と、混合部２４は分割データ記憶部２１と割合記憶部２
３とから分割データと混合割合とを読み出して、データ
分割部２８から供給された動作データと分割データとを
設定された混合割合で混合し、この混合データを統合記
憶部２５に供給する。統合表示部２５は供給された混合
データを画像として表示する。

【００５７】このように、第２の実施例においても、第
１の動作と身振りにより入力された第２の動作とを夫々
基本動作と属性動作とに分割し、これにより得られた第
１及び第２分割データを、基本動作と属性動作とに関し
て別々に混合割合に基づいて混合している。従って、第
１の実施例と同様に、第１の動作と第２の動作とを違和
感なく合成することができる。

【００５８】また、第２の実施例においては、身振りに
より第２の動作を取り込んで基本動作と属性動作とに分
割し、この第２の動作の分割データと予め記憶してある
第１の動作の分割データとを混合することができるの
で、ユーザの身振により直接的に動作を作成することが
できる。

【００５９】

【発明の効果】以上詳述したように、本発明によれば、
第１の動作、第２の動作を夫々第１の基本動作と第１の
属性動作、第２の基本動作と第２の属性動作に分割し、
これにより得られた分割データを、基本動作と属性動作
とに関して別々に予め設定された混合割合に基づいて混
合した後、混合により得られた基本動作と属性動作とを
統合するので、第１の動作と第２の動作とを容易に違和
感なく合成することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る多関節物体の表示
装置を示すブロック図である。

【図２】最も単純な骨格構造を有する多関節物体を示す
模式図である。

【図３】縦軸に関節角Θをとり、横軸に時間ｔをとっ
て、動作関数Θ（ｔ）を示すグラフ図である。

【図４】縦軸に関節角Θをとり、横軸に時間ｔをとっ
て、図３に示す動作関数Θ（ｔ）と、その基本動作関数
Φ（ｔ）の１例とを示すグラフ図である。

【図５】縦軸に関節角Θをとり、横軸に時間ｔをとっ
て、図３に示す動作関数Θ（ｔ）と、その基本動作関数
Φ（ｔ）の他の例とを示すグラフ図である。

【図６】縦軸に関節角Θをとり、横軸に時間ｔをとっ
て、動作関数Θ（ｔ）及び基本動作関数Φ（ｔ）と属性
動作の一例とを示すグラフ図である。

【図７】縦軸に関節角Θをとり、横軸に時間ｔをとっ
て、動作関数Θ（ｔ）と基本動作関数Φ（ｔ）及び属性
動作の他の例とを示すグラフ図である。

【図８】縦軸に関節角Θをとり、横軸に時間ｔをとっ
て、動作関数Θ（ｔ）、基本動作関数Φ（ｔ）及び変形
基本動作関数Φ₁（ｔ）を示すグラフ図である。

【図９】多関節物体の一例として人体の骨格構造モデル
を示す模式図であり、図１０は関節における回転の自由
度を示す模式図である。

【図１０】関節における回転の自由度を示す模式図であ
る。

【図１１】本発明の第２の実施例に係る多関節物体の表
示装置を示すブロック図である。

【符号の説明】

１１；第１分割データ記憶部１２；第２分割データ記憶部１３，２３；割合記憶部１４，２４；混合部１５，２５；統合表示部１６，２６；データ設定部２１；分割データ記憶部２７；身振り入力部２８；データ分割部Ｏ；関節Ｐ，Ｑ；骨Ｓ；物体

Claims

【特許請求の範囲】

【請求項１】多関節物体の第１の動作と第２の動作と
を合成して表示する表示方法において、前記第１の動作
を第１の基本動作とこの第１の基本動作からのずれを表
す第１の属性動作とに分割すると共に、前記第２の動作
を第２の基本動作とこの第２の基本動作からのずれを表
す第２の属性動作とに分割する工程と、前記第１の基本
動作と前記第２の基本動作とを予め設定された第１の割
合で混合すると共に、前記第１の属性動作と前記第２の
属性動作とを予め設定された第２の割合で混合する工程
と、前記混合された基本動作と属性動作とを統合して表
示する工程と、を有することを特徴とする多関節物体の
表示方法。
【請求項２】前記第１及び第２の基本動作は、これを
関節における角度軸と時間軸とでグラフ化した場合に、
前記第１及び第２の動作の開始時刻及び終了時刻におい
て、単位時間の倍数と単位角度の倍数との組み合わせか
らなる座標点を通る関数により表されるものであること
を特徴とする請求項１に記載の多関節物体の表示方法。
【請求項３】前記第１の動作及び第２の動作のいずれ
か１方又は両方は、実際の身振りにより取り込まれた動
作であることを特徴とする請求項１又は２に記載の多関
節物体の表示方法。
【請求項４】前記第１の割合と前記第２の割合とは互
いに異なる値であることを特徴とする請求項１乃至３の
いずれか１項に記載の多関節物体の表示方法。
【請求項５】多関節物体の第１の動作と第２の動作と
を合成して表示する表示装置において、前記第１の動作
を第１の基本動作とこの第１の基本動作からのずれを表
す第１の属性動作とに分割する第１データ分割部と、前
記第２の動作を第２の基本動作とこの第２の基本動作か
らのずれを表す第２の属性動作とに分割する第２データ
分割部と、前記第１の基本動作と前記第２の基本動作と
を混合する第１の割合及び前記第１の属性動作と前記第
２の属性動作とを混合する第２の割合を設定する割合設
定部と、前記割合設定部により設定された第１及び第２
の割合に基づいて前記第１の基本動作と前記第２の基本
動作とを混合すると共に、前記第１の属性動作と前記第
２の属性動作とを混合する混合部と、前記混合された基
本動作と属性動作とを統合して表示する統合表示部と、
を有することを特徴とする多関節物体の表示装置。
【請求項６】前記第１及び第２の基本動作は、これを
関節における角度軸と時間軸とでグラフ化した場合に、
前記第１及び第２の動作の開始時刻及び終了時刻におい
て、単位時間の倍数と単位角度の倍数との組み合わせか
らなる座標点を通る関数により表されるものであること
を特徴とする請求項５に記載の多関節物体の表示装置。
【請求項７】前記第１の動作及び第２の動作のいずれ
か１方又は両方は、実際の身振りにより取り込まれた動
作であることを特徴とする請求項５又は６に記載の多関
節物体の表示装置。
【請求項８】前記第１データ分割部は分割した第１の
基本動作と第１の属性動作とを記憶する第１の記憶部を
有し、前記第２データ分割部は分割した第２の基本動作
と第２の属性動作とを記憶する第２の記憶部を有するこ
とを特徴とする請求項５乃至７のいずれか１項に記載の
多関節物体の表示装置。