JP2001202379A - 仮想空間における仮想人物動作データブラウジング装置 - Google Patents

Abstract

(57)【要約】 【課題】大量のモーションデータを効果的に閲覧・検索
可能にし、動作データの類似度や、ユーザの興味にあっ
たデータをクラスタリングして自動分類し、一度に大量
のデータを表示することでデータの比較や検討を可能に
する。 【解決手段】身体の各部分が動作空間のどの３次元格子
を単位時間あたり何度通過したかの情報をもとに特徴量
を抽出する。抽出した特徴量に基づいて身体動作データ
の特徴ベクトルを生成する。生成された特徴ベクトルを
用いてKohonenの自己組織化マップを学習させる。類似
の動作データが自己組織化マップ上で近接場所に配置さ
れることにより自動分類を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、仮想空間におけ
る仮想人物動作データブラウジング装置に関し、特に、
身体動作自動分類装置および身体動作データ閲覧装置に
関する。

【０００２】

【従来の技術】近年のめざましい技術の発展により、コ
ンピュータ上で音声、画像、３次元空間情報、身体動作
に関する情報など多様で膨大なマルチメディアデータを
取り扱うことが可能になってきた。そのうち、身体運動
のデータベース化は需要は高かったが今までの技術では
困難であった。しかし、モーションキャプチャシステム
に代表されるようなセンシング技術の発達により実現可
能になりつつある。

【０００３】

【発明が解決しようとする課題】しかしながら、同じ動
きに対して人間が持つイメージを定義することが困難で
あるという問題がある。それは、動きのような漠然とし
たデータに対する印象は、個人個人により感じ方が違う
ことが多いからである。従って、別の人間により分類さ
れたデータベースシステムによって得られたいくつかの
検索結果が、ユーザにとって必ずしも満足のいくものに
なるとは考え難い。それゆえ、いくつかの検索結果のみ
の情報を得ることができるのではなく、様々な身体動作
データを閲覧し、直接データ内容を確認しながら検索を
行う方法が望まれている。

【０００４】この発明の目的は、大量のモーションデー
タを効果的に閲覧（ブラウジング）・検索可能であり、
動作データの類似度や、ユーザの興味に合ったデータを
クラスタリングして自動分類し、一度に大量のデータを
表示することにより、データの比較や検討を可能にする
仮想空間における仮想人物動作データブラウジング装置
を提供することである。

【０００５】

【課題を解決するための手段】本発明（請求項１）に係
わる身体動作自動分類装置は、身体の各部分が、動作空
間のどの３次元格子を単位時間当たり何度通過したかの
情報をもとに特徴量を抽出する手段と、前記抽出した特
徴量にもとづいて身体動作データの特徴ベクトルを生成
する手段と、前記生成された特徴ベクトルを用いてＫｏ
ｈｏｎｅｎの自己組織化マップを学習させる手段とを具
備し、類似動作データが前記自己組織化マップ上で近接
場所に配置されることにより自動分類を行うことを特徴
とする。

【０００６】本発明（請求項２）に係わる身体動作デー
タ閲覧装置は、身体動作の特徴ベクトルが類似している
身体動作データを近接配置して各々を動きのある３次元
キャラクタで表現する手段と、利用者にとって間近に見
えるキャラクタの身体動作はより詳細に、遠方に見える
キャラクタの身体動作は詳細度を下げて表示する手段と
を具備し、身体動作データを配置した仮想空間内を利用
者がウォークスルーしながら閲覧することにより身体動
作データの検索を行うことを特徴とする。

【０００７】本発明（請求項３）に係わる身体動作自動
分類方法は、身体の各部分が、動作空間のどの３次元格
子を単位時間当たり何度通過したかの情報をもとに特徴
量を抽出し、前記抽出した特徴量にもとづいて身体動作
データの特徴ベクトルを生成し、前記生成された特徴ベ
クトルを用いてＫｏｈｏｎｅｎの自己組織化マップを学
習させ、類似動作データが前記自己組織化マップ上で近
接場所に配置されることにより自動分類を行うことを特
徴とする。

【０００８】本発明（請求項４）に係わる身体動作デー
タ閲覧方法は、身体動作の特徴ベクトルが類似している
身体動作データを近接配置して各々を動きのある３次元
キャラクタで表現し、利用者にとって間近に見えるキャ
ラクタの身体動作はより詳細に、遠方に見えるキャラク
タの身体動作は詳細度を下げて表示し、身体動作データ
を配置した仮想空間内を利用者がウォークスルーしなが
ら閲覧することにより身体動作データの検索を行うこと
を特徴とする。

【０００９】本発明（請求項５）に係わる動作判定方法
は、ユーザの連続動作から基本動作に共通するポイント
を検出し、前記検出したポイントに基づいて、基本動作
を含む区間を切り出し、前記切り出した区間を模範動作
とマッチングさせ、前記抽出した基本動作と時系列デー
タ間の類似度を表す距離関数を算出し、前記ユーザの動
きの同期を表す同期関数を算出し、前記算出した距離関
数を同期関数に基づいて前記ユーザの動作の判定を行う
ことを特徴とする。

【００１０】本発明（請求項６）は、請求項５の発明に
おいて、前記マッチングはＤＰ(Dynamic Programming)
マッチング法に基づいて行うことを特徴とする。

【００１１】本発明（請求項７）に係わる動作判定シス
テムは、ユーザの連続動作から基本動作に共通するポイ
ントを検出する検出手段と、前記検出手段により検出さ
れたポイントに基づいて基本動作を含む区間を切り出す
切り出し手段と、前記切り出し手段により切り出された
区間を模範動作とマッチングさせ前記抽出した基本動作
と前記時系列データ間の類似度を表す距離関数を算出す
る距離関数算出手段と、前記ユーザの動きの同期を表す
同期関数を算出する同期関数算出手段と、前記算出した
距離関数と同期関数に基づいて前記ユーザの動作の判定
を行う判定手段とを具備したことを特徴とする。

【００１２】本発明（請求項８）は、請求項７の発明に
おいて、前記距離関数算出手段は、ＤＰ(Dynamic Progr
amming)法に基づいてマッチングを行うことを特徴とす
る。

【００１３】この発明によれば、モーションキャプチャ
装置などによって撮り込んだ身体動作データをその類似
度により自動分類することができるため、身体動作デー
タのデータベース化や類似検索が可能となる。

【００１４】また、身体動作データを３次元コンピュー
タグラフィクスのキャラクタで表示することが可能であ
るため、類似動作の検索や、類似動作の違い等の認識が
視覚的に行えるため、検索が簡便となる。

【００１５】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００１６】初めに本発明の基本原理について説明す
る。

【００１７】以下は本明細書において用いる語句の定義
である。

【００１８】セグメント：人体のある１つの部分を示
す。モーションキャプチャシステムからの出力におい
て、あるマーカとマーカをつなぐオブジェクトである。
本明細書で用いたセグメントは以下の通りである。

【００１９】Head（頭部）、 Neck（首）、 UppoerTors
o（胴部）、 LowerTorso（胴下部）、 LeftCollarBone
（左鎖骨）、 LeftUpperArm（左上腕）、 LeftLowerArm
（左下腕）、 LeftHand（左手）、 RightCollarBone
（右鎖骨）、 RightUpperArm（右上腕）、 RightLowerA
rm（右下腕）、 RightHand（右腕）、 LeftThigh（左腿
部）、 LeftLowerLeg（左下肢）、 LeftFoot（左足）、
RightThigh（右腿部）、 RightLowerLeg（右下肢）、
RightFoot（右足）ジョイント：人体の間接部分を示
す。モーションキャプチャシステムにおいては、セグメ
ントとセグメントの接続部分であるマーカ部分を示す。

【００２０】スケルトン：人体の骨格を示す。つまりス
ケルトンモデルは、セグメントがジョイントによって接
続されたものである。

【００２１】スケルトンモデルのpart-of関係と階層に
ついて：身体動作データの最大の特徴は、スケルトンモ
デルはpart-of関係であり、part-of関係で示された要素
のそれぞれが、時間軸を持つことである（文献２、
３）。

【００２２】身体動作データの特徴量を抽出するにあた
り、図１に示すようにスケルトンモデルに対し、次の３
つの階層が設定される。

【００２３】１．全体動作階層１（The Whole Body Lay
er）: 体全体の動きに対する階層 ２．部位動作階層３(The Functional Part Layer): 体全体を５つの部位に分け、ある機能を実現する部分の
動作に対する階層 ・頭・胴体部(Head, Neck, UpperTorso, LowerTorso) ・右手部（RCollarBone, RUpperArm, RLowerArm, RHan
d） ・左手部(LCollarBone, LUpperArm, LLowerArm, LHand) ・右足部(RThigh, RLowerLeg, RFoot) ・左足部(LThigh, LlowerLeg, LFoot) ３．セグメント階層５（The Segment Layer）: それ以上分割できない部位に対する階層 ・Head ・Neck モーションキャプチャシステム：モーションキャプチャ
システムは、体の表面（主に間接に近いところ）に取り
付けたマーカの位置を計算し、マーカの３次元空間内に
おける座標値などの情報を時系列データとして出力する
ものである。マーカは、例えば体の間接にあたる部分に
つけ、それをつないだものを人間のスケルトンモデルと
する。３次元ＣＧ(Computer Graphics)作成ソフトでア
ニメーションを編集する際に、モーションキャプチャシ
ステムからの出力を用いることにより、従来のキーフレ
ームや逆運動学の技術により作成するアニメーションで
は実現しがたい、自然でかつリアルな動きの３次元アニ
メーションを作成することが可能である。これにより映
画産業やゲーム業界などを中心にさまざまな分野で利用
されている。

【００２４】マーカの計測には、例えば磁力や光が用い
られている。磁力を用いたものは、マーカがコード類で
機器に接続されているので動きに制約があるが、瞬時に
計測することができるのでリアルタイムの計測が可能で
ある。一方、光学式モーションキャプチャシステムはマ
ーカがコード類で接続されていないため、動きに制約が
ないという特徴を有する。従って、マーカが機器に接続
されている磁力式に比べてより複雑な身体動作データも
計測することができるため、この発明の実施の形態で
は、光学式のモーションキャプチャシステムを利用する
が、これに限定されるものではない。

【００２５】光学式モーションキャプチャシステムは、
赤外線を発生させる装置のついた複数のカメラと、光を
入射方向にそのまま反射させるマーカと呼ばれる特殊な
反射テープのついた小さなボールからなる。計測空間を
複数のカメラにより、マーカが輝点として撮影された画
像を得る。このようにして、マーカを２次元の画像情報
として収集したものを、トラッキング処理を行うことに
より、マーカの３次元空間内での位置座標を求める。な
お、光学式によるモーションキャプチャシステムにおい
て、体の構造を知識としてシステムが保持していること
で、リアルタイムで出力可能なシステムは、例えば（文
献１）に記載されている。

【００２６】Virtual Reality Modeling Language Ver.
2.0 (VRML 2.0)：ＶＲＭＬは、インタラクティブな３次
元空間及びオブジェクトを記述するためのファイルフォ
ーマットであり、ＷＷＷと結合した形で使用される。Ｖ
ＲＭＬビュワー、すなわちＶＲＭＬブラウザを通して３
次元グラフィクスオブジェクトの中からリンクによる情
報参照ができたり、従来のＨＴＭＬ文書から３次元情報
を参照することができる。また、ＶＲＭＬは、複雑なシ
ーンの３次元情報を参照することができ、静的な、また
動的なオブジェクトの表現が可能である。そして、例え
ばサウンド、動画、静止画など他のメディアへのハイパ
ーリングが可能である。

【００２７】ＶＲＭＬのデータ構造は、全てノードとフ
ィールドからなる。フィールドは、ノードのためのパラ
メータである。

【００２８】ＶＲＭＬ１．０の世界は静的であるため、
ナビゲーションやオブジェクトをクリックして関連する
情報を参照することができなかった。しかし、ＶＲＭＬ
２．０の世界は、ＶＲＭＬ１．０の機能に加えて、アニ
メーション、振る舞い、センサー、サウンド等の機能が
拡張され、また、衝突判断用のいくつかの新しいジオメ
トリプリミティブも追加された。これらのことにより、
Moving Worldと言われる動きのある世界、ユーザーがク
リックしたり、ある領域内に入ったことによりイベント
が起こると言った、よりインタラクティブな世界が実現
可能である。

【００２９】また、ＰＲＯＴＯ宣言により、プロトタイ
プの定義が可能である。プロトタイプはＶＲＭＬファイ
ル内におけるノードタイプの拡張を可能にするメカニズ
ムである。これによりジオメトリ、属性、振る舞い、も
しくは各々の組合わせのカプセル化やパラメータ化が可
能となる。

【００３０】VRML Humanoid Animation Working Group
(H-ANIM)： 近年の３次元空間のインターネットの発展
につれて、仮想空間でオンラインで人間を表現すること
の必要性が増加してきた。VRML Humanode Animation Wo
rking Groupでは、ＶＲＭＬ空間内で人体モデルやアニ
メーションを表現するためのより良い方法について論議
している（文献４）。最終的には、ヒューマノイドのラ
イブラリ化や新しいヒューマノイドやアニメーションの
作成を容易にするような仕組みを目指す。

【００３１】Ｈ−ＡＮＩＭでは、ヒューマノイドを実現
するために必要なノードを、現在のＶＲＭＬの仕様で対
応できる形式でいくつか定義している。

【００３２】・jointノード：体のジョイントを表すノ
ード。Transformノードの拡張。体の動きについて決定
する。

【００３３】・segmentノード：体のセグメントを表す
ノード。Transformノードの拡張。スケルトンの形状に
ついて決定する。

【００３４】jointノードは、 ・そのジョイントに接続するセグメントの形状を示すse
gmentノード ・次のジョイントについてのjointノードを子に持つ。

【００３５】Ｈ−ＡＮＩＭでは、最上位のジョイントか
ら、jointノードとsegmentノードを入れ子にし、最も先
端にあるセグメントまでの親子構造を表現することで、
スケルトンのジョイントとセグメントの相互関係を定義
する。jointノードには、回転角で示したジョイントの
回転情報を送り込むことでアニメーションが可能であ
る。このときに、モデルの形状を示すセグメントの内容
は一切存在しないので、キャラクタの情報と動きの情報
を分離することが可能である。

【００３６】External Authoring Interface (EAI)：
External Authoring Interface (EAI)とは、外部プログ
ラム(Java Applet)を用いて、あるＷｅｂページ上のJav
a Appletから、そのページに埋め込まれたＶＲＭＬブラ
ウザウインドウに表示されたＶＲＭＬファイルをコント
ロールすることを可能とする外部インターフェースのこ
とである。具体的には、Java Appletから「ＶＲＭＬイ
ベントモデル」を使用してＶＲＭＬシーン内のノードに
アクセスすることが可能となっている。

【００３７】「ＶＲＭＬイベントモデル」では、あるノ
ードのevntOutを他のノードのeventInにルーティングす
ることができ、eventOutがイベントを発生したら（ルー
ティング先のノードの）eventInがその通知を受け取
り、そのイベントが処理される。さらに、Scriptノード
内のスクリプトが他ノードへのポインタを持っている場
合は、イベントを直接そのノードのeventInに送出した
り、eventOutから送出された最新の値を読み出すことが
できる。

【００３８】ＥＡＩでは、ＶＲＭＬシーンに対して次の
４種類のタイプのアクセスが可能となっている。

【００３９】１．ブラウザスクリプトインターフェース
の機能にアクセスする。

【００４０】２．シーン内のノードのeventInにイベン
トを送る。

【００４１】３．シーン内のノードのeventOutから送出
された最新の値を読み出す。

【００４２】４．シーン内のノードのeventOutからイベ
ントが送出された時に通知を受け取る。

【００４３】ＥＡＩは、Script Authoring Interface
（Scriptノード内のスクリプトで利用されるインターフ
ェース、以下ＳＡＩ）に準じて作成されている。上記の
アクセスタイプの初めの３つは概念的にこのインターフ
ェースと同等である。タイプ１のアクセスでは、ブラウ
ザScriptインターフェースにアクセスするために（アプ
レット内で）Browserオブジェクトが利用可能になって
いる。タイプ２とタイプ３のアクセスでは、アプレット
内でノードへのポインタを獲得してそのノードのeventI
nにイベントを送ったり、eventOutの値を読み出したり
することが出来る。

【００４４】フーリエ変換：ある決まった形の時間変化
を一定の周期で繰り返す量、あるいは空間的な変動に周
期性のある量などが数多く存在する。フーリエ級数は、
このような量を表す周期的な関数を、同じ周期を持つ三
角関数の足し合せの形に書き表したものである。

【００４５】周期Ｔの周期関数ｆ（ｔ）のフーリエ級数
展開において、正のｎに対する関数cos(2πnt/T), sin
(2πnt/T)は周期Ｔ／ｎを持つ。従って、これらの関数
に対応するフーリエ係数a_n, b_nの大きさは、ｆ（ｔ）の
中に周期Ｔ／ｎで変動する成分がどの程度含まれている
かを示す。

【００４６】周期信号の正弦波による展開であるフーリ
エ級数を、一般的な信号に拡張したのがフーリエ変換で
ある。信号ｆ（ｔ）（−∞＜ｔ＜＋∞＞のフーリエ変換
Ｆ（ω）は

【００４７】

【数１】

【００４８】で定義される。逆にｆ（ｔ）はＦ（ω）に
より次式で与えられる。

【００４９】

【数２】

【００５０】これをフーリエ逆変換という。

【００５１】フーリエ変換はそれが定義される信号の集
合（時間領域という）に、角周波数ωの関数の集合（周
波数領域、フーリエ変換領域という）を対応させる写像
である。

【００５２】離散フーリエ変換（Discrete Fourier Tra
nsform:DFT）： フーリエ級数展開によって数式で与え
られた信号波形に対してフーリエ係数を計算でき、周波
数領域においてはその信号の性質を調査し得る。しか
し、実際に観測される信号は関数で表現できることはま
れであり、表現できたとしてもそれはあくまでも近似関
数的な数式である。そこで、離散化されたデジタル信号
に対して、フーリエ係数を求めるには離散フーリエ変換
(Discrete Fourier Transform: DFT)を用いる。

【００５３】今、ｆ（ｔ）が等間隔τでサンプリングさ
れたＮ個のサンプリングデータで与えられている場合を
考える。

【００５４】基本区間を［０、Ｔ］とすると、サンプリ
ング点は、

【数３】

【００５５】サンプリングデータは、

【００５６】

【数４】

【００５７】となる。離散化されたｆ（ｔ）に対して、
フーリエ係数の積分は積和で計算されるので、

【００５８】

【数５】

【００５９】となる。これが離散フーリエ変換である。

【００６０】そのとき、ｆ［ｉ］は、

【００６１】

【数６】

【００６２】となる。これは離散フーリエ逆変換(inver
se discrete Fourier transform, IDFT)と呼ばれる。こ
れも積和の総数はＮ個である。

【００６３】ところで、ＤＦＴを実際に計算するとき
は、三角関数を用いて計算したほうが都合が良いので、
オイラー公式を利用すると、

【００６４】

【数７】

【００６５】となる。Ｃ_ｎの実数部をＡ_ｎ、虚数部をＢ
_ｎとすると、

【００６６】

【数８】

【００６７】

【数９】

【００６８】となる。一方離散フーリエ逆変換は

【００６９】

【数１０】

【００７０】が得られる。（ｆ［ｉ］が実数であること
を注意して上式が導出できる。）高速フーリエ変換(Fas
t Fourier Transform:FFT)： ＤＦＴは入力データ数に
制約がないため便利であるが、計算時間が膨大になるこ
とが最大の欠点である。データ数をＮとすると、ＤＦＴ
の乗算回数はＮ^２となり、実際の応用として、ＤＦＴを
使用することは少ない。

【００７１】高速フーリエ変換は、ＤＦＴの定義式に現
れる係数が周期性を持つことを利用し、演算回数を軽減
するものである。乗算回数は(N/2)log2Nとなる。但し、
高速フーリエ変換では、入力データは２ⁿ個になるよう
に選択しなければいけない。

【００７２】自己組織化マップ(Self-Organizing Map:S
OM)： ニューラルネットワークの一種であるＳＯＭは
教師無し競合学習モデルである（文献６）。出力層の各
セルが層の中で位置を持つという点が他の学習モデルと
異なる。データに隠されているトポロジカルな構造を学
習アルゴリズムにより発見し、通常２次元空間で表示す
るという特徴を持っているため、特徴のよく似たデータ
同士は出力マップ上の近い位置に配置されるようになっ
ている。生成されたマップはそれぞれのデータの位置関
係によって、類似しているデータかどうかが直感的に理
解しやすいという点からシステムの視覚化に利用でき
る。ＳＯＭには様々な種類があるが、ここでは最も基本
的なものについて述べる。

【００７３】ＳＯＭで用いられるネットワークは、セル
を２次元に六角格子状に配置したものである。それぞれ
のセルｉはセルの特徴ベクトルm_i(t)∈Rⁿ（Ｒは実数）
を持っており（ｔは時間を表し、m_i(0)は適切な方法で
初期化されている）、これらのセルの特徴ベクトルを入
力である特徴ベクトルX_j∈Rⁿ(j=1,2,…,d)に選択的に近
づけることによって学習は進行する。このとき、ＳＯＭ
では、入力となる特徴ベクトルに一番近いパターンを持
つ出力セルおよびその近傍のセルの集合のみが入力ベク
トルに近づくことができるようなアルゴリズムをとる。

【００７４】ＳＯＭのアルゴリズムを以下に示す。

【００７５】１．各入力特徴ベクトルを生成し、その集
合をＸとする。

【００７６】X={ｘ_j|ｘ_j∈Rⁿ, j=1,2,…,d} ２．出力層にある各セルの持つ特徴ベクトルを初期化
し、入力特徴ベクトルの集合Ｘに基づき各セルの持つ特
徴ベクトルを乱数によりランダムに決定する。

【００７７】M={m_i‖m_i∈Rⁿ, i=1,2,…,k} （ただし、m_i(0)=(0,0,…,0)とした） ３．Ｔをあらかじめ設定された学習回数とする。このと
き、t＝０、１，…、Ｔについて以下繰り返す。

【００７８】（ａ）j＝１、２、…、ｄについて以下繰
り返す。

【００７９】（ｂ）X_jに最も近いセルｃを探す。つまり
‖ｘ_j-m_c(t)‖を最小にするセルｃを求める。

【００８０】（ｃ）探し出したセルｃの特徴ベクトルm_c
を更新し、さらにその近傍のセルの集合N_cも入力パター
ンに近づける。

【００８１】

【数１１】

【００８２】N_cの中央はセルｃである。N_cの半径は、学
習の初期段階では、大抵大きく、学習を繰り返していく
うちに単調に現象させる。また、α(t)∈(0,1)は「学習
率」を表し、これもまた時間と共に単調に減少させる。

【００８３】

【数１２】

【００８４】ただし、r_cとr_iはそれぞれセルｃとセルi
のもつベクトルを表す。α₀(t)やσ(t)には単調減少の
一次関数や指数関数が用いられる。

【００８５】図２は、この発明に基づく、身体動作デー
タを可視化しブラウジング可能にするシステムの概念図
である。図２に示すように、各身体動作データの特徴値
を抽出し、抽出した特徴値を自己組織化マップを用いて
クラスタリングを行なう。

【００８６】以下、身体動作データからなる身体動作デ
ータベースを可視化しブラウジングできるシステムの実
現にあたり、データのクラスタリングのために身体動作
データの特徴量を抽出する方法、システムの実現のため
の身体動作データにおける詳細度の定義、データの適切
な詳細度によって表示を行う方法について述べる。具体
的には以下の通りである。

【００８７】（１）身体動作の空間配置は、自己組織化
マップ（ＳＯＭ）による分類結果を用いて特徴量の似て
いるものが近くなるように行う。

【００８８】（２）ブラウジングの際に、ユーザの視点
からの距離による詳細度の制御を行う。制御する詳細度
はアニメーションの詳細度とキャラクタの詳細度であ
る。

【００８９】（３）ビートからのずれによる検索結果を
空間内で強調して表示することによりウォークスルーの
指標とする。

【００９０】自己組織化マップによってデータを分類す
る場合、まず特徴ベクトルを生成しなければならない。

【００９１】人体のスケルトンモデルの空間内での姿勢
を表現するのに、スケルトンのセグメント１つ１つに着
目する方法と、モデルが親子構造をしていることを利用
し、親子関係の接続部分であるジョイントに着目する方
法がある。従って、位置情報によるものと、回転角情報
によるものの２種類の特徴量の抽出について以下述べ
る。

【００９２】＜方法１＞セグメントの位置座標とボック
スモデルの利用 この方法は、空間内のどの部分で動きがあったかという
ことを数値化し、特徴量として抽出するものである。

【００９３】ここで、セグメントの位置はそのセグメン
トの中点の位置座標とする。また、図３に示すように、
演技者が演技する作業空間を単位長の立方体に分割し、
この立方体１１を「ボックス」と呼ぶことにする。ここ
で、一連の動きについてボックス毎にセグメントの移動
回数を調べる。具体的には、あるフレームでの時刻ｔ _ｎ
と次のフレームでの時刻ｔ_ｎ＋１において、セグメント
の存在するボックスが変わったとき、移動前のボックス
と移動後のボックスに対してそれぞれ１回カウントす
る。

【００９４】各ボックスのカウント数を順に並べたもの
をセグメントの特徴ベクトルの要素とする。そして空間
内のボックスの数を次元数として持つ、すべてのセグメ
ントについて特徴ベクトルを求める。

【００９５】次に、セグメントの上位部位である部位動
作階層における特徴量について考える。身体動作データ
は、スケルトンモデルはpart-of関係であるので、部位
動作階層での特徴量は、その部位に属するセグメントの
特徴をも示すべきである。ところが、ここで、各セグメ
ントに関する特徴ベクトルの要素すべてを採用すると、
特徴ベクトルが高次元になってしまう。そこで、、ボッ
クスのサイズを大きくすることにより、各セグメントに
ついての特徴ベクトルの次元数を軽減することで、デー
タの圧縮を行う。この方法によれば、動きの激しさと位
置情報が特徴量に反映されることになる。

【００９６】＜方法２＞ジョイントの回転角とＤＦＴ係
数の利用 この方法は、動きの回転角度の情報である時系列データ
を波としてとらえ、その波の特徴量を抽出する方法であ
る。

【００９７】モーションキャプチャシステムからの出力
は、時刻ｔにおける値ｖの離散的なデータである。連続
する一連のデータからなる身体動作データをＤＦＴによ
り周波数領域に写像し、その係数のうち前からいくつか
を特徴量として採用することで、情報の抽出を行う。

【００９８】以上により抽出した特徴量から、ＳＯＭに
よる分類を行う。この分類により、特徴量のよく似たデ
ータ同士はマップの近い位置に配置される。図４はＶＲ
ＭＬ空間に基づく自己組織化マップの視覚化手法（文献
７）を用いて、分類結果をＷｅｂブラウザを用いて視覚
化したものである。左側にあるブラウザ２１がマッピン
グ結果であり、出力セルを円柱型で表現し、円柱の高さ
はそのセルに分類されたデータの数を表現している。セ
ルをクリックすることで、右側のブラウザ２３におい
て、そのセルに含まれるデータの内容を確認することが
できる。

【００９９】ＳＯＭによりクラスタリングされた結果を
もとに、相互の位置関係を反映するように仮想空間内に
身体動作データを配置する。ここでいう身体動作データ
とは、モーションキャプチャシステムから出力された身
体動作データをキャラクタを用いて再生させたものであ
る。

【０１００】ユーザはこの身体動作からなる仮想空間を
ウォークスルーしながら、目的とするデータの検索を行
う。初めに、身体動作データの存在する仮想空間をマッ
プの全景が見ることが出来る視点から眺める。このこと
によりデータベースの全体像が見渡せる。図２の３次元
空間を用いて視覚化したマップにおいては、セルを円柱
で表現し、セルをクリックすることによりそのセルに分
類されている内容を確認することができる。円柱からな
るマップを眺めることで、データの分散具合を知ること
ができる。ここで、クラスタリング結果を用いた身体動
作データ群からなる仮想空間において、前述のシステム
でセルを表現していた円柱の概念を、見えないセルとし
て導入し、ユーザのクリックするというアクションを視
点の移動というアクションに置き換える。具体的には、
ＳＯＭにより同じセルに分類された動きについては、ユ
ーザがデータベース全体像を眺められる視点から見てい
るときは、各セルを代表する動きのみを表示させ、ユー
ザが特定の動きに興味を持ち、データに近づくと、シス
テムはそのことを感知して同じセルに属する動きすべて
について表示させる。

【０１０１】ここで、一度に多くの身体動作データを眺
めるときと、特定のデータに注目しているときでは、ユ
ーザが求めるデータの詳細度は異なる。その上、システ
ムのリソースには制限があり、詳細な身体動作データを
同時に大量に再生することは不可能であるので、表示す
るデータ数に合わせて詳細度を制御することが必要であ
る。

【０１０２】ところで、上述したように、身体動作デー
タのような抽象的なデータの場合、システムによって絞
り込まれた検索結果がユーザにとって必ずしも満足のい
くものになるとは考え難い。しかし、ユーザの興味があ
りそうなデータに対する手がかりを与えることは、大量
のデータ群からなる空間をブラウジングするにあたって
効果的である。以下、身体動作データの詳細度の定義お
よびビートからの遅れによる検索のアルゴリズムについ
て述べる。

【０１０３】初めに身体動作データの詳細度について述
べる。

【０１０４】＜アニメーションの詳細度＞アニメーショ
ンの詳細度はアニメーションのフレームレートにより定
義される。フレームレートの値が大きいほど、もとの身
体動作に忠実で詳細なアニメーションが得られる。しか
しモーションキャプチャシステムでの撮影時のフレーム
レートである１２０フレーム／秒により再生すること
は、データ量が膨大になること、およびブラウザの処理
能力の問題から実用的でない。そこで、フレームレート
の値に詳細度を設け、現在再生されている身体動作デー
タの数に見合った詳細度でアニメーションの再生を行う
ようにする。

【０１０５】＜キャラクタの詳細度＞身体動作データは
位置情報もしくは回転角情報に関する時系列データの集
合体であり、単なる数値の羅列にしかすぎない。このた
め、この情報を眺めるだけで動きを直感的に捉えること
は困難である。そこで、データをブラウズするときは数
値列による身体動作データをそのまま見るのではなく、
キャラクタに身体動作データを再生することで、ユーザ
は身体動作データの内容を視覚的に捉えることが可能と
なる。

【０１０６】キャラクタの詳細度とは、キャラクタに現
れているポリゴンやテクスチャの数など、キャラクタの
見栄えをよくするための要素の量であり、キャラクタの
細かさのことである。身体動作データを再生させるとき
のキャラクタの役割は、数値列を視覚的に捉えることの
できる動きとして再生することである。ここで、動きを
再生するキャラクタが細かいほど、動きの印象を捉えや
すい。しかし、詳細なキャラクタはシステムに対して負
担が大きくなるため、複数のアニメーションを見るには
ふさわしくない。このため、再生する身体動作データの
数に適したキャラクタを選択するために、詳細度を設定
する必要がある。

【０１０７】ここで、同程度の詳細度を持った、印象の
異なるキャラクタについて考える。同じ動きのデータで
あっても、それを再生するキャラクタによっては動きの
印象が異なる可能性がある。また、力強い動きに対して
は剛健な印象を受けるキャラクタ、しなやかな動きに対
しては、やわらかな印象を受けるキャラクタが再生する
と言ったようにある動きを再生するのにふさわしいキャ
ラクタが存在すると考えられる。一方、「Ａの動きのデ
ータはＢのキャラクタによって再生することがふさわし
い」とすべての人が考えるわけではないので、ある身体
動作データにふさわしいキャラクタを一意に決定するこ
とは困難である。

【０１０８】本発明の実施の形態で用いる身体動作デー
タは、ビートニックダンスにおける動きのデータであ
る。ビートニックダンスとは、リズムに合わせて踊るこ
とが最も重要なダンスである。そこで、検索にビートか
らの遅れを用いることを考える。ここで、検索される身
体動作データは時間的にすべて同じ長さをもったデータ
である。データベースに保存されているダンスのデータ
と同じ長さの時間に対して、ユーザが指定した時刻を頂
点に持つような三角関数を考え、それを質問ベクトルの
波形として用いる。

【０１０９】それぞれの身体動作データについて、特徴
ベクトルとして採用しているのは、時系列データを離散
フーリエ変換したときのＤＦＴ係数の前から４つ分であ
る。すなわち、リズムでいう（ｉ）１小節を周期として
もつ三角関数、（ｉｉ）１／２小節を周期としてもつ三
角関数、（ｉｉｉ）１／３小節を周期としてもつ三角関
数、および（ｉｖ）１／４小節を周期としてもつ三角関
数についての情報である。また、各々の身体動作データ
の特徴ベクトルは、これら４つ分の余弦波、正弦波の合
成であるので、１つの時系列データについて８つの要素
を持つ特徴ベクトルを順に並べたものである。

【０１１０】１小節の長さは全音符、１／２小節の長さ
は２分音符、１／４小節の長さは４分音符にあたり、８
ビートの音楽に合わせて踊ったビートニックダンスはこ
の３つのリズムで構成されていると考える。そこで、以
下の手順によりユーザが頂点として入力した時刻をこれ
ら３つの周波数成分に分解し、周波数成分別に類似度を
判定する。

【０１１１】１．ユーザの入力した時刻を周期Ｔ、Ｔ／
２、Ｔ／４のものに分解する。それぞれの周期は特徴ベ
クトルの（ｉ）周期Ｔ：特徴ベクトルの第１、第２成
分、（ｉｉ）周期Ｔ／２：特徴ベクトルの第３、第４成
分、（ｉｉｉ）周期Ｔ／４：特徴ベクトルの第７、第８
成分に相当する。

【０１１２】２．それぞれ分解したものについて、質問
ベクトルｑ作成。ａ_ｎ、ｂ_ｎの算出方法は後述する。

【０１１３】 （ｉ）周期Ｔ：q₁=(a₁,b₁,0,0,0,0,0,0) （ｉｉ）周期T/2:q₂=(0,0,a₂,b₂,0,0,0,0) （ｉｉｉ）周期T/4:q₄=(0,0,0,0,0,0,a₄,b₄) ３．q1,q2,q4をそれぞれについて類似度をコサイン相関
値により算出する。

【０１１４】４．q₁, q₂, q₄のすべての成分において、
カウントのあった動きが質問ベクトルに対する検索結果
である。

【０１１５】a_n, b_nを求めるには、入力された時刻を頂
点に持つような余弦波がcos(nT)よりどれだけ進んでい
るかを考える。

【０１１６】cos(T)よりxTだけ進んだ波の式はcos(T-x
T)である。

【０１１７】cos(T-xT)=cos(-xT)・cos(T)-sin(-xT)・s
in(T)であるので、求めるa_n, b_nは、 a_n=cos(-xT)=cos(xT) b_n=-sin(-xT)=sin(xT) となる。

【０１１８】類似度の算出にはコサイン相関値を用い
る。これは、特徴ベクトルの方向を意識した類似度の算
出式であるので、特徴ベクトルの大きさは考慮されな
い。

【０１１９】さらに振幅の影響を考慮するために、上記
で算出した類似度の振幅である式（１３）との積をとっ
たものをその波形の類似度とし、全ての波形について
（すべてのジョイントの回転角Ｒｘ、Ｒｙ、Ｒｚについ
て）の類似度の和をその動きとの類似度とする。

【０１２０】

【数１３】

【０１２１】得られた検索結果を、仮想空間内で強調す
ることで、大量のデータの中から興味あるデータを発見
する手がかりをユーザに与えることができる。

【０１２２】本発明による身体動作データのためのブラ
ウジングシステムは、実際のブラウジングを行うデータ
の表示を行う部分５１と、データ表示ためのデータベー
スを構築する部分５３によって構成される。

【０１２３】データ表示部５１は、ＶＲＭＬによる３次
元仮想空間と、それを制御するＪａｖａアプレットから
なる。仮想空間をＶＲＭＬ言語で記述し、外部インター
フェース（ＥＡＩ）（文献８）を介したＪａｖａアプレ
ットにより、ＶＲＭＬ空間の各ノードのフィールド値を
操作することができる。実装はＷｅｂブラウザ上で行わ
れる（図５）。ＶＲＭＬ空間を操作するには、図５のよ
うにＶＲＭＬファイルとＪａｖａアプレットが同一ペー
ジに存在することが必要である。なお、ＶＲＭＬブラウ
ザとして、例えばCosmoPlayerが使用可能である。

【０１２４】データベース構築部５３は、モーションキ
ャプチャシステムからの出力データを元にデータベース
を作成しデータ表示部５１からの参照を可能とする。使
用言語は例えばPerlとＣ言語が使用可能である。

【０１２５】データベース構築部５３では、上述した２
種類の特徴量の抽出を行ない、それぞれＳＯＭにより分
類を行う。

【０１２６】初めに上述したボックスモデルによる特徴
量抽出を行う。本発明の実施の形態では、以下のような
パラメータで特徴ベクトルを作成する。なお、部位動作
階層において、本発明の実施の形態においては、右足
部、左足部にrootと太股の付け根を結ぶセグメントとし
て"Rhip", "Lhip"を設け、部位動作階層での各部位セグ
メントの数を４にそろえた。

【０１２７】作業空間は２メートル四方とする。セグメ
ント階層において、各セグメントの計算には、１辺を８
つに区切ったボックス、すなわち２５センチメートル四
方のボックスでそれぞれカウントする。

【０１２８】従って、特徴ベクトルの次元数は８^３＝５
１２次元となる。

【０１２９】部位動作階層、全体動作階層での特徴ベク
トルには、１辺を４つに区切った５０ｃｍ四方のボック
スで考える。このとき、はじめから５０ｃｍ四方のボッ
クスでカウントするのではなく、２５ｃｍ四方から５０
ｃｍ四方にしたときに、２５ｃｍ四方のボックスで隣り
合うものが５０ｃｍ四方のボックスでは同じボックスと
なる。この５０ｃｍ四方のボックスを構成するもともと
の２５ｃｍ四方のボックスのカウント数を足し合せたも
のが、新しい５０ｃｍ四方のボックスのカウント数とな
る。部位動作階層の特徴ベクトルは、部位動作階層は４
つのセグメントから構成されているので、４・４^３＝２
５６の２５６次元である。全体動作階層の特徴ベクトル
は、５つの部位動作階層からなるので、５・２５６＝１
２８０の１２８０次元となる。

【０１３０】次に、上述した回転角表現による時系列デ
ータのＤＦＴ係数利用による特徴量抽出を行う。モーシ
ョンキャプチャシステムから得られるジョイントの回転
角表現は、オイラー角表現で順番はｚ、ｙ、ｘの順であ
る。１つのジョイントにつきこの３つの時系列データが
あり、それぞれについてＤＦＴを行う。

【０１３１】本発明の実施の形態において、毎秒１２０
フレームで撮影された２．４秒の２８８フレームからな
るデータに対して高速フーリエ変換（ＦＦＴ）にて処理
するために、近似的に等間隔になるような入力フレーム
を２５６点選出し、それぞれのジョイントの回転角
（ｘ，ｙ，ｚ）についてＤＦＴを行う。なお、直流成分
の影響をなくすため、入力データの平均値をそれぞれの
入力値から引き、正規化してから行う。入力データがす
べて実数であること、正規化してあることから０番目の
係数はともに０となるので、特徴量として保存するの
は、ＤＦＴ係数の１番目以降の値である。特徴量として
採用した係数は前から４個であり、それぞれの係数に
は、正弦波を示すものと余弦波を示すものが２つある。
そして、１つのジョイントにつき（ｘ，ｙ，ｚ）の３種
類の時系列データがあり、スケルトンのジョイントは合
わせて１８個ある。従って、特徴ベクトルの次元数はこ
れらの積になり、２・４・３・１８＝４３２の４３２次
元となる。

【０１３２】次にデータベースファイルの作成について
述べる。

【０１３３】ＳＯＭによるクラスタリングの結果を空間
配置に利用するために、分類結果であるセルにどのデー
タが属するかという情報を参照可能にする。直感的に似
ていると判断したように分類されていたのは、ボックス
モデルの結果であるので、データ表示にはボックスモデ
ルによる結果を用いる。

【０１３４】ＳＯＭのセルを１つの領域と考え、それぞ
れの身体動作データがどのセルに属するかという情報を
もとに、身体動作データを仮想空間内に配置する。

【０１３５】データを遠くから眺めているときは、図６
に示すようなもっとも荒いキャラクタである四角柱を用
いたキャラクタ６１により動きを再生する。ＳＯＭによ
る分類結果のセルの位置に、それぞれ対応する身体動作
データを配置する。

【０１３６】ユーザの視点が動きに近づき定義された区
間に入ると、ProximitySensorノードによって感知され
Ｊａｖａアプレットを介してSwitchノードに伝えられ、
キャラクタも図７に示すようにアニメーションのフレー
ムレートより細かい詳細度を上げたキャラクタ７１に切
り替わる。

【０１３７】さらに、動きに近づき、ある１つの動きし
か見えないような領域に入ると、もう１つのProximityS
ensorが感知し、その動きについての属性情報をＪａｖ
ａアプレットに表示する。

【０１３８】ＶＲＭＬでは、ユーザの現在位置すなわち
視点からの距離による制御を行うにはProximitySensor
を利用する。ProximitySensorとは、直方体の大きさと
その中心値を指定しておくと、ユーザの現在位置がその
直方体に出入りすることを感知するセンサーノードであ
る。

【０１３９】ユーザの現在位置から遠い位置にあるデー
タは詳細度を下げ、一度に大量のデータブラウズするこ
とを可能にする。近い位置にあるデータは詳細に表示
し、特定の動きについてより細かくブラウズできること
にする。

【０１４０】具体的にここで設けた視点による詳細度は
以下の通りである。

【０１４１】レベル１：すべてのセグメントを角柱のみ
で表現した白いキャラクタ レベル２：なめらかな表面を持つ肌色のキャラクタ次に
アニメーションの詳細度の制御について述べる。

【０１４２】ＶＲＭＬのInterPolatorノードは、アニメ
ーションのためのノードである。時刻に対応するkeyフ
ィールドと、その時刻における位置、色、回転情報、サ
イズなどを示すkeyValueの組からなる。例えば位置に関
するInterPolatorノードについて、あるkeyの値ｔ_ｎに
対しその時刻での位置ｖ_ｎが、次のkeyの値ｔ_n＋１に対
してその時刻での位置ｖ_ｎ＋１を指定するとき、時刻ｔ
_ｎからｔ_ｎ＋１の間では、位置ｖ_ｎとｖ_ｎ＋１の間を線
形補間することで、離散的なkeyValueの指定からなめら
かなアニメーションを再生する。(key,keyValue)値の指
定が多いほど、もとの身体動作に忠実で詳細なアニメー
ションとなる。しかしモーションキャプチャシステムで
の撮影時のフレームレート値である１２０フレーム／秒
をＶＲＭＬの世界で実現することは、ブラウザの処理能
力の問題から実用的でない。経験上、１０フレーム／秒
のアニメーションで、同時にブラウズできるのは６つ程
度の身体動作であることがわかっている。それ以上にな
ると、ブラウザの処理能力の限界のため、ブラウザの機
能によりフレームレートを落としてフレームを飛ばした
状態で再生される。そこで、フレームレートの値に詳細
度を設け、現在再生されている身体動作データの数に見
合った詳細度でアニメーションの再生を行う。

【０１４３】本発明の実施の形態において設けたアニメ
ーションによる詳細度は以下の通りである。

【０１４４】 レベル１：３．７５フレーム毎秒のアニメーション レベル２：１０フレーム毎秒のアニメーション 又、図８に示すように、本発明では、ユーザが興味を持
った動きについて、再生するキャラクタを変更できる機
能が設けられる。キャラクタの変更については、Ｈ−Ａ
ＮＩＭ（文献４）の提案を基に以下のようにＶＲＭＬで
キャラクタを定義しておくことで実現した。

【０１４５】 DEF LeftShoulder Transform { #joint "LeftShoulder" center 0.167 1.36 -0.0518 children [ DEF LeftUpperArm Transform {# segment "LeftUpperArm" （セグメントの形状に関する情報） DEF LeftElbow Transform { # joint "LeftElbow" center 0.196 1.07 -0.0518 children [ DEF LeftLowerArm Transform { # segment "LeftLowerArm" （セグメントの形状に関する情報） DEF LeftWrist Transform { # joint "LeftWrist" center 0.213 0.811 -0.0338 children [ DEF LeftHand Transform { # segment "LeftHand" （セグメントの形状に関する情報 … } ] セグメントにあたるノード以下にモデルの形状を記述す
ることで、キャラクタが表現される。アニメーションは
jointにあたるTransformノードのorientationフィール
ドに対し、OrientationInterPolatorノードによりジョ
イントの回転角を与えることで実現する。

【０１４６】セグメントの形状は、ジョイントで親部位
から子部位に向かう向きがｙ軸と一致する方向で保存す
る。このことにより、Ｙ−ｕｐと呼ばれるスケルトンモ
デルが作成でき、回転角のデフォルト値を０にセットす
る。この姿勢からの回転角情報を身体動作データとする
ことで汎用性を持つことが可能となる。

【０１４７】このように、視点による詳細度制御によ
り、ユーザははじめにデータベース全体を眺めることで
ユーザの求める身体動作データがどのあたりに位置する
かをあらかじめ見当つけてから視点を近づけることが可
能である。そして、近づいた結果、セルに属するデータ
が詳細な形でブラウズできるので、似通った内容のデー
タを比較検討可能である。

【０１４８】次に、本発明の第２の実施の形態について
説明する。

【０１４９】音声や数値列などのシングルストリーム型
データにおける認識には、ＤＰマッチング法が良く知ら
れている。ＤＰマッチングにより時系列データ間の類似
性を測ることができる。しかし、モーションデータはマ
ルチストリーム型データであるので、時系列データ間の
類似度だけでは、全体の動作の類似を表すことができな
い場合がある。例えば、時系列データ間の類似度だけで
類似動作検索を行うと体の部位の動きは類似している
が、部位間での動きのタイミングが異なる動作が検索さ
れる可能性がある。第２の実施の形態では、部位の動き
の類似度と部位間の動きの同期度を考慮して、身体動作
の類似性を測ることで、ユーザの動作判定を行う。

【０１５０】この実施の形態では、モーションデータを
用いてユーザの動作と模範動作とを比較し、その差異を
ユーザに認識させる動作判定システムを提供する。この
システムは、ユーザの動作技術の向上を支援する。例え
ば動きが重要な意味を持つスポーツの分野で有用であ
る。スポーツの動きの中でも野球、テニス、ゴルフ等の
スイングの動作を対象とする。模範動作の動作内容は基
本動作である。ここでの基本動作とは、人間が見て基本
的な一連の動きと判断する動きを指す。例えば、ゴルフ
では構えた状態からテークバック、スイングまでの動作
を指す。ユーザの動作としては、同じ動きを連続的に行
った連続動作を入力とする。

【０１５１】図９にシステムの処理の流れを示す。

【０１５２】まず、ユーザの連続動作から基本動作に共
通するポイントを検出する（Ｓ１）。ポイントというの
は、例えばスイングの開始点、終了点などの時間を指
す。次にそのポイントの情報をもとに基本動作を十分含
む区間を切り出す（Ｓ３）。切り出した区間から模範動
作とマッチングさせることで、基本動作抽出と時系列デ
ータ間の類似度を表す距離関数について算出する（Ｓ
５）。そして、動きの同期を表す同期関数を算出してか
ら距離関数と同期関数をもとに動作判定を行う（S７、
Ｓ９）。

【０１５３】動作判定の内容を以下に示す。

【０１５４】・類似動作・非類似動作の判定 ・全体傾向による類似・非類似判定 以上の項目を判定結果として出力することを考える。

【０１５５】以下、時系列データ間の類似度を表す距離
関数と各部位の動きの同期度を表す同期関数の算出につ
いて述べる。

【０１５６】人間の自然な動きとして、ある１つの動き
は動き始めは遅く、徐々に速度が上がり最大速度を迎え
ると、動きが終わるまで速度が落ちていく。これはスポ
ーツの動きについても同様である。そこで動きの速度変
化によってスイングの最大速度のポイント検出について
述べる。

【０１５７】モーションデータは、一定時間間隔でサン
プリングされた離散的なデータであるので、点間の距離
を速度を表す指標として考える。時系列のデータ数をｎ
個とする１次元データＳが、以下のように与えられたと
する。

【０１５８】Ｓ＝ｓ１、ｓ２、…Ｓｉ、…、Ｓｎとす
る。

【０１５９】しかし、モーションデータは３次元時系列
データであるので、これを空間座標Ｓｉ＝（ｘｉ、ｙ
ｉ、ｚｉ）とする。ある時間ｉからｉ＋１までの距離を
ｖ（ｉ）とすると、以下のように与えられる。

【０１６０】

【数１４】

【０１６１】図１０に２回スイングしたテニスの手先に
ついての速度関数ｖ（ｉ）のグラフを示す。

【０１６２】１回目の基本動作は、ｉ＝１からｉ＝５５
までであり、ｉ＝１からｉ＝３０までがテークバックの
動作で、ｉ＝３０からｉ＝５５までがスイングの動作で
ある。図１０から、１つの動作はグラフ的に１つの山と
して表れる。２回目の基本動作についても同じである。
また、スイング動作の最大速度の点は他の動作に比べて
速いことを利用して、スイング動作の最大速度の時間と
いう基本動作に共通したポイントを検出できる。具体的
には、速度関数の最大値を閾値に設定し、そこからスイ
ング回数分の山が検出されるまで、閾値を下げる。そし
て、すべてのスイングの最大速度の時間の情報をもと
に、基本動作を十分含む区間を切り出す。

【０１６３】ＤＰマッチングは、音声認識の分野等で広
く用いられているパターンマッチング法で、２つの時系
列データの長さが異なる場合にも、その差の影響を吸収
する方式である。

【０１６４】時系列データｎ個のパターンＳとｍ個のパ
ターンＴが以下のように与えられる。

【０１６５】 S=s₁,s₂,…,s_i,…,s_n T=t₁,t₂,…,t_j,…,t_m ……（数式１５） 以下、s_i,t_jをデータの要素、i,jを要素番号とする。ま
た、ＳとＴのパターン間の距離d(i,j)を次式で定義す
る。

【０１６６】 d(i,j)=|s_i-t_j| ……（数式１６） ＤＰマッチングの計算は２次元のマッチング行列g(i,j)
を用いて行う。計算手順としては、Ａ，Ｂ，Ｃ，Ｄの順
で、g(i,j)を計算し、マッチング行列を求める。以下に
計算内容を示す。

【０１６７】 ・Ａの計算 g(1,j)=d(1,j) (1≦j≦m) ……（数式１７） ・Ｂの計算 g(i,1)=d(i,1)+g(i-1,1) (2≦i≦n) ……（数式１８） ・Ｃの計算

【０１６８】

【数１５】

【０１６９】 ・Ｄの計算 D(S,T)=min{g(n,j)|1≦j≦m} ……（数式２０） g(n,j)は、Ｓの要素ｓ_ｎがＴの要素ｔ_ｊと対応づけたと
きの最適なマッチングによる距離を表す。また、D(S,T)
の値は、Ｓと最適に対応するＴの部分的なパターンとの
距離であり、パターンＳとＴの部分的なパターンとの類
似度、または距離関数を表す。

【０１７０】しかし、音声の場合は１つの時系列データ
であるが、モーションデータは、体の各関節につけられ
るマーカが２４個あるので、２４本の３次元時系列デー
タである。マーカーとは、体の各関節部分に取り付け
て、モーションキャプチャーシステムが各関節の３次元
の座標データとして採取するためのものである。しかも
すべてが連動しているので、独立に考えることができな
い。独立に考えて、マッチングさせると２つのパターン
間の対応づけが、それぞれの体の部位で異なる。当然、
始終端の対応づけも異なる。図１１に２つのパターンＳ
とＴにおける体の部位Ｇ、Ｈの２つの対応づけの例を示
す。

【０１７１】図１１の（ａ）では、Ｓ全体は、ｔ１から
ｔ４とマッチングし、（ｂ）では、ｔ２の一点でマッチ
ングしている。Ｓに対応するＴの始終端の要素も異なる
し、対応する幅も異なる。ＤＰマッチングでは、２つの
パターン間の距離が最小となるように対応づけるので、
（ｂ）のように一点に対応することもある。

【０１７２】このように、体の部位ごとに対応する始終
端、または、対応幅が異なると、動きの類似度として求
めることができない。従って、体の各部位毎に対応する
始終端、対応する幅を揃える必要がある。

【０１７３】上記求めた連続動作のポイントの情報を基
に、基本動作を十分含む区間で時系列データを連続動作
から切り出す。

【０１７４】模範動作の時系列データは上記パターン
Ｓ、連続動作切り出したデータはパターンＴに相当す
る。切り出したデータから基本動作を抽出するためにＤ
Ｐマッチングを用いる。また、モーションデータは３次
元時系列データであるため、２つの要素の距離d(i,j)
は、空間座標s_i=(s_xi,s_yz,s_zi), t_j=(t_xj,t_yj,t_zj)のユ
ークリッド距離で、次式で表される。

【０１７５】

【数１６】

【０１７６】このように、３次元空間的に距離の近い要
素とマッチングするように行われる。

【０１７７】まず、ＤＰマッチングにより各部位ごと
に、g(n,j)が求まる。そこで、各部位の番号をl={1,2,
…,24}とし、各部位のg(n,j)をh_l(j)とする。そして、
要素番号ｊに対して、すべての部位のh_l(j)を加算す
る。

【０１７８】

【数１７】

【０１７９】このようにして、求められたＧ（ｊ）は、
体全体の要素ｓ_ｎがｔ_ｊに対応づけたときの最適なマッ
チングによる距離を表す。Ｇ（ｊ）が最小である時のｊ
を基本動作の終端とする。

【０１８０】次に、その終端を固定した状態で、逆方向
にＤＰマッチングを行う。具体的には、終端のＴの要素
をｔ_ｂとすると、以下のように変更する。

【０１８１】・Ｔの最大要素を、ｔ_ｂとする。

【０１８２】 ・Ａの計算の変更 g(1,j)=d(1,j)+g(1,j-1) (1≦j≦b) ……（数式２３） ・距離関数の変更

【０１８３】

【数１８】

【０１８４】ただしi'=n-i j=b-jそして、同様の操作
で基本動作の始端を見つける。このようにして、体全体
で対応する始終端をそろえることで距離関数を算出す
る。体の各部位についての距離関数は、その始端の要素
をｔａとすると、h_l(b-a)の値となる。また、基本動作
の距離関数Ｈは以下のように与えられる。

【０１８５】

【数１９】

【０１８６】２段階のＤＰマッチングにより、連続動作
からすべての基本動作の区間が決定される。同時に２つ
の動作における時系列のすべての要素は対応づけられて
いる。この対応づけを利用して同期関数を求める。

【０１８７】模範動作の各部位ｌがｎ個の時系列データ
S_lをもち、抽出されたユーザの動作の各部位ｌがｍ個の
時系列データＴ_ｌを持つとすると以下のように表され
る。

【０１８８】 S_l=s₁,s₂,…,s_i…,s_n T_l=t₁,t₂,..,t_j,…t_m ……（数式２６） ｎ＝７、ｍ＝５のときのＳ_１、Ｓ_２とＴ_１、Ｔ_２の対応
づけの例を図１２に示す。

【０１８９】Ｓ_１、Ｓ_２の要素ｓ_ｉに対応するＴ_１、Ｔ
_２の要素番号が同じであれば、同期、異なれば非同期と
みなす。図１２では、s_１、s_２、ｓ_３、ｓ_５に対応する
要素の要素番号がＴ_１、Ｔ_２において同じであるので、
s_１、s_２、ｓ_３、ｓ_５の地点では、Ｔ_１、Ｔ_２は同期し
ているといえる。しかし、ｓ_４、ｓ_５、ｓ_６の地点で
は、Ｔ_１、Ｔ_２において要素番号が異なるので同期して
いないとみなす。特に、ｓ _５の地点が最もＴ_１、Ｔ_２の
対応する要素番号の差が大きいので、ｓ_５に対応するユ
ーザの動作が非同期であると考えられる。

【０１９０】そこで、模範動作の要素ｓ_ｉに対応する要
素をＴ_１、Ｔ_２、…Ｔ_２４について求め、それぞれの要
素番号のばらつきにより、同期具合を測る。ばらつきが
小さい程同期しており、ばらつきが大きいほど非同期で
あるとする。

【０１９１】模範動作の要素ｓ_ｉに対応するＴ_１、
Ｔ_２、…Ｔ_２４の要素番号をそれぞれｕ _１、ｕ_２、…ｕ
_２４として、その分散を求める。ｕ_１、ｕ_２，…ｕ_２４
の平均値をう、分散をｒとすると以下のように与えられ
る。

【０１９２】

【数２０】

【０１９３】

【数２１】

【０１９４】ｒの値が小さければ、要素番号のばらつき
が少なく体全体の同期が取れていることを表す。

【０１９５】また、模範動作の複数の要素に対して、そ
れぞれ分散を計算する。模範動作の要素をｋ個指定し、
それに対する分散の値をr₁,r₂,…r_q,…,r_kとし、その合
計をＲとすると、以下のようになる。

【０１９６】

【数２２】

【０１９７】このＲの値を基本動作の同期を表す同期関
数の値とする。また、ｒｑの値を区分ｑの同期関数の値
とする。

【０１９８】ユーザ動作の類似・非類似判定は上述した
距離関数と同期関数を用いて行われる。

【０１９９】図１３は距離関数Ｈと同期関数Ｒを軸とし
て４回の基本動作の距離関数Ｈ１、Ｈ２、Ｈ３、Ｈ４と
同期関数Ｒ１、Ｒ２、Ｒ３、Ｒ４を座標値として表した
例を示す。

【０２００】しかし、基本動作の距離関数は、部位の距
離の総和であり、同期関数は区分による分散の総和であ
るので、直接原点からの距離で動作の類似度を求めるこ
とができない。値の内容が異なる距離関数と同期関数を
正規化する必要がある。

【０２０１】そこで、すべての基本動作の距離関数と同
期関数の平均値をそれぞれ、１とした値にすべての距離
関数と同期関数の値を変換する。具体的には、距離関数
と同期関数の値をそれぞれの平均値で割る。そして、原
点から座標点の距離を基本動作の類似度とする。これ
を、正規化された距離関数と同期関数の座標軸をそれぞ
れＨ’、Ｒ’とし図１４に示す。

【０２０２】原点と正規化された座標点との距離により
類似動作・非類似動作の判定を行う。原点からの距離が
最小であれば類似動作と判定され、最大であれば非類似
動作と判定される。

【０２０３】同じ人が連続的に行った動作には、その人
の動きの類似・非類似の傾向がでる。例えば、常に左手
の動きが間違っている人や部位間の同期がよく取れてい
る人などの類似・非類似の部分が表れる。ここでは、部
位または同期についてユーザの傾向的な類似・非類似の
判定を行う。

【０２０４】・部位の類似・非類似 ・区分の同期・非同期 まず、すべての基本動作における部位ごとに距離関数の
平均値を求める。また、すべての基本動作における区分
ごとに同期関数の平均値を求める。基本動作をｎ＝
｛１、２、…Ｎ｝としたときの、各部位ｌの距離関数を
ｈ_ｎｌとし、その平均値をｈ_ｌ’とすると以下のように
与えられる。

【０２０５】

【数２３】

【０２０６】このh'_lにより部位の類似・非類似判定を
行う。h'_lが最小である部位が類似であり、最大である
部位が非類似となる。同様に、各区分ｑにおける同期関
数r_nqの平均値r'_qとすると以下のように与えられる。

【０２０７】このr'_qにより区分の同期・非同期を行
う。

【０２０８】

【数２４】

【０２０９】図１５にシステムの画面を示す。システム
は、データ表示部と操作部で構成されている。データ表
示部では、モーションデータをＶＲＭＬ形式に変換する
ことで動作のブラウジングを行う。また、動きをクリッ
クすることで模範動作の選択を行う。

【０２１０】操作部では、EAI(External Authoring Int
erface)を利用し、Javaアプレットからデータ表示部の
制御を行う。また、選択された模範動作との動作判定を
行う、結果を出力する。動作判定のプログラムはJava言
語を使用している。

【０２１１】本発明の実施の形態においては、赤外線を
利用したモーションキャプチャシステムを使い、Motion
AnalysisのEvaというソフトウエアと６台のカメラを制
御する計算機を使用する。

【０２１２】モーションデータには、モーションキャプ
チャーシステムによって決定されたある原点からの絶対
座標であるので、その人の体格、背丈の情報も反映され
てしまう。従って、同じ動作をしても、体格、背丈の差
が類似度に影響を及ぼすので、その差を減らすために、
モーションデータの体の各部位における最初の座標を初
期座標とし、すべての座標データからその初期座標を引
くことにより、体の体格、背丈の差を吸収する。

【０２１３】本発明の実施の形態においては、実験の対
象とする動作として、テニスのスイングの動作を用い
る。実験に用いるユーザの連続動作を表１に示す。

【０２１４】

【表１】

【０２１５】１つのパターンにおけるユーザの連続動作
は、以下の動作が含まれている。

【０２１６】（ａ）模範動作に近い動作 （ｂ）タイミングのずれた動作 （ｃ）間違っている動作 また、スイングの種類ごとに模範動作を１つ用意した。

【０２１７】動作判定の処理の流れは、図９の処理フロ
ーに従い、類似動作・非類似動作の判定を行う。全体傾
向による類似・非類似判定は同じような動作が連続して
いることを前提としている。同期関数における模範動作
の指定要素数をｋ＝８とし、模範動作時の時系列データ
の長さを９等分した区分についてユーザ動作の同期関数
を算出する。

【０２１８】４種類のスイングごとのすべてのパターン
の連続動作において、類似動作・非類似動作の判定の実
験を行った。いずれのパターンにおいても類似動作とし
て（ａ）が検出された。これは動作の類似度に同期の概
念を取り入れることにより（ａ）と（ｂ）のタイミング
だけずれている動作の区別が明確になったためであると
考える。非類似動作としては、（ｂ）と（ｃ）が検出さ
れた。中でも（ｂ）はタイミングがずれることにより模
範動作の軌道から大きくずれる動作が検出された。
（ｃ）では、模範動作の軌道から大きくずれることによ
り、非同期である動作が検出された。いずれの場合も距
離関数と同期関数の値が大きくなるので、非類似動作と
して検出された。

【０２１９】モーションデータのマルチストリーム性を
考慮して、動作の類似度を時系列データ間の距離と部位
間の同期により決定した。これにより、距離だけでは判
別できなかったタイミングのずれた動作についても判別
できるようになった。しかし、距離関数と同期関数は全
く独立ではなく、相互に作用しうる値である。実験結果
からも（ｂ）と（ｃ）のいずれも模範動作と大きく軌道
がずれる場合、ＤＰマッチングでは、無理にでも距離が
近い要素と対応づけを行おうとするので、適切な対応づ
けが行えない。従って、距離関数と同期関数の値が大き
くなる。

【０２２０】本発明によれば、時系列データ間の距離と
部位間の同期を統合するために距離関数と同期関数の正
規化により、時系列データ間の類似度と動きの同期度を
考慮して、動作の類似性が測定される。

【０２２１】以下に、本明細書にて示した参考文献の詳
細を列挙する。

【０２２２】［文献１］Motion Analysis社、 http://w
ww.Motion Analysis.com/ ［文献２］柴田正哲、「映像の内容記述モデルとその映
像構造化への応用」信学論（Ｄ−２）、VolJ78-D2, No.
5, pp754-746, (1995) ［文献３］小林みな子、今井さやか、有澤博、「リアル
ワールドデータベースにおける３次元情報の取得と表
現」、In Proc. of ADBS, (1996) ［文献４］VRML Humanoid Animation Working Group, h
ttp://eee.uwaterloo.ca/~h-anim/ ［文献５］R. Agrawal, C.Faloutsos and A.Swam, "Eff
icient Similarlity Search in Sequence Database," I
n Proc, of FODO, (1993) ［文献６］T.Kohonen, "The self-organizing map," In
Proc. of The IEEE,Vol. 78, No.9, pp.1464-1480, (1
990) ［文献７］Q.Qian, K. Hatano, T.Sasao, K. Tanaka, "
A VRML-Based Information Organizer by 3D Self-Orga
nizing Map,"第７回データ光学ワークショップ論文集、
In Proc of DEWS, pp.85-90, (1996) ［文献８］RGBExternal Authoring Interface, http://
reality.sgi.com/kirii_nsg/external_api.html ［文献９］澤芙美、河内美樹、木俵豊、田中克巳、「仮
想スタジオのためのデジタル素材のオーサリングと検
索」情報処理学会ＤＢＳ研究会、97-DBS-113, pp.77-8
2, (1997) ［文献１０］Y. Kidawara, F. Sawa, M. Kawauchi and
K. Tanaka, "Authoring and Retrieval of Digital Ass
ets for Virtual Studio Systems," In Proc.of DMIB,
(1997) ［文献１１］大崎竜太、上原邦昭「Dynamic Time Warpi
ng法を用いた身体運動の動作認識」情報処理学会研究報
告、98-DBS-116(2), pp.116-57, 1998 ［文献１２］吉野太智、高木秀幸、清木康、北川高嗣、
「楽曲データを対象としたメタデータ自動生成方式とそ
の意味的連想検索への適用」情報処理学会研究報告、98
-DBS-116(2), pp.116-41, 1998 ［文献１３］西原祐一、梅田昌義、粕谷清一「大規模音
楽ＤＢに対する高速ハミング検索方式」情報処理学会Ａ
ＤＢＳ’９８論文集、pp.117-124, 1998 ［文献１４］柳瀬隆史、高須淳宏、安達淳「メロディか
らの特徴抽出による曲検索システム」電子情報通信学会
データ工学ワークショップDEWS'99, 2B-5, 1998 ［文献１５］川島英之、嶋田総太郎、安西祐一郎「効果
的な時系列データ検索手法」電子情報通信学会データ工
学ワークショップDEWS'99, 3A-5, 1998本発明は、上述
した実施の形態に限定されるものではなく、その技術的
範囲において種々変形して実施することができる。

【０２２３】例えば、上記実施の形態では、時系列デー
タ間の距離と部位間の同期を統合するために距離関数と
同期関数の正規化を行ったが、類似動作・非類似動作の
判定では、距離関数と同期関数を含めた模範動作との絶
対的な類似度により行うようにしてもよい。

【０２２４】

【発明の効果】この発明によれば、モーションキャプチ
ャ装置などにより獲得された身体動作データをその類似
度により自動分類することができるため、身体動作デー
タのデータベース化や類似検索が可能となる。身体動作
データを３次元のコンピュータグラフィクスのキャラク
タで表示することが可能であるため、類似動作の検索
や、類似動作の違い等の認識が視覚的に行えるため、検
索が簡便になる。

【０２２５】また、身体動作のデータベース化、およ
び、類似動作の検索や閲覧が容易になる。身体動作デー
タ閲覧装置は、インターネットワーク上で稼動するた
め、広く身体動作データの配布や情報発信が可能とな
る。

【０２２６】また、モーションデータのマルチストリー
ム性を考慮して、動作の類似度を時系列データ間の距離
と部位間の同期により決定することにより、距離だけで
は、判別できなかったタイミングのずれた動作について
も判別することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態において、スケルト
ンモデルに対し設定される３つの階層を示す説明図であ
る。

【図２】この発明に基づく、身体動作データを可視化し
ブラウジング可能にするシステムの概念図である。

【図３】この発明において、演技者が演技する作業空間
を単位長の立方体に分割したボックスを示す図である。

【図４】ＶＲＭＬ空間に基づく自己組織化マップの視覚
化手法（文献７）を用いて、分類結果をＷｅｂブラウザ
を用いて視覚化した表示画面例を示す図である。

【図５】この発明の実施の形態におけるシステム構成を
示す図である。

【図６】データを遠くから眺めているときの表示画面例
を示す図である。

【図７】ユーザの視点が定義された区間に入ったときの
表示画面例を示す図である。

【図８】ユーザが興味を持った動きについて、再生する
キャラクタを変更できる機能を示す表示画面例である。

【図９】この発明の第２の実施の形態におけるシステム
の処理の流れを示すフローチャートである。

【図１０】この発明の第２の実施の形態において、２回
スイングしたテニスの手先についての速度関数ｖ（ｉ）
のグラフを示す図である。

【図１１】この発明の第２の実施の形態において、２つ
のパターンＳとＴにおける体の部位Ｇ、Ｈの２つの対応
づけの例を示す図である。

【図１２】この発明の第２の実施の形態において、パタ
ーンＳとＴとの対応関係を示す図である。

【図１３】この発明の第２の実施の形態において、距離
関数と同期関数を座標値として表した例を示す図であ
る。

【図１４】図１３を正規化した座標表示を示す図であ
る。

【図１５】この発明の第２の実施の形態におけるシステ
ムの画面例を示す図である。

【符号の説明】

１…全体動作階層 ３…部位動作階層 ５…セグメント階層 ２１、２３…ブラウザ ５１…データの表示を行う部分 ５３…データベースを構築する部分 ６１…四角柱を用いたキャラクタ ７１…精度を上げたキャラクタ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/36 ５１０ Ｇ０６Ｆ 15/62 ３５０Ａ 15/70 ４１０ Ｆターム(参考） 5B050 BA08 CA07 EA07 5B075 ND20 NK06 NR12 PQ02 PR06 QM08 5C082 AA01 BA12 BA27 BA41 BA46 CA51 CB06 MM02 MM09 5L096 FA52 FA69 HA03 JA11 JA20 KA04 9A001 DD12 HH05 HH06 HH26 HH29 JJ01 JJ19 JJ25 JJ26

Claims (8)

【特許請求の範囲】
1. 【請求項１】身体の各部分が、動作空間のどの３次元格
   子を単位時間当たり何度通過したかの情報をもとに特徴
   量を抽出する手段と、 前記抽出した特徴量にもとづいて身体動作データの特徴
   ベクトルを生成する手段と、 前記生成された特徴ベクトルを用いてＫｏｈｏｎｅｎの
   自己組織化マップを学習させる手段と、を具備し、類似
   動作データが前記自己組織化マップ上で近接場所に配置
   されることにより自動分類を行うことを特徴とする身体
   動作自動分類装置。
2. 【請求項２】身体動作の特徴ベクトルが類似している身
   体動作データを近接配置して各々を動きのある３次元キ
   ャラクタで表現する手段と、 利用者にとって間近に見えるキャラクタの身体動作はよ
   り詳細に、遠方に見えるキャラクタの身体動作は詳細度
   を下げて表示する手段と、を具備し、身体動作データを
   配置した仮想空間内を利用者がウォークスルーしながら
   閲覧することにより身体動作データの検索を行うことを
   特徴とする身体動作データ閲覧装置。
3. 【請求項３】身体の各部分が、動作空間のどの３次元格
   子を単位時間当たり何度通過したかの情報をもとに特徴
   量を抽出し、 前記抽出した特徴量にもとづいて身体動作データの特徴
   ベクトルを生成し、 前記生成された特徴ベクトルを用いてＫｏｈｏｎｅｎの
   自己組織化マップを学習させ、 類似動作データが前記自己組織化マップ上で近接場所に
   配置されることにより自動分類を行うことを特徴とする
   身体動作自動分類方法。
4. 【請求項４】身体動作の特徴ベクトルが類似している身
   体動作データを近接配置して各々を動きのある３次元キ
   ャラクタで表現し、 利用者にとって間近に見えるキャラクタの身体動作はよ
   り詳細に、遠方に見えるキャラクタの身体動作は詳細度
   を下げて表示し、 身体動作データを配置した仮想空間内を利用者がウォー
   クスルーしながら閲覧することにより身体動作データの
   検索を行うことを特徴とする身体動作データ閲覧方法。
5. 【請求項５】ユーザの連続動作から基本動作に共通する
   ポイントを検出し、 前記検出したポイントに基づいて、基本動作を含む区間
   を切り出し、 前記切り出した区間を模範動作とマッチングさせ、前記
   抽出した基本動作と時系列データ間の類似度を表す距離
   関数を算出し、 前記ユーザの動きの同期を表す同期関数を算出し、 前記算出した距離関数を同期関数に基づいて前記ユーザ
   の動作の判定を行うことを特徴とする動作判定方法。
6. 【請求項６】前記マッチングはＤＰ(Dynamic Programmi
   ng)マッチング法に基づいて行うことを特徴とする請求
   項５記載の動作判定方法。
7. 【請求項７】ユーザの連続動作から基本動作に共通する
   ポイントを検出する検出手段と、 前記検出手段により検出されたポイントに基づいて基本
   動作を含む区間を切り出す切り出し手段と、 前記切り出し手段により切り出された区間を模範動作と
   マッチングさせ前記抽出した基本動作と前記時系列デー
   タ間の類似度を表す距離関数を算出する距離関数算出手
   段と、 前記ユーザの動きの同期を表す同期関数を算出する同期
   関数算出手段と、 前記算出した距離関数と同期関数に基づいて前記ユーザ
   の動作の判定を行う判定手段と、を具備したことを特徴
   とする動作判定システム。
8. 【請求項８】前記距離関数算出手段は、ＤＰ(Dynamic P
   rogramming)法に基づいてマッチングを行うことを特徴
   とする請求項７記載の動作判定システム。