JP2004334266A

JP2004334266A - 画像表示装置

Info

Publication number: JP2004334266A
Application number: JP2003124911A
Authority: JP
Inventors: Kenji Amaya; 賢治天谷; Jun Aoki; 潤青木
Original assignee: Rikogaku Shinkokai
Current assignee: Rikogaku Shinkokai
Priority date: 2003-04-30
Filing date: 2003-04-30
Publication date: 2004-11-25

Abstract

【課題】モーション・トラッキング／デジタイジング・システムに使用され、且つ、動画像或いはビデオ・データのような画像列から対象物の動きを有効に抽出することができる画像表示装置を提供する。
【解決手段】本発明の画像表示装置は、仮想三次元空間において前記動画像の画像列を任意な透明度で表示するアコーディオン・ビューアー手段を備える。前記仮想三次元空間は、二次元画像空間と時間軸とから成る時空間三次元空間である。前記アコーディオン・ビューアー手段は、前記時空間三次元空間上に前記対象物の動きを操作して表示する。
【選択図】図１

Description

【０００１】
＜発明の技術分野＞
本発明は動画像中の対象物の動きを抽出するための画像表示装置に関し、特ににモーション・トラッキング／デジタイジング・システム用の画像表示装置に関する。
＜従来技術の説明及び本発明の目的＞
画像ストリームから対象物のモーション・トラッキング或いはデジタイジングは取り組みがいのある問題を提起し、多くの応用をもつ問題である（参考文献［１］〜［２］を参照する）。対象物のモーション・トラッキング或いはデジタイジング技術は、ユーザ・インターフェース、バーチャル・リアリティ、動作解析や科学観察などの分野に重要な地位を占める。
【０００２】
ユーザ・インターフェース分野において、身振り言語の自動通訳とジェスチャー・ドリブン・コントロール（ｇｅｓｔｕｒｅｄｒｉｖｅｎｃｏｎｔｒｏｌ）はメインなアプリケーションであると考えられる。バーチャル・リアリティ分野において、ゲーム、双方向性バーチャル世界、キャラクタ・アニメーションのモーション・キャプチャーはメインなアプリケーションである。動作解析の分野において、トラッキング技術はスポーツ・ビデオ映像、整形外科患者の臨床研究、ダンスやバレエの振り付けに役立つ。科学観察分野において、トラッキング技術は例えば動物、魚、バクテリアなどの生き物の観察、自動車或いは人の交通流量及び商品の動線計画、生産ライン上の物品の動線調査に役立つ。
【０００３】
次は従来技術の総説である。
【０００４】
Ｗｒｅｎら（参考文献［３］を参照する）は、人間をトラッキングし、彼らの行動を解釈する“Ｐｆｉｎｄｅｒ”といったリアルタイム・システムを開発した。このシステムは色彩と形状のマルチクラス統計模型を使用することによって、幅広い画像条件で頭と手の二次元表現を実現している。
【０００５】
Ｈｅｉｓｅｌｅら（参考文献［４］を参照する）は、移動するカメラによって撮影されたカラー画像列における軟式の移動対象物をトラッキングする方法を提案した。最初の段階において、対象物のパーツは画像列の１番目の画像中の全ての画素に適用される、分割したクラスタリング・アルゴリズムによって決定される。特徴空間は画素のカラーと位置によって決められる。新しい画像毎に、前の画像のクラスターは並列ｋミーンズ・クラスタリング・アルゴリズムによって繰り返し適用される。
【０００６】
ＮｉｙｏｇｉとＡｄｅｌｓｏｎ（参考文献［５］〜［６］を参照する）は視野内に歩いている人間に生成されたパターンを分析する一連の技術を開発した。検出が変換された後、ＸＹＴパターンを滑らかな時空間表面でフィットすることができる。この表面は歩行の周期性を定期的にざっと反射する。この表面をパラメータ化された標準表面と個別の歩行に特有の偏差表面との組合せとして表すことができる。
【０００７】
Ｊｕら（参考文献［７］を参照する）は、人間の手足を一連の関連する平面パッチで表現する“段ボール人間モデル”を定義した。これらのパッチのパラメータ化された画像の動きは、アーティキュレーテッド・モーションを実行するように制約され、直接にロバスト推定技術を使用することによって解決される。再生されたモーション・パラメータは、認識用に使用されたアクティビティのリッチで簡潔な記述を提供する。
【０００８】
Ｏｏｉら（参考文献［８］〜［９］を参照する）は、画像列中の対象物から３次元パス情報を抽出する方法を提案した。彼らのシステムは操作者の入力と協力するようになっており、正確且つ柔軟に対象物の３次元パス情報を推定する。
【０００９】
上述したように、対象物の動きをトラッキングするのに、各種のシステムや方法が開発された。これらのシステムや方法は、特定のタイプの画像に対して有効な結果が得られる。しかしながら、対象物の動きを含む画像の種類は沢山あるので、任意の画像に対しても有効な結果が得られるシステムは存在しなかった。従って、画像列から対象物の動きをトラッキングするのは、依然としてオープンな研究テーマである。特に、隠れ（オクルジョン）は克服しなければならない最も困難な問題の１つである。対象物の動きをトラッキングする現行の実際的なプロセスは、やはり沢山労力を必要とする試行錯誤的手法に依存する。従来方法の多くは、自動プロセスに基づき、積極的に操作者入力を使用しない。一方、アニメ製作者は既存の手動トラッキング装置に困難な仕事を強要され、フレーム毎に画像において沢山の点をクリックしなければならない。
【００１０】
本発明は上述のような事情よりなされたものであり、本発明の目的は、モーション・トラッキング／デジタイジング・システムに使用され、且つ、動画像或いはビデオ・データのような画像列から対象物の動きを有効に抽出することができる画像表示装置を提供するものである。
【００１１】
＜好適な実施形態の説明＞
本発明の好適な実施例を示した図面を参照しながら、本発明の詳細を以下のように述べる。しかしながら、本発明は様々な異なる方式により実施されることが可能で、ここに示した実施例に限定されることはない。
【００１２】
本発明の全面的な理解を提供するために、まず、次の説明が示される。
【００１３】
本発明の目標はモーション・トラッキング／デジタイジング・システム用の画像表示装置を開発するものである。このモーション・トラッキング／デジタイジング・システムは画像列から対象物の動きを抽出する。
【００１４】
本モーション・トラッキング／デジタイジング・システムは次の３つのコンセプトを提案する。
【００１５】
コンセプト１：
自動的な方法と人間による直接操作との協調は、自動的な方法及び人間による直接操作の各利点を引き出すのに有効であると考えられる。
【００１６】
コンセプト２：
試行錯誤といった問題を解決するために、本モーション・トラッキング／デジタイジング・システムは相互に多種の処理法の各結果を使用する。
【００１７】
コンセプト３：
画像列は位置情報と時間的な情報を包含する。各情報を有効に処理するために、時空間三次元領域は有効なコンセプトである。
【００１８】
本発明において、本モーション・トラッキング／デジタイジング・システムは、次の４つの特徴を実施する。これらの特徴は前記コンセプトの具現化したものである。
【００１９】
特徴１：
本モーション・トラッキング／デジタイジング・システムは、“ヒューマン利用トラッキング”と定義された人間の決定による入力を含む多種トラッキング方法を使用する。この特徴はコンセプト１を具現化したもので、“ヒューマン利用トラッキング”はコンセプト３を包含する。
【００２０】
特徴２：
コンセプト２を満足させるために、本モーション・トラッキング／デジタイジング・システムの内部構造をオブジェクト指向設計として設計した。
【００２１】
特徴３：
本モーション・トラッキング／デジタイジング・システムは、各トラッキング方法の結果間のフィードバックを提案した。この特徴はコンセプト２を具現化したものである。
【００２２】
特徴４：
本発明において、本モーション・トラッキング／デジタイジング・システムに適したユーザ・インターフェースが提案される。特に、アコーディオン・ビューアーが開発された。アコーディオン・ビューアーは、動画像シーケンスの整列された各フレームを透視的に仮想三次元空間に表示する。この特徴はコンセプト３を具現化したものである。
【００２３】
本発明において、次のことに焦点を当てる。
【００２４】
動画像の各画像は同時に表示されることにより、対象物の動きを一度に認識することが容易にできる。また、動画像の各画像は相互に重畳するように表示されたら、動きの変化／相違を認識することが容易にできる。対象物の軌跡は同時に各画像に表示されたら、軌跡が対象物に上手く適合していることを認識することが容易にできる。対象物の軌跡は動画像の各画像に直接に操作されることができたら、ユーザの操作を減らすことができる。
【００２５】
＜１＞本モーション・トラッキング／デジタイジング・システムの基本
＜１−１＞本モーション・トラッキング／デジタイジング・システムのコンセプト
次の三つのコンセプトは、本モーション・トラッキング／デジタイジング・システムの基本を構成する。
【００２６】
（Ａ）自動方法と人間の決定による入力との協調：
従来のトラッキング方法の多くは、自動的なプロセスに基づく。沢山の研究がなされて、その研究の結果によって、例えば工業部品やマーカー付きの対象物などの特定のタイプの画像に対して有効な結果が得られる。しかしながら、これら従来のトラッキング方法は、特に人間動作トラッキングに対して、十分に強いとは言えない。人間動作トラッキングに対して沢山の試みがなされたけれども、今でもそれはオープンな研究テーマである。一方、人間は物事を認識・理解する優れた力を持っている。自動方法と人間決定との協調を活かしたシステムを開発するのは有意義である。本モーション・トラッキング・システムにおいて、人間決定による入力結果、つまり、“人間介在トラッキング”もトラッキング方法の一種であると考えられる。
【００２７】
（Ｂ）多種トラッキング方法の相互利用：
多種トラッキング方法はトラッキングに使用された際に、試行錯誤によって結果が得られる。このようなアプローチによって各方法の特徴が引き出されるかどうかははっきりしない。よって、多種方法の各結果を相互に使用することは有効である。実際に、このコンセプトは、多種方法の各結果をそのほかの方法にフィードバックすることによって実現される。
【００２８】
（Ｃ）時空間三次元領域インターフェイス
動画像は一連の二次元画像である。動画像の各フレームにおいて、例えば対象物の位置のような位置情報が包含される。動画像の動的な情報は、一連の画像で構成される。動画像は図１に示された時空間領域に表されている。時空間三次元領域の中に、対象物の動きが処理される。我々は時間的な情報を示すユーザ・インターフェイスは積極的に提案する。
【００２９】
＜１−２＞本モーション・トラッキング／デジタイジング・システムの設計
＜１−２−１＞本モーション・トラッキング／デジタイジング・システムに使用された方法
自動方法と人間介在トラッキングとの協調についてこれまでげんきゅうしてきたが、実際に、例として次の三つのトラッキング方法を使用した。以下では各方法について触れる。
【００３０】
（１）領域拡大法（Ｒｅｇｉｏｎｇｒｏｗｉｎｇ法）
色情報を使用するトラッキング方法は多数ある（参考文献［３］〜［４］を参照する）。例えば、領域拡大法は画像から領域（Ｒｅｇｉｏｎ）を抽出するための一般的技術である。この領域拡大法は、二次元画像に適用されるだけではなく、三次元ボリューム・データに適用することも可能である。ここで、時空間三次元空間に領域拡大法を適用する。
【００３１】
ユーザに指定された既知のシード・ポイント（ｓｅｅｄｐｏｉｎｔ）から、領域（Ｒｅｇｉｏｎ）はシード・ポイントの色に基づいて帰納的に成長する。図２に示されたように、領域（Ｒｅｇｉｏｎ）の成長の結果は三次元領域（Ｒｅｇｉｏｎ）の形で得られる。
【００３２】
（２）オプティカルフロー（Ｏｐｔｉｃａｌｆｌｏｗ）による方法
オプティカルフローによる方法は、トラッキング／デジタイジング分野において広く使われている。一つの画像において、各画素は輝度値に対応する。オプティカルフローは一つの画像からほかの画像までのこれらの輝度変化の方向及び大きさを示すベクトル場である。本モーション・トラッキング／デジタイジング・システムにおいて、オプティカルフローは動画像全体を通じてフレーム間に得られる。
（３）人間介在トラッキング方法
人間は対象物の動きを認識・理解する優れた力を持っている。しかしながら、ユーザにとって、動画像の各フレームに対し、動きを表す点を指定することは困難な仕事である。よって、“人間介在トラッキング”が提案される。
【００３３】
本発明において、図３に示されたように、モーション・パスは時空間三次元領域にスプライン曲線として表される。モーション・パスをスプライン曲線として扱うことは、コンピュータ・アニメーション分野において使用される主要な方法である。スプライン曲線は一連の制御点に定められる。ユーザは一連の制御点だけを指定すれば、モーション・パスを生成することができる。ユーザの仕事量を減らすことができる。
【００３４】
ここで留意すべきは“時空間三次元領域インターフェイス”といったコンセプトもこれによって実現されることである。
＜１−２−２＞多種方法の相互利用の実現
多種トラッキング方法を相互に利用することは有効である。多種方法の相互利用を実現するために、オブジェクト指向設計（ＯＯＤ）が使用された。クラス構造を設計することは、オブジェクト指向設計（ＯＯＤ）において、１つの重要ポイントである。ＧｏＦのデザイン・パターン（参考文献［１０］を参照する）の中に紹介されたファクトリー・パターンは、本モーション・トラッキング／デジタイジング・システムに適することが知られている。本モーション・トラッキング／デジタイジング・システムのクラス構造は、ファクトリー・パターンに基づく。
【００３５】
図４は本モーション・トラッキング／デジタイジング・システムのクラス・ダイヤグラムである。図４に示されたように、“トラッキング方法”及び“結果”は抽象型クラスである。具体的なプロセス、トラッキング方法、操作者入力は、各具体的なクラスで実施される。トラッキング方法の各具体的なクラスは、結果の各具体的なクラスを生成する。結果の各具体的なクラスは、抽象型クラス“結果”の下位のクラスである。本モーション・トラッキング／デジタイジング・システムに新しいトラッキング方法を追加したい場合に、ユーザがやらなければいけないことは具体的なクラスを実施することだけであるため、本モーション・トラッキング／デジタイジング・システムの構造は拡張性を提供する。
＜１−２−３＞各トラッキング結果をフィードバックするための操作手順
多種方法の結果を相互に利用することは本発明のコンセプトの１つである。本発明において、多種トラッキング方法の結果間にフィードバックすることが提案された。これは次の四つの操作によって実現される。例えばテンプレート照合のような最適化が必要な方法に対して、モーション・パスからのフィードバックは有効であることも考えられる。
【００３６】
操作１：領域拡大法から人間介在トラッキングへ
領域拡大法の結果が得られると、領域拡大法から人間決定へのフィードバック操作は使用できる。このフィードバックは、領域拡大法によって得られた三次元領域（３ＤＲｅｇｉｏｎ）から候補者を生成する。
【００３７】
領域拡大法の結果は、三次元領域の形で、換言すれば、図５に示されたように、一連の２値画像の形で与えられる。２値画像において、抽出された領域に対しての点をグループ化することができる。従って、このフィードバックは、２値画像にクラスタ化を適用し、クラスタの中心を出力する。
【００３８】
（１）安定したクラスタ化に対し、形態的な操作“ｏｐｅｎｉｎｇ”を用いて、２値画像における間隙を埋める（図６を参照する）。
【００３９】
（２）２値画像にクラスタ化を適用する。
【００４０】
（３）クラスタの中心を候補者として出力する（図７を参照する）。
【００４１】
候補者が得られた後に、ユーザは候補者に続いてモーション・パスを編集することができる。
【００４２】
操作２：人間介在トラッキングから領域拡大法へ
モーション・パスが存在した場合に、人間決定入力から領域拡大法へのフィードバックは使用できる。このフィードバックは、モーション・パスから三次元領域を生成する。
【００４３】
各フレームにおいて、このフィードバックは、モーション・パス上の点をシード・ポイントとする二次元領域（Ｒｅｇｉｏｎ）成長を行う。これらの操作の結果として、フレーム毎に１つの２値画像が得られた（図８を参照する）。これら一連の２値画像は時空間三次元空間における三次元領域を形成する。
【００４４】
操作３：オプティカルフローから人間介在トラッキングへ
オプティカルフローとモーション・パスが得られた場合に、オプティカルフローから人間決定へのフィードバックは使用できる。このフィードバックは、オプティカルフローとモーション・パスの間の残差を提供する。フレーム間のインターバル毎に残差が得られる。
【００４５】
フレームｎとフレームｎ＋１の間の場合を考える（図９を参照する）。
【００４６】
オプティカルフローの平均ベクトルは下記数１によって計算される。
【００４７】
【数１】

ここで、Δｔはフレーム間の時間インターバルで、

は画素

においてのオプティカルフローである。Ｗはモーション・パス上の点の隣接エリアであり、その幅はＷ_ｘで、高さはＷ_ｙである（図１０を参照する）。
【００４８】
モーション・パスのベクトルは下記の数式によって表される。
【００４９】
【数２】

【数３】

【数４】

ここで、（ｘ_ｎ，ｙ_ｎ）はフレームｎにおけるモーション・パスの座標である。
【００５０】
オプティカルフローとモーション・パスの間の残差は下記数５によって計算される。
【００５１】
【数５】

ここで、θは

と

の間の角度である。
【００５２】
操作４：人間決定からオプティカルフローへ
モーション・パスが得られた場合に、モーション・パスからオプティカルフローへのフィードバックは使用できる。このフィードバックはモーション・パスの近く辺りだけでオプティカルフローを得る。これによって計算量を減らすことができる。
【００５３】
フレームｎとフレームｎ＋１の間の場合を考える。フレームｎにおいて、図１０に示されたように、幅がＷ_ｘで、高さがＷ_ｙである隣接エリアを定義する。このフィードバックはこのエリアだけでオプティカルフローを得る。
【００５４】
＜２＞ユーザ・インターフェイス
＜２−１＞ユーザ・インターフェイスの要素
モーション・トラッキング／デジタイジング・システムは次のウィンドウを有する。
【００５５】
アコーディオン・ビューアー（図１１を参照する）
二次元ウィンドウ（図１２を参照する）
トラッキング方法用のダイアログ・ボックス（図１３、図１４、図１５を参照する）
アコーディオン・ビューアーは、コンピュータのディスプレイ上に、画像、モーション・パス及びトラッキング方法の結果を表示する。二次元ウィンドウは、動画像における任意フレームの画像を表示する。ダイアログ・ボックスは、ユーザがトラッキング方法を操作するところである。
【００５６】
＜２−１−１＞アコーディオン・ビューアー
動画像は一連の画像である。画像列は図１６に示された仮想三次元空間上に配列されている。アコーディオン・ビューアーは、透視的に三次元空間を表示する。アコーディオン・ビューアーにおいては、画像列が任意の透明度をもって表示される（図１７を参照する）。アコーディオン・ビューアーにおいては、ユーザが回転、移動、ズーミングといった操作を行うことができる（図１８を参照する）。
【００５７】
ユーザは、マウスのボタンをクリックすることによって、アコーディオン・ビューアーにおける任意のフレームを選択することができる。選択されたフレームは二次元ウィンドウに表示される。
【００５８】
＜２−１−２＞二次元ウィンドウ
二次元ウィンドウは、アコーディオン・ビューアーにおける選択されたフレームの画像を表示する。ユーザは“＜”、“＞”といったボタンで、フレームを選択することができる。制御点がモーション・パスに追加される場合に、“制御点追加”ボタンが使用される。また、制御点がモーション・パスから削除される場合に、“制御点削除”ボタンが使用される。
【００５９】
＜２−１−３＞ダイアログ・ボックス
次のダイアログ・ボックスはそれぞれ各方法用に提供される。
【００６０】
（１）領域拡大（Ｒｅｇｉｏｎｇｒｏｗｉｎｇ）ダイアログ（図１３を参照する）
リストボックスは得られた結果のリストを示す。
【００６１】
“領域追加”ボタンは、領域拡大法の結果を生成するためのボタンである。
【００６２】
“領域削除”ボタンは、領域拡大法の結果を削除するためのボタンである。
【００６３】
“パスによる領域”ボタンは、人間介在トラッキングから領域拡大法へのフィードバックを行うためのボタンである。
【００６４】
“選択された結果を表示”チェック・ボックスは、アコーディオン・ビューアーに領域拡大法の選択された結果を表示させることを可能にする。
【００６５】
“候補者を示す”チェック・ボックスは、領域拡大法から人間介在トラッキングへのフィードバックを行うためのものである。
【００６６】
（２）オプティカルフロー（Ｏｐｔｉｃａｌｆｌｏｗ）ダイアログ（図１４を参照する）ユーザは“ウィンドウ・サイズ”スライダーを用いて、オプティカルフローのウィンドウ・サイズを変更することができる。
【００６７】
“オプティカルフロー計算”ボタンは、オプティカルフローを計算するためのボタンである。
【００６８】
“オプティカルフロー表示”チェック・ボックスは、アコーディオン・ビューアーにオプティカルフローを表示させることを可能にする。
【００６９】
“パスの近く辺りだけ”チェック・ボックスは、モーション・パスからオプティカルフローへのフィードバックを可能にする。
【００７０】
“残差に基づいた色”チェック・ボックスは、オプティカルフローからモーション・パスへのフィードバックを可能にする。
【００７１】
“ビッグ・フローだけ”チェック・ボックスは、アコーディオン・ビューアーにビッグ・オプティカルフローだけを表示させることを可能にする。
【００７２】
（３）手動ダイアログ（図１５を参照する）
リストボックスは生成されたモーション・パスのリストを示す。
【００７３】
“モーション・パス追加”ボタンは、モーション・パスを生成するためのボタンである。
【００７４】
“モーション・パス削除”ボタンは、モーション・パスを削除するためのボタンである。
【００７５】
本発明において、ユーザ・インターフェイスは、時空間三次元空間の透視図を示す。動画像の各画像は時空間三次元空間上に配列されている。時空間三次元空間の三つの軸は、二次元画像空間と時間軸とで構成される。これら三つの軸は、直線であっても、また曲線であっても良い。モーション・トラッキング／デジタイジング・システムは、コンピュータのディスプレイ上に時空間三次元空間を透視的に表示する。時空間三次元空間の透視図の方向を任意に変えることが可能である。時空間三次元空間の透視図は、任意のサイズに拡大され、或いは、縮小されることが可能である。時空間三次元空間上に配列されている動画像の各画像も、コンピュータのディスプレイ上に透視的に表示される。動画像の各画像は任意の透明度をもって表示されることが可能である。画像毎に透明度の度合いを異にすることが可能である。各画像内部でも、透明度の度合いが一定である必要がない。例えば、ユーザは時空間三次元空間における領域を１００％の透明度に指定した場合に、図１９に示されたように、ディスプレイ上には三次元空間における画像の断面図を示す。対象物の軌跡を時空間三次元空間においてスプライン曲線として表すことができる。スプライン曲線は任意の数の制御点を有する。ユーザ・インターフェイスを通して、マウス或いは任意のデジタイジング装置を直接に用いて、制御点を編集（移動、追加、削除）することができる。図２０に示されたように、モーション・パスを任意のフレームからスタートさせ、また、任意のフレームで終わらせることができる。また、図２０に示されたように、異なる対象物の動きに対し、複数のモーション・パスが表示される。
【００７６】
＜２−２＞本モーション・トラッキング／デジタイジング・システムの動作及び説明図
この節は実施例を用いて順を追ってユーザ・インターフェイスの動作を説明する。
【００７７】
先ずは、本モーション・トラッキング／デジタイジング・システムに動画像ファイルを取り込む。
【００７８】
１．メニュー上の“動画像を開く”ボタンをクリックする（図２１を参照する）。
【００７９】
２．オープン・ダイアログ・ボックスに、開くすべき動画像ファイルを指定する（図２２を参照する）。
【００８０】
動画像の画像列はアコーディオン・ビューアーに表示される（図２３を参照する）。
【００８１】
動画像ファイルが取り込まれた後に、ユーザは次の七つの特徴を使用することができる。
【００８２】
＜２−２−１＞特徴１：領域拡大法の結果を生成する
領域拡大法の結果を生成する手順は次のようになる。
【００８３】
１．アコーディオン・ビューアー或いは二次元ウィンドウを用いて１つのフレームを選択する。
【００８４】
２．領域拡大ダイアログ上の“領域追加”ボタンをクリックする（図２４を参照する）。
【００８５】
３．ダイアログにシード・ポイントの位置を設定する（図２５を参照する）。
【００８６】
領域拡大法の結果はアコーディオン・ビューアーに表示される。ここで留意すべきは、領域拡大法によって抽出された領域は透視図で不透明であるように描かれ、ほかの領域は透視図で透明であるように描かれていることである（図２６を参照する）。
＜２−２−２＞特徴２：オプティカルフローを計算する
１．オプティカルフローダイアログ上のスライダーを用いて、オプティカルフローのウィンドウ・サイズを設定する（図２７を参照する）。
【００８７】
２．“オプティカルフロー計算”ボタンをクリックする（図２８を参照する）。
【００８８】
計算後、オプティカルフローはアコーディオン・ビューアーに表示される。アコーディオン・ビューアーにおいて、緑の線はオプティカルフローに対応する（図２９を参照する）。
【００８９】
＜２−２−３＞特徴３：モーション・パスを生成・編集する
モーション・パスを生成する手順は次のようになる。
【００９０】
１．手動ダイアログ上の“モーション・パス追加”ボタンをクリックする（図３０を参照する）。
【００９１】
２．モーション・パスの出発点の位置を設定する（図３１を参照する）。
【００９２】
３．モーション・パスの終点の位置を設定する（図３２を参照する）。
【００９３】
ユーザは次の三つの制御点に係る操作を用いて、モーション・パスを編集することができる。
【００９４】
モーション・パスに新しい制御点を追加する：
１．制御点を追加しなければならないフレームを選択する。
【００９５】
２．二次元ウィンドウ上の“制御点追加”ボタンをクリックする（図３３を参照する）。
【００９６】
モーション・パス上に制御点を移動する：
１．制御点を有するフレームを選択する。
【００９７】
２．二次元ウィンドウの画像において、制御点の位置を設定する（図３４を参照する）。
【００９８】
編集後、ユーザはモーション・パスが得られる（図３５を参照する）。
【００９９】
＜２−２−４＞特徴４：領域拡大法から人間介在方法へのフィードバック
１．＜２−２−１＞節で既に説明したように、領域拡大法の結果を生成する。
【０１００】
２．領域拡大ダイアログ上の“候補者を示す”チェック・ボックスをチェックする（図３６を参照する）。
【０１０１】
計算された候補者はアコーディオン・ビューアーに表示される。アコーディオン・ビューアーにおいて、候補者は黄色いボールで表されている（図３７を参照する）。
【０１０２】
＜２−２−５＞特徴５：人間介在方法から領域拡大法へのフィードバック
１．＜２−２−３＞節で既に説明したように、モーション・パスを生成する。
【０１０３】
２．領域拡大ダイアログ上の“パスによる領域”ボタンをクリックする（図３８を参照する）。
【０１０４】
抽出された領域はアコーディオン・ビューアーに表示される（図３９を参照する）。
【０１０５】
＜２−２−６＞特徴６：領域拡大法から人間介在トラッキング方法へのフィードバック
１．＜２−２−３＞節で既に説明したように、モーション・パスを生成する。
【０１０６】
２．＜２−２−２＞節で既に説明したように、オプティカルフローを計算する。
【０１０７】
３．オプティカルフローダイアログ上の“残差に基づいた色”チェック・ボックスをチェックする（図４０を参照する）。
【０１０８】
アコーディオン・ビューアーにおけるモーション・パスは、オプティカルフローとモーション・パスとの間の差に基づいて色付けられた（図４１を参照する）。
【０１０９】
＜２−２−７＞特徴７：人間介在トラッキング方法からオプティカルフローによる方法へのフィードバック
１．＜２−２−３＞節で既に説明したように、モーション・パスを生成する。
【０１１０】
２．＜２−２−２＞節で既に説明したように、オプティカルフローを計算する。
【０１１１】
３．オプティカルフローダイアログ上の“パスの近く辺りだけ”チェック・ボックスをチェックする（図４２を参照する）。
【０１１２】
アコーディオン・ビューアーはモーション・パスの周りにあるオプティカルフローだけを表示する（図４３を参照する）。
【０１１３】
＜２−３＞本発明のユーザ・インターフェイスの利点
図４４に示されたようなマトリクスのような方式で、動画像列の各フレームを二次元空間に配置する従来のインターフェイスと比較して、本発明のアコーディオン・ビューアーは優れた利点を有する。
【０１１４】
逆に言えば、本発明のアコーディオン・ビューアーにおいては、動画像列の各フレームが時空間三次元空間にばらで配列されている。アコーディオン・ビューアーによって、ユーザは位置情報及び時間情報を同時に得ることができる。一方、従来のインターフェイスを用いても、位置情報及び時間情報を同時に得ることが不可能である。それは従来のインターフェイスの多くに位置情報と時間情報との相関を示すもう１つのウィンドウが提供されている理由である。例えば、モーション・パスを表すために、従来のインターフェイスは、Ｘ軸とＹ軸に対してモーション・パスの時間的な変化を示すもう１つのウィンドウを必要とする。しかしながら、アコーディオン・ビューアーはその目的のもう１つのウィンドウを必要としない。
【０１１５】
アコーディオン・ビューアーにおいて、動画像の画像は透明度をもって透視的に描かれている。これによって、ユーザはフレーム間の画像の動きの変化を読むことができる。一方、従来のインターフェイスを用いても、フレーム間の画像の変化を明瞭に認識できない。
【０１１６】
＜３＞本モーション・トラッキング／デジタイジング・システムの結果及び評価
＜３−１＞結果
人間動作“おじぎをする”を含む動画像列を用いて、本モーション・トラッキング／デジタイジング・システムが検証された。この動画像列は２８枚のフレームで構成される。動画像列の解像度は３２０×２４０ピクセルである。
【０１１７】
このテストにおいて、人体の頭、肘、肩、手、胴といったところの９つの点がトラッキングされた。テストの結果として、図４５、図４６及び図４７に示されたトラッキングデータが得られた。
【０１１８】
＜３−２＞評価
この本モーション・トラッキング／デジタイジング・システムを使用するのに、必要なユーザの仕事量を評価した。入力の数はユーザの仕事量だと考えられる。テストにおいて、９つのモーション・パスが得られた。例えば、右手に対応するモーション・パスの制御点の数は４である。しかしながら、このモーション・パスを従来法で手動的に得るとすれば、ユーザは２８個の点を入力しなければならない。
【０１１９】
＜３−３＞本発明の結び及び効果
本発明において、ユーザ・インターフェイスを具備する本モーション・トラッキング／デジタイジング・システムが開発された。この本モーション・トラッキング／デジタイジング・システムは対象物の特徴点の二次元動作を抽出する。
【０１２０】
この本モーション・トラッキング／デジタイジング・システムは、例えば、領域拡大法、オプティカルフローによる方法、人間介在トラッキングのような多種トラッキング方法を使用する。本モーション・トラッキング／デジタイジング・システムは、多種トラッキング方法の結果の相互利用に適した内部構造を有する。本モーション・トラッキング／デジタイジング・システムは各トラッキング方法の結果間のフィードバックを可能にする。動画列の各フレーム及びトラッキング方法の各結果をコンピュータのディスプレイ上に表示する、ユニークなユーザ・インターフェイスが開発された。
【０１２１】
本発明の本モーション・トラッキング／デジタイジング・システムのロバスト性と有効性が評価された。評価の結果は、本モーション・トラッキング／デジタイジング・システムの出力データが実用可能性を有することを示す。本モーション・トラッキング／デジタイジング・システムのユーザ・インタフェイスが対象物の動きをトラッキングするのに効果的であることは発見された。
【０１２２】
従来のインターフェイスは動画像列の各フレームをマトリクスのような方式で二次元空間に配置する。従って、従来のインターフェイスを用いることによって、位置情報及び時間情報を同時に得ることが不可能である。それは従来のインターフェイスの多くに位置情報と時間情報との相関を示すもう１つのウィンドウが提供されている理由である。例えば、モーション・パスを表すために、従来のインターフェイスは、Ｘ軸とＹ軸に対してモーション・パスの時間的な変化を示すもう１つのウィンドウを必要とする。しかしながら、アコーディオン・ビューアーはその目的のもう１つのウィンドウを必要としない。
【０１２３】
従来のインターフェイスは、動画像データを観察するために、シングル・フレーム・ステップ機能に依存する。逆に言えば、本発明の本モーション・トラッキング／デジタイジング・システムにおいて、動画像の画像が同時に表示されることができる。ユーザは透明性の画像を透視することができるので、よって、対象物の動きの変化或いは差を正確に認識することもできる。
【０１２４】
従来のインターフェイスを用いた場合に、対象物の動きを特定するために、ユーザに全ての画像に対して逐一に対象物をクリックすることが強要される。逆に言えば、スプライン曲線がいくつかの制御点で定義されることは可能であるため、本発明のアコーディオン・ビューアーを用いた場合に、ユーザはモーション軌跡（モーション・パス）のスプライン曲線の数少ない制御点だけを指定すれば良い。
【０１２５】
動画像は一連の画像である。本モーション・トラッキング／デジタイジング・システム用のユーザ・インタフェイスは、コンピュータによって実行される、逐次動画像ビューイング・プログラムである。このユーザ・インタフェイスによって、コンピュータのディスプレイを通して、ユーザは動画像の画像をビューすることができ、また、時空間三次元空間上に対象物の軌跡を操作することもできる。ユーザは、コンピュータのマウスを駆使して、回転、コード変換、ズームイン、ズームアウトなどの操作を行うことができる。画像列は、二次元画像空間と時間軸とで構成される仮想三次元空間に配置される。本モーション・トラッキング／デジタイジング・システムは、ユーザ・インターフェイス（アコーディオン・ビューアー）によって、コンピュータのディスプレイ上に、時空間三次元空間を透視的に表示する。時空間三次元空間に配置されている画像列も、コンピュータのディスプレイ上に、透視的に表示される。動画像の各画像は任意の透明度をもって表示されることが可能である。動画像列がばらで時空間に配置されているので、ユーザ・インターフェイスによって、ユーザは一度に対象物の位置情報及び時間情報を得ることができる。ユーザは透明性の画像を透視することができるので、よって、対象物の動きの変化或いは差を正確に認識することもできる。対象物の動きは時空間三次元空間上にスプライン曲線によって表されることができる。スプライン曲線は、コンピュータのディスプレイ上にユーザに指定された、いくつかの制御点によって決められる。
【０１２６】
更に、本発明の本モーション・トラッキング／デジタイジング・システムも、ユーザ・インターフェイス（アコーディオン・ビューアー）も、同様に、ユーザ・インターフェース、バーチャル・リアリティ、動き分析や科学観察などの分野に適用されることができる。
【０１２７】
＜４＞参考文献
［１］Ｄ．・ガバリラ（Ｄ．Ｇａｖｒｉｌｌａ），「ザビジュアルアナリシスオフヒューマンムーブメント：アサーベイ（Ｔｈｅｖｉｓｕａｌａｎａｌｙｓｉｓｏｆｈｕｍａｎｍｏｖｅｍｅｎｔ：Ａｓｕｒｖｅｙ）」，コンピュータビジョンアンドイメージアンダスタンディング（ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ），第７３巻，ｐ．８２−８８，１９９９年１月．
［２］Ｊ．・Ｋ．・アガラワル、Ｑ．・サイ（Ｊ．Ｋ．ＡｇｇａｒｗａｌａｎｄＱ．Ｃａｉ），「ヒューマンモーションアナリシス：アレビュー（Ｈｕｍａｎｍｏｔｉｏｎａｎａｌｙｓｉｓ：Ａｒｅｖｉｅｗ）」，コンピュータビジョンアンドイメージアンダスタンディング（ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ），第７３巻，ｐ．４２８−４４０，１９９９年３月．
［３］Ｃ．・レン、Ａ．・アザバヤジャニ、Ｔ．・ダレル、Ａ．・ペントランド（Ｃ．Ｗｒｅｎ，Ａ．Ａｚａｒｂａｙｅｊａｎｉ，Ｔ．Ｄａｒｒｅｌｌ，ａｎｄＡ．Ｐｅｎｔｌａｎｄ），「Ｐファインダ：リアルタイムトラッキングオフザヒューマンボディ（Ｐｆｉｎｄｅｒ：Ｒｅａｌ−ｔｉｍｅｔｒａｃｋｉｎｇｏｆｔｈｅｈｕｍａｎｂｏｄｙ）」，ＩＥＥＥトランス．パターンアンラ．マッチ．インテレ．（ＩＥＥＥＴｒａｎｓ．ＰａｔｔｅｒｎＡｎａｌ．Ｍａｃｈ．Ｉｎｔｅｌｌ．），第１９巻，第７号，ｐ．７８０−７８５，１９９７年．
［４］Ｂ．・ハイゼラー、Ｕ．・ケレセル、Ｗ．・リッテル（Ｂ．Ｈｅｉｓｅｌｅ，Ｕ．Ｋｒｅｓｓｅｌ，ａｎｄＷ．Ｒｉｔｔｅｒ），「トラッキングノンリジッド，ムービングオブジェクトズベイセドオンカラークラスタフロー（Ｔｒａｃｋｉｎｇｎｏｎ−ｒｉｇｉｄ，ｍｏｖｉｎｇｏｂｊｅｃｔｓｂａｓｅｄｏｎｃｏｌｏｒｃｌｕｓｔｅｒｆｌｏｗ）」，インプロク．オフＩＥＥＥコンファレンスオンオートマチックフェイスアンドジェスチャーレコグニション（ｉｎＰｒｏｃ．ｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＡｕｔｏｍａｔｉｃＦａｃｅａｎｄＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ），ｐ．１４０−１４５，１９９６年．
［５］Ｓ．・Ａ．・ニヨギ、Ｅ．・Ｈ．・アデルソン（Ｓ．Ａ．ＮｉｙｏｇｉａｎｄＥ．Ｈ．Ａｄｅｌｓｏｎ），「アナライズイングアンドレコグナイズイングウォーキングフィギュアズインＸＹＴ（Ａｎａｌｙｚｉｎｇａｎｄｒｅｃｏｇｎｉｚｉｎｇｗａｌｋｉｎｇｆｉｇｕｒｅｓｉｎｘｙｔ）」，インプロク．オフＩＥＥＥコンファレンスオンコンピュータビジョンアンドパターンレコグニション（ｉｎＰｒｏｃ．ｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ），ｐ．４６９−４７４，１９９４年．
［６］Ｓ．・Ａ．・ニヨギ、Ｅ．・Ｈ．・アデルソン（Ｓ．Ａ．ＮｉｙｏｇｉａｎｄＥ．Ｈ．Ａｄｅｌｓｏｎ），「アナライズイングゲイトウィズスパチオテンポラルサーフェスズ（Ａｎａｌｙｚｉｎｇｇａｉｔｗｉｔｈｓｐａｔｉｏｔｅｍｐｏｒａｌｓｕｒｆａｃｅｓ）」，インプロク．オフＩＥＥＥワークショップオンモーションオフノンリジッドアンドアーティキュレーテッドオブジェクトズ（ｉｎＰｒｏｃ．ｏｆＩＥＥＥＷｏｒｋｓｈｏｐｏｎＭｏｔｉｏｎｏｆＮｏｎ−ＲｉｇｉｄａｎｄＡｒｔｉｃｕｌａｔｅｄＯｂｊｅｃｔｓ），ｐ．６４−６９，１９９４年．
［７］Ｓ．・Ｘ．・ジュ、Ｍ．・ブラック、Ｙ．・Ｊ．・ヤクーブ（Ｓ．Ｘ．Ｊｕ，Ｍ．Ｂｌａｃｋ，ａｎｄＹ．Ｊ．Ｙａｃｏｏｂ），「カードボードピープル：アパラメータライズドモデルオフアーティキュレーテッドイメージモーション（Ｃａｒｄｂｏａｒｄｐｅｏｐｌｅ：ａｐａｒａｍｅｔｅｒｉｚｅｄｍｏｄｅｌｏｆａｒｔｉｃｕｌａｔｅｄｉｍａｇｅｍｏｔｉｏｎ）」，インプロク．オフＩＥＥＥコンファレンスオンオートマチックフェイスアンドジェスチャーレコグニション（ｉｎＰｒｏｃ．ｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＡｕｔｏｍａｔｉｃＦａｃｅａｎｄＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ），ｐ．３８−４４，１９９６年．
［８］Ｙ．・オウイ、Ｊ．・ウォン、Ｓ．・オザワ（Ｙ．Ｏｏｉ，Ｊ．Ｈｗａｎｇ，ａｎｄＳ．Ｏｚａｗａ），「アメソッドオフエクストラクティング３Ｄパッチインフォメイションフロムオブジェクトインイメージシーケンス：ボリュームエディタ（Ａｍｅｔｈｏｄｏｆｅｘｔｒａｃｔｉｎｇ３ｄｐａｔｃｈｉｎｆｏｒｍａｔｉｏｎｆｒｏｍｏｂｊｅｃｔｉｎｉｍａｇｅｓｅｑｕｅｎｃｅ：Ｖｏｌｕｍｅｅｄｉｔｏｒ）」，インプロク．オフＩＥＥＥコンファレンスコンミュニ．，コンプト．アンドシグナルプロセス（ｉｎＰｒｏｃ．ｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅＣｏｍｍｕｎ．，Ｃｏｍｐｔ．ａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓ），ｐ．６３０−６３３，１９９３年．
［９］Ｓ．・オザワ（Ｓ．Ｏｚａｗａ），「３Ｄメジャーメントユスイングイメージプロセシング（３ｄｍｅａｓｕｒｅｍｅｎｔｕｓｉｎｇｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ）」，ジャーナルオフザジャパンソサイエティオフメカニカルエンジニアズ（ＪｏｕｒｎａｌｏｆｔｈｅＪａｐａｎＳｏｃｉｅｔｙｏｆＭｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｓ），第９８巻，ｐ．５３−５６，１９９５年５月．
［１０］Ｅ．・ガンマ、Ｒ．・ヘルム、Ｒ．・ジョンソン、Ｊ．・ビリシデス（Ｅ．Ｇａｍｍａ，Ｒ．Ｈｅｌｍ，Ｒ．Ｊｏｈｎｓｏｎ，ａｎｄＪ．Ｖｌｉｓｓｉｄｅｓ），「デザインパターンズ（ＤｅｓｉｇｎＰａｔｔｅｒｎｓ）」，アディソン・ウェズリーロングマン，インク．（Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ
Ｌｏｎｇｍａｎ，Ｉｎｃ）．
【図面の簡単な説明】
【図１】時空間三次元領域を説明するための模式図である。
【図２】三次元領域（３ＤＲｅｇｉｏｎ）を説明するための模式図である。
【図３】モーション・パスを説明するための模式図である。
【図４】本モーション・トラッキング／デジタイジング・システムのクラス・ダイヤグラムを示す図である。
【図５】２値画像で構成される三次元領域（３ＤＲｅｇｉｏｎ）を説明するための模式図である。
【図６】形態的なｏｐｅｎｉｎｇを説明するための模式図である。
【図７】クラスタの中心を候補者とするのを説明するための模式図である。
【図８】モーション・パスから領域拡大法へのフィードバックを説明するための模式図である。
【図９】モーション・パスとオプティカルフローとの間の角度を説明するための模式図である。
【図１０】モーション・パスの隣接エリアを示すウィンドウを説明するための模式図である。
【図１１】アコーディオン・ビューアーの一例を示す図である。
【図１２】二次元ウィンドウの一例を示す図である。
【図１３】領域拡大ダイアログ・ボックスの一例を示す図である。
【図１４】オプティカルフローダイアログ・ボックスの一例を示す図である。
【図１５】人間介在ダイアログ・ボックスの一例を示す図である。
【図１６】仮想三次元空間を説明するための模式図である。
【図１７】図１７はアコーディオン・ビューアーが任意の透明度をもって動画像列の各フレームを表示するのを説明している。
【図１８】図１８はアコーディオン・ビューアーにおいて、ユーザの視点を変えることができるのを説明している。
【図１９】アコーディオン・ビューアーの機能を説明するための模式図である。
【図２０】アコーディオン・ビューアーの機能を説明するための模式図である。
【図２１】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２２】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２３】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２４】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２５】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２６】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２７】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２８】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図２９】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３０】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３１】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３２】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３３】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３４】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３５】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３６】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３７】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３８】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図３９】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図４０】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図４１】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図４２】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図４３】本モーション・トラッキング／デジタイジング・システムのビューの実例を示す図である。
【図４４】従来のマトリクスのような二次元インターフェイスを説明するための模式図である。
【図４５】ビデオ画像“おじぎをする”とトラッキング・データを示す図である。
【図４６】ビデオ画像“おじぎをする”とトラッキング・データを示す図である。
【図４７】ビデオ画像“おじぎをする”とトラッキング・データを示す図である。

Claims

動画像中の対象物の動きを抽出するための画像表示装置であって、仮想三次元空間において前記動画像の画像列を任意な透明度で表示するアコーディオン・ビューアー手段を備えることを特徴とする画像表示装置。
前記仮想三次元空間は二次元画像空間と時間軸とから成る時空間三次元空間である請求項１に記載の画像表示装置。
前記アコーディオン・ビューアー手段は前記時空間三次元空間上に前記対象物の動きを操作して表示する請求項２に記載の画像表示装置。
前記対象物の動きは前記時空間三次元空間上にスプライン曲線によって表される請求項３に記載の画像表示装置。
前記スプライン曲線は前記アコーディオン・ビューアー手段によって指定されるいくつかの制御点によって定義される請求項４に記載の画像表示装置。