JP2018055643A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 移動体としてのオブジェクトの位置だけでなく方向も追跡するための技術を提供すること。
【解決手段】 着目フレームの画像群に基づいて生成された複数の３次元形状モデルの位置を、該着目フレームにおける該複数の３次元形状モデルの位置として取得する。複数の３次元形状モデルのそれぞれについて、該３次元形状モデルの一部に対して該一部の形状を近似した近似モデルをフィッティングさせるフィッティング処理を行う。先行フレームにおける位置が着目フレームにおける着目３次元形状モデルの位置に近接している３次元形状モデルの先行フレームにおける決定済みの方向に基づいて、着目３次元形状モデルについて行ったフィッティング処理後の近似モデルの複数の基準方向のうち１つを、着目フレームにおける着目３次元形状モデルの方向として決定する。
【選択図】 図１

Description

本発明は、オブジェクトの追跡技術に関するものである。

移動体としてのオブジェクトを追跡する技術としては、従来から様々な技術が提案されている。特許文献１には、対象物体の移動前後の空間移動量を算出する技術が開示されている。

特許第４９８２４１０号

特許文献１を含めた従来技術では、対象物体の位置を追跡することはできるが、位置と方向の両方を追跡することはできなかった。本発明はこのような問題に鑑みてなされたものであり、移動体としてのオブジェクトの位置だけでなく方向も追跡するための技術を提供する。

本発明の一様態は、着目フレームの画像群に基づいて生成された複数の３次元形状モデルの位置を、該着目フレームにおける該複数の３次元形状モデルの位置として取得する取得手段と、前記複数の３次元形状モデルのそれぞれについて、該３次元形状モデルの一部に対して該一部の形状を近似した近似モデルをフィッティングさせるフィッティング処理を行う処理手段と、前記着目フレームに先行する先行フレームにおける位置が前記着目フレームにおける着目３次元形状モデルの位置に近接している近接３次元形状モデルの前記先行フレームにおける決定済みの方向に基づいて、前記着目３次元形状モデルについて行ったフィッティング処理後の前記近似モデルの複数の基準方向のうち１つを、前記着目フレームにおける前記着目３次元形状モデルの方向として決定する決定手段とを備えることを特徴とする。

本発明の構成によれば、移動体としてのオブジェクトの位置だけでなく方向も追跡することができる。

システムの構成例を示す図。 画像処理装置１０２のハードウェア構成例を示すブロック図。 ステップＳ４０３を説明する図。 画像処理装置１０２が行う処理のフローチャート。 第２の実施形態を説明する図。 ステップＳ４０３の処理のフローチャート。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
以下の各実施形態では、次のような構成を有する画像処理装置の一例について説明する。即ちこの画像処理装置は、着目フレームの画像群に基づいて生成された複数の３次元形状モデルの位置を、該着目フレームにおける該複数の３次元形状モデルの位置として取得する。そして画像処理装置は、複数の３次元形状モデルのそれぞれについて、該３次元形状モデルの一部に対して該一部の形状を近似した近似モデルをフィッティングさせるフィッティング処理を行う。そして画像処理装置は、着目フレームに先行する先行フレームにおける位置が着目フレームにおける着目３次元形状モデルの位置に近接している近接３次元形状モデルの先行フレームにおける決定済みの方向に基づいて、着目３次元形状モデルについて行ったフィッティング処理後の近似モデルの複数の基準方向のうち１つを、着目フレームにおける着目３次元形状モデルの方向として決定する。

先ず、本実施形態に係るシステムの構成例について、図１を用いて説明する。カメラ１０１ａ〜１０１ｊのそれぞれは動画像を撮像するカメラであり、図１に示す如く、フィールド１９９（競技場などのフィールド）の周囲に該フィールド１９９に向けて配置されている。カメラ１０１ａ〜１０１ｊのそれぞれが撮像した各フレームの画像は画像処理装置１０２に対して送出される。図１ではオブジェクトとして一人の人１０５を示しているが、本実施形態では、複数の人がオブジェクトとしてフィールド１９９内に位置しているものとする。

画像処理装置１０２は、カメラ１０１ａ〜１０１ｊのそれぞれから送出された同フレームの画像群ごとに、該画像群からオブジェクトの輪郭を抽出し、該抽出した輪郭を用いて該オブジェクトの３次元形状モデルを生成する。つまり画像処理装置１０２は、フレームごとに、該フレームにおけるオブジェクトの３次元形状モデルを生成する。この３次元形状モデルは、例えば、オブジェクト上の点群によって構成されるものである。なお、画像内に複数のオブジェクトが含まれている場合には、それぞれのオブジェクトについて３次元形状モデルを生成する。複数枚の画像（同フレームの画像群）におけるオブジェクトの輪郭から該オブジェクト上の点群を取得する技術については周知であるため、この技術に関する説明は省略する。なお、オブジェクトの３次元形状モデルを取得するための方法は上記の方法に限らず、如何なる方法を採用しても良い。

表示装置１０３には、画像処理装置１０２が生成した３次元形状モデル等、各種の情報を表示することができる。キーボード１０４ａ及びマウス１０４ｂは画像処理装置１０２に各種の指示や情報を入力するためにユーザが操作するユーザインターフェースの一例である。

なお、図１に示したシステムの構成は一例に過ぎず、例えば、カメラの数やカメラが注視する位置、カメラと画像処理装置１０２との間のネットワーク構成などは図１に示したものに限らない。次に、画像処理装置１０２のハードウェア構成例について、図２のブロック図を用いて説明する。

ＣＰＵ２０１は、ＲＡＭ２０２やＲＯＭ２０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２０１は、画像処理装置１０２全体の動作制御を行うと共に、画像処理装置１０２が行うものとして後述する各処理を実行若しくは制御する。

ＲＡＭ２０２には、二次記憶装置２０４、外部記憶装置２０９、ＲＯＭ２０３等からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。更にＲＡＭ２０２は、ＣＰＵ２０１が各種の処理を実行若しくは制御する際に用いるワークエリアを有する。このようにＲＡＭ２０２は各種のエリアを適宜提供することができる。ＲＯＭ２０３には、書き換え不要の設定データやコンピュータプログラムなどが格納されている。

二次記憶装置２０４は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。二次記憶装置２０４には、ＯＳ（オペレーティングシステム）や、画像処理装置１０２が行うものとして後述する各処理をＣＰＵ２０１に実行させるためのコンピュータプログラムやデータが保存されている。このデータには、以下の説明において既知の情報として説明するものが含まれている。二次記憶装置２０４に保存されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０２にロードされ、ＣＰＵ２０１による処理対象となる。

操作部２１１は、上記のマウス１０４ｂやキーボード１０４ａを含むもので、ユーザが操作することで各種の指示を入力インターフェース２０５を介してＣＰＵ２０１に対して入力することができる。

図２では、上記のカメラ１０１ａ〜１０１ｊを撮像装置２０８として表している。然るに以下の説明において、撮像装置２０８から出力される着目フレームの画像群とは、カメラ１０１ａ〜１０１ｊのそれぞれから出力された着目フレームの画像群を意味する。撮像装置２０８から出力される各フレームの画像群は、ＲＡＭ２０２や二次記憶装置２０４に格納される。

外部記憶装置２０９は、ＣＤ−ＲＷ、ＤＶＤ−ＲＷなどの記憶媒体に対するコンピュータプログラムやデータの読み書きを行う。外部記憶装置２０９が記憶媒体から読み出したコンピュータプログラムやデータは入力インターフェース２０５を介してＲＡＭ２０２や二次記憶装置２０４に出力される。一方、外部記憶装置２０９が記憶媒体に書き込むコンピュータプログラムやデータは、ＲＡＭ２０２や二次記憶装置２０４から出力インターフェース２０６を介して外部記憶装置２０９に送出される。また、二次記憶装置２０４に保存されているものとして説明したコンピュータプログラムやデータの一部若しくは全部を上記の記憶媒体に格納しておき、外部記憶装置２０９によって記憶媒体からＲＡＭ２０２や二次記憶装置２０４に読み出すようにしても良い。

表示装置１０３はＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０１による処理結果を画像や文字などでもって表示する。なお、操作部２１１と表示装置１０３とを一体化させてタッチパネル画面を構成しても良い。ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、二次記憶装置２０４、入力インターフェース２０５、出力インターフェース２０６、は何れもバス２０７に接続されている。

次に、撮像装置２０８からＮ（Ｎは２以上の整数）フレーム目の画像群（各画像には複数のオブジェクトが含まれている）が画像処理装置１０２に入力された場合に、画像処理装置１０２が行う処理について、図４のフローチャートを用いて説明する。

なお、図４のフローチャートに従った処理は、２フレーム目以降の画像群を対象とするものである。そこでＣＰＵ２０１は図４のフローチャートに従った処理を行う前に、１フレーム目の画像群について以下のような処理を行う。

ＣＰＵ２０１は、１フレーム目の画像群に含まれているそれぞれのオブジェクトの３次元形状モデルを生成し、該３次元形状モデルの位置を１フレーム目の該３次元形状モデルの位置として求める。３次元形状モデルは上記の通り点群で構成されているため、例えば、この点群の重心位置を該３次元形状モデルの位置とすることができる（点群の位置は、例えば、カメラ１０１ａ〜１０１ｊの位置とその焦点距離などから取得可能）。なお、３次元形状モデルの位置は、３次元形状モデルを構成する全ての点群の重心位置に限らない。例えば頭部を構成する点群の重心位置を３次元形状モデルの位置としても良い。

更にＣＰＵ２０１は３次元形状モデルごとに、該３次元形状モデルを生成する際に参照した画像領域内のオブジェクトの顔や背番号などを認識し、該認識した顔や背番号に固有の情報を、該３次元形状モデルの識別情報として発行する。

更にＣＰＵ２０１は３次元形状モデルごとに、３次元形状モデルを生成する際に参照した画像領域内の顔の向きを認識し、該認識した顔の向きを１フレーム目における該３次元形状モデルの方向とする。なお、３次元形状モデルを生成する際に参照した画像領域を用いて３次元形状モデルの方向を求めるための方法はこの方法に限らない。

そしてＣＰＵ２０１は、３次元形状モデルごとに、該３次元形状モデルの位置、該３次元形状モデルの方向、該３次元形状モデルの識別情報、を関連づけてＲＡＭ２０２や二次記憶装置２０４などに格納する。以降、情報の格納先となるＲＡＭ２０２や二次記憶装置２０４をまとめてメモリと称する。

更にＣＰＵ２０１は、３次元形状モデルごとに、該３次元形状モデルの位置から１フレームの間に移動可能な範囲を示す移動可能範囲を設定する。ここで、移動可能範囲について説明する。３次元形状モデルＡについて設定する移動可能範囲とは、３次元形状モデルＡの位置を中心とする直方体である。なお、移動可能範囲の形状は直方体に限らず、立方体でも良いし、その形状は問わない。

ステップＳ４０１では、ＣＰＵ２０１は、Ｎフレーム目の画像群に含まれているそれぞれのオブジェクトの３次元形状モデルを生成する。以下では、ステップＳ４０１で生成したそれぞれの３次元形状モデルをＭ（１），Ｍ（２），…，Ｍ（Ｉ）と表記する（ＩはステップＳ４０１で生成した３次元形状モデルの総数）。また、ステップＳ４０１では、ＣＰＵ２０１は、以下の説明で用いる変数ｉを「１」に初期化する。

ステップＳ４０２ではＣＰＵ２０１は、Ｍ（１）〜Ｍ（Ｉ）のうち未選択の１つを選択３次元形状モデルＭ（ｉ）として選択し、Ｍ（ｉ）（点群）の重心位置を、Ｎフレーム目におけるＭ（ｉ）の位置Ｐｉとして求める。更にＣＰＵ２０１は、位置Ｐｉを中心とする直方体を、Ｍ（ｉ）の移動可能範囲として設定する。

ここで、（Ｎ−１）フレーム目の画像群から生成された３次元形状モデルをＱ（１），…，Ｑ（Ｊ）と詳記する（Ｊは（Ｎ−１）フレーム目の画像群から生成された３次元形状モデルの総数）。このときステップＳ４０３では、ＣＰＵ２０１は、Ｑ（１），…，Ｑ（Ｊ）のそれぞれについて設定されている移動可能範囲Ｒ（１），…，Ｒ（Ｊ）のうち、ステップＳ４０２で求めた位置Ｐｉを含む移動可能範囲Ｒ（ｊ）を特定する。つまり、ステップＳ４０３では、移動可能範囲Ｒ（ｊ）内に位置Ｐｉが存在する＝Ｑ（ｊ）とＭ（ｉ）とが近接していると見なし、その結果、Ｑ（ｊ）とＭ（ｉ）とは同じオブジェクトの３次元形状モデルであると見なしている（図３）。

ステップＳ４０４ではＣＰＵ２０１は、Ｍ（ｉ）の腹部に相当する箇所（例えば床面から腹部までの平均的な高さに相当する箇所）の断面（床面に平行な断面）に対し、該断面の形状を近似した近似モデルをフィッティングするフィッティング処理を行う。このフィッティング処理では、Ｍ（ｉ）の腹部に相当する箇所の断面形状に近似モデルの形状が最もフィットするように近似モデルの姿勢を変化させ、該断面形状に近似モデルの形状が最もフィットする際の近似モデルの姿勢を求める。近似モデルは、Ｍ（ｉ）の腹部に相当する箇所の断面形状が楕円で近似できることから、「床面に平行の面内における楕円のモデル」とするが、他の形状のモデルを近似モデルとしても良い。

ここで、フィッティング処理により姿勢が確定した近似モデル（楕円）の短軸に沿う方向には、一方の方向と、それとは逆の方向である他方の方向と、の２つがあり、何れか一方の方向が「Ｍ（ｉ）の正面が向いている方向」を示している。そこでステップＳ４０５でＣＰＵ２０１は、姿勢が決定した近似モデルの短軸方向の２つの方向のそれぞれの方向ベクトルのうち、Ｑ（ｊ）の方向として決定済みの方向を示す方向ベクトルとの内積値がより大きい方の方向ベクトルを特定する。つまりＣＰＵ２０１は、姿勢が決定した近似モデルの短軸方向の２つの方向のそれぞれの方向ベクトルのうち、Ｑ（ｊ）の方向として決定済みの方向により近い方向の方向ベクトルを特定する。そしてＣＰＵ２０１は、この特定した方向ベクトルが示す方向を、Ｎフレーム目におけるＭ（ｉ）の方向Ｄｉとして決定する。

ステップＳ４０６では、ＣＰＵ２０１は、Ｑ（ｊ）の識別情報、ステップＳ４０２で求めたＭ（ｉ）の位置Ｐｉ、ステップＳ４０５で決定したＭ（ｉ）の方向Ｄｉ、を関連づけてメモリに格納する。これにより、Ｎフレーム目におけるＭ（ｉ）の識別情報、位置及び方向をメモリに格納することができる。ステップＳ４０７では、ＣＰＵ２０１は、インデックスｉを１つインクリメントする。

ステップＳ４０８では、ＣＰＵ２０１は、ステップＳ４０１において生成したそれぞれの３次元形状モデルのうち未選択の３次元形状モデルが残っているか否かを判断する。この判断の結果、ステップＳ４０１において生成したそれぞれの３次元形状モデルのうち未選択の３次元形状モデルが残っている場合（ｉ≦Ｉ）には、処理はステップＳ４０２に戻る。一方、ステップＳ４０１において生成したそれぞれの３次元形状モデルのうち未選択の３次元形状モデルが残っていない場合（ｉ＞Ｉ）には、Ｎフレーム目の画像群についての図４のフローチャートに従った処理は終了する。そして、（Ｎ＋１）フレーム目の画像群についてステップＳ４０１以降の処理が行われる。

＜変形例＞
第１の実施形態では、近似モデルとして床面と平行な断面における腹部の断面形状を模したモデルを用いた。しかし、近似モデルとして他のモデルを採用しても良い。例えば、一般的な人の顔の形状を模したモデルを近似モデルとして使用しても良い。その場合、選択３次元形状モデルと近似モデルとのフィッティング処理を行って、最もフィットした場合における近似モデルの姿勢をそのまま選択３次元形状モデルの方向としてもよい。

また、識別情報が同じ３次元形状モデルについては、毎フレーム識別情報を格納する必要はなく、１フレーム目については識別情報、位置、方向のセットを格納し、２フレーム目以降については、該セットに関連づけて位置及び方向を格納するようにしても良い。

［第２の実施形態］
図５に示す如く、（Ｎ−１）フレーム目ではオブジェクトＡとオブジェクトＢとはある程度離間しているものの、Ｎフレーム目ではオブジェクトＡとオブジェクトＢとが近接してしまうようなケースが考えられる。オブジェクトＡの位置及び方向の追跡中に該オブジェクトＡにオブジェクトＢが近接すると、オブジェクトＢをオブジェクトＡと取り違えてしまい、オブジェクトＢをオブジェクトＡと間違えて追跡してしまう可能性がある。本実施形態に係る画像処理装置はこの点に対処したものである。以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。

本実施形態では、ステップＳ４０３において図６のフローチャートに従った処理を行う。ステップＳ６０１ではＣＰＵ２０１は、２以上のオブジェクトが近接しているか否かを判断する。この判断の結果、２以上のオブジェクトが近接している場合には、処理はステップＳ６０２に進み、２以上のオブジェクトが近接しているケースが発生していない場合には、処理はステップＳ６０３に進む。ステップＳ６０１における判断の処理には、様々な処理が適用できる。

例えば、それぞれの３次元形状モデルについて設定されている移動可能範囲の体積を求める。２つ以上の移動可能範囲が重複する部分を有するような場合、つまり該２つ以上の移動可能範囲が一体化して１つの一体化範囲を形成している場合には、この一体化範囲の体積を求める。そしてＣＰＵ２０１は、求めた体積のうち１つの移動可能範囲の体積の規定倍数（１以上の数）の体積よりも大きい体積を有するものがあったか否か、すなわち、規定体積以上の体積を有する一体化範囲があったか否かを判断する。この判断の結果、規定体積以上の体積を有する一体化範囲が存在した場合には、２以上のオブジェクトが近接していると判断する。規定体積以上の体積を有する一体化範囲が存在しなかった場合、オブジェクト同士で近接しているケースは発生していないと判断する。

また、それぞれの３次元形状モデルの位置を用いて、３次元形状モデル間の距離を求め、求めた距離が閾値以下となる３次元形状モデルが存在するか否かを判断する。この判断の結果、求めた距離が閾値以下となる３次元形状モデルが存在した場合には、２以上のオブジェクトが近接していると判断する。求めた距離が閾値以下となる３次元形状モデルが存在しなかった場合、オブジェクト同士で近接しているケースは発生していないと判断する。

ステップＳ６０２では、ＣＰＵ２０１は、（Ｎ−１）フレーム目における一体化範囲を３次元形状モデル別にクラスタリングする。例えば、３次元形状モデルＡの移動可能範囲とオブジェクトＢの移動可能範囲とで一体化範囲を形成している場合、一体化範囲を、３次元形状モデルＡの位置を含む範囲と、３次元形状モデルＢを含む範囲と、にクラスタリングする。なお、ステップＳ６０２では、一体化範囲を形成しているそれぞれの移動可能範囲を縮小させて互いに重複する範囲が存在しないようにする方法も考えられる。また、上記ではＮフレーム目の被写体に対し、距離の近い（Ｎ−１）フレーム目の被写体が紐づけられる例について説明したが、（Ｎ−１）フレーム目で被写体が近接し、Ｎフレーム目で交差する場合などは、別な紐付けが好ましい。例えば、（Ｎ−１）フレーム目の被写体の向き情報や、画像に射影した際の情報（顔や背番号など、特定に用いられる固有の情報）を更に用いることで紐付けを行ってもよい。

ステップＳ６０３でＣＰＵ２０１は、（Ｎ−１）フレーム目における各３次元形状モデルについて設定されている移動可能範囲若しくはステップＳ６０２でクラスタリング済みのそれぞれの範囲のうち、ステップＳ４０２で求めた位置Ｐｉを含む移動可能範囲を特定する。そして処理はステップＳ４０４に戻る。

［第３の実施形態］
第１，２の実施形態に係るシステムは、フィールド１９９においてサッカーやラグビーなどのスポーツの試合が行われている様子を撮像装置２０８により撮像して、オブジェクトとしての選手の位置及び方向を追跡してメモリに格納する目的にも使用できる。そのような場合、画像処理装置１０２は上記の動作に加え、画像からボールの３次元形状モデルを生成し、該３次元形状モデルの位置をフレームごとにメモリに格納するようにしても良い。これにより、選手の位置及び方向を追跡するだけでなく、ボールの３次元的な移動軌跡をも追跡することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１：ＣＰＵ ２０８：撮像装置

Claims (9)

1. 着目フレームの画像群に基づいて生成された複数の３次元形状モデルの位置を、該着目フレームにおける該複数の３次元形状モデルの位置として取得する取得手段と、
   前記複数の３次元形状モデルのそれぞれについて、該３次元形状モデルの一部に対して該一部の形状を近似した近似モデルをフィッティングさせるフィッティング処理を行う処理手段と、
   前記着目フレームに先行する先行フレームにおける位置が前記着目フレームにおける着目３次元形状モデルの位置に近接している近接３次元形状モデルの前記先行フレームにおける決定済みの方向に基づいて、前記着目３次元形状モデルについて行ったフィッティング処理後の前記近似モデルの複数の基準方向のうち１つを、前記着目フレームにおける前記着目３次元形状モデルの方向として決定する決定手段と
   を備えることを特徴とする画像処理装置。
2. 前記着目フレームの画像群及び前記先行フレームの画像群は、動画像を撮像する複数の撮像装置により得られることを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記先行フレームの画像群から生成されたそれぞれの３次元形状モデルの位置を中心とする範囲のうち、前記着目フレームにおける前記着目３次元形状モデルの位置を含む範囲を特定し、該特定した範囲は前記近接３次元形状モデルの位置を中心とする範囲であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、前記先行フレームの画像群から生成されたそれぞれの３次元形状モデルの位置を中心とする範囲のうち２つ以上が一体化した一体化範囲をクラスタリングしたそれぞれの範囲のうち、前記着目フレームにおける前記着目３次元形状モデルの位置を含む範囲を特定することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記決定手段は、前記先行フレームの画像群から生成されたそれぞれの３次元形状モデルの位置を中心とする範囲のうち２つ以上が一体化した一体化範囲を構成するそれぞれの範囲を縮小してから、前記着目フレームにおける前記着目３次元形状モデルの位置を含む範囲を特定することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記決定手段は、前記複数の基準方向のうち、前記近接３次元形状モデルの前記先行フレームにおける決定済みの方向により近い方向を、前記着目フレームにおける前記着目３次元形状モデルの方向として決定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 更に、
   前記取得手段が取得した位置と前記決定手段が決定した方向とを関連づけてメモリに格納する手段を備えることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 複数の撮像装置と、画像処理装置と、を有するシステムであって、
   前記画像処理装置は、
   前記複数の撮像装置によって撮像された着目フレームの画像群に基づいて生成された複数の３次元形状モデルの位置を、該着目フレームにおける該複数の３次元形状モデルの位置として取得する取得手段と、
   前記複数の３次元形状モデルのそれぞれについて、該３次元形状モデルの一部に対して該一部の形状を近似した近似モデルをフィッティングさせるフィッティング処理を行う処理手段と、
   前記着目フレームに先行する先行フレームにおける位置が前記着目フレームにおける着目３次元形状モデルの位置に近接している近接３次元形状モデルの前記先行フレームにおける決定済みの方向に基づいて、前記着目３次元形状モデルについて行ったフィッティング処理後の前記近似モデルの複数の基準方向のうち１つを、前記着目フレームにおける前記着目３次元形状モデルの方向として決定する決定手段と
   を備えることを特徴とするシステム。
9. コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。