JP2020201863A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】オブジェクトに関する解析の利便性を向上させること。【解決手段】情報処理装置２００は、接触対象の前景オブジェクトの三次元モデルと、被接触対象の背景オブジェクトの三次元モデルとを含む三次元モデル１８０を取得するモデル取得部２１０と、前景オブジェクトの三次元モデルを部位ごとに識別するモデル部位識別部２３０と、前景オブジェクトの三次元モデルが背景オブジェクトの三次元モデルに接触する接触箇所を部位ごとに導出する接触箇所導出部２２０と、導出された接触箇所の解析をする接触箇所処理部２５０と、を有する。【選択図】図１

Description

本発明は、オブジェクトの三次元モデルを解析する技術に関するものである。

複数のカメラを異なる位置に設置して同期撮像し、当該撮像により複数の視点で得られた複数の撮像画像を用いて仮想視点画像を生成する技術が注目されている。このような技術によれば、例えば、サッカーまたはバスケットボール等のハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることが出来る。

特許文献１には、複数のカメラを用いて取得した複数の撮像画像に基づいてオブジェクトの三次元モデルを生成し、当該三次元モデルを用いて仮想視点画像を生成する技術が記載されている。

特開２０１７−２１２５９２号公報

サッカーの試合における選手の動きの解析など、所定のオブジェクトに関する解析を行うために、従来技術により生成されるオブジェクトの三次元モデルを用いることが考えられる。しかしながら、オブジェクトに関する解析の利便性をさらに向上させることが求められる。例えば、オブジェクトの三次元モデルを利用すれば、オブジェクトと地面との接触を判定できる。しかしながら、オブジェクトのどの部位が接触したかがわからなければ、選手の歩幅や足の向きなどを解析することはできない。

本発明は上記課題に鑑み、オブジェクトに関する解析の利便性を向上させることを目的とする。

本発明の一態様に係る情報処理装置は、接触対象の第１のオブジェクトの三次元モデルと、被接触対象の第２のオブジェクトの三次元モデルとを含む三次元モデルを取得する取得手段と、前記第１のオブジェクトの前記三次元モデルを部位ごとに識別する識別手段と、前記第１のオブジェクトの三次元モデルが前記第２のオブジェクトの三次元モデルに接触する接触箇所を部位ごとに導出する導出手段と、前記導出手段によって導出された接触箇所の解析をする解析手段と、を有することを特徴とする。

本発明によれば、オブジェクトに関する解析の利便性を向上させることができる。

システムの全体構成を示す図。 情報処理装置のハードウェア構成図。 情報処理装置の処理の流れを示すフローチャート。 オブジェクトの三次元モデルを説明する図。 接触箇所の三次元座標の集合を示す図。 識別結果を説明する図。 仮想視点画像に解析結果が重畳して表示されている例を示す図。 システムの全体構成を示す図。 情報処理装置の処理の流れを示すフローチャート。 接触箇所の方向を説明する図。 解析結果を示す画像の一例。 解析結果の例を示す図。 解析結果の画像を示す図。 システムの全体構成を示す図。 情報処理装置の処理の流れを示すフローチャート。 モデル部位識別用ＵＩの一例を示す図。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜＜実施形態１＞＞
本実施形態では、サッカースタジアムに複数のカメラを設置し、それら複数のカメラによって撮像された複数の画像データを用いて生成される三次元モデルを解析するシステムを例に挙げて説明する。また、解析結果を仮想視点画像に重畳表示する例を説明する。

＜システムの全体構成＞
図１は、本実施形態で用いられるシステムの全体構成を示す図である。システムは、複数のカメラ１１０、コントローラ１２０、サーバ１３０、画像生成装置１４０、記憶装置１６０、情報処理装置２００、および表示装置３００を有する。情報処理装置２００は、モデル取得部２１０、接触箇所導出部２２０、モデル部位識別部２３０、および接触箇所処理部２４０を有する。情報処理装置２００は、オブジェクトの部位の動きを解析する解析装置として機能する。なお、図１に示した構成は一例に過ぎず、図１に示した複数の装置の機能を集約した装置を有してもよい。また、例えば情報処理装置２００の機能が複数の装置によって分散処理されてもよい。また、情報処理装置２００と画像生成装置１４０とが同一の装置によって実現されてもよい。

複数のカメラ１１０は、サッカーフィールド上のオブジェクトを複数の方向から撮像するように設置されている。複数のカメラ１１０は、撮像によって得られたそれぞれの撮像データを、ネットワークを介してサーバ１３０へ送信する。なお、複数のカメラ１１０は同一符号を用いて説明するが、性能および機種が異なっていてもよい。本実施形態では、カメラ１１０は、計２６台のカメラで構成されるが台数はこれに限らない。

サーバ１３０は、複数のカメラ１１０から送信される撮像データを用いて、前景オブジェクト（例えばサッカープレーヤーおよびボール）を抽出する。また、サーバ１３０は、ステレオ計測の原理から前景オブジェクトの三次元モデル１８０を生成し、ネットワークを介して記憶装置１６０に記憶する。また、サーバ１３０はあらかじめレーザースキャナの計測により得られる背景オブジェクト（サッカースタジアム、サッカーフィールド、およびサッカーゴール）の三次元モデル１８０を記憶装置１６０に記憶する。

コントローラ１２０は、ネットワークを介して接続されている画像生成装置１４０にユーザの指示を送信するユーザインタフェース（ＵＩ）である。コントローラ１２０は、ユーザの操作に基づき仮想視点の位置、姿勢、および焦点距離の情報を生成し、画像生成装置１４０に送信する。

画像生成装置１４０は、コントローラ１２０、記憶装置１６０、および情報処理装置２００とネットワークを介して接続する。画像生成装置１４０は、記憶装置１６０に記憶されているオブジェクトの三次元モデル１８０およびコントローラ１２０からの情報に基づき、仮想視点画像を生成する。また、画像生成装置１４０は、情報処理装置２００から送信された解析結果を重畳した画像を生成する。画像生成装置１４０は、表示装置３００とネットワークまたはＳＤＩ（Serial Digital Interface）などの映像伝送経路を介して接続し、解析結果を仮想視点画像に重畳した画像を表示装置３００に表示する。

記憶装置１６０に記憶される三次元モデル学習データ１７０は、予めオブジェクト（本例では人間）の三次元モデルを、その部位とともに学習して作成されたデータである。三次元モデル学習データ１７０は、予め記憶装置１６０に記憶されているものとする。

＜情報処理装置の構成＞
情報処理装置２００のモデル取得部２１０は、記憶装置１６０とネットワークを介して接続し、オブジェクトの三次元モデル１８０を取得する。接触箇所導出部２２０は、前景オブジェクトの三次元モデルと背景オブジェクトの三次元モデルとの間の接触箇所を導出する。モデル部位識別部２３０は、三次元モデル学習データ１７０を取得し、前景オブジェクトの三次元モデル１８０の部位を識別する。接触箇所処理部２４０は、モデル部位識別部２３０で識別された部位の接触箇所を解析する解析部である。接触箇所処理部２４０は、ネットワークを介して接続されている画像生成装置１４０へ解析結果を送信する。

図２は、情報処理装置２００のハードウェア構成図である。情報処理装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶部２０４、及び通信部２０５を有する。

ＣＰＵ２０１は、情報処理装置２００の全体を制御する中央演算ユニットであり、情報処理装置２００の処理シーケンスを統括的に制御する。ＲＯＭ２０２及び記憶部２０４は、後述する処理フローを実現するためのプログラムおよびデータを格納する。ＲＡＭ２０３は、データの一時保存およびプログラムのロードに使用される。通信部２０５は、ネットワーク２０６を介した外部装置との間でデータ送受信を行う。通信部２０５は、接触箇所処理部２４０で解析した結果を画像生成装置１４０へ送信する。情報処理装置２００の各構成要素は、バス２０７を介して相互に接続される。なお、情報処理装置２００がＣＰＵ２０１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Graphics Processing Unit）を有してもよい。そして、ＣＰＵ２０１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（field programmable gate array）、またはＤＳＰ（デジタルシグナルプロセッサ）等がある。

＜フローチャート＞
図３は、本実施形態における情報処理装置２００の処理の流れを示すフローチャートである。図３は、情報処理装置２００が、接触箇所の解析対象となる所定の期間の三次元モデルを取得して解析を行い、当該期間の仮想視点画像が表示装置３００に表示される一連の処理を示している。図３のフローチャートで示される一連の処理は、ＣＰＵ２０１がＲＯＭ２０２に記憶されているプログラムコードをＲＡＭ２０３に展開し実行することにより行われる。あるいはまた、図３におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。

Ｓ３０１においてモデル取得部２１０は、記憶装置１６０から所定の期間におけるオブジェクトの三次元モデル１８０を取得する。三次元モデルは、メッシュポリゴンまたは点群データとして表現され、オブジェクト（人または物）ごとに三次元モデルを記述するフォーマット、例えばＷａｖｅｆｒｏｎｔ ＯＢＪフォーマットで記述されたファイルを読み出すことで取得される。このように、三次元モデルは、所定のフォーマットで記述されたデータである。

また、モデル取得部２１０は、背景オブジェクトの三次元モデルと前景オブジェクトの三次元モデルとを、区別して取得する。即ち、モデル取得部２１０は、接触対象のオブジェクト（ここでは前景オブジェクト）の三次元モデルと、被接触対象のオブジェクト（ここでは背景オブジェクト）の三次元モデルとを、区別して取得する。

図４は、オブジェクトの三次元モデルを説明する図である。図４（ａ）は、所定の期間における、ある時点のオブジェクトの三次元モデルを示す図である。図４（ｂ）は、当該時点のカメラ１１０の撮像画像を示す図である。図４（ｂ）では、カメラ１１０ａ〜１１０ｚのうち、代表的にカメラ１１０ａの撮像画像とカメラ１１０ｋの撮像画像とを示している。図４（ａ）は、サッカーフィールド０１のメッシュポリゴン、ならびに、選手０２〜０５およびボール０６を点群で表現した三次元モデルを含む。図４（ａ）は、それぞれオブジェクト（人または物）ごとにファイル単位で分割された三次元モデルを読み込むことで世界座標系の各位置に三次元モデルが現れる。なお、ここでは説明のために図示しているものであり、情報処理装置２００が接続する不図示の表示部などに図４（ａ）に示す画面が表示されているものではない（もちろん、表示されてもよい）。図４（ｂ）において像２２〜２６は、それぞれ図４（ａ）の選手０２〜０５およびボール０６に対応している。

Ｓ３０２においてモデル部位識別部２３０は、記憶装置１６０から三次元モデル学習データ１７０を取得する。三次元モデル学習データ１７０は、人体の距離画像と距離画像中の部位（頭、肩、右肘、左肘、右手、左手、腰、右膝、左膝、右足、左足）の位置および方向とを用いて予め学習されているデータである。この学習データは、例えばＭｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）で用いられている公知の方法で作成されている。すなわち、様々な姿勢の人体の距離画像を入力として、距離画像中の画素と部位とを決定木を用いて教師あり学習することで作成されたデータである。なお、学習の方法についてはこれに限らず、ニューラルネットワークまたはサポートベクターマシンなどの回帰学習を用いてもよい。人体のほかにサッカーボールまたはラグビーボールを追加で学習させてもよい。また、本実施形態では距離画像を用いて学習したデータを用いるが、ＲＧＢカラー画像を用いて人体の部位を学習したデータを用いてもよい。なお、図３のフローチャートでは、Ｓ３０２で三次元モデル学習データ１７０を取得する例を示しているが、後述するＳ３０６のモデル部位を識別する処理の前に三次元モデル学習データ１７０が取得されていればよい。

Ｓ３０３において接触箇所導出部２２０は、背景オブジェクトの三次元モデルと前景オブジェクトの三次元モデルとの間の接触計算を行い、接触が発生した箇所（以下、接触箇所という）を導出する。接触計算は、物理演算およびＣＧシミュレーションの分野で広く用いられているＢｌｅｎｄｅｒを用いることができる。なお、接触計算は、これに限らず、任意の手法を用いてよい。接触箇所は、世界座標系の三次元座標の集合で表現される。また、接触箇所導出部２２０は、接触箇所の三次元座標の集合をクラスタリングして、その集合の重心座標を求める。

図５は、接触箇所の三次元座標の集合を示す図である。クラスタリングにより、集合は、４つのクラスタ１１〜１４に区分される。各クラスタは、それぞれ重心座標が（ｘ，ｙ，ｚ）＝（−３９．０，９．２，０）、（−３７．８，１２．７，０）、（−３８．４，１６．９，０）、（−３７．１，１９．４，０）として導出されている。接触箇所導出部２２０は、所定の期間の三次元モデルの接触計算を時刻ごとに行い、各時刻の接触箇所をそれぞれ導出する。

Ｓ３０１で取得される三次元モデルは、オブジェクトごとのデータであるので、接触箇所導出部２２０は、各クラスタがどのオブジェクト（人物またはボール）に属するクラスタであるかも導出可能である。接触箇所導出部２２０によって導出された接触箇所の集合の重心座標は、オブジェクトを識別する情報と関連付けて時刻ごとのデータとしてＲＡＭ２０３に記憶される。

Ｓ３０４において接触箇所導出部２２０は、接触計算の結果、接触箇所があるかを判定する。例えば、ＲＡＭ２０３を参照して、接触箇所を表す三次元座標の数が０であるか、または０より大きいかを判定する。接触箇所がある場合、Ｓ３０６へ進む。接触箇所がない場合、Ｓ３０５に進む。

Ｓ３０５において情報処理装置２００は、画像生成装置１４０に仮想視点画像を生成させる。例えば情報処理装置２００は、重畳すべきものがないことを示す指示を画像生成装置１４０に送信する。画像生成装置１４０は、コントローラ１２０から指定された仮想視点を示すパラメータ等に従って、所定の期間における仮想視点画像を生成し、表示装置３００に表示させる。仮想視点画像は、仮想視点から見た画像をコンピュータグラフィックスの技術を用いることで生成することができる。この生成処理には公知の技術を適宜適用すればよい。そして、処理を終了する。

Ｓ３０６においてモデル部位識別部２３０は、各三次元モデルの部位を、Ｓ３０２で取得した学習データを用いて識別する。識別の結果、各三次元モデルに属する点データが、いずれかの部位に関連付けられる。なお、Ｓ３０６の処理は、接触箇所以外の部位も識別する処理であるが、接触箇所の部位だけを識別する処理としてもよい。これにより、Ｓ３０４で導出した接触箇所のクラスタが、いずれの部位であるかが識別される。

図６は、Ｓ３０６の識別結果を説明する図である。図６（ａ）は、部位識別の結果を示している。図６（ｂ）は、部位ごとの接触箇所を時系列でテーブル情報として記憶した結果を示している。この例では、オブジェクト（選手）０２〜０５の左足は、それぞれ０２−０１，０３−０１，０４−０１，０５−０１と識別ＩＤを付けて識別される。オブジェクト０２〜０５の右足は、それぞれ０２−０２，０３−０２，０４−０２，０５−０２と識別ＩＤを付けて識別される。また、図６（ｂ）に示すように、各部位の接触箇所の重心座標が、接触時刻と紐づけてＲＡＭ２０３に記憶される。なお、図示しないがオブジェクト０２の頭、肩、右肘、左肘、右手、左手、腰、右膝、左膝は、それぞれ０２−０３，０２−０４，０２−０５，０２−０６，０２−０７，０２−０８，０２−０９，０２−１０，０２−１１として識別ＩＤを付けて識別される。これらの接触箇所があれば、図６（ｂ）のように、各部位の接触箇所の重心座標が、接触時刻と紐づけてテーブル情報としてＲＡＭ２０３に記憶される。

Ｓ３０７において接触箇所処理部２４０は、ＲＡＭ２０３に記憶されている接触箇所の解析を行い、解析結果を画像生成装置１４０へ送信する。本実施形態の接触箇所処理部２４０は、オブジェクトの歩幅を導出する。前述したように、モデル部位識別部２３０によって、特定のオブジェクト（例えばオブジェクト０３）の左足および右足が識別されている。歩幅は、一方の足の接触終了位置から、他方の足の接触開始位置までの距離として求めることができる。そこで、接触箇所処理部２４０は、ＲＡＭ２０３に記憶されているテーブル情報を参照して、第１注目部位０３−０２（オブジェクト０３の右足）の接触終了から第２注目部位０３−０１（オブジェクト０３の左足）の接触開始に至るまでの接触位置を特定する。そして、これらの接触位置間の距離を計算することで、第１注目部位０３−０２の接触終了位置（−３６．２，１２．３，０）から第２注目部位０３−０１の接触開始位置（−３７．８，１２．７，０）までの距離が導出される。本例では、オブジェクト０３の歩幅が１．６５ｍとして導出される。接触箇所処理部２４０は、このように求めた接触終了位置、接触開始位置、および歩幅の値を画像生成装置１４０へ送信する。上記の説明では、オブジェクト０３を例に挙げて説明したが、各オブジェクトの接触箇所の解析処理が同様に行われてよい。なお、接触箇所処理部２４０によってどのような解析を行うのか（本例では、歩幅の解析）は、予め情報処理装置１００にユーザからの指示が入力され、その指示に基づいて設定がされているものとする。

Ｓ３０８において情報処理装置２００は、解析結果を重畳した仮想視点画像を生成する指示を画像生成装置１４０に送信する。画像生成装置１４０は、この指示に従い、Ｓ３０５で説明した処理と同様に仮想視点画像を生成し、さらに、解析結果を仮想視点画像に重畳させた画像を表示装置３００に表示させる。

図７は、表示装置３００において仮想視点画像に解析結果が重畳して表示されている例を示す図である。画像生成装置１４０は、接触箇所処理部２４０から送信された接触終了位置、接触開始位置、および歩幅の値を、所定の大きさの円と矢印のオブジェクトとを用いて仮想視点画像に重畳した画像を生成し、表示装置３００に表示する。図７においては、オブジェクト０３の地面との接触位置および歩幅が、その足元に表示される。なお、図７においては、簡略的にオブジェクト０３の歩幅のみが表示されているに過ぎず、画像生成装置１４０は、接触箇所処理部２４０から送信された各オブジェクトの接触終了位置、接触開始位置、および歩幅の値を、同様に表示することができる。

以上述べたように、本実施形態では、前景のオブジェクトの三次元モデルと、背景のオブジェクトの三次元モデルとの間の接触箇所を部位ごとに識別することで、オブジェクトの部位ごとの動きを容易に解析することができる。例えば、選手ごとに歩幅を導出し、仮想視点画像に重畳することができる。これにより特定のサッカー選手がプレー中にどれくらいの歩幅で移動しているかを容易に解析することができる。また、複数の選手のプレー中の動きを容易に解析することもできる。また、オブジェクトの部位ごとに識別がされているので、例えば地面に手をついたり、転倒してしまっていたりして生じた接触箇所が、誤って歩幅の導出に用いられてしまうことを抑制することができる。

なお、本実施形態では背景オブジェクトのメッシュポリゴンと前景オブジェクトの点群との接触を計算したが、メッシュポリゴン同士、点群同士、または点群とメッシュポリゴンの組み合わせでもよい。また、接触箇所は、三次元座標の集合でなく、メッシュＩＤとテクスチャ座標とによって表現されてもよい。また、歩幅は、右足の接触箇所と左足の接触箇所との間の距離であるとして説明したが、右足同士の接触箇所、または、左足同士の接触箇所の距離として導出してもよいし、そのほかの部位の組み合わせでもよい。

また、Ｓ３０７では肩または腰が地面と接触している場合に異常とみなして異常事態であることを記憶するとともに画像生成装置１４０にその情報を出力してもよい。そして、画像生成装置１４０は、仮想視点画像に所定の通知、例えば、異常事態であることを示す情報を重畳してもよい。

また、画像生成装置１４０は、解析結果を仮想視点画像に重畳する例を説明したが、このとき全ての解析結果を重畳せず、一部の解析結果のみを重畳させてもよい。例えば、コントローラ１２０から解析対象とすべきオブジェクトの指定があった場合には、画像生成装置１４０は、指定されたオブジェクトの解析結果のみを仮想視点画像に重畳して表示してもよい。

また、Ｓ３０７における解析処理および結果の送信は、解析対象の所定の期間の結果をまとめて画像生成装置１４０に送信し、画像生成装置１４０において、該当する時刻の画像に重畳表示する例を説明したが、これに限られない。例えば、Ｓ３０７における解析処理および結果の送信は、所定の期間における時刻ごとに都度、処理が行われてもよい。例えば、第１時刻における解析の結果、所定のオブジェクトに接触があった場合には、その解析処理の結果が画像生成装置１４０に送信されて、第１時刻の画像の所定のオブジェクト上に重畳表示が行われる。その後、第２時刻における解析の結果、接触がない場合には、重畳表示される解析結果は更新されず、そのまま第２時刻の画像に第１時刻の解析結果が重畳表示される。その後、第３時刻における解析の結果、所定のオブジェクトに再度の接触があった場合には、その解析処理の結果が画像生成装置１４０に送信されて、第３時刻の画像の所定のオブジェクト上に、第３時刻における解析結果の重畳表示が行われる。即ち、第１時刻の解析結果は、第２時刻には更新されず、第３時刻の解析結果で更新される。このように、解析結果を逐次追加表示してもよい。

＜＜実施形態２＞＞
実施形態１では、解析によってオブジェクトの歩幅を求める例を中心に説明した。本実施形態では、解析によって接触箇所の部位の向き（例えば足の向き）を求める例について説明する。また、本実施形態では、仮想視点画像に解析結果を重畳表示せず、情報処理装置２００が、解析結果を表示装置３００に表示する例を説明する。また、本実施形態では、情報処理装置２００のモデル取得部２１０が取得する三次元モデルが、実施形態１と異なり、オブジェクトごとのモデルデータでない場合の処理も併せて説明する。

このように、本実施形態は、実施形態１と異なる構成および処理などを含んだものであるが、主な相違点は、解析の目的が相違する点である。他の点は、実施形態１と同様としてもよい。即ち、仮想視点画像に足の向きを重畳表示させてもよいし、モデル取得部２１０が取得する三次元モデルが実施形態１と同様に、オブジェクトごとのモデルデータであってもよい。実施形態１と同様の構成、処理フローについては説明を省略する。

＜システムの全体構成＞
図８は、本実施形態のシステムの全体構成を示す図である。図８に示すシステムでは、図１に示したコントローラ１２０および画像生成装置１４０を有していない。接触箇所処理部２４０は、表示装置３００とネットワークまたはＳＤＩなどの映像伝送経路を介して接続し、接触箇所の向きの解析結果を画像として表示装置３００に表示させる。

本実施形態の記憶装置１６０に記憶されているオブジェクトの三次元モデル１８０は、実施形態１と異なり、前景オブジェクトに関してオブジェクトごとに区別されていないデータである。モデル取得部２１０は、ファイル読み出しによりオブジェクトの三次元モデル１８０を取得する。モデル取得部２１０は、被接触対象の背景オブジェクトの三次元モデルと接触対象の前景オブジェクトの三次元モデルとを、区別して取得する。

本実施形態のモデル部位識別部２３０は、実施形態１と異なり、接触箇所の導出前にモデル部位の識別処理を行う構成となっているが、実施形態１と同様に、接触箇所の導出後にモデル部位の識別処理を行ってもよい。

モデル部位識別部２３０は、前景オブジェクトの三次元モデルをオブジェクトごとに区別（分割）しながら、三次元モデル学習データ１７０に基づいて各オブジェクトの部位を識別する。接触箇所導出部２２０は、モデル部位識別部２３０によって識別されたオブジェクトの三次元モデル１８０の接触箇所を、モデル部位識別部２３０によって識別された部位ごとに導出する。接触箇所処理部２４０は、接触箇所の各部位を解析して、各部位の方向を三次元ベクトルとしてＲＡＭ２０３に記憶する。

＜フローチャート＞
図９は、本実施形態における情報処理装置２００の処理の流れを示すフローチャートである。図９は、情報処理装置２００が、接触箇所の解析対象となる所定の期間の三次元モデルを取得して解析を行い、当該期間の解析結果が表示装置３００に表示される一連の処理を示している。

Ｓ９０１においてモデル取得部２１０は、所定の期間におけるオブジェクトの三次元モデル１８０を記憶装置１６０から取得する。本実施形態の三次元モデル１８０は、前景オブジェクトに関してオブジェクトごとに区別されていないデータである。

Ｓ９０２においてモデル部位識別部２３０は、記憶装置１６０から三次元モデル学習データ１７０を取得する。実施形態１でも説明したように、三次元モデル学習データ１７０は、人体の距離画像と距離画像中の部位（頭、肩、右肘、左肘、右手、左手、腰、右膝、左膝、右足、左足）の位置および方向とを用いて予め学習されているデータである。即ち、三次元モデル学習データ１７０の各部位は、方向のデータを有するものである。例えば、足の部位の場合、かかとからつま先の方向を正の方向とするデータを有する。

Ｓ９０３においてモデル部位識別部２３０は、モデル部位を識別する処理を行う。Ｓ９０３でモデル部位識別部２３０は、まずＳ９０１で取得された前景オブジェクトの三次元モデルをクラスタリングすることにより、データをオブジェクトごとに区別する。そしてモデル部位識別部２３０は、三次元モデル学習データ１７０を用いて各オブジェクトの部位を識別する。識別の結果、オブジェクトに属する点データは、いずれかの部位に関連付けられる。また、三次元モデル学習データ１７０中の各部位は方向のデータを有するので、モデル部位識別部２３０は、方向を示す三次元ベクトルを識別結果に関連付ける。

なお、本実施形態でモデル取得部２１０が取得するオブジェクトの三次元モデル１８０は、オブジェクトごとに区別されていないデータである。このため、時間方向の動きを特定するため、モデル部位識別部２３０は、オブジェクト（全体）の重心を導出し、直前の時刻のオブジェクト重心位置との距離が最小になるように時間方向にオブジェクトを関連付けることでトラッキングする。これにより、時間方向の動きも特定することができ、実施形態１で説明したようなオブジェクトごとに区別されているデータを取得した状態と同等の状態となる。なお、オブジェクト（全体）の重心を導出する代わりに、部位ごとの重心を導出して、トラッキングしてもよい。

Ｓ９０４において接触箇所導出部２２０は、区別され時間方向にトラッキングされたオブジェクトごとに、背景オブジェクトの三次元モデルと前景オブジェクトの三次元モデルと間の接触計算を行い、接触箇所を導出する。接触箇所導出部２２０は、導出した接触箇所に、オブジェクトと、オブジェクトの部位と、部位の方向と、を関連付けて時刻ごとのデータとしてＲＡＭ２０３に記憶する。

なお、本実施形態では、モデル部位を識別した後に、接触箇所の導出を行う例を示しているが、実施形態１で説明したように、接触箇所の導出を行った後に、モデル部位を識別してもよい。接触箇所の導出およびモデル部位の識別が行われれば処理順はいずれでもよい（実施形態１についても同様である）。

Ｓ９０５において接触箇所導出部２２０は、接触計算の結果、接触箇所があるかを判定する。例えば、ＲＡＭ２０３を参照して、接触箇所に対応する部位の方向を示す数が０であるか、または０より大きいかを判定する。接触箇所がある場合、Ｓ９０６に進む。接触箇所がない場合、処理を終了する。

Ｓ９０６において接触箇所処理部２４０は、接触箇所を解析する。接触箇所処理部２４０は、接触箇所の接触面内における方向を導出する。図１０は、接触箇所の方向を説明する図である。図１０（ａ）は、識別した部位の方向（例えば足の向き）を示す図であり、部位０２−０１、０３−０１の方向が、それぞれ三次元ベクトル０２−０１ｖ、０３−０１ｖで示されている。同様に、部位０２−０２、０３−０２の方向が、それぞれ三次元ベクトル０２−０２ｖ、０３−０２ｖで示されている。本例の三次元ベクトルは、単位ベクトルであり、方向のみの情報を現わしているものとする。即ち、図中の矢印は、単に方向を現わすものであり、大きさの情報を有していない。接触箇所処理部２４０は、図示しない他の接触箇所の部位についても方向を取得する。

図１０（ｂ）は、接触面内における接触箇所と各部位の方向とを示す図である。図１０（ｂ）の接触面内には、クラスタ１１およびクラスタ１２が含まれている。クラスタ１１は、部位０２−０１の接触部位に相当し、クラスタ１２は、部位０３−０１の接触部位に相当する。接触箇所０２−０１，０３−０１の接触面内における方向は、三次元ベクトル０２−０１ｖ、０３−０１ｖを接触面に射影することで、それぞれ（ｘ、ｙ、ｚ）＝（−０．２５，０．６８，０）、（−０．６，０．２，０）として導出される。この座標は、全オブジェクトで共通の世界座標であり、各クラスタの重心位置からの三次元ベクトル０２−０１ｖ、０３−０１ｖ（単位ベクトル）を接触面に射影することで導出される。本実施形態では、接触面は地面であるので、ｚ軸は、「０」の値となる。なお、接触箇所の座標は、実施形態１で説明したように、接触箇所導出部２２０によって導出されているものとする。

図１０（ｃ）は、接触箇所の方向を時刻とともに記憶したテーブルである。接触箇所処理部２４０は、解析処理の結果、図１０（ｃ）に示すような情報をＲＡＭ２０３に記憶する。図１０（ｃ）に示すテーブルにおいて、時刻０６：３２：０６．２５の解析結果が、図１０（ｂ）に示す接触面内における部位の方向に該当する。このように、接触箇所処理部２４０は、時刻ごとの接触箇所の部位の方向を解析して、結果を記憶する。なお、図示していないが、実施形態１で説明したように、各クラスタの集合の重心位置が時刻とともにＲＡＭ２０３に記憶されていてもよい。

Ｓ９０７において接触箇所処理部２４０は、解析結果を示す画像を生成して、表示装置３００へ画像を送信する。表示装置３００は、送信された画像を表示する。図１１は、解析結果を示す画像の一例である。接触箇所処理部２４０は、オブジェクトごとに接触箇所を時系列で描画するとともに、各接触箇所の方向と時刻とを矢印およびテキストで表示する画像を生成する。また、オブジェクトごとに時系列の接触箇所を矩形で囲み、オブジェクト番号（図１１では、「０２」および「０３」）を付与する。接触箇所処理部２４０は、こうして生成した画像を表示装置３００へ送信し表示する。なお、この例では、解析対象期間は、時刻０６：３２：０５．３２から時刻０６：３２：０６．２５である例を示している。

本実施形態では、三次元ベクトルは、方向の情報のみを用いる例を説明したが、各部位を時間方向にトラッキングして速度を導出してもよい。そして、導出した速度を用いて三次元ベクトルの大きさとしてもよい。この場合、接触箇所ごとに、接触直前の速度または前回接触からの平均速度（または最大速度）を関連付けて記憶すればよい。

以上説明したように、本実施形態によれば、接触箇所の向きを導出し、図示して表示することで、例えば特定のサッカー選手のプレー中の足の向きを容易に解析することができる。

なお、解析結果の表現方法は上記に限らず、複数時刻の解析結果を動画形式で逐次表示してもよいし、各部位の方向と接触箇所の方向とを同時に三次元的に描画してもよい。また、実施形態１で説明した接触部位の動き（歩幅）と合わせて、接触箇所の位置および方向を仮想視点画像に重畳表示してもよい。

＜＜実施形態３＞＞
実施形態１および２においては、サッカー選手の足の歩幅または足の向きを解析する例を中心に説明した。本実施形態では、競輪における選手および自転車の動きとゴールシーンとを解析する例を述べる。即ち、接触対象が、人間ではない例を説明する。

以下では、実施形態２と同様の構成および処理フローを元に説明を行うものとする。なお、実施形態１と同様の構成および処理フローに従って処理を行ってもよい。以下、実施形態２との相違部分を中心に説明を行う。

本実施形態におけるオブジェクトの三次元モデル１８０は、前景オブジェクト（選手および自転車）の三次元モデルおよび背景オブジェクトの三次元モデルに加え、仮想的なゴールライン上の垂直面（ゴール面と呼ぶ）のメッシュポリゴンモデルを含む。ゴール面は、背景オブジェクトの一種として扱われる。

本実施形態における三次元モデル学習データ１７０は、自転車および自転車上の選手の三次元モデルを学習したデータを含む。自転車の部位は、前輪、後輪、その他、の３つに分けて学習して得られたデータである。

本実施形態における接触箇所の解析結果は、自転車の前輪および後輪の接触箇所となる。また、本実施形態では、接触対象の前景オブジェクトと非接触対象のゴール面との接触箇所も解析する。ゴール面の接触箇所を解析することで先着したオブジェクトを解析することができる。本実施形態では、Ｓ９０６において上記の解析が行われる。

Ｓ９０７で接触箇所処理部２４０は、Ｓ９０６の解析の結果を表示装置３００に送信する。図１２は、表示装置３００に表示される解析結果の例を示す図である。図１２に示すように、前輪および後輪の接触箇所が、所定の時間間隔、例えば０．５秒ごとに接触面に描画され、方向を示す矢印およびテキストを付与して解析結果画像として表示される。

図１３は、解析対象の所定の期間にゴール面を通過する期間が含まれている場合の解析結果の画像を示す図である。図１３（ａ）は、ゴール面におけるオブジェクトの様子を示す図である。図１３（ｂ）は、ゴール面内における接触箇所を示す。ゴール面０９に接触箇所がある場合、接触箇所処理部２４０は、ゴール面０９内の接触箇所１８に、オブジェクト番号「０８」または選手の背番号「２」をテキストとして付与して別途解析結果画像として表示する。

以上述べたように、本実施形態によれば、人物が直接地面に足を接触させる以外の競技においても、接触部位の動きを解析することができる。即ち、競輪における選手および自転車の動きとゴールシーンとを解析することができる。また、競輪に限らず、競馬などのレース競技においても同様の解析をすることができる。

＜＜実施形態４＞＞
実施形態１から３においては、三次元モデル学習データ１７０を取得し、三次元モデルと学習データとを比較することでモデル部位を識別する例を中心に説明した。本実施形態では、学習データを用いずにモデル部位の識別を行う例を説明する。本実施形態では、ユーザが、入力デバイスを用いてモデル部位を指定するものとする。なお、モデル部位の動きを解析するには、解析対象となる所定の期間において、時系列上の代表時点でそれぞれモデル部位が特定されている必要がある。本実施形態では、ユーザは、時系列上の代表時点それぞれでモデル部位を指定する必要はなく、所定の時点でモデル部位を指定すればよいものとして説明する。

図１４は、本実施形態におけるシステムの全体構成を示す図である。以下、実施形態２と異なる点を中心に説明する。なお、実施形態１で説明したように、解析結果を仮想視点画像に表示させる形態としてもよい、本実施形態の記憶装置１６０は、学習データを記憶していない。本実施形態のシステムは、実施形態２の構成と比べて、入力デバイスである部位指定コントローラ１９０と、第２の表示装置３１０とをさらに有している。部位指定コントローラ１９０は、情報処理装置２００のモデル部位識別部２３０に指示を出力する。モデル部位識別部２３０は、第２の表示装置３１０の表示を制御する。

部位指定コントローラ１９０は、例えばマウスである。ユーザは、第２の表示装置３１０に表示されるオブジェクトの三次元モデル１８０上の部位と方向とを、マウスドラッグで指定する。モデル部位識別部２３０は、部位指定コントローラ１９０とネットワークを介して接続し、ユーザが部位をクリックで指定するためのユーザインタフェース画面を生成する。また、モデル部位識別部２３０は、第２の表示装置３１０とネットワークまたはＳＤＩなどの映像伝送経路を介して接続し、ユーザが部位を指定するためにオブジェクトの三次元モデルを描画した画像を第２の表示装置３１０に表示させる。即ち、モデル部位識別部２３０は、第２の表示装置３１０の表示を制御する表示制御部として機能する。なお、図１４では、２つの表示装置を有する例を示しているが、モデル部位識別部２３０が接続する第２の表示装置３１０と、接触箇所導出部２２０が接続する表示装置３００とは、同じ装置でもよい。

図１５は、本実施形態における情報処理装置２００の処理の流れを示すフローチャートである。図１５は、情報処理装置２００が、接触箇所の解析対象となる所定の期間の三次元モデルを取得して解析を行い、当該期間の解析結果が表示装置３００に表示される一連の処理を示している。

Ｓ１５０１においてモデル取得部２１０は、記憶装置１６０から所定の期間におけるオブジェクトの三次元モデル１８０を取得する。本実施形態の三次元モデル１８０は、前景オブジェクトに関してオブジェクトごとに区別されていないデータである。

Ｓ１５０２においてモデル部位識別部２３０は、モデル部位識別用のＵＩを生成する。まず、モデル部位識別部２３０は、まず前景オブジェクトの三次元モデルをクラスタリングによりオブジェクトごとに区別する。そして、モデル部位識別部２３０は、オブジェクトごとにモデル部位識別用ＵＩを生成し、オブジェクトの三次元モデルの描画結果（画像データ）とともに第２の表示装置３１０へ出力する。

図１６は、モデル部位識別用ＵＩの一例を示す図である。図１６では、部位指定コントローラ１９０が情報処理装置２００に接続されており、情報処理装置２００と第２の表示装置３１０とが接続されている例を模している。また、図１６では、第２の表示装置３１０に表示されているモデル部位識別用ＵＩ画面を示している。モデル部位識別用ＵＩ画面は、オブジェクトの三次元モデルの画像を表示する領域と、ユーザからの指定を受け付ける受付領域とを含む。

Ｓ１５０３においてモデル部位識別部２３０は、モデル部位識別用ＵＩ画面を通じてユーザによって指定された指示を用いてモデル部位を識別する。ユーザは、モデル部位識別用ＵＩ画面を見ながら次の手順で部位を指定する。まず、プルダウンボタン３１１をクリックし部位「右足」を選択する。次にユーザは、「右足」と認識している部位の始点から終点まで（部位の範囲）をドラッグする。この例では、点ｐから点ｑまでドラッグするものとする。この点ｐおよびｑは、オブジェクト上の三次元の点である。モデル部位識別部２３０は、指定された点ｐに隣接する点を所定の数、例えば１０００点になるまで連鎖的に選択して部位０２−０２と決定する。また、モデル部位識別部２３０は、点ｐからｑへ向かうベクトルを、選択中の部位「右足」の方向０２−０２ｖとして導出する。ユーザは、上記作業を、部位を選択しながら全ての部位について行い、最後に「進む」または「戻る」ボタンをクリックしてオブジェクトを切り替える。以上の作業を全オブジェクトの全ての部位について繰り返すことで、モデル部位識別部２３０は、部位を識別することができる。

さらに本実施形態においてモデル部位識別部２３０は、オブジェクトごとに重心を導出し、直前または直後の時刻のオブジェクト重心位置との距離が最小になるように時間方向にオブジェクトを関連付けることでトラッキングを行う。また、直前または直後のオブジェクト同士の三次元モデルをＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムで位置合わせして各部位を対応付けることで各部位のトラッキングを行う。また、点ｐ、ｑについてもＩＣＰによりトラッキングされる。これによりユーザは、ある時刻においてのみ手動で部位を指定することで、その他の時刻については、モデル部位識別部２３０が部位および部位の方向をトラッキングして自動で指定することができる。

即ち、本実施形態では、ユーザによる手動でのオブジェクトの部位を指定する動作が行われることになるが、これらの指定は、解析対象の所定の期間を通じて、１回の指定で済む。即ち、時刻ごとに、ユーザがオブジェクトの部位を指定する動作を行わなくて済む。Ｓ１５０４〜Ｓ１５０７の処理は、実施形態２で説明したＳ９０４〜Ｓ９０７の処理と同等の処理であるので、ここでの説明は省略する。

以上説明したように、本実施形態によれば、モデル部位識別用ＵＩを生成し、ユーザが部位を識別することで、学習データを用いずにモデル部位の識別を行うことができる。また、ユーザによる部位の指定は、時間ごとに行わなくてよいので、ユーザの煩雑な作業も抑制することができる。

＜＜その他の実施形態＞＞
実施形態１または２では、選手と地平面との接触箇所を解析したが、他の三次元モデル間での接触を解析してもよい。例えば、ボールと肩、右肘、左肘、右手、または左手のいずれかとの接触がある場合にペナルティとみなして記憶するとともに、仮想視点画像に重畳してもよい。即ち、前景オブジェクト同士の接触箇所を解析してもよい。接触対象の三次元モデルと、被接触対象の三次元モデルとの接触箇所の解析ができればよい。また、選手同士の接触箇所を解析してもよい。この場合、選手Ａおよび選手Ｂの部位をそれぞれ識別し、接触した部位を解析して特定する形態でもよい。他にも、歩幅および時間間隔から速度を導出して記憶し、表示してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００ 情報処理装置
２１０ モデル取得部
２２０ 接触箇所導出部
２３０ モデル部位識別部
２４０ 接触箇所処理部

Claims (18)

1. 接触対象の第１のオブジェクトの三次元モデルと、被接触対象の第２のオブジェクトの三次元モデルとを含む三次元モデルを取得する取得手段と、
   前記第１のオブジェクトの前記三次元モデルを部位ごとに識別する識別手段と、
   前記第１のオブジェクトの三次元モデルが前記第２のオブジェクトの三次元モデルに接触する接触箇所を部位ごとに導出する導出手段と、
   前記導出手段によって導出された接触箇所の解析をする解析手段と、
   を有することを特徴とする情報処理装置。
2. 前記取得手段は、解析対象の所定の期間に対応する前記三次元モデルを取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記識別手段は、前記取得手段で取得した前記第１のオブジェクトの前記三次元モデルと、部位ごとの特徴を予め学習した学習データと、を用いて部位ごとの識別を行うことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記識別手段は、前記第１のオブジェクトを示す画像を含むＵＩ画面を通じて入力された指示に応じて、部位ごとの識別を行うことを特徴とする請求項１または２に記載の情報処理装置。
5. 前記識別手段は、前記第１のオブジェクトの三次元モデルにおける、前記指示に対応するクラスタをトラッキングすることで、解析対象の所定の期間に対応する部位ごとの識別を行うことを特徴とする請求項４に記載の情報処理装置。
6. 前記導出手段は、前記接触が発生した時刻と前記接触が発生した部位とを関連付けて記憶することを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記解析手段は、第１の時刻の接触箇所と、第２の時刻の接触箇所との間の距離を解析することを特徴とする請求項６に記載の情報処理装置。
8. 前記解析手段は、前記第１のオブジェクトの第１の部位の前記第１の時刻における接触箇所と、前記第１のオブジェクトの前記第１の部位または前記第１の部位とは異なる第２の部位の前記第２の時刻における接触箇所との間の前記距離を解析することを特徴とする請求項７に記載の情報処理装置。
9. 前記学習データは、前記部位ごとの特徴として、部位の向きを含み、
   前記解析手段は、接触面内における前記部位の向きを導出することを特徴とする請求項３に記載の情報処理装置。
10. 前記指示は、部位の向きの指定を含み、
    前記解析手段は、接触面内における前記部位の向きを導出することを特徴とする請求項４または５に記載の情報処理装置。
11. 前記三次元モデルに基づく仮想視点画像を生成する生成手段に前記解析手段による解析結果を出力する出力手段をさらに有し、
    前記解析結果は、前記仮想視点画像に重畳されることを特徴とする請求項１から１０のいずれか一項に記載の情報処理装置。
12. 前記解析手段による解析結果を表示手段に出力する出力手段をさらに有することを特徴とする請求項１から１０のいずれか一項に記載の情報処理装置。
13. 前記出力手段は、前記第１のオブジェクトが前記第２のオブジェクトと異なるオブジェクトと接触する場合、所定の通知を出力する請求項１１または１２に記載の情報処理装置。
14. 前記第１のオブジェクトは、前景オブジェクトであり、前記第２のオブジェクトは、背景オブジェクトであることを特徴とする請求項１から１３のいずれか一項に記載の情報処理装置。
15. 解析対象の所定の期間において、接触対象の第１のオブジェクトの三次元モデルが被接触対象の第２のオブジェクトの三次元モデルに接触する接触箇所を解析するためのインタフェース画面を表示手段に表示させる情報処理装置であって、
    前記所定の期間における任意の時点における前記第１のオブジェクトの三次元モデルを示す画像を前記表示手段に表示させる表示制御手段と、
    前記表示手段に表示されている前記三次元モデルの部位の識別の指定を受け付ける第一受付手段と、
    前記表示手段に表示されている前記三次元モデルの部位の範囲の指定を受け付ける第二受付手段と、
    を有することを特徴とする情報処理装置。
16. 接触対象の第１のオブジェクトの三次元モデルと、被接触対象の第２のオブジェクトの三次元モデルとを含む三次元モデルを取得する取得工程と、
    前記第１のオブジェクトの前記三次元モデルを部位ごとに識別する識別工程と、
    前記第１のオブジェクトの三次元モデルが前記第２のオブジェクトの三次元モデルに接触する接触箇所を部位ごとに導出する導出工程と、
    前記導出工程によって導出された接触箇所の解析をする解析工程と、
    を有することを特徴とする情報処理方法。
17. 解析対象の所定の期間において、接触対象の第１のオブジェクトの三次元モデルが被接触対象の第２のオブジェクトの三次元モデルに接触する接触箇所を解析するためのインタフェース画面を表示手段に表示させる情報処理方法であって、
    前記所定の期間における任意の時点における前記第１のオブジェクトの三次元モデルを示す画像を前記表示手段に表示させる表示制御工程と、
    前記表示手段に表示されている前記三次元モデルの部位の識別の指定を受け付ける第一受付工程と、
    前記表示手段に表示されている前記三次元モデルの部位の範囲の指定を受け付ける第二受付工程と、
    を有することを特徴とする情報処理方法。
18. コンピュータを、請求項１から１５のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images