JP2019036346A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】本発明の画像処理装置は、複雑な処理を必要とすることなく、オブジェクトを高精度に追跡することができる。【解決手段】本発明の画像処理装置は、着目フレーム画像群より時間的に前に得られる先行フレーム画像群から生成された３次元形状モデルに対応するオブジェクトの位置と、前記オブジェクトの移動方向に関する情報とに基づいて、前記着目フレーム画像群におけるオブジェクトの検出範囲を決定する決定手段と、前記先行フレーム画像群のオブジェクトと、前記決定手段により決定された検出範囲内に位置する前記着目フレーム画像群のオブジェクトとを対応付ける対応付手段と、を有することを特徴とする。【選択図】図１

Description

本発明は、オブジェクトの画像処理技術に関するものである。

スポーツ中継などの映像技術分野において、オブジェクトの追跡を支援する画像処理装置が提案されている。このようなオブジェクトの追跡では、移動する人を撮像した画像からオブジェクトを抽出し、抽出したオブジェクトの位置情報を画像ごとに記憶する。このようなオブジェクトの位置情報を参照することにより、画像処理装置は例えば、特定人物の走行距離などの情報を取得することができる。特許文献１には、位置関係の時間変化量が小さなオブジェクトのグループを検出し、当該グループを構成するオブジェクトの位置関係に基づいて、オブジェクトの追跡ミスを防止することが記載されている。

また、仮想カメラの位置及び姿勢に基づく映像を生成する仮想視点映像システムが知られており、仮想視点映像の生成のため、複数のカメラで撮影した映像を用いてオブジェクトの３次元形状モデルを生成することも知られている。この点、特許文献２には、三次元モデルを高速に生成することを目的として、最初に三次元モデルの概形をＶｉｓｕａｌＨｕｌｌで求め、詳細を特徴量のマッチングを用いて求めることが記載されている。

特開２０１６−０８５６７５号公報 特開２００３−２７１９２８号公報

しかしながら、オブジェクトを処理するための演算量の削減はこれまで不十分であった。例えば、特許文献１で用いられているパーティクルフィルタは、確率分布に基づく予測手法であるが、オブジェクトごとに複数の予測位置が算出される。したがって、高精度にオブジェクトを追跡する場合には演算量が増大してしまう恐れがあった。また、例えば、３次元形状モデルの概形を求めてから詳細を求めるという手法を採用したとしても、高精度な３次元形状モデルを生成する場合の演算量は依然として大きかった。

本発明に係る画像処理装置は、複数のカメラがオブジェクトを撮影することにより得られる複数の画像に基づいて生成される３次元形状データに関する処理を行う画像処理装置であって、第１時刻におけるオブジェクトの位置情報と前記オブジェクトの属性情報とに基づいて、前記第１時刻より後の第２時刻における前記オブジェクトの３次元形状データに関する処理範囲を設定する設定手段と、前記設定手段により設定される処理範囲に対して、前記第２時刻における前記オブジェクトの３次元形状データに関する処理を行う処理手段と、を有することを特徴とする。

本発明によれば、低計算コストで、高精度にオブジェクトの処理を行うことができる、という効果を奏する。

は、実施形態１に係る画像処理システムの構成例を示す図である。 は、実施形態１に係る画像処理装置のハードウェア構成例を示す図である。 は、実施形態１に係る画像処理装置の機能構成例を示すブロック図である。 は、実施形態１に係るオブジェクトの追跡手順例を示すフローチャートである。 は、実施形態１に係る検出範囲の設定手順例を示す概念図である。 は、実施形態１において３次元形状モデルを誤って追跡した場合の例を示す模式図である。 は、実施形態２に係る検出範囲の設定手順例を示すフローチャートである。 は、実施形態２に係る検出範囲の一例を示す模式図である。 は、実施形態３に係る検出範囲の設定手順例を示す概念図である。

以下、本発明を実施するための形態について図面を参照して説明する。ただし、この実施形態に記載されている構成はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。

［実施形態１］
まず、本実施形態に係る画像処理システム１の構成例について、図１を参照して説明する。図１に示される通り、カメラ１０１ａ〜１０１ｊそれぞれは、動画像を撮像するカメラであり、競技場などのフィールド１０の周囲に該フィールド１０に向けて配置されている。カメラ１０１ａ〜１０１ｊそれぞれが撮像した動画像を構成する画像群は、画像処理装置１００に対して送出される。図１に示される通り、本実施形態では、フィールド１０上を移動する人物１１，１２が、カメラ１０１ａ〜１０１ｊにより撮影されるオブジェクトである例が示されている。

画像処理装置１００は、まず、カメラ１０１ａ〜１０１ｊそれぞれから送出された画像群からオブジェクトの輪郭を抽出する。画像処理装置１００は、次いで、該抽出した輪郭を用いて該オブジェクトの３次元形状モデルを生成する。つまり画像処理装置１００は、該画像に含まれるオブジェクトの撮像時刻ごとの３次元形状モデルを生成することができる。この３次元形状モデルは、例えば、オブジェクト上の点群によって構成される。なお、画像に複数のオブジェクトが含まれている場合、それぞれのオブジェクトについて３次元形状モデルが生成される。画像群に含まれているオブジェクトの輪郭から該オブジェクト上の点群を取得する技術については、画像処理技術の分野において公知であるため、この技術に関する説明を省略する。なお、オブジェクトの３次元形状モデルを取得するための方法は上記の方法に限られない。また、３次元形状モデルは、ボクセルやポリゴンなど、点群以外の形式を用いて表現されてもよい。

表示装置１０２は、画像処理装置１００が生成した３次元形状モデルなど、各種の情報を表示することができる。キーボード１０３ａおよびマウス１０３ｂは、画像処理装置１００に各種の指示や情報を入力するために、ユーザが操作するユーザインターフェースの一例である。なお、図１に示したシステム構成は一例に過ぎず、例えば、カメラの数やカメラが注視する位置、カメラと画像処理装置１００との間のネットワーク構成などは図１に示したシステム構成に限らない。

次に、画像処理装置１００のハードウェア構成例について、図２のブロック図を用いて説明する。ＣＰＵ２０１は、ＲＡＭ２０２やＲＯＭ２０３などの記憶領域に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２０１は、画像処理装置１００全体の動作制御を行う。ＲＡＭ２０２には、２次記憶装置２０４、外部記憶装置１０４、ＲＯＭ２０３などからロードされたコンピュータプログラムやデータを格納するための領域を有する。さらにＲＡＭ２０２は、ＣＰＵ２０１が各種の処理を実行および制御する際に用いるワークエリアを有する。このようにＲＡＭ２０２は各種のワークエリアを適宜提供することができる。ＲＯＭ２０３には、書き換え不要の設定データやコンピュータプログラムなどが格納されている。２次記憶装置２０４は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。２次記憶装置２０４には、ＯＳ（オペレーティングシステム）や、後述する各処理をＣＰＵ２０１に実行させるためのコンピュータプログラムやデータが保存されている。２次記憶装置２０４に保存されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０２にロードされ、ＣＰＵ２０１による処理対象となる。操作部１０３は、上記キーボード１０３ａやマウス１０３ｂを含み、ユーザによる操作を受け付け、各種指示を、入力インターフェース２０５を介してＣＰＵ２０１に送出することができる。図２のブロック図において、撮像装置１０１は、上記カメラ１０１ａ〜１０１ｊに対応している。したがって、以下の説明において、撮像装置１０１から出力される着目画像群とは、カメラ１０１ａ〜１０１ｊのそれぞれから出力された着目画像群を意味する。撮像装置１０１から出力される画像群は、ＲＡＭ２０２や２次記憶装置２０４に格納される。ＲＡＭ２０２や２次記憶装置２０４に格納された先行画像群は、後述の位置予測部３０３による処理に用いられる。外部記憶装置１０４は、ＣＤ−ＲＷ、ＤＶＤ−ＲＷなどの記憶媒体に対するコンピュータプログラムやデータの読み出しおよび書き込みを行う。外部記憶装置１０４が記憶媒体から読み出したコンピュータプログラムやデータは入力インターフェース２０５を介してＲＡＭ２０２や２次記憶装置２０４に送出される。一方、外部記憶装置１０４が記憶媒体に書き込むコンピュータプログラムやデータは、ＲＡＭ２０２や２次記憶装置２０４から出力インターフェース２０６を介して外部記憶装置１０４に送出される。また、２次記憶装置２０４に保存されているものとして説明したコンピュータプログラムおよびデータを記憶媒体に格納しておき、外部記憶装置１０４によって記憶媒体からＲＡＭ２０２や２次記憶装置２０４に読み出すようにしてもよい。表示装置１０２はＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０１による処理結果を画像や文字などで表示する。なお、操作部１０３と表示装置１０２とを一体化させてタッチパネル画面を構成してもよい。そして、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、２次記憶装置２０４、入力インターフェース２０５、出力インターフェース２０６、はいずれもバス２０７を介して相互に通信可能に接続されている。

図３は、本実施形態に係る画像処理装置１００の機能構成例を示すブロック図である。図４は、本実施形態に係る画像処理装置１００のオブジェクトの処理手順例を示すフローチャートである。以下、図３のブロック図と図４のフローチャートとを参照して、本実施形態に係るオブジェクトの追跡手順例について説明する。図３に示される各ブロックの処理、および、図４に示されるフローチャートの処理は、ＣＰＵ２０１がＲＯＭ２０３などに記憶されているプログラムコードをＲＡＭ２０２に展開し実行することにより行われる。以下の各記号Ｓは、フローチャートにおけるステップであることを意味する。これらは図７のフローチャートについても同様である。

Ｓ４０１において、３次元形状モデル生成部３０２は、画像取得部３０１が撮像装置１０１から取得した画像群に含まれるオブジェクトの３次元形状モデルを生成する。以下では、Ｓ４０１で生成した３次元形状モデルをＭ（１），Ｍ（２）・・・，Ｍ（ｉ），・・・Ｍ（Ｉ）と表記する。ここで、ｉは３次元形状モデルの数を示す変数であり、ＩはＳ４０１で生成される３次元形状モデルの総数を示す。なお、変数ｉ≠１であった場合、Ｓ４０１の処理が実行される前に変数ｉの値が「１」に初期化される。

Ｓ４０２において、Ｓ４０１で生成された３次元形状モデルＭ（１）・・・Ｍ（Ｉ）が、最初の画像から生成されたか否かが判定される。ここで、ｎは、画像処理装置１００に入力された動画像の長さ（時間）における時刻（何枚目の画像か）を示す変数であり、Ｎは、上記動画像を構成する画像の総数を示す。ｎ≠１の場合（Ｓ４０２：ＮＯ）、Ｓ４０３に移行する。一方、ｎ＝１の場合（Ｓ４０２：Ｙｅｓ）、Ｓ４０３〜Ｓ４０４をスキップしてＳ４０５に移行する。なお、図４のフローチャートが開始される際に変数ｎ≠１であった場合、Ｓ４０１の処理が実行される前に変数ｎの値が「１」に初期化される。

Ｓ４０３において、位置予測部３０３は、時刻ｎにおける３次元形状モデルＭ（ｉ）の位置Ｑｉ（ｎ）を予測する。具体的な予測手順例は以下の通りである。まず、位置予測部３０３は、先行画像である時刻ｎ−１（第１時刻）における３次元形状モデルＭ（ｉ）の３次元位置と、速度ベクトルとを２次記憶装置２０４などの記憶領域から読み出す。次いで、位置予測部３０３は、これらの情報に基づいて時刻ｎにおける３次元形状モデルの予測位置Ｑｉ（ｎ）の座標を判定する。以後、３次元形状モデルＭ（ｉ）の位置情報や、上記予測に必要な速度ベクトル情報が記憶されるＲＡＭ２０２、２次記憶装置２０４、外部記憶装置１０４のいずれかまたは複数を、単に「記憶領域」と記す。

以下では、説明を簡略化するために、時刻ｎ−１における３次元形状モデルＭ（ｉ）の３次元座標Ｐｉ（ｎ−１）と、３次元速度ベクトルＶｉ（ｎ−１）とから、時刻ｎにおける３次元形状モデルの予測位置Ｑｉ（ｎ）の座標を判定する例を説明する。この予測位置Ｑｉ（ｎ）と速度ベクトルＶｉ（ｎ）とは、以下の（式１）（式２）を用いて算出される。
Ｑｉ（ｎ）＝Ｐｉ（ｎ−１）＋Δｔ・Ｖｉ（ｎ−１）・・・（式１）
Ｖｉ（ｎ）＝[Ｐｉ（ｎ）―Ｐｉ（ｎ−１）]／Δｔ・・・（式２）

上記（式１）及び（式２）においてΔｔは、動画を構成する画像１枚分の時間を示す。例えば、６０ｆｐｓの動画であれば、Δｔ＝１／６０ｓｅｃとなる。なお、予測位置Ｑｉ（ｎ）の判定方法は上記（式１）に限定されるものではなく、時刻ｎ−１よりも前の情報が用いられてもよいし、加速度など高次の情報が用いられてもよい。また、運動モデルに基づいて予測位置Ｑｉ（ｎ）が算出されてもよい。

Ｓ４０４において、検出範囲設定部３０４は、Ｓ４０３で予測した予測位置Ｑｉ（ｎ）を含む検出範囲Ｒｉ（ｎ）を設定する。時刻ｎにおける３次元形状モデルＭ（ｉ）の検出範囲Ｒｉ（ｎ）の設定方法については後述する。

Ｓ４０５において、位置取得部３０５は、検出範囲Ｒｉ（ｎ）に対して３次元形状モデルＭ（ｉ）の位置Ｐｉ（ｎ）を検出するための処理を行う。すなわち、位置取得部３０５は、時刻ｎ−１（第１時刻）におけるオブジェクトの位置情報に基づいて、時刻ｎ（第２時刻）における当該オブジェクトの３次元形状モデルの処理のための検出範囲Ｒｉ（ｎ）を特定する。上記の通り、本実施形態における３次元形状モデルは点群によって構成されている。そのため、位置取得部３０５は、点群を構成する点同士の位置関係から重心位置を求め、この重心位置を３次元形状モデルの位置とすることができる。なお、点群の位置は、カメラ１０１ａ〜１０１ｊの位置とそれらの焦点距離などとから取得することができる。つまり、検出範囲Ｒｉは、上記重心位置に対応する座標を探索する範囲として設定される。ただし、３次元形状モデルの位置を重心以外の位置（人物の３次元形状モデルであれば、例えば、頭部の中心など）としてもよい。

位置取得部３０５は、３次元形状モデルＭ（ｉ）を構成する点群のうち、Ｓ４０４で設定された検出範囲Ｒｉ（ｎ）に含まれる点群の重心位置に対応する３次元座標を、当該３次元形状モデルＭ（ｉ）の位置Ｐｉ（ｎ）として取得する。なお、位置取得部３０５は、必ずしも検出範囲Ｒｉに含まれる全ての点群から重心位置を導出しなくてもよい。例えば、検出範囲Ｒｉを複数の立方体で分割し、３次元形状モデルを構成する点やボクセルを最も多く含む立方体の座標が位置Ｐｉとして取得されてもよい。また、Ｓ４０２においてｎ＝１と判定されている場合（Ｓ４０２：ＹＥＳ）、検出範囲Ｒｉは設定されていないため、３次元形状モデルＭ（ｉ）を構成する点群の重心位置に対応する３次元座標を、当該３次元形状モデルＭ（ｉ）の位置Ｐｉとして取得する。この場合も、位置取得部３０５は、必ずしも全ての点群から重心位置を導出しなくてもよい。例えば、３次元形状モデルＭ（ｉ）を構成する点群のうち、人物１１，１２の頭部に対応する点群の重心位置に対応する３次元座標が位置Ｐｉとして取得されてもよい。

Ｓ４０６において、記憶制御部３０６は、３次元形状モデルＭ（ｉ）の識別情報と、位置Ｐｉとを関連付けて記憶領域に記憶する。上記識別情報は、３次元形状モデルＭ（ｉ）を一意に識別するために用いられる識別子である。Ｓ４０６の処理により、本実施形態の位置予測部３０３は、この識別情報に基づいて、対応する３次元形状モデルＭ（ｉ）の位置Ｐｉを記憶領域から読み出すことができる。言い換えると、Ｓ４０６の処理により、時刻ｎ−１以前における人物Ａと、時刻ｎにおける人物Ａとの対応付けがなされる。

Ｓ４０７において、変数ｉが１つインクリメントされる。そして、Ｓ４０８において、時刻ｎにおける全ての３次元形状モデルＭ（ｉ）の処理が完了したか否かが判定される。すなわち、ｉ＝Ｉである場合（Ｓ４０８：ＹＥＳ）、Ｓ４０９に移行する。一方、ｉ＜Ｉである場合（Ｓ４０８：ＮＯ）、再びＳ４０２に戻り、未処理の３次元形状モデルＭ（ｉ）についてＳ４０２〜Ｓ４０８の処理が繰り返される。

Ｓ４０９において、全ての画像について処理が完了したか否かが判定される。すなわち、ｎ＝Ｎである場合（Ｓ４０９：ＹＥＳ）、本フローチャートの処理を終了する。一方、ｎ≠Ｎである場合（Ｓ４０９：ＮＯ）、Ｓ４１０に移行する。そして、Ｓ４１０において、変数ｎが１つインクリメントされ、再びＳ４０１に戻り、画像取得部３０１が取得した次の画像群について、Ｓ４０１〜Ｓ４０９の処理が繰り返される。

次に、検出範囲Ｒｉの設定方法（Ｓ４０３）について、図５〜図６を参照して詳細に説明する。図５は、本実施形態における検出範囲の設定手順例を示す概念図である。図５において、３次元空間の外延が、符号５００で模式的に表されている。そして、時刻ｎ−１における３次元形状モデルＭ（ｉ）が符号５０１で表されており、時刻ｎ−１における速度ベクトルＶｉ（ｎ−１）が符号５０２で表されている。時刻ｎにおいて予測される３次元形状モデルＭ（ｉ）の予測位置Ｑｉ（ｎ）が符号５０３で表されており、時刻ｎにおける実際の３次元形状モデルＭ（ｉ）の位置Ｐｉ（ｎ）が符号５０４で表されている。また、図５に示されている通り、検出範囲Ｒｉ（ｎ）が符号５０５で表されている。さらに、時刻ｎにおける３次元形状モデルＭ（ｉ）５０４とは異なる、ｊ番目の３次元形状モデルＭ（ｊ）の位置Ｐｊ（ｎ）が符号５０６で表されている。図５に示される通り、時刻ｎにおいて、３次元形状モデルＭ（ｉ）５０４と３次元形状モデルＭ（ｊ）５０６とは３次元座標系内で近接している。

一般的に、人が方向を転換したり急に動き出したりしても、人は急激に加速しにくい。そのため、撮像装置１０１が人物１１，１２を撮像し、撮像画像群からオブジェクト（人物）が抽出された場合、このようなオブジェクトの位置の予測精度はそれほど劣化することはない。本実施形態では、予測位置Ｑｉ（ｎ）を中心に、３次元形状モデルＭ（ｉ）５０１を丁度含む程度の大きさの直方体が検出範囲Ｒｉ（ｎ）として設定される。例えば、オブジェクトが人物を示す場合、縦：０．６ｍ、横：０．６ｍ、高さ：２．０ｍ程度の直方体が検出範囲Ｒｉとして設定されれば、おおむねオブジェクトをこの検出範囲Ｒｉに含めることができる。上記のようなサイズの検出範囲Ｒｉが設定されることにより、例えば、３次元形状モデルＭ（ｊ）５０６が、３次元形状モデルＭ（ｉ）５０４の検出範囲Ｒｉ（ｎ）５０５に含まれにくくなる。そして、同一人物でない人物を誤って関連付けてしまう可能性を低減できる。つまり、高精度に人物の追跡処理を行うことができる。また、本実施形態の画像処理装置１００は、検出範囲Ｒｉ（ｎ）に限って３次元形状モデルＭ（ｉ）の位置Ｐｉ（ｎ）を検出するための処理を行う。つまり、画像処理装置１００は、時刻ｎ−１（第１時刻）におけるオブジェクトの位置情報に基づいて、時刻ｎ（第２時刻）におけるオブジェクトの３次元形状モデルに関する処理範囲を特定している。これにより、３次元空間全体に対して検出処理を行うよりも小さい処理負荷でオブジェクトの対応付け処理を実現できる。なお、検出範囲Ｒｉ（ｎ）のサイズは上記の例に限るものではない。また、検出範囲Ｒｉ（ｎ）は人物の大きさや動きの速さ、人物の密集度合などに応じて異なる値が設定されるようにしても良い。

図６は、本来追跡すべき３次元形状モデルとは異なる３次元形状モデルを誤って追跡した場合の例を示す模式図である。

図６において、時刻ｎにおける３次元空間の外延６００と、時刻ｎ＋１における３次元空間の外延６１０とが、模式的に示されている。さらに図６において、時刻ｎから時刻ｎ＋１にかけて、３次元形状モデルＭ（ｉ）６０１と３次元形状モデルＭ（ｊ）６０２とが互いに交差する様子が示されている。このとき、３次元形状モデルＭ６０１，６０２が互いに接近したときに、検出範囲が３次元形状モデルＭ６０１，６０２を含む大きさに設定されてしまうと、本来追跡すべき３次元形状モデルとは異なる３次元形状モデルを誤って追跡してしまう恐れがある。図６は、時刻ｎ＋１において、３次元形状モデルＭ（ｉ）６０１に近接する３次元形状モデルＭ（ｊ）６０２が誤って追跡されてしまっている。

また、人物１１，１２がジャンプすると、オブジェクトの高さ位置が変化する場合がある。このような場合においても、本実施形態のオブジェクトの追跡方法は有効である。すなわち、本実施形態の画像処理装置１００は、３次元座標空間におけるオブジェクトの予測位置と、オブジェクトの大きさとに基づいて検出範囲を設定するので、人物１１，１２がジャンプする高さ方向に、オブジェクトを追跡することができる。

以上説明した通り、本実施形態の画像処理装置は、時刻ｎ−１（第１時刻）におけるオブジェクトの位置情報に基づいて、時刻ｎ（第２時刻）におけるオブジェクトの３次元形状モデルに関する処理範囲を特定する。これにより、低計算コストで、高精度にオブジェクトの３次元位置を追跡することができる。

なお、説明を簡単にするために、過去（時刻ｎ−１）におけるオブジェクトの位置情報をオブジェクトの追跡処理のために用いる場合の例を中心に説明してきたが過去の位置情報の用途は追跡処理に限らない。別の用途として、例えば、３次元形状モデルの生成対象となるオブジェクトを時刻ｎの画像から検出するための検出処理を行う場合に、時刻ｎ−１のオブジェクトの位置情報を用いることができる。これによっても、計算コストの削減が可能である。例えば、図４のＳ４０３において説明した通り、時刻ｎ−１における人物Ａの３次元座標Ｐｉ（ｎ−１）と、３次元速度ベクトルＶｉ（ｎ−１）とから、当該人物Ａの予測位置Ｑｉ（ｎ）が求まり、予測位置Ｑｉ（ｎ）から検出範囲Ｒｉ（ｎ）が求まる。そこで、カメラ１０１ａ〜１０１ｊの撮影により得られる画像から人物Ａを検出するための検出範囲を検出範囲Ｒｉ（ｎ）に基づいて設定することができる。この場合、Ｓ４０１の処理は、例えば、Ｓ４０２とＳ４０３の間のタイミングで実行される。すなわち、３次元形状モデル生成部３０２は、時刻ｎ−１（第１時刻）におけるオブジェクトの３次元空間上の位置情報に基づいて、時刻ｎ（第２時刻）おける撮影に基づく１又は複数の画像から当該オブジェクトを検出するための検出範囲を特定する。そして、３次元形状モデル生成部３０２は、特定された検出範囲に対して検出処理を行うことでオブジェクトを検出し、当該オブジェクトの３次元形状モデルを生成する。このように、予測位置Ｑｉ（ｎ）や検出範囲Ｒｉ（ｎ）の情報を用いてオブジェクトの検出のための処理範囲を限定することによって、検出精度を維持しつつ、計算コストを削減することができる。

なお、検出範囲Ｒｉ（ｎ）は３次元空間上の領域を表す情報であっても良いが、２次元空間上の領域を表す情報であっても良い。２次元空間上の領域を表す検出範囲Ｒｉ（ｎ）は、３次元空間中における検出範囲Ｒｉ（ｎ）の位置情報と、各カメラ１０１ａ〜１０１ｊのそれぞれの撮影領域内の位置との関連付けに基づいて得ることができる。より具体的には、３次元空間上の検出範囲Ｒｉ（ｎ）を表す複数の座標のそれぞれをカメラ１０１ａ〜１０１ｊのそれぞれの画像上に射影することで、各画像上における検出範囲Ｒｉ（ｎ）の領域を表す情報が得られる。

また、例えば、カメラ１０１ａによる時刻ｎ−１の撮影画像から求めた人物Ａの位置情報に基づいて、カメラ１０１ａによる時刻ｎの撮影画像から人物Ａを検出するための検出範囲を特定するようにしても良い。つまり、本実施形態の３次元形状モデル生成部３０２は、時刻ｎ−１（第１時刻）に関連付けられた画像内におけるオブジェクトの位置情報に基づいて、時刻ｎ（第２時刻）に関連付けられた画像からオブジェクトを検出するための処理範囲を特定できる。そして、３次元形状モデル生成部３０２は、時刻ｎに関連付けられた複数の画像（カメラ１０１ａ〜ｊが時刻ｎに撮影した複数の画像）のうち、当該特定された処理範囲に対して、オブジェクトを検出するための検出処理を実行する。そして、３次元形状モデル生成部３０２は、当該検出処理によって複数の画像のそれぞれから検出されたオブジェクトの画像に基づいて、時刻ｎにおけるオブジェクトの３次元形状モデルを生成する。本段落の説明は、以下の実施形態においても適用できる。

［実施形態２］
実施形態１では、オブジェクトの予測位置Ｑｉとオブジェクトの大きさとに基づいて、検出範囲Ｒｉを設定する例を中心に説明した。これに対し、本実施形態のオブジェクトの追跡方法では、検出範囲Ｒｉを画像ごとに動的に変更できるようにする。これにより、本実施形態の画像処理装置は、オブジェクトの追跡ミスを抑制しつつ、オブジェクトの３次元位置を高精度に追跡することができる。以下、本実施形態におけるオブジェクトの追跡方法について説明する。なお、実施形態１と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。

図７は、本実施形態に係る検出範囲Ｒｉの設定手順を示すフローチャートである。本実施形態では、図４のフローチャートにおけるＳ４０４に代えて、図７に示されるＳ４０４ａおよびＳ４０４ｂの処理が実行される。以下、図７を参照して本実施形態における検出範囲Ｒｉの設定手順について説明する。

Ｓ４０４ａにおいて、検出範囲設定部３０４は、時刻ｎにおける３次元形状モデルＭ（ｉ）の予測位置Ｑｉ（ｎ）に基づいて、３次元形状モデルＭ（ｉ）が存在する可能性が高い領域を特定する。例えば、実施形態１で説明したように、検出範囲設定部３０４は、予測位置Ｑｉを中心として、平均的な３次元形状モデルＭのサイズを含む直方体を、オブジェクトが存在する可能性が高い予測領域として特定することができる。図８は、本実施形態において、３次元形状モデルＭ（ｉ）が存在する可能性が高い予測領域を表した図である。このように、ＣＰＵ２０１はＳ４０４ａにおいて３次元形状モデルＭ（ｉ）が存在する可能性が高い領域を予測する処理を行う。

図８（ａ）には、３次元形状モデルＭ（ｉ）の予測位置Ｑｉが符号８０１で、３次元形状モデルＭ（ｉ）とは異なる他の３次元形状モデルＭ（ｊ）の予測位置Ｑｊが符号８１１でそれぞれ表されている。また、３次元形状モデルＭ（ｉ）が存在する可能性の高い予測領域が符号８０２で、３次元形状モデルＭ（ｊ）が存在する可能性が高い予測領域が符号８１２でそれぞれ表されている。そして、図８（ａ）には、時刻ｎにおける３次元形状モデルＭ（ｉ）の実際の位置が、符号８０３で表されている。

Ｓ４０４ｂにおいて、検出範囲設定部３０４は、３次元形状モデルＭ（ｊ）が存在する可能性が高い予測領域８１２を含まないように、３次元形状モデルＭ（ｉ）の検出範囲Ｒｉを設定する。図８（ａ）には、Ｓ４０４ｂにおいて設定される検出範囲Ｒｉが符号８０４で表されている。本実施形態では、検出範囲Ｒｉ８０４は、３次元形状モデルＭ（ｊ）が存在する可能性が高い予測領域８１２を含まない範囲で、３次元形状モデルＭ（ｉ）が存在する可能性の高い予測領域８０２よりも大きな領域として設定される。この場合、検出範囲Ｒｉ８０４のサイズには上限があり、この上限は、例えば３次元形状モデルＭ（ｉ）のサイズと重心位置の移動可能範囲とから規定される。

図８（ｂ）は、検出範囲Ｒｉ８０４の最大サイズを示す平面図である。図８（ｂ）において、検出範囲Ｒｉ８０４内に存在する楕円８０５は、３次元形状モデルＭ（ｉ）が再現する人物１１，１２の腹部付近の断面を表している。なお、本実施形態において、検出範囲Ｒｉ８０４は正方形で区画されているが、検出範囲Ｒｉ８０４が区画される形状は正方形に限定されない。図８（ｂ）の検出範囲Ｒｉ８０４において、符号８０６は楕円８０５の長径の長さを、符号８０７は３次元形状モデルＭ（ｉ）が１画像で移動可能な距離をそれぞれ示している。例えば、撮像装置１０１が６０ｆｐｓで人物１１，１２を撮像した場合、人の最大移動速度は１０ｍ／ｓｅｃ程度であるため、１画像あたりの平面方向の移動可能距離は約０．２ｍとなる。図８（ｂ）において、楕円８０５の長径の長さを０．３ｍとし、３次元形状モデルＭ（ｉ）（楕円８０５）の移動可能距離８０７を０．２ｍとすると、検出範囲Ｒｉ８０４の一辺の長さは、２×（０．２＋０．３）＝１．０ｍとなる。上記では、検出範囲Ｒｉ８０４の平面方向のサイズを決定する方法について説明したが、検出範囲Ｒｉ８０４の高さ方向のサイズについても、同様の方法によって決定することができる。すなわち、被写体である人の背の高さと、人がジャンプして到達することができる高さとに基づいて、検出範囲Ｒｉ８０４の高さ方向のサイズを決定することができる。

以上説明した通り、本実施形態によれば、検出範囲を画像ごとに動的に変更できる。そのため、本実施形態の画像処理装置は、低計算コストで、より高精度にオブジェクトの３次元位置を追跡することができる。

［実施形態３］
次に、オブジェクトの軸の傾きに応じて検出範囲Ｒｉを回転させることにより、オブジェクトの追跡ミスを抑制しつつ、高精度のオブジェクトの３次元位置を追跡することができる態様を実施形態３として説明する。なお、実施形態１，２と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。

図９は、本実施形態における検出範囲の設定手順例を示す概念図である。図９において、時刻ｎにおける３次元空間の外延が、符号９００で模式的に表されている。さらに、図９では、３次元形状モデルＭ（ｉ）の軸９０１の傾きに基づいて回転された検出範囲Ｒｉ（ｎ）が符号９０２で表されている。３次元形状モデルＭ（ｉ）の軸９０１は、オブジェクトの追跡処理（図４）の実行前に事前に取得した３次元形状モデルＭ＿ｐｒｅ（ｉ）をフィッティングすることにより取得してもよいし、３次元形状モデルＭ（ｉ）を推定することにより取得してもよい。

このようにオブジェクトの軸の傾きに応じて検出範囲Ｒｉが回転されるため、例えば被写体である人物１１，１２が転倒するような場合においても、高精度にオブジェクトの３次元位置を追跡することができる。

［実施形態４］
実施形態１〜３に係る画像処理システム１は、撮像装置１０１が撮像したオブジェクト（人物）の位置を追跡して、追跡した位置情報を記憶領域に記憶することができる。このような画像処理システム１は、例えば、サッカーやラグビーなどの試合において、フィールド１０上の選手の位置を追跡し、当該選手の走行距離を計測するなどの用途に使用され得る。主にこのような用途において、画像処理装置１００は、撮像装置１０１によって撮像された画像群から、ボールの３次元形状モデルを生成し、当該３次元形状モデルの位置を画像ごとに追跡してもよい。例えば、ボールの形状および大きさは、フィールド１０において催される競技に応じて規定される。そのため、画像処理装置１００は、ボールに対応する形状や特徴量に基づいて画像群を探索し、画像群のそれぞれの座標から三角測量を利用して、３次元位置を特定することができる。

また、本実施形態によれば、図４のフローチャートにおいて検出範囲Ｒｉの設定方法を変更することにより、ボールに対応するオブジェクトの３次元位置を特定することも可能となる。選手がボールを蹴った場合、ボールは急激に移動する方向が変化したり、急激に加速する。

そこで、本実施形態では、図４のフローチャートにおけるＳ４０３に代えて、Ｓ４０４において、検出範囲設定部３０４が、ボールの移動可能距離とボールの大きさとに基づいて、検出範囲Ｒｉを設定する。例えば、サッカーボールの半径は約０．１ｍである。そして、撮像装置１０１が６０ｆｐｓでサッカーボールを撮像した場合、サッカーボールの最大移動速度は時速１５０ｋｍ程度であるため、１画像あたりの移動可能距離は約０．７ｍである。この場合、図８（ｂ）と同様の考え方を適用して、検出範囲Ｒｉは、２×０．１＋０．７＝０．９ｍを半径とする球形状に設定されてもよい。

以上説明した通り、本実施形態によれば、オブジェクトの種類に応じた追跡方法を選択することにより、選手やボールなどの種類ごとに、高精度にオブジェクトの位置を追跡することができる。

［その他の実施例］
実施形態１〜４では、検出範囲Ｒｉとして区画される形状が直方体および球形状である実施例が説明された。しかしながら、検出範囲Ｒｉとして区画される形状は直方体および球形状に限定されず、立方体、角錐形、円錐形、紡錘形などの形状を適用することができる。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (22)

1. 複数のカメラがオブジェクトを撮影することにより得られる複数の画像に基づいて生成される３次元形状データに関する処理を行う画像処理装置であって、
   第１時刻におけるオブジェクトの位置情報と前記オブジェクトの属性情報とに基づいて、前記第１時刻より後の第２時刻における前記オブジェクトの３次元形状データに関する処理範囲を設定する設定手段と、
   前記設定手段により設定される処理範囲に対して、前記第２時刻における前記オブジェクトの３次元形状データに関する処理を行う処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記オブジェクトの属性情報は、前記オブジェクトの種類に関する情報を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記オブジェクトの種類に応じた大きさの処理範囲を設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記設定手段により設定される処理範囲の大きさは、前記オブジェクトが人物である場合と前記オブジェクトがボールである場合とで異なることを特徴とする請求項３に記載の画像処理装置。
5. 前記設定手段は、前記オブジェクトの種類に応じた形状の前記処理範囲を設定することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記設定手段により設定される処理範囲の形状は、前記オブジェクトが人物である場合と前記オブジェクトがボールである場合とで異なることを特徴とする請求項５に記載の画像処理装置。
7. 前記設定手段は、前記オブジェクトの種類に応じた設定方法により処理範囲を設定することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記オブジェクトの属性情報は、前記オブジェクトの大きさに関する情報を含むことを特徴とする請求項１に記載の画像処理装置。
9. 前記設定手段は、前記オブジェクトの大きさに応じた大きさの処理範囲を設定することを特徴とする請求項８に記載の画像処理装置。
10. 前記設定手段は、前記第１時刻における前記オブジェクトの位置情報に基づいて、前記処理範囲として前記第２時刻における前記オブジェクトの検出範囲を設定し、
    前記処理手段は、前記３次元形状データに関する処理として、前記検出範囲において検出された前記オブジェクトの３次元形状データと前記第１時刻における前記オブジェクトの識別情報とを対応付ける処理を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記設定手段は、前記第１時刻における前記オブジェクトの位置情報に基づいて、前記処理範囲として、前記第２時刻に関連付けられた複数の画像において前記オブジェクトの検出範囲を設定し、
    前記処理手段は、前記３次元形状データに関する処理として、前記第２時刻に関連付けられた複数の画像において、前記設定手段により設定された前記検出範囲から検出された前記オブジェクトの画像に基づいて、前記第２時刻における前記オブジェクトの３次元形状データを生成する処理を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 前記第１時刻における前記オブジェクトの位置情報は、前記第１時刻における前記オブジェクトの３次元空間上の３次元位置情報、又は前記第１時刻に関連付けられた画像における前記オブジェクトの２次元位置情報であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記設定手段は、前記第１時刻における前記オブジェクトの速度、加速度、及び運動モデルの少なくとも１つをさらに用いることによって、前記処理範囲を設定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記３次元形状データは、仮想視点画像の生成のために用いられることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 複数のカメラがオブジェクトを撮影することにより得られる複数の画像に基づいて生成される３次元形状データに関する処理を行う画像処理方法であって、
    第１時刻におけるオブジェクトの位置情報と前記オブジェクトの属性情報とに基づいて、前記第１時刻より後の第２時刻における前記オブジェクトの３次元形状データに関する処理範囲を設定する設定ステップと、
    前記設定ステップにより設定される処理範囲に対して、前記第２時刻における前記オブジェクトの３次元形状データに関する処理を行う処理ステップと、
    を有することを特徴とする画像処理方法。
16. 前記オブジェクトの属性情報は、前記オブジェクトの種類に関する情報を含むことを特徴とする請求項１５に記載の画像処理方法。
17. 前記設定ステップにおいて、前記オブジェクトの種類に応じた大きさの処理範囲が設定されることを特徴とする請求項１６に記載の画像処理方法。
18. 前記設定ステップにおいて、前記オブジェクトの種類に応じた形状の処理範囲が設定されることを特徴とする請求項１６又は１７に記載の画像処理方法。
19. 前記設定ステップにおいて、前記オブジェクトの種類に応じた設定方法により処理範囲が設定されることを特徴とする請求項１６乃至１８のいずれか１項に記載の画像処理方法。
20. 前記オブジェクトの属性情報は、前記オブジェクトの大きさに関する情報を含むことを特徴とする請求項１５に記載の画像処理方法。
21. 前記設定ステップにおいて、前記オブジェクトの大きさに応じた大きさの処理範囲が設定されることを特徴とする請求項２０に記載の画像処理方法。
22. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として動作させるためのプログラム。

Images