JP2018125642A

JP2018125642A - 領域抽出装置及びプログラム

Info

Publication number: JP2018125642A
Application number: JP2017015185A
Authority: JP
Inventors: 軍陳; Gun Chin; 敬介野中; Keisuke Nonaka; 浩嗣三功; Hiroshi Sanko; 内藤　整; Hitoshi Naito; 整内藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2017-01-31
Filing date: 2017-01-31
Publication date: 2018-08-09
Anticipated expiration: 2037-01-31
Also published as: JP6641313B2

Abstract

【課題】ビジュアル・ハル生成及びこれに基づく自由視点映像生成に好適な、複数対象が撮影された多視点カメラ画像において対象のオクルージョンが発生するような場合でも、個別対象の空間領域をそれぞれ抽出できる領域抽出装置を提供する。【解決手段】複数対象の撮影された多視点のカメラ画像における各カメラ画像より、対象を包含する１つ以上の画像領域を抽出する第一抽出部1と、各カメラ画像において前記抽出された１つ以上の画像領域が複数対象のいずれに該当するかを、カメラ画像間での対象の対応関係と共に決定する対応取得部2と、前記決定された対応関係で結ばれる各カメラ画像における前記抽出された画像領域に基づき、当該対応関係にある対象を包含する空間領域を抽出する第二抽出部3と、を備えて領域抽出装置10を提供する。【選択図】図１

Description

本発明は、ビジュアル・ハル生成及びこれに基づく自由視点映像生成を高速化・高精度化するのに好適な、複数対象が撮影された多視点カメラ画像において対象のオクルージョンが発生するような場合でも、個別対象の空間領域をそれぞれ抽出できる領域抽出装置及びプログラムに関する。

モデルベースの自由視点映像の生成においては、多視点のカメラ映像から撮影されている対象のボクセル空間上における3次元形状モデル（Visual Hull、ビジュアル・ハル、以下適宜、「VH」と略称する。）の生成が利用される。自由視点映像の高速且つ高精度の生成のために、VHの生成を高速且つ高精度に行うことが望まれる。

VH生成の高速化・高精度化に関して、非特許文献１や２の技術が存在する。

非特許文献１では、リアルタイムのVH生成を目指して、第一アプローチとしてVH生成のためのボクセル空間上の初期直方体領域（bounding box）を予め計算し、ルックアップテーブルに保持している。また、第二アプローチとして、画像をダウンサンプリングすることで、ボクセルの中心点が近似的に画像の1ピクセルに射影されるようにしている。図８は当該初期領域（bounding box）の模式図である。

非特許文献２では、初期直方体領域（bounding box）の推定と、視体積交差法における交点検出と、の2ステップからなる、VHのロバストかつ正確な計算を提案している。

Alexander Ladikos, Selim Benhimane, and Nassir Navab. "Efficient Visual Hull Computation for Real-Time 3D Reconstruction using CUDA", Proceedings of 2008 Conference on Computer Vision and Pattern Recognition Workshops, pp. 1-8, 2008. Peng Song, Xiaojun Wu, and Michael Yu Wang. "A robust and Accurate Method for Visual Hull Computation", International Conference on Information and Automation, pp. 784-789, 2009.

以上のように、ボクセル密度その他に関しての初期領域の適切な設定は、ＶＨ生成の高速化・高精度化に不可欠である。

しかしながら、いずれの従来技術も、図９に模式的に示すように、多視点カメラ画像に複数対象が撮影されている場合に、VH生成のための適切な初期領域（bounding box）として当該複数対象のそれぞれについて初期領域を得るようにすることができなかった。すなわち、図９では２つの対象がある場合の例が示され、従来手法では[2]のように２つの対象があっても１つの初期領域しか求めることができなかった。これは、複数領域の存在によってカメラ画像に複数対象のオクルージョンが発生すること等が原因であり、従来手法ではこのような場合に対処することができなかった。[1]に示すように、２つの対象のそれぞれに応じた初期領域を抽出することが望まれる。

本発明は、上記従来技術の課題に鑑み、複数対象が撮影された多視点カメラ画像において対象のオクルージョンが発生するような場合でも、個別対象の空間領域をそれぞれ抽出できる領域抽出装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、領域抽出装置であって、数対象の撮影された多視点のカメラ画像における各カメラ画像より、対象を包含する１つ以上の画像領域を抽出する第一抽出部と、各カメラ画像において前記抽出された１つ以上の画像領域が複数対象のいずれに該当するかを、カメラ画像間での対象の対応関係と共に決定する対応取得部と、前記決定された対応関係で結ばれる各カメラ画像における前記抽出された画像領域に基づき、当該対応関係にある対象を包含する空間領域を抽出する第二抽出部と、を備えることを特徴とする。また、コンピュータを前記領域抽出装置として機能させるプログラムであることを特徴とする。

本発明によれば、多視点カメラ画像において複数対象が撮影されている場合であっても、個別対象の空間領域をそれぞれ適切に抽出することができる。

一実施形態に係る領域抽出装置の機能ブロック図である。領域抽出装置の各部の処理を説明するための模式例を示す図である。領域抽出装置の各部の処理を説明するための模式例を示す図である。一実施形態に係る対応取得部の動作のフローチャートである。第二抽出部の処理を説明するための図である。第二抽出部の処理を説明するための図である。本発明による効果を従来手法との対比で示す表である。 VH生成における初期領域（bounding box）の模式図である。従来手法の課題を説明するための模式図である。

図１は、一実施形態に係る領域抽出装置10の機能ブロック図である。領域抽出装置10は、第一抽出部1、対応取得部2、第二抽出部3及び追加処理部4を備える。第一抽出部1はさらに、輪郭抽出部11、代表点決定部12、対象数決定部13及び画像領域決定部14を備える。各部の処理概要は以下の通りである。

第一抽出部1では、多視点カメラ画像として構成された各カメラ視点k(k=1,2, ..., N)の画像P(1), P(2), ..., P(N)を受け取り、各画像P(k)における対象を包含する１つ以上の領域を画像領域として、その関連情報（各対象の代表点位置の情報、対象数の情報など）と共に、対応取得部2及び第二抽出部3へ出力する。当該多視点カメラ画像には複数対象が撮影されている。当該多視点カメラ画像は映像における各時刻tの画像として構成することができるが、以下の説明ではある任意の時刻tにおける画像P(k)であるものとして、時刻への言及は省略する。

第一抽出部1の各部の処理概要は以下の通りである。輪郭抽出部11は、多視点カメラ画像の各カメラ画像P(k)より対象の輪郭を１つ以上抽出して、代表点決定部12、対象数決定部13及び画像領域決定部14へと出力する。代表点決定部12は、当該抽出された各対象の輪郭よりその代表点を決定して対応取得部2へ出力する。対象数決定部13は、当該抽出された輪郭の個数を各画像P(k)において調べることで、多視点カメラ画像において撮影されている複数対象の数を決定して、第二抽出部3へ出力する。画像領域決定部14は、当該抽出された輪郭を包含する領域として、各対象の画像領域を決定して対応取得部2及び第二抽出部3へと出力する。

対応取得部2では、第一抽出部1より得られた各画像P(k)の対象を包含する１つ以上の画像領域が、多視点カメラ画像全体において撮影されている複数対象のいずれに該当するかの特定を、異なるカメラ画像P(i),P(j)(i≠j)間での対象の対応関係の決定と共に行い、当該得られた対応関係を第二抽出部3へと出力する。

第二抽出部3では、対応取得部2で得られた各画像P(k)間での対象同士の対応関係と、画像領域決定部14で得られた各画像P(k)における各対象を包含する画像領域と、に基づき、多視点カメラ画像の撮影されているボクセル空間内に、各対象を包含する空間領域を決定して出力する。当該決定された空間領域は、視体積交差法によって対象のVH生成を行う際の初期領域として利用可能である。本発明によれば特に、多視点カメラ画像に複数の対象が撮影されており、一部のカメラ画像P(k)において対象のオクルージョンが発生し、その領域同士が重複等している場合であっても、各対象についてそれぞれ最適化されたサイズの空間領域を得ることができる。

追加処理部4では、第二抽出部3の抽出した各対象の空間領域を用いて、任意の追加処理を行うことができる。追加処理として、各対象の空間領域から対象のVHを生成してもよいし、さらに当該生成されたVHを用いて、領域抽出装置10に入力された多視点カメラ画像（映像）に対応する自由視点映像を生成してもよい。追加処理部4におけるVH生成及び自由視点映像生成の処理には、任意の既存手法を利用してよい。

以下、図１の各部の処理の詳細を説明する。図２及び図３は、当該各部の処理によって得られるデータの模式的な例を図２において[1]〜[3]、図３において[4],[5]と分けてそれぞれ示す図であり、以下の説明において適宜参照する。図２及び図３では、多視点カメラ画像は複数対象の例として2人のサッカープレイヤーを撮影しており、領域抽出装置10に入力される多視点カメラ画像が8個のカメラ画像によって構成されている場合に、図１の各部で得られるデータの模式例がそれぞれ示されている。なお、図２及び図３ではカメラ1〜カメラ8の各画像において得られる各データが列挙して示されているが、図３の[4]だけ説明の便宜上、カメラ1〜カメラ8のデータの並び方をその他の[1]〜[3],[5]とは変えていることに注意されたい。

輪郭抽出部11では、多視点カメラ画像の各カメラ画像P(k)より１つ以上の対象の輪郭を抽出して、各部12,13,14へと出力する。当該輪郭抽出には任意の既存手法を利用してよく、例えば混合正規分布を用いた前景・背景の領域分割を用いてもよいし、映像としての多視点カメラ画像の時間変化（例えばオプティカルフローなど）を利用する手法を用いてもよいし、こうした既存手法を組み合わせてもよい。ある時刻に抽出した輪郭について以降の時刻に関してトラッキング（追跡）を行うようにしてもよい。領域抽出後にさらに、小さすぎる領域を近傍の大きな領域にマージする等のノイズ除去を施して、対象輪郭を得るようにしてもよい。

図２の[1]には、当該得られたマスク画像としての輪郭画像（シルエット画像）の例が示されており、カメラ1,3,4,5,7,8からは、2人のプレイヤーに関して画像上でその領域が分離された状態で2つの輪郭が抽出され、カメラ2,6からは、2人のプレイヤーが重なってしまっていることによるオクルージョンで、１つのみの輪郭が抽出されている。

代表点決定部12では、輪郭抽出部11で抽出された各画像の各輪郭について、その代表点を決定して、当該代表点の位置の情報を対応取得部2へと出力する。当該決定される代表点は、輪郭の領域に基づいて定義される任意種類の代表点を用いてよいが、例えば重心（セントロイド）として代表点を求めてもよい。

重心は具体的には例えば次のようにして計算することができる。カメラkの画像P(k)における輪郭画像（シルエット画像）をI_k(x,y)（当該輪郭に属する位置(x,y)では「１」を与え、当該輪郭に属さない位置(x,y)では「0」を与える）とすると、まず以下の式（１）で画像P(k)の対象o_k ^l（lは輪郭領域として定まる対象を識別するインデクスである）に関する0次及び1次の各モーメント特徴（(p,q)=(0,0), (1, 0), (0,1)）を求める。

ここで、画像座標(x,y)においてはx軸を横方向、y軸を縦方向に取るものとし、W、Lについては当該対象o_k ^lを囲む矩形（カメラ画像P(k)の縦・横に平行な辺を有する矩形）の横幅及び縦幅である。以下に説明する画像領域決定部14において当該矩形を求めるので、W、Lの情報を取得することができる。（当該情報取得の流れは図１では省略している。）(x_l, y_l)は対象o_k ^lに属する画素位置であり、式（１）では計算高速化のためにx=4m, y=4nのように4ピクセルおきのみに間引いて計算を行っているが、間引きのピクセル数は任意に設定してよい。また、間引きを実施しなくともよい。

次に、上記式（１）で求めた各モーメント特徴を用いることで、画像P(k)の対象o_k ^lの重心（セントロイド）位置(x(o_k ^l),y(o_k ^l))を以下の式（２）のように求めることができる。

図２では[3]に、代表点決定部12が代表点として決定した各対象の重心位置（セントロイド位置）の例が、その座標値と共に、その位置を「＋」印で表すことによって示されている。

対象数決定部13では、輪郭抽出部11が各カメラ画像P(k)において抽出した輪郭領域のうちの最大数として、多視点カメラ画像の全体において撮影されている対象数θ_sを決定し、当該決定した対象数を対応取得部13へと出力する。画像P(k)において抽出された対象数（輪郭領域の数であり、オクルージョン等があれば実際の数よりも減る）をθ_kと書くと、対象数は以下の式（３）で与えられる。例えば図２及び図３の例であれば、2プレイヤーが撮影されているため対象数θ_s=2である。

上記対象数θsを自動算出するにあたって、本発明では次のような仮定を置いている。すなわち、複数対象が撮影されるシーンにおいては、対象の間でのオクルージョンの発生は避けようがない。しかしながら、多視点カメラ画像の取得において各カメラを異なる位置に設置しておくことで、少なくとも１つのカメラではオクルージョンが発生せずに全ての対象が分離して撮影されている、という仮定である。

画像領域決定部14では、各画像P(k)に関して輪郭抽出部11でその輪郭が抽出された対象o_k ^lの包含領域を、対象o_k ^lの画像領域R(o_k ^l)（Region of Interest）として対応取得部2及び第二抽出部3へと出力する。当該包含する画像領域R(o_k ^l)は、輪郭を所定手法で膨張変形させて作ってもよいし、対象o_k ^lの輪郭を囲む矩形として作ってもよい。（当該矩形の情報は前述の式（１）の計算の際に参照される。）囲む矩形として作る場合は、画像P(k)の縦・横に矩形の縦・横が平行であり、輪郭を覆う最小の矩形として作ればよい。図２では[2]に、輪郭を囲む矩形として画像領域決定部14が求めた矩形の例が示されている。

対応取得部2では、以上の第一抽出部1で得られた一連の情報を入力として、各画像P(k)においてその画像領域R(o_k ^l)が得られている対象o_k ^lが、別の画像P(k+1)におけるどの対象o_k+1 ^l'に該当するかの対応付けを、全てのカメラ画像の間において実施し、得られた対応関係を第二抽出部3へと出力する。すなわち、第一抽出部1で得られた時点の画像P(k)の対象o_k ^lは、別の画像P(k+1)ではどの対象に該当するかという対応関係は未知の状態である（対象のインデクスlが異なる画像間において整合していない状態である）が、対応取得部2によって当該対応関係が求められる。なお、当該求まる対応関係は、対象o_k ^lに紐づく画像領域R(o_k ^l)の対応関係でもある。

図４は、一実施形態に係る対応取得部2の動作のフローチャートである。

ステップS1では、参照位置の初期化を行ってから、ステップS2へと進む。具体的には、前述の式（３）において最大値としての対象数θ_sを与えた画像P(k)（すなわち、オクルージョンが発生することなく全ての対象の輪郭が分離されている画像）を選び、当該画像P(k)に対して代表点決定部12が求めた各対象o_k ^lの代表点(x(o_k ^l),y(o_k ^l))(l=1,2, ..., θ_s)をそのまま、当該画像P(k)における各対象o^lの参照位置(S_x(o_k ^l),Sy(o_k ^l))として設定する。

なお、「参照位置」とは、当該画像P(k)をリファレンス（参照対象）として別の画像P(k+1)との間で対象同士の対応関係を求めるためのものであり、この名称を付している。またステップS1では当該参照位置が初めて求まることから、「初期化」と称している。

ステップS1において、最大値としての対象数θ_sを与える画像P(k)が複数ある場合、一実施形態では、任意の一つをランダムに参照位置の設定用に用いればよい。

また、別の一実施形態として、最大値としての対象数θ_sを与える画像P(k)が複数ある場合、対象同士の画像上での空間的な分離が大きいもの（対象の画像領域同士がより広く離れているもの）を参照位置の設定用として決定するようにしてもよい。ここで、各画像P(k)における対象同士の画像上での空間的な分離は、例えば代表点決定部12が決定した代表点位置の分散として計算すればよい。当該求めた分散をさらに各画像P(k)における対象の画像領域（又は輪郭領域）の面積総和で割って規格化するようにしてもよい。また、代表点位置の分散ではなく、全ての画像領域（又は輪郭領域）ペア間の距離の総和として、空間的な分離を計算するようにしてもよい。以上のいずれかの手法で計算した空間的な分離が最大のものを参照位置の設定に用いてもよいし、当該空間的な分離が所定値以上となるものの中からランダムに参照位置の設定に用いるものを決定してもよい。

以下、図４のフローの説明においては、説明の便宜上、k=1のP(1)がステップS1において参照位置の設定に用いられたものとし（すなわち、ステップS1の時点でk=1であるものとし）、最初に画像P(1)を参照して画像P(2)との対象の対応関係を求め、次いで画像P(2)を参照して画像P(3)との対象の対応関係を求め、同様に継続して画像P(k)を参照して画像P(k+1)との対応関係を求める、ということを繰り返すものとして説明する。

ステップS2は、上記説明した通りの繰り返し処理が以降のステップS3〜S7で繰り返されることを示すためのダミーステップ（フローチャートの繰り返し構造を示すためのダミーステップ）であり、当該処理対象のP(k)を設定したうえでステップS3へと進む。

ステップS3では、当該参照元としての画像P(k)における各対象o_k ^lの参照位置(S_x(o_k ^l), Sy(o_k ^l))の画像P(k+1)における対応位置(s'_x(o_k+1 ^l), s'_y(o_k+1 ^l))を、カメラ画像P(k),P(k+1)間の座標変換（透視変換、perspective transfomation）を行うホモグラフィ行列H_(k,k+1)で変換することで、以下の式（４）のようにして求めてから、ステップS4へと進む。

ステップS4では、当該参照元としての画像P(k)における各対象o_k ^qの参照位置について上記式（４）で求めた画像P(k+1)における対応位置(s'_x(o_k+1 ^q), s'_y(o_k+1 ^q))と、画像P(k+1)の各対象o_k+1 ^lについて代表点決定部12で求められている代表位置(x(o_k+1 ^l),y(o_k+1 ^l))と、のオイラー距離（すなわち、qの取りうる数とlの取りうる数との積による組み合わせ数だけ、当該距離が存在する）をそれぞれ以下のように計算してから、ステップS5へと進む。なお、距離計算はオイラー距離（L1ノルム距離）以外の距離として、ユークリッド空間で定義される任意の距離（Lnノルム距離、L∞ノルム距離など）を用いてもよい。

ステップS5では、参照元としての画像P(k)における各対象o_k ^qに画像P(k+1)において対応するo_k+1 ^qを、上記ステップS4において求めた距離を最小にするものとして以下の式のように決定することで、画像P(k),P(k+1)間での対象同士の対応関係を求めてから、ステップS6へと進む。

ステップS6では、画像P(k+1)における各対象o_k+1 ^qの参照位置を設定してから、ステップS7へと進む。ここで、対象o_k+1 ^qの対応が１対１であった場合、すなわち、画像P(k)におけるただ１つだけの対象がステップS6において対象o_k+1 ^qに対応すると判定されている場合は、対象o_k+1 ^qについて代表点決定部12で求められている代表位置(x(o_k+1 ^q),y(o_k+1 ^q))をそのまま参照位置として設定する。一方、1対１でない場合、すなわち、画像P(k)における２つ以上の対象o_k ^qがステップS6において対象o_k+1 ^qに対応すると判定されている場合は、当該対応する２つ以上の対象o_k ^q位置を前述の式（４）によって画像P(k+1)上へと変換した２つ以上の位置(s'_x(o_k+1 ^q), s'_y(o_k+1 ^q))を、当該2つ以上の対象のそれぞれの参照位置として設定する。

ステップS7では、以上のステップS2〜S6の繰り返しが全視点のカメラ画像P(k)について実施済みであるか否かを判定し、実施済みであれば当該フローは終了する。当該フロー全体が終了することで、対応取得部2は全てのカメラ画像P(k)間での間の対象の対応関係を取得した状態となり、当該得られた対応関係を第二抽出部3へと出力する。一方、ステップS7で全てのカメラ画像P(k)について処理が未完了であれば、ステップS2へと戻り、次の画像P(k+1)を処理対象に設定したうえで、当該ステップS2〜S7を繰り返す。以上の説明より明らかなように、ステップS6で画像P(k+1)について設定された参照位置が、次の繰り返し処理において次の画像P(k+2)との対応関係を得るために利用されることとなる。

図３では[4]に、カメラ画像1,2間、2,3間、…7,8間において「プレイヤー１」に対応する対象について、上記のステップS3で変換位置を求めた例が示されている。ここで、「＋」印が変換される元の参照位置であり、「×」印が参照位置を変換して得られる位置を表している。図３では[5]に、以上の図４のフローによってカメラ画像1〜8の全体に渡って「プレイヤー１」の領域と「プレイヤー２」の領域との区別が得られた例が示されている。カメラ画像2,6においてはオクルージョンが発生している１つの領域が「プレイヤー１」であり且つ同時に「プレイヤー２」の領域として決定されていることに注意されたい。（ただし図４のステップS6において前述の通り、カメラ画像2,6においても「プレイヤー１」の代表点と「プレイヤー２」の代表点とは別のものとして求まることとなる。）

第二抽出部3は、以上の対応取得部2で各画像P(k)間での対応が取得された各対象o_k ^qの画像領域R(o_k ^q)（当該画像領域は画像領域決定部14から得られる）を入力として、各対象o^qをボクセル空間上で包含する空間領域Vol(o^q)を求め、領域抽出装置10からの出力となす。空間領域Vol(o_q)の取得は、各画像P(k)において画像領域R(o_k ^q)の内部に空間領域Vol(o_q)が収まる関係を満たすような任意の既存手法を利用することができる。

また、第二抽出部3では以下の手法のようにして各対象o^qの空間領域Vol(o_q)を求めてもよい。図５及び図６は当該手法を説明するための模式図である。図５では、カメラkのカメラ中心(c_k(x),c_k(y),c_k(z))から画像P(k)におけるある対象を囲む矩形（画像領域）の４頂点へと向かうベクトル（光線）がそれぞれl_k ¹,l_k ²,l_k ³,l_k ⁴として、当該矩形の右上頂点に対応するl_k ¹から始まる時計回りの順で示されている。画像P(k+1)においても画像P(k)との対応対象を囲む矩形について同様のものが示されている。図５に示すように、カメラk+1の光線l_k+1 ¹,l_k+1 ²によって平面P_(k,k+1)が張られる（その法線ベクトルを(n₁,n₂,n₃)とする）と共に、当該平面P_(k,k+1)とカメラkの光線l_k ³,l_k ⁴との交点としてそれぞれ点p³ _(k,k+1)(x,y,z)及び点p⁴ _(k,k+1)(x,y,z)が得られる。以上の表記により、当該交点p³ _(k,k+1)(x,y,z)及び点p⁴ _(k,k+1)(x,y,z)をそれぞれ以下の式(5),(6)のように求めることができる。

さらに、以下の式(7)によって各対象o^qの空間領域Vol(o^q)をボクセル空間内の矩形領域Vol(o^q)={(x,y,z)|x_min≦x≦x_max, y_min≦y≦y_max, z_min≦z≦z_max}として求めることができる。図６は、当該求める矩形領域をボクセル空間のうち(x,y)平面を切り取って模式的に示すものであり、8個のカメラ中止からの射影（projection）が行われている。

以上、本発明によれば、多視点カメラ画像に複数対象が撮影されている場合であっても、複数対象のそれぞれの体積領域を区別して求めることができる。図７に本発明の効果を、式(7)の出力の形で示す。図７の例は図３，４のプレイヤー１，２の2人が対象として含まれている場合に本発明を適用した結果と、本発明を適用しない従来手法の結果（プレイヤー１，２を区別せずこれら全体を包含する体積領域を求める場合）と、が対比して示されており、従来手法の体積に比べてプレイヤー１，２の領域がそれぞれ1/7, 1/8で抽出されていることが見て取れる。

以下、本発明の補足事項を説明する。

（１）図４のステップS3において変換位置を求めるためのホモグラフィ行列H_(k,k+1)は、各カメラk,k+1間でキャリブレーションをしておくことで所定行列として予め求めておいたものを利用すればよい。図５，６で説明した計算に必要な情報も、当該キャリブレーションの際に取得しておけばよい。また、当該キャリブレーションを行うことなく、画像P(k),P(k+1)間で点対応を求めることによって既存手法により、その場で取得するようにしてもよい。

（２）図４のフローを行うための画像P(1),P(2), ..., P(N)の順序は、ステップS1で設定される画像に応じて、また、各カメラの位置関係に応じて、予め所定順番を定めておけばよい。図４では説明の便宜上、P(1)が参照位置の初期化用に設定されてP(1)→P(2)→P(3)→P(4)→P(5)→P(6)→P(7)→P(8)の順に対応関係を求めた。同様に、例えばP(4)が参照位置の初期化用に設定された場合であれば、P(4)→P(5)→P(6)→P(7)→P(8)→P(1)→P(2)→P(3)の順で対応関係を求めてもよいし、P(4)→P(3)→P(2)→P(1)→P(8)→P(7)→P(6)→P(5)の順で対応関係を求めてもよい。

（３）本発明は、コンピュータを領域抽出装置10として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが領域抽出装置10の各部の機能に対応する命令を実行することとなる。

10…領域抽出装置、1…第一抽出部、2…対応取得部、3…第二抽出部

Claims

複数対象の撮影された多視点のカメラ画像における各カメラ画像より、対象を包含する１つ以上の画像領域を抽出する第一抽出部と、
各カメラ画像において前記抽出された１つ以上の画像領域が複数対象のいずれに該当するかを、カメラ画像間での対象の対応関係と共に決定する対応取得部と、
前記決定された対応関係で結ばれる各カメラ画像における前記抽出された画像領域に基づき、当該対応関係にある対象を包含する空間領域を抽出する第二抽出部と、を備えることを特徴とする領域抽出装置。
前記第一抽出部は、各カメラ画像より対象の輪郭を抽出し、当該輪郭を包含する領域として前記画像領域を抽出することを特徴とする請求項１に記載の領域抽出装置。
前記対応取得部では、前記画像領域における対象の代表点同士の、異なるカメラ画像間での位置の対応関係を求めることで、前記カメラ画像間での対象の対応関係を求めることを特徴とする請求項１または２に記載の領域抽出装置。
前記対応取得部では、前記異なるカメラ画像間での位置の対応関係を、ホモグラフィ行列による変換によって求めることを特徴とする請求項３に記載の領域抽出装置。
前記対応取得部では、各カメラ画像同士の間に定められている所定順番で、前記画像領域における対象の代表点同士の、異なるカメラ画像間での位置の対応関係を求め、当該求めた対応関係によって第一カメラ画像における画像領域に対象の重複が発生していると判断された場合、当該第一カメラ画像との対応関係を求めた第二カメラ画像における対象の代表位置を当該第一カメラ画像の座標に変換することで、当該第一カメラ画像における対象の代表点を定めることを特徴とする請求項３または４に記載の領域抽出装置。
前記対応取得部では、前記画像領域における対象の代表点として、対象の輪郭領域の重心を採用することを特徴とする請求項３ないし５のいずれかに記載の領域抽出装置。
前記対応取得部では、各カメラ画像において前記第一抽出部によって抽出された画像領域の数のうちの最大数を前記複数対象の数として定め、当該最大数が抽出されているカメラ画像の１つにおける対象の代表点の位置を参照位置として設定し、当該参照位置のその他のカメラ画像における対応位置を求めることで、前記画像領域における対象の代表点同士の、異なるカメラ画像間での位置の対応関係を求めることを特徴とする請求項３ないし６のいずれかに記載の領域抽出装置。
前記対応取得部では、前記最大数を与えるカメラ画像が複数存在する場合に、前記第一抽出部によって抽出されている画像領域同士の空間的な分離が大きいと判定されるカメラ画像の中から、前記参照位置を設定するための１つのカメラ画像を決定することを特徴とする請求項７に記載の領域抽出装置。
前記第一抽出部では、矩形領域として前記画像領域を求め、
前記第二抽出部では、前記決定された対応関係で結ばれる各カメラ画像における前記抽出された矩形領域の画像領域に基づき、第一カメラ画像のカメラ中心から第一カメラ画像の矩形領域の２頂点へと延びる２直線と、第二カメラ画像のカメラ中心と第二カメラ画像の矩形領域の２頂点とが乗る平面と、の２交点を求め、一連の当該第一カメラ画像及び当該第二カメラ画像の間で当該求まる一連の２交点に基づいて、前記対応関係にある対象を包含する空間領域を抽出することを特徴とする請求項１ないし８のいずれかに記載の領域抽出装置。
コンピュータを請求項１ないし９のいずれかに記載の領域抽出装置として機能させることを特徴とするプログラム。