JP2021022321A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 並列に処理可能な輪郭追跡技術を提供すること。【解決手段】 撮像画像における特定領域において非特定領域との境界部分における注目画素について、該非特定領域への方向ベクトルを求める。注目画素の方向ベクトルに基づき、注目画素と隣接する境界部分内の画素から１つを選択画素として選択する。注目画素から選択画素への方向を示す情報を、特定領域に対応する輪郭を示す情報として生成する。【選択図】 図１

Description

本発明は、画像中における被写体の輪郭追跡技術に関するものである。

多くの画像処理の中で従来から存在する輪郭追跡処理が使われている。輪郭追跡処理とは、輪郭抽出した結果に対して各輪郭点の次の輪郭点を算出する処理である。例えば、非特許文献１および非特許文献２では、画像から対象物体領域を抽出し、該抽出した対象物体領域の輪郭追跡を行っている。この輪郭追跡の結果を用いてフーリエ記述子による輪郭の特徴抽出を行うことで手形状や物体の識別を行うことができる。

また、特許文献１の複合現実感（ＭＲ）システムでは、現実物と３ＤＣＧモデルとの前後関係を考慮した画像を生成するために、注目物体の輪郭情報を用いて現実物の深度計測および３ＤＣＧモデル生成を行っている。

なお、輪郭追跡を行うためには、一般的には逐次処理が行われている。例えば、一般的な輪郭追跡処理では、対象物体領域を二値化した画像に対してラスタスキャンを行い、輪郭点が見つかる度に逐次的な処理でチェインコードの算出を行っている。また、非特許文献３に開示されている動的輪郭法では、最初に対象物体の近くに初期輪郭形状（真の輪郭とずれていても良い）を配置し、逐次処理によって真の輪郭に近づけていく。具体的には、輪郭点間の長さや角度を用いたエネルギー関数を定義し、エネルギー関数が最小になるまで輪郭点を繰り返し動かしていく。その結果、輪郭形状と輪郭追跡情報が同時に得ることができる。

特開2013−134706号公報

山崎太一、石井大祐、渡辺裕、"フーリエ記述子と色情報を用いた野菜識別手法"、情報処理学会研究報告、Vol.2012-AVM-79 No.27 立見ジェスチャユーザインタフェースのためのP型フーリエ記述子を用いた手の姿勢推定、計測自動制御学会、第283回研究集会、2013 Michael Kass, Andrew Witkin, and Eemetri Terzopoulos, "Snakes:Active Contour Models", International Journal of Computer Vision, 321-331(1988)

特許文献１のＭＲシステムでは、現実の手と３ＤＣＧモデルとの前後関係を考慮した画像を生成するために、手の輪郭情報を利用したステレオマッチングを行っている。具体的には、左右の画像の輪郭線を平滑化した平滑化輪郭線とエピポーラ線の交点に対してステレオマッチングを行うことで安定した対象物体の三次元位置計測を行っている。

なお、近年ではＦＰＧＡやＧＰＵといった並列計算を得意とする計算機が利用されているが、輪郭追跡処理は一般的に逐次処理であり、多数の計算コアを効率よく使用できていない。非特許文献３のように領域抽出と輪郭追跡を同時に行うＳｎａｋｅｓと呼ばれる動的輪郭法は、並列処理に適している一方で多数の繰り返し処理を要するためリアルタイム処理にはあまり向いていない。

また、動的輪郭法では輪郭点間の長さや角度のパラメータから定義したエネルギー関数を最小化するように輪郭形状を補正していくため、複雑な凹凸形状の場合には真の輪郭を得られないことがある。例えば、ＭＲでは現実の手の３ＤＣＧモデルを生成する際に実写画像と一致させるために手の輪郭を使用しているが、正しい輪郭が得られない場合、指と指の間が結合してしまい、指の間のオクルージョン表現を正しく行えなくなることがある。物体認識でも同様に、結合により輪郭形状が大きく変わると物体認識が正しく行えない。本発明では、並列に処理可能な輪郭追跡技術を提供する。

本発明の一様態は、撮像画像における特定領域において非特定領域との境界部分における注目画素について、該非特定領域への方向ベクトルを求める計算手段と、前記注目画素の方向ベクトルに基づき、前記注目画素と隣接する前記境界部分内の画素から１つを選択画素として選択する選択手段と、前記注目画素から前記選択画素への方向を示す情報を、前記特定領域に対応する輪郭を示す情報として生成する生成手段とを備えることを特徴とする。

本発明の構成によれば、並列に処理可能な輪郭追跡技術を提供することができる。

システムの機能構成例を示すブロック図。 画像処理装置１０００が１フレーム分の撮像画像から輪郭情報を生成するために行う処理のフローチャート。 撮像画像から抽出された被写体領域の一例を示す図。 図３（Ａ）、（Ｂ）のそれぞれに示した画像領域に対して拡張処理を行った結果を示す図。 ８近傍の拡張処理の必要性を説明するための図。 図４（Ａ）、（Ｂ）のそれぞれの被写体領域に対して求めた方向ベクトルを示す図。 ステップＳ２０５０における処理の詳細を示すフローチャート。 図６（Ａ）、（Ｂ）のそれぞれにおける画像領域を対象としてステップＳ２１１０の処理を行った結果を示す図。 図８（Ａ）、（Ｂ）のそれぞれにおける画像領域を対象としてステップＳ２１２０の処理を行った結果を示す図。 図９（Ａ）、（Ｂ）のそれぞれにおける画像領域を対象としてステップＳ２１３０の処理を行った結果を示す図。 輪郭情報の一例を示す図。 輪郭情報の一例を示す図。 輪郭追跡結果の一例を示す図。 輪郭追跡結果の一例を示す図。 画像処理装置１０００に適用可能なコンピュータ装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、現実空間と仮想空間とを融合させた複合現実空間の画像（複合現実空間画像）を体験者に提供するシステムを例に取り説明する。このシステムでは、現実空間の撮像画像から体験者の手や体などの特定の被写体の輪郭を抽出し、該抽出した輪郭から該被写体の奥行き情報を生成する。そしてシステムは、該奥行き情報を参照することで該特定の被写体と仮想空間とが正しいオクルージョン表現で表現されている複合現実空間画像（仮想空間の画像と撮像画像との合成画像）を生成して体験者に提供する。

先ず、本実施形態に係るシステムの機能構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、撮像装置１００、画像処理装置１０００、表示装置２００を有する。

先ず、撮像装置１００について説明する。撮像装置１００は現実空間の動画像を撮像し、該撮像した動画像における各フレームの画像（撮像画像）を画像処理装置１０００に対して出力する。

次に、表示装置２００について説明する。表示装置２００は、画像処理装置１０００から出力された複合現実空間画像を表示する。本実施形態では、撮像装置１００および表示装置２００は頭部装着型表示装置が有するものとし、該頭部装着型表示装置は複合現実空間を体験する体験者の頭部に装着されるものとする。しかし、撮像装置１００および表示装置２００を有する装置は頭部装着型表示装置に限らず、例えば、スマートフォンであっても良いし、ハンドヘルド型表示装置であっても良い。

次に、画像処理装置１０００について説明する。取得部１０１０は、撮像装置１００から出力された各フレームの画像（撮像画像）を取得し、該取得した撮像画像を記憶部１０２０に格納する。

記憶部１０２０は、取得部１０１０が取得した撮像画像を格納するためのメモリ装置である。なお、記憶部１０２０には、さらに、仮想空間に係るデータや、撮像画像から被写体の領域を抽出するために必要な情報が格納されている。

仮想空間に係るデータには、例えば、該仮想空間を構成する各仮想物体に係るデータ、該仮想空間中に設定される光源に係るデータなどが含まれている。仮想物体に係るデータには、例えば、該仮想物体の幾何形状を規定するデータ、該仮想物体の色を規定するデータなど、該仮想物体を描画するために必要なデータが含まれている。光源に係るデータには、例えば、光源の位置や方向、光の色などを規定するデータが含まれている。

抽出部１０３０は、記憶部１０２０から撮像画像を取得し、記憶部１０２０に格納されている「撮像画像から被写体の領域を抽出するために必要な情報」を用いて、該取得した撮像画像から被写体の領域を抽出する。領域膨張部１０４０は、抽出部１０３０が抽出した被写体の領域を膨張（拡張）させる。

算出部１０５０は、抽出部１０３０が抽出した被写体の領域を膨張（拡張）させた被写体領域において非被写体領域（被写体領域以外の領域）との境界部分（つまり、被写体領域の輪郭線）における注目画素について、該非被写体領域への方向ベクトルを求める。

算出部１０６０は、注目画素の方向ベクトルに基づき、該注目画素と隣接する境界部分内の画素から１つを選択画素として選択し、注目画素から選択画素への方向を示す情報を、被写体領域の輪郭を示す情報（輪郭情報）として生成する。本実施形態では、算出部１０６０は、輪郭情報として、注目画素（輪郭点）ごとに、該注目画素について選択した選択画素（該輪郭点の次の輪郭点）の位置を示す情報を登録したチェインコード画像を生成する。

推定部１０７０は、算出部１０６０が生成したチェインコード画像を用いて、撮像画像における各輪郭点の画素に対応する奥行き値を推定する。撮像画像における各輪郭点の画素に対応する奥行き値をチェインコード画像を用いて推定する方法には様々な方法を適用することができるが、例えば、上記の非特許文献３に開示されている方法を用いることができる。

生成部１０８０は、輪郭情報が規定する輪郭点群で囲まれた領域に対応する３次元モデルをポリゴンで構成する場合のそれぞれのポリゴンの頂点位置を、「各輪郭点の画素に対応する奥行き値」と、撮像装置１００のカメラパラメータと、を用いて求める。例えば、輪郭情報が規定する輪郭点群で囲まれた領域を制約付きドロネー三角分割でポリゴン化してもよいし、グラフィックスカードで行われるようなテセレーションアルゴリズムで、輪郭情報が規定する輪郭点群で囲まれた領域からポリゴンを生成してもよい。

生成部１０９０は、生成部１０８０が求めた３次元モデルの各ポリゴンの頂点位置で深度バッファを更新する。そして生成部１０９０は、記憶部１０２０から取得した撮像画像上に、該深度バッファを参照しながら仮想空間の画像を描画することで、複合現実空間を生成する。これにより、仮想空間を正しいオクルージョン表現で撮像画像上に描画することができる。なお、仮想空間の画像は、記憶部１０２０に格納されている仮想空間に係るデータに基づいて構築される仮想空間を体験者の視点から見た画像である。体験者の視点の位置姿勢は、撮像画像中の自然特徴や人工的に現実空間中に配された指標などを用いる周知の技術により求めても良いし、センサを用いた計測により取得しても良い。

そして生成部１０９０は、生成した複合現実空間画像を表示画像として表示装置２００に対して出力する。なお、複合現実空間画像の出力先は表示装置２００に限らず、他の表示装置やクライアント端末装置であっても良い。

次に、画像処理装置１０００が１フレーム分の撮像画像から輪郭情報を生成するために行う処理について、図２のフローチャートに従って説明する。画像処理装置１０００は、撮像装置１００から出力された各フレームの撮像画像について、図２のフローチャートに従った処理を行う。

ステップＳ２０１０では、取得部１０１０は、撮像装置１００から出力された撮像画像を取得し、該取得した撮像画像を記憶部１０２０に格納する。ステップＳ２０２０では、抽出部１０３０は、記憶部１０２０から撮像画像を取得し、記憶部１０２０に格納されている「撮像画像から被写体の領域を抽出するために必要な情報」を用いて、該取得した撮像画像から被写体の領域を被写体領域として抽出する。撮像画像から被写体領域を抽出する方法には様々な方法があり、本実施形態では特定の抽出方法に限らない。

例えば、撮像画像から被写体色（被写体の色を示す情報として予め画像処理装置１０００に登録されている色情報が示す色）の領域を被写体領域として抽出しても良い。この場合、被写体色を示す色情報を「撮像画像から被写体の領域を抽出するために必要な情報」として記憶部１０２０に予め格納しておき、抽出部１０３０は、この色情報を用いて撮像画像から被写体領域を抽出する。

また例えば、機械学習により事前に被写体の特徴を学習した識別器を用いて撮像画像から被写体領域を抽出するようにしても良い。この場合、上記の学習の結果を示す情報を「撮像画像から被写体の領域を抽出するために必要な情報」として記憶部１０２０に予め格納しておき、抽出部１０３０は、この情報によって規定される識別器を用いて撮像画像から被写体領域を抽出する。

図３（Ａ）、（Ｂ）に、撮像画像から抽出された被写体領域の一例を示す。図３（Ａ），（Ｂ）は、撮像画像における一部の画像領域を示したものであり、該画像領域内における各矩形は画素を示す。斜線で示している画素は被写体領域を構成する画素を示しており、白で示している画素は被写体領域の外部領域（非被写体領域）を構成する画素を示している。

ステップＳ２０３０では、領域膨張部１０４０は、抽出部１０３０が抽出した被写体領域を膨張（拡張）させる拡張処理を行う。具体的には、領域膨張部１０４０は、非被写体領域を構成する画素（非被写体領域画素）ごとに、該非被写体領域画素と隣接する８個の隣接画素の中に被写体領域に属する画素が１つ以上有るか否かを判断する。そして領域膨張部１０４０は、非被写体領域画素と隣接する８個の隣接画素の中に被写体領域に属する画素が１つ以上有れば、該非被写体領域画素を被写体領域に含める。一方、領域膨張部１０４０は、非被写体領域画素と隣接する８個の隣接画素の中に被写体領域に属する画素が１つも無ければ、該非被写体領域画素を被写体領域に含めない。

図３（Ａ）、（Ｂ）のそれぞれに示した画像領域に対して上記の拡張処理を行った結果を、図４（Ａ）、（Ｂ）に示す。図４（Ａ）、（Ｂ）においてドットパターンで示している画素は、上記の拡張処理によって新たに被写体領域に含められた画素を示している。以下の説明で特に断らない限り、「被写体領域」とは、上記の拡張処理によって拡張された被写体領域のことを指すものとする。図４（Ａ）、（Ｂ）の例では、斜線で示している画素（抽出部１０３０によって抽出された被写体領域を構成する画素）と、ドットパターンで示している画素（上記の拡張処理によって新たに被写体領域に含められた画素）と、で構成されている領域を被写体領域とする。なお、被写体領域を拡張するための方法には様々な方法があり、上記の方法に限らない。

なお、上記の８近傍の拡張処理は、次のステップＳ２０４０において、どのような輪郭線の形状であっても、すべての輪郭点に対して方向ベクトルを算出するために必要な処理である。例えば、図５の場合には、中心位置の画素は下記のステップＳ２０４０の方法で方向ベクトルを算出できないが、８近傍の拡張処理を行うことで方向ベクトルを算出できるようになる。

なお、ステップＳ２０３０〜２０５０の処理は、画素ごとに逐次的に行っても良いし、画素ごとに並列に行っても良い。後者の場合、撮像画像内の膨大な画素に対して、ＧＰＧＰＵやＦＰＧＡなどの多数の計算コアを持った計算機で同時に計算することを目的として画素毎に独立した処理を行うことになる。以下では、撮像画像内の１画素に注目して次輪郭点を算出するための説明を行う。

ステップＳ２０４０では算出部１０５０は、被写体領域において非被写体領域（被写体領域以外の領域）との境界部分（被写体領域の輪郭線）における画素を注目画素とし、該注目画素から該非被写体領域への方向ベクトル（輪郭点の法線ベクトル）を求める。

より詳しくは、算出部１０５０は、注目画素の上下左右に隣接している４つの画素のうち非被写体領域に属する画素（非被写体領域画素）が１つもない場合は、注目画素については方向ベクトルは求めない。また算出部１０５０は、注目画素の上下左右に隣接している４つの画素のうち非被写体領域に属する画素（非被写体領域画素）が１つの場合は、注目画素から該非被写体領域画素への方向ベクトルを求める。また、算出部１０５０は、該４つの画素のうち非被写体領域画素が複数の場合は、該複数の非被写体領域画素のそれぞれについて、注目画素から該非被写体領域画素への方向ベクトルを求め、該求めたそれぞれの方向ベクトルを合成した方向ベクトルを求める。このように、算出部１０５０は、注目画素の周辺の非被写体領域画素を加味した方向ベクトルを求める。なお、算出部１０５０は、求めた方向ベクトルを規定サイズのベクトル（例えば大きさが１のベクトル）に正規化する。図４（Ａ）、（Ｂ）のそれぞれの被写体領域に対して求めた方向ベクトルを図６（Ａ）、（Ｂ）に示す。

ステップＳ２０５０では、算出部１０６０は、被写体領域において非被写体領域との境界部分における画素を注目画素（輪郭点）とし、該注目画素の方向ベクトルに基づき、該注目画素と隣接する境界部分内の画素から１つを選択画素（該輪郭点の次の輪郭点である次輪郭点）として選択する。そして算出部１０６０は、注目画素（輪郭点）から選択画素（該輪郭点の次の輪郭点）への方向を示す情報を、被写体領域の輪郭を示す情報（輪郭情報）として生成する。ステップＳ２０５０における処理の詳細について、図７のフローチャートに従って説明する。

ステップＳ２１１０では、算出部１０６０は、注目画素に隣接する８個の隣接画素のうち方向ベクトルを求めていない隣接画素を次輪郭点の候補から除外する。図６（Ａ）、（Ｂ）のそれぞれにおける画像領域を対象としてステップＳ２１１０の処理を行った結果を図８（Ａ）、（Ｂ）に示す。

図８（Ａ）において点線で囲った矩形の画素は注目画素であり、太線で囲った９画素は、注目画素と、該注目画素に隣接する８個の隣接画素と、を含む。８個の隣接画素のうち、注目画素の左上に隣接している隣接画素、注目画素の上に隣接している隣接画素、注目画素の右に隣接している隣接画素については方向ベクトルを求めていない。よって、注目画素の左上に隣接している隣接画素、注目画素の上に隣接している隣接画素、注目画素の右に隣接している隣接画素は次輪郭点の候補から除外される。図８（Ａ）では注目画素の左上に隣接している隣接画素、注目画素の上に隣接している隣接画素、注目画素の右に隣接している隣接画素には「×」を付しており、これは、次輪郭点の候補から除外されることを意味している。

図８（Ｂ）において点線で囲った矩形の画素は注目画素であり、太線で囲った９画素は、注目画素と、該注目画素に隣接する８個の隣接画素と、を含む。８個の隣接画素のうち、注目画素の左上に隣接している隣接画素、注目画素の上に隣接している隣接画素については方向ベクトルを求めていない。よって、注目画素の左上に隣接している隣接画素、注目画素の上に隣接している隣接画素は次輪郭点の候補から除外される。図８（Ｂ）では注目画素の左上に隣接している隣接画素、注目画素の上に隣接している隣接画素には「×」を付しており、これは、次輪郭点の候補から除外されることを意味している。

ステップＳ２１２０では、算出部１０６０は、注目画素に隣接している８個の隣接画素のうち、該注目画素の方向ベクトルが指す方向に位置している隣接画素が被写体領域画素であれば、該隣接画素を次輪郭点の候補から除外する。図８（Ａ）、（Ｂ）のそれぞれにおける画像領域を対象としてステップＳ２１２０の処理を行った結果を図９（Ａ）、（Ｂ）に示す。

図９（Ａ）において点線で囲った矩形の画素は注目画素であり、太線で囲った９画素は、注目画素と、該注目画素に隣接する８個の隣接画素と、を含む。図９（Ａ）では、注目画素に隣接している８個の隣接画素のうち、該注目画素の方向ベクトルが指す方向に位置している隣接画素は被写体領域画素ではなく非被写体領域画素であるから、該隣接画素はステップＳ２１２０の処理対象外となる。

図９（Ｂ）において点線で囲った矩形の画素は注目画素であり、太線で囲った９画素は、注目画素と、該注目画素に隣接する８個の隣接画素と、を含む。図９（Ｂ）では注目画素に隣接している８個の隣接画素のうち該注目画素の方向ベクトルが指す方向に位置している隣接画素には「×」を付しており、これは、該隣接画素は被写体領域画素であるから該隣接画素を次輪郭点の候補から除外することを意味している。図９（Ｂ）に示すように、方向ベクトルが斜め方向を指す場合、互いの画素の方向ベクトルが逆方向になるため、画素間の方向ベクトルの連続性が他の次輪郭点候補より低いことが判る。

ステップＳ２１３０では、算出部１０６０は、注目画素に隣接している８個の隣接画素のうち次輪郭点の候補として除外されていない隣接画素（つまり次輪郭点の候補）を対象画素とする。そして算出部１０６０は、注目画素に隣接する８個の隣接画素において注目画素の方向ベクトルの方向に位置する画素から順に反時計回りに対象画素を探索し、最初に見つけた対象画素を選択画素として選択する。そして算出部１０６０は、注目画素（輪郭点）から選択画素（該輪郭点の次の輪郭点）への方向を示す情報を、被写体領域の輪郭を示す情報（輪郭情報）として生成する。

図９（Ａ）、（Ｂ）のそれぞれにおける画像領域を対象としてステップＳ２１３０の処理を行った結果を図１０（Ａ）、（Ｂ）に示す。図１０（Ａ）において点線で囲った矩形の画素は注目画素であり、太線で囲った９画素は、注目画素と、該注目画素に隣接する８個の隣接画素と、を含む。図１０（Ａ）では、注目画素に隣接している８個の隣接画素のうち「×」が付されてない隣接画素を対象画素としている。そして、注目画素に隣接する８個の隣接画素において注目画素の方向ベクトルの方向に位置する画素から順に矢印で示す如く反時計回りに対象画素を探索し、最初に見つけた対象画素（注目画素の右下に隣接する隣接画素）を選択画素として選択する。そして、注目画素から選択画素への方向（図１０（Ａ）では矢印で示している）を示す情報を、被写体領域の輪郭を示す情報（輪郭情報）として生成する。

図１０（Ｂ）において点線で囲った矩形の画素は注目画素であり、太線で囲った９画素は、注目画素と、該注目画素に隣接する８個の隣接画素と、を含む。図１０（Ｂ）では、注目画素に隣接している８個の隣接画素のうち「×」が付されてない隣接画素を対象画素としている。そして、注目画素に隣接する８個の隣接画素において注目画素の方向ベクトルの方向に位置する画素から順に矢印で示す如く反時計回りに対象画素を探索し、最初に見つけた対象画素（注目画素の右上に隣接する隣接画素）を選択画素として選択する。そして、注目画素から選択画素への方向（図１０（Ｂ）では矢印で示している）を示す情報を、被写体領域の輪郭を示す情報（輪郭情報）として生成する。

ここで、上記のステップＳ２１３０の処理についてより詳細に説明する。注目画素から次輪郭点の候補としての隣接画素への方向ベクトルを進行ベクトルと定義すると、注目画素の方向ベクトルとの外積のＺ要素が正、かつ内積が最大となるような進行ベクトルに対応する隣接画素を選択画素として選択すればよい。

注目画素の位置をｐ、次輪郭点の候補としての隣接画素の位置をｑとすると、該注目画素から該隣接画素への進行ベクトルｄは以下の式（１）を計算することで求めることができる。

次に、注目画素の方向ベクトルｎ＝（ｎ_ｘ、ｎ_ｙ）、進行ベクトルｄ＝（ｄ_ｘ、ｄ_ｙ）とすると、方向ベクトルｎと進行ベクトルｄとの外積のＺ要素ｃ_ｚは以下の式（２）を計算することで求めることができる。

最後に、外積のＺ要素ｃ_ｚが正の隣接画素から、方向ベクトルｎと進行ベクトルｄとの内積を計算して最大の内積を持つ進行ベクトルｄに対応する隣接画素を選択画素として選択する。

図７のフローチャートに従った処理を、図４（Ａ）の被写体領域において非被写体領域との境界部分におけるそれぞれの画素について行うことで、図１１（Ａ）に示す輪郭情報が得られる。また、図７のフローチャートに従った処理を、図４（Ｂ）の被写体領域において非被写体領域との境界部分におけるそれぞれの画素について行うことで、図１１（Ｂ）に示す輪郭情報が得られる。図１１（Ａ）、（Ｂ）では、被写体領域において非被写体領域との境界部分における各画素について、該画素から次輪郭点への方向を示す情報（矢印の情報）を輪郭情報として生成している。

なお、図１２（Ａ），（Ｂ）に示す如く、注目画素の左上方向、上方向、右上方向、左方向、右方向、左下方向、下方向、右下方向、のそれぞれにインデックス（０〜７の数字）を設けても良い。この場合、被写体領域において非被写体領域との境界部分における各画素について、該画素から次輪郭点への方向を示す情報として、該方向に対応するインデックスを輪郭情報として生成する。

このように、本実施形態では、画素ごとに独立して輪郭情報を生成することができるので、画素ごとに並列で輪郭情報の生成を行うことができ、その結果、１フレームの撮像画像における輪郭情報の生成処理を高速化できる。然るに、各フレームの複合現実空間画像の生成および表示における遅延を軽減させることができる。

なお、本実施形態では、ＭＲに適用した場合のシステムについて説明したが、適用先はＭＲに限らない。つまり、撮像画像中の被写体の輪郭追跡をより高速に行いたいというニーズがある技術分野に本実施形態を適用することができる。

＜変形例１＞
第１の実施形態では、ステップＳ２１３０では、反時計回りに対象画素を探索していたが、時計回りに対象画素を探索しても良い。この場合、注目画素から選択画素への方向は、第１の実施形態で説明した方向と逆方向になる。

＜変形例２＞
第１の実施形態では、境界部分における各画素の方向ベクトルが算出できるように被写体領域の拡張処理を行ったが、拡張処理によって被写体領域の輪郭が元の輪郭からずれるため、拡張処理の前に被写体領域を収縮するといった他の画像処理を加えてもよい。被写体領域の収縮処理を行うことで撮像画像上の微小ノイズを除去すると伴に、拡張処理を行った後の輪郭の位置ずれを抑えることができる。

図１３（Ａ）に真の輪郭追跡結果、図１３（Ｂ）に被写体領域に対して収縮処理を行わずに拡張処理を行った場合の輪郭追跡結果、図１３（Ｃ）に被写体領域に対して収縮処理を行ってから拡張処理を行った場合の輪郭追跡結果を示す。被写体領域に対して収縮処理を行ってから拡張処理を行うことで、真の輪郭に近い輪郭追跡結果が得られることが分かる。

＜変形例３＞
変形例２では輪郭の位置を補正するために被写体領域に対して収縮処理を行ってから拡張処理を行った。しかし、収縮処理を行わず、輪郭抽出後に輪郭点の位置を該輪郭点の方向ベクトルとは逆方向に該方向ベクトルのサイズ分だけ移動させることで輪郭を補正してもよい。図１４（Ａ）に真の輪郭追跡結果、図１４（Ｂ）に被写体領域に対して収縮処理を行ってから拡張処理を行った場合の輪郭追跡結果を示す。また、図１４（Ｃ）に輪郭抽出後に各輪郭点の位置を該輪郭点の方向ベクトルとは逆方向に該方向ベクトルのサイズ分だけ移動させた輪郭追跡結果を示す。なお、図１４（Ｃ）の点線部が輪郭点の位置の補正方向を示している。変形例３においても、変形例２と同様の結果が得られることが分かる。

つまり、撮像画像における特定領域において非特定領域との境界部分における注目画素について、該非特定領域への方向ベクトルを求め、注目画素の方向ベクトルに基づき、注目画素と隣接する境界部分内の画素から１つを選択画素として選択し、注目画素から選択画素への方向を示す情報を、特定領域に対応する輪郭を示す情報として生成する、という構成において、この「特定領域」を、「撮像画像における被写体の領域を拡張した領域」としても「撮像画像における被写体の領域を収縮させてから拡張した領域」としても良いし、他の方法で求めた領域であっても良い。

［第２の実施形態］
図１に示した画像処理装置１０００における各機能部はハードウェアで実装しても良いし、記憶部１０２０を除く各機能部をソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムを実行可能なコンピュータ装置は画像処理装置１０００に適用可能である。画像処理装置１０００に適用可能なコンピュータ装置のハードウェア構成例について、図１５のブロック図を用いて説明する。

ＣＰＵ１５０１は、ＲＡＭ１５０２やＲＯＭ１５０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１５０１は、コンピュータ装置全体の動作制御を行うと共に、画像処理装置１０００が行うものとして上述した各処理を実行もしくは制御する。なお、コンピュータ装置には、ＣＰＵ１５０１に加えてもしくは代えてＧＰＧＰＵやＦＰＧＡなどの多数の計算コアを搭載しても良く、コンピュータ装置における処理の一部をＧＰＧＰＵやＦＰＧＡなどが行っても良い。

ＲＡＭ１５０２は、ＲＯＭ１５０３や外部記憶装置１５０６からロードされたコンピュータプログラムやデータを格納するためのエリアや、Ｉ／Ｆ（インターフェース）１５０７を介して外部から受信したデータを格納するためのエリアを有する。さらにＲＡＭ１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１５０２は、各種のエリアを適宜提供することができる。ＲＯＭ１５０３には、コンピュータ装置の設定データや起動プログラムなどが格納されている。

操作部１５０４は、キーボード、マウス、タッチパネル画面などのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ１５０１に対して入力することができる。

表示部１５０５は、液晶画面やタッチパネル画面を有し、ＣＰＵ１５０１による処理結果を画像や文字などでもって表示することができる。なお、表示部１５０５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

外部記憶装置１５０６は、大容量情報記憶装置の一例である。外部記憶装置１５０６には、ＯＳ（オペレーティングシステム）、画像処理装置１０００が行うものとして上述した各処理をＣＰＵ１５０１に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１５０６に保存されているコンピュータプログラムには、図１の画像処理装置１０００において記憶部１０２０を除く各機能部の機能をＣＰＵ１５０１に実行もしくは制御させるためのコンピュータプログラムが含まれている。また、外部記憶装置１５０６に保存されているデータには、上記の説明において既知の情報として説明した情報が含まれている。

外部記憶装置１５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜ＲＡＭ１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。なお、図１の画像処理装置１０００の記憶部１０２０は、ＲＡＭ１５０２や外部記憶装置１５０６で実装可能である。

Ｉ／Ｆ１５０７は、コンピュータ装置が外部の装置との間のデータ通信を行うための通信インターフェースとして機能するものであり、例えば図１の撮像装置１００や表示装置２００は、このＩ／Ｆ１５０７に接続される。

ＣＰＵ１５０１、ＲＡＭ１５０２、ＲＯＭ１５０３、操作部１５０４、表示部１５０５、外部記憶装置１５０６、Ｉ／Ｆ１５０７は何れもバス１５０８に接続されている。なお、図１５に示した構成は、画像処理装置１０００に適用可能なコンピュータ装置のハードウェア構成の一例であり、適宜変形／変更が可能である。

なお、上記の説明において使用した具体的な数値は、具体的な説明を行うために使用したものであって、上記の各実施形態や各変形例がこれらの数値に限定されることを意図したものではない。また、以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせても構わない。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に用いても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１０：取得部 １０２０：記憶部 １０３０：抽出部 １０４０：領域拡張部 １０５０：算出部 １０６０：算出部 １０７０：推定部 １０８０：生成部 １０９０：生成部

Claims (12)

1. 撮像画像における特定領域において非特定領域との境界部分における注目画素について、該非特定領域への方向ベクトルを求める計算手段と、
   前記注目画素の方向ベクトルに基づき、前記注目画素と隣接する前記境界部分内の画素から１つを選択画素として選択する選択手段と、
   前記注目画素から前記選択画素への方向を示す情報を、前記特定領域に対応する輪郭を示す情報として生成する生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記計算手段は、前記注目画素の上下左右に隣接している４つの画素のうち前記非特定領域に属する画素が１つの場合は、前記注目画素から該１つの画素への方向ベクトルを求めることを特徴とする請求項１に記載の画像処理装置。
3. 前記計算手段は、前記注目画素の上下左右に隣接している４つの画素のうち前記非特定領域に属する画素が複数の場合は、前記注目画素から該複数の画素のそれぞれへの方向ベクトルを求め、該求めたそれぞれの方向ベクトルを合成した方向ベクトルを求めることを特徴とする請求項１に記載の画像処理装置。
4. 前記選択手段は、
   前記注目画素に隣接する８個の画素において前記境界部分に含まれている画素のうち、前記注目画素の方向ベクトルの方向に位置しておらず且つ方向ベクトルを求めた画素を対象画素とし、前記８個の画素において前記注目画素の方向ベクトルの方向に位置する画素から順に時計回りもしくは反時計回りに探索して最初に見つけた対象画素を前記選択画素として選択することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記計算手段、前記選択手段、および前記生成手段による処理は、前記注目画素ごとに独立して並列に行われることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記特定領域は、前記撮像画像における被写体の領域を拡張した領域であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記特定領域は、前記撮像画像における被写体の領域を収縮させてから拡張した領域であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
8. 更に、
   前記輪郭を示す情報に基づいて前記輪郭の奥行き値を求め、該奥行き値に基づいて仮想空間の画像を生成し、該仮想空間の画像と前記撮像画像との合成画像を生成して出力する出力手段を備えることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記出力手段は、前記撮像画像を撮像する撮像装置と、前記合成画像を表示する表示装置と、を有する装置に対して前記合成画像を出力することを特徴とする請求項８に記載の画像処理装置。
10. 前記装置は頭部装着型表示装置であることを特徴とする請求項９に記載の画像処理装置。
11. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の計算手段が、撮像画像における特定領域において非特定領域との境界部分における注目画素について、該非特定領域への方向ベクトルを求める計算工程と、
    前記画像処理装置の選択手段が、前記注目画素の方向ベクトルに基づき、前記注目画素と隣接する前記境界部分内の画素から１つを選択画素として選択する選択工程と、
    前記画像処理装置の生成手段が、前記注目画素から前記選択画素への方向を示す情報を、前記特定領域に対応する輪郭を示す情報として生成する生成工程と
    を備えることを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images