JP2022110885A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】撮像画像から特定の被写体領域を高い精度で抽出可能となる色情報を、ユーザにかかる負担が少なく、短時間に取得可能にする。【解決手段】画像処理装置は、撮像装置で撮像された第１の画像における被写体と背景の色情報を取得し、その取得した被写体と背景の色情報を記憶する。そして、記憶された色情報を、３次元色空間上で膨張させる。【選択図】図１

Description

本発明は、撮像された画像の処理技術に関する。

近年、現実空間に仮想空間の情報をリアルタイムに重ね合せて利用者に提示する複合現実感に関する研究が行われている。複合現実感を実現する情報処理装置は、撮像装置の位置姿勢に応じた仮想空間の画像をコンピュータグラフィクス（ＣＧ）により生成し、そのＣＧ画像に、撮像装置で現実空間を撮像した画像の全域又は一部を重畳した合成画像を生成して表示する。複合現実感によって臨場感豊かな体験をユーザに提供する場合、背景となる現実空間の映像上に単純にＣＧ画像を重畳表示するだけではなく、ＣＧで描画された仮想物体をユーザが仮想的に操作するといった、インタラクションが重要である。このようなインタラクションを実現するためには、仮想物体を操作するユーザの手など（以下、被写体と呼ぶ）を、その仮想物体よりも手前側（前景側）に表示する必要がある。なぜなら、仮想物体よりも手前にあるべき被写体が仮想物体によって隠されてしまうと、仮想物体との距離感や現実感が破綻し、臨場感が損なわれてしまうからである。

これに対し、特許文献１には、前景とすべき被写体の画像をＣＧ画像によって隠さないようにする技術が開示されている。特許文献１では、カメラ画像において背景から被写体領域を分離して抽出し、被写体領域にはＣＧ画像の描画を禁止することを実現している。被写体の分離には、事前に被写体の色情報を登録しておき、カメラ画像の色に応じて被写体か背景かを判別する処理が用いられている。
また、特許文献２には、より簡便な操作で、被写体領域の登録、および、被写体ではないのに被写体領域として誤って検出される誤検出領域（ノイズ領域と呼ぶ）の削除をサポートするユーザインターフェースが開示されている。
なお、事前に登録した色を抽出することで被写体領域を特定する手法の他に、デプスセンサで得られた奥行き画像に対し、奥行き値の閾値を設定することで、前景となる被写体領域を抽出する手法もある。ただしこの手法の場合、カメラとは別のデプスセンサを配置して同時に撮影する必要があり、デバイスのコスト面やセンサ校正の手間などがデメリットとなっている。
また、特許文献３には、特許文献２の「被写体領域」と「ノイズ（背景）領域」を同時に指定できるユーザインターフェースを提供して、短時間に被写体の領域を抽出する処理が開示されている。
その他、特許文献４には、被写体と背景の色情報を色情報テーブルとして保持し、被写体と背景の色情報が重複する領域を自動で弁別する方法が開示されている。

特開２００５－１０７９６７号公報 特開２００５－２２８１４０号公報 特開２０１５－２３０６９５号公報 特開２０１１－０１８３５９号公報

しかしながら、特許文献１の手法では、被写体の色と背景の色が近い場合や、背景に白い領域や黒い領域（無彩色に近い領域）が存在する場合に、背景領域であるのに被写体領域として抽出される領域（誤検出領域）が残る場合がある。また、被写体領域であるのに、被写体領域として抽出されない領域（未検出領域）が残る場合がある。この場合、特許文献２に示されているユーザインターフェースを使用すれば、ユーザが誤検出領域と未検出領域を解消することができる。しかし、被写体の未検出領域がなくなるまで色情報を登録すると背景側に誤検出領域が発生することがあり、また背景側の誤検出領域を除外しようとすると、被写体側の未検出領域が増加してしまうことがある。このため、誤検出領域と未検出領域が最小になるように、色情報を試行錯誤しながら繰り返し調整することが必要になり、調整に時間を要することになる。

また特許文献３では、被写体と背景の色情報を同時に入力するためのユーザインターフェースを提供することで、より短時間に被写体を抽出できる。ただし、特許文献３の手法は、ユーザの調整操作を介入させないことで高速化することが主目的であるため、ノイズが発生した場合のユーザの調整は許容されていない。

そこで本発明は、撮像画像から特定の被写体領域を高い精度で抽出可能となる色情報を、ユーザにかかる負担が少なく、短時間に取得可能にすることを目的とする。

本発明の画像処理装置は、撮像装置で撮像された第１の画像における被写体と背景の色情報を取得する色情報取得手段と、前記取得された前記被写体と背景の前記色情報を記憶する記憶手段と、前記記憶手段に記憶された前記色情報を、３次元色空間上で膨張させる膨張手段と、を有することを特徴とする。

本発明によれば、撮像画像から特定の被写体領域を高い精度で抽出可能となる色情報を、ユーザにかかる負担が少なく、短時間に取得可能となる。

第１の実施形態に係る画像処理装置の構成例を示す図である。 未検出領域と誤検出領域の説明に用いる図である。 輝度方向への膨張と被写体として抽出される領域とを示す図である。 色情報テーブルの構成例を示す図である。 膨張部の機能構成例を示す図である。 画像処理装置による色情報登録および膨張処理のフローチャートである。 背景色を膨張させる処理の説明に用いる図である。 膨張処理の詳細を示すフローチャートである。 膨張処理時の３次元色空間の説明に用いる図である。 ３次元色空間における膨張の方向を表す図である。 膨張処理における膨張後の属性を決定する条件を示す図である。 第２の実施形態に係る画像処理装置の構成例を示す図である。 奥行き情報を基にユーザの誤入力を補正する処理の説明図である。 画像処理装置が適用されるハードウェア構成例を示す図である。

以下、実施形態を、添付の図面に基づいて詳細に説明する。以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。なお同一の構成または処理については、同じ参照符号を付して説明する。
＜第１の実施形態＞
本実施形態では、現実空間に仮想空間の情報をリアルタイムに重ね合せてユーザに複合現実感を提供する場合を例に挙げて説明する。このため本実施形態に係る画像処理装置は、撮像装置の位置姿勢に応じた仮想空間の画像をＣＧにより生成し、そのＣＧ画像に、撮像装置で現実空間を撮像した画像の全域又は一部を重畳した合成画像を生成する複合現実感生成処理機能を有しているものとする。また本実施形態の画像処理装置は、背景となる現実空間の映像上にＣＧ画像を重畳表示するだけではなく、ＣＧで描画された仮想物体をユーザが仮想的に操作するといった、インタラクションを実現する機能も備えているとする。なお現実の画像を仮想空間のＣＧ画像に重畳して合成画像を生成する処理技術は既存のものであるため、その構成の図示および詳細な説明は省略する。

図１は、本実施形態に係る画像処理装置１００の構成例を示すブロック図である。
図１に示すように、画像処理装置１００には、撮像部１０１、入力部１５０、および表示部２７０が接続されている。
撮像部１０１は、カラー画像を撮像可能なビデオカメラであり、被写体等を撮像することにより、被写体を含む画像を取得する。例えばビデオシースルー型のヘッドマウントディスプレイへの適用例を想定した場合、撮像部１０１は、ユーザの左右両眼の視野に応じたステレオ画像を取得可能なステレオカメラであるとする。なお、ステレオカメラの場合は、処理対象の画像は左右カメラの二つの画像となるが、時分割で１画像ずつ順番に処理するものとする。ただしステレオカメラに限定されるものではなく、単眼のカメラであっても本実施形態は適用可能である。

入力部１５０は、画像処理装置１００に対してユーザが指示等の操作を入力する際に用いられる操作装置を含み、本実施形態では操作装置の一例としてマウスが用いられるとする。詳細は後述するが、本実施形態の場合、入力部１５０は、被写体と背景の色情報をユーザが指定する際や、被写体の抽出処理を調整する際等に操作される。

表示部２７０はユーザが観る映像を表示する表示装置を含み、本実施形態の場合、表示装置は例えば頭部装着型のヘッドマウントディスプレイであるとする。なお、表示部２７０の表示装置は、据え置き型等の大型のモニターであってもよい。複合現実感を提供する場合、表示部２７０では、被写体等を抽出した結果を実写画像と合成した結果の合成映像を表示してユーザにフィードバックを行うことで、ＣＧで描画された仮想物体をユーザが仮想的に操作するといったインタラクションが実現される。また詳細は後述するが、表示部２７０には、撮像部１０１の撮像画像において被写体の領域や被写体以外の他の背景等の領域上でノイズとなり得る領域を、ユーザが入力部１５０を介して指定等する際のユーザインターフェース画像が表示される。つまりユーザは、表示部２７０の表示結果を見ながら、被写体の領域や被写体以外の背景領域等でノイズとなり得る領域を、入力部１５０を介して指定することができる。

ここで、本実施形態に係る画像処理装置１００の内部構成の詳細について説明する前に、複合現実感およびインタラクションを実現する際に考慮すべき点について、図２（ａ）～図２（ｊ）および図３（ａ）、図３（ｂ）を参照しながら説明する。ここでは、説明を簡略にするために、撮像部１０１から入力される撮像画像が静止画である場合を例に挙げる。また以下の説明では、撮像画像において背景から被写体領域を分離して抽出し、その被写体上にはＣＧ画像の描画を禁止する場合を例に挙げる。また以下の説明では、被写体領域を分離する手法としては、事前に被写体の色情報を登録しておき、撮像画像の色に応じて被写体領域か背景かを判別する手法を例に挙げる。

図２（ａ）は、撮像画像に写る被写体の色を登録する場合の一例を示した図であり、画像内の被写体例として手５１０を挙げ、その手５１０の色を登録する際の様子を模式的に示した図である。なお撮像画像が表示された映像５００には、被写体である手５１０以外に、手の色に近い色（例えば黄色とする）の箱５２０も同時に写っているものとする。
被写体の色を登録する場合、ユーザは、ユーザインターフェース画面に提示されている映像５００を見ながら、入力装置であるマウスを操作してマウスカーソルを動かす。図２（ａ）の例の場合、ユーザは、撮像画像上の手５１０の領域であることを認識して、マウスカーソルを位置５３０から位置５４０にドラッグして動かすことで領域５５０を指定する。これにより、カーソルの移動により指定された領域５５０の中に含まれる画像の輝度および色味情報が取得される。輝度および色味情報は、例えばＹＣｂＣｒ空間にマッピングされ、図２（ｃ）の３次元登録色領域５６０を形成する。前述した特許文献１および特許文献２に記載されているように、照明条件の相違等による色彩変化の影響を排除するために、３次元登録色領域５６０をＣｂＣｒ空間に投影した登録色領域５７０を使用することで、撮像画像から色が抽出される。

図２（ｂ）は、図２（ｃ）の登録色領域５７０を用いて撮像画像から被写体の色と推定される領域を抽出した結果を示した図である。図２（ｂ）の例の場合、抽出した結果を表す映像５００には、手５１０の内部で抽出できていない未検出領域５５２と、背景領域から誤って抽出された誤検出領域５５５、５５７が表示されている。ここで、未検出領域と誤検出領域は、被写体領域を抽出する際のノイズ領域であるため、除外する必要がある。このため、ユーザは、表示されている映像５００上でマウスを使ってノイズを除外するための操作を行う。

図２（ｄ）は、ノイズの除外を指定している際の様子を模式的に示した図である。ユーザは、まず誤検出領域５５７の領域（箱５２０の暗い領域）をノイズとして除外するために、マウスカーソルを位置５３０から位置５４０にドラッグして移動させることで領域５５０を指定する。これにより、指定された領域５５０内の撮像画像上の輝度と色味が取得され、それらが非登録色の情報として登録される。

図２（ｅ）は、非登録色が設定された後の色空間（ＹＣｂＣｒ空間）の状態を示した図であり、ＹＣｂＣｒ空間の領域５６５が非登録色領域として設定される。そして、非登録色領域５６５は、ＣｂＣｒ平面に投影される（領域５７５）。ここで、予め登録色として設定された登録色領域５７０と重複する領域については、非登録色領域５７５が優先されるものとする（重複領域がある場合、ユーザ指示で最も新しい領域が優先される）。このとき、登録色領域５７０は、非登録色領域５７５によって浸食され、被写体とみなす登録色が減少する。その結果、図２（ｆ）に示すように、手５１０の領域の未検出領域５５２が、図２（ｄ）の状態と比べて拡大する結果となる。ただし、誤検出領域５５７は、期待通り除外される。

次にユーザは、黄色い箱５２０の明るい場所に出たノイズである誤検出領域５５５を除外するために、マウスカーソルの位置を図２（ｆ）に示す位置５３０から位置５４０までドラッグすることで領域５５０を指定する。これにより、指定された領域５５０内の撮像画像上の輝度と色が取得され、それが非登録色の情報として登録される。

図２（ｇ）は、非登録色が設定された後の色空間（ＹＣｂＣｒ空間）の状態を示した図である。これにより新たに追加された非登録色領域５６７が設定され、同様に、ＣｂＣｒ空間に投影される（領域５７７）。このとき、前述同様に登録色領域５７０と非登録色領域５７７が重複する領域については、新たに設定された非登録色領域５７７が優先され、図２（ｈ）に示すように手５１０の明るい領域部分５５３に未検出領域のノイズが発生する。ただし、誤検出領域５５５は期待通り除外される。

次にユーザは、手５１０の未検出領域５５２を検出できる状態にするために、未検出となった領域５５２および５５３の色を指定して登録させる。
図２（ｉ）は、追加で設定した登録色領域の色空間（ＹＣｂＣｒ空間）の状態を示した図である。前の状態である図２（ｇ）の登録色領域５６０に比べて、図２（ｉ）の登録色領域５６０は大きくなっている。さらに登録色領域５６０がＣｂＣｒ空間に投影され、投影後の登録色領域５７０となる。登録色領域５７０は、非登録色領域５７５、５７７と重複した領域がある場合は、登録色領域５７０として上書きされるため、図２（ｊ）に示すように誤検出領域５５５および誤検出領域５５７が再び現れる。

前述のようにして登録色と非登録色を繰り返し設定しながら、誤検出領域と未検出領域が最小になるように調整し、誤検出領域と未検出領域が所定の閾値ピクセル以下になれば、ノイズ領域として除外され、期待した被写体領域の抽出ができることになる。しかしながら、このような設定と処理の場合、調整に長時間と多くの労力が必要となる。また前述の例では静止画を挙げたが、動画の場合はさらに時間と労力が必要となる。すなわち動画から複数のサンプル画像を取得し、前述の処理を繰り返して、動画のすべてのフレームで、誤検出領域と未検出領域が最小になるように調整する必要があり、さらに時間と労力が必要になる。

また前述した特許文献２では、ＣｂＣｒ面（２次元色空間）への投影を行わず、ＹＣｂＣｒ（３次元色空間）の情報を使って色を抽出することが行われ、ＣｂＣｒ面への投影を行わないため投影面での重複領域を判断する必要がない。しかしながら、動画のすべてのフレームで誤検出領域と未検出領域を抑制するためには、被写体が画像に映る可能性のあるすべての輝度情報と色味情報（ＹＣｂＣｒ値）を事前に登録する必要がある。すなわち、ＣｂＣｒ値のみで色抽出する場合に比べて、より多くの画像の被写体の色情報を取得する必要があり、ユーザ操作に多くの時間を要することになる。

例えば撮像画像の１枚に対して、ユーザからの指示を基に、図２（ａ）に示したように被写体の一部の領域の色をＹＣｂＣｒ値で登録すると、抽出するための色情報が不足しており、未検出領域が残る場合がある。この現象を、図３（ａ）と図３（ｂ）を用いて説明する。図３（ａ）は、図２（ａ）に示した領域の色をＹＣｂＣｒ値で登録する場合の３次元色空間上の登録色領域５６０と正解領域５９５との差を表す図である。この場合、図３（ａ）の登録色領域５６０と正解領域５９５との差が未検出領域となり、図３（ｂ）に示すように、未検出領域５５２が残る。２次元色空間の色データから検出する場合は、輝度情報を参照せずに色味情報のみで検出がなされるため、明るい領域や暗い領域は、被写体の領域ではないのに、被写体の色であるとして誤検出される可能性がある。３次元色空間で検出を行うと、輝度情報も判別に用いられ、被写体から得られた輝度情報を使って検出することになるため、輝度情報に起因する誤検出が減少するメリットがある。しかし、取得する色の情報に、色味に加えて輝度が加わるため、未検出領域と誤検出領域を最小にするための入力データは、２次元色空間で検出する場合に比べて必要量が増加してしまう。

そこで、本実施形態の画像処理装置１００では、登録色領域５６０および非登録色領域５６５を３次元色空間上で輝度方向、色味方向に膨張させることで、調整に要する時間と手間を削減し、誤検出領域と未検出領域の発生を抑制した被写体抽出処理を実現する。
本実施形態の画像処理装置１００は、図１に示したように、記憶部１１０、色情報登録部１２０、抽出部１４０、膨張部１３０、および出力部１１５を有して構成されている。

記憶部１１０は、画像処理装置１００で決定した撮像画像上の被写体領域のデータ等を、保存したり別のプログラムに伝達したりするための一時記憶媒体であり、例えばメモリやハードディスクなどからなる。本実施形態の場合、記憶部１１０は、撮像部１０１から入力される撮像画像、被写体抽出に用いる色情報テーブル、抽出部１４０にて抽出された結果を示す抽出領域画像、属性付与条件表、輝度方向の膨張回数、色味方向の膨張回数等の各情報を記憶する。これら情報の詳細は後述する。なお本実施形態において、記憶部１１０は、これらのデータや情報のみを保持することに限定されるものではなく、処理に必要な他の情報をも保持することができる。

図４は、色情報テーブルの例を示した図である。色情報テーブルには、輝度情報（Ｙ）と色味情報（Ｃｂ，Ｃｒ）とを基準とするデータが格納される。例えば輝度情報（Ｙ）には、０から２５５の８ｂｉｔの情報がインデックスとして格納される。同様に、色味情報（Ｃｂ，Ｃｒ）は、それぞれが０から２５５の情報がインデックスとして格納される。色情報テーブルでは、ＹＣｂＣｒ値が図４に示すように並べられ、各ＹＣｂＣｒ値に対して、属性情報、膨張情報が関連付けられている。属性情報は、例えば、「登録色」、「非登録色」、「なし」の情報となされ、それらが選択可能となされている。また、膨張情報には、例えば、膨張処理していない色の場合には「０」が格納され、膨張処理が行われて登録された色の場合には「１」が格納される。

輝度方向の膨張回数と色味方向の膨張回数は、３次元色空間上における輝度方向と色味方向の膨張処理を行う回数を設定する情報である。膨張回数が多いほど、膨張する領域が増加する。本実施形態では、輝度方向の膨張回数、色味方向の膨張回数は、それぞれ１回が設定されているとする。

色情報登録部１２０は、入力部１５０を介して、ユーザが撮像画像内の被写体や背景の領域を入力するためのモジュールである。本実施形態の場合、ユーザは、入力部１５０のマウスをドラッグ操作等して、撮像画像内で被写体または背景の領域を指定する。すなわち色情報登録部１２０は、撮像部１０１で撮像されて記憶部１１０に記憶された第１の画像からユーザにより指定された領域の色情報を取得する色情報取得機能と、その色情報を記憶部１１０の色情報テーブルに登録する色情報登録機能を有する。本実施形態では、色情報としてＹＣｂＣｒ空間の値を用いるとするが、ＹＣｂＣｒ空間の表現を用いることに限定されるものではなく、色空間の表現方法（ＬａｂやＨＳＶなど）であれば適用可能である。

膨張部１３０は、記憶部１１０に記憶された被写体と背景の領域の色情報を読み出し、それら被写体と背景の色情報を、３次元色空間上で膨張させる処理を行う。本実施形態の場合、膨張部１３０は、記憶部１１０から色情報テーブルを取得し、ＹＣｂＣｒ値の属性が「登録色」または「非登録色」になっているデータを参照し、ＹＣｂＣｒの３次元色空間において、注目する色領域を３次元色空間上で膨張させる処理を行う。３次元色空間で色情報を膨張処理することにより、図３（ａ）で示したような登録色領域５６０の内部にある未検出領域６１０を減少させること、登録色領域５６０と正解領域５９５との隙間を減少させることができる。また、非登録色領域についても同様に、膨張部１３０は、３次元色空間上で膨張処理を行い、まだ取得できていない背景の色を推定して誤検出領域を減少させる。また膨張部１３０は、膨張処理によって膨張させることを決定したＹＣｂＣｒ値については、記憶部１１０の図４の色情報テーブル内における属性の値を「なし」から「登録色」または「非登録色」に変更する。さらに膨張部１３０は、色情報テーブル内の膨張の値を「０」から「１」に変更して、膨張されて登録された色であることを記録する。これらの膨張処理の詳細については後述する。

抽出部１４０は、第１の画像に含まれる被写体と背景の領域から取得された色情報と、前述の膨張部１３０で膨張させた色情報とに基づいて、撮像部１０１で撮影された第２の画像から被写体領域を抽出する。本実施形態の場合、抽出部１４０は、記憶部１１０の色情報テーブル内の属性が「登録色」になっているＹＣｂＣｒ値を参照し、記憶部１１０に記録されている撮像画像の各ピクセルの色が合致するピクセルを検出する。そして抽出部１４０は、その検出したピクセル領域を、被写体領域を表す「抽出領域画像」として記憶部１１０に出力する。

出力部１１５は、抽出部１４０が抽出した被写体領域の画像を、表示部２７０に出力する。本実施形態の場合、出力部１１５は、記憶部１１０に保存された撮像画像の上に、抽出部１４０で生成した被写体領域に色を付けて合成した表示画像を生成し、表示部２７０に出力する。これにより、ユーザは、表示部２７０の表示を介して、被写体領域の抽出時に発生した過検出や未検出の状態を確認することができる。

図５は、膨張部１３０の詳細な構成を示したブロック図である。膨張部１３０は、膨張制御部２１０、輝度膨張部２２０、および色味膨張部２３０を有する。
膨張制御部２１０は、記憶部１１０から取得した色情報テーブルの属性で「登録色」と「非登録色」が設定されているデータのＹＣｂＣｒ値を参照し、メモリ上の３次元色空間へマッピングする。マッピングの結果は、例えば図３（ａ）のような３次元色空間の状態になるものとする。図３（ａ）は、最初にユーザが入力部１５０経由で色情報登録部１２０によって色を登録した状態である。

ここで、図３（ａ）の状態で抽出部１４０により色抽出を実行したとすると、図３（ｂ）に示したように、抽出したい領域である手の全体が抽出されず、一部の領域が未検出領域として残ってしまう。これは、図３（ａ）に示した正解領域５９５に対して、登録色領域５６０が小さくなっているためである。このため、膨張制御部２１０は、正解領域５９５に近づくように、登録色領域５６０を膨張させるための制御を実行する。

まず膨張制御部２１０は、輝度（Ｙ）方向への膨張を行うように輝度膨張部２２０を制御し、さらに色味（Ｃｂ，Ｃｒ）方向への膨張を行うように色味膨張部２３０を制御する。ただし本実施形態では、輝度方向と色味方向を独立して膨張させることに限定されるものではなく、輝度方向と色味方向を同時に膨張させてもよい。なお、図３（ａ）に示す正解領域５９５は、処理の説明のために設定した領域であり、実際の処理では既知の情報ではない。

輝度膨張部２２０は、膨張制御部２１０で３次元色空間にマッピングした色情報を参照し、登録色または非登録色を輝度方向に膨張させる。膨張が必要な理由は、例えば図３（ａ）に示す未検出領域６１０の穴を、登録色または非登録色として補間して埋めるためである。この穴を埋めることが、図３（ｂ）で示すような未検出領域５５２の面積低減に寄与する。輝度膨張部２２０は、現在着目している色（ＹＣｂＣｒ値）が膨張する条件に合致する場合には、着目している色のＹＣｂＣｒ値に対応する記憶部１１０の色情報テーブルの「属性」情報と「膨張」情報を更新する。この処理の詳細は後述する。

色味膨張部２３０は、膨張制御部２１０で３次元色空間にマッピングした色情報を参照し、登録色または非登録色を色味方向に膨張させる。色味膨張部２３０は、現在着目している色（ＹＣｂＣｒ値）が膨張する条件に合致する場合には、輝度膨張部２２０と同様に、記憶部１１０の色情報テーブルの「属性」情報と「膨張」情報を更新する。この処理の詳細は後述する。

図６は、本実施形態の画像処理装置１００における色情報登録および膨張処理の流れを示したフローチャートである。なお、図６のフローチャートの処理は、撮像部１０１からの撮像画像が更新されるたびに繰り返し実行されるものとする。また本実施形態において、色情報を登録する処理は、ユーザが複合現実感を体験する前に行われ、ユーザが体験中に色を登録する必要はない。このように事前に被写体の色情報を登録する場合は、図６のフローチャートのステップＳ１１０、ステップＳ１４０、ステップＳ１４５の処理を含めた処理が行われる。一方、ユーザが複合現実感を体験するときに色抽出のみを実行する場合は、ステップＳ１１０、ステップＳ１４０、ステップＳ１４５の処理をスキップして処理が実行される。

ステップＳ１００では、画像処理装置１００は撮像部１０１から撮像画像を取得し、その撮像画像を記憶部１１０が保存する。なお記憶部１１０に保存される画像は、撮像部１０１からの撮像画像に限定されるものではなく、レンダリングされたＣＧ画像が入力されて保存されても良い。

次にステップＳ１１０では、色情報登録部１２０が、入力部１５０を介してユーザから画像選択の入力があるか否かを判定する。色情報登録部１２０は、ユーザからの入力があった場合にはステップＳ１２０に処理を移行し、一方、入力がなかった場合にはステップＳ１００に処理を戻し、次のフレームの撮像画像を処理する。

ステップＳ１２０に進むと、色情報登録部１２０は、ステップＳ１１０で選択された撮像画像上で、さらにユーザにより指定された領域５５０に含まれる色情報を取得して、記憶部１１０の色情報テーブルに登録する。領域５５０の指定は、例えば、図２（ａ）に示したように、ユーザが入力部１５０のマウスカーソルを操作して、撮像画像上の領域を指定することにより行われる。なお本実施形態では、選択された撮像画像に対して、ユーザが個別に被写体や背景の領域を登録することに限定されるものではなく、撮像画像上で事前に固定された領域の色を、被写体の色として取得する場合でも適用可能である。また、被写体の領域を機械学習で予め学習した判別器により決定して、その領域の色情報を取得しても良い。

次にステップＳ１３０では、抽出部１４０が、記憶部１１０の色情報テーブルに基づき、選択された撮像画像内における被写体の領域を抽出する。抽出処理では、色情報テーブルの「属性」が登録色に設定されているＹＣｂＣｒ値を参照して、被写体の領域を抽出することが行われる。すなわち、登録色は被写体の色情報であるため、登録色に基づいて抽出されるのは被写体の領域となる。

次にステップＳ１４０では、膨張部１３０が、色情報テーブル内の属性情報が「登録色」に設定されている色情報に基づいて、登録色として膨張する色情報を決定する。処理の詳細については、後に図８のフローチャートで説明する。例えば、色情報登録部１２０で図３（ａ）に示す登録色領域５６０が色空間に登録されている場合、ステップＳ１４０の処理によって、図３（ｅ）に示す領域５６１のように登録色領域５６０が輝度方向、色味方向に膨張する。その結果、後に色抽出のみが実行される際のステップＳ１３０における色抽出結果は、図３（ｂ）から図３（ｆ）のようになり、未検出領域が減少する。

次にステップＳ１４５では、膨張部１３０が、色情報テーブル内の属性情報が「非登録色」に設定されている色情報に基づいて、非登録色として膨張する色情報を決定する。処理の詳細については、後に図８のフローチャートで説明する。ここでは、例えば図７（ａ）に示す登録色領域５６０と膨張した登録色領域５６１と非登録色領域５６５とが登録されている場合を想定する。図７（ａ）には、非登録色領域５６５内に穴の領域５６６があり、この穴の領域５６６が登録色領域になっている例を示している。この状態では、図７（ｂ）に示す通り、被写体領域の外側に誤検出領域（領域５７７）が発生する。このステップＳ１４５の処理によって、非登録色領域５６５を図７（ｃ）の領域５９９のように輝度方向・色味方向に膨張する。その結果、穴領域５６６が非登録色領域として埋められるため、後に色抽出のみが実行される際のステップＳ１３０の色抽出では、誤検出領域であった領域５５７が図７（ｄ）に示すように消えることになる。

次にステップＳ１５０では、色情報登録部１２０が、入力部１５０からユーザの終了指示があるかどうかを判定し、終了指示がなければステップＳ１００に処理を戻す。一方、終了指示があった場合、画像処理装置１００は図６のフローチャートの処理を終了する。
以上の説明は、主に被写体の色情報を登録する際の処理の流れであるが、ユーザが複合現実感を体験する際の色抽出のみが実行される場合には、前述したようにステップＳ１１０、ステップＳ１４０、ステップＳ１４５の処理がスキップされる。

なお本実施形態は、ステップ１４０とステップＳ１４５で登録色と非登録色の膨張処理を分けて個別に処理しているが、これに限定されるものではなく、両方の膨張が同時に実施されてもよい。同時に膨張処理を実施する場合は、後述する輝度膨張部２２０および色味膨張部２３０で扱う３次元空間の色情報に登録色、非登録色を同時にマッピングして処理すればよい。

図８は、膨張部１３０の処理の詳細を示すフローチャートである。図６のステップＳ１４０とステップＳ１４５の処理が、図８のフローチャートの処理に該当する。
ステップＳ３００では、膨張制御部２１０が、記憶部１１０から読み出した色情報に基づいて、メモリ上の３次元色空間に色情報を登録する。

図９は膨張処理を説明するための模式図である。図９は、説明を簡略化するため、本来３次元であるＹＣｂＣｒ空間においてＣｂ値を固定で切り出したときのＹＣｒ空間（２次元色空間）を表現している。また、簡略化のため、特定のＹ値、Ｃｒ値の所定範囲を切り出して表示している。図９のブロック内の記号は、属性情報と膨張情報の組み合わせで決定される記号である。本実施形態では、各記号を以下のように定義する。
属性情報が「登録色」で膨張情報が「０」の場合は「Ｐ」
属性情報が「登録色」で膨張情報が「１」の場合は「Ｑ」
属性情報が「非登録色」で膨張情報が「０」の場合は「Ｎ」
属性情報が「非登録色」で膨張情報が「１」の場合は「Ｍ」

次にステップＳ３１０では、輝度膨張部２２０が、図４に示した色情報テーブルのＹＣｂＣｒ値がすべて０の値である１番目の項目から、ＹＣｂＣｒ値がすべて２５４となる最後の項目までを、順番に注目色として選択する。輝度膨張部２２０は、注目色が「登録色」または「非登録色」であった場合には処理をスキップし、次の色情報テーブルの色を注目色とする。また輝度膨張部２２０は、注目色の属性情報が「なし」の場合には注目色のＹＣｂＣｒ値をメモリ上の３次元色空間にマッピングしたときに、色味が同一で、輝度が±１となる隣接する色の属性情報を参照する。

図１０は、３次元色空間における膨張の方向を表した図であり、図１０に示す色空間において、例えば注目する色が注目色７００の場合、輝度膨張部２２０は、色７１０の属性と色７２０の属性を参照する。輝度膨張部２２０は、予め記憶部１１０に登録されている図１１の属性付与条件表に基づいて、注目色７００の属性を決定し、記憶部１１０の色情報テーブルの属性情報に記録する。

次に、注目色７００は膨張して登録された色であるため、輝度膨張部２２０は、記憶部１１０の色情報テーブルの膨張情報を「１」に置き換える。例えば、輝度が１つ高い色７１０の属性が「登録色」で、輝度が１つ低い色７２０の属性が「なし」であった場合、注目色７００の属性値は、「登録色」となる。図９（ａ）および図９（ｂ）は、最初に登録色の輝度膨張を行う場合の例を示している。最初に３次元色空間に登録されている登録色１１１０に対して、輝度方向に膨張した結果、図９（ｂ）のように記号Ｑで示す領域１１３０が登録色として登録される。

ステップＳ３１５は、膨張制御部２１０が、輝度方向への膨張回数を記憶部１１０から取得し、規定の回数に達したかどうかを判定する。膨張制御部２１０は、輝度方向への膨張回数が規定回数に達していた場合にはステップＳ３１５に処理を移し、達していない場合にはステップＳ３１０に処理を移す。

ステップＳ３２０では、色味膨張部２３０が、図４に示した色情報テーブルのＹＣｂＣｒ値がすべて０の値である１番目の項目から、ＹＣｂＣｒ値がすべて２５４となる最後の項目までを順番に注目色として選択する。色味膨張部２３０は、注目色が「登録色」又は「非登録色」である場合、注目色の属性情報が「なし」の場合に注目色のＹＣｂＣｒ値をメモリ上の３次元色空間にマッピングした際に輝度が同一で色味Ｃｂ及びＣｒ方向±１となる隣接する色の属性情報を参照する。

例えば図１０に示す色空間において、注目色が注目色７００の場合、色味膨張部２３０は、色７３０、色７４０、色７５０、および色７６０の属性を参照する。色味膨張部２３０は、予め記憶部１１０に登録されている図１１の属性付与条件表に基づいて、注目色７００の属性を決定し、記憶部１１０の色情報テーブルの属性に記録する。例えば、色７３０の属性が「登録色」、色７４０の属性が「なし」、色７５０の属性が「非登録色」、色７６０が「なし」であった場合、注目色７００の属性値は、「なし」となる。図９（ｃ）は登録色の色味方向への膨張を行う場合の例を示している。図９（ｂ）の状態で色味方向に膨張処理を行うと、図９（ｃ）に示すように記号Ｑの領域１１４０が登録色として登録される。

ステップＳ３２５では、膨張制御部２１０が、色味方向への膨張回数を記憶部１１０から取得し、規定の回数に達したかどうかを判定する。膨張制御部２１０は、色味方向へ膨張回数が規定回数に達していた場合には処理を終了し、一方、達していない場合にはステップＳ３２０に処理を移す。

図９（ｄ）は、膨張部１３０が、図６のステップＳ１４５において、非登録色を膨張する場合に、最初に３次元色空間に非登録色１１５０をマッピングした時の模式図である。この場合は、ステップＳ３１０で輝度方向に膨張を行うが、図１１の属性付与条件表に基づいて処理した結果、表示されている領域では膨張が行われず、変更がない。これは、隣接するブロックに属性が登録色と非登録色が存在しているためである。

一方で、ステップＳ３２０の色味方向への膨張処理では、図９（ｅ）に示す通り、ブロック１１６０に非登録色の属性が設定される。またブロック１１７０には、隣接するブロックに登録色の属性の色があるため膨張されない。
本実施形態では、以上の処理により、登録色と非登録色を独立して膨張させるのではなく、重複が発生するブロックに関しては意図的に膨張させないように制御する。すなわち膨張部１３０の膨張制御部２１０は、被写体の色情報を３次元色空間で膨張させるときに、背景の色情報の３次元色空間における位置を参照して重複しないように膨張を制御する。これにより、本実施形態によれば、抽出した被写体領域の誤検出領域５５７や未検出領域５５２を偏りなく減少させることができる。

＜変形例１＞
前述したように第１の実施形態では、輝度方向と色味方向への膨張回数は１回のみとしていたが、膨張回数は１回に限定されることに限定されるものではなく、また輝度方向と色味方向への膨張回数は同一の回数に限定されるものではない。膨張回数は、予め設定されていても良いし、ユーザによって任意の回数に設定されてもよい。

第１の実施形態の変形例１では、膨張回数を変更した場合について説明する。例えば、色味方向の膨張回数に２回が設定されている場合について説明する。なお、変形例１における画像処理装置１００の構成は前述した構成と同様であるため、図示と説明は省略する。また、変形例１を実現する際の処理も、前述したフローチャートと同様である。但し、図８に示したフローチャートのステップＳ３１５とステップＳ３２５の処理が前述の説明では１回であったが、変形例１のように膨張回数が２回に設定されている場合にはステップＳ３１０とステップＳ３２０の処理が２回行われる。

変形例１における処理が行われた結果、膨張の状態は、図９（ｆ）に示すように、登録色１１８０の領域に示すように登録色の領域が膨張される。しかし、登録色と非登録色に隣接するブロック１１９０は膨張されない。
なお、輝度方向の膨張回数を色味方向の膨張回数よりも多くした場合は、膨張する幅が輝度方向に長くなる。特に被写体が明るい場所と暗い場所を行き来するようなシーンにおいては、輝度方向の膨張を多くするように調整することで、未検出領域を減少させることができる。
また、照明の色温度が異なる部屋を体験者が移動するようなシーンでは、色味方向の膨張回数を輝度方向に比べて多くするように調整することで、未検出領域を減少させることができる。

＜変形例２＞
前述の例では、事前に膨張回数を記憶部１１０に格納して処理中は変更していない。膨張回数は処理中に固定された回数であることに限定されるものではなく、変形例２として、現在の撮像画像に対し、ユーザが表示部２７０で被写体の抽出結果を確認した後で、同じ画像に対して膨張回数を変更するように指示してもよい。
変形例２の処理を実現するためには、記憶部１１０に格納する膨張回数を、ユーザが入力部１５０を介して入力し、色情報登録部１２０経由で変更して同じ処理を実行すればよい。

＜第２の実施形態＞
第１の実施形態では、被写体の色を登録するときに、色情報登録部１２０が、入力部１５０経由でユーザからの入力を取得している。ただし、ユーザからの入力が常に正しいとは限らないため、被写体領域ではない色を登録してしまう可能性がある。この場合、例えば背景の色であるのに被写体の色として登録色に登録されてしまい、抽出結果に誤検出領域が増える。さらに前述したような膨張処理を行うと、登録色が膨張されるため、誤検出領域の増大が助長されてしまう虞がある。
そこで、第２の実施形態では、ユーザの入力が誤った入力であったとしても、誤った領域を登録しないように自動的に防ぐ画像処理装置を説明する。

図１２は、第２の実施形態の画像処理装置１００の構成例を示すブロック図である。第図１２の構成は、図１に示した各構成に対し、さらに奥行き計測部１３００と奥行判定部１３１０とが追加されている。

奥行き計測部１３００は、撮像部１０１から被写体等までの距離情報を取得する距離取得部である。本実施形態の場合、奥行き計測部１３００は、撮像画像の各ピクセルに対して、撮像部１０１から被写体等までの距離を奥行き値として計測して割り当てる。第２の実施形態では、例えば、撮像部１０１がステレオカメラであることを想定して、既知のステレオマッチング処理で撮像画像上の奥行き値を計測するものとする。なおデプスセンサなど、別のデバイスを使用して奥行き情報が取得されても良い。

奥行判定部１３１０は、奥行き計測部１３００で得られた撮像画像上の奥行き値を参照し、所定の距離範囲内にある奥行き値のピクセル位置を特定する。奥行判定部１３１０は、撮像画像上で所定の範囲内にある奥行き値のピクセルには１、それ以外には０の値を登録して、適正距離にある領域の画像を生成する。そして、生成された適正距離の領域画像は、色情報登録部１２０に入力され、ユーザが誤入力しようとした被写体以外の領域を自動的に排除する。

本実施形態の処理を実現するためには、図６のステップＳ１２０において、ユーザが指定した被写体の領域が、奥行判定部１３１０で生成した適正距離の領域で１の値になっている領域の色情報のみを、記憶部１１０の色情報テーブルに記録すればよい。

例えば、ユーザが誤って被写体と背景を同時に囲んでしまった場合、図１３（ａ）に示すような３次元色空間上の登録色領域５６０が生成される。登録色領域５６０の一部は、正解領域５９５から逸脱しており、この色情報テーブルを使用して被写体を抽出した場合は、図１３（ｂ）のように誤検出領域５５５、５５７がノイズとして検出される。
奥行判定部１３１０で被写体が存在する確率が高いと判定される、撮像部１０１からの奥行方向の距離を、所定の距離範囲として入力すれば、図１３（ｃ）のような適正距離の領域画像が得られる。第２の実施形態では、この情報を用いて色情報を登録することにより、図１３（ｄ）に示すような領域に自動的に補正することができる。また第２の実施形態においても、その色情報を膨張することにより、未検出領域と誤検出領域が少ない被写体の抽出画像を得ることができる。

図１４は、前述した第１、第２の実施形態における画像処理装置１００を適用可能な情報処理装置等のハードウェア構成例を示した図である。図１４に示した情報処理装置は、一般的なコンピュータ等により実現可能である。
ＣＰＵ９０１は、装置全体を制御する。ＲＡＭ９０７は、ＣＰＵ９０１が各部を制御しながら処理を行う時に作業領域として用いられる。またＣＰＵ９０１は、表示部２７０を制御する表示制御部としても動作する。ＲＯＭ９０２は、制御プログラム、各種アプリケーションプログラム、データなどを記憶する。ＣＰＵ９０１がＲＯＭ９０２に記憶する制御プログラムをＲＡＭ９０７に展開して実行することにより、図１或いは図１２の画像処理装置１００が実現される。Ｉ／Ｆ９０３は、情報処理装置の外部の装置との通信に用いられる。例えば、Ｉ／Ｆ９０３は、撮像部１０１が撮像した撮像画像の信号を、画像処理装置１００で処理可能な形式にして取得する。なおＩ／Ｆ９０３は、情報処理装置が外部の装置と有線で接続される場合には通信用のケーブルがＩ／Ｆ９０３に接続される。また情報処理装置が外部の装置と無線通信する機能を有する場合にはＩ／Ｆ９０３はアンテナを備える。

また情報処理装置は、ＣＰＵとは異なる１又は複数の専用のハードウェアを有していて、ＣＰＵによる処理の少なくとも一部を専用のハードウェアが実行しても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。表示部２７０は、例えば液晶ディスプレイやＬＥＤディスプレイ等で構成され、ユーザが情報処理装置を操作するためのＧＵＩ（グラフィカルユーザインタフェース）などを表示する。例えば、前述した被写体上の領域や背景上の領域をユーザが指定したり、膨張回数をユーザが指定したりする際などのＧＵＩを挙げることができる。マウス９０８やキーボード９０９は、ユーザが操作する操作デバイスである。操作デバイスには、ジョイスティック、タッチパネル等が含まれてもよい。外部記憶装置９０６は、情報処理装置に接続された記憶装置である。記憶媒体ドライブ９０５は、情報処理装置にメモリカード等の記憶媒体が装着された際に記憶媒体を駆動するドライブ装置である。バス９１０は、情報処理装置の各部をつないで情報を伝達する。なお本実施形態の場合、情報処理装置と接続される外部の装置は、前述したような撮像部１０１の他、他の情報処理装置等も含まれる。またマウス９０８やキーボード９０９等は、情報処理装置の外部に別の装置として存在していても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：画像処理装置、１０１：撮像部、１１０：記憶部、１１５：出力部、１２０：色情報登録部、１３０：膨張部、１４０：抽出部、２１０：膨張制御部、２２０：輝度膨張部、２３０：色味膨張部

Claims (13)

1. 撮像装置で撮像された第１の画像における被写体と背景の色情報を取得する色情報取得手段と、
   前記取得された前記被写体と背景の前記色情報を記憶する記憶手段と、
   前記記憶手段に記憶された前記色情報を、３次元色空間上で膨張させる膨張手段と、
   を有することを特徴とする画像処理装置。
2. 前記記憶手段に記憶された前記色情報と前記膨張手段で前記膨張された色情報とに基づいて、前記撮像装置で撮像された第２の画像から前記被写体の領域を抽出する抽出手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段により前記抽出された被写体の領域を出力する出力手段を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記記憶手段は、前記色情報を、輝度情報と色味情報とに分けて保持する色情報テーブルを記憶することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記膨張手段は、前記被写体と背景の前記色情報の少なくとも１つを、３次元色空間の輝度方向に膨張させることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 前記膨張手段は、前記被写体と背景の前記色情報の少なくとも１つを、３次元色空間の色味方向に膨張させることを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
7. 前記膨張手段は、前記被写体の色情報を３次元色空間で膨張させるときに、前記背景の色情報の３次元色空間における位置を参照して重複しないように前記膨張を制御することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
8. 前記膨張手段は、ユーザが入力した膨張回数、又は、予め設定された膨張回数に基づいて、前記膨張を制御することを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
9. 前記被写体と背景の前記色情報の少なくとも１つを３次元色空間の輝度方向および色味方向に膨張させる場合、前記膨張回数は、前記輝度方向における膨張回数を前記色味方向の膨張回数よりも多くすることを特徴とする請求項８に記載の画像処理装置。
10. 前記被写体と背景の前記色情報の少なくとも１つを３次元色空間の輝度方向および色味方向に膨張させる場合、前記膨張回数は、前記色味方向における膨張回数を前記輝度方向の膨張回数よりも多くすることを特徴とする請求項８に記載の画像処理装置。
11. 前記撮像装置から前記被写体までの距離情報を取得する距離取得手段を有し、
    前記記憶手段は、前記距離情報が規定の範囲内である場合に前記色情報を記憶することを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置。
12. 撮像装置で撮像された第１の画像における被写体と背景の色情報を取得する色情報取得工程と、
    前記取得された前記被写体と背景の前記色情報を記憶する記憶工程と、
    前記記憶工程にて記憶された前記色情報を、３次元色空間上で膨張させる膨張工程と、
    を有することを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至請求項１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images