JP2017174296A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像から動きのある領域（前景）を抽出して前景分離を行う際、動体の動きに伴って変化する影や反射による影響を受けた領域（影反射領域）を適正に判定し、精度の高い前景分離を行う。【解決手段】カメラ１から入力した画像を小領域に分割し、小領域の色成分ＲＧＢから特徴量fを生成し、該特徴量fの確率的変動を示す背景ガウス分布を用いて暫定的な前景領域を判定する。影反射除去部５では、動体の動きに伴って変化する影や反射光の影響を受けた影反射領域を暫定前景領域から除去する。影反射除去部５に範囲調整部６を設け、特徴量の大きさに応じて背景ガウス分布の包含範囲を調整する。この包含範囲に特徴量fが含まれた場合にその小領域を背景領域として暫定前景領域から除外する。【選択図】図１

Description

本発明はカメラ等で撮影した画像から動体を前景として背景から高精度に分離できる画像処理装置および画像処理方法に関する。

従来より、ジェスチャー入力に用いられる技術として、カメラから入力した画像を処理し、動きのある領域（前景領域）を動きのない領域（背景領域）から分離する、前景分離という技術が知られている（特許文献１、非特許文献１）。特許文献１では、特に、画像の色成分の変動から「動き」を判定するために、画像の色成分の平均を特徴量とし、該特徴量が発生する確率を複数のガウス分布の重み付き和で表した混合ガウスモデルを用いて前景分離を行っている。この方法によれば、演算量が少く、ジェスチャー入力端末を省電力化できるという利点がある。

しかし、混合ガウスモデルを用いて前景分離を行った場合、動体とともに動く影や、動体の動きに従って変化する周辺物体からの反射光が「動き」と判定され、本来背景として判定すべき領域を誤って前景として判定してしまうという問題が生じていた。この問題に対し、特許文献１には、前景分離によって一旦前景として判定された領域のうち、影反射による領域を背景として判定しなおし、前景から除去する影反射除去の技術が記載されている。

国際公開ＷＯ２０１５／０９３２３１号公報

松井 翔太，山下 祥宏，山口 亨，西谷 隆夫, 「GMM前景分離を用いたロバストな指先動作検出による空間ジェスチャーインタフェース」SICE システムインテグレーション (SI 2013), CD-ROM 1K4-3, 2013 .

しかし、特許文献１の影反射除去技術によれば、背景ガウス分布の平均の大きさによっては、影反射領域の判定精度が下がるという問題が生じていた。例えば、図５（ａ）に示す画像（原画）について特許文献１の影反射除去を行った場合、図５（ｂ）のように、背景ガウスの平均が高い場合、影反射と判定される領域の精度が下がり、前景領域が正確に抽出できないという問題が生じていた。

そこで、本発明の目的は、背景ガウス分布の平均の大きさが変動しても、前景領域および背景領域を適正に判定して、精度の高い影反射除去を行うことのできる画像処理装置を提供することにある。

上記課題を解決するために、本発明は次のような手段を提供する。
（１）画像を小領域に分割する領域分割部と、小領域毎の入力の大きさを示す複数の特徴量を用いて動体を含む前景領域を動体の背景となる領域から分離する前景分離部を備え、前景分離部は、複数の特徴量の一つである第一特徴量の確率的変動を示す第一の背景ガウス分布を用いて暫定的な前景領域判定を行う暫定前景判定部と、第一特徴量、第一背景ガウス分布、他の特徴量である第二特徴量および第二特徴量の確率的変動を示す第二の背景ガウス分布を用いて、動体の動きに伴って変化する影または反射光の影響を受けた影反射小領域を暫定前景領域から除去する影反射除去部を備え、影反射除去部が、第二背景ガウス分布の包含範囲を調整する範囲調整部を備え、調整済み包含範囲に第二特徴量が含まれた場合に、該特徴量に対応する影反射小領域を暫定前景領域から除去することを特徴とする画像処理装置。

（２）範囲調整部が、第二背景ガウス分布の包含範囲を第二特徴量の大きさに比例して増大させる係数を設定する比例係数設定部を備えたことを特徴とする上記（１）に記載の画像処理装置。

（３）比例係数設定部が、第二背景ガウス分布の平均が増大するにつれて比例係数を減少させることを特徴とする上記（２）に記載の画像処理装置。

（４）比例係数設定部が、第二特徴量が第二背景ガウス分布の平均と等しい場合に最大の比例係数を設定し、第二特徴量が第二背景ガウス分布の平均から乖離するにつれて比例係数を減少させることを特徴とする上記（２）に記載の画像処理装置。

（５）範囲調整部が、第二背景ガウス分布の包含範囲を増大させる倍数を設定する倍数設定部を備え、倍数設定部が、第二背景ガウス分布の標準偏差に所定の倍数を乗ずることを特徴とする上記（１）に記載の画像処理装置。

（６）画像を小領域に分割するステップと、小領域毎の入力の大きさを示す複数の特徴量を用いて動体を含む前景領域を動体の背景となる領域から分離するステップと、前景を分離するステップは、複数の特徴量の一つである第一特徴量の確率的変動を示す第一の背景ガウス分布を用いて暫定的な前景領域判定を行うステップと、第一特徴量、第一背景ガウス分布、他の特徴量である第二特徴量および第二特徴量の確率的変動を示す第二の背景ガウス分布を用いて、動体の動きに伴って変化する影または反射光の影響を受けた影反射小領域を暫定前景領域から除去するステップを備え、影反射を除去するステップが、第二背景ガウス分布の包含範囲を調整するステップを備え、調整済み包含範囲に第二特徴量が含まれた場合に、該特徴量に対応する影反射小領域を暫定前景領域から除去することを特徴とする画像処理方法。

（７）範囲を調整するステップが、第二背景ガウス分布の包含範囲を第二特徴量の大きさに比例して増大させる係数を設定するステップを備えたことを特徴とする上記（６）に記載の画像処理方法。

（８）比例係数を設定するステップが、第二背景ガウス分布の平均が増大するにつれて比例係数を減少させることを特徴とする上記（７）に記載の画像処理方法。

（９）比例係数を設定するステップが、第二特徴量が第二背景ガウス分布の平均と等しい場合に最大の比例係数を設定し、第二特徴量が第二背景ガウス分布の平均から乖離するにつれて比例係数を減少させることを特徴とする上記（７）に記載の画像処理方法。

（１０）範囲を調整するステップが、第二背景ガウス分布の包含範囲を増大させる倍数を設定するステップを備え、倍数を設定するステップが、第二背景ガウス分布の標準偏差に所定の倍数を乗ずることを特徴とする上記（６）に記載の画像処理方法。

本発明の画像処理装置および画像処理方法によれば、影反射除去に用いる背景ガウスの包含範囲に補正を加えるため、例えば室内のように、画像内のコントラストが低く、家具等からの微細な反射光が前景領域判定に大きな影響を与える環境においても、前景領域および背景領域を適正に判定でき、精度の高い影反射除去を行うことができるという効果がある。

本発明の一実施形態を示す画像処理装置のシステム図である。 特徴量の測定分布、混合ガウスモデル、およびガウスモデルを示すグラフである。 修正特徴量による影反射除去方法を示す模式図である。 減衰または増幅した背景ガウス分布による影反射除去方法を模式的に示す模式図である。 本発明および従来の影反射除去の結果を比較して示す写真である。

以下、本発明の実施形態を図面に基づいて説明する。図１に示す画像処理装置は、カメラ１から入力した画像を小領域に分割し、小領域毎に特徴量を生成する特徴量生成部２と、特徴量に基づいて動体を含む前景領域を動体の背景となる領域から分離する前景分離部３から構成されている。

前景分離部３は、小領域が前景領域であるか否かについて暫定的な判定を行う暫定前景判定部４と、前記暫定的に判定された暫定前景領域から、動体の影または動体からの反射光を含む影反射領域を除去する影反射除去部５とを備えている。また、影反射除去部５は、特徴量の確率的変動を示すガウス分布の範囲を調整する範囲調整部６を含む。

以下、さらに詳説する。特徴量生成部２では、分割した小領域毎に三原色ＲＧＢの色成分を取り出して平均し、それぞれ特徴量f_r，f_g，f_b（以下、まとめてfと記載する。）として、暫定前景判定部４へ送信する。

特徴量fを受信した暫定前景判定部４は、図２に示すように、一回前までに受信した特徴量fの測定履歴情報を読み出し、その測定分布１１を複数のガウス分布によって近似し、これらのガウス分布の重み付き和を表す混合ガウスモデル１２を生成する。また、前記複数のガウス分布の重み係数ωの総和を「１」、混合ガウスモデル１２全体の重み係数ωを「１」となるように調整する。

ここで、ある小領域において「動き」がない場合、その小領域からの特徴量fはほぼ一定であるから、その特徴量fから生成されるガウス分布の重み係数ωは大きくなる。反対に、「動き」が多い場合、その小領域からの特徴量fは変動するから、その特徴量fから生成されるガウス分布の重み係数ωは小さくなる。

この原理を利用し、前景暫定前景判定部４では、ガウス分布を重み係数ωに基づいて降順に並べ、重み係数ωの大きいガウス分布を背景ガウス分布、重み係数ωの小さいガウス分布を前景ガウス分布として特定する。

次に、暫定前景判定部４は、特徴量fが前記複数のガウス分布のいずれかに包含されるか否かについて、次式（数１）に基づいて検査する。

ここで、「ガウス分布に包含される」とは、一般に、ガウス係数が平均μ、標準偏差がσであるガウス分布について、数１が成立することをいう。また、数１における「２．５σ」は、「２σ」または「３σ」としても良い。これは、平均μから±２σ以内の値となる確率が９５．５％、±３σ以内の値となる確率が９９．８％であることを根拠とする。

検査の結果、背景ガウス分布に包含されなかった場合に、暫定前景領域と判定し、暫定前景フラグをＯＮにする。その他の場合は、暫定前景フラグをＯＦＦにする。なお、この検査は、特徴量f_r，f_g，f_bのうちの２つ、あるいは全てについて行われ、一つでも暫定前景の判定がされた場合に、その小領域を暫定前景領域と判定する。

その後、暫定前景判定部４は、受信した特徴量fを履歴情報として保存し、特徴量f、暫定前景フラグ、および混合ガウスモデル１２を構成するすべての背景ガウス分布の係数（平均μ、標準偏差σ、重み係数ω）を影反射除去部５へ送信する。

なお、暫定前景判定部４において、受信した特徴量fが全てのガウス分布のいずれにも包含されない場合がある。この場合には、この特徴量fを平均μとする新たなガウス分布を生成し、混合ガウスモデルに追加する。同時に、混合ガウスモデルの中で最も小さい重み係数ωを持っていたガウス分布を廃棄し、その重み係数ωを新たに生成したガウス分布の重み係数ωとして割り当てる。新たに生成したガウス分布は、混合ガウスモデルの中で最も重み係数ωが小さいため、前景ガウス分布として特定される。

また、暫定前景判定部４において一画像を構成する全ての小領域について判定が終了した後、小領域の分割サイズを２倍に拡大し、同一画像について複数回の暫定前景判定処理を行ってもよい。この場合には、全ての分割サイズ（例えば、２×２，４×４，８×８画素）で暫定前景領域と判定された場合のみ最終的な暫定前景領域と判定する。この処理は、ある小領域が小さなノイズを含んでいた場合に、該小領域が隣接する小領域と無関係に孤立して暫定前景領域と判定されることを防ぎ、前景分離結果の安定性を確保するためのものである。特に、高精細（ＨＤＴＶ）ビデオ等の映像の前景分離に有効である。

影反射除去部５は、受信した暫定前景フラグを読み出し、その内容を真性前景フラグへコピーする。そして、真性前景フラグがＯＦＦの場合は、この小領域については影反射除去処理を行わない。一方、真性前景フラグがＯＮの場合は、受信した特徴量f（つまり、f_r，f_g，f_b）のうち、最も大きな特徴量を第一特徴量f₁、その他の特徴量のいずれかを第二特徴量f₂と特定する。また、第一，第二特徴量f₁，f₂にそれぞれ対応する背景ガウス分布を、それぞれ第一，第二背景ガウス分布と特定する。

ここで、図３（ａ）に示すように、混合ガウスモデルを用いた影反射除去方法では、影や反射に起因して背景が前景領域となるのは特徴量が影反射により減衰または増幅し、本来あるべき背景ガウス分布の包含区間から逸脱した結果であることを根拠としている。このとき、同一小領域から測定された特徴量の減衰または増幅率は同一であるから、第一特徴量f₁の減衰または増幅率m₁の逆数を第二特徴量f₂に乗算することにより、図３（ｂ）に示すように、第二特徴量が受けた減衰または増幅の影響をキャンセルし、これら影反射の影響を受ける前の特徴量f₂’に修正することができる。そして、修正後の第二特徴量f₂’が第二背景ガウス分布に包含される場合には、第一，第二特徴量f₁，f₂に対応する小領域は背景領域であると判定できる。

第一特徴量の減衰または増幅率m₁は、第一背景ガウス分布μ₁、第一特徴量f₁を用いて、次式（数２）のように求められる。

このとき、f₂／m₁が修正後の第二特徴量f₂’となる。減衰または増幅率m₁を算出した後、影反射除去部５は、範囲調整部６へ第一，第二特徴量f₁，f₂、並びに、混合ガウスモデル１２に属するすべての第一，第二背景ガウス分布の平均μ₁，μ₂、標準偏差σ₁，σ₂、および、重み係数ω₁，ω₂を送信する。

範囲調整部６は、混合ガウスモデル１２に属するすべての第一，第二背景ガウス分布の係数（平均μ₁，μ₂、標準偏差σ₁，σ₂、重み係数ω₁，ω₂）を受信した後、第二ガウス分布の包含範囲を特徴量の大きさに基づいて調整する。具体的には、f₂の値に応じて次式（数３）に係る比例係数δを調整する。

例えば、図４（ａ）に示すように、μ₂＝０〜６３の場合にδ＝０．３、μ₂＝６４〜１２７の場合にδ＝０．１５、μ₂＝１２８〜１９１の場合にδ＝０．１、μ₂＝１９２〜２５５の場合にδ＝０、とする。調整が終わると、範囲調整部６は、比例係数δの値を影反射除去部５に送信する。

比例係数δを受信した影反射除去部５は、修正後の第二特徴量f₂’が範囲調整後の第二背景ガウスに包含されるか否か、判定する。包含されていた場合は、第一，第二特徴量f₁，f₂に対応する小領域を背景領域と判定し、真性前景フラグをＯＦＦにする。

影反射除去部５において、最終的に真性前景フラグがＯＮとなった小領域の集合が、画像処理装置における真の前景領域として特定される。

図４（ｂ）に示す調整例では、比例係数δが、０＜μ₂＜６４の場合にδ＝０．１、６４≦μ₂＜１２８の場合にδ＝０．０５、１２８≦μ₂＜１９２の場合にδ＝−０．０５、１９２≦μ₂＜２５６の場合にδ＝−０．１、と調整される。

上記構成の画像処理装置および画像処理方法によれば、影反射除去に用いる第二ガウス分布の包含範囲について、第二特徴量の大きさに応じて補正を加えるため、第二特徴量の大きさの変動に伴って、第二背景ガウス分布の平均の大きさが変動しても、前景領域および背景領域を適正に判定でき、精度の高い影反射除去を行うことができるという効果がある。

また、範囲調整部６での変形例として、前記数３の代わりに次式（数４）を用いることもできる。ここでは、範囲調整部６は、「f₁＞μ₁」の場合に、「σ₂(255 - f₁)/(255 - μ₁) + 4σ₂」を、「f₁ ≦ μ₁」の場合に、「2.5σ₂ + 5σ₂f₁/μ₁」を、第二ガウス分布の包含範囲としてそれぞれ算出する。

その後、範囲調整部６は、第二背景ガウス分布の包含範囲を影反射除去部５へ送信する。

第二背景ガウス分布の包含範囲を数４を用いて調整する構成の画像処理装置および画像処理方法によれば、第二特徴量f₂の値を第二背景ガウス分布の平均μ₂に応じて場合分けし、第二特徴量f₂がダイナミックレンジの端（例えば、０または２５５）に至るにつれて調整範囲が小さくなることにより、特徴量f₂の値に基づいて、第二背景ガウス分布の平均の大きさが変動し、より細やかなガウス分布の範囲調整ができるという効果がある。

本発明の画像処理装置および画像処理方法は、影反射の影響を小さくし、図５（ｃ）に示すように、指先を鮮明に表示できるため、指先等を利用したジェスチャー入力システムに利用可能である。例えば、ウェアラブルグラスに搭載した場合には、指先ジェスチャー入力を用い、IOT（Internet Of Things）を介して他のシステムを制御・観測する場合に利用可能である。その他、指先ジェスチャー入力によって電動車椅子等の進行方向を指示したり、マニュアル等の連絡情報を指先ジェスチャーで特定し、ウェアラブルグラスに転送するための基礎技術としても利用可能である。

１ 画像処理装置
２ 特徴量生成部
３ 前景分離部
４ 暫定前景判定部
５ 影反射除去部
６ 範囲調整部
１１ 測定分布
１２ 混合ガウスモデル

Claims (5)

1. 画像を小領域に分割する領域分割部と、
   前記小領域毎の入力の大きさを示す複数の特徴量を用いて動体を含む前景領域を前記動体の背景となる領域から分離する前景分離部を備え、
   前記前景分離部は、
   前記複数の特徴量の一つである第一特徴量の確率的変動を示す第一の背景ガウス分布を用いて暫定的な前景領域判定を行う暫定前景判定部と、
   前記第一特徴量、第一背景ガウス分布、他の特徴量である第二特徴量および第二特徴量の確率的変動を示す第二の背景ガウス分布を用いて、動体の影または反射光の影響を受けた影反射小領域を前記暫定前景領域から除去する影反射除去部を備え、
   前記影反射除去部が、
   前記第二背景ガウス分布の包含範囲を調整する範囲調整部を備え、
   前記調整済み包含範囲に前記第二特徴量が含まれた場合に、該特徴量に対応する前記影反射小領域を前記暫定前景領域から除去することを特徴とする画像処理装置。
2. 前記範囲調整部が、前記第二背景ガウス分布の包含範囲を第二特徴量の大きさに比例して増大させる係数を設定する比例係数設定部を備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記比例係数設定部が、前記第二背景ガウス分布の平均が増大するにつれて前記比例係数を減少させることを特徴とする請求項２に記載の画像処理装置。
4. 前記比例係数設定部が、前記第二特徴量が前記第二背景ガウス分布の平均と等しい場合に最大の比例係数を設定し、前記第二特徴量が前記第二背景ガウス分布の平均から乖離するにつれて前記比例係数を減少させることを特徴とする請求項２に記載の画像処理装置。
5. 前記範囲調整部が、前記第二背景ガウス分布の包含範囲を増大させる倍数を設定する倍数設定部を備え、
   前記倍数設定部が、前記第二背景ガウス分布の標準偏差に所定の倍数を乗ずることを特徴とする請求項１に記載の画像処理装置。

Images