JP2017174297A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像から、人物・腕・手・指などの移動する物体（動体）を含む領域（前景）を抽出して前景分離を行う際、カメラの動きによる画像の「ぶれ」が、前景と誤判定されることを防ぐ。【解決手段】カメラ１から入力した画像について基準フレーム画像からの変位（動きベクトル）を算出し、動きベクトルを用いて画像全体を移動する。次に、補正後の画像を小領域に分割し、小領域の各色成分（ＲＧＢ）について特徴量fを生成し、該特徴量fの確率的変動を示す背景ガウス分布を用いて暫定的な前景領域を判定する。前景領域補正部７では、画像の「ぶれ」によって前景となった領域を、暫定的な前景領域から除外する。そのために、補正用背景ガウス分布の包含範囲を、動きベクトルの標準偏差の大きさに応じて補正し、該包含範囲に特徴量fが含まれた場合にその小領域を暫定前景領域から除外する。【選択図】図１

Description

本発明はカメラ等で撮影した画像から、人物・腕・手・指などの移動する物体（動体）を前景とし、背景から高精度に分離できる画像処理装置および画像処理方法に関する。

従来より、ウェアラブルデバイス等に搭載のジェスチャー入力システムに用いられる技術として、カメラから入力した画像を処理し、前記動体を含む領域（前景領域）をそれ以外の領域（背景領域）から分離する、前景分離という技術が知られている（特許文献１、非特許文献１）。特許文献１では、特に、画像の各色成分の変動から「動き」を判定するために、画像の色成分の平均を特徴量とし、特徴量が発生する確率を複数のガウス分布の重み付き和で表した混合ガウスモデルを用いて前景分離を行っている。この方法によれば、演算量が少く、ジェスチャー入力端末を省電力化できるという利点がある。

国際公開ＷＯ２０１５／０９３２３１号公報

松井 翔太，山下 祥宏，山口 亨，西谷 隆夫, 「GMM前景分離を用いたロバストな指先動作検出による空間ジェスチャーインタフェース」SICE システムインテグレーション (SI 2013), CD-ROM 1K4-3, 2013 .

ところが、ウェアラブルデバイスは、頭や腕などの不安定な場所に装着することが多く、搭載したカメラを静止状態に保ち難い。カメラが動いてしまうと、動体を含まない背景領域も変位して「動き」が生じた結果、背景が前景と誤判定され、ジェスチャー入力システムに必要な前景分離が正確に行えないという問題があった。

このような問題を回避するには、混合ガウスモデルを構成するガウス分布を増やす方法が有効であるが、他方、ガウス分布を増やすと計算量が増大するという問題もあった。

そこで、本発明の目的は、計算量を抑制しつつ、カメラが動いても正確に前景分離をすることのできる画像処理装置および画像処理方法を提供することにある。

上記課題を解決するために、本発明は次のような手段を提供する。
（１）入力フレーム画像の基準フレーム画像からの変位を前記画像の動きベクトルとして算出する動きベクトル算出部と、動きベクトルを用いて画像を移動させる画像補正部と、補正後の画像を小領域に分割する領域分割部と、小領域毎の入力の大きさを示す複数の特徴量を用いて動体を含む前景領域を動体の背景となる領域から分離する前景分離部を備え、動きベクトル算出部は、動きベクトルの分散を示す標準偏差を算出する標準偏差算出部を備え、前景分離部は、複数の特徴量の確率的変動を示す背景ガウス分布を用いて暫定的な前景領域を判定する暫定前景判定部と、特徴量が補正用背景ガウス分布に含まれた場合に、該特徴量に対応する小領域を暫定前景領域から除外する前景領域補正部を備え、補正用背景ガウス分布の包含範囲が、動きベクトルの標準偏差が大きいほど広く設定され、動きベクトルの標準偏差が小さいほど狭く設定されていることを特徴とする画像処理装置。

（２）動きベクトル算出部が、画像に含まれる重複しない複数の領域の中心部をパターンマッチングの探索範囲として画定する探索範囲画定部を備え、探索範囲毎に算出された全ての動きベクトルの平均を画像全体の動きベクトルとして出力する（１）に記載の画像処理装置。

（３）動きベクトル算出部は、１フレーム前に入力した画像の前景領域と、次フレームで入力した画像の探索範囲が重複した場合に、該探索範囲について算出された動きベクトルを除外して、次に入力した画像の動きベクトルの平均を算出することを特徴とする（２）に記載の画像処理装置。

（４）入力フレーム画像の基準フレーム画像からの変位を前記画像の動きベクトルとして算出するステップと、動きベクトルを用いて画像を移動させるステップと、補正後の画像を小領域に分割するステップと、小領域毎の入力の大きさを示す複数の特徴量を用いて動体を含む前景領域を動体の背景となる領域から分離するステップを備え、動きベクトルを算出するステップは、動きベクトルの分散を示す標準偏差を算出するステップを備え、前景領域を背景領域から分離するステップは、複数の特徴量の確率的変動を示す背景ガウス分布を用いて暫定的な前景領域を判定するステップと、特徴量が補正用背景ガウス分布に含まれた場合に、該特徴量に対応する小領域を暫定前景領域から除外するステップを備え、補正用背景ガウス分布の包含範囲が、動きベクトルの標準偏差が大きいほど広く設定され、動きベクトルの標準偏差が小さいほど狭く設定されていることを特徴とする画像処理方法。

（５）動きベクトルを算出するステップが、画像に含まれる重複しない複数の領域の中心部をパターンマッチングの探索範囲として画定するステップを備え、探索範囲毎に算出された全ての動きベクトルの平均を画像全体の動きベクトルとして出力する（４）に記載の画像処理方法。

（６）動きベクトルを算出するステップは、１フレーム前に入力した画像の前景領域と、次フレームで入力した画像の探索範囲が重複した場合に、該探索範囲について算出された動きベクトルを除外して、次に入力した画像の動きベクトルの平均を算出することを特徴とする（５）に記載の画像処理方法。

本発明の画像処理装置および画像処理方法によれば、画像の変位から画像全体について動きベクトルを求め、この動きベクトルを用いて画像を移動するとともに、動きベクトルの標準偏差が大きい場合に補正用背景ガウスの包含範囲を広く設定し、動きベクトルの標準偏差が小さい場合に補正用背景ガウスの包含範囲を狭く設定することとしている。そのため、カメラの動きが大きいほど小領域は前景領域と判定され難くなり、反対にカメラの動きが小さいほど小領域は前景領域と判定され易くなり、前景領域の誤判定を防止して、精度の高い前景分離を行うことができるという効果がある。

本発明の一実施形態を示す画像処理装置のシステム図である。 動きベクトルを算出する領域の画定方法を表した模式図である。 ダイヤモンドサーチの例を示した模式図である。 特徴量の測定分布、混合ガウスモデル、およびガウス分布を示すグラフである。 修正特徴量による前景領域補正方法を示す模式図である。 本発明の画像処理方法の経過と結果を示す写真である。 本発明の他の実施形態を示す画像処理装置のシステム図である。

以下、本発明の実施形態を図面に基づいて説明する。図１に示す画像処理装置は、カメラ１から入力した画像（入力フレーム画像）について、最初に入力した画像（基準フレーム画像）からの変位を動きベクトルとして算出する動きベクトル算出部２と、動きベクトルを用いて画像を移動させ、変位を回復させるように補正する画像補正部３と、画像を小領域に分割し、小領域毎に特徴量を生成する特徴量生成部４と、特徴量に基づいて、人物・腕・手・指などの移動する物体（動体）を含む前景領域を動体の背景となる領域から分離する前景分離部５から構成されている。

動きベクトル算出部２は、一フレーム前までに算出した動きベクトルの履歴情報を読み出し、標準偏差σ_BGを算出する標準偏差算出部９を備えている。また、前景分離部５は、小領域が前景領域であるか否かについて暫定的な判定を行う暫定前景判定部６と、前記暫定的に判定された暫定前景領域から、カメラの動きによって前景領域と判定された小領域を暫定前景領域から除去する前景領域補正部７とを備えている。

以下、図２に基づいて詳説する。カメラ１から画像信号を受信した動きベクトル算出部２は、図２（ａ）に示すように、入力画像１１の周縁を除く領域１２を縦横７×５のブロックに分割し、２００×２００画素の領域１３を作成する。次に、図２（ｂ）に示すように、領域１３の中心部に位置する１６×１６画素の領域１４を、それぞれパターンマッチングの探索範囲１４として画定する。その後、領域１２に含まれる全ての探索範囲１４について基準フレーム画像とのパターンマッチングを行う。

パターンマッチングの手法としては、位相限定相関法（ＰＯＣ）、ダイヤモンドサーチ（ＤＳ）等が挙げられる。ダイヤモンドサーチは、図３（ａ）に示すラージダイヤモンドサーチを複数回行った後に、図３（ｂ）に示すスモールダイヤモンドサーチを行う。ダイヤモンドサーチは高速な探索方法であるものの、いわゆるローカルミニマムの問題に陥るという欠点がある。ローカルミニマムの問題を回避するため、多重解像度処理を用いても良い。例えば、８×８解像度でラージダイヤモンドサーチを行った後に４×４解像度でラージダイヤモンドサーチを行い、その後に４×４解像度でスモールダイヤモンドサーチを行う方法が考えられる。

パターンマッチングが終わると、動きベクトル算出部２は、それぞれの探索範囲１４における動きベクトルを算出する。算出された動きベクトルは、それぞれの探索範囲１４を包含する領域１３の動きベクトルとして設定する。次に、動きベクトル算出部２は、領域１２に含まれる全ての領域１３の動きベクトルを平均し、領域１２の動きベクトルとして設定する。また、領域１２の動きベクトルを標準偏差算出部９へ送信する。

標準偏差算出部９は、受信した領域１２の動きベクトルを履歴情報として保存する。次に、履歴情報を用いて、領域１２の動きベクトルの標準偏差σ_BGを算出し、一時的に記憶する。その後、動きベクトル算出部２は、領域１２の動きベクトルを画像補正部３へ出力する。

動きベクトル算出部２から動きベクトルを受信した画像補正部３は、その動きベクトルの逆ベクトルを画像１１に適用し、画像１１全体の位置をシフトさせ、基準フレーム画像に基づく基準位置へ戻す補正をする。その後、補正後の画像情報を特徴量生成部４へ送出する。

補正後の画像情報を受信した特徴量生成部４では、画像１１を、４×４，８×８画素程度の所定の小領域に分割する。次に、小領域毎に三原色ＲＧＢの色成分を取り出して平均し、それぞれ特徴量f_r，f_g，f_b（以下、まとめてfと記載する）として、暫定前景判定部６へ送信する。

特徴量fを受信した暫定前景判定部６は、図４に示すように、一回前までに受信した特徴量fの測定履歴情報を読み出し、その測定分布２１を複数のガウス分布によって近似し、これらのガウス分布の重み付き和を表す混合ガウスモデル２２を生成する。また、前記複数のガウス分布の重み係数ωの総和を「１」、混合ガウスモデル２２全体の重み係数ωを「１」となるように調整する。

ここで、ある小領域において「動き（前景）」がない場合、その小領域からの特徴量fは変動が少ないから、その特徴量fから生成されるガウス分布の重み係数ωは大きくなる。反対に、「動き」が多い場合、その小領域からの特徴量fは変動するから、その特徴量fから生成されるガウス分布の重み係数ωは小さくなる。

この原理を利用し、暫定前景判定部６では、ガウス分布を重み係数ωに基づいて降順に並べ、重み係数ωの大きいガウス分布を背景ガウス分布、重み係数ωの小さいガウス分布を前景ガウス分布として特定する。

次に、暫定前景判定部６は、特徴量fが前記複数のガウス分布のいずれかに包含されるか否かについて、次式（数１）に基づいて検査する。

ここで、「ガウス分布に包含される」とは、一般に、ガウス係数が平均μ、標準偏差がσであるガウス分布について、数１が成立することをいう。また、数１における「２．５σ」は、「２σ」または「３σ」としても良い。これは、平均μから±２σ以内の値となる確率が９５．５％、±３σ以内の値となる確率が９９．８％であることを根拠とする。

検査の結果、背景ガウス分布に包含されなかった場合に、暫定前景領域と判定し、暫定前景フラグをＯＮにする。その他の場合は、暫定前景フラグをＯＦＦにする。なお、この検査は、特徴量f_r，f_g，f_bのうちの２つ、あるいは全てについて行われ、一つでも暫定前景の判定がされた場合に、その小領域を暫定前景領域と判定する。

その後、暫定前景判定部６は、受信した特徴量fを履歴情報として保存し、特徴量f、暫定前景フラグ、および混合ガウスモデル１２を構成するすべての背景ガウス分布の係数（平均μ、標準偏差σ、重み係数ω）を前景領域補正部７へ送信する。

なお、暫定前景判定部６において、受信した特徴量fが全てのガウス分布のいずれにも包含されない場合がある。この場合には、この特徴量fを平均μとする新たなガウス分布を生成し、混合ガウスモデルに追加する。同時に、混合ガウスモデルの中で最も小さい重み係数ωを持っていたガウス分布を廃棄し、その重み係数ωを新たに生成したガウス分布の重み係数ωとして割り当てる。新たに生成したガウス分布は、混合ガウスモデルの中で最も重み係数ωが小さいため、前景ガウス分布として特定される。

また、暫定前景判定部６において一画像を構成する全ての小領域について判定が終了した後、小領域の分割サイズを２倍に拡大し、同一画像について複数回の暫定前景判定処理を行ってもよい。この場合には、全ての分割サイズ（例えば、２×２，４×４，８×８画素）で暫定前景領域と判定された場合のみ最終的な暫定前景領域と判定する。この処理は、ある小領域が小さなノイズを含んでいた場合に、該小領域が隣接する小領域と無関係に孤立して暫定前景領域と判定されることを防ぎ、前景分離結果の安定性を確保するためのものである。特に、高精細（ＨＤＴＶ）ビデオ等の映像の前景分離に有効である。

前景領域補正部７は、受信した暫定前景フラグを読み出し、その内容を真性前景フラグへコピーする。そして、真性前景フラグがＯＦＦの場合は、この小領域については前景領域補正の処理を行わない。一方、真性前景フラグがＯＮの場合は、受信した特徴量f（つまり、f_r，f_g，f_b）のうち、最も大きな特徴量を第一特徴量f₁、その他の特徴量のいずれかを第二特徴量f₂と特定する。また、第一，第二特徴量f₁，f₂にそれぞれ対応する背景ガウス分布を、それぞれ第一，第二背景ガウス分布と特定する。

ここで、カメラが移動した場合に、その「ぶれ」の影響を最も受け易いのは、カメラの手前にある被写体（近景）よりも、カメラの遠方にある被写体（遠景）である。その影響の差異により、暫定前景領域として残留する背景は、図６（ｂ）のように、物体の輪郭として現れやすい。

画像補正部３による補正後の画像では、近景・遠景にかかわらず、基準フレーム画像からの変位は、基準となる小領域または基準小領域に隣接する小領域内に留まるため、基準小領域で前回測定された特徴量は、基準小領域に隣接する小領域で前回測定された特徴量を面積比により平均した値となる。また、基準小領域で測定される特徴量を用いて生成した混合ガウスモデルは、隣接する小領域の混合ガウスモデルの一部を含むこととなる。ガウス分布の加法性を鑑みれば、背景ガウス分布の包含領域を前記運動ベクトルの標準偏差σ_BGに基づいて調整すれば、暫定前景領域を適切に補正できる。このことから、動体とともに動く影や、動体の動きに従って変化する周辺物体からの反射光の影響を受けて暫定前景となった小領域（以下、影反射小領域と記載する）を暫定前景領域から取り除くことによって、同時にカメラの移動による「ぶれ」も消去することができる。

影や反射に起因して背景が暫定前景領域となるのは、図５（ａ）に示すように、特徴量が影反射により減衰または増幅し、本来あるべき背景ガウス分布の包含区間から逸脱した結果であることを根拠としている。このとき、同一小領域から測定された特徴量の減衰または増幅率はほぼ同一であるから、第一特徴量f₁の減衰または増幅率m₁の逆数を第二特徴量f₂に乗算することにより、図５（ｂ）に示すように、第二特徴量が受けた減衰または増幅の影響をキャンセルし、これら影反射の影響を受ける前の特徴量f₂’に修正することができる。そして、修正後の第二特徴量f₂’が第二背景ガウス分布に包含される場合には、第一，第二特徴量f₁，f₂に対応する小領域は背景領域であると判定できる。

第一特徴量の減衰または増幅率m₁は、第一背景ガウス分布μ₁、第一特徴量f₁を用いて、次式（数２）により求められる。

このとき、f₂／m₁が修正後の第二特徴量f₂’となる。減衰または増幅率m₁を算出した後、前景領域補正部７は、第一，第二特徴量f₁，f₂、並びに、混合ガウスモデル１２に属するすべての第一，第二背景ガウス分布の平均μ₁，μ₂、標準偏差σ₁，σ₂、および、重み係数ω₁，ω₂を用いて、第二背景ガウス分布の包含範囲を次式により補正する。具体的には、標準偏差算出部９において一時的に記憶した動きベクトルの標準偏差σ_BGを読み出し、σ_BGの値に応じて次式（数３）に係る比例係数δを調整する。

例えば、表１に示すように、σ_BG＝０〜０．５の場合にδ＝７．５、σ_BG＝０．５〜０．８の場合にδ＝１０、σ_BG＝０．８〜１．３５の場合にδ＝１４、σ_BG＝１．３５以上の場合にδ＝１７としている。このように、動きベクトルの標準偏差σ_BGが大きいほど第二背景ガウスの包含範囲を大きく設定し、動きベクトルの標準偏差σ_BGが小さいほど第二背景ガウスの包含範囲を小さく設定する。

第二背景ガウス分布の包含範囲の補正が終わると、前景領域補正部７は、修正後の第二特徴量f₂’が補正後の第二背景ガウスに包含されるか否か、判定する。包含されていた場合は、第一，第二特徴量f₁，f₂に対応する小領域を背景領域と判定し、真性前景フラグをＯＦＦにする。

前景領域補正部７において、最終的に真性前景フラグがＯＮとなった小領域の集合が、画像処理装置における真の前景領域として特定される。

上記構成の画像処理装置および画像処理方法によれば、動きベクトル算出部２において、領域１３全域でパターンマッチングを行わず、狭い探索範囲１４にてパターンマッチングを行っているため、計算量を大幅に削減することができるという効果がある。また、算出した動きベクトルの標準偏差σ_BGによって補正用背景ガウスの包含領域を補正するため、カメラの動きの大きさに応じて、暫定前景領域の補正範囲を調整できるという効果がある。

図６に、上記構成の画像処理装置および画像処理方法による実験結果を示す。カメラから入力した原画像（ａ）には背景のみが撮影されているため、前景は現れないはずであるが、暫定前景分離結果（ｂ）には、白く暫定前景領域が現れている。これは、カメラ１が動いたために生じた前景領域である。最後の前景領域補正結果（ｃ）では、白い領域は全て除去され、適切な前景分離結果が出力されていることがわかる。なお、図６（ｃ）において、１２は図２（ａ）に示す領域１２であり、図中、白線で示されている。

本実施例の別の実施例について、先に述べた実施例との差分のみ記載する。図７に示す画像処理装置は、前景分離部５に、真性前景領域記憶部８を含む。

前景領域補正部７は、ＯＮが設定されている真性前景フラグの全てについて処理を終えた後、真性前景フラグがＯＮとなっている小領域の位置情報を真性前景領域記憶部８へ送信する。真性前景領域記憶部８は、受信した位置情報を前景分離結果として記憶する。

次の画像がカメラ１から入力されると、動きベクトル算出部２は、領域１２に含まれる全ての領域１３の動きベクトルを算出する。次に、真性前景領域記憶部８から、前回入力した画像の真性前景領域の位置情報を取得し、領域１２に含まれる全ての領域１３のうち、前記真性前景領域と重複する領域１３の動きベクトルを除外して、動きベクトルを平均する。その後、平均した動きベクトルを、領域１２の動きベクトルとして画像補正部３へ出力する。なお、このとき、真性前景領域と重複する領域１３の動きベクトルを算出しないよう構成してもよい。

上記構成の画像処理装置および画像処理方法によれば、一フレーム前で前景領域と判断された小領域と重複する領域、つまり、動体が含まれている可能性の非常に高い領域を除外した動きベクトルを採用して平均を算出するため、カメラの動きに基づく画像のぶれを除去するために適した動きベクトルを算出することができるという効果がある。

なお、本発明は前記実施例に限定されない。例えば、前記実施例では複数の特徴量を用いて影反射領域を検出しつつ前景領域を補正したが、一の特徴量を用い、該特徴量に対応する背景ガウスの包含領域を補正し、補正用背景ガウスに包含されるか否かの検査を行っても良い。

本発明の画像処理装置および画像処理方法は、計算量を軽減しつつ、カメラの移動に起因して生じた前景を精度高く除去できるため、人体などに着用して使用するウェアラブルデバイスに利用可能である。例えば、ウェアラブルグラスに搭載した場合には、指先ジェスチャー入力を用い、IOT（Internet Of Things）を介して他のシステムを制御・観測する場合に利用可能である。その他、指先ジェスチャー入力によって電動車椅子等の進行方向を指示したり、マニュアル等の連絡情報を指先ジェスチャーで特定し、ウェアラブルデバイスに転送するための基礎技術としても利用可能である。

１ 画像処理装置
２ 動きベクトル算出部
３ 画像補正部
４ 特徴量生成部
５ 前景分離部
６ 暫定前景判定部
７ 前景補正部
８ 真性前景領域記憶部
９ 標準偏差算出部
１１ 画像
１２ 領域
１３ 領域
１４ 探索範囲
２１ 測定分布
２２ 混合ガウスモデル

Claims (3)

1. 入力フレーム画像の基準フレーム画像からの変位を前記画像の動きベクトルとして算出する動きベクトル算出部と、
   前記動きベクトルを用いて前記画像を移動させる画像補正部と、
   前記補正後の画像を小領域に分割する領域分割部と、
   前記小領域毎の入力の大きさを示す特徴量を用いて動体を含む前景領域を前記動体の背景となる領域から分離する前景分離部を備え、
   前記動きベクトル算出部は、
   前記動きベクトルの分散を示す標準偏差を算出する標準偏差算出部を備え、
   前記前景分離部は、
   前記特徴量の確率的変動を示す背景ガウス分布を用いて暫定的な前景領域を判定する暫定前景判定部と、
   前記特徴量が補正用背景ガウス分布に含まれた場合に、該特徴量に対応する小領域を暫定前景領域から除外する前景領域補正部を備え、
   前記補正用背景ガウス分布の包含範囲が、前記動きベクトルの標準偏差が大きいほど広く設定され、前記動きベクトルの標準偏差が小さいほど狭く設定されていることを特徴とする画像処理装置。
2. 前記動きベクトル算出部が、
   前記画像に含まれる重複しない複数の領域の中心部をパターンマッチングの探索範囲として画定する探索範囲画定部を備え、
   前記探索範囲毎に算出された全ての動きベクトルの平均を画像全体の動きベクトルとして出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記平均動きベクトル算出部は、
   １フレーム前に入力した画像の前景領域と、次に入力した画像の探索範囲が重複した場合に、重複した探索範囲を除外して、次に入力した画像の動きベクトルの平均を算出することを特徴とする請求項２に記載の画像処理装置。

Images