JP2018088247A - オブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法 - Google Patents

Abstract

【課題】動くオブジェクトが存在する画像から前景オブジェクトをセグメント化する。
【解決手段】オブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法は、一連の画像フレームの受け取りを含む。入力画像フレームに関連する深度情報を用いて、入力画像フレームと入力画像フレームの背景（ＢＧ）画像との間の差分を２値化することによって第１の前景（ＦＧ）マスクを推定する。推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組を識別する。推定された第１のＦＧマスクの境界領域における第１の画素の組の識別に基づいて第２のＦＧマスクを決定する。
【選択図】図４

Description

〔関連出願との相互参照／引用による組み入れ〕
なし

本開示の様々な実施形態は、オブジェクトセグメンテーションのための画像処理に関する。具体的には、本開示の様々な実施形態は、オブジェクトセグメンテーションのための前景（ＦＧ）マスク補正のための画像処理装置及び方法に関する。

最近のビデオ監視システムの分野、ロボット工学及び自動車産業分野におけるマシンビジョンシステム、及び消費者向け電子（ＣＥ）装置の進歩は、画像処理技術の急速な技術開発に因るところが大きい。このような画像処理技術の１つに、いくつかのルールに基づいて画像を複数の領域に分割することを意味できる画像セグメンテーションがある。画像又はビデオの背景から前景オブジェクトを分離するセグメンテーション法は様々なものが知られているが、達成すべき目的に基づいて、複雑度、精度、計算リソース要件が異なる。

従来のビデオセグメンテーション法において前景オブジェクトをセグメント化する共通の方法は、新たに取り込んだ画像から所定の静止した背景画像を減算するものである。減算後に残った画素に、前景としてラベル付けすることができる。所定の静止した背景画像は、ビデオセグメンテーション処理の開始時に生成される完全に静止した背景画像とすることができる。ユーザは、画像取り込み装置を用いて複数の背景シーンの画像を取り込み、これらの複数の画像の平均を取って完全に静止した背景画像を生成することができる。従って、ユーザは、所定の静止した背景画像の生成中に、取り込んだシーン内に（ユーザを含む）動くオブジェクトが存在しないことを確実にする必要がある。さらに、画像取り込み装置が元の位置からずれた場合には、再び静止した背景画像を生成する必要があり、面倒になり得る。現在のところ、前景オブジェクトをセグメント化する別の方法は、深度センサからの深度情報を使用するものである。しかしながら、ほとんどの深度センサには深刻なノイズが存在するため、深度値に大きく依拠する取得された前景オブジェクト領域の境界が滑らかでないことが多い。深度センサからの深度値が無効となる結果、前景オブジェクト領域内にいくつかの望ましくない穴が存在することもある。

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的方法のさらなる制限及び不利点が明らかになるであろう。

少なくとも１つの図に実質的に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示す、オブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法を提供することができる。

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

本開示の実施形態による、オブジェクトセグメンテーションのための前景マスク補正のための例示的なネットワーク環境を示すブロック図である。 本開示の実施形態による、オブジェクトセグメンテーションのための前景マスク補正のための例示的な画像処理装置を示すブロック図である。 本開示の実施形態による、開示するオブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法を実装する例示的なシナリオを示す詳細なブロック図である。 本開示の実施形態による、オブジェクトセグメンテーションのための前景マスク補正のための例示的な動作を示すフローチャートである。

オブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法では、様々な実装を見出すことができる。本開示の例示的な態様は、画像取り込み装置から画像処理装置によって一連の画像フレームを受け取る方法を含むことができる。受け取った一連の画像フレームのうちの入力画像フレーム内で、オブジェクトの第１の前景（ＦＧ）マスクを推定することができる。第１のＦＧマスクは、入力画像フレームに関連する深度情報によって推定することができる。第１のＦＧマスクは、入力画像フレームと入力画像フレームの背景（ＢＧ）画像との間の差分を２値化することによって推定することができる。推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組を識別することができる。推定された第１のＦＧマスクの境界領域における第１の画素の組の識別に少なくとも基づいて、第２のＦＧマスクを決定することができる。

ある実施形態によれば、入力画像フレームは、ＦＧ領域とＢＧ領域とに分離することができる。分離されたＢＧ領域は、ＢＧ画像に対応することができる。第１のＦＧマスクを推定する顔検出技術及び／又は人体検出技術に基づいて、分離されたＦＧ領域から除去すべき１又は２以上のＦＧ領域を検出することができる。

ある実施形態によれば、第１の画素の組は、境界領域に関連する各画素の色成分、深度成分及び空間位置によって識別することができる。入力画像フレームから導出されたエッジ情報に基づいて、１又は２以上のＦＧマスク補正パラメータを決定することができる。第１の画素の組の識別は、入力画像フレームから導出されたエッジ情報にさらに基づく。

ある実施形態によれば、第２のＦＧマスクの決定のための、推定された第１のＦＧマスクに関連する誤ってラベル付けされたマスク値の補正のために、境界領域の各境界画素に平均シフトフィルタを適用することができる。平均シフトフィルタの適用中には、境界領域の近傍の特定のウィンドウサイズ内の複数のサンプルベクトルを利用することができる。複数のサンプルベクトルは、境界領域に関連する各画素の色成分、深度成分及び空間位置に対応することができる。境界領域に関連する画素の空間位置は、画素の垂直座標及び水平座標によって指定される。

ある実施形態によれば、オブジェクトの第１のＦＧマスクの平滑化のために、第１の特定の次元のカーネル関数を選択することができる。第１の特定の次元のカーネル関数は、推定された第１のＦＧマスクの第１の部分が入力画像内の一様な領域に位置する場合に選択することができる。第１のＦＧマスクの平滑化のための選択は、推定された第１のＦＧマスクの第１の部分が、入力画像フレームから導出されたオブジェクトの対応するエッジと一致できるように行うことができる。さらに、推定された第１のＦＧマスクの第２の部分が、入力画像フレームから導出されたオブジェクトの対応するエッジと一致する場合には、第２の特定の次元のカーネル関数を選択することができる。

ある実施形態によれば、第２のＦＧマスクは、推定された第１のＦＧマスクの境界領域における第１の画素の組の識別に基づいて決定することができる。この決定されたオブジェクトの第２のＦＧマスクを用いて、一連の画像フレーム内に現れるオブジェクトをリアルタイム又は近リアルタイムで動的にセグメント化することができる。ＢＧ画像は、セグメンテーション中に周期的又は非周期的に更新することができる。

図１は、本開示の実施形態による、オブジェクトセグメンテーションのためのＦＧマスク補正のための例示的なネットワーク環境を示すブロック図である。図１には、ネットワーク環境１００を示す。ネットワーク環境１００は、画像処理装置１０２と、画像取り込み装置１０４と、ディスプレイ装置１０６と、通信ネットワーク１０８と、ユーザ１１０などの１又は２以上のユーザとを含むことができる。画像取り込み装置１０４によって取り込まれた一連の画像フレーム１１２も示す。一連の画像フレーム１１２は、オブジェクト１１４などの１又は２以上のオブジェクトを含むことができる。画像処理装置１０２は、通信ネットワーク１０８を介して画像取り込み装置１０４及びディスプレイ装置１０６に通信可能に結合することができる。

画像処理装置１０２は、画像取り込み装置１０４から通信ネットワーク１０８を介して一連の画像フレームを受け取るように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。画像処理装置１０２は、受け取った一連の画像フレームの入力画像フレーム内のオブジェクトの（初期ＦＧマスクなどの）第１のＦＧマスクを推定するように構成することができる。画像処理装置１０２は、推定された第１のＦＧマスクの境界領域におけるいくつかの画素のマスク値の識別及び補正に基づいて、（補正されたＦＧマスクなどの）第２のＦＧマスクを決定するようにさらに構成することができる。画像処理装置１０２の例としては、以下に限定されるわけではないが、デジタルカメラ、カムコーダ、ヘッドマウント装置（ＨＭＤ）、スマートフォン、スマートメガネ、ラップトップ、タブレット、拡張現実ベースの装置、メインフレームマシン、コンピュータ装置、及び／又はその他の消費者向け電子（ＣＥ）装置を挙げることができる。

画像取り込み装置１０４は、一連の画像フレームを取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。画像取り込み装置１０４は、一連の画像フレームの取り込みを可能にできる画像感知回路を含むことができる。画像取り込み装置１０４は、画像取り込み装置１０４によって取り込まれたシーンの構成及び／又は焦点合わせを行うように構成できるファインダを含むことができる。画像取り込み装置１０４の例としては、以下に限定されるわけではないが、少なくともカメラ、カムコーダ、画像センサ及び／又はアクションカムを挙げることができる。

ディスプレイ装置１０６は、画像取り込み装置１０４から受け取られた一連の画像フレームをレンダリングするように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ディスプレイ装置１０６は、オブジェクトの第１のＦＧマスク及び第２のＦＧマスクをレンダリングするようにさらに構成することができる。ディスプレイ装置１０６の例としては、以下に限定されるわけではないが、ディスプレイ画面、テレビ（ＴＶ）、ラップトップ、タブレットコンピュータ、スマートフォン及び／又は光学ヘッドマウントディスプレイ装置を挙げることができる。

通信ネットワーク１０８は、画像処理装置１０２、画像取り込み装置１０４及びディスプレイ装置１０６が互いに通信できるようにする媒体を含むことができる。通信ネットワーク１０８の例としては、以下に限定されるわけではないが、インターネット、クラウドネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、無線フィデリティ（Ｗｉ−Ｆｉ）ネットワーク、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線広域ネットワーク（ＷＷＡＮ）、電話回線（ＰＯＴＳ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げことができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１０８に接続することができる。ネットワーク環境１００は、ネットワーク環境１００と呼ぶこともできる。このような有線及び無線通信プロトコルの例としては、以下に限定されるわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ハイパーテキスト転送プロトコルセキュア（ＨＴＴＰＳ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ８０２．１１、８０２．１６、セルラー通信プロトコル、及び／又はＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコル、及び／又はこれらの変種を挙げることができる。

一連の画像フレーム１１２は、ユーザ１１０が画像取り込み装置１０４によって見て取り込んだシーンのビデオを意味する。一連の画像フレーム１１２は、オブジェクト１１４などの１又は２以上のオブジェクトを含むことができる。ある実施形態によれば、オブジェクト１１４は、一連の画像フレーム１１２からセグメント化すべき関心オブジェクトとすることができる。オブジェクト１１４の例としては、以下に限定されるわけではないが、人間オブジェクト、動物、或いは車両アイテム又はスポーツアイテムなどの非人間オブジェクト又は無生物オブジェクトを挙げることができる。

画像取り込み装置１０４は、動作時に一連の画像フレーム１１２を取り込むように構成することができる。画像取り込み装置１０４は、画像処理装置１０２の一体型ユニットとすることができる。或いは、画像取り込み装置１０４は、外部装置とすることもできる。このような場合、画像処理装置１０２は、取り込まれた一連の画像フレーム１１２を画像取り込み装置１０４から通信ネットワーク１０８を介して受け取ることができる。取り込まれた一連の画像フレーム１１２は、オブジェクト１１４（人間オブジェクト及び他の非人間オブジェクト又は無生物オブジェクト）などの１又は２以上のオブジェクトを含むことができる。

画像処理装置１０２は、受け取った一連の画像フレーム１１２のうちの入力画像フレームをＦＧ領域及びＢＧ領域に分離するように構成することができる。分離されたＢＧ領域は、ＢＧ画像と呼ぶこともできる。画像処理装置１０２は、入力画像フレーム内の人間オブジェクトなどのオブジェクトの第１のＦＧマスクを推定するように構成することができる。第１のＦＧマスクは、入力画像フレームと入力画像フレームのＢＧ画像との間の差分を２値化することによって推定することができる。さらに、第１のＦＧマスクの推定には、入力画像フレームに関連する深度情報を使用することもできる。２値化とは、カラー画像を、画素が黒と白などの２つの可能な値を有することができる２値画像に変換することを意味する。従って、入力画像フレームとＢＧ画像との間の差分を２値化するということは、入力画像フレームと分離されたＢＧ領域との間の画素値を減算して１又は２以上のＦＧマスクを取得することを意味することもできる。

従来の深度ベースのオブジェクトセグメンテーション法とは異なり、画像処理装置１０２は、画像処理装置１０２内に設けられた深度センサからの深度情報を選択的に使用する。画像処理装置１０２は、深度値が信頼できると見なされる特定の領域の深度値を選択的に利用する。例えば、シーンのほぼ全体について色成分（赤色、緑色及び青色）及び深度値などのＢＧ画素値を入手できる場合、第１のＦＧマスクの生成を開始することができる。入力画像フレームと入力画像フレームのＢＧ画像との間の差分の２値化後に、差分が特定の閾値よりも大きな領域を（単複の）第１のＦＧマスク候補とすることができる。換言すれば、オブジェクト１１４の第１のＦＧマスクは、入力画像フレームと入力画像フレームのＢＧ画像との間の２値化した差分の特定の閾値に基づいて推定することができる。

画像処理装置１０２は、顔検出技術及び／又は人体検出技術に基づいて、分離されたＦＧ領域から除去すべき１又は２以上のＦＧ領域を検出するようにさらに構成することができる。例えば、人間以外のオブジェクトに対応するＦＧ領域を除去することができる。第１のＦＧマスクは、さらなる処理及びＦＧマスク補正のために、１又は２以上の他のＦＧマスクから選択することができる。ＦＧ領域の１又は２以上のＦＧマスクからの第１のＦＧマスクの選択は、顔、人体、ジェスチャー、動き、形状及び／又はエッジの検出に基づいて実行することができる。例えば、一連の画像フレーム１１２内の検出してセグメント化すべきオブジェクトが人体である場合には、顔検出及び人体検出、又は他のタイプの認識又は検出技術を利用して、分離されたＦＧ領域から望ましくないＦＧ領域を排除することができる。この処理では、ＦＧ領域の１又は２以上のＦＧマスクの中から人間マスクなどの第１のＦＧマスク候補の大まかな初期推定を行うことができる。第１のＦＧマスク候補は、初期ＦＧマスクとすることができ、これを処理して（第２のＦＧマスクなどの）改善されたＦＧマスクを取得することができる。その後、この改善されたＦＧマスクを、どのオブジェクト境界アーチファクトにも無関係な正確なオブジェクトセグメンテーションのために、一連の画像フレーム１１２のうちの次の画像フレーム内の同様のオブジェクトを発見するためのテンプレートとして使用することができる。

ある実施形態によれば、推定された第１のＦＧマスクの境界領域における各画素は、ＦＧマスク値又はＢＧマスク値などの特定のマスク値を有することができる。画像処理装置１０２は、推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組を識別するように構成することができる。第１のマスク値及び第２のマスク値は、ＦＧマスク値及びＢＧマスク値の一方に対応することができる。第１の画素の組は、境界領域に関連する各画素の色成分、深度成分及び空間位置によって識別することができる。境界領域に関連する画素の空間位置は、画素の垂直座標及び水平座標に対応することができる。第１の画素の組の識別は、入力画像フレームから導出されたエッジ情報にさらに基づくことができる。

ある実施形態によれば、画像処理装置１０２は、推定された第１のＦＧマスクに関連する誤ってラベル付けされたマスク値を補正するために、境界領域の各境界画素に平均シフトフィルタを適用するように構成することができる。平均シフトフィルタの適用中には、境界領域の近傍の特定のウィンドウサイズ内の複数のサンプルベクトルを利用することができる。複数のサンプルベクトルは、境界領域に関連する各画素の色成分、深度成分及び空間位置に対応することができる。

ある実施形態によれば、画像処理装置１０２は、オブジェクト１１４の第１のＦＧマスクの平滑化のために、第１の特定の次元のカーネル関数を選択するように構成することができる。第１の特定の次元のカーネル関数は、推定された第１のＦＧマスクの第１の部分が入力画像内の平らなエリアなどの一様な領域内に位置する場合に選択することができる。第１のＦＧマスクの平滑化のための、第１の特定の次元のカーネル関数の選択は、推定された第１のＦＧマスクの第１の部分が、入力画像フレームから導出されたオブジェクトの対応するエッジと一致できるように行うことができる。或いは、推定された第１のＦＧマスクの第２の部分が、入力画像フレームから導出されたオブジェクトの対応するエッジと一致する場合には、第１のＦＧマスクの平滑化のために、第２の特定の次元のカーネル関数を選択することもできる。

ある実施形態によれば、画像処理装置１０２は、推定された第１のＦＧマスクの境界領域における第１の画素の組の識別に基づいて第２のＦＧマスクを決定するように構成することができる。第２のＦＧマスクは、推定された第１のＦＧマスクに関連する誤ってラベル付けされたマスク値の補正に基づいて取得することができる。第１のＦＧマスク補正の計算負荷を軽減するために、画像のＦＧ領域全体ではなく、境界領域のＦＧ／ＢＧ境界に隣接する一定数の画素に特異的に平均シフトフィルタを適用する。例えば、各境界画素について、狭い関心領域内で複数のサンプルベクトルを使用して、例えば「１１×１１」画素の特定のウィンドウサイズを使用して、総サンプル数（Ｎ）を（Ｎ＝１２１）などに低減することができる。特定のウィンドウサイズ内のＦＧ／ＢＧ境界に隣接する画素の誤ってラベル付けされたマスク値を補正する結果、画像処理装置１０２の計算負荷を低減させてオブジェクトの第２のＦＧマスクを素早く正確に決定できるようになる。

ある実施形態によれば、画像処理装置１０２は、第２のＦＧマスクを、一連の画像フレーム１１２のうちの次の画像フレーム内の同様のオブジェクトを発見するためのテンプレートとして使用することができる。従って、オブジェクトの第２のＦＧマスクが素早く正確に決定される結果、一連の画像フレーム１１２内に現れる人間オブジェクトなどのオブジェクト１１４をリアルタイム又は近リアルタイムで動的にセグメント化できるようになる。

従来の所定の完全に静止した背景画像による共通の前景オブジェクトセグメンテーション法とは対照的に、画像処理装置１０２は、セグメンテーション処理を開始するために完全に静止した背景画像を生成しなくてもよい。画像処理装置１０２は、セグメンテーション処理中に、ほぼ静止した背景画像及び深度値を絶えず学習及び／又は更新するように構成することができる。この点、画像処理装置１０２は、ほぼ静止した背景画像及び深度値を動的に更新するように構成される。この完全な静止からほぼ静止への緩和は、一連の画像フレーム１１２内のシーンの取り込み中に人間などのオブジェクトをシーンから外す必要がなくなるので有用である。さらに、たとえ画像取り込み装置１０４がその元の位置から偶発的に変位した場合でも、ＦＧマスクの補正及びセグメンテーション処理に影響を与えないこともある。

図２は、本開示の実施形態による、オブジェクトセグメンテーションのためのＦＧマスク補正のための例示的な画像処理装置を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２に示すように、画像処理装置１０２は、画像プロセッサ２０２と、メモリ２０４と、Ｉ／Ｏ装置２０６などの１又は２以上の入力／出力（Ｉ／Ｏ）装置と、ネットワークインターフェイス２０８とを含むことができる。画像処理装置１０２は、背景（ＢＧ）画像分離器２０２ａ、画素更新器２０２ｂ及び前景（ＦＧ）マスク推定器２０２ｃなどの１又は２以上の専用処理ユニットをさらに含むことができる。画像プロセッサ２０２は、メモリ２０４、Ｉ／Ｏ装置２０６及びネットワークインターフェイス２０８に通信可能に結合することができる。ネットワークインターフェイス２０８は、画像プロセッサ２０２の制御下で通信ネットワーク１０８を介して画像取り込み装置１０４及びディスプレイ装置１０６と通信することができる。

画像プロセッサ２０２は、メモリ２０４に記憶された一連の命令を実行できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。画像プロセッサ２０２は、１又は２以上の専用ユニットに１又は２以上の特定の動作を実行する命令を与えるように構成することができる。画像プロセッサ２０２の例は、グラフィックス処理ユニット（ＧＰＵ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の制御回路とすることができる。

ＢＧ画像分離器２０２ａは、入力画像フレームをＦＧ領域とＢＧ領域に分離するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。分離されたＢＧ領域は、ＢＧ画像に対応することができる。ＢＧ画像分離器２０２ａは、入力画像フレームとＢＧ画像との間の差分を２値化して、オブジェクトの第１のＦＧマスクを推定することができる。ＢＧ画像分離器２０２ａは、フレーム差分モデル、平均フィルタモデル、ガウス平均モデル及び背景混合モデルなどの１又は２以上のアルゴリズムに基づいてＢＧ画像分離を実行することができる。

画素更新器２０２ｂは、推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組を識別するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。第１のマスク値及び第２のマスク値は、ＦＧマスク値及びＢＧマスク値の一方に対応することができる。

ＦＧマスク推定器２０２ｃは、推定された第１のＦＧマスクの境界領域における第１の画素の組の識別に基づいて第２のＦＧマスクを決定するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ＢＧ画像分離器２０２ａ、画素更新器２０２ｂ及びＦＧマスク推定器２０２ｃなどの１又は２以上の専用処理ユニットは、画像処理装置１０２内の別個のプロセッサ又は回路として実装することができる。ある実施形態では、１又は２以上の専用処理ユニット及び画像プロセッサ２０２を、１又は２以上の専用処理ユニット及び画像プロセッサ２０２の機能を共同で実行する統合プロセッサ又はプロセッサ群として実装することができる。ある実施形態では、１又は２以上の専用処理ユニットを、画像プロセッサ２０２によって実行された時に画像処理装置１０２の機能及び動作を実行することができる、メモリ２０４に記憶された一連の命令として実装することができる。

メモリ２０４は、画像プロセッサ２０２、ＢＧ画像分離器２０２ａ、画素更新器２０２ｂ及びＦＧマスク推定器２０２ｃが実行可能な機械語及び／又は命令セットを記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。メモリ２０４は、受け取った一連の画像フレーム、ＦＧ領域、ＢＧ画像、第１のＦＧマスク、入力画像フレームに関連する深度情報、第１の画素の組及びそのマスク値、１又は２以上のＦＧマスク補正パラメータ、入力画像フレームから導出されたエッジ情報、並びに第２のＦＧマスクを記憶するように構成することができる。メモリ２０４の例としては、以下に限定されるわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

Ｉ／Ｏ装置２０６は、ユーザ１１０などの１又は２以上のユーザから入力を受け取るように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２０６は、ユーザ１１０などの１又は２以上のユーザに出力を提供するようにさらに構成することができる。Ｉ／Ｏ装置２０６は、画像プロセッサ２０２と通信できる様々な入出力装置を含むことができる。入力装置の例としては、以下に限定されるわけではないが、タッチ画面、物理的入力ボタン、ジョイスティック、マイク及び／又はドッキングステーションを挙げることができる。出力装置の例としては、以下に限定されるわけではないが、内蔵又は一体型ディスプレイ画面、タッチ画面式ディスプレイ及び／又はスピーカを挙げることができる。

ネットワークインターフェイス２０８は、通信ネットワーク１０８を介してディスプレイ装置１０６などの外部ディスプレイに接続して通信するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２０８は、通信ネットワーク１０８との有線又は無線通信をサポートする既知の技術を実装することができる。ネットワークインターフェイス２０８としては、以下に限定されるわけではないが、アンテナ、周波数変調（ＦＭ）ネットワークインターフェイス、無線周波数（ＲＦ）ネットワークインターフェイス、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ・デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード及び／又はローカルバッファを挙げることができる。ネットワークインターフェイス２０８は、インターネット、イントラネット、及び／又は、セルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと無線通信を介して通信することができる。無線通信は、ロングタームエボリューション（ＬＴＥ）、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１ｎなど）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールプロトコル、インスタントメッセージング及び／又はショートメッセージサービス（ＳＭＳ）などの複数の通信規格、通信プロトコル及び通信技術のいずれかを使用することができる。

図１に示すような画像処理装置１０２によって実行される機能及び／又は動作は、画像プロセッサ２０２、及び／又はＢＧ画像分離器２０２ａ、画素更新器２０２ｂ及びＦＧマスク推定器２０２ｃなどの１又は２以上の専用処理ユニットによって実行することができる。画像プロセッサ２０２及び／又は１又は２以上の専用処理ユニットによって実行される他の動作については、例えば図３においてさらに説明する。

図３は、本開示の実施形態による、開示するオブジェクトセグメンテーションのためのＦＧマスク補正のための画像処理装置及び方法を実装する例示的なシナリオを示す詳細なブロック図である。図３の説明は、図１及び図２の要素に関連して行う。図３には、画像取り込み装置１０４によって取り込まれたビデオの入力画像フレーム３０２を示す。入力画像フレーム３０２は、人間オブジェクト３０４Ａ、無生物オブジェクト３０４Ｂ及び背景（ＢＧ）領域３０６を含むことができる。入力画像フレーム３０２の一部の第１の拡大図３０８も示す。第１の拡大図３０８には、人間オブジェクト３０４Ａの周囲の第１のＦＧマスクの第１のＦＧマスク境界３１０が示される。人間オブジェクト３０４Ａのエッジ上の（点線で表す）理想的なＦＧマスク境界３１２、背景３０６の一様な領域上の第１のＦＧマスク境界３１０の第１の部分３１４Ａ、及び第１のＦＧマスクの第１のＦＧマスク境界３１０の第２の部分３１４Ｂも示される。人間オブジェクト３０４Ａの第２のＦＧマスクの第２のＦＧマスク境界３１８を含む入力画像フレーム３０２の一部の第２の拡大図３１６も示す。

カメラなどの画像取り込み装置１０４は、動作時にビデオなどの一連の画像フレーム１１２を取り込むように構成することができる。入力画像フレーム３０２は、取り込まれた一連の画像フレーム１１２のうちの１つとすることができる。画像プロセッサ２０２は、取り込まれた一連の画像フレーム１１２をネットワークインターフェイス２０８によって画像取り込み装置１０４から受け取ることができる。ＢＧ画像分離器２０２ａは、入力画像フレーム３０２をＦＧ領域及びＢＧ領域３０６などの少なくとも２つの領域に分割することによって入力画像フレーム３０２をセグメント化するように構成することができる。分離されたＢＧ領域３０６は、入力画像フレーム３０２のＢＧ画像と呼ぶこともできる。分離されたＢＧ領域３０６は、部分的に静止した画像とすることができる。部分的に静止したＢＧ画像は、周期的又は非周期的に学習して更新することができる。部分的に静止したＢＧ画像と共に、入力画像フレーム３０２に関連する深度情報も周期的又は非周期的に更新することができる。部分的に静止したＢＧ画像は、画像取り込み装置１０４によって取り込まれたシーンから人間オブジェクト３０４Ａを外す必要性を排除することができる。また、部分的に静止したＢＧ画像は、画像取り込み装置１０４の偶発的な変位にも対応することができる。

ＦＧ領域は、人間オブジェクト３０４Ａ及び無生物オブジェクト３０４Ｂなどの複数のオブジェクトを含むことができる。画像プロセッサ２０２は、分離されたＦＧ領域から１又は２以上のＦＧ領域を除去するように構成することができる。例えば、入力画像フレーム３０２内の検出してセグメント化すべきオブジェクトが人体である場合、顔検出及び人体検出又はその他のタイプの認識又は検出技術を利用して、分離されたＦＧ領域から無生物オブジェクト３０４Ｂなどの望ましくないＦＧ領域を排除することができる。この処理では、ＦＧ領域の１又は２以上のＦＧマスクの中からＦＧ人間マスク候補の大まかな初期推定を行うことができる。

画像プロセッサ２０２は、入力画像フレーム３０２内の第１のＦＧマスク境界３１０を有する人間オブジェクト３０４Ａの第１のＦＧマスクを推定するように構成することができる。シーンのほぼ全体について色成分（赤色、緑色及び青色）及び深度値などのＢＧ画素値を入手できる場合、第１のＦＧマスクの生成を開始することができる。第１のＦＧマスクは、入力画像フレーム３０２と入力画像フレーム３０２の（ＢＧ領域３０６などの）ＢＧ画像との間の差分を２値化することによって推定することができる。さらに、第１のＦＧマスクの推定には、入力画像フレーム３０２に関連する深度情報を使用することもできる。画像プロセッサ２０２は、深度値が信頼できると見なされる特定の領域の深度値を選択的に利用する。

第１のＦＧマスク境界３１０を含む第１のＦＧマスクは、初期ＦＧマスク境界とすることができ、人間オブジェクト３０４Ａのエッジと一致しないこともある。理想的なオブジェクト境界は、人間オブジェクト３０４Ａのエッジと一致する境界である。人間オブジェクト３０４Ａのエッジ上に、理想的なＦＧマスク境界３１２などの理想的なオブジェクト境界の例を示している。従って、第１のＦＧマスク境界３１０を含む第１のＦＧマスクをさらに処理して、第２のＦＧマスク境界３１８を含む第２のＦＧマスクなどの改善されたＦＧマスクを取得することができる。推定された第１のＦＧマスクの境界領域内の各画素は、ＦＧマスク値又はＢＧマスク値などの特定のマスク値を有することができる。

画素更新器２０２ｂは、推定された第１のＦＧマスクの第１のＦＧマスク境界３１０などの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組を識別するように構成することができる。第１のマスク値及び第２のマスク値は、ＦＧマスク値及びＢＧマスク値の一方に対応することができる。例えば、推定された第１のＦＧマスクの第１のＦＧマスク境界３１０の近傍のいくつかの画素は、マスク値を誤って分類されていることがある。推定された第１のＦＧマスクの第１のＦＧマスク境界３１０の近傍では、例えば少なくとも５０％を超える画素などの大半の画素がＦＧ又はＢＧとして正しくラベル付けされていると仮定することができる。この仮定に従い、（ラベルとも呼ばれる）画素マスク値の統計的評価を実行して、マスク値が正しいか、それとも正しくないかを確認することができる。第１の画素の組は、ＦＧマスク補正後に、（ＦＧなどの）第２のマスク値に更新すべき（ＢＧなどの）誤った第１のマスク値を有することがある。同様に、第１の画素の組は、ＦＧマスク補正後に、ＢＧなどの第２のマスク値に更新すべきＦＧなどの誤った第１のマスク値を有することもある。従って、誤って分類されたマスク値を有する第１のＦＧマスク内の（第１の画素の組として識別された）全ての画素を正しいマスク値に更新することが必要になり得る。

第１の画素の組は、第１のＦＧマスク境界３１０の近傍の領域などの境界領域に関連する各画素の色成分、深度成分及び空間位置によって識別することができる。境界領域に関連する画素の空間位置は、画素の垂直座標及び水平座標に対応することができる。第１の画素の組の識別は、入力画像フレーム３０２から導出されたエッジ情報にさらに基づくことができる。入力画像フレーム３０２から導出されたエッジ情報に少なくとも基づいて、１又は２以上のＦＧマスク補正パラメータを決定することができる。

ある実施形態によれば、画素更新器２０２ｂを、推定された第１のＦＧマスクに関連する誤ってラベル付けされたマスク値を補正するために、ＦＧオブジェクト境界領域の各境界画素に平均シフトフィルタを適用するように構成することができる。平均シフトフィルタは、確率密度関数の最頻値（又はピーク）を発見することができ、平均シフトフィルタに関連する平均シフトベクトルは、密度が最大に増加した方向を指すことができる。平均シフトベクトルは、反復的にたどることができ、或いは平均シフトフィルタをｌ回などの複数回適用することによって最も近い最頻値を発見することができる。以下の所与の式（１）に従って、ｉ＝１〜Ｎの場合のｉ番目の画素の平均シフトフィルタリングを実行することができる。

式中、
Ｘ_i ^(l+1)は、ｉ＝１〜Ｎの場合のｉ番目の画素の平均シフトフィルタに対応し、
Ｘ_nは、複数のサンプルベクトルに対応し、
Ｋ_Hは、多変量ガウス関数に対応し、

＝付加的ベクトル（ＡＶ）である。

入力画像フレーム３０２、ｎ＝１〜Ｎの第１のＦＧマスク境界３１０を含む最初に推定された第１のＦＧマスク、（分離されたＢＧ領域３０６などの）推定された部分的に静止したＢＧ画像、及び以下の数式（２）で与えられるようなｎ＝Ｎ＋１〜２Ｎの深度から、ｎ番目の画素の複数のサンプルベクトルＸ_nが決定される。ある実施形態によれば、反復的平均シフトフィルタ処理を利用して、第１のＦＧマスク境界３１０を含む最初に推定された第１のＦＧマスクを補正することができる。
ｎ＝Ｎ＋１の場合、

であり、
ｎ＝Ｎ＋１〜２Ｎの場合、

であり、ここではｆ_n＝０である。
（２）
式中、
Ｒ_nは赤色成分に対応し、Ｇ_nは緑色成分に対応し、
Ｂ_nは青色成分に対応し、Ｄ_nは深度成分に対応し、
ｈ_nは高さ成分に対応し、ｗ_nは幅成分に対応し、
ｆ_nはマスク値成分に対応する。

Ｘ_nは、第１のＦＧマスク境界３１０などの境界領域に関連する各画素のＲＧＢ色成分（Ｒ_n、Ｇ_n及びＢ_n）などの色成分、深度成分Ｄ_nなどの深度情報、空間位置、及び画素「ｎ」のマスク値成分によって計算することができる。境界領域に関連する画素「ｎ」の空間位置は、ｎ番目の画素の高さ成分ｈ_nなどの垂直座標と、幅成分ｗ_nなどの水平座標とに対応する。第１のＦＧマスク補正段階では、マスク値ｆ_nが、色値（ＲＧＢ）、深度（Ｄ）及び画素の空間位置（ｈ，ｗ）によって補正すべき成分である。マスク値ｆ_nは、例えば０＝ＢＧ及び１＝ＦＧなどの２値とすることができる。マスク値は、ＦＧマスクフラグ又は画素ＦＧ／ＢＧラベルと呼ぶこともできる。分離されたＢＧ領域３０６内の全ての画素がＢＧに属することが分かっているので、（分離されたＢＧ領域３０６などの）推定された部分的に静止したＢＧ画像のｎ＝Ｎ＋１〜２Ｎの場合のマスク値ｆ_nは、ゼロ（０）に設定することができる。

ある実施形態によれば、平均シフトフィルタは、分離されたＢＧ領域３０６などの推定された部分的に静止したＢＧ画像及び深度から付加的ベクトル（ＡＶ）を利用することができる。ｎ＝Ｎ＋１〜２Ｎの場合の所与の数式（２）では、平均シフトフィルタに複数のサンプルベクトルＸ_nを含めることができ、この場合、全ての成分（Ｒ、Ｇ、Ｂ、ｈ、ｗ及びＤ）は、推定された部分的に静止したＢＧ画像及び深度値から得られ、部分的に静止したＢＧ画像内の各画素のマスク値はゼロである。これらの付加的ベクトル（ＡＶ）は、（画素のマスク値が実際にはＢＧである場合に）最初にＦＧとして誤ってラベル付けされた画素のマスク値の補正を効果的に支援する。

画像プロセッサ２０２は、推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組を識別するように構成することができる。第１のマスク値及び第２のマスク値は、ＦＧマスク値（ＦＧ＝１）又はＢＧマスク値（ＢＧ＝０）の一方に対応することができる。式（１）による平均シフトフィルタ処理により、最初に第１のマスク値で誤って分類された第１の画素の組を反復的に識別することができる。推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組の識別は、推定された第１のＦＧマスクに関連する誤ってラベル付けされたマスク値を補正する補正段階と呼ぶことができる。

第１のＦＧマスク補正の計算負荷を軽減するために、式（１）による平均シフトフィルタは、入力画像フレーム３０２のＦＧ領域全体ではなく、第１のＦＧマスク境界３１０などのＦＧ／ＢＧ境界に隣接する一定数の画素に特異的に適用することができる。例えば、各境界画素「ｎ」について、狭い関心領域内で複数のサンプルベクトルＸ_nを使用して、例えば「１１×１１」画素の特定のウィンドウサイズを使用して、総サンプル数（Ｎ）を（Ｎ＝１２１）などに低減することができる。総サンプル数（Ｎ）は、第２のマスク値に更新すべき誤って分類された第１のマスク値を有する画素を識別するために評価すべき総画素数を示す。

ある実施形態によれば、特定のウィンドウサイズ内の画素のマスク値ｆ_nを、以下の所与の式（３）によって補正することができる。特定のウィンドウサイズ内の画素のマスク値ｆ_nは、式（１）の反復的平均シフトフィルタ処理における最初に推定された第１のＦＧマスク内で補正することができる。

ここでは、
ｆ_i ^(l+1)が補正され、ｆ_i ^(l+1)＞０．５の場合にはマスク値＝１であり、そうでなければ０である。

ある実施形態によれば、第１のＦＧマスクの第１のＦＧマスク境界３１０などの境界領域は、マスク値（ｆ_n）成分に形態学的開閉操作を適用することによって平滑化することができる。例えば、多変量ガウスカーネル関数Ｋ_Hなどの好適な形状（輪郭）のカーネル関数を選択することができる。広いカーネルを選択した場合、平均シフトフィルタは、小型のカーネルと比べて多くの平滑化能力を有することができる。画素更新器２０２ｂは、人間オブジェクト３０４Ａの第１のＦＧマスクの平滑化のための第１の特定の次元のカーネル関数を選択するように構成することができる。第１の特定の次元のカーネル関数は、推定された第１のＦＧマスクの第１の部分３１４Ａなどの特定の部分が入力画像フレーム３０２内の平らなエリアなどの一様な背景領域に位置する場合に選択することができる。第１のＦＧマスクの平滑化のための第１の特定の次元のカーネル関数の選択は、推定された第１のＦＧマスクの第１の部分３１４Ａが、入力画像フレーム３０２から導出された人間オブジェクト３０４Ａの対応するエッジと一致できるように行うことができる。例えば、図示のように、推定された第１のＦＧマスクの第１の部分３１４Ａは、理想的なＦＧマスク境界３１２から離れることなどによって人間オブジェクト３０４Ａのエッジから逸脱することもある。或いは、図示のように、推定された第１のＦＧマスクの第２の部分３１４Ｂなどの特定の部分が、入力画像フレーム３０２から導出された人間オブジェクト３０４Ａの対応するエッジとほとんど一致する場合には、第２の特定の次元のカーネル関数（小さなカーネル）を選択することもできる。例えば、図示のように、推定された第１のＦＧマスクの第２の部分３１４Ｂは、第２の部分３１４Ｂに対応する理想的なＦＧマスク境界３１２に類似する人間オブジェクト３０４Ａのエッジ上でほぼ一致することができる。第１の特定の次元は、第２の特定の次元よりも大きなものとすることができる。平均シフトフィルタは、第１の特定の次元のカーネル関数では第２の特定の次元のカーネル関数に比べて高い平滑化能力を有することができるので、一様な領域内に位置する推定された第１のＦＧマスクの第１の部分３１４Ａなどの境界領域が効果的に平滑化されるようになる。特定のウィンドウサイズ内のＦＧ／ＢＧ境界に隣接する画素について誤ってラベル付けされたマスク値を補正する結果、画像プロセッサ２０２の計算負荷を低減させて人間オブジェクト３０４Ａの第２のＦＧマスクを素早く正確に決定できるようになる。

ＦＧマスク推定器２０２ｃは、推定された第１のＦＧマスクの第１のＦＧマスク境界３１０などのＦＧオブジェクト境界領域における第１の画素の組の識別に基づいて、第２のＦＧマスク境界３１８を有する第２のＦＧマスクを決定するように構成することができる。第２のＦＧマスクは、人間オブジェクト３０４Ａの第１のＦＧマスクの平滑化に基づいて決定することができる。入力画像フレーム３０２の一部の第２の拡大図３１６に、人間オブジェクト３０４Ａの第２のＦＧマスクの第２のＦＧマスク境界３１８を示す。画像取り込み装置１０４によって取り込まれた一連の画像フレームのうちの入力画像フレーム３０２及び後続の画像フレーム内に現れる人間オブジェクト３０４Ａは、決定された人間オブジェクト３０４Ａの第２のＦＧマスクによってリアルタイム又は近リアルタイムで動的にセグメント化することができる。

ある実施形態によれば、画像プロセッサ２０２を、画像処理装置１０２のディスプレイ画面などの出力装置上に第２のＦＧマスクをレンダリングするように構成することができる。或いは、画像プロセッサ２０２は、決定された第２のＦＧマスクを、通信ネットワーク１０８を介してディスプレイ装置１０６に送信するように構成することもできる。ディスプレイ装置１０６は、取り込まれたビデオの背景３０６からセグメント化した第２のＦＧマスクをリアルタイム又は近リアルタイムでレンダリングするように構成することができる。

図４は、本開示の実施形態による、オブジェクトセグメンテーションのための前景マスク補正のための例示的な方法を示すフローチャートである。図４には、フローチャート４００を示す。フローチャート４００の説明は、図１〜図３に関連して行う。画像処理装置１０２に実装される方法は、４０２から開始して４１４まで進む。

４０４において、画像取り込み装置１０４から一連の画像フレームを受け取ることができる。画像プロセッサ２０２は、取り込まれた一連の画像フレームをネットワークインターフェイス２０８によって画像取り込み装置１０４から受け取ることができる。４０６において、入力画像フレーム３０２などの入力画像フレームを、前景領域とＢＧ領域３０６などの背景領域とに分離することができる。入力画像フレームは、取り込まれた一連の画像フレームのうちの１つとすることができる。分離されたＢＧ領域は、入力画像フレームのＢＧ画像と呼ぶこともできる。

４０８において、受け取った一連の画像フレームのうちの入力画像フレーム内の人間オブジェクト３０４Ａなどのオブジェクトの第１のＦＧマスクを推定することができる。第１のＦＧマスクは、入力画像フレームに関連する深度情報と、入力画像フレームと入力画像フレームのＢＧ画像との間の差分の２値化とによって推定することができる。推定された第１のＦＧマスクの第１のＦＧマスク境界３１０などの境界領域内の各画素は、ＦＧマスク値又はＢＧマスク値などの特定のマスク値を有することができる。

４１０において、推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組を識別することができる。第１の画素の組は、第１のＦＧマスク境界３１０の近傍の領域などの境界領域に関連する各画素の色成分、深度成分及び空間位置によって識別することができる。式（１）による平均シフトフィルタ処理により、最初に第１のマスク値で誤って分類された第１の画素の組を反復的に識別することができる。推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組の識別は、推定された第１のＦＧマスクに関連する誤ってラベル付けされたマスク値を補正する補正段階と呼ぶことができる。例えば、マスク値ｆ_nは、第１のＦＧマスク補正段階において色値（ＲＧＢ）、深度（Ｄ）及び画素の空間位置（ｈ，ｗ）によって補正すべき成分である。

４１２において、推定された第１のＦＧマスクの境界領域における識別された第１のマスク値を有する第１の画素の組を第２のマスク値に更新することができる。所与の式（３）によって、特定のウィンドウサイズ内の画素のマスク値ｆ_nを補正することができる。画素更新器２０２ｂは、推定された第１のＦＧマスクに関連する誤ってラベル付けされたマスク値の補正及び更新のために、ＦＧオブジェクト境界領域の各境界画素に平均シフトフィルタを適用するように構成することができる。

４１４において、推定された第１のＦＧマスクの境界領域における第１の画素の組の識別に基づいて、第２のＦＧマスクを決定することができる。例えば、ＦＧマスク推定器２０２ｃを、推定された第１のＦＧマスクの第１のＦＧマスク境界３１０などのＦＧオブジェクト境界領域における第１の画素の組の識別に基づいて、第２のＦＧマスク境界３１８を有する第２のＦＧマスクを決定するように構成することができる。

４１６において、一連の画像フレームのうちの入力画像フレーム及び後続の画像フレーム内に現れる人間オブジェクト３０４Ａなどのオブジェクトを動的にセグメント化することができる。セグメント化は、決定されたオブジェクトの第２のＦＧマスクによってリアルタイム又は近リアルタイムで実行することができる。制御は、４１８に進んで終了する。

本開示の実施形態によれば、画像処理装置１０２などの画像処理装置は、画像プロセッサ２０２、ＢＧ画像分離器２０２ａ、画素更新器２０２ｂ及びＦＧマスク推定器２０２ｃ（図２）などの１又は２以上の回路を含むことができる。画像プロセッサ２０２は、画像取り込み装置１０４（図１）によって取り込まれた一連の画像フレームを受け取るように構成することができる。画像プロセッサ２０２は、受け取った一連の画像フレームのうちの入力画像フレーム内のオブジェクトの第１のＦＧマスクを推定するように構成することができる。第１のＦＧマスクは、入力画像フレームに関連する深度情報と、入力画像フレームと入力画像フレームのＢＧ画像との間の差分の２値化とによって推定することができる。画素更新器２０２ｂは、推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組を識別するように構成することができる。ＦＧマスク推定器２０２ｃは、推定された第１のＦＧマスクの境界領域における第１の画素の組の識別に少なくとも基づいて第２のＦＧマスクを決定するように構成することができる。

画像処理装置１０２は、入力ビデオが取り込まれている間の異なる時点で動くオブジェクト、変形するオブジェクト（非硬質変形）、又は向きを変えるオブジェクトのビデオ監視又は追跡などの様々な応用分野で実装することができる。開示した画像処理装置１０２及び方法は、自律航法のための車両追跡のビデオ監視、ゲームシステム、又はこのような移動オブジェクトの他のリアルタイム又は近リアルタイムオブジェクト検出及びセグメンテーションなどの、実際の追跡用途に適することができる。

本開示の例示的な態様によれば、画像処理装置１０２は、ビデオ監視システムとすることができる。従って、本開示において、例えば図１〜図４で説明したような画像処理装置１０２が実行する全ての動作は、ビデオ監視システムが実行することもできる。例えば、ビデオ監視システムは、画像取り込み装置１０４によって取り込まれた一連の画像フレームを受け取り、決定された第２のＦＧマスクによって、人間オブジェクト３０４Ａなどのオブジェクトのリアルタイム追跡及びセグメンテーションのために処理することができる。オブジェクトセグメンテーションの例については、図３に図示し説明した。

本開示の別の例示的な態様によれば、画像処理装置１０２をゲームシステムとすることができる。従って、本開示で説明したような画像処理装置１０２が実行する全ての動作は、ゲームシステムが実行することもできる。例えば、ゲームシステムは、ゲーム環境内のセグメント化された人間オブジェクト３０４Ａなどの、ゲームシーン内のプレーヤをエミュレートするゲームキャラクタを提示することができる。この結果、決定された第２のＦＧマスクによって正確にセグメント化された人間オブジェクト３０４Ａを、ユーザが選択した異なる背景と共に使用することができる。オブジェクトセグメンテーションの背景として、モノクロのブルースクリーンを必要としないこともできる。さらに、特定のウィンドウサイズ内のＦＧ／ＢＧ境界に隣接する画素について誤ってラベル付けされたマスク値を補正する結果、人間オブジェクト３０４Ａの第２のＦＧマスクを素早く正確に決定できるようになる。このような正確にセグメント化されたビデオ内の人間オブジェクト３０４Ａをカットツーシェイプ（ｃｕｔ−ｔｏ−ｓｈａｐｅ）タイプのディスプレイ画面又は透明ディスプレイ画面上にレンダリングして現実味を高め、２次元（２Ｄ）ディスプレイ画面上で３次元（３Ｄ）効果をエミュレートし又は提供することができる。

従来の所定の完全に静止した背景画像による人間オブジェクト３０４Ａなどの前景オブジェクトの共通のセグメンテーション法とは対照的に、画像処理装置１０２は、セグメンテーション処理を開始するために完全に静止した背景画像を生成しなくてもよい。ＢＧ画像分離器２０２ａは、セグメンテーション処理全体を通じて、ほぼ静止した背景画像、及びＩ／Ｏ装置２０６の１又は２以上のセンサの深度センサから受け取られた深度値を絶えず学習又は更新する。この完全な静止からほぼ静止への緩和は、シーンの取り込み時に人間オブジェクト３０４Ａをシーンから外す必要がなくなるので有用である。さらに、たとえ一連の画像フレーム（ビデオ）の取り込み時に画像取り込み装置１０４がその元の位置から偶発的に変位した場合でも、自動セグメンテーション処理に影響を与えないこともある。

別の従来のリアルタイムビデオセグメンテーション技術では、カラー画像及びその被写界深度を同時に取り込むことができる。人体マスクのデータベースをオフラインで作成して、（頭、首、肩、胸、腕、肘、手、腹、尻、脚、膝及び足などの）人体部分の名称をラベル付けすることができる。さらに、数多くの異なる姿勢の人体の深度情報を取り込むこともできる。このような従来の方法は、被写界深度が取り込まれる度に、取り込まれた被写界深度の様々な局所領域を走査し、データベースに記憶されている人間の姿勢にいずれかの良好な一致が存在するかどうかをチェックすることができる。従来の方法は、強い一致が見つかった場合に、人体が存在する深度範囲を大まかに計算することができる。従って、被写界深度を深度範囲情報によって２値化することで人間オブジェクトマスクを提供することができる。このような従来のリアルタイムビデオセグメンテーション技術は、深度ベースの方法である。このような深度ベースの方法とは対照的に、画像プロセッサ２０２及びその１又は２以上の専用回路は、人間オブジェクト３０４Ａなどの前景オブジェクトをセグメント化するために深度値に大きく依存しない。ほとんどの深度センサには深刻なノイズが存在するため、深度値に大きく依拠する取得された前景領域の境界は、滑らかでない（正確なオブジェクトセグメンテーションのために許容できない）ことが多い。

画像処理装置１０２の別の利点は、式（１）による平均シフトフィルタを、一連の画像フレームの入力画像のＦＧ領域全体ではなく、境界領域のＦＧ／ＢＧ境界に隣接する一定数の画素に特異的に適用する点である。例えば、各境界画素「ｎ」について、狭い関心領域内で複数のサンプルベクトルＸ_nを使用して、例えば「１１×１１」画素の特定のウィンドウサイズを使用して、総サンプル数（Ｎ）を（Ｎ＝１２１）などに低減することができる。特定のウィンドウサイズ内のＦＧ／ＢＧ境界に隣接する画素の誤ってラベル付けされたマスク値を補正する結果、画像処理装置１０２の計算負荷を低減させてオブジェクトの第２のＦＧマスクを素早く正確に決定できるようになる。従って、画像処理装置によって行われる動作は、オブジェクトの検出及びセグメンテーションにおいて、従来の画像／ビデオセグメンテーション法と比べて画像処理装置１０２自体をロバストにすることができる。画像プロセッサ２０２、ＢＧ画像分離器２０２ａ、画素更新器２０２ｂ及びＦＧマスク推定器２０２ｃなどの１又は２以上の回路は、画像処理装置１０２が人間オブジェクト３０４Ａなどの所望のオブジェクトを発見し、これらをリアルタイム又は近リアルタイムで完全に自動的に（ユーザ入力を伴わずに）セグメント化できるようにする。セグメント化されたオブジェクトなどの結果は、入力ビデオの新たな画像が取り込まれた直後にもたらされる。セグメンテーション処理が開始されると、画像プロセッサ２０２は、初期ＦＧマスクを反復的に補正して、図３に示すような人間オブジェクト３０４Ａのエッジ上に境界が一致する理想的なＦＧマスク境界３１２などの理想的なＦＧマスクを取得する。この結果、第２のＦＧマスクの境界も人間オブジェクト３０４Ａのエッジ上に一致することにより、人間オブジェクト３０４Ａなどの所望のオブジェクトを背景から単独で正確にセグメント化する能力が画像処理装置１０２にもたらされる。

本開示の様々な実施形態は、オブジェクトセグメンテーションのために前景マスクを補正する画像処理のための機械及び／又はコンピュータが実行可能な一連の命令を記憶した非一時的コンピュータ可読媒体及び／又は非一時的コンピュータ可読記憶媒体、及び／又は非一時的機械可読媒体及び／又は非一時的機械可読記憶媒体を提供することができる。これらの一連の命令は、画像取り込み装置１０４から一連の画像フレームを受け取ることを含む動作を機械及び／又はコンピュータに実行させることができる。受け取られた一連の画像フレームのうちの入力画像フレーム内で、オブジェクトの第１の前景（ＦＧ）マスクを推定することができる。第１のＦＧマスクは、入力画像フレームに関連する深度情報を用いて、入力画像フレームと入力画像フレームの背景（ＢＧ）画像との間の差分を２値化することによって推定することができる。推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組を識別することができる。第１の画素の組は、境界領域に関連する各画素の色成分、深度成分及び空間位置を用いて識別することができる。推定された第１のＦＧマスクの境界領域における第１の画素の組の識別に少なくとも基づいて、第２のＦＧマスクを決定することができる。

本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することができると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むことが意図されている。

Claims (20)

1. １又は２以上の回路を備えた画像処理装置であって、前記回路は、
   画像取り込み装置から一連の画像フレームを受け取り、
   前記受け取った一連の画像フレームのうちの入力画像フレームに関連する深度情報を用いて、前記入力画像フレームと該入力画像フレームの背景（ＢＧ）画像との間の差分を２値化することによって、前記入力画像フレーム内のオブジェクトの第１の前景（ＦＧ）マスクを推定し、
   前記推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組を識別し、
   前記推定された第１のＦＧマスクの前記境界領域における前記第１の画素の組の前記識別に少なくとも基づいて第２のＦＧマスクを決定する、
   ように構成される、
   ことを特徴とする画像処理装置。
2. 前記第１のマスク値及び前記第２のマスク値は、ＦＧマスク値及びＢＧマスク値の一方に対応する、
   請求項１に記載の画像処理装置。
3. 前記１又は２以上の回路は、前記入力画像フレームを前景領域と背景領域とに分離するようにさらに構成され、前記分離された背景領域は、前記ＢＧ画像に対応する、
   請求項１に記載の画像処理装置。
4. 前記１又は２以上の回路は、前記第１のＦＧマスクの前記推定のための顔検出技術及び／又は人体検出技術に基づいて、前記分離された前景領域から除去すべき１又は２以上のＦＧ領域を検出するようにさらに構成される、
   請求項３に記載の画像処理装置。
5. 前記１又は２以上の回路は、前記境界領域における前記第２のマスク値に更新される前記第１のマスク値を有する前記第１の画素の組の前記識別のために、前記境界領域に関連する各画素の色成分、深度成分及び空間位置を利用するようにさらに構成される、
   請求項１に記載の画像処理装置。
6. 前記１又は２以上の回路は、前記入力画像フレームから導出されたエッジ情報に少なくとも基づいて１又は２以上のＦＧマスク補正パラメータを決定するようにさらに構成され、前記第１の画素の組の前記識別は、前記入力画像フレームから導出された前記エッジ情報にさらに基づく、
   請求項１に記載の画像処理装置。
7. 前記オブジェクトの前記第１のＦＧマスクは、前記入力画像フレームと前記入力画像フレームの前記ＢＧ画像との間の前記２値化された差分の特定の閾値に基づいて推定される、
   請求項１に記載の画像処理装置。
8. 前記１又は２以上の回路は、前記第２のＦＧマスクの前記決定のための、前記推定された第１のＦＧマスクに関連する誤ってラベル付けされたマスク値の補正のために、前記境界領域の各境界画素に平均シフトフィルタを適用するようにさらに構成される、
   請求項１に記載の画像処理装置。
9. 前記１又は２以上の回路は、前記平均シフトフィルタの適用中に、前記境界領域の近傍の特定のウィンドウサイズの複数のサンプルベクトルを利用するようにさらに構成され、前記複数のサンプルベクトルは、前記境界領域に関連する各画素の前記色成分、前記深度成分及び前記空間位置に対応する、
   請求項８に記載の画像処理装置。
10. 前記１又は２以上の回路は、前記推定された第１のＦＧマスクの第１の部分が前記入力画像内の一様な領域に位置する場合、前記オブジェクトの前記第１のＦＧマスクの平滑化のために第１の特定の次元のカーネル関数を選択するようにさらに構成され、前記第１のＦＧマスクの平滑化のための前記選択は、前記推定された第１のＦＧマスクの前記第１の部分が、前記入力画像フレームから導出された前記オブジェクトの対応するエッジと一致できるように行われる、
    請求項１に記載の画像処理装置。
11. 前記１又は２以上の回路は、前記推定された第１のＦＧマスクの第２の部分が、前記入力画像フレームから導出された前記オブジェクトの対応するエッジと一致する場合、第２の特定の次元のカーネル関数を選択するようにさらに構成される、
    請求項１に記載の画像処理装置。
12. 前記境界領域に関連する画素の前記空間位置は、前記画素の垂直座標及び水平座標に対応する、
    請求項１に記載の画像処理装置。
13. 前記１又は２以上の回路は、前記一連の画像フレーム内に現れる前記オブジェクトを、該オブジェクトの前記決定された第２のＦＧマスクを用いてリアルタイム又は近リアルタイムで動的にセグメント化するようにさらに構成される、
    請求項１に記載の画像処理装置。
14. 前記１又は２以上の回路は、前記セグメント化中に前記ＢＧ画像を周期的又は非周期的に更新するようにさらに構成される、
    請求項１３に記載の画像処理装置。
15. オブジェクトセグメンテーションのための前景マスク補正のための画像処理方法であって、
    画像処理装置が、画像取り込み装置から一連の画像フレームを受け取るステップと、
    前記画像処理装置が、前記受け取った一連の画像フレームのうちの入力画像フレームに関連する深度情報を用いて、前記入力画像フレームと該入力画像フレームの背景（ＢＧ）画像との間の差分を２値化することによって、前記入力画像フレーム内のオブジェクトの第１の前景（ＦＧ）マスクを推定するステップと、
    前記画像処理装置が、前記推定された第１のＦＧマスクの境界領域における、第２のマスク値に更新すべき第１のマスク値を有する第１の画素の組を識別するステップと、
    前記画像処理装置が、前記推定された第１のＦＧマスクの前記境界領域における前記第１の画素の組の前記識別に少なくとも基づいて第２のＦＧマスクを決定するステップと、
    を含むことを特徴とする方法。
16. 前記画像処理装置が、前記境界領域における前記第２のマスク値に更新される前記第１のマスク値を有する前記第１の画素の組の前記識別のために、前記境界領域に関連する各画素の色成分、深度成分及び空間位置を利用するステップをさらに含む、
    請求項１５に記載の方法。
17. 前記画像処理装置が、前記第２のＦＧマスクの前記決定のための、前記推定された第１のＦＧマスクに関連する誤ってラベル付けされたマスク値の補正のために、前記境界領域の各境界画素に平均シフトフィルタを適用するステップをさらに含む、
    請求項１５に記載の方法。
18. 前記推定された第１のＦＧマスクの第１の部分が前記入力画像内の一様な領域に位置する場合、前記画像処理装置が、前記オブジェクトの前記第１のＦＧマスクの平滑化のために第１の特定の次元のカーネル関数を選択するステップをさらに含む、
    請求項１５に記載の方法。
19. 前記推定された第１のＦＧマスクの第２の部分が、前記入力画像フレームから導出された前記オブジェクトの対応するエッジと一致する場合、前記画像処理装置が、第２の特定の次元のカーネル関数を選択するステップをさらに含む、
    請求項１５に記載の方法。
20. 前記画像処理装置が、前記一連の画像フレーム内に現れる前記オブジェクトを、該オブジェクトの前記決定された第２のＦＧマスクを用いてリアルタイム又は近リアルタイムで動的にセグメント化するステップをさらに含む、
    請求項１５に記載の方法。

Images