JP2020102077A - 前景抽出装置、前景抽出方法、及び、前景抽出プログラム - Google Patents

Abstract

【課題】前景と背景を有する映像フレームから前景を抽出する際に、計算量が削減でき、処理負荷を軽減させたい。【解決手段】前景抽出装置は、映像フレームから前景を抽出する前景抽出部２０２を備える。前景抽出部２０２は、入力された映像フレームからエッジを抽出するエッジ抽出部２０２１と、抽出したエッジを中心とした局所領域を指定する局所領域設定部２０２２と、指定された局所領域における映像フレームと背景画像の類似度を算出する類似度計算部２０２３と、算出された類似度分布から前景を抽出する二値化処理部２０２４を備える。【選択図】図４

Description

この発明は、映像フレームから背景画像に存在しない物体領域を抽出する前景抽出装置、前景抽出方法、及び、前景抽出プログラムに関するものである。

従来から、事前に用意した背景画像と参照画像を比較して、参照画像から背景画像に存在しない物体領域を抽出する前景抽出技術が知られている。前景を抽出する技術としては、輝度を元に画素ごとの差分をとり、差分が大きい箇所を前景として抽出する方法、あるいは、画像の局所領域ごと輝度分布の類似度を算出し、類似度が低い箇所を前景として抽出する方法が存在する。
前者は画素ごとの輝度の差分を取っているため、参照画像の日照条件が背景画像と大きく異なり、輝度が大きく異なるような画像では、誤抽出が多く発生する問題がある。

一方、後者の手法では、画像の明暗パターンを表すテクスチャ特徴を類似度の算出に利用することで、誤抽出を抑えることができる。これは、日照の変化によって輝度が変化したとしても、明暗パターンを表すテクスチャ特徴は変化しにくいためである。

例えば特許文献１には画像の局所領域ごとに背景画像と入力画像のパターンを比較することで類似度を算出し、前景を抽出する技術が開示されている。この手法では、日照変化による輝度変動に頑健なテクスチャ特徴を利用するとともに、影である可能性が高い影候補ブロックを検出することで、濃い影であっても前景の領域を精度よく推定することを可能としている。

特開２０１８−２６０６８号公報

長嶋聖，青木孝文，樋口龍雄，小林孝次「位相限定相関法に基づくサブピクセル画像マッチングの高精度化」計測自動制御学会東北支部第２１８研究集会（２０１４．１０．９）

しかしながら、特許文献１に開示されているような技術では、前景領域を抽出するために、局所領域ごとの類似度を計算しており、画像全体の前景を抽出する際には、局所領域を画面全体で走査させねばならないため、計算量が多く、処理負荷が高いという課題があった。

本発明では、前景を抽出する際に、計算量が削減でき、処理負荷が軽減できるようにすること目的とする。

この発明の前景抽出装置は、
映像フレームからエッジを抽出し、前記映像フレームのエッジと前記映像フレームの撮影領域に前景となる物体がない状態で撮影された背景画像とを用いて、前記映像フレームから前景を抽出する前景抽出部を備えた。

この発明の前景抽出装置は、映像フレームからエッジを抽出し、エッジを用いて前景を抽出するので、前景を抽出する際に、計算量が削減でき、処理負荷が軽減できる。

実施の形態１に係る前景抽出装置２０の構成図。 実施の形態１に係る前景抽出装置２０のハードウェア構成図。 実施の形態１に係る前景抽出装置２０の動作を示すフローチャート。 実施の形態１に係る前景抽出部２０２の構成図。 実施の形態１に係る前景抽出部２０２の動作を示すフローチャート。 実施の形態１に係る処理概要図。 実施の形態１の前景抽出装置２０の変形例の構成図。 実施の形態２に係る前景抽出部２０２の構成図。 実施の形態２に係る前景抽出部２０２の動作を示すフローチャート。 実施の形態３に係る前景抽出部２０２の構成図。 実施の形態３に係る前景抽出部２０２の動作を示すフローチャート。 実施の形態３に係る処理概要図。 実施の形態３に係る処理概要図。

実施の形態１．
以下、実施の形態について、図面を参照しながら詳細に説明する。

＊＊＊構成の説明＊＊＊
図１は、実施の形態１に係る前景抽出装置２０の構成図である。
図１に示されるように、前景抽出装置２０は、撮影領域の映像を撮影・配信するカメラ１０と接続され、カメラ１０から配信される圧縮映像ストリームを復号して映像フレームに変換する映像受信復号部２０１と、映像フレームを用いて前景を抽出する前景抽出部２０２と、抽出結果を装置外部に出力する前景画像出力部２０３とを備える。
さらに、前景抽出装置２０は、背景画像を保存するとともに映像フレームの画像を解析する解析用パラメータを保存するパラメータ保存用ストレージ２０４を備える。

図２は、実施の形態１に係る前景抽出装置２０のハードウェア構成図である。
前景抽出装置２０は、図２に示す一般的なコンピュータ１００から構成される。
映像受信復号部２０１及び前景画像出力部２０３はプロセッサ１００１、メモリ１００２及びネットワークインタフェース１００３から構成される。前景抽出部２０２及び前景画像出力部２０３はプロセッサ１００１及びメモリ１００２から構成される。パラメータ保存用ストレージ２０４は記憶装置１００４から構成される。

プロセッサ１００１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
記憶装置１００４には、前景抽出装置２０の各機能構成要素の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ１００１によりメモリ１００２に読み込まれ、プロセッサ１００１によって実行される。これにより、前景抽出装置２０の各機能構成要素の機能が実現される。

プロセッサ１００１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１００１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ１００２は、データを一時的に記憶する記憶装置である。メモリ１００２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

記憶装置１００４は、データを保管する記憶装置である。記憶装置１００４は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、記憶装置１００４は、メモリカード、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。

ネットワークインタフェース１００３は、外部の装置と通信するためのインタフェースである。ネットワークインタフェース１００３は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、又は、ＨＤＭＩ（登録商標，Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートを有する。

図２では、プロセッサ１００１は、１つだけ示されているが、前景抽出装置２０は、プロセッサ１００１を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、各機能構成要素の機能を実現するプログラムの実行を分担する。

＊＊＊動作の説明＊＊＊
以下、この実施の形態１における前景抽出装置の動作について説明する。
図３は前景抽出装置２０の動作を示すフローチャートである。

（ステップＳＴ０１：解析用パラメータ読み込み処理）
前景抽出部２０２はパラメータ保存用ストレージ２０４から背景画像及び解析用パラメータを読み込んでおく。読み込んだ背景画像及びパラメータは後述の前景抽出部２０２の処理で使用する。
背景画像は、カメラ１０の撮影領域に前景となる物体がない状態で撮影領域をカメラ１０によって撮影することにより得られた画像データである。

（ステップＳＴ０２：動画像受信復号処理）
映像受信復号部２０１は前景抽出装置２０に接続されたカメラ１０から、圧縮映像ストリームを受信するために待機し、圧縮映像ストリームを受信した場合は圧縮映像ストリームを１フレーム分復号し、映像フレームに変換する。
映像フレームとは、１枚の静止画を指し、縦Ｘ画素横Ｙ画素からなる映像信号を含んでいる。

ここで受信対象とする映像ストリームは、例えばＨ．２６２／ＭＰＥＧ−２ ｖｉｄｅｏ、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ、又はＪＰＥＧ等の映像圧縮符号化方式で圧縮された映像符号化データを、ＭＰＥＧ−２ ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ
Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）、ＲＴＰ／ＲＴＳＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ／Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）又はＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）等の映像配信プロトコルでＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）配信されるものを対象とする。

映像ストリームは、上記以外の符号化フォーマット又は配信フォーマットで配信されてもよいし、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤ−ＳＤＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等の非圧縮の伝送規格フォーマットで配信されてもよい。

（ステップＳＴ０３：前景画像生成処理）
前景抽出部２０２は、映像受信復号部２０１から入力される映像フレームからエッジを抽出し、映像フレームのエッジと映像フレームの撮影領域に前景となる物体がない状態で撮影された背景画像とを用いて、当該映像フレームから前景を抽出し、出力する。前景抽出部２０２の動作の詳細は後述する。

（ステップＳＴ０４：前景抽出結果の出力処理）
次に前景画像出力部２０３は、前景抽出部２０２から出力された前景抽出結果を、前景抽出装置２０の外部に出力する。
出力の形式としては、例えば、モニタへの表示、ログファイルへの出力、外部接続機器への出力、又はネットワークへの送出等があげられる。又はその他の形式での出力でもよい。また、前景抽出部２０２から前景抽出結果が出力されるたびに外部に出力してもよいし、特定の期間又は特定数の前景抽出結果を集計又は統計処理した後に出力する等、断続的な出力であってもよい。
ステップＳＴ０４の後はステップＳＴ０２に戻り、次の映像フレームの処理を行う。

＊＊＊前景抽出部２０２の構成の説明＊＊＊
図４は本実施の形態における前景抽出部２０２の構成図である。
前景抽出部２０２は、入力された映像フレームからエッジを抽出するエッジ抽出部２０２１と、抽出したエッジを中心とした局所領域を指定する局所領域設定部２０２２と、指定された局所領域における映像フレームと背景画像の類似度を算出する類似度計算部２０２３と、算出された類似度分布から前景を抽出する二値化処理部２０２４を備える。

＊＊＊前景抽出部２０２の動作の説明＊＊＊
以下、前景抽出部２０２の詳細動作について説明する。
図５は本実施の形態における前景抽出部２０２の動作フローチャートである。
図６は本実施の形態の処理概要図である。

（ステップＳＴ１１：エッジ抽出処理）
まず、エッジ抽出部２０２１は、入力された映像フレームに対してエッジ抽出を実施し、エッジ抽出結果を局所領域設定部２０２２に出力する。
エッジとは、画像中の明るさ又は色が急に変化する部分をいう。
エッジ抽出とは、画像中の明るさ又は色が急に変化する部分を抽出することをいう。
エッジ抽出部２０２１のエッジ抽出は公知の技術で実現することができる。
図６では、エッジ抽出部２０２１が、映像フレームから２本の斜線と人型を映像エッジとして抽出している。

（ステップＳＴ１２：局所領域・比較領域の設定処理）
次に局所領域設定部２０２２では、エッジ抽出部２０２１から入力されたエッジ抽出結果を用いて、エッジが抽出された画素を中心とした局所領域を設定する。
また、局所領域設定部２０２２は、背景画像の局所領域に対応する領域を局所領域と比較する比較領域として設定する。
局所領域は、例えば、エッジとして抽出されたいずれかの１画素を中心としたｎ画素×ｎ画素（ｎは３以上の整数）の矩形の画像領域である。
比較領域は、背景画像上で局所領域と同じ位置、同じ大きさのｎ画素×ｎ画素の矩形の画像領域である。
図６では、局所領域設定部２０２２が、映像エッジ抽出結果に基づいて、映像フレームに対して２本の斜線と人型を構成している画素に局所領域を設定し、さらに、背景画像の局所領域に対応する位置に比較領域を設定している。

（ステップＳＴ１３：類似度計算処理）
次に類似度計算部２０２３では、局所領域設定部２０２２で設定された局所領域において、背景画像と映像フレームの類似度を算出する。類似度計算部２０２３は、局所領域設定部２０２２により設定された局所領域の画像と、背景画像の比較領域の画像との類似度を計算する。

類似度の算出には、日向、日陰といった日照条件に頑健なテクスチャ特徴を利用した手法を利用する。利用するテクスチャ特徴は、例えば画像の位相情報から類似度を算出する位相限定相関法（例えば、非特許文献１参照）が考えられる。その他利用できるテクスチャ特徴の種類としては、エッジ、輝度勾配、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ、相関、ヒストグラム、エントロピー等が考えられる。

一番単純なテクスチャ特徴はエッジであるが、エッジは位置ずれが発生した場合に類似度が著しく下がり、誤抽出が発生しやすい。それに対し、位相情報、相関、ヒストグラム、エントロピーは、領域の発生頻度又は明暗パターンの統計データを使用しているため、位置ずれが発生したとしても、類似度の低下はエッジに比べて少なく、誤抽出を発生させにくい。

その中でも特に、位相情報を利用した位相限定相関法は、位置ずれ量を考慮したうえで類似度を算出する手法であり、位置ずれが発生した場合でも、類似度の低下は少なく、位置ずれに頑健である。そのため類似度の算出に位相限定相関法を利用することで、位置ずれにも頑健な前景抽出が実現される。
解析用パラメータには類似度算出の手法に応じて、必要なパラメータが設定されていて、類似度計算部２０２３は、類似度算出のために解析用パラメータを用いる。

エッジ抽出部２０２１で抽出されたエッジに含まれる画素すべてに対し、ステップＳＴ１２とＳＴ１３を繰り返す。すなわち、局所領域設定部２０２２は、エッジを構成する全ての画素を中心とした局所領域を設定し、その後、局所領域と対応する比較領域を背景画像に設定する。類似度計算部２０２３は、局所領域設定部２０２２で設定された全ての局所領域において、映像フレームの局所領域と背景画像の比較領域との映像フレームの類似度を算出する。具体的には、ステップＳＴ１２で類似度を算出していない、画素を抽出した局所領域と、対応する比較領域とを設定し、ステップＳ１３で映像フレームの類似度を算出する処理を、すべての画素に対応する局所領域について、実行する。
図６では、２本の斜線に対して設定した局所領域と比較領域との類似度は高くなり、人型に対して設定した局所領域と比較領域との類似度は低くなる。

（ステップＳＴ１４：二値化処理）
二値化処理部２０２４では、ステップＳＴ１２とＳＴ１３の繰り返しによって得られたエッジを構成する全ての画素の類似度から、類似度の分布を求める。二値化処理部２０２４では、類似度の分布に対し、基準値で２値化を行い、前景と背景に分離し、類似度が低い領域のみを前景として抽出する。
図６では、二値化処理部２０２４は、２本の斜線に対して設定した局所領域と比較領域との類似度は基準値より高くなるのでその局所領域の中心にある画素は背景であると判断して無視している。
一方、二値化処理部２０２４は、人型に対して設定した局所領域と比較領域との類似度は基準値より低くなるので、その局所領域の中心にある画素が前景を構成する画素であるとして抽出する。
図６では、類似度が低い領域の中心にある画素の集合を前景抽出結果（二値）として示している。結果として、図６では、人型の前景が抽出されたことを示している。

＊＊＊実施の形態１の特徴＊＊＊
この実施の形態１の前景抽出装置は、解析用パラメータを保持するパラメータ保存用ストレージ２０４と、映像フレームからエッジを抽出し、映像フレームのエッジと前記映像フレームの撮影領域に前景となる物体がない状態で撮影された背景画像とを用いて映像フレームから前景を抽出する前景抽出部２０２と、前景抽出部２０２が抽出した前景を出力する前景画像出力部２０３とを備えたことを特徴とする。

パラメータ保存用ストレージ２０４は、背景画像を保持している。
前景抽出部２０２は、映像フレームからエッジを抽出するエッジ抽出部２０２１と、抽出されたエッジを構成する画素を中心とする局所領域と背景画像の局所領域に対応する比較領域とを設定する局所領域設定部２０２２とを備えている。
前景抽出部２０２は、局所領域設定部により設定された局所領域の画像と比較領域の画像との類似度を計算する類似度計算部２０２３と、類似度計算部が計算した類似度に対して二値化処理を実施し、前景を抽出する二値化処理部０２０４とを備えている。

この実施の形態１の前景抽出装置は、前景を抽出する際に、不必要な部分の局所領域の類似度計算は省くことで、高速化を実現する。具体的には、この実施の形態１の前景抽出装置は、テクスチャ特徴を利用した前景抽出において、前景は多くの場合エッジ周辺に表れる事実に着目し、エッジ周辺だけを処理することで、精度を維持したまま高速化を実現する。

＊＊＊実施の形態１の効果の説明＊＊＊
以上のように、この実施の形態１によれば、背景画像と参照画像の異なる領域を抽出できる前景抽出技術において、日向又は日陰といった異なる日照条件においても精度よく前景を抽出することができるだけでなく、前景抽出の精度を維持しながら高速化を実現できる。
特に、前景抽出装置２０は、日照条件がことなる画像間においても誤抽出が少なく、高速に前景の抽出をすることが可能となる。
さらに、類似度計算部２０２３において位相限定相関法を利用することで、位置ずれにも頑健な前景抽出が可能となる。

特にこの実施の形態１の前景抽出装置は、日照条件が変化する環境に高い効果を発揮する。例えば屋外環境における置き去り物の検知等が挙げられる。

＜変形例１＞
実施の形態１の前景抽出装置２０では、入力装置として、カメラ１０を対象とするように構成されているが、ＲＧＢカメラに限定されるものではない。例えばサーマルカメラ（Ｔｈｅｒｍａｌ Ｃａｍｅｒａ）又はデプスカメラ（Ｄｅｐｔｈ Ｃａｍｅｒａ）を入力装置としてもよい。

＜変形例２＞
局所領域設定部２０２２は、エッジを構成する１つの画素ごとに１つの局所領域を設定しなくてもよい。局所領域設定部２０２２は、エッジを構成する複数の画素に１つの局所領域を設定してもよい。例えば局所領域設定部２０２２は、隣接かつ連続する特定個数又は任意個数の画素に１つの局所領域を設定してもよい。
局所領域は、抽出されたエッジを構成する画素を少なくとも１つ含んでいればよい。

＜変形例３＞
実施の形態１では、各機能構成要素がソフトウェアで実現する場合を説明した。しかし、変形例として、各機能構成要素はハードウェアで実現されてもよい。

図７を参照して、変形例に係る前景抽出装置２０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、前景抽出装置２０は、プロセッサ１００１に代えて、処理回路１００５を備える。あるいは、図示しないが、前景抽出装置２０は、プロセッサ１００１とメモリ１００２と記憶装置１００４とに代えて、処理回路１００５を備える。処理回路１００５は、各機能構成要素（及び、メモリ１００２と記憶装置１００４）との機能とを実現する専用の電子回路である。

処理回路１００５は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの処理回路１００５で実現してもよいし、各機能構成要素を複数の処理回路１００５に分散させて実現してもよい。

あるいは、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

前述したプロセッサ１００１とメモリ１００２と記憶装置１００４と処理回路１００５とを、総称して「プロセッシングサーキットリー」という。つまり、各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。

実施の形態２．
以下、前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
図８は本実施の形態における前景抽出部２０２の構成図である。
前述した実施の形態では、背景画像と映像フレームで位置ずれが発生していた場合、前景を誤抽出する可能性がある。この課題を解決するために、実施の形態２では、実施の形態１の類似度計算部２０２３に位置ずれ量計算部２０２５を付加し、位置ずれに頑健な前景抽出を実現する。

＊＊＊動作の説明＊＊＊
図９は本実施の形態における前景抽出部２０２の動作を示すフローチャートである。

（ステップＳＴ１２：局所領域・比較領域の設定処理）
局所領域設定部２０２２では、エッジ抽出部２０２１から入力されたエッジ抽出結果を用いて、エッジが抽出された画素を中心とした局所領域と背景画像の比較領域とを設定する。
（ステップＳＴ１５：類似度・位置ずれ量計算処理）
類似度計算部２０２３が動作する場合、位置ずれ量計算部２０２５において、位相限定相関法を利用することで、局所領域と比較領域との位置ずれ量を算出する。
位置ずれ量が０でなかった場合、位置ずれ量を考慮して、局所領域設定部２０２２において、位置ずれ量が０になるように局所領域を再度設定し（ステップＳＴ１２）、再度位置ずれ量を計算する（ステップＳＴ１５）。この再計算は１度でもよいし、位置ずれ量の改善が見られなくなるまで繰り返し実施してもよい。
類似度計算部２０２３は、位置ずれ量が０になった場合、類似度計算部２０２３は、類似度を計算する。なお、類似度計算部２０２３は、位置ずれ量の算出とともに類似度を毎回計算してもよい。
このように類似度計算部２０２３は、局所領域の画像と比較領域の画像との位置ずれ量を計算して、位置ずれ量を抑制して類似度の計算をする

＊＊＊実施の形態２の効果の説明＊＊＊
実施の形態２によれば、位置ずれ量計算部２０２５が計算した位置ずれがなくなるように局所領域設定部２０２２が局所領域を設定するので、位置ずれに頑健な前景抽出が可能となる。

実施の形態３．
以下、前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
図１０は本実施の形態における前景抽出部２０２の構成図である。
前景抽出部２０２は、背景画像のエッジを抽出する背景エッジ抽出部２０２６と、背景エッジ抽出部２０２６の結果でエッジ抽出部２０２１の結果をマスキングするエッジマスク部２０２７とを備える。

前述した実施の形態では、映像フレームから得られたエッジ箇所全てに対し、類似度を計算しているため、背景に存在する構造物のエッジ部分等の計算が不要な部分まで類似度を算出していることになる。
また、構造物のエッジ周辺では、日照変化が発生した場合、照り返し等が発生し、背景画像との類似度が低下しやすいため、前景の誤抽出が発生しやすい可能性がある。
実施の形態３では実施の形態１における前段階として、エッジ抽出部２０２１と並行して背景エッジ抽出部２０２６を追加し、エッジ抽出部２０２１と局所領域設定部２０２２の間にエッジマスク部２０２７を追加する。

＊＊＊動作の説明＊＊＊
図１１は本実施の形態における前景抽出部２０２の動作を示すフローチャートである。
図１２と図１３は、本実施の形態の処理概要図である。

（ステップＳＴ１６：背景エッジ抽出処理）
背景エッジ抽出部２０２６は、パラメータ保存用ストレージ２０４から背景画像を取得する。背景エッジ抽出部２０２６は、背景画像のエッジを背景エッジとして抽出し、エッジマスク部２０２７に出力する。
図１２では、背景エッジ抽出部２０２６は、２本の斜線を背景画像の背景エッジとして抽出している。

（ステップＳＴ１７：エッジマスク適用処理）
次にエッジマスク部２０２７において、背景エッジ抽出部２０２６から得られたエッジ抽出結果を用いて、エッジ抽出部２０２１で得られたエッジ抽出結果にマスキングを行う。
エッジマスク部２０２７は、映像フレームのエッジの中で背景画像のエッジと重なるエッジは背景に存在するエッジであると判断して、映像フレームのエッジから背景に存在するエッジを削除したエッジを前景のエッジとして抽出する。
図１２では、エッジマスク部２０２７は、映像エッジ抽出結果と背景エッジ抽出結果との各画素の排他的論理和を取ることによりマスクエッジ画像を生成する。
図１２では、エッジマスク部２０２７は、映像エッジの中で背景エッジが重なる２本の斜線部分を背景に存在するエッジであると判断して、映像フレームのエッジから２本の斜線を削除した人型のエッジのみを前景のエッジとして抽出している。

（ステップＳＴ１２：局所領域・比較領域の設定処理）
次に局所領域設定部２０２２では、エッジマスク部２０２７で抽出された人型のエッジ抽出結果を用いて、エッジが抽出された画素を中心とした局所領域と背景画像の比較領域とを設定する。
図１３では、局所領域設定部２０２２は、人型の前景のエッジを構成する画素を中心とした局所領域とその局所領域に対応する比較領域とを設定する。局所領域設定部２０２２は、背景に存在するエッジを構成する画素を中心とした局所領域とその局所領域に対応する比較領域とは設定しない。

（ステップＳＴ１３：類似度計算処理）
次に類似度計算部２０２３では、局所領域設定部２０２２で設定された局所領域において、背景画像と映像フレームの類似度を算出する。類似度計算部２０２３では、マスクされていないエッジ周辺のみ類似度を計算する。
図１３では、類似度計算部２０２３は、人型の前景のエッジを構成する画素を中心とした局所領域の類似度を計算する。類似度計算部２０２３は、背景に存在するエッジを構成する画素を中心とした局所領域の類似度は計算しない。

＊＊＊実施の形態３の効果の説明＊＊＊
実施の形態３によれば、背景に存在するエッジを類似度計算から除外することができるので、前景抽出をより高速に、誤抽出少なく実施することができる。

特に、１回のエッジマスク適用処理により、背景のエッジを構成する画素数の回数だけ局所領域設定処理と類似度計算処理を除外することができ、高速処理が実現できる。

＊＊＊他の実施の形態＊＊＊
前述した各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

前述した各実施の形態の前景抽出装置は、２枚の画像を比較し、２枚の画像の差異を検出する画像比較装置、差分抽出装置、画像比較システム、差分抽出システムに使用することができる。
前景抽出装置が、画像比較装置、差分抽出装置、画像比較システム、又は、差分抽出システムに使用される場合、「前景」は「２枚の画像の差分」であり、前景抽出部２０２は差分抽出部となり、前景画像出力部２０３は差分画像出力部となる。

前述した各実施の形態の前景抽出装置は、画像処理装置、画像処理システム、アニメーション処理装置、又は、アニメーション処理システムの一部として組み込むことができる。

１０ カメラ、２０ 前景抽出装置、１００ コンピュータ、２０１ 映像受信復号部、２０２ 前景抽出部、２０３ 前景画像出力部、２０４ パラメータ保存用ストレージ、１００１ プロセッサ、１００２ メモリ、１００３ ネットワークインタフェース、１００４ 記憶装置、１００５ 処理回路、２０２１ エッジ抽出部、２０２２ 局所領域設定部、２０２３ 類似度計算部、２０２４ 二値化処理部、２０２５ 位置ずれ量計算部、２０２６ 背景エッジ抽出部、２０２７ エッジマスク部。

Claims (7)

1. 映像フレームからエッジを抽出し、前記映像フレームのエッジと前記映像フレームの撮影領域に前景となる物体がない状態で撮影された背景画像とを用いて、前記映像フレームから前景を抽出する前景抽出部を備えた前景抽出装置。
2. 前記前景抽出部は、
   前記映像フレームからエッジを抽出するエッジ抽出部と、
   抽出されたエッジを構成する画素を含む局所領域と前記背景画像の前記局所領域に対応する比較領域とを設定する局所領域設定部と、
   前記局所領域設定部により設定された前記局所領域の画像と前記比較領域の画像との類似度を計算する類似度計算部と、
   前記類似度計算部が計算した前記類似度に対して二値化処理を実施し、前景を抽出する二値化処理部と
   を備えた請求項１に記載の前景抽出装置。
3. 前記局所領域設定部は、前記エッジ抽出部が抽出したエッジを構成する画素について前記局所領域を設定した後、前記背景画像に前記比較領域を設定し、
   前記類似度計算部は、前記局所領域設定部が前記局所領域と前記比較領域とを設定すると、前記局所領域の画像と前記比較領域の画像との類似度を計算する請求項２に記載の前景抽出装置。
4. 前記類似度計算部は、前記局所領域の画像と前記比較領域の画像との位置ずれ量を計算して、前記位置ずれ量を抑制して前記類似度の計算をする請求項２又は３に記載の前景抽出装置。
5. 前景抽出装置は、さらに、
   前記背景画像のエッジを抽出する背景エッジ抽出部と、
   前記背景エッジ抽出部が抽出したエッジで前記エッジ抽出部が抽出したエッジをマスキングするエッジマスク部と
   を備える請求項２から４のいずれか１項に記載の前景抽出装置。
6. 前景抽出装置の前景抽出方法において、
   前景抽出部が、映像フレームからエッジを抽出し、前記映像フレームのエッジと前記映像フレームの撮影領域に前景となる物体がない状態で撮影された背景画像とを用いて、前記映像フレームから前景を抽出する前景抽出方法。
7. コンピュータに、
   映像フレームからエッジを抽出し、前記映像フレームのエッジと前記映像フレームの撮影領域に前景となる物体がない状態で撮影された背景画像とを用いて、前記映像フレームから前景を抽出する前景抽出処理を実行させる前景抽出プログラム。

Images