JP2009301242A - 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】人物の出現を効率的に予測できるようにした頭部候補抽出装置を提供する。
【解決手段】画像入力装置を用いて画像上に写る頭部位置を１又は複数抽出する装置であって、前記画像入力装置より、画像を取得する画像の取得手段１１と、前記画像の取得手段１１によって取得された画像から人物が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成手段１２と、前記画像の取得手段１１によって取得された画像からエッジを抽出した画像であるエッジ検出画像を作成するエッジ検出画像の作成手段１３と、前記作成されたシルエット画像とエッジ検出画像を記憶する特徴量データベース２１と、前記作成されたシルエット画像とエッジ検出画像を用いて頭部候補位置を抽出する頭部候補位置の抽出手段１４とを備える。
【選択図】図１

Description

本発明は，画像入力装置（例えば，カメラ等）を用いて，画像平面上における人間頭部の候補を抽出する頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体に関するものである。

コンピュータビジョン分野では複数のカメラの情報を利用して人物などの動く対象の追跡に関する研究が多く行われている。例えば次の処理が実現されている。
複数の視点から対象を観測し，画像上における対象の領域（シルエット）を抽出したシルエット画像を用意する。さらに予め追跡を行う空間の三次元構造（以下，三次元環境情報と呼ぶ）と追跡に利用する全てのカメラの内部・外部パラメータを予め計測して求めておき，三次元環境中に人物モデルを配置し，先に算出したカメラパラメータを持つ仮想のカメラでこのシーンを撮影すると，シルエット画像のシミュレーションを行うことができる。人物モデルに楕円体を用いて，生成したシミュレーション画像とシルエット画像を比較することで一般的な環境の下でも複数の人物の追跡を行う方法が提案されている（例えば、非特許文献１）。
Ｔ． Ｏｓａｗａ，Ｘ． Ｗｕ， Ｋ． Ｓｕｄｏ， Ｋ． Ｗａｋａｂａｙａｓｈｉ， Ｈ． Ａｒａｉ ａｎｄ Ｔ． Ｙａｓｕｎｏ，"ＭＣＭＣ ｂａｓｅｄ Ｍｕｌｔｉ−ｂｏｄｙ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｆｕｌｌ ３Ｄ Ｍｏｄｅｌ ｏｆ Ｂｏｔｈ Ｔａｒｇｅｔ ａｎｄ Ｅｎｖｉｒｏｎｍｅｎｔ，" ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｉｎｔｌ Ｃｏｎｆ． ｏｎ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ａｎｄ Ｓｉｇｎａｌ ｂａｓｅｄ Ｓｕｒｖｅｉｌｌａｎｃｅ（ＡＶＳＳ ０７）， Ｓｅｐ． ２００７．ｐｐ．２２４〜２２９．

前記非特許文献１の方法では、入退エリアを予め設けておき，その範囲内にランダムに人物が現れるという仮定を用いて，人物の監視エリアへの出現を予測しているが，入退エリアの範囲が広い場合には予測がばらつくため，人物の出現をシステムが捕捉するのが遅れること，そもそも予め入退エリアを設定できない場合には対応できないといった問題があり，想定外の場所から入場した人物を捕捉することができない。
本発明は、上述のような従来技術の問題点を解決するためになされたものでありその目的は、画像上における人物の頭部候補位置の確率分布を作成し、この確率に従って人物の頭部候補を抽出することで、人物の出現を効率的に予測できるようにした頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体を提供することにある。

前記課題を解決するための請求項１に記載の頭部候補抽出方法は、画像入力装置を用いて画像上に写る頭部位置を１又は複数抽出する方法であって、画像の取得手段が、前記画像入力装置より、画像を取得する画像の取得ステップと、シルエット画像の作成手段が、前記画像の取得ステップによって取得された画像から人物が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成ステップと、エッジ検出画像の作成手段が、前記画像の取得ステップによって取得された画像からエッジを抽出した画像であるエッジ検出画像を作成するエッジ検出画像の作成ステップと、頭部候補位置の抽出手段が、前記作成されたシルエット画像とエッジ検出画像を用いて頭部候補位置を抽出する頭部候補位置の抽出ステップとを備えたことを特徴としている。

また請求項２に記載の頭部候補抽出方法は、請求項１において、前記頭部候補位置の抽出ステップは、前記作成されたシルエット画像の解析により画像水平方向の頭部位置確率分布を生成するステップと、前記生成された画像水平方向の頭部位置確率分布に従って頭部位置候補の画像水平成分を抽出するステップと、前記抽出された頭部位置候補の画像水平成分において、エッジ検出画像を頭部モデルを用いて解析し、画像垂直方向の頭部位置確率分布を生成するステップと、前記生成された画像垂直方向の頭部位置確率分布に従って頭部位置候補の画像垂直成分を抽出するステップとを備えたことを特徴としている。

また、請求項３に記載の頭部候補抽出装置は、画像入力装置を用いて画像上に写る頭部位置を１又は複数抽出する装置であって、前記画像入力装置より、画像を取得する画像の取得手段と、前記画像の取得手段によって取得された画像から人物が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成手段と、前記画像の取得手段によって取得された画像からエッジを抽出した画像であるエッジ検出画像を作成するエッジ検出画像の作成手段と、前記作成されたシルエット画像とエッジ検出画像を用いて頭部候補位置を抽出する頭部候補位置の抽出手段とを備え、前記頭部候補位置の抽出手段は、シルエット画像の解析により画像水平方向の頭部位置確率分布を生成し、前記生成された画像水平方向の頭部位置確率分布に従って頭部位置候補の画像水平成分を抽出し、前記抽出された頭部位置候補の画像水平成分において、エッジ検出画像を頭部モデルを用いて解析し、画像垂直方向の頭部位置確率分布を生成し、前記生成された画像垂直方向の頭部位置確率分布に従って頭部位置候補の画像垂直成分を抽出することを特徴としている。

また、請求項４に記載の頭部候補抽出プログラムは、コンピュータに請求項１又は２に記載の各ステップを実行させるための頭部候補抽出プログラムであることを特徴としている。

また請求項５に記載の記録媒体は、コンピュータに請求項１又は２に記載の各ステップを実行させるための頭部候補抽出プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。

本発明によれば、撮影された画像からシルエット画像とエッジ検出画像を作成し、これを用いて頭部位置候補を確率分布に従って抽出することによって、入退室エリアが広い場合にも入退室エリア中のどこに出現した確率が高いかを予測することが可能であり、たとえ入退室エリアを設定しなくても、人物がどこに出現した確率が高いかを予測することができるため、人物の出現をシステムがすばやく捕捉することが可能である。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１に本発明の頭部候補抽出装置の実施形態例を示す。図１において、本実施形態例の頭部候補抽出装置は、画像の取得手段１１と，シルエット画像の作成手段１２と，エッジ検出画像の作成手段１３と，頭部候補位置の抽出手段１４と，特徴量データベース２１で構成される。

画像の取得手段１１は，撮影された画像データを取得する手段であり，例えばデジタルカメラやビデオカメラ等の画像センサーなどで構成されている。

シルエット画像の作成手段１２は，前記取得された画像データから人物の写っている領域のみを抽出した画像，すなわちシルエット画像を作成し，特徴量データベース２１に記憶する。

エッジ検出画像の作成手段１３は，前記取得された画像データから画像水平方向と垂直方向のエッジを検出し，各々の検出値を画像とするエッジ検出画像を作成し，特徴量データベース２１に記憶する。

頭部候補位置の抽出手段１４は，特徴量データベース２１に記憶されたシルエット画像とエッジ検出画像を用いて，入力画像上の頭部候補位置に関する確率分布を作成し，この確率分布に従って，複数の頭部候補位置を抽出する。

特徴量データベース２１は，シルエット画像の作成手段１２で作成したシルエット画像とエッジ検出画像の作成手段１３で作成したエッジ検出画像を記憶する。

次に本発明の実施形態の一例を詳細に説明する。本発明の目的は，画像に写った人物の頭部候補となる位置を頭部候補位置に関する確率分布に従って１又は複数抽出することである。

本実施形態では，図２のように複数の人物をカメラ等で撮影し，画像上で人物が垂直方向に立っているように写る例で説明する。

図３は本実施形態の図１の動作を示すフローチャートの一例である。処理が開始されると，画像の取得手段１１により，カメラより撮影された画像データ（Ｉｍ）を取得する（ステップＳ３０１）。

次にシルエット画像の作成手段１２により，前記カメラから取得した画像データ（Ｉｍ）に対し，シルエット画像（Ｓｉｌ）を作成し，特徴量データベース２１に記憶する（ステップＳ３０２）。シルエット画像とは図４のように撮影した画像の対象が写っている領域の輝度値が１，他の領域が０である２値画像のことで，４０１は入力画像，４０２は作成されたシルエット画像の一例である。このような画像は背景差分法やフレーム間差分法などのよく知られた方法を利用することで簡単に生成することができる。

次にエッジ検出画像の作成手段１３により，前記カメラから取得した画像データ（Ｉｍ）に対し，エッジ検出画像（Ｅｖ，Ｅｈ）を作成し特徴量データベース２１に記憶する（ステップＳ３０３）。エッジ検出画像とは図５のように撮影した画像中で，隣接画素の輝度値が大きく変動している部分を検出した画像であり，入力画像を５０１として，垂直方向のエッジを検出した画像Ｅｖ（５０２），水平方向のエッジを検出した画像Ｅｈ（５０３）などがよく知られたＳｏｂｅｌ演算子などを用いることで簡単に生成することができる。

次に頭部候補位置の抽出手段１４により、特徴量データベース２１に記憶されたシルエット画像（Ｓｉｌ），エッジ検出画像（Ｅｖ，Ｅｈ）を用いて頭部候補位置の確率分布を作成し，この確率分布に従って，１又は複数の頭部候補位置の抽出を行う（ステップＳ３０４）。次にこのステップＳ３０４の頭部候補位置の抽出処理の詳細を図６を用いて説明する。

頭部候補位置の抽出は所望の個数を頭部候補位置の確率分布に従って抽出する．ここではこの個数をＫ個とするとＫ回の反復計算によって抽出が行われることになる。

まずｎ＝１として処理が開始される。ステップＳ４０１では水平方向確率分布を生成する．これは画像中の水平方向においてどの位置（ｘとする）に頭部があるかを示す確率である。

図７に示すように人物は画像上で垂直方向に立っているように撮影されているため，ある位置ｘにおいて垂直方向に対象だけが写っているシルエット画像（Ｓｉｌ）を足し合わせると人物の頭部が存在する位置においてこの値Ｖが高くなる。ある位置ｘにおける足し合わせ量Ｖ（ｘ）は以下の式（１）で表され，これを画像上の全てのｘにおいて計算する。

ただし，Ｓｉｌ（ｘ，ｙ）はシルエット画像のｘ行ｙ列成分，Ｙは画像の垂直方向サイズを示す。

最後にこのＶ（ｘ）を水平方向の頭部位置確率分布とするために，画像上の全てのｘのＶ（ｘ）の総和が１．０となるように正規化を行う。以上がステップＳ４０１の処理である。

次にステップＳ４０２では，ステップＳ４０１で生成された水平方向の頭部位置確率分布Ｖ（ｘ）に従った位置ｘを抽出する。これは例えば次のようにして実現可能である。０．０〜１．０の間の一様乱数を利用して，値ｖａｌを得る。次にＶ（ｘ）をｘ＝０から順に値ｓｕｍに足し合わせていき，初めてｓｕｍ≧ｖａｌとなったときのｘを抽出することで実現可能である。

次にステップＳ４０３では垂直方向の頭部位置確率分布を生成する。この確率分布はステップＳ４０２で抽出された水平位置ｘにおける垂直方向の頭部位置確率分布として生成する。

人物の頭部形状は円又は楕円体で良く近似できることがよく知られている。例えば図８に示すように円で頭部モデルを定義して，半径ｒ，中心（ｘ，ｙ）の円で近似した頭部モデル上におけるエッジ検出画像（Ｅｖ，Ｅｈ）の値を足し合わせて平均を取った値をＷ（ｙ）とすると，人物頭部付近で大きくなる．Ｗ（ｙ）の計算は以下の式（２）で計算する。

ただし，ｉは頭部モデル上の位置を角度で表し，ｎ（ｉ）は頭部モデルの法線ベクトルで，ｎ（ｉ）＝（ｃｏｓ（ｉ），ｓｉｎ（ｉ）），ｇ（ｘ，ｙ）＝（Ｅｈ（ｘ，ｙ），Ｅｖ（ｘ，ｙ））で位置（ｘ，ｙ）におけるエッジ検出画像の値を要素とするベクトルである。

なお、カメラを校正しておくと人物の頭がどのくらいの大きさで画像上に写るかを把握できるため、これを用いて実験的に半径ｒを設定することができる。

画像上の全てのｙでＷ（ｙ）を計算し，最後にこれを位置ｘにおける垂直方向の頭部位置確率分布となるようにＷ（ｙ）の総和が１．０となるように正規化を行う。以上が，ステップＳ４０３の処理である。

次にステップＳ４０４では，ステップＳ４０３で生成された垂直方向の頭部位置確率分布Ｗ（ｙ）に従って位置ｙを抽出する。これはステップＳ４０２と同様の方法で抽出することが可能である。

次にステップＳ４０５では頭部位置候補の抽出が規定の回数行われたかの判断が行われる．抽出回数ｎが任意に決定できる定数Ｋ回を超えていれば処理を終了する。

以上，述べた処理により，人物の写った入力画像より，１又は複数の人物頭部位置の候補を抽出することが可能である。

本実施形態では，ステップＳ４０３の処理において，一例として人物頭部モデルに円を用い，式（２）によりＷ（ｙ）を計算したが，人物頭部モデルに楕円体を用いることも可能なことは明白である．また，式（２）において，０〜３６０度までの和を取っているが，この値を自由に変えることができることも明白である。

なお図１で示した頭部候補抽出装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し，そのプログラムをコンピュータを用いて実行して本発明を実現することができること，図３，図６で示した頭部候補抽出方法の処理の手順をコンピュータのプログラムで構成し，そのプログラムをコンピュータに実行させることができることは言うまでもなく，コンピュータでその機能を実現するためのプログラムを，そのコンピュータが読み取り可能な記録媒体，例えばＦＤや，ＭＯ，ＲＯＭ，メモリカード，ＣＤ，ＤＶＤ，リムーバブルディスクなどに記録して，保存したり，配布したりすることが可能である。また，上記のプログラムをインターネットや電子メールなど，ネットワークを通して提供することも可能である。

＜実施例＞
以下に，上述の頭部候補抽出装置を用いて，カメラから得られた画像を処理して，追跡範囲に侵入してくる人物の頭部候補を抽出した結果を図３に示した処理フローを用いて述べる。まず処理が開始されると，カメラ画像の取得を行い（ステップＳ３０１），シルエット画像の作成（ステップＳ３０２），エッジ検出画像の作成（ステップＳ３０３）を行う．図９にカメラから取得した入力画像（９０１），背景差分法を用いて作成したシルエット画像（９０２），Ｓｏｂｅｌ演算子を用いて作成した垂直エッジ検出画像（９０３），水平エッジ画像（９０４）を示す。

次にステップＳ３０４にて頭部候補の抽出を行う。これを図６の処理フローに従って説明する。まずステップＳ４０１で水平方向の頭部位置確率分布を生成する。図１０に生成した頭部位置確率分布（１００１）を示す。図１０によれば、人物の存在する領域において頭部位置の確率が高くなっていることが分かる。この確率分布に従って頭部位置のｘ座標を抽出し（ステップＳ４０２），このｘ座標における垂直方向の頭部位置の確率分布を生成する（ステップＳ４０３）。図１１に垂直方向の頭部位置確率分布（１１０１）を示す。図１１によれば、画像上の頭部の位置で極大となっていることが分かる。この確率分布に従って頭部位置のｙ座標を抽出する（ステップＳ４０４）。以上，抽出された（ｘ，ｙ）を頭部位置候補とする。ステップＳ４０５では抽出された頭部位置候補が任意に指定できるＫ個を超えていれば処理を終了し，そうでなければステップＳ４０２のｘ座標抽出に戻って頭部位置候補を再度抽出する。

図１２に実際に頭部位置候補として抽出された点を入力画像に重ね合わせて表示した画像（１２０１）を示す。図１２によれば、人物の頭部位置付近に多くの点が頭部位置候補として抽出されていることが分かる。

本発明の頭部候補抽出装置の一実施形態の構成を示すブロック図である。 本発明の頭部候補抽出装置の一実施形態における画像データ取得の様子を示す説明図である。 本発明の頭部候補抽出方法の一実施形態例における処理手順を示すフローチャートである。 本発明の一実施形態例における入力画像に対応するシルエット画像を示す説明図である。 本発明の一実施形態例における入力画像に対応するエッジ検出画像を示す説明図である。 本発明の一実施形態例における頭部候補位置の抽出（ステップＳ３０４）の処理手順を示すフローチャートである。 本発明の一実施形態例におけるシルエット画像から水平方向に存在する頭部位置の確率分布を生成する方法を表す説明図である。 本発明の一実施形態例におけるエッジ検出画像から垂直方向に存在する頭部位置の確率分布を生成する方法を表す説明図である。 本発明の実施例におけるカメラからの画像，作成したシルエット画像，エッジ検出画像を示した説明図である。 本発明の一実施形態例におけるシルエット画像から計算した水平方向の頭部位置の確率分布を示した説明図である。 本発明の一実施形態例におけるエッジ検出画像から計算した垂直方向の頭部位置の確率分布を示した説明図である。 本発明の一実施形態例における頭部位置候補として検出された点を入力画像に重ね合わせて表示した説明図である。

符号の説明

１１…画像の取得手段、１２…シルエット画像の作成手段、１３…エッジ検出画像の作成手段、１４…頭部候補位置の抽出手段、２１…特徴量データベース、９０１…カメラ画像、９０２…シルエット画像、９０３〜９０４…エッジ検出画像、１００１…水平方向の頭部位置確率分布、１１０１…垂直方向の頭部位置確率分布、１２０１…頭部位置候補抽出結果。

Claims (5)

1. 画像入力装置を用いて画像上に写る頭部位置を１又は複数抽出する方法であって、
   画像の取得手段が、前記画像入力装置より、画像を取得する画像の取得ステップと、
   シルエット画像の作成手段が、前記画像の取得ステップによって取得された画像から人物が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成ステップと、
   エッジ検出画像の作成手段が、前記画像の取得ステップによって取得された画像からエッジを抽出した画像であるエッジ検出画像を作成するエッジ検出画像の作成ステップと、
   頭部候補位置の抽出手段が、前記作成されたシルエット画像とエッジ検出画像を用いて頭部候補位置を抽出する頭部候補位置の抽出ステップとを備えたことを特徴とする頭部候補抽出方法。
2. 請求項１において、前記頭部候補位置の抽出ステップは、
   前記作成されたシルエット画像の解析により画像水平方向の頭部位置確率分布を生成するステップと、
   前記生成された画像水平方向の頭部位置確率分布に従って頭部位置候補の画像水平成分を抽出するステップと、
   前記抽出された頭部位置候補の画像水平成分において、エッジ検出画像を頭部モデルを用いて解析し、画像垂直方向の頭部位置確率分布を生成するステップと、
   前記生成された画像垂直方向の頭部位置確率分布に従って頭部位置候補の画像垂直成分を抽出するステップとを備えたことを特徴とする頭部候補抽出方法。
3. 画像入力装置を用いて画像上に写る頭部位置を１又は複数抽出する装置であって、
   前記画像入力装置より、画像を取得する画像の取得手段と、
   前記画像の取得手段によって取得された画像から人物が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成手段と、
   前記画像の取得手段によって取得された画像からエッジを抽出した画像であるエッジ検出画像を作成するエッジ検出画像の作成手段と、
   前記作成されたシルエット画像とエッジ検出画像を用いて頭部候補位置を抽出する頭部候補位置の抽出手段とを備え、
   前記頭部候補位置の抽出手段は、シルエット画像の解析により画像水平方向の頭部位置確率分布を生成し、前記生成された画像水平方向の頭部位置確率分布に従って頭部位置候補の画像水平成分を抽出し、前記抽出された頭部位置候補の画像水平成分において、エッジ検出画像を頭部モデルを用いて解析し、画像垂直方向の頭部位置確率分布を生成し、前記生成された画像垂直方向の頭部位置確率分布に従って頭部位置候補の画像垂直成分を抽出することを特徴とする頭部候補抽出装置。
4. コンピュータに請求項１又は２に記載の各ステップを実行させるための頭部候補抽出プログラム。
5. コンピュータに請求項１又は２に記載の各ステップを実行させるための頭部候補抽出プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images