JP2012128692A - 映像処理装置、映像処理方法及びプログラム - Google Patents

Abstract

【課題】 本発明は映像中から所望の物体を効率的に検出することを目的とする。
【解決手段】 映像から物体を検知する検知部と、検知した物体が移動する移動方向を判定する判定部と、検知した物体が特定の物体であるかの検出を行うための検出処理を前記判定部が判定した前記物体の移動方向に応じて切り替える検出部とを有する。
【選択図】 図７

Description

本発明は、映像中の物体を検出する映像処理装置、映像処理方法およびプログラムに関する。

従来、カメラの映像から顔や人体など特定の対象を検出する場合、パターンマッチング処理により対象の検出を行っていた。例えば、従来例では、画像の大きさを変更しながら照合パターンを画像全域に用いて複数の局所パターンを抽出し、それぞれの局所特徴量を算出する。そして、局所特徴量に重み付けを行った結果の総和から人体であるかを判定する（例えば、特許文献１）。また、従来例として、カメラ本体の姿勢に応じて、顔検出処理の処理方法を変更することが知られている（例えば、特許文献２）。さらに従来例として、テンプレートマッチングを用い物体の追尾を行うことが知られている（例えば、特許文献３）。

特開２００９−２１１３１１号公報 特開２０１０−０８８０９３号公報 特開２００２−３７３３３２号公報

しかしながら、例えば監視カメラの映像では被写体はあらゆる方向へと移動し、被写体の顔や人体としての特徴が検出しやすい方向に映るとは限らない。この環境で、被写体の映り方によらず特定の照合パターンを使用した人体検出では、検出精度良く人体を検出できるとは限らない。また、カメラ本体の姿勢に応じて、顔検出処理の処理方法を変更しても、精度よく顔領域を検出できるとは限らない。

本発明は上述した問題を解決するためになされたものであり、被写体の角度や大きさによらず効率的に対象の検出を可能とする映像処理装置および映像処理方法を提供することを目的とする。

上記目的を達成するために本発明は、映像から物体を検知する検知手段と、前記検知手段が検知した物体が移動する移動方向を判定する判定手段と、前記検知手段が検知した物体が特定の物体であるかの検出を行うための検出処理を前記判定手段が判定した前記物体の移動方向に応じて切り替える検出手段とを有する。

以上の構成からなる本発明によれば、被写体の移動方向に応じて効率的に対象の検出が可能である。

実施例１の映像処理装置の構成例を示す図。 照合パターンの例を示す図。 物体の移動方向について説明するための図。 物体の移動方向角について説明するための図。 照合パターンテーブルを示す図。 実施例１の映像処理装置の処理フローチャート図。 照合パターン決定処理を説明するためのフローチャート図。

以下、添付の図面を参照して、本発明をその好適な実施例に基づいて詳細に説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施例１＞
本実施例の映像処理装置の構成について図１を用いて説明する。図１に示した各構成要素は、物理的に独立なハードウェアとして構成してもよいし、同等の機能を有するソフトウェアの１つ以上のインスタンスとして構成してもよい。

取得部１０１は、処理対象のカメラが撮像した画像を時系列順に取得する。取得部１０１はサーバや外部メモリなどに保存された画像を取得することとしてもよい。

検知部１０２は、取得部１０１が取得した画像から物体を検知する。検知部１０２は複数の物体を検知することが可能である。検知部１０２が検知する物体の情報は、当該物体の画面上における位置と当該物体に外接する矩形と当該物体のサイズとを含む。物体の検知方法として例えば背景差分法を用いることができる。検出方法は背景差分法に限られず、上述の情報を取得できる方法であればよい。

追尾部１０３は、取得部１０１が取得した過去の画像から検知部１０２が検知した物体と、取得部１０１が取得した現在の画像から検知部１０２が検知した物体とを対応付ける。対応付けは、現在の画像から検知した物体に、過去の画像から検知した物体に付与したオブジェクトＩＤを付与することによって行うことができる。また、新規に出現した物体には、新規にオブジェクトＩＤを付与する。

決定部１０４は、検知部１０２が検出した物体の大きさと追尾部１０３の追尾結果に基づいて、後述の人体検出処理で使用する照合パターンを決定する。照合パターンの例を図２に示す。図２（ａ）は正面向きの人体を検出するための照合パターンの例である。照合パターン２０１は、例えば３０×８０画素からなる輝度のパターンであり、その一部である内部の矩形は局所パターンである。局所パターン２０２は頭頂部の水平方向のエッジ強度を抽出するためのパターンである。局所パターン２０３、局所パターン２０４は肩線のエッジ強度を抽出するためのパターンである。局所パターン２０５、局所パターン２０６は腕の垂直方向のエッジ強度を抽出するパターンであり、局所パターン２０７、局所パターン２０８は脚の垂直方向のエッジを抽出するパターンである。上述の局所パターンは一例であり、図２（ａ）に示した４か所に限定されるものではない。次に横向きの人体を検出するための照合パターンの例を図２（ｂ）に示す。図２（ｂ）に示した照合パターンでは前向きの照合パターンと局所パターンの位置や大きさ、後述の局所特徴量の算出方法等が異なる。照合パターンは正面向きと横向きに限定されるものではなく、斜めや上など他の角度からのものでもよい。また、全身に限定されるものではなく、上半身や顔や足元に限定した照合パターンであってもよい。更には、照合パターンは人体のみに限定されず、人体以外の検出を行う場合には、車、電車、飛行機など特定の対象を検出するために作成されたものを用いてもよい。

次に、決定部１０４が人体検出処理で使用する照合パターンを決定する決定方法について図３乃至図５を用いて説明する。

図３は、ｎフレーム目での物体の移動方向を示す例である。オブジェクトＩＤ１２の物体は、（ｎ−１）フレーム目の位置４０１からｎフレーム目の位置４０２に移動したため、オブジェクトＩＤ１２の移動は位置ベクトル４０３として表現できる。また、オブジェクトＩＤ６の物体は、（ｎ−１）フレーム目の位置４０４からｎフレーム目の位置４０５に移動したため、オブジェクトＩＤ６の移動は位置ベクトル４０６として表現できる。このようにして決定部１０４は、検知部１０２が検知した物体が移動する移動方向を判定する。

図４は、物体の移動方向角を示す例である。本実施例では、右方向をｘ軸正の向き、下方向をｙ軸正の向きとする。位置ベクトル５０１の移動方向角５０２αは、ｙ軸正の向きを０°として設定する。決定部１０４は、移動方向角αに応じて、人体検出処理に使用する照合パターンを決定する。決定部１０４は、移動方向角αが０°以上４５°未満、１３５°以上２２５°未満または、３１５°以上３６０°未満の場合は、検出処理に用いる照合パターンを正面向き照合パターンに決定する。また、決定部１０４は、移動方向角αが４５°以上１３５°未満もしくは、２２５°以上３１５°未満の場合は、検出処理に用いる照合パターンを横向き照合パターンに決定する。このようにして、決定部１０４は、検知部１０２が検知した物体が上下方向に移動する場合には、検出処理に用いる照合パターンを正面向き照合パターンに決定することができる。また、決定部１０４は、検知部１０２が検知した物体が左右方向に移動する場合には、検出処理に用いる照合パターンを横向き照合パターンに決定することができる。従って、決定部１０４は検知した物体の動きに応じて、検出処理に用いる照合パターンを適切に決定することができる。移動方向角αの角度の場合分けに用いる角度範囲は上記の例に限られず適宜設定することができる。また、決定部１０４は、移動方向角αが所定の角度又は所定の角度範囲内の角度である場合は、検出処理を行わないように決定するようにしてもよい。また、本実施例では、２フレーム間での位置ベクトルから移動方向角を決定することとしたが、複数フレーム間の位置ベクトルの内積から移動方向角を決定してもよい。また、検知部１０２において動きベクトルにより物体を検知する場合、動きベクトルから物体の移動方向を決定してもよい。

決定部１０４が、人体検出に使用する照合パターンを決定した結果の例を図５に示す。図５に示した情報は不図示の記憶部に保持される。記憶部に保持される内容は図５に示した情報に限られず、検知部１０２が検知した物体と照合パターンの対応関係がわかるものであればよい。また、検知部１０２が検知した物体と照合パターンの関係は必ずしも１対１で対応する必要はなく、１対多の対応でもよい。特定の移動方向角５０２に対して複数の照合パターンを対応させることにより、検知部１０２が検知した物体と複数の照合パターンを対応させることができる。

検出部１０５は、決定部１０４が決定した照合パターンを使用して、検知部１０２が検知した領域に人体検出処理を実施する。検出部１０５は、決定部１０４が決定した照合パターンの局所パターンにより、検知部１０２が検知した各所のエッジ強度を抽出する。そして、決定部１０４は抽出したエッジ強度と局所パターンに設定された所定方向のエッジとの内積演算を行うことで、局所特徴量ｕを求める。次に検出部１０５は夫々の局所特徴量に重みｗを付けた総和を求め、所定閾値ｔｈと比較することで人体の検出を行う。また、局所特徴量の算出方法は内積演算に限定されるものではなく、所定の線形判定分析など他の手法を用いてもよい。

本実施例においては検出対象を人体としているが、検出対象は人体に限定されない。例えば、自動車、動物等を検出対象としてもよい。更に検出部１０５は、複数種類の特定物体を検出することとしてもよい。検出部１０５が画像から特定の物体を検出する方法はパターンマッチング処理に限定されない。例えば、物体のアスペクト比やサイズや形状によって人体と推定する方法でもよい。人体検出を行う場合、人が横方向に移動するときには顔などの特徴的な部分が撮影されないため、パターンマッチングでは人体の検出を行う精度が低くなる。そこで、検知した物体が縦方向に移動するときにはパターンマッチングを用いて検出を行い、物体が横方向に移動する場合は、物体のアスペクト比やサイズや形状を用いて検出を行うようにしてもよい。こうして、検出部１０５は、検知部１０２が検知した物体の移動方向から予想される被写体の向きに応じて被写体を検出できる可能性が高い照合パターンを使用して検出処理を行うことができる。また、決定部１０４が物体の映像処理を行わないことを決定している場合には、検出部１０５は検出を行わないようにすることができる。この場合、所定の移動方向角αの方向あるいは所定の移動方向範囲の方向に移動する物体を検出対象から排除して検出処理を行うことができる。このように、検出部１０５は検知部１０２が検知した物体が特定の物体であるかの検出を行うための検出処理を決定部１０４が判定した物体の移動方向に応じて切り替える。あるいは、検出部１０５は物体が所定の移動方向に移動する場合には検出処理を行わないようにすることができる。従って、映像から所望の被写体を検出する確率を向上させることができる。

さらに本実施例では、移動方向角に応じて照合パターンを変更する場合について説明したが、移動方向に応じて局所特徴量の算出方法を変更することとしてもよい。例えば、移動方向に応じて局所特徴量に加味する重みを変更することとしてもよい。映像から人間の画像を検出する際、検知した物体が縦方向に移動している場合、その物体が人間であれば人間の正面の画像が撮影されていると考えられるため、顔や肩等、上半身の局所特徴量に加味する重みを大きくする。一方、検知した物体が横方向に移動している場合、その物体が人間であれば人間の横向きの画像が撮影されていると考えられるため、足元等、下半身の局所特徴量に加味する重みを大きくすることができる。こうして、物体の向きに応じて人間の画像を検出するためにより好ましいパターンを生成することができる。従って、所望の被写体を検出する確率を向上させることができる。

打切部１０６は、検出部１０５による人体検出処理の打切りを処理経過時間に従って決定する。打切りを決定するための経過時間閾値は、ユーザ等からの指示に従いあらかじめ設定された値である。検出処理打切りの決定は、処理を開始してからの経過時間に基づいて行われるものに限定されない。検出処理打切りの決定は、検出部１０５が検出した人体の数、検出部１０５が人体検出処理を実行した回数などから決定してもよい。出力部１０７は、検知部１０２の検知結果、追尾部１０３の追尾状況、および検出部１０５の検出結果を外部に出力する。

本実施例に係る映像処理装置の動作を図６のフローチャートに示す。映像処理装置がプロセッサ及びメモリを内蔵する形態では、図６の処理フローは、図６に示される手順をこのプロセッサに実行させるためのプログラムを示す。この映像処理装置が内蔵するプロセッサは、コンピュータであり、映像処理装置が内蔵するメモリから読み出したプログラムを実行する。映像処理装置が内蔵するメモリは、このプロセッサが読み出すことができるようにこのプログラムを記録した記録媒体である。

はじめに、取得部１０１は画像の取得を継続するか終了するかを決定する（ｆ１）。ステップｆ１の決定は、不図示の入力部から入力されたユーザの指示に基づいて行うことができる。あるいは、所望の物体を検出した時点で画像の取得を終了することとしてもよい。ステップｆ１における決定の方法はこれらに限られない。検知処理を継続する場合、取得部１０１が外部から画像を取得する（ｆ２）。次に、取得部１０１が取得した画像について検知部１０２が物体を検知する検知処理を行う（ｆ３）。物体の検知方法として例えば背景差分法やフレーム間差分法を用いることができる。物体を検知する方法は特に限定せず、従来の検知方法を用いることができる。続いて、検知部１０２は検知処理結果の判定を行う（ｆ４）。検知部１０２が物体を検知していない場合（ｆ４でｎｏの場合）、ｆ１に戻る。検知部１０２が物体を検知した場合（ｆ４でｙｅｓの場合）、追尾部１０３が物体の追尾処理を行う（ｆ５）。追尾部１０３は、取得部１０１が取得した複数の画像間において、検知部１０２が検知した物体の対応付けを行う。そして、決定部１０４が検出処理に使用する照合パターンを決定する（ｆ６）。決定部１０４は検出処理に使用する照合パターンを検知した物体の移動方向に応じて切り替える。あるいは、決定部１０４は検知した物体の移動方向に応じて照合パターンの局所特徴量の重み付けを変える。ステップｆ６の動作については図７を用いて詳細を後述する。次に、打切部１０６が処理を継続するか終了するかを決定する（ｆ７）。例えば、打切部１０６は、検知部１０２が画面内に複数の物体を検知した場合、１つ目の物体について検出処理を行った後、２つ目の物体について検出処理を行うか否かについて決定する。打切部１０６は、検出部１０５が検出した人体の数、検出部１０５が人体検出処理を実行した回数などによって検出処理を継続するか否かを決定することができる。あるいは、打切部１０６はステップｆ７の決定を不図示の入力部から入力されたユーザの指示に基づいて行うことができる。または打切部１０６は、検出部１０５が所望の物体を検出した時点で検出処理を終了することとしてもよい。ステップｆ７の決定はこれらに限定されない。検出処理を継続する場合（ｆ７でｙｅｓの場合）、決定された照合パターンを用いて検出部１０５が人体検出処理を行う（ｆ８）。検出処理を打切る場合（ｆ７でｎｏの場合）、ｆ１に戻る。

次に、本実施例におけるｆ６の照合パターン決定動作について詳細を図７のフローチャートを用いて説明する。決定部１０４は、まず、検知部１０２が検知した物体の移動方向角を判定する（ｆ１０）。次に、決定部１０４は、移動方向角５０２が所定の角度の範囲内であるか判定する（ｆ１１）。本実施例では図４に示した角度αが０°以上４５°未満、１３５°以上２２５°未満、又は、３１５°以上３６０°未満の角度の範囲のいずれかであるか判定する。移動方向角５０２が所定の角度の範囲内である場合（ｆ１１でｙｅｓの場合）、決定部１０４は、検出処理に用いる照合パターンを正面向き照合パターンに決定する（ｆ１３）。移動方向角５０２が所定の角度の範囲外である場合（ｆ１１でｎｏの場合）、決定部１０４は検出処理に用いる照合パターンを横向き照合パターンに決定する（ｆ１４）。ステップｆ１１の判断結果に応じて、検出処理に用いるパターンの局所特徴量の重みづけを変更することとしてもよい。例えば、移動方向角５０２が所定の角度の範囲内である場合には上半身の局所特徴量の重みを大きくし、移動方向角５０２が所定の角度の範囲外である場合には下半身の局所特徴量の重みを大きくすることとしてもよい。上記で用いた角度範囲は一例でありこれに限られない。さらに、本実施例はステップｆ１１において２つの場合に場合分けしたが、３つ以上の場合分けを行い、それぞれの場合について異なる検出方法を実行することとしてもよい。そして、決定部１０４は決定した照合パターンを図５に示すように照合パターンの決定を行った物体と対応付けて不図示の記憶部に記憶させる（ｆ１５）。

以上の構成により、本実施例に係る映像処理装置は、映像中の物体の動きに応じてより適切な照合パターンを用いて所望の物体の検出を実施することができる。従って、映像から特定の物体を検出する検出処理の効率が向上する。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 検知部
１０４ 決定部
１０５ 検出部

Claims (5)

1. 映像から物体を検知する検知手段と、
   前記検知手段が検知した物体が移動する移動方向を判定する判定手段と、
   前記検知手段が検知した物体が特定の物体であるかの検出を行うための検出処理を前記判定手段が判定した前記物体の移動方向に応じて切り替える検出手段とを有することを特徴とする映像処理装置。
2. 前記検出手段は、前記検出処理において前記検知手段が検知した物体と照合するための照合パターンを前記物体の移動方向に応じて切り替えることを特徴とする請求項１に記載の映像処理装置。
3. 前記検出手段は、前記物体が所定の方向に移動する場合に前記検出処理を行わないことを特徴とする請求項１に記載の映像処理装置。
4. 検知手段が、映像から物体を検知する検知ステップと、
   判定手段が、前記検知ステップにおいて検知した物体が移動する移動方向を判定する判定ステップと、
   検出手段が、前記検知ステップにおいて検知した物体が特定の物体であるかの検出を行うための検出処理を前記判定ステップにおいて判定した前記物体の移動方向に応じて切り替える検出ステップとを有することを特徴とする映像処理方法。
5. コンピュータに、
   映像から物体を検知する検知手順と、
   前記検知手順において検知した物体が移動する移動方向を判定する判定手順と、
   前記検知手順において検知した物体が特定の物体であるかの検出を行うための検出処理を前記判定手順において判定した前記物体の移動方向に応じて切り替える検出手順とを実行させるためのプログラム。

Images