JP2015142181A - 制御装置、制御方法 - Google Patents

Abstract

【課題】ズーム倍率が変化すると適切な映像の認識処理が行なえない恐れがあった。
【解決手段】制御装置のパラメータ制御部は、撮像部の撮像により得られた画像データに対する認識処理のためのパラメータを取得しステップＳ８０１、取得されたパラメータを、撮像部のズーム倍率の変化に応じて変更するステップＳ８０３を備える。
【選択図】図８

Description

本発明は、制御装置、制御装置の制御方法、およびプログラムに関する。

監視システムやモニタリングカメラシステムにおいて、映像認識処理を利用して、映像中の移動物体を検出する技術がある。さらに、検出した移動体を常に捉えるように認識する技術が移動体追尾技術として知られている。

また、特許文献１には、予め設定された最小検知サイズよりも大きい物体を映像認識によって検出することが記載されている。

特開２０１２−２４２９７０号公報

しかしながら、ズーム倍率が変化すると適切な映像の認識処理が行なえない恐れがあった。

例えば、認識処理によって検出すべき物体の最大サイズと最小サイズを設定したあとに、ズーム倍率が変化した場合、ズーム倍率が変化していなければ検出されたはずの物体が検出されなくなる恐れがあった。また例えば、検出すべき物体の最大サイズと最小サイズを設定したあとに、ズーム倍率が変化した場合、ズーム倍率が変化していなければ検出されなかったはずの物体が検出されてしまう恐れがあった。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ズーム倍率の変更の機能を備える撮像部による撮像映像に対する認識処理をより好適にできるようにすることである。

上記の目的を達成するために、本発明の制御装置は、例えば、以下の構成を有する。すなわち、本発明の制御装置は、撮像手段の撮像により得られた画像データに対する認識処理のためのパラメータを取得する取得手段と、前記取得手段により取得された前記パラメータを、前記撮像手段のズーム倍率の変化に応じて変更する制御手段とを有する。

本発明によれば、ズーム倍率の変更の機能を備える撮像部による撮像映像に対する認識処理がより好適に行えるようになる。

映像処理システムの構成図。 制御装置２００の構成例を示すブロック図。 軌跡管理部２０７により管理される情報の構成例を示す図。 オブジェクトと人体の対応付けの例を示す図。 人体検出処理サイズの設定処理を行う画面の一例を示す図。 映像の認識処理のためのパラメータの構成例を示す図。 制御装置２００の処理手順を示すフローチャート。 パラメータ制御の処理手順を示すフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の１つである。

図１は映像処理システムの構成図であり、１０１、１０８は光学ズーム機構を備えたカメラである。１０２はＬＡＮ等のネットワークである。１０４、１０６はＰＣ（パーソナルコンピュータ）である。１０５、１０７はカメラ１０１、１０８からの画像データに基づく画像や、ＰＣ１０４、ＰＣ１０６の処理結果を表示するためのディスプレイである。また、ディスプレイ１０５、１０７は、本実施形態に係る映像の認識処理の設定を行うためのユーザインタフェースを提供することも可能である。

図２を参照して、第１実施形態に係る制御装置２００の構成例を説明する。本実施形態では、制御装置２００がカメラ（図１のカメラ１０１又はカメラ１０８）に組み込まれているものとして説明する。しかし、制御装置２００の機能は、例えばＰＣ（パーソナルコンピュータ）（図１のＰＣ１０４、１０６に対応）で実現されてもよいし、動画像を撮像可能なカメラ内に搭載される画像処理回路で実現されてもよいし、それ以外の機器で実現されていてもよい。制御装置２００は、映像の認識処理（例えば、人体検出）を行うためのパラメータの設定画面が表示装置２１０の表示画面に表示させると共に、パラメータ設定画面に対するユーザ指示に応じたパラメータの設定を行う機能を有する。なお、本実施形態において図２の表示装置２１０は、図１のディスプレイ１０５、１０７に対応する。

制御装置２００は、画像取得部２０１と、物体検出部２０２と、物体追尾部２０３と、人体検出部２０４と、パラメータ設定部２０５と、物体対応付部２０６と、軌跡管理部２０７と、軌跡情報判定部２０８と、外部出力部２０９とを備える。また、制御装置２００は、カメラのズーム機構を制御するためのズーム制御部２１１と、ズーム倍率（ズーム値）に応じてパラメータを制御するパラメータ制御部２１２を備える。また制御装置２００は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶画面などにより構成される表示装置２１０と接続されている。表示装置２１０は、制御装置２００による処理結果を画像や文字などにより表示する。以下、表示装置２１０の表示画面に動画像を表示する場合を中心に説明する。

画像取得部２０１は、内部撮像センサまたは外部から供給された動画像若しくは静止画像を取得し、取得した動画像若しくは静止画像を物体検出部２０２に送出する。

画像取得部２０１は、動画像を取得した場合は、該動画像を構成する各フレームの画像を順次、物体検出部２０２に送出し、静止画像を取得した場合は、この静止画像を物体検出部２０２に送出する。なお、動画像若しくは静止画像の供給元については特に限定するものではなく、有線若しくは無線を介して動画像若しくは静止画像を供給するサーバ装置や撮像装置であってもよい。また、外部に限るものではなく、制御装置内のメモリから動画像若しくは静止画像を取得するようにしてもよい。以下の説明では、画像取得部２０１が動画像を取得した場合であっても静止画像を取得した場合であっても、物体検出部２０２に対し、ある１枚の画像が入力された場合について説明する。前者の場合は、この１枚の画像が動画像を構成する各フレームに相当し、後者の場合は、この１枚の画像が静止画像に相当する。

物体検出部２０２は、画像取得部２０１から取得したフレーム画像から背景差分法により物体（オブジェクト）を検出する。すなわち、画像取得部２０１は、画像取得部２０１が取得したフレーム画像と所定のフレーム画像（背景画像）との比較により、物体を検出する。そして、物体検出部２０２は、物体の検出に応じて、オブジェクト情報を生成する。オブジェクト情報には、物体の画面上の位置と、外接矩形と、物体のサイズに関する情報が含まれる。物体検出部２０２は、背景差分法により画像から物体を検出する機能を有するが、この方法に限るものではない。

物体追尾部２０３は、複数のフレーム画像に対応するオブジェクト情報に基づいて、複数のフレーム画像のそれぞれから検出された物体を対応づける。物体追尾部２０３は、より具体的には、物体検出部２０２が着目フレームよりも１フレーム前のフレームの画像から検出した物体に対応する物体を、着目フレームの画像から検出した場合、それぞれのフレームにおける物体同士を対応づける。

例えば、物体追尾部２０３が、着目フレームよりも１フレーム前のフレームの画像から物体検出部２０２が検出した物体に対してオブジェクトＩＤ＝Ａを割り当てたとする。そして、物体検出部２０２が着目フレームの画像から、オブジェクトＩＤ＝Ａの物体に対応する物体を検出した場合、物体追尾部２０３は、この物体に対してもオブジェクトＩＤ＝Ａを割り当てる。このように、物体追尾部２０３は、複数フレームに渡って対応する物体が検出された場合には、それぞれの物体に同じオブジェクトＩＤを割り当てる。なお、着目フレームで新規に検出された物体に対しては、新規のオブジェクトＩＤが割り当てられる。

物体追尾部２０３において、異なるフレームの物体が対応するか否かを判定する方法としては、検出物体の移動ベクトルを用いて特定された物体の移動予測位置と、検出された物体の位置が一定距離内であれば同一物体とする方法がある。すなわち、物体追尾部２０３は、フレーム画像から検出された物体の位置と、当該フレーム画像に関する移動ベクトル情報に基づいて特定される物体の位置との距離を特定する。そして、物体追尾部２０３は、特定した距離が閾値未満である場合に、当該物体と、他のフレーム画像の物体との対応づけを行う。

ただし、物体の対応づけの方法は、上記の方法に限らず、例えば、物体の色、形状、大きさ（面積）等を用い、フレーム間で相関の高い物体を関連付ける方法もある。また、移動ベクトルの情報と、物体の色、形状、大きさ等の情報を組み合わせて物体の対応づけを行うようにしてもよい。物体位尾部２０３は、複数フレームに渡って検出された物体を所定の条件に従って対応づけて追尾する処理を行う。例えば、複数フレームにわたって、同じ人物が存在し続けた場合、物体追尾部２０３は、当該人物に対して同じオブジェクトＩＤを割り当てる。物体の対応づけの方法は、特定の方法に限るものではなく同様の処理を行う種々の方法を採用することが可能である。

人体検出部２０４は、後述のパラメータ設定部２０５により設定された物体検出領域のうち、物体検出部２０２が物体を検出した領域に対して人体検出処理を実施することによって人体を検出する。なお、本実施形態の人体検出部２０４は、物体が検出された領域とその周囲を含む領域（人体検出領域）に対して人体検出処理を実施する。例えば、フレーム内の座標（Ｘ，Ｙ）を中心とした、縦１００ピクセル、横２０ピクセルの物体が検出された場合、人体検出部２０４は、当該フレームの座標（Ｘ，Ｙ）を中心とした縦１５０ピクセル、横３０ピクセルの領域に対して、人体検出処理を行う。

また、人体検出部２０４は、パラメータ設定部２０５により設定された人体検出の最大サイズと最小サイズを参照することで、最大サイズと最小サイズの範囲から外れた人体検出処理を省略できる。つまり、人体検出部２０４は、物体の検出によって特定される人体検出領域のうち、最大サイズよりも大きい人体検出領域や、最小サイズよりも小さい人体検出領域に対する人物検出処理を省略可能である。ただし、人体検出部２０４は、人体検出処理を省略せずに、人体の検出処理を行い、検出された人体のサイズが最大サイズよりも大きい場合と、最小サイズよりも小さい場合に、当該検出結果を人体検出処理の処理結果から除外することも可能である。

なお、人体検出部２０４は、人体のパターン画像とフレーム画像のとの比較によって、フレーム画像から人体を検出するが、人体の検出方法は、この方法に限らない。また本実施形態では検出対象を人体としているが、人体に限定されるものではない。検出対象は、人物の顔、自動車、動物などであってもよい。さらに、複数種類の特定物体が検出されるように、人体検出部２０４で同時に複数種類の検出処理を実行することも可能である。すなわち、本実施形態の人体検出部２０４は、認識処理によって、人体に限らず種々の所定の物体を画像データから検出することが可能である。

また、必ずしも物体検出部２０２が物体を検出した領域に基づいて、人体検出領域が決定されるような構成としなくてもよい。例えば、人体検出部２０４は、パラメータ設定部２０５により設定されたパラメータから人体検出領域を特定して人体検出処理を行うようにしてもよい。この場合、物体検出部２０２による物体検出処理を省略することも可能となる場合がある。

パラメータ設定部２０５は、各フレームにおける人体検出処理の検出処理範囲（人体検出領域）や、人体検出の最大サイズと最小サイズ等に関するパラメータの設定を行う。

また、パラメータ設定部２０５は、人体検出の設定だけでなく物体検出部２０２に対しても同様の検出処理に関するパラメータの設定を行うようにしてもよい。例えば、パラメータ設定部２０５は、物体検出部２０２に対するパラメータとして、物体検出領域や、物体検出の最大サイズと最小サイズ等に関するパラメータの設定を行うことも可能である。ただし、本実施形態の説明では、物体検出領域は画像取得部２０１が取得した画像全体であるものとする。一般的に物体検出領域を狭くすると処理速度は高くなる。

物体対応付部２０６は、物体検出部２０２が検出した物体と、人体検出部２０４が検出した人体とを対応付ける。図４（ａ）および（ｂ）を参照して、物体と、人体との対応付けの例を説明する。図４（ａ）は、物体検出部２０２により検出された物体の外接矩形４０１に、人体検出部２０４により検出された人体の外接矩形４０２が内包されない場合の例を示す。なお、本実施形態の物体検出部２０２はフレーム全体に対して物体検出処理を行い、人体検出部２０４は、物体検出部２０２により検出された物体の外接矩形の周辺を含む領域を人体検出領域として人体検出処理を行う。

物体対応付部２０６は、図４（ａ）に示すように物体と人体が検出された場合、物体の外接矩形４０１に対する人体の外接矩形４０２の重畳率が予め設定された閾値を超えた場合に対応付けを行う。すなわち、物体対応付部２０６は、物体の外接矩形４０１と人体の外接矩形４０２とが重畳する重畳領域の面積の、人体の外接矩形４０２の面積に対する割合が閾値を超えた場合に、外接矩形４０１に対応する物体と、外接矩形４０２に対応する人体を対応づける。

一方、図４（ｂ）は、検出した物体の外接矩形４０３から複数の人体が検出された場合の例を示す。この場合、物体対応付部２０６は、物体の外接矩形４０３と人体の外接矩形４０４とが重畳する重畳領域の面積の、人体の外接矩形４０４の面積に対する割合が閾値を超えた場合に、外接矩形４０３に対応する物体と、外接矩形４０４に対応する人体を対応づける。また、物体対応付部２０６は、物体の外接矩形４０３と人体の外接矩形４０５とが重畳する重畳領域の面積の、人体の外接矩形４０５の面積に対する割合が閾値を超えた場合に、外接矩形４０３に対応する物体と、外接矩形４０５に対応する人体を対応づける。物体対応付部２０６は、１つの物体と、複数の人体を対応づける場合がある。また、物体と人体の対応付けの方法については、上記の方法に限らない。

軌跡管理部２０７は、物体検出部２０２および物体追尾部２０３および物体対応付部２０６からオブジェクトに関する情報を取得し、管理情報としてオブジェクトごとに管理する。図３を参照して、軌跡管理部２０７が管理する管理情報３０１の例を説明する。本実施形態の軌跡管理部２０７は、図３に示すように、オブジェクトＩＤごとにオブジェクト情報３０２を管理する。１つのオブジェクトＩＤに対応するオブジェクト情報３０２には、当該オブジェクト情報が生成された日時を示すタイムスタンプが含まれる。また、オブジェクト情報３０２には、当該オブジェクトが検出されたフレーム毎の情報３０３が含まれている。情報３０３には、当該情報が生成された日時を示すタイムスタンプ、検出された物体の座標位置（Ｐｏｓｉｔｉｏｎ）、検出された物体の領域を包含する外接矩形を示す情報（Ｂｏｕｎｄｉｎｇ ｂｏｘ）、物体のサイズ、物体の属性が含まれている。ただし、情報３０３に含まれる情報はこれらに限らず他のまた、ディスプレイ１０５、１０７は、情報を含めてもよい。軌跡管理部２０７が管理する管理情報３０１は、軌跡情報判定部２０８によって使用される。

軌跡管理部２０７は、物体対応付部２０６の対応付け結果に従って、オブジェクトの属性（Ａｔｔｒｉｂｕｔｅ）を更新する。さらに、過去のオブジェクトの属性（Ａｔｔｒｉｂｕｔｅ）も対応付け結果に従って更新するようにしてもよい。また、その後のオブジェクトの属性（Ａｔｔｒｉｂｕｔｅ）も対応付け結果に従って設定するようにしてもよい。このような処理を行うことで、同一のオブジェクトＩＤを有するオブジェクトの追尾結果は、どの時刻においても同一の属性を持つことができる。

軌跡情報判定部２０８は、通過物体検知部としての機能を有しており、パラメータ設定部２０５により設定されたパラメータと、軌跡管理部２０７が管理する管理情報とに従って、検知線に対する物体の通過判定処理を行う。なお、検知線は、例えば、表示装置２１０のパラメータ設定画面でユーザインタフェースを操作することにより、ユーザが設定可能である。本実施形態のパラメータ設定部２０５は、例えばユーザにより設定された線分を特定するための情報を、パラメータとして、軌跡情報判定部２０８に設定することが可能である。

軌跡情報判定部２０８は、着目フレームより１フレーム前のフレームにおける人体属性オブジェクトの外接矩形から、着目フレームにおける人体属性オブジェクトの外接矩形への移動ベクトルが、通過検出のための線分と交差しているか否かを判定する。なお、本実施形態における人体属性オブジェクトとは、物体対応付部２０６により人体と対応づけられた物体である。また、交差しているか否かの判定は、人体属性オブジェクトが、通過検出のための線分を通過したか否かの判定に相当する。軌跡情報判定部２０８による判定結果は、外部出力部２０９を介して外部（例えば表示装置２１０）へ出力されてもよい。また、外部出力部２０９がＣＲＴや液晶画面などにより構成される表示部の機能を有している場合、表示装置２１０に代えて外部出力部２０９を用いて判定結果を表示してもよい。

ここで、本実施形態における軌跡情報判定部２０８は、人体属性オブジェクトが、所定の線分を通過したことを検出する例を説明したが、この例に限らない。例えば、軌跡情報判定部２０８は、所定の領域がパラメータとして設定された場合において、当該領域に人体属性オブジェクトが侵入したことを検出することも可能である。また、軌跡情報判定部２０８は、人体属性オブジェクトの代わりに、動物オブジェクトが侵入したことを検出することも可能である。このほか、軌跡情報判定部２０８は、イベント検出用のパラメータと軌跡情報を用いた種々の検出処理を実行することが可能である。

次に、図５及び図６を参照して、第１実施形態に係る映像の認識処理について説明する。

図５は、人体検出サイズの設定を説明するための図である。図５に示すパラメータ設定画面は、例えば、表示装置２１０で表示される。

図５（ａ）は、人体検出の最大サイズ、最小サイズを設定する画面例を示した図である。

図５（ａ）において、５００は人体検出用のパラメータを設定する設定画面である。画面５００は、画面左上から画面右下に道が伸びていることを示しており、左上（遠方）に人体５０１が、右下（近方）に人体５０２が映っている。設定矩形５０３は、人体検出の最大サイズを設定するためのＵＩ（ユーザインタフェース）である。同様に、設定矩形５０４は、人体検出の最小サイズを設定するためのＵＩである。

本実施形態の人体検出部２０４は、人体のパターン画像とフレーム画像との比較によって、フレーム画像から人体を検出する。より具体的には、人体検出部２０４は、設定矩形５０３及び５０４のサイズに応じて、フレーム画像のサイズを変倍し、変倍されたフレーム画像と、人体のパターン画像とを比較して、人物の検出を行う。例えば、人体検出部２０４は、設定矩形５０３と５０４のサイズに応じて、フレーム画像のサイズが１／２倍された画像と、１／３倍された画像と、１／４倍された画像を生成し、それぞれの画像と人体のパターン画像とを比較することで人体の検出を行う。

上記の場合において、ユーザがズーム倍率を下げるためのユーザ操作を行なった場合、人体検出部２０４は、ズーム倍率を下げる前に検出されていた人物が、ズーム倍率の変更後でも検出されるように、フレーム画像の変倍率を制御する。より具体的には、人体検出部２０４は、例えば、フレーム画像のサイズが１／３倍された画像と、１／４倍された画像と、１／６倍された画像を生成し、それぞれの画像と人体のパターン画像を比較して、人体の検出を行う。

なお、人体の検出方法は上記の方法に限らず、例えば、設定矩形５０３及び５０４のサイズに応じて、人体のパターン画像を変倍し、フレーム画像と比較して人体を検出することも可能である。

このように、設定された人体検出サイズの範囲内の人体のみを検出するように、人体検出処理を行うようにすれば、処理の高速化または高精度化が行える。設定矩形５０３及び５０４は、設定矩形の辺や節点などを操作者のドラッグ等のマウス操作により大きさを変更することが可能である。なお、図５の説明では、人体検出の最大サイズと最小サイズを設定する例を説明したが、最大サイズか最小サイズのみが設定されるようにしてもよい。

図５（ｂ）は、図５（ａ）の一部領域をズームアップした画面表示例である。ズーム範囲５０５は、図５（ｂ）に相当する図５（ａ）上の範囲を表すための矩形である。よって、ズーム範囲５０５をズームした結果が画面５１０である。本図においてズーム倍率は図５（ａ）の２．５倍としている。

図６は、パラメータ設定部２０５が設定する設定パラメータの構成例を示す図である。制御装置２００は、図６に示すパラメータの表示画面を、例えば、表示装置２１０で表示させることが可能である。

図６（ａ）は、設定矩形５０３及び５０４の設定値を示したものである。

図６（ａ）では、人体検出の最大サイズ（Ｍａｘ Ｓｉｚｅ）が幅高さ（９００，９００）画素、最小サイズ（Ｍｉｎ Ｓｉｚｅ）が幅高さ（２５０，２５０）画素と設定している。なお画面５００の解像度は縦横（１２８０，１０２４）としている。またこの時のズーム倍率は１倍としている。

ここで、図５（ｂ）のようにズームアップした際に図６（ａ）の設定値がそのまま適用される場合を考える。

画面５１０のように、ズームアップ操作によって撮像される人体が大きくなる。そのためズームアップ後は設定矩形５０３（図６（ａ）のＭａｘ Ｓｉｚｅ）よりも大きな人体が撮像されることも考えられるが、図６（ａ）の人体検出の最大サイズ（９００，９００）がそのまま適用されると大きな人体が検出されない可能性がある。

また、ズームアップ前は、人体検出の最小サイズよりも小さいために人体検出処理されなかった物体が、ズームアップ後は、人体検出処理の対象となり得る。このような場合、ユーザが意図していない人体検出処理が行われる可能性があり、処理負荷の増大等の発生が起こりうる。

上記のような問題は、ズームアウト時にも起こりうる。すなわち、ズームアウトによりフレーム内における人体のサイズは小さくなるが、人体検出の最小サイズのパラメータがズームアウト前と後で変わらない場合、検出漏れが発生する可能性がある。また、人体検出の最大サイズもズームアウト前と後で変わらない場合、ズームアウト前は検出対象でなかったサイズの人体についての検出処理することになるため余計な処理時間がかかってしまう可能性がある。

そこで、本実施形態のパラメータ制御部２１２は、ズーム倍率の変更に応じて、人体検出の最小サイズや最大サイズといった映像の認識処理に用いられるパラメータを変更する。このようにすることで、ズーム倍率が変更された後であっても好適な認識処理を行えるようになる。上述のように、本実施形態の人体検出部２０４は、人体のパターン画像と、変倍された複数のフレーム画像との比較によって、人体を検出する。この例においては、ズーム倍率の変化に応じて、フレーム画像を変倍する際の倍率が変更される。つまり、パラメータ制御部２１２は、ズーム倍率の変化に応じて、人体検出に用いるフレーム画像の最大サイズと最小サイズを変更する。

また、人体検出部２０４が、人体のパターン画像を変倍し、フレーム画像と比較して人体検出を行う場合、ズーム倍率の変化に応じて、人体のパターン画像を変倍する際の倍率が変更される。つまり、パラメータ制御部２１２は、ズーム倍率の変化に応じて人体検出に用いるパターン画像の最大サイズと最小サイズを変更する。

図５（ｃ）は、画面５００をズームアップした際に図６（ａ）の設定値をズーム倍率に応じて変更した場合の画面表示例である。図６（ａ）で示すパラメータは、以下に述べる処理により、図６（ｂ）で示すパラメータに変更され、人体検出部２０４は、変更後のパラメータに基づいて人体検出処理を実行する。

図５の画面５００から画面５２０へのズームにより、ズーム倍率は、１倍から２．５倍に変化する。本実施形態のパラメータ制御部２１２は、人体検出の最大サイズ、最小サイズともにズーム倍率の変化に応じて変更する。図６（ｂ）に示すように、パラメータ制御部２１２は、ズーム倍率の変化後の人体検出の最小サイズを、図６（ａ）の人体検出の最小サイズ（２５０，２５０）に対して２．５倍のサイズ（６２５，６２５）に変更する。なお、人体検出の最大サイズも、最小サイズの場合と同様に、２．５倍となるべきだが、ここでは画面範囲を超えてしまうため、本実施形態のパラメータ制御部２１２は、画面５２０の縦サイズを上限としたサイズ（１０２４，１０２４）に変更する。

本実施形態のパラメータ制御部２１２は、上記のようなパラメータの変更処理をズーム制御部２１１からズーム倍率情報を受け取るたびに実行する。また、パラメータ制御部２１２は、パラメータを変更するたびに、当該変更後のパラメータをパラメータの設定ツール側に通知することでＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）もズーム倍率の変化に応じて動的に変更される。

図５（ｃ）は、ズーム倍率の変化に応じて、人体検出の最大サイズと最小サイズを変更した後における、パラメータの設定ツールのＵＩを示している。図５（ｃ）の５２２は、図５（ａ）の設定矩形５０３に対応し、図５（ｃ）の５２１は、図５（ａ）の設定矩形５０４に対応する。

上記の説明のように、本実施形態のパラメータ制御部２１２は、人体検出の最大サイズや最小サイズが指定された後に、ズーム倍率を上げるズーム制御が行なわれた場合、最大サイズと最小サイズをズーム制御前よりも大きくする制御を行なう。また、パラメータ制御部２１２は、人体検出の最大サイズや最小サイズが指定された後に、ズーム倍率を下げるズーム制御が行なわれた場合、最大サイズと最小サイズをズーム制御前よりも小さくする制御を行なう。

なお、ズーム倍率の変化に応じたパラメータの変更の際に変更に関する表示をしたり、パラメータの変更前に画面上にパラメータの変更の旨を通知し、ユーザの了解を得てからパラメータ変更を行うようにしてもよい。

また、本実施形態ではズーム倍率に応じて人体検出の最大サイズと最小サイズに関するパラメータを変更したが、変更後のサイズが所定の閾値を超えた場合は人体検出処理自体の停止や中止をするようにしてもよい。また、人体検出処理の停止や中止の代わりに、ディスプレイに警告等のメッセージを表示させるようしてもよい。このようにすれば、例えば、認識処理のパラメータのエラーを回避できるという効果がある。

また、本実施形態では人体検出サイズを矩形で設定する例を説明したが、多角形や円形など他の形状であってもよい。

また、本実施形態においてはパラメータ制御部２１２が変更するパラメータを人体検出の最小サイズと最大サイズとしたが撮像画像サイズや画像上の位置に依存するような他のパラメータであってもよい。例えば、物体追尾部２０３は、フレーム画像から検出された物体の位置と、当該フレーム画像に関する移動ベクトルから特定される物体の位置との距離が閾値未満であれば、当該物体と他のフレーム画像の物体とを対応付けると説明した。この閾値をズーム倍率の変化に応じて変更するパラメータとすることも可能である。

また例えば、軌跡情報判定部２０８がイベント検出に用いるパラメータ（通過検知のための線分や領域）を、ズーム倍率の変化に応じて変更するようにしてもよい。より具体的には、パラメータ制御部２１２は、例えば、通過判定に用いる線分の位置や長さ、及び、侵入判定のために用いる領域の位置やサイズを、ズーム倍率の変化に応じて変更することが可能である。

また、例えば、物体検出範囲をズーム倍率の変化に応じて変更するパラメータとしてもよい。なお、本実施形態では、物体検出範囲を画面全体として説明している。

また例えば、物体対応付部２０６は、物体の外接矩形と人体の外出矩形が重畳する重畳領域の面積の、人体の外接矩形の面積に対する割合（重畳率）が閾値を超えた場合に、物体と人物を対応付けることを説明した。この場合における閾値を、ズーム倍率の変化に応じて変更するパラメータとすることも可能である。なお、重畳率等は面積を比較するため本実施形態の人体検出サイズのようにズーム倍率に応じた等倍変換でない。本実施形態のパラメータ制御部２１２は、ズーム倍率と重畳率を対応付けたテーブルを用いることで、等倍変換ではないパラメータの変更を行うことができる。

また、本実施形態ではユーザインタフェースを用いて指定された人体検出の最大サイズや最小サイズを基準値として、ズーム倍率の変化に応じてパラメータを相対的に変換する場合の例を説明した。すなわち、上記の説明では、例えば、ユーザインタフェースを用いて人体検出の最大サイズ（基準値）が設定された後に、ズーム倍率が２倍になると、人体検出の最大サイズを基準値の２倍にする例を説明したがこれに限るものではない。

例えば、カメラ位置と、検出対象物体（ここでは人体）の存在し得る位置とが特定された絶対的範囲三次元領域と、検出対象物体の当該三次元領域内で取り得る絶対的なサイズの範囲が取得できるとする。そうすれば、パラメータ制御部２１２は、ズーム値に対して適切なパラメータ（ここでは人体検出の最大サイズと最小サイズ）を特定できる。また、パラメータ制御部２１２は、上記のようにしてパラメータを決定したときのズーム値を基準値とし、その後のズーム倍率変更に応じて認識パラメータを変更することも可能である。

また、図５は、人物のサイズの下限が有限になるようなカメラのアングルであった。すなわち、本実施形態では撮像映像上に映される人体のサイズの上限及び下限が有限となるカメラ位置と俯角と検出対象物体である場合の例を説明した。しかし、カメラ位置、カメラの向いている方向、検出対象となる物体の種類によっては、物体が無限遠に位置する場合等、最小サイズや最大サイズの設定が出来ないことが理論上考えられる。そのような場合、ズーム値（ズーム倍率）の変化に応じた物体検出のパラメータの変更を行わないようにする、あるいはあえて最小サイズを設定する、あるいはカメラ設置場所や方向を変える等の対応をするとよい。本実施形態の制御装置２００は、ズーム倍率の変化に応じたパラメータの変更を行うか否かを、ユーザ操作によって切り替えることができる。

また、本実施形態においては、カメラのズーム機構は光学ズームとしたが、デジタルズームであってもよい。図５を用いてカメラのズーム機構がデジタルズームの場合の処理を以下に述べる。

デジタルズームが行われたことにより、画面５００におけるズーム範囲５０５が画面５１０のように表示されることになったとする。その場合、パラメータ制御部２１２は、光学ズームの場合と同様に設定矩形５０３と設定矩形５０４をデジタルズーム倍率に応じて変更する。例えば、パラメータ制御部２１２は、デジタルズームによりズーム倍率が１倍から２倍になった場合、人物検出の最大サイズと最小サイズも２倍に変更する。そして、パラメータ制御部２１２は、変更後のパラメータを表示装置２１０に通知することで、図５（ｃ）に示すようにユーザインタフェースの表示を変更させる。このようにデジタルズームとユーザインタフェースを連動させることでズーム倍率の変化に応じてパラメータが変更されたことをユーザが認識できる。ただしデジタルズームの場合、人体検出部２０４で実際に処理される画像はデジタルズーム後の画像ではなくズーム前の撮像画像であることがある。その場合はズーム倍率の変化に伴うパラメータは変更されないようにする。すなわち、パラメータ制御部２１２は、ズーム倍率の変更前と後で、映像の認識処理の対象となる画像領域が変化するか否かを判定し、画像領域が変化しないと判定した場合、ズーム倍率の変化に応じた認識処理のパラメータの変更は行わない。

以下で、人体検出部２０４で処理される画像がデジタルズーム後に切り出された画像である場合を述べる。パラメータ制御部２１２は、人体検出の最大サイズが切り出された画像範囲を上回る場合、人体検出の最大サイズを切り出し画像範囲まで縮小するようにパラメータを変更してもよい。例えば、パラメータ制御部２１２は、デジタルズーム前の人体検出の最大サイズが（１０００，１０００）であり、デジタルズームによって切り出される画像のサイズが（８００，８００）の場合、最大サイズを（８００，８００）にしてもよい。またあるいは人体検出の最小サイズが、切り出された画像範囲を上回る場合には、人体検出の処理自体の停止や中止をするようにしてもよい。

次に、図７のフローチャートを参照して、第１実施形態に係る制御装置２００の動作を説明する。なお、本実施形態の制御装置２００は、不図示のＣＰＵが図７の処理に係る制御プログラムをメモリから読み出して実行することにより、図７の処理を実現する。また、本実施形態の制御装置２００は、カメラに組み込まれており、カメラの起動と共に図７の処理を開始する。ただし、制御装置２００は、カメラとは別の独立した装置であってもよいし、カメラによる撮影画像を表示するＰＣや携帯端末等に実装されていてもよい。制御装置２００が有する不図示の制御部は、図７の処理を継続するか否かを判定する。制御部は、例えば、処理の終了がユーザによって指示された場合、図７の処理を終了すると判定し、ユーザから指示がない場合、図７の処理を継続すると判定する。処理を継続すると判定された場合（Ｓ７０１；ＹＥＳ）、Ｓ７０２へ進む。一方、処理を終了すると判定された場合（Ｓ７０１；ＮＯ）、処理を終了する。

Ｓ７０２において、画像取得部２０１は、制御装置２００へ入力された画像データを取得する。Ｓ７０３において、物体検出部２０２は、画像取得部２０１が取得した画像に対して物体検出処理を行う。Ｓ７０４において、物体検出部２０２は、ステップＳ７０３で物体を検出したか否かを判定する。物体が検出されたと判定された場合（Ｓ７０４；ＹＥＳ）、Ｓ７０５へ進む。一方、物体が検出されなかったと判定された場合（Ｓ７０４；ＮＯ）、Ｓ７０１へ戻る。

Ｓ７０５において、物体追尾部２０３は、物体の追尾処理を行う。すなわち、物体追尾部２０３は、フレームから検出された物体を、所定の条件に従って、他のフレームから検出された物体に対応付ける処理を行う。追尾処理によって、例えば、複数のフレームに渡って同一の物体が存在する場合、当該物体は対応付けられる。

Ｓ７０６において、軌跡管理部２０７は、Ｓ７０５での追尾処理の結果に従って軌跡情報を更新する。軌跡情報の更新は、図３に示す情報３０３の追加に対応する。

ステップＳ７０７において、人体検出部２０４は、物体検出部２０２により検出された物体とその周辺の領域に対してパラメータ設定部２０５で設定されたパラメータを用いて人体検出処理を行う。

ここで図８のフローチャートを参照して、本実施形態の制御装置２００による人体検出処理の詳細を説明する。

Ｓ８０１において、パラメータ制御部２１２は、パラメータ設定部２０５より設定されている設定パラメータ（人体検出の最大サイズや最小サイズ等の設定情報）を取得する。なお、設定パラメータは、人体検出の最大サイズや最小サイズの情報に限らない。すなわち、パラメータ制御部２１２は、Ｓ８０１において、映像の認識処理のためのパラメータを取得する。また、パラメータ制御部２１２は、現在のズーム倍率に関する情報を取得する。本実施形態の制御装置２００は、カメラに組み込まれており、パラメータ制御部２１２は、当該カメラ内の記憶部からズーム倍率に関する情報を取得するが、例えば、当該カメラに接続されているＰＣ１０４からズーム倍率に関する情報を取得するようにしてもよい。

Ｓ８０２において、パラメータ制御部２１２は、ズーム制御部２１１においてズーム倍率が変更されたか否かを判定する。すなわち、パラメータ制御部２１２は、前回取得したズーム倍率に関する情報と、今回取得したズーム倍率に関する情報が異なるか否かを判定する。ズーム倍率の変更を検出した場合（Ｓ８０２：ＹＥＳ）、Ｓ８０３に進む。一方、ズーム倍率が変更されていないと判定された場合（Ｓ８０２；ＮＯ）、Ｓ８０４に進む。

Ｓ８０３において、パラメータ制御部２１２は、Ｓ８０４の人体検出処理で用いるパラメータを、Ｓ８０１で取得したパラメータとＳ８０１で取得したズーム倍率から決定する。例えば、パラメータ制御部２１２は、ズーム倍率が１倍から２倍に変更された場合、人物検出の最大サイズも２倍にすることを決定する。ただし、この例に限らない。すなわち、パラメータ制御部２１２は、Ｓ８０１で取得されたパラメータを、撮像部のズーム倍率の変化に応じて変更する。

また、本実施形態のパラメータ制御部２１２は、ズーム倍率の変更に応じて認識処理のためのパラメータを変更したこと、及び、変更後のパラメータを通知するためのメッセージを表示装置２１０へ送信する。これにより、表示装置は、パラメータ設定画面上に、映像の認識処理のためのパラメータが変更されたことを示すメッセージや、変更後のパラメータ（例えば、人体検出の最大サイズや最小サイズに対応する矩形）を表示させることができる。

Ｓ８０４で人体検出部２０４は、Ｓ８０３で決定されたパラメータ（ズーム倍率が変更されていない場合はユーザによる設定に応じたパラメータ）を使用して人体検出処理を行う。Ｓ８０４で人体検出処理が完了すると、図７のＳ７０８へ進む。

Ｓ７０８において、人体検出部２０４は、Ｓ７０７で人体を検出したか否かを判定する。人体を検出したと判定された場合（Ｓ７０８；ＹＥＳ）、Ｓ７０９へ進む。一方、人体を検出していないと判定された場合（Ｓ７０８；ＮＯ）、Ｓ７１１へ進む。

Ｓ７０９において、物体対応付部２０６は、Ｓ７０３で検出された物体と、Ｓ７０７で検出された人体との対応付け処理を行う。上述のように、物体対応付部２０６は、物体の外接矩形と人体の外接矩形との重複領域に応じて、物体と人体を対応付ける。

Ｓ７１０において、軌跡管理部２０７は、Ｓ７０９での対応付け処理結果に基づいて、軌跡情報を更新する。軌跡情報の更新は、図３に示す情報３０３の追加に対応する。Ｓ７１１において、軌跡情報判定部２０８は、軌跡情報判定処理を行い、オブジェクトが検知線を通過したか否かを判定する。軌跡情報判定部２０８は、着目フレームの１フレーム前のフレームにおける人体属性オブジェクトから、着目フレームにおける人体属性オブジェクトへの移動ベクトルが、通過検知のための線分と交差しているか否かによって、通過の有無を判定する。なお、上記の人体属性オブジェクトは、物体追尾部２０３によって対応するオブジェクトであると判定され、同一のオブジェクトＩＤが付与されたオブジェクトである。

Ｓ７１２において、外部出力部２０９は、映像の認識処理に関する処理結果を外部へ出力し、Ｓ７１２へ戻る。外部出力部２０９は、例えば、検出された物体や人体の外接矩形が撮影画像の表示画面上に表示されるように、外接矩形の位置情報を表示装置２１０に出力する。また外部出力部２０９は、例えば、人物による検知線の通過や検知領域への侵入を検出した場合、当該検出結果に応じたメッセージが表示装置２１０の表示画面上に表示されるように、検出結果を表示装置２１０へ出力する。

以上説明したとおり、本実施形態によれば、ズーム倍率の変化に応じて、映像の認識処理のためのパラメータを変更することで、ズーム倍率を変更する機能を有する撮影部により撮影された画像に対する認識処理を、より好適に行えるようになる。なお、上記の説明では、人体検出の最大サイズと最小サイズをパラメータとする場合の例を中心に説明したが、例えば、検出対象を自動車や顔や動物など人体以外の所定の物体としてもよい。検出対象を自動車にした場合、認識処理のためのパラメータとして、自動車検出の最大サイズと最小サイズを設定し、そのパラメータを、ズーム倍率に応じて変更することが可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (14)

1. 撮像手段の撮像により得られた画像データに対する認識処理のためのパラメータを取得する取得手段と、
   前記取得手段により取得された前記パラメータを、前記撮像手段のズーム倍率の変化に応じて変更する制御手段とを有することを特徴とする制御装置。
2. 前記認識処理は、前記撮像手段の撮像により得られた前記画像データから所定の物体を検出する検出処理であることを特徴とする請求項１に記載の制御装置。
3. 前記パラメータは、前記所定の物体のサイズに関する情報であることを特徴とする請求項２に記載の制御装置。
4. 前記認識処理は、前記画像データに基づくフレーム画像で検出された物体の位置と、前記フレーム画像に関する移動ベクトル情報に基づいて特定される前記物体の位置との距離が閾値未満である場合に、前記物体と、他のフレーム画像で検出された物体とを関連付けるための処理であり、
   前記パラメータは、前記閾値であることを特徴とする請求項１項に記載の制御装置。
5. 前記パラメータは、物体の通過の検出のために用いられる線分及び／又は領域に関する情報であることを特徴とする請求項１に記載の制御装置。
6. 前記制御手段は、前記ズーム倍率の変化に応じた前記変更後のパラメータに応じて、前記認識処理を停止することを特徴とする請求項１乃至５のうち何れか１項に記載の制御装置。
7. 前記ズーム倍率の変化に応じた前記制御手段による前記パラメータの変更に関するメッセージを表示させる表示制御手段を有することを特徴とする請求項１乃至６のうち、何れか１項に記載の制御装置。
8. 前記パラメータの設定のためのユーザインタフェースを表示手段で表示させる表示制御手段を有し、
   前記制御手段は、前記ユーザインタフェースの操作に応じて設定されたパラメータを前記ズーム倍率の変化に応じて変更することを特徴とする請求項１乃至７のうち何れか１項に記載の制御装置。
9. 制御装置が行う制御方法であって、
   撮像手段の撮像により得られた画像データに対する認識処理のためのパラメータを取得する取得工程と、
   前記取得工程により取得された前記パラメータを、前記撮像手段のズーム倍率の変化に応じて変更する制御工程とを有することを特徴とする制御方法。
10. 前記認識処理は、前記撮像得工程の撮像により得られた前記画像データから所定の物体を検出する検出処理であることを特徴とする請求項９に記載の制御方法。
11. 前記パラメータは、前記所定の物体のサイズに関する情報であることを特徴とする請求項１０に記載の制御方法。
12. 前記ズーム倍率の変化に応じた前記制御工程による前記パラメータの変更に関するメッセージを表示させる表示制御工程を有することを特徴とする請求項９乃至１１のうち、何れか１項に記載の制御方法。
13. 前記パラメータの設定のためのユーザインタフェースを表示手段で表示させる表示制御工程を有し、
    前記制御工程は、前記ユーザインタフェースの操作に応じて設定されたパラメータを前記ズーム倍率の変化に応じて変更することを特徴とする請求項９乃至１２のうち何れか１項に記載の制御方法。
14. コンピュータを請求項１乃至８のうち何れか１項に記載の制御装置として動作させるためのプログラム。

Images