JP2016225786A - 自動追尾装置 - Google Patents

Abstract

【課題】 追尾被写体を検出するための追尾領域を変化させても、自動追尾性能への影響を低減し、誤追尾を防止し被写体を見失わずに追尾を可能とする自動追尾装置を提供すること。【解決手段】 自動追尾装置は、撮像手段と、撮像手段により撮像される方向を変更する駆動手段と、撮像手段により撮像された、撮像領域の画像の一部の領域である検出領域の画像から、追尾対象の検出を判定するための検出閾値に基づき追尾対象を検出し、撮像領域の画像内における追尾対象の位置を取得する検出手段と、検出手段により取得された位置に基づき、検出手段により検出された追尾対象を追尾するための、駆動手段の駆動速度と、駆動手段の駆動方向と、を導出し、駆動手段の駆動を制御する制御手段と、を有し、制御手段は、検出手段により取得された前記位置と、駆動速度の変化量と、に基づき、検出領域と、検出閾値と、を変更する、ことを特徴とする。【選択図】 図１

Description

本発明は、自動追尾装置に関し、特に、撮像手段により撮像される画像内の対象物体を追尾する装置に関するものである。

従来から、パン軸及びチルト軸の２軸を回転軸として旋回動作することが可能な駆動部を備え、撮像する方向（光軸方向）を所望の方向に移動させることが可能な撮像装置がある。また、ズーム・パン・チルト制御することで、被写体を自動で追尾する自動追尾機能を備えた撮像装置が存在する。

具体的には自動追尾機能を備えた撮像装置は、撮像した画像信号に基づいて追尾被写体を検出し、常に撮像範囲内に収めるべく、追尾被写体を検出し、その大きさ・位置の変化を求め、移動物体を追尾し続けるようにパン・チルト駆動制御を行う。

例えば、特許文献１では、追尾映像における追尾被写体の位置の変化より検出する領域を制限し物体の検出処理の負荷を低減した自動追尾装置が開示されている。

特開２０１０−１３６０９５号公報

しかしながら、上述の特許文献に開示された従来技術では、追尾被写体を検出しその移動推定量または追尾物体の速度をもとに次回の検出領域の領域制限を行い、検出負荷の低減し追従性能を向上させているが、検出領域を拡大した時の追尾性能の向上については開示されていない。

そこで、本発明の目的は、追尾被写体を検出するための追尾領域を大きくした場合の、自動追尾性能への影響を低減し、誤追尾を防止し被写体を見失わずに追尾し続けることを可能とする自動追尾装置を提供することである。

上記目的を達成するために、本発明の自動追尾装置は、撮像手段と、前記撮像手段により撮像される方向を変更する駆動手段と、前記撮像手段により撮像された、撮像領域の画像の一部の領域である検出領域の画像から、追尾対象の検出を判定するための検出閾値に基づき追尾対象を検出し、前記撮像領域の画像内における追尾対象の位置を取得する検出手段と、前記検出手段により取得された前記位置に基づき、前記検出手段により検出された前記追尾対象を追尾するための、前記駆動手段の駆動速度と、前記駆動手段の駆動方向と、を導出し、前記駆動手段の駆動を制御する制御手段と、を有し、前記制御手段は、前記検出手段により取得された前記位置と、前記駆動速度の変化量と、に基づき、前記検出領域と、前記検出閾値と、を変更する、ことを特徴とする。

本発明によれば、追尾被写体を検出するための追尾領域を拡大した場合の自動追尾性能への影響を低減し、誤追尾を防止し被写体を見失わずに追尾し続けることを可能とする自動追尾装置を提供することができる。

本発明の自動追尾装置のハードウェア構成の一例を示すブロック図である。 本発明の自動追尾装置の制御プログラムの基本的処理の一例を説明するフローチャートである。 本発明の自動追尾装置の自動追尾処理を説明するための撮像領域内における追尾被写体と検出処理領域の一例を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明の実施形態に係る自動追尾装置のハードウェア構成の一例を示すブロック図である。以下、図１を参照して、本発明の第１の実施例による構成について説明する。

本実施形態では、自動追尾装置はカメラハウジング１とパン・チルト旋回部２と物体検出処理装置３、操作器４とを備えている。

カメラハウジング１はズーム・フォーカスを行うレンズ１１を介し、光学的に撮像した映像を電気的な画像信号に変換する撮像部（撮像手段）１２と撮像した映像信号を増幅する映像信号増幅部１３とを備えている。

パン・チルト旋回部２にはパン軸を回動させるためのパン軸駆動モータ（駆動手段）２５とチルト軸を回動させるためのチルト軸駆動モータ（駆動手段）２６とＣＰＵ２１とを備えている。

パン軸駆動モータ２５は、カメラハウジング１の撮像光軸を、パン軸を中心（回転軸）として所定の角度範囲内で回転させるためのものである。チルト軸駆動モータは、撮像光軸のチルト軸を中心（回転軸）として所定の角度範囲内で回転させるためのものである。尚、パン軸駆動モータ２５及びチルト軸駆動モータ２６には、ステッピングモータや超音波モータ等が用いられ、後述するパン・チルト駆動制御部２４によって制御される。

ＣＰＵ（制御手段）２１には検出領域制御部２２、追尾制御部２３とパン・チルト駆動制御部２４が構成されている。

検出領域制御部２２は物体検出処理装置３の検出領域設定部３３を制御し、追尾制御部２３は物体検出処理装置３に対して追尾被写体検出の開始・停止を指示する。また物体検出処理装置３からの被写体の座標に基づいて追尾被写体を画面内の特定の位置に留めておくための、パン軸駆動モータ２５及びチルト軸駆動モータ２６それぞれの駆動速度（すなわち、駆動速度及び駆動方向）を導出する。パン・チルト駆動制御部２４は追尾制御部２３で得られたパン・チルトそれぞれの速度をもとにパン軸駆動モータ２５とチルト軸駆動モータ２６を制御する。

ＣＰＵ２１は不図示のハードディスク又はフラッシュＲＯＭ等の不揮発性メモリ装置に格納されている制御プログラムに基づいて動作し、カメラハウジング１、旋回部２及び物体検出処理装置３を統括的に制御する。

旋回部２には操作器４が接続され、旋回部２のＣＰＵ２１に対しパン及びチルトの撮像光軸の変更、追尾動作の開始・停止の指令を出すことが可能となっている。

物体検出処理装置３には画像取得部３１と被写体検出部（検出手段）３２と検出領域設定部３３とが構成されている。画像取得部３１は、カメラハウジング１内の映像信号増幅部１３に接続されている。画像取得部３１は、カメラハウジング１の撮像光軸の方向の撮像範囲の画像を取得する。画像取得部３１で得られた画像は被写体検出部３２に出力され、被写体検出部３２では撮影画像データ内（画像内）の追尾対象物体を検出する処理を行うものであって、画像処理ハードウェアにより構成されている。

被写体検出部３２は、被写体の特性に応じた最適の検出アルゴリズムが搭載されている。また、被写体の特性に応じて最適の検出アルゴリズムを選択的に使用できるように複数の検出アルゴリズムが搭載されていてもよい。

一般的に特定の対象物体を追尾する場合は画像取得部３１で得られた時系列画像の差分を検出し、移動物体を特定し、その後テンプレートマッチング等により「人」や「動物」、「飛行機」といった特定の移動物体を検出している。

被写体検出部３２では後述する検出領域制御部２２により決定された検出領域が検出領域設定部３３によって設定され、前記追尾制御部２３により検出閾値が設定され、対象となる物体が検出される。検出閾値は、テンプレートマッチング等による追尾対象の撮像画像内での検出において、どれくらい厳密にテンプレートデータと一致（あるいは対応）した場合に追尾対象であると判断するかの閾値（物体検出厳密度）である。検出閾値が大きく（厳密度が高く）設定されるほど、追尾対象の被写体を検出したと認識するための閾値は高く、テンプレートマッチング等で一致度が高くならなければ被写体を検出しないが、検出した場合の当該被写体は追尾対象である確度は高い。一方、検出閾値が小さく（厳密度が低く）設定されるほど、追尾対象の被写体を検出したと認識するための閾値が低く、テンプレートマッチングにおける一致度が高くない場合でも追尾対象の被写体として検出するが、検出した場合の当該被写体は追尾対象である確度は低くなる。また、検出閾値が小さい場合の対象被写体検出に比べて、検出閾値が大きい場合の対象被写体検出の演算負荷は大きく、その演算に必要な時間は長い。

検出領域設定部３３は被写体検出部３２に対して、画像データの一部の領域のみを、物体の検出処理を行う検出処理領域として指定することが可能な構成されている。

次に図２のフローチャートを参照しながら、ＣＰＵ２１で動作させる追尾制御プログラムの基本的処理の一例について説明をする。
操作器４からの指令、或いは旋回部２の電源のオン、不図示のネットワーク回線を通じた指令等をトリガとして、ＣＰＵ２１は、図２に示す処理を行う追尾制御プログラムを起動する。追尾制御プログラムは、起動すると、各装置／処理部に対し所定の初期設定等を行う。

まず、ステップＳ２００おいて、ＣＰＵ２１は、撮像される画像領域内における検出処理領域の初期設定を行う。図３は、初期の検出処理領域の一例を示す図である。

図３に示すように、初期の検出処理領域３０２は、撮像領域全体３０１における追尾被写体３００を含み追尾被写体３００の外形（幅Ｓｗｏ，高さＳｈｏ）より所定の割合（所定量）だけ拡大した検出領域（幅Ｓｗ，高さＳｈ）（初期値）として配置される。ここで、Ｓｗは検出処理領域３０２の幅であり、Ｓｈは検出処理領域３０２の高さを表す。

初期の検出処理領域３０２の設定が終わると、ステップＳ２０２の処理を行う。尚、以後は、ユーザからの指令等の終了トリガが入らない限り、ステップＳ２０２〜Ｓ２０９のループを繰り返し実行する。

ステップ２０１において、被写体検出部３２でテンプレートマッチングを行う検出閾値を初期設定する。

ステップＳ２０２おいて、物体検出処理装置３の画像取得部３１は、カメラハウジング１で撮像される画像を取得する。

ステップＳ２０３において、被写体検出部３２に対して、被写体検出処理の実行を指令する。被写体検出部３２においては検出領域設定部３３の設定値に基づく一部の領域の画像データを読み出し、検出に好適なアルゴリズムを使用し被写体検出処理を実行する。

ステップ２０４において被写体検出処理の結果、追尾対象の物体が検出されたと判定された場合、検出フラグをセットし被写体を囲む４点の座標（Ｘ１、Ｙ１）、（Ｘ１、Ｙ２）、（Ｘ２、Ｙ１）、（Ｘ２、Ｙ２）をＣＰＵ２１の追尾制御部２３に出力する。物体が検出されない場合は初期の検出処理領域３０２に設定（ステップＳ２１０）し、初期の検出閾値に設定（ステップＳ２１１）した後、ステップ２０２に戻る。

ステップＳ２０５において追尾制御部２３では被写体検出部３２から出力された４点の座標から、前回の出力座標との差（変化量）を求めパン・チルトの駆動制御速度を計算する。計算された駆動制御量をパン・チルト駆動制御部２４に出力し、パン・チルト駆動制御部２４はパン軸駆動モータ２５、チルト軸駆動モータ２６をそれぞれ制御し、追尾被写体が画面の特定の位置に留まるよう追尾制御を行う。

ステップＳ２０６においてパン・チルト駆動制御部２４に前回出力した駆動制御速度と今回求めた駆動制御速度の差（変化量）を計算する。

ステップＳ２０７において被写体検出部３２からの入力された前回の追尾被写体の４点の座標から得られる中心座標（対角座標を結ぶ線の交点座標）と今回求めた追尾被写体の中心座標の差（変化量）を計算する。

ステップＳ２０８においてステップＳ２０６で求められた駆動制御速度の差（変化量）とステップＳ２０７で求められた追尾被写体の中心座標の差（変化量）から次回の被写体検出部３２で物体検出を行う検出領域の計算を行い、検出領域制御部２２に出力する。検出領域制御部２２は物体検出処理装置３の検出領域設定部３３を介し、被写体検出部３２で次回に物体検出処理を行う際の物体検出領域を設定する。

より具体的には、ステップＳ２０８は以下に列記する状態１〜３のいずれの状態であるかに基づいて検出処理領域の設定を行う。

状態１はステップＳ２０６で求められた前回との駆動制御速度の差（変化量）がある閾値以下でかつステップＳ２０７で求められた前回との追尾被写体の中心座標の差（変化量）がある閾値以下の場合（安定した追尾動作を継続している場合）である。状態１である場合には、初期の検出領域（Ｓｗ，Ｓｈ）より予め設定された値分だけ小さくする。ステップＳ２０２からステップＳ２０９の処理において前記条件を満たした状態を継続すると、検出領域を所定の方法で小さくし続ける。ただし、追尾物体を囲むサイズ（Ｓｗｏ，Ｓｈｏ）を下限として、この制約の下で検出領域は変更可能であり、検出領域が前記下限のサイズより小さくなることはないものとする。

状態２はステップＳ２０７で求められた前回との追尾被写体の中心座標の差（変化量）がある閾値以上の場合（追尾状態は安定せず追尾対象を見失う可能性がある場合）である。状態２である場合には、初期の検出領域（Ｓｗ，Ｓｈ）より予め設定された値分だけ大きい検出領域を設定する。設定可能な最大の検出領域は撮像領域全体３０１のサイズである。

状態３はステップＳ２０６で求められた前回との駆動制御速度の差（変化量）がある閾値以上でかつステップＳ２０７で求められた前回との追尾被写体の中心座標の差（変化量）がある閾値以下の場合（追尾状態は条件２より安定しているが、追尾被写体の状況によっては制御遅れが発生する可能性がある場合）である。状態３である場合には、初期の検出領域（Ｓｗ，Ｓｈ）より予め設定された値分だけ大きい検出領域を設定する。

ステップＳ２０９において前記ステップ２０８で求められた検出領域のサイズに応じて被写体検出部３２で次回に物体検出処理を行う際の検出閾値を設定し、ステップ２０２に戻る。

具体的な処理としては前記検出領域のサイズが小さい場合は検出閾値を大きくし（物体識別性能を上げ）、前記検出領域のサイズが大きい場合は検出閾値を小さくし（物体識別性能を下げ）、物体検出に係る演算負荷（導出負荷）を低減し時間を短縮する。

以上のように本実施形態では、状態１のような安定した追尾動作を継続している場合は、検出領域を小さくすることによって検出処理の負荷を低減し、かつ検出閾値を大きくして良好な追尾性能を維持しながら、他の追尾被写体への誤追尾を防止することが可能となる。

状態２のように追尾状態は安定せず追尾対象を見失う可能性がある場合は、検出領域を拡大し、かつ検出閾値を小さくして追尾制御を行う。これによって、物体検出に係る負荷を低減することにより更なる追尾応答性の低下を抑制し、検出領域から追尾被写体が逸脱すること無く、追尾動作を継続できる確率を高めることができる。

状態３のように追尾被写体の状況によっては制御遅れが発生し得るような場合は、検出領域を拡大して追尾制御を行う。検出領域を拡大することにより、検出処理の演算負荷は増大するが、検出閾値を小さくして、物体検出に係る演算負荷を低減することにより追尾被写体の速度変化状態に対応して駆動制御遅れ分を吸収する事が可能となる。

上述の制御を行うことにより追尾対象への誤追尾を防止し、追尾動作中のパン・チルト駆動の速度変化に対応し、追尾対象がパン・チルト駆動制御性能を一時的に上回って動作する場合であっても追尾対象を見失うことなく安定した追尾動作が可能となる。

また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

３：物体検出処理装置（検出手段）
１２：撮像部（撮像手段）
２１：ＣＰＵ（制御手段）
２２：検出領域制御部
２３：追尾制御部
２４：パン・チルト駆動制御部
２５：パンモータ（駆動手段）
２６：チルトモータ（駆動手段）
３２：被写体検出部（検出手段）

Claims (6)

1. 撮像手段と、
   前記撮像手段により撮像される方向を変更する駆動手段と、
   前記撮像手段により撮像された、撮像領域の画像の一部の領域である検出領域の画像から、追尾対象の検出を判定するための検出閾値に基づき追尾対象を検出し、前記撮像領域の画像内における追尾対象の位置を取得する検出手段と、
   前記検出手段により取得された前記位置に基づき、前記検出手段により検出された前記追尾対象を追尾するための、前記駆動手段の駆動速度と、前記駆動手段の駆動方向と、を導出し、前記駆動手段の駆動を制御する制御手段と、
   を有し、
   前記制御手段は、前記検出手段により取得された前記位置と、前記駆動速度の変化量と、に基づき、前記検出領域と、前記検出閾値と、を変更する、
   ことを特徴とする自動追尾装置。
2. 前記制御手段は、前記検出手段により取得された前記位置の変化量と、前記駆動速度の変化量と、に基づき、前記検出領域と、前記検出閾値と、を変更する、ことを特徴とする請求項１に記載の自動追尾装置。
3. 前記制御手段は、前記検出手段により取得された前記位置の変化量と、前記駆動速度の変化量と、に基づき、前記検出領域を大きくして前記検出閾値を小さくするか、前記検出領域を小さくして前記検出閾値を大きくする、ことを特徴とする請求項２に記載の自動追尾装置。
4. 前記制御手段は、前記検出手段により検出された追尾対象を含む画像の大きさより所定量だけ大きい画像の大きさを、前記検出領域の初期値として設定し、
   前記制御手段は、前記初期値を下限とする制約の中で前記検出領域を変更する、
   ことを特徴とする請求項３に記載の自動追尾装置。
5. 前記制御手段は、前記検出手段により取得された前記位置の変化量が第１の閾値以下で、前記駆動速度の変化量が第２の閾値以下の場合、前記検出領域を小さくして前記検出閾値を大きくする、ことを特徴とする、請求項４に記載の自動追尾装置。
6. 前記制御手段は、前記検出手段により取得された前記位置の変化量が第１の閾値以上の場合、前記検出領域を大きくして前記検出閾値を小さくする、ことを特徴とする請求項４に記載の自動追尾装置。

Images