JP2023080962A - 制御装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】 追尾対象の被写体を追尾不可となった場合であっても当該追尾対象を再発見する可能性を向上させることを目的としている。【解決手段】 追尾対象を追尾するように撮像手段の撮像範囲を制御する制御手段と、ユーザにより設定された範囲、撮像範囲を制御するユーザ操作、または、追尾対象の過去の位置、に基づき探索範囲を設定する設定手段と、を有し、追尾対象を追尾できなくなった場合、制御手段は、探索範囲において当該追尾対象を探索するよう撮像範囲を制御する。【選択図】 図５

Description

本発明は、撮像装置の制御方法に関する。

従来、パン・チルト制御可能な撮像装置に人物検出機能を搭載し、撮像した画像から検出した被写体を撮像範囲の中央付近に捉え続けるようにパン・チルトを制御する自動追尾機能がある。

更に、自動追尾機能では、追尾対象の被写体の動き次第では当該被写体を検出できなくなるなどしてロストしてしまった場合、当該被写体を再探索する機能がある。特許文献１では、追尾対象がロストした場合にズームアウトを実行して画角を大きくすることで追尾対象を探索する技術について開示されている。

特開２０１７－４６３２１号公報

しかしながら、特許文献１では、追尾対象がロストした時点の位置から離れてしまったような場合、単にズームアウトしただけだと当該追尾対象を再発見できないことがある。

そこで本発明では、追尾対象の被写体を追尾不可となった場合であっても当該追尾対象を再発見する可能性を向上させることを目的としている。

上記課題を解決するために、本発明の制御装置は以下の構成を備える。すなわち、追尾対象を追尾するように撮像手段の撮像範囲を制御する制御手段と、ユーザにより設定された範囲、前記撮像範囲を制御するユーザ操作、または、追尾対象の過去の位置、に基づき探索範囲を設定する設定手段と、を有し、前記追尾対象を追尾できなくなった場合、前記制御手段は、前記探索範囲において当該追尾対象を探索するよう前記撮像範囲を制御する。

本発明によれば、追尾対象の被写体を追尾不可となった場合であっても当該追尾対象を再発見する可能性を向上させることができる。

システムの一例を示す図である。 撮像装置の外観の一例を示す図である。 撮像装置の機能ブロックを示す図である。 探索処理を説明するための図である。 探索処理を説明するための図である。 追尾処理の流れを示すフローチャートである。 探索処理の流れを示すフローチャートである。 探索範囲の設定処理の流れを示すフローチャートである。 探索範囲の設定処理を説明するための図である。 探索範囲の設定処理の流れを示すフローチャートである。 探索範囲の設定処理を説明するための図である。 探索ルートの決定の処理を説明するための図である。 各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、撮像装置１００、情報処理装置２００、ディスプレイ２１０、およびネットワーク３００を有している。

撮像装置１００および情報処理装置２００は、ネットワーク３００を介して相互に接続されている。ネッワーク３００は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク３００は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

撮像装置１００は、画像を撮像する装置であり、パン、チルト、およびズームの少なくともいずれかの制御により撮像範囲を変更することが可能な制御装置としても機能する。撮像装置１００は、撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置１００を識別する識別情報と、撮像装置１００の撮像範囲の情報とを、ネットワーク３００を介し、情報処理装置２００等の外部装置へ送信する。情報処理装置２００は、例えば、後述する処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等のクライアント装置である。なお、本実施形態に係るシステムにおいて、撮像装置１００は１つとするが、複数であってもよい。すなわち、複数の撮像装置１００が、ネットワーク３００を介して、情報処理装置２００と接続されてもよい。この場合、情報処理装置２００は、例えば、送信された画像と関連付けられた識別情報を用いて、送信された当該画像は、複数の撮像装置１００のうちどの撮像装置１００により撮像されたかを判断する。

ディスプレイ２１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、撮像装置１００が撮像した画像などを表示する。ディスプレイ２１０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置２００と接続されている。なお、ディスプレイ２１０および情報処理装置２００は、単一の筐体に設けられてもよい。

次に、図２および図３を参照して、本実施形態に係る撮像装置１００について説明する。図２は、本実施形態に係る撮像装置１００の外観図の一例である。また図３は、本実施形態に係る撮像装置１００および情報処理装置２００の機能ブロックの一例である。なお、図３に示す撮像装置１００の機能ブロックのうち、画像処理部１１２、画像解析部１１３、システム制御部１１４、パンチルトズーム制御部１１５、通信部１１６等の各機能は、次のようにして実現されるものとする。すなわち、図１３を参照して後述する撮像装置１００のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３２０に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３００が実行することで実現される。

レンズ１０１の光軸の向く方向が撮像装置１００の撮像方向であり、レンズ１０１を通過した光束は、撮像装置１００の撮像部１１１の撮像素子に結像する。また、レンズ駆動部１０２は、レンズ１０１を駆動させる駆動系により構成され、レンズ１０１の焦点距離を変更する。レンズ駆動部１０２は、パンチルトズーム制御部１１４により制御される。

パン駆動部１０３は、パン動作を行うメカ駆動系及び駆動源のモータにより構成され、撮像装置１００の撮像方向をパン方向１０５に回転駆動させるための回転駆動を行う制御をするように駆動する。また、パン駆動部１０３は、パンチルトズーム制御部１１５により制御される。

チルト駆動部１０４は、チルト動作を行うメカ駆動及び駆動源のモータにより構成され、撮像装置１００の撮像方向をチルト方向１０６に回転駆動させるための回転駆動を行う制御するように駆動する。チルト駆動部１０４は、パンチルトズーム制御部１１５により制御される。

撮像部１１１は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサやＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子（不図示）により構成される。そして、撮像部１１１は、レンズ１０１を通って結像された被写体像を光電変換して電気信号を生成する。画像処理部１１２は、撮像部１１１において光電変換された電気信号をデジタル信号へ変換する処理や、圧縮符号化処理などの画像処理を行い、撮像した画像の画像データを生成する。

画像解析部１１３は、周知のディープラーニング等の技術を用いて、画像処理部１０２により生成された画像データの画像（言い換えれば撮像部１１１により撮像された画像）から追尾対象となる特定の被写体を検出するための処理を行う。例えば、特定の被写体として人物を検出する。なお画像解析部１１０は、追尾対象として予め登録された特定の人物を、顔部分の画像の特徴データからマッチングし検出するようにしてもよい。なお画像から追尾対象の人物を検出する方法として、パターンマッチングを用いてもよいし機械学習により学習された学習モデルを用いてもよい。

パンチルトズーム制御部１１４は、システム制御部１１３から伝達された指示に基づいて、パン駆動部１０３、チルト駆動部１０４及びレンズ駆動部１０２の制御を行うことで、撮像装置１００のパン、チルト、およびズームを制御する。

通信部１１６は、図１３を参照して後述するＩ／Ｆ１３４０を介して、情報処理装置２００との通信を行う。例えば、通信部１１６は、撮像装置１００が撮像した画像の画像データを、ネットワーク３００を介して情報処理装置２００に送信する。また、通信部１１６は、撮像装置１００の現在の撮像範囲を示す情報を送信する。また、通信部１１６は、情報処理装置２００から送信された撮像装置１００を制御するためのコマンドである制御コマンドを受信し、システム制御部１１３へ伝達する。

システム制御部１１４は、図９を参照して後述するＣＰＵ９００が実行する処理に従って、撮像装置１００の全体を制御し、例えば、次のような処理を行う。すなわち、システム制御部１１３は、情報処理装置２００から送信された撮像装置１００を制御する制御コマンドを解析し、当該制御コマンドに応じた処理を行う。シまたステム制御部１１４は、画像解析部１１３が検出した追尾対象の画像内における位置に基づいて、当該追尾対象が撮像される画像の中央位置に規定のサイズで写るように、パン値、チルト値、およびズーム値の変更量を算出する。なお、パン値、チルト値、およびズーム値の全ての変更量を常に算出する必要はなく、状況によっては、そのうちの１つの変更量を算出したり、２つの変更量を算出したりすることもある。そしてシステム制御部１１４は、パン値の変更量を算出した場合には、撮像装置１００のパン値が、当該算出したパン値の変更量だけ変更するように、パン動作制御部１１４に指示する。また、システム制御部１１４は、チルト値の変更量を算出した場合には、撮像装置１００のチルト値が、該算出したチルト値の変更量だけ変更するように、パンチルトズーム制御部１１５に指示する。また、システム制御部１１４は、ズーム値の変更量を算出した場合には、撮像装置１００のズーム値が、当該算出したズームの変更量だけ変更するように、レンズ制御部１１５に指示する。これにより撮像装置は、追尾対象を追尾して撮像することができる。

しかし、追尾対象の動作によっては画像解析部１１３が撮像した画像から当該追尾対象を検出できず、該追尾対象を追尾不可となってしまうこともある。追尾対象を見失った場合（言い換えれば、追尾対象を追尾不可となった場合）、システム制御部１１４は、設定された探索範囲内を順次撮像するようにパン・チルト・ズームを制御して探索し、追尾対象を再発見できた場合には追尾を再開する。

なお、本実施形態における撮像範囲は、撮像装置１００のパン値、チルト値およびズーム値により定まるものとする。なお、パン値は、例えばパン駆動部１０３の駆動端の一方を０°としたときの、撮像装置１００のパン方向１０５における撮像方向（光軸）の角度である。また、チルト値は、例えばチルト駆動部１０４の駆動端の一方を０°としたときの、撮像装置１００のチルト方向１０６における撮像方向（光軸）の角度である。なお、撮像装置１００により画像が撮像されるときの撮像装置１００のズーム値は、レンズ１０１の焦点距離から算出する。

続いて、図３に示す情報処理装置２００の機能ブロックを参照して、本実施形態に係る情報処理装置２００の情報処理について説明する。なお、情報処理装置２００の各機能は、図１３を参照して後述するＲＯＭ１３２０とＣＰＵ１３００とを用いて、次のようにして実現されるものとする。すなわち、図３に示す各機能は、情報処理装置１００のＲＯＭ１３２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ１３００が実行することにより実現される。

表示制御部２０１は、撮像装置１００に撮像された画像やショット機能に係る設定のためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をディスプレイ２１０に表示させる。操作受付部２０２は、キーボード、マウス、タッチパネルなどの入力装置（不図示）を介して、ユーザによる操作の情報を受け付ける。入力部は、ボタン、マウス、ジョイスティックなどを想定し、ユーザらの各種操作を受け付ける。ここで例えば、表示制御部２０１は、探索範囲に関する設定を行うためのＧＵＩをディスプレイ２１０に表示させ、操作受付部２０２は、ディスプレイ２１０に表示されたＧＵＩに対するユーザー操作の情報を受け付ける。システム制御部２０３は、ユーザーの操作に応じて、通信部２０４を介しリモートカメラに制御コマンドを送信する。ここで、探索範囲の設定方法の例について図４を用いて説明する。図４に示す広角画像４０１は、撮像装置１００が広角の状態で（言い換えればズームがＷＩＤＥ端の状態で）撮像されたときの画像である。なお広角画像４０１のかわりに、撮像装置１００の撮像範囲を変更しつつ逐次撮像されることで得られた複数の画像に基づくパノラマ画像が表示されてもよい。図４に示す広角画像４０１は、表示制御部２０１によりディスプレイ２１０に表示される。広角画像４０１上に重畳して表示されている探索範囲４０２は、ユーザ操作に基づき現在設定されている探索範囲を示している。探索範囲４０２の四隅にはアイコン４０３が表示され、このアイコン４０３をマウスでドラッグするユーザ操作に応じて探索範囲４０２を変更することができる。アイコン４０３のドラッグ操作に応じて、設定されている探索範囲４０２の情報は、撮像装置１００に送信され、撮像装置１００のシステム制御部１１４は、送信された情報に基づく探索範囲４０２を後述する探索処理に用いる探索範囲として設定する。

通信部２０４は、図１３を参照して後述するＩ／Ｆ１３４０を介して、システム制御部２０３から送信される各種設定コマンドや撮像装置１００の制御コマンドを撮像装置１００に送信する。また、通信部２０４は、撮像装置１００から送信される画像データや、情報処理装置２００から撮像装置１００へ送信したコマンドに対する撮像装置１００からのレスポンスを受信するとともに、システム制御部２０３に送信する。また通信部２０４は、現在設定されている探索範囲の情報を撮像装置１００に送信する。撮像装置１００は、情報処理装置２００から送信された探索範囲の情報を取得し、当該探索範囲を後述する探索処理に用いる探索範囲として設定する。また、記憶部２０５は、探索範囲に係る情報や、通信部２０４が取得した画像の画像データなどを記憶する。

システム制御部２０３は、操作受付部２０２が受け付けたユーザ操作に基づく各種設定コマンドや制御コマンドを生成し、通信部２０４を介して撮像装置１００へ送信する。

ここで、図５を参照して、現在の撮像装置１００の撮像範囲と探索範囲とから、被写体を追尾不可となった場合に実行する探索処理のルート（探索ルート）を算出する処理について説明する。図５に示す現撮像範囲４０４は、現在の撮像装置１００の撮像範囲である。撮像装置１００のシステム制御部１１４は、追尾対象を追尾不可となった場合、情報処理装置２００から取得した探索範囲４０２に基づき、撮像範囲が初期範囲４０５に変更されるようパン・チルト・ズームを制御するための最初の探索ルートを算出する。初期範囲は、追尾対象を検出できる範囲内でズームアウトした上で、システム制御部１１４は、現撮像範囲４０４から探索範囲４０２の上辺、下辺、左辺、右辺のうち最も近い辺に接触するようにパン値またはチルト値を動かすように決定する。図５に示す例では、現撮像範囲４０４から探索範囲４０２の上辺が最も近いため図５に示す初期範囲４０５が選択されている。ルート４１１は、このようにして決定された、現撮像範囲４０４から初期範囲４０５に移動するルートである。次に、システム制御部１１４は、初期範囲４０５から探索範囲４０２の左辺、右辺のうち、遠い方の辺を特定し、特定した辺と撮像範囲の辺とが接するように撮像範囲を制御するためにパン値を変更する。ルート４０６は、このようにしてシステム制御部１１４に決定されたルートである。続いて同様に、システム制御部１１４は、探索範囲４０２の右辺に撮像範囲の右辺が接するようなルートであって、探索範囲４０２の下辺に撮像範囲の下辺が到達するルート４０７で撮像範囲を制御する。ルート４０７に沿って撮像範囲が制御される場合、システム制御部１１４はチルト値を変更することになる。そして、システム制御部１１４は、探索範囲４０２の下辺と撮像範囲の下辺とが接するよう動かすルートであって、探索範囲４０２の左辺に撮像範囲の左辺に到達するルートであるルート４０８で撮像範囲を制御する。ルート４０８では、システム制御部１１４は、パン値が変更される。続いて、システム制御部１１４は、探索範囲４０２の左辺に接するよう撮像範囲を動かすルートであって、探索範囲４０２の上辺に撮像範囲の上辺が到達するルート４０９で、撮像範囲を制御する。このとき、システム制御部１１４は、チルト値を変更する。続いて、システム制御部１１４は、探索範囲４０２の上辺に撮像範囲の上辺が接するよう撮像範囲を動かすルートであって、撮像範囲が初期範囲４０５に到達するルート４１０で撮像範囲を制御する。このとき、システム制御部１１４は、パン値を変更する指示をパンチルト制御部１１５に行う。システム制御部１１４は、以上説明したルート４０６～４１０の探索ルートで撮像範囲を制御し、画像解析部１１３は、その間に逐次撮像された画像から追尾対象を検出する処理を実行する。なお追尾対象が検出された時点で探索動作を終了し、当該追尾対象の追尾を再開する。画像解析部１１０は、追尾対象として登録された特定の人物を顔部分の画像の特徴データからマッチングし検出するようにして、マッチングしたときのみ追尾動作を再開するようにしてもよい。

なおこの探索の例は、追尾対象を探索するときのズーム倍率における撮像範囲の縦方向のサイズが、探索範囲４０２の縦方向のサイズの半分以上であった場合の例である。探索範囲４０２の縦方向のサイズが更に大きい場合にはシステム制御部１１４は、チルト値を変更しつつ探索範囲４０２の左端から右端までを繰り返し往復し、探索範囲４０２の範囲全域を探索するように探索ルートを決定する。

続いて、図６に示すフローを参照して、撮像装置１００による追尾対象を追尾して撮像する場合の処理について説明する。なお、図６のフローに従った処理の開始段階では撮像装置のパン・チルト・ズームの何れも駆動中ではないものとする。なお図１３に示すフローチャートの処理は、撮像装置１００のＲＯＭ１３２０に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ１３００が実行して実現される図３に示す各機能ブロックにより実行されるものとする。

まずＳ６０１では、画像解析部１１３は、直近のフレームの画像から追尾対象となる被写体を検出する。次にＳ６０２にて、画像解析部１１３は、追尾対象の被写体が画像に含まれているかを判断する。画像解析部１１３により追尾対象となる被写体が検出された場合（Ｓ６０２にてＹｅｓ）、Ｓ６０３へ遷移し、処理はステップＳ４０３に進み、追尾対象が検出されなかった場合（Ｓ６０２にてＮｏ）、Ｓ６０６へ遷移する。なお画像解析部１１３は、画像に対し予め定めた領域内に写った被写体のみを追尾対象としてもよい。また、画像解析部１１３は、追尾対象として登録された特定の人物を、顔部分の画像の特徴データからマッチングし、当該特定の人物であると判定された被写体のみを追尾対象としてもよい。

Ｓ６０３にて、システム制御部１１４は、現在のパン値及びチルト値のうちの少なくとも一方と、画像解析部１１０が検出した追尾対象の画像内における位置と、に基づいて、追尾対象が画像の中央位置に映るようにパン値及び／又はチルト値の変更量を算出する。そしてシステム制御部１０３は、現在のパン値及び／又はチルト値を、算出したパン値及び／又はチルト値になるような変更量だけ変更すべく、パンチルトズーム制御部１１５に指示する。これにより、パンチルトズーム制御部１１５は、現在のパン値及び／又はチルト値をシステム制御部１１４から指示された変更量だけ変更するようにパン駆動部１０３及び／又はチルト駆動部１０４を制御する。

次にＳ６０４では、システム制御部１１４は、追尾対象が既定のサイズで画像に映るように、ズーム値の変更量を求める。例えば、システム制御部１１４は先ず、画像の追尾対象のサイズが、当該画像のサイズに対して適切か否かを判断する。例えば、システム制御部１１４は、撮像された画像の縦方向の画素数に対する追尾対象の外接矩形の縦方向の画素数の割合が第１割合（例えば８０％）を超えているのか否かを判断する。その結果、撮像された画像の縦方向の画素数に対する追尾対象の外接矩形の縦方向の画素数が第１割合以上である場合、システム制御部１１４は、当該割合が第２割合未満となるようズームアウトが必要と判断する。また、システム制御部１１４は、撮像された画像の縦方向の画素数に対する追尾対象の外接矩形の縦方向の画素数の割合が第２割合（例えば５０％）を未満であるか否かを判断する。ここで撮像された画像の縦方向の画素数に対する追尾対象の外接矩形の縦方向の画素数の割合が第２割合未満である場合、システム制御部１１４は、当該割合が第２割合以上になるようズームインが必要と判断する。ここで、システム制御部１０３は、第１割合及び第２割合を、予めユーザに設定させてもよい。

そしてシステム制御部１１４は、現在の撮像装置のズーム値が、決定したズーム値の変更量だけ変更するように、パンチルトズーム制御部１１５に指示する。パンチルトズーム制御部１１５は、システム制御部１１４から指示された変更量だけズーム値の変更を行うよう、レンズ駆動部１０２を制御する。

次にＳ６０５では、システム制御部１１４は、Ｓ６０１で検出した追尾対象のサイズと、Ｓ６０４におけるズーム値の変更量と、から、ズーム制御後の撮像映像における追尾対象のサイズを求める。例えば、Ｓ６０４においてズームインし、このときズーム値の変更量が１．５倍であるとする。このとき、ズームイン前の追尾対象の縦方向のサイズが撮像された画像の縦方向の４０％であれば、ズームイン後の撮像される画像における追尾対象の高さは、当該画像の縦方向のサイズの６０％となる。また、ステップＳ６０４においてズームアウトし、このときズーム値の変更量が画角を縦横１５０％に拡大するものであるとする。このとき、ズームアウト前の追尾対象の縦方向のサイズが撮像される画像の縦方向のサイズの９０％であれば、ズームアウト後の撮像される画像における追尾対象の縦方向のサイズは、撮像される画像の縦方向のサイズの６０％となる。

そしてシステム制御部１１４は、このようにして求めた、ズーム制御後の撮像される画像における追尾対象のサイズを、システム制御部１１４が有するメモリ若しくは不図示の外部のメモリに記憶する。Ｓ６０５の処理ののち、Ｓ６０１に遷移する。

Ｓ６０６にて、追尾対象を検出している状態から検出していない状態となった場合（追尾対象を追尾不可となった場合）、システム制御部１１４は、見失った追尾対象を探索の処理（探索処理）を実行する。Ｓ６０６における処理の詳細については、図７のフローを参照して後述する。

Ｓ６０７にてシステム制御部１１４は、探索処理により画像解析部１１３が画像から追尾対象を検出することができたかどうか判断し、検出できた場合（Ｓ６０７にてＹｅｓ）、Ｓ６０３に遷移する。一方、探索処理により画像解析部１１３が撮像された画像から追尾対象を検出することができなかった場合（Ｓ６０７にてＮｏ）、Ｓ６０８に遷移する。Ｓ６０８にて、システム制御部１１４は、メモリに記録されている追尾対象のサイズを消去する。Ｓ１１４にて、システム制御部１１４は、予め設定した初期の撮像範囲のパン値、チルト値、およびズーム値になるよう、パンチルトズーム制御部１１５に指示する。

ここでＳ６０６の探索処理の詳細について、図７を参照して説明する。なお図１３に示すフローチャートの処理は、撮像装置１００のＲＯＭ１３２０に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ１３００が実行して実現される図３に示す各機能ブロックにより実行されるものとする。

Ｓ７０１にて、画像解析部１１３は、所定時間にわたって、撮像された画像から追尾対象を検出するための検出処理を実行する。当該所定時間は、ユーザにより予め設定された秒数としてよい。

次にＳ７０２では、画像解析部１１３が追尾対象を検出した場合（７０２にてＹｅｓ）、図７に示す被写体探索処理を終了しＳ６０７に遷移する。一方、画像解析部１１３が追尾対象を検出できなかった場合（Ｓ７０２にてＮｏ）、Ｓ７０３に遷移する。

Ｓ７０３にて、画像解析部１１３は、Ｓ６０５にてメモリに記録したサイズ、すなわち、追尾対象を見失う直前における画像上の追尾対象のサイズを読みだす。次にＳ７０４にて、画像解析部１１３は、次のような処理を行う。すなわち、仮に現フレームの画像上にＳ７０３で読み出した追尾対象のサイズを有する追尾対象が写っており、この状態から追尾対象を検知できるズーム値の範囲内で、どの程度ズームアウトできるかを計算する。例えば、画像解析部１１３は、画像から検出された追尾対象の縦方向のサイズが画像の縦方向のサイズの３０％以上であれば高精度で検出が可能とし、これを最低検出サイズとする。このとき、追尾対象の高さが最低検出サイズと同じ大きさで写るようにズームアウトすると追尾対象が撮像装置１００から遠ざかった場合に当該追尾対象が最低検出サイズから更に小さくなることで検出ができなくなる。そのため、システム制御部１１４は、最低検出サイズの１．２倍である３６％のサイズで追尾対象が写るように、ズームアウト量を計算する。さらに、システム制御部１０３は、計算したズームアウト量だけズームアウトするようにパンチルトズーム制御部１１５に指示し、レンズ駆動部１０２にズームアウトを行わせる。

Ｓ７０５にて、システム制御部１１４は、情報処理装置２００から送信された探索範囲の位置情報をメモリなどから読みだす。なお探索範囲の位置情報は、予め情報処理装置２００から撮像装置１００に送信され撮像装置１００のメモリに記憶されているものとする。

Ｓ７０６にて、システム制御部１１４は、現在の撮像範囲と設定されている探索範囲とから、最短の経路で当該探索範囲を順次撮像するようにパン・チルト制御をするための、探索ルートを決定する。

Ｓ７０７にて、システム制御部１１４は、Ｓ７０６にて決定した探索ルートに沿って撮像範囲を制御するために、パンチルトズーム制御部１１５に指示する。これによりパンチルトズーム制御部１１５は、探索ルートに沿って撮像範囲を制御するようパン駆動部１０３及び／又はチルト駆動部１０４を制御する。図５に示す例において、初期範囲４０５からルート４０６～４１０からなる探索ルートに沿って撮像範囲が制御される。

ステップＳ７０７で探索ルートにそって撮像範囲を制御する過程で撮像された画像から画像解析部１１３が追尾対象を検出した場合（Ｓ７０８にてＹｅｓ）、Ｓ７０９へ遷移する。一方、探索ルートに沿って撮像範囲を制御する過程で撮像された画像から画像解析部１１３が追尾対象を検出できなかった場合（Ｓ７０８にてＮｏ）、Ｓ７１０に遷移する。

Ｓ７０９にて、システム制御部１１４は、Ｓ７０７での探索ルートに沿った撮像範囲の制御を停止するよう、パンチルトズーム制御部１１５に指示する。Ｓ７０９の処理ののち図６に示すＳ６０７に遷移する。Ｓ７１０では、システム制御部１１４は、Ｓ７０７の処理（探索ルートに沿った撮像範囲の制御処理）が実施された回数が第１閾値（探索処理を諦めて追尾を終了するための閾値）以上かどうかを判定する。Ｓ７０７の処理が実施された回数が第１閾値以上である場合（Ｓ７１０にてＹｅｓ）、探索処理を終了しステップＳ６０７に進む。Ｓ７０７の処理（探索ルートに沿った撮像範囲の制御処理）が実施された回数が第１閾値未満の場合、Ｓ７１１に遷移する。

Ｓ７１１では、システム制御部１１４は、Ｓ７０７の処理（探索ルートに沿った撮像範囲の制御処理）が実施された回数が第２閾値（探索を一次中断しホームポジションに戻るための閾値）以上であるかを判定する。そして、当該回数が第２閾値以上であと判定された場合（Ｓ７１１にてＹｅｓ）、一時的にホームポジションに撮像範囲を戻すためにＳ７１２に進む。一方、当該回数が第２閾値未満であると判定された場合（Ｓ７１１にてＮｏ）、Ｓ７０７へ遷移し、探索ルートに沿った撮像範囲の制御処理が再度実行される。このとき、Ｓ７０７の処理が実行された回数のカウント値が＋１される。

Ｓ７１２では、システム制御部１１４は、予めユーザに設定されたパン値チルト値およびズーム値により定まるホームポジション（初期の撮像範囲）に移動するように、パンチルトズーム制御部１１５に指示する。ここで、ホームポジションは、ユーザにより予め設定できるようにしてもよいし、今までの追尾対象の移動履歴などから追尾対象が存在する可能性の高い範囲を計算し、その範囲を写す画角をホームポジションとしてもよい。

Ｓ７１３にて、画像解析部１１３は、所定時間にわたって逐次撮像される画像に対し追尾対象を検出するための検出処理を実行する。画像解析部１１３が追尾対象を検出した場合（Ｓ７１４にてＹｅｓ）、被写体探索処理を終了し図６に示すＳ６０７に遷移する。一方、画像解析部１１３が追尾対象を検出できなかった場合（Ｓ７１４にてＮｏ）Ｓ７０７に遷移し、追尾対象を再度探索するためにＳ７０７にて探索ルートに沿った撮像範囲の制御処理が再度実行される。このとき、Ｓ７０７の処理が実行された回数のカウント値が＋１される。

以上説明したように本実施形態における撮像装置１００は、追尾対象が検出できなくなった場合に追尾対象が存在する可能性のある範囲としてユーザに設定された探索範囲全域に対し撮像範囲を制御しつつ追尾対象を探索する処理を実行する。このようにすることで、追尾対象を追尾不可となってしまった場合であっても、再度追尾対象を発見する可能性を向上することができる。

（実施形態２）
本実施形態では、追尾対象を追尾不可となった場合には、実施形態１と同様に、設定された探索範囲をパン・チルト・ズーム制御により順次撮像し、追尾対象を探索する。そして以降は、この探索した追尾対象を追尾して撮像することになる。また本実施形態では更に、追尾対象を追尾している中で設定された探索範囲の外まで追尾対象を追尾した場合に、その探索範囲の外で検出された追尾対象の位置を含むように探索範囲を更新する。このようにすることで、過去に追尾対象が存在した場所を全て探索範囲に含むことができ、被写体探索時に追尾対象が存在する可能性の高い場所を探索しやすくなる。また、探索範囲をユーザが正確に設定できない場合においても、被写体が存在する可能性のある範囲として探索範囲を適切に更新することができる。なお、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

ここで撮像装置１００による追尾対象の追尾撮像動作について、図６のフローチャートを用いて説明する。なお図１３に示すフローチャートの処理は、撮像装置１００のＲＯＭ１３２０に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ１３００が実行して実現される図３に示す各機能ブロックにより実行されるものとする。また、図８におけるＳ６０１～Ｓ６０９の処理は、実施形態１にて図６を参照して説明した内容と同様であるため説明を省略する。

Ｓ８１０にて、システム制御部１１４は、画像解析部１１３が検出した追尾対象の位置が現在設定されている探索範囲外であるかを判定する。検出した追尾対象の位置が範囲外であると判定された場合（Ｓ８１０にてＹｅｓ）、探索範囲を拡大するためにステップＳ６１１に進む。一方、検出した追尾対象の位置が現在設定されている探索範囲内である場合（Ｓ８１０にてＮｏ）、Ｓ６０１に遷移する。

Ｓ８１１にて、システム制御部１１４は、現在の追尾対象の位置を含むように探索範囲の設定を更新する。ここで、図９を参照して探索範囲の更新処理について説明する。撮像範囲９０１は、現在の撮像装置１００の撮像範囲であり、探索範囲９０２は現在設定されている探索範囲である。外接矩形９０３は、画像解析部１１３により検出された追尾対象の人物の外接矩形であり当該人物の位置を示している。図９に示す例では、追尾対象の外接矩形９０３は、探索範囲９０２の外に存在している。このとき、システム制御部１１４は、探索範囲９０２の外に位置する外接矩形９０３を含むよう探索範囲９０２を更新する。具体的にはシステム制御部１１４は、探索範囲９０２の右辺である辺９０４よりも外接矩形９０３の右辺である辺９０５の方が右側に位置するため、探索範囲９０２を右方向に拡大する必要があると判定する。その際、システム制御部１１４は、外接矩形９０３を探索範囲９０２が包含する形にするために、探索範囲９０２の右辺９０４の位置を外接矩形９０３の右辺９０５の位置まで拡大する。このとき、拡大する範囲は矢印９０６が示す方向・距離となる。なお一例として右方向に範囲を拡大するケースを説明したが、システム制御部１１４は、探索範囲９０２の左辺よりも外接矩形９０３の左辺の方が左側に位置する場合は探索範囲９０２の左辺を左方向に拡大するようにする。同様に、システム制御部１１４は、上辺の比較により上方向に、下辺の比較により下方向に探索範囲を拡大する。以上の動作により、現在の追尾対象の位置を包含する形で探索範囲を拡大し設定を更新することができる。なお、システム制御部１１４は、更新した探索範囲の情報を情報処理装置２００に送信し、情報処理装置２００の表示制御部２０１は、更新後の探索範囲を広角画像４０１に重畳してディスプレイ２１０に表示するようにしてもよい。

このように、本実施形態によれば、追尾対象が検出できなくなった場合に対象が存在する可能性のある範囲全域をパン・チルト・ズーム駆動で探索する際、過去に追尾対象が存在した領域を全て探索範囲に含むことができる。その結果、追尾対象が存在する領域を探索できる可能性が高まる。

（実施形態３）
本実施形態では、探索範囲の設定をユーザのマニュアル操作によるパン・チルト・ズーム制御の軌跡から自動で決定する。これにより、探索範囲の設定を簡略化することができる。なお、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。特に追尾対象を追尾しつつ撮像範囲を制御する処理や、追尾対象を追尾不可となった場合の探索処理は実施形態１と同様であるものとし説明を省略する。

本実施形態において、探索範囲の設定処理は、実施形態１の図６に示すフローの処理が開始される前に予め実行されるものとする。システム制御部１１４は、探索範囲の設定のための要求コマンドをユーザ操作に基づき情報処理装置２００から受け付けると、探索範囲の設定処理を開始する。ここで探索範囲の設定処理について、図１０に示すフローを参照して説明する。なお図１０に示すフローチャートの処理は、撮像装置１００のＲＯＭ１３２０に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ１３００が実行して実現される図３に示す各機能ブロックにより実行されるものとする。

まずＳ１００１では、システム制御部１１４は、情報処理装置２００から送信されたパン値、チルト値、およびズーム値の少なくともいずれかを制御する制御コマンド（言い換えれば撮像範囲を制御する制御コマンド）を取得する。なおパン値、チルト値、およびズーム値を変更するためのユーザ操作を操作受付部２０２が受け付けたことに伴い、情報処理装置２００のシステム制御部２０３は次の処理を実行する。すなわち、ユーザに指示されたパン値、チルト値、及び／又はズーム値にするための制御コマンドを生成し、当該制御コマンドが撮像装置１００に送信される。Ｓ１００１では、システム制御部１１４は、このようにして送信された制御コマンドを取得する。システム制御部１１４は、当該制御コマンドに基づき、ユーザに指定されたパン値、チルト値、及び／又はズーム値になるようパンチルトズーム制御部１１５に指示する。パンチルトズーム制御部１１５は、当該指示に従って、パン駆動部１０３、チルト駆動部１０４、及び／又はレンズ駆動部１０２を制御する。

Ｓ１００２にて、システム制御部１１４は、ユーザ操作による撮像装置１００のパン値、チルト値、およびズーム値の時系列上の推移を示す履歴情報を生成し、メモリに記憶する。

Ｓ１００３にて、システム制御部１１４は、情報処理装置２００から探索範囲設定処理の終了指示コマンドを受信したかを判定する。受信していた場合（Ｓ１００３にてＹｅｓ）、Ｓ１００４に遷移し、受信していなかった場合（Ｓ１００３にてＮｏ）、Ｓ１００１に遷移する。

Ｓ１００４にて、システム制御部１１４は、Ｓ１００２で記憶されたパン値、チルト値、およびズーム値の推移の履歴情報に基づき、ユーザ操作により制御された撮像装置１００の撮像範囲に一度でも含まれた範囲を探索範囲として設定する。ここで、図１１を参照して、探索範囲を設定する処理について説明する。エリア１１０１は撮影場所を示しており、範囲１１０２がユーザのパン値・チルト値・ズーム値により一度でも撮像範囲に含まれた範囲を示している。軌跡１１０３がユーザ操作により撮像範囲が通った軌跡である。ここで、範囲１１０２をそのまま探索範囲として設定すると複雑な形状となり、追尾対象を探索する際の探索ルートが複雑になってしまう。そのため、範囲１１０２の外接矩形である範囲１１０４（以下、探索範囲１１０４）を探索範囲として設定する。なお探索範囲１１０４の左辺は、範囲１１０２の左端である点１１０５を通るように決定される。同様に、探索範囲１１０４の右辺は、範囲１１０２の右端の点１１０６を通るように決定される。また、探索範囲１１０４の上辺は、範囲１１０２の上端の点１１０７を通るように決定され、探索範囲１１０４の下辺は、範囲１１０２の下端の点１１０８を通るように決定される。なお以上の例では探索範囲を長方形にする例を説明したが、複雑な形状の探索範囲を設定し、探索を行ってもよい。また、探索ルートの決定を実施形態１の図５に示した方法ではなく、Ｓ１００２で記憶したパン値・チルト値・ズーム値の変化の履歴情報から決定してもよい。その場合、軌跡１００３の軌跡に沿った探索ルートで探索処理が実行される。

なお情報処理装置２００から探索範囲の設定要求を撮像装置１００が受け付けたあとで、ユーザが設定のためのパン・チルト・ズーム操作を行う例を記載した。しかしながら、通常の撮像時のユーザによるパン値・チルト値・ズーム値の変化の履歴情報を生成、その履歴情報に基づいて探索範囲を決定してもよい。

以上説明したように本実施形態における撮像装置１００は、探索処理が実行される探索範囲の設定を、ユーザによるパン・チルト・ズーム操作により行う。このようにすることで探索範囲の設定を簡略化することができる。

（実施形態４）
本実施形態では、追尾対象を追尾不可となった場合には、実施形態１と同様に、設定された探索範囲をパン・チルト・ズーム制御により順次撮像し、追尾対象を探索する。そして以降は、この探索した追尾対象を追尾して撮像することになる。そして、本実施形態では、実施形態１に加えて、追尾対象が存在した過去の位置の履歴（移動履歴）の情報を保持する。追尾対象を検出できなくなり探索を行う場合に、過去に追尾対象が多く存在した位置を先に探索することで、より早く追尾対象を発見できる可能性を高めることができる。なお、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

システム制御部１１４は、設定された探索範囲を等間隔に複数のブロックに分割する。システム制御部１１４は、画像に対する画像解析部１１３による追尾対象の検出処理の結果に基づき、検出された追尾対象の中心位置を含むブロックに対して、追尾対象の存在時間をカウントアップする。そうすることで、システム制御部１１４は、追尾対象の移動履歴として、ブロックごとの追尾対象の存在時間の累計を保持することができる。

システム制御部１１４は、追尾対象を追尾不可となった場合に実行する探索処理の探索ルートを決定する際に、探索範囲におけるブロックごとの追尾対象の存在時間から、過去に長く追尾対象が存在していたブロックを先に探索するような探索ルートを決定する。ここで、図１１２を用いて探索ルートの決定動作を説明する。エリア１２０１は撮影対象の環境を示しており、探索範囲１２０２は、現在設定されている探索範囲である。撮像範囲１２０３は、追尾対象を追尾不可となったことに伴う探索処理の開始時の撮像範囲である。また図１２に示すように、探索範囲１２０２は、横方向に５分割することで得られるブロック１２０４ａ～１２０４ｅを含む。システム制御部１１４は、ブロック１２０４ａ～１２０４ｅごとに、追尾対象が存在した時間である存在時間の累計を保持している。ここで例えば、一番左のブロック１２０４ａに追尾対象が存在した存在時間が１２０４ａ～１２０４ｅのうちで最も長い場合、システム制御部１１４は、ブロック１２０４ａを優先的に撮像するように探索ルートを決定する。このときの撮像範囲の制御時の移動ルートがルート１２０５である。その後、一番左のブロックで追尾対象が検出できない場合は、右側のブロックも探索するため、ルート１２０６の移動ルートで撮像範囲を制御しつつ探索を行う。なお上述の例では、ブロック分割を横方向に行った場合について説明したが、これに限らず縦方向への分割や、より細かい単位で分割するなど、ブロックの単位は変更が可能である。

また上記の例では過去の追尾対象の存在時間を基に探索の順番を決定しているが、これ以外にも、最後に追尾対象を見失った位置から順番を決定する方法がある。その場合、最後に追尾対象が検出された位置が撮像装置の画角の左側であった場合は、左側を先に探索するなどの方法がある。また、追尾対象の過去の位置の履歴を用いて、その他の方法で探索の優先度付けをして探索ルートを決定してもよい。

このように、本実施形態によれば、追尾対象の移動履歴から現在追尾対象が存在する可能性の高い領域を推定し、可能性の高い領域から探索することで、短時間で追尾対象を発見できる可能性を高めることができる。

（その他の実施形態）
次に図１３を参照して、各実施形態の各機能を実現するための撮像装置１００のハードウェア構成を説明する。なお、以降の説明において撮像装置１００のハードウェア構成について説明するが、撮像装置１００も同様のハードウェア構成によって実現されるものとする。

本実施形態における撮像装置１００は、ＣＰＵ１３００、ＲＡＭ１３１０、ＲＯＭ１３２０、ＨＤＤ１３３０、および、Ｉ／Ｆ１３４０を有している。

ＣＰＵ１３００は撮像装置１００を統括制御する中央処理装置である。ＲＡＭ１３１０は、ＣＰＵ１３００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１３１０は、ＣＰＵ１３００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１３１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ１３２０は、ＣＰＵ１３００が撮像装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ１３３０は、画像データ等を記録する記憶装置である。Ｉ／Ｆ１３４０は、ネットワーク３００を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ１３００が処理を実行する例について説明するが、ＣＰＵ１３００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ＲＯＭ１３２０からプログラムコードを読み出してＲＡＭ１３１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、撮像装置１００の各部は、図１３に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

なお、上述した各実施形態に係る撮像装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る撮像装置１００の１以上の機能を撮像装置１００が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００ 撮像装置
２００ 情報処理装置
１１３ 画像解析部
１１４ システム制御部

Claims (8)

1. 追尾対象を追尾するように撮像手段の撮像範囲を制御する制御手段と、
   ユーザにより設定された範囲、前記撮像範囲を制御するユーザ操作、または、追尾対象の過去の位置、に基づき探索範囲を設定する設定手段と、を有し、
   前記追尾対象を追尾できなくなった場合、前記制御手段は、前記探索範囲において当該追尾対象を探索するよう前記撮像範囲を制御することを特徴とする制御装置。
2. 前記設定手段は、情報処理装置からユーザにより設定された範囲の情報を取得し、取得した情報に基づく当該範囲を前記探索範囲として設定することを特徴とする請求項１に記載の制御装置。
3. 前記設定手段は、前記ユーザ操作に従って前記撮像範囲が制御される過程で当該撮像範囲に含まれた範囲に基づき、前記探索範囲を設定することを特徴とする請求項１に記載の制御装置。
4. 前記設定手段は、前記探索範囲の外で前記追尾対象が検出された場合、前記探索範囲の外で検出された前記追尾対象の位置を含むように当該探索範囲を更新することを特徴とする請求項１に記載の制御装置。
5. 前記制御手段は、前記探索範囲において前記撮像範囲を制御するルートを決定し、決定したルートに従って前記撮像範囲を制御することを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
6. 前記探索範囲は、複数のブロックに分割され、
   前記制御手段は、前記追尾対象の各ブロックごとの存在時間に基づき、前記ルートを決定することを特徴とする請求項５に記載の制御装置。
7. 追尾対象を追尾するように撮像手段の撮像範囲を制御する制御工程と、
   ユーザにより設定された範囲、前記撮像範囲を制御するユーザ操作、または、追尾対象の過去の位置、に基づき探索範囲を設定する設定工程と、を有し、
   前記追尾対象を追尾できなくなった場合、前記制御工程において、前記探索範囲において当該追尾対象を探索するよう前記撮像範囲を制御することを特徴とする制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の制御装置が備える各手段として機能させるためのコンピュータプログラム。

Images