JP2017216675A - 演算処理装置及び演算処理方法 - Google Patents

Abstract

【課題】オペレータの操作性をより向上させる。
【解決手段】撮像部のパン、チルト及びズームの少なくともいずれかが外部の入力装置を介した指示に従って制御されて追尾対象が追尾される手動追尾モードにおいて、前記撮像部によって撮影された撮影対象領域の画像の中から前記追尾対象を推定する追尾対象推定部、を備える、演算処理装置を提供する。
【選択図】図１

Description

本開示は、演算処理装置及び演算処理方法に関する。

監視カメラで撮影した監視対象領域の画像（監視領域画像）を監視者（以下、オペレータともいう）側に設けた表示装置に表示させる監視システムにおいて、当該監視カメラのパン、チルト及び／又はズームを制御することにより、監視対象である人物又は物体を手動で又は自動で追尾可能な技術が開発されている。ここで、パン、チルト及び／又はズームが制御可能な監視カメラのことをＰＴＺカメラともいう。また、ＰＴＺカメラにおいてパン、チルト及び／又はズームを制御することを、ＰＴＺ制御ともいう。

ＰＴＺカメラを備えた監視システムにおいては、追尾対象を追尾する際のオペレータの操作性を向上させるために、様々な技術が開発されている。例えば、特許文献１には、広角で監視対象領域を撮影可能な広角カメラと、ＰＴＺカメラと、を備える監視システムにおいて、広角カメラで撮影した監視領域画像から移動体を検出するとともに、監視システムに自動追尾させる追尾対象をオペレータが指定する際に、検出した当該移動体が抽象化された抽象化画像が表示されたＧＵＩ（Graphical User Interface）を提供する技術が開示されている。当該ＧＵＩでは、抽象化画像内の所望の領域を自動追尾における追尾対象としてオペレータが指定することが可能である。特許文献１に記載の技術によれば、オペレータがより容易な操作によって自動追尾における追尾対象を指定できるとしている。

また、特許文献２には、ＰＴＺカメラからオペレータの下への画像データの伝送遅延が生じ得る環境において、当該オペレータの操作性を向上させるための技術が開示されている。具体的には、特許文献２に記載の技術では、オペレータ側に設置される表示装置の画面に、ＰＴＺカメラによる現在の撮影領域と、現在表示されている表示領域と、を重畳表示させる技術が開示されている。特許文献２に記載の技術によれば、上記の重畳表示を行うことにより、オペレータは、どの程度映像遅延が生じているのかを把握しやすくなるため、手動追尾における当該オペレータによるＰＴＺ制御に係る操作が容易になるとしている。

特開２００６−３３１８８号公報 特開２００８−３０１１９１号公報

しかし、特許文献１に記載の監視システムでは、カメラが複数台必要であり、また、これら複数のカメラをそれぞれ制御する制御システムを構築しなければならないため、実現のためのコストが高くなる。また、追尾対象の候補となり得る移動体の検出精度が、広角カメラの解像度に依存するため、例えば遠方を監視する際には高精度な移動体の検出が困難になる恐れがある。また、特許文献２に記載の監視システムは、手動追尾におけるオペレータの作業負荷の軽減を対象としたものであり、自動追尾については考慮されていない。

上記事情に鑑みれば、ＰＴＺカメラを備える監視システムにおいては、上記のような不都合を生じさせることなく、オペレータの操作性を向上させることが可能な技術が求められていた。そこで、本開示では、オペレータの操作性をより向上させることが可能な、新規かつ改良された演算処理装置及び演算処理方法を提案する。

本開示によれば、撮像部のパン、チルト及びズームの少なくともいずれかが外部の入力装置を介した指示に従って制御されて追尾対象が追尾される手動追尾モードにおいて、前記撮像部によって撮影された撮影対象領域の画像の中から前記追尾対象を推定する追尾対象推定部、を備える、演算処理装置が提供される。

また、本開示によれば、プロセッサが、撮像部のパン、チルト及びズームの少なくともいずれかが外部の入力装置を介した指示に従って制御されて追尾対象が追尾される手動追尾モードにおいて、前記撮像部によって撮影された撮影対象領域の画像の中から前記追尾対象を推定すること、を含む、演算処理方法が提供される。

本開示によれば、手動追尾モードにおいてオペレータが手動でカメラのパン、チルト及び／又はズームを操作して追尾対象を追尾している最中に、その追尾対象が推定される。従って、手動追尾モードから自動追尾モードに移行する際に、その推定された追尾対象をそのまま自動追尾モードにおける追尾対象として指定することができる。よって、オペレータが煩雑な操作を行わなくても自動追尾モードにおける追尾対象として指定することができるようになるため、当該オペレータの操作性をより向上させることができる。

以上説明したように本開示によれば、オペレータの操作性をより向上させることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

本実施形態に係る監視システムの概略構成を示すブロック図である。 本実施形態に係る監視システムを用いて追尾対象を追尾する際のオペレータの操作について説明するための図である。 本実施形態に係る監視システムを用いて追尾対象を追尾する際のオペレータの操作について説明するための図である。 本実施形態に係る監視システムを用いて追尾対象を追尾する際のオペレータの操作について説明するための図である。 本実施形態に係る演算処理方法の処理手順の一例を示すフロー図である。 本実施形態に係る演算処理方法の処理手順の一例を示すフロー図である。 本実施形態に係る演算処理方法の処理手順の一例を示すフロー図である。 本実施形態に係る演算処理方法の処理手順の一例を示すフロー図である。 追尾対象の推定処理の一例である、色を用いた追尾対象の推定処理の処理手順を示すフロー図である。 追尾対象の推定処理の一例である、移動体の検出による追尾対象の推定処理の処理手順を示すフロー図である。 装置構成が異なる変形例に係る監視システムの概略構成を示すブロック図である。 電子的なＰＴＺカメラを備える変形例に係る監視システムの概略構成を示すブロック図である。 ドローンを備える変形例に係る監視システムの概略構成を示すブロック図である。 ドローンを備える変形例に係る演算処理方法の処理手順の一例を示すフロー図である。 ドローンを備える変形例に係る演算処理方法の処理手順の一例を示すフロー図である。

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示に至った背景
２．監視システムの構成
３．演算処理方法
３−１．手動追尾モード
３−１−１．カメラの駆動に係る演算処理方法
３−１−２．表示画像データの生成に係る演算処理方法
３−２．自動追尾モード
３−２−１．カメラの駆動に係る演算処理方法
３−２−２．表示画像データの生成に係る演算処理方法
４．追尾対象の推定処理
４−１．色による追尾対象の推定処理
４−２．移動体の検出による追尾対象の推定処理
４−３．その他の追尾対象の推定処理
５．変形例
５−１．装置構成が異なる変形例
５−２．電子的なＰＴＺカメラを備える変形例
５−３．ドローンを備える変形例
５−３−１．監視システムの構成
５−３−２．演算処理方法
５−３−２−１．手動追尾モードでのドローンの機体の動作に係る演算処理方法
５−３−２−２．自動追尾モードでのドローンの機体の動作に係る演算処理方法
６．補足

（１．本開示に至った背景）
本開示の好適な実施形態について説明するに先立ち、本発明者らが本開示に想到した背景について説明する。

近年、監視カメラの普及が爆発的に伸びており、年間に撮影される映像の記録時間は、既に１兆時間を超えていると言われている。この流れは今後も加速する傾向にあり、数年後には現在の数倍の記録時間に達すると予測されている。

監視カメラの中でも、ＰＴＺカメラは、広域を監視する際等に用いられている。ＰＴＺカメラでは、オペレータによる手動での操作に応じてＰＴＺ制御が行われ、追尾対象が追尾される。なお、本明細書において、追尾とは、ＰＴＺカメラの画角の中に追尾対象を捉えるように、当該ＰＴＺカメラのＰＴＺ制御が行われることをいう。また、上記のような、オペレータによる手動での操作に応じたパン、チルト及び／又はズームの制御値（以下、ＰＴＺ制御値ともいう）に従ってＰＴＺ制御が行われ、追尾対象を追尾する追尾モードのことを、本明細書では手動追尾モードという。

一方、近年、オペレータの作業負荷を軽減するために、画像解析技術を用いて、監視領域画像中の指定した人物又は物体を自動的に追尾する機能を有するものが登場している。このような、指定された追尾対象を追尾するようにプロセッサによって算出されたＰＴＺ制御値に従ってＰＴＺ制御が行われ、追尾対象を追尾する追尾モードのことを、本明細書では自動追尾モードという。

しかしながら、自動追尾モードにおいては、追尾対象が障害物や他の移動物体と交差することや、街灯等の照明変動に起因して、自動追尾が失敗するケースが多く、完全な自動追尾が実現されているとは言い難い状況にある。従って、自動追尾が失敗した際には、一旦追尾モードを手動追尾モードに切り替え、オペレータが手動でパン、チルト及び／又はズームを操作し、追尾対象が画角に収まるように調整したのち、再度追尾モードを自動追尾モードに切り替えることが行われている。このようなオペレータによる手動追尾モードから自動追尾モードへの切り替え操作について、下記の不都合が生じている。

多くのＰＴＺカメラにおいては、自動追尾モードにおける追尾対象をオペレータが指定する際に、ＰＴＺカメラによって撮影された監視領域画像から移動体を検出し、当該監視領域画像内の当該移動体に対して枠を重畳して表示させるＧＵＩが提供されている。オペレータが、その表示画面に表示されている枠の中のいずれかを選択することにより、追尾対象が指定される。このとき、移動体の検出は、カメラが静止している場合にのみ行われることが一般的であるため、手動追尾モードから自動追尾モードに追尾モードを切り替える際には、オペレータは、以下の手順を踏む必要がある。

すなわち、まず、手動での操作を停止し、ＰＴＺカメラを静止させる。次に、移動体の検出が精度良く行われるまでしばらくそのまま待機する（一般的に、精度の良い検出結果が得られるようになるまでには数秒を要する）。そして、表示された追尾対象の候補を示す枠のうちのいずれかを指定する。

このような操作は、オペレータにとって煩雑であるだけでなく、追尾モードの切り替えの間に追尾対象がフレームアウトしてしまい、撮り逃しを生じさせる恐れがある。

また、ネットワーク越しに監視している場合には、映像遅延が生じ得る。すなわち、現在のＰＴＺカメラによる撮影領域と、オペレータ側の表示装置に表示されている表示領域との間に差が生じ得る。ここで、一般的に、検出した移動体に重畳表示される枠にはＩＤが割り当てられており、当該ＩＤによってオペレータが指定した枠が同定されるシステムになっていることが多いが、当該ＩＤは人物又は物体の移動により比較的変動しやすい。従って、上記のような映像遅延が生じている場合には、現在ＰＴＺカメラが撮影している監視領域画像と、オペレータ側の表示装置に表示されている監視領域画像とで、同一の移動体に対して異なるＩＤを有する枠が割り当てられてしまうことがある。かかる状況においては、オペレータが指定した枠が、実際に撮影されている監視領域画像内には存在しないと判定されることとなり、自動追尾を開始することができなくなってしまう。この場合には、オペレータは、追尾対象を指定する操作を、追尾対象が正常に指定されるまで繰り返し行わなくてはいけないため、オペレータの負担が増大する恐れがある。

一方、他のＧＵＩとして、オペレータが直接マウスドラッグ等により画面上に矩形を描くことにより、自動追尾モードにおける追尾対象を指定可能なものも存在する。しかしながら、手動でパン、チルト及び／又はズームを操作している最中に矩形指定を精度良く行うことは困難である。

ここで、例えば、上述したように、特許文献１には、手動モードから自動モードへの切り替え時におけるオペレータの作業負荷の軽減を目的とした技術が開示されているが、当該技術では、以上説明した不都合を十分に解消し得るとは言い難い。具体的には、特許文献１に記載の技術は、自動追尾させる追尾対象をオペレータが指定する際のＧＵＩに関するものであるが、当該技術では、撮影した画像から移動体を検出し、検出した当該移動体をオペレータに対して追尾対象の候補として提示している。従って、上記の移動体の検出処理を精度良く行うために一定時間待機しなくてはならない点や、映像遅延に起因して追尾対象の指定が上手く機能しない点は解消し得ないと考えられる。

以上、一般的な既存の技術について本発明者らが検討した結果について説明した。以上説明した検討結果に鑑みれば、ＰＴＺカメラを備える監視システムにおいては、自動追尾モードにおける追尾対象の指定をより正確に、より簡易に行うことを可能にすることにより、オペレータの操作性をより向上させるための技術が求められていた。このような要望を実現するための技術について鋭意検討した結果、本発明者らは本開示に想到したものである。以下では、本発明者らが想到した本開示の好適な実施形態について具体的に説明する。

（２．監視システムの構成）
図１を参照して、本開示の一実施形態に係る監視システムの構成について説明する。図１は、本実施形態に係る監視システムの概略構成を示すブロック図である。

図１を参照すると、本実施形態に係る監視システム１は、カメラ１１０と、表示装置１２０と、追尾モード切り替え入力装置１３０と、ＰＴＺ操作入力装置１４０と、を備える。カメラ１１０はＰＴＺカメラであり、オペレータによる手動での操作に応じて、又は自動で、ＰＴＺ制御が可能である。このように、監視システム１は、ＰＴＺカメラを備える監視システムである。

監視システム１を構成する装置のうち、カメラ１１０は、監視対象領域を撮影し得る場所に設置され、表示装置１２０、追尾モード切り替え入力装置１３０及びＰＴＺ操作入力装置１４０は、オペレータが監視業務を行う場所に設置される。このように、カメラ１１０と、その他の装置とは、互いに離れた場所に設置され、ネットワークを介して互いに通信可能に接続されている。

表示装置１２０は、オペレータから視認される位置に設置され、後述するカメラ１１０の表示画像データ生成部１１９からの制御により、当該表示画像データ生成部１１９によって生成された表示画像データに基づいて、カメラ１１０によって撮影された監視領域画像を表示する。また、表示装置１２０は、同じく表示画像データ生成部１１９からの制御により、当該表示画像データ生成部１１９によって生成された表示画像データに基づいて、手動追尾モード又は自動追尾モードで追尾対象を追尾している最中に、当該追尾対象を示す枠（後述する追尾対象推定枠４０３又は追尾対象表示枠４０５）を、監視領域画像に重畳して表示する。表示装置１２０の種類は限定されず、表示装置１２０としては、液晶表示装置、プラズマ表示装置、有機ＥＬ（electroluminescence）表示装置等、各種の公知の表示装置が用いられてよい。

追尾モード切り替え入力装置１３０は、オペレータが追尾モードを手動追尾モード又は自動追尾モードに切り替える旨の指示を後述するカメラ１１０の演算処理装置１１４に対して入力するための入力装置である。本実施形態では、追尾モード切り替え入力装置１３０としては、例えばボタン等、ワンアクションでその切り替えの指示を入力可能なものが用いられる。これにより、オペレータは、煩雑な操作を行うことなく、より簡易な操作によって追尾モードを切り替えることが可能になる。

ＰＴＺ操作入力装置１４０は、手動追尾モードにおいて、オペレータがカメラ１１０のパン、チルト及び／又はズームを操作する旨の指示を後述するカメラ１１０の演算処理装置１１４に入力するための装置である。オペレータによるＰＴＺ操作入力装置１４０を介した操作に応じて、カメラ１１０のＰＴＺ制御が行われ、カメラ１１０の画角が調整される。具体的には、ＰＴＺ操作入力装置１４０としては、ジョイスティック等が用いられ得る。ただし、本実施形態はかかる例に限定されず、ＰＴＺ操作入力装置１４０としては、一般的にＰＴＺカメラを備える監視システムにおいて手動での追尾時における操作に用いられている各種の入力装置が適用されてよい。

なお、図１に示す構成例では、追尾モード切り替え入力装置１３０とＰＴＺ操作入力装置１４０を別個の装置として示しているが、実際には、これらは１つの入力装置として構成されてもよい。

カメラ１１０は、撮像部１１１と、駆動機構１１２と、メモリ１１３と、演算処理装置１１４と、を有する。

撮像部１１１は、撮像素子、当該撮像素子に観察光を集光する光学系、及び当該撮像素子によって得られた画像信号に対して各種の画像処理を施す処理回路等から構成される。

撮像素子は、光学系によって集光された観察光を光電変換することにより、観察光に対応する電気信号、すなわち観察像（監視領域画像）に対応する画像信号を生成する。なお、当該撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等、各種の公知の撮像素子であってよい。

光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。光学系の光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。

処理回路は、撮像素子によって取得された画像信号に対して各種の画像処理を施すことにより、例えばＪＰＥＧ等の所定のデータ形式を有する画像データを生成する。ここで、生成される画像データのデータ形式は、一般的にＰＴＺカメラにおいて用いられている各種の公知のものであってよい。また、画像データの生成方法としては、そのデータ形式に応じた各種の公知の方法が用いられてよいため、ここではその詳細な処理内容についての説明を省略する。処理回路によって生成された画像データは、メモリ１１３に格納される。

なお、撮像部１１１の具体的な構成は特に限定されず、一般的なＰＴＺカメラにおいて用いられている各種の構成が適用されてよい。

ここで、本実施形態では、後述するように、表示画像データ生成部１１９が、撮像部１１１の処理回路においた生成された画像データに基づいて、実際に表示装置１２０に表示させる画像データを生成する。本明細書では、区別のため、撮像部１１１によって生成される画像データのことを撮像画像データともいい、表示画像データ生成部１１９によって生成され表示装置１２０に表示される画像データのことを表示画像データともいうこととする。

駆動機構１１２は、カメラ１１０のパン、チルト及びズームを変更するためのモータ等の駆動機構である。なお、図１では、便宜的に駆動機構１１２から撮像部１１１に伸びる矢印しか図示していないが、実際には駆動機構１１２は、カメラ１１０が載置されている雲台等、パン、チルト及びズームの調整に係るカメラ１１０の各部を動作させることが可能である。具体的には、駆動機構１１２は、後述する演算処理装置１１４の駆動制御部１１７からの制御により、撮像部１１１の光学系のズームレンズや、当該雲台等を動作させ、カメラ１１０のパン、チルト及びズームを変更する。駆動機構１１２の具体的な構成は特に限定されず、一般的なＰＴＺカメラにおいて用いられている各種の構成が適用されてよい。

メモリ１１３は、撮像部１１１によって生成された撮像画像データを格納する記憶素子である。メモリ１１３は、後述する演算処理装置１１４の追尾対象推定部１１８による追尾対象の推定処理、及び表示画像データ生成部１１９による表示画像データの生成処理を行うために必要な、所定の時間分（所定のフレーム分）の撮像画像データを一時的に記憶可能である。メモリ１１３は、撮像画像データを随時更新しながら、最新の撮像画像データを含む上記所定の時間分の撮像画像データを記憶する。

演算処理装置１１４は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のプロセッサによって構成され、所定の処理を実行することにより、監視システム１の動作を統合的に制御する。演算処理装置１１４は、その機能として、追尾モード設定部１１５と、自動追尾ＰＴＺ制御値算出部１１６と、駆動制御部１１７と、追尾対象推定部１１８と、表示画像データ生成部１１９と、を有する。演算処理装置１１４を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、上記の各機能が実現される。

追尾モード設定部１１５は、追尾モード切り替え入力装置１３０を介して入力されるオペレータの指示に応じて、監視システム１における追尾モードを、手動追尾モードと自動追尾モードのいずれかに設定する。追尾モード設定部１１５は、設定した現在の追尾モードについての情報を、自動追尾ＰＴＺ制御値算出部１１６、駆動制御部１１７、追尾対象推定部１１８及び表示画像データ生成部１１９に提供する。自動追尾ＰＴＺ制御値算出部１１６、駆動制御部１１７、追尾対象推定部１１８及び表示画像データ生成部１１９では、追尾モード設定部１１５によって設定された追尾モードに応じた処理がそれぞれ実行される。

自動追尾ＰＴＺ制御値算出部１１６は、自動追尾モードにおいて、追尾対象を追尾するためのカメラ１１０のＰＴＺ制御値を算出する。具体的には、自動追尾ＰＴＺ制御値算出部１１６は、メモリ１１３に格納されている撮像画像データから、画像解析により追尾対象、並びに当該追尾対象の移動方向及び移動速度等を抽出し、当該追尾対象が画角の中に含まれるように、ＰＴＺ制御値を算出する。ここで、本実施形態では、当該追尾対象は、追尾モードが自動追尾モードに切り替えられる際に、追尾対象推定部１１８によって推定されている追尾対象として指定される。この追尾対象の指定方法については、図２−図４を参照して後述する。本実施形態では、自動追尾モードにおけるＰＴＺ制御値の算出方法としては、一般的なＰＴＺカメラにおいて用いられている各種の公知の方法が適用されてよいため、ここではその詳細な処理内容についての説明を省略する。自動追尾ＰＴＺ制御値算出部１１６は、算出したＰＴＺ制御値についての情報を、駆動制御部１１７に提供する。

駆動制御部１１７は、駆動機構１１２の駆動を制御し、追尾対象を追尾するようにカメラ１１０のパン、チルト及び／又はズームを変更させる。駆動制御部１１７は、手動追尾モードにおいては、ＰＴＺ操作入力装置１４０を介して入力されるオペレータの指示に応じたＰＴＺ制御値に従って、駆動機構１１２を駆動させる。一方、駆動制御部１１７は、自動追尾モードにおいては、自動追尾ＰＴＺ制御値算出部１１６によって算出されたＰＴＺ制御値に従って、駆動機構１１２を駆動させる。

追尾対象推定部１１８は、手動追尾モードにおいてオペレータの操作に従って追尾対象が追尾されている最中に、メモリ１１３に格納されている撮像画像データに基づいて、カメラ１１０によって撮影された監視対象領域の画像の中からその追尾対象を推定する。追尾対象推定部１１８による追尾対象の推定の具体的な方法は限定されず、各種の方法が用いられ得る。追尾対象推定部１１８によって行われる追尾対象の推定処理の詳細については、下記（４．追尾対象の推定処理）で改めて説明する。追尾対象推定部１１８は、推定した追尾対象についての情報（具体的には、監視領域画像内における追尾対象に対応する領域についての情報）を、表示画像データ生成部１１９に提供する。また、追尾対象推定部１１８は、追尾モード設定部１１５から提供される情報に基づいて、追尾モードが手動追尾モードから自動追尾モードに切り替えられたことを把握した場合には、そのタイミングで推定している追尾対象についての情報を、自動追尾ＰＴＺ制御値算出部１１６に提供する。自動追尾ＰＴＺ制御値算出部１１６は、この追尾モードが手動追尾モードから自動追尾モードに切り替えられた際に推定されていた追尾対象を、自動追尾モードにおける追尾対象とみなして、自動追尾のためのＰＴＺ制御値を算出する。

表示画像データ生成部１１９は、表示装置１２０に表示させる画像データを生成する。具体的には、表示画像データ生成部１１９は、自動追尾モードにおいては、メモリ１１３に格納されている撮像画像データに基づいて、監視領域画像に追尾対象を示す枠（以下、追尾対象表示枠ともいう）が重畳された画像データとして、表示画像データを生成する。なお、自動追尾モードにおいて監視領域画像内で追尾対象に対応する領域を特定する処理、及び監視領域画像において特定した追尾対象に対応する領域に対して枠を重畳する処理は、各種の公知の方法を用いて実行可能であるため、ここではその詳細な処理内容についての説明を省略する。ただし、本実施形態はかかる例に限定されず、本実施形態では、自動追尾モードにおける表示画像に、追尾対象表示枠は必ずしも表示されなくてもよい。つまり、表示画像データ生成部１１９は、自動追尾モードにおいて、メモリ１１３に格納されている撮像画像データをそのまま表示画像データとしてもよい。また、例えば障害物で追尾対象が遮られてしまった場合等、監視領域画像内で追尾対象を認識できなくなってしまった場合にも、表示画像データ生成部１１９は、追尾対象表示枠を生成することなく、撮像画像データをそのまま表示画像データとする。

一方、表示画像データ生成部１１９は、手動追尾モードにおいては、メモリ１１３に格納されている撮像画像データと、追尾対象推定部１１８によって推定された追尾対象についての情報と、に基づいて、監視領域画像に推定された追尾対象を示す枠（以下、追尾対象推定枠ともいう）が重畳された画像データとして、表示画像データを生成する。ここで、オペレータが視覚的に追尾対象表示枠と追尾対象推定枠とを判別可能なように、表示画像データ生成部１１９は、追尾対象表示枠及び追尾対象推定枠を、互いに異なる視覚的な様態を有する枠として生成する。例えば、追尾対象表示枠及び追尾対象推定枠は、互いに異なる色及び／又は形等を有するように生成される。ただし、本実施形態はかかる例に限定されず、本実施形態では、追尾対象表示枠及び追尾対象推定枠は、同一の視覚的様態を有するように生成されてもよい。

表示画像データ生成部１１９は、生成した表示画像データを表示装置１２０に送信するとともに、当該表示装置１２０の駆動を制御し、当該表示装置１２０に当該表示画像データに基づく画像を表示させる。これにより、表示装置１２０に、自動追尾モードにおいては監視領域画像に追尾対象表示枠が重畳された画像が表示され、手動追尾モードにおいては監視領域画像に追尾対象推定枠が重畳された画像が表示される。

ここで、上記のように、本実施形態では、監視システム１は、手動追尾モードにおいてオペレータが追尾モード切り替え入力装置１３０を介して追尾モードを自動追尾モードに切り替える旨の指示を入力した際に、追尾対象推定枠が付されている人物又は物体（すなわち、追尾対象推定部１１８が推定した追尾対象）が、自動追尾モードにおける追尾対象として指定されるように構成される。かかる構成によれば、オペレータは、追尾モードを手動追尾モードから自動追尾モードに切り替える旨の操作を行うだけで、同時に自動追尾モードにおける追尾対象を指定することができる。そして、この切り替え操作は、例えばボタンを押下するといったワンアクションでの操作によって実行可能である。従って、オペレータは、より簡便な操作で、より容易に自動追尾モードにおける追尾対象を指定することが可能になる。

図２−図４を参照して、監視システム１を用いて追尾対象を追尾する際のオペレータの操作について詳細に説明する。図２−図４は、監視システム１を用いて追尾対象を追尾する際のオペレータの操作について説明するための図である。図２−図４では、監視システム１において表示装置１２０に表示される画像を模擬的に示している。

今、手動追尾モードにおいて、オペレータが、ＰＴＺ操作入力装置１４０を介した操作によってカメラ１１０のＰＴＺ制御を行い、ある人物４０１を追尾しているとする。この場合、図２に示すように、表示装置１２０には、監視領域画像において当該人物４０１に、追尾対象推定部１１８によって推定された追尾対象を示す追尾対象推定枠４０３が重畳された画像が表示される。

この状態で、図示するように自身が追尾している人物４０１が適切に推定されている場合（すなわち、自身が追尾している人物４０１に追尾対象推定枠４０３が付されている場合）には、オペレータは、追尾モード切り替え入力装置１３０を介して追尾モードを自動追尾モードに切り替える旨の指示を入力する。この指示の入力に応じて、追尾モードが自動追尾モードに切り替えられるとともに、追尾対象推定枠４０３が付されていた人物４０１が、自動追尾モードにおける追尾対象として指定される。そして、自動追尾ＰＴＺ制御値算出部１１６によって各種の公知の方法を用いて自動追尾のためのカメラ１１０のＰＴＺ制御値が算出され、当該ＰＴＺ制御値に従って自動的に人物４０１の追尾が実行される。

この自動追尾モードで人物４０１を追尾している最中には、図３に示すように、表示装置１２０には、監視領域画像において当該人物４０１に追尾対象表示枠４０５が重畳された画像が表示される。この際、図示する例では、図２に示す追尾対象推定枠４０３と、図３に示す追尾対象表示枠４０５とは、互いに異なる色を有する枠として表示されている。従って、オペレータは、現在表示されている枠の種類、及び現在の追尾モードを、視覚的に、直感的に把握することができる。

なお、手動追尾モードにおいて、自身が追尾している人物４０１が適切に推定されていない場合（すなわち、自身が追尾している人物４０１に追尾対象推定枠４０３が付されていない場合）には、オペレータは、追尾対象推定枠４０３が適切に表示されるまで、手動での追尾を続行すればよい。

自動追尾モードで人物４０１を追尾している最中に、図４に示すように、例えば街路樹等の障害物に遮られて、演算処理装置１１４が当該人物４０１を監視領域画像内から認識できなくなってしまった場合には、追尾対象表示枠４０５の表示が消滅する。この場合には、オペレータは、追尾対象表示枠４０５の表示が消滅したことによって自動追尾が失敗したことを認識し、追尾モード切り替え入力装置１３０を介して追尾モードを手動追尾モードに切り替える旨の指示を入力する。そして、手動追尾モードにおいて、自身の操作によって人物４０１の追尾を続行する。以降、以上説明した操作を繰り返すことにより、人物４０１の追尾が行われる。

以上、監視システム１の構成について説明した。以上説明したように、本実施形態では、手動追尾モードにおいて、オペレータが手動で追尾している追尾対象が推定される。また、推定した当該追尾対象に対して追尾対象推定枠が重畳された監視領域画像が、オペレータに対して表示される。そして、手動追尾モードにおいてオペレータが追尾モードを自動追尾モードに切り替える旨の指示を入力した際に、追尾対象推定枠が付されている人物又は物体が、自動追尾モードにおける追尾対象として指定される。

ここで、上記（１．本開示に至った背景）で説明したように、一般的な既存の技術では、自動追尾モードにおける追尾対象を指定する操作が煩雑であるために、オペレータの作業負荷が大きい、当該追尾対象を正確に指定できない、及び、当該追尾対象の指定に時間を要することにより当該追尾対象を撮り逃す、等の不都合が生じる恐れがあった。これに対して、本実施形態に係る監視システム１によれば、上記のような構成を有することにより、オペレータの簡易な操作によって自動追尾モードにおける追尾対象をより正確に指定することができ、手動追尾モードから自動追尾モードへの切り替えをシームレスに行うことが可能となる。よって、オペレータの操作性を向上させるとともに、追尾モードの切り替えに伴う追尾対象の撮り逃しを生じさせないことが可能となる。

（３．演算処理方法）
図５−図８を参照して、本実施形態に係る演算処理方法の処理手順について説明する。図５−図８は、本実施形態に係る演算処理方法の処理手順の一例を示すフロー図である。ここで、図５−図８に示す各処理は、上述した図１に示す監視システム１の演算処理装置１１４によって実行される処理に対応している。これらの各処理の詳細については、監視システム１の機能構成について説明する際に既に説明しているため、以下の演算処理方法の処理手順についての説明では、各処理についての詳細な説明は割愛する。

以下、手動追尾モード及び自動追尾モードのそれぞれの場合における演算処理方法について、順に説明する。

（３−１．手動追尾モード）
（３−１−１．カメラの駆動に係る演算処理方法）
図５は、手動追尾モードでのカメラ１１０の駆動に係る演算処理方法の処理手順を示している。図５を参照すると、手動追尾モードでのカメラ１１０の駆動に係る演算処理方法では、まず、オペレータの操作に応じたＰＴＺ制御値に従って、カメラ１１０が駆動される（ステップＳ１０１）。つまり、手動での追尾対象の追尾が行われる。ステップＳ１０１に示す処理は、図１に示す駆動制御部１１７が、ＰＴＺ操作入力装置１４０を介して入力されるオペレータの指示に応じたＰＴＺ制御値に従って、駆動機構１１２を駆動させる処理に対応している。

次に、追尾モードを自動追尾モードに切り替える旨の指示が入力されたかどうかが判断される（ステップＳ１０３）。ステップＳ１０３に示す処理は、図１に示す追尾モード設定部１１５によって実行される処理に対応している。当該指示の入力がなかった場合には、追尾モードは切り替えられないため、一連の処理を終了し、次にオペレータから入力される指示に応じてステップＳ１０１以降の処理が繰り返し実行される。

一方、ステップＳ１０３で追尾モードを自動追尾モードに切り替える旨の指示の入力があった場合には、当該指示に従って追尾モード設定部１１５によって追尾モードが切り替えられ、自動追尾モードに移行する。自動追尾モードでは、後述する図７及び図８に示す処理が実行される。

（３−１−２．表示画像データの生成に係る演算処理方法）
図６は、手動追尾モードでの表示画像データの生成に係る演算処理方法の処理手順を示している。なお、図６に示す一連の処理を実行している間には、図５に示す一連の処理（すなわち、手動での追尾処理）が随時行われている。また、図６に示す一連の処理は、カメラ１１０によって撮影される１フレーム分の撮像画像データに対応する処理に対応している。

図６を参照すると、手動追尾モードでの表示画像データの生成に係る演算処理方法では、まず、手動での追尾中に撮像画像データが取得される（ステップＳ２０１）。ステップＳ２０１に示す処理は、図１に示す撮像部１１１によって手動での追尾中に随時生成され、メモリ１１３に格納された撮像画像データを、追尾対象推定部１１８及び表示画像データ生成部１１９が取得する処理に対応している。

次に、手動での追尾中に取得された撮像画像データに基づいて、追尾対象が推定される（ステップＳ２０３）。ステップＳ２０３に示す処理は、図１に示す追尾対象推定部１１８によって実行される処理に対応している。

次に、監視領域画像に追尾対象推定枠が重畳された表示画像データが生成される（ステップＳ２０５）。ステップＳ２０５に示す処理は、図１に示す表示画像データ生成部１１９によって実行される処理に対応している。

次に、追尾モードを自動追尾モードに切り替える旨の指示が入力されたかどうかが判断される（ステップＳ２０７）。ステップＳ２０７に示す処理は、図１に示す追尾モード設定部１１５によって実行される処理に対応している。ステップＳ２０７で当該指示の入力がなかった場合には、追尾モードは切り替えられないため、一連の処理を終了し、次フレームに対してステップＳ２０１以降の処理が繰り返し実行される。

一方、ステップＳ２０７で追尾モードを自動追尾モードに切り替える旨の指示の入力があった場合には、当該指示に従って追尾モード設定部１１５によって追尾モードが切り替えられ、自動追尾モードに移行する。自動追尾モードでは、後述する図７及び図８に示す処理が実行される。

（３−２．自動追尾モード）
（３−２−１．カメラの駆動に係る演算処理方法）
図７は、自動追尾モードでのカメラ１１０の駆動に係る演算処理方法の処理手順を示している。図７を参照すると、自動追尾モードでのカメラ１１０の駆動に係る演算処理方法では、まず、撮像画像データに基づいて、追尾対象を自動追尾するためのＰＴＺ制御値が算出される（ステップＳ３０１）。ステップＳ３０１に示す処理は、図１に示す自動追尾ＰＴＺ制御値算出部１１６によって実行される処理に対応している。

次に、算出されたＰＴＺ制御値に従って、カメラ１１０が駆動される（ステップＳ３０３）。つまり、自動での追尾対象の追尾が行われる。ステップＳ３０３に示す処理は、図１に示す駆動制御部１１７が、自動追尾ＰＴＺ制御値算出部１１６によって算出されるＰＴＺ制御値に従って、駆動機構１１２を駆動させる処理に対応している。

次に、追尾モードを手動追尾モードに切り替える旨の指示が入力されたかどうかが判断される（ステップＳ３０５）。ステップＳ３０５に示す処理は、図１に示す追尾モード設定部１１５によって実行される処理に対応している。当該指示の入力がなかった場合には、追尾モードは切り替えられないため、一連の処理を終了し、次にＰＴＺ制御値が算出されるタイミングでステップＳ３０１以降の処理が繰り返し実行される。なお、ＰＴＺ制御値が算出される間隔は、撮像画像データが生成されるフレームレートと同様であってもよいし、当該フレームレートよりも遅い任意の間隔であってもよい。

一方、ステップＳ３０５で追尾モードを手動追尾モードに切り替える旨の指示の入力があった場合には、当該指示に従って追尾モード設定部１１５によって追尾モードが切り替えられ、手動追尾モードに移行する。手動追尾モードでは、上述した図５及び図６に示す処理が実行される。

（３−２−２．表示画像データの生成に係る演算処理方法）
図８は、自動追尾モードでの表示画像データの生成に係る演算処理方法の処理手順を示している。なお、図８に示す一連の処理を実行している間には、図７に示す一連の処理（すなわち、自動での追尾処理）が随時行われている。また、図８に示す一連の処理は、カメラ１１０によって撮影される１フレーム分の撮像画像データに対応する処理に対応している。

図８を参照すると、自動追尾モードでの表示画像データの生成に係る演算処理方法では、まず、自動での追尾中に撮像画像データが取得される（ステップＳ４０１）。ステップＳ４０１に示す処理は、図１に示す撮像部１１１によって自動での追尾中に随時生成され、メモリ１１３に格納された撮像画像データを、表示画像データ生成部１１９が取得するに対応している。

次に、自動での追尾中に取得された撮像画像データに基づいて、監視領域画像に追尾対象表示枠が重畳された表示画像データが生成される（ステップＳ４０３）。ステップＳ４０３に示す処理は、図１に示す表示画像データ生成部１１９によって実行される処理に対応している。

次に、追尾モードを手動追尾モードに切り替える旨の指示が入力されたかどうかが判断される（ステップＳ４０５）。ステップＳ４０５に示す処理は、図１に示す追尾モード設定部１１５によって実行される処理に対応している。ステップＳ４０５で当該指示の入力がなかった場合には、追尾モードは切り替えられないため、一連の処理を終了し、次フレームに対してステップＳ４０１以降の処理が繰り返し実行される。

一方、ステップＳ４０７で追尾モードを手動追尾モードに切り替える旨の指示の入力があった場合には、当該指示に従って追尾モード設定部１１５によって追尾モードが切り替えられ、手動追尾モードに移行する。手動追尾モードでは、上述した図５及び図６に示す処理が実行される。

以上、本実施形態に係る演算処理方法の処理手順について説明した。

（４．追尾対象の推定処理）
図１に示す追尾対象推定部１１８が行う追尾対象の推定処理の詳細について説明する。本実施形態では、追尾対象推定部１１８は、以下のいずれかの方法に従って、手動での追尾中に追尾対象を推定することができる。

（４−１．色による追尾対象の推定処理）
追尾対象推定部１１８は、監視領域画像において、前景領域の中で周囲と色が異なる領域を追尾対象が存在する領域と推定することができる。図９は、このような、追尾対象の推定処理の一例である、色を用いた追尾対象の推定処理の処理手順を示すフロー図である。なお、図９に示す追尾対象の推定処理では、手動での追尾中には、追尾対象は画角内の略中央に存在し続けていること、及び追尾対象は周囲の背景とは異なる色を有すること、の２点を前提として、追尾対象が推定される。

図９を参照すると、色を用いた追尾対象の推定処理では、まず、撮像画像データが取得され、バッファしている所定のフレーム分の撮像画像データ（フレームバッファ）が最新のものに更新される（ステップＳ５０１）。ステップＳ５０１に示す処理は、図１に示す撮像部１１１によって手動での追尾中に随時生成され、メモリ１１３に格納された撮像画像データを、追尾対象推定部１１８が取得し、フレームバッファを更新する処理に対応している。

次に、前景領域及び後景領域の色ヒストグラムが算出される（ステップＳ５０３）。具体的な色ヒストグラムの算出処理としては、各種の公知の方法が用いられてよい。ここで、前景領域は、画角の中心から所定の範囲の領域として予め設定されている。また、後景領域は、当該前景領域の周囲の所定の範囲の領域として予め設定されている。この前景領域及び後景領域の設定は、上述した追尾対象は画角内の略中央に存在し続けているとの前提に基づくものである。

次に、算出された色ヒストグラムに基づいて、前景領域の中から、前景領域の方により多く存在する色を含む領域が抽出される（ステップＳ５０５）。そして、抽出された領域の最外矩形が、追尾対象推定枠として画定される（ステップＳ５０７）。これらの処理は、上述した追尾対象は周囲の背景とは異なる色を有するとの前提に基づくものである。

（４−２．移動体の検出による追尾対象の推定処理）
追尾対象推定部１１８は、監視領域画像内で検出された移動体を前記追尾対象と推定することができる。図１０は、このような、追尾対象の推定処理の一例である、移動体の検出による追尾対象の推定処理の処理手順を示すフロー図である。なお、図１０に示す追尾対象の推定処理では、手動での追尾中には追尾対象は画角内の略中央に存在し続けていることを前提として、追尾対象が推定される。

図１０を参照すると、移動体の検出による追尾対象の推定処理では、まず、撮像画像データが取得され、バッファしている所定のフレーム分の撮像画像データ（フレームバッファ）が最新のものに更新される（ステップＳ６０１）。ステップＳ６０１に示す処理は、図１に示す撮像部１１１によって手動での追尾中に随時生成され、メモリ１１３に格納された撮像画像データを、追尾対象推定部１１８が取得し、フレームバッファを更新する処理に対応している。

次に、バッファしたフレーム間で監視領域画像の位置合わせが行われる（ステップＳ６０３）。

次に、位置合わせされた監視領域画像について、フレーム間での差分が算出される（ステップＳ６０５）。

次に、算出されたフレーム間差分に基づいて、移動体に対応する領域が抽出される（ステップＳ６０７）。

そして、抽出された領域の中で、画角の中央付近に存在する領域の最外矩形が、追尾対象推定枠として画定される（ステップＳ６０９）。当該処理は、上述した追尾対象は画角内の略中央に存在し続けているとの前提に基づくものである。

（４−３．その他の追尾対象の推定処理）
その他、追尾対象推定部１１８は、以下に記載する方法によって追尾対象を推定してもよい。

例えば、追尾対象推定部１１８は、以上説明した推定処理に対して、画像認識処理を組み合わせてもよい。例えば、事前に追尾対象の視覚的な特徴（例えば、人物であれば顔、服装、体型等）を設定しておく。追尾対象推定部１１８は、撮像画像データに対して画像認識処理を行うことにより、監視領域画像内から、設定された特徴に適合する人物又は物体を追尾対象の候補として抽出する。そして、その抽出した追尾対象の候補の中から、上述した方法に従って、色、又は移動体の検出結果に基づいて最終的な追尾対象を推定する。当該方法によれば、事前に設定された外観的な特徴を有する人物又は物体以外は追尾対象として推定されないこととなるため、追尾対象の推定処理の精度をより向上させることが可能になる。

あるいは、例えば、追尾対象推定部１１８は、オペレータの「くせ」も加味して、追尾対象を推定してもよい。例えば、オペレータをＩＤによって管理し、現在手動で追尾を行っているオペレータを監視システム１が個別に認識可能にする。また、手動での追尾中におけるオペレータごとの操作の傾向をデータベース化しておく。当該操作の傾向のデータベースには、例えば、オペレータごとの手動での追尾中における画角内での追尾対象の大きさ、位置等についての情報が含まれ得る。そして、追尾対象推定部１１８は、追尾対象の推定処理を実行する際に、ＩＤによって現在手動で追尾を行っているオペレータを認識するとともに、上記データベースにアクセスすることにより、当該オペレータの操作の傾向を把握する。そして、その把握したオペレータの操作の傾向を加味して、上述した色を用いた追尾対象の推定処理又は移動体の検出による追尾対象の推定処理を実行する。

例えば、以上説明した色を用いた追尾対象の推定処理又は移動体の検出による追尾対象の推定処理では、画角の略中央に追尾対象が存在するとの前提の下に推定処理が行われていたが、現在手動で追尾を行っているオペレータが、画角の中央から比較的左に寄った位置において、画角の略１／４程度の大きさで追尾対象を捉える傾向が強いことが、データベースを介して把握されている場合には、追尾対象推定部１１８は、追尾対象が画角の中央から比較的左に寄った位置において上記の大きさを有するとの前提の下で、色、又は移動体の検出結果に基づいて追尾対象を推定する。当該方法によれば、オペレータごとの操作の「くせ」を考慮して追尾対象を推定することができるため、追尾対象の推定処理の精度をより向上させることが可能になる。

あるいは、上述した色を用いた追尾対象の推定処理及び移動体の検出による追尾対象の推定処理以外の方法として、追尾対象推定部１１８は、表示画像データにおける画像の見掛けの移動速度（すなわち、表示装置１２０に表示される画像の見掛けの移動速度）と、監視領域画像内での人物又は物体の移動速度との関係に基づいて、追尾対象を推定してもよい。具体的には、手動で追尾を行っている最中には、表示装置１２０に表示される画像内の略一定の位置に追尾対象が表示されるように、パン、チルト及び／又はズームが操作される場合が多いため、表示画像データにおける画像の見掛けの移動速度と、追尾対象となる移動体の移動速度とは略等しいと考えられる。従って、追尾対象推定部１１８は、表示画像データにおける画像の見掛けの移動速度と略等しく移動している人物又は物体（すなわち、表示装置１２０に表示される画像内において略一定の場所に存在し続ける人物又は物体）を、監視領域画像の中から抽出し、その抽出した人物又は物体を追尾対象として推定してもよい。

ここで、上記のいずれかの推定方法の結果、例えば画角の中央付近に移動体が複数存在する場合等、監視領域画像内において追尾対象の候補が複数推定される場合もあり得る。この場合、追尾対象推定部１１８は、適当な評価関数によってそれらの追尾対象の候補の確からしさを評価し、それらの中から最も適切なものを１つだけ選定して、最終的な追尾対象として推定する。例えば、追尾対象推定部１１８は、複数抽出された追尾対象の候補の中で、最も画角の中央に存在するものを最終的な追尾対象として推定する。このように、追尾対象推定部１１８が最終的な追尾対象を１つだけ選定することにより、オペレータに対して表示される追尾対象推定枠も１つだけになる。従って、上述したような、ワンアクションでの追尾対象の指定が可能となり、オペレータの操作性の向上が実現され得る。もしも追尾対象推定部１１８による推定が誤っており、オペレータの所望の人物又は物体に追尾対象推定枠が表示されなかった場合には、上述したように、追尾対象推定枠が適切に表示されるまで、追尾モードを切り替えずに手動での追尾を続行すればよい。

ただし、本実施形態はかかる例に限定されず、追尾対象推定部１１８が追尾対象の候補を複数推定した場合には、表示画像データ生成部１１９は、それらに対応して、複数の追尾対象推定枠を監視領域画像に重畳させてもよい。この場合、監視システム１では、オペレータに対して、これら複数の追尾対象推定枠の中から１つを選択し、自動追尾モードにおける追尾対象を指定するＧＵＩが提供され得る。当該ＧＵＩによれば、複数の追尾対象推定枠の中から１つを選択する操作が要求される分、上記のワンアクションでの操作に比べて追尾対象の指定に係るオペレータの操作の手間は増大するが、上述したような追尾対象推定枠が適切に表示されるまで手動での追尾を続行する作業を行う必要はなくなるため、手動追尾モードでの追尾を実行する時間を短くできる可能性があり、相対的にはオペレータの作業負荷を軽減できる可能性がある。追尾対象推定枠を１つだけ表示させるか、複数表示させるかは、オペレータの特性（例えば性格や嗜好、技量等）、及び監視対象領域の環境等に応じて、適宜設定されてよい。

また、以上説明した各方法は、併用されてもよい。例えば、追尾対象推定部１１８は、以上説明した方法をそれぞれ並行して実行し、各方法によってそれぞれ追尾対象を推定してもよい。この場合、各方法に応じて複数の追尾対象が推定され得るが、上記のように、追尾対象推定部１１８は、適当な評価関数を用いてその推定された複数の追尾対象の中から最も確からしい１つのみを選定してもよいし、推定された複数の追尾対象の全てに追尾対象推定枠が表示されてもよい。

（５．変形例）
以上説明した実施形態におけるいくつかの変形例について説明する。

（５−１．装置構成が異なる変形例）
図１１を参照して、本実施形態の一変形例である、監視システムが異なる装置構成を有する変形例について説明する。図１１は、装置構成が異なる変形例に係る監視システムの概略構成を示すブロック図である。

図１１を参照すると、本変形例に係る監視システム２は、カメラ２１０と、表示装置１２０と、追尾モード切り替え入力装置１３０と、ＰＴＺ操作入力装置１４０と、メモリ１１３と、演算処理装置２５０と、を備える。ここで、表示装置１２０、追尾モード切り替え入力装置１３０、ＰＴＺ操作入力装置１４０及びメモリ１１３は、図１に示すものと同様の構成及び機能を有するものである。

カメラ２１０はＰＴＺカメラであり、オペレータによる手動での操作に応じて、又は自動で、ＰＴＺ制御が可能である。カメラ２１０は、撮像部１１１と、駆動機構１１２と、を有する。撮像部１１１及び駆動機構１１２は、図１に示すものと同様の構成及び機能を有するものである。

演算処理装置２５０は、例えばＣＰＵやＤＳＰ等のプロセッサによって構成され、所定の処理を実行することにより、監視システム２の動作を統合的に制御する。演算処理装置２５０は、その機能として、追尾モード設定部１１５と、自動追尾ＰＴＺ制御値算出部１１６と、駆動制御部１１７と、追尾対象推定部１１８と、表示画像データ生成部１１９と、を有する。演算処理装置２５０を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、上記の各機能が実現される。なお、演算処理装置２５０は、図１に示す演算処理装置１１４と同様の構成及び機能を有するものである。

監視システム２では、これらの装置のうち、カメラ２１０は、監視領域を撮影し得る場所に設置され、表示装置１２０、追尾モード切り替え入力装置１３０、ＰＴＺ操作入力装置１４０、メモリ１１３及び演算処理装置２５０は、オペレータが監視業務を行う場所に設置される。つまり、カメラ２１０と、その他の装置とは、互いに離れた場所に設置され、ネットワークを介して互いに通信可能に接続されている。

このように、上述した実施形態に係る監視システム１では、カメラ１１０にメモリ１１３及び演算処理装置１１４が搭載されていたのに対して、本変形例に係る監視システム２では、メモリ１１３及び演算処理装置１１４はオペレータ側に設置される。本実施形態では、本変形例のように、メモリ１１３及び演算処理装置１１４がオペレータ側に設置されて、当該監視システム２が構成されてもよい。なお、監視システム２において、メモリ１１３及び演算処理装置１１４の設置場所以外の事項は、監視システム１と同様であるため、各装置についての詳細な説明は省略する。

（５−２．電子的なＰＴＺカメラを備える変形例）
図１２を参照して、本実施形態の他の変形例である、監視システムが電子的なＰＴＺカメラを備える変形例について説明する。図１２は、電子的なＰＴＺカメラを備える変形例に係る監視システムの概略構成を示すブロック図である。

図１２を参照すると、本変形例に係る監視システム３は、カメラ３１０と、表示装置１２０と、追尾モード切り替え入力装置１３０と、ＰＴＺ操作入力装置１４０と、を備える。ここで、表示装置１２０、追尾モード切り替え入力装置１３０及びＰＴＺ操作入力装置１４０は、図１に示すものと同様の構成及び機能を有するものである。

カメラ３１０はＰＴＺカメラであり、オペレータによる手動での操作に応じて、又は自動で、ＰＴＺ制御が可能である。カメラ３１０は、撮像部１１１と、メモリ１１３と、演算処理装置３１４と、を有する。撮像部１１１及びメモリ１１３は、図１に示すものと同様の構成及び機能を有するものである。

ここで、本変形例に係るカメラ３１０では、ＰＴＺ制御を行う際に、駆動機構によってハードウェア（上述した実施形態であればズームレンズや雲台等）を動作させるのではなく、取得された撮像画像データに対して画像処理を施すことによってパン、チルト及び／又はズームの変更を実現する。このようなソフトウェア的にＰＴＺ制御を実行可能なＰＴＺカメラのことを、本明細書では電子的なＰＴＺカメラともいうこととする。

具体的には、本変形例では、カメラ３１０の撮像部１１１は、比較的高解像度で、広角な画像を撮影可能なように構成される。そして、撮像部１１１が生成した撮像画像データの画角内の一部を切り出して適宜拡大することにより、パン、チルト及び／又はズームが変更された表示画像データが生成される。例えば、右方向にパンを変更する場合であれば、そのパンに係る制御値に対応するだけ画角の中央から右側にずれた部位を切り出し、表示画面に合うように適宜拡大して表示画像データが生成される。撮像部１１１が比較的高解像度の画像を撮影可能に構成されることにより、このような切り出し処理を行っても、表示画像データの画質が著しく劣化することはない。

このように、カメラ３１０が電子的なＰＴＺカメラとして構成されることにより、カメラ３１０には、上述した実施形態とは異なり、駆動機構は設けられない。そして、これに対応して、演算処理装置３１４の機能も上述した実施形態とは異なる。

演算処理装置３１４の機能について詳細に説明する。演算処理装置３１４は、例えばＣＰＵやＤＳＰ等のプロセッサによって構成され、所定の処理を実行することにより、監視システム３の動作を統合的に制御する。演算処理装置３１４は、その機能として、追尾モード設定部３１５と、自動追尾ＰＴＺ制御値算出部３１６と、追尾対象推定部３１８と、表示画像データ生成部３１９と、を有する。演算処理装置３１４を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、上記の各機能が実現される。

追尾モード設定部３１５の機能は、図１に示す追尾モード設定部１１５と同様である。ただし、本変形例では、上述した実施形態とは異なり駆動制御部１１７は設けられないため、追尾モード設定部３１５は、設定した現在の追尾モードについての情報を、自動追尾ＰＴＺ制御値算出部３１６、及び追尾対象推定部３１８及び表示画像データ生成部３１９に提供する。

自動追尾ＰＴＺ制御値算出部３１６は、図１に示す自動追尾ＰＴＺ制御値算出部１１６に対応するものである。自動追尾ＰＴＺ制御値算出部３１６は、自動追尾モードにおいて、追尾対象を追尾するためのＰＴＺ制御値を算出する。ＰＴＺ制御値の算出方法は、上述した実施形態と同様である。ここで、上述した実施形態では、自動追尾ＰＴＺ制御値算出部１１６は、算出したＰＴＺ制御値についての情報を駆動制御部１１７に提供していたが、本変形例では、ＰＴＺ制御に係るカメラ３１０の駆動制御は行われず、上記のように画像処理によってＰＴＺ制御が行われる。従って、本変形例では、自動追尾ＰＴＺ制御値算出部３１６は、算出したＰＴＺ制御値についての情報を、表示画像データ生成部３１９に提供する。

追尾対象推定部３１８は、図１に示す追尾対象推定部１１８に対応するものである。追尾対象推定部３１８は、手動追尾モードにおいてオペレータの操作に従って追尾対象が追尾されている最中に、その追尾対象を推定する。追尾対象の推定処理の具体的な方法は、上述した実施形態と同様である。ここで、上述した実施形態では、追尾対象推定部１１８は、メモリ１１３に格納されている撮像画像データに基づいて追尾対象を推定していたが、本変形例では、上記のように画像処理によってＰＴＺ制御が行われるため、手動で追尾している間において、撮像画像データはほぼ変化せず（すなわち、一定の画角の画像が撮影され続け）、表示画像データにおいて追尾対象が追尾されている画像が得られることとなる。従って、本変形例では、追尾対象推定部３１８は、手動での追尾中に表示画像データ生成部３１９によって生成された表示画像データに基づいて、追尾対象を推定する。追尾対象推定部３１８は、推定した追尾対象についての情報を、表示画像データ生成部３１９に提供する。

表示画像データ生成部３１９は、図１に示す表示画像データ生成部１１９に対応するものである。表示画像データ生成部３１９は、表示装置１２０に表示させる画像データを生成する。具体的には、表示画像データ生成部３１９は、自動追尾モードにおいては、メモリ１１３に格納されている撮像画像データと、自動追尾ＰＴＺ制御値算出部３１６によって算出されたＰＴＺ制御値についての情報と、に基づいて、当該ＰＴＺ制御値に従って監視領域画像内の所定の領域を切り出して拡大するとともに、その拡大した領域に対して追尾対象表示枠が重畳された画像データとして、表示画像データを生成する。

また、手動追尾モードにおいては、表示画像データ生成部３１９に、ＰＴＺ操作入力装置１４０を介したオペレータのＰＴＺ制御に係る指示が入力される。そして、表示画像データ生成部３１９は、手動追尾モードにおいて、メモリ１１３に格納されている撮像画像データと、追尾対象推定部１１８によって推定された追尾対象についての情報と、ＰＴＺ操作入力装置１４０を介して入力されるオペレータのＰＴＺ制御に係る指示と、に基づいて、当該ＰＴＺ制御に係る指示に応じたＰＴＺ制御値に従って監視領域画像内の所定の領域を切り出して拡大するとともに、その拡大した領域に追尾対象推定枠が重畳された画像データとして、表示画像データを生成する。

以上説明したように、本実施形態では、電子的なＰＴＺカメラを備える監視システム３が構成されてもよい。なお、図１２に示す構成例では、演算処理装置３１４がカメラ３１０内に設けられていたが、上記（５−１．装置構成が異なる変形例）で説明した変形例と同様に、監視システム３も、演算処理装置３１４がカメラ３１０とは別個の装置としてオペレータ側に設けられて構成されてもよい。

（５−３．ドローンを備える変形例）
本実施形態の他の変形例である、監視システムがドローンを備える変形例について説明する。近年、ドローンにおいては、当該ドローンに搭載される撮像部を用いた追尾対象の自動追尾機能が搭載されつつある。しかしながら、ドローンにおいて、追尾モードを手動追尾モードから自動追尾モードに切り替える際には、操縦者（すなわち、オペレータ）は、追尾対象を指定する操作、及び追尾モードを切り替える操作を、ドローンを操縦しながら行う必要がある。従って、これらの操作を簡易に行えない場合には、オペレータには煩雑な作業が要求されることとなり、操縦ミスを誘発する恐れがある。

一方、以上説明したように、本実施形態に係る技術によれば、手動追尾モードから自動追尾モードに切り替える際に、追尾対象を指定する操作、及び追尾モードを切り替える操作を、ワンアクションで簡便に実行することが可能である。従って、本実施形態に係る技術を、ドローンを備える監視システムに適用することにより、オペレータの操作性を大幅に向上させることができる。

（５−３−１．監視システムの構成）
図１３を参照して、本実施形態の他の変形例である、監視システムがドローンを備える変形例について説明する。図１３は、ドローンを備える変形例に係る監視システムの概略構成を示すブロック図である。

図１３を参照すると、本変形例に係る監視システム４は、ドローン５１０と、表示装置１２０と、送信機５３０と、を備える。ここで、表示装置１２０は、図１に示すものと同様の構成及び機能を有するものである。なお、図示する構成例では、表示装置１２０と送信機５３０は別個の装置として配置されているが、表示装置１２０は、送信機５３０と一体的に構成されてもよい。

送信機５３０は、ドローン５１０を操縦するための各種の指示を入力するための入力装置である。送信機５３０に入力された各種の指示は、無線通信によって、ドローン５１０に対して送信される。送信機５３０は、その機能として、追尾モード切り替え入力部５３１と、機体動作入力部５３２と、を有する。

追尾モード切り替え入力部５３１は、図１に示す追尾モード切り替え入力装置１３０と同様の機能を有するものである。オペレータは、追尾モード切り替え入力部５３１を介して、追尾モードを手動追尾モード又は自動追尾モードに切り替える旨の指示を、ドローン５１０に対して入力することができる。追尾モード切り替え入力部５３１は、例えばボタン等、ワンアクションでその切り替えの指示を入力可能な入力装置によって構成される。

機体動作入力部５３２は、ドローン５１０を動作させる旨の指示を、当該ドローン５１０に入力する機能を有する。機体動作入力部５３２は、例えばジョイスティック等の入力装置によって構成される。ただし、機体動作入力部５３２の装置構成はかかる例に限定されず、機体動作入力部５３２は、一般的なドローンの送信機において当該ドローンの動作の指示入力に用いられている入力装置によって構成されてよい。オペレータは、機体動作入力部５３２を介して、ドローン５１０を移動（上昇、下降、前進、後退、及び旋回等）させる旨の指示を入力することができる。また、後述する撮像部１１１が、ドローン５１０の機体に対してジンバル構造等を介して移動可能に取り付けられている場合であれば、オペレータは、機体動作入力部５３２を介して、当該撮像部１１１を機体に対して移動させる旨の指示を入力してもよい。本明細書では、上述したドローン５１０を移動させる動作、及びジンバル構造等を介して撮像部１１１を移動させる動作を、「機体の動作」と総称することとする。

ここで、監視システム４では、ドローン５１０に搭載された撮像部１１１によって、追尾対象の追尾を行う。このとき、当該撮像部１１１のパン、チルト及び／又はズームの制御は、ドローン５１０の機体を動作させることによって、実現される。例えば、パンは、ドローン５１０の機体を、鉛直方向を回転軸方向として回転動作させる（ヨーイングさせる）ことで実現される。また、例えば、チルトは、ドローン５１０の機体を、左右方向を回転軸方向として回転動作させる（ピッチングさせる）ことで実現される。また、例えば、ズームは、ドローン５１０の機体を、前進動作又は後退動作させることで実現される。なお、撮像部１１１が、ドローン５１０の機体に対してジンバル構造等を介して移動可能に取り付けられている場合であれば、パン及びチルトについては、ドローン５１０の機体全体を移動させることに代えて、又はドローン５１０の機体全体を移動させることに加えて、当該ジンバル構造を介して撮像部１１１を移動させることによって、実現されてもよい。

従って、手動追尾モードにおいては、機体動作入力部５３２を介したオペレータの指示入力に従ってドローン５１０の機体が動作されることにより、撮像部１１１のパン、チルト及び／又はズームが制御され、追尾対象が追尾されることとなる。

ドローン５１０は、撮像部１１１と、機体駆動機構５１２と、メモリ１１３と、演算処理装置５１４と、無線通信部５２０と、を有する。本変形例では、ドローン５１０に搭載された撮像部１１１によって、追尾対象の追尾が行われる。

撮像部１１１及びメモリ１１３は、図１に示すものと同様の構成及び機能を有するものである。なお、本変形例では、撮像部１１１は、ドローン５１０の機体に対して、固定的に、又はジンバル構造を介して移動可能に取り付けられる。

無線通信部５２０は、信号を送受信するアンテナ、及び送受信する信号を処理する処理回路等から構成される。無線通信部５２０は、送信機５３０から送信される、追尾モードの切り替えについての指示や、ドローン５１０の機体の動作についての指示を受信し、これらの指示を演算処理装置５１４に提供する。また、無線通信部５２０は、演算処理装置５１４によって生成された表示画像データを、表示装置１２０に送信する。このように、本変形例では、送信機５３０は、少なくとも無線送信が可能に構成され、表示装置１２０は、少なくとも無線受信が可能に構成される。

機体駆動機構５１２は、ドローン５１０の機体を動作させるための駆動機構である。機体駆動機構５１２は、例えば、ドローン５１０移動用のプロペラを回転させるためのモータであり得る。また、撮像部１１１が、ドローン５１０の機体に対してジンバル構造等を介して移動可能に取り付けられている場合であれば、機体駆動機構５１２は、当該ジンバル構造等を介して撮像部１１１を移動させるためのモータを含んでもよい。

演算処理装置５１４は、例えばＣＰＵやＤＳＰ等のプロセッサによって構成され、所定の処理を実行することにより、監視システム４の動作を統合的に制御する。演算処理装置５１４は、その機能として、追尾モード設定部５１５と、自動追尾機体動作制御値算出部５１６と、機体駆動制御部５１７と、追尾対象推定部５１８と、表示画像データ生成部５１９と、を有する。演算処理装置５１４を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、上記の各機能が実現される。

追尾モード設定部５１５の機能は、図１に示す追尾モード設定部１１５と略同様である。追尾モード設定部５１５は、無線通信部５２０を介して提供された、追尾モードの切り替えについての指示に応じて、追尾モードを手動追尾モード又は自動追尾モードに設定する。追尾モード設定部５１５は、設定した現在の追尾モードについての情報を、自動追尾機体動作制御値算出部５１６、及び追尾対象推定部５１８及び表示画像データ生成部５１９に提供する。

自動追尾機体動作制御値算出部５１６は、図１に示す自動追尾ＰＴＺ制御値算出部１１６に対応するものである。ここで、監視システム４では、上述したように、ドローン５１０の機体を動作させることによって、撮像部１１１のパン、チルト及び／又はズームを制御し、追尾対象の追尾を行う。従って、監視システム４では、自動追尾機体動作制御値算出部５１６は、自動追尾モードにおいて、追尾対象を追尾するためのパン、チルト及び／又はズームに係る制御値として、ドローン５１０の機体の動作を制御するための制御値（以下、機体動作制御値ともいう）を算出する。つまり、本変形例に係る機体動作制御値は、上述した実施形態におけるＰＴＺ制御値に対応するものである。例えば、自動追尾機体動作制御値算出部５１６は、メモリ１１３に格納されている撮像画像データを解析することにより、かかる機体動作制御値を算出する。なお、自動追尾を実現するような機体動作制御値の算出方法としては、一般的なドローンにおいて用いられている各種の公知の方法が適用されてよいため、ここではその詳細な処理内容についての説明を省略する。

自動追尾機体動作制御値算出部５１６は、算出した機体動作制御値についての情報を、機体駆動制御部５１７に提供する。

機体駆動制御部５１７は、図１に示す駆動制御部１１７に対応するものである。本変形例では、機体駆動制御部５１７は、機体駆動機構５１２の駆動を制御することによって撮像部１１１のパン、チルト及び／又はズームを制御し、追尾対象を追尾するようにドローン５１０の機体を動作させる。機体駆動制御部５１７は、手動追尾モードにおいては、機体動作入力部５３２を介して入力されるオペレータの指示に応じた機体動作制御値に従って、機体駆動機構５１２を駆動させる。一方、機体駆動制御部５１７は、自動追尾モードにおいては、自動追尾機体動作制御値算出部５１６によって算出された機体動作制御値に従って、機体駆動機構５１２を駆動させる。

追尾対象推定部５１８の機能は、図１に示す追尾対象推定部１１８と同様である。追尾対象推定部５１８は、手動追尾モードにおいてオペレータの指示に従って追尾対象が追尾されている最中に、その追尾対象を推定する。追尾対象の推定処理の具体的な方法は、上述した実施形態と同様である。追尾対象推定部５１８は、推定した追尾対象についての情報を、表示画像データ生成部５１９に提供する。また、追尾対象推定部５１８は、追尾モード設定部５１５から提供される情報に基づいて、追尾モードが手動追尾モードから自動追尾モードに切り替えられたことを把握した場合には、そのタイミングで推定している追尾対象についての情報を、自動追尾機体動作制御値算出部５１６に提供する。自動追尾機体動作制御値算出部５１６は、この追尾モードが手動追尾モードから自動追尾モードに切り替えられた際に推定されていた追尾対象を、自動追尾モードにおける追尾対象とみなして、自動追尾のための機体動作制御値を算出する。

表示画像データ生成部５１９の機能は、図１に示す表示画像データ生成部１１９と同様ある。自動追尾モードにおいては、表示画像データ生成部５１９は、メモリ１１３に格納されている撮像画像データに基づいて、監視領域画像に追尾対象表示枠が重畳された画像データとして、表示画像データを生成する。ただし、上述した実施形態と同様に、本変形例においても、自動追尾モードにおける表示画像に、追尾対象表示枠は必ずしも表示されなくてもよい。一方、手動追尾モードにおいては、表示画像データ生成部５１９は、メモリ１１３に格納されている撮像画像データと、追尾対象推定部５１８によって推定された追尾対象についての情報と、に基づいて、監視領域画像に追尾対象推定枠が重畳された画像データとして、表示画像データを生成する。

以上、ドローン５１０を備える変形例に係る監視システム４の構成について説明した。以上説明したように、本変形例によれば、ドローン５１０を用いて追尾対象を追尾する際に、オペレータは、手動追尾モードから自動追尾モードへの切り替えの指示を、追尾モード切り替え入力部５３１を介したワンアクションの操作で入力することができる。このとき、切り替えの指示を入力した際に追尾対象推定枠が付されている追尾対象が、自動追尾モードにおける追尾対象として指定されるため、オペレータは、当該追尾対象を指定する操作を別途行う必要はない。従って、オペレータは、ドローン５１０を操縦しながらでも、簡便な操作で、より容易に、手動追尾モードから自動追尾モードへの切り替えを実行することが可能になる。よって、操縦ミス等を招くことなく、追尾対象の追尾をより円滑に実行することができ、オペレータの利便性が向上する。

ここで、以上説明した構成例では、撮像部１１１のパン、チルト及び／又はズームの制御がドローン５１０の機体を動作させることによって実現されていたが、ドローン５１０を備える監視システムの構成はかかる例に限定されない。例えば、ドローン５１０の機体の動作とは独立して、撮像部１１１がパン、チルト及び／又はズームを実行可能である場合には、ドローン５１０を備える監視システムとして、撮像部１１１がドローン５１０に搭載されること以外は、上記（５−２．電子的なＰＴＺカメラを備える変形例）までで説明した監視システムと同様の監視システムが構成されてよい。あるいは、パン、チルト及び／又はズームのうちの一部がドローン５１０の機体の動作によって実現され、残りのものが撮像部１１１の動作によって実現されてもよい。この場合には、監視システムは、図１に示す駆動機構１１２、自動追尾ＰＴＺ制御値算出部１１６、及び駆動制御部１１７、並びに図１３に示す機体駆動機構５１２、自動追尾機体動作制御値算出部５１６及び機体駆動制御部５１７を少なくとも含むシステムによって実現され得る。具体的には、当該監視システムにおいては、パン、チルト及び／又はズームのうち、ドローン５１０の機体の動作によって実現されるものは、図１３に示す機体駆動機構５１２、自動追尾機体動作制御値算出部５１６、及び機体駆動制御部５１７の構成及び機能によって制御され得る。また、当該監視システムにおいては、パン、チルト及び／又はズームのうち、撮像部１１１の動作によって実現されるものは、図１に示す駆動機構１１２、自動追尾ＰＴＺ制御値算出部１１６、及び駆動制御部１１７の構成及び機能によって制御され得る。もちろん、当該監視システムには、図１及び図１３に示す他の構成及び機能が更に備えられてもよい。

（５−３−２．演算処理方法）
図１４及び図１５を参照して、以上説明した監視システム４の演算処理装置５１４において実行される、演算処理方法の処理手順について説明する。図１４及び図１５は、ドローン５１０を備える変形例に係る演算処理方法の処理手順の一例を示すフロー図である。

ここで、演算処理装置５１４における演算処理としては、主に、ドローン５１０の機体の動作に係る演算処理と、表示画像データの生成に係る演算処理が実行され得る。このうち、表示画像データの生成に係る演算処理については、その方法は、上述した実施形態と同様である（例えば、かかる演算処理は、図６及び図８に示す処理手順によって実行され得る）。従って、ここでは、演算処理装置５１４における演算処理方法として、ドローン５１０の機体の動作に係る演算処理方法について具体的に説明する。

（５−３−２−１．手動追尾モードでのドローンの機体の動作に係る演算処理方法）
図１４は、手動追尾モードでのドローン５１０の機体の動作に係る演算処理方法の処理手順を示している。図１４を参照すると、手動追尾モードでのドローン５１０の機体の動作に係る演算処理方法では、まず、オペレータの操作に応じた機体動作制御値に従って、ドローン５１０の機体が動作される（ステップＳ７０１）。ステップＳ７０１では、オペレータの操作に応じてドローン５１０の機体が動作されることにより、手動での追尾対象の追尾が行われる。ステップＳ７０１に示す処理は、図１３に示す機体駆動制御部５１７が、機体動作入力部５３２を介して入力されるオペレータの指示に応じた機体動作制御値に従って、機体駆動機構５１２を駆動させる処理に対応している。

次に、追尾モードを自動追尾モードに切り替える旨の指示が入力されたかどうかが判断される（ステップＳ７０３）。ステップＳ７０３に示す処理は、図１３に示す追尾モード設定部５１５によって実行される処理に対応している。当該指示の入力がなかった場合には、追尾モードは切り替えられないため、一連の処理を終了し、次にオペレータから入力される指示に応じてステップＳ７０１以降の処理が繰り返し実行される。

一方、ステップＳ７０３で追尾モードを自動追尾モードに切り替える旨の指示の入力があった場合には、当該指示に従って追尾モード設定部５１５によって追尾モードが切り替えられ、自動追尾モードに移行する。自動追尾モードでは、後述する図１５に示す処理、及び上述した図８に示す処理が実行される。

（５−３−２−２．自動追尾モードでのドローンの機体の動作に係る演算処理方法）
図１５は、自動追尾モードでのドローン５１０の機体の動作に係る演算処理方法の処理手順を示している。図１５を参照すると、自動追尾モードでのドローン５１０の機体の動作に係る演算処理方法では、まず、撮像画像データに基づいて、追尾対象を自動追尾するための機体動作制御値が算出される（ステップＳ８０１）。ステップＳ８０１に示す処理は、図１３に示す自動追尾機体動作制御値算出部５１６によって実行される処理に対応している。

次に、算出された機体動作制御値に従って、ドローン５１０の機体が動作される（ステップＳ８０３）。ステップＳ８０３では、ステップＳ８０１で算出された機体動作制御値に応じてドローン５１０の機体が動作されることにより、自動での追尾対象の追尾が行われる。ステップＳ８０３に示す処理は、図１３に示す機体駆動制御部５１７が、自動追尾機体動作制御値算出部５１６によって算出される機体動作制御値に従って、機体駆動機構５１２を動作させる処理に対応している。

次に、追尾モードを手動追尾モードに切り替える旨の指示が入力されたかどうかが判断される（ステップＳ８０５）。ステップＳ８０５に示す処理は、図１３に示す追尾モード設定部５１５によって実行される処理に対応している。当該指示の入力がなかった場合には、追尾モードは切り替えられないため、一連の処理を終了し、次に機体動作制御値が算出されるタイミングでステップＳ８０１以降の処理が繰り返し実行される。なお、機体動作制御値が算出される間隔は、撮像画像データが生成されるフレームレートと同様であってもよいし、当該フレームレートよりも遅い任意の間隔であってもよい。

一方、ステップＳ８０５で追尾モードを手動追尾モードに切り替える旨の指示の入力があった場合には、当該指示に従って追尾モード設定部５１５によって追尾モードが切り替えられ、手動追尾モードに移行する。手動追尾モードでは、上述した図１４及び図６に示す処理が実行される。

（６．補足）
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態及びその変形例では、監視システムにおける各種の処理を実行する演算処理装置がカメラ又はドローンと一体的に構成される場合、及びオペレータ側に設置される場合について説明したが、本開示に係る技術はかかる例に限定されない。例えば、本開示に係る技術では、演算処理装置は、カメラとも、オペレータ側に設置される各種の装置（表示装置、追尾モード切り替え入力装置、ＰＴＺ操作入力装置、及び送信機）とも異なる場所に設置され、これらの装置が通信可能に接続されることにより、監視システムが構成されてもよい。この場合、例えば、演算処理装置は、いわゆるクラウド上に設置されてよい。

また、演算処理装置の具体的な装置構成は任意であってよい。例えば、演算処理装置は１台の装置であってもよいし、複数の装置によって構成されてもよい。演算処理装置が複数の装置によって構成される場合には、演算処理装置が有する各機能がこれら複数の装置に分散して搭載され、これら複数の装置が互いに各種の情報をやり取りすることにより、全体として上述した演算処理装置と同様の機能が実現され得る。

また、上記実施形態及びその変形例では、撮像画像データがカメラ又はドローンに設けられた記憶装置（メモリ）に記録されていたが、本開示に係る技術はかかる例に限定されない。撮像画像データは、当該メモリに記録されるとともに、又は当該メモリに記録される代わりに、カメラ又はドローンとネットワークを介して接続される外部の記憶装置に記録されてもよい。

また、以上の実施形態では、監視を目的として追尾対象を追尾する監視システムが構成されていたが、本開示はかかる例に限定されない。本開示に係る技術は、他の用途に対しても適用可能である。具体的には、本開示に係る技術は、監視目的だけでなく、より広く、撮影対象である人物、動物又は物体を追尾しながら撮影し、その撮影された撮影対象領域の画像（撮影領域画像）をオペレータに対して提示する、撮影システムに対して適用され得るものである。例えば、監視以外の撮影の目的として、人物等の観察や、人物等の活動を示す画像の記録が挙げられる。つまり、本開示では、人物、動物又は物体の観察を目的として、上述した監視システムと同様の構成を有する観察システムが構成されてもよい。あるいは、本開示では、人物、動物又は物体の活動の記録を目的として、上述した監視システムと同様の構成を有する記録システムが構成されてもよい。当該観察システム又は記録システムは、例えば、ドキュメンタリー番組の作成等のために動物を撮影する場合や、いわゆる見守りシステムにおいて１人暮らしの高齢者の様子を撮影する場合等に好適に適用され得る。これらの場合には、当該動物又は当該高齢者が、観察対象又は記録対象となるとともに、追尾対象となる。なお、屋外において観察対象又は記録対象を観察又は記録する場合において、上述したドローンを備える変形例に係る監視システムを観察システム又は記録システムとして転用する場合であれば、自身が移動可能であるドローンを用いた、より自由度の高い観察又は記録が実現され得る。

また、以上説明した実施形態及び各変形例に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ（Personal Computer）等の汎用的な演算処理装置に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク又はフラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像部のパン、チルト及びズームの少なくともいずれかが外部の入力装置を介した指示に従って制御されて追尾対象が追尾される手動追尾モードにおいて、前記撮像部によって撮影された撮影対象領域の画像の中から前記追尾対象を推定する追尾対象推定部、
を備える、演算処理装置。
（２）
前記手動追尾モードにおいて、表示装置に表示される画像データであって、前記撮像部によって撮影された撮影対象領域の画像に対して推定された前記追尾対象を示す追尾対象推定枠が重畳された画像データを生成する表示画像データ生成部、を更に備える、
前記（１）に記載の演算処理装置。
（３）
追尾モードを、前記手動追尾モードと、指定された追尾対象を追尾するように前記撮像部のパン、チルト及びズームの少なくともいずれかが前記演算処理装置の内部で算出された制御値に従って制御される自動追尾モードと、のいずれかに設定する追尾モード設定部、を更に備え、
前記追尾モード設定部によって前記追尾モードが前記手動追尾モードから前記自動追尾モードに切り替えられた際に前記追尾対象推定部によって推定されていた追尾対象が、前記自動追尾モードにおける追尾対象として指定される、
前記（１）又は（２）に記載の演算処理装置。
（４）
前記追尾対象推定部は、前記撮像部によって撮影された撮影対象領域の画像において、前景領域の中で周囲と色が異なる領域を前記追尾対象が存在する領域と推定する、
前記（１）〜（３）のいずれか１項に記載の演算処理装置。
（５）
前記追尾対象推定部は、前記撮像部によって撮影された撮影対象領域の画像内で検出された移動体を前記追尾対象と推定する、
前記（１）〜（３）のいずれか１項に記載の演算処理装置。
（６）
前記追尾対象推定部は、前記撮像部によって撮影された撮影対象領域の画像の中から予め設定された外観的な特徴を有する物体を抽出することにより、前記追尾対象を推定する、
前記（４）又は（５）に記載の演算処理装置。
（７）
指定された前記追尾対象を追尾するように前記撮像部のパン、チルト及びズームの少なくともいずれかが前記演算処理装置の内部で算出された制御値に従って制御される自動追尾モードにおいて、表示装置に表示される画像データであって、前記撮像部によって撮影された撮影対象領域の画像に対して前記追尾対象を示す追尾対象表示枠が重畳された画像データを生成する表示画像データ生成部、を更に備える、
前記（１）〜（６）のいずれか１項に記載の演算処理装置。
（８）
前記撮像部と前記演算処理装置とが同一の装置に搭載される、
前記（１）〜（７）のいずれか１項に記載の演算処理装置。
（９）
前記撮像部と前記演算処理装置とは、互いに離れた場所に設置され、ネットワークを介して互いに通信可能に接続される、
前記（１）〜（７）のいずれか１項に記載の演算処理装置。
（１０）
前記撮像部は、監視用のＰＴＺカメラに搭載される、
前記（１）〜（９）のいずれか１項に記載の演算処理装置。
（１１）
前記撮像部は、ドローンに搭載される、
前記（１）〜（９）のいずれか１項に記載の演算処理装置。
（１２）
プロセッサが、撮像部のパン、チルト及びズームの少なくともいずれかが外部の入力装置を介した指示に従って制御されて追尾対象が追尾される手動追尾モードにおいて、前記撮像部によって撮影された撮影対象領域の画像の中から前記追尾対象を推定すること、
を含む、演算処理方法。

１、２、３、４ 監視システム
１１０、２１０、３１０ カメラ
１１１ 撮像部
１１２ 駆動機構
１１３ メモリ
１１４、２５０、３１４、５１４ 演算処理装置
１１５、３１５、５１５ 追尾モード設定部
１１６、３１６ 自動追尾ＰＴＺ制御値算出部
１１７ 駆動制御部
１１８、３１８、５１８ 追尾対象推定部
１１９、３１９、５１９ 表示画像データ生成部
１２０ 表示装置
１３０ 追尾モード切り替え入力装置
１４０ ＰＴＺ操作入力装置
４０１ 人物
４０３ 追尾対象推定枠
４０５ 追尾対象表示枠
５１０ ドローン
５１２ 機体駆動機構
５１６ 自動追尾機体動作制御値算出部
５１７ 機体駆動制御部
５３０ 送信機
５３１ 追尾モード切り替え入力部
５３２ 機体動作入力部

Claims (12)

1. 撮像部のパン、チルト及びズームの少なくともいずれかが外部の入力装置を介した指示に従って制御されて追尾対象が追尾される手動追尾モードにおいて、前記撮像部によって撮影された撮影対象領域の画像の中から前記追尾対象を推定する追尾対象推定部、
   を備える、演算処理装置。
2. 前記手動追尾モードにおいて、表示装置に表示される画像データであって、前記撮像部によって撮影された撮影対象領域の画像に対して推定された前記追尾対象を示す追尾対象推定枠が重畳された画像データを生成する表示画像データ生成部、を更に備える、
   請求項１に記載の演算処理装置。
3. 追尾モードを、前記手動追尾モードと、指定された追尾対象を追尾するように前記撮像部のパン、チルト及びズームの少なくともいずれかが前記演算処理装置の内部で算出された制御値に従って制御される自動追尾モードと、のいずれかに設定する追尾モード設定部、を更に備え、
   前記追尾モード設定部によって前記追尾モードが前記手動追尾モードから前記自動追尾モードに切り替えられた際に前記追尾対象推定部によって推定されていた追尾対象が、前記自動追尾モードにおける追尾対象として指定される、
   請求項２に記載の演算処理装置。
4. 前記追尾対象推定部は、前記撮像部によって撮影された撮影対象領域の画像において、前景領域の中で周囲と色が異なる領域を前記追尾対象が存在する領域と推定する、
   請求項１に記載の演算処理装置。
5. 前記追尾対象推定部は、前記撮像部によって撮影された撮影対象領域の画像内で検出された移動体を前記追尾対象と推定する、
   請求項１に記載の演算処理装置。
6. 前記追尾対象推定部は、前記撮像部によって撮影された撮影対象領域の画像の中から予め設定された外観的な特徴を有する物体を抽出することにより、前記追尾対象を推定する、
   請求項４に記載の演算処理装置。
7. 指定された前記追尾対象を追尾するように前記撮像部のパン、チルト及びズームの少なくともいずれかが前記演算処理装置の内部で算出された制御値に従って制御される自動追尾モードにおいて、表示装置に表示される画像データであって、前記撮像部によって撮影された撮影対象領域の画像に対して前記追尾対象を示す追尾対象表示枠が重畳された画像データを生成する表示画像データ生成部、を更に備える、
   請求項１に記載の演算処理装置。
8. 前記撮像部と前記演算処理装置とが同一の装置に搭載される、
   請求項１に記載の演算処理装置。
9. 前記撮像部と前記演算処理装置とは、互いに離れた場所に設置され、ネットワークを介して互いに通信可能に接続される、
   請求項１に記載の演算処理装置。
10. 前記撮像部は、監視用のＰＴＺカメラに搭載される、
    請求項１に記載の演算処理装置。
11. 前記撮像部は、ドローンに搭載される、
    請求項１に記載の演算処理装置。
12. プロセッサが、撮像部のパン、チルト及びズームの少なくともいずれかが外部の入力装置を介した指示に従って制御されて追尾対象が追尾される手動追尾モードにおいて、前記撮像部によって撮影された撮影対象領域の画像の中から前記追尾対象を推定すること、
    を含む、演算処理方法。
    

Images