JP2017055325A - カメラ制御装置、カメラ制御方法、プログラムおよび監視システム - Google Patents

Abstract

【課題】広域カメラ映像に対する指定位置に応じた可動カメラの撮像範囲の制御精度を向上させる。【解決手段】広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部２１２と、広域カメラ映像に対する操作が広域カメラ映像における位置を指定位置として指定するための指定操作である場合、広域カメラとは異なる位置に設置された可動カメラの撮像範囲を指定位置に応じて制御するカメラ制御部２１３と、を備え、三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に仮想スクリーンが広域カメラ映像に仮想撮像領域として撮像され、カメラ制御部２１３は、仮想撮像領域の範囲内に指定位置が存在する場合、指定位置と仮想スクリーンの三次元位置とに基づいて撮像範囲を制御する、カメラ制御装置２２Ａが提供される。【選択図】図３

Description

本発明は、カメラ制御装置、カメラ制御方法、プログラムおよび監視システムに関する。

従来、移動物体（以下、単に「動体」とも言う。）を追尾する技術として様々な技術が開示されている。例えば、過去に動体を追尾した結果に基づいて動体の移動方向を予測し、予測した動体の移動方向に応じた撮像範囲が撮像されるようにＰＴＺ（パン・チルト・ズーム）カメラ（以下、「可動カメラ」とも言う。）を制御する技術が開示されている（例えば、特許文献１参照）。かかる技術によれば、動体追尾の遅延を低減することが可能となる。

しかしながら、１台の可動カメラだけを利用する技術は、動体の移動範囲が広域になるほど、動体を追尾するのに適さなくなる可能性が高まる。なぜなら、動体の移動範囲が広域になるほど、広い画角のレンズを用いて動体を追尾する必要性が高まるが、レンズの画角が広くなってしまうと、可動カメラの映像サイズに対する動体サイズが小さくなりやすくなってしまうからである。

そこで、固定カメラによって撮像された映像（以下、「広域カメラ映像」とも言う。）を表示させ、表示された広域カメラ映像から動体が存在する位置を指定位置として指定し、指定位置に基づいて検出された動体を可動カメラで追尾する技術が存在する。かかる技術によれば、可動カメラのレンズ画角を抑えることができるため、可動カメラの映像サイズに対する動体サイズが小さくなることを抑えることができる。

特開２００６−２２９３２２号公報

しかしながら、固定カメラが単眼カメラである場合には、広域カメラ映像において物体の位置が指定されても、奥行き方向における物体の位置が不明な場合がある。さらに、固定カメラと可動カメラとは異なる位置に設置され、固定カメラと可動カメラとの間には視差が存在する場合がある。このような場合、可動カメラの撮像範囲の所望する位置に物体が映らないことがある。したがって、広域カメラ映像に対する指定位置に応じた可動カメラの撮像範囲の制御精度を向上させることが望まれる。

上記問題を解決するために、本発明のある観点によれば、広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、前記広域カメラ映像に対する前記操作が前記広域カメラ映像における位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御する、カメラ制御装置が提供される。

前記カメラ制御部は、前記可動カメラの前記撮像範囲を制御するための撮像パラメータを前記指定位置に基づいて取得し、前記撮像パラメータと前記仮想スクリーンの前記三次元位置とに基づいて前記可動カメラの前記撮像範囲を制御してよい。

前記カメラ制御部は、前記撮像パラメータと前記広域カメラ映像における位置との組み合わせを１または複数有するキャリブレーションデータに基づいて、前記指定位置に応じた撮像パラメータを取得してよい。

前記カメラ制御装置は、前記キャリブレーションデータを生成するキャリブレーション処理部を備え、前記キャリブレーション処理部は、前記仮想スクリーンと前記広域カメラ映像における前記仮想撮像領域とに基づいて前記キャリブレーションデータのうち前記仮想撮像領域に対応するデータを生成してよい。

前記キャリブレーション処理部は、実空間に存在する所定の対象物が前記広域カメラ映像に実物撮像領域として撮像される場合、前記所定の対象物と前記広域カメラ映像における前記実物撮像領域とに基づいて前記キャリブレーションデータのうち前記実物撮像領域に対応するデータを生成してよい。

前記カメラ制御部は、前記指定位置に基づいて前記広域カメラ映像から物体位置を認識し、前記キャリブレーションデータに基づいて前記物体位置に対応する撮像パラメータを取得し、前記撮像パラメータに基づいて前記撮像範囲を制御してよい。

前記物体は、空を背景として飛行する航空機であり、前記広域カメラは、飛行場を被写体として前記広域カメラ映像を撮像し、前記仮想スクリーンは、前記飛行場の滑走路の進行方向に沿って存在すると仮定されてよい。

前記カメラ制御部は、前記キャリブレーションデータに基づいて前記指定位置に対応する撮像パラメータを取得し、前記撮像パラメータに基づいて前記撮像範囲を制御してよい。

前記仮想スクリーンは、平面または曲面であってよい。

三次元位置が既知である他の仮想スクリーンが実空間に存在すると仮定した場合に前記他の仮想スクリーンが前記広域カメラ映像に他の仮想撮像領域として撮像され、前記カメラ制御部は、前記他の仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記他の仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御してよい。

また、本発明の他の観点によれば、広域カメラによって撮像された広域カメラ映像に対する操作を取得することと、前記広域カメラ映像に対する前記操作が前記広域カメラ映像における位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御することと、を含み、三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御すること、を含む、カメラ制御方法が提供される。

また、本発明の他の観点によれば、コンピュータを、広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、前記広域カメラ映像に対する前記操作が前記広域カメラ映像における位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御する、カメラ制御装置として機能させるためのプログラムが提供される。

また、本発明の他の観点によれば、表示制御装置とカメラ制御装置とを有する監視システムにおいて、前記カメラ制御装置は、広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、前記広域カメラ映像に対する前記操作が前記広域カメラ映像における位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御し、前記表示制御装置は、前記可動カメラによって撮像された可動カメラ映像を表示部に表示させる表示制御部を備える、監視システムが提供される。

前記表示制御装置は、前記可動カメラ映像に物体が適正に映っているか否かを判断する適正判断部と、前記可動カメラ映像に前記物体が適正に映っていないと判断された場合に、所定の警告が出力されるように制御する出力制御部と、を備えてよい。

前記適正判断部は、前記物体のサイズおよび位置の少なくともいずれか一方に基づいて、前記可動カメラ映像に前記物体が適正に映っているか否かを判断してよい。

以上説明したように本発明によれば、広域カメラ映像に対する指定位置に応じた可動カメラの撮像範囲の制御精度を向上させることが可能となる。

本発明の第１の実施形態に係る監視システムの構成例を示した説明図である。 同実施形態に係る表示制御装置の機能構成例を示すブロック図である。 同実施形態に係るカメラ制御装置の機能構成例を示すブロック図である。 初期の表示画面の構成例を示す図である。 固定カメラによって地表に存在する物体が撮像される例を示す図である。 固定カメラによって空中に存在する物体が撮像される例を示す図である。 同実施形態に係るキャリブレーション処理について説明するための図である。 キャリブレーション処理部によって生成されたキャリブレーションデータの例を示す図である。 同実施形態に係るキャリブレーション処理の動作の例を示すシーケンス図である。 広域カメラ映像における指定位置から可動カメラの撮像範囲を制御するための撮像パラメータを計算により求める手法の例を説明するための図である。 同実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。 同実施形態に係る撮像範囲の制御処理の動作の例を示すシーケンス図である。 本発明の第２の実施形態に係るカメラ制御装置の機能構成例を示すブロック図である。 同実施形態の概要を説明するための図である。 同実施形態に係るキャリブレーション処理について説明するための図である。 同実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。 同実施形態に係る表示制御装置の機能構成例を示すブロック図である。 同実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。 同実施形態において広域カメラ映像における位置が指定された場合における他の表示例を示す図である。 同実施形態に係る適正判断処理の動作の例を示すシーケンス図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

（１．第１の実施形態）
まず、本発明の第１の実施形態について説明する。

（１−１．監視システムの構成）
図１を参照しながら、本発明の第１の実施形態に係る監視システム１Ａの構成例について説明する。図１は、本発明の第１の実施形態に係る監視システム１Ａの構成例を示した説明図である。図１に示したように、監視システム１Ａは、表示制御装置１０Ａ、監視装置２０Ａおよび可動カメラ３０を備える。監視装置２０Ａは、カメラ制御装置２２Ａおよび固定カメラ２１−１〜２１−４を備える。なお、図１には、後に説明する第２の実施形態に係る監視システム１Ｂおよび第３の実施形態に係る監視システム１Ｃそれぞれの構成についても示されている。

また、図１に示したように、監視装置２０Ａおよび可動カメラ３０は、遠隔地に設置され、表示制御装置１０Ａは、監視者Ｋが存在する監視地に設置され、監視地と遠隔地とは、ネットワーク５０を介して接続されている。遠隔地は、典型的には飛行場であってよいが、遠隔地は飛行場に限定されず、監視され得る他の場所（例えば、船舶の通過する航路、電車の線路など）であってもよい。本明細書においては、遠隔地が飛行場である場合を想定しており、遠隔地には空を背景として飛行する物体（航空機）Ｍ１が存在している。

ここで、例えば、ネットワーク５０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク５０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

固定カメラ２１−１〜２１−４は、所定の監視対象領域を撮像することによって（例えば、飛行場を被写体として撮像することによって）映像（以下、「広域カメラ映像」とも言う。）を撮像する。ここで、固定カメラ２１の数は特に限定されない。固定カメラ２１−１〜２１−４によって撮像された広域カメラ映像は、ネットワーク５０を介して表示制御装置１０Ａに提供される。カメラ制御装置２２Ａは、広域カメラ映像から指定された位置（以下、「指定位置」とも言う。）を解析することによって物体を検出する。例えば、物体の位置およびサイズが検出されてよい。

また、カメラ制御装置２２Ａは、可動カメラ３０の撮像範囲（撮像方向および撮像サイズ）を制御する機能を有する。可動カメラ３０の撮像方向は、パン・チルト機能により調整され得る。また、可動カメラ３０の撮像サイズは、ズーム機能により調整され得る。より具体的には、カメラ制御装置２２Ａは、監視者Ｋによって広域カメラ映像における指定位置に応じた撮像範囲を撮像するように、可動カメラ３０を制御する。

可動カメラ３０は、カメラ制御装置２２Ａによる制御に従って撮像範囲を撮像する機能を有する。可動カメラ３０の画角は、固定カメラ２１−１〜２１−４それぞれの画角よりも狭い（可動カメラ３０の撮像範囲は、固定カメラ２１−１〜２１−４それぞれの撮像範囲よりも狭い）。そのため、可動カメラ３０によって撮像された撮像結果（以下、「可動カメラ映像」とも言う。）は、広域カメラ映像よりも、監視者Ｋによる詳細監視に向いている。可動カメラ映像は、ネットワーク５０を介して表示制御装置１０Ａに提供される。

表示制御装置１０Ａは、第１の表示領域に広域カメラ映像を表示させ、第１の表示領域とは異なる第２の表示領域に可動カメラ映像を表示させる。第１の表示領域および第２の表示領域は、表示制御装置１０Ａの内部に存在してもよいし、表示制御装置１０Ａの外部に存在してもよい。第１の表示領域および第２の表示領域については、後に詳細に説明する。監視者Ｋは、このようにして表示された広域カメラ映像および可動カメラ映像の双方を監視することができる。

以上、本発明の第１の実施形態に係る監視システム１Ａの構成例について説明した。

（１−２．表示制御装置の機能構成）
続いて、本発明の第１の実施形態に係る表示制御装置１０Ａの機能構成例について説明する。図２は、本発明の第１の実施形態に係る表示制御装置１０Ａの機能構成例を示すブロック図である。図２に示したように、本発明の第１の実施形態に係る表示制御装置１０Ａは、制御部１１０Ａ、入力部１２０、通信部１３０、記憶部１４０および表示部１５０を備える。

制御部１１０Ａは、表示制御装置１０Ａの動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、表示制御装置１０Ａに内蔵されたＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部１１０Ａは、映像取得部１１１、表示制御部１１２、操作検出部１１３および通知部１１４を備える。

入力部１２０は、監視者Ｋから各種情報の入力を受け付ける機能を有する。例えば、入力部１２０は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチなどによって構成されてよい。例えば、入力部１２０は、表示部１５０によって表示された各種画面からボタンを選択する操作、広域カメラ映像および可動カメラ映像に対する操作などの入力を受け付けることができる。入力部１２０がタッチパネルによって構成される場合には、入力部１２０は、表示部１５０に積層され、表示部１５０とともにタッチスクリーンを構成し得る。

通信部１３０は、ネットワーク５０を介してカメラ制御装置２２Ａとの間で各種情報を送受信するための通信インタフェースである。例えば、通信部１３０は、ネットワーク５０を介して固定カメラ２１−１〜２１−４から広域カメラ映像を受信することが可能である。また、例えば、通信部１３０は、ネットワーク５０を介して可動カメラ３０から可動カメラ映像を受信することが可能である。

記憶部１４０は、制御部１１０を動作させるためのプログラムやデータを記憶することができる。また、記憶部１４０は、制御部１１０の動作の過程で必要となる各種データを一時的に記憶することもできる。本発明の第１の実施形態では、記憶部１４０は、広域カメラ映像および可動カメラ映像を記憶することができる。

表示部１５０は、各種画面を表示する機能を有する。例えば、表示部１５０は、第１の表示領域に広域カメラ映像を表示し、第２の表示領域に可動カメラ映像を表示する機能を有する。例えば、表示部１５０は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプなどの表示装置であってよい。

（１−３．カメラ制御装置の機能構成）
続いて、本発明の第１の実施形態に係るカメラ制御装置２２Ａの機能構成例について説明する。図３は、本発明の第１の実施形態に係るカメラ制御装置２２Ａの機能構成例を示すブロック図である。図３に示したように、本発明の第１の実施形態に係るカメラ制御装置２２Ａは、制御部２１０Ａ、通信部２３０および記憶部２４０を備える。

制御部２１０Ａは、カメラ制御装置２２Ａの動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、カメラ制御装置２２Ａに内蔵されたＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部２１０Ａは、キャリブレーション処理部２１１Ａ、操作取得部２１２およびカメラ制御部２１３を備える。

通信部２３０は、ネットワーク５０を介して表示制御装置１０Ａとの間で各種情報を送受信するための通信インタフェースである。例えば、通信部２３０は、固定カメラ２１−１〜２１−４によって撮像された広域カメラ映像を、ネットワーク５０を介して表示制御装置１０Ａに送信することが可能である。また、通信部２３０は、可動カメラ３０によって撮像された可動カメラ映像を、ネットワーク５０を介して表示制御装置１０Ａに送信することが可能である。

記憶部２４０は、制御部２１０Ａを動作させるためのプログラムやデータを記憶することができる。また、記憶部２４０は、制御部２１０Ａの動作の過程で必要となる各種データを一時的に記憶することもできる。本発明の第１の実施形態では、記憶部２４０は、広域カメラ映像を記憶することができる。

以上、本発明の第１の実施形態に係るカメラ制御装置２２Ａの機能構成例について説明した。

（１−４．背景）
続いて、本発明の第１の実施形態の背景について説明する。まず、表示制御装置１０Ａの表示制御部１１２は、初期の表示画面を表示部１５０に表示させる。図４は、初期の表示画面の構成例を示す図である。図４に示したように、初期の表示画面Ｇは、第１のボタン群Ｂ１、第２のボタン群Ｂ２、第１の表示領域Ｗ１〜Ｗ４、第２の表示領域Ｗ０、移動ボタンＢ３、ズームボタンＢ４などを含んでいる。第１の表示領域Ｗ１〜Ｗ４には、映像取得部１１１によって通信部１３０を介して取得された広域カメラ映像が、表示部１５０によって表示される。

第１の表示領域Ｗ１〜Ｗ４に表示された広域カメラ映像から、監視者Ｋによって位置を指定位置として指定する操作がなされると、指定位置がカメラ制御装置２２Ａに通知される。位置を指定する操作は特に限定されないが、入力部１２０がタッチパネルである場合には、タップ操作であってよい。そして、カメラ制御装置２２Ａが、指定位置に応じた撮像範囲を撮像するように可動カメラ３０を制御すると、可動カメラ３０が、指定位置に応じた撮像範囲を撮像し、ネットワーク５０を介して可動カメラ映像を表示制御装置１０Ａに送信する。

なお、第１のボタン群Ｂ１および第２のボタン群の各ボタンが押下されたときに実行される処理は特に限定されないが、例えば、所定のボタンが押下された場合には、広域カメラ映像および可動カメラ映像を表示制御装置１０Ａに提供する遠隔地の切り替えが行われるようにしてもよい。かかる場合には、初期の表示画面Ｇの第１の表示領域Ｗ１〜Ｗ４に表示される広域カメラ映像も変更される。

また、表示制御部１１２は、移動ボタンＢ３が押下された場合には、第１の表示領域Ｗ１〜Ｗ４に表示されている広域カメラ映像における指定位置の位置を移動させることができる。指定位置が移動された後は、移動後の選択領域に応じた撮像範囲の可動カメラ映像が第２の表示領域Ｗ０に表示されてよい。

一方、表示制御部１１２は、ズームボタンＢ４が押下された場合には、広域カメラ映像における選択領域を拡大または縮小させることができる。選択領域が拡大または縮小された後は、拡大または縮小後の選択領域に応じた撮像範囲の可動カメラ映像が第２の表示領域Ｗ０に表示されてよい。以下では、説明の簡便さのため、ズーム値は特に制御されない場合を想定して説明するが、ズーム値はパン角度およびチルト角度と同様に制御されてもよい。例えば、ズーム値は、手動により変更されてもよいし、撮像対象物までの距離に応じて自動により制御されてもよい。

ここで、第１の表示領域Ｗ１〜Ｗ４に表示された広域カメラ映像における指定位置から可動カメラ３０の撮像範囲を特定する手法について説明する。まず、固定カメラ２１によって地表に存在する物体が撮像される例を説明する。図５は、固定カメラ２１によって地表に存在する物体が撮像される例を示す図である。

図５を参照すると、広域カメラ映像を撮像する固定カメラ２１が示されている。また、図５には、固定カメラ２１のカメラパラメータの一部である高さＨ１、俯角Ｄｒ、垂直画角Ｖｒおよびカメラ垂直解像度Ｖｓが示されている（その他のカメラパラメータには、例えばカメラ水平解像度Ｖｈがある）。図５に示すように、固定カメラ２１によって、地表に存在する複数の物体（それぞれの三次元座標を（ｘｗ，ｙｗ，ｚｗ）（ｘｖ，ｙｖ，ｚｖ）（ｘｕ，ｙｕ，ｚｕ）と示す）が撮像される。なお、図５に示した例では、地表に３つの物体が存在しているが、地表に存在する物体の数は特に限定されない。

ここで、図５に示すように、固定カメラ２１のカメラパラメータが既知の場合、固定カメラ２１を基準とした広域カメラ映像に映る地面の三次元位置は一意に決定される。つまり、地表に存在する複数の物体それぞれの三次元位置（ｘｗ，ｙｗ，ｚｗ）（ｘｖ，ｙｖ，ｚｖ）（ｘｕ，ｙｕ，ｚｕ）は、広域カメラ映像Ｗ９０における物体の位置（Ｘｕ，Ｙｕ）（Ｘｖ，Ｙｖ）（Ｘｗ，Ｙｗ）と、パン角度およびチルト角度とに基づいて特定され得る。

このようにして、地表に存在する物体が固定カメラ２１によって撮像される場合には、物体の三次元位置が特定されるため、画像座標（Ｘ，Ｙ）とその物体の三次元位置を撮像するための撮像パラメータとの対応付けにより、キャリブレーションデータが生成され得る（図５参照）。撮像パラメータは、撮像範囲を制御するためのパラメータであり、パン角度およびチルト角度を含む。また、このキャリブレーションデータを参照することによって、可動カメラ３０の撮像範囲が、固定カメラ２１によって撮像された広域カメラ映像における指定位置に応じて精度よく制御され得る。

一方、固定カメラ２１によって撮像される物体は地表に存在するとは限らない。例えば、地表に存在しない物体としては、航空機などが想定される。かかる場合について説明する。図６は、固定カメラ２１によって空中に存在する物体が撮像される例を示す図である。図６に示した例では、図５に示した例と比較して、垂直画角Ｖｒおよび垂直解像度Ｖｓが大きくなっている。そのため、固定カメラ２１の撮像範囲に地表に存在しない物体も含まれている。

このとき、図５を参照しながら説明したように、地表に存在する複数の物体それぞれの三次元位置（ｘｆ，ｙｆ，ｚｆ）（ｘｅ，ｙｅ，ｚｅ）は、広域カメラ映像（第１の表示領域Ｗ１）における物体の位置（以下、「画像座標」とも言う。）（Ｘｆ，Ｙｆ）（Ｘｅ，Ｙｅ）と、パン角度およびチルト角度とに基づいて特定され得る。しかし、固定カメラ２１が単眼カメラである場合には、画像座標（Ｘｄ，Ｙｄ）からだけでは奥行き方向における物体の位置が不明であるため、地表に存在しない物体の三次元位置は特定されない。

図６に示した例では、地表に存在しない物体が、（ｘｄ１，ｙｄ１，ｚｄ１）（ｘｄ２，ｙｄ２，ｚｄ２）（ｘｄ３，ｙｄ３，ｚｄ３）のいずれに存在するのかが不明である。このとき、図１に示したように、固定カメラ２１と可動カメラ３０とが異なる位置に設置され、固定カメラ２１と可動カメラ３０との間に視差が存在する場合も想定される。

かかる場合には、図６に示したように、（ｘｄ１，ｙｄ１，ｚｄ１）（ｘｄ２，ｙｄ２，ｚｄ２）（ｘｄ３，ｙｄ３，ｚｄ３）それぞれの位置を撮像するための可動カメラ３０の撮像パラメータが（Ｐｄ１，Ｔｄ１）（Ｐｄ２，Ｔｄ２）（Ｐｄ３，Ｔｄ３）といったように異なってしまうことになり、撮像パラメータをいずれにすべきかが不明となってしまう。

仮に、いずれかの撮像パラメータを用いてキャリブレーションデータを生成した場合には、このキャリブレーションデータを参照して広域カメラ映像における指定位置に応じて可動カメラ３０の撮像範囲が制御されても、可動カメラ３０の撮像範囲の所望する位置に物体が映らないことがある。したがって、本明細書においては、固定カメラ２１によって撮像される広域カメラ映像に対する指定位置に応じた可動カメラ３０の撮像範囲の制御精度を向上させる技術を主に説明する。

以上、本発明の第１の実施形態の背景について説明した。

（１−５．キャリブレーション処理）
続いて、本発明の第１の実施形態に係る監視システム１Ａの機能詳細について説明する。本発明の第１の実施形態においても、画像座標と撮像パラメータとの対応付けにより、キャリブレーションデータの生成（キャリブレーション処理）が行われる。以下では、本発明の第１の実施形態に係るキャリブレーション処理について説明する。図７は、本発明の第１の実施形態に係るキャリブレーション処理について説明するための図である。

地表に存在しないことがある物体であっても、所定の限られた領域内を移動するとみなすことができる場合がある。例えば、航空機は、滑走路から離陸した直後には滑走路方向に対して上下には移動しても左右にはほとんど移動しないことが想定される。また、航空機は、滑走路に着陸する直前には、滑走路方向に対して上下には移動しても左右にはほとんど移動しないことが想定される。そこで、図７に示すように、本発明の第１の実施形態においては、物体が存在する可能性がある領域として仮想スクリーンＳｃが実空間に存在することを仮定する。

例えば、キャリブレーション処理部２１１Ａは、仮想スクリーンＳｃが地面に垂直であるという条件と、固定カメラ２１から仮想スクリーンと地面とが交わる辺Ｉｐまでの距離Ｄａとによって、仮想スクリーンＳｃの三次元位置を特定してもよい。あるいは、キャリブレーション処理部２１１Ａは、仮想スクリーンＳｃが地面に垂直であるという条件と、固定カメラ２１から仮想スクリーンＳｃまでの水平方向の距離Ｄｂとによって仮想スクリーンＳｃの三次元位置を特定してもよい。距離Ｄａおよび距離Ｄｂは、直接的に計測された結果に基づく値であってもよいし、経験的に得られた値であってもよい。

あるいは、仮想スクリーンＳｃの三次元位置は、キャリブレーション処理部２１１Ａによって計算によって求められてもよい。例えば、辺Ｉｐが属する地面の三次元位置は、上記したように既知であるため、キャリブレーション処理部２１１Ａは、広域カメラ映像において辺Ｉｐの二次元的な位置が監視者Ｋによって指定されれば、地面の三次元位置と広域カメラ映像における辺Ｉｐの二次元的な位置とに基づいて、辺ＩＰおよび仮想スクリーンＳｃそれぞれの三次元位置を特定することが可能である。

図７に示した例では、仮想スクリーンＳｃが広域カメラ映像（第１の表示領域Ｗ１〜Ｗ４）に撮像されている（以下、仮想スクリーンＳｃが撮像される領域を「仮想撮像領域」とも言う。）。キャリブレーション処理部２１１Ａは、仮想スクリーンＳｃと仮想撮像領域とに基づいてキャリブレーションデータのうち仮想撮像領域に対応するデータを生成する。

例えば、図７に示すように、キャリブレーション処理部２１１Ａは、広域カメラ映像（第１の表示領域Ｗ１〜Ｗ４）の仮想撮像領域に存在する物体の二次元位置（Ｘｄ，Ｙｄ）と仮想スクリーンＳｃの三次元位置とカメラパラメータに基づいて、物体の三次元位置（ｘｄ，ｙｄ，ｚｄ）を特定すればよい。そして、図７に示すように、キャリブレーション処理部２１１Ａは、物体の三次元位置（ｘｄ，ｙｄ，ｚｄ）とその物体の三次元位置を撮像するための撮像パラメータ（Ｐｄ，Ｔｄ）との組み合わせを含むようにキャリブレーションデータを生成すればよい。例えば、物体の三次元位置を撮像するための撮像パラメータは、計測によって得られればよい。

一方、実空間に存在する所定の対象物も、広域カメラ映像（第１の表示領域Ｗ１〜Ｗ４）に撮像されている（以下、対象物が撮像される領域を「実物撮像領域」とも言う。）。対象物は、ここでは地面を想定しているが、地面に限らない。キャリブレーション処理部２１１Ａは、所定の対象物と実物撮像領域とに基づいてキャリブレーションデータのうち実物撮像領域に対応するデータを生成する。

例えば、図７に示すように、キャリブレーション処理部２１１Ａは、広域カメラ映像（第１の表示領域Ｗ１〜Ｗ４）の実物撮像領域に存在する物体の二次元位置（Ｘｅ，Ｙｅ）と地面の三次元位置とカメラパラメータに基づいて、物体の三次元位置（ｘｅ，ｙｅ，ｚｅ）を特定すればよい。そして、図７に示すように、キャリブレーション処理部２１１Ａは、物体の三次元位置（ｘｅ，ｙｅ，ｚｅ）とその物体の三次元位置を撮像するための撮像パラメータ（Ｐｅ，Ｔｅ）との組み合わせを含むようにキャリブレーションデータを生成すればよい。

同様に、キャリブレーション処理部２１１Ａは、広域カメラ映像（第１の表示領域Ｗ１〜Ｗ４）の実物撮像領域に存在する物体の二次元位置（Ｘｆ，Ｙｆ）と地面の三次元位置とカメラパラメータに基づいて、物体の三次元位置（ｘｆ，ｙｆ，ｚｆ）を特定すればよい。そして、図７に示すように、キャリブレーション処理部２１１Ａは、物体の三次元位置（ｘｆ，ｙｆ，ｚｆ）とその物体の三次元位置を撮像するための撮像パラメータ（Ｐｆ，Ｔｆ）との組み合わせを含むようにキャリブレーションデータを生成すればよい。

図８は、キャリブレーション処理部２１１Ａによって生成されたキャリブレーションデータの例を示す図である。図８に示すように、キャリブレーションデータは、画像座標と撮像パラメータとの組み合わせを１または複数有して構成されている。図８に示した例では、点Ｎａから点Ｎｉまでの９つの点についての組み合わせがキャリブレーションデータに含まれているが、キャリブレーションデータに含まれる画像座標と撮像パラメータとの組み合わせの数は特に限定されない。

続いて、本発明の第１の実施形態に係るキャリブレーション処理の動作について説明する。図９は、本発明の第１の実施形態に係るキャリブレーション処理の動作の例を示すシーケンス図である。なお、図９に示したシーケンス図は、本発明の実施形態に係るキャリブレーション処理の動作の流れの一例に過ぎない。したがって、かかる動作の流れは、図９に示したシーケンス図に限定されない。

例えば、上記では、物体の三次元位置を撮像するための撮像パラメータを計測によって得る手法を示した。一方、図９には、固定カメラ２１−１〜２１−４のカメラパラメータ（以下、「広域カメラパラメータ」とも言う。）および可動カメラ３０のカメラパラメータ（以下、「可動カメラパラメータ」とも言う。）に基づいてキャリブレーション処理が実行される例を示す。広域カメラパラメータは、固定カメラ２１−１〜２１−４それぞれの水平画角、垂直画角、水平解像度、垂直解像度、設置高さ、光軸方向の俯角および方位角であってよい。また、可動カメラパラメータは、可動カメラ３０の光軸方向、固定カメラ２１−１〜２１−４との位置関係であってよい。

図９に示すように、固定カメラ２１−１〜２１−４が広域カメラパラメータをカメラ制御装置２２Ａに送信すると（ステップＳ１１）、カメラ制御装置２２Ａにおいては、通信部２３０が広域カメラ映像を受信する（ステップＳ３１）。また、可動カメラ３０が可動カメラ映像をカメラ制御装置２２Ａに送信すると（ステップＳ２１）、カメラ制御装置２２Ａにおいては、通信部２３０が可動カメラ映像を受信する（ステップＳ３２）。キャリブレーション処理部２１１Ａは、広域カメラパラメータと可動カメラパラメータとに基づいてキャリブレーションデータを作成する（ステップＳ３３）。

続いて、固定カメラ２１−１〜２１−４が広域カメラ映像をカメラ制御装置２２Ａに送信すると（ステップＳ１２）、カメラ制御装置２２Ａにおいては、通信部２３０が広域カメラ映像を受信する（ステップＳ３４）。続いて、キャリブレーション処理部２１１Ａは、広域カメラ映像に基づいて仮想スクリーンを設定し（ステップＳ３５）、仮想スクリーンに基づいてキャリブレーションデータを更新する（ステップＳ３６）。このときの更新は、上記した仮想撮像領域について行われればよい。キャリブレーションデータの生成が終わると、カメラ制御部２１３によって可動カメラ３０の撮像範囲が制御される。

（１−６．撮像範囲の制御処理）
続いて、可動カメラ３０の撮像範囲の制御処理について説明する。キャリブレーションデータの生成が終わり、監視者Ｋによって広域カメラ映像に対する操作が行われ、操作検出部１１３によって広域カメラ映像に対する操作が検出されると、検出された操作がネットワーク５０を介して通信部１３０によってカメラ制御装置２２Ａに送信される。カメラ制御装置２２Ａにおいては、通信部２３０によって操作が受信されると、カメラ制御部２１３が操作を判定する。

カメラ制御部２１３は、広域カメラ映像に対する操作が広域カメラ映像における位置を指定位置として指定するための指定操作である場合、可動カメラ３０の撮像範囲を指定位置に応じて制御する。このとき、カメラ制御部２１３は、上記した仮想撮像領域の範囲内に指定位置が存在する場合、指定位置と仮想スクリーンの三次元位置とに基づいて撮像範囲を制御する。

かかる構成によれば、可動カメラ３０の位置を基準とした奥行き方向における物体の位置が不明とならないため、可動カメラ３０の撮像範囲の所望する位置に物体が映る可能性が向上する。したがって、固定カメラ２１−１〜２１−４によって撮像される広域カメラ映像に対する指定位置に応じた可動カメラ３０の撮像範囲の制御精度を向上させることが可能となる。

例えば、カメラ制御部２１３は、可動カメラ３０の撮像範囲を制御するための撮像パラメータを指定位置に基づいて取得し、撮像パラメータと仮想スクリーンの三次元位置とに基づいて可動カメラ３０の撮像範囲を制御すればよい。撮像パラメータは、キャリブレーション処理部２１１Ａによって生成されたキャリブレーションデータから取得されればよい。すなわち、カメラ制御部２１３は、キャリブレーションデータに基づいて、指定位置に応じた撮像パラメータを取得すればよい。

撮像パラメータの取得手法としては様々な手法が想定される。例えば、キャリブレーションデータとして登録されている画像座標を直接的に指定することによって、指定された画像座標に対応する撮像パラメータが取得されてもよい。あるいは、指定位置から撮像パラメータが計算により求められてもよい。図１０は、広域カメラ映像における指定位置から可動カメラ３０の撮像範囲を制御するための撮像パラメータを計算により求める手法の例を説明するための図である。

図８に示すように、点Ｎａから点Ｎｉまでの９つの点について、広域カメラ映像における位置と撮像パラメータとの組み合わせが登録され、例えば、図１０に示したように、点Ｎａから点Ｎｉまでの９つの点それぞれの位置が表されるとする。ここで、指定位置Ｏ（Ｏｘ１，Ｏｙ１）が点Ｎａと点Ｎｂと点Ｎｄと点Ｎｅとに囲まれる矩形の内部の位置であった場合を想定する。

かかる場合、点Ｎａのパン角度をＰａとし、点Ｎｃのパン角度をＰｃとし、点ＮａのＸ座標をＸａとし、点ＮｃのＸ座標をＸｃとすると、指定位置Ｏ（Ｏｘ１，Ｏｙ１）に応じたパン角度は、式（１）により算出され得る。同様に、点Ｎａのチルト角度をＴａとし、点Ｎｃのチルト角度をＴｃとし、点ＮａのＹ座標をＹａとし、点ＮｃのＹ座標をＹｃとすると、指定位置Ｏ（Ｏｘ１，Ｏｙ１）に応じたチルト角度は、式（２）により算出され得る。

なお、本発明の第１の実施形態においては、カメラ制御部２１３が、広域カメラ映像における指定位置に基づいて広域カメラ映像から物体位置を認識し、キャリブレーションデータに基づいて物体位置に対応する撮像パラメータを取得し、撮像パラメータに基づいて撮像範囲を制御する場合を主に想定する。しかし、カメラ制御部２１３は、キャリブレーションデータに基づいて指定位置に対応する撮像パラメータを取得し、撮像パラメータに基づいて可動カメラ３０の撮像範囲を制御してもよい。

図１１は、本発明の第１の実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。図１１を参照すると、実空間に存在すると仮定された仮想スクリーンＳｃが広域カメラ映像に映っている（第１の表示領域Ｗ１〜Ｗ４）。上記したように、物体Ｍ１は、滑走路から離陸した直後には滑走路方向に対して上下には移動しても左右にはほとんど移動しないことが想定されるため、仮想スクリーンＳｃは、飛行場の滑走路の進行方向に沿って存在すると仮定されてよい。

例えば、図１１に示すように、仮想スクリーンと地面とが交わる辺Ｉｐは、滑走路の中央線であるとよい。図１１に示したように、広域カメラ映像（第１の表示領域Ｗ２）において仮想スクリーンＳｃが映る領域を飛行する物体Ｍ１の位置が指定位置として指定されると、カメラ制御部２１３は、指定位置と仮想スクリーンＳｃの三次元位置とに基づいて可動カメラ３０の撮像範囲を制御する。可動カメラ３０によって撮像された可動カメラ映像が撮像されると、通信部２３０は、ネットワーク５０を介して可動カメラ映像を表示制御装置１０Ａに送信する。

続いて、表示制御装置１０Ａにおいては、通信部１３０がネットワーク５０を介して可動カメラ映像を受信する。表示制御部１１２は、このようにして受信された可動カメラ映像を第２の表示領域Ｗ０に表示させる。第２の表示領域Ｗ０を参照すると、指定位置と仮想スクリーンＳｃの三次元位置とに基づいて可動カメラ３０の撮像範囲を制御することによって、可動カメラ３０の撮像範囲の所望する位置に物体Ｍ１が映っていることが把握される。

続いて、本発明の第１の実施形態に係る撮像範囲の制御処理の動作について説明する。図１２は、本発明の第１の実施形態に係る撮像範囲の制御処理の動作の例を示すシーケンス図である。なお、図１２に示したシーケンス図は、本発明の第１の実施形態に係る撮像範囲の制御処理の動作の流れの一例に過ぎない。したがって、かかる動作の流れは、図１２に示したシーケンス図に限定されない。

図１２に示すように、表示制御装置１０Ａにおいて、表示制御部１１２は、第１の表示領域Ｗ１〜Ｗ４に固定カメラ２１−１〜２１−４によって撮像された広域カメラ映像を表示させる（ステップＳ１６１）。そして、操作検出部１１３は、広域カメラ映像に対する指定操作を検出する（ステップＳ１６２）。通信部１３０は、ネットワーク５０を介して指定操作をカメラ制御装置２２Ａに送信する（ステップＳ１６３）。

カメラ制御装置２２Ａにおいて、通信部２３０は、ネットワーク５０を介して指定操作を受信する（ステップＳ１７１）。そして、操作取得部２１２によって指定操作が取得されると、カメラ制御部２１３は、指定操作による指定位置に対応する撮像パラメータをキャリブレーションデータから取得する（ステップＳ１７２）。キャリブレーションデータは、実空間に存在すると仮定された仮想スクリーンの三次元位置に基づいて生成されている。続いて、カメラ制御部２１３は、撮像パラメータを可動カメラ３０に通知する（ステップＳ１７３）。可動カメラ３０は、撮像パラメータに基づいて撮像範囲を調整すると（ステップＳ１８１）、撮像範囲を調整した後に撮像した可動カメラ映像を、ネットワーク５０を介して表示制御装置１０Ａに送信する（ステップＳ１８２）。

続いて、表示制御装置１０Ａにおいて、通信部１３０は、可動カメラ３０によって撮像された可動カメラ映像を受信する（ステップＳ１９１）。通信部１３０によって受信された可動カメラが映像取得部１１１によって可動カメラ映像が取得されると、表示制御部１１２は、映像取得部１１１によって取得された可動カメラ映像を第２の表示領域Ｗ０に表示させる（ステップＳ１９２）。監視者Ｋは、第２の表示領域Ｗ０に表示された可動カメラ映像を監視する。

以上、本発明の第１の実施形態について説明した。

（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。

（２−１．監視システムの構成）
図１を参照しながら、本発明の第２の実施形態に係る監視システム１Ｂの構成例について説明する。図１に示したように、第２の実施形態に係る監視システム１Ｂは、第１の実施形態に係る監視システム１Ａと比較して、監視装置２０Ｂの構成が監視装置２０Ａの構成と異なっている。第２の実施形態に係る監視装置２０Ｂは、第１の実施形態に係る監視装置２０Ａと比較して、カメラ制御装置２２Ｂの構成がカメラ制御装置２２Ａの構成と異なっている。そこで、第２の実施形態においては、カメラ制御装置２２Ｂの構成を主に説明する。

（２−２．カメラ制御装置の機能構成）
続いて、本発明の第２の実施形態に係るカメラ制御装置２２Ｂの機能構成例について説明する。図１３は、本発明の第２の実施形態に係るカメラ制御装置２２Ｂの機能構成例を示すブロック図である。図１３に示したように、第２の実施形態に係るカメラ制御装置２２Ｂは、第１の実施形態に係るカメラ制御装置２２Ａと比較して、制御部２１０Ｂのキャリブレーション処理部２１１Ｂの構成が制御部２１０Ａのキャリブレーション処理部２１１Ａの構成と異なる。そこで、第２の実施形態においては、キャリブレーション処理部２１１Ｂの構成を主に説明する。

（２−３．キャリブレーション処理）
図１４は、本発明の第２の実施形態の概要を説明するための図である。ここで、本発明の第１の実施形態においては、滑走路から離陸した直後の航空機を想定して仮想スクリーンとして平面が１つ存在すると仮定した。しかし、仮想スクリーンの形状および数は特に限定されない。例えば、仮想スクリーンの形状は、物体の動きに応じた形状（例えば、曲面など）であってもよい。また、仮想スクリーンの数は複数であってもよい。

例えば、図１４に示したように、同一の物体Ｍ６〜Ｍ１が時系列に沿って、物体Ｍ６〜Ｍ１の順に飛行して滑走路に着陸する場合を想定する。このとき、図１４に示したように、物体Ｍ３および物体Ｍ２それぞれの位置において旋回が行われる例を考えると、旋回前の物体Ｍ６〜Ｍ４はある平面上を移動するが、旋回後の物体Ｍ１は他の平面上を移動すると考えられる。そこで、第２の実施形態においては、仮想スクリーンが複数存在すると仮定することによって、広域カメラ映像に対する指定位置に応じた可動カメラの撮像範囲の制御精度を向上させる例を説明する。

図１５は、本発明の第２の実施形態に係るキャリブレーション処理について説明するための図である。図１５に示したように、仮想スクリーンＳｃ１の他に、仮想スクリーンＳｃ２が存在すると仮定することができる。図１４に示した例で言えば、仮想スクリーンＳｃ１が、旋回前の物体Ｍ６〜Ｍ４が存在する可能性のある領域であり、仮想スクリーンＳｃ２は、旋回後の物体Ｍ１が存在する可能性のある領域である。仮想スクリーンＳｃ２は、固定カメラ２１を基準として、仮想スクリーンＳｃ１よりも遠くに存在すると仮定されている。

例えば、仮想スクリーンＳｃ１の三次元位置は、第１の実施形態における仮想スクリーンＳｃの三次元位置の特定手法を利用して特定され得る。また、仮想スクリーンＳｃ２の三次元位置も、第１の実施形態における仮想スクリーンＳｃの三次元位置の特定手法を利用して特定されてよいが、仮想スクリーンＳｃ２は地面と交わっておらず、地面の三次元位置を利用し得ないため、固定カメラ２１の高さに基づいて（例えば、固定カメラ２１と同一の高さという制限により）、仮想スクリーンＳｃ２の下端の位置が特定されてもよい。

また、図１５に示したように、仮想スクリーンＳｃ２の下端と仮想スクリーンＳｃ１の上端とは、同一の高さであってよい。また、図１５に示した例では、仮想スクリーンＳｃ２に存在する物体の三次元位置（ｘｄ’，ｙｄ’，ｚｄ’）とその物体の三次元位置を撮像するための撮像パラメータ（Ｐｄ’，Ｔｄ’）との組み合わせを含むようにキャリブレーションデータが生成されている。

図１６は、本発明の第２の実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。図１６を参照すると、実空間に存在すると仮定された仮想スクリーンＳｃ１および仮想スクリーンＳｃ２が広域カメラ映像に映っている（第１の表示領域Ｗ１〜Ｗ４）。上記したように、物体Ｍ１は、旋回後には上下には移動しても左右にはほとんど移動しないことが想定されるため、仮想スクリーンＳｃ１は、飛行場の滑走路の進行方向に沿って存在すると仮定されてよい。一方、仮想スクリーンＳｃ２は、物体Ｍ１の旋回に合わせて存在すると仮定されてよい。

このように、仮想スクリーンＳｃ１は広域カメラ映像に１の仮想撮像領域として撮像され、仮想スクリーンＳｃ２が広域カメラ映像に他の仮想撮像領域として撮像される。カメラ制御部２１３は、１の仮想撮像領域の範囲内に指定位置が存在する場合、指定位置と１の仮想スクリーンの三次元位置とに基づいて撮像範囲を制御すればよい。一方、カメラ制御部２１３は、他の仮想撮像領域の範囲内に指定位置が存在する場合、指定位置と他の仮想スクリーンの三次元位置とに基づいて撮像範囲を制御すればよい。

以上、本発明の第２の実施形態について説明した。

（３．第３の実施形態）
続いて、本発明の第３の実施形態について説明する。

（３−１．監視システムの構成）
図１を参照しながら、本発明の第３の実施形態に係る監視システム１Ｃの構成例について説明する。図１に示したように、第３の実施形態に係る監視システム１Ｃは、第１の実施形態に係る監視システム１Ａと比較して、表示制御装置１０Ｃの構成が表示制御装置１０Ａの構成と異なっている。そこで、第３の実施形態においては、表示制御装置１０Ｃの構成を主に説明する。

（３−２．表示制御装置の機能構成）
続いて、本発明の第３の実施形態に係る表示制御装置１０Ｃの機能構成例について説明する。図１７は、本発明の第３の実施形態に係る表示制御装置１０Ｃの機能構成例を示すブロック図である。図１７に示したように、第３の実施形態に係る表示制御装置１０Ｃは、第１の実施形態に係る表示制御装置１０Ａと比較して、制御部１１０Ｃに適正判断部１１５および出力制御部１１６が含まれるという構成が、制御部１１０Ａの構成と異なる。そこで、第３の実施形態においては、適正判断部１１５および出力制御部１１６の構成を主に説明する。

（３−３．適正判断処理）
図１８は、本発明の第３の実施形態において広域カメラ映像における位置が指定された場合における表示例を示す図である。図１８を参照すると、広域カメラ映像における指定位置に応じて可動カメラ３０の撮像範囲が制御された結果、可動カメラ３０によって撮像された可動カメラ映像が第２の表示領域Ｗ０に表示されている。ここで、物体Ｍ１が可動カメラ映像に適正に映っていない場合には、何らかのエラーが発生している可能性がある。

例えば、物体Ｍ１（航空機）が正常ルートから外れている、即ち仮想スクリーン領域に存在しない場合には、物体Ｍ１が可動カメラ映像に適正に映らないという状況が生じ得る。そこで、適正判断部１１５は、可動カメラ映像に物体Ｍ１が適正に映っているか否かを判断し、出力制御部１１６は、可動カメラ映像に物体Ｍ１が適正に映っていないと判断された場合に、所定の警告が出力されるように制御するとよい。かかる構成によれば、滑走路進入中の航空機が正常ルートから外れている可能性等を、監視者Ｋにエラーの発生として気づかせることが可能となる。

物体Ｍ１が可動カメラ映像に適正に映っているか否かの判断には、各種手法が適用できる。例えば、適正判断部１１５は、広域カメラ映像で指定された物体Ｍ１が可動カメラ映像に映っているか否かを画像のパターン認識の手法（例えばテンプレートマッチング手法等）を用いて判断してもよいし、さらに、物体Ｍ１のサイズおよび位置の少なくともいずれか一方に基づいて、可動カメラ映像に物体Ｍ１が適正に映っているか否かを判断してもよい。図１８に示した例では、適正判断部１１５は、物体Ｍ１の一部が写っているが、物体Ｍ１の位置が所定の正常範囲から外れているため、物体Ｍ１が可動カメラ映像に適正に映っていないと判断している。正常範囲は、例えば、第２の表示領域Ｗ０の所定の位置を基準とした所定の範囲であってよい。

図１９は、本発明の第３の実施形態において広域カメラ映像における位置が指定された場合における他の表示例を示す図である。図１９に示した例では、適正判断部１１５が、航空機毎のサイズ情報と運航スケジュール情報を備えているものとする。そして、適正判断部１１５は、予め登録されている物体Ｍ１のサイズ情報と可動カメラ映像中の物体Ｍ１のサイズ比較を行ない、可動カメラ映像中の物体Ｍ１のサイズが予め決められた所定の正常範囲から外れているため、物体Ｍ１が可動カメラ映像に適正に映っていないと判断している。可動カメラ映像中の物体Ｍ１のサイズは、可動カメラ映像中の物体Ｍ１における所定部位の所定の始端位置と所定の終端位置とに応じた長さであってよい。ここで、所定の開始位置および所定の終端位置は特に限定されず、例えば、可動カメラ映像中の物体Ｍ１における胴体の先端位置および後端位置であってよい。また、可動カメラ映像中の物体Ｍ１のサイズは、所定の始端位置から所定の終端位置までの長さであってもよいし、所定の始端位置から所定の終端位置までの可動カメラ映像における水平方向の長さであってもよい。

なお、図１８および図１９に示した例では、警告Ａｒは、可動カメラ映像に重畳されるように表示されるメッセージ「航空機が正常ルートから外れている可能性があります。」であるが、警告Ａｒは、かかる例に限定されない。例えば、警告Ａｒは、アイコンなどといった何らかの表示オブジェクトであってもよい。その場合、表示オブジェクトの表示位置は限定されず、第１の表示領域Ｗ１〜Ｗ４の広域カメラ映像に重畳されるように表示されてもよいし、他の場所に表示されてもよい。あるいは、警告Ａｒは、所定の音声であってもよいし、所定の振動であってもよい。

続いて、本発明の第３の実施形態に係る適正判断処理の動作について説明する。図２０は、本発明の第３の実施形態に係る適正判断処理の動作の例を示すシーケンス図である。なお、図２０に示したシーケンス図は、本発明の第３の実施形態に係る適正判断処理の動作の流れの一例に過ぎない。したがって、かかる動作の流れは、図２０に示したシーケンス図に限定されない。

図２０に示したように、ステップＳ１６１〜ステップＳ１６３、ステップＳ１７１〜ステップＳ１７３、ステップＳ１８１〜ステップＳ１８２およびステップＳ１９１〜ステップＳ１９２が、第１の実施形態と同様に実行される。可動カメラ映像が第２の表示領域に表示されると、適正判断部１１５は、可動カメラ映像に物体Ｍ１が適正に映っているか否かを判断する（ステップＳ１９３）。そして、出力制御部１１６は、判断結果が異常である場合に、所定の警告が出力されるように制御する（ステップＳ１９４）。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、仮想スクリーンが広域カメラ映像に映る領域についてのキャリブレーションは、上記した第１の実施形態において説明した例に限定されない。例えば、仮想スクリーンに沿って物体が置かれた場合、キャリブレーション処理部２１１Ａは、仮想スクリーンに沿って物体が置かれた物体が広域カメラ映像に映る二次元位置と、その物体を可動カメラ３０が撮像するための撮像パラメータとの組み合わせがキャリブレーションデータに含まれるように、キャリブレーションデータを生成してもよい。そうすれば、キャリブレーションの精度が向上する。なお、仮想スクリーンに置かれる物体は、模範飛行を行う航空機であってもよいし、気球などであってもよい。

また、上記した第２の実施形態においては、複数の仮想スクリーンのすべてを同時に利用する例を説明したが、複数の仮想スクリーンのいずれかを状況に応じて選択的に利用するようにしてもよい。例えば、天候状況（例えば、雷雨の有無、風向きなど）によって航空機の適切な飛行ルートが異なる場合も想定される。そこで、カメラ制御部２１３は、天候状況に応じて、複数の仮想スクリーンから利用する仮想スクリーンを選択してもよい。あるいは、カメラ制御部２１３は、航空機の飛行ルートを示す運行情報に基づいて、複数の仮想スクリーンから利用する仮想スクリーンを選択してもよい。天候状況および運行情報は、図示しないサーバから取得されればよい。

また、例えば、上記においては、広域カメラ映像が固定カメラによって撮像される例を説明した。しかし、広域カメラ映像を撮像するカメラは、固定カメラに限定されない。例えば、広域カメラ映像は、ＰＴＺ（パン・チルト・ズーム）機能を有する可動カメラによって撮像されてもよい。また、広域カメラ映像が可動カメラによって撮像される場合、可動カメラの画角は特に限定されない。

１（１Ａ，１Ｂ，１Ｃ） 監視システム
１０（１０Ａ，１０Ｃ） 表示制御装置
２０（２０Ａ，２０Ｂ） 監視装置
２１ 固定カメラ
２２（２２Ａ，２２Ｂ） カメラ制御装置
３０ 可動カメラ
５０ ネットワーク
１１０（１１０Ａ，１１０Ｃ） 制御部
１１１ 映像取得部
１１２ 表示制御部
１１３ 操作検出部
１１４ 通知部
１１５ 適正判断部
１１６ 出力制御部
１２０ 入力部
１３０ 通信部
１４０ 記憶部
１５０ 表示部
２１０（２１０Ａ，２１０Ｂ） 制御部
２１１（２１１Ａ，２１１Ｂ） キャリブレーション処理部
２１２ 操作取得部
２１３ カメラ制御部
２３０ 通信部
２４０ 記憶部
Ｍ１〜Ｍ６ 物体
Ｓｃ（Ｓｃ１，Ｓｃ２） 仮想スクリーン

Claims (15)

1. 広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、
   前記広域カメラ映像に対する前記操作が前記広域カメラ映像における位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、
   三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、
   前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御する、
   カメラ制御装置。
2. 前記カメラ制御部は、前記可動カメラの前記撮像範囲を制御するための撮像パラメータを前記指定位置に基づいて取得し、前記撮像パラメータと前記仮想スクリーンの前記三次元位置とに基づいて前記可動カメラの前記撮像範囲を制御する、
   請求項１に記載のカメラ制御装置。
3. 前記カメラ制御部は、前記撮像パラメータと前記広域カメラ映像における位置との組み合わせを１または複数有するキャリブレーションデータに基づいて、前記指定位置に応じた撮像パラメータを取得する、
   請求項２に記載のカメラ制御装置。
4. 前記カメラ制御装置は、
   前記キャリブレーションデータを生成するキャリブレーション処理部を備え、
   前記キャリブレーション処理部は、前記仮想スクリーンと前記広域カメラ映像における前記仮想撮像領域とに基づいて前記キャリブレーションデータのうち前記仮想撮像領域に対応するデータを生成する、
   請求項３に記載のカメラ制御装置。
5. 前記キャリブレーション処理部は、実空間に存在する所定の対象物が前記広域カメラ映像に実物撮像領域として撮像される場合、前記所定の対象物と前記広域カメラ映像における前記実物撮像領域とに基づいて前記キャリブレーションデータのうち前記実物撮像領域に対応するデータを生成する、
   請求項４に記載のカメラ制御装置。
6. 前記カメラ制御部は、前記指定位置に基づいて前記広域カメラ映像から物体位置を認識し、前記キャリブレーションデータに基づいて前記物体位置に対応する撮像パラメータを取得し、前記撮像パラメータに基づいて前記撮像範囲を制御する、
   請求項３に記載のカメラ制御装置。
7. 前記物体は、空を背景として飛行する航空機であり、
   前記広域カメラは、飛行場を被写体として前記広域カメラ映像を撮像し、
   前記仮想スクリーンは、前記飛行場の滑走路の進行方向に沿って存在すると仮定される、
   請求項６に記載のカメラ制御装置。
8. 前記カメラ制御部は、前記キャリブレーションデータに基づいて前記指定位置に対応する撮像パラメータを取得し、前記撮像パラメータに基づいて前記撮像範囲を制御する、
   請求項３に記載のカメラ制御装置。
9. 前記仮想スクリーンは、平面または曲面である、
   請求項１に記載のカメラ制御装置。
10. 三次元位置が既知である他の仮想スクリーンが実空間に存在すると仮定した場合に前記他の仮想スクリーンが前記広域カメラ映像に他の仮想撮像領域として撮像され、
    前記カメラ制御部は、前記他の仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記他の仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御する、
    請求項１に記載のカメラ制御装置。
11. 広域カメラによって撮像された広域カメラ映像に対する操作を取得することと、
    前記広域カメラ映像に対する前記操作が前記広域カメラ映像における位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御することと、を含み、
    三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、
    前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御すること、
    を含む、カメラ制御方法。
12. コンピュータを、
    広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、
    前記広域カメラ映像に対する前記操作が前記広域カメラ映像における位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、
    三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、
    前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御する、
    カメラ制御装置として機能させるためのプログラム。
13. 表示制御装置とカメラ制御装置とを有する監視システムにおいて、
    前記カメラ制御装置は、
    広域カメラによって撮像された広域カメラ映像に対する操作を取得する操作取得部と、
    前記広域カメラ映像に対する前記操作が前記広域カメラ映像における位置を指定位置として指定するための指定操作である場合、前記広域カメラとは異なる位置に設置された可動カメラの撮像範囲を前記指定位置に応じて制御するカメラ制御部と、を備え、
    三次元位置が既知である仮想スクリーンが実空間に存在すると仮定した場合に前記仮想スクリーンが前記広域カメラ映像に仮想撮像領域として撮像され、
    前記カメラ制御部は、前記仮想撮像領域の範囲内に前記指定位置が存在する場合、前記指定位置と前記仮想スクリーンの前記三次元位置とに基づいて前記撮像範囲を制御し、
    前記表示制御装置は、
    前記可動カメラによって撮像された可動カメラ映像を表示部に表示させる表示制御部を備える、監視システム。
14. 前記表示制御装置は、
    前記可動カメラ映像に物体が適正に映っているか否かを判断する適正判断部と、
    前記可動カメラ映像に前記物体が適正に映っていないと判断された場合に、所定の警告が出力されるように制御する出力制御部と、
    を備える、請求項１３に記載の監視システム。
    
15. 前記適正判断部は、前記物体のサイズおよび位置の少なくともいずれか一方に基づいて、前記可動カメラ映像に前記物体が適正に映っているか否かを判断する、
    請求項１４に記載の監視システム。
    

Images