JP2019140566A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】複数の撮像部を用いて撮影を行う場合、各撮像部を介して撮影された画像を、各撮像部の撮影範囲の位置関係が容易に把握できるように表示することを目的とする。【解決手段】撮影範囲を変更可能な第１の撮像部を介して撮影された第１の画像と、第１の撮像部よりも撮影範囲が広い第２の撮像部を介して撮影された第２の画像と、を取得し、取得された第１の画像と第２の画像とを表示部に表示させる際に、第１の撮像部の撮影範囲に基づいて第１の画像を第２の画像と対応する位置に表示させる。【選択図】図５

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

街中等に設置された監視カメラ等の撮像装置の用途には、広域エリアを撮影することで、事故等のイベント発生箇所の特定や動体の移動経路を軌跡する広域監視用途、広域エリア内で発生したイベントや特定被写体等を詳細に撮影する詳細撮影用途等の用途がある。
しかしながら、１つの撮像部を含む１台の撮像装置で複数の用途を同時に満たすことが困難な場合がある。例えば、詳細撮影用途と広域監視用途とを同時に満たそうとする場合、詳細撮影可能な解像度を維持しつつ、広域撮影用に撮影可能範囲を拡張しなくてはならず、撮像部に使用される撮像センサや光学レンズの性能の制限により実現できない場合がある。
そこで、複数台の撮像装置、複数の撮像部を含む撮像装置等を用いて、用途ごとに撮像部を使い分ける技術がある。
例えば、特許文献１には、広域監視を目的とした固定画角カメラ（以下、広域カメラ）と、広域監視範囲内の特定範囲を詳細に撮影することを目的としたＰＴＺカメラを用いた監視システムが開示されている。ＰＴＺカメラは、パン、チルト方向に光学レンズや撮像センサを含む鏡筒向きを回転可能であり、更には撮像センサの光軸方向に対して光学レンズ位置を移動することでズーム可能であるため、ユーザ操作に基づいて撮像方向、撮像画角を変更することができる。特許文献１には、広域カメラ画像において詳細に撮影したい範囲を選択することで、その選択範囲がＰＴＺカメラの撮影範囲となるようにパン、チルトおよびズーム制御量を演算し、演算結果に従い撮像装置内部の所定モータを駆動する技術が開示されている。ＰＴＺカメラを操作する方法には、他には、特許文献２がある。特許文献２には、従来のＰＴＺカメラ単独での操作と同様に、ＰＴＺカメラ専用のコントローラに設けられたボタンやジョイスティックで操作する方法や、ＰＣ画面上に疑似的に表現された操作キーのＧＵＩにより操作する方法が開示されている。

特開２００６−１２８９３２号公報 特開２０１５−１４１４７１号公報

複数の撮像部を用いて撮影を行う場合、各撮像部を介して撮影された画像を、各撮像部の撮影範囲の位置関係が容易に把握できるように表示したいという要望がある。
例えば、詳細撮影用途のためのＰＴＺカメラと広域監視用途のための広域カメラとが用いられる場合、ＰＴＺカメラで撮影された画像が、広域カメラの撮影範囲のどの部分の詳細を示す画像であるかを、容易に把握できるように表示したいという場合がある。
しかし、特許文献１、２の技術では、複数の撮像部が用いられる場合、各撮像部を介して撮影された画像を、各撮像部の撮影範囲の位置関係が容易に把握できるように表示できなかった。

本発明の情報処理装置は、撮影範囲を変更可能な第１の撮像部を介して撮影された第１の画像と、前記第１の撮像部よりも撮影範囲が広い第２の撮像部を介して撮影された第２の画像と、を取得する取得手段と、前記取得手段により取得された前記第１の画像と前記第２の画像とを表示部に表示させる際に、前記第１の撮像部の撮影範囲に基づいて前記第１の画像を前記第２の画像と対応する位置に表示させる表示制御手段と、を有する。

本発明によれば、複数の撮像部を用いて撮影を行う場合、各撮像部を介して撮影された画像を、各撮像部の撮影範囲の位置関係が容易に把握できるように表示することができる。

撮像システムのシステム構成等の一例を示す図である。 撮像部の一例の詳細を示す図である。 撮像システムの構成要素の機能構成の一例を示す図である。 撮像装置の一例の外観を説明する図である。 表示される画像の一例を示す図である。 表示される画像の一例を示す図である。 撮像装置の処理の一例を示すフローチャートである。 表示される画像の一例を示す図である。 表示される画像の一例を示す図である。

以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。

＜実施形態１＞
図１Ａは、撮像システムのシステム構成等の一例を示す図である。
撮像システムは、撮像装置１００、クライアント装置１４０を含み、撮像装置１００により撮影された画像を表示装置に表示するシステムである。撮像装置１００、クライアント装置１４０は、ネットワーク１３０を介して、相互に通信可能に接続されている。
撮像装置１００は、パノラマ画像のような広域の画像を撮影する撮像部と、パンチルトズームで駆動することで撮影する方向が変更可能な撮像部と、を含む監視カメラ、ネットワークカメラ等の撮像装置である。撮像装置１００は、情報処理装置の一例である。

クライアント装置１４０は、撮像装置１００との間で通信を行うパーソナルコンピュータ、サーバ装置、タブレット装置、携帯電話等の情報処理装置である。クライアント装置１４０は、例えば、撮像装置１００に対して、各種制御コマンドを送信する。制御コマンドとは、指定された処理の実行を指示する信号であり、例えば、撮像部の撮影パラメータの設定指令、モータ等の駆動部品への駆動制御指令、映像ストリーミング開始／停止指令等である。撮像装置１００は、クライアント装置１４０から制御コマンドを受信した場合、受信した制御コマンドに対するレスポンスをクライアント装置１４０に送信する。
ネットワーク１３０は、インターネット、ＩＰネットワーク網等のネットワークである。ネットワーク１３０は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。また、ネットワーク１３０は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されることとしてもよい。

撮像装置１００のハードウェア構成の一例について、図１Ａを用いて説明する。撮像装置１００は、ＣＰＵ１０１、主記憶装置１０２、補助記憶装置１０３、広域撮像部１０４、ＰＴＺ撮像部１０５、ネットワークＩ／Ｆ１０６を含む。各要素は、システムバス１０７を介して、相互に通信可能に接続されている。
ＣＰＵ１０１は、撮像装置１００を制御する中央演算装置である。主記憶装置１０２は、ＣＰＵ１０１のワークエリアやデータの一時的な記憶領域として機能するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置１０３は、各種プログラム、各種設定情報、各種パラメータの情報、撮像装置１００により撮影された画像等を記憶する記憶装置である。補助記憶装置１０３は、例えば、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等である。

広域撮像部１０４は、ＰＴＺ撮像部１０５の撮影範囲よりも広域な範囲を撮影できる撮像部である。広域撮像部１０４は、第２の撮像部の一例である。撮像部の撮影範囲とは、その撮像部により撮影される範囲である。ＰＴＺ撮像部１０５は、パン、チルト、ズーム駆動をすることで、撮影範囲を変動できる撮影部である。ＰＴＺ撮像部１０５は、第１の撮像部の一例である。ネットワークＩ／Ｆ１０６は、クライアント装置１４０等の外部の装置との間でのネットワーク１３０を介した通信に用いられるインターフェースである。
ＣＰＵ１０１が、補助記憶装置１０３等に記憶されたプログラムにしたがって処理を実行することで、図１Ｃで後述する撮像装置１００の機能、図５のフローチャートの処理等の撮像装置１００の処理が実現される。

図１Ｂは、広域撮像部１０４、ＰＴＺ撮像部１０５の一例の詳細を示す図である。
広域撮像部１０４は、撮像光学系１０８、撮像素子部１０９、画像処理プロセッサ１１０を含む。撮像光学系１０８は、ＰＴＺ撮像部１０５の撮像光学系１１１で用いられているよりも広角なレンズを含む光学系である。撮像素子部１０９は、撮像光学系１０８を介して入射された光を電気信号に変換する素子部である。撮像素子部１０９は、例えば、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ（ＣＣＤ）、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）等の撮像素子を含む。画像処理プロセッサ１１０は、撮像素子部１０９により変換された電気信号に基づいて、画像データを生成する演算装置である。
図１Ａの例では、撮像光学系１０８、撮像素子部１０９は、それぞれ１つのみ図示されている。しかし、広域撮像部１０４は、撮像光学系１０８と撮像素子部１０９との組を、１つ含むこととしてもよいし、複数個（例えば、３個）含むこととしてもよい。広域撮像部１０４が撮像光学系１０８と撮像素子部１０９との組を複数個含む場合、画像処理プロセッサ１１０は、以下のようにしてもよい。即ち、画像処理プロセッサ１１０は、各組の撮像素子部１０９により変換された電気信号に基づいて、各組に対応する画像データを生成し、生成した画像データを合成し、パノラマ画像を生成することとしてもよい。

ＰＴＺ撮像部１０５は、撮像光学系１１１、撮像素子部１１２、画像処理プロセッサ１１３、ズームモータ１１４、パンモータ１１５、チルトモータ１１６を含む。撮像光学系１１１は、フォーカスレンズや絞り機構を含む光学系であり、指定された露光条件で撮像するように制御される。また、撮像光学系１１１に含まれるレンズは、撮像素子部１１２の光軸方向に対して移動可能なように配置されており、ズームモータ１１４によって駆動させられることで撮影画角を調整できるようになっている。撮像素子部１１２は、撮像光学系１１１を介して入射された光を電気信号に変換する素子部である。撮像素子部１１２は、例えば、ＣＣＤ、ＣＭＯＳ等の撮像素子を含む。画像処理プロセッサ１１３は、撮像素子部１１２により変換された電気信号に基づいて、画像データを生成する演算装置である。
ズームモータ１１４は、ＰＴＺ撮像部１０５の画角の調整（ズームイン・ズームアウト）の際に、撮像光学系１１１に含まれるレンズの駆動に用いられるモータである。パンモータ１１５は、ＰＴＺ撮像部１０５のパン方向（ＰＴＺ撮像部１０５の底面を下方向とした場合の水平方向）への駆動に用いられるモータである。本実施形態では、パンモータ１１５は、図２で後述するＰＴＺ撮像部１０５を含む回転部１５２を回転させるように駆動することとなる。チルトモータ１１６は、ＰＴＺ撮像部１０５の鏡筒のチルト方向（ＰＴＺ撮像部１０５の底面を下方向とした場合の垂直方向）への駆動に用いられるモータである。

クライアント装置１４０のハードウェア構成の一例について、図１Ａを用いて説明する。クライアント装置１４０は、ＣＰＵ１４１、主記憶装置１４２、補助記憶装置１４３、ネットワークＩ／Ｆ１４４、入力部１４５、出力部１４６を含む。各要素は、システムバス１４７を介して、相互に通信可能に接続されている。
ＣＰＵ１４１は、クライアント装置１４０を制御する中央演算装置である。主記憶装置１４２は、ＣＰＵ１４１のワークエリアやデータの一時的な記憶領域として機能するＲＡＭ等の記憶装置である。補助記憶装置１４３は、各種プログラム、各種設定情報、各種パラメータの情報、撮像装置１００から送信された画像等を記憶するＲＯＭ、ＨＤＤ、ＳＳＤ等の記憶装置である。

ネットワークＩ／Ｆ１４４は、撮像装置１００等の外部の装置との間でのネットワーク１３０を介した通信に用いられるインターフェースである。入力部１４５は、マウス、キーボード、ジョイスティック、タッチパネルの操作部等の情報の入力に用いられる入力部である。出力部１４６は、モニタ、スピーカ、印刷機、タッチパネルの表示部等の情報の出力に用いられる出力部である。
ＣＰＵ１４１が、補助記憶装置１４３等に記憶されたプログラムにしたがって処理を実行することで、図１Ｃで後述するクライアント装置１４０の機能、クライアント装置１４０の処理が実現される。

図１Ｃは、撮像システムの構成要素の機能構成の一例を示す図である。
撮像装置１００は、システム制御部１００１、ＰＴＺ画像処理部１００２、駆動制御部１００３、広域画像処理部１００４を含む。
システム制御部１００１は、クライアント装置１４０等の外部の装置との通信、撮像装置１００の各機能の制御、各種パラメータの設定等を行う。より具体的には、システム制御部１００１は、広域撮像部１０４、ＰＴＺ撮像部１０５を用いた撮影の制御の指示、画像のエンコーダ・画像の切出し（デジタルＰＴＺ）・出力画像の生成等の指示、画像のネットワーク配信等の処理を実行する。ＰＴＺ画像処理部１００２は、画像処理プロセッサ１１３を介して、撮像素子部１１２により変換された電気信号から画像データを生成する等の画像処理を行う。駆動制御部１００３は、システム制御部１００１からの指示に応じて、ＰＴＺ撮像部１０５の駆動を制御する。システム制御部１００１は、例えば、クライアント装置１４０からＰＴＺ撮像部１０５の駆動の指示を受信した場合、受信した指示に応じたＰＴＺ撮像部１０５の駆動を行うよう駆動制御部１００３に指示する。広域画像処理部１００４は、画像処理プロセッサ１１０を介して、撮像素子部１０９により変換された電気信号から画像データを生成する等の画像処理を行う。

クライアント装置１４０は、システム制御部１４０１、表示制御部１４０２、操作制御部１４０３を含む。
システム制御部１４０１は、撮像装置１００等の外部の装置との通信、クライアント装置１４０の各機能の制御、各種パラメータの設定等を行う。より具体的には、システム制御部１４０１は、撮像装置１００から送信された画像の受信、受信した画像の表示の指示、入力部１４５を介した操作に基づく入力の受付等の処理を実行する。表示制御部１４０２は、システム制御部１４０１からの指示に応じて、指示に応じた情報を出力部１４６のモニタに表示させる。表示制御部１４０２は、例えば、撮像装置１００から送信された画像を、出力部１４６のモニタに表示させる。ユーザは、出力部１４６のモニタを視認することで、撮像装置１００により撮影された画像を確認できる。操作制御部１４０３は、入力部１４５を介したユーザの操作に基づいて、ユーザからの指示を受け付け、受け付けた指示の情報を、システム制御部１４０１に送信する。操作制御部１４０３は、例えば、入力部１４５を介したユーザの操作に基づいて、ユーザから、ＰＴＺ撮像部１０５の駆動の指示を受け付け、受け付けた指示の情報を、システム制御部１４０１に送信する。システム制御部１４０１は、ＰＴＺ撮像部１０５の駆動の指示を受信すると、受信した指示を、撮像装置１００に送信することで、撮像装置１００に対して、ＰＴＺ撮像部１０５の駆動を指示する。

図２は、撮像装置１００の一例の外観を説明する図である。図２（ａ）は、撮像装置１００の一例の側面図である。図２（ｂ）は、撮像装置１００の一例を回転部１５２側から見た上面図である。
撮像装置１００は、設置面１５０を有し、設置面１５０を介して、天井や専用取り付け材等に固定された状態で設置される。また、撮像装置１００は、固定部１５１と、回転部１５２と、を含む。回転部１５２は、固定部１５１に対して、回転中心１５３ｂを中心に、矢印１５２ｂで示すパン方向に回転できる。ＰＴＺ撮像部１０５は、回転部１５２に配置されている。そのため、回転部１５２がパン方向に回転することで、ＰＴＺ撮像部１０５は、撮影方向をパン方向に変更することができる。回転中心１５３ｂを始点とする半直線状の点線である基準線１５４ｂは、パン方向における基準となる角度を示す。即ち、点線１５４ｂ上の位置が、パン方向における角度が０°の位置となる。ある位置のパン方向の角度は、基準線１５４ｂと、回転中心１５３ｂとその位置とを結ぶ線分とのなす角度となる。本実施形態では、回転部１５２は、パン方向に−４５°以上＋４５°以下の範囲で回転できるとする。そのため、ＰＴＺ撮像部１０５は、撮影方向を、パン方向に−４５°以上＋４５°以下の範囲で変更できる。しかし、回転部１５２は、パン方向に−４５°未満の角度、回転できることとしてもよいし、＋４５°よりも大きな角度、回転できることとしてもよい。これにより、ＰＴＺ撮像部１０５は、パン方向の角度が−４５°未満となる方向を、撮影することができるようになる。また、ＰＴＺ撮像部１０５は、パン方向の角度が４５°より大きな方向を、撮影することができるようになる。また、回転部１５２は、回転中心１５３ｂを中心にパン方向に、旋回できることとしてもよい。

また、撮像光学系１１１と撮像素子部１１２とを含むＰＴＺ撮像部１０５の鏡筒は、回転中心１５３ａを中心に、チルト方向に回転することができる。この鏡筒がチルト方向に回転することで、ＰＴＺ撮像部１０５は、撮影方向をチルト方向に変更することができる。回転中心１５３ａを始点とする半直線状の点線である基準線１５４ａは、チルト方向における基準角度を示す。即ち、点線１５４ａ上の位置が、チルト方向における角度が０°の位置となる。ある位置のチルト方向の角度は、基準線１５４ａと、回転中心１５３ａとその位置とを結ぶ線分と、のなす角度となる。
本実施形態では、ＰＴＺ撮像部１０５に含まれる撮像光学系１１１と撮像素子部１１２とを含む鏡筒は、チルト方向に、０°以上６０°以下の範囲で回転できることとする。そのため、ＰＴＺ撮像部１０５は、撮影方向を、チルト方向に、０°以上６０°以下の範囲で変更できる。しかし、撮像光学系１１１と撮像素子部１１２とを含む鏡筒は、チルト方向に、チルト方向の角度が０°未満の値となるように回転できることとしてもよいし、＋６０°よりも大きな値となるように回転できることとしてもよい。例えば、撮像光学系１１１と撮像素子部１１２とを含む鏡筒は、チルト方向に、−５°以上９０°以下の範囲で回転できることとしてもよい。これにより、ＰＴＺ撮像部１０５は、チルト方向の角度が０°未満となる方向を、撮影できるようになる。また、ＰＴＺ撮像部１０５は、チルト方向の角度が＋６０°よりも大きな値となる方向を、撮影できるようになる。撮像光学系１１１と撮像素子部１１２とを含む鏡筒は、チルト方向に、撮像装置１００の構造により定められる範囲で回転できることとしてもよい。

広域撮像部１０４は、固定部１５１に配置され、撮像装置１００の設置状態に応じた固定された画角で周囲を撮影する。図２の例では、広域撮像部１０４は、撮像光学系１０８と撮像素子部１０９との組を含む鏡筒を３つ含むこととする。しかし、広域撮像部１０４は、撮像光学系１０８と撮像素子部１０９との組を含む鏡筒を１つ含むこととしてもよい。また、広域撮像部１０４は、撮像光学系１０８と撮像素子部１０９との組を含む鏡筒を３個よりも多くの個数（例えば、６、８個等）含むこととしてもよい。
広域撮像部１０４は、複数の撮像光学系１０８と撮像素子部１０９との組を介して撮影された画像を合成することで、より広角な画像を生成できる。広域撮像部１０４に含まれる複数の鏡筒が、固定部１５１を、パン方向に取り囲むように配置されている場合、広域撮像部１０４は、以下のようにしてもよい。広域撮像部１０４は、これらの鏡筒に含まれる撮像光学系１０８と撮像素子部１０９との組を介して撮影される画像を合成することで、撮像装置１００の全周囲を撮影した画像を生成できる。

図３は、撮像システムにより表示される画像の一例を示す図である。図３の例では、撮像システムにより表示される画像は、マルチウィンドにより構成されている画像である。図３の画像は、表示制御部１４０２により出力部１４６に含まれるモニタに表示される画像の一例である。
領域２００は、出力部１４６に含まれるモニタに表示される画像全体の表示領域を示す。領域２０１は、広域撮像部１０４を介して撮影された画像が表示される領域である。領域２０２は、ＰＴＺ撮像部１０５を介して撮影された画像が表示される領域である。
領域２０３は、ＰＴＺ撮像部１０５に対するズーム操作に用いられるＧＵＩ２０３ａと、パン操作に用いられるＧＵＩ２０３ｂと、チルト操作に用いられるＧＵＩ２０３ｃと、が表示される領域である。領域２０４は、ＰＴＺ撮像部１０５を介して撮影された画像が表示されうる領域である。操作制御部１４０３は、入力部１４５を介して、ＧＵＩ２０３ａ〜ｃへのユーザの操作に基づいて、ＰＴＺ撮像部１０５への駆動の指示を受け付ける。

ＧＵＩ２０３ａは、より狭域をＰＴＺ撮像部１０５に撮影させるようにズームモータ１１４を駆動させる指示（ズームイン）を示す＋ボタン、より広域をＰＴＺ撮像部に撮影するようにズームモータ１１４を駆動させる指示（ズームアウト）を示す−ボタンを含む。
操作制御部１４０３は、例えば、ＧＵＩ２０３ａの＋ボタンの選択を検知すると、ＰＴＺ撮像部１０５の撮影範囲を所定の倍率で縮小する指示を受付け、受け付けた指示をシステム制御部１４０１に送信する。また、操作制御部１４０３は、例えば、ＧＵＩ２０３ａの−ボタンの選択を検知すると、ＰＴＺ撮像部１０５の撮影範囲を所定の倍率で拡大する指示を受付け、受け付けた指示をシステム制御部１４０１に送信する。システム制御部１４０１は、受信した指示を撮像装置１００に送信する。システム制御部１００１は、クライアント装置１４０から受信した指示に応じて、駆動制御部１００３にズームモータ１１４の駆動を指示する。駆動制御部１００３は、この指示に応じて、ズームモータ１１４を駆動させる。

また、ＧＵＩ２０３ｂ、ＧＵＩ２０３ｃは、矢印型の方向キーである。ＧＵＩ２０３ｂの方向キーは、回転部１５２に対して矢印１５２ｂが示す方向への回転を指示するためのキーとなる。また、ＧＵＩ２０３ｃの方向キーは、撮像光学系１１１と撮像素子部１１２とを含む鏡筒に対して矢印１５２ａが示す方向への回転を指示するためのキーとなる。
操作制御部１４０３は、例えば、ＧＵＩ２０３ｂの右方向を向く方向キーの選択を検知すると、回転部１５２を、パン方向の＋の方向に、予め定められた角度、回転させる指示を受付け、受け付けた指示をシステム制御部１４０１に送信する。また、操作制御部１４０３は、例えば、ＧＵＩ２０３ｂの左方向を向く方向キーの選択を検知すると、回転部１５２を、パン方向の−の方向に、予め定められた角度、回転させる指示を受付け、受け付けた指示をシステム制御部１４０１に送信する。システム制御部１４０１は、受信した指示を撮像装置１００に送信する。システム制御部１００１は、クライアント装置１４０から受信した指示に応じて、駆動制御部１００３にパンモータ１１５の駆動を指示する。駆動制御部１００３は、この指示に応じて、パンモータ１１５を駆動させる。

操作制御部１４０３は、例えば、ＧＵＩ２０３ｃの右方向を向く方向キーの選択を検知すると、ＰＴＺ撮像部１０５の鏡筒を、チルト方向の＋の方向に、予め定められた角度、回転させる指示を受付ける。そして、操作制御部１４０３は、受け付けた指示をシステム制御部１４０１に送信する。また、操作制御部１４０３は、例えば、ＧＵＩ２０３ｃの左方向を向く方向キーの選択を検知すると、ＰＴＺ撮像部１０５の鏡筒を、チルト方向の−の方向に、予め定められた角度、回転させる指示を受付ける。そして、操作制御部１４０３は、受け付けた指示をシステム制御部１４０１に送信する。システム制御部１４０１は、受信した指示を撮像装置１００に送信する。システム制御部１００１は、クライアント装置１４０から受信した指示に応じて、駆動制御部１００３にチルトモータ１１６の駆動を指示する。駆動制御部１００３は、この指示に応じて、チルトモータ１１６を駆動させる。
また、操作制御部１４０３は、例えば、ＧＵＩ２０３ａ〜ｃのオブジェクトの選択を検知している間、継続的に、指示を受付け続け、受け付けた指示をシステム制御部１４０１に送信し続けることとしてもよい。システム制御部１４０１は、受信し続ける指示を撮像装置１００に送信し続けることとしてもよい。そして、システム制御部１００１は、クライアント装置１４０から受信し続ける指示に応じて、駆動制御部１００３にズームモータ１１４、パンモータ１１５、チルトモータ１１６の駆動を指示し続ける。これにより、駆動制御部１００３は、ＧＵＩ２０３ａ〜ｃのオブジェクトが選択されている間、ズームモータ１１４、パンモータ１１５、チルトモータ１１６の駆動を継続することができる。

ＧＵＩ２０３ａ〜ｃは、図３に示すＧＵＩに限定されず、他のＧＵＩでもよい。ＧＵＩ２０３ａは、図３では＋、−が記載されている虫眼鏡型のボタンを示すオブジェクトであるが、例えば、単に＋、−状の形状のボタンを示すオブジェクトとしてもよい。また、ＧＵＩ２０３ａは、矢印型の方向キーのオブジェクトとしてもよい。ＧＵＩ２０３ｂ、ｃは、図３では、矢印型の方向キーのオブジェクトであるが、単に＋、−状の形状のボタンを示すオブジェクトとしてもよい。
本実施形態では、撮像システムは、ＧＵＩ２０３ａ〜ｃへの操作に基づいて、ＰＴＺ撮像部１０５を駆動させることとした。しかし、撮像システムは、入力部１４５に含まれるハードボタンやジョイスティック等を介した操作に基づいて、ＰＴＺ撮像部１０５を駆動させることとしてもよい。その場合、操作制御部１４０３は、入力部１４５に含まれるハードボタンやジョイスティック等を介したユーザからのＰＴＺ撮像部１０５の駆動の指示を受け付けることとなる。
本実施形態では、広域撮像部１０４を介して撮影された画像が表示される領域２０１は、領域２００内の予め定められた固定の位置に存在する。即ち、広域撮像部１０４を介して撮影された画像の領域２００内での表示位置は、固定である。ＰＴＺ撮像部１０５を介して撮影された画像が表示される領域２０２は、領域２０４内で、広域撮像部１０４の撮影範囲に対するＰＴＺ撮像部１０５の撮影範囲の位置に応じた位置に配置される。そのため、ＰＴＺ撮像部１０５が駆動された場合、表示制御部１４０２は、領域２０２の位置を、ＰＴＺ撮像部１０５の駆動に応じて、変更する。

図４は、撮像システムにより撮影された画像の表示態様の一例を示す図である。図４（ａ）は、ＰＴＺ撮像部１０５の撮影方向がパン方向の角度が３０°の方向である場合に、ＰＴＺ撮像部１０５を介して撮影された画像が表示されている様子の一例を示す図である。図４（ｂ）は、ＰＴＺ撮像部１０５の撮影方向がパン方向の角度が０°の方向である場合に、ＰＴＺ撮像部１０５を介して撮影された画像が表示されている様子の一例を示す図である。
図４（ａ）、（ｂ）の例では、領域２０１に表示されている画像の水平方向は、パン方向に対応している。図４（ａ）、（ｂ）における領域２０１に表示された画像の中央付近の点線上の縦の線分は、この画像内でのパン方向の角度が０度の方向を示す。また、図４（ａ）、（ｂ）における領域２０１に表示された画像の中央付近の点線上の縦の線分の右側に存在する点線上の縦の線分は、この画像内でのパン方向の角度が３０度の方向を示す。また、図４（ａ）、（ｂ）における領域２０１に表示された画像の中央付近の点線上の縦の線分の左側に存在する点線上の縦の線分は、この画像内でのパン方向の角度が−３０度の方向を示す。
本実施形態では、撮像システムは、ＰＴＺ撮像部１０５を介して撮影された画像を、領域２００内における水平方向の表示位置が以下のような位置になるように表示する。即ち、撮像システムは、領域２００内の水平方向におけるＰＴＺ撮像部１０５を介して撮影された画像の中心の位置を、領域２０１に表示される画像内の水平方向におけるＰＴＺ撮像部１０５の撮影方向のパン方向の角度に対応する位置となるようにする。このようにして、撮像システムは、広域撮像部１０４を介して撮影された画像のうちＰＴＺ撮像部１０５の撮影範囲と対応する位置の近傍に、ＰＴＺ撮像部１０５を介して撮影された画像を表示する。

図４の例では、領域２０４は、領域２０１の下部に配置されているが、上部に配置されることとしてもよい。
また、図４の例では、ＰＴＺ撮像部１０５を介して撮影された画像の中心の水平方向の位置と、ＰＴＺ撮像部１０５の撮影方向のパン方向の角度に対応する広域撮像部１０４を介して撮影された画像における水平方向の位置と、が一致することとした。しかし、ＰＴＺ撮像部１０５を介し撮影された画像の中心の水平方向の位置は、ＰＴＺ撮像部１０５の撮影方向のパン方向の角度に対応する領域２０１に表示される画像の水平方向における位置を中心とした予め定められた範囲内の位置としてもよい。

また、撮像システムは、ＰＴＺ撮像部１０５を介して撮影された画像を、ＰＴＺ撮像部１０５の撮影方向のパン方向の角度が０°未満か０°以上の場合で、それぞれ異なる位置に表示することとしてもよい。また、撮像システムは、ＰＴＺ撮像部１０５の撮影方向のパン方向の角度の値に応じて、ＰＴＺ撮像部１０５を介して撮影された画像の表示位置を切替えることとしてもよい。
また、撮像システムは、ＰＴＺ撮像部１０５の撮影方向のパン方向の角度が変更される度に、ＰＴＺ撮像部１０５を介して撮影された画像の表示位置を切り替えることとしてもよい。また、撮像システムは、クライアント装置１４０から、ＰＴＺ撮像部１０５の操作が完了したことを示す情報を受信した場合に、ＰＴＺ撮像部１０５を介して撮影された画像の表示位置を切り替えることとしてもよい。

図５は、撮像装置１００の処理の一例を示すフローチャートである。
Ｓ３０１において、システム制御部１００１は、クライアント装置１４０から、ズームモータ１１４、パンモータ１１５、チルトモータ１１６のうちの何れか１つ又は複数の駆動の指示を受信したか否かを判定する。システム制御部１００１は、クライアント装置１４０から、この指示を受信したと判定した場合、Ｓ３０２の処理に進む。また、システム制御部１００１は、クライアント装置１４０から、この指示を受信していないと判定した場合、Ｓ３０３の処理に進む。
Ｓ３０２において、システム制御部１００１は、Ｓ３０１で受信したと判定した指示に基づいて、ズームモータ１１４、パンモータ１１５、チルトモータ１１６を駆動するように、駆動制御部１００３に指示する。駆動制御部１００３は、この指示に応じて、ズームモータ１１４、パンモータ１１５、チルトモータ１１６を駆動する。

Ｓ３０３において、システム制御部１００１は、ＰＴＺ撮像部１０５の撮影パラメータを特定する。本実施形態では、補助記憶装置１０３は、ＰＴＺ撮像部１０５の撮影パラメータの情報（パン方向の角度、チルト方向の角度、ズーム倍率等の情報等）の初期値を予め記憶することとする。撮影パラメータとは、画像の撮影に関するパラメータである。また、システム制御部１００１は、ＰＴＺ撮像部１０５の撮影方向の変更等のＰＴＺ撮像部１０５の撮影パラメータの更新の度に、更新後の撮影パラメータの情報を、補助記憶装置１０３に記憶する。そこで、システム制御部１００１は、Ｓ３０３で、例えば、補助記憶装置１０３から、現在のＰＴＺ撮像部１０５の撮影パラメータの情報を読込むことで、現在のＰＴＺ撮像部１０５の撮影パラメータを特定する。
また、システム制御部１００１は、例えば、撮像装置１００内部に配置されたエンコーダを介して、現在のＰＴＺ撮像部１０５の撮影パラメータのうち撮影方向のパン方向、チルト方向の角度を特定してもよい。また、システム制御部１００１は、パンモータ１１５、チルトモータ１１６がステッピングモータである場合、ステッピングモータのステップ数に基づいて、現在のＰＴＺ撮像部１０５の撮影方向のパン方向、チルト方向の角度を特定してもよい。

Ｓ３０４において、システム制御部１００１は、ＰＴＺ撮像部１０５を介して、画像の撮影を行う。また、システム制御部１００１は、広域撮像部１０４を介して、画像の撮影を行う。これにより、システム制御部１００１は、ＰＴＺ撮像部１０５を介して撮影された画像と広域撮像部１０４を介して撮影された画像とを取得する。ＰＴＺ撮像部１０５を介して撮影された画像は、第１の画像の一例である。広域撮像部１０４を介して撮影された画像は、第２の画像の一例である。
Ｓ３０５において、システム制御部１００１は、Ｓ３０４で取得した画像の表示態様を決定する。システム制御部１００１は、例えば、Ｓ３０４で取得した画像の表示態様を、以下のような表示態様に決定する。即ち、ＰＴＺ撮像部１０５を介して撮影された画像を、広域撮像部１０４を介して撮影された画像を基準として、ＰＴＺ撮像部１０５の撮影方向のパン方向の角度に応じた位置に表示する表示態様である。システム制御部１００１は、例えば、以下のようにして、ＰＴＺ撮像部１０５を介して撮影された画像の表示位置を決定する。即ち、システム制御部１００１は、図４で説明したように、ＰＴＺ撮像部１０５を介して撮影された画像の表示位置を決定する。システム制御部１００１は、広域撮像部１０４を介して撮影された画像におけるＰＴＺ撮像部１０５の撮影方向のパン方向の角度に対応する水平方向の位置を特定する。そして、システム制御部１００１は、領域２０４内の領域であり、水平方向における中心の位置が特定した位置となる領域を、ＰＴＺ撮像部１０５を介して撮影された画像が表示される領域２０２として決定する。

Ｓ３０６において、システム制御部１００１は、出力部１４６のモニタに対し、Ｓ３０４で取得した画像を、Ｓ３０５で決定した表示態様で表示するよう制御する。より具体的には、システム制御部１００１は、領域２０１の位置に広域撮像部１０４を介して撮影された画像を表示し、Ｓ３０５で決定した領域２０２の位置にＰＴＺ撮像部１０５を介して撮影された画像を表示するよう制御する。システム制御部１００１は、例えば、出力部１４６のモニタに、領域２０１の位置に広域撮像部１０４を介して撮影された画像を表示し、領域２０２の位置にＰＴＺ撮像部１０５を介して撮影された画像を表示する指示をクライアント装置１４０に送信する。システム制御部１４０１は、受信した指示を、表示制御部１４０２に送信する。表示制御部１４０２は、受信した指示に応じて、出力部１４６のモニタに、領域２０１の位置に広域撮像部１０４を介して撮影された画像を表示し、Ｓ３０５で決定した領域２０２の位置にＰＴＺ撮像部１０５を介して撮影された画像を表示する。
また、撮像装置１００は、図５の処理を周期的に実行することで、ズームモータ１１４、パンモータ１１５、チルトモータ１１６が駆動され、ＰＴＺ撮像部１０５の撮影パラメータが変更された場合、以下のようにすることができる。即ち、撮像装置１００は、変更後のＰＴＺ撮像部１０５の撮影パラメータに応じた表示態様で、広域撮像部１０４、ＰＴＺ撮像部１０５を介して撮影された画像を、出力部１４６のモニタに表示するよう制御できる。

以上、図５で説明した処理では、撮像システムは、ＰＴＺ撮像部１０５を介し撮影された画像の表示位置を、広域撮像部１０４を介し撮影された画像の水平方向におけるＰＴＺ撮像部１０５の撮影方向のパン方向の角度に応じた位置に基づいて、決定した。そして、撮像システムは、広域撮像部１０４、ＰＴＺ撮像部１０５を介し撮影された画像を、ＰＴＺ撮像部１０５を介し撮影された画像を決定した位置に表示するという表示態様で出力部１４６のモニタに表示した。
これにより、撮像システムは、広域撮像部１０４の撮影範囲に対してＰＴＺ撮像部１０５の撮影範囲がパン方向でどの位置に存在するかを容易に把握できるように、広域撮像部１０４、ＰＴＺ撮像部１０５を介して撮影された画像を表示できる。ユーザは、出力部１４６のモニタに表示された画像（例えば、図４（ａ）等）を視認することで、ＰＴＺ撮像部１０５の撮影範囲が、広域撮像部１０４の撮影範囲に対してパン方向でどの位置にあるかを容易に把握できる。
撮像システムは、ＰＴＺ撮像部１０５の撮影方向のパン方向の角度を考慮して、ＰＴＺ撮像部１０５を介して撮影された画像の表示位置を決定した。しかし、撮像システムは、ＰＴＺ撮像部１０５の撮影方向のチルト方向の角度を考慮して、ＰＴＺ撮像部１０５を介して撮影された画像の表示位置を決定していない。そのため、ユーザは、出力部１４６のモニタに表示された画像（例えば、図４（ａ）等）を視認することで、ＰＴＺ撮像部１０５の撮影範囲が、広域撮像部１０４の撮影範囲に対してチルト方向でどの位置にあるかを容易には把握できない。

そこで、撮像システムは、以下のような処理を行うこととしてもよい。即ち、撮像システムは、ＰＴＺ撮像部１０５を介して撮影された画像の表示位置を、広域撮像部１０４を介して撮影された画像の垂直方向におけるＰＴＺ撮像部１０５の撮影方向のチルト方向の角度に応じた位置に基づいて決定してもよい。
例えば、システム制御部１００１は、Ｓ３０３でＰＴＺ撮像部１０５の撮影方向のチルト方向の角度を特定する。そして、システム制御部１００１は、広域撮像部１０４を介して撮影された画像におけるＰＴＺ撮像部１０５の撮影方向のチルト方向の角度に対応する垂直方向の位置を特定する。そして、システム制御部１００１は、垂直方向における中心の位置が特定した位置となる領域を、ＰＴＺ撮像部１０５を介して撮影された画像が表示される領域２０２として決定してもよい。
これにより、ユーザは、出力部１４６のモニタに表示された画像を視認することで、ＰＴＺ撮像部１０５の撮影範囲が、広域撮像部１０４の撮影範囲に対してチルト方向でどの位置にあるかを容易に把握できるようになる。

また、ＰＴＺ撮像部１０５の撮影範囲が、広域撮像部１０４の撮影範囲に対して、どの範囲であるかを明確に把握したいという場合がある。このような場合、撮像装置１００は、図５のフローチャートのＳ３０５、Ｓ３０６で、以下のような処理を行うこととしてもよい。
システム制御部１００１は、Ｓ３０５で、Ｓ３０３で読込んだＰＴＺ撮像部１０５の撮影パラメータに含まれるパン方向の角度とチルト方向の角度とズーム倍率とに基づいて、以下の処理を行う。即ち、システム制御部１００１は、広域撮像部１０４を介して撮影された画像を基準として、ＰＴＺ撮像部１０５を介して撮影された画像が示す領域を特定する。そして、システム制御部１００１は、広域撮像部１０４、ＰＴＺ撮像部１０５を介して撮影された画像の表示態様を以下のような表示態様として決定する。即ち、ＰＴＺ撮像部１０５の撮影範囲を示すオブジェクトを、Ｓ３０４で取得した画像と併せて、特定した領域に表示する表示態様である。

そして、Ｓ３０６で、システム制御部１００１は、Ｓ３０５で決定した表示態様で、広域撮像部１０４、ＰＴＺ撮像部１０５を介して撮影された画像を出力部１４６のモニタに表示するよう制御する。この場合に出力部１４６のモニタに表示される画像の一例を、図６に示す。枠６０１は、ＰＴＺ撮像部１０５の撮影範囲を示す枠状のオブジェクトである。
ＰＴＺ撮像部１０５は、例えば、撮影方向が変更されることで、広域撮像部１０４の撮影範囲外に、撮影範囲が変更される場合がある。そのような場合、システム制御部１００１は、Ｓ３０６で、例えば、図７に示すような画像を出力部１４６のモニタに表示するよう制御する。図７の領域７０１は、ＰＴＺ撮像部１０５を介して撮影された画像が表示される領域２００内の固定の領域である。また、オブジェクト７０２は、ＰＴＺ撮像部１０５の撮影範囲を示す領域７０１に表示された画像の縮小図状のオブジェクトである。図７の例では、ＰＴＺ撮像部１０５の撮影範囲は、パン方向において０°付近であり、チルト方向において広域撮像部１０４の撮影範囲外であることが分かる。オブジェクト７０２は、領域７０１に表示された画像の縮小図状のオブジェクトとしたが、枠６０１と同様に、枠状のオブジェクトとしてもよい。

本実施形態では、撮像装置１００が図５のフローチャートの処理を行うこととした。しかし、クライアント装置１４０が図５のフローチャートの処理を行うこととしてもよい。その場合の図５のフローチャートの処理を説明する。
Ｓ３０１において、システム制御部１４０１は、操作制御部１４０３を介して、ＰＴＺ撮像部１０５（ズームモータ１１４、パンモータ１１５、チルトモータ１１６）の駆動の指示を受付けたか否かを判定する。システム制御部１４０１は、受付けたと判定した場合、Ｓ３０２の処理に進み、受付けていないと判定した場合、Ｓ３０３の処理に進む。

Ｓ３０２において、システム制御部１４０１は、Ｓ３０１で受付けたと判定した指示を撮像装置１００に送信する。システム制御部１００１は、受信した指示に応じて、ズームモータ１１４、パンモータ１１５、チルトモータ１１６の駆動の指示を、駆動制御部１００３に行う。
Ｓ３０３において、システム制御部１４０１は、ＰＴＺ撮像部１０５の撮影パラメータを特定する。この場合、補助記憶装置１４３は、ＰＴＺ撮像部１０５の撮影パラメータの情報（パン方向の角度、チルト方向の角度、ズーム倍率等の情報等）の初期値を予め記憶することとする。また、システム制御部１４０１は、ＰＴＺ撮像部１０５の撮影方向の変更等のＰＴＺ撮像部１０５の撮影パラメータの更新の度に、更新後の撮影パラメータの情報を、補助記憶装置１４３に記憶する。そこで、システム制御部１４０１は、Ｓ３０３で、例えば、補助記憶装置１４３から、現在のＰＴＺ撮像部１０５の撮影パラメータの情報を読込むことで、現在のＰＴＺ撮像部１０５の撮影方向のパン方向の角度を特定する。

Ｓ３０４において、システム制御部１４０１は、撮像装置１００から、ＰＴＺ撮像部１０５を介して撮影された画像を取得する。また、システム制御部１００１は、撮像装置１００から、広域撮像部１０４を介して撮影された画像を取得する。
Ｓ３０５において、システム制御部１４０１は、Ｓ３０３で特定した撮影パラメータに基づいて、広域撮像部１０４、ＰＴＺ撮像部１０５を介して撮影された画像の表示態様を決定する。
Ｓ３０６において、システム制御部１４０１は、Ｓ３０５で決定した表示態様で、広域撮像部１０４、ＰＴＺ撮像部１０５を介して撮影された画像を、出力部１４６のモニタに表示する。
以上のようにして、クライアント装置１４０が図５のフローチャートの処理を実行できる。

以上、本実施形態では、撮像システムは、広域撮像部１０４、ＰＴＺ撮像部１０５を介して撮影された画像を、広域撮像部１０４の撮影範囲とＰＴＺ撮像部１０５の撮影範囲との位置関係に応じた表示態様で、出力部１４６のモニタに表示させることとした。これにより、撮像システムは、複数の撮像部を用いて撮影を行う場合、各撮像部を介して撮影された画像を、各撮像部の撮影範囲の位置関係が容易に把握できるように表示することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した撮像システムの機能構成の一部又は全てをハードウェアとして撮像装置１００、又はクライアント装置１４０に実装してもよい。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。

１００ 撮像装置
１０１ ＣＰＵ
１４０ クライアント装置

Claims (10)

1. 撮影範囲を変更可能な第１の撮像部を介して撮影された第１の画像と、前記第１の撮像部よりも撮影範囲が広い第２の撮像部を介して撮影された第２の画像と、を取得する取得手段と、
   前記取得手段により取得された前記第１の画像と前記第２の画像とを表示部に表示させる際に、前記第１の撮像部の撮影範囲に基づいて前記第１の画像を前記第２の画像と対応する位置に表示させる表示制御手段と、
   を有する情報処理装置。
2. 前記表示制御手段は、前記第１の撮像部が第１の撮影範囲を撮像している場合には、前記第２の画像のうち前記第１の撮影範囲と対応する位置の近傍に前記第１の画像を表示させ、前記第１の撮像部が前記第１の撮影範囲と異なる第２の撮影範囲を撮像している場合には、前記第２の画像のうち前記第２の撮影範囲と対応する位置の近傍に前記第１の画像を表示させることを特徴とする請求項１記載の情報処理装置。
3. 前記表示制御手段は、前記第１の撮像部の撮影範囲が変更された場合、前記取得手段により取得された前記第１の画像と前記第２の画像とを前記表示部に表示させる際に、変更された前記第１の撮像部の撮影範囲に基づいて前記第１の画像を前記第２の画像と対応する位置に表示させる請求項１又は２記載の情報処理装置。
4. 前記表示制御手段は、前記取得手段により取得された前記第１の画像と前記第２の画像とを前記表示部に表示させる際に、前記第２の撮像部の撮影範囲に対する前記第１の撮像部の撮影範囲の位置に応じた位置に前記第１の画像を表示する請求項１乃至３何れか１項記載の情報処理装置。
5. 前記表示制御手段は、前記取得手段により取得された前記第１の画像と前記第２の画像とを前記表示部に表示させる際に、前記第２の撮像部の撮影範囲に対する前記第１の撮像部の撮影範囲の位置に応じた位置に前記第１の撮像部の撮影範囲を示すオブジェクトを併せて表示させる請求項１乃至３何れか１項記載の情報処理装置。
6. 前記第２の撮像部は、撮影範囲が固定されている撮像部である請求項１乃至５何れか１項記載の情報処理装置。
7. 前記情報処理装置は、前記第１の撮像部と前記第２の撮像部とを含む撮像装置である請求項１乃至６何れか１項記載の情報処理装置。
8. 前記情報処理装置は、前記第１の撮像部と前記第２の撮像部とを制御する情報処理装置である請求項１乃至６何れか１項記載の情報処理装置。
9. 情報処理装置が実行する情報処理方法であって、
   撮影範囲を変更可能な第１の撮像部を介して撮影された第１の画像と、前記第１の撮像部よりも撮影範囲が広い第２の撮像部を介して撮影された第２の画像と、を取得する取得ステップと、
   前記取得ステップで取得された前記第１の画像と前記第２の画像とを表示部に表示させる際に、前記第１の撮像部の撮影範囲に基づいて前記第１の画像を前記第２の画像と対応する位置に表示させる表示制御ステップと、
   を含む情報処理方法。
10. コンピュータを、請求項１乃至８何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。

Images