JP2022182840A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】
本発明は、全方位画像における撮像画像の位置を容易に認識可能な技術を提供することを目的とする。
【解決手段】
撮像方向を変更可能な第１撮像部の撮像方向を示す撮像方向情報を取得する。第１撮像部の撮像方向に基づいて、撮像方向がそれぞれ異なる複数の撮像部を含む撮像部セットのうち、第１撮像部の撮像方向に最も近い撮像方向である第２撮像部を判定する。判定された第２撮像部により撮像した画像が、撮像部セットのそれぞれの撮像部が撮像した画像を合成することにより得られる合成画像において所定の位置に配置されるように、合成画像を生成する。生成された合成画像を出力する
【選択図】図１

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラム
に関する。

公共の建物又は場所、銀行、スーパー等の店舗、ダム、基地、飛行場等の立入り禁止区域等への侵入者等を監視するために、ネットワークカメラシステムが利用されている。ネットワークカメラシステムに用いられるカメラとして、例えば、全方位カメラとＰＴＺカメラとを組み合わせた多眼カメラが知られている。全方位カメラとは、複数の撮像素子をカメラの筐体の所定の位置に設置することにより全方位３６０°を撮影できるカメラのことをいう。全方位カメラは、各撮像素子により撮像された所定の撮像範囲の画像を組み合わせることで全方位画像を取得するカメラのことをいう。

また、ＰＴＺカメラは、パン、チルト、ズーム機構を有し、撮像範囲を変更することができる。全方位カメラとＰＴＺカメラを組み合わせた多眼カメラは、全方位カメラで撮像した映像と、ＰＴＺカメラを用いて撮像した特定範囲の映像とを出力することができる。例えば、特許文献１では撮像時の多眼カメラの向き（角度）に応じて、撮像画像を回転する際に、多眼カメラのそれぞれのカメラの位置と、表示画像の位置との対応付けを容易化する技術が開示されている。

特開２０１３－１７９３９７号公報

しかしながら、ＰＴＺカメラによる撮像画像が、全方位カメラにより撮像した全方位画像上のどの範囲に対応するのかを把握しにくいという課題がある。

本発明は、全方位画像における撮像画像の位置を容易に認識可能な技術を提供することを目的とする。

本発明の目的を達成するために、本発明の一実施形態に係る情報処理装置は、以下の構成を備える。すなわち、情報処理装置は、撮像方向を変更可能な第１撮像部の撮像方向を示す撮像方向情報を取得する取得手段と、前記第１撮像部の撮像方向に基づいて、撮像方向がそれぞれ異なる複数の撮像部を含む撮像部セットのうち、前記第１撮像部の撮像方向に最も近い撮像方向である第２撮像部を判定する判定手段と、前記判定手段によって判定された前記第２撮像部により撮像した画像が、前記撮像部セットのそれぞれの撮像部が撮像した画像を合成することにより得られる合成画像において所定の位置に配置されるように、前記合成画像を生成する生成手段と、前記生成手段によって生成された前記合成画像を出力する出力手段と、を備える。

本発明によれば、全方位画像における撮像画像の位置を容易に認識可能な技術を提供することができる。

第１実施形態に係る、情報処理システムの構成を示すブロック図。 第１実施形態に係る、情報処理システムの構成を示す図。 第１実施形態に係る、撮像装置の機能構成を示すブロック図。 第１実施形態に係る、表示画面の一例を示す図。 第１実施形態に係る、固定カメラ部を決定するためのテーブル。 第１実施形態に係る、パノラマ画像の出力処理を示すフローチャート。 第２実施形態に係る、情報処理システムの構成を示すブロック図。 第２実施形態に係る、表示画面の一例を示す図。 第２実施形態に係る、魚眼画像の出力処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
第１実施形態では、撮像手段を有するネットワークカメラを一例として説明するが、本実施形態はネットワークカメラ以外の撮像手段による撮像目的に対しても適用可能である。例えば、本実施形態は放送目的の映像、映画及び個人的な目的の映像を撮像する撮像手段にも適用可能である。

図１は、第１実施形態に係る、情報処理システムの構成を示すブロック図である。図１において、情報処理システム１０は、撮像装置１００、情報処理装置１１０及びネットワーク１２０を含む。撮像装置１００と情報処理装置１１０は、ネットワーク１２０を介して接続されている。撮像装置１００は、監視領域の撮像を行う装置であり、得られた撮像画像を処理して情報処理装置１１０に送信する。情報処理装置１１０は、撮像画像を撮像装置１００から受信し、撮像画像を処理して表示する装置である。なお、本実施形態における撮像画像は映像であるが、静止画であってもよい。また、本実施形態における撮像装置１００は、取得した画像の画像処理を行うための情報処理装置（不図示）を搭載することを含む。

撮像装置１００は、ＰＴＺカメラ部１０１、固定カメラ部１０２、合成部１０３、通信部１０４、ＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７を含む。なお、撮像装置１００が有する固定カメラ部１０２の数は、図１に図示する４つに限定されるものではなく、例えば２つ以上であってもよい。ＰＴＺカメラ部１０１は、ズームレンズと撮像素子とを有し、パン、チルト及びズーム（以下、ＰＴＺと呼ぶ）の制御が可能な撮像装置である。すなわち、ＰＴＺカメラ部１０１は画像の撮像範囲を変更することができる。ＰＴＺカメラ部１０１は、情報処理装置１１０から受信した撮像範囲に係る制御指示に従い、ズームレンズや駆動モータの制御を行う。ここで、ＰＴＺカメラ部１０１は、撮像範囲を変更可能な撮像部として定義される。

一方、固定カメラ部１０２は、固定レンズと撮像素子とを有する撮像装置である。固定カメラ部１０２のそれぞれが撮像した複数の画像を合成した全方位画像を得るために、固定カメラ部１０２のそれぞれは撮像装置１００の所定の位置に設置される。本実施形態における全方位画像は、パノラマ画像である。固定カメラ部１０２のそれぞれは、所定の位置からそれぞれの撮像範囲を撮像する。なお、本実施形態では、固定カメラ部１０２のそれぞれは所定の位置に固定されることに限定されることはなく、撮像範囲を変更するために、所定の位置を変更することもできる。例えば、固定カメラ部１０２のそれぞれは、ＰＴＺカメラ部１０１と同様に、ＰＴＺの制御が可能であってもよい。ＰＴＺカメラ部１０１及び固定カメラ部１０２の撮像素子は、光に応じて画像の電気信号に変換する素子であり、例えばＣＣＤセンサ及びＣＭＯＳセンサである。

合成部１０３は、固定カメラ部１０２のそれぞれが撮像した複数の撮像画像を、１枚のパノラマ画像として合成する。合成部１０３は、固定カメラ部１０２のそれぞれが撮像した画像を、パノラマ画像中の所定の領域にそれぞれ配置して合成する。なお、固定カメラ部１０２のそれぞれの撮像範囲は、重複せずにそれぞれ異なる撮像範囲を有するが、本実施形態ではそれぞれの撮像範囲のうち一部の撮像範囲が他の撮像範囲の一部と重なる場合も含む。

通信部１０４は、ネットワーク１２０を介して、情報処理装置１１０に対して撮像画像や情報の送受信を行う。通信部１０４は例えば、撮像画像を圧縮し、ネットワーク１２０を介して情報処理装置１１０へ撮像画像を出力する。ＣＰＵ１０５は、ＲＯＭ１０６に記憶された制御プログラムを読み出して、それを実行することにより各種処理を実現する。ＲＡＭ１０７は、ＣＰＵ１０５の主メモリ、ワークエリア等の一時記憶領域として用いられる。後述する撮像装置１００の機能及び処理は、ＣＰＵ１０５がＲＯＭ１０６に格納されているプログラムを読み出し、このプログラムを実行することにより実現される。また、ＣＰＵ１０５は、ＲＯＭ１０６等の代わりに、例えばＵＳＢ、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。

情報処理装置１１０は、各種データを処理する装置であり、例えばＰＣ、スマートフォン、タブレット等の情報処理装置である。情報処理装置１１０は、通信部１１１、表示部１１２、入力部１１３、ＣＰＵ１１４、ＲＯＭ１１５、ＲＡＭ１１６、記憶部１１７を含む。通信部１１１は、ネットワーク１２０を介して、撮像装置１００に対して情報の送受信を行う。表示部１１２は、ＣＰＵ１１４により処理した各種情報を表示する装置であり、例えば液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ（ＯＬＥＤ）である。表示部１１２は、ＰＴＺカメラ部１０１が撮像した撮像画像と、固定カメラ部１０２のそれぞれが撮像した画像を統合した全方位画像とを表示することができる。入力部１１３は、ユーザによる各種操作を受け付ける受付手段を有し、例えばキーボード、マウス、ジョイスティックである。ユーザは、入力部１１３に操作を入力することにより、例えばＰＴＺカメラ部１０１のＰＴＺ制御を行うことができる。ＣＰＵ１１４は、ＲＯＭ１１５に記憶された制御プログラムを読み出して、それを実行することにより各種処理を実現する。

ＲＡＭ１１６は、ＣＰＵ１１４の主メモリ、ワークエリア等の一時記憶領域として用いられる。記憶部１１７は、各種データ及びプログラム等を記憶する記憶装置であり、例えばＨＤＤ、ＳＳＤ等である。後述する情報処理装置１１０の機能や処理は、ＣＰＵ１１４がＲＯＭ１１５又は記憶部１１７に格納されているプログラムを読み出し、このプログラムを実行することにより実現される。また、ＣＰＵ１１４は、ＲＯＭ１１５等の代わりに、例えばＵＳＢ、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。

図２は、第１実施形態に係る、情報処理システムの構成を示す図である。図２において、側面視２００は撮像装置１００を側面から見た図を示し、底面視２１０は撮像装置１００を底面から見た図を示す。図２の側面視２００において、撮像装置１００は例えば構造物の天井に設置される。図２の底面視２１０において、ＰＴＺカメラ部１０１は、固定カメラ部１０２のそれぞれに囲まれるように、それらの中心に設置されている。本実施形態において、固定カメラ部１０２のそれぞれは、複数の撮像部を含む撮像部セットともいう。固定カメラ部１０２のそれぞれを用いて全方位を撮像するために、固定カメラ部１０２のそれぞれはＰＴＺカメラ部１０１の周方向に一定間隔で設置されている。本実施形態の一定間隔は図２に示すように９０°であるが、これに限定されることはなく、固定カメラ部１０２の台数に応じて適切な間隔が設定されてもよい。

図３は、第１実施形態に係る、撮像装置の機能構成を示すブロック図である。図３において、撮像装置１００は、Ａ／Ｄ変換部３０１、現像処理部３０２、データ形成部３０３、通信処理部３０４、カメラ制御部３０５、位置処理部３０６を含む。Ａ／Ｄ変換部３０１は、ＰＴＺカメラ部１０１及び固定カメラ部１０２の撮像素子が受光した信号に対し、アナログデジタル変換を行うことで撮像画像を得る。現像処理部３０２は、Ａ／Ｄ変換部３０１により得られた撮像画像を所定の方法で変換処理する。データ形成部３０３は、現像処理された撮像画像と、複数の撮像画像を用いたパノラマ画像を生成し、それらの画像を通信処理部３０４へ送る。通信処理部３０４は、ネットワーク１２０を介して、それらの画像を情報処理装置１１０へ送信する。

カメラ制御部３０５は、ユーザ操作により入力されたカメラの制御命令を、通信処理部３０４を介して受け取る。カメラ制御部３０５は、制御命令に従い、ＰＴＺカメラ部１０１及び固定カメラ部１０２の撮像を制御する。カメラ制御部３０５はまた、ＰＴＺカメラ部１０１のＰＴＺ制御を行う。位置処理部３０６は、ＰＴＺカメラ部１０１及び固定カメラ部１０２の撮像方向情報を取得する。撮像方向情報とは、ＰＴＺカメラ部１０１及び固定カメラ部１０２のパン方向における角度（パン角度）やチルト方向における角度（チルト角度）とする。位置処理部３０６はまた、ＰＴＺ制御が行われた後のＰＴＺカメラ部１０１及び固定カメラ部１０２のそれぞれの撮像方向情報を取得する。データ形成部３０３は、位置処理部３０６から得られたＰＴＺカメラ部１０１の撮像方向に最も近い固定カメラ部１０２により撮像された画像をパノラマ画像の中央部に配置して、パノラマ画像を合成する。なお、上記の固定カメラ部１０２により撮像された画像をパノラマ画像に配置する位置は、中央部に限定されることはなく、ユーザ選択による位置であってもよい。

図４は、第１実施形態に係る、表示画面の一例を示す図である。図４において、表示画面４００は表示部１１２によって表示される画面であり、パノラマ画像４０１と撮像画像４０２を表示する。パノラマ画像４０１は、固定カメラ部１０２のそれぞれにより撮像した複数の撮像画像を合成したパノラマ画像（合成画像）である。撮像画像４０２は、ＰＴＺカメラ部１０１により撮像された撮像画像である。撮像画像４０２は、パノラマ画像４０１の中央の直下に表示されているが、これに限定されることはない。また、表示画面４００におけるパノラマ画像４０１と撮像画像４０２の表示位置は、それぞれ反対に表示されてもよい。

図５は、第１実施形態に係る、固定カメラ部を決定するためのテーブルである。図５（ａ）で固定カメラ部１０２のそれぞれは、固定カメラ部５０２Ａ、固定カメラ部５０２Ｂ、固定カメラ部５０２Ｃ、固定カメラ部５０２Ｄとして表される。ＰＴＺカメラ部１０１の撮像範囲は、撮像範囲５１０Ａから５１０Ｄのそれぞれで表される。撮像範囲５１０Ａから５１０Ｄは、図５（ａ）におけるθ_Ａからθ_Ｄでそれぞれ示される。交差する２本の破線は、撮像範囲５１０Ａから５１０Ｄのそれぞれを説明するために設けた境界を示す。本実施形態のθ_Ａからθ_Ｄのそれぞれは、ＰＴＺカメラ部１０１のパン方向の可動範囲３６０°を４分割した９０°に対応するが、これに限定されることはない。

図５（ｂ）は、ＰＴＺカメラ部１０１の撮像方向に最も近い固定カメラ部を決定するためのテーブルを示す。本実施形態において、テーブルは対応情報ともいう。テーブル５００は、識別５３０と、撮像範囲５２０を含む。識別５３０は、固定カメラ部５０２Ａから５０２Ｄのそれぞれを示す。撮像範囲５２０は、固定カメラ部５０２Ａから５０２Ｄのそれぞれに対応するＰＴＺカメラ部１０１の撮像範囲としてθ_Ａからθ_Ｄを示す。本実施形態は、テーブルを撮像装置１００のＲＯＭ１０６、情報処理装置のＲＯＭ１０６又は記憶部１１７の少なくともいずれかに予め記憶する。位置処理部３０６は、ＰＴＺカメラ部１０１の撮像方向（パン角度）を取得し、取得した撮像方向がテーブル５００の撮像範囲５２０のいずれに対応するのかを判定する。位置処理部３０６は、取得した撮像方向（パン角度）が、例えば撮像範囲５２０中のθ_Ａに対応すると判定する場合、ＰＴＺカメラ部１０１の撮像方向に最も近い固定カメラ部は、固定カメラ部５０２Ａであると判定する。位置処理部３０６は、テーブル５００を参照することにより、ＰＴＺカメラ部１０１の撮像方向に最も近い固定カメラ部を判定することができる。なお、位置処理部３０６は、テーブル５００を参照することなしに、ＰＴＺカメラ部１０１の撮像方向情報に基づいて、それに最も近い撮像方向を有する固定カメラ部を計算で求めてもよい。本実施形態における撮像方向は、ＰＴＺカメラ部１０１のパン方向で規定されているが、これに限定されることはない。例えば、固定カメラ部５０２Ａから５０２ＤがＰＴＺ制御可能である場合、パン方向の他にチルト方向及びズーム率を考慮した撮像方向の範囲が規定されてもよい。

図６は、第１実施形態に係る、パノラマ画像の出力処理を示すフローチャートである。本実施形態は、ＰＴＺカメラ部１０１がパン方向に撮像方向を変更しながら撮像し、固定カメラ部１０２のそれぞれが固定された撮像位置から撮像する一例を用いて、パノラマ画像の出力処理について説明する。以下、図４と図５を参照しつつ、本実施形態に係るパノラマ画像の出力処理について説明する。

図６のＳ６０１で、位置処理部３０６は、カメラ制御部３０５により制御されたＰＴＺカメラ部１０１の撮像方向を取得する。位置処理部３０６は、予めＲＯＭ１０６に記憶している図５のテーブル５００に基づいて、固定カメラ部１０２のそれぞれの物理的な位置と、ＰＴＺカメラ部１０１の撮像方向の撮像範囲５２０と、の対応関係を参照する。これにより、位置処理部３０６は、ＰＴＺカメラ部１０１の撮像方向に最も近い固定カメラ部１０２を決定する。なお、位置処理部３０６は、テーブル５００を参照してＰＴＺカメラ部１０１の撮像方向に最も近い固定カメラ部１０２を決定しているが、これに限定されることはない。

Ｓ６０２で、データ形成部３０３は、ＰＴＺカメラ部１０１の撮像方向に最も近い固定カメラ部１０２により撮像した画像がパノラマ画像の中央部に配置されるように、パノラマ画像を生成する。すなわち、ＰＴＺカメラ部１０１による撮像画像がパノラマ画像の中央部に映ることから、ユーザはパノラマ画像から撮像画像を容易に特定することができる。Ｓ６０３で、通信処理部３０４は、データ形成部３０３が生成したパノラマ画像を表示部１１２に出力する。本実施形態において、パノラマ画像は出力結果ともいう。表示部１１２はパノラマ画像と撮像画像を図４の表示画面４００に表示する。なお、表示部１１２はパノラマ画像と、撮像画像のうち少なくともいずれか１つの画像を表示してもよい。Ｓ６０４で、位置処理部３０６は、ＰＴＺカメラ部１０１が撮像方向を変更しているか否かを判定する。位置処理部３０６はＰＴＺカメラ部１０１の撮像方向の変更が行われていないと判定する場合（Ｓ６０４でＹｅｓ）、処理は終了する。位置処理部３０６は、ＰＴＺカメラ部１０１が撮像方向を変更していると判定する場合（Ｓ６０４でＮｏ）、処理はＳ６０１へ戻り、位置処理部３０６は撮像方向を変更した後のＰＴＺカメラ部１０１の撮像方向を取得する。

本実施形態では、パノラマ画像の中央部にＰＴＺカメラ部１０１の撮像方向に最も近い固定カメラ部１０２で撮像した撮像画像が位置するようにパノラマ画像を生成しているが、これに限定されることはない。上記の固定カメラ部１０２による撮像画像は、パノラマ画像において予めユーザが指定した位置に表示されてもよい。本実施形態は、パノラマ画像からＰＴＺカメラ部１０１による撮像方向を容易に特定できるので、例えば侵入者等の監視においてユーザの監視負担を軽減することができる。

以上の通り、第１実施形態によれば、撮像方向を制御可能なＰＴＺカメラの撮像方向に最も近い固定カメラにより撮像された画像がパノラマ画像の所定の位置に配置されるようにパノラマ画像を生成することができる。これにより、第１実施形態は、ＰＴＺカメラによる撮像画像が、パノラマ画像のどこに映っているのかを容易に認識することができる。

（第２実施形態）
第１実施形態は、ＰＴＺカメラと複数の固定カメラを備えた多眼カメラを用いて、ＰＴＺカメラによる撮像方向がパノラマ画像の中央部に位置するようなパノラマ画像を生成する。一方、第２実施形態は、ＰＴＺカメラと魚眼カメラを備えた多眼カメラを用いるため、複数の画像からパノラマ画像を合成する処理を必要としない。また、第２実施形態は、ＰＴＺカメラによる撮像方向に対応する座標が魚眼画像の中央上部の座標に位置するような魚眼画像を生成する。第２実施形態では、ＰＴＺカメラと魚眼カメラを備えた多眼カメラによる魚眼画像の出力処理について説明する。なお、第２実施形態は、第１実施形態との差分について説明する。

図７は、第２実施形態に係る、情報処理システムの構成を示すブロック図である。図７において、情報処理システム１０は、撮像装置１００、情報処理装置１１０、ネットワーク１２０を含む。撮像装置１００は、ＰＴＺカメラ部１０１、魚眼カメラ部１０８及び通信部１０４を含む。合成部１０３は、例えば魚眼画像からデワープしたパノラマ画像、分割画像のうち少なくともいずれかを合成することができる。あるいは、合成部１０３は、魚眼画像上の規定座標にＰＴＺカメラ部１０１の撮像方向に対応する座標が位置するように、魚眼画像を時計方向又は半時計方向に回転させて魚眼画像を合成することができる。所定の位置は、本実施形態では魚眼画像上の中央上部であるが、これに限定されず、例えばユーザ選択により魚眼画像上の任意の座標が設定されてもよい。魚眼カメラ部１０８は、ＣＭＯＳセンサ等の撮像素子と魚眼レンズを備え、３６０°の撮像範囲を撮像可能な撮像部である。本実施形態における、図３のデータ形成部３０３は、位置処理部３０６から得られたＰＴＺカメラ部１０１の撮像方向と魚眼カメラ部１０８による撮像結果とに基づいて、以下の処理を行う。データ形成部３０３は、ＰＴＺカメラ部１０１の撮像方向が、魚眼画像上の中央上部に位置するような魚眼画像を生成する。

図８は、第２実施形態に係る、表示画面の一例を示す図である。図８（ａ）において、表示画面８００は、魚眼画像８０１及び撮像画像８０２を有している。魚眼画像８０１は、魚眼カメラ部１０８により撮像された全方位画像を示す魚眼画像であり、円形の画像として表示される。魚眼画像８０１は規定座標８１０と対象８２０を表示し、対象８２０は倒立した状態で、かつ、魚眼画像８０１の下中央部に表示される。一方、撮像画像８０２は、ＰＴＺカメラ部１０１により撮像した矩形の画像を示し、対象８２０を正立した状態で表示する。このように、魚眼画像８０１と撮像画像８０２は、対象８２０が映る状態と位置の点で異なる。ユーザは撮像画像８０２中の対象８２０を、魚眼画像８０１から探索する必要があるため、対象８２０を短時間で特定することができない。本実施形態は、対象８２０の特定を容易とするために、後述する画像処理を魚眼画像８０１に対して行う。

規定座標８１０とは、魚眼画像８０１上の所定の位置にＰＴＺカメラ部１０１による撮像方向が配置されるように規定した座標をいう。なお、規定座標８１０は魚眼画像以外の全方位画像上にも設定されてよい。本実施形態における所定の位置は、ユーザが撮像画像８０２を特定しやすいよう魚眼画像８０１の中央上部とする。所定の位置は魚眼画像８０１の中央上部に限定されることはなく、ユーザ選択で予め魚眼画像８０１の任意の位置が設定されてもよい。なお、規定座標８１０は、図８（ａ）に図示するように、例えば★で表示されるとともに、２次元座標系（Ｘ，Ｙ）で表される。図８（ｂ）の画面８４０は、図８（ａ）の表示画面８００を補正した後の魚眼画像８１１を表示する。データ形成部３０３は、魚眼画像８０１の対象８２０が規定座標８１０に位置するように、魚眼画像８０１に対し時計回り又は反時計回りに回転させる画像処理を行う。これにより、表示部１１２は、対象８３０を魚眼画像８１１の中央上部に表示することができ、ユーザは魚眼画像８１１から対象８３０を容易に特定することができる。

図９は、第２実施形態に係る、魚眼画像の出力処理を示すフローチャートである。本実施形態では、ＰＴＺカメラ部１０１は図８の対象８２０を撮像し、魚眼カメラ部１０８は対象８２０を３６０°の撮像範囲に捉えて撮像する。本実施形態は、魚眼カメラ部１０８により撮像した魚眼画像上の規定座標に、ＰＴＺカメラ部１０１の撮像方向に対応する魚眼画像上の座標を対応させる。すなわち、本実施形態では、魚眼画像の中央上部にＰＴＺカメラ部１０１による撮像方向が位置するように魚眼画像を回転させる。以下、図８を参照しつつ、本実施形態の魚眼画像の出力処理について説明する。

図９のＳ９０１で、位置処理部３０６は、予めＲＯＭ１０６に記憶しているＰＴＺカメラ部１０１の撮像方向と魚眼カメラ部１０８による魚眼画像上の座標との対応を示すテーブル（不図示）を使用する。位置処理部３０６は、カメラ制御部３０５から受信したＰＴＺカメラ部１０１の撮像方向が、テーブル中の魚眼画像８０１上の座標のいずれに対応するのかを判定する。次に、位置処理部３０６は、ＰＴＺカメラ部１０１の撮像方向に対応する魚眼画像８０１上の座標（以下、検出座標）が、魚眼画像８０１上の中央上部に対応する規定座標８１０に一致するか否かに基づいて、魚眼画像８０１を補正するか否かを判定する。ここで、検出座標は撮像位置情報として定義される。本実施形態は位置処理部３０６による上記の２つの判定結果を得ることを含む。なお、ＰＴＺカメラ部１０１の撮像方向に対応する魚眼画像８０１上の座標と、規定座標８１０は、例えば２次元座標系（Ｘ，Ｙ）で表される。

Ｓ９０２で、データ形成部３０３は、ＰＴＺカメラ部１０１の撮像方向を示す検出座標が規定座標８１０に一致しないと判定する場合、検出座標が規定座標８１０に位置するように、魚眼画像８０１を補正した魚眼画像８１１を生成する。データ形成部３０３は、検出座標と規定座標８１０との間の差分に基づいて、魚眼画像を回転させる補正をしてもよい。なお、データ形成部３０３は、検出座標が規定座標８１０と一致すると判定する場合、魚眼画像８０１を補正しない。Ｓ９０３で、通信処理部３０４は、Ｓ９０２でデータ形成部３０３が生成した魚眼画像８１１又は魚眼画像８０１を出力する。Ｓ９０４で、位置処理部３０６は、ＰＴＺカメラ部１０１が撮像方向を変更しているか否かを判定する。位置処理部３０６は、ＰＴＺカメラ部１０１が撮像方向を変更していないと判定する場合（Ｓ９０４でＹｅｓ）、処理を終了する。位置処理部３０６は、ＰＴＺカメラ部１０１が撮像方向を変更していると判定する場合（Ｓ９０４でＹｅｓ）、処理はＳ９０１へ戻り、位置処理部３０６は撮像方向を変更した後のＰＴＺカメラ部１０１の撮像方向を取得する。

本実施形態は、ＰＴＺカメラと魚眼カメラを備えた多眼カメラにおいて、ＰＴＺカメラの撮像方向に対応する魚眼画像を生成したが、これに限定されない。本実施形態では、魚眼画像からデワープした、例えばパノラマ画像、４分割画像等のいずれかの画像を生成し、それらの画像等を出力してもよい。

以上の通り、第２の実施形態によれば、ＰＴＺカメラと魚眼カメラを備えた多眼カメラにより、ＰＴＺカメラの撮像方向に対応する魚眼画像を生成することができる。これにより、第２実施形態は、ＰＴＺカメラによる撮像画像が、魚眼カメラによる魚眼画像上のどこに映っているのかを容易に認識することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０：情報処理システム、１００：撮像装置、１０１：ＰＴＺカメラ部、１０２：固定カメラ部、１０３：合成部、１０４：通信部、１０５：ＣＰＵ、１０６：ＲＯＭ、１０７：ＲＡＭ、１１０：情報処理装置

Claims (22)

1. 撮像方向を変更可能な第１撮像部の撮像方向を示す撮像方向情報を取得する取得手段と、
   前記第１撮像部の撮像方向に基づいて、撮像方向がそれぞれ異なる複数の撮像部を含む撮像部セットのうち、前記第１撮像部の撮像方向に最も近い撮像方向である第２撮像部を判定する判定手段と、
   前記判定手段によって判定された前記第２撮像部により撮像した画像が、前記撮像部セットのそれぞれの撮像部が撮像した画像を合成することにより得られる合成画像において所定の位置に配置されるように、前記合成画像を生成する生成手段と、
   前記生成手段によって生成された前記合成画像を出力する出力手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第１撮像部の撮像方向と、前記撮像部セットのうち前記第１撮像部の撮像位置に最も近い撮像方向である１つの撮像部とを対応付けた対応情報を記憶する記憶手段を備え、
   前記判定手段は、前記対応情報に基づいて、前記撮像部セットのうち、前記第１撮像部の撮像位置に最も近い撮像方向である撮像部を判定する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記取得手段は、前記第１撮像部が前記撮像方向を変更する場合、前記撮像方向を変更した後の前記撮像方向情報を取得する、
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記撮像部セットは、撮像方向を変更可能な複数の撮像部を有し、
   前記取得手段は、前記撮像部セットの複数の撮像部のそれぞれが前記撮像方向を変更する場合、前記撮像方向を変更した後の前記撮像部セットの複数の撮像部のそれぞれの撮像方向を示す撮像方向情報を取得する、ことを含む、
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記第１撮像部は、パン方向及びチルト方向の少なくともいずれかの前記撮像方向を変更可能である、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
6. 前記撮像部セットの複数の撮像部のそれぞれは、パン方向及びチルト方向の少なくともいずれかの前記撮像方向を変更可能である、
   ことを特徴とする請求項４に記載の情報処理装置。
7. 前記出力手段は、前記第１撮像部が撮像した画像をさらに出力する、
   ことを特徴とする請求項１に記載の情報処理装置。
8. 前記所定の位置を決定するユーザ選択を受け付ける受付手段を備える、
   ことを特徴とする請求項１に記載の情報処理装置。
9. 前記所定の位置は、前記合成画像の中央部である、
   ことを特徴とする請求項１に記載の情報処理装置。
10. 撮像位置を変更可能な第３撮像部の撮像位置を示す撮像位置情報を取得する取得手段と、
    前記第３撮像部の撮像位置情報に基づいて、全方位を撮像可能な第４撮像部により撮像した全方位画像上の前記第３撮像部の撮像位置に対応する座標を判定する判定手段と、
    前記座標が前記全方位画像上において予め規定された規定座標に位置するように、前記全方位画像を補正して全方位画像を生成する生成手段と、
    前記生成手段によって生成された前記全方位画像を出力する出力手段と、
    を備えることを特徴とする情報処理装置。
11. 撮像位置を変更可能な第３撮像部の撮像位置を示す撮像位置情報を取得する取得手段と、
    全方位を撮像可能な第４撮像部による撮像結果に基づいて全方位画像を生成する生成手段であって、前記全方位画像上の前記第３撮像部の撮像位置に対応する座標が、前記全方位画像上において予め規定された規定座標に位置するように、前記全方位画像を生成する生成手段と、
    前記生成手段によって生成された前記全方位画像を出力する出力手段と、
    を備えることを特徴とする情報処理装置。
12. 前記第３撮像部の撮像位置と前記全方位画像の座標のうち前記第３撮像部の撮像位置に対応する１つの座標を対応付けた対応情報を記憶する記憶手段と、
    前記判定手段は、前記対応情報に基づいて、前記全方位画像上の前記第３撮像部の撮像位置に対応する座標を判定する、
    ことを特徴とする請求項１０に記載の情報処理装置。
13. 前記取得手段は、前記第３撮像部が前記撮像位置を変更する場合、前記撮像位置を変更した後の前記撮像位置情報を取得する、
    ことを特徴とする請求項１０又は１１に記載の情報処理装置。
14. 前記出力手段は、前記第３撮像部が撮像した画像をさらに出力する、
    ことを特徴とする請求項１０又は１１に記載の情報処理装置。
15. 前記第３撮像部は、パン方向及びチルト方向の少なくともいずれかの前記撮像位置を変更可能である、
    ことを特徴とする請求項１０から１４のいずれか１項に記載の情報処理装置。
16. 前記全方位画像は、魚眼画像であり、
    前記生成手段は、前記魚眼画像からデワープした、パノラマ画像と分割画像のうち少なくともいずれかを生成し、
    前記出力手段は、前記生成手段によって生成されたパノラマ画像と分割画像のうち少なくともいずれかを出力する、
    ことを特徴とする請求項１０又は１１に記載の情報処理装置。
17. 前記生成手段は、前記全方位画像が魚眼画像である場合、前記全方位画像上の前記第３撮像部の撮像位置に対応する座標が、前記全方位画像上において予め規定された規定座標に位置するように、前記全方位画像を回転して全方位画像を生成する、
    ことを特徴とする請求項１０又は１１に記載の情報処理装置。
18. 前記規定座標を決定するユーザ選択を受け付ける受付手段を備える、
    ことを特徴とする請求項１０又は１１に記載の情報処理装置。
19. 前記規定座標は、前記全方位画像上の中央上部にある、
    ことを特徴とする請求項１８に記載の情報処理装置。
20. 前記情報処理装置は撮像装置に搭載される、
    ことを特徴とする請求項１から１９のいずれか１項に記載の情報処理装置。
21. 撮像方向を変更可能な第１撮像部の撮像方向を示す撮像方向情報を取得する取得工程と、
    前記第１撮像部の撮像方向に基づいて、撮像方向がそれぞれ異なる複数の撮像部を含む撮像部セットのうち、前記第１撮像部の撮像方向に最も近い撮像方向である第２撮像部を判定する判定工程と、
    前記判定工程で判定された前記第２撮像部により撮像した画像が、前記撮像部セットのそれぞれの撮像部が撮像した画像を合成することにより得られる合成画像において所定の位置に配置されるように、前記合成画像を生成する生成工程と、
    前記生成工程で生成された前記合成画像を出力する出力工程と、
    を備えることを特徴とする情報処理方法。
22. コンピュータを、請求項１から２０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images