JP2004187068A - パノラマ画像撮影システム - Google Patents

Abstract

【課題】広角光学系を用いて低解像度のパノラマ動画像と高解像度の通常画像とを、複数のクライアントに同時に送信・表示するための安価なパノラマ画像撮影システムを提供する。
【解決手段】広角光学系を持つカメラＡを用いて撮影した画像をパノラマ画像や通常画像に変換し、前記パノラマ画像をネットワークＣを通じて送信し、該送信された画像を受信し、該受信した画像を表示し、画像受信側から通常画像を生成する方向を指定するように制御する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、遠隔地にあって広角光学系を持つカメラを用いてパノラマ画像を撮影するパノラマ画像撮影システムに関する。
【０００２】
【従来の技術】
従来、魚眼レンズや回転体ミラー等の広角光学系や全方位撮像系を用いて撮影した画像からパノラマ画像や通常画像を生成し、ネットワークを通じて閲覧する技術が知られている。
【０００３】
例えば、「尾上、山澤、横矢、竹村：“全方位画像からの視線追従型実時間画像生成によるテレプレゼンス”、信学技報、ＰＲＭＵ９７−２０（１９９７−０５）」では、転双曲面ミラーを用いて撮影した全方位画像を遠隔地の利用者に送信し、利用者の視線方向の透視投影画像を生成するテレプレゼンスシステムを提案している。
【０００４】
また、ＵＳＰ６０４３８３７号には、指定した全方位画像の扇型部分領域を送信し、これを利用者側で矩形領域に変換して表示する方式が開示されている。
【０００５】
これと同様な手法は、特開平１１−２０５７７２号においても開示されており、複数の利用者が同時に仮想的なカメラ操作を行うために、回転双曲面ミラーを用いて撮影した全方位画像を複数の利用者に送信し、各利用者側で受信画像の一部を矩形画像に変換して表示したり、全方位画像を矩形画像に変換して、その一部を利用者に送信したりする方法が提案されている。
【０００６】
また、特開２０００−１３２６７３号においても、予め蓄積した全方位画像を必要に応じて利用者に送信し、一部分を矩形画像に展開して表示する方式が開示されている。
【０００７】
また、魚眼レンズ等の広角レンズを用いた例としては、特開平８−２７９９９９号等を始めとして、ＴＶ（テレビジョン）会議システムに多数応用されている。
【０００８】
また、静止画像への応用としては、デジタルカメラで撮影した二枚の画像から、上下左右３６０度の任意方向の画像を生成するｉＰＩＸ社の技術がある。
【０００９】
【発明が解決しようとする課題】
広角画像を閲覧する場合、画像全体を見たい場合と一部分を拡大して見たい場合とがあり、また、動画として見たい場合と静止画として見たい場合とがある。更に、できるだけ安価なシステムを構築したいという要望がある。
【００１０】
しかしながら、上述した従来例では、使用するカメラの出力がＮＴＳＣ形式等のアナログ出力の場合、６４０（Ｈ）×４８０（Ｖ）画素程度の低解像度画像を変換したものであり、一部分を拡大して見たいという要求を満足するものではなかった。
【００１１】
これに対して、高画素数のＣＣＤ（電荷結合素子）を搭載した産業用のプログレッシブスキャンカメラが既に発売されており、このカメラは、１６００（Ｈ）×１２００（Ｖ）画素以上の比較的高解像度の画像を取得することはできるが、このような産業用のカメラは、特殊なフレームグラバと組み合わせて使用する必要があり、システム全体が高価になるという問題があった。
【００１２】
一方、民生用のデジタルカメラを用いれば、４００万画素クラスのＣＣＤを用いて２２００（Ｈ）×１７００（Ｖ）画素程度の高解像度画像を安価に得ることができるが、従来のデジタルカメラは静止画撮影用に限られていた。
【００１３】
本発明は、上述した従来技術の有する問題点を解消するためになされたもので、その目的は、広角光学系を用いて低解像度のパノラマ動画像と高解像度の通常画像とを、複数のクライアントに同時に送信・表示するための安価なパノラマ画像撮影システムを提供する。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明のパノラマ画像撮影システムは、広角光学系を持つカメラを用いて撮影した画像をパノラマ画像や通常画像に変換するパノラマ画像撮影システムにおいて、前記カメラから送信された画像に基づいてパノラマ画像を表示する表示手段と、前記パノラマ画像上で生成すべき通常画像に対応する領域を設定する設定手段とを設けたことを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明の各実施の形態を図面に基づき説明する。
【００１６】
（第１の実施形態）
まず、本発明の第一の実施の形態を図１〜図１０に基づき説明する。
【００１７】
本実施の形態では、高解像度の静止画像と低解像度の動画像とを撮影可能なカメラに広角光学系を装備し、撮影した広角動画像からパノラマ動画像を生成し、複数のクライアントに送信するシステムにおいて、一つのクライアントが高解像度のパノラマ画像より画角の狭い通常画像を要求した場合に、高解像度の広角静止画像を撮影し、要求したクライアントには高解像度の通常静止画像を送信し、他のクライアントには低解像度のパノラマ静止画像を送信し、各クライアントは送信された画像を表示するシステムを構築することを目的とする。
【００１８】
図１は、本実施の形態に係るパノラマ画像撮影システムのハードウェア構成の一例を示すブロック図である。
【００１９】
パノラマ画像撮影システムは、カメラＡ、サーバＢ、ネットワークＣ、クライアントＤから構成されている。そして、カメラＡで撮影した複数の画像をサーバＢで変換してパノラマ画像を生成し、そのパノラマ画像の全体または一部を、ネットワークＣを通じてクライアントＤ−１，Ｄ−２に送信して、このクライアントＤ−１，Ｄ−２上のモニタ画面に表示するように構成されている。
【００２０】
ここで、１台のサーバに対してクライアントは、１台以上あるものとする。
【００２１】
カメラＡは、広角画像を撮像するための光学系１０１、レンズやＣＣＤ（電荷結合素子）から成る撮像部１０２、フォーカス・絞り・ホワイトバランス等を制御し且つサーバＢに画像を送信する撮像制御部１０３から構成されている。
【００２２】
光学系１０１は、１８０度前後の視野を持つ魚眼レンズや、側方３６０度の視野角を持つ全方向位画像を映す回転体ミラーを用いる。以下では、回転双曲面ミラーを用いて全方位パノラマ画像を撮影するものとして説明するが、本実施の形態において実現するパノラマ画像撮影方式は、広角画像を撮影方法に依存するものではない。
【００２３】
尚、回転体ミラーを用いたパノラマ画像撮影は公知であり、その概要については後述する。
【００２４】
撮像部１０２と撮像制御部１０３は、高解像度の静止画像と低解像度の動画像の両方を撮影する。このようなカメラＡは、例えば、コンピュータ制御可能なカメラを用いることで容易に実現できる。
【００２５】
サーバＢは、ＣＰＵ（中央演算処理装置）１０４、ＲＡＭ（ランダムアクセスメモリ）１０５、ＲＯＭ（リードオンリーメモリ）１０６及び二次記憶部１０７を具備している。また、プログラムの実行を始めとする各種の操作のために、キーボード１１２及びマウス等のポインティングデバイス１１３を具備している。また、操作画面表示のためにＶＲＡＭ（ビデオランダムアクセスメモリ）１０８を具備し、このＶＲＡＭ１０８にモニタ１１１が接続されている。また、ネットワークＣとの接続のためにネットワークＩ／Ｆ（インターフェース）１０９を具備している。また、カメラＡ及び周辺機器との接続を行うための周辺機器Ｉ／Ｆ（インターフェース）１１０を具備している。サーバＢは、周辺機器Ｉ／Ｆ１１０を通じてカメラＡを制御、画像を取得する。ここで、周辺機器Ｉ／Ｆ１１０には、ＲＳ−２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４等の方式が存在するが、本実施の形態では、インターフェースの種類に依存するものではない。
【００２６】
ＣＰＵ１０４、ＲＡＭ１０５、ＲＯＭ１０６、二次記憶部１０７、ＶＲＡＭ１０８、周辺機器Ｉ／Ｆ１１０及びネットワークＩ／Ｆ１０９は、内部バスに接続する。
【００２７】
以上説明したサーバＢの構成は、市販のパーソナルコンピュータを用いることで簡単に実現できるが、ＶＲＡＭ１０８、モニタ１１１、キーボード１１２、ポインティングデバイス１１３の無い所謂セットトップボックスの形態を採ることも何ら問題ない。
【００２８】
クライアントＤ−１は、サーバＢと同様に、ＣＰＵ１１４、ＲＡＭ１１５、ＲＯＭ１１６、二次記憶部１１７、ＶＲＡＭ１１８、ネットワークＩ／Ｆ（インターフェース）１１９、周辺機器Ｉ／Ｆ（インターフェース）１２０、モニタ１２１により構成されている。
【００２９】
クライアントＤ−１は、ネットワークＣを通じてサーバＢと接続し、このサーバＢからパノラマ画像を受信してモニタ１２１に表示したり、このモニタ１２１の画面上のＧＵＩ（グラフィカル・ユーザー・インターフェース）を操作して方向を指定し、高解像度の通常画像を要求したりする。また、周辺機器Ｉ／Ｆ（インターフェース）１２０には、キーボード１２２及びマウス等のポインティングデバイス１２３が接続される。
【００３０】
尚、クライアントＤ−２は、クライアントＤ−１と同一構成であるから、その説明は省略する。
【００３１】
ここで、ネットワークＣは、ＴＣＰ／ＩＰプロトコルに基づくインターネットを想定しているが、デジタル信号を送受信可能で画像通信に十分な容量のある伝送路であれば、その実現方式は問わない。
【００３２】
図２は、本実施の形態に係るパノラマ画像撮影時ステムにおいて使用する回転体ミラーの構造例を示す図である。
【００３３】
図２（ａ）は、回転体ミラーの外観を示す模式図であり、回転体ミラーは、ミラー部２０１、このミラー部２０１を支えるガラス筒部２０２、カメラＡを装着するためのねじを持つカメラ接続部２０３、黒針２０４等から成る。ミラー部２０１の断面は、球、放物線、双曲線等の形状である。
【００３４】
このような回転体ミラーの構造例に関しては、特開平１１−１７４６０３号に詳しく述べられている。
【００３５】
図２（ｂ）は、回転体ミラーを用いた撮影原理を示す図であり、回転体ミラー２０５がカメラＡに装着された状態を模式的に示している。ここで空間上の点（Ｐ）を出た光線は、回転体ミラー２０５に反射して経路２１０によって、レンズ２０７を通過し、ＣＣＤ２０８の面に到達する。その結果、例えば、カメラＡを垂直方向上に向けて撮影した場合、図２（ｃ）に示すような全方位画像を得ることができる。
【００３６】
図２（ｃ）の全方位画像の中心には、図２（ａ）の黒針部２０４が２１１のように円状に存在する。その外側に、周囲３６０度の画像２１２が回転体ミラー２０５の外周まで存在する。更に、その外側には、ミラーを介さずに直接カメラＡに入る光線や、回転体ミラー２０５の底面２１３が映る。図２（ｃ）では、直接カメラＡに入る光線は省略しているが、この光線の有無は、本発明には無関係である。
【００３７】
尚、回転体ミラー２０５には、「八木：“全方位ビジョンの研究動向”、コンピュータビジョンとイメージメディア、Ｖｏ１１２５，ｐｐ．１４７−１６０」に述べられているように、様々な種類のものが存在し、黒針部２０４が無いものや、回転体ミラーの保持方法が異なるもの等が存在するが、本発明の汎用性を損なうものではない。
【００３８】
図２（ｃ）の全方位画像は、図２（ｄ）に示すようなパノラマ画像２１４に変換することができる。これは、全方位画像の中心を定めて、同心円上に存在する点を矩形領域の横軸方向に並べることによって可能である。また、回転体ミラーを用いた場合の、空間上の点と全方位画像上の点との対応関係が、特開平６−２９５３３３号に詳しく述べられていおり、空間中に設けた円筒面に全方位画像を逆投影することで、パノラマ画像を生成することもできる。
【００３９】
通常画像は、パノラマ画像の一部を切り出すことによって生成することができ、或いは空間上に画像平面を決めて、全方位画像上の点を投影することによっても生成することができる。このようなパノラマ画像の生成方法に関しては、従来例に詳しく述べられているので、その説明は省略する。
【００４０】
図３は、本実施の形態に係るパノラマ画像撮影システムにおけるソフトウェアの構成例を示す図である。サーバＢにおいて、カメラ制御プロセス３０１、画像生成＆送信プロセス３０２、サーバ管理プロセス３０３が動作し、クライアントＤ−１（またはクライアントＤ−２）において、クライアントプロセス３０４が動作する。ここで、プロセスとは、マルチタスクオペレーションシステムにおいて並列に動作するプログラム単位を意味する。
【００４１】
サーバ管理プロセス３０３は、サーバＢ上で動作する他のプロセスの管理とクライアント情報の管理を行う。カメラ制御プロセス３０１は、サーバ管理プロセス３０３からの指示に基づいてカメラＡを制御し、低解像度の動画像や高解像度の静止画像をカメラＡから取得する。画像生成＆送信プロセス３０２は、撮影した広角画像をパノラマ画像や通常画像に変換し、圧縮を行い、クライアントプロセス３０４へ送信する。クライアントプロセス３０４は、受信した動画像や静止画像を伸長し、モニタ１２１の表示画面３０５に表示する。また、ユーザーは、クライアントプロセス３０４のＧＵＩ上でパノラマ画像上の矩形領域を移動することで、通常画像を生成する方向を指定し、サーバ管理プロセス３０３に通知する。
【００４２】
次に、本実施の形態に係るパノラマ画像撮影システムにおけるクライアントのＧＵＩの例を用いて説明する。
【００４３】
図４は、図３のクライアントプロセス３０４がモニタ１２１の表示画面３０５に表示するクライアントソフトのＧＵＩの一例を示す図であり、一般的なウィンドウズ（登録商標）システムの一つのウィンドウである。
【００４４】
図において、４０１はメニューであり、接続先の設定やソフトウェアの終了等を行う。４０２はパノラマ画像表示であり、サーバＢから送られたパノラマ動画像やパノラマ静止画像を表示する。パノラマ画像表示４０２には、方向を指定するための矩形領域４０３が有り、マウス等のポインティングデバイス４０４を用いてパノラマ画像上の任意の位置に移動することができる。４０５は静止画像の表示領域であり、静止画取得ボタン４０６を押すと、矩形領域４０３によって設定した方向の通常画像がサーバＢから送られるので，これを表示する。
【００４５】
ここで、ＧＵＩ上で設定するのは矩形領域の位置であるが、位置を方向に変換する方式は公知であるため、その説明は省略する。
【００４６】
また、図４において、４０７はステータスの表示領域であり、現在のクライアントＤ−１，Ｄ−２の動作状態やサーバＢとの接続状況等を表示する。
【００４７】
図５は、本実施の形態に係るパノラマ画像撮影システムにおけるサーバＢが管理する情報の一例を示す図であり、図５（ａ）は、サーバＢが動画モードで動作している場合の例であり、図５（ｂ）は、サーバＢが静止画モードで動作している場合の例である。
【００４８】
尚、図５中のデータ表現は論理的な意味を示すものであり、実際の格納形式は、必ずしも図５の通りでなくても何ら問題はない。
【００４９】
サーバＢは、図５に示すように、クライアント毎に管理番号を割り当て、ＩＰアドレス、ホスト名、送信形式、通常画像の方向を管理する。「ホスト名」が無い場合にはＮ／Ａとする。「送信形式」は、パノラマ画像を送信するか（ｐａｎｏｒａｍａ）、通常画像を送信するか（ｎｏｒｍａｌ）を判別する。通常画像を送信する場合には、データを項目「通常画像の方向」に、その方向を記憶する。
【００５０】
図５（ａ）では、全てのクライアントにパノラマ動画像を送信するが、例えば、管理番号１のクライアントから静止画像の要求があった場合には、静止画モードに移行すると共に、管理番号１のクライアントの送信形式をｎｏｒｍａｌとし、方向データをクライアントから要求のあった内容に更新する。
【００５１】
次に、本実施の形態に係るパノラマ画像撮影システムの動作原理の概要について、図６を用いて説明する。
【００５２】
図６は、ソフトウェアモジュールであるサーバＢとクライアントＤ−１，Ｄ−２の動作手順と情報のやりとりを示す図である。ここでは、既に２個のクライアントＤ−１，Ｄ−２がサーバＢとの接続を確立しているものとする。サーバＢの動作モードには、動画モードと静止画モードの２つがある。動画モードでは、低解像度の動画像を撮影し、静止画モードでは、高解像度の静止画像を撮影する。
【００５３】
ここで高解像度と低解像度の具体的な画素数は、例えば、高解像度の広角静止画像を２２７２（Ｈ）×１７０４（Ｖ）画素、低解像度の広角動画像を３２０（Ｈ）×２４０（Ｖ）画素として撮影することできる。この結果、６００）（Ｈ）×１２０（Ｖ）画素程度のパノラマ動画像と、８００（Ｈ）×６００（Ｖ）画素程度の通常静止画像とを生成することができる。
【００５４】
サーバＢとクライアントＤ−１，Ｄ−２との間の通信は、ＴＣＰ／ＩＰやＨＴＴＰ上のデータ列として送受信される。ＴＣＰ／ＩＰの場合、データ列の第１バイトはヘッダ、第２バイトはコマンド番号、第３バイト以下はパラメータ等とするデータ列を予め定めておき、コマンド番号１は接続要求、コマンド番号２は切断要求等としていくのが一般的な方法である。
【００５５】
本実施の形態は、このような制御コマンドや画像の送受信プロトコルに依存するものでないため、送受信されるコマンドの形式やプロトコルの例を詳細に説明することはしない。また、画像データの符号化方式には、ＪＰＥＧやＭＰＥＧを始めとして様々な規格が存在するが、本発明が画像符号化方式に依存しないのは言うまでもない。
【００５６】
図６において、動画モードでサーバＢは、ステップＳ６０１で低解像度の全方位動画像を１フレーム撮影し、ステップＳ６０２でパノラマ画像に展開して圧縮し、ステップＳ６０３で接続している全てのクライアントＤ−１（またはＤ−２）に対してパノラマ画像を送信する。次に、ステップＳ６０４でクライアントＤ−１（またはＤ−２）は、パノラマ画像を受信して伸長し、モニタ１２１の表示画面に表示する。パノラマ画像は動画像であるため、次々に送信される。
【００５７】
次に、ステップＳ６０５で一つのクライアントＤ−１（またはＤ−２）で利用者が方向を指定して、高解像度静止画像を送るように要求する。この要求は、ステップＳ６０６でサーバＢに向けて送信される。すると、サーバＢは、静止画モードになり、ステップＳ６０７において高解像度の静止画像を撮影する。この画像からは、ステップＳ６０８で通常の静止画像と、ステップＳ６０９で前記ステップＳ６０２におけるパノラマ動画像と同一の解像度であるパノラマ静止画像とを生成する。そして、一方のクライアントＤ−１に対しては、ステップＳ６１０で通常の静止画像を圧縮して送信し、他方のクライアントＤ−２に対しては、ステップＳ６１１でパノラマ静止画像を圧縮して送信する。クライアントＤ−１とクライアントＤ−２は、ステップＳ６１２とステップＳ６１３とで、それぞれ画像を受信して伸長し、モニタ１２１の表示画面に表示する。
【００５８】
次に、本実施の形態に係るパノラマ画像撮影システムにおける各プロセスの処理動作について、図７〜図１０を用いて説明する。
【００５９】
図７は、本実施の形態に係るパノラマ画像撮影システムにおけるサーバ管理プロセスの動作の流れを示すフローチャート、図８は、本実施の形態に係るパノラマ画像撮影システムにおけるカメラ制御プロセスの動作の流れを示すフローチャート、図９は、本実施の形態に係るパノラマ画像撮影システムにおける画像生成＆送信プロセスの動作の流れを示すフローチャート、図１０は、本実施の形態に係るパノラマ画像撮影システムにおけるクライアントプロセスの動作の流れを示すフローチャートである。
【００６０】
まず、本実施の形態に係るパノラマ画像撮影システムにおけるサーバ管理プロセス３０３の動作について、図７を用いて説明する。
【００６１】
サーバ管理プロセス３０３は、開始後、ステップＳ７０１で初期化を行い、次のステップＳ７０２でカメラ制御プロセス３０１を、その次のステップＳ７０３で画像生成＆送信プロセス３０２をそれぞれ起動する。次いで、ステップＳ７０４でサーバＢの動作モードを動画モードに設定し、次のステップＳ７０５で撮影を開始するようにカメラ制御プロセス３０１に指示する。次に、ステップＳ７０６でイベントの発生を待つ。
【００６２】
ステップＳ７０６においてイベントが発生すると、ステップＳ７０７へ進んでイベントがクライアントプロセス３０４からの接続要求イベントであるか否かを判断する。そして、イベントがクライアントプロセス３０４からの接続要求イベントであると判断された場合には、ステップＳ７０８へ進んで現在接続しているクライアント数が最大接続数未満であるか否かを判断する。そして、現在接続しているクライアント数が最大接続数未満であると判断された場合には、ステップＳ７０９へ進んでクライアント情報を追加登録し、クライアントＤ−１（またはクライアントＤ−２）に対して接続許可通知を行う。ここで、クライアント情報の追加登録とは、図５に示す表に当該クライアントの情報を追加することに相当する。
【００６３】
次に、ステップＳ７１０へ進んで画像生成＆送信プロセス３０２に対して接続イベントを発行した後、前記ステップＳ７０６へ戻って次のイベントを待つ。
【００６４】
一方、前記ステップＳ７０８において、現在接続しているクライアント数が最大接続数未満でないと判断された場合、即ち、接続クライアント数に余裕がない場合には、ステップＳ７１１へ進んでクライアントＤ−１（またはクライアントＤ−２）に対して接続拒否通知を行った後、前記ステップＳ７０６へ戻って次のイベントを待つ。
【００６５】
また、前記ステップＳ７０７において、イベントがクライアントプロセス３０４からの接続要求イベントでないと判断された場合には、ステップＳ７１２へ進んでイベントが接続終了イベントであるか否かを判断する。このイベントは、クライアントプロセス３０４が終了した場合等に発生する。前記ステップＳ７１２において接続終了イベントであると判断された場合には、ステップＳ７１３へ進んでクライアントの削除処理を行った後、クライアントＤ−１（またはクライアントＤ−２）との接続を終了する。ここでクライアントの削除とは、図５に示す表から当該クライアントの行を削除することに相当する。次に、ステップＳ７１４で画像生成＆送信プロセス３０２に対して切断イベントを送信した後、前記ステップＳ７０６へ戻って次のイベントを待つ。
【００６６】
一方、前記ステップＳ７１２において、イベントが接続終了イベントでないと判断された場合には、ステップＳ７１５へ進んでイベントが静止画像要求イベントであるか否かを判断する。これは、クライアントから高解像度の静止画像を要求するイベントである。前記ステップＳ７１５において、イベントが静止画像要求イベントであると判断された場合には、ステップＳ７１６へ進んでサーバＢの動作モードが動画モードであるか否かを判断する。そして、サーバＢの動作モードが動画モードであると判断された場合には、ステップＳ７１７ヘ進んで静止画モードにモード変更する。また、前記ステップＳ７１６において、サーバＢの動作モードが動画モードでないと判断された場合には、既に静止画モードであるので、新たな静止画像の送信要求は受け付けない。従って、ステップＳ７１８へ進んでクライアントＤ−１（またはクライアントＤ−２）に対して要求拒否通知を行った後、前記ステップＳ７０６へ戻って、次のイベントを待つ。また、前記ステップＳ７１５において静止画要求イベントでないと判断された場合には、何も処理せずに前記ステップＳ７０６へ戻って、次のイベントが発生するのを待つ。
【００６７】
次に、本実施の形態に係るパノラマ画像撮影システムにおけるカメラ制御プロセス３０１の処理動作について、図８を用いて説明する。
【００６８】
前記図７のステップＳ７０２において、カメラ制御プロセス３０１が起動するのに伴い開始し、ステップＳ８０１で初期化後、次にステップＳ８０２でサーバ管理プロセス３０３からの撮影開始命令を待つ。そして、撮影命令を受け取ると、次のステップＳ８０３ヘ進んで広角画像の撮影を開始する。即ち、撮影モードやカメラパラメータを読み込む。例えば、動画モードの場合には低解像度の動画で撮影を行い、静止画モードの場合には高解像度の静止画として撮影を行う。次に、ステップＳ８０４で実際の撮影を行い、次のステップＳ８０５で画像生成＆送信プロセス３０２に対して撮影完了イベントを発行する。次に、ステップＳ８０６で静止画モードであるか否かを判断する。そして、静止画モードであると判断されたの場合には、ステップＳ８０７へ進んで動画モードに設定を変更した後、前記ステップＳ８０３へ戻って撮影を続ける。これは、高解像度の静止画は連続して撮影しないからである。また、前記ステップＳ８０６において、静止画モードではなく動画モードであると判断された場合には、前記ステップＳ８０３へ戻って撮影を続ける。
【００６９】
次に、本実施の形態に係るパノラマ画像撮影システムにおける画像生成＆送信プロセス３０２の動作について、図９を用いて説明する。
【００７０】
前記図７のステップＳ７０３において、画像生成＆送信プロセス３０２が起動するのに伴い開始し、ステップＳ９０１で初期化を行い、次のステップＳ９０２でイベント発生を待つ。そして、イベントが発生した場合には、ステップＳ９０３へ進んでイベントが撮影完了イベントであるか否かを判断する。そして、イベントが撮影完了イベントであると判断された場合には、ステップＳ９０４へ進んでパノラマ画像を生成し、次のステップＳ９０５でパノラマ画像を圧縮して全てのクライアントＤ−１，Ｄ−２に送信する。この時動画モードである場合には全てのクライアントＤ−１，Ｄ−２に低解像度のパノラマ画像を送信するが、静止画モードである場合には図５（ｂ）の表を参照し、高解像度の静止画を要求したクライアント以外には、低解像度のパノラマ画像を送信する。
【００７１】
次に、ステップＳ９０６で静止画像モードであるか否かを判断する。そして、静止画像モードであると判断された場合には、ステップＳ９０７へ進んでクライアントの方向指定に基づいて高解像度の通常画像を生成する。次に、ステップＳ９０８で通常画像を圧縮し、この画像を要求したクライアントに送信した後、前記ステップＳ９０２へ戻る。また、前記ステップＳ９０６において、静止画モードでないと判断された場合には、前記ステップＳ９０２へ戻る。
【００７２】
一方、前記ステップＳ９０３において、撮影完了イベントでないと判断された場合には、ステップＳ９０９へ進んで接続命令であるか否かを判断する。そして、接続命令であると判断された場合には、ステップＳ９１０へ進んでクライアントと接続した後、前記ステップＳ９０２へ戻る。また、前記ステップＳ９０９において、接続命令でないと判断された場合には、ステップＳ９１１へ進んで切断命令であるか否かを判断する。そして、切断命令であると判断された場合には、ステップＳ９１２へ進んで切断処理を行った後、前記ステップＳ９０２へ戻る。また、前記ステップＳ９１１において、切断命令でないと判断された場合には、何も処理せずに前記ステップＳ９０２へ戻る。
【００７３】
次に、本実施の形態に係るパノラマ画像撮影システムにおけるクライアントプロセス３０４の動作について、図１０を用いて説明する。
【００７４】
この図１０では、イベント処理において、終了処理やマウスの移動処理等、一般的な処理は省いて説明を行う。
【００７５】
開始後、ステップＳ１００１で初期化し、次のステップＳ１００２でサーバＢへの接続を試みる。サーバＢのＩＰアドレスは、予めファイル等に記録しておいたものを使用する。次に、ステップＳ１００３で前記ステップＳ１００２における接続が成功したか否かを判断する。ここで既に最大接続数に達している場合には、サーバ管理プロセス３０３から接続拒否通知が返り、接続は失敗する。また、ネットワークＣ上のエラーが発生した場合にも、接続は失敗する。
【００７６】
前記ステップＳ１００３において、サーバＢへの接続が失敗したと判断された場合には、ステップＳ１００４へ進んでリトライするか否かを判断する。リトライ回数は、予め決めておき、この決めた回数を上回るリトライが既に行われている場合、即ち、前記ステップＳ１００４において、リトライしないと判断された場合には、ステップＳ１００５へ進んで終了処理を行い、本処理動作を終了する。また、前記ステップＳ１００４において、リトライを行うと判断された場合には、前記ステップＳ１００２へ戻って、サーバＢへの接続を再度試みる。サーバＢとの接続が成功した場合は、サーバ管理プロセス３０３と画像生成＆送信プロセス３０２とに同時に接続が確立する。
【００７７】
前記ステップＳ１００３において、サーバＢへの接続が成功したと判断された場合には、ステップＳ１００６へ進んで各種イベントが発生するのを待つ。そして、何らかのイベントが発生した場合には、そのイベントに応じてステップＳ１００７以下の処理を行う。
【００７８】
即ち、ステップＳ１００７では、イベントがパノラマ画像データの受信イベントであるか否かを判断する。そして、イベントがパノラマ画像データの受信イベントであると判断された場合には、ステップＳ１００８へ進んでパノラマ画像の受信、伸長処理及び表示を行った後、前記ステップＳ１００６へ戻って、次のイベントが発生するのを待つ。
【００７９】
また、前記ステップＳ１００７において、イベントがパノラマ画像データの受信イベントでないと判断された場合には、ステップＳ１００９へ進んでイベントが通常画像の受信イベントであるか否か判断する。そして、イベントが通常画像の受信イベントであると判断された場合には、ステップＳ１０１０へ進んで通常画像の受信、伸長処理及び表示を行行った後、前記ステップＳ１００６へ戻って、次のイベントが発生するのを待つ。
【００８０】
一方、前記ステップＳ１００９において、イベントが通常画像の受信イベントでないと判断された場合には、ステップＳ１０１１へ進んでイベントが静止画像要求イベントであるか否かを判断する。この静止画像要求イベントは、図４の静止画取得ボタン４０６を押した場合に発生する。前記ステップＳ１０１１において、イベントが静止画像要求イベントであると判断された場合には、ステップＳ１０１２へ進んでサーバＢに対して高解像度の静止画像を要求する。この時、所望する通常静止画像の方向も同時に送信する。前記ステップＳ１０１２の処理を終了後は、前記ステップＳ１００６へ戻って、次のイベントが発生するのを待つ。また、前記ステップＳ１０１１において、イベントが静止画要求イベントでないと判断された場合には、ステップＳ１０１３へ進んでイベントが領域指定イベントであるか否かを判断する。この領域指定イベントは、図４のパノラマ画像４０２上で領域表示４０３を移動した場合に発生する。
【００８１】
前記ステップＳ１０１３において、イベントが領域指定イベントであると判断された場合には、ステップＳ１０１４へ進んで領域の設定を変更した後、前記ステップＳ１００６へ戻って、次のイベントが発生するのを待つ。また、前記ステップＳ１０１３において、イベントが領域指定イベントでないと判断された場合には、ステップＳ１０１５へ進んでイベントがステータスに関するメッセージのイベントであるか否かを判断する。これは、サーバＢから接続許可・拒否に関するメッセージや、クライアントの動作状況に関するメッセージが発生した場合である。前記ステップＳ１０１５において、イベントがステータスに関するメッセージのイベントであると判断された場合には、ステップ１０１６へ進んでステータスを表示した後、前記ステップＳ１００６へ戻って、次のイベントが発生するのを待つ。
【００８２】
以上の説明からも明らかなように、本実施の形態に係るパノラマ画像撮影システムによれば、高解像度の静止画像と低解像度の動画像とを撮影可能なカメラＡに広角光学系を装備し、撮影した広角動画像からパノラマ動画像を生成し、複数のクライアントＤ−１，Ｄ−２へ送信するシステムにおいて、一つのクライアントが高解像度の通常静止画像を要求した場合に、高解像度の広角静止画像を撮影し、要求したクライアントには高解像度の通常静止画像を送信し、他のクライアントには低解像度のパノラマ静止画像を送信し、各クライアントは送信された画像を表示する。その結果、安価なカメラＡを用いて低解像度のパノラマ画像と高解像度の通常画像とを、複数の利用者が閲覧することができる。
【００８３】
（第二の実施の形態）
次に、本発明の第二の実施の形態を、図１１及び図１２に基づき説明する。
【００８４】
尚、本実施の形態に係るパノラマ画像撮影システムのハードウェア構成及びソフトウェア構成は、上述した第一の実施の形態における図１及び図３と同一であるから、必要に応じて、これら各図を流用して説明する。
【００８５】
本実施の形態は、上述した第一の実施の形態において、高解像度の静止画像を複数のクライアントに対して送信することができるようにしたものである。
【００８６】
本実施の形態は、ハードウェア構成及びソフトウェア構成については、上述した第一の実施の形態と同一であるから、プロセスの動作を変更するだけで実現が可能である。従って、以下では、上述した第一の実施の形態とは異なる部分のみについて説明する。
【００８７】
図１１は、本実施の形態に係るパノラマ画像撮影システムにおけるサーバ管理プロセスの動作の流れを示すフローチャート、図１２は、本実施の形態に係るパノラマ画像撮影システムにおけるカメラ制御プロセスの動作の流れを示すフローチャートである。
【００８８】
まず、本実施の形態に係るパノラマ画像撮影システムにおけるサーバ管理プロセスの動作について、図１１を用いて説明する。
【００８９】
尚、図１１において、ステップＳ１１０１〜ステップＳ１１１５は、上述した第一の実施の形態における図７のステップＳ７０１〜ステップＳ７１５と同一であるから、これらの説明は省略し、本実施の形態特有の処理ステップについてのみ説明する。
【００９０】
図１１のステップＳ１１１５において、イベントが静止画像要求イベントであると判断された場合の動作手順が、上述した第一の実施の形態における図７の動作手順と異なるものである。
【００９１】
即ち、図１１のステップＳ１１１５において、イベントがクライアントからの静止画要求イベントであると判断された場合には、ステップＳ１１１６へ進んで静止画像送信リストに当該クライアントを追加する。これは、サーバ管理プロセス３０３（図３参照）の持つ図５（ｂ）のクライアント情報に関して、当該クライアントの送信形式をｎｏｒｍａｌとし、送信する通常画像の方向情報を追加することに相当する。前記ステップＳ１１１６の処理を終了後は、前記ステップＳ１１０６へ戻って、次のイベントを待つ。
【００９２】
次に、本実施の形態に係るパノラマ画像撮影システムにおけるカメラ制御プロセスの動作について、図１２を用いて説明する。
【００９３】
尚、図１２において、ステップＳ１２０１〜ステップＳ１２０７は、上述した第一の実施の形態における図８のステップＳ８０１〜ステップＳ８０７と基本的には同一であるから、本実施の形態特有の処理ステップについてのみ説明する。
【００９４】
図１２のステップＳ１２０３の動作手順が、上述した第一の実施の形態における図８の動作手順と異なるものである。
【００９５】
即ち、カメラ制御プロセス３０１では、画像の撮影を行う際に、ステップＳ１２０３において、図５（ｂ）のクライアント情報）を参照し、静止画を要求するクライアントが一つでもあれば静止画モードでの撮影を行うものである。
【００９６】
次に、本実施の形態に係るパノラマ画像撮影システムにおける画像生成＆送信プロセスの動作について、上述した第一の実施の形態における図９を流用して説明する。
【００９７】
カメラ制御プロセス３０１の動作において、本実施の形態と上述した第一の実施の形態と異なる点は、ステップＳ９０７とステップＳ９０８の処理手順である。
【００９８】
即ち、画像生成送信プロセスでは、ステップＳ９０８で通常画像を要求する全てのクライアントに対して、要求する方向に対応する高解像度の通常画像を生成し、圧縮して送信する。もし、ステップＳ９０７において通常画像を生成した直後に、クライアントから静止画像の要求があった場合には、このクライアントへの静止画像の送信は次の撮影にまわされる。この場合、静止画像の撮影を何度か繰り返すことになる。
【００９９】
尚、本実施の形態に係るパノラマ画像撮影システムにおけるクライアントプロセスの動作については、上述した第一の実施の形態と同一であるから、その説明は省略する。
【０１００】
上述したように、本実施の形態に係るパノラマ画像撮影システムによれば、複数のクライアントから同時に高解像度の通常静止画像の要求があった場合に、効率良く各クライアントに高解像度の通常静止画像を送信することができるものである。
【０１０１】
（第三の実施の形態）
次に、本発明の第三の実施の形態を、図１３及び図１４に基づき説明する。
【０１０２】
尚、本実施の形態に係るパノラマ画像撮影システムのハードウェア構成及びソフトウェア構成は、上述した第一の実施の形態における図１及び図３と同一であるから、必要に応じて、これら各図を流用して説明する。
【０１０３】
本実施の形態は、上述した第一若しくは第二の実施の形態において、サーバＢが静止画モードにある場合に、新たなクライアントＤ−１，Ｄ−２の接続要求があった場合、そのクライアントＤ−１，Ｄ−２にも直前のパノラマ動画像の１フレームを送信し、表示するようにしたものである。これにより、クライアントＤ−１，Ｄ−２は、サーバＢの動作モードに関係なく、起動時の初期画像を得ることができる。
【０１０４】
本実施の形態は、ハードウェア構成及びソフトウェア構成については、上述した第一の実施の形態と同一であるから、プロセスの動作を変更するだけで実現が可能である。従って、以下では、上述した第一の実施の形態とは異なる部分のみについて説明する。
【０１０５】
図１３及び図１４は、本実施の形態に係るパノラマ画像撮影システムにおける画像生成＆送信プロセスの動作の流れを示すフローチャートである。
【０１０６】
本実施の形態において、上述した第一及び第二の実施の形態と異なる点は、画像生成プロセスと画像送信プロセスとを互いに独立して動作させるようにしたことであり、図１３は、画像生成プロセスの動作の流れを、図１４は、画像送信プロセスの動作の流れを、それぞれ示している。
【０１０７】
まず、図１３を用いて説明する。図１１のステップＳ１１０３において画像生成＆送信プロセスの起動により、開始後、ステップＳ１３０１で初期化し、その後、ステップＳ１３０１で画像送信を専門に行う画像送信プロセスを起動する。この画像送信プロセスは、その起動後、図１４０１で送信命令を待ち、送信命令が発生すると、次のステップＳ１４０２で画像の送信を行う。この送信する画像は、動画像の１フレームか静止画像である。画像送信プロセスを独立して動作させるため、図１３のステップＳ１３０１〜ステップＳ１３１４のプロセスを画像生成プロセスと呼ぶことにする。
【０１０８】
再び図１３に戻って説明すると、前記ステップＳ１３０２で画像送信プロセスが起動し、次のステップＳ１３０３でイベントの発生を待つ。そして、イベントが発生した場合は、次のステップＳ１３０４で前記ステップＳ１３０３において発生したイベントが撮影完了イベントであるか否かを判断する。そして、イベントが撮影完了イベントであると判断された場合には、ステップＳ１３０５へ進んでパノラマ画像を生成する。次に、ステップＳ１３０６で画像送信プロセスに対してパノラマ画像の送信命令を発行する。そして、実際のパノラマ画像送信処理は、画像送信プロセスが行う。
【０１０９】
次に、ステップＳ１３０７で静止画モードであるか否かを判断する。そして、静止画モードでないと判断された場合には、何も処理せずに前記ステップＳ１３０３へ戻り、次のイベントの発生を待つ。また、前記ステップＳ１３０７において、静止画モードであると判断された場合には、ステップＳ１３０８へ進んで通常画像を生成し、次のステップＳ１３０９で通常画像送信命令のみを発行する。そして、実際の通常画像送信処理は、画像送信プロセスが行う。こうすることによって、画像生成プロセスは、時間を要する画像圧縮や送信処理を別プロセスに任せ、イベント処理の効率化を図ることができる。前記ステップＳ１３０９の処理が終了後は、前記ステップＳ１３０３へ戻り、次のイベントの発生を待つ。
【０１１０】
一方、前記ステップＳ１３０４において、イベントが撮影完了イベントでないと判断された場合には、ステップＳ１３１０へ進んでクライアントＤ−１（またはクライアントＤ−２）からの接続命令があるか否かを判断する。そして、接続命令があると判断された場合には、ステップＳ１３１１へ進んで接続処理を行い、次のステップＳ１３１２でパノラマ画像送信命令を発行する。このパノラマ画像送信命令は、画像送信プロセスに対して、直前の動画モードで撮影・生成されたパノラマ画像をクライアントＤ−１（またはクライアントＤ−２）に１フレーム送るよう指示するものである。これにより、動画モードか静止画モードの区別なく、クライアントＤ−１（またはクライアントＤ−２）は、パノラマ画像を１フレーム分受け取ることができる。前記ステップｓ１３１２の処理が終了後は、前記ステップＳ１３０３へ戻り、次のイベントの発生を待つ。
【０１１１】
一方、前記ステップＳ１３１０において、接続命令でないと判断された場合には、ステップＳ１３１３へ進んで切断命令であるか否かを判断する。そして、切断命令であると判断された場合には、ステップＳ１３１４へ進んで切断処理を行った後、前記ステップＳ１３０３へ戻り、次のイベントの発生を待つ。また、前記ステップｓ１３１３において、切断命令でないと判断された場合には、何も処理せずに前記ステップＳ１３０３へ戻り、次のイベントの発生を待つ。
【０１１２】
尚、前記図１３のステップＳ１３０６、ステップＳ１３０９及びステップＳ１３１２における送信命令があるか否かを、図１４のステップＳ１４０１において判断するものである。
【０１１３】
尚、本実施の形態に係るパノラマ画像撮影システムにおけるサーバ管理プロセス及びカメラ制御プロセスの動作は、上述した第一の実施の形態と同一であるから、その説明は省略する。
【０１１４】
以上述べたように本実施の形態に係るパノラマ画像撮影システムによれば、サーバＢが静止画モードにある場合に新たなクライアントＤ−１，Ｄ−２の接続要求があった場合、そのクライアントにも直前のパノラマ動画像の１フレームを送信し、表示するようにしたから、クライアントＤ−１，Ｄ−２は、サーバＢの動作モードに関係なく、最低限の画像を得ることができる。
【０１１５】
（その他の実施の形態）
上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても、本発明が達成されることは言うまでもない。
【０１１６】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した各実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１７】
また、プログラムコードを供給するための記憶媒体としては、例えば、ＲＡＭ、ＮＶ−ＲＡＭ、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等）、磁気テープ、不揮発性のメモリカード、他のＲＯＭ等の上記プログラムコードを記憶できるものであれば良く、或いはネットワークを介したダウンロード等を用いることができる。
【０１１８】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１１９】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１２０】
以上では、本発明の様々な例と実施形態を説明したが、当業者であれば、本発明の趣旨と範囲は本明細書内の特定の説明と図に限定されるものではなく、本願特許請求の範囲に全て述べられた様々な修正と変更に及ぶことが可能であることは言うまでもない。
【０１２１】
本発明の実施態様の例を以下に列挙する。
【０１２２】
［実施態様１］ 広角光学系を持つカメラを用いて撮影した画像をパノラマ画像や通常画像に変換するパノラマ画像撮影システムにおいて、
前記カメラから送信された画像に基づいてパノラマ画像を表示する表示手段と、
前記パノラマ画像上で生成すべき通常画像に対応する領域を設定する設定手段とを設けたことを特徴とするパノラマ画像撮影システム。
【０１２３】
［実施態様２］ 広角光学系を持つカメラを用いて撮影した画像からパノラマ画像を生成する撮影手段と、
前記撮影手段により生成されたパノラマ画像をネットワークを通じて送信する送信手段と、
前記送信手段により送信されたパノラマ画像を受信する受信手段と、
前記受信手段により受信したパノラマ画像を表示する表示手段と、
前記表示手段において画像を生成する方向を指定するとその指定した方向情報を前記撮影手段に送信し且つ前記撮影手段において再び撮影した画像から当該方向の画像を生成して送信して前記表示手段において表示するように制御する制御手段とを設けたことを特徴とするパノラマ画像撮影システム。
【０１２４】
［実施態様３］ 前記撮影手段は、低解像度の動画像と高解像度の静止画像とを撮影可能なカメラを用いて撮影した画像からパノラマ画像や通常画像を生成するものであって、
前記制御手段は、通常は低解像度の広角動画像からパノラマ動画像を生成して送信し、前記表示手段において画像を生成する方向を指定して通常画像の要求があった場合には、高解像度の広角静止画像から通常の静止画像を生成して送信し、前記表示手段において受信して表示するように制御することを特徴とする実施態様２に記載のパノラマ画像撮影システム。
【０１２５】
［実施態様４］ 前記制御手段は、複数の前記表示手段から前記撮影手段に対して同時に高解像度の通常静止画像を要求した場合に、前記各表示手段の要求する高解像度の通常静止画像を生成して送信するように制御することを特徴とする実施態様２または３に記載のパノラマ画像撮影システム。
【０１２６】
［実施態様５］ 前記制御手段は、前記撮影手段において直前に撮影した低解像度のパノラマ動画像の１フレームを常に保存しておき、高解像度の通常静止画像を撮影中または送信中に新たな表示手段から接続要求があった場合には、前記保存したパノラマ動画像の１フレームを送信し、接続を要求した表示手段において表示するように制御することを特徴とする実施態様２乃至４のいずれかに記載のパノラマ画像撮影システム。
【０１２７】
［実施態様６］ 前記表示手段において、パノラマ画像上の矩形領域を用いて通常静止画像の視線方向を指定することを特徴とする実施態様１乃至５のいずれかに記載のパノラマ画像撮影システム。
【０１２８】
［実施態様７］ 前記撮影手段において、回転双曲面ミラーを使用して撮影した全方位画像の一部を透視投影画像に変換することによって、通常画像を作成することを特徴とする請求項２乃至６のいずれかに記載のパノラマ画像撮影システム。
【０１２９】
［実施態様８］ 前記撮影手段において、回転双曲面ミラーを使用して撮影した全方位画像を円筒面若しくは球面に再投影して展開し、その一部を切り出して通常画像を作成することを特徴とする請求項２乃至６のいずれかに記載のパノラマ画像撮影システム。
【０１３０】
［実施態様９］ 広角光学系を持つカメラを用いて撮影した画像をパノラマ画像や通常画像に変換するパノラマ画像撮影方法において、
前記カメラから送信された画像に基づいてパノラマ画像を表示する表示工程と、
前記パノラマ画像上で生成すべき通常画像に対応する領域を設定する設定工程とを設けたことを特徴とするパノラマ画像撮影方法。
【０１３１】
［実施態様１０］ 広角光学系を持つカメラを用いて撮影した画像からパノラマ画像を生成する撮影工程と、
前記撮影工程により生成されたパノラマ画像をネットワークを通じて送信する送信工程と、
前記送信工程により送信されたパノラマ画像を受信する受信工程と、
前記受信肯定により受信したパノラマ画像を表示する表示工程と、
前記表示工程において画像を生成する方向を指定するとその指定した方向情報を前記撮影工程に送信し且つ前記撮影工程において再び撮影した画像から当該方向の画像を生成して送信して前記表示工程において表示するように制御する制御工程とを設けたことを特徴とするパノラマ画像撮影方法。
【０１３２】
［実施態様１１］ 前記撮影工程は、低解像度の動画像と高解像度の静止画像とを撮影可能なカメラを用いて撮影した画像からパノラマ画像や通常画像を生成するものであって、
前記制御工程は、通常は低解像度の広角動画像からパノラマ動画像を生成して送信し、前記表示工程において画像を生成する方向を指定して通常画像の要求があった場合には、高解像度の広角静止画像から通常の静止画像を生成して送信し、前記表示工程において受信して表示するように制御することを特徴とする実施態様１０に記載のパノラマ画像撮影方法。
【０１３３】
［実施態様１２］ 前記制御工程は、複数の前記表示工程から前記撮影工程に対して同時に高解像度の通常静止画像を要求した場合に、前記各表示工程の要求する高解像度の通常静止画像を生成して送信するように制御することを特徴とする請求項１０または１１に記載のパノラマ画像撮影方法。
【０１３４】
［実施態様１３］ 前記制御工程は、前記撮影工程において直前に撮影した低解像度のパノラマ動画像の１フレームを常に保存しておき、高解像度の通常静止画像を撮影中または送信中に新たな表示工程から接続要求があった場合には、前記保存したパノラマ動画像の１フレームを送信し、接続を要求した表示工程において表示するように制御することを特徴とする請求項１０乃至１２のいずれかに記載のパノラマ画像撮影方法。
【０１３５】
［実施態様１４］ 前記表示工程において、パノラマ画像上の矩形領域を用いて通常静止画像の視線方向を指定することを特徴とする請求項９乃至１３のいずれかに記載のパノラマ画像撮影方法。
【０１３６】
［実施態様１５］ 前記撮影工程において、回転双曲面ミラーを使用して撮影した全方位画像の一部を透視投影画像に変換することによって、通常画像を作成することを特徴とする請求項１０乃至１４のいずれかに記載のパノラマ画像撮影方法。
【０１３７】
［実施態様１６］ 前記撮影工程において、回転双曲面ミラーを使用して撮影した全方位画像を円筒面若しくは球面に再投影して展開し、その一部を切り出して通常画像を作成することを特徴とする請求項１０乃至１５のいずれかに記載のパノラマ画像撮影方法。
【０１３８】
［実施態様１７］ パノラマ画像を撮影するパノラマ画像撮影システムを制御するためのコンピュータ読み取り可能な制御プログラムであって、
前記カメラから送信された画像に基づいてパノラマ画像を表示する表示工程と、前記パノラマ画像上で生成すべき通常画像に対応する領域を設定する設定工程とを、コンピュータに実行させるためのプログラムコードから成ることを特徴とするパノラマ画像撮影システムの制御プログラム。
【０１３９】
［実施態様１８］ パノラマ画像を撮影するパノラマ画像撮影システムを制御するためのコンピュータ読み取り可能な制御プログラムであって、
広角光学系を持つカメラを用いて撮影した画像からパノラマ画像を生成する撮影工程と、前記撮影工程により生成されたパノラマ画像をネットワークを通じて送信する送信工程と、前記送信工程により送信されたパノラマ画像を受信する受信工程と、前記受信工程により受信したパノラマ画像を表示する表示工程と、前記表示工程において画像を生成する方向を指定するとその指定した方向情報を前記撮影工程に送信し且つ前記撮影工程において再び撮影した画像から当該方向の画像を生成して送信して前記表示工程において表示するように制御する制御工程とを、コンピュータに実行させるためのプログラムコードから成ることを特徴とするパノラマ画像撮影システムの制御プログラム。
【０１４０】
［実施態様１９］ 実施態様１７及び１８に記載の制御プログラムを格納したことを特徴とする記憶媒体。
【０１４１】
【発明の効果】
以上のように本発明によれば、広角光学系を用いて低解像度のパノラマ動画像と高解像度の通常画像とを、複数のクライアントに同時に送信・表示するための安価なパノラマ画像撮影システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係るパノラマ画像撮影システムのハードウェア構成を示すブロック図である。
【図２】本発明の第一の実施の形態に係るパノラマ画像撮影システムにおけるカメラに装着する広角光学系の一例と撮影した広角画像及びパノラマ画像の一例を示す図である。
【図３】本発明の第一の実施の形態に係るパノラマ画像撮影システムのソフトウェア構成を示すブロック図である。
【図４】本発明の第一の実施の形態に係るパノラマ画像撮影システムにおけるクライアントの画面表示例を示す図である。
【図５】本発明の第一の実施の形態に係るパノラマ画像撮影システムにおけるサーバで管理するクライアント情報の一例を示す図である。
【図６】本発明の第一の実施の形態に係るパノラマ画像撮影システムにおけるサーバとクライアントの動作手順の概要を示す図である。
【図７】本発明の第一の実施の形態に係るパノラマ画像撮影システムにおけるサーバ管理プロセスの処理動作の流れを示すフローチャートである。
【図８】本発明の第一の実施の形態に係るパノラマ画像撮影システムにおけるカメラ制御プロセスの処理動作の流れを示すフローチャートである。
【図９】本発明の第一の実施の形態に係るパノラマ画像撮影システムにおける画像生成＆送信プロセスの処理動作の流れを示すフローチャートである。
【図１０】本発明の第一の実施の形態に係るパノラマ画像撮影システムにおけるクライアントプロセスの処理動作の流れを示すフローチャートである。
【図１１】本発明の第二の実施の形態に係るパノラマ画像撮影システムにおけるサーバ管理プロセスの処理動作の流れを示すフローチャートである。
【図１２】本発明の第二の実施の形態に係るパノラマ画像撮影システムにおけるカメラ制御プロセスの処理動作の流れを示すフローチャートである。
【図１３】本発明の第三の実施の形態に係るパノラマ画像撮影システムにおける画像生成プロセスの処理動作の流れを示すフローチャートである。
【図１４】本発明の第三の実施の形態に係るパノラマ画像撮影システムにおける画像送信プロセスの処理動作の流れを示すフローチャートである。
【符号の説明】
Ａ カメラ
Ｂ サーバ
Ｃ ネットワーク
Ｄ−１ クライアント
Ｄ−２ クライアント
１０１ 光学系
１０２ 撮像部
１０３ 撮像制御部
１０４ ＣＰＵ（中央演算処理装置）
１０５ ＲＡＭ（ランダムアクセスメモリ）
１０６ ＲＯＭ（リードオンリーメモリ）
１０７ 二次記憶部
１０８ ＶＲＡＭ（ビデオランダムアクセスメモリ）
１０９ ネットワークＩ／Ｆ（インターフェース）
１１０ 周辺機器Ｉ／Ｆ（インターフェース）
１１１ モニタ
１１２ キーボード
１１３ ポインティングデバイス
１１４ ＣＰＵ（中央演算処理装置）
１１５ ＲＡＭ（ランダムアクセスメモリ）
１１６ ＲＯＭ（リードオンリーメモリ）
１１７ 二次記憶部
１１８ ＶＲＡＭ（ビデオランダムアクセスメモリ）
１１９ ネットワークＩ／Ｆ（インターフェース）
１２０ 周辺機器Ｉ／Ｆ（インターフェース）
１２１ モニタ
１２２ キーボード
１２３ ポインティングデバイス
Ｐ 点
２０１ ミラー部
２０２ ガラス筒部
２０３ カメラ接続部
２０４ 黒針部
２０５ 回転体ミラー
２０７ レンズ
２０８ ＣＣＤ（電荷結合素子）
２１０ 経路
２１１ 黒針部
２１２ 画像
２１３ 回転体ミラー底面
２１４ パノラマ画像
３０１ カメラ制御プロセス
３０２ 画像生成＆送信プロセス
３０３ サーバ管理プロセス
３０４ クライアントプロセス
３０５ モニタの表示画面
４０１ メニュー
４０２ パノラマ画像表示
４０３ 矩形表示
４０４ ポインティングデバイス
４０５ 静止画像の表示領域
４０６ 静止画取得ボタン
４０７ ステータスの表示領域

Claims (1)

1. 広角光学系を持つカメラを用いて撮影した画像をパノラマ画像や通常画像に変換するパノラマ画像撮影システムにおいて、
   前記カメラから送信された画像に基づいてパノラマ画像を表示する表示手段と、
   前記パノラマ画像上で生成すべき通常画像に対応する領域を設定する設定手段とを設けたことを特徴とするパノラマ画像撮影システム。

Images