JP2004064706A - 情報処理システム - Google Patents
情報処理システム Download PDFInfo
- Publication number
- JP2004064706A JP2004064706A JP2002224151A JP2002224151A JP2004064706A JP 2004064706 A JP2004064706 A JP 2004064706A JP 2002224151 A JP2002224151 A JP 2002224151A JP 2002224151 A JP2002224151 A JP 2002224151A JP 2004064706 A JP2004064706 A JP 2004064706A
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- image
- display
- small
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Digital Computer Display Output (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】利用態様が変更されても、小画面の分割表示を容易に行うことができるようにする。
【解決手段】画像処理装置１１は、ビデオカメラ２の数や配置位置、レンズ歪み、およびＳＤ画像の表示位置等の利用態様を、ネットワーク２１を介して座標変換テーブル生成装置１３に送信し、ネットワーク２１を介して送信されてきた、その利用態様に応じて座標変換テーブル生成装置１３により生成された座標変換テーブルＴａを取得する。画像処理装置１１は、取得した座標変換テーブルＴａを利用して、ビデオカメラ２−１乃至２−Ｎのそれぞれから供給されたＳＤ画像から、Ｎ個のＳＤ画像が、表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示される画像を生成する。
【選択図】 図６
【解決手段】画像処理装置１１は、ビデオカメラ２の数や配置位置、レンズ歪み、およびＳＤ画像の表示位置等の利用態様を、ネットワーク２１を介して座標変換テーブル生成装置１３に送信し、ネットワーク２１を介して送信されてきた、その利用態様に応じて座標変換テーブル生成装置１３により生成された座標変換テーブルＴａを取得する。画像処理装置１１は、取得した座標変換テーブルＴａを利用して、ビデオカメラ２−１乃至２−Ｎのそれぞれから供給されたＳＤ画像から、Ｎ個のＳＤ画像が、表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示される画像を生成する。
【選択図】 図６
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理システムに関し、特に、複数の画像を適切に分割表示することができるようにした情報処理システムに関する。
【０００２】
【従来の技術】
図１は、従来の画像処理システムの構成例を示している。
【０００３】
被写体１に対して所定の位置に配置されたＮ個のビデオカメラ２−１乃至２−Ｎ（以下、個々に区別する必要がない場合、単に、ビデオカメラ２と称する。他の場合についても同様である）は、撮像の結果得られた画像を、画像処理装置３に供給する。
【０００４】
画像処理装置３は、ビデオカメラ２から供給されたＮ個の画像が表示装置４のディスプレイ４Ａ上で分割表示される画像を生成し、表示装置４に供給する。表示装置４は、画像処理装置３からの画像をディスプレイ４Ａに表示する。
【０００５】
【発明が解決しようとする課題】
ところで、図１には、画像処理装置３により生成された画像が表示装置４に供給される例が示されているが、画像処理装置３により生成された画像は、実際には、その画像を加工するパーソナルコンピュータに供給されたり、その画像を用いて放送番組を生成する放送業者に供給されたり、ネットワークを介してブロードバンドされるなど、多くの形態に応じて出力される。
【０００６】
すなわち、画像処理装置３は、このような利用形態（ビデオカメラ２のレンズ歪みや使用方法、または分割表示位置など）に応じた画像を生成する必要があり、画像処理装置３の画像処理は、利用形態により異なる。
【０００７】
例えば、９（Ｎ＝９）個のビデオカメラ２−１乃至２−９（例えば、図２に示すように、被写体１を取り囲むようにして配置されたビデオカメラ）による撮像の結果得られた９個の画像を、図３に示すように分割表示させる場合には、それに応じた画像処理を行い、また８（Ｎ＝８）個のビデオカメラ２−１乃至２−８（例えば、図４に示すように、３６０度全方の風景が被写体１となるように配置されたビデオカメラ）による撮像の結果得られた８個の画像を、図５に示すように分割表示させる場合には、それに応じた画像処理を行う必要がある。
【０００８】
なお、図３および図５に示される小画面Ｗに付されている数字は、そこに表示される画像の提供元であるビデオカメラ２を表しており、そのビデオカメラ２に続けて示されている数字と対応付けられている。すなわち、例えば、ビデオカメラ２−１による撮像の結果得られた画像は、小画面Ｗ１に表示され、ビデオカメラ２−２による撮像の結果得られた画像は、小画面Ｗ２に表示される。
【０００９】
従って、画像処理装置３は、ユーザの利用形態に応じた専用機器とされ、その結果、従来の画像処理システムでは、利用形態の変更に容易に対応することができない課題があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、利用形態の変更に容易に対応することができるようにするものである。
【００１１】
【課題を解決するための手段】
本発明の情報処理システムは、画像処理装置が、所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、小画像が表示される所定の座標を含む小画面上の座標を、テーブルから検出する第１の検出手段と、テーブルに、大画面上の所定の座標に対応付けられている小画像を識別するための情報で識別される小画像の、第１の検出手段により検出された小画面上の座標に対応する位置にある画素の画素値を読み取る読み取り手段と、読み取り手段により読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力手段とを備え、情報処理装置が、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標を検出する第２の検出手段と、大画面上の座標に対応する、小画像を識別するための情報を検出する第３の検出手段と、大画面上の座標、第２の検出手段により検出された小画面上の座標、および第３の検出手段により検出された小画像を識別するための情報をそれぞれ対応させて保存し、テーブルを生成する生成手段とを備えることを特徴とする。
【００１２】
画像処理装置は、大画面上の座標に対応する、大画面上の座標を含む小画面上に表示される小画像を識別するための情報を、情報処理装置に送信する送信手段をさらに設け、情報処理装置の第２の検出手段には、画像処理装置の送信手段から送信されてきた、大画面上の座標に対応する、大画面上の座標を含む小画面上に表示される小画像を識別するための情報を利用して、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標を検出させ、第３の検出手段には、送信手段により送信されてきた、大画面上の座標に対応する、大画面上の座標を含む小画面上に表示される小画像を識別するための情報を利用して、大画面上の座標に対応する、小画像を識別するための情報を検出させることができる。
【００１３】
本発明の情報処理システムにおいては、画像処理装置で、所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、小画像が表示される所定の座標を含む小画面上の座標が、テーブルから検出され、テーブルに、大画面上の所定の座標に対応付けられている小画像を識別するための情報で識別される小画像の、検出された小画面上の座標に対応する位置にある画素の画素値が読み取られ、読み取られた画素値が、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力され、情報処理装置で、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標が検出され、大画面上の座標に対応する、小画像を識別するための情報が検出され、大画面上の座標、検出された小画面上の座標、および検出された小画像を識別するための情報をそれぞれ対応させて保存し、テーブルが生成されるので、ユーザの利用形態が変更されても、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
【００１４】
【発明の実施の形態】
図６は、本発明を適用した画像処理システムの構成例を示している。図中、図１における場合と対応する部分については、同一の符号を付してある。なお、座標変換テーブル生成装置１３は、事業者により管理され、被写体１乃至表示装置１２は、ユーザにより管理されているものとし、画像処理装置１１は、その事業者が製造したものとする。
【００１５】
被写体１に対して所定の位置に配置されたＮ個のビデオカメラ２−１乃至２−Ｎは、撮像の結果得られた画像（例えば、ＳＤ（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ）画像）を、画像処理装置１１に供給する。
【００１６】
画像処理装置１１は、ビデオカメラ２の数や配置位置、レンズ歪み、およびＳＤ画像の表示位置等の利用態様を、ネットワーク２１を介して座標変換テーブル生成装置１３（正確には、それを管理する事業者）に送信し、ネットワーク２１を介して送信されてきた、その利用態様に応じて座標変換テーブル生成装置１３により生成された座標変換テーブルＴａを取得する。
【００１７】
画像処理装置１１は、取得した座標変換テーブルＴａを利用して、ビデオカメラ２−１乃至２−Ｎのそれぞれから供給されたＳＤ画像から、Ｎ個のＳＤ画像が、表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示される画像（ＨＤ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）画像）を生成し、例えば、表示装置１２を供給する。
【００１８】
表示装置１２は、画像処理装置１１からのＨＤ画像を、ディスプレイ１２Ａに表示する。なおディスプレイ１２Ａは、図７に示すように、１０８０×１９２０ピクセルの解像度を有している。
【００１９】
座標変換テーブル生成装置１３は、画像処理装置１１からネットワーク２１を介して送信されてきた利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびＳＤ画像の表示位置等）に対応した座標変換テーブルＴａを生成し、画像処理装置１１に供給する。
【００２０】
すなわち、画像処理装置１１の製造業者若しくは提供者は、座標変換テーブルＴａを画像処理装置１１に提供するときに課金を発生させることで、画像処理装置１１の製造販売の他、画像処理装置１１に付帯する情報の提供という新たなビジネスを構築することができる。そのため、座標変換テーブル生成装置１３は、座標変換テーブルＴａなどの情報を暗号化する暗号化手段を、そして画像処理装置１１は、それを復号する復号手段を具備していることが望ましい。
【００２１】
図８は、画像処理装置１１の構成例を示している。
【００２２】
Ｎ個のデコーダ３１−１乃至３１−Ｎのそれぞれには、対応するビデオカメラ２−１乃至２−ＮからのＳＤ画像が入力される。デコーダ３１−１乃至３１−Ｎは、ビデオカメラ２から入力されたＳＤ画像をデコードし、対応するフィールドメモリ３２−１乃至３２−Ｎに供給する。
【００２３】
フィールドメモリ３２は、デコーダ３１から供給された画像データを、フィールド単位で記憶する。
【００２４】
制御部３３は、通信部３７を制御して、ユーザより入力部３８に入力された利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびＳＤ画像の表示位置等）を、ネットワーク２１を介して座標変換テーブル生成装置１３に送信させたり、その利用態様に応じて生成された座標変換テーブル生成装置１３からの座標変換テーブルＴａを取得して、記憶部３６に記憶させる。
【００２５】
制御部３３は、フィールドメモリ３２−１乃至３２−Ｎに記憶されている画像データを適宜読み出し、読み出した画像データから、記憶部３６に記憶されている座標変換テーブルＴａに基づいて、Ｎ個の画像が表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示されるＨＤ画像を生成し、フレームメモリ３４に供給する。フレームメモリ３４は、制御部３３から供給されたＨＤ画像を記憶する。
【００２６】
エンコーダ３５は、フレームメモリ３４に記憶された画像データ（ＨＤ画像の画像データ）を適宜読み取ってエンコードし、その結果得られた画像データを、表示装置１２に供給する。
【００２７】
図９は、座標変換テーブル生成装置１３の構成例を示している。
【００２８】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１にはバス４５を介して入出力インタフェース４６が接続されており、ＣＰＵ４１は、入出力インタフェース４６を介して、キーボード、マウスなどよりなる入力部４８から指令が入力されると、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２、ハードディスク４４、またはドライブ５０に装着される磁気ディスク６１、光ディスク６２、光磁気ディスク６３、若しくは半導体メモリ６４などの記録媒体に格納されているプログラム（例えば、座標変換テーブルＴａを生成するためのプログラム）を、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４３にロードして実行する。さらに、ＣＰＵ４１は、その処理結果を、例えば、入出力インタフェース４６を介して、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などよりなる出力部４７に必要に応じて出力する。なお、プログラムは、ハードディスク４４やＲＯＭ４２に予め記憶しておき、座標変換テーブル生成装置１３と一体的にユーザに提供したり、磁気ディスク６１、光ディスク６２、光磁気ディスク６３、半導体メモリ６４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部４９を介してハードディスク４４に提供することができる。
【００２９】
ＣＰＵ４１は、通信部４９を制御して、画像処理装置１１から送信されてきた利用態様を受信させたり、生成した座標変換テーブルＴａを画像処理装置１１に送信させる。
【００３０】
次に、画像処理装置１１および座標変換テーブル生成装置１３の動作を、図１０のフローチャートを参照して説明する。
【００３１】
ステップＳ１において、画像処理装置１１の制御部３３は、通信部３７を制御して、ユーザより入力部３８に入力された利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびＳＤ画像の表示位置等）を座標変換テーブル生成装置１３に送信させ、座標変換テーブルＴａの生成を要求する。
【００３２】
ステップＳ２において、座標変換テーブル生成装置１３のＣＰＵ４１は、画像処理装置１１からの利用態様に応じた座標変換テーブルＴａを生成する。なお、ここでの処理の詳細は後述する。
【００３３】
ステップＳ３において、座標変換テーブル生成装置１３のＣＰＵ４１は、生成した座標変換テーブルＴａを、例えば、画像処理装置１１の製造番号で暗号化し、通信部４９を介して画像処理装置１１に送信する。
【００３４】
ステップＳ４において、画像処理装置１１の制御部３３は、通信部３７により受信された、座標変換テーブル生成装置１３から送信されてきた座標変換テーブルＴａを、例えば、記憶部３６に記憶されている製造番号を利用して復号し、記憶部３６に記憶させる。
【００３５】
なお、このときに、座標変換テーブルＴａの送受信により、画像の座標変換に必要な情報の受発注行為が成立し、送信者である画像処理装置１１の製造業者若しくは提供者は、受信者であるユーザに対して課金を行うことができる。
【００３６】
ステップＳ５において、画像処理装置１１の制御部３３は、ステップＳ４で記憶された座標変換テーブルＴａを利用して、ビデオカメラ２−１乃至２−Ｎのそれぞれから供給されたＳＤ画像から、Ｎ個のＳＤ画像が、表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示されるＨＤ画像を生成し、例えば、表示装置１２を供給する。なお、ここでの処理の詳細は、次に説明する。
【００３７】
例えば、図２に示すように、９（Ｎ＝９）個のビデオカメラ２−１乃至２−９を、比較的近くの被写体１を取り囲むようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図１１に示すように分割表示する場合（以下、このような利用態様を、適宜、第１の利用態様と称する）のステップＳ５の処理について、図１２のフローチャートを参照して説明する。
【００３８】
すなわちこの場合、画像処理装置１１の記憶部３６には、この利用態様に応じてステップＳ２で生成された座標変換テーブルＴａ（その詳細は後述する）が記憶されている。
【００３９】
ステップＳ１１において、画像処理装置１１の制御部３３は、記憶部３６に記憶されている、図１３に示すような座標変換テーブルＴａを読み出す。
【００４０】
この座標変換テーブルＴａには、ディスプレイ１２Ａ上の座標、ディスプレイ１２Ａ上の座標に対応する、そのディスプレイ１２Ａ上の座標を含む小画面Ｗ上の座標、およびその小画面Ｗに表示される画像を提供するビデオカメラ２に割り当てられたカメラ番号が、それぞれ対応付けられている。また所定のディスプレイ１２Ａ上の座標には、黒色を出力する旨を表す情報（図１３中の“黒色出力”で示されている情報）が設定されている。なお、黒色を出力する旨を表す情報が対応付けられているディスプレイ１２Ａ上の座標には、小画面Ｗ上の座標やカメラ番号が対応付けられていない。
【００４１】
次に、ステップＳ１２において、制御部３３は、ディスプレイ１２Ａ上の１つの座標（ＨＤ画像を構成する１つの画素の座標）を選択する。
【００４２】
ステップＳ１３において、制御部３３は、座標変換テーブルＴａにおいて、ステップＳ１２で選択したディスプレイ１２Ａ上の座標に、黒色を出力する旨を表す情報が対応付けられているか否かを判定し、その情報が対応付けられていないと判定した場合、ステップＳ１４に進み、選択したディスプレイ１２Ａ上の座標と対応付けられているカメラ番号を、座標変換テーブルＴａから検出する。
【００４３】
次に、ステップＳ１５において、制御部３３は、ステップＳ１４で検出されたカメラ番号が割り当てられているビデオカメラ２に対応するフィールドメモリ３２を選択する。
【００４４】
ステップＳ１６において、制御部３３は、ステップＳ１２で選択したディスプレイ１２Ａ上の座標と対応付けられている小画面Ｗ上の座標を、座標変換テーブルＴａから検出する。
【００４５】
次に、ステップＳ１７において、制御部３３は、ステップＳ１６で検出した小画面Ｗ上の座標に対応する位置にある、ステップＳ１５で選択したフィールドメモリ３２に記憶されているＳＤ画像の画素の画素値を読み取り、それを、フレームメモリ３４に、ステップＳ１２で選択したディスプレイ１２Ａ上の座標に出力される画素値として記憶させる。
【００４６】
ステップＳ１３で、黒色を出力する旨を表す情報が設定されていると判定された場合、ステップＳ１８に進み、制御部３３は、黒色として表示される画素値を、フレームメモリ３４に、ステップＳ１２で選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶させる。
【００４７】
例えば、ステップＳ１２で、図１１中、小画面Ｗ５内の所定の座標が選択された場合、座標変換テーブルＴａにおいて、選択された座標には、ビデオカメラ２−５のカメラ番号が対応付けられており、黒色を出力する旨の情報は対応付けられていないので、ビデオカメラ２−５のカメラ番号が検出される（ステップＳ１３，ステップＳ１４）。次にビデオカメラ２−５に対応するフィールドメモリ３２−５が選択されるとともに（ステップＳ１５）、選択されたディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標が座標変換テーブルＴａから検出される（ステップＳ１６）。
【００４８】
そして検出された小画面Ｗ上の座標（ステップＳ１６）に対応する位置にある、ビデオカメラ２−５からのＳＤ画像（ステップＳ１５）の画素の画素値が、選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶される（ステップＳ１７）。
【００４９】
また、例えば、ステップＳ１２で、図１１中、小画面Ｗ１乃至Ｗ９以外の画面（図中、陰が付されている部分）の座標が選択された場合、座標変換テーブルＴａにおいてそのような座標には、黒色を出力する旨の情報が設定されているので（ステップＳ１３）、黒色として表示される画素値が、選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶される（ステップＳ１８）。
【００５０】
図１２に戻り、ステップＳ１７またはステップＳ１８で、所定の画素値がフレームメモリ３４に記憶されたとき、ステップＳ１９に進み、制御部３３は、ディスプレイ１２Ａ上のすべての座標が選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ１２に戻り、次のディスプレイ１２Ａ上の座標を選択する。
【００５１】
ステップＳ１９で、すべての座標が選択されたと判定された場合、処理は終了する。
【００５２】
図１３に示した座標変換テーブルＴａは、後述するように、第１の利用態様に基づいて、座標変換テーブル生成装置１３により生成されたものであるので、本システムでは、画像処理装置１１が、その座標変換テーブルＴａに従って上述したような処理を行うことにより、ビデオカメラ２から供給される９個のＳＤ画像を、図１１に示すように分割表示することができる。
【００５３】
次に、第１の利用態様に応じた座標変換テーブルＴａを生成する場合のステップＳ２の処理について、図１４のフローチャートを参照して説明する。
【００５４】
画像処理装置１１から送信されてきた利用態様（第１の利用態様）を受信すると、ステップＳ２１において、座標変換テーブル生成装置１３のＣＰＵ４１は、表示装置１２のディスプレイ１２Ａ上の座標（ＨＤ画像を構成する１つの画素の座標）（図１１）を１つ選択する。
【００５５】
具体的には、画像処理装置１１から送信されてきた第１の利用態様には、例えば、図１５に示すような、ディスプレイ１２Ａ上の小画面Ｗ１乃至小画面Ｗ９内の座標に、そこに表示される画像の提供元であるビデオカメラ２のカメラ番号が対応付けられ、ディスプレイ１２Ａ上の、小画面Ｗ１乃至小画面Ｗ９以外の画面（図１１中、陰が付されている部分）内の座標に、その旨を表す情報（以下、表示領域外情報と称する）が対応付けられている対応テーブルＴｂ１が含まれているので、ＣＰＵ４１は、そのテーブルから、１つのディスプレイ１２Ａ上の座標を選択する。
【００５６】
ステップＳ２２において、ＣＰＵ４１は、対応テーブルＴｂ１を参照して、ステップＳ２１で選択したディスプレイ１２Ａ上の座標が、小画面Ｗ内のもの（ビデオカメラ２による撮像の結果得られたＳＤ画像に対応する画像が表示される画面内のもの）か否かを判定し、小画面Ｗ内のものであると判定した場合（対応テーブルＴｂ１において、ステップＳ２１で選択された座標に、ビデオカメラ２のカメラ番号が対応付けられている場合）、ステップＳ２３に進む。
【００５７】
ステップＳ２３において、ＣＰＵ４１は、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標に対応するビデオカメラ２のカメラ番号を、対応テーブルＴｂ１から検出する。
【００５８】
次に、ステップＳ２４において、ＣＰＵ４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標を検出する。
【００５９】
具体的には、画像処理装置１１から送信されてきた第１の利用態様に含まれる、ビデオカメラ２のレンズ歪みを利用して生成されてハードディスク４４に記憶されている、図１６に示すようなレンズ歪みに基づいて補正されたビデオカメラ２による撮像の結果得られるＳＤ画像から切り取られた小画面Ｗ分の画像の小画面Ｗ上の座標と、ディスプレイ１２Ａ上の座標との対応関係を示す対応テーブルＴｂ２から、ディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標が検出される。なお、この対応テーブルＴｂ２の詳細については後述する。
【００６０】
ステップＳ２５において、ＣＰＵ４１は、ステップＳ２４で検出した小画面Ｗ上の座標から、後述するようにして補正前のＳＤ画像（元のＳＤ画像）の小画面Ｗ上の座標を算出する。
【００６１】
次に、ステップＳ２６において、ＣＰＵ４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標、ステップＳ２３で検出したカメラ番号、およびステップＳ２５で算出した小画面Ｗ上の座標を、それぞれ対応させて座標変換テーブルＴａ（図１３）に保存する。
【００６２】
ステップＳ２２で、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標が、小画面Ｗ内のものではないと判定された場合（対応テーブルＴｂ１において、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標に、表示領域外情報が対応付けられている場合）、ステップＳ２７に進む。
【００６３】
ステップＳ２７において、ＣＰＵ４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標と黒色を出力する旨を表す情報を、それぞれ対応させて座標変換テーブルＴａ（図１３）に保存する。
【００６４】
ステップＳ２６またはステップＳ２７で、所定の情報が座標変換テーブルＴａに保存されたとき、ステップＳ２８に進み、ＣＰＵ４１は、ディスプレイ１２Ａ上のすべてのディスプレイ１２Ａ上の座標が選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ２１に戻り、次の座標を選択し、それ以降の処理を実行する。
【００６５】
ステップＳ２８で、すべての座標が選択されたと判定されたとき、処理は終了する。
【００６６】
次に、第１の利用態様に対応した座標変換テーブルＴａ（図１３）を生成する際に利用された対応テーブルＴｂ２（図１６）を生成する処理を、図１７のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３が対応テーブルＴｂ２を生成するものとする。
【００６７】
ステップＳ４１において、座標変換テーブル生成装置１３のＣＰＵ４１は、ビデオカメラ２−１乃至２−９のカメラ番号の中から１つのカメラ番号を選択する。なお、ＣＰＵ４１は、対応テーブルＴｂ１から、ビデオカメラ２−１乃至２−９のカメラ番号を把握している。
【００６８】
次に、ステップＳ４２において、ＣＰＵ４１は、ビデオカメラ２による撮像の結果得られるＳＤ画像と同じ大きさのＳＤ画像（この例の場合、小画面Ｗと同じ大きさの画像）を想定し、そのＳＤ画像を構成する各画素の小画面Ｗ上の座標（Ｘａ，Ｙａ）（補正前のＳＤ画像の小画面Ｗ上の座標）を、式（１）に従って補正し、座標（Ｘｂ，Ｙｂ）（補正後のＳＤ画像の小画面上の座標）を算出する。式中、座標（Ｘａｃ，Ｙａｃ）は、ＳＤ画像の中心に位置する画素の座標である。ｋ１およびｋ２は、第１の利用態様に含まれるビデオカメラ２のレンズ歪み等に基づいて決定される係数である。ｒは、座標（Ｘａ，Ｙａ）の画素と、ＳＤ画像の中心画素との距離である。
【００６９】
【数１】
【００７０】
なお、このように座標を変換することで、ビデオカメラ２のレンズ歪みにより生ずるＳＤ画像の外周部分のぼやけを鮮明にすることができる。
【００７１】
ステップＳ４３において、ＣＰＵ４１は、小画面Ｗの大きさに対応した、ステップＳ４２での補正の結果得られたＳＤ画像の範囲を決定し、ステップＳ４４において、決定された範囲内のＳＤ画像の各画素の小画面Ｗ上の座標（Ｘｂ，Ｙｂ）を選択する。すなわち、小画面Ｗに表示される補正後のＳＤ画像の小画面Ｗ上の座標が選択される。
【００７２】
ビデオカメラ２による撮像の結果得られたＳＤ画像（図１８Ａ）は、式（１）による補正により、例えば、図１８Ｂの実線が示すように、糸巻き型に拡大して変形するので、その中から、図１８Ｂ中の点線で示す、ステップＳ４３で決定された範囲内の座標が選択される（図１８Ｃ）。なお、図１８Ａ中の座標（Ｘａｉ，Ｙａｉ）は、任意の座標（Ｘａ，Ｙａ）を示し、図１８Ｂおよび図１８Ｃ中の座標（Ｘｂｉ，Ｙｂｉ）は、座標（Ｘａｉ，Ｙａｉ）が補正された結果得られた座標（Ｘｂ，Ｙｂ）を表している。
【００７３】
ステップＳ４５において、ＣＰＵ４１は、ステップＳ４４で選択された補正後のＳＤ画像の小画面Ｗ上の座標の中から１つの座標を選択し、それを、ステップＳ４６において、ディスプレイ１２Ａ上の座標に変換する。
【００７４】
具体的には、ステップＳ４５で選択された小画面Ｗ上の座標は、ステップＳ４３で決定された範囲のＳＤ画像（図１８（Ｃ））を、ステップＳ４１で選択されたカメラ番号を有するビデオカメラ２の画像が表示される小画面Ｗにマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【００７５】
例えば、ステップＳ４１で、ビデオカメラ２−５のカメラ番号が選択されているとき、ステップＳ４５で選択された小画面Ｗ上の座標は、ステップＳ４３で決定された範囲のＳＤ画像を小画面Ｗ５にマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【００７６】
次に、ステップＳ４７において、ＣＰＵ４１は、ステップＳ４５で選択した補正後のＳＤ画像の小画面Ｗ上の座標を、ステップＳ４６で得られたディスプレイ１２Ａ上の座標と対応付けて、対応テーブルＴｂ２（図１６）に保存する。
【００７７】
ステップＳ４８において、ＣＰＵ４１は、ステップＳ４４で選択された座標のすべてが選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ４５に戻り、次の座標を選択し、それ以降の処理を実行する。
【００７８】
ステップＳ４８で、すべての座標が選択されたと判定された場合、ステップＳ４９に進み、ＣＰＵ４１は、全てのカメラ番号が選択されたか否かを判定し、選択されていないカメラ番号がまだ残っていると判定した場合、ステップＳ４１に戻り、次のカメラ番号を選択する。
【００７９】
ステップＳ４９で、すべてのカメラ番号が選択されたと判定された場合、処理は終了する。
【００８０】
従って、例えば、小画面Ｗ５内の、ディスプレイ１２Ａ上の所定の座標Ｐｈ（図示せず）に出力される画素値は、ビデオカメラ２−５による撮像の結果得られたＳＤ画像の、図１７のステップＳ４２での補正の結果、ディスプレイ１２Ａ上の座標Ｐｈに対応するものとして検出される小画面Ｗ上の座標（Ｘｂｉ，Ｙｂｉ）（図１８Ｂ）（図１４のステップＳ２４）となる小画面Ｗ上の座標（Ｘａｉ，Ｙａｉ）（図１８Ａ）（図１４のステップＳ２５）に位置する画素の画素値となる。
【００８１】
すなわち、画像処理装置１１は、入力されるビデオカメラ２による撮像の結果得られるＳＤ画像の、ビデオカメラ２のレンズ歪みに対応した座標を算出したり、分割表示形態に応じたディスプレイ１２Ａ上の座標を算出したり必要がなく、図１２に示したように、ＳＤ画像の画素値を、座標変換テーブルＴａに応じてＨＤ画像に設定するだけで、歪み補正が施されたビデオカメラ２による撮像の結果得られたＳＤ画像を所望の形態に分割表示するＨＤ画像を生成することができる。
【００８２】
対応テーブルＴｂ２（図１６）の補正後のＳＤ画像の小画面Ｗ上の座標（Ｘｂ，Ｙｂ）は、上述したように、式（１）に従って算出されているので、図１４のステップＳ２５では、その式に対応した最適化により逆補正を行って、補正前のＳＤ画像の小画面Ｗ上の座標が算出される。
【００８３】
次に、図１９に示すように、９個のビデオカメラ２−１乃至２−９を、遠方の被写体１に対して垂直方向に面を形成するようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図２０に示すように分割表示する場合（以下、このような利用態様を、適宜、第２の利用態様と称する）のステップＳ５の処理について説明する。
【００８４】
なお、この例の場合、ビデオカメラ２は、隣接するもの同士の撮像範囲が、図２１の点線の枠が示すように、一部重複するように配置されている。例えば、ビデオカメラ２−１の撮像範囲（図２２の実線の枠）は、ビデオカメラ２−２の撮像範囲（図２３の実施の範囲）、ビデオカメラ２−４の撮像範囲（図２４の実線の範囲）、およびビデオカメラ２−５の撮像範囲（図２５の実線の範囲）と一部重なっている。
【００８５】
画像処理装置１１は、図１９のステップＳ２で、座標変換テーブル生成装置１３により、第２の利用態様に基づいて生成された図２６に示すような座標変換テーブルＴａを利用して、第１の利用形態の場合と同様に図１２のフローチャートに示す処理を実行する。すなわち、画像処理装置１１の処理は、扱う座標等の値が変わるが、第１の利用態様の場合と第２の利用態様の場合とで、実質に同じであるので、利用態様の変更に容易に対応することができる。
【００８６】
なお、図２０の表示形態は、第１の利用態様（図１１）の場合と異なり、表示装置１２のディスプレイ１２Ａの全体に、ＨＤ画像が表示されるので、座標変換テーブルＴａには、第１の利用態様の場合のように（図１３）、黒色を出力する旨を表す情報は設定されていない。従って、この例の場合、図１２のフローチャートにおいて、ステップＳ３でＹＥＳの判定はなされないので、ステップＳ８の処理で、黒色を出力するための画素値が記憶されることはない。
【００８７】
次に、第２の利用態様に応じた座標変換テーブルＴａ（図２６）を生成する場合のステップＳ２の処理を、図２７のフローチャートを参照して説明する。
【００８８】
画像処理装置１１から送信されてきた利用態様（第２の利用態様）を受信すると、ステップＳ６１において、座標変換テーブル生成装置１３のＣＰＵ４１は、表示装置１２のディスプレイ１２Ａの座標（ＨＤ画像上を構成する１つの画素の座標）（図２０）を１つ選択し、ステップＳ６２において、カメラ番号を１つ選択する。
【００８９】
画像処理装置から送信されてきる第２の利用態様には、例えば、図２８に示すような、図２１に示したビデオカメラ２の撮像範囲に対応する、図２９に示すような領域毎に、対応する撮像範囲を有するビデオカメラ２のカメラ番号が対応付けられている対応テーブルＴｃ１が含まれているので、ＣＰＵ４１は、そのテーブルを参照して、１つのディスプレイ１２Ａ上の座標とカメラ番号を選択する。
【００９０】
なお、対応テーブルＴｃ１において、例えば、ディスプレイ１２Ａ上の、ビデオカメラ２−１の撮像範囲（図２２）に対応する領域Ｑ１（図３０）内の座標には、ビデオカメラ２−１のカメラ番号が対応付けられており、ビデオカメラ２−２の撮像範囲（図２３）に対応する領域Ｑ２（図３１）内の座標には、ビデオカメラ２−２のカメラ番号が対応付けられている。領域Ｑ１および領域Ｑ２の両方に属するディスプレイ１２Ａ上の座標（例えば、図３０および図３１の座標（Ｘｈｉ，Ｙｈｉ））には、ビデオカメラ２−１，２−２の２個のカメラ番号が対応付けられている。
【００９１】
ステップＳ６３において、ＣＰＵ４１は、図２８に示す対応テーブルＴｃ１に、ステップＳ６１で選択したディスプレイ１２Ａ上の座標と、ステップＳ６２で選択したカメラ番号とが対応付けているか否かを判定し、対応付けられていると判定された場合、ステップＳ６４に進む。
【００９２】
ステップＳ６４において、ＣＰＵ４１は、ステップＳ６１で選択したディスプレイ１２Ａ上の座標とステップＳ６２で選択されたカメラ番号に対応付けられている小画面Ｗ上の座標を検出する。
【００９３】
画像処理装置から送信されてきた第２の利用態様に含まれる、ビデオカメラ２のレンズ歪みを利用して生成されてハードディスク４４に記憶されている、図３２に示すディスプレイ１２Ａ上の座標、ビデオカメラ２のレンズ歪みに基づいて補正されたビデオカメラ２による撮像の結果得られるＳＤ画像から切り取られた小画面Ｗ分の画像の小画面Ｗ上の座標、およびディスプレイ１２Ａ上の座標が対応する撮像範囲を有するビデオカメラ２のカメラ番号との対応関係を示す対応テーブルＴｃ２から、ディスプレイ１２Ａ上の座標とカメラ番号に対応付けられている小画面Ｗ上の座標が検出される。なお、対応テーブルＴｃ２の生成方法については後述する。
【００９４】
次に、ステップＳ６５において、ＣＰＵ４１は、ステップＳ６４で検出した補正後のＳＤ画像の小画面Ｗ上の座標から、補正前のＳＤ画像の小画面Ｗ上の座標を算出する。
【００９５】
ステップＳ６３で、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標と、ステップＳ６２で選択したカメラ番号とが対応付けられていないと判定されたとき、またはステップＳ６５で、補正前のＳＤ画像の小画面Ｗ上の座標が算出されたとき、ステップＳ６６に進み、ＣＰＵ４１は、すべてのカメラ番号が選択されたか否かを判定し、選択されていないものがまだ残っていると判定した場合、ステップＳ６２に戻り、次のカメラ番号を選択する。
【００９６】
ステップＳ６６で、すべてのカメラ番号が選択されたと判定されたとき、ステップＳ６７に進み、ＣＰＵ４１は、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が、対応テーブルＴｃ１（図２８）において複数のカメラ番号に対応付けられていたか否かを判定し、複数のカメラ番号に対応付けられていたと判定した場合、ステップＳ６８に進む。
【００９７】
例えば、図３０および図３１に示したディスプレイ１２Ａ上の座標（Ｘｈｉ，Ｙｈｉ）は、対応テーブルＴｃ１において、ビデオカメラ２−１のカメラ番号とビデオカメラ２−３のカメラ番号の両方に対応付けられているので、その座標（Ｘｈｉ，Ｙｈｉ）がステップＳ６１で選択されているとき、ステップＳ６８に進む。
【００９８】
ステップＳ６８において、ＣＰＵ４１は、ステップＳ６２乃至ステップＳ６５の処理が複数回行われて算出された複数の補正前のＳＤ画像の小画面Ｗ上の座標（ステップＳ６５）（例えば、ステップＳ６２でビデオカメラ２−１のカメラ番号が選択されているときに算出されたものとビデオカメラ２−２のカメラ番号が選択されているときに算出されたもの）の中から、座標変換テーブルＴａに設定する１つの座標を決定する。
【００９９】
例えば、座標（Ｘｈｉ，Ｙｈｉ）（図３０，３１）が、領域Ｑ２の中心からよりも、領域Ｑ１の中心からの方が近い位置にある場合、ビデオカメラ２−１のカメラ番号が選択されているときに算出された補正前のＳＤ画像の小画面Ｗ上の座標が選択される。
【０１００】
ステップＳ６７で、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が、対応テーブルＴｃ１において複数のカメラ番号に対応付けられていないと判定されたとき、またはステップＳ６８で、１つの小画面Ｗ上の座標が決定されたとき、ステップＳ６９に進む。
【０１０１】
ステップＳ６９において、ＣＰＵ４１は、ステップＳ６１で選択したディスプレイ１２Ａ上の座標、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が複数のカメラ番号に対応付けられていない場合のステップＳ６５で算出された小画面Ｗ上の座標またはステップＳ６１で選択されたディスプレイ１２Ａ上の座標が複数のカメラ番号に対応付けられている場合のステップＳ６８で決定された小画面Ｗ上の座標、およびその小画面Ｗ上の座標が算出されたときにステップＳ６２で選択されていたカメラ番号を、それぞれ対応させて座標変換テーブルＴａ（図２６）に保存する。
【０１０２】
次に、ステップＳ７０において、ＣＰＵ４１は、ディスプレイ１２Ａ上の座標がすべて選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ６１に戻り、次の座標を選択し、それ以降の処理を実行する。
【０１０３】
ステップＳ７０で、すべての座標が選択されたと判定されたとき、処理は終了する。
【０１０４】
次に、第２の利用態様に対応した座標変換テーブルＴａ（図２６）を生成する際に利用された対応テーブルＴｃ２（図３２）を生成する処理を、図３３のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３が対応テーブルＴｃ２を生成するものとする。
【０１０５】
ステップＳ８１において、座標変換テーブル生成装置１３のＣＰＵ４１は、カメラ番号を１つ選択する。なお、ＣＰＵ４１は、対応テーブルＴｃ１から、ビデオカメラ２−１乃至２−９のカメラ番号を把握している。
【０１０６】
次に、ステップＳ８２において、ＣＰＵ４１は、ビデオカメラ２による撮像の結果得られるＳＤ画像と同じ大きさのＳＤ画像を想定し、そのＳＤ画像を構成する各画素の小画面Ｗ上の座標（Ｘａ，Ｙａ）（補正前のＳＤ画像の小画面Ｗ上の座標）を、式（１）に従って補正し、座標（Ｘｂ，Ｙｂ）（補正後のＳＤ画像の小画面上の座標）を算出する。
【０１０７】
ステップＳ８３において、ＣＰＵ４１は、小画面Ｗの大きさに応じた、ステップＳ８２での補正の結果得られたＳＤ画像の範囲を決定し、ステップＳ８４において、決定された範囲内のＳＤ画像の各画素の小画面Ｗ上の座標（Ｘｂ，Ｙｂ）を選択する。すなわち、小画面Ｗに表示される補正後のＳＤ画像の小画面Ｗ上の座標が選択される。
【０１０８】
次に、ステップＳ８５において、ＣＰＵ４１は、ステップＳ８４で選択された補正後のＳＤ画像の小画面Ｗ上の座標の中から１つの座標を選択し、それを、ステップＳ８６において、ディスプレイ１２Ａ上の座標に変換する。
【０１０９】
具体的には、ステップＳ８５で選択された小画面Ｗ上の座標は、ステップＳ８３で決定された範囲のＳＤ画像を、ステップＳ８１で選択されたカメラ番号を有するビデオカメラ２の画像が表示される小画面Ｗにマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【０１１０】
例えば、ステップＳ８１で、ビデオカメラ２−５のカメラ番号が選択されているとき、ステップＳ８５で選択された小画面Ｗ上の座標は、ステップＳ８３で決定された範囲のＳＤ画像を小画面Ｗ５（図２０）にマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【０１１１】
次に、ステップＳ８７において、ＣＰＵ４１は、ステップＳ８１で選択したカメラ番号、ステップＳ８５で選択した補正後のＳＤ画像の小画面Ｗ上の座標、およびステップＳ８６で得られたディスプレイ１２Ａ上の座標を、図３２に示すように、それぞれ対応させて対応テーブルＴｃ２に保存する。
【０１１２】
ステップＳ８８において、ＣＰＵ４１は、ステップＳ８４で選択された座標のすべてが選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ８５に戻り、次の座標を選択する。
【０１１３】
ステップＳ８８で、すべての座標が選択されたと判定されたとき、ステップＳ８９に進み、ＣＰＵ４１は、カメラ番号のすべてが選択されたか否かを判定し、選択されていないカメラ番号がまだ残っていると判定した場合、ステップＳ８１に戻り、次のカメラ番号を選択する。
【０１１４】
ステップＳ８９で、すべてのカメラ番号が選択されたと判定されたとき、処理は終了する。
【０１１５】
次に、図４に示すように、８（Ｎ＝８）個のビデオカメラ２−１乃至２−８を３６０度全方の風景が被写体１となるようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図５に示すように分割表示する場合（以下、このような利用態様を、適宜、第３の利用態様と称する）のステップＳ５の処理について説明する。
【０１１６】
なお、図４に示した８個のビデオカメラ２は、実際には、図３４に示すような全方向カメラ１０１に、ビデオカメラ２の投影中心が全方位カメラ１０１の中心付近で一致するように、かつ、各ビデオカメラ２の視線方向が１つの水平面上となるように、所定角度間隔で配列されている。
【０１１７】
平面鏡１１０は、ビデオカメラ２の視線方向に配置されている。
【０１１８】
すなわちビデオカメラ２が、対応する平面鏡１１０で反射された周囲の風景を撮像することにより、全方位カメラ１０１全体としては、水平方向３６０度の風景を撮像することができる。
【０１１９】
画像処理装置１１は、図１９のステップＳ２で、座標変換テーブル生成装置１３により、第３の利用態様に基づいて生成された座標変換テーブルＴａを利用して、第１の利用態様および第２の利用態様の場合と同様に図１２のフローチャートに示す処理を実行する。その結果、ビデオカメラ２による撮像の結果得られた８個の画像を、図５に示すように分割表示させることができる。
【０１２０】
次に、第３の利用態様に応じた座標変換テーブルＴａを生成する場合のステップＳ２の処理を、図３５のフローチャートを参照して説明する。
【０１２１】
ステップＳ１０１乃至ステップＳ１０４においては、図２７のステップＳ６１乃至ステップＳ６４における場合と同様の処理が行われるので、その説明を省略する。
【０１２２】
ステップＳ１０５において、ＣＰＵ４１は、ステップＳ１０４で検出した補正後のＳＤ画像の小画面Ｗ上の座標を最適化するとともに、ミラー反転処理の逆の処理（逆ミラー反転処理）を行って、補正前のＳＤ画像の小画面Ｗ上の座標を算出する。
【０１２３】
ステップＳ１０６乃至ステップＳ１１０においては、図２７のステップＳ６６乃至ステップＳ７０における場合と同様の処理がなされるので、その説明は省略する。
【０１２４】
次に、ステップＳ１０４で利用されたディスプレイ１２Ａ上の座標と補正後のＳＤ画像の小画面Ｗ上の座標との対応関係を示す対応テーブルを生成する処理を、図３６のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３がその対応テーブルを生成するものとする。
【０１２５】
ステップＳ１２１において、座標変換テーブル生成装置１３のＣＰＵ４１は、カメラ番号を１つ選択する。
【０１２６】
次に、ステップＳ１２２において、ＣＰＵ４１は、ビデオカメラ２による撮像の結果得られたＳＤ画像と同じ大きさのＳＤ画像を想定し、そのＳＤ画像を構成する各画素の座標（Ｘａ，Ｙａ）を、式（１）に従って補正し、座標（Ｘｂ，Ｙｂ）を算出するするとともに、ミラー反転処理を施す。
【０１２７】
ステップＳ１２３乃至ステップＳ１２９においては、図３３のステップＳ８３乃至ステップＳ８９における場合と同様の処理が行われるので、その説明を省略する。
【０１２８】
上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した画像処理装置１１および座標変換テーブル生成装置１３が機能的に実現される。
【０１２９】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３１】
【発明の効果】
本発明によれば、ユーザの利用態様が変更されても、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
【図面の簡単な説明】
【図１】従来の画像処理システムの構成例を示すブロック図である。
【図２】図１のビデオカメラの配置例を示す図である。
【図３】図２のビデオカメラによる撮像の結果得られた画像の表示例を示す図である。
【図４】図１のビデオカメラの他の配置例を示す図である。
【図５】図４のビデオカメラによる撮像の結果得られた画像の他の表示例を示す図である。
【図６】本発明を適用した画像処理システムの構成例を示すブロック図である。
【図７】図６の表示装置のディスプレイの大きさを示す図である。
【図８】図６の画像処理装置の構成例を示すブロック図である。
【図９】図６の座標変換テーブル生成装置の構成例を示すブロック図である。
【図１０】図６の画像処理装置と座標変換テーブル生成装置の動作を説明するフローチャートである。
【図１１】図２のビデオカメラによる撮像の結果得られた画像の他の表示例を示す図である。
【図１２】図１０のステップＳ５の処理の詳細を説明するフローチャートである。
【図１３】座標変換テーブルの例を示す図である。
【図１４】図１０のステップＳ２の処理の詳細を説明するフローチャートである。
【図１５】ディスプレイ上の座標とカメラ番号の対応テーブルの例を示す図である。
【図１６】ディスプレイ上の座標と補正後のＳＤ画像の小画面上の座標の対応テーブルの例を示す図である。
【図１７】図１６の対応テーブルを生成する処理を説明するフローチャートである。
【図１８】図１６の対応テーブルを生成する処理を説明する図である。
【図１９】図６のビデオカメラの配置例を示す図である。
【図２０】図１９のビデオカメラによる撮像の結果得られた画像の表示例を示す図である。
【図２１】図１９のビデオカメラの撮像範囲を説明する図である。
【図２２】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２３】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２４】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２５】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２６】座標変換テーブルの他の例を示す図である。
【図２７】図１０のステップＳ２の他の処理の詳細を説明するフローチャートである。
【図２８】ディスプレイ上の座標とカメラ番号との対応テーブルの他の例を示す図である。
【図２９】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す図である。
【図３０】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す他の図である。
【図３１】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す他の図である。
【図３２】ディスプレイ上の座標と補正後のＳＤ画像の小画面上の座標との対応テーブルの他の例を示す図である。
【図３３】図３２の対応テーブルの生成処理を説明するフローチャートである。
【図３４】全方位カメラの外観の図である。
【図３５】図１０のステップＳ２の他の処理の詳細を説明するフローチャートである。
【図３６】ディスプレイ上の座標と補正後のＳＤ画像の小画面上の座標との他の対応テーブルを生成する処理を説明するフローチャートである。
【符号の説明】
２ ビデオカメラ， １１ 画像処理装置， １２ 表示装置， １２Ａ ディスプレイ， １３ 座標変換テーブル生成装置， ２１ ネットワーク， ３１ デコーダ， ３２ フィールドメモリ， ３３ 制御部， ３４ フレームメモリ， ３５ エンコーダ， ３６ 記憶部， ３７ 通信部， ３８ 入力部， ４１ ＣＰＵ， ４２ ＲＯＭ， ４３ ＲＡＭ， ４４ ハードディスク， ４５ バス， ４６ 入出力インタフェース， ４７ 出力部， ４８ 入力部，
４９ 通信部， ５０ ドライブ， １０１ 全方向カメラ
【発明の属する技術分野】
本発明は、情報処理システムに関し、特に、複数の画像を適切に分割表示することができるようにした情報処理システムに関する。
【０００２】
【従来の技術】
図１は、従来の画像処理システムの構成例を示している。
【０００３】
被写体１に対して所定の位置に配置されたＮ個のビデオカメラ２−１乃至２−Ｎ（以下、個々に区別する必要がない場合、単に、ビデオカメラ２と称する。他の場合についても同様である）は、撮像の結果得られた画像を、画像処理装置３に供給する。
【０００４】
画像処理装置３は、ビデオカメラ２から供給されたＮ個の画像が表示装置４のディスプレイ４Ａ上で分割表示される画像を生成し、表示装置４に供給する。表示装置４は、画像処理装置３からの画像をディスプレイ４Ａに表示する。
【０００５】
【発明が解決しようとする課題】
ところで、図１には、画像処理装置３により生成された画像が表示装置４に供給される例が示されているが、画像処理装置３により生成された画像は、実際には、その画像を加工するパーソナルコンピュータに供給されたり、その画像を用いて放送番組を生成する放送業者に供給されたり、ネットワークを介してブロードバンドされるなど、多くの形態に応じて出力される。
【０００６】
すなわち、画像処理装置３は、このような利用形態（ビデオカメラ２のレンズ歪みや使用方法、または分割表示位置など）に応じた画像を生成する必要があり、画像処理装置３の画像処理は、利用形態により異なる。
【０００７】
例えば、９（Ｎ＝９）個のビデオカメラ２−１乃至２−９（例えば、図２に示すように、被写体１を取り囲むようにして配置されたビデオカメラ）による撮像の結果得られた９個の画像を、図３に示すように分割表示させる場合には、それに応じた画像処理を行い、また８（Ｎ＝８）個のビデオカメラ２−１乃至２−８（例えば、図４に示すように、３６０度全方の風景が被写体１となるように配置されたビデオカメラ）による撮像の結果得られた８個の画像を、図５に示すように分割表示させる場合には、それに応じた画像処理を行う必要がある。
【０００８】
なお、図３および図５に示される小画面Ｗに付されている数字は、そこに表示される画像の提供元であるビデオカメラ２を表しており、そのビデオカメラ２に続けて示されている数字と対応付けられている。すなわち、例えば、ビデオカメラ２−１による撮像の結果得られた画像は、小画面Ｗ１に表示され、ビデオカメラ２−２による撮像の結果得られた画像は、小画面Ｗ２に表示される。
【０００９】
従って、画像処理装置３は、ユーザの利用形態に応じた専用機器とされ、その結果、従来の画像処理システムでは、利用形態の変更に容易に対応することができない課題があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、利用形態の変更に容易に対応することができるようにするものである。
【００１１】
【課題を解決するための手段】
本発明の情報処理システムは、画像処理装置が、所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、小画像が表示される所定の座標を含む小画面上の座標を、テーブルから検出する第１の検出手段と、テーブルに、大画面上の所定の座標に対応付けられている小画像を識別するための情報で識別される小画像の、第１の検出手段により検出された小画面上の座標に対応する位置にある画素の画素値を読み取る読み取り手段と、読み取り手段により読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力手段とを備え、情報処理装置が、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標を検出する第２の検出手段と、大画面上の座標に対応する、小画像を識別するための情報を検出する第３の検出手段と、大画面上の座標、第２の検出手段により検出された小画面上の座標、および第３の検出手段により検出された小画像を識別するための情報をそれぞれ対応させて保存し、テーブルを生成する生成手段とを備えることを特徴とする。
【００１２】
画像処理装置は、大画面上の座標に対応する、大画面上の座標を含む小画面上に表示される小画像を識別するための情報を、情報処理装置に送信する送信手段をさらに設け、情報処理装置の第２の検出手段には、画像処理装置の送信手段から送信されてきた、大画面上の座標に対応する、大画面上の座標を含む小画面上に表示される小画像を識別するための情報を利用して、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標を検出させ、第３の検出手段には、送信手段により送信されてきた、大画面上の座標に対応する、大画面上の座標を含む小画面上に表示される小画像を識別するための情報を利用して、大画面上の座標に対応する、小画像を識別するための情報を検出させることができる。
【００１３】
本発明の情報処理システムにおいては、画像処理装置で、所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、小画像が表示される所定の座標を含む小画面上の座標が、テーブルから検出され、テーブルに、大画面上の所定の座標に対応付けられている小画像を識別するための情報で識別される小画像の、検出された小画面上の座標に対応する位置にある画素の画素値が読み取られ、読み取られた画素値が、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力され、情報処理装置で、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標が検出され、大画面上の座標に対応する、小画像を識別するための情報が検出され、大画面上の座標、検出された小画面上の座標、および検出された小画像を識別するための情報をそれぞれ対応させて保存し、テーブルが生成されるので、ユーザの利用形態が変更されても、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
【００１４】
【発明の実施の形態】
図６は、本発明を適用した画像処理システムの構成例を示している。図中、図１における場合と対応する部分については、同一の符号を付してある。なお、座標変換テーブル生成装置１３は、事業者により管理され、被写体１乃至表示装置１２は、ユーザにより管理されているものとし、画像処理装置１１は、その事業者が製造したものとする。
【００１５】
被写体１に対して所定の位置に配置されたＮ個のビデオカメラ２−１乃至２−Ｎは、撮像の結果得られた画像（例えば、ＳＤ（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ）画像）を、画像処理装置１１に供給する。
【００１６】
画像処理装置１１は、ビデオカメラ２の数や配置位置、レンズ歪み、およびＳＤ画像の表示位置等の利用態様を、ネットワーク２１を介して座標変換テーブル生成装置１３（正確には、それを管理する事業者）に送信し、ネットワーク２１を介して送信されてきた、その利用態様に応じて座標変換テーブル生成装置１３により生成された座標変換テーブルＴａを取得する。
【００１７】
画像処理装置１１は、取得した座標変換テーブルＴａを利用して、ビデオカメラ２−１乃至２−Ｎのそれぞれから供給されたＳＤ画像から、Ｎ個のＳＤ画像が、表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示される画像（ＨＤ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）画像）を生成し、例えば、表示装置１２を供給する。
【００１８】
表示装置１２は、画像処理装置１１からのＨＤ画像を、ディスプレイ１２Ａに表示する。なおディスプレイ１２Ａは、図７に示すように、１０８０×１９２０ピクセルの解像度を有している。
【００１９】
座標変換テーブル生成装置１３は、画像処理装置１１からネットワーク２１を介して送信されてきた利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびＳＤ画像の表示位置等）に対応した座標変換テーブルＴａを生成し、画像処理装置１１に供給する。
【００２０】
すなわち、画像処理装置１１の製造業者若しくは提供者は、座標変換テーブルＴａを画像処理装置１１に提供するときに課金を発生させることで、画像処理装置１１の製造販売の他、画像処理装置１１に付帯する情報の提供という新たなビジネスを構築することができる。そのため、座標変換テーブル生成装置１３は、座標変換テーブルＴａなどの情報を暗号化する暗号化手段を、そして画像処理装置１１は、それを復号する復号手段を具備していることが望ましい。
【００２１】
図８は、画像処理装置１１の構成例を示している。
【００２２】
Ｎ個のデコーダ３１−１乃至３１−Ｎのそれぞれには、対応するビデオカメラ２−１乃至２−ＮからのＳＤ画像が入力される。デコーダ３１−１乃至３１−Ｎは、ビデオカメラ２から入力されたＳＤ画像をデコードし、対応するフィールドメモリ３２−１乃至３２−Ｎに供給する。
【００２３】
フィールドメモリ３２は、デコーダ３１から供給された画像データを、フィールド単位で記憶する。
【００２４】
制御部３３は、通信部３７を制御して、ユーザより入力部３８に入力された利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびＳＤ画像の表示位置等）を、ネットワーク２１を介して座標変換テーブル生成装置１３に送信させたり、その利用態様に応じて生成された座標変換テーブル生成装置１３からの座標変換テーブルＴａを取得して、記憶部３６に記憶させる。
【００２５】
制御部３３は、フィールドメモリ３２−１乃至３２−Ｎに記憶されている画像データを適宜読み出し、読み出した画像データから、記憶部３６に記憶されている座標変換テーブルＴａに基づいて、Ｎ個の画像が表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示されるＨＤ画像を生成し、フレームメモリ３４に供給する。フレームメモリ３４は、制御部３３から供給されたＨＤ画像を記憶する。
【００２６】
エンコーダ３５は、フレームメモリ３４に記憶された画像データ（ＨＤ画像の画像データ）を適宜読み取ってエンコードし、その結果得られた画像データを、表示装置１２に供給する。
【００２７】
図９は、座標変換テーブル生成装置１３の構成例を示している。
【００２８】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１にはバス４５を介して入出力インタフェース４６が接続されており、ＣＰＵ４１は、入出力インタフェース４６を介して、キーボード、マウスなどよりなる入力部４８から指令が入力されると、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２、ハードディスク４４、またはドライブ５０に装着される磁気ディスク６１、光ディスク６２、光磁気ディスク６３、若しくは半導体メモリ６４などの記録媒体に格納されているプログラム（例えば、座標変換テーブルＴａを生成するためのプログラム）を、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４３にロードして実行する。さらに、ＣＰＵ４１は、その処理結果を、例えば、入出力インタフェース４６を介して、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などよりなる出力部４７に必要に応じて出力する。なお、プログラムは、ハードディスク４４やＲＯＭ４２に予め記憶しておき、座標変換テーブル生成装置１３と一体的にユーザに提供したり、磁気ディスク６１、光ディスク６２、光磁気ディスク６３、半導体メモリ６４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部４９を介してハードディスク４４に提供することができる。
【００２９】
ＣＰＵ４１は、通信部４９を制御して、画像処理装置１１から送信されてきた利用態様を受信させたり、生成した座標変換テーブルＴａを画像処理装置１１に送信させる。
【００３０】
次に、画像処理装置１１および座標変換テーブル生成装置１３の動作を、図１０のフローチャートを参照して説明する。
【００３１】
ステップＳ１において、画像処理装置１１の制御部３３は、通信部３７を制御して、ユーザより入力部３８に入力された利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびＳＤ画像の表示位置等）を座標変換テーブル生成装置１３に送信させ、座標変換テーブルＴａの生成を要求する。
【００３２】
ステップＳ２において、座標変換テーブル生成装置１３のＣＰＵ４１は、画像処理装置１１からの利用態様に応じた座標変換テーブルＴａを生成する。なお、ここでの処理の詳細は後述する。
【００３３】
ステップＳ３において、座標変換テーブル生成装置１３のＣＰＵ４１は、生成した座標変換テーブルＴａを、例えば、画像処理装置１１の製造番号で暗号化し、通信部４９を介して画像処理装置１１に送信する。
【００３４】
ステップＳ４において、画像処理装置１１の制御部３３は、通信部３７により受信された、座標変換テーブル生成装置１３から送信されてきた座標変換テーブルＴａを、例えば、記憶部３６に記憶されている製造番号を利用して復号し、記憶部３６に記憶させる。
【００３５】
なお、このときに、座標変換テーブルＴａの送受信により、画像の座標変換に必要な情報の受発注行為が成立し、送信者である画像処理装置１１の製造業者若しくは提供者は、受信者であるユーザに対して課金を行うことができる。
【００３６】
ステップＳ５において、画像処理装置１１の制御部３３は、ステップＳ４で記憶された座標変換テーブルＴａを利用して、ビデオカメラ２−１乃至２−Ｎのそれぞれから供給されたＳＤ画像から、Ｎ個のＳＤ画像が、表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示されるＨＤ画像を生成し、例えば、表示装置１２を供給する。なお、ここでの処理の詳細は、次に説明する。
【００３７】
例えば、図２に示すように、９（Ｎ＝９）個のビデオカメラ２−１乃至２−９を、比較的近くの被写体１を取り囲むようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図１１に示すように分割表示する場合（以下、このような利用態様を、適宜、第１の利用態様と称する）のステップＳ５の処理について、図１２のフローチャートを参照して説明する。
【００３８】
すなわちこの場合、画像処理装置１１の記憶部３６には、この利用態様に応じてステップＳ２で生成された座標変換テーブルＴａ（その詳細は後述する）が記憶されている。
【００３９】
ステップＳ１１において、画像処理装置１１の制御部３３は、記憶部３６に記憶されている、図１３に示すような座標変換テーブルＴａを読み出す。
【００４０】
この座標変換テーブルＴａには、ディスプレイ１２Ａ上の座標、ディスプレイ１２Ａ上の座標に対応する、そのディスプレイ１２Ａ上の座標を含む小画面Ｗ上の座標、およびその小画面Ｗに表示される画像を提供するビデオカメラ２に割り当てられたカメラ番号が、それぞれ対応付けられている。また所定のディスプレイ１２Ａ上の座標には、黒色を出力する旨を表す情報（図１３中の“黒色出力”で示されている情報）が設定されている。なお、黒色を出力する旨を表す情報が対応付けられているディスプレイ１２Ａ上の座標には、小画面Ｗ上の座標やカメラ番号が対応付けられていない。
【００４１】
次に、ステップＳ１２において、制御部３３は、ディスプレイ１２Ａ上の１つの座標（ＨＤ画像を構成する１つの画素の座標）を選択する。
【００４２】
ステップＳ１３において、制御部３３は、座標変換テーブルＴａにおいて、ステップＳ１２で選択したディスプレイ１２Ａ上の座標に、黒色を出力する旨を表す情報が対応付けられているか否かを判定し、その情報が対応付けられていないと判定した場合、ステップＳ１４に進み、選択したディスプレイ１２Ａ上の座標と対応付けられているカメラ番号を、座標変換テーブルＴａから検出する。
【００４３】
次に、ステップＳ１５において、制御部３３は、ステップＳ１４で検出されたカメラ番号が割り当てられているビデオカメラ２に対応するフィールドメモリ３２を選択する。
【００４４】
ステップＳ１６において、制御部３３は、ステップＳ１２で選択したディスプレイ１２Ａ上の座標と対応付けられている小画面Ｗ上の座標を、座標変換テーブルＴａから検出する。
【００４５】
次に、ステップＳ１７において、制御部３３は、ステップＳ１６で検出した小画面Ｗ上の座標に対応する位置にある、ステップＳ１５で選択したフィールドメモリ３２に記憶されているＳＤ画像の画素の画素値を読み取り、それを、フレームメモリ３４に、ステップＳ１２で選択したディスプレイ１２Ａ上の座標に出力される画素値として記憶させる。
【００４６】
ステップＳ１３で、黒色を出力する旨を表す情報が設定されていると判定された場合、ステップＳ１８に進み、制御部３３は、黒色として表示される画素値を、フレームメモリ３４に、ステップＳ１２で選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶させる。
【００４７】
例えば、ステップＳ１２で、図１１中、小画面Ｗ５内の所定の座標が選択された場合、座標変換テーブルＴａにおいて、選択された座標には、ビデオカメラ２−５のカメラ番号が対応付けられており、黒色を出力する旨の情報は対応付けられていないので、ビデオカメラ２−５のカメラ番号が検出される（ステップＳ１３，ステップＳ１４）。次にビデオカメラ２−５に対応するフィールドメモリ３２−５が選択されるとともに（ステップＳ１５）、選択されたディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標が座標変換テーブルＴａから検出される（ステップＳ１６）。
【００４８】
そして検出された小画面Ｗ上の座標（ステップＳ１６）に対応する位置にある、ビデオカメラ２−５からのＳＤ画像（ステップＳ１５）の画素の画素値が、選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶される（ステップＳ１７）。
【００４９】
また、例えば、ステップＳ１２で、図１１中、小画面Ｗ１乃至Ｗ９以外の画面（図中、陰が付されている部分）の座標が選択された場合、座標変換テーブルＴａにおいてそのような座標には、黒色を出力する旨の情報が設定されているので（ステップＳ１３）、黒色として表示される画素値が、選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶される（ステップＳ１８）。
【００５０】
図１２に戻り、ステップＳ１７またはステップＳ１８で、所定の画素値がフレームメモリ３４に記憶されたとき、ステップＳ１９に進み、制御部３３は、ディスプレイ１２Ａ上のすべての座標が選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ１２に戻り、次のディスプレイ１２Ａ上の座標を選択する。
【００５１】
ステップＳ１９で、すべての座標が選択されたと判定された場合、処理は終了する。
【００５２】
図１３に示した座標変換テーブルＴａは、後述するように、第１の利用態様に基づいて、座標変換テーブル生成装置１３により生成されたものであるので、本システムでは、画像処理装置１１が、その座標変換テーブルＴａに従って上述したような処理を行うことにより、ビデオカメラ２から供給される９個のＳＤ画像を、図１１に示すように分割表示することができる。
【００５３】
次に、第１の利用態様に応じた座標変換テーブルＴａを生成する場合のステップＳ２の処理について、図１４のフローチャートを参照して説明する。
【００５４】
画像処理装置１１から送信されてきた利用態様（第１の利用態様）を受信すると、ステップＳ２１において、座標変換テーブル生成装置１３のＣＰＵ４１は、表示装置１２のディスプレイ１２Ａ上の座標（ＨＤ画像を構成する１つの画素の座標）（図１１）を１つ選択する。
【００５５】
具体的には、画像処理装置１１から送信されてきた第１の利用態様には、例えば、図１５に示すような、ディスプレイ１２Ａ上の小画面Ｗ１乃至小画面Ｗ９内の座標に、そこに表示される画像の提供元であるビデオカメラ２のカメラ番号が対応付けられ、ディスプレイ１２Ａ上の、小画面Ｗ１乃至小画面Ｗ９以外の画面（図１１中、陰が付されている部分）内の座標に、その旨を表す情報（以下、表示領域外情報と称する）が対応付けられている対応テーブルＴｂ１が含まれているので、ＣＰＵ４１は、そのテーブルから、１つのディスプレイ１２Ａ上の座標を選択する。
【００５６】
ステップＳ２２において、ＣＰＵ４１は、対応テーブルＴｂ１を参照して、ステップＳ２１で選択したディスプレイ１２Ａ上の座標が、小画面Ｗ内のもの（ビデオカメラ２による撮像の結果得られたＳＤ画像に対応する画像が表示される画面内のもの）か否かを判定し、小画面Ｗ内のものであると判定した場合（対応テーブルＴｂ１において、ステップＳ２１で選択された座標に、ビデオカメラ２のカメラ番号が対応付けられている場合）、ステップＳ２３に進む。
【００５７】
ステップＳ２３において、ＣＰＵ４１は、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標に対応するビデオカメラ２のカメラ番号を、対応テーブルＴｂ１から検出する。
【００５８】
次に、ステップＳ２４において、ＣＰＵ４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標を検出する。
【００５９】
具体的には、画像処理装置１１から送信されてきた第１の利用態様に含まれる、ビデオカメラ２のレンズ歪みを利用して生成されてハードディスク４４に記憶されている、図１６に示すようなレンズ歪みに基づいて補正されたビデオカメラ２による撮像の結果得られるＳＤ画像から切り取られた小画面Ｗ分の画像の小画面Ｗ上の座標と、ディスプレイ１２Ａ上の座標との対応関係を示す対応テーブルＴｂ２から、ディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標が検出される。なお、この対応テーブルＴｂ２の詳細については後述する。
【００６０】
ステップＳ２５において、ＣＰＵ４１は、ステップＳ２４で検出した小画面Ｗ上の座標から、後述するようにして補正前のＳＤ画像（元のＳＤ画像）の小画面Ｗ上の座標を算出する。
【００６１】
次に、ステップＳ２６において、ＣＰＵ４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標、ステップＳ２３で検出したカメラ番号、およびステップＳ２５で算出した小画面Ｗ上の座標を、それぞれ対応させて座標変換テーブルＴａ（図１３）に保存する。
【００６２】
ステップＳ２２で、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標が、小画面Ｗ内のものではないと判定された場合（対応テーブルＴｂ１において、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標に、表示領域外情報が対応付けられている場合）、ステップＳ２７に進む。
【００６３】
ステップＳ２７において、ＣＰＵ４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標と黒色を出力する旨を表す情報を、それぞれ対応させて座標変換テーブルＴａ（図１３）に保存する。
【００６４】
ステップＳ２６またはステップＳ２７で、所定の情報が座標変換テーブルＴａに保存されたとき、ステップＳ２８に進み、ＣＰＵ４１は、ディスプレイ１２Ａ上のすべてのディスプレイ１２Ａ上の座標が選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ２１に戻り、次の座標を選択し、それ以降の処理を実行する。
【００６５】
ステップＳ２８で、すべての座標が選択されたと判定されたとき、処理は終了する。
【００６６】
次に、第１の利用態様に対応した座標変換テーブルＴａ（図１３）を生成する際に利用された対応テーブルＴｂ２（図１６）を生成する処理を、図１７のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３が対応テーブルＴｂ２を生成するものとする。
【００６７】
ステップＳ４１において、座標変換テーブル生成装置１３のＣＰＵ４１は、ビデオカメラ２−１乃至２−９のカメラ番号の中から１つのカメラ番号を選択する。なお、ＣＰＵ４１は、対応テーブルＴｂ１から、ビデオカメラ２−１乃至２−９のカメラ番号を把握している。
【００６８】
次に、ステップＳ４２において、ＣＰＵ４１は、ビデオカメラ２による撮像の結果得られるＳＤ画像と同じ大きさのＳＤ画像（この例の場合、小画面Ｗと同じ大きさの画像）を想定し、そのＳＤ画像を構成する各画素の小画面Ｗ上の座標（Ｘａ，Ｙａ）（補正前のＳＤ画像の小画面Ｗ上の座標）を、式（１）に従って補正し、座標（Ｘｂ，Ｙｂ）（補正後のＳＤ画像の小画面上の座標）を算出する。式中、座標（Ｘａｃ，Ｙａｃ）は、ＳＤ画像の中心に位置する画素の座標である。ｋ１およびｋ２は、第１の利用態様に含まれるビデオカメラ２のレンズ歪み等に基づいて決定される係数である。ｒは、座標（Ｘａ，Ｙａ）の画素と、ＳＤ画像の中心画素との距離である。
【００６９】
【数１】
なお、このように座標を変換することで、ビデオカメラ２のレンズ歪みにより生ずるＳＤ画像の外周部分のぼやけを鮮明にすることができる。
【００７１】
ステップＳ４３において、ＣＰＵ４１は、小画面Ｗの大きさに対応した、ステップＳ４２での補正の結果得られたＳＤ画像の範囲を決定し、ステップＳ４４において、決定された範囲内のＳＤ画像の各画素の小画面Ｗ上の座標（Ｘｂ，Ｙｂ）を選択する。すなわち、小画面Ｗに表示される補正後のＳＤ画像の小画面Ｗ上の座標が選択される。
【００７２】
ビデオカメラ２による撮像の結果得られたＳＤ画像（図１８Ａ）は、式（１）による補正により、例えば、図１８Ｂの実線が示すように、糸巻き型に拡大して変形するので、その中から、図１８Ｂ中の点線で示す、ステップＳ４３で決定された範囲内の座標が選択される（図１８Ｃ）。なお、図１８Ａ中の座標（Ｘａｉ，Ｙａｉ）は、任意の座標（Ｘａ，Ｙａ）を示し、図１８Ｂおよび図１８Ｃ中の座標（Ｘｂｉ，Ｙｂｉ）は、座標（Ｘａｉ，Ｙａｉ）が補正された結果得られた座標（Ｘｂ，Ｙｂ）を表している。
【００７３】
ステップＳ４５において、ＣＰＵ４１は、ステップＳ４４で選択された補正後のＳＤ画像の小画面Ｗ上の座標の中から１つの座標を選択し、それを、ステップＳ４６において、ディスプレイ１２Ａ上の座標に変換する。
【００７４】
具体的には、ステップＳ４５で選択された小画面Ｗ上の座標は、ステップＳ４３で決定された範囲のＳＤ画像（図１８（Ｃ））を、ステップＳ４１で選択されたカメラ番号を有するビデオカメラ２の画像が表示される小画面Ｗにマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【００７５】
例えば、ステップＳ４１で、ビデオカメラ２−５のカメラ番号が選択されているとき、ステップＳ４５で選択された小画面Ｗ上の座標は、ステップＳ４３で決定された範囲のＳＤ画像を小画面Ｗ５にマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【００７６】
次に、ステップＳ４７において、ＣＰＵ４１は、ステップＳ４５で選択した補正後のＳＤ画像の小画面Ｗ上の座標を、ステップＳ４６で得られたディスプレイ１２Ａ上の座標と対応付けて、対応テーブルＴｂ２（図１６）に保存する。
【００７７】
ステップＳ４８において、ＣＰＵ４１は、ステップＳ４４で選択された座標のすべてが選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ４５に戻り、次の座標を選択し、それ以降の処理を実行する。
【００７８】
ステップＳ４８で、すべての座標が選択されたと判定された場合、ステップＳ４９に進み、ＣＰＵ４１は、全てのカメラ番号が選択されたか否かを判定し、選択されていないカメラ番号がまだ残っていると判定した場合、ステップＳ４１に戻り、次のカメラ番号を選択する。
【００７９】
ステップＳ４９で、すべてのカメラ番号が選択されたと判定された場合、処理は終了する。
【００８０】
従って、例えば、小画面Ｗ５内の、ディスプレイ１２Ａ上の所定の座標Ｐｈ（図示せず）に出力される画素値は、ビデオカメラ２−５による撮像の結果得られたＳＤ画像の、図１７のステップＳ４２での補正の結果、ディスプレイ１２Ａ上の座標Ｐｈに対応するものとして検出される小画面Ｗ上の座標（Ｘｂｉ，Ｙｂｉ）（図１８Ｂ）（図１４のステップＳ２４）となる小画面Ｗ上の座標（Ｘａｉ，Ｙａｉ）（図１８Ａ）（図１４のステップＳ２５）に位置する画素の画素値となる。
【００８１】
すなわち、画像処理装置１１は、入力されるビデオカメラ２による撮像の結果得られるＳＤ画像の、ビデオカメラ２のレンズ歪みに対応した座標を算出したり、分割表示形態に応じたディスプレイ１２Ａ上の座標を算出したり必要がなく、図１２に示したように、ＳＤ画像の画素値を、座標変換テーブルＴａに応じてＨＤ画像に設定するだけで、歪み補正が施されたビデオカメラ２による撮像の結果得られたＳＤ画像を所望の形態に分割表示するＨＤ画像を生成することができる。
【００８２】
対応テーブルＴｂ２（図１６）の補正後のＳＤ画像の小画面Ｗ上の座標（Ｘｂ，Ｙｂ）は、上述したように、式（１）に従って算出されているので、図１４のステップＳ２５では、その式に対応した最適化により逆補正を行って、補正前のＳＤ画像の小画面Ｗ上の座標が算出される。
【００８３】
次に、図１９に示すように、９個のビデオカメラ２−１乃至２−９を、遠方の被写体１に対して垂直方向に面を形成するようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図２０に示すように分割表示する場合（以下、このような利用態様を、適宜、第２の利用態様と称する）のステップＳ５の処理について説明する。
【００８４】
なお、この例の場合、ビデオカメラ２は、隣接するもの同士の撮像範囲が、図２１の点線の枠が示すように、一部重複するように配置されている。例えば、ビデオカメラ２−１の撮像範囲（図２２の実線の枠）は、ビデオカメラ２−２の撮像範囲（図２３の実施の範囲）、ビデオカメラ２−４の撮像範囲（図２４の実線の範囲）、およびビデオカメラ２−５の撮像範囲（図２５の実線の範囲）と一部重なっている。
【００８５】
画像処理装置１１は、図１９のステップＳ２で、座標変換テーブル生成装置１３により、第２の利用態様に基づいて生成された図２６に示すような座標変換テーブルＴａを利用して、第１の利用形態の場合と同様に図１２のフローチャートに示す処理を実行する。すなわち、画像処理装置１１の処理は、扱う座標等の値が変わるが、第１の利用態様の場合と第２の利用態様の場合とで、実質に同じであるので、利用態様の変更に容易に対応することができる。
【００８６】
なお、図２０の表示形態は、第１の利用態様（図１１）の場合と異なり、表示装置１２のディスプレイ１２Ａの全体に、ＨＤ画像が表示されるので、座標変換テーブルＴａには、第１の利用態様の場合のように（図１３）、黒色を出力する旨を表す情報は設定されていない。従って、この例の場合、図１２のフローチャートにおいて、ステップＳ３でＹＥＳの判定はなされないので、ステップＳ８の処理で、黒色を出力するための画素値が記憶されることはない。
【００８７】
次に、第２の利用態様に応じた座標変換テーブルＴａ（図２６）を生成する場合のステップＳ２の処理を、図２７のフローチャートを参照して説明する。
【００８８】
画像処理装置１１から送信されてきた利用態様（第２の利用態様）を受信すると、ステップＳ６１において、座標変換テーブル生成装置１３のＣＰＵ４１は、表示装置１２のディスプレイ１２Ａの座標（ＨＤ画像上を構成する１つの画素の座標）（図２０）を１つ選択し、ステップＳ６２において、カメラ番号を１つ選択する。
【００８９】
画像処理装置から送信されてきる第２の利用態様には、例えば、図２８に示すような、図２１に示したビデオカメラ２の撮像範囲に対応する、図２９に示すような領域毎に、対応する撮像範囲を有するビデオカメラ２のカメラ番号が対応付けられている対応テーブルＴｃ１が含まれているので、ＣＰＵ４１は、そのテーブルを参照して、１つのディスプレイ１２Ａ上の座標とカメラ番号を選択する。
【００９０】
なお、対応テーブルＴｃ１において、例えば、ディスプレイ１２Ａ上の、ビデオカメラ２−１の撮像範囲（図２２）に対応する領域Ｑ１（図３０）内の座標には、ビデオカメラ２−１のカメラ番号が対応付けられており、ビデオカメラ２−２の撮像範囲（図２３）に対応する領域Ｑ２（図３１）内の座標には、ビデオカメラ２−２のカメラ番号が対応付けられている。領域Ｑ１および領域Ｑ２の両方に属するディスプレイ１２Ａ上の座標（例えば、図３０および図３１の座標（Ｘｈｉ，Ｙｈｉ））には、ビデオカメラ２−１，２−２の２個のカメラ番号が対応付けられている。
【００９１】
ステップＳ６３において、ＣＰＵ４１は、図２８に示す対応テーブルＴｃ１に、ステップＳ６１で選択したディスプレイ１２Ａ上の座標と、ステップＳ６２で選択したカメラ番号とが対応付けているか否かを判定し、対応付けられていると判定された場合、ステップＳ６４に進む。
【００９２】
ステップＳ６４において、ＣＰＵ４１は、ステップＳ６１で選択したディスプレイ１２Ａ上の座標とステップＳ６２で選択されたカメラ番号に対応付けられている小画面Ｗ上の座標を検出する。
【００９３】
画像処理装置から送信されてきた第２の利用態様に含まれる、ビデオカメラ２のレンズ歪みを利用して生成されてハードディスク４４に記憶されている、図３２に示すディスプレイ１２Ａ上の座標、ビデオカメラ２のレンズ歪みに基づいて補正されたビデオカメラ２による撮像の結果得られるＳＤ画像から切り取られた小画面Ｗ分の画像の小画面Ｗ上の座標、およびディスプレイ１２Ａ上の座標が対応する撮像範囲を有するビデオカメラ２のカメラ番号との対応関係を示す対応テーブルＴｃ２から、ディスプレイ１２Ａ上の座標とカメラ番号に対応付けられている小画面Ｗ上の座標が検出される。なお、対応テーブルＴｃ２の生成方法については後述する。
【００９４】
次に、ステップＳ６５において、ＣＰＵ４１は、ステップＳ６４で検出した補正後のＳＤ画像の小画面Ｗ上の座標から、補正前のＳＤ画像の小画面Ｗ上の座標を算出する。
【００９５】
ステップＳ６３で、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標と、ステップＳ６２で選択したカメラ番号とが対応付けられていないと判定されたとき、またはステップＳ６５で、補正前のＳＤ画像の小画面Ｗ上の座標が算出されたとき、ステップＳ６６に進み、ＣＰＵ４１は、すべてのカメラ番号が選択されたか否かを判定し、選択されていないものがまだ残っていると判定した場合、ステップＳ６２に戻り、次のカメラ番号を選択する。
【００９６】
ステップＳ６６で、すべてのカメラ番号が選択されたと判定されたとき、ステップＳ６７に進み、ＣＰＵ４１は、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が、対応テーブルＴｃ１（図２８）において複数のカメラ番号に対応付けられていたか否かを判定し、複数のカメラ番号に対応付けられていたと判定した場合、ステップＳ６８に進む。
【００９７】
例えば、図３０および図３１に示したディスプレイ１２Ａ上の座標（Ｘｈｉ，Ｙｈｉ）は、対応テーブルＴｃ１において、ビデオカメラ２−１のカメラ番号とビデオカメラ２−３のカメラ番号の両方に対応付けられているので、その座標（Ｘｈｉ，Ｙｈｉ）がステップＳ６１で選択されているとき、ステップＳ６８に進む。
【００９８】
ステップＳ６８において、ＣＰＵ４１は、ステップＳ６２乃至ステップＳ６５の処理が複数回行われて算出された複数の補正前のＳＤ画像の小画面Ｗ上の座標（ステップＳ６５）（例えば、ステップＳ６２でビデオカメラ２−１のカメラ番号が選択されているときに算出されたものとビデオカメラ２−２のカメラ番号が選択されているときに算出されたもの）の中から、座標変換テーブルＴａに設定する１つの座標を決定する。
【００９９】
例えば、座標（Ｘｈｉ，Ｙｈｉ）（図３０，３１）が、領域Ｑ２の中心からよりも、領域Ｑ１の中心からの方が近い位置にある場合、ビデオカメラ２−１のカメラ番号が選択されているときに算出された補正前のＳＤ画像の小画面Ｗ上の座標が選択される。
【０１００】
ステップＳ６７で、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が、対応テーブルＴｃ１において複数のカメラ番号に対応付けられていないと判定されたとき、またはステップＳ６８で、１つの小画面Ｗ上の座標が決定されたとき、ステップＳ６９に進む。
【０１０１】
ステップＳ６９において、ＣＰＵ４１は、ステップＳ６１で選択したディスプレイ１２Ａ上の座標、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が複数のカメラ番号に対応付けられていない場合のステップＳ６５で算出された小画面Ｗ上の座標またはステップＳ６１で選択されたディスプレイ１２Ａ上の座標が複数のカメラ番号に対応付けられている場合のステップＳ６８で決定された小画面Ｗ上の座標、およびその小画面Ｗ上の座標が算出されたときにステップＳ６２で選択されていたカメラ番号を、それぞれ対応させて座標変換テーブルＴａ（図２６）に保存する。
【０１０２】
次に、ステップＳ７０において、ＣＰＵ４１は、ディスプレイ１２Ａ上の座標がすべて選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ６１に戻り、次の座標を選択し、それ以降の処理を実行する。
【０１０３】
ステップＳ７０で、すべての座標が選択されたと判定されたとき、処理は終了する。
【０１０４】
次に、第２の利用態様に対応した座標変換テーブルＴａ（図２６）を生成する際に利用された対応テーブルＴｃ２（図３２）を生成する処理を、図３３のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３が対応テーブルＴｃ２を生成するものとする。
【０１０５】
ステップＳ８１において、座標変換テーブル生成装置１３のＣＰＵ４１は、カメラ番号を１つ選択する。なお、ＣＰＵ４１は、対応テーブルＴｃ１から、ビデオカメラ２−１乃至２−９のカメラ番号を把握している。
【０１０６】
次に、ステップＳ８２において、ＣＰＵ４１は、ビデオカメラ２による撮像の結果得られるＳＤ画像と同じ大きさのＳＤ画像を想定し、そのＳＤ画像を構成する各画素の小画面Ｗ上の座標（Ｘａ，Ｙａ）（補正前のＳＤ画像の小画面Ｗ上の座標）を、式（１）に従って補正し、座標（Ｘｂ，Ｙｂ）（補正後のＳＤ画像の小画面上の座標）を算出する。
【０１０７】
ステップＳ８３において、ＣＰＵ４１は、小画面Ｗの大きさに応じた、ステップＳ８２での補正の結果得られたＳＤ画像の範囲を決定し、ステップＳ８４において、決定された範囲内のＳＤ画像の各画素の小画面Ｗ上の座標（Ｘｂ，Ｙｂ）を選択する。すなわち、小画面Ｗに表示される補正後のＳＤ画像の小画面Ｗ上の座標が選択される。
【０１０８】
次に、ステップＳ８５において、ＣＰＵ４１は、ステップＳ８４で選択された補正後のＳＤ画像の小画面Ｗ上の座標の中から１つの座標を選択し、それを、ステップＳ８６において、ディスプレイ１２Ａ上の座標に変換する。
【０１０９】
具体的には、ステップＳ８５で選択された小画面Ｗ上の座標は、ステップＳ８３で決定された範囲のＳＤ画像を、ステップＳ８１で選択されたカメラ番号を有するビデオカメラ２の画像が表示される小画面Ｗにマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【０１１０】
例えば、ステップＳ８１で、ビデオカメラ２−５のカメラ番号が選択されているとき、ステップＳ８５で選択された小画面Ｗ上の座標は、ステップＳ８３で決定された範囲のＳＤ画像を小画面Ｗ５（図２０）にマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【０１１１】
次に、ステップＳ８７において、ＣＰＵ４１は、ステップＳ８１で選択したカメラ番号、ステップＳ８５で選択した補正後のＳＤ画像の小画面Ｗ上の座標、およびステップＳ８６で得られたディスプレイ１２Ａ上の座標を、図３２に示すように、それぞれ対応させて対応テーブルＴｃ２に保存する。
【０１１２】
ステップＳ８８において、ＣＰＵ４１は、ステップＳ８４で選択された座標のすべてが選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ８５に戻り、次の座標を選択する。
【０１１３】
ステップＳ８８で、すべての座標が選択されたと判定されたとき、ステップＳ８９に進み、ＣＰＵ４１は、カメラ番号のすべてが選択されたか否かを判定し、選択されていないカメラ番号がまだ残っていると判定した場合、ステップＳ８１に戻り、次のカメラ番号を選択する。
【０１１４】
ステップＳ８９で、すべてのカメラ番号が選択されたと判定されたとき、処理は終了する。
【０１１５】
次に、図４に示すように、８（Ｎ＝８）個のビデオカメラ２−１乃至２−８を３６０度全方の風景が被写体１となるようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図５に示すように分割表示する場合（以下、このような利用態様を、適宜、第３の利用態様と称する）のステップＳ５の処理について説明する。
【０１１６】
なお、図４に示した８個のビデオカメラ２は、実際には、図３４に示すような全方向カメラ１０１に、ビデオカメラ２の投影中心が全方位カメラ１０１の中心付近で一致するように、かつ、各ビデオカメラ２の視線方向が１つの水平面上となるように、所定角度間隔で配列されている。
【０１１７】
平面鏡１１０は、ビデオカメラ２の視線方向に配置されている。
【０１１８】
すなわちビデオカメラ２が、対応する平面鏡１１０で反射された周囲の風景を撮像することにより、全方位カメラ１０１全体としては、水平方向３６０度の風景を撮像することができる。
【０１１９】
画像処理装置１１は、図１９のステップＳ２で、座標変換テーブル生成装置１３により、第３の利用態様に基づいて生成された座標変換テーブルＴａを利用して、第１の利用態様および第２の利用態様の場合と同様に図１２のフローチャートに示す処理を実行する。その結果、ビデオカメラ２による撮像の結果得られた８個の画像を、図５に示すように分割表示させることができる。
【０１２０】
次に、第３の利用態様に応じた座標変換テーブルＴａを生成する場合のステップＳ２の処理を、図３５のフローチャートを参照して説明する。
【０１２１】
ステップＳ１０１乃至ステップＳ１０４においては、図２７のステップＳ６１乃至ステップＳ６４における場合と同様の処理が行われるので、その説明を省略する。
【０１２２】
ステップＳ１０５において、ＣＰＵ４１は、ステップＳ１０４で検出した補正後のＳＤ画像の小画面Ｗ上の座標を最適化するとともに、ミラー反転処理の逆の処理（逆ミラー反転処理）を行って、補正前のＳＤ画像の小画面Ｗ上の座標を算出する。
【０１２３】
ステップＳ１０６乃至ステップＳ１１０においては、図２７のステップＳ６６乃至ステップＳ７０における場合と同様の処理がなされるので、その説明は省略する。
【０１２４】
次に、ステップＳ１０４で利用されたディスプレイ１２Ａ上の座標と補正後のＳＤ画像の小画面Ｗ上の座標との対応関係を示す対応テーブルを生成する処理を、図３６のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３がその対応テーブルを生成するものとする。
【０１２５】
ステップＳ１２１において、座標変換テーブル生成装置１３のＣＰＵ４１は、カメラ番号を１つ選択する。
【０１２６】
次に、ステップＳ１２２において、ＣＰＵ４１は、ビデオカメラ２による撮像の結果得られたＳＤ画像と同じ大きさのＳＤ画像を想定し、そのＳＤ画像を構成する各画素の座標（Ｘａ，Ｙａ）を、式（１）に従って補正し、座標（Ｘｂ，Ｙｂ）を算出するするとともに、ミラー反転処理を施す。
【０１２７】
ステップＳ１２３乃至ステップＳ１２９においては、図３３のステップＳ８３乃至ステップＳ８９における場合と同様の処理が行われるので、その説明を省略する。
【０１２８】
上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した画像処理装置１１および座標変換テーブル生成装置１３が機能的に実現される。
【０１２９】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３１】
【発明の効果】
本発明によれば、ユーザの利用態様が変更されても、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
【図面の簡単な説明】
【図１】従来の画像処理システムの構成例を示すブロック図である。
【図２】図１のビデオカメラの配置例を示す図である。
【図３】図２のビデオカメラによる撮像の結果得られた画像の表示例を示す図である。
【図４】図１のビデオカメラの他の配置例を示す図である。
【図５】図４のビデオカメラによる撮像の結果得られた画像の他の表示例を示す図である。
【図６】本発明を適用した画像処理システムの構成例を示すブロック図である。
【図７】図６の表示装置のディスプレイの大きさを示す図である。
【図８】図６の画像処理装置の構成例を示すブロック図である。
【図９】図６の座標変換テーブル生成装置の構成例を示すブロック図である。
【図１０】図６の画像処理装置と座標変換テーブル生成装置の動作を説明するフローチャートである。
【図１１】図２のビデオカメラによる撮像の結果得られた画像の他の表示例を示す図である。
【図１２】図１０のステップＳ５の処理の詳細を説明するフローチャートである。
【図１３】座標変換テーブルの例を示す図である。
【図１４】図１０のステップＳ２の処理の詳細を説明するフローチャートである。
【図１５】ディスプレイ上の座標とカメラ番号の対応テーブルの例を示す図である。
【図１６】ディスプレイ上の座標と補正後のＳＤ画像の小画面上の座標の対応テーブルの例を示す図である。
【図１７】図１６の対応テーブルを生成する処理を説明するフローチャートである。
【図１８】図１６の対応テーブルを生成する処理を説明する図である。
【図１９】図６のビデオカメラの配置例を示す図である。
【図２０】図１９のビデオカメラによる撮像の結果得られた画像の表示例を示す図である。
【図２１】図１９のビデオカメラの撮像範囲を説明する図である。
【図２２】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２３】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２４】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２５】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２６】座標変換テーブルの他の例を示す図である。
【図２７】図１０のステップＳ２の他の処理の詳細を説明するフローチャートである。
【図２８】ディスプレイ上の座標とカメラ番号との対応テーブルの他の例を示す図である。
【図２９】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す図である。
【図３０】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す他の図である。
【図３１】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す他の図である。
【図３２】ディスプレイ上の座標と補正後のＳＤ画像の小画面上の座標との対応テーブルの他の例を示す図である。
【図３３】図３２の対応テーブルの生成処理を説明するフローチャートである。
【図３４】全方位カメラの外観の図である。
【図３５】図１０のステップＳ２の他の処理の詳細を説明するフローチャートである。
【図３６】ディスプレイ上の座標と補正後のＳＤ画像の小画面上の座標との他の対応テーブルを生成する処理を説明するフローチャートである。
【符号の説明】
２ ビデオカメラ， １１ 画像処理装置， １２ 表示装置， １２Ａ ディスプレイ， １３ 座標変換テーブル生成装置， ２１ ネットワーク， ３１ デコーダ， ３２ フィールドメモリ， ３３ 制御部， ３４ フレームメモリ， ３５ エンコーダ， ３６ 記憶部， ３７ 通信部， ３８ 入力部， ４１ ＣＰＵ， ４２ ＲＯＭ， ４３ ＲＡＭ， ４４ ハードディスク， ４５ バス， ４６ 入出力インタフェース， ４７ 出力部， ４８ 入力部，
４９ 通信部， ５０ ドライブ， １０１ 全方向カメラ
Claims (2)
- 画像処理用のテーブルを生成する情報処理装置、および前記テーブルに基づいて画像処理を行う画像処理装置からなる情報処理システムにおいて、
前記画像処理装置は、
所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、前記小画像が表示される前記所定の座標を含む小画面上の座標を、前記テーブルから検出する第１の検出手段と、
前記テーブルに、前記大画面上の前記所定の座標に対応付けられている前記小画像を識別するための情報で識別される前記小画像の、前記第１の検出手段により検出された前記小画面上の座標に対応する位置にある画素の画素値を読み取る読み取り手段と、
前記読み取り手段により読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出力手段と
を備え、
前記情報処理装置は、
前記大画面上の座標に対応する、前記大画面上の座標を含む前記小画面上の座標を検出する第２の検出手段と、
前記大画面上の座標に対応する、前記小画像を識別するための情報を検出する第３の検出手段と、
前記大画面上の座標、前記第２の検出手段により検出された前記小画面上の座標、および前記第３の検出手段により検出された前記小画像を識別するための情報をそれぞれ対応させて保存し、前記テーブルを生成する生成手段と
を備えることを特徴とする情報処理システム。 - 前記画像処理装置は、前記大画面上の座標に対応する、前記大画面上の座標を含む前記小画面上に表示される前記小画像を識別するための情報を、前記情報処理装置に送信する送信手段をさらに備え、
前記情報処理装置の前記第２の検出手段は、前記画像処理装置の前記送信手段から送信されてきた、前記大画面上の座標に対応する、前記大画面上の座標を含む前記小画面上に表示される前記小画像を識別するための情報を利用して、前記大画面上の座標に対応する、前記大画面上の座標を含む前記小画面上の座標を検出し、
前記第３の検出手段は、前記送信手段により送信されてきた、前記大画面上の座標に対応する、前記大画面上の座標を含む前記小画面上に表示される前記小画像を識別するための情報を利用して、前記大画面上の座標に対応する、前記小画像を識別するための情報を検出する
ことを特徴とする請求項１に記載の情報処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002224151A JP4218278B2 (ja) | 2002-07-31 | 2002-07-31 | 情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002224151A JP4218278B2 (ja) | 2002-07-31 | 2002-07-31 | 情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004064706A true JP2004064706A (ja) | 2004-02-26 |
| JP4218278B2 JP4218278B2 (ja) | 2009-02-04 |
Family
ID=31943722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002224151A Expired - Fee Related JP4218278B2 (ja) | 2002-07-31 | 2002-07-31 | 情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4218278B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7771065B2 (en) | 2005-04-14 | 2010-08-10 | Canon Kabushiki Kaisha | Optical unit and exposure apparatus having the same |
| JP2018064234A (ja) * | 2016-10-14 | 2018-04-19 | 株式会社コロプラ | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム |
-
2002
- 2002-07-31 JP JP2002224151A patent/JP4218278B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7771065B2 (en) | 2005-04-14 | 2010-08-10 | Canon Kabushiki Kaisha | Optical unit and exposure apparatus having the same |
| JP2018064234A (ja) * | 2016-10-14 | 2018-04-19 | 株式会社コロプラ | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4218278B2 (ja) | 2009-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11025814B2 (en) | Electronic device for storing depth information in connection with image depending on properties of depth information obtained using image and control method thereof | |
| CN108141539B (zh) | 数字拍摄装置及其操作方法 | |
| US10516824B2 (en) | Apparatus and method for processing image received through a plurality of cameras | |
| US10740431B2 (en) | Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion | |
| CN107274338B (zh) | 用于深度图的低等待时间变形的系统、方法和装置 | |
| JP5757592B2 (ja) | 超解像画像を生成する方法，装置，コンピュータプログラム製品 | |
| US11172135B2 (en) | Apparatus and method for processing image | |
| KR20190032061A (ko) | 이미지 보정을 수행하는 전자 장치 및 그 동작 방법 | |
| US20190082110A1 (en) | Apparatus and method for processing image received through a plurality of cameras | |
| US20200267328A1 (en) | Device and method for processing images received through plurality of cameras | |
| CN104023169A (zh) | 成像设备、控制该成像设备的方法和计算机程序 | |
| KR102204596B1 (ko) | 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법 | |
| US20200278602A1 (en) | Audio signal processing device and method based on camera operation | |
| US10848686B2 (en) | Method of providing image and electronic device for supporting the method | |
| US20130093913A1 (en) | Information processing apparatus, display method, and information processing system | |
| US10911687B2 (en) | Electronic device and method for controlling display of images | |
| US8736721B2 (en) | Method and apparatus for image processing | |
| JP2004062103A (ja) | 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム | |
| JP4218278B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム | |
| KR20200098806A (ko) | 이상 픽셀을 포함하는 센서로부터의 데이터를 처리하기 위한 프로세서 | |
| JP4804161B2 (ja) | 画像処理装置、画像処理システム及び画像処理装置の制御方法 | |
| US11182617B2 (en) | Device and method for generating heat map | |
| JP2013003756A (ja) | 撮像データ生成装置、撮像データ復号装置および撮像データ生成方法 | |
| CN109391788B (zh) | 用于处理图像信号的系统 | |
| WO2021102857A1 (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080724 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080918 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081021 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081103 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |