JP2004214830A - 一部リアルタイム画像表示装置 - Google Patents

Abstract

【課題】広域画像を不整合なく正確に表示しつつ、広域画像中に所望の対象物を明瞭な動画像として表示する。
【解決手段】所望の視点方向及び画角でビデオ映像を取得するビデオカメラ装置１と、ビデオカメラ装置を制御するカメラ制御装置２と、ビデオ映像の各フレーム画像を球面画像に変換する球面画像変換装置３と、順次変換される球面画像を複合画像として整合させる球面画像整合装置４と、複合画像を仮想球面に貼り付け静止画周辺画像を生成する球面画像生成装置５と、球面画像を平面画像に再変換する平面画像変換装置８と、球面又は平面画像の静止画周辺画像中に周辺表示範囲を指定するリアルタイム画像位置指定装置６と、周辺表示範囲を切り取りビデオ出力そのままのリアルタイム画像を切れ目無くはめ込む画像合成装置７と、合成された静止画周辺画像とリアルタイム画像を表示する表示装置９とを備える。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばＣＣＴＶ（Closed Circuit Tele Vision：閉回路テレビ）カメラ等のように、所望のビデオ映像を撮影し、動画像として表示可能な画像表示装置に関し、特に、背景となる広範囲な画像を結合静止画として生成するとともに、対象物をリアルタイム画像、すなわちビデオ画像で動画として生成し、静止画背景画像の中にリアルタイム画像をはめ込んで表示することで、広域画像を不整合なく正確に表示しつつ、広域画像中に所望の対象物を明瞭な動画像として表示することを可能とした一部リアルタイム画像表示装置に関する。
【０００２】
【従来の技術】
一般に、ＣＣＴＶカメラ等の一台のカメラで広範囲の画像を生成しようとする場合には、広角レンズで広範囲を撮影すれば良いが、このようにすると対象の映像は不明瞭になってしまう。一方で、対象物の画像を高精細に得ようとすれば、画角が小さくなり、全体が見えなくなってしまい、対象物の全体の中での位置関係が分からなくなる。
そこで、背景画像となるような広域の全体画像を表示しつつ、画像中の各対象物も不明瞭とならないように表示する従来技術として、複数のビデオ画像（フレーム画像）で一つの画像を構成し、隣接する各フレーム画像の重複部分の継ぎ目を整合することで、高精細な広域画像を表示する技術が提案されている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平６−１６９４４４号公報（第２−３頁、第１−３図）
【０００４】
【発明が解決しようとする課題】
しかしながら、複数画像の結合による広域画像は、カメラの移動による不整合や、原理的な不整合や歪みが必ず生じてしまい、その不整合が無視できる小範囲の場合に限って、実用上の問題が生じない場合に利用できるに過ぎなかった。
例えば、このような従来の画像結合方法によってビデオカメラを中心とした全周囲画像を作ろうとしても、画像を結合していくと最終的に不整合や歪みが生じてしまい、全周囲画像を完成することはできなかった。
また、このように複数のビデオ画像を単に継ぎ合わせて一つの広域画像を構成する従来方法では、各フレーム画像がすべて動画となるために、通信データ量が多くなり過ぎて、例えば現在のインターネット等のような狭帯域の回線を使用して動画像を送ろうとしても、動きが遅くなってしまい現実的には使用できないという問題もあった。
【０００５】
本発明は、以上のような従来の技術が有する問題を解決するために提案されたものであり、背景となる広範囲な画像を結合静止画として生成するとともに、対象物をリアルタイム画像、即ちビデオ画像で動画として生成し、静止画背景画像の中にリアルタイム画像をはめ込んで表示することで、広域画像を不整合や歪みなく正確に表示しつつ、広域画像中に所望の対象物を明瞭な動画像として表示することを可能とした一部リアルタイム画像表示装置の提供を目的とする。
さらに、本発明は、背景となる周囲画像を静止画として送信するとともに、所望の対象物を狭い範囲の動画像として送信し、動画と静止画を結合したビデオ画像を送ることで、帯域の狭い回線であっても所望の対象物の画像を動画像としてデータ通信が可能となる一部リアルタイム画像表示装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の一部リアルタイム画像表示装置は、請求項１に記載するように、所望の視点方向及び画角でカメラ周囲の全部又は一部のビデオ映像を撮影する撮影手段と、撮影手段で撮影されるビデオ映像を一又は二以上のフレーム画像として取得し、所望の目的面に整合された静止画周辺画像に変換する静止画周辺画像変換手段と、静止画周辺画像の一部を、撮影手段で撮影されるビデオ映像がそのまま出力されるリアルタイム画像の表示範囲として指定するリアルタイム画像指定手段と、リアルタイム画像と静止画周辺画像とを一体的に表示する画像合成表示手段と、を備える構成としてある。
【０００７】
このような構成からなる本発明の一部リアルタイム画像表示装置によれば、背景となるべき広域の全体画像は静止画像として表示し、その中に動画像となるリアルタイム画像を整合して貼りつけて表示することで、広域の全体画像の中にリアルタイム画像を表示することができる。
このようにすることで、例えばＣＣＴＶカメラで撮影される映像において、静止画で表示される広域の全体画像の中に、時々刻々変化する現在時点の画像を動画で示すリアルタイム画像を表示されることになり、全体把握と対象物認識の双方が極めて高精細な画像によって行えるようになる。
【０００８】
具体的には、請求項２記載の一部リアルタイム画像表示装置では、前記撮影手段が、所望の視点方向及び画角でビデオ映像を取得するビデオカメラ装置と、ビデオカメラ装置を制御し、所望の視点方向及び画角でカメラ周囲の全部又は一部を走査させるとともに、指定した視点方向及び画角でビデオ映像を取得させるカメラ制御装置と、を備え、前記静止画周辺画像変換手段が、ビデオカメラ装置で取得されるビデオ映像の各フレーム画像を、所定の球面画像に変換する球面画像変換装置と、順次変換される球面画像をカメラ周囲の全部又は一部に相当する複合画像として位置合わせし、切れ目無く整合させる球面画像整合装置と、整合された複合画像を仮想球面に貼り付けて球面画像を生成する球面画像生成装置と、を備え、前記リアルタイム画像指定手段が、球面画像からなる静止画周辺画像中に所望の周辺表示範囲を指定するリアルタイム画像位置指定装置を備え、前記画像合成表示手段が、静止画周辺画像から指定された周辺表示範囲を切り取り、当該切り取り部分に球面変換されたビデオ出力そのままのリアルタイム画像を位置合わせして切れ目無くはめ込む画像合成装置と、合成された静止画周辺画像とリアルタイム画像とを同一面に表示する表示装置と、を備える構成としてある。
【０００９】
特に、請求項３では、前記静止画周辺画像変換手段が、必要に応じて仮想球面に貼り付けられた画像を平面画像に再変換する平面画像変換装置を更に備え、前記リアルタイム画像位置指定装置が、平面画像からなる静止画周辺画像中に所望の周辺表示範囲を指定し、前記画像合成装置が、指定された周辺表示範囲を切り取り、当該切り取り部分に、平面画像に変換されたリアルタイム画像をはめ込む構成としてある。
【００１０】
一方、請求項４記載の一部リアルタイム画像表示装置では、前記撮影手段が、所望の視点方向及び画角でビデオ映像を取得するビデオカメラ装置と、ビデオカメラ装置を制御し、所望の視点方向及び画角でカメラ周囲の所定範囲を走査させるとともに、指定した視点方向及び画角でビデオ映像を取得させるカメラ制御装置と、を備え、前記静止画周辺画像変換手段が、ビデオカメラ装置で取得されるビデオ映像の各フレーム画像を、所定の目的平面画像に変換する目的平面変換装置と、順次変換される平面画像を複合画像として位置合わせし、切れ目無く整合させる複合画像整合装置と、整合された複合画像を仮想平面に貼り付けて広域画像を生成する広域画像生成装置と、を備え、前記リアルタイム画像指定手段が、必要に応じて、広域画像からなる静止画周辺画像中に所望の周辺表示範囲を指定するリアルタイム画像位置指定装置を備え、前記画像合成表示手段が、静止画周辺画像から指定された周辺表示範囲を切り取り、当該切り取り部分に、平面変換されたビデオ出力そのままのリアルタイム画像を位置合わせして切れ目無くはめ込む画像合成装置と、合成された広域画像からなる静止画周辺画像とリアルタイム画像とを同一の目的平面に表示する表示装置と、を備える構成としてある。
【００１１】
このような構成からなる本発明の一部リアルタイム画像表示装置によれば、撮影用のカメラの光学中心を球の中心とする仮想球面を設定し、画像をその球面上に貼りつけるように球面画像に変換し、球面上で結合することで、歪みや不整合のないカメラ全周囲を示す広域画像を取得することができる。
また、各視点方向に共通の仮想目的平面を想定し、複数の画像をその目的平面上に貼りつけるように平面変換して、目的平面上で結合することで、歪みや不整合のない平面広域画像を取得することができる。
そして、このような仮想球面又は仮想平面を利用し、視点方向及び視角の制御可能なビデオカメラ装置の視点方向及び画角を移動させ、撮影された映像から、広範囲の全体画像、例えば全周囲３６０度画像を不整合なく正確な画像として生成することができる。なお、全周囲画像を取得するには、例えばカメラを全周囲について回転撮影し、静止画の３６０度画像を生成する。
【００１２】
このようにして生成された広域の全体画像は、リアルタイムの画像ではないが、指定された時間間隔で次々更新することで、常に最新の画像の３６０度全体画像や、広域の平面画像を表示することができる。そして、このような全体画像中に明確な観察対象がある場合には、必要に応じて広域の全体画像中に現在時点の画像、即ちリアルタイム画像を貼りつけ、更新される静止画による広域の全体画像の中にリアルタイム動画画像を表示することができる。
これにより、これまで一台のＣＣＴＶカメラ等では分からなかった、現在観察している対象や部分が全体のどの部分であるかが、静止画の全体画像の中に表示される動画像として示されることになり、明確に把握できるようになる。
【００１３】
特に、静止画で表示される広範の全体画像の上に、所望の対象物のビデオ画像を重ね合わせて表示することで、全体の画像を観察しながら、必要な箇所，対象物のみを動画観察できるようになる。
この場合、基準とすべき所定の目的平面（静止画）をリアルタイム画像の表示平面に常に一致させるようにして、リアルタイムのビデオ画像の平面がカメラの移動にともなって変化（移動）すると、目的平面もそれに追従するように設定することができる。この場合には、取り込んだリアルタイム画像の平面が基準の目的平面となり、カメラ光軸方向の移動に伴って、目的平面もそれに追従変化し、静止画周辺画像がカメラ光軸に一致する平面に常に変換されて、リアルタイム画像と合成表示することが可能となる。
また、静止画中の所望の対象物の画像は、ポインティングデバイスのクリック等によって任意に指定することで、所望の対象物を任意に指定して静止画像からリアルタイム画像に切り替えることができる。
さらに、リアルタイム画像をクローズアップ表示（ズーム表示）に切り替えることも可能で、高精細かつ見易いズームアップ画像により、全体の位置づけが更に分かり易くなるリアルタイム画像を表示させることができる。
【００１４】
また特に、請求項５では、前記目的平面変換装置が、単数又は複数の基準仮想平面を設定し、単数又は複数のビデオカメラ装置で取得される各方向の画像を、所望の基準仮想平面に変換し、前記複合画像整合装置が、一又は複数の各方向の画像を所望の準仮想平面上で位置合わせし、継ぎ目無く結合して整合し、当該多方向の結合画像を記録することにより、多方向の結合画像を、必要とする任意の目的平面上に変換して所望の画像表示する構成としてある。
【００１５】
このような構成からなる本発明の一部リアルタイム画像表示装置によれば、リアルタイム画像の背景画像となる多方向の画像を、仮想球面に変換して貼りつけるのではなく、また、直接目的平面に変換するのでもなく、一旦基準となる基準仮想平面を設定し、その基準仮想平面に変換して、保存し、その保存データから、必要とする目的平面に変換することができる。
これにより、いつでも自由にどの方向にであっても、所望の背景画像を所望の目的平面に変換表示できるようになる。
このように、本発明では、カメラで取得される単数又は複数の画像を目的平面に貼り付けて表示する方法として、▲１▼仮想球面に変換して貼り付ける方法、▲２▼取得映像を目的平面に直接貼り付ける方法、▲３▼基準仮想平面に基づいて画像データを保存して所望の目的平面に投影画像を貼り付ける方法、があり、これらの方法を観察目的や画像の使用目的等に応じて任意に選択することができる。
【００１６】
さらに、請求項６記載の一部リアルタイム画像表示装置は、ビデオ映像撮影用のカメラ側装置と、カメラ側装置を遠隔操作するためのオペレータ側装置とを備え、カメラ側装置に、前記撮影手段と、前記静止画周辺画像変換手段と、前記リアルタイム画像指定手段が備えられ、オペレータ側装置に、前記画像合成表示手段が備えられ、カメラ側装置で取得された静止画周辺画像及び所望のリアルタイム画像がオペレータ側装置に送信され、当該オペレータ側装置で一体的に合成されて表示される構成としてある。
【００１７】
具体的には、請求項７に記載するように、前記カメラ側装置には、ビデオ映像撮影用のカメラ側装置と、カメラ側装置を遠隔操作するためのオペレータ側装置とを備え、カメラ側装置には、前記撮影手段として、所望の視点方向及び画角でビデオ映像を取得するビデオカメラ装置と、指定によりビデオカメラ装置を制御し、所望の視点方向及び画角でカメラ周囲の全部又は一部を走査させるとともに、指定した視点方向及び画角でビデオ映像を取得させるカメラ制御装置と、を備えるとともに、前記静止画周辺画像変換手段として、ビデオカメラ装置から画像を取得する画像取得装置と、画像取得装置で取得される画像から静止画周辺画像となるべきフレーム画像を取得する１フレーム画像取得装置と、１フレーム画像を更新する周囲画像更新指定装置と、を備え、前記リアルタイム画像指定手段として、リアルタイム画像切り取り位置を指定するリアルタイム画像位置指定装置と、１フレーム画像内の指定された範囲でリアルタイム画像を切り取るリアルタイム画像切り取り装置と、リアルタイム画像と、背景となるべき周囲静止画像との位置関係を指定するリアルタイム画像位置信号付加装置と、を備え、さらに、オペレータ側に周囲静止画像信号，リアルタイム画像信号，リアルタイム画像の位置を指定する位置指定信号を送信するカメラ側送信装置と、オペレータ側からカメラ制御，周囲画像更新，リアルタイム画像位置の指示を受信するカメラ側受信装置と、を備え、前記オペレータ側装置には、カメラ側装置から周囲静止画像信号，リアルタイム画像信号，リアルタイム画像の位置を指定する位置指定信号を受信するオペレータ側受信装置と、ビデオカメラ装置を遠隔操作し、指定した視点方向及び画角でビデオ映像を取得させるとともに、リアルタイム画像の位置を変更するオペレータ作業装置と、オペレータ作業装置の遠隔操作信号をカメラ側に送信するオペレータ側送信装置と、を備えるとともに、さらに、前記画像合成表示手段として、受信した周囲静止画像とリアルタイム画像とを、受信した位置指定信号により位置合わせする位置合わせ装置と、位置合わせした周囲静止画画像とリアルタイム画像を合成して合成画像を生成する画像合成装置と、生成された合成画像を最終画像として表示する表示装置と、を備える構成としてある。
【００１８】
このような構成からなる本発明の一部リアルタイム画像表示装置によれば、背景画となる静止画とリアルタイム画像となる動画をカメラ側装置から別個に送信し、オペレータ側装置で一枚の画像を合成することで、狭帯域の回線を介してもストレスなくデータを送信でき、オペレータ側から遠隔操作されるカメラ装置であっても、本発明に係る一部リアルタイム画像を滑らかに生成，表示させることが可能となる。
一般に、インターネット等の狭帯域の回線で動画を送ろうとしても、データ量が多い場合には動きが遅くなり、現実的に使えないことが多い。その一方で、本発明で得られる合成画像は、リアルタイム画像が狭い範囲であっても、背景画像があれば、その背景画像から必要な箇所の位置づけが容易にでき、効果的な観察が行える。そこで、本発明では、背景となる静止画を間欠的に送り、必要な一部分をリアルタイム画像で送り、それをオペレータ側で合成して一枚の画像を生成することで、広い背景画像中に必要な箇所のリアルタイム画像が表示された合成画像を取得，観察できるようにしてある。
これにより、本発明では、動画については狭い範囲のリアルタイム画像を送信すれば良く、全画像を動画として送ることに比べてデータ量は極めて少なくなり、狭帯域を介して必要な情報を得ることができる。
【００１９】
なお、動画データの圧縮方式としてＭＰＥＧ１方式がある。ＭＰＥＧ１方式では、画像全体を細かいブロックに分割して、動きのある分のみ送ることで、伝送帯域の圧縮が実現されている。しかしながら、ＭＰＥＧ１方式は広域の全体画像の中にリアルタイム画像をはめ込もうする技術ではなく、一台のカメラからの画像をそのままブロック化する画像圧縮技術である。従って、ＭＰＥＧ１方式では、本発明のように、ブロック毎に異なるカメラ方位が対応し、一つのブロックにカメラの一方位が対応することはなく、また、広域の全体画像と現時点での動画像となるリアルタイム画像を明確に分離して、それらを表示の時に合成する本発明のようなことは実現できない。このように、ＭＰＥＧ１方式とは動画の圧縮技術であり、本発明をさらに効率よくするためにＭＰＥＧ１方式の圧縮技術を利用することは勿論の可能である。例えば、本発明における背景となる広域の全体画像及びリアルタイム画像について、画像圧縮のためにＭＰＥＧ１方式を利用することは可能で、ＭＰＥＧ１方式は本発明を実現するために利用できる技術の一つである。
【００２０】
【発明の実施の形態】
以下、本発明の一部リアルタイム画像表示装置の好ましい実施形態について図面を参照しつつ説明する。
［第一実施形態］
まず、図１〜図６を参照して、一部リアルタイム画像表示装置の第一実施形態について説明する。
図１は、本発明の第一実施形態に係る一部リアルタイム画像表示装置の概略構成を示すブロック図である。図２は、図１に示す一部リアルタイム画像表示装置で球面画像及び平面画像を取得する状態を模式的に示した説明図である。
これらの図に示す本実施形態の画像表示装置は、ビデオカメラ装置１と、カメラ制御装置２，球面画像変換装置３，球面画像整合装置４，球面画像生成装置５，リアルタイム画像位置指定装置６，画像合成処理装置７，平面画像変換装置８及び表示装置９を備えている。
【００２１】
ビデオカメラ装置１は、例えば監視用ＣＣＴＶカメラ等で構成される撮影手段であり、所望の背景画及び背景画中の所望の箇所や対象物を撮影する。
ビデオカメラ装置１は、カメラ制御装置２によって制御され、カメラの視点方向と画角が自由にコントロールされるようにコンピュータで制御される。このカメラ制御装置２の制御により、ビデオカメラ装置１は幾何学的に規則的に走査しながらカメラ全周囲の画像を撮影できる。
ここで、カメラ全周囲の画像を撮影する方法としては、直接カメラを全周回転させる他、例えば、カメラは回転させずにカメラの前方等に設置したミラーを回転させることでも実現できる。
なお、この種のビデオカメラ装置１は、例えば、道路管理用ＣＣＴＶ，河川管理用ＣＣＴＶ，交通安全利用ＣＣＴＶ等に利用されるが、これ以外の用途，目的に使用されるものであっても良い。
【００２２】
球面画像変換装置３は、ビデオカメラ装置１で撮影される各フレーム画像を所定の球面変換する。ビデオカメラ装置１で撮影される画像は、個々のフレーム画像は静止画で、フレーム画像自身は平面画像である。このため、原理的にはそのまま連続的に結合しても結合球面画像を生成することはできない。そこで、本実施形態では、球面画像変換装置３で球面画像変換するようにしてある。
本実施形態では、球面画像変換装置３は、あらかじめ球体の中心にカメラ光学中心を位置させ、全方向の映像を球面に投影してできる仮想全画像球面を想定し、所望の球面画像を生成するようにしてある。
【００２３】
具体的には、図２に示すように、例えばＣＣＴＶカメラからなるビデオカメラ装置１の光学中心を中心とする仮想の球：Ａを定義し、定義した球面上の一点の座標を決定し初期位置とし、カメラ制御装置２（図３のＳ１０２：カメラ姿勢駆動装置参照）に記憶する。例えば、真北方向とＣＣＴＶカメラの水平方向が球面と交差する位置を初期位置とする等、利用する処理内容に応じてＣＣＴＶカメラの初期位置を決定する。
そして、この仮想球面に接する平面画像ａ（フレーム画像）を、仮想球面に整合した球表面画像ｂに変換，生成する。このようにして得られた球面画像が順次結合されて、整合された全周画像が生成されることになる。
【００２４】
球面画像整合装置４は、球面画像変換装置３で順次変換される球面画像を、カメラ周囲の全部又は一部に相当する複合画像として仮想球面（図２参照）上に位置合わせし、切れ目無く整合させる。
球面画像生成装置５は、球面画像整合装置４で生成される各球面画像を仮想平面上で位置あわせして整合し、結合して貼り付け、所望の全周画像を生成する。
なお、全周囲画像は、原理的には各画像を球面変換しないと全周囲画像は整合しないが、例えば、画角が極めて小さい画像の場合、球面に変換してもその違いは極めて少ないため、球面変換をしなくても事実上差し支えない場合がある。このため、変換のための演算時間をかけずに全周画像を生成する必要があるような場合には、簡易的方法として球面変換を省略することは可能である。
また、画角の小さい画像から全周画像が生成される場合、高精細な全周画像を生成できる。一方、比較的広角の画角の大きい画像から全周画像を生成すれば、画角の小さい画像からの画像に比較して、精細度は落ちるが、短時間で全周画像を生成，更新できることになる。
【００２５】
リアルタイム画像位置指定装置６は、球面画像（又は平面画像）からなる静止画背景画像の中の目的の箇所や対象物，範囲等、所望の領域をリアルタイム画像として指定するリアルタイム画像指定手段である。
このリアルタイム画像指定装置６としては、画像中の所望の範囲を選択，指定できるマウス等のポインティングデバイスによって構成することができる。リアルタイム画像指定装置６で指定されるリアルタイム画像の静止画像内の位置、リアルタイム画像領域の形状，大きさは、例えばマウスのドラッグ操作，クリック操作によって任意に指定できる。
画像合成処理装置７は、リアルタイム画像位置指定装置６で指定されたリアルタイム画像（周辺表示範囲）を切り取り、切り取った部分に球面変換（又は平面変換）されたビデオ出力そのままのリアルタイム画像を位置合わせして切れ目無くはめ込む。この画像合成処理装置７で合成された合成画像が表示装置９を介して観察者側に表示されることになる（図４及び図５参照）。
【００２６】
平面画像変換装置８は、必要に応じて、球面画像生成装置５で仮想球面に貼り付けられた画像を、更に平面画像に再変換する。
この平面画像変換装置８を備えることにより、仮想球面に貼り付けられた全周画像が平面画像に変換され、平面スクリーン等に平面表示できるようになる。
なお、球面画像は、そのまま球面スクリーン等に球面として表示し、その中心部分から観察することが可能であり、その場合には、平面表示画像は必要とならないので、平面画像変換装置８を省略することができる。
【００２７】
表示装置９は、合成された静止画周辺画像とリアルタイム画像とを同一面に表示する合成画像表示手段である。
そして、合成画像中のリアルタイム画像が随時更新され、また、リアルタイム画像の視点と画角が移動することにより、表示装置９に表示される全体画像中のリアルタイム画像が更新されたり移動する。このようにして、静止画の全体画像の中に動画のリアルタイムが表示されることで、リアルタイム画像の全体把握と同時に現在の動画画像を観察することができるようになる。
ここで、表示装置９は、全周画像を球面スクリーンに表示し、そこにリアルタイム画像を整合して重ねて結合して表示する場合と、平面スクリーン上に広角静止画面を表示し、その静止画面中にリアルタイム画像を重ねて整合し結合して表示する場合がある。
表示装置９が球面スクリーンの場合には、全周画像を全体画像とすることができる。一方、表示装置９が平面スクリーンの場合は、球面上の全周画像から必要に応じて必要な範囲を切り取ってその画像を平面画像に変換して表示する。
【００２８】
次に、以上のような構成からなる本実施形態に係る装置の動作について、図３を参照しつつ説明する。図３は、図１に示す本実施形態の一部リアルタイム画像表示装置の動作の一例を示す説明図である。
同図に示す例は、本実施形態の一部リアルタイム周囲画像表示装置をＣＣＴＶ装置（例えば道路管理用ＣＣＴＶ、河川管理用ＣＣＴＶ、交通安全利用ＣＣＴＶ等）に利用した場合となっている。
【００２９】
［初期設定］
まず、ＣＣＴＶカメラ(Ｓ１０１参照)からなるビデオカメラ装置１の初期設定を行う。初期設定は、図２で示したように、ＣＣＴＶカメラの光学中心を中心とする仮想の球：Ａを定義し、定義した球面上の一点の座標を決定し初期位置とし、カメラ制御装置２（Ｓ１０２〜Ｓ１０３参照）に記憶する。
【００３０】
［全周画像の記録］
初期設定後は、ＣＣＴＶカメラによってカメラ全周囲の全部又は一部の画像を記録する。ここでは、ＣＣＴＶカメラ初期位置から全周を記録（又は更新）する流れを説明する。なお、広範囲ではあるが全周は完成しない広域画像の場合もまったく同様である（第二実施形態の図８参照）。
図３に示すように、ＣＣＴＶカメラ（Ｓ１０１）は、カメラ姿勢駆動装置（Ｓ１０２）によって上下左右に視点が移動される。この視点の可動範囲は、設置状況等で制限されるが、ここでは、カメラ脚部を除いて定義した球面の表面全周を制御可能とする。カメラ姿勢駆動装置（Ｓ１０２）は、カメラ姿勢制御プログラム（Ｓ１０３）及び手動カメラ制御（Ｓ１０４）で駆動制御される。カメラ制御姿勢プログラム（Ｓ１０３）は、概略位置画角検出（Ｓ１０５）でカメラの上下、左右の動きをセンサー等で感知し、カメラの光軸の方向、カメラの上下の角度を得て、カメラの光軸が球面のどの方向を向いているか、記録し制御する。
これにより、ＣＣＴＶカメラによって所望の背景画像となる静止画像が撮影できるようになる。
【００３１】
以下、ＣＣＴＶカメラ（Ｓ１０１）を制御し、ＣＣＴＶカメラより得られた静止画像を、定義した球面上で接合し記録する流れを以下に述べる。
ＣＣＴＶカメラは、カメラ制御プログラム（Ｓ１０３）及び手動カメラ制御（Ｓ１０４）で制御され、カメラ姿勢駆動装置（Ｓ１０２）で初期位置に移動する。
次に、ＣＣＴＶカメラの映像を画像キャプチャ（Ｓ１０６）して静止画像が得られる。得られた静止画像は、球面収差補正（カメラレンズの歪み補正）がなされ（Ｓ１０７）、球面収差補正後の画像に、定義した球面のパラメータを使用して球面変換処理が行われる（Ｓ１０８）。
次に、カメラ姿勢制御プログラム（Ｓ１０３）の制御により、定義された球面の次の位置にカメラ姿勢駆動装置を制御し、ＣＣＴＶカメラの光軸を移動する。ここで「次の位置」とは、運用上要求される解像度で画像合成可能な距離分離れた位置をいう。そして、移動した次の位置でＳ１０６〜Ｓ１０８の画像キャプチャ〜球面変換処理を行う。
以上の動作を繰り返すことにより、所望の範囲を撮影した複数の球面画像が連続的に生成される。
【００３２】
次に、切り替え制御（Ｓ１０９）により、全周静止画像の更新（Ｓ１１０）か、一部リアルタイム画像の更新（Ｓ１１２）かが選択される。全周画像の更新が選択されると（Ｓ１１０）、連続的に生成された静止画像が結合され連続全周結合画像生成（Ｓ１１１）が行われる。その結果、定義した仮想球面に位置合わせして張り付けられた（Ｓ１１３）、歪みのない整合された全周画像が得られる。
得られた全周囲画像は、結合合成画像生成（Ｓ１１４）を経てリアルタイム画像と合成される。さらに、合成画像は、必要に応じて平面投影画像に変換され（Ｓ１１５）、平面表示・記録・再生装置（Ｓ１１６）及び球面表示・記録・再生装置（Ｓ１１７）を介して表示される。
【００３３】
［全周画像の更新］
全周画像の更新は、上述した全周画像の記録を繰り返すことで行うことができる。すなわち、全周画像の更新は、既に記録された静止画像を構成する各画像を順次更新する形で行われる。
ここで、ＣＣＴＶカメラヘッドが１台の場合に、リアルタイム映像を取得するためにＣＣＴＶカメラが使用されているときには、更新処理を行えない。従って、その場合には、ＣＣＴＶカメラがリアルタイム映像用に使用されていない時間帯等に全周画像を更新することになる。また、更新は、明示的に行われていいない場合でも、ＣＣＴＶの映像を常時更新に使用することは可能である。例えば、リアルタイム画像は常に最新画像であるので、そのリアルタイム画像によって全周画像の該当部分を更新しても良い。
仮に、カメラが複数備えられれば、全周画像撮影用のカメラとリアルタイム画像撮影用のカメラをそれぞれ専用化できるので、全周画像の更新が中断することなく、リアルタイム画像の表示を並行して行うことができる。
【００３４】
具体的な更新の流れは、上述した全周画像の記録の場合と同様であり、概略次の通りである。
図３において、カメラ姿勢制御プログラムの制御により、定義された球面の更新位置にカメラ姿勢駆動装置が制御され、ＣＣＴＶカメラの光軸が移動する。
ＣＣＴＶカメラで得られた映像は画像キャプチャされ（Ｓ１０６）、静止画像が取得される。この画像が定義球面のパラメータを使用した球面収差補正（カメラレンズの歪み補正）され（Ｓ１０７）、その後、球面変換処理（Ｓ１０８）が行われて、切り替え制御（Ｓ１０９）により全周画像更新（Ｓ１１０）に切り替えられて連続全周結合画像生成（Ｓ１１１）が行われる。このようにして得られた画像は、全周囲画像とリアルタイム画像との結合合成画像生成（Ｓ１１４）により、既に記録されている全周囲画像と結合生成され、必要に応じて平面画像変換され（Ｓ１１５）、平面表示・記録・再生装置（Ｓ１１６）及び球面表示・記録・再生装置（Ｓ１１７）に記録，表示される画像が更新される。
なお、このような静止画像の更新処理は、定期更新，変化時のみ更新，リアルタイム画像周辺の更新頻度を上げる重み付け更新等、使用目的や観察対象等に応じて更新頻度，更新態様を変更することができる。
【００３５】
［一部リアルタイム周囲画像表示］
リアルタイム画像は、静止画像中の所望の箇所，対象物等を直接観察するための動画像であり、ＣＣＴＶカメラは、一般に、ここで言うリアルタイム画像（動画）を見ることを目的としたカメラである。
以下、本実施形態の表示装置の特徴であるリアルタイム映像表示（動画表示）と全周画像を合成し表示する流れを説明する。
まず、手動カメラ制御（Ｓ１０４）又はカメラ姿勢制御プログラムによる制御（Ｓ１０３）でカメラ姿勢駆動装置を制御し、ＣＣＴＶカメラを所望の撮影対象に向ける（Ｓ１０１）。ここで、ＣＣＴＶカメラの映像を画像キャプチャし（Ｓ１０６）、球面収差補正を加えて（Ｓ１０７）球面変換処理を行い（Ｓ１０８）、切り替え制御（Ｓ１０９）により、球面変換処理後の画像を一部リアルタイム（Ｓ１１２）とする。また、位置合わせのため、概略位置角検出（Ｓ１０５）よりカメラの光軸の移動量とともに全周画像との位置合わせ（Ｓ１１３）に送られる。
【００３６】
これにより、全周囲画像とリアルタイム画像が不整合や歪みなく仮想球面上に画像合成され、結合合成画像が生成される（Ｓ１１４）。合成画像は、必要に応じて平面投影画像生成（Ｓ１１５）により、指定された範囲が、隣接した全周囲画像とともに、歪みのない画像として平面投影画像生成され（Ｓ１１５）、平面表示・記録・再生装置（Ｓ１１６）で表示または記録され、又は、球面表示・記録・再生装置（Ｓ１１７）に表示，記録される。
以上の流れを高速に繰り返すことで、所望の対象物についてのリアルタイム映像を動画として表示又は記録することができる。
【００３７】
［全周画像内での位置指定］
リアルタイム画像の指定は、静止画像からなる全周囲画像の全体又は一部を表示し、その中の目的の対象物をマウス等のポインティングデバイスでクリックやドラッグ操作を行うことにより、対象物の動画を、任意の大きさ，形状で、静止画周辺画像中に表示することができる。このように、本実施形態では、部分的なＣＣＴＶ映像を静止画像全体の中で位置づけながら指定できるようになっている。
マウスを使用したリアルタイム画像の指定は、所望の周辺画像が表示されている画面の中でマウスを使用して、リアルタイム画像でみたい範囲を四角形で指定する、あるいは、例えば牛等の対象物を指定し対象物を中心に四角形で表示することで行える。また、対象物の指定の仕方として、四角形で囲むだけでなく多角形や円等で、対象物を詳細に、しかも一カメラによる画像内の複数の箇所を同時指定することも可能である。さらに、本願出願人が既に提案しているＰＲＭ技術（特願２００２−５０６５６５号）を利用することで、画像認識処理によって対象物の形状そのものを指定することも可能である。
【００３８】
図４及び図５に、指定された所望のリアルタイム画像が静止画中に表示される合成画像の一例を示す。
図４に示す例では、２５枚のフレーム画像からなる静止画Ａが表示され、静止画Ａ中の任意の対象物を含む周辺画像範囲がリアルタイム画像Ｂとして指定され（同図では白い牛）、静止画Ａに整合されて切り目なく合成表示される。
また、リアルタイム画像Ｂとして指定，生成される画像は、所望の範囲，形状，大きさ等で指定でき、例えば、図５に示すように、対象物の輪郭に沿ったリアルタイム画像（同図では白い牛の輪郭で切り取られたリアルタイム画）を指定し、静止画上に合成表示することもできる。
【００３９】
［部分拡大表示］
本実施形態では、ＣＣＴＶカメラのズーム機能を利用することで、リアルタイム画像又は静止画像の一部分を拡大した映像として表示することができる。
まず、リアルタイム映像の部分拡大について説明する。
上述した全周画像の一部にリアルタイム画像を表示させる処理の流れにおいて、ＣＣＴＶカメラのズーム機能によりリアルタイム映像部分が拡大されると、表示範囲が狭くなり、リアルタイム映像部分のみ解像度が上がって、平面投影画像生成され（Ｓ１１５）、平面表示・記録・再生装置で表示又は記録することができる（Ｓ１１６）。
また、必要に応じて、球面表示・記録・再生装置（Ｓ１１７）に表示，記録することができる。
ズームによる部分拡大は、映像が断片であり、通常は全体の中で位置づけすることが難しいが、本実施形態では、静止画全周画像中にズーム画像が重ねて表示し、あるいは、別の画面に全周画像を表示し拡大箇所を範囲表示する等することで、部分拡大箇所がより解りやすく把握できるようになる。
【００４０】
次に、全周画像の拡大について説明する
まず、全周画像の解像度は、例えば、ＣＣＴＶカメラの解像度と、定義された球の大きさにより下限の解像度を決めることができる。この解像度を下限とし、上限の解像度はＣＣＴＶカメラのズーム倍率で決定される。
全周画像の記録・更新時間を短くするためには、下限の解像度で全周画像を作成することが望ましいが、高解像度画像を必要とする場合には、ＣＣＴＶカメラのズーム機能を利用して、全周画像記録時に、高解像度画像を取得し全周画像を作成することが考えられる。但し、この場合には、画像作成時間が比較的、長時間に渡ることになる。そこで、全周画像中、部分的に高解像度画像を必要とする範囲を指定し、その部分だけを高解像画像で記録することができる。高解像度画像の範囲は、複数指定できる。
また、リアルタイム画像と全周画像の拡大を同時に使用すれば、リアルタイム画像の拡大率と全種画像の拡大率を同じにし、リアルタイム部分の動画と全周画像の表示を同じ解像度で見ることも可能となる。
さらに、拡大した一部リアルタイム映像を表示中、平面表示・記録・再生装置（Ｓ１１６）と球面表示・記録・再生装置（Ｓ１１７）に記録された画像を更新することにより、拡大映像が部分的に更新されることになる。
【００４１】
［巡回表示］
巡回表示は、全周画像上で指定した範囲または対象物を、指定した解像度で、指定した時間表示を繰り返す機能である。例えば、平面投影表示された全周画像上で巡回表示の範囲指定、対象物指定をマウス等ポインティングデバイスで行う。
巡回表示時間は、使用できるカメラの台数、制御に必要な時間、指定範囲数、指定対象物数、指定解像度により決定され、その時間間隔で巡回表示を繰り返すことができる。
巡回表示箇所を、全周画像と重ねてあるいは、別の画面に表示箇所を範囲表示する等することにより非常に解りやすくなる。
また、巡回表示中、必要に応じ、平面表示・記録・再生装置（Ｓ１１６）及び球面表示・記録・再生装置（Ｓ１１７）に記録された画像の更新を行うこともできる。
また、全周囲背景画像は静止画画像であることから、画像更新時に前の画像と更新画像を比較し、変化が有れば、その変化を表示し、記録し、自動的にその場所をリアルタイム画像に切り替えて追跡することもできる。
【００４２】
［画像記録］
画像記録は、例えば、平面投影表示された全周画像上でマウス等ポインティングデバイスを利用し範囲、対象物を選択し、指定した解像度で、指定した時間記録する機能である。全周画像上で記録の範囲指定、対象物指定を行う。
記録の時間間隔は、使用できるカメラの台数、制御に必要な時間、指定範囲数、指定対象物数、指定解像度により決定され、その時間間隔で、必要に応じ、平面表示・記録・再生装置（Ｓ１１６）及び球面表示・記録・再生装置（Ｓ１１７）に記録を繰り返すことができる。
【００４３】
［全周画像内で対象物の追跡と記録］
さらには、画像内の対象物の移動に自動的に追従して、自動追跡表示することもできる。
全周画像内で対象物を追跡し記録する場合には、例えば、平面投影表示された全周画像上でマウス等ポインティングデバイスを利用し対象物を選択し、指定した解像度で追跡しリアルタイム表示する。
対象物は全周画像の全体又は一部の静止画周辺画像の中で、一部リアルタイム映像として重ね合わせて表示される。あるいは、全周画像の全体又は一部の静止画が別画面表示され、一部リアルタイム映像範囲が明示されるようにしても良い。この場合、対象が移動することによりその明示された範囲も移動する。
また、追跡表示中、必要に応じ、平面表示・記録・再生装置（Ｓ１１６）及び球面表示・記録・再生装置（Ｓ１１７）に記録することも勿論できる。
【００４４】
なお、以上説明した本実施形態では、図３に示したように、一部リアルタイム画像は、球面変化処理され、必要に応じて平面画像に再変換されるようになっていたが、この一部リアルタイム画像の球面変換処理については省略することができる。
図６は、本実施形態の一部リアルタイム画像表示装置の動作の他の一例を示す説明図で、一部リアルタイム画像の球面変換処理については省略する場合を示している。なお、同図中、図３と同様の処理，内容は同一の符号を付してある。
このように一部リアルタイム画像の球面変換処理が省略される場合には、球面変換された静止画像中に、平面画像からなるリアルタイム画像が合成表示されることになる。
【００４５】
以上説明したように、本実施形態の一部リアルタイム画像表示装置では、背景となるべき広域の全体画像は静止画像として生成，表示し、その静止画像中に動画像となるリアルタイム画像を整合して貼りつけて表示することで、広域の全体画像の中にリアルタイム画像を表示することができる。
これによって、例えばＣＣＴＶカメラで撮影される映像において、静止画で表示される広域の全体画像の中に、時々刻々変化する現在時点の画像を動画で示すリアルタイム画像を表示されることになり、全体把握と対象物認識の双方が極めて高精細な画像によって行えるようになる。
【００４６】
［第二実施形態］
次に、本発明の一部リアルタイム画像表示装置の第二実施形態について、図７〜図１１を参照して説明する。
図７は、本発明の第二実施形態に係る一部リアルタイム画像表示装置の概略構成を示すブロック図である。図８は、図７に示す本実施形態の一部リアルタイム画像表示装置の動作の一例を示す説明図である。
【００４７】
これらの図に示すように、第一実施形態では、背景画像となる静止画として、ビデオカメラ装置１で撮影される視点方向の異なる複数の画像を共通の仮想球面に貼り付けるようにしていたが、本実施形態では、仮想平面上に複数画像を貼り付けるようにしたものである。
本実施形態は、貼り付け範囲は狭くなるが実用的な仮想共通平面に貼りつけることで、第一実施形態の場合と同様に、平面の背景静止画にビデオ映像からなるリアルタイム画像を貼り付けて観察できるようにしたものである。
具体的には、図７に示すように、ビデオカメラ装置１ａで撮影される映像は、球面変換処理はされず、静止画も動画も目的平面変換装置３ａにより、異なる画角の画像を共通の仮想平面に変換され、複合画像整合装置４ａで各静止画が目的平面に貼り付けられる。そして、広域画像生成装置５ａで、背景静止画像となる広域画像が生成され、画像合成装置７ａにより、背景静止画像とリアルタイム画像が合成されて、表示装置９で一部リアルタイム周画像が表示されることになる。
【００４８】
上述した第一実施形態の画像表示装置では、仮想球面を設定し、その仮想球面に画像を貼りつけるために、原理的にカメラは固定でなければならなかったが、本実施形態のように、仮想平面となる目的平面に画像を貼り付ける場合は、カメラは固定されていても勿論良いが、移動するカメラからでも画像の貼り付けが可能となり、また、複数の場所の複数のカメラからの画像を目的平面に変換したものを、その所望の目的平面に貼り付けることができる。
このように、本実施形態では、仮想の目的平面を設定して複数の画像を貼り付けることで、原理的に不整合や歪みのない一枚の広域画像を生成することができ、また、それらを背景画像とすることも、リアルタイム画像とすることも可能となり、より実用的な一部リアルタイム画像表示装置を実現できる。
【００４９】
ここで、複数の画像を目的平面に貼り付けて表示する方法としては、カメラで取得される映像を目的平面に直接変換して貼り付けて表示することができる他、以下に示すように基準仮想平面に基づいて保存された画像データから、所望の目的平面に投影した画像を生成することができる。
具体的には、予め基準となる基準仮想平面を設定しておき、その基準仮想平面に変換して、保存し、その保存データから、観察者の必要とする目的平面に変換することで、いつでも自由にどの方向にでも変換表示できるようになる。
第一実施形態で示した仮想球面の場合との違いは、仮想球面方式では仮想球面の中心にカメラが存在するという前提で変換がなされるので、複数のカメラの位置関係は球の中心を外れるようには変更できない。しかし、基準仮想平面に変換することで、球の中心には縛られないので、カメラの位置関係が変更されても、それぞれのカメラ自体が移動する場合でも、基準仮想平面を各カメラに共通に設定することができるので、複数のカメラからの複数の画像を結合して保存できることになる。
【００５０】
ここで基準仮想平面は任意であるが、全周画像を生成する場合には複数の基準仮想平面を設定しなければならない。目的平面に変換表示する場合には、複数の基準仮想平面から同一の目的平面に変換することになる。
さらに、各カメラの位置関係が決定されていて、各カメラの各光軸方向が固定されている場合には、新たな基準面を想定しなくても、各カメラによって固定された画像平面を基準仮想面として変換し、保存し、そこから任意の目的平面に変換して表示すればよい。
以下、基準仮想平面に基づく目的平面の変換方法を、図９〜図１１を参照しつつより具体的に説明する。
【００５１】
まず、図９（ａ）に示すように、一台のカメラの視点方向はまちまちであり、それら画像のもつ撮影平面はそれぞれ異なる。そこで、このような場合に、各カメラの画像を基準仮想平面に変換し、図９（ｃ）に示すように、カメラの各方向毎の画像を位置合わせし、継ぎ目なく結合し、整合し、これを記録する。
また、図９（ｂ）に示すように、設置位置も視点方向もバラバラの複数台のカメラ１〜３を使用する場合にも、対象物が限定されていれば、その画像を基準仮想平面に変換することができる。それぞれのカメラからの画像１〜３の撮影平面はまちまちであるから、図９（ｂ）に示すように、基準仮想平面にカメラ１〜３の画像１〜３を投影し、基準仮想平面上で位置合わせし、継ぎ目なく結合し、整合し、記録することができる。
【００５２】
また、カメラ全周囲を示す全周画像の場合にも、各フレーム画像の位置合わせ，結合，整合，記録のために基準仮想平面を利用することができる。この場合には、基準仮想平面を複数設定すれば良い。例えば、図１０（ａ）に示すように、基準仮想平面を六面作成し、基準仮想平面によって立方体を構成することで、全周画像を立方体に位置合わせし、継ぎ目なく結合し、整合し、記録することができる。
そして、この立方体内に、図１０（ｂ）に示すように、観測者からの任意の視点を設定し、その任意の視点に基づく目的平面を定義する。
これによって、図１０（ｃ）に示すように、任意の視点に基づく目的平面に対して、該当する基準仮想平面１〜２の画像を投影することで所望の画像を作成し、表示することができる。
【００５３】
さらに、図１１に示すように、複数のカメラ１〜３の位置と光軸の関係が把握できている場合には、基準仮想平面をカメラ１〜３の各画像を基準仮想平面１〜８と考え、任意の目的平面に投影し画像を作成することができる。
本来、カメラ画像は、レンズの歪み等の条件を除けば、２次元のＣＣＤ面上に投影された、画素の集まりであり、全周囲画像等広範囲の画像の記録方式にこの基準仮想平面を利用すれば、コンピュータの２次元メモリー上に画像データが効率よく記憶できる。
また、仮想基準平面は任意に設定できるので、もと画像の解像度をできるだけ低下させない基準仮想平面を設定し記録することも可能であり、画像の品質を維持しながら、記録が可能となる。
【００５４】
以上説明したように、本実施形態の一部リアルタイム画像表示装置では、背景画像となる静止画として、ビデオカメラ装置１で得られる複数の画像を共通の仮想平面上に複数画像を貼り付けることで、貼り付け範囲は狭くなるが実用的な仮想共通平面に貼りつけることで、平面の背景静止画にビデオ映像からなるリアルタイム画像を合成表示することができる。
これにより、固定されたカメラからの画像だけでなく、移動するカメラからの画像や、複数の異なる場所に設置されたカメラからの画像についても、目的平面に変換して、所望の一部リアルタイム合成画像を取得でき、より実用的な一部リアルタイム画像表示装置を提供することができる。
【００５５】
［第三実施形態］
さらに、本発明の一部リアルタイム画像表示装置の第三実施形態について、図１２及び図１３を参照しつつ説明する。
図１２は、本発明の第三実施形態に係る一部リアルタイム画像表示装置の概略構成を示すブロック図である。
同図に示す本実施形態の画像表示装置は、背景画像を撮影，取得するカメラ側装置と、所望の対象物を含む背景画像を観察するオペレータ側装置とが離れた位置に設置され、両装置間が通信回線等を介して接続される場合に、一部リアルタイム画像を含む背景画像を、カメラ側，オペレータ側間でストレスなく送受信できるようにしたものである。
【００５６】
一般に、インターネット等の狭帯域の回線で動画を送ろうとしても、動きが遅く、現実的に使えない場合が多い。このような場合に、本発明の一部リアルタイム画像を利用することにより、画像取得側となるカメラ側から、背景となる静止画を間欠的に送信し、必要な一部分をリアルタイム画像で送信し、それをオペレータ側で合成して一枚の画像を生成することにより、広い背景画像のある中の必要な箇所のリアルタイム画像を観察できることになる。リアルタイム画像は狭い範囲でも背景画像があれば、背景画像から必要な箇所の位置づけが簡単にでき、効果的である。
この場合、リアルタイム画像は狭い範囲の表示で済むので、全画像を動画として送ることに比べれば、その分データ量は極めて少なくなり、狭帯域で必要な情報を得ることができる。そして、オペレータ側では、リアルタイム画像の位置を自由に変更し、また、対象物を自動追跡する等によって、必要となる情報は動画として入手できることになる。この場合、例えばＷＥＢ等で動画像データを任意に使用，加工して活用できるようになる。
【００５７】
具体的には、本実施形態の一部リアルタイム画像表示装置は、図１２に示すような構成となっている。なお、同図中、図１又は図７に示した画像表示装置と同様の内容，機能の構成部分は同一の符号を付してある。
まず、所望の映像を取得するビデオカメラ装置１ｂからの画像出力は、画像取得装置３ｂで取得され、その１フレームが１フレーム画像取得装置４ｂで取り出されて静止画として取得される。フレーム画像は周囲画像更新指定装置４−１ｂにより選択される。
また、ビデオ画像から必要な範囲のリアルタイム画像をリアルタイム画像切り取り装置６−１ｂで切り取り、その位置と共にカメラ側装置に送られる。リアルタイム画像の切り取り範囲又は切り取り位置はリアルタイム画像位置指定装置６ｂから送られ、その位置信号はリアルタイム画像位置信号付加装置６−２ｂからカメラ側送信装置１１に送られ、静止画像，動画像とともにオペレータ側に送られる。
【００５８】
オペレータ側では、オペレータ側受信装置２１でカメラ側からの三信号、すなわち周囲静止画像信号，リアルタイム画像信号，リアルタイム画像位置信号が受信される。
受信された周囲静止画像信号とリアルタイム画像信号は、位置合わせ場所指定装置７−１ｂを経て、画像合成装置７ｂで合成されて表示装置９ｂに送られる。
また、オペレータ側では、オペレータ作業装置２２でリアルタイム画像の切り取り位置、又は切り取り範囲が指定され、オペレータ側送信装置２３を介してカメラ側に送信され、カメラ側受信装置１２で受信される。
このオペレータ側からの信号により、カメラ側では、リアルタイム画像位置指定装置６ｂでリアルタイム画像の位置が指定，変更，移動され、周囲画像更新指定装置４−１ｂで静止画の更新が指定され、さらに、カメラ制御装置２ｂでカメラの方位や画角が制御されることになる。
ここで、オペレータ側に、あるいはカメラ側に自動追跡装置を付加すれば、自動的に目的とする対象物を追いかけながらリアルタイム画像を観察することができる。なお、リアルタイム画像の位置指定はカメラの台数により複数でも可能であり、さらに一カメラの画像内の複数箇所でも位置指定できる。
【００５９】
以上のような構成により、本実施形態では、カメラ側とオペレータ側とが離れた位置に設置されている場合にも一部リアルタイム画像表示装置を実現することができ、カメラ側から遠隔の場所にあるオペレータ側において、例えばインターネット等の通信回線を介して目的の動画像を周囲の環境の中に位置づけて観察することができる。
図１３に、本実施形態で、オペレータ側で観察される合成画像の具体例を示す。
同図に示すように、本実施形態で得られる合成画像は、一台のカメラの一枚の画像からその一部を切り取って動画として送るようにしてある。この原理と方法によれば、一台のカメラの広角画像を背景画像とし、そのカメラでズームアップした詳細な動画像を示すリアルタイム画像を送り、これをオペレータ側で重ねて表示することで、上述した第一，第二実施形態と同様の本発明の効果を実現することができる。この意味で、本実施形態は第二実施形態の特殊の場合と考えられ、第二実施形態の結合画像による背景画像を、本実施形態では直接一枚の画像から取得するようにしたものである。
なお、複数のカメラを用いて、背景画像とリアルタイム画像を別々に取得することも勿論可能である。
【００６０】
このように、本実施形態の一部リアルタイム画像表示装置によれば、背景画となる静止画とリアルタイム画像となる動画をカメラ側装置から別個に送信し、オペレータ側装置で一枚の画像を合成することで、狭帯域の回線を介してもストレスなくデータを送信でき、オペレータ側から遠隔操作されるカメラ装置であっても、本発明に係る一部リアルタイム画像を滑らかに生成，表示させることが可能となる。インターネット等の狭帯域の回線で動画を送ろうとしても、データ量が多い場合には動きが遅くなり、現実的に使えないことが多い。その一方で、本発明で得られる合成画像は、リアルタイム画像が狭い範囲であっても、背景画像があれば、その背景画像から必要な箇所の位置づけが容易にでき、効果的な観察が行える。そこで、本発明では、背景となる静止画を間欠的に送り、必要な一部分をリアルタイム画像で送り、それをオペレータ側で合成して一枚の画像を生成することで、広い背景画像中に必要な箇所のリアルタイム画像が表示された合成画像を取得，観察できるようにしてある。
これにより、本実施形態では、動画については狭い範囲のリアルタイム画像を送信すれば良く、全画像を動画として送ることに比べてデータ量は極めて少なくなり、狭帯域を介して必要な情報を得ることができる。
このようにデータ量を少なくして所望の動画（リアルタイム画像）と静止画（背景画）を送信できる本実施形態によれば、カメラで直接取得された画像（動画及び静止画）のみならず、既に撮影され記録，保存された画像について、静止画中の所望の箇所，対象物を指定してリアルタイム画像として送受信することができ、特にインターネット等の狭帯域回線を利用した画像配信に好適となる。
【００６１】
以上、本発明の一部リアルタイム画像表示装置について、好ましい実施形態を示して説明したが、本発明に係る一部リアルタイム画像表示装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、ビデオカメラは任意の複数台備えることができ、背景画像取得用とリアルタイム画像取得用のカメラを別々に備えることもできる。この場合には、背景画像用のカメラの光学中心とリアルタイム画像用の主カメラの光学中心を、ミラー等を用いて光学的に一致させ、あるいは、極めて接近させることで、全周画像の生成を休止せず、リアルタイム画像表示と同時に行うことができる。
また、静止画像やリアルタイム画像中の所望の対象物画像等は、例えば、本願出願人が既に提案している平面展開技術やＰＲＭ技術を利用し、画像内を計測して一部分を平面に展開し、あるいは対象物を自動認識させて、３ＤＣＧ化させることも可能である。
【００６２】
さらに、静止画像内には、リアルタイム画像の認識等に必要となる任意の表示を付加することができる。例えば、リアルタイム画像によって表示される対象物の方位を表示することができる。このようにすると、カメラから見て対象物がどの方向にあるが特定でき、対象物の観察，認識をより容易化することができる。また、一度対象物の方位を記録しておけば、次回からは方位を指定することで対象物とその周囲画像を表示することも可能となる。
ここで言う「方位」とは、地図上で指定できる方向のことで、緯度経度や測量等で利用されている公共座標等が該当する。
このような方位情報を付加することにより、例えば、見ている画像にある対象物を選択すると対象物がどの方向にあるかが表示され、地図上で方向を確認するような場合に有効となる。また、緯度経度によりその方向の画像を見ることもできるようになる。
【００６３】
【発明の効果】
以上説明したように、本発明の一部リアルタイム画像表示装置によれば、背景となる広範囲な画像を結合静止画として生成するとともに、対象物をリアルタイム画像、即ちビデオ画像で動画として生成することができる。これによって、静止画背景画像の中にリアルタイム画像をはめ込んで表示することが可能となり、広域画像を不整合なく正確に表示しつつ、広域画像中に所望の対象物を明瞭な動画像として表示することができる。
しかも、本発明の一部リアルタイム画像表示装置では、背景となる周囲画像を静止画として送信するとともに、所望の対象物を狭い範囲の動画像として送信することができる。これによって、動画と静止画を結合したビデオ画像を送信することが可能となり、帯域の狭い回線であっても所望の対象物の画像を動画像として送信することができる。
【図面の簡単な説明】
【図１】本発明の第一実施形態に係る一部リアルタイム画像表示装置の概略構成を示すブロック図である。
【図２】図１に示す一部リアルタイム画像表示装置で球面画像及び平面画像を取得する状態を模式的に示した説明図である。
【図３】図１に示す一部リアルタイム画像表示装置の動作の一例を示す説明図である。
【図４】図１に示す一部リアルタイム画像表示装置で取得される合成画像の一例を示す説明図である。
【図５】図１に示す一部リアルタイム画像表示装置で取得される合成画像の他の一例を示す説明図である。
【図６】図１に示す一部リアルタイム画像表示装置の動作の他の一例を示す説明図である。
【図７】本発明の第二実施形態に係る一部リアルタイム画像表示装置の概略構成を示すブロック図である。
【図８】図７に示す一部リアルタイム画像表示装置の動作の一例を示す説明図である。
【図９】図７に示す一部リアルタイム画像表示装置で基準仮想平面上で画像を取得する状態を模式的に示した説明図である。
【図１０】図９に示す基準仮想平面に基づいて目的平面上の画像を取得する状態の一例を模式的に示した説明図である。
【図１１】図９に示す基準仮想平面に基づいて目的平面上の画像を取得する状態の他の一例を模式的に示した説明図である。
【図１２】本発明の第三実施形態に係る一部リアルタイム画像表示装置の概略構成を示すブロック図である。
【図１３】図１２に示す一部リアルタイム画像表示装置で取得される合成画像の一例を示す説明図である。
【符号の説明】
１ ビデオカメラ装置
２ カメラ制御装置
３ 球面画像変換装置
４ 球面画像整合装置
５ 球面画像生成装置
６ リアルタイム画像位置指定装置
７ 画面合成装置
８ 平面画像変換装置
９ 表示装置

Claims (7)

1. 所望の視点方向及び画角でカメラ周囲の全部又は一部のビデオ映像を撮影する撮影手段と、
   撮影手段で撮影されるビデオ映像を一又は二以上のフレーム画像として取得し、所望の目的面に整合された静止画周辺画像に変換する静止画周辺画像変換手段と、
   静止画周辺画像の一部を、撮影手段で撮影されるビデオ映像がそのまま出力されるリアルタイム画像の表示範囲として指定するリアルタイム画像指定手段と、
   リアルタイム画像と静止画周辺画像とを一体的に表示する画像合成表示手段と、
   を備えることを特徴とする一部リアルタイム画像表示装置。
2. 前記撮影手段が、所望の視点方向及び画角でビデオ映像を取得するビデオカメラ装置と、ビデオカメラ装置を制御し、所望の視点方向及び画角でカメラ周囲の全部又は一部を走査させるとともに、指定した視点方向及び画角でビデオ映像を取得させるカメラ制御装置と、を備え、
   前記静止画周辺画像変換手段が、ビデオカメラ装置で取得されるビデオ映像の各フレーム画像を、所定の球面画像に変換する球面画像変換装置と、順次変換される球面画像をカメラ周囲の全部又は一部に相当する複合画像として位置合わせし、切れ目無く整合させる球面画像整合装置と、整合された複合画像を仮想球面に貼り付けて球面画像を生成する球面画像生成装置と、を備え、
   前記リアルタイム画像指定手段が、球面画像からなる静止画周辺画像中に所望の周辺表示範囲を指定するリアルタイム画像位置指定装置を備え、
   前記画像合成表示手段が、静止画周辺画像から指定された周辺表示範囲を切り取り、当該切り取り部分に球面変換されたビデオ出力そのままのリアルタイム画像を位置合わせして切れ目無くはめ込む画像合成装置と、合成された静止画周辺画像とリアルタイム画像とを同一面に表示する表示装置と、を備える
   請求項１記載の一部リアルタイム画像表示装置。
3. 前記静止画周辺画像変換手段が、必要に応じて仮想球面に貼り付けられた画像を平面画像に再変換する平面画像変換装置を更に備え、
   前記リアルタイム画像位置指定装置が、平面画像からなる静止画周辺画像中に所望の周辺表示範囲を指定し、
   前記画像合成装置が、指定された周辺表示範囲を切り取り、当該切り取り部分に、平面画像に変換されたリアルタイム画像をはめ込む
   請求項２記載の一部リアルタイム画像表示装置。
4. 前記撮影手段が、所望の視点方向及び画角でビデオ映像を取得するビデオカメラ装置と、ビデオカメラ装置を制御し、所望の視点方向及び画角でカメラ周囲の所定範囲を走査させるとともに、指定した視点方向及び画角でビデオ映像を取得させるカメラ制御装置と、を備え、
   前記静止画周辺画像変換手段が、ビデオカメラ装置で取得されるビデオ映像の各フレーム画像を、所定の目的平面画像に変換する目的平面変換装置と、順次変換される平面画像を複合画像として位置合わせし、切れ目無く整合させる複合画像整合装置と、整合された複合画像を仮想平面に貼り付けて広域画像を生成する広域画像生成装置と、を備え、
   前記リアルタイム画像指定手段が、必要に応じて、広域画像からなる静止画周辺画像中に所望の周辺表示範囲を指定するリアルタイム画像位置指定装置を備え、
   前記画像合成表示手段が、静止画周辺画像から指定された周辺表示範囲を切り取り、当該切り取り部分に、平面変換されたビデオ出力そのままのリアルタイム画像を位置合わせして切れ目無くはめ込む画像合成装置と、合成された広域画像からなる静止画周辺画像とリアルタイム画像とを同一の目的平面に表示する表示装置と、を備える
   請求項１記載の一部リアルタイム画像表示装置。
5. 前記目的平面変換装置が、単数又は複数の基準仮想平面を設定し、単数又は複数のビデオカメラ装置で取得される各視点方向の画像を、所望の基準仮想平面に変換し、
   前記複合画像整合装置が、一又は複数の各視点方向の画像を所望の基準仮想平面上で位置合わせし、継ぎ目無く結合して整合し、
   当該多方向の結合画像を記録することにより、多方向の結合画像を、必要とする任意の目的平面上に変換して所望の画像表示する
   請求項４記載の一部リアルタイム画像表示装置。
6. ビデオ映像撮影用のカメラ側装置と、カメラ側装置を遠隔操作するためのオペレータ側装置とを備え、
   カメラ側装置に、前記撮影手段と、前記静止画周辺画像変換手段と、前記リアルタイム画像指定手段が備えられ、
   オペレータ側装置に、前記画像合成表示手段が備えられ、
   カメラ側装置で取得された静止画周辺画像及び所望のリアルタイム画像がオペレータ側装置に送信され、当該オペレータ側装置で一体的に合成されて表示される請求項１記載の一部リアルタイム画像表示装置。
7. 前記カメラ側装置には、
   前記撮影手段として、所望の視点方向及び画角でビデオ映像を取得するビデオカメラ装置と、指定によりビデオカメラ装置を制御し、所望の視点方向及び画角でカメラ周囲の全部又は一部を走査させるとともに、指定した視点方向及び画角でビデオ映像を取得させるカメラ制御装置と、を備えるとともに、
   前記静止画周辺画像変換手段として、ビデオカメラ装置から画像を取得する画像取得装置と、画像取得装置で取得される画像から静止画周辺画像となるべきフレーム画像を取得する１フレーム画像取得装置と、１フレーム画像を更新する周囲画像更新指定装置と、を備え、
   前記リアルタイム画像指定手段として、リアルタイム画像切り取り位置を指定するリアルタイム画像位置指定装置と、１フレーム画像内の指定された範囲でリアルタイム画像を切り取るリアルタイム画像切り取り装置と、リアルタイム画像と、背景となるべき周囲静止画像との位置関係を指定するリアルタイム画像位置信号付加装置と、を備え、
   さらに、オペレータ側に周囲静止画像信号，リアルタイム画像信号，リアルタイム画像の位置を指定する位置指定信号を送信するカメラ側送信装置と、
   オペレータ側からカメラ制御，周囲画像更新，リアルタイム画像位置の指示を受信するカメラ側受信装置と、を備え、
   前記オペレータ側装置には、
   カメラ側装置から周囲静止画像信号，リアルタイム画像信号，リアルタイム画像の位置を指定する位置指定信号を受信するオペレータ側受信装置と、
   ビデオカメラ装置を遠隔操作し、指定した視点方向及び画角でビデオ映像を取得させるとともに、リアルタイム画像の位置を変更するオペレータ作業装置と、
   オペレータ作業装置の遠隔操作信号をカメラ側に送信するオペレータ側送信装置と、を備えるとともに、
   さらに、前記画像合成表示手段として、受信した周囲静止画像とリアルタイム画像とを、受信した位置指定信号により位置合わせする位置合わせ装置と、位置合わせした周囲静止画画像とリアルタイム画像を合成して合成画像を生成する画像合成装置と、生成された合成画像を最終画像として表示する表示装置と、
   を備える請求項６記載の一部リアルタイム画像表示装置。

Images