JP2008078958A - 映像表示プログラムおよび映像表示システム - Google Patents

Abstract

【課題】ＰＴＺ動作機構を備えたカメラシステムにおいて、動作遅延を感じさせない表示を実現すること。
【解決手段】本発明は、予め、第１の撮影領域から成る第１の画像を記憶する不揮発記憶装置２０４と、第１の撮影領域よりも狭い第２の撮影領域から成る第２の画像を取り込む撮像装置２０１と、第１の画像における第１の撮影領域の中の第２の撮影領域と対応する部分に第２の画像を合成して第３の画像を生成する映像合成装置４０６と、映像合成装置４０６で合成した第３の画像を表示する映像提示装置４０４とを備える映像表示システム１０である。
【選択図】図１

Description

本発明は、パン・チルト・ズーム機能を備えた撮影装置で画像を取り込んで表示する映像表示プログラムおよび映像表示システムに関する。

従来、パン・チルト・ズーム（以下、単に「ＰＴＺ」と言う。）操作可能なカメラにおいて、操作者がカメラのＰＴＺ動作機構に指示を送り、その指示を受けたＰＴＺ動作機構が所定のＰＴＺ操作を行っている。そして、ＰＴＺ操作した結果で撮像された映像をモニタに表示して、操作者はさらに所望のカメラ操作を行っている。

近年では、ネットワーク環境が整ってきたことから遠隔にあるカメラで取り込んだ映像をネットワーク経由で伝送してモニタに映し出すネットワークカメラシステムも盛んに開発されている。また、カメラのＰＴＺ動作機構を利用して画角の広いパノラマ映像を取り込む技術も考えられている（例えば、特許文献１〜３参照。）。

特開平１１−８８４５号公報 特開平１１−１８００３号公報 特開平１１−６５００４号公報

しかしながら、このようなＰＴＺ動作機構を備えたカメラシステムにおいては、ＰＴＺ機構の端点、動作速度の限界、および操作者のＰＴＺ指示伝送／画像伝送にかかわる伝送経路の遅れや不安定さにより、目的の位置に素早くカメラを向けるなど操作者の意図に従った操作を行うのは困難であり、それぞれの伝送路やＰＴＺ機構の特性を踏まえて動作遅延を考慮した操作に慣れる必要がある。

本発明はこのような課題を解決するために成されたものである。すなわち、本発明は、予め、第１の撮影領域から成る第１の画像を撮影装置で取り込んで記憶装置に記憶しておくステップと、第１の撮影領域よりも狭い第２の撮影領域から成る第２の画像を撮影装置で取り込むステップと、第１の画像における第１の撮影領域の中の第２の撮影領域と対応する部分に第２の画像を合成した第３の画像を表示装置に表示するステップとをコンピュータによって実行する映像表示プログラムである。

このような本発明では、予め取り込んである第１の画像に、撮影装置で取り込んだ第２の画像を合成しているため、第１の撮影領域から成る第１の画像内に第１の撮影領域より狭い第２の撮影領域から成る第２の画像が組み込まれる状態となる。これにより、表示装置への映像表示としては広角となる第１の撮影領域を参照できるとともに、撮影装置で取り込んだリアルタイムの映像については第２の撮影領域に限定して各種処理の高速化を図ることができるようになる。

さらに、本発明では、撮影装置の撮影領域の移動指示を受け付けた場合、第３の画像における第１の画像の表示中心を移動指示後の位置に合わせるよう表示装置での表示位置を移動するステップと、移動指示後の位置に撮影装置の撮影領域を移動して第２の撮影領域から成る新たな第２の画像を取り込むステップと、第３の画像における第１の画像の表示中心に新たな第２の画像を合成して新たな第３の画像を表示装置に表示するステップとをコンピュータによって実行する映像表示プログラムである。

このような本発明により、撮影領域の移動指示（パン・チルト）を受け付けた場合、第３の画像における第１の画像の表示中心を移動指示後の位置に合わせることから、予め取り込んである第１の画像を用いた表示位置の変更によって即座に表示中心の移動を行うことができる。また、その第１の画像にリアルタイムの映像である新たな第２の画像を合成することから、移動指示に対応した映像の処理については第２の撮影領域に限定して処理の高速化を図ることができるようになる。

上記の構成では、移動指示の操作完了を待ってから新たな第２の画像を取り込むことでより高速に表示中心を移動することができるようになる。また、移動指示を受け付けて第１の画像の表示中心を移動している間に新たな第２の画像を取り込むようにすると、移動操作に追従したリアルタイム映像を合成できるようになる。

また、本発明は、予め、第１の撮影領域から成る第１の画像を記憶する記憶装置と、第１の撮影領域よりも狭い第２の撮影領域から成る第２の画像を取り込む撮影装置と、第１の画像における第１の撮影領域の中の第２の撮影領域と対応する部分に第２の画像を合成して第３の画像を生成する合成装置と、合成装置で合成した第３の画像を表示する表示装置とを備える映像表示システムである。

このような本発明では、予め取り込んで記憶装置に記憶してある第１の画像に、撮影装置で取り込んだ第２の画像を合成しているため、第１の撮影領域から成る第１の画像内に第１の撮影領域より狭い第２の撮影領域から成る第２の画像が組み込まれ、第３の画像として表示装置で表示される状態となる。これにより、表示装置への映像表示としては広角となる第１の撮影領域を参照できるとともに、撮影装置で取り込んだリアルタイムの映像については第２の撮影領域に限定して各種処理の高速化を図ることができるようになる。

さらに、本発明では、撮影装置の撮影領域の移動指示を受け付ける指示受け付け装置を備えており、指示受け付け装置によって撮影装置の撮影領域の移動指示を受け付けた場合、表示装置が、第３の画像における第１の画像の表示中心を前記移動指示後の位置に合わせるよう表示位置を移動し、撮影装置が、移動指示後の位置に撮影領域を移動して第２の撮影領域から成る新たな第２の画像を取り込み、合成装置が、第３の画像における第１の画像の表示中心に新たな第２の画像を合成して新たな第３の画像を生成し、表示装置に表示させる映像表示システムである。

このような本発明により、撮影領域の移動指示（パン・チルト）を受け付けた場合、第３の画像における第１の画像の表示中心を移動指示後の位置に合わせることから、予め取り込んで記憶装置に記憶してある第１の画像を用いた表示位置の変更によって即座に表示中心の移動を行うことができる。また、その第１の画像にリアルタイムの映像である新たな第２の画像を合成することから、移動指示に対応した映像の処理については第２の撮影領域に限定して処理の高速化を図ることができるようになる。

したがって、本発明によれば次のような効果がある。すなわち、ＰＴＺ機構の速度に制限を受けず、仮想的な透視投影画像の提示の下に迅速な操作を行うことができ、操作者にとって直観的な操作を行うことが可能となる。

以下、本発明の実施の形態を図に基づき説明する。図１は、本実施形態に係る映像表示システムを説明するブロック図である。すなわち、この映像表示システム１０は、撮像端末２０と操作端末４０とがインターネット等の伝送経路３０を介して接続された構成となっている。

このうち、撮像端末２０は、内包する撮像装置２０１で取り込んだ撮像映像信号を信号処理装置２０２に送り、映像信号の圧縮処理を行う。圧縮処理された信号は、バス２１２を介して一旦主記憶装置２０３に格納され、主演算装置２０９で伝達に適した形式に処理され、バス２１２を介して伝達制御装置２１１に伝えられ、さらに伝達経路３０を介して操作端末４０へと送られる。

操作端末４０においては、撮像端末２０から伝達経路３０を介して送られてきた信号を伝達制御装置４０３で受け取り、これをバス４０８を介して映像伸張装置４０７に送り、元の撮像信号に復元し、必要に応じて透視投影映像生成装置４０９や映像合成装置４０６を経て、モニタである映像提示装置４０４により提示する。これにより、撮像装置２０１からの現在の映像提示を受けることができる。

この中で、撮像端末２０は現在映像を取得する前に周辺画像を取り込んでおき、不揮発記憶装置２０４に格納しておく。すなわち、事前に周辺画像取得装置２１０がバス２１２を介して副演算装置２０８に制御コマンドを送ることで、副演算装置２０８に接続されたＰＴＺ駆動機構を動作させる。

ＰＴＺ駆動機構は、駆動装置ｐ２０６、駆動装置ｔ２０７および駆動装置ｚ２０５から成り、これらを副演算装置２０８が制御し、例えばパノラマ画像など、演算処理などにより透視投影映像が生成できる形式になるよう周辺の画像を撮影し、信号処理装置２０２で静止画像に変換する。そして、バス２１２を介して受け取り、合成して不揮発記憶装置２０４に格納する。格納された静止画像は周辺画像（例えば、パノラマ画像）として登録される。ここで、パノラマ画像を取り込む場合には、異なる角度で取り込んだ複数枚の画像をつなぎ合わせる方法がとられる。

一方、操作端末４０においては、不揮発記憶装置２０４に格納されたパノラマ画像などの周辺画像を伝送経路３０、伝送制御装置４０３およびバス４０８を介して取得する。そして、副演算装置２０８が保持するＰＴＺ駆動機構により撮像装置２０１が向いている方向の現在の映像情報を第２の画像として同様の経路で取得し、それを元に、透視投影映像生成装置４０５によって周辺画像から第２の画像の撮影方向と対応した透視投影映像（第１の画像）を生成し、映像合成装置４０６を用いることで透視投影映像（第１の画像）と前述の手段で得られた現在の映像情報（第２の画像）とを合成して第３の画像を生成する。そして、この第３の画像を映像提示装置４０４にて提示する。

透視投影映像生成装置４０５によってパノラマ画像などの周辺画像から透視投影映像を生成するのは、パノラマ画像などの連続した複数枚の画像をつなぎ合わせた画像では特に周辺部分での歪みが発生していることから、現在の映像（第２の画像）と合成する際の見た目の違和感を無くすため、第２の画像の視点に合わせた透視投影映像を用いるためである。また、同様な観点から、第２の画像について必要に応じて透視投影映像を用いる場合は透視投影映像生成装置４０９によって第２の画像から透視投影映像を生成し、合成の際に用いる。

このような構成によって、第３の画像の提示では、予め取得したパノラマ画像などの周辺画像を元に生成した透視投影映像の中に、現在の映像である第２の画像が組み込まれた状態となり、現在撮影している場所が周辺画像の中のどの位置にあたるのかを容易に把握できるとともに、現在撮影している箇所についてはリアルタイムの映像を参照できることになる。

ここで、操作者により操作装置４０１が操作されていない状態における映像提示の様子を図２に示す。図２において、５０３が不揮発記憶装置２０４に格納されたパノラマ画像などの周辺画像であり、５０が映像提示装置４０４によって提示される表示領域である。表示領域５０には、映像提示枠５０６の外側に操作端末４０を実現する操作装置５０７が表示されている。操作装置５０７は図１に示す操作装置４０１と対応するものであるが、映像提示装置４０４の表示領域５０内に示されるソフトウェアキーとして実現されており、グラフィックによってジョイスティックや矢印キーといったアイコン表示で示されている。操作者は、マウスポインタ等の制御によって操作装置５０７を選択し、所望のＰＴＺ操作を行うことができる。なお、操作装置はハードウェアキーとして実現しても同様である。

周辺画像５０３の中に示される５０１の枠は、撮像装置２０１によって取り込まれた第２の画像（現在の撮影画像）の映像取得画角を示すもので、５０２の枠で仮想的な透視投影映像（第１の画像）が提示される画角を示している。つまり、予め撮影して格納されたパノラマ画像などの周辺画像のうち一部の領域（第１の撮像領域）が透視投影映像（第１の画像）として映像提示装置４０の表示領域５０の周辺表示領域５０４内に表示され、さらにその第１の撮像領域内の撮像装置２０１による現在映像の撮影領域と対応する位置に、第１の撮影領域より狭い第２の撮像領域から成る第２の画像（現在の撮影画像）が合成されることになる。

具体的には、それぞれの内容は映像提示装置４０４の表示領域５０に示され、撮影表示領域５０５に撮像装置２０１が撮影している現在の映像がそのまま提示され、その外側である周辺表示領域５０４には不揮発記憶装置２０４に格納されたパノラマ画像などの周辺画像を元に、透視投影映像生成装置４０５が生成した透視投影映像（第１の画像）がグレースケール等で表示される。

第１の画像に第２の画像を合成する場合には、第１の画像の表示領域の中の第２の画像の撮影領域と対応する部分に第２の画像を合成するため、合成された後の第３の画像としては、パノラマ画像などの周辺画像の中に現在撮影中の画像（第２の画像）が連続的に埋め込まれる状態となる。したがって、現在撮影している画像が周辺画像の中のどこに位置するかを違和感なく把握することができる。

なお、上記のように操作装置５０７を操作していない場合の表示では、映像提示枠５０６を例えば実線で示し、操作装置５０７により操作者が操作していないことを視覚的に把握できるようにすることが望ましい。

次に、操作装置５０７を操作中における映像提示の様子を図３に示す。図３において、６０１の枠は、撮像装置２０１によって取り込まれた第２の画像（現在の撮影画像）の映像取得画角を示すもので、６０２の枠で仮想的な透視投影映像（第１の画像）が提示される画角を示している。つまり、操作者が操作装置６０５を操作するのに連動して映像提示装置４０の表示領域６０内に示される映像が動く。

図３に示す例では、図２に示す撮影位置に対して右方向にパン操作している状態を示している。このとき、撮像端末２０のＰＴＺ駆動機構は実際に動作させずに、操作装置６０５により操作された移動量を操作装置４０１において計算し、仮想的な座標を計算し、その座標に基づき、パノラマ画像などの周辺画像の表示位置だけを変更して、透視投影映像生成装置４０５が生成した透視投影映像を周辺表示領域６０３にグレースケールで提示する。つまり、予め取り込まれている周辺画像の表示位置を操作装置６０５の移動量に合わせて移動し、周辺画像の表示だけをパン操作に合わせて移動することで、あたかも撮像装置２０１の向きが変わったかのごとく表示する。

そして、この移動表示と同時に、撮像装置２０１が撮像している現在の映像（第２の画像）の周辺画像に対する位置を計算し、周辺画像に基づく透視投影映像（第１の画像）の中の撮影装置２０１による撮影位置に合わせて第２の画像を合成する。

具体的には、ＰＴＺ機構制御信号生成装置４０２を利用して副演算装置２０８が保持するＰＴＺ機構が撮像装置２０１の向いている座標を問い合わせ、その結果を元に、透視投影映像生成装置４０５が周辺画像から透視投影映像に変換し、映像合成装置４０６により合成して新たな第３の画像を生成し、映像提示装置４０４における映像提示枠６０４に提示する。これにより、映像提示枠６０４の周辺表示領域６０３のみがパン操作に合わせて先行移動し、現在の撮影表示領域６０６は元の位置のまま表示されることになる。

なお、上記のように操作装置６０５を操作している間では、映像提示枠６０４を例えば破線で示し、操作装置６０５により操作者が操作中であることを視覚的に把握できるようにすることが望ましい。

また、操作者により操作中の状態で、なおかつ、ＰＴＺ機構が動作可能な状態である場合、操作装置６０５により計算された仮想的な座標へＰＴＺ機構が実際に移動するよう、ＰＴＺ機構制御信号生成装置４０２を用いて、ＰＴＺ機構を制御する副演算装置２０８に制御信号を送ることで、可能な限り撮像装置２０１が撮像した現在の映像が提示されるように、ＰＴＺ機構を制御する。

次に、操作完了後における映像提示の様子を図４に示す。図４において、７０１の枠は、撮像装置２０１によって取り込まれた第２の画像（現在の撮影画像）の映像取得画角を示すもので、７０２の枠で仮想的な透視投影映像（第１の画像）が提示される画角を示している。つまり、操作者が操作装置７０５による操作を完了すると、操作装置７０５により計算された仮想的な座標へＰＴＺ機構が実際に移動するよう、ＰＴＺ機構制御信号生成装置４０２を用いて、ＰＴＺ機構を制御する副演算装置２０８に制御信号を送り、ＰＴＺ機構を操作者が操作完了時に目的とした座標まで移動させる。

ＰＴＺ機構の動作が完了したとき、映像提示装置４０４の表示領域７０における撮影表示領域７０６に撮像装置２０１で撮像した現在の映像（新たな第２の画像）を提示し、周辺表示領域７０３に、透視投影映像生成装置４０５が生成した透視投影映像（第１の画像）をグレースケール等で表示する。

具体的には、ＰＴＺ動作完了後の撮像装置２０１が撮像している現在の映像（新たな第２の画像）の周辺画像に対する位置を計算し、周辺画像に基づく透視投影映像（第１の画像）と新たな第２の画像とを映像合成装置４０６により合成して新たな第３の画像を生成する。そして、生成された新たな第３の画像を映像提示装置４０４における７０４の領域に提示する。これにより、ＰＴＺ動作完了後の第３の画像（合成画像）の表示中心には、リアルタイムで取り込んだ第２の画像が提示されることになる。

なお、このとき、映像提示枠７０４を例えば実線表示に戻すことで、操作装置７０５による操作者の操作が完了したことを視覚的に把握できるようにすることが望ましい。

このような映像表示システムにより、映像提示装置４０４への映像表示としては広角となる透視投影映像の表示を参照できるとともに、撮像装置２０１で取り込んだリアルタイムの映像については透視投影映像の中に範囲を限定した状態で表示することができ、各種処理の高速化を図ることができるようになる。

特に、ＰＴＺ駆動機構を利用して撮像装置２０１の向きを変えた場合、予め取り込んであるパノラマ画像などの周辺画像から生成した透視投影映像の表示位置を変更することによって、すでに取り込んである画像（周辺画像）を利用した迅速な処理によってＰＴＺ動作指示と時間差なく表示中心の移動を行うことができ、また、その透視投影映像にリアルタイムの映像である新たな第２の画像を合成することから、ＰＴＺ移動指示に対応した映像の処理については第２の撮影領域に限定して迅速な処理を行うことができるようになる。

このため、操作者は自らの操作によって撮像装置２０１の向きを変える指示を行った場合、その操作指示に即座に追従して表示位置が変わるようになることから、ＰＴＺ駆動操作の遅延を考慮した動作の慣れや、ＰＴＺ動作と実際の表示動作との感覚のずれによる違和感を覚えることなく、直観的なカメラ操作を行うことが可能となる。

また、ＰＴＺ駆動機構における端点において表示上では操作がさえぎられることがなく、透視投影映像の提示の下に端点を越えて操作することもでき、また、ＰＴＺ駆動指示、画像の伝送路／機構／伝送にかかわる装置／伝送を行う装置に一定／不定をよらず遅れがあったり、不安定であったりする環境においても的確に操作することが可能となる。

なお、ＰＴＺ駆動機構の動作範囲を超えて操作された場合でも周辺画像が存在する限り表示位置の変更を行うことはできるが、現在の映像としてはＰＴＺ駆動の限界の位置となり、その位置に対応して取り込み画像の合成が行われることになる。

また、ＰＴＺ駆動機構の動作範囲を超える動きのほかに、ＰＴＺ駆動機構の動作範囲の限界で表示位置の変更を止めることも考えられる。すなわちＰＴＺ機構を実際操作したときと同様の制限を与えることで、実際のＰＴＺ機構操作を再現することが可能となる。

また、上記実施形態の説明では、主として撮像装置２０１の撮影方向を移動するパン操作の場合を例として説明したが、ズームイン・ズームアウトを行う場合であっても適用可能である。

すなわち、操作装置４０１によってズームイン・ズームアウトの指示を受け付けた場合、先ず、映像提示装置４０４が、パノラマ画像などの周辺画像から生成した透視投影映像（第１の画像）の表示領域をズームイン・ズームアウトに合わせるよう変更し、その後、撮像装置２０１が、ズームイン・ズームアウト指示に合わせて撮影領域を変更して新たな第２の撮影領域から成る第２の画像を取り込み、映像合成装置４０６が、１の画像の表示中心に新たな第２の撮影領域から成る第２の画像を合成して新たな第３の画像を生成し、映像提示装置４０４に表示させる。これにより、ズームイン・ズームアウト指示であっても迅速に処理することが可能となる。

次に、本実施形態に係る映像表示プログラムの処理の流れを図５〜図７のフローチャートに沿って説明する。この映像表示プログラムは主として制御端末４０を含むコンピュータによって実行されるものである。

ここで、図５は映像提示処理８０１、図６は映像提示処理で用いられる透視投影映像と撮像画像の合成処理９０１、図７はＰＴＺ機構制御処理１００１の処理の流れが示されており、映像提示処理８０１とＰＴＺ機構制御処理１００１とは平行して処理される。

先ず、以下に示す処理に先立ち、予めパノラマ画像などの周辺画像を取り込んでおき、不揮発記憶装置２０４に格納しておく。この状態で、映像提示処理８０１は、操作装置４０１が操作中であるかどうかを８０２条件分岐において判断する。ここで操作中でなければ、８０３処理において副演算装置２０８が持つＰＴＺ機構の座標を問い合わせ、それを現在の仮想座標とする。

一方、もし操作中であれば、８０４処理において操作装置４０１で操作された移動量を読み込み、これを元に仮想的な座標を算出する。次に、処理８０３もしくは処理８０４で得た仮想的な座標を用いて、処理８０５により周辺画像の透視投影映像とリアルタイムで取り込んだ撮像画像との合成処理（図６に示す合成処理９０１）を呼び出して実行する。

図６に示す合成処理９０１では、先ず、処理９０２において、与えられた仮想座標を元に、不揮発記憶装置２０４に格納されたパノラマ画像などの周辺画像から透視投影映像を生成する。続いて、処理９０３において、副演算装置２０８が持つＰＴＺ機構の座標に基づき、必要であれば撮像装置２０１が撮像した現在の映像から、与えられた座標を元に透視投影映像を生成し、これらの映像を合成して、映像提示処理８０１に戻る。

映像提示処理８０１では、処理８０６で合成された画像の映像提示装置４０４への提示を行う。なお、これらの処理は無条件で繰り返される。

そして、これらの処理と同時に、ＰＴＺ機構制御処理１００１を行う。この処理においては、まず、１００２条件分岐において、操作装置４０１により操作者が操作中であるか、操作を完了したところであるか、無操作状態であるかを判定する。

無操作状態であった場合、１００２条件分岐に戻る。これにより、現在の表示位置がそのまま維持され、合成映像の中の現在映像のみが更新されることになる。

また、操作装置４０１の操作が完了であった場合、処理１００３において、操作された移動量を元に操作装置４０１において計算された仮想的な座標を元に、ＰＴＺ機構制御信号生成装置４０２を用いて、ＰＴＺ機構を制御する副演算装置２０８に制御信号を送り、ＰＴＺ機構を目的とした座標まで移動させる。これにより、ＰＴＺ機構による移動後の映像が取り込まれ、合成映像の中に組み込まれることになる。

なお、１００２条件分岐で操作中であった場合、１００４条件分岐により、ＰＴＺ機構が動作中であるかを調査し、動作中であればその動作を続行し、１００２条件分岐に戻る。一方、動作中でなければ１００３処理に移り、操作中の仮想的な座標にＰＴＺ機構を制御することで、可能な限り撮像装置２０１が撮像した現在の映像が提示されるようにする。なお、この処理が完了すれば、無条件で１００２条件分岐に戻り、これらの処理が繰り返される。

このような映像表示プログラムによれば、ＰＴＺ駆動機構を利用して撮像装置２０１の向きを変えた場合、予め取り込んであるパノラマ画像などの周辺画像から生成した透視投影映像の表示位置を変更することによって即座に表示中心の移動を行うことができ、また、その透視投影映像にリアルタイムの映像である新たな第２の画像を合成することから、移動指示に対応した映像の処理については第２の撮影領域に限定して迅速な処理を行うことができるようになる。

また、このような映像表示プログラムは、単独のアプリケーションプログラムとして実現しても、またインターネットブラウザをベースとして組み込まれるプログラムとして実現してもよい。

本実施形態の変形例として、次のような例が考えられる。
（１）パノラマ画像などの周辺画像を撮像端末２０に内蔵された不揮発記憶装置２０４の代わりに、操作端末４０の内部に格納しておく構成。すなわち、この構成では、事前に取得しておく周辺画像を制御端末４０側に格納しておき、撮像装置２０１での取り込み画像との合成を行う際、操作端末４０側に格納された周辺画像を利用して透視投影映像を生成する。したがって、撮像端末２０としては周辺画像の取り込みおよび格納といった本発明特有の構成を備えている必要がなく、汎用の撮像手段を用いることができるというメリットがある。

（２）周辺画像取得装置２１０に相当する機能を撮像端末２０に内蔵する代わりに、制御端末４０の内部に格納しておく構成。すなわち、この構成では、事前に取得しておく周辺画像を、撮像端末２０自身で取得するのではなく、制御端末４０側でＰＴＺ駆動機構を制御し、例えばパノラマ画像など、演算処理などにより透視投影映像が生成できる形式になるよう周辺の画像を撮影し、合成する。したがって、操作端末の処理能力が十分に高い場合、専用の周辺画像取得装置２１０に相当する機能を制御端末に組み込む必要がなくなるというメリットがある。

（３）パノラマ画像などの周辺画像を、撮像端末２０に内蔵される時計や明度計の値に応じて予め複数撮影して格納しておき、撮像装置２０１でリアルタイムの映像を取り込むときの時刻や明度に応じて、制御端末４０へ出力するパノラマ画像などの周辺画像を切り替える構成。

例えば、昼間の時間帯に撮像装置２０１で映像を取り込む場合、予め取り込んである複数の周辺画像のうち、その時間帯に対応して取り込んだ周辺画像を選択して制御端末４０に送信する。これにより、周辺画像から生成する透視投影映像と、これに合成する撮像装置２０１で取り込んだリアルタイムの映像との明度を概ね合わせることができ、異なるタイミングで取り込んだ２つの画像を合成した場合でも境界部分での明度差による違和感を解消することができる。

また、上記のような周辺画像の選択による切り替えを行わない構成も考えられる。この場合、撮像装置２０１でリアルタイムの映像を取り込む時間帯に関わらず、パノラマ画像などの周辺画像については常に昼間の映像を用いる。これにより、例えば、合成画像のうちリアルタイムの映像は夜間の映像でありながら、その周辺のパノラマ画像などは昼間に取り込んだ画像となり、リアルタイムの映像についてＰＴＺ操作を行う際に移動先となる周辺の目標物を的確に把握しながら行うことが可能となる。

また、周辺画像の取り込みを定期的に行って、常に最新のものに更新しておくことも考えられる。つまり、周辺画像は事前に取り込んである過去の映像であることから、現在では撮影対象物が変化している場合もある。このため、なるべく新しい周辺画像に更新しておくことで、リアルタイムの映像を合成した際の周辺画像との境目での違和感を抑制することができる。

（４）操作中であることを操作者に伝える手段として、映像提示枠５０６が破線、実線の状態変化ではなく、枠外、枠内、枠上を問わず、色、形、音などの他の手段により伝達する構成。すなわち、上記説明した実施形態では、映像提示装置４０４の表示領域に示される画像の表示枠として、操作装置を操作しているときと操作していないときとの区別を枠の線種で示していたが、枠の色や形、音などの変更によってその旨を示すようにしてもよい。

（５）仮想的な透視投影映像であることを示すため、周辺表示領域５０４をグレースケールで提示する代わりに、ハッチングを施す、彩度、輝度、解像度などの変化により伝達する構成。すなわち、上記説明した実施形態では、透視投影映像の表示をグレースケールで提示する例を示したが、この表示をグレースケールの代わりにハッチング表示にしたり、彩度、輝度、解像度などをリアルタイム映像である第２の画像に対して低くして表示したりすることが考えられる。

本実施形態に係る映像表示システムを説明するブロック図である。 操作者により操作装置が操作されていない状態における映像提示の様子を説明する模式図である。 操作者により操作装置が操作されている状態における映像提示の様子を説明する模式図である。 操作完了後における映像提示の様子を説明する模式図である。 映像提示処理を説明するフローチャートである。 合成処理を説明するフローチャートである。 ＰＴＺ機構制御処理を説明するフローチャートである。

符号の説明

１０…映像表示システム、２０…撮像端末、３０…伝送経路、４０…操作端末、２０１…撮像装置、２０２…信号処理装置、２０３…主記憶装置、２０４…不揮発記憶装置、２０５…駆動装置ｚ、２０６…駆動装置ｐ、２０７…駆動装置ｔ、２０８…副演算装置、２０９…主演算装置、２１０…周辺画像取得装置、２１１…伝達制御装置、４０１…操作装置、４０２…ＰＴＺ機構制御信号生成装置、４０３…伝送制御装置、４０４…映像提示装置、４０５…透視投影映像生成装置、４０６…映像合成装置、４０７…映像信号伸張装置、４０９…透視投影映像生成装置

Claims (11)

1. 予め、第１の撮影領域から成る第１の画像を撮影装置で取り込んで記憶装置に記憶しておくステップと、
   前記第１の撮影領域よりも狭い第２の撮影領域から成る第２の画像を撮影装置で取り込むステップと、
   前記第１の画像における前記第１の撮影領域の中の前記第２の撮影領域と対応する部分に前記第２の画像を合成した第３の画像を表示装置に表示するステップと
   をコンピュータによって実行することを特徴とする映像表示プログラム。
2. 前記撮影装置の撮影領域の移動指示を受け付けた場合、前記第３の画像における前記第１の画像の表示中心を前記移動指示後の位置に合わせるよう表示装置での表示位置を移動するステップと、
   前記移動指示後の位置に前記撮影装置の撮影領域を移動して前記第２の撮影領域から成る新たな第２の画像を取り込むステップと、
   前記第３の画像における前記第１の画像の表示中心に前記新たな第２の画像を合成して新たな第３の画像を表示装置に表示するステップと
   をコンピュータによって実行することを特徴とする請求項１記載の映像表示プログラム。
3. 前記新たな第２の画像を取り込むステップは、前記撮影装置の撮影領域の移動指示を受け付けた後、前記第３の画像における前記第１の画像の表示中心を前記移動指示後の位置に合わせるよう表示位置の移動が完了してから実行する
   ことを特徴とする請求項２記載の映像表示プログラム。
4. 前記新たな第２の画像を取り込むステップは、前記撮影装置の撮影領域の移動指示を受け付けた後、前記第３の画像における前記第１の画像の表示中心を前記移動指示後の位置に合わせるよう表示位置を移動している間に実行する
   ことを特徴とする請求項２記載の映像表示プログラム。
5. 前記第１の画像を時間帯に応じて複数用意しておき、前記第２の画像の撮影時間帯に合わせて選択された一つを前記第３の画像に用いる
   ことを特徴とする請求項１記載の映像表示プログラム。
6. 前記第１の画像の表示解像度は前記第２の画像の表示解像度より低い
   ことを特徴とする請求項１記載の映像表示プログラム。
7. 前記撮影装置の撮影領域の移動指示を受け付けて、前記第３の画像における前記第１の画像の表示中心を前記移動指示後の位置に合わせるよう表示装置での表示位置の移動を開始してから、前記新たな第３の画像を表示装置に表示するまでの間、前記表示装置の表示が仮想的であることを示す旨の表示を行う
   ことを特徴とする請求項２記載の映像表示プログラム。
8. 前記撮影装置の撮影領域の望遠もしくは広角指示を受け付けた場合、前記第３の画像における前記第１の画像の表示領域を前記望遠もしくは広角指示に合わせるよう表示装置での表示を変更するステップと、
   前記望遠もしくは広角指示に合わせて前記撮影装置の撮影領域を変更して新たな第２の撮影領域から成る第２の画像を取り込むステップと、
   前記第３の画像における前記第１の画像の表示中心に前記新たな第２の撮影領域から成る第２の画像を合成して新たな第３の画像を表示装置に表示するステップと
   をコンピュータによって実行することを特徴とする請求項１記載の映像表示プログラム。
9. 予め、第１の撮影領域から成る第１の画像を記憶する記憶装置と、
   前記第１の撮影領域よりも狭い第２の撮影領域から成る第２の画像を取り込む撮影装置と、
   前記第１の画像における前記第１の撮影領域の中の前記第２の撮影領域と対応する部分に前記第２の画像を合成して第３の画像を生成する合成装置と、
   前記合成装置で合成した前記第３の画像を表示する表示装置と
   を備えることを特徴とする映像表示システム。
10. 前記撮影装置の撮影領域の移動指示を受け付ける指示受け付け装置を備えており、
    前記指示受け付け装置によって前記撮影装置の撮影領域の移動指示を受け付けた場合、
    前記表示装置は、前記第３の画像における前記第１の画像の表示中心を前記移動指示後の位置に合わせるよう表示位置を移動し、
    前記撮影装置は、前記移動指示後の位置に撮影領域を移動して前記第２の撮影領域から成る新たな第２の画像を取り込み、
    前記合成装置は、前記第３の画像における前記第１の画像の表示中心に前記新たな第２の画像を合成して新たな第３の画像を生成し、前記表示装置に表示させる
    ことを特徴とする請求項９記載の映像表示システム。
11. 前記撮影装置の撮影領域の望遠もしくは広角指示を受け付ける指示受け付け装置を備えており、
    前記指示受け付け装置によって前記撮影装置の撮影領域の望遠もしくは広角指示を受け付けた場合、
    前記表示装置は、前記第３の画像における前記第１の画像の表示領域を前記望遠もしくは広角指示に合わせるよう変更し、
    前記撮影装置は、前記望遠もしくは広角指示に合わせて撮影領域を変更して新たな第２の撮影領域から成る第２の画像を取り込み、
    前記合成装置は、前記第３の画像における前記第１の画像の表示中心に前記新たな第２の撮影領域から成る第２の画像を合成して新たな第３の画像を生成し、前記表示装置に表示させる
    ことを特徴とする請求項９記載の映像表示システム。

Images