JP2005192057A - 空間画像の切出し表示方法及び装置 - Google Patents

Abstract

【課題】任意の場所に設置したカメラが撮影した空間画像をコンピュータや携帯端末などのディスプレイでリアルタイムに閲覧するための直感的で操作性の良いインタフェースを備えたシステムを提供する。
【解決手段】全方位カメラで撮影した空間画像から観察者が指定する部分画像３４を切出してディスプレイに表示する画像の表示方法において、ディスプレイ画面上にカメラ位置マーク２７を含む地域画２８を表示し、当該地域画２８上で指定地点座標２９が入力されたときに、当該指定地点を中心とする部分表示窓３３を生成し、カメラ位置マーク２７から見た当該指定地点の方向の部分画像３４を切出して部分表示窓３３に表示する。カメラ設置場所の間取り図や地形図２８の上に部分画像３４が重ねて表示され、間取り図や地形図が背景として表示されているので、部分表示窓３３に表示されている画像がどの方角のものか一目瞭然となる。
【選択図】 図４

Description

この発明は、カメラ設置地点の周囲の画像を遠隔地のディスプレイに表示する方法及び装置に関するもので、例えば屋外の景観や建築物の内部を全方位カメラ（魚眼レンズを装着したカメラを含む。以下及び特許請求の範囲において同じ。）で撮影した空間画像から観察者が望む方向及び画角の矩形画像を切出してディスプレイ画面上に表示する方法及び装置に関するものである。

ディスプレイ画面上に地図や鳥瞰図などの地域画を表示し、この地域画上の予め定められた特定地点に対応する位置に地点記号を重ねて表示して、その地点記号がポイントされたときに、当該地点の景観を示す画像をディスプレイ画面上に表示する画像表示方法は公知である。

また特許文献１には、ディスプレイ画面上に表示された地域画上に地点記号を表示し、当該地点の方向指定情報が入力されたときに、当該地点の画像情報から指定方向の画像部分を切り出して表示する画像表示方法が、この発明の出願人によって提案されている。
特開２００１−２１５９４１号公報

この発明は、任意の場所に設置した全方位レンズないし魚眼レンズなどの広角レンズを搭載したカメラが撮影した画像をコンピュータ端末や携帯電話などのディスプレイでリアルタイムに閲覧するためのシステムを提供することを課題としており、特に、全方位カメラが撮影した空間画像から観察者が望む方向の部分画像ないし拡大画像を閲覧可能にするための、直感的で操作性の良い画像表示方法及び装置を提供することを課題としている。

本願発明は、全方位カメラ１６で撮影した空間画像２２から観察者が指定する部分画像３４を切出してディスプレイに表示する画像の表示方法において、コンピュータシステムにカメラ設置場所周囲の地域画データを記憶し、ディスプレイ画面上にカメラ位置マーク２７を含む地域画２８を表示し、当該地域画２８上で指定地点座標２９が入力されたときに、当該指定地点を中心とする部分表示窓３３を生成し、カメラ位置マーク２７から見た当該指定地点の方向の部分画像３４を切出して前記部分表示窓３３に表示する、空間画像の切出し表示方法を提供することにより、上記課題を解決している。

本願の請求項２の発明は、上記手段を備えた空間画像の切出し表示方法において、前記部分画像３４の切出し領域が、前記指定地点２９から所定の視野角２α0、２β0で前記方向を見た領域であることを特徴とするものである。

また本願の請求項３の発明は、上記手段を備えた空間画像の切出し表示方法において、地域画２８上で部分表示窓３３を移動させる移動手段を備え、部分表示窓３３の中心を指定地点として空間画像２２から切出した部分画像３４を当該部分表示窓に表示することを特徴とするものである。

更に本願の請求項４の発明は、上記手段を備えた空間画像の切出し表示方法において、空間画像２２から所定の上下視野角２β0で全周を切出した全周画像３６をディスプレイ上の全周表示窓３５に表示し、当該全周画像の上下スクロールを検出したときにそのスクロール量から空間画像２２から部分画像３４を切出すときの仰角φを設定することを特徴とするものである。

本願の請求項５の発明に係る空間画像の切出し表示装置は、上記のこの発明の方法を実施するためのコンピュータシステムであって、空間画像２２から指定されたビュー方向θ、φの指定された視野角２α、２βの部分画像３４を切出す切出し手段を備えた画像表示システムにおいて、カメラ位置マーク２７を含む地域画２８の記憶手段と、地域画２８上の指定地点２９の入力手段と、地域画２８の基準方向に対する地域画上のカメラ位置２７と指定地点２９とを結ぶ方向θを検出する方位角検出手段と、地域画２８上のカメラ位置２７から指定地点２９までの距離と予め記憶した被写体距離から視野角を演算する視野角演算手段とを備え、前記切出し手段は、前記方位角検出手段で検出した方位角θの方向をビュー方向として前記視野角演算手段で演算された視野角２α、２βの部分画像を切出すというものである。

本願の請求項６の発明は、上記手段を備えた空間画像の切出し表示装置において、空間画像２２から指定された上下視野角２β0で全周円環画像２６を切出す全周切出し手段と、切出した全周円環画像を矩形の全周画像３６に変換する座標変換手段とを備えた請求項５記載の空間画像の切出し表示装置において、全周表示窓３５に表示された全周画像３６の上下スクロール手段と、当該スクロール量に対応して前記ビュー方向の仰角φを変化させる仰角変更手段を備えていることを特徴とするものである。

この発明の方法及び装置では、全方位カメラの設置場所の間取り図や地形図２８の上に部分画像３４が重ねて表示され、間取り図や地形図が背景として表示されているので、部分表示窓３３に表示されている画像がどの方角のものか一目瞭然となる。表示端末に表示されている部分画像３４をマウスで掴んでカメラ位置マーク２７の周囲を回したり、キーボードの左右方向キーを押下することで、部分画像の表示位置が移動して、移動先の方角の部分画像を閲覧することができる。観察者は、間取り図や地形図上での見たい方向や視線を移動したい方向が直感的に把握でき、高齢者や幼児でも簡単に閲覧操作ができる。

表示される複数の部分表示窓３３に青、黄、赤、緑などの色分けをしておき、全周表示窓の上辺に同じ色の三角形を一対一で表示するようにすれば、各部分画像がどの辺りを表示しているかも判断しやすくなる。

全周画像３６をマウスで掴んで上下に動かしたり、またはキーボードの上下キーを押下したりすると、部分表示窓３３に表示される景色を垂直方向に視点移動させることができる。また、部分画像３４をマウスで掴んでカメラ位置マーク２７からの遠ざけたり近づけたり、またはキーボードのページアップ、ページダウンキーを押下したりすると、部分表示窓３３に表示される景色がズームイン、ズームアウトされる。更に部分画像３４をダブルクリックすると、その部分画像がディスプレイに全画面表示される。

以上のように、この発明により、観察者は部分画像の表示位置を移動したり全周画像の垂直方向を移動することで、部分画像の表示内容を自由にコントロールすることができる。従って、操作性に優れ、直感的で分かりやすい遠隔地の空間画像の表示インタフェースを提供できる。

以下、図面を参照して、この発明の実施の形態を説明する。この発明を実施するシステム構成としては、スタンドアロン型、ネットワーク型、キャプチャサーバ型、配信ＷＷＷサーバ型などの各種の形態が可能であるが、以下キャプチャサーバ型を例にして説明する。

キャプチャサーバ型は、図１に示すように、全方位カメラ（以下、単に「カメラ」とも言う。）１６を接続したキャプチャサーバ１をインターネットやＬＡＮなどのネットワーク２に接続する形態である。キャプチャサーバ１には、Ｗｅｂサーバ機能を内蔵させておき、コンピュータ端末３だけでなく、携帯電話などのモバイル端末４からのアクセスも可能にできる。

キャプチャサーバ１は、ＣＰＵ、ディスプレイ、メインメモリ、キーボード、ネットワークインターフェイスなどを備えたコンピュータで、その補助記憶装置には、ネットワーク接続プログラム、データ送受信プログラム、ブラウザなどの一般的なプログラムのほかに、ビュープログラム（ビューア）が登録（インストール）されている。

ビュープログラムは、カメラ１６を中心とする仮想球面２０上における指定されたビュー方向θ、φの指定された視野角２α、２βの部分球面２３を撮像面２１に投影して、カメラ１６から受信した円環状の空間画像２２から部分画像２４を切出す部分切出しプログラム、上記仮想球面２０上における基準上下視野角２β0の環状球面２５を撮像面２１に投影して、空間画像２２から全周円環画像２６を切出す全周切出しプログラム、切出した直交座標系の部分円環画像２４及び全周円環画像２６を直交座標系の矩形の部分画像３４及び全周画像３６に変換する座標変換プログラム、カメラ１６の設置位置マーク２７を含むカメラ周囲の平面を示す地域画データ、指定地点の座標情報を受信したときに地域画２８上におけるカメラ位置マーク２７と指定地点２９とを結ぶ線分の画面の基準方向に対する方向を方位角θとする方位角検出プログラム、地域画上のカメラ位置マーク２７と指定地点２９との距離ｄ及び予め登録された被写体距離ｒや全周画像の基準上下視野角２β0などから視野角２α、２βを演算する視野角演算プログラム、及び、全周画像３６に対する上下スクロール信号を受信したときに当該スクロール量に対応して前記ビュー方向の仰角φを変化させる仰角変更プログラムを含んでいる。

部分切出しプログラムは、図２、３に示すように、方位角検出プログラムで検出した方位角θの方向で、かつデフォルトの仰角φ0又は仰角変更プログラムで変更された仰角φをビュー方向とし、視野角演算プログラムで演算された視野角２α、２βの部分円環画像２４を撮像画像２２から切出す。

また全周切出しプログラムは、図５、６に示すように、デフォルトの仰角φ0又は仰角変更プログラムで変更された仰角φの全周円環画像２６を撮像画像２２から切出す。

図４は、表示端末３のディスプレイ画面の例で、地域画２８の下に全周表示窓３５が配置されており、部分表示窓３３は、指定地点２９を中心とする所定寸法の窓として、地点が指定されたときに生成される。キャプチャサーバ１の画面生成・送信プログラムは、地域画２８、部分画像３４及び全周画像３６を配置し、必要ならばデータのフォーマット変換を行って、画面データをアクセスした表示端末３、４に送信する。

次に直交座標系の空間画像２２からの全周画像３６及び部分画像３４の切出しの詳細について説明する。

全周切出しプログラムは、図５、６に示すように、仮想球面２０上にデフォルトの仰角φ0を中心とする基準上下視野角２β0で設定される環状球面２５を、撮像面２１に投影して全周円環画像２６を切出し、座標変換プログラムに送る。座標変換プログラムは、受取った画像を基準方位角を横軸原点とする直交座標系の矩形画像に変換して、全方位を表示する全周画像３６を生成し、画面生成・送信プログラムで表示端末３、４に送信する。送信された画像は、表示端末のディスプレイの全周表示窓３５に表示される。表示される全周画像の仰角φは、全周画像３６をスクロールするかドラッグすることによって変更する。すなわち、端末のディスプレイに表示された全周画像３６がマウスポインタでスクロールないしドラッグされたとき、マウスポインタの上下移動量がキャプチャサーバ１に送信され、キャプチャサーバの仰角演算プログラムは、受信した上下移動量に比例した角度で仰角φを変更して切出し画面を更新する。

部分切出しプログラムは、図２、３に示すように、仮想球面２０上における指定された方位角θ、仰角φのビュー方向（視線方向）を中心とする左右視野角２α、上下視野角２βの領域２３を、撮像面２１に投影して、撮像面２１上の空間画像２２から部分円環画像２４を切出す。

ビュー方向の方位角θは、地域画２８の通常は中心に表示されたカメラ位置マーク２７の座標と、マウスポインタ２９の座標とを結ぶ直線が基準方向（例えば屋外の地域画で北を真上、あるいは屋内の地域画で入口を真下として表示したときのカメラ位置マーク２７の真上又は真下の方向）と成す角度を演算することにより得られる。ビュー方向の仰角φは、表示している全周画像の仰角である。

視野角２α、２βは、人が実際に見える範囲を元にして設定した基準視野角２α0、２β0と、カメラから被写体までの距離Ｒとカメラ位置マーク２７からマウスポインタ２９までの距離ｄの比で与えられる部分円環画像２４のズーム倍率ｚから、
α＝tan^-1Ｗ／２／ｚ×ｒ
β＝tan^-1Ｈ／２／ｚ×ｒ
で得られる。ここで、Ｗは部分円環画像２４の円周方向の幅、Ｈは部分円環画像２４の半径方向の幅、ｒは部分球面２３と円２２の中心距離である。

このようにして得られた部分円環画像２４は、座標変換プログラムで直交座標系の矩形画像に変換され、得られた部分画像３４が画面生成・送信プログラムで表示端末３、４に送信され、表示端末３、４のディスプレイの部分表示窓３３に表示される。

観察者が観察プログラムを起動し、観察したい地域を指定すると、ディスプレイに地域画２８とデフォルトの仰角の全周画像３６が表示される。観察者が地域画２８の上で見たい方向をマウスポインタでポイントすると、ポイントした点を枠中心とする部分表示窓３３が生成され、上記のようにして空間画像２２からポイントされた方向の部分画像３４が切出されて、生成された部分表示窓３３に表示される。このとき、カメラ位置マーク２７から離れた位置（被写体に近い位置）をポイントすれば、ズームアップされた部分画像が表示される。観察者が表示された部分画像３４をドラッグすると、当該窓が移動し、この移動に従って方位角θ及び視野角２α、２βを逐次計算して画像の切出し範囲を連続的に変化させることにより、部分表示窓３３に表示される画像が変化する。

表示される部分画像３４の仰角φは、全周表示窓３５に表示された画像を上下にスクロールないしドラッグすることにより変更できる。すなわち、観察者が上方を見たければ全周画像３６を上方にスクロールし、下方を見たければ下方にスクロールしてやればよい。

以下に、キャプチャサーバ型でのこの発明の画像表示時における処理の流れを説明する。観察者が表示端末３を操作してキャプチャサーバ１にアクセスすると、キャプチャサーバ１は初期画面を表示端末３に送信し、表示端末のディスプレイにカメラ位置マーク２７を含む地域画２８とデフォルトの全周画像３６から成る初期画面が表示される。操作者がディスプレイの地域画上の所望地点をダブルクリックすると、当該地点の座標がキャプチャサーバ１に送られる。キャプチャサーバ１は、受信した地点情報に基づいて部分表示窓を生成し、切出した部分画像を表示した部分表示窓３３を含む画面データを表示端末３に送信してディスプレイ画面を更新する。

カメラ１６から新しい撮影画像を受信すると、キャプチャサーバ１は、新たに受信した画像から部分画像３４及び全周画像３６を切出して、更新された画面データを表示端末に送信して、表示端末のディスプレイ画面を更新する。

操作者が新たに地域画上をダブルクリックすると、同様にして二枚目の部分表示窓３３ａが開き、当該地点の部分画像３４ａが表示される。この操作により、地域画２８上に複数の部分表示窓を開くことができる（図４）。操作者が表示されている部分表示窓３３をドラッグすると、部分表示窓３３が移動し、その移動中心の座標が変更された指定地点座標としてキャプチャサーバ１に送信される。キャプチャサーバ１は、変更された地点座標に基づいて部分画像を切出し、表示端末に送信してディスプレイの部分画像を更新する。また操作者が部分画像の一つ３４をダブルクリックすると、その部分画像がディスプレイ画面いっぱいに表示される。当該画面を再びダブルクリックすると、元の部分表示窓の表示に戻る。

観察者がディスプレイに表示されている全周画像３６を上下にスクロールすると、スクロール情報がキャプチャサーバ１に送信され、キャプチャサーバ１は受信したスクロール量に基づいて全周画像の仰角及び部分画像の仰角φを変更して全周画像及び部分画像３４の切出しを行い、新たに切出した全周画像及び部分画像を表示端末に送って表示されている全周画像及び総ての部分画像を仰角の異なる新たな画像に更新する。

表示端末が携帯電話などのモバイル端末４であるときは、アクセスを受けたときにキャプチャサーバ１は、端末４に画像フォーマットの問い合せ信号を送り、返信されたフォーマット情報に基づいて生成した画面データのフォーマットを変換して送信する。

以上の説明は、ビュープログラムによる空間画像からの部分画像及び全周画像の切出しをキャプチャサーバで行う例であるが、表示端末側に処理能力があれば、表示端末にビュープログラムを登録して表示端末側で画像の切出し処理を行っても良いことは勿論である。また、ネットワークを経由しないでコンピュータ端末３とカメラとを接続したスタンドアロン型のシステムでは、画像の処理と表示のすべてがコンピュータ端末で行われることになる。また、カメラがネットワークに接続可能なカメラであれば、カメラを直接ネットワークにつなぎ、配信サーバがカメラから空間画像を取り込んで端末側に配信し、端末側で画像の切出しと表示を行う構成とすることもできる。

ハードウェア構成の例を示すブロック図 部分画像の切出しを示す説明図 撮影画像と部分画像の関係を示す図 表示画面の例を示す図 全周画像の切出しを示す説明図 撮影画像と全周画像の関係を示す図

符号の説明

22 空間画像
28 地域画
34 部分画像
θ 方位角
φ 仰角
2α 視野角
2β 視野角

Claims (6)

1. 全方位カメラで撮影した空間画像から観察者が指定する部分画像を切出してディスプレイに表示する画像の表示方法において、コンピュータシステムにカメラ設置場所周囲の地域画データを記憶し、ディスプレイ画面上にカメラ位置マークを含む地域画を表示し、当該地域画上で指定地点座標が入力されたときに、当該指定地点を中心とする部分表示窓を生成し、カメラ位置マークから見た当該指定地点の方向の部分画像を切出して前記部分表示窓に表示する、空間画像の切出し表示方法。
2. 前記部分画像の切出し領域が、前記指定地点から所定の視野角で前記方向を見た領域である、請求項１記載の空間画像の切出し表示方法。
3. 地域画上で部分表示窓を移動させる移動手段を備え、部分表示窓の中心を指定地点として空間画像から切出した部分画像を当該部分表示窓に表示する、請求項１又は２記載の空間画像の切出し表示方法。
4. 空間画像から所定の上下視野角で全周を切出した全周画像をディスプレイ上の全周表示窓に表示し、当該全周画像の上下スクロールを検出したときにそのスクロール量から空間画像から部分画像を切出すときの仰角を設定する、請求項１、２又は３記載の空間画像の切出し表示方法。
5. 空間画像(22)から指定されたビュー方向(θ,φ)の指定された視野角(2α,2β)の部分画像(34)を切出す切出し手段を備えた画像表示システムにおいて、カメラ位置マークを含む地域画(28)の記憶手段と、地域画上の指定地点の入力手段と、地域画の基準方向に対する地域画上のカメラ位置と指定地点とを結ぶ方向を検出する方位角検出手段と、地域画上のカメラ位置から指定地までの距離と予め記憶した被写体距離から視野角を演算する視野角演算手段とを備え、前記切出し手段は、前記方位角検出手段で検出した方位角(θ)の方向をビュー方向として前記視野角演算手段で演算された視野角(2α,2β)の部分画像を切出す、空間画像の切出し表示装置。
6. 空間画像(22)から指定された上下視野角(2β0)で全周円環画像(26)を切出す全周切出し手段と、切出した全周円環画像を矩形の全周画像(36)に変換する座標変換手段とを備えた請求項５記載の空間画像の切出し表示装置において、全周表示窓(35)に表示された全周画像(36)の上下スクロール手段と、当該スクロール量に対応して前記ビュー方向の仰角(φ)を変化させる仰角変更手段を備えている、請求項５記載の空間画像の切出し表示装置。

Images