JP2006345386A - 監視カメラの撮影範囲の表示装置 - Google Patents

Abstract

【課題】 遠隔監視用ネットワークカメラサーバにおいて、全方位カメラを用いた場合に、撮影対象者が全方位カメラのどの部分をクライアントが閲覧しているかはっきりしない。この点を改善する事を目的とし、閲覧者の閲覧範囲を撮影対象者が認識出来るようにする。
【解決手段】 全方位カメラに、方向指示用のＬＥＤを装備することで問題を解決する。その他の構成は、ネットワークカメラサーバ及びクライアントソフトから構成される。
【選択図】 図１

Description

本発明は全方位カメラの撮影範囲を撮影対象者に通知する方法とその装置に関するものである。

現在、遠隔監視カメラシステムとしてインターネット及びイントラネットなどと接続可能なネットワークカメラシステムが用いられ実用化されてきている。

このようなネットワークカメラシステムは、銀行やコンビニエンスストア、スーパー、宝石店、消費者金融等のあらゆる業種の店内などに強盗や窃盗、万引き防止のために設置されている。通信方式としてTCP/IPプロトコルなどを用いているため、遠距離からの監視制御が可能になっている。

これらの監視は、固定カメラを用いて監視する場合もあるが、Pan/Tilt/Zoom可能なカメラを組み合わせることで広範囲の視野を監視することが可能になっている。

このようなシステムの応用例として、監視目的用途で用いるシステムとほぼ同様な構成要素のシステムを用いて、インターネット等への動画配信を行い、一般の人に公開を行っている動画配信ネットワークカメラも存在する。

このようなカメラの使用用途を、監視用途と対比してWebCasting用途と呼ぶこととする。

WebCastinrg用途は、遠隔地のライブ映像などを不特定多数に対して配信することで、インターネットのコンテンツをより魅力的にすることが可能になっている。

このように監視用途とWebCasting用途のネットワークカメラシステムは、Pan/Tilt/Zoom可能なカメラを用いることによって撮影視野範囲を広げて来たが、更に全方位カメラを用いることで、360度全ての方向の映像が一度に送信出来るシステムも存在している。

例えば「尾上，山澤，横矢，竹村：“全方位画像からの視線追従型実時間画像生成によるテレプレゼンス”，信学技報，PRMU97-20(1997-05) (非特許文献1)」では，回転双曲面ミラーを用いて撮影した全方位画像を遠隔地の利用者に送信し，利用者の視線方向の透視投影画像を生成するテレプレゼンスシステムを提案している。

またBe Here Co.出願のUSP6043837 (特許文献４)では，指定した全方位画像の扇型部分領域を送信し，利用者側でこれを矩形領域に変換して表示する方式が開示されている。

同様な手法は、松下情報システム社出願の特開平11−205772(特許文献1)においても開示されており，複数の利用者が同時に仮想的なカメラ操作を行うために，回転双曲面ミラーを用いて撮影した全方位画像を複数の利用者に送信し，各利用者側で受信画像の一部を矩形画像に変換して表示したり，全方位画像を矩形画像に変換してその一部を利用者に送信したりする方法が提案されている。

またシャープ社出願の特開2000-132673(特許文献2)においても，あらかじめ蓄積した全方位画像を必要に応じて利用者に送信し，一部分を矩形画像に展開して表示する方式が開示されている。

魚眼レンズなどの広角レンズを用いた例は，IBM Co.出願の特開平8−279999(特許文献3)などをはじめとしてTV会議システムに多数応用されている．また静止画像への応用としては，デジタルカメラで撮影した二枚の画像から，上下左右360度の任意方向の画像を生成するiPIX社の技術がある。
松下情報システム社出願の特開平11−205772 シャープ社出願の特開2000-132673 IBM Co.出願の特開平8−279999 Be Here Co.出願のUSP6043837 尾上，山澤，横矢，竹村："全方位画像からの視線追従型実時間画像生成によるテレプレゼンス"，信学技報，PRMU97-20(1997-05)

従来の技術に示されるように、遠隔ネットワークカメラシステムを遠隔監視用途で用いる場合、監視カメラ自体を隠す場合がある。

これは店頭などに監視カメラを設置した場合、来店する顧客に対しては、監視カメラが目に入ることによって気分を害するなどの心理的な問題が生じるためである。

特に、Pan/Tilt/Zoom可能なカメラを用いると、撮影されている方向が一目で分かってしまう。

そのため、店頭等に設置される監視用途のPan/Tilt/Zoom可能なカメラは、ドーム状のケースに入れることで、その存在を露骨に見えないようにする手段を用いることがある。

しかし、このような例とは違い、WebCastring用途のカメラなどの場合に、この要求と全く逆のニーズが存在する場合がある。

例えば、カメラに映ることが重要であり、撮影されている撮影対象者などが、カメラの写っている方向を意識して、ポーズなどを取る場合がある。

このような場合、撮影対象者は、Pan/Tilt/Zoom可能なカメラを用いると、カメラの閲覧者の撮影状況を類推することが可能であり、それに合わせて行動することが可能である。

また、監視用途であっても、不審者などに対して監視カメラの存在をアピールすることでより防犯力を高めるといった効果があり、撮影方向が一目で分かるPan,Tilt.Zoom可能なカメラを用いる場合もあり、カメラのPan/Tilt/Zoom動作をする挙動自体が重要な要素となりうる。

こういった状況は、言うまでもなくPan/Tilt/Zoom可能なカメラが、比較的容易に一目でカメラの撮影方向がわかるためである。

もし、このような用途を想定して、監視やWebCastingなどで全方位カメラを用いるとすると、上記に示される効果が低減する可能性がある。

全方位カメラは360度全ての方向を一度に閲覧することが可能であるが、360度全体の視野の中で更にどの部分が現在閲覧対象として注目されているのかといったことを全方位カメラ自体を見ただけで類推することは難しい。

また、全方位カメラは、360度全ての方向を一度に閲覧することが可能であるが、360度全ての方向のデータを一度に送信するとネットワークの負荷が大きくなる場合がある。

このような場合、クライアント装置がサーバ装置に対して、撮影範囲を指定して、その部分のデータのみをクライアントに送信することで、ネットワーク負荷を低減させることが可能である。

この例として、携帯電話をクライアントに用いる例が挙げられる。携帯電話は、ネットワーク帯域が非常に小さく、閲覧する画面も小さいため、360度全方位の画像を送信するよりも、クライアントが注目する箇所の画像を全体の画像からクリッピングした画像を送信する方が閲覧効率が良くなる。

このような場合でも、全方位カメラを用いているシステムでは、クライアントがそのカメラのどの部分を閲覧しているのかといった情報を、撮影対象者が、全方位カメラを見るだけでは、判別することが出来ない。

そのため、前述のような撮影対象者がカメラの撮影方向や範囲を知った方が良い場合に、不都合が生じてしまう。

そこで、本提案では、このような場合に、全方位カメラを用いても、撮影対象者が、クライアントの閲覧している方向や範囲を簡単に知ることが可能になることを実現するシステムを提案するものである。

サーバー装置に映像をデジタル化しネットワークに送信する事が可能な映像送出手段と、光学的に全方位撮影が可能な光学撮影手段と、クライアントのサーバの映像を閲覧箇所を表示する出力手段を備え、撮影対象者がクライアントの閲覧している範囲を認知することが可能な遠隔監視装置を用いる。

第一の請求項から第三の請求項によって全方位カメラで撮影されて閲覧対象とされている範囲を撮影対象者がその場所を認知することが可能となる。

（第一の実施例）
第一の発明は、全方位カメラの撮影範囲を撮影対象者に通知する方法とその装置に関するものである。

本実施例は、図面を基に説明を行う。

図１は、本提案の全方位カメラシステムを示している。

01-02は、全方位カメラを示している。全方位カメラに関しては、従来の技術で示されているような方法を流用している。全方位カメラでは、360度の視野を持っておりその映像を１つの画像データとして撮影をすることが可能である。

また全方位カメラの下部には360度の方向に上段、中段、下段を示すLEDを備えている。このLEDはクライアントが閲覧している範囲を示すものである。このLEDの数や段数に限定はなく、精度を高く要求する場合には細かく配置しても良い。逆に、精度を特に要求されない場合は、装備する数を低減させても構わない。

01-04及び01-05及び01-06はクライアント装置を示している。クライアント装置は、クライアント操作者の指示の入力可能なGUIもしくは物理的なスイッチ等を備えた装置であり、01-07で示されるネットワークに接続可能であれば、どのような機器を用いても構わない。

特に、本件ではパーソナルコンピュータやノート型コンピュータを図示しているが、携帯電話のような機器を用いても構わないし、ホームサーバシステムなどのWebアクセス可能なセットトップボックスなどをクライアント装置として用いても構わない。

01-07は、ネットワークを示している。本件では特に、TCP/IPネットワークを用いている。しかし、このネットワークに関して、物理層やソフトウェア層などの種類を特に限定するものではなく、IPX/SPXやATMなどTCP/IPの代替手段となるものを用いればどのような転送方法を用いても良い。

01-08は、カメラサーバ装置を示している。カメラサーバ装置は、全方位カメラ01-02の映像を取得し配信することを目的としている。カメラサーバ装置では、全方位カメラから取得した全方位画像データからパノラマ画像データに展開し、クライアント装置の要求する部分のクリップ画像データを作成し、クライアント装置に送信を行っている。

本実施例は、カメラサーバ01-08に全方位カメラ画像の変形処理とクリップ処理を行わせているが、このような処理はクライアント装置内で行っても良い。

この場合は、カメラサーバ装置から全方位画像データ全てをクライアント装置に送信する処理のみを行う。これを受信したクライアント装置によって画像の変形処理とクリップ処理を行う。

さらに、クライアント装置は、閲覧している画像範囲であるクライアント参照PTZ座標データは、カメラサーバ装置に送る。そして、このクライアント参照PTZ座標データを元にして、全方位カメラの方向指示LEDを点灯させることが可能になる。

このような実施も可能であるが、本実施例では、サーバ装置内で、画像のクリップ処理を行う事を説明する。

図２は、本実施例で使用する回転体ミラーの構造例を示す。

02-01は、回転体ミラーの外観の模式図である．回転体ミラーはミラー部，ミラー部を支えるガラス筒部，カメラ装着用のねじを持つカメラ接続部，黒針などからなる。

ミラー部の断面は球，放物線，双曲線などの形状である．このような回転体ミラーの構造例に関しては特開平11-174603に詳しく述べられている。

02-02は、撮影原理であり，回転体ミラーがカメラに装着された状態を模式的に示している。

ここで空間上の点Pを出た光線は回転体ミラーに反射して02-02のような経路によって，レンズを通過しCCD面に到達する。

その結果，例えばカメラを垂直方向上に向けて撮影した場合，02-03に示すような全方位画像を得る。

02-03の全方位画像の中心には黒針部が02-03中央のように円状に存在する．その外側に周囲360度の画像が回転体ミラーの外周まで存在する。

さらにその外側にはミラーを介さずに直接カメラに入る光線や，回転体ミラー底面が映る。

図では直接カメラに入る光線は省略しているが，この光線の有無は本発明には無関係である。

なお、回転体ミラーには「八木：“全方位ビジョンの研究動向”，コンピュータビジョンとイメージメディア，Vol125, pp.147-160」に述べられているようにさまざまな種類のものが存在し，黒針部が無いものや，ミラーの保持方法が異なるものなどが存在するが，本発明の汎用性を損なうものではない。

02-03の全方位画像は、02-04に示すようなパノラマ画像に変換することができる。

これは全方位画像の中心を定めて同心円上に存在する点を矩形領域の横軸方向に並べることによって可能である。

また回転体ミラーを用いたときの，空間上の点と全方位画像上の点との対応関係が特開平06-295333に詳しく述べられており，空間中に設けた円筒面に全方位画像を逆投影することで，パノラマ画像を生成することもできる。

通常画像はパノラマ画像の一部を切り出すことによって生成できるし，あるいは空間上に画像平面を決めて全方位画像上の点を投影することによっても生成できる。

このようなパノラマ画像の生成方法に関しては従来例に詳しく述べられているので説明を省略する。

図3は、全方位カメラの撮影範囲とクリップ画像生成に関しての概念を示している。

03-10は、図2で示される手法によって全方位カメラによって得られた画像から得られたパノラマ画像を示している。

03-01及び03-06は、撮影対象者を示している。それぞれを物体A及び物体Bとする。

この物体Aと物体Bは、図1でも示されるように、全方位カメラに撮影されている物体であり、図2で示される手法を用いて、03-10で示されるパノラマ画像を得ることが可能になる。

03-02及び03-04及び03-07は、クライアント装置を示している。

クライアント装置の映像出力装置には、03-05及び03-03に示されるようにクライアント装置GUIが表示されている。

カメラサーバ装置では、03-10で示されるパノラマ画像データの一部をクリッピング処理を行い、クライアント装置へ送信を行う。

例えば、03-04クライアント装置に対しては、03-04に示されるクリップ領域を送信している。

同様に、03-07クライアント装置に対しては、03-09で示されるクリップ領域を送信している。

03-08及び03-09で示される領域をクライアント参照PTZ座標データとして、サーバ装置-クライアント装置間でデータの送受信が行われる。

図4は、全方位カメラ詳細図を示している。

04-06は、全方位カメラの上方からの図を示している。

04-07は、全方位カメラの側面からの図を示している。

全方位カメラの下部には、方向を指示するLEDランプが備えられている。

このランプは周囲360度全方向に備えられている。

例えば04-04で示される点灯するLEDランプは、現在クライアントが参照しているパン方向を示している。

図4に示す例では、基準を右方向に0度とした場合に、180度方向と270度方向の二方向に対して、クライアント装置が閲覧を行っているということがわかる。

側面に関しても04-07に示されるようにLEDランプが配置されている。

この配置は一例であり、チルト方向に対して認識することが可能であれば、他の配置を用いても良い。

04-05に示される例であれば、Tilt方向の上方向45度の方向とTilt方向の0度の方向の２方向に関して、クライアント装置が閲覧していることがわかる。

また、参照領域が広範囲に行う場合は、隣接する複数のLEDランプを点灯させることで、その範囲を表示することも可能である。

このようにクライアント装置の参照領域をLEDランプで明示することで、撮影対象者は、全方位カメラの撮影方向を把握することが可能である。

なお、実施例に示すランプの配置に関しては、本実施例と全く同一にする必要はない。

LEDランプの位置は、別途別の場所に備えられていても良い。

図５は、撮影空間に対しての撮影対象者の位置とLEDランプが点灯する関係を説明するための全方位カメラランプ点灯概要を示している。

05-10は、本提案の全方位カメラの方向指示LEDの動作を上方から表現する図である。

05-11は、本提案の全方位カメラの方向指示LEDの動作を側面から表現する図である。

それぞれの撮影対象者は、05-01及び05-05及び05-04及び05-07であり、便宜的に物体Aと物体Bとする。上方からの図05-10の例で示されるように周囲にある方向指示LEDが点灯する状態を示している。

クライアント装置が物体Aを閲覧した場合、その視点の方向は、全方位カメラの中心点から物体Aの方向になる。

この中心点と物体Aとの視線方向と全方位カメラの周囲の交点に位置する方向指示LEDが点灯することになる。

このようなカメラサーバ装置の動作によって05-03の方向指示LEDでクライアント参照PTZ座標データを表している。

このカメラサーバ装置の動作は、物体Bも物体Aと同様に、クライアントから閲覧を行った場合に、その物体Bと全方位カメラの中心点で結ばれる視線との交点上にある方向指示LEDが点灯されることになる。

この状態を方向指示LED05-02が示している。

このようなサーバ装置に接続されている全方位カメラの動作によって方向指示LEDを点灯することで、撮影対象者である物体Aと物体Bは、全方位カメラの撮影範囲を認識することが可能である。

水平方向と同様に鉛直方向に関してもほぼ同様に動作をする。

05-11で示される図は、05-10で示される図の系の鉛直方向を示している図である。

物体Aが全方位カメラに対して高い位置に存在する。そのため、この物体Aをクライアント装置が閲覧した場合の視線方向と、全方位カメラの中心点との交点上に存在する方向指示LEDが点灯をする。

つまり、05-09の上方の方向指示LEDが点灯する。

物体Bに関しても同様で、物体Bが全方位カメラに対してほぼ水平位置に存在する。この物体Bをクライアントが閲覧した場合の視線方向と、全方位カメラの中心点との交点上に存在する方向指示LEDが点灯をする。

この状態を方向指示LED05-08が示している。

このようにして鉛直方向に関しても物体Aと物体Bは、全方位カメラにおいてクライアントが閲覧している範囲を知ることが可能になる。

本実施例では、撮影対象物と全方位カメラがほぼ水平位置にあるという前提で説明をしているが、これは、特に必須ではない。

また、特に、方向指示LEDが全方位カメラに備え付けられた場合について説明をしているが、方向指示LEDは、必ず全方位カメラに備え付けられている必要はない。

全方位カメラの撮影方式や撮影範囲に応じて、クライアント装置の参照する方向を明瞭に示す方法があるのであれば、方向指示LEDは、全方位カメラ周囲に配置する必要はない。

撮影対象者にとってクライアント閲覧域が、簡単に把握出来る方法を実施するのであれば、方向指示LEDを用いる以外の方法(例えば、ディスプレなどで表示など)を用いることも可能である。

しかし、物体A及び物体Bがクライアントの閲覧域を簡単に把握出来うるように、クライアント閲覧域とその表示方法は、相関があるように表示されるように実施をする。

図6は、カメラサーバ装置内部を示している図である。

06-02は、ネットワークを示している。06-06は全方位カメラを示している。

06-01及び06-03及び06-04及び06-05及び06-08は、カメラサーバ装置内部の構成装置を示している。

06-01は、中央演算処理装置CPUである。06-03は、主記憶装置Memory(RAM/ROM)である。

06-04は、ネットワーク通信装置であり、ネットワーク06-02に接続されている。ネットワークへの接続方式は、既存のものを使用することが可能であり、電線/光/無線などを用いることが可能である。

06-05は、画像入力装置を示している。全方位カメラからの映像を画像入力装置によってカメラサーバに入力を行う。

06-08は、全方位カメラ制御装置を示している。全方位カメラ制御装置によって、方向指示LEDなどを点灯させる制御信号をカメラサーバから送ることが可能になる。

各装置は全てバスラインで接続されており、装置間は相互に連帯して動作することが可能である。

図7は、クライアント装置内部を示している図である。

07-04は、ネットワークを示している。07-05は、画像表示装置を示している。

07-10及び07-11は、外部に接続された入力機器装置を示している。

07-01/07-02/07-03/07-05/07-06/07-08/07-09は全てクライアント装置の内部構成装置を示している。

07-01は、中央演算処理装置CPUを示している。07-02は、主記憶装置Memory(RAM/ROM)を示している。07-03は、ネットワークへの接続装置を示している。07-06及び07-07は補助記憶装置(HD/MO/CD/DVDなど)を示している。07-08は、画像出力装置を示している。07-09は、外部入力装置を示している。

各装置は、バスラインで結ばれることで、装置間同士の連帯動作が可能となる。

これらの装置構成は、一般的なパーソナルコンピュータと同一である。

また、携帯電話やノート側パソコン、PDAなどは、基本的な構成はほぼ同一ではあるが、画像装置が一体化されたり、ネットワークへの接続手段が違う場合があるが、論理的にはほぼ同一の構成をしている。

これらの装置は、クライアント装置の種類によって構成が異なる。

特に図7に示している例では、一般的なパーソナルコンピュータをクライアント装置として用いた例を示しているが、ノート型パソコンを用いた場合は、これらの装置がクライアント装置と一体化されている場合がある。また、携帯電話やPDA機器の場合だと、07-05/07-10/07-11が一体化されているのに加えて、形状も大きく異なる。しかし、一般的な動作は同じであると想定している。

また、ネットワークの接続に関しても、物理的な接続状態は問題ではなく論理的に接続が行われていれば、電送経路は電気/光/無線など、どのようなものを用いても構わない。

図8は、全方位カメラ装置の内部構造に関して示した図である。

08-06は、ネットワークカメラサーバ装置を示している。

全方位カメラは、サーバに接続され、サーバに対して映像を送り続ける。

そして、方向指示LEDの制御線も接続されることで、サーバ装置が、方向指示LEDの駆動を制御することが出来る。

08-01/08-02/08-03/08-05/08-04は、全方位カメラを示している。08-01は、方向指示LEDを示している。08-02は、方向指示LEDの表示状態を制御する装置を示している。08-03は、光学系の装置を示している。本実施例では双曲面反射鏡を用いている。08-05は、光学による入力を電気信号に変えるCCDカメラなどの装置を示している。08-04は、その撮影装置の制御を行う装置を示している。

このように全方位カメラは、方向指示LEDを駆動制御するための装置と、全方位を撮影するための光学系部とそれを撮影する撮影装置から構成されている。

図9は、クライアント装置でのサーバ装置操作用のGUIを示している。

09-01は、ブラウザソフトを示している。このソフトウェアは、HTML言語及びHTTPプロトコルをベースとした閲覧ソフトを示している。

09-07は、そのHTML言語内で指示されたアプレットと呼ばれるプログラムモジュールの表示域を示している。

このアプレットは、Java（登録商標）言語やC言語などで記述されており、ブラウザソフトの機能を拡張する目的で後から追加することが可能なプログラムである。

この画面を表示するために、09-06で示される用にネットワーク上のリソースの位置を示すURIと呼ばれるアドレスを入力することで、ネットワークカメラサーバ装置へ接続することが可能になる。

アプレット09-07は、画像表示域09-02及び、カメラ操作制御用ツールバー09-03及び09-04及び09-05で構成されている。09-02で表示されている範囲は、クライアント参照PTZ座標データとして、カメラサーバ上で作成されるパノラマ画像上の座標と表示範囲を示している。

このクライアント参照PTZ座標データは、09-03によってパン方向、09-04によってチルト方向、09-05によってズーム方向の制御が可能であり、変更が行われる度に、クライアント装置からサーバ装置に対して送信される。

本実施例に示すクライアント装置のGUIは、主にパーソナルコンピュータ用のGUIであり、この形態や形状、表示方法などは、クライアント装置の特性によって最適化される。

この場合の重要な要素は、接続先サーバを示す入力UI、得られる画像の表示域、クライアント参照PTZ座標データの変更UIの３点であり、これを備えてあれば、どのように実施しても構わない。

図10は、本実施例のソフトウェア構成を示す図である。

10-01は、全方位カメラ装置を示している。

この全方位カメラはサーバ装置に接続されている。

サーバ装置内部では、10-06/10-07/10-09/10-11/10-16の５個のソフトウェアプロセスが起動している。それぞれのプロセスはお互いにデータを交換しながら連帯して動作を行っている。

まず、最初に画像送信に関しての流れを説明する。

映像データは、全方位カメラ10-01にて撮影される。全方位画像データ10-08は、画像取得プロセスによってデジタル化が行われ生成される。この全方位画像データは、02-03で示されるような画像データである。

この全方位画像データを、パノラマ画像生成プロセス10-07が受け取る。パノラマ画像作成プロセスは、全方位画像データ02-03からパノラマ画像データ10-03を作成する。このパノラマ画像データ10-03は、02-04で示される画像データであり、詳細については前述で述べている。

こうして作成されたパノラマ画像データ10-03は、パノラマ切り出しプロセス10-11に送られる。

パノラマ切り出しプロセスでは、クライアント装置からのクライアント参照PTZ座標10-10に基づいてパノラマ画像データのクリッピング処理を行う。この処理によって各クライアント毎の映像データ10-14が生成される。

パノラマ画像データから、映像データ10-14の生成に成功したパノラマ切り出しプロセスは、通信プロセス10-16に送られ、クライアント装置の要求に応じて、この映像データ10-14をクライアントに送出する。

次に、カメラの方向指示LEDの駆動に関しての処理の流れを説明する。

通信プロセス10-16は、クライアント装置からのクライアント参照PTZ座標データを受信する。クライアント装置はGUIの操作によりクライアント参照PTZ情報が更新されるたびに、サーバ装置に対してクライアント参照PTZ座標を送信する。

通信プロセス10-16は、クライアント参照データを受信すると、10-09で示されるPanTiltZoomデータ受信プロセス10-09に送られる。PnaTiltZoomデータ受信プロセスは、このクライアント参照PTZ座標データに応じて、閲覧対象になっている範囲の方向指示LEDを点灯させる制御信号を全方位カメラ10-01に対して送信することで、全方位カメラの下部の方向指示LEDを駆動させることが出来る。

このようにしてサーバ装置は、クライアント装置に、全方位カメラの映像を送信することが可能となる。

クライアント装置に関しては、10-12/10-13/10-20の3個のソフトウェアプロセスが起動している。それぞれのプロセスはお互いにデータを交換しながら連来して動作を行っている。

映像データの流れは、通信プロセス10-20が、サーバ装置からの映像データ10-17を受信する。受信を行うと、映像表示プロセス10-12に映像データを渡す。

その後、10-04で示されるクライアントGUIに表示される。

クライアント参照PTZ座標データに関しては、クライアントGUIである10-04でGUIが操作されると、その情報を、PanTiltZoomGUI制御プロセス10-13がイベントとして受け取る。

このGUIが操作されたというイベントから、クライアント参照PTZ座標データを作成する。

作成されたクライアント参照PTZ座標データ10-18は、通信プロセス10-20に渡される。

こうして、通信プロセス10-20は、サーバ装置に対して映像の撮影範囲を送信することが可能になり、クライアントの閲覧している範囲に関しての情報をサーバ装置は、把握することが可能になる。

図11は、本提案のシステムの内部によって使用されるデータの例を示したものである。

11-01は、全方位画像データを示している。全方位画像データは、画像データ、キャプチャ画像サイズ、中心点座標、Tilt中心半径、Tilt最大半径、Tilt最小半径、Pan原点角度などの要素から成り立っている。

11-02は、11-01から生成されるパノラマ画像データを示している。パノラマ画像データは、画像データ、画像サイズ、Pan最大角度、Pan最小角度、Pan中心位置、Tilt最大角度、Tilt最小角度、Tilt中心角度などの要素から成り立っている。

11-03は、クライアント参照PTZ座標データを示している。この座標データによってクライアント装置が閲覧している範囲をサーバ装置に通知する事が可能になる。サーバ装置は、この情報を元にして、パノラマ画像のクリッピング処理を行ったり、方向指示LEDの点灯の判定処理などを行っている。

11-04は、映像データを示している。11-02のパノラマデータを11-03のクライアント参照PTZ座標データから算出を行ってクリッピングした画像データである。

映像データは、画像データ、取得画像座標(P,T,Z)や作成時刻などの情報から成り立っており、サーバ装置からクライアント装置に送られる内容である。

クライアント装置では、この画像データを受信し、表示を行っている。

図12は、サーバのソフトウェアのフローチャートを示している。

サーバ装置のソフトウェアの起動は、12-01から実行が開始される。12-02から12-05までで、サーバ装置内のプロセス(画像取得プロセス、PantTiltZoomデータ受信プロセス、パノラマ画像作成プロセス、通信プロセス)を全て起動する。そして、12-07にてサーバ装置全体の終了を待ち、終了であれば、12-08にて全プロセスを停止し、サーバ装置を終了12-09する。

12-02から12-05にて各プロセスが起動されるので、その流れを説明する。

画像取得プロセスは、全方位カメラからの映像の取得を繰り返すプロセスである。12-10からプロセスは開始される。画像取得環境の初期化12-11を行う。

画像取得プロセスは、12-12から12-14間を繰り返すことによって、全方位カメラの映像を取得し続ける。12-12にて全方位カメラの画像の取得を行い、12-13にて取得した全方位カメラの映像をパノラマ画像作成プロセスに渡す。

そして、12-14にて終了判定を行い、サーバ装置が終了でないのであれば、再び12-12から処理を繰り返す。

こうして、全方位カメラの映像をサーバ装置内に取り込む。

また、もしサーバ装置の終了を12-14で検出した場合は、12-15にて画像取得環境の終了処理を行い、12-16にてプロセスを終了する。

パノラマ画像作成プロセスは、12-17から実行される。このプロセスは、12-04にて起動される。

12-18にてパノラマ画像作成に関する初期化を実施する。

このプロセスは、初期化後、画像取得プロセスからの全方位カメラの映像の取得の度に１度ループを行う。

12-19にて画像取得プロセスからの全方位画像データが取得されるのを待つ。12-20にて全方位画像データからパノラマ画像データを作成する。

そして、パノラマ画像データの記録を行う。この記録は、一時的に主記憶装置に蓄えられる情報である。

新しい全方位画像が取得出来る度に、この記録されるパノラマ画像データも更新される。

更に、12-22にて終了判定を行い、サーバ装置が終了していないのであれば、12-19に処理が戻る。

もし、サーバ装置が終了するのを検知した場合は、12-23にてパノラマ画像作成プロセスの終了処理を行い、12-24にてプロセスの終了を行う。

パノラマ切り出しプロセスは、12-25から実行を開始する。パノラマ切り出しプロセスは、12-04から実行される。

このプロセスの役割は、接続されるクライアント装置の通信を行うことであるが、クライアント装置からの画像要求受信し、そのイベントを、この通信プロセスからパノラマ切り出しプロセスに対して送る。この際、通信プロセスからクライアント参照PTZデータを受け取る。

この処理は、12-27から開始される。クライアントからの画像要求がある度に、12-27から12-30の処理が繰り替えされることになる。

12-27にて受け取ったクライアント参照PTZ座標データを元にして、12-28にて最新のパノラマ画像データからクライアント装置の閲覧する範囲を切り出してクリッピング処理を行う。

作成されたクリッピング済みの映像データを12-29にて画像を要求したクライアント装置と通信をする通信プロセスに画像データを渡す。

このような処理を、サーバ装置が終了するまで繰り返す。サーバ処理の停止を12-30にて検知した場合は、12-31にて終了処理を行い、12-32にてプロセスを終了する。

全方位カメラの方向指示LEDを制御するPanTiltZoomデータ受信プロセスは、12-03にて作成され、12-60から処理が開始される。

最初に12-61にて全方位カメラの方向指示LED等の初期化が行われる。

初期化後、このプロセスは、クライアント装置からのPanTiltZoomデータが受信される度に、12-61から12-65の処理が繰り返される。

12-62にて、通信プロセスによってクライアント装置から送られてくるクライアント参照PTZ座標データの受信を行う。そして、12-63にて方向指示LEDのランプをこのクライアント参照PTZ座標データを用いて駆動される。

このようにして、クライアント装置によって指定された閲覧域を全方位カメラの方向指示LEDに点灯させることが出来る。

そして、12-65にてサーバ装置の終了の判定を行う。もし終了でなければ、12-62からの処理を再び行う。もし、終了を検知すれば、12-66からPanTiltZoomデータ受信プロセスの終了処理を行い、全方位カメラの方向指示LEDなどの消灯などを行う。

そして、12-67にてプロセスの終了を行う。

図14は、サーバのソフトウェアのフローチャートを示している。

クライアント装置との通信を行う通信プロセスは、12-02にて作成され、12-33から処理が開始する。12-34にて通信環境の初期化を行う。

そして、12-35から12-37までの処理によって新しい通信の発生を監視し続ける。もし、12-36にて新たなクライアント装置との通信が発生する場合は、12-40にて個別のクライアントとの通信スレッドを作成する。

通信を実際に行うのは、この処理によって作成される12-41で示される通信プロセス(個別クライアント用スレッド)が受け持つ。

12-33から始まった処理は、12-37にてサーバ装置の終了判定を行い、もし終了でなければ、12-35から再び処理を行う。もし、サーバ装置の終了を検知すれば、12-38にて通信プロセスの終了を行い、12-39にて通信の終了を行う。

新たに接続したクライアント装置との通信は、12-41から開始される。12-42にて通信の終了の判定を行う。もし、通信回線が切られた場合は、12-50にて通信の終了処理を実行し、12-51にてスレッドの終了を行う。

通信の終了でなければ、12-43にて通信の発生を待ち、12-44にて画像データの要求であるかどうかを判定を行う。もし、画像データの要求であれば、12-47にてパノラマ切り出しプロセスへクライアント参照PTZ座標データを渡し、12-49にてパノラマ切り出しプロセスを呼び出して、クリッピングされた映像データが作成されるのを待ち、12-52にて映像データをパノラマ切り出しプロセスから受け取る。そして、この映像データを12-53にてクライアント装置に送信をする。

もし、12-44で映像データの要求がなければ、12-45にてクライアントからクライアント参照PTZデータデータの受信を行っているかどうかの判定を実施し、もしクライアント参照PTZ座標データであれば、12-46から処理を行う。12-46にてクライアント参照PTZ座標を保持し、その情報を12-48にてPanTiltZoomデータ受信プロセスに送る。

以上に説明したようにソフトウェアを動作させることで、ネットワークカメラサーバ装置によって全方位カメラの方向指示LEDの制御を行うことが可能になる。

図13は、クライアント装置のソフトウェアのフローチャートを示している。

クライアント装置のソフトウェアは、13-01から実行が開始される。13-02から13-04までは、クライアント装置内部にあるプロセスである映像表示プロセス13-37及びPanTiltZoonGUI制御プロセス13-38及び通信制御プロセス13-16が起動される。

そして13-05にてクライアント装置のソフトウェアの終了指示を待ち、クライアント装置のソフトウェアの終了を検知すると、13-06にて全てのプロセスを停止し、13-07にてクライアント装置のソフトウェアの終了を行う。

13-16は、通信制御プロセスを示している。

この通信制御プロセスは、サーバ装置とのネットワークを通じた通信の全てを受け持っている。

13-08にて通信環境の初期化を行う。この時点でクライアント装置GUIで指定されたサーバ装置に対して通信経路のオープンを行い、データ通信が行える状態を作る。

13-17にて映像の受信があるかどうかを判定をする。

もし、映像の受信があれば、13-14にて映像データの受信を行い、13-15にて映像表示プロセスに対して映像データを渡す。

次に、13-18にて、映像表示プロセスから映像表示要求があれば、13-10にて画像の要求をサーバ装置に対して行う。

次に、13-19にて、クライアント参照PTZ座標データの送信がPanTiltZoomGUI制御プロセスからあれば、13-09にてクライアント参照PTZ座標データの送信を行う。

このようにして、画像データの要求、クライアント参照PTZ座標データ及び画像データのやりとりは、通信プロセスによって行われる。

最終的に、13-11にて、クライアント装置のソフトウェアの終了を判定し、もし終了しないのであれば、13-17に制御が戻り、以降、クライアント装置のソフトウェアが終了するまで通信の送受信を受け持つ。

13-11でクライアント装置のソフトウェアの終了を検知した場合は、13-12にて通信制御プロセスの終了処理によって通信環境のクローズが行われ、13-13にてプロセスの終了を実施する。

図15は、クライアント装置のソフトウェアのフローチャートを示している。

13-02にて起動された映像表示プロセスは、13-27から実行が開始される。

13-20にて映像表示プロセスの初期化が行われる。この処理によってクライアントソフトウェアのGUIが初期化され画像に表示される。

13-21にて画像データの要求を通信プロセスに送る。この要求によって通信プロセスは、サーバ装置に対して新しい画像の要求を行う。13-22にて画像データの取得を待ち、通信プロセスから画像データを13-33にて受信を行う。

そして、受信した画像データを13-34にてクライアント表示装置に対して出力を行う。

このように処理を13-21から13-23の間を何度も繰り返すことで動画像を表示することが可能になっている。

このループ処理の終了は、13-23によってクライアントソフトウェアの終了を検出し、もし終了しないのであれば、再び13-21からの実行を開始する。

もし、終了を検知すれば、13-24によって画像表示プロセスの終了処理によってクライアント装置のGUIを消し、13-25によってプロセスの終了を行う。

13-02にて起動されたPanTiltZoomGUI制御プロセスは、13-28から開始される。

このプロセスは、主にクライアント装置の閲覧範囲を決定するGUIであるPan,Tilt,Zoomバーの制御を行うプロセスである。

13-26にてカメラ制御用のこれらのGUIの初期化を行う。

そして、13-27〜13-29までの処理をクライアント装置のソフトウェアが終了するまで行う。

13-27にてGUIの操作の変化を判定する。もし、GUIが変化していれば、13-28にてGUIの値を読みとり、その値に応じて、13-35にてクライアント参照PTZ座標データの作成を行う。そして、作成されたクライアント参照PTZ座標データを通信プロセスに送ることで、クライアント装置の閲覧範囲をサーバ装置に送信することが可能になる。

そして、13-29にて、クライアント装置のソフトウェアの終了の判定を実施し、もし、クライアント装置が終了しないのであれば、13-27から再び処理を行う。

もし、クライアント装置のソフトウェアの終了が検出されるのであれば、13-31にてカメラ操作GUIの終了処理を行い、13-32にてプロセスの終了を行う。

以上のようにすることで、クライアント装置を動作させることが可能になる。

以上、各図で説明したように実施することによって、全方位カメラを用いてクライアント装置が画像を参照する場合に、クライアント装置の閲覧する範囲を、サーバ装置の全方位カメラの方向指示LEDによって示す事が可能になり、撮影対象者が撮影範囲を把握することが可能になる。

全方位カメラシステム全体概要図 全方位カメラで得られた画像とパノラマ画像 全方位カメラパノラマ表示概要図 全方位カメラ詳細図 全方位カメラランプ点灯概要 カメラサーバ装置内部構成図 クライアント装置内部構成図 全方位カメラ装置内部構成図 クライアント操作GUI ソフトウェア構造 サーバソフトウェア内データ サーバソフトウェアフローチャート クライアントソフトウェアフローチャート サーバソフトウェアフローチャート クライアントソフトウェアフローチャート

Claims (3)

1. サーバー装置に映像をデジタル化しネットワークに送信する事が可能な映像送出手段と、光学的に全方位撮影が可能な光学撮影手段と、クライアントのサーバの映像を閲覧箇所を表示する出力手段を備え、撮影対象者がクライアントの閲覧している範囲を認知することが可能な遠隔監視装置。
2. 請求項１の遠隔監視装置において
   クライアントの閲覧範囲を全方位を撮影する光学撮影手段の装置に備えられ、撮影対象者がクライアントの閲覧している範囲を認知することが可能な遠隔監視装置。
3. 請求項1の遠隔監視装置において
   クライアントの閲覧範囲を光学撮影手段の装置以外の箇所に備えられ、撮影対象者がクライアントの閲覧している範囲を認知することが可能な遠隔監視装置。

Images