JP2004088483A - 映像情報配信システムと映像情報配信方法とそのためのサーバ - Google Patents

Abstract

【課題】同時に複数台のクライアントが、サーバに対して希望する視野の映像情報の送信を指定すると、指定した映像情報がサーバから各クライアントに送信される映像情報配信システムおよび映像配信方法を提供する。
【解決手段】広視野で高解像度の映像情報を記憶している映像情報記憶サーバと複数のクライアントが、通信網で接続されている。クライアントが、サーバの記憶する映像情報の中から希望する視野の映像情報を指定すると、サーバは記憶している映像情報からクライアントが指定した視野内の映像情報を検索して抽出し、順次クライアントに送信する。これにより、同時に複数台のクライアントがサーバに対して、映像情報の中から希望する視野を指定して送信を要求する事が可能であり、かつ指定した映像情報をサーバから受信することが可能となる。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】本発明は、通信網を利用して複数のクライアントに映像情報を配信する技術に関する。特に、それぞれのクライアントにそれぞれのクライアントが希望する視野内の映像情報を送信する技術に関する。
【０００２】
【従来の技術】映像情報を記憶しているサーバと複数のクライアントを通信網で接続し、サーバが記憶している映像情報をクライアントに配信する技術が知られている。しかし従来技術でクライアントが受信できるのは、同一の内容で同時に配信される映像情報か（テレビ放送や有線ビデオ放送の１チャネル分に相当する）、あるいはサーバ内にあらかじめ記憶されている複数種類の映像情報のなかからクライアントが選択した種類の映像情報に限られている（テレビ放送や有線ビデオ放送の複数チャネル分に相当する）。後者の場合にはクライアントが種類を選択できるが、選択できるといっても選択した種類が同一であれば同一の映像情報しか配信されない。
例えば、サッカーゲームの映像情報を例にして説明すると、クライアントＡはゴールキーパＡの動きに関心があり、クライアントＢはストライカーＢの動きに関心があるとしても、従来の映像情報配信技術ではクライアントの個々の要求に応えた映像情報を配信することができないために、各クライアントが本当に見たい映像情報が配信されないことがある。
【０００３】
クライアントが希望する視野内の映像情報を配信する技術も提案されている。この技術では、サーバにカメラを接続し、クライアント端末に撮影方向やズーム倍率などの撮影条件を指定する手段を付与しておく。この技術によると、クライアントが指定する視野内の映像情報を撮影してそのクライアントに配信することができる。本技術によれば、クライアントはカメラを遠隔的に操作をすることができ、希望する視野内を撮影した映像情報を受信することができる。
【０００４】
【発明が解決しようとする課題】しかしながら上記の技術では、カメラの遠隔操作が許容されるのは一台のクライアントに限定され、他のクライアントは自己のカメラ操作が許容されるまで待っていなければならない。例えば、サッカーゲームの映像情報の例についていえば、ゴールキーパＡの動きに関心があるクライアントＡは、カメラを遠隔操作してゴールキーパＡを中心とする映像情報を入手することができる。しかしながら、その間、クライアントＢはストライカーＢを中心とする映像情報を入手することができない。サーバに接続するカメラの台数を増やせば、カメラの遠隔操作が同時に許容されるクライアント数を増やすことは可能であるが、制御手段が複雑になり、かつ、設置コストが高額になるため、接続できるカメラの台数には限りがある。
【０００５】
本発明は上記の課題を鑑みてなされたものであり、同時に複数のクライアントに対して、各クライアントが希望する視野内の映像情報を配信することができる技術を提供することを目的としている。サッカーゲームの映像情報の例についていえば、ゴールキーパＡの動きに関心があるクライアントＡはカメラを擬似的に操作してゴールキーパＡを中心とする映像情報を入手することができ、同時に、ストライカーＢの動きに関心があるクライアントＢはカメラを擬似的に操作してストライカーＢを中心とする映像情報を入手することができる技術を実現する。
【０００６】
【課題を解決するための手段と作用】請求項１の発明は、システム内で共通に用いられる映像情報記憶サーバと、そのサーバに通信網を介して接続された複数のクライアントから構成されている。各クライアントは、他のクライアントから独立して視野を指定する手段を備えている。映像情報記憶サーバは、各クライアントが視野を指定して映像情報の送信を指令したときに、映像情報記憶サーバに記憶されている映像情報であって当該クライアントが指定した視野内の映像情報を当該クライアントに送信する手段を備えている。
ここでいう視野とは、視線方位とズーム倍率を内在するものであり、視線方位が同一でもズーム倍率が相違すれば視野も相違する。即ち、各クライアントは、他のクライアントから独立して、視線方位を変更することもできれば、ズーム倍率を変更することもできる。
【０００７】
この映像情報配信システムによれば、各クライアントは他のクライアントから独立して視野を指定する手段を備えており、同時に複数台のクライアントが通信網を経由してサーバに対して視野に関する情報を指定する事が可能である。またサーバは、記憶している映像情報のなかからクライアントが指定した視野に含まれる映像情報を選択して各クライアントに送信する手段を有しているので、複数のクライアントから同時に異なる視野内の映像情報の送信要求があっても、その要求に応えることができる。
【０００８】
請求項２に示されるように、各クライアントが、映像情報記憶サーバから送信される映像情報に基づいて視野内の映像を表示する手段を持ち、表示された映像を用いて以後の視野を指定できることが好ましい。
サーバが送信した映像情報を表示手段上で確認しながら、次に必要な視野を指定する事により、クライアントは自己に関心のある視野の選択を確実に行うことが可能となる。擬似的にカメラ操作することが可能となる。
この場合、各クライアントが任意のタイミングで視野を変更できることが好ましい。
また各クライアントの表示装置に、視野角の変更の前後を通して同一サイズの映像が表示されることが好ましい。この場合、狭い視野角を指定するとズームアップした映像を得ることができ、広い視野角を指定するとワイドな映像を得ることができる。
【０００９】
請求項５に示されるように、撮影範囲を異にする複数の撮影装置で撮影された複数の映像情報をマージして調整された映像情報を、映像情報記憶サーバに記憶しておくことが好ましい。
複数の撮影装置で撮影された複数の映像情報をマージすることで、広範囲の視野と高解像度を持つ映像情報を得ることができる。クライアントが狭い視野をズームアップする指定をしても、高画質な映像情報を送信することが可能となる。あらかじめマージした映像情報を映像情報記憶サーバに記憶しておくことに代えて、複数の撮像装置で撮影された複数の映像情報を独立に映像情報記憶サーバに記憶しておき、これをマージ調整してから送信する方式を採用することもできる。両者は均等である。
【００１０】
請求項６に示されるように、撮影範囲を時間的に変化させる撮影装置で撮影された撮影範囲を異にする複数の映像情報をマージして調整された映像情報を、映像情報記憶サーバに記憶しておくこともできる。
撮影範囲を経時的に変化させる撮影装置によれば、撮影方向を固定した場合に比較して広い範囲の映像情報を高解像度で得ることが可能であり、広範囲の視野と高解像度を有する映像情報を得ることができる。本発明によって、少ない撮影装置によって、広範囲の視野と高解像度を持つ映像情報を得ることができる。この場合にも、あらかじめマージした映像情報を映像情報記憶サーバに記憶しておくことに代えて、複数の映像情報を独立に映像情報記憶サーバに記憶しておき、これをマージ調整してから送信する方式を採用することもできる。
【００１１】
映像情報が時時刻刻に更新されて映像情報記憶サーバに記憶されることが好ましい。この場合、各クライアントは視野内の動画を得ることができる。
時時刻刻に更新するのに代えて、サーバに、過去の映像情報を蓄積して記憶させてもよい。この場合、各クライアントが、他のクライアントから独立して視野と時間を指定できる手段を備えていることが好ましい。このシステムによると、それぞれのクライアントは、それぞれのクライアントが希望する視野と時間における映像情報を入手することができる。
【００１２】
本発明はまた、映像情報配信システムに用いられる映像情報記憶サーバを創作した。このサーバは、請求項９に記載されるように、複数のクライアントに通信網を介して接続される共通サーバである。本サーバは、映像情報の記憶手段と、各クライアントが視野を指定して映像情報の送信を指令したときに、映像情報記憶手段に記憶されている映像情報から当該クライアントが指定した視野内の映像情報を選択して当該クライアントに送信する手段を備えている。
本発明の映像情報記憶サーバを用いることによって、複数台のクライアントからの視野を指定した映像情報の送信要求に対応することが可能となり、各クライアントが指定した映像情報を各クライアントに送信することが可能となる。
【００１３】
本発明では、映像情報の配信方法も創作した。この映像情報配信方法では、共通に用いられる映像情報記憶サーバに通信網を介して複数のクライアントを接続しておく。そして、各クライアントが視野を指定したときに、映像情報記憶サーバが、そのサーバが記憶している映像情報のなかから当該クライアントが指定した視野内の映像情報を当該クライアントに配信する。
この映像情報の配信方法によれば、各クライアントが視野を指定して通信網を介してサーバに対して視野に関する情報を指定する事が可能である。またサーバは、クライアントの指令を認識すると、記憶している映像情報のなかからクライアントが指定した視野に含まれる映像情報を選択して当該クライアントに送信する。本方法を用いることにより、複数のクライアントからの視野を指定した映像情報の送信要求に対して、それぞれの要求を満たす映像情報を送信することができる。
【００１４】
【発明の実施の形態】最初に、次に説明する実施例の主要な特徴を列記する。
（形態１）映像情報処理装置と、映像情報記憶サーバと、複数のクライアントが、通信網を介してデータや指令を送受信可能に接続されている。
（形態２）形態１の映像情報処理装置は、入出力部、演算装置、撮影装置の制御部、メモリから構成されており、撮影装置が接続されている。
（形態３）形態２の映像情報処理装置には、撮影によって得られた映像情報に画像処理を施すプログラムが記憶されている。
（形態４）形態１の映像情報記憶サーバは、入出力部、ＣＰＵ、記憶部、メモリから構成されており、記憶部には、クライアントからの指令を解析して映像情報を選択するプログラムと、映像情報データベース（以下Ｄ／Ｂと省略する場合がある）が記憶されている。
（形態５）映像情報記憶サーバは、映像情報処理装置の機能を有しており、映像情報記憶サーバと、複数のクライアントが、通信網を介してデータや指令を送受信可能に接続されている。
（形態６）形態５の映像情報記憶サーバは、入出力部、ＣＰＵ、撮影装置の制御部、記憶部、メモリから構成されており、撮影装置が接続されている。
（形態７）形態６の映像情報記憶サーバの記憶部には、撮影によって得られた映像情報に画像処理を施して記憶するプログラムと、クライアントからの指令を解析して映像情報を選択するプログラムと、映像情報Ｄ／Ｂが記憶されている。
（形態８）請求項５の撮影装置は、撮影範囲をそれぞれ異にしつつ、それぞれの撮影範囲の一部が重複するように固定された、複数台のカメラである。
（形態９）形態８における複数のカメラによって撮影された映像情報は、画像処理プログラムによって、映像情報の重複部分が検出される。または、同じ場所が写されている映像をなす画像の一部における画素の対応関係から、それらが重複する部分を検出して一定の範囲で重複するようにそれを変形する情報を得る。それによって、映像をなす画像を重ねあわせ、重複部分のうち一方のみを残してあとは消去され、マージされて一つの映像情報となり、映像情報Ｄ／Ｂに記憶される。
（形態１０）映像情報Ｄ／Ｂは、過去の映像情報を、時系列で管理して蓄積している。
（形態１１）請求項６における撮影装置は、撮影範囲が時間的に変化するように一定速度で回転する、カメラである。
（形態１２）形態１１における回転するカメラによって撮影された映像情報は、画像処理プログラムによって、カメラ１回転で得られた映像情報をマージして一つの映像情報に調整して記憶装置に記憶される。
（形態１３）形態９および形態１２におけるマージされた映像情報、又は撮影された映像情報は、撮影された時刻で管理されてサーバの記憶部に蓄積される。
（形態１４）形態２において、撮影装置は、広い視野を持つ超高解像度カメラである。
（形態１５）クライアントは、表示部、ＣＰＵ、メモリ、記憶部、通信部、入力部から構成されている。
（形態１６）形態１５における、クライアントの入力部は、映像情報の視野を指定することができるマウスである。
（形態１７）形態１５におけるクライアントの記憶部には、サーバから送信された映像情報を表示部に表示させて、映像上の視野としたい部分をマウスでクリックすると、視野の指定座標をサーバに指令するプログラムが記憶されている。
（形態１８）クライアントは、視野とともに時間も指定することで、サーバに蓄積されている、指定時間内に撮影された映像情報を受信することができる。
（形態１９）クライアントは、表示速度を指定することで、サーバに蓄積されている映像情報を、希望する速度で受信することができる。
【００１５】
【実施例】以下に、本発明の映像情報配信システムと配信方法の実施例を添付図面を参照しながら詳細に説明する。
（第１実施例）
図１は、本発明の一実施例に係わる映像配信システムのシステム構成を示している。映像情報記憶サーバ２と、複数のクライアント２４は、インターネット、イントラネットなどの通信網２２を介してデータや指令を送受信可能に接続されている。
【００１６】
映像情報記憶サーバは、入出力部４と、ＣＰＵ６と、撮影装置制御部８と、メインメモリ１０と、記憶部１２から構成されている。サーバ２には、撮影装置群２０が接続されており、撮影装置制御部８によって撮影条件の設定と得られた映像情報の取り込みが行われる。記憶部１２には、映像情報Ｄ／Ｂ１４と、画像処理プログラム１６と、クライアント指令処理プログラム１８が記憶されている。
【００１７】
本実施例では、サーバに接続された撮像装置群２０は、撮影範囲をそれぞれ異にしつつ、それぞれの撮影範囲の一部が重複するように固定された複数台のカメラを用いている。
カメラの画角が十分狭いとき、つまり、ズーム状態で遠方を撮像しているときは、立体形状を撮像するときの投影効果による隠れ部分がほとんどないとみなし得るため、隣接したカメラによる画像重複部分を比較的容易に検出可能である。撮像対象物を平面とみなし得る場合（奥行きがあまりない場合）、重複部分の検出は、さらに容易である。
撮像範囲の一部が重複すれば、複数の画像をマージして、大きな画面とすることが可能である。最も単純な例は、対象物を平面とみなし、これをこの面に平行な位置から撮像する。この場合、画像の重なり部分は、端部に現れる長方形であって、この重複部分を検出し、一方を削除すればよい。こうすることで、大画面が得られる。一般に厳密な意味での画像の合成でなくとも、画像の投影効果を無視した簡易な方法よって、隣接したカメラの撮像によって得られた画像の重複部分を除いた大画面を得ることがよく行われる。図２（ａ）は、このような条件のもとで、ＡからＰまでの１６台のカメラを用いた場合の撮影範囲の重複を示している。この場合、図２（ｂ）のように、対象が平面でカメラ面と平行であれば、カメラと対象面との位置関係より、重複部分は既知となるが、対象が風景のような場合には、計算により重複部分を求める。
図２（ｃ）のように対象が平面であっても、カメラ面と平行ではない場合、点Ｍを焦点位置がＣ１のカメラで撮像したときの像面の位置を（ｘ１，ｙ１）、同様に焦点位置がＣ２のカメラで撮像したときの像面の位置を（ｘ２，ｙ２）とすると、これらの関係は、式（１）で表現される。
【００１８】
【数式１】

【００１９】
ここで、ｈ１からｈ８は、カメラ間の位置関係により決まる係数である。こうすると、Ｃ２からみた画像をＣ１からみたものに変換でき、２つの画像を同じ方向からみたものとしてマージできる。
【００２０】
対象物が立体である場合、重複部分の計算は、複雑である。この場合、重複部分の計算を行うのではなく、視点を変えることによる画像の変換を行う。例えば、図２（ｄ）において、焦点位置がｃ１である画像と焦点位置がｃ２である画像とから焦点位置がｃ３である画像を生成する。Ｍをｃ１からみた点がｍ１（ｘ１，ｙ１）、ｃ２からみた点がｍ２（ｘ２，ｙ２）とすると、ｃ３からみた点の座標（ｘ３，ｙ３）は、式（２）により計算される。
【００２１】
【数式２】

【００２２】
ここで、α１〜α１２とβ１〜β１２の変数の比は、カメラの位置関係から計算できる。これは、ｃ１からみた画像における点とｃ２からみた画像における点が対象物における同一の点であることがわかると、ｃ３からみたその点の画像中の位置を計算できるもので、これにより、任意の方向からみた画像を生成できる。この場合、２つの画像で同じ点を探す方法は、次の段落で述べる正規化相関で行う。
【００２３】
前の段落で述べたように、カメラの投影効果を無視して、画像の重複部分を接合して大画面を得ることができる。このように複数のカメラの撮像によって得られた映像情報をマージして一つの映像情報とする場合、マージした大画面の一部を擬似的にカメラ回転やズームした画像として送信するため、この大画面を映像情報ＤＢに登録する。ここで、重複部分は、映像情報を構成する画素の一部を比較する。画素の値である濃度（明るさ）パターンの一致度を計算し、このパターンの一致した部分を重複とみなす。例えば、図３（Ａ）と（Ｂ）に示すように、映像信号の走査線に相当するデジタル画像の行を構成する画素を取り出し、この濃度パターンの一致の度合いを計算する。色画像の場合、濃淡パターンは、Ｒ，Ｇ，Ｂの３画面分があるので、それぞれを比較する。一致度は、正規化相関によっても行える。隣接画像を縮小することにより、解像度を低減し、画像間の正規化相関をとることによって、重複範囲を求めることができる。
【００２４】
【数式３】

【００２５】
式（３）で示すように、画像Ｉ_１、Ｉ_２の重なり部分ｗにおいて正規化相関係数Ｃを求める。画像Ｉ_１に対して画像Ｉ_２を平行移動したときの移動ベクトルをｄとし、位置ベクトルｘにおける画像Ｉ_１の画素値をＩ_１（ｘ）とし、その画像の画素値の分散をδ_１とする。画像Ｉ_２の平行移動にしたがって重なり部分が変化するのでその部分の正規化相関値は、移動ベクトルｄの関数となる。この関数は、重なり部分の面積に依存しないため、相関最大値となる移動ベクトルをｄが、求められる重なり量である。重なりを検出する画像の解像度を下げて、大域的な重なり部分を検出することも可能である。
このようなパノラマ合成によって得られた映像情報は、カメラ１６台分の広い視野を持ち、高解像度である（各カメラはズーム倍率が高く、狭い視野を高解像度で撮像している）。
【００２６】
映像情報Ｄ／Ｂは、映像情報に対してＩＤを付与し、一つ一つの映像情報を時系列で蓄積して記憶しており、時刻を指定すれば、その時刻に撮影された映像情報が取り出せるよう管理する。映像情報Ｄ／Ｂに時系列で蓄積された映像情報の模式図を図４に示す。映像情報は、撮影時刻ｔ、ｔ＋１、ｔ＋２・・・の順に記憶されている。各時刻の映像情報は、Ｘ座標、Ｙ座標と、それに対応するＲ（赤）Ｇ（緑）Ｂ（青）の信号情報からなっており、座標を指定すると映像情報の取り出しが可能な状態で保管されている。
撮影時刻の間隔は任意に設定することが可能であり、間隔を密に設定した場合の映像情報は、動画として用いることができる。また、間隔を空けて撮影した映像情報は、ゆっくりとした事象の経時変化の観察等に用いることができる。
動画を配信する場合、映像情報を蓄積して記憶するのに代えて、時時刻刻に更新するようにしてもよい。時時刻刻に更新すると、過去の映像情報が消去され、過去の映像を遡って配信することはできなくなるが、処理スピードが向上し、多数のクライアントに実況中継に相当する動画を配信することができる。
【００２７】
本実施例の映像情報配信システムでは、多数のクライアントが同時に映像情報の送信を要求できるが、図１では便宜上、２台のみ表示している。クライアントには汎用のパーソナルコンピュータを使用することが可能であり、その構成は、表示装置２６、コンピュータ本体に内蔵されているＣＰＵ、メモリ、記憶部、通信部、及び入力手段であるマウス２８を備えている。また、クライアントの記憶部には、サーバから送信された映像情報を表示部２６に表示し、視野としたい部分をマウス２８でクリックすると指定された座標が記憶され、クライアント自身を識別するクライアントＩＤと視野を指定する映像につけられている映像ＩＤと共に、指定された座標をサーバ２に指令するプログラムが記憶されている。
【００２８】
クライアントの視野の指定方法を図５に示す。視野は、長方形で指定することができる。サーバからの映像情報が表示されている表示装置２６上で、マウスにより２点（ｘ１，ｙ１）、（ｘ２，ｙ２）をクリックすることにより、その２点を対角線の頂点とする長方形の視野が指定できる。視野の指定座標をサーバに指令するプログラムは、この２点の座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）の情報を、指定座標としてサーバに送信する。
対角線位置で視野を指定する代わりに、マウス２８で指定されたカーソルの位置で視野の中心位置を指定し、マウス２８のダイヤル２８ａの動きでズーム倍率を指定するようにしてもよい。この方式によると、クライアントの操作者は簡単に擬似的なカメラ操作をすることができる。視野の方向とズーム倍率を指定する操作手段を別に持ち、両者を片手で同時に操作できるようにすることによって、擬似的なカメラ操作が可能となる。
【００２９】
またクライアントは、サーバの記憶部に時系列で蓄積されている映像情報に対して、時間を指定して該当時間内に撮影された映像情報の送信を受けることも可能である。時間指定方法の一例としては、視野を指定した映像情報の撮影時刻を基準とした、相対的な時間指定が可能である。クライアントは、送信を希望する映像情報の撮影開始時刻と撮影終了時刻を指定できるだけでなく、その間のサンプリング間隔も指定することができる。サンプリング間隔を蜜に設定すると、スローモードで再生でき、サンプリング間隔を租に設定すると、高速で再生することができる。
クライアントがサーバに送信する指令の一例を図６に示す。送信元のクライアントを識別するクライアントＩＤと、指定する映像情報の映像ＩＤは、必ず送信される。映像情報の視野の指定座標１、指定座標２、及び送信を指令する映像情報の撮影開始時刻と終了時刻は、クライアントが指定した場合にのみ送信される。撮影開始時刻と撮影終了時刻が指定されなければ、送信時に撮影されている映像情報が送信される。
【００３０】
サーバ２がクライアント２４からの指令を受け取った場合にクライアント指令処理プログラム１８が行う処理の一例を、図７のフローチャートに示す。以下、本フローチャートに基づいて、処理を説明する。
サーバには、クライアントからの指令を認識し、指令に基づいて映像情報を選択するプログラムが常時待機している（ステップＳ２）。クライアントからの指令を受信すると、当該プログラムは指令を読み込み（ステップＳ４）、クライアントＩＤを確認して、当該クライアントに現在映像情報を送信中かどうかを確認する（ステップＳ６）。もしも、新たなクライアントからの送信指令である場合は、映像情報の一時記憶場所をメモリもしくは記憶部内に確保する（ステップＳ８）。
次に、クライアント指令処理プログラムは、映像情報ＩＤを認識し、映像情報Ｄ／Ｂ内の該当する映像情報を検索する（ステップＳ１０）。ステップＳ１２では、クライアントからの指令の中に時間指定が有るか無いかを認識し、時間指定がある場合は、指定時間内の撮影時刻を持つ映像情報を検索する（ステップＳ１４）。該当する映像情報が映像情報Ｄ／Ｂから取り出されて、一時記憶される。時間指定のない場合は、映像情報ＩＤで指定された映像情報（最新映像情報）のみが取り出されて一時記憶される（ステップＳ１６）。
【００３１】
クライアントがサーバに送信する指令の中で、視野の指定座標１および指定座標２が指定されている場合は、一時記憶されている映像情報から、指定範囲の情報を取り出す処理が行われる（ステップＳ１８）。視野の指定が行われていない場合は、ステップＳ１６で一時記憶された映像情報に対して、そのまま送信処理が行われる。
視野の指定が行われている場合は、視野の対角線の頂点を指定する座標（ｘ１，ｙ１）、（ｘ２，ｙ２）から、指定された視野のＸ方向とＹ方向の長さの比を求める。指定された視野のＸ方向とＹ方向の長さの比が、クライアントの表示装置の比に一致しない場合は、指定された視野が全て含まれ、かつ表示の拡大率が最大になる範囲で、視野の指定座標が再設定される（ステップＳ２０）。一時記憶されている映像情報から、視野の指定座標（ｘ１，ｙ１）、（ｘ２，ｙ２）に従って、情報が取り出され、新たに記憶される。指定された視野が広いために取り出された映像情報が多く、クライアントの表示装置の解像度で全てが表示できない場合には、映像情報は圧縮される。逆に、指定された視野が狭いために取り出された映像情報が少なく、そのままの状態ではクライアントの表示装置全体に表示ができない場合には、映像情報を均等に拡大する（ステップＳ２２）。以上の取り出し作業の完了した映像情報は、順次クライアントに送信される（ステップＳ２４）。
映像情報Ｄ／Ｂから取り出されて必要な処理が行われた全ての映像情報の送信が完了すると（ステップＳ２６）、クライアント指令処理プログラムが行う一連の処理が完了し、処理プログラムは再びクライアントの指令を待つ。
【００３２】
本実施例では複数のカメラを用い、その映像情報をマージしているので、クライアントの様々な視野の範囲指定の要求に対応が可能な広い範囲の高画質な映像情報を得ることが可能となる。さらに、制御可能な範囲でカメラの台数を増やすことによって、より広い範囲で高画質の映像情報を得ることが可能である。
複数カメラからの画像をマージする場合、カメラの視線方向と位置を考慮してカメラの撮影位置を合わせたような画像に変換した上でマージするパノラマ合成手法を採用することもできる。この手法を採用すると、複数点に離れて配置されたカメラを利用して広い視野を確保することができる。
また、本実施例におけるサーバに、高速で並列処理が可能な装置を用いることにより、多数のクライアントが同時に映像情報の送信指令を出した場合でも、サーバは同時に要求された映像情報を送信することが可能であり、クライアントは遅延なく指令した映像情報を得ることができる。
【００３３】
（第２実施例）　図８は、本発明の一実施例に係わる映像配信システムのシステム構成を示している。複数のクライアント２４（便宜上、２台のみ表示している）と、映像情報記憶サーバ３２と、映像情報処理装置４６が、インターネット、イントラネットなどの通信網３０を介してデータや指令を送受信可能に接続されている。
【００３４】
本実施例の映像情報処理装置４６は、入出力部４８と、ＣＰＵ５０と、撮影装置制御部５２と、メインメモリ５８と、記憶部５４から構成されており、撮影装置６０が接続されている。撮影装置制御部５２によって撮影装置６０の撮影条件の設定と得られた映像情報の取り込みが行われる。記憶部には、画像処理プログラム５６が記憶されている。画像処理プログラム５６によって処理された映像情報は、映像情報記憶サーバに送信されて記憶される。
本実施例の映像情報記憶サーバ３２は、入出力部３４と、ＣＰＵ３６と、メインメモリ３８と、記憶部４０から構成されている。記憶部には、映像情報処理装置４６から送信された映像情報を管理し記憶する映像情報Ｄ／Ｂ４２と、クライアント指令処理プログラム４４が記憶されている。
【００３５】
本実施例では、映像情報処理装置４６に接続された撮像装置６０に、撮影範囲が時間的に変化するように一定速度で回転するラインカメラを使用している。図９（ａ）は、この回転するラインカメラから得られた高精度ライン画像を経過時刻と回転角度の２つの属性とともに示している。ラインカメラは、垂直軸に沿った範囲を撮影する。カメラは、時刻ｔ１、ｔ２で、時刻ｔ０で撮影した角度に戻ってくる。隣り合うライン画像は、時間的に連続したものである。カメラが、１回転する間に得られる映像情報をマージして一つの映像情報とするために、画像処理プログラム５６が実行される。この場合、時刻ｔ０〜ｔ１で得られる映像情報をマージして一つの映像情報とされ、時刻ｔ１〜ｔ２で得られる映像情報をマージして一つの映像情報とされる。
【００３６】
ラインカメラが１回転する間に得られる円筒パノラマ画像は、ラインに沿った映像を等間隔に並べて得ることができるが、図９（ｂ）に示すように、ラインに沿った映像を指定された面に投影した画像に合成することもできる。通常のカメラは、投影面が平面であるので、この方法によると、通常のカメラで得たような投影像が得られる。図９（ｃ）は、ラインを並べて投影画像を構成する方法を示している。この方法によれば、並べるラインの間隔は、一定ではなく投影方向によって決められており、この間隙を補間計算により画像補間することで、隙間のないデジタル画像が構成される。
一方、撮像装置をラインカメラではなく、通常のエリアカメラとし、画像を等しい回転角度ごとに撮影する方法も考えられる。この場合、カメラの画像は、光学焦点を中心とした投影像となるが、図９（ｄ）が示すように、この光学焦点とカメラの回転中心を同じとみなし得る場合、上記と同じような任意方向の投影画像が得られる。図９の（ｅ）では、カメラ映像Ａの投影面にカメラ映像Ｂの画像を投影している。映像Ａと映像Ｂの投影面の関係は、映像重複部分から計算により推定することもできるし、撮影した瞬間の回転角度を記録することによっても可能である。図９（ｅ）の場合、映像ＢのＰ１を映像Ａの投影面上のＰ１’へ投影し、同じく映像ＢのＰ２を映像Ａの投影面上のＰ２’へ投影している。このように、回転中心と光学焦点が一致している場合は、任意の投影面に対するカメラ画像の投影像を得ることが可能で、複数のカメラ画像を同じ面に投影し、マージすることで、広範囲な画像を得ることができる。また図９（ｆ）に示すように、基準面へ投影した結果、間隙が生じた場合には、これに補間計算を施し、広範囲な画像を得ることも可能である。さらに撮影時点の角度が判明すれば、任意の投影面の画像を得ることが可能である。
【００３７】
得られた映像情報は、映像情報処理装置４６からサーバ３２に転送されて映像情報Ｄ／Ｂに記憶される。映像情報Ｄ／Ｂは、映像情報に対してＩＤを付与し、一つ一つの映像情報を時系列で蓄積し、時刻を指定すれば指定された時刻で撮影された映像情報が取り出せるよう管理する。本実施例におけるカメラの回転速度は任意に設定することが可能であり、これによって映像情報の撮影時刻の間隔の設定が可能となる。間隔を密に設定した場合の映像情報は、動画として用いることができる。また、撮影時間を空けて撮影した映像情報は、経時変化の観察等に用いることができる。
本実施例で映像情報Ｄ／Ｂに蓄積される映像情報の模式図を、図１０に示す。図１０の（ａ）では、映像情報は、Ｘ座標、Ｙ座標を指定するとそれに対応する映像情報の取り出しが可能な状態で、時系列で保管されている。図１０の（ｂ）に示すように、映像情報の水平方向は、基準となる方向からのカメラの回転角度を座標とする座標系を用いて、映像情報を保管する事も可能である。
【００３８】
本実施例では、クライアント２４の構成は第一実施例と同一で、表示装置２６、コンピュータ本体に内蔵されているＣＰＵ、メモリ、記憶部、通信部、及び入力手段であるマウス２８を備えている。また、クライアントの記憶部には、サーバから送信された映像情報を表示部２６に表示し、マウス２８で視野を指定すると、サーバに映像情報の送信を指令するプログラムが記憶されている。
【００３９】
クライアントの視野は、第一実施例と同様に、長方形で指定することができるほか、マウスの操作によってメニューを表示させ、視野としたい方角をあらかじめ指定することも可能である。マウスの操作によって表示されるメニューの一例を図１１に示す。視野の指定をサーバに指令するプログラムは、マウスによって視野が指定された場合は、送信元のクライアントを識別するクライアントＩＤと映像情報ＩＤに加えて、視野を指定する座標値又は方角の情報を、サーバに送信する。
【００４０】
また、クライアントは、サーバの記憶部に時系列で蓄積されている映像情報に対して、時間を指定して、該当時間内に撮影された映像情報の送信を受けることも可能である。本実施例の時間指定の方法としては、視野を指定した映像情報の撮影時刻を基準とした相対的な時間指定のほか、一定間隔ごとに撮影された映像情報の送信指定も可能である。
クライアントがサーバに送信する指令の一例を図１２に示す。クライアントＩＤと、指定する映像情報のＩＤは、必ず送信される。映像情報の視野の座標もしくは方位、および映像情報の撮影時間の指定は、指定が行われた場合に送信される。
【００４１】
サーバがクライアントからの指令を受け取った場合のクライアント指令処理プログラム４４が行う処理は、第一実施例と同様、図７のフローチャートに基づいて行われる。本実施例では、クライアントからの映像情報の送信指令に、方位が含まれる場合もあるため、クライアント指令処理プログラム４４のステップ２０の処理では、方位の指定を基準位置からの撮影角度もしくは座標値に変換し、指定方位が視野の中心になるよう調整する機能も含まれる。視野の調整が行われた映像情報は、取り出されて送信される。
【００４２】
本実施例は、撮影装置に撮影範囲が時間的に変化するように一定速度で回転するカメラを用いて、その映像情報をマージしているので、クライアントの様々な視野の範囲指定の要求に対応が可能な、３６０度の視野を有する高画質な映像情報や、任意の方向に投影された広範囲の映像情報を得ることが可能となる。さらに、非常に短時間の撮影でも映像の得られるカメラを用いて高速な回転速度での撮影を行えば、撮影の間隔を短くする事ができる。クライアントが、該映像情報を一定の視野で時系列で連続して表示すれば、動画の映像情報を得ることも可能である。また、クライアントが、一定の時間間隔で同一の視野の映像情報を指定して表示させれば、変化の遅い情報も短時間で表示させることが可能である。
本実施例におけるサーバに、高速で並列処理が可能な装置を用いることにより、多数のクライアントが同時に映像情報の送信指令を出した場合でも、サーバは同時に要求された映像情報を送信することが可能であり、クライアントは遅延なく指令した映像情報を得ることができる。
【００４３】
（第３実施例）
図１３は、本発明の一実施例に係わる映像配信システムのシステム構成を示している。サーバ１００と、複数のクライアント２４は、通信網１１８を介してデータや指令を送受信可能に接続されている。本実施例で、サーバは、入出力部１０２と、ＣＰＵ１０４と、撮影装置制御部１０６と、メインメモリ１０８と、記憶部１１０から構成されている。サーバには、撮影装置１１６が接続されており、撮影装置制御部１０６によって撮影条件の設定と得られた映像情報の取り込みが行われる。記憶部には、映像情報Ｄ／Ｂ１１２と、クライアント指令処理プログラム１１４が記憶されている。
【００４４】
本実施例では、サーバに接続された撮影装置１１６は、固定された状態で広範囲の撮影が可能な高解像度カメラである。本実施例のカメラは、必要な映像範囲を１台で撮影するため、得られた映像情報は画像処理が行われることなく、映像情報Ｄ／Ｂに記憶される。映像情報Ｄ／Ｂは、映像情報に対してＩＤを付与し、一つ一つの映像情報を時系列で蓄積して、時間を指定すれば、撮影時刻順に該当する時間内の映像情報が取り出せるよう管理する。
クライアントの構成及びクライアントがサーバに送信する視野の指令内容も、第一実施例と同一である。また、サーバがクライアントからの指令を受け取った場合のクライアント指令処理プログラム１１４が行う処理は、第一実施例と同様に、図７のフローチャートに基づいて行われる。
【００４５】
本実施例は、撮影装置に広視野で高解像度のカメラを用いているので、クライアントの様々な視野の範囲指定の要求に対応が可能な、広い範囲の高画質な映像情報を得ることが可能となる。さらに、カメラの映像に対する画像処理が不要であるので、撮影からクライアントへの送信可能な情報として記憶されるまでの時間が、より短時間となり、リアルタイムでの映像情報の提供が可能となる。
また、本実施例においても、サーバに高速で並列処理が可能な装置を用いることにより、多数のクライアントが同時に映像情報の送信指令を出した場合でも、サーバは同時に要求された映像情報を送信することが可能であり、クライアントは遅延なく指令した映像情報を得ることができる。
【００４６】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、実施例では、クライアントの視野の指定範囲の入力手段はマウスを使用しているが、タッチ式ディスプレイパネルと専用ペンを使用することも可能である。また、実施例では、複数のカメラを格子状に配置して撮影を行っているが、カメラの設置位置と台数は撮影する映像情報の内容にあわせて任意に変更が可能であり、それに併せて画像処理プログラムによって重複部分の検出を行えば、複数のカメラの映像情報をマージして一つの映像情報を得ることが可能である。画像データベースには、入力画像をマージしたものを蓄積して記憶しておいてクライアントの要求に基づいて切り出して送信するほかに、入力された画像が、時刻や撮像方向などの属性とともにＤＢへ記録されるようにしてもよい。この場合、クライアントからの要求を解釈し、必要な枚数の映像情報がＤＢから画像ロードされ、これがマージされクライアントに送信される。その他、実施例の図中に示したデータ構造やサーバの構成は、通常のプログラミング作業や装置設計によって自由に変更が可能であり、項目の追加や削除も行うことができる。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項記載の組み合わせに限定されるものではない。
【００４７】
【発明の効果】以上のように、本願発明の映像情報配信システムによると、各クライアントが独立して視野を指定して映像情報の送信をサーバに指令すると、サーバは記憶している映像情報から当該クライアントが指定した視野内の映像情報を検索して抽出し、当該クライアントに送信する。これにより、同時に複数台のクライアントがサーバに対して、広範囲の映像情報の中から希望する視野を指定する事が可能であり、かつ指定した映像情報を高解像度でサーバから受信することができる。
【図面の簡単な説明】
【図１】実施例１の映像情報配信システムの構成を模式的に示す図。
【図２ａ】複数の撮影装置によって得られる映像情報をマージした１枚の映像情報を模式的に示す図。
【図２ｂ】複数の撮影装置によって一部重複する複数の映像情報が得られる様子を模式的に示す図。
【図２ｃ】視点が異なる複数の映像情報をマージするために必要な座標変換を模式的に示す図。
【図２ｄ】視点が異なる複数の映像情報をマージするために必要な座標変換を模式的に示す図。
【図３】実施例１の映像情報配信システムにおいて、複数の撮影装置によって得られる映像情報の重複部分の映像情報パターンを模式的に示す図。
【図４】実施例１の映像情報配信システムの映像情報記憶サーバに、時系列で蓄積して記憶されている映像情報の配列を模式的に示す図。
【図５】実施例１の映像情報配信システムのクライアントが、表示装置上で視野の指定を行う際の画面を模式的に示す図。
【図６】実施例１の映像情報配信システムのクライアントがサーバに送信する、視野を指定する指令内容の一例。
【図７】実施例１の映像情報配信システムの映像情報記憶サーバにおいて、クライアントの視野を指定した映像情報の送信指令を受けて、クライアントの指令に対応する映像情報を選択し送信する処理の概要を示すフローチャート。
【図８】実施例２の映像情報配信システムの構成を模式的に示す図。
【図９ａ】撮影範囲が時間的に変化する撮影装置によって得られる映像情報とその画像処理方法を模式的に示す図。
【図９ｂ】撮影範囲が時間的に変化する撮影装置によって得られる映像情報を平面に投射する様子を模式的に示す図。
【図９ｃ】撮影範囲が時間的に変化する撮影装置によって得られる映像情報を平面に投射するときに生じる間隙を模式的に示す図。
【図９ｄ】回転するカメラで撮影される映像情報を模式的に示す図。
【図９ｅ】回転するカメラで撮影される映像情報を模式的に示す平面図。
【図９ｆ】回転するカメラで撮影される映像情報を平面に投射する様子を模式的に示す図。
【図１０】実施例２の映像情報配信システムの映像情報記憶サーバに、時系列で蓄積して記憶されている映像情報の配列を模式的に示す図。
【図１１】実施例２の映像情報配信システムのクライアントが、視野を指定する際に表示される画面の一例。
【図１２】実施例２の映像情報配信システムのクライアントがサーバに送信する、視野を指定する指令内容の一例。
【図１３】実施例３の映像情報配信システムの構成を模式的に示す図。

Claims (10)

1. 映像情報記憶サーバと、そのサーバに通信網を介して接続された複数のクライアントで構成され、
   各クライアントは、他のクライアントから独立して視野を指定する手段を備えており、
   映像情報記憶サーバは、各クライアントが視野を指定して映像情報の送信を指令したときに、そのサーバに記憶されている映像情報であって当該クライアントが指定した視野内の映像情報を当該クライアントに送信する手段を備えていることを特徴とする映像情報配信システム。
2. 各クライアントは、映像情報記憶サーバから送信される映像情報に基づいて視野内の映像を表示する手段を持ち、表示された映像を用いて以後の視野を指定できることを特徴とする請求項１の映像情報配信システム。
3. 各クライアントは、任意のタイミングで視野を変更できることを特徴とする請求項２の映像情報配信システム。
4. 各クライアントの表示装置に、視野角の変更の前後を通して同一サイズの映像が表示されることを特徴とする請求項２の映像情報配信システム。
5. 映像情報記憶サーバに記憶されている映像情報は、撮影範囲を異にする複数の撮影装置で撮影された複数の映像情報をマージして調整されていることを特徴とする請求項１の映像情報配信システム。
6. 映像情報記憶サーバに記憶されている映像情報は、撮影範囲を時間的に変化させる撮影装置で撮影された、撮影範囲を異にする複数の映像情報をマージして調整されていることを特徴とする請求項１の映像情報配信システム。
7. 映像情報記憶サーバに記憶されている映像情報が、時時刻刻に更新されることを特徴とする請求項１の映像情報配信システム。
8. 映像情報記憶サーバに記憶されている映像情報は、過去の映像情報を蓄積して記憶しており、各クライアントは、他のクライアントから独立して視野と時間を指定できることを特徴とする請求項１の映像情報配信システム。
9. 複数のクライアントに通信網を介して接続される映像情報記憶サーバであり、
   各クライアントが視野を指定して映像情報の送信を指令したときに、映像情報記憶サーバに記憶されている映像情報であって当該クライアントが指定した視野内の映像情報を当該クライアントに送信する手段を備えていることを特徴とする映像情報記憶サーバ。
10. 共通に用いられる映像情報記憶サーバに通信網を介して複数のクライアントを接続しておき、
    各クライアントが視野を指定したときに、映像情報記憶サーバが、そのサーバに記憶されている映像情報であって当該クライアントが指定した視野内の映像情報を、当該クライアントに送信することを特徴とする映像情報配信方法。

Images