JP2006148767A

JP2006148767A - 映像配信システム、映像配信装置、映像受信装置、映像配信装置の通信方法、映像受信装置の表示方法、プログラム、及び記憶媒体

Info

Publication number: JP2006148767A
Application number: JP2004338931A
Authority: JP
Inventors: Motohiro Onishi; 元大大西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-11-24
Filing date: 2004-11-24
Publication date: 2006-06-08

Abstract

【課題】歪み補正等の処理を施した映像を配信する場合においても、一定の映像品質を保証することができ、また、システムの状況に応じた利用が可能となる。
【解決手段】サーバにおいて、クライアントによって決定された視野範囲に応じて、前記撮像手段により得られた映像の歪みを補正し、歪み補正が行われた少なくとも一部分の映像を前記クライアントに対して配信するに際して、視線方向の変化と歪補正処理に応じて、画角設定のために使用する設定情報をクライアントに対して通知する。
【選択図】図２

Description

本発明は、撮像手段により得られた映像を配信または表示できる映像配信システム、映像配信装置、映像受信装置、映像配信装置の通信方法、映像受信装置の表示方法、プログラム、及び記憶媒体に関するものである。

ユーザが指定した視野範囲の映像を出力する映像配信システムには、従来から、ズーム制御可能な光学系と、パン、チルト機構を搭載したカメラを使用し、クライアント側で入力された視線方向及び画角に応じてパン、チルト、ズーム制御を行ってからキャプチャした映像を出力する映像配信システムがあった（例えば、特許文献１参照。）。

また、上記の映像配信システム以外に、全方位ミラーや魚眼レンズなどの画角の広い光学系を使用し、クライアント側で入力された視線方向及び画角に応じて、サーバ側またはクライアント側で、キャプチャまたは受信された映像の歪みを補正し、一部を切り出してから映像を出力する映像配信システムもあった（例えば、特許文献２参照。）。
特許第３４４１９０１号公報特開２０００−１３２６７３号公報

前者の映像配信システムでは、視線方向が変化しても画角が同じであれば、撮像面上に投影される像と出力される映像の対応関係は変わらないので、出力される映像の解像度は変化しない。しかし、後者の映像配信システムでは、図１１及び図１２に示されるように、出力される映像の解像度は変化するため、以下のような問題が生じる。

すなわち、出力される映像を生成する過程で、歪補正処理によって１１０１に示すような撮像面上に投影される像から１２０１に示すようなパノラマ画像への座標系の変更を伴う変換が行われてから、出力映像が切り出される。したがって、画角が同じままで視線方向のみが変化する場合、視野範囲に相当する領域の面積は、パノラマ画像上では１２０２、１２０３、１２０４のように同じになるが、撮像面上では１１０２、１１０３、１１０４のように変化する。撮像面上では画素密度が均一であるため、撮像面上での視野範囲に相当する領域の面積に応じて出力映像の解像度が変化する。出力映像の画像サイズに対して、解像度が上回る場合は問題ないが、解像度が下回る場合は出力映像の映像品質が低下する。

視線方向が変化しただけで表示される映像の品質が低下すると、映像品質を決定する他の要素である圧縮率や画像サイズとの違いがわかりにくくなり、ユーザにとって違和感が生じる可能性がある。また、解像度が低くなるのであれば、画角の設定範囲が制限されても映像品質を優先したい、特にサーバ側で歪み補正や切り出しの処理を行うシステムで通信量に応じて課金される場合などは、映像品質が低くなるのであれば映像を受信したくない、といったニーズもあると考えられる。

本発明は、上述した問題点を解決するためのものであり、歪み補正等の処理を施した映像を配信する場合においても、一定の映像品質を保証することができ、また、システムの状況に応じた利用が可能となる映像配信システム、映像配信装置、映像受信装置、映像配信装置の通信方法、映像受信装置の表示方法、プログラム、及び記憶媒体を提供することを目的とする。

上記目的を達成するために、本発明の映像配信システムは、撮像手段により得られた映像を配信するサーバと、前記サーバにより配信された映像を表示可能なクライアントと、を含む映像配信システムであって、前記クライアントは、表示する映像の視線方向を指定する視線方向設定手段と、表示する映像の画角を指定する画角設定手段と、を有し、前記サーバは、前記視線方向設定手段及び画角設定手段によって決定された視野範囲に応じて、前記撮像手段により得られた映像の歪みを補正する歪補正手段と、前記歪み補正が行われた少なくとも一部分の映像を前記クライアントに対して配信する配信手段と、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定手段で使用する設定情報を前記クライアントに対して通知する通知手段と、を有することを特徴とする。

また、本発明の映像配信装置は、撮像手段により得られた映像を配信可能であり、配信された映像を表示可能なクライアントに接続される映像配信装置であって、前記クライアントにおいて表示する映像の視線方向及び画角に基づく視野範囲に応じて、前記撮像手段により得られた映像の歪みを補正する歪補正手段と、前記歪み補正が行われた少なくとも一部分の映像を前記クライアントに対して配信する配信手段と、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を前記クライアントに対して通知する通知手段と、を有することを特徴とする。

また、本発明の映像受信装置は、撮像手段により得られた映像を配信するサーバから配信された映像を表示可能な映像受信装置であって、表示する映像の視線方向を指定する視線方向設定手段と、表示する映像の画角を指定する画角設定手段と、前記視線方向設定手段及び画角設定手段によって決定された視野範囲に応じて、前記サーバから受信した映像の歪みを補正する歪補正手段と、前記歪み補正が行われた少なくとも一部分の映像を表示するとともに、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を表示する表示手段と、を有することを特徴とする。

また、本発明の映像配信装置の通信方法は、接続されたクライアントにおいて表示する映像の視線方向及び画角に基づく視野範囲に応じて、撮像手段により得られた映像の歪みを補正する歪補正手段と、前記歪み補正が行われた少なくとも一部分の映像を前記クライアントに対して配信する配信手段と、を有する映像配信装置の通信方法であって、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を前記クライアントに対して通知する通知工程、を有することを特徴とする。

また、本発明の映像受信装置の表示方法は、撮像手段により得られた映像を配信するサーバから配信される映像に関し、表示する映像の視線方向を指定する視線方向設定手段と、表示する映像の画角を指定する画角設定手段と、前記視線方向設定手段及び画角設定手段によって決定された視野範囲に応じて、前記サーバから受信した映像の歪みを補正する歪補正手段と、を有する映像受信装置の表示方法であって、前記歪み補正が行われた少なくとも一部分の映像を表示するとともに、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を表示する表示工程、を有することを特徴とする。

また、本発明のプログラムは、接続されたクライアントにおいて表示する映像の視線方向及び画角に基づく視野範囲に応じて、撮像手段により得られた映像の歪みを補正する歪補正手段と、前記歪み補正が行われた少なくとも一部分の映像を前記クライアントに対して配信する配信手段と、を有する映像配信装置の通信方法を実行するためのプログラムであって、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を前記クライアントに対して通知する通知ステップ、を有することを特徴とする。

また、本発明のプログラムは、撮像手段により得られた映像を配信するサーバから配信される映像に関し、表示する映像の視線方向を指定する視線方向設定手段と、表示する映像の画角を指定する画角設定手段と、前記視線方向設定手段及び画角設定手段によって決定された視野範囲に応じて、前記サーバから受信した映像の歪みを補正する歪補正手段と、を有する映像受信装置の表示方法を実行するためのプログラムであって、前記歪み補正が行われた少なくとも一部分の映像を表示するとともに、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を表示する表示工程、を有することを特徴とする。

また、本発明の記憶媒体は、接続されたクライアントにおいて表示する映像の視線方向及び画角に基づく視野範囲に応じて、撮像手段により得られた映像の歪みを補正する歪補正手段と、前記歪み補正が行われた少なくとも一部分の映像を前記クライアントに対して配信する配信手段と、を有する映像配信装置の通信方法を実行するためのプログラムコードを記憶した記憶媒体であって、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を前記クライアントに対して通知する通知コード、を有することを特徴とする。

また、本発明の記憶媒体は、撮像手段により得られた映像を配信するサーバから配信される映像に関し、表示する映像の視線方向を指定する視線方向設定手段と、表示する映像の画角を指定する画角設定手段と、前記視線方向設定手段及び画角設定手段によって決定された視野範囲に応じて、前記サーバから受信した映像の歪みを補正する歪補正手段と、を有する映像受信装置の表示方法を実行するためのプログラムコードを記憶した記憶媒体であって、前記歪み補正が行われた少なくとも一部分の映像を表示するとともに、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を表示する表示コード、を有することを特徴とする。

本発明によれば、従来のシステムでは保証されなかった映像品質を保証することが可能になり、映像品質が低くなる場合は、そのことが明示されるため、ユーザーにとってよりわかりやすいユーザーインターフェースを提供することができる。

また、特にネットワーク回線が細い場合や、通信量に応じて課金される場合に、必要性の低いデータの取得を抑制してレスポンスを改善したり、通信料を減らしたりする効果が期待できる。

以下、図面を参照して本発明の実施の形態を説明する。

以下の実施形態の映像配信システムは、指定可能な全ての視線方向に対して、一定の解像度が保たれる基準となる画角（以下、基準画角とする。）を取得する基準画角取得部を備える。出力画像の解像度は、画角を除けば、光学系の歪特性、撮像素子のサイズと画素数、パノラマ画像への変換式、配信映像サイズ、表示映像サイズ、視線方向によって決定される。これらの要素のうち、撮像素子のサイズと画素数は基本的に固定で、光学系の歪特性は光学系を変更しない限り変化せず、パノラマ画像への変換式はパノラマ画像の投影方法が固定であれば変化しないので、これら３つの要素の組み合わせは１つから数パターンまでである。したがって、基準画角取得部は、配信映像サイズ、表示映像サイズ、視線方向のそれぞれの値を入力とし、基準画角を出力する。

また、本実施形態の映像配信システムは、基準画角取得部によって取得された基準画角の値に応じて、画角設定範囲を変化させる画角設定部を備える。画角設定部はクライアント画面上に表示される画角設定用のユーザーインターフェースであり、基準画角を超えない範囲でのみ画角を設定できるように制限したり、映像品質が保証される範囲をユーザーに明示したりする。

第１の実施形態では、サーバ側でキャプチャ画像の歪補正と切り出しを行うシステムの例を示し、第２の実施形態では、クライアント側でキャプチャ画像の歪補正と切り出しを行うシステムの例を示す。それぞれの実施例において共通する部分は第１の実施形態の説明で述べ、第２の実施形態の説明では第１の実施形態と異なる点についてのみ述べる。

（第１の実施形態）
図１は、本発明に係る映像配信システムの基本的な構成図である。インターネット、イントラネット、電話回線などのネットワーク１０１にサーバとクライアントが接続される。サーバは、カメラと一体になったカメラ一体型１０２、カメラと独立した独立型１０３のいずれでもよく、専用のハードまたはＰＣとソフトウェアで構成されるタイプのいずれでもよい。また、カメラの光学系は、サーバ１０２に装着されるような全方位ミラー、１０３に装着されるような魚眼レンズのいずれでもよい。クライアントは、ＰＣとソフトウェアで構成されるタイプ１０４、ＰＤＡや携帯電話とソフトウェアで構成されるタイプ１０４、専用のハードとモニターで構成されるタイプ１０５のいずれでもよい。

図４は、サーバ側でキャプチャ画像の歪補正と切り出しを行う場合の、本発明の映像配信システムの内部構成図である。

サーバ２０１は、光学系２０２、撮像素子２０３、キャプチャ部２０４で構成される撮像部２０５、パノラマ画像への投影方法歪補正を行う歪補正処理部２０６、映像切り出し処理部２０７、配信映像サイズへのリサイズを行うリサイズ処理部２０８、配信映像データへの符号化を行う符号化処理部２０９で構成される映像処理部２１０、映像フレームデータを含む各種データを一時的に保持するためのメモリ２１１、ネットワーク２１２を経由してクライアントとのデータの送受信を行う通信処理部２１３、サーバの内部状態やクライアントの接続状態を管理するサーバ管理部２１４、基準画角を取得するための式またはテーブルと視線方向及び配信映像サイズから基準画角を取得するための基準画角取得部２１５等で構成される。ここで、カメラがサーバと独立している場合は、撮像部２０５はサーバの外部に存在することになる。また、映像処理部２１０を構成する各処理部は、専用のチップでも、ＣＰＵやＤＳＰによるソフトウェア処理でもよく、各処理部が必ずしも互いに独立していなくてもよい。

クライアント２１６は、ユーザーからの操作を受け付けたり出力映像を表示したりするユーザーインターフェース２１７、受信映像サイズから表示映像サイズへのリサイズを行うリサイズ処理部２１８、受信映像データを復号する復号化処理部２１９で構成される映像処理部２２０、映像フレームデータを含む各種データを一時的に保持するためのメモリ２２１、サーバとのデータの送受信を行う通信処理部２２２、クライアントの内部状態を管理するクライアント管理部２２３、表示映像サイズに対応してサーバから通知された基準画角の値を変更する基準画角変更部２２４等で構成される。

図３は、サーバ側でキャプチャ画像の歪補正と切り出しを行う場合の、本実施形態の映像配信システムの動作フローチャートである。

ユーザーからの要求などによって視線方向の変更が要求され（Ｓ３０１）、サーバ管理部２１４によって要求が受け付けられると（Ｓ３０２）、映像切り出し処理部２０７によって視線方法変更後の視野範囲に応じた映像の切り出し範囲の変更が行われるとともに（Ｓ３０３）、基準画角取得部２１５によって変更後の視線方向に応じた基準画角が取得される（Ｓ３０４）。そして、現在の画角が基準画角におりも大きいか（Ｓ３０５）、画角が基準画角によって制限されるか（Ｓ３０６）を判断し、現在の画角が基準画角以下の場合や、基準画角によって画角が制限されない場合は、すぐにクライアントへの基準画角の通知が行われる（Ｓ３０８）。一方、基準画角以上でかつ画角が基準画角によって制限される場合は、画角が基準画角の値に設定され（Ｓ３０８）、それに伴って映像切り出し処理部２０７による映像の切り出し範囲の変更が行われてから（Ｓ３０３）、クライアントへの基準画角の通知が行われ、クライアントは画角設定部のユーザインターフェースを変更する（Ｓ３０９）。ここで、視線方向の変更要求を受け付けた時点と、画角を基準画角の値に設定する時点のそれぞれで、映像の切り出し範囲の変更が必要になることになるが、それぞれの時点で２回、または後者の直後の１回のみでも、どちらでもよい。

ユーザーからの要求などによって配信映像サイズの変更が要求され（Ｓ３１０）、サーバ管理部２１４によって要求が受け付けられると（Ｓ３１１）、リサイズ処理部２０８によって配信映像サイズの変更が行われるとともに（Ｓ３１２）、基準画角取得部２１５によって変更後の配信映像サイズに応じた基準画角が取得される（Ｓ３０４）。現在の設定よりも大きい配信映像サイズが指定された場合には、基準画角が小さくなることがあり、その場合は視線方向の変更要求を受け付けた場合と同様に、画角の基準画角への変更やそれに伴う映像の切り出し範囲の変更が行われる場合がある。

ユーザーからの要求によって表示映像サイズの変更が要求された場合は（Ｓ３１３）、クライアント側のみで処理可能であり、基本的にサーバへの通知は行われない。その場合、基準画角変更部２２４によって、サーバから通知された基準画角が、配信映像サイズに対する表示映像サイズの割合を乗じた値に変更される（Ｓ３１４）。

上記のように、サーバ側やクライアント側で基準画角の変更が行われると、ユーザーインターフェース２１７の画角設定部の表示や入力方法が変化する。

図４は、基準画角取得部における基準画角の取得方法を表す。基準画角取得部は、カメラやパノラマ画像への投影方法ごとに異なる、基準画角取得用のテーブルまたは算出式Ｔ（ｘ，ｙ，ｗ，ｈ）を保持する。ここで、ｘはパノラマ画像の幅方向の画素位置、ｙはパノラマ画像の高さ方向の画素位置を表し、視線方向によって決まる。ｗは配信映像の幅方向の画素数、ｈは配信映像の高さ方向の画素数を表し、Ｔ（ｘ，ｙ，ｗ，ｈ）は、あらかじめ各入力値の組み合わせに対して出力する基準画角の値が保持されたテーブル、または、各入力値から基準画角の値を算出するための式を表す。

テーブルに保持された値や算出式から出力される値は、あらかじめ、視線方向に対応した画素位置における配信映像の画素密度に対する撮像面上の画素密度の比が等しくなる画角、撮像面上と配信画像において視野範囲に相当する範囲内の総画素数が等しくなる画角などの基準で算出された値である。

図５は、クライアントにおけるユーザーインターフェースの例を表す。クライアントのユーザーインターフェースには、出力映像を表示するための出力映像表示部５０１、視線方向を設定するための視線方向設定部５０２、画角を設定するための画角設定部５０３がある。図５の例では、画角設定部は画角を設定するためのスライダと、画角の大きさを表す目盛りで構成される。スライダの上端は画角設定範囲の上限を表す。

図６及び図７は、それぞれ基準画角を画角設定範囲の上限とする場合のユーザーインターフェースの例を表す。

図５の状態から、表示画像サイズや配信画像サイズが大きくなったり、視線方向が変化して視野範囲の解像度が低くなったりして、基準画角が低くなると、図６の例では画角設定部のスライダの上端が低くなってスライダの長さが変化し、図７の例ではスライダの長さは変化しないが目盛りの間隔が長くなる。また、基準画角が元の画角を下回る場合は、画角が制限されてスライダ指示位置が上端に移動する。

図８は、基準画角を画角設定範囲の区切り位置とする場合のユーザーインターフェースの例を表す。

図５の状態から基準画角が低くなると、スライダに基準画角に対応した区切り位置を示す表示８０１が現れる。さらに基準画角が低くなった場合は、それに伴って区切り位置がさらに低くなる。画角を基準画角によって制限するか、制限しないかを選択できる場合、前者が選択されている場合はスライダの指示位置は区切り位置となり、後者が選択されている場合は元の指示位置のままになる。また、クライアント端末がカーソルキーを備え、カーソルキーを押しつづけることによってスライダの指示位置を移動させることができる場合は、カーソルキーの上を押しつづけてスライダの指示位置が区切り位置に達すると、一旦区切り位置で停止し、再度カーソルキーの上を押すことによってのみ区切り位置を越えて画角を設定できるようになる。

（第２の実施形態）
図１１は、クライアント側でキャプチャ画像の歪補正と切り出しを行う場合の、本発明の映像配信システムの内部構成図である。サーバ側でキャプチャ画像の歪補正と切り出しを行う場合の、本発明の映像配信システムの内部構成図である。

図４に示した第１の実施形態の構成と異なるのは、サーバ側の映像処理部２１０の、歪補正処理部２０６、映像切り出し処理部２０７及び基準画角取得部２１５が、クライアント側に移った点と、基準画角変更部２２４が基準画角取得部９２３に含まれた点である。

第１の実施形態の映像配信システムと異なり、配信映像は、撮像面上に投影された像をキャプチャして、リサイズと符号化を行っただけの映像となる。クライアントによって受信された映像データは、復号化処理部９１８によって復号され、歪補正処理部９１７によって歪補正が行われた後、映像切り出し処理部９１６によってユーザーが設定した視線方向と画角に応じて切り出され、リサイズ処理部９１５によって表示画像サイズへのリサイズが行われる。また、基準画角取得部９２３は、基準画角を取得するための式またはテーブルを保持し、クライアント管理部９２２から入力された視線方向、配信映像サイズ、及び表示映像サイズから基準画角の値を取得する。

図１０は、クライアント側でキャプチャ画像の歪補正と切り出しを行う場合の、本実施形態の映像配信システムの動作フローチャートである。

ユーザーからの要求によって視線方向の変更が要求され（Ｓ１００１）、クライアント管理部９２２によって要求が受け付けられると、映像切り出し処理部９１６によって視線方法変更後の視野範囲に応じた映像の切り出し範囲の変更が行われるとともに、基準画角取得部９２３によって変更後の視線方向に応じた基準画角が取得される（Ｓ１００２）。そして、現在の画角が基準画角より大きいか（Ｓ１００３）、画角が基準画角によって制御されるか（Ｓ１００４）を判断し、現在の画角が基準画角以下の場合や、基準画角によって画角が制限されない場合は、基準画角の値をユーザーインターフェース９１４に通知し（Ｓ１００６）、すぐに基準画角の変更が反映される（Ｓ１００７）。一方、基準画角以上でかつ画角が基準画角によって制限される場合は、画角が基準画角の値に設定され（Ｓ１００５）、それに伴って映像切り出し処理部９１６による映像の切り出し範囲の変更が行われてから（Ｓ１００３）、ユーザーインターフェース９１４に基準画角の変更が反映される。ここで、視線方向の変更要求を受け付けた時点と、画角を基準画角の値に設定する時点のそれぞれで、映像の切り出し範囲の変更が必要になることになるが、それぞれの時点で２回、または後者の直後の１回のみでも、どちらでもよい。

ユーザーからの要求などによって配信映像サイズの変更が要求され（Ｓ１００８）、サーバ管理部９１０によって要求が受け付けられると（Ｓ１００９）、サーバ側のリサイズ処理部９０６によって配信映像サイズの変更が行われる（Ｓ１０１０）。クライアント側で映像を受信して受信映像サイズの変更が検知されると、基準画角取得部９２３によって変更後の受信映像サイズに応じた基準画角が取得される（Ｓ１００２）。受信映像サイズが大きくなった場合は、基準画角が小さくなることがあり、その場合は視線方向の変更要求を受け付けた場合と同様に、画角の基準画角への変更やそれに伴う映像の切り出し範囲の変更が行われる場合がある。

ユーザーからの要求によって表示映像サイズの変更が要求された場合（Ｓ１０１１）の処理は、第１の実施形態の映像配信システムの場合と同様である（Ｓ１０１２）。

（他の実施形態）
本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

本発明に係る映像配信システムの基本構成図サーバ側でキャプチャ画像の歪補正と切り出しを行う場合の、本発明の映像配信システムの内部構成図サーバ側でキャプチャ画像の歪補正と切り出しを行う場合の、本発明の映像配信システムの動作フローチャート基準画角取得部における基準画角の取得方法クライアントにおけるユーザーインターフェースの例基準画角を画角設定範囲の上限とする場合のユーザーインターフェースの例その１基準画角を画角設定範囲の上限とする場合のユーザーインターフェースの例その２基準画角を画角設定範囲の区切り位置とする場合のユーザーインターフェースの例クライアント側でキャプチャ画像の歪補正と切り出しを行う場合の、本発明に係る映像配信システムの内部構成図クライアント側でキャプチャ画像の歪補正と切り出しを行う場合の、本発明に係る映像配信システムの動作フローチャート魚眼レンズ（等距離射影型）によって撮像面上に投影された像パノラマ画像（撮像面に投影された像全体を正距円筒図法によって変換した画像）

符号の説明

１０１ネットワーク
１０２カメラ一体型サーバ
１０３独立型サーバ
１０４クライアント
１０５クライアント
２０１サーバ
２１６クライアント

Claims

撮像手段により得られた映像を配信するサーバと、前記サーバにより配信された映像を表示可能なクライアントと、を含む映像配信システムであって、
前記クライアントは、
表示する映像の視線方向を指定する視線方向設定手段と、
表示する映像の画角を指定する画角設定手段と、を有し、
前記サーバは、
前記視線方向設定手段及び画角設定手段によって決定された視野範囲に応じて、前記撮像手段により得られた映像の歪みを補正する歪補正手段と、
前記歪み補正が行われた少なくとも一部分の映像を前記クライアントに対して配信する配信手段と、
前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定手段で使用する設定情報を前記クライアントに対して通知する通知手段と、を有することを特徴とする映像配信システム。
前記画角設定手段は、ユーザーインターフェースを使用して構成されており、前記通知手段は、視線方向が変化した場合に、前記歪補正手段によって歪補正処理された後の視野範囲の解像度の違いに応じた画角設定情報を前記クライアントに対して通知し、前記クライアントでは、通知された前記画角設定情報に基づき、前記ユーザーインターフェースの表示状態が変化することを特徴とする映像配信システム。
前記ユーザーインターフェースの変化は、画角設定範囲の変化であり、少なくとも指定可能な画角の上限値の変化を含むことを特徴とする請求項２に記載の映像配信システム。
画角が前記指定可能な画角の上限値であるときに、視線方向の変化によって画角の上限値が変化した場合、視線方向が変化した後の画角は、画角の上限値が上がった場合は変化前と同じ値になり、画角の上限値が下がった場合は変化後の画角の上限値となることを特徴とする請求項３に記載の映像配信システム。
前記ユーザーインターフェースの変化は、表示される映像の解像度が一定となる画角の基準値の変化であることを特徴とする請求項２に記載の映像配信システム。
画角が前記基準値であるときに、視線方向の変化によって基準値が変化した場合、視線方向が変化した後の画角は、基準値が上がった場合は変化前の基準値のままとなり、基準値が下がった場合は変化後の基準値または変化前の基準値のままとなることを特徴とする請求項５に記載の映像配信システム。
前記クライアントは、視線方向や画角の設定によって閲覧可能な範囲全体と、表示される映像の視線方向を表示するパノラマ画面表示手段を有することを特徴とする請求項２に記載の映像配信システム。
前記撮像手段は、全方位ミラー及び魚眼レンズのうち少なくとも１つの光学系を使用して映像を取得することを特徴とする請求項１〜８のいずれかに記載の映像配信システム。
撮像手段により得られた映像を配信可能であり、配信された映像を表示可能なクライアントに接続される映像配信装置であって、
前記クライアントにおいて表示する映像の視線方向及び画角に基づく視野範囲に応じて、前記撮像手段により得られた映像の歪みを補正する歪補正手段と、
前記歪み補正が行われた少なくとも一部分の映像を前記クライアントに対して配信する配信手段と、
前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を前記クライアントに対して通知する通知手段と、を有することを特徴とする映像配信装置。
撮像手段により得られた映像を配信するサーバから配信された映像を表示可能な映像受信装置であって、
表示する映像の視線方向を指定する視線方向設定手段と、
表示する映像の画角を指定する画角設定手段と、
前記視線方向設定手段及び画角設定手段によって決定された視野範囲に応じて、前記サーバから受信した映像の歪みを補正する歪補正手段と、
前記歪み補正が行われた少なくとも一部分の映像を表示するとともに、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を表示する表示手段と、を有することを特徴とする映像受信装置。
接続されたクライアントにおいて表示する映像の視線方向及び画角に基づく視野範囲に応じて、撮像手段により得られた映像の歪みを補正する歪補正手段と、前記歪み補正が行われた少なくとも一部分の映像を前記クライアントに対して配信する配信手段と、を有する映像配信装置の通信方法であって、
前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を前記クライアントに対して通知する通知工程、を有することを特徴とする映像配信装置の通信方法。
撮像手段により得られた映像を配信するサーバから配信される映像に関し、表示する映像の視線方向を指定する視線方向設定手段と、表示する映像の画角を指定する画角設定手段と、前記視線方向設定手段及び画角設定手段によって決定された視野範囲に応じて、前記サーバから受信した映像の歪みを補正する歪補正手段と、を有する映像受信装置の表示方法であって、
前記歪み補正が行われた少なくとも一部分の映像を表示するとともに、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を表示する表示工程、を有することを特徴とする映像受信装置の表示方法。
接続されたクライアントにおいて表示する映像の視線方向及び画角に基づく視野範囲に応じて、撮像手段により得られた映像の歪みを補正する歪補正手段と、前記歪み補正が行われた少なくとも一部分の映像を前記クライアントに対して配信する配信手段と、を有する映像配信装置の通信方法を実行するためのプログラムであって、
前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を前記クライアントに対して通知する通知ステップ、を有することを特徴とするプログラム。
撮像手段により得られた映像を配信するサーバから配信される映像に関し、表示する映像の視線方向を指定する視線方向設定手段と、表示する映像の画角を指定する画角設定手段と、前記視線方向設定手段及び画角設定手段によって決定された視野範囲に応じて、前記サーバから受信した映像の歪みを補正する歪補正手段と、を有する映像受信装置の表示方法を実行するためのプログラムであって、
前記歪み補正が行われた少なくとも一部分の映像を表示するとともに、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を表示する表示工程、を有することを特徴とするプログラム。
接続されたクライアントにおいて表示する映像の視線方向及び画角に基づく視野範囲に応じて、撮像手段により得られた映像の歪みを補正する歪補正手段と、前記歪み補正が行われた少なくとも一部分の映像を前記クライアントに対して配信する配信手段と、を有する映像配信装置の通信方法を実行するためのプログラムコードを記憶した記憶媒体であって、
前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を前記クライアントに対して通知する通知コード、を有することを特徴とする記憶媒体。
撮像手段により得られた映像を配信するサーバから配信される映像に関し、表示する映像の視線方向を指定する視線方向設定手段と、表示する映像の画角を指定する画角設定手段と、前記視線方向設定手段及び画角設定手段によって決定された視野範囲に応じて、前記サーバから受信した映像の歪みを補正する歪補正手段と、を有する映像受信装置の表示方法を実行するためのプログラムコードを記憶した記憶媒体であって、
前記歪み補正が行われた少なくとも一部分の映像を表示するとともに、前記視線方向の変化と前記歪補正手段による歪補正処理に応じて、前記画角設定のために使用する設定情報を表示する表示コード、を有することを特徴とする記憶媒体。