JP2005217536A - 映像配信システム - Google Patents

Abstract

【課題】
配信映像のパケットロスを的確に補完し得る映像配信システムを実現する。
【解決手段】
それぞれ個別の撮影範囲を撮影してなる複数の個別画像を合成して配信画像を生成する画像合成手段と、配信画像についてのパリティを算出するパリティ算出手段と、算出したパリティを配信画像に付加するパリティ付加手段と、パリティが付加された配信画像をパケット化し、所定の配信対象に配信する配信手段とを映像配信装置に設け、配信画像に付加された当該配信画像についてのパリティを用いて、当該配信画像の配信時におけるパケット喪失によって発生する当該配信画像の喪失画素を復元する喪失画素復元手段を映像受信手段に設けたことにより、配信時におけるパケットロスを的確に補完することができる。
【選択図】 図１

Description

本発明は映像配信システムに関し、特に全方位映像を配信するシステムに適用して好適なものである。

従来、複数個のビデオカメラを用いて撮影地点を中心とした３６０°映像を撮影する、いわゆる全方位カメラが提案されている（例えば、特許文献１参照）。

かかる全方位カメラは、例えば４５°の水平画角を有する８台のＳＤ（Standard Definition）規格のビデオカメラをそれぞれの撮影範囲が重複しないように配置することにより、８台のビデオカメラ全体で水平方向３６０°全周を撮影する。

そして全方位カメラは、８台のビデオカメラそれぞれで撮影したＳＤ規格の映像信号を合成（マルチプレクス）することにより、ＨＤ（High Definition）規格でなる全方位映像信号を生成する。
特開２００３−３０４５０９公報

このようにして全方位カメラで撮影された全方位映像信号を、例えばインターネット等のネットワークを介してストリーミング配信することが考えられる。ところがネットワークを介したストリーミング配信では、パケットの喪失（パケットロス）が発生することがあり、かかるパケットロスによって全方位画像のうちの一部画素が欠落して表示品質が低下することがあるという問題があった。

本発明は以上の点を考慮してなされたもので、配信時における配信映像のパケットロスを的確に補完し得る映像配信システムを提案しようとするものである。

かかる課題を解決するため本発明においては、それぞれ個別の撮影範囲を撮影してなる複数の個別画像を合成し、撮影範囲が連続してなる配信画像を生成する画像合成手段と、配信画像に合成された複数の個別画像間についてのパリティを算出するパリティ算出手段と、算出したパリティを配信画像に付加するパリティ付加手段と、パリティ付加手段によってパリティが付加された配信画像をパケット化し、所定の配信対象に配信する配信手段とを具えることを映像配信装置に設けた。

そして、パリティ算出手段は、複数の個別画像を重ね合わせた状態で対応する画素毎にパリティを算出し、パリティ付加手段は、算出したパリティを次フレーム及び次次フレームの合成画像に付加するようにした。

算出したパリティを次フレーム及び次次フレームの２枚の合成画像に付加することにより、配信時におけるパケットロスによる合成画像の喪失画素を強力に復元することができる。

また、個別画像それぞれについての個別パリティを算出し、当該個別画像に付加する個別パリティ算出手段を設けた。

個別パリティに基づいて喪失画素が存在する個別画像を推定し、全体パリティを用いて当該喪失画素を復元することができる。

またパリティ算出手段は、配信画像全体の水平方向及び垂直方向のパリティを算出するようにした。

直交する２つのパリティを生成して合成画像に付加することにより、これらのパリティのみを用いて喪失画素を特定できるとともに、１枚の合成画像に複数の喪失画素が発生した場合でも、喪失画素を復元することができる。

また本発明においては、それぞれ個別の撮影範囲を撮影してなる複数の個別画像が合成され撮影範囲が連続してなる配信画像のパケットを受信する受信手段と、配信画像に付加された、当該配信画像に合成された上記複数の個別画像間についてのパリティを用いて、当該配信画像の配信時におけるパケット喪失によって発生する当該配信画像の喪失画素を復元する喪失画素復元手段とを映像受信装置に設けた。

そして、パリティは複数の個別画像を重ね合わせた状態で対応する画素毎に算出され、パケットには、当該パケットに格納された個別画像の識別番号が記入され、喪失画素復元手段は、喪失パケットの前後のパケットに記入された識別番号に基づいて、当該喪失パケットに格納されていた個別画像を推定して喪失画素を復元するようにした。

識別番号に基づいて喪失画素が含まれる個別画像を推定し、パリティを用いて当該喪失画素を復元することができる。

また、パリティは複数の上記個別画像を重ね合わせた状態で対応する画素毎に算出され、配信画像に合成された上記複数の個別画像それぞれには当該個別画像についての個別パリティが付加され、喪失画素復元手段は、個別パリティに基づいて喪失画素が存在する個別画像を推定し、全体パリティを用いて当該喪失画素を復元するようにした。

個別パリティに基づいて喪失画素が存在する個別画像を推定し、全体パリティを用いて当該喪失画素を復元することができる。

また、パリティは配信画像全体の水平方向パリティ及び垂直方向パリティでなり、喪失画素復元手段は、当該水平方向パリティ及び垂直方向パリティに基づいて喪失画素を特定して復元するようにした。

直交する２つの水平方向パリティ及び垂直方向パリティのみを用いて喪失画素を特定できるとともに、１枚の合成画像に複数の喪失画素が発生した場合でも、喪失画素を復元することができる。

本発明によれば、全方位映像の配信時におけるパケットロスを的確に補完することができる。

以下図面について、本発明の一実施の形態を詳述する。

（１）第１の実施の形態
（１−１）映像配信システムの構成
図１において、１は全体として本発明の第１の実施の形態の映像配信システムを示し、映像配信装置２が配信サーバ３を介してネットワーク４に接続されている。そして配信サーバ３は、全方位カメラ１０を用いて撮影した配信映像としての全方位映像を、ネットワーク４を介して複数のクライアントＰＣ（Personal Computer）５に対してストリーミング配信する。

映像受信装置としての各クライアントＰＣ５は、受信した全方位映像から、それぞれのユーザがマウス等を介して指定する希望撮影方位を中心とした所定画角の映像を抽出し表示部５Ｄに表示することにより、全方位カメラ１０を中心としたユーザ任意の方向の映像を表示するようになされている。

図２は全方位カメラ１０の全体構成を示し、三脚１１の上部にカメラユニット１２が載置されて構成される。このカメラユニット１２は、レンズを下方に向けた状態で等間隔に環状に配列された８台のビデオカメラ１３（１３Ａ〜１３Ｈ）と、ビデオカメラ１３Ａ〜１３Ｈそれぞれのレンズ下方に配置された８枚のミラー１４（１４Ａ〜１４Ｈ）とを有している。

ミラー１４Ａ〜１４Ｈは、対応するビデオカメラ１３Ａ〜１３Ｈのレンズ光軸に対して４５°外方に傾けて配置されている。これにより、垂直方向下方に向けて設置されているビデオカメラ１３Ａ〜１３Ｈは、それぞれ対応するミラー１４Ａ〜１４Ｈを介して水平方向に撮影を行う。

このビデオカメラ１３Ａ〜１３Ｈは、通常のビデオカメラとは異なり、映像を縦長の状態（垂直方向４：水平方向３）で撮影するように配置されており、その水平画角が４５°に選定されている。これによりカメラユニット１２は、８台のビデオカメラ１３Ａ〜１３Ｈ全体で４５°×８＝３６０°全周を撮影するようになされている。

各ビデオカメラ１３Ａ〜１３Ｈは、カメラコントロールユニット１５（図１）からの制御に応じて撮影を行ってアナログコンポジット信号でなる映像信号Ｓ１Ａ〜Ｓ１Ｈをそれぞれ生成し、これを当該カメラコントロールユニット１５を介してＡ／Ｄ（Analog/Digital）コンバータ１６に入力する。Ａ／Ｄコンバータ１６は、映像信号Ｓ１Ａ〜Ｓ１Ｈをそれぞれディジタル変換してＳＤ規格のディジタル映像データＤ１Ａ〜Ｄ１Ｈを生成し、これらをリアルタイムマルチプレクサ２０の入力チャンネルＣｈ１〜Ｃｈ８にそれぞれ入力する。

画像合成手段としてのリアルタイムマルチプレクサ２０は、８ｃｈのＳＤ−ＳＤＩ規格のディジタル映像データＤ１Ａ〜Ｄ１Ｈが表すフレーム毎の画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）を、図３に示すようにマッピングして全方位画像ＰｉｃＡ（ｎ）を合成し、当該全方位画像ＰｉｃＡ（ｎ）が連続してなるＨＤ−ＳＤＩ規格のディジタル全方位映像データＤ２を生成する。

ここで、実際上リアルタイムマルチプレクサ２０は、最大１０ＣｈのＳＤ−ＳＤＩ規格のディジタル映像データを１ｃｈのＨＤ−ＳＤＩ規格のディジタル映像データに合成する能力を有している。このためディジタル全方位映像データＤ２には、ＳＤ−ＳＤＩ規格のディジタル映像データ２ｃｈ分の空きが存在する。

本願発明の映像配信システム１は、ディジタル全方位映像データＤ２が有するこのデータの空き部分を有効利用し、ネットワーク上でのパケットロスを補完するようになされている。

すなわち、パリティ算出手段としての映像配信装置２のパリティ生成器３０は、リアルタイムマルチプレクサ２０から供給されるディジタル全方位映像データＤ２から画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）を１フレーム毎に再分離し、当該画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）を重ね合わせた状態で各画素についてExclusive OR（排他的論理和）を取ることにより、画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）の１フレーム分の画像のパリティデータＰａｒ（ｎ）を順次生成し、これをリアルタイムマルチプレクサ２０に供給する。

パリティ付加手段としてのリアルタイムマルチプレクサ２０は、パリティ生成器３０から供給されるパリティデータＰａｒ（ｎ）を、ディジタル映像データＤ２の次フレーム（ｎ＋１フレーム）及び次次フレーム（ｎ＋２フレーム）の画面下部にマッピングして、配信サーバ３に供給する。配信サーバ３は、ディジタル映像データＤ２を順次パケット化し、ネットワーク４を介してクライアントＰＣ５にストリーミング配信する。

クライアントＰＣ５においては、当該クライアントＰＣ５全体を統括的に制御する喪失画素復元手段としてのＣＰＵ（Central Processing Unit）５Ａに対して、ハードディスクドライブ５Ｂ、メモリ５Ｃ、表示部５Ｄ及び受信手段としてのネットワークインターフェース５Ｅがバス５Ｆを介して接続されている。

ハードディスクドライブ５Ｂには、オペレーティングシステムや、配信サーバ３から配信されるディジタル映像データＤ２を受信して表示するための受信処理プログラム等の各種アプリケーションプログラムが格納されている。そしてＣＰＵ５Ａは、クライアントＰＣ５の起動に応じてハードディスクドライブ５Ｂからオペレーティングシステムを読み出し、メモリ５Ｃに展開して実行する。

そしてＣＰＵ５Ａは、オペレーティングシステムの実行環境下において受信処理プログラムを実行し、配信サーバ３から受信したディジタル映像データＤ２の全方位画像ＰｉｃＡ（ｎ）から、ユーザが指定する希望撮影方位を中心とした所定画角の映像を抽出して表示部５Ａに順次表示する。

このときクライアントＰＣ５は、受信したディジタル映像データＤ２にパケットロスが存在した場合、当該ディジタル映像データＤ２にマッピングされているパリティデータＰａｒ（ｎ）を用いて、パケットロスによる喪失画素を復元するようになされている。

（１−２）パリティデータの生成及びマッピング
次に、上述したパリティ生成器３０によるパリティデータＰａｒ（ｎ）の生成、及びリアルタイムマルチプレクサ２０によるマッピングの様子を詳細に説明する。

図４に示す映像配信装置２の初期状態において、ディジタル映像データＤ１Ａ〜Ｄ１Ｈの最初のフレーム（これを０フレームとする）が、リアルタイムマルチプレクサ２０のＣｈ１〜Ｃｈ８にそれぞれ入力される。リアルタイムマルチプレクサ２０は、この０フレーム目の画像Ｐｉｃ１（０）〜Ｐｉｃ８（０）を順次マッピングするとともに、ダミーデータＤｕｍｍｙ１及びＤｕｍｍｙ２をそれぞれ画面左下部及び右下部にマッピングして、０フレーム目の全方位画像ＰｉｃＡ（０）を合成する。

そしてリアルタイムマルチプレクサ２０は、この０フレーム目の全方位画像ＰｉｃＡ（０）を、ディジタル全方位映像データＤ２として配信サーバ３及びパリティ生成器３０に供給する。配信サーバ３０は、ディジタル全方位映像データＤ２をパケット化しネットワーク４を介してクライアントＰＣ５にストリーミング配信する。

一方、パリティ生成器３０の画像再分離部３１は、０フレーム目の全方位画像ＰｉｃＡ（０）から画像Ｐｉｃ１（０）〜Ｐｉｃ８（０）を再分離し、これを次段のパリティ算出部３２に供給する。パリティ算出部３２は画像Ｐｉｃ１（０）〜Ｐｉｃ８（０）を重ね合わせた状態で各画素のExclusive ORを取ることにより、画像Ｐｉｃ１（０）〜Ｐｉｃ８（０）の０フレーム目のパリティデータＰａｒ（０）を生成する。

画像回転部３３は、パリティデータＰａｒ（０）を横に９０°回転して次段のパリティバッファ３４に供給する。パリティバッファ３４は、パリティデータＰａｒ（０）を次の１フレーム目の画像Ｐｉｃ１（１）〜Ｐｉｃ８（１）の入力タイミングに同期してリアルタイムマルチプレクサ２０のＣｈ９に入力するとともに、メモリ３５に格納する。

リアルタイムマルチプレクサ２０は、１フレーム目の画像Ｐｉｃ１（１）〜Ｐｉｃ８（１）を順次マッピングするとともに、０フレーム目のパリティデータＰａｒ（０）をダミーデータＤｕｍｍｙ１に替えて画面左下部にマッピングして、１フレーム目の全方位画像ＰｉｃＡ（１）を合成する。

そしてリアルタイムマルチプレクサ２０は、この１フレーム目の全方位画像ＰｉｃＡ（１）を、ディジタル全方位映像データＤ２として配信サーバ３を介してクライアントＰＣ５に配信するとともに、パリティ生成器３０に供給する。

図５において、パリティ生成器３０の画像再分離部３１は、１フレーム目の全方位画像ＰｉｃＡ（１）から画像Ｐｉｃ１（１）〜Ｐｉｃ８（１）を再分離し、これを次段のパリティ算出部３２に供給する。パリティ算出部３２は画像Ｐｉｃ１（１）〜Ｐｉｃ８（１）のExclusive ORを取ることにより、１フレーム目のパリティデータＰａｒ（１）を生成する。

画像回転部３３は、パリティデータＰａｒ（１）を横に９０°回転して次段のパリティバッファ３４に供給する。パリティバッファ３４は、パリティデータＰａｒ（１）を次の１フレーム目の画像Ｐｉｃ１（２）〜Ｐｉｃ８（２）の入力タイミングに同期してリアルタイムマルチプレクサ２０のＣｈ９に入力するとともに、メモリ３５に格納する。このとき同時にメモリ３５は、格納していた０フレーム目のパリティデータＰａｒ（０）を、画像Ｐｉｃ１（２）〜Ｐｉｃ８（２）の入力タイミングに同期してリアルタイムマルチプレクサ２０のＣｈ１０に入力する

リアルタイムマルチプレクサ２０は、２フレーム目の画像Ｐｉｃ１（２）〜Ｐｉｃ８（２）を順次マッピングするとともに、１フレーム目のパリティデータＰａｒ（１）を画面左下部にマッピングし、さらにメモリ３５から供給される０フレーム目のパリティデータＰａｒ（０）をダミーデータＤｕｍｍｙ２に替えて画面右下部にマッピングして、２フレーム目の全方位画像ＰｉｃＡ（２）を合成する。

そしてリアルタイムマルチプレクサ２０は、この２フレーム目の全方位画像ＰｉｃＡ（２）を、ディジタル全方位映像データＤ２として配信サーバ３を介してクライアントＰＣ５に配信するとともに、パリティ生成器３０に供給する。

かくして映像配信装置２は、ｎフレーム目の全方位画像ＰｉｃＡ（ｎ）に対し、ｎフレーム目の画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）、ｎ−１フレーム目のパリティデータＰａｒ（ｎ−１）、及びｎ−２フレーム目のパリティデータＰａｒ（ｎ−２）をマッピングしていく。

このためｎフレーム目の画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）のパリティデータＰａｒ（ｎ）は、次のｎ＋１フレーム目の全方位画像ＰｉｃＡ（ｎ＋１）及びその次のｎ＋２フレーム目の全方位画像ＰｉｃＡ（ｎ＋２）の双方に格納されることになり、この冗長性により、パケットロスによる喪失画素を強力に復元することができる。

ここで、パリティデータＰａｒ（ｎ）は画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）の対応画素全体に対するものであり、パケットロスによる喪失画素が画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）のいずれに存在するのかは、当該パリティデータＰａｒ（ｎ）単独では判別することができない。

しかしながらこの映像配信システム１においては、配信サーバ３が全方位画像ＰｉｃＡ（０）をパケット化する際、そのパケットヘッダに、タイムスタンプやシーケンスナンバーとともに、当該パケットに格納されている画像データがビデオカメラ１３Ａ〜１３Ｈのいずれで撮影されたものかを表す画像識別番号としての１〜８のカメラ番号を記入するようになされている。

この１〜８のカメラ番号は画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）に対応するものである。このため、前後のパケットに記入されたカメラ番号からパケットロスが発生したパケットのカメラ番号を推定し、当該推定したカメラ番号から、喪失画素が画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）のいずれに存在するのかを判別することにより、カメラ番号とパリティデータＰａｒ（ｎ）とを用いて喪失画素を復元することができる。

（１−３）第１の実施の形態の映像配信処理手順
次に、上述した映像配信装置２による映像配信処理手順を、図６に示すフローチャートを用いて詳細に説明する。

映像配信装置２のリアルタイムマルチプレクサ２０はルーチンＲＴ１の開始ステップから入ってステップＳＰ１に移り、各ビデオカメラ１３Ａ〜１３Ｈから入力される画像データを待ち受け、当該画像データが入力されると次のステップＳＰ２に移る。

ステップＳＰ２において映像配信装置２のリアルタイムマルチプレクサ２０は、入力された画像データが０フレーム目のデータであるか否かを判定する。ステップＳＰ２において、画像データが０フレーム目のデータであると判定した場合、リアルタイムマルチプレクサ２０はステップＳＰ３に移り、Ｐｉｃ１（０）〜Ｐｉｃ８（０）の画像データ及びダミーデータＤｕｍｍｙ１及びＤｕｍｍｙ２を合成して全方位画像ＰｉｃＡ（０）を生成し、これを配信サーバ３に供給した後、次のステップＳＰ４に移る。

ステップＳＰ４において映像配信装置２のパリティ生成器３０は、Ｐｉｃ１（０）〜Ｐｉｃ８（０）の画像データから現フレームのパリティデータＰａｒ（０）を生成し、リアルタイムマルチプレクサ２０に供給するとともにメモリ３５に記憶し、次のステップＳＰ５に移る。

ステップＳＰ５において映像配信装置２の配信サーバ３は、リアルタイムマルチプレクサ２０から入力された全方位画像ＰｉｃＡ（０）をパケット化し、そのパケットヘッダにタイムスタンプ、シーケンスナンバー、及び当該パケットに格納されている画像データがビデオカメラ１３Ａ〜１３Ｈのいずれで撮影されたものかを表すカメラ番号を付加し、次のステップＳＰ６に移る。

ステップＳＰ６において映像配信装置２の配信サーバ３は、生成したパケットをディジタル全方位映像データＤ２として、ネットワーク４を介してクライアントＰＣ５に配信した後ステップＳＰ１に戻り、かくして０フレームの処理が終了する。

これに対してステップＳＰ２において、画像データが０フレーム目のデータではないと判定した場合、リアルタイムマルチプレクサ２０はステップＳＰ７に移り、入力された画像データが１フレーム目のデータであるか否かを判定する。ステップＳＰ７において、画像データが１フレーム目のデータであると判定した場合、リアルタイムマルチプレクサ２０はステップＳＰ８に移り、Ｐｉｃ１（１）〜Ｐｉｃ８（１）の画像データ、一つ前のフレームのパリティデータＰａｒ（０）及びダミーデータＤｕｍｍｙ２を合成して全方位画像ＰｉｃＡ（１）を生成し、これを配信サーバ３に供給して、ステップＳＰ４に移る。

ステップＳＰ４において映像配信装置２のパリティ生成器３０は、Ｐｉｃ１（１）〜Ｐｉｃ８（１）の画像データから現フレームのパリティデータＰａｒ（１）を生成し、リアルタイムマルチプレクサ２０に供給するとともにメモリ３５に記憶し、次のステップＳＰ５に移る。

ステップＳＰ５において映像配信装置２の配信サーバ３は、リアルタイムマルチプレクサ２０から入力された全方位画像ＰｉｃＡ（１）をパケット化し、そのパケットヘッダにタイムスタンプ、シーケンスナンバー及びカメラ番号を付加し、次のステップＳＰ６に移る。

ステップＳＰ６において映像配信装置２の配信サーバ３は、生成したパケットをディジタル全方位映像データＤ２として、ネットワーク４を介してクライアントＰＣ５に配信した後ステップＳＰ１に戻り、かくして１フレームの処理が終了する。

これに対してステップＳＰ７において、画像データが１フレーム目のデータではないと判定した場合（すなわち２フレーム目以降のデータ）、リアルタイムマルチプレクサ２０はステップＳＰ９に移り、Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）の画像データ、一つ前のフレームのパリティデータＰａｒ（ｎ−１）及び二つ前のフレームのパリティデータＰａｒ（ｎ−２）を合成して全方位画像ＰｉｃＡ（ｎ）を生成し、これを配信サーバ３に供給して、ステップＳＰ４に移る。

ステップＳＰ４において映像配信装置２のパリティ生成器３０は、Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）の画像データから現フレームのパリティデータＰａｒ（ｎ）を生成し、リアルタイムマルチプレクサ２０に供給するとともにメモリ３５に記憶し、次のステップＳＰ５に移る。

ステップＳＰ５において映像配信装置２の配信サーバ３は、リアルタイムマルチプレクサ２０から入力された全方位画像ＰｉｃＡ（ｎ）をパケット化し、そのパケットヘッダにタイムスタンプ、シーケンスナンバー及びカメラ番号を付加し、次のステップＳＰ６に移る。

ステップＳＰ６において映像配信装置２の配信サーバ３は、生成したパケットをディジタル全方位映像データＤ２として、ネットワーク４を介してクライアントＰＣ５に配信した後ステップＳＰ１に戻る。そして映像配信装置２は、ステップＳＰ１〜ＳＰ２〜ＳＰ７〜ＳＰ９〜ＳＰ４〜ＳＰ５〜ＳＰ６を順次実行することにより２フレーム目以降の処理を行い、かくしてディジタル全方位映像データＤ２をクライアントＰＣ５にストリーミング配信していく。

（１−４）第１の実施の形態のクライアントＰＣの受信処理手順
次に、上述した映像配信処理手順によって配信されたディジタル全方位映像データＤ２をクライアントＰＣ５が受信して表示する際の受信処理手順を、図７に示すフローチャートを用いて詳細に説明する。

クライアントＰＣ５のＣＰＵ５Ａは、受信処理手順ルーチンＲＴ２の開始ステップから入ってステップＳＰ１１に移り、配信サーバ３からストリーミング配信されるディジタル全方位映像データＤ２のパケットを順次メモリ５Ｃに格納し（バッファリングの開始）、次のステップＳＰ１２に移る。

ステップＳＰ１２においてＣＰＵ５Ａは、メモリ５Ｃにバッファリングしたパケットのパケットヘッダに記入されているシーケンスナンバーの連続性に基づいて、パケットロスの有無を判定する。ステップＳＰ１２において、着目しているパケットのシーケンスナンバーが前後のパケットのシーケンスナンバーと連続している場合、このことはパケットロスが発生していないことを表しており、このときＣＰＵ５ＡはステップＳＰ１３に移り、受信したディジタル全方位映像データＤ２のパケットから全方位画像ＰｉｃＡ（ｎ）を復元し、さらにユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ１２に戻る。

これに対してステップＳＰ１２において、着目しているパケットのシーケンスナンバーが前後のパケットのシーケンスナンバーと連続していない場合、このことはパケットロスが発生していることを表しており、このときＣＰＵ５ＡはステップＳＰ１４に移り、前後のパケットのシーケンスナンバー及びカメラ番号から、パケットロスが起きたＣｈ（すなわち画像Ｐｉｃ１〜Ｐｉｃ８のうちのどの画像でパケットロスが発生したか）を推定し、次のステップＳＰ１５に移る。

ステップＳＰ１５においてＣＰＵ５Ａは、パケットロスが発生したフレーム（全方位画像ＰｉｃＡ（ｎ））の次フレームのデータ（すなわち全方位画像ＰｉｃＡ（ｎ＋１））が、メモリ５Ｃに格納されているかを判定する。

ステップＳＰ１５において、次フレームの全方位画像ＰｉｃＡ（ｎ＋１）がメモリ５Ｃに格納されている場合、ＣＰＵ５ＡはステップＳＰ１６に移り、当該次フレームの全方位画像ＰｉｃＡ（ｎ＋１）の左下領域からパリティデータＰａｒ（ｎ）を抽出し、次のステップＳＰ１７に移る。ステップＳＰ１７においてＣＰＵ５Ａは、抽出したパリティデータＰａｒ（ｎ）を用いて全方位画像ＰｉｃＡ（ｎ）のパケットロスを復元した後ステップＳＰ１３に移り、ユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ１２に戻る。

これに対してステップＳＰ１５において、次フレームの全方位画像ＰｉｃＡ（ｎ＋１）がメモリ５Ｃに格納されていない場合、ＣＰＵ５ＡはステップＳＰ１８に移り、パケットロスが発生したフレーム（全方位画像ＰｉｃＡ（ｎ））の次次フレームのデータ（すなわち全方位画像ＰｉｃＡ（ｎ＋２））が、メモリ５Ｃに格納されているかを判定する。

ステップＳＰ１８において、次次フレームの全方位画像ＰｉｃＡ（ｎ＋２）がメモリ５Ｃに格納されている場合、ＣＰＵ５ＡはステップＳＰ１９に移り、当該次次フレームの全方位画像ＰｉｃＡ（ｎ＋２）の右下領域からパリティデータＰａｒ（ｎ）を抽出した後ステップＳＰ１７に移る。ステップＳＰ１７においてＣＰＵ５Ａは、抽出したパリティデータＰａｒ（ｎ）を用いて全方位画像ＰｉｃＡ（ｎ）のパケットロスを復元した後ステップＳＰ１３に移り、ユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ１２に戻る。

これに対してステップＳＰ１８において、次次フレームの全方位画像ＰｉｃＡ（ｎ＋２）がメモリ５Ｃに格納されていない場合、このことはパケットロスを復元し得るパリティデータＰａｒ（ｎ）が存在しないことを表しており、このときＣＰＵ５ＡはステップＳＰ２０に移り、例えばパケットロスによって失われた画像部分を前後のフレームの画像で補完する等のエラー処理を行った後ステップＳＰ１３に移り、ユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ１２に戻る。

（１−５）動作及び効果
以上の構成において、映像配信システム１のパリティ生成器３０は、リアルタイムマルチプレクサ２０で合成した全方位画像ＰｉｃＡ（ｎ）から画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）を１フレーム毎に再分離し、画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）の対応する各画素のパリティデータＰａｒ（ｎ）を生成する。

そしてリアルタイムマルチプレクサ２０は、パリティ生成器３０が生成したパリティデータＰａｒ（ｎ）を、全方位画像ＰｉｃＡ（ｎ＋１）（すなわち次フレーム）及び全方位画像ＰｉｃＡ（ｎ＋２）（すなわち次次フレーム）に格納する。

これに加えて映像配信システム１の配信サーバ３は、全方位画像ＰｉｃＡ（ｎ）をパケット化してストリーミング配信する際、そのパケットヘッダに、当該パケットに格納されている画像データがビデオカメラ１３Ａ〜１３Ｈのいずれで撮影されたものかを表すカメラ番号を記入する。

このため映像配信システム１のクライアントＰＣ５は、ネットワーク上でパケットロスが発生したとしても、その前後のパケットのカメラ番号に基づいてパケットロスが発生したパケットのカメラ番号を推定し、当該推定したカメラ番号とパリティデータＰａｒ（ｎ）とを用いることにより、パケットロスによる喪失画素を復元することができる。

これに加えて映像配信システム１では、パリティデータＰａｒ（ｎ）を全方位画像ＰｉｃＡ（ｎ＋１）及びＰｉｃＡ（ｎ＋２）のフレームに格納していることから、たとえ一方のフレームがパケットロスしたとしても、残る他方のフレームのパケットに格納されたパリティデータＰａｒ（ｎ）を用いて、パケットロスによる喪失画素を復元することができる。

以上の構成によれば、全方位画像ＰｉｃＡ（ｎ＋１）及びＰｉｃＡ（ｎ＋２）の２つのフレームに格納したパリティデータＰａｒ（ｎ）を用いて、パケットロスによる喪失画素を強力に復元することができる。

（２）第２の実施の形態
図１との対応箇所に同一符号を付して示す図８において、４０は全体として本発明の第２の実施の形態の映像配信システムを示し、映像配信装置４１のパリティ生成器４３によるパリティの生成方法、及びリアルタイムマルチプレクサ４２によるパリティの格納方法が異なる以外は、第１の実施の形態の映像配信システム１と同一であるため、当該リアルタイムマルチプレクサ４２及びパリティ生成器４３を中心に説明する。

図９に示すように、画像合成手段としてのリアルタイムマルチプレクサ４２は、全方位カメラ１０（図８）から供給されるディジタル映像データＤ１Ａ〜Ｄ１Ｈの最初のフレームの画像Ｐｉｃ１（０）〜Ｐｉｃ８（０）をマッピングして全方位画像ＰｉｃＡ（０）を合成する。このときリアルタイムマルチプレクサ４２は、ダミーデータＤｕｍｍｙ１及びＤｕｍｍｙ２を画面左下部及び右下部にそれぞれマッピングする。

そしてリアルタイムマルチプレクサ４２は、この０フレーム目の全方位画像ＰｉｃＡ（０）を、ディジタル全方位映像データＤ２として配信サーバ３を介してクライアントＰＣ５に配信するとともに、パリティ生成器４３に供給する。

パリティ算出手段としてのパリティ生成器４３は、リアルタイムマルチプレクサ４２から供給されるディジタル全方位映像データＤ２の全方位画像ＰｉｃＡ（０）を垂直パリティ算出部４５Ｖ及び水平パリティ算出部４５Ｈに入力する。

垂直パリティ算出部４５Ｖは、全方位画像ＰｉｃＡ（０）における画像Ｐｉｃ１（０）〜Ｐｉｃ８（０）の領域（以下、これを実画像領域と呼ぶ）について、画面垂直方向のExclusive ORを算出し、これを垂直パリティデータＶ−Ｐａｒ（０）とする。同様に水平パリティ算出部４５Ｈは、全方位画像ＰｉｃＡ（０）における実画像領域について、画面水平方向のExclusive ORを算出することにより、これを水平パリティデータＨ−Ｐａｒ（０）とする。

そして垂直パリティ算出部４５Ｖ及び水平パリティ算出部４５Ｈは、次の１フレーム目の画像Ｐｉｃ１（１）〜Ｐｉｃ８（１）の入力タイミングに同期して、それぞれ垂直パリティデータＶ−Ｐａｒ（０）及び水平パリティデータＨ−Ｐａｒ（０）をリアルタイムマルチプレクサ４２のＣｈ９及びＣｈ１０に入力する。

画像合成手段及びパリティ付加手段としてのリアルタイムマルチプレクサ４２は、１フレーム目の画像Ｐｉｃ１（１）〜Ｐｉｃ８（１）を順次マッピングするとともに、０フレーム目の垂直パリティデータＶ−Ｐａｒ（０）及び水平パリティデータＨ−Ｐａｒ（０）それぞれ画面左下部及び右下部にマッピングして、１フレーム目の全方位画像ＰｉｃＡ（１）を合成する。

以降、同様にして映像配信装置４１は、ｎフレーム目の全方位画像ＰｉｃＡ（ｎ）に対し、ｎフレーム目の画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）と、ｎ−１フレーム目の垂直パリティデータＶ−Ｐａｒ（ｎ−１）及び水平パリティデータＨ−Ｐａｒ（ｎ−１）とをマッピングし、ディジタル全方位映像データＤ２として配信サーバ３を介してクライアントＰＣ５に配信する。

クライアントＰＣ５は、配信サーバ３から受信したディジタル映像データＤ２の全方位画像ＰｉｃＡ（ｎ）から、ユーザが指定する希望撮影方位を中心とした所定画角の映像を抽出して表示部５Ａに順次表示する。

このときクライアントＰＣ５は、受信したディジタル映像データＤ２にパケットロスが存在した場合、当該ディジタル映像データＤ２にマッピングされている垂直パリティデータＶ−Ｐａｒ（ｎ）及び水平パリティデータＨ−Ｐａｒ（ｎ）を用いて喪失画素を特定し復元するようになされている。

次に、上述した映像配信装置４１による映像配信処理手順を、図１０に示すフローチャートを用いて詳細に説明する。

映像配信装置４１のリアルタイムマルチプレクサ４２はルーチンＲＴ３の開始ステップから入ってステップＳＰ２１に移り、各ビデオカメラ１３Ａ〜１３Ｈから入力される画像データを待ち受け、当該画像データが入力されると次のステップＳＰ２２に移る。

ステップＳＰ２２において映像配信装置４１のリアルタイムマルチプレクサ４２は、入力された画像データが０フレーム目のデータであるか否かを判定する。ステップＳＰ２２において、画像データが０フレーム目のデータであると判定した場合、リアルタイムマルチプレクサ２０はステップＳＰ２３に移り、Ｐｉｃ１（０）〜Ｐｉｃ８（０）の画像データ及びダミーデータＤｕｍｍｙ１及びＤｕｍｍｙ２を合成して全方位画像ＰｉｃＡ（０）を生成し、これを配信サーバ３に供給した後、次のステップＳＰ２４に移る。

ステップＳＰ２４において映像配信装置４１のパリティ生成器４３は、全方位画像ＰｉｃＡ（０）の実画像領域から現フレームの垂直パリティデータＶ−Ｐａｒ（０）及び水平パリティデータＨ−Ｐａｒ（０）を生成し、これらをリアルタイムマルチプレクサ４２に供給して次のステップＳＰ２５に移る。

ステップＳＰ２５において映像配信装置４１の配信サーバ３は、リアルタイムマルチプレクサ４２から入力された全方位画像ＰｉｃＡ（０）をパケット化し、そのパケットヘッダにタイムスタンプ、シーケンスナンバー及びカメラ番号を付加し、次のステップＳＰ２６に移る。

ステップＳＰ２６において映像配信装置４１の配信サーバ３は、生成したパケットをディジタル全方位映像データＤ２として、ネットワーク４を介してクライアントＰＣ５に配信した後ステップＳＰ２１に戻り、かくして０フレームの処理が終了する。

これに対してステップＳＰ２２において、画像データが０フレーム目のデータではないと判定した場合、リアルタイムマルチプレクサ４２はステップＳＰ２７に移り、Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）の画像データ、一つ前のフレーム垂直パリティデータＶ−Ｐａｒ（ｎ−１）及び水平パリティデータＨ−Ｐａｒ（ｎ−１）を合成して全方位画像ＰｉｃＡ（ｎ）を生成し、これを配信サーバ３に供給して、ステップＳＰ２４に移る。

ステップＳＰ２４において映像配信装置４１のパリティ生成器４３は、全方位画像ＰｉｃＡ（ｎ）の実画像領域から現フレームの垂直パリティデータＶ−Ｐａｒ（ｎ）及び水平パリティデータＨ−Ｐａｒ（ｎ）を生成し、これらをリアルタイムマルチプレクサ４２に供給して次のステップＳＰ２５に移る。

ステップＳＰ２５において映像配信装置４１の配信サーバ３は、リアルタイムマルチプレクサ４２から入力された全方位画像ＰｉｃＡ（ｎ）をパケット化し、そのパケットヘッダにタイムスタンプ、シーケンスナンバー及び当該カメラ番号を付加し、次のステップＳＰ２６に移る。

ステップＳＰ２６において映像配信装置４１の配信サーバ３は、生成したパケットをディジタル全方位映像データＤ２として、ネットワーク４を介してクライアントＰＣ５に配信した後ステップＳＰ２１に戻る。そして映像配信装置４１は、ステップＳＰ２１〜ＳＰ２２〜ＳＰ２７〜ＳＰ２４〜ＳＰ２５〜ＳＰ２６を順次実行することにより２フレーム目以降の処理を行い、かくしてディジタル全方位映像データＤ２をクライアントＰＣ５にストリーミング配信していく。

次に、上述した映像配信処理手順によって配信されたディジタル全方位映像データＤ２をクライアントＰＣ５が受信して表示する際の受信処理手順を、図１１に示すフローチャートを用いて詳細に説明する。

クライアントＰＣ５のＣＰＵ５Ａは、受信処理手順ルーチンＲＴ４の開始ステップから入ってステップＳＰ３１に移り、配信サーバ３からストリーミング配信されるディジタル全方位映像データＤ２のパケットを順次メモリ５Ｃに格納して（バッファリングの開始）、次のステップＳＰ３２に移る。

ステップＳＰ３２においてＣＰＵ５Ａは、メモリ５Ｃにバッファリングしたパケットのパケットヘッダに記入されているシーケンスナンバーの連続性に基づいて、パケットロスの有無を判定する。ステップＳＰ３２において、着目しているパケットのシーケンスナンバーが前後のパケットのシーケンスナンバーと連続している場合、このことはパケットロスが発生していないことを表しており、このときＣＰＵ５ＡはステップＳＰ３３に移り、受信したディジタル全方位映像データＤ２のパケットから全方位画像ＰｉｃＡ（ｎ）を復元し、さらにユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ３２に戻る。

これに対してステップＳＰ３２において、着目しているパケットのシーケンスナンバーが前後のパケットのシーケンスナンバーと連続していない場合、このことはパケットロスが発生していることを表しており、このときＣＰＵ５ＡはステップＳＰ３４に移り、前後のパケットのシーケンスナンバー及びカメラ番号から、パケットロスが起きたＣｈ（すなわち画像Ｐｉｃ１〜Ｐｉｃ８のうちのどの画像でパケットロスが発生したか）を推定し、次のステップＳＰ３５に移る。

ステップＳＰ３５においてＣＰＵ５Ａは、パケットロスが発生したフレーム（全方位画像ＰｉｃＡ（ｎ））の次フレーム（全方位画像ＰｉｃＡ（ｎ＋１））に格納されている垂直パリティデータＶ−Ｐａｒ（ｎ）によって、パケットロスによる喪失画素を復元し得るか否かを判断する。

ステップＳＰ３５において、垂直パリティデータＶ−Ｐａｒ（ｎ）によって喪失画素を復元し得ると判断した場合、ＣＰＵ５ＡはステップＳＰ３６に移り、次フレームの全方位画像ＰｉｃＡ（ｎ＋１）から垂直パリティデータＶ−Ｐａｒ（ｎ）を抽出し、当該垂直パリティデータＶ−Ｐａｒ（ｎ）を用いてパケットロスによる喪失画素を復元する。そしてＣＰＵ５ＡはステップＳＰ３３に移り、ユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ３２に戻る。

これに対してステップＳＰ３５において、垂直パリティデータＶ−Ｐａｒ（ｎ）によって喪失画素を復元し得ないと判断した場合、ＣＰＵ５ＡはステップＳＰ３７に移り、次フレームの全方位画像ＰｉｃＡ（ｎ＋１）に格納されている水平パリティデータＨ−Ｐａｒ（ｎ）によって、パケットロスによる喪失画素を復元し得るか否かを判断する。

ステップＳＰ３７において、水平パリティデータＨ−Ｐａｒ（ｎ）によって喪失画素を復元し得ると判断した場合、ＣＰＵ５ＡはステップＳＰ３８に移り、次フレームの全方位画像ＰｉｃＡ（ｎ＋１）から水平パリティデータＨ−Ｐａｒ（ｎ）を抽出し、当該水平パリティデータＨ−Ｐａｒ（ｎ）を用いてパケットロスによる喪失画素を復元する。そしてＣＰＵ５ＡはステップＳＰ３３に移り、ユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ３２に戻る。

これに対してステップＳＰ３７において、水平パリティデータＨ−Ｐａｒ（ｎ）によっても喪失画素を復元し得ないと判断した場合、ＣＰＵ５ＡはステップＳＰ３９に移り、例えばパケットロスによって失われた画像部分を前後のフレームの画像で補完する等のエラー処理を行った後ステップＳＰ３３に移り、ユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ３２に戻る。

以上の構成において、映像配信システム４０のパリティ生成器４３は、リアルタイムマルチプレクサ４２で合成した全方位画像ＰｉｃＡ（ｎ）における実画像領域について、垂直パリティデータＶ−Ｐａｒ（ｎ）及び水平パリティデータＨ−Ｐａｒ（ｎ）を生成する。

そしてリアルタイムマルチプレクサ４２は、パリティ生成器４３が生成した垂直パリティデータＶ−Ｐａｒ（ｎ）及び水平パリティデータＨ−Ｐａｒ（ｎ）を、次フレームの全方位画像ＰｉｃＡ（ｎ＋１）に格納する。

これに加えて映像配信システム４０の配信サーバ３は、全方位画像ＰｉｃＡ（ｎ）をパケット化してストリーミング配信する際、そのパケットヘッダに、当該パケットに格納されている画像データがビデオカメラ１３Ａ〜１３Ｈのいずれで撮影されたものかを表すカメラ番号を記入する。

このため映像配信システム４０のクライアントＰＣ５は、ネットワーク上でパケットロスが発生したとしても、その前後のパケットのカメラ番号に基づいてパケットロスが発生したパケットのカメラ番号を推定し、当該推定したカメラ番号とパリティデータＰａｒ（ｎ）とを用いることにより、パケットロスによる喪失画素を復元することができる。

これに加えて映像配信システム４０では、垂直パリティデータＶ−Ｐａｒ（ｎ）及び水平パリティデータＨ−Ｐａｒ（ｎ）の２種類のパリティデータを全方位画像ＰｉｃＡ（ｎ＋１）に格納していることから、喪失画素が複数存在して一方のパリティデータで喪失画素を復元しきれない場合でも、他方のパリティデータを用いることで、より強力に喪失画素を復元することができる。

例えば図１２（Ａ）に示すように、２個の喪失画素が同一垂直線上に存在する場合、これらの喪失画素は垂直パリティデータＶ−Ｐａｒ（ｎ）では復元できないものの、水平パリティデータＨ−Ｐａｒ（ｎ）を用いれば復元することができる。同様に図１２（Ｂ）に示すように、２個の喪失画素が同一水平線上に存在する場合、これらの喪失画素は水平パリティデータＨ−Ｐａｒ（ｎ）では復元できないものの、垂直パリティデータＶ−Ｐａｒ（ｎ）を用いれば復元することができる。

以上の構成によれば、垂直パリティデータＶ−Ｐａｒ（ｎ）及び水平パリティデータＨ−Ｐａｒ（ｎ）の直交する２種類のパリティデータを全方位画像ＰｉｃＡ（ｎ＋１）に格納することにより、パケットロスによって複数の喪失画素が生じた場合でも、当該喪失画素を強力に復元することができる。

（３）第３の実施の形態
図１との対応箇所に同一符号を付して示す図１３において、５０は全体として本発明の第３の実施の形態の映像配信システムを示し、映像配信装置５１のリアルタイムマルチプレクサ２０の前段に、フレームパリティ生成器５２が設けられている以外は、第１の実施の形態の映像配信システム１と同一であるため、当該フレームパリティ生成器５２を中心に説明する。

図１４に示すように、個別パリティ生成手段としてのフレームパリティ生成器５２は、全方位カメラ１０（図１３）から供給されるディジタル映像データＤ１Ａ〜Ｄ１Ｈの画像Ｐｉｃ１〜Ｐｉｃ８それぞれから、個別パリティとしての１ライン分のフレームパリティデータＰａｒ１〜Ｐａｒ８を生成し、これを画像Ｐｉｃ１〜Ｐｉｃ８それぞれの画面最下部に付加してリアルタイムマルチプレクサ２０（図１３）に供給する。

リアルタイムマルチプレクサ２０は図４及び図５に示すように、フレームパリティ生成器５２から供給されるｎフレーム目の画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）と、パリティ生成器３０から供給されるｎ−１フレーム目のパリティデータＰａｒ（ｎ−１）及びｎ−２フレーム目のパリティデータＰａｒ（ｎ−２）をマッピングして全方位画像ＰｉｃＡ（ｎ）を生成し、これをディジタル全方位映像データＤ２として配信サーバ３を介してクライアントＰＣ５に配信する。

クライアントＰＣ５は、配信サーバ３から受信したディジタル映像データＤ２の全方位画像ＰｉｃＡ（ｎ）から、ユーザが指定する希望撮影方位を中心とした所定画角の映像を抽出して表示部５Ａに順次表示する。

そしてクライアントＰＣ５は、受信したディジタル映像データＤ２にパケットロスが存在した場合、ディジタル映像データＤ２にマッピングされている全体パリティとしてのパリティデータＰａｒ（ｎ）を用いて、パケットロスによる喪失画素を復元する。

ここで、パリティデータＰａｒ（ｎ）は画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）の対応画素全体に対するものであり、パケットロスによる喪失画素が画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）のいずれに存在するのかは、当該パリティデータＰａｒ（ｎ）単独では判別することができない。

しかしながらこの映像配信システム５０においては、各画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）それぞれに１ライン分の個別パリティとしてのフレームパリティデータＰａｒ１〜Ｐａｒ８が付加されているため、当該フレームパリティデータＰａｒ１〜Ｐａｒ８を用いて、画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）のどれに喪失画素が存在するかを判別することができる。

これによりクライアントＰＣ５Ａは、フレームパリティデータＰａｒ１〜Ｐａｒ８とパリティデータＰａｒ（ｎ）とを用いて喪失画素を復元することができる。

次に、上述した映像配信装置５１による映像配信処理手順を、図１５に示すフローチャートを用いて詳細に説明する。

映像配信装置５１のフレームパリティ生成器５２は、映像配信処理手順ルーチンＲＴ５の開始ステップから入ってステップＳＰ４１に移り、ディジタル映像データＤ１Ａ〜Ｄ１Ｈの画像Ｐｉｃ１〜Ｐｉｃ８それぞれの画像最下部に、１ライン分のフレームパリティデータＰａｒ１〜Ｐａｒ８を付加した後リアルタイムマルチプレクサ２０に供給し、次のステップＳＰ４２に移る。

ステップＳＰ４２において、映像配信装置５１のリアルタイムマルチプレクサ２０は、フレームパリティ生成器５２から入力される画像データを待ち受け、当該画像データが入力されると次のステップＳＰ４３に移る。

ステップＳＰ４３において映像配信装置５１のリアルタイムマルチプレクサ２０は、入力された画像データが０フレーム目のデータであるか否かを判定する。ステップＳＰ４２において、画像データが０フレーム目のデータであると判定した場合、リアルタイムマルチプレクサ２０はステップＳＰ４４に移り、Ｐｉｃ１（０）〜Ｐｉｃ８（０）の画像データ及びダミーデータＤｕｍｍｙ１及びＤｕｍｍｙ２を合成して全方位画像ＰｉｃＡ（０）を生成し、これを配信サーバ３に供給した後、次のステップＳＰ４５に移る。

ステップＳＰ４５において映像配信装置５１のパリティ生成器３０は、Ｐｉｃ１（０）〜Ｐｉｃ８（０）の画像データから現フレームのパリティデータＰａｒ（０）を生成し、リアルタイムマルチプレクサ２０に供給するとともにメモリ３５に記憶し、次のステップＳＰ４６に移る。

ステップＳＰ４６において映像配信装置５１の配信サーバ３は、リアルタイムマルチプレクサ２０から入力された全方位画像ＰｉｃＡ（０）をパケット化し、そのパケットヘッダにタイムスタンプ及びシーケンスナンバーを付加し、次のステップＳＰ４７に移る。

ステップＳＰ４７において映像配信装置５１の配信サーバ３は、生成したパケットをディジタル全方位映像データＤ２として、ネットワーク４を介してクライアントＰＣ５に配信した後ステップＳＰ４１に戻り、かくして０フレーム目の処理が終了する。

これに対してステップＳＰ４３において、画像データが０フレーム目のデータではないと判定した場合、リアルタイムマルチプレクサ２０はステップＳＰ４８に移り、入力された画像データが１フレーム目のデータであるか否かを判定する。ステップＳＰ４８において、画像データが１フレーム目のデータであると判定した場合、リアルタイムマルチプレクサ２０はステップＳＰ４９に移り、Ｐｉｃ１（１）〜Ｐｉｃ８（１）の画像データ、一つ前のフレームのパリティデータＰａｒ（０）及びダミーデータＤｕｍｍｙ２を合成して全方位画像ＰｉｃＡ（１）を生成し、これを配信サーバ３に供給して、ステップＳＰ４５に移る。

ステップＳＰ４５において映像配信装置５１のパリティ生成器３０は、Ｐｉｃ１（１）〜Ｐｉｃ８（１）の画像データから現フレームのパリティデータＰａｒ（１）を生成し、リアルタイムマルチプレクサ２０に供給するとともにメモリ３５に記憶し、次のステップＳＰ４６に移る。

ステップＳＰ４６において映像配信装置５１の配信サーバ３は、リアルタイムマルチプレクサ２０から入力された全方位画像ＰｉｃＡ（１）をパケット化し、そのパケットヘッダにタイムスタンプ及びシーケンスナンバーを付加し、次のステップＳＰ４７に移る。

ステップＳＰ４７において映像配信装置５１の配信サーバ３は、生成したパケットをディジタル全方位映像データＤ２として、ネットワーク４を介してクライアントＰＣ５に配信した後ステップＳＰ４１に戻り、かくして１フレーム目の処理が終了する。

これに対してステップＳＰ４８において、画像データが１フレーム目のデータではないと判定した場合（すなわち２フレーム目以降のデータ）、リアルタイムマルチプレクサ２０はステップＳＰ５０に移り、Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）の画像データ、一つ前のフレームのパリティデータＰａｒ（ｎ−１）及び二つ前のフレームのパリティデータＰａｒ（ｎ−２）を合成して全方位画像ＰｉｃＡ（ｎ）を生成し、これを配信サーバ３に供給して、ステップＳＰ４５に移る。

ステップＳＰ４５において映像配信装置５１のパリティ生成器３０は、Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）の画像データから現フレームのパリティデータＰａｒ（ｎ）を生成し、リアルタイムマルチプレクサ２０に供給するとともにメモリ３５に記憶し、次のステップＳＰ４６に移る。

ステップＳＰ４６において映像配信装置５１の配信サーバ３は、リアルタイムマルチプレクサ２０から入力された全方位画像ＰｉｃＡ（ｎ）をパケット化し、そのパケットヘッダにタイムスタンプ及びシーケンスナンバーを付加し、次のステップＳＰ４７に移る。

ステップＳＰ４７において映像配信装置５１の配信サーバ３は、生成したパケットをディジタル全方位映像データＤ２として、ネットワーク４を介してクライアントＰＣ５に配信した後ステップＳＰ４１に戻る。そして映像配信装置５１は、ステップＳＰ４１〜ＳＰ４２〜ＳＰ４３〜ＳＰ４８〜ＳＰ５０〜ＳＰ４５〜ＳＰ４６〜ＳＰ４７を順次実行することにより２フレーム目以降の処理を行い、かくしてディジタル全方位映像データＤ２をクライアントＰＣ５にストリーミング配信していく。

次に、上述した映像配信処理手順によって配信されたディジタル全方位映像データＤ２をクライアントＰＣ５が受信して表示する際の受信処理手順を、図１６に示すフローチャートを用いて詳細に説明する。

クライアントＰＣ５のＣＰＵ５Ａは、受信処理手順ルーチンＲＴ６の開始ステップから入ってステップＳＰ５１に移り、配信サーバ３からストリーミング配信されるディジタル全方位映像データＤ２のパケットを順次メモリ５Ｃに格納し（バッファリングの開始）、次のステップＳＰ５２に移る。

ステップＳＰ５２においてＣＰＵ５Ａは、メモリ５Ｃにバッファリングしたパケットのパケットヘッダに記入されているシーケンスナンバーの連続性に基づいて、パケットロスの有無を判定する。ステップＳＰ５２において、着目しているパケットのシーケンスナンバーが前後のパケットのシーケンスナンバーと連続している場合、このことはパケットロスが発生していないことを表しており、このときＣＰＵ５ＡはステップＳＰ５３に移り、受信したディジタル全方位映像データＤ２のパケットから全方位画像ＰｉｃＡ（ｎ）を復元し、さらにユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ５２に戻る。

これに対してステップＳＰ５２において、着目しているパケットのシーケンスナンバーが前後のパケットのシーケンスナンバーと連続していない場合、このことはパケットロスが発生していることを表しており、このときＣＰＵ５ＡはステップＳＰ５４に移り、フレームパリティデータＰａｒ１〜Ｐａｒ８を用いた誤り検出を実行し、その結果に基づいてパケットロスが起きたＣｈ（すなわち画像Ｐｉｃ１〜Ｐｉｃ８のうちのどの画像でパケットロスが発生したか）を推定し、次のステップＳＰ５５に移る。

ステップＳＰ５５においてＣＰＵ５Ａは、パケットロスが発生したフレーム（全方位画像ＰｉｃＡ（ｎ））の次フレームのデータ（すなわち全方位画像ＰｉｃＡ（ｎ＋１））が、メモリ５Ｃに格納されているかを判定する。

ステップＳＰ５５において、次フレームの全方位画像ＰｉｃＡ（ｎ＋１）がメモリ５Ｃに格納されている場合、ＣＰＵ５ＡはステップＳＰ５６に移り、当該次フレームの全方位画像ＰｉｃＡ（ｎ＋１）の左下領域からパリティデータＰａｒ（ｎ）を抽出し、次のステップＳＰ５７に移る。ステップＳＰ５７においてＣＰＵ５Ａは、抽出したパリティデータＰａｒ（ｎ）を用いて全方位画像ＰｉｃＡ（ｎ）のパケットロスを復元した後ステップＳＰ５３に移り、ユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ５２に戻る。

これに対してステップＳＰ５５において、次フレームの全方位画像ＰｉｃＡ（ｎ＋１）がメモリ５Ｃに格納されていない場合、ＣＰＵ５ＡはステップＳＰ５８に移り、パケットロスが発生したフレーム（全方位画像ＰｉｃＡ（ｎ））の次次フレームのデータ（すなわち全方位画像ＰｉｃＡ（ｎ＋２））が、メモリ５Ｃに格納されているかを判定する。

ステップＳＰ５８において、次次フレームの全方位画像ＰｉｃＡ（ｎ＋２）がメモリ５Ｃに格納されている場合、ＣＰＵ５ＡはステップＳＰ５９に移り、当該次次フレームの全方位画像ＰｉｃＡ（ｎ＋２）の右下領域からパリティデータＰａｒ（ｎ）を抽出した後ステップＳＰ５７に移る。ステップＳＰ５７においてＣＰＵ５Ａは、抽出したパリティデータＰａｒ（ｎ）を用いて全方位画像ＰｉｃＡ（ｎ）のパケットロスを復元した後ステップＳＰ５３に移り、ユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ５２に戻る。

これに対してステップＳＰ５８において、次次フレームの全方位画像ＰｉｃＡ（ｎ＋２）がメモリ５Ｃに格納されていない場合、このことはパケットロスを復元し得るパリティデータＰａｒ（ｎ）が存在しないことを表しており、このときＣＰＵ５ＡはステップＳＰ６０に移り、例えばパケットロスによって失われた画像部分を前後のフレームの画像で補完する等のエラー処理を行った後ステップＳＰ１３に移り、ユーザが指定する希望撮影方位を中心とした所定画角の映像を全方位画像ＰｉｃＡ（ｎ）から抽出して表示部５Ａに表示して、ステップＳＰ５２に戻る。

以上の構成において、映像配信システム５１のフレームパリティ生成器５２は、パケットロスが発生したｃｈを特定するためのフレームパリティデータＰａｒ１〜Ｐａｒ８を画像Ｐｉｃ１〜Ｐｉｃ８に付加する。

映像配信システム５１のパリティ生成器３０は、リアルタイムマルチプレクサ２０で合成した全方位画像ＰｉｃＡ（ｎ）から画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）を１フレーム毎に再分離し、画像Ｐｉｃ１（ｎ）〜Ｐｉｃ８（ｎ）の対応する各画素のパリティデータＰａｒ（ｎ）を生成する。

そしてリアルタイムマルチプレクサ２０は、パリティ生成器３０が生成したパリティデータＰａｒ（ｎ）を、次フレームの全方位画像ＰｉｃＡ（ｎ＋１））及び次次フレームの全方位画像ＰｉｃＡ（ｎ＋２）に格納する。

このため映像配信システム５１のクライアントＰＣ５は、ネットワーク上でパケットロスが発生したとしても、フレームパリティデータＰａｒ１〜Ｐａｒ８に基づいてパケットロスが発生したＣｈを特定して、パリティデータＰａｒ（ｎ）を用いてパケットロスによる喪失画素を復元することができる。

以上の構成によれば、全方位画像ＰｉｃＡ（ｎ）のパケットにカメラ番号を格納しなくても、パケットロスが発生したＣｈをクライアントＰＣ５で特定することができる。

（４）他の実施の形態
なお上述の第１乃至第３の実施の形態においては、映像配信装置２、４１、５１をそれぞれ個別の機器の組み合わせで構成した場合に付いて述べたが、本発明はこれに限らず
映像配信処理プログラムをパーソナルコンピュータ等の情報処理装置に実行させることにより、上述した映像配信処理を行うようにしてもよい。

また上述の実施の形態においては、パーソナルコンピュータでなるクライアントＰＣ５に全方向画像ＰｉｃＡを配信し、当該クライアントＰＣ５上で全方位映像を表示するようにしたが、本発明はこれに限らず、例えば携帯電話機やＰＤＡ（Personal Digital Assistant）等の各種情報処理に全方位画像ＰｉｃＡを配信して全方位映像を表示するようにしてもよい。

本発明は、全方位映像信号を配信する映像配信システムに適用できる。

第１の実施の形態の映像配信システムの全体構成を示すブロック図である。 全方位カメラの構成を示す略線図である。 全方位映像の合成状態を示す略線図である。 パリティの生成及びマッピングの説明に供するブロック図である。 パリティの生成及びマッピングの説明に供するブロック図である。 第１の実施の形態の映像配信処理手順を示すフローチャートである。 第１の実施の形態の受信処理手順を示すフローチャートである。 第２の実施の形態の映像配信システムの全体構成を示すブロック図である。 パリティの生成及びマッピングの説明に供するブロック図である。 第２の実施の形態の映像配信処理手順を示すフローチャートである。 第２の実施の形態の受信処理手順を示すフローチャートである。 喪失画素が複数存在する場合の説明に供する略線図である。 第３の実施の形態の映像配信システムの全体構成を示すブロック図である。 フレームパリティ生成器の説明に供する略線図である。 第３の実施の形態の映像配信処理手順を示すフローチャートである。 第３の実施の形態の受信処理手順を示すフローチャートである。

符号の説明

１、４０、５０……映像配信システム、２、４１、５１……映像配信装置、１０……全方位カメラ、１５……カメラコントロールユニット、１６……Ａ／Ｄコンバータ、２０、４２……リアルタイムマルチプレクサ、３０、４３……パリティ生成器、５２……フレームパリティ生成器。

Claims (28)

1. それぞれ個別の撮影範囲を撮影してなる複数の個別画像を合成し、上記撮影範囲が連続してなる配信画像を生成する画像合成手段と、
   上記配信画像に合成された上記複数の個別画像間についてのパリティを算出するパリティ算出手段と、
   上記算出したパリティを上記配信画像に付加するパリティ付加手段と、
   上記パリティ付加手段によって上記パリティが付加された上記配信画像をパケット化し、所定の配信対象に配信する配信手段と
   を具えることを特徴とする映像配信装置。
2. 上記パリティ算出手段は、上記複数の個別画像を重ね合わせた状態で、対応する画素毎にパリティを算出する
   ことを特徴とする請求項１に記載の映像配信装置。
3. 上記パリティ付加手段は、上記算出したパリティを次フレーム及び次次フレームの上記合成画像に付加する
   ことを特徴とする請求項２に記載の映像配信装置。
4. 上記個別画像それぞれについての個別パリティを算出し、当該個別画像に付加する個別パリティ算出手段
   を具えることを特徴とする請求項２に記載の映像配信装置。
5. 上記パリティ算出手段は、上記複数の個別画像が合成されてなる上記配信画像全体の水平方向及び垂直方向のパリティを算出する
   ことを特徴とする請求項１に記載の映像配信装置。
6. それぞれ個別の撮影範囲を撮影してなる複数の個別画像を合成し、上記撮影範囲が連続してなる配信画像を生成する画像合成ステップと、
   上記配信画像に合成された上記複数の個別画像間についてのパリティを算出するパリティ算出ステップと、
   上記算出したパリティを上記配信画像に付加するパリティ付加ステップと、
   上記パリティ付加手段によって上記パリティが付加された上記配信画像を、所定の配信対象に配信する配信ステップと
   を具えることを特徴とする映像配信方法。
7. 上記パリティ算出ステップは、複数の上記個別画像を重ね合わせた状態で、対応する画素毎にパリティを算出する
   ことを特徴とする請求項６に記載の映像配信方法。
8. 上記パリティ付加ステップは、上記算出したパリティを次フレーム及び次次フレームの上記合成画像に付加する
   ことを特徴とする請求項７に記載の映像配信方法。
9. 上記個別画像それぞれについての個別パリティを算出し、当該個別画像に付加する個別パリティ算出ステップ
   を具えることを特徴とする請求項７に記載の映像配信方法。
10. 上記パリティ算出ステップは、上記配信画像全体の水平方向及び垂直方向のパリティを算出する
    ことを特徴とする請求項６に記載の映像配信方法。
11. それぞれ個別の撮影範囲を撮影してなる複数の個別画像を合成し、上記撮影範囲が連続してなる配信画像を生成する画像合成ステップと、
    上記配信画像に合成された上記複数の個別画像間についてのパリティを算出するパリティ算出ステップと、
    上記算出したパリティを上記配信画像に付加するパリティ付加ステップと、
    上記パリティ付加手段によって上記パリティが付加された上記配信画像を、所定の配信対象に配信する配信ステップと
    を具えることを特徴とする映像配信プログラム。
12. 上記パリティ算出ステップは、複数の上記個別画像を重ね合わせた状態で、対応する画素毎にパリティを算出する
    ことを特徴とする請求項１１に記載の映像配信プログラム。
13. 上記パリティ付加ステップは、上記算出したパリティを次フレーム及び次次フレームの上記合成画像に付加する
    ことを特徴とする請求項１２に記載の映像配信プログラム。
14. 上記個別画像それぞれについての個別パリティを算出し、当該個別画像に付加する個別パリティ算出ステップ
    を具えることを特徴とする請求項１２記載の映像配信プログラム。
15. 上記パリティ算出ステップは、上記配信画像全体の水平方向及び垂直方向のパリティを算出する
    ことを特徴とする請求項１１に記載の映像配信プログラム。
16. それぞれ個別の撮影範囲を撮影してなる複数の個別画像が合成され、上記撮影範囲が連続してなる配信画像のパケットを受信する受信手段と、
    上記配信画像に付加された、当該配信画像に合成された上記複数の個別画像間についてのパリティを用いて、当該配信画像の配信時におけるパケット喪失によって発生する当該配信画像の喪失画素を復元する喪失画素復元手段と
    を具えることを特徴とする映像受信装置。
17. 上記パリティは、複数の上記個別画像を重ね合わせた状態で対応する画素毎に算出され、
    上記パケットには、当該パケットに格納された上記個別画像の識別番号が記入され、
    上記喪失画素復元手段は、喪失パケットの前後の上記パケットに記入された上記識別番号に基づいて、当該喪失パケットに格納されていた個別画像を推定して喪失画素を復元する
    ことを特徴とする請求項１６に記載の映像受信装置。
18. 上記パリティは、複数の上記個別画像を重ね合わせた状態で対応する画素毎に算出され、
    上記配信画像に合成された上記複数の個別画像それぞれには、当該個別画像についての個別パリティが付加され、
    上記喪失画素復元手段は、上記個別パリティに基づいて上記喪失画素が存在する上記個別画像を推定し、上記全体パリティを用いて当該喪失画素を復元する
    ことを特徴とする請求項１６に記載の映像受信装置。
19. 上記パリティは、上記配信画像全体の水平方向パリティ及び垂直方向パリティでなり、
    上記喪失画素復元手段は、当該水平方向パリティ及び垂直方向パリティに基づいて上記喪失画素を特定して復元する
    ことを特徴とする請求項１６に記載の映像受信装置。
20. それぞれ個別の撮影範囲を撮影してなる複数の個別画像が合成され、上記撮影範囲が連続してなる配信画像のパケットを受信する受信ステップと、
    上記配信画像に付加された、当該配信画像に合成された上記複数の個別画像間についてのパリティを用いて、当該配信画像の配信時におけるパケット喪失によって発生する当該配信画像の喪失画素を復元する喪失画素復元ステップと
    を具えることを特徴とする映像受信方法。
21. 上記パリティは、複数の上記個別画像を重ね合わせた状態で対応する画素毎に算出され、
    上記パケットには、当該パケットに格納された上記個別画像の識別番号が記入され、
    上記喪失画素復元ステップは、喪失パケットの前後の上記パケットに記入された上記識別番号に基づいて、当該喪失パケットに格納されていた個別画像を推定して喪失画素を復元する
    ことを特徴とする請求項２０に記載の映像受信方法。
22. 上記パリティは、複数の上記個別画像を重ね合わせた状態で対応する画素毎に算出され、
    上記配信画像に合成された上記複数の個別画像それぞれには、当該個別画像についての個別パリティが付加され、
    上記喪失画素復元手段は、上記個別パリティに基づいて上記喪失画素が存在する上記個別画像を推定し、上記全体パリティを用いて当該喪失画素を復元する
    ことを特徴とする請求項２０に記載の映像受信方法。
23. 上記パリティは、上記配信画像全体の水平方向パリティ及び垂直方向パリティでなり、
    上記喪失画素復元ステップは、当該水平方向パリティ及び垂直方向パリティに基づいて上記喪失画素を特定して復元する
    ことを特徴とする請求項２０に記載の映像受信方法。
24. それぞれ個別の撮影範囲を撮影してなる複数の個別画像が合成され、上記撮影範囲が連続してなる配信画像のパケットを受信する受信ステップと、
    上記配信画像に付加された、当該配信画像に合成された上記複数の個別画像間についてのパリティを用いて、当該配信画像の配信時におけるパケット喪失によって発生する当該配信画像の喪失画素を復元する喪失画素復元ステップと
    を具えることを特徴とする映像受信プログラム。
25. 上記パリティは、複数の上記個別画像を重ね合わせた状態で対応する画素毎に算出され、
    上記パケットには、当該パケットに格納された上記個別画像の識別番号が記入され、
    上記喪失画素復元ステップは、喪失パケットの前後の上記パケットに記入された上記識別番号に基づいて、当該喪失パケットに格納されていた個別画像を推定して喪失画素を復元する
    ことを特徴とする請求項２４に記載の映像受信プログラム。
26. 上記パリティは、複数の上記個別画像を重ね合わせた状態で対応する画素毎に算出され、
    上記配信画像に合成された上記複数の個別画像それぞれには、当該個別画像についての個別パリティが付加され、
    上記喪失画素復元手段は、上記個別パリティに基づいて上記喪失画素が存在する上記個別画像を推定し、上記全体パリティを用いて当該喪失画素を復元する
    ことを特徴とする請求項２４に記載の映像受信プログラム。
27. 上記パリティは、上記配信画像全体の水平方向パリティ及び垂直方向パリティでなり、
    上記喪失画素復元ステップは、当該水平方向パリティ及び垂直方向パリティに基づいて上記喪失画素を特定して復元する
    ことを特徴とする請求項２４に記載の映像受信プログラム。
28. 配信画像をパケット化して配信する映像配信装置と、上記配信画像のパケットを受信して表示する映像受信手段とを有する映像配信システムにおいて、
    上記映像配信装置は、
    それぞれ個別の撮影範囲を撮影してなる複数の個別画像を合成し、上記撮影範囲が連続してなる上記配信画像を生成する画像合成手段と、
    上記配信画像に合成された上記複数の個別画像間についてのパリティを算出するパリティ算出手段と、
    上記算出したパリティを上記配信画像に付加するパリティ付加手段と、
    上記パリティ付加手段によって上記パリティが付加された上記配信画像をパケット化し、所定の配信対象に配信する配信手段とを具え、
    上記映像受信装置は、
    上記配信画像のパケットを受信する受信手段と、
    上記配信画像に付加された上記パリティを用いて、当該配信画像の配信時におけるパケット喪失によって発生する当該配信画像の喪失画素を復元する喪失画素復元手段とを具える
    ことを特徴とする映像配信システム。
    

Images