JP2018536311A - 無線ネットワークを介したビデオデータストリームの送信を最適化する方法 - Google Patents

Abstract

本発明は、Ｗｉ−Ｆｉ通信プロトコルにより制御される無線ネットワークを介したビデオデータストリーム受信の信頼性および品質を向上させる方法に関し、当該ビデオデータストリームが、前方誤り訂正（ＦＥＣ）のためにＫ個の先頭データブロックおよびＨ個の冗長ブロックを各々含むＱ個のパケットの形式で符号化されていて、前記ストリームが、スマートフォン等のクライアント視聴装置に当該パケットをマルチキャスティングする少なくとも１個の送信装置により送信されるＫ＋Ｎ個のブロックを各々含む一連のＧ個のパケットを含んでいる。前記方法は、当該１個または複数の送信装置から受信したＧ個のデータパケットの各々に対して前記クライアント装置により実行される以下のステップ、すなわち、ａ／ Ｋ個の先頭データブロックの正常な受信を確認し、結果が肯定的である場合にビデオストリームを復号化して視聴すること、ｂ／ Ｋ個の先頭データブロックの全てが受信されなかった場合、可能ならば前方誤り訂正（ＦＥＣ）アルゴリズムにより復号化を行うこと、ｃ／ 受信したＫ＋Ｎ個のブロックの総数ＸがＫよりも小さいか、または先の復号化ステップから肯定的な結果が得られなかった場合、１個以上の欠落ブロックに関するメッセージを送信すること、ｄ／ 送信装置の統計アルゴリズムにより欠落データの再送信を行う場合、ａ／およびｂ／における受信を確認し、結果が肯定的である場合にビデオストリームを復号化して視聴することを含んでいる。

Description

本発明は、例えばＷｉ−Ｆｉ方式の通信プロトコルにより制御される、特に無線デジタルネットワークを介したビデオデータストリーム受信の信頼性および品質を向上させる方法を扱う。注目するストリームはマルチキャストまたはマルチブロードキャストであり、すなわち当該ストリームは、前記ブロードキャストに加入しているグループの受信器に、当該ストリームをブロードキャストする少なくとも１個の送信器から発信される。受信側グループを形成する受信装置またはクライアントは、送られたストリームを視聴することができ、この目的のため、受信した情報を処理および視聴可能にする少なくとも１個のアプリケーションが提供される。

より具体的には、本発明は、欠落したデータブロックがある場合、復号化された信号の品質の向上を可能にすべく、ビデオストリームの受信時点で実行される処理に関する。

本発明の可能な応用の一つは、スポーツ競技会またはショーなどのイベントを前記イベントが行われる場所の周辺のほぼ実時間でブロードキャストすることである。クライアントアプリケーションソフトウェアは一方で、特にイベントの主催者と提携したサービスプロバイダが提供するビデオ画像をそのまま視聴することも、また他方で、受信したビデオストリームに付加価値を付与できる処理動作、例えば繰り返しにより必要に応じて特定のシーケンスをスローモーションで見る等、視聴を充実させることができる。

このような処理動作は、従来は本質的に画像グループを含む情報のパケットの形式で送信されていたビデオストリームを、まずは快適に視聴できる程度に充分な量だけ受信可能であり、次いで後続の信号処理動作がいずれも実行に充分な情報ベースに基づいていなければならない。

使用する通信プロトコルおよびブロードキャストモードに依らない、従って本明細書で好適な例として挙げるマルチキャストＷｉ−Ｆｉネットワークにも適用可能な無線ローカルエリアネットワークでは送信誤り率は０％〜１５％であるが、更に高い場合もある。当該誤り率は実際にはネットワークを介して送信される情報のブロックの欠落を含んでいる。ビデオストリーム送信を仮定すれば、これらの欠落の結果、得られるビデオは低品質であり、当該ストリームが完全且つ単に失われなかった場合、画像を劣化させてストリームの品質を低下させる外乱マクロブロックが画像に出現する恐れがある。ケースによるが、これらの欠落は、特定のシーケンスのブロードキャストを阻害する程度にビデオストリームに影響を及ぼす恐れがある。

実際には、ビデオデータストリームは、実際は本質的に異なるカテゴリの画像グループからなるＧ個のパケットの形式で符号化され、これらのパケットが次いでデータブロックに分割される。同じく欠落データの復旧条件の事前実装から得られる従来方式によれば、当該Ｇ個のパケットは各々、本質的にビデオストリームの画像を符号化するＫ個の先頭データブロック、および必要に応じて（ＦＥＣ方式のアルゴリズムによる）前方誤り訂正に利用可能なＮ個のいわゆる冗長ブロックを含んでいる。

ストリームは従って、送信装置により送信されるＫ＋Ｎ個のブロックを各々含む一連の画像グループまたはＧ個のパケットを含んでいて、当該送信装置は当該ブロックをクライアント視聴装置、例えばスマートフォンまたはタブレットにマルチキャストする。

常に生じ得る欠落にもかかわらず、本発明によれば、本方法は、ビデオストリームの高信頼性且つ高品質な受信を保証すべく、主として、送信装置または装置群から受信したＧ個のデータパケットの各々に対して各クライアント装置により実行される以下のステップ、すなわち
−ａ／ Ｋ個の先頭データブロックの正常な受信を確認し、肯定的な結果の場合にビデオストリームを復号化して視聴すること、
−ｂ／ Ｋ個の先頭データブロックの全てが受信されず、且つ受信したＫ＋Ｎ個のブロックの総数Ｘが少なくともＫに等しい場合、前方誤り訂正（ＦＥＣ）アルゴリズムにより復号化を行ってＫ個のブロックの欠落データを取得して、肯定的な結果の場合にビデオストリームを復号化して視聴すること、
−ｃ／ 受信したＫ＋Ｎ個のブロックの総数ＸがＫよりも小さいか、または前方誤り訂正アルゴリズム（ＦＥＣ）を介した復号化の肯定的な結果が存在しない場合、クライアント装置によりユニキャストメッセージを送信して少なくとも最終ブロックまたは欠落ブロックに関する情報を送信器に提供すること、
−ｄ／ 送信装置の統計アルゴリズムにより欠落データの返送を行う場合、ａ／およびｂ／において送信装置により返送されたデータの正常な受信を確認し、肯定的な結果の場合にビデオストリームを復号化して視聴することを含んでいる。

本発明が基づいている概念は、連続的なステップにより誤りの訂正を図ることであり、各ステップの実行は、先行ステップで実行される少なくとも１個のテストに依存する。ステップの実行は特に、データパケット内で検出された誤りの率および分布に依存する。好都合な仮定において、第１のステップ、すなわち第１のテストだけが実行される。Ｋ個の先頭ブロックの全てがクライアント装置に到達していれば、誤りが無く、情報の欠落が無く、およびビデオ視聴のための復号化が実行可能であることを意味する。

より好都合な仮定において、欠落データを取得するにはＦＥＣアルゴリズムを用いる必要がある。本ステップは実際、誤り率がさほど大きくない（低〜中位と判定される）場合、時間的に分散したブロックの欠落の修正を可能にする。本ステップの実行条件は、受信したブロックの総数が少なくともＫに等しいことである。

誤りの種別に応じて、本ステップはデータの不足により失敗または実行不可能のいずれかが確実となり、従って例えばパケット全体で誤り率が中位〜高と判定される誤りすなわちグループ化された誤りが生じた場合、誤りの訂正ができないことになる。従って本発明によれば、送信装置の代替を前提とする別のルーティンを実行することになる。このケースではクライアントは送信器にユニキャストメッセージを送り、恐らく統計アルゴリズムを通じて欠落データを返送する。これは明らかに、当該欠落データがクライアント装置により識別されたものと仮定している。

クライアント装置により受信したならば、返送されたデータの完全性または可読性が、ステップａ／およびｂ／において確認され、次いでストリームを視聴すべく復号化に進む。

しかし本発明の方法はこれに留まらず、ビデオストリームが正しく表示できるようにする状況で、送信装置により返送されたデータが必ずしも受信されない、または充分高速に受信されない仮定も考慮する。

この場合、本発明によれば以下のステップ、すなわち
−ｅ／ 返送されたデータが正常に受信されなかった場合、受信したＧ番目のデータパケットに内部符号化を有する基準画像の受信を確認すること、次いで
−ｆ／ そのような基準画像を完全に受信した場合、圧縮データに適用される誤り隠蔽アルゴリズムを実行すること、および
−ｇ／ ビデオストリームを復号化して視聴することが実行される。

上述の基準画像は、典型的にはＧ番目のパケットの先頭にあって、一連の画像が符号化の終了時点まで周期的に反復される一群の画像により基本的に形成され、要するに符号化されたビデオストリームを構成するものである。これは、自律的に復号化され且つ先行または後続画像に依存しない内部符号化を有する基準画像である。このカテゴリは他のカテゴリの、例えば予測的符号化された画像に関連付けられて、特定のグループを規定する順序で用いられる。次いで可視画像が当該所定のグループに含まれる符号化画像から生成（または復号化）される。

この種の画像は、グループを形成する他の種類の画像から独立しており、基準画像と考えられ、誤り隠蔽アルゴリズムの実行の関連性の判定を意図するテストは従って好適には、本発明によれば、そのような基準画像の完全に存在することに基づいている。

クライアント装置が送信装置により返送されたビデオストリームを正しく再構築できなかった場合、誤り隠蔽ステップを実行する。しかし当該ステップは、Ｇ番目のデータパケットの処理で基準画像を受信した場合にのみ実行される。隠蔽に基づく当該新規ステップにより、誤りを隠すと共に、復号化の時点で、基準画像およびＧ番目のパケットで受信した他の任意の画像のデータから信号の欠落サンプルを代替する符号化されて計算されたサンプルを提供することが可能になる。符号化されたデータでの画像の欠落部分の推定により、圧縮ビデオストリーム内のデータ受信誤りを視覚的に減らすことが可能になり、当該推定は画像間の空間的および時間的相関、同一画像内（空間相関）、または過去あるいは未来の画像内（時間相関）のいずれかを用いて実行される。これらのルーティンが基づいている概念は、画像の空間的に隣接するピクセル間で突然の変化は稀であり、且つビデオシーケンスの連続する画像の時間的連続性が存在するというものである。

本発明の方法は次いで、現在処理中のストリームのデータパケットに内部符号化を有するそのような基準画像が受信されない可能性を考える。この場合、本発明に固有の可能性に応じて以下のステップ、すなわち
−ｈ／ 受信したＧ個のデータパケットに内部符号化を有する基準画像が受信されなかった場合、先行するＧ−１個および後続するＧ＋１個のパケットの少なくとも１個の基準画像の受信を確認すること、
−ｉ／ 画像を再構築すべく非圧縮または線形データに対して内挿法を実行すること、
−ｊ／ ビデオストリームを復号化して視聴することが実行される。

本発明の方法の上述の新たステップは今回、上で用いた誤り隠蔽技術ではなく、若干異なる状況がアルゴリズムによる再構築可能性を用いる。これは、時間的にまたは空間的に考慮される内挿法を含み、今回は非圧縮ビデオストリームで動作する。時間的内挿では先行および後続画像を用いてストリームの欠落画像を生成することが可能になる。

先行するＧ−１個および後続するＧ＋１個のパケットの少なくとも１個の基準画像が受信されなかったため、上述のどのステップ、特に最後に実行されたステップでも結論が得られないような場合、Ｇ番目のパケットは表示されない。

本発明の方法は実際には、性質および重要性が漸進的に検出されるビデオ信号送信欠陥にシステムの応答を適合させることを意図した一連の解決策である。

本発明について以下に、本発明の方法の一つの実行可能性を表す添付の図面を参照しながらより詳細に記述する。

本発明の方法の全体的な実行を模式的に示すフロー図を示す。 画像のグループの可能な符号化を構成する同一にデータパケット、および繰り返しにより、ビデオストリームを示し、生じ得る異なる種類のデータ欠落を当該データパケットに示す。

図１を参照するに、本方法に従い実行される第１のテストは、Ｋ個の先頭ブロックを受信したか否かを調べるものである。各テスト後の各ステップにおいて、好適な仮定として、すなわちデータ欠落という問題が無い場合、またはその種の問題が全て解決されている場合、ビデオストリームを形成するデータパケットは、送信されたストリームをブロードキャストすべくビデオデコーダにより処理される。

第１のテストの結果が肯定的な場合は特に、パケットデータが図２のケース１に対応しており、データパケットのＫ個の先頭ブロックを受信したことを意味する。図２において、視覚的符号は、同図の下方に示すキーに現れ、Ｋ個の先頭ブロック、ブロックＫ〜Ｎ、基準画像Ｉ、および欠落ブロックを含む異なるブロックを定義している。

否定的な仮定では、次のテストは、送信されたＫ＋Ｎ個のブロックの全てのうち受信した、すなわち、冗長な個のＮブロックを含んでいて、図２においてＫ個のブロックの後に配置されたブロックの個数Ｘに関する。受信したブロックの総数が（誤り、欠落ブロックの場合であっての）少なくともＫに等しい、すなわち図２のケース２に対応するＸ≧Ｋの場合、前方誤り訂正（ＦＥＣ）アルゴリズムＫ個が実行され、次いで新たなチェックテストが行われる。これは全てのデータパケット、すなわちＮ＋Ｋ個のブロックの全てにわたり時間的に分散した欠落に適した種類の修正に関わるため、この誤り訂正戦略は必ずしも機能する訳ではない。

上述のテストが否定的、すなわちデータ欠落が分散しておらず集中していることを意味する場合、またはＮ＋Ｋ個のブロックのうち受信したブロックの個数Ｘが図２のケース３に対応するＫよりも少ない場合、未受信データを再度要求する手順（ＮＡＫと呼ばれる）が開始される。当該ルーティンは、受信クライアント装置のうち１個と送信装置の間での逆方向のユニキャスト通信を含んでいて、欠落データの識別を必要とする。

上述のルーティンはユニキャストまたはマルチキャストにより、統計アルゴリズムにより受信されなかったことがクライアントにより識別されたデータを返送し、新たな正常受信テストがクライアント装置で実行される。次のテストは、各パケットまたは画像ｉのグループに関する内部符号化を有する基準画像Ｉの正常な受信に関する。図２において、基準画像Ｉは、そのような符号化に際してごく一般的に占める場所であるパケットの開始箇所に配置される。当該画像Ｉが完全または部分的に受信した場合、すなわち図２に示すＮｏ．４およびＮｏ．５の場合、観察され且つ先行ステップでは解決されなかった送信誤りが隠蔽アルゴリズムにより処理される。当該誤りはこの場合、ビデオデコーダレベルで隠されるが訂正はされない。圧縮データストリームに作用する上述のようなルーティンの目的は、ビデオストリーム内の受信誤りを視覚的に減らすことである。

逆の仮説、すなわち画像のグループまたはＧ番目のパケットに内部符号化Ｉを有する基準画像が受信されなかった場合、本発明の方法は、画像Ｇ−１およびＧ＋１のパケットまたはグループのそのような基準画像Ｉの受信をテストする。これは図２のケース６に対応する。このような場合、損傷画像の再構築は依然として、非圧縮ビデオストリームに作用して、一連の画像のうち直前または直後の画像を用いて時間的に、または欠落画像に隣接する同一画像の部分を用いて空間的に、欠落画像または欠落画像の一部を生成する内挿アルゴリズムに基づいて実行可能である。

これらの連続的な処理動作がいずれも満足に成功しなかった場合、画像のパケットまたはグループは表示されない。

本発明は無論、図面を参照しながら記述および説明した例に限定されず、請求項の範囲内に含まれる変型例およびバージョンを含んでいる。

Claims (4)

1. ＷｉＦｉ方式の通信プロトコルにより制御される無線ネットワークを介したビデオデータストリーム受信の信頼性および品質を向上させる方法であって、前記ビデオデータストリームが、前方誤り訂正（ＦＥＣ）のためにＫ個の先頭データブロックおよびＮ個の冗長ブロックを各々含むＧ個のパケットの形式で符号化されていて、前記ストリームが、スマートフォン型のクライアント視聴装置に当該パケットをマルチキャスティングする少なくとも１個の送信装置により送信されるＫ＋Ｎ個のブロックを各々含む一連のＧ個のパケットを含んでいて、本方法が、前記送信装置または装置群から受信したＧ個のデータパケットの各々に対して前記クライアント装置により実行される以下のステップ、すなわち
   −ａ／ 前記Ｋ個の先頭データブロックの正常な受信を確認し、肯定的な結果の場合に前記ビデオストリームを復号化して視聴すること、
   −ｂ／ 前記Ｋ個の先頭データブロックの全てが受信されず、且つ受信したＫ＋Ｎ個のブロックの総数Ｘが少なくともＫに等しい場合、前方誤り訂正（ＦＥＣ）アルゴリズムにより復号化を行って前記Ｋ個のブロックの欠落データを取得して、肯定的な結果の場合に前記ビデオストリームを復号化して視聴すること、
   −ｃ／ 前記受信したＫ＋Ｎ個のブロックの総数ＸがＫよりも小さいか、または前記前方誤り訂正アルゴリズム（ＦＥＣ）を介した復号化の肯定的な結果が存在しない場合、前記クライアント装置によりユニキャストメッセージを送信して少なくとも欠落ブロックに関する情報を前記送信器に提供すること、
   −ｄ／ 前記送信装置の統計アルゴリズムにより前記欠落データの返送を行う場合、ａ／およびｂ／において前記送信装置により返送されたデータの正常な受信を確認し、肯定的な結果の場合に前記ビデオストリームを復号化して視聴すること、を特徴とする方法。
2. 以下のステップ、すなわち
   −ｅ／ ｄ／において返送されたデータが正常に受信されなかった、または返送データが存在しない場合、受信したＧ番目のデータパケットに内部符号化を有する基準画像の受信を確認すること、次いで
   −ｆ／ そのような基準画像を完全に受信した場合、圧縮データに適用される誤り隠蔽アルゴリズムを実行すること、および
   −ｇ／ ビデオストリームを復号化して視聴することを特徴とする、請求項１に記載の無線ローカルエリアネットワークを介したビデオデータストリーム受信の信頼性および品質を向上させる方法。
3. 以下のステップ、すなわち
   −ｈ／ 受信したＧ番目のデータパケットに内部符号化を有する基準画像が受信されなかった場合、先行するＧ−１個および後続するＧ＋１個のパケットの少なくとも１個の基準画像の受信を確認すること、
   −ｉ／ 画像を再構築すべく非圧縮または線形データに対して内挿法を実行すること、
   −ｊ／ ビデオストリームを復号化して視聴すること、を特徴とする、請求項１又は２に記載の無線ローカルエリアネットワークを介したビデオデータストリーム受信の信頼性および品質を向上させる方法。
4. 先行するＧ−１個および後続するＧ＋１個のパケットの少なくとも１個の基準画像の受信が不完全な場合、Ｇ番目のパケットが表示されないことを特徴とする、請求項１〜３のいずれか１項に記載の無線ローカルエリアネットワークを介したビデオデータストリーム受信の信頼性および品質を向上させる方法。