JP2018056994A - ビデオ送信方法及びデータ送信機 - Google Patents

Abstract

【課題】高解像度ディスプレイスクリーン及び高品質ビデオ（ＨＤ、ＦＨＤ、ＵＨＤなど）に対応する無線データ送信システムを提供する。【解決手段】無線データ送信システム１００であって、送信機１０２によって、データソース１０４から１フレームのビデオデータを受信する段階と、送信機によって、１フレームのビデオデータのビットの重要度レベルに応じて、１フレームのビデオデータを複数のパケットに再構成する段階と、送信機によって、複数のパケット各々に対するタグを生成する段階と、複数のパケット各々に対応するタグに基づいて、複数のパケット各々に対して相異なる保護技術を行う段階と、送信機によって、ディスプレイパネル上の表示のために複数のパケット及びタグを受信機１０６に送信する段階と、を含む。タグ生成段階において、タグは、複数のパケットの相異なる相対的な重要度レベルに対応する。【選択図】図１

Description

本発明の実施例は、電子データ通信システム及び方法に関する。

本出願は、２０１６年９月２６日付で米国特許庁に出願され、発明の名称「Ａ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＣＲＯＳＳ ＬＡＹＥＲ ＩＭＡＧＥ ＯＰＴＩＭＩＺＡＴＩＯＮ（ＣＬＩＯ）ＦＯＲ ＷＩＲＥＬＥＳＳ ＶＩＤＥＯ ＴＲＡＮＳＭＩＳＳＩＯＮ ＯＶＥＲ ＭＵＬＴＩ−ＧＩＧＡＢＩＴ ＣＨＡＮＮＥＬＳ」の米国仮特許出願番号第６２／４００，０４２号を優先権として主張し、この文書の全体内容は引用によって本願に含まれる。本出願は追加的に、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｅｌｅｃｔｒｏｎｉｃ Ｄａｔａ Ｃｏｍｍｕｎｉｃａｔｉｏｎ」という名称の米国特許出願及び「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｅｌｅｃｔｒｏｎｉｃ Ｄａｔａ Ｃｏｍｍｕｎｉｃａｔｉｏｎ」という名称の米国特許出願に関連があり、両出願は本願と同日付で出願され、これら両出願の全体内容は引用によって本願に含まれる。

無線を介したビデオ送信に対する要求は、新しいアプリケーション及び利用ケースの出現により増加している。高解像度ディスプレイスクリーンの技術的進歩及び高品質ビデオ（ＨＤ、ＦＨＤ、ＵＨＤなど）の出現は、ここ数年、高スループット送信に対する帯域幅の要件を増加させる、という問題が生じた。例えば、非圧縮（ｕｎｃｏｍｐｒｅｓｓｅｄ）ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）ビデオは１２Ｇｂｐｓの帯域幅を要求する。

高いデータレートの制約以外にも、無線ビデオ送信はまた、時間／遅延に敏感である。秒あたり６０フレームを提供する場合、フレーム間時間（ｉｎｔｅｒ−ｆｒａｍｅ ｔｉｍｅ）は１／６０＝１６．６ｍｓである。従って、１６．６ｍｓ内に受信されないフレームの任意の部分は、ディスプレイが次のフレームのレンダリングを開始できるようにドロップ（ｄｒｏｐ、廃棄）されなければならず、データ再送信は通常実行可能なオプションではない。高い帯域幅及びレイテンシの要件以外にも、無線チャネルは干渉を受けやすく、これは無線チャネルの品質を時間の経過と共に予測不可能に変動させることがある。従って、無線チャネルを介して高品質のビデオデータを伝送するために保障されたサービス品質（ＱｏＳ）を提供することが困難になるという問題が生じた。

当該背景セクションで説明された上記の情報は、単に、説明された技術の背景に対する理解を高めるためのものに過ぎず、従って、それは当業者に既に知られた従来技術を構成しない情報を含む場合がある。

本発明の１つ以上の実施例は、上述の諸問題の解決に向けた電子データ通信のためのシステム及び方法を提供する。

一部の例示的な実施例によれば、無線通信チャネルを介して受信機と電子通信する送信機がディスプレイパネル用ビデオを送信する方法であって、データソースからのデータ信号を前記送信機が受信する段階と、前記受信機からのリターン信号（ｒｅｔｕｒｎ ｓｉｇｎａｌ）を前記送信機が受信する段階と、チャネル品質、ビデオ品質、コーデック要件又はデータレート要件のうちの１つ以上に基づいて、前記データ信号を前記受信機に送信するための１つ以上のパラメータを各々含む複数のプロファイルの中から１つのプロファイルを前記送信機が選択する段階と、ここで前記複数のプロファイルは、非圧縮ビデオデータの送信に対応する１つ以上のプロファイルと、圧縮ビデオデータの送信に対応する１つ以上のプロファイルとを含み、前記ディスプレイパネル上のディスプレイのために選択されたプロファイルに応じて、前記送信機が前記データ信号を前記受信機に送信する段階とを含む。

一部の実施例によれば、前記送信機によって受信されたデータ信号は、ビデオデータ信号である。
一部の実施例によれば、リターン信号に基づいて、複数のプロファイルの中からプロファイルを選択する段階を更に含み、リターン信号は、前記受信機によって測定された無線通信チャネルの品質のインジケータを含む。
一部の実施例によれば、リターン信号に基づいて、複数のプロファイルの中からプロファイルを選択する段階を更に含み、前記リターン信号は、前記受信機によって測定された視覚品質のインジケータを含む。
一部の実施例によれば、前記リターン信号に基づいて、前記受信機に対応する表示装置を識別する段階と、前記送信機によって、前記受信機に対応する表示装置に基づいて、前記プロファイルを選択する段階とを更に含む。

一部の実施例によれば、前記複数のプロファイルは、第１〜第８プロファイルのうちの１つ以上を含み、前記第１プロファイルは、一群のピクセルのうち任意のピクセルからのピクセルデータが送信後に前記受信機で損失する場合、前記受信機が周辺ピクセルの値を平均することによって、損失したピクセルデータを再計算できるように、チャネル品質が第１閾値レベルを超える非圧縮ビデオデータを送信するためのパラメータを定義し、前記第２プロファイルは、一群のピクセルのうち１つのピクセルからのピクセルデータが前記受信機に送信されず、前記受信機が周辺ピクセルの値を平均することによって、前記１つのピクセルからのピクセルデータを再計算できるように、チャネル品質が前記第１閾値レベルより低いものの第２閾値レベルより高い非圧縮ビデオデータを送信するためのパラメータを定義し、前記第３プロファイルは、パケット内のピクセルの最下位ビットが前記受信機に送信されず、前記受信機は前記最下位ビットを補償できるように、チャネル品質が前記第１閾値レベル及び前記第２閾値レベルより低いものの第３閾値レベルより高い非圧縮ビデオデータを送信するためのパラメータを定義し、前記第４、第５、第６及び第７プロファイルは、複数のデータレイヤを生成するレイヤベースの圧縮方法を用いて圧縮された圧縮ビデオデータを送信するためのパラメータを定義し、前記複数のデータレイヤは、第１圧縮比を有する最高レイヤ（ｈｉｇｈｅｓｔ ｌａｙｅｒ）と、前記最高レイヤ及び任意の介在レイヤに追加される場合、前記第１圧縮比より低い第２圧縮比を有するデータを有する最低レイヤと、を含み、前記第４プロファイルに応じて、前記データレイヤ各々は前記受信機に送信され、前記第５プロファイルに応じて、前記データレイヤのサブセットは前記受信機に送信され、前記第６プロファイルに応じて、前記データレイヤのうちの単一データレイヤが前記受信機に送信され、前記第７プロファイルに応じて、前記データレイヤのうちの１つ以上のデータレイヤの一部のみが前記受信機に送信され、前記第８プロファイルは、前記ビデオデータをディスプレイするための表示装置に基づいて、相異なる優先順位レベルを有するビデオデータを送信するためのパラメータを定義する。

一部の実施例によれば、データ信号のヘッダパケットのビット選択によって選択されたプロファイルに関する情報を、前記送信機が前記受信機に送信する段階を更に含む。
一部の実施例によれば、選択されたプロファイルに関する情報は、選択されたプロファイルに対応する圧縮解除、リバースレイヤリング、デコーディング又はエラー訂正情報のうちの１つ以上を含む。

本発明の一部の例示的な実施例によれば、無線通信チャネルを介して受信機にディスプレイパネルに対するデータを送信するための送信機であって、前記送信機は、データソースからデータ信号を受信し、前記受信機からリターン信号を受信し、チャネル品質、ビデオ品質、コーデック要件又はデータレート要件のうちの１つ以上に基づいて、データ信号を前記受信機に送信するための１つ以上のパラメータを各々含む複数のプロファイルの中から１つのプロファイルを選択し、ここで前記複数のプロファイルは、非圧縮ビデオデータの送信に対応する１つ以上のプロファイルと、圧縮ビデオデータの送信に対応する１つ以上のプロファイルとを含み、前記ディスプレイパネル上のディスプレイのために、選択されたプロファイルに応じて、前記受信機にデータ信号を送信する。

一部の実施例によれば、前記送信機によって受信されたデータ信号は、ビデオデータ信号である。
一部の実施例によれば、前記送信機は、前記リターン信号に基づいて、前記複数のプロファイルの中からプロファイルを選択し、前記リターン信号は、前記受信機によって測定された無線通信チャネルの品質のインジケータを含む。
一部の実施例によれば、前記送信機は、前記リターン信号に基づいて、前記受信機に対応する表示装置を識別し、前記受信機に対応する表示装置に基づいて、プロファイルを選択する。

一部の実施例によれば、前記複数のプロファイルは、第１〜第８プロファイルのうちの１つ以上を含み、前記第１プロファイルは、一群のピクセルのうち任意のピクセルからのピクセルデータが送信後に前記受信機で損失する場合、前記受信機が周辺ピクセルの値を平均することによって、損失したピクセルデータを再計算できるように、チャネル品質が第１閾値レベルを超える非圧縮ビデオデータを送信するためのパラメータを定義し、前記第２プロファイルは、一群のピクセルのうち１つのピクセルからのピクセルデータが前記受信機に送信されず、前記受信機が周辺ピクセルの値を平均化することによって、前記１つのピクセルからのピクセルデータを再計算できるように、チャネル品質が前記第１閾値レベルより低いものの第２閾値レベルより高い非圧縮ビデオデータを送信するためのパラメータを定義し、前記第３プロファイルは、パケット内のピクセルの最下位ビットが前記受信機に送信されず、前記受信機は前記最下位ビットを補償できるように、チャネル品質が前記第１閾値レベル及び前記第２閾値レベルより低いものの第３閾値レベルより高い非圧縮ビデオデータを送信するためのパラメータを定義し、前記第４、第５、第６及び第７プロファイルは、複数のデータレイヤを生成するレイヤベースの圧縮方法を用いて圧縮された圧縮ビデオデータを送信するためのパラメータを定義し、前記複数のデータレイヤは、第１圧縮比を有する最高レイヤ（ｈｉｇｈｅｓｔ ｌａｙｅｒ）と、前記最高レイヤ及び任意の介在レイヤに追加される場合、前記第１圧縮比より低い第２圧縮比を有するデータを有する最低レイヤと、を含み、前記第４プロファイルに応じて、前記データレイヤ各々は前記受信機に送信され、前記第５プロファイルに応じて、前記データレイヤのサブセットは前記受信機に送信され、前記第６プロファイルに応じて、前記データレイヤのうちの単一データレイヤが前記受信機に送信され、前記第７プロファイルに応じて、前記データレイヤのうちの１つ以上のデータレイヤの一部のみが前記受信機に送信され、前記第８プロファイルは、前記ビデオデータをディスプレイするための表示装置に基づいて、相異なる優先順位レベルを有するビデオデータを送信するためのパラメータを定義する第８プロファイルのうちの１つ以上を含む。

一部の実施例によれば、前記送信機は追加的に、データ信号のヘッダパケットのビット選択によって選択されたプロファイルに関する情報を、受信機に送信するように構成され、前記選択されたプロファイルに関する情報は、選択されたプロファイルに対応する圧縮解除、リバースレイヤリング、デコーディング又はエラー訂正情報のうちの１つ以上を含む。

本発明の一部の実施例によれば、無線通信チャネルを介して受信機と電子通信する送信機がディスプレイパネル用ビデオを送信する方法であって、データソースからのデータ信号を前記送信機が受信する段階と、前記受信機からのリターン信号を前記送信機が受信する段階と、前記データ信号を前記受信機に送信するための１つ以上のパラメータを各々含む複数のプロファイルの中から１つのプロファイルを前記送信機が選択する段階と、ここで前記複数のプロファイルは、非圧縮ビデオデータの送信に対応する１つ以上のプロファイルと、圧縮ビデオデータの送信に対応する１つ以上のプロファイルと、を含み、前記ディスプレイパネル上のディスプレイのために、選択されたプロファイルに応じて、前記送信機が前記受信機に前記データ信号を送信する段階と、を含む。

一部の実施例によれば、チャネル品質に基づいて、プロファイルを選択する段階を更に含む。
一部の実施例によれば、前記受信機で測定されたビデオ品質に基づいて、プロファイルを選択する段階を更に含む。
一部の実施例によれば、コーデック要件に基づいて、プロファイルを選択する段階を更に含む。
一部の実施例によれば、データレート要件に基づいて、プロファイルを選択する段階を更に含む。
一部の実施例によれば、前記リターン信号に基づいて、前記受信機に対応する表示装置を識別する段階と、前記送信機によって、前記受信機に対応する表示装置に基づいて、プロファイルを選択する段階とを更に含む。
一部の実施例によれば、前記送信機によって、前記受信機からのリターン信号をモニタリングする段階と、前記送信機によって、チャネル品質又はビデオ品質のうちの１つ以上の変化に基づいて、後続の送信のための他のプロファイルを選択する段階と、を更に含む。

本発明の一部の例示的な実施例によれば、無線通信チャネル上で受信機と電子通信する送信機がディスプレイパネル用ビデオを送信する方法であって、前記送信機によって、データソースからの１フレームのビデオデータを受信する段階と、前記送信機によって、前記１フレームのビデオデータに対応するビットを複数の重要度レベルに各々対応する複数のグループにグループ化する段階と、前記送信機によって、前記複数のグループを重要度の順序に再構成して、前記複数のグループの中で１番目となるように配列されており、最高重要度レベルを有する複数のパケットヘッダに対応するグループを有する、再構成されたデータフレームを生成する段階と、前記送信機によって、前記複数のパケットヘッダ各々のパケットヘッダに対応するデータビットの長さを示す値を各々のパケットヘッダの前に挿入する段階と、前記送信機によって、前記ディスプレイパネル上の表示のために前記１フレームのビデオデータに対応する前記ビットを前記受信機に送信して、前記複数のグループのうち各々のグループが対応する重要度レベルに基づく相異なる保護技術によって送信される段階と、を含む。

一部の実施例によれば、各々のグループは、対応する重要度レベルに基づいて、相異なる変調及びコーディング方式（ＭＣＳ）値を有する。
一部の実施例によれば、各々のグループは、対応する重要度レベルに基づいて、相異なる順方向エラー訂正コーディングレートを有する。
一部の実施例によれば、前記受信機のデコーダは、前記１フレームのビデオデータを再構成するように構成される。
一部の実施例によれば、前記１フレームのビデオデータを再構成する段階は、前記複数のパケットヘッダ各々のパケットヘッダをその元の相対的位置に移動させる段階を含む。
一部の実施例によれば、前記１フレームのビデオデータを再構成する段階は、前記データビットの長さを示す前記値を除去する段階を含む。
一部の実施例によれば、前記送信機によって、前記受信機からのリターン信号をモニタリングする段階と、前記送信機によって、後続の送信のために前記相異なる保護技術を調整する段階とを更に含む。
一部の実施例によれば、前記送信機によって、前記受信機に対応する表示装置のタイプに応じて、前記相異なる保護技術を選択する段階を更に含む。

本発明の一部の例示的な実施例によれば、無線通信チャネル上で受信機にディスプレイパネル用データを送信するための送信機において、前記送信機は、データソースから１フレームのビデオデータを受信し、前記１フレームのビデオデータに対応するビットを複数の重要度レベルに各々対応する複数のグループにグループ化し、前記複数のグループを重要度の順序に再構成して、前記複数のグループの中で１番目となるように配列されており、最高重要度レベルを有する複数のパケットヘッダに対応するグループを有する、再構成されたデータフレームを生成し、前記複数のパケットヘッダ各々のパケットヘッダに対応するデータビットの長さを示す値を各々のパケットヘッダの前に挿入し、前記ディスプレイパネル上の表示のために前記１フレームのビデオデータに対応する前記ビットを前記受信機に送信して、前記複数のグループのうち各々のグループが対応する重要度レベルに基づく相異なる保護技術によって送信されるように構成される。

一部の実施例によれば、各々のグループは、対応する重要度レベルに基づいて、相異なる変調及びコーディング方式（ＭＣＳ）値を有する。
一部の実施例によれば、各々のグループは、対応する重要度レベルに基づいて、相異なる順方向エラー訂正コーディングレートを有する。
一部の実施例によれば、前記受信機のデコーダは、前記複数のパケットヘッダ各々のパケットヘッダをその元の相対的位置に移動させることによって、前記１フレームのビデオデータを再構成するように構成される。
一部の実施例によれば、前記送信機は追加的に、前記受信機からのリターン信号をモニタリングし、後続の送信のために前記相異なる保護技術を調整するように構成される。

本発明の一部の例示的な実施例によれば、無線通信チャネル上で受信機と電子通信する送信機によって、ディスプレイパネル用ビデオを送信する方法であって、前記送信機によって、データソースから１フレームのビデオデータを受信する段階と、前記送信機によって、前記１フレームのビデオデータに対応するビットを複数の重要度レベルに各々対応する複数のグループにグループ化する段階と、前記送信機によって、前記複数のグループを重要度の順序に再構成して、前記複数のグループの中で１番目となるように配列されており、最高重要度レベルを有する複数のパケットヘッダに対応するグループを有する、再構成されたデータフレームを生成する段階と、前記送信機によって、前記ディスプレイパネル上の表示のために前記１フレームのビデオデータに対応する前記ビットを前記受信機に送信して、前記複数のグループのうち各々のグループが対応する重要度レベルに基づく相異なる保護技術によって送信される段階と、を含む。

一部の実施例によれば、前記送信機によって、各々のパケットヘッダに対応するデータビットの長さを示す値を各々のパケットヘッダの前に挿入する段階を更に含む。
一部の実施例によれば、各々のグループは、対応する重要度レベルに基づいて、相異なる変調及びコーディング方式（ＭＣＳ）値を有する。
一部の実施例によれば、各々のグループは、対応する重要度レベルに基づいて、相異なる順方向エラー訂正コーディングレートを有する。
一部の実施例によれば、前記受信機のデコーダは、前記１フレームのビデオデータを再構成するように構成される。
一部の実施例によれば、前記送信機によって、前記受信機からのリターン信号をモニタリングする段階と、前記送信機によって、後続の送信のために、チャネル品質又はビデオ品質のうちの少なくとも１つの変化に基づいて、前記相異なる保護技術を調整する段階と、を更に含む。
一部の実施例によれば、前記送信機によって、前記受信機に対応する表示装置のタイプに応じて、イメージの相異なる領域に対応するデータに対して前記相異なる保護技術を選択する段階を更に含む。

本発明の一部の例示的な実施例によれば、無線通信チャネル上で受信機と電子通信する送信機の間でディスプレイパネルに対するビデオを送信する方法において、前記送信機によって、データソースからビデオデータのフレームを受信する段階と、前記送信機によって、ビデオデータのフレームのビットの重要度レベルに応じて、ビデオデータのフレームを複数のパケットに再構成する段階と、前記送信機によって、パケット各々に対するタグを生成する段階と、ここで前記タグは、パケットの相異なる相対的な重要度レベルに対応し、前記送信機によって、パケット各々に対応するタグに基づいて、パケット各々に対して相異なる保護技術を行う段階と、前記送信機によって、各々のパケットが対応するタギング（ｔａｇｇｉｎｇ）に基づいて、相異なる保護技術によって送信されるように、前記ディスプレイパネル上のディスプレイのために前記パケット及び前記タグを前記受信機に送信する段階と、を含む。

一部の実施例によれば、各々のパケットのタグは、パケットの相対的な重要度レベルを示すビットパターンをパケットのヘッダに追加することを含む。
一部の実施例によれば、各々のパケットのタグは、その対応する重要度レベルに基づく変調及びコーディング方式（ＭＣＳ）値に対応する。
一部の実施例によれば、より重要なパケットは、より重要でないパケットより低いＭＣＳの値を有する。
一部の実施例によれば、各々のパケットのタグは、その対応する重要度レベルに基づく順方向エラー訂正コーディングレートに対応する。
一部の実施例によれば、前記送信機によって、複数のアグリゲーティングされたＭＡＣプロトコルデータユニット（Ａ−ＭＰＤＵ）サブフレームにパケットをパッキングする段階と、前記送信機によって、Ａ−ＭＰＤＵサブフレームを前記受信機に送信する段階とを更に含む。
一部の実施例によれば、前記送信機によって、複数の物理レイヤ収束手順（ＰＬＣＰ）プロトコルデータユニット（ＰＰＤＵ）フレームを同一のタグでタギングする段階と、送信機によって、同一の重要度レベルを有するＡ−ＭＰＤＵサブフレームをＰＰＤＵフレームにパッキングする段階と、送信機によって、ＰＰＤＵフレームを前記受信機に送信する段階と、を更に含む。
一部の実施例によれば、前記送信機によって、前記受信機に対応する表示装置のタイプに応じて、ビデオデータのフレームのイメージの相異なる領域に対して相異なる保護技術を選択する段階を更に含む。

一部の実施例によれば、無線通信チャネル上で受信機にディスプレイパネルに対するデータを送信するための送信機において、前記送信機は、データソースからビデオデータのフレームを受信するように、ビデオデータのフレームのビットの重要度レベルに応じて、ビデオデータのフレームを複数のパケットに再構成するように、パケット各々に対するタグを生成するように、ここで前記タグは、パケットの相異なる相対的な重要度レベルに対応し、パケット各々に対応するタグに基づいて、パケット各々に対して相異なる保護技術を行うように、そして各々のパケットが対応するタギングに基づいて、相異なる保護技術によって送信されるように、前記ディスプレイパネル上のディスプレイのために前記パケット及び前記タグを受信機に送信するように構成される。

一部の実施例によれば、各々のパケットのタギングは、パケットの相対的な重要度レベルを示すビットパターンをパケットのヘッダに追加することを含む。
一部の実施例によれば、各々のパケットのタギングは、その対応する重要度レベルに基づく変調及びコーディング方式（ＭＣＳ）値に対応する。
一部の実施例によれば、各々のパケットのタギングは、その対応する重要度レベルに基づく順方向エラー訂正コーディングレートに対応する。
一部の実施例によれば、前記送信機は追加的に、複数のアグリゲーティングされたＭＡＣプロトコルデータユニット（Ａ−ＭＰＤＵ）サブフレームにパケットをパッキングするように、そしてＡ−ＭＰＤＵサブフレームを受信機に送信するように構成される。
一部の実施例によれば、前記送信機は追加的に、複数の物理レイヤ収束手順（ＰＬＣＰ）プロトコルデータユニット（ＰＰＤＵ）フレームをタギングするように、同一の重要度レベルを有するＡ−ＭＰＤＵサブフレームをＰＰＤＵフレームにパッキングするように、そしてＰＰＤＵフレームを前記受信機に送信するように構成される。

本発明の一部の例示的な実施例によれば、無線通信チャネル上で受信機と電子通信する送信機の間でディスプレイパネルに対するビデオを送信する方法において、前記送信機によって、データソースからビデオデータのフレームを受信する段階と、前記送信機によって、ビデオデータのフレームのビットの重要度レベルに応じて、ビデオデータのフレームを複数のパケットに再構成する段階と、前記送信機によって、パケット各々に対するタグを生成する段階と、ここで前記タグは、パケットの相異なる相対的な重要度レベルに対応し、前記送信機によって、各々のパケットが対応するタギングに基づいて、相異なる保護技術によって送信されるように、前記ディスプレイパネル上のディスプレイのために前記パケット及び前記タグを前記受信機に送信する段階と、を含む。

一部の実施例によれば、前記送信機によって、パケット各々に対応するタグに基づいて、パケット各々に対して相異なる保護技術を行う段階を更に含む。
一部の実施例によれば、各々のパケットのタグは、パケットの相対的な重要度レベルを示すビットパターンをパケットのヘッダに追加することを含む。
一部の実施例によれば、前記送信機によって、複数のアグリゲーティングされたＭＡＣプロトコルデータユニット（Ａ−ＭＰＤＵ）サブフレームにパケットをパッキングする段階と、前記送信機によって、Ａ−ＭＰＤＵサブフレームを前記受信機に送信する段階とを更に含む。
一部の実施例によれば、前記送信機によって、複数の物理レイヤ収束手順（ＰＬＣＰ）プロトコルデータユニット（ＰＰＤＵ）フレームを同一のタグでタギングする段階と、前記送信機によって、同一の重要度レベルを有するＡ−ＭＰＤＵサブフレームをＰＰＤＵフレームにパッキングする段階と、前記送信機によって、ＰＰＤＵフレームを前記受信機に送信する段階とを更に含む。
一部の実施例によれば、前記送信機によって、前記受信機からのリターン信号をモニタリングする段階と、前記送信機によって、チャネル品質又はビデオ品質のうちの１つ以上の変化に少なくとも基づいて、相異なる保護技術を調整する段階とを更に含む。

本発明の１つ以上の実施例によれば、電子データ通信のためのシステム及び方法が提供される。

本発明の一部の例示的な実施例により、クロス−レイヤ最適化システム（ＣＬＩＯ）のハイレベルの概要説明を例示する無線データ送信システムを示すブロック図である。 本発明の一部の例示的な実施例により用いられた例示的なレイヤベースの圧縮方式を示す。 本発明の一部の例示的な実施例により、クロス−レイヤ最適化（ＣＬＩＯ）システムの例示的なアーキテクチャ及び一部コンポーネントの追加的な細部事項を示すブロック図である。 本発明の一部の例示的な実施例により、ピクセルを相異なるタイプにパーティショニングする例を示す。 本発明の一部の例示的な実施例により、片方の目の視野の例を示す。 本発明の一部の例示的な実施例により、パケット又はレイヤ構造の再構成の例を示す。 本発明の一部の例示的な実施例による例示的なヘッダ構造を示す。 本発明の一部の例示的な実施例によるデータの例示的な再構成を示す。 本発明の一部の例示的な実施例によるピクセルビット及びパケットの例示的な再構成を示す。 無線通信標準下で利用可能なヘッダフィールドを示す。 本発明の一部の例示的な実施例により、クロス−レイヤイメージ最適化（ＣＬＩＯ）に対するプロセスを示すフローチャートである。

添付した図面を参照して、本発明の実施例について詳細に説明する。
以下の詳細な説明は、本発明により提供されるマルチギガビットチャネル（ｍｕｌｔｉ−ｇｉｇａｂｉｔ ｃｈａｎｎｅｌ）上の無線ビデオ送信のためのクロス−レイヤイメージ最適化（ｃｒｏｓｓ ｌａｙｅｒ ｉｍａｇｅ ｏｐｔｉｍｉｚａｔｉｏｎ；ＣＬＩＯ）のためのシステム及び方法の実施例であり、本発明の唯一の形態を示すものではない。説明は例示された実施例に関連して、本発明の特徴を記述する。しかし、同一又は等価の機能及び構造が、本発明の思想及び範囲内に含まれるもので、また、意図される相異なる実施例によって達成できることが理解されるであろう。本願の他の箇所で表されたように、類似の図面符号は類似の部分又は特徴を示す。

ディスプレイ技術の未来は、多様な無線ストリーミングデバイス（携帯電話、セットトップボックス、プロジェクタなど）によって提供される安価なディスプレイで満たされた世界を含む。無線リンクを介した高品質ビデオ送信は難題であることが明らかになった。無線デバイスは非静的であるのに対し、無線リンクは帯域幅が不足し、様々な種類のノイズに弱い。レイテンシ（ｌａｔｅｎｃｙ）がまた高くて可変的であり、これは特にビデオに有害である。ビデオ送信の厳しい要件により、相異なるレイヤ［例えば、アプリケーション（ＡＰＰ）レイヤ、媒体アクセス制御（ＭＡＣ）レイヤ、及び物理（ＰＨＹ）レイヤ］が独立に設計される一般的な設計方法は、高いデータレートの無線データ送信を可能にしない。従って、本発明の実施例は、１つのレイヤにおける情報が相異なるレイヤのパラメータを変更するのに用いられるクロスレイヤアプローチを提供する。このような柔軟性は、無線リンクの速い変化に対する迅速な適応を可能にする。

ＩＥＥＥ８０２．１１ａｄ標準は、非圧縮ＦＨＤ（ｆｕｌｌ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）無線ビデオに必要なビットレートの提供を可能にする。８０２．１１ａｄは、２．１６ＧＨｚの帯域幅を有するチャネルを用いる６０ＧＨｚの帯域で作動し、単一キャリアを用いて物理レイヤ（ＰＨＹ）で最大４．６Ｇｂｐｓの帯域幅を提供し、これは非圧縮ＦＨＤビデオ送信に十分である。しかし、ＩＥＥＥ８０２．１１ａｄは、単に特定の展開でのみ最大の帯域幅を獲得可能にする。例えば、ＩＥＥＥ８０２．１１ａｄは、送信機と受信機が互いに短距離内に、そしてＬｏＳ（ｌｉｎｅ ｏｆ ｓｉｇｈｔ）内に位置するように要求する。従って、本発明の実施例は、無線データ送信に対する向上したアプローチを提供する。

いくつかの実施例によれば、本発明の多様な特性は、物理（ＰＨＹ）、媒体アクセス制御（ＭＡＣ）、又はアプリケーション（ＡＰＰ）クロスレイヤ・ソリューションを始めとして、無線ネットワークを介したビデオストリーミングのためのＱｏＳを向上させ保障するのに用いられる。従って、１つのレイヤ（例えば、ＭＡＣレイヤ）からの情報は、他のレイヤ（例えば、ＡＰＰレイヤ）のパラメータを最適化するのに用いられる。例えば、ビデオストリーミングで、ＡＰＰレイヤは、レート制御（ネットワークを意識（ａｗａｒｅｎｅｓｓ））においてチャネル品質に関する情報を用いることができる。下位レイヤはまた、ビデオトラフィック特性に関する情報を用いるように構成される。多様な実施例により、システムは、動的プロファイルパーティショニング、パケットに対する動的タギング（ｔａｇｇｉｎｇ）、レイヤベースの圧縮技術における相異なるレイヤに対する同一でないエラー保護、及び重要度レベルを意識した変調／コーディング選択、パケット化及びビット又はピクセルプルーニング（ｐｒｕｎｉｎｇ）を利用する。

一実施例によれば、クロスレイヤ方法は、遅延制限された拡張可能なビデオ送信において知覚品質を最適化するために用いられる。また、各々のビデオレイヤに対するＰＨＹレイヤのパケット損失可視性（ｐａｃｋｅｔ ｌｏｓｓ ｖｉｓｉｂｉｌｉｔｙ）により不均等エラー保護（Ｕｎｅｑｕａｌ Ｅｒｒｏｒ Ｐｒｏｔｅｃｔｉｏｎ；ＵＥＰ）が用いられる。また、ＡＰＰレイヤにバッファを意識したソース適応（ｂｕｆｆｅｒ−ａｗａｒｅ ｓｏｕｒｃｅ ａｄａｐｔａｔｉｏｎ）が存在する。レート適応方式は、ＩＥＥＥ８０２．１１（メディアに依存しないハンドオーバ（ＭＩＨ）フレームワーク）に基づくＱｏＳ−駆動シームレスハンドオフ方式のために使用される。レートを制御するために、量子化パラメータ（ＱＰ）は単一レイヤコーディング（ＡＶＣ／Ｈ．２６４）に対して適応され、向上レイヤは拡張可能コーディング（ＳＶＣ／Ｈ．２６４）のためにドロップされる。無線ビデオ送信において承認されたセッションの数及びビデオ品質の観点から、ＱｏＳを最適化するための承認制御及び自動レイヤ管理と共に、レート及びトラフィック適応も含まれる。トラフィック管理、経路選択及びフレームフィルタリングは、セルラネットワークでＵＤＰ／ＲＴＰを介したビデオストリーミングのためのクロスレイヤイメージ最適化（ＣＬＩＯ）技術として含まれる。クロスレイヤフレームワークは、ユーザのＱｏＳレベル及びディスプレイの大きさ及びエネルギー制約を考慮した無線マルチメディアブロードキャスト受信機のエネルギー効率を最適化するために、ビデオコーデック最適化、レイヤコーディング送信（ｌａｙｅｒ ｃｏｄｅｄ ｔｒａｎｓｍｉｓｓｉｏｎ）のためのタイムスライシング最適化及び適応型変調及びコーディング方式（ＭＣＳ）を含む。

本質的に、圧縮はソースからリダンダンシ（ｒｅｄｕｎｄａｎｃｙ）を除去し、これによって、先天的に送信エラーに対しては更に敏感である。圧縮システムがビデオストリームで送信エラーの影響を緩和するのに使用できるいくつかの方法がある。ビデオストリームが品質、空間的又は時間的拡張性があれば、我々は、不均等エラー保護（ＵＥＰ）の概念を使用して、より重要な情報ビットに対してより高いレベルの保護を提供することができる。受信機側で、ビデオストリームがエラー耐性の特性を有すれば、エラー伝播は最小化され、良好な比率のエラーは無視できる。デコーディング後に、エラー隠匿（ｅｒｒｏｒ ｃｏｎｃｅａｌｍｅｎｔ）がデコーディングされた出力に適用可能である。時間的エラー隠匿を使用する１つの技術は、前のフレームを格納し、現在のフレームが損傷した場合、そのフレームを再生することである。別の可能性は、エラーがある領域の周辺ピクセルを用いて現在のピクセルを予測することである。一般に、エラー隠匿は、他の方法が失敗した場合における最後の手段として使用される。

図１は、本発明の一部の例示的な実施例による無線データ送信システム１００を示すブロック図である。無線データ送信システム１００は、送信機１０２と、受信機１０６とを含む。送信機１０２は、データソース１０４（例えば、ビデオカードコンピュータシステムのような外部データソース）からのデータ（例えば、非圧縮ビデオデータ）を入力端子１０３で受信する。受信機１０６は、イメージ及びビデオをディスプレイするディスプレイパネル１１０を有するユーザデバイス又は電子装置１０８（例えば、電子表示装置、スマートフォン、テレビ、タブレットなど）に統合される。ディスプレイパネル１１０は、複数のピクセルを含み、各々のピクセルは、複数の相異なるカラーコンポーネント（又はサブピクセル）（例えば、各々のピクセルは、赤色コンポーネント、緑色コンポーネント及び青色コンポーネントを含むことができる）を含み得る。

ビデオの観点からみると、ビデオ各々のフレームは、ディスプレイパネル１１０上にイメージとしてディスプレイ（例えば、短時間ディスプレイ）される。一部の実施例において、ディスプレイパネル１１０は、例えば、テレビ、モニタ、セルラフォン、タブレットコンピュータ、ウェアラブルデバイス、増強現実（ＡＲ）ヘッドセット又は仮想現実（ＶＲ）ヘッドセットのような一体型ディスプレイを有する任意の電子装置１０８の部分として含まれる。

また、送信機１０２及び受信機１０６には無線ラジオ１１２、１１４が統合されており、送信機１０２は、無線ラジオ１１２、１１４を介して受信機１０６と無線データ通信する。従って、送信機１０２及び受信機１０６は、任意の好適な無線データスペクトル及び標準（例えば、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１１標準）を用いて相互間でデータのやり取りをする。例えば、送信機１０２は、直通（例えば、データ）チャネル１３０（例えば、無線通信チャネル）を介して受信機１０６にクロス−レイヤイメージ最適化（ＣＬＩＯ）方式のパラメータ又は特性と共にデータ信号を送信し、受信機１０６は、リターンチャネル１３２を介して送信機１０２にフィードバックデータ又はリターン信号（例えば、チャネル又は視覚品質データを含む）を送信する。

他のエレメントにおいて、送信機１０２は、アプリケーション（ＡＰＰ）レイヤ１１６（例えば、ディスプレイプロトコル及びビデオエンコーダモジュールを含む）と、媒体アクセス制御（ＭＡＣ）レイヤ１１８と、物理（ＰＨＹ）レイヤ１２０とを更に含む。本発明の実施例により、クロス−レイヤイメージ最適化（ＣＬＩＯ）の多様な様相がＡＰＰレイヤ１１６、ＭＡＣレイヤ１１８及び物理レイヤ１２０で遂行又は実行される。これと同様に、受信機１０６は、ＡＰＰレイヤ１２２と、ＭＡＣレイヤ１２４と、ＰＨＹレイヤ１２６とを含む。

無線データ送信システム１００は、クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法を制御するために、送信機１０２の一部として又は送信機１０２と協力して動作するクロス−レイヤイメージ最適化（ＣＬＩＯ）モジュール又はエンジン１３４を更に含む場合がある。ＣＬＩＯモジュール１３４は、例えば、プロセッサ及びプロセッサに結合されたメモリを含み、メモリは、プロセッサによって実行される命令を格納し、この命令は、プロセッサに、本願で説明するクロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法の多様な動作を実行させる。例えば、ＣＬＩＯモジュール１３４は、ＡＰＰレイヤ１１６、ＭＡＣレイヤ１１８及びＰＨＹレイヤ１２０と電子通信してデータ及び命令を交換することによって、本願で説明されるクロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法を具現する。

従って、図１に示されているように、無線データ送信システム１００は、ＡＰＰレイヤ１１６、ＭＡＣレイヤ１１８及びＰＨＹレイヤ１２６でクロス−レイヤイメージ最適化（ＣＬＩＯ）のための多様なメカニズムを実現した後、送信機１０２でデータを受信し、受信機１０６にデータを送信するように構成される。

ビデオ圧縮／圧縮解除システム又はコーデックは、本質的に６つの相異なる方法：圧縮、品質（歪み）、複雑度、レイテンシ、品質拡張性及びエラー耐性で評価される。

本発明の一部の例示的な実施例によれば、ビデオ又はデータストリームが多数の品質レイヤ、解像度レイヤ、空間位置又はカラーコンポーネントでパーシング又は分割されるレイヤベースの圧縮アーキテクチャがデータ又はビデオ圧縮のために用いられる。関連技術のレイヤベースの圧縮アーキテクチャ（例えば、ＪＰＥＧ２０００）で、データストリームはフレームヘッダで始まり、次に、パケットヘッダ及びデータビットのシーケンスが後に続く。しかし、ストリームは特に、リアルタイムＵＨＤコーデックの場合、重要度の順序に整列されないことがある。

一実施例において、レイヤベースの圧縮システム（例えば、ＪＰＥＧ２０００標準又はこれと類似のもの）は、クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法（例えば、ＣＬＩＯモジュール１３４によって実行される）の一部であって、レイヤベースの圧縮として用いられる。本発明の実施例によるレイヤベースのエンコーダは、次の段階：コンポーネントに対するカラー変換、各々のカラーチャネル上のウェーブレット変換、ウェーブレット係数の量子化、及び最終的に、コードブロックとして知られたウェーブレット係数の長方形領域の算術コーディングを利用することができる。このようなエンコーダは、カラーコンポーネント、解像度レベル、空間ブロックポジション又はレイヤに基づいて、これらコードブロックの多様なシーケンスを許すことによって、エンコーディングされたデータの構造に対する柔軟性を提供する。個別コードブロックは独立にデコーディング可能であるが、これらコードブロックに対するヘッダは前のヘッダに依存し、従って、シーケンス通りにデコーディングされる。

本発明の実施例により、用いられたレイヤベースの圧縮エンコーディングされたデータストリームは、フレームヘッダで始まり、次に、パケットヘッダ及びデータビットのシーケンスが後に続く。言及されたように、データストリームは、多数の品質レイヤ、解像度レベル、空間ポジション及びカラーコンポーネントで分割される。しかし、用いられた特定のエンコーディングシステム（例えば、ＪＰＥＧ２０００）に依存して、ストリームは特に、リアルタイムＵＨＤコーデックの場合、重要度の順序に整列されないことがある。
図２の例は、レイヤで生成されたレイヤベースの圧縮エンコーディングされたデータストリームの例を示すが、一例として、第１レイヤは８：１の圧縮レベルに対応し；（全ての第１レイヤパケットをデコーディングした）第２レイヤの末尾で、圧縮レベルは４：１にセットされる。最後に、第３レイヤパケットをデコーディングすることは、２：１の圧縮レベルでストリームを伝送するのと等価である。本発明の実施例は、上記で説明した圧縮比又はレイヤの数に制限されない。むしろ、本発明の実施例は、第１又は最高レイヤが最高圧縮比を有し、次のレイヤは、第１レイヤに追加される時、圧縮比が第１レイヤの圧縮比よりも低くなるようにするデータを有する方式で、最低又は最後のレイヤが、先行レイヤ各々に追加される時、視聴者に比較的低い、視覚的に無損失、又は視覚的にほぼ無損失（例えば、１：１、１．５：１、２：１）の圧縮比となるようにするデータを有するまで行われるように、クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法の設計及び機能に応じて、任意の好適な圧縮比を有する任意の好適な数のレイヤを用いることができる。

一部の実施例によれば、ＶＲディスプレイのコンテクストで、ステレオスコピックイメージ（ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅ、立体）が受信機に送信される時、データ送信のエラーは、そのエラーが片側にのみあっても左側及び右側イメージともに影響を与えられる。従って、本発明の一部の実施例において、クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法（例えば、ＣＬＩＯモジュール１３４、及び／又は、ＡＰＰレイヤ１１６のビデオエンコーダモジュール）は、｛左イメージ＋右イメージの差｝に関して圧縮を行い、その後、多様な｛左イメージ＋右イメージの差｝からなるスライスがマルチプレクシングされたストリームとしてエンコーディングされることを保障する。このような手順は、データ送信のエラーがアーティファクト（ａｒｔｉｆａｃｔ）の可視性に衝撃を与えるインスタンスの数を（例えば、半分に）減少させられる。

ビデオストリーミングの品質を向上させるためのクロスレイヤアルゴリズムにおける本発明の実施例は、ＰＨＹレイヤの１つ以上の特徴、例えば、ＰＨＹレイヤのチャネル品質のインジケータに基づいて、変調及びコーディング方式（ＭＣＳ）が変更される動的適応型変調及びコーディング（ＡＭＣ）を追加的に用いることができる。より低いＭＣＳ値は、より低いビットエラーレートを提供するが、より低いスループットも達成する。ＭＡＣレイヤは、ＭＣＳに基づいて圧縮レートを調整するために、ＭＣＳに関してＡＰＰレイヤに通知することができる。

相異なるビット及びパケットの損失はビデオ品質に相異なる衝撃を与え、本発明の実施例は、非圧縮／圧縮ビデオで最上位ビット（ＭＳＢ）に対するより多くの保護、ＪＰＥＧ２０００のパケットヘッダに対するより多くの保護、又はＭＰＥＧ−４のＩ−フレームに対するより多くの保護を始めとして、ＵＥＰアプローチを利用してビデオ受信においてより重要なビットを保護するように動作する。保護はよりロバストなＭＣＳ、再送信又はＲｅｅｄ−Ｓｏｌｏｍｏｎのような追加的なエラー訂正コードを用いることによって達成できる。

図３は、本発明の一部の例示的な実施例によれば、ＡＰＰ、ＭＡＣ及びＰＨＹレイヤでの制御方式を含むデータ送信システム１００のクロス−レイヤイメージ最適化（ＣＬＩＯ）システムの例示的なアーキテクチャ及び一部コンポーネントの追加的な細部事項を示すブロック図である。測定及びフィードバックブロックは、ビットエラーレート、ビデオ品質及び特定のサービスクラスの使用可能な帯域幅のような条件を推定するのに使用される。その後、ＡＰＰレイヤとＭＡＣレイヤのモデルは、最適なビット割当によってビデオ品質の歪みを最小化して、順方向エラー訂正に必要なビット数を減少させ、その損失の衝撃に応じてパケットの優先順位を決定する。

一部の実施例において、図３に示されているように、ＡＰＰレイヤで、システムは、受信機からのフィードバック及び測定に基づいて（例えば、受信機１０６からのリターンチャネル１３２上で受信されたデータに基づいて）、光圧縮をイネーブル／ディセーブルする。フィードバックは、例えば、ビデオ品質に基づき、ビデオ品質の測定は、例えば、受信機によって報告される信号対雑音比（ＳＮＲ）又はピーク信号対雑音比（ＰＳＮＲ）に基づく。

図３のＭＡＣレイヤは、例えば、ピクセルパーティショニング、再送信及び多重ＣＲＣ検査、ＭＳＢ／ＬＳＢ分離のような特徴を利用したパケット化及び相異なるバッファを始めとする多数の機能、モジュール又は手順を含むことができる。ＰＨＹレイヤから受信されたフィードバック又はＡＰＰレイヤのパラメータに基づいて、システム（例えば、ＣＬＩＯモジュール１３４）は、ＭＡＣレイヤでこれら関数のパラメータを変更し、これら関数、モジュール又は手順がどのように作動すべきかを決定する。例えば、ピクセルパーティショニングが行われるか否か及びピクセルパーティショニングが行われる場合、パーティションがパケットに分割される方法がある。また、これらシステムは、再送信がイネーブルされるか否かを決定又は選択するように構成される。

一部の実施例によれば、システム（例えば、ＣＬＩＯ（クロス−レイヤイメージ最適化）モジュール１３４）は、ＵＥＰ（不均等エラー保護）の実現においてこれらの特徴を利用することができる。例えば、パケットの一部は、再送信といったかかる特徴を含むか、又はこれらの特徴は、相異なるＭＣＳ又はＭＳＢ／ＬＳＢ分離のように相異なるパケットに対して相異なるパラメータを有することができる。

ＰＨＹレイヤ（例えば、受信機内のＰＨＹレイヤ３０２及び送信機内のＰＨＹレイヤ３００。これらは各々、図２に示した無線プロトコル１２６と１２０に対応する）はまた、図３に示されているように、ＵＥＰの実現のために多数のレイヤを含むことができる。相異なるパケットは、相異なるＭＣＳ値を有する相異なるレイヤを介して伝送される。相異なるレイヤはまた、相異なる優先順位を有する相異なるバッファに関連づけられる。一部の例示的な実施例により、システム（例えば、ＣＬＩＯモジュール１３４）は、ビデオ品質及び測定フィードバックに応じて、相異なるパケットを相異なるレイヤ及びバッファに関連づけることができる。

本発明の一部の例示的な実施例によれば、非圧縮又は圧縮送信のためのクロス−レイヤイメージ最適化（ＣＬＩＯ）の第１段階は、レイヤリング（ｌａｙｅｒｉｎｇ）又はパーティショニングである。本発明の実施例は、以下により詳細に説明される複数の予め定義されたレイヤリング及び／又はパーティショニングプロファイルを用いる。データ送信セッションの一部として、相異なるレイヤリング及び／又はパーティショニングプロファイルのうちの一つは、例えば、表示装置のタイプ、ビデオ視覚品質に対する相異なる基準又はインジケータ（ピーク信号対雑音比（ＰＳＮＲ）を含む）、チャネル品質、コーデック要件又は選択、ＭＣＳ及びデータレート要件などを含む１つ以上の予め定義されたパラメータに基づいて選択される。各々のプロファイルは、例えば、相異なるエラー訂正技術、圧縮技術、又はパケット化技術を始めとする、送信機及び受信機における相異なる手順のセットを指示するか、又は、それによって定義される。

また、本発明の実施例は、相異なるレイヤの順序化されたビットストリームに対するクロス−レイヤイメージ最適化（ＣＬＩＯ）の一部として不均等エラー保護（ＵＥＰ）方法を利用する。ビットストリーム又はパケットの順序化は、レイヤードベースの圧縮ビデオ又は非圧縮ビデオ上で行われる。相異なるＭＣＳ値は、チャネル品質に応じて、相異なるレイヤに対して用いられる。

本発明の一部の例示的な実施例によれば、（例えば、ＩＥＥＥ８０２．１１ａｄのように）パケットに対する動的タギング（ｄｙｎａｍｉｃ ｔａｇｇｉｎｇ）が、本発明のクロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法の一部として用いられる。重要度レベルを意識した（ａｗａｒｅ）手順が送信機に対するＭＡＣパケット化器（ｐａｃｋｅｔｉｚｅｒ）及び受信機に対する逆パケット化器（ｄｅｐａｃｋｅｔｉｚｅｒ）で実現されるように、重要度レベル及び対応する情報が受信機に送信又はシグナリングされる。

上記で説明されたように、本発明の実施例において、システムは、本発明のクロスレイヤイメージ最適化（ＣＬＩＯ）システム及び方法の一部として動的レイヤリング及びパーティショニングプロファイルを用いることができる。送信機及び受信機（例えば、送信機１０２及び受信機１０６）は、複数の予め定義されたレイヤリング／パーティショニングプロファイルを活用するか、又は、これに同意する。このようなプロファイルは、ビデオ視覚品質（ＰＳＮＲを含む）、チャネル品質、コーデック要件又は選択、ＭＣＳ、データレート要件などに対する相異なる基準に基づいて選択される。受信機はその後、レイヤリング方法をリバース（ｒｅｖｅｒｓｅ）し、及び／又は、選択されたプロファイルに対応するエラー隠匿アルゴリズムを用いて、任意の送信エラーを追加的に訂正するために実行される、対応する単数又は複数のアルゴリズムを選択する。

一実施例において、システムは、多様なチャネル条件と共に使用するために７個のプロファイルを用いるが、プロファイルの数はこれに制限されず、無線データ送信システムの設計及び機能に応じて、任意の好適な数のプロファイルが用いられる。

例えば、プロファイル“００”は、チャネルが理想的又はほぼ理想的な条件で作動する時に対して定義されるのに対し、プロファイル“０６”は、チャネルが非常に劣悪な条件で動作する時に対して定義される。“００”と“０６”との間のプロファイルはその後で、多様な中間条件に対して定義される。

例えば、１つのプロファイル（例えば、プロファイル“００”又は理想的／ほぼ理想的な条件プロファイル）は、チャネル品質が高い時に対する非圧縮ビデオ送信のために定義される。そのようなプロファイルに対して、ピクセルパーティショニング技術は、互いに隣同士のピクセルが非常に類似のコンテンツを含む確率が高いと仮定できる。４個からなるグループからの任意のピクセルが抜けている場合、それは他の３個のキャプチャされたピクセルから再計算される。プロファイル“００”は、図４に示されているように、４タイプのピクセルにイメージを分割することによって選択される。１つのタイプで、ピクセルの３つのカラーは、１パケットにパッキングされる。全４タイプのパケットが受信機に送信される。プロファイル“００”が送信されることを知っている受信機はイメージ品質を向上できる。例えば、ピクセルのうち任意のもののピクセルデータ（又はピクセル内の任意のカラー）が抜けている場合、受信機は、４又は８個（平均化するピクセルの数は動的であり得る）の周辺ピクセルのグループを平均することによって、抜けているピクセル又はカラーを代替する平均化方法を実行する。イメージ圧縮方法はまた、互いに隣同士のピクセルが相関する値を有するとのアイディアに依存する。この方法は、エントロピー−コーディング圧縮アルゴリズムに比べて実現することがより簡単で、ビットエラーに対してよりロバストであり得る。

第２プロファイル（例えば、プロファイル“０１”）は、第１プロファイル（プロファイル“００”）と同じく、４タイプのピクセルにイメージを分割することによって選択される。しかし、送信のために３タイプのピクセルが選択される。システムは、１タイプのピクセルをドロップすることによって、結果的な歪みが閾値より低いかを計算する。このプロファイルが受信機にシグナリングされると、受信機は、４つのピクセルタイプ各々のうち、３（又はそれ以上）個の他のピクセルの平均から抜けているピクセルデータ値を推定するはずである。閾値は、例えば、視覚品質（例えば、ＰＳＮＲ）を含む相異なる基準に基づいて選択される。送信されないピクセルタイプの選択及び閾値もシグナリングされる。

第３プロファイル（例えば、プロファイル“０２”）は、上記で説明された最初２個のプロファイル（例えば、プロファイル“００”及び“０１”）より低い帯域幅上で動作できる（例えば、それによって選択される）。例えば、第３プロファイルは、１つ又は全てのパケットでピクセルの最下位ビット（ＬＳＢ）を送信しなくてもよい。その後、受信機で、平均化アルゴリズムは該ビットを補償することができる。歪みに対する他の閾値レベルは、非圧縮ビデオに対して、上記で説明された第１又は第２プロファイル（例えば、プロファイル“０１”又は“００”）の代わりに、第３プロファイル（例えば、プロファイル“０２”）を選択するように考慮される。

チャネルの品質が低く、ＰＨＹレイヤがＭＣＳに対するより低い値をシグナリングする時、他のプロファイルが圧縮ビデオのために考慮される。例えば、無線ビデオ送信のための新しいプロファイルを定義するために多重品質レイヤリングが用いられる。レイヤードベースの圧縮で、多重レイヤが上記で説明されたように生成できる。本発明の実施例によれば、最高レイヤは、複数のレイヤの中で最高圧縮比を有するデータを含むことができ、最低レイヤは、上位レイヤに追加される場合、比較的低い圧縮比（例えば、１：１又は１：１．５又は任意の好適な又は視覚的無損失圧縮比）でイメージを形成するデータを含むことができる。例えば、（例えば、図２に示されているように）３レイヤ圧縮方式で、レイヤ１は、４：１の圧縮比を有する圧縮イメージデータを含むことができる。レイヤ２は、レイヤ１に追加された場合、２：１の圧縮比を有する圧縮イメージを形成するデータを含むことができる。レイヤ３は、レイヤ１及びレイヤ２に追加された場合、結果的なイメージが１：１の圧縮比（又は１．５：１又は他の視覚的に無損失圧縮比）を有するビットストリームを含むことができる。

送信機は、チャネル品質、視覚品質、コーデック要件などに応じて、伝送するレイヤを選択する。我々は、レイヤ１、２及び３（又は全てのレイヤ）を送信する時に第４プロファイル（例えば、プロファイル“０３”）、レイヤ１及び２（又はレイヤのサブセット）を伝送する時に第５プロファイル（例えば、プロファイル“０４”）、及びレイヤ１又は最高圧縮比を有するレイヤを伝送する時に第６プロファイル（例えば、プロファイル“０５”）を定義できる。第７プロファイル（例えば、プロファイル“０６”）に対して、送信機は、レイヤのうち１つの部分、例えば、レイヤ１及びレイヤ２の全て、及びレイヤ３の一部のみを伝送することができる。受信機は、第７プロファイル（例えば、プロファイル“０６”）が送信されることを認知することによって、抜けているデータ情報を探索するか、又は、追加訂正アルゴリズムを実行するはずである。送信機は、元のパケットの長さ、又は、パケットヘッダ内の送信されたパケットの長さを示すことができる。受信機はこれによって、レイヤの一部が受信されていないことを認知し、受信されたパケットの正しい大きさを推論することができる。また、受信機は、パケットの一部が受信されていないことをデコーダに警告し、それは余分な情報が送信機によって再伝送されるか、又は、再送信されるように要請することができる。

追加プロファイルは、送信されるデータのタイプ、イメージがディスプレイされるディスプレイの性質又は同一イメージの他の部分に対するイメージの特定部分の重要度に応じて設定可能である。例えば、一部の実施例によれば、イメージの特定部分又は領域は、イメージの一部分に対応するビットに対するデータ送信のエラーがイメージの他の部分に対応するビットに対するデータ送信のエラーより視聴者により知覚可能であるとの意味で、イメージの他の部分よりも重要であり得る。

一部の実施例によれば、クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法は、例えば、ディスプレイ（例えば、ディスプレイパネル１１０）がＶＲディスプレイであるＶＲディスプレイシステムのコンテキストで展開される。この状況で、視聴者のイメージ知覚の大部分（例えば、９０％）は、イメージの中央（例えば、視野の中心１５度）にそしてその周囲に焦点を合わせるが、その理由は、ユーザがイメージの相異なる部分に焦点を合わせるために自らの頭を動かす傾向があるからである。従って、図５に示されているように、クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法（例えば、ＣＬＩＯモジュール１３４）は、イメージの第２領域（例えば、図５においてラベル“Ｂ”とラベリングされた領域、例えば、第１領域と第１領域の外側の第２視野との間、即ち視野の１５度と２０度との間の領域）より、イメージの第１又は中心領域（例えば、図５においてラベル“Ａ”とラベリングされた領域、例えば、視野の１５度の領域）に対応するデータを優先視することができる。また、イメージの第１及び第２領域ともは、イメージの第３領域（例えば、図５において“Ｃ”とラベリングされた領域、例えば、第１及び第２領域の外部又は視野の２０度の外側の領域）より優先視される。

より高い重要度又は優先順位を有するイメージの領域を識別する他の方法は、その全体が引用によって本願に含まれる米国特許出願番号第１５／２８８，９７７号で説明される。例えば、一部の実施例によれば、より高い重要度を有するイメージの領域に対応するデータは、より低い重要度を有するイメージの領域に対応するデータに比べて、より高いレベルの重要度又はより高い程度のエラー保護を有するように指定される。より高い重要度を有するイメージの領域は、例えば、図５に関連して本願で説明したように、受信機に対応する表示装置のタイプに応じて変動可能である。

イメージの相異なる領域が相異なって優先視されることから、クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法（例えば、ＣＬＩＯモジュール１３４）は、イメージの他の領域のデータと比較して、第１領域のデータが最低レベルのエラーを有し、イメージの第２領域が２番目に低いレベルのエラーを有する方式となるように、プロファイル（例えば、上記で説明したようなレイヤリング／パーティショニングプロファイル）又はＵＥＰ方式（以下により詳細に説明される）を選択することができる。また、一部の実施例によれば、クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法（例えば、ＣＬＩＯモジュール１３４）は、外部領域又は領域からのエラーがイメージの最高優先順位（例えば、中心）の領域に伝播しないようにデータをパーティショニングできる。

一部の例示的な実施例によれば、クロス−レイヤイメージ最適化（ＣＬＩＯ）システムは、例えば、送信のためにイメージの相異なる部分を優先視するために、より低い番号のプロファイル（例えば、より低いエラー可能性プロファイル（ｌｏｗｅｒ ｅｒｒｏｒ−ｐｒｏｎｅ ｐｒｏｆｉｌｅ））がイメージのより高い優先順位部分に対して選択され、より高い番号のプロファイル（例えば、より高いエラー可能性プロファイル）がイメージのより低い優先順位部分に対して選択されるように、上記で説明した多様なプロファイル（例えば、第１プロファイル〜第７プロファイル）を用いることができる。一部の実施例によれば、別途のプロファイルが表示装置のタイプ（例えば、テレビ、ＶＲディスプレイ、ＡＲディスプレイ、無線医療ディスプレイなど）に応じて具体的に予め定義され、データは、交換されるイメージデータ部分の優先順位レベルに応じて、送信（例えば、圧縮、エンコーディング、パケット化、ビットドロッピング（ｂｉｔ ｄｒｏｐｐｉｎｇ）又はプルーニング（ｐｒｕｎｉｎｇ））又は受信（例えば、圧縮解除、デコーディング、エラー訂正、逆パケット化、再送信）において相異なる手順で送信される。

一実施例において、レイヤリング又はパーティショニングプロファイルに対する選択基準は、ビデオ視覚品質（例えば、ＰＳＮＲ）及び／又はチャネル品質（例えば、ＳＮＲ）に基づく。レイヤリングは、非圧縮ビデオ、一部のパケットがドロップされた非圧縮ビデオ又は相異なる圧縮比を有する圧縮ビデオが伝送されるべきかを識別する。キュー優先順位、遅延公差、エラー保護及び／又は信頼性の観点から、相異なるレイヤが相異なって取り扱われる。それに対応して、送信機及び受信機は、プロファイルを選択したりプロファイル番号を受信することによって、データ送信（例えば、圧縮、エンコーディング、パケット化、ビットドロッピング又はプルーニング）又は受信（例えば、圧縮解除、デコーディング、エラー訂正、逆パケット化）の部分として、又はその前に相異なる手順をイネーブルすることができる。

一部の実施例によれば、プロファイルの選択は、ＭＡＣ又はＰＨＹヘッダパケットのビット選択によって、受信機に送信される。ビット選択に基づいて、受信機は、レイヤリングのために選択された方法を識別することができる。プロファイル番号のほか、例えば、圧縮においてレイヤの数及び／又は各々のレイヤでパケット／バイト数を始めとして、選択されたプロファイルに対して要求される任意の他の情報が受信機に送信される。余分な情報は、パケットヘッダのビットパターンによって、又は保安チャネルを介して伝送されるか、又は、予め定義される。

従って、本発明の１つ以上の例示的な実施例は、無線データ通信チャネル上で送信機から受信機にデータ（例えば、非圧縮ビデオデータ）を送信するために予め定義されたレイヤリング及び／又はパーティショニングプロファイルのセットを選択するためのシステム及び方法を含む。プロファイルは、例えば、チャネル品質、ビデオ品質、コーデック要件又は選択、ＭＣＳ及びデータレート要件、送信されるデータの性質又は特性、（例えば、受信機にカップリングされた）受信機端の表示装置の性質又は特性を含む多様な条件又はパラメータに応じて選択される。プロファイルの選択は、例えば、ＭＡＣレイヤ及び／又はＰＨＹレイヤヘッダパケットのビット選択によって、送信機から受信機に送信される。選択されたプロファイルに依存して、圧縮解除、デコーディング、エラー訂正などに対する１つ以上のパラメータを示す追加情報がまた送信機から受信機に（例えば、ＭＡＣレイヤ及び／又はＰＨＹレイヤヘッダパケットで）送信される。送信機から受信機に送信された情報（例えば、ビット選択）に基づいて、受信機は、データレイヤリング及び／又はパーティショニング及び／又は圧縮のために送信機で利用された方法及び／又はプロトコルを識別し、そうして、レイヤリング及び／又はパーティショニング及び／又は圧縮をリバースさせ、選択されたプロファイルに対応するエラー隠匿アルゴリズム又は手順を用いて送信中の任意のエラーをまた訂正するために実行する、対応するアルゴリズム又は手順を選択することが可能になる。

本発明の実施例は追加的に、例えば、ビデオデコーディングのためにより重要なビットを保護するように（例えば、そのビットの適切な送信を容易にするように）、優先順位ベースの不均等エラー保護（ＵＥＰ）を利用することができる。例えば、レイヤベースの圧縮において、より高い圧縮レートに対応（例えば、ベースレイヤ又はレイヤ１に対応）したり、これに関連するビットはビデオデコーディングにおいてより重要であり、従って、より多くの保護を必要とする。また、パケットヘッダ又はフレームヘッダのビットエラーは、ビデオデコーダが後続のデータビットをデコーディングできないようにする。クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法の一実施例において、パケットヘッダは、図６に示されているように、各々のフレームの先頭（ｂｅｇｉｎｎｉｎｇ）に移動する。また、パケットヘッダは、図７に示されているように、固有の先頭及び末尾（ｅｎｄ）の値によって識別される。ヘッダがフレームの先頭に移動すると、識別子がヘッダを互いに分離させるようにまた移動する。末尾識別子は、一部の例示的な実施例によりまた除去される。最後の末尾識別子は、ヘッダ情報の末尾と次のレイヤのデータ情報との間を区別するように維持できる。

一部の例示的な実施例によれば、クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法（例えば、ＣＬＩＯモジュール１３４）は、これらヘッダ及びベースレイヤに対する無線媒体の損失又はエラーに備えて相異なる保護技術を利用することができる。例えば、一部の実施例によれば、相異なるＭＣＳ値が相異なるレイヤに用いられるか、又は相異なる順方向エラー訂正（ＦＥＣ）アルゴリズムが相異なるコーディングレートとして用いられる。また、ＵＥＰ（不均等エラー保護）オペレーションはＭＡＣレイヤで実行され、そうして、本発明の実施例が再構成エンジンを向上させるか、又は最適化して、これを相異なるコーデックに適用することを可能にする。例えば、ＡＰＰレイヤが全体データをＭＡＣレイヤに伝達するが、ＭＡＣレイヤは、本願で説明される多様なクロス−レイヤイメージ最適化（ＣＬＩＯ）オペレーションを行うためにより多くの柔軟性を有する。また、ＭＡＣレイヤでＵＥＰを実行することによって、システムは相対的により動的であるが、その理由は、相異なる機能が本願で説明されたような特定の状況に応じて相異なるパラメータで修正できるからである。また、本発明の実施例はこれによって、無線チャネルの状態に基づいて、部分的な再構成のみを行うことが可能になる。

本発明の実施例により利用された圧縮技術は、図８に示されているように、相異なるデータコンポーネントを提供することによって、相異なる圧縮比のレイヤ以外にも、追加的なパーティショニング技術を提供することができる。例えば、多様な類似のピクセルビット（例えば、同一又は類似のＭＣＳ値を有するピクセルビット）は共にグループ化されるように、パケットに再構成される。相異なる優先順位を有する多数のレイヤにその出力を更にパーティショニング可能な任意の好適な圧縮技術が利用できる。ヘッダ及びデータの移動において同一のアプローチが利用できる。
相異なるＭＣＳ値又は相異なるコーディングレートを有するＦＥＣがデータのヘッダ又はパーティションに対して用いられる。

一実施例において、ヘッダは、フレームでそのヘッダの次に来るデータパケットの長さに関する情報を含む。一部のインスタンスにおいて、クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法は、チャネル条件、ＭＣＳ条件、帯域幅条件などに応じて、各々のレイヤ又はパーティションでデータビットの一部を送信することができる。従って、送信可能なデータストリームの長さはまたヘッダ情報に添付され、受信機に送信される。例えば、固定された又は予め決定された数のバイト（Ｎバイト）がこの長さを識別するために予約される。一部の例示的な実施例によれば、データストリームの長さは、容易な識別のために各々のヘッダの末尾にあり得る。

従って、本発明の一部の例示的な実施例によるシステム及び方法は、無線データ通信チャネル上の送信に対する優先順位、遅延公差（ｔｏｌｅｒａｎｃｅ、許容範囲）、及び／又は、保護又は信頼性レベルに応じて、レイヤ又はレベルベースの圧縮システムでビットを再パーティショニング又は再構成するように構成される。データフレームは、フレームヘッダ及びパケットヘッダビットを含み、これは、データビットと比較してより高いレベルの保護を必要とする。フレームのデータビットはまた、相異なる優先順位、保護及び／又は信頼性レベルでパーティショニングされる。ヘッダは、予め定義された又は知られたビットストリングに応じて識別され、データビットは、重要度の順序に応じて整列される。一部の実施例によれば、より高い優先順位又はより低い遅延公差ビットは、データフレームの先頭に移動するか、又は、再構成される。例えば、データのフレームは、（例えば、優先順位又は重要度の順序に）フレームヘッダで始まり、パケットヘッダが後に続き、データビットが後に続く。パケットヘッダは、予め定義されるか、又は、予め決定されたビットストリングによって分離又は識別される。また、一部の実施例により、データビットストリームの長さは、各々のパケットヘッダに対応する長さのインジケータをパケットヘッダに、その前又はその後に挿入することによって表示される。受信機のデコーダは、例えば、パケットヘッダ及び他のデータビットをその元の位置（再構成前）に移動させ、データ長さビットのように任意の追加的に挿入されたデータを除去することによってフレームを再構成するが、フレームを再構成するのに追加データを用いる。

従って、本発明の実施例は、クロスレイヤイメージ最適化（ＣＬＩＯ）のための任意のレイヤ及び／又はレベルベースの圧縮技術に対して不均等エラー保護の実現を提供することができる。ヘッダ、レイヤ及び／又はデータパーティションは、重要度又は優先順位レベルに応じて再構成され、そのような再構成は送信機のＭＡＣレイヤで実行される。クロスレイヤイメージ最適化（ＣＬＩＯ）方式により、各々のパケットからのデータの一定部分は除去又はドロップされ、このデータに関する情報はヘッダ情報に統合される。付加的に、本発明の実施例は、例えば、相異なる重要度レベルで又は相異なって情報を保護するために、順方向エラー訂正に対して相異なるＭＣＳ値を用いることによって、不均等エラー保護を利用することができる。本発明の一部の例示的な実施例による不均等エラー保護の一部として、全てのヘッダが（例えば、ある位置で）共にグループ化されるように再構成されることから、全てのヘッダは、例えば、フレームのヘッダ各々に対していくつかの小さい順方向エラー訂正を個別的に用いるよりは、１つの不均等エラー保護アルゴリズムを経験することができる。

本発明の一部の例示的な実施例によれば、相異なるパケットは、ＵＥＰ及びレイヤ／パーティションベースの圧縮を利用して相異なって保護されることから、相異なるパケットの損失は視覚品質に相異なるように影響を与える。例えば、ヘッダ又はベースレイヤの特定パケットが損失した場合、システムは、受信機側でビデオを再構成できないことがある。反面、一部のパケット損失はＰＳＮＲの低下を招くことがある。また、上記で説明したように、システムで用いられる表示装置のタイプに依存して、イメージデータの相異なる部分は、エラーを最小化する観点から、イメージデータの他の部分よりも高い優先順位を有することができる。従って、本発明の実施例は追加的に、以下により詳細に説明されるように、動的ＵＥＰ及び重要度を意識したタギングを利用することができる。

上記で説明したように、本発明の実施例によるクロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法は、パケットを優先順位、遅延公差、保護又は信頼性に基づく相異なる重要度レベルでパーティショニングするように動作する。各々の重要度レベルは、送信及び／又は受信時に相異なって取り扱われる。

一実施例において、各々のフレームは、相異なる重要度レベルを有する多数のビデオパケットに分割される。システムはその後、各々のパケットを対応する重要度レベルでタギング（ｔａｇｇｉｎｇ）し、対応するビットは、アグリゲーティングされたＭＡＣプロトコルデータユニット（Ａ−ＭＰＤＵ）サブフレーム及び物理レイヤ収束手順（ＰＬＣＰ）プロトコルデータユニット（ＰＰＤＵ）フレームでパッキングされる。一例において、ＰＰＤＵは、重要度レベルでタギングされ、同一の重要度レベルのパケット及びＡ−ＭＰＤＵサブフレームと動的にパッキングされる。再送信が可能になると、再送信される必要があるＡ−ＭＰＤＵサブフレームはキューイングされ、適切な重要度レベルを有する適切なＰＰＤＵに配置される必要がある。

他の実施例によれば、各々のＡ−ＭＰＤＵサブフレームは、重要度レベルに応じてタギングされる。この場合に、全てのＰＰＤＵは、重要度レベルの観点から同等に考慮され、これらは相異なる重要度レベルを有するＡ−ＭＰＤＵとパッキングされる。再送信を必要とする遅延敏感シナリオで、ＰＰＤＵパケットよりは、Ａ−ＭＰＤＵサブフレームをタギングすることが有利であり得る。ＰＰＤＵパケットよりは、Ａ−ＭＰＤＵサブフレームにタギングすることがタグ情報に対してより多くのオーバヘッドを用いることができるが、このようなアプローチは、多数の重要度レベルのパケットを管理するのにより容易であり得る。

多様な実施例によれば、パケットをタギングするために、ビットパターンがＡ−ＭＰＤＵ又はＰＰＤＵのヘッダに追加される。ビットパターンは例えばＭビットからなり、‘０．．．０’は最高重要度を示し、‘１．．．１’は最低重要度を示す。一部の実施例により、値Ｍは予め定義されるか、又は、Ｍ値はヘッダ情報の一部としてシグナリングされる。一部の実施例によれば、送信機及び受信機は、２＾Ｍ通りの重要度レベル及び各々のレベルに対して相異なる手順を定義できる。

ＩＥＥＥ８０２．１１ａｄ又はＩＥＥＥ８０２．１１ａｙを介した無線ビデオ送信のための保障されたサービス品質のために、本発明の一部の例示的な実施例によるクロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法は、各々のタギングされた重要度レベルに対する動的重要度レベルを意識したＡＭＣ（動的適応型変調及びコーディング）を介してＵＥＰ（不均等エラー保護）を実現することができる。相異なる重要度レベルは相異なるＭＣＳ（変調及びコーディング方式）値で変調されるか、或いは、相異なる重要度レベルは、相異なる順方向エラー訂正（ＦＥＣ）値で以って、又は、ＦＥＣ値は同一であるものの、相異なるコーディングレートで以って、エンコーディングされる。

関連技術システムで、ＰＨＹは、現在のチャネル状況に適切なＭＣＳインデックスを勧告することができる。しかし、本発明の一部の実施例によれば、クロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法は、ビットストリームの大部分に対して勧告されたＭＣＳを適応させることができる。例えば、システムは、より重要なレイヤ又はパケットに対してＭＣＳインデックスを減少させ、より重要でないレイヤ又はパケットに対してＭＣＳインデックスを増加させることができる。図９は、システムがピクセルでＲＧＢカラーを示すビットのＭＳＢ／ＬＳＢ部分に対して相異なるＭＣＳ値を選択する非圧縮ビデオ送信に対する例を示す。４個のＭＳＢビットはＭＣＳ−１で伝送され、次の２ビットはＭＣＳで伝送され、最後の２個のＬＳＢビットはＭＣＳ＋１で伝送される。それはまた、同一のＭＣＳインデックスを有するビットが同一のパケット／Ａ−ＭＰＤＵサブフレームにグループ化されるように、パケット／Ａ−ＭＰＤＵサブフレームへのビットの再グループ化を含む。

例えば、圧縮ビデオ送信において、図６及び図８に関して上述したように、レイヤードベースの圧縮が行われ、ビットが送信の重要度レベルに応じて再構成された後に、ヘッダ及びベースレイヤ１はＭＣＳ−１で送信され、レイヤ２はＭＣＳで伝送され、最後に、レイヤ３はＭＣＳ又はＭＣＳ＋１で伝送される。ヘッダ及びレイヤ１は、これによってより更に保護され、ほぼエラーなく送信される。このような情報ビットはＭＣＳ−１で伝送されるため、必要な帯域幅がＭＣＳに関するチャネルの支援帯域幅を超える可能性がある。補償のために、レイヤ３の一部がドロップされるか、及び／又は、レイヤ３ビットがＭＣＳ＋１で変調される。

ＩＥＥＥ８０２．１１ａｄで、ＭＣＳインデックスは、２６２、１４３バイトの各々のＰＰＤＵパケットに対してのみシグナリングされる。従って、ＰＰＤＵが重要度レベルでタギングされると、本発明の実施例は、各々のパケットに対する勧告されたＭＣＳ又は修正されたＭＣＳインデックスを使用するために、ＩＥＥＥ８０２．１１ａｄの手順を利用することができる。一部の実施例によれば、ＩＥＥＥ８０２．１１ａｄでのシグナリングは、ＭＣＳが各々のＡ−ＭＰＤＵサブフレームに対してシグナリングされるように修正される。例えば、各々のパケットのヘッダ内の現在予約されたビット又は未使用情報が用いられる。ＩＥＥＥ８０２．１１ａｄ規格に応じて、ヘッダは、図１０のフィールドを含む。一例として、ピアツーピア接続において、本発明の実施例は、ＭＣＳをシグナリングするために“アドレス４”を使用する。本発明の実施例は付加的に、各々のＡ−ＭＰＤＵに対するＭＣＳをシグナリングするためにヘッダに新しいバイトを追加することができる。

従って、本発明の一部の例示的な実施例によるクロス−レイヤイメージ最適化（ＣＬＩＯ）システム及び方法は、例えば、優先順位、遅延公差、及び／又は保護又は信頼性に基づいて、相異なる重要度カテゴリーでビデオフレームのデータ（例えば、ピクセルデータ、パケットなど）をパーティショニングするように動作できる。各々のビデオフレームは多数の重要度レベルに分割され、対応するビットはＡ−ＭＰＤＵサブフレームにパッキングされる。相異なるパケット（例えば、Ａ−ＭＰＤＵサブフレーム、ＰＰＤＵサブフレームなど）が重要度レベルに応じてタギングされ、一部の実施例により、相異なるパケットはその重要度の順序に応じて受信機に送信される。相異なるパケット（例えば、Ａ−ＭＰＤＵサブフレーム）は、その重要度レベルに応じて（例えば、ＰＰＤＵパケットに）グループ化される。重要度レベルを示す値又はタグがパケットのヘッダに追加される。受信機端で、受信機はタグレベルを決定することが可能になり、それによって、タギングに応じて相異なるエラー復元及び／又は隠匿手順を追加的に可能にする。また、相異なる重要度レベルを有するデータは、各々のパケットに対して相異なる変調及びコーディング方式（ＭＣＳ）値を選択することによって相異なって保護される。対応するＭＣＳ値は、タグ以外にも、パケットに対するヘッダに挿入される。

従って、本発明の実施例は、無線クロス−レイヤイメージ最適化（ＣＬＩＯ）のためのＡＭＣ（動的適応型変調及びコーディング）を始めとして、無線データ送信のための送信機及び受信機でのパケットに対する動的パーティショニング及び／又はタギング（例えば、ＩＥＥＥマルチギガビット８０２．１１で）及び重要度を意識した手順を可能にする。本発明の実施例は、多数のコンテンツ駆動タグを用いてＡ−ＭＰＤＵ（データ）パケット内の各々の小さいパケットのタギングを可能にする。タグは送信され、受信機にシグナリングされる。相異なる手順又はパラメータは、本願で説明されたクロス−レイヤイメージ最適化（ＣＬＩＯ）メカニズムの多様な様相を統合するためのタグに関連づけられる。また、本発明の実施例は、ＡＭＣ（タグに対するＭＣＳ適応）のような不均等エラー保護（ＵＥＰ）ベースのタグを用いることができる。

本発明の多様な実施例によれば、システムは、クロス−レイヤイメージ最適化（ＣＬＩＯ）のための多様なパラメータ及びファクタを連続的にモニタリングし相応するように調整することができる。例えば、システムは、受信機からのリターン信号をモニタリングすることができ、環境の変化によって、例えば、後続のデータ送信のために上記で説明したような相異なるプロファイル、圧縮又はエラー訂正技術などを選択することによって、クロス−レイヤイメージ最適化（ＣＬＩＯ）を相応するように調整することができる。

図１１は、本発明の一部の例示的な実施例による、クロス−レイヤイメージ最適化（ＣＬＩＯ）のための方法の多様なオペレーションを示す例示的なフローチャートである。しかし、図１１に示されたオペレーションの数及び順序は、例示したフローチャートに限定されない。例えば、一部の実施例によれば、オペレーションの順序は（異なって指示されない限り）修正されるか、又は、オペレーションのプロセスは本発明の思想及び範囲を逸脱することなく追加のオペレーション又はより少ないオペレーションを全て含むことができる。例えば、本開示及び対応する図面で説明された多様な他の特徴及びオペレーションはプロセスに統合されるか、又は特定のオペレーションは本発明の一部の例示的な実施例により省略される。

プロセスが始まると、段階１２００で、システム（例えば、無線データ送信システム１００及び／又は送信機１０２）は、データソースからデータ（例えば、非圧縮ビデオデータを含むビデオデータ信号）を受信する。段階１２０２で、例えば、チャネル品質、視覚品質、及び受信機に接続された表示装置のタイプを始めとして、受信機に対するデータ送信に関する多様な情報を含むリターンデータが、受信機（例えば、受信機１０６）から受信される。次に、段階１２０４で、システムは、表示装置のタイプを識別することができる。段階１２０６で、レイヤリング及び／又はパーティショニングプロファイルは、例えば、表示装置のタイプ、ビデオ視覚品質に対する相異なる基準又はインジケータ（ピーク信号対雑音比（ＰＳＮＲ）を含む）、チャネル品質、コーデック要件又は選択、ＭＣＳ及びデータレート要件などを含む１つ以上の予め定義されたパラメータに基づいて選択された後、送信される。

段階１２０８で、レイヤ又はレベルベースの圧縮が、例えば、選択されたレイヤリング／パーティショニングプロファイルに応じて、データ上で行われる。その後、段階１２１０で、レイヤ、パーティション、パケット又はデータのビットは、上記で説明したように、その重要度レベルに応じて、グループ又はパケットに再構成される。

段階１２１２で、データは、データのパケット及び／又はデータの重要度レベルを示すようにタギングされる。その後、段階１２１４で相異なるタイプのデータの重要度レベルに基づいて、データを受信機に送信するために不均等エラー保護（ＵＥＰ）が行われる。段階１２１６で、データは、例えば、ディスプレイパネル上の表示のために受信機に送信される。

本願で説明される本発明の実施例による無線データ送信システム及び／又は任意の他の関連デバイス又はコンポーネントは、任意の好適なハードウェア、ファームウエア（例えば、注文型集積回路）、ソフトウェア、又はソフトウェア、ファームウエア、ハードウェアの好適な組み合わせを用いて実現される。例えば、無線データ送信システムの多様なコンポーネントは、１つの集積回路（ＩＣ）チップ又は別途のＩＣチップ上に形成される。また、表示装置の多様なコンポーネントは、フレキシブル印刷回路フィルム、テープキャリアパッケージ（ＴＣＰ）、印刷回路ボード（ＰＣＢ）上に具現されるか、及び／又は表示装置と同一の基板上に形成される。また、無線データ送信システムの多様なコンポーネントは、１つ以上のプロセッサ上で実行され、１つ以上のコンピューティングデバイスで、コンピュータプログラム命令を実行し、本願で説明される多様な機能性を行うために他のシステムコンポーネントと相互作用するプロセス又はスレッドであってもよい。コンピュータプログラム命令は、例えば、ランダムアクセスメモリ（ＲＡＭ）のような標準メモリデバイスを用いてコンピューティングデバイスで実現可能なメモリに格納される。コンピュータプログラム命令はまた、例えば、ＣＤ−ＲＯＭ、フラッシュドライブなどのような他の非一時的なコンピュータ読取可能媒体に格納される。また、当業者は、本発明の例示的な実施例の範囲から逸脱することなく、多様なコンピューティングデバイスの機能性が単一コンピューティングデバイスに統合又は結合されるか、又は特定のコンピューティングデバイスの機能性が１つ以上のコンピューティングデバイスにわたって分散できることを認知しなければならない。

本発明がある特定の実施例で説明されたが、当業者は、本発明の範囲及び思想から決して逸脱しない、説明された実施例に対する変動を創案するのに困難がないであろう。また、多様な技術分野の熟練者に、本願の本発明自体が他のタスク及び他のアプリケーションに対する適応に向けたソリューションを提案するであろう。本出願人の意図は、本発明の全てのかかる用途及び本発明の思想及び範囲から離脱することなく、本開示の目的のために選択される、本願発明の実施例に対してなされる変更及び変形が請求の範囲によって含まれるということである。従って、本発明の本実施例は、あらゆる面で制限的でなく例示的なものとして見なされるべきであり、本発明の範囲は、上記の説明よりは、添付した請求項及びその等価物によって示される。

１００ 無線データ送信システム
１０２ 送信機
１０３ 入力端子
１０４ データソース
１０６ 受信機
１０８ ユーザデバイスユーザデバイス、電子装置
１１０ ディスプレイパネル
１１２、１１４ 無線ラジオ
１１６ アプリケーション（ＡＰＰ）レイヤ
１１８ 媒体アクセス制御（ＭＡＣ）レイヤ
１２０ 物理（ＰＨＹ）レイヤ
１２２ ＡＰＰレイヤ
１２４ ＭＡＣレイヤ
１２６ ＰＨＹレイヤ
１３０ 直通チャネル
１３２ リターンチャネル
１３４ ＣＬＩＯモジュール
ＡＭＣ 動的適応型変調及びコーディング
Ａ−ＭＰＤＵ アグリゲーティングされたＭＡＣプロトコルデータユニット
ＣＬＩＯ クロス−レイヤイメージ最適化
ＭＣＳ 変調及びコーディング方式
ＰＬＣＰ 物理レイヤ収束手順
ＰＰＤＵ 物理レイヤ収束手順（ＰＬＣＰ）プロトコルデータユニット
ＰＳＮＲ ピーク信号対雑音比
ＵＥＰ 不均等エラー保護

Claims (16)

1. 無線通信チャネル上で受信機と電子通信する送信機がディスプレイパネル用ビデオを送信する方法であって、
   前記送信機によって、データソースから１フレームのビデオデータを受信する段階と、
   前記送信機によって、前記１フレームのビデオデータのビットの重要度レベルに応じて、前記１フレームのビデオデータを複数のパケットに再構成する段階と、
   前記送信機によって、前記複数のパケット各々に対するタグを生成する段階と、ここで前記タグは、前記複数のパケットの相異なる相対的な重要度レベルに対応し、
   前記送信機によって、前記複数のパケット各々に対応する前記タグに基づいて、前記複数のパケット各々に対して相異なる保護技術を行う段階と、
   前記送信機によって、前記ディスプレイパネル上の表示のために前記複数のパケット及び前記タグを前記受信機に送信して、前記複数のパケット各々が対応するタギング（ｔａｇｇｉｎｇ）に基づいて、前記相異なる保護技術によって送信される段階と、を含む、ことを特徴とするビデオ送信方法。
2. 前記複数のパケット各々の前記タグは、対応する重要度レベルに基づく変調及びコーディング方式（ＭＣＳ）値に対応する、ことを特徴とする請求項１に記載のビデオ送信方法。
3. 前記複数のパケットのうち、より重要なパケットは、より重要でないパケットより低いＭＣＳ値を有する、ことを特徴とする請求項２に記載のビデオ送信方法。
4. 前記複数のパケット各々の前記タグは、対応する重要度レベルに基づく順方向エラー訂正コーディングレートに対応する、ことを特徴とする請求項１に記載のビデオ送信方法。
5. 前記送信機によって、前記受信機に対応する表示装置のタイプに応じて、ビデオデータのフレームのイメージの相異なる領域に対して前記相異なる保護技術を選択する段階を更に含む、ことを特徴とする請求項１に記載のビデオ送信方法。
6. 無線通信チャネル上で受信機にディスプレイパネル用データを送信するための送信機であって、
   データソースから１フレームのビデオデータを受信し、
   前記１フレームのビデオデータのビットの重要度レベルに応じて、前記１フレームのビデオデータを複数のパケットに再構成し、
   前記複数のパケット各々に対するタグを生成し、ここで前記タグは、前記複数のパケットの相異なる相対的な重要度レベルに対応し、
   前記複数のパケット各々に対応する前記タグに基づいて、前記複数のパケット各々に対して相異なる保護技術を行い、
   前記ディスプレイパネル上の表示のために前記複数のパケット及び前記タグを前記受信機に送信して、前記複数のパケット各々が対応するタギングに基づいて、前記相異なる保護技術によって送信されるように構成されている、ことを特徴とする送信機。
7. 前記複数のパケット各々の前記タギングは、前記パケットの相対的な重要度レベルを示すビットパターンを前記パケットのヘッダに追加することを含む、ことを特徴とする請求項６に記載の送信機。
8. 前記複数のパケット各々のタグは、対応する重要度レベルに基づく変調及びコーディング方式（ＭＣＳ）値に対応する、ことを特徴とする請求項６に記載の送信機。
9. 前記複数のパケット各々のタグは、対応する重要度レベルに基づく順方向エラー訂正コーディングレートに対応する、ことを特徴とする請求項６に記載の送信機。
10. 前記送信機は追加的に、
    前記複数のパケットを複数のアグリゲーティングされたＭＡＣプロトコルデータユニット（Ａ−ＭＰＤＵ）サブフレームにパッキングし、
    前記Ａ−ＭＰＤＵサブフレームを前記受信機に送信するように構成された、ことを特徴とする請求項６に記載の送信機。
11. 前記送信機は追加的に、
    複数の物理レイヤ収束手順（ＰＬＣＰ）プロトコルデータユニット（ＰＰＤＵ）フレームをタグし、
    同一の重要度レベルを有する前記Ａ−ＭＰＤＵサブフレームを前記ＰＰＤＵフレームにパッキングし、
    前記ＰＰＤＵフレームを前記受信機に送信するように構成された、ことを特徴とする請求項１０に記載の送信機。
12. 無線通信チャネル上で受信機と電子通信する送信機によってディスプレイパネル用ビデオを送信する方法であって、
    前記送信機によって、データソースから１フレームのビデオデータを受信する段階と、
    前記送信機によって、前記１フレームのビデオデータのビットの重要度レベルに応じて、前記１フレームのビデオデータを複数のパケットに再構成する段階と、
    前記送信機によって、前記複数のパケット各々に対するタグを生成する段階と、ここで前記タグは、前記複数のパケットの相異なる相対的な重要度レベルに対応し、
    前記送信機によって、前記ディスプレイパネル上の表示のために前記複数のパケット及び前記タグを前記受信機に送信して、前記複数のパケット各々が対応するタギングに基づいて、前記相異なる保護技術によって送信される段階と、を含む、ことを特徴とするビデオ送信方法。
13. 前記複数のパケット各々の前記タギングは、前記パケットの相対的な重要度レベルを示すビットパターンを前記パケットのヘッダに追加することを含む、ことを特徴とする請求項１又は１２に記載のビデオ送信方法。
14. 前記送信機によって、前記複数のパケットを複数のアグリゲーティングされたＭＡＣプロトコルデータユニット（Ａ−ＭＰＤＵ）サブフレームにパッキングする段階と、
    前記送信機によって、前記Ａ−ＭＰＤＵサブフレームを前記受信機に送信する段階と、を更に含む、ことを特徴とする請求項１又は１２に記載のビデオ送信方法。
15. 前記送信機によって、複数の物理レイヤ収束手順（ＰＬＣＰ）プロトコルデータユニット（ＰＰＤＵ）フレームを同一のタグでタギングする段階と、
    前記送信機によって、同一の重要度レベルを有する前記Ａ−ＭＰＤＵサブフレームを前記ＰＰＤＵフレームにパッキングする段階と、
    前記送信機によって、前記ＰＰＤＵフレームを前記受信機に送信する段階と、を更に含む、ことを特徴とする請求項１４に記載のビデオ送信方法。
16. 前記送信機によって、前記受信機からのリターン信号をモニタリングする段階と、
    前記送信機によって、チャネル品質又はビデオ品質のうちの少なくとも１つの変化に基づいて、相異なる保護技術を調整する段階と、を更に含む、ことを特徴とする請求項１２に記載のビデオ送信方法。

Images