JP2016225987A

JP2016225987A - 無線チャネル上でビデオを送信するシステム

Info

Publication number: JP2016225987A
Application number: JP2016110765A
Authority: JP
Inventors: 俊昭秋濃; Toshiaki Akino; 卓也藤橋; Takuya Fujihashi; フィリップ・オーリック; Auric Philip
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-06-03
Filing date: 2016-06-02
Publication date: 2016-12-28
Also published as: US20160360141A1

Abstract

【課題】システム及び方法が、無線ビデオ通信において高品質ビデオストリーミングを提供する。
【解決手段】デジタル符号器、アナログ符号器及び電力コントローラーを備える。デジタル符号器及びアナログ符号器の出力は、重畳され、デジタル復号器及びアナログ復号器を用いる受信機に無線チャネル上で送信される。デジタル符号化されたデータの高次変調と、デジタルデータ及びアナログデータの最適な電力配分と、ウォーターフィリング利得を高める最適なサブキャリア割り当てと、無線通信中のパケット損失を低減する圧縮センシングとを用いる。加えて、複数のカメラによって取得されたマルチビューテクスチャ情報及びマルチビュー奥行き情報の最適な電力配分を提供し、チャネル品質、カメラジオメトリ及び多項式フィッティングを用いた解析に基づく自由視点レンダリング手順に従ってビデオ品質を改善する。
【選択図】図２

Description

本発明は、包括的には、無線通信に関し、より詳細には、無線チャネル上でビデオを送信及び受信するシステムに関する。

直交周波数分割多重（ＯＦＤＭ）技法及び他の無線技法を用いているときの物理レイヤにおける無線能力の向上に伴い、ビデオストリーミングは、無線通信における主要な用途になってきた。従来のビデオストリーミングでは、デジタルビデオ圧縮部分及び送信部分は別々に動作する。

ビデオ圧縮部分は、デジタルビデオ符号器、例えば、ＭＰＥＧ４パート１０（Ｈ．２６４／ＡＶＣ（高度ビデオ符号化））及びＨ．２６５（ＨＥＶＣ（高効率ビデオ符号化））を用いて、無線チャネルの瞬時品質に応じた圧縮ビットストリームを生成する。このビットストリームを生成するために、デジタルビデオ符号器は、量子化、デジタルエントロピー符号化、グループオブピクチャ（ＧｏＰ）におけるビデオフレーム間の空間及び時間の相関を用いる。グループオブピクチャは、連続したビデオフレームのシーケンスである。

送信部分は、ビットストリームのチャネル符号化及びデジタル変調を用いる。しかしながら、この従来の方式は、無線チャネル品質が不安定であることから２つの問題を有する。第１に、符号化されたビットストリームは、ビットエラーに対して非常に脆弱である。チャネルの信号対雑音比（ＳＮＲ）が或る特定の閾値を下回り、ビットエラーが発生すると、ビデオ品質は急速に低下する。この現象はクリフ効果と呼ばれる。第２に、ビデオ品質は、無線チャネル品質が向上しても一定に留まる。

それらの２つの問題を克服するために、様々なアナログ送信方式が開発されてきた。ＳｏｆｔＣａｓｔは、線形変換されたビデオ信号を、損失の大きいアナログチャネルを介して直接送信し、ビデオ品質を最大にするように電力を信号に配分する。これについては、非特許文献１を参照されたい。ＳｏｆｔＣａｓｔは、ソースが送信前にビットレート及びビデオ解像度を選択することを必要とするのではなく、受信機がチャネル品質と同等のビットレート及び解像度を用いてビデオを復号化することを可能にする。加えて、ＳｏｆｔＣａｓｔは、パケット損失に対する回復力を得るために、ウォルシュ・アダマール変換（ＷＨＴ）を用いて、ビデオパケット全体にわたりビデオ信号のエネルギーを再分配する。従来の方式とは対照的に、ＳｏｆｔＣａｓｔのビデオ品質は無線チャネル品質に比例する。

加えて、幾つかのパケットが通信中に失われたとき、ＳｏｆｔＣａｓｔの品質は大幅に劣化する。そのような消去無線チャネルにおいても高いビデオ品質を保つために、圧縮センシング（ＣＳ）技法が、近年、アナログ送信方式に導入されてきた。分散圧縮センシングに基づくマルチキャスト方式（ＤＣＳキャスト）は、ＳｏｆｔＣａｓｔ用のＣＳを適用して、パケット損失に対する耐性を高める。これについては、例えば、非特許文献２を参照されたい。

しかしながら、理論上、ソース信号からチャネル信号への線形変換を用いたアナログ方式は、比較的非効率的である。アナログ方式の性能は、ソース構成要素の最小分散に対する最大分散の比が増加するにつれて悪化する。

無線チャネル品質が改善するにつれてビデオ品質を向上させるために、ハイブリッドデジタルアナログ（ＨＤＡ）送信方式が研究されてきた。ＨＤＡ方式は、デジタルエントロピー符号化及びＳｏｆｔＣａｓｔの双方の利益を提供する。具体的に言えば、送信機は、デジタルビデオ符号器を用いて各ビデオフレームを符号化し、次いで、元のビデオフレームと符号化されたビデオフレームとの間の残差を求める。エントロピー符号化されたビットストリームは、チャネル符号化され、２相位相シフトキーイング（ＢＰＳＫ）によって変調される。上記残差は、ＳｏｆｔＣａｓｔを用いて変調される。その後、これらの２つの変調された信号は、組み合わされて送信される。その結果、これらのハイブリッド方式は、最小分散に対する最大分散の比が減少するので、ＳｏｆｔＣａｓｔと比較してより高いビデオ品質を達成する。

しかしながら、従来のＨＤＡ方式は２つの問題を有する。第１に、既存の方式のほとんどは、低いスペクトル効率を有する低次変調方式であるＢＰＳＫしか用いない。したがって、無線チャネル品質が高いときであっても、このＢＰＳＫ変調がビデオ品質の改善を制限する。第２に、多くの無線技術は送信に複数の無線チャネルを用い、これらのチャネルはそれぞれ異なる品質を有する。例えば、ＯＦＤＭは、広帯域チャネルを一組の狭帯域サブキャリアに分解する。送信機は、複数の信号をそれぞれ異なるサブキャリア上で同時に送信する。しかしながら、これらのサブキャリアにわたるチャネル利得は通例異なり、時に２０ｄＢほども異なることがある。

Jakubczak他「One-size-fits-all wireless video」（ACM HotNets, pp. 1-6, 2009） Wang他「Wireless multicasting of video signals based on distributed compressed sensing」（Signal Processing: Image Communication, vol. 29, no. 5, pp. 599-606, 2014）

したがって、当該技術分野では、無線チャネル上でのビデオ送信に適していると同時に複数のチャネル品質にグレースフルな（gracefull：優雅な）ビデオ品質を改善する方法が必要とされている。

本発明の実施の形態は、幾つかのビデオパケットが通信中に失われた場合であっても、無線チャネルの品質が向上するにつれてより高いビデオ品質を達成する、無線チャネルを介したビデオのハイブリッドデジタルアナログ（ＨＤＡ）送信及び受信のシステム及び方法を提供する。

ビデオフレームが、デジタルビデオ符号器に従って符号化され、残差が、ＳｏｆｔＣａｓｔに基づいて変調される。ビデオ品質を改善するために、本発明の方法は、高次変調、軟判定復号化、最適な電力配分、サブキャリア割り当て、ユニタリー変換、及び最小平均二乗誤差（ＭＭＳＥ）フィルターを用いる。

幾つかの実施の形態では、本方法は、ＢＰＳＫの代わりに４レベルパルス振幅変調（４ＰＡＭ）をデジタル変調に用いる。４ＰＡＭの使用によって、そのより高いスペクトル効率に起因して、同じ送信帯域幅についてデジタルビデオ符号器によるより高い品質のビットストリーム符号化が可能になる。このより高い品質のビットストリームは、ひいては、再構成されたビデオ（すなわち、残差）におけるエラーを低減する。これによって、一般に、ハイブリッド送信方式のアナログ符号器部分における最小分散に対する最大分散の比を低減することができる。加えて、４ＰＡＭシンボル（変調されたデジタルデータ）はI（同相）成分上で送信されるのに対して、アナログデータ（残差）はＱ（直交位相）平面上で送信され、デジタルデータとの干渉が回避される。別の実施の形態では、無線チャネルが高い信号対雑音比（ＳＮＲ）を有するとき、８ＰＡＭ等のより高次の変調が用いられる。

残差の、ビデオ品質に関係した平均二乗誤差（ＭＳＥ）を最小にするために、本方法は、利用可能な送信電力内の最小ＭＳＥを保証するウォーターフィリング手順に基づいて電力を残差に配分する。加えて、このウォーターフィリング電力配分は、アナログデータ圧縮のためにどのデータを送信すべきでないかを決定する。ウォーターフィリング閾値未満の小さな分散を有する幾つかのデータ部分には、送信電力は配分されない。

ＨＤＡは、チャネルダイバーシティを利用するために、電力及びチャネル品質に基づいて残差及びサブキャリアをソートする。この電力配分から、各残差は、電力配分の利益を高めるようにそれぞれ異なるサブキャリアに選択的に割り当てられる。

更に別の実施の形態では、残差は、圧縮センシング（ＣＳ）に基づくランダムユニタリー変換によって再サンプリングされる。ＣＳは、ビデオデータ全体にわたってエネルギーを再配分することによって残差の損失回復力を改善する。本方法は、ブロック単位反復型閾値処理アルゴリズムを用いて、パケット損失が干渉及び同期エラーに起因して発生する可能性がある消去無線チャネルの残差を復元する。

本発明の幾つかの実施の形態は、奥行き検知データを有するマルチビュービデオストリーミング及び奥行き検知データを有しないマルチビュービデオストリーミングのＨＤＡシステムを提供する。本方法は、最適な電力配分及びサブキャリア割り当てを５次元データ（水平／垂直画像、時間、ビュー、及びテクスチャ／奥行き）に用いる。自由視点アプリケーションの場合、本方法は、可能な最良の電力をテクスチャ、奥行き、及びビューに沿って配分する。この電力配分は、自由視点を合成するレンダリングアルゴリズムのモデルによって求められる。

従来技術の変調方式及び本発明の実施形態による方法のビデオ送信性能を比較する概略図である。本発明の実施形態によるハイブリッドデジタルアナログ（ＨＤＡ）符号器のブロック図である。本発明の実施形態によるＨＤＡ復号器のブロック図である。本発明の実施形態によるサブキャリア割り当ての概略図である。本発明の実施形態によるパケット化の概略図である。本発明の実施形態による奥行き情報を有するマルチビュービデオストリーミングのＨＤＡ符号器のブロック図である。本発明の実施形態による奥行き情報を有するマルチビュービデオストリーミングのＨＤＡ復号器のブロック図である。本発明の実施形態による奥行き情報を有するマルチビュービデオストリーミングの電力配分オプティマイザーの概略図である。

概略
本発明の実施形態は、無線チャネル上でのビデオのハイブリッドデジタルアナログ（ＨＤＡ）送信及び受信のシステム及び方法を提供する。このシステムは、符号器及び復号器（コーデック）を備える。このコーデックは、ソフトウェア、プロセッサ、又は専用ハードウェア回路で実施することができる。

部分的に、本発明は、送信機において高次変調、電力配分、及びサブキャリア割り当てを用いる点で既存のハイブリッド方式と異なる。加えて、本発明は、復号器において対数尤度比（ＬＬＲ）ベースの軟判定復号化を用いる。１つの実施形態では、本方法は、ランダムユニタリー変換及び圧縮センシング（ＣＳ）も用いて、消去無線チャネルのパケット損失の影響を低減する。更に別の実施形態では、本発明の方法は、自由視点レンダリングを用いたマルチビュープラス奥行き（ＭＶＤ）ビデオストリーミングのテクスチャ、奥行き、及びビューに従って最適な電力を配分する。

図１は、従来技術の変調方式及び本発明の方法の変調方式のビデオ品質性能の概略図である。従来技術の方式には、ＢＰＳＫ、４ＰＡＭ、アナログ、及びハイブリッドアナログ／デジタルが含まれる。チャネル品質が低下すると、ＢＰＳＫ方式及び４ＰＡＭ方式では、クリフ効果が発生する。既存のアナログ方式及びハイブリッド方式は、チャネル品質の改善とともにビデオ品質をグレースフルに改善する。しかしながら、ビデオ品質は依然として低い。本発明の方法は、チャネル品質が向上するにつれてより高いビデオ品質を達成することを目的とする。

符号器
図２は、本発明の実施形態による符号器２００を示している。この符号器への入力はビデオデータ２０１である。この符号器は、デジタル符号器２１０、アナログ符号器２２０、及び電力コントローラー２３０を備える。ビデオデータは、既知のジオメトリを有するカメラ２７０によってシーン２７１から取得することができる。

デジタル符号器２１０は、デジタルビデオ符号器２１１、前方誤り訂正（ＦＥＣ）符号器、インターリーバー、高次変調（例えば、４ＰＡＭ）２１２、及びデジタル電力配分器２１３を備える。このデジタルビデオ符号器は、再構成されたビデオ２１４を生成する。元のビデオと再構成されたデジタルビデオ２１１との間の残差が、電力コントローラー２３０によって制御されるスイッチ２６０を介してアナログ符号器２２０に供給される。このデジタル符号器は、４ＰＡＭ又はより高次のＰＡＭに基づいてＩ平面２２６を生成する。

アナログ符号器２２０は、ユニタリー変換モジュール２２１、サブキャリア割り当てモジュール２２２、及びアナログ電力配分器２２３を備える。このアナログ符号器は直交平面（Ｑ平面）２２７を生成する。

Ｉ平面及びＱ平面は組み合わされ（２３５）、ＯＦＤＭ処理２４０が適用されて、無線チャネル２５０を介して受信機に送信される波形２４５が生成される。１つの実施形態では、シングルキャリア送信が、ピーク対平均電力比を低減するのに用いられる。

電力コントローラー２３０は、デジタル電力配分器及びアナログ電力配分器の電力レベルを求める。加えて、このコントローラーは、デジタル符号器とアナログ符号器との間のオン／オフスイッチ２６０を適応的に動作させる。

復号器
図３は、本発明の実施形態による復号器を示している。この復号器は、デジタル復号器３１０及びアナログ復号器３２０を備える。この復号器への入力は、無線チャネル２５０からの受信信号３０１である。この受信信号は、逆ＯＦＤＭ（de-OFDM）３０５における復調によって、デジタル復号器のＩ平面信号３２６と、アナログ復号器のＱ平面信号３２７とを生成する。

デジタル復号器３００は、再構成されたビデオ３１４を生成する、ＬＬＲ計算機、デインターリーバー３１１、軟判定復号器３１２、及びデジタルビデオ復号器３１３を備える。

アナログ復号器３２０は、残差３２４を生成する、最小平均二乗誤差（ＭＭＳＥ）フィルター３２１、順序復元モジュール（サブキャリアを逆に割り当てる）３２２、及び圧縮再構成３２３を備える。再構成されたビデオ及び残差は、加算器において組み合わされ、復号化されたビデオ３０２が生成される。

デジタル符号器
デジタル符号器２１０は、インターリーブされたチャネル符号及び高次変調２１２とともにデジタルビデオ符号化を用いる。この符号器は、１つのＧｏＰ内のフレームに操作を行い、例えば、適応量子化及びランレングスアルゴリズムに基づいて、エントロピー符号化されたビットストリームを生成する。このビットストリームは、畳み込み前方誤り訂正（ＦＥＣ）符号によって符号化され、チャネルフェージングに起因したバーストエラーの効果を低減するようにインターリーブされる。インターリーブされたストリームは、４ＰＡＭを用いて変調され、Ｉ平面にマッピングされる。１つの実施形態では、ターボ符号及び低密度パリティ検査（ＬＤＰＣ）符号等の容量達成ＦＥＣ符号が用いられる。加えて、８ＰＡＭ及び１６ＰＡＭ等のより高次のＰＡＭを高ＳＮＲレジームに用いることができる。

アナログ符号器
デジタルビデオ符号器がビットストリームを生成した後、アナログ符号器は、このビットストリームからビデオフレーム２１４を再構成し、元のビデオフレームとこの再構成されたビデオフレームとの間の残差２１５を求める。１つのＧｏＰ内の全てのビデオフレームの残差は、ユニタリー変換器２２１によって変換され、チャンクに分割される。

例えば、損失のない無線チャネルでは、符号器は、２次元離散コサイン変換（２Ｄ−ＤＣＴ）、２次元離散ウェーブレット変換（２Ｄ−ＤＷＴ）、及び３次元ＤＣＴ（３Ｄ−ＤＣＴ）をユニタリー変換器２２１に用いる。２Ｄユニタリー変換は各ビデオフレームに用いられ、３Ｄユニタリー変換はビデオフレーム全体に用いられる。

別の実施形態では、損失を起こす傾向のある無線チャネルの場合、符号器は、最初に、残差をチャンクに分割し、ＣＳサンプリングを各チャンクに用いる。各チャンクｉは、Ｂ^２の長さを有するベクトルｖ_ｉに変換される。これらのベクトルは、ＣＳサンプリングされて、以下のような観測ベクトルｃ_ｉが取得される。

上式において、行列Φは、Ｂ^２×Ｂ^２のサイズを有する。行列Φは、ランダム行列の左特異ベクトルを含む。このランダム行列の要素は、ガウス混合分布に従う乱数の種によって生成された確率変数である。全てのチャンクに同じ行列Φが用いられる。このガウス混合分布の平均パラメーター及び共分散パラメーターは、チャネル品質及びビデオコンテンツに従って事前に決定される。

分割後、アナログ符号器は、各チャンクの分散を求め、各チャンクに配分される電力を求める。各チャンクの変換された値は、電力配分及びサブキャリア割り当ての後にＱ平面にマッピングされる。

別の実施形態では、損失を起こす傾向のある無線チャネルの場合、送信機は、デジタル変調されたシンボルとＣＳサンプリングされた値とを組み合わせたものである重畳シンボル（superposed symbols）を、図４に図示するとともに以下でより詳細に説明するようにパケットに割り当てる。具体的に言えば、チャンクｉ４１０内の要素は、同じ行列Φ ４２０によってＣＳサンプリングされ、観測ベクトルｃ_ｉ４３０が生成される。ｃ_ｉ内の各要素は、デジタル変調されたシンボルｂ_ｊ４４０と組み合わされて、重畳ベクトルｘ_ｉ，ｊ４５０が生成される。送信機は、各重畳ベクトルの同じ要素を収集して１つのパケット４６０にする。このパケット化の後、パケットの総数はＢ^２であり、各パケット内の送信シンボルの総数はＮ_ｃである。１つの実施形態では、ランダムインターリーブされたパケット化が用いられる。

電力配分
本発明の実施形態では、電力コントローラー２３０は、無線チャネル品質に基づいてデジタル符号器及びアナログ符号器の送信電力を決定する。コントローラーは、最初に、エントロピー符号化されたビットストリームを正しく復号化するのに十分な電力を確保するようにデジタル符号器の電力配分を決定する。チャネル品質が低いとき、受信機は、ビットストリームを正しく復号化するのが困難である。その場合、コントローラーは、アナログのみの送信モードに切り替わってクリフ効果を防止する。デジタル符号器の送信電力を決定するために、電力コントローラーは、ビットストリームを正しく復号化する以下の式の電力閾値を計算する。

上式において、Ｐ_ｔｈは、電力閾値であり、Ｎ_ｓｃは、ＯＦＤＭチャネル内のサブキャリアの数であり、

は、サブキャリアｉの雑音分散である。ここで、γ_０は、復号化のビットエラーレート（ＢＥＲ）が目標ＢＥＲよりも大きくないことを保証するのに必要なＳＮＲである。この目標ＢＥＲは、ＦＥＣ符号及び無線チャネルの統計に依存する。

閾値計算の後、コントローラーは、デジタル符号器の送信電力Ｐ_ｄ及びアナログ符号器の送信電力Ｐ_ａを以下のように決定する。

上式において、Ｐ_ｔは、サブキャリア当たりの総電力バジェットである。電力コントローラーが、デジタル符号化についてゼロの送信電力を決定したとき、電力コントローラーは、デジタル符号器とアナログ符号器との間のスイッチ２６０をオフにする。双方の符号器の送信電力を計算した後、アナログ符号器は、変換された値の大きさをスケーリングして、チャネル雑音に対するエラー回復力を提供する。

ＳｏｆｔＣａｓｔ及び従来技術のハイブリッド方式とは対照的に、本発明の方法は、各チャンクの分散と、各サブキャリアのチャネル品質とを同時に考慮に入れる。加えて、電力コントローラーは、高いビデオ品質を確保するために、小さな分散を有するどのチャンクを送信しないのかを決定する。

サブキャリアｉ上のチャンクｊの送信シンボルをｘ_ｉ，ｊで示すことにする。このシンボルｘ_ｉ，ｊは、４ＰＡＭ変調されたシンボル

と、アナログ変調されたシンボル

とを以下のように重畳することによって形成される。

上式において、

は虚数単位を示す。４ＰＡＭ変調されたシンボル及びアナログ変調されたシンボルは、以下のように、それぞれＰ_ｄ及びｇ_ｉ，ｊによってスケーリングされる。

及び

上式において、

は、サブキャリアｉの４ＰＡＭ変調されたシンボルであり、ｓ_ｉ，ｊは、サブキャリアｉ上のチャンクｊの変換された値である。ここで、ｇ_ｉ，ｊは、サブキャリアｉ上のチャンクｊのスケール係数である。各サブキャリア内のＯＦＤＭチャネル上の受信シンボルは、以下のようにモデル化することができる。

上式において、ｙ_ｉ，ｊは、サブキャリアｉ内のチャンクｊの受信シンボルであり、ｎ_ｉは、サブキャリアｉにおける有効雑音であり、ｐは、パケット到着率である。ここで、ｅは、受信機が送信シンボルを受信しなかったことを示す。すなわち、Ｉ成分及びＱ成分の値は未知である。これは、受信機が、無線通信中に、例えば、強い干渉、深いフェージング、及び／又はシャドーイングによって障害を受けているときの消去に対応する。

本発明の方法は、電力制御の最適化問題を解いて、最高のビデオ品質を達成する。具体的に言えば、本方法は、以下のように、総電力バジェットＰ_ｔを有する電力制約の下でＭＳＥを最小にする最良のｇ_ｉ，ｊを見つける。

上式において、Ｎ_ｃは、１つのＧｏＰ内のチャンクの数であり、λ_ｊは、チャンクｊの分散である。ラグランジュの未定乗数法を用いることによって、解は、以下のように得られる。

上式において、μ’はラグランジュ係数であり、演算子関数（ｘ）_＋はｍａｘ（ｘ，０）として定義される。この解は、いわゆるウォーターフィリング電力配分方式に類似している。この式は、送信機が、過度に小さな分散（すなわち、

）を有するチャンクには電力を配分すべきでなく、他のチャンクに電力を配分すべきことを理論的に証明している。

サブキャリア割り当て
式（１１）によれば、電力コントローラーは、ＭＳＥを減少させるように分散及び品質に基づいて１つのチャンクを１つのサブキャリアに配分する。具体的に言えば、より大きな分散を有するチャンクほど、より高いチャネル品質（すなわち、より高いＳＮＲ）を有するサブキャリアに割り当てられる。アナログ符号器は、電力配分前にチャンク及びサブキャリアを降順にソートし、次いで、チャンクを対応するサブキャリアに割り当てる。

図５は、サブキャリア割り当て５３０の概略図である。アナログ符号器は行列５１０を用いる。この行列の列及び行は、それぞれ１つのＧｏＰの送信シンボルの数及びサブキャリアの数と同じである。行は、ＳＮＲに基づいて降順にソートされる。符号器は、各チャンクＣ_ｉのベクトル５２０も用い、分散に基づいてこれらのベクトルを降順にソートする。各ベクトルは、ｈ×ｗ個の要素を含み、これらの要素は、残差のユニタリー変換された値である。符号器は、より高い分散を有するチャンク内の要素をより高いＳＮＲを有するＯＦＤＭチャネルに順次割り当てる（５３０）。割り当てを決定した後、アナログ符号器は、ブロック５４０に示すように、行列に基づいて、各チャンクのユニタリー変換された値をＯＦＤＭサブキャリアに割り当てる。

デジタル復号器
受信機は、最初に、４ＰＡＭ変調されたシンボルを各サブキャリアのＩ平面３２６、すなわち、

から抽出する。変調されたシンボルを復号化するために、デジタル復号器は、受信シンボルからＬＬＲ値を計算する（３１１）。４ＰＡＭは２ビットからなり、復号器は、以下のように双方のビットのＬＬＲ値を計算することに留意されたい。

上式において、Ｌ_ＬＳＢ及びＬ_ＭＳＢは、それぞれ最下位ビット（ＬＳＢ）のＬＬＲ値及び最上位ビット（ＭＳＢ）のＬＬＲ値である。加えて、Ｐ（ｙ_ｉ，ｊ｜ω）は、送信ビットがωであるときに受信信号がｙ_ｉ，ｊである確率、すなわち、

を示す。この式において、

は、ωの４ＰＡＭ変調されたシンボルである。ＬＬＲ計算は、任意のより高次の変調についても同様にして行われる。

全ての受信シンボルのＬＬＲ値を計算した後、受信機は、ＬＬＲ値をデインターリーブし、それらの値をビタビ復号器内に供給する。ビタビ復号器は、エントロピー符号化されたビットストリームをその出力に提供し、デジタル復号器は、デジタルビデオ復号器を用いて、このビットストリームからビデオフレームを再構成する。１つの実施形態では、軟判定復号器は確率伝播手順を用いる。

アナログ復号器
受信機は、変換された値を各サブキャリアのＱ平面３２７、すなわち、

から抽出し、以下のように、

を除く抽出された値にＭＭＳＥフィルター３２１を用いる。

復号器は、その後、サブキャリア割り当てに従ってチャンクを再構成し、圧縮再構成３２３を利用することによってアナログ残差値を取得する。損失のない無線チャネルでは、圧縮再構成３２３は、符号器の逆ユニタリー変換を用いる。消去無線チャネルでは、圧縮再構成３２３は、ＣＳの再構成アルゴリズムを用いて、限られた数の変換された値から残差を再構成する。より具体的に言えば、受信機は、最初に、送信機におけるものと同じ乱数の種を用いてＢ^２×Ｂ^２行列Φを生成する。受信機は、受信されたチャンクｉのＣＳサンプリングされた値をベクトル化して列ベクトルｓ_ｉにする。各列ベクトルにおける幾つかの行は、パケット損失に起因して欠落している場合があることに留意されたい。この場合、復号器は、行列Φの対応する行をトリミングする。トリミング後、ブロック単位圧縮センシング（ＢＣＳ−ＳＰＬ）を用いて、ｌ_１最小化問題が解かれる。これについては、例えば、S. Mun他「Block compressed sensing of images using directional transforms」（IEEE International Conference on Image Processing, pp. 3021-3024, 2009）を参照されたい。

具体的に言えば、復号器は、

及び

を用いて初期化を行う。この式において、Ｗｉｅｎｅｒ［・］は、平滑化された再構成を得るためのピクセル単位適応ウィナーフィルターである。

は、以下のように、ブロック単位連続射影及び閾値処理操作を用いて更新される。

上式において、Ψは、（ｌ）番目の反復の出力

をスパース領域上に変換するのに用いられる。例えば、復号器は、２Ｄ−ＤＣＴ、２Ｄ−ＤＷＴ、２次元二重ツリーＤＷＴ（２Ｄ−ＤＤＷＴ）、３Ｄ−ＤＣＴをΨに用いる。ここで、

は、（ｌ）番目の反復におけるフレームｖ^（ｌ）全体のチャンクｉを表すベクトルであり、τ^（ｌ）は、（ｌ）番目の反復における閾値である。この再構成は、｜Ｄ^{（ｌ＋１）}−Ｄ^（ｌ）｜＜１０^−４であるときに終了する。この式において、

である。再構成が反復ｌ_ｅｎｄにおいて終了するとき、再構成された残差は、

から取得される。復号器は、最後に、残差３２４を再構成されたデジタルビデオフレーム３１４に加え、復号化されたビデオフレーム３０２を出力する。

マルチビュープラス奥行き（ＭＶＤ）ビデオストリーミング
本発明の幾つかの実施形態では、ＨＤＡシステムは、ＭＶＤビデオストリーミングに用いられる。図６は、本発明の実施形態による符号器６１０を示している。この符号器への入力は、複数のカメラのテクスチャデータ６０１及び奥行きデータ６０２である。この符号器は、デジタル符号器、アナログ符号器、及び電力コントローラー６２０を備える。

デジタル符号器は、デジタルビデオ符号器６１１、ＦＥＣ符号器、インターリーバー、変調（例えば、ＢＰＳＫ、４ＰＡＭ）６１２、及びデジタル電力配分器６１３を備える。デジタルビデオ符号器は、各カメラ６１４の再構成されたテクスチャ及び奥行きを生成する。元のビデオと再構成されたデジタルビデオとの間の残差６１５は、アナログ符号器に供給される。デジタル符号器は、ＢＰＳＫ、４ＰＡＭ、又はより高次のＰＡＭに基づいてＩ平面を生成する。

アナログ符号器は、スケーリングモジュール６１６、ユニタリー変換モジュール６１７、サブキャリア割り当てモジュール６１８、及びアナログ電力配分器６１９を備える。アナログ符号器はＱ平面を生成する。

Ｉ平面及びＱ平面は組み合わされ、無線チャネル６３０を介して受信機に送信されるビットストリームが生成される。電力コントローラー６２０は、デジタル電力配分器及びアナログ電力配分器の電力レベルを求める。

図７は、本発明の実施形態による復号器７１０を示している。この復号器は、デジタル復号器及びアナログ復号器を備える。この復号器への入力は、無線チャネル６３０からの受信信号７００であり、この受信信号は復調され、デジタル復号器用のＩ平面と、アナログ復号器用のＱ平面とが生成される。

デジタル復号器は、再構成されたビデオを生成する、ＬＬＲ計算機、デインターリーバー７１１、軟判定復号器７１２、及びデジタルビデオ復号器７１３を備える。

アナログ復号器は、ＭＭＳＥフィルター７１４、順序復元モジュール（サブキャリアを逆に割り当てる）７１５、及び逆変換モジュール７１６を備える。再構成されたビデオ及び残差は組み合わされ、デスケーリングされて（７１７）、復号化されたテクスチャビデオ７２０及び奥行きビデオ７３０が生成される。これらの復号化されたテクスチャビデオ及び奥行きビデオは、レンダラー７４０に取得され、自由視点における仮想ビデオ７５０が生成される。

マルチビューデジタル符号器
デジタル符号器６１０は、インターリーブされたチャネル符号及び変調６１２とともにデジタルビデオ符号化を用いる。この動作は、シングルビューＨＤＡ符号器に基づいている。１つの実施形態では、Ｈ．２６４／ＡＶＣマルチビュービデオ符号化（ＭＶＣ）、マルチビュービデオ符号化プラス奥行き（ＭＶＣ＋Ｄ）、並びにＡＶＣ互換拡張プラス奥行き（３Ｄ−ＡＶＣ）、ＨＥＶＣのマルチビュー拡張（ＭＶ−ＨＥＶＣ）、又はＨＥＶＣの高度マルチビュー及び３Ｄ拡張（３Ｄ−ＨＥＶＣ）等のマルチビューベースのデジタルビデオ符号器が用いられる。

マルチビューアナログ符号器
デジタルビデオ符号器が、ビットストリームを生成した後、アナログ符号器は、このビットストリームからテクスチャ及び奥行きのビデオフレーム６１４を再構成し、元のビデオフレームと再構成されたビデオフレームとの間のテクスチャ及び奥行きの残差６１５を求める。各カメラにおけるテクスチャ及び奥行きのビデオフレームの残差は、電力コントローラー６２０によって求められる同じ値又はそれぞれ異なる値によってスケーリングされる（６１６）。１つのＧｏＰ内の全てのビデオフレームは、その後、ユニタリー変換器６１７によって変換され、チャンクに分割される。

例えば、符号器は、２Ｄ−ＤＣＴ、２Ｄ−ＤＷＴ、３Ｄ−ＤＣＴ、４次元ＤＣＴ（４Ｄ−ＤＣＴ）、及び５次元ＤＣＴ（５Ｄ−ＤＣＴ）をユニタリー変換に用いる。２Ｄユニタリー変換は、各ビデオフレームに用いられ、３Ｄユニタリー変換は、各カメラにおけるビデオフレーム全体に用いられ、４Ｄユニタリー変換は、全てのカメラのビデオフレーム全体に用いられ、５Ｄユニタリー変換は、テクスチャ及び奥行きのビデオフレーム全体に用いられる。

スケーリング
シングルビュービデオとは対照的に、送信機は、テクスチャ及び奥行きの左視点及び右視点である少なくとも４つのビデオシーケンスを有する。受信機が仮想視点ビデオシーケンスを生成するとき、ビデオ品質は、幾つかの因子、すなわち、チャネル品質、仮想視点の位置、テクスチャ及び奥行きのスケーリング係数、左視点及び右視点のスケーリング係数、並びに元のビデオシーケンスのエントロピーに従って変動する。本発明の方法は、上記の他の因子に応じて、スケーリング係数を制御し、より高いビデオ品質を達成する。

最適なスケーリング係数を見つけるために、本発明の方法は、図８に示すように、ユニタリー解析器８３０、レンダラー解析器８００、及び品質オプティマイザー８６０を用いる。レンダラー解析器８００への入力は、仮想視点の位置ｐ、テクスチャビデオと奥行きビデオとのエラー比ε_ＴＤ、左ビューと右ビューとのエラー比ε_ＬＲ、テクスチャビデオフレームのエントロピーＨ（Ｔ）及び奥行きビデオフレームのエントロピーＨ（Ｄ）である。レンダラー解析器８００は、それぞれ異なる入力を用いて仮想視点を生成し、各パラメーター８１０についてビデオ品質を計算する。このレンダラー解析器は、多項式フィッティング８２０を用いた結果から、ビデオ品質の関数ｆ（ｐ，ε_ＴＤ，ε_ＬＲ，Ｈ（Ｔ），Ｈ（Ｄ））を見つける。

ユニタリー解析器８３０への入力は、テクスチャ及び奥行きのスケーリング係数α、左視点及び右視点のスケーリング係数β、テクスチャビデオフレームのエントロピーＨ（Ｔ）及び奥行きビデオフレームのエントロピーＨ（Ｄ）である。この解析器は、それぞれ異なるスケール係数８４０を用いてビデオシーケンス内のエラーの大きさを出力する。ユニタリー解析器は、多項式フィッティング８５０を用いた結果から、エラーの関数

を見つける。品質オプティマイザー８６０への入力は、２つのフィッティングされた関数、仮想視点の位置、チャネル品質、及びテクスチャビデオ及び奥行きビデオのエントロピーである。品質オプティマイザーは、最初に、α及びβを初期化し、チャネル品質に従って２つのフィッティングされた関数を用いて、或る特定の仮想視点における最高のビデオ品質を達成する最良のスケーリング係数を見つける。別の実施形態では、例えば、奥行き検知データなしで、品質オプティマイザーは、最良のスケーリング係数βを見つける。更に別の実施形態では、スケーリング係数は、可能なロケーションの中の最悪の視点が高品質であるように維持されるよう最適化される。

フリービューレンダラー
受信機が、奥行きを有するテクスチャ及び奥行きを有しないテクスチャのビデオフレームを復号化した後、受信機は、画像ベースのレンダリング操作を用いて、復号化されたビデオフレームから仮想視点を生成する。例えば、奥行きデータが利用可能である場合、受信機は、奥行き画像ベースのレンダリング又は３Ｄワーピングを用いる。そうでない場合、受信機は、ビュー補間又はビューモーフィングを用いる。

Claims

デジタル符号器であって、
デジタルビデオ符号器と、
前方誤り訂正（ＦＥＣ）符号器と、
インターリーバーと、
高次変調器と、
デジタル電力配分器と、
を更に備えたデジタル符号器と、
アナログ符号器であって、
ユニタリー変換器と、
サブキャリア割り当てモジュールと、
アナログ電力配分器と、
を更に備えたアナログ符号器と、
前記デジタル電力配分器と、前記アナログ電力配分器と、前記デジタルビデオ符号器と前記ユニタリー変換器との間のオン／オフスイッチとに接続された電力コントローラーと、
を備えた無線チャネル上でビデオを送信するシステム。
前記アナログ符号器は、ユニタリー変換によって残差を変換して、前記残差の特徴を表す
請求項１に記載のシステム。
前記ユニタリー変換は、２次元（２Ｄ）離散コサイン変換（ＤＣＴ）、２Ｄ離散ウェーブレット変換（ＤＷＴ）、３次元（３Ｄ）−ＤＣＴ、４Ｄ−ＤＣＴ、５Ｄ−ＤＣＴ、又はガウス混合分布に従うランダム行列の左特異ベクトルに基づく圧縮センシング（ＣＳ）サンプリングを含む
請求項２に記載のシステム。
前記符号器への入力は、ビデオデータであり、
前記アナログ符号器は、ユニタリー変換された値をサブキャリアに選択的に割り当てて、チャネルダイバーシティを利用し、
より小さな分散を有する前記ビデオデータほど、より低い信号対雑音比を有するサブキャリアに割り当てられる
請求項１に記載のシステム。
前記アナログ電力配分器は、変換された値を、前記変換された値の分散及びチャネル品質に基づいて適応的にスケーリングする
請求項１に記載のシステム。
前記デジタル符号器は、同相平面（Ｉ平面）を生成し、
前記アナログ符号器は、直交平面（Ｑ平面）を生成して干渉を回避する
請求項１に記載のシステム。
前記Ｉ平面及び前記Ｑ平面は、組み合わされ、無線チャネル上でビットストリームを送信する直交周波数分割多重（ＯＦＤＭ）を用いて変調され、
サブキャリアの数は、１以上である
請求項６に記載のシステム。
前記電力コントローラーは、前記オン／オフスイッチを動作させて、前記無線チャネルの品質に従って前記デジタル符号器と前記アナログ符号器との間を適応的に切り替える
請求項７に記載のシステム。
デジタル復号器であって、
対数尤度比（ＬＬＲ）計算機と、
軟判定ＦＥＣ復号器と、
デジタルビデオ復号器と、
を更に備えたデジタル復号器と、
アナログ復号器であって、
最小平均二乗誤差（ＭＭＳＥ）フィルターと、
順序復元モジュールと、
圧縮再構成と、
を更に備えたアナログ復号器と、
データコンバイナーであって、
加算器と、
自由視点レンダラーと、
を更に備えたデータコンバイナーと、
を更に備えた請求項１に記載のシステム。
前記デジタル復号器への入力は、受信信号の同相平面（Ｉ平面）であり、
前記アナログ復号器への入力は、前記受信信号の直交平面（Ｑ平面）である
請求項９に記載のシステム。
前記Ｉ平面及び前記Ｑ平面は、前記受信信号を復調することによって生成される
請求項１０に記載のシステム。
前記符号器への入力は、ビデオデータであり、
前記アナログ復号器は、前記ビデオデータ内の残差を、前記残差の分散及びチャネル品質を用いて受信信号から推定する
請求項９に記載のシステム。
前記圧縮再構成の入力は、前記符号器の逆変換操作によって取得され、
前記逆変換操作は、前記残差を再構成する、２次元（２Ｄ）逆離散コサイン変換（ＩＤＣＴ）、２Ｄ逆離散ウェーブレット変換（ＩＤＷＴ）、３次元（３Ｄ）−ＩＤＣＴ、４Ｄ−ＩＤＣＴ、５Ｄ−ＩＤＣＴ、又は適応ウィナーフィルターを有する圧縮センシング（ＣＳ）再構成を含む
請求項９に記載のシステム。
前記デジタル符号化の残差は、チャンクに分割され、
電力配分及びサブキャリア割り当ては、各チャンクについて実行される
請求項１に記載のシステム。
前記デジタルビデオ符号器は、複数のカメラによって取得されたマルチビュービデオデータを用い、奥行きデータを同時に符号化する
請求項１に記載のシステム。
前記電力コントローラーは、カメラジオメトリ、前記ビデオの信号対雑音比、前記ビデオのエントロピー、及び自由視点レンダリングアルゴリズムに基づいた多項式フィッティングモデルに従って、デジタルマルチビュービデオデータ、アナログマルチビュー残差、デジタル奥行きデータ、及びアナログ奥行きデータの電力レベルを適応的に配分する
請求項１に記載のシステム。