JP2018505597A - メディアコンテンツに基づくｆｅｃメカニズム - Google Patents

メディアコンテンツに基づくｆｅｃメカニズム Download PDF

Info

Publication number
JP2018505597A
JP2018505597A JP2017536358A JP2017536358A JP2018505597A JP 2018505597 A JP2018505597 A JP 2018505597A JP 2017536358 A JP2017536358 A JP 2017536358A JP 2017536358 A JP2017536358 A JP 2017536358A JP 2018505597 A JP2018505597 A JP 2018505597A
Authority
JP
Japan
Prior art keywords
fec
signaling
media
different
importance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017536358A
Other languages
English (en)
Inventor
異凌 徐
異凌 徐
文軍 張
文軍 張
軍 孫
軍 孫
旭国 湯
旭国 湯
巍 黄
巍 黄
博 李
博 李
云峰 管
云峰 管
寧 柳
寧 柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201510010097.9A external-priority patent/CN105827361B/zh
Priority claimed from CN201510080576.8A external-priority patent/CN105991226B/zh
Priority claimed from CN201510673115.1A external-priority patent/CN106603193B/zh
Priority claimed from CN201510673091.XA external-priority patent/CN106603192B/zh
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Publication of JP2018505597A publication Critical patent/JP2018505597A/ja
Priority to JP2021069391A priority Critical patent/JP7343915B2/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/007—Unequal error protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H04L1/0017—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0023—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the signalling
    • H04L1/0028—Formatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0057—Block codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0076—Distributed coding, e.g. network coding, involving channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35—Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • H03M13/353—Adaptation to the channel
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35—Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • H03M13/356—Unequal error protection [UEP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0047—Decoding adapted to other signal detection operation
    • H04L1/0048—Decoding adapted to other signal detection operation in conjunction with detection of multiuser or interfering signals, e.g. iteration between CDMA or MIMO detector and FEC decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Error Detection And Correction (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)

Abstract

本発明はメディアコンテンツに基づくＦＥＣメカニズムを提供し、該メカニズムはメディアコンテンツについて等級付けし、かつ異なる重要性を付与し、さらに異なる重要度を有するフレームを含むパケットに基づき、チャネル状況及びユーザーのエクスペリエンスに合わせて、符号化方法を変更し、含んでいるフレームの重要度に従って保護する。本発明の技術的解決手段によれば、現在のＦＥＣシステムにおける過剰な符号化によるデータ混雑に対して、メディアコンテンツについて等級付けすることによって、異なる重要性を付与し、シグナリングと指示ビットにより制御し、異なるＦＥＣ符号化強度を用い、更に不均一誤り保護性能を有するコピー拡張ウィンドウファウンテンコードを用い、最大限にメディアコンテンツの品質を保証すると同時に、ＦＥＣによる巨大なデータ量を減少させる。【選択図】図４

Description

本発明はマルチメディア伝送技術分野に関し、より具体的には、メディアコンテンツに基づくＦＥＣ（前方誤り訂正）メカニズムに関する。
ヘテロジニアスネットワークのメディアサービスシステムにおいて、コンテンツはインターネットプロトコル又はブロードキャストプロトコルにより端末へ配布される。インターネットにおいては、ＩＰ／ＴＣＰ又はＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ、ユーザデータグラムプロトコル）メッセージでメディアデータを伝送し、ブロードキャストにおいてはＭＰＥＧ２−ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）によりコンテンツを伝送する。ＵＤＰメッセージは、複数のネットワーク装置を経た後に紛失される可能性がある。一方、ブロードキャストＴＳストリームは、伝送環境の影響により、ビット誤りを生じる可能性がある。これらは、端末側における画面の破損又は音声の一時停止を引き起こしてしまう。
ＦＥＣ（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ、前方誤り訂正）技術は、通信システムにおいて幅広く応用されている符号化技術である。サーバー側は、メディアデータに対して誤り訂正の符号化を行い、さらに冗長情報を追加して送信し、端末側は、逆方向のＦＥＣ復号化を行い、紛失されたメッセージについて復元を行う。典型的なブロック符号を例にすれば、その基本原理は以下のとおりである。送信側において、ｋｂｉｔの情報を一つのブロックとして符号化し、（ｎ−ｋ）ｂｉｔの冗長校正情報を追加して、長さがｎｂｉｔのコードワードを構成する。コードワードがチャネルを経て受信側に達した後、もし誤りが訂正可能な範囲内であれば、復号化によって誤りのｂｉｔを検査して訂正することができる。これにより、チャネルによりもたらした干渉に抵抗して、システムのビット誤り率を効果的に低減し、通信システムの信頼性を向上させる。
しかしながら、ＦＥＣ処理は冗長オーバーヘッドコストによりシステムのビット誤り率を低減するため、過剰なＦＥＣ符号化はシステムのリアルタイム性及びネットワークの状態に対してプレッシャーを与えることもある。
ＩＳＯ−２３００８−１／１０／１３規格において、従来のＦＥＣ構造は全ての情報に対して統一に符号化し、ユーザー情報に対して区分をしていない。混合コンテンツ又は混合ネットワークにおける配布に適合しないため、二層構造が提案されている。二層構造は、図１に示すとおりである。
第一層ではｓｏｕｒｃｅ ｐａｃｋｅｔ ｂｌｏｃｋ（ソースパケットブロック）を多くの小さいブロックに分割し、それぞれについてＦＥＣ保護を行い、第二層ではブロック全体に対してＦＥＣ保護を行う。第一層における分割が細かいため、小さい遅延を提供することができ、第二層では復元性及び小さい冗長を保証している。
混合コンテンツの伝送に対し、そのコンテンツがｔｉｍｅｄとｎｏｎ−ｔｉｍｅｄとに分けられる可能性があるため、このような二層構造を用いることができる。タイミングコンテンツであれば方式１（第一層でのＦＥＣ保護、ＦＥＣ１）を用いて小さい遅延を保証し、非タイミングコンテンツであれば方式１と方式２（第二層でのＦＥＣ保護、ＦＥＣ２）の両方を用いて正確性を保証する。
異なる特性のチャネルにあるユーザーに対し、チャネル特性の高いユーザーであればＦＥＣ１によって小さい遅延とパワー消費さえ保証できればよく、チャネル特性の低いユーザーであればＦＥＣ１とＦＥＣ２の両方によって正確性を保証する必要がある。
このような方法は、ある程度において問題を解決している。チャネル特性の低いユーザー（ＧｒｏｕｐＢ）に対して、二層構造は復元性を確実に向上させるが、非常に大きな遅延を引き起こしてしまう可能性がある。一方、チャネル特性の高いユーザー（ＧｒｏｕｐＡ）に対しては、必ずしもＦＥＣ１を行うとは限らず、パケットが小さければ小さいほど遅延が小さくなる。すなわち、上記方法では情報の異なる重要度を考えていない。情報又はユーザーに対して二層構造に基づいて分類し、また大きなｂｌｏｃｋを小さなｂｌｃｏｋに分割する具体的なポリシーは複雑な問題である。
同時に、不均一誤り保護（Ｕｎｅｑｕａｌ Ｅｒｒｏｒ Ｐｒｏｔｅｃｔｉｏｎ、ＵＥＰ）はジョイントソースチャネルコーディングの一種である。その核心的な思想は、コードストリームの各部分のデータの異なる重要性に基づき、各部分のデータに対して異なるチャネル保護メカニズムを用い、即ち重要なコードストリームに対しては重点的に保護する。ＵＥＰは非重要なコードストリームのノイズに耐える性能を低下させるが、システムのビット誤りを防ぐ全体的な性能の向上には役立つ。
ＦＥＣ（前方誤り訂正）符号化技術の一つとして、デジタルファウンテンコード（Ｄｉｇｔｉａｌ Ｆｏｕｎｔａｉｎ Ｃｏｄｅ）は伝送過程において、フィードバック及び自動再送信のメカニズムを必要としないため、信号送受信による時間遅延及びブロードキャスト応用におけるフィードバック爆発の問題を回避している。デジタルファウンテンの基本的な思想は、以下のとおりである。送信側は、オリジナルデータをｋ個のデータシンボルに分割し、これらのデータシンボルについて符号化し、任意の長さの符号化シンボルのコードストリームを出力する。受信側は、ｎ（ｎはｋよりやや大きい）個の符号化シンボルを正確に受信するだけで全てのｋ個のデータシンボルを大きな確率で復元することができる。
デジタルファウンテンコード自体はＵＥＰ特性を有しており、重要性の異なるデータに対する保護を実現することができる。従来の固定ビットレートのチャネル符号化方法に比べ、デジタルファウンテンコードは明らかに以下の優位性を有する。
１、理想的な拡張可能性を有する。単方向ブロードキャストはフィードバックがないため、送信側はユーザー数の増加によっていかなる影響も受けない。したがって、送信側は任意の数のユーザーにサービスを提供することができる。
２、経時変化のチャネルに適し、チャネルの容量を効率的に利用する。ユーザーの復号化特性は、チャネルの削除確率及び帯域幅に関連しない。チャネルのパケットロス率が高く、状況が悪い場合でも、受信側の復号化に影響を与えることなく、即ち受信側は十分な数の符号化データさえ受信すれば正常に復号化することができ、より高い適応性を有する。
３、符号化と復号化の複雑度が低い。理想的な状況において、ファウンテンコードにより生成される各符号化シンボルは、線形の符号化と復号化の複雑度を有している。したがって、送受信側のコーデックの設計の簡略化及びソフトウェア化の実現に役立つ。
４、ヘテロジニアスなユーザーに対する適用性が高い。ファウンテンコードのビットレートレス特性は、異なるパケットロス率又は帯域幅を有するユーザー同士が互いに影響せず、高品質のユーザーが低品質のユーザーの影響を受けないようにする。この他、デジタルファウンテンコードは、中断後の伝送再開、非同期アクセス等の複数のサービスモードをサポートする。
本発明は、既存技術における問題に鑑みてなされたものであり、メディアコンテンツに基づくＦＥＣメカニズムを提供することにより既存のＦＥＣシステムにおけるリアルタイム性は高いが正確性が低い、正確性は高いがリアルタイム性が低い、及び過剰なＦＥＣ符号化によるデータ混雑の問題を解決することを目的とする。
上記目的を実現するために、本発明は以下の技術的解決手段を用いる。
メディアコンテンツに基づくＦＥＣメカニズムであって、前記ＦＥＣメカニズムは以下の四つの方法のうちいずれか一つの方法により実現される。
方法一：メディアコンテンツについて等級付けし、かつ異なる重要性を付与し、さらに異なる重要度を有するフレームを含むパケットに基づき、チャネル状況およびユーザーエクスペリエンスに合わせて、符号化方法を変更し、含んでいるフレームの重要度に従って保護する。
方法二：メディアコンテンツについて等級付けし、かつ異なる重要性を付与し、元のメディアデータストリームについて分割せず、チャネル状況およびユーザーエクスペリエンスに合わせて、メディアデータパケットに含まれているフレームの重要度に従って、データパケットを対応するＦＥＣエンコーダに伝送し、異なる度合いの保護を行う。
方法三：メディアコンテンツについて等級付けし、かつ異なる重要性を付与し、元のメディアデータストリームについて分割せず、現在のチャネル状況に基づき、メディアデータパケットに含まれているフレーム的重要度および対応する符号化方法を動的に調整し、データパケットを対応するＦＥＣエンコーダに伝送し、異なる度合いの保護を行い、最終的には一つのソースデータストリームが一つのＦＥＣコードストリームのみに符号化される。
方法四：メディアコンテンツについて等級付けし、かつ異なる重要性を付与し、さらにチャネル状況およびユーザーエクスペリエンスに合わせて、それ自体に不均一誤り保護性能を有するデジタルファウンテンコードによって異なる重要度を有するデータについて保護する。
更に、前記四つの方法において、メディア処理ユニット（ＭＰＵ）とともに伝送されるシグナリング情報において不均一誤り保護フラグを追加する。
更に、前記四つの方法において、多くの個性化された保護方法を形成するため、ＦＥＣメカニズムに特別な指示フィールドを追加する。更に、前記特別な指示フィールドは、ＭＦＵパケットのヘッダの前に追加される。
更に、前記四つの方法において、メディア処理ユニット（ＭＰＵ）とともに伝送されるシグナリング情報において不均一誤り保護フラグを追加し、多くの個性化された保護方法を形成するため、同時に特別な指示フィールドを追加する。
更に、前記方法一ないし方法三においては、メディアコンテンツについて等級付けし、かつ異なる重要性を付与した後、シグナリングと指示フィールドにより制御して、異なるＦＥＣ符号化強度を用いて符号化する。
更に、前記方法四においては、メディアコンテンツについて等級付けし、かつ異なる重要性を付与した後、シグナリングと指示フィールドにより制御して、ＵＥＰ性能を有するコピー拡張ウィンドウファウンテンコードを用いる。
更に、前記方法一において、ＭＭＴ ＡＬ−ＦＥＣ送信側アーキティクチャに対して、送信側の動作フローは、
ａ）サーバー側は、メディアリソースに基づいてＭＭＴＰストリームとシグナリングを生成する、
ｂ）メディアリソースにおける各フレームの重要性を分析し、これらのＭＭＴ負荷を異なるソースデータストリームに配布し、対応するＦＥＣメカニズムに伝達して保護する、
ｃ）ＦＥＣ符号化が完了した後、対応する訂正された符号およびＦＥＣデータ負荷識別子とソースデータ負荷識別子を返す、
ｄ）全ての訂正された符号をＦＥＣ訂正パケットにパッケージングし、トランスポート層へ送信する、
ことを含む。
更に、前記方法一において、シグナリングによってＦＥＣストリームおよび用いたＦＥＣ符号化構造とＦＥＣ ｃｏｄｅを識別するメカニズムをサポートするため、シグナリングにおけるＦＥＣ＿ＦＬＯＷ＿ＤＥＳＣＲＩＰＴＯＲフィールドを修正し、元のシグナリングは一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する修復情報のみをサポートし、現在一つのメディアリソースの異なる重要性の部分に対して、それぞれＦＥＣのシグナリング制御を行うように追加されることによりＦＥＣメカニズムがより細分化され、サーバー側はユーザーのネットワーク状態に基づいてメディアリソースの異なる部分のＦＥＣ強度を動的に調整し、ネットワーク帯域幅とユーザーエクスペリエンスとの間においてバランスを取る。
更に、前記方法二において、ＭＭＴ ＡＬ−ＦＥＣ送信側アーキティクチャに対して、送信側の動作フローは、
ａ）サーバー側は、メディアリソースに基づいてＭＭＴＰストリームとシグナリングを生成する、
ｂ）メディアリソースにおける各フレームの重要性を分析し、ＭＭＴパケットを異なるＦＥＣエンコーダに伝送し、対応するＦＥＣメカニズムで保護し、対応するＦＥＣコードを生成する、
ｃ）ＦＥＣ符号化が完了した後、対応する訂正された符号およびＦＥＣデータ負荷識別子とソースデータ負荷識別子を返す、
ｄ）全ての訂正された符号をＦＥＣ訂正パケットにパッケージングし、トランスポート層へ送信する、
ことを含む。
更に、前記方法二において、シグナリングによってＦＥＣストリームおよび用いたＦＥＣ符号化構造とＦＥＣ ｃｏｄｅを識別するメカニズムをサポートするため、シグナリングにおけるｆｅｃ＿ｆｌｏｗ＿ｄｅｓｃｒｉｐｔｏｒフィールドを修正し、元のシグナリングは一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する修復情報のみをサポートし、現在メディアリソースの異なる重要性の部分に対して、修正後のシグナリングはメディアリソースの異なる重要性の部分に対してそれぞれＦＥＣの符号化制御を行うように追加されて、異なるＦＥＣストリームを得ることによりＦＥＣメカニズムがより細分化され、サーバー側はユーザーのネットワーク状態に基づいてメディアリソースの異なる部分のＦＥＣ強度を動的に調整し、受信側はシグナリングを受信した後、対応する指示に基づいてメディアリソースを復元し、ネットワーク帯域幅とユーザーエクスペリエンスの間においてバランスを取る。
更に、前記シグナリングにおけるｆｅｃ＿ｆｌｏｗ＿ｄｅｓｃｒｉｐｔｏｒフィールドを修正とは、ＡＬ−ＦＥＣ ｍｅｓｓａｇｅにおいて既存の三種類のｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅの基に新しいｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅを追加し、ｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅの機能は、現在用いるＦＥＣ符号化方法を説明するために用いられ、選択された符号化アルゴリズム、プライベート符号化方法を用いるか否か、最大の保護タイムウィンドウの時間と値等の情報を含み、該フィールドはＡＬ−ＦＥＣシグナリングに位置されて受信側に伝送され、新しく追加されるｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅのフラグの値は従来のｒｅｓｅｒｖｅｄの範囲内から選択される。
更に、新しく追加されるｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅのフラグの値を０１００とする。
更に、前記方法三において、ＭＭＴ ＡＬ−ＦＥＣ送信側アーキティクチャに対して、送信側の動作フローは、
ａ）サーバー側は、メディアリソースに基づいてＭＭＴＰストリームとシグナリングを生成する、
ｂ）ＭＭＴストリームにおける各フレームデータの重要性が異なることに基づき、ＭＭＴパケットをＦＥＣエンコーダに伝達し、異なる優先度に対して、異なるＦＥＣ符号化行列でＭＭＴパケットをＦＥＣ符号化して対応するＦＥＣコードを生成する、
ｃ）前のステップにおいて同一のデータストリームの異なる優先度のＭＭＴパケットをＦＥＣ符号化した後に形成されたＦＥＣコードを統合してＦＥＣコードストリームを生成する、
ｄ）ＦＥＣ符号化が完了した後、対応する訂正された符号およびＦＥＣデータ負荷識別子とソースデータ負荷識別子を返す、
ｅ）全ての訂正された符号をＦＥＣ修復パケットにパッケージングし、トランスポート層へ送信する、
ことを含む。
更に、前記方法は、シグナリングによってＦＥＣストリームおよび用いたＦＥＣ符号化構造とＦＥＣ ｃｏｄｅを識別し、このようなメカニズムをサポートするため、シグナリングにおけるｆｅｃ＿ｆｌｏｗ＿ｄｅｓｃｒｉｐｔｏｒフィールドを修正し、ＡＬ−ＦＥＣ ｍｅｓｓａｇｅにおいて既存の三種類のｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅの基に新しいｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅを追加し、ｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅの機能は現在用いるＦＥＣ符号化方法を説明するために用いられ、選択された符号化アルゴリズム、プライベート符号化方法を用いるか否か、最大の保護タイムウィンドウの時間と値等の情報を含み、該フィールドはＡＬ−ＦＥＣシグナリングに位置されて受信側に伝送され、新しく追加されるｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅのフラグの値は既存のｒｅｓｅｒｖｅｄの範囲内から選択され、元のシグナリングは一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する修復情報のみをサポートし、現在メディアリソースの異なる重要性の部分に対して、それぞれＦＥＣのシグナリング制御を行うように追加されることによりＦＥＣメカニズムがより細分化され、サーバー側はユーザーのネットワーク状態に基づいてメディアリソースの異なる部分のＦＥＣ強度を動的に調整し、ネットワーク帯域幅とユーザーエクスペリエンスとの間においてバランスを取る。
更に、新しく追加されるｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅのフラグの値を０１１０とする。
更に、前記方法四において、ＭＭＴ ＡＬ−ＦＥＣ送信側アーキティクチャに対して、送信側の動作フローは、
ａ）サーバー側は、メディアリソースに基づいてＭＭＴＰストリームとシグナリングを生成する、
ｂ）ＭＭＴ負荷をＦＥＣメカニズムに伝達し、フラグにおけるコンテンツの重要性に対する区別に基づき、Ｄ−ＥＷＦコードで不均一誤り保護を行う、
ｃ）Ｄ−ＥＷＦコード符号化が完了した後、対応する訂正された符号およびＦＥＣデータ負荷識別子と源データ負荷識別子を返す、
ｄ）全ての訂正された符号をＦＥＣ訂正パケットにパッケージングし、トランスポート層へ送信する、
ことを含む。
更に、前記方法四において、シグナリングによって、ＦＥＣストリームおよび用いたＦＥＣ符号化構造とＤ−ＥＷＦコードを識別し、このようなメカニズムをサポートするため、シグナリングにおけるＦＥＣ＿ＦＬＯＷ＿ＤＥＳＣＲＩＰＴＯＲフィールドを修正し、元のシグナリングは一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する修復情報のみをサポートし、現在メディアリソースの異なる重要性の部分に対して、それぞれＦＥＣのシグナリング制御を行うように追加されることによりＦＥＣメカニズムがより細分化され、サーバー側はユーザーのネットワーク状態に基づいてメディアリソースのＤ−ＥＷＦコード符号化強度を動的に調整し、ネットワークの利用可能な帯域幅とユーザーエクスペリエンスとの間においてバランスを取る。
更に、前記方法四において、拡張係数、仮想拡張度の分布範囲を導入することによって、Ｄ−ＥＷＦコードのウィンドウ技術に合わせ、仮想拡張により得られたデータをウィンドウ分割し、同時に各ウィンドウは最適化されたロバスト孤立波分布をそれぞれ用いてＬＴ符号化し、重要性データに対する強化保護を実現する。
既存技術に比べ、本発明は以下の有益な効果を有する。
本発明の技術的解決手段によれば、現在のＦＥＣシステムにおける過剰な符号化によるデータ混雑に対して、メディアコンテンツについて等級付けし、さらに異なる重要性を付与し、シグナリング及び／又は指示ビットにより制御して、異なるＦＥＣ符号化強度を用いる。更に、不均一誤り保護（ＵＥＰ）性能を有するコピー拡張ウィンドウファウンテン（Ｄ−ＥＷＦ）コードを用いることによって、最大限にメディアコンテンツの品質を保証するとともに、ＦＥＣによる莫大なデータ量の減少を実現できる。
以下、図面を参照しながら、本発明の実施例について詳細な説明することによって、本発明の他の特徴、目的及び利点をより明らかにする。なお、これらの実施例は、本発明を限定するものではない。
ＭＭＴにおけるメディアリソースに対するＦＥＣ二層構造を示す図である。 画像群における各フレームの依存関係を示す図である。 汎用のＭＰＵ構成部分及び各部分の重要性を示す図である。 本発明の実施例一における改良されたＭＭＴ ＡＬ−ＦＥＣ送信側のアーキティクチャを示す図である。 本発明の実施例二における改良されたＭＭＴ ＡＬ−ＦＥＣ送信側のアーキティクチャを示す図である。 本発明の実施例三における改良されたＭＭＴ ＡＬ−ＦＥＣ送信側のアーキティクチャを示す図である。 本発明の実施例四における改良されたＭＭＴ ＡＬ−ＦＥＣ送信側のアーキティクチャを示す図である。 本発明の実施例四におけるＤ−ＥＷＦコードの符号化ブロック図である。 本発明の実施例四におけるＤ−ＥＷＦコードの符号化フローチャートである。
以下、具体的な実施形態を例示しながら、本発明について詳細に説明する。以下の実施形態は、いわゆる当業者が本発明をより理解しやすくするための例示であり、いかなる形式で本発明を限定するものではない。また、いわゆる当業者であれば、本発明の要旨から逸脱しない範囲内において、様々な変形や改良を行うことができ、これらも本発明の保護範囲に属することには注意されたい。
図１は、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）におけるメディアリソースに対するＦＥＣ二層構造を示す図である。図に示されるように、第一層ではｓｏｕｒｃｅ ｐａｃｋｅｔ ｂｌｏｃｋを多くの小さいブロックに分割し、それぞれについてＦＥＣ保護を行い、第二層ではブロック全体に対してＦＥＣ保護を行う。第一層における分割が細かいため、小さい遅延を提供することができ、第二層では復元性及び小さい冗長を保証している。しかしながら、これでは柔軟性が不十分である。
図２は、一つの画像群における各フレームの依存関係を示す図である。図に示されるように、一つの画像群において異なるフレームの依存度と重要性は異なっており、Ｉフレームが最も重要で、前のＰフレームは後のＰフレームより重要で、Ｂフレームの重要性が最も低い。このため、重要性の違いに応じて層別にＦＥＣを行うことができる。これは、ＦＥＣの基礎でもある。
（実施例１）
本実施例では、ＭＭＴ伝送プロトコルを例にして、本発明の課題を解決するための手段における方法一により本発明を実施する。
ＭＭＴ技術において、ＭＰＵ（Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｎｇ Ｕｎｉｔ）パケットにおけるＭＦＵ（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）パケットは異なる重要性を有しているが、不均一誤り保護（ＵＥＰ、Ｕｎｅｑｕａｌ Ｅｒｒｏｒ Ｐｒｏｔｅｃｔｉｏｎ）が欠けているため、個性化された伝送方法を設けることができない。ＭＭＴパケットにおいて、異なる重要度を有するフレーム（例えば、ＩフレームとＢフレーム）は、図２、図３に示すように、区分されることができる（指示フラグを有する）。ところが、コーディングする際、不均一誤り保護に触れておらず、二層（Ｔｗｏ−ｓｔａｇｅ）の構造方法及びＬＡ−ＦＥＣ（Ｌａｙｅｒ Ａｗａｒｅ Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）はある程度において不均一誤り保護を実現できるが、柔軟性が低く、複雑度が高い。特に、変化するチャネル状況及び異なる特徴（例えば、キャッシュが異なる）を有する受信ユーザーに対して、既存の二種類の方法は冗長が大きく、適応性が低く、簡単な状況だけに対するものであり、ユーザーエクスペリエンスから配慮できない等の問題が存在する。
本実施例における上記問題に対する解決方法は、以下のとおりである。
１．異なる重要度を有するフレームを含むパケットの重要度が区別されることに基づき、同時にチャネル状況及びユーザーのエクスペリエンスに合わせて、符号化方法を変更する。例えば、チャネル状況が非常に悪いか又はユーザーの記憶能力に制限がある場合、送信側はＩフレームのデータに対してより保護を行うことによって、ユーザーがより大きな確率でＩフレームを受信し、ＢフレームとＰフレームをより大きい度合で受信する際に捨てられるようにする。このようにすれば、受信側が後続の処理においてＢ、Ｐフレームを捨てることがなくなり、送信側においてこの問題を解決するため、帯域幅リソースを節約して、リソースを用いてより多くの重要フレームを保護することができる。
２．特別な指示フィールドを追加しない限り、既存の状況に基づいて符号化しなければならず、不均一誤り保護は、含んでいるフレームの重要度に従って行わなければならない。ＭＰＵとともに伝送されるシグナリングにおいて、不均一誤り保護フラグを追加する。
３．一方、更なる個性化された方法、チャネル品質に応じて保護方法を変更したり、ユーザー特徴に応じてオーダーメイドしようとしたりする場合には、特別な指示フィールドを追加する必要がある。異なるＭＦＵが異なる重要性を有するため、ＭＦＵパケットのヘッダの前に指示を追加すれば、より多くの個性化された保護方法を行うことができる。
図４は、本実施例における改良されたＭＭＴ ＡＬ−ＦＥＣ送信側のアーキティクチャを示す図であり、主にＭＭＴプロトコルにおけるストリーム化後の出力を修正し、データストリームを異なる優先度に従って異なるソースバッファ領域に配布し、それぞれＦＥＣを行う。
送信側のアーキティクチャは図４に示されるとおりで、送信側の動作フローは以下のとおりである。
ｉ）サーバー側は、メディアリソースに基づいてＭＭＴＰ（ＭＭＴ Ｐｒｏｔｏｃｏｌ）ストリームとシグナリングを生成する。
ｊ）メディアリソースにおける各フレームの重要性を分析し、これらのＭＭＴ負荷を異なるソースデータストリームに分け、対応するＦＥＣメカニズムに伝達して保護を行う。
ｋ）ＦＥＣ符号化が完了した後、対応する訂正された符号及びＦＥＣデータ負荷識別子とソースデータ負荷識別子を返す。
ｌ）全ての訂正された符号をＦＥＣ訂正パケットにパッケージングし、トランスポート層へ送信する。
シグナリングによって、ＦＥＣストリーム及び用いたＦＥＣ符号化構造とＦＥＣコード（ｃｏｄｅ）を識別する。このようなメカニズムをサポートするため、本実施例ではシグナリングにおけるＦＥＣ＿ＦＬＯＷ＿ＤＥＳＣＲＩＰＴＯＲフィールドを修正する。修正されたシグナリングは以下の表１のとおりである。
元のシグナリングは、一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する訂正情報のみをサポートしている。目的を達成するために、本実施例ではｆｅｃ＿ｆｌｏｗ＿ｄｅｓｃｒｉｐｔｏｒフィールドの順序と定義を調整して修正し、さらにｒｅｓｅｒｖｅｄフィールドを用いて当該変化を表す。修正後のｎｕｍｂｅｒ＿ｏｆ＿ａｓｓｅｔｓは全てのＦＥＣを行うメディアリソースを表し、ｐａｃｋｅｔ＿ｉｄは各々の対応するメディアリソースの識別子であり、ｎｕｍｂｅｒ＿ｏｆ＿ｆｅｃ＿ｆｌｏｗｓは各メディアリソースに対応するＦＥＣストリームの数、即ちレベルの数を表す。一つのメディアリソースにおける重要性の異なる部分に対して、それぞれＦＥＣのシグナリング制御を行い、異なるＦＥＣストリームを得ることにより、ＦＥＣメカニズムがより細分化できるようにする。サーバー側は、ユーザーのネットワーク状態に基づいてメディアリソースの異なる部分のＦＥＣ強度を動的に調整できる。受信側は、シグナリングを受信した後、対応する指示に基づいてメディアリソースを復元する。以上のようにして、ネットワーク帯域幅とユーザーエクスペリエンスとの間においてバランスを取る。
上記解決方法の効果は以下のとおりである。
１．リソースが節約される。受信側において、人為的に状況に応じて既に受信したフレーム（例えばＢフレーム）を捨てるならば、伝送リソースの無駄使いになってしまう。上記方法は、源側から問題を解決し、必要としないパケットが伝送過程においてより大きな確率で捨てられるようにすることによって、より大きな度合で重要なパケットを保護する。
２．個性化された伝送方法が実現できる。ビデオ伝送は、ユーザーエクスペリエンスに基づくものである必要がある。したがって、より細かい不均一誤り保護を行えば、視覚体験、キャッシュ状態等のようなユーザー状況に対して、ＩフレームとＢフレームのＦＥＣ保護の度合いを設計することができる。
表２は、ＲＳコードを用いるＭＭＴにおけるコンテンツを等級付けに符号化する伝送例として、ネットワーク状況及びユーザーの需要に基づいて符号化方法を柔軟に変更することができる方法を示している。各フレームのＦＥＣ強度を合理的に配置することによって、帯域幅を節約するとともに、できる限り受信側の受信フレームレートを最大化することによって最も高いユーザーエクスペリエンスを得ることを保証する。
（実施例２）
本実施例では、ＭＭＴ伝送プロトコルを例にして、本発明の課題を解決するための手段における方法二により本発明を実施する。
ＭＭＴ技術において、ＭＰＵパケットにおけるＭＦＵパケットは異なる重要性を有しているが、不均一誤り保護が欠けているため、個性化された伝送方法を設けることができない。ＭＭＴパケットにおいて、異なる重要度を有するフレーム（例えば、ＩフレームとＢフレーム）は、図２、図３に示すように、区分されることができる（指示フラグを有する）。ところが、コーディングする際、不均一誤り保護に触れておらず、Ｔｗｏ−ｓｔａｇｅの構造方法及びＬＡ−ＦＥＣはある程度において不均一誤り保護を実現できるが、柔軟性が低く、複雑度が高い。特に、変化するチャネル状況及び異なる特徴（例えば、キャッシュが異なる）を有する受信ユーザーに対して、既存の二種類の方法は冗長が大きく、適応性が低く、簡単な状況だけに対するものであり、ユーザーエクスペリエンスから配慮できない等の問題が存在する。
本実施例における上記問題に対する解決方法は、以下のとおりである。
１．異なる重要度を有するフレームを含むパケットの重要度が区別されることに基づき、同時にチャネル状況及びユーザーエクスペリエンスに合わせて、符号化方法を変更する。例えば、チャネル状況が非常に悪いか又はユーザーの記憶能力に制限がある場合、送信側はＩフレームのデータに対してより保護を行うことによって、ユーザーがより大きな確率でＩフレームを受信し、ＢフレームとＰフレームをより大きい度合で受信する際に捨てられるようにする。このようにすれば、受信側が後続の処理においてＢ、Ｐフレームを捨てることがなくなり、送信側においてこの問題を解決するため、帯域幅リソースを節約して、リソースを用いてより多くの重要フレームを保護することができる。
２．特別な指示フィールドを追加しない限り、既存の状況に基づいて符号化しなければならず、不均一誤り保護は、含んでいるフレームの重要度に従って行わなければならない。ＭＰＵとともに伝送されるシグナリングにおいて、不均一誤り保護フラグを追加する。
３．一方、更なる個性化された方法、チャネル品質に応じて保護方法を変更したり、ユーザー特徴に応じてオーダーメイドしようとしたりする場合には、特別な指示フィールドを追加する必要がある。異なるＭＦＵが異なる重要性を有するため、ＭＦＵパケットのヘッダの前に指示を追加すれば、より多くの個性化された保護方法を行うことができる。
図５は、本実施例にかかる改良されたＭＭＴ ＡＬ−ＦＥＣ送信側のアーキティクチャを示す図であり、主にＭＭＴプロトコルにおけるストリーム化後の出力を修正し、ＭＭＴデータパケットを優先度に従って異なるＦＥＣエンコーダに送信し、それぞれＦＥＣを行う。
送信側のアーキティクチャは図５に示されるとおりで、送信側の動作フローは以下のとおりである。
ａ）サーバー側は、メディアリソースに基づいてＭＭＴＰストリームとシグナリングを生成する。
ｂ）ＭＭＴストリームにおける各フレームデータの重要性が異なることに基づき、ＭＭＴパケットを異なるＦＥＣエンコーダに伝達し、対応するＦＥＣコードを生成する。
ｃ）ＦＥＣ符号化が完了した後、対応する訂正された符号及びＦＥＣデータ負荷識別子とソースデータ負荷識別子を返す。
ｄ）全ての訂正された符号をＦＥＣ訂正パケットにパッケージングし、トランスポート層へ送信する。
シグナリングによって、ＦＥＣストリーム及び用いたＦＥＣ符号化構造とＦＥＣコード（ｃｏｄｅ）を識別する。このようなメカニズムをサポートするため、本実施例ではシグナリングにおけるｆｅｃ＿ｆｌｏｗ＿ｄｅｓｃｒｉｐｔｏｒフィールドを修正する。元のシグナリングは、一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する修復情報のみをサポートしている。現在メディアリソースの異なる重要性の部分に対して、修正後のシグナリングは、メディアリソースの異なる重要性の部分に対してそれぞれＦＥＣの符号化制御を行うように追加され、異なるＦＥＣストリームを得ることにより、ＦＥＣメカニズムがより細分化できるようにする。サーバー側は、ユーザーのネットワーク状態に基づいてメディアリソースの異なる部分のＦＥＣ強度を動的に調整できる。受信側は、シグナリングを受信した後、対応する指示に基づいてメディアリソースを復元する。以上のようにして、ネットワーク帯域幅とユーザーエクスペリエンスとの間においてバランスを取る。
元のシグナリングは、一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する訂正情報のみをサポートしている。目的を達成するために、本実施例ではＡＬ−ＦＥＣ ｍｅｓｓａｇｅにおいて既存の三種類のｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅの基に新しいｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅを追加する。ｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅの機能は、現在用いるＦＥＣ符号化方法を説明するために用いられ、選択された符号化アルゴリズム、プライベート符号化方法を用いるか否か、最大の保護タイムウィンドウの時間と値等の情報を含み、該フィールドはＡＬ−ＦＥＣシグナリングに位置されて受信側に伝送される。新しく追加されるｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅのフラグの値は既存のｒｅｓｅｒｖｅｄの範囲内から選択することができ、本方法においては０１００にすることを推奨する。
表３におけるフィールドの語意は以下のとおりである。
ｎｕｍ＿ｏｆ＿ｐｒｉｏｒｉｔｙ＿ｆｏｒ＿ｍｍｔｐｓ：メディアリソースにおける優先度の数である。
ｐｒｉｖａｔｅ＿ｆｅｃ＿ｆｌａｇ：指示ビット、プライベートのＦＥＣ符号化方法を用いるか否かを示す。
ｐｒｉｖａｔｅ＿ｆｌａｇ：指示ビット、用いられるプライベートＦＥＣ符号化方法を説明するためのｐｒｉｖａｔｅ＿ｆｉｅｌｄが存在するか否かを示す。
ｐｒｉｖａｔｅ＿ｆｉｅｌｄ＿ｌｅｎｇｔｈ：長さフィールド、プライベートＦＥＣ符号化方法のフィールドの長さを説明するために用いられる。
ｐｒｉｖａｔｅ＿ｆｉｅｌｄ：プライベートＦＥＣ方法の詳細な情報を説明するために用いられる。
ｐｒｉｏｒｉｔｙ＿ｉｄ：優先度ｉｄ、ＭＭＴパケットの優先度を示すために用いられる。
ｆｅｃ＿ｃｏｄｅ＿ｉｄ＿ｆｏｒ＿ｒｅｐａｉｒ＿ｆｌｏｗ：用いられるＦＥＣ符号化方法を説明するために用いられる。
ｒｅｐａｉｒ＿ｆｌｏｗ＿ｉｄ：８ビットの整数、生成されたＦＥＣ ｒｅｐａｉｒ ｆｌｏｗと、ＦＥＣ ｒｅｐａｉｒパケットのパケットヘッダにおけるｐａｃｋｅｔ ｉｄとが対応関係を有することを示すために用いられる。
Ｍａｘｉｍｕｍ＿ｋ＿ｆｏｒ＿ｒｅｐａｉｒ＿ｆｌｏｗ：２４ビットの整数、ｓｏｕｒｃｅ ｓｙｓｍｂｏｌブロックにおいてｓｏｕｒｃｅ ｓｙｍｂｏｌの最大数を表す。
Ｍａｘｉｍｕｍ＿ｐ＿ｆｏｒ＿ｒｅｐａｉｒ＿ｆｌｏｗ：２４ビットの整数、ｒｅｐａｉｒ ｓｙｓｍｂｏｌブロックにおいてｒｅｐａｉｒ ｓｙｍｂｏｌの最大数を表す。
ｐｒｏｔｅｃｔｉｏｎ＿ｗｉｎｄｏｗ＿ｔｉｍｅ：保護ウィンドウ時間、ＦＥＣ符号化において最初のｓｏｕｒｃｅ又はｒｅｐａｉｒパケットの送信と最後のｓｏｕｒｃｅ又はｒｅｐａｉｒパケットの送信との間の最大時間差を示し、単位はミリ秒である。
ｐｒｏｔｅｃｔｉｏｎ＿ｗｉｎｄｏｗ＿ｓｉｚｅ：保護ウィンドウ値、ＦＥＣ符号化ストリームにおいて最初のＦＥＣパケットを送信する負荷と最後のＦＥＣパケットを送信する負荷との間の最大カウント値を示す。
本実施例ではメディアコンテンツについて等級付けし、異なる重要性を付与し、元のメディアデータストリームについて分割しない状況で、チャネル状況及びユーザーエクスペリエンスに合わせて、メディアデータパケットに含まれたフレームの重要度に従い、データパケットを対応するＦＥＣエンコーダに伝送し、異なる度合いの保護を行う。
上記解決方法の効果は以下のとおりである。
１．リソースが節約される。受信側において、人為的に状況に応じて既に受信したフレーム（例えばＢフレーム）を捨てるならば、伝送リソースの無駄使いになってしまう。上記方法は、源側から問題を解決し、必要としないパケットが伝送過程においてより大きな確率で捨てられるようにすることによって、より大きな度合で重要なパケットを保護する。
２．個性化された伝送方法が実現できる。ビデオ伝送は、ユーザーエクスペリエンスに基づくものである必要がある。したがって、より細かい不均一誤り保護を行えば、例えば視覚体験、キャッシュ状態等のようなユーザー状況に対して、ＩフレームとＢフレームのＦＥＣ保護の度合いを設計することができる。
（実施例３）
本実施例では、ＭＭＴ伝送プロトコルを例にして、本発明の課題を解決するための手段における方法三により本発明を実施する。
ＭＭＴ技術において、ＭＰＵパケットにおけるＭＦＵパケットは異なる重要性を有しているが、不均一誤り保護が欠けているため、個性化された伝送方法を設けることができない。ＭＭＴパケットにおいて、異なる重要度を有するフレーム（例えば、ＩフレームとＢフレーム）は、図２、図３に示すように、区分されることができる（指示フラグを有する）。ところが、コーディングする際、不均一誤り保護に触れておらず、Ｔｗｏ−ｓｔａｇｅの構造方法及びＬＡ−ＦＥＣはある程度において不均一誤り保護を実現できるが、柔軟性が低く、複雑度が高い。特に、変化するチャネル状況及び異なる特徴（例えば、キャッシュが異なる）を有する受信ユーザーに対して、既存の二種類の方法は冗長が大きく、適応性が低く、簡単な状況だけに対するものであり、ユーザーエクスペリエンスから配慮できない等の問題が存在する。
本実施例における上記問題に対する解決方法は、以下のとおりである。
１．異なる重要度を有するフレームを含むパケットの重要度が区別されることに基づき、同時にチャネル状況及びユーザーエクスペリエンスに合わせて、自己適応的に符号化方法を変更する。例えば、チャネル状況が非常に悪いか又はユーザーの記憶能力に制限がある場合、送信側はＩフレームのデータに対してより保護を行うことによって、ユーザーがより大きな確率でＩフレームを受信し、ＢフレームとＰフレームをより大きな度合で受信する際に捨てられるようにする。このようにすれば、受信側が後続の処理においてＢ、Ｐフレームを捨てることがなくなり、送信側においてこの問題を解決するため、帯域幅リソースを節約して、リソースを用いてより多くの重要フレームを保護することができる。経時変化チャネルにおいて、現在のネットワーク状況の変化に基づいて自己適応的にＦＥＣ符号化方法を変更することができ、例えば、ネットワーク状況が悪化する場合、ＦＥＣ ｓｅｅｄの変更によってＦＥＣ符号化の符号化行列を変更して、伝送データの保護強度を増加させることができる。
２．特別な指示フィールドを追加しない限り、既存の状況に基づいて符号化しなければならず、不均一誤り保護は、含んでいるフレームの重要度に従って行わなければならない。ＭＰＵとともに伝送されるシグナリングにおいて、不均一誤り保護フラグを追加する。
３．一方、更なる個性化された方法、チャネル品質に応じて保護方法を変更したり、ユーザー特徴に応じてオーダーメイドしようとしたりする場合には、特別な指示フィールドを追加する必要がある。異なるＭＦＵが異なる重要性を有するため、ＭＦＵパケットのヘッダの前に指示を追加すれば、より多くの個性化された保護方法を行うことができる。
図６は、本実施例にかかる改良されたＭＭＴ ＡＬ−ＦＥＣ送信側のアーキティクチャを示す図であり、主にＭＭＴプロトコルにおけるストリーム化後の出力を修正し、ＭＭＴデータパケットを優先度に従ってＦＥＣエンコーダに送信してそれぞれＦＥＣ符号化を行い、ＭＭＴパケットの優先度の違いに基づき、異なる符号化行列を選択し、各優先度をＦＥＣエンコーダで処理した後に生成されたＦＥＣコードをＦＥＣコードストリームに統合する。
送信側のアーキティクチャは図６に示されるとおりで、送信側の動作フローは以下のとおりである。
ａ）サーバー側は、メディアリソースに基づいてＭＭＴＰストリームとシグナリングを生成する。
ｂ）ＭＭＴストリームにおける各フレームデータの重要性が異なることに基づき、ＭＭＴパケットをＦＥＣエンコーダに伝達し、異なる優先度に対して、異なるＦＥＣ符号化行列でＭＭＴパケットをＦＥＣ符号化して対応するＦＥＣコードを生成する。
ｃ）前のステップにおいて同一のデータストリームの異なる優先度のＭＭＴパケットをＦＥＣ符号化した後に形成されたＦＥＣコードを統合してＦＥＣコードストリームを生成する。
ｄ）ＦＥＣ符号化が完了した後、対応する訂正された符号及びＦＥＣデータ負荷識別子とソースデータ負荷識別子を返す。
ｅ）全ての訂正された符号をＦＥＣ訂正パケットにパッケージングし、トランスポート層へ送信する。
シグナリングによって、ＦＥＣストリーム及び用いたＦＥＣ符号化構造とＦＥＣコード（ｃｏｄｅ）を識別する。このようなメカニズムをサポートするため、本実施例ではシグナリングにおけるｆｅｃ＿ｆｌｏｗ＿ｄｅｓｃｒｉｐｔｏｒフィールドを修正する。
元のシグナリングは、一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する訂正情報のみをサポートしている。本実施例では、新しいｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅを追加する。ｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅの機能は、現在用いるＦＥＣ符号化方法を説明するために用いられ、選択された符号化アルゴリズム、プライベート符号化方法を用いるか否か、最大の保護タイムウィンドウの時間と値等の情報を含み、該フィールドはＡＬ−ＦＥＣシグナリングに位置されて受信側に伝送される。新しく追加されるｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅのフラグの値は既存のｒｅｓｅｒｖｅｄの範囲内から選択することができ、本方法においては０１１０にすることを推奨する。
表４におけるフィールドの語意は以下のとおりである。
ｓｅｅｄ：乱数シード、擬似乱数を生成する初期条件として、ＦＥＣ符号化の生成行列及び検査行列を構成するために擬似乱数シーケンスを生成するために用いられる。ｓｅｅｄの選択は複数のアルゴリズム、通常、例えばシステム現在時間の取得、現在プロセスＩＤの取得等の方法がある。
ｎｕｍ＿ｏｆ＿ｐｒｉｏｒｉｔｙ＿ｆｏｒ＿ｍｍｔｐｓ：メディアリソースにおける優先度の数である。
ｐｒｉｏｒｉｔｙ＿ｍａｐｐｉｎｇ：優先度マッピング、メディアリソースにおける異なるデータパケットとリソース優先度のマッピング関係を示すために用いられる。
ｐｒｉｖａｔｅ＿ｆｅｃ＿ｆｌａｇ：指示ビット、プライベートのＦＥＣ符号化方法を用いるか否かを示す。
ｐｒｉｖａｔｅ＿ｆｌａｇ：指示ビット、用いられるプライベートＦＥＣ符号化方法を説明するためのｐｒｉｖａｔｅ＿ｆｉｅｌｄが存在するか否かを示す。
ｐｒｉｖａｔｅ＿ｆｉｅｌｄ＿ｌｅｎｇｔｈ：長さフィールド、プライベートＦＥＣ符号化方法のフィールドの長さを説明するために用いられる。
ｐｒｉｖａｔｅ＿ｆｉｅｌｄ：プライベートＦＥＣ方法の詳細な情報を説明するために用いられる。
ｐｒｉｏｒｉｔｙ＿ｉｄ：優先度ｉｄ、ＭＭＴパケットの優先度を示すために用いられる。
ｆｅｃ＿ｃｏｄｅ＿ｉｄ＿ｆｏｒ＿ｒｅｐａｉｒ＿ｆｌｏｗ：用いられるＦＥＣ符号化方法を説明するために用いられる。
ｒｅｐａｉｒ＿ｆｌｏｗ＿ｉｄ：８ビットの整数、生成されたＦＥＣ ｒｅｐａｉｒ ｆｌｏｗと、ＦＥＣ ｒｅｐａｉｒパケットのパケットヘッダにおけるｐａｃｋｅｔｉｄとが対応関係を有することを示すために用いられる。
Ｍａｘｉｍｕｍ＿ｋ＿ｆｏｒ＿ｒｅｐａｉｒ＿ｆｌｏｗ：２４ビットの整数、ｓｏｕｒｃｅ ｓｙｓｍｂｏｌブロックにおいてｓｏｕｒｃｅ ｓｙｍｂｏｌの最大数を表す。
Ｍａｘｉｍｕｍ＿ｐ＿ｆｏｒ＿ｒｅｐａｉｒ＿ｆｌｏｗ：２４ビットの整数、ｒｅｐａｉｒ ｓｙｓｍｂｏｌブロックにおいてｒｅｐａｉｒ ｓｙｍｂｏｌの最大数を表す。
ｐｒｏｔｅｃｔｉｏｎ＿ｗｉｎｄｏｗ＿ｔｉｍｅ：保護ウィンドウ時間、ＦＥＣ符号化において最初のｓｏｕｒｃｅ又はｒｅｐａｉｒパケットの送信と最後のｓｏｕｒｃｅ又はｒｅｐａｉｒパケットの送信との間の最大時間差を示し、単位はミリ秒である。
ｐｒｏｔｅｃｔｉｏｎ＿ｗｉｎｄｏｗ＿ｓｉｚｅ：保護ウィンドウ値、ＦＥＣ符号化ストリームにおいて最初のＦＥＣパケットを送信する負荷と最後のＦＥＣパケットを送信する負荷との間の最大カウント値を示す。
修正後のシグナリングはメディアリソースの異なる重要性の部分に対して、異なる符号化行列を用いて異なる優先度に対してそれぞれＦＥＣの符号化制御を行い、一つのメディアデータストリームに対して最終的には一つのＦＥＣコードストリームのみを生成する。これにより、ＦＥＣメカニズムがより細分化され、同時に過剰なＦＥＣ符号化によるネットワークトラフィックの増加を減少させている。該方法によれば、サーバー側はユーザーのネットワーク状態に基づいてメディアリソースの異なる部分のＦＥＣ強度を動的に調整し、受信側はシグナリングを受信した後、その中からｓｅｅｄ及び各リソースパケットの優先度を分析することができ、ｓｅｅｄに基づいて校正行列を生成してＦＥＣ復号化してメディアリソースを復元する。このようにして、ネットワーク帯域幅とユーザーエクスペリエンスとの間でバランスを取る。
上記解決方法の効果は以下のとおりである。
１．リソースが節約される。受信側において、人為的に状況に応じて既に受信したフレーム（例えばＢフレーム）を捨てるならば、伝送リソースの無駄使いになってしまう。上記方法は、源側から問題を解決し、必要としないパケットが伝送過程においてより大きな確率で捨てられるようにすることによって、より大きな度合で重要なパケットを保護する。
２．個性化された伝送方法が実現できる。ビデオ伝送は、ユーザーエクスペリエンスに基づくものである必要がある。したがって、より細かい不均一誤り保護を行えば、例えば視覚体験、キャッシュ状態等のようなユーザー状況に対して、ＩフレームとＢフレームのＦＥＣ保護の度合いを設計することができる。
３．現在のネットワーク状況に基づいて、自己適応的にＦＥＣ符号化方法を変更することができ、異なる優先度のデータを異なる強度でＦＥＣ保護を行ったうえ、ネットワーク状況の悪化によりパケットロスレートの増加が発生する場合、ＦＥＣのｓｅｅｄを自己適応的に調整し、ＦＥＣの生成行列を変更して、ＦＥＣの強度を増加させることによってネットワークの悪化による影響に抵抗する。
４．ＭＭＴにおいて、既存のＡＬ−ＦＥＣ方法は異なる優先度のＭＭＴパケットに対して異なるＦＥＣコードストリームの生成することのみをサポートする。本方法の提供する解決手段によれば、一つのメディアリソースのデータストリームに対して一つのＦＥＣコードストリームのみの生成をサポートしているため、ＦＥＣによるトラフィックの増加を大幅に減少させ、ネットワークのプレッシャーを減少させることができる。
（実施例４）
本実施例では、ＭＭＴ伝送プロトコルを例にして、本発明の課題を解決するための手段における方法四により本発明を実施する。
図１に示すように、ＭＭＴにおけるメディアリソースのＦＥＣ二層構造に対して、第一層ではｓｏｕｒｃｅ ｐａｃｋｅｔ ｂｌｏｃｋを多くの小さいブロックに分割し、それぞれについてＦＥＣ保護を行い、第二層ではブロック全体に対してＦＥＣ保護を行う。第一層における分割が細かいため、小さい遅延を提供することができ、第二層では復元性及び小さい冗長を保証する。図においてＰ１、Ｐ２はそれぞれＦＥＣエンコーダ１、２により生成される修復シンボルブロックである。
図８に示すように、データソースの伝送が二つの重要な等級を有する状況を具体的に考慮する。ソースＫ個のデータを、重要性に従って２つの重要性等級、即ちｓ１、ｓ２に分ける。ｓ１を最も重要な部分ＭＩＢ（Ｍｏｓｔ ＩｍＰｏｒｔａｎｔ Ｂｉｔｓ、最も重要な情報ビット）とし、ｓ２を最も重要ではない部分ＬＩＢ（Ｌｅａｓｔ ＩｍＰｏｒｔａｎｔ Ｂｉｔｓ、最も重要ではないデータビット）と仮定する。
ＭＭＴ技術において、ＭＰＵパケットにおけるＭＦＵパケットは異なる重要性を有しているが、不均一誤り保護が欠けているため、に個性化された伝送方法を設けることができない。ＭＭＴパケットにおいて、異なる重要度を有するコンテンツは、図３に示すように、区分されることができる（指示フラグを有する）。ところが、コーティングする際、不均一誤り保護に触れておらず、図１に示される二層の符号化方法及びＬＡ−ＦＥＣはある程度において不均一誤り保護を実現できるが、柔軟性が低く、複雑度が高い。特に、変化するチャネル状況及び異なる特徴（例えば、キャッシュが異なる）の受信ユーザーに対して、既存の二種類の方法はいずれも冗長が大きく、適応性が低く、簡単な状況だけに対するものであり、ユーザーエクスペリエンスから配慮できない等の問題が存在する。
本実施例における上記問題に対する解決方法は、以下のとおりである。
１．更なる個性化された方法、チャネル品質に応じて保護方法を変更したり、ユーザー特徴に応じてオーダーメイドしようとしたりする場合には、特別な指示フィールドを追加する必要がある。異なるＭＦＵが異なる重要性を有するため、ＭＦＵパケットのヘッダの前に指示を追加すれば、より多くの個性化された保護方法を行うことができる。
図７は、改良されたＭＭＴ ＡＬ−ＦＥＣ送信側のアーキティクチャを示す図であり、主にＭＭＴプロトコルにおけるストリーム化後の出力を修正し、データストリームをソースバッファ領域に伝送し、フラグに示される異なるコンテンツの重要度に基づいてＤ−ＥＷＦ符号化を行う。
送信側のアーキティクチャは図７に示されるとおりで、送信側の動作フローは以下のとおりである。
ａ）サーバー側は、メディアリソースに基づいてＭＭＴＰストリームとシグナリングを生成する。
ｂ）ＭＭＴ負荷をＦＥＣメカニズムに伝達し、フラグにおけるコンテンツの重要性に対する区別に基づき、Ｄ−ＥＷＦコードにより不均一誤り保護を行う。
ｃ）Ｄ−ＥＷＦコード符号化が完了した後、対応する訂正された符号及びＦＥＣデータ負荷識別子とソースデータ負荷識別子を返す。
ｄ）全ての訂正された符号をＦＥＣ訂正パケットにパッケージングし、トランスポート層へ送信する。
シグナリングによって、ＦＥＣストリーム及び用いたＦＥＣ符号化構造とＤ−ＥＷＦコードを識別する。このようなメカニズムをサポートするため、本実施例ではシグナリングにおけるＦＥＣ＿ＦＬＯＷ＿ＤＥＳＣＲＩＰＴＯＲフィールドに対して以下の修正を行う。
本実施例ではｆｅｃ＿ｆｌｏｗ＿ｄｅｓｃｒｉｐｔｏｒフィールドの順序と定義を調整して修正し、さらにｒｅｓｅｒｖｅｄフィールドを用いてＵＥＰメカニズムの導入を指示する。修正後のｎｕｍｂｅｒ＿ｏｆ＿ａｓｓｅｔｓは全てのＦＥＣを行うメディアリソースを表し、ｐａｃｋｅｔ＿ｉｄは各々の対応するメディアリソースの識別子であり、ｎｕｍｂｅｒ＿ｏｆ＿ｆｅｃ＿ｆｌｏｗｓは各メディアリソースに対応するＦＥＣストリームの数、即ちレベルの数を表す。一つのメディアリソースにおける重要性の異なる部分に対して、それ自体がＵＥＰ特性を有するコピー拡張ウィンドウファウンテンコード（Ｄ−ＥＷＦ）を用いて保護する。サーバー側はユーザーネットワーク状態に基づいてＤ−ＥＷＦの符号化強度を動的に調整することができ、受信側はシグナリングを受信した後、対応する指示に基づいてメディアリソースを復元する。以上のようにして、ネットワーク帯域幅とユーザーエクスペリエンスとの間においてバランスを取る。
２．重要性の度合いの異なるメディアコンテンツに対して、コピー拡張ウィンドウファウンテンコードを用いて重要なメディアコンテンツに対して保護を強化し、その具体的な実施フローは以下のとおりである。
データソースの伝送が二つの重要な等級を有する状況を考慮する。図３に示すように、ソースＫ個のデータを、重要性に従って２つの重要性等級、ｓ１、ｓ２に分ける。ｓ１を最も重要な部分ＭＩＢ（Ｍｏｓｔ ＩｍＰｏｒｔａｎｔ Ｂｉｔｓ、最も重要な情報ビット）とし、ｓ２を最も重要でない部分ＬＩＢ（Ｌｅａｓｔ ＩｍＰｏｒｔａｎｔ Ｂｉｔｓ、最も重要でないデータビット）とし、π１、π２をそれぞれｓ１、ｓ２の総データにおいて占める比率と仮定すると、ｓ１、ｓ２に対応するデータの長さはそれぞれｋ１＝π１・Ｋ、ｋ２＝π２・Ｋである。ここで、π１＋π２＝１である。
得られた二層データに対して、拡張係数ψ１、ψ２によって拡張し、仮想拡張層データとして、ｓ１’、ｓ２’を得る。ここで、ｋ１’、ｋ２’はｓ１’、ｓ２’データシンボルの長さｋ１’＝ｋ１・ψ１、ｋ２’＝ｋ２・ψ２を表す。仮想拡張データの比率はγ１、γ２で表し、仮想拡張層データの総和は、Ｋ’＝ｋ１’＋ｋ２’である。
仮想拡張層データｓ１’、ｓ２’を２つのウィンドウ、即ちＷ１＝ｓ１’、Ｗ２＝ｓ１’＋ｓ２’に分け、Ｗ１の仮想総データはｋ１’であり、Ｗ２の仮想総データは｜Ｗ２｜＝Ｋ’である。一番目のウィンドウＷ１の次数分布をｋ１からｋ１’へ増加させ、二番目のウィンドウＷ２の次数分布をＫからＫ’へ増加させ、ロバスト孤立波の次数分布Ωｒｓ（ｋ、ｃ、δ）を用いると、その確率分布はそれぞれ以下のとおりである。
ここで、Ｒ＝ｃ・ｌоｇ（ｋ／δ）・√ｋ、ｃ＞０、ｋはデータシンボルの数であり、δは復号化失敗の確率である。ｃ＝０．１、δ＝０．５と仮定して、Ｗ１、Ｗ２についてロバスト孤立波の次数分布関数Ω(∧)（１）（ｋ１’、ｃ、δ）、Ω(∧)（２）（Ｋ’、ｃ、δ）をそれぞれ用いる。一番目のウィンドウＷ１の選択確率がΓ１であり、Ｗ２の選択確率がΓ２＝１−Γ１であると仮定する。
ウィンドウの分割を行った後、ＬＴ符号化におけるインデックス置換プロセスを行う。乱数ξを生成し、０＜ξ≦Γ１、即ち一番目のウィンドウＷ１を選択する場合、次数分布Ω（１）により次数ｄ１を生成し、Ｗ１仮想データからｄ１個のデータをランダムに選択する。ｊはＷ１仮想データｋ１・ψ１におけるインデックスを表し、ｊ∈｛０，…，ｋ１・ψ１−１｝であり、ｍはオリジナルｋ１のインデックスｍ∈｛０，…，ｋ１−１｝を表す。下記「数３」の変換によって、ｊからインデックスｍ＝ｊｍｏｄｋ１、０≦ｊ≦ｋ１・ψ１−１を得る。
一方、Γ１＜ξ≦１、即ち二番目のウィンドウＷ２を選択する場合、次数分布Ω（２）により次数ｄ２を生成し、Ｗ２仮想データからｄ２個のデータをランダムに選択する。ｊはＷ２仮想データ（ｋ１・ψ１＋ｋ２・ψ２）におけるインデックスを表し、ｊ∈｛０，…，ｋ１・ψ１＋ｋ２・ψ２｝であり、ｍはオリジナルｋ２のインデックスｍ∈｛０，…，Ｋ−１｝を表す。下記「数３」の変換によって、ｊからインデックスｍを得る。
インデックスｍからオリジナルシンボルを得て排他的論理和の操作を行い、符号化されたコードワードを得て、十分な符号化されたコードワードを得るまで、上記プロセスを繰り返す。図９はＤ−ＥＷＦコードの符号化フローチャートを示す。
上記解決方法の効果は以下のとおりである。
１．リソースが節約される。受信側において、人為的に状況に応じて既に受信したメディアコンテンツを捨てるならば、伝送リソースの無駄遣いになってしまう。上記方法は、源側から問題を解決し、重要性の低いメディアコンテンツの伝送過程において保護される度合いを低くし、より多くの帯域幅リソースを重要なコンテンツに割り当て、よってより大きな度合いで重要なコンテンツを保護する。
２．個性化された伝送方法が実現できる。ビデオ伝送は、ユーザーエクスペリエンスに基づくものである必要がある。したがって、重要と重要でないメディアコンテンツのＤ−ＥＷＦ符号化強度を変更することによって、より細かい不均一誤り保護を行えば、例えば視覚体験、キャッシュ状態等のようなユーザー状況に適することができる。
以上は本発明の一部の具体的な実施例を説明している。また、本発明は上記特定する実施形態に限定されず、当業者は特許請求の範囲に規定された範囲内で様々な変形や修正を行うことができるが、これらは本発明の実質的な内容に影響を及ぼすことないことに理解すべきである。

Claims (18)

  1. 方法一：メディアコンテンツについて等級付けし、かつ異なる重要性を付与し、さらに異なる重要度を有するフレームを含むパケットに基づき、チャネル状況およびユーザーエクスペリエンスに合わせて、符号化方法を変更し、含んでいるフレームの重要度に従って保護する、
    方法二：メディアコンテンツについて等級付けし、かつ異なる重要性を付与し、元のメディアデータストリームについて分割せず、チャネル状況およびユーザーエクスペリエンスに合わせて、メディアデータパケットに含まれているフレームの重要度に従って、データパケットを対応するＦＥＣエンコーダに伝送し、異なる度合いの保護を行う、
    方法三：メディアコンテンツについて等級付けし、かつ異なる重要性を付与し、元のメディアデータストリームについて分割せず、現在のチャネル状況に基づき、メディアデータパケットに含まれているフレーム的重要度および対応する符号化方法を動的に調整し、データパケットを対応するＦＥＣエンコーダに伝送し、異なる度合いの保護を行い、最終的には一つのソースデータストリームが一つのＦＥＣコードストリームのみに符号化される、
    方法四：メディアコンテンツについて等級付けし、かつ異なる重要性を付与し、さらにチャネル状況およびユーザーエクスペリエンスに合わせて、それ自体に不均一誤り保護性能を有するデジタルファウンテンコードによって異なる重要度を有するデータについて保護する、
    との四つの方法のうちのいずれか一つの方法により実現されるメディアコンテンツに基づく前方誤り訂正（ＦＥＣ）方法。
  2. メディア処理ユニット（ＭＰＵ）とともに伝送されるシグナリング情報において不均一誤り保護フラグを追加する、請求項１に記載のメディアコンテンツに基づくＦＥＣ方法。
  3. 多くの個性化された保護方法を形成するため、ＦＥＣメカニズムに特別な指示フィールドを追加する、請求項１に記載のメディアコンテンツに基づくＦＥＣ方法。
  4. 前記特別な指示フィールドは、ＭＦＵパケットのヘッダの前に追加される、請求項３に記載のメディアコンテンツに基づくＦＥＣ方法。
  5. メディア処理ユニット（ＭＰＵ）とともに伝送されるシグナリング情報において不均一誤り保護フラグを追加し、多くの個性化された保護方法を形成するため、同時に特別な指示フィールドを追加する、請求項１に記載のメディアコンテンツに基づくＦＥＣ方法。
  6. 前記方法一ないし方法三においては、メディアコンテンツについて等級付けし、かつ異なる重要性を付与した後、シグナリングと指示フィールドにより制御して、異なるＦＥＣ符号化強度を用いて符号化し、
    前記方法四おいては、メディアコンテンツについて等級付けし、かつ異なる重要性を付与した後、シグナリングと指示フィールドにより制御して、ＵＥＰ性能を有するコピー拡張ウィンドウファウンテンコード用いる、請求項１に記載のメディアコンテンツに基づくＦＥＣ方法。
  7. 前記方法一において、ＭＭＴ ＡＬ−ＦＥＣ送信側アーキティクチャに対して、送信側の動作フローが、
    ａ）サーバー側は、メディアリソースに基づいてＭＭＴＰストリームとシグナリングを生成する、
    ｂ）メディアリソースにおける各フレームの重要性を分析し、これらのＭＭＴ負荷を異なるソースデータストリームに配布し、対応するＦＥＣメカニズムに伝達して保護する、
    ｃ）ＦＥＣ符号化が完了した後、対応する訂正された符号およびＦＥＣデータ負荷識別子とソースデータ負荷識別子を返す、
    ｄ）全ての訂正された符号をＦＥＣ訂正パケットにパッケージングし、トランスポート層へ送信する、
    ことを含む、請求項１〜６のいずれか一項に記載のメディアコンテンツに基づくＦＥＣ方法。
  8. 前記方法一において、シグナリングによってＦＥＣストリームおよび用いたＦＥＣ符号化構造とＦＥＣ ｃｏｄｅを識別するメカニズムをサポートするため、シグナリングにおけるＦＥＣ＿ＦＬＯＷ＿ＤＥＳＣＲＩＰＴＯＲフィールドを修正し、元のシグナリングは一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する修復情報のみをサポートし、現在一つのメディアリソースの異なる重要性の部分に対して、それぞれＦＥＣのシグナリング制御を行うように追加されることによりＦＥＣメカニズムがより細分化され、サーバー側はユーザーのネットワーク状態に基づいてメディアリソースの異なる部分のＦＥＣ強度を動的に調整し、ネットワーク帯域幅とユーザーエクスペリエンスとの間においてバランス取る、請求項７に記載のメディアコンテンツに基づくＦＥＣ方法。
  9. 前記方法二において、ＭＭＴ ＡＬ−ＦＥＣ送信側アーキティクチャに対して、送信側の動作フローが、
    ａ）サーバー側は、メディアリソースに基づいてＭＭＴＰストリームとシグナリングを生成する、
    ｂ）メディアリソースにおける各フレームの重要性を分析し、ＭＭＴパケットを異なるＦＥＣエンコーダに伝送し、対応するＦＥＣメカニズムで保護し、対応するＦＥＣコードを生成する、
    ｃ）ＦＥＣ符号化が完了した後、対応する訂正された符号およびＦＥＣデータ負荷識別子とソースデータ負荷識別子を返す、
    ｄ）全ての訂正された符号をＦＥＣ訂正パケットにパッケージングし、トランスポート層へ送信する、
    ことを含む、請求項１〜６のいずれか一項に記載のメディアコンテンツに基づくＦＥＣ方法。
  10. 前記方法二において、シグナリングによってＦＥＣストリームおよび用いたＦＥＣ符号化構造とＦＥＣ ｃｏｄｅを識別するメカニズムをサポートするため、シグナリングにおけるｆｅｃ＿ｆｌｏｗ＿ｄｅｓｃｒｉｐｔｏｒフィールドを修正し、元のシグナリングは一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する修復情報のみをサポートし、現在メディアリソースの異なる重要性の部分に対して、修正後のシグナリングはメディアリソースの異なる重要性の部分に対してそれぞれＦＥＣの符号化制御を行うように追加されて、異なるＦＥＣストリームを得ることによりＦＥＣメカニズムがより細分化され、サーバー側はユーザーのネットワーク状態に基づいてメディアリソースの異なる部分のＦＥＣ強度を動的に調整し、受信側はシグナリングを受信した後、対応する指示に基づいてメディアリソースを復元し、ネットワーク帯域幅とユーザーエクスペリエンスとの間においてバランス取る、請求項９に記載のメディアコンテンツに基づくＦＥＣ方法。
  11. 前記シグナリングにおけるｆｅｃ＿ｆｌｏｗ＿ｄｅｓｃｒｉｐｔｏｒフィールドの修正とは、ＡＬ−ＦＥＣ ｍｅｓｓａｇｅにおいて既存の三種類のｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅの基に新しいｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅを追加し、ｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅの機能は、現在用いるＦＥＣ符号化方法を説明するために用いられ、選択された符号化アルゴリズム、プライベート符号化方法を用いるか否か、最大の保護タイムウィンドウの時間と値等の情報を含み、該フィールドはＡＬ−ＦＥＣシグナリングに位置されて受信側に伝送され、新しく追加されるｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅのフラグの値は既存のｒｅｓｅｒｖｅｄの範囲内から選択される、請求項９に記載のメディアコンテンツに基づくＦＥＣ方法。
  12. 新しく追加されるｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅのフラグの値を０１００とする、請求項９に記載のメディアコンテンツに基づくＦＥＣ方法。
  13. 前記方法三において、ＭＭＴ ＡＬ−ＦＥＣ送信側アーキティクチャに対して、送信側の動作フローが、
    ａ）サーバー側は、メディアリソースに基づいてＭＭＴＰストリームとシグナリングを生成する、
    ｂ）ＭＭＴストリームにおける各フレームデータの重要性が異なることに基づき、ＭＭＴパケットをＦＥＣエンコーダに伝達し、異なる優先度に対して、異なるＦＥＣ符号化行列でＭＭＴパケットをＦＥＣ符号化して対応するＦＥＣコードを生成する、
    ｃ）前のステップにおいて同一のデータストリームの異なる優先度のＭＭＴパケットをＦＥＣ符号化した後に形成されたＦＥＣコードを統合してＦＥＣコードストリームを生成する、
    ｄ）ＦＥＣ符号化が完了した後、対応する訂正された符号およびＦＥＣデータ負荷識別子とソースデータ負荷識別子を返す、
    ｅ）全ての訂正された符号をＦＥＣ修復パケットにパッケージングし、トランスポート層へ送信する、
    ことを含む、請求項１〜６のいずれか一項に記載のメディアコンテンツに基づくＦＥＣ方法。
  14. 前記方法は、シグナリングによってＦＥＣストリームおよび用いたＦＥＣ符号化構造とＦＥＣ ｃｏｄｅを識別し、このようなメカニズムをサポートするため、シグナリングにおけるｆｅｃ＿ｆｌｏｗ＿ｄｅｓｃｒｉｐｔｏｒフィールドを修正し、ＡＬ−ＦＥＣ ｍｅｓｓａｇｅにおいて既存の三種類のｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅの基に新しいｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅを追加し、ｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅの機能は、現在用いるＦＥＣ符号化方法を説明するために用いられ、選択された符号化アルゴリズム、プライベート符号化方法を用いるか否か、最大の保護タイムウィンドウの時間と値等の情報を含み、該フィールドはＡＬ−ＦＥＣシグナリングに位置されて受信側に伝送され、新しく追加されるｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅのフラグの値は既存のｒｅｓｅｒｖｅｄの範囲内から選択され、
    元のシグナリングは一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する修復情報のみをサポートし、現在メディアリソースの異なる重要性の部分に対して、それぞれＦＥＣのシグナリング制御を行うように追加されることによりＦＥＣメカニズムがより細分化され、サーバー側はユーザーのネットワーク状態に基づいてメディアリソースの異なる部分のＦＥＣ強度を動的に調整し、ネットワーク帯域幅とユーザーエクスペリエンスとの間においてバランスを取る、請求項１３に記載のメディアコンテンツに基づくＦＥＣ方法。
  15. 新しく追加されるｆｅｃ＿ｃｏｄｉｎｇ＿ｓｔｒｕｃｔｕｒｅのフラグの値を０１１０とする、請求項１４に記載のメディアコンテンツに基づくＦＥＣ方法。
  16. 前記方法四において、ＭＭＴ ＡＬ−ＦＥＣ送信側アーキティクチャに対して、送信側の動作フローが、
    ａ）サーバー側は、メディアリソースに基づいてＭＭＴＰストリームとシグナリングを生成する、
    ｂ）ＭＭＴ負荷をＦＥＣメカニズムに伝達し、フラグにおけるコンテンツの重要性に対する区別に基づき、Ｄ−ＥＷＦコードにより不均一誤り保護を行う、
    ｃ）Ｄ−ＥＷＦコード符号化が完了した後、対応する訂正された符号およびＦＥＣデータ負荷識別子とソースデータ負荷識別子を返す、
    ｄ）全ての訂正された符号をＦＥＣ訂正パケットにパッケージングし、トランスポート層へ送信する、
    ことを含む、請求項１〜６のいずれか一項に記載のメディアコンテンツに基づくＦＥＣ方法。
  17. 前記方法四において、シグナリングによって、ＦＥＣストリームおよび用いたＦＥＣ符号化構造とＤ−ＥＷＦコードを識別し、このようなメカニズムをサポートするため、シグナリングにおけるＦＥＣ＿ＦＬＯＷ＿ＤＥＳＣＲＩＰＴＯＲフィールドを修正し、元のシグナリングは一つのＦＥＣストリームにおいて複数のメディアリソースを多重化する修復情報のみをサポートし、現在メディアリソースの異なる重要性の部分に対して、それぞれＦＥＣのシグナリング制御を行うように追加されることによりＦＥＣメカニズムがより細分化され、サーバー側はユーザーのネットワーク状態に基づいてメディアリソースのＤ−ＥＷＦコード符号化強度を動的に調整し、ネットワークの利用可能な帯域幅とユーザーエクスペリエンスとの間においてバランスを取る、請求項１６に記載のメディアコンテンツに基づくＦＥＣ方法。
  18. 前記方法四において、拡張係数、仮想拡張度の分布範囲を導入することによって、Ｄ−ＥＷＦコードのウィンドウ技術に合わせて、仮想拡張により得られたデータをウィンドウ分割し、同時に各ウィンドウは最適化されたロバスト孤立波分布をそれぞれ用いてＬＴ符号化し、重要性データに対する強化保護を実現する、請求項１〜６または請求項１６〜１７のいずれか一項に記載のメディアコンテンツに基づくＦＥＣ方法。
JP2017536358A 2015-01-08 2016-01-08 メディアコンテンツに基づくｆｅｃメカニズム Pending JP2018505597A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021069391A JP7343915B2 (ja) 2015-01-08 2021-04-15 メディアコンテンツに基づくｆｅｃメカニズム

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
CN201510010097.9A CN105827361B (zh) 2015-01-08 2015-01-08 一种基于媒体内容的fec方法
CN201510010097.9 2015-01-08
CN201510080576.8A CN105991226B (zh) 2015-02-13 2015-02-13 一种基于不等差错保护的前向纠错方法
CN201510080576.8 2015-02-13
CN201510673115.1A CN106603193B (zh) 2015-10-16 2015-10-16 一种基于媒体内容的fec方法
CN201510673091.X 2015-10-16
CN201510673091.XA CN106603192B (zh) 2015-10-16 2015-10-16 一种基于媒体内容的自适应fec方法
CN201510673115.1 2015-10-16
PCT/CN2016/070525 WO2016110275A1 (zh) 2015-01-08 2016-01-08 一种基于媒体内容的fec机制

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021069391A Division JP7343915B2 (ja) 2015-01-08 2021-04-15 メディアコンテンツに基づくｆｅｃメカニズム

Publications (1)

Publication Number Publication Date
JP2018505597A true JP2018505597A (ja) 2018-02-22

Family

ID=56355544

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017536358A Pending JP2018505597A (ja) 2015-01-08 2016-01-08 メディアコンテンツに基づくｆｅｃメカニズム
JP2021069391A Active JP7343915B2 (ja) 2015-01-08 2021-04-15 メディアコンテンツに基づくｆｅｃメカニズム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021069391A Active JP7343915B2 (ja) 2015-01-08 2021-04-15 メディアコンテンツに基づくｆｅｃメカニズム

Country Status (5)

Country Link
US (1) US10469202B2 (ja)
JP (2) JP2018505597A (ja)
KR (2) KR102083302B1 (ja)
CA (1) CA2998900C (ja)
WO (1) WO2016110275A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021005799A (ja) * 2019-06-26 2021-01-14 日本放送協会 送信装置、受信装置及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI622313B (zh) * 2016-02-19 2018-04-21 聯發科技股份有限公司 Ｍｐｅｇ媒體傳送的自適應應用層前向糾錯的方法和接收實體
CN108667557B (zh) * 2017-03-29 2021-04-02 上海交通大学 一种基于媒体内容的自适应fec编码矩阵设计方法
JP7408152B2 (ja) * 2017-07-11 2024-01-05 上海交通大学 メディア内容に基づく自己適応システムコードｆｅｃ符号化および復号化方法、装置、システムおよび媒体
CN109245850B (zh) * 2017-07-11 2021-04-02 上海交通大学 基于媒体内容的自适应系统码fec编译码方法
CN114257858B (zh) * 2022-03-02 2022-07-19 浙江宇视科技有限公司 一种基于情感计算的内容同步方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014533916A (ja) * 2011-11-24 2014-12-15 サムスン エレクトロニクス カンパニー リミテッド 通信システムにおけるパケット送受信装置及び方法
JP2015500587A (ja) * 2011-11-30 2015-01-05 サムスン エレクトロニクス カンパニー リミテッド 放送データの送受信装置及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233532B2 (en) * 2007-09-21 2012-07-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Information signal, apparatus and method for encoding an information content, and apparatus and method for error correcting an information signal
US8776161B2 (en) * 2008-02-12 2014-07-08 Ciena Corporation Systems and methods for video processing in network edge devices
JP2011530907A (ja) 2008-08-12 2011-12-22 テレフオンアクチーボラゲット エル エム エリクソン（パブル） チャネル切替のためのメディアストリームの分離
CN101478373B (zh) * 2009-01-16 2011-11-09 北京航空航天大学 一种信源信道编码联合优化的自适应差错控制方法
US9215082B2 (en) * 2009-10-06 2015-12-15 Thomson Licensing Method and apparatus for hop-by-hop reliable multicast in wireless networks
CN101902296B (zh) * 2010-06-23 2014-07-16 中兴通讯股份有限公司 一种喷泉码的编解码方法和装置
US8879640B2 (en) * 2011-02-15 2014-11-04 Hong Kong Applied Science and Technology Research Institute Company Limited Memory efficient implementation of LDPC decoder
CN102227103B (zh) 2011-06-23 2013-07-31 天津大学 一种基于不等差错保护喷泉码的信道编码传输方法
KR101874116B1 (ko) * 2011-10-24 2018-07-04 삼성전자주식회사 멀티미디어 시스템에서 순방향 오류 정정 부호화 방법 및 장치
TW201415893A (zh) * 2012-06-29 2014-04-16 Vid Scale Inc 以預測資訊為基礎之訊框優先
CN103795996B (zh) * 2012-11-01 2016-08-03 上海贝尔股份有限公司 3d视频传递方法和设备
US9235467B2 (en) * 2013-03-15 2016-01-12 Pmc-Sierra Us, Inc. System and method with reference voltage partitioning for low density parity check decoding
WO2015053788A1 (en) * 2013-10-11 2015-04-16 Hewlett-Packard Development Company, L.P. Utilizing collected data from a software-defined networking network to diagnose a user experience
US9722651B2 (en) * 2015-01-09 2017-08-01 Qualcomm Incorporated Adaptive channel coding using polarization
US10644829B2 (en) * 2016-09-15 2020-05-05 Huawei Technologies Co., Ltd. Method and apparatus for encoding data using a polar code

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014533916A (ja) * 2011-11-24 2014-12-15 サムスン エレクトロニクス カンパニー リミテッド 通信システムにおけるパケット送受信装置及び方法
JP2015500587A (ja) * 2011-11-30 2015-01-05 サムスン エレクトロニクス カンパニー リミテッド 放送データの送受信装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AHMAD SHAKEEL ET AL.: "Unequal Error Protection Using Fountain Codes With Applications to Video Communication", IEEE TRANSACTIONS ON MULTIMEDIA, vol. 13, no. 1, JPN6018040281, February 2011 (2011-02-01), pages 92 - 101, XP011342419, ISSN: 0003897725, DOI: 10.1109/TMM.2010.2093511 *
SEJDINOVIC DINO ET AL.: "Expanding Window Fountain Codes for Unequal Error Protection", IEEE TRANSACTIONS ON COMMUNICATIONS, vol. 57, no. 9, JPN6018040279, 9 October 2009 (2009-10-09), pages 2510 - 2516, ISSN: 0003897724 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021005799A (ja) * 2019-06-26 2021-01-14 日本放送協会 送信装置、受信装置及びプログラム
JP7269112B2 (ja) 2019-06-26 2023-05-08 日本放送協会 受信装置及びプログラム

Also Published As

Publication number Publication date
JP2021153298A (ja) 2021-09-30
KR102083302B1 (ko) 2020-03-02
JP7343915B2 (ja) 2023-09-13
US20180069654A1 (en) 2018-03-08
KR20190133294A (ko) 2019-12-02
KR20170102524A (ko) 2017-09-11
CA2998900A1 (en) 2016-07-14
CA2998900C (en) 2022-08-30
KR102251278B1 (ko) 2021-05-13
US10469202B2 (en) 2019-11-05
WO2016110275A1 (zh) 2016-07-14

Similar Documents

Publication Publication Date Title
JP7343915B2 (ja) メディアコンテンツに基づくｆｅｃメカニズム
KR102048452B1 (ko) 멀티미디어 시스템에서 순방향 오류 정정 패킷을 생성하는 방법과 그 오류 정정 패킷을 송수신하는 방법 및 장치
CN110224793B (zh) 一种基于媒体内容的自适应fec方法
KR100971715B1 (ko) 다이내믹한 네트워크 손실 조건에 대해 간단하게 적응하는 멀티미디어 서버
KR101933465B1 (ko) 이동 통신 시스템에서 패킷 송수신 장치 및 방법
KR102170717B1 (ko) 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치
US20070147314A1 (en) Network processing node and method for manipulating packets
WO2007045141A1 (fr) Procede de prise en charge de transmission de donnees multimedias avec tolerance aux erreurs
JP4696008B2 (ja) Ｉｐ送信装置およびｉｐ送信方法
JP7408152B2 (ja) メディア内容に基づく自己適応システムコードｆｅｃ符号化および復号化方法、装置、システムおよび媒体
KR102163338B1 (ko) 방송 및 통신 시스템에서 패킷 송수신 장치 및 방법
US20150006991A1 (en) Graceful degradation-forward error correction method and apparatus for performing same
CN105827361B (zh) 一种基于媒体内容的fec方法
CN108667557B (zh) 一种基于媒体内容的自适应fec编码矩阵设计方法
RU2646346C2 (ru) Устройство и способ передачи и приема пакета с прямой коррекцией ошибок
CN109687934B (zh) 基于媒体内容的自适应系统码fec方法、装置及系统
CN106603193B (zh) 一种基于媒体内容的fec方法
KR100739509B1 (ko) 다중 채널 구조 무선 통신 시스템에서 헤더 정보 송수신장치 및 방법
CN112769523A (zh) 一种基于媒体内容的自适应fec方法及系统
Ahmed et al. Streaming MPEG-4 audio visual objects using TCP-friendly rate control and unequal error protection
CN105991226B (zh) 一种基于不等差错保护的前向纠错方法
Nazir et al. Rate adaptive selective segment assignment for reliable wireless video transmission
Arslan et al. Optimization of generalized LT codes for progressive image transfer
Cooklev Dynamic bandwidth allocation and channel coding in providing QoS for wireless local area networks
Chin et al. Improving perceptual quality for Internet video streaming

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190116

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190813

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191113

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201215