JP2009522972A - スケーラブルなビデオ符号化におけるエラー耐性を有するモード決定 - Google Patents

スケーラブルなビデオ符号化におけるエラー耐性を有するモード決定 Download PDF

Info

Publication number
JP2009522972A
JP2009522972A JP2008549941A JP2008549941A JP2009522972A JP 2009522972 A JP2009522972 A JP 2009522972A JP 2008549941 A JP2008549941 A JP 2008549941A JP 2008549941 A JP2008549941 A JP 2008549941A JP 2009522972 A JP2009522972 A JP 2009522972A
Authority
JP
Japan
Prior art keywords
distortion
coding
macroblock
error rate
channel error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008549941A
Other languages
English (en)
Inventor
クオ，イ
ワン，イエ−ケイ
リー，ホウチアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2009522972A publication Critical patent/JP2009522972A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

スケーラブルなビデオ符号化において使用されるエンコーダは、エンハンスメントレイヤ映像用のマクロブロックモード選択を実行するメカニズムを具備している。このメカニズムは、エラー伝播によって影響を受けたビデオセグメント内のパケット損失又はエラーなどのチャネルエラーに反応するそれぞれのマクロブロック用の歪み推定器と、推定又はシグナリングされたチャネルエラーレートに従って重み係数を選択するラグランジュ乗算子セレクタと、符号化パラメータに基づいて最適なモードを選択するモード決定モジュール又はアルゴリズムと、を含んでいる。モード決定モジュールは、推定符号化歪みと、重み係数によって乗算された推定符号化レートの合計に基づいて、符号化モードを選択するべく構成されている。

Description

本発明は、一般に、スケーラブルなビデオ符号化に関するものであり、更に詳しくは、符号化されたスケーラブルなストリームのエラー耐性性能に関するものである。
ビデオ圧縮規格が過去数十年にわたって開発されており、これらが、今日のデジタルテレビ放送システムを実現する技術を構成している。現在のビデオ圧縮規格は、いずれも、ビットストリームのシンタックス及びセマンティクスと復号化プロセスに焦点を絞っている。又、エンコーダメカニズムについて記述する非標準のガイドライン文書も存在しており、これらは、一般に試験モデルと呼ばれている。これらは、特に帯域幅要件及びデータ伝送レート要件について検討している。従来の開発においてターゲットとされたストレージ及び放送媒体には、DVD（Digital Versatile Disc）などのデジタルストレージ媒体と、デジタル衛星（例えば、DVB-S：Digital Video Broadcast-Satellite）、ケーブル（例えば、DVB-C：Digital Video Broadcast-Cable）、及び地上（例えば、DVB-T：Digital Video Broadcast-Terrestrial）プラットフォームなどのテレビ放送システムが含まれている。特に、利用可能な高周波スペクトルが不十分であるDVB-T規格における最適な帯域幅使用法について集中的に研究されている。但し、これらのストレージ及び放送媒体は、基本的に十分なエンドツーエンドのサービス品質を保証しており、従って、サービス品質の側面については、あまり重要視されてはこなかった。
しかしながら、近年、マルチメディアコンテンツを転送／ブロードキャストするべく、インターネットなどのパケット交換データ通信ネットワークの重要性が益々増大しており、当然のことながら、これには、デジタルビデオシーケンスも含まれている。原則的に、パケット交換データ通信ネットワークは、パケット消去、パケット損失、及び／又はビット障害を基本的に有するデータ通信における限られたエンドツーエンドのサービス品質という制約を有しており、障害のない自由なデータ通信を保証するべく、これらの問題に対処しなければならない。パケット交換ネットワークにおいては、データパケットは、ネットワークの中間ノードにおけるバッファのオーバーフローに起因して破棄される可能性があり、伝送遅延に起因して失われる可能性があり、或いは、受信機側におけるキューイングミスアライメントに起因して拒絶される可能性がある。
更には、デジタルビデオシーケンスの伝送を実現する相当なデータ伝送レートを有する無線パケット交換データ通信ネットワークも利用可能であり、これに対してアクセス可能であるエンドユーザーの市場が発展しつつある。このような無線ネットワークは、エンドツーエンドのサービス品質における更なるボトルネックを形成することになると予想されている。特に、UMTS（Universal Mobile Telecommunications System）などの第３世代公衆地上移動通信網及びGPRS（General Packet Radio Service）及び／又はEDGE（Enhanced Data for GSM Evolution）機能を有するGSM（Global System for Mobile Communications）などの改良型の第２世代公衆地上移動通信網がデジタルビデオ放送のためにサポートされている。しかしながら、例えば、IEEE（Institute of Electrical and Electronics Engineers）の802.xx規格に準拠した無線データ通信ネットワークにおいても、限られたエンドツーエンドのサービス品質を経験することになる可能性がある。
更には、ビデオ通信サービスは、いまや、無線回線交換サービス上においても、例えば、UMTSネットワークの3G.324Mビデオ会議の形態において利用可能になっている。この環境においては、ビデオのビットストリームは、ビットエラー及び消失を経験する可能性がある。
提示されている本発明は、これらのすべてのタイプのネットワーク上において搬送されるビデオのビットストリームを生成するビデオエンコーダに好適である。尚、以下においては、わかりやすくするべく、以下の実施例は、パケット交換型の消失が発生しやすい通信のケースにおけるエラー耐性を有するビデオ符号化アプリケーションに焦点を絞っているが、これに限定されるものではない。
予測ビデオ符号化を利用している現在のビデオ符号化規格との関連においては、例えば、符号化ビデオセグメント内の（パケット損失又はパケット破棄による）消失又はビットエラーの形態における圧縮ビデオ（ビット）ストリーム内のエラーにより、再生ビデオ品質が大幅に低減されることになる。フレームの復号化が以前に復号化されたフレームに依存しているビデオの予測特性に起因し、エラーは、時間と共に伝播及び増幅すると共に、非常に面倒なアーチファクトを生成する可能性がある。これは、このようなエラーにより、再生ビデオシーケンス内において相当の劣化が発生することを意味している。この劣化は、しばしば、観察者が再生ビデオシーケンス内になんの構造をも認識しないほどに破滅的なものである。
このようなエラー伝播と闘っており、且つ、エラー隠蔽と呼ばれているデコーダのみの技法は、この問題を多少軽減するのに有用ではあるが、当業者であれば、エンコーダ実装されたツールも同様に必要であることを理解するであろう。完全なイントラフレームを送信することは、大きな映像サイズに結び付くため、この周知のエラー耐性法は、会話型のビデオ伝送などの低遅延環境においては、適切ではない。
理想的には、デコーダは、影響を受けたエリアのみのエンコーダによる修復を実現するべく、損傷を受けた再生映像内のエンコーダエリアに対して通信することになろう。しかしながら、これには、フィードバックチャネルが必要であり、このようなフィードバックチャネルは、多くのアプリケーションにおいて利用不可能である。その他のアプリケーションにおいては、良好なビデオ経験を実現するには、往復遅延が大き過ぎる。影響を受けたエリア（このエリア内においては、損失に関係したアーチファクトが可視状態である）は、通常、モーション補償に起因して時間と共に空間的に成長するため、大きな往復遅延は、相対的に大きな修復データの必要性に結び付き、そしてこれが、相対的に大きな（平均及びピーク）帯域幅の需要に結び付くことになる。従って、往復遅延が大きくなると、フィードバックに基づいたメカニズムの魅力は、大幅に低下することになる。
フォワードのみの修復アルゴリズムの場合には、フィードバックメッセージに依存してはいないが、その代わりに、モード決定プロセスにおいて、エンコーダにおいてローカルに利用可能である知識にのみ基づいて修復対象のエリアを選択している。これらのアルゴリズムの中のいくつかのものは、ビットストリームを更に安定したものにするべく、レート−歪みモデルの観点において最適ではない場合にも、ビットストリーム内に非予測（イントラ）符号化領域を配置することにより、モード決定プロセスを変更している。この種類のモード決定アルゴリズムは、一般に、イントラリフレッシュと呼ばれている。大部分のビデオコーデックにおいては、独立したモード決定を実現する最小単位は、マクロブロックと呼ばれている。可能な伝送エラーと機先を制して闘うためのイントラ符号化用の個別のマクロブロックを選択するアルゴリズムは、イントラリフレッシュアルゴリズムと呼ばれている。
RIR（Random Intra Refresh）及びCIR（Cyclic Intra Refresh）は、周知の方法であり、広範に使用されている。RIRにおいては、イントラ符号化マクロブロックは、符号化対象の映像のすべてのマクロブロックから又は映像の有限なシーケンスからランダムに選択されている。CIRによれば、それぞれのマクロブロックは、固定された「更新パターン」に従って、固定された周期において、イントラ更新されている。いずれのアルゴリズムも、映像コンテンツ又はビットストリーム特性について考慮してはいない。
MPEG-4 Part 2規格の性能を示すべくISO/IEC JTC1/SG29によって開発された試験モデルは、AIR（Adaptive Intra Refresh）と呼ばれるアルゴリズムを含んでいる。AIRにおいては、基準映像バッファ内の空間的に対応した動き補償されたマクロブロック間において算出された最大のSAD（差の絶対値和）を具備したマクロブロックを選択している。
ITU-Tの勧告H.264の性能を示すべくJVT（Joint Video Team）によって開発された試験モデルは、それぞれのマクロブロックのレート−歪み特性に従ってイントラマクロブロックを配置する非常に複雑なマクロブロック選択法を含んでおり、これは、LA-RDO（Loss Aware Rate Distortion Optimization）と呼ばれている。LA-RDOアルゴリズムは、エンコーダにおいていくつかのデコーダをシミュレートしており、それぞれのシミュレートされたデコーダは、独立的に所与のパケット損失レートにおいてマクロブロックをデコードしている。更に正確な結果を得るべく、シミュレートされたデコーダは、マクロブロックの消失が判明した場合に、エラー隠蔽をも適用している。マクロブロックの予想歪みをシミュレートされたデコーダのすべてにわたって平均化し、この平均歪みをモード選択に使用している。LA-RDOは、一般に、良好な性能を有しているが、エンコーダの複雑性が、潜在的に大きな数のデコーダのシミュレートに起因して大幅に増大することから、多くの実装において、実現可能なものではない。
別の非常に複雑な方法は、ROPE（Recursive Optimal Per-pixel Estimate）と呼ばれている。ROPEは、マクロブロックが消失した場合に、歪みを非常に正確に予測すると考えられている。しかしながら、ピクセルレベルにおいて演算を実行する必要があるため、LA-RDOと同様に、ROPEも、非常に複雑である。
スケーラブルなビデオ符号化（Scalable Video Coding：SVC）は、現在、H.264/AVC規格の拡張として開発の過程にある。SVCは、スケーラブルなビデオビットストリームを提供可能である。スケーラブルなビデオビットストリームの一部を抽出し、劣化した再生視覚品質を有するように復号化可能である。スケーラブルなビデオビットストリームは、１つのスケーラブルではないベースレイヤと、１つ又は複数のエンハンスメントレイヤを含んでいる。エンハンスメントレイヤは、下位レイヤ又はその一部によって表現されるビデオコンテンツの時間分解能（即ち、フレームレート）、空間分解能、又は単純に品質を向上させることができる。いくつかのケースにおいては、特定の位置の後において、場合によっては、任意の位置において、エンハンスメントレイヤのデータを切り捨て可能であり、それぞれの切り捨て位置は、なんらかの追加データを包含することにより、更に向上した視覚品質を表現可能である。このようなスケーラビリティは、FGS（Fine-Grained（Granularity） Scalability）と呼ばれている。FGSとは対照的に、微細な粒度のスケーラビリティを提供しない品質エンハンスメントレイヤによって提供されるスケーラビリティは、CGS（Coarse-grained scalability）と呼ばれている。ベースレイヤは、FGSとしてスケーラブルになるように設計することも可能であるが、現在のビデオ圧縮規格又はドラフト規格は、いずれも、この概念を実装してはいない。
最新のSVC規格において時間的なスケーラビリティを提供しているメカニズムは、H.264/AVC規格のものを上回るものではない。この場合には、所謂、Hierarchical B picture符号化構造が使用されている。この機能は、AVCによって完全にサポートされており、シグナリング部分は、サブシーケンスに関係したSEI（Supplement Enhancement Information）メッセージを使用することにより、実行可能である。
空間及びCGSスケーラビリティを提供するメカニズムの場合には、以前の規格のものに類似した従来の階層化符号化法が、いくつかの新しいインターレイヤ予測法と共に使用されている。例えば、インターレイヤ予測可能なデータは、イントラテクスチャ、動き、及び残差を包含可能であろう。所謂シングルループ復号化は、制約されたイントラテクスチャ予測モードによって有効になり、これにより、インターレイヤイントラテクスチャ予測は、ベースレイヤの対応するブロックがイントラマクロブロック内に配置されているエンハンスメントレイヤマクロブロックに対してのみ適用され、ベースレイヤ内のこれらのイントラマクロブロックは、H.264/AVCによって規定されている制約されたイントラモード（即ち、constrained_intra_pred_flagが１である）を使用している。
シングルループ復号化においては、デコーダは、再生に望ましいスケーラブルなレイヤについてのみ、動き補償及び完全な映像再構築を実行する必要があり、従って、復号化の複雑性が大幅に低減されている。空間的なスケーラビリティが一般化されており、ベースレイヤをエンハンスメントレイヤのクロッピング及びズーミングされたバージョンにすることができる。
SVCにおいては、量子化及びエントロピー符号化モジュールを調節することにより、FGS機能を提供している。この符号化モードは、プログレッシブリファインメントと呼ばれており、この場合には、量子化ステップサイズを反復的に減少させると共に、サブビットプレーン符号化に似た「循環的」なエントロピー符号化を適用することにより、変換係数の連続的なリファインメントを符号化している。
現在のドラフトＳＶＣ規格におけるスケーラブルなレイヤ構造は、temporal_level、dependency_id、及びquality_levelと呼ばれる３つの変数によって特徴付けられている。これらの変数は、ビットストリーム内においてシグナリングするか、又は仕様に従って導出可能である。temporal_level変数を使用することにより、時間的なスケーラビリティ又はフレームレートを通知している。相対的に小さなtemporal_level値の映像を有するレイヤは、相対的に大きなtemporal_levelの映像を有するレイヤよりも小さなフレームレートを具備している。dependency_id変数を使用することにより、インターレイヤ符号化依存階層構造を通知している。任意の時間的な位置において、相対的に小さなdependency_id値の映像を、相対的に大きなdependency_id値を有する映像の符号化のためのインターレイヤ予測に使用可能である。quality_level（Q）変数を使用することにより、FGSレイヤ階層構造を通知している。任意の時間的な位置において、且つ、同一のdependency_id値において、Qに等しいquality_level値を有するFGS映像は、インターレイヤ予測のために、(Q-1)に等しいquality_level値を有するFGS映像又はベース品質映像（即ち、Q-1=0である際の非FGS映像）を使用している。
図１は、これらの３つの変数の表示値を有する模範的なスケーラブルなビデオストリームの時間的なセグメントを示している。これらの時間値は、相対的なものであり、即ち、time=0は、必ずしも、ビットストリーム内の表示順序における第１映像の時間を意味してはいないことに留意されたい。この例の代表的な予測基準の関係が図２に示されており、この場合に、実線の矢印は、水平方向におけるインターレイヤ予測基準の関係を示しており、破線のブロック矢印は、インターレイヤ予測基準の関係を示している。ポイントされているインスタンスは、予測基準として、その他の方向におけるインスタンスを使用している。
レイヤは、それぞれ、同一のtemporal_level、dependency_id、及びquality_levelの値を具備した映像の組として定義されている。エンハンスメントレイヤの復号化におけるインターレイヤ予測のために下位レイヤを直接的又は間接的に使用可能であるため、エンハンスメントレイヤを復号化及び再生するには、通常、ベースレイヤを含む下位レイヤも利用可能である必要がある。例えば、図１及び図２においては、(0,0,0,0)及び(8,0,0,0)に等しい(t,T,D,Q)を有する映像は、ベースレイヤに属しており、これは、エンハンスメントレイヤとは無関係に復号化可能である。(4,1,0,0)に等しい(t,T,D,Q)を有する映像は、ベースレイヤのフレームレートを倍増させるエンハンスメントレイヤに属しており、このレイヤの復号化には、ベースレイヤ映像の存在が必要である。(0,0,0,1)及び(8,0,0,1)に等しい(t,T,D,Q)を有する映像は、FGS方式においてベースレイヤの品質及びビットレートを向上させるエンハンスメントレイヤに属しており、このレイヤの復号化も、ベースレイヤ映像の存在を必要としている。
スケーラブルなビデオ符号化においては、エンハンスメントレイヤ映像内のマクロブロックを符号化する際に、シングルレイヤ符号化における従来のマクロブロック符号化モードと、新しいマクロブロック符号化モードを使用可能である。新しいマクロブロック符号化モードは、インターレイヤ予測を使用している。シングルレイヤ符号化におけると同様に、スケーラブルなビデオ符号化におけるマクロブロックのモード選択も、符号化されたビットストリームのエラー耐性性能に影響を与えている。現在、符号化されたスケーラブルなビデオストリームにターゲット損失レートに対する耐性を付与可能であるスケーラブルなビデオ符号化におけるマクロブロックモード選択を実行するメカニズムは存在していない。
本発明は、エラーが発生しやすい条件において再生ビデオ品質を向上させるべく、スケーラブルなビデオ符号化におけるエンハンスメントレイヤ映像のためのマクロブロックモード選択を実行するメカニズムを提供している。このメカニズムは、それぞれのマクロブロック用の歪み推定器、ラグランジュ（Lagrange）乗算子セレクタ、及び最適モードを選択するモード決定アルゴリズムを有している。
従って、本発明の第１の態様は、複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するスケーラブルなビデオ符号化法であり、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、符号化歪みに晒された状態においてエンハンスメントレイヤ映像内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されている。この方法は、ターゲットチャネルエラーレートに従って異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える符号化歪みを推定する段階と、前述の１つ又は複数のレイヤのそれぞれの重み係数を決定する段階であって、前述の選択段階は、重み係数によって乗算された推定符号化レートにも基づいている、段階と、推定符号化歪みに基づいてマクロブロックを符号化するためのマクロブロック符号化モードの中の１つを選択する段階とを有している。
本発明によれば、選択段階は、推定符号化歪みと、重み係数によって乗算された推定符号化レートの合計によって決定されている。又、歪みの推定は、エラー伝播歪みと、ビデオセグメントに対するパケット損失を推定する段階をも含んでいる。
本発明によれば、ターゲットチャネルエラーレートは、推定されたチャネルエラーレート及び／又はシグナリングされたチャネルエラーレートを有している。
スケーラブルなレイヤのターゲットチャネルエラーレートが別のスケーラブルなレイヤと異なっている場合には、歪みの推定において、これらの異なるターゲットチャネルエラーレートを考慮している。又、重み係数も、異なるターゲットチャネルエラーレートに基づいて判定されている。エラー伝播歪みの推定は、異なるターゲットチャネルエラーレートに基づいている。
本発明の第２の態様は、複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するスケーラブルなビデオエンコーダであり、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、符号化歪みに晒された状態においてエンハンスメントレイヤ映像内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されている。このエンコーダは、ターゲットチャネルエラーレートに従って異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える符号化歪みを推定する歪み推定器と、重み係数によって乗算された推定符号化レートに基づいて、前述の１つ又は複数のレイヤのそれぞれの重み係数を決定する重み係数セレクタと、推定符号化歪みに基づいて、マクロブロックを符号化するためのマクロブロック符号化モードの中の１つを選択するモード決定モジュールと、を有している。モード決定モジュールは、推定符号化歪みと、重み係数によって乗算された推定符号化レートの合計に基づいて符号化モードを選択するべく構成されている。
本発明の第３の態様は、複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するスケーラブルなビデオ符号化において使用されるソフトウェアアプリケーションを具備したコンピュータ可読ストレージ媒体を有するソフトウェアアプリケーションプロダクトであって、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、符号化歪みに晒された状態においてエンハンスメントレヤ映像内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されている。このソフトウェアアプリケーションは、前述の方法を実行するプログラミングコードを有している。
本発明の第４の態様は、前述のエンコーダを有するビデオ符号化装置である。
本発明の第５の態様は、前述のエンコーダを有するビデオ符号化装置を具備した、例えば、モバイル端末などの電子装置である。
本発明は、エラーが発生しやすい条件において再生ビデオ品質を向上させるべく、スケーラブルなビデオ符号化においてエンハンスメントレイヤ映像用のマクロブロックモード選択を実行するメカニズムを提供している。このメカニズムは、
・再生ビデオ内における潜在的なエラー伝播を考慮したビデオセグメント内のパケット損失又はエラーなどのチャネルエラーに反応するそれぞれのマクロブロック用の歪み推定器、
・様々なレイヤの推定又はシグナリングされたチャネル損失レートに応じたラグランジュ乗算子セレクタ、
・符号化パラメータ（即ち、動き推定法、量子化パラメータ、マクロブロックパーティショニング法を含むマクロブロックの符号化ビット数に影響を与えるすべてのマクロブロック符号化パラメータ）、チャネルエラーに起因した推定歪み、及び最新のラグランジュ乗算子に基づいて最適なモードを選択するモード決定アルゴリズム、
という要素を有している。
本発明によるマクロブロックモード選択は、
１．すべての候補モードにわたってループし、且つ、それぞれの候補モードについて、可能なパケット損失及び符号化レートの結果として得られる再構築マクロブロックのひずみを推定する段階と（例えば、マクロブロックを表現するビット数）、
２．式（１）によって表されるそれぞれのモードのコストを算出し、且つ、最小コストを付与するモードを選択する段階と、
に従って決定されている。
Figure 2009522972
 式（１）において、Ｃは、コストを表しており、Ｄは、推定歪みを表しており、Ｒは、推定符号化レートを表しており、λは、ラグランジュ乗算子である。ラグランジュ乗算子は、事実上、コストを定義するための推定符号化レートに対する重み係数である。
本発明によるマクロブロックモード選択法は、シングルレイヤ符号化と、マルチレイヤ符号化に適用可能である。
（シングルレイヤ法）
（Ａ．歪みの推定）
損失レートがｐlであると仮定した場合に、候補符号化選択肢ｏを有するｎ番目の映像内のｍ番目のマクロブロックの全体的な歪みは、次式によって表される。
Figure 2009522972
 ここで、Ds(n,m,o)及びDep_ref(n,m,o)は、それぞれ、ソース符号化歪みとエラー伝播歪みを表しており、Dec(n,m)は、マクロブロックが失われた場合のエラー隠蔽歪みを表している。Dec(n,m)は、マクロブロックの符号化モードとは無関係である。
ソース符号化歪みDs(n,m,o)は、オリジナルの信号とエラーのない再構築信号の間の歪である。これは、MSE（平均二乗誤差）、SAD（差の絶対値和）、又はSSE（二乗誤差和）として算出可能である。エラー隠蔽歪みDec(n,m)は、オリジナル信号とエラー隠蔽信号の間のMSE、SAD、又はSSEとして算出可能である。これらの使用基準であるMSE、SAD、又はSSEは、Ds(n,m,o)及びDec(n,m)についてアライメントされることになる。
エラー伝播歪みDep_ref(n,m,o)の計算においては、ブロック（例えば、４×４の輝度サンプル）ごとにそれぞれの映像の歪みマップDepを定義している。歪みマップが付与された場合に、Dep_ref(n,m,o)は、次式のように算出される。
Figure 2009522972
 ここで、Kは、１つのマクロブロック内のブロック数であり、Dep_ref(n,m,k,o)は、現在のマクロブロック内のk番目のブロックのエラー伝播歪みを表している。Dep_ref(n,m,k,o)は、現在のブロックが基準としているブロック｛kl｝のエラー伝播歪み（｛Dep(nl,ml,kl,ol｝）の荷重平均として算出される。それぞれの基準ブロックの重みwlは、基準として使用されている面積に比例している。
歪みマップDepは、それぞれの基準映像の符号化の際に算出されている。非基準映像について歪みマップを具備する必要はない。
現在の映像内のそれぞれのブロックについて、最適な符号化モードｏ*を有するDep(n,m,k)を次のように算出している。
双方向予測（bi-prediction）を使用していない又は基準映像を１つだけ使用しているインター符号化ブロックの場合には、歪みマップは、式（４）に従って算出される。
Figure 2009522972
 ここで、Dec_rec(n,m,k,o*)は、エラー隠蔽ブロックと再構築ブロックの間の歪であり、Dec_ep(n,m,k)は、エラー隠蔽及びエラー隠蔽に使用されている基準映像内のエラー伝播歪みに起因した歪である。エラー隠蔽法が既知であると仮定した場合には、Dec_ep(n,m,k)は、現在のブロックの隠蔽に使用されているブロックのエラー伝播歪みの加重平均として算出され、且つ、それぞれの基準ブロックの重みwlは、エラー隠蔽に使用されている面積に比例している。
本発明によれば、双方向予測を使用している又は基準映像を２つ使用しているインター符号化ブロックの歪みマップは、式（５）に従って算出される。
Figure 2009522972
 ここで、wr0及びwr1は、それぞれ、双方向予測に使用されている２つの基準映像の重みである。
エラー伝播歪が伝送されないイントラ符号化ブロックの場合には、次のように、エラー隠蔽歪のみを考慮している。
Figure 2009522972
（Ｂ．ラグランジュ乗算子の選択）
D(n,m,o)がDs(n,m,o)に等しいエラーのないケースにおいては、ラグランジュ乗算子は、量子化パラメータＱの関数である。H.264/AVC及びSVCの場合には、Qの値は、(0.85×2Q/3-4)に等しい。但し、伝送エラーを有する場合には、恐らく、異なるラグランジュ乗算子が必要となろう。
エラーのないラグランジュ乗算子は、次式によって表される。
Figure 2009522972
 DsとRの間の関係は、式（１）及び式（２）において見出すことができる。
式（１）及び式（２）を組み合わせることにより、次式が得られる。
Figure 2009522972
Rとの関係におけるCの微分係数をゼロとすれば、次式が得られる。
Figure 2009522972
この結果、式（１）は、次のようになる。
Figure 2009522972
 Dec(n,m)は、符号化モードとは無関係であるため、これがすべての候補モードから除去される限り、これは、全体的なコストから除去可能である。Dec(n,m)を含む項を除去した後に、共通的な係数(1-pl)も除去可能であり、この結果、最終的に次式が得られる。
Figure 2009522972
（マルチレイヤ法）
マルチレイヤを有するスケーラブル符号化においては、ベースレイヤ映像用のマクロブロックモード決定は、前述のシングルレイヤ法とまったく同一である。
エンハンスメントレイヤ映像内のスライスの場合に、シンタックス要素base_id_plus1が０に等しい場合には、インターレイヤ予測は使用されない。この場合には、シングルレイヤ法が使用されることになり、使用する損失レートは、現在のレイヤの損失レートである。
シンタックス要素base_id_plus1が０に等しくない場合には、インターレイヤテクスチャ、動き、又は残差予測を使用する新しいマクロブロックモードを使用可能である。この場合における歪みの推定及びラグランジュ乗算子の選択プロセスについて以下に提示する。
現在のマクロブロックを含む現在のレイヤをln、現在のマクロブロックのインターレイヤ予測に使用されるコロケートされたマクロブロックを含む下位レイヤをln-1、ln-1内のコロケートされたマクロブロックのインターレイヤ予測に使用されるマクロブロックを含む更なる下位レイヤをln-2、．．．、現在のマクロブロック用のインターレイヤ依存ブロックを含む最低レイヤをl0とし、且つ、損失レートを、それぞれ、pl,n、pl,n-1、．．．、pl,0としよう。インターレイヤ予測を使用可能である現在のスライスの場合には（即ち、シンタックス要素base_id_plus1が０に等しくない場合には）、現在のレイヤのマクロブロックは、現在のマクロブロック及びすべての従属する下位レイヤブロックが受信された場合にのみ、復号化され、さもなければ、スライスは、隠蔽されることになると仮定されている。インターレイヤ予測を使用しないスライスの場合には（即ち、シンタックス要素base_id_plus1が０に等しい場合には）、現在のマクロブロックは、受信さえされれば、復号化されることになろう。
（Ａ．歪みの推定）
候補符号化選択肢ｏを有するレイヤln内のn番目の映像内のm番目のマクロブロックの全体的な歪みは、次式によって表される。
Figure 2009522972
 ここで、Ds(n,m,o)及びDec(n,m)は、シングルレイヤ法のものと同一の方式によって算出される。同一レイヤ又は下位レイヤ内の基準映像の歪みマップが付与された場合に（インターレイヤテクスチャ予測の場合）、Dep_ref(n,m,o)は、式（３）を使用して算出される。
歪みマップは、以下に提示しているように導出される。現在のレイヤが最高の空間分解能を有するものである際には、まず、下位レイヤln-1の歪みマップをアップサンプリングする。例えば、分解能が幅及び高さの両方について２倍だけ変更される場合には、歪みマップ内のそれぞれの値を同一値の２×２のブロックになるようにアップサンプリングする。
（（ａ）インターレイヤイントラテクスチャ予測を使用するマクロブロックモード）
インターレイヤイントラテクスチャ予測においては、再構築された下位レイヤのマクロブロックを現在のレイヤ内の現在のマクロブロック用の予測として使用している。JSVM（Joint Scalable Video Model）においては、この符号化モードをIntra_Baseマクロブロックモードと呼んでいる。このモードにおいては、歪みは、インターレイヤ予測に使用される下位レイヤから伝播可能である。この結果、現在のマクロブロック内のk番目のブロックの歪みマップは、次式の通りである。
Figure 2009522972
Dep_ref(n,m,k,o*)は、下位レイヤln-1内のコロケートされたマクロブロック内のk番目のブロックの歪みマップであることに留意されたい。Dec_rec(n,m,k,o*)及びDec_ep(n,m,k)は、シングルレイヤ法におけるものと同一の方式によって算出される。
（（ｂ）インターレイヤ動き予測を使用するマクロブロックモード）
JSVMにおいては、ベースレイヤモード及び1/4画素改良モードという２つのマクロブロックモードがインターレイヤ動き予測を利用している。ベースレイヤモードを使用する場合には、現在のレイヤ内の対応するマクロブロックについて、下位レイヤの動きベクトルフィールド、基準インデックス、及びマクロブロックパーティショニングを使用している。マクロブロックを復号化する場合には、インター予測のために、同一レイヤ内の基準映像を使用している。この結果、インターレイヤ動き予測を使用しており、且つ、双方向予測を使用していないブロックの場合には、現在のマクロブロック内のk番目のブロックの歪みマップは、次式の通りである。
Figure 2009522972
インターレイヤ動き予測を使用しており、且つ、双方向予測をも使用しているブロックの場合には、現在のマクロブロック内のｋ番目のブロックの歪みマップは、次式のとおりである。
Figure 2009522972
 Dep_ref(n,m,k,o*)は、同一レイヤｌnの基準映像内のコロケートされたマクロブロック内のｋ番目のブロックの歪みマップであることに留意されたい。Dec_rec(n,m,k,o*)及びDec_ep(n,m,k)は、シングルレイヤ法におけるものと同一の方式によって算出される。
1/4画素改良モードは、下位レイヤが現在のレイヤとの関係において低減された空間分解能を有するレイヤを表している場合にのみ、使用される。このモードにおいては、マクロブロックパーティショニングと基準インデックス及び動きベクトルは、ベースレイヤモードのものと同一の方式によって導出されており、唯一の相違点は、動きベクトルリファインメントが更に伝送されており、導出された動きベクトルに対して追加されているという点にある。従って、動きリファインメントが、結果的に得られた動きベクトル内に含まれているため、このモードにおける歪みマップを導出するべく、式（１４）及び式（１５）を使用することも可能である。
（（ｃ）インターレイヤ残差予測を使用するマクロブロックモード）
インターレイヤ残差予測においては、下位レイヤの符号化残差を現在のレイヤの残差の予測として使用しており、現在のレイヤの残差と下位レイヤの残差の間の差を符号化している。下位レイヤの残差を受信した場合には、残差予測に起因してエラー伝播は存在しないことになる。従って、インターレイヤ残差予測を使用するマクロブロックモードにおける歪みマップを導出するべく、式（１４）及び式（１５）が使用される。
（（ｄ）インターレイヤ予測を使用しないマクロブロックモード）
双方向予測を使用していないインター符号化ブロックの場合には、次式のとおりである。
Figure 2009522972
双方向予測を使用しているインター符号化ブロックの場合には、次式のとおりである。
Figure 2009522972
イントラ符号化ブロックの場合には、次式のとおりである。
Figure 2009522972
式（１６）〜式（１８）の各要素は、式（４）〜式（６）と同一の方法によって算出される。
（Ｂ．ラグランジュ乗算子の選択）
式（１）及び式（１２）を組み合わせることにより、次式が得られる。
Figure 2009522972
Rとの関係におけるCの微分係数がゼロであるとすれば、次式が得られる。
Figure 2009522972
この結果、式（１）は、次のようになる。
Figure 2009522972
ここで、デコーダは、既知の符号化モードを利用することにより、相対的に良好なエラー隠蔽法を使用可能であり、マクロブロックは、受信された場合にも隠蔽可能であるため、Dec(n,m)は、符号化モードに依存可能である。従って、Dec(n,m)を有する項を保持する必要がある。この結果、第１及び第３項についてのみ共通している係数
Figure 2009522972
 も、保持する必要がある。
本発明は、推定及び／又はシグナリングされたターゲットチャネルエラーレートに従ってマクロブロック符号化モードにおいて再構築セグメントに影響を与える符号化歪みを推定するべくエンコーダが構成されているスケーラブルなビデオ符号化に対して適用可能であることに留意されたい。又、このエンコーダは、異なるレイヤの推定又はシグナリングされたチャネル損失レートに基づいたラグランジュ乗算子セレクタと、１つ又は複数の符号化パラメータに基づいて最適なモードを選択するべく構成されたモード決定モジュール又はアルゴリズムをも含んでいる。図３は、ベースレイヤ及び空間的エンハンスメントレイヤを有する現在のＳＶＣコーダ構造に内蔵可能であるモード決定プロセスを示している。エンハンスメントレイヤは、ベースレイヤと同一の空間分解能を具備可能であり、且つ、１つのスケーラブルなビットストリーム内に２つを上回る数のレイヤが存在可能であることに留意されたい。ベースレイヤ及び空間的エンハンスメントレイヤを有する最適化されたマクロブロックモード決定プロセスの詳細が図４に示されている。図４において、Ｃは、例えば、式（１１）又は式（２１）に従って算出されるコストを表しており、出力Ｏ*は、結果的に最小コストをもたらすと共に、図５に示されているように、モード決定アルゴリズムが歪みマップを計算することを実現する最適な符号化選択肢である。
図６は、本発明の一実施例による代表的なモバイル装置を示している。図６に示されているモバイル装置１０は、セルラーデータ及び音声通信の機能を有している。本発明は、この特定の実施例に限定されるものではなく、これは、様々な多数の実施例の中の１つを表していることに留意されたい。モバイル装置１０は、（メイン）マイクロプロセッサ又はマイクロコントローラ１００と、モバイル装置の動作を制御しているマイクロプロセッサと関連したコンポーネントを含んでいる。これらのコンポーネントは、ディスプレイモジュール１３５に接続しているディスプレイコントローラ１３０、不揮発性メモリ１４０、ランダムアクセスメモリ（RAM）などの揮発性メモリ１５０、マイクロフォン１６１、スピーカー１６２、及び／又はヘッドセット１６３に接続しているオーディオ入出力（Ｉ／Ｏ）インターフェイス１６０、キーパッド１７５又はキーボードに接続されたキーパッドコントローラ１７０、任意の補助入出力（I/O）インターフェイス２００、及び近距離通信インターフェイス１８０を含んでいる。又、このような装置は、通常、参照符号１９０によって概略的に示されているその他の装置サブシステムをも含んでいる。
モバイル装置１０は、音声ネットワーク上において通信可能であると共に／又は、例えば、特に、GSM（Global System for Mobile communication）又はUMTS（Universal Mobile Telecommunications System）などのデジタルセルラーネットワークの形態における任意の公衆地上移動通信網（PLMN）などのデータネットワーク上において同様に通信可能である。通常、音声及び／又はデータ通信は、無線インターフェイス、即ち、セルラーネットワークのインフラストラクチャの無線アクセスネットワーク（RAN）の一部である基地局（BS）又はノードB（図示されてはいない）に対する更なるコンポーネント（前述の内容を参照されたい）と協働状態にあるセルラー通信インターフェイスサブシステムを介して動作している。
図６に例示のために示されているセルラー通信インターフェイスサブシステムは、セルラーインターフェイス１１０、デジタル信号プロセッサ（DSP）１２０、受信機（RX）１２１、送信機（TX）１２２、及び１つ又は複数の局部発振器（LO）１２３を有しており、これは、１つ又は複数の公衆地上移動通信網（PLMN）との間の通信を実現している。デジタル信号プロセッサ（DSP）１２０は、通信信号１２４を送信機（TX）１２２に送信し、受信機（RX）１２１から通信信号１２５を受信している。通信信号の処理に加えて、デジタル信号プロセッサ１２０は、受信機制御信号１２６及び送信機制御信号１２７をも供給している。例えば、それぞれ、送信信号及び受信信号の変調及び復調以外に、デジタル信号プロセッサ（DSP）１２０内に実装された自動利得制御アルゴリズムを通じて、受信機（RX）１２１及び送信機（TX）１２２内において通信信号に対して適用される利得レベルを適応制御可能である。トランシーバ１２１／１２２の更に高度な制御を提供するべく、その他のトランシーバ制御アルゴリズムをデジタル信号プロセッサ（DSP）１２０内に実装することも可能であろう。
PLMNを通じたモバイル装置１０の通信が単一周波数又は近接して離隔した周波数の組において実行される場合には、送信機（TX）１２２及び受信機（RX）１２１との関連において、単一の局部発振器（LO）１２３を使用可能である。或いは、この代わりに、様々な周波数が音声／データ通信又は送信対受信において利用されている場合には、複数の局部発振器を使用することにより、複数の対応する周波数を生成可能である。
図６に示されているモバイル装置１０は、ダイバーシティアンテナシステム（図示されてはいない）としての又はこれを有するアンテナ１２９と共に使用されているが、モバイル装置１０は、信号の受信及び送信用のシングルアンテナ構造と共に使用可能であろう。音声及びデータ情報の両方を含む情報が、セルラーインターフェイス１１０との間において、デジタル信号プロセッサ（DSP）１２０との間のリンクを介して伝達されている。周波数帯域、コンポーネント選択、パワーレベルなどのセルラーインターフェイス１１０の詳細な設計は、そのモバイル装置１０が動作するべく意図されている無線ネットワークに依存することになる。
セルラーネットワークにおける登録に必要な加入者識別モジュール（SIM）２１０を必要とし得る必要なネットワークの登録又は起動手順が完了した後に、モバイル装置１０は、音声及びデータ信号の両方を含む通信信号を無線ネットワーク上において送受信可能である。無線ネットワークからアンテナ１２９によって受信された信号は、受信機１２１にルーティングされており、この受信機が、信号の増幅、周波数のダウンコンバージョン、フィルタリング、チャネルの選択、及びアナログ／デジタル変換などの動作を提供している。受信信号をアナログ／デジタル変換することにより、デジタル復調及び復号化などの相対的に複雑な通信機能をデジタル信号プロセッサ（DSP）１２０を使用して実行可能である。同様の方式により、ネットワークに送信する信号の、例えば、変調及び符号化を含む処理がデジタル信号プロセッサ（DSP）１２０によって実行されており、次いで、この信号は、デジタル／アナログ変換、周波数のアップコンバージョン、フィルタリング、増幅、及びアンテナ１２９を介した無線ネットワークへの伝送のために、送信機１２２に供給されている。
装置プラットフォームのマイクロプロセッサと呼ぶことも可能でもあるマイクロプロセッサ／マイクロコントローラ（μＣ）１１０は、モバイル装置１０の機能を管理している。プロセッサ１１０によって使用されているオペレーティングシステムソフトウェア１４９は、好ましくは、不揮発性メモリ１４０などの永久的な記憶装置内に保存されており、この記憶装置は、例えば、フラッシュメモリ、電池バックアップ型のRAM、任意のその他の不揮発性ストレージ技術、又はこれらの組み合わせとして実装可能である。モバイル装置１０の低レベルの機能と（グラフィカル）基本ユーザーインターフェイス機能を制御しているオペレーティングシステム１４９に加えて、不揮発性メモリ１４０は、音声通信ソフトウェアアプリケーション１４２、データ通信ソフトウェアモジュール１４１、オーガナイザモジュール（図示されてはいない）、又は任意のその他のタイプのソフトウェアモジュール（図示されてはいない）などの複数のハイレベルなソフトウェアアプリケーションプログラム又はモジュールをも含んでいる。これらのモジュールは、プロセッサ１００によって実行されており、且つ、モバイル装置１０のユーザーとモバイル装置１０の間におけるハイレベルなインターフェイスを提供している。このインターフェイスは、通常、ディスプレイコントローラ１３０によって制御されたディスプレイ１３５を通じて提供されるグラフィカルコンポーネントと、キーパッドコントローラ１７０を介してプロセッサ１００に接続されたキーパッド１７５、補助入出力（I/O）インターフェイス２００、及び／又は近距離（SR）通信インターフェイス１８０を通じて提供される入出力コンポーネントと、を含んでいる。補助I/Oインターフェイス２００は、特に、USB（Universal Serial Bus）インターフェイス、シリアルインターフェイス、MMC（マルチメディアカード）インターフェイス及び関連するインターフェイス技術／規格、並びに、任意のその他の標準化された又はプロプライエタリなデータ通信バス技術を有しており、この場合に、近距離通信インターフェイスの高周波（RF）低パワーインターフェイスは、特に、WLAN（Wireless Local Area Network）及びBluetooth（登録商標）通信技術、又はIRDA（InfraRed Data Access）インターフェイスを含んでいる。本明細書において参照されているＲＦ低パワーインターフェイス技術は、特に、その説明をInstitute of Electrical and Electronics Engineersから入手可能である任意のIEEE801.xx規格の技術を含んでいるものと理解されたい。更には、補助I/Oインタフェイス２００と近距離通信インターフェイス１８０は、それぞれ、１つ又は複数の入出力インターフェイス技術及び通信インターフェイス技術をサポートする１つ又は複数のインターフェイスをそれぞれ表現可能である。オペレーティングシステム、特定装置のソフトウェアアプリケーション又はモジュール、或いは、その一部は、ランダムアクセスメモリ（通常は、高速動作のためにDRAM（Direct Random Access Memory）技術に基づいて実装されている）などの揮発性記憶装置１５０内に一時的に読み込み可能である。更には、受信した通信信号も、好ましくはデータを保存するべく補助I/Oインターフェイスを介して着脱自在に接続されている不揮発性メモリ１４０又は任意のマスストレージ内に配置されたファイルシステムに永久的に書き込む前に、揮発性メモリ１５０内に一時的に保存可能である。以上のコンポーネントは、セルラー電話機の形態において本明細書において実施されている従来のモバイル装置１０の代表的なコンポーネントを表していることを理解されたい。本発明は、これらの特定のコンポーネントに限定されるものではなく、且つ、示されているこれらの実装は、例示及び完全性を目的としたものに過ぎない。
モバイル装置１０の模範的なソフトウェアアプリケーションモジュールは、通常は、コンタクトマネージャ、カレンダー、タスクマネージャ、及びこれらに類似したものを含むＰＤＡ機能を提供するパーソナル情報マネージャアプリケーションである。このようなパーソナル情報マネージャは、プロセッサ１００によって実行されており、モバイル装置１０のコンポーネントに対するアクセスを具備可能であり、且つ、その他のソフトウェアアプリケーションモジュールとやり取り可能である。例えば、音声通信ソフトウェアアプリケーションとのやり取りは、電話通話や音声メールなどの管理を実現しており、データ通信ソフトウェアアプリケーションとのやり取りは、SMS（Soft Message Service）、MMS（MultiMedia Service）、電子メール通信、及びその他のデータ伝送の管理を実現している。不揮発性メモリ１４０は、好ましくは、ファイルシステムを提供することにより、特にカレンダーのエントリやコンタクトなどを含むデータ項目の装置上における永久的な保存を円滑に実行している。例えば、セルラーインターフェイス、近距離通信インターフェイス、又は補助I/Oインターフェイスを介したネットワークとのデータ通信機能は、このようなネットワークを介したアップロード、ダウンロード、及び同期化を実現している。
アプリケーションモジュール１４１〜１４９は、プロセッサ１００によって実行されるべく構成された装置機能又はソフトウェアアプリケーションを表している。大部分の既知のモバイル装置においては、モバイル装置及びすべての装置機能並びにソフトウェアアプリケーションの全体的な動作をシングルプロセッサによって管理及び制御している。このような概念は、今日のモバイル装置に適用可能である。機能強化されたマルチメディア機能の実装は、例えば、ビデオストリーミングアプリケーションの再生、デジタル映像の操作、及び統合された又は着脱自在に接続されたデジタルカメラ機能によるビデオシーケンスのキャプチャを含んでいる。又、この実装は、高度なグラフィック及び必要な演算パワーを有するゲームアプリケーションをも包含可能である。過去において実行されている演算パワー要件を処理するための１つの方法は、強力でユニバーサルなプロセッサコアを実装することにより、増大する演算パワーの問題を解決している。演算パワーを提供するための別の方法は、複数の独立したプロセッサコアを実装するというものであり、これは、当技術分野において周知の方法である。いくつかの独立したプロセッサコアの利点については、当業者であれば即座に理解可能であろう。１つのユニバーサルなプロセッサは、予め選択された個々のタスクに対する専門化を必要とすることなしに様々な異なるタスクを実行するべく設計されており、マルチプロセッサ構成は、１つ又は複数のユニバーサルなプロセッサ及び予め定義されたタスクの組を処理するべく適合された１つ又は複数の専門的なプロセッサを包含可能である。しかしながら、１つの装置、特にモバイル装置１０などのモバイル装置内におけるいくつかのプロセッサの実装は、従来、完全且つ高度なコンポーネントの再設計を必要としている。
以下において、本発明は、既存の処理装置の実装に対する追加プロセッサコアの単純な統合を実現すると共に、これにより、高価な完全且つ高度な再設計を省略可能である概念を提供している。本発明の概念については、SoC（System-on-a-Chip）設計を参照して説明することとする。SoCは、処理装置の少なくとも多数の（又は、すべての）コンポーネントを単一の高集積チップ内に統合するという概念である。このようなSoCによれば、デジタル、アナログ、混合信号、並びに、しばしば、高周波機能のすべてを１つのチップ上に収容可能である。代表的な処理装置は、異なるタスクを実行するいくつかの集積回路を有している。これらの集積回路は、特に、マイクロプロセッサ、メモリ、UART（Universal Asynchronous Receiver-Transmitter）、シリアル／パラレルポート、DMA（Direct Memory Access）コントローラ、及びこれらに類似したものを包含可能である。UART（Universal Asynchronous Receiver-Transmitter）は、データのパラレルビットとシリアルビット間の変換を実行している。半導体技術における最近の改良により、VLSI（Very-Large-Scale Integration）集積回路の複雑性を大幅に増大させることが可能であり、これにより、システムの多数のコンポーネントを単一のチップ内に統合することが可能になっている。図６を参照すれば、例えば、コントローラ１３０及び１７０、メモリコンポーネント１５０及び１４０、並びに、インターフェイス２００、１８０、及び１１０の中の１つ又は複数のものなどのその１つ又は複数のコンポーネントを、最終的にSoC（System-on-a Chip）を形成している単一チップ内において、プロセッサ１００と一緒に統合可能である。
更には、装置１０は、本発明の動作に従ってビデオデータのスケーラブルな符号化１０５及びスケーラブルな復号化１０６のためのモジュールをも装備している。ＣＰＵ１００により、前述のモジュール１０５、１０６を個別に使用可能である。但し、装置１０は、ビデオデータの符号化及び復号化を個別に実行するべく適合されている。前述のビデオデータは、装置の通信モジュールによって受信可能であり、或いは、装置１０内の任意の想像可能なストレージ手段内に保存することも可能である。
要すれば、本発明は、複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するスケーラブルなビデオ符号化のための方法及びエンコーダを提供しており、この場合に、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、この場合に、符号化歪みに晒された状態においてエンハンスメントレイヤ映像内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されている。この方法は、異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える符号化歪みを推定する段階であって、この場合に、推定歪みは、ビデオセグメントに発生する可能性が高いチャネルエラーによって少なくとも発生する歪みを有している、段階と、前述の１つ又は複数のレイヤのそれぞれのものの重み係数を判定する段階と、推定された符号化歪みに基づいて、マクロブロックを符号化するためのマクロブロック符号化モードの中の１つを選択する段階と、を有している。符号化歪みは、ターゲットチャネルエラーレートに従って推定されている。ターゲットチャネルエラーレートは、推定されたチャネルエラーレート及びシグナリングされたチャネルエラーレートを含んでいる。マクロブロック符号化モードの選択は、推定符号化歪みと、重み係数によって乗算された推定符号化レートの合計によって判定されている。更には、歪みの推定は、エラー伝播歪みを推定する段階をも含んでいる。
従って、その１つ又は複数の実施例を参照し、本発明について説明したが、当業者であれば、本発明の範囲を逸脱することなしに、その形態及び詳細における以上の並びに様々なその他の変更、省略、及び逸脱を実行可能であることを理解するであろう。
模範的なスケーラブルなビデオストリームの時間的なセグメントを示している。 図１に示されている例の代表的な予測基準の関係を示している。 ベースレイヤ及び空間的エンハンスメントレイヤを有する現在のSVCコーダ構造内における変更されたモード決定プロセスを示している。 ベースレイヤ及び空間的エンハンスメントレイヤを有するLA-RDO（Loss Aware Rate Distortion Optimization）マクロブロックモード決定プロセスを示している。 本発明による符号化歪みの推定を示すフローチャートである。 本発明によるスケーラブルエンコーダ及びスケーラブルデコーダの中の少なくとも１つを具備した電子装置を示している。

Claims (26)

  1. 複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するためのスケーラブルなビデオ符号化法であって、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、且つ、符号化歪みに晒された状態において前記エンハンスメントレイヤ映像内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されている方法において、
    ターゲットチャネルエラーレートに従って異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える前記符号化歪みを推定する段階と、
    前記推定された符号化歪みに基づいて、前記マクロブロックを符号化するための前記マクロブロック符号化モードの中の１つを選択する段階と、
    を有することを特徴とする方法。
  2. 前記１つ又は複数のレイヤのそれぞれの重み係数を決定する段階をさらに有し、前記選択段階は、前記重み係数によって乗算された推定符号化レートにも基づいていることを特徴とする請求項１記載の方法。
  3. 前記選択段階は、前記推定符号化歪みと、前記重み係数によって乗算された前記推定符号化レートの合計によって判定されることを特徴とする請求項２記載の方法。
  4. 前記推定段階は、エラー伝播歪みを推定する段階を有することを特徴とする請求項１記載の方法。
  5. 前記推定段階は、前記ビデオセグメントに対するパケット損失を推定する段階を有することを特徴とする請求項１記載の方法。
  6. 前記ターゲットチャネルエラーレートは、推定されたチャネルエラーレートを有することを特徴とする請求項１記載の方法。
  7. 前記ターゲットチャネルエラーレートは、シグナリングされたチャネルエラーレートを有することを特徴とする請求項１記載の方法。
  8. スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラブルレイヤと異なっており、且つ、前記推定段階は、前記異なるターゲットチャネルエラーレートを考慮していることを特徴とする請求項１記載の方法。
  9. スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラブルレイヤと異なっており、且つ、前記重み係数は、前記異なるターゲットチャネルエラーレートに基づいて決定されていることを特徴とする請求項２記載の方法。
  10. スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラブルレイヤと異なっており、且つ、エラー伝播歪みの前記推定段階は、前記異なるターゲットチャネルエラーレートにも基づいていることを特徴とする請求項４記載の方法。
  11. 複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するためのスケーラブルなビデオエンコーダであって、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、且つ、符号化歪みに晒された状態において前記エンハンスメントレイヤ内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されているエンコーダにおいて、
    ターゲットチャネルエラーレートに従って異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える前記符号化歪みを推定する歪み推定器と、
    前記推定された符号化歪みに基づいて、前記マクロブロックを符号化するための前記マクロブロック符号化モードの中の１つを選択するモード決定モジュールと、
    を有することを特徴とするエンコーダ。
  12. 前記１つ又は複数のレイヤのそれぞれの重み係数を、当該重み係数によって乗算された推定符号化レートに基づいて決定する重み係数セレクタをさらに有することを特徴とする請求項１１記載のエンコーダ。
  13. 前記モード決定モジュールは、前記推定符号化歪みと、前記重み係数によって乗算された前記推定符号化レートの合計に基づいて前記符号化モードを選択するべく構成されていることを特徴とする請求項１２記載のエンコーダ。
  14. 前記歪み推定器は、エラー伝播歪みをも推定するべく構成されていることを特徴とする請求項１１記載のエンコーダ。
  15. 前記歪み推定器は、前記ビデオセグメントに対するパケット損失をも推定するべく構成されていることを特徴とする請求項１１記載のエンコーダ。
  16. 前記歪み推定器は、推定されたチャネルエラーレートに基づいて前記ターゲットチャネルエラーレートをも推定するべく構成されていることを特徴とする請求項１１記載のエンコーダ。
  17. 前記歪み推定器は、シグナリングされたチャネルエラーレートにも基づいて前記ターゲットチャネルエラーレートを推定するべく構成されていることを特徴とする請求項１１記載のエンコーダ。
  18. スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラベルレイヤと異なっており、且つ、前記歪み推定器は、前記異なるターゲットチャネルエラーレートを考慮するべく構成されていることを特徴とする請求項１１記載のエンコーダ。
  19. スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラブルレイヤと異なっており、且つ、前記重み係数セレクタは、前記異なるターゲットチャネルエラーレートに基づいて前記重み係数を選択するべく構成されていることを特徴とする請求項１２記載のエンコーダ。
  20. スケーラブルレイヤの前記ターゲットチャネルエラーレートが別のスケーラブルレイヤと異なっており、且つ、前記歪み推定器は、前記異なるターゲットチャネルエラーレートに基づいて前記エラー伝播歪みを推定するべく構成されていることを特徴とする請求項１４記載のエンコーダ。
  21. 複数のベースレイヤ映像及びエンハンスメントレイヤ映像を含むビデオセグメントを符号化するためのスケーラブルなビデオ符号化において使用されるソフトウェアアプリケーションを具備したコンピュータ可読ストレージ媒体を有するソフトウェアアプリケーションプロダクトであって、それぞれのエンハンスメントレイヤ映像は、１つ又は複数のレイヤ内に配置された複数のマクロブロックを有しており、且つ、符号化歪みに晒された状態において前記エンハンスメントレイヤ内のマクロブロックを符号化するべく、複数のマクロブロック符号化モードが用意されているソフトウェアアプリケーションプロダクトにおいて、
    ターゲットチャネルエラーレートに従って異なるマクロブロック符号化モードにおいて再構築ビデオセグメントに影響を与える前記符号化歪みを推定するプログラミングコードと、
    前記１つ又は複数のレイヤのそれぞれの重み係数を決定するプログラミングコードであって、前記選択は、前記重み係数によって乗算された推定符号化レートにも基づいている、プログラミングコードと、
    前記推定符号化歪みに基づいて、前記マクロブロックを符号化するための前記マクロブロック符号化モードの中の１つを選択するプログラミングコードと、
    を有することを特徴とするソフトウェアアプリケーションプロダクト。
  22. 前記符号化モードを選択する前記プログラミングコードは、前記推定符号化歪みと、前記重み係数によって乗算された前記推定符号化レートの合計に基づいていることを特徴とする請求項２１記載のソフトウェアアプリケーションプロダクト。
  23. 前記推定段階は、エラー伝播歪みを推定する段階を有することを特徴とする請求項１記載の方法。
  24. 請求項１１記載のエンコーダを有するビデオ符号化装置。
  25. 請求項１１記載のエンコーダを有する電子装置。
  26. モバイル端末を有する請求項２５記載の電子装置。
JP2008549941A 2006-01-09 2007-01-08 スケーラブルなビデオ符号化におけるエラー耐性を有するモード決定 Pending JP2009522972A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US75774406P 2006-01-09 2006-01-09
PCT/IB2007/000041 WO2007080480A2 (en) 2006-01-09 2007-01-08 Error resilient mode decision in scalable video coding

Publications (1)

Publication Number Publication Date
JP2009522972A true JP2009522972A (ja) 2009-06-11

Family

ID=38256677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008549941A Pending JP2009522972A (ja) 2006-01-09 2007-01-08 スケーラブルなビデオ符号化におけるエラー耐性を有するモード決定

Country Status (7)

Country Link
US (1) US20070160137A1 (ja)
EP (1) EP1977612A2 (ja)
JP (1) JP2009522972A (ja)
KR (1) KR20080089633A (ja)
CN (1) CN101401440A (ja)
TW (1) TW200731812A (ja)
WO (1) WO2007080480A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016535465A (ja) * 2013-04-05 2016-11-10 ヴィド スケール インコーポレイテッド 多重レイヤビデオコーディングに対するインターレイヤ基準画像エンハンスメント

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
FR2895172A1 (fr) * 2005-12-20 2007-06-22 Canon Kk Procede et dispositif de codage d'un flux video code suivant un codage hierarchique, flux de donnees, procede et dispositif de decodage associes
CN102158697B (zh) 2006-09-07 2013-10-09 Lg电子株式会社 用于解码/编码视频信号的方法及装置
JP4851911B2 (ja) * 2006-10-23 2012-01-11 富士通株式会社 符号化装置、符号化プログラムおよび符号化方法
KR101349836B1 (ko) * 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US8731070B2 (en) * 2006-12-15 2014-05-20 Thomson Licensing Hybrid look-ahead and look-back distortion estimation
US20100135388A1 (en) * 2007-06-28 2010-06-03 Thomson Licensing A Corporation SINGLE LOOP DECODING OF MULTI-VIEW CODED VIDEO ( amended
US20090067495A1 (en) * 2007-09-11 2009-03-12 The Hong Kong University Of Science And Technology Rate distortion optimization for inter mode generation for error resilient video coding
US8509302B2 (en) * 2008-10-22 2013-08-13 Nippon Telegraph And Telephone Corporation Scalable video encoding method, scalable video encoding apparatus, scalable video encoding program, and computer readable recording medium storing the program
KR101233627B1 (ko) * 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
CN101860759B (zh) * 2009-04-07 2012-06-20 华为技术有限公司 一种编码方法和编码装置
US8724707B2 (en) * 2009-05-07 2014-05-13 Qualcomm Incorporated Video decoding using temporally constrained spatial dependency
US9113169B2 (en) * 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
US8675730B2 (en) * 2009-07-13 2014-03-18 Nvidia Corporation Macroblock grouping in a destination video frame to improve video reconstruction performance
US8861879B2 (en) * 2009-09-17 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
FR2953675B1 (fr) * 2009-12-08 2012-09-21 Canon Kk Procede de controle par un dispositif client du transfert d'une sequence video
SG181131A1 (en) * 2010-01-11 2012-07-30 Ericsson Telefon Ab L M Technique for video quality estimation
WO2011127628A1 (en) * 2010-04-15 2011-10-20 Thomson Licensing Method and device for recovering a lost macroblock of an enhancement layer frame of a spatial-scalable video coding signal
KR20110124161A (ko) * 2010-05-10 2011-11-16 삼성전자주식회사 계층 부호화 영상의 송수신 방법 및 장치
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
GB2492330B (en) 2011-06-24 2017-10-18 Skype Rate-Distortion Optimization with Encoding Mode Selection
GB2492163B (en) 2011-06-24 2018-05-02 Skype Video coding
GB2492329B (en) 2011-06-24 2018-02-28 Skype Video coding
GB2493777A (en) * 2011-08-19 2013-02-20 Skype Image encoding mode selection based on error propagation distortion map
GB2495468B (en) 2011-09-02 2017-12-13 Skype Video coding
GB2495469B (en) 2011-09-02 2017-12-13 Skype Video coding
GB2495467B (en) * 2011-09-02 2017-12-13 Skype Video coding
CN102316325A (zh) * 2011-09-23 2012-01-11 清华大学深圳研究生院 基于统计的h.264svc增强层的快速模式选择方法
US10602151B1 (en) 2011-09-30 2020-03-24 Amazon Technologies, Inc. Estimated macroblock distortion co-optimization
US9432704B2 (en) * 2011-11-06 2016-08-30 Akamai Technologies Inc. Segmented parallel encoding with frame-aware, variable-size chunking
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
CN103139560B (zh) * 2011-11-30 2016-05-18 北京大学 一种视频编码方法及系统
CN102547282B (zh) * 2011-12-29 2013-04-03 中国科学技术大学 可伸缩视频编码错误隐藏方法、解码器和系统
US9661348B2 (en) * 2012-03-29 2017-05-23 Intel Corporation Method and system for generating side information at a video encoder to differentiate packet data
US9843801B2 (en) * 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
US9641836B2 (en) * 2012-08-07 2017-05-02 Qualcomm Incorporated Weighted difference prediction under the framework of generalized residual prediction
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
CN104584553A (zh) 2012-09-28 2015-04-29 英特尔公司 层间残差预测
KR20220131366A (ko) * 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
US11438609B2 (en) 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
WO2015056449A1 (ja) 2013-10-18 2015-04-23 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP6538324B2 (ja) * 2013-10-18 2019-07-03 パナソニック株式会社 画像符号化方法および画像符号化装置
WO2015104451A1 (en) * 2014-01-07 2015-07-16 Nokia Technologies Oy Method and apparatus for video coding and decoding
US10886943B2 (en) * 2019-03-18 2021-01-05 Samsung Electronics Co., Ltd Method and apparatus for variable rate compression with a conditional autoencoder
WO2023015520A1 (zh) * 2021-08-12 2023-02-16 华为技术有限公司 图像编解码方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320715A (ja) * 2000-05-10 2001-11-16 Robert Bosch Gmbh 動画の局所的階層符号化方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037987A (en) * 1997-12-31 2000-03-14 Sarnoff Corporation Apparatus and method for selecting a rate and distortion based coding mode for a coding system
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
AU2002228884A1 (en) * 2000-11-03 2002-05-15 Compression Science Video data compression system
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US7440502B2 (en) * 2002-11-14 2008-10-21 Georgia Tech Research Corporation Signal processing system
US7142601B2 (en) * 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320715A (ja) * 2000-05-10 2001-11-16 Robert Bosch Gmbh 動画の局所的階層符号化方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016535465A (ja) * 2013-04-05 2016-11-10 ヴィド スケール インコーポレイテッド 多重レイヤビデオコーディングに対するインターレイヤ基準画像エンハンスメント
US10708605B2 (en) 2013-04-05 2020-07-07 Vid Scale, Inc. Inter-layer reference picture enhancement for multiple layer video coding

Also Published As

Publication number Publication date
US20070160137A1 (en) 2007-07-12
EP1977612A2 (en) 2008-10-08
KR20080089633A (ko) 2008-10-07
TW200731812A (en) 2007-08-16
CN101401440A (zh) 2009-04-01
WO2007080480A3 (en) 2007-11-08
WO2007080480A2 (en) 2007-07-19

Similar Documents

Publication Publication Date Title
JP2009522972A (ja) スケーラブルなビデオ符号化におけるエラー耐性を有するモード決定
US10230978B2 (en) Filtering strength determination method, moving picture coding method and moving picture decoding method
US20070030894A1 (en) Method, device, and module for improved encoding mode control in video encoding
CN101755458B (zh) 可缩放视频编码方法和装置以及可缩放视频解码方法和装置
US20070014348A1 (en) Method and system for motion compensated fine granularity scalable video coding with drift control
US20070201551A1 (en) System and apparatus for low-complexity fine granularity scalable video coding with motion compensation
KR20080092425A (ko) 스케일링가능한 비디오 코딩을 위한 스위치드 필터업-샘플링 메커니즘
KR20090133126A (ko) 모션 벡터 예측을 위한 방법 및 시스템
CN103609122A (zh) 用于视频编码的率失真优化
KR102407912B1 (ko) 양방향 인트라 예측 시그널링
US11936871B2 (en) Method and device for picture encoding and decoding using illumination compensation
Wise Error resilient H. 264 coded video transmission over wireless channels

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120110