JP2008099325A - 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法 - Google Patents

画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法 Download PDF

Info

Publication number
JP2008099325A
JP2008099325A JP2007308707A JP2007308707A JP2008099325A JP 2008099325 A JP2008099325 A JP 2008099325A JP 2007308707 A JP2007308707 A JP 2007308707A JP 2007308707 A JP2007308707 A JP 2007308707A JP 2008099325 A JP2008099325 A JP 2008099325A
Authority
JP
Japan
Prior art keywords
image
frame
region
video
random access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007308707A
Other languages
English (en)
Other versions
JP4695129B2 (ja
Inventor
Miska M Hannuksela
エム． ハンヌクセラ，ミスカ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2008099325A publication Critical patent/JP2008099325A/ja
Application granted granted Critical
Publication of JP4695129B2 publication Critical patent/JP4695129B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

【課題】符号化画像シーケンスにおける画像のランダム・アクセスおよび段階的更新の実現。
【解決手段】画像シーケンスに対するランダム・アクセス及びそれの段階的更新を提供するための方法及び関連する装置。分離領域、柔軟マクロブロック順序、及びスライス境界におけるループ・フィルタの停止の利用によって、段階的復号器更新が可能となる。ランダム・アクセス操作の信頼できる検出に対する、及びリーディング・フレーム及び開復号器更新（ＯＤＲ）ピクチャの信頼できる伝達に対する、機構もまた提供される。
【選択図】図１

Description

関連出願の相互参照
本発明は、２００２年７月１６日に出願の出願番号第６０／３９６，２００号の優先権を主張する。
本発明は、一般に、ビデオ画像のランダム・アクセス及び段階的更新に関する。より具体的には、本発明は、ＩＴＵ−Ｔ Ｈ．２６４ ｜ ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ パート１０画像符号化規格に従って符号化される画像シーケンスにおけるビデオ画像のランダム・アクセス及び段階的更新に対する方法に関する。
画像シーケンスは、一連の静止画像すなわちフレームから成る。画像圧縮法は、画像シーケンスの冗長な部分及び知覚的に無関係な部分を低減させることに基づいている。画像シーケンスの冗長性は、スペクトル冗長性、空間的冗長性、時間的冗長性に分類することができる。スペクトル冗長性は、同一の画像の異なる色成分の間の類似性のことを指す一方で、空間的冗長性は、画像の隣接する画素の間の類似性から生じる。以前の画像に現れている物体は現在の画像にも現れる傾向があることから、時間的冗長性は生じる。この時間的冗長性を利用して、アンカー又は基準画像と称される別の画像から現在の画像を予測することによって、圧縮を達成することができる。実際には、現在の画像と以前の画像との間の動きを記述する動き補償データを生成することによって、圧縮を達成する。
画像圧縮法は、時間的冗長性低減を利用する画像とそれを利用しない画像との間で違いがある。時間的冗長性低減法を利用しない圧縮画像は、通常、イントラ（又はＩ）・フレーム又はイントラ・ピクチャと称される。時間的予測画像は、通常、現在の画像の前に生じた画像から前方に予測され、インター・フレーム又はＰフレームと称される。インター・フレームの場合には、予測動き補償画像は、十分に正確であることはまれであり、それゆえ、空間的圧縮予測誤差フレームは各インター・フレームと関連づけられる。インター・ピクチャは、イントラ符号化領域を含むことができる。
多くの画像圧縮法は、通常Ｂピクチャ又はＢフレームと称される時間的双方向性予測フレームをも用いる。Ｂピクチャは、Ｉ及び／又はＰフレームのアンカー・ピクチャ対の間に挿入され、アンカー・ピクチャの１つ又は両者のいずれかから予測される。Ｂピクチャは、通常、前方予測インター符号化Ｐピクチャと比較して増加した圧縮をもたらす。Ｂピクチャは、アンカー・ピクチャとしては用いられない。すなわち、別の画像は、Ｂピクチャからは予測されない。従って、Ｂピクチャは、未来の画像の画像品質に影響を与えずに（意識的に又は無意識的に）廃棄することができる。Ｂピクチャは、Ｐピクチャと比較して圧縮性能を改善することができる一方で、それを生成するには、かなりの計算の複雑さ及びメモリ使用量を必要とし、付加的な遅延が伴う。このことは、画像ストリーミングのような非実時間の応用に対しては問題とならないかもしれないが、テレビ会議のような実時間の応用においては問題を生じることがある。
このように、上記で説明したように、時間的に独立なイントラ・ピクチャ、時間的に異なって符号化されるインター・ピクチャ、及び（場合によっては）双方向性予測されるＢピクチャに大まかに分類することのできる、一連のピクチャから、圧縮ビデオ・クリップは、通常、構成される。イントラ符号化画像の圧縮効率は、インター符号化画像の圧縮効率よりも通常は低いので、控えめに、特に低ビットレートの応用において用いられる。しかしながら、イントラ符号化画像は、画像シーケンス中のいかなる他の画像からも独立に復号化することができるので、各イントラ・ピクチャは、符号化画像シーケンスへの入り口（又は、ランダム・アクセス・ポイント）、すなわち符号化を開始することのできるポイントを代表する。従って、画像シーケンスへのランダム・アクセスを可能とするためには、例えば規則的な間隔で、符号化画像シーケンス内に或る数のイントラ符号化画像を含めるのが好適である。更に、典型的な画像シーケンスは、多数のシーンすなわちショットを含む。画像の内容が或るシーンと別のシーンとで著しく異なるときには、それぞれの新しいシーンの最初の画像をイントラ・フォーマットで符号化するのも好適である。このように、符号化シーケンス内に別のイントラ符号化フレームが含まれていないとしても、少なくとも各シーンの最初のフレームは、ランダム・アクセス・ポイントを与える。（ランダム・アクセス・ポイントを構成する）イントラ符号化フレームで始まり、次のイントラ符号化フレームに直接先行するフレームで終わる、符号化画像シーケンスにおける独立に復号化可能な一連の画像のそれぞれは、通常、画像グループ或いは短くＧＯＰと称される。
例えば、ユーザがストリーミングされる画像ファイル内の新しい位置を探す結果のような、あるランダム・アクセス操作を（例えば、画像シーケンスを見る人等の）エンドユーザは起こす。この場合、復号器は、ユーザが起こすランダム・アクセス操作の指示を受け取ることがあり、それに応じて動作することができる。しかしながら、或る状況においては、ランダム・アクセス操作を、エンドユーザは制御しない。例えば、ユーザが実行するランダム・アクセス操作に類似の特徴を有する符号化ストリーム内の「カット」を、つなぎ合わされたストリームすなわち編集されたストリームは含むことがある。しかしながら、この後者の場合においては、復号器は、そのようなカットが生成したいかなる指示も受け取らず、シーケンス内で引き続く画像を正しく復号化することができないことがある。従って、符号化画像ストリームにおけるランダム・アクセス操作又はカットを検出するための信頼できる方法を、画像復号器は備えていることが重要である。
現在の画像符号化規格は自己充足の画像ビット・ストリームに対してシンタックスを規定する。これを書いている時点での最も普及している規格は、国際電気通信連合ＩＴＵ−Ｔ勧告Ｈ．２６３、「低ビットレート通信用画像符号化」、１９９８年２月、国際標準化機構／国際電気標準会議ＩＳＯ／ＩＥＣ １４４９６−２、（ＭＰＥＧ−４として知られる）「視聴覚物体の包括的符号化パート２：視覚」、１９９９年、及び、（ＭＰＥＧ−２として知られる）ＩＴＵ−Ｔ勧告Ｈ．２６２（ＩＳＯ／ＩＥＣ １３８１８−２）である。これらの規格は、ビットストリーム及び同様に画像シーケンス及び画像に対する階層を規定する。更なる画像符号化規格の開発は、なお進行中である。ＩＴＵ−Ｔ Ｈ．２６４ ｜ ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ パート１０として知られる、Ｈ．２６３に対する長期にわたる後継規格の開発における標準化の努力は、ＩＳＯ／ＩＥＣ ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）及びＩＴＵ−Ｔ ＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の共同画像チーム（ＪＶＴ）として知られる標準化機関の主催の下に共同でなされている。これらの規格のいくつかの特定の面、特に本発明に関連するＨ．２６４画像符号化規格の特徴を、以下に記載する。
図１は、Ｉ Ｂ Ｂ Ｐ…等の形態を有するパターンで配列された、イントラ符号化Ｉピクチャ、インター符号化Ｐピクチャ、及び双方向符号化Ｂピクチャから成る従来の符号化画像シーケンスを説明する。箱は、表示順でのフレームを示し、矢線は、動き補償を示し、箱の中の文字はフレーム・タイプを示し、箱の中の値は、フレームの符号化／復号化順を示す（Ｈ．２６４画像符号化規格に従って仕様が定められた）フレーム番号である。
以前のＩフレームをランダムにアクセスした後では正確に復号化できず、Ｉフレームの表示時間の前に表示時間を有する、あらゆるフレームすなわち画像のことを記述するために、「リーディング・フレーム」又は「リーディング・ピクチャ」という用語を用いる。（図１のＢフレームＢ１７はリーディング・フレームの例である）。この記述において、リーディング・ピクチャでランダムにアクセスできるフレームを示すために、「開復号器更新」（ＯＤＲ）ピクチャという用語を用いる。
図１に示したものと類似の符号化フレーム・パターンは、一般的であり、ゆえに、できる限り容易にＯＤＲピクチャにランダム・アクセスするのが望ましい。
ＯＤＲピクチャにアクセスするための多数の選択肢が既に存在する。典型的な解決策は、あらゆるリーディング・Ｂピクチャを単純に廃棄することである。これは、基準画像の選択及びＩピクチャが常にランダム・アクセス・ポイントにある復号化及び表示の順序の分断を可能としない画像符号化規格において、通常採用される方法である。
この問題に対する別の解決策は、（符号化／復号化の順序において）Ｉフレームのすぐ後に続く全ての記憶されていないフレームをリーディング・フレームと考えることである。この方法は、図１に示した単純な場合にはうまく行くが、記憶されているリーディング・フレームを扱う特性を欠いている。ランダムにアクセスできるＩフレームの前に記憶されているリーディング・フレームがある符号化方式の例を図２に示す。記述したような、リーディング・フレームの単純で暗黙的な識別は、この例では正確に動作しない。
更なる単純なアイデアは、（符号化／復号化の順序において）Ｉフレームの後に生じる全てのＢピクチャをリーディング・ピクチャと考えることである。しかしながら、リーディング・ピクチャは、必ずしもＢピクチャでなくても良い。"Simple Packet Loss Recovery Method for Video Streaming", Proceedings of Packet Video Workshop 2001, Kyongju, South Korea, April 30-May 1, 2001と題するMiska M. Hannukselaによる科学記事及びＩＴＵ−Ｔ ＳＧ１６／Ｑ１５文献Ｑ１５−Ｋ３８は、画像符号化における改善された誤り復元力に対するイントラフレーム先送り法を提案し、これを採用することにより、リーディング・フレームの識別に対するこの単純な方法は、役に立たないものとなる。図３は、１記憶フレーム間隔だけ先送りされるイントラ・フレームの例を示す。結果として、表示の順序においてイントラ・フレームに先行する１個のＰフレーム（Ｐ１７）が存在する。
ＪＶＴ文献ＪＶＴ−Ｂ０６３は、特定のフレームから復号化を開始した後に、表示の順序において全ての引き続くフレームを満足に完全に修正するのにかかる時間を示す（補足強調情報として画像ビットストリーム内に与えられる）初期化遅延にフレームを関連付けることができることを提案している。ＯＤＲピクチャにアクセスする際に、この初期化遅延ＳＥＩ情報を用いることができる。しかしながら、この方法に関連する３つの欠点が存在する。第１に、ＳＥＩメッセージを扱うための復号器処理は、標準的ではない。すなわち、それは、Ｈ．２６４規格の義務的な部分ではなく、ゆえに、Ｈ．２６４に従って実現される全ての復号器によってサポートされる必要はない。従って、規格に準拠するストリームにランダムにアクセスするが、リーディング・ピクチャに対して欠けている基準フレームのためにそれを復号化することができない、標準に準拠するＳＥＩなしの復号器が存在し得る。第２に、リーディング・フレームが更新動作の役に立たないことを復号器が知らないときに、復号器は、記憶されたリーディング・フレームのような或るデータを無用に復号化することがある。第３に、欠けているフレーム番号を参照するための復号器の動作は、より複雑になる。結果として、この方法は、ＯＤＲピクチャのランダム・アクセスに対する解決策として望ましくはない。
（ＪＶＴ委員会草案において仕様が定められた）Ｈ．２６４画像符号化規格は、「瞬時復号器更新」及び「独立ＧＯＰ」という概念を含む。瞬時復号器更新という用語は、イントラ・フレームに先立つデータが復号化の過程で参照されない「きれいな」ランダム・アクセス法のことを称している。独立ＧＯＰは、以前の又は後の画像から独立に復号化できる画像のグループである。「瞬時復号器更新」（ＩＤＲ）ピクチャは、新しい独立ＧＯＰの開始を伝える。このように、Ｈ．２６４に従って、ＩＤＲピクチャをランダム・アクセス・ポイントとして用いることができる。（より詳しくは、瞬時復号器更新に対する要請を分析する文献ＪＶＴ−Ｂ０４７及び特徴に対するシンタックス、セマンティックス、及び規格テキストを提案するＪＶＴ−Ｃ０８３を参照されたい。）
Ｈ．２６４画像符号化規格に包含するために提案された別の概念は、「段階的復号器更新」（ＧＤＲ）という概念である。これは、以前に符号化されたが場合によっては受信されなかったデータが参照され、２つ以上の符号化画像を介して正しい画像内容を段階的に復元する、いわゆる「汚い」ランダム・アクセスの形態のことを称する。ＧＤＲは、あらゆるタイプのフレームを用いてランダム・アクセス機能を可能とする。ＧＤＲに対する信号伝達機構は、最初にＪＶＴ文献ＪＶＴ−Ｂ０６３（次いでＪＶＴ文献ＪＶＴ−Ｂ１０９）において提案された。ＪＶＴ−Ｂ０６３は、ＧＤＲ復号化過程を初期化するために２つの基礎選択肢である「ベストエフォート型復号化」及び「保証復号化」が基本的に存在すると結論付けた。ベストエフォート型復号化においては、全ての入手不可能なフレームは、中間レベルの灰色に初期化され、全てのフレームの復号化が開始されるが、或る指定された条件が満たされて初めて、フレームは、完全に満足に正しくなると考えられる。「保証復号化」においては、復号器は、Ｉフレームから復号化を開始して、次いで、残りのフレームが入手不可能なデータに対する参照を含まないことを保証するように、Ｉフレームでないフレームをもはや復号化しなくなるまで時間を置く。ＪＶＴ−Ｂ０６３においては、ベストエフォートの選択肢が選ばれた。
段階的復号器更新の符号化に関する問題は、ＪＶＴ文献ＪＶＴ−Ｃ０７４において研究された。この文献は、その時点で適正なＪＶＴ Ｈ．２６４コーデックのバージョンを用いてＧＤＲを実現するのは不可能であると結論付け、「分離領域技術」（ＩＲＥＧ）として知られる方法をＧＤＲ符号化に対して用いるべきであると提案した。
分離領域技術は、ＪＶＴ文献ＪＶＴ−Ｃ０７２において提案された。分離領域は、マクロブロックの同色の領域であり、境界を横断するときにはループ・フィルタリングを停止すべきあり、境界までに空間的な画像内予測が制限されるような境界の形状を規定する。基準フレーム内の分離領域の外側における時間的予測は許可すべきではない。分離領域の形状は多数の連続する符号化画像の間で進展することができる。内部おいて分離領域の形状が以前の画像内の相当する分離領域の形状に依存し、時間的予測なしで符号化された初期の分離領域を含む画像を含む画像グループ（ＧＯＰ）は、「進展する分離領域を有する画像グループ」（ＩＲＥＧ ＧＯＰ）と称される。（符号化基準フレームに関する）相当する時間は、「進展する分離領域の時間」又は「ＩＲＥＧ時間」と呼ばれる。
上述したように、ＩＲＥＧは、ＧＤＲ機能を可能とするための簡潔な解決策を与え、誤り復元力及び回復（ＪＶＴ文献ＪＶＴ−Ｃ０７３を参照されたい）、関心領域符号化及び優先順位付け、ピクチャインピクチャ機能、及びマスクされた画像シーン遷移の符号化（文献ＪＶＴ−Ｃ０７５を参照されたい）を与えるためにも用いることができる。ＩＲＥＧに基づく段階的ランダム・アクセスは、受信機に対するメディア・チャンネル切り替え、サーバに対するビットストリーム切り替えを可能とし、更に、マルチキャスト・ストリーミングの応用において新規参入者の容易なアクセスを可能とする。
改善された誤り復元力特性及び分離領域の段階的復号器更新特性は、同時に適用可能である。従って、復号器が段階的復号器更新を得るために分離領域を用いる場合、付加的なビットレート又は複雑さのコストなしで「無料で」、改善された誤り復元力を得るし、逆も真である。
Ｈ．２６４画像符号化規格に含まれる更なる概念は、「柔軟マクロブロック順序」（ＦＭＯ）という概念である。ＦＭＯは、最初に、ＪＶＴ寄稿ＪＶＴ−Ｃ０８９において提案され、次いで、Ｈ．２６４規格のＪＶＴ委員会草案に含まれた。画像をスライス・グループに分割することによって、ＦＭＯは、典型的なラスター走査順序以外の順序でマクロブロックを符号化することを可能とした。この機構が可能とする基本となる応用は、散乱スライス（ＪＶＴ文献ＪＶＴ−Ｃ０９０を参照されたい）及び（ＪＶＴ文献ＪＶＴ−Ｃ０９１において提案された）スライス・インターリービングのような誤り復元法の実現である。その柔軟性のおかげで、柔軟マクロブロック順序の別の応用も可能である。ＪＶＴ文献ＪＶＴ−Ｄ０９５は、ＦＭＯに対するいくつかの拡張を提案している。
誤り復元力を改善し完全なＧＤＲをサポートするために、スライスの境界においてループ・フィルタを停止することが、文献ＪＶＴ−Ｃ１１７において提案された。このループ・フィルタの制限は、２つの付加的な利点を有する。第１に、それは、ＦＭＯ技術に固有の平行処理問題に対する良い解決策を与え、第２に、それは、順序違いのスライスを時間内に正確に復号化することを可能とするために必要なものである。
本発明の要約
本発明は、符号化画像シーケンスにおける画像のランダム・アクセス及び段階的更新を実現するための新しい方法を導入する。特に、本発明は、Ｈ．２６４画像符号化規格の開発の間に提案された段階的復号器更新の方法に基づいており、Ｈ．２６４画像コーデックに関連するＧＤＲに対する実用的な具体化を提案する。しかしながら、本発明は、Ｈ．２６４規格の範囲内の適用に決して限定されず、イントラ及びインター符号化フレームの組み合わせを用いて画像シーケンスが符号化され、Ｈ．２６４で用いられているのと類似のシンタックスを採用する、その他の画像符号化規格に適用することができることを理解されたい。
より具体的には、本発明は、分離領域、柔軟マクロブロック順序、及びスライス境界におけるループ・フィルタの停止によって可能となる段階的復号器更新の実現を提案する。特に、本発明は、Ｈ．２６４画像符号化規格に含めるために、ＪＶＴ−Ｃ０７２という元の分離領域技術を調整し、段階的復号器更新に対する信号伝達法を導入する。
本発明は、ランダム・アクセス操作の信頼できる検出に対する機構をも提案する。
本発明は、リーディング・フレーム及びＤＯＲピクチャの信頼できる信号伝達に対する機構をも提案する。
本発明に従う段階的復号器更新の実用的な具体化について、ここに記載する。
本発明の背景において前述したように、スライスの境界においてループ・フィルタを停止することは、段階的復号器更新の実現に対して利点がある。特に、通常の復号化における画素値の不適合及びランダム・アクセス後の復号化中における画素値の不適合を避けるために、更新される領域の境界線を横断するループフィルタリングは、停止すべきである。ループ・フィルタ制限を行わない（すなわち、ループ・フィルタリングをなお可能とする）段階的復号器更新は、可能であり、厄介な不適合はあまり起こらないようである。しかしながら、不適合の振幅と伝播を制御するのは困難なので、ループ・フィルタを停止するのが望ましい。従って、画像の境界のようなスライスの境界を扱うように、ループ・フィルタリングを制限することを、本発明は提案する。この制限は、画像毎の基準で信号伝達することができる。より具体的には、本発明の望ましい実施形態によれば、或るマクロブロックとその左隣のマクロブロックが異なるスライスに属する場合には、そのマクロブロックは、あたかも左の画像境界上にあるかのようにフィルタされる。或るマクロブロックとその上方の隣接するマクロブロックが異なるスライスに属する場合には、そのマクロブロックは、あたかもその画像内のマクロブロックの最上行にあるかのようにフィルタされる。
本発明は、更に、段階的復号器更新と関連して用いるために「スライス・グループ」という概念を導入する。本発明によれば、スライス・グループは、或る画像の領域を覆うスライスのグループとして規定され、グループ内の各スライスのサイズは、独立に調整可能である。符号化されたスライスのサイズは、望ましい転送パケット・サイズに従って調整されるのが有利である。スライス・グループは、本発明に従って規定されるが、それは、（ＪＶＴ文献ＪＶＴ−Ｃ０７２によって導入され、テキストの前の方に記載されている）分離領域法を用いて段階的復号器更新を実現するためには、理想的である。特に、分離領域は、２つ以上のスライスを含むことができる或る空間的領域を覆い、その境界は、スライスの境界と同様に処理すべきである（特に、ループ・フィルタリング及びイントラ予測は停止する必要がある）。段階的に更新される領域は、典型的には、画像毎に成長するので、分離領域の形状、サイズ、及び位置は、段階的復号器更新を実現するために用いられるときに、進展する。かかる形状の進展は、Ｈ．２６４画像符号化規格のＦＭＯシンタックスを用いてもたらすことができるが、進展する形状に対して特定のＦＭＯシンタックスが規定されている場合に、著しいビット数を節約することができる。
本発明によれば、連続するフレーム内の分離領域の形状及び位置の情報が記憶される。この情報を、動き推定において用いる。動き推定／補償を実行する方法も、分離領域の利用を容易にするように、修正されている。特に、全画素動き推定を実行する場合には、相当する基準フレーム内の分離領域の外側を参照する動きベクトルは、符号化コストを計算せずに廃棄される。動き推定／補償を非整数の画素解像度に対して実行する場合には、特別な基準も必要である。Ｈ．２６４画像符号化規格は、１／４又は１／８画素精度までの動き推定／補償を可能とする。１／４及び１／８副画素（sub-pixel）を内挿するために、様々な内挿フィルタを用いる。１／４画素精度に対しては、６タップ・フィルタリングを用いて１／２の標本位置が内挿され、整数又は１／２の標本位置における２つの最も近い標本の平均を取ることによって１／４の標本位置が内挿される。この一般的規則には、「変な位置」として知られる１つの例外が存在する。それは、４個の最も近い整数の標本を平均することによって得られる。内挿過程の結果として、或る「使い残し」領域が、分離領域の内部にあるがその境界から２整数画素未満しか離れないところに存在する副画素に影響を与える。本発明によれば、副画素解像度までの動き推定を実行する場合に、この事実を考慮する。より具体的には、分離領域の境界から２画素より近いブロックを参照する動きベクトルは、符号化コストを計算せずに廃棄される。動き推定／補償に対して１／８画素解像度を用いる場合にも、同様の操作を実行する。
上記で説明したように、分離領域を用いて段階的復号器更新を実行する場合には、分離領域は、サイズ、形状、及び位置が進展する。究極的には、段階的復号器更新過程の結果として、信頼できる（すなわち、完全に再構成された）フレームが得られる。これは、分離領域が進展して全フレームに等しくなる（すなわち、全画像領域を覆う）場合に得られる。本発明によれば、一旦この状況に達すると、引き続くフレームの符号化に、以下の制限が課せられる。
１． 新しい分離領域は、以前のＩＲＥＧ ＧＯＰからの予測を避ける必要がある。
２． 使い残し領域に対しては、信頼できるフレームの前のフレームにおける使い残し領域を参照する予測及び以前のＩＲＥＧ ＧＯＰより時間的に前のフレームにおける任意のブロックを参照する予測は、避けるべきである。この２つの要請を満たすために、上述したものと類似の適切な基準フレーム制限及び動きベクトル制限を適用する。
本発明に従って実現される分離領域を用いるＧＤＲ技術が利用されるフレームにおいて、各画像は、１つの分離領域及び１つの使い残し領域を含む。分離領域は、或るスライス・グループであり、使い残し領域は、別のスライス・グループである。２つのスライス・グループの領域の形状は、信号伝達される領域成長率に応じて、進展し、画像毎に分離領域の進展に従う。
本発明は、分離領域の信号伝達を可能とするために、Ｈ．２６４画像符号化規格に含まれることになる付加的なシンタックスを更に導入する。より具体的には、本発明によれば、いくつかの新しいｍｂ＿ａｌｌｏｃａｔｉｏｎ＿ｍａｐ＿ｔｙｐｅをＨ．２６４規格のシンタックスに加える。それらを以下の表１に示す。ここで、分離領域をサポートするために導入される加えられたシンタックス要素は、右側の列に「ＩＲＥＧ」で示され、「ＲＥＣＴ」は、（ＪＶＴ−Ｄ０９５において提案されている）長方形スライス・グループを示す。
Figure 2008099325
表１において、ｍｂ＿ａｌｌｏｃａｔｉｏｎ＿ｍａｐ＿ｔｙｐｅが４、５、又は６（すなわち、画像中にわずか２つのスライス・グループしか存在しない）のとき、パラメータｎｕｍ＿ｓｌｉｃｅ＿ｇｒｏｕｐｓ＿ｍｉｎｕｓ１を１に設定する。ｇｒｏｗｔｈ＿ｒａｔｅパラメータは、分離領域が画像毎に成長するマクロブロックの個数を表す。成長率パラメータを用いて、更新すべき画像のサイズを知ると、復号器は、（ＧＤＲ時間として知られる）全画像を完全に更新するのに要する時間を決定することができる。例えば、（１１＊９の長方形アレイの中に９９個の１６＊１６画素のマクロブロックを含む）ＱＣＩＦピクチャで、画像毎に１０マクロブロックのｇｒｏｗｔｈ＿ｒａｔｅである場合には、完全に更新された画像を得るには、ＧＤＲ時間の開始から（これを含めて）、ｃｅｉｌ（９９／１０）＝１０画像だけかかる。
本発明に従って規定され、表１に示した、新しいｍｂ＿ａｌｌｏｃａｔｉｏｎ＿ｍａｐ＿ｔｙｐｅ、４、５、６、及びｅｖｏｌｕｔｉｏｎ＿ｄｉｒｅｃｔｉｏｎは、以下の表２に示すように、分離領域に対して６個のスライス・グループ進展パターンを規定する。
Figure 2008099325
表２に示した６個の領域進展パターンは、以下のように規定される。
１． ラスター走査：分離領域の第１のマクロブロックは、画像の左上のマクロブロックである。分離領域は、ラスター走査の順序で成長する。
２． 逆ラスター走査：分離領域の第１のマクロブロックは、画像の右下のマクロブロックである。分離領域は、逆ラスター走査の順序で成長する。
３． 右へ一掃：分離領域の第１のマクロブロックは、画像の左上のマクロブロックである。分離領域は、上から下へ成長する。列の最下部マクロブロックの後ろの次のマクロブロックは、前の列の右側にある列の上部マクロブロックである。
４． 左へ一掃：分離領域の第１のマクロブロックは、画像の右下のマクロブロックである。分離領域は、下から上へ成長する。列の最上部マクロブロックの後ろの次のマクロブロックは、前の列の左側にある列の底部マクロブロックである。
５． 時計回りにブロック：左上のマクロブロックに原点を有する（ｘ，ｙ）座標系を用い、マクロブロックの粒状度を有し、画像の符号化マクロブロックの行数を意味するのにＨを用い、画像の符号化マクロブロックの列数を意味するのにＷを用い、分離領域の第１のマクロブロックは、座標（ｘ０，ｙ０）＝（Ｗ／２，Ｈ／２）を有するマクロブロックである。「／」は切り捨てによる除算を意味する。
６． 反時計回りにブロック：上述の５個で導入されたのと同じ座標系、変数、及び算術操作の定義を用い、分離領域の第１のマクロブロックは、座標（ｘ０，ｙ０）＝（（Ｗ−１）／２，（Ｈ−１）／２）を有するマクロブロックである。成長の順序は、図４に示したものと同様であるが、反時計回り方向である。
復号器、符号化領域編集装置、及びネットワーク要素が、ランダム・アクセス・ポイントを容易に区別するように、本発明の望ましい実施形態は、Ｈ．２６４シンタックスのネットワーク適合層（ＮＡＬ）ユニット・タイプでＧＤＲ時間の開始を信号伝達することを提案する。ＧＤＲ時間の第１の画像は、ＧＤＲピクチャと呼ばれる。正確なシンタックスは要求されないが、用いることのできる模範的なシンタックスが、ＪＶＴ−Ｃ０７４作業草案において見られる。
本発明は、ＯＤＲピクチャ及びリーディング・フレームの信頼できる指示に対する機構をも提案する。
ＧＤＲピクチャの信号伝達に関連して今述べたのと類似の方法で、本発明は、ＯＤＲピクチャが専用ＮＡＬユニット・タイプを備えていることを提案する。
更に、本発明の望ましい実施形態においては、リーディング・フレームを明確にマークする。この方法は、復号器の実現にいかなる制限も複雑な問題も課さず、復号器がリーディング・フレームを容易に識別できる手段である機構を提供するので、望ましい。本発明によれば、リーディング・ピクチャは、任意の動き補償された画像、すなわち、Ｐ、Ｂ、及びＳＰピクチャとすることができる（ＳＰピクチャ・タイプは、Ｈ．２６４に従って規定された特別なタイプの動き補償された画像である）。好適には、与えられた画像がリーディング・ピクチャであるという明確な指示を与えるために、（ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ＿ｆｌａｇと名付けられた）フラグがこれらのピクチャ・タイプに関連付けられ、Ｈ．２６４ ＮＡＬユニット・タイプ・シンタックス内に、又は画像又はスライス・ヘッダー・シンタックス内に、加えられる。このオプションは、非常にわずかしか或いは全くビットレートのオーバーヘッドを伴わず、符号器及び復号器の両者に対して用いるのが容易なので、特に好適である。
本発明によれば、ＪＶＴ文献ＪＶＴ−Ｄ０９８に示されている「サブシーケンス識別子」を用いて、ランダム・アクセス・ポイントを示す。
ＧＤＲピクチャ及びＯＤＲピクチャ及びリーディング・ピクチャを信号伝達するための正確なシンタックスは、Ｈ．２６４画像符号化規格で採用されたＮＡＬユニット・タイプ・シンタックスの詳細に応じて変化することができる。
本発明に従って規定されるＯＤＲピクチャは、以下の特徴を有する。
１． ＯＤＲピクチャからのランダム・アクセス操作後に、復号化過程を開始又は再開することができる。
２． ＯＤＲピクチャは、Ｉスライス又はＳＩスライスのみを含む。
３． ＯＤＲ ＮＡＬユニットは、スライスＥＢＳＰを含む。
４． ＯＤＲ ＮＡＬユニット・タイプを、ＯＤＲピクチャの符号化マクロブロック・データを含む全てのＮＡＬユニットに対して用いる。
本発明に従って規定されるＧＤＲピクチャは、以下の特徴を有する。
１． ＧＤＲピクチャからのランダム・アクセス操作後に、復号化過程を開始又は再開することができる。
２． ＧＤＲピクチャは、あらゆる符号化タイプで符号化することができる。
３． ＧＤＲ ＮＡＬユニット・タイプを、ＧＤＲピクチャの符号化マクロブロック・データを含む全てのＮＡＬユニットに対して用いる。
本発明によれば、リーディング・ピクチャに関連付けられたｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは、以下の特徴を有する。
１． 復号化順序において以前のＯＤＲピクチャから復号化過程を開始して、現在の画像とＯＤＲピクチャとの間には復号化順序においてＩＤＲピクチャが現れなかった場合に、復号化されないことになる画像を、ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは信号伝達する。
２． ＯＤＲピクチャをランダムにアクセスする場合に正確に再構成することができないフレームを復号化せずに、表示の順序において時間的に以前の画像に対する動き補償基準として用いられるＯＤＲピクチャに対するランダム・アクセスを、ｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは可能とする。
ＯＤＲピクチャ及びＧＤＲピクチャ、及び本発明に従って規定されるランダム・アクセス・ポイント及びリーディング・フレームの信号伝達機構を採用することから、Ｈ．２６４復号化過程における以下の変化が生じる。
１． ＧＤＲピクチャ又はＯＤＲピクチャのサブシーケンス識別子が以前に受け取ったサブシーケンス識別子と異なる場合に、復号器は、ＧＤＲ又はＯＤＲ更新動作を推論し、最大持続フレーム・インデックスを０にリセットする。
２． ＯＤＲ動作がＯＤＲピクチャから始まった場合であり、ＯＤＲピクチャ又はＩＤＲピクチャが最初のＯＤＲピクチャ以来復号化されなかった場合に、「１」に等しいｌｅａｄｉｎｇ＿ｐｉｃｔｕｒｅ＿ｆｌａｇを有する画像は、復号化しない。
３． ＧＤＲ動作がＧＤＲピクチャから始まった場合に、復号器は任意の使い残し領域を復号化せず、使い残し領域を受け取らないならばデータの損失を推論しない。
Ｉ Ｂ Ｂ Ｐ符号化フレーム・パターンを説明し、リーディングＢフレームの位置を示す図である。 記憶されたリーディング・フレームを有するランダムにアクセス可能なＩフレームを示す図である。 イントラ・フレーム先送り技術を説明する図である。 本発明に従う、時計回りにブロックする形状の進展の成長順序を説明する図である。

Claims (8)

  1. 符号化画像シーケンスへのランダム・アクセスに関連して画像内容の段階的更新を実行するための方法であって、前記画像シーケンスは、多数の画像フレームで構成され、各フレームの前記画像内容は、少なくとも非時間的予測フォーマット及び時間的予測フォーマットの一方で符号化され、前記段階的更新は、前記画像フレームによって表現される画像領域内に領域を規定することによって実現され、前記画像シーケンスの各符号化フレームが前記ランダム・アクセスの後に復号化されるにつれて、前記領域の前記画像内容を漸進的に更新し、２以上のフレーム時間にわたって所定の方法で前記領域を漸進的に進展させて、前記画像フレームによって表現される全画像領域を覆い、それにより、前記画像内容の完全な更新を与えることを特徴とする方法。
  2. 前記ランダム・アクセスは、時間的予測フォーマットで符号化されたフレームにおいて生じることを特徴とする、請求項１に記載の方法。
  3. 前記ランダム・アクセスは、非時間的予測フォーマットで符号化されたフレームにおいて生じることを特徴とする、請求項１に記載の方法。
  4. 前記領域が進展する前記所定の方法の指示は、前記符号化画像シーケンスを表すビットストリーム内に与えられることを特徴とする、請求項１に記載の方法。
  5. 前記領域が進展する前記所定の方法の前記指示は、前記領域が進展する方向の指示を含むことを特徴とする、請求項４に記載の方法。
  6. 前記領域が進展する前記所定の方法の前記指示は、前記領域があるフレームから次のフレームに成長する量を指定する成長率の指示を含むことを特徴とする、請求項４に記載の方法。
  7. 成長率の前記指示は、前記領域があるフレームから次のフレームに成長するマクロブロックの個数を指定することを特徴とする、請求項６に記載の方法。
  8. 請求項１に記載の方法を実現するように準備された画像復号器。
JP2007308707A 2002-07-16 2007-11-29 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法 Expired - Lifetime JP4695129B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US39620002P 2002-07-16 2002-07-16
US60/396,200 2002-07-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004521916A Division JP2005533444A (ja) 2002-07-16 2003-07-16 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法

Publications (2)

Publication Number Publication Date
JP2008099325A true JP2008099325A (ja) 2008-04-24
JP4695129B2 JP4695129B2 (ja) 2011-06-08

Family

ID=30115983

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2004521916A Pending JP2005533444A (ja) 2002-07-16 2003-07-16 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法
JP2007308707A Expired - Lifetime JP4695129B2 (ja) 2002-07-16 2007-11-29 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2004521916A Pending JP2005533444A (ja) 2002-07-16 2003-07-16 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法

Country Status (11)

Country Link
US (1) US8300690B2 (ja)
EP (2) EP1547382A4 (ja)
JP (2) JP2005533444A (ja)
KR (1) KR100754419B1 (ja)
CN (3) CN1669321A (ja)
AU (1) AU2003251964A1 (ja)
BR (1) BR0312657A (ja)
CA (1) CA2492751C (ja)
HK (1) HK1123653A1 (ja)
MX (1) MXPA05000558A (ja)
WO (1) WO2004008735A2 (ja)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
KR100603592B1 (ko) * 2001-11-26 2006-07-24 학교법인 고황재단 영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2357732B1 (en) 2002-10-05 2022-04-06 QUALCOMM Incorporated Systematic encoding and decoding of chain reaction codes
US20040260827A1 (en) * 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US8249113B2 (en) 2004-03-19 2012-08-21 Broadlogic Network Technologies, Inc. Method and system for providing faster channel switching in a digital broadcast system
CN103124182B (zh) * 2004-05-07 2017-05-10 数字方敦股份有限公司 文件下载和流系统
KR100982518B1 (ko) * 2004-06-11 2010-09-16 삼성전자주식회사 영상 데이터 유닛의 ｄｃ 계수 예측 방법 및 그 장치
JP4680608B2 (ja) * 2005-01-17 2011-05-11 パナソニック株式会社 画像復号装置及び方法
US7697783B2 (en) * 2005-07-26 2010-04-13 Sony Corporation Coding device, coding method, decoding device, decoding method, and programs of same
US9467659B2 (en) 2005-09-27 2016-10-11 Qualcomm Incorporated Method and apparatus for progressive channel switching
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US8670437B2 (en) * 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
KR100770872B1 (ko) * 2006-02-17 2007-10-26 삼성전자주식회사 디지털 멀티미디어 방송 시스템에서 채널 전환 시간 단축을위한 데이터 수신장치 및 방법
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US8077626B2 (en) 2006-07-14 2011-12-13 Qualcomm Incorporated Quality of service (QoS) aware establishment of communication sessions
JP5378227B2 (ja) * 2006-11-14 2013-12-25 クゥアルコム・インコーポレイテッド チャネルスイッチングのためのシステムと方法
WO2008061211A2 (en) * 2006-11-15 2008-05-22 Qualcomm Incorporated Systems and methods for applications using channel switch frames
CN100499815C (zh) * 2007-01-12 2009-06-10 清华大学 一种支持视频帧随机读取的视频编解码方法
KR100834443B1 (ko) * 2007-02-27 2008-06-04 삼성전자주식회사 비디오 코덱을 위한 메모리 구조 및 메모리 액세스 방법
WO2008129500A2 (en) * 2007-04-24 2008-10-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
CN101321284B (zh) 2007-06-10 2012-01-04 华为技术有限公司 一种编解码方法、设备及系统
WO2009036378A1 (en) 2007-09-12 2009-03-19 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
JP2010103969A (ja) * 2008-09-25 2010-05-06 Renesas Technology Corp 画像復号方法、画像復号装置、画像符号化方法及び画像符号化装置
US9432723B2 (en) * 2009-08-03 2016-08-30 Google Technology Holdings LLC Method of encoding video content
EP2475173B1 (en) * 2009-09-03 2016-10-12 Nec Corporation Video encoding device, video encoding method and video encoding program
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9036692B2 (en) * 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101682147B1 (ko) 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
EP3285490B1 (en) * 2010-04-22 2021-03-10 HFI Innovation Inc. Motion prediction method
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US8964056B2 (en) 2011-06-30 2015-02-24 Cisco Technology, Inc. Encoder-supervised imaging for video cameras
TWI526053B (zh) * 2011-07-02 2016-03-11 三星電子股份有限公司 視訊解碼方法
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US9930360B2 (en) * 2011-11-08 2018-03-27 Texas Instruments Incorporated Method, system and apparatus for intra-refresh in video signal processing
US9906815B2 (en) * 2011-11-08 2018-02-27 Texas Instruments Incorporated Delayed duplicate I-picture for video coding
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US20130272619A1 (en) * 2012-04-13 2013-10-17 Sharp Laboratories Of America, Inc. Devices for identifying a leading picture
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
KR102574868B1 (ko) 2012-04-23 2023-09-06 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
US9516308B2 (en) 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
US9736476B2 (en) 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
US9674532B2 (en) * 2012-06-24 2017-06-06 Lg Electronics Inc. Image decoding method using information on a random access picture and apparatus using same
US9591303B2 (en) * 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
AU2015213423B2 (en) * 2012-06-28 2016-12-01 Ntt Docomo, Inc. Dynamic image predictive encoding and decoding device, method, and program
JP5891975B2 (ja) * 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
KR102397259B1 (ko) 2012-09-13 2022-05-12 엘지전자 주식회사 영상 부호화/복호화 방법 및 장치
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
WO2014051410A1 (ko) * 2012-09-28 2014-04-03 삼성전자 주식회사 랜덤 액세스를 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10187646B2 (en) * 2013-08-22 2019-01-22 Sony Corporation Encoding device, encoding method, transmission device, decoding device, decoding method, and reception device
US10264272B2 (en) * 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
JP6398569B2 (ja) * 2014-10-07 2018-10-03 株式会社ソシオネクスト 画像符号化装置、画像符号化方法および画像符号化プログラム
US10499053B2 (en) 2014-10-31 2019-12-03 Mediatek Inc. Method of improved directional intra prediction for video coding
US9762912B2 (en) 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
US20170094292A1 (en) * 2015-09-28 2017-03-30 Samsung Electronics Co., Ltd. Method and device for parallel coding of slice segments
CA3111617A1 (en) 2018-08-29 2020-03-05 Sharp Kabushiki Kaisha Video decoding apparatus and video coding apparatus
BR112021012096A2 (pt) * 2018-12-20 2021-09-08 Telefonaktiebolaget Lm Ericsson (Publ) Métodos para decodificar e codificar um fluxo contínuo de bits, portadora, e, aparelhos de decodificação e codificação para decodificar e codificar um fluxo contínuo de bits
CN113557722A (zh) 2019-03-11 2021-10-26 华为技术有限公司 视频译码中的逐步解码刷新
US11706429B2 (en) 2019-03-12 2023-07-18 Hyundai Motor Company Method and device for encoding and decoding image involving gradual refresh technique
JP6967653B2 (ja) * 2019-12-19 2021-11-17 株式会社Ｎｔｔドコモ 動画像予測復号方法
US11792432B2 (en) 2020-02-24 2023-10-17 Tencent America LLC Techniques for signaling and identifying access unit boundaries

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US5726711A (en) * 1993-01-13 1998-03-10 Hitachi America, Ltd. Intra-coded video frame data processing methods and apparatus
US5778143A (en) * 1993-01-13 1998-07-07 Hitachi America, Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh
US6072831A (en) * 1996-07-03 2000-06-06 General Instrument Corporation Rate control for stereoscopic digital video encoding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JP3358835B2 (ja) * 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
EP0670663A1 (fr) * 1994-03-02 1995-09-06 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de codage de signaux numériques représentatifs d'une séquence d'images
US5731840A (en) * 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
US5650823A (en) * 1995-03-27 1997-07-22 International Business Machines Corporation Half pel motion estimation method for B pictures
JP3297293B2 (ja) * 1996-03-07 2002-07-02 三菱電機株式会社 動画像復号方法および動画像復号装置
JP3698805B2 (ja) * 1996-03-25 2005-09-21 パイオニア株式会社 情報記録装置及び方法、情報処理装置及び方法並びに情報再生装置及び方法
US6310609B1 (en) * 1997-04-17 2001-10-30 Nokia Mobile Phones Limited User interface with guide lights
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
GB2366464A (en) * 2000-08-14 2002-03-06 Nokia Mobile Phones Ltd Video coding using intra and inter coding on the same data
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US7177522B2 (en) * 2000-10-10 2007-02-13 Broadcom Corporation System and method for personal video recording
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US20030169816A1 (en) * 2002-01-22 2003-09-11 Limin Wang Adaptive universal variable length codeword coding for digital video content
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
US7848428B2 (en) * 2004-06-17 2010-12-07 Broadcom Corporation System and method for reducing visible artifacts in video coding using multiple reference pictures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5726711A (en) * 1993-01-13 1998-03-10 Hitachi America, Ltd. Intra-coded video frame data processing methods and apparatus
US5778143A (en) * 1993-01-13 1998-07-07 Hitachi America, Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US6072831A (en) * 1996-07-03 2000-06-06 General Instrument Corporation Rate control for stereoscopic digital video encoding

Also Published As

Publication number Publication date
EP1547382A2 (en) 2005-06-29
KR20050019864A (ko) 2005-03-03
CN101232616B (zh) 2015-07-22
JP4695129B2 (ja) 2011-06-08
AU2003251964A8 (en) 2004-02-02
CA2492751A1 (en) 2004-01-22
CN101232615A (zh) 2008-07-30
CA2492751C (en) 2012-06-12
EP3177020B1 (en) 2023-04-19
MXPA05000558A (es) 2005-04-19
WO2004008735A2 (en) 2004-01-22
CN101232616A (zh) 2008-07-30
JP2005533444A (ja) 2005-11-04
US20040066854A1 (en) 2004-04-08
EP1547382A4 (en) 2013-10-30
AU2003251964A1 (en) 2004-02-02
KR100754419B1 (ko) 2007-08-31
EP3177020A1 (en) 2017-06-07
WO2004008735A3 (en) 2004-03-18
HK1123653A1 (zh) 2009-06-19
BR0312657A (pt) 2007-06-26
US8300690B2 (en) 2012-10-30
CN1669321A (zh) 2005-09-14

Similar Documents

Publication Publication Date Title
JP4695129B2 (ja) 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法
KR101904625B1 (ko) 비디오 코딩에서 서브-디코딩된 픽처 버퍼 (서브-dpb) 기반의 dpb 동작들을 위한 시그널링
US7324595B2 (en) Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
US7302001B2 (en) Random access points in video encoding
JP7337948B2 (ja) エンコーダ、デコーダ、および対応する方法
JP4324844B2 (ja) 画像復号化装置及び画像復号化方法
Hannuksela et al. Isolated regions in video coding
US20120230423A1 (en) Line memory reduction for video coding and decoding
EP2941876B1 (en) Multi-resolution decoded picture buffer management for multi-layer coding
JP4703449B2 (ja) 符号化方法
US20070230574A1 (en) Method and Device for Encoding Digital Video Data
US20150222918A1 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
CN116723326A (zh) 视频译码中的混合nal单元图像约束
GB2501125A (en) Providing adaptation parameters to a decoder by including an identifier to a relevant characteristic set in a bit stream portion.
GB2590632A (en) Video coding and decoding
TWI789632B (zh) 用於參考圖像重新取樣擴展之編碼器與解碼器、編碼方法及解碼方法
US6754270B1 (en) Encoding high-definition video using overlapping panels
RU2810200C2 (ru) Способ и устройство кодирования изображения на основе подкартинки
RU2803187C1 (ru) Способ и устройство кодирования изображения на основе подкартинки
RU2810653C2 (ru) Способ и устройство кодирования изображения для управления контурной фильтрацией
CA2542026C (en) Indicating regions within a picture
CN115086671A (zh) 资源受约束的视频编码
WO2024006231A1 (en) Methods and apparatus on chroma motion compensation using adaptive cross-component filtering

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4695129

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term