JP2007522698A - 符号化方法及び対応する符号化信号 - Google Patents

符号化方法及び対応する符号化信号 Download PDF

Info

Publication number
JP2007522698A
JP2007522698A JP2006546401A JP2006546401A JP2007522698A JP 2007522698 A JP2007522698 A JP 2007522698A JP 2006546401 A JP2006546401 A JP 2006546401A JP 2006546401 A JP2006546401 A JP 2006546401A JP 2007522698 A JP2007522698 A JP 2007522698A
Authority
JP
Japan
Prior art keywords
frame
frames
prediction
encoding
digital video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006546401A
Other languages
English (en)
Inventor
ビュラゼロヴィック,ドゼフデット
バルビエリ,マウロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2007522698A publication Critical patent/JP2007522698A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、連続するフレームからなるビデオストリームの形式で利用可能なデジタルビデオデータに適用される符号化方法に関する。これらのフレームは、マクロブロックに分割され、少なくとも、独立して符号化されたIフレーム、又は前記Iフレーム間で時間的に配置され、少なくとも前のI又はPフレームから予測されるPフレーム、又はIフレームとPフレームの間又は2つのPフレームの間で時間的に配置され、それらが配置される間で少なくともこれら2つのフレームから双方向的に予測されるBフレームの形式で符号化され、前記Pフレーム及びBフレームの予測は、過去及び未来からの不均一な予測量による重み付け予測により実行される。本発明によれば、この符号化方法は、重み付け予測を特徴づけする符号化パラメータを捕捉するために提供される構築ステップ。パラメータに関連する統計量を伝達する計算ステップ。予測の方向に関する優先の変化を判定するために提供される解析ステップ。緩やかなシーン変化の発生を検出するために提供される検出ステップ。前記発生の記述データを発生するために提供される記述ステップ。このように得られた記述データ及びオリジナルのデジタルビデオデータを符号化するための符号化ステップ。

Description

本発明は、マクロブロックに分割される連続するフレームからなるビデオストリームの形式で利用可能なデジタルビデオデータを符号化する符号化方法に関する。かかるフレームは、少なくとも、独立して符号化されるIフレーム、又はIフレーム間で時間的に配置され、少なくとも前のI又はPフレームから予測されるPフレーム、IフレームとPフレームとの間又は2つのPフレームの間で時間的に配置され、それらが配置される間で少なくともこれら2つのフレームから双方向的に予測されるBフレームの形式で符号化され、Pフレーム及びBフレームの予測は、過去及び未来からの不均一な予測量による重み付け予測により実行される。
また、本発明は、対応する符号化装置、コンピュータ読み取り可能な記憶媒体に記憶されるように提供され、前記符号化方法で定義されるステップを含む対応するコンピュータ実行可能なプロセスステップ、かかる符号化方法に従ってデジタルビデオデータを符号化することで生成される伝送可能な符号化信号に関する。
デジタルブロードキャストサービスが益々利用可能となってきており、一般に情報技術の専門家ではないユーザによりマルチメディア情報リソースの良好な利用を可能にすることが有効であると思われる。かかるマルチメディア情報は、ストリーミング、圧縮及びユーザとの対話性のような動作の観点で処理されるのが意図される、自然及び合成のオーディオ、ビジュアル及びオブジェクトデータから一般的に構成され、MPEG−4規格は、かかる動作を実行するのを可能にする多数の機能を提供する最も賛同されるソリューションのうちの1つである。MPEG−4の最も重要な態様は、オーディオビジュアルシーンのエレメントを指定するオブジェクトのコンセプトによる対話性の支援であり、かかるシーンのオブジェクトは、独立に符号化され、幾つかのビットストリーム、いわゆるエレメンタリストリームとして圧縮された形式で同時に記憶又は伝送される。MPEG−4の仕様は、これらのエレメンタリストリーム(オーディオ、ビデオ等)を識別及び記述し、それらをシーン記述を得るために適切なやり方で関連付けし、意味のあるマルチメディアシーンを構築してエンドユーザに提供することが意図されるオブジェクト記述フレームワークを含む。MPEG−4は、オブジェクトの構成としてマルチメディアデータをモデル化する。しかし、この規格の大きな成功は、益々情報がデジタル形式で利用可能になることに寄与する。正しい情報を発見及び選択することは、たとえば、かかる情報のコンテンツに関して判定を行うため、かかる情報のコンテンツに関する情報を共に必要とする特定用途でオーディオ−ビジュアルデータについて動作する自動化システムに関する人間のユーザにとって、益々困難になって生きている。
未だ未処理のMPEG−7規格の目的は、前記コンテンツを記述すること、すなわち音声、オーディオ、ビデオ、静止画、3次元モデル又は他の画像と同様に異なるマルチメディアマテリアルを記述する標準的な方法、及びこれらのエレメントがマルチメディアドキュメントでどのように結合されるかを記述する方法を発見することである。MPEG−7は、記述子D(それぞれの記述子がコンテンツの特定の機能、たとえば画像の色、オブジェクトの動き、映画のタイトル等を特徴付けることができる)、記述スキームDS(記述スキームは、記述子の構造及び関係を定義する)、記述定義言語DDL(記述子及び記述スキームを規定することが意図される)、及びこれら記述子の符号化スキームと呼ばれる多数の標準的なエレメントを定義することが意図される。図1は、これらMPEG−7の標準的なエレメント及びそれらの関係のグラフ的な外観を与える。記述子及び記述スキームを標準化することが必要であるかはMPEGにおいてなお議論中である。しかし、少なくとも最も広く使用されているセットが標準化される可能性が高いと思われる。
したがって、本発明の目的は、MPEG−7規格に関して非常に有効であることが意図される新たな記述子を提案することにある。
上記目的を達成するため、本発明は、説明の開始節で定義されたような符号化方法に関し、この符号化方法は、以下のステップを含むことを特徴とする。現在のフレームの全ての連続するマクロブロックについて、もしあれば前記重み付け予測を特徴付けする関連する符号化パラメータを捕捉するために提供される構築ステップ。前記現在のフレームについて、前記パラメータに関連する統計量を伝達する計算ステップ。前記統計量を解析し、予測の方向に関する優先の変化を判定するために提供される解析ステップ。優先(preference)の変化が判定されるたびに、フレームの系列における緩やかなシーン変化(gradual scene change)の発生を検出するために提供される検出ステップ。緩やかなシーン変化の前記発生の記述データを発生するために提供される記述ステップ。このように得られた記述データ及びオリジナルのデジタルビデオデータを符号化するために提供される符号化ステップ。
また、本発明は、マクロブロックに分割される連続するフレームからなるビデオストリームの形式で利用可能なデジタルビデオデータを符号化する符号化装置に関する。前記フレームは、少なくとも、独立して符号化されたIフレーム、又は前記Iフレーム間で時間的に配置され、少なくとも前のI又はPフレームから予測されるPフレーム、又はIフレームとPフレームの間又は2つのPフレームの間で時間的に配置され、それらが配置される間で少なくともこれら2つのフレームから双方向的に予測されるBフレームからなる形式で符号化され、前記Pフレーム及びBフレームの予測は、過去及び未来からの不均一な予測量による重み付け予測により実行される。当該符号化装置は、以下を有する。現在のフレームの全ての連続するマクロブロックについて、もしあれば前記重み付け予測を特徴づけする関連する符号化パラメータを捕捉するために提供される構築手段。前記現在のフレームについて、前記パラメータに関連する統計量を伝達する計算手段。前記統計量を解析し、予測の方向に関する優先の変化を判定するために提供される解析手段。優先の変化が判定されるたびに、フレームの系列における緩やかなシーン変化(gradual scene change)の発生を検出するために提供される検出手段。緩やかなシーン変化の前記発生の記述データを発生するために提供される記述手段。このように得られた記述データ及びオリジナルのデジタルビデオデータを符号化するために提供される符号化手段。
また、本発明は、マクロブロックに分割される連続するフレームからなるビデオストリームの形式で利用可能なデジタルビデオデータを符号化するために提供される符号化装置での使用に関し、前記フレームは、少なくとも、独立して符号化されたIフレーム、又は前記Iフレーム間で時間的に配置され、少なくとも前のI又はPフレームから予測されるPフレーム、又はIフレームとPフレームの間又は2つのPフレームの間で時間的に配置され、それらが配置される間で少なくともこれら2つのフレームから双方向的に予測されるBフレームからなる形式で符号化され、前記Pフレーム及びBフレームの予測は、過去及び未来からの不均一な予測量による重み付け予測により実行され、前記P及びBフレームの予測は、過去及び将来からの不均一な予測量による重み付けされた予測により実行される。更に、本発明は、コンピュータ読取り可能な記憶媒体に記憶されるように提供されるコンピュータ実行可能なプロセスステップに関し、以下のステップを含んでいる。現在のフレームの全ての連続するマクロブロックについて、もしあれば前記重み付け予測を特徴づけする関連する符号化パラメータを捕捉するために提供される構築ステップ。前記現在のフレームについて、前記パラメータに関連する統計量を伝達する計算ステップ。前記統計量を解析し、予測の方向に関する優先の変化を判定するために提供される解析ステップ。優先の変化が判定されるたびに、フレームの系列における緩やかなシーン変化の発生を検出するために提供される検出ステップ。緩やかなシーン変化の前記発生の記述データを発生するために提供される記述ステップ。このように得られた記述データ及びオリジナルのデジタルビデオデータを符号化するために提供される符号化ステップ。
本発明は、添付図面を参照して例示を通して以下に記載される。
図2に例示される本発明に係る複数のマルチメディアデータを符号化する方法は、以下のステップを含んでいる。取得ステップ(CONV)は、1以上のビットストリームに利用可能なマルチメディアデータを変換する。構築ステップ(SEGM)は、解析及びセグメンテーションにより前記ビットストリームにおける異なる情報のレベルを捕捉する。記述ステップは、取得された情報のレベルの記述データを生成する。さらに、符号化ステップ(COD)は、このように得られた記述データを符号化するのを可能にする。より詳細には、記述ステップは、前記複数のマルチメディアデータに関連する記述子のセットを記憶するために提供される定義サブステップ(DEF)、オリジナルのマルチメディアデータに基づいて構築するステップで取得された情報の各レベルに従って符号化されるべき記述データを選択する記述サブステップ(DESC)。符号化されたデータは、次いで、伝送及び/又は記憶される。図3に例示される対応する復号化方法は、先に記載された符号化方法によりエンコードされた信号をデコードするステップ(DECOD)、このようにして得られたデコードされた信号を記憶するステップ(STOR)、ユーザ(USER)により送出されたサーチコマンドに基づいて、前記デコードされた信号により構成されたデータのなかからサーチするステップ、記憶されたデータにおける前記サーチの検索結果を前記ユーザに送出するステップを含んでいる。
全ての可能なマルチメディアコンテンツに関連して記憶される記述子のなかで、本発明に従って提案される記述子は、将来的な規格H.264/AVCに基づいており、これは、勧告H.264/AVCとしてITU−Tにより、国際規格14496−10(MPEG−4Part10)Advanced Video Coding(AVC)としてISO/IECにより2003年に公式に承認されると期待される。この新たな規格は、ビデオにおける後続する画像間の相関を利用する実用的な方法としてブロックベースの動き補償を使用する、MPEG−2のような確立された規格から知られているブロックベースに動き補償変換符号化と全く同じ原理を利用している。この方法は、隣接する前にデコードされた基準ピクチャにおけるその「最良の整合」により所与の画像におけるそれぞれのマクロブロックを予測するのを試みる。マクロブロックとその予測との間の画素毎の差が十分に小さい場合、この差又は残余は、マクロブロック自身よりはむしろエンコードされる。実際のMBのグリッド位置に関する予測の相対的な変位は、個別に符号化される、動きベクトルにより示される。図2は、相方向予測のケースについてこの状況を例示しており、2つの基準画像が使用されており、(表示順序で)一方は過去であり、他方は未来である。このように予測された画像は、Bピクチャと呼ばれる。さもなければ、過去のみを参照することで予測される画像は、Pピクチャと呼ばれる。
H.264/AVCによれば、これら基本コンセプトが更に精巧に考案される。はじめに、H.264/AVCにおける動き補償は、複数の基準画像の予測に基づいており、所与のブロックの整合が、隣接する画像の代わりに、更に距離のある過去又は未来の画像において探される。第二に、H.264/AVCは、MBをより小さなブロックに分割し、これらのブロックのそれぞれを個別に予測するのを可能にする。これは、所与のMBの予測が異なる動きベクトルで検索され、異なる基準画像から検索される、異なるサブブロックから原理的に構成することができることを意味している。予測ブロックの数、サイズ及びオリエンテーションは、インターモードの選択により固有に決定される。たとえば16×8、8×8等、4×4にまでのブロックサイズを可能にする、幾つかのかかるモードが規定される。H.264/AVCにおける別の革新は、動き補償された予測信号がエンコーダにより規定される量により重み付け及びオフセットされるのを可能にする。これは、前のフレームP(i−n)及びP(i−1)並びに後続するフレームP(i+j)とP(i+m)から予測されたフレームB(i)に関する双方向予測のケースでは、エンコーダは、不均一な量を選択することができ、この量だけ、過去からの予測ブロック及び未来からの予測ブロックが全体の予測に寄与する。この特徴は、フェードを含むシーンの符号化効率を大幅に改善するのを可能にする。
しかし、問題は以下の点である。容量及びコンテンツのバラエティを堅実に増加することで特徴づけされる、プロフェッショナル及び消費者の環境の両者における大量のデジタルアーカイブの莫大な成長のため、関心のある記憶された情報を迅速に検索する効率的な方法を発見することは、決定的な重要性である。構築されていないビデオコンテンツの大きなアーカイブにおけるサーチ及び検索は、ビデオマテリアルの注釈を自動的に作成することを狙いとした、画像処理、パターン認識及び人工知能のようなアルゴリズムに基づいて、コンテンツ解析技術を使用して前記コンテンツが索引付けされた後に通常実行される(これらの注釈は、色及びテクスチャのような低レベル信号に関連した特性から、顔の存在及び位置のような高レベル情報にまで変動する)。
最も重要なコンテンツ記述子の1つは、たとえば国際特許出願WO01/03429(PHF99593)のような文献で見られる、ショットバンダリインジケータ(shot boundary indicator)である。ショットは、1つのカメラを連続的に使用して採取されるビデオセグメントであり、ショットは、ビデオを構成するエレメンタリユニットとして一般に考えられる。ショットバンダリを検出することは、それらエレメンタリビデオユニットを回復することを意味する。ビデオ編集の間、ショットは、ショットの遷移を使用して接続され、突然の遷移及び緩やかな遷移といった少なくとも2つのクラスに分類することができる。突然の遷移は、ハードカットと呼ばれ、2つのショットの変更なしに得られるものであって、検出するのが容易であって、全ての種類のビデオプロダクトにおける大多数を構成する。フェード(fade)、ディゾルブ(dissolve)及びワイプ(wipe)のような緩やかな遷移は、幾つかの変化を2つの関与するショットに適用することで得られる。ビデオプロダクションの間、それぞれの遷移のタイプは、ビデオ系列のコンテンツ及びコンテクストをサポートするために慎重に選択される。全てのそれら位置及びタイプを自動的に回復することは、マシンが高水準のセマンティクスを推論するのに役立つ。たとえば、将来的なフィルムでは、ディゾルブは、時間の経過を伝達するために使用されることがある。また、ディゾルブは、ニュースキャスト、スポーツ、コメディ及びショウにおけるよりも将来のフィルム、ドキュメンタリ、伝記及び景色のビデオマテリアルで頻繁に生じる。反対のことがワイプに言える。したがって、遷移の及びそれらのタイプの自動検出は、ビデオジャンルの自動認識について使用することができる。
到来するH.264/MPEG−4 AVC規格の大きな適用領域のため、H.264/AVCビデオコンテンツ解析について効果的なソリューションの成長する要求が存在する。最近の間、幾つかの有効なコンテンツ解析アルゴリズム及び方法は、圧縮された領域で大部分に排他的に動作するMPEG−2ビデオについて示されている。これらの方法の大部分は、H.264/AVCが先に示されるようにMPEG−2シンタックスのスーパーセットを規定するので、H.264/AVCに容易に拡張することができる。しかし、MPEG−2の制約のため、これら既存の方法の幾つかは、適切な(信頼することのできる)パフォーマンスを与えない場合があり、これは欠陥であって、ピクセル又はオーディオ領域で動作する付加的であってコストがかかる方法を含めることで典型的に対処される。
本発明と同日に提出された欧州特許出願は、かかる問題点を回避するのを可能にする方法を提案する。より詳細には、かかる欧州特許出願は、マクロブロックに分割される連続するフレームからなるビデオストリームの形式で利用可能なデジタル符号化ビデオデータを処理する方法(及び対応する装置)に関するものであって、少なくとも、独立して符号化されたIフレーム、又は前記Iフレーム間で時間的に配置され、少なくとも前のI又はPフレームから予測されるPフレーム、IフレームとPフレームとの間又は2つのPフレームの間で時間的に配置され、それらが配置される間で少なくともこれら2つのフレームから双方向的に予測されるBフレームからなる形式で符号化され、前記Pフレーム及びBフレームの予測は、過去及び未来からの不均一な予測量による重み付け予測により実行され、前記処理方法は、もしあれば前記重み付け予測を特徴付けする現在のフレームに関連した符号化パラメータのそれぞれ連続したマクロブロックを判定するステップ、現在のフレームの全ての連続するマクロブロックについて前記パラメータを収集し、前記パラメータに関連する統計量を伝達し、予測の方向の優先の変化を決定するために前記統計量を解析し、更に、優先の変化が決定されるたびにフレームの系列における緩やかなシーン変化の発生を検出するステップを含んでいる(より詳細には、かかる方法によれば、解析ステップは、フレームにおけるマクロブロックの全体の数に関連して導出された予め決定された閾値に対する同じ方向の優先及び類似の重み付けを有するマクロブロックの数を比較するために提供され、さらに、それぞれのシーン変化の位置及び期間に関する情報は、好ましくは生成され、ファイルに記憶される)。
MPEG−7規格の草案ISO/IEC JTC 1/SC 29N4242(2001年10月23日)によれば、ビデオ編集機能により作成されたビジュアルコンテンツのセグメントを記述するためのツールが規定される。ビデオ編集機能は、ビデオセグメントを組み立て及び構成することからなり、かかる機能の解析的な記述は、これらビデオセグメントの(3以上のレベルの)階層構造及び編集プロセスの間で発生した遷移に対応する。解析的に編集されたビデオセグメントは、解析的なクリップ(ショット、コンポジションショット、イントラ−コンポジションショット)及び解析的な遷移(グローバルトランジション、コンポジショントランジション、インターナルコンポジション)といった、2つのカテゴリに分類される。同じ文献の標準的なアネックスBでは、予め定義されたMPEG−7分類スキーム(エボリューションタイプCS)を参照する所与の名前のセットにより遷移のタイプが規定される。このように定義された緩やかなショットトランジションの記述子は、緩やかなシーン変化の発生の記述データを発生するため、本発明に係る符号化方法で使用される遷移である場合がある。
確かに先に説明されるように、H.264/AVCにおける動き補償された予測は、不均一な量により全体の予測に存在する過去及び将来からの予測ブロックに基づくことができる。この不均一のため、緩やかなショットトランジションの存在は、一方の方向から他方の方向への予測の優先における緩やかな変化により示すことができ、次いで、復号化側で、前記重み付け予測を特徴づけする伝送された符号化パラメータの統計量を解析することで、予測の方向の優先の係る変化が検出される。(たとえば、この解析は、ピクチャにおけるマクロブロックの全体の数に関連して導出される所与の閾値に対して同じ方向の優先と類似の重みを有するマクロブロックの数を比較すること、予測の方向の優先における変化が緩やかなシーントランジションの結果であることを確かめるため、かかるマクロブロックの分散の一様性を調べることを含んでいる。)
次いで、本発明に係る符号化方法の定義が続く。符号化されるべきデジタルビデオデータは、マクロブロックに分割される連続するフレームからなるビデオストリームの形式で利用可能である。これらのフレームは、少なくとも、独立に符号化されるIフレームの形式で、又は前記Iフレーム間で時間的に配置され、少なくとも前のI又はPフレームから予測されるPフレームの形式で、若しくはIフレームとPフレームとの間又は2つのPフレームの間で時間的に配置され、それらが配置される間で少なくともこれら2つのフレームから双方向的に予測されるBフレームの形式で符号化され、前記Pフレーム及びBフレームの予測は、過去及び未来からの不均一な予測量による重み付け予測により実行される。この符号化方法は、以下のステップを含む。現在のフレームの全ての連続するマクロブロックについて、もしあれば前記重み付け予測を特徴づけする関連する符号化パラメータを捕捉するために提供される構築ステップ。前記現在のフレームについて、前記パラメータに関連する統計量を伝達する計算ステップ。前記統計量を解析し、予測の方向に関する優先の変化を判定するために提供される解析ステップ。優先の変化が判定されるたびに、フレームの系列における緩やかなシーン変化の発生を検出するために提供される検出ステップ。緩やかなシーン変化の前記発生の記述データを発生するために提供される記述ステップ。このように得られた記述データ及びオリジナルのデジタルビデオデータを符号化するために提供される符号化ステップ。
これらのステップは、コンピュータ読取り可能な記憶媒体で記憶されるコンピュータ実行可能なプロセスステップにより、本発明に従って実現することができ、より詳細には、以下のステップを含む。現在のフレームの全ての連続するマクロブロックについて、もしあれば前記重み付け予測を特徴づけする関連する符号化パラメータを捕捉するステップ。前記現在のフレームについて、前記パラメータに関連する統計量を伝達するステップ。前記統計量を解析し、予測の方向に関する優先の変化を判定するステップ。優先の変化が判定されるたびに、フレームの系列における緩やかなシーン変化の発生を検出するステップ。これらのステップには、緩やかなシーン変化の前記発生の記述データを発生するために提供される記述ステップ、更に、このように得られた記述データ及びオリジナルのデジタルビデオデータを符号化するために提供される関連する符号化ステップが続く。
本発明は、これらステップを実現するのを可能にする符号化装置に関し、当該装置は、以下を含んでいる。現在のフレームの全ての連続するマクロブロックについて、もしあれば前記重み付け予測を特徴づけする関連する符号化パラメータを捕捉するために提供される構築手段。前記現在のフレームについて、前記パラメータに関連する統計量を伝達する計算手段。前記統計量を解析し、予測の方向に関する優先の変化を判定するために提供される解析手段。優先の変化が判定されるたびに、フレームの系列における緩やかなシーン変化の発生を検出するために提供される検出手段。緩やかなシーン変化の前記発生の記述データを発生するために提供される記述手段。このように得られた記述データ及びオリジナルのデジタルビデオデータを符号化するために提供される符号化手段。
最後に、本発明は、前記符号化装置の出力で利用可能であって、先に記載された符号化方法に係るデジタルビデオデータを符号化することで生成される伝送可能な符号化信号に関する。
ユーザが他の記述子(規格にあるか、又は規格にない)を利用する場合があるMPEG−7環境を定義する、MPEG−7標準エレメント及びそれらの関係のグラフィックな概念図である。 マルチメディアデータをエンコードするのを可能にする符号化方法を例示する図である。 マルチメディアデータをデコードするのを可能にする復号化方法を例示する図である。

Claims (5)

  1. マクロブロックに分割される連続するフレームからなるビデオストリームの形式で利用可能なデジタルビデオデータを符号化する符号化方法であって、
    前記フレームは、少なくとも、独立して符号化されたIフレーム、又は前記Iフレーム間で時間的に配置され、少なくとも前のIフレーム又はPフレームから予測されたPフレーム、若しくはIフレームとPフレームの間又は2つのPフレームの間で時間的に配置され、それらが配置される間で少なくとも2つのフレームから双方向的に予測されるBフレームの形式で符号化され、前記Pフレーム及びBフレームの予測は、過去及び未来からの不均一な予測量による重み付け予測により実行され、
    当該符号化方法は、
    現在のフレームの全ての連続するマクロブロックについて、もしあれば前記重み付け予測を特徴付けする関連する符号化パラメータを捕捉するために提供される構築ステップと、
    前記現在のフレームについて、前記パラメータに関連する統計量を伝達する計算ステップと、
    前記統計量を解析し、予測の方向に関する優先の変化を判定するために提供される解析ステップと、
    前記優先の変化が判定されるたびに、フレームの系列における緩やかなシーン変化の発生を検出するために提供される検出ステップと、
    前記緩やかなシーン変化の発生に関する記述データを発生するために提供される記述ステップと、
    このように得られた記述データ及びオリジナルのデジタルビデオデータを符号化するために提供される符号化ステップと、
    を含むことを特徴とする方法。
  2. マクロブロックに分割される連続するフレームからなるビデオストリームの形式で利用可能なデジタルビデオデータを符号化する符号化装置であって、
    前記フレームは、少なくとも、独立して符号化されたIフレーム、又は前記Iフレーム間で時間的に配置され、少なくとも前のIフレーム又はPフレームから予測されたPフレーム、若しくはIフレームとPフレームの間又は2つのPフレームの間で時間的に配置され、それらが配置される間で少なくとも2つのフレームから双方向的に予測されるBフレームの形式で符号化され、前記Pフレーム及びBフレームの予測は、過去及び未来からの不均一な予測量による重み付け予測により実行され、
    当該符号化装置は、
    現在のフレームの全ての連続するマクロブロックについて、もしあれば前記重み付け予測を特徴付けする関連する符号化パラメータを捕捉するために提供される構築手段と、
    前記現在のフレームについて、前記パラメータに関連する統計量を伝達する計算手段と、
    前記統計量を解析し、予測の方向に関する優先の変化を判定するために提供される解析手段と、
    前記優先の変化が判定されるたびに、フレームの系列における緩やかなシーン変化の発生を検出するために提供される検出手段と、
    前記緩やかなシーン変化の発生に関する記述データを発生するために提供される記述手段と、
    このように得られた記述データ及びオリジナルのデジタルビデオデータを符号化するために提供される符号化ステップと、
    を含むことを特徴とする装置。
  3. マクロブロックに分割される連続するフレームからなるビデオストリームの形式で利用可能なデジタルビデオデータを符号化するために提供される符号化装置での使用のための、コンピュータ読取り可能な記憶媒体に記憶されるように提供されるコンピュータ実行可能な処理ステップであって、
    前記フレームは、少なくとも、独立して符号化されたIフレーム、又は前記Iフレーム間で時間的に配置され、少なくとも前のIフレーム又はPフレームから予測されたPフレーム、若しくはIフレームとPフレームの間又は2つのPフレームの間で時間的に配置され、それらが配置される間で少なくとも2つのフレームから双方向的に予測されるBフレームの形式で符号化され、前記Pフレーム及びBフレームの予測は、過去及び未来からの不均一な予測量による重み付け予測により実行され、
    当該コンピュータ実行可能な処理ステップは、
    現在のフレームの全ての連続するマクロブロックについて、もしあれば前記重み付け予測を特徴付けする関連する符号化パラメータを捕捉するために提供される構築ステップと、
    前記現在のフレームについて、前記パラメータに関連する統計量を伝達する計算ステップと、
    前記統計量を解析し、予測の方向に関する優先の変化を判定するために提供される解析ステップと、
    前記優先の変化が判定されるたびに、フレームの系列における緩やかなシーン変化の発生を検出するために提供される検出ステップと、
    前記緩やかなシーン変化の発生に関する記述データを発生するために提供される記述ステップと、
    このように得られた記述データ及びオリジナルのデジタルビデオデータを符号化するために提供される符号化ステップと、
    を含むことを特徴とするコンピュータ実行可能な処理ステップ。
  4. 前記符号化装置にロードされたときに、請求項3記載のステップを実行させる命令のセットを含む、デジタルビデオデータ符号化装置用のコンピュータプログラムプロダクト。
  5. 請求項1記載の符号化方法に従ってデジタルビデオデータを符号化することで生成される伝送可能な符号化信号。
JP2006546401A 2004-01-05 2004-12-28 符号化方法及び対応する符号化信号 Pending JP2007522698A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04300005 2004-01-05
PCT/IB2004/004313 WO2005074296A1 (en) 2004-01-05 2004-12-28 Coding method and corresponding coded signal

Publications (1)

Publication Number Publication Date
JP2007522698A true JP2007522698A (ja) 2007-08-09

Family

ID=34814431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006546401A Pending JP2007522698A (ja) 2004-01-05 2004-12-28 符号化方法及び対応する符号化信号

Country Status (6)

Country Link
US (1) US20090016441A1 (ja)
EP (1) EP1704721A1 (ja)
JP (1) JP2007522698A (ja)
KR (1) KR20060127022A (ja)
CN (1) CN1902937A (ja)
WO (1) WO2005074296A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2013002429A (es) * 2010-09-03 2013-04-08 Dolby Lab Licensing Corp Metodo y sistema para compensacion de iluminacion y transicion para codificacion y procesamiento de video.
JP6391213B2 (ja) * 2013-03-14 2018-09-19 富士工業株式会社 レンジフード
CN115150548B (zh) * 2022-06-09 2024-04-12 山东信通电子股份有限公司 一种基于云台输出输电线路全景图像的方法、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618507B1 (en) * 1999-01-25 2003-09-09 Mitsubishi Electric Research Laboratories, Inc Methods of feature extraction of video sequences
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
US6574279B1 (en) * 2000-02-02 2003-06-03 Mitsubishi Electric Research Laboratories, Inc. Video transcoding using syntactic and semantic clues
US7110458B2 (en) * 2001-04-27 2006-09-19 Mitsubishi Electric Research Laboratories, Inc. Method for summarizing a video using motion descriptors

Also Published As

Publication number Publication date
US20090016441A1 (en) 2009-01-15
KR20060127022A (ko) 2006-12-11
CN1902937A (zh) 2007-01-24
WO2005074296A1 (en) 2005-08-11
EP1704721A1 (en) 2006-09-27

Similar Documents

Publication Publication Date Title
US20080267290A1 (en) Coding Method Applied to Multimedia Data
US20090052537A1 (en) Method and device for processing coded video data
TWI578757B (zh) 場景形式之視訊串流編碼
EP1177691B1 (en) Method and apparatus for generating compact transcoding hints metadata
KR100987365B1 (ko) 비디오 프레임들로부터 키 프레임들의 선택
US8139877B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium including shot generation
JP2011507461A (ja) 適応型グループオブピクチャ(agop)構造の決定
WO2001015459A1 (en) Time-varying image processor, its method, and recorded medium
JP2000224590A (ja) ビデオシ―ケンスの特徴抽出方法
JP2001526859A (ja) ワールドワイドウェブ上の圧縮映像の指示及び編集方法及びアーキテクチュア
KR20070007330A (ko) 단색 프레임 검출 방법 및 대응 장치
US8379985B2 (en) Dominant gradient method for finding focused objects
US7792373B2 (en) Image processing apparatus, image processing method, and image processing program
Smeaton et al. An evaluation of alternative techniques for automatic detection of shot boundaries in digital video
JP2007522698A (ja) 符号化方法及び対応する符号化信号
Dawood et al. Scene content classification from MPEG coded bit streams
Su et al. A novel source mpeg-2 video identification algorithm
KR20060127024A (ko) 장면 변화 검출을 사용하는 처리 방법 및 장치
Jie et al. A novel scene change detection algorithm for H. 264/AVC bitstreams
Jiang et al. Adaptive scheme for classification of MPEG video frames
Grecos et al. An improved rate control algorithm based on a novel shot detection scheme for the H. 264/AVC standard
KR101021538B1 (ko) H.264 인코딩 시 고속 인트라 모드 결정 방법
Mithlesh et al. Detection of Scene Change in Video
Şimşek An approach to summarize video data in compressed domain