JP2008533863A - フレームレートアップ変換アプリケーションにおける補間されたフレームデブロッキング動作 - Google Patents

フレームレートアップ変換アプリケーションにおける補間されたフレームデブロッキング動作 Download PDF

Info

Publication number
JP2008533863A
JP2008533863A JP2008501031A JP2008501031A JP2008533863A JP 2008533863 A JP2008533863 A JP 2008533863A JP 2008501031 A JP2008501031 A JP 2008501031A JP 2008501031 A JP2008501031 A JP 2008501031A JP 2008533863 A JP2008533863 A JP 2008533863A
Authority
JP
Japan
Prior art keywords
blocks
boundary strength
strength value
video data
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008501031A
Other languages
English (en)
Other versions
JP4927812B2 (ja
Inventor
シ、ファン
ラビーンドラン、ビジャヤラクシュミ・アール．
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2008533863A publication Critical patent/JP2008533863A/ja
Application granted granted Critical
Publication of JP4927812B2 publication Critical patent/JP4927812B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

補間されたビデオデータをノイズ除去することを含む、復元されたビデオデータから構築される補間されたビデオの質を高めるための方法および装置を記述する。補間されたビデオデータをフィルタリングするために、ローパスフィルタを使用する。１つの実施形態において、補間されたビデオデータと（補間されたおよび/または補間されていない）隣接ビデオデータとに対して決定された境界強度値に基づいて、ローパスフィルタのフィルタリングのレベルを決定する。この実施形態の１つの観点において、補間されたビデオデータと隣接ビデオデータとに対する参照ビデオデータの近接さに基づいて境界強度を決定する。
【選択図】 図２

Description

合衆国法典第３５部第１１９条に基づく優先権の主張
特許に対する本出願は、２００５年３月１０日に出願され、この出願の譲受人に譲渡され、参照により明白にここに組み込まれている仮出願第６０／６６０，９０９号の優先権を主張する。
発明の背景
発明の分野
本発明は、一般にはデータ圧縮に関し、詳細にはプロセスビデオをノイズ除去することに関する。
関連技術の説明
ブロックベースの圧縮は、特にブロック境界の間の相関が考慮に入れられない場合、ブロック境界の間にアーティファクトを生じさせるかもしれない。
スケーラブルなビデオコーディングは、特に可変の帯域幅を有する異種ネットワーク（例えば、インターネットおよびワイヤレスストリーミング）中で、低ビットレートのアプリケーションへの幅広い受け入れを獲得しつつある。スケーラブルなビデオコーディングにより、コード化されたビデオは複数のレイヤとして送信することが可能になり、通常基本レイヤが最も価値のある情報を含み、最小の帯域幅（ビデオに対して最低のビットレート）を占有し、拡張レイヤは基本レイヤに対して改善を提供する。ほとんどのスケーラブルなビデオ圧縮技術は、人間の視覚システムがよりフラットである低周波数領域よりも画像の高周波数領域における（圧縮による）ノイズに、より寛大であるという事実を活用する。それゆえに、基本レイヤは、大部分は低周波数情報を含み、高周波数情報は拡張レイヤ中で搬送される。ネットワーク帯域幅が狭い範囲に入るとき、コード化されたビデオの基本レイヤだけ（拡張レイヤはない）を受信する確率がより高くなる。
拡張レイヤまたは基本レイヤのビデオ情報が、チャネル状態のために失われたり、またはバッテリー電源を節約するために落とされたりする場合、いくつかのタイプの補間技術のいずれかを使用して、欠損しているデータを置換してもよい。例えば、拡張レイヤフレームが失われる場合、基本レイヤフレームのような別のフレームを表わすデータを使用して、欠損している拡張レイヤデータを置換するためにデータを補間できる。補間は、動き補償された予測データを補間することを含んでもよい。置換ビデオデータは不完全な補間のために、通常アーティファクトを被るかもしれない。
結果として、補間アーティファクトを減少させ、および/または除去するために、補間されたデータをノイズ除去する後処理のアルゴリズムに対する必要性がある。
発明の概要
ビデオデータを処理する方法を提供する。方法は、ビデオデータを補間することおよび補間されたビデオデータをノイズ除去することを含む。１つの観点において、補間されたビデオデータは第１および第２ブロックを含み、方法は、第１および第２ブロックに関係付けられる境界強度値を決定すること、および決定された境界強度値を使用することにより第１および第２ブロックをノイズ除去することを含む。
ビデオデータを処理するプロセッサを提供する。プロセッサはビデオデータを補間し、補間されたビデオデータをノイズ除去するように構成されている。１つの観点において、補間されたビデオデータは第１および第２ブロックを含み、プロセッサは第１および第２ブロックに関係付けられる境界強度値を決定し、決定された境界強度値を使用することにより第１および第２ブロックをノイズ除去するように構成されている。
ビデオデータを処理する装置を提供する。装置はビデオデータを補間する補間器、および補間されたビデオデータをノイズ除去するノイズ除去器を含む。１つの観点において、補間されたビデオデータは第１および第２ブロックを含み、装置は第１および第２ブロックに関係付けられる境界強度値を決定する決定器を含み、決定された境界強度値を使用することにより、ノイズ除去器が第１および第２ブロックをノイズ除去する。
ビデオデータを処理する装置を提供する。装置はビデオデータを補間する手段、および補間されたビデオデータをノイズ除去する手段を含む。１つの観点において、補間されたビデオデータは第１および第２ブロックを含み、装置は第１および第２ブロックに関係付けられる境界強度値を決定する手段、および決定された境界強度値を使用することにより第１および第２ブロックをノイズ除去する手段を含む。
ビデオデータを処理する方法を具体化するコンピュータ読取り可能媒体を提供する。方法はビデオデータを補間すること、および補間されたビデオデータをノイズ除去することを含む。１つの観点において、補間されたビデオデータは第１および第２ブロックを含み、方法は第１および第２ブロックに関係付けられる境界強度値を決定すること、および決定された境界強度値を使用することにより第１および第２ブロックをノイズ除去することを含む。
好ましい実施形態の詳細な説明
補間されたビデオデータをノイズ除去することを含む、復元されたビデオデータから構築される補間されたビデオの質を高めるための方法および装置を記述する。補間されたビデオデータをフィルタリングするために、ローパスフィルタを使用する。１つの例において、補間されたビデオデータと（補間されたおよび/または補間されていない）隣接ビデオデータとに対して決定された境界強度値に基づいて、ローパスフィルタのフィルタリングのレベルを決定する。この例の１つの観点において、補間されたビデオデータと隣接ビデオデータとに対する参照ビデオデータの近接さに基づいて境界強度を決定する。以下の記述において、実施形態の完全な理解を提供するために特定の詳細説明を与える。しかしながら、これらの特定の詳細説明なしに実施形態を実施し得ることが、当業者の１人により理解できる。例えば、不必要な詳細説明で実施形態を不明確にしないために、電気的構成部品をブロック図中で示すことがある。他の例において、実施形態をさらに説明するために、このような構成部品、他の構造および技術を詳細に示すことがある。別々のブロックとして示される電気的構成部品を１つの構成部品に再配置したり、および/または組み合わせたりできることも当業者により理解される。
いくつかの実施形態をプロセスとして記述してもよいことにも注意すべきであり、そのプロセスはフローチャート、フロー図、構造図、またはブロック図として描写される。フローチャートは順次プロセスとして動作を記述するが、動作の多くを並行して、または同時に実行することができ、プロセスを繰り返すことができる。さらに、動作の順序を再配置してもよい。プロセスは、その動作が完了したとき終了する。プロセスは、方法、関数、手続き、サブルーチン、サブプログラムなどに対応してもよい。プロセスが関数に対応するとき、その終了は呼出し関数または主要関数に対する関数の戻りに対応する。
図１は、ストリーミングデータをデコードするビデオデコーダシステムのブロック図である。システム１００は、デコーダデバイス１１０、ネットワーク１５０、外部記憶装置１８５およびディスプレイ１９０を含む。デコーダデバイス１１０は、ビデオ補間器１５５、ビデオノイズ除去器１６０、境界強度決定器１６５、エッジアクティビティ決定器１７０、メモリ構成部品１７５、およびプロセッサ１８０を含む。プロセッサ１８０は一般に、例示的なデコーダデバイス１１０の全体的な動作を制御する。デコーダデバイス１１０に１つ以上の構成要素を追加し、再配置し、組み合わせてもよい。例えば、プロセッサ１８０はデコーダデバイス１１０に対して外部にあってもよい。
図２は、ディスプレイデバイス上に表示すべき補間されたビデオデータのノイズ除去を実行するプロセスの例を図示するフローチャートである。図１および２を参照すると、プロセス３００は、エンコードされたビデオデータの受信により、ステップ３０５において開始する。ネットワーク１５０、あるいは内部メモリ構成部品１７５または外部記憶装置１８５のような画像源から、（ＭＰＥＧ−４またはＨ．２６４圧縮ビデオデータのような）エンコードされたビデオデータをプロセッサ１８０は受信することができる。エンコードされたビデオデータは、ＭＰＥＧ−４またはＨ．２６４圧縮ビデオデータであってもよい。ここで、メモリ構成部品１７５および／または外部記憶装置１８５は、エンコードされたビデオデータを含むデジタルビデオデスク（ＤＶＤ）またはハードディスクドライブであってもよい。
ネットワーク１５０は、電話機、ケーブル、および光ファイバのようなワイヤシステム、またはワイヤレスシステムの一部とすることができる。ワイヤレスのケースでは、通信システム、ネットワーク１５０は、例えば、コード分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システムの一部とすることができ、代わりに、通信システムは、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元接続（ＯＦＤＭＡ）システム、時分割多元接続（ＴＤＭＡ）システムとすることができ、これらはＧＳＭ／ＧＰＲＳ（一般パケット無線通信サービス）／ＥＤＧＥ(拡張データＧＳＭ環境)またはサービス産業のためのＴＥＴＲＡ（地上波トランク無線）移動電話機技術、広帯域コード分割多元接続（ＷＣＤＭＡ）、高データレート（１ｘＥＶ−ＤＯまたは１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、または一般に技術の組み合わせを使用する任意のワイヤレス通信システムのようなものである。
プロセス３００は、受信されたビデオデータのデコーディングをステップ３１０で続け、受信されたビデオデータの少なくともいくつかをデコードして、以下で述べるように補間されるビデオデータを構築するために参照データとして使用してもよい。１つの例において、デコードされたビデオデータは、画素の輝度およびクロミナンス値のようなテクスチャ情報を含む。受信されたビデオデータは、イントラコード化されたデータであってもよく、この場合、実際のビデオデータが（例えば、Ｈ．２６４で使用されるような離散コサイン変換、アダマール変換、離散ウェーブレット変換または整数変換を使用して）変換され、または受信されたビデオデータは（例えば、動き補償予測を使用する）インターコード化されたデータとすることができ、この場合、動きベクトルおよび残留エラーが変換される。ステップ３１０のデコーディング動作の詳細は、当業者に知られており、ここではさらに述べない。
プロセス３００はステップ３１５に続き、そこではデコードされた参照データが補間される。１つの例において、ステップ３１５における補間は参照ビデオデータからの動きベクトルデータの補間を含む。動きベクトルデータの補間を図示するために、単純化された例を使用する。図３Ａは、ステップ３１５中で使用される動きベクトル補間の例を示す。フレーム１０は、一連のストリーミングビデオ中の第１の時間的な点におけるフレームを表わす。フレーム２０は、一連のストリーミングビデオ中の第２の時間的な点におけるフレームを表わす。フレーム２０中のオブジェクト３５を含むビデオの部分としっかりとマッチングする、フレーム１０中のオブジェクト２５Ａを含むビデオの部分の位置を突き止めるために、当業者に知られている動き補償予測ルーチンを使用してもよい。動きベクトル４０は、フレーム２０中のオブジェクト３５に関してフレーム１０中のオブジェクト２５Ａの位置を突き止める（オブジェクト２５Ａおよび３５の相対的な位置を図示するために、フレーム２０中に破線の外形でラベル表示した２５Ｃを使用している）。フレーム１０およびフレーム２０がシーケンスにおいて互いに時間“Ｔ”離れて位置している場合、フレーム１０および／またはフレーム２０中のデコードされたビデオデータに基づいて、フレーム１０と２０との間に位置するフレーム１５を補間することができる。例えば、フレーム１５がフレーム１０と２０との間の中間の時間的な点（両方からＴ／２時間）に位置している場合、オブジェクト３５（またはオブジェクト２５Ａ）の画素データを動きベクトル４５により位置付けられる点に位置付けることができ、動きベクトル４０の半分のサイズおよび同方向とする補間を通して動きベクトル４５を決定してもよい（オブジェクト２５Ａと３０との相対的な位置を図示するために、フレーム１５中に破線の外形でラベル表示した２５Ｂを使用している）。オブジェクト３５は（オブジェクト２５Ａを指す動きベクトルおよびオブジェクト２５Ａの画素値に追加される残留エラーとして表わされる）オブジェクト２５Ａに基づいて予測されたので、フレーム１５中のオブジェクト３０を補間するための参照部分としてオブジェクト２５Ａおよび／またはオブジェクト３５を使用することができる。当業者に明らかであるように、動きベクトルおよび／または１つ以上の参照部分の残留エラーデータを補間する他の方法（例えば、双方向予測のような１つのブロック当たり２つの動きベクトルを使用する）を、ステップ３１５において、補間されるデータを生成する際に使用できる。
別の例において、ステップ３１５における補間は、ビデオフレームの異なる空間領域中に位置する画素値の組み合わせを含む。図３ｂは、プロセス３００のステップ３１５中で使用される空間補間の例を示す。フレーム５０は、家屋５５のビデオ画像を含む。６０とラベル表示されたビデオデータの領域は、例えばデータ破損のため欠損している。領域６０を補間するための参照部分として、欠損している部分６０の近くに位置している特徴６５および７０の空間補間を使用してもよい。補間は、領域６５と７０との画素値の間における単純な線形補間であってもよい。別の例において、欠損しているデータを含むフレームとは異なる時間のフレーム中に位置している画素値を（例えば、平均することにより）組み合わせて、補間された画素データを形成することができる。図１のビデオ補間器１５５のような補間手段が、ステップ３１５の補間動作を実行してもよい。
ビデオデータを補間するために、動きベクトル以外に、光フローデータおよび画像モーフィングデータのような他の時間予測方法も利用してもよい。光フロー補間は、画像中の画素の速さ領域を経時的に送信する。補間は、所定の画素に対して、光フロー領域から引き出される画素ベースのものであってもよい。補間データは、速度および方向の情報を含んでもよい。
画像モーフィングは、１つの画像から別の画像への変換を計算するために使用される画像処理技術である。画像モーフィングは一連の中間画像を生成し、一連の中間画像が元の画像と合されるとき、１つの画像から他の画像への移行を表わす。その方法は元の画像のメッシュ点、および非線形補間に対する点のワーピング関数を識別する。ウォルバーグ、Ｇ．、“デジタル画像ワーピング”．ＩＥＥＥコンピュータ社会プレス、１９９０を参照。
ステップ３２０、３２５および３３０は、ステップ３３５において実行されるノイズ除去のいくつかの実施形態で使用される選択的なステップであり、以下で詳細に述べる。ステップ３３５に進むと、ステップ３１５の補間動作から生じるかもしれないアーティファクトを除去するために、補間されたビデオデータがノイズ除去される。図１のビデオノイズ除去器１６０のようなノイズ除去手段がステップ３３５の動作を実行してもよい。ブロッキングアーティファクトを減少させるデブロッキング、リンギングアーティファクトを減少させるデリンギングおよび動きスメアーを減少させる方法を含む、当業者に知られている１つ以上の方法をノイズ除去は含んでもよい。ノイズ除去後、ノイズ除去されたビデオデータは、例えば図１中で示すディスプレイ１９０上に表示される。
ステップ３３５におけるノイズ除去の例は、デブロッキングフィルタ、例えばＨ．２６４ビデオ圧縮規格のデブロッキングフィルタを使用することを含む。Ｈ．２６４中で指定されたデブロッキングフィルタは、ブロック境界に沿ってアクティビティを決定する決定木を必要とする。Ｈ．２６４中で通常設計されているように、セットされたしきい値を超えた画像アクティビティを有するブロックエッジはフィルタリングされないか、または弱くフィルタリングされるが、一方、低いアクティビティブロックに沿ったものは強くフィルタリングされる。適用されるフィルタは、例えば、３タップまたは５タップのローパス有限インパルス応答（ＦＩＲ）フィルタとすることができる。
図４は、垂直および水平４ｘ４ブロック境界に隣接した画素の説明図である（現在のブロック“ｑ”および隣接したブロック“ｐ”）。垂直境界２００は、２つの並んでいる４ｘ４ブロックの間の任意の境界を表わす。ｐ０、ｐ１、ｐ２およびｐ３とそれぞれラベルが付された画素２０２、２０４、２０６および２０８は、（ブロック“ｐ”において）垂直境界２００の左側に位置し、一方、ｑ０、ｑ１、ｑ２およびｑ３とそれぞれラベルが付された画素２１２、２１４、２１６および２１８は、（ブロック“ｑ”において）垂直境界２００の右側に位置する。水平境界２２０は、２つの４ｘ４ブロックの間の任意の境界を表わし、一方が他方のすぐ上にある。ｐ０、ｐ１、ｐ２およびｐ３とそれぞれラベルが付された画素２２２、２２４、２２６および２２８は、水平境界２００の上側に位置し、一方、ｑ０、ｑ１、ｑ２およびｑ３とそれぞれラベルが付された画素２３２、２３４、２３６および２３８は、水平境界２００の下側に位置する。Ｈ．２６４においてデブロッキングする実施形態において、フィルタリング動作は境界より上側または下側のいずれかの側にある３つの画素まで作用する。変換係数のために使用される量子化器、（イントラまたはインターコード化された）ブロックのコーディングモード、および境界を横切る画像サンプルの勾配により、いくつかの結果が可能であり、それらはどの画素もフィルタリングされない場合から画素ｐ０、ｐ１、ｐ２、ｑ０、ｑ１およびｑ２がフィルタリングされるまでの範囲にわたる。
ブロックベースのビデオ圧縮に対するデブロッキングフィルタの設計は、大部分は共通の原理にしたがい、ブロックエッジに沿った強度変化の測定後に、適用すべきフィルタ強度を決定し、次にブロックエッジにわたって実際のローパスフィルタリング動作を行う。デブロッキングフィルタは、ブロックエッジの平滑化（ブロックエッジにわたるローパスフィルタリング）を通してブロッキングアーティファクトを減少させる。ステップ３２０において境界強度として知られる測定値が、決定される。ビデオデータのコンテンツ、またはビデオデータのコンテキストに基づいて、境界強度値を決定してもよい。１つの観点において、より高い境界強度は、より高いレベルのフィルタリング（例えば、より不鮮明化する）をもたらす。境界強度に作用するパラメータは、データがイントラコード化されているか、またはインターコード化されているかのような、コンテキストおよび／またはコンテンツ依存の状況を含み、イントラコード化された領域は一般的に、インターコード化された部分よりもさらに重くフィルタリングされる。境界強度測定値に作用する他のパラメータは、コード化されたブロックパターン（ＣＰＢ）であり、それは４ｘ４画素ブロック中のゼロでない係数の数と量子化パラメータとの関数である。
画像中のエッジ特徴の不鮮明化を避けるために、ステップ３２５においてオプション的なエッジアクティビティ測定を実行してもよく、（ノイズ除去ステップ３３５における）ローパスフィルタリングは通常、非エッジ領域中に適用される（領域中のエッジアクティビティ測定値が低くなればなるほど、ステップ３３５においてノイズ除去する際に使用されるフィルタは強くなる）。境界強度決定およびエッジアクティビティ決定の詳細は当業者に知られており、必ずしも開示された方法を理解するためには必要はない。ステップ３３０において、境界強度測定値および／またはエッジアクティビティ測定値を使用して、ステップ３３５において実行すべきノイズ除去のレベルを決定する。境界強度および／またはエッジアクティビティの測定値のようなデブロッキングパラメータに対する修正を通して、補間された領域を効果的にノイズ除去できる。プロセス３００は、ノイズ除去された補間ビデオデータを表示することにより終わってもよい。プロセス３００中で１つ以上の構成要素を追加し、再配置し、組み合わせてもよい。
図５Ａ、５Ｂおよび５Ｃは、図１のプロセスのいくつかの実施形態中のステップ３２０において境界強度値を決定する際に使用される参照ブロック位置の例を示し、この場合、ステップ３３５のノイズ除去動作はデブロッキングを含む。図５中に描写されるシナリオは、図３Ａと関連して上述した、１つの参照ブロックにつき１つの動きベクトルを有する動き補償予測を表わす。図５Ａ、５Ｂおよび５Ｃ中で、補間されるフレーム７５は参照フレーム８０に基づいて補間される。補間されるブロック７７は参照ブロック８１に基づいて補間され、ブロック７７の隣接ブロックである補間されるブロック７９は、参照ブロック８３に基づいて補間される。図５Ａ中で、参照ブロック８１と８３も隣接している。このことは、補間されるフレーム７５と参照フレーム８０との間で静止しているビデオ画像であることを表わす。このケースにおいては、ノイズ除去のレベルが低いように境界強度を低くセットしてもよい。図５Ｂ中で、共通のビデオデータを含むために、参照ブロック８１および８３がオーバーラップしている。オーバーラップしたブロックは、いくらかのわずかな動きを表わし、図５Ａにおけるケースに対するものよりも、境界強度をより高くセットしてもよい。図５Ｃ中で、参照ブロック８１および８３は互いに離れている（非隣接ブロック）。これは、画像がほとんど互いに関係付けられていないことを表わし、ブロッキングアーティファクトはもっと厳しくなり得る。図５Ｃのケースにおいて、図５Ａまたは５Ｂのシナリオよりも、さらにデブロッキングする結果を生じさせる値に、境界強度はセットされる。図５のいずれにも示されていないシナリオは、異なる参照フレームからの参照ブロック８１および８３を含む。図５Ｃ中で示すケースに類似した方法でこのケースを取り扱ってもよく、または図５Ｃ中で示すケースよりもさらにデブロッキングする結果を生じさせる値になるように、境界強度値を決定してもよい。
図６Ａは、１つのブロックにつき１つの動きベクトルを有する図５Ａ、５Ｂおよび５Ｃ中で示す状況に対して、境界強度値を決定するためのプロセスの例を図示するフローチャートである。図２中で示すプロセス３００のステップ３２０中で、図６Ａ中で示すプロセスを実行してもよい。図５および６を参照すると、参照ブロック８１および８３も隣接ブロックであるかどうかを決定するために、決定ブロック４０５においてチェックが実行される。それらが図５Ａ中で示すような隣接ブロックである場合、ステップ４０７において境界強度はゼロにセットされる。それらの実施形態において、隣接参照ブロック８１および８３がすでにノイズ除去されている（この例においてデブロッキングされている）場合、ステップ３３５において、補間されたブロック７７および７９のノイズ除去を省略してもよい。参照ブロック８１および８３が隣接参照ブロックではない場合、参照ブロック８１および８３がオーバーラップしているかを決定するために、決定ブロック４１０においてチェックが実行される。図５Ｂ中に示すように、参照ブロック８１および８３がオーバーラップしている場合、ステップ４１２において境界強度は１にセットされる。参照ブロックがオーバーラップしていない（例えば、参照ブロック８１および８３が同一フレーム中または異なるフレーム中で離れている）場合、プロセスは決定ブロック４１５に続く。参照ブロック８１および８３の１つまたは両方がイントラコード化されているか決定するために、決定ブロック４１５においてチェックが実行される。参照ブロックの１つがイントラコード化されている場合、ステップ４１７において境界強度は２にセットされ、さもなければステップ４１９において境界強度は３にセットされる。この例において、互いに近くに位置している参照ブロックから補間される隣接ブロックは、離れた参照ブロックから補間されるブロックよりもいっそう低いレベルでノイズ除去される。
１つより多い参照ブロックから、補間されるブロックを形成してもよい。図６Ｂは、２つの参照ブロックを指す２つの動きベクトルを含む補間されたブロックに対して（図２のステップ３２０中で実行されるような）境界強度値を決定するプロセスの別の実施形態を図示するフローチャートである。図６Ｂ中で示す例は、動きベクトルが、双方向予測フレームとして前方向フレームおよび後方向フレームを指すことを仮定している。複数の参照フレームが同様に複数の前方向または複数の後方向の参照フレームを含んでもよいことを当業者は認識するであろう。補間されている現在のブロックおよび同一フレーム中の隣接ブロックの前方向および後方向の動きベクトルを、例は調べる。決定ブロック４２０において、現在のブロックおよび隣接ブロックの前方向の動きベクトルにより示される前方向に位置している参照ブロックが、隣接ブロックであると決定される場合、現在ブロックおよび隣接ブロックの後方向の動きベクトルにより示される後方向の参照ブロックも隣接しているかを決定するために、プロセスは決定ブロック４２５に続く。前方向および後方向の参照ブロックの両方が隣接している場合、これは画像の動きがほとんどないことを表わし、ステップ４２７において境界強度はゼロにセットされ、これは、低いレベルのデブロッキングを結果として生じさせる。（決定ブロック４２５または決定ブロック４３０において）前方向または後方向の参照ブロックのうちの１つが隣接していると決定される場合、（ステップ４２９またはステップ４３２において）境界強度は１にセットされ、これは、両方の参照ブロックが隣接しているケースよりも多くのデブロッキングを結果として生じさせる。決定ブロック４３０において、前方向の参照ブロックも後方向の参照ブロックも隣接していないことが決定される場合、境界強度は２にセットされ、これは、さらに多いデブロッキングを結果として生じさせる。
図６Ａおよび６Ｂ中に示す決定木は、補間されるビデオデータの１つ以上の参照部分の相対的な位置と、１つのブロック当たりの動きベクトルの数とに基づいて境界強度を決定するプロセスの例にすぎない。当業者に対して明白である他の方法を使用してもよい。図１中の境界強度決定器１６５のような決定手段が、図２中に示すステップ３２０の動作ならびに図６Ａおよび６Ｂ中に図示する動作を実行してもよい。図６Ａおよび６Ｂ中に示す決定木において１つ以上の構成要素を追加し、再配置し、組み合わせてもよい。
図７は、上の記述にしたがってビデオデータを処理する１つの例示的な方法７００を図示する。一般に、方法７００は、ビデオデータの補間７１０および補間されたビデオデータのノイズ除去７２０を含む。補間されたビデオデータのノイズ除去は、上述した境界強度値に基づいていてもよい。ビデオデータのコンテンツおよび／またはコンテキストに基づいて境界強度を決定してもよい。また、ビデオデータが１つの動きベクトルまたは１つより多い動きベクトルを使用して補間されたかどうかに基づいて、境界強度を決定してもよい。１つの動きベクトルが使用された場合、動きベクトルが、参照フレームの隣接ブロックからのものであるか、参照フレームのオーバーラップした隣接ブロックからのものであるか、参照フレームの非隣接ブロックからのものであるか、または異なる参照フレームからのものであるかどうかに基づいて、境界強度を決定してもよい。１つより多い動きベクトルが使用された場合、前方向の動きベクトルが隣接参照ブロックを指すか、または後方向の動きベクトルが隣接参照ブロックを指すかどうかに基づいて、境界強度を決定してもよい。
図８は、方法７００を実行するために実現してもよい例示的な装置８００を示す。装置８００は、補間器８１０およびノイズ除去器８２０を具備する。上述したように、補間器８１０はビデオデータを補間してもよく、ノイズ除去器８２０は補間されたビデオデータをノイズ除去してもよい。
上で述べたデブロッキングの実施形態は、ノイズ除去の１つのタイプの例にすぎない。他のタイプのノイズ除去が、当業者に対して明白であろう。上述したＨ．２６４のデブロッキングアルゴリズムは、４ｘ４画素ブロックを利用する。ビデオデータの補間される部分および／または参照部分として、さまざまなサイズのブロック、例えば、ＮおよびＭが整数である任意のＮｘＭブロックの画素を使用できることが当業者により理解されるであろう。
任意のさまざまな異なる技術および技法を使用して情報および信号を表わしてもよいことを、当業者は理解するであろう。例えば、電圧、電流、電磁波、磁界または磁気粒子、光領域または光粒子、あるいはそれらの任意の組み合わせにより、上の記述を通して参照されているデータ、指示、コマンド、情報、信号、ビット、シンボルおよびチップを表わしてもよい。
電子ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、またはそれらの組み合わせとして、ここで開示した例に関して記述したさまざまな実例となる論理ブロック、モジュール、およびアルゴリズムステップを実現してもよいことを、当業者はさらに理解するであろう。ハードウェアおよびソフトウェアのこの互換性を明瞭に図示するために、さまざまな実例となる構成部品、ブロック、モジュール、回路、およびステップをそれらの機能の点から一般的に上述した。このような機能がハードウェアまたはソフトウェアとして実現されるかどうかは、特定の用途およびシステム全体に課される設計制約によって決まる。それぞれの特定の用途に対してさまざまな方法で、当業者は記述した機能を実現するかもしれないが、このような実施決定は、開示した方法の範囲から逸脱を生じさせるものとして解釈すべきではない。
汎用目的のプロセッサ、デジタル信号プロセッサ（ＤＳＰ），特定用途向け集積回路（ＡＳＩＣ），フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）または他のプログラム可能論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェア構成部品、あるいはここで記述した機能を実行するために設計された、これらの任意の組み合わせにより、ここで開示した例に関して記述した、さまざまな実例となる論理ブロック、構成部品、モジュール、および回路を実現または実行してもよい。汎用目的のプロセッサはマイクロプロセッサでもよいが、代わりに、プロセッサは任意の従来のプロセッサ、制御装置、マイクロ制御装置、または状態遷移機械であってもよい。計算デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに関連した１つ以上のマイクロプロセッサ、または他の任意のこのような構成として、プロセッサを実現してもよい。
ここで開示した例に関して記述した方法またはアルゴリズムのステップを、ハードウェア中で直接、プロセッサにより実行されるソフトウェアモジュール中で、またはその２つの組み合わせ中で具体化してもよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ，または技術的に知られている他の任意の形態の記憶媒体中に存在してもよい。プロセッサが記憶媒体から情報を読み取ることができ、記憶媒体に情報を書き込むことができるように、例示的な記憶媒体はプロセッサに結合されている。代替では、記憶媒体はプロセッサと一体化されていてもよい。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）中に存在してもよい。ＡＳＩＣはワイヤレスモデム中に存在してもよい。代替では、プロセッサおよび記憶媒体は、ワイヤレスモデム中にディスクリート構成部品として存在してもよい。
いかなる当業者であっても開示した方法および装置を作りまたは使用できるように、開示した例の記述をこれまでに提供している。これらの例に対してさまざまな修正が当業者に容易に明らかになり、ここで規定した原理を他の例に適用してもよく、追加的な構成要素を追加してもよい。
こうして、デコーダアプリケーション中でビット破損フラグ情報および破損データ
を利用してリアルタイムストリーミングマルチメディアをデコードし、破損データのインテリジェントエラー隠匿およびエラー訂正を実行するための方法および装置を記述した。
図１は、ストリーミングビデオをデコードおよび表示するビデオデコーダシステムの例の説明図である。 図２は、ディスプレイデバイス上に表示すべき補間されたビデオデータのノイズ除去を実行するプロセスの例を図示するフローチャートである。 図３Ａは、図１のプロセスのいくつかの実施形態中で使用される動きベクトル補間の例を示す。 図３Ｂは、図１のプロセスのいくつかの実施形態中で使用される空間補間の例を示す。 図４は、垂直および水平４×４ブロック境界に隣接した画素の説明図である。 図５Ａは、図１のプロセスのいくつかの実施形態中で境界強度値を決定する際に使用される参照ブロック位置を図示する。 図５Ｂは、図１のプロセスのいくつかの実施形態中で境界強度値を決定する際に使用される参照ブロック位置を図示する。 図５Ｃは、図１のプロセスのいくつかの実施形態中で境界強度値を決定する際に使用される参照ブロック位置を図示する。 図６Ａは、境界強度値を決定するプロセスの例を図示するフローチャートである。 図６Ｂは、境界強度値を決定するプロセスの例を図示するフローチャートである。 図７は、ビデオデータを処理する例示的な方法を図示する。 図８は、ビデオデータを処理する例示的な装置を図示する。

Claims (50)

  1. ビデオデータを処理する方法において、
    ビデオデータを補間することと、
    前記補間されたビデオデータをノイズ除去することとを含む方法。
  2. 前記補間されたビデオデータは、第１および第２ブロックを含み、
    前記方法は、
    前記第１および第２ブロックに関係付けられた境界強度値を決定することと、
    前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去することとをさらに含む請求項１記載の方法。
  3. 前記境界強度値を決定することは、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定することを含む請求項２記載の方法。
  4. 前記境界強度値を決定することは、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定することを含む請求項２記載の方法。
  5. 前記補間することは、１つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかを決定することを含む請求項２記載の方法。
  6. 前記補間することは、１つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかを決定することを含む請求項２記載の方法。
  7. 前記補間することは、１つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかを決定することを含む請求項２記載の方法。
  8. 前記補間することは、１つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかを決定することを含む請求項２記載の方法。
  9. 前記補間することは、２つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項２記載の方法。
  10. 前記補間することは、２つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項２記載の方法。
  11. ビデオデータを処理するためのプロセッサにおいて、
    前記プロセッサは、
    ビデオデータを補間し、
    前記補間されたビデオデータをノイズ除去するように構成されているプロセッサ。
  12. 前記補間されたビデオデータは、第１および第２ブロックを含み、
    前記プロセッサは、
    前記第１および第２ブロックに関係付けられた境界強度値を決定し、
    前記決定された境界強度値を使用することにより前記第１および第２ブロックをノイズ除去するようにさらに構成されている請求項１１記載のプロセッサ。
  13. 前記ビデオデータのコンテンツに基づいて前記境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
  14. 前記ビデオデータのコンテキストに基づいて前記境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
  15. １つの動きベクトルに基づいて補間し、
    前記第１および第２ブロックの前記動きベクトルは、参照フレームの隣接ブロックからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
  16. １つの動きベクトルに基づいて補間し、
    前記第１および第２ブロックの前記動きベクトルは、参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
  17. １つの動きベクトルに基づいて補間し、
    前記第１および第２ブロックの前記動きベクトルは、参照フレームの非隣接ブロックからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
  18. １つの動きベクトルに基づいて補間し、
    前記第１および第２ブロックの前記動きベクトルは、異なる参照フレームからのものであるかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
  19. ２つの動きベクトルに基づいて補間し、
    前記第１および第２ブロックの前方向動きベクトルは、隣接参照ブロックを指しているかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
  20. ２つの動きベクトルに基づいて補間し、
    前記第１および第２ブロックの後方向動きベクトルは、隣接参照ブロックを指しているかどうかに基づいて境界強度値を決定するようにさらに構成されている請求項１２記載のプロセッサ。
  21. ビデオデータを処理するための装置において、
    ビデオデータを補間する補間器と、
    前記補間されたビデオデータをノイズ除去するノイズ除去器とを具備する装置。
  22. 前記補間されたビデオデータは第１および第２ブロックを含み、
    前記装置は、前記第１および第２ブロックに関係付けられた境界強度値を決定する決定器をさらに具備し、
    前記決定器は、前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去する請求項２１記載の装置。
  23. 前記決定器は、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定する請求項２２記載の装置。
  24. 前記決定器は、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定する請求項２２記載の装置。
  25. 前記補間器は、１つの動きベクトルに基づいて補間し、
    前記決定器は、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
  26. 前記補間器は、１つの動きベクトルに基づいて補間し、
    前記決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
  27. 前記補間器は、１つの動きベクトルに基づいて補間し、
    前記決定器は、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
  28. 前記補間器は、１つの動きベクトルに基づいて補間し、
    前記決定器は、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
  29. 前記補間器は、２つの動きベクトルに基づいて補間し、
    前記決定器は、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
  30. 前記補間器は、２つの動きベクトルに基づいて補間し、
    前記決定器は、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかに基づいて前記境界強度値を決定する請求項２２記載の装置。
  31. ビデオデータを処理するための装置において、
    ビデオデータを補間する手段と、
    前記補間されたビデオデータをノイズ除去する手段とを具備する装置。
  32. 前記補間されたビデオデータは、第１および第２ブロックを含み、
    前記装置は、
    前記第１および第２ブロックに関係付けられた境界強度値を決定する手段と、
    前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去する手段とをさらに具備する請求項３１記載の装置。
  33. 前記境界強度値を決定する手段は、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定する手段をさらに備える請求項３２記載の装置。
  34. 前記境界強度値を決定する手段は、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定する手段をさらに備える請求項３２記載の装置。
  35. 補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
    前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
  36. 前記補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
    前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
  37. 前記補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
    前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
  38. 前記補間手段は、１つの動きベクトルに基づいて補間する手段をさらに備え、
    前記境界強度値を決定する手段は、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかを決定する手段をさらに備える請求項３２記載の装置。
  39. 補間する前記手段は、２つの動きベクトルに基づいて補間する手段をさらに備え、
    前記境界強度値を決定する手段は、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することをさらに備える請求項３２記載の装置。
  40. 補間する前記手段は、２つの動きベクトルに基づいて補間する手段をさらに備え、
    前記境界強度値を決定する手段は、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかを決定する手段を備える請求項３２記載の装置。
  41. ビデオデータを処理する方法を具現化するコンピュータ読取り可能媒体において、
    前記方法は、
    ビデオデータを補間することと、
    前記補間されたビデオデータをノイズ除去することとを含むコンピュータ読取り可能媒体。
  42. 前記補間されたビデオデータは、第１および第２ブロックを含み、
    さらに前記方法は、
    前記第１および第２ブロックに関係付けられた境界強度値を決定することと、
    前記決定された境界強度値を使用することにより、前記第１および第２ブロックをノイズ除去することとをさらに含む請求項４１記載のコンピュータ読取り可能媒体。
  43. 前記境界強度値を決定することは、前記ビデオデータのコンテンツに基づいて前記境界強度値を決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
  44. 前記境界強度値を決定することは、前記ビデオデータのコンテキストに基づいて前記境界強度値を決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
  45. 前記補間することは、１つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの隣接ブロックからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
  46. 前記補間することは、１つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームのオーバーラップされた隣接ブロックからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
  47. 前記補間することは、１つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが参照フレームの非隣接ブロックからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
  48. 前記補間することは、１つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの前記動きベクトルが異なる参照フレームからのものであるかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
  49. 前記補間することは、２つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの前方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
  50. 前記補間することは、２つの動きベクトルに基づいて補間することを含み、
    前記境界強度値を決定することは、前記第１および第２ブロックの後方向動きベクトルが隣接参照ブロックを指しているかどうかを決定することを含む請求項４２記載のコンピュータ読取り可能媒体。
JP2008501031A 2005-03-10 2006-03-10 フレームレートアップ変換アプリケーションにおける補間されたフレームデブロッキング動作 Expired - Fee Related JP4927812B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US66090905P 2005-03-10 2005-03-10
US60/660,909 2005-03-10
PCT/US2006/008946 WO2006099321A1 (en) 2005-03-10 2006-03-10 Interpolated frame deblocking operation in frame rate up conversion application

Publications (2)

Publication Number Publication Date
JP2008533863A true JP2008533863A (ja) 2008-08-21
JP4927812B2 JP4927812B2 (ja) 2012-05-09

Family

ID=36581794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008501031A Expired - Fee Related JP4927812B2 (ja) 2005-03-10 2006-03-10 フレームレートアップ変換アプリケーションにおける補間されたフレームデブロッキング動作

Country Status (13)

Country Link
US (1) US20060233253A1 (ja)
EP (1) EP1864503A1 (ja)
JP (1) JP4927812B2 (ja)
KR (2) KR20070118636A (ja)
CN (1) CN101167369B (ja)
AU (1) AU2006223192A1 (ja)
BR (1) BRPI0608283A2 (ja)
CA (1) CA2600476A1 (ja)
IL (1) IL185822A0 (ja)
MX (1) MX2007011099A (ja)
NO (1) NO20075126L (ja)
RU (1) RU2380853C2 (ja)
WO (1) WO2006099321A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101754015A (zh) * 2008-12-10 2010-06-23 辉达公司 图像数据的基于测量且可扩展的去块滤波
WO2010074170A1 (ja) * 2008-12-25 2010-07-01 シャープ株式会社 画像復号装置及び画像符号化装置
US8724694B2 (en) 2008-10-14 2014-05-13 Nvidia Corporation On-the spot deblocker in a decoding pipeline
US8861586B2 (en) 2008-10-14 2014-10-14 Nvidia Corporation Adaptive deblocking in a decoding pipeline
US8867605B2 (en) 2008-10-14 2014-10-21 Nvidia Corporation Second deblocker in a decoding pipeline
US9179166B2 (en) 2008-12-05 2015-11-03 Nvidia Corporation Multi-protocol deblock engine core system and method
WO2019087905A1 (ja) * 2017-10-31 2019-05-09 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
KR100870115B1 (ko) * 2005-12-21 2008-12-10 주식회사 메디슨 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
JP4771539B2 (ja) * 2006-07-26 2011-09-14 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
KR100819289B1 (ko) 2006-10-20 2008-04-02 삼성전자주식회사 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
EP4224853A1 (en) 2006-11-08 2023-08-09 InterDigital VC Holdings, Inc. Methods and apparatus for in-loop de-artifact filtering
KR101366244B1 (ko) * 2007-04-24 2014-02-21 삼성전자주식회사 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치
US8433159B1 (en) * 2007-05-16 2013-04-30 Varian Medical Systems International Ag Compressed target movement model using interpolation
US8325271B2 (en) * 2007-06-12 2012-12-04 Himax Technologies Limited Method of frame interpolation for frame rate up-conversion
TWI335764B (en) * 2007-07-10 2011-01-01 Faraday Tech Corp In-loop deblocking filtering method and apparatus applied in video codec
US8767831B2 (en) 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
JP5413923B2 (ja) * 2008-04-11 2014-02-12 トムソン ライセンシング 変位イントラ予測およびテンプレート・マッチングのためのデブロッキング・フィルタリング
US8208563B2 (en) * 2008-04-23 2012-06-26 Qualcomm Incorporated Boundary artifact correction within video units
CN101477412B (zh) * 2008-06-27 2011-12-14 北京希格玛和芯微电子技术有限公司 子像素级精度的运动感知方法
CN102265615B (zh) * 2008-12-22 2015-08-05 法国电信公司 使用参考因果区的重新分区的图像预测、以及使用这样的预测的编码和解码
JP5583992B2 (ja) * 2010-03-09 2014-09-03 パナソニック株式会社 信号処理装置
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US9942573B2 (en) * 2011-06-22 2018-04-10 Texas Instruments Incorporated Systems and methods for reducing blocking artifacts
US10440373B2 (en) * 2011-07-12 2019-10-08 Texas Instruments Incorporated Method and apparatus for coding unit partitioning
JP5159927B2 (ja) * 2011-07-28 2013-03-13 株式会社東芝 動画像復号装置及び動画像復号方法
PT2775711T (pt) * 2011-11-04 2020-04-03 Lg Electronics Inc Método e aparelhos para codificação/descodificação de informação em vídeo no campo técnico
US9443281B2 (en) * 2014-06-27 2016-09-13 Intel Corporation Pixel-based warping and scaling accelerator
RU2640298C1 (ru) * 2015-10-12 2017-12-27 Общество С Ограниченной Ответственностью "Яндекс" Способ обработки и хранения изображений
KR20180129860A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
US10368107B2 (en) * 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
CN109845255A (zh) * 2016-10-03 2019-06-04 夏普株式会社 用于将解块滤波器应用于重构视频数据的系统和方法
US11778195B2 (en) * 2017-07-07 2023-10-03 Kakadu R & D Pty Ltd. Fast, high quality optical flow estimation from coded video
US11917128B2 (en) * 2017-08-22 2024-02-27 Google Llc Motion field estimation based on motion trajectory derivation
US10659788B2 (en) 2017-11-20 2020-05-19 Google Llc Block-based optical flow estimation for motion compensated prediction in video coding
KR102581186B1 (ko) * 2018-10-12 2023-09-21 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004064396A1 (en) * 2003-01-10 2004-07-29 Thomson Licensing S.A. Decoder apparatus and method for smoothing artifacts created during error concealment
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920009609B1 (ko) * 1989-09-07 1992-10-21 삼성전자 주식회사 인터폴레이션을 이용한 영상신호의 화질개선 회로
JPH05244468A (ja) * 1992-02-28 1993-09-21 Mitsubishi Electric Corp 画像受信装置
EP0957367A1 (en) * 1998-04-14 1999-11-17 THOMSON multimedia Method for estimating the noise level in a video sequence
KR100696333B1 (ko) * 1999-08-31 2007-03-21 유티스타콤코리아 유한회사 디지털 라디오 시스템에서의 다양한 인터폴레이션 레이트를 지원하는 안티이미징 필터
US6717245B1 (en) * 2000-06-02 2004-04-06 Micron Technology, Inc. Chip scale packages performed by wafer level processing
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US6909750B2 (en) * 2001-05-01 2005-06-21 Koninklijke Philips Electronics N.V. Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
KR100441509B1 (ko) * 2002-02-25 2004-07-23 삼성전자주식회사 주사포맷변환장치 및 방법
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
KR100750110B1 (ko) * 2003-04-22 2007-08-17 삼성전자주식회사 ４×４인트라 휘도 예측 모드 결정방법 및 장치
KR100936034B1 (ko) * 2003-08-11 2010-01-11 삼성전자주식회사 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치
ATE441283T1 (de) * 2003-12-01 2009-09-15 Koninkl Philips Electronics Nv Bewegungskompensierte invers-filterung mit bandpassfiltern für die bewegungsverschmierungsreduktion
WO2005109899A1 (en) * 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion
US20060062311A1 (en) * 2004-09-20 2006-03-23 Sharp Laboratories Of America, Inc. Graceful degradation of loop filter for real-time video decoder
US7574060B2 (en) * 2004-11-22 2009-08-11 Broadcom Corporation Deblocker for postprocess deblocking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004064396A1 (en) * 2003-01-10 2004-07-29 Thomson Licensing S.A. Decoder apparatus and method for smoothing artifacts created during error concealment
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724694B2 (en) 2008-10-14 2014-05-13 Nvidia Corporation On-the spot deblocker in a decoding pipeline
US8861586B2 (en) 2008-10-14 2014-10-14 Nvidia Corporation Adaptive deblocking in a decoding pipeline
US8867605B2 (en) 2008-10-14 2014-10-21 Nvidia Corporation Second deblocker in a decoding pipeline
US9179166B2 (en) 2008-12-05 2015-11-03 Nvidia Corporation Multi-protocol deblock engine core system and method
CN101754015A (zh) * 2008-12-10 2010-06-23 辉达公司 图像数据的基于测量且可扩展的去块滤波
JP2010141883A (ja) * 2008-12-10 2010-06-24 Nvidia Corp 画像データの測定ベースのスケーラブルデブロックフィルタリング
US8761538B2 (en) 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
WO2010074170A1 (ja) * 2008-12-25 2010-07-01 シャープ株式会社 画像復号装置及び画像符号化装置
JP2010154264A (ja) * 2008-12-25 2010-07-08 Sharp Corp 画像復号装置及び画像符号化装置
US8792738B2 (en) 2008-12-25 2014-07-29 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
EA033108B1 (ru) * 2008-12-25 2019-08-30 Шарп Кабусики Кайся Устройство декодирования изображения и устройство кодирования изображения
WO2019087905A1 (ja) * 2017-10-31 2019-05-09 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置

Also Published As

Publication number Publication date
RU2007137519A (ru) 2009-04-20
KR100938568B1 (ko) 2010-01-26
EP1864503A1 (en) 2007-12-12
WO2006099321A1 (en) 2006-09-21
BRPI0608283A2 (pt) 2009-12-22
IL185822A0 (en) 2008-01-06
NO20075126L (no) 2007-10-09
CA2600476A1 (en) 2006-09-21
MX2007011099A (es) 2007-11-15
CN101167369B (zh) 2012-11-21
AU2006223192A1 (en) 2006-09-21
JP4927812B2 (ja) 2012-05-09
KR20070110543A (ko) 2007-11-19
CN101167369A (zh) 2008-04-23
RU2380853C2 (ru) 2010-01-27
KR20070118636A (ko) 2007-12-17
US20060233253A1 (en) 2006-10-19

Similar Documents

Publication Publication Date Title
JP4927812B2 (ja) フレームレートアップ変換アプリケーションにおける補間されたフレームデブロッキング動作
KR102185954B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
KR100863166B1 (ko) 블록 기반 디지털 비디오의 역블럭화 및 에지 강화를 위한 방법, 장치, 전자 디바이스, 컴퓨터 판독가능 매체, 및 프로세서
TWI834773B (zh) 使用適應性迴路濾波器以編碼和解碼影像之一或多個影像部分的方法、裝置和電腦可讀儲存媒體
JP4455487B2 (ja) 復号化装置及び復号化方法及びプログラム
JP4723026B2 (ja) 画像符号化方法および画像符号化装置
JP6352173B2 (ja) プリプロセッサ方法および装置
US20110069752A1 (en) Moving image encoding/decoding method and apparatus with filtering function considering edges
JP2006513633A (ja) エラー隠蔽中に生成されるアーチファクトをスムージングするデコーダ装置及び方法
JP2009532741A6 (ja) プリプロセッサ方法および装置
JP2024138328A (ja) 映像符号化・復号の方法、及びビットストリーム生成方法
CN112262579B (zh) 基于比特流标志位的用于视频编码的帧内锐化和/或去振铃滤波器
CN112272951B (zh) 用于视频编码的帧内锐化滤波器和/或去振铃滤波器
JP4719108B2 (ja) 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
Li et al. Complexity Reduction of an Adaptive Loop Filter Based on Local Homogeneity
Xiu et al. Adaptive enhancement filtering for motion compensation
KR100212124B1 (ko) 저비트율 부호화된 영상 데이터의 복호화 방법
KR20060079868A (ko) 비디오 디코딩 에러 은닉 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110224

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111012

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111019

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111114

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees