JP2011530858A - ダーク・ノイズ・アーチファクトを検出する方法および装置 - Google Patents

ダーク・ノイズ・アーチファクトを検出する方法および装置 Download PDF

Info

Publication number
JP2011530858A
JP2011530858A JP2011522035A JP2011522035A JP2011530858A JP 2011530858 A JP2011530858 A JP 2011530858A JP 2011522035 A JP2011522035 A JP 2011522035A JP 2011522035 A JP2011522035 A JP 2011522035A JP 2011530858 A JP2011530858 A JP 2011530858A
Authority
JP
Japan
Prior art keywords
dark noise
artifact
video encoder
noise artifact
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011522035A
Other languages
English (en)
Other versions
JP5491506B2 (ja
Inventor
アツバス,アデイール
リ,チエン
ルウ,シヤオアン
ゴミラ,クリステイーナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2011530858A publication Critical patent/JP2011530858A/ja
Application granted granted Critical
Publication of JP5491506B2 publication Critical patent/JP5491506B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明は、符号化された画像およびビデオ中のダーク・ノイズ・アーチファクトを検出するものである。圧縮ピクチャ中のアーチファクトの位置を発見する。各ピクチャの全体のダーク・ノイズ・アーチファクト強度として、ブロック当たりのアーチファクトの強度を決定する。アーチファクトの検出および強度の割当ては、このタイプのアーチファクトを生じやすい可能性がある候補領域を分析することによって実行する。このプロセスでは、ブロック分散、色情報、輝度レベルおよびアーチファクト位置など、複数の特徴を使用することができる。また、識別した領域に対してメジアン・フィルタリングを使用して、孤立領域を除去することもできる。各ピクチャの最終的なアーチファクト・パラメータは、ダーク・ノイズとして分類されたブロックの総数および各マクロブロックの強度に基づいて評価することができる。

Description

本発明の原理は、ディジタル画像およびビデオ・コンテンツに関する。より詳細には、本発明の原理は、ディジタル画像およびビデオ・コンテンツ中のダーク・ノイズ・アーチファクト(dark noise artifact)の検出に関する。
DVDオーサリングなど、非実時間でビデオを符号化するアプリケーションは、圧縮エンジンから画像の画質をできる限り良好なものにすることを目的としている。その目的のために、コンプレッショニスト(すなわち、圧縮プロセスに責任がある技術者)は、アーチファクトを含むピクチャを識別するために圧縮ビデオを見直すことが要求される。これは、かなりの経験、時間および労力を要する手作業の主観的なプロセスであり、製作時間および予算に影響を与える。また、課される目視評価基準が評価者によって異なることによる不一致もある。一般に、検出したピクチャを、微調整した符号化パラメータを用いて後処理または再符号化して、見直しにかけることがよく行われる。後処理または再符号化のアルゴリズムは、ピクチャの品質を高めるために、アーチファクトのパラメータおよび位置に基づいてそれらのパラメータを調整することができる。
この状況では、このプロセスを容易にするために自動アーチファクト検出が必要である。問題のあるシーンまたはセグメントを自動的に識別するためには、圧縮アーチファクトの存在を検出する客観的なメトリクスを見つけることが重要である。ブロッキネス(blockiness)、ブラーリネス(blurriness)およびモスキート・ノイズなど、MPEG−2符号化で生じる一般的な圧縮アーチファクトの検出は、過去にも広範に研究されている。しかし、これは難問であり、ピーク信号対雑音比(PSNR)など、従来の広く受け容れられている客観的なメトリクスでは適切に対処できていない。さらに、MPEG−4 AVCまたはVC−1などの新しい圧縮標準が使用されるようになり、さらに新しい高精細度DVDフォーマットはさらに高いビット・レートで動作することにより、新しいタイプの圧縮アーチファクトも生じている。
「ダーク・ノイズ」とは、これらの新しい圧縮システムで生じる特定のタイプの視覚アーチファクトを指す用語である。(1)小さな分散、(2)低い強度レベル、および(3)低い飽和度を示す領域で人工的に平坦化されたブロックのクラスタが知覚されたとき、圧縮画像はダーク・ノイズ・アーチファクトを有すると言われる。ダーク・ノイズ・アーチファクトは、知覚したクロマ・パターン上の深刻なブロッキネス(blockiness)および/または変動を含むこともある。
前述のアプリケーションを効率よくサポートするためには、ダーク・ノイズ・アーチファクト検出アルゴリズムは、アーチファクトの深刻度を表すパラメータを提供して、再符号化および後処理のアルゴリズムがプロジェクト制約内で資源の割当てを自動的に優先順位をつけることができるようにする必要がある。さらに、ダーク・ノイズ・アーチファクト検出アルゴリズムは、そのパラメータを、グループ・オブ・ピクチャや1つのピクチャのようなグローバル・レベルだけでなく、マクロブロックやピクチャ内ブロックのようなローカル・レベルでも提供する必要がある。ダーク・ノイズ・アーチファクトをローカル・レベルまで突き止めることにより、符号化または処理モジュールは、アーチファクト領域内だけで符号化または処理パラメータを調整することができる。これは、全体のビット量または計算資源に制限がある場合に特に有用となり得る。
従って、ダーク・ノイズ・アーチファクトを自動的に検出し、ブロック当たりおよびピクチャ当たりのアーチファクトの強度を決定する方法および装置が強く求められている。
本発明の1つの特徴によれば、符号化された画像およびビデオ中のダーク・ノイズ・アーチファクトを検出する方法および装置が提供される。この方法では、(i)圧縮ピクチャ中のアーチファクトの位置を発見し、(ii)ブロック当たりのアーチファクトの強度を決定し、(iii)各ピクチャの全体のダーク・ノイズ・アーチファクト強度を決定する。アーチファクトの検出およびパラメータの割当ては、このタイプのアーチファクトを生じやすい可能性がある候補領域を分析することによって実行する。このプロセスでは、ブロック分散、色情報、輝度レベルおよびアーチファクト位置など、複数の特徴を使用することができる。例示的な実施態様では、ディジタル画像中のダーク・ノイズ・アーチファクト候補領域を、当該領域の少なくとも1つの特徴に基づいてスクリーニングするステップと、スクリーニングした候補領域をフィルタリングして孤立アーチファクト領域を除去するステップと、各候補領域にダーク・ノイズ・アーチファクト・パラメータを割り当てるステップと、候補領域中のピクセル・セットについてダーク・ノイズ・アーチファクト・パラメータを形成するステップとを含む、ダーク・ノイズ・アーチファクトを検出する方法が提案される。
本発明の別の特徴によれば、ディジタル画像のダーク・ノイズ・アーチファクト候補領域を当該領域の少なくとも1つの特徴に基づいてスクリーニングし、孤立アーチファクト領域を除去し、各候補領域にダーク・ノイズ・アーチファクト強度を割り当て、ピクセルのセットについてダーク・ノイズ・アーチファクト・パラメータを計算するように構成されたダーク・ノイズ・アーチファクト検出器を備えるビデオ・エンコーダが提案される。
本発明のその他の特徴および特性は、以下の詳細な説明を添付の図面と関連付けて考慮すれば明らかになるであろう。ただし、図面は、単に例示のみを目的としたものであって本発明の範囲を定義するものではなく、本発明の範囲については添付の特許請求の範囲を参照すべきであることを理解されたい。さらに、図面は、必ずしも一定の縮尺で描かれているわけではなく、特に指定しない限り、本明細書に記載する構造および手順を概念的に説明するためのものに過ぎないことも、理解されたい。
全図面を通じて、同じ参照番号は同じ要素を指している。
本発明の原理の1実施態様によるダーク・ノイズ・アーチファクトを検出する方法を示す流れ図である。 本発明の原理の1実施態様によるダーク・ノイズ・アーチファクトを検出する方法を示す詳細な流れ図である。 本発明の原理の実施によるダーク・ノイズ・アーチファクト検出の方法に適用できるレート制御アルゴリズムを示すブロック図である。 本発明の原理の実施によるダーク・ノイズ・アーチファクト検出の方法を組み込んだ予測エンコーダを示すブロック図である。
本発明の原理は、(i)ダーク・ノイズ・アーチファクトの位置を発見し、(ii)ブロック当たりのダーク・ノイズ・アーチファクトの強度を決定し、(iii)ピクチャ当たりの全体のダーク・ノイズ・アーチファクトの強度を決定する方法および装置を提供するものである。
本発明の原理によって述べられるダーク・ノイズ・アーチファクト検出は、以下のステップの一部または全てを含むことができる。図1に示す方法10を参照すると、ダーク・ノイズ・アーチファクト検出は、最初に目標とする1つまたは複数のピクチャをスクリーニングし(12)、ダーク・ノイズ・アーチファクト候補領域を突き止めることによって実行される。これらの候補にフィルタを適用して(14)、孤立領域を除去する。この時点で、各アーチファクト候補ブロックにダーク・ノイズ・アーチファクト強度を割り当て(16)、このダーク・ノイズ・アーチファクト強度をさらに使用して、ピクセル・セット(例えばピクチャまたはピクチャの群)のアーチファクト強度を決定または形成する(18)ことができる。次いで、この強度値を、ビデオ・エンコーダによって自動的にしきい値と比較することができる。あるいは、このメトリクスを、個々のケースごとに再符号化の必要性を判断するコンプレッショニストに提供することもできる。以下、これらのステップについて説明する。
(a)ダーク・ノイズ・アーチファクト領域のスクリーニング
図1のステップ12のスクリーニングは、通常のダーク・ノイズ・アーチファクトが生じる可能性の低い領域を除去することによって、ダーク・ノイズ・アーチファクト検出を高速化するために使用される。スクリーニング・ステップおよびフィルタリング・ステップは、これらの領域内のダーク・ノイズ・アーチファクトを解消または低減する。事前スクリーニングは、ピクセル・レベルまたはグループ・オブ・ピクチャ・レベルで行うことができる。ピクセル・ドメインまたは変換ドメイン内のいくつかの特徴を使用して、可能性の低い候補を除去することができる。例示的な実施態様として、8×8ブロックにおいて以下の特徴を計算する。
MeanLumRec: 再構築ブロックのルマ(luma)成分の平均値
MeanCbRec: 再構築ブロックのCbクロマ成分の平均値
MeanCrRec: 再構築ブロックのCrクロマ成分の平均値
VarLumRec: 再構築ブロックのルマ成分の分散
ValLumOrg: 元のブロックのルマ成分の分散
ここで、サイズM×NのブロックB中のピクセル値の分散
Figure 2011530858
は、次のように計算される。
Figure 2011530858
B(i、j)は、ブロックB中の位置(i、j)におけるピクセル値を表し、
Figure 2011530858
は、ブロックB内のピクセル値の平均値を表しており、次のように計算される。
Figure 2011530858
この例では、以下の基準を満たすブロックを、ダーク・ノイズ・アーチファクト候補領域として分類する。ダーク・ノイズ・アーチファクト候補領域として分類されたブロックは、1とマークされ、そうでないブロックは0とマークされる。
1)MeanLumRecが、所定範囲(TH_LUM_LOW、TH_LUM_HI)内である。
2)VarLumRecが、所定値TH_LUM_VAR未満である。
3)VarLumOrgとVarLumRecの差の絶対値が、所定値TH_LUM VARDIFFより大きい。
4)MeanCbRecが、範囲(TH_CB_LOW、TH_CB_HI)内であり、MeanCrRecが、範囲(TH_CR_LOW、TH_CR_HI)内である。
上述のように、スクリーニング・ステップ中に、その他の基準(すなわち輝度情報以外)を使用することもできる。ダーク・ノイズ・アーチファクト候補領域のスクリーニングに使用することができる領域の特徴のその他の例としては、空間アクティビティ情報、テクスチャ情報、または時間的情報などが挙げられる。
(b)ダーク・ノイズ・アーチファクト候補領域のフィルタリング
ダーク・ノイズ・アーチファクト候補領域を識別したら、これらの領域に対して時間的および/または空間的フィルタ(ステップ14)を使用して、孤立領域を低減または除去することができる。例示的な実施態様では、空間的メジアン・フィルタを使用して、ビデオ・フレーム内の孤立したダーク・ノイズ・アーチファクト候補マクロブロックを除去することができる。
(c)ブロックのダーク・ノイズ・アーチファクト強度
ダーク・ノイズ・アーチファクト候補ブロックの特徴に基づき、このブロックにアーチファクト強度を割り当てることができる。本例では、平均輝度値が低いブロックほど、高い強度を割り当てる。これは、低輝度の領域ほどアーチファクトが深刻になる傾向があることによるものである。元の画像またはビデオが入手できる場合には、さらに、元の画像またはビデオおよび再構築した画像またはビデオの両方について各ブロックの分散を計算することができ、分散の減少が大きい候補再構築ブロックほど、高いアーチファクト強度が割り当てられる。特定の実施例として、ブロックのアーチファクト強度(ArtifactStrength)を、以下のように計算する。
VarDiff = VarLumOrg − VarLumRec
LumaWt = (TH_LUM_HI − MeanLumRec)/(TH_LUM_HI − TH_LUM_LOW)
ArtifactStrength = VarDiff + LumaWt
当業者なら、アーチファクト強度はマクロブロック・レベルで割り当てても、ピクチャ・レベルで割り当ててもよいことが分かるであろう。
図2は、本発明の原理の1実施態様によるブロック・レベルのダーク・ノイズ・アーチファクト検出モジュールを示す流れ図95である。上述のように、ピクチャ内の各ブロックについて、このダーク・ノイズ・アーチファクト検出方法では、最初に、様々な特徴を用いて可能性の低いアーチファクト候補領域をスクリーニングし、除去する。これは、図2のステップ100〜ステップ120に示す。最初に、プロセスを開始した(100)ときに、全てのマクロブロックに対するループを実行し(110)、元のブロックおよび再構築ブロックの特徴を計算する(120)。
次いで、それぞれのブロックにダーク・ノイズが存在するかどうかを判定する(130)。存在する場合には、マスク・マップにおいて、検出されたダーク・ノイズ・アーチファクト候補を1とマークし(140)、そうでない場合には、0とマークする(150)。この時点で、全てのマクロブロックに対するループを終了する(160)。
次いで、マスク・マップに対してメジアン・フィルタリングを実行して、孤立領域を除去する(170)。メジアン・フィルタリングの後で、ブロックなどのピクセル群についてのダーク・ノイズ・アーチファクト強度を計算することができる(180)。この強度計算に基づいて、ピクチャのアーチファクト強度を形成することができ(190)、その後、プロセスを終了する(200)。
(d)画像またはビデオ・ピクチャ群のダーク・ノイズ・アーチファクト・メトリクス
アーチファクト候補ブロックを識別し、各ブロックにアーチファクト強度を割り当てたら、画像またはビデオ・ピクチャ群について、全体のダーク・ノイズ・アーチファクト強度を計算(または形成)することができる(ステップ18)。全体のダーク・ノイズ・アーチファクト強度の計算では、例えば、画像またはビデオ・ピクチャ内でアーチファクト候補ブロックとして識別されたブロックの割合を使用する。全体のアーチファクト強度の計算の別の例としては、全ブロックのアーチファクト強度を合計してもよい。次いで、全体のアーチファクト強度を、ビデオ・エンコーダによって自動的にしきい値と比較することができる。あるいは、このメトリクスを、個々のケースごとに再符号化の必要性を判断するコンプレッショニストに提供することもできる。
所望のしきい値を超えるダーク・ノイズ・アーチファクトを有するとして識別された領域またはピクチャについては、レート制御アルゴリズムを使用して、再符号化のための符号化パラメータを調整することができる。このようなレート制御の簡単な例は、ダーク・ノイズ・アーチファクトのない領域またはピクチャのビットを用いて、より多くのビットを、ダーク・ノイズ・アーチファクトを有する領域またはピクチャに割り当てることである(例えば図3参照)。
図3は、図1〜図2に示して説明したダーク・ノイズ・アーチファクト検出方法10に適用することもできる、レート制御アルゴリズム300を示すブロック図である。図3を参照すると、本発明の原理を適用することができる例示的なレート制御装置の全体が、参照番号300で示してある。装置300は、本明細書に記載するダーク・ノイズ・アーチファクト・パラメータ推定を、本発明の原理の様々な実施例に従って適用するように構成される。装置300は、ダーク・ノイズ・アーチファクト検出器310、レート制約メモリ320、レート制御装置330およびビデオ・エンコーダ340を備える。
ダーク・ノイズ・アーチファクト検出器310の出力は、レート制御装置330の第1の入力に信号通信で接続される。レート制約メモリ320は、レート制御装置330の第2の入力に信号通信で接続される。レート制御装置330の出力は、ビデオ・エンコーダ340の第1の入力に信号通信で接続される。
ダーク・ノイズ・アーチファクト検出器310の入力およびビデオ・エンコーダ340の第2の入力は、装置300の入力として利用することができ、入力されるビデオおよび/あるいは1つまたは複数の画像を受信する。ビデオ・エンコーダ340の出力は、装置300の出力として利用することができ、ビットストリームを出力する。
1つの例示的な実施例では、ダーク・ノイズ・アーチファクト検出器310は、図1〜図2に則って説明した方法に従ってダーク・ノイズ・アーチファクト・パラメータを生成し、このメトリクスをレート制御装置330に渡す。レート制御装置330は、このダーク・ノイズ・アーチファクト・パラメータを、レート制約メモリ320に記憶されている付加的なレート制約と共に使用して、ビデオ・エンコーダ340を制御するためのレート制御パラメータを生成する。あるいは、アーチファクト・パラメータをメモリに記憶することもでき、この場合には、このダーク・ノイズ・アーチファクト・パラメータを後に取り出し、再符号化がいつ必要でいつ必要でないのかについて判定することもできる。
図4を参照すると、本発明の原理によるバンディング・アーチファクト検出方法を実施するダーク・ノイズ・アーチファクト検出モジュール495が一体化された、図3のレート制御アルゴリズムを適用することもできる、本発明の原理を適用することができる例示的な予測ビデオ・エンコーダの全体が、参照番号400で示してある。エンコーダ400は、例えば、図3のエンコーダ340として使用することができる。その場合には、エンコーダ400は、図3の装置300に対応するレート制御を(レート制御装置330に従って)適用するように構成される。
ビデオ・エンコーダ400は、結合器485の第1の入力と信号通信した出力を有するフレーム順序付けバッファ410を含む。結合器485の出力は、変換器/量子化器425の第1の入力に信号通信で接続される。変換器/量子化器425の出力は、エントロピ・コーダ445の第1の入力および逆変換器/逆量子化器450の入力に信号通信で接続される。エントロピ・コーダ445の出力は、結合器490の第1の入力に信号通信で接続される。結合器490の出力は、出力バッファ435の入力に信号通信で接続される。出力バッファの第1の出力は、レート制御装置405の入力に信号通信で接続される。レート制御装置405の出力は、ピクチャ・タイプ判定モジュール415の入力、マクロブロック・タイプ(MBタイプ)判定モジュール420の第1の入力、変換器/量子化器425の第2の入力、およびシーケンス・パラメータ・セット(SPS)およびピクチャ・パラメータ・セット(PPS)挿入器440の入力に信号通信で接続される。
ピクチャ・タイプ判定モジュール415の第1の出力は、フレーム順序付けバッファ410の第2の入力に信号通信で接続される。ピクチャ・タイプ判定モジュール415の第2の出力は、マクロブロック・タイプ判定モジュール420の第2の入力に信号通信で接続される。
シーケンス・パラメータ・セット(SPS)およびピクチャ・パラメータ・セット(PPS)挿入器440の出力は、結合器490の第3の入力に信号通信で接続される。逆量子化器/逆変換器450の出力は、結合器427の第1の入力に信号通信で接続される。結合器427の出力は、イントラ予測モジュール460の入力およびデブロッキング・フィルタ465の入力に信号通信で接続される。デブロッキング・フィルタ465の出力は、参照ピクチャ・バッファ480の入力に信号通信で接続される。参照ピクチャ・バッファ480の出力は、動き推定器475の入力および動き補償器470の第1の入力に信号通信で接続される。動き推定器475の第1の出力は、動き補償器470の第2の入力に信号通信で接続される。動き推定器475の第2の出力は、エントロピ・コーダ445の第2の入力に信号通信で接続される。
動き補償器470の出力は、スイッチ497の第1の入力に信号通信で接続される。イントラ予測モジュール460の出力は、スイッチ497の第2の入力に信号通信で接続される。マクロブロック・タイプ判定モジュール420の出力は、スイッチ497の第3の入力に信号通信で接続される。スイッチ497の出力は、結合器427の第2の入力に信号通信で接続される。
フレーム順序付けバッファ410の入力は、エンコーダ400の入力として利用することができ、入力ピクチャを受信する。さらに、付加拡張情報(SEI)挿入器430の入力は、エンコーダ400の入力として利用することができ、メタデータを受信する。出力バッファ435の第2の出力は、エンコーダ400の出力として利用することができ、ビットストリームを出力する。
さらに、これらの方法は、プロセッサが命令を実行することによって実施することができ、このような命令は、例えば集積回路、ソフトウェア・キャリア、あるいは、例えばハード・ディスク、コンピュータ・ディスケット、ランダム・アクセス・メモリ(RAM)または読み取り専用メモリ(ROM)などその他の記憶装置といったプロセッサ可読媒体に記憶することができる。これらの命令によって、プロセッサ可読媒体上に実装されるアプリケーション・プログラムを構成することもできる。また、プロセッサが、例えばプロセスを実行する命令を有するプロセッサ可読媒体を含むこともできることは、明らかであろう。
実施態様では、例えば記憶または伝送することができる情報を搬送するようにフォーマットされた信号を生成することもできることは、当業者には明らかであろう。この情報としては、例えば、方法を実行するための命令、または上述の実施態様の1つで生成されたデータなどが挙げられる。このような信号は、例えば、(例えばスペクトルの無線周波部分を使用して)電磁波として、またはベースバンド信号としてフォーマット化することができる。フォーマット化は、例えば、データ・ストリームの符号化、符号化したストリームのパケット化、およびパケット化したストリームによる搬送波の変調を含むことができる。信号が搬送する情報は、例えば、アナログ情報であってもよいし、ディジタル情報であってもよい。既知の通り、信号は、様々な種類の有線または無線リンクを介して伝送することができる。
いくつかの実施態様について説明した。しかし、様々な修正を加えることができることを理解されたい。例えば、異なる実施態様の要素を組み合わせたり、補足したり、修正したり、除去したりして、その他の実施態様を生みだすこともできる。さらに、開示した構造およびプロセスの代わりに、その他の構造およびプロセスを用いることもできること、ならびにその結果得られた実施態様が、開示の実施態様と少なくとも実質的には同じである1つまたは複数の機能を、少なくとも実質的には同じである1つまたは複数の方法で実行して、少なくとも実質的には同じである1つまたは複数の結果を達成することになることは、当業者なら理解するであろう。従って、上記その他の実施態様は、以下の特許請求の範囲に含まれる。

Claims (25)

  1. ディジタル画像の領域内のアーチファクトを除去するために前記領域をフィルタリングするステップ(14)と、
    前記領域にダーク・ノイズ・アーチファクト・パラメータを割り当てるステップ(16)と、を含む、方法。
  2. 前記ディジタル画像中の領域を、該領域に関する輝度情報に基づいてスクリーニングするステップをさらに含む、請求項1に記載の方法。
  3. 前記ディジタル画像中の領域を、該領域に関する空間アクティビティ情報に基づいてスクリーニングするステップをさらに含む、請求項1に記載の方法。
  4. 前記ディジタル画像中の領域を、該領域に関するテクスチャ情報に基づいてスクリーニングするステップをさらに含む、請求項1に記載の方法。
  5. 前記ディジタル画像中の領域を、該領域に関する時間的情報に基づいてスクリーニングするステップをさらに含む、請求項1に記載の方法。
  6. 前記フィルタリングがメジアン・フィルタリングを含む、請求項1に記載の方法。
  7. ダーク・ノイズ・アーチファクト・パラメータの前記割当てステップが、マクロブロック・レベルで実行される、請求項1に記載の方法。
  8. ダーク・ノイズ・アーチファクト・パラメータの前記割当てステップが、ピクチャ・レベルで実行される、請求項1に記載の方法。
  9. ダーク・ノイズ・アーチファクト検出が、ピクセル・ドメインで実行される、請求項1に記載の方法。
  10. ダーク・ノイズ・アーチファクト検出が、変換ドメインで実行される、請求項1に記載の方法。
  11. 前記ディジタル画像が、ディジタル・ビデオ・コンテンツ中の一連のディジタル画像の1つである、請求項1に記載の方法。
  12. 前記ダーク・ノイズ・アーチファクト・パラメータが、しきい値と比較され、前記ダーク・ノイズ・アーチファクト・パラメータが前記しきい値を超えたのに応答して、ピクセル・セットが再符号化される、請求項1に記載の方法。
  13. 前記ダーク・ノイズ・アーチファクト・パラメータが、システム出力として提供される、請求項1に記載の方法。
  14. 前記領域内のダーク・ノイズ・アーチファクトを除去し、前記領域にダーク・ノイズ・アーチファクト・パラメータを割り当てるように構成された検出器(10)を備える、ビデオ・エンコーダ。
  15. 前記検出器が、メジアン・フィルタを含む、請求項14に記載のビデオ・エンコーダ。
  16. 前記検出器が、ダーク・ノイズ・アーチファクトがないかどうか、ディジタル画像の領域を、前記領域の輝度情報を用いてスクリーニングするようにさらに動作可能である、請求項14に記載のビデオ・エンコーダ。
  17. 前記検出器が、ダーク・ノイズ・アーチファクトがないかどうか、ディジタル画像の領域を、空間アクティビティ情報を用いてスクリーニングするようにさらに動作可能である、請求項14に記載のビデオ・エンコーダ。
  18. 前記検出器が、ダーク・ノイズ・アーチファクトがないかどうか、ディジタル画像の領域を、テクスチャ情報を用いてスクリーニングするようにさらに動作可能である、請求項14に記載のビデオ・エンコーダ。
  19. 前記検出器が、ダーク・ノイズ・アーチファクトがないかどうか、ディジタル画像の領域を、時間的情報を用いてスクリーニングするようにさらに動作可能である、請求項14に記載のビデオ・エンコーダ。
  20. MPEG−4 AVC、VC−1、およびMPEG−2からなる群から選択された少なくとも1つの標準に準拠する、請求項14に記載のビデオ・エンコーダ。
  21. 前記ディジタル画像が、ビデオ・コンテンツを構成する一連のディジタル画像の一部である、請求項14に記載のビデオ・エンコーダ。
  22. 前記検出器が、前記ダーク・ノイズ・アーチファクト・パラメータをマクロブロック・レベルで割り当てる、請求項14に記載のビデオ・エンコーダ。
  23. 前記検出器が、前記ダーク・ノイズ・アーチファクト・パラメータをピクチャ・レベルで割り当てる、請求項14に記載のビデオ・エンコーダ。
  24. 前記ダーク・ノイズ・アーチファクト・パラメータが、しきい値と比較され、前記ダーク・ノイズ・アーチファクト・パラメータが前記しきい値を超えたのに応答して、ピクセル・セットが再符号化される、請求項14に記載のビデオ・エンコーダ。
  25. 前記ダーク・ノイズ・アーチファクト・パラメータが、システム出力として提供される、請求項14に記載のビデオ・エンコーダ。
JP2011522035A 2008-08-08 2008-08-08 ダーク・ノイズ・アーチファクトを検出する方法および装置 Expired - Fee Related JP5491506B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/009566 WO2010016823A1 (en) 2008-08-08 2008-08-08 Method and apparatus for detecting dark noise artifacts

Publications (2)

Publication Number Publication Date
JP2011530858A true JP2011530858A (ja) 2011-12-22
JP5491506B2 JP5491506B2 (ja) 2014-05-14

Family

ID=40260816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011522035A Expired - Fee Related JP5491506B2 (ja) 2008-08-08 2008-08-08 ダーク・ノイズ・アーチファクトを検出する方法および装置

Country Status (7)

Country Link
US (1) US20110135012A1 (ja)
EP (1) EP2321796B1 (ja)
JP (1) JP5491506B2 (ja)
KR (1) KR101529754B1 (ja)
CN (1) CN102119400B (ja)
BR (1) BRPI0822986A2 (ja)
WO (1) WO2010016823A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363522B2 (en) * 2011-04-28 2016-06-07 Warner Bros. Entertainment, Inc. Region-of-interest encoding enhancements for variable-bitrate mezzanine compression
US20140254938A1 (en) * 2011-11-24 2014-09-11 Thomson Licensing Methods and apparatus for an artifact detection scheme based on image content
CN105243651B (zh) * 2015-11-19 2018-08-28 中国人民解放军国防科学技术大学 基于近似方差和暗色块像素统计信息的图像边缘增强方法
CN107154025B (zh) * 2016-03-04 2019-12-13 北京大学 一种针对颈动脉磁共振血管壁成像的血流伪影去除方法
TW201742001A (zh) * 2016-05-30 2017-12-01 聯詠科技股份有限公司 影像雜訊估測方法及裝置與影像擷取裝置
EP3826311A1 (en) 2019-11-22 2021-05-26 MK Systems USA Inc. Systems and methods for measuring visual quality degradation in digital content
CN111583152B (zh) * 2020-05-11 2023-07-07 福建帝视科技集团有限公司 基于U-net结构的图像伪影检测与自动去除方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07250327A (ja) * 1994-03-08 1995-09-26 Matsushita Electric Ind Co Ltd 画像符号化方法
JPH07334683A (ja) * 1994-06-08 1995-12-22 Matsushita Electric Ind Co Ltd 移動物体検出装置
JP2002191048A (ja) * 2000-12-22 2002-07-05 Ando Electric Co Ltd 動画符号通信評価方法及び動画符号通信評価装置
JP2007536774A (ja) * 2004-04-29 2007-12-13 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. 画像の圧縮ノイズを推定するシステムおよび方法
WO2008085377A2 (en) * 2006-12-28 2008-07-17 Thomson Licensing Banding artifact detection in digital video content
WO2008085425A2 (en) * 2006-12-28 2008-07-17 Thomson Licensing Detecting block artifacts in coded images and video
WO2008088482A1 (en) * 2006-12-28 2008-07-24 Thomson Licensing Method and apparatus for automatic visual artifact analysis and artifact reduction

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
JP3353604B2 (ja) * 1995-08-09 2002-12-03 ソニー株式会社 動画像符号化方法及び装置、並びに信号記録媒体
US5995149A (en) * 1997-07-31 1999-11-30 Sony Corporation Image data compression
US7212668B1 (en) * 2000-08-18 2007-05-01 Eastman Kodak Company Digital image processing system and method for emphasizing a main subject of an image
JP2004519967A (ja) * 2001-04-09 2004-07-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ フィルタ装置
DE10155089C1 (de) * 2001-11-09 2003-06-18 Siemens Ag Verfahren zur Entfernung von Ringen und Teilringen in Computertomographie-Bildern
US7430335B2 (en) * 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
JP2005130045A (ja) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc 撮像装置及びこれに用いる撮像素子
US7362911B1 (en) * 2003-11-13 2008-04-22 Pixim, Inc. Removal of stationary noise pattern from digital images
JP2006081156A (ja) * 2004-08-13 2006-03-23 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
JP4130434B2 (ja) * 2004-11-30 2008-08-06 本田技研工業株式会社 撮像装置の異常検知装置
US20060256215A1 (en) * 2005-05-16 2006-11-16 Xuemei Zhang System and method for subtracting dark noise from an image using an estimated dark noise scale factor
US8098256B2 (en) * 2005-09-29 2012-01-17 Apple Inc. Video acquisition with integrated GPU processing
KR100721543B1 (ko) * 2005-10-11 2007-05-23 (주) 넥스트칩 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
JP4593437B2 (ja) * 2005-10-21 2010-12-08 パナソニック株式会社 動画像符号化装置
JP4662880B2 (ja) * 2006-04-03 2011-03-30 三星電子株式会社 撮像装置,及び撮像方法
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
KR100845303B1 (ko) * 2006-09-29 2008-07-10 한국전자통신연구원 고속 부호화를 위한 되먹임 구조를 가진 동영상 압축부호화 장치 및 최적 모드 결정 방법
KR100780242B1 (ko) * 2006-11-14 2007-11-27 삼성전기주식회사 이미지의 어두운 영역에서의 노이즈 제거 방법 및 장치
JP5150224B2 (ja) * 2006-11-29 2013-02-20 パナソニック株式会社 画像処理方法および画像処理装置
JP5427785B2 (ja) * 2007-09-28 2014-02-26 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ圧縮技法及びビデオ伝達技法
US7832928B2 (en) * 2008-07-24 2010-11-16 Carestream Health, Inc. Dark correction for digital X-ray detector

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07250327A (ja) * 1994-03-08 1995-09-26 Matsushita Electric Ind Co Ltd 画像符号化方法
JPH07334683A (ja) * 1994-06-08 1995-12-22 Matsushita Electric Ind Co Ltd 移動物体検出装置
JP2002191048A (ja) * 2000-12-22 2002-07-05 Ando Electric Co Ltd 動画符号通信評価方法及び動画符号通信評価装置
JP2007536774A (ja) * 2004-04-29 2007-12-13 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. 画像の圧縮ノイズを推定するシステムおよび方法
WO2008085377A2 (en) * 2006-12-28 2008-07-17 Thomson Licensing Banding artifact detection in digital video content
WO2008085425A2 (en) * 2006-12-28 2008-07-17 Thomson Licensing Detecting block artifacts in coded images and video
WO2008088482A1 (en) * 2006-12-28 2008-07-24 Thomson Licensing Method and apparatus for automatic visual artifact analysis and artifact reduction

Also Published As

Publication number Publication date
EP2321796A1 (en) 2011-05-18
US20110135012A1 (en) 2011-06-09
KR20110046523A (ko) 2011-05-04
EP2321796B1 (en) 2016-12-28
BRPI0822986A2 (pt) 2015-06-23
WO2010016823A1 (en) 2010-02-11
KR101529754B1 (ko) 2015-06-19
CN102119400A (zh) 2011-07-06
CN102119400B (zh) 2017-10-31
JP5491506B2 (ja) 2014-05-14

Similar Documents

Publication Publication Date Title
JP5276170B2 (ja) バンディング・アーチファクトを検出する方法および装置
JP4565010B2 (ja) 画像復号装置および画像復号方法
US9967556B2 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
RU2550541C2 (ru) Деблокирующая фильтрация
JP5491506B2 (ja) ダーク・ノイズ・アーチファクトを検出する方法および装置
US20130028322A1 (en) Moving image prediction encoder, moving image prediction decoder, moving image prediction encoding method, and moving image prediction decoding method
KR101273487B1 (ko) 적응성 픽셀-기반의 필터링
JP2007536828A (ja) 低ビットレート映像圧縮のための画像エンハンスメント方法及び装置
US11432005B2 (en) Moving image encoding device
KR20050084266A (ko) 디지털 비디오 처리용 통합 규준
JP2005117449A (ja) モスキートノイズ低減装置、モスキートノイズ低減方法、及びモスキートノイズ低減用プログラム
JP4266227B2 (ja) 動画像信号処理装置
JP3800435B2 (ja) 動画像信号処理装置
JP5180550B2 (ja) 画像処理装置及び画像処理方法
JP2009182768A (ja) 動画像符号化方法,装置,プログラムおよびコンピュータ読み取り可能な記録媒体
JP4829951B2 (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006121131A (ja) ノイズ検出装置及びノイズ検出プログラム
KR20050079690A (ko) 필터링 방법

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111221

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121204

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140227

R150 Certificate of patent or registration of utility model

Ref document number: 5491506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees