JP2008522508A - デジタル映像のアーティファクト削減 - Google Patents

Abstract

【課題】デジタル映像のアーティファクト削減の方法及びシステムを提供する。
【解決手段】
処理システム（１００）によって実行される方法を提供する。この方法は、第１のフレーム内の識別された複数のエッジを使用してデジタル映像（１２０）の第１のフレーム（４０２）内のアーティファクト（３０４）を検出し、第１のフレーム内のアーティファクトを包含する領域（６０２）を第２のフレーム（４０２）からの対応する領域（６０６／６０８）と置き換えることを含む。
【選択図】図１

Description

本発明の実施の形態は、デジタル映像のアーティファクト削減の方法及びシステムに関する。

フィルムなどの映像媒体とカメラなどの映像捕捉装置を使って１つまたは複数のシーンから動画、映像、および他の画像を捕捉することができる。処理した後で映像媒体を使って、プロジェクタなどの表示装置を使用して画像を表示することにより画像を再現することができる。例えばほこりやひっかき傷により生じたアーティファクトが映像媒体に現れることがある。アーティファクトは、映像媒体の画像の表示に望ましくない形の影響を及ぼすことがある。

例えば、ＴｅｃｈｎｉＣｏｌｏｒカメラで捕捉されたＴｅｃｈｎｉＣｏｌｏｒフィルムなどの映像媒体に、フィルムの１つまたは複数の色平面にほこりやひっかき傷の形のアーティファクトがある場合がある。ＴｅｃｈｎｉＣｏｌｏｒカメラの場合、画像は、各画像の赤色、緑色および青色の色平面を生成するために赤色、緑色および青色の個別のフィルムストリップを使用して捕捉される。その結果、画像をスクリーンや他の表示装置上に投影したときに、赤色、緑色または青色のどれかのフィルムストリップ上のほこりやひっかき傷が表示される場合がある。
英国特許出願公開第２３５６５１４号 SCHALLAUER P, PINZ A, HAAS W: 「Automatic Restoration Algorithms for 35mm Film」 JOURNAL OF COMPUTER VISION RESEARCH, vol. 1, no. 3, 1999, XP002382262 JOYEUX L, BOUKIR S, BESSERER B, BUISSON O: 「Reconstruction of degraded image sequence. Application to film restoration」IMAGE AND VISION COMPUTING, vol. 19, 2001, XP002382263 SONKA M他、「passage」IMAGE PROCESSING, ANALYSIS AND MACHINE VISION, 1999, XP002290472 the whole document 「Noise/Grain Reduction-Scratch/Dust Removal」HS DIGITAL SERVICE, [Online] 2004年6月7日, XP002382264 Retrieved from the Internet: URL:http://web.archive.org/web/20040607001850/http://hs-art.com/diamant/samples.html [retrieved on 2006-05-23]section 「Module 『dust』」 KUIPER A: 「Detection of Dirt Blotches on Optical Sound Tracks using Digital Image Processing」RADIOELEKTRONIKA, 2005, XP002382265 Brno

映像媒体上のアーティファクトは、デジタル化した映像媒体に現われる場合もある。映像媒体をデジタル形式に変換する際にアーティファクトも変換され、デジタル映像の一部になる場合がある。その結果、デジタル映像を閲覧または表示するときにアーティファクトが現れることがある。アーティファクトを有するデジタル映像の表示を改善できることが望ましい。

本発明の１つの形態は、処理システムによって実行される方法を提供する。この方法は、第１のフレーム内で識別された複数のエッジを使用してデジタル映像の第１のフレーム内のアーティファクトを検出し、第１のフレーム内のアーティファクトを包含する領域を第２のフレームからの対応する領域と置き換えることを含む。

以下の詳細な説明では、説明の一部を構成し且つ本発明を実施することができる特定の実施例として示した添付図面を参照する。この点に関して、「上」、「下」、「前」、「後」、「前方」、「後方」などの向きのある用語は、説明されている図の向きに対して使用される。本発明の実施形態の構成要素は、いくつかの異なる向きで配置することができるので、向きのある用語は、限定のためではなく例示のために使用される。本発明の範囲から逸脱することなく他の実施形態を利用することができ且つ構造的または論理的変更を行うことができることを理解されたい。したがって、以下の詳細な説明は、限定の意味で解釈されるべきでなく、本発明の範囲は、添付の特許請求の範囲によって定義される。

本明細書で説明するように、高品質デジタル映像を生成するためのシステム、方法およびプログラム製品が提供される。このシステム、方法およびプログラム製品は、デジタル映像の各フレームごとに、例えばほこりやひっかき傷を原因とするアーティファクトを検出し除去して高品質デジタル映像を生成しようとするものである。フレーム内のアーティファクトは、フレーム内の画素値から計算した勾配を使用して検出される。検出した後で、アーティファクトを含むブロックは、その前または後のフレームからのブロックと置き換えられる。その結果、デジタル映像の見掛けを改善することができる。

図１は、デジタル映像１２０からアーティファクトを除去するように構成された処理システム１００を示すブロック図である。処理システム１００は、プロセッサ１０２、メモリシステム１０４、入出力ユニット１０６、およびネットワーク装置１０８からなる。メモリシステム１０４は、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２、アーティファクト除去モジュール１１４、デジタル映像１２０、および高品質デジタル映像１２２を記憶するためのものである。

処理システム１００は、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２、およびアーティファクト除去モジュール１１４を使用してデジタル映像１２０から高品質デジタル映像１２２を生成するように構成されている。処理システム１００は、任意のタイプのコンピュータシステムあるいは携帯型または非携帯型電子装置を含む。例示的なコンピュータシステムには、デスクトップ、ラップトップ、ノートブック、ワークステーションあるいはサーバコンピュータシステムがあり、電子装置の例には、デジタルカメラ、デジタルビデオカメラ、プリンタ、スキャナ、携帯電話および携帯情報端末がある。

一実施形態において、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２およびアーティファクト除去モジュール１１４はそれぞれ、メモリシステム１０４に記憶されてプロセッサ１０２がアクセス可能で実行可能な命令を含む。メモリシステム１０４は、ＲＡＭ、ハードディスクドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤドライブなどの任意の数と種類の揮発性および不揮発性記憶装置を含む。他の実施形態では、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２およびアーティファクト除去モジュール１１４は、本明細書で説明する機能を実行するように構成されたハードウェア構成要素とソフトウエア構成要素の任意の組み合わせも含むことができる。

処理システム１００のユーザは、入出力ユニット１０６を使用して入力を提供し出力を受け取ることによって、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２およびアーティファクト除去モジュール１１４の動作を管理し制御することができる。入出力ユニット１０６は、処理システム１００に直接または間接に結合されたキーボード、マウス、表示装置、または他の入出力ユニットの任意の組み合わせを含むことができる。

アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２、アーティファクト除去モジュール１１４およびデジタル映像１２０はそれぞれ、処理システム１００に記憶される前に処理システム１００（図示せず）と別の媒体に記憶されてもよい。そのような媒体の例には、ハードディスクドライブ、コンパクトディスク（例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ）、およびデジタルビデオディスク（例えば、ＤＶＤ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ）がある。処理システム１００は、ネットワーク装置１０８を使用して、媒体を含むリモート処理または記憶システム（図示せず）からアーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２、アーティファクト除去モジュール１１４、およびデジタル映像１２０にアクセスすることができる。ネットワーク装置１０８は、任意のタイプの有線または無線のローカルエリア通信ネットワーク、広域通信ネットワークまたは大域通信ネットワークに直接または間接に結合されてもよい。

デジタル映像１２０は、複数のデジタルフレームを含む。各フレームは、画像を生成するために別々に表示されてもよく、映像（すなわち、動いているように見える１組の画像）を生成するために連続（例えば、２４または３０フレーム／秒）に表示されてもよい。デジタル映像１２０は、シーンが１組の関連フレームからなる１つまたは複数のシーンを含むことがある。一実施形態において、デジタル映像１２０は、各フレームが、赤画素値を有する赤色平面、青画素値を有する青色平面、および緑画素値を有する緑色平面を有するＲＧＢ色空間からなる。赤画素値、緑画素値および青画素値は、デジタル映像１２０の表示中に組み合わされてデジタル映像１２０の画像が再現される。他の実施形態では、各フレームは、他の組の色平面を含むこともでき、各色ごとの画素値を組み合わせることもできる。

デジタル映像１２０は、別の媒体（例えば、フィルム）からの他の１組の画像や映像から生成されてもよく、カメラや他の画像捕捉装置から直接生成されてもよい。例えば、ＴｅｃｈｎｉＣｏｌｏｒカメラを使用して捕捉されたＴｅｃｈｎｉＣｏｌｏｒフィルムは、スキャニングプロセスを使用してデジタル映像１２０に変換される。他の実施形態では、デジタル映像１２０は、単一の画像フレームを含んでもよく、関連のない１組の画像フレームを含んでもよい。

図２は、アーティファクト２０６を有しデジタル映像１２０を生成する映像媒体２００を示すブロック図である。映像媒体２００は、各フレームが赤色平面２０４Ｒ、緑色平面２０４Ｇおよび青色平面２０４Ｂ（すなわち、色平面２０４）を有する連続した一連のフレーム２０２を含む。一実施形態では、映像媒体２００は、ＴｅｃｈｎｉＣｏｌｏｒフィルムを含む。他の実施形態では、映像媒体２００は、他のタイプのフィルムまたは媒体を含む。

図２に示した例では、フレーム（ｎ）２０２と青色平面（ｎ）２０４Ｂがそれぞれアーティファクト２０６を含み、ここで、ｎはフレームの順序を示す整数である。アーティファクト２０６は、ほこりまたはひっかき傷によって生じる収差などの映像媒体２００における任意の種類の収差であり、この収差は、映像媒体２００の１つまたは複数の画像の表示に望ましくない形態、形状または色を引き起こす。映像媒体２００は、各フレーム２０２と各色平面２０４が０個以上のアーティファクト２０６を含むように任意数のアーティファクト２０６を含むことがある。

図３は、矢印３０２で示したような映像媒体２００からデジタル映像１２０を生成するプロセスを示すブロック図である。映像媒体２００をデジタル映像１２０に変換するプロセスにおいて、アーティファクト２０６や他の任意のアーティファクト（図示せず）が、デジタル映像１２０の１つまたは複数のフレームまたは色平面にアーティファクト３０４として再現される。

図１を再び参照すると、処理システム１００は、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２およびアーティファクト除去モジュール１１４を実行してデジタル映像１２０から高品質デジタル映像１２２を生成する。これを行う際に、アーティファクト検出モジュール１１２とアーティファクト除去モジュール１１４は、デジタル映像１２０からアーティファクト３０４や他のアーティファクト（図示せず）を除去して高品質デジタル映像１２２を生成しようとする。

図４は、デジタル映像１２０のフレーム（ｎ）４０２のアーティファクトを検出し除去して高品質デジタル映像１２２を生成するプロセスを示すブロック図であり、ここでｎは、連続する一連のフレーム４０２のうちの１つのフレーム４０２を指定する整数である。

図４の実施形態では、アーティファクト検出モジュール１１２は、デジタル映像１２０の各色平面ごとの勾配オペレータ（ｇｒａｄｉｅｎｔ ｏｐｅｒａｔｏｒ）４１２、エッジ検出ユニット４１４、選択的スミアリングユニット４１６、および検証ユニット４１８を含む。図４に示した実施形態では、デジタル映像１２０は、フレーム（ｎ）４０２と勾配検出装置４１２の間の矢印で示したような赤（Ｒ）、緑（Ｇ）および青（Ｂ）の色平面を含む。他の実施形態では、デジタル映像１２０は、他のタイプまたは数の色平面を含むことができる。処理システム１００によって実行されたとき、アーティファクト検出モジュール１１２は、１つまたは複数のアーティファクトを含むアーティファクト領域を検出し、アーティファクト領域（すなわち、アーティファクト領域４２２）を識別する情報をアーティファクト除去モジュール１１４に提供する。アーティファクト除去モジュール１１４は、ブロックマッチングユニット４２４Ａおよび４２４Ｂならびにベストマッチユニット４２６を含む。

次に、図５を参照して、アーティファクト検出モジュール１１２とアーティファクト除去モジュール１１４の動作を説明する。図５は、デジタル映像１２０内のフレーム（ｎ）４０２のアーティファクトを検出し除去して高品質デジタル映像１２２を生成する方法を示すフローチャートである。この方法は、処理システム１００が、デジタル映像１２０の各フレーム４０２にアーティファクト検出モジュール１１２とアーティファクト除去モジュール１１４を使用することによって実行することができる。

図４と図５を参照すると、処理システム１００は、ブロック５０２に示したように、アーティファクト検出モジュール１１２を実行してデジタル映像１２０からのフレーム（ｎ）４０２にアクセスする。処理システム１００は、ブロック５０４に示したように、勾配オペレータ４１２を実行してフレーム（ｎ）４０２内の各色平面の勾配を計算する。一実施形態では、勾配オペレータ４１２は、３ｘ３のソーベル演算子を使用して各色平面の勾配を計算する。例えば、赤色平面（ｒ）の勾配は、以下のような式Ｉ、ＩＩおよびＩＩＩを使用して計算される。

ここで、ｒ（ｉ，ｊ）は赤色平面内の画素値を表わし、ｐ_ｉ，_ｊとｑ_ｉ，_ｊはそれぞれ式ＩおよびＩＩで計算された変数で式ＩＩＩの勾配を計算するために使用される。勾配オペレータ４１２は、同様に緑色平面（ｇ）と青色平面（ｂ）の勾配を計算する。他の実施形態では、勾配オペレータ４１２は、他のオペレータを使用して各色平面の勾配を計算する。

処理システム１００は、エッジ検出ユニット４１４を実行して、ブロック５０６に示したように各色平面の勾配を比較して勾配を使用して飽和色エッジを検出する。そうすることによって、処理システム１００は候補画素を決定する。エッジ検出ユニット４１４は、以下の条件

を満たす

の中から最大の勾配を探すことによってエッジ位置を識別する。ここで、ｃ_０、ｃ_１、ｃ_２は、任意の順序のｒ、ｇおよびｂを指し、ｔｈは、赤色平面、緑色平面および青色平面内の画素値の範囲に比例するしきい値である。例えば、１６ビットデータ精度の画像ではｔｈ＝ｋ_０・６５５３５である。変数ｋ_０とｋ_１は、範囲（０，１］の実数である。ｋ_１が小さいほど制限が厳しくなる。一実施形態では、ｋ_０＝０．０５、ｋ_１＝０．５である。他の実施形態では、ｋ_０とｋ_１は他の値を含む。次の勾配のうち１つが基準を満たす場合、

その勾配と関連付けられた画素が、色タイプｃ_０の候補画素としてフラグを立てられる。

別の実施形態では、エッジ検出ユニット４１４が、各色平面の勾配量（ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ）をその色平面のしきい値と比較する。エッジ検出ユニット４１４は、しきい値より大きい勾配量をそのまま変更せず、しきい値以下の勾配量をゼロに設定する。各色平面の変更されない（すなわち、ゼロでない）勾配量は候補画素を構成する。エッジ検出ユニット４１４は、その色の勾配の様々な領域内の平均勾配量を計算し、そのような平均勾配量の最大値を見つけることによって色平面のしきい値を計算する。エッジ検出ユニット４１４は、色のしきい値を、最大しきい値まで最大平均勾配量に比例するように設定する。エッジ検出ユニット４１４は、各色平面のしきい値を個別に計算する。

他の実施形態では、エッジ検出ユニット４１４は、飽和色エッジを他の方法で（すなわち、勾配オペレータ４１２によって計算された勾配を使用せずに）検出する。そのような実施形態において、勾配オペレータ４１２は、飽和色エッジを検出するために、エッジ検出ユニット４１４によって使用される情報を生成するように構成された他のユニットと置き換えられる。

処理システム１００は、選択的スミアリングユニット４１６を実行して、ブロック５０８に示したように各色の非候補画素のセグメントに水平スミアリング操作を実行する。この水平スミアリング操作により、処理システム１００は候補アーティファクトを適切に識別できるようになる。ほこりとひっかき傷によって引き起こされるアーティファクトは、一般に、エッジ検出ユニット４１４によって生成された候補画素によって画定される閉じた境界を構成する。大きなアーティファクトがほこりとひっかき傷によって引き起こされる場合は、ほこりとひっかき傷によって引き起こされるアーティファクトが一般にアーティファクトの内部に低い勾配量を作り出すので、アーティファクトの内部画素ではなく境界画素だけしか飽和色エッジとして検出することができない。

選択的スミアリングユニット４１６は、３つの条件が満たされたと判定されたときに、一行の非候補画素のセグメントに水平スミアリング操作を実行する。第１の条件は、セグメント長（画素数で表した）が、ほこりおよび／またはひっかき傷のアーティファクトの想定最大サイズと関連付けられた最大長（例えば、４０画素）を超えないことである。第２の条件は、セグメントを区切る２つの候補画素が同じ色タイプのものであることである。第３の条件は、同じ位置の前の行内の隣接した画素がやはり候補画素を含むことである（例えば、同じ色タイプの候補画素として分類された前の行内の画素の数Ｎ_ｐが、Ｎ_ｐ＞（ｊ_１−ｊ_０＋１−ｓ）となるような高い比率を超えることであり、ここで、一実施形態によればｊ_１−ｊ_０は現在の行にあるセグメント長に等しく、ｓ＝３である。）

３つの条件がすべて満たされ場合、選択的スミアリングユニット４１６は、非候補画素を２区分の候補画素と同じ色タイプの候補画素として設定する。そうすることにより、選択的スミアリングユニット４１６は、候補アーティファクトの内部をその境界と関連付ける。他の実施形態では、選択的スミアリングユニット４１６は、スミアリング操作を他の方向（例えば、列に垂直または斜め）に、１組の候補画素と関連付けられた他の条件に応じて実行する。

処理システム１００は、検証ユニット４１８を実行して、ブロック５１０に示したように各候補アーティファクトの検証を行ってアーティファクト領域を決定する。この検証は、候補アーティファクトのエッジを他の色平面内の対応する位置と比較し、候補アーティファクトの平均色を候補アーティファクトのまわりの領域の平均色と比較することを含む。

一実施形態では、検証ユニット４１８は、次のように一次元（水平または垂直）検証方法を実行する。検証ユニット４１８は、各候補間隔（すなわち、行または列の一連の連続する候補画素）をラスタ順にスキャンする。各間隔ごとに、検証ユニット４１８は、２区分の外部画素（ｒ_０，ｇ_０，ｂ_０）と（ｒ_１，ｇ_１，ｂ_１）の２つの色を見つける。色タイプｘと画素属性（ｒ，ｇ，ｂ）の間隔で各候補画素ごとに、検証ユニット４１８は、次のような倍率変更した差を計算し、

Δｒ_０＝（ｒ−ｒ_０）／ｒ_０，Δｇ_０＝（ｇ−ｇ_０）／ｇ_０，Δｂ_０＝（ｂ−ｂ_０）／ｂ_０，Δｒ_１＝（ｒ−ｒ_１）／ｒ_１，Δｇ_１＝（ｇ−ｇ_１）／ｇ_１，Δｂ_１＝（ｂ−ｂ_１）／ｂ_１

下記条件を検証する。

１）（｜Δｘ_０｜＞ｔＨ ＡＮＤ ｜Δｘ_１｜＞ｔＨ ＡＮＤ ｓｇｎ（Δｘ_０）＝＝ｓｇｎ（Δｘ_１））

２）（｜Δｙ_０｜＜（ｋ_ｖ・｜Δｘ_０｜） ＡＮＤ ｜Δｚ_０｜＜（ｋ_ｖ・｜Δｘ_０｜） ＡＮＤ ｜Δｙ_１｜＜（ｋ_ｖ・｜Δｘ_１｜） ＡＮＤ ｜Δｚ_１｜＜（ｋ_ｖ・｜Δｘ_１｜））

ここで、ｘは候補画素の色タイプであり、（ｙ，ｚ）は画素の他の２つの色属性であり、ｔＨはしきい値であり、ｋ_ｖは定数値である。条件のどれかが満たされない場合、検証ユニット４１８は画素を非候補画素として再分類する。検証ユニット４１８は、前述のように水平検証の後で垂直検証を実行することができる。

各色平面が他の色平面（例えば、ＴｅｃｈｎｉＣｏｌｏｒフィルム）と別である実施形態では、ほこりとひっかき傷により引き起こされるアーティファクトは、通常、色平面の１つだけに現れる。従って、検証ユニット４１８は、８近傍接続（８−ｎｅｉｇｈｂｏｒ ｃｏｎｎｅｃｔｉｖｉｔｙ）を実行して、候補アーティファクトが少なくとも１つの他の色平面に対応するエッジを有するかどうかを判定する。そのようなエッジを有する場合、候補アーティファクトは、画像の所望部分である可能性が最も高く、検証ユニット４１８によって候補アーティファクトとして削除される。

そのようなエッジがない場合、検証ユニット４１８は、候補アーティファクトの画素の平均色を、候補アーティファクトと同じ色平面内の候補アーティファクトのまわりの領域内の画素の平均色と比較する。図６に示したように、領域は、候補アーティファクト３０４を包含する長方形領域６０２を構成することができる。他の実施形態では、領域６０２は、候補アーティファクト３０４を包含する他の形状とサイズを構成する。候補アーティファクト３０４の画素の平均色が、候補アーティファクト３０４のまわりの領域内の画素の平均色と大きく異ならない場合、候補アーティファクト３０４は、画像の所望部分である可能性が最も高く、検証ユニット４１８によって候補アーティファクトとして削除される。一実施形態では、候補アーティファクトの画素の平均色が、候補アーティファクトのまわりの領域内の画素値の最大値より大きいか、候補アーティファクトのまわりの領域内の画素値の最小値より小さい場合、検証ユニット４１８は、候補アーティファクトの画素の平均色が、候補アーティファクトのまわりの領域内の画素の平均色と大きく異なることを判定する。

候補アーティファクトのエッジが他の色平面内のエッジ位置に対応せず、また候補アーティファクトの平均色が候補アーティファクトのまわりの領域内の平均色と大きく異なる場合は、検証ユニット４１８は、候補アーティファクトが、例えばほこりやひっかき傷によって引き起こされたアーティファクトである可能性が高いと判定し、アーティファクト領域（例えば、領域６０２）を包含する領域を識別する情報を記憶する。

前述のように１つまたは複数のアーティファクトを検出した後、処理システム１００は、アーティファクト除去モジュール１１４を実行して、ブロック５１２に示したように前のフレーム（ｎ−１）４０２と後のフレーム（ｎ＋１）４０２とのブロックマッチングを実行する。アーティファクト除去モジュール１１４は、アーティファクト領域の位置を示すためにフレーム（ｎ）４０２の２値マスクを作成する。アーティファクト除去モジュール１１４は、ブロックマッチングユニット４２４Ａを使用して前のフレーム（ｎ−１）４０２を探し、ブロックマッチングユニット４２４Ｂを使用して後のフレーム（ｎ＋１）４０２を探す。ブロックマッチングユニット４２４Ａおよび４２４Ｂは、必要に応じて動き補正技術を使用して、アーティファクト領域以外のフレーム（ｎ）４０２と最も一致している前のフレーム（ｎ−１）４０２と後のフレーム（ｎ＋１）４０２をそれぞれ探す。

処理システム１００は、アーティファクト除去モジュール１１４を実行して、ブロック５１４に示したようにフレーム（ｎ）４０２内の各アーティファクト領域を前のフレーム（ｎ−１）４０２か後のフレーム（ｎ＋１）４０２からの対応するブロックと置き換える。図６は、デジタル映像１２０のフレーム（ｎ）４０２内にアーティファクト３０４を含むアーティファクト領域６０２を置き換えるプロセスを示すブロック図である。前のフレーム（ｎ−１）４０２がフレーム（ｎ）４０２と最も一致している場合は、ベストマッチユニット４２６が、フレーム（ｎ）４０２内のアーティファクト領域６０２を前のフレーム（ｎ−１）４０２からの領域６０６と置き換える。後のフレーム（ｎ＋１）４０２がフレーム（ｎ）４０２と最も一致している場合、ベストマッチユニット４２６は、フレーム（ｎ）４０２内のアーティファクト領域６０２を後のフレーム（ｎ＋ｌ）４０２からの領域６０８と置き換える。他のアーティファクト領域（図示せず）も同様に置き換えられる。

前述のシステムおよび方法を使用することにより、デジタル映像を得る映像媒体に存在するようなデジタル映像内のアーティファクトを除去することができる。従って、デジタル映像の表示を高品質化することができる。

本明細書に特定の実施形態を例示し説明したが、当業者は、示し説明した特定の実施形態に本発明の範囲を逸脱することなく様々な代替および／または等価な実施態様を代用できることを理解されよう。本願は、本明細書で述べた特定の実施形態の任意の適応例または変形例を範囲に含むように意図されている。したがって、本発明は特許請求の範囲とその等価物によってのみ限定されるものである。

本発明の一実施形態によるデジタル映像からアーティファクトを除去するように構成された処理システムを示すブロック図である。 本発明の一実施形態によるアーティファクトを有する映像媒体を示すブロック図である。 本発明の一実施形態によるアーティファクトを有する映像媒体からデジタル映像を生成するプロセスを示すブロック図である。 本発明の一実施形態によるデジタル映像からアーティファクトを検出し除去するプロセスを示すブロック図である。 本発明の一実施形態によるデジタル映像からアーティファクトを検出し除去する方法を示すフローチャートである。 本発明の一実施形態によるデジタル映像のフレーム内のアーティファクトを有する領域を置き換えるプロセスを示すブロック図である。

符号の説明

１００・・・処理システム
１０２・・・プロセッサ
１０４・・・メモリシステム
１０６・・・入出力
１０８・・・ネットワーク装置
１１０・・・アーティファクト削減モジュール
１１２・・・アーティファクト検出モジュール
１１４・・・アーティファクト除去モジュール
１２０・・・デジタル映像
１２２・・・高品質デジタル映像
２００・・・映像媒体
２０２・・・フレーム（ｎ−１）
・・・フレーム（ｎ）
・・・フレーム（ｎ＋１）
２０４Ｒ・・・赤色平面（ｎ）
２０４Ｇ・・・緑色平面（ｎ）
２０４Ｂ・・・青色平面（ｎ）
２０６・・・アーティファクト
３０２・・・生成プロセスを示す矢印
３０４・・・アーティファクト
４０２・・・フレーム（ｎ−１）
・・・フレーム（ｎ）
・・・フレーム（ｎ＋１）
４１２・・・勾配オペレータ
４１４・・・エッジ検出
４１６・・・選択的スメアリング
４１８・・・検証
４２２・・・アーティファクト領域
４２４Ａ・・・ブロックマッチング
４２４Ｂ・・・ブロックマッチング
４２６・・・ベストマッチ
６０２・・・領域
６０６・・・領域
６０８・・・領域

Claims (10)

1. 処理システム（１００）によって実行される方法であって、
   デジタル映像（１２０）の第１のフレーム（４０２）内のアーティファクト（３０４）を、前記第１のフレーム内に識別された複数のエッジを使用して検出する段階と、
   前記第１のフレーム内の前記アーティファクトを包含する領域（６０２）を第２のフレーム（４０２）からの対応する領域（６０６／６０８）と置き換える段階と
   を含む方法。
2. 前記第１のフレームを使用して複数の勾配量を含む勾配を計算する段階と、
   前記勾配を使用して複数のエッジを検出する段階とを更に含む
   請求項１に記載の方法。
3. 前記複数の勾配量を使用して複数のエッジを検出して複数の候補画素を識別する段階を更に含む
   請求項２に記載の方法。
4. 前記複数の候補画素のうちの少なくとも２つの候補画素の間にある前記複数の勾配量のそれぞれを、候補画素に設定する段階を更に含む
   請求項３に記載の方法。
5. 前記複数の候補画素を勾配量と比較して複数のしきい値を識別する段階を更に含む
   請求項２に記載の方法。
6. 前記複数の勾配量のうちしきい値以下の各勾配量をゼロに設定する段階を更に含む
   請求項５に記載の方法。
7. 前記第１のフレームが第１の色平面を含み、更に、
   前記第１の複数の候補画素が、前記第１のフレーム内の前記アーティファクトを包含する領域を前記第２のフレームからの前記対応する領域と置き換える前に第２の色平面からの第２の複数の候補画素に対応しないことを判定する段階を更に含む
   請求項３に記載の方法。
8. 前記アーティファクトを含む画素の平均色が、前記第１のフレーム内の前記アーティファクトを包含する前記領域を前記第２のフレームからの前記対応する領域と置き換える前に、前記第１フレーム内の前記アーティファクトを包含する領域のうちアーティファクト以外の領域を含む画素の平均色と大きく異なることを判定する段階を更に含む
   請求項１に記載の方法。
9. 前記第２のフレームと前記第１のフレームの間でブロックマッチングを実行する段階を更に含む
   請求項１に記載の方法。
10. システム（１００）であって、
    プロセッサ（１０２）と、
    デジタル映像（１２０）とアーティファクト削減モジュール（１１０）を記憶するためのメモリシステム（１０４）とを含み、
    前記プロセッサが、前記アーティファクト削減モジュールを実行して、
    前記第１のフレーム内の識別された複数のエッジを使用してデジタル映像（１２０）の第１のフレーム（４０２）内のアーティファクト（３０４）を検出し、
    前記第１のフレーム内に前記アーティファクトを包含する領域（６０２）を第２のフレーム（４０２）からの対応する領域（６０６／６０８）と置き換えるように構成されたシステム（１００）。

Images