JP2007226791A

JP2007226791A - デジタル画像処理方法

Info

Publication number: JP2007226791A
Application number: JP2007035150A
Authority: JP
Inventors: Zhichun Lei; レイ、チチョン
Original assignee: Sony Deutschland GmbH
Current assignee: Sony Deutschland GmbH
Priority date: 2006-02-15
Filing date: 2007-02-15
Publication date: 2007-09-06
Anticipated expiration: 2027-02-15
Also published as: JP4920444B2; US20070189630A1; US7856151B2; DE602006015899D1; EP1821257A1; EP1821257B1

Abstract

【課題】エッジを含む領域において画像雑音を増幅することなく、画像の鮮鋭度を向上させることができるデジタル画像処理方法を提供する。
【解決手段】デジタル画像データ（ＩＤ）を入力として処理するデジタル画像処理方法は、エッジを検出及び強調する処理を含み、入力データに関してマルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理を用いて、入力データに対するマルチレート、マルチ解像度及び／又はマルチスケール鮮鋭度強調を実現する。
【効果】マルチレート信号処理に基づく非線形のエッジベース鮮鋭度強調方法によって、画像の雑音が増幅されることを防ぐことができ、マルチレート画像鮮鋭度強調方法が適用される画像鮮鋭度の改善にも有効である。ここでは、マルチレート処理を行うため、傾きが大きいエッジだけでなく、傾きが中間の及び小さいエッジも効果的に検出され、更に強調することができる。
【選択図】図２

Description

本発明は、デジタル画像データを処理するデジタル画像処理方法に関する。特に、本発明は、エッジベースのマルチレート画像鮮鋭度強調を行うデジタル画像処理方法に関する。

画像処理が行われる多くのアプリケーション及びユーザ機器において、画像の鮮鋭度を強調することが必要な場合がある。ここで、エッジ等を含む画像領域において、鮮鋭度を強調する際、多くの場合、鮮鋭度強調の過程で、画像に含まれている雑音も増幅されてしまうという問題がある。

そこで、本発明の目的は、エッジを含む領域において画像雑音を増幅することなく、画像の鮮鋭度を向上させることができるデジタル画像処理方法を提供することである。

本発明の目的は、独立請求項１に定義されている本発明に基づくデジタル画像処理方法の特徴によって達成される。本発明に基づくデジタル画像処理方法の好適な実施の形態は、各従属請求項に定義されている。また、この目的は、独立請求項３４に基づくシステム又は装置、独立請求項３５に基づくコンピュータプログラム、及び独立請求項３６に基づくコンピュータにより読取可能な媒体によって達成される。

本発明に係るデジタル画像処理方法は、デジタル画像データを処理するデジタル画像処理方法において、（ａ）画像、画像のシーケンス及びビデオの少なくとも１つを表す処理されるデジタル画像データを入力データとして準備するステップＳ１と、（ｂ）入力データを処理し、強調された鮮鋭度プロパティを有する処理済みの画像、処理済みの画像シーケンス、処理済みのビデオを表す処理済みのデータとして、処理済みの画像データを生成するステップＳ２と、（ｃ）処理済みのデータを出力データとして提供するステップ（Ｓ３）とを有し、入力データを処理するステップＳ２は、エッジを検出及び強調する処理を含み、入力データに関してマルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理を用いて、入力データに対するマルチレート、マルチ解像度及び／又はマルチスケール鮮鋭度強調を実現する。

更に、本発明は、上述したデジタル画像処理方法及びそのステップを実現するよう適応化され、デジタル画像処理方法及びそのステップ実現するための手段を備えるデジタル画像処理システム、装置、機器、コンピュータプログラム製品、コンピュータにより読取可能な媒体を提供する。

以下では、機能的及び構造的に類似又は同様の要素及び構造については、同じ参照符号を付す。これらが出現する毎に同じ詳細な説明は繰り返さない。

本発明に基づく、デジタル画像データを処理するデジタル画像処理方法は、（ａ）画像Ｉ、画像のシーケンスＳＩ及びビデオＶの少なくとも１つを表す処理されるデジタル画像データＩＤを入力データｉｎｐＤとして準備するステップＳ１と、（ｂ）入力データｉｎｐＤを処理し、強調された鮮鋭度プロパティを有する処理済みの画像ｐｒｏｃＩ、処理済みの画像シーケンスｐｒｏｃＳＩ、処理済みのビデオｐｒｏｃＶを表す処理済みのデータｐｒｏｃＤとして、処理済みの画像データｐｒｏｃＩＤを生成するステップＳ２と、（ｃ）処理済みのデータｐｒｏｃＤを出力データｏｕｔＤとして提供するステップＳ３とを有し、入力データｉｎｐＤを処理するステップＳ２は、エッジを検出及び強調する処理ＤＥＥを含み、入力データｉｎｐＤに関してマルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理を用いて、入力データｉｎｐＤに対するマルチレート、マルチ解像度及び／又はマルチスケール鮮鋭度強調を実現する。

本発明の好ましい実施の形態においては、入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ及び／又はエッジベースの鮮鋭度強調は、入力データｉｎｐＤを分解Ｄ及び再構築Ｒする処理によって実現される。

これに代えて又はこれに加えて、入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ、エッジベースの鮮鋭度強調、及び／又は分解Ｄ及び再構築Ｒする処理は、ラプラシアンピラミッド分解及び再構築処理ＬＰＤＲによって実現してもよい。

これに代えて又はこれに加えて、入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ、エッジベースの鮮鋭度強調、分解Ｄ及び再構築Ｒする処理、及び／又はラプラシアンピラミッド分解及び再構築処理は、間引きＤＥＣ処理及び補間／統合ＩＮＴ処理に基づき又は間引きＤＥＣ処理及び補間／統合ＩＮＴ処理を用いてもよい。

この場合、間引きＤＥＣ処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づいて行ってもよい。

これに代えて又はこれに加えて、補間／統合ＩＮＴ処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づいて行ってもよい。

間引きＤＥＣ処理は、所定の順序で、（ｄ１）ローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬ及び（ｄ２）ダウンサンプリング↓のサブ処理を含んでいてもよい。

補間／統合ＩＮＴ処理は、所定の順序で、（ｉ１）アップサンプリング↑及び（ｉ２）ローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬのサブ処理を含んでいてもよい。

間引き処理ＤＥＣ及び／又は補間／統合処理ＩＮＴ、及び各サブ処理ｄ１、ｄ２、ｉ１、ｉ２は、高周波成分、雑音成分及び／又はその各分散を減少させ、各中間信号の有用な信号成分を実質的に変更しないように維持し、又は有用な信号成分を比較的より少量又は比較的少量だけ変更し又は変更しない。

間引き処理ＤＥＣ及び／又は補間／統合処理ＩＮＴ、及びローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬの各サブ処理ｄ１、ｉ２は、ハミングウィンドウを含むウィンドウ化プロセスに基づいて実行してもよい。

間引き処理ＤＥＣ及び／又は補間／統合処理ＩＮＴ、及びローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬの各サブ処理ｄ１、ｉ２は、実行されるローパスフィルタＬ及び／又はアンチエリアスフィルタＬの伝達関数Ｈに基づいて、事前推定してもよい。

この場合、分類される信号領域又は信号成分において、高周波信号成分及び雑音のいずれが支配的であるかを判定するために、基底のフィルタＬのそれぞれの伝達関数Ｈを用いて、変化率、分散範囲及び分散公差範囲の少なくとも１つを定義してもよい。

入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ、エッジベースの鮮鋭度強調、分解Ｄ及び再構築Ｒする処理、ラプラシアンピラミッド分解及び再構築処理及び／又は間引きＤＥＣ処理及び補間／統合ＩＮＴ処理は、複数の繰返しステップｋ＝１，…，Ｎを繰り返すことによって実現してもよい。

繰返しステップｋ＝１，…，Ｎのそれぞれにおいて、詳細信号ｄｅｔ_ｋ（ｋ＝０，１，…，Ｎ）を生成してもよい
繰返し、及び各繰返し停止条件は、予め定義された手法で、各閾値及び／又は各閾値条件に基づいて決定してもよい。

各繰返しステップｋ＝１，…，Ｎにおいて、各分解ステップＤ_ｋ及び各再構築ステップＲ_ｋは、それぞれ分解処理内及び再構築処理内で実行してもよい。

各繰返しステップｋ＝１，…，Ｎにおいて、各分解ステップＤ_ｋは、直前の繰返しステップｋ−１から、繰返しステップｋ−１によって生成された入力データｉｎ_ｋを受信し、又は、先行する繰返しステップがない場合、入力データｉｎｐＤを受信してもよい。

各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤ_ｋは、入力データｉｎ_ｋ＋１を生成し、直後の繰返しステップｋ＋１における分解ステップＤ_ｋに供給し、又は、後続する繰返しステップがない場合、同じ繰返しステップｋにおける各再構築ステップＲ_ｋに出力データｏｕｔ_ｋを供給してもよい。

各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤ_ｋは、処理全体の入力データをｉｎｐＤとし、ｋ番目の繰返しステップの入力データをｉｎｐ_ｋとし、間引き処理ＤＥＣをＤＥＣ（・）とし、ダウンサンプリングｄ２を↓（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理ｄ１をＬ（・）として、式（１）及び（２）に基づいて、入力データｉｎ_ｋ＋１を生成及び供給してもよい。

各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤ_ｋは、詳細データｄｅｔ_ｋを生成し、同じ繰返しステップｋにおける各再構築ステップＲ_ｋに供給してもよい。

各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤ_ｋは、ｋ番目の繰返しステップの詳細データをｄｅｔ_ｋとし、ｋ番目の繰返しステップの入力データをｉｎｐ_ｋとし、補間／統合の処理をＩＮＴ（・）とし、エッジ判定及び強調の処理をＤＥＥ・とし、アップサンプリングｉ１を↑（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理ｉ２をＬ（・）として、式（３）の（ａ）、（ｂ）、（ｃ）のいずれかに基づいて、詳細データｄｅｔ_ｋを生成してもよい。

各繰返しステップｋ＝１，…，Ｎにおいて、各再構築ステップＲ_ｋは、同じ繰返しステップの各分解ステップＤ_ｋにおいて生成された詳細データｄｅｔ_ｋを分解ステップＤ_ｋから受信し、及び直後の繰返しステップｋ＋１の各再構築ステップＤ_ｋ＋１において生成された出力データｏｕｔ_ｋを再構築ステップＤ_ｋ＋１から受信し、又は、後続する繰返しステップがない場合、同じ繰返しステップの分解ステップＤ_ｋの入力データｉｎｐ_ｋを受信するように構成してもよい。

各繰返しステップｋ＝１，…，Ｎにおいて、各再構築ステップＲ_ｋは、出力データｏｕｔ_ｋ−１を生成し、直前の繰返しステップｋ−１の再構築ステップＲ_ｋ−１に供給し、又は先行する繰返しステップがない場合、出力データｏｕｔＤを処理全体に提供してもよい。

各繰返しステップｋ＝１，…，Ｎにおいて、各再構築ステップＲ_ｋは、ｋ番目の繰返しステップにおける出力データをｏｕｔ_ｋとし、ｋ番目の繰返しステップにおける入力データをｉｎｐ_ｋとし、補間／統合の処理をＩＮＴ（・）とし、エッジ判定及び強調の処理をＤＥＥ（・）とし、アップサンプリングｉ１を↑（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理ｉ２をＬ（・）として、式（５）の（ａ）、（ｂ）、（ｃ）に基づいて、及び式（４）及び式（６）に基づいて、出力データｏｕｔ_ｋを生成及び準備及び／又は受信してもよい。

エッジ検出ＤＥＥは、元の入力信号ｉｎｐＤ及びマルチレート信号処理の分解側Ｄで出力された間引きＤＥＣ出力から実行してもよい。

エッジ検出ＤＥＥは、マルチレート信号処理の分解側Ｄの補間器ＩＮＴの出力から実行してもよい。

エッジ検出ＤＥＥは、マルチレート信号処理の再構築側Ｒの補間器ＩＮＴの出力から実行してもよい。

エッジ検出及び強調処理は、エッジベースの画像鮮鋭度強調の処理に基づいて実行してもよい。

エッジ検出及び強調処理は、非エッジベースの画像鮮鋭度強調の処理に基づいて実行してもよい。

エッジ検出は、マルチ解像度信号処理に基づいて実行し、エッジは、エッジベースの鮮鋭度強調方法によって強調してもよい。

より高い解像度レベルでは検出できないエッジを低い解像度レベルで検出し、エッジを更に強調してもよい。

異なる解像度レベルのエッジ検出は、異なるエッジ閾値又は同じエッジ閾値を用いて実行してもよい。

異なる解像度レベルのエッジ強調量は、制御され、異なる信号部分が制御された手法で強調される。

本発明の文脈では、エッジを検出及び強調するための如何なる既知の処理ＤＥＥを行ってもよい。

また、本発明の更なる側面として、本発明は、上述したデジタル画像処理方法及びそのステップを実現するよう適応化され、デジタル画像処理方法及びそのステップ実現するための手段を備えるデジタル画像処理システム、装置又は機器を提供する。

また、本発明の更なる側面として、本発明は、コンピュータ又はデジタル信号処理手段によって実行されると、上述したデジタル画像処理方法及びそのステップを実現するよう適応化されたコンピュータプログラム手段を備えるコンピュータプログラム製品を提供する。

また、本発明の更なる側面として、本発明は、上述したコンピュータプログラムを備えるコンピュータにより読取可能な媒体を提供する。

以下、本発明のこれらの及び更なる側面について説明する。

本発明は、特に、エッジベースのマルチレート画像鮮鋭度強調（edge-based multi rate image sharpness enhancement）を行うデジタル画像処理方法に関する。

本発明は、特に、マルチレート信号処理に基づく非線形の鮮鋭度強調方法を提供する。エッジベースの鮮鋭度強調方法によって、画像の雑音が増幅されることを防ぐことができ、マルチレート画像鮮鋭度強調が適用される画像鮮鋭度の改善にも有効である。ここでは、マルチレート処理を行うため、傾きが大きいエッジだけでなく、傾きが中間の及び小さいエッジも効果的に検出され、したがって、更に強調することができる。

画像鮮鋭度は、画像解像度に加えて、画質評価のための重要な特徴である。したがって、画像鮮鋭度の強調は、画像処理の重要な課題である。多数の画像鮮鋭度強調技術のうち、エッジベースの画像鮮鋭度強調技術は、最も有望であると考えられている［Ｓｃｈ００］。エッジベースの画像鮮鋭度強調技術は、画像鮮鋭度を向上させるだけではなく、雑音が増幅されることを防ぐことができる。エッジベースの画像鮮鋭度強調技術では、まず、画像のエッジを検出し、次に、エッジに沿った画素が強調される。

また、マルチスケール又はマルチ解像度信号処理として知られるマルチレート信号処理の研究は、多くの研究者によってなされている［ＣｒｏＲａ９６、Ｖａｉｄ９３、ＡｋａｎＨａ９０］。この技術は、多くの分野に応用されている。重要なアプリケーションの１つとして、鮮鋭度強調の分野がある［ＶｕｙＳｃｈ９１］。この技術は、ピラミッド分解（pyramid decomposition）に基づいている。ここでは、解像度が高いレベルでは、傾きが大きい信号部分が強調される。逆に、解像度が低いレベルでは、傾きが小さい信号部分が強調される。周知の非マルチレート信号処理方法では、大きな傾きを有する信号部分だけが強調されるが、本発明では、全て又は大部分の信号構造を強調できる。

ビデオ信号に含まれるピクチャの鮮鋭度を改善する方法は、（ａ）ステップ／エッジ強調アルゴリズムに基づいてピクチャを処理し、ステップ／エッジ強調ピクチャを生成するステップと、（ｂ）テクスチャ強調アルゴリズムに基づいてピクチャを処理し、テクスチャ強調されたピクチャを生成し、ステップ／エッジ強調ピクチャと、テクスチャ強調ピクチャとを混合することによって、鮮鋭度が改善されたピクチャを含むビデオ信号を生成するステップとを有し、ステップ（ａ）及び（ｂ）は、ピクチャに関連する動き情報に依存して実行される。この技術の詳細については、欧州特許第ＥＰ１３３９２２４号、「ピクチャ鮮鋭度を改善する方法及び装置（Method and Apparatus for Improving Picture Sharpness）」に開示されている。

特に低コントラスト構造を強調する必要があるため、マルチレート画像鮮鋭度強調技術は、画像鮮鋭度改善に関して最も効率的な技術である。しかしながら、周知のマルチレート画像鮮鋭度強調技術は、雑音による影響を非常に受けやすい。周知のエッジベースの画像鮮鋭度強調技術において、雑音の増幅を抑制すると、低コントラスト構造に対する強調の効果が低下する。

本発明は、画像雑音の増幅を防止しながら、低い、中間の、及び高いコントラストを有する画像信号の鮮鋭度を改善することを目的とする。マルチレート信号処理をエッジベースの画像強調技術と組み合わせることによって、雑音感度問題は、大幅に改善される。

周知のラプラシアンピラミッド分解及び再構築（Laplace pyramid decomposition and reconstruction）に基づくマルチレート信号処理を図１に示す。

マルチレート画像強調［ＶｕｙＳｃｈ９１］は、詳細信号（detail signal）に対して実行される。詳細信号自体が高周波成分であるので、その増幅、すなわち、１より大きい係数に乗算することによって、画像鮮鋭度が強調される。また、詳細信号には、画像雑音も含まれているので、この種の鮮鋭度強調技術では、鮮鋭度が改善される一方で、画像雑音も増幅される。雑音が過剰に増幅されることに対する対策として、例えば、コアリング技術（coring technique）が知られているが、雑音増幅問題は未解決である。

そこで、本発明は、新たな解決策として、図２によって示すようなエッジベースのマルチレート画像鮮鋭度強調技術を提供する。

エッジは、まず、解像度レベルが最も高い信号（元の入力信号）から検出され、次に、解像度レベルが低い信号から検出される。解像度レベルが低い信号は、ローパスフィルタ（Ｌ）及びダウンサンプラ（↓）を備える間引器（decimator）から出力される。外乱雑音に対してロバストなエッジ検出方法がある［Ｓｃｈ００］。エッジ検出のための前処理すなわち、直交フィルタリングによって、外乱雑音に対するエッジ検出のロバストネスを更に改善できる。そして、例えば、エッジ置換法、合成詳細信号加算法（synthetic detail-signal addition method）［Ｓｃｈ００］等によって、検出されたエッジに沿った画素を強調できる。

図２の構成では、エッジ検出及び強調は、間引器ＤＥＣの出力Ｌ↓を用いて行われる。また、アップサンプラ↑及びローパスフィルタＬからなる補間器又はインテグレータＩＮＴの出力↑Ｌを用いて、画像鮮鋭度を向上させることもでき、特に、再構築側の補間器の出力を用いることが有望である。

エッジの傾きは、図３に示すように、間引きの後により大きくなる。この結果、エッジ検出のために同じ閾値を適用しても、より高い解像度レベルでは、検出できないエッジをより低い解像度レベルで検出することができる。マルチレート処理の他の利点は、同じ画像について、エッジ検出のために２つ以上の閾値を適用でき、すなわち、異なるレベルに関して、エッジ検出のために異なる閾値を適用できるという点である。これにより、エッジ検出結果の精度を向上させることができる。

したがって、エッジベースの強調技術を用いて、より高い解像度レベルでは強調できないエッジをより低い解像度レベルにおいて強調することができる。この結果、高いコントラストを有する信号部分だけでなく、中間の及び低いコントラストを有する信号部分も強調することができる。

更に、信号強調量は、レベルによって異ならせることもでき、これにより、異なる信号部分を強調できる。例えば、解像度レベルが低い部分を解像度レベルが高い部分より強調することによって、コントラストが低い信号部分を強調することができる。

本発明は、元の入力信号及びマルチレート信号処理の分解側の間引器の出力信号からエッジ検出を行うことによって特徴付けられる画像鮮鋭度強調技術を開示する。この手法によって検出されたエッジは、エッジベース又は非エッジベースの画像鮮鋭度強調方法によって強調される。

これに代えて、マルチレート信号処理の分解側の補間器の出力からエッジ検出を行ってもよい。この手法によって検出されたエッジは、エッジベース又は非エッジベースの画像鮮鋭度強調方法によって強調される。

更に、これに代えて、マルチレート信号処理の再構築側の補間器の出力からエッジ検出を行ってもよい。この手法によって検出されたエッジは、エッジベース又は非エッジベースの画像鮮鋭度強調方法によって強調される。

これに加えて又はこれに代えて、画像鮮鋭度強調方法では、マルチ解像度信号処理に基づいてエッジ検出を行い、次に、エッジベースの鮮鋭度強調方法によってエッジを強調してもよい。

本発明の更なる側面では、高い解像度レベルにおいてエッジが検出できない場合、低い解像度レベルにおいてエッジを検出し、このエッジを強調できる。

本発明の更なる側面として、本発明に基づく画像鮮鋭度強調方法では、異なる又は同じエッジ閾値を用いて、異なる解像度レベルについてエッジを検出できる。

これに加えて又はこれに代えて、異なる解像度レベルについて、エッジ強調量を制御でき、これにより異なる信号部分を強調できる。

本発明は、マルチレート信号処理の利点とエッジベースの画像強調の利点の両方を組み合わせる。すなわち、本発明は、コントラストが低い、中間の及び高い画像信号の鮮鋭度を改善するとともに、雑音の増幅を防ぐ。

図１は、デジタル画像データ処理方法を実現するための構成の詳細を例示する概略的なブロック図であり、この構成は、入力データｉｎｐＤに基づき、出力データｏｕｔＤを生成し、出力する。

この処理は、入力データｉｎｐＤを分解するサブ処理Ｄと、再構築によって出力データｏｕｔＤを生成するサブ処理Ｒとから構成される。

更に、この処理全体を繰り返してもよく、すなわち分解のサブ処理Ｄ及び再構築のサブ処理Ｒをそれぞれ繰り返してもよい。各繰返しステップｋ＝１，…，Ｎにおいて、特定の繰返しステップｋのための入力データｉｎｐ_ｋ−１が供給又は生成され、次に、その特定の繰返しステップｋについて、各出力データｏｕｔ_ｋ−１が生成される。

最初に、すなわち、初期の又は繰返しステップｋ＝１において、処理全体の入力データｉｎｐＤによって入力データｉｎｐ０が与えられる。後続する各繰返しステップｋ＋１においては、先の繰返し処理ｋにおいて生成された各入力データｉｎｐ_ｋのそれぞれを、まず、ローパスフィルタリング又はアンチエイリアシングフィルタＬし、次にダウンサンプリング↓する。

各繰返しステップｋにおいて、次の繰返しステップｋ＋１の出力データｏｕｔ_ｋ＋１に基づいて、すなわち、所謂詳細データ又は詳細信号ｄｅｔ_ｋに、まず、アップサンプリング↑され、次に、アンチエイリアシングフィルタリング処理Ｌされる出力データｏｕｔ_ｋ＋１を加えることによって各出力データｏｕｔ_ｋが生成される。

ローパスフィルタリング又はアンチエイリアシングフィルタリングＬと、ダウンサンプリング↓との組合せは、間引き処理ＤＥＣと呼ぶこともでき、アップサンプリング↑と、ローパスフィルタリング又はアンチエイリアシングフィルタリング処理Ｌとの組合せは、統合又は補間処理ＩＮＴと呼ぶこともできる。

各繰返しステップｋについて、各詳細データｄｅｔ_ｋ又は詳細信号ｄｅｔ_ｋは、各繰返しステップｋにおける各入力信号ｉｎｐ_ｋ−１に減算又は各入力データｉｎｐ_ｋ−１に対して、所定の順序でローパスフィルタリング又はアンチエイリアシングフィルタＬ、ダウンサンプリング↓、アップサンプリング↑、及びローパスフィルタリング又はアンチエイリアシング処理Ｌを適用することによって得られる逆データを適用することによって生成される。

図２は、本発明に基づくデジタル画像処理方法の好ましい実施の形態の具体例を示す更なる概略的なブロック図であり、この構成は、各繰返しステップにおいて、エッジを検出及び強調する処理ＤＥＥを含む点が図１に示す構成と異なり、この処理は、各繰返しレベルｋにおいて、各入力データｉｎｐ_ｋに適用され、これにより、詳細信号ｄｅｔ_ｋ又は詳細データｄｅｔ_ｋが導出される。

図２の構成では、エッジを検出及び強調する処理ＤＥＥは、所定の繰返しレベルｋにおいて、各入力データｉｎｐ_ｋ−１に直接適用され、これにより、各詳細信号ｄｅｔ_ｋ又は詳細データｄｅｔ_ｋは、エッジを検出及び強調する処理ＤＥＥが適用される入力データｉｎｐ_ｋ−１と、ローパスフィルタ又はアンチエイリアシングフィルタＬ、ダウンサンプリング↓、アップサンプリング↑、及びローパスフィルタ又はアンチエイリアシングフィルタＬが所定の順序で実行される処理のカスケードが適用される各入力データｉｎｐ_ｋ−１との間の差分として定義される。

入力データｉｎｐ_ｋ及び出力データｏｕｔ_ｋのそれぞれの関係は、図１の構成と同様である。

図３は、本発明に基づいて適用される傾き間引き処理ＤＥＣの前後の画像データのエッジの傾きの増加を示す例示的なグラフである。

図４は、本発明の好ましい実施の形態に基づく繰り返し処理の基本構造及び分解ステップＤ_ｋと再構築ステップＲ_ｋとの間の異なる関係を示す更なる概略的なブロック図である。

図５は、異なるサブ処理と、データｉｎｐ_ｋ−１、ｉｎｐ_ｋ、ｄｅｔ_ｋ−１、ｄｅｔ_ｋ、ｏｕｔ_ｋ−１、ｏｕｔ_ｋの相互の関係及び各繰り返しのレベルｋにおける分解のサブ処理Ｄ_ｋ及び再構築のサブ処理Ｒ_ｋに関する関係を示している。

図６Ａ〜図６Ｃは、図５に示す包括的な関係を概略的なブロック図によって示している。但し、この具体例では、エッジを検出及び強調する処理ＤＥＥが図５の構成とは異なる。

図６Ａは、単一の繰返しステップｋについて、図２に対応する状況を示している。ここでも、エッジを検出及び強調する処理ＤＥＥは、所定の繰返しステップｋにおいて、入力データｉｎｐ_ｋ−１に適用できることが示されている。

図６Ｂに示す実施の形態では、エッジを検出及び強調する処理ＤＥＥは、各繰返しレベル_ｋにおいて、統合又は補間処理ＩＮＴの出力信号に直接適用される。

図６Ｃに示す実施の形態では、エッジを検出及び強調する処理ＤＥＥは、各繰返しレベルｋにおいて、分解処理Ｄ_ｋから再構築処理Ｒ_ｋに移され、すなわち、エッジを検出及び強調する処理ＤＥＥは、統合／補間処理ＩＮＴが適用された後に、ｋ番目の繰返しレベルにおいて受信された出力信号又は出力データｏｕｔ_ｋに適用され、すなわち、アップサンプリング↑及びローパス又はアンチエイリアシングフィルタリングＬの適用の後、詳細信号又は詳細データｄｅｔ_ｋに加算される直前に実行される。

参考文献
［Ｂｕｒｔ８１］P. J. Burt, "Fast Filter Transforms for Image Processing", Computer Graphics and Image Processing, Vol. 16, 1981.
［Ｃｒｏｗ８４］J. L. Crowley, R. M. Stern, "Fast Computation of the Difference of Low-Pass Transform", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 6, No. 2, 1984.
［ＡｋａｎＨａ９０］A.N. Akansu, R.A. Haddad, "Multiresolution Signal Decomposition", ISBN: 0120471418, Academic Press, 1990.
［ＶｕｙＳｃｈ９１］Pieter Paul Vuylsteke, Emile Paul Schoeters, "Method and Apparatus for Contrast Enhancement", EP 527 525, 1991.
［Ｖａｉｄ９３］P. P. Vaidyanathanm, "Multirate Systems and Filter Banks", ISBN: 0-13-605718-7, Prentice Hall PTR, 1993.
［ＣｒｏＲａ９６］Lawrence R. Rabiner, Ronald E. Crochiere, "Multirate Digital Signal Processing", ISBN: 0136051626, Prentice Hall Signal Processing Series, 1996.
［Ｓｃｈ００］H. Schroder, "Mehrdimensionale Signalverarbeitung", ISBN: 3-519-06197-X, B.G. Teubner Stuttgart, Stuttgart, 2000.

従来の信号処理方法を示す概略的なブロック図である。本発明に基づくデジタル画像処理方法、特にエッジベースのマルチレート画像強調の第１の実施の形態を示す概略的なブロック図である。本発明に基づく間引き処理に基づくエッジの傾きの変化を示すグラフ図である。本発明に基づくデジタル画像処理方法に関する本発明の繰返し処理の概念を説明する概略的なブロック図である。図４に示す処理の各繰返しステップの詳細を説明する概略的なブロック図である。本発明に基づくデジタル画像処理方法の異なる実施の形態について、図５に示す繰返しステップの構造の詳細を示す概略的なブロック図である。本発明に基づくデジタル画像処理方法の異なる実施の形態について、図５に示す繰返しステップの構造の詳細を示す概略的なブロック図である。本発明に基づくデジタル画像処理方法の異なる実施の形態について、図５に示す繰返しステップの構造の詳細を示す概略的なブロック図である。

符号の説明

Ｄ分解処理、Ｄ_ｋ各繰返しレベルｋにおける分解処理、ＤＥＣ分解処理、ｄｅｔ_ｋ各繰返しレベルｋにおける詳細データ／詳細信号、ＤＥＥエッジを検出及び強調する処理、ｉｎｐ_ｋ各繰返しレベルｋにおける入力データ、ｉｎｐＤ処理／方法全体の入力データ、ｉｎｐＩ処理／方法全体の入力画像、ｉｎｐＳＩ処理／方法全体の入力画像のシーケンス、ｉｎｐＶ処理／方法全体の入力ビデオ、ＩＮＴ統合／補間処理、ｏｕｔ_ｋ前の繰返しレベルｋ−１の次の繰返しレベルｋからの出力データ、ｏｕｔＤ処理／方法全体の出力データ、ｐｒｏｃＤ処理／方法全体の処理済みのデータ、ｐｒｏｃＩ処理／方法全体の処理済みの画像、ｐｒｏｃＳＩ処理／方法全体の処理済みの画像シーケンス、ｐｒｏｃＶ処理／方法全体の処理済みのビデオ、Ｒ再構築処理、Ｒ_ｋ各繰返しレベルｋの再構築処理

Claims

デジタル画像データを処理するデジタル画像処理方法において、
（ａ）画像（Ｉ）、画像のシーケンス（ＳＩ）及びビデオ（Ｖ）の少なくとも１つを表す処理されるデジタル画像データ（ＩＤ）を入力データ（ｉｎｐＤ）として準備するステップ（Ｓ１）と、
（ｂ）上記入力データ（ｉｎｐＤ）を処理し、強調された鮮鋭度プロパティを有する処理済みの画像（ｐｒｏｃＩ）、処理済みの画像シーケンス（ｐｒｏｃＳＩ）、処理済みのビデオ（ｐｒｏｃＶ）を表す処理済みのデータ（ｐｒｏｃＤ）として、処理済みの画像データ（ｐｒｏｃＩＤ）を生成するステップ（Ｓ２）と、
（ｃ）上記処理済みのデータ（ｐｒｏｃＤ）を出力データ（ｏｕｔＤ）として提供するステップ（Ｓ３）とを有し、
上記入力データ（ｉｎｐＤ）を処理するステップ（Ｓ２）は、エッジを検出及び強調する処理（ＤＥＥ）を含み、上記入力データ（ｉｎｐＤ）に関してマルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理を用いて、上記入力データ（ｉｎｐＤ）に対するマルチレート、マルチ解像度及び／又はマルチスケール鮮鋭度強調を実現するデジタル画像処理方法。
上記入力データ（ｉｎｐＤ）を処理するステップ（Ｓ２）、上記エッジを検出及び強調する処理（ＤＥＥ）及び／又はエッジベースの鮮鋭度強調は、上記入力データ（ｉｎｐＤ）を分解（Ｄ）及び再構築（Ｒ）する処理によって実現されることを特徴とする請求項１記載のデジタル画像処理方法。
上記入力データ（ｉｎｐＤ）を処理するステップ（Ｓ２）、上記エッジを検出及び強調する処理（ＤＥＥ）、エッジベースの鮮鋭度強調、及び／又は上記分解（Ｄ）及び再構築（Ｒ）する処理は、ラプラシアンピラミッド分解及び再構築処理によって実現されることを特徴とする請求項１又は２記載のデジタル画像処理方法。
上記入力データ（ｉｎｐＤ）を処理するステップ（Ｓ２）、上記エッジを検出及び強調する処理（ＤＥＥ）、エッジベースの鮮鋭度強調、上記分解（Ｄ）及び再構築（Ｒ）する処理、及び／又はラプラシアンピラミッド分解及び再構築処理は、間引き（ＤＥＣ）処理及び補間／統合（ＩＮＴ）処理に基づき又は間引き（ＤＥＣ）処理及び補間／統合（ＩＮＴ）処理を用いることを特徴とする請求項１乃至３いずれか１項記載のデジタル画像処理方法。
上記間引き（ＤＥＣ）処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づくことを特徴とする請求項４記載のデジタル画像処理方法。
上記補間／統合（ＩＮＴ）処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づくことを特徴とする請求項４又は５記載のデジタル画像処理方法。
上記間引き（ＤＥＣ）処理は、所定の順序で、
（ｄ１）ローパスフィルタリング（Ｌ）及び／又はアンチエリアスフィルタリング（Ｌ）を行うサブ処理及び
（ｄ２）ダウンサンプリング（↓）を行うサブ処理を含むことを特徴とする請求項４乃至６いずれか１項記載のデジタル画像処理方法。
上記補間／統合（ＩＮＴ）処理は、所定の順序で、
（ｉ１）アップサンプリング（↑）を行うサブ処理及び
（ｉ２）ローパスフィルタリング（Ｌ）及び／又はアンチエリアスフィルタリング（Ｌ）を行うサブ処理を含むことを特徴とする請求項４乃至７いずれか１項記載のデジタル画像処理方法。
上記間引き処理（ＤＥＣ）及び／又は補間／統合処理（ＩＮＴ）、及び各サブ処理（ｄ１）、（ｄ２）、（ｉ１）、（ｉ２）は、
高周波成分、雑音成分及び／又はその各分散を減少させ、
各中間信号の有用な信号成分を実質的に変更しないように維持し、又は該有用な信号成分を比較的より少量又は比較的少量だけ変更し又は変更しないことを特徴とする請求項４乃至８いずれか１項記載のデジタル画像処理方法。
上記間引き処理（ＤＥＣ）及び／又は補間／統合処理（ＩＮＴ）、及びローパスフィルタリング（Ｌ）及び／又はアンチエリアスフィルタリング（Ｌ）の各サブ処理（ｄ１、ｉ２）は、ハミングウィンドウを含むウィンドウ化プロセスに基づいて実行されることを特徴とする請求項４乃至９いずれか１項記載のデジタル画像処理方法。
上記間引き処理（ＤＥＣ）及び／又は補間／統合処理（ＩＮＴ）、及びローパスフィルタリング（Ｌ）及び／又はアンチエリアスフィルタリング（Ｌ）の各サブ処理（ｄ１、ｉ２）は、実行されるローパスフィルタ（Ｌ）及び／又はアンチエリアスフィルタ（Ｌ）の伝達関数（Ｈ）に基づいて、事前推定されることを特徴とする請求項４乃至１０いずれか１項記載のデジタル画像処理方法。
上記分類される信号領域又は信号成分において、高周波信号成分及び雑音のいずれが支配的であるかを判定するために、基底のフィルタ（Ｌ）のそれぞれの伝達関数（Ｈ）を用いて、変化率、分散範囲及び分散公差範囲の少なくとも１つを定義することを特徴とする請求項１１記載のデジタル画像処理方法。
上記入力データ（ｉｎｐＤ）を処理するステップ（Ｓ２）、上記エッジを検出及び強調する処理（ＤＥＥ）、エッジベースの鮮鋭度強調、上記分解（Ｄ）及び再構築（Ｒ）する処理、ラプラシアンピラミッド分解及び再構築処理及び／又は上記間引き（ＤＥＣ）処理及び上記上記補間／統合（ＩＮＴ）処理は、複数の繰返しステップ（ｋ＝１，…，Ｎ）を繰り返すことによって実現されることを特徴とする請求項１乃至１２いずれか１項記載のデジタル画像処理方法。
上記繰返しステップ（ｋ＝１，…，Ｎ）のそれぞれにおいて、詳細信号（ｄｅｔ_ｋ、ｋ＝０，１，…，Ｎ）が生成されることを特徴とする請求項１３記載のデジタル画像処理方法。
上記繰返し、及び各繰返し停止条件は、予め定義された手法で、各閾値及び／又は各閾値条件に基づいていることを特徴とする請求項１３又は１４記載のデジタル画像処理方法。
上記各繰返しステップ（ｋ＝１，…，Ｎ）において、各分解ステップ（Ｄ_ｋ）及び各再構築ステップ（Ｒ_ｋ）は、それぞれ上記分解処理内及び上記再構築処理内で実行されることを特徴とする請求項１３乃至１５いずれか１項記載のデジタル画像処理方法。
上記各繰返しステップ（ｋ＝１，…，Ｎ）において、各分解ステップ（Ｄ_ｋ）は、直前の繰返しステップ（ｋ−１）から、該繰返しステップ（ｋ−１）によって生成された入力データ（ｉｎ_ｋ）を受信し、又は、先行する繰返しステップがない場合、上記入力データ（ｉｎｐＤ）を受信することを特徴とする請求項１３乃至１６いずれか１項記載のデジタル画像処理方法。
上記各繰返しステップ（ｋ＝１，…，Ｎ−１）において、各分解ステップ（Ｄ_ｋ）は、入力データ（ｉｎ_ｋ＋１）を生成し、直後の繰返しステップ（ｋ＋１）における分解ステップ（Ｄ_ｋ）に供給し、又は、後続する繰返しステップがない場合、同じ繰返しステップ（ｋ）における各再構築ステップ（Ｒ_ｋ）に出力データ（ｏｕｔ_ｋ）を供給することを特徴とする請求項１７記載のデジタル画像処理方法。
上記各繰返しステップ（ｋ＝１，…，Ｎ−１）において、各分解ステップ（Ｄ_ｋ）は、処理全体の入力データをｉｎｐＤとし、ｋ番目の繰返しステップの入力データをｉｎｐ_ｋとし、間引き処理（ＤＥＣ）をＤＥＣ（・）とし、ダウンサンプリング（ｄ２）を↓（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理（ｄ１）をＬ（・）として、式（１）及び（２）に基づいて、上記入力データ（ｉｎ_ｋ＋１）を生成及び供給することを特徴とする請求項１８記載のデジタル画像処理方法。
上記各繰返しステップ（ｋ＝１，…，Ｎ−１）において、各分解ステップ（Ｄ_ｋ）は、詳細データ（ｄｅｔ_ｋ）を生成し、同じ繰返しステップ（ｋ）における各再構築ステップ（Ｒ_ｋ）に供給することを特徴とする請求項１３乃至１９いずれか１項記載のデジタル画像処理方法。
上記各繰返しステップ（ｋ＝１，…，Ｎ−１）において、各分解ステップ（Ｄ_ｋ）は、ｋ番目の繰返しステップの詳細データをｄｅｔ_ｋとし、ｋ番目の繰返しステップの入力データをｉｎｐ_ｋとし、補間／統合の処理をＩＮＴ（・）とし、エッジ判定及び強調の処理をＤＥＥ（・）とし、アップサンプリング（ｉ１）を↑（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理（ｉ２）をＬ（・）として、式（３）の（ａ）、（ｂ）、（ｃ）のいずれかに基づいて、詳細データ（ｄｅｔ_ｋ）を生成することを特徴とする請求項２０記載のデジタル画像処理方法。
上記各繰返しステップ（ｋ＝１，…，Ｎ）において、各再構築ステップ（Ｒ_ｋ）は、同じ繰返しステップの各分解ステップ（Ｄ_ｋ）において生成された詳細データ（ｄｅｔ_ｋ）を該分解ステップ（Ｄ_ｋ）から受信し、及び直後の繰返しステップ（ｋ＋１）の各再構築ステップ（Ｄ_ｋ＋１）において生成された出力データ（ｏｕｔ_ｋ）を該再構築ステップ（Ｄ_ｋ＋１）から受信し、又は、後続する繰返しステップがない場合、同じ繰返しステップの上記分解ステップ（Ｄ_ｋ）の上記入力データ（ｉｎ_ｋ）を受信することを特徴とする請求項１３乃至２１いずれか１項記載のデジタル画像処理方法。
上記各繰返しステップ（ｋ＝１，…，Ｎ）において、各再構築ステップ（Ｒ_ｋ）は、出力データ（ｏｕｔ_ｋ−１）を生成し、直前の繰返しステップ（ｋ−１）の再構築ステップ（Ｒ_ｋ−１）に供給し、又は先行する繰返しステップがない場合、出力データ（ｏｕｔＤ）を処理全体に提供することを特徴とする請求項１３乃至２２いずれか１項記載のデジタル画像処理方法。
上記各繰返しステップ（ｋ＝１，…，Ｎ）において、各再構築ステップ（Ｒ_ｋ）は、ｋ番目の繰返しステップにおける出力データをｏｕｔ_ｋとし、ｋ番目の繰返しステップにおける入力データをｉｎｐ_ｋとし、補間／統合の処理をＩＮＴ（・）とし、エッジ判定及び強調の処理をＤＥＥ（・）とし、アップサンプリング（ｉ１）を↑（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理（ｉ２）をＬ（・）として、式（５）の（ａ）、（ｂ）、（ｃ）に基づいて、及び式（４）及び式（６）に基づいて、上記出力データ（ｏｕｔ_ｋ）を生成及び準備及び／又は受信する請求項２３記載のデジタル画像処理方法。
上記エッジ検出（ＤＥＥ）は、元の入力信号（ｉｎｐＤ）及びマルチレート信号処理の分解側（Ｄ）で出力された間引き（ＤＥＣ）出力から実行されることを特徴とする請求項１乃至２４いずれか１項記載のデジタル画像処理方法。
上記エッジ検出（ＤＥＥ）は、マルチレート信号処理の分解側（Ｄ）の補間器（ＩＮＴ）の出力から実行されることを特徴とする請求項１乃至２４いずれか１項記載のデジタル画像処理方法。
上記エッジ検出（ＤＥＥ）は、マルチレート信号処理の再構築側（Ｒ）の補間器（ＩＮＴ）の出力から実行されることを特徴とする請求項１乃至２４いずれか１項記載のデジタル画像処理方法。
上記エッジ検出及び強調処理は、エッジベースの画像鮮鋭度強調の処理に基づいていることを特徴とする請求項１乃至２７いずれか１項記載のデジタル画像処理方法。
上記エッジ検出及び強調処理は、非エッジベースの画像鮮鋭度強調の処理に基づいていることを特徴とする請求項１乃至２８いずれか１項記載のデジタル画像処理方法。
上記エッジ検出は、マルチ解像度信号処理に基づいて実行され、上記エッジは、エッジベースの鮮鋭度強調方法によって強調されることを特徴とする請求項１乃至２９いずれか１項記載のデジタル画像処理方法。
より高い解像度レベルでは検出できないエッジを低い解像度レベルで検出し、該エッジを更に強調することを特徴とする請求項１乃至３０いずれか１項記載のデジタル画像処理方法。
上記異なる解像度レベルのエッジ検出は、異なるエッジ閾値又は同じエッジ閾値を用いて実行されることを特徴とする請求項１乃至３１いずれか１項記載のデジタル画像処理方法。
上記異なる解像度レベルのエッジ強調量は、制御され、異なる信号部分が制御された手法で強調されることを特徴とする請求項１乃至３２いずれか１項記載のデジタル画像処理方法。
請求項１乃至３３いずれか１項記載のデジタル画像処理方法及びそのステップを実現するよう適応化され、該デジタル画像処理方法及びそのステップ実現するための手段を備えるデジタル画像処理システム、装置又は機器。
コンピュータ又はデジタル信号処理手段に、請求項１乃至３３いずれか１項記載のデジタル画像処理方法及びそのステップを実行させるコンピュータプログラム。
請求項３５記載のコンピュータプログラムを記録したコンピュータにより読取可能な媒体。