JP2016503211A - 画像鮮鋭化処理方法および装置、ならびに撮影端末 - Google Patents

画像鮮鋭化処理方法および装置、ならびに撮影端末 Download PDF

Info

Publication number
JP2016503211A
JP2016503211A JP2015551111A JP2015551111A JP2016503211A JP 2016503211 A JP2016503211 A JP 2016503211A JP 2015551111 A JP2015551111 A JP 2015551111A JP 2015551111 A JP2015551111 A JP 2015551111A JP 2016503211 A JP2016503211 A JP 2016503211A
Authority
JP
Japan
Prior art keywords
image information
sharpening
image
information
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015551111A
Other languages
English (en)
Other versions
JP6111489B2 (ja
Inventor
▲剛▼ ▲陳▼
▲剛▼ ▲陳▼
巍 ▲羅▼
巍 ▲羅▼
▲聡▼超 朱
▲聡▼超 朱
Original Assignee
▲華▼▲為▼▲終▼端有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ▲華▼▲為▼▲終▼端有限公司 filed Critical ▲華▼▲為▼▲終▼端有限公司
Publication of JP2016503211A publication Critical patent/JP2016503211A/ja
Application granted granted Critical
Publication of JP6111489B2 publication Critical patent/JP6111489B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本発明の実施形態は、画像鮮鋭化処理方法および装置、ならびに撮影端末を提供し、前記方法は、処理されるべき画像情報を取得するステップと、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得するステップであって、基礎画像情報は画像エッジ情報を含む、ステップと、画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するステップと、鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行うステップとを含む。鮮鋭化処理のために必要な鮮鋭化利得は、画像エッジ情報によって決定されることが実施され、それによって、鮮鋭化された画像情報に対してノイズ増幅を抑制するとともにovershootの現象を回避し、鮮鋭化された画像の品質を改善する。

Description

本願は、2013年1月7日に中国特許庁に出願された、"IMAGE SHARPENING PROCESSING METHOD AND APPARATUS, AND SHOOTING TERMINAL"と題する、中国特許出願第CN201310005184.6に優先権を主張し、その全体が参照によって本明細書に組み込まれる。
本発明の態様は、画像処理技術に関し、詳細には、画像鮮鋭化処理方法および装置、ならびに撮影端末に関する。
レンズ、絞り(aperture)およびセンサ等のハードウェア面への制限のために、携帯電話によって撮影された画像の品質とデジタルカメラによって撮影された画像の品質との間には比較的大きなギャップが存在し、携帯電話によって撮影された画像は、比較的低い解像度(definition)を有する。コストの理由により、ハードウェア条件が改善されていないという原則の上で、画像の解像度は画像鮮鋭化処理を介して改善されることができる。
従来技術では、撮影画像は、ハイパスフィルタまたはローパスフィルタを使用することによって、低周波基礎(base)画像および高周波詳細(detail)画像とに分解される。高周波詳細画像情報は画像の解像度を決定するため、高度な詳細画像情報を取得するために高周波詳細画像情報と鮮鋭化利得とに乗算が行われる。次いで、鮮鋭化された画像を取得するために基礎画像情報と高度な詳細画像情報とに加算が行われ、それによって、画像の解像度を改善する。
本発明を実施するプロセスにおいて、発明者は、従来技術では、オーバーシュート(overshoot)およびノイズ増幅の現象が、鮮鋭化された画像内で発生する可能性があり、それによって低画質を引き起こすことを認めた。
本発明は、鮮鋭化された画像情報に対してノイズ増幅を抑制するとともにovershootの現象が発生することを回避するために、画像鮮鋭化処理方法および装置、ならびに撮影端末を提供し、鮮鋭化された画像の品質を改善する。
第1構成に基づくと、本発明の態様は画像鮮鋭化処理方法を提供し、前記方法は、
処理されるべき画像情報を取得するステップと、
画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得するステップであって、基礎画像情報は画像エッジ情報を含む、ステップと、
画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するステップと、
鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行うステップと
を含む。
第1構成の第1可能実施方法では、画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するステップの前に、前記方法は、
基礎画像情報に対してエッジ検出処理を行って画像エッジ情報を取得するステップ
をさらに含む。
第1構成または第1構成の第1可能実施方法を参照すると、第1構成の第2可能実施方法では、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得するステップは、
エッジ保存フィルタを使用することによって、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得するステップと、
画像情報から基礎画像情報を差し引いて詳細画像情報を取得するステップと
を含む。
第1構成、第1構成の第1可能実施方法または第1構成の第2可能実施方法を参照すると、第1構成の第3可能実施方法では、画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するステップは、
画像エッジ情報および画像情報のメタデータに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するステップ
を含む。
第1構成の第3可能実施方法を参照すると、第1構成の第4可能実施方法では、
画像エッジ情報および画像情報のメタデータに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するステップは、
画像情報の光感度と露光時間とに基づいて、鮮鋭度アルゴリズムパラメータグループを決定するステップであって、鮮鋭度アルゴリズムパラメータグループは、画像情報の鮮鋭化利得の最大値と、鮮鋭化利得の最小値と、画像エッジ情報の振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配と、振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配と、鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅および第2振幅とを含み、第1振幅は第2振幅よりも小さい、ステップと、
画像エッジ情報と鮮鋭度アルゴリズムパラメータグループとに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するステップと
を含む。
第1構成の第4可能実施方法を参照すると、第1構成の第5可能実施方法では、画像エッジ情報と鮮鋭度アルゴリズムパラメータグループとに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するステップは、
式(1)
Figure 2016503211
を使用することによって計算を行って鮮鋭化利得Sharpmapを取得するステップを含み、
edgInfoは画像エッジ情報の振幅であり、Peakは鮮鋭化利得の最大値であり、Lowは鮮鋭化利得の最小値であり、order1は振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配であり、order2は振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配であり、Cutoff1は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅であり、Cutoff2は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第2振幅である。
第1構成の第4可能実施方法または第1構成の第5可能実施方法を参照すると、第1構成の第6可能実施方法では、画像情報の光感度と露光時間とに基づいて、鮮鋭度アルゴリズムパラメータグループを決定するステップの前に、前記方法は、
画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定するステップ
をさらに含む。
第1構成の第6可能実施方法を参照すると、第1構成の第7可能実施方法では、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定するステップは、
少なくとも1つの処理されるべき画像情報と画像情報のメタデータとを取得するステップであって、メタデータは光感度と露光時間とを含む、ステップと
エッジ保存フィルタを使用することによって、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得するステップであって、基礎画像情報は画像エッジ情報を含む、ステップと、
画像情報から基礎画像情報を差し引いて詳細画像情報を取得するステップと、
基礎画像情報に対してエッジ検出処理を行って画像エッジ情報を取得するステップと、
鮮鋭度アルゴリズムパラメータグループを調整して、少なくとも1つの鮮鋭度アルゴリズムパラメータグループを取得するステップと、
式(1)
Figure 2016503211
を使用することによって計算を行って鮮鋭化利得Sharpmapを取得するステップであって、
edgInfoは画像エッジ情報の振幅であり、Peakは鮮鋭化利得の最大値であり、Lowは鮮鋭化利得の最小値であり、order1は振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配であり、order2は振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配であり、Cutoff1は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅であり、Cutoff2は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第2振幅である、ステップと、
鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行うステップと、
基礎画像情報と鮮鋭化された詳細画像情報とに対して合算を行って鮮鋭化された画像情報を取得するステップと、
鮮鋭化された画像の解像度がプリセット値に達するとき、画像情報の光感度と露光時間とに対応する鮮鋭度アルゴリズムパラメータグループを決定するステップと、
ガウス過程を使用することによって、且つ少なくとも1つの画像情報の光感度および露光時間と、対応する鮮鋭度アルゴリズムパラメータグループとに基づいて、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を取得するステップと
を含む。
第2構成に基づくと、本発明の態様は画像鮮鋭化処理装置を提供し、前記装置は、
処理されるべき画像情報を取得し、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得するように構成され、基礎画像情報は画像エッジ情報を含む、取得モジュールと、
画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するように構成される利得決定モジュールと、
鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行うように構成される鮮鋭化処理モジュールと
を含む。
第2構成の第1可能実施方法では、取得モジュールは、利得決定モジュールが画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する前に、基礎画像情報に対してエッジ検出処理を行って画像エッジ情報を取得するようにさらに構成される。
第2構成または第2構成の第1可能実施方法を参照すると、第2可能実施方法では、取得モジュールは、具体的には、エッジ保存フィルタを使用することによって、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得し、画像情報から基礎画像情報を差し引いて詳細画像情報を取得するように構成される。
第2構成、第2構成の第1可能実施方法または第2構成の第2可能実施方法を参照すると、第2構成の第3可能実施方法では、利得決定モジュールは、具体的には、画像エッジ情報および画像情報のメタデータに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するように構成される。
第2構成の第3可能実施方法を参照すると、第2構成の第4可能実施方法では、利得決定モジュールは、具体的には、画像情報の光感度と露光時間とに基づいて、鮮鋭度アルゴリズムパラメータグループを決定するように構成され、鮮鋭度アルゴリズムパラメータグループは、画像情報の鮮鋭化利得の最大値と、鮮鋭化利得の最小値と、画像エッジ情報の振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配と、振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配と、鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅および第2振幅とを含み、第1振幅は第2振幅よりも小さく、且つ、画像エッジ情報と鮮鋭度アルゴリズムパラメータグループとに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するように構成される。
第2構成の第4可能実施方法を参照すると、第2構成の第5可能実施方法では、
利得決定モジュールは、具体的には、
式(1)
Figure 2016503211
を使用することによって計算を行って鮮鋭化利得Sharpmapを取得するように構成され、
edgInfoは画像エッジ情報の振幅であり、Peakは鮮鋭化利得の最大値であり、Lowは鮮鋭化利得の最小値であり、order1は振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配であり、order2は振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配であり、Cutoff1は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅であり、Cutoff2は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第2振幅である。
第2構成の第4可能実施方法または第2構成の第5可能実施方法を参照すると、第2構成の第7可能実施方法では、前記方法は、
利得決定モジュールが画像情報の光感度と露光時間とに基づいて鮮鋭度アルゴリズムパラメータグループを決定する前に、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定するように構成される対応関係決定モジュールをさらに含む。
第2構成の第6可能実施方法を参照すると、第2構成の第7可能実施方法では、
対応関係決定モジュールは、
少なくとも1つの処理されるべき画像情報と画像情報のメタデータとを取得するように構成され、メタデータは光感度と露光時間とを含む、第1取得ユニットと、
エッジ保存フィルタを使用することによって、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得するように構成され、基礎画像情報は画像エッジ情報を含み、且つ、画像情報から基礎画像情報を差し引いて詳細画像情報を取得し、基礎画像情報に対してエッジ検出処理を行って画像エッジ情報を取得するように構成される第2取得ユニットと、
鮮鋭度アルゴリズムパラメータグループを調整して、少なくとも1つの鮮鋭度アルゴリズムパラメータグループを取得し、式(1)
Figure 2016503211
を使用することによって計算を行って鮮鋭化利得Sharpmapを取得するように構成される第3取得ユニットであって、
edgInfoは画像エッジ情報の振幅であり、Peakは鮮鋭化利得の最大値であり、Lowは鮮鋭化利得の最小値であり、order1は振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配であり、order2は振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配であり、Cutoff1は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅であり、Cutoff2は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第2振幅である、第3取得ユニットと、
鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行うように構成される鮮鋭化ユニットと、
基礎画像情報と鮮鋭化された詳細画像情報とに対して合算を行って鮮鋭化された画像情報を取得し、鮮鋭化された画像の解像度がプリセット値に達するとき、画像情報の光感度と露光時間とに対応する鮮鋭度アルゴリズムパラメータグループを決定するように構成される決定ユニットと、
ガウス過程を使用することによって、且つ少なくとも1つの画像情報の光感度および露光時間と、対応する鮮鋭度アルゴリズムパラメータグループとに基づいて、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を取得するように構成される対応関係確立ユニットと
を含む。
第3構成に基づくと、本発明の態様は撮影端末をさらに提供し、前記撮影端末は上述の画像鮮鋭化処理装置を含む。
第3構成の第1可能実施方法では、撮影端末は携帯電話またはタブレットコンピュータを含む。
本発明の態様で提供される画像鮮鋭化処理方法および装置、ならびに撮影端末を使用することによって、エッジ保存フィルタリング処理が画像に対して行われ、その結果、画像エッジ情報は基礎画像情報内に保存されることができ、さらに詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得が画像エッジ情報に基づいて決定される。従って、鮮鋭化利得を使用することによって詳細画像情報に対して鮮鋭化処理を行うプロセスでは、鮮鋭化された画像情報に対してノイズ増幅が抑制されるとともにovershootの現象が回避され、それによって、鮮鋭化された画像の品質を改善する。
本発明の実施形態または従来技術における技術的解決手段をより明確に説明するために、以下では、実施形態または従来技術を説明するために必要な添付図面を簡潔に説明する。明らかに、以下の説明における添付図面は本発明の実施形態のいくつかを示し、当業者は創造的努力なくしてこれら添付図面から他の図面をさらに導出することができる。
図1は、本発明に係る画像鮮鋭化処理方法の第1実施形態のフローチャートである。 図2は、本発明に係る画像鮮鋭化処理方法の第2実施形態のフローチャートである。 図3は、図2における画像エッジ情報の振幅に関する鮮鋭化利得の概略図である。 図4は、図2における画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定するステップのフローチャートである。 図5は、本発明に係る画像鮮鋭化処理装置の第1実施形態の概略構成図である。 図6は、本発明に係る画像鮮鋭化処理装置の第2実施形態の概略構成図である。 図7は、本発明に係る画像鮮鋭化処理装置の第3実施形態の概略構成図である。 図8は、本発明に係る撮影端末の第1実施形態の概略構成図である。
本発明の実施形態の目的、技術的解決手段および利点をより明確にするために、以下では、本発明の実施形態における添付図面を参照して、本発明の実施形態における技術的解決手段を明確かつ十分に説明する。明らかに、説明される実施形態は本発明の実施形態の全てではなく一部である。本発明の実施形態に基づいて、創造的努力なくして当業者によって取得される他の実施形態の全ては、本発明の保護範囲に包含されるべきである。
図1は、本発明に係る画像鮮鋭化処理方法の第1実施形態のフローチャートである。図1に示されるように、本実施形態は、画像鮮鋭化処理装置を使用することによって実施されることができるとともに、前記装置は、本実施形態における方法を実施するために撮影端末に統合されてもよい。本実施形態における方法は、以下のステップを含んでもよい。
ステップ101:処理されるべき画像情報を取得する。
本実施形態では、処理されるべき画像情報が取得される。処理されるべき画像情報は、画像処理アルゴリズムを使用することによって処理されない画像情報であってもよく、例えば、撮影端末によって撮影された画像情報であってもよく、撮影端末は、携帯電話、タブレットコンピュータ(PAD)、ノートブックコンピュータまたは多機能プレイヤー等の撮影レンズを有する装置であってもよい。これらの撮影端末のハードウェア条件に対する制限のために、撮影画像情報の品質は比較的劣る。従って、画像情報が処理される必要がある。
ステップ102:画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得し、基礎画像情報は画像エッジ情報を含む。
本実施形態では、処理されるべき画像情報に対してエッジ保存フィルタリング処理が行われる。処理されるべき画像は、基礎画像情報と詳細画像情報とに分解されてもよく、基礎画像情報は低周波画像情報であってもよく、詳細画像情報は高周波画像情報であってもよく、取得された基礎画像情報は画像エッジ情報を含む。画像情報に対して行われるエッジ保存フィルタリング処理は、従来技術におけるエッジ保存フィルタリング処理と一致し、詳細は、本実施形態においてここでは繰り返し説明されないことは留意されるべきである。
ステップ103:画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する。
本実施形態では、保存フィルタリングの後に取得される、基礎画像情報内の画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得が決定されてもよい。処理されるべき画像情報に対してエッジ保存フィルタリング処理が行われるとき、画像エッジ情報は低周波基礎画像情報内に保持され、処理されるべき画像情報におけるノイズは、高周波詳細画像情報内に保持される。従って、画像エッジ情報およびノイズは分離されることができ、画像エッジ情報はノイズによって干渉されず、このようにして取得された画像エッジ情報は比較的良好な振幅を有する。画像エッジ情報における振幅が過度に低い場合、画像情報がエッジ情報をほとんど有しないとともに、画像内の平坦な領域であることを示し、ノイズが平坦な領域に存在する可能性は高い。従って、ノイズ増幅を抑制するためには、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得はより小さくあるべきである。画像エッジ情報における振幅が過度に高い場合、画像情報が多くのエッジ情報を有することを示し、overshootの現象が発生することを回避するためには、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得はより小さくあるべきである。画像エッジ情報における振幅が、値の範囲の中間にある場合、詳細画像情報に対する鮮鋭化処理を行うための実際の適用シナリオに基づいて、適切な鮮鋭化利得が選択されることができる。
ステップ104:鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行う。
本実施形態では、鮮鋭化された詳細画像情報を取得するために、画像エッジ情報に基づいて決定された鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理が行われる。鮮鋭化利得を使用することによって、詳細画像情報に対して行われる鮮鋭化処理は、従来技術における鮮鋭化処理と一致し、詳細は、本実施形態においてここでは繰り返し説明されないことは留意されるべきである。さらに、鮮鋭化された画像情報を取得するために、基礎画像情報と鮮鋭化された詳細画像情報とに対して合算が行われ、すなわち、基礎画像情報と鮮鋭化された詳細画像情報とに対して、合成が行われる。
本発明の第1実施形態で提供される画像鮮鋭化処理方法を使用することによって、エッジ保存フィルタリング処理が画像情報に対して行われ、その結果、画像エッジ情報は基礎画像情報内に保存されることができ、さらに詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得が画像エッジ情報に基づいて決定される。従って、鮮鋭化利得を使用することによって詳細画像情報に対して鮮鋭化処理を行うプロセスでは、鮮鋭化された画像情報に対してノイズ増幅が抑制されるとともにovershootの現象が回避され、それによって、鮮鋭化された画像の品質を改善する。
図2は、本発明に係る画像鮮鋭化処理方法の第2実施形態のフローチャートである。図2に示されるように、本実施形態は、画像鮮鋭化処理装置を使用することによって実施されることができるとともに、前記装置は、本実施形態における方法を実施するために撮影端末に統合されてもよい。本実施形態における方法は、以下のステップを含んでもよい。
ステップ201:処理されるべき画像情報を取得する。
ステップ202:エッジ保存フィルタを使用することによって、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得する。
本実施形態では、処理されるべき画像情報が取得された後、処理されるべき画像情報は画像処理アルゴリズムを使用することによって処理されない画像情報であってもよい。基礎画像情報を取得するために、エッジ保存フィルタを使用することによって、処理されるべき画像情報に対してエッジ保存フィルタリング処理が行われ、基礎画像情報は低周波画像情報であってもよいとともに、基礎画像情報は画像エッジ情報を含む。エッジ保存フィルタを使用することによって、画像情報に対して行われるエッジ保存フィルタリング処理は、従来技術におけるエッジ保存フィルタリング処理と一致し、詳細は、本実施形態においてここでは繰り返し説明されないことは留意されるべきである。処理されるべき画像情報は複数の画素によって形成されるため、取得される基礎画像情報は画素の基礎画像情報である。
ステップ203:画像情報から基礎画像情報を差し引いて詳細画像情報を取得する。
本実施形態では、基礎画像情報がフィルタ保存フィルタを使用することによって取得された後、詳細画像情報を取得するために、基礎画像情報は処理されるべき画像情報から差し引かれ、詳細画像情報は画像エッジ情報を排除し、高周波画像情報であり、画素の詳細画像情報である。
ステップ204:基礎画像情報に対してエッジ検出処理を行って画像エッジ情報を取得する。
本実施形態では、基礎画像情報がフィルタ保存フィルタを使用することによって取得された後、基礎画像情報から画像エッジ情報を取得するために、基礎画像情報に対してエッジ検出処理が行われる。基礎画像情報に対して行われるエッジ検出処理は、従来技術におけるエッジ検出処理と一致し、詳細は、本実施形態においてここでは繰り返し説明されないことは留意されるべきである。加えて、画像エッジ情報は画素のエッジ情報であるとともに、各画素のエッジ情報は対応する画素の詳細画像情報に対応する。
ステップ205:画像エッジ情報および画像情報のメタデータに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する。
本実施形態では、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得は、画像エッジ情報と画像情報のメタデータとに基づいて決定される、処理されるべき画像情報におけるノイズは、高周波詳細画像情報内に保持される。従って、画像エッジ情報およびノイズは分離されることができ、画像エッジ情報はノイズによって干渉されず、このようにして取得された画像エッジ情報は比較的良好な振幅を有する。画素の画像エッジ情報における振幅が過度に低い場合、画素がエッジ情報をほとんど有しないとともに、画像内の平坦な領域であることを示し、ノイズが平坦な領域に存在する可能性は高い。従って、ノイズ増幅を抑制するためには、画素の詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得はより小さくあるべきである。画素の画像エッジ情報における振幅が過度に高い場合、画素が多くのエッジ情報を有することを示し、overshootの現象が発生することを回避するためには、画素の詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得はより小さくあるべきである。画素の画像エッジ情報における振幅が値の範囲の中間にある場合、画質はそのときの撮影環境に密接に関係するため、詳細画像情報に対して鮮鋭化処理を行うために、画像情報のメタデータに対応する鮮鋭化利得は、画像が撮影されたときのメタデータに基づいて選択されることができ、それによって、処理されるべき画像情報が撮影されたときの環境情報に基づいて、画素の詳細画像情報に対して鮮鋭化処理を実施し、画質を改善する。
具体的な実施においては、画像情報のメタデータは画像情報が撮影されたときの光感度および露光時間を含む。従って、画像情報の光感度および露光時間と鮮鋭度アルゴリズムパラメータグループとの間の対応関係が予め決定されていてもよく、対応する鮮鋭度アルゴリズムパラメータグループは画像情報の光感度および露光時間に基づいて決定されてもよく、鮮鋭度アルゴリズムパラメータグループは、画像情報の鮮鋭化利得の最大値と、鮮鋭化利得の最小値と、画像エッジ情報の振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配と、振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配と、鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅および第2振幅とを含み、第1振幅は第2振幅よりも小さい。次いで、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得は、画像エッジ情報と鮮鋭度アルゴリズムパラメータグループとに基づいて決定される。
さらに、鮮鋭度アルゴリズムパラメータグループが画像情報の光感度と露光時間とに基づいて取得された後、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得Sharpmapは式(1)
Figure 2016503211
を使用することによって行われる計算によって取得され、
edgInfoは画像エッジ情報の振幅であり、Peakは鮮鋭化利得の最大値であり、Lowは鮮鋭化利得の最小値であり、order1は振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配であり、order2は振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配であり、Cutoff1は鮮鋭化利得が最大値と最小値の半分(すなわち、(Peak+Low)/2)であるときの画像エッジ情報の第1振幅であり、Cutoff2は鮮鋭化利得が最大値と最小値の半分(すなわち、(Peak+Low)/2)であるときの画像エッジ情報の第2振幅であり、Peak、Low、order1、order2、Cutoff1、およびCutoff2は鮮鋭度アルゴリズムパラメータグループにおけるパラメータである。
edgeInfoは各画素の画像エッジ情報の振幅であり、振幅は異なる値であってもよく、式(1)を使用することによって取得される対応する鮮鋭化利得もまた異なる値であるため、図3に示されるように、画像エッジ情報の振幅に関する鮮鋭化利得曲線は式(1)を使用することによって取得されてもよい。画素の画像エッジ情報の振幅は過度に高いかまたは過度に低く、決定された鮮鋭化利得はおよそ1であることが図3からわかる。従って、ノイズ増幅を抑制し、且つovershootの現象が発生することを回避するために、画素の詳細画像情報に対して鮮鋭化処理は全く行われないか、または鮮鋭化処理はほとんど行われない。一方で、画素の画像エッジ情報の振幅が値の範囲の中間にあるとき、決定された鮮鋭化利得は1よりも大きな値である。従って、画質を改善するために、これらの画素の詳細画像情報に対して鮮鋭化処理が行われる。図3に示される各画素の画像エッジ情報の振幅を使用することによって、各画素に対応する鮮鋭化利得が決定されてもよく、次いで、対応する画素および決定された鮮鋭化利得の詳細画像情報に対して鮮鋭化処理が行われることがわかる。図3に示される鮮鋭化利得の値および画像エッジ情報の振幅は、説明のための例として使用され、本実施形態はこれに限定されるものではないことは留意されるべきである。
ステップ206:鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行う。
本実施形態では、各画素の鮮鋭化利得がステップ205において取得されてもよく、次いで、鮮鋭化された詳細画像情報を取得するために、各画素の鮮鋭化利得を使用することによって対応する画素の詳細画像情報に対して鮮鋭化処理が行われる。鮮鋭化利得を使用することによって、詳細画像情報に対して行われる鮮鋭化処理は、従来技術における鮮鋭化処理と一致し、詳細は、本実施形態においてここでは繰り返し説明されないことは留意されるべきである。さらに、鮮鋭化された画像情報を取得するために、基礎画像情報と鮮鋭化された詳細画像情報とに対して合算が行われ、すなわち、基礎画像情報と鮮鋭化された詳細画像情報とに対して、合成が行われる。
本発明の第2実施形態で提供される画像鮮鋭化処理方法を使用することによって、エッジ保存フィルタリング処理が画像情報に対して行われ、その結果、画像エッジ情報は基礎画像情報内に保存されることができ、さらに詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得が画像エッジ情報および画像情報のメタデータに基づいて決定される。従って、鮮鋭化利得を使用することによって詳細画像情報に対して鮮鋭化処理を行うプロセスでは、鮮鋭化された画像情報に対してノイズ増幅が抑制されるとともにovershootの現象が回避され、その一方で撮影環境に基づいて画像情報に対して鮮鋭化処理が行われてもよく、それによって、鮮鋭化された画像の品質を改善する。
以下では、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定する方法を詳細に説明する。図4は、図2における画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定するステップのフローチャートである。図4に示されるように、対応関係を決定するための方法は、以下のステップを含んでもよい。
ステップ301:少なくとも1つの処理されるべき画像情報と画像情報のメタデータとを取得し、メタデータは光感度と露光時間とを含む。
本実施形態では、それぞれの処理されるべき画像情報が撮影されたときの少なくとも1つの処理されるべき画像情報とメタデータとが取得され、メタデータは光感度と露光時間とを含んでもよい。処理されるべき画像情報は、撮影端末によって撮影された画像情報であってもよく、撮影端末は、携帯電話、タブレットコンピュータ(PAD)、ノートブックコンピュータまたは多機能プレイヤー等の撮影レンズを有する装置であってもよく、メタデータは画像情報が撮影端末によって撮影されたときに生成された光感度および露光時間であってもよい。
ステップ302:エッジ保存フィルタを使用することによって、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得し、基礎画像情報は画像エッジ情報を含む。
本実施形態では、少なくとも1つの処理されるべき画像情報が取得された後、それぞれの基礎画像情報を取得するために、エッジ保存フィルタを使用することによって、それぞれの処理されるべき画像情報に対してエッジ保存フィルタリング処理が行われ、各基礎画像情報は画像エッジ情報を含む。エッジ保存フィルタを使用することによって画像情報に対して行われるエッジ保存フィルタリング処理は、従来技術におけるエッジ保存フィルタリング処理と一致し、詳細は、本実施形態においてここでは繰り返し説明されないことは留意されるべきである。処理されるべき画像情報は複数の画素によって形成されるため、取得される基礎画像情報は画素の基礎画像情報である。
ステップ303:画像情報から基礎画像情報を差し引いて詳細画像情報を取得する。
本実施形態では、それぞれの基礎画像情報がフィルタ保存フィルタを使用することによって取得された後、それぞれの詳細画像情報を取得するために、対応する基礎画像情報はそれぞれの処理されるべき画像情報から差し引かれることが実行され、詳細画像情報は画像エッジ情報を排除し、高周波画像情報であり、画素の詳細画像情報である。
ステップ304:基礎画像情報に対してエッジ検出処理を行って画像エッジ情報を取得する。
本実施形態では、基礎画像情報がフィルタ保存フィルタを使用することによって取得された後、それぞれの基礎画像情報からそれぞれの画像エッジ情報を取得するために、それぞれの基礎画像情報に対してエッジ検出処理が行われる。基礎画像情報に対して行われるエッジ検出処理は、従来技術におけるエッジ検出処理と一致し、詳細は、本実施形態においてここでは繰り返し説明されないことは留意されるべきである。加えて、画像エッジ情報は画素のエッジ情報であるとともに、各画素のエッジ情報は対応する画素の詳細画像情報に対応する。
ステップ305:鮮鋭度アルゴリズムパラメータグループを調整して、少なくとも1つの鮮鋭度アルゴリズムパラメータグループを取得する。
本実施形態では、鮮鋭度アルゴリズムパラメータグループは、画像情報の鮮鋭化利得の最大値と、鮮鋭化利得の最小値と、画像エッジ情報の振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配と、振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配と、鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅および第2振幅とを含んでもよく、第1振幅は第2振幅よりも小さい。従って、それぞれの処理されるべき画像情報に対して、少なくとも1つの鮮鋭度アルゴリズムパラメータグループを取得するために、鮮鋭度アルゴリズムパラメータグループが調整される。
ステップ306:式(1)を使用することによって計算を行って鮮鋭化利得Sharpmapを取得する。
本実施形態では、それぞれの処理されるべき画像情報に対して、少なくとも1つの鮮鋭度アルゴリズムパラメータグループが取得された後、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得Sharpmapは式(1)
Figure 2016503211
を使用することによって行われる計算によって取得され、
edgInfoは画像エッジ情報の振幅であり、Peakは鮮鋭化利得の最大値であり、Lowは鮮鋭化利得の最小値であり、order1は振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配であり、order2は振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配であり、Cutoff1は鮮鋭化利得が最大値と最小値の半分(すなわち、(Peak+Low)/2)であるときの画像エッジ情報の第1振幅であり、Cutoff2は鮮鋭化利得が最大値と最小値の半分(すなわち、(Peak+Low)/2)であるときの画像エッジ情報の第2振幅であり、Peak、Low、order1、order2、Cutoff1、およびCutoff2は鮮鋭度アルゴリズムパラメータグループにおけるパラメータである。
edgeInfoは各画素の画像エッジ情報の振幅であり、振幅は異なる値であってもよく、式(1)を使用することによって取得される対応する鮮鋭化利得もまた異なる値であるため、図3に示されるように、画像エッジ情報の振幅に関する鮮鋭化利得曲線は式(1)を使用することによって取得されてもよい。従って、それぞれの処理されるべき画像情報に対して、画像エッジ情報の振幅に関する鮮鋭化利得の少なくとも1つのグループが、少なくとも1つの鮮鋭度アルゴリズムパラメータグループと式(1)とを使用することによって取得されてもよい。
ステップ307:鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行う。
本実施形態では、画素の鮮鋭化利得の少なくとも1つのグループがステップ306において取得されてもよく、次いで、少なくとも1つの鮮鋭化された詳細画像情報を取得するために、各画素の鮮鋭化利得を使用することによって、対応する画素の詳細画像情報に対して鮮鋭化処理が行われる。鮮鋭化利得を使用することによって、詳細画像情報に対して行われる鮮鋭化処理は、従来技術における鮮鋭化処理と一致し、詳細は、本実施形態においてここでは繰り返し説明されないことは留意されるべきである。
ステップ308:基礎画像情報と鮮鋭化された詳細画像情報とに対して合算を行って鮮鋭化された画像情報を取得する。
本実施形態では、それぞれの処理されるべき画像情報に対して、少なくとも1つの鮮鋭化された画像情報を取得するために、基礎画像情報と少なくとも1つの対応する鮮鋭化された詳細画像情報とに対して合算が行われ、すなわち、基礎画像情報と鮮鋭化された詳細画像情報とに対して、合成が行われる。
ステップ309:鮮鋭化された画像情報の解像度がプリセット値に達するとき、画像情報の光感度と露光時間とに対応する鮮鋭度アルゴリズムパラメータグループを決定する。
本実施形態では、それぞれの処理されるべき画像情報に対して、少なくとも1つの鮮鋭化された画像情報の解像度がプリセット値に達したかどうかが決定される。鮮鋭化された画像情報の解像度がプリセット値に達したと決定された場合、鮮鋭化された画像が良好な結果を有することを示し、鮮鋭化処理のために選択された鮮鋭度アルゴリズムパラメータグループが決定され、鮮鋭度アルゴリズムパラメータは画像情報の光感度および露光時間に対応するものとしてマークされる。鮮鋭化された画像情報の解像度がプリセット値に達していないと決定された場合、鮮鋭化された画像は悪い結果を有することを示し、鮮鋭化処理のために選択された鮮鋭度アルゴリズムパラメータグループは不適切であることを示す。上述のプリセット値は適用シナリオおよび画像情報に基づいて決定され、本実施形態においてここでは限定されないことは留意されるべきである。画像情報の光感度および露光時間に対応する最適な鮮鋭度アルゴリズムパラメータグループは、プリセット値を使用することによって選択されてもよい。従って、少なくとも1つの画像情報の光感度および露光時間と、光感度および露光時間に対応する鮮鋭度アルゴリズムパラメータグループとを決定するために、それぞれの処理されるべき画像情報に対して、画像情報の光感度および露光時間に対応する鮮鋭度アルゴリズムパラメータグループが全て決定されることができる。
ステップ310:ガウス過程を使用することによって、且つ少なくとも1つの画像情報の光感度および露光時間と、対応する鮮鋭度アルゴリズムパラメータグループとに基づいて、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を取得する。
本実施形態では、少なくとも1つの画像情報の光感度および露光時間と、光感度および露光時間に対応する鮮鋭度アルゴリズムパラメータグループとが決定された後、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係が、ガウス過程を使用することによって取得されてもよく、すなわち、画像情報の光感度および露光時間と、鮮鋭度パラメータグループとの間の関数関係Fが、ガウス過程法を使用することによって確立されてもよく、すなわち、鮮鋭度パラメータグループ=F(光感度および露光情報)である。ガウス過程法は、従来技術におけるガウス過程法と一致し、詳細は、本実施形態においてここでは繰り返し説明されないことは留意されるべきである。
本実施形態では、光感度および露光時間と鮮鋭度アルゴリズムパラメータとの間の対応関係が、画像情報の光感度および露光時間と対応する最適な鮮鋭度アルゴリズムパラメータとを使用することによって確立される。次いで、いずれか1つの光感度および露光時間に対応する鮮鋭度パラメータグループが、光感度および露光時間と鮮鋭度アルゴリズムパラメータとの間の対応関係に基づいて取得されてもよい。次いで、鮮鋭化利得Shapmapが式(1)を使用することによって計算され、それによって、鮮鋭化処理はそのときの各画像情報の撮影環境に基づいて行われてもよいとともに、画像処理品質が様々な複雑な撮影環境において改善されることができることを実施する。
図5は、本発明に係る画像鮮鋭化処理装置の第1実施形態の概略構成図である。図5に示されるように、本実施形態における装置は、取得モジュール11と、利得決定モジュール12と、鮮鋭化処理モジュール13とを含んでもよい。取得モジュール11は、処理されるべき画像情報を取得するとともに、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得するように構成され、基礎画像情報は画像エッジ情報を含む。利得決定モジュール12は、画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するように構成される。鮮鋭化処理モジュール13は、鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行うように構成される。
上述のモジュール間の詳細な対話プロセスに関しては、方法の実施形態の説明を参照されたい。従って、詳細はここでは繰り返されない。
本実施形態で提供される装置は、図1に示される方法の実施形態における技術的解決手段を実行するように構成されてもよいとともに、それらの実施原理および技術的効果は同様である。詳細に関しては、上述の実施形態における関係する説明を参照されたく、詳細はここでは繰り返し説明されない。
図6は、本発明に係る画像鮮鋭化処理装置の第2実施形態の概略構成図である。図6に示されるように、図5に示される装置の構成に基づいて、本実施形態における装置は、対応関係決定モジュール14をさらに含んでもよい。取得モジュール11は、利得決定モジュール12が画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する前に、基礎画像情報に対してエッジ検出処理を行って画像エッジ情報を取得するようにさらに構成される。
さらに、取得モジュール11は、具体的には、エッジ保存フィルタを使用することによって、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得し、画像情報から基礎画像情報を差し引いて詳細画像情報を取得するように構成される。利得決定モジュール12は、具体的には、画像エッジ情報および画像情報のメタデータに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するように構成される。
さらに、利得決定モジュール12は、具体的には、画像情報の光感度と露光時間とに基づいて、鮮鋭度アルゴリズムパラメータグループを決定するように構成され、鮮鋭度アルゴリズムパラメータグループは、画像情報の鮮鋭化利得の最大値と、鮮鋭化利得の最小値と、画像エッジ情報の振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配と、振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配と、鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅および第2振幅とを含み、第1振幅は第2振幅よりも小さく、且つ、画像エッジ情報と鮮鋭度アルゴリズムパラメータグループとに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するように構成される。
可能実施方法では、利得決定モジュール12は、具体的には、
式(1)
Figure 2016503211
を使用することによって計算を行って鮮鋭化利得Sharpmapを取得するように構成され、
edgInfoは画像エッジ情報の振幅であり、Peakは鮮鋭化利得の最大値であり、Lowは鮮鋭化利得の最小値であり、order1は振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配であり、order2は振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配であり、Cutoff1は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅であり、Cutoff2は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第2振幅である。
対応関係決定モジュール14は、利得決定モジュール12が画像情報の光感度と露光時間とに基づいて鮮鋭度アルゴリズムパラメータグループを決定する前に、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定するように構成される。
さらに、対応関係決定モジュール14は、第1取得ユニット141と、第2取得ユニット142と、第3取得ユニット143と、鮮鋭化ユニット144と、決定ユニット145と、対応関係確立ユニット146とを含み、第1取得ユニット141は、少なくとも1つの処理されるべき画像情報と画像情報のメタデータとを取得するように構成され、メタデータは光感度と露光時間とを含み、第2取得ユニット142は、エッジ保存フィルタを使用することによって、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得するように構成され、基礎画像情報は画像エッジ情報を含み、且つ、画像情報から基礎画像情報を差し引いて詳細画像情報を取得し、基礎画像情報に対してエッジ検出処理を行って画像エッジ情報を取得するように構成され、第3取得ユニット143は、鮮鋭度アルゴリズムパラメータグループを調整して、少なくとも1つの鮮鋭度アルゴリズムパラメータグループを取得し、式(1)
Figure 2016503211
を使用することによって計算を行って鮮鋭化利得Sharpmapを取得するように構成され、
edgInfoは画像エッジ情報の振幅であり、Peakは鮮鋭化利得の最大値であり、Lowは鮮鋭化利得の最小値であり、order1は振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配であり、order2は振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配であり、Cutoff1は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅であり、Cutoff2は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第2振幅である。鮮鋭化ユニット144は、鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行うように構成される。決定ユニット145は、基礎画像情報と鮮鋭化された詳細画像情報とに対して合算を行って鮮鋭化された画像情報を取得し、鮮鋭化された画像の解像度がプリセット値に達するとき、画像情報の光感度と露光時間とに対応する鮮鋭度アルゴリズムパラメータグループを決定するように構成される。対応関係確立ユニット146は、ガウス過程を使用することによって、且つ少なくとも1つの画像情報の光感度および露光時間と、対応する鮮鋭度アルゴリズムパラメータグループとに基づいて、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を取得するように構成される。
上述のモジュール間の詳細な対話プロセスに関しては、方法の実施形態の説明を参照されたい。従って、詳細はここでは繰り返されない。
本実施形態で提供される装置は、図2に示される方法の実施形態における技術的解決手段を実行するように構成されてもよいとともに、それらの実施原理および技術的効果は同様である。詳細に関しては、上述の実施形態における関係する説明を参照されたく、詳細はここでは繰り返し説明されない。
図7は、本発明に係る画像鮮鋭化処理装置の第3実施形態の概略構成図である。図7に示されるように、図7に示されるように、本実施形態における装置は、メモリ21と、メモリ21に接続されるプロセッサ22とを含み、メモリ21は一組のプログラムコードを格納するとともに、メモリ21は不揮発性メモリ(Non-volatile Memory)を含んでもよい。プロセッサ22は中央処理装置(Central Processing Unit,略してCPU)または特定用途向け集積回路ASIC(Application Specific Integrated Circuit,略してASIC)であってもよく、または、本発明の実施形態を実施するための1つまたは複数の統合された回路として構成されてもよい。プロセッサ22は、以下の操作:
処理されるべき画像情報を取得する操作と、
画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得する操作であって、基礎画像情報は画像エッジ情報を含む、操作と、
画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する操作と、
鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行う操作と
を実行するためにメモリ21内に格納されたプログラムコードを呼び出すように構成される。
さらに、画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する操作の前に、操作は、
基礎画像情報に対してエッジ検出処理を行って画像エッジ情報を取得する操作
をさらに含む。
さらに、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得する操作は、
エッジ保存フィルタを使用することによって、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得する操作と、
画像情報から基礎画像情報を差し引いて詳細画像情報を取得する操作と
を含む。
任意で、画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する操作は、
画像エッジ情報および画像情報のメタデータに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する操作
を含む。
さらに、画像エッジ情報および画像情報のメタデータに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する操作は、
画像情報の光感度と露光時間とに基づいて、鮮鋭度アルゴリズムパラメータグループを決定する操作であって、鮮鋭度アルゴリズムパラメータグループは、画像情報の鮮鋭化利得の最大値と、鮮鋭化利得の最小値と、画像エッジ情報の振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配と、振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配と、鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅および第2振幅とを含み、第1振幅は第2振幅よりも小さい、操作と、
画像エッジ情報と鮮鋭度アルゴリズムパラメータグループとに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する操作と
を含む。
さらに、画像エッジ情報と鮮鋭度アルゴリズムパラメータグループとに基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する操作は、
式(1)
Figure 2016503211
を使用することによって計算を行って鮮鋭化利得Sharpmapを取得する操作を含み、
edgInfoは画像エッジ情報の振幅であり、Peakは鮮鋭化利得の最大値であり、Lowは鮮鋭化利得の最小値であり、order1は振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配であり、order2は振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配であり、Cutoff1は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅であり、Cutoff2は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第2振幅である。
任意で、画像情報の光感度と露光時間とに基づいて、鮮鋭度アルゴリズムパラメータグループを決定する操作の前に、操作は、
画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定する操作
をさらに含む。
さらに、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定する操作は、
少なくとも1つの処理されるべき画像情報と画像情報のメタデータとを取得する操作であって、メタデータは光感度と露光時間とを含む、操作と
エッジ保存フィルタを使用することによって、画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得する操作であって、基礎画像情報は画像エッジ情報を含む、操作と、
画像情報から基礎画像情報を差し引いて詳細画像情報を取得する操作と、
基礎画像情報に対してエッジ検出処理を行って画像エッジ情報を取得する操作と、
鮮鋭度アルゴリズムパラメータグループを調整して、少なくとも1つの鮮鋭度アルゴリズムパラメータグループを取得する操作と、
式(1)
Figure 2016503211
を使用することによって計算を行って鮮鋭化利得Sharpmapを取得する操作であって、
edgInfoは画像エッジ情報の振幅であり、Peakは鮮鋭化利得の最大値であり、Lowは鮮鋭化利得の最小値であり、order1は振幅の増加に伴って最小値から最大値に増加する鮮鋭化利得の第1勾配であり、order2は振幅の増加に伴って最大値から最小値に減少する鮮鋭化利得の第2勾配であり、Cutoff1は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第1振幅であり、Cutoff2は鮮鋭化利得が最大値と最小値の半分であるときの画像エッジ情報の第2振幅である、操作と、
鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行う操作と、
基礎画像情報と鮮鋭化された詳細画像情報とに対して合算を行って鮮鋭化された画像情報を取得する操作と、
鮮鋭化された画像の解像度がプリセット値に達するとき、画像情報の光感度と露光時間とに対応する鮮鋭度アルゴリズムパラメータグループを決定する操作と、
ガウス過程を使用することによって、且つ少なくとも1つの画像情報の光感度および露光時間と、対応する鮮鋭度アルゴリズムパラメータグループとに基づいて、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係を取得する操作と
を含む。
メモリ21内に格納されたプログラムコードを呼び出すことによってプロセッサ22によって具体的に実施される技術的解決手段に関しては、本発明における図1および図2に示される画像鮮鋭化処理方法の実施形態を参照されたく、それらの実施原理および技術的効果は同様であることは留意されるべきである。詳細に関しては、上述の実施形態における関係する説明を参照されたく、詳細はここでは繰り返し説明されない。
図8は、本発明に係る撮影端末の第1実施形態の概略構成図である。図8に示されるように、本実施形態における撮影端末30は、画像鮮鋭化処理装置31を含んでもよく、画像鮮鋭化処理装置31は図5から図7に示される画像鮮鋭化処理装置の実施形態のうちのいずれか1つにおける構成を使用してもよいとともに、対応して図1または図2に示される実施形態のうちのいずれか1つの技術的解決手段を実行することができる。それらの実施原理および技術的効果は同様である。詳細に関しては、上述の実施形態における関係する説明を参照されたく、詳細はここでは繰り返し説明されない。
撮影端末30は携帯電話またはタブレットコンピュータであってもよく、ノートブックコンピュータまたは多機能プレイヤー等の撮影レンズを有する装置であってもまたよい。
当業者は、方法の実施形態のステップの全てまたは一部が、適切なハードウェアに命令するプログラムによって実施されてもよいことを理解することができる。プログラムは、コンピュータ可読記憶媒体内に格納されてもよい。プログラムを実行すると、方法の実施形態のステップが実行される。前述の記憶媒体は、ROM、RAM、磁気ディスクまたは光ディスクのような、プログラムコードを格納できる任意の媒体を含む。
最後に、前述の実施形態は、単に本発明の技術的解決手段を説明するためのものであって、本発明を限定するためのものではないことは留意されるべきである。本発明は、前述の実施形態と関連して詳細に説明されるが、当業者は、本発明の実施形態の技術的解決手段の範囲を逸脱することなく、前述の実施形態で説明された技術的解決手段に修正をさらに行ったり、またはそれらの技術的特徴の一部またはすべてに同等置換をさらに行うことができることを理解すべきである。
11 取得モジュール
12 利得決定モジュール
13 鮮鋭化処理モジュール
14 対応関係決定モジュール
21 メモリ
22 プロセッサ
30 撮影端末
31 画像鮮鋭化処理装置
141 第1取得ユニット
142 第2取得ユニット
143 第3取得ユニット
144 鮮鋭化ユニット
145 決定ユニット
146 対応関係確立ユニット
edgeInfoは各画素の画像エッジ情報の振幅であり、振幅は異なる値であってもよく、式(1)を使用することによって取得される対応する鮮鋭化利得もまた異なる値であるため、図3に示されるように、画像エッジ情報の振幅に関する鮮鋭化利得曲線は式(1)を使用することによって取得されてもよい。画素の画像エッジ情報の振幅は過度に高いかまたは過度に低く、決定された鮮鋭化利得はおよそ1であることが図3からわかる。従って、ノイズ増幅を抑制し、且つovershootの現象が発生することを回避するために、画素の詳細画像情報に対して鮮鋭化処理は全く行われないか、または鮮鋭化処理はほとんど行われない。一方で、画素の画像エッジ情報の振幅が値の範囲の中間にあるとき、決定された鮮鋭化利得は1よりも大きな値である。従って、画質を改善するために、これらの画素の詳細画像情報に対して鮮鋭化処理が行われる。図3に示される各画素の画像エッジ情報の振幅を使用することによって、各画素に対応する鮮鋭化利得が決定されてもよく、次いで、決定された鮮鋭化利得を使用することによって対応する画素の詳細画像情報に対して鮮鋭化処理が行われることがわかる。図3に示される鮮鋭化利得の値および画像エッジ情報の振幅は、説明のための例として使用され、本実施形態はこれに限定されるものではないことは留意されるべきである。
本実施形態では、それぞれの処理されるべき画像情報に対して、少なくとも1つの鮮鋭化された画像情報の解像度がプリセット値に達したかどうかが決定される。鮮鋭化された画像情報の解像度がプリセット値に達したと決定された場合、鮮鋭化された画像が良好な結果を有することを示し、鮮鋭化処理のために選択された鮮鋭度アルゴリズムパラメータグループが決定され、鮮鋭度アルゴリズムパラメータグループは画像情報の光感度および露光時間に対応するものとしてマークされる。鮮鋭化された画像情報の解像度がプリセット値に達していないと決定された場合、鮮鋭化された画像は悪い結果を有することを示し、鮮鋭化処理のために選択された鮮鋭度アルゴリズムパラメータグループは不適切であることを示す。上述のプリセット値は適用シナリオおよび画像情報に基づいて決定され、本実施形態においてここでは限定されないことは留意されるべきである。画像情報の光感度および露光時間に対応する最適な鮮鋭度アルゴリズムパラメータグループは、プリセット値を使用することによって選択されてもよい。従って、少なくとも1つの画像情報の光感度および露光時間と、光感度および露光時間に対応する鮮鋭度アルゴリズムパラメータグループとを決定するために、それぞれの処理されるべき画像情報に対して、画像情報の光感度および露光時間に対応する鮮鋭度アルゴリズムパラメータグループが全て決定されることができる。
本実施形態では、少なくとも1つの画像情報の光感度および露光時間と、光感度および露光時間に対応する鮮鋭度アルゴリズムパラメータグループとが決定された後、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の対応関係が、ガウス過程を使用することによって取得されてもよく、すなわち、画像情報の光感度および露光時間と、鮮鋭度アルゴリズムパラメータグループとの間の関数関係Fが、ガウス過程法を使用することによって確立されてもよく、すなわち、鮮鋭度パラメータグループ=F(光感度および露光情報)である。ガウス過程法は、従来技術におけるガウス過程法と一致し、詳細は、本実施形態においてここでは繰り返し説明されないことは留意されるべきである。
本実施形態では、光感度および露光時間と鮮鋭度アルゴリズムパラメータグループとの間の対応関係が、画像情報の光感度および露光時間と対応する最適な鮮鋭度アルゴリズムパラメータとを使用することによって確立される。次いで、いずれか1つの光感度および露光時間に対応する鮮鋭度パラメータグループが、光感度および露光時間と鮮鋭度アルゴリズムパラメータとの間の対応関係に基づいて取得されてもよい。次いで、鮮鋭化利得Sharpmapが式(1)を使用することによって計算され、それによって、鮮鋭化処理はそのときの各画像情報の撮影環境に基づいて行われてもよいとともに、画像処理品質が様々な複雑な撮影環境において改善されることができることを実施する。
図7は、本発明に係る画像鮮鋭化処理装置の第3実施形態の概略構成図である。図7に示されるように、本実施形態における装置は、メモリ21と、メモリ21に接続されるプロセッサ22とを含み、メモリ21は一組のプログラムコードを格納するとともに、メモリ21は不揮発性メモリ(Non-volatile Memory)を含んでもよい。プロセッサ22は中央処理装置(Central Processing Unit,略してCPU)または特定用途向け集積回路ASIC(Application Specific Integrated Circuit,略してASIC)であってもよく、または、本発明の実施形態を実施するための1つまたは複数の統合された回路として構成されてもよい。プロセッサ22は、以下の操作:
処理されるべき画像情報を取得する操作と、
画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得する操作であって、基礎画像情報は画像エッジ情報を含む、操作と、
画像エッジ情報に基づいて、詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する操作と、
鮮鋭化利得を使用することによって、詳細画像情報に対して鮮鋭化処理を行う操作と
を実行するためにメモリ21内に格納されたプログラムコードを呼び出すように構成される。

Claims (18)

  1. 画像鮮鋭化処理方法であって、
    処理されるべき画像情報を取得するステップと、
    前記画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得するステップであって、前記基礎画像情報は画像エッジ情報を有する、ステップと、
    前記画像エッジ情報に基づいて、前記詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するステップと、
    前記鮮鋭化利得を使用することによって、前記詳細画像情報に対して鮮鋭化処理を行うステップと
    を有する方法。
  2. 前記画像エッジ情報に基づいて、前記詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する前記ステップの前に、前記方法は、
    前記基礎画像情報に対してエッジ検出処理を行って前記画像エッジ情報を取得するステップ
    をさらに有する、請求項1に記載の方法。
  3. 前記画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得する前記ステップは、
    エッジ保存フィルタを使用することによって、前記画像情報に対してエッジ保存フィルタリング処理を行って前記基礎画像情報を取得するステップと、
    前記画像情報から前記基礎画像情報を差し引いて前記詳細画像情報を取得するステップと
    を有する、請求項1または2に記載の方法。
  4. 前記画像エッジ情報に基づいて、前記詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定する前記ステップの前に、前記方法は、
    前記画像エッジ情報および前記画像情報のメタデータに基づいて、前記詳細画像情報に対して鮮鋭化処理を行うために必要な前記鮮鋭化利得を決定するステップ
    を有する、請求項1乃至3のいずれか1項に記載の方法。
  5. 前記画像エッジ情報および前記画像情報のメタデータに基づいて、前記詳細画像情報に対して鮮鋭化処理を行うために必要な前記鮮鋭化利得を決定する前記ステップは、
    前記画像情報の光感度と露光時間とに基づいて、鮮鋭度アルゴリズムパラメータグループを決定するステップであって、前記鮮鋭度アルゴリズムパラメータグループは、前記画像情報の前記鮮鋭化利得の最大値と、前記鮮鋭化利得の最小値と、前記画像エッジ情報の振幅の増加に伴って前記最小値から前記最大値に増加する前記鮮鋭化利得の第1勾配と、前記振幅の前記増加に伴って前記最大値から前記最小値に減少する前記鮮鋭化利得の第2勾配と、前記鮮鋭化利得が前記最大値と前記最小値の半分であるときの前記画像エッジ情報の第1振幅および第2振幅とを有し、前記第1振幅は前記第2振幅よりも小さい、ステップと、
    前記画像エッジ情報と鮮鋭度アルゴリズムパラメータグループとに基づいて、前記詳細画像情報に対して鮮鋭化処理を行うために必要な前記鮮鋭化利得を決定するステップと
    を有する、請求項4に記載の方法。
  6. 前記画像エッジ情報と前記鮮鋭度アルゴリズムパラメータグループとに基づいて、前記詳細画像情報に対して鮮鋭化処理を行うために必要な前記鮮鋭化利得を決定する前記ステップは、
    式(1)
    Figure 2016503211
    を使用することによって計算を行って前記鮮鋭化利得Sharpmapを取得するステップを有し、
    edgInfoは前記画像エッジ情報の前記振幅であり、Peakは前記鮮鋭化利得の前記最大値であり、Lowは前記鮮鋭化利得の前記最小値であり、order1は前記振幅の前記増加に伴って前記最小値から前記最大値に増加する前記鮮鋭化利得の前記第1勾配であり、order2は前記振幅の前記増加に伴って前記最大値から前記最小値に減少する前記鮮鋭化利得の前記第2勾配であり、Cutoff1は前記鮮鋭化利得が前記最大値と前記最小値の半分であるときの前記画像エッジ情報の前記第1振幅であり、Cutoff2は前記鮮鋭化利得が前記最大値と前記最小値の半分であるときの前記画像エッジ情報の前記第2振幅である、請求項5に記載の方法。
  7. 前記画像情報の光感度と露光時間とに基づいて、鮮鋭度アルゴリズムパラメータグループを決定する前記ステップの前に、前記方法は、
    前記画像情報の前記光感度および前記露光時間と、前記鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定するステップ
    をさらに有する、請求項5または6に記載の方法。
  8. 前記画像情報の前記光感度および前記露光時間と、前記鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定する前記ステップは、
    少なくとも1つの処理されるべき画像情報と前記画像情報のメタデータとを取得するステップであって、前記メタデータは光感度と露光時間とを有する、ステップと
    エッジ保存フィルタを使用することによって、前記画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得するステップであって、前記基礎画像情報は画像エッジ情報を有する、ステップと、
    前記画像情報から前記基礎画像情報を差し引いて前記詳細画像情報を取得するステップと、
    前記基礎画像情報に対してエッジ検出処理を行って前記画像エッジ情報を取得するステップと、
    前記鮮鋭度アルゴリズムパラメータグループを調整して、少なくとも1つの鮮鋭度アルゴリズムパラメータグループを取得するステップと、
    式(1)
    Figure 2016503211
    を使用することによって計算を行って鮮鋭化利得Sharpmapを取得するステップであって、
    edgInfoは前記画像エッジ情報の振幅であり、Peakは前記鮮鋭化利得の最大値であり、Lowは前記鮮鋭化利得の最小値であり、order1は振幅の増加に伴って前記最小値から前記最大値に増加する前記鮮鋭化利得の第1勾配であり、order2は前記振幅の前記増加に伴って前記最大値から前記最小値に減少する前記鮮鋭化利得の第2勾配であり、Cutoff1は前記鮮鋭化利得が前記最大値と前記最小値の半分であるときの前記画像エッジ情報の第1振幅であり、Cutoff2は前記鮮鋭化利得が前記最大値と前記最小値の半分であるときの前記画像エッジ情報の第2振幅である、ステップと、
    前記鮮鋭化利得を使用することによって、前記詳細画像情報に対して鮮鋭化処理を行うステップと、
    前記基礎画像情報と前記鮮鋭化された詳細画像情報とに対して合算を行って前記鮮鋭化された画像情報を取得するステップと、
    前記鮮鋭化された画像情報の解像度がプリセット値に達するとき、前記画像情報の前記光感度と前記露光時間とに対応する鮮鋭度アルゴリズムパラメータグループを決定するステップと、
    ガウス過程を使用することによって、且つ前記少なくとも1つの画像情報の前記光感度および前記露光時間と、前記対応する鮮鋭度アルゴリズムパラメータグループとに基づいて、前記画像情報の前記光感度および前記露光時間と、前記鮮鋭度アルゴリズムパラメータグループとの間の前記対応関係を取得するステップと
    を有する、請求項7に記載の方法。
  9. 画像鮮鋭化処理装置であって、
    処理されるべき画像情報を取得し、前記画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報と詳細画像情報とを取得するように構成され、前記基礎画像情報は画像エッジ情報を有する、取得モジュールと、
    前記画像エッジ情報に基づいて、前記詳細画像情報に対して鮮鋭化処理を行うために必要な鮮鋭化利得を決定するように構成される利得決定モジュールと、
    前記鮮鋭化利得を使用することによって、前記詳細画像情報に対して鮮鋭化処理を行うように構成される鮮鋭化処理モジュールと
    を有する装置。
  10. 前記取得モジュールは、前記利得決定モジュールが前記画像エッジ情報に基づいて、前記詳細画像情報に対して鮮鋭化処理を行うために必要な前記鮮鋭化利得を決定する前に、前記基礎画像情報に対してエッジ検出処理を行って前記画像エッジ情報を取得するようにさらに構成される、請求項9に記載の装置。
  11. 前記取得モジュールは、具体的には、エッジ保存フィルタを使用することによって、前記画像情報に対してエッジ保存フィルタリング処理を行って前記基礎画像情報を取得し、前記画像情報から前記基礎画像情報を差し引いて前記詳細画像情報を取得するように構成される、請求項9または10に記載の装置。
  12. 前記利得決定モジュールは、具体的には、前記画像エッジ情報および前記画像情報のメタデータに基づいて、前記詳細画像情報に対して鮮鋭化処理を行うために必要な前記鮮鋭化利得を決定するように構成される、請求項9乃至11に記載の方法。
  13. 前記利得決定モジュールは、具体的には、前記画像情報の光感度と露光時間とに基づいて、鮮鋭度アルゴリズムパラメータグループを決定するように構成され、前記鮮鋭度アルゴリズムパラメータグループは、前記画像情報の前記鮮鋭化利得の最大値と、前記鮮鋭化利得の最小値と、前記画像エッジ情報の振幅の増加に伴って前記最小値から前記最大値に増加する前記鮮鋭化利得の第1勾配と、前記振幅の前記増加に伴って前記最大値から前記最小値に減少する前記鮮鋭化利得の第2勾配と、前記鮮鋭化利得が前記最大値と前記最小値の半分であるときの前記画像エッジ情報の第1振幅および第2振幅とを有し、前記第1振幅は前記第2振幅よりも小さく、且つ、前記画像エッジ情報と鮮鋭度アルゴリズムパラメータグループとに基づいて、前記詳細画像情報に対して鮮鋭化処理を行うために必要な前記鮮鋭化利得を決定するように構成される、請求項12に記載の装置。
  14. 前記利得決定モジュールは、具体的には、
    式(1)
    Figure 2016503211
    を使用することによって計算を行って鮮鋭化利得Sharpmapを取得するように構成され、
    edgInfoは前記画像エッジ情報の前記振幅であり、Peakは前記鮮鋭化利得の前記最大値であり、Lowは前記鮮鋭化利得の前記最小値であり、order1は前記振幅の前記増加に伴って前記最小値から前記最大値に増加する前記鮮鋭化利得の前記第1勾配であり、order2は前記振幅の前記増加に伴って前記最大値から前記最小値に減少する前記鮮鋭化利得の前記第2勾配であり、Cutoff1は前記鮮鋭化利得が前記最大値と前記最小値の半分であるときの前記画像エッジ情報の前記第1振幅であり、Cutoff2は前記鮮鋭化利得が前記最大値と前記最小値の半分であるときの前記画像エッジ情報の前記第2振幅である、請求項13に記載の装置。
  15. 前記利得決定モジュールが前記画像情報の前記光感度と前記露光時間とに基づいて前記鮮鋭度アルゴリズムパラメータグループを決定する前に、前記画像情報の前記光感度および前記露光時間と、前記鮮鋭度アルゴリズムパラメータグループとの間の対応関係を決定するように構成される対応関係決定モジュールをさらに有する、請求項13または14に記載の装置。
  16. 前記対応関係決定モジュールは、
    少なくとも1つの処理されるべき画像情報と前記画像情報のメタデータとを取得するように構成され、前記メタデータは光感度と露光時間とを有する、第1取得ユニットと、
    エッジ保存フィルタを使用することによって、前記画像情報に対してエッジ保存フィルタリング処理を行って基礎画像情報を取得するように構成され、前記基礎画像情報は画像エッジ情報を有し、且つ、前記画像情報から前記基礎画像情報を差し引いて前記詳細画像情報を取得し、前記基礎画像情報に対してエッジ検出処理を行って前記画像エッジ情報を取得するように構成される第2取得ユニットと、
    前記鮮鋭度アルゴリズムパラメータグループを調整して、少なくとも1つの鮮鋭度アルゴリズムパラメータグループを取得し、式(1)
    Figure 2016503211
    を使用することによって計算を行って鮮鋭化利得Sharpmapを取得するように構成される第3取得ユニットであって、
    edgInfoは前記画像エッジ情報の振幅であり、Peakは前記鮮鋭化利得の最大値であり、Lowは前記鮮鋭化利得の最小値であり、order1は振幅の増加に伴って前記最小値から前記最大値に増加する前記鮮鋭化利得の第1勾配であり、order2は前記振幅の前記増加に伴って前記最大値から前記最小値に減少する前記鮮鋭化利得の第2勾配であり、Cutoff1は前記鮮鋭化利得が前記最大値と前記最小値の半分であるときの前記画像エッジ情報の第1振幅であり、Cutoff2は前記鮮鋭化利得が前記最大値と前記最小値の半分であるときの前記画像エッジ情報の第2振幅である、第3取得ユニットと、
    前記鮮鋭化利得を使用することによって、前記詳細画像情報に対して鮮鋭化処理を行うように構成される鮮鋭化ユニットと、
    前記基礎画像情報と前記鮮鋭化された詳細画像情報とに対して合算を行って前記鮮鋭化された画像情報を取得し、前記鮮鋭化された画像の解像度がプリセット値に達するとき、前記画像情報の前記光感度と前記露光時間とに対応する鮮鋭度アルゴリズムパラメータグループを決定するように構成される決定ユニットと、
    ガウス過程を使用することによって、且つ前記少なくとも1つの画像情報の前記光感度および前記露光時間と、前記対応する鮮鋭度アルゴリズムパラメータグループとに基づいて、前記画像情報の前記光感度および前記露光時間と、前記鮮鋭度アルゴリズムパラメータグループとの間の前記対応関係を取得するように構成される対応関係確立ユニットと
    を有する、請求項15に記載の装置。
  17. 請求項9乃至16のいずれか1項に記載の前記画像鮮鋭化処理装置を有する撮影端末。
  18. 前記撮影端末は携帯電話またはタブレットコンピュータを有する、請求項17に記載の撮影端末。
JP2015551111A 2013-01-07 2013-12-30 画像鮮鋭化処理方法および装置、ならびに撮影端末 Active JP6111489B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310005184.6A CN103079038B (zh) 2013-01-07 2013-01-07 图像锐化处理方法、装置和拍摄终端
CN201310005184.6 2013-01-07
PCT/CN2013/090947 WO2014106446A1 (zh) 2013-01-07 2013-12-30 图像锐化处理方法、装置和拍摄终端

Publications (2)

Publication Number Publication Date
JP2016503211A true JP2016503211A (ja) 2016-02-01
JP6111489B2 JP6111489B2 (ja) 2017-04-12

Family

ID=48155437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015551111A Active JP6111489B2 (ja) 2013-01-07 2013-12-30 画像鮮鋭化処理方法および装置、ならびに撮影端末

Country Status (5)

Country Link
US (1) US9412152B2 (ja)
EP (1) EP2854390B1 (ja)
JP (1) JP6111489B2 (ja)
CN (1) CN103079038B (ja)
WO (1) WO2014106446A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103079038B (zh) * 2013-01-07 2016-06-29 华为终端有限公司 图像锐化处理方法、装置和拍摄终端
CN104185002B (zh) * 2013-05-21 2018-03-02 安凯(广州)微电子技术有限公司 一种图像处理方法及装置
CN103489167A (zh) * 2013-10-21 2014-01-01 厦门美图网科技有限公司 一种图像自动锐化方法
CN104486533B (zh) * 2014-12-31 2017-09-22 珠海全志科技股份有限公司 图像锐化方法及其装置
CN105138984B (zh) * 2015-08-24 2018-05-15 西安电子科技大学 基于多分辨率过冲效应度量的锐化图像识别方法
CN107580159B (zh) * 2016-06-30 2020-06-02 华为技术有限公司 信号校正方法、装置及终端
KR101862490B1 (ko) 2016-12-13 2018-05-29 삼성전기주식회사 영상 보정 프로세서 및 컴퓨터 판독가능 기록 매체
CN108259819B (zh) * 2016-12-29 2021-02-23 财团法人车辆研究测试中心 动态影像特征加强方法与系统
CN109272459B (zh) * 2018-08-20 2020-12-01 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
KR102592605B1 (ko) 2018-12-06 2023-10-24 삼성전자주식회사 이미지 신호 처리기, 이미지 신호 처리기의 동작 방법, 및 이미지 신호 처리기를 포함하는 전자 장치
CN110942440B (zh) * 2019-12-12 2023-04-18 上海富瀚微电子股份有限公司 一种图像锐化的方法及装置
EP4156170A4 (en) * 2020-05-22 2023-12-06 Panasonic Intellectual Property Management Co., Ltd. VIDEO PROCESSING APPARATUS, VIDEO PROCESSING METHOD, VIDEO PRODUCING APPARATUS, VIDEO PROCESSING METHOD AND PROGRAM
US11727540B2 (en) 2020-12-31 2023-08-15 Samsung Electronics Co., Ltd. Image sharpening

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359780A (ja) * 2001-06-01 2002-12-13 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2007041834A (ja) * 2005-08-03 2007-02-15 Olympus Corp 画像処理装置
JP2008015741A (ja) * 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081692A (en) 1991-04-04 1992-01-14 Eastman Kodak Company Unsharp masking using center weighted local variance for image sharpening and noise suppression
US5867606A (en) 1997-08-12 1999-02-02 Hewlett-Packard Company Apparatus and method for determining the appropriate amount of sharpening for an image
JP2004096506A (ja) * 2002-08-30 2004-03-25 Konica Minolta Holdings Inc 画像形成方法、画像処理装置及び画像記録装置
US7522314B2 (en) * 2003-12-19 2009-04-21 Hewlett-Packard Development Company, L.P. Image sharpening
TWI330036B (en) * 2006-10-27 2010-09-01 Quanta Comp Inc Apparatus for sharpening an image, and method thereof
CN101197910A (zh) * 2006-12-05 2008-06-11 广达电脑股份有限公司 图像锐化装置与其方法
US7809208B2 (en) * 2007-05-30 2010-10-05 Microsoft Corporation Image sharpening with halo suppression
TWI349475B (en) * 2008-01-14 2011-09-21 Wintek Corp Image processing apparatus and image processing method
US20090220169A1 (en) * 2008-02-28 2009-09-03 Microsoft Corporation Image enhancement
US20110135217A1 (en) * 2008-08-15 2011-06-09 Yeping Su Image modifying method and device
CN201726464U (zh) * 2010-05-05 2011-01-26 深圳市优视技术有限公司 一种新的视频图像锐化处理装置
US8600188B2 (en) * 2010-09-15 2013-12-03 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement
CN101980521B (zh) * 2010-11-23 2013-02-13 华亚微电子(上海)有限公司 一种图像锐化方法以及相关装置
TWI493503B (zh) * 2012-03-05 2015-07-21 Altek Corp 影像銳利化處理裝置及影像銳利化處理方法
US9082180B2 (en) * 2012-12-28 2015-07-14 Nvidia Corporation System, method, and computer program product for implementing a spatially varying unsharp mask noise reduction filter
CN103079038B (zh) * 2013-01-07 2016-06-29 华为终端有限公司 图像锐化处理方法、装置和拍摄终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359780A (ja) * 2001-06-01 2002-12-13 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2007041834A (ja) * 2005-08-03 2007-02-15 Olympus Corp 画像処理装置
JP2008015741A (ja) * 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置

Also Published As

Publication number Publication date
US9412152B2 (en) 2016-08-09
US20150103214A1 (en) 2015-04-16
EP2854390A1 (en) 2015-04-01
EP2854390A4 (en) 2015-12-02
EP2854390B1 (en) 2017-03-29
JP6111489B2 (ja) 2017-04-12
CN103079038A (zh) 2013-05-01
WO2014106446A1 (zh) 2014-07-10
CN103079038B (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
JP6111489B2 (ja) 画像鮮鋭化処理方法および装置、ならびに撮影端末
JP6169186B2 (ja) 画像処理方法及び装置並びに撮影端末
JP5198192B2 (ja) 映像復元装置および方法
KR101578583B1 (ko) 화상 처리 장치, 정보 처리 방법, 및 컴퓨터 판독 가능한 기억 매체
KR20150037369A (ko) 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
KR20140044899A (ko) 자동 적응적 이미지 선명화
US8526754B2 (en) System for enhancing depth of field with digital image processing
KR101437234B1 (ko) 초점이 흐려진 필박스 화상을 이용하여 깊이 평가를 수행하는 시스템 및 방법
KR102027712B1 (ko) 가우시안의 라플라시안 근사에 기초한 단일 이미지로부터의 디포커스 추정
JP2015062270A (ja) 画像処理装置
WO2015133593A1 (en) Image processing method, image processing apparatus, image capturing apparatus, image processing program and non-transitory computer-readable storage medium
US9262833B2 (en) Methodology for performing depth estimation with defocused images under extreme lighting conditions
US20180352153A1 (en) Image processing apparatus that generates evaluation value for evaluating luminance of image data, image capturing apparatus, method for processing image, and program
Zhao et al. An improved LR algorithm for image deblurring
JP6232808B2 (ja) 画像処理プログラム、画像処理装置および撮像装置
WO2024020958A1 (en) Method of generating an image, electronic device, apparatus, and computer readable storage medium
JP6390779B2 (ja) 画像処理プログラム、画像処理装置および撮像装置
TWI506590B (zh) 去除影像雜訊的方法
JP2017173920A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体
JP2011139127A (ja) 画像処理装置、及び画像処理方法
Ding et al. Edge adaptive hybrid norm prior method for blurred image reconstruction
JP2015090998A (ja) 撮像装置及び画像補正方法
CN117764838A (zh) 一种图像复原方法
Gupta Design and Analysis of Image Restoration Algorithm using Radon Transform and Bilateral Filter
KR20110011019A (ko) 디지털 영상의 에지 강조 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170223

R150 Certificate of patent or registration of utility model

Ref document number: 6111489

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250