JP2016503926A - 画像処理方法及び装置並びに撮影端末 - Google Patents

画像処理方法及び装置並びに撮影端末 Download PDF

Info

Publication number
JP2016503926A
JP2016503926A JP2015551114A JP2015551114A JP2016503926A JP 2016503926 A JP2016503926 A JP 2016503926A JP 2015551114 A JP2015551114 A JP 2015551114A JP 2015551114 A JP2015551114 A JP 2015551114A JP 2016503926 A JP2016503926 A JP 2016503926A
Authority
JP
Japan
Prior art keywords
information
noise reduction
luminance information
image
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015551114A
Other languages
English (en)
Other versions
JP6169186B2 (ja
Inventor
▲ツォン▼超 朱
▲ツォン▼超 朱
▲剛▼ ▲陳▼
▲剛▼ ▲陳▼
▲ハオ▼ 王
▲ハオ▼ 王
家 ▲齊▼
家 ▲齊▼
▲ウエイ▼ ▲羅▼
▲ウエイ▼ ▲羅▼
成 杜
成 杜
斌 ▲ドン▼
斌 ▲ドン▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Publication of JP2016503926A publication Critical patent/JP2016503926A/ja
Application granted granted Critical
Publication of JP6169186B2 publication Critical patent/JP6169186B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/73—
    • G06T5/90—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Abstract

本発明の実施例は、画像処理方法及び装置並びに撮影端末を提供する。この方法は、撮影されたが画像処理されていない処理されるべき画像を取得するステップと、処理されるべき画像の撮影特性情報を抽出するステップと、撮影特性情報に従って、処理されるべき画像において画像処理を実行するステップとを含む。このように、撮影された処理されるべき画像を取得した後に、撮影端末は、撮影端末により処理された後に取得された画像の品質が適応的に改善され得るように、画像の適応処理の基礎として、処理されるべき画像の撮影特性情報を使用し、それぞれの処理されるべき画像の撮影特性情報に従って、それぞれの処理されるべき画像において処理を実行する。

Description

この出願は、2013年1月7日に「画像処理方法及び装置並びに撮影端末」という題で中国専利局に出願された中国特許出願第CN201310005051.9号の優先権を主張し、この全内容を援用する。
［技術分野］
本発明の実施例は、画像処理技術に関し、特に、画像処理方法及び装置並びに撮影端末に関する。
レンズ、開口及びセンサのようなハードウェアの側面の制限のため、移動電話により撮影された画像及びデジタルカメラにより撮影された画像の品質の間に比較的大きいギャップが存在する。画像品質に影響を与える要因は、雑音、コントラスト、鮮鋭度、色等を主に含む。コストの理由のため、ハードウェア条件が改善されないことに基づいて、画像品質は、画像処理アルゴリズムを使用することにより改善可能である。
従来技術では、撮影画像の雑音レベルは、画像の雑音レベルより低い領域情報が雑音情報であると区別し、画像の雑音レベルより高い領域情報が有効画像情報であると区別するように主に評価されている。そして、雑音抑圧処理は、雑音低減の目的を達成するために、固定の画像雑音低減アルゴリズムを使用することにより、雑音レベルより低い領域情報において実行される。エンハンスメント処理は、画像エンハンスメントの目的を達成するために、固定のコントラストエンハンスメントアルゴリズム及び鮮鋭度エンハンスメントアルゴリズムを使用することにより、雑音レベルより高い領域情報において実行される。その結果、画像品質が改善され得る。
本発明を実施する過程において、発明者は、従来技術では異なる撮影画像が処理されるときに画像品質が一様でないことを見出している。
本発明は、各画像の品質を適応的に改善するため、処理されるべき画像の撮影特性情報に従って、処理されるべき画像において画像処理を実行するために使用される画像処理方法及び装置並びに撮影端末を提供する。
第１の態様によれば、本発明の実施例は、画像処理方法を提供し、撮影されたが画像処理されていない処理されるべき画像を取得するステップと、処理されるべき画像の撮影特性情報を抽出するステップと、撮影特性情報に従って、処理されるべき画像において画像処理を実行するステップとを含む。
第１の態様の第１の可能な実現方式では、特性情報に従って、処理されるべき画像において画像処理を実行するステップは、処理されるべき画像の撮影場面情報及び撮影メタデータに従って、処理されるべき画像において雑音低減及び／又はエンハンスメント処理を実行するステップを含む。
第１の態様の第１の可能な実現方式を参照して、第１の態様の第２の可能な実現方式では、処理されるべき画像の撮影場面情報及び撮影メタデータに従って、処理されるべき画像において雑音低減及び／又はエンハンスメント処理を実行するステップは、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減及び／又はエンハンスメント処理を実行するステップ、及び／又は撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報において雑音低減及び／又はエンハンスメント処理を実行するステップを含む。
第１の態様の第２の可能な実現方式を参照して、第１の態様の第３の可能な実現方式では、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減処理を実行するステップは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報に従って、局所絶対値差分の計算を実行するステップと、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得するステップと、第１のガウス雑音低減フィルタカーネルに従って、輝度情報においてガウス雑音低減処理を実行するステップとを含み、処理されるべき画像の輝度情報においてエンハンスメント処理を実行するステップは、ベースレイヤの輝度情報と少なくとも１つのディテールレイヤの輝度情報とを取得するために、輝度情報においてエッジ保存に基づくフィルタリング分解を実行するステップと、撮影場面情報及び撮影メタデータに従って、ベースレイヤの輝度情報においてコントラストエンハンスメント処理を実行するステップと、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、少なくとも１つのゲインを決定するステップと、ゲインを使用することによりディテールレイヤの輝度情報においてディテールエンハンスメント処理を実行するステップと、エンハンスメント処理を受けている輝度情報を取得するために、コントラストエンハンスメント処理を受けているベースレイヤの輝度情報と、ディテールエンハンスメント処理を受けているディテールレイヤの輝度情報との加算を実行するステップとを含む。
第１の態様の第３の可能な実現方式を参照して、第１の態様の第４の可能な実現方式では、輝度情報においてエンハンスメント処理を実行する前に、この方法は、ガウス雑音低減処理を受けている輝度情報のα1倍を取得するために、ガウス雑音低減処理を受けている輝度情報を第１の係数α1で乗算するステップであり、α1は0から1の範囲の数値であるステップと、ガウス雑音低減処理を受けていない輝度情報の(1-α1)倍を取得するために、ガウス雑音低減処理を受けていない輝度情報を(1-α1)で乗算するステップと、第１の輝度情報を取得するために、ガウス雑音低減処理を受けている輝度情報のα1倍と、ガウス雑音低減処理を受けていない輝度情報の(1-α1)倍との加算を実行するステップとを更に含み、処理されるべき画像の輝度情報においてエンハンスメント処理を実行するステップは、第１の輝度情報においてエンハンスメント処理を実行するステップを含む。
第１の態様の第２の可能な実現方式を参照して、第１の態様の第５の可能な実現方式では、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減及びエンハンスメント処理を実行するステップは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報に従って、局所絶対値差分の計算を実行するステップと、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得するステップと、畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び第１のガウス雑音低減フィルタカーネルにおいて畳み込みを実行するステップと、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、畳み込みフィルタカーネルの重みを決定するステップと、鮮鋭度エンハンスメントフィルタカーネルを取得するために、畳み込みフィルタカーネルを重みで乗算するステップと、ガウス雑音低減鮮鋭フィルタカーネルを取得するために、第１のガウス雑音低減フィルタカーネルと鮮鋭度エンハンスメントフィルタカーネルとの加算を実行するステップと、ガウス雑音低減鮮鋭フィルタカーネルに従って、輝度情報においてガウス雑音低減処理及び鮮鋭度エンハンスメント処理を実行するステップとを含む。
第１の態様の第３の可能な実現方式、第１の態様の第４の可能な実現方式又は第１の態様の第５の可能な実現方式を参照して、第１の態様の第６の可能な実現方式では、輝度情報の周辺輝度値のSADを取得するために、輝度情報に従って、局所絶対値差分の計算を実行する前に、この方法は、撮影場面情報及び撮影メタデータに従って、輝度情報においてゴマ塩雑音低減処理を実行するステップを更に含む。
第１の態様の第２の可能な実現方式、第１の態様の第３の可能な実現方式、第１の態様の第４の可能な実現方式、第１の態様の第５の可能な実現方式又は第１の態様の第６の可能な実現方式を参照して、第１の態様の第７の可能な実現方式では、撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報において雑音低減処理を実行するステップは、クロミナンス情報の周辺クロミナンス値のSADを取得するために、クロミナンス情報に従って、局所絶対値差分の計算を実行するステップと、周辺クロミナンス値のSAD、撮影場面情報及び撮影メタデータに従って、第２のガウス雑音低減フィルタカーネルを取得するステップと、第２のガウス雑音低減フィルタカーネルに従って、クロミナンス情報においてガウス雑音低減処理を実行するステップとを含み、撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報においてエンハンスメント処理を実行するステップは、合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせるステップと、合成画像情報の色飽和度を取得するステップと、撮影場面情報及び撮影メタデータに従って、色飽和度を調整するステップとを含む。
第１の態様の第７の可能な実現方式を参照して、第１の態様の第８の可能な実現方式では、合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせる前に、この方法は、エンハンスメント処理を受けている輝度情報のα2倍を取得するために、エンハンスメント処理を受けている輝度情報を第２の係数α2で乗算するステップであり、α2は0から1の範囲の数値であるステップと、雑音低減処理を受けている輝度情報の(1-α2)倍を取得するために、雑音低減処理を受けている輝度情報を(1-α2)で乗算するステップと、第２の輝度情報を取得するために、エンハンスメント処理を受けている輝度情報のα2倍と、雑音低減処理を受けている輝度情報の(1-α2)倍との加算を実行するステップとを更に含み、合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせるステップは、合成画像情報を取得するために、クロミナンス情報と第２の輝度情報とを組み合わせるステップを含む。
第１の態様の第７の可能な実現方式又は第１の態様の第８の可能な実現方式を参照して、第１の態様の第９の可能な実現方式では、クロミナンス情報の周辺クロミナンス値のSADを取得するために、クロミナンス情報に従って、局所絶対値差分の計算を実行する前に、この方法は、撮影場面情報及び撮影メタデータに従って、クロミナンス情報においてゴマ塩雑音低減処理を実行するステップを更に含む。
第２の態様によれば、本発明の実施例は、画像処理装置を提供し、撮影されたが画像処理されていない処理されるべき画像を取得するように構成された撮影モジュールと、処理されるべき画像の撮影特性情報を抽出するように構成された抽出モジュールと、撮影特性情報に従って、処理されるべき画像において画像処理を実行するように構成された処理モジュールとを含む。
第２の態様の第１の可能な実現方式では、処理モジュールは、処理されるべき画像の撮影場面情報及び撮影メタデータに従って、処理されるべき画像において雑音低減及び／又はエンハンスメント処理を実行するように具体的に構成される。
第２の態様の第１の可能な実現方式を参照して、第２の態様の第２の可能な実現方式では、処理モジュールは、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減及び／又はエンハンスメント処理を実行するように、及び／又は撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報において雑音低減及び／又はエンハンスメント処理を実行するように具体的に構成される。
第２の態様の第２の可能な実現方式を参照して、第２の態様の第３の可能な実現方式では、処理モジュールは、第１のガウス雑音低減ユニット及び／又は第１のエンハンスメントユニットを含み、第１のガウス雑音低減ユニットは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報に従って、局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、第１のガウス雑音低減フィルタカーネルに従って、輝度情報においてガウス雑音低減処理を実行するように構成され、第１のエンハンスメントユニットは、ベースレイヤの輝度情報と少なくとも１つのディテールレイヤの輝度情報とを取得するために、輝度情報においてエッジ保存に基づくフィルタリング分解を実行し、撮影場面情報及び撮影メタデータに従って、ベースレイヤの輝度情報においてコントラストエンハンスメント処理を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、少なくとも１つのゲインを決定し、ゲインを使用することによりディテールレイヤの輝度情報においてディテールエンハンスメント処理を実行し、エンハンスメント処理を受けている輝度情報を取得するために、コントラストエンハンスメント処理を受けているベースレイヤの輝度情報と、ディテールエンハンスメント処理を受けているディテールレイヤの輝度情報との加算を実行するように構成される。
第２の態様の第３の可能な実現方式を参照して、第２の態様の第４の可能な実現方式では、処理モジュールは、ガウス雑音低減処理を受けている輝度情報のα1倍を取得するために、ガウス雑音低減処理を受けている輝度情報を第１の係数α1で乗算し、α1は0から1の範囲の数値であり、ガウス雑音低減処理を受けていない輝度情報の(1-α1)倍を取得するために、ガウス雑音低減処理を受けていない輝度情報を(1-α1)で乗算し、第１の輝度情報を取得するために、ガウス雑音低減処理を受けている輝度情報のα1倍と、ガウス雑音低減処理を受けていない輝度情報の(1-α1)倍との加算を実行するように構成された第１の取得ユニットを更に含み、第１のエンハンスメントユニットは、第１の輝度情報においてエンハンスメント処理を実行するように具体的に構成される。
第２の態様の第２の可能な実現方式を参照して、第２の態様の第５の可能な実現方式では、処理モジュールは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報に従って、局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び第１のガウス雑音低減フィルタカーネルにおいて畳み込みを実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、畳み込みフィルタカーネルの重みを決定し、鮮鋭度エンハンスメントフィルタカーネルを取得するために、畳み込みフィルタカーネルを重みで乗算し、ガウス雑音低減鮮鋭フィルタカーネルを取得するために、第１のガウス雑音低減フィルタカーネルと鮮鋭度エンハンスメントフィルタカーネルとの加算を実行し、ガウス雑音低減鮮鋭フィルタカーネルに従って、輝度情報においてガウス雑音低減処理及び鮮鋭度エンハンスメント処理を実行するように構成された雑音低減エンハンスメントユニットを含む。
第２の態様の第３の可能な実現方式、第２の態様の第４の可能な実現方式又は第２の態様の第５の可能な実現方式を参照して、第２の態様の第６の可能な実現方式では、処理モジュールは、撮影場面情報及び撮影メタデータに従って、輝度情報においてゴマ塩雑音低減処理を実行するように構成された第１のゴマ塩雑音低減ユニットを更に含む。
第２の態様の第２の可能な実現方式、第２の態様の第３の可能な実現方式、第２の態様の第４の可能な実現方式、第２の態様の第５の可能な実現方式又は第２の態様の第６の可能な実現方式を参照して、第２の態様の第７の可能な実現方式では、処理モジュールは、第２のガウス雑音低減ユニットと、第２のエンハンスメントユニットとを更に含み、第２のガウス雑音低減ユニットは、クロミナンス情報の周辺クロミナンス値のSADを取得するために、クロミナンス情報に従って、局所絶対値差分の計算を実行し、周辺クロミナンス値のSAD、撮影場面情報及び撮影メタデータに従って、第２のガウス雑音低減フィルタカーネルを取得し、第２のガウス雑音低減フィルタカーネルに従って、クロミナンス情報においてガウス雑音低減処理を実行ように構成され、第２のエンハンスメントユニットは、合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせ、合成画像情報の色飽和度を取得し、撮影場面情報及び撮影メタデータに従って、色飽和度を調整するように構成される。
第２の態様の第７の可能な実現方式を参照して、第２の態様の第８の可能な実現方式では、処理モジュールは、第２のエンハンスメントユニットが合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせる前に、エンハンスメント処理を受けている輝度情報のα2倍を取得するために、エンハンスメント処理を受けている輝度情報を第２の係数α2で乗算し、α2は0から1の範囲の数値であり、雑音低減処理を受けている輝度情報の(1-α2)倍を取得するために、雑音低減処理を受けている輝度情報を(1-α2)で乗算し、第２の輝度情報を取得するために、エンハンスメント処理を受けている輝度情報のα2倍と、雑音低減処理を受けている輝度情報の(1-α2)倍との加算を実行するように構成された第２の取得ユニットを更に含み、第２のエンハンスメントユニットは、合成画像情報を取得するために、クロミナンス情報と第２の輝度情報とを組み合わせ、合成画像情報の色飽和度を取得し、撮影場面情報及び撮影メタデータに従って、色飽和度を調整するように具体的に構成される。
第２の態様の第７の可能な実現方式又は第２の態様の第８の可能な実現方式を参照して、第２の態様の第９の可能な実現方式では、処理モジュールは、第２のガウス雑音低減ユニットがクロミナンス情報の周辺クロミナンス値のSADを取得するために、クロミナンス情報に従って、局所絶対値差分の計算を実行する前に、撮影場面情報及び撮影メタデータに従って、クロミナンス情報においてゴマ塩雑音低減処理を実行するように構成された第２のゴマ塩雑音低減ユニットを更に含む。
第３の態様によれば、本発明の実施例は、前述の画像処理装置を含む撮影端末を更に提供する。
第３の態様の第１の可能な実現方式では、撮影端末は、移動電話又はタブレットコンピュータを含む。
本発明の実施例で提供される画像処理方法及び装置並びに撮影端末によれば、撮影されたが画像処理されていない処理されるべき画像が取得され、処理されるべき画像から撮影特性情報が抽出され、撮影特性情報に従って、画像処理が実行される。このように、撮影された処理されるべき画像を取得した後に、撮影端末は、撮影端末により処理された後に取得された画像の品質が適応的に改善され得るように、画像の適応処理の基礎として、処理されるべき画像の撮影特性情報を使用し、それぞれの処理されるべき画像の撮影特性情報に従って、それぞれの処理されるべき画像において処理を実行する。
本発明の実施例又は従来技術の技術的対策を明確に説明するために、以下に、実施例又は従来技術を説明するために必要な添付図面を簡単に紹介する。明らかに、以下の説明の添付図面は、本発明の単に幾つかの実施例を示しているに過ぎず、当業者は、創造的取り組みを行うことなく、これらの添付図面から依然として他の図面を導き得る。
本発明による画像処理方法の第１の実施例のフローチャート 本発明による画像処理方法の第２の実施例のフローチャート 本発明による画像処理方法の第３の実施例のフローチャート 本発明による画像処理装置の第１の実施例の概略構成図 本発明による画像処理装置の第２の実施例の概略構成図 本発明による画像処理装置の第３の実施例の概略構成図 本発明による画像処理装置の第４の実施例の概略構成図 本発明の実施例による撮影端末の第１の実施例の概略構成図
本発明の実施例の目的、技術的対策及び利点を明確にするために、以下に、本発明の実施例の添付図面を参照して、本発明の実施例の技術的対策を明確且つ完全に説明する。明らかに、説明する実施例は、本発明の実施例の全てではなく、一部に過ぎない。創造的取り組みを行うことなく、本発明の実施例に基づいて当業者により得られる全ての他の実施例は、本発明の保護範囲内に入るものとする。
図１は、本発明による画像処理方法の第１の実施例のフローチャートである。図１に示すように、この実施例は、画像処理装置を使用することにより実現されてもよく、この装置は、例えば、この実施例の方法を実現するために撮影端末に統合されてもよい。この実施例の方法は以下を含んでもよい。
ステップ101：撮影されたが画像処理されていない処理されるべき画像を取得する。
この実施例では、撮影された処理されるべき画像が取得される。処理されるべき画像は、画像処理アルゴリズムを使用することにより処理されていない画像でもよく、例えば、撮影端末により撮影された画像でもよい。撮影端末は、移動電話、タブレットコンピュータ（PAD）、ノートブックコンピュータ又は多機能プレイヤのような撮影レンズを有するデバイスでもよい。これらの撮影端末のハードウェア条件の制限のため、撮影画像の品質は比較的悪い。従って、画像は処理される必要がある。
ステップ102：処理されるべき画像の撮影特性情報を抽出する。
この実施例では、撮影された処理されるべき画像が取得された後、処理されるべき画像の撮影特性情報は、処理されるべき画像から直接抽出される。撮影特性情報は、処理されるべき画像の撮影された場面についての情報、例えば、青空、緑色植物、日没、夜の場面、人物でもよく、処理されるべき画像が撮影されたときのメタデータ、例えば、処理されるべき画像が撮影されたときの光感度及び露光時間でもよい。特性が処理されるべき画像を反映できることができる限り、特性は、この実施例で使用される撮影特性情報として使用されてもよい点に留意すべきである。
ステップ103：撮影特性情報に従って、処理されるべき画像において画像処理を実行する。
この実施例では、撮影特性情報は、撮影端末により撮影された処理されるべき画像からリアルタイムで抽出されてもよい。撮影特性情報は、処理されるべき画像に関係する必要がある特性及び品質欠陥を反映することができる。処理されるべき画像の撮影特性情報は、異なってもよく、従って、画像処理は、異なる撮影特性情報に従って、異なる処理されるべき画像において特別に実行されてもよい。
具体的には、従来技術では、撮影端末が撮影画像を取得した後に、固定の画像処理方式が使用される。例えば、撮影端末に予め設定された固定の画像処理アルゴリズムが画像処理に使用される。すなわち、従来技術では、撮影された異なる処理されるべき画像において同じ処理が実行される。従って、画像処理の適応性が比較的悪く、このことは、処理された画像の品質が一様でないことを生じる。
従来技術に比べて、この実施例では、撮影された処理されるべき画像を取得した後に、撮影端末は、撮影端末により処理された後に取得された画像の品質が適応的に改善され得るように、画像の適応処理の基礎として、画像処理されていない処理されるべき画像の撮影特性情報を使用し、それぞれの処理されるべき画像の撮影特性情報に従って、それぞれの処理されるべき画像において処理を実行する。
この実施例の画像処理方法は、撮影端末が撮影された生の画像を取得した後に適用されてもよく、画像が撮影端末の表示画面に表示される前に実行されてもよい点に留意すべきである。
本発明の第１の実施例で提供される画像処理方法によれば、撮影されたが画像処理されていない処理されるべき画像が取得され、処理されるべき画像から撮影特性情報が抽出され、撮影特性情報に従って、画像処理が実行される。このように、撮影された処理されるべき画像を取得した後に、撮影端末は、撮影端末により処理された後に取得された画像の品質が適応的に改善され得るように、画像の適応処理の基礎として、処理されるべき画像の撮影特性情報を使用し、それぞれの処理されるべき画像の撮影特性情報に従って、それぞれの処理されるべき画像において処理を実行する。
図２は、本発明による画像処理方法の第２の実施例のフローチャートである。図２に示すように、この実施例は、画像処理装置を使用することにより実現されてもよく、この装置は、例えば、この実施例の方法を実現するために撮影端末に統合されてもよい。この実施例の方法は以下を含んでもよい。
ステップ201：撮影されたが画像処理されていない処理されるべき画像を取得する。
この実施例では、撮影された処理されるべき画像が取得される。処理されるべき画像は、画像処理アルゴリズムを使用することにより処理されていない画像でもよく、例えば、撮影端末により撮影された画像でもよい。撮影端末は、移動電話、PAD、ノートブックコンピュータ又は多機能プレイヤのような撮影レンズを有するデバイスでもよい。これらの撮影端末のハードウェア条件の制限のため、撮影画像の品質は比較的悪い。従って、画像は処理される必要がある。
ステップ202：処理されるべき画像の撮影場面情報及び撮影メタデータを抽出する。
この実施例では、撮影された処理されるべき画像が取得された後、処理されるべき画像の撮影場面情報及び撮影メタデータは、処理されるべき画像から直接抽出される。撮影場面情報は、青空の場面、緑色植物の場面、日没の場面、夜の場面、低照度の場面、人の顔の領域等でもよい。撮影メタデータは、処理されるべき画像が撮影されたときの光感度、露光時間等でもよい。当業者は、撮影場面情報及び撮影メタデータの抽出は、従来技術のものと一致しており、この実施例では詳細をここで繰り返し説明しないことを認識し得る。
この実施例では、撮影場面情報及び撮影メタデータが取得された後に、雑音低減及び／又はエンハンスメント処理が、撮影場面情報及び撮影メタデータに従って、処理されるべき画像において実行されてもよい。処理されるべき画像から抽出された撮影場面情報及び撮影メタデータは、どの品質欠陥が処理されるべき画像に存在するかを反映することができ、従って、雑音低減及び／又はエンハンスメント処理が画像の品質を改善するために特別に実行されてもよい。具体的な実現の間に、処理されるべき画像は、処理されるべき画像の輝度情報及びクロミナンス情報に分解され、撮影場面情報及び撮影メタデータに従って、処理されるべき画像において雑音低減及び／又はエンハンスメント処理を実行することは、ステップ203及びステップ204を含んでもよい。当業者は、処理されるべき画像を処理されるべき画像の輝度情報及びクロミナンス情報に分割することは、従来技術の色空間変換に一致しており、この実施例では詳細をここで繰り返し説明しないことを認識し得る。
ステップ203：撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減及び／又はエンハンスメント処理を実行する。
この実施例では、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減処理を実行することは、輝度情報の周辺輝度値の差分絶対値和（Sum of Absolute Difference、略してSAD）を取得するために、輝度情報において局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、第１のガウス雑音低減フィルタカーネルに従って、輝度情報においてガウス雑音低減処理を実行することを含んでもよい。
具体的には、当業者は、局所絶対値差分の計算を実行することは、従来技術のものに一致しており、この実施例では詳細をここで繰り返し説明しないことを認識し得る。各画素の周辺輝度値のSAD（すなわち、中央の画素と周辺の画素との間の輝度値の差分の絶対値の和）は、局所絶対値差分の計算により取得されてもよい。周辺輝度値の各SADは、各画素の局所特性（例えば、画素がエッジ領域に位置するか平坦領域に位置するか）を表してもよい。第１のガウス雑音低減フィルタカーネルは、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って取得される。第１のガウス雑音低減フィルタカーネルは、従来技術のバイラテラルフィルタカーネルでもよく、この実施例では詳細をここで繰り返し説明しない。第１のガウス雑音低減フィルタカーネルの分散パラメータが雑音低減度を決定するため、大きい分散パラメータは、大きい雑音低減度をもたらす。従って、各画素の周辺輝度値のSADが取得された後に、周辺輝度値の各SADにおいて分析が実行される。周辺輝度値の大きいSADがエッジ情報の大きい強度値を示し、画素に含まれる多くのエッジ情報を示す。エッジ情報が雑音低減処理においてぼやかされないことを維持するために、画素に対応する第１のガウス雑音低減フィルタカーネルの分散パラメータは、低減されてもよい。対応して、周辺輝度値の小さいSADは、エッジ情報の小さい強度値を示し、画素に含まれる小さいエッジ情報を示す。雑音低減効果を確保するために、画素に対応する第１のガウス雑音低減フィルタカーネルの分散パラメータは増加してもよい。画素の周辺輝度値のSADは異なってもよいため、異なる分散パラメータが周辺輝度値の異なるSADに従って決定されてもよい。更に、処理されるべき画像の撮影メタデータの光感度が低い場合、第１のガウス雑音低減フィルタカーネルの分散パラメータは、雑音低減度を弱めるために低減されてもよい。処理されるべき画像のメタデータの光感度が高い場合、第１のガウス雑音低減フィルタカーネルの分散パラメータは、雑音低減度を強めるために増加してもよい。処理されるべき画像の撮影場面情報が夜の場面又は低照度の場面である場合、第１のガウス雑音低減フィルタカーネルの分散パラメータは、雑音低減度を強めるために増加してもよい。このように、第１のガウス雑音低減フィルタカーネルが決定されてもよい。第１のガウス雑音低減フィルタカーネルは、ガウス雑音低減フィルタを生成するために使用される。ガウス雑音において雑音低減処理を実行するために、ガウス雑音低減処理は、輝度情報において実行される。
この実施例では、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減処理を実行することは、ベースレイヤの輝度情報と少なくとも１つのディテールレイヤの輝度情報とを取得するために、輝度情報においてエッジ保存に基づくフィルタリング分解を実行し、撮影場面情報及び撮影メタデータに従って、ベースレイヤの輝度情報においてコントラストエンハンスメント処理を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、少なくとも１つのゲインを決定し、ゲインを使用することによりディテールレイヤの輝度情報においてディテールエンハンスメント処理を実行し、エンハンスメント処理を受けている輝度情報を取得するために、コントラストエンハンスメント処理を受けているベースレイヤの輝度情報と、ディテールエンハンスメント処理を受けているディテールレイヤの輝度情報との加算を実行することを含んでもよい。
具体的には、エッジ保存に基づくフィルタリングアルゴリズム（例えば、バイラテラルフィルタリングアルゴリズム、及びエッジ保存機能を有する他のフィルタリングアルゴリズム）は、各レイヤのディテールのコントラストが画像の定義を改善するために後のエンハンスメント処理で管理され得るように、１つのベースレイヤの輝度情報と、異なるディテール度を有する複数のディテールレイヤの輝度情報とを取得するために、輝度情報においてマルチレベルの分解を実行するために使用されてもよい。例えば、ベースレイヤの低周波数輝度情報と、中間のディテールレイヤの中間周波数輝度情報と、小さいディテールレイヤの高周波数輝度情報とを取得するために、２つのレベルのエッジ保存フィルタリング分解が輝度情報において実行されてもよい。次に、コントラストエンハンスメント処理は、ハイライト領域及び暗い領域の輝度及びコントラストを改善するために、撮影場面情報及び撮影メタデータに従って、ベースレイヤの輝度情報において実行されてもよい。コントラストエンハンスメント処理は、トーンマッピング、ヒストグラム均一化、リニアストレッチング、Gamma補正等を含んでもよい。例えば、撮影場面情報が暗光の場面である場合、トーンマッピング曲線の形状は、画像の暗い領域を明るくするように制御されてもよい。
この実施例では、各ディテールレイヤの輝度情報のゲインは、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って取得される。例えば、小さいディテールレイヤの高周波数輝度情報は、より多くの雑音を含み得るため、小さいディテールレイヤの輝度情報について、より小さいゲインが設定されてもよい。中間のディテールレイヤの中間周波数輝度情報は、より多くのディテール情報及びエッジ情報を含むため、中間のディテールレイヤの輝度ディテールについて、より大きいゲインが設定されてもよい。撮影メタデータの光感度が低い場合、ディテール情報が更に豊富になることを可能にするために、中間のディテールレイヤの輝度情報及び小さいディテールレイヤのゲインは、エッジ情報エンハンスメントを強めるように別々に増加してもよい。撮影メタデータの光感度が高い場合、中間のディテールレイヤの輝度情報及び小さいディテールレイヤの輝度情報のゲインは、エッジ情報エンハンスメントを弱めるように別々に低減されてもよい。撮影場面情報が人の顔の領域である場合、表示される人の顔がより自然になることを可能にするために、中間のディテールレイヤの輝度情報及び小さいディテールレイヤの輝度情報のゲインは、エッジエンハンスメント処理を弱めるように別々に低減されてもよい。このように、中間のディテールレイヤの輝度情報及び小さいディテールレイヤの輝度情報のゲインは、撮影場面情報及び撮影メタデータに従って別々に決定され、ディテールエンハンスメント処理は、各ゲインを使用することにより各ディテールレイヤの輝度情報において別々に実行され、エンハンスメント処理を受けている輝度情報を取得するために、コントラストエンハンスメント処理を受けているベースレイヤの輝度情報と、ディテールエンハンスメント処理を受けている中間のディテールレイヤの輝度情報と、ディテールエンハンスメント処理を受けている小さいディテールレイヤの輝度情報とで加算が実行されることが実現されてもよい。エンハンスメント処理を受けていない輝度情報は、雑音低減処理を受けていない輝度情報でもよく、雑音低減処理を受けている輝度情報でもよい点に留意すべきである。
任意選択で、輝度情報においてエンハンスメント処理を実行する前に、この方法は、ガウス雑音低減処理を受けている輝度情報のα1倍を取得するために、ガウス雑音低減処理を受けている輝度情報を第１の係数α1で乗算し、α1は0から1の範囲の数値であり、ガウス雑音低減処理を受けていない輝度情報の(1-α1)倍を取得するために、ガウス雑音低減処理を受けていない輝度情報を(1-α1)で乗算し、第１の輝度情報を取得するために、ガウス雑音低減処理を受けている輝度情報のα1倍と、ガウス雑音低減処理を受けていない輝度情報の(1-α1)倍との加算を実行し、第１の輝度情報においてエンハンスメント処理を実行することを更に含んでもよい。具体的な実現処理については、この実施例の前述の関係する説明を参照し、詳細をここで繰り返し説明しない。α1の値は、実際の用途事例に従って決定され、この実施例においてここで限定されない点に留意すべきである。
ステップ204：撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報において雑音低減及び／又はエンハンスメント処理を実行する。
この実施例では、撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報において雑音低減処理を実行することは、クロミナンス情報の周辺クロミナンス値のSADを取得するために、クロミナンス情報において局所絶対値差分の計算を実行し、周辺クロミナンス値のSAD、撮影場面情報及び撮影メタデータに従って、第２のガウス雑音低減フィルタカーネルを取得し、第２のガウス雑音低減フィルタカーネルに従って、クロミナンス情報においてガウス雑音低減処理を実行することを含んでもよい。
具体的には、クロミナンス情報において雑音低減処理を実行する処理は、この実施例の輝度情報において雑音低減処理を実行する前述の処理と同様である。詳細については、前述の関係する説明を参照し、この実施例では詳細をここで繰り返し説明しない。
ステップ203及びステップ204の１つが実行のために選択されてもよい点に留意すべきである。
この実施例では、撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報においてエンハンスメント処理を実行することは、合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせ、合成画像情報の色飽和度を取得し、撮影場面情報及び撮影メタデータに従って、色飽和度を調整することを含んでもよい。
具体的には、クロミナンス情報及び輝度情報は、合成画像情報を取得するために組み合わせられる。各色飽和度は、合成画像情報から取得される。色飽和度は、画像の明るさを改善するために、画像場面情報及び撮影メタデータに従って調整される。色飽和度を取得することは、従来技術のものと一致しており、この実施例では詳細をここで繰り返し説明しない点に留意すべきである。例えば、撮影メタデータの光感度が低い場合、各色飽和度は、色を明るくするために増加してもよい。撮影メタデータの光感度が高い場合、各色飽和度のエンハンスメントは、色雑音を低減するために弱められてもよい。撮影場面情報が青空の場面である場合、青色を有する画素点の飽和度は、青空を更に青くなることを可能にするために増加してもよい。撮影場面情報が緑色植物の場面である場合、緑色を有する画素点の飽和度は、緑色植物が更に緑色になることを可能にするために増加してもよい。撮影場面情報が日没の場面である場合、赤みを帯びた黄色を有する画素点の飽和度は、日没が更にすばらしくなることを可能にするために増加してもよい。組み合わせに使用されるクロミナンス情報は、雑音低減処理を受けていないクロミナンス情報でもよく、雑音低減処理を受けているクロミナンス情報でもよく、組み合わせに使用される輝度情報は、雑音低減処理を受けている輝度情報でもよく、エンハンスメント処理を受けている輝度情報でもよい点に留意すべきである。
任意選択で、合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせる前に、この方法は、エンハンスメント処理を受けている輝度情報のα2倍を取得するために、エンハンスメント処理を受けている輝度情報を第２の係数α2で乗算し、α2は0から1の範囲の数値であり、雑音低減処理を受けている輝度情報の(1-α2)倍を取得するために、雑音低減処理を受けている輝度情報を(1-α2)で乗算し、第２の輝度情報を取得するために、エンハンスメント処理を受けている輝度情報のα2倍と、雑音低減処理を受けている輝度情報の(1-α2)倍との加算を実行し、合成画像情報を取得するために、クロミナンス情報と第２の輝度情報とを組み合わせることを更に含んでもよい。具体的な実現処理については、この実施例の前述の詳細な説明を参照し、詳細をここで繰り返し説明しない。α2の値は、実際の用途事例に従って決定され、この実施例においてここで限定されない点に留意すべきである。
本発明の第２の実施例で提供される画像処理方法によれば、撮影されたが画像処理されていない処理されるべき画像が取得され、処理されるべき画像の撮影場面情報及び撮影メタデータが抽出され、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減及び／又はエンハンスメント処理が実行され、撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報において雑音低減及び／又はエンハンスメント処理が実行される。このように、撮影された処理されるべき画像を取得した後に、撮影端末は、撮影端末により処理された後に取得された画像の品質が適応的に改善され得るように、画像の適応処理の基礎として、処理されるべき画像の撮影場面情報及び撮影メタデータを使用し、それぞれの処理されるべき画像の撮影場面情報及び撮影メタデータに従って、それぞれの処理されるべき画像のクロミナンス情報及び輝度情報において処理を実行する。
図３は、本発明による画像処理方法の第３の実施例のフローチャートである。図３に示すように、この実施例は、画像処理装置を使用することにより実現されてもよく、この装置は、例えば、この実施例の方法を実現するために撮影端末に統合されてもよい。この実施例の方法は、図２に示す方法の実施例の更に詳細な対策である。この実施例の方法は以下を含む。
ステップ301：撮影場面情報及び撮影メタデータに従って、輝度情報においてゴマ塩雑音低減処理を実行する。
この実施例では、輝度においてゴマ塩雑音低減処理を実行するために、ゴマ塩雑音除去効果を有するゴマ塩雑音低減フィルタ（例えば、標準的なメジアンフィルタ）が使用されてもよい。ゴマ塩雑音低減フィルタの周辺ウィンドウのサイズは、撮影場面情報及び撮影メタデータに従って調整されてもよい。ゴマ塩雑音低減処理は、ゴマ塩雑音において雑音低減処理を実行するために、輝度情報において実行される。撮影メタデータの光感度が低い場合、ゴマ塩雑音フィルタの周辺ウィンドウのサイズは、雑音低減処理度を弱めるために低減されてもよい。撮影メタデータの光感度が高い場合、ゴマ塩雑音フィルタの周辺ウィンドウのサイズは、雑音低減処理度を強めるために増加してもよい。撮影場面情報が夜の場面又は低照度の場面である場合、ゴマ塩雑音低減フィルタの周辺ウィンドウのサイズは、雑音低減処理度を強めるために増加してもよい。
ステップ302：ゴマ塩雑音低減処理を受けている輝度情報の周辺輝度値のSADを取得するために、ゴマ塩雑音低減処理を受けている輝度情報に従って、局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得する。
この実施例では、ゴマ塩雑音低減処理が輝度情報において実行された後に、局所絶対値差分の計算は、ゴマ塩雑音低減処理を受けている輝度情報の周辺輝度値のSADを取得するために、ゴマ塩雑音低減処理を受けている輝度情報に従って実行される。第１のガウス雑音低減フィルタカーネルは、周辺輝度のSAD、撮影場面情報及び撮影メタデータに従って取得される。ステップ302の具体的な実現処理については、本発明の第２の実施例のステップ203における撮影場面情報及び撮影メタデータに従って輝度情報において雑音低減処理を実行する関係する説明を参照し、この実施例では詳細をここで繰り返し説明しない。
ステップ303：畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び第１のガウス雑音低減フィルタカーネルにおいて畳み込みを実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、畳み込みフィルタカーネルの重みを決定し、鮮鋭度エンハンスメントフィルタカーネルを取得するために、畳み込みフィルタカーネルを重みで乗算する。
この実施例では、高域フィルタカーネルは、高域通過機能を有するフィルタカーネル（例えば、Laplacian高域フィルタカーネル）でもよい。畳み込みは、畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び第１のガウス雑音低減フィルタカーネルにおいて実行される。畳み込みフィルタカーネルの重みは、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って決定される。畳み込みフィルタカーネルは、鮮鋭度エンハンスメントフィルタカーネルを取得するために、重みで乗算される。例えば、周辺輝度値のSADが大きい場合、これは、多くのエッジ情報が存在することを示し、重みは、エッジエンハンスメント処理を強めるために増加してもよい。周辺輝度値のSADが小さい場合、これは、エッジ情報があまり存在せず、多くの雑音が存在することを示し、重みは、雑音を抑圧するために低減されてもよい。撮影メタデータの光感度が低い場合、重みは、エッジエンハンスメント処理を強めるために増加してもよい。撮影メタデータの光感度が高い場合、重みは、雑音増幅を抑圧するために低減されてもよい。撮影場面情報が人の顔の領域情報である場合、重みは、人の顔がより自然になることを可能にするため、エッジエンハンスメント処理を弱めるために低減されてもよい。
ステップ304：ガウス雑音低減鮮鋭フィルタカーネルを取得するために、第１のガウス雑音低減フィルタカーネルと鮮鋭度エンハンスメントフィルタカーネルとの加算を実行し、ガウス雑音低減鮮鋭フィルタカーネルに従って、輝度情報においてガウス雑音低減処理及び鮮鋭度エンハンスメント処理を実行する。
この実施例では、ガウス雑音低減鮮鋭フィルタカーネルを取得するために、第１のガウス雑音低減フィルタカーネル及び鮮鋭度エンハンスメントフィルタカーネルとで加算が実行され、ガウス雑音低減鮮鋭フィルタは、ガウス雑音低減鮮鋭フィルタカーネルに従って生成される。第１のガウス雑音低減フィルタカーネルは、周辺輝度値（すなわち、エッジ情報）のSADに従って決定されるため、ガウス雑音低減鮮鋭フィルタは、エッジ情報の方向に輝度情報において円滑な雑音低減処理を実行してもよく、エッジ情報と垂直の方向に輝度情報においてエッジエンハンスメント処理を実行してもよい。このように、ガウス雑音低減処理及び鮮鋭度エンハンスメント処理は、輝度情報において同時に実行可能になり、画像処理効率が改善される。
ステップ305：ガウス雑音低減処理及び鮮鋭度エンハンスメント処理を受けている輝度情報のα1倍を取得するために、ガウス雑音低減処理及び鮮鋭度エンハンスメント処理を受けている輝度情報を第１の係数α1で乗算し、α1は0から1の範囲の数値であり、ゴマ塩雑音低減処理を受けている輝度情報の(1-α1)倍を取得するために、ゴマ塩雑音低減処理を受けている輝度情報を(1-α1)で乗算し、第１の輝度情報を取得するために、ガウス雑音低減処理及び鮮鋭度エンハンスメント処理を受けている輝度情報のα1倍と、ゴマ塩雑音低減処理を受けている輝度情報の(1-α1)倍との加算を実行する。
この実施例では、α1の値は、実際の用途事例に従って決定され、この実施例においてここで限定されない点に留意すべきである。
ステップ306：撮影場面情報及び撮影メタデータに従って、第１の輝度情報においてエンハンスメント処理を実行する。
この実施例では、ステップ306の具体的な実現処理については、本発明の第２の実施例のステップ203における撮影場面情報及び撮影メタデータに従って、輝度情報においてエンハンスメント処理を実行する関係する説明を参照し、この実施例では詳細をここで繰り返し説明しない。
ステップ307：エンハンスメント処理を受けている輝度情報のα2倍を取得するために、エンハンスメント処理を受けている第１の輝度情報を第２の係数α2で乗算し、α2は0から1の範囲の数値であり、エンハンスメント処理を受けていない第１の輝度情報の(1-α2)倍を取得するために、エンハンスメント処理を受けていない第１の輝度情報を(1-α2)で乗算し、第２の輝度情報を取得するために、エンハンスメント処理を受けている第１の輝度情報のα2倍と、エンハンスメント処理を受けていない第１の輝度情報の(1-α2)倍との加算を実行する。
この実施例では、α2の値は、実際の用途事例に従って決定され、この実施例においてここで限定されない点に留意すべきである。
ステップ308：撮影場面情報及び撮影メタデータに従ってクロミナンス情報においてゴマ塩雑音低減処理を実行する。
この実施例では、ステップ308の具体的な実現処理については、この実施例のステップ301における関係する説明を参照し、この実施例では詳細をここで繰り返し説明しない。
ステップ309：ゴマ塩雑音低減処理を受けているクロミナンス情報の周辺クロミナンス値のSADを取得するために、ゴマ塩雑音低減処理を受けているクロミナンス情報において局所絶対値差分の計算を実行し、周辺クロミナンス値のSAD、撮影場面情報及び撮影メタデータに従って、第２のガウス雑音低減フィルタカーネルを取得し、第２のガウス雑音低減フィルタカーネルに従って、ゴマ塩雑音低減処理を受けているクロミナンス情報においてガウス雑音低減処理を実行する。
この実施例では、ステップ309の具体的な実現処理については、本発明の第２の実施例のステップ204における撮影場面情報及び撮影メタデータに従って、クロミナンス情報において雑音低減処理を実行する関係する説明を参照し、この実施例では詳細をここで繰り返し説明しない。
ステップ310：合成画像情報を取得するために、ガウス雑音低減処理を受けているクロミナンス情報と第２の輝度情報とを組み合わせ、合成画像情報の色飽和度を取得し、撮影場面情報及び撮影メタデータに従って、色飽和度を調整する。
この実施例では、ステップ310の具体的な実現処理については、本発明の第２の実施例のステップ204における撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報においてエンハンスメント処理を実行する関係する説明を参照し、この実施例では詳細をここで繰り返し説明しない。
ステップ308及びステップ309は、ステップ301〜ステップ307の前に実行されてもよく、ステップ308及びステップ309とステップ301〜ステップ307とは、同時に実行されてもよく、この実施例においてここで限定されない点に留意すべきである。
本発明の第３の実施例で提供される画像処理方法によれば、図２に示す方法の第２の実施例に基づいて、更に、撮影された処理されるべき画像を取得した後に、撮影端末は、画像の適応処理の基礎として、処理されるべき画像の撮影場面情報及び撮影メタデータを使用し、それぞれの処理されるべき画像の撮影特性情報に従って、それぞれの処理されるべき画像のクロミナンス情報及び輝度情報において、ゴマ塩雑音低減処理、ガウス雑音低減処理及びエンハンスメント処理のような統合された処理を別々に実行する。これにより、撮影端末により処理された後に取得された画像の品質が適応的に改善され、各画像の処理効率も改善されるように、雑音低減、コントラストの改善、エッジの増強及び飽和度の調整のような効果を達成する。
本発明の前述の実施例で提供される画像処理方法を使用することにより、画像は、撮影場面情報及び撮影メタデータ（metadata）に従って特別且つ動的にリアルタイムで処理され得る点に留意すべきである。このように、本発明の前述の実施例は、より普遍的でありより広く適用可能であり、様々な場面における撮影された画像の品質を改善し、ユーザの撮影経験を向上するために大きい意味を有する。
図４は、本発明による画像処理装置の第１の実施例の概略構成図である。図４に示すように、この実施例の装置は、撮影モジュール11と、抽出モジュール12と、処理モジュール13とを含んでもよい。撮影モジュール11は、撮影されたが画像処理されていない処理されるべき画像を取得するように構成される。抽出モジュール12は、処理されるべき画像の撮影特性情報を抽出するように構成される。処理モジュール13は、撮影特性情報に従って、処理されるべき画像において画像処理を実行するように構成される。
本発明の画像処理装置の第１の実施例で提供される画像処理装置は、図１に示す方法の実施例の技術的対策を実行するように構成されてもよく、これらの実現原理及び技術的効果は同様である。詳細については、前述の実施例の関係する説明を参照し、詳細はここでは繰り返し説明しない。
図５は、本発明による画像処理装置の第２の実施例の概略構成図である。図５に示すように、この実施例の装置では、図４に示す装置の構成に基づいて、処理モジュール13は、処理されるべき画像の撮影場面情報及び撮影メタデータに従って、処理されるべき画像において雑音低減及び／又はエンハンスメント処理を実行するように具体的に構成される。更に、処理モジュール13は、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減及び／又はエンハンスメント処理を実行するように、及び／又は撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報において雑音低減及び／又はエンハンスメント処理を実行するように具体的に構成される。
更に、処理モジュール13は、第１のガウス雑音低減ユニット131及び／又は第１のエンハンスメントユニット132を含んでもよい。第１のガウス雑音低減ユニット131は、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報に従って、局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、第１のガウス雑音低減フィルタカーネルに従って、輝度情報においてガウス雑音低減処理を実行するように構成される。第１のエンハンスメントユニット132は、ベースレイヤの輝度情報と少なくとも１つのディテールレイヤの輝度情報とを取得するために、輝度情報においてエッジ保存に基づくフィルタリング分解を実行し、撮影場面情報及び撮影メタデータに従って、ベースレイヤの輝度情報においてコントラストエンハンスメント処理を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、少なくとも１つのゲインを決定し、ゲインを使用することによりディテールレイヤの輝度情報においてディテールエンハンスメント処理を実行し、エンハンスメント処理を受けている輝度情報を取得するために、コントラストエンハンスメント処理を受けているベースレイヤの輝度情報と、ディテールエンハンスメント処理を受けているディテールレイヤの輝度情報との加算を実行するように構成される。
任意選択で、処理モジュール13は、第１の取得ユニット133を更に含む。第１の取得ユニット133は、ガウス雑音低減処理を受けている輝度情報のα1倍を取得するために、ガウス雑音低減処理を受けている輝度情報を第１の係数α1で乗算し、α1は0から1の範囲の数値であり、ガウス雑音低減処理を受けていない輝度情報の(1-α1)倍を取得するために、ガウス雑音低減処理を受けていない輝度情報を(1-α1)で乗算し、第１の輝度情報を取得するために、ガウス雑音低減処理を受けている輝度情報のα1倍と、ガウス雑音低減処理を受けていない輝度情報の(1-α1)倍との加算を実行するように構成される。第１のエンハンスメントユニット132は、第１の輝度情報においてエンハンスメント処理を実行するように具体的に構成される。
更に、処理モジュール13は、第２のガウス雑音低減ユニット134と、第２のエンハンスメントユニット135とを更に含む。第２のガウス雑音低減ユニット134は、クロミナンス情報の周辺クロミナンス値のSADを取得するために、クロミナンス情報に従って、局所絶対値差分の計算を実行し、周辺クロミナンス値のSAD、撮影場面情報及び撮影メタデータに従って、第２のガウス雑音低減フィルタカーネルを取得し、第２のガウス雑音低減フィルタカーネルに従って、クロミナンス情報においてガウス雑音低減処理を実行ように構成される。第２のエンハンスメントユニット135は、合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせ、合成画像情報の色飽和度を取得し、撮影場面情報及び撮影メタデータに従って、色飽和度を調整するように構成される。
任意選択で、処理モジュールは、第２の取得ユニット136を更に含んでもよい。第２の取得ユニット136は、第２のエンハンスメントユニットが合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせる前に、エンハンスメント処理を受けている輝度情報のα2倍を取得するために、エンハンスメント処理を受けている輝度情報を第２の係数α2で乗算し、α2は0から1の範囲の数値であり、雑音低減処理を受けている輝度情報の(1-α2)倍を取得するために、雑音低減処理を受けている輝度情報を(1-α2)で乗算し、第２の輝度情報を取得するために、エンハンスメント処理を受けている輝度情報のα2倍と、雑音低減処理を受けている輝度情報の(1-α2)倍との加算を実行するように構成される。第２のエンハンスメントユニット135は、合成画像情報を取得するために、クロミナンス情報と第２の輝度情報とを組み合わせ、合成画像情報の色飽和度を取得し、撮影場面情報及び撮影メタデータに従って、色飽和度を調整するように具体的に構成される。
本発明の画像処理装置の第２の実施例で提供される画像処理装置は、図２に示す方法の実施例の技術的対策を実行するように構成されてもよく、これらの実現原理及び技術的効果は同様である。詳細については、前述の実施例の関係する説明を参照し、詳細はここでは繰り返し説明しない。
図６は、本発明による画像処理装置の第３の実施例の概略構成図である。図６に示すように、この実施例の装置では、図５に示す装置の構成に基づいて、更に、処理モジュール13は、雑音低減エンハンスメントユニット137を含んでもよい。雑音低減エンハンスメントユニット137は、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報に従って、局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び第１のガウス雑音低減フィルタカーネルにおいて畳み込みを実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、畳み込みフィルタカーネルの重みを決定し、鮮鋭度エンハンスメントフィルタカーネルを取得するために、畳み込みフィルタカーネルを重みで乗算し、ガウス雑音低減鮮鋭フィルタカーネルを取得するために、第１のガウス雑音低減フィルタカーネルと鮮鋭度エンハンスメントフィルタカーネルとの加算を実行し、ガウス雑音低減鮮鋭フィルタカーネルに従って、輝度情報においてガウス雑音低減処理及び鮮鋭度エンハンスメント処理を実行するように構成される。
好ましくは、処理モジュール13は、第１のゴマ塩雑音低減ユニット138を更に含んでもよい。第１のゴマ塩雑音低減ユニット138は、撮影場面情報及び撮影メタデータに従って、輝度情報においてゴマ塩雑音低減処理を実行するように構成される。
更に、処理モジュール13は、第２のゴマ塩雑音低減ユニット139を更に含んでもよい。第２のゴマ塩雑音低減ユニット139は、第２のガウス雑音低減ユニット134がクロミナンス情報の周辺クロミナンス値のSADを取得するために、クロミナンス情報に従って、局所絶対値差分の計算を実行する前に、撮影場面情報及び撮影メタデータに従って、クロミナンス情報においてゴマ塩雑音低減処理を実行するように構成される。
本発明の画像処理装置の第３の実施例で提供される画像処理装置は、図３に示す方法の実施例の技術的対策を実行するように構成されてもよく、これらの実現原理及び技術的効果は同様である。詳細については、前述の実施例の関係する説明を参照し、詳細はここでは繰り返し説明しない。
図７は、本発明による画像処理装置の第４の実施例の概略構成図である。図７に示すように、この実施例の装置は、メモリ21と、メモリ21に接続されたプロセッサ22とを含む。メモリ21は、一式のプログラムコードを格納し、メモリ21は、不揮発性メモリ（Non-volatile Memory）を含んでもよい。プロセッサ22は、中央処理装置（Central Processing Unit、略してCPU）又は特定用途向け集積回路（Application Specific Integrated Circuit、略してASIC）でもよく、本発明の実施例を実現する１つ又は複数の集積回路として構成されてもよい。プロセッサ22は、メモリ21に格納されたプログラムコードを呼び出すように構成され、前述の動作、すなわち、撮影されたが画像処理されていない処理されるべき画像を取得し、処理されるべき画像の撮影特性情報を抽出し、撮影特性情報に従って、処理されるべき画像において画像処理を実行するように構成される。
更に、撮影特性情報に従って、処理されるべき画像において画像処理を実行することは、処理されるべき画像の撮影場面情報及び撮影メタデータに従って、処理されるべき画像において雑音低減及び／又はエンハンスメント処理を実行することを含む。
好ましくは、処理されるべき画像の撮影場面情報及び撮影メタデータに従って、処理されるべき画像において雑音低減及び／又はエンハンスメント処理を実行することは、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減及び／又はエンハンスメント処理を実行すること、及び／又は撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報において雑音低減及び／又はエンハンスメント処理を実行することを含む。
更に、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減処理を実行することは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報に従って、局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、第１のガウス雑音低減フィルタカーネルに従って、輝度情報においてガウス雑音低減処理を実行することを含む。
処理されるべき画像の輝度情報においてエンハンスメント処理を実行することは、ベースレイヤの輝度情報と少なくとも１つのディテールレイヤの輝度情報とを取得するために、輝度情報においてエッジ保存に基づくフィルタリング分解を実行し、撮影場面情報及び撮影メタデータに従って、ベースレイヤの輝度情報においてコントラストエンハンスメント処理を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、少なくとも１つのゲインを決定し、ゲインを使用することによりディテールレイヤの輝度情報においてディテールエンハンスメント処理を実行し、エンハンスメント処理を受けている輝度情報を取得するために、コントラストエンハンスメント処理を受けているベースレイヤの輝度情報と、ディテールエンハンスメント処理を受けているディテールレイヤの輝度情報との加算を実行するステップとを含む。
任意選択で、輝度情報においてエンハンスメント処理を実行する前に、この方法は、ガウス雑音低減処理を受けている輝度情報のα1倍を取得するために、ガウス雑音低減処理を受けている輝度情報を第１の係数α1で乗算し、α1は0から1の範囲の数値であり、ガウス雑音低減処理を受けていない輝度情報の(1-α1)倍を取得するために、ガウス雑音低減処理を受けていない輝度情報を(1-α1)で乗算し、第１の輝度情報を取得するために、ガウス雑音低減処理を受けている輝度情報のα1倍と、ガウス雑音低減処理を受けていない輝度情報の(1-α1)倍との加算を実行することを更に含む。
処理されるべき画像の輝度情報においてエンハンスメント処理を実行することは、第１の輝度情報においてエンハンスメント処理を実行することを含む。
更に、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減及びエンハンスメント処理を実行することは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報に従って、局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び第１のガウス雑音低減フィルタカーネルにおいて畳み込みを実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、畳み込みフィルタカーネルの重みを決定し、鮮鋭度エンハンスメントフィルタカーネルを取得するために、畳み込みフィルタカーネルを重みで乗算し、ガウス雑音低減鮮鋭フィルタカーネルを取得するために、第１のガウス雑音低減フィルタカーネルと鮮鋭度エンハンスメントフィルタカーネルとの加算を実行し、ガウス雑音低減鮮鋭フィルタカーネルに従って、輝度情報においてガウス雑音低減処理及び鮮鋭度エンハンスメント処理を実行することを含む。
好ましくは、輝度情報の周辺輝度値のSADを取得するために、輝度情報に従って、局所絶対値差分の計算を実行する前に、この方法は、撮影場面情報及び撮影メタデータに従って、輝度情報においてゴマ塩雑音低減処理を実行することを更に含む。
更に、撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報において雑音低減処理を実行することは、クロミナンス情報の周辺クロミナンス値のSADを取得するために、クロミナンス情報に従って、局所絶対値差分の計算を実行し、周辺クロミナンス値のSAD、撮影場面情報及び撮影メタデータに従って、第２のガウス雑音低減フィルタカーネルを取得し、第２のガウス雑音低減フィルタカーネルに従って、クロミナンス情報においてガウス雑音低減処理を実行することを含む。
撮影場面情報及び撮影メタデータに従って、処理されるべき画像のクロミナンス情報においてエンハンスメント処理を実行することは、合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせ、合成画像情報の色飽和度を取得し、撮影場面情報及び撮影メタデータに従って、色飽和度を調整することを含む。
任意選択で、合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせる前に、この方法は、エンハンスメント処理を受けている輝度情報のα2倍を取得するために、エンハンスメント処理を受けている輝度情報を第２の係数α2で乗算し、α2は0から1の範囲の数値であり、雑音低減処理を受けている輝度情報の(1-α2)倍を取得するために、雑音低減処理を受けている輝度情報を(1-α2)で乗算し、第２の輝度情報を取得するために、エンハンスメント処理を受けている輝度情報のα2倍と、雑音低減処理を受けている輝度情報の(1-α2)倍との加算を実行することを更に含む。
合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせることは、合成画像情報を取得するために、クロミナンス情報と第２の輝度情報とを組み合わせることを含む。
好ましくは、クロミナンス情報の周辺クロミナンス値のSADを取得するために、クロミナンス情報に従って、局所絶対値差分の計算を実行する前に、この方法は、撮影場面情報及び撮影メタデータに従って、クロミナンス情報においてゴマ塩雑音低減処理を実行することを更に含む。
メモリ21に格納されたプログラムコードを呼び出すことによりプロセッサ22により具体的に実現される技術的対策については、本発明の図１、図２及び図３に示す画像処理方法の実施例を参照し、これらの実現原理及び技術的効果は同様である点に留意すべきである。詳細については、前述の実施例の関係する説明を参照し、詳細はここでは繰り返し説明しない。
図８は、本発明による撮影端末の第１の実施例の概略構成図である。図８に示すように、この実施例の撮影端末30は、画像処理装置31を含んでもよい。画像処理装置31は、図４〜図６に示す画像処理装置の実施例のいずれか１つの構成を使用してもよく、対応して図１〜図３に示す実施例のいずれか１つの技術的対策を実行してもよい。これらの実現原理及び技術的効果は同様である。詳細については、前述の実施例の関係する説明を参照し、詳細はここでは繰り返し説明しない。
撮影端末30は、移動電話又はタブレットコンピュータでもよく、ノートブックコンピュータ又は多機能プレイヤのような撮影レンズを有するデバイスでもよい。
当業者は、方法の実施例のステップの全部又は一部が、関係するハードウェアに命令するプログラムにより実現されてもよいことを認識し得る。プログラムは、コンピュータ読み取り可能記憶媒体に格納されてもよい。プログラムが実行する場合、方法の実施例のステップが実行される。前述の記憶媒体は、ROM、RAM、磁気ディスク、光ディスク等のようなプログラムコードを格納可能ないずれかの媒体を含む。
最後に、前述の実施例は、単に本発明の技術的対策を説明することを意図するものであり、本発明を限定することを意図するものではない。前述の実施例を参照して本発明について詳細に説明したが、当業者は、本発明の実施例の技術的対策の範囲を逸脱することなく、依然として前述の実施例の技術的対策に変更を行うか、その一部又は全部の技術的特徴に対して等価置換を行い得ることを認識すべきである。
従来技術では、撮影画像の雑音レベルは、画像の雑音レベルより低い領域情報が雑音情報であると決定し、画像の雑音レベルより高い領域情報が有効画像情報であると決定するように主に評価されている。そして、雑音抑圧処理は、雑音低減の目的を達成するために、固定の画像雑音低減アルゴリズムを使用することにより、雑音レベルより低い領域情報において実行される。エンハンスメント処理は、画像エンハンスメントの目的を達成するために、固定のコントラストエンハンスメントアルゴリズム及び鮮鋭度エンハンスメントアルゴリズムを使用することにより、雑音レベルより高い領域情報において実行される。その結果、画像品質が改善され得る。
第１の態様の第１の可能な実現方式では、撮影特性情報に従って、処理されるべき画像において画像処理を実行するステップは、処理されるべき画像の撮影場面情報及び撮影メタデータに従って、処理されるべき画像において雑音低減及び／又はエンハンスメント処理を実行するステップを含む。
第１の態様の第２の可能な実現方式を参照して、第１の態様の第３の可能な実現方式では、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減処理を実行するステップは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報において局所絶対値差分の計算を実行するステップと、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得するステップと、第１のガウス雑音低減フィルタカーネルに従って、輝度情報においてガウス雑音低減処理を実行するステップとを含み、処理されるべき画像の輝度情報においてエンハンスメント処理を実行するステップは、ベースレイヤの輝度情報と少なくとも１つのディテールレイヤの輝度情報とを取得するために、輝度情報においてエッジ保存に基づくフィルタリング分解を実行するステップと、撮影場面情報及び撮影メタデータに従って、ベースレイヤの輝度情報においてコントラストエンハンスメント処理を実行するステップと、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、少なくとも１つのゲインを決定するステップと、ゲインを使用することによりディテールレイヤの輝度情報においてディテールエンハンスメント処理を実行するステップと、エンハンスメント処理を受けている輝度情報を取得するために、コントラストエンハンスメント処理を受けているベースレイヤの輝度情報と、ディテールエンハンスメント処理を受けているディテールレイヤの輝度情報との加算を実行するステップとを含む。
第１の態様の第２の可能な実現方式を参照して、第１の態様の第５の可能な実現方式では、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減及びエンハンスメント処理を実行するステップは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報において局所絶対値差分の計算を実行するステップと、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得するステップと、畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び第１のガウス雑音低減フィルタカーネルにおいて畳み込みを実行するステップと、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、畳み込みフィルタカーネルの重みを決定するステップと、鮮鋭度エンハンスメントフィルタカーネルを取得するために、畳み込みフィルタカーネルを重みで乗算するステップと、ガウス雑音低減鮮鋭フィルタカーネルを取得するために、第１のガウス雑音低減フィルタカーネルと鮮鋭度エンハンスメントフィルタカーネルとの加算を実行するステップと、ガウス雑音低減鮮鋭フィルタカーネルに従って、輝度情報においてガウス雑音低減処理及び鮮鋭度エンハンスメント処理を実行するステップとを含む。
第１の態様の第３の可能な実現方式、第１の態様の第４の可能な実現方式又は第１の態様の第５の可能な実現方式を参照して、第１の態様の第６の可能な実現方式では、輝度情報の周辺輝度値のSADを取得するために、輝度情報において局所絶対値差分の計算を実行する前に、この方法は、撮影場面情報及び撮影メタデータに従って、輝度情報においてゴマ塩雑音低減処理を実行するステップを更に含む。
第２の態様の第２の可能な実現方式を参照して、第２の態様の第３の可能な実現方式では、処理モジュールは、第１のガウス雑音低減ユニット及び／又は第１のエンハンスメントユニットを含み、第１のガウス雑音低減ユニットは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報において局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、第１のガウス雑音低減フィルタカーネルに従って、輝度情報においてガウス雑音低減処理を実行するように構成され、第１のエンハンスメントユニットは、ベースレイヤの輝度情報と少なくとも１つのディテールレイヤの輝度情報とを取得するために、輝度情報においてエッジ保存に基づくフィルタリング分解を実行し、撮影場面情報及び撮影メタデータに従って、ベースレイヤの輝度情報においてコントラストエンハンスメント処理を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、少なくとも１つのゲインを決定し、ゲインを使用することによりディテールレイヤの輝度情報においてディテールエンハンスメント処理を実行し、エンハンスメント処理を受けている輝度情報を取得するために、コントラストエンハンスメント処理を受けているベースレイヤの輝度情報と、ディテールエンハンスメント処理を受けているディテールレイヤの輝度情報との加算を実行するように構成される。
第２の態様の第２の可能な実現方式を参照して、第２の態様の第５の可能な実現方式では、処理モジュールは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報において局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び第１のガウス雑音低減フィルタカーネルにおいて畳み込みを実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、畳み込みフィルタカーネルの重みを決定し、鮮鋭度エンハンスメントフィルタカーネルを取得するために、畳み込みフィルタカーネルを重みで乗算し、ガウス雑音低減鮮鋭フィルタカーネルを取得するために、第１のガウス雑音低減フィルタカーネルと鮮鋭度エンハンスメントフィルタカーネルとの加算を実行し、ガウス雑音低減鮮鋭フィルタカーネルに従って、輝度情報においてガウス雑音低減処理及び鮮鋭度エンハンスメント処理を実行するように構成された雑音低減エンハンスメントユニットを含む。
本発明の実施例又は従来技術の技術的対策を明確に説明するために、以下に、実施例又は従来技術を説明するために必要な添付図面を簡単に紹介する。明らかに、以下の説明の添付図面は、本発明の単に幾つかの実施例を示しているに過ぎず、当業者は、創造的取り組みを行うことなく、これらの添付図面から依然として他の図面を導き得る。
本発明による画像処理方法の第１の実施例のフローチャート 本発明による画像処理方法の第２の実施例のフローチャート 本発明による画像処理方法の第３の実施例のフローチャート 本発明による画像処理方法の第３の実施例のフローチャート 本発明による画像処理装置の第１の実施例の概略構成図 本発明による画像処理装置の第２の実施例の概略構成図 本発明による画像処理装置の第３の実施例の概略構成図 本発明による画像処理装置の第４の実施例の概略構成図 本発明の実施例による撮影端末の第１の実施例の概略構成図
具体的には、当業者は、局所絶対値差分の計算を実行することは、従来技術のものに一致しており、この実施例では詳細をここで繰り返し説明しないことを認識し得る。各画素の周辺輝度値のSAD（すなわち、中央の画素と周辺の画素との間の輝度値の差分の絶対値の和）は、局所絶対値差分の計算により取得されてもよい。周辺輝度値の各SADは、各画素の局所特性（例えば、画素がエッジ領域に位置するか平坦領域に位置するか）を表してもよい。第１のガウス雑音低減フィルタカーネルは、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って取得される。第１のガウス雑音低減フィルタカーネルは、従来技術のバイラテラルフィルタカーネルでもよく、この実施例では詳細をここで繰り返し説明しない。第１のガウス雑音低減フィルタカーネルの分散パラメータが雑音低減度を決定するため、大きい分散パラメータは、大きい雑音低減度をもたらす。従って、各画素の周辺輝度値のSADが取得された後に、周辺輝度値の各SADにおいて分析が実行される。周辺輝度値の大きいSADがエッジ情報の大きい強度値を示し、画素に含まれる多くのエッジ情報を示す。エッジ情報が雑音低減処理においてぼやかされないことを維持するために、画素に対応する第１のガウス雑音低減フィルタカーネルの分散パラメータは、低減されてもよい。対応して、周辺輝度値の小さいSADは、エッジ情報の小さい強度値を示し、画素に含まれる小さいエッジ情報を示す。雑音低減効果を確保するために、画素に対応する第１のガウス雑音低減フィルタカーネルの分散パラメータは増加してもよい。画素の周辺輝度値のSADは異なってもよいため、異なる分散パラメータが周辺輝度値の異なるSADに従って決定されてもよい。更に、処理されるべき画像の撮影メタデータの光感度が低い場合、第１のガウス雑音低減フィルタカーネルの分散パラメータは、雑音低減度を弱めるために低減されてもよい。処理されるべき画像の撮影メタデータの光感度が高い場合、第１のガウス雑音低減フィルタカーネルの分散パラメータは、雑音低減度を強めるために増加してもよい。処理されるべき画像の撮影場面情報が夜の場面又は低照度の場面である場合、第１のガウス雑音低減フィルタカーネルの分散パラメータは、雑音低減度を強めるために増加してもよい。このように、第１のガウス雑音低減フィルタカーネルが決定されてもよい。第１のガウス雑音低減フィルタカーネルは、ガウス雑音低減フィルタを生成するために使用される。ガウス雑音において雑音低減処理を実行するために、ガウス雑音低減処理は、輝度情報において実行される。
具体的には、エッジ保存に基づくフィルタリングアルゴリズム（例えば、バイラテラルフィルタリングアルゴリズム、及びエッジ保存機能を有する他のフィルタリングアルゴリズム）は、各レイヤのディテールのコントラストが画像の定義を改善するために後のエンハンスメント処理で管理され得るように、１つのベースレイヤの輝度情報と、異なるディテール度を有する複数のディテールレイヤの輝度情報とを取得するために、輝度情報においてマルチレベルの分解を実行するために使用されてもよい。例えば、ベースレイヤの輝度情報と、中間のディテールレイヤの輝度情報と、小さいディテールレイヤの輝度情報とを取得するために、２つのレベルのエッジ保存フィルタリング分解が輝度情報において実行されてもよい。次に、コントラストエンハンスメント処理は、ハイライト領域及び暗い領域の輝度及びコントラストを改善するために、撮影場面情報及び撮影メタデータに従って、ベースレイヤの輝度情報において実行されてもよい。コントラストエンハンスメント処理は、トーンマッピング、ヒストグラム均一化、リニアストレッチング、Gamma補正等を含んでもよい。例えば、撮影場面情報が暗光の場面である場合、トーンマッピング曲線の形状は、画像の暗い領域を明るくするように制御されてもよい。
この実施例では、各ディテールレイヤの輝度情報のゲインは、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って取得される。例えば、小さいディテールレイヤの輝度情報は、より多くの雑音を含み得るため、小さいディテールレイヤの輝度情報について、より小さいゲインが設定されてもよい。中間のディテールレイヤの中間周波数輝度情報は、より多くのディテール情報及びエッジ情報を含むため、中間のディテールレイヤの輝度情報について、より大きいゲインが設定されてもよい。撮影メタデータの光感度が低い場合、ディテール情報が更に豊富になることを可能にするために、中間のディテールレイヤの輝度情報及び小さいディテールレイヤのゲインは、エッジ情報エンハンスメントを強めるように別々に増加してもよい。撮影メタデータの光感度が高い場合、中間のディテールレイヤの輝度情報及び小さいディテールレイヤの輝度情報のゲインは、エッジ情報エンハンスメントを弱めるように別々に低減されてもよい。撮影場面情報が人の顔の領域である場合、表示される人の顔がより自然になることを可能にするために、中間のディテールレイヤの輝度情報及び小さいディテールレイヤの輝度情報のゲインは、エッジ情報エンハンスメントを弱めるように別々に低減されてもよい。このように、中間のディテールレイヤの輝度情報及び小さいディテールレイヤの輝度情報のゲインは、撮影場面情報及び撮影メタデータに従って別々に決定され、ディテールエンハンスメント処理は、各ゲインを使用することにより各ディテールレイヤの輝度情報において別々に実行され、エンハンスメント処理を受けている輝度情報を取得するために、コントラストエンハンスメント処理を受けているベースレイヤの輝度情報と、ディテールエンハンスメント処理を受けている中間のディテールレイヤの輝度情報と、ディテールエンハンスメント処理を受けている小さいディテールレイヤの輝度情報とで加算が実行されることが実現されてもよい。エンハンスメント処理を受けていない輝度情報は、雑音低減処理を受けていない輝度情報でもよく、雑音低減処理を受けている輝度情報でもよい点に留意すべきである。
図３Ａ及び図３Ｂは、本発明による画像処理方法の第３の実施例のフローチャートである。図３Ａ及び図３Ｂに示すように、この実施例は、画像処理装置を使用することにより実現されてもよく、この装置は、例えば、この実施例の方法を実現するために撮影端末に統合されてもよい。この実施例の方法は、図２に示す方法の実施例の更に詳細な対策である。この実施例の方法は以下を含む。
ステップ302：ゴマ塩雑音低減処理を受けている輝度情報の周辺輝度値のSADを取得するために、ゴマ塩雑音低減処理を受けている輝度情報において局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得する。
この実施例では、ゴマ塩雑音低減処理が輝度情報において実行された後に、局所絶対値差分の計算は、ゴマ塩雑音低減処理を受けている輝度情報の周辺輝度値のSADを取得するために、ゴマ塩雑音低減処理を受けている輝度情報に従って実行される。第１のガウス雑音低減フィルタカーネルは、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って取得される。ステップ302の具体的な実現処理については、本発明の第２の実施例のステップ203における撮影場面情報及び撮影メタデータに従って輝度情報において雑音低減処理を実行する関係する説明を参照し、この実施例では詳細をここで繰り返し説明しない。
ステップ307：エンハンスメント処理を受けている第１の輝度情報のα2倍を取得するために、エンハンスメント処理を受けている第１の輝度情報を第２の係数α2で乗算し、α2は0から1の範囲の数値であり、エンハンスメント処理を受けていない第１の輝度情報の(1-α2)倍を取得するために、エンハンスメント処理を受けていない第１の輝度情報を(1-α2)で乗算し、第２の輝度情報を取得するために、エンハンスメント処理を受けている第１の輝度情報のα2倍と、エンハンスメント処理を受けていない第１の輝度情報の(1-α2)倍との加算を実行する。
更に、処理モジュール13は、第１のガウス雑音低減ユニット131及び／又は第１のエンハンスメントユニット132を含んでもよい。第１のガウス雑音低減ユニット131は、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報において局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、第１のガウス雑音低減フィルタカーネルに従って、輝度情報においてガウス雑音低減処理を実行するように構成される。第１のエンハンスメントユニット132は、ベースレイヤの輝度情報と少なくとも１つのディテールレイヤの輝度情報とを取得するために、輝度情報においてエッジ保存に基づくフィルタリング分解を実行し、撮影場面情報及び撮影メタデータに従って、ベースレイヤの輝度情報においてコントラストエンハンスメント処理を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、少なくとも１つのゲインを決定し、ゲインを使用することによりディテールレイヤの輝度情報においてディテールエンハンスメント処理を実行し、エンハンスメント処理を受けている輝度情報を取得するために、コントラストエンハンスメント処理を受けているベースレイヤの輝度情報と、ディテールエンハンスメント処理を受けているディテールレイヤの輝度情報との加算を実行するように構成される。
任意選択で、処理モジュール13は、第２の取得ユニット136を更に含んでもよい。第２の取得ユニット136は、第２のエンハンスメントユニット135が合成画像情報を取得するために、クロミナンス情報と輝度情報とを組み合わせる前に、エンハンスメント処理を受けている輝度情報のα2倍を取得するために、エンハンスメント処理を受けている輝度情報を第２の係数α2で乗算し、α2は0から1の範囲の数値であり、雑音低減処理を受けている輝度情報の(1-α2)倍を取得するために、雑音低減処理を受けている輝度情報を(1-α2)で乗算し、第２の輝度情報を取得するために、エンハンスメント処理を受けている輝度情報のα2倍と、雑音低減処理を受けている輝度情報の(1-α2)倍との加算を実行するように構成される。第２のエンハンスメントユニット135は、合成画像情報を取得するために、クロミナンス情報と第２の輝度情報とを組み合わせ、合成画像情報の色飽和度を取得し、撮影場面情報及び撮影メタデータに従って、色飽和度を調整するように具体的に構成される。
図６は、本発明による画像処理装置の第３の実施例の概略構成図である。図６に示すように、この実施例の装置では、図５に示す装置の構成に基づいて、更に、処理モジュール13は、雑音低減エンハンスメントユニット137を含んでもよい。雑音低減エンハンスメントユニット137は、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報において局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び第１のガウス雑音低減フィルタカーネルにおいて畳み込みを実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、畳み込みフィルタカーネルの重みを決定し、鮮鋭度エンハンスメントフィルタカーネルを取得するために、畳み込みフィルタカーネルを重みで乗算し、ガウス雑音低減鮮鋭フィルタカーネルを取得するために、第１のガウス雑音低減フィルタカーネルと鮮鋭度エンハンスメントフィルタカーネルとの加算を実行し、ガウス雑音低減鮮鋭フィルタカーネルに従って、輝度情報においてガウス雑音低減処理及び鮮鋭度エンハンスメント処理を実行するように構成される。
本発明の画像処理装置の第３の実施例で提供される画像処理装置は、図３Ａ及び図３Ｂに示す方法の実施例の技術的対策を実行するように構成されてもよく、これらの実現原理及び技術的効果は同様である。詳細については、前述の実施例の関係する説明を参照し、詳細はここでは繰り返し説明しない。
更に、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減処理を実行することは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報において局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、第１のガウス雑音低減フィルタカーネルに従って、輝度情報においてガウス雑音低減処理を実行することを含む。
更に、撮影場面情報及び撮影メタデータに従って、処理されるべき画像の輝度情報において雑音低減及びエンハンスメント処理を実行することは、輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、輝度情報において局所絶対値差分の計算を実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び第１のガウス雑音低減フィルタカーネルにおいて畳み込みを実行し、周辺輝度値のSAD、撮影場面情報及び撮影メタデータに従って、畳み込みフィルタカーネルの重みを決定し、鮮鋭度エンハンスメントフィルタカーネルを取得するために、畳み込みフィルタカーネルを重みで乗算し、ガウス雑音低減鮮鋭フィルタカーネルを取得するために、第１のガウス雑音低減フィルタカーネルと鮮鋭度エンハンスメントフィルタカーネルとの加算を実行し、ガウス雑音低減鮮鋭フィルタカーネルに従って、輝度情報においてガウス雑音低減処理及び鮮鋭度エンハンスメント処理を実行することを含む。
好ましくは、輝度情報の周辺輝度値のSADを取得するために、輝度情報において局所絶対値差分の計算を実行する前に、この方法は、撮影場面情報及び撮影メタデータに従って、輝度情報においてゴマ塩雑音低減処理を実行することを更に含む。
メモリ21に格納されたプログラムコードを呼び出すことによりプロセッサ22により具体的に実現される技術的対策については、本発明の図１、図２、図３Ａ及び図３Ｂに示す画像処理方法の実施例を参照し、これらの実現原理及び技術的効果は同様である点に留意すべきである。詳細については、前述の実施例の関係する説明を参照し、詳細はここでは繰り返し説明しない。
図８は、本発明による撮影端末の第１の実施例の概略構成図である。図８に示すように、この実施例の撮影端末30は、画像処理装置31を含んでもよい。画像処理装置31は、図４〜図６に示す画像処理装置の実施例のいずれか１つの構成を使用してもよく、対応して図１〜図３Ｂに示す実施例のいずれか１つの技術的対策を実行してもよい。これらの実現原理及び技術的効果は同様である。詳細については、前述の実施例の関係する説明を参照し、詳細はここでは繰り返し説明しない。

Claims (22)

  1. 撮影されたが画像処理されていない処理されるべき画像を取得するステップと、
    前記処理されるべき画像の撮影特性情報を抽出するステップと、
    前記撮影特性情報に従って、前記処理されるべき画像において画像処理を実行するステップと
    を有する画像処理方法。
  2. 前記特性情報に従って、前記処理されるべき画像において画像処理を実行するステップは、
    前記処理されるべき画像の撮影場面情報及び撮影メタデータに従って、前記処理されるべき画像において雑音低減及び／又はエンハンスメント処理を実行するステップを有する、請求項１に記載の方法。
  3. 前記処理されるべき画像の撮影場面情報及び撮影メタデータに従って、前記処理されるべき画像において雑音低減及び／又はエンハンスメント処理を実行するステップは、
    前記撮影場面情報及び前記撮影メタデータに従って、前記処理されるべき画像の輝度情報において雑音低減及び／又はエンハンスメント処理を実行するステップ、及び／又は
    前記撮影場面情報及び前記撮影メタデータに従って、前記処理されるべき画像のクロミナンス情報において雑音低減及び／又はエンハンスメント処理を実行するステップを有する、請求項２に記載の方法。
  4. 前記撮影場面情報及び前記撮影メタデータに従って、前記処理されるべき画像の輝度情報において雑音低減処理を実行するステップは、
    前記輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、前記輝度情報に従って、局所絶対値差分の計算を実行するステップと、
    前記周辺輝度値のSAD、前記撮影場面情報及び前記撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得するステップと、
    前記第１のガウス雑音低減フィルタカーネルに従って、前記輝度情報においてガウス雑音低減処理を実行するステップと
    を有し、
    前記処理されるべき画像の輝度情報においてエンハンスメント処理を実行するステップは、
    ベースレイヤの輝度情報と少なくとも１つのディテールレイヤの輝度情報とを取得するために、前記輝度情報においてエッジ保存に基づくフィルタリング分解を実行するステップと、
    前記撮影場面情報及び前記撮影メタデータに従って、前記ベースレイヤの前記輝度情報においてコントラストエンハンスメント処理を実行するステップと、
    前記周辺輝度値のSAD、前記撮影場面情報及び前記撮影メタデータに従って、少なくとも１つのゲインを決定するステップと、
    前記ゲインを使用することにより前記ディテールレイヤの前記輝度情報においてディテールエンハンスメント処理を実行するステップと、
    エンハンスメント処理を受けている前記輝度情報を取得するために、コントラストエンハンスメント処理を受けている前記ベースレイヤの前記輝度情報と、ディテールエンハンスメント処理を受けている前記ディテールレイヤの前記輝度情報との加算を実行するステップと
    を有する、請求項３に記載の方法。
  5. 前記輝度情報においてエンハンスメント処理を実行する前に、
    ガウス雑音低減処理を受けている前記輝度情報のα1倍を取得するために、ガウス雑音低減処理を受けている前記輝度情報を第１の係数α1で乗算するステップであり、α1は0から1の範囲の数値であるステップと、
    ガウス雑音低減処理を受けていない前記輝度情報の(1-α1)倍を取得するために、ガウス雑音低減処理を受けていない前記輝度情報を(1-α1)で乗算するステップと、
    第１の輝度情報を取得するために、ガウス雑音低減処理を受けている前記輝度情報のα1倍と、ガウス雑音低減処理を受けていない前記輝度情報の(1-α1)倍との加算を実行するステップと
    を更に有し、
    前記処理されるべき画像の輝度情報においてエンハンスメント処理を実行するステップは、
    前記第１の輝度情報においてエンハンスメント処理を実行するステップを有する、請求項４に記載の方法。
  6. 前記撮影場面情報及び前記撮影メタデータに従って、前記処理されるべき画像の輝度情報において雑音低減及びエンハンスメント処理を実行するステップは、
    前記輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、前記輝度情報に従って、局所絶対値差分の計算を実行するステップと、
    前記周辺輝度値のSAD、前記撮影場面情報及び前記撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得するステップと、
    畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び前記第１のガウス雑音低減フィルタカーネルにおいて畳み込みを実行するステップと、
    前記周辺輝度値のSAD、前記撮影場面情報及び前記撮影メタデータに従って、前記畳み込みフィルタカーネルの重みを決定するステップと、
    鮮鋭度エンハンスメントフィルタカーネルを取得するために、前記畳み込みフィルタカーネルを前記重みで乗算するステップと、
    ガウス雑音低減鮮鋭フィルタカーネルを取得するために、前記第１のガウス雑音低減フィルタカーネルと前記鮮鋭度エンハンスメントフィルタカーネルとの加算を実行するステップと、
    前記ガウス雑音低減鮮鋭フィルタカーネルに従って、前記輝度情報においてガウス雑音低減処理及び鮮鋭度エンハンスメント処理を実行するステップと
    を有する、請求項３に記載の方法。
  7. 前記輝度情報の周辺輝度値のSADを取得するために、前記輝度情報に従って、局所絶対値差分の計算を実行する前に、
    前記撮影場面情報及び前記撮影メタデータに従って、前記輝度情報においてゴマ塩雑音低減処理を実行するステップを更に有する、請求項４ないし６のうちいずれか１項に記載の方法。
  8. 前記撮影場面情報及び前記撮影メタデータに従って、前記処理されるべき画像のクロミナンス情報において雑音低減処理を実行するステップは、
    前記クロミナンス情報の周辺クロミナンス値のSADを取得するために、前記クロミナンス情報に従って、局所絶対値差分の計算を実行するステップと、
    前記周辺クロミナンス値のSAD、前記撮影場面情報及び前記撮影メタデータに従って、第２のガウス雑音低減フィルタカーネルを取得するステップと、
    前記第２のガウス雑音低減フィルタカーネルに従って、前記クロミナンス情報においてガウス雑音低減処理を実行するステップと
    を有し、
    前記撮影場面情報及び前記撮影メタデータに従って、前記処理されるべき画像のクロミナンス情報においてエンハンスメント処理を実行するステップは、
    合成画像情報を取得するために、前記クロミナンス情報と前記輝度情報とを組み合わせるステップと、
    前記合成画像情報の色飽和度を取得するステップと、
    前記撮影場面情報及び前記撮影メタデータに従って、前記色飽和度を調整するステップと
    を有する、請求項３ないし７のうちいずれか１項に記載の方法。
  9. 合成画像情報を取得するために、前記クロミナンス情報と前記輝度情報とを組み合わせる前に、
    エンハンスメント処理を受けている前記輝度情報のα2倍を取得するために、エンハンスメント処理を受けている前記輝度情報を第２の係数α2で乗算するステップであり、α2は0から1の範囲の数値であるステップと、
    雑音低減処理を受けている前記輝度情報の(1-α2)倍を取得するために、雑音低減処理を受けている前記輝度情報を(1-α2)で乗算するステップと、
    第２の輝度情報を取得するために、エンハンスメント処理を受けている前記輝度情報のα2倍と、雑音低減処理を受けている前記輝度情報の(1-α2)倍との加算を実行するステップと
    を更に有し、
    合成画像情報を取得するために、前記クロミナンス情報と前記輝度情報とを組み合わせるステップは、
    前記合成画像情報を取得するために、前記クロミナンス情報と前記第２の輝度情報とを組み合わせるステップを有する、請求項８に記載の方法。
  10. 前記クロミナンス情報の周辺クロミナンス値のSADを取得するために、前記クロミナンス情報に従って、局所絶対値差分の計算を実行する前に、
    前記撮影場面情報及び前記撮影メタデータに従って、前記クロミナンス情報においてゴマ塩雑音低減処理を実行するステップを更に有する、請求項８又は９に記載の方法。
  11. 撮影されたが画像処理されていない処理されるべき画像を取得するように構成された撮影モジュールと、
    前記処理されるべき画像の撮影特性情報を抽出するように構成された抽出モジュールと、
    前記撮影特性情報に従って、前記処理されるべき画像において画像処理を実行するように構成された処理モジュールと
    を有する画像処理装置。
  12. 前記処理モジュールは、前記処理されるべき画像の撮影場面情報及び撮影メタデータに従って、前記処理されるべき画像において雑音低減及び／又はエンハンスメント処理を実行するように具体的に構成される、請求項１１に記載の画像処理装置。
  13. 前記処理モジュールは、前記撮影場面情報及び前記撮影メタデータに従って、前記処理されるべき画像の輝度情報において雑音低減及び／又はエンハンスメント処理を実行するように、及び／又は前記撮影場面情報及び前記撮影メタデータに従って、前記処理されるべき画像のクロミナンス情報において雑音低減及び／又はエンハンスメント処理を実行するように具体的に構成される、請求項１２に記載の装置。
  14. 前記処理モジュールは、第１のガウス雑音低減ユニット及び／又は第１のエンハンスメントユニットを有し、
    前記第１のガウス雑音低減ユニットは、前記輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、前記輝度情報に従って、局所絶対値差分の計算を実行し、前記周辺輝度値のSAD、前記撮影場面情報及び前記撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、前記第１のガウス雑音低減フィルタカーネルに従って、前記輝度情報においてガウス雑音低減処理を実行するように構成され、
    前記第１のエンハンスメントユニットは、ベースレイヤの輝度情報と少なくとも１つのディテールレイヤの輝度情報とを取得するために、前記輝度情報においてエッジ保存に基づくフィルタリング分解を実行し、前記撮影場面情報及び前記撮影メタデータに従って、前記ベースレイヤの前記輝度情報においてコントラストエンハンスメント処理を実行し、前記周辺輝度値のSAD、前記撮影場面情報及び前記撮影メタデータに従って、少なくとも１つのゲインを決定し、前記ゲインを使用することにより前記ディテールレイヤの前記輝度情報においてディテールエンハンスメント処理を実行し、エンハンスメント処理を受けている前記輝度情報を取得するために、コントラストエンハンスメント処理を受けている前記ベースレイヤの前記輝度情報と、ディテールエンハンスメント処理を受けている前記ディテールレイヤの前記輝度情報との加算を実行するように構成される、請求項１３に記載の装置。
  15. 前記処理モジュールは、ガウス雑音低減処理を受けている前記輝度情報のα1倍を取得するために、ガウス雑音低減処理を受けている前記輝度情報を第１の係数α1で乗算し、α1は0から1の範囲の数値であり、ガウス雑音低減処理を受けていない前記輝度情報の(1-α1)倍を取得するために、ガウス雑音低減処理を受けていない前記輝度情報を(1-α1)で乗算し、第１の輝度情報を取得するために、ガウス雑音低減処理を受けている前記輝度情報のα1倍と、ガウス雑音低減処理を受けていない前記輝度情報の(1-α1)倍との加算を実行するように構成された第１の取得ユニットを更に有し、
    前記第１のエンハンスメントユニットは、前記第１の輝度情報においてエンハンスメント処理を実行するように具体的に構成される、請求項１４に記載の装置。
  16. 前記処理モジュールは、前記輝度情報の周辺輝度値の差分絶対値和（SAD）を取得するために、前記輝度情報に従って、局所絶対値差分の計算を実行し、前記周辺輝度値のSAD、前記撮影場面情報及び前記撮影メタデータに従って、第１のガウス雑音低減フィルタカーネルを取得し、畳み込みフィルタカーネルを取得するために、高域フィルタカーネル及び前記第１のガウス雑音低減フィルタカーネルにおいて畳み込みを実行し、前記周辺輝度値のSAD、前記撮影場面情報及び前記撮影メタデータに従って、前記畳み込みフィルタカーネルの重みを決定し、鮮鋭度エンハンスメントフィルタカーネルを取得するために、前記畳み込みフィルタカーネルを前記重みで乗算し、ガウス雑音低減鮮鋭フィルタカーネルを取得するために、前記第１のガウス雑音低減フィルタカーネルと前記鮮鋭度エンハンスメントフィルタカーネルとの加算を実行し、前記ガウス雑音低減鮮鋭フィルタカーネルに従って、前記輝度情報においてガウス雑音低減処理及び鮮鋭度エンハンスメント処理を実行するように構成された雑音低減エンハンスメントユニットを有する、請求項１３に記載の装置。
  17. 前記処理モジュールは、前記撮影場面情報及び前記撮影メタデータに従って、前記輝度情報においてゴマ塩雑音低減処理を実行するように構成された第１のゴマ塩雑音低減ユニットを更に有する、請求項１４ないし１６のうちいずれか１項に記載の装置。
  18. 前記処理モジュールは、第２のガウス雑音低減ユニットと、第２のエンハンスメントユニットとを更に有し、
    前記第２のガウス雑音低減ユニットは、前記クロミナンス情報の周辺クロミナンス値のSADを取得するために、前記クロミナンス情報に従って、局所絶対値差分の計算を実行し、前記周辺クロミナンス値のSAD、前記撮影場面情報及び前記撮影メタデータに従って、第２のガウス雑音低減フィルタカーネルを取得し、前記第２のガウス雑音低減フィルタカーネルに従って、前記クロミナンス情報においてガウス雑音低減処理を実行ように構成され、
    前記第２のエンハンスメントユニットは、合成画像情報を取得するために、前記クロミナンス情報と前記輝度情報とを組み合わせ、前記合成画像情報の色飽和度を取得し、前記撮影場面情報及び前記撮影メタデータに従って、前記色飽和度を調整するように構成される、請求項１３ないし１７のうちいずれか１項に記載の装置。
  19. 前記処理モジュールは、前記第２のエンハンスメントユニットが前記合成画像情報を取得するために、前記クロミナンス情報と前記輝度情報とを組み合わせる前に、エンハンスメント処理を受けている前記輝度情報のα2倍を取得するために、エンハンスメント処理を受けている前記輝度情報を第２の係数α2で乗算し、α2は0から1の範囲の数値であり、雑音低減処理を受けている前記輝度情報の(1-α2)倍を取得するために、雑音低減処理を受けている前記輝度情報を(1-α2)で乗算し、第２の輝度情報を取得するために、エンハンスメント処理を受けている前記輝度情報のα2倍と、雑音低減処理を受けている前記輝度情報の(1-α2)倍との加算を実行するように構成された第２の取得ユニットを更に有し、
    前記第２のエンハンスメントユニットは、前記合成画像情報を取得するために、前記クロミナンス情報と前記第２の輝度情報とを組み合わせ、前記合成画像情報の前記色飽和度を取得し、前記撮影場面情報及び前記撮影メタデータに従って、前記色飽和度を調整するように具体的に構成される、請求項１８に記載の装置。
  20. 前記処理モジュールは、前記第２のガウス雑音低減ユニットが前記クロミナンス情報の前記周辺クロミナンス値のSADを取得するために、前記クロミナンス情報に従って、局所絶対値差分の計算を実行する前に、前記撮影場面情報及び前記撮影メタデータに従って、前記クロミナンス情報においてゴマ塩雑音低減処理を実行するように構成された第２のゴマ塩雑音低減ユニットを更に有する、請求項１８又は１９に記載の装置。
  21. 請求項１１ないし２０のうちいずれか１項に記載の画像処理装置を有する撮影端末。
  22. 前記撮影端末は、移動電話又はタブレットコンピュータを有する、請求項２１に記載の撮影端末。
JP2015551114A 2013-01-07 2014-01-03 画像処理方法及び装置並びに撮影端末 Active JP6169186B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310005051.9 2013-01-07
CN201310005051.9A CN103067661B (zh) 2013-01-07 2013-01-07 图像处理方法、装置和拍摄终端
PCT/CN2014/070079 WO2014106470A1 (zh) 2013-01-07 2014-01-03 图像处理方法、装置和拍摄终端

Publications (2)

Publication Number Publication Date
JP2016503926A true JP2016503926A (ja) 2016-02-08
JP6169186B2 JP6169186B2 (ja) 2017-07-26

Family

ID=48110103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015551114A Active JP6169186B2 (ja) 2013-01-07 2014-01-03 画像処理方法及び装置並びに撮影端末

Country Status (5)

Country Link
US (1) US9406148B2 (ja)
EP (1) EP2852152B1 (ja)
JP (1) JP6169186B2 (ja)
CN (1) CN103067661B (ja)
WO (1) WO2014106470A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067661B (zh) 2013-01-07 2017-12-05 华为终端有限公司 图像处理方法、装置和拍摄终端
CN104185002B (zh) * 2013-05-21 2018-03-02 安凯(广州)微电子技术有限公司 一种图像处理方法及装置
KR102127351B1 (ko) * 2013-07-23 2020-06-26 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR102158844B1 (ko) 2014-01-03 2020-09-22 삼성전자주식회사 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
CN105430429B (zh) * 2014-09-18 2019-09-13 青岛海尔电子有限公司 一种媒体数据的优化方法和装置
US9445007B1 (en) * 2015-02-25 2016-09-13 Qualcomm Incorporated Digital zoom methods and systems
CN105007472A (zh) * 2015-07-23 2015-10-28 广东欧珀移动通信有限公司 照片显示方法及装置
CN107635103B (zh) * 2015-08-11 2020-02-14 Oppo广东移动通信有限公司 一种图像处理方法及移动终端和介质产品
CN105141857B (zh) * 2015-09-21 2018-12-11 广东欧珀移动通信有限公司 图像处理方法和装置
JP6161847B1 (ja) * 2015-12-18 2017-07-12 三菱電機株式会社 画像処理装置及び画像処理方法
TWI584642B (zh) * 2016-04-19 2017-05-21 瑞昱半導體股份有限公司 影像濾波裝置及其影像濾波方法
CN107783856B (zh) * 2016-08-30 2021-06-04 广州安凯微电子股份有限公司 一种图像处理器参数的测试方法及系统
CN108122206A (zh) * 2016-11-29 2018-06-05 深圳市中兴微电子技术有限公司 一种低照度图像降噪方法及装置
CN106780298B (zh) * 2016-11-30 2020-07-28 努比亚技术有限公司 图片的处理方法及装置
EP3550818B1 (en) * 2016-12-28 2021-11-24 Huawei Technologies Co., Ltd. Demosaicing method and device
CN109427047B (zh) * 2017-08-28 2021-01-26 京东方科技集团股份有限公司 一种图像处理方法及装置
CN107633481A (zh) * 2017-09-19 2018-01-26 北京奇虎科技有限公司 基于分层的图像处理方法、装置、计算设备及存储介质
CN107493504A (zh) * 2017-09-19 2017-12-19 北京奇虎科技有限公司 基于分层的视频数据实时处理方法、装置及计算设备
CN107566893A (zh) * 2017-09-19 2018-01-09 北京奇虎科技有限公司 基于分层的视频数据处理方法、装置及计算设备
CN107948549B (zh) * 2017-11-07 2020-04-17 维沃移动通信有限公司 一种图像噪点调整方法和装置
US10628929B2 (en) * 2018-05-28 2020-04-21 Augentix Inc. Method and computer system of image enhancement
CN110889802B (zh) * 2018-09-10 2022-12-06 北京微播视界科技有限公司 图像处理方法和装置
US11941789B2 (en) 2018-10-19 2024-03-26 Gopro, Inc. Tone mapping and tone control integrations for image processing
CN109589071B (zh) * 2018-12-05 2022-03-29 余姚市恒正金属制品有限公司 喷头水压调控系统
CN109363770B (zh) * 2018-12-06 2021-08-10 安徽埃克索医疗机器人有限公司 一种手术导航机器人标志点自动识别定位方法
CN110519485B (zh) * 2019-09-09 2021-08-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112712469B (zh) * 2019-10-25 2024-04-30 浙江宇视科技有限公司 车窗图像处理方法、装置、电子设备和存储介质
CN112752011B (zh) * 2019-10-29 2022-05-20 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子装置和存储介质
CN112801882B (zh) * 2019-11-14 2022-11-08 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN110944163A (zh) * 2019-11-21 2020-03-31 维沃移动通信有限公司 一种图像处理方法及电子设备
CN110933304B (zh) * 2019-11-27 2022-02-25 RealMe重庆移动通信有限公司 待虚化区域的确定方法、装置、存储介质与终端设备
CN111127347A (zh) * 2019-12-09 2020-05-08 Oppo广东移动通信有限公司 降噪方法、终端及存储介质
CN111598909B (zh) * 2020-05-08 2023-03-14 展讯通信（上海）有限公司 图像信号的频域特征判断方法及相关设备
CN111683195B (zh) * 2020-05-27 2021-10-01 盛视科技股份有限公司 一种摄像装置及其控制方法
CN111681189B (zh) * 2020-06-17 2023-11-17 深圳开立生物医疗科技股份有限公司 提升图像亮度均匀性的方法、装置、设备及存储介质
CN111724326B (zh) * 2020-06-28 2023-08-01 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN111932471B (zh) * 2020-07-24 2022-07-19 山西大学 用于低照度图像增强的双路曝光度融合网络模型及方法
CN112950499B (zh) * 2021-02-24 2023-11-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113573070A (zh) * 2021-06-03 2021-10-29 浙江大华技术股份有限公司 一种图像编码方法及装置、计算机存储介质
US11756285B2 (en) 2021-06-10 2023-09-12 Bank Of America Corporation Image processing system and method for image noise removal
CN115619659B (zh) * 2022-09-22 2024-01-23 北方夜视科技(南京)研究院有限公司 基于正则化高斯场模型的低照度图像增强方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002101422A (ja) * 2000-09-26 2002-04-05 Minolta Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP2003163882A (ja) * 2001-11-22 2003-06-06 Fuji Photo Film Co Ltd 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム
JP2003348377A (ja) * 2002-05-22 2003-12-05 Sony Corp 画像表示装置および画像処理装置、並びに画像処理方法
JP2008061217A (ja) * 2006-07-31 2008-03-13 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
JP2009303111A (ja) * 2008-06-17 2009-12-24 Fujifilm Corp 画像処理装置および方法並びにプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0943058A (ja) * 1995-05-23 1997-02-14 Olympus Optical Co Ltd 色分類装置及び色むら検査装置
US6529630B1 (en) * 1998-03-02 2003-03-04 Fuji Photo Film Co., Ltd. Method and device for extracting principal image subjects
US6757442B1 (en) 2000-11-22 2004-06-29 Ge Medical Systems Global Technology Company, Llc Image enhancement method with simultaneous noise reduction, non-uniformity equalization, and contrast enhancement
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム
US7386183B2 (en) * 2004-07-09 2008-06-10 Aloka Co., Ltd. Method and apparatus for image processing
US20060013503A1 (en) 2004-07-16 2006-01-19 Samsung Electronics Co., Ltd. Methods of preventing noise boost in image contrast enhancement
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
CN100550996C (zh) * 2006-07-31 2009-10-14 株式会社理光 图像处理装置，成像装置以及图像处理方法
US8442344B2 (en) * 2006-08-07 2013-05-14 Qualcomm Incorporated Adaptive spatial image filter for filtering image information
JP5315158B2 (ja) * 2008-09-12 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP5060447B2 (ja) * 2008-10-07 2012-10-31 株式会社東芝 ノイズキャンセル処理回路および固体撮像装置
US9055227B2 (en) * 2010-03-17 2015-06-09 Texas Instruments Incorporated Scene adaptive brightness/contrast enhancement
JP5250598B2 (ja) * 2010-10-05 2013-07-31 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
CN102547117B (zh) * 2011-12-22 2014-12-03 北京英泰智软件技术发展有限公司 一种摄像机对比度增强方法
JP5921233B2 (ja) * 2012-02-06 2016-05-24 キヤノン株式会社 画像管理装置及びその制御方法、並びにプログラム
US8971611B2 (en) * 2012-02-08 2015-03-03 JVC Kenwood Corporation Image process device, image process method, and image process program
KR20130094113A (ko) * 2012-02-15 2013-08-23 삼성전자주식회사 카메라 데이터 처리 장치 및 방법
CN103067661B (zh) * 2013-01-07 2017-12-05 华为终端有限公司 图像处理方法、装置和拍摄终端
CN103945214B (zh) * 2013-01-23 2016-03-30 中兴通讯股份有限公司 终端侧时间域视频质量评价方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002101422A (ja) * 2000-09-26 2002-04-05 Minolta Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP2003163882A (ja) * 2001-11-22 2003-06-06 Fuji Photo Film Co Ltd 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム
JP2003348377A (ja) * 2002-05-22 2003-12-05 Sony Corp 画像表示装置および画像処理装置、並びに画像処理方法
JP2008061217A (ja) * 2006-07-31 2008-03-13 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
JP2009303111A (ja) * 2008-06-17 2009-12-24 Fujifilm Corp 画像処理装置および方法並びにプログラム

Also Published As

Publication number Publication date
JP6169186B2 (ja) 2017-07-26
US20150104100A1 (en) 2015-04-16
CN103067661A (zh) 2013-04-24
EP2852152A4 (en) 2015-08-19
WO2014106470A1 (zh) 2014-07-10
EP2852152B1 (en) 2017-11-22
US9406148B2 (en) 2016-08-02
CN103067661B (zh) 2017-12-05
EP2852152A1 (en) 2015-03-25

Similar Documents

Publication Publication Date Title
JP6169186B2 (ja) 画像処理方法及び装置並びに撮影端末
JP6395810B2 (ja) 動きゴーストフィルタリングのための基準画像選択
US8339475B2 (en) High dynamic range image combining
KR101059403B1 (ko) 이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
US8559744B2 (en) Method for processing a digital object and related system
US9667842B2 (en) Multi-band YCbCr locally-adaptive noise modeling and noise reduction based on scene metadata
US20140307129A1 (en) System and method for lens shading compensation
KR20160138685A (ko) 저 복잡도의 하이 다이나믹 레인지 이미지 생성 장치 및 그 방법
US20130329004A1 (en) Method of and Apparatus for Image Enhancement
KR20120016476A (ko) 영상 처리 방법 및 영상 처리 장치
CN111242860B (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
KR20120114899A (ko) 영상 처리 방법 및 영상 처리 장치
US9525804B2 (en) Multi-band YCbCr noise modeling and noise reduction based on scene metadata
CN110942427A (zh) 一种图像降噪的方法及装置、设备、存储介质
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
CN114418879A (zh) 图像处理方法、装置、电子设备及存储介质
CN105338221B (zh) 一种图像处理方法及电子设备
JP2011100204A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
KR101337667B1 (ko) 휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작
US10122936B2 (en) Dynamic noise reduction for high dynamic range in digital imaging
CN115564694A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
Choi et al. Multi-spectral flash imaging under low-light condition using optimization with weight map
TW201447815A (zh) 去除影像雜訊的方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170501

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170627

R150 Certificate of patent or registration of utility model

Ref document number: 6169186

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250