JP2016058081A - ぼやけた画像に基づいて鮮明な画像を生成する方法および装置 - Google Patents

ぼやけた画像に基づいて鮮明な画像を生成する方法および装置 Download PDF

Info

Publication number
JP2016058081A
JP2016058081A JP2015168812A JP2015168812A JP2016058081A JP 2016058081 A JP2016058081 A JP 2016058081A JP 2015168812 A JP2015168812 A JP 2015168812A JP 2015168812 A JP2015168812 A JP 2015168812A JP 2016058081 A JP2016058081 A JP 2016058081A
Authority
JP
Japan
Prior art keywords
value
pixel
image
iteration
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015168812A
Other languages
English (en)
Other versions
JP6106897B2 (ja
Inventor
リ・シュ
Li Xu
ジャヤ・ジャ
Jiaya Jia
クォックワイ・フン
Kwokwai Hung
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2016058081A publication Critical patent/JP2016058081A/ja
Application granted granted Critical
Publication of JP6106897B2 publication Critical patent/JP6106897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

【課題】ぼやけた画像に基づいて鮮明な画像を生成する方法および装置を提供すること。【解決手段】本発明はぼやけた画像に基づいて鮮明な画像を生成する方法を開示する。方法は、ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得することと、予め設定された画像勾配オペレータおよび畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定することと、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定することと、鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成することとを含む。本発明の実施形態の逆畳み込みカーネルは勾配オペレータおよび畳み込みカーネルに基づいて決定される。【選択図】図1

Description

本発明は画像処理の分野に関し、特に、ぼやけた画像に基づいて鮮明な画像を生成する方法および装置に関する。
コンピュータ技術の発達とともに、コンピュータの使用による画像ノイズ除去、強調、復元、および分割などの技術が広く適用されている。
デジタル画像の分野において、デジタル画像の可視化処理は、例えば、手振れによって生じる動きぼけ処理、カメラの結像焦点外れぼけ処理、低解像度画像生成処理などの、離散畳み込み（convolution）モデルとしてほぼモデル化される。従って、デジタル画像の強調と回復は、離散畳み込みモデルに逆のプロセス、すなわち逆畳み込み技術を使用することによって実行され得る。典型的な逆畳み込み技術はデジタル画像ぼけ除去（deblurring）技術、画像超解像（super-resolution）技術などを含む。
ウィナーフィルタは古典的な逆畳み込み技術である。ウィナーフィルタにおいて、擬似逆畳み込みカーネルは周波数領域に導入され、擬似逆畳み込みカーネルの式は次の通りである。
（1）
式中F（・）はフーリエ変換を表し、
はフーリエ変換の複素共役を表し、SNRは擬似逆畳み込みカーネルの高周波数ノイズを抑制する効果を達成する信号対雑音電力比を表し、kは畳み込みカーネルを表す。鮮明な画像は次式を使用することにより表現できる。
x＝F−1（W・F（y）） （2）
式中、yはぼやけた画像を表し、F−1（・）は逆フーリエ変換を表す。フーリエ変換の畳み込み式を使用することにより、式（2）は次式に変換できる。
x＝F−1（W）＝ω＊y （3）
式中、ωは空間領域の逆畳み込みカーネルである。
逆畳み込みカーネルの導入は逆畳み込みアルゴリズムの計算を単純化するが、逆畳み込みカーネルはSNRを正則化制約として使用する。このような正則化制約はノイズによって影響を受けるので、逆畳み込みカーネルを使用する画像回復プロセスはノイズおよびリンギング効果によって必然的に影響を受け、それはある程度まで回復された鮮明な画像の品質を損なう。
本発明の実施形態は、回復された鮮明な画像の品質を改善し得る、ぼやけた画像に基づいて鮮明な画像を生成する方法および装置を提供する。
第1の態様に従って、ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得することと、予め設定された画像勾配オペレータおよび畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定することと、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定することと、鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成することとを含む、ぼやけた画像に基づいて鮮明な画像を生成する方法が提供される。
第1の態様を参照して、第1の態様の1つの実施方式において、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定することは、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、逆畳み込みカーネルで特異値分解を実行することと、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定することとを含む。
第1の態様または第1の態様の前述の実施方式を参照して、第1の態様の別の実施方式において、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定することは、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定することと、式
に基づいてxt＋1を決定することと、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、または、tが繰返し量に達しないとき、γj t＋1を使用してγj tを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含み、上式で、
および
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、slはm個の非ゼロの特異値のl番目の特異値を表し、fu lはl番目の特異値に対応する列ベクトルを表し、fv lはl番目の特異値に対応する行ベクトルを表し、cj ’およびk’はそれぞれcjおよびkが180度回転された後に得られるオペレータを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
第1の態様または第1の態様の前述の実施方式のいずれかを参照して、第1の態様の別の実施方式において、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定することは、式zj t＋1＝argminzE（xt，zj，βt）に基づいてzj t＋1を決定することと、式
に基づいてxt＋1を決定することと、式βt＋1＝2βtに基づいてβt＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、またはtが繰返し量に達しないとき、γj t＋1を使用してγj tを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含み、上式で、
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
第1の態様または第1の態様の前述の実施方式のいずれか1つを参照して、第1の態様の別の実施方式において、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定することは、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定することと、式
に基づいてxt＋1を決定することと、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、またはtが繰返し量に達しないとき、γj t＋1を使用してγj tを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含み、上式で、
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
第1の態様または第1の態様の前述の実施方式のいずれか1つを参照して、第1の態様の別の実施方式において、予め設定された画像勾配オペレータおよび畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定することは、式
に従って逆畳み込みカーネルを決定することを含み、上式で、ωβは逆畳み込みカーネルを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す。
第2の態様に従って、ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得するように構成された、取得ユニットと、予め設定された画像勾配オペレータおよび取得ユニットにより取得された畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定するように構成された、第1の決定ユニットと、第1の決定ユニットにより決定された逆畳み込みカーネルおよび取得ユニットにより取得されたぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定するように構成された、第2の決定ユニットと、第2の決定ユニットにより決定された鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成するように構成された、生成ユニットとを含む、ぼやけた画像に基づいて鮮明な画像を生成する装置が提供される。
第2の態様を参照して、第2の態様の1つの実施方式において、第2の決定ユニットは、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、逆畳み込みカーネルで特異値分解を実行し、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定するように構成される。
第2の態様または第2の態様の前述の実施方式を参照して、第2の態様の別の実施方式において、第2の決定ユニットは、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定し、式
に基づいてxt＋1を決定し、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、または、tが繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
および
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、slはm個の非ゼロの特異値のl番目の特異値を表し、fu lはl番目の特異値に対応する列ベクトルを表し、fv lはl番目の特異値に対応する行ベクトルを表し、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
第2の態様または第2の態様の前述の実施方式のいずれかを参照して、第2の態様の別の実施方式において、第2の決定ユニットは、式zj t＋1＝argminzE（xt，zj，βt）に基づいてzj t＋1を決定し、式
に基づいてxt＋1を決定し、式βt＋1＝2βtに基づいてβt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
第2の態様または第2の態様の前述の実施方式のいずれか1つを参照して、第2の態様の別の実施方式において、第2の決定ユニットは、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定し、式
に基づいてxt＋1を決定し、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
第2の態様または第2の態様の前述の実施方式のいずれか1つを参照して、第2の態様の別の実施方式において、第2の決定ユニットは、式
に従って逆畳み込みカーネルを決定するように構成され、上式で、ωβは逆畳み込みカーネルを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す。
本発明の実施形態の逆畳み込みカーネルは勾配オペレータおよび畳み込みカーネルに基づいて決定される。言い換えれば、逆畳み込みカーネルは正則化制約として勾配オペレータを導入し、それはノイズが画像回復プロセスに影響を与えるのを防ぎ、回復された鮮明な画像の品質を改善する。
本発明の実施形態における技術的な解決策をより明確に説明するために、本発明の実施形態を説明するために必要な添付図面を以下に簡単に紹介する。明らかに、以下の説明での添付図面は本発明のいくつかの実施形態を示しているにすぎず、当業者は創造的な努力なしでまだこれらの添付図面から他の図面を導き出すことができる。
本発明の実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する方法の概略のフローチャートである。 本発明の実施形態におけるぼやけた画像に基づいて鮮明な画像を生成する方法の適用の効果を示す図表である。 本発明の実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する装置の概略構成図である。 本発明の実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する装置の概略構成図である。
本発明の実施形態における添付図面を参照して、以下に本発明の実施形態における技術的な解決策を明確に説明する。明らかに、説明される実施形態は本発明の実施形態のすべてというよりむしろ一部である。創造的な努力なしで本発明の実施形態に基づいて当業者により得られるすべての他の実施形態は、本発明の保護範囲内に含まれるべきである。
図1は、本発明の実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する方法の概略のフローチャートである。図1の方法は、以下を含む。
110：ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得する。
前述の畳み込みカーネルが鮮明な画像がぼやけた画像に変換されるプロセスを示すために使用されることは、理解されるべきである。
120：予め設定された画像勾配オペレータおよび畳み込みカーネルに基づいて、ぼやけた画像の逆畳み込みカーネルを決定する。
前述の勾配オペレータが画像の水平方向の勾配オペレータおよび垂直方向の勾配オペレータを含み得ることは、留意されるべきである。
前述のステップ120は、式
に従って逆畳み込みカーネルを決定することを含むことができ、上式でωβは逆畳み込みカーネルを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は画像の水平方向の勾配オペレータを表し、ならびにc2は画像の垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す。本発明のこの実施形態における逆畳み込みカーネルωβは正則化制約として勾配オペレータを使用することが、逆畳み込みカーネルの式から分かる。
130：逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定する。
ステップ130には複数の決定方式があり得る。例えば、鮮明な画像のピクセルのピクセル値は、エネルギー方程式の最小化によって解かれ、ここで最小化される必要があるエネルギー方程式は
とすることができる。ステップ130については後で詳細に説明するので、詳細はここで再び説明しない。
140：鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成する。
本発明のこの実施形態の逆畳み込みカーネルは勾配オペレータおよび畳み込みカーネルに基づいて決定される。言い換えれば、逆畳み込みカーネルは正則化制約として勾配オペレータを導入し、それはノイズが画像回復プロセスに影響を与えるのを防ぎ、回復された鮮明な画像の品質を改善する。
任意選択で、実施形態として、ステップ130は、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、逆畳み込みカーネルで特異値分解を実行することと、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定することとを含むことができる。
例えば、逆畳み込みカーネルで特異値分解が実行された後、1対1対応にあるn個の特異値、n個の行ベクトル、およびn個の列ベクトルが得られると想定される。1対1対応にあるm個の特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、n個の特異値の中で、予め設定された閾値より小さい特異値は削除でき、削除された特異値に対応する行ベクトルおよび列ベクトルも削除される。
前述の逆畳み込みカーネルは2次元逆畳み込みカーネルである。前述の特異値分解を用いて、2次元逆畳み込みカーネルは複数の1次元逆畳み込みカーネルに分解され、1次元逆畳み込みカーネルの計算は比較的容易なので、アルゴリズムの効率が改善される。
任意選択で、ステップ130は、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定することと、式
に基づいてxt＋1を決定することと、式βt＋1＝2βtに基づいてβt＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、またはtが繰返し量に達しないとき、γj t＋1を使用してγj tを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含むことができ、上式で、
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
本発明のこの実施例において、逆畳み込みカーネルの正則化制約は画像勾配のスパース性に基づいて記述され、それはノイズ干渉を回避し、ウィナーフィルタで使用されるSNRに基づく正則化制約と比較して回復された鮮明な画像の品質を改善することは、留意されるべきである。
βの値はそれぞれの繰返しの間に更新される必要があり、逆畳み込みカーネル
はβと関連しているので、逆畳み込みカーネルの値はそれぞれの積分の間に更新される必要があることが、前述の実施形態から分かる。さらに計算効率を改善するために、2つの改善された実施形態が以下に与えられる。
任意選択で、実施形態として、ステップ130は、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定することと、式
に基づいてxt＋1を決定することと、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、またはtが繰返し量に達しないとき、γj t＋1を使用してγj tを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含むことができ、上式で、
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
は拡張ラグランジュ法を使用してエネルギー方程式
を分解することにより得られた方程式であることは、留意されるべきである。拡張ラグランジュ法の使用は、全体の繰返し処理でβの更新を不要にし、この場合、逆畳み込みカーネル
の更新が同様に不要であり、それによりアルゴリズムの効率をさらに改善する。
＜γj，（zj−cj＊x）＞はベクトルγjおよびベクトル（zj−cj＊x）の内積を表すことは留意されるべきである。
任意選択で、実施形態として、ステップ130は、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定することと、式
に基づいてxt＋1を決定することと、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定することと、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定することと、またはtが繰返し量に達しないとき、γj t＋1を使用してγj tを更新すること、xt＋1を使用してxtを更新すること、およびtが繰返し量に達するまで繰返しこのステップを実行することとを含むことができ、上式で、
および
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、slはm個の非ゼロ特異値のl番目の特異値を表し、fu lはl番目の特異値に対応する列ベクトルを表し、fv lはl番目の特異値に対応する行ベクトルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
図2は、本発明のこの実施形態の方法の適用の効果を示す図表である。図2の（a）は入力画像であり、（b）は本発明のこの実施形態の方法を使用して画像が処理された後の結果であり、（c）は既存のPD（ペナルティ分解）に基づくアルゴリズムを使用して画像が処理された後の結果である。包括的な比較の後に本発明のこの実施形態の方法はぼやけた画像の処理に対してより良い効果を持つことが容易に分かる。
本発明のこの実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する方法は図1を参照して上記に詳細に説明され、本発明の実施形態に従ってぼやけた画像に基づいて鮮明な画像を生成する装置は図3から図4を参照して下記に説明される。
図3および図4の装置が図1の方法のステップを実装できることは理解されるべきであり、簡潔にするために、詳細はここで再度説明しない。
図3は、ぼやけた画像に基づいて鮮明な画像を生成する装置の概略ブロック図である。図3の装置300は、
ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得するように構成された、取得ユニット310と、
予め設定された画像勾配オペレータおよび取得ユニット310により取得された畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定するように構成された、第1の決定ユニット320と、
第1の決定ユニット320により決定された逆畳み込みカーネルおよび取得ユニット310により取得されたぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定するように構成された、第2の決定ユニット330と、
第2の決定ユニット330により決定された鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成するように構成された、生成ユニット340とを含む。
本発明のこの実施形態の逆畳み込みカーネルは勾配オペレータおよび畳み込みカーネルに基づいて決定される。言い換えれば、逆畳み込みカーネルは正則化制約として勾配オペレータを導入し、それはノイズが画像回復プロセスに影響を与えるのを防ぎ、回復された鮮明な画像の品質を改善する。
任意選択で、実施形態として、第2の決定ユニット330は、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、逆畳み込みカーネルで特異値分解を実行し、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定するように構成される。
任意選択で、実施形態として、第2の決定ユニット330は、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定し、式
に基づいてxt＋1を決定し、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、または、tが繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
および
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、slはm個の非ゼロの特異値のl番目の特異値を表し、fu lはl番目の特異値に対応する列ベクトルを表し、fv lはl番目の特異値に対応する行ベクトルを表し、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
任意選択で、実施形態として、第2の決定ユニット330は、式zj t＋1＝argminzE（xt，zj，βt）に基づいてzj t＋1を決定し、式
に基づいてxt＋1を決定し、式βt＋1＝2βtに基づいてβt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
任意選択で、実施形態として、第2の決定ユニット330は、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定し、式
に基づいてxt＋1を決定し、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
任意選択で、実施形態として、第1の決定ユニット320は、式
に従って逆畳み込みカーネルを決定するように構成され、上式でωβは逆畳み込みカーネルを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す。
図4は、ぼやけた画像に基づいて鮮明な画像を生成する装置の概略ブロック図である。図4の装置400は、
プログラムを格納するように構成された、メモリ410と、
プログラムを実行するように構成された、プロセッサ420であって、プログラムが実行されるとき、ぼやけた画像のピクセルのピクセル値、およびぼやけた画像の畳み込みカーネルを取得し、予め設定された画像勾配オペレータおよび畳み込みカーネルに基づいてぼやけた画像の逆畳み込みカーネルを決定し、逆畳み込みカーネルおよびぼやけた画像のピクセルのピクセル値に基づいて鮮明な画像のピクセルのピクセル値を決定し、鮮明な画像のピクセルのピクセル値に基づいて鮮明な画像を生成するように構成される、プロセッサ420とを含む。
本発明のこの実施形態の逆畳み込みカーネルは勾配オペレータおよび畳み込みカーネルに基づいて決定される。言い換えれば、逆畳み込みカーネルは正則化制約として勾配オペレータを導入し、それはノイズが画像回復プロセスに影響を与えるのを防ぎ、回復された鮮明な画像の品質を改善する。
任意選択で、実施形態として、プロセッサ420は、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、逆畳み込みカーネルで特異値分解を実行し、m個の非ゼロの特異値、m個の行ベクトル、m個の列ベクトル、およびぼやけた画像のピクセルのピクセル値に基づいて、鮮明な画像のピクセルのピクセル値を決定するように構成される。
任意選択で、実施形態として、プロセッサ420は、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定し、式
に基づいてxt＋1を決定し、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、または、tが繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
および
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、slはm個の非ゼロの特異値のl番目の特異値を表し、fu lはl番目の特異値に対応する列ベクトルを表し、fv lはl番目の特異値に対応する行ベクトルを表し、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
任意選択で、実施形態として、プロセッサ420は、式zj t＋1＝argminzE（xt，zj，βt）に基づいてzj t＋1を決定し、式
に基づいてxt＋1を決定し、式βt＋1＝2βtに基づいてβt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
任意選択で、実施形態として、プロセッサ420は、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定し、式
に基づいてxt＋1を決定し、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて鮮明な画像のピクセルのピクセル値を決定し、またはtが繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
であり、式中、nはぼやけた画像のピクセル数を表し、tは繰返し量を表し、xは鮮明な画像のピクセルのピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yはぼやけた画像のピクセルのピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す。
任意選択で、実施形態として、プロセッサ420は、式
に従って逆畳み込みカーネルを決定するように構成され、上式でωβは逆畳み込みカーネルを表し、cjは画像勾配オペレータを表し、ここでcjはc1およびc2を含み、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す。
本発明の実施形態における「および／または」という用語が、関連オブジェクトを記述するための1つの関連付けのみを記述し3つの関係が存在し得ることを示すことは、理解されるべきである。例えば、Aおよび／またはBは、次の3つの場合を示すことができる。Aだけが存在する、AとB両方が存在する、Bだけが存在する。さらに、この明細書における「／」という文字は、一般的に関連オブジェクト間の「または」の関係を示す。
当業者は、本明細書に開示された実施形態で説明された実施例とともに、ユニットおよびアルゴリズムステップは電子ハードウェア、コンピュータソフトウェア、またはそれらの組み合わせによって実装され得ることを認識できる。ハードウェアとソフトウェアとの間の移植可能性を明確に説明するために、前述は機能に従ってそれぞれの実施例の構成およびステップについて一般的に説明した。機能がハードウェアまたはソフトウェアのいずれにより実行されるかは、技術的な解決策の特定用途と設計制約条件に依存する。当業者は、それぞれの特定用途に対して説明された機能を実装するために異なった方法を使用することができるが、実装は本発明の範囲を超えると考えられるべきではない。
便利で簡単な説明を目的として、前述のシステム、装置、およびユニットの詳細な作動プロセスについては、前述の方法の実施形態の対応するプロセスを参照すればよく、詳細はここで再び説明されないことは、当業者によって明確に理解され得る。
本出願書で提供されたいくつかの実施形態において、開示されたシステム、装置、および方法は他の方式で実装され得ることは理解されるべきである。例えば、説明された装置の実施形態はただ例示的なものにすぎない。例えば、ユニット区分はただ論理関数の区分であって、実際の実装で他の区分とすることができる。例えば、複数のユニットまたは構成要素は別のシステムに組み合わせまたは統合でき、あるいは一部の特徴は無視しても、または実行しなくてもよい。さらに、表示された、または議論された相互結合または直接結合または通信接続は何らかのインタフェースを通して実装できる。装置またはユニット間の間接的な結合または通信接続は、電気的、機械的、または他の形式で実装され得る。
別個の部分として説明されたユニットは物理的に別個であってもなくてもよく、ユニットとして表示された部分は物理的にユニットであってもなくてもよく、1つの位置に位置していてもよく、または複数のネットワークユニット上に分散されてもよい。ユニットの一部またはすべては、本発明の実施形態の解決策の目的を達成するように実際の必要性に従って選択され得る。
さらに、本発明の実施形態における機能ユニットは、1つの処理ユニットに統合されてもよく、またはユニットのそれぞれは物理的に単独で存在してもよく、または2つ以上のユニットが1つのユニットに統合されてもよい。統合されたユニットはハードウェア形式で実装されてもよく、またはソフトウェア機能ユニット形式で実装されてもよい。
統合されたユニットがソフトウェア機能ユニット形式で実装され独立した製品として販売または使用されるとき、統合されたユニットはコンピュータ可読記憶媒体に格納され得る。このような理解に基づいて、本発明の技術的な解決策は本質的に、または従来技術に寄与する部分は、または技術的な解決策のすべてもしくは一部は、ソフトウェア製品形式で実装され得る。ソフトウェア製品は記憶媒体に格納され、（パーソナルコンピュータ、サーバ、またはネットワーク機器とすることができる）コンピュータ機器に本発明の実施形態で説明された方法のステップのすべてまたは一部を実行するように指示するための数個の命令を含む。前述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、リードオンリーメモリ（ROM、Read−Only Memory）、ランダムアクセスメモリ（RAM、Random Access Memory）、磁気ディスク、または光ディスクなどの、プログラムコードを格納できる任意の媒体を含む。
前述の説明は単に本発明の具体的な実施形態にすぎず、本発明の保護範囲を制限するように意図されない。本発明で開示された技術範囲内で当業者によって容易に理解されるいかなる修正または代替物も、本発明の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うべきである。
110 ステップ
120 ステップ
130 ステップ
140 ステップ
300 装置
310 取得ユニット
320 第1の決定ユニット
330 第2の決定ユニット
340 生成ユニット
400 装置
410 メモリ
420 プロセッサ

Claims (12)

  1. ぼやけた画像に基づいて鮮明な画像を生成する方法であって、
    前記ぼやけた画像のピクセルのピクセル値、および前記ぼやけた画像の畳み込みカーネルを取得するステップと、
    予め設定された画像勾配オペレータおよび前記畳み込みカーネルに基づいて、前記ぼやけた画像の逆畳み込みカーネルを決定するステップと、
    前記逆畳み込みカーネルおよび前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像のピクセルのピクセル値を決定するステップと、
    前記鮮明な画像の前記ピクセルの前記ピクセル値に基づいて前記鮮明な画像を生成するステップと、
    を備える、方法。
  2. 前記逆畳み込みカーネルおよび前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像のピクセルのピクセル値を前記決定するステップは、
    1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、前記逆畳み込みカーネルで特異値分解を実行するステップと、
    前記m個の非ゼロの特異値、前記m個の行ベクトル、前記m個の列ベクトル、および前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像の前記ピクセルの前記ピクセル値を決定するステップと、
    を備える、請求項1に記載の方法。
  3. 前記m個の非ゼロの特異値、前記m個の行ベクトル、前記m個の列ベクトル、および前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像の前記ピクセルの前記ピクセル値を前記決定するステップは、
    式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定するステップと、
    式
    に基づいてxt＋1を決定するステップと、
    式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定するステップと、
    tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定するステップと、
    tが前記繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新するステップであって、tが前記繰返し量に達するまで繰返しこのステップを実行する、ステップと、を備え、
    上式で
    および
    であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、slは前記m個の非ゼロの特異値のl番目の特異値を表し、fu lは前記l番目の特異値に対応する列ベクトルを表し、fv lは前記l番目の特異値に対応する行ベクトルを表し、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向のオペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、
    請求項2に記載の方法。
  4. 前記逆畳み込みカーネルおよび前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像のピクセルのピクセル値を前記決定するステップは、
    式zj t＋1＝argminzE（xt，zj，βt）に基づいてzj t＋1を決定するステップと、
    式
    に基づいてxt＋1を決定するステップと、
    式βt＋1＝2βtに基づいてβt＋1を決定するステップと、
    tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定するステップと、
    tが前記繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新するステップであって、tが前記繰返し量に達するまで繰返しこのステップを実行する、ステップと、を備え、
    上式で
    であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、
    請求項1に記載の方法。
  5. 前記逆畳み込みカーネルおよび前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像のピクセルのピクセル値を前記決定するステップは、
    式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定するステップと、
    式
    に基づいてxt＋1を決定するステップと、
    式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定するステップと、
    tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定するステップと、
    tが前記繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新するステップであって、tが前記繰返し量に達するまで繰返しこのステップを実行する、ステップと、を備え、
    上式で
    であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、
    請求項1に記載の方法。
  6. 予め設定された画像勾配オペレータおよび前記畳み込みカーネルに基づいて前記ぼやけた画像の逆畳み込みカーネルを前記決定するステップは、
    式
    に従って前記逆畳み込みカーネルを決定するステップを備え、上式でωβは前記逆畳み込みカーネルを表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は前記水平方向の勾配オペレータを表し、ならびにc2は前記垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す、
    請求項1から5のいずれか一項に記載の方法。
  7. ぼやけた画像に基づいて鮮明な画像を生成する装置であって、
    前記ぼやけた画像のピクセルのピクセル値、および前記ぼやけた画像の畳み込みカーネルを取得するように構成された、取得ユニットと、
    予め設定された画像勾配オペレータおよび前記取得ユニットにより取得された前記畳み込みカーネルに基づいて、前記ぼやけた画像の逆畳み込みカーネルを決定するように構成された、第1の決定ユニットと、
    前記第1の決定ユニットにより決定された前記逆畳み込みカーネルおよび前記取得ユニットにより取得された前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像のピクセルのピクセル値を決定するように構成された、第2の決定ユニットと、
    前記第2の決定ユニットにより決定された前記鮮明な画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像を生成するように構成された、生成ユニットと、
    を備える、装置。
  8. 前記第2の決定ユニットは、1対1対応にあるm個の非ゼロの特異値、m個の行ベクトル、およびm個の列ベクトルを得るために、前記逆畳み込みカーネルで特異値分解を実行し、前記m個の非ゼロの特異値、前記m個の行ベクトル、前記m個の列ベクトル、および前記ぼやけた画像の前記ピクセルの前記ピクセル値に基づいて、前記鮮明な画像の前記ピクセルの前記ピクセル値を決定するように構成される、請求項7に記載の装置。
  9. 前記第2の決定ユニットは、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定し、式
    に基づいてxt＋1を決定し、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定し、またはtが前記繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが前記繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
    および
    であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、slは前記m個の非ゼロの特異値のl番目の特異値を表し、fu lは前記l番目の特異値に対応する列ベクトルを表し、fv lは前記l番目の特異値に対応する行ベクトルを表し、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、請求項8に記載の装置。
  10. 前記第2の決定ユニットは、式zj t＋1＝argminzE（xt，zj，βt）に基づいてzj t＋1を決定し、式
    に基づいてxt＋1を決定し、式βt＋1＝2βtに基づいてβt＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定し、またはtが前記繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが前記繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
    であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、請求項7に記載の装置。
  11. 前記第2の決定ユニットは、式zj t＋1＝argminzE（xt，zj，γj t）に基づいてzj t＋1を決定し、式
    に基づいてxt＋1を決定し、式γj t＋1＝γj t−β（zj t＋1−cj＊xt＋1）に基づいてγj t＋1を決定し、tが予め設定された繰返し量に達するとき、xt＋1に基づいて前記鮮明な画像の前記ピクセルの前記ピクセル値を決定し、またはtが前記繰返し量に達しないとき、γj t＋1を使用してγj tを更新し、xt＋1を使用してxtを更新し、tが前記繰返し量に達するまで繰返しこのステップを実行するように構成され、上式で、
    であり、式中、nは前記ぼやけた画像の前記ピクセルの数を表し、tは繰返し量を表し、xは前記鮮明な画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、xtはxのt回目の繰返しの値を表し、xt＋1はxの（t＋1）回目の繰返しの値を表し、xの初期値はx1＝yであり、yは前記ぼやけた画像の前記ピクセルの前記ピクセル値から成る列ベクトルを表し、zj t＋1はzjの（t＋1）回目の繰返しの値を表し、γj tはγjのt回目の繰返しの値を表し、γj t+1はγjの（t＋1）回目の繰返しの値を表し、γjの初期値はγj 1＝0であり、cj ’およびk’はcjおよびkが180度回転された後に得られるオペレータをそれぞれ表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は水平方向の勾配オペレータを表し、ならびにc2は垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは多項式の重みを表し、αはα−ノルム拘束が課されることを表す、請求項7に記載の装置。
  12. 前記第1の決定ユニットは、式
    に従って前記逆畳み込みカーネルを決定するように構成され、上式でωβは前記逆畳み込みカーネルを表し、cjは前記画像勾配オペレータを表し、ここでcjはc1およびc2を備え、c1は前記水平方向の勾配オペレータを表し、ならびにc2は前記垂直方向の勾配オペレータを表し、kは前記畳み込みカーネルを表し、λおよびβは定数であり、F（・）はフーリエ変換を表し、F−1（・）は逆フーリエ変換を表す、請求項7から11のいずれか一項に記載の装置。
JP2015168812A 2014-09-05 2015-08-28 ぼやけた画像に基づいて鮮明な画像を生成する方法および装置 Active JP6106897B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410450141.3 2014-09-05
CN201410450141.3A CN105469363B (zh) 2014-09-05 2014-09-05 基于模糊图像生成清晰图像的方法和装置

Publications (2)

Publication Number Publication Date
JP2016058081A true JP2016058081A (ja) 2016-04-21
JP6106897B2 JP6106897B2 (ja) 2017-04-05

Family

ID=53836441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015168812A Active JP6106897B2 (ja) 2014-09-05 2015-08-28 ぼやけた画像に基づいて鮮明な画像を生成する方法および装置

Country Status (5)

Country Link
US (1) US9665792B2 (ja)
EP (1) EP2993642B1 (ja)
JP (1) JP6106897B2 (ja)
KR (1) KR101703790B1 (ja)
CN (1) CN105469363B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUB20154187A1 (it) 2015-10-06 2016-01-06 Fameccanica Data Spa Procedimento ed apparecchiatura per la produzione di una struttura assorbente
WO2017100971A1 (zh) * 2015-12-14 2017-06-22 北京大学深圳研究生院 一种失焦模糊图像的去模糊方法和装置
CN106815814B (zh) * 2016-12-26 2021-10-26 杭州施强教育科技有限公司 一种应用于阅卷系统的图像污染处理方法
KR20180075220A (ko) 2016-12-26 2018-07-04 삼성전자주식회사 멀티미디어 신호의 프로세싱 방법, 장치 및 시스템
KR101868266B1 (ko) * 2017-01-25 2018-06-15 포항공과대학교 산학협력단 희소표현 알고리즘을 이용한 블러 영상 디블러링 방법 및 장치
CN108510438A (zh) * 2017-02-24 2018-09-07 北京优朋普乐科技有限公司 一种图像、视频放大方法和系统
KR102416867B1 (ko) * 2017-03-07 2022-07-05 중앙대학교 산학협력단 비전 문제의 솔루션 제공 방법 및 그 장치
CN107730468B (zh) * 2017-10-23 2020-11-10 鹰艾思科技(深圳)有限公司 一种无人机模糊噪声图像下清晰图像的恢复方法
JP6994157B2 (ja) 2018-02-09 2022-01-14 トヨタ自動車株式会社 非水電解液二次電池および電池組立体
US10860900B2 (en) 2018-10-30 2020-12-08 International Business Machines Corporation Transforming source distribution to target distribution using Sobolev Descent
CN111272280B (zh) * 2020-02-25 2020-12-15 电子科技大学 利用逆卷积提高光谱仪系统分辨率的方法
CN111815537B (zh) * 2020-07-16 2022-04-29 西北工业大学 一种新型图像盲解去模糊方法
CN112383678B (zh) * 2020-10-27 2022-05-27 南京交通职业技术学院 一种运动模糊图像清晰装置
US11798139B2 (en) * 2020-11-17 2023-10-24 GM Global Technology Operations LLC Noise-adaptive non-blind image deblurring
CN116802674A (zh) * 2021-02-22 2023-09-22 Oppo广东移动通信有限公司 生成目标图像的方法、电子设备和非暂时性计算机可读介质
KR102328029B1 (ko) * 2021-06-02 2021-11-17 아주대학교산학협력단 블러 이미지 처리 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065663A (ja) * 2000-05-17 2002-03-05 Ge Medical Systems Global Technology Co Llc イメージング・データを逆畳み込みするための方法及び装置
JP2012515970A (ja) * 2009-01-22 2012-07-12 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 鏡面ハイライトを使用する画像のぼけ劣化の推定
JP2013168779A (ja) * 2012-02-15 2013-08-29 Hitachi-Ge Nuclear Energy Ltd 検査方法および検査装置
JP2014115790A (ja) * 2012-12-07 2014-06-26 Fujitsu Ltd 画像処理装置、情報処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4585456B2 (ja) 2006-01-23 2010-11-24 株式会社東芝 ボケ変換装置
CN100501831C (zh) * 2007-06-08 2009-06-17 中山大学 一种利用盲信号处理解决lcd运动图像模糊的方法
KR100990791B1 (ko) 2008-12-31 2010-10-29 포항공과대학교 산학협력단 영상의 블러 제거 방법 및 블러 제거 방법이 기록된 기록매체
US8203615B2 (en) * 2009-10-16 2012-06-19 Eastman Kodak Company Image deblurring using panchromatic pixels
US8390704B2 (en) * 2009-10-16 2013-03-05 Eastman Kodak Company Image deblurring using a spatial image prior
WO2013148142A1 (en) * 2012-03-29 2013-10-03 Nikon Corporation Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
US9208543B2 (en) * 2013-10-23 2015-12-08 Adobe Systems Incorporated Deblurring images having spatially varying blur

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065663A (ja) * 2000-05-17 2002-03-05 Ge Medical Systems Global Technology Co Llc イメージング・データを逆畳み込みするための方法及び装置
JP2012515970A (ja) * 2009-01-22 2012-07-12 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 鏡面ハイライトを使用する画像のぼけ劣化の推定
JP2013168779A (ja) * 2012-02-15 2013-08-29 Hitachi-Ge Nuclear Energy Ltd 検査方法および検査装置
JP2014115790A (ja) * 2012-12-07 2014-06-26 Fujitsu Ltd 画像処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
EP2993642A1 (en) 2016-03-09
CN105469363A (zh) 2016-04-06
US20160070979A1 (en) 2016-03-10
JP6106897B2 (ja) 2017-04-05
US9665792B2 (en) 2017-05-30
CN105469363B (zh) 2018-05-18
EP2993642B1 (en) 2017-10-11
KR20160029668A (ko) 2016-03-15
KR101703790B1 (ko) 2017-02-07

Similar Documents

Publication Publication Date Title
JP6106897B2 (ja) ぼやけた画像に基づいて鮮明な画像を生成する方法および装置
Rodríguez et al. Mixed Gaussian-impulse noise image restoration via total variation
JP6387646B2 (ja) グレースケール画像の処理方法及び装置
KR101839617B1 (ko) 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
CN106683174B (zh) 双目视觉系统的三维重建方法、装置及双目视觉系统
KR20130104258A (ko) 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
KR101362011B1 (ko) 링잉 아티펙트없는 블러 제거 방법
JP5027757B2 (ja) 動画像雑音除去装置、その方法およびそのプログラム
JPWO2013161940A1 (ja) 画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
Bappy et al. Combination of hybrid median filter and total variation minimisation for medical X‐ray image restoration
JP5105286B2 (ja) 画像復元装置、画像復元方法及び画像復元プログラム
US10229479B2 (en) Image signal processing apparatus, image signal processing method and image signal processing program
Witwit et al. Global motion based video super-resolution reconstruction using discrete wavelet transform
JP6344934B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体
JP7002213B2 (ja) 空間・階調超解像装置及びプログラム
JP2017010094A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
Son et al. Image-pair-based deblurring with spatially varying norms and noisy image updating
Chen et al. Image deblurring via combined total variation and framelet
Sola et al. Blind image deblurring based on multi-resolution ringing removal
JP2016167736A (ja) 画像変換装置、画像変換方法及び画像変換プログラム
Georgis et al. Single-image super-resolution using low complexity adaptive iterative back-projection
Wang et al. A new bandwidth adaptive non-local kernel regression algorithm for image/video restoration and its GPU realization
Lin et al. An iterative enhanced super-resolution system with edge-dominated interpolation and adaptive enhancements
Jeong et al. Video deblurring algorithm using an adjacent unblurred frame
JPWO2017183297A1 (ja) 画像処理装置、画像処理プログラム及び画像処理方法、並びに画像送受信システム及び画像送受信方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170216

R150 Certificate of patent or registration of utility model

Ref document number: 6106897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250