JP4882999B2 - 画像処理装置、画像処理方法、プログラム、および学習装置 - Google Patents

画像処理装置、画像処理方法、プログラム、および学習装置 Download PDF

Info

Publication number
JP4882999B2
JP4882999B2 JP2007330454A JP2007330454A JP4882999B2 JP 4882999 B2 JP4882999 B2 JP 4882999B2 JP 2007330454 A JP2007330454 A JP 2007330454A JP 2007330454 A JP2007330454 A JP 2007330454A JP 4882999 B2 JP4882999 B2 JP 4882999B2
Authority
JP
Japan
Prior art keywords
blur
image
amount
feature
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007330454A
Other languages
English (en)
Other versions
JP2009151659A (ja
Inventor
寿一 白木
哲二郎 近藤
健治 高橋
勉 渡辺
隆浩 永野
泰広 周藤
紀晃 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007330454A priority Critical patent/JP4882999B2/ja
Priority to US12/331,815 priority patent/US8331713B2/en
Priority to CNA2008101863807A priority patent/CN101465943A/zh
Priority to KR1020080130224A priority patent/KR20090068162A/ko
Publication of JP2009151659A publication Critical patent/JP2009151659A/ja
Application granted granted Critical
Publication of JP4882999B2 publication Critical patent/JP4882999B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置、画像処理方法、プログラム、および学習装置に関し、特に、画像内で焦点距離の異なる被写体が複数含まれることによって生じるぼけを最適に除去することができるようにする画像処理装置、画像処理方法、プログラム、および学習装置に関する。
画像のぼけ（ボケ）を除去する様々な画像処理が提案されている。
例えば、前景や背景にそれぞれ合焦させた焦点距離の異なる複数枚の画像を撮像し、これら複数の画像から、前景や背景の被写体のぼけ具合が調整されたぼけコントロール画像を作成する方法がある（例えば、特許文献１参照）。
また、エッジの傾斜度が所定の閾値を超えているか否かによって合焦しているかどうかを小ブロック単位で判定するもので、小ブロックのばらつきなどを考慮し、閾値を最適化しつつ、合焦していると判定された小ブロックを連結して合焦領域を抽出するものがある（例えば、特許文献２参照）。
特開２００２−７７５９１号公報 特開２００１−３３１８０６号公報
しかしながら、特許文献１で示される方法では、予め複数の画像を撮影することが前提となっており、既に撮影された画像や放送によって送られてくる画像に対しては処理が適用できないという問題がある。
また、特許文献２で示される方法では、合焦か否かを切り分けるため、１つの画面内でぼけ量の異なる複数の領域の判定は行っておらず、複数の領域を切り分ける場合には、閾値を複数用意しなければならないため、入力画像ごとに、閾値を精度良く最適化するのは困難であるという問題がある。
本発明は、このような状況に鑑みてなされたものであり、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去することができるようにするものである。
本発明の第１の側面の画像処理装置は、入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、前記複数種類のボケ除去結果画像から特徴量を検出する特徴量検出手段と、前記特徴量よりボケ量のクラスを表すボケ量クラスを決定するボケ量クラス決定手段と、前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成する予測処理手段とを備え、前記ボケ量クラス決定手段は、入力された画像に複数種類のボケ量のボケを付加したボケ画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を検出し、前記複数種類のボケ量のそれぞれにおける、前記特徴量の度数分布を予め検出することにより、特徴量毎に、それぞれのボケ量の発生確率を示す確率分布を記憶するボケ量発生確率記憶手段を有し、前記特徴量検出手段により検出された特徴量の、前記ボケ量発生確率記憶手段に記憶されている確率分布より、最も発生確率の高いボケ量を前記ボケ量クラスとして決定する。
前記特徴量検出手段には、注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素それぞれについて前記特徴量を検出させ、前記ボケ量クラス決定手段には、前記特徴量検出手段により検出された前記特徴量に応じたボケ量の発生確率を同一のボケ量どうしで加算させ、その加算結果から、前記注目画素に対応するボケ量クラスを決定させることができる。
前記ボケ量クラス決定手段は、平坦な画像にノイズを付加したノイズ付加画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を予め検出することにより、ノイズにおける特徴量の発生確率を示す情報を記憶するノイズ情報記憶手段をさらに有し、前記ボケ量クラス決定手段には、前記注目画素およびその周辺の画素それぞれの特徴量のうち、前記ノイズにより発生した可能性が高い前記特徴量のボケ量の発生確率の加算は行わないようにさせることができる。
本発明の第１の側面の画像処理方法は、入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成し、前記複数種類のボケ除去結果画像から特徴量を検出し、前記特徴量よりボケ量のクラスを表すボケ量クラスを決定し、前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成し、前記ボケ量クラスを決定する場合には、検出された特徴量の、ボケ量発生確率記憶手段に記憶されている確率分布より、最も発生確率の高いボケ量を前記ボケ量クラスとして決定するステップを含み、前記ボケ量発生確率記憶手段には、入力された画像に複数種類のボケ量のボケを付加したボケ画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を検出し、前記複数種類のボケ量のそれぞれにおける、前記特徴量の度数分布を予め検出することにより、特徴量毎に、それぞれのボケ量の発生確率を示す確率分布が記憶されている。
本発明の第１の側面のプログラムは、入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成し、前記複数種類のボケ除去結果画像から特徴量を検出し、前記特徴量よりボケ量のクラスを表すボケ量クラスを決定し、前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成し、前記ボケ量クラスを決定する場合には、検出された特徴量の、ボケ量発生確率記憶手段に記憶されている確率分布より、最も発生確率の高いボケ量を前記ボケ量クラスとして決定するステップを含み、前記ボケ量発生確率記憶手段には、入力された画像に複数種類のボケ量のボケを付加したボケ画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を検出し、前記複数種類のボケ量のそれぞれにおける、前記特徴量の度数分布を予め検出することにより、特徴量毎に、それぞれのボケ量の発生確率を示す確率分布が記憶されている画像処理をコンピュータに実行させる。
本発明の第１の側面においては、入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像が生成され、複数種類のボケ除去結果画像から検出された特徴量よりボケ量のクラスを表すボケ量クラスが決定され、ボケ量クラスに対応する予め学習された予測係数と、入力画像の所定の画素の画素値との演算によりボケ除去された出力画像が生成される。ここで、ボケ量クラスを決定する場合には、検出された特徴量の、ボケ量発生確率記憶手段に記憶されている確率分布より、最も発生確率の高いボケ量をボケ量クラスとして決定し、ボケ量発生確率記憶手段には、入力された画像に複数種類のボケ量のボケを付加したボケ画像を複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を検出し、複数種類のボケ量のそれぞれにおける、特徴量の度数分布を予め検出することにより、特徴量毎に、それぞれのボケ量の発生確率を示す確率分布が記憶されている。
本発明の第２の側面の画像処理装置は、入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、前記複数種類のボケ除去結果画像から特徴量を検出する特徴量検出手段と、前記特徴量よりボケ量のクラスを表すボケ量クラスを決定するボケ量クラス決定手段と、前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成する予測処理手段とを備え、前記特徴量検出手段は、注目画素に対応する前記入力画像の画素およびその周辺の画素から第１の画像特徴を検出する第１の画像特徴検出手段と、注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素から第２の画像特徴を検出する第２の画像特徴検出手段とを有し、前記ボケ量クラス決定手段は、複数の画像を、画素単位で前記第１の画像特徴で分類し、その第１の画像特徴ごとに、前記第２の画像特徴の特性値を検出して記憶する特徴量特性値記憶手段を有し、前記ボケ量クラス決定手段は、前記第１の画像特徴検出手段により検出された第１の画像特徴に対応する第２の画像特徴の特性値を前記特徴量特性値記憶手段から取得し、前記第２の画像特徴検出手段により検出された第２の画像特徴と、取得された前記特性値とを比較することにより、前記ボケ量クラスを決定する。
本発明の第２の側面の画像処理方法は、入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成し、前記複数種類のボケ除去結果画像から特徴量を検出し、前記特徴量よりボケ量のクラスを表すボケ量クラスを決定し、前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成し、前記特徴量を検出する場合、注目画素に対応する前記入力画像の画素およびその周辺の画素から第１の画像特徴を検出するとともに、注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素から第２の画像特徴を検出し、前記ボケ量クラスを決定する場合、複数の画像を、画素単位で前記第１の画像特徴で分類し、その第１の画像特徴ごとに、前記第２の画像特徴の特性値を検出して記憶する特徴量特性値記憶手段から、検出された第１の画像特徴に対応する第２の画像特徴の特性値を取得し、検出された第２の画像特徴と、取得された前記特性値とを比較することにより、前記ボケ量クラスを決定するステップを含む。
本発明の第２の側面のプログラムは、入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成し、前記複数種類のボケ除去結果画像から特徴量を検出し、前記特徴量よりボケ量のクラスを表すボケ量クラスを決定し、前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成し、前記特徴量を検出する場合、注目画素に対応する前記入力画像の画素およびその周辺の画素から第１の画像特徴を検出し、注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素から第２の画像特徴を検出するとともに、前記ボケ量クラスを決定する場合、複数の画像を、画素単位で前記第１の画像特徴で分類し、その第１の画像特徴ごとに、前記第２の画像特徴の特性値を検出して記憶する特徴量特性値記憶手段から、検出された第１の画像特徴に対応する第２の画像特徴の特性値を取得し、検出された第２の画像特徴と、取得された前記特性値とを比較することにより、前記ボケ量クラスを決定するステップを含む画像処理をコンピュータに実行させる。
本発明の第２の側面においては、入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像が生成され、複数種類のボケ除去結果画像から検出された特徴量よりボケ量のクラスを表すボケ量クラスが決定され、ボケ量クラスに対応する予め学習された予測係数と、入力画像の所定の画素の画素値との演算によりボケ除去された出力画像が生成される。ここで、特徴量を検出する場合、注目画素に対応する入力画像の画素およびその周辺の画素から第１の画像特徴が検出されるとともに、注目画素に対応するボケ除去結果画像の画素およびその周辺の画素から第２の画像特徴が検出され、ボケ量クラスを決定する場合、複数の画像が、画素単位で第１の画像特徴で分類され、その第１の画像特徴ごとに、第２の画像特徴の特性値を検出して記憶する特徴量特性値記憶手段から、検出された第１の画像特徴に対応する第２の画像特徴の特性値が取得され、検出された第２の画像特徴と、取得された特性値とを比較することにより、ボケ量クラスが決定される。
本発明の第３の側面の学習装置は、画像のボケを除去する画像処理装置に用いられる予測係数を学習する学習装置であって、教師画像として入力されたボケのない入力画像に対して、ボケを付加した生徒画像を生成するボケ付加手段と、前記生徒画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、前記複数種類のボケ除去結果画像から特徴量を検出する特徴量検出手段と、前記特徴量よりボケ量のクラスを表すボケ量クラスを決定するボケ量クラス決定手段と、前記生徒画像と前記教師画像を用いて、前記ボケ量クラスごとに前記予測係数を求める演算手段とを備え、前記ボケ量クラス決定手段は、入力された画像に複数種類のボケ量のボケを付加したボケ画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を検出し、前記複数種類のボケ量のそれぞれにおける、前記特徴量の度数分布を予め検出することにより、特徴量毎に、それぞれのボケ量の発生確率を示す確率分布を記憶するボケ量発生確率記憶手段を有し、前記特徴量検出手段により検出された特徴量の、前記ボケ量発生確率記憶手段に記憶されている確率分布より、最も発生確率の高いボケ量を前記ボケ量クラスとして決定する。
本発明の第３の側面においては、教師画像として入力されたボケのない入力画像に対して、ボケを付加した生徒画像が生成され、その生徒画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像が生成される。そして、複数種類のボケ除去結果画像から検出された特徴量よりボケ量のクラスを表すボケ量クラスが決定され、生徒画像と教師画像を用いて、ボケ量クラスごとに予測係数を求められる。ここで、ボケ量クラスを決定する場合、入力された画像に複数種類のボケ量のボケを付加したボケ画像を複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を検出し、複数種類のボケ量のそれぞれにおける、特徴量の度数分布を予め検出することにより、特徴量毎に、それぞれのボケ量の発生確率を示す確率分布を記憶するボケ量発生確率記憶手段のうち、検出された特徴量の確率分布より、最も発生確率の高いボケ量がボケ量クラスとして決定される。
前記特徴量検出手段には、注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素それぞれについて前記特徴量を検出させ、前記ボケ量クラス決定手段には、前記特徴量検出手段により検出された前記特徴量に応じたボケ量の発生確率を同一のボケ量どうしで加算させ、その加算結果から、前記注目画素に対応するボケ量クラスを決定させることができる。
前記ボケ量クラス決定手段は、平坦な画像にノイズを付加したノイズ付加画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を予め検出することにより、ノイズにおける特徴量の発生確率を示す情報を記憶するノイズ情報記憶手段をさらに有し、前記ボケ量クラス決定手段には、前記注目画素およびその周辺の画素それぞれの特徴量のうち、前記ノイズにより発生した可能性が高い前記特徴量のボケ量の発生確率の加算は行わないようにさせることができる。
本発明の第４の側面の学習装置は、画像のボケを除去する画像処理装置に用いられる予測係数を学習する学習装置であって、教師画像として入力されたボケのない入力画像に対して、ボケを付加した生徒画像を生成するボケ付加手段と、前記生徒画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、前記複数種類のボケ除去結果画像から特徴量を検出する特徴量検出手段と、前記特徴量よりボケ量のクラスを表すボケ量クラスを決定するボケ量クラス決定手段と、前記生徒画像と前記教師画像を用いて、前記ボケ量クラスごとに前記予測係数を求める演算手段とを備え、前記特徴量検出手段は、注目画素に対応する前記入力画像の画素およびその周辺の画素から第１の画像特徴を検出する第１の画像特徴検出手段と、注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素から第２の画像特徴を検出する第２の画像特徴検出手段とを有し、前記ボケ量クラス決定手段は、複数の画像を、画素単位で前記第１の画像特徴で分類し、その第１の画像特徴ごとに、前記第２の画像特徴の特性値を検出して記憶する特徴量特性値記憶手段を有し、前記ボケ量クラス決定手段は、前記第１の画像特徴検出手段により検出された第１の画像特徴に対応する第２の画像特徴の特性値を前記特徴量特性値記憶手段から取得し、前記第２の画像特徴検出手段により検出された第２の画像特徴と、取得された前記特性値とを比較することにより、前記ボケ量クラスを決定する。
本発明の第４の側面においては、教師画像として入力されたボケのない入力画像に対して、ボケを付加した生徒画像が生成され、その生徒画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像が生成される。そして、複数種類のボケ除去結果画像から検出された特徴量よりボケ量のクラスを表すボケ量クラスが決定され、生徒画像と教師画像を用いて、ボケ量クラスごとに予測係数を求められる。ここで、特徴量を検出する場合、注目画素に対応する入力画像の画素およびその周辺の画素から第１の画像特徴が検出され、注目画素に対応するボケ除去結果画像の画素およびその周辺の画素から第２の画像特徴が検出され、ボケ量クラスを決定する場合、複数の画像が、画素単位で第１の画像特徴で分類され、その第１の画像特徴ごとに、第２の画像特徴の特性値を検出して記憶する特徴量特性値記憶手段から、検出された第１の画像特徴に対応する第２の画像特徴の特性値が取得され、検出された第２の画像特徴と、取得された特性値とを比較することにより、ボケ量クラスが決定される。
本発明の第１の側面によれば、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去する。
本発明の第２の側面によれば、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去する画像処理装置に用いられる予測係数を求めることができる。
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
図１の画像処理装置１は、除去係数ROM１０、ぼけ除去処理部１１ａ乃至１１ｆ、注目画素設定部１２、ぼけ量クラス生成部１３、予測係数ROM１４、および予測処理部１５により構成されている。
画像処理装置１には、被写体とカメラの距離に応じてぼけ量の異なるオブジェクト領域が複数存在する画像が入力画像として供給され、画像処理装置１は、入力画像のぼけ（ボケ）を除去した画像を出力画像として出力する。
図２は、画像処理装置１に入力される入力画像の例である。
図２に示される画像（入力画像）は、所定の平面２２上に載置されている、おもちゃの飛行機２１（以下、単に飛行機２１という）をカメラで撮像して得られた画像である。この画像において、例えば、平面２２の一部の領域３１、飛行機２１の一部の領域３２、および、飛行機２１の背景２３の一部の領域３３に注目すると、領域３１乃至３３では、各領域に含まれる被写体とカメラとの距離が異なる。したがって、領域３１乃至３３それぞれの画像のぼけ量も互いに異なっており、このような、被写体（オブジェクト）とカメラの距離に応じてぼけ量の異なるオブジェクト領域が複数存在する画像が画像処理装置１の処理対象の画像として入力される。
図１に戻り、除去係数ROM１０は、ぼけ除去処理部１１ａ乃至１１ｆで使用されるぼけ除去係数を記憶する。なお、ぼけ除去係数は、ぼけ除去処理部１１ａ乃至１１ｆごとに、それぞれ異なるものである。
ぼけ除去処理部１１ａ乃至１１ｆは、入力画像に対して所定のぼけ量を除去するぼけ除去処理を施した結果であるぼけ除去結果画像（以下、単にぼけ除去画像という）をぼけ量クラス生成部１３に供給する。ぼけ除去処理部１１ａ乃至１１ｆでは、入力画像に対してぼけ除去処理を施すときのぼけ量が異なる。例えば、ぼけ除去処理部１１ａは、入力画像に対してぼけ量aのぼけを除去するぼけ除去処理を施し、ぼけ除去処理部１１ｂは、入力画像に対してぼけ量ｂのぼけを除去するぼけ除去処理を施す。ぼけ除去処理部１１ｃ乃至１１ｆが除去するぼけ量は、それぞれ同様に、ぼけ量ｃ乃至ｆであり、例えば、ぼけ量a乃至ｆは、ぼけ量a，ｂ，ｃ，ｄ，ｅ，ｆの順に小さいとする。
ぼけ除去処理部１１ａは、入力画像の各画素を順に注目画素に設定し、注目画素に対して所定の領域内の画素（の画素値）を予測タップとして抽出する。また、ぼけ除去処理部１１ａは、注目画素に対して所定の領域内の画素（の画素値）を、注目画素を所定のクラスに分類するためのクラスタップとして抽出する。クラスタップと予測タップは、同一であっても異なっていてもよい。そして、ぼけ除去処理部１１ａは、クラスタップから決定されるクラスコードに対応するぼけ量a用のぼけ除去係数を除去係数ROM１０から取得し、予測タップを構成する画素の画素値と、除去係数ROM１０から取得したぼけ量a用のぼけ除去係数との積和演算を行うことにより、ぼけ量aのぼけを除去したときの注目画素の画素値を求める。
ここで、予測タップを構成する画素の画素値をｘ1乃至ｘNとし、除去係数ROM１０から供給された所定のクラスのぼけ量a用のぼけ除去係数をｗ1乃至ｗNとすると、ぼけ量aのぼけを除去したときの注目画素の画素値ｙを求める積和演算は、次式で表すことができる。
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗNｘN ・・・・・（１）
ぼけ除去処理部１１ｂ乃至１１ｆも、ぼけ量が異なる以外は、ぼけ除去処理部１１ａと同様の処理を行う。即ち、ぼけ除去処理部１１ｂ乃至１１ｆは、それぞれ、ぼけ量ｂ乃至ｆ用のぼけ除去係数を除去係数ROM１０から取得して、予測タップの画素値と積和演算を行う。
注目画素設定部１２は、出力画像を構成する各画素を順に注目画素に設定する。ぼけ量クラス生成部１３、予測係数ROM１４、および予測処理部１５では、注目画素設定部１２により設定された注目画素に対して、処理が行われる。ぼけ量クラス生成部１３において注目画素に対して所定の処理を実行する場合には、ぼけ除去処理部１１ａ乃至１１ｆによるぼけ除去画像が出力されていなければならないので、ぼけ除去処理部１１ａ乃至１１ｆの内部で設定される上述した注目画素と、注目画素設定部１２により設定される注目画素は、それぞれ異なる（独立した）ものであり、以下において、注目画素とは、注目画素設定部１２により設定される注目画素のことをいう。
ぼけ量クラス生成部１３は、ぼけ除去処理部１１ａ乃至１１ｆからそれぞれ供給されるぼけ除去画像を用いて、注目画素のぼけ量を所定のクラスに分類し、その結果としてのぼけ量クラスコードを予測係数ROM１４に供給する。ぼけ量クラス生成部１３が、どのようにして、注目画素のぼけ量を表すぼけ量クラスコードを算出するかについては、図６以降を参照して後述する。
予測係数ROM１４は、図２４を参照して後述する予測係数学習装置２２１により求められる各ぼけ量クラスに対応する予測係数を記憶する。そして、予測係数ROM１４は、ぼけ量クラス生成部１３から所定のぼけ量クラスコードが供給されると、そのぼけ量クラスコードに対応する予測係数を予測処理部１５に供給する。
予測処理部１５は、注目画素に対して所定の領域を予測タップ範囲とし、その予測タップ範囲に含まれる入力画像の各画素を予測タップとして、（１）式と同様の、予測タップの画素値と予測係数との積和演算により、出力画像となる注目画素の画素値を算出する。
次に、除去係数ROM１０に記憶されるぼけ除去係数の生成方法について説明する。
図３は、除去係数ROM１０に記憶されるぼけ除去係数を求める、ぼけ除去係数学習装置４１の構成例を示すブロック図である。
ぼけ除去係数学習装置４１は、ぼけ付加部４２と学習部４３とで構成されている。
ぼけ除去係数学習装置４１には、ぼけのない画像が教師画像（入力画像）として入力され、ぼけ付加部４２と学習部４３に供給される。
ぼけ付加部４２は、入力画像に対して、擬似的にぼけを付加し、ぼけが生じている画像を生成して、生徒画像として学習部４３に供給する。具体的には、ほけ付加部４２は、次式（２）に従って、生徒画像を生成する。
Figure 0004882999
式（２）におけるＸ（x＋i，y＋j）は、座標Ｘ（x＋i，y＋j）のぼけが発生していない教師画像の画素値を表し、これに重み付け係数Ｗ（i，j）を乗算した値をたたみ込むことで、ぼけが発生した生徒画像の画素値Ｙ（x，y）が発生するものとされる。そして、重み付け係数Ｗ（i，j）は、次式に示されるように、レンズの焦点ずれによるぼけを表したガウス関数とされる。
Figure 0004882999
パラメータσは、ぼけに対応するパラメータであり、パラメータσの値が大きくなるほど、ぼけも大きくなる。逆に、パラメータσの値が小さいと、ぼけも小さくなる。
式（２）と式（３）によれば、ｘ座標がx＋iで、ｙ座標がy＋jの位置にある画素から、ｘ座標がｘで、ｙ座標がｙの位置にある注目画素に拡散される画素値を積算することにより、ぼけ付加後の注目画素の画素値が求められる。
学習部４３は、入力画像を教師画像、ぼけ付加部４２から供給される画像を生徒画像として、正規方程式を立てて、最小自乗法で学習処理を行うことにより、ぼけ除去係数を算出する。以下、正規方程式を立てて解く、ぼけ除去係数の求め方について簡単に説明する。なお、予測処理部１５が予測係数ROM１４から取得して、予測タップの画素値との積和演算に使用する予測係数の求め方も同様である。
上述した式（１）は、次式（１’）で表すことができる。
Figure 0004882999
但し、式（１’）において、ｘnは、ぼけのない教師画像の画素（以下、適宜、高画質画素という）ｙについての予測タップを構成する、ｎ番目のぼけが付加された生徒画像の画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のぼけ除去係数（予測係数）を表す。
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１’）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
Figure 0004882999
いま、式（４）の予測値ｙk'は、式（１’）にしたがって求められるため、式（４）のｙk'を、式（１’）にしたがって置き換えると、次式が得られる。
Figure 0004882999
但し、式（５）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
式（５）（または式（４））の予測誤差ｅkを０とするぼけ除去係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなぼけ除去係数ｗnを求めることは、一般には困難である。
そこで、ぼけ除去係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なぼけ除去係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0004882999
但し、式（６）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（６）の自乗誤差の総和Ｅの最小値（極小値）は、式（７）に示すように、総和Ｅをぼけ除去係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 0004882999
そこで、上述の式（５）をぼけ除去係数ｗnで偏微分すると、次式が得られる。
Figure 0004882999
式（７）と（８）から、次式が得られる。
Figure 0004882999
式（９）のｅkに、式（５）を代入することにより、式（９）は、式（１０）に示す正規方程式で表すことができる。
Figure 0004882999
式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、ぼけ除去係数ｗnについて解くことができる。
式（１０）の正規方程式を、クラスごとにたてて解くことにより、最適なぼけ除去係数（ここでは、自乗誤差の総和Ｅを最小にするぼけ除去係数）ｗnを、クラスごとに求めることができ、以上のように求められたぼけ除去係数が除去係数ROM１０に記憶されている。
ここで、除去係数ROM１０に記憶されているぼけ除去係数は、パラメータσを、例えば、σ＝０．３，０．６，１．２，１．８，２．４，２．７にしたときのぼけ除去係数であるとする。即ち、ぼけ除去処理部１１ａがσ＝０．３、ぼけ除去処理部１１ｂがσ＝０．６、ぼけ除去処理部１１ｃがσ＝１．２、ぼけ除去処理部１１ｄがσ＝１．８、ぼけ除去処理部１１ｅがσ＝２．４、ぼけ除去処理部１１ｆがσ＝２．７に対応するぼけ除去処理を行う。
図４は、予測処理部１５が注目画素に対して設定する予測タップの例を示している。
予測処理部１５は、学習において用いたぼけパラメータσのうちの最大となるぼけパラメータσmax（上述の例ではσmax＝２．７）によって、予測タップ範囲を決定する。より具体的には、予測処理部１５は、注目画素を中心に半径を３×σmaxとした円内の範囲を予測タップ範囲とする。これは、σmaxでぼけた領域に対して、十分なぼけ除去結果を得るためには、３×σmaxを半径とする程度の予測タップが必要だからである。例えば、図３は、σmax＝３．０とした場合の予測タップを示している。
図５のフローチャートを参照して、図１の画像処理装置１による画像処理（ぼけ除去処理）について説明する。
初めに、ステップＳ１において、ぼけ除去処理部１１ａ乃至１１ｆは、それぞれ、入力画像に対して、ぼけ量a乃至ｆのぼけを除去するぼけ除去処理を施し、ぼけ量a乃至ｆに対応したぼけ除去画像を、ぼけ量クラス生成部１３に供給する。
ステップＳ２において、注目画素設定部１２は、出力画像の所定の画素を注目画素に設定する。
ステップＳ３において、ぼけ量クラス生成部１３は、ぼけ除去処理部１１ａ乃至１１ｆからそれぞれ供給されるぼけ除去画像を用いて、注目画素のぼけ量を所定のクラスに分類し、その結果としてのぼけ量クラスコードを予測係数ROM１４に供給する。
ステップＳ４において、予測係数ROM１４は、ぼけ量クラス生成部１３から供給されたぼけ量クラスコードに対応する予測係数を予測処理部１５に供給する。
ステップＳ５において、予測処理部１５は、予測タップの画素値と予測係数との積和演算により、出力画像となる注目画素の画素値（出力画素値）を算出する。
ステップＳ６において、予測処理部１５は、出力画像の全画素について出力画素値を求めたかを判定する。ステップＳ６で、出力画像の全画素について出力画素値を求めていないと判定された場合、処理はステップＳ２に戻り、それ以降の処理が再度実行される。即ち、まだ出力画素値が求められていない画素が注目画素に設定され、出力画素値が求められる。
一方、ステップＳ６で、出力画像の全画素について出力画素値を求めたと判定された場合、処理は終了する。
以上のように、画像処理装置１は、入力画像を様々なぼけ量でぼけ除去処理を行った結果を基に、入力画像の各画素のぼけ量を所定のクラスに分類し、分類されたぼけ量クラスコードに基づいて決定された予測係数を用いた積和演算により、ぼけを除去した出力画像（出力画素値）を生成する。
ぼけ量クラス生成部１３におけるぼけ量クラスの分類方式については、さまざまな方式を採用することができるため、次に、ぼけ量クラス生成部１３の各種の実施の形態について説明する。
最初に、ぼけ量クラス生成部１３の第１の実施の形態について説明する。
図６は、ぼけ除去処理部１１ａ乃至１１ｅが、それぞれ、ぼけパラメータσを、σ＝０．３，０．６，１．２，１．８，２．４で、図２の入力画像をぼけ除去処理した後の、領域３１乃至３３のぼけ除去画像を示している。
図６において、上段は、領域３３のぼけ除去画像であり、中段は、領域３２のぼけ除去画像であり、下段は、領域３１のぼけ除去画像である。
領域３３内の被写体は、領域３１乃至３３のなかでカメラから最も遠い位置にあり、ぼけ除去結果としては、５種類のパラメータσのなかでは、σ＝１．８に対応するぼけ除去画像が良好である。
一方、領域３１内の被写体は、領域３１乃至３３のなかでカメラから最も近い（手前の）位置にあり、ぼけ除去結果としては、５種類のパラメータσのなかでは、σ＝０．６に対応するぼけ除去画像が良好である。
領域３２内の被写体は、領域３１と３３内の被写体の中間の位置にあり、ぼけ除去結果としては、５種類のパラメータσのなかでは、σ＝１．２に対応するぼけ除去画像が良好である。
従って、入力画像中の各領域のぼけの度合いに応じて、最適と思われるぼけ除去パラメータが異なることが分かる。
また、図６のぼけ除去画像によれば、良好と判断されるぼけ量を超えたパラメータσでぼけ除去したぼけ除去画像には、激しいリンギングが発生し、破綻が見られる。例えば、領域３３に対してはσ＝２．４のぼけ除去画像で、領域３２に対してはσ＝１．８のぼけ除去画像で、領域３１に対してはσ＝１．２のぼけ除去画像で、破綻が見られている。
従って、パラメータσを徐々に大きくしてぼけ除去処理を行った場合に、初めて破綻の生じるパラメータも、入力画像中の各画素のぼけの度合いに応じて異なると言うことができる。
そこで、第１の実施の形態におけるぼけ量クラス生成部１３（以下、ぼけ量クラス生成部１３1と記述する）は、初めて破綻の生じたぼけ除去画像を検出することによって、注目画素のぼけ量を表すぼけ量クラスコードを算出する。
具体的には、ぼけ量クラス生成部１３1は、注目画素を中心として図４に示したような円形の領域を設定し、その領域内において次式（１１）を満たす画素数をカウントする。
｜Ｚ（ｘ，ｙ）−Ｏｆｆｓｅｔ（ｘ，ｙ）｜ ≧ threshold・・・・・（１１）
式（１１）において、Ｚ（ｘ，ｙ）は、画素（ｘ，ｙ）のぼけ除去画像の画素値である。Ｏｆｆｓｅｔ（ｘ，ｙ）およびthresholdは、例えば、Ｏｆｆｓｅｔ（ｘ，ｙ）＝０，threshold＝２５５と設定することができ（以下、第１実施の形態の第１のカウント方式と称する）、この場合、ぼけ除去画像が入力画像の輝度レベルの上限２５５を超える画素を、ぼけ量クラス生成部１３1がカウントする意味となる。
あるいは、式（１１）において、例えば、Ｏｆｆｓｅｔ（ｘ，ｙ）を入力画像の画素値、thresholdを所定の値と設定することができ（以下、第１実施の形態の第２のカウント方式と称する）、この場合、入力画像とぼけ除去画像の画素値の変化が大きい（threshold以上）である画素を、ぼけ量クラス生成部１３1がカウントする意味となる。thresholdの値は、事前の実験により最適な値とされる。
図７は、上述の第１または第２のカウント方式によるカウント結果の例を示している。
ぼけ量クラス生成部１３1は、第１または第２のカウント方式によるカウント結果に基づいて、ぼけ量クラスコードを生成する。
例えば、ぼけ量クラス生成部１３1は、カウント結果が“０”である場合にはコードの“０”を、カウント結果が“０以外の値”である場合にはコードの“１”を割り当てることにより、縮退したぼけ量クラスコードとする（以下、第１実施の形態の第１の判定方式と称する）。
図７の“クラスコード０／１判定”は、図７に示される“カウント結果”に対する第１の判定方式により生成されたぼけ量クラスコードを示している。
あるいは、ぼけ量クラス生成部１３1は、カウント結果がその最大値と最小値の中間値（（最大値−最小値）／２）より大きい場合には“１”コードの“１”を、カウント結果が中間値以下である場合にはコードの“０”を割り当てることにより、縮退したぼけ量クラスコードとする（以下、第１実施の形態の第２の判定方式と称する）。
図７の“クラスコード閾値判定”は、図７に示される“カウント結果”に対する第２の判定方式により生成されたぼけ量クラスコードを示している。
なお、上述した第１および第２の判定方式以外のその他の判定方式を採用することも可能である。例えば、入力画像のぼけ量が小さい場合と大きい場合とでは、カウント結果の最大値と最小値の差DR=（最大値−最小値）も異なってくる。具体的には、入力画像のぼけ量が小さい場合には破綻が生じやすく、最大値と最小値の差DRが大きくなり、反対に入力画像のぼけ量が大きい場合には最大値と最小値の差DRが小さくなる。そこで、最大値と最小値の差DRの値をぼけ量クラスとして追加してもよい。これにより、より入力画像のぼけ量を区別しやすくすることができる。
図８は、第１の判定方式または第２の判定方式を行うことによりぼけ量クラスコードを生成するぼけ量クラス生成部１３（ぼけ量クラス生成部１３1）の構成例を示すブロック図である。
ぼけ量クラス生成部１３1は、特徴量算出部８１ａ乃至８１ｆ、閾値算出部８２、閾値判定部８３ａ乃至８３ｆ、および、ぼけ量クラス出力部８４により構成されている。
特徴量算出部８１ａには、ぼけ除去処理部１１ａでぼけ除去処理された結果である、ぼけ除去画像（以下、適宜、ぼけ量aのぼけ除去画像とも称する）が供給される。特徴量算出部８１ｂには、ぼけ除去処理部１１ｂでぼけ除去処理された結果である、ぼけ除去画像（以下、適宜、ぼけ量ｂのぼけ除去画像とも称する）が供給される。特徴量算出部８１ｃ乃至８１ｆについても同様に、ぼけ除去処理部１１ｃ乃至１１ｆでぼけ除去処理された結果である、ぼけ除去画像（以下、適宜、ぼけ量ｃ乃至ｆのぼけ除去画像とも称する）が供給される。
特徴量算出部８１ａは、注目画素に対して図４に示したような円形の領域を設定し、領域内に含まれるぼけ量aのぼけ除去画像の各画素について式（１１）を満たすか否かを判定する。そして、特徴量算出部８１ａは、式（１１）を満たす画素数をカウントし、そのカウント結果を、注目画素の特徴量として閾値判定部８３ａに供給する。特徴量算出部８１ｂ乃至８１ｆも、ぼけ量ｂ乃至ｆのぼけ除去画像に対して同様に行う。
閾値算出部８２は、特徴量算出部８１ａ乃至８１ｆで第１のカウント方式が採用される場合には、式（１１）のthresholdとしての２５５を特徴量算出部８１ａ乃至８１ｆに供給し、第２のカウント方式が採用される場合には、thresholdとして予め設定された値を、特徴量算出部８１ａ乃至８１ｆに供給する。
また、閾値算出部８２は、閾値判定部８３ａ乃至８３ｆで第２の判定方式が採用される場合、特徴量算出部８１ａ乃至８１ｆそれぞれのカウント結果を取得し、カウント結果の最大値と最小値の中間値を閾値判定部８３ａ乃至８３ｆに供給する。
閾値判定部８３ａは、第１の判定方式または第２の判定方式に基づいて、特徴量算出部８１ａからのカウント結果を、“０”または“１”のコード（出力コード）に変換して出力する。即ち、第１の判定方式が採用される場合には、特徴量算出部８１ａから供給されるカウント結果が“０”であるか否かによりコードが決定され、第２の判定方式が採用される場合には、特徴量算出部８１ａから供給されるカウント結果が、閾値算出部８２から供給される、カウント結果の最大値と最小値の中間値よりも大か否かにより０”または“１”のコードが決定される。閾値判定部８３ｂ乃至８３ｆも同様である。
ぼけ量クラス出力部８４は、閾値判定部８３ａ乃至８３ｆから供給される“０”または“１”の出力コードを予め決められた順序で連結し、６ビットのぼけ量クラスコードとして出力する。
図９は、ぼけ量クラス生成部１３1によるぼけ量クラス生成処理（第１のぼけ量クラス生成処理）のフローチャートを示している。
第１のぼけ量クラス生成処理では、初めに、ステップＳ２１において、特徴量算出部８１ａは、注目画素に対して図４に示したような円形の領域を設定し、式（１１）を満たす画素数をカウントする。カウント結果は、注目画素の特徴量として閾値判定部８３ａに供給される。特徴量算出部８１ｂ乃至８１ｆも同様に、式（１１）を満たす画素数をカウントし、カウント結果を閾値判定部８３ｂ乃至８３ｆに供給する。
ステップＳ２２において、閾値算出部８２は、式（１１）のthresholdを閾値判定部８３ａ乃至８３ｆに供給する。また、閾値算出部８２は、閾値判定部８３ａ乃至８３ｆで第２の判定方式が採用される場合には、特徴量算出部８１ａ乃至８１ｆそれぞれのカウント結果を取得し、カウント結果の最大値と最小値の中間値を計算して、閾値判定部８３ａ乃至８３ｆに供給する。
ステップＳ２３において、閾値判定部８３ａは、特徴量算出部８１ａからのカウント結果に基づいて、“０”または“１”のコードを出力する。閾値判定部８３ｂ乃至８３ｆも同様に、特徴量算出部８１ｂ乃至８１ｆからのカウント結果に基づいて、“０”または“１”のコードを出力する。
ステップＳ２４において、ぼけ量クラス出力部８４は、ぼけ量クラスコードを生成し、出力する。即ち、ぼけ量クラス出力部８４は、閾値判定部８３ａ乃至８３ｆからそれぞれ供給される“０”または“１”のコードを予め決められた順序で連結し、６ビットのぼけ量クラスコードとして出力して、処理を終了する。
次に、ぼけ量クラス生成部１３の第２の実施の形態について説明する。
第２の実施の形態におけるぼけ量クラス生成部１３（以下、ぼけ量クラス生成部１３2と記述する）は、統計的なデータに基づいて、ぼけ量クラスコードを生成する。
例えば、画素値の隣接差分絶対値（ｘ方向の隣接画素であれば、｜Ｘ（ｘ，ｙ）−Ｘ（ｘ＋１，ｙ）｜）を特徴量として、多数の一般的な画像（の各画素の画素値）を用いて、特徴量の度数分布を作成すると、図１０のような結果が得られた。図１０によれば、特徴量としての隣接差分絶対値の上限値（特徴量の特性値）は１９１であり、多くの画像全体では、隣接差分絶対値が１９１以下となりそうであることがわかる。
図１０に示した度数分布と、特徴量の上限値は、図１１に示される特徴量上限値算出処理によって求められる。
即ち、初めに、ステップＳ４１において、多数の画像の各画素について、特徴量としての隣接差分絶対値が算出され、ステップＳ４２では、特徴量ごとに度数がカウントされる。そして、ステップＳ４３において、度数が０ではない最大の特徴量が算出され、特徴量の上限値に決定される。
以上の処理によって集められたデータでは、画像の隣接差分絶対値が所定の値以下になりそうであることがわかったが、画像単位ではなく、所定の領域単位で捉えた場合においても、その領域が平坦な（画素値がほぼ一様な）箇所であるか、急峻なエッジの箇所であるか、複雑なディテールを持つ箇所であるかなどによって、特徴量の上限値が異なる（特徴量の上限値と対応付けられる）のではないかと考えられる。
そこで、図１２のDB蓄積処理により、図１０の度数分布を求めたのと同一の画像に対して、注目画素を中心とする所定の領域（例えば、３×３の領域）に対して１ビットADRC（Adaptive Dynamic Range Coding）処理を施し、その結果得られるADRCコードごとに隣接差分絶対値の上限値を求める。
DB蓄積処理では、最初に、データベースの作成に利用される全ての画像の各画素が注目画素に設定され、ステップＳ６１とＳ６２の処理が実行される。ステップＳ６１では、ぼけ量クラス生成部１３2は、注目画素を中心とする所定の領域（注目画素周辺領域）に対して１ビットADRCを施し、ADRCコードを算出する。ステップＳ６２では、ぼけ量クラス生成部１３2は、注目画素周辺領域の特徴量を算出する。ここでは、特徴量は隣接差分絶対値である。
そして、ステップＳ６３において、ぼけ量クラス生成部１３2は、ADRCコードごとに、発生した各特徴量の度数をカウントし、ステップＳ６４において、ADRCコードごとに、度数が０ではない最大の特徴量を算出する。
ステップＳ６５において、ぼけ量クラス生成部１３2は、ステップＳ６４で求められた各ADRCコードの特徴量の最大値を、特徴量の上限値としてDBに蓄積（記憶）する。
図１２のDB蓄積処理の結果を図１３に示す。
図１３によれば、画像全体の隣接差分絶対値の上限値は１９１であるが、ADRCコードごとに、隣接差分絶対値の上限値は大きく異なっていることが分かる。
ぼけ量クラス生成部１３2によるぼけ量クラス生成処理（第２のぼけ量クラス生成処理）では、図１３に示される、各ADRCコードの特徴量の上限値を利用して、ぼけ量クラスコードを生成する。
図１４は、第２の実施の形態におけるぼけ量クラス生成部１３（ぼけ量クラス生成部１３2）の構成例を示すブロック図である。
ぼけ量クラス生成部１３2は、特徴量算出部１０１ａ乃至１０１ｆ、最大値算出部１０２ａ乃至１０２ｆ、ADRC処理部１０３、特徴量上限値DB１０４、閾値算出部１０５、閾値判定部１０６ａ乃至１０６ｆ、および、ぼけ量クラス出力部１０７により構成されている。
特徴量算出部１０１ａには、ぼけ量aのぼけ除去画像が供給される。特徴量算出部１０１ｂには、ぼけ量ｂのぼけ除去画像が供給される。特徴量算出部１０１ｃ乃至１０１ｆについても同様に、ぼけ量ｃ乃至ｆのぼけ除去画像が供給される。
特徴量算出部１０１ａは、注目画素に対応するぼけ量aのぼけ除去画像の画素に対して図４に示したような円形の領域を設定し、その領域内の各画素について特徴量（隣接差分絶対値）を算出し、最大値算出部１０２ａに供給する。特徴量算出部１０１ｂ乃至１０１ｆも、ぼけ量ｂ乃至ｆのぼけ除去画像に対して同様に行う。
最大値算出部１０２ａは、特徴量の最大値を算出し、閾値判定部１０６ａに供給する。即ち、最大値算出部１０２ａは、特徴量算出部１０１ａで算出された、注目画素を中心とする所定の領域内の各画素の特徴量のうち、最大のものを閾値判定部１０６ａに供給する。最大値算出部１０２ｂから１０２ｆも、特徴量算出部１０１ｂ乃至１０１ｆからの特徴量に対して同様に行う。
ADRC処理部１０３は、注目画素に対応する入力画像の画素を中心とする３×３の領域に対して１ビットADRC処理を施し、その結果得られるADRCコードを閾値算出部１０５に供給する。
１ビットADRC処理では、注目画素に対応する入力画像の画素を中心とする３×３の領域内の各画素の画素値が、最大値MAXと最小値MINとの平均値で除算される（小数点以下切り捨て）ことにより、各画素の画素値が１ビットとされる（２値化される）。そして、３×３の領域内の１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとなる。なお、クラス分類の分類手法としては、２ビット以上のADRCを用いてもよいし、その他の分類手法でもよい。
特徴量上限値DB１０４には、図１２を参照して説明したDB蓄積処理による、ADRCコードごとの特徴量の上限値が記憶されている。閾値算出部１０５は、ADRC処理部１０３からのADRCコードに対応する特徴量の上限値を特徴量上限値DB１０４から取得し、閾値として閾値判定部１０６ａ乃至１０６ｆに供給する。
閾値判定部１０６ａは、最大値算出部１０２ａから供給される特徴量の最大値と、閾値算出部１０５から供給される閾値とを比較する。そして、閾値判定部１０６ａは、特徴量の最大値が閾値よりも大である場合に、“１”のコードを出力し、特徴量の最大値が閾値以下である場合に、“０”のコードを出力する。
閾値判定部１０６ｂから１０６ｆも同様に、最大値算出部１０２ｂ乃至１０２ｆからの特徴量の最大値が閾値よりも大であるか否かを判定し、“１”または“０”のコードを出力する。
ぼけ量クラス出力部１０７は、第１の実施の形態にけるぼけ量クラス出力部８４と同様に、閾値判定部１０６ａ乃至１０６ｆから供給される“０”または“１”のコード（出力コード）を予め決められた順序で連結し、６ビットのぼけ量クラスコードとして出力する。
図１５は、ぼけ量クラス生成部１３2によるぼけ量クラス生成処理（第２のぼけ量クラス生成処理）のフローチャートを示している。
第２のぼけ量クラス生成処理では、初めに、ステップ８１において、特徴量算出部１０１ａは、注目画素に対応するぼけ量aのぼけ除去画像の画素に対して図４に示したような円形の領域を設定し、その領域内の各画素について特徴量（隣接差分絶対値）を算出する。特徴量算出部１０１ｂ乃至１０１ｆも、ぼけ量ｂ乃至ｆのぼけ除去画像に対して同様に行う。
ステップＳ８２において、最大値算出部１０２ａは、特徴量の最大値を算出し、閾値判定部１０６ａに供給する。最大値算出部１０２ｂから１０２ｆも同様に、特徴量算出部１０１ｂ乃至１０１ｆから供給される特徴量の最大値を算出する。
ステップＳ８３において、ADRC処理部１０３は、注目画素に対応する入力画像の画素の周辺の３×３の領域に対して１ビットADRC処理を施し、その結果得られるADRCコードを閾値算出部１０５に供給する。
ステップＳ８４において、閾値算出部１０５は、ADRC処理部１０３からのADRCコードに対応する特徴量の上限値を特徴量上限値DB１０４から取得し、閾値として閾値判定部１０６ａ乃至１０６ｆに供給する。
ステップＳ８１およびＳ８２と、ステップＳ８３およびＳ８４の処理は同時に（並行して）行うことが可能である。
ステップＳ８５において、閾値判定部１０６ａは、特徴量の最大値と閾値とを比較し、特徴量の最大値が閾値よりも大である場合には“１”のコードを、特徴量の最大値が閾値以下である場合には“０”のコードを、ぼけ量クラス出力部１０７に出力する。
ステップＳ８６において、ぼけ量クラス出力部１０７は、閾値判定部１０６ａ乃至１０６ｆから供給される“０”または“１”のコードを予め決められた順序で連結し、６ビットのぼけ量クラスコードとして出力し、処理を終了する。
以上のように、第２のぼけ量クラス生成処理では、注目画素に対応する入力画像の画素のADRCコードが求められるとともに、注目画素に対応するぼけ除去画像の画素を中心とする所定の領域内で特徴量（隣接差分絶対値）の上限値が算出され、算出された特徴量の上限値が、図１３に示されるDB(データベース)の、求められたADRCコードと同一のADRCコードの隣接差分絶対値の上限値よりも大であるか否かによって“０”または“１”のコードが決定され、６ビットのぼけ量クラスコードに連結されて、出力される。
適切ではないぼけパラメータでぼけ除去処理を行ったときのぼけ除去画像には、リンギングなどの破綻が生じる。そして、リンギングなどの破綻が生じた場合には、一般的な画像データから統計的に算出した特徴量の上限値を超えてしまう場合が多いが、第２のぼけ量クラス生成処理は、その現象を利用した処理であると言える。また、第２のぼけ量クラス生成処理では、１ビットADRCなどの別の画像特徴に応じて閾値を細かく切り分けることにより、上述した現象を捉える精度を高めることができる。
なお、上述した第２の実施の形態は、特徴量として隣接差分絶対値を採用した例であるが、その他の特徴量を採用することも可能である。また、１つの特徴量だけでなく、複数の特徴量を採用することも可能である。
図１６は、第２の実施の形態において、複数の特徴量でぼけ量クラスコードを出力するようにした場合の構成例を示すブロック図である。
図１６において、ぼけ量クラス生成部１３2α，１３2β、および１３2γは、図１４と同様の構成を有しているが、３者の違いをわかりやすくするため、図１４における特徴量の上限値DB１０４を分離して、それぞれ、特徴量上限値DB１０４α，１０４β、および１０４γとしている。
特徴量上限値DB１０４αには、特徴量αについての、ADRCコードごとの特徴量の上限値が記憶されている。また、特徴量上限値DB１０４βには、特徴量βについての、ADRCコードごとの特徴量の上限値が記憶されている。特徴量上限値DB１０４γには、特徴量γについての、ADRCコードごとの特徴量の上限値が記憶されている。
ぼけ量クラス生成部１３2αは、特徴量αについてのぼけ量クラスコードを出力し、ぼけ量クラス生成部１３2βは、特徴量βについてのぼけ量クラスコードを出力し、ぼけ量クラス生成部１３2γは、特徴量γについてのぼけ量クラスコードを出力する。
OR演算部１１１は、ぼけ量クラス生成部１３2α，１３2β、および１３2γそれぞれが出力するぼけ量クラスコードの各桁で、OR演算処理を行った結果を、最終的なぼけ量クラスコードとして出力する。
例えば、図１６に示されるように、ぼけ量クラス生成部１３2αが“００１０００”のぼけ量クラスコードを出力し、ぼけ量クラス生成部１３2βが“１０１０００”のぼけ量クラスコードを出力し、ぼけ量クラス生成部１３2γが“００００１０”のぼけ量クラスコードを出力した場合、OR演算部１１１から出力される最終的なぼけ量クラスコードは、“１０１０１０”となる。
特徴量α、β、γとして採用可能な特徴量としては、例えば、水平（ｘ方向）、垂直（ｙ方向）、斜め各方向の１次微分絶対値や２次微分絶対値などがある。
水平、垂直、斜め各方向の１次微分絶対値P1（ｘ，ｙ）は、それぞれ、式（１２），（１３），（１４）で表すことができ、水平、垂直、斜め各方向の２次微分絶対値P2（ｘ，ｙ）は、それぞれ、式（１５），（１６），（１７）で表すことができる。
P1（ｘ，ｙ）＝｜Ｘ（ｘ，ｙ）−Ｘ（ｘ＋１，ｙ）｜ ・・・・・（１２）
P1（ｘ，ｙ）＝｜Ｘ（ｘ，ｙ）−Ｘ（ｘ，ｙ＋１）｜ ・・・・・（１３）
P1（ｘ，ｙ）＝｜Ｘ（ｘ，ｙ）−Ｘ（ｘ＋１，ｙ＋１）｜・・・・・（１４）
P2（ｘ，ｙ）＝｜２×Ｘ（ｘ，ｙ）−Ｘ（ｘ＋１，ｙ）−Ｘ（ｘ−１，ｙ）｜
・・・・・（１５）
P2（ｘ，ｙ）＝｜２×Ｘ（ｘ，ｙ）−Ｘ（ｘ，ｙ＋１）−Ｘ（ｘ，ｙ−１）｜
・・・・・（１６）
P2（ｘ，ｙ）＝｜２×Ｘ（ｘ，ｙ）−Ｘ（ｘ＋１，ｙ＋１）−Ｘ（ｘ−１，ｙ−１）｜
・・・・・（１７）
次に、ぼけ量クラス生成部１３の第３の実施の形態について説明する。
第３の実施の形態におけるぼけ量クラス生成部１３（以下、ぼけ量クラス生成部１３3と記述する）も、上述した第２の実施の形態と同様に予めDBを蓄積し、そのDBに基づいて、ぼけ量クラスコードを生成する。
図１７は、第３の実施の形態において利用するDBを作成するDB作成装置１２０の構成例を示すブロック図である。
DB作成装置１２０は、ぼけ付加部１２１、ぼけ除去処理部１２２ａ乃至１２２ｆ、特徴量算出部１２３ａ乃至１２３ｆ、縮退部１２４ａ乃至１２４ｆ、連結部１２５、蓄積部１２６、確率算出部１２７、および確率分布DB１２８により構成されている。
ぼけ付加部１２１は、図３を参照して説明したぼけ付加部４２と同様に、入力画像に対して、外部から与えられたぼけパラメータσを用いた式（２）の畳み込み演算を行い、ぼけ画像を生成する。
ぼけ除去処理部１２２ａ乃至１２２ｆは、図１のぼけ除去処理部１１ａ乃至１１ｆと同様に、ぼけ付加部１２１からのぼけ画像に対してぼけ除去処理を施す。ぼけ除去処理部１２２ａ乃至１２２ｆが除去する画像のぼけ量は、それぞれ、ぼけ量a乃至ｆである。なお、DB作成装置１２０においては、積和演算に利用されるぼけ除去係数は、ぼけ除去処理部１２２ａ乃至１２２ｆそれぞれの内部に記憶されているものとする。
特徴量算出部１２３ａ乃至１２３ｆそれぞれは、注目画素に対して設定される所定の領域（例えば、図４に示したような円形の領域）内の各画素について特徴量を算出し、縮退部１２４ａ乃至１２４ｆに供給する。本実施の形態においては、特徴量算出部１２３ａ乃至１２３ｆそれぞれは、上述した式（１２）乃至（１７）で表されるいずれかの特徴量（微分系特徴量）を算出するものとする。
縮退部１２４ａ乃至１２４ｆは、それぞれ、特徴量算出部１２３ａ乃至１２３ｆから供給される特徴量に対して、ビットの縮退処理を行う。例えば、特徴量算出部１２３ａ乃至１２３ｆから供給される特徴量が８ビットである場合に、LSB (Least Significant Bit)の３ビットを削除し、５ビットに縮退して出力する。
連結部１２５は、縮退部１２４ａ乃至１２４ｆから供給される縮退後の特徴量を所定の順序で連結した特徴量コードを蓄積部１２６に供給する。例えば、上述した例で、５ビットの特徴量が、縮退部１２４ａ乃至１２４ｆのそれぞれから供給されるとすると、蓄積部１２６に供給される特徴量コードは、３０ビットとなる。この場合、後段の蓄積部１２６には、２30通りの特徴量コードが供給され得ることになるが、特徴量コードの分類数が多い場合には、縮退部１２４ａ乃至１２４ｆにおける縮退量が拡大される。逆に言えば、蓄積部１２６における特徴量コードの分類数が、適切な数となるように実験するなどして、縮退部１２４ａ乃至１２４ｆにおける縮退量が設定される。
蓄積部１２６は、連結部１２５から特徴量コードが供給されるたびに、供給された特徴量コードの度数を１増やすことにより、特徴量コードの度数分布を記憶する。また、蓄積部１２６には、ぼけ付加部１２１に与えられたものと同一のぼけパラメータσが供給され、蓄積部１２６は、供給された特徴量コードが、ぼけパラメータσをいくつに設定したときのものであるかについても記憶する。
DB生成装置１２０では、ぼけ付加部１２１に供給された入力画像に対して、ぼけパラメータσを様々な値に設定して、それにより生成された様々なぼけ量のぼけ画像に対して、特徴量コードが決定され、ぼけパラメータσの情報とともに蓄積部１２６に蓄積（記憶）されていく。入力画像も１つの画像に対してのみならず、多数の画像に対してぼけパラメータσを振って得られた、特徴量コードとぼけパラメータσの情報が蓄積部１２６に蓄積される。
その結果、蓄積部１２６に蓄積されたデータを参照すれば、各特徴量コードの度数（特徴量コードの総発生回数）とともに、特徴量コードのそれぞれにおいて、ぼけパラメータσごとの度数（発生回数）を知ることができる。
確率算出部１２７は、各徴量コードについて、ぼけパラメータσごとの確率を算出する。即ち、確率算出部１２７は、所定の特徴量コードにおいて、各ぼけパラメータσの度数を特徴量コードの度数で除算した値（ぼけパラメータσの度数／特徴量コードの度数）を求めることを、すべての特徴量コードについて行う。
確率分布DB１２８は、確率算出部１２７により算出された、各特徴量コードについての、ぼけパラメータσごとの確率を記憶する。
図１８は、第３の実施の形態におけるぼけ量クラス生成部１３（ぼけ量クラス生成部１３3）の構成例を示すブロック図である。
ぼけ量クラス生成部１３3は、特徴量算出部１４１ａ乃至１４１ｆ、縮退部１４２ａ乃至１４２ｆ、連結部１４３、ぼけ量クラス判定部１４４、および確率分布DB１４５により構成されている。
特徴量算出部１４１ａ乃至１４１ｆ、縮退部１４２ａ乃至１４２ｆ、および連結部１４３は、DB生成装置１２０（図１７）の特徴量算出部１２３ａ乃至１２３ｆ、縮退部１２４ａ乃至１２４ｆ、および連結部１２５と同様の処理を行う。
即ち、特徴量算出部１４１ａ乃至１４１ｆは、注目画素に対応して設定されるぼけ除去画像の所定の領域内の各画素について特徴量を算出し、縮退部１２４ａ乃至１２４ｆに供給する。縮退部１４２ａ乃至１４２ｆは、特徴量算出部１４１ａ乃至１４１ｆから供給される特徴量に対して、ビットの縮退処理を行う。連結部１４３は、縮退部１２４ａ乃至１２４ｆから供給される縮退後の特徴量を所定の順序で連結した特徴量コードを生成する。
確率分布DB１４４は、DB生成装置１２０（図１７）で生成されたデータを記憶する。即ち、確率分布DB１４４は、DB生成装置１２０の確率分布DB１２８に記憶されている、各特徴量コードについての、ぼけパラメータσごとの確率をコピー（または移動）して記憶する。なお、DB生成装置１２０の確率算出部１２７が、算出した各特徴量コードについてのぼけパラメータσごとの確率を、確率分布DB１４４に直接記憶させてもよい。
ぼけ量クラス判定部１４５は、確率分布DB１４４を参照して、連結部１４３から供給された特徴量コードに対応するぼけ量クラスコードを出力する。具体的には、ぼけ量クラス判定部１４５は、連結部１４３から供給された特徴量コードと同一の特徴量コードを確率分布DB１４４で特定し、特定した特徴量コードのぼけパラメータσごとの確率のうち、最も確率の高いぼけパラメータσを、ぼけ量クラスコードとして出力する。
図１９は、ぼけ量クラス生成部１３3によるぼけ量クラス生成処理（第３のぼけ量クラス生成処理）のフローチャートを示している。
初めに、ステップＳ１０１において、特徴量算出部１４１ａ乃至１４１ｆそれぞれは、注目画素に対応して設定されるぼけ除去画像の所定の領域内の各画素について特徴量を算出する。
ステップＳ１０２において、縮退部１４２ａ乃至１４２ｆそれぞれは、特徴量算出部１４１ａ乃至１４１ｆから供給される特徴量に対して、ビットの縮退処理を行う。
ステップＳ１０３において、連結部１４３は、縮退部１２４ａ乃至１２４ｆから供給される縮退後の特徴量を所定の順序で連結した特徴量コードを生成する。
ステップＳ１０４において、ぼけ量クラス判定部１４５は、確率分布DB１４４を参照して、連結部１４３から供給された特徴量コードに対応するぼけ量クラスコードを出力して、処理を終了する。
図２０は、第３の実施の形態におけるぼけ量クラス生成部１３3の変形例である、ぼけ量クラス生成部１３3−２の構成例を示すブロック図である。
同図において、図１８と対応する部分については同一の符号を付してあり、その説明は適宜省略する。即ち、ぼけ量クラス生成部１３3−２は、特徴量算出部１４１ａ乃至１４１ｆ、縮退部１４２ａ乃至１４２ｆ、連結部１４３、および確率分布DB１４４については、ぼけ量クラス生成部１３3と同様の構成となっている。
ぼけ量クラス判定部１６１は、図２１に示されるように、注目画素に対応するぼけ除去画像の画素とその周辺の予め決められた領域（周辺領域）内の画素それぞれについて、特徴量コードに対応する最も確率の高いぼけパラメータσを選択する。
従って、特徴量算出部１４１ａ乃至１４１ｆ、縮退部１４２ａ乃至１４２ｆ、および連結部１４３では、周辺領域内の画素それぞれに対する特徴量コードが算出され、ぼけ量クラス判定部１６１に供給されている。そして、ぼけ量クラス判定部１６１は、周辺領域内の各画素について、選択した最も確率の高いぼけパラメータσ（選択ぼけパラメータσ）と、その確率（判定確率）を足し合わせ部１６２に供給する。
図２１に示される２５画素の各画素において、同一の模様が付されている画素は、同一のぼけパラメータσが選択されたことを表している。
足し合わせ部１６２は、周辺領域内の各画素の判定確率を、同一の選択ぼけパラメータσどうしで加算する。そして、足し合わせ部１６２は、選択ぼけパラメータσと、その選択ぼけパラメータσの加算結果である加算確率とをぼけ量クラス決定部１６３に供給する。ぼけ量クラス決定部１６３は、加算確率が最も大きい選択ぼけパラメータσを、ぼけ量クラスコードとして出力する。
図２０のぼけ量クラス生成部１３3−２では、注目画素に対応する入力画像の画素がオブジェクトの境界などでない限り、その周辺の画素もほぼ同じぼけ量であるという性質を利用して、注目画素に対応する入力画像の画素のみではなく、周辺領域の画素の確率をも使って総合的に判定することで、ぼけ量クラス分類の精度を高めることができる。
次に、第３の実施の形態におけるぼけ量クラス生成部１３3のその他の変形例について説明する。
図２０を参照して説明したぼけ量クラス生成部１３3−２では、足し合わせ部１６２が、同一の選択ぼけパラメータσどうしの確率を加算し、加算後の加算確率が最も大きいぼけパラメータσを、ぼけ量クラスコードとして出力したが、次に説明するぼけ量クラス生成部１３3のその他の変形例では、同一の選択ぼけパラメータσどうしの確率を加算する際に、ノイズである可能性を判定し、ノイズであると判定される場合には、加算を行わないようにする。
画像中の平坦な箇所にノイズがのった場合に、ぼけ量の検出を誤る場合が多い。これは、画像中の平坦な箇所が、どのようなぼけの大きさであるか、特徴量では区別がつかないために発生する。そのような箇所では、なんらかのぼけ量がクラスとして判定されたとしても、それは入力画像に含まれるノイズによって影響された特徴量を使っているため、判定されたぼけ量の信頼度は低くなる。
従って、画像本来の特徴量によって算出されたぼけ量と、ノイズによって算出されたぼけ量を区別することで、画像本来の特徴量によって算出されたぼけ量の検出精度を上げることができる。
そのためには、ノイズと判定するためのDBを予め作成しておく必要があり、図２２は、ノイズの判定に用いられるノイズ度数分布DBを作成するノイズDB作成装置１８０の構成例を示すブロック図である。
ノイズDB作成装置１８０は、ノイズ付加部１９１、ぼけ除去処理部１９２ａ乃至１９２ｆ、特徴量算出部１９３ａ乃至１９３ｆ、縮退部１９４ａ乃至１９４ｆ、連結部１９５、度数算出部１９６、およびノイズ度数分布DB１９７により構成されている。
ノイズ付加部１９１には、全体に平坦な画像が入力画像として供給され、ノイズ付加部１９１は、入力画像にランダムノイズを付加したノイズ付加画像を生成し、ぼけ除去処理部１９２ａ乃至１９２ｆに供給する。
ぼけ除去処理部１９２ａ乃至１９２ｆ、特徴量算出部１９３ａ乃至１９３ｆ、縮退部１９４ａ乃至１９４ｆ、および連結部１９５は、図１７のDB生成装置１２０のぼけ除去処理部１２２ａ乃至１２２ｆ、特徴量算出部１２３ａ乃至１２３ｆ、縮退部１２４ａ乃至１２４ｆ、および連結部１２５と、それぞれ同様の処理を行う。
即ち、ぼけ除去処理部１９２ａ乃至１９２ｆは、ノイズ付加部１９１からのノイズ付加画像に対してぼけ除去処理を施す。特徴量算出部１９３ａ乃至１９３ｆは、注目画素に対して設定される所定の領域内の各画素について特徴量を算出し、縮退部１９４ａ乃至１９４ｆに供給する。
縮退部１９４ａ乃至１９４ｆは、特徴量算出部１９３ａ乃至１９３ｆから供給される特徴量に対して、ビットの縮退処理を行う。連結部１９５は、縮退部１９４ａ乃至１９４ｆから供給される縮退後の特徴量を所定の順序で連結した特徴量コードを生成する。
度数算出部１９６は、連結部１９５から供給された特徴量コードをノイズ度数分布DB１９７に、特徴量コードごとに分類して記憶させる。その結果、ノイズ度数分布DB１９７には、ノイズによる特徴量コードの度数分布が蓄積される。
図２３は、第３の実施の形態におけるぼけ量クラス生成部１３3の変形例であって、図２２のノイズ度数分布１９７に蓄積された、ノイズによる特徴量コードの度数分布を利用した、ぼけ量クラス生成部１３3−３の構成例を示すブロック図である。
図２３において、図２０と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
図２３のぼけ量クラス生成部１３3−３は、図２０のぼけ量クラス生成部１３3−２と比較して、ノイズ度数分布DB２０１が新たに設けられている点、および、足し合わせ部１６２とぼけ量クラス決定部１６３に代えて、足し合わせ部２０２とぼけ量クラス決定部２０３が設けられている点が相違する。
ぼけ量クラス判定部１６１は、周辺領域内の各画素について、選択したぼけパラメータσ（選択ぼけパラメータσ）と、その判定確率を足し合わせ部２０２に供給するが、本実施の形態では、特徴量コードも合わせて足し合わせ部２０２に供給する。
ノイズ度数分布DB２０１には、図２２のノイズDB作成装置１８０で生成され、ノイズ度数分布１９７に蓄積されている、ノイズによる特徴量コードの度数分布が、コピー（または移動）されて記憶されている。
足し合わせ部２０２は、周辺領域内の各画素の確率を、同一の選択ぼけパラメータσどうしで加算するが、その際、ぼけ量クラス判定部１６１から供給された特徴量コードの度数をノイズ度数分布２０１で参照し、特徴量コードの度数が所定の度数以上である場合には、ノイズの可能性が高いとして、確率を加算することを行わない。確率の加算を行わなかった選択ぼけパラメータσの加算確率は０に設定される。一方、ノイズ度数分布２０１の、ぼけ量クラス判定部１６１から供給された特徴量コードの度数が所定の度数より小さい場合には、足し合わせ部２０２は、図２０の足し合わせ部１６２と同様に、同一の選択ぼけパラメータσどうしの確率を加算する。
ぼけ量クラス決定部２０３には、選択ぼけパラメータσと加算確率の組合せが１つ以上供給される。ぼけ量クラス決定部２０３は、供給された加算確率のなかで、最大の加算確率を有する選択ぼけパラメータσを決定する。ぼけ量クラス決定部２０３は、決定された選択ぼけパラメータσの加算確率が０以外である場合には、その選択ぼけパラメータσをぼけ量クラスコードとして出力する。一方、決定された選択ぼけパラメータσの加算確率が０である場合には、ぼけ量クラス決定部２０３は、ぼけ量で決定されるぼけ量クラスコードとは異なる別クラスのクラスコードを出力する。決定された選択ぼけパラメータσの加算確率が０である場合とは、注目画素の周辺領域において、全てノイズによる影響の可能性があることを意味する。
画像中の平坦な箇所は、どのようなクラスの処理を当てはめても変化がないため、別クラスとしても問題は発生しない。一方、上述したようなノイズ判定を行うことにより、平坦な箇所以外のぼけ量の検出精度を高めることができる。
図２４は、図１の画像処理装置１の予測係数ROM１４に記憶される、ぼけ量クラスごとの予測係数を学習する予測係数学習装置２２１の構成例を示すブロック図である。
予測係数学習装置２２１は、注目画素設定部２４１、ぼけ付加部２４２、除去係数ROM２４３、ぼけ除去処理部２４４ａ乃至２４４ｆ、ぼけ量クラス生成部２４５、正規方程式加算部２４６、行列演算部２４７、および予測係数ROM２４８により構成されている。
予測係数学習装置２２１に入力される入力画像は、ぼけのない画像であり、これが教師画像とされる。注目画素設定部２４１は、教師画像の各画素を順に注目画素に設定する。
ぼけ付加部２４２は、図３のぼけ付加部４２と同様に、上述した式（２）で表される畳み込み演算により、入力画像に対して擬似的にぼけを付加したぼけ画像を生成し、生徒画像として、ぼけ除去処理部２４４ａ乃至２４４ｆに供給する。
ぼけ除去処理部２４４ａ乃至２４４ｆは、ぼけ除去処理部１１ａ乃至１１ｆと同様の処理を行う。即ち、ぼけ除去処理部２４４ａ乃至２４４ｆは、注目画素に対して所定の領域内の画素（の画素値）を予測タップとして抽出するとともに、注目画素に対して所定の領域内の画素（の画素値）をクラスタップとして抽出する。そして、ぼけ除去処理部２４４ａ乃至２４４ｆは、クラスタップから決定されるクラスコードに対応するぼけ量a乃至ｆ用のぼけ除去係数を除去係数ROM２４３から取得し、予測タップを構成する画素の画素値と、除去係数ROM２４３から取得したぼけ量a乃至ｆ用のぼけ除去係数との積和演算を行うことにより、ぼけ量a乃至ｆのぼけを除去したときの注目画素の画素値を求める。
ぼけ除去処理部２４４ａ乃至２４４ｆそれぞれが除去するぼけ量および除去係数ROM２４３に記憶されているぼけ除去係数は、図１のぼけ除去処理部１１ａ乃至１１ｆおよび除去係数２４３と同一のものである。
ぼけ量クラス生成部２４５は、図１のぼけ量クラス生成部１３と同様に、ぼけ除去処理部２４４ａ乃至２４４ｆからそれぞれ供給されるぼけ除去画像を用いて、注目画素のぼけ量を所定のクラスに分類し、その結果としてのぼけ量クラスコードを正規方程式加算部２４６に供給する。従って、ぼけ量クラス生成部２４５も、上述した第１乃至第３の実施の形態の構成を採用することができる。
正規方程式加算部２４６は、生徒画像の注目画素に対応する画素の所定の領域を予測タップ範囲とし、その予測タップ範囲に含まれる各画素を予測タップとする。
正規方程式加算部２４６は、ぼけ量クラス生成部２４５から供給されるぼけ量クラスコードに対応するクラスごとに、予測タップ（生徒画像）ｘn,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、正規方程式加算部２４６は、やはり、ぼけ量クラス生成部２４５から供給されるぼけ量クラスコードに対応するクラスごとに、予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１０）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、正規方程式加算部２４６は、前回、注目画素とされた教師画像について求められた式（１０）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師画像について、その教師画像ｙk+1および生徒画像ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（１０）のサメーションで表される加算を行う）。
そして、正規方程式加算部２４６は、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、行列演算部２４７に供給する。
行列演算部２４７は、正規方程式加算部２４６から供給される各クラスについての正規方程式を解くことにより、ぼけ量クラスコードの各クラスについて、最適な予測係数ｗnを求めて予測係数ROM２４８に出力する。予測係数ROM２４８は、行列演算部２４７から供給された予測係数を記憶し、これが、図１の画像処理装置１の予測係数ROM１４に記憶される。なお、行列演算部２４７が出力した予測係数を、直接、画像処理装置１の予測係数ROM１４に記憶させてもよい。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
図２６乃至図２８を参照して、本発明を適用した画像処理装置１による画像処理の効果について説明する。
図２６に示される画像は、画像処理装置１に入力された入力画像であって、花を中心に撮像した画像である。この入力画像において、被写体とカメラの距離は、大きく分けて、カメラから花までの第１の距離、カメラから花の背景までの第２の距離、カメラから花の左側にある葉までの第３の距離の、３種類の距離が存在し、入力画像では、そのうち花の背景（第２の距離）にピントが合っている。
図２６の入力画像に対して、従来のぼけ除去処理の結果として、画像の全範囲に対して同一のぼけ除去処理を施したときの処理後画像を、図２７に示す。なお、除去するぼけ量は、花のぼけが除去されるようにユーザによって手動で設定されている。図２７の処理後画像では、花の箇所については、ぼけが除去された画像となっているものの、もともとピントが合っていた花の背景の箇所は、強調されすぎて不自然となっている（リンギングが発生している）。
図２８は、図２６の入力画像を画像処理装置１でぼけ除去処理したときの処理後画像を示している。
図２８の処理後画像では、花の箇所（第１の距離）、花の背景の箇所（第２の距離）、および花の左側にある葉の箇所（第３の距離）のそれぞれについて最適なぼけ量が選択され、その最適なぼけ量を除去するぼけ除去処理が行われるので、画像全体で、ぼけが除去された画像となっている。例えば、もともとピントが合っている花の背景の箇所においても、図２７で見られたような過度のリンギングが発生していない。
以上のように、画像処理装置１では、画像内で焦点距離の異なる被写体が複数含まれることによって生じる、画素ごとにぼけ量の異なるぼけを最適に除去することができる。また、画像処理装置１によれば、ユーザが、ぼけ量に合わせて、ぼけ除去に最適な係数を選択（ぼけ除去の調整）するなどの特別の操作を行う必要がない。
なお、画像処理装置１に入力される入力画像は、静止画像と動画像のいずれも対応可能である。
画像処理装置１の画像処理では、注目画素（の画素値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラス（ぼけ量クラスコードが表すクラス）の予測係数と、注目画素に対して選択される入力画像の画素（の画素値）とを用いた積和演算により、注目画素（の画素値）が求められる処理（クラス分類適応処理）を用いているため、ぼけ量クラスの検出ミスに対しても、極端な破綻を生じることはない。また、焦点ずれ以外による劣化原因、例えば、動きぼけやノイズ等が含まれる画像に対しても、大きな破綻を生じることなく、ロバストに対応することができる。
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 入力画像の例を示す図である。 ぼけ除去係数学習装置の構成例を示すブロック図である。 注目画素に対して設定する予測タップの例を示す図である。 図１の画像処理装置による画像処理のフローチャートである。 ぼけ除去画像の例を示す図である。 ぼけ量クラス生成部の第１の実施の形態を説明する図である。 ぼけ量クラス生成部の第１の実施の形態の構成例を示すブロック図である。 第１のぼけ量クラス生成処理を説明するフローチャートである。 ぼけ量クラス生成部の第２の実施の形態を説明する図である。 ぼけ量クラス生成部の第２の実施の形態を説明する図である。 ぼけ量クラス生成部の第２の実施の形態を説明する図である。 ぼけ量クラス生成部の第２の実施の形態を説明する図である。 ぼけ量クラス生成部の第２の実施の形態の構成例を示すブロック図である。 第２のぼけ量クラス生成処理を説明するフローチャートである。 ぼけ量クラス生成部の第２の実施の形態の構成例を示すブロック図である。 ぼけ量クラス生成部の第３の実施の形態を説明する図である。 ぼけ量クラス生成部の第３の実施の形態の構成例を示すブロック図である。 第３のぼけ量クラス生成処理を説明するフローチャートである。 ぼけ量クラス生成部の第３の実施の形態のその他の構成例を示すブロック図である。 ぼけ量クラス生成部の第３の実施の形態を説明する図である。 ぼけ量クラス生成部の第３の実施の形態を説明する図である。 ぼけ量クラス生成部の第３の実施の形態のさらにその他の構成例を示すブロック図である。 予測係数を学習する予測係数学習装置の構成例を示すブロック図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 図１の画像処理装置による処理の効果を説明する図である。 図１の画像処理装置による処理の効果を説明する図である。 図１の画像処理装置による処理の効果を説明する図である。
符号の説明
１ 画像処理装置， １１ａ乃至１１ｆ ぼけ除去処理部， １３ ぼけ量クラス生成部， １５ 予測処理部， ８１ａ乃至８１ｆ 特徴量算出部， ８２ 閾値算出部， ８３ａ乃至８３ｆ 閾値判定部， ８４ ぼけ量クラス出力部， １０１ａ乃至１０１ｆ 特徴量算出部， １０２ａ乃至１０２ｆ 最大値算出部， １０３ ADRC処理部， １０４ 特徴量上限値DB， １０５ 閾値算出部， １０６a乃至１０６ｆ 閾値判定部， １０７ ぼけ量クラス出力部， １０１ OR演算部， １４１a乃至１４１ｆ 特徴量算出部， １４２ａ乃至１４２ｆ 縮退部， １４３ 連結部， １４４ 確率分布DB， １４５ ぼけ量クラス判定部， １６１ ぼけ量クラス判定部， １６２ 足し合わせ部， １６３ ぼけ量クラス決定部， ２０１ ノイズ度数分布DB， ２０２ 足し合わせ部， ２０３ ぼけ量クラス決定部， ２２１ 予測係数学習装置， ２４２ ぼけ付加部， ２４３ 除去係数ROM， ２４４a乃至２４４ｆ ぼけ除去処理部， ２４５ ぼけ量クラス生成部， ２４６ 正規方程式加算部， ２４７ 行列演算部

Claims (12)

  1. 入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、
    前記複数種類のボケ除去結果画像から特徴量を検出する特徴量検出手段と、
    前記特徴量よりボケ量のクラスを表すボケ量クラスを決定するボケ量クラス決定手段と、
    前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成する予測処理手段と
    を備え、
    前記ボケ量クラス決定手段は、
    入力された画像に複数種類のボケ量のボケを付加したボケ画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を検出し、前記複数種類のボケ量のそれぞれにおける、前記特徴量の度数分布を予め検出することにより、特徴量毎に、それぞれのボケ量の発生確率を示す確率分布を記憶するボケ量発生確率記憶手段を有し、
    前記特徴量検出手段により検出された特徴量の、前記ボケ量発生確率記憶手段に記憶されている確率分布より、最も発生確率の高いボケ量を前記ボケ量クラスとして決定する
    画像処理装置。
  2. 前記特徴量検出手段は、注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素それぞれについて前記特徴量を検出し、
    前記ボケ量クラス決定手段は、前記特徴量検出手段により検出された前記特徴量に応じたボケ量の発生確率を同一のボケ量どうしで加算し、その加算結果から、前記注目画素に対応するボケ量クラスを決定する
    請求項１に記載の画像処理装置。
  3. 前記ボケ量クラス決定手段は、
    平坦な画像にノイズを付加したノイズ付加画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を予め検出することにより、ノイズにおける特徴量の発生確率を示す情報を記憶するノイズ情報記憶手段をさらに有し、
    前記注目画素およびその周辺の画素それぞれの特徴量のうち、前記ノイズにより発生した可能性が高い前記特徴量のボケ量の発生確率の加算は行わないようにする
    請求項２に記載の画像処理装置。
  4. 入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成し、
    前記複数種類のボケ除去結果画像から特徴量を検出し、
    前記特徴量よりボケ量のクラスを表すボケ量クラスを決定し、
    前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成し、
    前記ボケ量クラスを決定する場合には、検出された特徴量の、ボケ量発生確率記憶手段に記憶されている確率分布より、最も発生確率の高いボケ量を前記ボケ量クラスとして決定する
    ステップを含み、
    前記ボケ量発生確率記憶手段には、入力された画像に複数種類のボケ量のボケを付加したボケ画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を検出し、前記複数種類のボケ量のそれぞれにおける、前記特徴量の度数分布を予め検出することにより、特徴量毎に、それぞれのボケ量の発生確率を示す確率分布が記憶されている
    画像処理方法。
  5. 入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成し、
    前記複数種類のボケ除去結果画像から特徴量を検出し、
    前記特徴量よりボケ量のクラスを表すボケ量クラスを決定し、
    前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成し、
    前記ボケ量クラスを決定する場合には、検出された特徴量の、ボケ量発生確率記憶手段に記憶されている確率分布より、最も発生確率の高いボケ量を前記ボケ量クラスとして決定する
    ステップを含み、
    前記ボケ量発生確率記憶手段には、入力された画像に複数種類のボケ量のボケを付加したボケ画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を検出し、前記複数種類のボケ量のそれぞれにおける、前記特徴量の度数分布を予め検出することにより、特徴量毎に、それぞれのボケ量の発生確率を示す確率分布が記憶されている
    画像処理をコンピュータに実行させるプログラム。
  6. 入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、
    前記複数種類のボケ除去結果画像から特徴量を検出する特徴量検出手段と、
    前記特徴量よりボケ量のクラスを表すボケ量クラスを決定するボケ量クラス決定手段と、
    前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成する予測処理手段と
    を備え、
    前記特徴量検出手段は、
    注目画素に対応する前記入力画像の画素およびその周辺の画素から第１の画像特徴を検出する第１の画像特徴検出手段と、
    注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素から第２の画像特徴を検出する第２の画像特徴検出手段と
    を有し、
    前記ボケ量クラス決定手段は、
    複数の画像を、画素単位で前記第１の画像特徴で分類し、その第１の画像特徴ごとに、前記第２の画像特徴の特性値を検出して記憶する特徴量特性値記憶手段を有し、
    前記第１の画像特徴検出手段により検出された第１の画像特徴に対応する第２の画像特徴の特性値を前記特徴量特性値記憶手段から取得し、前記第２の画像特徴検出手段により検出された第２の画像特徴と、取得された前記特性値とを比較することにより、前記ボケ量クラスを決定する
    画像処理装置。
  7. 入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成し、
    前記複数種類のボケ除去結果画像から特徴量を検出し、
    前記特徴量よりボケ量のクラスを表すボケ量クラスを決定し、
    前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成し、
    前記特徴量を検出する場合、
    注目画素に対応する前記入力画像の画素およびその周辺の画素から第１の画像特徴を検出するとともに、注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素から第２の画像特徴を検出し、
    前記ボケ量クラスを決定する場合、
    複数の画像を、画素単位で前記第１の画像特徴で分類し、その第１の画像特徴ごとに、前記第２の画像特徴の特性値を検出して記憶する特徴量特性値記憶手段から、検出された第１の画像特徴に対応する第２の画像特徴の特性値を取得し、検出された第２の画像特徴と、取得された前記特性値とを比較することにより、前記ボケ量クラスを決定する
    ステップを含む画像処理方法。
  8. 入力画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成し、
    前記複数種類のボケ除去結果画像から特徴量を検出し、
    前記特徴量よりボケ量のクラスを表すボケ量クラスを決定し、
    前記ボケ量クラスに対応する予め学習された予測係数と、前記入力画像の所定の画素の画素値との演算によりボケ除去された出力画像を生成し、
    前記特徴量を検出する場合、
    注目画素に対応する前記入力画像の画素およびその周辺の画素から第１の画像特徴を検出するとともに、注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素から第２の画像特徴を検出し、
    前記ボケ量クラスを決定する場合、
    複数の画像を、画素単位で前記第１の画像特徴で分類し、その第１の画像特徴ごとに、前記第２の画像特徴の特性値を検出して記憶する特徴量特性値記憶手段から、検出された第１の画像特徴に対応する第２の画像特徴の特性値を取得し、検出された第２の画像特徴と、取得された前記特性値とを比較することにより、前記ボケ量クラスを決定する
    ステップを含む画像処理をコンピュータに実行させるプログラム。
  9. 画像のボケを除去する画像処理装置に用いられる予測係数を学習する学習装置であって、
    教師画像として入力されたボケのない入力画像に対して、ボケを付加した生徒画像を生成するボケ付加手段と、
    前記生徒画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、
    前記複数種類のボケ除去結果画像から特徴量を検出する特徴量検出手段と、
    前記特徴量よりボケ量のクラスを表すボケ量クラスを決定するボケ量クラス決定手段と、
    前記生徒画像と前記教師画像を用いて、前記ボケ量クラスごとに前記予測係数を求める演算手段と
    を備え、
    前記ボケ量クラス決定手段は、
    入力された画像に複数種類のボケ量のボケを付加したボケ画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を検出し、前記複数種類のボケ量のそれぞれにおける、前記特徴量の度数分布を予め検出することにより、特徴量毎に、それぞれのボケ量の発生確率を示す確率分布を記憶するボケ量発生確率記憶手段を有し、
    前記特徴量検出手段により検出された特徴量の、前記ボケ量発生確率記憶手段に記憶されている確率分布より、最も発生確率の高いボケ量を前記ボケ量クラスとして決定する
    学習装置。
  10. 前記特徴量検出手段は、注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素それぞれについて前記特徴量を検出し、
    前記ボケ量クラス決定手段は、前記特徴量検出手段により検出された前記特徴量に応じたボケ量の発生確率を同一のボケ量どうしで加算し、その加算結果から、前記注目画素に対応するボケ量クラスを決定する
    請求項９に記載の学習装置。
  11. 前記ボケ量クラス決定手段は、
    平坦な画像にノイズを付加したノイズ付加画像を前記複数のボケ除去係数によりボケ除去した複数種類のボケ除去結果画像から特徴量を予め検出することにより、ノイズにおける特徴量の発生確率を示す情報を記憶するノイズ情報記憶手段をさらに有し、
    前記注目画素およびその周辺の画素それぞれの特徴量のうち、前記ノイズにより発生した可能性が高い前記特徴量のボケ量の発生確率の加算は行わないようにする
    請求項１０に記載の学習装置。
  12. 画像のボケを除去する画像処理装置に用いられる予測係数を学習する学習装置であって、
    教師画像として入力されたボケのない入力画像に対して、ボケを付加した生徒画像を生成するボケ付加手段と、
    前記生徒画像を、複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、
    前記複数種類のボケ除去結果画像から特徴量を検出する特徴量検出手段と、
    前記特徴量よりボケ量のクラスを表すボケ量クラスを決定するボケ量クラス決定手段と、
    前記生徒画像と前記教師画像を用いて、前記ボケ量クラスごとに前記予測係数を求める演算手段と
    を備え、
    前記特徴量検出手段は、
    注目画素に対応する前記入力画像の画素およびその周辺の画素から第１の画像特徴を検出する第１の画像特徴検出手段と、
    注目画素に対応する前記ボケ除去結果画像の画素およびその周辺の画素から第２の画像特徴を検出する第２の画像特徴検出手段と
    を有し、
    前記ボケ量クラス決定手段は、
    複数の画像を、画素単位で前記第１の画像特徴で分類し、その第１の画像特徴ごとに、前記第２の画像特徴の特性値を検出して記憶する特徴量特性値記憶手段を有し、
    前記第１の画像特徴検出手段により検出された第１の画像特徴に対応する第２の画像特徴の特性値を前記特徴量特性値記憶手段から取得し、前記第２の画像特徴検出手段により検出された第２の画像特徴と、取得された前記特性値とを比較することにより、前記ボケ量クラスを決定する
    学習装置。
JP2007330454A 2007-12-21 2007-12-21 画像処理装置、画像処理方法、プログラム、および学習装置 Expired - Fee Related JP4882999B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007330454A JP4882999B2 (ja) 2007-12-21 2007-12-21 画像処理装置、画像処理方法、プログラム、および学習装置
US12/331,815 US8331713B2 (en) 2007-12-21 2008-12-10 Image processing apparatus, image processing method, program and learning apparatus
CNA2008101863807A CN101465943A (zh) 2007-12-21 2008-12-19 图像处理设备、图像处理方法、程序和学习设备
KR1020080130224A KR20090068162A (ko) 2007-12-21 2008-12-19 화상 처리 장치, 화상 처리 방법, 프로그램, 및 학습 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007330454A JP4882999B2 (ja) 2007-12-21 2007-12-21 画像処理装置、画像処理方法、プログラム、および学習装置

Publications (2)

Publication Number Publication Date
JP2009151659A JP2009151659A (ja) 2009-07-09
JP4882999B2 true JP4882999B2 (ja) 2012-02-22

Family

ID=40788726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007330454A Expired - Fee Related JP4882999B2 (ja) 2007-12-21 2007-12-21 画像処理装置、画像処理方法、プログラム、および学習装置

Country Status (4)

Country Link
US (1) US8331713B2 (ja)
JP (1) JP4882999B2 (ja)
KR (1) KR20090068162A (ja)
CN (1) CN101465943A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915341B2 (ja) * 2007-12-20 2012-04-11 ソニー株式会社 学習装置および方法、画像処理装置および方法、並びにプログラム
JP5061882B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに学習装置
US8532422B2 (en) * 2008-08-08 2013-09-10 Tokyo University of Science Educational Foundation Administration Organization Image restoring device and image restoring method
JP5179398B2 (ja) * 2009-02-13 2013-04-10 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
CN102473292A (zh) * 2009-07-30 2012-05-23 皇家飞利浦电子股份有限公司 过滤信号和获得过滤系数的方法
KR20110065997A (ko) * 2009-12-10 2011-06-16 삼성전자주식회사 영상처리장치 및 영상처리방법
US8503801B2 (en) 2010-09-21 2013-08-06 Adobe Systems Incorporated System and method for classifying the blur state of digital image pixels
US20120212477A1 (en) * 2011-02-18 2012-08-23 Intergraph Technologies Company Fast Haze Removal and Three Dimensional Depth Calculation
MX2013009389A (es) * 2011-02-25 2014-03-27 Univ Texas Estimacion de error de enfoque en imagenes.
US8830378B2 (en) * 2011-03-29 2014-09-09 Olympus Corporation Image capturing system and image capturing method, involving image restoration processing
US9361672B2 (en) * 2012-03-26 2016-06-07 Google Technology Holdings LLC Image blur detection
KR102456436B1 (ko) * 2015-02-17 2022-10-20 삼성디스플레이 주식회사 유기 발광 표시 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678405B1 (en) * 1999-06-08 2004-01-13 Sony Corporation Data processing apparatus, data processing method, learning apparatus, learning method, and medium
JP4135045B2 (ja) * 1999-06-08 2008-08-20 ソニー株式会社 データ処理装置およびデータ処理方法、並びに媒体
US6898327B1 (en) * 2000-03-23 2005-05-24 International Business Machines Corporation Anti-flicker system for multi-plane graphics
JP2001331806A (ja) 2000-05-22 2001-11-30 Nec Corp 画像処理方式
JP2002077591A (ja) 2000-09-05 2002-03-15 Minolta Co Ltd 画像処理装置および撮像装置
US8717456B2 (en) * 2002-02-27 2014-05-06 Omnivision Technologies, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
JP4144374B2 (ja) * 2003-02-25 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4143916B2 (ja) * 2003-02-25 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4265237B2 (ja) * 2003-02-27 2009-05-20 ソニー株式会社 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム
JP4144378B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4144377B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2007206738A (ja) * 2006-01-30 2007-08-16 Kyocera Corp 撮像装置およびその方法
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
WO2008031089A2 (en) * 2006-09-08 2008-03-13 Sarnoff Corporation System and method for high performance image processing
US8184926B2 (en) * 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
JP5061883B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置

Also Published As

Publication number Publication date
KR20090068162A (ko) 2009-06-25
US8331713B2 (en) 2012-12-11
US20090161977A1 (en) 2009-06-25
CN101465943A (zh) 2009-06-24
JP2009151659A (ja) 2009-07-09

Similar Documents

Publication Publication Date Title
JP4882999B2 (ja) 画像処理装置、画像処理方法、プログラム、および学習装置
JP5061883B2 (ja) 画像処理装置、画像処理方法、プログラム、および学習装置
JP4148041B2 (ja) 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
US20120321214A1 (en) Image processing apparatus and method, program, and recording medium
JP2007189589A (ja) 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
JP4915341B2 (ja) 学習装置および方法、画像処理装置および方法、並びにプログラム
JP5476879B2 (ja) 画像処理装置および係数学習装置。
US10812815B2 (en) Methods, systems, and computer readable media for compressing video images
JP6065613B2 (ja) 動画像符号化装置
JP2010103981A (ja) 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP2007006304A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2013239108A (ja) 画像処理装置および方法、学習装置および方法、並びに、プログラム
JP5039017B2 (ja) ノイズレベル検出装置
JP4770704B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN115861048A (zh) 图像超分方法、装置、设备及存储介质
JP2011217010A (ja) 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
KR20120052361A (ko) 신호를 필터링하고 필터 계수들을 획득하는 방법
JP5050944B2 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JP2005051638A (ja) 信号処理装置および信号処理方法
JP2009253873A (ja) 画像処理装置及び方法、並びにプログラム
JP5099429B2 (ja) 信号処理装置、信号処理方法、およびプログラム、並びに学習装置
JP2008118519A (ja) 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム
JP2011217011A (ja) 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
CN117812472A (zh) 一种基于序列图像曝光融合的高动态范围成像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees