JP2015115733A - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents

画像処理方法、画像処理装置、撮像装置および画像処理プログラム Download PDF

Info

Publication number
JP2015115733A
JP2015115733A JP2013255643A JP2013255643A JP2015115733A JP 2015115733 A JP2015115733 A JP 2015115733A JP 2013255643 A JP2013255643 A JP 2013255643A JP 2013255643 A JP2013255643 A JP 2013255643A JP 2015115733 A JP2015115733 A JP 2015115733A
Authority
JP
Japan
Prior art keywords
image
block image
domain block
imaging
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013255643A
Other languages
English (en)
Inventor
法人 日浅
Norito Hiasa
法人 日浅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013255643A priority Critical patent/JP2015115733A/ja
Priority to US14/563,388 priority patent/US20150161771A1/en
Publication of JP2015115733A publication Critical patent/JP2015115733A/ja
Pending legal-status Critical Current

Links

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

【課題】入力画像のうち撮像による劣化によってＭＴＦが大きく低下した周波数成分をも良好に復元できるようにする。【解決手段】画像処理方法は、撮像により生成された入力画像からレンジブロック画像２０１を抽出し、撮像によりレンジブロック画像に生じた劣化を示す劣化関数２０４ａを取得し、入力画像または他の画像から少なくとも１つの第１のドメインブロック画像２０２ａを取得し、第１のドメインブロック画像に対して劣化関数を適用して第２のドメインブロック画像２０５ａを生成し、第２のドメインブロック画像とレンジブロック画像との相関を算出し、該相関に応じて、第１のドメインブロック画像のうちレンジブロック画像に対応する対応ドメインブロック画像２０６ｂを選択し、該対応ドメインブロック画像を用いて出力画像を生成する。【選択図】図５

Description

本発明は、撮像により生成された画像に対して高画質化のための画像処理を行う技術に関する。
撮像装置により生成された画像には、該撮像装置の光学系の収差、回折およびデフォーカスや撮像装置の手振れによる像振れ等に起因する画質の低下、すなわち劣化が生じる。このような劣化が生じた画像（以下、劣化画像ともいう）を補正して高画質化する方法として、ウィナーフィルタ等の逆フィルタを劣化画像に適用する方法がある。ただし、逆フィルタを用いる補正方法では、劣化によってＭＴＦ(Modulation Transfer Function)が大きく低下した周波数成分を良好に補正（復元）することが難しい。
そこで、特許文献１には、光学系に、結像する光の波面を変形させる位相板等の光波面変調素子(Wavefront Coding Optical Element)を挿入することにより、被写界深度方向に対するＭＴＦの低下を軽減する手法が開示されている。また、非特許文献１には、レンジブロック画像とドメインブロック画像に同一の逆フィルタを適用してぼけ補正を行い、その後フラクタル符号化を利用して画像の画素数を増加させる手法が開示されている。
国際公開WO2007/074649号公報
Y.Chen,et al.,"Image superresolution using fractal coding", Opt.Eng.January 2008/Vol.47(1)017007
しかしながら、特許文献１にて開示された手法は、デフォーカス領域におけるＭＴＦの低下を軽減するものであり、合焦領域ではその効果を得られない。つまり、被写界深度の拡大は可能であるが、収差等によってＭＴＦが大きく低下した周波数成分を復元するものではない。さらに、撮像時に光波面変調素子を挿入する特殊な光学系が必要となるため、既に撮像された画像を補正することはできない。
また、非特許文献１にて開示された手法は、従来の逆フィルタを用いた手法によってぼけ補正を行う。このため、ぼけによる劣化が大きく、低周波数成分までＭＴＦが大きく低下している場合は充分なぼけ補正効果が得られない。また、逆フィルタを適用した画像にリンギングが生じ、レンジブロック画像と相似なドメインブロック画像を正しく求められない場合がある。
本発明は、入力画像のうち撮像による劣化によってＭＴＦが大きく低下した周波数成分をも良好に復元できるようにした画像処理技術を提供する。
本発明の一側面としての画像処理方法は、撮像により生成された入力画像からレンジブロック画像を抽出し、撮像によりレンジブロック画像に生じた劣化を示す劣化関数を取得し、入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得し、第１のドメインブロック画像に対して劣化関数を適用して第２のドメインブロック画像を生成し、第２のドメインブロック画像とレンジブロック画像との相関を算出し、該相関に応じて、第１のドメインブロック画像のうちレンジブロック画像に対応する対応ドメインブロック画像を選択し、該対応ドメインブロック画像を用いて出力画像を生成することを特徴とする。
また、本発明の他の一側面としての画像処理装置は、撮像により生成された入力画像からレンジブロック画像を抽出する手段と、撮像により前記レンジブロック画像に生じた劣化を示す劣化関数を取得する手段と、入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得する手段と、第１のドメインブロック画像に対して劣化関数を適用して第２のドメインブロック画像を生成する手段と、第２のドメインブロック画像とレンジブロック画像との相関を算出する手段と、該相関に応じて、第１のドメインブロック画像のうちレンジブロック画像に対応する対応ドメインブロック画像を選択する手段と、該対応ドメインブロック画像を用いて出力画像を生成する手段とを有することを特徴とする。
なお、撮像を行う撮像手段と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに画像処理を実行させるコンピュータプログラムである。そして、画像処理は、撮像により生成された入力画像からレンジブロック画像を抽出し、撮像によりレンジブロック画像に生じた劣化を示す劣化関数を取得し、入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得し、第１のドメインブロック画像に対して劣化関数を適用して第２のドメインブロック画像を生成し、第２のドメインブロック画像とレンジブロック画像との相関を算出し、該相関に応じて、第１のドメインブロック画像のうちレンジブロック画像に対応する対応ドメインブロック画像を選択し、該対応ドメインブロック画像を用いて出力画像を生成することを特徴とする。
本発明によれば、入力画像のうち撮像による劣化によってＭＴＦが大きく低下した周波数成分をも良好に復元された高画質の出力画像を得ることができる。
本発明の実施例１である画像処理方法を実行する撮像装置のブロック図。 上記撮像装置の外観図。 実施例１（および実施例２，３）における画像処理を示すフローチャート。 実施例１（および実施例２，３）におけるレンジブロック画像とドメインブロック画像の取得を説明する図。 実施例１〜３における相関算出用ドメインブロック画像の取得方法を説明する図。 実施例１〜３における劣化関数と、レンジブロック画像および相関算出用ドメインブロック画像との関係を示す図。 実施例２である画像処理システムの構成を示すブロック図。 実施例２である画像処理システムの外観図。 実施例３である撮像装置の構成を示すブロック図。 実施例３における撮像装置の外観図。 実施例３における撮像装置の構成を示す図。
以下、本発明の実施例について、図面を参照しつつ説明する。
ここでは、具体的な実施例の説明に先だって、実施例で行う画像処理としてのぼけ補正処理の流れについて説明する。ぼけ補正処理では、まず撮像過程で生じたぼけ（劣化）によって周波数成分が失われた入力画像を取得する。次に、該入力画像から、レンジブロック画像（第１のレンジブロック画像）と呼ばれる部分画像領域を抽出する。ここで、撮像によってレンジブロック画像に生じたぼけを示す関数である劣化関数は既知であるとする。
次に、少なくとも１つのドメインブロック画像（第１のドメインブロック画像）を取得する。このドメインブロック画像は、入力画像から抽出してもよいし他の画像から取得してもよい。以下の説明において、ドメインブロック画像を取得する入力画像または他の画像をドメインブロック取得画像ともいう。
そして、ドメインブロック画像をレンジブロック画像と同サイズにリサイズし、リサイズ後のドメインブロック画像に劣化関数を適用して、劣化ドメインブロック画像（第２のドメインブロック画像）を生成する。
次に、劣化ドメインブロック画像とレンジブロック画像との相関を算出する。このとき、相関が高いと判定された劣化ドメインブロック画像の元となったドメインブロック画像（第３のドメインブロック画像）は、ぼけが生じる前のレンジブロック画像に相当すると考えることができる。このため、このドメインブロック画像によって、劣化したレンジブロック画像を置換することで、ぼけ補正を行うことができる。以上の処理を、入力画像のうち補正対象領域に含まれる全てのレンジブロック画像に対して実行することにより、該補正対象領域におけるぼけが補正された出力画像を生成することができる。
図１には、本発明の実施例１であるぼけ補正処理を行う撮像装置１００の構成を示している。また、図２には、該撮像装置１００の外観を示している。
画像取得部（撮像手段）１０１は、不図示の結像光学系（撮像光学系）と撮像素子とを有する。撮像素子は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal-Oxide Semiconductor)等の光電変換素子である。撮像時に画像取得部１０１に入射した光は結像光学系によって集光され、撮像素子でアナログ電気信号へと変換される。該アナログ電気信号は、Ａ／Ｄコンバータ１０２でデジタル信号（以下、デジタル撮像信号という）に変換され、該デジタル撮像信号は画像処理部１０３に入力される。
画像処理部１０３は、デジタル撮像信号に対して所定の画像処理を行うことにより画像を生成する。そして、この画像を入力画像として、撮像によって失われた周波数成分を復元するためのぼけ補正処理を行う。ぼけ補正処理の概略は前述した通りであり、後にその詳細を説明する。記憶部１０４には、ぼけ補正処理にて使用する劣化関数と、状態検知部１０９で取得された撮像時における画像取得部１０１の状態を示す撮像条件情報とが記憶されている。
劣化関数は、画像取得部１０１の結像光学系の収差、回折およびデフォーカスや、撮像時における撮像装置の手振れ等の振れに起因する像振れを関数により表すものである。また、撮像条件情報は、結像光学系における絞り値、フォーカスレンズの位置（撮像距離）、ズームレンズの位置（焦点距離）等を含む。状態検知部１０９は、システムコントローラ１０７から撮像条件情報を得てもよいし、制御部１０８から得てもよい。
画像処理部１０３にて処理が行われた後の画像（出力画像）は、画像記録媒体１０６に所定のフォーマットで保存される。この際、同時に撮像条件情報を保存してもよい。また、既に画像記録媒体１０６に保存されている画像を読み出して、同様に画像処理部１０３でぼけ補正処理を行ってもよい。
画像記録媒体１０６に保存された画像は、液晶ディスプレイ等の表示部１０５にて表示される。
システムコントローラ１０７は、撮像素子、画像処理部１０３および表示部１０５の動作を制御したり、画像記録媒体１０６に対する画像の記憶および読み出しを制御したりする。制御部１０８は、結像光学系の機械的な駆動をシステムコントローラ１０７からの指示に応じて制御する。
次に、図３のフローチャート、図４および図５を用いて、画像処理部１０３が行うぼけ補正処理について詳細に説明する。この処理は、画像処理用コンピュータである画像処理部１０３が、コンピュータプログラムとしての画像処理プログラムに従って実行する。
ステップＳ１０１では、画像処理部１０３は、画像取得部１０１からのデジタル撮像信号に対して所定の画像処理を行うことで入力画像を取得（生成）する。この入力画像は、撮像過程で生じた劣化としてのぼけによって被写体空間（原画像）に比べて情報が減少している。すなわち、少なくとも一部の周波数成分が失われている。
ステップＳ１０２では、画像処理部１０３は、入力画像のうちぼけ補正処理を行う補正対象領域からレンジブロック画像（第１のレンジブロック画像）を抽出する。補正対象領域は、入力画像の全域でもよいし、ぼけが強い一部または複数の部分領域であってもよい。図４（Ａ）は入力画像の一部を示しており、例えば３×３画素の矩形領域をレンジブロック画像２０１として抽出する。ただし、レンジブロック画像のサイズ（画素数）や形状および抽出位置はこれに限定されない。また、入力画像から複数のレンジブロック画像を抽出する際は、各レンジブロック画像の一部が互いに重なるようにしてもよい。
レンジブロック画像から直流成分（信号の平均値）を減算してもよい。ぼけ補正処理は、ぼけが生じる前のレンジブロック画像と相似な構造を有するドメインブロック画像を見つけることで行う。しかし、被写体空間の構造と撮像装置１００の露出とに相関性はなく、入力画像の明るさに相当する直流成分に該露出が支配的に影響している。このため、相関の算出時にレンジブロック画像の明るさ成分は除去されていても問題がない。さらに、探索する相似形状は、レンジブロック画像とドメインブロック画像の自由度が小さいほど見つけやすくなる。これは単純に両画像の取り得る信号分布のパターンが少ないためである。このため、ドメインブロック画像にも同様に明るさ成分の除去を行うことで、相関の高い相似形状を見つけやすくすることができる。
以下、式を用いた処理の説明も併せて行う。実際には入力画像、レンジブロック画像およびドメインブロック画像はＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）等の複数の色信号を有するが、以下では簡単のために各画像が単色の色信号を有するものとする。複数の色信号を考慮する場合は、それぞれに対して同様の処理を行えばよい。また、ある色（例えばＧ）の画像から抽出したレンジブロック画像に対応する相似形状を探索する際に、他のチャンネル（例えば、ＲやＢ）からドメインブロック画像を取得してもよい。レンジブロック画像の総画素数をｎＲ画素とし、各画素の信号値を成分とした信号値ベクトルをＲとするとき、直流成分を減算した後のベクトルΡは、以下の式（１）で表される。
ただし、ｒａｖｅはレンジブロック画像の平均信号値であり、Ｅは各成分が１であるｎＲ次元ベクトルである。ｒａｖｅは均一の重み付けで算出してもよいし、加重平均として算出してもよい。
次に、ステップＳ１０３では、画像処理部１０３は、抽出したレンジブロック画像に対応した劣化関数を記憶部１０４から取得する。図５にレンジブロック画像２０１に対応した劣化関数２０４ａを示す。レンジブロック画像に対応した劣化関数は、前述したように、撮像によってレンジブロック画像２０１に生じたぼけを関数で示すものである。ぼけには画像取得部１０１で発生した収差、回折、デフォーカスまたは撮像時の像振れ等が含まれる。収差、回折およびデフォーカスによるぼけを示す劣化関数は、画像取得部１０１の設計値や測定値から算出されて記憶部１０４に保存されている。また、像振れによるぼけを示す劣化関数は、例えば、ジャイロセンサを搭載した状態検知部１０９が撮像時における撮像装置１００の動き（振れ）を検知することで得られる。劣化関数は、ＰＳＦ(Point Spread Function)やＯＴＦ(Optical Transfer Function)等の形で表現される。
なお、デフォーカスによるぼけの補正を行うために、撮像装置１００に被写体空間の距離情報を取得する測距部を設けてもよい。
レンジブロック画像に対応した劣化関数を取得するためには、入力画像を取得するための撮像時の撮像条件情報や、レンジブロック画像の抽出位置等を使用する。また、劣化関数は、画像の色成分（ＲＧＢ）に対してそれぞれ用意される。これは、例えば収差による周波数成分の劣化を補正したい場合に、画像取得部１０１のズームや絞りの状態、像高、波長等を変数として収差の影響が変化するためである。ただし、該変数の中に劣化関数への影響が小さいものがある場合、その変数は劣化関数の決定から除外してもよい。
続いてステップＳ１０４では、画像処理部１０３は、ドメインブロック取得画像からドメインブロック画像（第１のドメインブロック画像）を取得する。前述したように、ドメインブロック取得画像は、入力画像であってもよいし、他の画像であってもよい。ただし、被写体空間のフラクタル性を利用するという観点から、ドメインブロック取得画像は、入力画像と同じ又は類似の被写体が存在している画像が望ましい。例えば、入力画像から取得する場合は、図４（Ａ）に示すように６×６画素の矩形領域をドメインブロック画像２０２ａとして抽出する。ただし、ドメインブロック画像のサイズ（レンジブロック画像に対する画素数の倍率）や形状および抽出位置はこれに限定されない。
次に、ステップＳ１０５では、画像処理部１０３は、図５に示すように、ドメインブロック画像に対するリサイズ（サイズ変換）と等長変換を行い、変換ドメインブロック画像２０３ａを生成する。等長変換は、レンジブロック画像との相関算出候補を増やすために行い、リサイズはレンジブロック画像との相関を算出するために行う。ただし、これらの処理は必ずしも必須ではない。例えば、相関を算出するためには、レンジブロック画像をドメインブロック画像に合わせてリサイズしてもよい。また、レンジブロック画像から直流成分を減算している場合は、ドメインブロック画像からも直流成分を減算する。
ドメインブロック画像の総画素数をｎＤとし、信号値ベクトルをＤとするとき、直流成分を減算した信号ベクトルΔは以下の式（２）で表される。
ただし、σはｎＤ画素を有する画像のｎＲ画素を有する画像へのリサイズを示す。リサイズには、バイリニア補間やバイキュービック補間等を用いることができる。また、δａｖｅはドメインブロック画像の平均信号値であり、εは等長変換を示す。等長変換には、恒等変換、回転変換、反転変換等を含む。ここでは、計算負荷を軽減するためにリサイズ後に等長変換を行う場合について説明しているが、これらの順番は逆でもよい。
次に、ステップＳ１０６では、画像処理部１０３は、図５に示すように、変換ドメインブロック画像２０３ａに対して劣化関数２０４ａを適用する。これにより、相関算出用ドメインブロック画像としての劣化ドメインブロック画像（第２のドメインブロック画像）２０５ａを生成する。変換ドメインブロック画像に対して劣化関数を適用する際に、例えば劣化関数がＰＳＦである場合はこれを変換ドメインブロック画像に重畳し、ＯＴＦである場合は変換ドメインブロック画像をフーリエ変換した結果とＯＴＦとの積をとればよい。図５には、変換ドメインブロック画像２０３ａに劣化関数２０４ａを重畳して劣化ドメインブロック画像２０５ａを得る例を示している。
ここでは、リサイズおよび等長変換を行った後に劣化関数２０４ａを適用する場合について説明しているが、これらの順番は逆でもよい。この場合、劣化関数２０４ａに対してσおよびεとは逆の変換を行って得た劣化関数を、ドメインブロック画像２０２ａに適用する。
次に、ステップＳ１０７では、レンジブロック画像と劣化ドメインブロック画像との相関を算出する。相関の算出手法として、両画像の対応画素間における信号差（ベクトルの各成分の差）の絶対値和を求める方法がある。この場合の相関算出式ｆは、以下の式（３）で表される。
ただし、ρｉは式（１）で表される信号ベクトルΡのｉ番目の成分であり、δｉは式（２）で表される信号ベクトルΔのｉ番目の成分であり、ｗｉはｉ番目の成分の重みを示す。
この際、信号ベクトルΔと信号ベクトルΡの相関が最も高くなるように、コントラストを調整してもよい。つまり、｜Ρ−ｃΔ｜が最小となるようなｃを決めてもよい。ｃは最小二乗法から、以下の式（４）で表される。
式（３）の相関算出式においてコントラストの調整を考慮する場合は、｜ρｉ−δｉ｜を｜ρｉ−ｃδｉ｜とすればよい。
相関を算出する他の手法として、ＳＳＩＭ(Structure Similarity)を使用してもよい。ＳＳＩＭは、以下の式（５）で表される。
ただし、Ｌ，Ｃ，Ｓはそれぞれ、明るさ、コントラスト、その他の構造に関する評価関数であり、０〜１の値をとる。それぞれの値が１に近いほど、比較する２つの画像が近いことを意味する。α，β，γは、各評価項目の重みを調整するパラメータである。α＝０とすれば直流成分（明るさ）の差し引かれた相関算出が行われ、これにより式（１）で表したような演算を行う必要がなくなる。また、β＝０とすれば、交流成分のスカラー倍（コントラストの調整）を相関算出時に考慮する必要がなくなり、式（４）で表した演算を行う必要がなくなる。
また、相関の算出に複数の手法を用いてもよい。この場合、各手法によって相関の値を求め、それらの加重平均や線型和等から最終的な相関を決めればよい。
さらに、レンジブロック画像に劣化関数の逆フィルタ（逆関数）を適用して得られた復元レンジブロック画像（第２のレンジブロック画像）と変換ドメインブロック画像（リサイズおよび等長変換後の第１のドメインブロック画像）との相関を算出してもよい。
次に、ステップＳ１０８では、画像処理部１０３は、ステップＳ１０７で求めた相関が所定の条件を満たしているか否かを判定する。所定の条件を満たしている、つまりレンジブロック画像と劣化ドメインブロック画像との相関が所定の閾値より高い場合は、そのドメインブロック画像をレンジブロック画像に対応した対応ドメインブロック画像（第３のドメインブロック画像）として選択する。そして、ステップＳ１０９に進む。ドメインブロック取得画像としての入力画像から図４（Ｂ）に示すように選択された対応ドメインブロック画像２０６ｂは、ぼけが発生する前のレンジブロック画像に相当する。所定の閾値より相関が高くない場合は、画像処理部１０３はステップＳ１０４に戻り、新たなドメインブロック画像を取得する。また、ステップＳ１０５に戻って、新たな等長変換を行って相関を算出し直してもよい。
ステップＳ１０９では、画像処理部１０３は、対応ドメインブロック画像を用いてレンジブロック画像のぼけを補正する。例えば、対応ドメインブロック画像にリサイズと等長変換を行って得た変換対応ドメインブロック画像を生成し、この変換対応ドメインブロック画像によってレンジブロック画像を置換すればよい。このとき、式（１），（２）および（４）を用いて相関を算出した場合は、以下の式（６）で表される信号ベクトルΓで信号ベクトルＲを置き換えればよい。
また、対応ドメインブロック画像を参考画像として用いる学習型超解像等の手法を用いてレンジブロック画像のぼけ補正を行ってもよい。
次に、ステップＳ１１０では、画像処理部１０３は、入力画像における所定の補正対象領域内で抽出した全てのレンジブロック画像に対するぼけ補正処理が終了したか否かを判定する。全てのレンジブロック画像に対するぼけ補正処理が終了した場合はステップＳ１１１に進み、そうでなければステップＳ１０２に戻って新たなレンジブロック画像を抽出する。
ステップＳ１１１では、画像処理部１０３は、補正対象領域でのぼけが補正された出力画像を生成する。出力画像に対して、さらにアンシャープマスク等の鮮鋭化を行ってもよい。
以上のぼけ補正処理により、入力画像のうち画像取得部１０１で発生したぼけにより失われた周波数成分を復元した出力画像を得ることができる。
次に、より良好なぼけ補正処理を行うために考慮した方が望ましい条件について説明する。
第１の条件は、ステップＳ１０４にて画像処理部１０３が取得するドメインブロック画像のサイズに関する条件である。ドメインブロック画像のサイズは、該ドメインブロック画像に対応した劣化関数（以下、ドメイン劣化関数ＦＤと称する）とレンジブロック画像に対応した劣化関数（以下、レンジ劣化関数という）との関係から決定することが望ましい。ドメインブロック画像はＣＧ(Computer Graphics)である場合を除いて、何らかの撮像装置で取得されているため、少なからず収差や回折によるぼけが存在している。本実施例では、変換ドメインブロック画像（リサイズおよび等長変換後の第１のドメインブロック画像）を用いてレンジブロック画像のぼけを補正するため、変換ドメインブロック画像はレンジブロック画像よりＭＴＦが高くなければならない。言い換えれば、変換ドメインブロック画像に存在しているぼけ、つまりはドメイン劣化関数が大きいと良好なぼけ補正処理を行えない。
このため、ドメインブロック画像をリサイズした際のドメイン劣化関数、つまり、σ（ＦＤ）のサイズがレンジ劣化関数のサイズより小さいことが望ましい。ここで、サイズとは劣化関数の拡がりを表すパラメータであり、劣化関数の値が所定値以上になっている領域や、劣化関数全域の積分値に対してある割合以上の劣化関数の値が含まれる領域等と定めればよい。このような条件を満たすようにドメインブロック画像のサイズを決定することで、ぼけ補正処理に無関係な計算を減らすことができる。
第２の条件は、ステップＳ１０７で相関を算出する際の条件である。レンジブロック画像における周辺側の領域は、該周辺側の領域よりも中心側の領域に対して相関の重み（式（３）のｗｉ）が小さいことが望ましい。図６を用いて、その理由を説明する。図６（Ａ）には、図４（Ｂ）に示した入力画像のうちレンジブロック画像２０１およびその近傍を示す。また、図６（Ｂ）には、図４（Ｂ）に示した対応ドメインブロック画像２０６ｂにリサイズおよび等長変換を行って得られた変換対応ドメインブロック画像２０３ｂを示している。ここで、レンジブロック画像２０１に対応するレンジ劣化関数２０４ｂが、図６（Ａ），（Ｂ）中の一点鎖線で表されるようなＰＳＦであったとする。
図６（Ａ），（Ｂ）から分かるように、レンジブロック画像２０１と変換対応ドメインブロック画像２０３ｂのそれぞれの外側の領域は一般に全く異なる信号値をとる。これは、変換対応ドメインブロック画像２０３ｂの外側の領域における信号値をゼロとした場合でも同様である。しかし、上記一点鎖線で示すように、レンジブロック画像２０１と変換対応ドメインブロック画像２０３ｂには、これらの画像の外側からもレンジ劣化関数２０４ｂの影響を受けるため、各ブロック画像には誤差が重畳される。そして、該誤差は、レンジブロック画像２０１における周辺側の領域ほど大きくなる。したがって、相関算出時の周辺側の領域の重みを中心側の領域の重みよりも小さくすることが望ましい。例えば、レンジブロック画像の中心から周辺端に向かうほど重みを小さくすればよい。これにより、対応ドメインブロック画像をより高精度に選択することができる。
より望ましくは、レンジブロック画像２０１における周辺側の領域を、レンジ劣化関数から決定するとよい。これにより、さらに対応ドメインブロック画像を正確に選択できるようになる。例えば図６（Ａ）に示す場合は、レンジ劣化関数２０４ｂのサイズが３×３画素相当であるため、レンジブロック画像２０１のうちその外側の領域からのレンジ劣化関数２０４ｂの影響を受けない中心側の領域２０７を除いた部分を周辺側の領域とすればよい。レンジ劣化関数が、図５に示すレンジ劣化関数２０４ｂのように非対称形状である場合は、周辺側の領域もこれに合わせて非対称形状な領域とすることが望ましい。
第３の条件は、ステップＳ１０９でのぼけ補正に関する条件である。ぼけ補正は、対応ドメインブロック画像（変換対応ドメインブロック）からその周辺側の領域を除いた中心側の領域のみを用いることが望ましい。これは先の図６（Ｂ）を用いた説明と同様であり、変換対応ドメインブロック画像２０３ｂの周辺側の領域にはレンジブロック画像２０１との誤差が生じている。このため、より正確なぼけ補正を行うためには、変換対応ドメインブロック画像２０３ｂから周辺側の領域を除去した中心側の領域を用いることが望ましい。変換対応ドメインブロック画像の全体を用いなくても、ステップＳ１０２でレンジブロック画像を互いに重なり合うように抽出すれば、入力画像全体のぼけ補正を行うこともできる。
さらに望ましくは、変換対応ドメインブロック画像から除去する周辺側の領域を、レンジ劣化関数から決定するとよい。これも先の説明と同様の理由による。
第４の条件は、ステップＳ１０２で抽出するレンジブロック画像のサイズおよび形状に関する条件である。レンジブロック画像のサイズおよび形状は、レンジ劣化関数に基づいて決定するとよい。レンジ劣化関数と同程度のサイズや形状とすることで、補正に必要な情報の欠損や補正とは無関係な情報の混入を防ぐことができる。
以上ができるだけ良好なぼけ補正を行うための条件であるが、上述したぼけ補正処理に、歪曲収差の画像処理による補正（電子歪曲収差補正）を併用してもよい。この場合は、ステップＳ１０６にて変換ドメインブロック画像２０３ａに対して適用するレンジ劣化関数から歪曲収差成分を除去しておく必要がある。また、電子歪曲収差補正は、ステップＳ１０７よりも先に実行することが望ましい。これは、ぼけ補正処理後では残存している歪曲収差の正確な値が分からなくなるためである。
また、ステップＳ１０３で取得するレンジ劣化関数は複数種類あってもよい。この場合、複数のレンジ劣化関数に対してステップＳ１０６からＳ１０９の処理を行い、最も適切と評価される補正結果を選んで出力画像の生成に使用する。例えば、被写体空間の距離情報を用いずにデフォーカスによるぼけを補正する場合、複数のデフォーカス量に対応したレンジ劣化関数を取得し、ステップＳ１０６からＳ１０９の処理を実行する。そして、そこで得られた画像の中から、最もデフォーカスが補正されているものを選択すれば、目的の出力画像を得ることができる。デフォーカス補正の判定基準としては、例えば、輝度やコントラストが最も高い画像を選択する手法がある。
本実施例によれば、被写体空間を撮像する過程で生じたぼけによりＭＴＦが大きく低下した周波数成分をも良好に復元された出力画像を生成することが可能な撮像装置を実現することができる。
図７には、本発明の実施例２である画像処理装置３０２を含む画像処理システムの構成を示している。また、図８には、該画像処理システムの外観を示している。
撮像装置３０１で取得された入力画像は、通信部３０３を介してコンピュータにより構成される画像処理装置３０２に入力される。該入力画像とその撮像条件情報は記憶部３０４に記憶され、画像補正部（画像処理部）３０５で実施例１で説明したぼけ補正処理が行われる。ぼけ補正処理後の出力画像は、通信部３０３を介して表示装置３０６、記録媒体３０７および出力装置３０８の少なくとも１つに出力される。表示装置３０６は、液晶ディスプレイやプロジェクタ等であり、出力画像を表示する。ユーザは表示装置３０６により表示された処理途中の画像を確認しながら作業を行うこともできる。記録媒体３０７は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等である。出力装置３０８は、プリンタ等である。画像処理装置３０２は、必要に応じて現像処理やその他の画像処理を行う機能を有していてもよい。
画像処理装置３０２内の画像補正部３０５で行われるぼけ補正処理は、実施例１にて図３を用いて説明したものと基本的に同じである。ただし、ステップＳ１０１では、画像補正部３０５は、撮像装置３０１での撮像により生成された入力画像を取得する。また、ステップＳ１０３では、画像補正部３０５は、撮像装置３０１に対応する劣化関数を、予め複数の撮像装置のそれぞれに対応する劣化関数を記憶した記憶部４０５から取得する。この際、画像処理装置３０２に接続されている撮像装置３０１の種類も劣化関数を決定する変数とする。また、撮像条件情報は、入力画像と同一のファイル内に保存されていてもよいし、撮像装置３０１から読み出してもよい。
本実施例によれば、撮像装置によって被写体空間を撮像する過程で生じたぼけによりＭＴＦが大きく低下した周波数成分をも良好に復元された出力画像を生成することが可能な画像処理装置を実現することができる。
図９には、本発明の実施例３である撮像システムの構成を示している。また、図１０には、該撮像システムの外観を示している。
コンピュータとしてのサーバー４０３は、通信部４０４を有し、ネットワーク４０２を介して撮像装置４０１と接続されている。撮像装置４０１で撮像が行われると、該撮像により生成された入力画像が自動的または手動によってサーバー４０３に送信される。サーバー４０３内の記憶部４０５には、該入力画像とその撮像条件情報が記憶される。その後、サーバー４０３内の画像処理部４０６は、入力画像に対して実施例１で説明したぼけ補正処理を行い、出力画像を生成する。出力画像は撮像装置４０１に送信されたり、記憶部４０５に記憶されたりする。
ここで、本実施例における撮像装置４０１はいわゆる多眼撮像装置である。すなわち、図１１に示すように、互いに焦点距離が異なる４種類の結像光学系が４つずつ配列されている。結像光学系４１０ａ〜４１０ｄは広角レンズであり、結像光学系４２０ａ〜４２０ｄは標準レンズである。また、結像光学系４３０ａ〜４３０ｄが中望遠レンズであり、結像光学系４４０ａ〜４４０ｄが望遠レンズである。ただし、結像光学系の種類や数、配置はこれに限定されない。また、各結像光学系に対応する撮像素子は、それぞれ画素数が異なっていてもよい。
サーバー４０３内の画像処理部４０６で行われるぼけ補正処理は、実施例１にて図３を用いて説明したものと基本的に同じである。ただし、ステップＳ１０１では、画像処理部４０６は、撮像装置４０１で生成された画像のうち、１つの結像光学系を通した撮像により生成された画像を入力画像として取得する。ただし、撮像装置４０１から異なる結像光学系を通した撮像により生成された画像を順次取得し、入力画像を変えながら図３に示したぼけ補正処理を繰り返して全ての入力画像に対してぼけ補正を行ってもよい。
ステップＳ１０４では、画像処理部４０６はドメインブロック画像を取得する。この際、ドメインブロック画像を、入力画像からだけでなく、撮像装置４０１の他の結像光学系を通した撮像により得られた画像からも抽出する。撮像装置４０１の結像光学系は、それぞれ視点および画角において違いがあるものの、全て共通の被写体を撮像するために用いられている。このため、それらの画像からドメインブロック画像を抽出することで、ぼけ補正の効果をより高めることができる。特に、入力画像が広角レンズである結像光学系４１０ａ〜４１０ｄを通した撮像により得られた画像である場合は、より望遠側の結像光学系を通した撮像により得られた画像からドメインブロック画像を抽出することで、高いぼけ補正効果が得られる。望遠側は撮像倍率が大きく、より細かい構造が画像に含まれるためである。
本実施例によれば、多眼撮像装置によって被写体空間を撮像する過程で生じたぼけによりＭＴＦが大きく低下した周波数成分をも良好に復元された出力画像を生成することが可能な撮像システムを実現することができる。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
撮像により劣化した画像を良好に復元できる画像処理装置や撮像装置を提供できる。
１０３ 画像処理部
２０１ レンジブロック画像
２０２ａ ドメインブロック画像
２０３ａ 変換ドメインブロック画像
２０３ｂ 変換対応ドメインブロック画像
２０４ａ，２０４ｂ 劣化関数
２０５ａ 劣化ドメインブロック画像
２０６ｂ 対応ドメインブロック画像
３０２ 画像処理装置

Claims (11)

  1. 撮像により生成された入力画像からレンジブロック画像を抽出し、
    前記撮像により前記レンジブロック画像に生じた劣化を示す劣化関数を取得し、
    前記入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得し、
    前記第１のドメインブロック画像に対して前記劣化関数を適用して第２のドメインブロック画像を生成し、
    前記第２のドメインブロック画像と前記レンジブロック画像との相関を算出し、
    前記相関に応じて、前記第１のドメインブロック画像のうち前記レンジブロック画像に対応する対応ドメインブロック画像を選択し、
    前記対応ドメインブロック画像を用いて出力画像を生成することを特徴とする画像処理方法。
  2. 前記劣化関数は、前記撮像に用いられた撮像装置の種類、前記撮像時における前記撮像装置の光学系の状態、前記入力画像の色成分および前記入力画像における前記レンジブロック画像の抽出位置のうち少なくとも１つ以上を変数とすることを特徴とする請求項１に記載の画像処理方法。
  3. 前記第１のドメインブロック画像のサイズを、前記劣化関数と、該ドメインブロック画像に対応する劣化関数であるドメイン劣化関数との関係から決定することを特徴とする請求項１または２に記載の画像処理方法。
  4. 前記相関の算出において、前記レンジブロック画像における周辺側の領域の重みを、該周辺側の領域よりも中心側の領域の重みに比べて小さくすることを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
  5. 前記出力画像の生成において、前記対応ドメインブロック画像における周辺側の領域を除いた該周辺側の領域よりも中心側の領域を用いることを特徴とする請求項１から４のいずれか一項に記載の画像処理方法。
  6. 前記周辺側の領域を、前記劣化関数に応じて決定することを特徴とする請求項４または５に記載の画像処理方法。
  7. 前記レンジブロック画像のサイズと形状を、前記劣化関数に基づいて決定することを特徴とする請求項１から６のいずれか一項に記載の画像処理方法。
  8. 前記入力画像に対して歪曲収差を補正するための画像処理を、前記相関の算出よりも前に行うことを特徴とする請求項１から７のいずれか一項に記載の画像処理方法。
  9. 撮像により生成された入力画像からレンジブロック画像を抽出する手段と、
    前記撮像により前記レンジブロック画像に生じた劣化を示す劣化関数を取得する手段と、
    前記入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得する手段と、
    前記第１のドメインブロック画像に対して前記劣化関数を適用して第２のドメインブロック画像を生成する手段と、
    前記第２のドメインブロック画像と前記レンジブロック画像との相関を算出する手段と、
    前記相関に応じて、前記第１のドメインブロック画像のうち前記レンジブロック画像に対応する対応ドメインブロック画像を選択する手段と、
    前記対応ドメインブロック画像を用いて出力画像を生成する手段とを有することを特徴とする画像処理装置。
  10. 撮像を行う撮像手段と、
    請求項９に記載の画像処理装置とを有することを特徴とする撮像装置。
  11. コンピュータに画像処理を実行させるコンピュータプログラムとしての画像処理プログラムであって、
    前記画像処理は、
    撮像により生成された入力画像からレンジブロック画像を抽出し、
    前記撮像により前記レンジブロック画像に生じた劣化を示す劣化関数を取得し、
    前記入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得し、
    前記第１のドメインブロック画像に対して前記劣化関数を適用して第２のドメインブロック画像を生成し、
    前記第２のドメインブロック画像と前記レンジブロック画像との相関を算出し、
    前記相関に応じて、前記第１のドメインブロック画像のうち前記レンジブロック画像に対応する対応ドメインブロック画像を選択し、
    前記対応ドメインブロック画像を用いて出力画像を生成することを特徴とする画像処理プログラム。
JP2013255643A 2013-12-11 2013-12-11 画像処理方法、画像処理装置、撮像装置および画像処理プログラム Pending JP2015115733A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013255643A JP2015115733A (ja) 2013-12-11 2013-12-11 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
US14/563,388 US20150161771A1 (en) 2013-12-11 2014-12-08 Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013255643A JP2015115733A (ja) 2013-12-11 2013-12-11 画像処理方法、画像処理装置、撮像装置および画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2015115733A true JP2015115733A (ja) 2015-06-22

Family

ID=53271687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013255643A Pending JP2015115733A (ja) 2013-12-11 2013-12-11 画像処理方法、画像処理装置、撮像装置および画像処理プログラム

Country Status (2)

Country Link
US (1) US20150161771A1 (ja)
JP (1) JP2015115733A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020074285A (ja) * 2017-12-13 2020-05-14 東芝ライテック株式会社 照明器具

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894285B1 (en) * 2015-10-01 2018-02-13 Hrl Laboratories, Llc Real-time auto exposure adjustment of camera using contrast entropy
JP2017181291A (ja) * 2016-03-30 2017-10-05 富士通株式会社 距離測定装置、距離測定方法及びプログラム
CN110009589B (zh) * 2019-04-11 2020-11-24 重庆大学 一种基于dlss深度学习超级采样技术的图像滤波方法
CN113538374B (zh) * 2021-07-15 2023-11-28 中国科学院上海技术物理研究所 一种面向高速运动物体的红外图像模糊校正方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3903932B2 (ja) * 2003-03-06 2007-04-11 セイコーエプソン株式会社 画像読み取り制御装置およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020074285A (ja) * 2017-12-13 2020-05-14 東芝ライテック株式会社 照明器具

Also Published As

Publication number Publication date
US20150161771A1 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
RU2523028C2 (ru) Устройство обработки изображения, устройство захвата изображения и способ обработки изображения
JP5188651B2 (ja) 画像処理装置、およびそれを用いた撮像装置
JP5284537B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
US8754957B2 (en) Image processing apparatus and method
RU2716843C1 (ru) Цифровая коррекция аберраций оптической системы
EP3327667B1 (en) Image processing device, image capturing apparatus, and image processing method for obatining depth information
JP5709911B2 (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
JP2010087672A (ja) 画像処理方法、画像処理装置及び撮像装置
JP2015211319A (ja) 画像処理装置、その制御方法、および制御プログラム
JP5535053B2 (ja) 画像処理装置、及び画像処理方法
JP2015115733A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5479187B2 (ja) 画像処理装置及びそれを用いた撮像装置
JP2013045404A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5730036B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP2012156715A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
CN107979715B (zh) 摄像装置
US11830173B2 (en) Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2015119428A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP2021140758A (ja) 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム
JP2017050662A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2012156714A (ja) プログラム、画像処理装置、画像処理方法および撮像装置。
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
JP6604737B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6552375B2 (ja) 画像処理装置、撮像装置および画像処理プログラム