JP2012156714A - プログラム、画像処理装置、画像処理方法および撮像装置。 - Google Patents
プログラム、画像処理装置、画像処理方法および撮像装置。 Download PDFInfo
- Publication number
- JP2012156714A JP2012156714A JP2011013273A JP2011013273A JP2012156714A JP 2012156714 A JP2012156714 A JP 2012156714A JP 2011013273 A JP2011013273 A JP 2011013273A JP 2011013273 A JP2011013273 A JP 2011013273A JP 2012156714 A JP2012156714 A JP 2012156714A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical transfer
- transfer characteristic
- optical
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】 画像回復に必要なデータ容量が増加するのを抑えつつ、適切な回復画像を得られるプログラムを提供すること。
【解決手段】 本発明のプログラムは、互いに異なる撮影条件により撮影された第1、第2の撮影画像を画像回復するための光学伝達特性を取得する取得ステップと、前記光学伝達特性を用いて前記第1および第2の撮影画像を画像回復する回復ステップを情報処理装置に実行させることを特徴とするプログラムであって、前記取得ステップにおいて、前記光学伝達特性は前記第1、第2の画像に付加された前記撮影条件の情報に基づいて、同じ光学伝達特性が取得されることを特徴とする。
【選択図】 図4
【解決手段】 本発明のプログラムは、互いに異なる撮影条件により撮影された第1、第2の撮影画像を画像回復するための光学伝達特性を取得する取得ステップと、前記光学伝達特性を用いて前記第1および第2の撮影画像を画像回復する回復ステップを情報処理装置に実行させることを特徴とするプログラムであって、前記取得ステップにおいて、前記光学伝達特性は前記第1、第2の画像に付加された前記撮影条件の情報に基づいて、同じ光学伝達特性が取得されることを特徴とする。
【選択図】 図4
Description
本発明は、画像の回復(復元)処理を行うプログラム、画像処理装置、画像処理方法および撮像装置に関する。
従来、撮像装置の撮像光学系の収差の影響があらわれた画像(劣化画像)に対する画像処理方法として、光学伝達関数(OTF)を用いて画像を回復(復元)する処理がある。この方法は画像回復や画像復元という言葉で呼ばれている。以降、この撮像光学系、あるいはそれに準ずるシステムの光学伝達関数(OTF)を用いて画像の劣化を補正あるいは低減する処理を画像回復処理と記す。
特許文献1は、複数の光学系による撮影画像の画像回復処理を1つの装置で行う撮像システムを開示している。
特許文献2は、撮像装置の索引を付加した情報を使用して画像補正を行う画像処理システムを開示している。
しかしながら、特許文献1または2に開示された技術では、複数の撮像装置が使用される場合、各撮像装置に対応する回復フィルタ(以下、光学伝達特性フィルタ)を用意する必要がある。この為、撮像装置の数の増加に比例して、必要とされるデータ容量が増加してしまう。
そこで本発明は、画像回復処理に必要なデータ容量を抑えることができるプログラム、画像処理装置、画像処理方法および撮像装置を提供することを課題とする。
上記の課題を解決するために本発明のプログラムは、
互いに異なる撮影条件により撮影された第1、第2の撮影画像を画像回復するための光学伝達特性を取得する取得ステップと、
前記光学伝達特性を用いて前記第1および第2の撮影画像を画像回復する回復ステップを情報処理装置に実行させることを特徴とするプログラムであって、
前記取得ステップにおいて、前記光学伝達特性は前記第1、第2の画像に付加された前記撮影条件の情報に基づいて、同じ光学伝達特性が取得されることを特徴とする。
互いに異なる撮影条件により撮影された第1、第2の撮影画像を画像回復するための光学伝達特性を取得する取得ステップと、
前記光学伝達特性を用いて前記第1および第2の撮影画像を画像回復する回復ステップを情報処理装置に実行させることを特徴とするプログラムであって、
前記取得ステップにおいて、前記光学伝達特性は前記第1、第2の画像に付加された前記撮影条件の情報に基づいて、同じ光学伝達特性が取得されることを特徴とする。
本発明は、光学伝達特性の類似性に着目することにより、画像回復処理に必要とされるデータ容量を抑えることができる。
まず各実施形態の説明を行う前に、光学伝達特性について説明する。光学伝達特性とは、光学系の結像に関する特性(結像特性)である。例えば、点像強度分布(Point Spread Function、以下PSF)、光学伝達関数(Optical Transfer Function、以下OTF)、収差(例えば、波面収差)、瞳関数等である。本明細書では、画像回復処理に使用される光学伝達特性フィルタ(回復フィルタ)も結像特性が反映された光学伝達特性の1つとして定義する。
以下に、本発明を実施するための形態を、添付の図面に基づいて詳細に説明する。
(実施形態1)
図1は本発明にかかるプログラムがインストールされた情報処理装置と、その情報処理装置と接続可能(通信可能)な撮像装置を有する画像処理システムの概略構成図である。撮像光学系10、12および14は被写体の像を撮像装置のCCDやCMOSセンサのような撮像素子(受光素子)に結像する。撮像素子は光学系あるいはそれに準ずるシステムによる伝達特性による結像情報を画像に変換できるものであればよい。撮像装置本体11、13および15は撮像光学系を介して不図示の撮像素子城に結像された像を撮像する。撮像光学系は例えば交換レンズ等であり、カメラ本体(撮像装置本体)に対して着脱可能である。実施形態1では、撮像光学系と撮像装置本体を含めて撮像装置100、101および102とする。情報処理装置200は撮像装置100、101および102と画像等のデータの送受信を行うことが可能であり、情報処理装置200は受信(取得)した画像に対して画像回復処理を行い、回復画像を生成する。
図1は本発明にかかるプログラムがインストールされた情報処理装置と、その情報処理装置と接続可能(通信可能)な撮像装置を有する画像処理システムの概略構成図である。撮像光学系10、12および14は被写体の像を撮像装置のCCDやCMOSセンサのような撮像素子(受光素子)に結像する。撮像素子は光学系あるいはそれに準ずるシステムによる伝達特性による結像情報を画像に変換できるものであればよい。撮像装置本体11、13および15は撮像光学系を介して不図示の撮像素子城に結像された像を撮像する。撮像光学系は例えば交換レンズ等であり、カメラ本体(撮像装置本体)に対して着脱可能である。実施形態1では、撮像光学系と撮像装置本体を含めて撮像装置100、101および102とする。情報処理装置200は撮像装置100、101および102と画像等のデータの送受信を行うことが可能であり、情報処理装置200は受信(取得)した画像に対して画像回復処理を行い、回復画像を生成する。
次に、撮像装置の概略構成について図2を用いて説明する。図1と同じ部分については同一の符合を用いており、図中の矢印は主な情報の伝達経路を表わしている。撮像光学系10は絞り10aやフォーカスレンズ10bを有し、被写体の像(光学像)を撮像素子に結像させる。撮像素子202(光電変換素子、受光素子)は被写体の像を電気信号に変換するCCDやCMOSセンサ等である。撮像素子202から出力されたアナログ信号の画像はA/D(アナログデジタル)コンバータ203によりデジタル信号画像に変換される。
画像処理部204はA/Dコンバータ203により変換された画像の色づきを補正する処理や、ぼけを低減する処理等の画像処理を行う。表示部205は液晶ディスプレイや有機ELディスプレイ等であり、画像処理部204で処理された画像、あるいは記憶部208、画像記録媒体209に記録された画像を表示することができる。撮像光学系制御部206は物体距離(被写体距離)に応じてピント調整を行うためのオートフォーカス機構や手動のマニュアルフォーカス機構等であり、撮像光学系10の絞り10aやフォーカスレンズ10bを制御する。
状態検知部207はFナンバー(絞り径)、焦点距離(ズーム位置)、物体距離等の撮影条件(撮影状態)を検知する。システムコントローラ210は、この撮像装置のシステム全体を制御し、記憶部208に書き込まれた画像をファイル化して、画像記録媒体209に記録する制御も行う。
次に、図1に示した情報処理装置200の概略構成について図3を用いて説明する。情報処理装置200のCPU310は、ROM等に格納されるプログラムの指示に従って情報処理装置全体の制御や画像処理を行う。記憶手段320は画像や光学伝達特性等を記憶し、CPU310は適宜、記憶手段320に対して読み込みや書き込みを行う。外部記憶装置330は磁気ディスク等であり、画像や光学伝達特性を記憶させてもよい。入力手段340はキーボード、マウス等であり、外部からの入力を受け付け実行中のプログラム等に情報や指示を与えるための手段である。出力手段350はモニタやディスプレイ等であり、画像処理が行われた画像を適宜表示する。CPU310、記憶手段320、外部記憶装置330、入力手段340、出力手段350は互いにバス360を介して接続されている。尚、DVD−R、CD−R等の記録媒体で提供される本発明のプログラムを外部記憶装置330に記憶させ、オペレータの指示によりCPU310がプログラムの指示に従って、情報処理装置200に画像処理を実行させるように構成してもよい。あるいは、バス360に接続されているネットワークI/F370が遠隔地に存在する情報処理装置等と通信してプログラムやデータ等を授受しながら、CPU310が画像処理を行ってもよい。
ここまでで、撮像装置と情報処理装置のそれぞれについて説明を行ってきたが、次に図1で示した画像処理システム全体の処理について図4を用いて説明する。情報処理装置200と通信可能な撮像装置100、101はポジティブリードタイプの撮像光学系(レンズ)を有する撮像装置であり、撮像装置102はネガティブリードタイプの撮像光学系を有する撮像装置である。
まず本発明のプログラムがインストールされた情報処理装置200は、撮像装置100が撮像した画像110(第1の撮影画像)と、後の画像回復処理に用いられる光学伝達特性フィルタを特定可能な特定情報120を取得する。特定情報とは例えばEXIF情報であり、撮像装置本体の識別コード、撮像光学系の識別コード、撮像光学系の焦点距離、Fナンバー等が含まれる。
次に、情報処理装置のCPU310は特定情報120により特定される光学伝達特性フィルタNo.1を取得し、画像110と光学伝達特性フィルタNo.1の2次元畳み込み演算処理を行うことにより、画像110の回復画像110R(不図示)を生成する。この画像回復処理の詳細については後述する。以上の処理により、回復画像110Rは生成されるが、CPU310は、回復画像110Rに対して信号処理を行って、該信号処理された画像を出力画像として出力手段350に出力してもよい。この信号処理とは例えば、デモザイキング、ホワイトバランス調整、エッジ強調処理、ノイズリダクション処理、幾何学的な収差補正を行う歪曲収差補正、倍率色収差補正、シェーディング補正等である。
次に、撮像装置101と情報処理装置200について説明する。CPU310は撮像装置100と同様に、撮像装置101で撮像された画像111(第2の撮影画像)と特定情報121を取得する。
そして、情報処理装置のCPU310は特定情報121により特定される光学伝達特性フィルタNo.1を取得し、画像111と光学伝達特性フィルタNo.1の2次元畳み込み演算処理を行うことにより、画像111の回復画像111R(不図示)を生成する。
従来の技術では、記憶手段には撮像装置A、撮像装置Bで撮像された画像を回復処理するために、それぞれの撮像装置A、Bに対応する光学伝達特性フィルタFA、FBが記憶される。一方、実施形態1では、記憶手段320に撮像装置100、撮像装置101で撮像された画像101、画像111に対して共通に利用可能な光学伝達特性フィルタNo.1(第1の光学伝達特性)が記憶される。これにより、画像回復に必要なデータ容量を削減することが可能となる。
本発明者は、光学設計を通して同じようなレンズタイプ、同じようなフォーカスタイプといった類似の構造の撮像装置は、同じ撮影条件で似通った光学伝達特性を示すことを見出した。例えば、ポジティブリードタイプの撮像装置100、撮像装置101の点像強度分布を図5(a)、(b)に示すが、これらは同じ傾向を示している。尚、撮影条件が同じでなくとも、同じズームタイプであれば似通った光学伝達特性を示すものもある。例えば、広角端の焦点距離が同じで、異なるズーム比を有する同じズームタイプの撮像光学系である。このような撮像装置は、望遠端の撮影条件が異なっていても似通った光学伝達特性を示す。
つまり、実施形態1の発明は、上記光学伝達特性の類似性に着目して成された発明であり、互いに異なる撮影条件により撮影された画像であっても、撮影条件における光学伝達特性が類似している場合は同じ光学伝達特性を使用して画像回復を行うものである。これにより、個々の撮像装置に対応した別個の光学伝達特性フィルタを記憶させるよりも、データ容量を削減することができる。
尚、類似しているか否かの判定手段を設けても良い。例えば、判定手段が撮像装置Aと撮像装置Bの光学伝達特性が類似していると判定した場合、同じ光学伝達特性を取得する。類似していないと判断した場合は、それぞれの撮像装置A、Bに対して別の光学伝達特性を取得する。
さらに好ましくは、記憶手段320に、ズームタイプ、フォーカスタイプ、防振タイプ等のタイプごとにパターン化された光学伝達フィルタを記憶させるのがよい。そうすれば、ネガティブリードタイプの撮像装置102が情報処理装置200と接続された(通信可能になった)場合においても、新たに光学伝達フィルタを増やす必要がない。フォーカスタイプとは例えばリアフォーカスタイプかフロントフォーカスタイプかである。フォーカスタイプごとにパターン化するとは、撮像装置自体が異なっていても、同じフォーカスタイプであれば光学伝達特性が似通っているものが多いので、記憶手段にはそれら複数の異なる撮像装置に対応する1つのフィルタ群を記憶させる、ということである。尚、撮像光学系に対しても同様のことが言える。
尚、パターン化のさせ方は上記挙げたものに限られず、ネガティブリードタイプなのかポジティブリードタイプなのか、といったリードタイプによってパターン化してもよい。
尚、パターン化のさせ方は上記挙げたものに限られず、ネガティブリードタイプなのかポジティブリードタイプなのか、といったリードタイプによってパターン化してもよい。
以下に、ネガティブリードタイプの撮像装置102によって撮像された画像112(第3の画像)に対する情報処理装置200の処理について説明する。
CPU310は撮像装置102で撮像された画像112と特定情報122を取得する。
そして、情報処理装置のCPU310は特定情報122により特定される光学伝達特性フィルタNo.2を取得し、画像112と光学伝達特性フィルタNo.2の2次元畳み込み演算処理を行うことにより、画像112の回復画像112R(不図示)を生成する。
さらに好ましくは、撮像装置の光学伝達特性が予め記憶された光学伝達特性に近づくように撮像装置の設計を行えば、より効果的に画像回復を行うことができる。
そして、情報処理装置のCPU310は特定情報122により特定される光学伝達特性フィルタNo.2を取得し、画像112と光学伝達特性フィルタNo.2の2次元畳み込み演算処理を行うことにより、画像112の回復画像112R(不図示)を生成する。
さらに好ましくは、撮像装置の光学伝達特性が予め記憶された光学伝達特性に近づくように撮像装置の設計を行えば、より効果的に画像回復を行うことができる。
尚、本実施形態および以下の実施形態では、説明を簡潔にするために、1つの画像に対して1つの光学伝達特性フィルタを取得する形態について説明しているが、複数の光学伝達特性フィルタ群(セット)を1つの画像に対して用いてもよい。複数の光学伝達特性フィルタ群を1つの画像に対して用いる場合には、CPU310は、例えば撮像装置100、101で共通に利用可能な光学伝達特性フィルタ群を取得すればよい。
また、1つの画像に対して複数の光学伝達特性フィルタを用いる場合、CPU310は光学伝達特性フィルタを画像の画素ごとに取得しても良い。画素ごとに光学伝達特性フィルタを取得する場合は、1つまたは複数の特定の画素を抽出して、その抽出した画素に対応する光学伝達特性フィルタを取得すれば、全ての画素ごとに光学伝達特性フィルタを取得するよりも処理速度が向上するので好ましい。
また、記憶手段320には、プログラムが実行される前に光学伝達特性フィルタが記憶されていてもよいし、記憶されていなくてもよい。後者の場合は、例えば、プログラムが格納された記録媒体に、複数の撮像装置が共通に使用可能な光学伝達特性フィルタを記録しておく。そして、該プログラムがインストールされる情報処理装置あるいは画像処理装置の外部記憶装置に、それら光学伝達特性フィルタを記憶させればよい。
また、実施形態1では、光学伝達特性フィルタそのものが記憶手段320に記憶されている形態について説明したが、点像分布関数や光学伝達関数等が記憶されていてもよい。その場合は、点像分布関数や光学伝達関数に対してフーリエ変換や逆フーリエ変換をCPU310が実行し、光学伝達特性フィルタを生成すればよい。
では、CPU310が情報処理装置200に実行させるプログラムの処理フローについて図6を用いて説明する。まずステップS10において、CPU310は画像と光学伝達特性フィルタを特定するための特定情報を取得する。続いて、ステップS20において、CPU310は特定情報が特定する光学伝達特性フィルタ(光学伝達特性)を取得する。続いて、ステップS30(回復ステップ)において、CPU310は光学伝達特性フィルタをステップS10で取得した画像に対して実空間上で畳み込む処理を実行する。尚、必ずしもステップS10において回復対象の画像を取得する必要はなく、ステップS30において、あるいはステップS30の前工程において回復対象の画像を取得してもよい。尚、先に説明した信号処理を実行するステップは、必要に応じて適宜実行されれば良いので、信号処理のステップは含めずに説明した。
また、実施形態1では情報処理装置のCPU310がプログラムの指示に従って各ステップを実行する形態について説明したが、各ステップ又はその一部をハードウェアで構成しても本発明の効果を得ることができる。図7に、画像処理装置を例にハードウェアで構成する場合の概略構成図を示す。画像処理装置700と通信可能な撮像装置の説明は図4における説明と重複するので割愛する。
画像処理装置700は、光学伝達特性取得手段710、画像回復手段720、信号処理手段730、記憶手段750を有する。まず、画像処理装置700は、回復対象となる画像と光学伝達特性フィルタを特定可能な特定情報を取得する。光学伝達特性取得手段710は記憶手段750から特定情報が特定する光学伝達特性フィルタを記憶手段750から取得する。画像回復手段720は取得された光学伝達特性フィルタと画像を畳み込むことにより回復画像を生成する。信号処理手段730は、回復画像に対してデモザイキング等の画像処理を行う。以上の各手段により、所望の回復画像を得ることができる。
以上のような画像処理システムを使用するその他の例としては、情報処理装置200のCPU310に替えてプリンタに搭載された演算処理部を使用することでプリント時に画像回復処理を実行することも可能である。
以上の説明のとおり発明者は、撮像装置の分類に応じて光学伝達特性にも類似性(似通った結像特性を示す)があることを発見した。そして、その着眼点により成された本実施形態によれば、類似した光学伝達特性を代表する光学伝達特性を予め記憶手段に記憶させ、その光学伝達特性を用いて回復処理を行うことにより、データ容量を削減しつつ、良質な回復画像を得ることができる。
尚、特定情報は、回復処理で用いる光学伝達特性を特定することが可能な情報であれば既出の情報に限られない。例えば、焦点距離、Fno、物体距離、像高、カメラの識別情報、レンズの識別情報、光学系のズーム位置、物体距離に対するフォーカス状態、絞りの状態、防振レンズのレンズ位置、レンズ群の数、レンズの構造に関する情報等が挙げられる。さらに、撮像装置の撮像素子の画素によって開口特性も変化するので、この撮像素子に関する情報を特定情報として使用しても良い。あるいは、撮像装置ごとに異なるローパスフィルタを使用している場合には、これに関する情報も光学伝達特性を特定する特定情報として使用することができる。
また、実施形態1では撮像装置が直接的に光学伝達特性を特定するための特定情報を出力したが、撮像装置の情報や撮影条件そのものの情報から光学伝達特性を特定できる情報を生成して特定情報として使用しても良い。また、複数の画像から光学伝達特性を特定することが可能な特定情報を取得しても良い。この場合、特定情報は撮像装置側で生成してもよいし、画像処理装置側で生成しても良い。また、これらの特定情報は、画像の一部に付加しても良いし、別の機器やネットワーク上を介して特定情報を取得してもかまわない。
また、実施形態1はCPUが記憶手段に記憶された光学伝達特性フィルタの中から、特定情報によって特定される光学伝達特性フィルタを取得する方法について記載したがこれに限られない。例えば、記憶手段に、特定情報と記憶手段に格納された光学伝達特性フィルタのアドレスを対応させるルックアップテーブル(LUT)を記憶させる。そして、CPUがルックアップテーブルを参照し、特定情報に対応した光学伝達特性フィルタを取得してもよい。つまり、本明細書の特定情報とは直に光学伝達特性を特定する情報であってもよいし、間接的に光学伝達特性を特定する情報であってもよい。
また、実施形態1では撮像光学系と撮像装置本体が別体の場合について説明したが、レンズと撮像素子が一体のコンパクトカメラ等にであってもよい。
また、実施形態1では情報処理装置のCPU310が全てのステップを実行する形態について説明した。撮像装置、情報処理装置のそれぞれのCPUが一部のステップを実行しても本発明の効果を得ることができる。つまり、複数の撮像装置から出力される特定情報と画像に基づいて画像回復処理を実行する画像処理システムであれば本発明の効果を得ることができる。
また、実施形態1では情報処理装置のCPU310が全てのステップを実行する形態について説明した。撮像装置、情報処理装置のそれぞれのCPUが一部のステップを実行しても本発明の効果を得ることができる。つまり、複数の撮像装置から出力される特定情報と画像に基づいて画像回復処理を実行する画像処理システムであれば本発明の効果を得ることができる。
ここで、本発明が扱う画像(画像データ)について簡単に説明する。本発明が扱う画像は、例えばRGBの色成分や、色空間により表現される複数の成分を有している。色空間で表現される成分とは、例えば、LCHで表現される明度、色相、彩度や、あるいはYCbCrで表現される輝度、色差信号等である。
画像は、各画素に1つの色成分の信号値を有するモザイク画像でも良いし、このモザイク画像を色補間処理(デモザイキング処理)して画素ごとに複数の色成分の信号値を有するデモザイク画像でも良い。このモザイク画像は色補間処理(デモザイキング処理)やガンマ変換と呼ばれる信号値変換やJPEGで知られる画像圧縮などの諸々の画像処理を行う前の画像として、RAW画像とも呼ばれている。特に、単板の撮像素子で複数の色成分情報を得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して上記のような各画素に1つの色成分の信号値を有するモザイク画像を取得することになる。この場合、上記の色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を生成することができる。一方、多板、例えば3板の撮像素子を用いる場合には各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の画像信号値を得る。この場合、各撮像素子間で対応する画素ごとにそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。
また画像には、レンズの焦点距離、絞り、物体距離などの撮影条件を付帯することができる。撮像から出力までの一連の処理を1つの閉じた撮像装置で行う場合には、画像に撮影条件を付帯しなくとも装置内で取得することができる。その場合は、例えば状態検知部207(図2)などから特定情報を取得することができる。しかし、撮像装置からRAW画像を取得し、別体の画像処理装置あるいは情報処理装置で所望の画像処理、信号処理を行う場合には、画像に撮影条件の情報を付帯することが好ましい。
では次に、既出の画像回復処理の概要について説明する。画像回復とは、画像に現れる収差を低減させる処理であり、収差とは、例えば撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等である。これら収差により、本来は一点に結像すべき像(点像)が、広がりのあるぼけた像として撮像素子(受光素子)上に形成されてしまう。この収差によるぼけは、光学的には点像分布関数(PSF)あるいは点像強度分布により表わされる。
元の画像をf(x,y)、撮影画像(劣化画像)をg(x,y)、点像分布関数(PSF)をh(x,y)とすると、以下の式が成り立つ。ただし、*は畳み込み積分を示し、(x,y)は画像上の座標を示す。
g(x,y)=h(x,y)*f(x,y)・・・(式1)
実施形態1では、元の画像f(x,y)は回復画像、撮影画像g(x,y)は撮像装置から出力される画像に対応する。式1をフーリエ変換して周波数空間での表示形式に変換すると、式2のように式1の右辺は積で表わされる。
G(u,v)=H(u,v)・F(u,v)・・・(式2)
式2のH(u,v)は点像強度分布関数h(x,y)をフーリエ変換したものであり、言い換えれば光学伝達関数(OTF)である。G(u,v)、F(u,v)はそれぞれg(x,y),f(x,y)をフーリエ変換したものである。(u,v)は2次元周波数空間での座標、即ち周波数である。また、・は乗算を示す記号である。
g(x,y)=h(x,y)*f(x,y)・・・(式1)
実施形態1では、元の画像f(x,y)は回復画像、撮影画像g(x,y)は撮像装置から出力される画像に対応する。式1をフーリエ変換して周波数空間での表示形式に変換すると、式2のように式1の右辺は積で表わされる。
G(u,v)=H(u,v)・F(u,v)・・・(式2)
式2のH(u,v)は点像強度分布関数h(x,y)をフーリエ変換したものであり、言い換えれば光学伝達関数(OTF)である。G(u,v)、F(u,v)はそれぞれg(x,y),f(x,y)をフーリエ変換したものである。(u,v)は2次元周波数空間での座標、即ち周波数である。また、・は乗算を示す記号である。
撮影画像G(u,v)から回復画像F(u,v)を得るためには、式2の両辺をHで除算すればよい。
G(u,v)/H(u,v)=F(u,v)・・・(式3)
このF(u,v)、即ちG(u,v)/H(u,v)を逆フーリエ変換して実空間(実面)に戻すことで、回復画像f(x,y)が得られる。
G(u,v)/H(u,v)=F(u,v)・・・(式3)
このF(u,v)、即ちG(u,v)/H(u,v)を逆フーリエ変換して実空間(実面)に戻すことで、回復画像f(x,y)が得られる。
ここで、1/H(u,v)を逆フーリエ変換したものをR(x,y)とすると、式3は式4に書き換えることができる。
g(x,y)*R(x,y)=f(x,y)・・・(式4)
つまり、式4で表わすように実空間の撮影画像にR(x,y)を畳み込み積分処理を行うことで回復画像を得ることができる。
g(x,y)*R(x,y)=f(x,y)・・・(式4)
つまり、式4で表わすように実空間の撮影画像にR(x,y)を畳み込み積分処理を行うことで回復画像を得ることができる。
このR(x,y)が回復フィルタ(光学伝達特性フィルタ)である。一般的にこの回復フィルタは画像が2次元のとき、図8(a)に示したように画像の各画素に対応したタップ(セル)を有する2次元のフィルタとなる。また、回復フィルタのタップ数は一般的に多いほど回復精度が向上するので、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数を設定すればよい。この回復フィルタは収差の特性を反映している必要があるため、従来の縦横3×3タップ程度のエッジ強調フィルタ(ハイパスフィルタ)等とは性質が異なる。
図8(b)は(a)の回復フィルタの断面図であり、横軸はタップ、縦軸はタップの値である。この各タップが持つ値(係数値)の分布が、収差によって空間的に広がった信号値を元の1点に戻す役割を果たしている。この回復フィルタの作成する方法としては、例えば撮像光学系の光学伝達関数(OTF)を計算もしくは計測し、その逆関数に基づいた関数を逆フーリエ変換して得る方法がある。
尚、光学伝達特性には撮像光学系のみならず、撮像の過程で光学伝達特性に影響を与える要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタの特性や光源の撮像素子の開口形状や各種波長フィルタの分光特性が挙げられる。複屈折を有する光学ローパスフィルタは光学伝達特性の周波数特性に対して高周波成分を抑制するものであるし、撮像素子はその傾きにより撮像素子上でのぼけ像が変化するので伝達特性を変化させる要因の1つである。これらを含めた広義の光学伝達特性に基づいて、画像回復処理を行うことがより望ましい。
また、実空間において、回復フィルタを画像に対して畳み込み処理することの利点は、画像回復処理の工程で画像のフーリエ変換や逆フーリエ変換を行う必要がないのでより高速な処理が可能な点にある。図8(a)に示したフィルタは正方配列(縦と横のタップ数が同じ)のフィルタであるが、これに限られず、回復フィルタの縦横のタップ数は任意に変更することができる。
以上、理想的な回復フィルタについて式を用いて説明したが、実際の画像にはノイズ成分があるため上記のような光学伝達関数(OTF)の逆関数に基づいた回復フィルタを用いると、回復とともにノイズ成分が増幅されてしまう。ノイズ成分の増幅を抑制するには、例えばウィナーフィルタのような応用的な回復フィルタを用いてもよい。
尚、画像回復処理を行う際に、回復の対象とする収差は特に限られないが、画像回復処理が回復の対象とする収差はザイデル収差(球面収差、コマ収差、非点収差、像面湾曲、歪曲収差)のうち、球面収差、コマ収差、非点収差、像面湾曲とする。歪曲収差のような幾何学的に大きな補正量を必要とする収差は対象としないことが好ましい。なぜならば、幾何学的な補正量が大きくなると、回復フィルタの係数値の変動が激しくなり、回復画像にリンギング等の好ましくないアーティファクトが現れやすくなるからである。
画像回復処理が行う回復の対象を球面収差、コマ収差、非点収差、像面湾曲とすることによるその他の効果は、2次元データである回復フィルタに歪曲収差補正を行う成分を含めるよりもデータ量を減らすことができるという効果が得られる。理由は、幾何学的な歪曲収差補正を行うのに必要なデータは画像の伸縮度合を表す1次元データであればよいので、2次元データである回復フィルタに歪曲収差を補正する成分を含めるよりもデータの容量を減らすことができるからである。実施形態1のように、様々な収差を持つ画像に対して、特定の画像処理装置で画像回復処理を行うような場合は、特に有効である。
また、以上説明した画像回復処理は撮像光学系を持たない装置にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ(読み取り装置)やX線撮像装置である。これらはレンズに代表される撮像光学系を有さないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は装置の伝達特性(伝達関数)であるので、撮像光学系によるものではないが、上記の光学伝達特性に相当するものである。したがって、撮像光学系を有さずとも、伝達特性に基づいて回復画像を生成することができる。
(実施形態2)
実施形態2では、特定情報としてレンズの構成に関する情報を用い、画像の画素位置に応じた光学伝達特性フィルタを取得する例を説明する。説明の内容は重複する部分が多いので、実施形態1の図4を再び用いて説明する。
実施形態2では、特定情報としてレンズの構成に関する情報を用い、画像の画素位置に応じた光学伝達特性フィルタを取得する例を説明する。説明の内容は重複する部分が多いので、実施形態1の図4を再び用いて説明する。
従来の技術では、1つの画像の画素数が1000万画素を超えるような撮像装置においては、それぞれの画素ごとに光学伝達特性を取得すると処理時間がかかってしまう。処理時間を低減させるための方法として、画像のある領域に対して用いる光学伝達特性を他の領域に対しても使用するという方法がある。しかし、この方法では同じ光学伝達特性を使用する領域の境界において不連続な線が生じてしまう。これを目立たなくするためには、画像を評価する環境において画質の差を知覚できない領域(Shift Invariantな領域)に対しては、同じ光学伝達特性を使用すればよい。この方法を適用すれば、必要な光学伝達特性の数は画像の画素数の1/104程度となるが、それでも、103程度の数の光学伝達特性を取得する処理が必要となる。
そこで実施形態2では、特定情報としてレンズの構成と撮影条件を用いて、画素に応じた光学伝達特性を取得する。これは、同じ構成の2つのレンズに関して、同じ撮影条件では収差の出方や点像強度分布の傾向が似通っている点、画像全体の各画素位置で見ても同じ傾向にある点を利用している。例えば、ネガティブリードのズームレンズの広角端では像面湾曲が発生するし、高倍率のズームレンズで使用されるポジティブリードのズームレンズの望遠端では軸上色収差が大きく発生し、周辺でコマ収差が発生する。このように傾向が似ている理由は、同じタイプのレンズは各面で発生する収差の出方が似ていることと、収差の発生する量的にも一定の性能を満たす上で同じレベルになるからである。尚、撮像装置の光学系のズームレンズの群構成に限らず、シングルレンズのレンズタイプ(ガウスタイプ、テレフォトタイプ、レトロフォーカス等)も画像全体の各画素位置で同じ傾向を示す。また、フォーカスタイプ、防振タイプ、絞り形状についても、その収差の出方の傾向を分類することができる。
実施形態2の画像処理システムは、3つの撮像装置を有している。それぞれの撮像装置は既存のレンズ交換式カメラシステムにおける交換レンズ及びカメラ本体あるいは、レンズと撮像素子が一体のコンパクトカメラである。本実施例では撮像装置は交換レンズとカメラ本体であるとする。これらの撮像装置で撮像された画像にはEXIF情報と呼ばれる、撮像装置の識別コードや画像を撮影したレンズの焦点距離、Fno等の撮影条件の情報が記載されている。実施形態2では、撮像装置の識別コードのうち、交換レンズに関する識別コードからこの交換レンズの群構成を取得する。撮像装置100の撮像光学系は図9に示すような、負正負正の群構成を有するネガティブリードタイプのズームレンズであり、このタイプは広角端でレトロ比(レンズ全長/焦点距離)が大きくなり、像面湾曲や歪曲収差が大きくなる。その反面、軸上での球面収差は発生しにくいといった特徴がある。図9のLU1からLU4はズームのために移動するレンズ群、STOは絞り、ImgPPは撮像面である。
記憶手段320にはネガティブリードタイプのズームレンズ用の各画素位置に対する光学伝達特性フィルタを記憶しておく。さらに好ましくは、複数のネガティブリードタイプのレンズの光学伝達特性を平均した光学伝達特性に基づく光学伝達特性フィルタを記憶しておけばよい。そうすれば、様々なネガティブリードタイプのズームレンズにより撮像された画像を回復する場合でも、実際の光学伝達特性とのずれが小さくなるため、画像回復処理の精度向上に有利である。
CPU310は、取得した交換レンズの識別コードと撮影条件から、撮像装置100のレンズ構成における各画素位置の光学伝達特性フィルタ群を取得し、該光学伝達特性フィルタ群を用いて、画像101に対して回復処理を実行し、回復画像を生成する。生成された画像に対し、ホワイトバランス調整、エッジ強調、倍率色収差補正、歪曲補正、シェーディング補正等のカメラ信号処理を加えることで、出力画像を得ることができる。
つまり、撮像光学系の構成と撮影条件が与えられれば、光学伝達特性を特定可能なので、1回の光学伝達特性取得処理により必要な画素位置に対応する光学伝達特性フィルタを取得できるので、処理速度が向上する。
尚、補間処理と組み合わせれば、必要な光学伝達特性フィルタの数を少なくすることができ、更に高速な処理が可能となるのでより好ましい。補間処理とは、画像中の複数の特定の画素位置における光学伝達特性を取得して、任意の画素位置の光学伝達特性を補間計算により算出する方法である。例えば、画像の第1領域を回復するための光学伝達特性Aと画像の第2領域を回復するための光学伝達特性Bを用いて演算することにより、第1領域と第2領域との間にある第3領域を回復するための光学伝達特性Cを生成する。
さらに好ましくは、特定情報が画素位置に関する補正係数を特定することが好ましい。補正係数とは画像の画素位置ごとに収差の出方が予め分かっている場合に、画素Aに対して取得された光学伝達特性Aの係数や値に対して演算する係数のことである。これにより光学伝達特性Aを用いて画素A’を回復するための光学伝達特性A’を生成することができる。これは、補正情報を使用することで、同じ構成の中でも画像回復処理の微小な補正が出来るので、回復精度を向上させることがきるためである。例えば、回復フィルタ全体を比例倍してフィルタの正規化定数を変化させることにより回復後の輝度レベルを操作したり、回復フィルタの広がりを調整して回復度合いを操作したりすることが出来る。
撮像装置101に関しても、撮像装置100と同じレンズ構成であれば、特定情報としてレンズ構成と撮影条件を取得して上述の処理を行うことで処理時間を短縮することができる。実施形態2の各画素位置に対する光学伝達特性の取得方法は、物体距離情報が欠落している場合に有効である。
画像回復処理では、撮像装置または撮影条件の一部が特定できない場合には、光学伝達特性の特定が困難になるので、撮影条件は特定されることが好ましい。しかし、一般的な撮像装置においては、露出に関する情報や焦点距離に関する情報は撮影画像に付加されて出力される場合が多いが、物体距離に関しては画像のピントが合っていることが重要なので、物体距離の情報は出力されない場合がある。
よって、撮像装置は物体距離が画像の付加情報に付加されているか否かを判定する(第1の判定ステップ)。物体距離の情報が付加されていない場合は、物体距離を変数として画像回復処理を数回実行し、その結果生成された複数の回復画像の中で最も回復度合いが高いものに対応する変数を物体距離とすれば良い。例えばコントラストAFのように回復処理後の画像のコントラスト値を算出しこれを評価値として最適な物体距離を算出するといった処理が挙げられる(評価ステップ、第2の判定ステップ)。具体的には評価値の大小を判定して最も評価値が小さいと判定された際の変数を、物体距離の情報として設定する(設定ステップ)。このように複数回の画像回復処理を行う場合、本実施形態を適用すれば、1回の光学伝達特性取得処理が短縮化できるので、有効である。尚、欠落している情報は、物体距離にかかわらず、焦点距離やFno、防振状態等であっても、本実施例を適用することは可能である。
尚、本実施形態においても異なる撮像装置であっても、その光学伝達特性に類似性があれば、共通の光学伝達特性を使用することは実施形態1と同じであるので、本実施形態もデータ容量を削できるという効果を得ることができる。
尚、物体距離の情報が付加されていない場合について説明したがそれに限られず、他の撮影条件の情報に対しても、その情報を特定するために上記処理を適用することができる。
尚、物体距離の情報が付加されていない場合について説明したがそれに限られず、他の撮影条件の情報に対しても、その情報を特定するために上記処理を適用することができる。
(実施形態3)
以下図10を参照して、画像処理システムの第3実施形態について説明する。実施形態3の画像処理システムは、撮像装置本体(カメラ本体)あるいは撮像光学系(交換レンズ)内の記憶領域(記憶手段)に光学伝達特性を記憶しておく点が実施形態1と異なる。撮像装置内の記憶領域の容量が小さい場合、情報処理装置のような高速な処理が行えないため、記憶領域には光学伝達特性フィルタを記憶させておくのが好ましい。これは、記憶される光学伝達特性がフィルタそのものであれば、画像回復処理を実行する際に光学伝達特性をフーリエ変換や逆フーリエ変換して光学伝達特性フィルタとする処理が必要なくなるからである。
以下図10を参照して、画像処理システムの第3実施形態について説明する。実施形態3の画像処理システムは、撮像装置本体(カメラ本体)あるいは撮像光学系(交換レンズ)内の記憶領域(記憶手段)に光学伝達特性を記憶しておく点が実施形態1と異なる。撮像装置内の記憶領域の容量が小さい場合、情報処理装置のような高速な処理が行えないため、記憶領域には光学伝達特性フィルタを記憶させておくのが好ましい。これは、記憶される光学伝達特性がフィルタそのものであれば、画像回復処理を実行する際に光学伝達特性をフーリエ変換や逆フーリエ変換して光学伝達特性フィルタとする処理が必要なくなるからである。
実施形態3の撮像装置1(撮像装置100A)の撮像光学系は不図示のネガティブリードタイプのリアフォーカスレンズである。記憶領域320Aにはネガティブリードタイプのリアフォーカスレンズ用の光学伝達特性フィルタ群を記憶する。この光学伝達特性フィルタを複数のリアフォーカスレンズに対応するフィルタを平均したものにすることで、様々なネガティブリードタイプのリアフォーカスレンズで撮像された画像を回復する場合においても、理想的な光学伝達特性フィルタとのずれが小さくなる。そのため、画像回復処理の精度向上に有利である。
撮像装置1は、画像に付加された特定情報DAを取得する。実施形態3では特定情報はリアフォーカスタイプのレンズといったレンズのフォーカスタイプに関する情報である。光学伝達特性取得手段710Aは、取得されたレンズ構成で撮影された画像の複数の画素位置に対応した光学伝達特性フィルタ群を取得する。レンズのフォーカスタイプに応じて予め画像全体を回復するのに必要な光学伝達特性フィルタ群を用意し、取得すれば、各画素を回復するのに適した光学伝達特性フィルタを1画素ごとに繰り返し取得するよりも高速な処理が可能となる。
また、記憶領域320Aには、類似の光学伝達特性を示すフォーカスタイプごとに光学伝達特性フィルタ群が記憶されているので、画像回復処理に必要とされるデータ容量を抑えることができる。
画像処理装置700は撮像装置内で取得された光学伝達特性フィルタ群と画像ImgAを取得し、それら光学伝達特性フィルタ群に対して補正処理を実行する。ここでは、画像に付加されているレンズの識別情報を利用して各画素位置における補正係数を画像処理装置内の不図示の記憶領域から取得している。補正係数とは、あらかじめ記憶手段320Aに記憶された光学伝達フィルタが、回復したい画素に適したフィルタではなかった場合、あるいは、より適したフィルタに補正したい場合に、フィルタの係数を補正するための係数である。尚、撮像装置1が補正係数を取得しても良いが、画像処理装置は一般的にはカメラ本体よりも処理速度が速く、記憶領域も確保しやすいため、処理速度と画像回復精度を両立させるためには画像処理装置が補正係数を取得する形態が好ましい。
そして画像処理装置は、補正された光学伝達特性フィルタと画像ImgAを使用して画像回復処理を行って回復画像を生成する。その回復画像にホワイトバランス調整、エッジ強調、倍率色収差補正、歪曲補正、シェーディング補正等のカメラ信号処理を加えることで、出力画像を得ることができる。
撮像装置2(撮像装置100B)の撮像光学系は不図示のネガティブリードタイプのフロント(前玉)フォーカスレンズである。撮像装置2の記憶領域320B(記憶手段)にはネガティブリードタイプのフロントフォーカスレンズ用の光学伝達特性フィルタ群が記憶される。撮像装置1と同じように、記憶領域には、ネガティブリードタイプのフロントフォーカスレンズに対応する光学伝達特性フィルタを平均したものとすることが好ましい。
撮像装置2は、レンズ構成と撮影条件を特定する特定情報DBを取得し、この構成に対する光学伝達特性フィルタ群を光学伝達特性取得手段710Bは記憶領域320Bから取得する。画像処理装置は、撮像装置2内で取得された光学伝達特性フィルタ群を取得し、それら光学伝達特性フィルタ群に対して補正係数を用いた補正処理780を実行する。そして、補正された光学伝達特性フィルタを用いて画像ImgBに対してして画像回復処理を実行し、回復画像を生成し、その回復画像に対して信号処理を実行して出力画像ImgCを出力する。
上記実施例をプログラムによって実行させる場合は、プログラムは撮像装置、画像処理装置にインストールされ、光学伝達特性を取得するステップが撮像装置1のCPUにより実行され、光学伝達特性を補正するステップは画像処理装置のCPUにより実行される。画像回復ステップも、画像処理装置のCPUにより実行される。
以上のとおり、撮像装置内で光学伝達特性フィルタを取得する場合において、レンズの構成(フォーカスタイプ)を含む撮影条件から複数のフィルタ群を取得することで、処理速度を向上させることができるので、限られた記憶容量を使用する場合は特に有効である。
(実施形態4)
以下、図11を参照して画像処理システムの実施形態4について説明する。実施形態4の画像処理システムは、ユーザーが複数の撮像装置を有する情報処理装置(例えばパーソナルコンピュータ等)に画像データを取り込んだ後、インターネットを介して利用可能な画像処理装置を利用して画像回復処理を行うシステムを示している。このシステムは画像処理装置が情報処理装置とは別に用意されるため、画像処理能力の高い画像処理装置を用意できる点である。また、ユーザーは画像回復処理に関する特別な情報を特っていなくても画像回復処理が実行できる。
以下、図11を参照して画像処理システムの実施形態4について説明する。実施形態4の画像処理システムは、ユーザーが複数の撮像装置を有する情報処理装置(例えばパーソナルコンピュータ等)に画像データを取り込んだ後、インターネットを介して利用可能な画像処理装置を利用して画像回復処理を行うシステムを示している。このシステムは画像処理装置が情報処理装置とは別に用意されるため、画像処理能力の高い画像処理装置を用意できる点である。また、ユーザーは画像回復処理に関する特別な情報を特っていなくても画像回復処理が実行できる。
情報処理装置200が撮像装置1(撮像装置100D)および撮像装置2(撮像装置100E)により撮像された画像1(ImgD)、画像2(ImgE)を取得する。画像1にはEXIF情報が特定情報DDとして付加されているが、物体距離についての情報は含まれていない。画像2には物体距離の情報を含むEXIF情報が特定情報としてDE付加されている。情報処理装置によりインターネット(INet)上に画像1および画像2がアップロードされる。
インターネット上のサーバ等にある画像処理装置700はEXIF情報を特定情報として、画像処理装置700の記憶手段320(記憶領域)にあらかじめ記憶された光学伝達関数(OTF)から特定情報に相当する光学伝達関数を取得する。本実施形態では光学伝達関数を用いているので、光学伝達特性を取得するステップの後に、取得された光学伝達関数に対してフーリエ変換や逆フーリエ変換を実行する。この処理により、光学伝達特性フィルタ(回復フィルタ)を生成される(回復フィルタ生成処理782)。
画像2には物体距離の情報が付加されているので、画像処理装置700は特定情報から光学伝達関数を特定できるが、画像1には物体距離の情報が付加されていない。そこで、画像処理装置700は、物体距離を変数(パラメータ)として、該変数値を変えながら生成された回復フィルタを用いて入力画像に対して画像回復処理を実行し、回復画像を生成する(画像回復処理)。そして、回復画像のコントラスト値を評価値として評価値が最大となるまで(評価ステップ784)山登り式に回復処理を実行する。評価結果において、評価値が最大のときの変数が物体距離である。よって、この物体距離を特定情報として決定し、光学伝達関数を取得する。そしてその光学伝達関数に基づいて回復フィルタが生成される。そして、最終的に生成された回復フィルタを用いて画像を回復処理することによって得た画像に対し、信号処理を実行して、回復画像を得る。
このように、物体距離の変数が変化するごとに光学伝達関数を取得し直す必要がある場合においても、記憶手段320には似通った光学伝達特性を示す撮像装置に対しては同じ光学伝達関数を使用することで、処理速度の低下を抑えることができる。またその他の効果として、回復画像の画質が劣化してしまうのを抑えつつ、記憶領域のデータの容量を削減することができる。
このように、複数回の回復処理が必要な場合には、画像処理能力の高い画像処理装置を使用することでより処理速度が向上され、本発明の効果を強めることができるので好ましい。
画像処理装置は、生成された回復フィルタを用いて画像1、2に対して画像回復処理を実行し、回復画像を生成する。この回復画像にカメラ信号処理を加えることにより出力画像が出力される。そして情報処理装置にダウンロードされ、表示手段等に表示される。
画像処理装置は、生成された回復フィルタを用いて画像1、2に対して画像回復処理を実行し、回復画像を生成する。この回復画像にカメラ信号処理を加えることにより出力画像が出力される。そして情報処理装置にダウンロードされ、表示手段等に表示される。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で変形及び変更が可能である。
100、101、102 撮像装置
200 画像処理装置
310 CPU
320 記憶手段
200 画像処理装置
310 CPU
320 記憶手段
Claims (11)
- 互いに異なる撮影条件により撮影された第1、第2の撮影画像を画像回復するための光学伝達特性を取得する取得ステップと、
前記光学伝達特性を用いて前記第1および第2の撮影画像を画像回復する回復ステップを情報処理装置に実行させることを特徴とするプログラムであって、
前記取得ステップにおいて、前記光学伝達特性は前記第1、第2の撮影画像に付加された前記撮影条件の情報に基づいて、同じ光学伝達特性が取得されることを特徴とするプログラム。 - 前記取得ステップは、1つに画像に対して複数の光学伝達特性を取得することを特徴とする請求項1に記載のプログラム。
- 前記光学伝達特性が特定可能か否かを判定する第1の判定ステップと、
入力画像のぼけの大きさを評価し、評価値を求める評価ステップと、
前記評価値の大小を判定する第2の判定ステップを有し、
前記第1の判定ステップにおいて、前記光学伝達特性が特定できないと判定された場合、
前記光学伝達特性を特定するために必要な撮影条件を変数として前記評価ステップと前記第2の判定ステップを繰り返し、前記第2の判定ステップによりぼけの大きさが最も小さいと判定された際の変数を、前記光学伝達特性を特定するための情報として設定する設定ステップを有することを特徴とする請求項1に記載のプログラム。 - 前記評価ステップにおいて、入力画像のコントラストを評価することを特徴とする請求項3に記載のプログラム。
- 前記撮影条件の情報は、光学系の群構成、光学系のレンズタイプ、光学系のフォーカスタイプ、光学系の防振タイプ、光学系の絞りのタイプのうち、いずれかであることを特徴とする請求項1乃至4いずれか1項に記載のプログラム。
- 画像の第1領域を回復するための光学伝達特性Aと画像の第2領域を回復するための光学伝達特性Bとし、画像の第3領域を回復するための光学伝達特性を前記光学伝達特性Aと前記光学伝達特性Bを補間することにより生成する補間ステップを有し、
前記回復ステップは、前記補間ステップにより補間された光学伝達特性を用いて前記第3領域を回復することを特徴とする請求項1乃至5いずれか1項に記載のプログラム。 - 前記第1の撮影画像と前記第2の撮影画像を回復するための共通の光学伝達特性を記憶手段に記憶させる記憶ステップを有することを特徴とする請求項1乃至6いずれか1項に記載のプログラム。
- 互いに異なる撮影条件により撮影された第1、第2の撮影画像を画像回復するための光学伝達特性を取得する取得手段と、
前記光学伝達特性を用いて前記第1および第2の撮影画像を画像回復する回復手段を有し、
前記光学伝達特性は前記第1、第2の撮影画像に付加された前記撮影条件の情報に基づいて、同じ光学伝達特性が取得されることを特徴とするプログラム。 - 互いに異なる撮影条件により撮影された第1、第2の撮影画像を画像回復するための光学伝達特性を取得する取得手段と、
前記光学伝達特性を用いて前記第1および第2の撮影画像を画像回復する回復手段を有し、
前記取得手段は、前記光学伝達特性は前記第1、第2の撮影画像に付加された前記撮影条件の情報に基づいて、同じ光学伝達特性が特定し、取得することを特徴とする画像処理装置。 - 互いに異なる撮影条件により撮影された第1、第2の撮影画像を画像回復するための光学伝達特性を取得する取得ステップと、
前記光学伝達特性を用いて前記第1および第2の撮影画像を画像回復する回復ステップを有し、
前記取得ステップにおいて、前記光学伝達特性は前記第1、第2の撮影画像に付加された前記撮影条件の情報に基づいて、同じ光学伝達特性が特定され、取得されることを特徴とする画像処理方法。 - 互いに異なる撮影条件により撮影された第1、第2の撮影画像を画像回復するための光学伝達特性を取得する取得手段と、
前記光学伝達特性を用いて前記第1および第2の撮影画像を画像回復する回復手段を有し、
前記取得手段において、前記光学伝達特性は前記第1、第2の撮影画像に付加された前記撮影条件の情報に基づいて、同じ光学伝達特性が特定され、取得されることを特徴とする撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011013273A JP2012156714A (ja) | 2011-01-25 | 2011-01-25 | プログラム、画像処理装置、画像処理方法および撮像装置。 |
CN201210015530.4A CN102625043B (zh) | 2011-01-25 | 2012-01-18 | 图像处理设备、成像设备和图像处理方法 |
US13/356,319 US8824824B2 (en) | 2011-01-25 | 2012-01-23 | Image processing apparatus, imaging apparatus, image processing method, and recording medium storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011013273A JP2012156714A (ja) | 2011-01-25 | 2011-01-25 | プログラム、画像処理装置、画像処理方法および撮像装置。 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012156714A true JP2012156714A (ja) | 2012-08-16 |
Family
ID=46838004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011013273A Pending JP2012156714A (ja) | 2011-01-25 | 2011-01-25 | プログラム、画像処理装置、画像処理方法および撮像装置。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012156714A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014175314A1 (ja) * | 2013-04-26 | 2014-10-30 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP2016039536A (ja) * | 2014-08-08 | 2016-03-22 | 大日本印刷株式会社 | 画像処理装置、画像処理システム、表示システム並びに画像処理方法及び画像処理用プログラム |
-
2011
- 2011-01-25 JP JP2011013273A patent/JP2012156714A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014175314A1 (ja) * | 2013-04-26 | 2014-10-30 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP5851655B2 (ja) * | 2013-04-26 | 2016-02-03 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
US9965833B2 (en) | 2013-04-26 | 2018-05-08 | Fujifilm Corporation | Optical system characteristic data storing device, method, and program for image restoration filtering |
JP2016039536A (ja) * | 2014-08-08 | 2016-03-22 | 大日本印刷株式会社 | 画像処理装置、画像処理システム、表示システム並びに画像処理方法及び画像処理用プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5284537B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 | |
JP5188651B2 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP6327922B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US8659672B2 (en) | Image processing apparatus and image pickup apparatus using same | |
JP5709911B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
JP6525718B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
US8824824B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium storing program | |
JP5959976B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP2011215707A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2013084247A (ja) | 画像処理装置及び方法 | |
WO2011121763A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5344648B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP5730036B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
JP5653464B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2012156715A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
JP5268533B2 (ja) | 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム | |
JP5645981B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP5425136B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2012156714A (ja) | プログラム、画像処理装置、画像処理方法および撮像装置。 | |
JP6333076B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP2021140758A (ja) | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
JP2015109681A (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
JP2017041764A (ja) | 画像処理装置、および画像処理方法 |