JP2011199407A - 撮像装置、画像処理装置、及び画像処理方法 - Google Patents

Abstract

【課題】適切な処理負荷及び処理時間で撮像装置の背面液晶に画像回復処理された撮影画像を表示できるようにする。
【解決手段】撮影画像を表示部に表示する際の縮小倍率、及び撮影時の撮影条件を取得し、取得した撮影条件下における収差情報に基づく撮影画像内の収差の大きさと縮小倍率とに応じて画像回復処理を行うか否かを判断し、画像回復処理を行うと判断した場合には撮影画像に画像回復処理を施して縮小倍率で縮小し、画像回復処理を行わないと判断した場合には撮影画像を縮小倍率で縮小して、表示部に表示させる縮小画像を作成するようにして、効果が確認できる場合のみ画像回復処理を行うようにすることで、処理負荷を軽減するとともに処理時間の増大を抑制し、適切な処理負荷及び処理時間で縮小画像表示を行えるようにする。
【選択図】図１

Description

本発明は、撮像装置、画像処理装置、及び画像処理方法に関し、詳しくは縮小画像作成に係る画像処理技術に関する。

被写体となる物体をズームレンズ等の光学系により撮像素子の撮像面上に結像すると、撮像素子で撮影した像は、光学系の収差の影響によってボケが生じ、画質が劣化することが知られている。撮影された像の強度分布ｇは、元の物体の輝度分布ｆと光学系の結像性能を表す点像強度分布（ＰＳＦ：Point spread function）ｈとの畳み込みにノイズｎを加えたもの、すなわちｇ＝ｆ＊ｈ＋ｎ（＊は畳み込み積分）として表される。したがって、撮影された像の強度分布ｇ，点像強度分布ｈ，ノイズｎがわかれば、元の物体の輝度分布ｆを求めることができる。これを利用して光学系の収差の影響によって生じるボケを信号処理により取り除き、理想的な像を得る技術は、「画像回復処理」あるいは「復元処理」などと呼ばれている。

画像回復処理をデジタルカメラに適用した従来例として、例えば特許文献１や特許文献２に記載のものが知られている。特許文献１には、撮像装置で撮影したボケ画像を元に、撮影時の画像劣化に関する情報を考慮して画像回復処理を行い、劣化の少ない画像を生成する画像処理方法が開示されている。回復フィルタの作成時に考慮する情報として、撮影条件（絞り、焦点距離、被写体までの距離）や撮像装置の特性情報（レンズの光学特性、撮像装置の識別情報など）が挙げられている。これは、撮影条件や撮像装置の特性情報によってＰＳＦ形状が変わるためである。また、像高（画像内の位置）によってもＰＳＦ形状が変わることが知られている。特許文献２では、撮影条件を考慮した各画素の劣化関数を用いて画像回復処理を行っている。画像回復処理における演算処理の簡素化のために、画像中の代表的な画素の劣化関数を求めておき、それらから他の画素の劣化関数を補間により求めて画像回復処理を行う方法等が開示されている。つまり、最適な画像回復処理のためには、１画素毎に異なる回復フィルタを必要とする。

一方、エッジ強調によって画像のボケを低減する技術が知られている。さらに、印刷サイズや表示解像度に応じてエッジ強調度合いを調整する方法が、特許文献３や特許文献４に開示されている。特許文献３には、印刷サイズに応じて、シャープネスフィルタのサイズを変更することで、シャープネス強度を調整することが開示されている。これによりディスプレイで見ていたシャープネス強調度合いと印刷後のシャープネス強調度合いとが同等になるように調整する。また、特許文献４には、ヘッドマウントディスプレイによる表示時に、画素を間引いて表示する場合にはエッジ強調処理を行い、表示装置と同等の解像度になるように高精細画像の一部を抜き出す場合にはエッジ強調を施さないようにすることが開示されている。

特開２０００−２０６９１号公報 特開２００１−１９７３５４号公報 特開２００４−１１０８３７号公報 特開平１１−１９４７５４号公報

ここで、画像回復処理を実行可能なデジタルカメラにおいて、例えば撮影直後の撮影画像確認用のサムネイル画像表示やライブビュー撮影時の背面液晶表示などのように、リアルタイムに背面液晶に撮影画像を表示する場合について考える。

１つの方法として、撮影により得られたファイル保存用の高精細画像に画像回復処理を行い、それを背面液晶のサイズに合わせて縮小して表示することで、撮影画像を確認することは可能である。この方法によれば、画像回復処理後の画像を正確に背面液晶に表示することはできるが、画像回復処理においてコンボリューション（畳み込み積分）処理を行うため、処理時間に多大な時間を要し、処理負荷が非常に大きい。さらに、回復フィルタの係数は、１画素毎に異なるため、フィルタ算出自体も多くのメモリアクセスと演算とを必要とする。しかし、表示サイズが小さいと画像回復処理の効果が十分には確認できず、背面液晶に表示された画像は、膨大な処理負荷と時間とに見合ったものにはならない。特に、リアルタイム性が要求されるような場合には、処理負荷が軽く、処理時間が短く、かつ、画像回復処理の効果を確認できる必要がある。

一方、撮影画像に縮小処理を施した後に、縮小倍率に応じた小さいサイズの回復フィルタを用いてコンボリューション処理を行う方法も考えられる。この場合には、縮小方法によって収差の周辺画素への影響が変化してしまうため、縮小処理後の画像のボケは、撮影画像のボケとは異なるボケになる。そのため、縮小倍率・縮小方法に応じて異なるフィルタを用意する必要がある。つまり、フィルタサイズ及び画像サイズがともに小さくなる分、処理負荷が前述した方法に比べて軽減されるが、縮小倍率・縮小方法に応じた複数のフィルタを用意する必要があり回復フィルタのためのメモリ量が膨大になる。さらに、特性が異なるボケに対する画像回復処理になるため、背面液晶で見る画像回復処理された画像は、実際に撮影され画像回復処理された画像とは必ずしも一致しない。したがって、ボケがどのように補正されたかを正確に確認することは困難である。

本発明は、このような事情に鑑みてなされたものであり、適切な処理負荷及び処理時間で撮像装置の背面液晶に画像回復処理された撮影画像を表示できるようにすることを目的とする。

本発明に係る撮像装置は、撮像手段と、前記撮像手段によって得られた撮影画像を表示手段に表示する際の縮小倍率、及び当該撮影画像の撮影時の撮影条件を取得し、取得した前記撮影条件下における収差情報から得られる前記撮影画像内の収差の大きさと前記縮小倍率とに応じて画像回復処理を行うか否かを判断し、前記画像回復処理を行うと判断した場合には前記撮像手段により得られた前記撮影画像に前記画像回復処理を施して前記縮小倍率で縮小し、前記画像回復処理を行わないと判断した場合には前記撮像手段により得られた前記撮影画像を前記縮小倍率で縮小して、前記表示手段に表示させる縮小画像を作成する画像処理手段とを備えることを特徴とする。

本発明によれば、撮影画像に画像回復処理を行うか否かを収差の大きさと縮小倍率とに応じて判断し、画像回復処理の効果を確認できる場合には画像回復処理を行い、そうでない場合には、画像回復処理を行わないようにする。これにより、効果が確認できる場合のみ画像回復処理を行って縮小画像を作成し、そうでない場合には画像回復処理を行わずに縮小画像を作成することで、処理負荷を軽減できるとともに処理時間が増大するのを抑制することができる。したがって、適切な処理負荷及び処理時間での縮小画像表示が可能になる。

本発明の実施形態に係る撮像装置の構成例を示す図である。 本実施形態における信号処理部の構成例を示す図である。 撮影画像と表示領域との関係の一例を示す図である。 第１の実施形態における画像作成処理を示すフローチャートである。 第１の実施形態における画像回復処理を示すフローチャートである。 収差情報の一例を示す図である。 第２の実施形態における画像作成処理を示すフローチャートである。 第３の実施形態における画像作成処理を示すフローチャートである。 第３の実施形態における画像回復処理を示すフローチャートである。 第４の実施形態における画像作成処理を示すフローチャートである。 第４の実施形態における画像混合処理を示すフローチャートである。 第４の実施形態における画像混合処理を説明するための図である。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の実施形態に係る撮像装置の構成例を示す図である。撮像部１０１は、ズームレンズ、フォーカスレンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及びＣＭＯＳやＣＣＤ等の撮像素子などから構成される。撮像部１０１は、被写体の光量を検知し、検知した光量に応じたアナログ信号を出力する。Ａ／Ｄ（アナログ−デジタル）変換部１０２は、撮像部１０１より出力されたアナログ信号（被写体の光量に応じた信号）をデジタル値に変換する。信号処理部（画像処理部）１０３は、Ａ／Ｄ変換部１０２により変換されたデジタル値に、デモザイキング処理、ホワイトバランス処理、γ処理、画像回復処理、及び縮小画像（例えばサムネイル画像等）を作成する縮小処理等を行い、デジタル画像を生成する。Ｄ／Ａ（デジタル−アナログ）変換部１０４は、信号処理部１０３にて生成されたデジタル画像に対してアナログ変換を行う。エンコーダ部１０５は、信号処理部１０３にて生成されたデジタル画像をＪＰＥＧ等のファイルフォーマットに変換する処理を行う。メディアインターフェース１０６は、パーソナル・コンピュータ（ＰＣ）、その他のメディア（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ等）に接続するためのインターフェースである。

ＣＰＵ１０７は、撮像装置内の各機能部の処理すべてに関わり、ＲＯＭ１０８やＲＡＭ１０９に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０８やＲＡＭ１０９は、その処理に必要なプログラム、データ、及び作業領域などをＣＰＵ１０７に提供する。なお、画像回復処理に使用する回復フィルタのフィルタデータもＲＯＭ１０８に格納されている。撮像系制御部１１０は、ＣＰＵ１０７からの指示に応じて撮像部１０１を制御する。撮像系制御部１１０は、ＣＰＵ１０７からの指示によって、例えばフォーカスを合わせる、シャッターを開く、絞りを調節する等の制御を行う。操作部１１１は、ボタンやモードダイヤル等が該当し、これらを介して入力されたユーザ指示を受け取る。キャラクタージェネレーション部１１２は、文字やグラフィック等を生成する。表示部１１３は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部１１２やＤ／Ａ変換部１０４から受け取った撮影画像や文字等の表示を行う。表示部１１３には、背面液晶を含む。また、表示部１１３がタッチスクリーン機能を有していても良く、その場合にはユーザ指示を操作部１１１の入力として扱うことも可能である。

図２は、信号処理部（画像処理部）１０３の構成例を示す図である。デモザイク処理部２０１は、Ａ／Ｄ変換部１０２から出力された撮影画像（デジタル信号）を基にベイヤ配列になっているＲＧＢデータを補間し、ＲＧＢ画像を作成する。なお、この処理の中で、ホワイトバランス処理やγ処理を行っても良い。デモザイク処理部２０１で補間されたＲＧＢデータは、確認用画像作成処理部２０２及び画像回復処理部２０３に送られる。確認用画像作成処理部２０２は、背面液晶に表示させる画像を作成する。確認用画像作成処理部２０２は、例えばライブビュー撮影時に撮影される画像の状態を確認するために背面液晶に表示する画像や、撮影直後にユーザが撮影した画像を確認するために背面液晶に表示する縮小画像を作成する。確認用画像作成処理部２０２で作成された縮小画像のデータは、Ｄ／Ａ変換部１０４に送られる。確認用画像作成処理部２０２で実行される処理については、フローチャートを用いて後述する。画像回復処理部２０３は、撮影画像に画像回復処理を施す設定で本撮影が行われていれば、デモザイク処理部２０１から送られてきた画像データに画像回復処理を行い、そうでなければ画像回復処理を行わない。画像回復処理部２０３の出力は、エンコーダ部１０５に送られて適当なファイルフォーマットに変換された後、例えばメディアインターフェース１０６を介してメディア等に記録される。なお、図２においては信号処理部１０３の内部を簡略化して示しているが、信号処理部１０３は、図示した他にもサムネイル画像作成処理部等の他の処理部を含んでも良い。

本実施形態においては、撮像部１０１によって撮影される画像データ（以下、撮影画像とも呼ぶ）は、６４００×４８００画素とする。また、撮像装置が有する背面液晶のサイズは、横幅が６．０［ｃｍ］、縦幅が４．５［ｃｍ］とし、その画素数は１１５２×８６４画素とする。したがって、撮影画像の全体を背面液晶に表示させる場合には、確認用画像作成処理部２０２では、図３（ａ）に示すように撮影された画像データの全体を０．１８倍に縮小することになる。また、背面液晶での表示は、縮小倍率換算で次の６種類、０．１８倍、０．２３倍、０．２７倍、０．３３倍、０．４２倍、０．６倍の表示が可能になっているものとする。縮小倍率０．１８倍は、撮影画像全体を１１５２×８６４画素に縮小したものに相当し、縮小倍率０．２３倍は、撮影画像全体を１４７２×１１０４画素に縮小したものに相当する。また、縮小倍率０．２７倍は、撮影画像全体を１７２８×１２９６画素に縮小したものに相当し、縮小倍率０．３３倍は、撮影画像全体を２１１２×１５８４画素に縮小したものに相当する。また、縮小倍率０．４２倍は、撮影画像全体を２６８８×２０１６画素に縮小したものに相当し、縮小倍率０．６倍は、撮影画像全体を３８４０×２８８０画素に縮小したものに相当する。背面液晶に画像を表示する場合には、該当箇所を６４００×４８００画素の画像から抜き出し、それぞれの縮小倍率で縮小し、背面液晶のサイズである１１５２×８６４画素の画像を作成して表示する。

本実施形態に係る撮像装置において、信号処理部１０３内の確認用画像作成処理部２０２で縮小画像を作成し背面液晶に表示するまでの動作について説明する。以下に説明する各実施形態における処理動作は、確認用画像作成処理部２０２での画像作成処理が異なる。なお、撮影により得られた撮影画像が、信号処理部１０３内の画像回復処理部２０３やエンコーダ部１０５等で処理され、例えばメディアインターフェース１０６を介してメディアに記録等される処理動作は、各実施形態によらず従来と同様である。

（第１の実施形態）
第１の実施形態について説明する。
第１の実施形態は、確認用画像作成処理部２０２での縮小画像の作成において、画像の縮小倍率と予め決めた基準像高での収差の大きさとに応じて画像回復処理を行うか否かを判断するものである。例えば、コンパクトデジタルカメラのようにレンズ交換ができないデジタルカメラ等の撮像装置において、背面液晶に撮影画像全体を表示したり、その一部を拡大して表示したりする場合に用いて好適である。背面液晶に撮影画像全体を表示してユーザが見る場合には、全体のバランスや被写体の確認など、主に構図を見ている場合が多い。一方、背面液晶に撮影画像の一部を拡大して表示しユーザが見る場合には、画像のピントやエッジのシャープさなどを確認するために見ている場合が多い。以下に説明する第１の実施形態では、背面液晶に撮影画像全体を表示する場合には画像回復処理を行わずに表示する。また、第１の実施形態では、画像回復処理の効果が確認できる大きさに縮小して画像を表示する場合（上述のピントやエッジのシャープさなどを確認するために、背面液晶に撮影画像の一部を拡大して表示する場合に相当）には正確な回復結果を表示する。

図４は、第１の実施形態における画像作成処理を示すフローチャートである。
ステップＳ４０１では、確認用画像作成処理部２０２は、背面液晶に画像を表示する際の画像の縮小倍率を取得する（第１の取得工程）。本実施形態では、縮小倍率は、前述のように０．１８倍、０．２３倍、０．２７倍、０．３３倍、０．４２倍、０．６倍の６種類のいずれかである。

ステップＳ４０２では、確認用画像作成処理部２０２は、６４００×４８００画素の撮影画像データの中から、背面液晶に表示する領域を取得する（第１の取得工程）。表示領域は、今回の表示の直前まで表示されていた画像と、今回の表示を要求した操作の２つ動作シーケンスから求められる。例えば、撮影画像全体を背面液晶に表示させる縮小倍率０．１８倍での全画面表示の場合には、６４００×４８００画素のすべての領域になる。また、例えば全画面表示の後に縮小倍率０．２３倍の画像に拡大して表示させる場合には、直前に表示していた領域の中央（この場合、画像の中心に一致）を中心に、縮小倍率に応じた領域を撮影画像データから抜き出せばよい。縮小倍率０．２３倍であれば、背面液晶のサイズを縮小倍率で割ったサイズである５００９×３７５７画素の領域を、６４００×４８００画素の撮影画像データから抜き出せばよい。縮小倍率がそのままで、表示領域のみを移動させた場合、例えば０．２３倍の縮小倍率で画面中央を表示した後に、縮小倍率を変えずに撮影画像の左上部分に表示領域をシフトさせた場合には、画像の左上画素から５００９×３７５７画素の領域を抜き出せばよい。

ステップＳ４０３では、確認用画像作成処理部２０２は、ステップＳ４０２において取得した表示領域が、撮影画像（６４００×４８００画素）の一部の領域であるかどうかを判断する。撮影画像の一部の領域であると判断すれば、ステップＳ４０４へ進み、そうでない、すなわち撮影画像全体を表示する全画面表示であると判断すれば、ステップＳ４０９へ進む。

ステップＳ４０４では、確認用画像作成処理部２０２は、表示する画像が画像回復処理を前提に撮影されているかどうかを判断する。つまり、確認用画像作成処理部２０２は、撮像装置に画像回復処理の実行を指示する設定がなされているか否かを検出する。画像回復処理を実行する設定がなされていれば、ステップＳ４０５へ進み、画像回復処理を実行する設定がなされていなければ、ステップＳ４０９へ進む。

ステップＳ４０５では、確認用画像作成処理部２０２は、撮影条件を取得する（第１の取得工程）。ここで、撮影条件にはレンズのズーム位置、絞り値（Ｆ値）、撮影距離等が含まれる。

ステップＳ４０６では、確認用画像作成処理部２０２は、ステップＳ４０５において取得した撮影条件下における収差情報を取得する（第２の取得工程）。収差情報とは、撮影画像内の画素毎に、収差の広がり（ＰＳＦの大きさ）が何画素程度になるのかを示す情報である。収差情報の概念図を図６に示す。図６（ａ）に示す収差情報は、撮像素子面上での画素と１対１に対応するような状態で収差の大きさの情報をマップとして持つ。図６（ｂ）に示す収差情報は、１次元情報として像高に応じた収差の大きさを示すデータである。本実施形態では、図６（ｂ）に示すような収差情報を取得するものとする。

ステップＳ４０７では、確認用画像作成処理部２０２は、ステップＳ４０６において取得した収差情報に基づいて予め決められた基準像高での収差の大きさを抜き出す。さらに、確認用画像作成処理部２０２は、抜き出した基準像高での収差の大きさに、ステップＳ４０１において取得した縮小倍率をかけて、縮小画像における収差の大きさを算出する（変換工程、第３の取得工程）。本実施形態では、基準像高を像高７割の位置とする。例えば、ステップＳ４０６において取得した収差情報が図６（ａ）に示したような収差情報である場合には、画像中から像高７割の画素位置を特定し、その画素位置の収差の大きさを読み取れば良い。また、例えばステップＳ４０６において取得した収差情報が図６（ｂ）に示したような収差情報である場合には、像高に応じた収差の大きさを読み取れば良い。

ステップＳ４０８では、確認用画像作成処理部２０２は、ステップＳ４０２において取得した表示領域の画像回復処理を行う（比較工程、画像処理工程）。このステップＳ４０８での処理の詳細については後述する。

ステップＳ４０９では、確認用画像作成処理部２０２は、ステップＳ４０３、Ｓ４０４、又はＳ４０８での処理出力として得られた表示領域の画像を、ステップＳ４０１において取得した縮小倍率で縮小する（縮小工程）。このようにして、確認用画像作成処理部２０２は、背面液晶のサイズである１１５２×８６４画素の表示画像（縮小画像）を作成して、画像作成処理を終了する。

図５は、図４に示したステップＳ４０８での表示領域の画像回復処理を示すフローチャートである。
ステップＳ５０１では、確認用画像作成処理部２０２は、ステップＳ４０７において算出した、縮小時の基準像高での収差の大きさＳと、予め決められた閾値Ｔｈとを比較する。比較の結果、収差の大きさＳが閾値Ｔｈより大きければ、ステップＳ５０２へ進み（表示領域の画像回復処理を行い）、収差の大きさＳが閾値Ｔｈ以下であれば処理を終了する。ここで、閾値Ｔｈは画像回復処理を行うか否かの基準となる収差の大きさを示す値である。したがって、基準像高での収差の大きさが、背面液晶に表示した時に認識できる最小値程度に設定するのが好ましい。本実施形態では、背面液晶の画素ピッチは約１９［画素／ｍｍ］（＝１１５４／６０）であるので、人間の視覚特性から３００ｄｐｉ程度（約１２［画素／ｍｍ］）の細かさは視認できることを考慮して、閾値Ｔｈを１．６画素（＝１９／１２）とする。

ステップＳ５０２では、確認用画像作成処理部２０２は、注目画素（処理対象画素）の画素位置を指し示す座標のカウンタ（ｘ，ｙ）に、６４００×３８００画素の撮影画像の中から表示領域として抜き出した位置の左上の座標を初期値として代入する。なお、画素位置を示す座標値は、６４００×３８００画素の撮影画像における左上端を（０，０）とし、右に１画素分ずれる毎にｘ座標が１ずつ増加し、下に１画素分ずれる毎にｙ座標が１ずつ増加するものとする（以下においても同様）。

ステップＳ５０３では、確認用画像作成処理部２０２は、撮影条件及び画素位置（ｘ，ｙ）に応じた回復フィルタＦ（ｘ，ｙ）を取得する。なお、前述のように回復フィルタＦ（ｘ，ｙ）のフィルタデータはＲＯＭ１０８に予め格納されている。

ステップＳ５０４では、確認用画像作成処理部２０２は、画素位置（ｘ，ｙ）の画素について画像回復処理を行い、処理結果を出力用バッファに書き出す。

ステップＳ５０５では、確認用画像作成処理部２０２は、水平方向の座標カウンタｘに１を足して、右隣の画素を注目画素として参照するようにする。

ステップＳ５０６では、確認用画像作成処理部２０２は、水平方向の座標カウンタｘと、表示領域の右端の座標値と比較する。座標カウンタｘの値が表示領域の右端の座標値を超えた場合には、ステップＳ５０７へ進む。一方、座標カウンタｘの値が表示領域の右端の座標値を超えていない場合には、ステップＳ５０３に戻り、確認用画像作成処理部２０２は、ステップＳ５０３以降の処理を行い、画素位置（ｘ，ｙ）の画素についての画像回復処理を行う。

ステップＳ５０７では、確認用画像作成処理部２０２は、水平方向の座標カウンタｘに表示領域の左端の座標値を代入し、垂直方向の座標カウンタｙに１を足して１ライン下の画素に注目画素を移動する。

ステップＳ５０８では、確認用画像作成処理部２０２は、垂直方向の座標カウンタｙと、表示領域の下端の座標値とを比較する。座標カウンタｙの値が表示領域の下端の座標値を超えた場合には、確認用画像作成処理部２０２は、表示領域内の全画素について処理が終了したと判断して、画像回復処理を終了する。一方、座標カウンタｙの値が表示領域の下端の座標値を超えていない場合には、ステップＳ５０３に戻り、確認用画像作成処理部２０２は、ステップＳ５０３以降の処理を行い、画素位置（ｘ，ｙ）の画素についての画像回復処理を行う。

本実施形態の手法を用いると、図６（ｂ）の撮影条件１で示す収差の大きさの場合、基準像高７割での収差の大きさは９画素である。したがって、縮小倍率０．６倍の時は５．４画素、０．４２倍の時は３．７８画素、０．３３倍の時は２．９７画素、０．２７倍の時は２．４３画素、０．２３倍の時は２．０７画素、０．２倍の時は１．８画素となる。そのため、撮影条件１の場合には、全画面表示以外は画像回復処理の対象となる。一方、撮影条件２の場合には、基準像高７割での収差の大きさは３画素である。したがって、縮小時の収差の大きさは、縮小倍率０．６倍の時は１．８画素、０．４２倍の時は１．２６画素、０．３３倍の時は０．９９画素、…となる。そのため、撮影条件２の場合には、０．２〜０．４２倍までの縮小倍率では画像回復処理は行わず、縮小倍率が０．６倍の時のみ画像回復処理を行う。

なお、本実施形態では、基準像高を７割としたが、これに限定されるものではない。例えば、画像の縦方向の端までを対象とするならば、本実施形態のアスペクト比であれば基準像高を６割としても良い。また、例えば基準像高を９割とすれば、かなりの範囲を対象として見ることになる。また、本実施形態では、３００ｄｐｉの細かさは視認できるとして閾値Ｔｈを設定したが、別の視覚特性として、像の鮮鋭度は空間周波数１０〜３０［本／ｍｍ］のコントラスト比に影響されることが知られているので、それを基準に閾値Ｔｈを設定しても構わない。

第１の実施形態によれば、背面液晶に表示する縮小画像についての画像回復処理の必要性は、収差の大きさと縮小倍率とから判断するため、画像回復処理の効果を確認できる場合には、必ず画像回復処理を行うことができる。これにより、ユーザは背面液晶に表示された縮小画像であっても、画像回復処理の効果を確認することができる。また、縮小倍率が小さいため画像回復処理の効果が確認できないと判断されれば、画像回復処理を行わないため、従来と同等の表示スピードが実現できる。例えば、画像回復処理を行わない場合には、回復フィルタを取得する必要がなく、処理負荷の軽減を図ることができ、さらに、回復フィルタとのコンボリューション演算が削減できるため、処理負荷を大幅に軽減できる。さらに、撮影画像に画像回復処理を施した結果を縮小して縮小画像を作成するため、画像回復処理後の撮影画像と背面液晶に表示する縮小画像とを必ず一致させることができる。また、縮小画像の作成において、画像回復処理は撮像部１０１で撮影された画像に行うので、撮像装置が保持する回復フィルタは、撮像部１０１によって撮影される画像サイズに対応するものだけを保持すればよく、回復フィルタ保存用のメモリは最小限でよい。

（第２の実施形態）
次に、第２の実施形態について説明する。
前述した第１の実施形態では、画像の縮小倍率と予め決めた基準像高での収差の大きさによって画像回復処理を行うか否かを判断している。そのため、図６（ｂ）に示す撮影条件１の場合には、全画面表示以外は画像回復処理の対象となり、ほとんどの縮小倍率において画像回復処理が必要となる。しかし、図６（ｂ）に示す撮影条件１の像高５割では収差の大きさが３画素しかなく、縮小倍率が０．２〜０．４２倍では、閾値Ｔｈ＝１．６画素以下の大きさの収差しかなく、画像回復処理をしても背面液晶に表示された画像でその効果を確認することは難しい。

そこで、以下に説明する第２の実施形態は、確認用画像作成処理部２０２での縮小画像の作成において、画像の縮小倍率だけでなく、表示領域も考慮して画像回復処理を行うか否かを判断する。図７は、第２の実施形態における画像作成処理を示すフローチャートである。図７において、図４と同じ処理動作をするステップには、図４と同じ番号を付し、重複する説明は省略する。
ステップＳ４０１〜ステップＳ４０６までの処理は、第１の実施形態における処理と同様の処理である。

ステップＳ７０１では、確認用画像作成処理部２０２は、ステップＳ４０２において取得した表示領域の中心部の像高Ｈｃを算出する。この像高Ｈｃが、本実施形態では画像回復処理の必要性を判断する基準像高となる。例えば、縮小倍率が０．６倍であるとき、図３（ｂ）の斜線で示す領域を表示するものとする。このとき、表示領域の中心部の座標は（２２４０，１６８０）であり、撮影画像の中心座標は（３２００，２４００）であるので、撮影画像の中心から表示領域の中心までの距離は約９６１となる。撮影画像の対角線の半分の長さが４０００であるので、この場合の表示領域中心部の像高Ｈｃは、約２．４割（＝１０×９６０／４０００）と算出される。

ステップＳ７０２では、確認用画像作成処理部２０２は、ステップＳ４０６において取得した収差情報から、ステップＳ７０１において算出した像高Ｈｃに対応する収差の大きさを読み取る。さらに、確認用画像作成処理部２０２は、読み取った像高Ｈｃに対応する収差の大きさに、ステップＳ４０１において取得した縮小倍率をかけて、縮小画像における収差の大きさに変換する（変換工程、第３の取得工程）。縮小倍率が０．６倍、像高Ｈｃが２．４割、撮影条件１の場合には、図６（ｂ）に示したグラフから変換後の収差の大きさは０．９画素（＝１．５×０．６）となる。

ステップＳ４０８での処理は、第１の実施形態における処理、すなわち図５に示した表示領域の画像回復処理と同様の処理である。ただし、縮小時の基準像高での収差の大きさＳとして、第２の実施形態では、ステップＳ７０２において変換により得られた縮小画像における収差の大きさを用いる点が異なる。
ステップＳ４０９での処理は、第１の実施形態における処理と同様の処理である。

本実施形態では、撮影条件１で撮影した画像のうち、図３（ｂ）の斜線部分を縮小倍率０．６倍で表示する場合には、縮小画像における収差の大きさは０．９画素であり、閾値Ｔｈ＝１．６画素以下である。したがって、画像回復処理をしても背面液晶に表示された画像でその効果が確認できないと判断し、画像回復処理を行わない。

同様に、撮影条件１で撮影した画像のうち、図３（ｃ）の太枠で示す画像の左上部分を縮小倍率０．６倍で表示する場合を考える。この場合、表示領域の中心部の座標は（９６０，７２０）であり、撮影画像の中心から表示領域の中心までの距離は２８００となる。したがって、表示領域中心部の像高Ｈｃは、７割（＝１０×２８００／４０００）と算出される。そのため、縮小倍率０．６倍で表示する場合には、縮小画像における収差の大きさは５．４画素となり、閾値Ｔｈ＝１．６画素より大きいので画像回復処理を行うことになる。

また、本実施形態では、図６（ｂ）に示すグラフを用いて収差の大きさを読み取った。しかし、図６（ａ）に示すように画素と１対１に対応するような状態で収差の大きさの情報をマップとして持つ場合には、像高を算出する必要はなく、表示領域の中心部の座標に対応する画素の収差情報をそのまま読み取ればよい。

また、本実施形態では、表示領域の画素について画像回復処理を行うか否かを判断する基準の像高（基準位置）を、表示領域の中心部を表示領域の代表点とし、その像高としたが、これに限定されるものではない。表示領域内の予め決めた任意の位置を表示領域の代表点とし、その像高を基準とすることが可能である。例えば、表示領域の端点のうち、撮影画像の中心から最も遠い点を基準としても良い。

第２の実施形態によれば、前述した第１の実施形態と同様の効果が得られる。また、第２の実施形態では、画像の縮小倍率だけでなく、表示領域も考慮し、その位置情報を用いて画像回復処理を行うか否かを切り替える。これにより、収差の大きさが小さい撮影画像の中心部を表示領域とする場合には、画像回復処理をする必要がなく、さらに処理負荷の軽減を図ることができる。

（第３の実施形態）
次に、第３の実施形態について説明する。
前述した第２の実施形態では、表示領域の代表点（例えば中心点）における収差の大きさから、表示領域全体について画像回復処理を行うか否かを判断している。しかし、表示領域の代表点の収差の大きさが小さくても表示領域の周辺に近い部分では収差が大きいことがある。特に、縮小倍率が小さい場合や、ある像高から急激に収差の大きさが大きくなる場合などに、そのようなことが起こりやすい。

そこで、以下に説明する第３の実施形態は、確認用画像作成処理部２０２での縮小画像の作成において、表示領域全体を一つとして画像回復処理を行うか否かを判断するのではなく、表示領域内の各点においてそれぞれ画像回復処理を行うか否かを判断する。図８は、第３の実施形態における画像作成処理を示すフローチャートである。図８において、図４と同じ処理動作をするステップには、図４と同じ番号を付し、重複する説明は省略する。
ステップＳ４０１〜ステップＳ４０６までの処理は、第１の実施形態における処理と同様の処理である。

ステップＳ８０１では、確認用画像作成処理部２０２は、ステップＳ４０２において取得した表示領域内の収差の大きさを、ステップＳ４０１において取得した縮小倍率で変換する（変換工程、第３の取得工程）。つまり、確認用画像作成処理部２０２は、ステップＳ４０６において取得する収差情報が図６（ａ）に示したような収差情報であり、１画素毎に対応する値で取得できるなら、ステップＳ４０２において取得した表示領域における縮小前の収差の大きさを取得する。一方、確認用画像作成処理部２０２は、ステップＳ４０６において取得する収差情報が図６（ｂ）に示すように像高による関数で示される収差情報であれば、表示領域内の各画素の像高を求めてから、表示領域における縮小前の収差の大きさを取得する。その後、確認用画像作成処理部２０２は、収差情報に基づいて取得した表示領域における縮小前の収差の大きさに、ステップＳ４０１において取得した縮小倍率をかけることで、縮小画像における収差の大きさを算出する。

ステップＳ８０２では、確認用画像作成処理部２０２は、表示領域の画像について画像回復処理を行うか否かを画素毎に判断して処理を行う（比較工程、画像処理工程）。このステップＳ８０２での処理の詳細については後述する。
ステップＳ４０９での処理は、第１の実施形態における処理と同様の処理である。

図９は、図８に示したステップＳ８０２での表示領域の画像回復処理を示すフローチャートである。図９において、図５と同じ処理動作をするステップには、図５と同じ番号を付し、重複する説明は省略する。
ステップＳ５０２では、確認用画像作成処理部２０２は、第１の実施形態と同様に、表示領域内の注目画素位置を指し示す座標のカウンタ（ｘ，ｙ）の初期化を行う。

ステップＳ９０１では、確認用画像作成処理部２０２は、画素位置（ｘ，ｙ）の縮小時の収差の大きさＳと予め決められた閾値Ｔｈとを比較する。ここで、閾値Ｔｈは、第１の実施形態と同様の方法で決めればよい。また、画素位置（ｘ，ｙ）の縮小時の収差の大きさは、ステップＳ８０１において算出された値を参照すればよい。ステップＳ９０１での比較の結果、収差の大きさＳが閾値Ｔｈより大きければ、ステップＳ５０３へ進み、収差の大きさＳが閾値Ｔｈ以下であれば、ステップＳ９０２へ進む。

ステップＳ９０２では、確認用画像作成処理部２０２は、画素位置（ｘ，ｙ）の画素値をそのまま画像回復処理後の画像を保存するバッファにコピーし、ステップＳ５０５へ進む。
ステップＳ５０３〜ステップＳ５０８での処理は、第１の実施形態における処理と同様の処理である。

本実施形態では、表示領域内の画素毎に画像回復処理を行うか否かを切り替えるため、例えば図３（ｃ）に示す太枠内を背面液晶に表示する場合、斜線の部分は収差が大きく縮小しても画像回復処理の効果が確認できると判断して画像回復処理を行う。一方、太枠内の白い部分については収差の大きさが小さく、画像回復処理を施してもその効果が確認できないと判断し画像回復処理を行わずにそのまま出力される。

第３の実施形態によれば、前述した第１及び第２の実施形態と同様の効果が得られる。また、第３の実施形態によれば、画素毎に画像回復処理を行うか否かを判断する。そのため、縮小後の画像において画像回復処理の効果が確認できると判断した画素については画像回復処理を行うことができ、第１の実施形態や第２の実施形態よりも画像回復処理の効果を確認しやすい。

（第４の実施形態）
次に、第４の実施形態について説明する。
前述した第３の実施形態では、表示領域内において画像回復処理を行った画素と、画像回復処理を行っていない画素とが混在することになる。画像回復処理を行った画素と画像回復処理を行っていない画素とが隣接した部分は、特性が急激に変わるため不自然になる場合がある。

以下に説明する第４の実施形態は、表示領域内における画像回復処理の切り替え部分の境界付近において、画像回復処理後の画像と元の画像（画像回復処理前の画像）とを混合（ブレンド）することで、特性が急激に変化して不自然な輪郭が生じることを防止する。なお、以下の説明においては、画像回復処理後の画像を「回復画像」と称し、元の画像（画像回復処理前の画像）を「元画像」と称する。図１０は、第４の実施形態における画像作成処理を示すフローチャートである。図１０に示す第４の実施形態における画像作成処理は、ステップＳ８０２での処理の直後に回復画像と元画像との混合を行う点（図１０におけるステップＳ１００１）が、図８に示した第３の実施形態における画像作成処理と異なる。

このステップＳ１００１での処理の詳細について、図１１に示すフローチャートを参照して説明する。図１１は、図１０に示したステップＳ１００１での画像混合処理を示すフローチャートである。

ステップＳ１１０１では、確認用画像作成処理部２０２は、回復画像と元画像との混合に係る像高別のブレンド率を算出する。本実施形態は、像高０．１割分の範囲に相当する境界で回復画像と元画像とをブレンドするものとする。ブレンドする領域の概念図を図１２（ａ）に示す。図１２（ａ）において、領域１２０１が画像回復処理されない像高範囲の領域、細いリング状の領域１２０２が回復画像と元画像とをブレンドする領域、領域１２０２より外側の領域１２０３が画像回復処理をする領域である。図１０に示した画像作成処理におけるステップＳ８０２において作成される画像回復処理された画像は、領域１２０２と領域１２０３である。図１２（ｂ）には、回復画像と元画像とをブレンドする際の回復画像の混入割合を示しており、画像回復処理が施される基準像高Ｎ割から像高Ｎ＋０．１割の間で線形に回復画像の割合が変化するものとする。

ステップＳ１１０２では、確認用画像作成処理部２０２は、表示領域の元画像のデータを取得する。
ステップＳ１１０３では、確認用画像作成処理部２０２は、図１０に示した画像作成処理におけるステップＳ８０２において作成された回復画像のデータを取得する。
ステップＳ１１０４では、確認用画像作成処理部２０２は、各画素位置（ｘ，ｙ）の像高を算出し、ステップＳ１１０１において算出された像高別のブレンド率に基づいて回復画像と元画像とをブレンドして画像混合処理を終了する。

本実施形態では、画像回復処理の切り替え部分の境界領域において、回復画像と元画像とをブレンドすることで、切り替え部分において不自然な輪郭が生じることを抑制し切り替え部分を目立たなくすることができる。回復画像と元画像とがブレンドされる領域は、元画像の成分が含まれるために画像回復処理の効果が小さくなるので、ブレンドをしない前述した第１〜第３の実施形態よりも、第４の実施形態では閾値Ｔｈの値を小さくする方が好ましい。つまり、背面液晶に表示した時にユーザ等の観察者によって細かさが視認できる最小値よりも小さい値を閾値Ｔｈとして選ぶ方が良い。

また、本実施形態では、回復画像と元画像とをブレンドする幅を像高０．１割に相当する範囲で行っているが、画像回復処理がなされる像高に応じてブレンドする幅を変えたり、縮小倍率に応じてブレンドする幅を変えたりしても良い。さらに、本実施形態では、ブレンド率を、図１２（ｂ）に示したようにブレンド幅の中で線形に変化させるようにしているが、より高次の関数で表されるような数式に従って変化させるようにしても良い。

なお、前述した第１〜第４の実施形態では、レンズ交換ができないデジタルカメラ等の撮像装置を一例として説明したが、レンズ交換可能なデジタルカメラ等の撮像装置における確認用等の縮小画像作成時にも、同様の動作を行えばよい。ただし、レンズの種類によってもＰＳＦ形状が変わるので、回復フィルタはレンズの種類によっても変える必要がある。そのため、図示した画像作成処理のフローチャートにおけるステップＳ４０５での撮影条件の取得において、撮影条件の一つとして、レンズの種類も取得する必要がある。

また、図３（ｄ）に示すように表示領域を点線の枠から実線の枠に移動するような場合には、実線の枠内の全体について再び画像回復処理を行うのではなく、その差分である斜線部分のみを画像回復処理の対象とすればよい。つまり、前述した第１及び第２の実施形態では、画像回復処理を行うか否かの判断は表示領域を対象に行うが、実際の画像回復処理は斜線部分についてだけ対象とする。また、前述した第３及び第４の実施形態では、表示領域の画素毎に画像回復処理を行うか否かを切り替えているが、図３（ｄ）の斜線部分のみを対象として画像回復処理を切り替えればよい。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 撮像部、１０３ 信号処理部、１１３ 表示部、２０２ 確認用画像作成処理部、１０７ ＣＰＵ、１０８ ＲＯＭ、１１０ 撮像系制御部

Claims (14)

1. 撮像手段と、
   前記撮像手段によって得られた撮影画像を表示手段に表示する際の縮小倍率、及び当該撮影画像の撮影時の撮影条件を取得し、取得した前記撮影条件下における収差情報から得られる前記撮影画像内の収差の大きさと前記縮小倍率とに応じて画像回復処理を行うか否かを判断し、前記画像回復処理を行うと判断した場合には前記撮像手段により得られた前記撮影画像に前記画像回復処理を施して前記縮小倍率で縮小し、前記画像回復処理を行わないと判断した場合には前記撮像手段により得られた前記撮影画像を前記縮小倍率で縮小して、前記表示手段に表示させる縮小画像を作成する画像処理手段とを備えることを特徴とする撮像装置。
2. 前記画像処理手段は、前記表示手段に表示する前記撮影画像の表示領域を取得し、前記画像回復処理を行うと判断した場合には前記撮像手段により得られた前記撮影画像のうち、取得した前記表示領域内の画像に対してのみ前記画像回復処理を施すことを特徴とする請求項１記載の撮像装置。
3. 前記画像処理手段は、取得した前記撮影条件下における収差情報から得られる前記撮影画像内の収差の大きさと前記縮小倍率とに基づいて前記縮小倍率での収差の大きさを取得し、前記撮影画像内の基準位置における前記縮小倍率での収差の大きさと予め決められた閾値とを比較して前記画像回復処理を行うか否かを判断することを特徴とする請求項１又は２記載の撮像装置。
4. 前記基準位置は、予め決められた像高の位置であることを特徴とする請求項３記載の撮像装置。
5. 前記基準位置は、前記表示手段に表示する前記撮影画像の表示領域の代表点であることを特徴とする請求項３記載の撮像装置。
6. 前記画像処理手段は、前記画像回復処理を行うと判断した場合には前記表示手段に表示する前記撮影画像の表示領域の全体に前記画像回復処理を施すことを特徴とする請求項４又は５記載の撮像装置。
7. 前記基準位置は、前記表示手段に表示する前記撮影画像の表示領域内の各点であり、
   前記画像処理手段は、前記表示領域内の各点で画像回復処理を行うか否かをそれぞれ判断し、前記画像回復処理を行うと判断した点の画素に前記画像回復処理を施すことを特徴とする請求項３記載の撮像装置。
8. 前記画像処理手段は、前記画像回復処理を行うと判断した点と前記画像回復処理を行わないと判断した点との境界から予め決められた範囲で、前記撮像手段により得られた前記撮影画像と、当該撮影画像に前記画像回復処理を施して得られた画像とを混合することを特徴とする請求項７記載の撮像装置。
9. 前記撮影条件には、前記撮像手段が有するレンズのズーム位置、絞り値、及び撮影距離を含むことを特徴とする請求項１〜８の何れか１項に記載の撮像装置。
10. 前記撮影条件には、前記撮像手段が有するレンズの種類を含むことを特徴とする請求項９記載の撮像装置。
11. 前記閾値は、人間の視覚特性に応じて決められる画素数であることを特徴とする請求項３記載の撮像装置。
12. 入力される撮影画像を表示手段に表示する際の縮小倍率、及び当該撮影画像の撮影時の撮影条件を取得し、取得した前記撮影条件下における収差情報から得られる前記撮影画像内の収差の大きさと前記縮小倍率とに応じて画像回復処理を行うか否かを判断し、前記画像回復処理を行うと判断した場合には入力される前記撮影画像に前記画像回復処理を施して前記縮小倍率で縮小し、前記画像回復処理を行わないと判断した場合には入力される前記撮影画像を前記縮小倍率で縮小して、前記表示手段に表示させる縮小画像を作成する画像処理手段を備えることを特徴とする画像処理装置。
13. 撮影された撮影画像を表示手段に表示するための表示画像を作成する画像処理方法であって、
    前記撮影画像を前記表示手段に表示する際の縮小倍率、前記表示手段に表示する前記撮影画像の表示領域、及び前記撮影画像の撮影時の撮影条件を取得する第１の取得工程と、
    前記第１の取得工程により取得された前記撮影条件下における撮影画像内の収差の大きさを取得する第２の取得工程と、
    前記第２の取得工程により取得された収差の大きさを、前記第１の取得工程により取得された前記縮小倍率における収差の大きさに変換する変換工程と、
    前記変換工程で得られた情報を基に前記撮影画像内の基準位置での前記縮小倍率における収差の大きさを取得する第３の取得工程と、
    前記第３の取得工程により取得された収差の大きさと予め決められた閾値とを比較する比較工程と、
    前記第３の取得工程により取得された収差の大きさが前記閾値よりも大きければ、前記表示領域の画像に画像回復処理を行う画像処理工程と、
    前記画像処理工程により画像回復処理が行われた前記表示領域の画像を前記縮小倍率で縮小する縮小工程とを有することを特徴とする画像処理方法。
14. 入力される撮影画像を表示手段に表示する際の縮小倍率、及び当該撮影画像の撮影時の撮影条件を取得する取得ステップと、
    前記取得ステップにて取得した前記撮影条件下における収差情報から得られる前記撮影画像内の収差の大きさと前記縮小倍率とに応じて画像回復処理を行うか否かを判断する判断ステップと、
    前記判断ステップにて前記画像回復処理を行うと判断した場合には入力される前記撮影画像に前記画像回復処理を施して前記縮小倍率で縮小し、前記判断ステップにて前記画像回復処理を行わないと判断した場合には入力される前記撮影画像を前記縮小倍率で縮小して、前記表示手段に表示させる縮小画像を作成する画像処理ステップとをコンピュータに実行させるためのプログラム。

Images