JP2012049773A - 撮像装置および方法、並びにプログラム - Google Patents

撮像装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2012049773A
JP2012049773A JP2010189302A JP2010189302A JP2012049773A JP 2012049773 A JP2012049773 A JP 2012049773A JP 2010189302 A JP2010189302 A JP 2010189302A JP 2010189302 A JP2010189302 A JP 2010189302A JP 2012049773 A JP2012049773 A JP 2012049773A
Authority
JP
Japan
Prior art keywords
image
subject
imaging
unit
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010189302A
Other languages
English (en)
Inventor
Masanori Iwasaki
正則 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010189302A priority Critical patent/JP2012049773A/ja
Priority to US13/183,636 priority patent/US8854532B2/en
Priority to TW100126241A priority patent/TWI471004B/zh
Priority to CN201110236738.4A priority patent/CN102387301B/zh
Priority to KR1020110082185A priority patent/KR20120020054A/ko
Publication of JP2012049773A publication Critical patent/JP2012049773A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Abstract

【課題】より少ない演算量で、ピントが合った画像を得る。
【解決手段】レンズ５１ａを含む光学系は、レンズ５１ａより入射される被写体の光に対応する像を結像し、測距イメージセンサ５１ｂは、レンズ５１ａより入射される被写体の光に対応する信号を撮像画像として出力し、距離情報取得部５５は、被写体との距離を取得し、ぼけ補正部６０は、距離情報取得部５５により取得された被写体との距離に対応する光学系の結像特性に基づいて、測距イメージセンサ５１ｂにより出力される撮像画像に対してぼけ補正する。本発明は、例えば、デジタルスチルカメラに適用することができる。
【選択図】図３

Description

本発明は、撮像装置および方法、並びにプログラムに関し、特に、より少ない演算量で、ピントが合った画像を得ることができるようにする撮像装置および方法、並びにプログラムに関する。
通常、デジタルスチルカメラ等の撮像装置によって撮像する際には、ユーザが所定の操作をすることで、所望の被写体にピントを合わせる（合焦させる）ことができる。具体的には、ユーザが、デジタルスチルカメラに対して、所望の被写体をファインダの中央に位置するようにした上で、シャッタボタンを半押しすることで、その被写体に合焦させることができる。
一般的に、デジタルスチルカメラにおける合焦は、コントラスト方式により被写体のコントラストが最大となるレンズ位置を求め、そのレンズ位置にレンズを駆動させる、いわゆるオートフォーカスを行うことで実現される。また、光学距離計を用いたレンジファインダ方式により、異なる２つの光路の像を重ね合わせることで合焦させる手法もある。
また、タッチパネル機能を有する電子ビューファインダ（EVF：Electronic View Finder）に表示されるリアルタイムの画像（いわゆるスルー画像）において、所定の被写体が選択されると、選択された被写体領域の測距を行って、その被写体に合焦させる（オートフォーカスを行う）技術がある（例えば、特許文献１参照）。
特開平８−１２２８４７号公報
しかしながら、上述のようにしてオートフォーカスを行って被写体を撮像する際に、被写体との距離が急激に変化したり、そもそもオートフォーカスの精度が高くない場合、撮像の結果得られる撮像画像は、ピントが合っていない、いわゆるピンボケ画像となってしまう。
そこで、このようなピンボケ画像に対して所定の信号処理を施すことでぼけ補正し、ピントが合った画像（以下、合焦画像という）を得ることが考えられている。具体的には、ピンボケ画像におけるぼけを表すぼけ関数を推定し、被写体との距離（被写体距離）に応じたレンズの結像特性に基づいて、推定されたぼけ関数の逆関数を用いた逆演算をピンボケ画像に対して行うことで、オートフォーカスを行うことなく合焦画像を得ることができるようになる。
しかしながら、ピンボケ画像に含まれる被写体の被写体距離が未知であるため、全ての被写体距離に応じたレンズの結像特性に基づいて、被写体距離毎に、ピンボケ画像に対して信号処理を施す必要があり、演算量が非常に膨大となってしまう。
本発明は、このような状況に鑑みてなされたものであり、より少ない演算量で、ピントが合った画像を得ることができるようにするものである。
本発明の一側面の撮像装置は、レンズより入射される被写体の光に対応する像を結像する光学系と、前記レンズより入射される前記被写体の光に対応する信号を撮像画像として出力する撮像素子と、前記被写体との距離を取得する取得手段と、前記取得手段により取得された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像素子により出力される前記撮像画像に対してぼけ補正する補正手段とを備える。
前記撮像装置には、前記撮像画像を表示する表示手段と、ユーザの操作に基づいて、前記表示手段により表示される前記撮像画像における前記被写体を選択する選択手段とをさらに設け、前記補正手段には、前記取得手段により取得された前記被写体との距離のうちの、前記選択手段により選択された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像画像に対してぼけ補正させることができる。
前記表示手段には、前記撮像素子に対して画素加算または間引き読み出しを行って得られる、リアルタイムな画像であるスルー画像を表示させ、前記選択手段には、ユーザの操作に基づいて、前記スルー画像における前記被写体を選択させ、前記取得手段には、前記選択手段により前記スルー画像において前記被写体が選択されたときの、前記被写体との距離を取得させ、前記補正手段には、前記取得手段により取得された前記被写体との距離のうちの、前記選択手段により前記スルー画像において選択された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像画像に対してぼけ補正させることができる。
前記撮像装置には、前記スルー画像から、前記選択手段により前記スルー画像において選択された前記被写体に合焦された合焦スルー画像を作成する作成手段をさらに設け、前記表示手段には、前記作成手段により作成された前記合焦スルー画像を表示させることができる。
前記撮像素子には、前記レンズより入射される前記被写体の光に対応する前記信号の一部を前記被写体との距離を表す距離情報として出力させ、前記取得手段には、前記撮像素子により出力される前記距離情報に基づいて、前記被写体との距離を取得させることができる。
前記レンズは、無限遠または遠景に合焦する単焦点レンズとすることができる。
前記レンズは、ズームレンズとすることができ、前記補正手段には、予め得られた前記光学系の結像特性であって、前記取得手段により取得された前記被写体との距離、および、前記ズームレンズのズーム状態に対応する前記光学系の結像特性に基づいて、前記撮像画像に対してぼけ補正させることができる。
前記補正手段には、前記取得手段により取得された前記被写体との距離に対応する、前記光学系についての点像強度分布に基づいて、前記撮像画像に対してぼけ補正させることができる。
前記補正手段には、前記取得手段により取得された前記被写体との距離に対応する、前記光学系についての線像強度分布に基づいて、前記撮像画像に対してぼけ補正させることができる。
前記補正手段には、前記取得手段により取得された前記被写体との距離に対応する、前記光学系についての光学伝達関数に基づいて、前記撮像画像に対してぼけ補正させることができる。
本発明の一側面の撮像方法は、レンズより入射される被写体の光に対応する像を結像する光学系と、前記レンズより入射される前記被写体の光に対応する信号を撮像画像として出力する撮像素子と、前記被写体との距離を取得する取得手段と、前記取得手段により取得された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像素子により出力される前記撮像画像に対してぼけ補正する補正手段とを備える撮像装置の撮像方法であって、前記取得手段が、前記被写体との距離を取得する取得ステップと、前記補正手段が、前記取得ステップの処理により取得された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像素子により出力される前記撮像画像に対してぼけ補正する補正ステップとを含む。
本発明の一側面のプログラムは、レンズより入射される被写体の光に対応する像を結像する光学系と、前記レンズより入射される前記被写体の光に対応する信号を撮像画像として出力する撮像素子とを備える撮像装置の撮像処理をコンピュータに実行させるプログラムであって、前記被写体との距離の取得を制御する取得制御ステップと、前記取得制御ステップの処理により取得された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像素子により出力される前記撮像画像に対してぼけ補正する補正ステップとを含む処理をコンピュータに実行させる。
本発明の一側面においては、被写体との距離が取得され、取得された被写体との距離に対応する光学系の結像特性に基づいて、撮像素子により出力される撮像画像に対してぼけ補正される。
本発明の一側面によれば、より少ない演算量で、ピントが合った画像を得ることが可能となる。
本発明を適用した撮像装置の一実施の形態の構成を示すブロック図である。 測距イメージセンサを構成する画素の配列について説明する図である。 撮像装置の機能構成例を示すブロック図である。 撮像処理について説明するフローチャートである。 ぼけ補正処理について説明するフローチャートである。 撮像処理の他の例について説明するフローチャートである。 撮像装置の他の機能構成例を示すブロック図である。 図７の撮像装置の撮像処理について説明するフローチャートである。 撮像装置のさらに他の機能構成例を示すブロック図である。 図９の撮像装置の撮像処理について説明するフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（単焦点レンズを備え、シャッタ操作により撮像する構成）
２．第２の実施の形態（単焦点レンズを備え、タッチ操作により撮像する構成）
３．第３の実施の形態（ズームレンズを備え、シャッタ操作により撮像する構成）
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本発明を適用した撮像装置の一実施の形態の構成を示している。
図１の撮像装置１１は、例えば、デジタルスチルカメラとして構成され、ユーザの操作にしたがって、被写体を撮像し、その被写体の撮像画像（静止画像）を蓄積したり、ユーザに提示する。
撮像装置１１は、例えば、被写体を撮像し、その撮像画像を記録する処理を行う撮像モードと、記録された撮像画像をユーザに閲覧させる処理を行うビューアモードとを少なくとも有する。撮像装置１１は、ユーザの操作により撮像モードが選択されると、ユーザのシャッタ操作により被写体を撮像し、撮像された撮像画像を記録する。また、撮像装置１１は、ユーザの操作によりビューアモードが選択されると、記録されている撮像画像の中から所望の撮像画像をユーザに選択させ、選択された撮像画像を表示する。
図１の撮像装置１１は、光学系３１、測距イメージセンサ３２、A/D（Analog to Digital）コンバータ３３、タイミングジェネレータ３４、画像処理部３５、カメラ信号処理部３６、メモリ３７、モニタ３８、操作部３９、制御部４０、および測距補助光発光部４１から構成される。
光学系３１は、被写体を撮像した像を測距イメージセンサ３２に供給する。
光学系３１は、レンズ３１ａおよび絞り３１ｂを備え、レンズ３１ａより入射される被写体の光を、絞り３１ｂによって調整して、測距イメージセンサ３２に入射させる。
光学系３１においては、レンズ３１ａより入射される被写体の光に対応する像の焦点位置の調整が不要とされる。すなわち、レンズ３１ａは、単眼の単焦点レンズとして構成され、例えば、レンズ３１ａから２ｍ、４ｍ等の遠方の点（遠景）や無限遠に合焦するようになされている。また、絞り３１ｂは、レンズ３１ａから測距イメージセンサ３２に入射する光の光量を調整する。
測距イメージセンサ３２は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等から構成され、被写体を撮像し、その結果得られる画像信号を出力する。
すなわち、測距イメージセンサ３２は、光学系３１から入射する光を受光し、その光を、受光量に応じた電気信号としての画像信号（アナログ信号）に光電変換して、A/Dコンバータ３３に供給する。
また、測距イメージセンサ３２は、光学系３１から入射する被写体の光に対応する信号の一部を、撮像装置１１と被写体との間の距離を表す距離情報（アナログ信号）としてA/Dコンバータ３３に供給する。
ここで、図２を参照して、測距イメージセンサ３２を構成する画素の配列について説明する。
一般的なイメージセンサにおいては、各画素にＲ（赤），Ｇ（緑），Ｂ（青）のうちの1色が割り当てられており、Ｇの画素が市松模様に配置され、その間をＲとＢの画素で埋めるいわゆるBayer配列が採用されている。
図２の測距イメージセンサ３２は、一般的なイメージセンサにおいて市松模様に配置されたＧ画素のうちの半分（Ｒ，Ｇ，Ｂ，Ｇからなる、隣接する２×２（＝４）画素のうちの１つのＧ画素）が、図中黒塗りで示されている、測距用の画素として構成されている。
そして、測距イメージセンサ３２は、いわゆるTOF（Time Of Flight）法を用いて、この測距用の画素により、後述する測距補助光発光部４１から被写体に対して投射され反射された光を受光することで、投射から受光までの時間に基づいて求められる、被写体までの距離を表す距離情報を出力する。
すなわち、測距イメージセンサ３２は、Ｒ，Ｇ，Ｂの画素により画像信号を出力し、測距用の画素により距離情報を出力することができる。
なお、図２の測距イメージセンサ３２においては、４画素のうちの１画素を測距用の画素として構成されるようにしたが、例えば、１６画素のうちの１画素など、Ｒ，Ｇ，Ｂの画素と測距用の画素との割合は任意とされる。また、測距イメージセンサ３２は、Ｒ，Ｇ，Ｂの画素と、測距用の画素からなる単一の（単板方式の）センサとして（すなわち、１チップ化されて）構成されるものとしたが、上述したBayer配列が採用されたイメージセンサと、全画素が測距用の画素からなる測距センサの２つのセンサから構成されるようにもできる。この場合、例えば、測距センサにおける１画素は、イメージセンサにおける１画素、または４画素などの複数の画素に対応していればよく、したがって、測距センサの画素数（画素配置）は、イメージセンサにおける画素数（画素配置）と同一とは限らない。さらに、測距イメージセンサ３２は、３板方式のセンサとして構成されるようにしてもよい。具体的には、Ｒ，Ｇ，Ｂ各色のイメージセンサの少なくともいずれか１つのセンサにおいて、例えば、隣接する２×２（＝４）画素のうちの１つを測距用の画素とするようにしてもよい。
図１に戻り、A/Dコンバータ３３は、測距イメージセンサ３２から供給されたアナログ信号（画像信号および距離情報）をデジタル信号に変換し、画像処理部３５に供給する。
タイミングジェネレータ３４は、例えば、測距イメージセンサ３２がCCDセンサとして構成されている場合、制御部４０による制御に基づいて、CCDを駆動するためのタイミング信号を生成し、測距イメージセンサ３２およびA/Dコンバータ３３に供給する。
画像処理部３５は、A/Dコンバータ３３からのデジタル信号（画像信号）に対して、制御部４０による制御に基づいて、所定の画像処理を施し、カメラ信号処理部３６に供給する。
カメラ信号処理部３６は、画像処理部３５からの画像信号に対して、色補正処理、ホワイトバランス調整処理、階調変換処理、ガンマ補正、YC変換処理、圧縮処理などを施し、メモリ３７への記録や、モニタ３８への表示を行う。
操作部３９は、例えば、ボタン、ダイヤル、レバー、モニタ３８に重畳して設けられるタッチパネルなどとして構成され、ユーザの操作入力を受け付ける。
制御部４０は、操作部３９からの、ユーザの操作入力を表す信号に基づいて、撮像装置１１の各部を制御する。
測距補助光発光部４１は、被写体に反射され、図２を参照して説明した測距イメージセンサ３２における測距用の画素により受光される光を発光する。
［撮像装置の機能構成例］
次に、図３を参照して、図１の撮像装置１１の機能構成例について説明する。
図３の撮像装置１１は、撮像部５１、入力部５２、入力制御部５３、撮像制御部５４、距離情報取得部５５、表示制御部５６、表示部５７、記録制御部５８、記録部５９、およびぼけ補正部６０から構成される。
撮像部５１は、レンズ５１ａおよび測距イメージセンサ５１ｂを備える。このレンズ５１ａおよび測距イメージセンサ５１ｂは、それぞれ図１のレンズ３１ａおよび測距イメージセンサ３２と同一のものであるので、その詳細な説明は省略する。レンズ５１ａに入射された被写体の光は、測距イメージセンサ５１ｂに結像され、撮像部５１は、結像された被写体の画像に対応する画像信号を撮像制御部５４に供給するとともに、結像された被写体との距離を表す距離情報を距離情報取得部５５に供給する。
入力部５２は、図１の操作部３９に対応し、ユーザの操作入力を受け付け、そのユーザの操作入力を表す信号（操作信号）を入力制御部５３に供給する。
入力制御部５３は、入力部５２からの操作信号に対応する指示を撮像制御部５４および距離情報取得部５５に供給する。
撮像制御部５４は、撮像部５１からの画像信号を基に、表示部５７に表示される表示用画像の画像信号を生成して、表示制御部５６に供給する。また、撮像制御部５４は、入力制御部５３からの指示に応じて、撮像部５１からの画像信号を取得し、記録制御部５８に供給する。
距離情報取得部５５は、入力制御部５３からの指示に応じて、撮像部５１からの距離情報を取得し、記録制御部５８に供給する。
表示制御部５６は、撮像制御部５４からの表示用画像の画像信号を基に、表示部５７に表示用画像を表示させる。また、表示制御部５６は、記録制御部５８を介して、記録部５９から供給される（読み出される）画像信号に対応する画像を、表示部５７に表示させる。
表示部５７は、図１のモニタ３８に対応し、表示制御部５６の制御の下、画像を表示する。
記録制御部５８は、撮像制御部５４からの画像信号と、距離情報取得部５５からの距離情報とを、測距イメージセンサ５１ｂの画素単位（例えば、隣接する４画素単位）で対応付けて、記録部５９に記録させる。また、記録制御部５８は、必要に応じて、記録部５９に記録されている画像信号および距離情報を読み出し、表示制御部５６およびぼけ補正部６０に供給する。
記録部５９は、図１のメモリ３７に対応し、記録制御部５８からの画像信号および距離情報を記録する。記録部５９に記録されている画像信号および距離情報は、必要に応じて、記録制御部５８に読み出される。
ぼけ補正部６０は、入力制御部５３からの指示に基づいて、記録制御部５８からの画像信号に対応する撮像画像に含まれるぼけを補正し、記録制御部５８に供給する。記録制御部５８に供給された、ぼけ補正された撮像画像は、記録部５９に記録される。
［撮像装置の撮像処理について］
次に、図４のフローチャートを参照して、撮像装置１１の撮像処理について説明する。
例えば、撮像装置１１の電源がオンされ、ユーザの操作によって撮像モードが選択されると、撮像装置１１は、撮像が可能な撮像モードとなり、ステップＳ１１において、撮像制御部５４は、リアルタイムな画像であるスルー画を表示部５７に表示させるように、撮像部５１を制御する。
具体的には、撮像制御部５４は、測距イメージセンサ５１ｂに対して、画素加算または間引き読み出しを行うことで、例えば、VGA（Video Graphics Array）サイズの表示用画像に対応する画像信号（以下、単に表示用画像という）を生成し、表示制御部５６に供給する。表示制御部５６は、撮影制御部５４からの表示用画像を、スルー画として表示部５７に表示させる。これにより、ユーザは、表示部５７にリアルタイムに表示されるスルー画を確認しながら、撮影する画像の構図を決定することができる。
ステップＳ１２において、入力制御部５３は、シャッタ操作がされたか、すなわち、シャッタボタンとしての入力部５２に対して、ユーザによる押下操作がされたか否かを判定する。
ステップＳ１２において、シャッタ操作がされていないと判定された場合、処理はステップＳ１１に戻り、シャッタ操作がされるまで、ステップＳ１１，Ｓ１２の処理が繰り返される。
一方、ステップＳ１２において、シャッタ操作がされたと判定された場合、入力制御部５３は、入力部５２からのシャッタ操作を表す操作信号に対応する指示を、撮像制御部５４および距離情報取得部５５に供給し、処理はステップＳ１３に進む。
ステップＳ１３において、撮像制御部５４は、入力制御部５３からの指示に応じて、撮像処理を行う。具体的には、撮像制御部５４は、入力制御部５３からの指示が供給されたタイミングで、測距イメージセンサ５１ｂに対して、全画素読み出しを行うことで、例えば、Full HD（Full High Definition）サイズの撮像画像に対応する画像信号（以下、単に撮像画像という）を生成し、記録制御部５８に供給する。
ステップＳ１４において、距離情報取得部５５は、入力制御部５３からの指示が供給されたタイミングで、測距イメージセンサ５１ｂからの距離情報を取得し、記録制御部５８に供給する。
なお、ステップＳ１３およびステップＳ１４の処理は、並列に実行されるようにしてもよい。
ステップＳ１５において、記録制御部５８は、撮像制御部５４からの撮像画像と、距離情報取得部５５からの距離情報を、測距イメージセンサ５１ｂの画素単位で対応付けて、記録部５９に記録させる。
図２を参照して説明したように、測距イメージセンサ５１ｂ（測距イメージセンサ３２）における隣接する４画素は、画像信号を出力するＲ，Ｇ，Ｂの３画素および測距用の１画素から構成される。この隣接する４画素を１つのブロックとすれば、１ブロック毎に、撮像画像の画像信号（以下、画像情報ともいう）および距離情報が得られることになる。換言すれば、ブロック毎の撮像画像の画像情報と距離情報とは、撮像画像における各ブロックの位置を表す座標によって対応付けられるようになる。
なお、ブロック毎の画像情報と距離情報とは、各ブロックの座標によって対応付けられる別個の情報であるものとしたが、距離情報が、ブロック毎の画像情報に含まれるようにしてもよい。
また、隣接する４画素を１ブロックとするようにしたが、１ブロックに少なくとも１つの測距用の画素が含まれていればよく、例えば、隣接する４×４の１６画素を１ブロックとするようにしてもよい。
ステップＳ１６において、入力制御部５３は、図示せぬモード切り替えボタンや電源ボタン等としての入力部５２に対して、ユーザによる押下操作がされ、撮像モードの終了が指示されたか否かを判定する。
ステップＳ１６において、撮像モードの終了が指示されていないと判定された場合、処理はステップＳ１１に戻り、ステップＳ１１乃至Ｓ１６の処理が繰り返される。
一方、ステップＳ１６において、撮像モードの終了が指示されたと判定された場合、撮像処理は終了する。
以上の処理によれば、ユーザのシャッタ操作に応じて、ユーザの所望の構図の撮影画像が記録されるようになる。ここで、レンズ５１ａ（レンズ３１ａ）は、遠景や無限遠に合焦する単焦点レンズであるので、撮像画像は、遠方の被写体にピントが合った画像となる。このような撮像画像は、例えば、遠方の景色などを被写体とする風景写真等に好適である。
しかしながら、上述した処理では、撮像装置１１の近くにある被写体にピントが合った画像を得ることはできず、撮像画像においては、撮像装置１１の近くにある被写体は、皆ぼけてしまう。
そこで、以下においては、記録部５９に記録された撮像画像において、ユーザにより選択された被写体のぼけを補正するぼけ補正処理について説明する。
［撮像装置のぼけ補正処理について］
図５は、撮像装置１１のぼけ補正処理について説明するフローチャートである。
例えば、ユーザの操作によってビューアモードが選択されると、撮像装置１１は、記録された撮像画像が閲覧可能なビューアモードとなり、記録部５９に記録されている撮像画像に対応するサムネイル画像の一覧が表示部５７に表示される。このサムネイル画像には、例えば、ぼけ補正処理が施されたか否かを示すアイコンが付加されており、ユーザの操作により、サムネイル画像の一覧の中から、ぼけ補正処理が施されていないサムネイル画像が選択されると、ぼけ補正処理が開始される。
ステップＳ３１において、記録制御部５８は、記録部５９から、記録部５９に記録されている撮像画像のうち、ユーザに選択されたサムネイル画像に対応する撮像画像と、その撮像画像に対応付けられている距離情報とを読み出す。記録制御部５８は、読み出した撮像画像および距離情報のうちの、撮像画像を表示制御部５６に供給するとともに、撮像画像および距離情報の両方をぼけ補正部６０に供給する。
ステップＳ３２において、表示制御部５６は、記録制御部５８からの撮影画像を表示部５７に表示させる。ここで、記録制御部５８からの撮影画像は、上述したようにFull HDサイズの画像であるので、表示制御部５６は、記録制御部５８からの撮像画像を、表示部５７に表示可能なVGAサイズの画像に解像度変換して表示部５７に表示させる。
ステップＳ３３において、入力制御部５３は、解像度変換されて表示部５７に表示されている撮像画像（以下、表示用撮像画像という）における所定の被写体が、ユーザによって選択されたか否かを、表示部５７に重畳して設けられているタッチパネルとしての入力部５２からの操作信号に基づいて判定する。
ステップＳ３３において、表示用撮像画像における被写体が選択されていないと判定された場合、表示用撮像画像における所定の被写体が選択されたと判定されるまで、ステップＳ３３の処理が繰り返される。
一方、ステップＳ３３において、表示用撮像画像における被写体が選択されたと判定された場合、入力制御部５３は、タッチパネルとしての入力部５２からの操作信号に含まれる、表示用撮像画像上でユーザにより選択された被写体部分に対応する領域（ブロック）を表す、撮像画像上の座標を表す座標情報をぼけ補正部６０に供給する。
ステップＳ３４において、ぼけ補正部６０は、入力制御部５３からの座標情報で表わされる座標に対応する記録制御部５８からの距離情報、すなわち、ユーザにより選択された被写体部分の距離情報に対応するレンズ５１ａの結像特性に基づいて、記録制御部５８からの撮像画像に対してぼけ補正する。
一般的に、撮像画像に含まれる、所定の被写体距離にある被写体についてのぼけの分布は、レンズ５１ａの特性および被写体距離に依存する点像強度分布（PSF：Point Spread Function、点広がり関数）によりモデル化される。
ぼけ補正部６０は、撮像画像に対して、表示用撮像画像において表示部５７上でユーザにタッチ（選択）された領域に対応する撮像画像上の領域（以下、選択領域という）の距離情報（被写体距離）に応じたPSFを用いてデコンボリューション（逆畳み込み）を行うことで、ぼけ補正を行う。ぼけ補正部６０は、ぼけ補正した撮像画像を記録制御部５８に供給する。
なお、Full HDサイズの撮像画像において、選択領域は、例えば、上述した１ブロックであってもよいし、複数のブロックからなる領域であってもよい。また、選択領域が複数のブロックからなる場合、PSFを用いる際に適用される距離情報は、複数のブロックのうちの略中央に位置するブロックの距離情報であってもよいし、複数のブロックの距離情報の平均であってもよい。
このように、撮像画像において選択された被写体（ピントを合わせたい被写体）との距離が、距離情報として予めわかっているので、全ての被写体距離に応じたPSFを用いて、被写体距離毎に、撮像画像に対してデコンボリューションを行う必要なく、ぼけ補正を行うことができる。
ステップＳ３５において、記録制御部５８は、ぼけ補正部６０からのぼけ補正された撮像画像を記録部５９に記録させる。
以上の処理によれば、被写体との距離を表す距離情報に対応付けられた撮像画像において、所定の被写体が選択され、選択された被写体部分の距離情報に対応するレンズの結像特性に基づいて、撮像画像に対してぼけ補正されるようになる。すなわち、撮像画像において選択された被写体（ピントを合わせたい被写体）との距離が、距離情報として予めわかっているので、全ての被写体距離に応じたPSFを用いて、被写体距離毎に、撮像画像に対してデコンボリューションを行う必要なく、ぼけ補正を行うことができる。結果として、オートフォーカスを行う等、ピント合わせをすることなく、より少ない演算量で、ピントが合った画像を得ることが可能となる。
以上においては、ぼけ補正部６０が撮像画像に対してぼけ補正する際に、距離情報に対応するレンズ５１ａの結像特性として、PSF（点像強度分布）を用いるようにしたが、レンズ５１ａの結像特性として、線像強度分布（LSF：Line Spread Function）や、点像強度分布を２次元フーリエ変換した、空間周波数領域において像の劣化を表現する関数である光学伝達関数（OTF：Optical Transfer Function）を用いるようにしてもよい。
また、図４のフローチャートで説明した撮像処理によって得られた撮像画像を図示せぬ記録媒体等を介して、パーソナルコンピュータ等の画像処理装置に供給し、その画像処理装置において、上述したぼけ補正処理が行われるようにしてもよい。この場合、画像処理装置は、図１の撮像装置１１において、撮像部５１、撮像制御部５４、および距離情報取得部５５を備えない構成となる。このような画像処理装置によるぼけ補正処理においては、表示部５７に表示される表示用撮像画像はFull HDサイズのままでよく、また、被写体の選択はタッチパネルに対するユーザのタッチでなく、マウス等によるクリック操作によって行われるようになる。
さらに、以上においては、撮像装置１１において、撮像モードからビューアモードにモード遷移したときに、撮像画像のサムネイル一覧からぼけ補正処理の対象となる撮像画像をユーザに選択させることで、ぼけ補正処理が実行されるものとしたが、撮像モードからビューアモードを含むその他のモードにモード遷移したときに、自動的にぼけ補正処理が実行されるようにしてもよい。
［撮像装置の撮像処理の他の例について］
ここで、図６のフローチャートを参照して、撮像モード終了後、自動的にぼけ補正処理が実行される撮像処理について説明する。
なお、図６のフローチャートのステップＳ７１乃至Ｓ７６の処理は、図４のフローチャートのステップＳ１１乃至Ｓ１６の処理と基本的に同様であり、図６のフローチャートのステップＳ７８乃至Ｓ８１の処理は、図５のフローチャートのステップＳ３２乃至Ｓ３５の処理と基本的に同様であるので、その説明は省略する。
すなわち、ステップＳ７１乃至Ｓ７５の処理により、撮像画像と距離情報とが対応付けて記録され、ステップＳ７６において、図示せぬモード切り替えボタンとしての入力部５２に対して、ユーザによる押下操作がされ、撮像モードの終了が指示されたか否かが判定される。
そして、ステップＳ７６において、撮像モードの終了が指示されたと判定された場合、処理はステップＳ７７に進む。
ステップＳ７７において、記録制御部５８は、記録部５９から、ステップＳ７１乃至Ｓ７５の処理によって撮像され、記録部５９に記録されている撮像画像のうちの、時間的に最も先に記録（撮像）された撮像画像と、その撮像画像に対応付けられている距離情報とを読み出す。記録制御部５８は、読み出した撮像画像および距離情報のうちの、撮像画像を表示制御部５６に供給するとともに、撮像画像および距離情報の両方をぼけ補正部６０に供給する。
そして、ステップＳ７８乃至Ｓ８１の処理により、ぼけ補正された撮像画像が記録部５９に記録されると、ステップＳ８２において、記録制御部５８は、ステップＳ７１乃至Ｓ７５の処理により撮像され、記録された全ての撮像画像に対して、ぼけ補正の処理が行われたか否かを判定する。
ステップＳ８２において、全ての撮像画像に対して処理されていないと判定された場合、処理はステップＳ７７に戻り、撮像画像に対して撮像された順に、以降の処理が繰り返される。
一方、ステップＳ８２において、全ての撮像画像に対して処理されたと判定された場合、処理は終了する。
以上の処理によれば、被写体との距離を表す距離情報に対応付けられた撮像画像において、所定の被写体が選択され、選択された被写体部分の距離情報に対応するレンズの結像特性に基づいて、撮像画像に対してぼけ補正されるようになる。すなわち、撮像画像において選択された被写体（ピントを合わせたい被写体）との距離が、距離情報として予めわかっているので、全ての被写体距離に応じたPSFを用いて、被写体距離毎に、撮像画像に対してデコンボリューションを行う必要なく、ぼけ補正を行うことができる。結果として、オートフォーカスを行う等、ピント合わせをすることなく、より少ない演算量で、ピントが合った画像を得ることが可能となる。
以上においては、既に撮像された撮像画像において、ユーザがピントを合わせたい被写体を選択する構成について説明してきたが、撮像前のスルー画において、ユーザがピントを合わせたい被写体を選択するようにしてもよい。
＜２．第２の実施の形態＞
［撮像装置の機能構成例］
図７は、撮像前のスルー画において、ユーザにピントを合わせたい被写体を選択させるようにした撮像装置の機能構成例を示している。
撮像装置１１１は、撮像部５１、入力部５２、入力制御部５３、撮像制御部５４、距離情報取得部５５、表示制御部５６、表示部５７、記録部５９、ぼけ補正部６０、合焦画像作成部１５１、および記録制御部１５２から構成される。
なお、図７の撮像装置１１１において、図３の撮像装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図７の撮像装置１１１において、図３の撮像装置１１と異なるのは、合焦画像作成部１５１を新たに設け、記録制御部５８に代えて記録制御部１５２を設けた点である。
合焦画像作成部１５１は、入力制御部５３からの指示に応じて、撮像制御部５４からの表示用画像と、距離情報取得部５５からの距離情報とを基に、表示用画像においてユーザに選択された被写体にピントが合った表示用合焦画像を作成し、表示制御部５６および記録制御部１５２に供給する。
記録制御部１５２は、撮像制御部５４からの画像信号と、距離情報取得部５５からの距離情報とを、測距イメージセンサ５１ｂの画素単位で対応付けた上に、表示用合焦画像を対応付けて、記録部５９に記録させる。また、記録制御部５８は、必要に応じて、記録部５９に記録されている画像信号、距離情報、および表示用合焦画像を読み出し、表示制御部５６およびぼけ補正部６０に供給する。
［撮像装置の撮像処理について］
次に、図８のフローチャートを参照して、撮像装置１１１の撮像処理について説明する。
例えば、撮像装置１１１の電源がオンされ、ユーザの操作によって撮像モードが選択されると、撮像装置１１１は、撮像が可能な撮像モードとなり、ステップＳ１１１において、撮像制御部５４は、リアルタイムな画像であるスルー画を表示部５７に表示させるように、撮像部５１を制御する。
具体的には、撮像制御部５４は、測距イメージセンサ５１ｂに対して、画素加算または間引き読み出しを行うことで、例えば、VGAサイズの表示用画像を生成し、表示制御部５６に供給する。表示制御部５６は、撮影制御部５４からの表示用画像を、スルー画として表示部５７に表示させる。
ステップＳ１１２において、入力制御部５３は、表示部５７に表示されている表示用画像における所定の被写体が、ユーザによって選択されたか否かを、表示部５７に重畳して設けられているタッチパネルとしての入力部５２からの操作信号に基づいて判定する。
ステップＳ１１２において、表示用画像における被写体が選択されていないと判定された場合、表示用画像における所定の被写体が選択されたと判定されるまで、ステップＳ１１１，Ｓ１１２の処理が繰り返される。
一方、ステップＳ１１２において、表示用画像における被写体が選択されたと判定された場合、入力制御部５３は、タッチパネルとしての入力部５２からの、被写体を選択した操作を表す操作信号に対応する指示を、撮像制御部５４および距離情報取得部５５に供給するとともに、その操作信号に含まれる、表示用画像上の、ユーザにより選択された被写体部分の座標を表す座標情報を合焦画像作成部１５１に供給する。
ステップＳ１１３において、撮像制御部５４は、入力制御部５３からの指示に応じて、撮像処理を行う。具体的には、撮像制御部５４は、上述したように表示用画像を生成するとともに、入力制御部５３からの指示が供給されたタイミングで、測距イメージセンサ５１ｂに対して、全画素読み出しを行うことで、例えば、Full HDサイズの撮像画像を生成し、記録制御部１５２に供給する。
ステップＳ１１４において、距離情報取得部５５は、入力制御部５３からの指示が供給されたタイミングで、測距イメージセンサ５１ｂからの距離情報を取得し、合焦画像作成部１５１および記録制御部１５２に供給する。
ステップＳ１１５において、合焦画像作成部１５１は、入力制御部５３からの座標情報が供給されたタイミングで、撮像制御部５４において生成された表示用画像を取得する。
ステップＳ１１６において、合焦画像作成部１５１は、入力制御部５３からの座標情報および距離情報取得部５５からの距離情報に基づいて、撮像制御部５４から取得した表示用画像から、表示用画像上の、ユーザにより選択された被写体部分にピントが合った表示用合焦画像を作成する。
具体的には、合焦画像作成部１５１は、表示用画像に対して、表示用画像において表示部５７上でユーザにタッチ（選択）された領域に対応する撮像画像上の選択領域の距離情報（被写体距離）に応じたPSFを用いてデコンボリューションを行うことで、ぼけ補正を行う。合焦画像作成部１５１は、ぼけ補正された表示用画像である表示用合焦画像を、表示制御部５６および記録制御部１５２に供給する。なお、ここで、表示用合焦画像には、ユーザにタッチされた領域（被写体部分）を表す座標情報が付加される。
ステップＳ１１７において、表示制御部５６は、合焦画像作成部１５１からの表示用合焦画像を表示部５７に表示させる。
ここで、ステップＳ１１３、ステップＳ１１４、およびステップＳ１１５乃至Ｓ１１７の処理は、並列に実行されるようにしてもよい。
ステップＳ１１８において、記録制御部１５２は、撮像制御部５４からの撮像画像、距離情報取得部５５からの距離情報、および、合焦画像作成部１５１からの表示用合焦画像を、測距イメージセンサ５１ｂの画素単位で対応付けて、記録部５９に記録させる。
ここで、表示用合焦画像は、測距イメージセンサ５１ｂ（測距イメージセンサ３２）に対して画素加算または間引き読み出しを行って得られた画像であるので、表示用合焦画像における１画素は、全画素読み出しを行って得られた撮像画像における所定数ブロック（所定数画素）に対応付けられる。
ステップＳ１１９において、入力制御部５３は、図示せぬモード切り替えボタンとしての入力部５２に対して、ユーザによる押下操作がされ、撮像モードの終了が指示されたか否かを判定する。
ステップＳ１１９において、撮像モードの終了が指示されていないと判定された場合、処理はステップＳ１１１に戻り、ステップＳ１１１乃至Ｓ１１９の処理が繰り返される。
一方、ステップＳ１１９において、撮像モードの終了が指示されたと判定された場合、処理はステップＳ１２０に進む。
ステップＳ１２０において、記録制御部１５２は、記録部５９から、ステップＳ１１１乃至Ｓ１１８の処理によって撮像され、記録部５９に記録されている撮像画像のうちの、時間的に最も先に記録（撮像）された撮像画像と、その撮像画像に対応付けられている距離情報および表示用合焦画像を読み出す。記録制御部１５２は、読み出した撮像画像、距離情報、および表示用合焦画像をぼけ補正部６０に供給する。
ステップＳ１２１において、ぼけ補正部６０は、記録制御部１５２からの表示用合焦画像に付加されている座標情報で表わされる座標に対応する、記録制御部１５２からの距離情報、すなわち、ユーザにより選択された被写体部分の距離情報に対応するレンズ５１ａの結像特性に基づいて、記録制御部１５２からの撮像画像に対してぼけ補正する。
具体的には、ぼけ補正部６０は、撮像画像に対して、表示用合焦画像に付加されている座標情報で表わされる表示用合焦画像上の領域に対応する撮像画像上の選択領域の距離情報（被写体距離）に応じたPSFを用いてデコンボリューションを行うことで、ぼけ補正を行う。ぼけ補正部６０は、ぼけ補正した撮像画像を記録制御部１５２に供給する。
このように、表示用画像において選択された被写体（ピントを合わせたい被写体）との距離が、距離情報として予めわかっているので、全ての被写体距離に応じたPSFを用いて、被写体距離毎に、撮像画像に対してデコンボリューションを行う必要なく、ぼけ補正を行うことができる。
ステップＳ１２２において、記録制御部１５２は、ぼけ補正部６０からのぼけ補正された撮像画像を記録部５９に記録させる。
ステップＳ１２３において、記録制御部１５２は、ステップＳ１１１乃至Ｓ１１８の処理によって撮像され、記録された全ての撮像画像に対して、ぼけ補正の処理が行われたか否かを判定する。
ステップＳ１２３において、全ての撮像画像に対して処理されていないと判定された場合、処理はステップＳ１２０に戻り、撮像画像に対して撮像された順に、以降の処理が繰り返される。
一方、ステップＳ１２３において、全ての撮像画像に対して処理されたと判定された場合、処理は終了する。
以上の処理によれば、表示用画像（スルー画）において所定の被写体が選択されると、被写体との距離を表す距離情報に対応付けられた撮像画像が取得され（撮像され）、表示用画像において選択された被写体部分に対応する、撮像画像上の領域の距離情報に対応するレンズの結像特性に基づいて、撮像画像に対してぼけ補正されるようになる。すなわち、表示用画像において選択された被写体（ピントを合わせたい被写体）との距離が、距離情報として予めわかっているので、全ての被写体距離に応じたPSFを用いて、被写体距離毎に、撮像画像に対してデコンボリューションを行う必要なく、ぼけ補正を行うことができる。結果として、オートフォーカスを行う等、ピント合わせをすることなく、より少ない演算量で、ピントが合った画像を得ることが可能となる。
また、表示用画像において被写体が選択されると、画素加算または間引き読み出しされた表示用画像に対してぼけ補正された表示用合焦画像が表示されるが、これは、全画素読み出しされた撮像画像に対してぼけ補正する場合と比較して演算量は十分少ない。また、撮像モード（ステップＳ１１１乃至Ｓ１１８）の間は、撮像画像に対するぼけ補正は行われず、撮像画像および距離情報が記録部５９に記録されるだけであるので、撮像処理のリアルタイム性は損なわれることなく、ユーザに、スルー画を確認しながらの連続撮影を行わせることが可能となる。なお、撮像モードの間、撮像装置における処理が高負荷でない場合には、撮像モードの間の処理と並列に、撮像画像に対するぼけ補正が行われるようにしてもよい。
以上においては、表示用画像において、ユーザに選択された被写体にピントが合った撮像画像を得る構成について説明したが、撮像制御部５４に、顔認識や人認識等の被写体認識機能を設けることで、表示用画像において、顔認識や人認識された被写体にピントが合った撮像画像を得るようにすることもできる。
また、以上においては、撮像部５１のレンズ５１ａとして、単焦点レンズを用いる構成としたが、以下においては、撮像部５１のレンズとして、ズームレンズを用いる構成について説明する。
＜３．第３の実施の形態＞
［撮像装置の機能構成例］
図９は、撮像部５１のレンズとして、ズームレンズを用いるようにした撮像装置の機能構成例を示している。
撮像装置２１１は、撮像部５１、入力部５２、入力制御部５３、撮像制御部５４、距離情報取得部５５、表示制御部５６、表示部５７、記録制御部５８、記録部５９、ズーム情報取得部２３１、ぼけ補正部２３２、およびぼけ補正データ記憶部２３３から構成される。また、撮像部５１は、測距イメージセンサ５１ｂおよびズームレンズ２３４を備えている。
なお、図９の撮像装置２１１において、図３の撮像装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図９の撮像装置２１１において、図３の撮像装置１１と異なるのは、ズーム情報取得部２３１およびぼけ補正データ記憶部２３３を新たに設け、レンズ５１ａおよびぼけ補正部６０に代えてズームレンズ２３４およびぼけ補正部２３２を設けた点である。
ズーム情報取得部２３１は、入力制御部５３からの指示に応じて、撮像部５１におけるズームレンズ２３４のズーム倍率を表すズーム情報を、撮像部５１から取得し、ぼけ補正部２３２に供給する。
ぼけ補正部２３２は、入力制御部５３からの指示に基づいて、ズーム情報取得部２３１からのズーム情報に対応するぼけ補正データをぼけ補正データ記憶部２３３から読み出す。ぼけ補正部２３２は、読み出したぼけ補正データを用いて、記録制御部５８からの撮像画像に含まれるぼけを補正し、記録制御部５８に供給する。記録制御部５８に供給されたぼけ補正された撮像画像は、記録部５９に記録される。
ぼけ補正データ記憶部２３３は、例えば、フラッシュメモリ等として構成され、予め用意されたズーム情報に対応するぼけ補正データを記憶している。ぼけ補正データ記憶部２３３に記憶されているぼけ補正データは、必要に応じて、ぼけ補正部２３２に読み出される。
ズームレンズ２３４は、入力制御部５３からの指示に基づいて駆動するようになされており、ズームレンズ２３４のレンズ位置に応じて、ズーム倍率が決定される。すなわち、ズーム情報取得部２３１により取得されるズーム情報は、ズームレンズ２３４のレンズ位置に対応する。
［撮像装置の撮像処理について］
次に、図１０のフローチャートを参照して、撮像装置２１１の撮像処理について説明する。
なお、図１０のフローチャートのステップＳ２１１乃至Ｓ２１４の処理は、図４のフローチャートのステップＳ７１乃至Ｓ７４の処理と基本的に同様であるので、その説明は省略する。
図１０のステップＳ２１２においては、シャッタ操作がされたと判定された場合、入力制御部５３によって、入力部５２からのシャッタ操作を表す操作信号に対応する指示が、撮像制御部５４、距離情報取得部５５、およびズーム情報取得部２３１に供給される。
ステップＳ２１５において、ズーム情報取得部２３１は、入力制御部５３からの指示が供給されたタイミングで、撮像部５１におけるズームレンズ２３４についてのズーム情報を取得し、記録制御部５８に供給する。
ステップＳ２１６において、記録制御部５８は、撮像制御部５４からの撮像画像と、距離情報取得部５５からの距離情報を、測距イメージセンサ５１ｂの画素単位で対応付けた上に、ズーム情報を対応付けて記録部５９に記録させる。
ステップＳ２１７において、入力制御部５３は、図示せぬモード切り替えボタンとしての入力部５２に対して、ユーザによる押下操作がされ、撮像モードの終了が指示されたか否かを判定する。
ステップＳ２１７において、撮像モードの終了が指示されていないと判定された場合、処理はステップＳ２１１に戻り、ステップＳ２１１乃至Ｓ２１７の処理が繰り返される。
一方、ステップＳ２１７において、撮像モードの終了が指示されたと判定された場合、処理はステップＳ２１８に進む。
ステップＳ２１８において、記録制御部５８は、記録部５９から、ステップＳ２１１乃至Ｓ２１６の処理によって撮像され、記録部５９に記録されている撮像画像のうちの、時間的に最も先に記録された撮像画像と、その撮像画像に対応付けられている距離情報およびズーム情報とを読み出す。記録制御部５８は、読み出した撮像画像、距離情報、およびズーム情報のうちの、撮像画像を表示制御部５６に供給するとともに、撮像画像、距離情報、およびズーム情報をぼけ補正部２３２に供給する。
ステップＳ２１９において、表示制御部５６は、記録制御部５８からの撮影画像を表示部５７に表示させる。ここで、記録制御部５８からの撮影画像は、上述したようにFull HDサイズの画像であるので、表示制御部５６は、記録制御部５８からの撮像画像を、表示部５７に表示可能なVGAサイズの画像に解像度変換して表示部５７に表示させる。
ステップＳ２２０において、入力制御部５３は、解像度変換されて表示部５７に表示されている表示用撮像画像における所定の被写体が、ユーザによって選択されたか否かを、表示部５７に重畳して設けられているタッチパネルとしての入力部５２からの操作信号に基づいて判定する。
ステップＳ２２０において、表示用撮像画像における被写体が選択されていないと判定された場合、表示撮像画像における所定の被写体が選択されたと判定されるまで、ステップＳ２２０の処理が繰り返される。
一方、ステップＳ２２０において、表示用撮像画像における被写体が選択されたと判定された場合、入力制御部５３は、タッチパネルとしての入力部５２からの操作信号に含まれる、表示用撮像画像上でユーザにより選択された被写体部分に対応する領域（ブロック）を表す撮像画像上の座標を表す座標情報をぼけ補正部２３２に供給する。
ステップＳ２２１において、ぼけ補正部２３２は、入力制御部５３からの座標情報で表わされる座標に対応する、記録制御部５８からの距離情報、すなわち、ユーザにより選択された被写体部分の距離情報、および、記録制御部５８からのズーム情報に対応するズームレンズ２３４の結像特性に基づいて、記録制御部５８からの撮像画像に対してぼけ補正する。
具体的には、まず、ぼけ補正部２３２は、記録制御部５８からのズーム情報に対応するぼけ補正データをぼけ補正データ記憶部２３３から読み出す。ぼけ補正データ記憶部２３３に記憶されているぼけ補正データは、具体的には、例えば、予め用意されている、所定のレンズ位置毎のズームレンズ２３４のPSFを表すデータ（PSFデータ）である。すなわち、ここでは、ズーム情報で表わされるズーム倍率を実現するズームレンズ２３４のレンズ位置に対応するPSFデータが読み出される。
なお、PSFデータは、連続するレンズ位置（ズーム倍率）に対して用意される必要はなく、飛び飛びのズーム倍率に対して用意されていればよい。仮に、ズーム情報で表わされるズーム倍率に対応するPSFデータが、ぼけ補正データとして用意されていない場合には、用意されているズーム倍率を線形補間するなどして、対応するPSFデータを求めるようにすることができる。
そして、ぼけ補正部２３２は、撮像画像に対して、ぼけ補正データ記憶部２３３から読み出したPSFデータで表わされるPSFであって、表示用撮像画像において表示部５７上でユーザにタッチ（選択）された領域に対応する撮像画像上の選択領域の距離情報（被写体距離）に応じたPSFを用いてデコンボリューションを行うことで、ぼけ補正を行う。ぼけ補正部２３２は、ぼけ補正した撮像画像を記録制御部５８に供給する。
ステップＳ２２２において、記録制御部５８は、ぼけ補正部２３２からのぼけ補正された撮像画像を記録部５９に記録させる。
ステップＳ２２３において、記録制御部５８は、ステップＳ２１１乃至Ｓ２１６の処理により撮像され、記録された全ての撮像画像に対して、ぼけ補正の処理が行われたか否かを判定する。
ステップＳ２２３において、全ての撮像画像に対して処理されていないと判定された場合、処理はステップＳ２１８に戻り、撮像画像において撮像された順に、以降の処理が繰り返される。
一方、ステップＳ２２３において、全ての撮像画像に対して処理されたと判定された場合、処理は終了する。
以上の処理によれば、被写体との距離を表す距離情報に対応付けられた撮像画像において、所定の被写体が選択され、選択された被写体部分の距離情報およびズームレンズのズーム情報に対応するズームレンズの結像特性に基づいて、撮像画像に対してぼけ補正されるようになる。すなわち、撮像画像において選択された被写体（ピントを合わせたい被写体）との距離が、距離情報として予めわかっているおり、また、ズームレンズのズーム情報（ズーム倍率）に対応するPSFが予め用意されているので、全ての被写体距離に応じたPSFを用いて、被写体距離毎に、撮像画像に対してデコンボリューションを行う必要なく、ぼけ補正を行うことができる。結果として、ズームレンズを備えた撮像装置においても、オートフォーカスを行う等、ピント合わせをすることなく、より少ない演算量で、ピントが合った画像を得ることが可能となる。
以上においては、単眼のレンズを備える撮像装置において、TOF（Time Of Flight）法を用いて測距イメージセンサ５１ｂ（測距イメージセンサ３２）により、被写体との距離を求めるようにしたが、この構成に限らず、他の構成を用いて被写体との距離を求めるようにしてもよい。
例えば、右レンズおよび左レンズ（２眼のレンズ）を備え、それぞれのレンズの光軸が平行となるような撮像装置においては、被写体を撮像装置の中央（２つの光軸の中央）に位置するようにし、それぞれのレンズにより結像される被写体の位置の差異に基づいて、被写体との距離を求めることができる。
また、以上においては、撮像装置は、静止画像を撮像するデジタルスチルカメラとして構成されるものとして説明したが、動画像を撮像するデジタルビデオカメラ等として構成されるようにしてもよい。この場合、被写体が選択された時刻に対応する撮像画像にぼけ補正されるようになる。
さらに、以上においては、撮像装置に設けられる光学系３１は、レンズ３１ａより入射される被写体の光に対応する像の焦点位置の調整を不要とするものとしたが、撮像装置の動作モードとして、焦点位置の調整を不要とする第１のモードと、いわゆるオートフォーカスを行う第２のモードとを設け、これらが切り替えられるようにしてもよい。この場合、上述で説明した撮像処理は、撮像装置の動作モードが第１のモードである場合に実行される。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１１ 撮像装置， ５１ 撮像部， ５１ａ レンズ， ５１ｂ 測距イメージセンサ， ５４ 撮像制御部， ５５ 距離情報取得部， ５６ 表示制御部， ５７ 表示部， ５８ 記録制御部， ５９ 記録部， ６０ ぼけ補正部， １１１ 撮像装置， １５１ 合焦画像作成部， １５２ 記録制御部， ２１１ 撮像装置， ２３１ ズーム情報取得部， ２３２ ぼけ補正部， ２３３ ぼけ補正データ記憶部， ２３４ ズームレンズ

Claims (12)

  1. レンズより入射される被写体の光に対応する像を結像する光学系と、
    前記レンズより入射される前記被写体の光に対応する信号を撮像画像として出力する撮像素子と、
    前記被写体との距離を取得する取得手段と、
    前記取得手段により取得された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像素子により出力される前記撮像画像に対してぼけ補正する補正手段と
    を備える撮像装置。
  2. 前記撮像画像を表示する表示手段と、
    ユーザの操作に基づいて、前記表示手段により表示される前記撮像画像における前記被写体を選択する選択手段とをさらに備え、
    前記補正手段は、前記取得手段により取得された前記被写体との距離のうちの、前記選択手段により選択された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像画像に対してぼけ補正する
    請求項１に記載の撮像装置。
  3. 前記表示手段は、前記撮像素子に対して画素加算または間引き読み出しを行って得られる、リアルタイムな画像であるスルー画像を表示し、
    前記選択手段は、ユーザの操作に基づいて、前記スルー画像における前記被写体を選択し、
    前記取得手段は、前記選択手段により前記スルー画像において前記被写体が選択されたときの、前記被写体との距離を取得し、
    前記補正手段は、前記取得手段により取得された前記被写体との距離のうちの、前記選択手段により前記スルー画像において選択された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像画像に対してぼけ補正する
    請求項２に記載の撮像装置。
  4. 前記スルー画像から、前記選択手段により前記スルー画像において選択された前記被写体に合焦された合焦スルー画像を作成する作成手段をさらに備え、
    前記表示手段は、前記作成手段により作成された前記合焦スルー画像を表示する
    請求項３に記載の撮像装置。
  5. 前記撮像素子は、前記レンズより入射される前記被写体の光に対応する前記信号の一部を前記被写体との距離を表す距離情報として出力し、
    前記取得手段は、前記撮像素子により出力される前記距離情報に基づいて、前記被写体との距離を取得する
    請求項１に記載の撮像装置。
  6. 前記レンズは、無限遠または遠景に合焦する単焦点レンズである
    請求項１に記載の撮像装置。
  7. 前記レンズは、ズームレンズであり、
    前記補正手段は、予め得られた前記光学系の結像特性であって、前記取得手段により取得された前記被写体との距離、および、前記ズームレンズのズーム状態に対応する前記光学系の結像特性に基づいて、前記撮像画像に対してぼけ補正する
    請求項１に記載の撮像装置。
  8. 前記補正手段は、前記取得手段により取得された前記被写体との距離に対応する、前記光学系についての点像強度分布に基づいて、前記撮像画像に対してぼけ補正する
    請求項１に記載の撮像装置。
  9. 前記補正手段は、前記取得手段により取得された前記被写体との距離に対応する、前記光学系についての線像強度分布に基づいて、前記撮像画像に対してぼけ補正する
    請求項１に記載の撮像装置。
  10. 前記補正手段は、前記取得手段により取得された前記被写体との距離に対応する、前記光学系についての光学伝達関数に基づいて、前記撮像画像に対してぼけ補正する
    請求項１に記載の撮像装置。
  11. レンズより入射される被写体の光に対応する像を結像する光学系と、
    前記レンズより入射される前記被写体の光に対応する信号を撮像画像として出力する撮像素子と、
    前記被写体との距離を取得する取得手段と、
    前記取得手段により取得された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像素子により出力される前記撮像画像に対してぼけ補正する補正手段とを備える撮像装置の撮像方法において、
    前記取得手段が、前記被写体との距離を取得する取得ステップと、
    前記補正手段が、前記取得ステップの処理により取得された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像素子により出力される前記撮像画像に対してぼけ補正する補正ステップと
    を含む撮像方法。
  12. レンズより入射される被写体の光に対応する像を結像する光学系と、前記レンズより入射される前記被写体の光に対応する信号を撮像画像として出力する撮像素子とを備える撮像装置の撮像処理をコンピュータに実行させるプログラムにおいて、
    前記被写体との距離の取得を制御する取得制御ステップと、
    前記取得制御ステップの処理により取得された前記被写体との距離に対応する前記光学系の結像特性に基づいて、前記撮像素子により出力される前記撮像画像に対してぼけ補正する補正ステップと
    を含む処理をコンピュータに実行させるプログラム。
JP2010189302A 2010-08-26 2010-08-26 撮像装置および方法、並びにプログラム Withdrawn JP2012049773A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010189302A JP2012049773A (ja) 2010-08-26 2010-08-26 撮像装置および方法、並びにプログラム
US13/183,636 US8854532B2 (en) 2010-08-26 2011-07-15 Imaging apparatus, imaging method, and program
TW100126241A TWI471004B (zh) 2010-08-26 2011-07-25 成像裝置、成像方法及程式
CN201110236738.4A CN102387301B (zh) 2010-08-26 2011-08-18 成像设备和成像方法
KR1020110082185A KR20120020054A (ko) 2010-08-26 2011-08-18 촬상 장치, 촬상 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010189302A JP2012049773A (ja) 2010-08-26 2010-08-26 撮像装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2012049773A true JP2012049773A (ja) 2012-03-08

Family

ID=45696754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010189302A Withdrawn JP2012049773A (ja) 2010-08-26 2010-08-26 撮像装置および方法、並びにプログラム

Country Status (4)

Country Link
US (1) US8854532B2 (ja)
JP (1) JP2012049773A (ja)
KR (1) KR20120020054A (ja)
TW (1) TWI471004B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5889010B2 (ja) * 2012-01-31 2016-03-22 キヤノン株式会社 撮像装置およびその制御方法
TW201336300A (zh) * 2012-02-23 2013-09-01 Hon Hai Prec Ind Co Ltd 自動對焦成像模組
DE102012103339A1 (de) * 2012-04-17 2013-10-17 Philippe Vogt Verfahren und Vorrichtung zur Bestimmung der Tiefenschärfe für eine bestimmte Distanz mittels einer Mess-Optik
KR102040152B1 (ko) 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US9288459B2 (en) * 2013-06-17 2016-03-15 Carlos Francisco Luizetto Pinto Real-time correction/calibration system for the color spectrum contained on an image output (transmitted) from an image capture and output macro-system, according to a previously defined color spectrum reference
CN105453540B (zh) * 2013-08-02 2018-08-21 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法
JP6210824B2 (ja) * 2013-10-02 2017-10-11 オリンパス株式会社 焦点調節装置および焦点調節方法
WO2015166714A1 (ja) * 2014-05-02 2015-11-05 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
FR3035759A1 (fr) * 2015-04-28 2016-11-04 Commissariat Energie Atomique Capteur d'images a codage temporel
KR102618542B1 (ko) 2016-09-07 2023-12-27 삼성전자주식회사 ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
WO2018198680A1 (ja) * 2017-04-27 2018-11-01 三菱電機株式会社 画像読み取り装置
US10715731B1 (en) * 2018-12-20 2020-07-14 Qualcomm Incorporated Image stabilization in zoom mode
RU2770153C1 (ru) * 2021-06-15 2022-04-14 Самсунг Электроникс Ко., Лтд. Способ корректировки ошибки измерения глубины tof-камеры

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06122847A (ja) 1991-01-24 1994-05-06 Tonen Chem Corp ソルダ−レジストインク
JP3381233B2 (ja) * 1999-12-08 2003-02-24 ソニー株式会社 オートフォーカス装置及びフォーカス調整方法
JP4854579B2 (ja) * 2007-04-20 2012-01-18 三洋電機株式会社 ぶれ補正装置及びぶれ補正方法ならびにぶれ補正装置を備えた電子機器や、画像ファイル及び画像ファイル作成装置
JP5109803B2 (ja) * 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5278854B2 (ja) * 2007-12-10 2013-09-04 富士フイルム株式会社 画像処理システムおよびプログラム
JP5317891B2 (ja) * 2009-08-19 2013-10-16 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP5495683B2 (ja) * 2009-09-10 2014-05-21 キヤノン株式会社 撮像装置および測距方法
US8542348B2 (en) * 2010-11-03 2013-09-24 Rockwell Automation Technologies, Inc. Color sensor insensitive to distance variations

Also Published As

Publication number Publication date
US8854532B2 (en) 2014-10-07
US20120050580A1 (en) 2012-03-01
KR20120020054A (ko) 2012-03-07
CN102387301A (zh) 2012-03-21
TWI471004B (zh) 2015-01-21
TW201220830A (en) 2012-05-16

Similar Documents

Publication Publication Date Title
JP2012049773A (ja) 撮像装置および方法、並びにプログラム
JP4524717B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5705270B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
US20120293706A1 (en) Image pickup device, digital photographing apparatus using the image pickup device, auto-focusing method, and computer-readable medium for performing the auto-focusing method
US8648961B2 (en) Image capturing apparatus and image capturing method
US10602051B2 (en) Imaging apparatus, control method, and non-transitory storage medium
JP2010271670A (ja) 撮像装置
US8872963B2 (en) Imaging apparatus and imaging method
JP2018107526A (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2016133674A (ja) フォーカス制御装置及びその方法、プログラム、記憶媒体
JP2015019354A (ja) 撮像装置、画像処理装置、および、これらの制御方法
JP6700818B2 (ja) 画像処理装置、撮像装置、および画像処理方法
JP6608194B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
JP2009047734A (ja) 撮像装置及び画像処理プログラム
WO2019202984A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
JP2010134309A (ja) オートフォーカス装置、オートフォーカス方法及び撮像装置
JP5901780B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP2017163412A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
US10447937B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area
JP2009047735A (ja) 撮像装置及び画像処理プログラム
JP2016142924A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015152830A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
CN106464783B (zh) 图像拾取控制设备、图像拾取设备和图像拾取控制方法
JP6071748B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20131105