JP2014027605A - 撮像装置及びその画像合成方法、画像合成プログラム - Google Patents

Abstract

【課題】背景に対してピントの合っていない状態で撮影することによって被写体の背景をぼかして被写体を強調できる画像を少ない画像処理量で実現すること。
【解決手段】被写体からの光像を撮像して第１の画像を取得する撮像部と、被写体からの光像を絞る絞りと、被写体に対してフォーカスするためのフォーカスレンズと、撮像部により取得された第１の画像を表示する表示部と、表示部の表示画面上に設けられたタッチパネルと、タッチパネルに対するタッチ位置に対応するタッチ範囲における被写体に対する距離とフォーカスとに関する情報に基づいて絞りを動作又はフォーカスレンズを駆動して被写体に対してフォーカスをずらした第２の画像を取得するフォーカスずれ画像取得部と、撮像部により取得された被写体にフォーカスされた第１の画像とフォーカスずれ画像取得部により取得された第２の画像とを合成する画像合成部とを具備する撮像装置である。
【選択図】図１

Description

本発明は、被写体の背景をぼかして被写体を強調する機能を有する撮像装置及びその画像合成方法、画像合成プログラムに関する。

デジタルカメラ等の撮像装置では、被写体を強調するためにその背景をぼやかす機能を有する。かかる撮像装置としては、例えば特許文献１に開示されている技術がある。この特許文献１は、スルー画を確認しながらタッチパネルにタッチすることで背景領域のうちぼかしたい領域を選択し、この選択された領域の画像に対して移動平均フィルタやメディアンフィルタを用いたフィルタリング処理などの平滑化処理を行い、背景領域がピントの合っていない状態で撮影された画像と同等のピンぼけ画像を生成することを開示する。

特開２００８−７９１９３号公報

しかしながら、特許文献１は、ピンぼけ画像を生成するために、選択された領域の画像に対して移動平均フィルタやメディアンフィルタを用いたフィルタリング処理などの平滑化処理を行わなければならず、光学系の特性を活かした自然なぼけを味わうことができなかった。

本発明の目的は、光学系を実際に使って背景に対してピントの合っていない状態で撮影することによって被写体の背景をぼかして被写体を強調できる画像を使用する撮影レンズの特性や好みに応じて実現できる撮像装置及びその画像合成方法、画像合成プログラムを提供することにある。

本発明の主要な局面に係る撮像装置は、被写体からの光像を撮像して第１の画像を取得する撮像部と、前記被写体からの光像を絞る絞りと、前記被写体に対してフォーカスするためのフォーカスレンズと、前記撮像部により取得された前記第１の画像を表示する表示部と、前記表示部の表示画面上に設けられたタッチパネルと、前記タッチパネルに対するタッチ位置に対応するタッチ範囲における前記被写体に対する距離とフォーカスとに関する情報に基づいて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした第２の画像を取得するフォーカスずれ画像取得部と、前記撮像部により取得された前記被写体にフォーカスされた前記第１の画像と前記フォーカスずれ画像取得部により取得された前記第２の画像とを合成する画像合成部とを具備する。

本発明の主要な局面に係る撮像装置の画像合成方法は、被写体からの光像を撮像して第１の画像を取得する撮像部と、前記被写体からの光像を絞る絞りと、前記被写体に対してフォーカスするためのフォーカスレンズと、前記撮像部により取得された前記第１の画像を表示する表示部と、前記表示部の表示画面上に設けられたタッチパネルとを備え、コンピュータの処理によって画像を合成する画像合成方法において、前記タッチパネルに対するタッチ位置に対応するタッチ範囲における前記被写体との距離とフォーカスとに関する情報に基づいて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした第２の画像を取得し、前記撮像部により取得された前記被写体にフォーカスされた前記第１の画像と前記フォーカスをずらした前記第２の画像とを合成する。

本発明の主要な局面に係る撮像装置の画像合成プログラムは、被写体からの光像を撮像して第１の画像を取得する撮像部と、前記被写体からの光像を絞る絞りと、前記被写体に対してフォーカスするためのフォーカスレンズと、前記撮像部により取得された前記第１の画像を表示する表示部と、前記表示部の表示画面上に設けられたタッチパネルとを備えた撮像装置のコンピュータに、前記タッチパネルに対するタッチ位置に対応するタッチ範囲における前記被写体との距離とフォーカスとに関する情報に基づいて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした第２の画像を取得するフォーカスずれ画像取得機能と、前記撮像部により取得された前記被写体にフォーカスされた前記第１の画像と前記フォーカスずれ画像取得機能により取得された前記第２の画像とを合成する画像合成機能とを実現する。

本発明によれば、背景に対してピントの合っていない状態で撮影することによって、撮影光学系の特性を活かし、被写体の背景をぼかして被写体を強調できる画像を少ない画像処理量で実現できる撮像装置及びその画像合成方法、画像合成プログラムを提供できる。

本発明に係る撮像装置の第１の実施の形態を示す構成図。 同装置の背面モニタに表示されるボケモードボタンを示す図。 同装置においてユーザが指等をタッチパネルに対して擦りながら移動させたタッチ範囲を示す図。 同装置により取得されたピントが合っている主要被写体の画像とその背景で光学的にピントがずれている画像との合成画像を示す図。 同装置における画像合成処理フローチャート。 本発明に係る撮像装置の第２の実施の形態を示す構成図。 同装置のボケ画像取得部によりコントラストマップを作成するときの表示画面上のエリアを示す図。 同装置のボケ画像取得部により作成されるコントラストマップを示す模式図。 同装置における画像合成処理フローチャート。 同装置におけるぼかし処理フローチャート。 同装置における強調処理フローチャート。 同装置を使用してユーザが背面モニタの表示画面上のタッチパネルにタッチしてタッチ範囲を指示する状況を示す図。 同装置を使用してＥＶＦをユーザが覗いた状態でタッチパネルにタッチしてタッチ範囲を指示する状態を示す図。

［第１の実施の形態］
以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は撮像装置の機能ブロック図を示す。本装置ＣＡは、カメラ本体１０と、このカメラ本体１０に対して着脱可能な交換レンズ部２０とからなる。なお、本装置ＣＡは、コンパクトカメラや、撮像機能付きの携帯機器等に適用可能である。

交換レンズ部２０は、レンズ系２６を備える。このレンズ系２６は、主要被写体を含む被写体からの被写体像をカメラ本体１０の撮像素子２に送るもので、ズーム部２６ａと、ピント部２６ｂと、絞り部２６ｃとを有する。このレンズ系２６には、ズーム部２６ａを駆動する駆動部２４ａと、ピント部２６ｂを駆動する駆動部２４ｂと、絞り部２６ｃを駆動する駆動部２４ｃとが設けられている。ズーム部２６ａは、ズームレンズを有し、駆動部２４ａの駆動を受けてズームレンズをレンズ系２６の光軸方向に駆動する。ピント部２６ｂは、ピント調整用レンズすなわちフォーカスレンズを有し、駆動部２４ｂの駆動を受けてフォーカスレンズをレンズ系２６の光軸方向に駆動する。この駆動部２４ｂは、ウォブリング動作によってフォーカスレンズをレンズ系２６の光軸方向に駆動する。絞り部２６ｃは、駆動部２４ｃの駆動を受けて絞りの大きさを可変することにより被写体像の明るさを調整する。また、これによって、被写界深度や、ピントの合っていない部分のボケ具合などを調整することが可能である。

レンズ系２６には、各位置検出器２５ａ、２５ｂ、２５ｃが設けられている。位置検出部２５ａは、ズーム部２６ａのズームレンズの光軸方向における位置を検出する。位置検出部２５ｂは、ピント部２６ｂのフォーカスレンズの光軸方向における位置を検出する。位置検出部２５ｃは、絞り部２６ｃの位置すなわち絞りの大きさを検出する。

交換レンズ部２０には、操作リング部２３が交換レンズ部２０の外周に設けられている。この操作リング部２３は、リング状に形成された複数のリングを有し、それぞれユ―ザのマニュアル操作を受けてズーム部２６ａのズームレンズや、ピント部２６ｂのフォーカスレンズを光軸方向に駆動したり、絞り部２６ｃの開口の大きさを調整する。この操作リング部２３には、スライド操作判定部２３ａと、回転操作判定部２３ｂとが接続されている。スライド操作判定部２３ａは、操作リング部２３のスライド操作を判定する。回転操作判定部２３ｂは、操作リング部２３の回転操作を判定する。
交換レンズ部２０には、記録部２７が設けられている。この記録部２７は、交換レンズ部２０を動作制御するための制御パラメータなどが予め記憶されている。

レンズ制御部２１は、カメラ本体１０の信号処理制御部１からのレンズ制御指示を受けると、このレンズ制御指示と記録部２７に記憶されている制御パラメータとに従って各駆動部２４ａ、２４ｂを駆動制御し、レンズ系２６におけるズーム部２６ａやピント部２６ｂ、絞り部２６ｃを駆動制御する。
このレンズ制御部２１は、ズーム部２６ａやピント部２６ｂ、絞り部２６ｃを駆動制御するとき、位置検出部２５ａにより検出されたズームレンズの位置情報に基づいて駆動部２４ａを駆動し、所望倍率のズーム像が得られるようにレンズ系２６におけるズームレンズの位置を制御し、かつ位置検出部２５ｂにより検出されたフォーカスレンズの位置情報に基づいて駆動部２４ｂを駆動し、被写体に対してピントが合うようにフォーカスレンズの位置を制御する。
このレンズ制御部２１は、通信部２２とカメラ本体１０の通信部１２とを通してカメラ本体１０の信号処理制御部１との間で、例えばカメラ本体１０から交換レンズ部２０へのレンズ制御指示や、交換レンズ部２０からカメラ本体１０へのレンズ制御指示に対する応答などの通信を行う。このような構成によって、レンズ各部位を制御し、自動や手動で、画角、ピント合わせ、被写界深度や露出などが調整できる。カメラ愛好家は、個々のレンズのボケ味や階調や色の描写力などの持ち味を楽しみたいがために、良いレンズを使って撮影を楽しみたいと考えているので、極力、このレンズの特性を活かした機能が駆使できるようなスペックが重要である。ぼかし効果も、画像処理によるものより階調情報を多くて滑らかな表現が出来る。

カメラ本体１０は、コンピュータから成る信号処理制御部１を搭載する。この信号処理制御部１には、撮像素子２と、アイセンサ（接眼センサ）３と、接眼式の電子ビューファインダ（ＥＶＦ）である接眼表示部（以下、ＥＶＦと称する）４と、操作部５と、マイクロフォン６と、記録部７と、液晶ディスプレイ（ＬＣＤ）から成る表示部（以下、背面モニタと称する）８と、タッチパネル９と、時計部１１と、通信部１２とを有する。

撮像素子２は、レンズ系２６を介して入射する被写体像を受光し、この被写体像に応じた画像信号を出力する。この撮像素子２は、受光面を有し、この受光面にレンズ系２６を介して集光された被写体からの光束が結像される。この撮像素子２の受光面は、複数の画素を２次元状に配置して成る。この撮像素子２の受光面の光入射側には、カラーフィルタが設けられている。この撮像素子２は、受光面に結像された光束に対応した被写体像をその光量に応じた電気信号に変換する。この撮像素子２は、例えばＣＣＤ方式又はＣＭＯＳ方式等の種々の構成のものが知られている。カラーフィルタの色配列は、例えばベイヤ配列等の種々の配列が知られている。この撮像素子２は、その構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。この撮像素子２は、露出時間を電子的に制御する電子シャッタ機能を有する。なお、カメラ本体１０に機械式のシャッタを持たせれば、この機械式のシャッタを用いて撮像素子２の露出時間を制御することができる。この撮像素子２及びレンズ系２６は、被写体を撮像して静止画又は動画データを取得する撮像部Ｐを構成する。

記録部７は、例えば、ＦlashＲＯＭ、ＲＡＭ、又は例えばメモリカードを有する。Ｆlash ＲＯＭは、書き換え可能な不揮発性メモリで、例えばレンズ系２６を動作制御するための制御パラメータ及び制御プログラムや、撮像、再生、操作、表示などのカメラ動作全般を司るプログラムが予め格納されている。このＦlash ＲＯＭには、ユーザ設定内容も記憶されている。このＦlash ＲＯＭには、静止画データや動画データが記憶され、当該Ｆlash ＲＯＭから静止画データ又は動画データを読み出して再生表示が背面モニタ８に行われるようにしてもよい。

このＦlashＲＯＭには、被写体の背景をぼかして被写体を強調するために画像合成処理を行う画像合成プログラムが記憶されている。この画像合成プログラムは、コンピュータから成る信号処理制御部１に、タッチパネル９に対するタッチ位置に対応するタッチ範囲における被写体に対する距離とフォーカスとに関する情報に基づいて絞り部２６ｃを動作又はピント部２６ｃのフォーカスレンズを駆動して被写体に対してフォーカスをずらしたボケ画像を取得するフォーカスずれ画像取得機能と、撮像部Ｐにより取得された被写体にフォーカスされた画像（第１の画像）とフォーカスずれ画像取得機能により取得されたボケ画像（第２の画像）とを合成する画像合成機能とを実現する。
フォーカスずれ画像取得機能は、ピント部２６ｃのフォーカスレンズをウォブリング動作して被写体との距離を判定し、この距離に応じて絞り部２６ｃを動作又はピント部２６ｃのフォーカスレンズを駆動して被写体に対してフォーカスをずらしたボケ画像を取得することを実現とする。このような構成によって、撮影レンズの特性を活かしたぼかし効果を楽しめる。これによってレンズ本来の描写力を引き立てた表現が出来る。
なお、画像合成プログラムは、ぼかし効果を持たせた撮影結果部分を、ぼかしなしの撮影結果にはめ込むもので、境界部は平滑化処理などを適宜行うものであり、ＦlashＲＯＭに予め記録し、このＦlashＲＯＭを本装置ＣＡの製造工程中に本装置ＣＡに組み込んでもよいし、本装置ＣＡの製造後にＦlashＲＯＭに記録してもよい。

記録部７のＲＡＭは、揮発メモリであり、静止画データや動画データの一時的格納や、画像処理のワーク領域として用いられる。記録部７のメモリカードには、撮影後の静止画データ（ＪＰＥＧ等）や動画データが記録される。このメモリカードからは、静止画データ又は動画データが読み出されて再生表示が行われる。さらに、記録部７のＲＡＭは、ＦlashＲＯＭなどから読み込んだデータを展開するために使用される。
アイセンサ３は、本装置ＣＡの背面に設けられ、ＥＶＦ４に対してユーザがファインダを覗いているか否かを判定する。

操作部５は、ユーザによって手動操作される各種の操作部材を備え、マニュアルでレンズ系２６に対するズーム操作や、被写体に対するピント調整、被写体の明るさを調整する絞り部２６ｃの操作等を行うための操作部材、さらにレリーズボタン、動画釦、モードダイヤル、選択キー、電源釦等を備える。レリーズボタンは、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチとを有する。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンする。１ｓｔレリーズスイッチがオンすることにより、信号処理制御部１は、ＡＦ処理等の撮影準備動作を行う。２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンする。２ｎｄレリーズスイッチがオンすることにより、信号処理制御部１は、静止画撮影用の露光動作を行う。動画釦は、動画撮影の開始又は終了を指示するための操作部材である。モードダイヤルは、カメラ本体１０の撮影設定を選択するための操作部材であって、例えば撮影モード、再生モード、ボケモード等を有する。選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。電源釦は、カメラ本体１０の電源をオン又はオフするための操作部材である。

背面モニタ８は、カメラ本体１０の背面に設けられ、例えばＬＣＤとそのＬＣＤ駆動部とを有する。この背面モニタ８は、ライブビュー用の画像及び記録部７に記録された静止画データや動画データを表示する。この背面モニタ８の表示画面上には、タッチパネル９が一体的に設けられている。
このタッチパネル９は、ユーザの指等の接触（タッチ）を検出し、このタッチ位置を示す座標を含む接触信号を出力する。信号処理制御部１は、タッチパネル９を駆動すると共に、タッチパネル９からの接触信号を入力し、この接触信号からユーザの背面モニタ８の表示画面上に対するタッチ範囲を検出する。
信号処理制御部１は、記録部７に記録されている制御パラメータ及びレンズ制御プログラムを実行することにより、レンズ系２６におけるズームレンズやピント調整用レンズ、絞り部２６ｃ等を駆動する各駆動部２４ａ、２４ｂ、２４ｃを駆動制御するためのレンズ制御指示を各通信部１２、２２を通して交換レンズ部２０のレンズ制御部２１に送る。
信号処理制御部１は、静止画又は動画の撮像時に、撮像部Ｐの撮像素子２から出力される画像信号を入力し、この画像信号に対して各種画像処理を行い、静止画又は動画データを取得し、かつ当該静止画又は動画を撮像する際に、コントラストＡＦ（オートフォーカス）処理やＡＥ処理を行う。
コントラストＡＦ処理は、撮像部Ｐの撮像により得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することによりＡＦ用の合焦評価値を取得し、この合焦評価値に従って画像データのコントラストを評価しながらレンズ系２６のピント調整用レンズを合焦状態となる位置に調整する。
ＡＥ処理は、撮像部Ｐの撮像により得られた画像データを用いて被写体の輝度を算出し、この被写体の輝度に従って露光時の絞り部２６ｃの開口量（絞り値）、撮像素子２の露出時間（電子シャッタスピード）又は機械式シャッタのシャッタスピードを算出する。

信号処理制御部１は、撮像部Ｐの撮像により得られた画像データに対する各種の画像処理、例えば色補正処理、ガンマ（γ）補正処理、圧縮処理、この圧縮されている画像データに対する伸張処理などを行う。又、信号処理制御部１は、スルー画像を背面モニタ８に表示している状態に、ユーザがタッチパネル９に対してタッチ操作すると、交換レンズ部２０のレンズ制御部２１に対してＡＦ指令を発し、レンズ制御部２１によって駆動部２４ｂを駆動させてピント部２６ｂのフォーカスレンズを光軸方向に移動させてＡＦを行う。

この信号処理制御部１は、被写体の背景をぼかして被写体を強調するためにフォーカスずれ画像取得部３０と画像合成部４０とを有する。
フォーカスずれ画像取得部３０は、タッチパネル９に対するタッチ位置に対応するタッチ範囲、すなわちユーザが指等をタッチパネル９に接触して擦りながら移動したタッチ範囲における被写体に対する距離とフォーカスとに関する情報に基づいて絞り部２６ｃを動作又はピント部２６ｂのフォーカスレンズを駆動して被写体中の主要被写体に対してフォーカスをずらした第２の画像すなわちボケ画像を取得するもので、ボケモード設定部３１と、タッチ範囲判定部３２と、距離判定部３３と、ずれ画像取得部３４とを有する。

モード設定部３１は、フォーカスをずらしたボケ画像を取得するためのボケモードに設定する。このモード設定部３１は、操作部５のモードダイヤルの操作、又は図２に示すように背面モニタ８にボケモードボタン４０を表示し、このボケモードボタン４０へのタッチ操作により設定可能である。このボケモードボタン４０は、例えば背面モニタ８に表示されるスルー画像上に重ねられ、例えば主要被写体として花Ｆ１に重ならないコーナ領域に表示される。

タッチ範囲判定部３２は、タッチパネル９に対するタッチから図３に示すようなタッチ範囲Ｍを判定する。すなわち、ユーザが指等をタッチパネル９に対して擦りながら移動させると、タッチパネル９は、当該タッチにより指定されたタッチ範囲Ｍの各座標を含む接触信号を逐次出力する。タッチ範囲判定部３２は、タッチパネル９からの接触信号を逐次入力し、当該接触信号の示す各タッチ位置からタッチ範囲Ｍを認識する。なお、タッチ範囲Ｍは、花Ｆ１等の主要被写体を強調するためにぼかしたい背景の領域になることが多い。

距離判定部３３は、ボケモードが設定されている状態に、ピント部２６ｂのフォーカスレンズをウォブリング動作して花Ｆ１等の主要被写体（基準被写体とも称する）との距離を判定する。距離判定部３３は、フォーカスレンズをウォブリング動作することにより、花Ｆ１等の主要被写体の背景となるタッチ範囲Ｍ内の花Ｆ２に対してピントの合うフォーカスレンズの移動方向を判別し、この移動方向からタッチ範囲Ｍ内の花Ｆ２が花Ｆ１等の主要被写体よりも無限方向に存在するか又は至近方向に存在するかの距離の情報を判定する。
具体的に距離判定部３３は、各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１に対してウォブリング動作の指令を発する。このレンズ制御部２１は、ウォブリング動作の指令を受けて駆動部２４ｂを駆動制御し、ピント部２６ｂのフォーカスレンズをウォブリング動作させる。位置検出部２５ｂは、ウォブリング動作しているフォーカスレンズの光軸方向における位置を検出する。このフォーカスレンズの位置は、レンズ制御部２１よって各通信部１２、２２を介してカメラ本体１０の信号処理制御部１に送られる。この信号処理制御部１の距離判定部３３は、フォーカスレンズの位置から花Ｆ１等の主要被写体の背景となるタッチ範囲Ｍ内の花Ｆ２に対してピントの合うフォーカスレンズの移動方向を判別し、この移動方向からタッチ範囲Ｍ内の花Ｆ２が花Ｆ１等の主要被写体よりも無限方向に存在するか又は至近方向に存在するかの距離の情報を判定する。

ずれ画像取得部３４は、距離判定部３３により判定された距離の情報に応じて絞り部２６ｃを動作又はピント部２６ｂのフォーカスレンズを駆動して花Ｆ１等の主要被写体に対してフォーカスをずらしたボケ画像を取得する。
画像合成部４０は、図４に示すように撮像部Ｐにより取得された花Ｆ１にピントの合っている画像Ｈ１とボケ画像取得部３０により取得されたボケ画像Ｂ２とを合成するもので、画像Ｈ１中におけるタッチ範囲Ｍに対応する領域にボケ画像Ｂ２を合成する。なお、画像Ｈ１とボケ画像Ｂ２とは、構図が略同一でそれぞれ花Ｆ１、Ｆ２を含むもので、このうち画像Ｈ１は、花Ｆ１にピントが合っており、ボケ画像Ｂ２は、背景となる花Ｆ２に対するボケの度合いが強調されている。これら画像Ｈ１とボケ画像Ｂ２との合成では、画像Ｈ１に対してボケ画像Ｂ２を複数枚分重ね合わせてもよい。

次に、上記の如く構成された装置による被写体の背景をぼかして被写体を強調するために画像合成処理について図５に示す画像合成処理フローチャートに従って説明する。
信号処理制御部１は、ステップＳ１０１において、電源がオン（ＯＮ）になったか否かを判定し、電源がオンになったことを判定すると、ステップＳ１０２において、各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１との間でデータ通信を行い、交換レンズ部２０を制御可能な状態にする。なお、電源がオンになっていなければ、信号処理制御部１は、ステップＳ１２６において、スタンバイ状態になる。

信号処理制御部１は、ステップＳ１０３において、操作部５のモードダイヤルの設定状態から撮影モードに設定されているか否かを判定し、この判定の結果、撮影モードに設定されていれば、ステップＳ１０４において、例えば花Ｆ１等の主要被写体を含む被写体を撮像してそのスルー画像を背面モニタ８に表示する。すなわち、撮像素子２は、レンズ系２６を介して入射する被写体像を受光し、この被写体像に応じた画像信号を出力する。信号処理制御部１は、撮像素子２から出力される画像信号を入力し、この画像信号に対して各種画像処理を行ってスルー画像を作成して背面モニタ８に表示する。

信号処理制御部１は、ステップＳ１１１において、図２に示すように背面モニタ８に表示されるボケモードボタン４０へのタッチ操作、又は操作部５のモードダイヤルの設定状態からボケモードに設定されたか否かを判定する。
この判定の結果、ボケモードに設定されていなければ、信号処理制御部１は、ステップＳ１１２において、撮像素子２から出力される画像信号を順次入力し、これら画像信号に対して各種画像処理を行って画像を更新しながらスルー画像を背面モニタ８に表示する。

信号処理制御部１は、ステップＳ１１５において、ユーザによってレリーズボタンが半押し操作されて花Ｆ１等の主要被写体に対してフォーカス（ピント）合わせを行うか否かを判定し、レリーズボタンが半押し操作されると、ステップＳ１１６において、花Ｆ１等の主要被写体に対してフォーカスを行い、続いてステップＳ１１７において、レリーズボタンが全押し操作されて撮影を行うか否かを判定し、レリーズボタンが全押し操作されると、ステップＳ１１８において、静止画撮影用の露光動作等を行って花Ｆ１等の主要被写体を含む被写体の撮影を行う。この信号処理制御部１は、撮影によって取得した静止画データを例えば記録部７のメモリカードに記録する。

一方、ボケモードに設定されていると、信号処理制御部１は、ステップＳ１１１からステップＳ１１３に移り、ここで、ユーザが図３に示すように指等をタッチパネル９に対してタッチを行うと、タッチ範囲Ｍを認識し、その位置に表示されていた被写体をぼかすようにする。このタッチ範囲は、タッチポイントを中心に所定量の広がりを持たせたり、エリア判定してもよい。また、擦りながら移動（スライド移動）させると、タッチパネル９は、当該タッチにより指定されたタッチ範囲Ｍの各座標を含む接触信号を逐次出力する。タッチ範囲判定部３２は、タッチパネル９からの接触信号を逐次入力し、当該接触信号の示す各タッチ位置からタッチ範囲Ｍを認識するようにしても良い。

距離判定部３３は、ピント部２６ｂのフォーカスレンズをウォブリング動作することにより、花Ｆ１等の主要被写体の背景となるタッチ範囲Ｍ内の花Ｆ２に対してピントの合うフォーカスレンズの移動方向を判別し、この移動方向からタッチ範囲Ｍ内の花Ｆ２が花Ｆ１等の主要被写体よりも無限方向に存在するか又は至近方向に存在するかの距離の情報を判定する。

ずれ画像取得部３４は、距離判定部３３により判定された距離の情報に応じて絞り部２６ｃを動作又はピント部２６ｂのフォーカスレンズを駆動して花Ｆ１等の主要被写体に対してフォーカスをずらしたボケ画像を取得する。
画像合成部４０は、図４に示すように撮像部Ｐにより取得された花Ｆ１にピントの合っている画像Ｈ１とボケ画像取得部３０により取得されたボケ画像Ｂ２とを合成するもので、ステップＳ１１４において、画像Ｈ１中におけるタッチ範囲Ｍに対応する領域にボケ画像Ｂ２を合成する。タッチパネルでは、画面内の領域を選べるので、タッチした点に対し、その回りの所定範囲や区分されたエリアをボケ画像Ｂ２に置き換えて行っても良い。また、スライド操作を判定してスライド領域に適当な幅を持たせて、その部分をＢ２に置き換えると、こするなどの操作で、ぼけを画像に付与していくことが出来る。この合成された静止画データは、信号処理制御部１によって例えば記録部７のメモリカードに記録される。

なお、撮影モードに設定されていなければ、信号処理制御部１は、ステップＳ１０３からステップＳ１２１に移り、操作部５のモードダイヤルの設定状態から再生モードに設定されているか否かを判定し、この判定の結果、再生モードに設定されていれば、ステップＳ１２３において、記録部７のＦlash ＲＯＭに記録されている静止画データ又は動画データを読み出して背面モニタ８に再生表示する。
信号処理制御部１は、ステップＳ１２４において、再生表示する静止画データ又は動画データを変更するか否かを判定し、変更の指示があれば、ステップＳ１２５において、変更指示された静止画データ又は動画データを記録部７のＦlash ＲＯＭから読み出して背面モニタ８に再生表示する。記録部７のＦlash ＲＯＭに、上記花Ｆ１にフォーカスの合っている画像Ｈ１とボケ画像Ｂ２との合成画像が記録されていれば、信号処理制御部１は、当該合成画像を読み出して背面モニタ８に再生表示することができる。

このように上記第１の実施の形態によれば、タッチパネル９に対するタッチ位置に対応するタッチ範囲Ｍにおける被写体に対する距離とフォーカスとに関する情報に基づいてピント部２６ｂのフォーカスレンズを駆動してフォーカスをずらしたボケ画像を取得し、花Ｆ１等の主要被写体にフォーカスの合っている画像Ｈ１とボケ画像Ｂ２とを合成するので、花Ｆ１等の主要被写体の背景に対してフォーカスの合っていない状態で撮影することによって花Ｆ１等の主要被写体の背景をぼかして花Ｆ１等の主要被写体を強調できる画像をレンズ本来の持ち味を活かしながら得ることが出来る。ボケ画像Ｂ２は、タッチパネル９に対するタッチで指定できるので、花Ｆ１等の主要被写体を最も強調できる背景の領域に設定できる。１回のタッチで所定量ぼかし、その上からタッチするごとに、ボケが増加していくような方法をとれば、最初は、絞りでぼかし、さらにタッチされれば、ピントシフトでぼかすような方法で、ユーザーの意図を自由に反映させることが可能となる。もちろん、このような考え方で、ぼかす以外に、ピントや絞りで、ぼけていたものをくっきりさせて行く効果を持つカメラへの応用も可能となる。
［第２の実施の形態］
次に、本発明の第２の実施の形態について図面を参照して説明する。なお、図１と同一部分には同一符号を付してその詳しい説明は省略する。
図６は撮像装置の機能ブロック図を示す。ＦlashＲＯＭには、画像合成プログラムが記憶されており、この画像合成プログラムのフォーカスずれ画像取得機能は、第２の画像として光学系の持ち味を活かしながら、被写体を強調した強調画像を取得することを実現とする。
このフォーカスずれ画像取得機能は、ピント部２６ｂのフォーカスレンズをウォブリング動作して被写体との距離に関するフォーカス状態を含む分布を示す距離分布情報を作成し、タッチ範囲Ｍに対応する距離分布情報に基づいて絞り部２６ｃを動作又はピント部２６ｂのフォーカスレンズを駆動して被写体に対してフォーカスをずらしたボケ画像Ｂ２を取得することを実現とする。このような分布を予め持つことによって、どの領域が指定されたら、どのような制御が適切かが判断でき、迅速な制御を行うことが出来る。

フォーカスずれ画像取得部３０は、ピント部２６ｂのフォーカスレンズをウォブリング動作して花Ｆ１等の主要被写体を含む被写体との距離に関するフォーカス状態を含む分布を示す距離分布情報を作成し、タッチ範囲Ｍに対応する距離分布情報に基づいて絞り部２６ｃを動作又はピント部２６ｂのフォーカスレンズを駆動してタッチ範囲Ｍに対してフォーカスをずらしたボケ画像Ｂ２を取得するもので、ボケモード設定部３１と、タッチ範囲判定部３２と、距離分布取得部５０と、ずれ画像取得部３４とを有する。

ボケモード設定部３１は、タッチ範囲Ｍにおいてボケ画像Ｂ２を取得するボケモード、又はタッチ範囲Ｍにおいて強調画像を取得する強調モードのいずれかに設定されているのかを判定する。強調画像は、被写体の像をぼかすボケ画像Ｂ２とは異なり、被写体に対してフォーカスを合わせるものとなり、被写体の像を明瞭にした画像となる。
このモードの判定は、上記同様に図２に示すように背面モニタ８に表示されるボケモードボタン４０上のタッチパネル９へのタッチ操作によってタッチボケモードの設定を判定し、又は操作部５のモードダイヤルの設定状態からタッチボケモード又はタッチ強調モード（以下、ボケモード又は強調モードと省略する）に設定されたか否かを判定する。又、背面モニタ８にスルー画像が表示されている状態に、背面モニタ８上のタッチパネル９に対して例えば２回連続してタッチしたときにボケモードの設定を判定し、例えば３回連続してタッチしたときに強調モードの設定を判定するようにしてもよい。

ボケモード又は強調モードの設定は、背面モニタ８にスルー画像が表示されている状態に、背面モニタ８上のタッチパネル９に対して例えば１回タッチしたときに撮像動作を行う場合と動作区別するために、タッチパネル９に対して例えば２回又は３回連続してタッチしてボケモード又は強調モードの設定を行っており、他の方式を用いてもよい。

ところで、撮像装置では、タッチパネル９に対してタッチしたときにＡＦを行うように設定されているが、本装置でもタッチパネル９に対してタッチしたときにＡＦ動作を行うように設定してもよい。この場合、ボケモード設定部３１によってボケモード又は強調モードが設定されていると、タッチパネル９に対するタッチによりＡＦを行わないように設定される。

距離分布取得部５０は、距離分布情報として、撮像部Ｐの撮影により取得された画像を複数のエリア、例えば図７に示すように各エリアＡ〜Ｉに分割し、これらエリアＡ〜Ｉ毎にそれぞれ花Ｆ１等の主要被写体に対する合焦状態と、コントランスの有無の情報と、絞り部２６ｃを変化したときのコントランスの有無の情報と、被写体に対するフォーカスの遠近の情報とを含む図８に示すようなコントラストマップＣＭを作成する。なお、画像の各エリアＡ〜Ｉは、画像を例えば９つに等分しているが、これに限らず、他の分割の仕方により分割してもよい。

コントラストマップＣＭは、距離分布取得部５０によって、ピント部２６ｂのフォーカスレンズをウォブリング動作してコントラストを取得し、かつ絞り部２６ｃを絞り動作してコントラストを取得することにより作成する。このコントラストマップＣＭは、例えば記録部７のＲＡＭに記録される。

このコントラストマップＣＭは、図８に示すように、エリアＡ〜Ｉ毎にフォーカスしているか否かの合焦情報ＦＤと、コントラストの情報ＣＤと、絞り部２６ｃの絞り動作及びフォーカスの遠近に関する絞り・フォーカス情報ＴＤとを有する。
具体的に合焦情報ＦＤは、エリアＡ〜Ｉ毎に、フォーカスしていれば符号「○」を記載し、フォーカスしていなければ符号「×」を記載する。コントラストの情報ＣＤは、エリアＡ〜Ｉ毎に、ピント部２６ｂのフォーカスレンズ又は絞り部２６ｃの絞りを変えたときに、コントラストがあれば符号「○」を記載し、コントラストがなければ符号「×」を記載する。絞り・フォーカス情報ＴＤは、絞りに対する情報と、フォーカスに対する情報とを有する。絞りに対する情報は、絞り部２６ｃの絞りを変えたときにコントラストがあれば符号「○」を記載し、コントラストがなければ符号「×」を記載する。フォーカスに対する情報は、ピント部２６ｂのフォーカスレンズを無限方向（遠）又は至近方向（近）に駆動したときにコントラストがあれば符号「○」を記載し、コントラストがなければ符号「×」を記載する。

ずれ画像取得部５１は、タッチパネル８に対するタッチ位置に対応するタッチ範囲ＭとコントラストマップＣＭとを比較し、当該比較結果に基づいて絞り部２６ｃを動作又はピント部２６ｂのフォーカスレンズを駆動してタッチ範囲Ｍに対してフォーカスをずらしたボケ画像Ｂ２又は強調画像を取得する。
より具体的に、ずれ画像取得部５１は、タッチ範囲ＭとコントラストマップＣＭとの比較結果、コントラストマップＣＭから絞り部２６ｃの動作によるコントラストの変化があれば、絞り部２６ｃを開放側又は絞り側に動作してタッチ範囲Ｍにおけるボケ画像Ｂ２又は強調画像を取得する。

ずれ画像取得部５１は、タッチ範囲ＭとコントラストマップＣＭとの比較結果、コントラストマップＣＭから絞り部２６ｃの動作によるコントラストの変化がなければ、コントラストマップＣＭにおけるタッチ範囲Ｍ内の被写体に対するフォーカスの遠近の情報、例えば花Ｆ１等の主要被写体に対してその背景のタッチ範囲Ｍ内の花Ｆ２等に対する遠近の情報に従ってピント部２６ｂのフォーカスレンズを至近方向又は無限方向に駆動してボケ画像Ｂ２を取得する。
ずれ画像取得部５１は、タッチ範囲Ｍ内の被写体が花Ｆ１等の主要被写体よりも遠方であれば、ピント部２６ｂのフォーカスレンズを至近方向に駆動し、タッチ範囲Ｍ内の被写体が花Ｆ１等の主要被写体よりも近方であれば、ピント部２６ｂのフォーカスレンズを無限方向に駆動してボケ画像Ｂ２を取得する。

ずれ画像取得部５１は、タッチ範囲ＭとコントラストマップＣＭとの比較結果、コントラストマップＣＭから絞り部２６ｃの動作によるコントラストの変化がなければ、コントラストマップＣＭにおける被写体に対するフォーカスの遠近の情報、例えば花Ｆ１等の主要被写体に対してその背景のタッチ範囲Ｍ内の花Ｆ２等に対する遠近の情報に従ってピント部２６ｂのフォーカスレンズを無限方向又は至近方向に駆動して強調画像を取得する。
ずれ画像取得部５１は、タッチ範囲Ｍ内の被写体が花Ｆ１等の主要被写体よりも遠方であれば、ピント部２６ｂのフォーカスレンズを無限方向に駆動し、タッチ範囲Ｍ内の被写体が花Ｆ１等の主要被写体よりも近方であれば、ピント部２６ｂのフォーカスレンズを至近方向に駆動して強調画像を取得する。

次に、上記の如く構成された装置による被写体の背景をぼかして被写体を強調するために画像合成処理について図９に示す画像合成処理フローチャートに従って説明する。
信号処理制御部１は、電源がオンになったことを判定すると、この信号処理制御部１のボケモード設定部３１は、ステップＳ２０１において、図２に示すように背面モニタ８に表示されるボケモードボタン４０に対するタッチ操作からタッチボケモードに設定されているか否か、又は操作部５のモードダイヤルの設定状態からボケモード又は強調モードに設定されたか否かを判定する。

この判定の結果、ボケモード又は強調モードのいずれかが設定されていると判定すると、信号処理制御部１は、ステップＳ２０２において、撮像素子２から出力される画像信号を逐次入力し、この画像信号に対して各種画像処理を行ってスルー画像を作成して背面モニタ８に表示する。
ボケモード又は強調モードが設定されていると、信号処理制御部１は、タッチパネル９に対するタッチによりＡＦを行わないように設定される。

スルー画像が背面モニタ８に表示されている状態に、ユーザが背面モニタ８の表示画面上のタッチパネル９に対してタッチ操作すると、このタッチパネル９は、このタッチ位置を示す座標を含む接触信号を出力する。信号処理制御部１は、ステップＳ２０３において、タッチパネル９からの接触信号を入力すると、ユーザが背面モニタ８の表示画面上の中央部に存在する主要被写体、例えば図３に示す花Ｆ１等の主要被写体に対してＡＦを行う。ここで、信号処理制御部１は、ステップＳ２０４において、タッチパネル９に対するタッチ位置に対応する背面モニタ８の表示画面上の主要被写体、例えばタッチパネル９の中央部にタッチすると、背面モニタ８の表示画面上の中央部に存在する主要被写体、ここでは花Ｆ１に対してＡＦを行うようにすればよい。

主要被写体が花Ｆ１であると決定されて当該花Ｆ１に対してＡＦが行われると、距離分布取得部５０は、ステップＳ２０５において、図８に示すようなコントラストマップＣＭにおけるフォーカスレンズを変化したときのコントラストを取得するために、各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１に対してウォブリング動作の指令を発する。レンズ制御部２１は、ステップＳ２０６において、ウォブリング動作の指令を受けて駆動部２４ｂを駆動制御し、ピント部２６ｂのフォーカスレンズをウォブリング動作させる。このとき位置検出部２５ｂは、ピント部２６ｂのフォーカスレンズの光軸方向における位置を検出する。信号処理制御部１は、ステップＳ２０７において、各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１との間でウォブリング動作の指令とフォーカスレンズの光軸方向の位置とを互いに通信してウォブリング動作を進める。

距離分布取得部５０は、ウォブリング動作中に撮像部Ｐの撮影により取得された画像を入力し、当該画像を複数のエリア、例えば図７に示すように各エリアＡ〜Ｉに分割し、これらエリアＡ〜Ｉ毎に、コントラストマップＣＭの一部を構成する情報、すなわち図８に示すように、エリアＡ〜Ｉ毎にフォーカスしているか否かの合焦情報ＦＤと、コントラストの情報ＣＤと、フォーカスの遠近に関するフォーカス情報ＴＤとを作成する。

これらコントラストマップＣＭの情報が作成されると、距離分布取得部５０は、ステップＳ２０９において、図８に示すようなコントラストマップＣＭにおける絞り部２６ｃの開口度を変化したときのコントラストを取得するために、各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１に対して絞り動作の指令を発する。レンズ制御部２１は、ステップＳ２０９において、絞り動作の指令を受けて駆動部２４ｃを駆動制御し、絞り部２６ｃの大きさを変化させる。このとき位置検出部２５ｃは、絞り部２６ｃの位置すなわち絞りの大きさを検出する。信号処理制御部１は、ステップＳ２１０において、各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１との間で絞り動作の指令と絞り部２６ｃの絞りの大きさとを互いに通信して絞り動作を進める。

距離分布取得部５０は、ステップＳ２１１において、絞り動作中に撮像部Ｐの撮影により取得された画像を入力し、上記図７に示すように各エリアＡ〜Ｉ毎に、コントラストマップＣＭの一部を構成する情報、すなわち図８に示すように、絞り部２６ｃの絞り動作に関する絞り情報ＴＤを作成する。
この絞り情報ＴＤが作成されると、距離分布取得部５０は、ステップＳ２１２において、
ウォブリング動作により作成したエリアＡ〜Ｉ毎に、被写体に対してフォーカスしているか否かの合焦情報ＦＤと、コントラストの情報ＣＤと、フォーカスの遠近に関するフォーカス情報ＴＤと、絞り動作により作成した絞り情報ＴＤとにより図８に示すコントラストマップＣＭを作成する。このコントラストマップＣＭは、例えば記録部７のＲＡＭに記録される。

ボケモード設定部３１は、ステップＳ２１３において、ボケモード又は強調モードのいずれかに設定されているかを判定する。この判定の結果、ボケモードに設定されていれば、ずれ画像取得部５１は、ステップＳ２１５において、タッチぼかし処理、すなわち図３に示すようにタッチパネル８に対するタッチ位置に対応するタッチ範囲ＭとコントラストマップＣＭとを比較し、当該比較結果に基づいて絞り部２６ｃを動作又はピント部２６ｂのフォーカスレンズを駆動してタッチ範囲Ｍに対してフォーカスをずらした、撮影レンズのボケ味を生かしたボケ画像Ｂ２を取得する。

信号処理制御部１は、ステップＳ２１７において、例えば花Ｆ１の主要被写体の撮影を行うか否かを判定し、この判定の結果、レリーズボタンが半押し操作され、さらに全押し操作されると、ステップＳ２１９において、静止画撮影用の露光動作等を行って花Ｆ１等の主要被写体を含む被写体の撮影を行う。この信号処理制御部１は、撮影によって取得した静止画データを例えば記録部７のメモリカードに記録する。
花Ｆ１等の主要被写体を含む被写体の撮影を行わなければ、信号処理制御部１は、ステップＳ２１８において、ＡＦを行う主要被写体の変更、例えば花Ｆ１から花Ｆ２に変更が有るか否かを判定する。この判定の結果、主要被写体の変更が有れば、信号処理制御部１は、ステップＳ２０２に戻り、変更がなければ、ステップＳ２０６に戻る。

一方、ボケモード設定部３１は、ステップＳ２１３において、ボケモードで無いと判定すると、ステップＳ２１４において、強調モードに設定されているか否かを判定する。この判定の結果、強調モードであれば、ずれ画像取得部５１は、ステップＳ２１６において、タッチパネル８に対するタッチ位置に対応するタッチ範囲ＭとコントラストマップＣＭとを比較し、当該比較結果に基づいて絞り部２６ｃを動作又はピント部２６ｂのフォーカスレンズを駆動してタッチ範囲Ｍに対してフォーカスをずらした強調画像を取得する。この後、信号処理制御部１は、ステップＳ２１７において、花Ｆ１等の主要被写体を含む被写体の撮影を行う。

次に、上記ステップＳ２１５におけるタッチぼかし処理について図１０に示すぼかし処理フローチャートを参照して説明する。
タッチ範囲判定部３２は、ステップＳ３００において、図３に示すようにユーザが指等をタッチパネル９に対して擦りながら移動させたタッチ範囲Ｍを判定する。
ずれ画像取得部５１は、ステップＳ３０１において、記録部７のＲＡＭに記録されているコントラストマップＣＭを読み出し、このコントラストマップＣＭとタッチ範囲判定部３２により判定されたタッチ範囲Ｍとを比較する。

ずれ画像取得部５１は、ステップＳ３０２において、コントラストマップＣＭとタッチ範囲Ｍとの比較の結果、タッチ範囲Ｍに対応するコントラストマップＣＭのエリアＡ〜Ｉにおいてコントラストの変化が有るか否かを判定する。タッチ範囲Ｍに対応するコントラストマップＣＭのエリアＡ〜Ｉは、図３に示すタッチ範囲Ｍと図７に示すエリアＡ〜Ｉの位置とを対比すると、エリアＣになる。図８に示すコントラストマップＣＭのエリアＣには、コントラストの情報ＣＤにコントラストの変化が有る符号「○」が記載されているので、ずれ画像取得部５１は、エリアＣにコントラストの変化が有ると判定する。

ずれ画像取得部５１は、ステップＳ３０３において、コントラストマップＣＭとタッチ範囲Ｍとを比較し、エリアＣに、絞り部２６ｃの絞り動作によりコントラストの変化が有るか否かを判定する。コントラストマップＣＭのエリアＣには、絞り・フォーカス情報ＴＤにコントラストの変化が有る符号「○」が記載されているので、ずれ画像取得部５１は、絞り部２６ｃの絞り動作によりエリアＣにコントラストの変化が有ると判定する。

ずれ画像取得部５１は、ステップＳ３０４に移り、絞り部２６ｃを開放側に動作させることを判断し、ステップＳ３０５において、絞り部２６ｃを開放側に動作させる指令を各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１に送る。このレンズ制御部２１は、駆動部２４Ｃを駆動して絞り部２６ｃを開放側に動作させる。
ずれ画像取得部５１は、ステップＳ３０６において、絞り部２６ｃを開放側に動作させた状態で、撮像素子２から出力される画像信号を入力し、この画像信号に対して各種画像処理を行ってタッチ範囲Ｍに対応する領域のボケ画像を取得し、ステップＳ３０７において、背面モニタ８に表示する画像を更新する。

一方、ずれ画像取得部５１は、ステップＳ３０３において、絞り部２６ｃの絞り動作によりコントラストの変化が無い「×」と判定すると、ステップＳ３０８において、コントラストマップＣＭのエリアＣにおける絞り・フォーカス情報ＴＤにおいて、フォーカスレンズを無限方向（遠）に移動したときにコントラストの変化が有るか否かを判定する。
この判定の結果、絞り・フォーカス情報ＴＤからコントラストの変化が有れば、ずれ画像取得部５１は、ステップＳ３０９において、ピント部２６ｂのフォーカスレンズを至近方向に移動させる指令を各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１に送る。このレンズ制御部２１は、駆動部２４ｂを駆動してピント部２６ｂのフォーカスレンズを至近方向に移動させる。この後、ずれ画像取得部５１は、ステップＳ３０６に移る。このように、どの領域にどの制御が効果的かが分かっていれば、その領域が選択された場合に、どの制御が効果的かわかるので、迷いがなく、最適の制御を迅速に行うことが出来る。例えば、ボケ画像を得ようとして、間違った制御で表示されると、ユーザーは何が起こったか分からなくなってしまう。また、何度もタッチしてボケ量を増やして行く場合も、こうした工夫がなければ迷いを生じて、自然かつ迅速なボケ制御が出来なくなる。

ずれ画像取得部５１は、上記ステップＳ３０８での判定の結果、フォーカスレンズを無限方向（遠）に移動したときにコントラストの変化が無ければ、ステップＳ３１１において、フォーカスレンズを至近方向（近）に移動したときにコントラストの変化が有るか否かを判定する。
この判定の結果、絞り・フォーカス情報ＴＤからフォーカスレンズを至近方向（近）に移動したときにコントラストの変化が有れば、ずれ画像取得部５１は、ステップＳ３１２において、ピント部２６ｂのフォーカスレンズを無限方向に移動させることを判断し、ステップＳ３１３において、ピント部２６ｂのフォーカスレンズを無限方向に移動させる指令を各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１に送る。このレンズ制御部２１は、駆動部２４ｂを駆動してピント部２６ｂのフォーカスレンズを無限方向に移動させる。この後、ずれ画像取得部５１は、ステップＳ３０６に移る。
フォーカスレンズを至近方向（近）に移動したときにコントラストの変化が無ければ、ずれ画像取得部５１は、ステップＳ３１４において、タッチ範囲Ｍに対応するエリアＣの画像ではボケ画像を得るような効果を上げられないことを背面モニタ８に表示する。

次に、上記ステップＳ２１６におけるタッチ強調処理について図１１に示す強調処理フローチャートを参照して説明する。なお、図１０と同一ステップには同一ステップの符号を付してそのステップの詳細な説明は省略する。
ずれ画像取得部５１は、ステップＳ３０３において、コントラストマップＣＭとタッチ範囲Ｍとを比較し、エリアＣに、絞り部２６ｃの絞り動作によりコントラストの変化が有るか否かを判定し、絞り部２６ｃの絞り動作によりエリアＣにコントラストの変化が有ると判定すると、ステップＳ４００において、絞り部２６ｃを絞り込み側に動作させることを判断し、ステップＳ３０５において、絞り部２６ｃを絞り込み側に動作させる指令を各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１に送る。このレンズ制御部２１は、駆動部２４Ｃを駆動して絞り部２６ｃを絞り込み側に動作させる。

ずれ画像取得部５１は、ステップＳ３０６において、絞り部２６ｃを絞り込み側に動作させた状態で、撮像素子２から出力される画像信号を入力し、この画像信号に対して各種画像処理を行ってタッチ範囲Ｍに対応する領域の強調画像を取得し、ステップＳ３０７において、背面モニタ８に表示する画像を更新する。

一方、ずれ画像取得部５１は、ステップＳ３０８において、コントラストマップＣＭのエリアＣにおける絞り・フォーカス情報ＴＤを読み出し、フォーカスレンズを無限方向（遠）に移動したときにコントラストの変化が有るか否かを判定し、この判定の結果、絞り・フォーカス情報ＴＤからコントラストの変化が有れば、ずれ画像取得部５１は、ステップＳ４０１において、ピント部２６ｂのフォーカスレンズを無限方向に移動させる指令を各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１に送る。このレンズ制御部２１は、駆動部２４ｂを駆動してピント部２６ｂのフォーカスレンズを無限方向に移動させる。この後、ずれ画像取得部５１は、ステップＳ３０６に移り、タッチ範囲Ｍに対応する領域の強調画像を取得する。

又、ずれ画像取得部５１は、ステップＳ３１１において、フォーカスレンズを至近方向（近）に移動したときにコントラストの変化が有るか否かを判定し、この判定の結果、絞り・フォーカス情報ＴＤからフォーカスレンズを至近方向（近）に移動したときにコントラストの変化が有れば、ステップＳ４０２において、ピント部２６ｂのフォーカスレンズを至近方向に移動させることを判断し、ステップＳ３１３において、ピント部２６ｂのフォーカスレンズを至近方向に移動させる指令を各通信部１２、２２を介して交換レンズ部２０のレンズ制御部２１に送る。このレンズ制御部２１は、駆動部２４ｂを駆動してピント部２６ｂのフォーカスレンズを至近方向に移動させる。この後、ずれ画像取得部５１は、ステップＳ３０６に移り、タッチ範囲Ｍに対応する領域の強調画像を取得する。

このように上記第２の実施の形態によれば、タッチ範囲ＭとコントラストマップＣＭとの比較結果、コントラストマップＣＭから絞り部２６ｃの動作によるコントラストの変化があれば、絞り部２６ｃを開放側又は絞り側に動作してボケ画像又は強調画像を取得し、又、コントラストマップＣＭから絞り部２６ｃの動作によるコントラストの変化がなければ、コントラストマップＣＭにおける被写体に対するフォーカスの遠近の情報に従ってフォーカスレンズを至近方向又は無限方向に駆動してボケ画像を取得し、さらにはコントラストマップＣＭにおける被写体に対するフォーカスの遠近の情報に従ってフォーカスレンズを無限方向又は至近方向に駆動して強調画像を取得するので、上記第１の実施の形態と同様に、花Ｆ１等の主要被写体を最も強調できるように、タッチ範囲Ｍに対応する背景の領域にボケ画像Ｂ２を合成することができ、さらに、ボケ画像Ｂ２に代わって強調画像を合成することができる。

なお、図１２は本装置ＣＡを使用してユーザが背面モニタ８の表示画面上のタッチパネル９にタッチしてタッチ範囲Ｍを指示する状況を示す。このようなタッチ範囲Ｍの指示の仕方であれば、ユーザは、背面モニタ８に表示される画像を見やすくして本装置ＣＡとの間隔をある程度離した状態でタッチパネル９にタッチしてタッチ範囲Ｍを指示するものとなる。
図１３は本装置ＣＡを使用してＥＶＦ４をユーザが覗いた状態でタッチパネル９にタッチしてタッチ範囲Ｍを指示する状態を示す。このようなタッチ範囲Ｍの指示の仕方であれば、ユーザは、ＥＶＦ４を覗くことにより本装置ＣＡとの間隔が小さくなるものの、例えば親指でタッチパネル９にタッチしてタッチ範囲Ｍを指示するものとなる。
このような構成によって、さまざまな条件下で、迅速かつ自然に好みに応じた、光学系の特性を活かしたボケ量の調整が可能となり、ユーザのこだわりを反映した写真撮影が可能となる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１：信号処理制御部、２：撮像素子、３：アイセンサ（接眼センサ）、４：接眼式の電子ビューファインダ（ＥＶＦ）、５：操作部、６：マイクロフォン、７：記録部、８：背面モニタ、９：タッチパネル、１０：カメラ本体、１１：時計部、１２：通信部、２０：交換レンズ部、２１：レンズ制御部、２２：通信部、２３：操作リング部、２３ａ：スライド操作判定部、２３ｂ：回転操作判定部、２４ａ，２４ｂ，２４ｃ：駆動部、２５ａ，２５ｂ，２５ｃ：位置検出器、２６：レンズ系、２６ａ：ズーム部、２６ｂ：ピント部、２６ｃ：絞り部、２７：記録部、３０：フォーカスずれ画像取得部、３１：ボケモード設定部、３２：タッチ範囲判定部、３３：距離判定部、３４：ずれ画像取得部、４０：画像合成部、５０：距離分布取得部、ＣＭ：コントラストマップ。

Claims (33)

1. 被写体からの光像を撮像して第１の画像を取得する撮像部と、
   前記被写体からの光像を絞る絞りと、
   前記被写体に対してフォーカスするためのフォーカスレンズと、
   前記撮像部により取得された前記第１の画像を表示する表示部と、
   前記表示部の表示画面上に設けられたタッチパネルと、
   前記タッチパネルに対するタッチ位置に対応するタッチ範囲における前記被写体に対する距離とフォーカスとに関する情報に基づいて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした第２の画像を取得するフォーカスずれ画像取得部と、
   前記撮像部により取得された前記被写体にフォーカスされた前記第１の画像と前記フォーカスずれ画像取得部により取得された前記第２の画像とを合成する画像合成部と、
   を具備することを特徴とする撮像装置。
2. 前記フォーカスずれ画像取得部は、前記第２の画像として前記被写体に対してフォーカスをずらしたボケ画像を取得することを特徴とする請求項１記載の撮像装置。
3. 前記フォーカスずれ画像取得部は、前記第２の画像として前記被写体を強調した強調画像を取得することを特徴とする請求項２記載の撮像装置。
4. 前記フォーカスずれ画像取得部は、前記フォーカスレンズをウォブリング動作して前記被写体との距離を判定し、この距離に応じて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした前記第２の画像を取得することを特徴とする請求項３記載の撮像装置。
5. 前記フォーカスずれ画像取得部は、前記フォーカスをずらした前記第２の画像を取得するためのボケモードを設定するモード設定部と、
   前記タッチパネルに対するタッチから前記タッチ範囲を判定するタッチ範囲判定部と、
   前記ボケモードが設定されている状態に、前記フォーカスレンズをウォブリング動作して前記被写体との距離を判定する距離判定部と、
   前記距離判定部により判定された前記距離に応じて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした前記第２の画像を取得するずれ画像取得部と、
   を有することを特徴とする請求項１記載の撮像装置。
6. 前記フォーカスずれ画像取得部は、前記フォーカスレンズをウォブリング動作して前記被写体との距離に関するフォーカス状態を含む分布を示す距離分布情報を作成し、前記タッチ範囲に対応する距離分布情報に基づいて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした前記第２の画像を取得することを特徴とする請求項４記載の撮像装置。
7. 前記フォーカスずれ画像取得部は、前記距離分布情報として、前記第１の画像のエリア毎に、それぞれ前記被写体に対する合焦状態と、コントランスの有無の情報と、前記絞り部を変化したときのコントランスの有無の情報と、前記被写体に対するフォーカスの遠近の情報とを含むコントラストマップを作成することを特徴とする請求項６記載の撮像装置。
8. 前記フォーカスずれ画像取得部は、前記タッチパネルに対するタッチ位置に対応する前記タッチ範囲と前記コントラストマップとを比較し、当該比較結果に基づいて前記絞り部を動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした第２の画像を取得することを特徴とする請求項７記載の撮像装置。
9. 前記フォーカスずれ画像取得部は、前記タッチ範囲と前記コントラストマップとの比較結果、前記コントラストマップから前記絞り部の動作によるコントラストの変化があれば、前記絞り部を開放側又は絞り側に動作して前記ボケ画像又は前記強調画像を取得することを特徴とする請求項８記載の撮像装置。
10. 前記フォーカスずれ画像取得部は、前記タッチ範囲と前記コントラストマップとの比較結果、前記コントラストマップから前記絞り部の動作によるコントラストの変化がなければ、前記前記コントラストマップにおける前記被写体に対するフォーカスの遠近の情報に従って前記フォーカスレンズを至近方向又は無限方向に駆動して前記ボケ画像を取得することを特徴とする請求項８記載の撮像装置。
11. 前記フォーカスずれ画像取得部は、前記被写体が遠方であれば、前記フォーカスレンズを至近方向に駆動し、前記被写体が近方であれば、前記フォーカスレンズを無限方向に駆動して前記ボケ画像を取得することを特徴とする請求項１０記載の撮像装置。
12. 前記フォーカスずれ画像取得部は、前記タッチ範囲と前記コントラストマップとの比較結果、前記コントラストマップから前記絞り部の動作によるコントラストの変化がなければ、前記前記コントラストマップにおける前記被写体に対するフォーカスの遠近の情報に従って前記フォーカスレンズを無限方向又は至近方向に駆動して前記強調画像を取得することを特徴とする請求項８記載の撮像装置。
13. 前記フォーカスずれ画像取得部は、前記被写体が遠方であれば、前記フォーカスレンズを無限方向に駆動し、前記被写体が近方であれば、前記フォーカスレンズを至近方向に駆動して前記強調画像を取得することを特徴とする請求項１２記載の撮像装置。
14. 前記フォーカスずれ画像取得部は、前記フォーカスをずらした前記第２の画像を取得するためのボケモードを設定するモード設定部と、
    前記タッチパネルに対するタッチから前記タッチ範囲を判定するタッチ範囲判定部と、
    前記ボケモードが設定されている状態に、前記フォーカスレンズをウォブリング動作して前記被写体との距離に関するフォーカス状態を含む分布を示す距離分布情報を作成する距離分布情報作成部と、
    前記タッチ範囲と前記距離分布情報とを比較し、当該比較結果に基づいて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした前記第２の画像を取得するずれ画像取得部と、
    を有することを特徴とする請求項６記載の撮像装置。
15. 前記画像合成部は、前記撮像部により取得された前記第１の画像中における前記タッチ範囲に対応する領域に前記ボケ画像を合成することを特徴とする請求項１記載の撮像装置。
16. 被写体からの光像を撮像して第１の画像を取得する撮像部と、前記被写体からの光像を絞る絞りと、前記被写体に対してフォーカスするためのフォーカスレンズと、前記撮像部により取得された前記第１の画像を表示する表示部と、前記表示部の表示画面上に設けられたタッチパネルとを備え、コンピュータの処理によって画像を合成する画像合成方法において、
    前記タッチパネルに対するタッチ位置に対応するタッチ範囲における前記被写体との距離とフォーカスとに関する情報に基づいて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした第２の画像を取得し、
    前記撮像部により取得された前記被写体にフォーカスされた前記第１の画像と前記フォーカスをずらした前記第２の画像とを合成する、
    ことを特徴とする画像合成方法。
17. 前記フォーカスずれ画像の取得は、前記第２の画像として前記被写体に対してフォーカスをずらしたボケ画像を取得することを特徴とする請求項１６記載の画像合成方法。
18. 前記フォーカスずれ画像の取得は、前記第２の画像として前記被写体を強調した強調画像を取得することを特徴とする請求項１７記載の画像合成方法。
19. 前記フォーカスずれ画像の取得は、前記フォーカスレンズをウォブリング動作して前記被写体との距離を判定し、この距離に応じて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした前記第２の画像を取得することを特徴とする請求項１８記載の画像合成方法。
20. 前記フォーカスずれ画像の取得は、前記フォーカスレンズをウォブリング動作して前記被写体との距離に関するフォーカス状態を含む分布を示す距離分布情報を作成し、前記タッチ範囲に対応する距離分布情報に基づいて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした前記第２の画像を取得することを特徴とする請求項１９記載の画像合成方法。
21. 前記フォーカスずれ画像の取得は、前記距離分布情報として、前記第１の画像のエリア毎に、それぞれ前記被写体に対する合焦状態と、コントランスの有無の情報と、前記絞り部を変化したときのコントランスの有無の情報と、前記被写体に対するフォーカスの遠近の情報とを含むコントラストマップを作成することを特徴とする請求項２０記載の画像合成方法。
22. 前記フォーカスずれ画像の取得は、前記タッチパネルに対するタッチ位置に対応する前記タッチ範囲と前記コントラストマップとを比較し、当該比較結果に基づいて前記絞り部を動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした第２の画像を取得することを特徴とする請求項２１記載の画像合成方法。
23. 前記フォーカスずれ画像の取得は、前記タッチ範囲と前記コントラストマップとの比較結果、前記コントラストマップから前記絞り部の動作によるコントラストの変化があれば、前記絞り部を開放側又は絞り側に動作して前記ボケ画像又は前記強調画像を取得することを特徴とする請求項２２記載の画像合成方法。
24. 前記フォーカスずれ画像の取得は、前記タッチ範囲と前記コントラストマップとの比較結果、前記コントラストマップから前記絞り部の動作によるコントラストの変化がなければ、前記前記コントラストマップにおける前記被写体に対するフォーカスの遠近の情報に従って前記フォーカスレンズを至近方向又は無限方向に駆動して前記ボケ画像を取得することを特徴とする請求項２２記載の画像合成方法。
25. 前記フォーカスずれ画像の取得は、前記被写体が遠方であれば、前記フォーカスレンズを至近方向に駆動し、前記被写体が近方であれば、前記フォーカスレンズを無限方向に駆動して前記ボケ画像を取得することを特徴とする請求項２４記載の画像合成方法。
26. 前記フォーカスずれ画像の取得は、前記タッチ範囲と前記コントラストマップとの比較結果、前記コントラストマップから前記絞り部の動作によるコントラストの変化がなければ、前記前記コントラストマップにおける前記被写体に対するフォーカスの遠近の情報に従って前記フォーカスレンズを無限方向又は至近方向に駆動して前記強調画像を取得することを特徴とする請求項２２記載の画像合成方法。
27. 前記フォーカスずれ画像の取得は、前記被写体が遠方であれば、前記フォーカスレンズを無限方向に駆動し、前記被写体が近方であれば、前記フォーカスレンズを至近方向に駆動して前記強調画像を取得することを特徴とする請求項２６記載の画像合成方法。
28. 前記画像の合成は、前記撮像部により取得された前記第１の画像中における前記タッチ範囲に対応する領域に前記ボケ画像を合成することを特徴とする請求項１６記載の画像合成方法。
29. 被写体からの光像を撮像して第１の画像を取得する撮像部と、前記被写体からの光像を絞る絞りと、前記被写体に対してフォーカスするためのフォーカスレンズと、前記撮像部により取得された前記第１の画像を表示する表示部と、前記表示部の表示画面上に設けられたタッチパネルとを備えた撮像装置のコンピュータに、
    前記タッチパネルに対するタッチ位置に対応するタッチ範囲における前記被写体との距離とフォーカスとに関する情報に基づいて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした第２の画像を取得するフォーカスずれ画像取得機能と、
    前記撮像部により取得された前記被写体にフォーカスされた前記第１の画像と前記フォーカスずれ画像取得機能により取得された前記第２の画像とを合成する画像合成機能と、
    を実現する撮像装置の画像合成プログラム。
30. 前記フォーカスずれ画像取得機能は、前記第２の画像として前記被写体に対してフォーカスをずらしたボケ画像を取得することを実現する請求項２９記載の撮像装置の画像合成プログラム。
31. 前記フォーカスずれ画像取得機能は、前記第２の画像として前記被写体を強調した強調画像を取得することを実現とする請求項３０記載の撮像装置の画像合成プログラム。
32. 前記フォーカスずれ画像取得機能は、前記フォーカスレンズをウォブリング動作して前記被写体との距離を判定し、この距離に応じて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした前記第２の画像を取得することを実現とする請求項３１記載の撮像装置の画像合成プログラム。
33. 前記フォーカスずれ画像取得機能は、前記フォーカスレンズをウォブリング動作して前記被写体との距離に関するフォーカス状態を含む分布を示す距離分布情報を作成し、前記タッチ範囲に対応する距離分布情報に基づいて前記絞りを動作又は前記フォーカスレンズを駆動して前記被写体に対してフォーカスをずらした前記第２の画像を取得することを実現とする請求項３２記載の撮像装置の画像合成プログラム。

Images