JP2014023083A - 表示装置、撮像装置及び画像編集プログラム - Google Patents

Abstract

【課題】 リフォーカス処理や画像補正処理を容易な構成で連続して実行することができる。
【解決手段】 画像を表示する表示部と、表示部の前面に設けられ、入力操作を行うタッチパネルと、表示部に表示される画像に対して、タッチパネルによる入力操作が行われた位置を焦点が合う位置に設定するリフォーカス処理を実行するリフォーカス処理部と、リフォーカス処理が施された画像を、入力操作が行われた位置を中心として放射状に波立たせて表示した後、放射状に波立つ表示の少なくとも一部を利用した画像補正処理用の操作部を表示する表示制御部と、画像補正処理用の操作部に対するタッチパネルの入力操作に基づいて、リフォーカス処理が施された画像の画像補正処理を実行する画像補正部と、を備えたことを特徴とする。
【選択図】 図３

Description

本発明は、表示装置、撮像装置及び画像編集プログラムに関する。

近年、撮影後に撮影距離や被写界深度を変更することが可能なリフォーカス処理技術が考案されている。このリフォーカス処理技術としては、撮像素子の前面にマイクロレンズアレイを配置したカメラや多眼カメラを用いて多視点画像を取得し、仮想の撮影距離を最短撮影位置から無限遠まで移動させたときの局所コントラストが最大になる距離を画素毎に保持したマップを生成することが挙げられる。また、この他に、最短撮影距離から無限遠まで変化させながら画像を大量に撮影し、各画素について局所コントラストが最大になる画像を選択することで距離マップを生成することも可能である。

特開２０１０−６８０１８号公報

このような画像に対してリフォーカス処理や画像補正処理を行う場合には、これら処理を個別に行っている。このため、これら処理を切り替える入力操作が面倒であり、また、これら処理を行って満足する画像を得るには時間がかかるという問題がある。

本発明は、リフォーカス処理や画像補正処理を連続して実行させることができるようにした表示装置、撮像装置及び画像編集プログラムを提供するものである。

上述した課題を解決するために、本発明の表示装置は、画像を表示する表示部と、前記表示部の前面に設けられ、入力操作を行うタッチパネルと、前記表示部に表示される前記画像に対して、前記タッチパネルによる前記入力操作が行われた位置を焦点が合う位置に設定するリフォーカス処理を実行するリフォーカス処理部と、前記リフォーカス処理が施された前記画像を、前記入力操作が行われた位置を中心として放射状に波立たせて表示した後、前記放射状に波立つ表示の少なくとも一部を利用した画像補正処理用の操作部を表示する表示制御部と、前記画像補正処理用の操作部に対する前記タッチパネルの入力操作に基づいて、前記リフォーカス処理が施された前記画像の画像補正処理を実行する画像補正部と、を備えたことを特徴とする。

本発明の撮像装置は、上記に記載の表示装置と、取り込まれた被写体光に基づく画像を取得する撮像素子と、前記画像の各画素における距離情報をまとめた距離マップを生成する生成部と、を備え、前記リフォーカス処理部は、前記距離マップに基づいたリフォーカス処理を実行することを特徴とする。

また、本発明の画像編集プログラムは、表示された画像に対して入力操作を行う入力工程と、表示された前記画像に対して、前記入力工程による入力操作が行われた位置を焦点が合う位置に設定したリフォーカス処理を実行する処理工程と、前記リフォーカス処理が施された前記画像を、前記入力操作が行われた位置を中心として放射状に波立たせて表示する第1の表示工程と、前記放射状に波立つ表示の少なくとも一部を利用した画像補正処理用の操作部を表示する第２の表示工程と、前記画像補正処理用の操作部に対する前記タッチパネルの入力操作に基づいて、前記リフォーカス処理が施された前記画像の画像補正処理を実行する画像補正工程と、を、コンピュータに実行させることが可能なものである。

本発明は、フォーカス処理や画像補正処理を容易な構成で連続して行うことができる。

撮像装置の構成の一実施形態を示す図である。 （ａ）は被写体Ａに焦点が合う画像を表示したときにリフォーカス処理を行う際のフォーカスポイントとして被写体Ｂの顔を選択する場合を示す図、（ｂ）は被写体Ｂに焦点が合う画像に切り替わったことを示す図、（ｃ）は押圧された位置を中心にして波４５，４６が波紋状に広がりながら表示される状態を示す図である。 （ａ）コントロールバー４７，４８が表示された状態を示す図、（ｂ）はコントロールバー４７を操作して画像補正を行う状態を示す図、（ｃ）はコントロールバー４７，４８が所定時間操作されないときに、コントロールバー４７，４８から切り替わった波４５，４６が波紋状に広がりながら、徐々に消えていく際の状態を示す図である。 画像を拡大するときの操作を示す図である。 コントロールバーの位置を移動させた場合を示す図である。 リフォーカス処理及び画像補正処理の流れを示すフローチャートである。

以下、本実施形態の撮像装置１０の一実施形態について、図１を用いて説明する。

図１に示すように、撮像装置１０は、撮像光学系１５、マイクロレンズアレイ１６、撮像素子１７、レンズ駆動部１８、撮像素子駆動部１９、バッファメモリ２０、画像処理回路２１、表示部２２、表示制御回路２３、コントローラ２４、メディアコントローラ２５、ＣＰＵ３０、内蔵メモリ３１及び設定ボタン３２から構成される。ここで、撮像素子１７、バッファメモリ２０、画像処理回路２１、表示制御回路２３、コントローラ２４、メディアコントローラ２５、ＣＰＵ３０及び内蔵メモリ３１は、バス３３を介して電気的に接続される。

撮像光学系１５は、撮像レンズ３５と絞り３６とを有している。撮影レンズ３５は、ズームレンズ、フォーカスレンズなどの複数のレンズから構成される。絞り３６は、絞り径を調整することで、撮像光学系１５により取り込まれる被写体光の光束を調整する。

マイクロレンズアレイ１６は、複数のマイクロレンズが二次元配列したものであり、撮像光学系１５の結像面に配置される各マイクロレンズは、例えば円形の平面形状をしており、例えば固体レンズ、液晶レンズ、回折レンズなどから構成される。

ここで、撮像光学系１５におけるＦナンバーと、マイクロレンズアレイ１６のＦナンバーとは、同一の値となるように設定される。撮像光学系１５のＦナンバーが小さい場合、隣り合うマイクロレンズを透過する光線が重なり、クロストークが発生する。この場合、得られる画像の画質が低下する。また、撮像光学系１５のＦナンバーが大きい場合、マイクロレンズを透過する光線を受光することができない画素が撮像素子１７に発生する。この場合、得られる画像の画素数が低下する。これらを考慮して、撮像光学系１５におけるＦナンバーと、マイクロレンズアレイ１６のＦナンバーとは同一の値に設定される。

撮像素子１７は、マイクロレンズアレイ１６を透過した光線を受光し、撮像データを取得する。この撮像素子１７は、その受光面が、マイクロレンズアレイ１６の結像面に位置するように配置される。なお、この撮像素子１７としては、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサなどが用いられる。

ここで、撮像素子１７の受光面には、複数の画素がＭ行Ｎ列（Ｍ，Ｎ：整数）に配置される。これら複数の画素のうち、ｍ行ｎ列（ｍ＜Ｍ，ｎ＜Ｎ）の範囲の画素に対して、マイクロレンズアレイ１６の１つのマイクロレンズが割り当てられる。

撮像素子駆動部１９は、撮像素子１７を駆動して、撮像素子１７の受光動作に対する制御を行う。バッファメモリ２０は、撮像素子１７から出力された画像データを一次記憶する。

画像処理回路２１は、入力される画像データに対して、欠陥補正処理、クランプ処理、ノイズ低減処理、輪郭強調処理、ホワイトバランス処理、γ補正処理を実行する。また、画像処理回路２１は、リフォーカス処理を実行する。画像処理回路２１は、マップ生成部３７、リフォーカス処理部３８及び画像合成部３９を備えている。ここで、本実施形態では、リフォーカス処理部３８及び画像合成部３９を備えた画像処理回路２１を例に挙げているが、リフォーカス処理部３８及び画像合成部３９を画像処理回路に設ける必要はなく、表示制御回路に、リフォーカス処理部３８及び画像合成部３９を設けることも可能である。

マップ生成部３７は、取得された画像データに基づいて視差の異なる複数の視差画像を生成し、これら複数の視差画像のうち少なくとも２枚の視差画像間の位相差を検出することで、視差マップを生成する。この視差マップは、画像データの付帯情報として付帯される。

リフォーカス処理部３８は、取得された画像データと、マップ生成部３７にて生成された視差マップとを用いて、該画像データに対するリフォーカス演算処理を実行する。以下、リフォーカス演算処理の一例について説明する。まず、リフォーカス処理部３８は、フォーカスポイントの位置に応じた位相差を選択し、撮像光学系１５と、選択されたフォーカスポイントの位置を含むリフォーカス面との距離情報を算出する。次に、リフォーカス処理部３８は、求めた距離情報からフォーカス係数を求める。そして、リフォーカス処理部３８は、求めたフォーカス係数を使用した、例えばLight Field Photographyと呼ばれる手法により、画像データを再構築する。これにより、リフォーカス処理が施された画像データが生成される。

画像合成部３９は、リフォーカス処理が施された画像データと、後述する第１動画像データ又は第２動画像データのいずれかの動画像データとを合成する。そして、合成された動画像データを表示制御回路２３に出力する。ここで、リフォーカス処理が施された画像データはバッファメモリ２０に記憶され、第１動画像データ及び第２動画像データは、内蔵メモリ３１に記憶される。

表示部２２は、取得された画像や、リフォーカス処理が施された画像を表示する表示装置４０と、表示された画像に対して指定された位置を検知するタッチパネル４１とから構成される。表示装置４０としては、例えば液晶表示装置（ＬＣＤ）や有機ＥＬディスプレイからなる。また、タッチパネル４１は、例えば感圧式の検知部が用いられ、指定された位置や、指定時の押圧力を検知する。

表示制御回路２３は、表示部２２の表示装置４０における表示制御を実行する。表示制御としては、撮影により得られた画像や、リフォーカス処理が施された画像の他、後述するコントロールバーの画像や、コントロールバーを表示する際の動画像、又はコントロールバーの表示を終了させる際の動画像を表示する制御が挙げられる。ここで、コントロールバーを表示する際の動画像は、フォーカスポイントを中心にして放射状に波立たせたときに発生する波が所定の位置まで移動する様子を示す動画像である。言い換えれば、フォーカスポイントを中心とした波紋が所定の位置まで広がる様子を示す動画像である。また、コントロールバーの表示を終了させる際の動画像は、所定の位置まで移動した波を、さらに放射状に移動させながら、該波が消えていく動画像である。以下、コントロールバーを表示する際の動画像を第１の動画像とし、コントロールバーの表示を終了させる際の動画像を第２の動画像として説明する。

コントロールバーは、フォーカスポイントを中心にして放射状に波立たせたときに発生する波が所定の位置まで到達したときに表示部２２に表示される。このコントロールバーは、表示される画像に対して画像補正処理を実行する際に用いられるものである。このコントロールバーの色は、例えばモノトーンの色（白色、灰色、黒色）のいずれかの色が用いられる。このコントロールバーには、それぞれ画像補正処理の内容が対応付けられる。ここで、コントロールバーに対応付けられる画像補正処理の内容は、予め設定された優先順位に基づいて設定されるものであっても、ユーザにより設定された優先順位であってもよい。

この表示制御回路２３は、表示設定部４２を備えている。表示設定部４２は、表示装置４０に表示するコントロールバーの数及び大きさを設定する。まず、表示設定部４２は、表示部２２における入力操作に基づいて検知される押圧力に基づいて、表示するコントロールバーの数を設定する。例えば、押圧力が閾値Ｔｈ１以下の場合にはコントロールバーの数を２、押圧力が閾値Ｔｈ１を超過し、閾値Ｔｈ２以下の場合にはコントロールバーの数を３にする。これに基づいて、表示設定部４２は、フォーカスポイントを中心にして放射状に波立たせたときに発生する波の数も決定する。

次に、表示設定部４２は、コントロールバーの大きさを設定する。例えば画像から顔が検出される場合には、検出された顔の大きさが含まれるように、コントロールバーの大きさを決定する。なお、複数のパラメータを表示する場合には、最も内側に位置するコントロールバー（最小径を有するコントロールバー）の内側の領域に顔領域が含まれる大きさとなるように各コントロールバーの大きさを設定すればよい。また、表示される画像から顔が検出されない場合には、表示設定部４２は、画像におけるコントラスト比を用いて、コントロールバーの大きさを決定すればよい。このコントロールバーの大きさを決定することで、表示設定部４２は、放射状に波立たせたときの波がフォーカスポイントからの移動距離が決定される。

コントローラ２４は、タッチパネル４１からの検知信号に基づき、指定された位置、指定時の押圧力を求め、求めた情報を入力操作信号に付帯して、ＣＰＵ３０に出力する。

メディアコントローラ２５は、例えばフラッシュメモリからなるメモリカードの他、光学ディスク、磁気ディスクなどの記憶媒体４２と電気的に接続される。

ＣＰＵ３０は、内蔵メモリ３１に記憶される制御プログラムを実行することで、撮像装置１０の各部を統括的に制御する。ＣＰＵ３０は、操作ボタン３２や上述した表示部２２からの入力操作信号に基づく処理を実行する。なお、操作ボタン３２としては、例えば電源ボタンが挙げられる。

次に、リフォーカス処理に係る操作と対応する表示画面について説明する。図２及び図３は、リフォーカス処理、及び画像補正処理における一連のＧＵＩに基づく画面を示している。以下、２人の人物を被写体として撮影された画像を表示した場合を例に挙げて説明する。なお、この画像においては、被写体Ａの顔に焦点を合わせた撮影により取得されたものとして説明する。以下、焦点が合う被写体を太線で、焦点が合わない（焦点がずれた）被写体を細線で示す。

例えば被写体Ｂの顔に焦点を合わせた画像を表示する場合、ユーザは、表示部２２における被写体Ｂの顔の位置を指で押圧する（図２（ａ）参照）。この押圧操作を受けて、表示部２２に表示される画像が、被写体Ａの顔に焦点が合う画像から、被写体Ｂの顔に焦点が合う画像に切り替わる（図２（ｂ）参照）。

表示部２２に表示される被写体Ｂの顔に焦点が合う画像に切り替えられた後、新たに設定されたフォーカスポイントを中心にして波立つ動画像が表示される。なお、符号４５，４６が波である。なお、図２中記号「＋」がフォーカスポイントとなる。

そして、内側の波４６がフォーカスポイントから所定の位置まで移動すると、波４５の表示が円形のコントロールバー４７に、波４６の表示が円形のコントロールバー４８にそれぞれ切り替わって表示される（図３（ａ）参照）。これらコントロールバー４７，４８の表示にあわせて、波立つ動画像の表示が停止される。

この状態で、ユーザによる表示部２２の入力操作を受けて、露出、明るさ、シャープネスなどの画像補正を行うことが可能となる。なお、図３（ｂ）においては、コントロールバー４７は露出補正用のバー、コントロールバー４８は明るさ補正用のバーからなる。ユーザは、いずれかのコントロールバーを使用して、表示された画像に対する画像補正を行うことが可能となる。なお、これら画像補正は、意図するコントロールバーを指により押圧し、コントロールバーに沿って、図３（ｂ）中Ｆ方向又は図３（ｂ）中Ｇ方向に表示部２２を摺接させていくことで行われる。なお、図３（ｂ）では、コントロールバー４７を用いて露出調整を行う場合を示す。

コントロールバー４７，４８が表示されてから、所定時間経過してもコントロールバー４７，４８を用いた入力操作を実行しない場合、コントロールバー４７，４８が波４５，４６に切り替わる。そして、各波４５，４６がさらに放射状に広がっていく。なお、波４５，４６は、フォーカスポイントに近いほど振幅が大きく、フォーカスポイントから離れるほど振幅が小さくなる。これにより、動画像の一部が波立つ表示が行われる。そして、それぞれの波４５，４６が二点鎖線で示す位置（符号４９）に到達したときに消滅するように表示される。言い換えれば、各波４５，４６は、二点鎖線で示す位置に到達すると、波の振幅が０となるように表示される。

ここでは、波４５，４６がフォーカスポイントに近いほど振幅が大きく、フォーカスポイントから離れるほど振幅が小さくなるようにしているが、波４５，４６の振幅だけでなく、波４５，４６の波長も変化させることも可能である。波４５，４６の波長を変化させる場合、フォーカスポイントに近ければ各波の波長を短く、フォーカスポイントから離れるに従い、各波の波長を長くするように表示すればよい。

ここで、図４に示すように、表示部２２に画像が表示されたときに、２本の指を表示部２２に接触させ、２本の指を、相反する方向（図４においては、人差し指をＪ方向、親指をＫ方向）に移動させると、表示された画像が拡大表示される。なお、縮小する場合には、人差し指と親指とを近づける方向に移動させればよい。なお、２本の指を同時に相反する方向に移動させるのではなく、一方の指を固定し、他方の指を一方の指から離れる方向に移動させて画像を拡大してもよいし、一方の指を固定し、他方の指を一方の指に近づけるように移動させて画像を縮小してもよい。

また、図５に示すように、表示部２２にコントロールバー４７，４８が表示されたときに、表示部２２のコントロールバー４７，４８のいずれかの位置に指を接触させた状態で、指を図５中Ｐ方向に移動させると、指の移動にあわせて、コントロールバー４７，４８が移動する。このコントロールバー４７，４８の移動により、フォーカスポイントがユーザに認識できなくなるので、この場合には、例えばフォーカスポイントを中心とした矩形の枠５０が表示される。なお、例えばリフォーカス処理を行う場合、ユーザは、画像中の他の被写体に焦点が合うように、フォーカスポイントを指定することから、設定されたフォーカスポイントが指し示す被写体が含まれるように矩形の枠５０を表示すればよい。

次に、表示される画像に対するリフォーカス処理及び画像補正処理における処理の流れについて、図６のフローチャートを用いて説明する。このフローチャートは、例えば撮影により得られた画像が表示されることを契機に開始される。

ステップＳ１０１は、入力操作があるか否かを判定する処理である。ユーザによるタッチパネル４１への入力操作があれば、コントローラ２４は、ＣＰＵ３０を介して表示制御回路２３に入力操作信号を出力する。表示制御回路２３は、コントローラ２４から入力操作信号が入力された場合に、ステップＳ１０１の判定結果をＹｅｓとする。この場合、ステップＳ１０２に進む。一方、上述した入力操作信号が入力されない場合、表示制御回路２３は、ステップＳ１０１の判定結果をＮｏとする。この場合、ステップＳ１１８に進む。

ステップＳ１０２は、検知位置が１カ所であるか否かを判定する処理である。ユーザの指が表示部２２に接触すると、タッチパネル４１から入力操作信号が出力される。ここで、画像において、他のフォーカスポイントにリフォーカス処理を行う場合には、ユーザは例えば人差し指で表示部２２を押圧する。この場合、コントローラ２４は、１つの入力操作信号を、ＣＰＵ３０を介して表示制御回路２３に出力する。表示制御回路２３は、ステップＳ１０２の判定結果をＹｅｓとし、ステップＳ１０４に進む。

一方、画像を拡大／縮小させたいときには、ユーザは、人差し指と親指とでタッチパネル４１を押圧する。これを受けて、コントローラ２４は、２つの入力操作信号を、ＣＰＵ３０を介して表示制御回路２３に出力する。表示制御回路２３は、ステップＳ１０２の判定結果をＮｏとし、ステップＳ１１９に進む。

ステップＳ１０３は、リフォーカス処理である。表示制御回路２３は、入力操作信号からタッチパネル４１が検知した位置の情報を画像処理回路２１に出力する。画像処理回路２１は、入力された位置情報を用いて、新たなフォーカスポイントを設定し、視差マップ及び画像データを用いたリフォーカス処理を実行する。

ステップＳ１０４は、リフォーカス処理された画像を表示する処理である。表示制御回路２３は、リフォーカス処理が施された画像を、表示部２２に表示する。

ステップＳ１０５は、コントロールバーを設定する処理である。表示制御回路２３は、入力操作信号に付帯される、タッチパネル４１が検知した押圧力の情報から、表示装置４０に表示させるコントロールバーの数を設定する。この場合、タッチパネル４１が検知した押圧力が閾値Ｔｈ１以下であれば、コントロールバーの数を２とし、押圧力が閾値Ｔｈ１を超過し、閾値Ｔｈ２以下の場合にはコントロールバーの数を３にする。また、表示制御回路２３は、画像に被写体の顔が検出されている場合には、被写体の顔が含まれるように、表示するコントロールバーの大きさを設定する。

ステップＳ１０６は、画像データを合成する処理である。画像処理回路２１は、第１動画像データを内蔵メモリ３１から、リフォーカス処理が施された画像データをバッファメモリ２０から、それぞれ読み出す。そして、これら画像データを合成することで、表示用の動画像データを生成する。そして、画像処理回路２１は、合成された動画像データを表示制御回路２３に出力する。

ステップＳ１０７は、動画像を表示する処理である。表示制御回路２３は、ステップＳ１０７にて生成された表示用の動画像データを受け付けた後、受け付けた表示用の動画像データを用いて表示部２２に表示する。これにより、表示された動画像がフォーカスポイントを中心として放射状に波立つ様子、つまり、動画像上で波紋が表示される。

ステップＳ１０８は、コントロールバーを表示する処理である。表示制御回路２３は、ステップＳ１０７に示す動画像の表示が終了することに合わせて、リフォーカス処理が施された画像データと、コントロールバーに基づく画像データとを用いて、これら画像データに基づく画像を重畳して表示する。これにより、リフォーカス処理が施された画像に対して、フォーカスポイントを中心としたコントロールバーが表示部２２に表示される。

ステップＳ１０９は、コントロールバーの調整操作があるか否かを判定する処理である。ここで、タッチパネル４１への入力操作が行われた場合、コントローラ２４は、入力操作信号を表示制御回路２３に逐次出力する。表示制御回路２３は、入力される入力操作信号に付帯された位置情報を読み出す。そして、読み出した位置情報から、タッチパネル４１にて入力操作が行われた位置から、タッチパネル４１にて入力操作が行われた位置の軌跡を求める。そして表示制御回路２３は、求めた軌跡がコントロールバー上に位置するか否かを判定する。

例えば求めた軌跡がコントロールバー上に位置すると判定された場合、表示制御回路２３は、ステップＳ１０９の判定結果をＹｅｓとする。この場合、ステップＳ１１０に進む。一方、求めた軌跡がコントロールバー上に位置しない場合には、表示制御回路２３は、ステップＳ１０９の判定結果をＮｏとする。この場合、ステップＳ１１２に進む。

ステップＳ１１０は、画像補正する処理である。表示制御回路２３は、タッチパネル４１における入力操作の位置及びその軌跡から、該当するコントロールバーを求める。そして、表示制御回路２３は、求めたコントロールバーに対応付けられた画像補正処理の種類と、入力操作の移動量との情報を、画像処理回路２１に出力する。画像処理回路２１は、入力された画像補正処理の種類と、入力操作の移動量（移動角度）との情報を用いて、画像データに対する画像補正を実行する。なお、入力操作の移動量と、画像補正処理における補正量とは予め補正テーブルとして保持しておけばよい。これにより、表示部２２における入力操作に基づいた画像補正が実行される。

ステップＳ１１１は、画像補正された画像を表示する処理である。画像処理回路２１は、画像補正された画像データを表示制御回路２３に出力する。表示制御回路２３は、画像補正された画像データに基づいた画像を表示する。このステップＳ１１０の処理が実行されると、ステップＳ１１４に進む。

上述したステップＳ１０９の判定処理でＮｏとなる場合、ステップＳ１１２に進む。

ステップＳ１１２は、コントロールバーの移動操作があるか否かを判定する処理である。表示制御回路２３は、タッチパネル４１における入力操作の位置がコントロールバー上の位置であるか否かを判定する。そして、タッチパネル４１における入力操作の位置がコントロールバー上の位置である場合、表示制御回路２３は、ステップＳ１１２の判定結果をＹｅｓとする。この場合、ステップＳ１１３に進む。一方、タッチパネル４１における入力操作の位置がコントロールバー上の位置にない場合、表示制御回路２３は、ステップＳ１１２の判定結果をＮｏとする。この場合、ステップＳ１１４に進む。

ステップＳ１１３は、コントロールバーを移動表示させる処理である。表示制御回路２３は、タッチパネル４１における入力操作の位置の軌跡に基づいてコントロールバーを移動表示させる。このコントロールバーの移動に伴って、表示制御回路２３は、フォーカスポイントがある被写体を含む矩形の領域に対する枠を表示する。

ステップＳ１１４は、入力操作がないか否かを判定する処理である。表示制御回路２３は、コントローラ２４から出力される入力操作信号が入力されるか否かを判定する。コントローラ２４から入力操作信号が入力されない場合には、表示制御回路２３は、ステップＳ１１４の判定結果をＹｅｓとする。この場合、ステップＳ１１５に進む。一方、コントローラ２４からの入力操作信号が入力される場合には、表示制御回路２３は、ステップＳ１１４の判定結果をＮｏとする。この場合、ステップＳ１０９に戻る。

ステップＳ１１５は、所定時間が経過したか否かを判定する処理である。表示制御回路２３は、コントロールバーが表示されてからの経過時間を計時している。表示制御回路２３は、該経過時間が一定時間経過した場合に、ステップＳ１１５の判定結果をＹｅｓとする。この場合、ステップＳ１１６に進む。一方、上述した経過時間が一定時間経過していない場合、表示制御回路２３は、ステップＳ１１５の判定結果をＮｏとする。この場合、ステップＳ１１４に戻る。

ステップＳ１１６は、画像データを合成する処理である。画像処理回路２１は、第２動画像データを内蔵メモリ３１から、リフォーカス処理が施された画像データをバッファメモリ２０から、それぞれ読み出す。そして、これら画像データを合成することで、表示用の動画像データを生成する。そして、画像処理回路２１は、合成された動画像データを表示制御回路２３に出力する。

ステップＳ１１７は、動画像を表示する処理である。表示制御回路２３は、ステップＳ１１６にて生成された表示用の動画像データを受け付けた後、受け付けた表示用の動画像データを用いて表示部２２に表示する。これにより、コントロールバーの表示が終了し、コントロールバーの位置に波が発生し、この波がコントロールバーを中心にして放射状にさらに広がりながら、波が消滅する様子が表示される。

ステップＳ１１８は、画像表示を終了する指示があるか否かを判定する処理である。表示部２２への入力操作を受けて、コントローラ２４は該入力操作に基づく入力操作信号を表示制御回路２３に出力する。表示制御回路２３は、入力操作信号の種類を判定する。例えば入力操作信号が画像表示を終了させる操作信号であれば、表示制御回路２３は、ステップＳ１１８の判定結果をＹｅｓとする。この場合、表示制御回路２３は、表示装置４０に表示された画像の表示を終了する。これを受けて、表示部２２における画像の表示が終了する。

一方、入力操作信号が画像表示を終了させる操作信号以外の場合には、表示制御回路２３は、ステップＳ１１８の判定結果をＮｏとする。この場合、ステップＳ１０１に戻る。

上述したステップＳ１０２の判定処理でＮｏとなる場合、ステップＳ１１９に進む。

ステップＳ１１９は、検知位置が移動しているか否かを判定する処理である。このステップＳ１１９は、ステップＳ１０２の判定処理で、検知される位置が２カ所と判定された場合に実行される。ここで、コントローラ２４からの入力操作信号が逐次表示制御回路２３に入力されている。表示制御回路２３は、逐次入力される入力操作信号から得られる位置情報から検知される位置が変化しているか否かを判定する。検知される位置が変化している場合には、表示制御回路２３は、ステップＳ１１９の判定結果をＹｅｓとする。この場合、ステップＳ１２０に進む。一方、検知される位置が変化していない場合には、表示制御回路２３は、ステップＳ１１９の判定結果をＮｏとする。この場合、ステップＳ１０９に進む。

ステップＳ１２０は、拡大／縮小表示する処理である。表示制御回路２３は、入力操作信号から得られる位置情報に基づいて、画像を拡大／縮小表示する。例えば、表示制御回路２３は、タッチパネル４１において始めに検知される２カ所の位置を基準位置として、これら基準位置の間の距離を算出する。そして、表示制御回路２３は、それ以降に検知される２カ所の位置の間の距離を順次算出し、算出した距離を基準位置間の距離で除算することで、比率を求める。そして、表示制御回路２３は、求めた比率と画像データとを画像処理回路２１に出力する。画像処理回路２１は、入力される比率を用いて、画像データに対する解像度変換処理を実行する。この解像度変換処理を行った画像データは、表示制御回路２３に出力される。表示制御回路２３は、解像度変換処理された画像データに基づく画像を表示する。

このように、撮像装置１０により得られた画像を表示したときにタッチパネル４１を介した入力操作を行うと、入力操作が行われた位置をフォーカスポイントとしてリフォーカス処理が実行された画像が表示される。この画像の表示の後、フォーカスポイントを中心にして動画像が放射状に波立つ様子が表示される。そして、放射状に広がる波が所定の大きさになると、円形のコントロールバーが表示される。これにより、コントロールバーを用いた画像補正処理を行うことができる。つまり、リフォーカス処理と、画像補正処理とを少ない操作で容易に連続して実行することが可能となる。ここで、表示されるコントロールバーの大きさは、フォーカスポイントが含まれる被写体の大きさ、コントラスト比などによって決定されるので、対象となるフォーカスポイント周縁の状態を見ながら画像補正処理を行うことが可能となる。

また、コントロールバーの位置を指で押圧した状態で指を移動させることで、コントロールバーを移動させることができるので、コントロールバーが表示部２２の表示画面の端部に位置する場合に、コントロールバーにおける操作性が低下することを防止することができる。なお、この場合、コントロールバーの位置を移動させるだけでなく、コントロールバーの大きさを変更することも可能である。

また、２本の指を用いた操作により、表示される画像を拡大して表示することが出来るので、フォーカスポイントを詳細に設定することが可能となる。また、画像を拡大することで、画像補正処理を詳細に行うことができる。

本実施形態では、フォーカスポイントを指定する際のタッチパネルへの押圧力に基づいて、コントロールバーの数を設定しているが、これに限定される必要はなく、タッチパネルへの押圧力に関係なく、予め設定された数のパラメータを表示させることも可能である。この場合、表示させるコントロールバーを一度に表示させるのではなく、操作間隔に合わせて順に表示させていけばよい。

また、表示されたコントロールバーの数が少ない場合もあるので、例えばフォーカスポイントとして設定した位置を複数回連続して押圧操作したときに、該押圧操作した数分のコントロールバーを表示させる、コントロールバーを追加して表示することも可能である。また、コントロールバーが表示された後に、フォーカスポイント、或いはコントロールバーの位置を押圧操作したことを受けて、コントロールバーの内容を切り替えることも可能である。

本実施形態では、マイクロレンズアレイを備えた撮像装置を例に取り上げているが、これに限定される必要はなく、１回の撮影で焦点が合う位置を変化させながら複数の画像を取得する撮像装置や、多眼カメラ、スマートフォン、タブレットなどタッチパネルで画像を見ることが可能な電子機器であってもよい。

本実施形態では、画像処理回路に設けられたリフォーカス処理部を利用して、表示部に表示させる画像のリフォーカス処理を行っているが、これに限定される必要はなく、表示制御回路に画像処理回路の機能を設け、表示制御回路において、リフォーカス処理や画像補正を行うことも可能である。

本実施形態では、動画像がフォーカスポイントを中心にして放射状に波立つ様子を表示するようにしているが、これに限定される必要はなく、円形のコントローラバーを所定の大きさまで大きく変化させる動画表示を、リフォーカス処理された画像に重畳させて表示することも可能である。

本実施形態では、コントロールバーの詳細については、その詳細を触れていないが、フォーカスポイントの位置によっては、円形のコントロールバーは、その一部しか表示されない場合もある（図３（ｂ）参照）。しかしながら、円形のコントロールバーが全て表示されなくても、コントロールバーを用いた入力操作を行うことができれば画像補正処理を行うことができるので、コントロールバー自体は、必ずしも円形で表示される必要はなく、円弧形状であってもよい。また、円形状のコントロールバーとしているが、これに限定される必要はなく、楕円形状のコントロールバーであってもよい。

本実施形態では、コントロールバーの色として、白色、灰色、黒色など、モノトーンの色としているが、表示させる画像によっては、コントロールバーの表示がわかりにくいという問題があるので、コントロールバーの色は、モノトーンで示される色に限定される必要はない。また、この他に、画像とコントロールバーとを識別するために、コントロールバーの周縁部に、異なる色を用いた縁取りを施してもよい。これにより、コントロールバーの視認性を向上させることができる。

本実施形態では、撮像装置１０を例に取り上げているが、これに限定される必要はなく、リフォーカス処理を行うことが可能な表示装置であってもよい。また、この他に、パーソナルコンピュータに本発明を適用することができる。この場合、タッチパネルを備えた表示部を備えている必要はなく、表示部に表示されるポインタを、マウスなどのポインティングデバイスを用いて操作することで、コントロールバーの操作を行うことが可能である。

また、撮像装置や、表示装置の他に、画像編集プログラムであってもよい。この画像編集プログラムは、図２〜図５に示す表示や、図６に示すフォローチャートの処理をコンピュータに実行させることができる画像編集プログラムである。なお、この画像編集プログラムは、不揮発性メモリからなるメモリカード、光学ディスク、磁気ディスクなど、コンピュータが読み取ることができる記憶媒体に記憶されていることが好ましい。

１０…撮像装置、２１…画像処理回路、２２…表示部、２３…表示制御回路、２４…コントローラ、３７…マップ生成部、３８…リフォーカス処理部、３９…表示装置、４０…タッチパネル

Claims (7)

1. 画像を表示する表示部と、
   前記表示部の前面に設けられ、入力操作を行うタッチパネルと、
   前記表示部に表示される前記画像に対して、前記タッチパネルによる前記入力操作が行われた位置を焦点が合う位置に設定するリフォーカス処理を実行するリフォーカス処理部と、
   前記リフォーカス処理が施された前記画像を、前記入力操作が行われた位置を中心として放射状に波立たせて表示した後、前記放射状に波立つ表示の少なくとも一部を利用した画像補正処理用の操作部を表示する表示制御部と、
   前記画像補正処理用の操作部に対する前記タッチパネルの入力操作に基づいて、前記リフォーカス処理が施された前記画像の画像補正処理を実行する画像補正部と、
   を備えたことを特徴とする表示装置。
2. 請求項１に記載の表示装置において、
   前記表示制御部は、前記タッチパネルの入力操作の回数に応じて、前記放射状に波立たせる波の数を設定することを特徴とする表示装置。
3. 請求項１に記載の表示装置において、
   前記タッチパネルは、前記入力操作時の押圧力を検知することが可能であり、
   前記表示制御部は、前記入力操作時の押圧力に基づいて、前記放射状に波立たせる波の数を設定することを特徴とする表示装置。
4. 請求項１から請求項３のいずれか１項に記載の表示装置において、
   前記表示制御部は、前記焦点を合わせる位置が含まれる被写体の大きさ、又は前記画像のコントラスト比に基づいて、画像補正処理用の操作部の大きさが設定されることを特徴とする表示装置。
5. 請求項1から請求項４のいずれか1項に記載の表示装置において、
   前記表示制御部は、前記画像補正処理用の操作部が表示されてから所定時間、前記入力操作が行われない場合に、前記画像補正処理用の操作部の表示を終了し、前記入力操作が行われた位置を中心として放射状に波立たせる表示に戻ることを特徴とする表示装置。
6. 請求項１から請求項５に記載の表示装置と、
   取り込まれた被写体光に基づく画像を取得する撮像素子と、
   前記画像の各画素における距離情報をまとめた距離マップを生成する生成部と、
   を備え、
   前記リフォーカス処理部は、前記距離マップに基づいたリフォーカス処理を実行することを特徴とする撮像装置。
7. 表示された画像に対して入力操作を行う入力工程と、
   表示された前記画像に対して、前記入力工程による入力操作が行われた位置を焦点が合う位置に設定したリフォーカス処理を実行する処理工程と、
   前記リフォーカス処理が施された前記画像を、前記入力操作が行われた位置を中心として放射状に波立たせて表示する第1の表示工程と、
   前記放射状に波立つ表示の少なくとも一部を利用した画像補正処理用の操作部を表示する第２の表示工程と、
   前記画像補正処理用の操作部に対する前記タッチパネルの入力操作に基づいて、前記リフォーカス処理が施された前記画像の画像補正処理を実行する画像補正工程と、
   を、コンピュータに実行させることが可能な画像編集プログラム。

Images