JP2018064280A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】使いやすいＵＩを備えた画像処理装置および画像処理方法を提供する。【解決手段】この画像処理装置は、撮像データに基づき表示装置に表示する第１の表示画像を生成すると共に、前記表示装置に表示される図形を変更するユーザの入力に基づいて、前記第１の表示画像から被写界深度を変更した第２の表示画像を生成する画像生成部を具備する。【選択図】図６

Description

本技術は、ユーザ・インタフェース（ＵＩ）を用いて画像をリフォーカスする際のパラメータを指定できる画像処理装置および画像処理方法に関する。

撮像装置において、対物レンズと撮像素子の間のライト・フィールドを記録することにより、画像を撮像した後で、自由に合焦位置を変えて画像を現像し直す（リフォーカスする）ことが出来る撮像技術が公開されている。（例えば、特許文献１参照。）

また、リフォーカスする際に必要なパラメータである、合焦位置と被写界深度を指定するためのＵＩとして、合焦させたい被写体に画面上でタッチして合焦位置を指定し、タッチ時間の長さで被写界深度を指定するものがある。（例えば、特許文献２参照。）

特許４９００７２３号公報 特開２０１２−９５１８６号公報（第３実施例）

しかし、被写界深度を指定するために、タッチ時間の長さを用いると、時間は経過するに従って増加するのみの量であるため、被写界深度を初期値から増加させる方向のみ、または減少させる方向のみの指定しか行えなかった。

また、従来のＵＩは、その他様々な問題点を持っており、使いやすいとは言えなかった。

以上のような事情に鑑み、本技術の目的は、使いやすいＵＩを備えた画像処理装置および画像処理方法を提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、撮像装置により撮像された被写体の第１の像を表示画面に表示させ、前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を各々受け付け、前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる制御部を具備する。

本技術では、第１の位置と第２の位置との距離により、被写界深度を指定できるので、使いやすいＵＩとすることが出来る。

上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記算出された被写界深度に対応するサイズを有する図形を前記表示画面に表示させる構成でもよい。

上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記図形として、前記第１の位置を中心とし、前記第１の位置と前記第２の位置との前記距離を半径とした円を表示する構成でもよい。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、前記第１の像および前記第２の像を、撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間に、前記撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに基づいて生成する画像処理部を更に具備する構成でもよい。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、前記画像処理部は、前記制御部により受け付けられた前記第１の位置に応じて、前記撮像レンズからリフォーカス面までの距離情報を算出する距離情報算出部と、前記被写界深度と前記距離情報算出部により算出された距離情報に基づいてリフォーカス係数を設定するリフォーカス係数設定部と、前記リフォーカス係数設定部により設定されたリフォーカス係数に基づいて前記撮像データの並べ替えを行うことにより任意の焦点における画像を生成する並べ替え処理部とを有する構成でもよい。

上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記図形として、前記第１の位置と前記第２の位置を結ぶ線分を直径とした円を表示する構成でもよい。

上記目的を達成するため、本技術の一形態に係る電子機器は、撮像装置により撮像された被写体の第１の像を表示画面に表示させ、前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を各々受け付け、前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる制御部と、前記表示画面を有する表示部と、前記第１の位置と前記第２の位置を検知可能な位置検知部とを具備する。

上記目的を達成するため、本技術の一形態に係るサーバは、撮像装置により撮像された被写体の第１の像を端末装置に送信し、前記第１の像が表示された前記端末装置においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を前記端末装置から受信し、前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記端末装置に送信する制御部を具備する。

上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、撮像装置により撮像された被写体の第１の像を表示画面に表示させ、前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を各々受け付け、前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる制御部としてコンピュータを機能させる。

上記目的を達成するため、本技術の一形態に係る情報処理方法では、撮像装置により撮像された被写体の第１の像を表示画面に表示させ、前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を制御部にて各々受け付け、前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を制御部により算出し、前記第１の位置と前記第２の位置との距離に対応した被写界深度を制御部により算出し、前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる。

以上のように、本技術によれば、使いやすいＵＩを備えることが出来る。

本技術に係る撮像装置の構成を示す図である。 画像処理部１４の全体構成を表す機能ブロック図である。 撮像装置１を搭載したタッチパネル式の表示装置２の全体構成を表す機能ブロック図である。 ユーザが、画像ＩＭＧ０の表示されているタッチパネル１５０上で、被写体ＳＵＢ１にタッチし、画像ＩＭＧ１が表示された様子を示す図である。 タッチパネル１５０上でユーザがタッチした座標位置に基づき、距離ｄを求めるためのデプスマップＤＭの例を示す図である。 ユーザが、被写体ＳＵＢ２上を人差し指によりタッチして表示されているサークルＣＩＲ０を、次に親指によりタッチしたままドラッグし、より半径の大きいサークルＣＩＲ１まで広げた様子を示す図である。 ユーザが、被写体ＳＵＢ２上を人差し指によりタッチして表示されたサークルＣＩＲ０を、親指によるドラッグにより、更に半径の大きいサークルＣＩＲ２まで広げた様子を示す図である。 リフォーカス用ＵＩの処理の流れについて説明するフローチャートである。 ユーザが被写体ＳＵＢ１をタッチした際、サークルＣＩＲ０が描画されると共に、撮像装置１から被写体ＳＵＢ１までの距離が文字列ＳＴＲによりタッチ位置Ｐ０の近傍に表示されている例を示す図である。 ユーザが、画像ＩＭＧ０の表示されたタッチパネル１５０上の２点Ｐ０およびＰ１をタッチし、タッチした２点を直径とするサークルが描かれている例を示す図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
［装置の構成について］
本技術に係る表示装置の構成を説明する。表示装置にはリフォーカス画像を撮像する撮像装置が含まれていてもよい。最初に、撮像装置の構成について説明する。

［撮像装置の構成について］
図１は、本技術の一実施の形態に係る撮像装置１の全体構成を表すものである。撮像装置１は、撮像対象物２を撮像して画像処理を施すことにより画像データＤoutを出力するものである。撮像装置１は、開口絞り１０を有する撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０の開口の形状（例えば円形状）に相似形となる撮像対象物２の像が撮像素子１３上にマイクロレンズごとに形成されるようになっている。

撮像レンズ１１は、撮像対象物２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。

マイクロレンズアレイ１２は、複数のマイクロレンズが２次元配列したものであり、撮像レンズ１１の焦点面（結像面）に配置されている。各マイクロレンズは、例えば円形の平面形状を有しており、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。

撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して複数の画素データを含む撮像データＤ０（多視点画像）を取得するものであり、マイクロレンズアレイ１２の焦点面（結像面）に配置されている。この撮像素子１３は、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。

画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して、所定の画像処理を施すことにより、任意の焦点に設定した画像（再構築画像、リフォーカス画像）データＤoutを生成できるようになっている。この際、画像処理部１４では、撮像データＤ０から所定の距離情報（ディスパリティマップまたはデプスマップ）が抽出され、この距離情報に基づいて撮像データの並べ替えが行われるようになっている。この画像処理部１４の詳細な構成については後述する。画像処理部１４の処理は、プログラムをコンピュータに実行させることにより実現されてもよい。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４、撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

ここで、図２を参照して、画像処理部１４の詳細な構成について説明する。図２は、画像処理部１４の全体構成を表す機能ブロック図である。画像処理部１４は、欠陥補正部１４１、クランプ処理部１４２、距離情報抽出部１４３、リフォーカス係数設定部１４９、並べ替え処理部１４４、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７、およびガンマ補正部１４８から構成されている。

欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。クランプ処理部１４２は、欠陥補正部１４１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。また、クランプ処理がなされた撮像データに対して、デモザイク処理などのカラー補間処理を施すようにしてもよい。

距離情報抽出部１４３は、撮像データＤ０に基づいて所定の距離情報を抽出するものであり、例えば、以下のような位相差検出部および距離情報算出部（いずれも図示せず）を含んで構成されている。

位相差検出部は、クランプ処理部１４２により供給される撮像データＤ１に基づいて、互いに視差の異なる複数の視差画像（異なる視点による任意視点画像）を生成し、これら複数の視差画像のうち少なくとも２枚の視差画像間の位相差を検出するものである。なお、位相差を検出するための視差画像は、撮像素子１３上で受光したユニット像同士の間で、同一の位置に配置された画素Ｐで取得された画素データを抽出して合成することにより生成することができる。このため、生成される視差画像の数は、１つのマイクロレンズに割り当てられた画素と同数となる。

距離情報算出部は、位相差検出部によって検出された位相差に基づいて、撮像レンズと合焦させたい（合焦位置を定める）リフォーカス面との間の距離情報（後述の距離ｄ）、すなわち、リフォーカス時の撮像レンズの物体側の焦点距離を算出するものである。

リフォーカス係数設定部１４９は、距離情報抽出部１４３により抽出された（距離情報算出部により算出された）距離情報および既定の被写界深度情報に基づいて、並べ替え処理部１４４における積分処理（リフォーカス演算処理）に用いられるリフォーカス係数αを設定するものである。なお、撮像データＤ１は、リフォーカス係数αと共に並べ替え処理部１４４に入力されるようになっている。

並べ替え処理部１４４は、リフォーカス係数設定部１４９により設定されたリフォーカス係数αを用いて、撮像データＤ１に対して、所定の並べ替え処理、例えば「ライト・フィールド・フォトグラフィー」と呼ばれる手法を用いたリフォーカス演算処理を施すことにより、撮像データＤ２（リフォーカス画像）を生成するものである。

なお、リフォーカス画像においては、指定された合焦位置を間に挟んで、その手前方向および奥側方向に所定量だけ被写界深度の深さが設けられるが、合焦位置から手前方向の被写界深度と合焦位置から奥側方向の被写界深度は、等量でもよい。または、両方の被写界深度は、一定の比率で配分されてもよいし、任意の深さに設定されてもよい。

ノイズ低減部１４５は、並べ替え処理部１４４により供給される撮像データＤ２に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。輪郭強調部１４６は、ノイズ低減部１４５により供給される撮像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。

ホワイトバランス調整部１４７は、輪郭強調部１４６により供給される撮像データに対し、カラーフィルタの通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うものである。

ガンマ補正部１４８は、ホワイトバランス調整部１４７により供給される撮像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、撮像データＤoutを生成するものである。

［表示装置の構成について］
次に、表示装置の全体構成を説明する。図３は、撮像装置１を搭載したタッチパネル式の表示装置２の全体構成を表す機能ブロック図である。

表示装置２は、表示画像面内の任意の位置でフォーカス調整を行うことができるものであり、表示した画像（撮像データＤout）から、これとは異なる焦点面に設定された画像（撮像データＤRout）への切り替えができるようになっている。この表示装置２は、画像処理部１４を含む撮像装置１、タッチパネル１５０、距離情報算出部１５１、リフォーカス係数設定部１４９、並べ替え処理部１４４、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７、ガンマ補正部１４８、およびこれらの機能ブロックを統合的に制御する制御部（図示せず）を含んで構成されている。なお、上記撮像装置１と同様の画像処理については同一の符号を付し、適宜説明を省略する。

タッチパネル１５０は、撮像装置１から出力された撮像データＤoutに基づく再構築画像を表示パネル（表示部）に表示する表示制御部と、表示された画像の任意の位置が指定されたときに、その位置を検知する位置検知部とから構成されている。例えば、表示パネルに指やペンなどが接触することにより、その接触した位置が、例えば感圧式や静電式によって検知されるようになっている。表示パネルとしては、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどが用いられる。

距離情報算出部１５１は、上述した画像処理部１４の距離情報抽出部１４３（位相差検出部）で検出した各視差画像同士の位相差ディスパリティマップまたはデプスマップDMから、タッチパネル１５０により検知された位置（Pixel）に応じて位相差（ディスパリティ）を選択し、このディスパリティに基づいて、距離ｄを算出するものである。

例えば、表示されている画像（以下、画像ＩＭＧ０という）の指定された位置においてフォーカス（合焦）した画像（以下、画像ＩＭＧ１という）を生成したい場合には、距離ｄを、撮像レンズと、タッチパネル１５０により検知された位置で合焦となるようなリフォーカス面との間の距離として、検知された位置におけるディスパリティを用いて算出するようにする。

このような表示装置２では、タッチパネル１５０において、表示制御部により、撮像データＤoutに基づく画像ＩＭＧ０が表示され、画像ＩＭＧ０の任意の位置が指定されると、指定された位置が検知されて、位置についての情報（位置情報）および被写界深度についての情報（被写界深度情報）が距離情報算出部１５１に入力される。

一方、距離情報算出部１５１には、撮像装置１の画像処理部１４における距離情報抽出部１４３（位相差検出部）から各視差画像同士のディスパリティマップまたはデプスマップＤＭが入力される。

距離情報算出部１５１では、例えば指定された位置に対応するディスパリティが選択されたのち、この選択されたディスパリティに基づいて距離ｄが算出され、撮像データＤoutと共にリフォーカス係数設定部１４９に入力される。

リフォーカス係数設定部１４９では、上述したように距離ｄおよび被写界深度情報に基づいてリフォーカス係数αが設定され、撮像データＤoutと共に並べ替え処理部１４４に入力される。

並べ替え処理部１４４では、リフォーカス係数αに基づいて撮像データＤoutの並べ替え処理がなされ、例えば画像ＩＭＧ０の指定された位置において合焦した画像（撮像データＤ３）が再構築される。このようにして再構築された撮像データＤ３は、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７、およびガンマ補正部１４８による所定の画像処理を施され、撮像データＤRoutとして、タッチパネル１５０の表示制御部に入力される。このようにして、表示制御部により、表示パネルには画像ＩＭＧ０において指定された位置で合焦した画像ＩＭＧ１が表示される。

以上のように、画像ＩＭＧ０の指定された位置に応じてディスパリティを検出し、所定の距離情報を算出してリフォーカス係数αを設定し、撮像データの並べ替えを行うようにしたので、画像ＩＭＧ０から任意の位置でフォーカス調整がなされた画像ＩＭＧ１に瞬時に切り替えて表示することが可能となる。

＜変形例１（撮像装置と表示装置の分離）＞
なお、上記の説明では、表示装置２に撮像装置１が含まれる構成としたが、撮像装置１と表示装置２Ｂとが分かれている構成でもよい。その場合、表示装置２Ｂには、外部にある撮像装置１や、クラウド上にあるサーバなどから、撮像データＤoutおよびＤＭが供給される。

＜変形例２（表示装置の簡易化とクラウドの利用）＞
また、変形例１の表示装置２Ｂから、距離情報算出部１５１、リフォーカス係数設定部１４９、並び替え処理部１４４、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７、およびガンマ補正部１４８を除いた表示装置２Ｃを用いる構成でもよい。その場合、表示装置２Ｃには、最初、クラウド上のサーバから撮像データＤoutが供給され、タッチパネル１５０の表示パネルに画像ＩＭＧ０が表示される。

ユーザが、合焦させたい被写体の位置にタッチして位置情報を指定し、さらに、後述する方法により被写界深度情報を指定すると、表示装置２Ｃは、位置情報および被写界深度情報をサーバに送信する。

サーバは、距離情報算出部１５１、リフォーカス係数設定部１４９、並び替え処理部１４４、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７、およびガンマ補正部１４８を含んで構成されている。サーバは、これらの機能ブロックにより、撮像データＤRoutを生成し、表示装置２Ｃに送信する。

表示装置２Ｃは、サーバから供給された撮像データＤRoutを、タッチパネル１５０の表示パネルに画像ＩＭＧ１として表示する。

［リフォーカス用のＵＩについて］
次に、リフォーカス時の合焦位置および被写界深度を指定するＵＩについて、詳細を説明する。

（合焦位置の指定）
最初に、本技術のＵＩにおける、合焦位置の指定方法について説明する。ユーザが所望する位置でリフォーカスするための合焦位置の指定は、ユーザがタッチパネル１５０上に表示されている画像ＩＭＧ０上で、合焦させたい被写体にタッチすることにより指定する。

図４は、ユーザが、画像ＩＭＧ０の表示されているタッチパネル１５０上で、被写体ＳＵＢ１にタッチし、画像ＩＭＧ１が表示された様子を示す図である。この図から分かるように、ユーザが被写体ＳＵＢ１をタッチすることにより、合焦位置として被写体ＳＵＢ１までの距離ｄが指定され、リフォーカスが行われ、被写体ＳＵＢ１に合焦し、被写体ＳＵＢ１より後方にある被写体ＳＵＢ２などがぼけた画像ＩＭＧ１が表示されている。

そして、タッチ位置Ｐ０の周辺には、画像ＩＭＧ１の被写界深度の深さを相対的に表すサークルＣＩＲ０が表示されている。

なお、このサークルＣＩＲ０は、ユーザがタッチパネル１５０にタッチした位置Ｐ０を中心として、規定値または前回指定した被写界深度の相対的な大きさを半径として描画される。

（デプスマップの例）
ＵＩとして表示パネル上に表示されるものでは無いが、タッチパネル１５０上でユーザがタッチした座標位置に基づき、距離ｄを求めるためのデプスマップＤＭの例を図５に示す。

この図では、各被写体の撮像装置からの距離ｄが、色の濃淡で示されている。１つの被写体では、距離ｄがほぼ等しいので、色の濃さとしてほぼ等しい濃さに表現されている。なお、実際のデプスマップＤＭでは、各画素がそれぞれ距離ｄの値を保有する構成となる。

ユーザがタッチパネル１５０上をタッチすると、位置検出部がタッチした位置のＸＹ座標を検出し、このデプスマップＤＭと照らし合わせることにより、タッチ位置の距離ｄを求めることが出来る。

このデプスマップＤＭは、上述したディスパリティマップに基づき算出された距離ｄを画素ごとの値として持たせることにより生成することが出来る。

（被写界深度の指定）
次に、本技術のＵＩにおける、被写界深度の指定方法について説明する。ユーザが所望する被写界深度でリフォーカスするための被写界深度の指定は、ユーザが合焦位置を指定するために最初にタッチした位置Ｐ０の周囲に描画されるサークルＣＩＲ０の大きさを変更することにより行われる。大きさの変更は、次にタッチした位置Ｐ１をドラッグして位置Ｐ０とＰ１の間の距離を変更することにより行われる。

図６は、ユーザが、被写体ＳＵＢ２上を人差し指によりタッチして表示されているサークルＣＩＲ０を、次に親指によりタッチしたままドラッグし、より半径の大きいサークルＣＩＲ１まで広げた様子を示す図である。

この図では、まだ被写界深度が浅いので、被写体ＳＵＢ２には合焦しているが、被写体ＳＵＢ２よりも手前にある被写体ＳＵＢ１はぼけている。また、被写体ＳＵＢ２よりも後方にある被写体ＳＵＢ３などもぼけている。

次に、被写界深度をさらに変更した場合の様子を示す。図７は、ユーザが、被写体ＳＵＢ２上を人差し指によりタッチして表示されたサークルＣＩＲ０を、親指によるドラッグにより、更に半径の大きいサークルＣＩＲ２まで広げた様子を示す図である。

この図では、被写界深度の深さがさらに広げられたので、前図とは異なり、被写体ＳＵＢ２に加えて、その前後にある被写体ＳＵＢ１およびＳＵＢ３にも合焦している。
以上、リフォーカス用のＵＩについて説明した。

［ＵＩの処理の流れについて］
次に、本技術のリフォーカス用ＵＩの処理の流れについて説明する。図８は、リフォーカス用ＵＩの処理の流れについて説明するフローチャートである。

（２点をタッチする場合の処理）
最初に、１点目、次いで２点目をタッチする場合の処理について説明する。
まず、画像処理部１４が、合焦位置および被写界深度のパラメータを初期値に設定し、これらの初期値を用いて撮像データＤoutを生成する。（ステップＳ１）

次に、タッチパネル１５０の表示制御部が、表示パネル上に、撮像データＤoutに基づいた画像ＩＭＧ０を表示する。（ステップＳ２）

次に、タッチパネル１５０の位置検知部が、タッチパネル１５０に１点目の接触があったか否かを判断する。（ステップＳ３）

１点目の接触があった場合（ステップＳ３のＹｅｓ）、距離情報算出部１５１は、接触があった位置Ｐ０の座標を位置検知部から取得し、画像処理部１４から取得したデプスマップＤＭに基づき、その位置Ｐ０の距離ｄを求める。（ステップＳ４）

次に、リフォーカス係数設定部１４９が、求められた距離ｄから、合焦位置のパラメータを変更し、リフォーカス係数αを再設定する。（ステップＳ５）

次に、並べ替え処理部１４４により、再設定されたリフォーカス係数αを用いて、リフォーカス画像の再構築が行われ、画像ＩＭＧ１が生成される。生成された画像ＩＭＧ１は、タッチパネル１５０の表示制御部により表示パネル上に表示される。（ステップＳ６）

次に、タッチパネル１５０の表示制御部が、設定された被写界深度に対応した大きさのサークルを表示パネル上に描画する。（ステップＳ７）

次に、タッチパネル１５０の位置検知部が、タッチパネル１５０に２点目の接触があったか否かを判断する。（ステップＳ８）

２点目の接触があった場合（ステップＳ８のＹｅｓ）、距離情報算出部１５１は、接触があった位置Ｐ１の座標を位置検知部から取得し、位置Ｐ０および位置Ｐ１の座標から、これら２点間の距離を算出する。（ステップＳ９）

次に、リフォーカス係数設定部１４９が、算出された距離から被写界深度のパラメータを再設定する。（ステップＳ１０）

ステップ１０の後、表示装置２は、制御をステップ４に戻して、処理を継続する。
以上、２点をタッチする場合の処理について説明した。

（１点目の接触が無い場合の処理）
ステップＳ３において、１点目の接触が無い場合（ステップＳ３のＮｏ）、次に、タッチパネル１５０の位置検知部は、１点目の接触が無いまま一定時間が経過したか否かを判断する。（ステップＳ１１）

まだ、一定時間が経過していない場合（ステップＳ１１のＮｏ）、表示装置２は、制御をステップＳ３に戻す。

一定時間が経過した場合（ステップＳ１１のＹｅｓ）、次に、リフォーカス係数設定部１４９が、被写界深度のパラメータを初期値に戻して再設定する。（ステップＳ１２）

ステップＳ１２の後、表示装置２は、制御をステップＳ３に戻す。
以上、１点目の接触が無い場合の処理について説明した。

（１点目の接触はあったが、２点目の接触が無い場合の処理）
ステップＳ８において、２点目の接触が無い場合（ステップＳ８のＮｏ）、次に、タッチパネル１５０の位置検知部は、１点目の接触が保持されているか否かを判断する。（ステップＳ１３）

１点目の接触が保持されている場合（ステップＳ１３のＹｅｓ）、表示装置２は、制御をステップ４に戻し、処理を継続する。

１点目の接触が保持されていない場合（ステップＳ１３のＮｏ）、表示装置２は、制御をステップ３に戻し、処理を継続する。

以上、１点目の接触はあったが、２点目の接触が無い場合の処理について説明した。

＜変形例３（距離の表示）＞
上記の説明では、１点目のタッチを行った際に、サークルが表示されるとしたが、サークルを描画する際、同時に、タッチした被写体までの距離を表示させる構成でもよい。

図９は、ユーザが被写体ＳＵＢ１をタッチした際、サークルＣＩＲ０が描画されると共に、撮像装置１から被写体ＳＵＢ１までの距離が文字列ＳＴＲによりタッチ位置Ｐ０の近傍に表示されている例を示す図である。

＜変形例４（タッチした２点を直径とするサークル）＞
上記の説明では、タッチした１点目を中心とし、タッチした２点目と１点目との距離を半径とするサークルを描いたが、タッチした２点の距離を直径とするサークルを描いてもよい。この構成では、タッチした２点を結ぶ線分の中点の位置が、合焦させる位置として指定される。なお、２点のタッチは、同時であってもよいし、１点ずつ順次タッチされてもよい。

図１０は、ユーザが、画像ＩＭＧ０の表示されたタッチパネル１５０上の２点Ｐ０およびＰ１をタッチし、タッチした２点を直径とするサークルが描かれている例を示す図である。この図に示すように、タッチした２点を直径とするサークルを描く場合、サークルの中心点の部分に指を置く必要がないので、合焦位置となる部分が指で隠れず、見やすくなるという利点がある。

＜変形例５（図形による被写界深度の表現）＞
上記の説明では、被写界深度の相対的な深さを表すために、サークルを描画したが、これに限らず、例えば線分の長さや、他の図形の大きさにより被写界深度の相対的な深さを表してもよい。

他の図形として、三角形、四角形、ハートマーク、カメラの絞り羽根を模したものなどが挙げられる。

＜変形例６（サークルによる絞り値の指定）＞
上記の説明では、サークルの大きさが、相対的な被写界深度の深さを表すとしたが、サークルの大きさは、被写界深度ではなく、カメラのレンズの絞り値を表現するものであってもよい。この場合、サークルが小さくなると絞りが絞られたとし被写界深度が深くなり、サークルが大きくなると絞りが開かれたとし被写界深度が浅くなる。

＜変形例７（絞り値の表示）＞
上記の変形例３では、１点目のタッチ位置近傍に距離を表示するとしたが、設定されている被写界深度に対応した絞り値を表示してもよい。

＜変形例８（既定のサークルの大きさ）＞
初期値の被写界深度に対応して表示されるサークルの大きさは、タッチパネル１５０の表示パネルの大きさや解像度により、適切な大きさが選択される構成でもよい。

例えば、表示装置２が、画面サイズが５０インチのテレビジョン受像器である場合と、５インチのスマートフォンである場合とでは、表示される画像ＩＭＧ０の大きさは大幅に異なる。しかし、両者を操作するユーザの手の大きさは同じなので、規定値として表示されるサークルの大きさは、ユーザが指でタッチしやすい距離になるように調整されると使いやすい。

９インチの表示パネルを持つ表示装置２であれば、例えば半径２センチメートルのサークルを描くことが考えられる。

もちろん、既定のサークルの大きさは、ユーザが設定できる構成でもよい。

＜変形例９（既定のぼけ方）＞
上記の説明では、最初、１点目にタッチした際の被写界深度は初期値として設定されたものが使用されリフォーカス画像が再構築されるとしたが、この初期値は、ユーザが設定により変更出来るものであってもよい。この構成によると、１点目にユーザがタッチした際の既定のぼけ方をユーザは好みのぼけ方に変更することが出来る。

＜変形例１０（リセット領域）＞
本技術のＵＩには、ユーザが任意の合焦位置および被写界深度によりリフォーカス画像を表示パネル上に表示させた後、ユーザが明示的に合焦位置および被写界深度を初期値にリセットするための指示を受け付けるリセット領域を設けてもよい。

ユーザがリセット領域にタッチすることにより、簡単に合焦位置や被写界深度を初期値にリセットすることが出来る。

＜変形例１１（手を離した後の被写界深度の保持）＞
本技術のＵＩでは、ユーザが合焦位置および被写界深度を指定するためにタッチパネル１５０をタッチして操作を行った後、タッチパネル１５０から手を離しても、指定された被写界深度の画像を一定時間表示する構成でもよい。
この構成により、ユーザはタッチパネル１５０から指を離し、表示パネル上に遮蔽物が無い状態でリフォーカス画像を鑑賞することが出来る。

＜変形例１２（一定時間無操作によるリセット）＞
本技術のＵＩでは、ユーザが一定時間タッチパネル１５０に触れなかった場合、リフォーカス画像の合焦位置と被写界深度を初期値にリセットする構成でもよい。

＜変形例１３（被写界深度の指定が既定値を超えた場合の全焦点画像）＞
本技術のＵＩでは、ユーザが指定する被写界深度の深さが所定の値を超えた場合、表示装置２は、リフォーカス画像として、全焦点画像を生成する構成でもよい。

＜変形例１４（予めリフォーカス画像を生成する）＞
上記の説明では、ユーザがタッチパネル１５０上をタッチする度に、リフォーカス画像の再構築を行ったが、この構成に限らず、多視点画像から、予めユーザが指定する可能性がある合焦位置および被写界深度に対応した画像を複数枚構築し、表示装置またはサーバに設けた記憶部に保存しておく構成でもよい。

この構成では、ユーザがタッチした後にリフォーカス画像を再構築する時間が省けるので、高速にリフォーカス画像を表示することが出来る。

＜変形例１５（典型的なカメラによる画像の準備）＞
変形例１４では、多視点画像から、予めユーザが指定する可能性がある合焦位置および被写界深度に対応した画像を複数枚構築する構成としたが、これに限らず、通常のカメラを用いて、ユーザが指定する可能性がある合焦位置および被写界深度に対応した画像を複数枚撮像し、表示装置またはサーバに設けた記憶部に保存しておく構成でもよい。

この構成では、撮像装置１のようなライト・フィールド・カメラを用いなくとも、ユーザは表示装置において、リフォーカス画像を鑑賞することが出来る。

＜変形例１６（タッチによらない位置の指定）＞
上記の説明では、ユーザがタッチパネル１５０にタッチすることにより、合焦位置および被写界深度の指定を行ったが、これに限らず、合焦位置および被写界深度の指定は、非接触式の位置検出装置により行われてもよいし、マウスを用いて行われてもよい。

＜変形例１７（サークル上をタッチしない被写界深度の指定）＞
上記の説明では、被写界深度を指定するために、ユーザがタッチパネル１５０上で、１点目のタッチにより表示されたサークルの円周上をタッチし、タッチしたまま指をスライドさせることにより被写界深度の変更を行った。しかし、この構成に限らず、ユーザがサークルの円周上をタッチしなくても、タッチパネル１５０上でいずれかタッチした位置を２点目のタッチ位置として受け付けてもよい。

この場合でも、２点目としてタッチした位置から、ユーザが指をスライドさせると、表示されているサークルの大きさが１点目と２点目のタッチ位置の距離に応じて、拡大縮小する。

［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１ …撮像装置
２〜２Ｃ…表示装置
１０…開口絞り
１１…撮像レンズ
１２…マイクロレンズアレイ
１３…撮像素子
１４…画像処理部
１５…撮像素子駆動部
１６…制御部
１４１…欠陥補正部
１４２…クランプ処理部
１４３…距離情報抽出部
１４４…並べ替え処理部
１４５…ノイズ低減部
１４６…輪郭強調部
１４７…ホワイトバランス調整部
１４８…ガンマ補正部１４８
１４９…リフォーカス係数設定部
１５０…タッチパネル
１５１…距離情報算出部

Claims (14)

1. 撮像データに基づき表示装置に表示する第１の表示画像を生成すると共に、前記表示装置に表示される図形を変更するユーザの入力に基づいて、前記第１の表示画像から被写界深度を変更した第２の表示画像を生成する画像生成部を具備する画像処理装置。
2. 前記画像生成部は、前記表示装置の画面上で任意の被写体を指定により合焦位置を決定するユーザの入力と前記表示装置に表示される図形を変更するユーザの入力に基づいて、前記第１の表示画像から被写界深度を変更した第２の表示画像を生成する請求項１に記載の画像処理装置。
3. 前記合焦位置は、前記表示装置の画面上でユーザにより指定された被写体の撮像装置からの距離により得られる請求項２に記載の画像処理装置。
4. 前記図形は、カメラの絞り羽根を模したものである請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記表示装置はタッチパネルを有し、
   前記図形は、ユーザがタッチした位置からドラッグされた距離に応じて変形する請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記撮像データは、ライトフィールドカメラによって得られたデータである請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記撮像データは、撮像レンズと撮像素子との間に、前記撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データである請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記画像生成部は、前記第１の表示画像の被写界深度が変更された後、ユーザの入力が一定期間発生しない場合は前記被写界深度を初期値にリセットする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 前記画像生成部は、前記図形の変形により変更された前記第１の表示画像の被写界深度が所定値を超えた場合、全焦点画像を生成する請求項１ないし８のいずれか１項に記載の画像処理装置。
10. 少なくとも合焦位置が異なる複数の第２の表示画像を生成して記憶部に保存し、ユーザにより前記合焦位置が指定されたとき、前記記憶部から前記指定された合焦位置に近いいずれかの前記第２の表示画像を読み出して前記表示装置に表示する請求項１ないし９のいずれか１項に記載の画像処理装置。
11. 前記撮像データが、サーバーを介して取得される請求項１ないし１０のいずれか１項に記載の画像処理装置。
12. 前記画像生成部により生成された表示画像を表示する表示装置を備える請求項１に記載の画像処理装置。
13. 被写体の撮像データを取得する撮像装置と、
    前記撮像データに基づき表示装置に表示する第１の表示画像を生成すると共に、前記表示装置に表示される図形を変更するユーザの入力に基づいて、前記第１の表示画像から被写界深度を変更した第２の表示画像を生成する画像生成部とを具備する画像処理装置。
14. 画像生成部が、撮像データに基づき表示装置に表示する第１の表示画像を生成すると共に、前記表示装置に表示される図形を変更するユーザの入力に基づいて、前記第１の表示画像から被写界深度を変更した第２の表示画像を生成する画像処理方法。