JP2017184007A - 画像処理装置、撮像装置、制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザが被写体の合焦状態を直感的に把握することができるように画像を表示する画像処理装置を提供する。【解決手段】画像処理装置１００が、撮影画像と、撮影画像に関連する距離情報を取得する。画像処理装置１００は、距離情報から距離範囲を分割することにより、距離範囲の異なる複数の分割画像を撮影画像から生成する。そして、画像処理装置１００は、被写界深度と、上記距離範囲とに基づいて、各々の分割画像を、分割画像に含まれる被写体の合焦状態に応じて画面に表示する。【選択図】図１

Description

本発明は、画像処理装置、撮像装置、制御方法およびプログラムに関する。

撮像シーン内に存在する個々の被写体の距離情報を取得可能な撮像装置が提案されている。特許文献１は、個々の被写体の距離情報を用いて、縦軸を奥行方向、横軸を撮影シーンにおける左右方向とした二次元画面上に被写体の位置と被写界深度を重畳表示する撮像装置を開示している。

特許第５１７８５５３号公報

特許文献１が開示する撮像装置では、被写体に関して奥行方向と高さ方向とを同一平面上で表現した上で、被写界深度を重畳表示する。したがって、ユーザは、被写体の合焦状態を直感的に把握することができない。本発明は、ユーザが被写体の合焦状態を直感的に把握することができるように画像を表示する画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、撮影画像と前記撮影画像に関連する距離情報を取得する取得手段と、前記距離情報から距離範囲を分割することにより、距離範囲の異なる複数の分割画像を前記撮影画像から生成する生成手段と、被写界深度と、前記距離範囲とに基づいて、各々の前記分割画像を、前記分割画像に含まれる被写体の合焦状態に応じて画面に表示する表示制御手段とを備える。

本発明によれば、ユーザが被写体の合焦状態を直感的に把握することができるように画像を表示する画像処理装置の提供を目的とする。

画像処理装置の構成を示す図である。 画像処理装置による画像表示処理を説明するフローチャートである。 撮影画像と距離画像と奥行分割画像の一例を示す図である。 距離画像と、被写体の距離別ヒストグラムの例を示す図である。 奥行分割画像の生成処理を説明するフローチャートである。 奥行分割画像を幾何変換する処理の一例を説明する図である。 画像処理装置による画像データの表示例を示す図である。 画像処理装置による画像データの他の表示例を示す図である。

図１は、本実施形態における画像処理装置の構成を示す図である。
画像処理装置１００は、例えば、デジタルカメラ等の撮像装置である。画像処理装置１００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、記憶部１０４、メモリ部１０５、画像処理部１０６、制御部１０７、表示制御部１０８、表示部１０９、通信部１１０、操作部１１１、内部バス１１３を備える。

撮像光学系１０１は、レンズ、シャッター、絞りを有し、制御部１０７から合焦距離、絞りの開口量、およびシャッターの開閉を制御することができる。撮像素子１０２は、撮像光学系１０１を通過した光束を光電変換して、被写体像のアナログ信号を生成する。すなわち、撮像素子１０２は、被写体光を光電変換して撮影画像を出力する出力手段として機能する。

Ａ／Ｄ変換部１０３は、撮像素子から出力されたアナログ信号に対してＡ／Ｄ変換を行うことにより、デジタル信号を生成する。記憶部１０４は、画像データや距離情報などを記憶する。記憶部１０４は、メモリカードのような着脱可能な記録媒体であってもよいし、固定された構成であってもよい。メモリ部１０５は、揮発性の記憶手段である。具体的には、メモリ部１０５は、一時的に画像データを保存するバッファメモリである。

画像処理部１０６は、Ａ／Ｄ変換部の出力信号に対して、ノイズ除去、ガンマ補正処理、ホワイトバランス調整処理などを施すことによって、画像データを生成し、必要に応じて符号化処理や復号処理を行う。また、画像処理部１０６は、距離情報に基づいて、画像データから、各々が個別の被写体距離の範囲に対応する複数の分割画像を生成する。

制御部１０７は、画像処理装置１００全体を制御する。制御部１０７は、例えば、プログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭ等の不揮発性メモリと、ＲＡＭ等の揮発性メモリとを有する。ＣＰＵが、ＲＯＭに記憶されたプログラムを実行することで、画像処理装置１００の機能が実現される。

表示制御部１０８は、生成された複数の分割画像を、表示画面において、奥行方向を軸とした軸上に配置し、各々の画像が含んでいる被写体の状態（例えば合焦状態）に従って、分割画像の表示を切り替えるように表示部１０９を制御する。

表示部１０９は、撮影スタンバイ時や動画撮影時におけるライブビュー画像、画像データ、画像処理装置１００の状態や各種設定値などの各種情報、メニュー画面のようなユーザインタフェースなどを表示する。表示部１０９は、一般にフラットパネルディスプレイであり、タッチパネルを備えてもよい。

通信部１１０は、公知のプロトコルに準拠した、外部装置と制御コマンドやデータの送受信を行うための通信インタフェースである。画像データや距離情報は、記憶部１０４に記録されていてもよいし、通信部１１０を介して、画像処理装置１００の外部から取り込んでもよい。

操作部１１１は、ユーザが画像処理装置１００に各種の指示を与えるための入力デバイス群である。操作部１１１は、例えばボタン、キー、レバー、スイッチ、タッチパネルなどで構成される。操作部１１１には、撮影準備指示や撮影指示を与えるためのレリーズボタン、電源スイッチ、方向キー、決定ボタン、メニューボタンなどが含まれる。内部バス１１３は、公知のプロトコルに基づいた大容量高速伝送路である。

本実施形態において、画像データの距離情報は、各画素の値が距離を表す距離画像（画像データ）の形式を有するものとするが、形式はこの形式に限定されない。例えば、撮影シーン内に存在する特定被写体（例えば人物）の領域の位置および距離を表す情報であってもよい。なお、画像処理装置１００を用いてこのような距離情報を作成する方法に特に制限は無く、例えば特許文献１にも記載されている様々な方法を始めとした任意の方法を用いることができる。
すなわち、本発明は、距離画像、像ずれ量、デフォーカス量、被写体距離等の、画像における被写体の深さに対応する情報を示すマップ（深度マップ）を適用することができる。被写体の深さに対応する情報は、画像内における撮像装置から被写体までの被写体距離を直接的に表すか、または画像内の被写体の被写体距離や深さの相対関係を表す情報であればよい。例えば、撮像素子１０２が、撮像光学系の異なる瞳領域を通過する一対の光束が光学像としてそれぞれ結像したものを、対をなす画像データを複数の光電変換部から出力する。対をなす画像間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を光学系や撮像素子１０２の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。画像処理装置は、像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得すればよい。なお、各マップデータの各データはブロック単位で持っていてもよいし、画素単位でもっていてもよい。このとき、通常の画像データのように最小単位ごとに８bit程度のbit数を割り当て、距離画像として画像処理や表示、符号化、圧縮、記録などを画像処理と同様に行う形態をとってもよい。

図２は、画像処理装置による画像表示処理を説明するフローチャートである。
ユーザが操作部１１１を介して画像処理装置１００に画像表示を指示すると、表示制御部１０８が、表示部１０９に表示画像の候補（例えば、マルチ画像表示など）を表示する。続いて、Ｓ６０１において、ユーザが、表示画像候補の中から表示したい画像を選択する。本実施形態では、ユーザは、マルチ画像表示された複数枚のサムネイル画像の中から表示したい画像を選択する。

次に、Ｓ６０２において、表示制御部１０８が、選択されたサムネイル画像の画像データを取得する。Ｓ６０３において、表示制御部１０８が、リフォーカスモードが選択されたかを判断する。リフォーカスモードが選択された場合は、処理がＳ６０４に進む。リフォーカスモードが選択されなかった場合は、処理がＳ６１３に進む。

次に、Ｓ６０４において、表示制御部１０８が、Ｓ６０２で取得した画像に対応する距離情報（距離画像）を取得する。続いて、Ｓ６０５において、画像処理部１０６が、１枚の画像データから複数の奥行分割画像を生成する。具体的には、画像処理部１０６は、距離画像に基づいて、奥行方向にて被写体が存在する距離の分布を（被写体の距離別ヒストグラム）を求める。距離情報は、画素値が撮影画像内に出現する被写体の距離（被写体距離）を表す距離画像の形式である。したがって、被写体の距離別ヒストグラムは、距離画像の画素値の度数、つまり被写体距離の分布頻度を示す。

画像処理部１０６は、被写体の距離別ヒストグラムに基づいて、被写体距離の範囲を分割し、被写体距離の範囲ごとに画像領域を抽出することによって、奥行分割画像を生成する。以後、生成された個々の分割画像を奥行分割画像と呼ぶ。画像処理部１０６は、生成した奥行分割画像を、画像データおよび距離画像と関連付けて記憶部に保存する。

図３は、撮影画像と距離画像と奥行分割画像の一例を示す図である。
図３（Ａ）は、撮影画像２１を示す。図３（Ｂ）は、距離画像２２を示す。図３（Ｃ）は、奥行分割画像２３を示す。距離画像２２は、撮影画像２１と同じ画素数を有し、画素値（輝度値）がその画素における被写体距離を表す単色画像である。

図３に示す例では、被写体距離の範囲が３分割され、各範囲の奥行分割画像２３１、２３２、２３３が生成されている。奥行分割画像２３は、図３（Ｃ）に示すように、対応する距離範囲に存在する被写体領域を有し、他の距離範囲に存在する被写体の領域には画素を有さないか、透明な画素が配置される。

図４は、距離画像と、被写体の距離別ヒストグラムの例を示す図である。
図４（Ａ）は距離画像を示す。図４（Ｂ）は、図４（Ａ）に示す距離画像から生成される被写体の距離別ヒストグラムを示す。

図５は、図２のＳ６０５における、奥行分割画像の生成処理を説明するフローチャートである。
まず、Ｓ８０１において、画像処理部１０６が、図４（Ａ）に示す距離画像に基づいて、図４（Ｂ）に示す被写体の距離別ヒストグラムを生成する。そして、画像処理部１０６は、距離別ヒストグラムが示す被写体距離の分布頻度の極小値を検出する。画像処理部１０６は、分布頻度が極小値のクラスに分類される最大被写体距離（図４（Ｂ）では、距離７０１と距離７０２）を極小値として検出する。

次に、Ｓ８０２において、画像処理部１０６が、検出した極小値を境界として被写体距離の範囲を分割する。図４（Ｂ）の例では、極小値が２つ検出されるので、０〜２５５の被写体距離は、３つの距離範囲７０３、７０４、７０５に分割される。一般的な被写体は、比較的まとまった距離に存在するため、被写体距離の分布頻度の極小値を用いて被写体距離の範囲を分割することで、撮影されたシーンに含まれる、距離の異なる複数の被写体を、異なる奥行分割画像に分離しやすくなる。

画像処理部１０６は、分割した範囲のそれぞれについて、分類された距離画像の画素に対応する画像データの画素から構成される画像（奥行分割画像）を生成する。図４（Ｂ）の例では、距離範囲７０３，７０４，７０５のそれぞれについて奥行分割画像が生成され、合計３枚の奥行分割画像が得られることになる。

図２の説明に戻る。Ｓ６０６において、画像処理部１０６が、被写界深度と、被写体距離の範囲とに基づいて、Ｓ６０５で生成した奥行分割画像に対して幾何変換を行う。具体的には、画像処理部１０６は、被写界深度の外側に位置する被写体を含む奥行分割画像に対して、奥行方向の手前や奥側に傾けて表現するために、回転や変形などを行う。本実施形態では、画像処理部１０６は、被写界深度と被写体距離の範囲との関係によって決まる被写体の合焦状態に応じた角度情報を、奥行分割画像のヘッダ部に格納するものとする。角度情報は、例えば、奥行方向の軸を含む平面（以下、基準面と称する）に対して奥行分割画像を配置する際の仰角として使用される。０度は奥行方向の手前側に倒して表示する場合を、９０度は直立に表示する場合を、１８０度は奥行方向の奥側に倒して表示する場合を意味する。なお、本発明において、角度情報は、ある基準面からの角度を示す情報であればよく、仰角を示す情報に限定されない。また、本実施形態では、ヘッダ部に角度情報が格納されるが、他の実施形態では、ヘッダ部に合焦状態を示す情報が格納される構成をとることもできる。そして、表示制御部１０８が、ヘッダ部に格納された合焦状態を示す情報に応じて角度を決定し、各被写体に角度を付けて表示するようにしてもよい。画像処理部１０６が、合焦位置からの被写体の距離（相対的な深さ関係）をヘッダ部に格納するようにしてもよい。そして、表示制御部１０８が、ヘッダ部に格納された距離に基づいて、被写体に付ける角度を決定してもよい。

図６は、奥行分割画像を幾何変換する処理の一例を説明する図である。
図６（Ａ）は、被写界深度を奥行方向の手前側に外れている被写体を含む奥行分割画像３１を示す。図６（Ｂ）は、被写界深度を奥行方向の奥側に外れている被写体を含む奥行分割画像３５を示す。

画像処理部１０６は、まず、図６（Ｃ）に示すように、奥行分割画像３１を、被写体領域を黒色に塗りつぶした奥行分割画像３２とする。続いて、画像処理部１０６は、図６（Ｄ）に示すように、奥行分割画像３２を上下反転して、奥行分割画像３３を生成する。そして、画像処理部１０６は、図６（Ｅ）に示すように、奥行分割画像３３を平行四辺形に変形することで、奥行分割画像３４を生成する。これにより、奥行分割画像３１の被写体がうつ伏せに倒れている状態が表現される。また、画像処理部１０６は、図６（Ｆ）に示すように、奥行分割画像３５を平行四辺形に変形することで、奥行分割画像３６を生成する。これにより、奥行分割画像３５の被写体が仰向けに倒れている状態が表現される。

図２の説明に戻る。Ｓ６０７において、表示制御部１０８が、Ｓ６０６で幾何変換した奥行分割画像を含む全ての奥行分割画像を表示部１０９に表示させる。このとき、表示制御部１０８は、奥行分割画像を、奥行分割画像のヘッダ部に含まれる角度情報が示す仰角を被写体が持つように表示する。これにより、被写体が、基準面に対して合焦状態に応じた仰角を持つように表示する。続いて、Ｓ６０８において、ユーザが、リフォーカスしたい被写体を含む奥行分割画像を選択する。表示制御部１０８が、選択された奥行分割画像が被写界深度の中央となるように、被写界深度を奥行方向に移動させる。

Ｓ６０９において、被写界深度の変更によって、対応する被写体距離が被写界深度から外れる、または、被写界深度に含まれることにより合焦状態が変化する奥行分割画像に対して、画像処理部１０６が、Ｓ６０６と同様の幾何変換を実行する。また、画像処理部１０６は、合焦状態に変化が生じた奥行分割画像の角度情報を更新する。

Ｓ６１０において、表示制御部１０８が、Ｓ６０９で幾何変換された奥行分割画像を含む全ての奥行分割画像を表示部１０９に表示させる。このとき、角度情報が示す仰角を持たせて表示させる。続いて、Ｓ６１１において、画像処理部１０６が、ユーザからリフォーカス処理の確定指示を受け付けたかを判定する。ユーザからリフォーカス処理の確定指示を受け付けた場合は、処理がＳ６１２に進む。ユーザからリフォーカス処理の確定指示を受け付けていない場合は、処理がＳ６０８に戻る。

Ｓ６１２において、画像処理部１０６が、ユーザから受け付けたリフォーカス処理の確定指示に基づいて、奥行分割画像を用いてリフォーカス処理を実行する。リフォーカス処理については公知の技術を用いるため、処理内容の説明は省略する。画像処理部１０６は、リフォーカス処理を施した画像データを記憶部１０４に保存する。

ステップＳ６１３において、表示制御部１０８が、画像データを表示部１０９に表示させる。このとき、ステップＳ６０３にてリフォーカスモードが選択されている場合は、Ｓ６１２で作成したリフォーカス処理済の画像データを表示する。リフォーカスモードが選択されていない場合は、Ｓ６０２で読み出した画像データを表示部１０９に表示させる。続いて、Ｓ６１４において、表示制御部１０８が、ユーザから画像表示の終了指示を受け付けたかを判定する。ユーザから画像表示の終了指示を受け付けた場合は、画像表示処理を終了する。ユーザから画像表示の終了指示を受け付けていない場合は、処理がＳ６０１に戻る。

図７は、画像処理装置による画像データの表示例を示す図である。
４１は撮影シーンを示している。背景４１１に対して、被写体４１２、４１３が手前側に向かって走ってくるシーンであり、被写体４１３に合焦している状態であるとする。４２は被写体４１３に合焦し、被写体４１２と背景４１１は被写界深度から外れるくらいに深度が浅い設定で撮影した画像データを示している。４３は４２の画像データを奥行分割画像で表示した表示例である。被写体４１３は被写界深度の中央にいるため奥行分割画像４３２は基準面に対して垂直に表示されている。また、被写体４１２は被写界深度より手前側に外れているため、奥行分割画像４３１は奥行方向の手前側に倒して表示されている。同様に、背景４１１は被写界深度より奥側に外れているため、奥行分割画像４３３は奥行方向の奥側に倒して表示されている。

図８は、画像処理装置による画像データの他の表示例を示す図である。
表示例５１では、画像処理装置は、被写界深度の内側に存在する被写体を含む奥行分割画像を、９０度の仰角で直立させるのではなく、被写界深度の中央からの距離に応じて仰角を変化させる。画像処理装置は、奥行方向に直角な方向から見た画像データを表示する。

５１１は被写界深度、５１２は合焦位置、５１３は画像処理装置１００に対して合焦位置にある被写体を含む奥行分割画像を示す。画像処理装置は、被写界深度内に位置する奥行分割画像５１４、５１５を、奥行方向の手前側あるいは奥側に傾斜して表示することで合焦位置５１２に対する距離をユーザに通知する。

表示例５２では、画像処理装置は、被写界深度内の被写体を含む奥行分割画像５２２と、被写界深度から外れた被写体を含む奥行分割画像５２１、５２３に対して色や輝度に差異を持たせることにより、被写界深度の内側、外側を区別して表示する。すなわち、画像処理装置は、奥行分割画像を、被写体の合焦状態に応じた色および輝度で表示する。

表示例５３では、画像処理装置は、被写界深度から外れた被写体を含む奥行分割画像に対して、合焦させるためにフォーカスレンズを回す方向に従って奥行分割画像を回転して表示する。すなわち、画像処理装置は、奥行分割画像を、被写体の合焦状態に応じた角度で回転させて表示する。奥行分割画像５３１は、自身に含まれる被写体に合焦するためにはフォーカスレンズを右方向に回転することをユーザに通知するために、奥行分割画像５３２に対して左方向に回転して表示される。同様に、奥行分割画像５３３は、自身が含む被写体に合焦するためにはフォーカスレンズを左方向に回転することをユーザに通知するために、奥行分割画像５３２に対して右方向に回転して表示される。

本実施形態で説明した表示は、ライブビュー、プレビューを実行する場合や、アプリケーション上での表示を行う場合などにも適用できる。以上説明したように、本実施形態の画像処理装置は、撮影画像に含まれる被写体毎に、合焦状態に基づいて表示を切り替える。したがって、撮影画像の表示領域を削減することなく、ユーザが直感的に被写体の合焦状態を把握することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０６ 画像処理部
１０８ 表示制御部

Claims (11)

1. 撮影画像と前記撮影画像に関連する距離情報を取得する取得手段と、
   前記距離情報から距離範囲を分割することにより、距離範囲の異なる複数の分割画像を前記撮影画像から生成する生成手段と、
   被写界深度と、前記距離範囲とに基づいて、各々の前記分割画像を、前記分割画像に含まれる被写体の合焦状態に応じて画面に表示する表示制御手段とを備える
   ことを特徴とする画像処理装置。
2. 前記表示制御手段は、前記分割画像を、前記分割画像に含まれる前記被写体が基準面に対して合焦状態に応じた角度を持つように表示する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、
   前記被写界深度と、前記距離範囲とにより決まる被写体の合焦状態に応じた角度情報を前記分割画像のヘッダ部に設定し、
   前記分割画像を、前記ヘッダ部に含まれる前記角度情報に応じた角度で表示する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記分割画像を、前記分割画像に含まれる前記被写体の合焦状態に応じた色および輝度で表示する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記表示制御手段は、前記分割画像を、前記分割画像に含まれる前記被写体の合焦状態に応じた角度で回転させて表示する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記距離情報は、画素値がその画素における距離を示す画像データであり、
   前記生成手段は、前記画像データにおける画素値の分布に基づいて、前記距離範囲を分割し、分割された距離範囲ごとに画像領域を抽出することにより、前記分割画像を生成する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記表示制御手段は、
   前記画面に表示された前記複数の分割画像のうち、選択された分割画像が被写界深度の中央となるように被写界深度を移動し、
   前記移動した被写界深度と前記距離範囲とに基づいて、各々の前記分割画像を、前記被写体の合焦状態に応じて表示する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 撮影画像と前記撮影画像に関連する距離情報を取得する取得手段と、
   前記距離情報から距離範囲を分割することにより、距離範囲の異なる複数の分割画像を前記撮影画像から生成する生成手段と、
   被写界深度と、前記距離範囲とに基づいて、各々の前記分割画像を、前記分割画像に含まれる被写体の合焦位置からの距離に応じて画面に表示する表示制御手段とを備える
   ことを特徴とする画像処理装置。
9. 被写体光を光電変換して前記撮影画像を出力する出力手段を備える
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置として機能する撮像装置。
10. 撮影画像と前記撮影画像に関連する距離情報を取得する取得工程と、
    前記距離情報から距離範囲を分割することにより、距離範囲の異なる複数の分割画像を前記撮影画像から生成する生成工程と、
    被写界深度と、前記距離範囲とに基づいて、各々の前記分割画像を、前記分割画像に含まれる被写体の合焦状態に応じて画面に表示する表示制御工程とを有する
    ことを特徴とする画像処理装置の制御方法。
11. コンピュータを請求項１乃至８のいずれか１項に記載の画像処理装置が備える各手段として機能させることを特徴とするプログラム。

Images