JP2016178632A - 撮像装置、画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】撮影者が表示部において被写体の合焦状態を判定することを容易にする撮像装置を提供する。【解決手段】画像データ生成部２０２は、撮像部２０１が撮像した撮像データより、画像データを生成する。判定部２０３は、画像データのボケ量を検出し、ボケ量を用いて被写体までの距離に関する情報を算出する。判定部２０３は、画像データの合焦状態を判定し、画像データを合焦領域を含む第１の領域と、それ以外の第２の領域に分割する。強調部２０４は、表示部２０５の解像度に応じて、画像データの画角またはフレーミングを変化させずに、距離に関する情報を用いて、第１の領域の画像データと第２の領域の画像データの視覚的差異を強調する強調処理を画像データに行い、撮像確認用画像を生成する。表示部２０５は撮像確認用画像を表示する。【選択図】図２

Description

本開示は、画像の撮影を行うための撮像装置、画像処理を行う画像処理装置および画像処理方法に関する。

特許文献１は、撮影画像データの画像を主要被写体領域と主要被写体を含まない領域とに区画し、撮影画像データの画像のうち、主要被写体を含まない領域の画像に対して、検出された画像のボケ度合いの大きさに比例して画像処理後の画像のボケ度合いを大きくするボケ強調処理を施した画像を生成する方法を開示する。

特許文献２は、デジタルズーム倍率に応じ、画像処理により非合焦被写体のぼかし量を変化させ、光学ズームで得たようなボケ画像を生成する方法を開示する。

特許第４９２４４３０号公報 特開２０１２−１６０８６３号公報

本開示は、フォーカス調整時に、注目被写体の合焦状態の確認を容易にすることができる撮像装置、画像処理装置および画像処理方法を提供する。

本開示における撮像装置は、被写体を撮像して撮像データを生成する撮像部と、撮像データより画像データを生成し、画像データより撮像確認用画像を生成する映像処理部と、撮像確認用画像を表示する表示部と、を備える。映像処理部は、画像データのボケ量を検出し、ボケ量を用いて被写体までの距離に関する情報を算出し、画像データの合焦状態を判定し、画像データを合焦領域を含む第１の領域と、それ以外の第２の領域に分割する。そして、表示部の解像度に応じて、画像データの画角またはフレーミングを変化させずに、距離に関する情報を用いて、第１の領域の画像データと第２の領域の画像データの視覚的差異を強調する強調処理を画像データに行い、撮像確認用画像を生成する。

本開示における画像処理装置は、撮像部が撮像した撮像データより画像データを生成し、前記画像データより撮像確認用画像を生成して表示部に出力する画像処理装置であって、判定部と強調部とを有する。判定部は、画像データのボケ量を検出し、ボケ量を用いて被写体までの距離に関する情報を算出するとともに、画像データの合焦状態を判定し、画像データを合焦領域を含む第１の領域と、それ以外の第２の領域に分割する。強調部は、表示部の解像度に応じて、画像データの画角またはフレーミングを変化させずに、距離に関する情報を用いて、第１の領域と第２の領域の視覚的差異を強調する強調処理を画像データに施して、撮像確認用画像を生成する。

本開示における画像処理方法は、撮像部が撮像した撮像データより画像データを生成し、前記画像データより撮像確認用画像を生成して表示部に出力する画像処理方法であって、距離情報算出ステップ、領域分割ステップ及び強調処理ステップを有する。距離情報算出ステップでは、画像データのボケ量を検出し、ボケ量を用いて被写体までの距離に関する情報を算出する。領域分割ステップでは、画像データの合焦状態を判定し、画像データを合焦領域を含む第１の領域と、それ以外の第２の領域に分割する。強調処理ステップでは、表示部の解像度に応じて、画像データの画角またはフレーミングを変化させずに、距離に関する情報を用いて、第１の領域と第２の領域の視覚的差異を強調する強調処理を画像データに施して、撮像確認用画像を生成する。

本開示における撮像装置は、フォーカス調整時に、注目被写体の合焦状態の判定を容易にするのに有効である。

本実施の形態における撮像装置の一構成例を示すブロック図である。 本実施の形態における撮像装置の機能構成を示すブロック図である。 本実施の形態におけるフォーカス調整時の動作を説明するフローチャートである。 本実施の形態における映像処理部の動作を説明するフローチャートである。 ＤＦＤ方式を説明するための模式図である。 本実施の形態における撮像確認用画像の一例（強調処理なし）を示す図である。 本実施の形態における合焦状態の判定結果に基づく画像データの領域分割を説明するための図である。 本実施の形態の画像データにおける距離とボケ量との関係を示す図である。 本実施の形態における撮像確認用画像の一例（ボケ量による強調処理）を説明する図である。 本実施の形態の画像データにおける距離と左右の視差との関係を示す図である。 本実施の形態における撮像確認用画像の一例（三次元表示による強調処理）を説明する図である。 本実施の形態の画像データにおける距離と輝度差との関係を示す図である。 本実施の形態における撮像確認用画像の一例（輝度による強調処理）を説明する図である。

本発明者は、「背景技術」の欄において記載した従来の撮像装置に関し、以下の問題が生じることを見出した。

例えば、特許文献１及び２に記載の撮像装置では、注目被写体の合焦状態を確認するための撮像確認用画像を表示する表示部の解像度が撮像素子の解像度より低解像度である場合、表示部に表示された撮像確認用画像は撮像データの合焦状態を正確に再現することができない。また、合焦対象の領域を拡大表示してフォーカス調整を行った場合、被写体全体の状況の確認が困難となる。そのため、撮影者は、注目被写体の合焦状態を正確に把握できず、操作に違和感を覚える恐れがある。

そこで、このような問題を解決するために、本開示では、表示部に表示される撮像確認用画像の画角およびフレーミングを変更することなく、表示部の解像度に応じて、注目被写体の合焦状態を判定することが容易な撮像装置および画像処理装置および画像処理方法を提供する。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態）
以下、図１〜１３を用いて、本開示の実施の形態１について説明する。

［１．ハードウェア構成］
図１は本実施の形態における撮像装置の一構成例を示すブロック図である。図１は、本実施の形態の撮像装置の一例として、デジタルカメラ１の構成を示すブロック図である。撮像装置は、ビデオカメラや、携帯電話、スマートフォンなどの携帯端末であってもよい。

図１に示すように、デジタルカメラ１は、複数のレンズ群から構成される光学系１００と、光学系１００のレンズ群を操作するためのズームモータ１０４と、手ぶれ補正のためのＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）アクチュエータ１０５と、フォーカスモータ１０６とを備える。また、デジタルカメラ１は、撮像素子１０７と、ＡＤ変換部１０８と、映像処理部１０９と、メモリ１１０と、コントローラ１１１とを備える。その他に、デジタルカメラ１は、液晶モニタ１１２と、ズームレバー１１３と、操作部材１１４と、カードスロット１１５と、メモリカード１１６とを備える。

光学系１００は、複数のレンズ群から構成されるズームレンズ１０１と、手ぶれ補正用のレンズであるＯＩＳレンズ１０２と、複数のレンズ群から構成されるフォーカスレンズ１０３とを有する。

ズームレンズ１０１は、光学系１００の光軸に沿って移動することにより、撮像素子１０７に結像する被写体像を拡大又は縮小するためのレンズである。ズームレンズ１０１は、コントローラ１１１からの制御信号によるズームモータ１０４の駆動によって、光学系の光軸方向に移動し、これにより被写体像を拡大又は縮小する。ズームモータ１０４は、パルスモータ、ＤＣモータ、リニアモータ、又は、サーボモータなどで実現してもよい。ズームモータ１０４は、カム機構又はボールネジなどの機構を介してズームレンズ１０１を駆動するようにしてもよい。なお、光学系１００として、ズームレンズ１０１の代わりに、単焦点レンズが用いられてもよい。

ＯＩＳレンズ１０２は、光学系の光軸に垂直な面内において、光軸を中心として移動可能な補正レンズを内部に有する。ＯＩＳレンズ１０２は、コントローラ１１１からの制御信号によりＯＩＳアクチュエータ１０５が制御されて、補正レンズが駆動されることにより、光学系１００で形成される被写体像のぶれを低減する。補正レンズは、ＯＩＳレンズ１０２内で光学系１００の光軸と垂直な面内において、光軸を中心として移動することができる。ＯＩＳアクチュエータ１０５は、平面コイル又は超音波モータなどで実現できる。

フォーカスレンズ１０３は、光学系１００の光軸に沿って移動することにより、被写体像のピント（合焦）を調整するためのレンズである。フォーカスレンズ１０３は、コントローラ１１１からの制御信号によるフォーカスモータ１０６の駆動によって、光学系１００の光軸方向に移動し、これにより被写体像の合焦を調整する。フォーカスモータ１０６は、パルスモータ、ＤＣモータ、リニアモータ、又は、サーボモータなどで実現してもよい。フォーカスモータ１０６は、カム機構又はボールネジなどの機構を介してフォーカスレンズ１０３を駆動するようにしてもよい。

撮像素子１０７は、光学系１００により形成された被写体像を撮像して撮像データを生成するもので、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いることができる。ＡＤ変換部１０８は、撮像素子１０７から出力されたアナログの撮像データをデジタルのデータに変換する。

映像処理部１０９は、撮像データに対して各種の信号処理を施し画像データを生成する。また、映像処理部１０９は、画像データから、液晶モニタ１１２に表示するための撮像確認用画像を画角およびフレーミングを変更せずに生成する。映像処理部１０９は、撮像データに対してガンマ補正、ホワイトバランス補正、又は、傷補正などの各種の画像処理を行う。映像処理部１０９は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）又はマイコンなどで実現可能であり、画像処理装置の一例である。

メモリ１１０は、映像処理部１０９及びコントローラ１１１のワークメモリとして機能する。メモリ１１０は、映像処理部１０９で処理された画像データや撮像確認用画像、映像処理部１０９で処理される前の撮像素子１０７から入力される撮像データ、ＡＤ変換部１０８から出力された撮像データなどを一時的に蓄積する。

また、メモリ１１０は、映像処理部１０９が算出した合焦状態の情報、ボケ量などのボケに関する情報、被写体距離（被写体までの距離、デフォーカス量）、像面距離などの距離に関する情報を一時的に蓄積する。

また、メモリ１１０は、撮影時における光学系１００及び撮像素子１０７の撮影条件を一時的に蓄積する。撮影条件とは、画角情報、ズーム値、焦点距離、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度、シャッタースピード、ＥＶ値、Ｆ値、レンズ間距離、撮影時刻、ＯＩＳシフト量、光学系１００におけるフォーカスレンズ１０３の位置情報（合焦位置情報）等を示す。メモリ１１０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、又は、強誘電体メモリなどで実現できる。

コントローラ１１１は、デジタルカメラ１全体を制御する。コントローラ１１１は、半導体素子などで実現可能である。コントローラ１１１は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１１１は、マイコンなどで実現できる。

液晶モニタ１１２は、映像処理部１０９で生成した撮像確認用画像を表示する表示デバイスである。また、液晶モニタ１１２は、各種の設定情報が表示可能である。例えば、液晶モニタ１１２は、撮影時における撮影条件である、ＥＶ値、Ｆ値、シャッタースピード、又は、ＩＳＯ感度等を表示可能である。

操作部材１１４は、レリーズボタンを備える。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、デジタルカメラ１は、コントローラ１１１を介してＡＦ（Ａｕｔｏｆｏｃｕｓ）制御及び、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）制御を開始する。また、レリーズボタンを全押しした場合、デジタルカメラ１は、被写体の撮影を行う。ズームレバー１１３は、使用者からズーム倍率の変更指示を受け付ける部材である。

カードスロット１１５は、機械的及び電気的にメモリカード１１６と接続可能であり、メモリカード１１６に情報を書き込んだり、メモリカード１１６から情報を読み出したりする。カードスロット１１５は、メモリカード１１６を着脱可能である。メモリカード１１６は、フラッシュメモリ又は強誘電体メモリなどを内部に含む記録媒体である。メモリカード１１６は、カードスロット１１５に着脱可能である。

［１−２．撮像装置の機能構成］
図２は、本実施の形態におけるデジタルカメラ１の機能構成を示すブロック図である。図２は、本実施の形態に係る動作に関与する機能を有する部位のブロック図である。

デジタルカメラ１は、レンズ部２００と、撮像部２０１と、画像データ生成部２０２と、判定部２０３と、強調部２０４と、表示部２０５と、レンズ制御部２０６と、操作部２０７とを備える。

レンズ部２００は、被写体から入射した光の焦点距離およびズーム倍率（映像の拡大倍率）等を調整する。これらはレンズ制御部２０６からの制御により行われる。レンズ部２００は、図１の光学系１００に相当する。

撮像部２０１は、レンズ部２００を透過した光を電気信号に変換し、アナログの撮像データを取得する。撮像部２０１は、アナログの撮像データをデジタルのデータに変換する。撮像部２０１は、図１の撮像素子１０７、ＡＤ変換部１０８に相当する。

画像データ生成部２０２は、撮像部２０１が取得した撮像データに対して各種の画像処理を施し、画像データを生成する。画像データ生成部２０２は、図１の映像処理部１０９における画像データを生成する機能に相当する。

判定部２０３は、画像データ生成部２０２が生成した画像データの解像度と表示部２０５の解像度を比較し、画像データに強調処理を行うかどうかを判定する。判定部２０３は強調処理を行うと判断した場合、画像データ内の注目被写体の合焦状態を判定する。判定部２０３は、光学系１００を制御して撮像素子１０７により合焦位置の異なる複数（少なくとも２枚）の画像を取得し、取得した画像が持つボケの情報により演算処理を行い、被写体までの距離に関する情報を算出する。判定部２０３は、図１の映像処理部１０９における合焦状態を判定する機能、距離情報を算出する機能に相当する。

強調部２０４は、判定部２０３が算出した距離に関する情報を用いて、画角およびフレーミングを変更することなく、画像データ生成部２０２が生成した画像データに所定の強調処理を施し、撮像確認用画像を生成する。強調部２０４は、画像データを合焦している領域とそれ以外の領域に分割し、２つの領域の視覚的差異を強調する処理を行う。強調部２０４は、図１の映像処理部１０９における強調処理を行う機能に相当する。

表示部２０５は、強調部２０４から出力された撮像確認用画像を表示する。表示部２０５は、図１の液晶モニタ１１２に相当する。

レンズ制御部２０６は、光学系１００に相当するレンズ部２００の制御を行う。レンズ制御部２０６は、図１のズームモータ１０４、ＯＩＳアクチュエータ１０５及びフォーカスモータ１０６に相当する。

操作部２０７は、ＡＦ制御、ＡＥ制御及びズーム倍率などの操作を行う。操作部２０７は、図１のズームレバー１１３、操作部材１１４に相当する。

［２．動作］
［２−１．フォーカス調整］
撮影者は被写体を撮影する際に、デジタルカメラ１のフォーカス調整機能を用いて、フォーカス調整（合焦位置合わせ）を行う。

図３は、フォーカス調整時の動作を説明するフローチャートである。

撮影者が被写体を撮像すると、被写体の像が光学系１００のレンズ群に入射する。光学系１００のレンズ群を透過した像は撮像素子１０７に入射する。撮像素子１０７は、入射した像を撮像して撮像データを生成する。ＡＤ変換部１０８はアナログの撮像データをデジタルの撮像データに変換する（ステップＳ３００）。

映像処理部１０９は、撮像データに各種の画像処理を施して画像データを生成し、画像データから撮像確認用画像（レビュー画像）を生成する（ステップＳ３０１）。液晶モニタ１１２は、映像処理部１０９が生成した撮像確認用画像を表示する（ステップＳ３０２）。

撮影者は、液晶モニタ１１２に表示された撮像確認用画像を見て、注目被写体の合焦状態を確認する。ここで、撮影者が操作部材１１４を操作して合焦位置を変更したり、被写体が動いたりすることにより合焦位置が変更した場合（ステップＳ３０３でＹｅｓ）、コントローラ１１１は、フォーカスモータ１０６を制御してフォーカスレンズ１０３を駆動し合焦位置を調整する（ステップＳ３０４）。

フォーカスレンズ１０３の位置が調整されると、ステップＳ３００に戻り、ステップＳ３０３まで進む。再度、合焦位置が変更されると（ステップＳ３０３でＹｅｓ）、ステップＳ３０４に進み、合焦位置の調整が完了するまで、Ｓ３００〜Ｓ３０４の処理が繰り返される。合焦位置が変更されなくなると（ステップＳ３０３でＮｏ）、フォーカス調整が完了する。

［２−２．映像処理部の動作］
図４は、映像処理部１０９の動作を説明するフローチャートである。上述のように、映像処理部１０９は、画像データ生成部２０２、判定部２０３及び強調部２０４が行う機能を有する。

画像データ生成部２０２は、撮像部２０１より出力された撮像データに所定の画像処理を施して、画像データを生成する（ステップＳ４００）。

判定部２０３は、生成された画像データの解像度と表示部２０５（液晶モニタ１１２）の解像度とを比較する（ステップＳ４０１）。

判定部２０３は、画像データの解像度が表示部２０５の解像度よりも高いと判定した場合（ステップＳ４０１でＹｅｓ）、画像データにおける距離に関する情報を算出する（ステップＳ４０２）。判定部２０３は、レンズ部２００を制御して撮像部２０１により合焦位置の異なる複数（少なくとも２枚）の撮像データを取得し、取得した撮像データが持つボケ量を算出し、被写体までの距離に関する情報を算出する。

判定部２０３は、ステップＳ４０２で算出した距離に関する情報を用いて画像データの合焦状態を判定し、合焦状態に関する情報を用いて画像データを２つの領域に分割する（ステップＳ４０３）。本実施の形態においては、判定部２０３は、画像データを合焦度が高い第１の領域と、それ以外の第２の領域に分割する。ここで、第２の領域の合焦度は第１の領域に比べて低い。

次に、強調部２０４は、算出した距離に関する情報を用いて、第１の領域と第２の領域の視覚的差異が大きくなるように、画角およびフレーミングを変更することなく、画像データに強調処理を行う（ステップＳ４０４）。ここで、強調処理は、第１の領域と第２の領域のいずれか一方の領域のみに行ってもよいし、両方の領域に行ってもよい。強調部２０４は強調処理を行った画像データを撮像確認用画像として出力する（ステップＳ４０５）。

ステップＳ４０１に戻り、判定部２０３は、表示部２０５の解像度が画像データの解像度よりも高い、または、等しいと判定した場合（ステップＳ４０１でＮｏ）、強調処理を行うことなく画像データを撮像確認用画像として表示部２０５に出力する（ステップＳ４０５）。

［２−３．距離に関する情報の算出］
図４のステップＳ４０２に示すように、判定部２０３は、撮像素子１０７により取得された複数の画像のボケの情報（ボケ量）に基づいて、ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式による測距処理を行い、距離に関する情報を算出する。

図５はＤＦＤ方式を説明するための模式図である。図５に示すように、被写体からの光は光学系１００を介して撮像素子１０７の撮像面Ｐ１、Ｐ２に入射される。ここで、図５において点Ｑは焦点を示す。

カメラなどの撮像装置において、レンズの焦点が合った位置に存在する被写体は、ピントがあった状態で正しく結像される。この場合、像面側の合焦位置と、撮像面の位置とが一致しているので、ボケのない被写体像が得られる。これに対して、レンズの焦点からずれた位置に存在する被写体は、ピントのずれ量に応じて、物の形・輪郭・境界などがぼやけた像として結像される。この場合、像面側の合焦位置と、撮像面の位置とが一致せず、その差に応じたボケが生じる。

例えば、図５において、被写体Ａを撮像した場合、レンズの焦点があっている場合は、表示部２０５には撮像確認用画像として画像Ｏｂｊが表示される。図５に示すように、画像Ｏｂｊでは、被写体Ａはボケのない像Ａ１として表示される。撮像面Ｐ１の場合、ボケ量はΔ１となり、表示部２０５に表示される画像Ｉｍ１において、被写体Ａはボケが生じた像Ａ２として表示される。また、撮像面Ｐ２では、ボケ量はΔ２となる。この場合、表示部２０５に表示される画像Ｉｍ２において、被写体Ａはボケが生じた像Ａ３として表示される。図５に示すように、撮像面Ｐ１は撮像面Ｐ２より焦点Ｑより遠いので、画像Ｉｍ２より画像Ｉｍ１おいて、被写体Ａのボケが大きくなっている。

ＤＦＤ方式では、被写体までの距離によって大きさや形状が変化する画像のボケ量に基づいて、被写体距離を計測する。ＤＦＤによる測距方法は、複数のカメラを必要としないこと、少数の画像から距離計測が可能であること、などの特徴がある。ここで、距離に関する情報とは、例えば、デジタルカメラ１から被写体までの距離である。言い換えれば、距離に関する情報とは、撮像素子１０７で撮影された被写体に対するデジタルカメラ１から見た奥行き方向の距離である。なお、距離の基準点は、任意に設定することができるが、例えば、光学系１００に含まれるレンズのうち、所定のレンズの位置にとることにしてもよい。

ここで、観測画像をＩｍ、被写体テクスチャ情報をＯｂｊ、被写体距離をｄ、ぼけを表す点像分布関数をＰＳＦ（ｄ）とすると、観測画像Ｉｍは（数１）で表される。

ＤＦＤ方式では、１枚の画像Ｉｍから、被写体テクスチャ情報Ｏｂｊと被写体距離ｄの両方の値を求めることはできないので、互いに合焦位置が異なる少なくとも２枚の画像を用いる。例えば、図５の場合、撮像面Ｐ１における観測画像Ｉｍ１、撮像面Ｐ２における観測画像Ｉｍ２より、被写体テクスチャ情報Ｏｂｊと被写体距離ｄを算出する。この場合、Ｉｍ１、Ｉｍ２は、それぞれ（数２）、（数３）で表される。

そして、（数２）、（数３）を用いて被写体距離ｄを算出し、画像データ全体における被写体距離の情報を作成する。判定部２０３は、算出したボケ量、像面距離、被写体距離の値を関連付けて、メモリ１１０に記憶させる。

［２−４．画像データの領域分割］
図４のステップＳ４０３に示すように、判定部２０３は合焦度を用いて画像データを２つの領域に分割する。図６に画像データ生成部２０２が生成した画像データの一例を示す。図６において、画像データは、注目被写体６０と背景である非注目被写体６１で構成されている。この場合、注目被写体６０内に合焦位置が存在するとする。

図７は、合焦状態の判定結果に基づく画像データの領域分割を説明するための図である。図６に示す撮像確認用画像の画像データは、図７に示すように、２つの領域（第１の領域７１、第２の領域７２）に分割される。図７は、注目被写体６０を含む領域が合焦度が高い第１の領域７１であり、それ以外の領域（網掛けした領域）が第２の領域７２であることを示す。

［２−５．強調処理］
図４のステップＳ４０４に示すように、強調部２０４は、画角およびフレーミングを変更することなく、第１の領域７１と第２の領域７２の視覚的差異が大きくなるような画像処理を行い、撮像確認用画像を生成する。本実施の形態においては、強調処理の一例として、ボケ量、三次元表示、輝度を用いた強調処理について、各々説明する。なお、本開示においては、強調処理は予めどの処理を行うかが設定されているものとする。

［２−５−１．ボケ量］
強調部２０４は、距離に関する情報をボケ量に変換して、視覚的差異を強調する。本実施の形態においては、強調部２０４は、合焦領域から所定の距離以上離れた領域（第２の領域）のボケ量を、現在のボケ量から一律のボケ量まで増加させる処理を行う。なお、第２の領域におけるボケ量の設定は、現在のボケ量から一定量を増加させてもよいし、現在のボケ量に応じてボケ量を特定量増加させてもよい。

図８は、画像データにおける第１の領域からの距離とボケ量との関係を示す図である。図８において、横軸は被写体距離、縦軸はボケ量を示す。また、グラフ９１は強調処理前のボケ量、グラフ９２は強調処理後のボケ量を示す。図８に示すように、距離ｄ１までは第１の領域であり、ボケ量がほとんどない状態である。グラフ９１において、距離ｄ１を超える範囲は第２の領域であり、第１の領域から離れるほど、ボケ量が増加していることが分かる。本実施の形態では、強調部２０４は、第２の領域のボケ量をグラフ９１におけるボケ量の最大値ｃ１に変更する処理を行う。すなわち、強調部２０４は、第２の領域のボケ量がグラフ９２に示す一律のボケ量ｃ１となるような強調処理を行う。

図９は、ボケ量による強調処理を行った撮像確認用画像の一例を説明する図である。本実施の形態におけるボケ量による強調処理は、図８に示すように、第１の領域７３のボケ量はそのままで、第２の領域７４のボケ量を一律のボケ量ｃ１まで大きくしている。そのため、図９に示すように、第１の領域７３と第２の領域７４のボケ量の差が大きくなり、図６に示す強調処理前の撮像確認用画像に比べ、第１の領域７３の注目被写体６０が相対的に明瞭になっていることが分かる。従って、撮影者は注目被写体６０が合焦領域にあることを容易に判定することができる。

［２−５−２．三次元表示］
強調部２０４は、距離に関する情報を三次元表示に変換して、視覚的差異を強調する。本実施の形態では、三次元表示として右目用画像と左目用画像とを表示することにより、左右の視差を表示する。

図１０は、画像データにおける第１の領域からの距離と左右の視差との関係を示す図である。図１０において、横軸は被写体距離、縦軸は左右の視差を示す。強調部２０４は、被写体距離が大きいほど、左右の視差が大きくなるような画像処理を行う。図１０に示すように、距離ｄ２までは、第１の領域であり、左右の視差がほとんどない状態である。距離ｄ２を超える範囲は第２の領域であり、距離が大きくなるにつれて左右の視差が大きくなる。

図１１は、三次元表示による強調処理を行った撮像確認用画像の一例を説明する図である。本実施の形態では、三次元表示は右目用画像と左目用画像とを表示し、三次元用眼鏡を着用することで画像を立体的に見ることが可能な表示である。画像データに図１０に示す三次元表示による画像処理を行うと、図１１に示すように、撮像確認用画像において、右目用画像と左目用画像とが表示され、第２の領域７４において、第１の領域から離れた位置にある非注目被写体６１ほど、右目用画像と左目用画像が離れて表示される。すなわち、第１の領域７５に比べて第２の領域７６の左右の視差が大きくなることにより、第１の領域７５と第２の領域７６の視覚的差異が明瞭となる。従って、撮影者は、注目被写体６０が合焦領域であることを容易に判定することができる。なお、三次元表示の方法はこの方法に限定するものではない。

［２−５−３．輝度］
強調部２０４は、距離に関する情報を輝度差に変換して、視覚的差異を強調する。強調部２０４は、第１の領域と第２の領域との輝度差が大きくなるような画像処理を行う。強調部２０４は、輝度差を大きくするために、第１の領域の輝度を上げても良いし、第２の領域の輝度を下げても良いし、それらを組み合わせても良い。本実施の形態では、強調部２０４は、現在の輝度差を一律の輝度差にまで増加させる処理を行う。なお、輝度差の設定は、輝度差の増加量を一定にしてもよいし、現在の輝度差に応じて増加させる輝度差を適宜設定してもよい。

図１２は、第２の領域における第１の領域からの距離と輝度差との関係を示す図である。図１２において、横軸は被写体距離、縦軸は輝度差を示す。また、グラフ９３は強調処理前の輝度差、グラフ９４は強調処理後の輝度差を示す。図１２に示すように、距離ｄ３までは、第１の領域であり、輝度差がほとんどない状態である。グラフ９３において、距離ｄ３を越える範囲は第２の領域であり、第１の領域から離れるほど、輝度差が増加していることが分かる。本実施の形態では、強調部２０４は、輝度差がグラフ９３における最大値ｃ２になるように、第２の領域の輝度を変更する処理を行う。すなわち、強調部２０４は、第１の領域に対する第２の領域の輝度差がグラフ９４に示す輝度差ｃ２となるような強調処理を行う。

図１３は、輝度差による強調処理を行った撮像確認用画像の一例を説明する図である。本実施の形態における輝度差による強調処理は、図１３に示すように、第１の領域７７の輝度はそのままで、輝度差が一律の輝度差ｃ２まで大きくなるように、第２の領域７８の輝度を低下させる。これにより、図１３に示すように、第１の領域７７と第２の領域７８との輝度差が大きくなり、図６に示す強調処理前の撮像確認用画像に比べ、第１の領域７７の注目被写体６０が相対的に明瞭になっていることが分かる。従って、撮影者は注目被写体６０が合焦領域にあることを容易に判定することができる。

［３．効果など］
以上のように、本実施の形態のデジタルカメラ１において、画像データ生成部２０２は、撮像部２０１が撮像した撮像データより、画像データを生成する。判定部２０３は、画像データのボケ量を検出し、ボケ量を用いて被写体までの距離に関する情報を算出する。判定部２０３は、画像データの合焦状態を判定し、画像データを、合焦領域を含む第１の領域とそれ以外の第２の領域に分割する。強調部２０４は、表示部２０５の解像度に応じて、画像データの画角またはフレーミングを変化させずに、距離に関する情報を用いて、第１の領域の画像データと第２の領域の画像データの視覚的差異を強調する強調処理を画像データに行い、撮像確認用画像を生成する。表示部２０５は撮像確認用画像を表示する。

これにより、表示部２０５に表示された撮像確認用画像において、合焦している第１の領域と、それ以外の第２の領域に対する視覚的差異が明瞭となる。

そのため、撮影者は合焦領域の認識が容易になり、フォーカス調整後の合焦精度を向上することが可能となる。

また、表示部に表示される表示データの画角およびフレーミングには何ら変化がないため、撮像データ全体の構図の確認を逸することがなく、良好な撮影画像を得ることが可能となる。特に、高解像度画像のマニュアルフォーカス調整時に、合焦状態の劣化を防止することが可能となる。

また、本開示では、距離情報を活用することにより、被写体の空間周波数に惑わされることなく合焦部分を正確に表示させることが可能となる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

なお、本実施の形態においては、ＤＦＤ方式を用いて、被写体までの距離を算出したが、これに限定するものではない。例えば、ステレオ方式、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式など公知の方式を用いても同様の効果を得ることは可能である。

また、本実施の形態においては、視覚的差異を強調する画像処理として、ボケ量、三次元表示、輝度を用いた画像処理を行ったが、これに限定するものではない。例えば、第１の領域と第２の領域の色合いを変えてもよい。

また、本実施の形態においては、強調処理は予め設定された処理を行うとしたが、複数の強調処理から選択したり、組合せたりしても構わない。例えば、距離に関する情報に応じて、処理を選択したり、組合せたりしてもよい。

また、本実施の形態においては、フォーカス位置の移動は、フォーカスレンズの位置を操作することで実現したが、これに限定するものではない。例えば、撮像素子の移動等他の方法で実現させてもよい。従って、フォーカスレンズ位置に関する情報は、単純にフォーカス位置に関する情報としてもよい。

また、本実施の形態においては、合焦状態の判定に距離に関する情報を用いたが、これに限定するものではない。例えば、画像データのコントラスト値を用いて、合焦状態を判定し、画像データを２つの領域に分割してもよい。この場合、コントラスト値が所定の値より高い領域を第１の領域、それ以外の領域を第２の領域に分割する。

本技術は、撮影者が表示部を見ながら被写体の合焦位置を調整する撮像装置に適用可能である。具体的には、ビデオカメラ、一眼カメラ、携帯電話、スマートフォンなどに、本技術は適用可能である。

１ デジタルカメラ
６０ 注目被写体
６１ 非注目被写体
７１，７３，７５，７７ 第１の領域
７２，７４，７６，７８ 第２の領域
１００ 光学系
１０１ ズームレンズ
１０２ ＯＩＳレンズ
１０３ フォーカスレンズ
１０４ ズームモータ
１０５ ＯＩＳアクチュエータ
１０６ フォーカスモータ
１０７ 撮像素子
１０８ ＡＤ変換部
１０９ 映像処理部
１１０ メモリ
１１１ コントローラ
１１２ 液晶モニタ
１１３ ズームレバー
１１４ 操作部材
１１５ カードスロット
１１６ メモリカード
２００ レンズ部
２０１ 撮像部
２０２ 画像データ生成部
２０３ 判定部
２０４ 強調部
２０５ 表示部
２０６ レンズ制御部
２０７ 操作部

Claims (11)

1. 被写体を撮像して撮像データを生成する撮像部と、
   前記撮像データより画像データを生成し、前記画像データより撮像確認用画像を生成する映像処理部と、
   前記撮像確認用画像を表示する表示部と、を備え、
   前記映像処理部は、
   前記画像データのボケ量を検出し、前記ボケ量を用いて前記被写体までの距離に関する情報を算出し、
   前記画像データの合焦状態を判定し、前記画像データを、合焦領域を含む第１の領域とそれ以外の第２の領域に分割し、
   前記表示部の解像度に応じて、前記画像データの画角またはフレーミングを変化させずに、前記距離に関する情報を用いて、前記第１の領域の画像データと前記第２の領域の画像データの視覚的差異を強調する強調処理を前記画像データに行い、前記撮像確認用画像を生成する撮像装置。
2. 前記映像処理部は、前記画像データの解像度が前記表示部の解像度よりも高い場合に、前記強調処理を行う、請求項１に記載の撮像装置。
3. 前記映像処理部は、前記距離に関する情報を用いて、前記合焦状態を判定する、請求項１または請求項２に記載の撮像装置。
4. 前記映像処理部は、前記画像データのコントラスト値を用いて、前記合焦状態を判定する、請求項１または請求項２に記載の撮像装置。
5. 前記強調処理は、前記第１の領域の画像データと前記第２の領域の画像データとのボケ量の差を大きくする処理である、請求項１〜４に記載の撮像装置。
6. 前記強調処理は、前記画像データを三次元表示させるための処理である、請求項１〜４に記載の撮像装置。
7. 前記強調処理は、前記第１の領域の画像データと前記第２の領域の画像データとの輝度差を大きくする処理である、請求項１〜４に記載の撮像装置。
8. 撮像部が撮像した撮像データより画像データを生成し、前記画像データより撮像確認用画像を生成して表示部に出力する画像処理装置であって、
   前記画像データのボケ量を検出し、前記ボケ量を用いて被写体までの距離に関する情報を算出するとともに、前記画像データの合焦状態を判定し、前記画像データを合焦領域を含む第１の領域と、それ以外の第２の領域に分割する判定部と、
   前記表示部の解像度に応じて、前記画像データの画角またはフレーミングを変化させずに、前記距離に関する情報を用いて、前記第１の領域と前記第２の領域との視覚的差異を強調する強調処理を前記画像データに施して、前記撮像確認用画像を生成する強調部と、を備えた画像処理装置。
9. 前記強調部は、前記画像データの解像度が前記表示部の解像度よりも高い場合に、前記強調処理を行う、請求項８に記載の画像処理装置。
10. 撮像部が撮像した撮像データより画像データを生成し、前記画像データより撮像確認用画像を生成して表示部に出力する画像処理方法であって、
    前記画像データのボケ量を検出し、前記ボケ量を用いて被写体までの距離に関する情報を算出する距離情報算出ステップと、
    前記画像データの合焦状態を判定し、前記画像データを合焦領域を含む第１の領域と、それ以外の第２の領域に分割する領域分割ステップと、
    前記表示部の解像度に応じて、前記画像データの画角またはフレーミングを変化させずに、前記距離に関する情報を用いて、前記第１の領域と前記第２の領域との視覚的差異を強調する強調処理を前記画像データに施して、前記撮像確認用画像を生成する強調処理ステップと、を有する画像処理方法。
11. 前記画像データの解像度が前記表示部の解像度よりも高い場合に、前記強調処理を行う、請求項１０に記載の画像処理方法。