JP2017022565A

JP2017022565A - 画像処理装置及びその制御方法、並びにプログラム

Info

Publication number: JP2017022565A
Application number: JP2015138848A
Authority: JP
Inventors: 佳弘水尾; Yoshihiro Mizuo
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-07-10
Filing date: 2015-07-10
Publication date: 2017-01-26
Anticipated expiration: 2035-07-10
Also published as: JP6604760B2

Abstract

【課題】一定の時間を要することなくマニュアルフォーカスの操作を補助する補助情報を表示することができる画像処理装置を提供する。【解決手段】カメラ１００は、メイン輪郭部の距離情報及び各サブ輪郭部のデフォーカス量に基づいて各サブ輪郭部の距離情報を算出し、サブ輪郭部において、メイン輪郭部の距離情報より大きい距離情報を有する第１のサブ輪郭部を当該第１のサブ輪郭特定表示で表示し、メイン輪郭部の距離情報より小さい距離情報を有する第２のサブ輪郭部を当該第２のサブ輪郭特定表示で表示する。【選択図】図５

Description

本発明は、画像処理装置及びその制御方法、並びにプログラムに関し、特に、マニュアルフォーカスを行う画像処理装置及びその制御方法、並びにプログラムに関する。

マニュアルフォーカスを行う際、撮影された画像において焦点が合った領域（以下、「合焦領域」という。）のみについて特定の表示を行うピーキング機能を有する画像処理装置としてのカメラが知られている。カメラでは、当該カメラに設けられるＬＣＤモニタに撮影された画像が表示され、ピーキング機能を用いた場合、ＬＣＤモニタに表示された画像のうち合焦領域に含まれる被写体の輪郭が特定の色、例えば、赤色で表示される。これにより、ユーザは表示された画像において合焦領域を容易に特定可能である。また、ピーキング機能を用いた場合、マニュアルフォーカスの操作を補助する補助情報もＬＣＤモニタに表示される。例えば、撮影時のフォーカスレンズの位置から当該フォーカスレンズを所定の方向へ移動させたとき、焦点が被写体に近付くために鮮明さが増す領域及び焦点が被写体から離れるために鮮明さが減る領域が互いに異なる特定の色で表示される。これにより、ユーザは、合焦領域と異なる所望の領域に焦点を合わせる際の適切なフォーカスレンズの移動方向を容易に判断可能である。補助情報は、所定の位置のフォーカスレンズによって撮影された画像及びフォーカスレンズを所定の位置から移動させて撮影された画像の差分に基づいて表示される（例えば、特許文献１参照）。

特開２００９−１６５０３１号公報

しかしながら、特許文献１の技術では、補助情報を表示するために、フォーカスレンズを移動させる必要があり、補助情報を表示するまでに一定の時間を要してしまう。

本発明の目的は、一定の時間を要することなくマニュアルフォーカスの操作を補助する補助情報を表示することができる画像処理装置及びその制御方法、並びにプログラムを提供することにある。

上記目的を達成するために、本発明の画像処理装置は、撮影された各被写体の輪郭を含む画像を生成する画像処理装置であって、前記生成された画像において合焦された合焦領域を特定する第１の特定手段と、前記生成された画像において合焦されない非合焦領域を特定する第２の特定手段と、前記合焦領域の距離情報を算出する算出手段と、前記非合焦領域の像面位相差検出の結果に基づいて前記非合焦領域のデフォーカス量を決定する決定手段と、前記生成された画像を表示する表示手段とを備え、前記算出手段は、前記合焦領域の距離情報及び前記デフォーカス量に基づいて前記非合焦領域の距離情報を算出し、前記表示手段は、前記非合焦領域において、前記合焦領域の距離情報より大きい距離情報を有する第１の非合焦領域に含まれる輪郭を第１の特定表示で表示し、前記合焦領域の距離情報より小さい距離情報を有する第２の非合焦領域に含まれる輪郭を前記第１の特定表示と異なる第２の特定表示で表示することを特徴とする。

本発明によれば、一定の時間を要することなくマニュアルフォーカスの操作を補助する補助情報を表示することができる。

本発明の実施の形態に係る画像処理装置としてのカメラの構成を概略的に示すブロック図である。図１におけるカメラで実行される特定表示処理の手順を示すフローチャートである。図１における表示部で表示される画像を説明するための図であり、図３（ａ）はカメラ及び各被写体の位置関係を示し、図３（ｂ）は表示部で表示される画像の一例を示す。図２の特定表示処理で設定されるメイン輪郭部及びサブ輪郭部を説明するための図である。図１における表示部で表示される画像を説明するための図であり、図５（ａ）は表示部で表示される画像の一例を示し、図５（ｂ）はカメラ及び各被写体の位置関係を示す。図１のカメラにおける位相差検出可能領域を説明するための図であり、図６（ａ）はライン状の位相差検出可能領域の一例を示し、図５（ｂ）は矩形状の位相差検出可能領域の一例を示す。図２の特定表示処理の変形例の手順を示すフローチャートである。図２の特定表示処理の変形例の手順を示すフローチャートである。図１の撮像信号処理部で生成された画像情報データに基づく画像を説明するための図であり、図８（ａ）はカメラ及び各被写体の位置関係を示し、図８（ｂ）は画像情報データに基づく画像の一例を示す。図７Ａ及び図７Ｂの特定表示処理で設定されるサブ輪郭部の概念図である。

以下、本発明の実施の形態を図面を参照しながら詳述する。

図１は、本発明の実施の形態に係る画像処理装置としてのカメラ１００の構成を概略的に示すブロック図である。

図１において、カメラ１００は、撮像光学系１０１、撮像光学系操作部１０２、撮像部１０３、撮像信号処理部１０４、表示部１０５（表示手段）、操作部１０６、ＣＰＵ１０７、ＲＯＭ１０８、ＲＡＭ１０９、及びメモリスロット１１０を備える。撮像光学系操作部１０２、撮像信号処理部１０４、表示部１０５、操作部１０６、ＣＰＵ１０７、ＲＯＭ１０８、ＲＡＭ１０９、及びメモリスロット１１０はシステムバス１１２を介して互いに接続されている。撮像光学系１０１は撮像光学系操作部１０２及び撮像部１０３と夫々接続され、撮像部１０３は撮像信号処理部１０４と接続されている。

カメラ１００は、ユーザが被写体に対するピントの調整をマニュアルフォーカスで行う際に用いられるピーキング機能を有し、ピーキング機能によって当該マニュアルフォーカスの操作を補助する各種補助情報を表示部１０５に表示する。撮像光学系１０１は図示しないズームレンズやフォーカスレンズ等を含むレンズ群である。本実施の形態では、フォーカスレンズの位置を移動させて被写体に対するピントの調整を行う。撮像光学系操作部１０２は、各種レンズの操作を指示する制御信号をＣＰＵ１０７から受信し、受信された制御信号に基づいて撮像光学系１０１に設けられる各種レンズ群の位置を制御する。

撮像部１０３は受光した光を光電変換処理する画素領域を含み、当該画素領域には複数の画素が配置され、各画素によって撮像光学系１０１を透過した光束を電気的なアナログ画像信号に光電変換する。撮像部１０３には画像を形成するためのアナログ画像信号を光電変換する画像形成用画素の他に、像面位相差検出を行うためのアナログ画像信号を光電変換する位相差検出用画素が配置されている。画像形成用画素によって光電変換されたアナログ画像信号と検出用画素によって光電変換されたアナログ画像信号の位相差に基づいて各被写体に対する焦点のずれ量が検知される。位相差検出用画素は、全画素領域、又は画素領域の一部に配置され、本実施の形態では、一例として、位相差検出用画素が全画素領域に配置されている場合について説明する。また、撮像部１０３は、光電変換されたアナログ画像信号をデジタル画像信号に変換し、変換されたデジタル画像信号を撮像信号処理部１０４に出力する。

撮像信号処理部１０４は撮像部１０３から出力されたデジタル画像信号を変換して画像情報データを生成する。また、撮像信号処理部１０４は、検知された各被写体に対する焦点のずれ量に基づいて各被写体に対する焦点のずれを補正するためのデフォーカス量を算出する。算出されたデフォーカス量はＲＡＭ１０９に格納される。表示部１０５は各種画像や各種設定メニューを表示する。本実施の形態では、表示部１０５は撮像信号処理部１０４で生成された画像情報データに基づく各種画像を表示する。また、表示部１０５はピーキング機能によるマニュアルフォーカスの操作を補助する補助情報として、例えば、後述する図５（ａ）の破線で示す特定表示を表示する。

図２は、図１におけるカメラ１００で実行される特定表示処理の手順を示すフローチャートである。

図２の処理は、ＣＰＵ１０７がＲＯＭ１０８に格納された各種プログラムを実行することによって行われる。また、図２の処理は、一定の間隔で実行され、当該実行結果に基づいて後述する図５（ａ）の各特定表示が更新されることを前提とする。

ここで、ユーザがカメラ１００を用いて、図３（ａ）に示すように、光軸３００に沿う方向に被写体３０１〜３０３を撮影する場合、ピーキング機能を設定してマニュアルフォーカスの操作を行う。マニュアルフォーカスの操作によって被写体３０１に合焦させると、表示部１０５には図３（ｂ）の画像３０４が表示される。画像３０４では、被写体３０１に図３（ｂ）の破線で示すように当該被写体３０１が合焦していることを示す特定表示が表示される。その後、ユーザが被写体３０１から被写体３０２に合焦するようにマニュアルフォーカスの操作を行う際、被写体３０２が被写体３０１の手前に存在するのか若しくは奥に存在するのかを特定可能な補助情報が表示されると、ユーザは当該補助情報を用いて被写体３０２に容易にピント調整可能である。このような補助情報として、従来のカメラでは、例えば、所定の位置のフォーカスレンズによって撮影された画像及びフォーカスレンズを所定の位置から移動させて撮影された画像の差分に基づく情報を表示していた。この場合、フォーカスレンズを移動させる必要があり、補助情報を表示するまでに一定の時間を要してしまう問題が生じる。

これに対応して、本実施の形態では、合焦された後述するメイン輪郭部の距離情報及び合焦されていない後述する各サブ輪郭部のデフォーカス量が算出される。該メイン輪郭部の距離情報及び各サブ輪郭部のデフォーカス量に基づいて後述する各サブ輪郭部の距離情報が算出される。また、各サブ輪郭部において、メイン輪郭部の距離情報より大きい距離情報を有する第１のサブ輪郭部が当該第１のサブ輪郭部を特定する特定表示（以下、「第１のサブ輪郭特定表示」という。）で表示される。さらに、メイン輪郭部の距離情報より小さい距離情報を有する第２のサブ輪郭部が第１のサブ輪郭特定表示と異なる、当該第２のサブ輪郭部を特定する特定表示（以下、「第２のサブ輪郭特定表示」という。）で表示される。

図２において、まず、ＣＰＵ１０７は撮像信号処理部１０４で生成された画像情報データに含まれる周波数成分を解析し、当該画像情報データに基づく画像における各被写体の輪郭の一部を占める輪郭部を抽出する（ステップＳ２０１）。本実施の形態では、ＣＰＵ１０７は、画像情報データに含まれる周波数成分のうち所定の周波数以上の高周波数成分を輪郭部として抽出する。輪郭部は周波数が高くなるにつれて鮮明に表示される。以下、輪郭部の鮮明さは輪郭度として説明する。また、ＣＰＵ１０７は抽出された各輪郭部に各被写体の輪郭に対応する輪郭方向を設定する。次いで、ＣＰＵ１０７は、抽出された輪郭部を輪郭度に基づいて分類する（ステップＳ２０２）。ステップＳ２０２では、予め設定された第１の閾値及び第２の閾値に基づいて分類する。第１の閾値は合焦された輪郭部（合焦領域）の輪郭度に相当し、第２の閾値は合焦されていないがユーザが輪郭として認識可能な鮮明さの輪郭度に相当する。

ステップＳ２０２において、ＣＰＵ１０７は輪郭度が第１の閾値以上の輪郭部を合焦された輪郭部として特定する（ステップＳ２０３）（第１の特定手段）。その後、ＣＰＵ１０７は当該輪郭部を合焦された輪郭部であることを示すメイン輪郭部に設定し、抽出された全ての輪郭部の分類処理が完了したか否かを判別する（ステップＳ２０５）。

また、ステップＳ２０２において、ＣＰＵ１０７は、輪郭度が第２の閾値以上であって且つ第１の閾値未満の輪郭部を合焦されていない輪郭部（非合焦領域）ステップＳ２０４）（第２の特定手段）。その後、ＣＰＵ１０７は、当該輪郭部を合焦されていないが、ユーザが輪郭として認識可能な鮮明さの輪郭部であることを示すサブ輪郭部に設定し、ステップＳ２０５の処理に進む。

さらに、ステップＳ２０２において、ＣＰＵ１０７は、輪郭度が第２の閾値未満の輪郭部を、合焦されていない輪郭部として特定するが（第２の特定手段）、メイン輪郭部及びサブ輪郭部のいずれにも設定することなく、ステップＳ２０５の処理に進む。すなわち、本実施の形態では、画像情報データから抽出された輪郭部のうち第２の閾値以上の輪郭度を有する輪郭部のみを抽出し、さらに、抽出された輪郭部を、図４に示すように、第１の閾値を用いてメイン輪郭部及びサブ輪郭部のいずれかに設定する。

ステップＳ２０５の判別の結果、抽出されたいずれかの輪郭部の分類処理が完了しないとき、ＣＰＵ１０７は、ステップＳ２０２の処理に戻る。一方、ステップＳ２０５の判別の結果、抽出された全ての輪郭部の分類処理が完了したとき、ＣＰＵ１０７は、メイン輪郭部をメイン輪郭特定表示で表示する（ステップＳ２０６）。具体的に、ＣＰＵ１０７は、メイン輪郭特定表示としてメイン輪郭部を、例えば、赤色で表示する（例えば、図５（ａ）の破線で示す被写体５０１の表示）。

次いで、ＣＰＵ１０７は、撮像光学系１０１に含まれるフォーカスレンズの位置に基づいてメイン輪郭部の距離情報、例えば、図５（ｂ）のカメラ１００からメイン輪郭部に対応する被写体５０１までの距離５０２を算出する（ステップＳ２０７）（算出手段）。次いで、ＣＰＵ１０７は設定された各サブ輪郭部のデフォーカス量を決定する（ステップＳ２０８）（決定手段）。次いで、ＣＰＵ１０７は、算出されたメイン輪郭部の距離情報及び各サブ輪郭部のデフォーカス量に基づいて各サブ輪郭部の距離情報を算出する（ステップＳ２０９）（算出手段）。各サブ輪郭部の距離情報は、例えば、図５（ｂ）のカメラ１００からサブ輪郭部に対応する被写体５０３，５０４までの距離５０５，５０６である。すなわち、本実施の形態では、ＣＰＵ１０７は、撮像光学系１０１に含まれるフォーカスレンズ等を移動することなく、各サブ輪郭部の距離情報を算出可能である。なお、本実施の形態では、ステップＳ２０６の処理の後にステップＳ２０７〜Ｓ２０９の処理を行う場合について説明したが、ステップＳ２０７〜Ｓ２０９は後述するステップＳ２１０の処理を行う前に行われていればよい。例えば、ステップＳ２０７〜Ｓ２０９の処理は、ステップＳ２０１で各被写体の輪郭部を抽出した際に行ってもよい。また、予めステップＳ２０７〜Ｓ２０９の処理を行い、それぞれの算出結果をＲＯＭ１０８に格納し、後述するステップＳ２１０の処理において、格納された各算出結果を用いてもよい。

次いで、ＣＰＵ１０７は、全てのサブ輪郭部に対し、各サブ輪郭部の距離情報がメイン輪郭部の距離情報より大きいか否か判別する（ステップＳ２１０）。

ステップＳ２１０の判別の結果、サブ輪郭部の距離情報がメイン輪郭部の距離情報より大きいとき、ＣＰＵ１０７は、メイン輪郭部の距離情報より大きい距離情報を有するサブ輪郭部を第１のサブ輪郭部に設定する。例えば、図５（ｂ）において、被写体５０１の距離５０２より大きい距離５０６の被写体５０４を示す輪郭部が第１のサブ輪郭部に設定される。その後、ＣＰＵ１０７は、第１のサブ輪郭部を第１のサブ輪郭特定表示で表示する（ステップＳ２１１）。具体的に、ＣＰＵ１０７は、第１のサブ輪郭部を、例えば、青色で表示する（例えば、図５（ａ）の二点鎖線で示す被写体５０４の表示）。次いで、ＣＰＵ１０７はステップＳ２１３の処理に進む。

ステップＳ２１０の判別の結果、サブ輪郭部の距離情報がメイン輪郭部の距離情報より小さいとき、ＣＰＵ１０７は、メイン輪郭部の距離情報より小さい距離情報を有するサブ輪郭部を第２のサブ輪郭部に設定する。例えば、図５（ｂ）において、被写体５０１の距離５０２より小さい距離５０５の被写体５０３が第２のサブ輪郭部に設定される。その後、ＣＰＵ１０７は、第２のサブ輪郭部を第２のサブ輪郭特定表示で表示する（ステップＳ２１２）。具体的に、ＣＰＵ１０７は、第２のサブ輪郭部を、例えば、黄色で表示する（例えば、図５（ａ）の一点鎖線で示す被写体５０３の表示）。すなわち、本実施の形態では、メイン輪郭特定表示、第１のサブ輪郭特定表示、及び第２のサブ輪郭特定表示は、互いに異なる特定の色で表示される。次いで、ＣＰＵ１０７は、全てのサブ輪郭部に対する判別処理が完了したか否かを判別する（ステップＳ２１３）。

ステップＳ２１３の判別の結果、いずれかのサブ輪郭部に対する判別処理が完了しないとき、ＣＰＵ１０７はステップＳ２１０の処理に戻る。一方、ステップＳ２１３の判別の結果、全てのサブ輪郭部に対する判別処理が完了したとき、ＣＰＵ１０７は本処理を終了する。

上述した図２の処理によれば、メイン輪郭部の距離情報及び各サブ輪郭部のデフォーカス量に基づいて各サブ輪郭部の距離情報が算出される。そのため、撮像光学系１０１に含まれるフォーカスレンズの移動等を行うことなく、各サブ輪郭部の距離情報を取得することができる。その結果、被写体５０３を示すサブ輪郭部が第１のサブ輪郭部及び第２のサブ輪郭部のいずれに該当するかを一定の時間を要することなく判定することができる。

また、図２の処理によれば、第１のサブ輪郭部が第１のサブ輪郭特定表示で表示され、第２のサブ輪郭部が第２のサブ輪郭特定表示で表示される。ここで、ユーザは、被写体５０３を示すサブ輪郭部が、第１のサブ輪郭特定表示及び第２のサブ輪郭特定表示のいずれかで表示されるかを判別することにより、当該サブ輪郭部の距離情報がメイン輪郭部の距離情報より小さいか大きいかを判別することができる。すなわち、第１のサブ輪郭特定表示及び第２のサブ輪郭特定表示はマニュアルフォーカスの操作を補助する補助情報に他ならない。

図２の処理によれば、被写体５０３を示すサブ輪郭部が第１のサブ輪郭部及び第２のサブ輪郭部のいずれに該当するかを一定の時間を要することなく判定することができる。そのため、カメラ１００は補助情報に該当する第１のサブ輪郭特定表示及び第２のサブ輪郭特定表示を一定の時間を要することなく行うことができる。

また、上述した図２の処理では、メイン輪郭部が第１のサブ輪郭特定表示及び第２のサブ輪郭特定表示と異なる色のメイン輪郭特定表示で表示される。これにより、ユーザが合焦された被写体の輪郭を容易に特定することができ、もって、ユーザが所望する被写体に合焦されているか否かをユーザが容易に判別することができる。

以上、本発明について実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。

例えば、メイン輪郭特定表示、第１のサブ輪郭特定表示、及び第２のサブ輪郭特定表示は、破線、一点鎖線、二点鎖線を含む互いに異なる特定の種類の線や、互いに異なる特定の間隔の点滅であってもよい。この場合も、ユーザがメイン輪郭部、第１のサブ輪郭部、及び第２のサブ輪郭部を確実に特定することができ、もって、ユーザがメイン輪郭部、第１のサブ輪郭部、及び第２のサブ輪郭部の各々を見誤るのを防止することができる。

また、本実施の形態では、位相差検出用画素が撮像部１０３の全画素領域に配置されている場合に限定されず、位相差検出用画素が画素領域の一部に配置されている場合であってもよい。この場合、生成された画像情報データに基づく画像のうち、配置された位相差検出用画素が検知可能な位相差検出可能領域のみサブ輪郭部の距離情報が算出される。位相差検出可能領域は、例えば、図６（ａ）の部分領域６０１を含む斜線のライン状の各部分領域や、図６（ｂ）の部分領域６０２を含む斜線の矩形状の各部分領域である。すなわち、図６（ａ）及び図６（ｂ）の斜線で示す各部分領域以外のサブ輪郭部の距離情報が欠落し、その結果、補助情報を表示することができない可能性がある。

これに対応して、本実施の形態では、サブ輪郭部の距離情報が存在しない場合、画像情報データに基づく画像において距離情報無しサブ輪郭部に近接する距離情報有りサブ輪郭部の距離情報が、距離情報無しサブ輪郭部の距離情報として用いられる。距離情報無しサブ輪郭部と距離情報有りサブ輪郭部については後述する。

図７Ａ及び図７Ｂは、図２の特定表示処理の変形例の手順を示すフローチャートである。

図７Ａ及び図７Ｂの処理は、ＣＰＵ１０７がＲＯＭ１０８に格納された各種プログラムを実行することによって行われる。また、図７Ａ及び図７Ｂの処理は、一定の間隔で実行され、当該実行結果に基づいて後述する図８（ａ）の各特定表示が更新されることを前提とする。

図７Ａ及び図７Ｂにおいて、まず、ＣＰＵ１０７は、図２のステップＳ２０１〜Ｓ２０９と同様の処理を実行する。次いで、ＣＰＵ１０７は、設定された全てのサブ輪郭部の距離情報が存在するか否かを判別する（ステップＳ７０１）。

ステップＳ７０１の判別の結果、設定された全てのサブ輪郭部の距離情報が存在するとき、ＣＰＵ１０７は、図２のステップＳ２１０〜Ｓ２１３と同様の処理を行って、本処理を終了する。一方、ステップＳ７０１の判別の結果、設定されたいずれかのサブ輪郭部の距離情報が存在しないとき、ＣＰＵ１０７は判別処理を行う。具体的に、ＣＰＵ１０７は、画像情報データに基づく画像において、距離情報を有しないサブ輪郭部の近接に距離情報を有するサブ輪郭部が存在するか否かを判別する（ステップＳ７０２）。以下、距離情報を有するサブ輪郭部は距離情報有りサブ輪郭部とし、距離情報を有しないサブ輪郭部は距離情報無しサブ輪郭部として説明する。

ステップＳ７０２の判別の結果、距離情報無しサブ輪郭部の近接に１つの距離情報有りサブ輪郭部が存在するとき、ＣＰＵ１０７は、近接する距離情報有りサブ輪郭部の距離情報を距離情報無しサブ輪郭部の距離情報として用いる（ステップＳ７０３）。次いで、ＣＰＵ１０７は、図２のステップＳ２１０の処理に進む。

ステップＳ７０２の判別の結果、距離情報無しサブ輪郭部の近接に複数の距離情報有りサブ輪郭部が存在するとき、ＣＰＵ１０７は、当該複数の距離情報有りサブ輪郭部の全ての距離情報が一致するか否かを判別する（ステップＳ７０４）。例えば、図８（ａ）に示すようにカメラ１００との距離情報が夫々異なる被写体８０１，８０２を含む図８（ｂ）の画像８００において、領域８０３では、被写体８０１の輪郭部のみが含まれ、複数の距離情報有りサブ輪郭部の全ての距離情報が一致する。一方、領域８０４では、被写体８０１の輪郭部及び当該被写体８０１と距離情報の異なる被写体８０２の輪郭部の各々が含まれるので、複数の距離情報有りサブ輪郭部のいずれかの距離情報が一致しない。

ステップＳ７０４の判別の結果、複数の距離情報有りサブ輪郭部の全ての距離情報が一致するとき、ＣＰＵ１０７は、ステップＳ７０３の処理に進む。一方、ステップＳ７０４の判別の結果、複数の距離情報有りサブ輪郭部の距離情報のうちいずれかの距離情報が一致しないとき、ＣＰＵ１０７は選択処理を行う。具体的に、ＣＰＵ１０７は、複数の距離情報有りサブ輪郭部の距離情報のうち距離情報無しサブ輪郭部の輪郭方向に最も近い輪郭方向の距離情報有りサブ輪郭部の距離情報を選択する。例えば、図９の矢印で示す輪郭方向が夫々設定された距離情報無しサブ輪郭部９０１及び距離情報有りサブ輪郭部９０２，９０３，９０４において、ＣＰＵ１０７は、距離情報有りサブ輪郭部９０２，９０３，９０４の距離情報のうち距離情報無しサブ輪郭部９０１の輪郭方向に最も近い距離情報有りサブ輪郭部９０２の距離情報を距離情報無しサブ輪郭部９０１の距離情報として選択する。なお、本実施の形態では、複数の距離情報有りサブ輪郭部の距離情報うち、一致する距離情報の数が最も多い距離情報を選択してもよい。その後、ＣＰＵ１０７は、選択された距離情報を距離情報無しサブ輪郭部のサブ輪郭距離情報として用いる（ステップＳ７０５）。次いで、ＣＰＵ１０７は、ステップＳ２１０の処理に進む。

ステップＳ７０２の判別の結果、距離情報無しサブ輪郭部の近接に距離情報有りサブ輪郭部が存在しないとき、ＣＰＵ１０７は、距離情報無しサブ輪郭部に対してサブ輪郭部の設定を解除し、ステップＳ２１３の処理に進む。

上述した図７Ａ及び図７Ｂの処理では、サブ輪郭部の距離情報が存在しない場合、生成された画像情報データに基づく画像において距離情報無しサブ輪郭部に近接する距離情報有りサブ輪郭部の距離情報が距離情報無しサブ輪郭部の距離情報として用いられる。これにより、上記画像における一部のサブ輪郭部の距離情報が算出されていなくても、上記画像を構成する全てのサブ輪郭部の距離情報を取得することができる。その結果、例えば、一部のサブ輪郭部の距離情報が存在していなくても、補助情報を確実に表示することができる。

また、上述した図７Ａ及び図７Ｂの処理では、全てのサブ輪郭部には輪郭方向が設定され、複数の距離情報有りサブ輪郭部の距離情報が互いに異なる場合、複数の距離情報有りサブ輪郭部の距離情報のうち距離情報無しサブ輪郭部に設定された輪郭方向に最も近い輪郭方向が設定されている距離情報有りサブ輪郭部の距離情報が距離情報無しサブ輪郭部の距離情報として用いられる。これにより、上記画像において、距離情報無しサブ輪郭部に近接する複数の距離情報有りサブ輪郭部が互いに異なる距離情報を有していても、距離情報無しサブ輪郭部の輪郭に似た輪郭を含む距離情報有りサブ輪郭部の距離情報が選択されるため、傾向が異なる距離情報有りサブ輪郭部の距離情報が距離情報無しサブ輪郭部の距離情報として用いられるのを防止することができ、もって、距離情報無しサブ輪郭部の距離情報の信頼性を向上することができる。

本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００カメラ
１０４撮像信号処理部
１０５表示部
１０７ＣＰＵ

Claims

撮影された各被写体の輪郭を含む画像を生成する画像処理装置であって、
前記生成された画像において合焦された合焦領域を特定する第１の特定手段と、
前記生成された画像において合焦されない非合焦領域を特定する第２の特定手段と、
前記合焦領域の距離情報を算出する算出手段と、
前記非合焦領域の像面位相差検出の結果に基づいて前記非合焦領域のデフォーカス量を決定する決定手段と、
前記生成された画像を表示する表示手段とを備え、
前記算出手段は、前記合焦領域の距離情報及び前記デフォーカス量に基づいて前記非合焦領域の距離情報を算出し、
前記表示手段は、前記非合焦領域において、前記合焦領域の距離情報より大きい距離情報を有する第１の非合焦領域に含まれる輪郭を第１の特定表示で表示し、前記合焦領域の距離情報より小さい距離情報を有する第２の非合焦領域に含まれる輪郭を前記第１の特定表示と異なる第２の特定表示で表示することを特徴とする画像処理装置。
前記合焦領域に含まれる輪郭を前記第１の特定表示及び前記第２の特定表示と異なる第３の特定表示で表示することを特徴とする請求項１記載の画像処理装置。
前記第１の特定表示、前記第２の特定表示、及び前記第３の特定表示は、互いに異なる特定の色による表示であることを特徴とする請求項２記載の画像処理装置。
前記第１の特定表示、前記第２の特定表示、及び前記第３の特定表示は、互いに異なる特定の種類の線による表示であることを特徴とする請求項２又は３記載の画像処理装置。
前記第１の特定表示、前記第２の特定表示、及び前記第３の特定表示は、互いに異なる特定の間隔の点滅による表示であることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
前記生成された画像の一部を占める部分領域の前記距離情報が存在しない場合、前記生成された画像において前記部分領域に近接する他の部分領域の前記距離情報を前記部分領域の前記距離情報として用いることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記部分領域には、当該部分領域に含まれる輪郭に基づいて輪郭方向が設定され、
前記他の部分領域が複数存在し、前記複数の他の部分領域の各々には、当該部分領域に含まれる輪郭に基づいて輪郭方向が設定され、
前記複数の他の部分領域の前記距離情報が互いに異なる場合、前記複数の他の部分領域の距離情報のうち前記部分領域に設定された輪郭方向に最も近い輪郭方向が設定されている前記他の部分領域の距離情報を前記部分領域の距離情報として用いることを特徴とする請求項６記載の画像処理装置。
撮影された各被写体の輪郭を含む画像を生成する画像処理装置の制御方法であって、
前記生成された画像において合焦された合焦領域を特定する第１の特定ステップと、
前記生成された画像において合焦されない非合焦領域を特定する第２の特定ステップと、
前記合焦領域の距離情報を算出する算出ステップと、
前記非合焦領域の像面位相差検出の結果に基づいて前記非合焦領域のデフォーカス量を決定する決定ステップと、
前記生成された画像を表示する表示ステップとを備え、
前記算出ステップは、前記合焦領域の距離情報及び前記デフォーカス量に基づいて前記非合焦領域の距離情報を算出し、
前記表示ステップは、前記非合焦領域において、前記合焦領域の距離情報より大きい距離情報を有する第１の非合焦領域に含まれる輪郭を第１の特定表示で表示し、前記合焦領域の距離情報より小さい距離情報を有する第２の非合焦領域に含まれる輪郭を前記第１の特定表示と異なる第２の特定表示で表示することを特徴とする画像処理装置の制御方法。
撮影された各被写体の輪郭を含む画像を生成する画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
前記画像処理装置の制御方法は、
前記生成された画像において合焦された合焦領域を特定する第１の特定ステップと、
前記生成された画像において合焦されない非合焦領域を特定する第２の特定ステップと、
前記合焦領域の距離情報を算出する算出ステップと、
前記非合焦領域の像面位相差検出の結果に基づいて前記非合焦領域のデフォーカス量を決定する決定ステップと、
前記生成された画像を表示する表示ステップとを備え、
前記算出ステップは、前記合焦領域の距離情報及び前記デフォーカス量に基づいて前記非合焦領域の距離情報を算出し、
前記表示ステップは、前記非合焦領域において、前記合焦領域の距離情報より大きい距離情報を有する第１の非合焦領域に含まれる輪郭を第１の特定表示で表示し、前記合焦領域の距離情報より小さい距離情報を有する第２の非合焦領域に含まれる輪郭を前記第１の特定表示と異なる第２の特定表示で表示することを特徴とするプログラム。