JP2021002066A - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents

Abstract

【課題】被写体、撮影条件に依らず最適なピーキングを行うことができる表示制御装置、表示制御方法および表示制御プログラムを提供する。【解決手段】画像における被写体の合焦状態が所定の合焦近傍範囲内にあることに応じて、前記画像の状態に対応した強調表示の、表示部への表示を制御する表示制御部を備える表示制御装置である。【選択図】図１

Description

本技術は、表示制御装置、表示制御方法および表示制御プログラムに関する。

デジタルカメラのマニュアルフォーカスでは、撮影者はレンズのフォーカス位置を動かしてモニタリング画像上で被写体が最もシャープになるフォーカス位置を探すことで、ピント合わせ作業を行なう。このピント合わせの精度を上げるため、ピーキングと呼ばれるアシスト機能が提案されている（特許文献１）。

ピーキングでは、モニタリング画像がシャープな部分に補助信号としてマーカーを表示する。撮影者は、被写体上のマーカー表示が最も多くなるフォーカス位置を探すことで、容易にピントを合わせることができる。画像のシャープさに比べて、マーカーの方が視認性が高いため、ピーキング機能にはピント合わせ作業を楽にする効果がある。

ピーキングにおいては、入力画像中で高周波成分のエネルギーが閾値を超えた箇所をピントが合っていると判定し、ピントが合っていると判定されたピクセルに対してマーカーを描画する。

特開２０１０−１１４５５６号公報

ところが、モニタリング画像の高周波成分のエネルギーの大きさは、ピントの合い具合のみならず、被写体自体が持つ周波数特性による影響を受ける。例えば、コントラストが強く、エッジの立ったテクスチャを持った被写体では、高周波成分が高くなりやすい。逆に、コントラストが低く、なめらかなテクスチャを持った被写体では、高周波成分は低くなりがちである。前者では、ピントが合いきる前にピーキングのマーカー表示が飽和してしまう。後者では、ピントが合ってもマーカーが表示されなくなってしまう。どちらの場合もマーカーが適切に表示されないため、ピーキング機能がフォーカス操作をアシストできなくなるという問題がある。

本技術はこのような問題点に鑑みなされたものであり、被写体、撮影条件などに依らず最適なピーキングを行うことができる表示制御装置、表示制御方法および表示制御プログラムを提供することを目的とする。

上述した課題を解決するために、第１の技術は、画像における被写体の合焦状態が所定の合焦近傍範囲内にあることに応じて、画像の状態に対応した強調表示の、表示部への表示を制御する表示制御部を備える表示制御装置である。

また、第２の技術は、画像における被写体の合焦状態が所定の合焦近傍範囲内にあることに応じて、画像の状態に対応した強調表示の、表示部への表示を制御する表示制御方法である。

さらに、第３の技術は、画像における被写体の合焦状態が所定の合焦近傍範囲内にあることに応じて、画像の状態に対応した強調表示の、表示部への表示を制御する表示制御方法をコンピュータに実行させる表示制御プログラムである。

本技術によれば、被写体、撮影条件などに依らず最適なピーキングを行うことができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。

図１は、本技術に係る撮像装置の構成を示すブロック図である。 図２は、ピーキング処理の概要の説明図である。 図３は、第１の実施の形態に係るピーキング処理の流れを示すフローチャートである。 図４は、ピーキング用閾値の設定の説明図である。 図５Ａ、図５Ｂおよび図５Ｃは、第１の実施の形態に係るピーキング処理の説明図である。 図６は、第２の実施の形態に係るピーキング処理の流れを示すフローチャートである。 図７Ａ、図７Ｂおよび図７Ｃは、第２の実施の形態に係るピーキング処理の説明図である。 図８は、第３の実施の形態に係るピーキング処理の概要を示す図である。 図９は、第３の実施の形態に係るピーキング処理の流れを示すフローチャートである。 図１０は、第３の実施の形態に係るピーキング処理の説明図である。 図１１Ａおよび図１１Ｂは、変形例に係る係数特性を説明する図である。 図１２は、変形例に係る撮像装置の構成を示すブロック図である。

以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１−１．撮像装置の構成］
［１−２．ピーキング処理］
＜２．第２の実施の形態＞
［２−１．ピーキング処理］
＜３．第３の実施の形態＞
［３−１．ピーキング処理］
＜４．変形例＞

＜１．第１の実施の形態＞
［１−１．撮像装置の構成］
まず、第１の実施の形態に係る表示制御装置の機能を備える撮像装置１００の構成について説明する。図１は、撮像装置１００の構成を示すブロック図である。

撮像装置１００は、制御部１１０、光学撮像系１２０、レンズ駆動ドライバ１３０、撮像素子１４０、信号処理ＬＳＩ（Large-Scale Integration）１５０、前処理部１５１、画像信号処理部１５２、コーデック部１５３、表示制御部１５４、記憶部１６０、表示部１７０、入力部１８０、手ぶれセンサ１９０を備えて構成されている。

制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１００全体の制御を行う。

光学撮像系１２０は、被写体からの光を撮像素子１４０に集光するためのレンズ１２１、レンズ１２１から入射した光を撮像素子１４０および位相差センサ１２３に導くハーフミラー１２２、位相差検出方式によるＡＦ（Auto Focus）用センサである位相差センサ１２３を備えている。本技術においては、位相差センサ１２３から得られるピント評価値を用いて合焦状態の判定を行う。さらに、光学撮像系１２０は、撮影レンズ１２１を移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構なども備えている。本技術においては、ピント評価値とは、画像中におけるボケの大きさの半径を示すものであり、ボケの大きさはピクセル単位で表される。ボケとは、画像中においてピントが合っておらず、ぼやけている部分または状態のことである。また、一般にボケの大きさは、レンズが点光源の被写体を結像させた時の、撮像面上での像の広がりの大きさ（PSF: Point Spread Function，点像広がり特性）のことである。また、ピントが最良の条件とは、PSFの径が最小となる条件であり、この時、レンズはもっともシャープな像を結ぶ。また、合焦状態とは、PSFが許容錯乱円径よりも小さい状態のことを表す。許容錯乱円径とは、撮像から鑑賞までのシステムを考えた際に、最終鑑賞者がボケの発生を知覚できない、最大のボケの径のことである。

レンズ１２１は、被写体からの光を撮像素子１４０に集光するためのレンズである。レンズ１２１を介して得られた被写体の光画像は、ハーフミラー１２２により撮像素子１４０方向に導かれて、撮像素子１４０上に結像される。

レンズ駆動ドライバ１３０は、例えばマイコンなどにより構成され、制御部１１０の制御に従い、光学撮像系１２０の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。また、位相差センサ１２３からのピント評価値に加えて、レンズ駆動ドライバ１３０から得られるレンズ１２１の位置情報を合焦状態の判定に用いることもできる。

撮像素子１４０は、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子１４０から出力されるアナログ撮像信号は前処理部１５１に出力される。撮像素子１４０としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。なお、撮像素子１４０が位相差センサ１２３の機能を備えているという構成でもよい。

前処理部１５１は、撮像素子１４０から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。

画像信号処理部１５２は、デモザイク処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理、解像度変換処理などの所定の信号処理を画像信号に対して施す。

コーデック部１５３は、所定の処理が施された画像データについて、例えば記録用や通信用の符号化処理を行う。

表示制御部１５４は、位相差センサ１２３からピント評価値を取得し、それに基づき、強調表示用閾値であるピーキング用閾値の調整および設定を行う。ピーキング用閾値の調整の詳細については後述する。また、表示制御部１５４は設定したピーキング用閾値に基づき、画像中の各画素について高周波成分のエネルギーがピーキング用閾値を超えた際にピーキング処理による強調表示を行う。このピーキング処理は、所定のフィルタ係数を有するハイパスフィルタによる高周波成分抽出処理と、抽出された高周波成分のエネルギーとピーキング用閾値との比較処理と、比較により高周波成分のエネルギーがピーキング用閾値より大きいと判断された画素の位置情報に対応する位置の画素を強調表示するピーキング描画処理により行われる。ピーキング処理により画像中においてピントが合っている被写体を強調することができる。これにより、ユーザはピーキングマーカーがより多く描画されるようにピントを合わせていくことにより容易にピント合わせを行うことができる。

なお、ピント評価値は制御部１１０を介して位相差センサ１２３から表示制御部１５４に供給されてもよいし、位相差センサ１２３から直接表示制御部１５４に供給されるようにしてもよい。

表示制御部１５４はプログラムで構成され、そのプログラムは、予め撮像装置１００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。そのプログラムを制御部１１０が実行することにより制御部１１０が表示制御部１５４として機能するようにしてもよい。なお、表示制御部１５４は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。

記憶部１６０は、例えば、ハードディスク、メモリスティック（ソニー株式会社の登録商標）、ＳＤメモリカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。動画は、例えば、ＭＰＥＧ２（Moving Picture Experts Group2）、ＭＰＥＧ４などの形式で保存される。

表示部１７０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部１７０には、撮像装置１００のユーザインターフェース、メニュー画面、撮像中のモニタリング画像、記憶部１６０に記録された撮影済み画像、撮影済み動画などが表示される。

入力部１８０は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部１７０と一体に構成されたタッチスクリーンなどからなる。入力部１８０に対して入力がなされると、その入力に応じた制御信号が生成されて制御部１１０に出力される。そして、制御部１１０はその制御信号に対応した演算処理や制御を行う。

手ぶれセンサ１９０は、例えば２軸方向に対する加速度センサあるいは角度速度センサなどにより撮影時の手ぶれを検出して、手ぶれ情報を制御部１１０に供給する。制御部１１０は、手振れセンサからの手ぶれ情報に基づいて手振れ補正制御を行う。

表示制御装置としての機能を備える撮像装置１００は以上のようにして構成されている。

［１−２．ピーキング処理］
次に撮像装置１００において行われるピーキング処理について説明する。まず図２を参照して、ピーキングの概要について説明する。ピーキングとは、画像中の高周波成分を検出して被写体の合焦部分を特定し、被写体のエッジ部分（たとえば紋様や輪郭）を構成する画素を強調して表示する処理である。エッジ部分を構成する画素の強調表示は、画素を所定の色のマーカーで描画することにより、被写体のエッジ部分に沿った線を増加させたり、被写体の輪郭に沿った線を太くすることにより行われる。また、画素の輝度や色調と変えたり、画素に強調表示用の信号を重畳することにより行ってもよい。強調すべき画素以外の画素の輝度や色調を相対的に落として、強調すべき画素以外をぼかして表示するようにしてもよく、強調すべき画素を他の画素と区別できるのであれば、表示の態様は特定の方法に限定されることはない。

図２Ａ乃至図２Ｄは、ピーキング処理の対象となるモニタリング画像を構成する画像の例を示すものである。図２Ａにおいて、画像上に重畳されている破線で示される枠Ａは位相差センサ１２３による検出領域である。図２Ｂは、画像に対して適切なピーキング用閾値を設定してピーキング処理を行った例である。画像を構成するピクセルにピーキングマーカーが描写されて、被写体である花の輪郭全体に沿った線が太くなっていることにより、ユーザに花にピントが合っていることを示すことできる。

図２Ｃは、画像に対してピーキング処理がなされ、ピーキング用閾値の設定が低すぎる場合である。この場合、画像を構成するピクセルにピーキングマーカーが描写されて、主たる被写体である花に加えて、ぼけている背景の構成物の輪郭に沿った線も太くなってしまっており、ユーザに適切にピントが合っていることを示すことができない。

図２Ｄは、画像に対してピーキング処理がなされ、ピーキング用閾値の設定が高すぎる場合である。この場合、画像中において主たる被写体である花においてもコントラストが低い箇所ではピーキングマーカーが出現しないため、ユーザに適切にピントが合っていることを示すことができない。よって、ピーキング処理においては適切なピーキング用閾値を設定することが重要である。

次に図３のフローチャートを参照して、第１の実施の形態におけるピーキング処理の流れを説明する。まずステップＳ１１で、表示制御部１５４は、処理対象となるモニタリング画像を構成する画像におけるピント評価値を位相差センサ１２３から取得する。上述したように、ピント評価値は画像中におけるボケを表す値で、たとえばPSFの大きさの半径をピクセル単位で表したものである。ボケの大きさが小さくなればなるほど被写体にピントが合っていくということになる。次にステップＳ１２で、表示制御部１５４はピント評価値から調整係数を算出する。調整係数とは、ピント評価値で表される、ピント最良条件への近さに応じてピーキング用閾値を設定するための係数である。ここで、調整係数の算出方法について説明する。

図４は、ピーキング用閾値設定のための調整係数とピント評価値との関係を示すグラフである。グラフにおいて縦軸が調整係数を表し、横軸がピント評価値で示されるピクセル単位のボケの大きさを表している。グラフにおいて線分で示されるのがピント評価値から調整係数を決定するための係数特性である。

係数特性は、ピント評価値が大きくなるに従い調整係数も大きくなるように設定されている。また、図４のグラフに示す例においては、ピント評価値で示されるボケの大きさが２ピクセル以下の範囲では調整係数は０．７で一定になるように係数特性が設定されている。これは、ピント評価値のノイズ対策のために調整係数に下限を持たせたものである。調整係数が低い値になればなるほどピーキング用閾値は低い値になってピーキングマーカーが増加しやすくなるがノイズに反応しやすくなるため、ピーキング用閾値が所定の値以下にならないようにするためのものである。また、この２ピクセルは、位相差センサから得られるボケの大きさの検出性能によって決まる限界値に相当するものである。画像中における高周波成分が最大のエネルギーを持つピント位置にピントが合っている状態に近づくと位相差センサ１２３の性能、検出精度によってピント評価値のS/Nが低下して、値の安定性が損なわれる。これが位相差センサ１２３により求められるピント情報の限界となる。

また、ピント評価値で示されるボケの大きさが２ピクセルから８ピクセルまで大きくなるに従い調整係数が直線状に大きくなっていくように係数特性が設定されている。そして、ピント評価値が８ピクセルのときに調整係数が１．０になるように係数特性が設定されている。この８ピクセルは、ユーザがピーキングのマーカー表示を許容する範囲の限界値を示したものであり、特許請求の範囲におけるピント評価値の所定値に相当するものである。ボケの大きさがこの許容範囲の限界値以上である場合には、画像中の主たる被写体にピントが全く合っていないとしてピーキング処理は行われず、ボケの大きさがこの所定値以下である場合に被写体にピントが合いつつあるとしてピーキング処理が行われることになる。

ピーキング用閾値は画像中における位相差センサ１２３の検出領域（以下、位相差センサ検出領域と称する。）内の高周波成分の最大値と調整係数との乗算により算出されるものである。画像中における高周波成分の最大値がピーキング用閾値以上である場合にピーキング処理がなされる。調整係数が１以上の値である場合、ピーキング用閾値は位相差センサ検出領域内の高周波成分の最大値よりも大きな値となる。そうすると、ピーキング処理で検出される画素がなくなり、ピーキング用閾値は実質機能しないものとなるので、係数特性はピント評価値で表されるボケの大きさの許容できる限界値において調整係数が１となるように設定するのが望ましい。

なお、図４のグラフにおけるピント評価値としてのボケの大きさである８ピクセル、２ピクセル、さらに調整係数の０．７という具体的値はあくまで一例であり、値はそれらに限られるものではない。ボケの大きさであるピクセルの値はカメラの種類、画像サイズなどによっても変わるものである。

図３のフローチャートの説明に戻る。次にステップＳ１３で表示制御部１５４は画像中の位相差センサ検出領域内における高周波成分の最大値を取得する。なお、高周波成分の最大値は位相差センサ検出領域と正確に同じ範囲内における値である必要はなく、位相差センサ検出領域を内部に含んだ位相差センサ検出領域より広い範囲における値でもよい。位相差センサ検出領域における高周波成分の最大値は、例えば画像の周波数についてのヒストグラムから得ることができる。また、例えばオートフォーカスでは高周波成分は数値で得られるのでその数値を取得することにより高周波成分の最大値を得ることもできる。

そしてステップＳ１４で、表示制御部１５４は高周波成分の最大値と調整係数との乗算によりピーキング用閾値を算出する。この算出されたピーキング用閾値がピーキング処理に用いる閾値として設定され、画像中の各画素について高周波成分のエネルギーがこのピーキング用閾値を超えた際にピーキング処理による強調表示が行われる。

次に、図５Ａ乃至図５Ｃを参照して、第１の実施の形態におけるピーキング処理の動作について説明する。図５Ａはピント位置の変化に伴うピント評価値の変動を示すものであり、縦軸はピント評価値を示している。図５Ｂは、画像中における高周波成分とピーキング用閾値を示すものであり、縦軸は位相差センサ検出領域における高周波成分の最大値を示している。図５Ｂにおいて太線は画像中における高周波成分を表し、細線はピーキング用閾値を表している。図５Ｃは、合焦近傍範囲内におけるピーキングマーカー数を示すものであり、縦軸は位相差センサ検出領域におけるピーキングマーカーの数を示している。図５Ａ、図５Ｂ、図５Ｃにおいて、横軸はピント最良の位置からのズレ量を示すものであり、横軸における０がピント最良の位置を示すものである。

図５Ａ、図５Ｂ、図５Ｃにおいて一対の破線で挟まれる範囲は合焦近傍範囲を示している。本技術において合焦近傍範囲とは、内部に画像中における高周波成分が最大のエネルギーを持つピント位置を包含し、ピント評価値で示される画像中におけるボケの大きさが所定値以下の範囲である。合焦状態が合焦近傍範囲内にある場合、ピントは合焦範囲の近傍にあるということが、位相差センサ１２３によるピント評価値によりわかっている状態であるといえる。また、ピント評価値は画像中におけるボケの大きさを表すものであるため、ピント評価値が小さくなっていくことは合焦範囲内に向かう、すなわちピントが被写体に合っていくことを示している。合焦状態が合焦近傍範囲内である場合にピーキングマーカーで強調表示を行うことにより、ユーザは容易にピントを画像中における高周波成分が最大のエネルギーを持つピント位置に合わせる事が可能となる。

図５Ａに示すように、ピントが合っていき、ピント評価値で示される画像中のボケの大きさが小さくなっていき、合焦近傍範囲内で画像中における高周波成分が最大のエネルギーを持つピント位置にピントが近づくと位相差センサ１２３の性能、検出精度によってはピント評価値が誤差を持ち、値の信頼性が低下する。これが例えば、図４で説明したピント評価値が２ピクセルに至った状態である。

図５Ａにおいて一点鎖線はピント評価値の所定値を示すものであり、その所定値はピント評価値で示されるボケの大きさの許容範囲の限界値を示したものである。これは図４における８ピクセルに相当するものである。よって、ピント評価値を示す線分とこのピント評価値の許容範囲の限界値の交差する２つの点が合焦近傍範囲の両端となる。このように、位相差センサ１２３からのピント評価値によって合焦近傍範囲が決定されることになる。

上述したように、ピーキング用閾値は高周波成分の最大値と調整係数とを乗算することにより算出されるものである。合焦近傍範囲外では調整係数は１以上の値となるため、図５Ｂに示すように、合焦近傍範囲外においてはピーキング用閾値は高周波成分の最大値より大きい値になっている。ピーキング用閾値が高周波成分より大きい値である限りピーキングマーカーは表示されず強調表示は行われない。

一方、ピント評価値が許容範囲の限界値以下の値になると、調整係数は１以下の値になるため、図５Ｂに示すように、合焦近傍範囲内ではピーキング用閾値は高周波成分の最大値より小さい値となる。これにより、画像中における高周波成分が最大のエネルギーを持つピント位置の周辺である合焦近傍範囲においてはピーキングマーカーが増加しやすくなり、図５Ｃに示すように、合焦近傍範囲内においてピーキングマーカーが出現することになる。ピーキング用閾値を下げることにより、ピーキング用閾値以上となる高周波成分の最大値が増えるため、出現するピーキングマーカーが増加することになる。そして、高周波成分の最大値に向かうに従いピーキングマーカーの数が増加していき、高周波成分の最大値からずれていくに従いピーキングマーカーの数が減少していく。

このようにして、位相差センサ１２３からのピント評価値により合焦近傍範囲が定まり、その合焦近傍範囲内においてのみピーキングマーカーが表示されることになる。よって、どのような被写体、撮影条件であってもピーキング用閾値などのピーキング処理のための設定の調整を行うことなく、常にピーキングマーカーを画像中における高周波成分が最大のエネルギーを持つピント位置の周辺である合焦近傍範囲内においてのみ表示させることができる。

この第１の実施の形態によれば、どのような被写体であっても、また、どのような撮影条件であっても、ピント評価値に基づいて、位相差センサ１２３によるピント評価値である程度ピントが合っていることを検出した範囲である合焦近傍範囲内においてピーキングマーカーが出現するように自動でピーキング用閾値が決定される。また、被写体のコントラストの高低にかかわらず合焦近傍範囲内でピーキング処理がなされる。よって、ピーキング処理のための設定の調整を行うことなく、常に合焦近傍範囲内でピーキングマーカーが表示されるようにする処理を簡単な処理で実現できる。

＜２．第２の実施の形態＞
次に本技術の第２の実施の形態について説明する。なお、撮像装置１００の構成は第１の実施の形態と同様であるため、その説明を省略する。第２の実施の形態は、合焦状態が合焦近傍範囲内であるか合焦近傍範囲外であるかに応じてピーキング用閾値の設定を変更し、さらに、合焦近傍範囲内においてピーキング用閾値を一定の値で維持するものである。

［２−１．ピーキング処理］
図６のフローチャートを参照して第２の実施の形態に係るピーキング処理の流れについて説明する。なお、第１の実施の形態におけるフローチャートと同様の処理については同一のフロー番号を付す。

まずステップＳ２１で、処理対象となるモニタリング画像を構成する現在のフレーム画像（以下、現フレームと称する。）と現フレームの時間的に一つ前のフレーム画像（以下、前フレームと称する。）におけるピント評価値を位相差センサ１２３からそれぞれ取得する。なお、前フレームにおけるピント評価値を取得した後それをメモリなどに保存しておき、次に現フレームにおけるピント評価値を取得するようにしてもよい。

次にステップＳ２２で、ピント評価値から合焦状態を判定する。この合焦状態の判定は、ピント位置が合焦近傍範囲内にあるか、合焦近傍範囲外にあるかを判定するものである。このピント評価値からの合焦状態の判定は、ピント評価値で表されるボケの大きさが所定値以下であるか否かを判定することのより行うことができる。この所定値は、ピント評価値で示されるマーカー表示の許容範囲の限界値を示したものであり、ボケの大きさがこの第２の所定値以下になった場合に主たる被写体にピントが合いつつあるとしてピーキングマーカーによる強調処理がなされることになる。ボケの大きさが所定値以下である場合には合焦状態は合焦近傍範囲内であり、ボケの大きさが所定値以上である場合には合焦状態は合焦近傍範囲外ということになる。

次にステップＳ２３で、合焦状態が前フレームにおいては合焦近傍範囲外であり、現フレームにおいては合焦近傍範囲内であるか否かが判定される。前フレームから現フレームに進んだ際に合焦状態が合焦近傍範囲外から合焦近傍範囲内に変化した場合、処理はステップＳ１２に進む（ステップＳ２３のＹｅｓ）。なお、最初のフレームにおいては前フレームは存在しないため、前フレームの合焦状態は未定義として扱う。これにより、合焦近傍範囲外から合焦近傍範囲内に変化したかという判定はＹｅｓとなる。

次にステップＳ１２で、表示制御部１５４はピント評価値から調整係数を算出する。調整係数の算出は第１の実施の形態と同様である。次にステップＳ１３で、表示制御部１５４は画像中における位相差センサ検出領域内における高周波成分の最大値を取得する。そしてステップＳ１４で、表示制御部１５４は高周波成分の最大値と調整係数とを乗算することによりピーキング用閾値を算出し、そのピーキング用閾値をピーキング処理に用いる閾値として設定する。このピーキング用閾値に基づき、画像中の各画素について高周波成分のエネルギーがピーキング用閾値を超えた際にピーキング処理による強調表示が行われる。

説明はステップＳ２３に戻る。ステップＳ２３で前フレームから現フレームにおいて合焦状態が合焦近傍範囲外から合焦近傍範囲内に変化していないと判定された場合、処理はステップＳ２４に進む（ステップＳ２３のＮｏ）。次にステップＳ２４で、前フレームから現フレームにおいて合焦状態が合焦近傍範囲内から合焦近傍範囲外に変化したか否かが判定される。合焦状態が合焦近傍範囲内から合焦近傍範囲外に変化したと判定された場合、処理はステップＳ２５に進む（ステップＳ２４のＹｅｓ）。

そしてステップＳ２５で、ピーキング用閾値を初期値に戻す処理が行われる。この初期値とは、位相差センサ検出領域内の高周波成分の最大値よりも大きい値である。ピーキング用閾値を高周波成分の最大値よりも大きい値にすることにより、合焦近傍範囲外においてピーキングが行われずピーキングマーカーが出現しないようにする。これにより、ピーキングマーカーは合焦近傍範囲内においてのみ出現することになり、ユーザにとってピーキングを用いたピント合わせがより容易なものとなる。

一方ステップＳ２４で、合焦状態が合焦近傍範囲内から合焦近傍範囲外に変化していないと判定された場合、新たな処理は行われず終了となる（ステップＳ２４のＮｏ）。引き続き撮影が継続される場合には、再びステップＳ２１から処理が繰り返される。ステップＳ２４で合焦状態が合焦近傍範囲内から合焦近傍範囲外に変化していないと判定された場合とは、合焦状態は合焦近傍範囲内のままであるか、または合焦近傍範囲外のままであるかのいずれかである。すなわち、ピーキング用閾値を設定または初期化は行わず、ピーキング用閾値は維持されることになる。

次に、図７Ａ乃至図７Ｃを参照して、第２の実施の形態におけるピーキング処理の動作について説明する。図７Ａは第１の実施の形態における図５Ａと同様の図であり、ピント位置の変化に伴うピント評価値の変動を示すものである。図７Ｂは第１の実施の形態における図５Ｂと同様の図であり、画像中における高周波成分とピーキング用閾値を示すものである。図７Ｂにおいて太線は高周波成分を表し、細線はピーキング用閾値を表している。図７Ｃは第１の実施の形態における図５Ｃと同様の図であり、合焦近傍範囲内におけるピーキングマーカー数を示すものである。図７Ａ、図７Ｂ、図７Ｃにおいて一対の破線で挟まれる範囲は合焦近傍範囲を示している。

フローチャートの説明で上述したように、第２の実施の形態においては、合焦状態が合焦近傍範囲外から合焦近傍範囲内に変化した場合に新たなピーキング用閾値の設定が行われる。そして、合焦状態が合焦近傍範囲内で継続する限り（合焦近傍範囲内に存在し続ける）、そのピーキング用閾値が維持され、画像中の各画素について高周波成分のエネルギーがそのピーキング用閾値を超えた際にピーキング処理による強調表示が行われる。

よって、図７Ｂに示すように合焦近傍範囲内においては高周波成分の値の変動があってもピーキング用閾値に変化はない。よって、第１の実施の形態における図５Ｂに示すように、画像中における高周波成分が最大のエネルギーを持つピント位置周辺において高周波成分の最大値が高くなっていることによってピーキング用閾値が持ち上げられてしまうということがない。

これにより、図７Ｃに示されるように、第１の実施の形態の図５Ｃのグラフに比べて画像中における高周波成分が最大のエネルギーを持つピント位置付近においてピーキングマーカー数の増加ペースが減少することなく、ピーキングマーカーが増加している。これにより、画像中における高周波成分が最大のエネルギーを持つピント位置周辺においてピーキングマーカー量の変化が視認しやすくなるため、よりユーザはピント合わせを容易に行うことができる。

合焦状態が合焦近傍範囲内から合焦近傍範囲外に変化した場合、ステップＳ２５でピーキング用閾値は初期化される。そして、その後、合焦状態が合焦近傍範囲外のままである場合、ステップＳ１２乃至ステップＳ１４の処理は行われないため、高周波成分に関係なく、ピーキング用閾値は初期値の状態が維持されることになる。このことにより、合焦周辺領域から外れたケースでの、不要なピーキングマーカーが表示されなくなるめ、ユーザがピント合わせの作業に集中しやすくなる。

第１の実施の形態においては、図４、図５Ａに示されるように、位相差センサ１２３の検出精度によってピント評価値がクリップされてピント評価値が一定の値になると調整係数も一定の値となる。そうすると、調整係数が一定の値になっている場合でも高周波成分の最大値は上がっていくので、ピーキング用閾値はクリップされている範囲においてはわずかに大きな値となる。ピーキング用閾値が大きくなるとピーキングマーカーの出現数が減ることになる。

しかし、この第２の実施の形態によれば、合焦近傍範囲内においてはピーキング用閾値を常に一定の値で維持することができ、合焦近傍範囲内において下げられたピーキング用閾値が画像中における高周波成分が最大のエネルギーを持つピント位置付近で持ち上げられてピーキングマーカーの出現数が低下してしまうことがない。これにより、ピーキングを利用したピント合わせをより容易なものにすることができる。

＜３．第３の実施の形態＞
次に本技術の第３の実施の形態について説明する。なお、撮像装置１００の構成は第１の実施の形態と同様であるためその説明を省略する。第３の実施の形態においては、図８Ａ中の画像に重畳した複数の破線の枠で示されるように、位相差センサ１２３が画像中において複数の位相差センサ１２３によるピント評価値の検出領域を有している点で第１および第２の実施の形態と異なる。図８Ａの例においては、縦４列、横５列の合計２０個の位相差センサ検出領域が存在する。

さらに第３の実施の形態では、図８Ｂ中の画像に重畳した破線で区切られた領域で示されるように、複数の位相差センサ検出領域のそれぞれに対応するように複数の領域に区切られている。それら複数の領域がそれぞれピーキング用閾値を有しており、領域のそれぞれでピーキング用閾値を設定してピーキング処理を行う。なお、この位相差センサ検出領域の数はあくまで例示であり、それ以上でもそれ以下の数でもよい。

［３−１．ピーキング処理］
図９のフローチャートを参照して第３の実施の形態に係るピーキング処理の流れについて説明する。なお、第１、第２の実施の形態におけるフローチャートと同様の処理については同一のフロー番号を付す。なお、図９で示されるフローチャートの処理においては、
ステップＳ３１、ステップＳ３２は画像中において複数存在する全ての位相差センサ検出領域についてなされる処理であり、ステップＳ３１、ステップＳ３２以外の処理は、複数存在する位相差センサ検出領域の一つにおける処理である。

まずステップＳ３１で、処理対象となるモニタリング画像を構成する現フレームと、現フレームの時間的に一つ前のフレームである前フレームにおけるピント評価値を位相差センサ１２３からそれぞれ取得する。次にステップＳ３２で、ピント評価値から合焦状態を判定する。

次にステップＳ３３で、モニタリング画像を構成する現フレームと、その現フレームに対して時間的に前のフレームである前フレームとにおいて位相差センサ検出領域内の被写体を比較し、同じ被写体を検出している領域同士を関係付ける。する。これにより、現フレームにおける一の位相差センサ検出領域に対応する前フレームにおける位相差センサ検出領域を特定し、その現フレームにおける一の位相差センサ検出領域とそれに対応する前フレームにおける位相差センサ検出領域においてピント評価値の対応付けを行う。これにより、被写体の位置が画面内で変化した場合にも、安定した動作が可能になる。

現フレームと前フレームの位相差センサ検出領域内の被写体の比較は、公知の被写体認識処理、マッチング処理などを用いて行うことができる。認識方法としては、テンプレートマッチングによる物体認識技術、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いてもよい。また、これらの手法を組み合わせて認識精度を高めるようにしてもよい。

次にステップＳ３４で、前フレームから現フレームにおいて合焦状態が合焦近傍範囲外から合焦近傍範囲内に変化したか否かが判定される。合焦近傍範囲外から合焦近傍範囲内に変化した場合、処理はステップＳ１２に進む（ステップＳ３４のＹｅｓ）。なお、最初のフレームにおいては前フレームは存在しないため、前フレームの合焦状態は未定義として扱う。また、対応付けに失敗した領域の合焦状態も未定義として扱う。これにより、合焦状態が合焦近傍範囲外から合焦近傍範囲内に変化したかという判定はＹｅｓとなる。

次にステップＳ１２で、表示制御部１５４はピント評価値から調整係数を算出する。次にステップＳ１３で、表示制御部１５４は画像中における位相差センサ検出領域内における高周波成分の最大値を取得する。そしてステップＳ１４で、表示制御部１５４は高周波成分の最大値と調整係数とを乗算することによりピーキング用閾値を算出し、そのピーキング用閾値をピーキング処理に用いる閾値として設定する。そして、画像中の各画素について高周波成分のエネルギーがこのピーキング用閾値を超えた際にピーキング処理による強調表示が行われる。

説明はステップＳ３４に戻る。ステップＳ３４で、現フレームにおいて合焦状態が合焦近傍範囲外から合焦近傍範囲内に変化していないと判定された場合、処理はステップＳ３５に進む（ステップＳ３４のＮｏ）。次にステップＳ３５で、前フレームから現フレームにおいて合焦状態が合焦近傍範囲内から合焦近傍範囲外に変化したか否かが判定される。合焦状態が合焦近傍範囲内から合焦近傍範囲外に変化したと判定された場合、処理はステップＳ２５に進む（ステップＳ３５のＹｅｓ）。

そしてステップＳ２５で、ピーキング用閾値を初期値に戻す処理が行われる。この処理は第２の実施の形態におけるステップＳ２５と同様の処理である。この初期値は、位相差センサ検出領域内の高周波成分の最大値よりも大きい値である。ピーキング用閾値を高周波成分の最大値よりも大きい値にすることにより、合焦近傍範囲外においてピーキング処理が行われずピーキングマーカーが出現しないようにする。これにより、ピーキングマーカーは合焦状態が合焦近傍範囲内である場合にのみ出現することになり、ユーザにとってピーキングを用いたピント合わせがより容易なものとなる。

一方、ステップＳ３５で合焦状態が合焦近傍範囲内から合焦近傍範囲外に変化していないと判定された場合、処理はステップＳ３６に進む（ステップＳ３５のＮｏ）。ステップＳ３５で合焦状態が合焦近傍範囲内から合焦近傍範囲外に変化していないと判定された場合とは、前フレームから現フレームにおいて合焦状態は合焦近傍範囲内のままであるか、または合焦近傍範囲外のままであるかのいずれかである。

そしてステップＳ３６で、前フレームの一の位相差センサ検出領域で使用されたピーキング用閾値をそれに対応する現フレームにおける位相差センサ検出領域のピーキング用閾値として設定する。これにより、前フレームにおける一の位相差センサ検出領域と、それに対応する現フレームにおける位相差センサ検出領域とでピーキング用閾値が維持されることになる。そして、画像中の各画素について高周波成分のエネルギーがそのピーキング用閾値を超えた際にピーキング処理による強調表示が行われる。

引き続き撮影が継続される場合には、再びステップＳ３３から処理が繰り返される。以上の処理が画像中において複数存在する位相差センサ検出領域のうちの一つにおける処理である。そして、この処理が全ての位相差センサ検出領域において行われる。

例えばピント合わせの最中に被写体が動いたり、カメラが揺れたりすることにより、前フレームと現フレームとで被写体の位置が変化してしまうことがある。図１０において、図１０Ａは前フレーム、図１０Ｂは現フレームの一例を示すものである。図１０の例では、カメラの揺れにより、図１０Ａの前フレームでは花のしべが位相差センサ検出領域Ａに位置しているが、図１０Ｂに示す現フレームでは花のしべの位置がずれて、花のしべは位相差センサ検出領域Ｂに位置している。この場合、前フレームと現フレームとでは位相差センサ検出領域Ａ内の被写体が変化しているため、前フレームと現フレームとで位相差センサ検出領域Ａ同士を比較すると、ピント評価値が対応しないことになる。ピント評価値が対応していないと適切にピーキング用閾値を設定し、ピーキング処理を行うことができない。

しかし、第３の実施の形態によれば、前フレームと現フレームとで位相差センサ検出領域内の被写体を比較して領域の対応付けを行うため、図１０の例では、位相差センサ検出領域Ａと位相差センサ検出領域Ｂのピント評価値が対応付けられることになる。これにより、図１０Ａの前フレームの位相差センサ検出領域Ａと図１０Ｂの現フレームの位相差センサ検出領域Ｂで一連の処理が行われる。よって、位相差センサ１２３が複数の検出領域を有している場合であっても、複数の領域それぞれについて適切に現フレームにおいてピーキング閾値が設定され、領域ごとにピーキング処理がなされることになる。

＜４．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

調整係数を決定するための特性は、ユーザの嗜好などに合わせて調整、選択できるようにしてもよい。例えば、画像の用途などに応じて要求されるピントの精度が異なる場合、それに応じて調整特性も変化させることが望ましい。

例えば、４Ｋ解像度の映像方式（以下、４Ｋと称する。）とＶＧＡ（Video Graphics Array）とでは、４Ｋの方が解像度が高く、一般的に４Ｋの方がＶＧＡよりも高い精度のピント合わせが要求される。この場合、高い精度のピント合わせが要求される４ＫではＶＧＡよりもボケの大きさの許容範囲の限界値が小さいため、許容範囲が狭くなる。よって、図１１Ａに示す４Ｋの係数特性は、図１１Ｂに示すＶＧＡの係数特性よりも傾斜角が急なものになる。

さらに、解像度の高い画像を大きく表示する、または大きく印刷するような場合には通常高い精度でピントが合っていることが要求されるため、ボケの大きさの許容範囲の限界値が小さくなり、許容範囲が狭くなる。よって、係数特性の傾斜角が急なものになる。

また、高い撮影技術を有するユーザは一般的にピント外れによるボケへの感度が高く、より厳密なフォーカス合わせを追及する。そのため、ピーキングの反応が出にくい特性（ピーキングマーカーの表示許容範囲が狭い特性）を好む傾向がある。そのようなユーザが使用する場合には、ピント評価値で表されるボケの大きさの許容範囲の限界値を小さい値にして、調整係数を求めるための特性の傾きの角度が大きいものにする。ボケの大きさの許容範囲の限界値が小さい値となり、特性の傾きの角度が大きいものになると合焦近傍範囲の範囲が狭くなりピーキングマーカーが出現しにくくなる。

また、動画撮影は静止画撮影と比べてピント合わせが難しいため、ピーキングの反応が出にくい特性が好まれると考えられる。そのような場合にも上述のように位相差センサ１２３の許容範囲の限界値を小さい値にし、調整係数を求めるための特性の傾きの角度が大きいものにすれば、ピーキングマーカーが出現しにくくなり、ピーキングの反応が出にくいものにすることができる。

さらに、露光量が少ない撮影条件ではピント評価値で表されるボケの大きさにノイズが乗りやすくなる。そこで、ノイズの量に応じて、ノイズが多いときほど調整係数の下限を上げることによりピーキングの反応を出にくくして、挙動の暴れを減らすようにしてもよい。

調整係数を決定するための係数特性は必ずしも図４、図１１に示したような直線状である必要はなく、カーブした特性であってもよい。

また、実施の形態では係数特性と高周波成分の最大値との乗算によりピーキング用閾値を算出したが、高周波成分の他の値を用いてもよい。他の値としては、高周波成分の平均値、上位値（例えば、上位１０％など）などが挙げられる。このような値を用いることにより、ピーキング処理の安定性が増すという効果がある。

また、実施の形態では高周波成分に応じて強調表示することによりピーキング処理を行ったが、それ以外にも、露出に応じて強調表示するようにしてもよい。この場合、例えば、ＥＶ（exposure value）値と調整係数からピーキング用閾値を設定してもよいし、レンズ１２１のＦ値、シャッタースピードなどを用いるようにしてもよい。

また、被写体の具体的状態に応じて強調表示することによりピーキング処理を行うようにしてもよい。被写体の具体的状態とは、例えば、被写体が人物である場合、被写体の明るさと粗さを示す値であり、その値と所定値と比較して肌状態を判定し、その肌状態に応じて強調表示を行うようにしてもよい。

現在、撮影中ではなく撮影後に画像のピントを合わせる技術が普及しつつある。例えば、フォーカスを変えた複数の画像からなる一連の画像群を撮影時に取得しておき、撮影後にパーソナルコンピュータなどにおいて画像群の中から所望のピント状態である画像を選択することなどにより行うことができる。また、画像にデプスマップと称される深さ情報を対応付けておき、そのデプスマップを用いて行う方法もある。さらに、異なる焦点を持つ複数のマイクロレンズを撮像装置の撮像素子の前面に配列し、撮影後に焦点イメージを再構築処理することで、メインレンズのフォーカスを変更することなく、様々な焦点画像を得るライトフィールドと称される方法もある。

本技術は、そのような撮影後に画像のピントを合わせる技術にも適用することが可能である。例えば、フォーカスを変えた複数の画像からなる一連の画像群を撮影で取得する際に、さらに各画像にピント評価値と高周波成分情報を対応付けておくことにより、撮影後に調整係数およびピーキング用閾値を算出して、ピーキングマーカーの表示を行うことができる。

ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）と称される、パルス状に発光するレーザーを照射して散乱光を検出し、その反射時間(発光後に反射光を検出するまでの時間)から距離を算出する技術を本技術に適用してもよい。

また、ＴｏＦ（Time of Flight）と称される、光源から出た光が対象物で反射し、センサに届くまでの光の飛行時間(遅れ時間)と光の速度から被写体までの距離を得る方法を利用してもよい。

ピーキングマーカーによる強調においては、フレームごとにピーキングマーカーの色を変えてもよい。例えば、モニタリング画像を構成する一連の画像群の全てのフレームに通し番号を振り、奇数フレームにおいてはピーキングマーカーを緑色にし、偶数フレームにおいては赤色にする、などである。フレームごとにピーキングマーカーの色が変わることによりピーキングマーカーが被写体と同系色になってピーキングが見難いという事態が生じることを防ぐことができる。

また、ピーキングマーカーの色をユーザが任意に選択できるようにしてもよい。

さらに、ピントが合っている被写体の輝度を変更するまたは重畳する、被写体の色を変更するまたは重畳する、ピントが合っている被写体以外の被写体の色調を相対的に落とす、などの方法によりピントが合っている被写体を強調するようにしてもよい。

ピーキングマーカー数の増加しやすさ、増加しにくさは画像中の高周波成分に対するハイパスフィルタのピークの中央周波数または／およびピークの幅をピント評価値に基づいて調整することにより行うこともできる。高周波成分が低い被写体の場合、高周波成分の最大値とピーキング用閾値を比較してもピーキングマーカーが出現しにくい場合がある。その場合は中心周波数を下げることによりピーキングマーカーが増加しやすくなるようにしてもよい。

また、高周波成分の最大値が所定値を下回った場合、ある特定の値まで高周波成分の最大値をかさ増ししてから処理を行うようにしてもよい。

また、ピーキング用閾値が低くなりすぎる（ピーキングマーカーが増加しやすい）とノイズに反応しやすくなるため、ピーキング用閾値が予め設定した値以下にならないように制限を設けてもよい。

また、高周波成分の少ない滑らかな被写体にも対応できるようにするため、例えばピーキング用閾値によるハイパスフィルタを複数種類保持しておき、調整係数を決定する際にどのフィルタを使用するか決定するようにしてもよい。

レンズの種類によっては画像周辺では収差が原因でピントが合っていても高周波成分が出ない場合がある。よって、撮像装置に装着されたレンズの種類に応じてピーキング用閾値によるハイパスフィルタの特性を変更してもよい。

また、図１２に示す変形例に係る撮像装置２００で示すように、撮像素子１４０上に位相差センサ１４１を設けた、いわゆる像面位相差ＡＦ機能を備える撮像装置においても本技術は適用可能である。なお、像面位相差ＡＦ機能を備える撮像装置２００においては、入射した光を撮像素子１４０とは別方向の位相差センサに導く必要が無いため、ハーフミラーは不要である。

本技術は以下のような構成も取ることができる。
（１）
画像における被写体の合焦状態が所定の合焦近傍範囲内にあることに応じて、前記画像の状態に対応した強調表示の、表示部への表示を制御する表示制御部
を備える表示制御装置。
（２）
前記合焦状態は、ピント評価値で示される前記画像中におけるボケの大きさに基づくものである
（１）に記載の表示制御装置。
（３）
前記ピント評価値と、前記画像中における高周波成分の所定値とに基づいて強調表示用閾値を設定し、前記高周波成分の所定値が前記強調表示用閾値以上である場合に前記強調表示を行う
（２）に記載の表示制御装置。
（４）
前記ピント評価値が所定値以下である場合、前記強調表示用閾値を前記高周波成分の所定値以下の値にする
（２）または（３）に記載の表示制御装置。
（５）
前記ピント評価値が所定値以上である場合、前記強調表示用閾値を前記高周波成分の所定値以上の値にする
（３）または（４）に記載の表示制御装置。
（６）
前記高周波成分の所定値は、前記高周波成分の最大値である
（３）乃至（５）のいずれかに記載の表示制御装置。
（７）
前記高周波成分の所定値は、前記高周波成分の平均値である
（３）乃至（５）のいずれかに記載の表示制御装置。
（８）
前記高周波成分の所定値は、前記高周波成分の上位値である
（３）乃至（５）のいずれかに記載の表示制御装置。
（９）
前記合焦状態が現在のフレームである現フレームと該現フレームに対して時間的に前のフレームである前フレームとにおいて合焦近傍範囲外から合焦近傍範囲内に変化した場合、前記ピント評価値と前記画像中における前記高周波成分の所定値から前記強調表示用閾値を設定する
（３）乃至（８）のいずれかに記載の表示制御装置。
（１０）
前記合焦状態が前記前フレームから前記現フレームにおいて合焦近傍範囲内から合焦近傍範囲外に変化した場合、前記強調表示用閾値を前記高周波成分の所定値以上の値に設定する
（３）乃至（８）のいずれかに記載の表示制御装置。
（１１）
前記合焦状態が前記前フレームと前記現フレームとで変化していない場合、前記前フレームで使用された前記強調表示用閾値を前記現フレームの前記強調表示用閾値として設定する
（３）乃至（８）のいずれかに記載の表示制御装置。
（１２）
前記画像中の複数の領域における前記ピント評価値を取得し、
現在のフレームである現フレームと該現フレームに対して時間的に前のフレームである前フレームとにおいて前記複数の領域を比較することにより、フレーム間における前記領域ごとの前記ピント評価値の対応付けを行う
（３）乃至（８）のいずれかに記載の表示制御装置。
（１３）
前記合焦状態が前記前フレームから前記現フレームにおいて合焦近傍範囲外から合焦近傍範囲内に変化した場合、前記ピント評価値と前記画像中における高周波成分の所定値から前記強調表示用閾値を設定する
（３）乃至（８）のいずれかに記載の表示制御装置。
（１４）
前記合焦状態が前記前フレームから前記現フレームにおいて合焦近傍範囲内から合焦近傍範囲外に変化した場合、前記強調表示用閾値を前記高周波成分の所定値以上の値に設定する
（３）乃至（８）のいずれかに記載の表示制御装置。
（１５）
前記合焦状態が前記前フレームと前記現フレームとで変化していない場合、前記前フレームで使用された前記強調表示用閾値を前記現フレームの前記強調表示用閾値として設定する
（３）乃至（８）のいずれかに記載の表示制御装置。
（１６）
前記合焦近傍範囲とは、前記ピント評価値で示されるボケの大きさが所定値以下の範囲である
（１）乃至（１５）のいずれかに記載の表示制御装置。
（１７）
前記合焦状態が合焦近傍範囲内であるか合焦近傍範囲外であるかの判定は、前記ピント評価値で示される前記画像中におけるボケの大きさに基づいて判定される
（１６）に記載の表示制御装置。
（１８）
前記強調表示は、前記画像を構成するピクセルにマーカーを描写する処理を行うことにより、前記被写体の輪郭に沿った線を増加させるおよび／または前記被写体の輪郭に沿った線を太くする
（１）乃至（１７）のいずれかに記載の表示制御装置。
（１９）
画像における被写体の合焦状態が所定の合焦近傍範囲内にあることに応じて、前記画像の状態に対応した強調表示の、表示部への表示を制御する
表示制御方法。
（２０）
画像における被写体の合焦状態が所定の合焦近傍範囲内にあることに応じて、前記画像の状態に対応した強調表示の、表示部への表示を制御する
表示制御方法をコンピュータに実行させる表示制御プログラム。

１００・・・・撮像装置
１５４・・・・表示制御部

上述した課題を解決するために、第１の技術は、表示部に表示される画像の所定の領域に含まれる被写体のエッジ部分に対応する画素の表示形態を所定の領域に対応するぼけの大きさに基づいて調整する表示制御部を備える表示制御装置である。

また、第２の技術は、表示部に表示される画像の所定の領域に含まれる被写体のエッジ部分に対応する画素の表示形態を所定の領域に対応するぼけの大きさに基づいて調整する表示制御方法である。

さらに、第３の技術は、表示部に表示される画像の所定の領域に含まれる被写体のエッジ部分に対応する画素の表示形態を所定の領域に対応するぼけの大きさに基づいて調整する表示制御方法をコンピュータに実行させる表示制御プログラムである。

Claims (20)

1. 画像における被写体の合焦状態が所定の合焦近傍範囲内にあることに応じて、前記画像の状態に対応した強調表示の、表示部への表示を制御する表示制御部
   を備える表示制御装置。
2. 前記合焦状態は、ピント評価値で示される前記画像中におけるボケの大きさに基づくものである
   請求項１に記載の表示制御装置。
3. 前記ピント評価値と、前記画像中における高周波成分の所定値とに基づいて強調表示用閾値を設定し、前記高周波成分の所定値が前記強調表示用閾値以上である場合に前記強調表示を行う
   請求項２に記載の表示制御装置。
4. 前記ピント評価値が所定値以下である場合、前記強調表示用閾値を前記高周波成分の所定値以下の値にする
   請求項３に記載の表示制御装置。
5. 前記ピント評価値が所定値以上である場合、前記強調表示用閾値を前記高周波成分の所定値以上の値にする
   請求項３に記載の表示制御装置。
6. 前記高周波成分の所定値は、前記高周波成分の最大値である
   請求項３に記載の表示制御装置。
7. 前記高周波成分の所定値は、前記高周波成分の平均値である
   請求項３に記載の表示制御装置。
8. 前記高周波成分の所定値は、前記高周波成分の上位値である
   請求項３に記載の表示制御装置。
9. 前記合焦状態が現在のフレームである現フレームと該現フレームに対して時間的に前のフレームである前フレームとにおいて合焦近傍範囲外から合焦近傍範囲内に変化した場合、前記ピント評価値と前記画像中における前記高周波成分の所定値から前記強調表示用閾値を設定する
   請求項３に記載の表示制御装置。
10. 前記合焦状態が前記前フレームから前記現フレームにおいて合焦近傍範囲内から合焦近傍範囲外に変化した場合、前記強調表示用閾値を前記高周波成分の所定値以上の値に設定する
    請求項９に記載の表示制御装置。
11. 前記合焦状態が前記前フレームと前記現フレームとで変化していない場合、前記前フレームで使用された前記強調表示用閾値を前記現フレームの前記強調表示用閾値として設定する
    請求項９に記載の表示制御装置。
12. 前記画像中の複数の領域における前記ピント評価値を取得し、
    現在のフレームである現フレームと該現フレームに対して時間的に前のフレームである前フレームとにおいて前記複数の領域を比較することにより、フレーム間における前記領域ごとの前記ピント評価値の対応付けを行う
    請求項３に記載の表示制御装置。
13. 前記合焦状態が前記前フレームから前記現フレームにおいて合焦近傍範囲外から合焦近傍範囲内に変化した場合、前記ピント評価値と前記画像中における高周波成分の所定値から前記強調表示用閾値を設定する
    請求項１２に記載の表示制御装置。
14. 前記合焦状態が前記前フレームから前記現フレームにおいて合焦近傍範囲内から合焦近傍範囲外に変化した場合、前記強調表示用閾値を前記高周波成分の所定値以上の値に設定する
    請求項１２に記載の表示制御装置。
15. 前記合焦状態が前記前フレームと前記現フレームとで変化していない場合、前記前フレームで使用された前記強調表示用閾値を前記現フレームの前記強調表示用閾値として設定する
    請求項１２に記載の表示制御装置。
16. 前記合焦近傍範囲とは、前記ピント評価値で示されるボケの大きさが所定値以下の範囲である
    請求項１に記載の表示制御装置。
17. 前記合焦状態が合焦近傍範囲内であるか合焦近傍範囲外であるかの判定は、前記ピント評価値で示される前記画像中におけるボケの大きさに基づいて判定される
    請求項１６に記載の表示制御装置。
18. 前記強調表示は、前記画像を構成するピクセルにマーカーを描写する処理を行うことにより、前記被写体の輪郭に沿った線を増加させるおよび／または前記被写体の輪郭に沿った線を太くする
    請求項１に記載の表示制御装置。
19. 画像における被写体の合焦状態が所定の合焦近傍範囲内にあることに応じて、前記画像の状態に対応した強調表示の、表示部への表示を制御する
    表示制御方法。
20. 画像における被写体の合焦状態が所定の合焦近傍範囲内にあることに応じて、前記画像の状態に対応した強調表示の、表示部への表示を制御する
    表示制御方法をコンピュータに実行させる表示制御プログラム。