JP2014212499A - 撮像装置 - Google Patents

Abstract

【課題】画像に特殊効果が付加されていたとしても、適切なピーキング表示をすることが可能な撮像装置を提供すること。【解決手段】ピーク画像処理部２２０は、撮像素子２０４による撮像によって取得されたＲＡＷデータを処理してピーク画像データを生成する。画像処理部２１８は、撮像素子２０４による撮像によって取得されたＲＡＷデータを処理して背景画像データを生成する。合成部２２２は、ピーク画像データと背景画像データとを合成して合成画像データを生成する。表示部２２６は、合成画像データに基づく画像を表示する。【選択図】図１

Description

本発明は、ピーキング表示モードを有する撮像装置に関する。

従来、被写体のフォーカス状態を画像上で容易に確認するための技術として、画像内におけるフォーカス位置の候補となるコントラストのピーク部分を強調して表示する、所謂ピーキング表示が知られている。ここで、ピーク部分を強調して表示するだけでは、ダイナミックレンジの狭い表示部においてフォーカスが合っている被写体のピーク部分とフォーカスが合っていない被写体のピーク部分との区別がつかない場合がある。このため、特許文献１は、画像信号の振幅を小さくしてからピーク部分を強調するようにしている。

特開２０１０−０５０５９２号公報

特許文献１の技術は、画像信号の振幅を小さくしてからピーク部分を強調するようにしている。ここで、近年、画像を意図的にぼかしたり、階調を著しく変化させたりすることで画像に特殊効果を付加する技術が知られている。このような特殊効果が付加されている画像の場合、単に画像信号の振幅を小さくしても、ピーク部分が特殊効果の影響を受けて正しく表示ができなかったり、階調の境界をピーク部分と誤検出してしまったりする可能性がある。

本発明は、前記の事情に鑑みてなされたもので、画像に特殊効果が付加されていたとしても、適切なピーキング表示をすることが可能な撮像装置を提供することを目的とする。

前記の目的を達成するために、本発明の一態様の撮像装置は、被写体を撮像してＲＡＷデータを取得する撮像部と、前記ＲＡＷデータからピーク部分を抽出してピーク画像データを生成するピーク画像生成部と、前記ＲＡＷデータを画像処理して背景画像データを生成する背景画像生成部と、前記ピーク画像データと前記背景画像データとを合成して合成画像データを生成する合成部と、前記合成画像データに基づく画像を表示する表示部と、を具備することを特徴とする。

本発明によれば、画像に特殊効果が付加されていたとしても、適切なピーキング表示をすることが可能な撮像装置を提供することができる。

本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 デジタルカメラのメイン動作を示すフローチャートである。 画像処理について示すフローチャートである。 基本画像処理について示すフローチャートである。 輝度変更処理において用いられる輝度変更特性曲線の例を示す図である。 特殊画像処理について示すフローチャートである。 第１の実施形態におけるピーク処理について示すフローチャートである。 図８（ａ）は被写体距離とピーク抽出の周波数帯域との関係を示した図であり、図８（ｂ）はＦ値とピーク抽出の周波数帯域との関係を示した図である。 ピーク画像データに対するローパスフィルタ処理に用いるローパスフィルタのフィルタ係数の例を示す図である。 ピーク画像データに対する輝度変更処理に用いられる輝度変更特性曲線の例を示す図である。 背景画像データに対するローパスフィルタ処理に用いるローパスフィルタのフィルタ係数の例を示す図である。 背景画像データに対する輝度変更処理に用いられる輝度変更特性曲線の例を示す図である。 第２の実施形態におけるピーク処理について示すフローチャートである。 第３の実施形態におけるピーク処理について示すフローチャートである。 背景画像データにシェーディング効果が付加されている場合のピーク変更処理について説明するための図である。 背景画像データにぼかしが付加されている場合のピーク変更処理について説明するための図である。 背景画像データにホワイトエッジ処理が施されている場合のピーク変更処理について説明するための図である。 背景画像データにミラー反転処理が施されている場合のピーク変更処理について説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
図１は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ１は、レンズ交換式のデジタルカメラである。しかしながら、必ずしもレンズ交換式のデジタルカメラである必要はなく、レンズ一体式のデジタルカメラであってもよい。また、撮像機能付き携帯電話機や撮像機能付き携帯端末等であっても本実施形態の技術が適用され得る。

図１に示すデジタルカメラ１は、交換式レンズ１００と、カメラ本体２００とを有している。交換式レンズ１００は、カメラ本体２００に対して着脱自在に構成されている。カメラ本体２００に交換式レンズ１００が装着された場合に、交換式レンズ１００は、カメラ本体２００と通信自在に接続される。これにより、交換式レンズ１００は、カメラ本体２００の制御に従って動作可能な状態となる。

交換式レンズ１００は、レンズ１０２と、絞り１０４と、ドライバ１０６と、マイクロコンピュータ１０８と、Ｆｌａｓｈメモリ１１０と、フォーカスリング１１２とを有している。
レンズ１０２は、図示しない被写体からの光束をカメラ本体２００内の撮像素子２０４に集光するための光学系である。このレンズ１０２は、フォーカスレンズ及びズームレンズ等の複数のレンズを有している。

絞り１０４は、開閉自在に構成され、レンズ１０２を介して入射した光束の量を調整する。ドライバ１０６は、モータ等を有している。このドライバ１０６は、マイクロコンピュータ１０８の制御に従って、レンズ１０２内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞り１０４を開閉駆動させたりする。

マイクロコンピュータ１０８は、交換式レンズ１００がカメラ本体２００に装着された際にインターフェイス（Ｉ/Ｆ）１１４を介してカメラ本体２００内のマイクロコンピュータ２３４と通信自在に接続される。このマイクロコンピュータ１０８は、マイクロコンピュータ２３４からの制御に従ってドライバ１０６を駆動させる。また、マイクロコンピュータ１０８は、Ｆｌａｓｈメモリ１１０に記憶されている交換式レンズ１００のレンズ情報等を、Ｉ/Ｆ１１４を介してマイクロコンピュータ２３４に通信する。

Ｆｌａｓｈメモリ１１０は、レンズ１０２の収差情報等のレンズ情報や交換式レンズ１００の動作を実行するために必要なプログラム等を記憶している。

フォーカスリング１１２は、ユーザがフォーカスレンズのマニュアル操作をするための操作部材である。フォーカスリング１１２は、回転操作されるように、交換式レンズ１００の本体に形成されている。フォーカスリング１１２は、ユーザによって回転されることにより、回転量の信号をマイクロコンピュータ２３４に入力する。

カメラ本体２００は、メカシャッタ２０２と、撮像素子２０４と、アナログ処理部２０６と、アナログ/デジタル（Ａ/Ｄ）変換部２０８と、バス２１０と、ＳＤＲＡＭ２１２と、ＡＥ処理部２１４と、ＡＦ処理部２１６と、画像処理部２１８と、ピーク画像処理部２２０と、合成部２２２と、表示ドライバ２２４と、表示部２２６と、画像圧縮伸張部２２８と、メモリインターフェイス（Ｉ/Ｆ）２３０と、記録媒体２３２と、マイクロコンピュータ２３４と、操作部２３６と、Ｆｌａｓｈメモリ２３８とを有している。

メカシャッタ２０２は、撮像素子２０４の光電変換面を遮光状態又は露出状態とするように移動自在に構成されている。このメカシャッタ２０２を移動させることにより、撮像素子２０４の露出時間が調整される。

撮像素子２０４は、レンズ１０２を介して集光された被写体からの光束が結像される光電変換面を有している。光電変換面は、複数の画素が２次元状に配置されて構成されている。また、光電変換面の光入射側には、カラーフィルタが設けられている。このような撮像素子２０４は、光電変換面に結像された光束に対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換して出力する。

ここで、撮像素子２０４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。また、撮像素子２０４は、複数の色情報を取得するためのセンサが積層された形式のセンサでもよく、上述のカラーフィルターを有していないセンサでもよい。本実施形態は、撮像素子２０４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。また、撮像素子２０４は、露出時間を電子的に制御する電子シャッタ機能を有していてもよい。以下の説明においては撮像素子２０４が電子シャッタ機能を有しているものとする。

アナログ処理部２０６は、撮像素子２０４により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。Ａ/Ｄ変換部２０８は、アナログ処理部２０６においてアナログ処理された画像信号をデジタル信号（以下、ＲＡＷデータという）に変換する。ここで、ＲＡＷデータとは、画像処理部２１８における画像処理が施される前の「生の」画像データである。
ここで、アナログ処理部２０６やＡ／Ｄ変換部２０８は、撮像素子２０４上に実装されていてもよい。

以上の撮像素子２０４、アナログ処理部２０６、Ａ/Ｄ変換部２０８が撮像部として機能する。

バス２１０は、カメラ本体２００の内部で発生した各種のデータを転送するための転送路である。

ＳＤＲＡＭ２１２は、カメラ本体２００内部で発生した各種のデータを一時的に記憶するための記憶部である。このＳＤＲＡＭ２１２は、画像処理部２１８やピーク画像処理部２２０における画像処理の際のバッファメモリとしても使用される。

ＡＥ処理部２１４は、画像データ（例えばＲＡＷデータ）を用いて被写体輝度を算出する。ここで、ＡＥ処理部２１４は、測光センサ等の専用のセンサからのデータを用いて被写体輝度を算出してもよい。ＡＦ処理部２１６は、画像データ（例えばＲＡＷデータ）から高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してＡＦ評価値を取得する。ここで、本実施形態では所謂コントラストＡＦによるＡＦを用いているが、専用のセンサ等を用いた所謂位相差ＡＦによるＡＦを用いてもよい。

画像処理部２１８は、ＲＡＷデータに対する各種の画像処理を行って画像データを生成する。ここで、画像処理部２１８で行われる画像処理は、画像データの仕上がりを所定のものとするための画像処理である。ここでの仕上がりとは、表示の際の見た目や作風等のことを言う。また、画像処理部２１８は、背景画像生成部としての機能も有している。後で詳しく説明するピーキング表示モードにおいては、画像処理部２１８によって生成された画像データがピーク画像データと合成される。以降、ピーキング表示モードにおいては、画像処理部２１８により生成される画像データを背景画像データと言うことにする。ただし、ピーキング表示モード以外で生成される画像データと背景画像データとはデータ上の違いはない。

本実施形態における画像処理部２１８は、基本画像処理部２１８１と、特殊画像処理部２１８２とを有している。

基本画像処理部２１８１は、画像の表示や記録のために必要な基本的な画像処理を画像データに対して施す。この基本的な画像処理には、例えば、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正処理、同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズ低減処理が含まれる。オプティカルブラック減算処理は、ＲＡＷデータの暗電流成分（オプティカルブラック）を減算して除去する処理である。ホワイトバランス補正処理は、ＲＡＷデータの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正する処理である。同時化処理は、ベイヤ配列等のカラーフィルターの配列パターンに対応して撮像素子２０４を介して出力されるＲＡＷデータ等の、１つの画素が１つの色成分に対応している画像データを、１つの画素が複数の色成分に対応しているＲＧＢデータに変換する処理である。色再現処理は、画像の色再現を適切なものとするための各種の処理である。この処理としては、例えばカラーマトリクス演算処理がある。このカラーマトリクス演算処理は、ＲＧＢデータに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理として彩度・色相の補正も行う。輝度変更処理は、ＲＧＢデータをＹＣｂＣｒ（輝度・色差）データに変換し、Ｙデータの輝度特性を、表示や記録に適するように変更する処理である。輝度変更処理として、ＲＧＢデータの輝度特性を変更するようにしてもよい。エッジ強調処理は、画像データ（ＲＧＢデータ又はＹＣｂＣｒデータ）からバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する処理である。ノイズ低減処理は、コアリング処理等により、画像データ（ＲＧＢデータ又はＹＣｂＣｒデータ）におけるノイズ成分を除去する処理である。

特殊画像処理部２１８２は、画像データ（ＲＧＢデータ又はＹＣｂＣｒデータ）に対して特殊な視覚効果を与えるための特殊画像処理を施す。この特殊画像処理の詳細については後で説明する。

ピーク画像生成部としてのピーク画像処理部２２０は、ピーキング表示モードの際に、画像データ（例えばＲＡＷデータ）からピーク画像データを生成する。ピーク画像データは、画像データにおけるフォーカス位置の候補であるコントラストのピーク部分を抽出して得られるものである。

ピーク画像処理部２２０は、ピーク抽出部２２０１と、ピーク補正部２２０２とを有している。ピーク抽出部２２０１は、画像データ（例えばＲＡＷデータ）から、バンドパスフィルタ等を用いてピーク信号を抽出する。なお、バンドバスフィルタを用いてピーク信号を抽出した場合、抽出されるピーク信号は主にエッジ部分の信号となる。ここで、前述したように、基本画像処理部２１８１におけるエッジ強調処理においてもエッジ信号を抽出している。したがって、ピーク抽出部２２０１は、基本画像処理部２１８１に設けられたエッジ強調処理を行うための回路（エッジ強調処理部）で代用され得る。ピーク補正部２２０２は、ピーク抽出部２２０１で抽出されたピーク信号の輝度特性を変更する。前述したように、基本画像処理部２１８１における輝度変更処理においても輝度特性を変更している。したがって、ピーク補正部２２０２は、基本画像処理部２１８１に設けられた輝度変更処理を行うための回路（輝度変更処理部）で代用され得る。

合成部２２２は、ピーキング表示のときに、画像処理部２１８で得られた背景画像データとピーク画像処理部２２０で得られたピーク画像データとを合成して合成画像データを生成する。合成部２２２は、背景画像補正部２２２１と、画像合成部２２２２とを有している。背景画像補正部２２２１は、背景画像データに合成されるピーク画像データの部分を際立たせるように、背景画像データを補正する画像処理を施す。この画像処理は、例えばローパスフィルタ処理及び輝度変更処理、彩度変更処理が含まれる。背景画像補正部２２２１は、背景画像データに施されている画像処理の内容に応じて適切な補正処理を選択する。画像合成部２２２２は、背景画像データとピーク画像データとを合成して合成画像データを生成する。

表示ドライバ２２４は、画像処理部２１８で得られた背景画像データ或いは画像圧縮伸張部２２８で伸張して得られる画像データ又は合成部で得られた合成画像データを、表示部２２６の表示サイズに応じてリサイズし、リサイズした画像データを映像信号に変換して表示部２２６に出力する。表示部２２６は、例えば液晶ディスプレイ（ＬＣＤ）である。この表示部２２６は、表示ドライバ２２４から入力された映像信号に基づく画像を表示する。

画像圧縮伸張部２２８は、画像の記録時においては、画像処理部２１８における画像処理によって得られた画像データに対してＪＰＥＧ形式やＴＩＦＦ形式等の静止画圧縮処理又はＭＰＥＧ形式やＨ．２６４形式等の動画圧縮処理を施す。また、画像圧縮伸張部２２８は、画像の再生時においては、圧縮処理が施された画像データに対して伸張処理を施す。

メモリＩ/Ｆ２３０は、マイクロコンピュータ２３４等が記録媒体２３２にアクセスするためのインターフェイスである。記録媒体２３２は、例えばカメラ本体２００に着脱自在になされたメモリカードである。この記録媒体２３２は、画像ファイル等を記録する。画像ファイルは、画像圧縮伸張部２２８によって圧縮された画像データに、ヘッダ情報を付加したファイルである。記録媒体２３２は、カメラ本体２００に固定されていてもよい（着脱できなくてもよい）。

マイクロコンピュータ２３４は、メカシャッタ２０２、撮像素子２０４、表示ドライバ２２４といったカメラ本体２００の各部の動作を統括的に制御する。また、マイクロコンピュータ２３４は、ＡＥ処理部２１４で演算された被写体輝度を用いてＡＥ処理を行ったり、ＡＦ処理部２１６で演算されたＡＦ評価値を用いてＡＦ処理を行ったりもする。また、マイクロコンピュータ２３４は、フォーカス位置取得部としての機能も有し、ＡＦ評価値を評価することによって、画像データにおけるフォーカス位置を取得する。さらに、マイクロコンピュータ２３４は、交換式レンズ１００の装着時には、交換式レンズ１００の動作も制御する。

操作部２３６は、ユーザによって操作される各種の操作部材である。本実施形態における操作部２３６は、操作部材として、例えば、レリーズボタンと、動画ボタンと、メニューボタンと、再生ボタンと、ピーキング表示切替ボタンと、電源ボタンとを有している。

レリーズボタンは、ファースト（１ｓｔ）レリーズスイッチとセカンド（２ｎｄ）レリーズスイッチの２段スイッチを有している。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ２３４は、ＡＥ処理やＡＦ処理等の撮影準備処理を実行する。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ２３４は、静止画記録処理を実行する。

動画ボタンは、マイクロコンピュータ２３４に対して動画撮影の実行を指示する。動画ボタンが押された場合、マイクロコンピュータ２３４は、動画記録処理を実行する。また、動画記録処理の実行中に動画ボタンが押された場合、マイクロコンピュータ２３４は、動画記録処理を終了する。

メニューボタンは、メニュー画面の表示を指示するための操作部である。メニュー画面上において、ユーザは、カメラ本体２００の各種の設定を変更することが可能である。本実施形態においては、ユーザは、例えばメニュー画面上において、特殊画像処理モードを設定する。この特殊画像処理モードにより、特殊画像処理部２１８２で施される特殊画像処理の内容が設定される。

再生ボタンは、マイクロコンピュータ２３４に対して静止画ファイル又は動画ファイルの再生を指示するための操作部である。電源ボタンは、カメラ本体２００の電源のオン又はオフを指示するための操作部である。

ピーキング表示切替ボタンは、ピーキング表示モードのオンとオフの切り替えを指示するための操作部である。このピーキング表示切替ボタンは、ピーキング表示指示部の一例として機能する。

ここで、前述したレリーズボタン、動画ボタン、メニューボタン、再生ボタン、ピーキング表示切替ボタンと同等の機能をタッチパネルによって実現するようにしてもよい。すなわち、ボタン等の物理的な操作部材がなくともよい。

Ｆｌａｓｈメモリ２３８は、例えばホワイトバランス補正用のホワイトバランスゲイン、カラーマトリクス演算用のカラーマトリクス係数、輝度特性変更用の各種の関数といった画像処理部２１８の動作に必要なパラメータ等の、カメラ本体２００の動作に必要な各種のパラメータを記憶している。また、Ｆｌａｓｈメモリ２３８は、マイクロコンピュータ２３４が実行する種々のプログラムも記憶している。

以下、前述したデジタルカメラの動作について説明する。図２は、本実施形態に係るデジタルカメラのメイン動作を示すフローチャートである。図２の動作は、例えば図１に示すデジタルカメラ１の電源がオンされた場合に行われる。

電源オン後において、マイクロコンピュータ２３４は、初期化処理を行う（ステップＳ１０１）。初期化処理において、マイクロコンピュータ２３４は、自身が有するレジスタに設定されている記録中フラグをＯｆｆにする等の処理を行う。記録中フラグは、動画記録中であるか否かを示すフラグである。記録中フラグがＯｆｆになっている間は、動画記録中でないことを示す。一方、記録中フラグがＯｎになっている間は、動画記録中であることを示す。

次に、マイクロコンピュータ２３４は、ユーザによって操作部２３６の再生ボタンが押されたか否かを判定する（ステップＳ１０２）。ステップＳ１０２において、再生ボタンが押されたと判定した場合に、マイクロコンピュータ２３４は、再生処理を実行する（ステップＳ１０３）。
再生処理において、マイクロコンピュータ２３４は、ユーザによる画像ファイル（静止画像ファイル又は動画像ファイル）の選択を待つ。そして、画像ファイルが選択された場合に、マイクロコンピュータ２３４は、選択された画像ファイルを画像圧縮伸張部２２８によりデコードする。そして、マイクロコンピュータ２３４は、デコードにより得られた画像データを表示ドライバ２２４に入力する。表示ドライバ２２４は、入力された画像データを映像信号に変換し、この映像信号に対応した画像を表示部２２６に表示させる。その後、ユーザによって再生終了の指示がなされた場合、例えば再生ボタンが再び押された場合に、マイクロコンピュータ２３４は、再生処理を終了させる。

ステップＳ１０２において再生ボタンが押されていないと判定した場合に、マイクロコンピュータ２３４は、カメラ設定をするか否かを判定する（ステップＳ１０４）。例えば、ユーザによって操作部２３６のメニューボタンが押された場合に、マイクロコンピュータ２３４は、カメラ設定をすると判定する。

ステップＳ１０４において、カメラ設定をすると判定した場合に、マイクロコンピュータ２３４は、表示ドライバ２２４を制御して表示部２２６にメニュー画面を表示させた後、カメラ設定処理を実行する（ステップＳ１０５）。
カメラ設定処理において、マイクロコンピュータ２３４は、ユーザからのカメラ設定の変更の指示を待つ。そして、何らかのカメラ設定の変更の指示がなされた場合に、マイクロコンピュータ２３４は、その指示に従ってカメラ設定を変更する。このカメラ設定処理においては、例えば静止画撮影時や動画撮影時の画像の記録形式の設定、ホワイトバランス（ＷＢ）モード等の画像の仕上がりに関する設定が変更される。また、カメラ設定処理において、特殊画像処理を実行するか否か、及び特殊画像処理を実行する際の特殊画像処理モードを設定することが可能である。

ステップＳ１０４において、カメラ設定をしないと判定した場合に、マイクロコンピュータ２３４は、ユーザによって操作部２３６の動画ボタンが押されたか否かを判定する（ステップＳ１０６）。ステップＳ１０６において、動画ボタンが押されたと判定した場合に、マイクロコンピュータ２３４は、記録中フラグを反転させる（ステップＳ１０７）。すなわち、マイクロコンピュータ２３４は、記録中フラグがＯｆｆの場合にはＯｎに、Ｏｎの場合にはＯｆｆにする。その後、マイクロコンピュータ２３４は、現在、動画記録中であるか否か、すなわち記録中フラグがＯｎであるか否かを判定する（ステップＳ１０８）。

ステップＳ１０８において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３４は、動画ファイルを生成し、動画像データを記録できるように準備する（ステップＳ１０９）。また、ステップＳ１０８において、記録中フラグがＯｎでないと判定した場合に、マイクロコンピュータ２３４は、動画ファイルを閉じる（ステップＳ１１０）。

ステップＳ１０６において動画ボタンが押されていないと判定した場合、ステップＳ１０９において動画ファイルを生成した後、ステップＳ１１０において動画ファイルを閉じた後、マイクロコンピュータ２３４は、現在、動画記録中であるか否か、すなわち記録中フラグがＯｎであるか否かを再び判定する（ステップＳ１１１）。

ステップＳ１１１において、記録中フラグがＯｆｆであると判定した場合に、マイクロコンピュータ２３４は、ユーザによって操作部２３６のレリーズボタンが半押しされてレリーズボタンの状態がＯｆｆ状態から１ｓｔレリーズスイッチのＯｎ状態に遷移したか否かを判定する（ステップＳ１１２）。

ステップＳ１１２において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移したと判定した場合に、マイクロコンピュータ２３４は、ＡＥ処理及びＡＦ処理を行う（ステップＳ１１３）。
ＡＥ処理において、マイクロコンピュータ２３４は、ＡＥ処理部２１４によって被写体輝度を算出させる。その後、マイクロコンピュータ２３４は、ＡＥ処理部２１４によって算出された被写体輝度に応じて静止画撮影の実行時におけるＩＳＯ感度、Ｆ値（絞り値）、シャッタ速を決定する。ここで、周知の顔検出技術等を用いた場合、検出された顔の輝度が適正となるようにＩＳＯ感度、Ｆ値、シャッタ速を決定するようにしてもよい。
ＡＦ処理において、マイクロコンピュータ２３４は、ＡＦ処理部２１６によってＡＦ評価値を取得させる。そして、マイクロコンピュータ２３４は、ＡＦ処理部２１６で取得されたＡＦ評価値により、コントラストを評価しつつ、レンズ１０２のフォーカスレンズを微少量ずつ駆動させるようにマイクロコンピュータ１０８に指示する。その後、マイクロコンピュータ２３４は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにマイクロコンピュータ１０８に指示する。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしてもよい。ここで、周知の顔検出技術等を用いた場合、検出された顔にフォーカスが合うようにしてもよい。

ＡＥ処理及びＡＦ処理の後、マイクロコンピュータ２３４は、デジタルカメラ１の電源がオフされたか否かを判定する（ステップＳ１１４）。ステップＳ１１４において、デジタルカメラ１の電源がオフされていないと判定した場合に、マイクロコンピュータ２３４は、ステップＳ１０２以後の処理を実行する。一方、ステップＳ１１４において、デジタルカメラの電源がオフされたと判定した場合に、マイクロコンピュータ２３４は、図２の処理を終了させる。

また、ステップＳ１１２において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移していないと判定した場合に、マイクロコンピュータ２３４は、ユーザによって操作部２３６のレリーズボタンが全押しされてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態となっているか否かを判定する（ステップＳ１１５）。

ステップＳ１１５において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である場合に、マイクロコンピュータ２３４は、メカシャッタ２０２を用いた撮影処理を実行する（ステップＳ１１６）。このために、マイクロコンピュータ２３４は、ＡＥ処理において決定されるＩＳＯ感度に応じてアナログ処理部２０６におけるゲイン制御量（増幅率）を設定するとともに、ＡＥ処理において決定されるＦ値をマイクロコンピュータ１０８に送信する。その後、マイクロコンピュータ２３４は、マイクロコンピュータ１０８の制御による絞り１０４の駆動と同期して、ＡＥ処理において決定した露出時間に応じてメカシャッタ２０２を動作させて撮像素子２０４の露出値を制御する。このような撮影処理により、ＲＡＷデータがＳＤＲＡＭ２１２に記憶される。

メカシャッタ２０２を用いた撮影処理を実行した後、マイクロコンピュータ２３４は、撮影処理によってＳＤＲＡＭ２１２に記憶されたＲＡＷデータに対する画像処理を、画像処理部２１８に実行させる（ステップＳ１１７）。この画像処理の詳細については後で説明する。

画像処理の後、マイクロコンピュータ２３４は、画像処理の結果としてＳＤＲＡＭ２１２に記憶された画像データを、設定されている静止画記録形式で静止画ファイルとして記録する処理を行う（ステップＳ１１８）。この際、マイクロコンピュータ２３４は、ＳＤＲＡＭ２１２に記憶された画像データを画像圧縮伸張部２２８に入力して静止画圧縮処理を実行するように画像圧縮伸張部２２８に指示する。この指示を受けて画像圧縮伸張部２２８は、予め設定された記録モードに対応するように静止画圧縮処理を行い、圧縮された画像データをＳＤＲＡＭ２１２に記憶させる。その後、マイクロコンピュータ２３４は、画像圧縮伸張部２２８により圧縮された画像データをＳＤＲＡＭ２１２から読み出し、読み出した画像データから静止画ファイルを作成し、作成した静止画ファイルを記録媒体２３２に記録する。

ステップＳ１１５においてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態でないと判定した場合に、マイクロコンピュータ２３４は、ＡＥ処理を実行する（ステップＳ１１９）。このＡＥ処理は、動画撮影又はライブビュー表示のための処理である。ＡＥ処理の後、マイクロコンピュータ２３４は、電子シャッタを用いた撮影処理を実行する（ステップＳ１２０）。この撮影処理において、マイクロコンピュータ２３４は、ＡＥ処理によって決定した露出時間に応じて撮像素子２０４の電子シャッタ機能を動作させて撮像素子２０４の露出値を制御する。このような撮影処理により、ＲＡＷデータがＳＤＲＡＭ２１２に記憶される。

電子シャッタを用いた撮影処理を実行した後、マイクロコンピュータ２３４は、撮影処理によってＳＤＲＡＭ２１２に記憶されたＲＡＷデータに対する画像処理を、画像処理部２１８に実行させる（ステップＳ１２１）。この画像処理の詳細については後で説明する。

画像処理の後、マイクロコンピュータ２３４は、現在、動画記録中であるか否か、すなわち記録中フラグがＯｎであるか否かを判定する（ステップＳ１２２）。ステップＳ１２２において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３４は、ステップＳ１２３の処理をスキップする。

ステップＳ１２２において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３４は、画像処理の結果としてＳＤＲＡＭ２１２に記憶された画像データを、設定されている動画記録形式で動画ファイルとして記録する処理を行う（ステップＳ１２３）。この際、マイクロコンピュータ２３４は、ＳＤＲＡＭ２１２に記憶された動画像データを画像圧縮伸張部２２８に入力して動画圧縮処理を実行するように画像圧縮伸張部２２８に指示する。この指示を受けて画像圧縮伸張部２２８は、予め設定された記録モードに対応するように動画圧縮処理を行い、圧縮された動画像データをＳＤＲＡＭ２１２に記憶させる。その後、マイクロコンピュータ２３４は、画像圧縮伸張部２２８により圧縮された動画像データをＳＤＲＡＭ２１２から読み出し、読み出した動画像データを動画ファイルに追記する。また、動画像データの記録が終了した場合には、動画ファイルのヘッダ情報部にフレーム数等の情報を記録する。なお、後で詳しく説明するピーク処理においては、ピーク画像データと背景画像データとに対する画像処理が施され、その結果が表示される。このようなピーク画像データと背景画像データは動画ファイルとともに記録する必要はない。

ステップＳ１２２において記録中フラグがＯｆｆであると判定した場合又はステップＳ１２３の後、マイクロコンピュータ２３４は、ピーキング表示の指示がされたか否かを判定する（ステップＳ１２４）。例えば、ピーキング表示指示部の一例としてのピーキング表示切替ボタンが押される毎にピーキング表示のオンとオフとが切り替えられる。この他、ピーキング表示指示部の別の例としてのフォーカスリング１１２が操作されたときにピーキングの指示がされたと判定するようにしてもよい。ステップＳ１２４において、ピーキング表示の指示がされていないと判定した場合に、マイクロコンピュータ２３４は、ステップＳ１２５の処理をスキップする。

ステップＳ１２４において、ピーキング表示の指示がされていると判定した場合に、マイクロコンピュータ２３４は、ピーク処理を実行する（ステップＳ１２５）。ピーク処理については後で詳しく説明する。

ステップＳ１２４においてピーキング表示の指示されていないと判定した場合又はステップＳ１２５の後、マイクロコンピュータ２３４は、ライブビュー表示を行う（ステップＳ１２６）。その後にマイクロコンピュータ２３４は、処理をステップＳ１１４に移行させる。ライブビュー表示において、マイクロコンピュータ２３４は、画像処理の結果としてＳＤＲＡＭ２１２に記憶された画像データ又はピーク処理の結果としてＳＤＲＡＭ２１２に記憶された合成画像データを表示ドライバ２２４に入力する。これを受けて表示ドライバ２２４は、入力された画像データ又は合成画像データを映像信号に変換して表示部２２６に出力する。表示部２２６は、この映像信号に基づいて画像を表示する。このようなライブビュー表示により、ユーザは、表示部２２６を用いて構図の確認等を行うことができる。ここで、本実施形態において、ライブビュー表示がなされている間にフォーカスリング１１２が操作された場合、マイクロコンピュータ１０８は、フォーカスリング１１２の操作量に応じてドライバ１０６を制御してフォーカスレンズを駆動させる。

図３は、画像処理について示すフローチャートである。画像処理が開始されると、基本画像処理部２１８１は、ＳＤＲＡＭ２１２に記憶されているＲＡＷデータに対して基本画像処理を施す（ステップＳ２０１）。その後、特殊画像処理部２１８２は、基本画像処理の結果としてＳＤＲＡＭ２１２に記憶されている画像データ（ＹＣｂＣｒデータ）に対して特殊画像処理を施す（ステップＳ２０２）。これにより、画像処理が終了される。以下、基本画像処理と特殊画像処理とを詳しく説明する。

図４は、基本画像処理について示すフローチャートである。基本画像処理の開始後、基本画像処理部２１８１は、ＯＢ減算処理を行う（ステップＳ３０１）。ＯＢ減算処理において、基本画像処理部２１８１は、入力されたＲＡＷデータからオプティカルブラック（ＯＢ）値を減算することでＲＡＷデータにおける暗電流成分を除去する。

ＯＢ減算の後、基本画像処理部２１８１は、ＷＢ補正処理を行う（ステップＳ３０２）。ＷＢ補正処理において、基本画像処理部２１８１は、ＯＢ減算処理が施されたＲＡＷデータに対して、予めユーザが設定したＷＢモードに応じたＷＢゲインを乗じることで画像としての色バランスを補正する。

ＷＢ補正処理の後、基本画像処理部２１８１は、ＲＡＷデータの形式がベイヤ形式の場合には、同時化処理を行う（ステップＳ３０３）。同時化処理において、基本画像処理部２１８１は、ＷＢ補正がなされたＲＡＷデータを、補間処理を用いて同時化する。これにより、１画素がＲＧＢのうちの１つの色成分を有しているＲＡＷデータを１画素がＲＧＢ３つの色成分を有するＲＧＢデータに変換する。

同時化処理の後、基本画像処理部２１８１は、色再現処理を行う（ステップＳ３０４）。色再現処理において、基本画像処理部２１８１は、設定されているＷＢモードに応じたカラーマトリクス係数をＲＧＢデータの各画素に乗じることでＲＧＢデータの色変換をする。さらに、基本画像処理部２１８１は、色変換したＲＧＢデータの色相及び彩度が適切なものとなるように色を補正することにより、画像の色再現を調整する。

色再現処理の後、基本画像処理部２１８１は、輝度変更処理を行う（ステップＳ３０５）。輝度変更処理において、基本画像処理部２１８１は、色再現処理がされたＲＧＢデータをガンマ変換し、さらにガンマ変換したＲＧＢデータをＹＣｂＣｒ（輝度・色差）データに変換した後、さらにＹデータをガンマ変換する。ここで、輝度変更処理の際には、特殊画像処理の設定に応じて異なるガンマ変換をする。図５は、輝度変更処理において用いられる輝度変更特性曲線の例を示す図である。

図５の関数Ａは、ＲＧＢデータの輝度変更処理に用いる関数の例であり、表示部２２６の表示特性やコントラスト等を変更するための関数である。関数Ａを用いてＲＧＢデータの特性を変更することにより、適切なコントラストで画像を表示部２２６に表示させることが可能である。

関数Ｂは、特定の特殊効果を付加しない通常の輝度変更処理に用いる関数の例である。関数Ｂは、Ｙデータに対して使用されるものである。すなわち、関数Ａを用いてＲＧＢデータの輝度特性が変更され、輝度特性が変更された後のＲＧＢデータがＹＣｂＣｒデータに変換された後、関数Ｂを用いてさらにＹデータの特性が変更される。関数ＢによってＹデータの特性を変換した場合、得られるＹデータの特性は、関数Ａを用いて輝度変更処理を行った結果の線形変換の特性になる。

関数Ｃは、関数Ｂに対して高輝度側を持ち上げ、低輝度側を下げるようにした特性の関数である。関数Ｃも、Ｙデータに対して使用されるものである。すなわち、関数Ａを用いてＲＧＢデータの輝度特性が変更され、輝度特性が変更された後のＲＧＢデータをＹＣｂＣｒデータに変換された後、関数Ｃを用いてさらにＹデータの特性が変更される。関数ＣによってＹデータの特性を変換した場合、画像のコントラストが強調される。このような関数Ｃは、例えばトイカメラで撮影したような視覚効果を付加する特殊効果処理モードやポップ調の視覚効果を付加する特殊効果処理モードの際に用いられる。関数Ｃは、ＲＧＢデータに対して用いることができるように係数が変更されてもよい。

関数Ｄは、関数Ｂに対して全体的な輝度を持ち上げるようにした特性の関数である。関数Ｄも、Ｙデータに対して使用されるものである。すなわち、関数Ａを用いてＲＧＢデータの輝度特性が変更され、輝度特性が変更された後のＲＧＢデータがＹＣｂＣｒデータに変換された後、関数Ｄを用いてさらにＹデータの特性が変更される。関数ＤによってＹデータの特性を変換した場合、コントラストが抑えられ、かつ明るめの画像が得られる。このような関数Ｄは、例えばファンタジー調の視覚効果を付加する特殊効果処理モードの際に用いられる。関数Ｄは、ＲＧＢデータに対して用いることができるように係数が変更されてもよい。

輝度変更処理の後、基本画像処理部２１８１は、エッジ強調処理を行う（ステップＳ３０６）。エッジ強調処理において、基本画像処理部２１８１は、輝度変更処理後のＹデータに対し、バンドパスフィルタ処理を施してエッジ信号を抽出し、抽出したエッジ信号にエッジ強調量に応じた係数を乗じる。そして、基本画像処理部２１８１は、係数を乗じたエッジ成分をもとのＹデータに加算することで画像のエッジ成分を強調する。

エッジ強調処理の後、基本画像処理部２１８１は、ノイズ低減（ＮＲ）処理を行う（ステップＳ３０７）。その後に基本画像処理部２１８１は、図４の処理を終了させる。ノイズ低減処理において、基本画像処理部２１８１は、エッジ強調処理がされたＹデータを周波数分解し、周波数に応じてコアリング処理等を施して画像におけるノイズ成分を低減させる。Ｃｂデータ及びＣｒデータに対してノイズ成分を低減させてもよい。ノイズ低減処理後のデータは、記録形式がＴＩＦＦ形式の場合には所定のマトリクス演算を行って再度ＲＧＢ形式に変換する。

図６は、特殊画像処理について示すフローチャートである。特殊画像処理の開始後、特殊画像処理部２１８２は、シェーディング効果を付加するか否かを判定する（ステップＳ４０１）。ステップＳ４０１において、シェーディング効果を付加しないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４０２の処理をスキップする。

ステップＳ４０１において、シェーディング効果を付加すると判定した場合に、特殊画像処理部２１８２は、Ｙデータにシェーディング効果を付加する（ステップＳ４０２）。この処理において、特殊画像処理部２１８２は、例えばＹデータの中心位置からの距離に応じて徐々にゲインの値が小さくなるようなゲインマップを生成し、各画素のＹデータに、その画素に応じたゲインを乗じる。ここで、ゲインは、最大値が１である。

続いて、特殊画像処理部２１８２は、ソフトフォーカス効果を付加するか否かを判定する（ステップＳ４０３）。ステップＳ４０３において、ソフトフォーカス効果を付加しないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４０４の処理をスキップする。

ステップＳ４０３において、ソフトフォーカス効果を付加すると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータにソフトフォーカス効果を付加する（ステップＳ４０４）。この処理において、特殊画像処理部２１８２は、ＹＣｂＣｒデータにローパスフィルタ処理を施すことでＹＣｂＣｒデータにぼかしを付加し、ぼかし後のＹＣｂＣｒデータとぼかし前のＹＣｂＣｒデータとを所定の割合（例えば、ぼかし後：ぼかし前＝２：３）で合成する。

続いて、特殊画像処理部２１８２は、ノイズ効果を重畳するか否かを判定する（ステップＳ４０５）。ステップＳ４０５において、ノイズ効果を重畳しないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４０６の処理をスキップする。

ステップＳ４０５において、ノイズ効果を重畳すると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータにノイズ効果を重畳する（ステップＳ４０６）。この処理において、特殊画像処理部２１８２は、ノイズデータをＹＣｂＣｒデータに重畳する。ここで、ノイズデータは、予めＦｌａｓｈメモリ２３８に記憶させておいた固定パターンのノイズデータを用いるようにしてもよいし、ノイズ効果を重畳する処理を行う毎に擬似乱数発生器等を用いて発生させるようにしてもよい。

続いて、特殊画像処理部２１８２は、ぼかし処理をするか否かを判定する（ステップＳ４０７）。ステップＳ４０７において、ぼかし処理しないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４０８の処理をスキップする。

ステップＳ４０７において、ぼかし処理をすると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータに対してぼかし処理を施す（ステップＳ４０８）。この処理において、特殊画像処理部２１８２は、例えば被写体位置（ＡＦ位置等でもよい）を中心にして上下方向又は左右方向に徐々に高周波成分が低減されるようにぼかし処理に用いるローパスフィルタの値を設定してぼかし処理を施す。中心からの距離に応じて徐々にぼかすようにしてもよい。

続いて、特殊画像処理部２１８２は、クロスフィルタ処理をするか否かを判定する（ステップＳ４０９）。ステップＳ４０９において、クロスフィルタ処理をしないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４１０の処理をスキップする。

ステップＳ４０９において、クロスフィルタ処理をすると判定した場合に、特殊画像処理部２１８２は、Ｙデータに対してクロスフィルタ処理を施す（ステップＳ４１０）。この処理において、特殊画像処理部２１８２は、画像データ（Ｙデータ）中の輝点（高輝度画素）を検索する。続いて、特殊画像処理部２１８２は、Ｙデータの検索した輝点を中心に輝線を描画する。

続いて、特殊画像処理部２１８２は、ホワイトエッジ処理をするか否かを判定する（ステップＳ４１１）。ステップＳ４１１において、ホワイトエッジ処理をしないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４１２の処理をスキップする。

ステップＳ４１１において、ホワイトエッジ処理をすると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータに対してホワイトエッジ処理を施す（ステップＳ４１２）。この処理において、特殊画像処理部２１８２は、例えばＹＣｂＣｒデータの中心位置からの距離に応じて徐々に白（例えばＹ＝２５５、Ｃｂ＝Ｃｒ＝０（無彩色））の割合が大きくなるような変換特性に従って各画素のＹＣｂＣｒデータを変換する。

続いて、特殊画像処理部２１８２は、パートカラー処理をするか否かを判定する（ステップＳ４１３）。ステップＳ４１３において、パートカラー処理をしないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４１４の処理をスキップする。

ステップＳ４１３において、パートカラー処理をすると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータに対してパートカラー処理を施す（ステップＳ４１４）。この処理において、特殊画像処理部２１８２は、予め定めた色を残し、それ以外の色が無彩色となるように色のゲインマップを作成する。ゲインマップを生成した後、特殊画像処理部２１８２は、Ｃｂデータ及びＣｒデータ（無彩色は０になるように生成されている）の各画素にゲインを乗じる。

続いて、特殊画像処理部２１８２は、ミラー反転処理をするか否かを判定する（ステップＳ４１５）。ステップＳ４１５において、ミラー反転処理をしないと判定した場合に、特殊画像処理部２１８２は、ステップＳ４１６の処理をスキップして図６の処理を終了させる。

ステップＳ４１５において、ミラー反転処理をすると判定した場合に、特殊画像処理部２１８２は、ＹＣｂＣｒデータに対してミラー反転処理を施す（ステップＳ４１６）。この処理において、特殊画像処理部２１８２は、ＹＣｂＣｒデータの上半分を上下反転して下半分に合成する。その後、特殊画像処理部２１８２は、図６の処理を終了させる。ここで、ミラー反転処理において、ＹＣｂＣｒデータの左半分を左右反転して右半分に合成するようにしてもよい。

図７は、第１の実施形態におけるピーク処理について示すフローチャートである。図７において、ピーク画像処理部２２０のピーク抽出部２２０１は、ＲＡＷデータからピーク信号を抽出する（ステップＳ５０１）。具体的には、ピーク抽出部２２０１は、ＲＡＷデータに対してバンドパスフィルタ処理を施してコントラストの信号を抽出する。ここで、バンドパスフィルタで抽出する信号の帯域は、被写体距離及びＦ値等の各種の条件に応じて変化させることが望ましい。

図８（ａ）は、被写体距離とピーク抽出の周波数帯域との関係を示した図である。また、図８（ｂ）は、Ｆ値とピーク抽出の周波数帯域との関係を示した図である。ここで、図８（ａ）及び図８（ｂ）は、何れも、横軸が画像（ＲＡＷデータ）の周波数の値を示し、縦軸が抽出されたピーク信号の周波数応答（画素値）を示している。

被写体距離が遠い場合、細かい被写体に対してフォーカスが合うので、ピーク信号が抽出され易い。この場合、単純にピーキング表示をすると多くのピーク線が表示されることになる。したがって、ユーザは、目的の被写体のフォーカス状態を識別しにくい。このため、被写体距離が遠い場合のピーキング表示の際には、図８（ａ）の実線で示すように、ピーク抽出の周波数帯域を高周波側に設定することで抽出されるピーク線の数を制限する。一方、被写体距離が近い場合には、細かい被写体にはフォーカスが合いにくくなって抽出されるピーク線の数が減少する。したがって、被写体距離が近い場合のピーキング表示の際には、図８（ａ）の破線で示すように、ピーク抽出の周波数帯域を被写体距離が遠い場合よりも相対的に低周波側に設定する。このように、被写体距離が近いほどにピーク抽出の周波数帯域を低周波側に変更することにより、ピーキング表示をしたときのピーク線の見えを被写体距離によらずに一定にすることが可能である。
なお、被写体距離は、レンズ１０２の状態（位置）をＩ／Ｆ１１４を経由して通信により取得することで取得できる。専用のセンサを設け、被写体距離を得るようにしてもよい。

また、Ｆ値が大きい（絞り１０４が絞られている）場合には、被写界深度が深くなってフォーカスが合い易くなる。この場合も被写体距離が遠い場合と同様、単純にピーキング表示をすると多くのピーク線が表示されることになる。したがって、Ｆ値が大きい場合のピーキング表示の際には、図８（ｂ）の実線で示すように、ピーク信号の抽出周波数帯域を高周波側にする。一方、Ｆ値が小さい（絞り１０４が開けられている）場合のピーキング表示の際には、図８（ｂ）の破線で示すように、ピーク抽出の周波数帯域をＦ値が大きい場合よりも相対的に低周波側に設定する。このように、Ｆ値が小さいほどにピーク抽出の周波数帯域を低周波側に変更することにより、ピーキング表示をしたときのピーク線の見えを被写体距離によらずに一定にすることが可能である。
なお、絞り１０４の状態をＩ／Ｆ１１４を経由して通信により取得することで、Ｆ値は取得可能である。

図８（ａ）は被写体距離に応じてピーク抽出の周波数帯域を変える例を示し、図８（ｂ）はＦ値に応じてピーク抽出の周波数帯域を変える例を示している。これら以外に、焦点距離（ズーム位置）に応じてピーク抽出の周波数帯域を変えるようにしてもよい。この場合、焦点距離が長くなるほどにピーク抽出の周波数帯域を低周波側に変更することにより、ピーキング表示をしたときのピーク線の見えを一定にすることが可能である。

ピーク抽出の後、ピーク補正部２２０２は、ピーク信号を抽出して得られるピーク画像データに対してコアリング処理を行う（ステップＳ５０２）。具体的には、ピーク補正部２２０２は、ピーク画像データにおける小振幅成分（画素値がある一定範囲内のもの）を所定値（例えば０）にクリップする。

コアリング処理の後、ピーク補正部２２０２は、コアリング処理したピーク信号にゲインを乗じることでピーク画像データを増幅する（ステップＳ５０３）。ここで、ゲインは、例えば予めＦｒａｓｈメモリ２３８に記憶された固定のゲインである。

ゲインを乗算した後、ピーク補正部２２０２は、ピーキング表示が違和感なく行われるよう、ピーク画像データの一部の成分をクリップする（ステップＳ５０４）。バンドパスフィルタ処理で抽出されるピーク信号には、正の成分と負の成分とが含まれる。正の成分が高輝度成分に対応し、負の成分が低輝度成分に対応する。したがって、明るいピーク線（例えば白）を表示させる場合には、ピーク画像データの負の成分を０にクリップする。逆に、暗いピーク線（例えば黒）を表示させる場合には、ピーク画像データの正の成分を０にクリップする。明るいピーク線を表示させるか否かは、例えば被写体の明るさに応じて決める。すなわち、被写体が暗い場合には明るいピーク線を表示させ、被写体が明るい場合には暗いピーク線を表示させる。
なお、ステップＳ５０４でクリップせず、後述のステップＳ５０６における輝度変更処理で正の成分または負の成分をクリップするようにしてもよい。また、明るいピーク線を表示させるか暗いピーク線を表示させるかを、ステップＳ１０５のカメラ設定において設定できるようにしてもよい。

信号クリップの後、ピーク補正部２２０２は、ピーク画像データに対してローパスフィルタ処理を施す（ステップＳ５０５）。図９は、ピーク画像データに対するローパスフィルタ処理に用いるローパスフィルタのフィルタ係数の例を示す図である。なお、ローパスフィルタ処理後の実際の出力は、注目画素を中心とする５×５画素のピーク画像データの各画素に対して図９の係数を乗じたものを合計し、この合計したものを図９の係数の総和で除したものである。図９に示す特性を有するフィルタを用いてピーク画像データを処理した場合、ピーク部分が平均化されることによって広がりを持つ。ここで、図９で示したフィルタ係数の値は一例であって適宜変更してよい。また、必ずしも５×５のフィルタとする必要はない。

ピーク画像データに対するローパスフィルタ処理の後、ピーク補正部２２０２は、ピーク画像データに対して輝度変更処理を施す（ステップＳ５０６）。図１０は、ピーク画像データに対する輝度変更処理に用いられる輝度変更特性曲線の例を示す図である。図１０に示すように、明るいピーク線を表示させる場合にはピーク画像データの正の成分のコントラストを強調する特性の輝度変更特性曲線（図１０の実線）を用いて輝度変更処理を施す。一方、暗いピーク線を表示させる場合にはピーク画像データの負の成分のコントラストを強調する特性の輝度変更特性曲線（図１０の破線）を用いて輝度変更処理を施す。このように本実施形態では、ローパスフィルタ処理によってぼかしたピーク画像データに対し、コントラストを強調する輝度変更処理を施す。このような処理を施した場合、ピーキング表示の際に太く鮮明なピーク線を表示させることが可能である。このため、ユーザは、ピーク線のフォーカス状態を識別し易い。ここで、図１０で示した例では、輝度変更処理によってピーク画像データは、各画素が０以上１.０以下のゲイン値を持つ画像データに変換される。輝度変更特性曲線の上限値と下限値とは図１０で示した例に限るものではない。

続いて、ピーク補正部２２０２は、ＡＦがされているか否かを判定する（ステップＳ５０７）。ステップＳ５０７において、ＡＦがされていないと判定した場合に、ピーク補正部２２０２は、ステップＳ５０８の処理をスキップする。ステップＳ５０７において、ＡＦがされていると判定した場合に、ピーク補正部２２０２は、ピーク画像データにおけるフォーカス位置（ＡＦ評価値のピークが検出された位置）周辺以外の画素に０を乗じる（ステップＳ５０８）。このような処理により、ピーク抽出処理で抽出されたピーク部分の中から、フォーカス位置に対応したピーク部分が抽出されるようにマスクすることが可能である。

ステップＳ５０８までの処理により、ピーク画像データに対する処理が終了する。続いて、合成部２２２の背景画像補正部２２２１は、背景画像データに対してローパスフィルタ処理を施す（ステップＳ５０９）。ここで、背景画像データは、少なくとも基本画像処理が施された画像データである。特殊画像処理は、施されていなくてもよいし、施されていてもよい。また、図１１は、背景画像データに対するローパスフィルタ処理に用いるローパスフィルタのフィルタ係数の例を示す図である。図１１に示す特性を有するフィルタを用いて背景画像データを処理することにより、ピーク画像データに対して背景画像データをぼかす。ここで、図９で示したフィルタ係数の値は一例であって適宜変更してよい。また、必ずしも５×５のフィルタとする必要はない。ただし、背景画像データに対するローパスフィルタ処理のほうがピーク画像データに対するローパスフィルタ処理よりもぼかしの程度が大きくなるようにフィルタの係数を設定することが望ましい。

背景画像データに対するローパスフィルタ処理の後、背景画像補正部２２２１は、背景画像データに対して輝度変更処理を施す（ステップＳ５１０）。図１２は、背景画像データに対する輝度変更処理に用いられる輝度変更特性曲線の例を示す図である。ステップＳ５１０の輝度変更処理では、ピーク画像データとの明暗差が際立つように背景画像データの輝度特性を変更する。すなわち、図１２に示すように、明るいピーク線を表示させる場合には、出力輝度を抑えた輝度変更特性曲線を用いて背景画像データに対する輝度特性変更処理を行うことにより、背景画像データを全体的に暗くする。一方、暗いピーク線を表示させる場合には、出力輝度を持ち上げた輝度変更特性曲線を用いて背景画像データに対する輝度特性変更処理を行うことにより、背景画像データを全体的に明るくする。なお、図１２で示した輝度変更特性曲線は、一例である。例えば背景画像データを入力データによらずに一律に明るく又は暗くするようにしてもよい。

ピーク画像データに対する輝度特性変更処理と背景画像データに対する輝度特性変更処理の後、合成部２２２の画像合成部２２２２は、ピーク画像データと背景画像データとを合成して合成画像データを生成する（ステップＳ５１１）。画像合成部２２２２は、例えばピーク画像データと背景画像データとを重み付け加算することによって合成を行う。このとき、ピーク画像データのゲイン値が１.０に近いほどにピーク線がはっきりと見えるように合成する。この一例として、白いピーク線を表示させる場合には以下の（式１）に従って合成し、黒いピーク線を表示させる場合には以下の（式２）に従って合成する。（式１）及び（式２）で示す演算は、画像データの成分毎に行う。例えば背景画像データがＹＣｂＣｒデータの場合には、Ｙデータと、Ｃｂデータと、Ｃｒデータのそれぞれについて（式１）又は（式２）の演算を行う。また、（式１）の白の値は、表示したときに白に見える画素値である。例えば、ＹＣｂＣｒデータの場合の白の値は、Ｙ＝２５５、Ｃｂ＝Ｃｒ＝０である。また、ＲＧＢデータの場合の白の値は、Ｒ＝Ｇ＝Ｂ＝２５５である。また、（式２）の黒の値は、表示したときに黒に見える画素値である。例えば、ＹＣｂＣｒデータの場合の黒の値は、Ｙ＝０、Ｃｂ＝Ｃｒ＝０である。また、ＲＧＢデータの場合の白の値は、Ｒ＝Ｇ＝Ｂ＝０である。
背景画像データの画素値×（１.０−ピーク画像データのゲイン値）＋白の画素値×ピーク画像データのゲイン値 （式１）
背景画像データの画素値×（１.０−ピーク画像データのゲイン値）＋黒の画素値×ピーク画像データのゲイン値 （式２）
（式１）又は（式２）で示す演算を行うことにより、ローパスフィルタ処理によってぼかされた背景画像データのピーク部分に太い鮮明なピーク線が合成された合成画像データが生成される。

以上説明したように、本実施形態では、ＲＡＷデータから抽出されるピーク信号を用いてピーク処理を行うようにしている。すなわち、本実施形態では、ピーク画像データと背景画像データとを分離してそれぞれに対して個別の画像処理を施すようにしている。背景画像データは、図５の関数Ｃや関数Ｄを用いた輝度変更処理や各種の特殊効果処理が施されている可能性がある。このような特殊な処理がされているとピーク部分の抽出が困難になる。一方でＲＡＷデータはこれらの処理が施される前の画像データである。このようなＲＡＷデータからピーク画像データを生成することにより、本実施形態では、背景画像データに対して行われた画像処理の内容や画像処理の際に用いられた画像処理パラメータに依存することのない、安定したピーキング表示が可能である。

また、本実施形態では、ピーク画像データは、ローパスフィルタ処理の後でコントラストを強調する輝度変更処理が行われる。その一方で、背景画像データは、背景画像においてエッジ部分がピーク画像と混同しにくくなるようにローパスフィルタ処理が行われ、ピーク画像データとの明暗差をより強調する輝度変更処理が行われる。これにより、ピーキング表示の際に背景画像に対してピーク線を鮮明に表示させることができる。これにより、ユーザは、ピーク線のフォーカス状態を識別し易い。

ここで、本実施形態では、ピーク画像データに対してローパスフィルタ処理を施すことでピーク画像データをぼかしている。ローパスフィルタ処理の代わりにノイズ低減処理を用いてピーク画像データをぼかしてもよい。

［第２の実施形態］
次に、本発明の第２の実施形態を説明する。第２の実施形態は、ピーク線をより際立たせるようにさらに背景画像データの色調を変更する処理を行う点が第１の実施形態と異なっている。第２の実施形態は、ピーク線に色を付ける場合に特に好適である。

図１３は、第２の実施形態におけるピーク処理について示すフローチャートである。ここで、図１３は、基本的な処理の流れは図７と同様である。したがって、図１３の詳細な説明は省略する。具体的には、図１３のステップＳ６０１〜Ｓ６０９は、図７のＳ５０１〜Ｓ５０９と同様であるので詳細な説明を省略する。

背景画像データに対するローパスフィルタ処理の後、背景画像補正部２２２１は、背景画像データに対して彩度変更処理を施す（ステップＳ６１０）。彩度変更処理は、ピーク線の色が際立つように背景画像データの彩度を変更する処理である。例えば、高彩度色のピーク線を合成する場合には、背景画像データの彩度を低下させる。彩度を低下させるための手法としては、例えば色差データ（Ｃｂデータ及びＣｒデータ）に一律の係数０.５を乗じる手法が挙げられる。この係数は、０以上１未満の間で適宜変更してよい。

彩度変更処理の後、背景画像補正部２２２１は、背景画像データに対して輝度変更処理を施す（ステップＳ６１１）。輝度変更処理は、図１３のステップＳ５１０と同様でよい。

輝度変更処理の後、背景画像補正部２２２１は、ピーク画像データと背景画像データとを合成して合成画像データを生成する（ステップＳ６１２）。合成処理は、基本的には図１３のステップＳ５１１と同様である。ただし、合成は、（式１）の「白の画素値」を、合成しようとするピーク線の色の画素値に置き換えて行う。例えば、ピーク線の色を赤とする場合、（式１）の「白の画素値」であるＲ＝Ｇ＝Ｂ＝２５５に代えて、Ｒ＝２５５、Ｇ＝Ｂ＝０とする。

以上説明したように、本実施形態では、ピーク画像データの色が際立つように背景画像データの彩度を変更するようにしている。これにより、ピーク線に色がついていても、ユーザは、ピーク線の色と背景の色とを混同することがない。これにより、ユーザは、ピーク線のフォーカス状態を識別し易い。

［第３の実施形態］
次に、本発明の第３の実施形態を説明する。第３の実施形態は、背景画像データに付加された特殊効果に応じたピーク部分の変更処理を行う点が第１及び第２の実施形態と異なっている。

図１４は、第３の実施形態におけるピーク処理について示すフローチャートである。ここで、図１４は、基本的な処理の流れは図７と同様である。したがって、図１４の詳細な説明は省略する。具体的には、図１４のステップＳ７１１〜Ｓ７１６、Ｓ７１９〜７２１は、図７のＳ５０１〜Ｓ５０６、Ｓ５０９〜Ｓ５１１と同様であるので詳細な説明を省略する。

ピーク画像データに対する輝度変更処理の後、ピーク補正部２２０２は、背景画像データに特殊効果が付加されているか否かを判定する（ステップＳ７１７）。ステップＳ７１７において、背景画像データに特殊効果が付加されていないと判定した場合に、ピーク補正部２２０２は、ステップＳ７１８の処理をスキップする。ステップＳ７１７において、背景画像データに特殊効果が付加されていると判定した場合に、ピーク補正部２２０２は、特殊効果に応じたピーク画像データの変更処理を行う（ステップＳ７１８）。この処理においては、特殊効果による画像変化の影響が小さい位置にピーク画像データが合成されるようにピーク画像データを変更する。

例えば、特殊効果としてシェーディング効果が付加されている背景画像データは、図１５（ａ）に示すように、中央部が明るく周辺部が暗い画像データである。シェーディング効果が付加されて暗くなった部分はフォーカスの状態が分かりにくい。したがって、図１５（ｂ）に示すように、シェーディング効果が付加されていない部分にピーク画像データが合成されるようにピーク画像データを変更する。ここで、図１５（ｂ）では、特殊効果が付加されていないピーク部分がＰで示され、特殊効果が付加されているピーク部分がＰ’で示されている。図１５（ｂ）に示すようにピーク部分Ｐにピーク線を合成すれば、ユーザはフォーカスの状態が分かり易い。ここで、シェーディング効果が付加されている部分Ｐ’には必ずしもピーク画像データを合成する必要はない。シェーディング効果が付加されている部分Ｐ’にピーク画像データを合成する場合には、シェーディング効果が付加されていない部分Ｐに合成するピーク画像データとの見分けがつくように、例えば色を変更してから合成することが望ましい。

また、図１６（ａ）に示すように特殊効果としてぼかしが付加されている背景画像データは、ぼかしが付加されている部分にピーク線を表示させてもあまり意味がない。したがって、図１６（ｂ）に示すように、ぼかしが付加されていない部分Ｐにピーク画像データが合成されるようにピーク画像データを変更する。ぼかしが付加されている部分には必ずしもピーク画像データを合成する必要はない。ぼかしが付加されている部分にピーク画像データを合成する場合には、ぼかしが付加されていない部分に合成するピーク画像データとの見分けがつくように、例えば色を変更してから合成することが望ましい。

また、特殊効果としてホワイトエッジ処理が施されている背景画像データは、図１７（ａ）に示すように、中央部が暗く周辺部が明るい画像データである。ホワイトエッジ処理が施されている場合には、図１７（ｂ）に示すように、中央部の弱いホワイトエッジ処理が施されている部分Ｐにピーク線が合成されるようにピーク画像データを変更する。強いホワイトエッジ処理が施されている部分Ｐ’には必ずしもピーク画像データを合成する必要はない。強いホワイトエッジ処理が施されている部分Ｐ’にピーク画像データを合成する場合には、弱いホワイトエッジ処理が施されている部分Ｐに合成するピーク画像データとの見分けがつくように、例えば色を変更してから合成することが望ましい。

また、特殊効果としてミラー反転処理が施されている背景画像データは、図１８（ａ）に示すように、上下対称（又は左右対称）の画像データである。実際の被写体は、上半分（又は左半分）の部分である。したがって、図１８（ｂ）に示すように、上半分にのみピーク画像データを合成する。

以上の図１５から図１８で示したピーク変更処理は一例である。特殊効果の影響を受けないようにピーク線を表示させることができるのであれば、ピーク変更処理の内容は適宜変更できる。

以上説明したように、本実施形態では、特殊効果の内容に応じてピーク画像データの変更処理を行っている。これにより、特殊効果で見えなくなってしまったり、フォーカスを合わせる必要がない部分が明確になり、ユーザは無駄なフォーカス合わせをする必要がない。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れもマイクロコンピュータ２３４に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、マイクロコンピュータ２３４は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…デジタルカメラ、１００…交換式レンズ、１０２…レンズ、１０４…絞り、１０６…ドライバ、１０８…マイクロコンピュータ、１１０…Ｆｌａｓｈメモリ、１１２…フォーカスリング、１１４…インターフェイス（Ｉ/Ｆ）、２００…カメラ本体、２０２…メカシャッタ、２０４…撮像素子、２０６…アナログ処理部、２０８…アナログ/デジタル（Ａ/Ｄ）変換部、２１０…バス、２１２…ＳＤＲＡＭ、２１４…ＡＥ処理部、２１６…ＡＦ処理部、２１８…画像処理部、２２０…ピーク画像処理部、２２２…合成部、２２４…表示ドライバ、２２６…表示部、２２８…画像圧縮伸張部、２３０…メモリインターフェイス（Ｉ/Ｆ）、２３２…記録媒体、２３４…マイクロコンピュータ、２３６…操作部、２３８…Ｆｌａｓｈメモリ、２１８１…基本画像処理部、２１８２…特殊画像処理部、２２０１…ピーク抽出部、２２０２…ピーク補正部、２２２１…背景画像補正部、２２２２…画像合成部

Claims (11)

1. 被写体を撮像してＲＡＷデータを取得する撮像部と、
   前記ＲＡＷデータからピーク部分を抽出してピーク画像データを生成するピーク画像生成部と、
   前記ＲＡＷデータを画像処理して背景画像データを生成する背景画像生成部と、
   前記ピーク画像データと前記背景画像データとを合成して合成画像データを生成する合成部と、
   前記合成画像データに基づく画像を表示する表示部と、
   を具備することを特徴とする撮像装置。
2. 前記合成部は、合成される前記ピーク画像データを合成される背景画像データに対して際立たせるように前記背景画像データを補正する背景画像補正部を含み、
   前記背景画像補正部で補正された背景画像データと前記ピーク画像データとを合成することを特徴とする請求項１に記載の撮像装置。
3. 前記背景画像補正部は、前記背景画像データの補正として、合成される前記背景画像データの階調を変更する処理、色調を変更する処理、ローパスフィルタ処理の少なくとも何れか１つを行うことを特徴とする請求項２に記載の撮像装置。
4. 前記背景画像生成部は、前記背景画像データに対して特殊効果を付加する特殊効果処理部を有することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記合成部は、前記背景画像データのうちで付加された特殊効果による画像変化の小さい領域に対して前記ピーク画像データを合成することを特徴とする請求項４に記載の撮像装置。
6. 撮影時のフォーカス位置を取得するフォーカス位置取得部をさらに具備し、
   前記ピーク画像生成部は、前記ピーク部分で抽出したピーク部分の中からフォーカス位置取得部で取得されたフォーカス位置に応じてさらにピーク部分を抽出することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
7. 前記ピーク画像生成部は、前記フォーカス位置に応じて抽出されたピーク部分以外のピーク部分をマスクすることを特徴とする請求項６に記載の撮像装置。
8. 前記ピーク画像生成部は、フォーカス位置が近距離であるほど、前記ＲＡＷデータにおけるより低い周波数帯域の信号を前記ピーク部分として抽出することを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
9. 前記ピーク画像生成部は、絞りが開放されているほど、前記ＲＡＷデータにおけるより低い周波数帯域の信号を前記ピーク部分として抽出することを特徴とする請求項１乃至８の何れか１項に記載の撮像装置。
10. 前記表示部に前記合成画像データに基づく画像を表示させるかどうかを指示するためのピーキング表示指示部と、
    表示させると指示された場合に前記表示部に前記合成画像データに基づく画像を表示させ、表示させないと指示された場合に前記表示部に前記背景画像データに基づく画像を表示させるように制御する制御部と、
    をさらに具備することを特徴とする請求項１乃至９の何れか１項に記載の撮像装置。
11. 動画の撮影を指示する動画撮影指示部と、
    前記動画の撮影が指示されたときに、前記背景画像データを動画像データとして記録する記録部と、
    をさらに具備することを特徴とする請求項１乃至１０の何れか１項に記載の撮像装置。

Images