JP2019197305A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像中の光が届く領域に対するピーキングを機能させながら、光が届かない領域付近に対するピーキングの副作用を抑えることができるようにする。
【解決手段】画像信号から２つ以上の異なる像高での画素値を取得する取得手段と、前記２つ以上の異なる像高での画素値の差分が所定の値より小さくなる像高を設定する設定手段と、前記設定手段によって設定された像高よりも小さい撮像素子を基準に、該撮像素子の最高像高よりも大きい範囲で、特定の箇所の明示を制御する明示度を修正する修正手段と、前記修正手段によって修正された明示度に基づいて、前記画像信号から前記特定の箇所を明示する明示手段と、を有する。
【選択図】図１

Description

本発明は、特に、画像中の特定の箇所を明示するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、静止画又は動画の撮影時に、カメラの背面液晶やＥＶＦに表示されるライブビュー画像のエッジ部に色をつけることで、マニュアルフォーカス（ＭＦ）の利便性を向上させるピーキング機能が知られている。ピーキングとは、ライブビュー画像にフィルタ処理を施すことで一定以上のコントラストを有するエッジを検出し、検出したエッジ部に色をつける処理である。この機能では、撮影画角全てのエッジに色をつけることができるため、例えば奥行きのある被写体において、画角の一方の端から他方の端に焦点を変更する時などに有用である。

一方、シーンによっては被写体のエッジとノイズとの切り分けが難しく、そのようなシーンでピーキングを用いると、ライブビュー画像で被写体のエッジとノイズとの両方に色が付いてしまう場合がある。このような場合には、焦点を合わせやすくするという目的を損ねると共に、ライブビュー画像の品位が損なわれてしまう。

そこで、ノイズのコントラスト値に応じてフィルタ処理の制御を変えることによって、エッジとノイズとを切り分け、ピーキングの精度を向上させることが考えられる。例えば、特許文献１には、注目画素と注目画素を中心とする複数の周辺画素との絶対値差分の和を、複数方向に対して夫々算出し、それらの中の最大値を採用することで注目画素の平坦度を判定する技術が開示されている。

特開２００８−２９３４２５号公報

レンズユニットによって撮像素子に結像される被写体像は、イメージサークル内だけでなく、その外にも存在する場合があり、撮像素子がイメージサークルよりも大きければ、イメージサークル外に結像された被写体像を撮像することが可能である。例えば、所謂３５ｍｍフルサイズの撮像素子を持つレンズ交換式カメラに、ＡＰＳ−Ｃサイズの撮像素子に対応するレンズを装着し、撮像素子の全面に結像された被写体像を撮像することができる。

しかしながら、レンズによってはある像高より高い像高には光が届かず、その領域では被写体像が結像されない場合がある。光が届かない領域にはノイズだけが存在するため、その領域ではピーキングを行う意味がなく、ピーキングにより意図せずにノイズに色が付き、画像の品位が損なわれてしまう。

例えば特許文献１に記載の手法で注目画素の平坦度を判定し、平坦部のノイズのコントラスト値に応じてフィルタ処理の制御を変えると、特にＩＳＯ感度が高い場合、ノイズのコントラスト値が被写体エッジのコントラスト値と同程度まで高くなる。そのため、ノイズに色は付かなくなるが、光が届く領域の被写体エッジにも色が付かなくなり、ピーキングが機能しなくなってしまう。

本発明は前述の問題点に鑑み、画像中の光が届く領域に対するピーキングを機能させながら、光が届かない領域付近に対するピーキングの副作用を抑えることができるようにすることを目的としている。

本発明に係る画像処理装置は、画像信号から２つ以上の異なる像高での画素値を取得する取得手段と、前記２つ以上の異なる像高での画素値の差分が所定の値より小さくなる像高を設定する設定手段と、前記設定手段によって設定された像高よりも小さい撮像素子を基準に、該撮像素子の最高像高よりも大きい範囲で、特定の箇所の明示を制御する明示度を修正する修正手段と、前記修正手段によって修正された明示度に基づいて、前記画像信号から前記特定の箇所を明示する明示手段と、を有することを特徴とする。

本発明によれば、画像中の光が届く領域に対するピーキングを機能させながら、光が届かない領域付近に対するピーキングの副作用を抑えることができる。

実施形態における画像処理装置の内部構成例を示すブロック図である。 明示度設定部の詳細な構成例を示すブロック図である。 実施形態に係る全体的な処理手順の一例を示すフローチャートである。 像高に対する画素値の変化を示す図である。 黒い被写体を含む場合の像高に対する画素値の変化を示す図である。 像高に対するベースクリップ値の変化を説明するための図である。 像高に対するピーキング画素の彩度の変化を説明するための図である。 ピーキング部の詳細な構成例を示すブロック図である。

［第１の実施形態］
以下、本発明の好適な実施形態について説明する。
本実施形態では、本発明を適用できる画像処理装置の一例としてデジタルカメラ、スキャナ等の撮像系を有する画像処理装置を挙げる。しかし、これに限らず、画像データを処理できる画像処理装置であれば特に実施の形態は限定されない。すなわち、画像処理装置としては、パーソナルコンピュータ等の情報処理装置であってもよいし、携帯型の情報端末、プリンタ等の画像形成装置などでもよい。これは以下の各実施形態でも同様である。

（画像処理装置１００の基本構成）
図１は、本実施形態における画像処理装置１００の一例であるデジタルカメラの内部構成例を示すブロック図である。
画像処理装置１００において、不図示の被写体はレンズユニット１の撮像光学系により撮像素子２に結像する。フォーカスレンズ１０１は、被写体の距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。絞り１０２は、Ｆナンバーの撮影状態設定としてその開口径が制御される。ズームレンズ１０３は、被写体の像倍率を調整するために不図示の手動マニュアルズーム機構によりレンズの位置が制御される。レンズ特性情報記録部１０４は、レンズＩＤやレンズの焦点距離、離散的な補正値などの情報を記録している。

レンズ特性情報記録部１０４に記録されるデータには、周辺光量落ち、色収差、シェーディング、球面収差、歪曲収差等のレンズユニット１に起因する各種の画質劣化を信号処理で補正するためのデータが含まれている。本実施形態におけるレンズユニット１は、所謂ＡＰＳ−Ｃ対応レンズであり、イメージサークルの半径は、約１３．４ｍｍである。

撮像素子２は、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、この色フィルタを画素毎にモザイク状に空間的に配列し、各画素が単一の色プレーンにおける強度を得るので、撮像素子２からは色モザイク画像が出力されることになる。本実施形態における撮像素子２は、所謂３５ｍｍフルサイズの撮像素子であり、撮像画面サイズは約３６．０×２４．０ｍｍである。

Ａ／Ｄ変換部３は、撮像素子２により得られた電気信号をデジタル画像信号に変換する。本実施形態では、この時点で１４ｂｉｔの画像データが画素毎に生成される。現像処理部５は、Ａ／Ｄ変換部３から出力されるデジタル画像信号に対して、画素補間処理、レンズ光学補正処理、輝度信号処理、及び色信号処理などの一連の現像処理を行う。本実施形態では、現像処理部５の処理でＲ、Ｇ、Ｂの色空間から８ｂｉｔの輝度（Ｙ）データ、色差（Ｕ、Ｖ）データの色空間に変換され、ＹＵＶデータとして現像処理部５から出力されるものとする。

信号処理部６は、現像処理がなされた画像データに対して、リサイズ処理やピーキング処理などを行い、出力部７へ供給する。本実施形態では、信号処理部６はピーキング処理を行うピーキング部６０１を備えている。

図８は、ピーキング部６０１の詳細な構成例を示すブロック図である。エッジ抽出部６０１１は、現像処理部５から出力されたＹＵＶ画像データにフィルタ処理を行い、制御部１０から入力されたエッジ抽出パラメータ、および明示度設定部４から出力された明示度を用いて被写体のエッジを抽出する。着色部６０１２は、エッジ抽出部６０１１で抽出されたエッジ部分の画素を特定のＹＵＶ値で置き換える。ＹＵＶ値は明示度設定部４が決定し、所定のタイミングで着色部６０１２に通知される。

出力部７は、画像データをＨＤＭＩ（登録商標）などの出力インタフェースへ出力したり、半導体メモリカードなどの記録メディアへ記録したり、表示装置（図示せず）へ出力したりする。ＵＩ部９は、スイッチ、ボタン、表示装置（図示せず）に設けられたタッチパネルなどの入力機器を１つ以上有する。ユーザによる指示などの外部からの操作は、ＵＩ部９を介して画像処理装置１００へと入力され、制御部１０はこれを受けて演算を行ったり、各部を制御したりする。

制御部１０は、バス８を介して各部を制御し、また適宜必要な演算処理を行う。メモリ１１は、各処理部で用いられる画像データや、絞り値、シャッタースピード、ＩＳＯ感度、ホワイトバランスゲイン値、ｓ−ＲＧＢなどの色域の設定などの撮影時情報のデータを記憶する。記憶されているデータは、制御部１０の指示によって適宜読み出され、使用される。図１に示す各構成要素は、バス８を介して互いに通信可能に接続されている。

（明示度設定処理の詳細）
以下、図２を参照して、画像処理装置１００が実行する明示度設定処理の方法、及びそれを実現する構成について説明する。明示度設定部４は、Ａ／Ｄ変換部３から出力されるデジタル画像信号を用いて、光の届かない像高を設定する。また、デジタル画像信号の特定箇所を明示するピーキングに用いる明示度を設定し、メモリ１１に明示度の情報を格納する。

本実施形態では、明示度設定部４が設定した明示度を用いて、ピーキング部６０１がピーキングを行う。これにより、光が届く領域に対するピーキングを機能させながら、光が届かない領域付近に対するピーキングの副作用を抑えることができる。この明示度の設定においては、電源入時、制御部１０は、撮像素子２の最高像高と、撮像素子２よりも一回り小さな撮像素子の最高像高の情報をメモリ１１から読み出す。本実施形態では前述したように、撮像素子２は、前記の通り所謂３５ｍｍフルサイズで、撮像素子２の中心からの最高像高は約２１．６ｍｍとなる。また、撮像素子２よりも一回り小さな撮像素子は、例えば、所謂ＡＰＳ−Ｃサイズで、中心からの最高像高は約１３．４ｍｍとなる。

さらに、制御部１０は、電源入時、またはユーザによりＵＩ部９を介してピーキングに関する指示がされた際、ピーキングに関する現在の状態情報を取得する。例えば、ピーキングのＯＮ／ＯＦＦ、強度、色の情報を取得する。ただし、これら以外のピーキングの明示度制御に必要な状態情報を適宜取得することも可能である。さらに、電源入時、あるいは交換レンズ（レンズユニット１）が接続されたときに、制御部１０は、レンズ特性情報記録部１０４からレンズユニット１のレンズ特性情報を取得する。このレンズ特性情報には、レンズユニット１のＩＤや開放絞り値、テレ端、ワイド端の焦点距離、イメージサークルの大きさなどの特性情報が含まれる。レンズ特性情報は制御部１０から像高設定部２０４に通知される。

制御部１０は、ピーキングに関する状態情報を、像高設定部２０４および明示度算出部２０５に通知する。明示度算出部２０５は、制御部１０から入力された前記ピーキングに関する状態情報に従って、ピーキングの見え方を制御する明示度を算出する。例えば、ピーキングの強度が強めの場合は、エッジ抽出フィルタに高域から低域まで抽出できるフィルタを設定し、ベースクリップを小さくして低コントラストのエッジも抽出できるようにする。一方、ピーキングの強度が弱めの場合は、エッジ抽出フィルタを高域に絞ったフィルタとし、ベースクリップを大きくして高コントラストのエッジだけが抽出されるようにする。

また、明示度算出部２０５は、前記ピーキングに関する状態情報に従って、抽出されたエッジ部の画像を置き換えるＹＵＶの値を決定する。例えば、ピーキングの強度が強めの場合は、Ｙの値やＵＶの絶対値を標準より大きくし、ピーキングの強度が弱めの場合は、Ｙの値はＵＶの絶対値を標準より小さくする。

ここで、本実施形態では、撮像された画像信号を参照することで、光が届いていない像高を設定し、光が届いていない像高が撮像素子２の最高像高以下である場合は、レンズユニット１のイメージサークルが撮像素子２より少なくとも一回り小さいとみなす。そして、撮像素子２よりも一回り小さな撮像素子の最高像高以上の領域に対して、ノイズに色が付くなどの副作用を招かないようにピーキングを行う。

信号取得部２０１は、Ａ／Ｄ変換部３から入力された画像信号における領域毎の平均値を求める。制御部１０から領域情報が与えられることで領域が指定され、例えばその領域に存在するＧ画素の平均値を差分部２０２に出力する。本実施形態では、制御部１０から一度につき２つの領域について領域情報が与えられ、それぞれの領域の平均値をペアで差分部２０２に出力する。差分部２０２は、信号取得部２０１から入力されたペアの値について、その差分の絶対値を求めて、比較部２０３に出力する。

比較部２０３は、メモリ１１から読み出した閾値２０７と差分部２０２から入力された値を比較し、比較結果を像高設定部２０４に出力する。像高設定部２０４は、比較部２０３から入力された比較結果および前記レンズ特性情報を用いて、光の届かない像高を設定する。明示度修正部２０６は、像高設定部２０４から入力された像高を用いて、明示度算出部２０５から入力された明示度を修正し、ピーキング部６０１に出力する。

図３（ａ）は、図２に示す明示度設定部４、およびピーキング部６０１で行われるピーキング処理の全体の動作手順の一例を示すフローチャートである。フローチャートの各動作は制御部１０、あるいは制御部１０の指示により各部で行われる。
ステップＳ３０１では、明示度設定部４により、イメージサークル外で光が届かない像高を設定する。
ステップＳ３１１では、明示度設定部４により、ピーキング部６０１でピーキング処理に用いられる明示度を設定する。

ステップＳ３２１では、エッジ抽出部６０１１により、画像のエッジ部を明示度にしたがって抽出する。
ステップＳ３３１では、着色部６０１２により、抽出されたエッジ部を明示度にしたがって着色する。

次に、図３（ａ）のステップＳ３０１の像高設定処理の詳細について、図３（ｂ）のフローチャートを用いて説明する。以下、絞り開放かつワイド側の焦点距離で、均一な輝度面を撮影した場合（後述する図４（ａ）の例）について説明する。
ステップＳ３０１１では、制御部１０により、像高ｉの初期値を設定する。本実施形態における像高ｉの初期値は、例えば、前記レンズ特性情報に含まれるイメージサークルの大きさにしたがって、１３．４ｍｍに設定される。
ステップＳ３０１２では、制御部１０により、センサ最高像高ｓを設定する。本実施形態におけるセンサ最高像高ｓは、前記の撮像画面サイズから、２１．６ｍｍに設定される。

ステップＳ３０１３では、制御部１０により、前記設定した像高ｉとセンサ最高像高ｓとを比較する。この比較の結果、像高ｉがセンサ最高像高ｓ以上の場合は、ステップＳ３０１４に進む。そして、ステップＳ３０１４において、制御部１０により、像高ｉをセンサ最高像高ｓの値で更新し、ステップＳ３０２３に進む。一方、ステップＳ３０１３の比較の結果、像高ｉがセンサ最高像高ｓより小さい場合は、ステップＳ３０１５に進む。初期値の比較では、こちらに該当するため、ステップＳ３０１５に進む。

ステップＳ３０１５では、信号取得部２０１により、前記の像高ｉおよびそれより高い像高ｉ'に位置する複数の領域から画像信号を読み出す。ここで、制御部１０により、像高ｉ'と、画像中心を基準とした場合の象限とが設定されるものとする。本実施形態では、象限の初期値として、画面右下にあたる第四象限が設定される。

図４は、絞り開放において均一な輝度面を撮影した時に得られた画像の例を示す図である。図４（ａ）は、ワイド側の焦点距離で均一な輝度面が撮影された画像と、画像中心から画像端に向かって像高毎の画素値のプロットとを示している。信号取得部２０１は、画像中心から第四象限の画像端に向かって引いた直線と、設定された像高ｉとの交点の信号（信号ｘ）を取得する。つまり、信号取得部２０１は、図４（ａ）の座標４０１に示す第四象限におけるイメージサークルとの交点の画素値４０２を取得し、差分部２０２へ出力する。図４（ａ）に示す画素値４０２は画像中心部の画素値が適正露出である１２８であった場合、約半分の６４まで光量が落ちてはいるが、光はまだ十分に届いている。

続いて、制御部１０により、初期値として設定された像高ｉより高い像高ｉ'が設定され、画像中心から第四象限の画像端に向かって引いた直線と、設定された像高ｉ'との交点の信号（信号ｙ）を取得する。本実施形態における像高ｉ'は、例えば、１８．４ｍｍに設定される。つまり、信号取得部２０１は、図４（ａ）の座標４０３における画素値４０４を取得し、差分部２０２へ出力する。図４（ａ）に示す例の場合、ワイド側の焦点距離ではイメージサークル直前から急激に光量が低下するため、イメージサークルからやや離れた座標４０３における画素値４０４は、光量が０となっている。

ステップＳ３０１６では、差分部２０２により、信号取得部２０１から出力された信号ｘ及び信号ｙの画素値の差分の絶対値を求め、比較部２０３に出力する。図４（ａ）に示す例の場合、画素値４０２と画素値４０４との差分の絶対値を求め、比較部２０３に出力する。この場合、画素値４０２の値が６４、画素値４０４の値が０であるため、その差分の絶対値は、６４となる。

ステップＳ３０１７では、比較部２０３により、差分部２０２から出力された画像信号の差分の絶対値と、メモリ１１から読み出された閾値２０７とを比較する。本実施形態では、例えば事前に外部から閾値に１０という値が設定され、制御部１０によってメモリ１１に保存されている。画像信号の差分の絶対値が６４である場合は、前記閾値よりも大きい。すなわち、この場合には像高ｉは光が届かない領域ではないという結果が像高設定部２０４に出力され、ステップＳ３０１８に進む。

ステップＳ３０１８では、像高設定部２０４によって、像高ｉをインクリメントする。本実施形態における新しい像高ｉを、例えば、現在の像高ｉよりも５ｍｍ高い１８．４ｍｍに設定し、ステップＳ３０１３に戻る。ステップＳ３０１３の比較では、新しい像高ｉはセンサ最高像高ｓよりも小さいため、ステップＳ３０１５に進む。

ステップＳ３０１５では、再び、信号取得部２０１によって、画像中心から第四象限の画像端に向かって引いた直線と、設定された像高ｉとの交点の信号が取得される。ここでは、信号取得部２０１は、図４（ａ）の座標４０３における画素値４０４を取得し、差分部２０２へ出力する。この場合、画素値４０４は０である。続いて、制御部１０により、新しい像高ｉより高い像高ｉ'が設定され、信号取得部２０１は、画像中心から第四象限の画像端に向かって引いた直線と、設定された像高ｉ'との交点の信号を取得する。像高ｉ'は、例えば、２０．４ｍｍに設定される。信号取得部２０１は、図４（ａ）の座標４０５における画素値４０６を取得し、差分部２０２へ出力する。この場合、画素値４０６は０である。

ステップＳ３０１６では、差分部２０２により、信号取得部２０１から出力された画素値４０４と画素値４０６の差分の絶対値が求められ、比較部２０３に出力される。前記のとおり、画素値４０４と画素値４０６の値が共に０であるため、その差分の絶対値は０となる。

ステップＳ３０１７では、比較部２０３により、差分部２０２から出力された画像信号の差分の絶対値と、メモリ１１から読み出された閾値が比較される。ここでは、閾値が１０、画像信号の差分の絶対値が０なので、閾値よりも小さいという結果が像高設定部２０４に出力され、処理はステップＳ３０１９に進む。イメージサークルの外側の周辺光量落ちが大きい可能性が高い領域にも関わらず、像高の変化に因らず画素値の増減がない場合とは、像高ｉは光が届いていない領域であるか、もしくは被写体が真っ黒であるかのいずれかと考えられる。そこでステップＳ３０１９以降では、前記選択肢のどちらであるかを判定する処理を行う。

ステップＳ３０１９では、信号取得部２０１によって、異なる象限における像高ｉの領域から信号を読み出す。本実施形態では、制御部１０により画面右上にあたる第一象限が設定される。そして、信号取得部２０１は、画像中心から第一象限の画像端に向かって引いた直線と、像高ｉ（この場合は１８．４ｍｍ）との交点の信号（信号ｍ）を取得する。ここでは、信号取得部２０１は、図４（ａ）の座標４１３における画素値４１４を取得し、差分部２０２へ出力する。この場合、画素値４１４は０である。

ステップＳ３０２０では、差分部２０２により、信号取得部２０１から出力された信号ｘ（信号ｎ）及び信号ｍの画素値の差分の絶対値を求め、比較部２０３に出力する。図４（ａ）に示す例の場合、画素値４０４と画素値４１４との差分の絶対値が求められ、比較部２０３に出力される。前記のとおり、画素値４０４と画素値４１４の値が共に０であるため、その差分の絶対値は０となる。

ステップＳ３０２１では、比較部２０３により、差分部２０２から出力された画像信号の差分の絶対値と、メモリ１１から読み出された閾値とを比較する。この比較の結果、差分の絶対値が閾値以上である場合はステップＳ３０１８に進み、閾値未満である場合はステップＳ３０２３に進む。ここでは、閾値が１０、画像信号の差分の絶対値が０なので、閾値よりも小さいという結果が像高設定部２０４に出力されることになる。つまり、複数象限における同一の像高ｉの画像信号がほぼ同じで、かつ像高の変化に因らず画素値の増減がないことから、像高ｉは光が届いていない領域と判断することができる。したがって、次のステップＳ３０２３では、像高設定部２０４によって、明示度修正部２０６に像高ｉの情報が出力され、本処理は終了する。一方、差分の絶対値が閾値以上である場合は、被写体の影響により画素値が異なっていると考えられるため、光が届いていると考えられる。そのため、ステップＳ３０１８に進むことになる。

なお、本実施形態では、画像中心から画像隅へ直線を引くことによって比較の対象となる象限を設定したが、必ずしもこれに限ったものではなく、例えば画像中心を原点とした角度でさらに細かく象限を設定しても良い。また、二つの象限における画像信号を取得するだけでなく、三つ以上の象限における画像信号を取得し、それぞれの差分の絶対値を前記閾値と比較することで、像高ｉは光が届いていない領域か否かを判定しても良い。

次に、絞り開放かつテレ側の焦点距離で、均一な輝度面を撮影した場合（後述する図４（ｂ）の例）について説明する。基本的な処理の流れは図３（ｂ）と同様である。

図４（ｂ）は、テレ側の焦点距離で均一な輝度面が撮影された画像と、画像中心から第四象限における画像端に向かって像高毎の画素値のプロットとを示している。ステップＳ３０１５では、信号取得部２０１は、図４（ｂ）の座標４２１における画素値４２２を取得し、差分部２０２へ出力する。画像中心部の画素値が適正露出である１２８であった場合、画素値４２２は約３／４の９６まで光量が落ちてはいるが、光はまだ十分に届いている。続いて、信号取得部２０１は、図４（ｂ）の像高ｉ'の座標４２３における画素値４２４を取得し、差分部２０２へ出力する。テレ側の焦点距離ではイメージサークル外の領域でも光量の低下具合が緩やかなため、画素値４２４は、光量が画像中心部の約半分の６４となっている。

ステップＳ３０１６では、差分部２０２により、信号取得部２０１から出力された画素値４２２と画素値４２４との差分の絶対値が求められ、比較部２０３に出力される。前記のとおり、画素値４２２の値が９６、画素値４２４の値が６４であるため、その差分の絶対値は３２となる。そのため、ステップＳ３０１７の比較では、画像信号の差分の絶対値は閾値の値である１０よりも大きいため、ステップＳ３０１８に進む。像高ｉがインクリメントされると、新しい像高ｉと像高ｉ'は、例えば、それぞれ１８．４ｍｍと２０．４ｍｍに設定され、再度ステップＳ３０１３に進む。

ステップＳ３０１３では、像高ｉがセンサ最高像高ｓよりも小さいため、ステップＳ３０１５に進む。ステップＳ３０１５では、一度目の動作と同様の手順で、信号取得部２０１は、像高ｉに対応する信号、つまり図４（ｂ）の座標４２３における画素値４２４を取得し、差分部２０２へ出力する。続いて、信号取得部２０１によって、画像中心から第四象限の画像端に向かって引いた直線と、像高ｉ'との交点の信号が取得される。信号取得部２０１は、図４（ｂ）の座標４２５における画素値４２６を取得し、差分部２０２へ出力する。

ステップＳ３０１７の比較では、テレ側の焦点距離では、画像中心から前記のセンサ最高像高ｓまで緩やかに光量が落ち続けるため、画像信号の差分の絶対値は、前記閾値よりも大きい。すなわち、像高ｉは光が届かない領域ではないという結果が像高設定部２０４に出力され、ステップＳ３０１８に進む。ステップＳ３０１８では、像高設定部２０４によって、像高ｉがインクリメントされ、新しい像高ｉと像高ｉ'は、例えば、それぞれ２０．４ｍｍと２１．６ｍｍに設定され、再度ステップＳ３０１３に進む。

ステップＳ３０１３からステップＳ３０１８までの三度目の動作は、二度目の動作と同様に行われ、像高ｉと像高ｉ'に対応する画像信号の差分の絶対値は、前記閾値よりも大きい。すなわち、像高ｉは光が届かない領域ではないという結果が像高設定部２０４に出力され、ステップＳ３０１８に進む。ステップＳ３０１８では、像高設定部２０４によって像高ｉがインクリメントされ、新しい像高ｉは、例えば２１．６ｍｍに設定され、再度ステップＳ３０１３に進む。

ステップＳ３０１３の比較では、像高ｉがセンサ最高像高ｓと等しいため、入力画像に光が届かない像高は存在しないと判断され、ステップＳ３０１４に進む。ステップＳ３０１４では、像高ｉにセンサ最高像高ｓが設定され、ステップＳ２０２３に進む。

３つ目に、絞り開放かつテレ側の焦点距離で、均一な輝度面の右下に真っ黒な被写体が存在するシーンを撮影した場合（後述する図５の例）について説明する。基本的な処理の流れは図３（ｂ）と同様である。

図５は、テレ側の焦点距離で、均一な輝度面の右下に真っ黒な被写体が存在するシーンが撮影された画像と、画像中心から第四象限における画像端に向かって像高毎の画素値のプロットとを示している。信号取得部２０１は、図５の座標５０１に示す第四象限におけるイメージサークルとの交点の画素値５０２を取得し、差分部２０２へ出力する。この場合、真っ黒な被写体が存在するため、画素値５０２は０となる。続いて、信号取得部２０１は、図５の像高ｉ'の座標５０３における画素値５０４を取得し、差分部２０２へ出力する。同様に真っ黒な被写体が存在するため、画素値５０４も同様に０となる。

ステップＳ３０１６では、差分部２０２により、信号取得部２０１から出力された画素値５０２と画素値５０４との差分の絶対値である０が、比較部２０３に出力される。ステップＳ３０１７では、比較部２０３により、差分部２０２から出力された画像信号の差分の絶対値と、メモリ１１から読み出された閾値とが比較される。前記の通り、画像信号の差分の絶対値は０であるため、前記閾値の値である１０よりも小さい。すなわち、像高ｉは光が届いていない可能性があるという結果が像高設定部２０４に出力され、ステップＳ３０１９に進む。

ステップＳ３０１９では、信号取得部２０１によって、第一象限における像高ｉの領域から信号が読み出される。信号取得部２０１は、画像中心から第一象限の画像端に向かって引いた直線と、像高ｉの交点の信号（信号ｍ）を取得する。ここでは、信号取得部２０１は、図５の座標５１１における画素値５１２を取得し、差分部２０２へ出力する。画素値５１２は９６である。

ステップＳ３０２０では、差分部２０２により、信号取得部２０１から出力された画素値５０２と画素値５１２との差分の絶対値が求められ、比較部２０３に出力される。前記の通り、画素値５０２の値は０である。したがって、画素値５０２と画素値５１２の差分の絶対値は９６となる。

ステップＳ３０２１では、比較部２０３により、差分部２０２から出力された画像信号の差分の絶対値と、前記閾値とが比較される。ここでは、閾値が１０、画像信号の差分の絶対値が９６なので、閾値よりも大きいという結果が像高設定部２０４に出力される。第一象限における同一の像高ｉの画像信号が大きく異なるため、像高ｉには光が届いていると判断され、ステップＳ３０１８へ進む。以降、像高をインクリメントしながら前記処理を繰り返しても、光が届かない像高は存在しないため、像高設定部２０４によって、明示度修正部２０６に像高ｉとしてセンサ最高像高ｓが出力され、本処理に戻る。

次に、図３（ａ）のステップＳ３１１の明示度制御処理の詳細について、図３（ｃ）のフローチャートを用いて説明する。光が届かない像高ｉがセンサ最高像高sよりも小さい場合、レンズユニット１のイメージサークルが撮像素子２より少なくとも一回りは小さい。このため、撮像素子２よりも一回り小さな撮像素子の最高像高以上の領域に対して、前記のピーキング処理を行う必要はない。むしろこの領域でピーキング処理を行うと、コントラストの高いノイズに色が付き、画像の品位が低下するだけである。そこで、ステップＳ３１１では、撮像素子２よりも一回り小さな撮像素子の最高像高以上の領域で明示度を修正することで、コントラストの高いノイズに色が付くことを防ぐようにする。

まず、ステップＳ３１１１では、明示度算出部２０５によって、制御部１０から出力されたピーキングに関する状態情報を読み出し、ピーキングを行うために必要な明示度を算出する。ピーキングに関する状態情報には、例えばピーキング強度やピーキングの色の情報が含まれる。

図６は、明示度としてベースクリップ値を用いる例を説明するための図である。本実施形態では、図６（ａ）の画像に対し、明示度としてエッジ抽出フィルタ入力信号のベースクリップ値を用いる。図６（ｂ）〜図６（ｄ）の横軸は像高を表し、縦軸はベースクリップ値を表す。例えば、ピーキング強度が「弱め」に設定されている場合、図６（ｂ）に示すように、明示度算出部２０５は、ベースクリップ値６０２を大きくしてコントラストの高いエッジだけに色がつくようにする。一方、ピーキング強度が「強め」に設定されている場合、図６（ｃ）に示すように、明示度算出部２０５は、ベースクリップ値６０３を小さくしてコントラストの低いエッジにも色がつくようにする。明示度算出部２０５が設定するベースクリップ値は、像高に因らず一定である。本実施形態では、ピーキング強度が「弱め」に設定されているものとする。以上のように算出された明示度が、明示度修正部２０６に出力され、ステップＳ３１１２に進む。

ステップＳ３１１２では、明示度修正部２０６によって、像高設定部２０４から出力された像高ｉを読み出す。
ステップＳ３１１３では、明示度修正部２０６によって、制御部１０からセンサ最高像高ｓの情報を取得する。

ステップＳ３１１４では、明示度修正部２０６によって、前記像高ｉとセンサ最高像高ｓとを比較する。像高ｉがセンサ最高像高ｓ以上である場合は、光の届かない領域が存在しないため、明示度修正部２０６が明示度を修正せずにピーキング部６０１に出力し、本処理に戻る。一方、像高ｉがセンサ最高像高ｓより小さい場合は、ステップＳ３１１５に進む。

ステップＳ３１１５では、明示度修正部２０６によって、制御部１０から一回り小さなセンサの最高像高ｂの情報を取得する。

ステップＳ３１１６では、明示度修正部２０６によって、一回り小さなセンサの最高像高ｂよりも高い像高での明示度を修正する。本実施形態では、一回り小さなセンサをＡＰＳ−Ｃサイズとし、一回り小さなセンサの最高像高ｂは１３．４ｍｍとなる。例えば、図６（ｄ）のベースクリップ値６０４は、ベースクリップ値６０３に対して、一回り小さなセンサの最高像高ｂより高い像高のベースクリップ値を、像高が高くなるほど連続的に大きくする。そして、像高ｉでどんなにコントラストの高いエッジも検出されないような最大のベースクリップ量としている。明示度修正部２０６によって、修正後の明示度がピーキング部６０１に出力され、本処理に戻る。

修正後の明示度はピーキング部６０１に入力され、明示度を用いてエッジ抽出部６０１１により被写体のエッジが抽出される。この場合、光が届かない像高ではベースクリップ値が大きいため、エッジが抽出されにくくなり、光が届かない領域付近に対するピーキングの副作用が抑えられる。

以上のように本実施形態によれば、ピーキング処理において、撮像に用いられた撮像素子よりも一回り小さな撮像素子の最高像高より高い像高からイメージサークル外の光が届かない像高にかけて、エッジ抽出フィルタ入力信号のベースクリップ値を大きくする。これにより、光が届く領域に対するピーキングを機能させながら、光が届かない領域付近に対するピーキングの副作用を抑え、画像の品位を向上させることができる。

［第２の実施形態］
本実施形態では、ピーキングの明示度としてピーキング画素の彩度を用いる例について説明する。以下、第１の実施形態と異なる点についてのみ説明する。したがって、画像処理装置１００の内部構成等の説明は省略する。

本実施形態では、例えば、ステップＳ３１１１において、明示度算出部２０５によって、ピーキング画素の彩度が算出される。図７は、明示度としてピーキング画素の彩度を用いる例を説明するための図である。図７（ｂ）及び図７（ｃ）において、横軸は像高を表し、縦軸はエッジを着色する際に元の画像を置き換える画素値の彩度を表す。図７（ｂ）に示すように、明示度算出部２０５が設定する図７（ａ）の画像に対するピーキング画素の彩度７０２は、像高に因らず一定である。明示度算出部２０５が、明示度としてピーキング画素の彩度を明示度修正部２０６に出力し、ステップＳ３１１２に進む。

ステップＳ３１１６では、明示度修正部２０６によって、明示度算出部２０５から通知されたピーキング画素の彩度が、像高毎に修正される。具体的には、一回り小さなセンサの最高像高ｂよりも高い像高に位置するピーキング画素の彩度が修正される。例えば、図７（ｃ）に示すように、ピーキング画素の彩度７０３は、ピーキング画素の彩度７０２に対して、一回り小さなセンサの最高像高ｂより高い像高の彩度を、像高が高くなるほど小さくし、像高ｉで彩度を略０としている。明示度修正部２０６によって、明示度として修正後のピーキング画素の彩度がピーキング部６０１に出力され、本処理に戻る。

以上のように本実施形態によれば、ピーキング処理において、光が届かない像高にかけて、エッジを着色する際に元の画像を置き換える画素値の彩度を小さくする。これにより、光が届く領域に対するピーキングを機能させながら、光が届かない領域付近に対するピーキングの副作用を抑え、画像の品位を向上させることができる。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４ 明示度設定部
６０１ ピーキング部

Claims (7)

1. 画像信号から２つ以上の異なる像高での画素値を取得する取得手段と、
   前記２つ以上の異なる像高での画素値の差分が所定の値より小さくなる像高を設定する設定手段と、
   前記設定手段によって設定された像高よりも小さい撮像素子を基準に、該撮像素子の最高像高よりも大きい範囲で、特定の箇所の明示を制御する明示度を修正する修正手段と、
   前記修正手段によって修正された明示度に基づいて、前記画像信号から前記特定の箇所を明示する明示手段と、
   を有することを特徴とする画像処理装置。
2. 前記明示手段は、
   前記特定の箇所として前記画像信号に含まれる被写体のエッジを抽出するエッジ抽出手段と、
   前記エッジ抽出手段によって抽出されたエッジの部分を前記明示度に基づいて着色する着色手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記修正手段は、像高に応じて連続的に前記明示度を修正することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像信号の被写体を撮像した撮像素子の最高像高よりも小さい範囲で画素値の差分が所定の値より小さくなる像高が存在しない場合、前記設定手段は、前記画像信号の被写体を撮像した撮像素子の最高像高を設定し、
   前記修正手段は、像高に応じて前記明示度を修正しないようにすることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記２つ以上の異なる像高での画素値の差分が所定の値より小さくなる場合に、前記取得手段は、異なる象限から比較の対象となる像高に対応する画素値を取得し、
   前記設定手段は、前記２つ以上の異なる像高での画素値の差分が所定の値より小さく、かつ前記異なる象限の画素値との差分も所定の値より小さい場合に、その像高を設定することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 画像信号から２つ以上の異なる像高での画素値を取得する取得工程と、
   前記２つ以上の異なる像高での画素値の差分が所定の値より小さくなる像高を設定する設定工程と、
   前記設定工程において設定された像高よりも小さい撮像素子を基準に、該撮像素子の最高像高よりも大きい範囲で、特定の箇所の明示を制御する明示度を修正する修正工程と、
   前記修正工程において修正された明示度に基づいて、前記画像信号から前記特定の箇所を明示する明示工程と、
   を有することを特徴とする画像処理方法。
7. 画像信号から２つ以上の異なる像高での画素値を取得する取得工程と、
   前記２つ以上の異なる像高での画素値の差分が所定の値より小さくなる像高を設定する設定工程と、
   前記設定工程において設定された像高よりも小さい撮像素子を基準に、該撮像素子の最高像高よりも大きい範囲で、特定の箇所の明示を制御する明示度を修正する修正工程と、
   前記修正工程において修正された明示度に基づいて、前記画像信号から前記特定の箇所を明示する明示工程と、
   をコンピュータに実行させるためのプログラム。