JP2014230176A - 画像信号処理装置、画像信号処理方法、撮像装置および画像表示方法 - Google Patents

Abstract

【課題】表示装置にその解像度より高い解像度のエッジ情報表示を行う。
【解決手段】第１の解像度の画像信号にダウンコンバート処理を施してこの第１の解像度より低い第２の解像度の画像信号を生成する。第１の解像度の画像信号に第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理を施し、このフィルタリング処理で得られたエッジ検出信号にダウンコンバート処理を施して第２の解像度のエッジ検出信号を得る。この第２の解像度のエッジ検出信号を第２の解像度の画像信号に合成して表示用の第２の解像度の画像信号を得る。
【選択図】図３

Description

本技術は、画像信号処理装置、画像信号処理方法、撮像装置および画像表示方法に関し、詳しくは、高解像度の画像信号を処理して低解像度の表示用の画像信号を得る画像信号処理装置等に関する。

一般的に、カメラ（撮像装置）は、撮像されている画像の構図やフォーカスをリアルタイムに確認するためのビューファインダ（表示装置）を備える。ビューファインダに表示される画像としては、その目的から、撮像画像の画角や解像度を忠実に再現できることが望まれる。しかし、例えば、４Ｋ解像度撮像装置（４Ｋカメラ）では、移動・設置の容易性の観点から、撮像画像より解像度の低いＨＤ解像度等のビューファインダが用いられることが多い。

従来、ビューファインダを用いてフォーカスのマニュアル操作を行う際、操作を補助するための指標（マーカ）として、ビューファインダ出力画像から抽出したエッジ情報を強調表示する機能（エッジ表示機能）が知られている（例えば、特許文献１参照）。この場合、合焦した部分は信号レベルの変化（エッジ）が急峻となることから、強調表示されたエッジを見ることで合焦の度合いを確認することが可能となる。

特開２００７−０６０３２８号公報

ＨＤ解像度のビューファインダ出力画像には、そのナイキスト周波数より高い周波数帯にある４Ｋ解像度画像のエッジ情報は存在しない。また、ビューファインダ出力画像以外から４Ｋ解像度画像のエッジ情報が仮に得られたとしても、サンプリング定理により、ＨＤ解像度のビューファインダにそのエッジ情報を表示することはできない。つまり、ＨＤ解像度のビューファインダを用いたエッジ表示機能で表示されるのはＨＤ解像度のエッジ情報のみであり、４Ｋ解像度のカメラのフォーカスを正確に合わせるのは困難である。

本技術の目的は、表示装置にその解像度より高い解像度のエッジ情報表示を行うことにある。

本技術の概念は、
第１の解像度の画像信号にダウンコンバート処理を施して該第１の解像度より低い第２の解像度の画像信号を生成するダウンコンバート部と、
上記第１の解像度の画像信号に上記第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理を施し、該フィルタリング処理で得られたエッジ検出信号にダウンコンバート処理を施して上記第２の解像度のエッジ検出信号を得る高周波数数帯エッジ検出部と、
上記ダウンコンバート部で生成された第２の解像度の画像信号に上記高周波数帯エッジ検出部で得られたエッジ検出信号を合成して表示用の第２の解像度の画像信号を得る合成部とを備える
画像信号処理装置にある。

本技術において、ダウンコンバート部により、第１の解像度の画像信号にダウンコンバート処理が施されて、この第１の解像度より低い第２の解像度の画像信号が生成される。例えば、第１の解像度は４Ｋ解像度であり、第２の解像度はＨＤ解像度である、ようにされてもよい。そして、この場合、第１の解像度はカメラの解像度（撮像解像度）であり、第２の解像度はビューファインダの解像度（表示解像度）である、ようにされてもよい。

高周波数帯エッジ検出部により、第１の解像度の画像信号に第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理が施され、このフィルタリング処理で得られたエッジ検出信号にダウンコンバート処理が施されて第２の解像度のエッジ検出信号が得られる。

例えば、高周波数帯エッジ検出部におけるダウンコンバート処理は、ダウンコンバート比率がＮ：１（Ｎは２以上の整数）であるとき、フィルタリング処理で得られるエッジ検出信号を２Ｎ画素の単位で分割し、分割単位毎に、この分割単位の２Ｎ画素分と続く分割単位の最初の１画素分の連続する２Ｎ＋１画素分のエッジ検出信号から２Ｎ組の連続する２画素の組を生成し、この２Ｎ組のうち差分絶対値が最大となる２画素の組を取り出す処理である、ようにされてもよい。このようなダウンコンバート処理により、高解像度のエッジ成分の消失を伴わずにダウンコンバートを行うことが可能となる。

また、例えば、高周波数帯エッジ検出部は、フィルタリング処理で得られるエッジ検出信号を第１の解像度の画像信号のレベル平均値で除して正規化し、この正規化されたエッジ検出信号にダウンコンバート処理を施す、ようにされてもよい。このような正規化処理により、明るい領域ではエッジの誤検出を抑制し、暗い領域ではエッジが検出しやすくなる。

また、例えば、第１の解像度の画像信号はベイヤー配列の色フィルタを持つ撮像素子を有する単板式のカラー撮像部の出力画像信号であり、高周波数帯エッジ検出部は、斜め方向に配列される緑の画素の信号に基づいて第２の解像度のエッジ検出信号を得る、ようにされてもよい。

合成部により、ダウンコンバート部で生成された第２の解像度の画像信号に高周波数帯エッジ検出部で得られたエッジ検出信号が合成されて表示用の第２の解像度の画像信号が得られる。

このように本技術においては、第１の解像度の画像信号にダウンコンバート処理が施されて生成された第２の解像度の画像信号に、第２の解像度のエッジ検出信号が合成されて、表示用の第２の解像度の画像信号が得られるものである。そして、この第２の解像度のエッジ検出信号は、第１の解像度の画像信号に第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理が施され、このフィルタリング処理で得られたエッジ検出信号にダウンコンバート処理が施されて得られたものである。

そのため、表示装置にその解像度より高い解像度のエッジ情報を表示することが可能となる。つまり、低解像度（例えばＨＤ解像度）のビューファインダ（表示装置）に、高解像度（例えば４Ｋ解像度）の撮像画像のエッジ情報を表示することが可能となり、低解像度のビューファインダの表示を用いて、高解像度カメラのフォーカスを正確に合わせることが可能となる。

なお、本技術において、例えば、ダウンコンバート部で生成された第２の解像度の画像信号に基づいて第２の解像度のエッジ検出信号を得る低周波数帯エッジ検出部をさらに備え、合成部は、ダウンコンバート部で生成された第２の解像度の画像信号に、高周波数帯エッジ検出部で得られたエッジ検出信号である第１のエッジ検出信号と共に、低周波数帯エッジ検出部で得られたエッジ検出信号である第２のエッジ検出信号を合成して、表示用の第２の解像度の画像信号を得る、ようにされてもよい。

例えば、合成部は、第１のエッジ検出信号によるエッジ情報表示と第２のエッジ検出信号によるエッジ情報表示が区別可能に、第１の解像度の画像信号に、第１のエッジ検出信号および第２のエッジ検出信号を合成する、ようにされてもよい。そして、この場合、第１のエッジ検出信号および第２のエッジ検出信号によるエッジ情報表示の区別は、色相、輝度あるいは線種の違いにより行われる、ようにされてもよい。

表示装置に、高周波数帯および低周波数帯のエッジ情報表示（例えば、エッジ強調表示）を同時に行うことが可能となり、ユーザのフォーカス合わせの容易性を高めることが可能となる。例えば、ユーザは、低周波数帯のエッジ情報の表示を見てフォーカスを大まかに合わせ、さらに、高周波数帯のエッジ情報の表示を見て細かくフォーカスを合わせることが可能となる。この場合、２つのエッジ情報表示が区別可能とされることで、ユーザは、２つのエッジ表示の区別を容易に行うことができる。

また、本技術の他の概念は、
第１の解像度の画像信号を得る撮像部と、
上記撮像部で得られた第１の解像度の画像信号を処理してビューファインダ表示用の、上記第１の解像度より低い第２の解像度の画像信号を得る画像信号処理部とを備え、
上記画像信号処理部は、
上記第１の解像度の画像信号にダウンコンバート処理を施して該第１の解像度より低い第２の解像度の画像信号を生成するダウンコンバート部と、
上記第１の解像度の画像信号に上記第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理を施し、該フィルタリング処理で得られたエッジ検出信号にダウンコンバート処理を施して上記第２の解像度のエッジ検出信号を得る高周波数帯エッジ検出部と、
上記ダウンコンバート部で生成された第２の解像度の画像信号に上記高周波数帯エッジ検出部で得られたエッジ検出信号を合成して上記表示用の第２の解像度の画像信号を得る合成部とを有する
撮像装置にある。

本技術において、撮像部により、第１の解像度の画像信号が得られる。画像信号処理部により、この第１の解像度の画像信号が処理されてビューファインダ表示用の、第１の解像度より低い第２の解像度の画像信号が得られる。例えば、第１の解像度は４Ｋ解像度であり、第２の解像度はＨＤ解像度である、ようにされてもよい。

そして、画像信号処理部は、ダウンコンバート部、高周波数帯エッジ検出部および合成部を有するものとされる。ダウンコンバート部により、第１の解像度の画像信号にダウンコンバート処理が施されてこの第１の解像度より低い第２の解像度の画像信号が生成される。高周波数帯エッジ検出部により、第１の解像度の画像信号に第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理が施され、このフィルタリング処理で得られたエッジ検出信号にダウンコンバート処理が施されて第２の解像度のエッジ検出信号が得られる。合成部により、ダウンコンバート部で生成された第２の解像度の画像信号に高周波数帯エッジ検出部で得られたエッジ検出信号が合成されて表示用の第２の解像度の画像信号が得られる。

このように本技術においては、撮像部で得られた第１の解像度の画像信号にダウンコンバート処理が施されて生成された第２の解像度の画像信号に、第２の解像度のエッジ検出信号が合成されて、表示用の第２の解像度の画像信号が得られるものである。そして、この第２の解像度のエッジ検出信号は、第１の解像度の画像信号に第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理が施され、このフィルタリング処理で得られたエッジ検出信号にダウンコンバート処理が施されて得られたものである。

そのため、表示装置にその解像度より高い解像度の撮像画像のエッジ情報を表示することが可能となる。つまり、低解像度（例えばＨＤ解像度）のビューファインダ（表示装置）に、高解像度（例えば４Ｋ解像度）の撮像画像のエッジ情報表示をすることが可能となり、低解像度のビューファインダの表示を用いて、撮像部（高解像度カメラ）のフォーカスを正確に合わせることが可能となる。

なお、本技術において、例えば、画像信号処理部は、ダウンコンバート部で生成される第２の解像度の画像信号に基づいて第２の解像度のエッジ検出信号を得る低周波帯エッジ検出部をさらに備え、合成部は、ダウンコンバート部で生成された第２の解像度の画像信号に、高周波数帯エッジ検出部で得られたエッジ検出信号である第１のエッジ検出信号と共に、低周波数帯エッジ検出部で得られたエッジ検出信号である第２のエッジ検出信号を合成して、表示用の第２の解像度の画像信号を得る、ようにされてもよい。表示装置に、高周波数帯および低周波数帯のエッジ情報表示を同時に行うことが可能となり、ユーザのフォーカス合わせの容易性を高めることが可能となる。

この場合、合成部は、第１のエッジ検出信号によるエッジ情報表示と第２のエッジ検出信号によるエッジ情報表示が区別可能に、第２の解像度の画像信号に、第１のエッジ検出信号および第２のエッジ検出信号を合成する、ようにされてもよい。この場合、ユーザは、２つのエッジ情報表示の区別を容易に行うことができる。

また、本技術の他の概念は、
表示素子に、
撮像画像信号に基づく画像に重ねて、
上記撮像画像信号の所定周波数以下の周波数帯の成分に基づいて検出されたエッジ検出信号による第１のエッジ情報表示と、上記撮像画像信号の上記所定周波数より高い周波数帯の成分に基づいて検出されたエッジ検出信号による第２のエッジ情報表示とを、区別可能に行う
画像表示方法にある。

本技術において、表示素子に、撮像画像信号に基づく画像に重ねて、第１のエッジ情報表示および第２のエッジ情報表示が、区別可能に行われる。例えば、第１のエッジ情報表示および第２のエッジ情報表示の区別は、色相、輝度あるいは線種の違いにより行われる、ようにされてもよい。また、例えば、第１の解像度は４Ｋ解像度であり、第２の解像度はＨＤ解像度である、ようにされてもよい。

そして、この場合、第１のエッジ情報表示は、撮像画像信号の所定周波数以下の周波数帯の成分に基づいて検出されたエッジ検出信号により行われる。第２のエッジ情報表示は、撮像画像信号の所定周波数より高い周波数帯の成分に基づいて検出されたエッジ検出信号により行われる。例えば、所定周波数は、表示素子の解像度に対応する周波数である、ようにされてもよい。

このように本技術においては、表示素子に、撮像画像に重ねて、高周波数帯および低周波数帯のエッジ情報表示（例えば、エッジ強調表示）が区別可能に行われるものであり、ユーザのフォーカス合わせの容易性を高めることが可能となる。例えば、ユーザは、低周波数帯のエッジ情報表示を見てフォーカスを大まかに合わせ、さらに、高周波数帯のエッジ情報表示を見て細かくフォーカスを合わせることが可能となる。

本技術によれば、表示装置にその解像度より高い解像度のエッジ情報表示を行うことが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

実施の形態としての撮像装置（カメラシステム）の構成例を示すブロック図である。 ベイヤー配列を示す図である。 撮像装置におけるビューファインダ画像（ダウンコンバート画像）のエッジ情報表示の一例を示す図である。 高周波数帯エッジ検出回路の構成例を示すブロック図である。 ハイパスフィルタの特性を説明するための図である。 高周波数帯エッジ検出回路におけるＩ０側のエッジ検出処理を説明するための図である。 ＣＭＯＳ型、ＣＣＤ型の撮像素子におけるコアリングレベルを説明するための図である。 高周波数帯エッジ検出回路におけるＩ１側のエッジ検出処理を説明するための図である。 単純間引きおよび帯域制限適用後の間引きによるエッジ消失を説明するための図である。 高周波数帯エッジ検出回路におけるダウンコンバート処理を説明するための図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［撮像装置の構成例］
図１は、実施の形態としての撮像装置（カメラシステム）１０の構成例を示している。この撮像装置１０は、レンズ１０１と、撮像部１０２と、撮像系補正回路１０３と、ゲイン調整回路１０４と、色分離回路１０５と、ニー・ガンマ補正回路１０６と、本線出力の出力信号生成回路１０７を有している。また、撮像装置は、ダウンコンバート回路１０８と、ビューファインダの出力信号生成回路１０９と、エッジ検出回路１１０と、高周波数数帯エッジ検出回路１１１を有している。

レンズ１０１は、図示しない被写体からの光を撮像部１０２の撮像素子（イメージセンサ）に集光させる。撮像部１０２は、４Ｋ解像度の撮像部である。例えば、ＨＤ解像度が水平１９２０画素、垂直１０８０画素であるのに対して、４Ｋ解像度は水平３８４０画素、垂直２１６０画素である。

この撮像部１０２は、被写体からの光を撮像素子にて受光し、光電変換およびＡ／Ｄ変換を行って撮像画像信号を出力する。この実施の形態において、撮像部１０２は、ベイヤー配列の色フィルタを持つ撮像素子からなる単板式のカラー撮像部である。また、撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）型、あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子である。図２は、ベイヤー配列を示している。このベイヤー配列は、図に太枠で示した２＊２の４画素（赤（Ｒ）１画素、緑（Ｇ）２画素、青（Ｂ）１画素）をセットにし、この４画素セットを水平方法および垂直方向に規則的に並べたものである。

撮像系補正回路１０３は、撮像部１０２から出力される撮像画像信号に対してシェーディング補正などの撮像系補正を行う。ゲイン調整回路１０４は、撮像系補正回路１０３で補正された撮像画像信号に対してゲイン調整を行う。色分離回路１０５は、ゲイン調整回路１０４で調整された撮像画像信号から、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の色信号を分離する。

ニー・ガンマ補正回路１０６は、色分離回路１０５で分離された各色信号に対し、出力信号を信号規格に収めるためのニー補正、およびモニタガンマに対応させるためのガンマ補正を行う。出力信号生成回路１０７は、ニー・ガンマ補正回路１０６で補正された各色信号を最終的な出力形式に変換し、４Ｋ画像の本線出力として外部に出力する。

ダウンコンバート回路１０８は、ニー・ガンマ補正回路１０６で補正された各色信号にダウンコンバート処理（解像度変換処理）を施し、ＨＤ解像度の画像信号（赤、緑、青の色信号）を生成する。出力信号生成回路１０９は、ダウンコンバート処理されて得られたＨＤ解像度の画像信号（赤、緑、青の色信号）を出力側のビューファインダ（表示装置）に適合する出力形式に変換し、ＨＤ画像のビューファインダ出力として外部に出力する。

エッジ検出回路１１０は、ダウンコンバート回路１０８で得られたＨＤ解像度の画像信号（赤、緑、青の色信号）に基づいて、ＨＤ解像度のエッジ検出信号を得る。具体的にはエッジ検出回路１１０は、例えば、ＨＤ解像度の画像信号に対して、画素毎に、ハイパスフィルタ処理を施し、ＨＤ解像度のエッジ検出信号を算出する。このエッジ検出回路１１０は、低周波数帯エッジ検出回路を構成する。

高周波数帯エッジ検出回路１１１は、ゲイン調整回路１０４でゲイン調整された４Ｋ解像度の撮像画像信号に基づいて、ＨＤ解像度のエッジ検出信号を得る。具体的には、高周波数帯エッジ検出回路１１１は、４Ｋ解像度の撮像画像信号にＨＤ解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理を施し、このフィルタリング処理で得られたエッジ検出信号にダウンコンバート処理を施し、ＨＤ解像度のエッジ検出信号を得る。この場合のダウンコンバート処理は、詳細説明は後述するが、ＨＤ解像度を超える解像度のエッジ成分の消失を伴わないものとされる。

出力信号生成回路１０９は、上述したようにＨＤ解像度の画像信号を出力するが、このＨＤ解像度の画像信号に、エッジ検出回路１１０で得られたエッジ検出信号（第２のエッジ検出信号）と、高周波数帯エッジ検出回路１１１で得られたエッジ検出信号（第１のエッジ検出信号）を合成する。

この際、出力信号生成回路１０９は、第１のエッジ検出信号によるエッジ情報表示と、第２のエッジ検出信号によるエッジ情報表示とが区別可能に、ＨＤ解像度の画像信号に、第１のエッジ検出信号および第２のエッジ検出信号を合成する。ここで、エッジ情報表示は、例えば、エッジ強調表示である。この場合、第１のエッジ検出信号および上記第２のエッジ検出信号によるエッジ情報表示の区別は、例えば、色相、輝度、あるいは線種（実線、破線など）などの違いにより行われる。

図１に示す撮像装置１０の動作を簡単に説明する。レンズ１０１を通った被写体からの光は、撮像部１０２の撮像素子（イメージセンサ）で受光される。そして、この撮像部１０２では、光電変換およびＡ／Ｄ変換が行われ、４Ｋ解像度の撮像画像信号が得られる。この撮像画像信号は、撮像系補正回路１０３およびゲイン調整回路１０４で適切に処理された後に、色分離回路１０５に供給される。

色分離回路１０５では、撮像画像信号から、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の色信号が分離される。このように分離された各色信号は、ニー・ガンマ補正回路１０６で出力信号を信号規格に収めるためのニー補正、およびモニタガンマに対応させるためのガンマ補正が行われた後に、出力信号生成回路１０７に供給される。出力信号生成回路１０７では、各色信号が最終的な出力形式に変換され、４Ｋ画像の本線出力として外部に出力される。

また、ニー・ガンマ補正回路１０６で補正された各色信号は、ダウンコンバート回路１０８に供給される。ダウンコンバート回路１０８では、各色信号にダウンコンバート処理（解像度変換処理）が施され、ＨＤ解像度の画像信号（赤、緑、青の色信号）が生成される。このＨＤ解像度の画像信号は、出力信号生成回路１０９に供給される。出力信号生成回路１０９では、ＨＤ解像度の画像信号が出力側のビューファインダ（表示装置）に適合する出力形式に変換され、ＨＤ画像のビューファインダ出力として外部に出力される。

本線出力画像の画角やフォーカスは、ユーザによるレンズ１０１の操作により随時変化したものとなる。ビューファインダ出力は、本線出力に対応しているので、ユーザによるビューファインダ出力にて、本線出力画像の画角やフォーカスの変化をリアルタイムに確認可能となる。

また、ダウンコンバート回路１０８で得られたＨＤ解像度の画像信号は、エッジ検出回路１１０に供給される。エッジ検出回路１１０では、例えば、ＨＤ解像度の画像信号に対して、画素毎に、ハイパスフィルタ処理が施されて、ＨＤ解像度のエッジ検出信号EG_1が得られる。このＨＤ解像度のエッジ検出信号EG_1は、低周波数帯のエッジ検出信号として、出力信号生成回路１０９に供給される。

また、ゲイン調整回路１０４でゲイン調整された４Ｋ解像度の撮像画像信号は、高周波数帯エッジ検出回路１１１に供給される。高周波数帯エッジ検出回路１１１では、４Ｋ解像度の撮像画像信号にＨＤ解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理が施され、さらにこのフィルタリング処理で得られたエッジ検出信号にダウンコンバート処理が施されて、ＨＤ解像度のエッジ検出信号EG_2が得られる。このＨＤ解像度のエッジ検出信号EG_2は、高周波数帯のエッジ検出信号として、出力信号生成回路１０９に供給される。

出力信号生成回路１０９では、上述したようにビューファインダ出力とされるＨＤ解像度の画像信号に、エッジ検出回路１１０で得られた低周波数帯のエッジ検出信号EG_1と、高周波数帯エッジ検出回路１１１で得られた高周波数帯のエッジ検出信号EG_2が合成される。この場合、両周波数帯のエッジ検出信号EG_1，EG_2によるエッジ情報表示（例えば、エッジ強調表示）が、例えば、色相、輝度、あるいは線種（実線、破線など）などの違いで区別可能に、合成される。なお、両周波数帯のエッジ情報表示を色相で区別する場合、被写体の色合いに応じて、見やすい色や明るさになるように、ユーザが調節できるようにすることがのぞましい。

図３は、図１に示す撮像装置１０におけるビューファインダ画像（ダウンコンバート画像）のエッジ情報表示（例えば、エッジ強調表示）の一例を示している。図３（ａ）は、本線出力となる４Ｋ解像度の画像信号による画像の一例を示している。図３（ｂ）は、４Ｋ解像度の画像信号にダウンコンバート処理を施して得られたＨＤ解像度の画像信号による画像の例を示している。図３（ｃ）は、ＨＤ解像度の画像信号に、このＨＤ解像度の画像信号に基づいて検出されたＨＤ解像度のエッジ検出信号EG_1のみが付加された場合の画像の一例を示している。この場合、例えば、低周波数帯エッジが白色で強調表示される。

図３（ｄ）は、ＨＤ解像度の画像信号に、ＨＤ解像度のエッジ検出信号EG_1とともに、４Ｋ解像度の撮像画像信号にフィルタリング処理を施し、さらにダウンコンバート処理を施して得られたＨＤ解像度のエッジ検出信号EG_2が付加された場合の画像の一例を示している。この場合、例えば、低周波数帯エッジが白色で強調表示され、高周波数帯エッジは赤色で強調表示される。

このようなビューファインダ表示に基づいてフォーカスを合わせる際は、まず、例えば、白色に着色された低周波数帯エッジを見て大まかに合わせ、さらに、例えば、赤色に着色された高周波数帯エッジを指標に細かくフォーカスを合わせていく。これにより、ＨＤ解像度のビューファインダ表示のみで、４Ｋ解像度の画像に対してフォーカスを正確に合わせることが容易になる。

［高周波数帯エッジ検出回路の構成例］
図４は、高周波数帯エッジ検出回路１１１の構成例を示している。この高周波数帯エッジ検出回路１１１に入力される４Ｋ解像度の撮像画像信号は、撮像部１０２、つまりベイヤー配列の色フィルタを持つ撮像素子を有する単板式のカラー撮像部で得られたものである。高周波数帯エッジ検出回路１１１は、この撮像画像信号に含まれる緑（Ｇ）の画素の信号に基づいて、ＨＤ解像度のエッジ検出信号EG_2を得る。

ここで、ベイヤー配列の２＊２の４画素（赤（Ｒ）１画素、緑（Ｇ）２画素、青（Ｂ）１画素）のセット（図２の太枠参照）に着目し、左下の緑（Ｇ）の画素をＩ０とし、右上の緑（Ｇ）の画素をＩ１とする。

この高周波数帯エッジ検出回路１１１は、Ｉ０側エッジ検出部１２１-0と、Ｉ１側エッジ検出部１２１-1と、ダウンコンバート部１２２と、二乗化部１２３を有している。Ｉ０側エッジ検出部１２１-0は、ベイヤー配列の４画素セット毎に、近傍の４画素セットの画素Ｉ０，Ｉ１の信号（Ｇ信号）に基づき、画素Ｉ０に対応したエッジ検出信号を求める。また、Ｉ１側エッジ検出部１２１-1は、ベイヤー配列の４画素セット毎に、近傍の４画素セットの画素Ｉ０，Ｉ１の信号（Ｇ信号）に基づき、画素Ｉ１に対応したエッジ検出信号を求める。

Ｉ０側エッジ検出部１２１-0は、Ｉ０側右上がり方向エッジ検出部１２４-R0と、Ｉ０側左上がり方向エッジ検出部１２４-L0と、セレクタ１２５-0を有している。Ｉ０側右上がり方向エッジ検出部１２４-R0は、ハイパスフィルタ１３１と、ローパスフィルタ１３２、コアリング部１３３、除算部１３４を有している。

ハイパスフィルタ１３１は、Ｉ０側右上がり方向の高周波数帯の信号（エッジ検出信号）を検出する。本線出力の解像限界（ナイキスト周波数）を1としたとき、比率２：１でダウンコンバートされたファインダ出力の解像限界は０．５である。ハイパスフィルタ１３１で検出したい高周波数帯の信号（エッジ検出信号）は、ファインダ出力画像になく本線出力画像にのみ含まれる高周波数帯にある。

そのため、ハイパスフィルタ１３１の特性は、図５に示すように、周波数０．５以下の周波数帯では利得が０となり、０．５より上の周波数帯では利得が1となる特性を持つことが望ましい。周波数０．５以下の部分はファインダ出力画像のとる周波数帯であり、エッジ検出回路１１０にて検出可能であり、高周波数帯エッジ検出回路１１１で二重に検出する必要はない。また、周波数０．５以下のエッジにも反応するハイパスフィルタとしてしまうと、本線出力においてフォーカスがあっていない場合にもエッジが検出され、本線出力のフォーカスを正確に合わせる妨げとなる。

なお、このハイパスフィルタ１３１の特性を変える（フィルタ係数を変える）ことで，検出する周波数帯を変えることが可能である。例えば、被写体が動いた場合、エッジはより低周波数帯に落ちるが、その周波数帯にも反応するような（遮断周波数をより低くした）フィルタに変えることで、そのような場合にもエッジを検出するよう対応できる。

ベイヤー配列の色フィルタを持つ撮像素子を有する単板式のカラー撮像部の場合、本線出力画像と同等の解像度を持つのは緑（Ｇ）の画素の斜め方向の配列のみである。そのため、ハイパスフィルタ１３１は、ベイヤー配列の４画素セット毎に、画素Ｉ０を注目画素とし、右上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１の信号（Ｇ信号）をタップ入力としてハイパスのフィルタリング処理を施し、高周波数帯の信号（エッジ検出信号）を検出する。

図６（ａ）は、タップ入力として使用される右上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１の一例を示している。この例では、注目画素、その前の２画素、およびその後の２画素からなる５画素の信号（Ｇ信号）が使用されることを示している。そして、図６（ｂ）に示すように、右上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１から注目画素（画素Ｉ０）の右上がり方向のエッジ検出信号が得られる。

ローパスフィルタ１３２は、ハイパスフィルタ１３１でベイヤー配列の４画素セット毎に注目画素（画素Ｉ０）の高周波数帯の信号（エッジ検出信号）が検出されるとき、この注目画素（画素Ｉ０）の近傍画素の信号レベルの平均値を求める。この場合、ローパスフィルタ１３２は、例えば、注目画素（画素Ｉ０）を含む右上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１の信号（Ｇ信号）をタップ入力としてローパスのフィルタリング処理を施して、信号レベルの平均値を検出する。

コアリング部１３３は、ハイパスフィルタ１３１で検出される高周波数帯の信号（エッジ検出信号）を入力とし、ノイズを抑圧して出力する。ハイパスフィルタ１３１は、エッジのみならず高周波数のランダムノイズにも反応してしまうため、ハイパスフィルタ１３１で検出される高周波数帯の信号（エッジ検出信号）には、高周波数のランダムノイズも含まれている。コアリング部１３３は、入力信号の振幅がある一定値より小さい場合にノイズ成分と見なして抑圧するものである。具体的には、入力信号のレベルをＸ、コアリングレベルをCORE_LEVELとすると、出力信号のレベルＹは、以下の数式（１）で求められる。

撮像部１０２の撮像素子としてＣＭＯＳ型の撮像素子を用いる場合、ノイズ量は信号レベルに依存する、つまり信号振幅が大きいほどノイズ振幅も増える、ことが知られている。そのため、コアリング部１３３は、図７に実線ａで示すように、コアリングレベルを信号レベルに応じて増加させる。この場合、コアリング部１３３は、基準となる信号レベルとして、例えば、ローパスフィルタ１３２で得られる近傍画素の信号レベルの平均値を使用する。一方、撮像部１０２の撮像素子としてＣＣＤ型の撮像素子を用いる場合、ノイズ量は信号レベルに依存しないことが知られている。そのため、コアリング部１３３は、図７に破線ｂに示すように、信号レベルによらずにコアリングレベルを一定とする。

除算部１３４は、コアリング部１３３でノイズ抑圧処理された高周波数帯の信号（エッジ検出信号）を、ローパスフィルタ１３２で得られる近傍画素の信号レベルの平均値で除して正規化する。

自然画を撮像した場合、一般に、信号レベルが大きい（明るい）ほど空間的な変化量は大きく、信号レベルが小さい（暗い）ほど空間的な変化量は小さくなる。したがって、ハイパスフィルタ１３１の出力は、明るい領域では大きい値となりやすく、暗い領域では小さい値となりやすい。言いかえれば、明るい領域ではエッジを誤検出しやすく、暗い領域ではエッジが検出しにくいということになる。

除算部１３４は、これを改善するため、上述したような正規化処理を行う。この場合、ローパスフィルタ１３２の出力が大きい値となる明るい領域ではハイパスフィルタ１３１の出力の値は小さい値に、ローパスフィルタ１３２の出力が小さい値となる暗い領域ではハイパスフィルタ１３１の出力の値は大きい値に正規化される。したがって、除算部１３４は、正規化処理を行うことで、明るい領域ではエッジの誤検出を抑制し、暗い領域ではエッジを検出しやすくする。

Ｉ０側左上がり方向エッジ検出部１２４-L0は、Ｉ０側右上がり方向エッジ検出部１２４-R0と同様に構成され、Ｉ０側左上がり方向の高周波数帯の信号（エッジ検出信号）を検出する。このＩ０側左上がり方向エッジ検出部１２４-L0が有するハイパスフィルタは、ベイヤー配列の４画素セット毎に、画素Ｉ０を注目画素とし、左上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１の信号（Ｇ信号）をタップ入力としてハイパスのフィルタリング処理を施し、高周波数帯の信号（エッジ検出信号）を検出する。

図６（ｃ）は、タップ入力として使用される左上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１の一例を示している。この例では、注目画素、その前の２画素、およびその後の２画素からなる５画素の信号（Ｇ信号）が使用されることを示している。そして、図６（ｄ）に示すように、左上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１から注目画素（画素Ｉ０）の左上がり方向のエッジ検出信号が得られる。

セレクタ１２５-0は、Ｉ０側右上がり方向エッジ検出部１２４-R0で検出される注目画素（画素Ｉ０）の右上がり方向のエッジ検出信号と、Ｉ０側左上がり方向エッジ検出部１２４-L0で検出される注目画素（画素Ｉ０）の左上がり方向のエッジ検出信号とから、絶対値の大きな信号を選択的に取り出し、Ｉ０側エッジ検出部１２１-0のエッジ検出信号、つまり画素Ｉ０に対応したエッジ検出信号として出力する。

Ｉ１側エッジ検出部１２１-1は、Ｉ１側右上がり方向エッジ検出部１２４-R1と、Ｉ１側左上がり方向エッジ検出部１２４-L1と、セレクタ１２５-1を有している。Ｉ１側右上がり方向エッジ検出部１２４-R1は、Ｉ０側右上がり方向エッジ検出部１２４-R0と同様に構成され、Ｉ１側右上がり方向の高周波数帯の信号（エッジ検出信号）を検出する。このＩ１側右上がり方向エッジ検出部１２４-R1が有するハイパスフィルタは、ベイヤー配列の４画素セット毎に、画素Ｉ１を注目画素とし、右上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１の信号（Ｇ信号）をタップ入力としてハイパスのフィルタリング処理を施し、高周波数帯の信号（エッジ検出信号）を検出する。

図８（ａ）は、タップ入力として使用される右上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１の一例を示している。この例では、注目画素、その前の２画素、およびその後の２画素からなる５画素の信号（Ｇ信号）が使用されることを示している。そして、図８（ｂ）に示すように、右上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１から注目画素（画素Ｉ１）の右上がり方向のエッジ検出信号が得られる。

Ｉ１側左上がり方向エッジ検出部１２４-L1は、Ｉ０側左上がり方向エッジ検出部１２４-L0と同様に構成され、Ｉ１側左上がり方向の高周波数帯の信号（エッジ検出信号）を検出する。このＩ１側左上がり方向エッジ検出部１２４-L1が有するハイパスフィルタは、ベイヤー配列の４画素セット毎に、画素Ｉ１を注目画素とし、左上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１の信号（Ｇ信号）をタップ入力としてハイパスのフィルタリング処理を施し、高周波数帯の信号（エッジ検出信号）を検出する。

図８（ｃ）は、タップ入力として使用される左上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１の一例を示している。この例では、注目画素、その前の２画素、およびその後の２画素からなる５画素の信号（Ｇ信号）が使用されることを示している。そして、図８（ｄ）に示すように、左上がり方向に並ぶ所定数の画素Ｉ０，Ｉ１から注目画素（画素Ｉ１）の左上がり方向のエッジ検出信号が得られる。

セレクタ１２５-1は、Ｉ１側右上がり方向エッジ検出部１２４-R1で検出される注目画素（画素Ｉ１）の右上がり方向のエッジ検出信号と、Ｉ１側左上がり方向エッジ検出部１２４-L1で検出される注目画素（画素Ｉ１）の左上がり方向のエッジ検出信号とから、絶対値の大きな信号を選択的に取り出し、Ｉ１側エッジ検出部１２１-1のエッジ検出信号、つまり画素Ｉ１に対応したエッジ検出信号として出力する。

ダウンコンバート部１２２は、エッジ検出部１２１-0，１２１-1で検出された画素Ｉ０，Ｉ１に対応したエッジ検出信号にダウンコンバート処理を施して、ＨＤ解像度のエッジ検出信号を得る。

一般的に、ダウンコンバート処理は、「入力数−出力数」分の画素を何らかの方法で間引く処理である。例えば、単純に１画素おきに間引けば比率２：１のダウンコンバートを実現できる。しかし、例えば、図９（ａ）の入力に対して、単純間引きは、図９（ｂ）に示すように行われ、間引かれる位相にあるエッジ情報は失われる（高周波数帯の信号が低域に折り返る）。

一般的に，ダウンコンバート処理では折り返し歪み（エイリアシング）を抑制するためにローパスフィルタ（ＬＰＦ）による帯域制限を適用してから間引くことが行われる。しかし、例えば、図９（ｃ）の入力に対して、帯域制限を適用してからの間引きは、図９（ｄ）に示すように行われ、高周波数帯にあるエッジ情報はこの処理によって失われる。

ダウンコンバート部１２２は、高解像度のエッジ成分の消失を伴わずにダウンコンバートを行う。ダウンコンバート部１２２は、４Ｋ解像度からＨＤ解像度への２：１のダウンコンバート処理をする。ダウンコンバート部１２２は、ベイヤー配列の水平方向に並ぶ各４画素セットの画素Ｉ０，Ｉ１に対応したエッジ検出信号を一系列の信号として取り扱い、以下の処理を実行する。

すなわち、ダウンコンバート部１２２は、まず、上述の一系列の信号を、２＊２画素の単位で分割する。次に、ダウンコンバート部１２２は、分割単位毎に、この分割単位の２＊２画素分と続く分割単位の最初の１画素分の連続する２＊２＋１画素分のエッジ検出信号から２＊２組の連続する２画素組を生成する。最後に、ダウンコンバート部１２２は、２＊２組のうち差分絶対値が最大となる２画素の組を取り出す。

図１０（ａ１）は、ベイヤー配列の水平方向に並ぶ各４画素セットの画素Ｉ０，Ｉ１（「Ｇ」で示す）を示している。図１０（ａ２）は、画素Ｉ０，Ｉ１に対応したエッジ検出信号を順に並べて一系列の信号とした場合のレベル変化を示している。

図１０（ａ３）は、一系列の信号が２＊２画素の単位で分割され、分割単位毎に、この分割単位の２＊２画素分と続く分割単位の最初の１画素分の連続する２＊２＋１画素分のエッジ検出信号から２＊２組の連続する２画素組が生成されることを示している。例えば、「I0-1,I1-1,I0-2,I1-2」、[I0-3,I1-3,I0-4,I1-4]のそれぞれ４画素は分割単位を構成している。そして、「I0-1,I1-1,I0-2,I1-2」の分割単位に関しては、（I0-1,I1-1）、（I1-1,I0-2）、（I0-2,I1-2）、（I1-2,I0-3）の４組の２画素組が生成され、[I0-3,I1-3,I0-4,I1-4] の分割単位に関しては、（I0-3,I1-3）、（I1-3,I0-4）、（I0-4,I1-4）、（I1-4,I0-5）の４組の２画素組が生成される。

図１０（ｂ１）は、ダウンコンバート後の水平方向に並ぶ画素（「Ｇ」で示す）を示している。図１０（ｂ２）は、ダウンコンバート後の各画素に対応したエッジ検出信号のレベル変化を示している。この場合、図１０（ｂ３）に示すように、「I0-1,I1-1,I0-2,I1-2」の分割単位に関しては差分絶対値が最も大きい（I1-2,I0-3）の２画素組が選択され、「I1-2」、「I0-3」の順に出力される。また、「I0-3,I1-3,I0-4,I1-4」の分割単位に関しては差分絶対値が最も大きい（I0-4,I1-4）の２画素組が選択され、「I0-4」、「I1-4」の順に出力される。

上述のダウンコンバート処理では、２＊２画素の入力に対して２画素の出力が得られるので、２：１のダウンコンバートを行っていることになる。また、このダウンコンバート処理では、変化量が最大となるエッジ検出信号をそのまま出力するため、ダウンコンバート後の信号に４Ｋ解像度のエッジがそのまま保存されている。

図４に戻って、二乗化部１２３は、ダウンコンバート部１２２で生成されるＨＤ解像度のエッジ検出信号を、乗算器１２３ａを用いて二乗化して、出力する。この二乗化処理により、ハイパスフィルタ１３１による利得を二次関数的にすることができ、より狭い範囲の帯域の信号を強調できる。

図４に示す周波数帯エッジ検出回路１１１の動作を簡単に説明する。Ｉ０側右上がり方向エッジ検出部１２４-R0では、ベイヤー配列の４画素セット（図２の太枠参照）毎に、近傍の４画素セットの画素Ｉ０，Ｉ１の信号（Ｇ信号）に基づき、注目画素（画素Ｉ０）の右上がり方向のエッジ検出信号（高周波数帯の信号）が得られる（図６（ａ），（ｂ）参照）。また、Ｉ０側左上がり方向エッジ検出部１２４-L0では、ベイヤー配列の４画素セット毎に、近傍の４画素セットの画素Ｉ０，Ｉ１の信号（Ｇ信号）に基づき、注目画素（画素Ｉ０）の左上がり方向のエッジ検出信号（高周波数帯の信号）が検出される（図６（ｃ），（ｄ）参照）。

Ｉ０側右上がり方向エッジ検出部１２４-R0で得られた画素Ｉ０の右上がり方向のエッジ検出信号は、セレクタ１２５-0に供給される。また、Ｉ０側左上がり方向エッジ検出部１２４-L0で検出された画素Ｉ０側の左上がり方向のエッジ検出信号は、セレクタ１２５-0に供給される。セレクタ１２５-0では、２つのエッジ検出信号から、絶対値の大きな信号が選択的に取り出され、Ｉ０側エッジ検出部１２１-0のエッジ検出信号、つまり画素Ｉ０に対応したエッジ検出信号として出力される（図６（ｅ）参照）。

また、Ｉ１側右上がり方向エッジ検出部１２４-R1では、ベイヤー配列の４画素セット（図２の太枠参照）毎に、近傍の４画素セットの画素Ｉ０，Ｉ１の信号（Ｇ信号）に基づき、注目画素（画素Ｉ１）の右上がり方向のエッジ検出信号（高周波数帯の信号）が得られる（図８（ａ），（ｂ）参照）。また、Ｉ１側左上がり方向エッジ検出部１２４-L1では、ベイヤー配列の４画素セット毎に、近傍の４画素セットの画素Ｉ０，Ｉ１の信号（Ｇ信号）に基づき、注目画素（画素Ｉ１）の左上がり方向のエッジ検出信号（高周波数帯の信号）が検出される（図８（ｃ），（ｄ）参照）。

Ｉ１側右上がり方向エッジ検出部１２４-R1で得られた画素Ｉ１の右上がり方向のエッジ検出信号は、セレクタ１２５-1に供給される。また、Ｉ１側左上がり方向エッジ検出部１２４-L1で検出された画素Ｉ１側の左上がり方向のエッジ検出信号は、セレクタ１２５-1に供給される。セレクタ１２５-1では、２つのエッジ検出信号から、絶対値の大きな信号が選択的に取り出され、Ｉ１側エッジ検出部１２１-1のエッジ検出信号、つまり画素Ｉ１に対応したエッジ検出信号として出力される（図８（ｅ）参照）。

Ｉ０側エッジ検出部１２１-0から出力される画素Ｉ０に対応したエッジ検出信号およびＩ１側エッジ検出部１２１-1から出力される画素Ｉ１に対応したエッジ検出信号は、それぞれ、ダウンコンバート部１２２に供給される。ダウンコンバート部１２２では、画素Ｉ０，Ｉ１に対応したエッジ検出信号、つまり４Ｋ解像度のエッジ検出信号にダウンコンバート処理が施されて、ＨＤ解像度のエッジ検出信号が得られる。

この場合、高解像度のエッジ成分の消失を伴わずにダウンコンバートが行われる（図１０参照）。例えば、まず、ベイヤー配列の水平方向に並ぶ各４画素セットの画素Ｉ０，Ｉ１に対応したエッジ検出信号が一系列の信号として取り扱われ、２＊２画素の単位で分割される。そして、分割単位毎に、この分割単位の２＊２画素分と続く分割単位の最初の１画素分の連続する２＊２＋１画素分のエッジ検出信号から２＊２組の連続する２画素組が生成される。そして、２＊２組のうち差分絶対値が最大となる２画素の組が取り出される。

ダウンコンバート部１２２で生成されたＨＤ解像度のエッジ検出信号は、二乗化部１２３に供給されて二乗化された後、高周波数帯エッジ検出回路１１１の出力とされる。この高周波数帯エッジ検出回路１１１では、入力２画素「Ｉ０，Ｉ１」に対して出力１画素「Ｏ０」という割合でエッジ検出信号が得られる。つまり、４Ｋ解像度の撮像画像信号からＨＤ解像度のエッジ検出信号EG_2が得られる。

上述したように、図１に示す撮像装置１０においては、ビューファインダ出力とされるＨＤ解像度の画像信号に、エッジ検出回路１１０で得られた低周波数帯のエッジ検出信号EG_1と、高周波数帯エッジ検出回路１１１で得られた高周波数帯のエッジ検出信号EG_2が合成される。そのため、例えば、ＨＤ解像度のビューファインダに、ＨＤ解像度のエッジ情報を表示できるだけでなく、４Ｋ解像度のエッジ情報をも表示でき、したがって、ＨＤ解像度のビューファインダの表示を用いて、４Ｋ解像度カメラのフォーカスを正確に合わせることが可能となる。

また、図１に示す撮像装置１０においては、ＨＤ解像度の画像信号に、両周波数帯のエッジ検出信号EG_1，EG_2が合成されるものである。そして、その際に、両周波数帯のエッジ検出信号EG_1，EG_2によるエッジ情報表示（例えば、エッジ強調表示）が、例えば、色相、輝度、あるいは線種（実線、破線など）などの違いで区別可能に、合成される。

そのため、例えば、両周波数帯のエッジ情報表示（エッジ強調表示）を同時に行うことが可能となり、ユーザのフォーカス合わせの容易性を高めることができる。例えば、ユーザは、ＨＤ解像度のエッジ情報表示を見てフォーカスを大まかに合わせ、さらに、４Ｋ解像度のエッジ状態表示を見て細かくフォーカスを合わせることが可能となる。この場合、２つのエッジ情報表示が区別可能とされることで、ユーザは、２つのエッジ情報表示の区別を容易に行うことができる。

また、図１に示す撮像装置１０においては、４Ｋ解像度の撮像画像信号にフィルタリング処理が施され、さらにダウンコンバート処理が施されてＨＤ解像度のエッジ検出信号EG_2が生成されるものであり、ダウンコンバート処理では、変化量が最大となるエッジ検出信号をそのまま出力するものである。そのため、ダウンコンバート後の信号に４Ｋ解像度のエッジがそのまま保存され、ＨＤ解像度のビューファインダに４Ｋ解像度のエッジ情報表示を良好に行うことができる。

＜２．変形例＞
なお、上述実施の形態においては、撮像解像度が４Ｋ解像度であり、ビューファインダの表示解像度がＨＤ解像度である場合の例を示した。そのため、高周波数帯エッジ検出回路１１１におけるダウンコンバート部１２２では、２：１の比率のダウンコンバートが行われている。例えば、撮像解像度とビューファインダの表示解像度の比率がＮ：１（Ｎは２以上の整数）である場合には、高周波数帯エッジ検出回路１１１では、Ｎ：１の比率のダウンコンバートが行われることになる。

この場合、ダウンコンバート部１２２は、ベイヤー配列の水平方向に並ぶ各４画素セットの画素Ｉ０，Ｉ１に対応したエッジ検出信号を一系列の信号として取り扱い、例えば、以下の処理を実行する。すなわち、ダウンコンバート部１２２は、まず、上述の一系列の信号を、２＊Ｎ画素の単位で分割する。次に、ダウンコンバート部１２２は、分割単位毎に、この分割単位の２＊Ｎ画素分と続く分割単位の最初の１画素分の連続する２＊Ｎ＋１画素分のエッジ検出信号から２＊Ｎ組の連続する２画素組を生成する。最後に、ダウンコンバート部１２２は、２＊Ｎ組のうち差分絶対値が最大となる２画素の組を取り出す。このダウンコンバート処理では、２＊Ｎ画素の入力に対して２画素の出力が得られるので、Ｎ：１のダウンコンバートを行っていることになる。

また、例えば、撮像解像度とビューファインダの表示解像度の比率がＮ：Ｍ（ＮとＭは互いに素）である場合も考えられる。ダウンコンバート部１２２は、ベイヤー配列の水平方向に並ぶ各４画素セットの画素Ｉ０，Ｉ１に対応したエッジ検出信号を一系列の信号として取り扱い、例えば、以下の処理を実行する。すなわち、ダウンコンバート部１２２は、まず、上述の一系列の信号を、Ｎ画素の単位で分割する。次に、ダウンコンバート部１２２は、分割単位毎に、この分割単位のＮ画素分と続く分割単位の最初からＭ−１画素分の連続するＮ＋Ｍ−１画素分のエッジ検出信号からＮ組の連続するＭ画素組を生成する。最後に、ダウンコンバート部１２２は、Ｎ組のうち隣接差分絶対値和が最大となるＭ画素の組を取り出す。このダウンコンバート処理では、Ｎ画素の入力に対してＭ画素の出力が得られるので、Ｎ：Ｍのダウンコンバートを行っていることになる。

また、上述実施の形態においては、ＨＤ解像度のビューファインダに、ＨＤ解像度のエッジ情報表示と、４Ｋ解像度のエッジ情報表示の２段階の周波数帯のエッジ情報表示を同時に行う例を示した。しかし、３段階以上の周波数帯のエッジ情報表示を同時に行うことも考えられる。例えば、撮像解像度が８Ｋ解像度であり、ビューファインダの表示解像度がＨＤ解像度である場合、上述実施の形態と同様の構成によって、ＨＤ解像度のエッジ情報表示と、４Ｋ解像度のエッジ情報表示と、さらに８Ｋ解像度のエッジ情報表示の３段階の周波数帯のエッジ情報表示を同時に行うことができる。

また、上述実施の形態においては、撮像部１０２が、ベイヤー配列の色フィルタを持つ撮像素子を有する単板式のカラー撮像部である例を示した。しかし、この撮像部１０２が、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３板式のカラー撮像部である例も考えられる。その場合にあっても、本技術を同様に適用できることは勿論である。

その場合、高周波数帯エッジ検出回路１１１では、例えば、画素毎に、水平方向、垂直方向の２方向のハイパスフィルタ処理でエッジ検出信号が得られて、絶対値のより大きい方がその画素のエッジ検出信号とされる。そして、この場合、高周波数帯エッジ検出回路１１１では、各画素のエッジ検出信号に対して、水平方向、垂直方向の２方向に、上述のＮ：１あるいはＮ：Ｍのダウンコンバート処理が施される。

また、本技術は、以下のような構成を取ることもできる。
（１）第１の解像度の画像信号にダウンコンバート処理を施して該第１の解像度より低い第２の解像度の画像信号を生成するダウンコンバート部と、
上記第１の解像度の画像信号に上記第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理を施し、該フィルタリング処理で得られたエッジ検出信号にダウンコンバート処理を施して上記第２の解像度のエッジ検出信号を得る高周波数帯エッジ検出部と、
上記ダウンコンバート部で生成された第２の解像度の画像信号に上記高周波数帯エッジ検出部で得られたエッジ検出信号を合成して表示用の第２の解像度の画像信号を得る合成部とを備える
画像信号処理装置。
（２）上記高周波数帯エッジ検出部におけるダウンコンバート処理は、
ダウンコンバート比率がＮ：１（Ｎは２以上の整数）であるとき、
上記フィルタリング処理で得られたエッジ検出信号を２Ｎ画素の単位で分割し、分割単位毎に、該分割単位の２Ｎ画素分と続く分割単位の最初の１画素分の連続する２Ｎ＋１画素分のエッジ検出信号から２Ｎ組の連続する２画素の組を生成し、該２Ｎ組のうち差分絶対値が最大となる２画素の組を取り出す処理である
前記（１）に記載の画像信号処理装置。
（３）上記高周波数帯エッジ検出部は、
上記フィルタリング処理で得られるエッジ検出信号を上記第１の解像度の画像信号のレベル平均値で除して正規化し、該正規化されたエッジ検出信号に上記ダウンコンバート処理を施す
前記（１）または（２）に記載の画像信号処理装置。
（４）上記ダウンコンバート部で生成される第２の解像度の画像信号に基づいて上記第２の解像度のエッジ検出信号を得る低周波帯エッジ検出部をさらに備え、
上記合成部は、
上記ダウンコンバート部で生成された第２の解像度の画像信号に、上記高周波数帯エッジ検出部で得られたエッジ検出信号である第１のエッジ検出信号と共に、上記低周波数帯エッジ検出部で得られたエッジ検出信号である第２のエッジ検出信号を合成して、上記表示用の第２の解像度の画像信号を得る
前記（１）から（３）のいずれかに記載の画像信号処理装置。
（５）上記合成部は、
上記第１のエッジ検出信号によるエッジ情報表示と上記第２のエッジ検出信号によるエッジ情報表示が区別可能に、上記第１の解像度の画像信号に、上記第１のエッジ検出信号および上記第２のエッジ検出信号を合成する
前記（４）に記載の画像信号処理装置。
（６）上記第１のエッジ検出信号および上記第２のエッジ検出信号によるエッジ情報表示の区別は、色相、輝度あるいは線種の違いにより行われる
前記（５）に記載の画像信号処理装置。
（７）上記第１の解像度の画像信号はベイヤー配列の色フィルタを持つ撮像素子を有する単板式のカラー撮像部の出力画像信号であり、
上記高周波数帯エッジ検出部は、斜め方向に配列される緑の画素の信号に基づいて上記第２の解像度のエッジ検出信号を得る
前記（１）から（６）のいずれかに記載の画像信号処理装置。
（８）上記第１の解像度は４Ｋ解像度であり、上記第２の解像度はＨＤ解像度である
前記（１）から（７）のいずれかに記載の画像信号処理装置。
（９）第１の解像度の画像信号にダウンコンバート処理を施して該第１の解像度より低い第２の解像度の画像信号を生成するステップと、
上記第１の解像度の画像信号に上記第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理を施し、該フィルタリング処理で得られたエッジ検出信号にダウンコンバート処理を施して上記第２の解像度のエッジ検出信号を得るステップと、
上記生成された第２の解像度の画像信号に上記得られたエッジ検出信号を合成して表示用の第２の解像度の画像信号を得るステップとを備える
画像信号処理方法。
（１０）第１の解像度の画像信号を得る撮像部と、
上記撮像部で得られた第１の解像度の画像信号を処理してビューファインダ表示用の、上記第１の解像度より低い第２の解像度の画像信号を得る画像信号処理部とを備え、
上記画像信号処理部は、
上記第１の解像度の画像信号にダウンコンバート処理を施して該第１の解像度より低い第２の解像度の画像信号を生成するダウンコンバート部と、
上記第１の解像度の画像信号に上記第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理を施し、該フィルタリング処理で得られたエッジ検出信号にダウンコンバート処理を施して上記第２の解像度のエッジ検出信号を得る高周波数帯エッジ検出部と、
上記ダウンコンバート部で生成された第２の解像度の画像信号に上記高周波数帯エッジ検出部で得られたエッジ検出信号を合成して上記表示用の第２の解像度の画像信号を得る合成部とを有する
撮像装置。
（１１）上記画像信号処理部は、
上記ダウンコンバート部で生成された第２の解像度の画像信号に基づいて上記第２の解像度のエッジ検出信号を得る低周波数帯エッジ検出部をさらに備え、
上記合成部は、
上記ダウンコンバート部で生成された第２の解像度の画像信号に、上記高周波数帯エッジ検出部で得られたエッジ検出信号である第１のエッジ検出信号と共に、上記低周波数帯エッジ検出部で得られたエッジ検出信号である第２のエッジ検出信号を合成して、上記表示用の第２の解像度の画像信号を得る
前記（１０）に記載の撮像装置。
（１２）上記合成部は、
上記第１のエッジ検出信号によるエッジ情報表示と上記第２のエッジ検出信号によるエッジ情報表示が区別可能に、上記第２の解像度の画像信号に、上記第１のエッジ検出信号および上記第２のエッジ検出信号を合成する
前記（１１）に記載の撮像装置。
（１３）上記第１の解像度は４Ｋ解像度であり、上記第２の解像度はＨＤ解像度である
前記（１０）から（１２）のいずれかに記載の撮像装置。
（１４）表示素子に、
撮像画像信号に基づく画像に重ねて、
上記撮像画像信号の所定周波数以下の周波数帯の成分に基づいて検出されたエッジ検出信号による第１のエッジ情報表示と、上記撮像画像信号の上記所定周波数より高い周波数帯の成分に基づいて検出されたエッジ検出信号による第２のエッジ情報表示とを、区別可能に行う
画像表示方法。
（１５）上記第１のエッジ情報表示および上記第２のエッジ情報表示の区別は、色相、輝度あるいは線種の違いにより行われる
前記（１４）に記載の画像表示方法。
（１６）上記所定周波数は、上記表示素子の解像度に対応する周波数である
前記（１４）または（１５）に記載の画像表示方法。
（１７）上記撮像画像信号は４Ｋ解像度の撮像部の出力画像信号であり、上記表示素子はＨＤ解像度の表示素子である
前記（１４）から（１６）のいずれかに記載の画像表示方法。

１０・・・撮像装置
１０１・・・レンズ
１０２・・・撮像部
１０３・・・撮像系補正回路
１０４・・・ゲイン調整回路
１０５・・・色分離回路
１０６・・・ニー・ガンマ補正回路
１０７・・・出力信号生成回路（本線出力）
１０８・・・ダウンコンバート回路
１０９・・・出力信号生成回路（ファインダ出力）
１１０・・・エッジ検出回路
１１１・・・高周波数帯エッジ検出回路
１２１-0・・・Ｉ０側エッジ検出部
１２１-1・・・Ｉ１側エッジ検出部
１２２・・・ダウンコンバート部
１２３・・・二乗化回路
１２３ａ・・・乗算器
１２４-R0・・・Ｉ０側右上がり方向エッジ検出部
１２４-L0・・・Ｉ０側左上がり方向エッジ検出部
１２４-R1・・・Ｉ１側右上がり方向エッジ検出部
１２４-L1・・・Ｉ１側左上がり方向エッジ検出部
１２５-0，１２５-1・・・セレクタ
１３１・・・ハイパスフィルタ
１３２・・・ローパスフィルタ
１３３・・・コアリング部
１３４・・・除算部

Claims (17)

1. 第１の解像度の画像信号にダウンコンバート処理を施して該第１の解像度より低い第２の解像度の画像信号を生成するダウンコンバート部と、
   上記第１の解像度の画像信号に上記第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理を施し、該フィルタリング処理で得られたエッジ検出信号にダウンコンバート処理を施して上記第２の解像度のエッジ検出信号を得る高周波数帯エッジ検出部と、
   上記ダウンコンバート部で生成された第２の解像度の画像信号に上記高周波数帯エッジ検出部で得られたエッジ検出信号を合成して表示用の第２の解像度の画像信号を得る合成部とを備える
   画像信号処理装置。
2. 上記高周波数帯エッジ検出部におけるダウンコンバート処理は、
   ダウンコンバート比率がＮ：１（Ｎは２以上の整数）であるとき、
   上記フィルタリング処理で得られたエッジ検出信号を２Ｎ画素の単位で分割し、分割単位毎に、該分割単位の２Ｎ画素分と続く分割単位の最初の１画素分の連続する２Ｎ＋１画素分のエッジ検出信号から２Ｎ組の連続する２画素の組を生成し、該２Ｎ組のうち差分絶対値が最大となる２画素の組を取り出す処理である
   請求項１に記載の画像信号処理装置。
3. 上記高周波数帯エッジ検出部は、
   上記フィルタリング処理で得られるエッジ検出信号を上記第１の解像度の画像信号のレベル平均値で除して正規化し、該正規化されたエッジ検出信号に上記ダウンコンバート処理を施す
   請求項１に記載の画像信号処理装置。
4. 上記ダウンコンバート部で生成される第２の解像度の画像信号に基づいて上記第２の解像度のエッジ検出信号を得る低周波帯エッジ検出部をさらに備え、
   上記合成部は、
   上記ダウンコンバート部で生成された第２の解像度の画像信号に、上記高周波数帯エッジ検出部で得られたエッジ検出信号である第１のエッジ検出信号と共に、上記低周波数帯エッジ検出部で得られたエッジ検出信号である第２のエッジ検出信号を合成して、上記表示用の第２の解像度の画像信号を得る
   請求項１に記載の画像信号処理装置。
5. 上記合成部は、
   上記第１のエッジ検出信号によるエッジ情報表示と上記第２のエッジ検出信号によるエッジ情報表示が区別可能に、上記第１の解像度の画像信号に、上記第１のエッジ検出信号および上記第２のエッジ検出信号を合成する
   請求項４に記載の画像信号処理装置。
6. 上記第１のエッジ検出信号および上記第２のエッジ検出信号によるエッジ情報表示の区別は、色相、輝度あるいは線種の違いにより行われる
   請求項５に記載の画像信号処理装置。
7. 上記第１の解像度の画像信号はベイヤー配列の色フィルタを持つ撮像素子を有する単板式のカラー撮像部の出力画像信号であり、
   上記高周波数帯エッジ検出部は、斜め方向に配列される緑の画素の信号に基づいて上記第２の解像度のエッジ検出信号を得る
   請求項１に記載の画像信号処理装置。
8. 上記第１の解像度は４Ｋ解像度であり、上記第２の解像度はＨＤ解像度である
   請求項１に記載の画像信号処理装置。
9. 第１の解像度の画像信号にダウンコンバート処理を施して該第１の解像度より低い第２の解像度の画像信号を生成するステップと、
   上記第１の解像度の画像信号に上記第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理を施し、該フィルタリング処理で得られたエッジ検出信号にダウンコンバート処理を施して上記第２の解像度のエッジ検出信号を得るステップと、
   上記生成された第２の解像度の画像信号に上記得られたエッジ検出信号を合成して表示用の第２の解像度の画像信号を得るステップとを備える
   画像信号処理方法。
10. 第１の解像度の画像信号を得る撮像部と、
    上記撮像部で得られた第１の解像度の画像信号を処理してビューファインダ表示用の、上記第１の解像度より低い第２の解像度の画像信号を得る画像信号処理部とを備え、
    上記画像信号処理部は、
    上記第１の解像度の画像信号にダウンコンバート処理を施して該第１の解像度より低い第２の解像度の画像信号を生成するダウンコンバート部と、
    上記第１の解像度の画像信号に上記第２の解像度に対応した周波数より高い周波数帯の成分を抽出するフィルタリング処理を施し、該フィルタリング処理で得られたエッジ検出信号にダウンコンバート処理を施して上記第２の解像度のエッジ検出信号を得る高周波数帯エッジ検出部と、
    上記ダウンコンバート部で生成された第２の解像度の画像信号に上記高周波数帯エッジ検出部で得られたエッジ検出信号を合成して上記表示用の第２の解像度の画像信号を得る合成部とを有する
    撮像装置。
11. 上記画像信号処理部は、
    上記ダウンコンバート部で生成された第２の解像度の画像信号に基づいて上記第２の解像度のエッジ検出信号を得る低周波数帯エッジ検出部をさらに備え、
    上記合成部は、
    上記ダウンコンバート部で生成された第２の解像度の画像信号に、上記高周波数帯エッジ検出部で得られたエッジ検出信号である第１のエッジ検出信号と共に、上記低周波数帯エッジ検出部で得られたエッジ検出信号である第２のエッジ検出信号を合成して、上記表示用の第２の解像度の画像信号を得る
    請求項１０に記載の撮像装置。
12. 上記合成部は、
    上記第１のエッジ検出信号によるエッジ情報表示と上記第２のエッジ検出信号によるエッジ情報表示が区別可能に、上記第２の解像度の画像信号に、上記第１のエッジ検出信号および上記第２のエッジ検出信号を合成する
    請求項１１に記載の撮像装置。
13. 上記第１の解像度は４Ｋ解像度であり、上記第２の解像度はＨＤ解像度である
    請求項１０に記載の撮像装置。
14. 表示素子に、
    撮像画像信号に基づく画像に重ねて、
    上記撮像画像信号の所定周波数以下の周波数帯の成分に基づいて検出されたエッジ検出信号による第１のエッジ情報表示と、上記撮像画像信号の上記所定周波数より高い周波数帯の成分に基づいて検出されたエッジ検出信号による第２のエッジ情報表示とを、区別可能に行う
    画像表示方法。
15. 上記第１のエッジ情報表示および上記第２のエッジ情報表示の区別は、色相、輝度あるいは線種の違いにより行われる
    請求項１４に記載の画像表示方法。
16. 上記所定周波数は、上記表示素子の解像度に対応する周波数である
    請求項１４に記載の画像表示方法。
17. 上記撮像画像信号は４Ｋ解像度の撮像部の出力画像信号であり、上記表示素子はＨＤ解像度の表示素子である
    請求項１４に記載の画像表示方法。

Images