JP2011176788A

JP2011176788A - ビューファインダ映像生成装置

Info

Publication number: JP2011176788A
Application number: JP2010127389A
Authority: JP
Inventors: Ryohei Funatsu; 良平船津; Takayuki Yamashita; 誉行山下; Koji Mitani; 公二三谷; Yuji Nojiri; 裕司野尻
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2010-01-26
Filing date: 2010-06-03
Publication date: 2011-09-08
Anticipated expiration: 2030-06-03
Also published as: JP5469537B2

Abstract

【課題】本発明は、フォーカス調整領域選択操作を不要とし、ビューファインダの視認性および利便性を向上させると共に、計算コストが少ないビューファインダ映像生成装置を提供する。
【解決手段】ビューファインダ映像生成装置１は、超高精細映像からビューファインダＶＦの解像度に対応した低解像度映像を生成する低解像度映像生成部４と、超高精細映像から、超高精細撮影カメラＣの合焦領域を示すフォーカス調整補助信号を生成する補助信号生成部２と、低解像度映像とフォーカス調整補助信号とを合成してビューファインダ映像を生成する信号合成部５と、を備えるビューファインダ映像生成装置１であって、補助信号生成部２が、高域空間周波数成分抽出部１０と、合焦領域抽出部２０と、解像度変換部３０と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、高精細撮影カメラのフォーカス調整を、当該高精細撮影カメラより低い解像度のビューファインダで行うためのビューファインダ映像を生成するビューファインダ映像生成装置に関する。

近年、ハイビジョンを大きく上回る解像度を持つ、デジタルシネマ、スーパーハイビジョン等の超高精細映像システムが登場している。また、これにあわせて、映像素材を撮影するための超高精細撮影カメラの開発も進められている。これらの超高精細撮影カメラでは、その解像度がハイビジョンカメラの４倍から１６倍に達するため、ハイビジョンカメラと比べて非常に厳しいフォーカス精度が要求される。

一般的に、ピーキングと呼ばれる強い輪郭補償を行い、合焦領域の輪郭を際立たせる手段が用いられている。通常の撮影カメラ（例えば、ハイビジョンカメラ）では、撮影したカメラ映像とビューファインダに入力されるビューファインダ映像との帯域幅がほぼ等しいので、ビューファインダ自体の解像度が低い場合でも、ビューファインダ映像に基づいて、ピーキング信号を生成することができる。

一方、スーパーハイビジョンのような超高精細映像システムに用いられる超高精細撮影カメラは、ビューファインダ映像の帯城が、カメラ映像の帯域に比べて大幅に制限されている。つまり、超高精細撮影カメラでは、ビューファインダ映像から、フォーカス調整に有用な高域空間周波数成分が失われており、ピーキングを行っても最良のフォーカス状態を確認することができない。このため、従来の同様の手法では、超高精細撮影カメラでビューファインダを用いたフォーカス調整が、困難である。

そこで、超高精細撮影カメラでフォーカス調整を行う手法が、幾つか提案されている（例えば、特許文献１〜３参照）。特許文献１に記載の発明は、撮影映像の一部を拡大および合成してビューファインダ映像を生成し、このビューファインダ映像をビューファインダに表示することでフォーカス調整を可能としている。

また、特許文献２に記載の発明は、カメラ映像に対して、フィールド間オフセット空間サブナイキスト標本化を行うことによって、輪郭や高域空間周波数成分を時間方向のフリッカ（ちらつき）に変換する。これによって、特許文献２に記載の発明は、ビューファインダで合焦領域をフリッカとして表示することができる。

さらに、特許文献３に記載の発明は、高精細映像のＮ×Ｎ画素領域ごとに分散値をとり、高域空間周波数成分を持つ領域では分散値が大きくなることを利用して、分散値の情報をフォーカス調整補助信号としてビューファインダ映像に多重している。

特開２００７−３３６２５７号公報特許第３８５４４５５号公報（特開２００２−１１２０７８号公報）特開２００６−１４８４２０号公報

しかし、特許文献１に記載の発明は、フォーカス調整の対象となる部分を拡大しているため、撮影画角全体を見ることができず、ビューファインダの視認性が悪くなるという問題がある。さらに、特許文献１に記載の発明は、フォーカス調整の対象となる領域を選択する操作（フォーカス調整領域選択操作）が必要となる。

また、特許文献２に記載の発明は、フォーカス状態がフリッカとして表示されるのでビューファインダの視認性が悪く、このフリッカがフォーカス調整を妨害してしまう。さらに、特許文献２に記載の発明は、フリッカの速さとフォーカス状態との関係をカメラマンが理解する必要があり、ビューファインダの利便性が低くなるという問題もある。

さらに、特許文献３に記載の発明は、分散値を計算するための計算コストが大きく、特に、超高精細映像では計算コストが莫大になるという問題がある。

そこで、本発明は、フォーカス調整領域選択操作を不要とし、ビューファインダの視認性および利便性を向上させると共に、計算コストが少ないビューファインダ映像生成装置を提供することを課題とする。

前記した課題を解決するため、本願第１発明に係るビューファインダ映像生成装置は、ビューファインダを備える高精細撮影カメラで撮影された高精細映像が入力されると共に、前記高精細映像から、前記高精細撮影カメラの解像度より低い前記ビューファインダの解像度に対応した低解像度映像を生成する低解像度映像生成部と、前記高精細映像から、前記ビューファインダにおいて前記高精細撮影カメラの合焦領域を示すフォーカス調整補助信号を生成するフォーカス調整補助信号生成部と、前記低解像度映像と前記フォーカス調整補助信号とを合成してビューファインダ映像を生成する信号合成部と、を備えるビューファインダ映像生成装置であって、前記フォーカス調整補助信号生成部が、高域空間周波数成分抽出部と、合焦領域抽出部と、解像度変換部と、を備えることを特徴とする。

かかる構成によれば、ビューファインダ映像生成装置は、高域空間周波数成分抽出部によって、入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する。ここで、高精細映像において、フォーカスが合っている部分（合焦領域）にある輪郭、文字および細かな図柄は、フォーカスが合っていない部分（合焦領域以外の領域）と比べて高い空間周波数成分を有する。このため、高域空間周波数成分抽出部は、高精細映像から、合焦領域の空間周波数成分を含む、所定の周波数成分以上の高域空間周波数成分を抽出する。

また、ビューファインダ映像生成装置は、合焦領域抽出部が、前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行う。言い換えるなら、合焦領域抽出部は、閾値処理およびレベル調整処理を行って、合焦領域を強調する。

そして、ビューファインダ映像生成装置は、解像度変換部によって、前記合焦領域抽出部から入力された中間処理信号を前記ビューファインダの解像度に変換することで、前記フォーカス調整補助信号を生成する。これによって、ビューファインダ映像生成装置は、映像の一部拡大およびフリッカの変換や計算コストが大きい分散値の算出を行うことなく、フォーカス調整に有用な高域空間周波数成分が失われていないビューファインダ映像を生成できる。

また、前記した課題を解決するため、本願第２発明に係るビューファインダ映像生成装置は、ビューファインダを備える高精細撮影カメラで撮影された高精細映像が入力されると共に、前記高精細映像から、前記高精細撮影カメラの解像度より低い前記ビューファインダの解像度に対応した低解像度映像を生成する低解像度映像生成部と、前記高精細映像から、前記ビューファインダにおいて前記高精細撮影カメラの合焦領域を示すフォーカス調整補助信号を生成するフォーカス調整補助信号生成部と、前記低解像度映像と前記フォーカス調整補助信号とを合成してビューファインダ映像を生成する信号合成部と、を備えるビューファインダ映像生成装置であって、前記フォーカス調整補助信号生成部が、高域空間周波数成分抽出部と、解像度変換部と、合焦領域抽出部と、を備えることを特徴とする。

かかる構成によれば、ビューファインダ映像生成装置は、高域空間周波数成分抽出部によって、入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する。ここで、高精細映像において、フォーカスが合っている部分（合焦領域）にある輪郭、文字および細かな図柄は、フォーカスが合っていない部分（合焦領域以外の領域）と比べて高い空間周波数成分を有する。このため、高域空間周波数成分抽出部は、高精細映像から、合焦領域の空間周波数成分を含む高域空間周波数成分を抽出する。

また、ビューファインダ映像生成装置は、解像度変換部が、前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号を前記ビューファインダの解像度に変換する。つまり、ビューファインダ映像生成装置は、閾値処理およびレベル調整処理を行う前に、中間処理信号の解像度を低くしておく。

そして、ビューファインダ映像生成装置は、合焦領域抽出部によって、前記解像度変換部から入力された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行うことで、前記フォーカス調整補助信号を生成する。言い換えるなら、合焦領域抽出部は、閾値処理およびレベル調整処理を行って、合焦領域を強調する。これによって、ビューファインダ映像生成装置は、映像の一部拡大およびフリッカの変換や計算コストが大きい分散値の算出を行うことなく、フォーカス調整に有用な高域空間周波数成分が失われていないビューファインダ映像を生成できる。

また、本願第３発明に係るビューファインダ映像生成装置は、前記高域空間周波数成分抽出部が、前記入力された高精細映像から、前記高域空間周波数成分を前記中間処理信号として抽出するＦＩＲフィルタと、前記ＦＩＲフィルタから入力された中間処理信号において、信号値の絶対値を算出する絶対値算出手段と、を備えることが好ましい。

また、本願第４発明に係るビューファインダ映像生成装置は、前記合焦領域抽出部が、入力された前記中間処理信号に前記閾値処理を行う閾値処理手段と、前記閾値処理手段から入力された中間処理信号に前記レベル調整処理を行うレベル調整手段と、を備えることが好ましい。

また、本願第５発明に係るビューファインダ映像生成装置は、前記解像度変換部が、入力された前記中間処理信号において、注目画素の画素値を、当該注目画素の周辺に位置する周辺画素のうちの最大画素値に置き換える最大値フィルタと、前記最大値フィルタから入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、を備えることが好ましい。

また、本願第６発明に係るビューファインダ映像生成装置は、前記解像度変換部が、入力された前記中間処理信号において、注目画素の周辺に位置する周辺画素の画素値を順位付けて、前記注目画素の画素値を、予め設定された順位における前記周辺画素の画素値で置き換えるランクオーダーフィルタと、前記ランクオーダーフィルタから入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、を備えることが好ましい。

また、本願第７発明に係るビューファインダ映像生成装置は、前記解像度変換部が、入力された前記中間処理信号を所定サイズの大ブロックに分割し、前記大ブロック毎に、前記大ブロックより小さいサイズの小ブロック内の全画素の画素値を、前記大ブロック内の全画素の最大画素値で置き換えることが好ましい。

また、本願第８発明に係るビューファインダ映像生成装置は、前記解像度変換部が、入力された前記中間処理信号を所定サイズの大ブロックに分割し、前記大ブロック毎に、前記大ブロック内の全画素の画素値を順位付けて、前記大ブロックより小さいサイズの小ブロック内の全画素の画素値を、予め設定された順位における前記大ブロックの画素値で置き換えることが好ましい。

また、本願第９発明に係るビューファインダ映像生成装置は、前記解像度変換部が、入力された前記中間処理信号において、注目画素の周辺に位置する周辺画素のうちの最大画素値を抽出する最大画素値抽出手段と、入力された前記中間処理信号において、前記周辺画素のうちの画素値がゼロでない画素の数をカウントする画素数カウンタと、前記画素数カウンタがカウントした画素の数が予め設定された判定閾値以下であるか否かを判定し、入力された前記中間処理信号において、当該カウントした画素の数が当該判定閾値以下の場合、前記注目画素の画素値をゼロに置き換えて、当該カウントした画素の数が当該判定閾値以下でない場合、前記注目画素の画素値を前記最大画素値抽出手段が抽出した最大画素値に置き換えて出力する最大画素値置換手段と、前記最大画素値置換手段から入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、を備えることが好ましい。

また、本願第１０発明に係るビューファインダ映像生成装置は、前記解像度変換部が、入力された中間処理信号を所定サイズの大ブロックに分割すると共に、前記大ブロック内の全画素の最大画素値を抽出する最大画素値抽出手段と、入力された前記中間処理信号において、前記大ブロック内で画素値がゼロでない画素の数をカウントする画素数カウンタと、前記画素数カウンタがカウントした画素の数が予め設定された判定閾値以下であるか否かを判定し、前記大ブロックに分割された前記中間処理信号から、当該カウントした画素の数が当該判定閾値以下の場合、前記大ブロックより小さいサイズで全画素の画素値をゼロとした小ブロックを生成し、当該カウントした画素の数が当該判定閾値以下でない場合、前記最大画素値抽出手段が抽出した最大画素値を全画素の画素値とした前記小ブロックを生成する最大画素値置換・解像度変換手段と、を備えることが好ましい。

また、本願第１１発明に係るビューファインダ映像生成装置は、前記画素数カウンタが、前記判定閾値以上の値で予め設定されたカウント上限値まで、前記画素値がゼロでない画素の数をカウントすることが好ましい。

本願第１発明に係るビューファインダ映像生成装置は、映像の一部拡大およびフリッカの変換や計算コストが大きい分散値の算出を行うことなくビューファインダ映像を生成できるため、フォーカス調整領域選択操作を不要とし、ビューファインダの視認性および利便性を向上させると共に、計算コストを少なくすることができる。

本願第２発明に係るビューファインダ映像生成装置は、映像の一部拡大およびフリッカの変換や計算コストが大きい分散値の算出を行うことなくビューファインダ映像を生成できるため、フォーカス調整領域選択操作を不要とし、ビューファインダの視認性および利便性を向上させる。さらに、本願第２発明に係るビューファインダ映像生成装置は、閾値処理およびレベル調整処理を行う前に中間処理信号の解像度を低くするので、閾値処理およびレベル調整処理の演算量を大幅に低減でき、計算コストを非常に少なくすることができる。

本発明の第１実施形態に係るビューファインダ映像生成装置の構成を示すブロック図である。図１のビューファインダ映像生成装置において、閾値処理およびレベル調整処理を説明する図である。図１の最大値フィルタを説明する図である。本発明において、超高精細映像の一例を示す図である。本発明において、ビューファインダ映像の一例を示す図である。図１のビューファインダ映像生成装置の動作を示すフローチャートである。図１のビューファインダ映像生成装置の変形例を示すブロック図である。本発明の第２実施形態に係るビューファインダ映像生成装置の構成を示すブロック図である。図８のランクオーダーフィルタを説明する図である。図８のビューファインダ映像生成装置の動作を示すフローチャートである。図８のビューファインダ映像生成装置の変形例を示すブロック図である。本発明の第３実施形態に係るビューファインダ映像生成装置の構成を示すブロック図である。図１２の解像度変換部を説明する図である。図１２のビューファインダ映像生成装置の動作を示すフローチャートである。本発明の第４実施形態において、解像度変換部の構成を示すブロック図である。図１５のビューファインダ映像生成装置の変形例において、最大画素値抽出手段の処理と、画素数カウント手段の処理とを説明する図である。図１５のビューファインダ映像生成装置の変形例において、最大画素値出力判定手段の処理を説明する図である。本発明の第５実施形態において、解像度変換部の構成を示すブロック図である。

以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

（第１実施形態：最大値フィルタ）
［ビューファインダ映像生成装置の概略］
図１を参照して、本発明の第１実施形態に係るビューファインダ映像生成装置１の概略について説明する。

ビューファインダ映像生成装置１は、超高精細撮影カメラＣで撮影された超高精細映像（高精細映像）が入力されると共に、超高精細映像からビューファインダ映像を生成する。そして、ビューファインダ映像生成装置１は、このビューファインダ映像をビューファインダＶＦに出力する。

超高精細撮影カメラＣは、例えば、任意の被写体が撮影された超高精細映像（例えば、スーパーハイビジョン映像）をビューファインダ映像生成装置１に出力するスーパーハイビジョン撮影カメラである。

また、超高精細撮影カメラＣは、ビューファインダ映像生成装置１から入力されたビューファインダ映像を表示するビューファインダＶＦを備える。このビューファインダＶＦは、その解像度が、超高精細撮影カメラＣ本体より低くなっている。例えば、ビューファインダＶＦは、モノクロ表示の場合には解像度が５００本〜７００本であり、カラー表示の場合には解像度が３００本〜５００本である。

［ビューファインダ映像生成装置の構成］
以下、ビューファインダ映像生成装置１の構成について説明する。
図１に示すように、ビューファインダ映像生成装置１は、補助信号生成部（フォーカス調整補助信号生成部）２と、低解像度映像生成部４と、信号合成部５とを備える。

補助信号生成部２は、ビューファインダＶＦにおいて超高精細撮影カメラＣの合焦領域を示し、カメラマンがフォーカス状態を確認するためのフォーカス補助信号を生成する。このため、補助信号生成部２は、高域空間周波数成分抽出部１０と、合焦領域抽出部２０と、解像度変換部３０とを備える。

高域空間周波数成分抽出部１０は、超高精細撮影カメラＣから超高精細映像が入力されると共に、超高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する。このため、高域空間周波数成分抽出部１０は、ＦＩＲフィルタ１１と、絶対値算出手段１３とを備える。

ＦＩＲフィルタ１１は、入力された超高精細映像から、合焦領域の空間周波数成分を含む高域空間周波数成分を、中間処理信号として抽出する。例えば、ＦＩＲフィルタ１１としては、輪郭抽出に用いられる、高域通過フィルタ（ＨＰＦ）または帯域通過フィルタ（ＢＰＦ）としての特性を持つフィルタを用いることができる。ここで、ＦＩＲフィルタ１１は、２次元的に処理する必要があるので、２次元ＦＩＲフィルタを用いるか、水平方向および垂直方向にそれぞれ１次元ＦＩＲフィルタを２回用いる必要がある。さらに、タップ数が多いフィルタの代わりに、ＦＩＲフィルタ１１として、例えば、微分フィルタ（１次および２次）またはＳｏｂｅｌフィルタ等のエッジ抽出フィルタを利用してもよい。これらエッジ抽出フィルタは、タップ数が少ないＦＩＲフィルタとみなせるため、ＦＩＲフィルタとして利用できる。

ここで、ＦＩＲフィルタ１１の種類によっては、高域空間周波数成分を抽出した中間処理信号の信号値が、負の値になる場合がある。このため、絶対値算出手段１３は、ＦＩＲフィルタ１１から入力された中間処理信号の絶対値を算出する絶対値処理を行い、この中間処理信号の信号値を全て正の値に変換する。そして、絶対値算出手段１３は、絶対値処理を行った中間処理信号を合焦領域抽出部２０に出力する。

合焦領域抽出部２０は、高域空間周波数成分抽出部１０から中間処理信号が入力されると共に、この中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、信号レベルを調整するレベル調整処理とを行う。このため、合焦領域抽出部２０は、閾値処理手段２１と、レベル調整手段２３とを備える。

閾値処理手段２１は、入力された中間処理信号に閾値処理を行う。つまり、閾値処理手段２１は、入力された超高精細映像において、この闇値処理により一定レベル以下の信号成分を切り捨てて、超高精細映像に含まれるノイズ成分および相対的に低い空間周波数成分の一部を抑圧（低減）することができる。そして、閾値処理手段２１は、閾値処理を行った中間処理信号をレベル調整手段２３に出力する。
なお、この閾値（後記する閾値ｘ_{ｔｈｒｅｓｈｏｌｄ}）は、超高精細撮影カメラＣのＳ／Ｎ、および、超高精細映像の画像特徴によって最適値が異なるため、任意の値に手動で設定される。

レベル調整手段２３は、閾値処理手段２１から中間処理信号が入力されると共に、この中間処理信号にレベル調整処理を行う。その後、レベル調整手段２３は、この中間処理信号を解像度変換部３０に出力する。

以下、図２を参照し、レベル調整処理について説明する（適宜図１参照）。このレベル調整処理は、端的に言えばゲイン調整である。例えば、レベル調整手段２３は、図２に示すように、入力された中間処理信号の信号レベルに応じて、その倍率を変更できるので、特定の信号レベルをブーストまたは減衰させる。このレベル調整処理は、例えば、中間の空間周波数成分を強調したい場合に有効である。

ここで、前記したレベル調整処理および閾値処理は、下記の式（１）で表すことができる。

この式（１）では、ｘ_ｉｎが入力された信号レベルであり、ｘ_{ｔｈｒｅｓｈｏｌｄ}が閾値であり、ｘ_ｏｕｔが出力する信号レベルであり、ｍがゲイン（利得）であり、ｍ１，ｍ２は倍率である。ここで、倍率ｍ１，ｍ２は、閾値ｘ_{ｔｈｒｅｓｈｏｌｄ}と同様、任意の値に手動で設定される。

なお、倍率ｍ１＝倍率ｍ２であれば固定倍率となる。また、倍率ｍ１，倍率ｍ２の大小関係は問わない。さらに、倍率ｍ１，倍率ｍ２は、０を超えて１未満の値としてもよい。

以下、図１に戻り、ビューファインダ映像生成装置１の構成について説明を続ける。
解像度変換部３０は、合焦領域抽出部２０から中間処理信号が入力されると共に、この中間処理信号をビューファインダＶＦの解像度に変換することで、フォーカス調整補助信号を生成する。このため、解像度変換部３０は、最大値フィルタ３１と、サブサンプリング手段（解像度変換手段）３３とを備える。

最大値フィルタ３１は、入力された中間処理信号において、注目画素の画素値を、当該注目画素の周辺に位置する周辺画素のうちの最大画素値に置き換える。そして、最大値フィルタ３１は、最大値フィルタ処理を行った中間処理信号をサブサンプリング手段３３に出力する。

以下、図３を参照し、最大値フィルタ３１の詳細について説明する。なお、図３では、各画素を、その画素値が高いほど淡く図示し、画素値が低いほど濃く図示した。図３に示すように、最大値フィルタ３１は、中間処理信号において、注目画素αの画素値を、最大値フィルタ処理の対象となる、Ｎ×Ｎ画素（Ｎは２以上の整数、ここではＮ＝８）の周辺領域のうち、最大画素値を有する画素β１の画素値に置き換える。そして、最大値フィルタ３１が最大値フィルタ処理を中間処理信号の全体に行うことで、高域空間周波数成分の帯城が低域空間周波数成分の帯城に広がる。その結果、ビューファインダ映像生成装置１は、サブサンプリング等の単純な手法で解像度変換を行っても、解像度変換後に、フォーカス調整に有用な高域空間周波数成分が失われることを防止できる。

以下、図１に戻り、ビューファインダ映像生成装置１の構成について説明を続ける。
サブサンプリング手段３３は、最大値フィルタ３１から入力された中間処理信号をサブサンプリングしてビューファインダＶＦの解像度に変換し、フォーカス調整補助信号を生成する。そして、サブサンプリング手段３３は、このフォーカス調整補助信号を信号合成部５に出力する。

ここで、サブサンプリング手段３３は、例えば、下記の式（２）で表される比率で、画像の水平方向および垂直方向にそれぞれＡ：１のサブサンプリングを行う。このとき、超高精細映像とビューファインダ映像とのアスペクト比が等しいものとする。また、式（２）では、Ａはサンプリングの比率、Ｌｓは超高精細映像の走査線数、Ｌｖはビューファインダ映像の走査線数である。

Ａ＝Ｌｓ／Ｌｖ・・・式（２）

低解像度映像生成部４は、超高精細撮影カメラＣから超高精細映像が入力されると共に、この超高精細映像から、ビューファインダＶＦの解像度に対応した低解像度映像を生成する。このため、低解像度映像生成部４は、ローパスフィルタ４１と、サブサンプリング手段４３とを備える。

ローパスフィルタ４１は、折り返し防止のため、入力された超高精細映像に対してローパスフィルタ（ＬＰＦ）処理を行って、超高精細映像をサブサンプリング手段４３に出力する。

サブサンプリング手段４３は、ローパスフィルタ４１から超高精細映像が入力されると共に、この超高精細映像をサブサンプリングしてビューファインダＶＦの解像度に変換し、低解像度映像を生成する。そして、サブサンプリング手段４３は、この低解像度映像を信号合成部５に出力する。

信号合成部５は、サブサンプリング手段３３からフォーカス調整補助信号が入力され、サブサンプリング手段４３から低解像度映像が入力される。そして、信号合成部５は、入力された低解像度映像とフォーカス調整補助信号とを合成してビューファインダ映像を生成し、ビューファインダ映像をビューファインダＶＦに出力する。

以下、図４，５を参照し、信号合成部５の詳細を説明する（適宜図１参照）。図４は、３個の被写体Ｏｂ１〜Ｏｂ３が含まれる超高精細映像の一例であり、被写体Ｏｂ２にフォーカスが合っているとする。また、図５は、図４の超高精細映像から生成したビューファインダ映像の一例であり、ビューファインダ映像における合焦領域を太線で示した。

ビューファインダＶＦがモノクロ表示を行う場合、信号合成部５は、例えば、低解像度映像とフォーカス調整補助信号とを単純に加算（合成）してもよい。
また、ビューファインダＶＦがカラー表示を行う場合、信号合成部５は、例えば、合焦領域をグリーン色として合成もよい。さらに、信号合成部５は、例えば、輝度を一定に保ちなから合焦領域のみをカラー表示し、合焦領域以外の領域はモノクロのまま表示するように合成してもよい。この結果、図５に示すように、ビューファインダ映像では、合焦領域が強調されてこれが視認しやすくなる。
なお、これら合成手法は、例えば、特開２００７−８６４８１号公報に詳細に記載されている。

［ビューファインダ映像生成装置の動作］
以下、図６を参照し、ビューファインダ映像生成装置１の動作について説明する（適宜図１参照）。まず、ビューファインダ映像生成装置１は、ＦＩＲフィルタ１１によって、ＦＩＲフィルタ処理を行う（ステップＳ１）。また、ビューファインダ映像生成装置１は、絶対値算出手段１３によって、中間処理信号において信号値の絶対値を算出する（ステップＳ２）。

また、ビューファインダ映像生成装置１は、閾値処理手段２１によって、閾値処理を行う（ステップＳ３）。そして、ビューファインダ映像生成装置１は、レベル調整手段２３によって、レベル調整処理を行う（ステップＳ４）。

また、ビューファインダ映像生成装置１は、最大値フィルタ３１によって、最大値フィルタ処理を行う（ステップＳ５）。そして、ビューファインダ映像生成装置１は、サブサンプリング手段３３によって、サブサンプリングを行ってフォーカス調整補助信号を生成する（ステップＳ６）。

ここで、ステップＳ１〜Ｓ６の処理と並行して、ビューファインダ映像生成装置１は、ローパスフィルタ４１によって、ローパスフィルタ処理を行う（ステップＳ７）。また、ビューファインダ映像生成装置１は、サブサンプリング手段４３によって、サブサンプリングを行って低解像度映像を生成する（ステップＳ８）。

そして、ビューファインダ映像生成装置１は、低解像度映像とフォーカス調整補助信号とを信号合成してビューファインダ映像を生成する（ステップＳ９）。

以上のように、本発明の第１実施形態に係るビューファインダ映像生成装置１は、映像の一部拡大およびフリッカの変換や計算コストが大きい分散値の算出を行うことなくビューファインダ映像を生成できるため、フォーカス調整領域選択操作を不要とし、ビューファインダＶＦの視認性および利便性を向上させると共に、計算コストを少なくすることができる。

（変形例１）
図１のビューファインダ映像生成装置１は、合焦領域抽出部２０と解像度変換部３０との配置を入れ替えてもよい。以下、図７を参照し、合焦領域抽出部２０と解像度変換部３０との配置を入れ替えたビューファインダ映像生成装置１を、本発明の変形例１に係るビューファインダ映像生成装置１Ｂとして説明する（適宜図１参照）。

図７に示すように、ビューファインダ映像生成装置１Ｂは、最大値フィルタ３１およびサブサンプリング手段３３を、閾値処理手段２１およびレベル調整手段２３の前段に配置している。従って、閾値処理手段２１およびレベル調整手段２３が解像度の低い中間処理信号を扱うことになるため、ビューファインダ映像生成装置１Ｂは、図１のビューファインダ映像生成装置１と同様の効果に加え、計算コストを非常に少なくすることができる。

つまり、図７のビューファインダ映像生成装置１Ｂは、演算負荷を抑えたい場合に有効な構成である。一方、レベル調整手段１７によって信号値の大小関係が逆転する可能性がある場合には、図１のビューファインダ映像生成装置１の構成が、好ましい。

（第２実施形態：ランクオーダーフィルタ）
［ビューファインダ映像生成装置の構成］
以下、図８，図９を参照し、本発明の第２実施形態に係るビューファインダ映像生成装置１Ｃの構成について、第１実施形態と異なる点を主に説明する。図８のビューファインダ映像生成装置１Ｃは、図１の最大値フィルタ３１をランクオーダーフィルタ３２に置き換えたものである。

図９に示すように、ランクオーダーフィルタ３２は、周辺領域内の各画素の画素値を取得し、その画素値の順位付けを行う。そして、ランクオーダーフィルタ３２は、注目画素αの画素値を、最大画素値ではなく、周辺領域のなかでＫ番目に高い画素値を有する画素β２の画素値で置き換える（Ｋは予め設定した２以上の整数）。

超高精細撮影カメラＣの撮像素子の構造上、固定パターンノイズや画素欠陥は、周辺画素と独立した単独の画素にのみ生じる場合が多い。このため、ランクオーダーフィルタ３２が、例えば、上位２番目又は３番目の画素値で注目画素αの画素値を置き換えることで、ビューファインダ映像生成装置１Ｃは、孤立点除去効果と最大値フィルタ処理と同様の効果とを得ることができる。

ここで、ランクオーダーフィルタ３２では、上位の画素値と置き換えることで（つまり、Ｋを小さな値に設定）するほど、最大値フィルタ処理の効果に近づけることができるが、スパイク状のノイズの除去能力が低くなる。このため、Ｋの値は、超高精細撮影カメラＣの特性に合わせて、手動で適切に設定されることが好ましい。

また、ランクオーダーフィルタ３２は、注目画素αの画素値を、周辺領域のなかでＫ番目に高い画素値を有する画素β２の画素値で置き換えるとしたが、これに限定されない。具体的には、ランクオーダーフィルタ３２は、注目画素の画素値を、周辺領域のなかでＫ番目に低い画素値を有する画素の画素値で置き換えてもよい。

なお、図９のランクオーダーフィルタ３２以外の手段は、図１の各手段と同様のものであるため、説明を省略する。

［ビューファインダ映像生成装置の動作］
以下、図１０を参照し、ビューファインダ映像生成装置１Ｃの動作について説明する（適宜図８参照）。

ビューファインダ映像生成装置１Ｃは、ランクオーダーフィルタ３２によって、ランクオーダーフィルタ処理を行う（ステップＳ１０）。
なお、図１０のステップＳ１０以外の処理は、図６の各ステップと同様の処理であるため、説明を省略する。

以上のように、本発明の第２実施形態に係るビューファインダ映像生成装置１Ｃは、図１のビューファインダ映像生成装置１と同様の効果に加え、スパイク状ノイズの除去を行うことができる。

ここで、超高精細映像には、固定パターンノイズ、画素欠陥等のスパイク状のノイズが含まれる場合がある。このとき、最大値フィルタ処理を行うと、最終的なビューファインダ映像にスパイク状のノイズが残存する場合がある。このスパイク状のノイズを取り除くためには、メディアンフィルタを用いて孤立点除去を行う必要があるが、このメディアンフィルタの増設は、装置の大規模化を招くので好ましくない。しかし、ビューファインダ映像生成装置１Ｃは、ランクオーダーフィルタ３２を用いているので、前記した弊害を防止することができる。

（変形例２）
図８のビューファインダ映像生成装置１Ｃは、合焦領域抽出部２０と解像度変換部３０Ｃとの配置を入れ替えてもよい。以下、図１１を参照し、合焦領域抽出部２０と解像度変換部３０Ｃとの配置を入れ替えたビューファインダ映像生成装置１Ｄを、本発明の変形例２に係るビューファインダ映像生成装置１Ｄとして説明する（適宜図８参照）。

図１１に示すように、ビューファインダ映像生成装置１Ｄは、ランクオーダーフィルタ３２およびサブサンプリング手段３３を、閾値処理手段２１およびレベル調整手段２３の前段に配置している。従って、閾値処理手段２１およびレベル調整手段２３が解像度の低い中間処理信号を扱うことになるため、ビューファインダ映像生成装置１Ｄは、図８のビューファインダ映像生成装置１Ｃと同様の効果に加え、計算コストを非常に少なくすることができる。

（第３実施形態：一括処理）
［ビューファインダ映像生成装置の構成］
以下、図１２，図１３を参照し、本発明の第３実施形態に係るビューファインダ映像生成装置１Ｅの構成について、第１実施形態と異なる点を主に説明する。ビューファインダ映像生成装置１Ｅは、解像度変換部３０Ｅにおいて、最大値フィルタ処理又はランクオーダーフィルタ処理と、サブサンプリングとを一括処理する。

＜第１例：最大値フィルタ処理とサブサンプリングとの一括処理＞
解像度変換部３０Ｅは、Ｎ×Ｎ画素（図１３ではＮ＝８）をＭ×Ｍ画素（図１３ではＭ＝２）にサブサンプリングする場合、中間処理信号全体をＮ×Ｎ画素毎の大ブロックＬＢに分割し、大ブロックＬＢ内の各画素の最大画素値を抽出して、その画素値でＭ×Ｍ画素の小ブロックＳＢを生成する。

＜第２例：ランクオーダーフィルタ処理とサブサンプリングとの一括処理＞
解像度変換部３０Ｅは、第１例と同様に大ブロックＬＢに分割した後、大ブロックＬＢ内での各画素の画素値を順位付けする。そして、解像度変換部３０Ｅは、上位Ｋ番目又は下位Ｋ番目の画素値を抽出して、その画素値でＭ×Ｍ画素の小ブロックＳＢを生成する。
なお、ビューファインダ映像生成装置１Ｅは、前記した第１例又は第２例のどちらの手法を用いてもよく、何れの手法を用いるか手動で設定してもよい。

そして、解像度変換部３０Ｅは、第１例又は第２例の手法で生成した小ブロックＳＢのそれぞれを大ブロックＬＢに対応する位置に配置して、フォーカス調整補助信号を生成する。例えば、解像度変換部３０Ｅは、図１３の大ブロックＬＢが右上に位置する場合、小ブロックＳＢを右上というように、小ブロックＳＢを大ブロックＬＢに対応させて配置する。また、例えば、解像度変換部３０Ｅは、図１３の大ブロックＬＢが左下に位置する場合、小ブロックＳＢを左下というように、小ブロックＳＢを大ブロックＬＢに対応させて配置する。

なお、図１２の解像度変換部３０Ｅ以外の手段は、図１の各手段と同様のものであるため、説明を省略する。

なお、図１３では、Ｍが２以上の場合、ビューファインダ映像のフォーマット上の解像度（走査線数）よりも、ビューファインダＶＦの解像度が低いことを示す。つまり、超高精細映像の走査線数がＬｓの場合、ビューファインダ映像の走査線数は（Ｍ／Ｎ）×Ｌｓとなり、ビューファインダＶＦの解像度は（１／Ｎ）×Ｌｓとなる。

［ビューファインダ映像生成装置の動作］
以下、図１４を参照し、ビューファインダ映像生成装置１Ｅの動作について説明する（適宜図１２参照）。

ビューファインダ映像生成装置１Ｅは、解像度変換部３０Ｅによって、大ブロックＬＢ毎に解像度変換を行う（ステップＳ１１）。
なお、図１４のステップＳ１１以外の処理は、図６の各ステップと同様の処理であるため、説明を省略する。

以上のように、本発明の第３実施形態に係るビューファインダ映像生成装置１Ｅは、図１のビューファインダ映像生成装置１と同様の効果に加え、最大値フィルタ処理又はランクオーダーフィルタ処理と、サブサンプリングとを一括処理することから、計算コストを非常に少なくすることができる。従って、ビューファインダ映像生成装置１Ｅは、本発明をハードウェアで実装する場合に現実的な構成である。

（第４実施形態：不要信号の除去）
以下、図１５を参照し、本発明の第４実施形態に係るビューファインダ映像生成装置１Ｆについて、第１実施形態と異なる点を主に説明する（適宜図１参照）。ビューファインダ映像生成装置１Ｆは、固定パターンノイズ、ランダムノイズなどの不要信号を除去するために、図１の解像度変換部３０の代わりに、図１５の解像度変換部３０Ｆを備える。
なお、ビューファインダ映像生成装置１Ｆは、解像度変換部３０Ｆ以外の各手段が、図１と同様のものであるため、説明を省略する。

まず、解像度変換部３０Ｆを説明する前に、不要信号について説明する。超高精細映像に固定パターンノイズなどの孤立点状のノイズが含まれる場合、最大値フィルタでは、この孤立点状のノイズを除去しきれず、ビューファインダ映像に残ってしまうことがある。また、ランクオーダーフィルタでは、孤立点状のノイズを除去できるが、コントラストが低下し、フォーカス調整補助信号としての効果が十分に得られない場合がある。さらに、ランクオーダーフィルタ処理では、超高精細映像のＳ／Ｎ比が低い場合、ランダムノイズを除去しきれず、ビューファインダ映像に残ってしまうこともある。

ここで、解像度変換の対象となる領域（合焦領域）において、固定パターンノイズ、ランダムノイズなどの不要信号は、閾値処理手段２１（図１参照）の閾値処理によって、孤立点状のノイズとなってしまう。一方、解像度変換の対象となる領域において、有用な信号成分は、エッジまたは細かなパターンに由来することから、閾値処理後も局所的にまとまって存在している。そこで、ビューファインダ映像生成装置１Ｆは、この性質に着目し、コントラストを維持しながら、不要信号の除去を実現している。

［解像度変換部の構成］
以下、解像度変換部３０Ｆの構成について説明する
解像度変換部３０Ｆは、入力された中間処理信号から不要信号を除去すると共に、この中間処理信号をビューファインダＶＦの解像度に変換することで、フォーカス調整補助信号を生成する。このため、解像度変換部３０Ｆは、サブサンプリング手段（解像度変換手段）３３と、最大画素値抽出手段３４と、画素数カウンタ３５と、最大画素値出力判定手段（最大画素値置換手段）３６とを備える。
なお、サブサンプリング手段３３は、図１と同様のものであるため、説明を省略する。

最大画素値抽出手段３４は、合焦領域抽出部２０（図１参照）から中間処理信号が入力されると共に、入力された中間処理信号において、注目画素の周辺に位置する周辺画素のうちの最大画素値を抽出する。例えば、最大画素値抽出手段３４は、注目画素の周辺に位置するＮ×Ｎ画素の周辺領域のうち、最大画素値を有する画素の画素値を抽出する。そして、最大画素値抽出手段３４は、図示を省略した最大画素値用メモリに抽出した最大画素値を記憶する。また、最大画素値抽出手段３４は、入力された中間処理信号を最大画素値出力判定手段３６に出力する。

画素数カウンタ３５は、合焦領域抽出部２０（図１参照）から中間処理信号が入力されると共に、入力された中間処理信号において、周辺画素のうちの画素値がゼロでない画素の数をカウントする。例えば、画素数カウンタ３５は、注目画素の周辺に位置するＮ×Ｎ画素の周辺領域のうち、画素値がゼロでない画素の数をカウントする。そして、画素数カウンタ３５は、図示を省略したカウンタ用メモリに、画素値がゼロでない画素の数を記憶する。以下、「画素値がゼロでない画素の数」を「カウント数」と呼ぶことがある。

最大画素値出力判定手段３６は、カウンタ用メモリに記憶したカウント数が、予め設定された判定閾値ｎ以下であるか否かを判定する。そして、最大画素値出力判定手段３６は、カウント数が判定閾値ｎ以下の場合、最大画素値抽出手段３４によって抽出された最大画素値が固定パターンノイズ、ランダムノイズなどの不要信号に起因するものとみなす。つまり、最大画素値出力判定手段３６は、カウント数が判定閾値ｎ以下の場合、入力された中間処理信号において、注目画素の画素値をゼロに置き換える。このようにして、最大画素値出力判定手段３６は、不要信号を除去する。

一方、最大画素値出力判定手段３６は、カウント数が判定閾値ｎ以下でない場合、最大画素値抽出手段３４によって抽出された最大画素値が有効な信号成分に起因するものとみなす。つまり、最大画素値出力判定手段３６は、カウント数が判定閾値ｎ以下でない場合、入力された中間処理信号において、注目画素の画素値を、最大画素値用メモリに記憶した最大画素値に置き換える。その後、最大画素値出力判定手段３６は、全ての注目画素の画素値を置き換えた中間処理信号をサブサンプリング手段３３に出力する。

以上のように、本発明の第４実施形態に係るビューファインダ映像生成装置１Ｆは、図１のビューファインダ映像生成装置１と同様の効果に加え、コントラストを維持しながら、中間処理信号から不要信号を除去できるので、より品質の高いビューファインダ映像を生成することができる。

なお、第４実施形態では、図１の解像度変換部３０の代わりに、解像度変換部３０Ｆを備える例を説明したが、本発明は、これに限定されない。例えば、図７のビューファインダ映像生成装置１Ｂが、解像度変換部３０の代わりに解像度変換部３０Ｆを備えた場合でも、コントラストを維持しながら、不要信号を除去することができる。

なお、第４実施形態では、不要信号の除去とサブサンプリングとを別々に行う例を説明したが、本発明では、これらを一括処理してもよい。なお、不要信号の除去とサブサンプリングとを一括処理する構成は、第５実施形態として後記する。

（変形例３）
以下、図１６，図１７を参照し、図１５のビューファインダ映像生成装置１Ｆの変形例について説明する（適宜図１５参照）。

ここで、画素数カウンタ３５は、画素値がゼロでない画素の数をカウントするため、場合によっては、カウンタの値が周辺画素の最大個数（Ｎ×Ｎ個）に達することがあり、カウンタ用メモリの使用量が大きくなってしまう。一方、最大画素値出力判定手段３６では、カウンタの値が判定閾値ｎ以下であるか否かの判定しか行っておらず、判定閾値ｎを超えるカウント数が意味をなしていない。

そこで、画素数カウンタ３５は、判定閾値ｎ以上の値で予め設定されたカウント上限値まで、画素値がゼロでない画素の数をカウントする。言い換えるなら、画素数カウンタ３５は、カウント数がカウント上限値に達したらカウントを停止する。これによって、画素数カウンタ３５は、カウンタ用メモリのビット数（桁数）を低減でき、カウンタ用メモリの使用量を抑えることができる。また、カウンタ用メモリのビット数（桁数）の上限も決まるため、最大画素値用メモリとカウンタ用メモリを一体で管理することができる（図１６参照）。例えば、カウント上限値を７に設定した場合、判定閾値ｎの最大値が７（４ビット分）となる。この場合、１６ビットのメモリ空間のうち、上位１２ビットを最大画素値用メモリに割り当てると共に、下位４ビットをカウンタ用メモリに割り当てることができる。

＜メモリの使用例＞
以下、解像度変換部３０Ｆの各手段による、最大画素値用メモリとカウンタ用メモリとの使用例を説明する。
図１６に示すように、最大画素値抽出手段３４は、最大画素値用メモリから最大画素値を読み出す。また、最大画素値抽出手段３４は、ある注目画素の周辺に位置する１個の周辺画素の画素値を取得する。そして、最大画素値抽出手段３４は、最大画素値用メモリから読み出した最大画素値と、取得した周辺画素の画素値とを比較する。周辺画素の画素値が最大画素値を超えた場合、最大画素値抽出手段３４は、取得した周辺画素の画素値を最大画素値用メモリに書き込んで、最大画素値を更新する。一方、周辺画素の画素値が最大画素値以下の場合、何の処理も行わない。その後、最大画素値抽出手段３４は、次の周辺画素についても同様の処理を行う。このように、最大画素値抽出手段３４は、ある注目画素の周辺に位置する全ての周辺画素について、最大画素値の比較・更新を繰り返す。これによって、最大画素値用メモリには、ある注目画素についての最大画素値が記憶されることになる。

画素数カウンタ３５は、入力された中間処理信号において、カウント上限値に達するまで、ある注目画素の周辺に位置する全ての周辺画素のうち、画素値がゼロでない画素の数（カウント数）をカウントして、カウンタ用メモリに書き込む。これによって、カウンタ用メモリには、ある注目画素についてのカウント数が記憶されることになる。

図１７に示すように、最大画素値出力判定手段３６は、カウント数をカウンタ用メモリから読み出すと共に、最大画素値用メモリから最大画素値を読み出す。そして、最大画素値出力判定手段３６は、カウント数が判定閾値ｎ以下であるか否かを判定し、カウント数が判定閾値ｎ以下の場合、ある注目画素の画素値をゼロに置き換える。一方、最大画素値出力判定手段３６は、カウント数が判定閾値ｎ以下でない場合、ある注目画素の画素値を最大画素値に置き換える。

その後、最大画素値抽出手段３４、画素数カウンタ３５および最大画素値出力判定手段３６は、全ての注目画素について、最大画素値の比較・更新と、最大画素値に置き換えとを繰り返す。ここで、最大画素値抽出手段３４および画素数カウンタ３５は、ある注目画素で最大画素値の比較・更新と、最大画素値に置き換えとを終了したら、次の注目画素で最大画素値の比較・更新する前に、最大画素値用メモリとカウンタ用メモリとを初期化してもよい。

以上のように、このように、解像度変換部３０Ｆは、最大画素値用メモリとカウンタ用メモリとを使用しながら、入力された中間処理信号の注目画素の画素値を置き換える。従って、本発明の変形例３に係るビューファインダ映像生成装置１Ｆは、カウンタ用メモリの使用量を抑え、最大画素値用メモリとカウンタ用メモリとを一体で管理することができる。

なお、最大画素値用メモリとカウンタ用メモリとの割り当ては、図１６の例に限定されない。例えば、メモリ空間が１６ビットの場合、カウント数の最大値を増やしたいときは、上位１０ビットを最大画素値用メモリに割り当てると共に、下位６ビットをカウンタ用メモリに割り当ててもよい。

（第５実施形態：不要信号の除去とサブサンプリングとの一括処理）
以下、図１８を参照し、本発明の第５実施形態に係るビューファインダ映像生成装置１Ｇについて、第４実施形態と異なる点を主に説明する（適宜図１３、図１５参照）。ビューファインダ映像生成装置１Ｇは、不要信号の除去とサブサンプリングとを一括処理するために、図１５の解像度変換部３０Ｆの代わりに、図１８の解像度変換部３０Ｇを備える。

［解像度変換部の構成］
以下、解像度変換部３０Ｇの構成について説明する
解像度変換部３０Ｇは、入力された中間処理信号から不要信号を除去すると共に、この中間処理信号をビューファインダＶＦの解像度に変換することで、フォーカス調整補助信号を生成する。このため、解像度変換部３０Ｇは、最大画素値抽出手段３４Ｇと、画素数カウンタ３５Ｇと、最大画素値出力判定手段（最大画素値置換・解像度変換手段）３６Ｇとを備える。
ここで、解像度変換部３０Ｇは、中間処理信号において、Ｎ×Ｎ画素の大ブロックをＭ×Ｍ画素の小ブロックにサブサンプリングすることとして説明する。

最大画素値抽出手段３４Ｇは、合焦領域抽出部２０（図１参照）から入力された中間処理信号を大ブロックに分割すると共に、大ブロック内の全画素の最大画素値を抽出する。例えば、最大画素値抽出手段３４Ｇは、中間処理信号全体をＮ×Ｎ画素毎の大ブロックに分割する。そして、最大画素値抽出手段３４Ｇは、分割した大ブロック内で最大画素値を有する画素の画素値を抽出し、図示を省略した最大画素値用メモリに抽出した最大画素値を記憶する。また、最大画素値抽出手段３４Ｇは、大ブロックに分割した中間処理信号を最大画素値出力判定手段３６に出力する。

画素数カウンタ３５Ｇは、入力された中間処理信号において、大ブロック内で画素値がゼロでない画素の数をカウントする。例えば、最大画素値抽出手段３４Ｇは、Ｎ×Ｎ画素毎の大ブロック内で画素値がゼロでない画素の数（カウント数）をカウントする。そして、画素数カウンタ３５Ｇは、図示を省略したカウンタ用メモリに、このカウント数を記憶する。

最大画素値出力判定手段３６Ｇは、カウンタ用メモリに記憶されたカウント数が、判定閾値ｎ以下であるか否かを判定する。そして、最大画素値出力判定手段３６Ｇは、カウント数が判定閾値ｎ以下の場合、全画素の画素値をゼロとしたＭ×Ｍ画素の小ブロックを生成する。一方、最大画素値出力判定手段３６Ｇは、カウント数が判定閾値ｎ以下でない場合、全画素の画素値を最大画素値用メモリに記憶した最大画素値としたＭ×Ｍ画素の小ブロックを生成する。その後、最大画素値出力判定手段３６Ｇは、生成した小ブロックのそれぞれを、入力された中間処理信号の大ブロックに対応する位置に配置して、フォーカス調整補助信号を生成する。

以上のように、本発明の第５実施形態に係るビューファインダ映像生成装置１Ｇは、図１５のビューファインダ映像生成装置１Ｆと同様の効果に加え、不要信号の除去とサブサンプリングとを一括処理することから、計算コストを非常に少なくすることができる。

なお、ビューファインダ映像生成装置１Ｇは、画素数カウンタ３５が、本発明の変形例３と同様、カウント上限値まで画素値がゼロでない画素の数をカウントしてもよい。この場合、ビューファインダ映像生成装置１Ｇは、本発明の変形例３と同様、カウンタ用メモリの使用量を抑え、最大画素値用メモリとカウンタ用メモリとを一体で管理することができる。

１，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ，１Ｇビューファインダ映像生成装置
２補助信号生成部（フォーカス調整補助信号生成部）
１０高域空間周波数成分抽出部
１１ＦＩＲフィルタ
１３絶対値算出手段
２０合焦領域抽出部
２１閾値処理手段
２３レベル調整手段
３０，３０Ｃ，３０Ｅ，３０Ｆ，３０Ｇ解像度変換部
３１最大値フィルタ
３２ランクオーダーフィルタ
３３サブサンプリング手段（解像度変換手段）
３４，３４Ｇ最大画素値抽出手段
３５，３５Ｇ画素数カウンタ
３６最大画素値出力判定手段（最大画素値置換手段）
３６Ｇ最大画素値出力判定手段（最大画素値置換・解像度変換手段）
４低解像度映像生成部
４１ローパスフィルタ
４３サブサンプリング手段
５信号合成部
Ｃ超高精細撮影カメラ（高精細撮影カメラ）
ＶＦビューファインダ

Claims

ビューファインダを備える高精細撮影カメラで撮影された高精細映像が入力されると共に、前記高精細映像から、前記高精細撮影カメラの解像度より低い前記ビューファインダの解像度に対応した低解像度映像を生成する低解像度映像生成部と、前記高精細映像から、前記ビューファインダにおいて前記高精細撮影カメラの合焦領域を示すフォーカス調整補助信号を生成するフォーカス調整補助信号生成部と、前記低解像度映像と前記フォーカス調整補助信号とを合成してビューファインダ映像を生成する信号合成部と、を備えるビューファインダ映像生成装置であって、
前記フォーカス調整補助信号生成部は、
入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する高域空間周波数成分抽出部と、
前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行う合焦領域抽出部と、
前記合焦領域抽出部から入力された中間処理信号を前記ビューファインダの解像度に変換することで、前記フォーカス調整補助信号を生成する解像度変換部と、
を備えることを特徴とするビューファインダ映像生成装置。
ビューファインダを備える高精細撮影カメラで撮影された高精細映像が入力されると共に、前記高精細映像から、前記高精細撮影カメラの解像度より低い前記ビューファインダの解像度に対応した低解像度映像を生成する低解像度映像生成部と、前記高精細映像から、前記ビューファインダにおいて前記高精細撮影カメラの合焦領域を示すフォーカス調整補助信号を生成するフォーカス調整補助信号生成部と、前記低解像度映像と前記フォーカス調整補助信号とを合成してビューファインダ映像を生成する信号合成部と、を備えるビューファインダ映像生成装置であって、
前記フォーカス調整補助信号生成部は、
入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する高域空間周波数成分抽出部と、
前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号を前記ビューファインダの解像度に変換する解像度変換部と、
前記解像度変換部から入力された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行うことで、前記フォーカス調整補助信号を生成する合焦領域抽出部と、
を備えることを特徴とするビューファインダ映像生成装置。
前記高域空間周波数成分抽出部は、
前記入力された高精細映像から、前記高域空間周波数成分を前記中間処理信号として抽出するＦＩＲフィルタと、
前記ＦＩＲフィルタから入力された中間処理信号において、信号値の絶対値を算出する絶対値算出手段と、
を備えることを特徴とする請求項１又は請求項２に記載のビューファインダ映像生成装置。
前記合焦領域抽出部は、
入力された前記中間処理信号に前記閾値処理を行う閾値処理手段と、
前記閾値処理手段から入力された中間処理信号に前記レベル調整処理を行うレベル調整手段と、
を備えることを特徴とする請求項１から請求項３の何れか一項に記載のビューファインダ映像生成装置。
前記解像度変換部は、
入力された前記中間処理信号において、注目画素の画素値を、当該注目画素の周辺に位置する周辺画素のうちの最大画素値に置き換える最大値フィルタと、
前記最大値フィルタから入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、
を備えることを特徴とする請求項１から請求項４の何れか一項に記載のビューファインダ映像生成装置。
前記解像度変換部は、
入力された前記中間処理信号において、注目画素の周辺に位置する周辺画素の画素値を順位付けて、前記注目画素の画素値を、予め設定された順位における前記周辺画素の画素値で置き換えるランクオーダーフィルタと、
前記ランクオーダーフィルタから入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、
を備えることを特徴とする請求項１から請求項４の何れか一項に記載のビューファインダ映像生成装置。
前記解像度変換部は、入力された前記中間処理信号を所定サイズの大ブロックに分割し、前記大ブロック毎に、前記大ブロックより小さいサイズの小ブロック内の全画素の画素値を、前記大ブロック内の全画素の最大画素値で置き換える請求項１から請求項４の何れか一項に記載のビューファインダ映像生成装置。
前記解像度変換部は、入力された前記中間処理信号を所定サイズの大ブロックに分割し、前記大ブロック毎に、前記大ブロック内の全画素の画素値を順位付けて、前記大ブロックより小さいサイズの小ブロック内の全画素の画素値を、予め設定された順位における前記大ブロックの画素値で置き換えることを特徴とする請求項１から請求項４の何れか一項に記載のビューファインダ映像生成装置。
前記解像度変換部は、
入力された前記中間処理信号において、注目画素の周辺に位置する周辺画素のうちの最大画素値を抽出する最大画素値抽出手段と、
入力された前記中間処理信号において、前記周辺画素のうちの画素値がゼロでない画素の数をカウントする画素数カウンタと、
前記画素数カウンタがカウントした画素の数が予め設定された判定閾値以下であるか否かを判定し、入力された前記中間処理信号において、当該カウントした画素の数が当該判定閾値以下の場合、前記注目画素の画素値をゼロに置き換えて、当該カウントした画素の数が当該判定閾値以下でない場合、前記注目画素の画素値を前記最大画素値抽出手段が抽出した最大画素値に置き換えて出力する最大画素値置換手段と、
前記最大画素値置換手段から入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、
を備えることを特徴とする請求項１から請求項４の何れか一項に記載のビューファインダ映像生成装置。
前記解像度変換部は、
入力された前記中間処理信号を所定サイズの大ブロックに分割すると共に、前記大ブロック内の全画素の最大画素値を抽出する最大画素値抽出手段と、
入力された前記中間処理信号において、前記大ブロック内で画素値がゼロでない画素の数をカウントする画素数カウンタと、
前記画素数カウンタがカウントした画素の数が予め設定された判定閾値以下であるか否かを判定し、前記大ブロックに分割された前記中間処理信号から、当該カウントした画素の数が当該判定閾値以下の場合、前記大ブロックより小さいサイズで全画素の画素値をゼロとした小ブロックを生成し、当該カウントした画素の数が当該判定閾値以下でない場合、前記最大画素値抽出手段が抽出した最大画素値を全画素の画素値とした前記小ブロックを生成する最大画素値置換・解像度変換手段と、
を備えることを特徴とする請求項１から請求項４の何れか一項に記載のビューファインダ映像生成装置。
前記画素数カウンタは、前記判定閾値以上の値で予め設定されたカウント上限値まで、前記画素値がゼロでない画素の数をカウントすることを特徴とする請求項９又は請求項１０に記載のビューファインダ映像生成装置。