JP2010028200A - フォーカス補助信号処理装置 - Google Patents

Abstract

【課題】ビューファインダ等の低解像度のモニタにも視認しやすい形で、超高精細の元画像から輪郭情報を抽出及び表示することにより、精度良くピント調整をする。
【解決手段】フォーカス補助信号処理装置２は、元画像を撮影する撮像装置１から当該元画像を映像信号として入力し、映像信号を処理してフォーカス調整を補助するための信号を生成し、元画像を表示装置３に表示させる。フォーカス補助信号処理装置２は、映像信号から、表示装置３において表示できる周波数帯域を超えた高域信号成分を抽出する高域通過フィルタ２１と、映像信号から、表示装置３において折り返し信号が発生しない低域信号成分を抽出する低域通過フィルタ２２と、高域通過フィルタ２１によって抽出された高域信号成分及び低域通過フィルタ２２によって抽出された低域信号成分を合成し、表示装置３へ出力する合成部２６とを備えている。
【選択図】図２

Description

本発明は、フォーカス補助信号処理装置に関し、特に、テレビカメラを用いて撮影する際のフォーカス補助機構としてビューファインダを有し、当該ビューファインダ上にピント調整用のフォーカス補助信号を表示する技術に関する。

従来、カメラのフォーカス補助機構として、様々な方式が知られている。例えば、フィルムカメラにおいては、三角測量の原理を用いたレンジファインダ方式や、撮影するレンズを通った光学像を実際に視認して確認することのできる一眼レフカメラ等による方式が知られている。また、テレビカメラにおいては、光学ファインダを有したものは少ないが、小型のブラウン管や液晶モニタをカメラに取り付け、その画面に表示された撮影画像を見ながら、撮影者自身がピント調整を行っていた。解像度の低い標準テレビの場合は、小画面のビューファインダでピント調整のための画像を確認できたのだが、解像度の高いハイビジョンテレビの場合は、単に小画面を見るだけではピント調整のための画像を正確に確認することが難しくなってきた。そのため、画面拡大用のレンズ系を工夫したり、ピーキング処理等の高周波を強調したりする処理や、それらの信号を検知されやすいようにフリッカーさせることで、ビューファインダ上でのピント調整の手助けを行っていた。

従来の技術として、例えば特許文献１に記載されているように、よりフォーカスの合っている部分が分かりやすいように、視覚特性に整合させた画像を表示する信号処理を行う技術が開示されている。さらに、例えば特許文献２に記載されているように、ハイビジョンのような高精細な撮像方式において、ビューファインダでの視認性を向上させるために、撮影した画像の高域成分を変調し、もとの映像信号に足したり引いたりすることにより、フォーカス補助信号を生成する技術も開示されている。

従来、図８に示すように、フォーカス点の位置の視認性を高めるため、撮影画像から高域成分を抽出及び増幅（図８におけるブースト周波数）後、元の映像信号に重畳した信号をビューファインダ上に表示する手法が用いられている。これらの高域成分抽出は、例えば、３×３タップのフィルタを画像に作用させたり、ＦＩＲフィルタ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ Ｆｉｌｔｅｒ）を用いたりすることで実現できる。現在、ハイビジョンをはじめとする既存の映像システムでは、ビューファインダとして、撮影画像とほぼ同程度の解像度の画像を表示できる小型表示装置が開発されている。従って、上記手法により、カメラヘッドに取り付けられたビューファインダで、ほぼ正確にピント調整を行うことができる。

特公平６−２８３９２号公報 特公平７−８７５３９号公報

しかしながら、周波数の高い映像信号まで取り扱うデジタルシネマやスーパーハイビジョンにおいて、より高精細なカメラでピント調節を行う場合は、現状では十分高精細なビューファインダというものが存在しないので、前述した方式ではピント調整を行うことが非常に難しい。特許文献２に記載された方式を利用して、撮影画像の高域信号成分を元画像に重畳後、単純にサブサンプル等の方法でカメラヘッドに取り付けられた小型表示装置に表示した場合であっても、ピント調整の補助信号として重畳した高域信号を正確に確認することができない。これは、表示装置自体が十分な解像度を持っておらず、図９に示すように、ベースバンド信号に高域信号成分が幾重にもモニタの表示可能周波数帯域内に折り返された状態になるからである。

また、超高精細カメラでピント調整を行う場合は、今まで以上にピント調整を厳密に行わないとフォーカスのずれた映像を撮影してしまう可能性がある。このため、カメラヘッドに取り付けられた低解像度のモニタ上でも精度良くピント調整を行うことのできる表示装置を備えたカメラシステムが必要となる。

そこで、前記課題を解決するため、本発明の目的は、ビューファインダ等の低解像度のモニタにも視認しやすい形で、超高精細の元画像から輪郭情報を抽出及び表示することにより、精度良くピント調整をすることが可能なフォーカス補助信号処理装置を提供することにある。

前記課題を解決するため、請求項１の発明は、元画像を撮影する撮像装置から当該元画像を映像信号として入力し、前記映像信号を処理してフォーカス調整を補助するための信号を生成し、前記元画像を表示装置に表示させるフォーカス補助信号処理装置において、前記映像信号から、前記表示装置において表示できる周波数帯域を超えた高域信号成分を抽出する高域通過フィルタと、前記映像信号から、前記表示装置において折り返し信号が発生しない低域信号成分を抽出する低域通過フィルタと、前記高域通過フィルタによって抽出された高域信号成分と、前記低域通過フィルタによって抽出された低域信号成分とを合成し、前記表示装置へ出力する合成部と、を備えたことを特徴とする。

また、請求項２の発明は、請求項１に記載のフォーカス補助信号処理装置において、前記高域通過フィルタは、通過帯域及びゲインを調整するための信号を入力し、前記調整信号により、高域信号成分の抽出を行うことを特徴とする。

また、請求項３の発明は、請求項１または２に記載のフォーカス補助信号処理装置において、前記高域信号成分を前記表示装置で表示可能な信号成分に変換するため、サブサンプル処理を行うサブサンプル部を更に備えたことを特徴とする。

また、請求項４の発明は、請求項１から３までのいずれか一項に記載のフォーカス補助信号処理装置において、前記高域通過フィルタによって抽出された高域信号成分から孤立点を除去するノイズ除去部と、前記ノイズ除去部から孤立点を除去された高域信号成分を入力し、太線化処理を行う太線化部と、を更に備えたことを特徴とする。

また、請求項５の発明は、請求項３に記載のフォーカス補助信号処理装置において、前記サブサンプル部は、高域映像信号をサブサンプルする際に、サンプリング位相をフレームごとに変化させることを特徴とする。

以上のように、本発明によれば、ビューファインダ等の低解像度のモニタにも視認しやすい形で、超高精細の元画像から輪郭情報を抽出及び表示することにより、精度良くピント調整をすることができる。

以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
〔フォーカス補助信号処理システム〕
まず、フォーカス補助信号処理システムの構成、及び各構成部の処理について説明する。図１は、本発明の実施形態によるフォーカス補助信号処理システムの構成を示すブロック図である。このフォーカス補助信号処理システムは、撮像装置１、フォーカス補助信号処理装置２及び表示装置３を備えている。

撮像装置１は、元画像を撮影し、この元画像を映像信号として、フォーカス補助信号処理装置２へ出力する。撮像装置１としては、例えば、テレビカメラ等が挙げられる。本実施形態では、高精細なテレビカメラを用いた場合を例にとり、説明する。

フォーカス補助信号処理装置２は、撮像装置１から映像信号を入力し、入力した映像信号を処理し、表示装置３へ出力する。具体的には、表示装置３にも視認しやすい形で、超高精細の元画像から輪郭情報を抽出する。

表示装置３は、フォーカス補助信号処理装置２から出力された映像信号を表示する。表示装置としては、例えば、低解像度のモニタ等が挙げられる。本実施形態では、ビューファインダを用いた場合を例にとり、説明する。そして、表示装置３に表示された映像を用いて、撮影者はピント調整を行う。

尚、本発明の実施形態では、撮像装置１（高精細なテレビカメラ）の解像度に対し、表示装置３（ビューファインダ）の解像度を１／４であるとして説明する。

〔フォーカス補助信号処理装置〕
次に、図１に示すフォーカス信号処理装置２の構成、及び各構成部の処理について説明する。図２は、本発明の実施形態によるフォーカス補助信号処理装置の構成を示すブロック図である。このフォーカス補助信号処理装置は、高域通過フィルタ２１、低域通過フィルタ２２、ノイズ除去部２３、太線化部２４、サブサンプル部２５、合成部２６及びディレイライン２７を備えている。

高域通過フィルタ２１は、撮像装置１から映像信号を入力し、表示装置３において表示できる周波数帯域を超えた、ピントが合ったときに生じる高域信号成分を抽出し、ノイズ除去部２３へ出力する。例えば、高域通過フィルタ２１は、図３に示すように、空間周波数ｆｃ以上の信号成分を高域信号成分として抽出する。尚、撮像装置１及び表示装置３は、２次元映像を入出力できるものであるが、簡単のため、水平方向または垂直方向の１次元周波数成分について説明する。図３では、表示装置３（ここでは、低解像度モニタ）に表示できる周波数（画素マトリックスモニタでは空間サンプリング周波数の１／２）をｆｎ０とし、撮像装置１（ここでは、高精細カメラ）で撮影された映像成分の周波数帯域をｆｎ３とする。また、図４及び図５についても同様である。

尚、本発明の実施形態によるフォーカス補助信号処理システムでは、例えば図３に示すように、ｆｎ３がｆｎ０に比べて４倍の周波数帯域となるシステムを対象としているが、本発明はこれに限定されるものではなく、ｆｎ３＞ｆｎ０となるシステムであればよい。

また、このときの高域通過フィルタ２１の通過帯域及び得られる高域信号成分の振幅（ゲイン）は、表示装置３上でレンズのフォーカス調整機能により、撮影者によって、ピントの合った位置が最も分かりやすくなるように調整される。そして、この通過帯域及びゲイン調整信号は、高域通過フィルタ２１に入力され、高域通過フィルタ２１は、通過帯域及びゲイン調整信号に基づいて、映像信号から高域信号成分の抽出を行う。

低域通過フィルタ２２は、撮像装置１から映像信号を入力し、表示装置３において折り返し信号が発生しない低域信号成分を抽出し、合成部２６へ出力する。例えば、低域通過フィルタ２２は、図４に示すように、空間周波数ｆａ以下の信号成分を低域信号成分として抽出する。

ノイズ除去部２３は、高域通過フィルタ２１から高域信号成分を入力し、高域信号成分から孤立点を除去する。ノイズ除去部２３は、孤立点を除去する際、例えばメディアンフィルタを用いて行うことができる。そして、ノイズ除去部２３は、孤立点を除去した高域信号成分を太線化部２４へ出力する。

太線化部２４は、ノイズ除去部２３から孤立点が除去された高域信号成分を入力し、太線化処理を行い、太線化処理が施された高域信号成分をサブサンプル部２５へ出力する。具体的には、サブサンプル部２５において、４画素ごとに１つを選択するサブサンプル処理を行う場合、４倍以上の太線化処理を行う。太線化部２４は、太線化を行う際、例えばモフォロジー処理を用いて行うことができる。

サブサンプル部２５は、太線化部２４から太線化処理が施された高域信号成分を入力し、その高域信号成分の信号を表示装置３で表示可能な信号成分に変換するため、サブサンプル処理を行い、サブサンプル処理した低域信号成分を合成部２６へ出力する。ここで、「サブサンプル」とは、サンプル数を間引くことをいう。例えば、サブサンプル部２５は、４画素ごとに１つを選択することによって、高域信号成分を低域信号成分に変換することができる。

また、他のサブサンプル処理として、サブサンプル部２５は、前述のようなサブサンプル処理した低域信号成分を出力する代わりに、高域映像信号をサブサンプルする際に、サンプル位相調整信号によりサンプリング位相をフレームごとに変化させ、時間的に変化するような低域偽信号を生成し、その低域偽信号を合成部２６へ出力する。この場合、前述した太線化部２４による太線化処理を行わないでスルーすることも可能である。具体的には、サブサンプル部２５は、図６に示すように、４画素ごとにサブサンプルを行っている場合、画素の位置ごとに画素値を算出し、図７に示すように、その画素の位置ごとにフレームを割り付けることによって、サンプリング位相をフレームごとに変化させる。すなわち、各画素の位置において、１で表された画素値の集合を第１フレームとし、２で表された画素値の集合を第２フレームとし、３で表された画素値の集合を第３フレームとし、４で表された画素値の集合を第４フレームとし、第１フレームから第４フレームまで順次フレーム毎の画素値を低域偽信号として出力する。

合成部２６は、サブサンプル部２５からサブサンプル処理された低域信号または低域偽信号（高域信号成分）を入力し、低域通過フィルタ２２からディレイライン２７を介して低域信号成分を入力する。そして、合成部２６は、低域通過フィルタ２２からの低域信号成分の遅延時間をディレイライン２７により調整し、サブサンプル部２５からの高域信号成分と、低域通過フィルタ２２からの低域信号成分との位相調整を行い、被写体のエッジ等に対応する高域信号成分と低域信号成分の空間的位置を合わせる。そして、合成部２６は、図５に示すように、表示可能な映像帯域において、サブサンプル部２５からの高域信号成分と、低域通過フィルタ２２からの低域信号成分とを重畳して合成する。そして、合成部２６は、高域信号成分と低域信号成分との合成信号を表示装置３へ出力する。

撮影者は、このような映像が表示された表示装置３を確認しながら、最も高域信号成分が多く現れるピント位置にフォーカスを調整することにより、カメラのピント調整を行う。

以上のように、本発明の実施形態によるフォーカス補助信号生成装置１によれば、高精細な映像信号を高域周波数成分と低域周波数成分とに分割し、ピント調整に必要な高域信号成分を抽出し、低域信号成分と重畳することにより合成し、低解像度のモニタに表示することができる。このため、高精細カメラで撮影された映像信号を低解像度モニタで視察しながら、合わせてピント調整に必要な高域信号成分に対応した映像信号を検知でき、低解像度モニタでのカメラのピント調整が可能となる。

また、本発明の実施形態によるフォーカス補助信号処理装置２において、高域通過フィルタ２１は、入力した高域通過フィルタの通過帯域及び得られる高域信号成分の振幅に基づいて、高域信号成分の抽出を行うことができる。このため、撮影者によって、抽出する高域信号成分を任意に変化させることができる。

また、本発明の実施形態によるフォーカス補助信号処理装置２において、サブサンプル部２５は、高域信号成分を表示装置３で表示可能な信号成分に変換するため、サブサンプル処理を行うことができる。このため、高域信号成分をサブサンプルすることにより生じた折り返し成分を低域信号成分に重畳して表示することができる。

また、本発明の実施形態によるフォーカス補助信号処理装置２において、ノイズ除去部２３は、高域通過フィルタ２１によって抽出された高域信号成分から孤立点を除去することができる。高域信号成分をそのままサブサンプリングすると、高域信号成分が失われてしまう可能性があるが、ノイズ除去部２３の処理により、高域信号成分を保持することができる。

また、本発明の実施形態によるフォーカス補助信号処理装置２において、太線化部２４は、ノイズ除去部２３から孤立点を除去された高域信号成分を入力し、太線化処理を行うことができる。このため、サブサンプル後の低域信号成分内に表れる高域信号成分の折り返し成分量を増加させることができる。

また、本発明の実施形態によるフォーカス補助信号処理装置２において、サブサンプル部２５は、高域映像信号をサブサンプルする際に、サンプリング位相をフレームごとに変化させることができる。このような処理を行うことにより、表示装置３に表示した映像において、より高域信号成分の有無が検知しやすくなる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態では、簡単のため、水平方向の周波数成分に対して行う１次元信号処理として説明したが、当然、水平―垂直の２次元信号処理においても同様な効果を得ることができる。

また、前記実施形態では、カメラの出力信号に対し、ビューファインダとして用いる低解像度モニタの解像度を１／４とした。どのくらいの低解像度のモニタをビューファインダに用いることができるかは、画面上のどのくらいの位置精度でピント位置を確認できる必要があるかに関わり、本発明の本質的な原理には影響しない。

本発明の実施形態によるフォーカス補助信号処理システムの構成を示すブロック図である。 本発明の実施形態によるフォーカス補助信号処理装置の構成を示すブロック図である。 本発明の実施形態による高域通過フィルタの高域信号成分の抽出処理を説明するための図である。 本発明の実施形態による低域通過フィルタの低域信号成分の抽出処理を説明するための図である。 本発明の実施形態による合成部の高域信号成分と低域信号成分との合成処理を説明するための図である 本発明の実施形態によるサブサンプル部の画素の位置ごとの画素値算出処理を説明するための図である。 本発明の実施形態によるサブサンプル部の画素の位置ごとのフレーム割り付け処理を説明するための図である。 従来のフォーカス補助信号の生成処理を説明するための図である（その１）。 従来のフォーカス補助信号の生成処理を説明するための図である（その２）。

符号の説明

１ 撮像装置
２ フォーカス補助信号処理装置
３ 表示装置
２１ 高域通過フィルタ
２２ 低域通過フィルタ
２３ ノイズ除去部
２４ 太線化部
２５ サブサンプル部
２６ 合成部
２７ ディレイライン

Claims (5)

1. 元画像を撮影する撮像装置から当該元画像を映像信号として入力し、前記映像信号を処理してフォーカス調整を補助するための信号を生成し、前記元画像を表示装置に表示させるフォーカス補助信号処理装置において、
   前記映像信号から、前記表示装置において表示できる周波数帯域を超えた高域信号成分を抽出する高域通過フィルタと、
   前記映像信号から、前記表示装置において折り返し信号が発生しない低域信号成分を抽出する低域通過フィルタと、
   前記高域通過フィルタによって抽出された高域信号成分と、前記低域通過フィルタによって抽出された低域信号成分とを合成し、前記表示装置へ出力する合成部と、
   を備えたことを特徴とするフォーカス補助信号処理装置。
2. 請求項１に記載のフォーカス補助信号処理装置において、
   前記高域通過フィルタは、通過帯域及びゲインを調整するための信号を入力し、前記調整信号により、高域信号成分の抽出を行うことを特徴とするフォーカス補助信号処理装置。
3. 請求項１または２に記載のフォーカス補助信号処理装置において、
   前記高域信号成分を前記表示装置で表示可能な信号成分に変換するため、サブサンプル処理を行うサブサンプル部を更に備えたことを特徴とするフォーカス補助信号処理装置。
4. 請求項１から３までのいずれか一項に記載のフォーカス補助信号処理装置において、
   前記高域通過フィルタによって抽出された高域信号成分から孤立点を除去するノイズ除去部と、
   前記ノイズ除去部から孤立点を除去された高域信号成分を入力し、太線化処理を行う太線化部と、
   を更に備えたことを特徴とするフォーカス補助信号処理装置。
5. 請求項３に記載のフォーカス補助信号処理装置において、
   前記サブサンプル部は、高域映像信号をサブサンプルする際に、サンプリング位相をフレームごとに変化させることを特徴とするフォーカス補助信号処理装置。

Images