JP2008035324A - 撮像装置 - Google Patents

Abstract

【課題】著しく強い発光強度をもつ光源が撮影画角近傍または撮影画角内に位置する場合、鏡筒の構成物によって反射した光が撮像素子上で結像し、ゴーストとなって撮影された画像へ現れる。
【解決手段】ゴースト管理メモリ１１に、あらかじめ主光源Ｍと鏡筒内部の構成物から得られるゴーストの形状を記憶させておく。主光源検出手段９によりゴーストの発生源となる主光源の情報を得て、予測ゴースト生成手段１０により主光源の情報と記憶させておいたゴースト情報から予測されるゴーストを生成する。生成された予測ゴーストＧｅと一致するゴーストを、実際に撮像素子４から得られる画像からマッチング手段１２により検索する。一致したゴーストを、撮像画像から減算することでゴースト成分を取り除くことができ、被写体画像を正確に再現することが可能となる。
【選択図】図１

Description

本発明は撮像装置にかかわり、特には、撮像光学系で生じるゴーストをデジタル信号処理により補正する画像処理技術に関する。

撮像光学系では、著しく強い発光強度をもつ光源が撮影画角近傍または撮影画角内に位置する場合、レンズの鏡胴や撮像素子で反射した光がレンズ表面や構造物（ねじ、絞りなど）で反射し、受光部の撮像素子上で絞り形状や構造物に結像し、ゴーストが発生する（図１３参照）。特に被写体の暗い部分に発生するゴーストは目立ち、非常に見苦しい像となってしまう。

このようなゴーストを防止するために、レンズ表面に反射防止コーティングを施すのが有効であるが、反射防止コーティングはカメラ価格の上昇の要因となる。
特許第３３７２２０９号公報（第２−４頁、第１−８図）

上述のように、撮像光学系で発生するゴーストを撮像光学系のみで防止することは、小型化や低廉化の観点から支障を伴うものとなる。また、昨今、技術開発が進められている多層干渉膜フィルタを用いた撮像素子においては、特定の波長成分以外は吸収しないため、反射成分が多くなり、ゴーストがより発生しやすくなる。

本発明は、このような事情に鑑みて創作したものであり、被写体内の強い光で発生するゴーストを簡易な方法で電気的に補正・軽減し、きれいな撮影画像を再現する撮像装置を提供することを目的としている。

本発明による撮像装置は、
レンズ、絞り、撮像素子および鏡筒からなる撮像光学系を介して得られる撮像信号の信号処理を行う信号処理回路と、
前記信号処理回路による撮像画像に含まれる主光源を検出する主光源検出手段と、
前記主光源と前記撮像光学系の配置情報および前記鏡筒の構成情報から想定される予測ゴーストを生成する予測ゴースト生成手段と、
前記撮影画像において前記予測ゴーストをパターンマッチングにより検索して予測ゴースト画像を得るマッチング手段と、
前記撮像画像から前記予測ゴースト画像を減算するゴースト減算手段とを備えたものである。

この構成において、主光源検出手段は信号処理回路からの撮像画像に輝度レベルが所定値以上の主光源が含まれているかを判断し、含まれているときは検出した主光源の情報を予測ゴースト生成手段に与える。予測ゴースト生成手段は、受け取った主光源の情報に基づいて予測ゴーストを生成する。ここで、あらかじめのシミュレーション等により、撮像光学系の配置情報および鏡筒の構成情報と主光源の情報との相関関係が与えられているものとする。予測ゴースト生成手段は、その相関関係から主光源の情報に対応する予測ゴーストを生成し、マッチング手段に与える。マッチング手段は、信号処理回路による撮像画像においてパターンマッチングを行って予測ゴーストに対応する予測ゴースト画像を取得し、ゴースト減算手段に与える。ゴースト減算手段は、信号処理回路からの撮像画像より予測ゴースト画像を減算することにより、ゴースト成分が除去された出力映像信号を得る。これは電気的な手法に基づくゴースト軽減であり、レンズ表面に反射防止コーティングを施す場合に比べて、より簡易な方法で正確な被写体画像が得られる。また、撮像素子に多層干渉膜フィルタを用いる場合でも、ゴースト発生を効果的に抑制することが可能になる。

上記の構成において、前記主光源検出手段は、前記撮像画像において、輝度、位置、色の情報に基づいて前記主光源を判定するという態様がある。

また、上記の構成において、前記主光源検出手段は、前記撮影光学系の絞り値に応じた輝度レベル以上の輝度レベルをもつ画像部分を前記主光源として検出するという態様がある。

また、上記の構成において、前記主光源検出手段は、前記撮像素子の露出時間に応じた輝度レベル以上の輝度レベルをもつ画像部分を前記主光源として検出するという態様がある。

また、上記の構成において、前記予測ゴースト生成手段は、主光源の輝度と位置の情報、および絞り、レンズ配置、鏡筒の構成情報を基に前記予測ゴーストを生成するという態様がある。

また、上記の構成において、前記予測ゴースト生成手段は、主光源の輝度と位置の情報、および絞り、レンズ配置、鏡筒の構成情報から得られる予測ゴーストの形状を記憶しておく記憶手段を有しているという態様がある。記憶手段からゴースト形状を選択することにより、予測ゴーストの生成を迅速に行うことが可能となる。また、様々なゴースト形状を記憶させておくことにより、多様な予測ゴースト生成が可能となる。

また、上記の構成において、前記予測ゴースト生成手段は、あらかじめ主光源の輝度と位置の情報、絞り、レンズ配置、鏡筒の構成情報を基に予測ゴーストの形状と色を生成し、起こり得るＮ倍（Ｎは、任意の実数）の形状の予測ゴーストについても情報を前記記憶手段に記憶するという態様がある。発生するゴースト形状のＮ倍のゴーストがレンズ配置によって生じることが想定されるが、そのようなゴーストにも対応可能となる。

また、上記の構成において、前記予測ゴースト生成手段は、前記主光源検出手段からの輝度と位置の情報から前記予測ゴーストの形状を決定し、主光源の色の情報から前記予測ゴーストの色を決定し、輝度の情報から前記予測ゴーストの輝度を決定するという態様がある。

また、上記の構成において、前記予測ゴースト生成手段は、前記主光源検出手段から得られた輝度の情報から前記予測ゴーストの輝度が所定値以下となる場合は前記予測ゴーストの生成を停止するという態様がある。これによれば、ゴーストの可能性が十分に低い場合には、高速処理を優先する。

また、上記の構成において、前記予測ゴースト生成手段は、前記主光源の輝度と位置の情報、絞り、レンズ配置情報から前記予測ゴーストの大きさが所定値以下となる場合は前記予測ゴーストの生成を停止するという態様がある。これによれば、ゴーストの影響が十分に低い場合には、高速処理を優先する。

また、上記の構成において、前記予測ゴースト生成手段は、前記記憶手段に記憶されたゴーストパターンにズームをかけて前記マッチング手段に渡すためのズーム手段を有しているという態様がある。これによれば、メモリ容量が小さい撮像装置においても、多様なゴーストに対して適正な補正を実現することが可能となる。

また、上記の構成において、前記マッチング手段は、前記撮影画像から前記予測ゴースト生成手段で生成された予測ゴーストと一致するゴーストをパターンマッチングにより検索するという態様がある。

また、上記の構成において、ゴーストの検索方法として、撮影画像、予測ゴースト画像ともに微分フィルタをかけ輪郭を抽出し、その差分が最も小さくなる位置を検索するという態様がある。

また、上記の構成において、前記マッチング手段は、前記微分フィルタの処理後、前記撮影画像の輪郭と前記予測ゴースト画像の輪郭の差分を求める際に、前記予測ゴーストの輪郭付近のデータのみをマッチング判定に使用するという態様がある。これは、ゴーストに含まれる実際の被写体の輪郭を除き、ゴースト付近のデータに限定して一致度を算出するもので、一致度の精度の向上に有利である。

また、上記の構成において、前記微分フィルタは、前記信号処理回路における輪郭補正処理に使われる回路と兼用で使用するという態様がある。

また、上記の構成において、前記マッチング手段は、パターンマッチングエンジンには、ＭＰＥＧなどの動画符号化用の動き検出エンジンを兼用で使用するという態様がある。動画記録機能を有したカメラシステムでは、参照画像との差分と、その位置情報を求めるための動き検出エンジンがあらかじめ搭載されている。この動き検出エンジンをマッチング手段として兼用することが可能である。

また、上記の構成において、前記マッチング手段は、少なくとも１つのゴーストパターンを検出すると、事前のシミュレーション結果により、同時に発生するゴーストを検出するという態様がある。これにより、処理を高速化することが可能になる。

また、上記の構成において、前記ゴースト減算手段は、前記予測ゴースト生成手段により生成され、前記マッチング手段により一致したゴーストを、前記撮像画像から減算するという態様がある。これは、必ずしも予測ゴースト画像を生成しなくてもよいことを意味している。

また、上記の構成において、前記ゴースト減算手段は、前記撮像画像の中でも飽和している部分に対しては減算を停止するという態様がある。入力信号が飽和していると、減算することによってゴーストが発生している画素の信号レベルが周辺の画素に比べ低くなって、ゴーストは除去されず、逆に信号レベルの低い暗いゴーストが発生してしまう。飽和している部分に対しては減算を停止することによって、この不都合を回避することが可能となる。

本発明によれば、レンズ表面に反射防止コーティングを施す場合に比べて、より簡単な構成で高速にゴーストを除去することが可能となり、きれいな撮影画像を得ることができる。また、撮像素子に多層干渉膜フィルタを用いる場合でも、ゴースト発生を効果的に抑制することが可能になる。

以下、本発明にかかわる撮像装置の実施の形態について図面に基づいて詳細に説明する。

（実施の形態１）
図１は本発明の実施の形態１における撮像装置の構成を示すブロック図である。図１において、１は被写体、２はレンズ、３は絞り、４は撮像素子（イメージセンサ）、５は撮像素子４からの画像信号を増幅する増幅器、６は増幅器５からの画像信号に所定の信号処理を行う信号処理回路、７は撮像素子４における露光時間を制御する露光時間制御回路、８は絞り３における絞り値を制御する絞り制御回路である。９は信号処理回路６からの撮像画像Ｐｉを用いて、撮像画像Ｐｉの中から検出基準の輝度レベルを超えるゴーストの原因となる強い光源である主光源Ｍの検出を行うとともに、主光源Ｍの輝度、位置、色の情報を取得し、主光源Ｍの情報として出力する主光源検出手段、１０は主光源検出手段９からの主光源Ｍの輝度、位置の情報に基づいてゴースト管理メモリ１１内の条件記憶メモリ１１ｂ内で一致する条件を検索し、それに対応した予測ゴーストＧｅの形状をゴースト記憶メモリ１１ａにおいて選択する予測ゴースト生成手段である。１１は所定の光源について、絞り、レンズ配置、鏡筒の構成情報に応じて発生する予測ゴーストＧｅの形状をゴースト記憶メモリ１１ａに格納しておくとともに、撮像光学系の条件（絞り値、露出時間）と光源情報（位置・輝度・色）を対応付けて条件記憶メモリ１１ｂに記憶させておくゴースト管理メモリである。１２は信号処理回路６からの撮像画像Ｐｉから予測ゴースト生成手段１０で生成された予測ゴーストＧｅと一致するゴーストをパターンマッチングにより検索するマッチング手段、１３は信号処理回路６からの撮像画像Ｐｉからマッチング手段１２による予測ゴースト画像Ｐｇを減算しゴーストが補正・軽減された出力映像信号Ｐｏを出力するゴースト減算手段である。

あらかじめのシミュレーションにより、所定の光源について、絞り、レンズ配置、鏡筒の構成情報に応じて発生する予測ゴーストＧｅの形状を求め、求めた予測ゴーストＧｅの形状をゴースト管理メモリ１１内のゴースト記憶メモリ１１ａに格納しておくとともに、撮像光学系の条件（絞り値、露出時間）と光源情報（位置・輝度・色）と対応付けて条件記憶メモリ１１ｂに記憶させておく。

被写体１からの光は、レンズ２、絞り３を通して撮像素子４の光電変換面に結像する。撮像素子４から出力された画像信号は増幅器５を介して信号処理回路６に入力される。適正なレベルの増幅器出力が得られるように増幅器５の出力に応じて、露光時間制御回路７は撮像素子４の露出時間を制御し、絞り制御回路８は絞り３を制御する。つまり、露光時間制御回路７、絞り制御回路８により適切な露光状態を得る。信号処理回路６に入力された画像信号は、信号処理回路６によりホワイトバランスやコントラストの調整や輪郭補正などが行われ、撮像画像Ｐｉとして主光源検出手段９、マッチング手段１２およびゴースト減算手段１３に出力される。

露出時間制御回路７は撮像素子４に対して設定した露出時間を主光源検出手段９に与える。また、絞り制御回路８は絞り３に対して設定した絞り値を主光源検出手段９に与える。主光源検出手段９は、受け取った露出時間と絞り値に応じて検出基準の輝度レベルを適応的に変更する。これは、露出時間により撮像素子４が受光する光量が変化し、また、絞り値により撮影光学系に入射する光量が変化し、この２つの要因で入力画像の露出レベルが変動するためである。

主光源検出手段９は、信号処理回路６からの撮像画像Ｐｉを用いて、撮像画像Ｐｉの中から検出基準の輝度レベルを超えるゴーストの原因となる強い光源である主光源Ｍの検出を行うとともに、主光源Ｍの輝度、位置、色の情報を取得し、主光源Ｍの情報として予測ゴースト生成手段１０に出力する。

予測ゴースト生成手段１０は、撮像時に、絞り制御回路８からの絞り値とレンズ配置情報を取得する。また、予測ゴースト生成手段１０は、主光源検出手段９からの主光源Ｍの輝度、位置の情報に基づいて条件記憶メモリ１１ｂ内で一致する条件を検索し、それに対応した予測ゴーストＧｅの形状をゴースト記憶メモリ１１ａにおいて選択する。また、主光源Ｍの色情報に基づいて予測ゴーストＧｅの色を決定し、輝度情報から予測ゴーストＧｅの輝度を決定する。なお、ここで、予測ゴーストＧｅの輝度が所定値以下となる場合と、主光源Ｍの輝度、位置の情報、絞り、レンズ配置情報から予測ゴーストＧｅの大きさが所定値以下となる場合には、予測ゴースト生成手段１０はゴーストの生成を行わないようにする。

主光源検出手段９からの主光源Ｍの情報とゴースト管理メモリ１１のシミュレーション情報とに基づいて予測ゴースト生成手段１０で生成された予測ゴーストＧｅは、次段のマッチング手段１２に出力される。

マッチング手段１２は、撮像画像Ｐｉと予測ゴーストＧｅとを入力し、撮像画像Ｐｉと予測ゴーストＧｅとのパターンマッチングにより、実際の撮像画像Ｐｉから一致するゴーストＧを検索し、これを予測ゴースト画像Ｐｇとしてゴースト減算手段１３に出力する。ゴースト減算手段１３において、信号処理回路６からの撮像画像Ｐｉから予測ゴースト画像Ｐｇを減算し、これよって、撮像画像Ｐｉに含まれる実際のゴースト成分のみが除去され、ゴーストが補正・軽減された出力映像信号Ｐｏが得られる。

なお、必ずしも予測ゴースト画像Ｐｇのような減算用の画像を生成しなくてもよく、アドレス管理により実際の撮像画像Ｐｉからゴーストを減算するように構成することも可能である。

ゴースト減算手段１３で行われるゴーストの補正原理を図２を用いて説明する。

撮像画像ＰｉにゴーストＧ１，Ｇ２が含まれているものとする。これは、太陽などの主光源Ｍを原因として絞り３によって発生したゴーストである。予測ゴースト画像Ｐｇは、マッチング手段１２により撮像画像Ｐｉから検索された予測ゴーストＧｅ１，Ｇｅ２を基に生成された減算用の画像である。ゴースト減算手段１３内の減算器１３ａにおいて、撮像画像Ｐｉから予測ゴースト画像Ｐｇを減算することによってゴーストＧ１，Ｇ２の成分のみが除去され、ゴーストが補正・軽減された出力映像信号Ｐｏが得られる。

次に、図３と図４を用いてマッチング手段１２の具体的構成を説明する。

図３はマッチング手段１２の具体的構成を示すブロック図である。図３において、２１は信号処理回路６からの撮像画像Ｐｉからその輪郭を抽出し、撮像画像輪郭抽出結果Ｐｉ′を得る微分フィルタ処理回路、２２は予測ゴースト生成手段１０からの予測ゴーストＧｅからその輪郭を抽出し、マッチング対象画像Ｇｍを得る微分フィルタ処理回路、２３は撮像画像輪郭抽出結果Ｐｉ′の中のマッチング参照ブロックＰｍからマッチング対象画像Ｇｍを減算した結果の、撮像画像Ｐｉに発生している実際のゴーストＧに対する予測ゴーストＧｅの一致度αを算出するマッチング回路、２４は一致度αから予測ゴーストＧｅと一致するゴーストＧを撮像画像Ｐｉ内に見つけると、予測ゴースト画像Ｐｇを生成し、ゴースト減算手段１３に出力するマッチング判断回路である。

図４はマッチング回路２３の具体的構成を示すブロック図である。図４において、１４は予測ゴーストＧｅが微分フィルタ処理回路２２において輪郭が検出された結果のマッチング対象画像Ｇｍの座標を記憶しておく予測ゴースト位置記憶手段、１５はマッチング参照ブロックＰｍからマッチング対象画像Ｇｍを減算して実際のゴーストＧに対する予測ゴーストＧｅの一致度αを算出する際に、予測ゴースト位置記憶手段１４が与えるマッチング対象画像Ｇｍの座標に該当する場合のみ減算処理を行って一致度αを求める減算器である。

次に、上記のように構成されたマッチング手段１２の動作を説明する。このマッチング手段１２は、信号処理回路６からの撮像画像Ｐｉを入力し、予測ゴースト生成手段１０からの予測ゴーストＧｅを入力し、撮像画像Ｐｉにおいてパターンマッチングにより予測ゴーストＧｅと一致するゴーストを検索する。

すなわち、信号処理回路６からの撮像画像Ｐｉが微分フィルタ処理回路２１に入力され、輪郭抽出によって撮像画像輪郭抽出結果Ｐｉ′が得られる。撮像画像輪郭抽出結果Ｐｉ′におけるマッチング参照ブロックＰｍの単位でマッチング回路２３に送られる。同様に、予測ゴースト生成手段１０からの予測ゴーストＧｅが微分フィルタ処理回路２２に入力され、輪郭抽出によってマッチング対象画像Ｇｍが得られる。マッチング対象画像Ｇｍは、左上の（０，０）を原点に座標で管理されており、そのマッチング対象画像Ｇｍの座標は予測ゴースト位置記憶手段１４に記憶される。予測ゴースト位置記憶手段１４からマッチング対象画像Ｇｍの座標が減算器１５に渡される。減算器１５は、マッチング対象画像Ｇｍの座標に該当することを条件に、撮像画像輪郭抽出結果Ｐｉ′の中のマッチング参照ブロックＰｍからマッチング対象画像Ｇｍを減算し、撮像画像Ｐｉに発生している実際のゴーストＧに対する予測ゴーストＧｅの一致度αを算出する。算出された一致度αはマッチング判断回路２４に出力される。

以上において、撮像画像輪郭抽出結果Ｐｉ′内でマッチング参照ブロックＰｍを、例えば左上から右下へというようにすべての画素を網羅するようにずらしていき、一致度αを算出する。一致度αを入力したマッチング判断回路２４は、一致度αの値として最小値を与えるマッチング参照ブロックＰｍが予測ゴーストＧｅと一致したと判断する。

図５はマッチング回路２３の別の構成例を示す。１５ａはマッチング参照ブロックＰｍからマッチング対象画像Ｇｍを減算する減算器、１６は予測ゴースト抽出手段である。

減算器１５ａは、撮像画像輪郭抽出結果Ｐｉ′の中のマッチング参照ブロックＰｍからマッチング対象画像Ｇｍを減算し、減算結果を予測ゴースト抽出手段１６に渡す。減算器１５ａによる減算結果は、図４とは異なり、ゴースト以外の被写体の輪郭情報も含まれる。予測ゴースト抽出手段１６は、予測ゴースト位置記憶手段１４からのマッチング対象画像Ｇｍの座標に該当することを条件に、減算器１５ａによる減算結果を抽出し、撮像画像Ｐｉに発生している実際のゴーストＧに対する予測ゴーストＧｅの一致度αを算出する。算出された一致度αはマッチング判断回路２４に出力される。

撮像画像輪郭抽出結果Ｐｉ′において、ゴーストＧ内にはゴーストの他にも実際の被写体の輪郭も抽出される。したがって、撮像画像輪郭抽出結果Ｐｉ′をそのままマッチング判断に使用すると、誤認する可能性がある。そこで、マッチング回路２３では、予測ゴーストＧｅの付近のデータのみについて一致度αを判定している。すなわち、マッチング対象画像Ｇｍを座標で管理し、このマッチング対象画像Ｇｍの座標に該当する場合のみ、マッチング参照ブロックＰｍとマッチング対象画像Ｇｍとの差分から一致度αを求めている。その結果として、実際の撮像画像Ｐｉの輪郭を除いてゴーストのみに着目し一致度αを算出することが可能となる。

マッチング判断回路２４において、一致度αから予測ゴーストＧｅと一致するゴーストＧを撮像画像Ｐｉ内に見つけると、予測ゴースト画像Ｐｇを生成し、ゴースト減算手段１３に出力する。

（実施の形態２）
ゴーストは、ねじ、絞り等の鏡筒の構成物によって反射した光が撮像素子上で結像した結果として発生するものである。そのため、レンズ配置によっては、発生するゴースト形状のＮ倍の形状のゴーストも想定される（Ｎは、任意の実数）。そこで、予測ゴースト生成手段１０は、あらかじめ主光源Ｍの輝度と位置の情報、絞り、レンズ配置、鏡筒の構成情報を基に予測ゴーストＧｅの形状と色を生成し、さらにそのＮ倍の予測ゴーストについての情報もゴースト管理メモリ１１に記憶する。これによって、Ｎ倍の形状のゴーストについても補正可能となる。実数Ｎの取り得る値の範囲は、あらかじめシミュレーションにより求めてあるものとする。

上記のように、起こり得るＮ倍の大きさの形状に関する情報を記憶させるには大容量のメモリが必要になる。大容量のメモリを搭載しない、あるいは搭載できない撮像装置の場合は、図６のように構成する。図６では、想定される最小限のゴースト形状をゴースト管理メモリ１１に記憶させておき、ズーム手段１７を設けることにより、そのＮ倍の形状を生成する。予測ゴースト生成手段１０が撮像光学系の条件と光源情報により、ゴースト管理メモリ１１が記憶している予測ゴーストの中から、発生していると想定されるゴーストと相似の関係にあるゴースト形状を選択し読み出す。さらに、ズーム手段１７によりＮ倍の形状を生成し、予測ゴーストＧｅとして出力する。ここで、撮像光学系の条件と光源情報とズーム倍率の関係については、あらかじめシミュレーションにより求めてあるものとする。図５のような形態をとることにより、メモリ容量が小さい撮像装置においてもゴースト補正を実現することが可能となる。

（実施の形態３）
撮像装置の信号処理回路６は一般的に図７のようになっており、光源の色温度によって白の被写体に対する色のバランスを補正するＡＷＢ回路３１、テレビ等の表示特性の逆数をかけて光量に応じてリニアに表示させるγ補正回路３２、輝度信号生成回路３３、輝度信号生成後、高域成分を足し合わせて解像度を高く見せる輪郭強調処理回路３４、加算器３５、色分離回路３６、センサの分光特性や信号処理で崩れた色相バランスを調整するマトリクス処理回路３７等で構成されている。

ここで、輪郭強調処理回路３４の動作について図８を用いて説明する。撮像装置に入力された画像信号は、レンズや光学ローパスフィルタを通ることで高周波成分が鈍ってしまう。高周波成分が鈍って入力された画像信号に対し、元の信号のように高周波成分を持ち上げて、解像度を復元するのが輪郭強調処理である。処理例として、高周波成分が鈍った信号Ｓ１が入力された場合を挙げると、信号Ｓ１に微分フィルタをかけて入力信号の高周波成分つまり入力信号の輪郭のみを抜き出した信号Ｓ２を生成する。そして、実信号Ｓ１に信号Ｓ２を加算することで、鈍っていた高周波成分を持ち上げて輪郭を強調することが可能となる（Ｓ３）。

この原理を利用すれば、輪郭強調処理回路３４内の微分フィルタを図３の微分フィルタ処理回路２１に兼用することが可能である。微分フィルタ処理回路を兼用したときの回路図を図９に示す。

予測ゴースト生成手段１０はゴースト管理メモリ１１から予測ゴーストＧｅを読み出し、輪郭強調処理回路３４で輪郭を抽出し、マッチング対象画像Ｇｍとしてマッチング手段１２へ出力する。信号処理回路６から出力された撮像画像Ｐｉも輪郭強調処理回路３４に入力され、輪郭情報を取り出し、マッチング手段１２へと渡される。マッチング手段１２では、実施の形態１で述べたようなパターンマッチングにより、予測ゴースト画像Ｐｇを生成し、ゴースト減算手段１３で実際の撮像画像Ｐｉから予測ゴースト画像Ｐｇが減算され、出力映像信号Ｐｏが得られる。

輪郭強調処理回路３４においては、撮影モード等でフィルタ特性を複数もたせておく場合が多い。また、撮像装置の光量制御において、低照度時は増幅器５内でアナログゲインのレベルを上げて信号を増幅するが、これによりノイズ成分まで増幅されることになり、その信号が輪郭強調処理回路３４を通ることによりノイズ成分まで強調してしまう。そのため、アナログゲインのレベルによってもフィルタ特性が変化することがある。微分フィルタ処理回路２１を輪郭強調処理回路３４内の微分フィルタで兼用することで、撮像画像Ｐｉから輪郭を抽出する際に、レンズ情報や被写体情報、主光源検出手段９から得られる主光源情報により使用する微分フィルタ特性を選択することが可能となる。また、撮像装置のレンズの構成枚数によっても、発生するゴーストの形状が異なるため、カメラシステムによって、複数存在する微分フィルタ特性の中から最適な特性をもつフィルタを選択することが可能になる。

（実施の形態４）
スチルカメラやムービーカメラにおいて、ＭＰＥＧ形式での動画記録機能を搭載したシステムでは、図１０のようなＭＰＥＧビデオ符号化処理が行われる。図１０において動き検出エンジン４１ではマクロブロックを単位として参照画像との差分が小さくなる位置を探索し、求めた位置情報（動きベクトル）と差分値を符号化している。ここで、図１１を用いて動き検出エンジン４１の処理を説明する。

参照フレームＦ１内の候補ブロックＢ１と、符号化対象フレームＦ２内の符号化対象マクロブロックＢ２をマクロブロック単位で比較し、ブロック内の画素毎の差分の総和Ｄを式（１）のブロックマッチング法により求める。差分の総和Ｄが最小となるときの参照フレームＦ１中の候補ブロックＢ１の位置と、符号化対象マクロブロックＢ２の位置との差が動きベクトルＶとなる。

Ｄ＝Σ｜Ｐｉ−Ｒｉ｜ ・・・（１）
ここで、ｉはマクロブロック中の画素数である。図１１では、ブロックを４×４画素で描いているが、実際にＭＰＥＧ２では１６×１６画素の単位で処理を行う。

このように動画記録機能を有したカメラシステムでは、参照画像との差分と、その位置情報を求めるための動き検出エンジン４１があらかじめ搭載されているため、この動き検出エンジン４２をマッチング手段１２として兼用することが可能となる。動き検出エンジン４１をマッチング手段１２として使用する場合、符号化対象フレームＦ２の代わりに撮像画像Ｐｉを入力とし、参照フレームＦ１の候補ブロックＢ１の代わりに予測ゴーストＧｅのマッチング対象画像Ｇｍを比較することになる。ブロック内の画素毎の差分の総和が最小となる位置、つまり予測ゴーストと一致するゴーストの位置を求めることが可能となり、撮像画像からゴーストを減算し補正することができる。

（実施の形態５）
光源や絞り、レンズ配置の状態によっては、図２のように撮像画像ＰｉにゴーストＧが複数発生する場合もある。このような場合、すべてのゴーストに対してパターンマッチング処理を行っていると処理時間が大幅に長くなる。そのため、ゴーストが複数発生する条件と、各ゴーストの相対的な位置関係についても、あらかじめシミュレーションによって求めておき、ゴースト管理メモリ１１内の条件記憶メモリ１１ｂに記憶させておく。そうすることで、１つの予測ゴーストから残りの予測ゴーストの位置が求められるため、発生している複数のゴーストのうち少なくとも１つのゴーストパターンをマッチング手段１２によって検出すれば、同時に残りのゴーストについても予測ゴーストを生成することが可能になる。

（実施の形態６）
図１２は、ゴースト減算手段１３において撮像画像信号Ｓ１１が入力され、そのときの予測ゴーストの信号レベルがＳ１２である場合の減算結果（Ｓ１３）を画素単位の信号レベルで図示している。横軸は１画素１画素の信号を表し、合計８画素の信号の減算処理を表している。入力信号Ｓ１１から予測ゴーストＳ１２を減算してゴースト成分を除去するのであるが、この場合、入力信号が飽和レベルまで達しているため、減算することによってゴーストが発生している画素の信号レベルが周辺の画素に比べ低くなってしまう。したがって、減算することによってゴーストは除去されず、逆に信号レベルの低い、つまり暗いゴーストが発生してしまう。この不都合を回避するためには、ゴースト減算手段１３は入力された撮像画像の中でも所定の閾値以上は飽和していると判断し、減算を行わないようにすればよい。

本発明の撮像装置は、簡単な構成で高速にゴーストを除去することが可能で、きれいな撮影画像を得るスチルカメラ・ムービーカメラ等として有用である。

本発明の実施の形態１における撮像装置の構成を示すブロック図 本発明の実施の形態１におけるゴーストの補正原理の説明図 本発明の実施の形態１におけるマッチング手段の具体的構成を示すブロック図 本発明の実施の形態１におけるマッチング回路の具体的構成を示すブロック図 本発明の実施の形態１におけるマッチング回路の別の具体的構成を示すブロック図 本発明の実施の形態２における撮像装置のズーム手段の構成を示すブロック図 本発明の実施の形態３における撮像装置の信号処理回路の構成を示すブロック図 本発明の実施の形態３における輪郭強調処理の説明図 本発明の実施の形態３における微分フィルタ兼用時の撮像装置の構成を示すブロック図 本発明の実施の形態４におけるＭＰＥＧビデオ符号化処理の構成を示すブロック図 本発明の実施の形態４における動き検出エンジンの処理の説明図 本発明の実施の形態６における撮像装置の飽和時の減算処理の不具合説明図 ゴースト発生の原理説明図

符号の説明

１ 被写体
２ レンズ
３ 絞り
４ 撮像素子
５ 増幅器
６ 信号処理回路
７ 露出時間制御回路
８ 絞り制御回路
９ 主光源検出手段
１０ 予測ゴースト生成手段
１１ ゴースト管理メモリ
１１ａ ゴースト記憶メモリ
１１ｂ 条件記憶メモリ
１２ マッチング手段
１３ ゴースト減算手段
１３ａ，１５，１５ａ 減算器
１４ 予測ゴースト位置記憶手段
１６ 予測ゴースト抽出手段
１７ ズーム手段
２１，２２ 微分フィルタ処理回路
２３ マッチング回路
２４ マッチング判断回路
Ｇｅ 予測ゴースト
Ｇｍ マッチング対象画像
Ｍ 主光源
Ｐｉ 撮像画像
Ｐｉ′ 撮像画像輪郭抽出結果
Ｐｇ 予測ゴースト画像
Ｐｍ マッチング参照ブロック
Ｐｏ 出力映像信号
α 一致度

Claims (19)

1. レンズ、絞り、撮像素子および鏡筒からなる撮像光学系を介して得られる撮像信号の信号処理を行う信号処理回路と、
   前記信号処理回路による撮像画像に含まれる主光源を検出する主光源検出手段と、
   前記主光源と前記撮像光学系の配置情報および前記鏡筒の構成情報から想定される予測ゴーストを生成する予測ゴースト生成手段と、
   前記撮影画像において前記予測ゴーストをパターンマッチングにより検索して予測ゴースト画像を得るマッチング手段と、
   前記撮像画像から前記予測ゴースト画像を減算するゴースト減算手段とを備えた撮像装置。
2. 前記主光源検出手段は、前記撮像画像において、輝度、位置、色の情報に基づいて前記主光源を判定する請求項１に記載の撮像装置。
3. 前記主光源検出手段は、前記撮影光学系の絞り値に応じた輝度レベル以上の輝度レベルをもつ画像部分を前記主光源として検出する請求項１に記載の撮像装置。
4. 前記主光源検出手段は、前記撮像素子の露出時間に応じた輝度レベル以上の輝度レベルをもつ画像部分を前記主光源として検出する請求項１に記載の撮像装置。
5. 前記予測ゴースト生成手段は、主光源の輝度と位置の情報、および絞り、レンズ配置、鏡筒の構成情報を基に前記予測ゴーストを生成する請求項１から請求項４までのいずれかに記載の撮像装置。
6. 前記予測ゴースト生成手段は、主光源の輝度と位置の情報、および絞り、レンズ配置、鏡筒の構成情報から得られる予測ゴーストの形状を記憶しておく記憶手段を有している請求項５に記載の撮像装置。
7. 前記予測ゴースト生成手段は、あらかじめ主光源の輝度と位置の情報、絞り、レンズ配置、鏡筒の構成情報を基に予測ゴーストの形状と色を生成し、起こり得るＮ倍（Ｎは、任意の実数）の形状の予測ゴーストについても情報を前記記憶手段に記憶する請求項１から請求項４までのいずれかに記載の撮像装置。
8. 前記予測ゴースト生成手段は、前記主光源検出手段からの輝度と位置の情報から前記予測ゴーストの形状を決定し、主光源の色の情報から前記予測ゴーストの色を決定し、輝度の情報から前記予測ゴーストの輝度を決定する請求項１から請求項７までのいずれかに記載の撮像装置。
9. 前記予測ゴースト生成手段は、前記主光源検出手段から得られた輝度の情報から前記予測ゴーストの輝度が所定値以下となる場合は前記予測ゴーストの生成を停止する請求項１から請求項８までのいずれかに記載の撮像装置。
10. 前記予測ゴースト生成手段は、前記主光源の輝度と位置の情報、絞り、レンズ配置情報から前記予測ゴーストの大きさが所定値以下となる場合は前記予測ゴーストの生成を停止する請求項１から請求項８までのいずれかに記載の撮像装置。
11. 前記予測ゴースト生成手段は、前記記憶手段に記憶されたゴーストパターンにズームをかけて前記マッチング手段に渡すためのズーム手段を有している請求項６から請求項１０までのいずれかに記載の撮像装置。
12. 前記マッチング手段は、前記撮影画像から前記予測ゴースト生成手段で生成された予測ゴーストと一致するゴーストをパターンマッチングにより検索する請求項１から請求項１１までのいずれかに記載の撮像装置。
13. 前記マッチング手段は、ゴーストの検索方法として、撮影画像、予測ゴースト画像ともに微分フィルタをかけ輪郭を抽出し、その差分が最も小さくなる位置を検索する請求項１から請求項１２までのいずれかに記載の撮像装置。
14. 前記マッチング手段は、前記微分フィルタの処理後、前記撮影画像の輪郭と前記予測ゴースト画像の輪郭の差分を求める際に、前記予測ゴーストの輪郭付近のデータのみをマッチング判定に使用する請求項１３に記載の撮像装置。
15. 前記微分フィルタは、前記信号処理回路における輪郭補正処理に使われる回路と兼用で使用する請求項１３または請求項１４に記載の撮像装置。
16. 前記マッチング手段は、パターンマッチングエンジンには、ＭＰＥＧなどの動画符号化用の動き検出エンジンを兼用で使用する請求項１から請求項１５までのいずれかに記載の撮像装置。
17. 前記マッチング手段は、少なくとも１つのゴーストパターンを検出すると、事前のシミュレーション結果により、同時に発生するゴーストを検出する請求項１から請求項１６までのいずれかに記載の撮像装置。
18. 前記ゴースト減算手段は、前記予測ゴースト生成手段により生成され、前記マッチング手段により一致したゴーストを、前記撮像画像から減算する請求項１から請求項１７までのいずれかに記載の撮像装置。
19. 前記ゴースト減算手段は、前記撮像画像の中でも飽和している部分に対しては減算を停止する請求項１から請求項１８までのいずれかに記載の撮像装置。

Images