JP2006211368A - 撮像装置およびスミア補正処理装置 - Google Patents

Abstract

【課題】 画質劣化の少ない良好なスミア補正処理を行うことのできる撮像装置を提供する。
【解決手段】 撮像装置は、画像信号を得る撮像部１１０と、垂直ＯＢ画素の信号からスミア成分を検出するスミア検出部１１２と、画像信号中の少なくとも一の候補検出ラインとスミア成分の相関に基づいて、候補検出ライン上のスミア発生位置候補を検出するスミア発生位置候補検出部１１３と、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とからスミア発生領域を検出するスミア発生領域検出部１１４と、検出されたスミア発生領域において画像信号からスミア成分を減算することによってスミア補正を行うスミア成分減算部１１５とを備えている。
【選択図】 図１

Description

本発明は、撮像装置に関し、特に、高輝度被写体を撮像した際に発生するスミアの補正を行うスミア補正処理に関する。

固体撮像素子としてＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷結合素子）を用いた撮像機器の開発がますます盛んになっている。現在実用化されているＣＣＤのうち最もよく使われているのがＩＴ−ＣＣＤ（Ｉｎｔｅｒｌｉｎｅ Ｔｒａｎｓｆｅｒ ＣＣＤ、インタライン転送ＣＣＤ）である。ＩＴ−ＣＣＤは、光電変換を行うホトダイオードの間にそれぞれ垂直転送用ＣＣＤが配列され、最後の行の垂直転送ＣＣＤに隣接して水平転送ＣＣＤを１本設けた構成を有している。

さて、ＩＴ−ＣＣＤは、スミアと呼ばれる偽信号が発生する欠点を持つ。スミアは、垂直転送部への光の混入によって発生する。垂直転送部は遮光されており入射光の影響をうけないようにされてはいるものの、遮光の不完全や、多重反射による側面からの光の混入などの要因によって垂直転送部にわずかに光が入り込む場合がある。

そして、高輝度被写体を撮像する場合、垂直転送部への光の混入によって、本来の光電変換で得られた電荷に加えて混入光による電荷が付加されることとなる。垂直転送部への光の混入は、垂直方向に縞状の明るい帯の偽信号となって画像上に現れ、画質を劣化させる。

従来のスミア補正を行う撮像装置は例えば特許文献１に開示されている。図４は、従来の撮像装置に備えられたスミア補正装置を示している。また、図５は、図４の装置による従来のスミア補正処理の概要を示している。特許文献１に記載されている通り、スミア補正装置は、Ａ／Ｄコンバータ１０１、ラインメモリ１０２、フィールドメモリ１０３、ディジタル演算プロセッサ１０４およびＤ／Ａコンバータ１０５を備えている。

図４において、撮像素子からの信号は、Ａ／Ｄコンバータ１０１によりサンプリングされ、ディジタル化される。ラインメモリ１０２は、２つのラインについての記憶領域を有しており、その一方（以下、第１のスミア情報記憶部という。）には、補正処理を受けようとする被補正画面の直前画面におけるＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）セルからの信号が格納され、他方（以下、第２のスミア情報記憶部という。）には被補正画面におけるＯＢセルからの信号が格納される。フィールドメモリ１０３は、被補正画面の画像信号を記憶する。

ディジタル演算プロセッサ１０４は、ラインメモリ１０２及びフィールドメモリ１０３への書込み・読出し制御を行う。そして、ディジタル演算プロセッサ１０４は、ラインメモリ１０２における第１のスミア情報記憶部の示すスミア発生位置を始端位置とし、且つ、上記第２のスミア情報記憶部の示すスミア発生位置を終端位置とする帯状領域を補正対象領域として、フィールドメモリ１０３の画像信号に生じているスミア帯を消去するための補正処理を実行する。補正処理後の信号は、Ｄ／Ａコンバータ１０５によりアナログ信号に変換されて、表示制御系に送られる。

図５を参照して上記の装置によるスミア補正処理を説明すると、まず、現在、図５（ａ）に示す画面２０１についての補正処理が終了しているとする。ラインメモリ１０２及びフィールドメモリ１０３の内容は、画面２０１の補正処理後の状態にあり、すなわち、図５（ｂ）に示す次の画面２０５の画像信号が入力される直前の状態にある。

図５（ａ）は、高輝度被写体画像２０２、スミア帯２０３およびＯＢライン２０４を示している。この画面２０１では、高輝度被写体画像２０２が、符号２０２Ａで示す位置から符号２０２Ｂで示す位置まで等速度で移動している。そして、高輝度被写体画像２０２の移動に応じてスミア帯２０３が生じている。スミア帯２０３は、傾きの等しい直線状のエッジを持った斜めの帯状領域になっている。

したがって、図５（ａ）の補正処理が終了したとき、ラインメモリ１０２の第２のスミア情報記憶部は、ＯＢライン２０４の情報を格納している。そして、フィールドメモリ１０３は、画面２０１のＯＢライン２０４以外の画像を格納している。

そして今、図５（ｂ）に示す画面２０５の画像信号が入力されたとする。図５（ｂ）には、スミア帯２０６およびＯＢライン２０７が示されている。この画面２０５では、高輝度被写体画像２０２が、符号２０２Ｂで示す位置から符号２０２Ｃで示す位置まで等速度で移動している。その結果、スミア帯２０６が生じており、スミア帯２０６は傾き一定の直線状のエッジを持った斜めの帯状領域となっている。

図５（ｂ）の画像信号が入力されると、ディジタル演算プロセッサ１０４は、その受光セルからの信号をフィールドメモリ１０３に書き込むとともに、当該画面２０５の一画面前の画面２０１の画像信号を削除する。また、ディジタル演算プロセッサ１０４は、ＯＢセル３０２からの信号をラインメモリ１０２の第２の記憶部に書き込む。また、ディジタル演算プロセッサ１０４は、画面２０１についてのスミア情報を、第２の記憶部から第１の記憶部にシフトさせる。

続いて、ディジタル演算プロセッサ１０４は、ラインメモリ１０２の第１、第２の記憶部に記憶されているスミア情報が示す両スミア発生位置を結ぶ直線を求める。そして、ディジタル演算プロセッサ１０４は、帯状のエリア座標からなる補正対象領域を特定する。

図５（ｃ）において、画面２０８は、フィールドメモリ１０３内の画像情報である。図５（ｃ）は、上記のようにして求められた補正対象領域を示しており、補正対象領域は、線２０９１、２０９２で囲まれる領域である。

そして、ディジタル演算プロセッサ１０４は、補正対象領域からスミア帯を消去するための補正を行う。この補正処理は、ラインメモリ１０２のスミア情報が示すスミアレベルをフィールドメモリ１０３の画像信号から差引くことにより達成される。その結果、図５（ｄ）の画像が得られる。

ただし、上記の補正処理では直線状の帯領域が補正対象領域として求められており、このことは、高輝度被写体が静止し、または、等速直線運動を行っていることを前提としている。そのため、高輝度被写体が等速直線運動以外の運動を行うと、補正対象領域が不正確になる。

そこで、従来技術は、高輝度被写体が等速直線運動でない運動を行う場合のスミア補正を行えるようにするために、さらに下記の処理を提案をしている。すなわち、従来技術は、スミア帯のエッジを前後のレベル変動からすることを提案している。例えば、図５（ｃ）から、スミア帯の側縁点が、画像のエッジ検出によって求められる。そして、エッジ位置を結んで得られる領域が、補正対象領域として特定される。

スミア発生原因となる高輝度被写体の運動が等速度運動ではない場合、スミア帯の側縁線が曲線状になったり、また、側縁線の傾きが変化する。そのような場合でも、上記のエッジ検出によって補正対象領域を求められる。
特開平６−２６８９２２号公報（第５−６ページ、図１、図２）

しかしながら、上述した従来の撮像装置はスミアのエッジ位置からスミア領域を検出しようとしているが、通常の被写体とスミア成分が混在する画像からスミア成分のエッジのみを抽出することは困難である。また、スミアの波形形状は、発生元である高輝度被写体の輝度分布形状に依存する。光源エッジがはっきりしない場合、すなわち光源の中心から次第に輝度が落ちるような場合、発生するスミアのエッジもはっきりしなくなる。この点でもスミア成分のエッジの抽出は困難である。

従来の撮像装置は、上記のようにスミア補正をエッジ検出で求めるのが困難なため、スミア補正処理の処理位置ズレが発生し、画質が劣化するといった問題を有していた。

本発明は従来の問題を解決するもので、その目的は、画質劣化の少ない良好なスミア補正処理を行うことのできる撮像装置を提供することにある。

本発明の撮像装置は、画像信号を得る撮像手段と、垂直ＯＢ画素の信号からスミア成分を検出するスミア検出手段と、前記画像信号中の少なくとも一の候補検出ラインと前記スミア成分の相関に基づいて、前記候補検出ライン上のスミア発生位置候補を検出するスミア発生位置候補検出手段と、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とからスミア発生領域を検出するスミア発生領域検出手段と、検出された前記スミア発生領域において画像信号から前記スミア成分を減算することによってスミア補正を行うスミア成分減算手段と、を備えている。

この構成により、撮像装置は、画像信号中の少なくとも一の候補検出ラインとスミア成分の相関に基づいて候補検出ライン上のスミア発生位置候補を検出するように構成される。画像中のラインの画像とスミア成分の相関に基づいてスミア発生領域を検出しているので、スミア発生領域を正確に検出できる。したがって、画質劣化の少ない良好なスミア補正処理を行うことができる。

本発明の撮像装置において、スミア発生位置候補検出手段は、候補検出ラインの画像とスミア成分の正規化相関値を算出してもよい。スミア発生位置候補検出手段は、画像中の複数のラインの各々とスミア成分の相関を求めてよい。複数のラインは例えば互いに離れた所定のラインである。

スミア発生位置候補検出手段は、複数のラインの全部からスミア発生位置候補（相関部分）を求められなくてもよい。本発明の範囲内で、複数のラインのうちの一部からスミア発生位置候補が見つかれば、見つかったスミア発生位置候補を使ってスミア発生領域が検出されればよい。

本発明の撮像装置において、スミア発生領域検出手段は、垂直ＯＢ画素のスミア発生位置と検出されたスミア発生位置候補とを通るようにスミア発生領域を特定してよい。スミア発生領域は例えば折れ線状の帯であってもよく、また例えば曲線状の帯であってもよい。垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とが、折れ線で結ばれてもよく、また、曲線で結ばれてもよい。

本発明の撮像装置は、前記画像信号からスミア発生元である高輝度被写体を検出するスミア発生元位置検出手段を備えてもよい。前記スミア発生領域検出手段は、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補に加えて、検出された高輝度被写体の位置に基づいてスミア発生領域を検出する。この構成により、スミア発生位置を正確に得ることができ、良好なスミア補正処理を行える。

本発明のスミア発生領域検出手段は、高輝度被写体の位置に基づいてスミア発生領域の端部を求めてもよい。この構成により、高輝度被写体の一方の側にスミアが発生する場合にスミア発生領域を正確に求められる。

本発明のスミア発生領域検出手段は、前記スミア発生位置候補検出手段にて前記候補検出ラインと前記スミア成分との相関が低くて前記スミア発生位置候補が検出されなかったときに、前記高輝度被写体の位置を通るようにスミア発生領域を求める。スミア発生領域は、帯が高輝度被写体を通るように求められてよい。この構成により、スミア発生位置候補検出手段でスミア発生位置候補が検出されなかったときでも、高輝度被写体の位置を使ってスミア発生領域を求めることができる。

本発明の別の態様は、画像信号中のスミアを補正するスミア補正処理装置である。このスミア補正処理装置は、垂直ＯＢ画素の信号からスミア成分を検出するスミア検出手段と、画像信号中の少なくとも一の候補検出ラインと前記スミア成分の相関に基づいて、前記候補検出ライン上のスミア発生位置候補を検出するスミア発生位置候補検出手段と、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とからスミア発生領域を検出するスミア発生領域検出手段と、検出された前記スミア発生領域において画像信号から前記スミア成分を減算することによってスミア補正を行うスミア成分減算手段とを備えている。この構成によっても、上述の撮像装置の態様と同様に、良好なスミア補正処理を行うことができる。

本発明の別の態様はスミア補正処理方法である。このスミア補正処理方法は、画像信号を取得し、垂直ＯＢ画素の信号からスミア成分を検出し、前記画像信号中の少なくとも一の候補検出ライン上のスミア発生位置候補を前記候補検出ラインと前記スミア成分との相関に基づいて検出し、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とからスミア発生領域を検出し、検出された前記スミア発生領域において画像信号から前記スミア成分を減算することによってスミア補正を行う。この方法によっても、上述の撮像装置の態様と同様に、良好なスミア補正処理を行うことができる。

本発明の別の態様はコンピュータ読取可能な記録媒体である。この記録媒体は、画像信号を取得し、垂直ＯＢ画素の信号からスミア成分を検出し、前記画像信号中の少なくとも一の候補検出ライン上のスミア発生位置候補を前記候補検出ラインと前記スミア成分との相関に基づいて検出し、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とからスミア発生領域を検出し、検出された前記スミア発生領域において画像信号から前記スミア成分を減算することによってスミア補正を行うスミア補正処理プログラムを記録している。この構成によっても、上述の撮像装置の態様と同様に、良好なスミア補正処理を行うことができる。この態様により、記録媒体をコンピュータで読み取ってＭＰＵ、ＤＳＰ等で実行することにより、スミア補正処理装置の機能を実現することができる。

本発明の別の態様はプログラムである。このプログラムは、画像信号を取得し、垂直ＯＢ画素の信号からスミア成分を検出し、前記画像信号中の少なくとも一の候補検出ライン上のスミア発生位置候補を前記候補検出ラインと前記スミア成分との相関に基づいて検出し、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とからスミア発生領域を検出し、検出された前記スミア発生領域において画像信号から前記スミア成分を減算することによってスミア補正を行うスミア補正処理をコンピュータに実行させる。この構成によっても、上述の撮像装置の態様と同様に、良好なスミア補正処理を行うことができる。この態様により、上記プログラムをＭＰＵ、ＤＳＰ等で実行することによりスミア補正処理装置の機能を実現することができる。

上記のように、本発明は、画像信号中の候補検出ラインとスミア成分の相関に基づいて候補検出ライン上のスミア発生位置候補を検出しているので、スミア発生領域を正確に検出でき、したがって、画質劣化の少ない良好なスミア補正処理を行うことができるという効果を有する撮像装置を提供できる。

以下、本発明の実施の形態のスミア補正処理装置について、図面を用いて説明する。

本発明の第一の実施の形態のスミア補正処理装置を図１に示す。図１において、スミア補正処理装置は、画像信号を得る撮像部１１０と、画像信号を蓄積するフレームメモリ１１１と、垂直ＯＢ領域のスミア成分を検出するスミア検出部１１２と、画像中のスミア発生位置の候補を検出するスミア発生位置候補検出部１１３と、画像中のスミア発生領域を検出するスミア発生領域検出部１１４と、画像からスミア成分を減算しスミア補正を行うスミア成分減算部１１５とを備えている。以下、図１の各構成について詳細に説明する。

撮像部１１０は、被写体の画像信号を得る構成である。撮像部１１０は、撮像素子と画像信号処理部（図中の前処理部）で構成されている。撮像素子はＩＴ−ＣＣＤで構成され、ＩＴ−ＣＣＤから画像信号が読み出される。画像信号処理部は、ＣＤＳ（相関二重サンプリング）、利得制御、ガンマ変換などの処理を行う。撮像部１１０によって得られた画像信号は、フレームメモリ１１１に蓄積される。フレームメモリ１１１は、被補正画面記憶部である。

スミア検出部１１２は、画像信号の垂直ＯＢ部分からスミア成分を検出する。スミアはＯＢにも発生する。ＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）は、画像信号における黒レベルの基準である。露光をしない場合の信号量をＯＢから得ることができる。ＯＢの処理では、水平ＯＢ期間をクランプすることにより、画像信号の直流成分が再生される。水平ＯＢによるクランプ値が基準になる。そして、ノイズ想定量等を付加した値が閾値になる。スミア検出部１１２は、このような閾値を用いて、垂直ＯＢ部からスミア成分を検出する。このとき、スミア成分は、有限区間の一次元信号とみることができる。

ＯＢラインが複数である場合は、平均値や、中間値を算出することで、ノイズ成分を抑圧できるような構成を設けることが望ましい。本実施の形態の構成では、フレームメモリが設けられている。そこで、動き補償時間方向巡回型フィルタを構成することによってノイズ成分が抑圧されてもよい。

また、本実施の形態では、画像領域の上下に垂直ＯＢ画素（光学黒画素）がライン状に並んで設けられており、ＯＢライン（ＯＢ画素の水平方向のライン）が上側および下側にある。スミア検出処理では、上側または下側のＯＢ画素からスミア成分が検出されてもよい。また、上側および下側のＯＢ画素からスミア成分が検出されてもよい。このとき、スミア検出部１１２は、上下のスミア成分の平均等の代表成分を求めてもよい。その他、画像の側縁には水平ＯＢ画素が縦方向にライン状に配置されている。

スミア発生位置候補検出部１１３は、下記に説明するように、画像信号を、スミア検出部１１２で検出したスミア成分と比較することによって、画像中のスミア発生位置の候補を検出する。

スミアを一次元波形としてみた場合、その波形形状は、おおよそスミア発生元である高輝度被写体の輝度分布形状に依存する。そして、スミアは概して複雑な波形形状を持つ。

すなわち、スミア発生元である高輝度被写体の中で、より輝度が高い部分からはより多いスミアが発生する傾向がある。一般的な高輝度被写体は、中心が最も輝度が高く、周囲に行くに従って輝度が落ちる。ただし、高輝度被写体の輝度は必ずしも単調減少するわけではない。また、スミアは、多重反射による垂直転送路側面からの光の混入によっても発生する。今日一般に用いられているＩＴ−ＣＣＤにて発生するスミアでは、多重反射によるスミアが支配的である。これらの要因が相まって、複雑なスミア形状が形成される。

スミアの形状は上記のように複雑である。しかしながら、同一フィールド内では、スミアの水平方向の波形形状がほとんど変化しない。したがって、画像中のスミアを検出するのには、水平方向の波形のマッチングが有効であるといえる。

スミア発生位置候補検出部１１３は、水平方向のスミア形状が画像中でほとんど変換しないという上記のスミアの特性を利用して、画像の比較によりスミア発生位置候補を求める。このような特性に従えば、垂直ＯＢ画素のライン上のスミアと、画像中の水平ライン（ＯＢラインに平行）上のスミアでは、スミアの形状がほぼ同じである。そこで、水平ラインの画像とスミア成分の相関が求められる。そして、水平ライン上でスミア成分とマッチングする部分が、スミア発生位置候補として求められる。

より詳細には、スミア発生位置候補検出部１１３は、画像信号の水平１ラインとスミア信号の正規化相関値を算出する。そして、正規化相関値が最大になる部分が、スミア発生位置候補になる。

スミア発生位置候補検出部１１３は、画像中の複数のラインの各々から、スミア発生位置候補を求める。各ラインが、候補検出ライン（スミア発生位置候補を求める対象のライン）であり、ＯＢラインと平行である。複数のラインは、予め設定された所定のラインであり、これら複数のラインが互いに離れている。あるいは、画像の全ラインが候補検出ラインでもよい。ただし、処理の負荷を考えると、候補検出ラインが全ラインでない方がよい。

また、スミア発生位置候補検出部１１３は、所定の閾値以上の相関値が得られたときに、スミア発生位置候補を特定する。そのため、相関値が閾値以下であれば、スミア発生位置候補が検出されない。この場合、スミア発生位置候補の検出に失敗したことになる。しかし、本発明の範囲内で、スミア発生位置候補は、処理対象の複数のラインのうちの一部から検出されればよい。そして、検出されたスミア発生位置候補が、次のスミア発生領域検出部１１４で使われればよい。

ここで、スミア成分は、本来の被写体へ加算される形で画像中に現れる。本来の被写体は、様々な形状が含まれる。そして、画面全体を見れば、水平方向に平坦な被写体も多少であれば存在することが期待できる。本来の被写体が平坦であれば、スミア発生位置候補検出部１１３は、正規化相関をとることによって、本来の画像に加算された状態のスミア信号の位置を検出することができる。

また、スミア発生位置候補は、垂直ＯＢ画素におけるスミア発生位置の近くにある。このことはスミアの発生原理から自明である。そこで、正規化相関によるマッチングは、垂直ＯＢ画素におけるスミア発生位置の周辺のみで実施すればよい。具体的には、スミア発生位置周囲の所定範囲の画像信号に対して、相関計算が行われる。逆に、ＯＢにおけるスミア発生位置から水平方向に離れた位置が候補として検出された場合は、誤検出であると判定することもできる。

次に、スミア発生領域検出部１１４について説明する。スミア発生領域検出部１１４は、スミア検出部１１２で検出されたＯＢでのスミア発生位置を必ず通り、スミア発生位置候補検出部１１３で得られた候補位置を通るように、スミア発生領域を検出する。

スミア発生領域の検出では、折れ線による近似が行われてもよい。この場合、スミア発生位置候補とＯＢでのスミア発生位置が折れ線で結ばれる。また、関数による近似が行われてもよい。この場合は、スミア発生位置候補とＯＢでのスミア発生位置から、関数を満たす領域が求められる。精度の面からは関数による近似が望ましい。関数近似を行う場合、近似演算量と精度はトレードオフの関係である。そこで、関数の構成は、実現する装置の要求性能等によって決定すればよい。

図３は、スミアが発生した画像を示している。図３（ａ）は、スミア発生元である高輝度被写体Ｐが静止している場合のスミアＳを示している。スミアＳは、画面の垂直方向に真直な形で発生する。図３（ｂ）は、高輝度被写体Ｐが等速直線運動をしている場合のスミアＳを示している。この場合、スミアＳは、斜線した直線状の帯となる。図３（ｃ）は、それ以外の運度、たとえば等加速度運動が行われている場合のスミアＳである。この場合は、図３（ｃ）に示すように、スミアＳが曲線となる。

したがって、スミア発生元である高輝度被写体Ｐが静止または等速直線運動をしている場合、スミア発生領域の近似線は、直線となる。そうでなければ、近似線は曲線となる。このような近似線からなるスミア発生領域が、スミア発生領域検出部１１４により検出される。

スミア成分減算部１１５は、フレームメモリに格納されている画像信号から、スミア成分を減算する。これにより、スミア成分減算部１１５はスミア補正を行う。減算を行う位置は、スミア発生領域検出部１１４にて検出されたスミア発生位置である。そして、スミア成分減算部１１５は、スミア検出部１１２によって検出されたスミア成分を、画像信号から減算する。

以上に撮像装置の各部構成について説明した。次に、上記の撮像装置の全体的な動作を説明する。

図１において、まず、撮像部１１０によって画像信号が得られる。画像信号は、フレームメモリ１１１、スミア検出部１１２およびスミア発生位置候補検出部１１３に供給される。フレームメモリ１１１は、供給された画像信号を蓄積する。この画像信号は後にスミア補正の対象になる。

スミア検出部１１２は、垂直ＯＢ画素の信号を取り込む。そして、スミア検出部１１２により、垂直ＯＢ部分の信号からスミア成分が検出される。検出されたスミア成分の情報は、スミア発生位置候補検出部１１３に供給される。スミア成分の情報は、スミアの位置と形状を含んでいる。

スミア発生位置候補検出部１１３では、画像信号とスミア成分の情報が比較されて、スミア発生位置候補が検出される。ここでは、前述したように、画像の水平１ラインとスミア信号の正規化相関値が計算される。そして、スミア成分とマッチングするスミア発生位置候補が求められる。この処理が、複数のラインの各々に対して行われる。

スミア発生位置候補の情報は、スミア発生領域検出部１１４に供給される。スミア発生領域検出部１１４には、スミア成分の情報もスミア検出部１１２から供給される。ここではＯＢラインのスミア位置の情報が使われる。スミア領域検出部１１４では、ＯＢでのスミア発生位置を通り、スミア発生位置候補を通るように、帯状のスミア発生領域が検出される。そして、スミア発生領域の情報がスミア成分減算部１１５に供給される。

スミア成分減算部１１５では、フィールドメモリ１１１の画像信号から、スミア成分が減算される。これにより、スミア補正が行われる。スミア補正後の画像信号は、後段の処理のためにスミア成分減算部１１５から出力される。

以上に本発明の第１の実施の形態に係る撮像装置について、そのスミア補正処理装置および方法に着目して説明した。本実施の形態によれば、画像からライン単位でスミア発生位置候補が検出される。このとき、ラインの画像信号とＯＢ部分のスミアの相関に基づき、マッチングによってスミア発生位置候補が検出される。そして、スミア発生位置候補を使ってスミア発生領域が検出される。スミア発生元である高輝度被写体の移動方向や速度の変化に拘わらずスミア発生領域を検出でき、しかも、エッジ検出を行う従来技術と比べてスミア発生領域を正確に検出できる。このようにして、本実施の形態によれば、従来技術と比べて、画像とスミア成分を比較するのでスミア発生領域を正確に求められる。したがって、本実施の形態は、画質劣化の少ない良好なスミア補正処理を行うことができるという点で、優れた効果を有する。

次に、本発明の第２の実施の形態に係る撮像装置を図２に示す。第２の実施の形態の構成は、先に述べた第１の実施の形態の構成とほぼ同じである。以下に、第１の実施の形態との相違点について説明する。

第２の実施の形態では、撮像装置が、第１の実施の形態の構成に加えてスミア発生元位置検出部１１６を備えている。スミア発生元位置検出部１１６は、画像中のスミア発生元である高輝度被写体の位置を検出する。この位置は、撮像部１１０から供給される画像信号から検出される。高輝度被写体の位置は、スミア発生領域検出部１１４での処理に利用される。

スミア発生元位置検出部１１６は、画像の信号量について閾値判定を行うことによって、スミア発生元である高輝度被写体の画像中の位置を検出する。高輝度被写体は、スミアを発生させるほどに大きい輝度を有している。したがって、高輝度被写体では、信号量が飽和もしくはそれに近い状態になっていることが予想される。そこで、信号の値域の上限付近に閾値が設定されている。そして、スミア発生元位置検出部１１６は、閾値以上の画素群の代表点（重心点や、楕円近似による中心点等が挙げられる）を求める。この代表点の情報が、高輝度被写体の位置としてスミア発生領域検出に用いられる。

一般的に、高輝度被写体の周辺では、フレアや、ブルーミングといったスミア以外の偽信号が発生することが考えられる。このような偽信号が発生しているので、スミア成分の検出が比較的難しい。そこで、本実施の形態では、スミア発生元の高輝度被写体の位置そのものをスミア発生領域検出に用いることによって、スミア発生領域の検出精度を向上する。これにより、スミア補正精度が向上する。

高輝度被写体（スミア発生元）の位置は具体的には下記のようにして利用される。垂直ブランキング期間に垂直転送路を高速吐き出しすることによって、画像に表れるスミアの半分が抑圧されることが一般に知られている。このような装置で得られる画像例が、図３（ｄ）に示されている。このような機能をもつ撮像装置においては、スミア発生元である高輝度被写体を用いて、スミアの残り半分が補正対象に設定される。すなわち、高輝度被写体位置から一方の側にて、スミア発生領域が検出される。図３（ｄ）では、高輝度被写体の位置がスミア発生領域の上端になる。そして、高輝度被写体の位置から下側にて、スミア発生領域が検出される。スミア発生領域の検出処理は、第１の実施の形態にて説明した通りである。下側のＯＢのスミア位置と、スミア発生候補位置とからスミア発生領域が検出される。

別の構成では、スミア発生元（高輝度被写体）の位置は、下記のようにして利用されてもよい。

前述したように、正規化相関を用いたスミア発生候補位置の検出は、被写体の画像によっては、相関が得られために失敗に終わることがある。そして、画像のすべてのラインでスミア検出に失敗することもあり得る。しかし、信号がほとんど飽和するようなレベルでなければスミアは発生しないので、スミア発生元である高輝度被写体位置が検出できないことはまずない。

そこで、スミア発生候補位置が一つも検出されないときに、高輝度被写体位置がスミア発生領域の検出に使用される。画像上下のＯＢにおけるスミア発生位置と、画像中の高輝度被写体位置とから、スミア発生領域が特定される。この場合、高輝度被写体位置が帯の中央を通るように、スミアの帯の縁部が求められ、スミアの帯形状が求められる。画像上下ＯＢにおけるスミア発生位置と高輝度被写体位置が一直線上に無い場合は、スミア領域検出部１１４は、三点折れ線で表される領域を求めてもよい。また、三点による曲線近似によって、スミア発生領域が検出されてもよい。

上記の例では、スミア発生候補位置が一つも検出されないときに、高輝度被写体位置が使用された。しかし、スミア発生候補位置が検出されたときでも、高輝度被写体位置が使用されてよい。この場合、ＯＢ部分のスミア位置を通り、スミア発生候補位置を通り、かつ、高輝度被写体を通るように、スミア発生領域が検出される。そして、高輝度被写体がスミア発生領域領域の幅方向の中央に位置するように、スミア発生領域が検出される。

上記構成においては、スミア発生候補位置の検出数が所定値以下のときに、高輝度被写体位置が使用されてもよい。また、検出されたスミア発生候補位置の数に拘わらず、高輝度被写体位置が使用されてもよい。また、検出されたスミア発生候補位置の場所に応じて、高輝度被写体位置が使用されてもよい。例えば、高輝度被写体位置から所定距離以上離れたスミア発生候補位置だけが検出されたとき、高輝度被写体位置が使用されてよい。

以上に本発明の第２の実施の形態について説明した。本実施の形態によれば、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補に加えて、検出された高輝度被写体の位置に基づいてスミア発生領域が検出される。したがって、スミア発生位置を正確に求めることができ、良好なスミア補正処理を行える。

また、本実施の形態によれば、検出された高輝度被写体の位置に基づいてスミア発生領域の端部が求められる。したがって、高輝度被写体の一方の側にスミアが発生する場合にスミア発生領域を正確に求められる。

また、本実施の形態によれば、スミア発生位置候補が検出されなかったときに、高輝度被写体の位置を通るようにスミア発生領域が求められる。したがって、スミア発生位置候補が検出できなかったときでも、スミア発生領域を求めることができる。

なお、上述の第１および第２の実施の形態において、スミア補正処理装置の機能は、磁気ディスク、光磁気ディスク，ＲＯＭ等の記録媒体にプログラムとして記録することができる。そして、このような記録媒体をコンピュータで読み取って、ＭＰＵ、ＤＳＰ等で実行することにより、スミア補正処理装置の機能を実現することができる。

以上に本発明の好適な実施の形態を説明したが、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。

以上のように、本発明に係る撮像装置は、画質劣化の少ない良好なスミア補正処理を行うことのできるという効果を有し、ＣＣＤを備えた撮像装置等として有用である。

本発明の第１の実施の形態に係る撮像装置を示すブロック図 本発明の第２の実施の形態に係る撮像装置を示すブロック図 スミアが発生した画像の例を示す図 従来の撮像装置を示すブロック図 従来の撮像装置におけるスミア補正処理を示す図

符号の説明

１１０ 撮像部
１１１ フレームメモリ
１１２ スミア検出部
１１３ スミア発生位置候補検出部
１１４ スミア発生領域検出部
１１５ スミア成分減算部
１１６ スミア発生元位置検出部
Ｐ 高輝度被写体
Ｓ スミア

Claims (8)

1. 画像信号を得る撮像手段と、
   垂直ＯＢ画素の信号からスミア成分を検出するスミア検出手段と、
   前記画像信号中の少なくとも一の候補検出ラインと前記スミア成分の相関に基づいて、前記候補検出ライン上のスミア発生位置候補を検出するスミア発生位置候補検出手段と、
   垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とからスミア発生領域を検出するスミア発生領域検出手段と、
   検出された前記スミア発生領域において画像信号から前記スミア成分を減算することによってスミア補正を行うスミア成分減算手段と、
   を備えたことを特徴とする撮像装置。
2. 前記画像信号からスミア発生元である高輝度被写体を検出するスミア発生元位置検出手段を備え、前記スミア発生領域検出手段は、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補に加えて、検出された高輝度被写体の位置に基づいてスミア発生領域を検出することを特徴とする請求項１記載の撮像装置。
3. 前記スミア発生領域検出手段は、高輝度被写体の位置に基づいてスミア発生領域の端部を求めることを特徴とする請求項２記載の撮像装置。
4. 前記スミア発生領域検出手段は、前記スミア発生位置候補検出手段にて前記候補検出ラインと前記スミア成分との相関が低くて前記スミア発生位置候補が検出されなかったときに、前記高輝度被写体の位置を通るようにスミア発生領域を求めることを特徴とする請求項２記載の撮像装置。
5. 画像信号中のスミアを補正するスミア補正処理装置であって、
   垂直ＯＢ画素の信号からスミア成分を検出するスミア検出手段と、
   画像信号中の少なくとも一の候補検出ラインと前記スミア成分の相関に基づいて、前記候補検出ライン上のスミア発生位置候補を検出するスミア発生位置候補検出手段と、
   垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とからスミア発生領域を検出するスミア発生領域検出手段と、
   検出された前記スミア発生領域において画像信号から前記スミア成分を減算することによってスミア補正を行うスミア成分減算手段と、
   を備えたことを特徴とするスミア補正処理装置。
6. 画像信号を取得し、垂直ＯＢ画素の信号からスミア成分を検出し、前記画像信号中の少なくとも一の候補検出ライン上のスミア発生位置候補を前記候補検出ラインと前記スミア成分との相関に基づいて検出し、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とからスミア発生領域を検出し、検出された前記スミア発生領域において画像信号から前記スミア成分を減算することによってスミア補正を行うことを特徴とするスミア補正処理方法。
7. 画像信号を取得し、垂直ＯＢ画素の信号からスミア成分を検出し、前記画像信号中の少なくとも一の候補検出ライン上のスミア発生位置候補を前記候補検出ラインと前記スミア成分との相関に基づいて検出し、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とからスミア発生領域を検出し、検出された前記スミア発生領域において画像信号から前記スミア成分を減算することによってスミア補正を行うスミア補正処理プログラムを記録したコンピュータ読取可能な記録媒体。
8. 画像信号を取得し、垂直ＯＢ画素の信号からスミア成分を検出し、前記画像信号中の少なくとも一の候補検出ライン上のスミア発生位置候補を前記候補検出ラインと前記スミア成分との相関に基づいて検出し、垂直ＯＢ画素のスミア発生位置と画像中のスミア発生位置候補とからスミア発生領域を検出し、検出された前記スミア発生領域において画像信号から前記スミア成分を減算することによってスミア補正を行うスミア補正処理をコンピュータに実行させるためのプログラム。

Images