JP2006148414A - 撮像装置 - Google Patents

Abstract

【課題】種々の条件下でＶライン傷を目立たなくすることができる技術を提供する。
【解決手段】撮像センサの垂直ＣＣＤにおける欠陥に起因して撮影画像上にライン性の高輝度の傷（Ｖライン傷）が発生することがある。このような問題に対して、本撮影前に、撮影者がコマ送り・ズームスイッチを操作することで、Ｖライン傷を補正するオフセットによる傷補正方法および画素補間による傷補正方法を含む複数種類の傷補正方法のうち一のＶライン傷の傷補正方法を指定する。そうすると、本撮影時には、設定された一のＶライン傷の補正方法が選択的に実行される。
【選択図】図２３

Description

本発明は、撮像装置に関する。

デジタルカメラに用いられるＣＣＤ撮像素子については、小型化および高画素化が進んでおり、それに伴い、画素欠陥も増加する傾向にある。

この画素欠陥については、画素欠陥の番地データを記憶しておき、画素欠陥の場所を特定する技術が開示されている（特許文献１）。

このような技術に関する先行技術文献としては、以下のようなものがある。

特開平７−１６２７５７号公報

しかしながら、ＣＣＤ撮像素子の画素欠陥は、信号電荷を転送する垂直転送ラインにも発生してきており、その結果として、撮影画像においてライン性の高輝度の傷（Ｖライン傷）が生じる。また、Ｖライン傷の発生には温度依存性があるとともに、Ｖライン傷の存在は撮影画像に対する画像処理において色々な悪影響を及ぼす。このような問題点に対して、画素欠陥の位置を特定して画素補間を行う従来型の補間処理では、対応することができない。

本発明は、上記課題に鑑みてなされたものであり、種々の条件下でＶライン傷を目立たなくすることができる技術を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、撮像装置であって、撮像素子を有し、被写体に係る画像を取得する撮像手段と、前記撮像素子の電荷転送ラインにおける欠陥に起因して前記画像において発生する線状傷の位置を記憶する記憶手段と、前記記憶手段に記憶された線状傷の位置を参照することで前記線状傷を補正する複数種類の傷補正方法のうち、撮影条件に応じて一の傷補正方法を選択的に実行する補正手段とを備えることを特徴とする。

また、請求項２の発明は、請求項１に記載の撮像装置であって、前記複数種類の傷補正方法が、(a)前記欠陥に起因して発生する線状傷のレベルを検出して、当該線状傷のレベルを用いたオフセットを行う第１の傷補正方法と、(b)前記画像を構成する複数の画素のうちの前記欠陥の位置に対応する欠陥画素に対し、前記欠陥画素周辺の画素に係る画素値を用いて算出した画素値を付与する第２の傷補正方法と、を含むことを特徴とする。

また、請求項３の発明は、撮像装置であって、複数種類の色成分に対応するエリアが配列された撮像素子を有し、被写体に係る画像を取得する撮像手段と、前記撮像素子の電荷転送ラインにおける欠陥に起因して前記画像において発生する線状傷の位置を記憶する記憶手段と、前記記憶手段に記憶された線状傷の位置を参照することで前記線状傷を補正する傷補正手段と、前記傷補正手段によって前記線状傷が補正された補正済画像を対象として、特定色成分の画素値が存在しない補間対象画素に対し、前記補間対象画素の周辺における前記特定色成分に対応する所定数の周辺画素に係る画素値に応じて算出される補間画素値を付与する色補間手段とを備え、前記色補間手段が、前記所定数の周辺画素に係る画素値を用いて、所定の複数方向についての画素値の変化を示す変化パラメータをそれぞれ算出する算出手段と、前記算出手段によって算出された複数の変化パラメータを参照することで、前記所定数の周辺画素のうちの複数の補間用画素を指定する指定手段と、前記指定手段によって指定された複数の補間用画素に係る画素値に基づいて算出される画素値を前記補間対象画素に対して付与する付与手段とを有し、前記指定手段が、前記複数の変化パラメータを参照する際に、当該複数の変化パラメータのうち、前記線状傷に対応する画素値を用いて算出された変化パラメータについては、他の変化パラメータよりも参照レベルを相対的に低くすることを特徴とする。

また、請求項４の発明は、請求項３に記載の撮像装置であって、前記傷補正手段が、(a)前記欠陥に起因して発生する線状傷のレベルを検出して、当該線状傷のレベルを用いたオフセットを行う第１の傷補正方法と、(b)前記画像を構成する複数の画素のうちの前記欠陥の位置に対応する欠陥画素に対し、前記欠陥画素周辺の画素に係る画素値を用いて算出した画素値を付与する第２の傷補正方法と、を含む複数種類の傷補正方法のうち、撮影条件に応じて一の傷補正方法を選択的に実行し、前記指定手段が、前記第１の傷補正方法が実行された場合よりも前記第２の傷補正方法が実行された場合の方が、前記線状傷に対応する画素値を用いて算出された変化パラメータの参照レベルを相対的に小さくすることを特徴とする。

また、請求項５の発明は、撮像装置であって、複数種類の色成分に対応するエリアが配列された撮像素子を有し、被写体に係る画像を取得する撮像手段と、前記撮像素子の電荷転送ラインにおける欠陥に起因して前記画像において発生する線状傷の位置を記憶する記憶手段と、前記記憶手段に記憶された線状傷の位置を参照することで前記線状傷を補正する傷補正手段と、前記傷補正手段によって前記線状傷が補正された補正済画像を対象として、輪郭強調処理を行う輪郭強調手段とを備え、前記輪郭強調手段が前記補正済画像を構成する複数の画素に係る画素値のうちの前記線状傷に対応する画素値の影響が他の画素値の影響よりも相対的に小さくなる輪郭強調処理を行うことを特徴とする。

また、請求項６の発明は、請求項５に記載の撮像装置であって、前記輪郭強調手段が、前記線状傷に対応する画素の近傍画素については、前記線状傷に対応する画素値の影響がその他の画素値の影響よりも相対的に小さくなるようなフィルタによって強調信号を抽出する第１の輪郭強調方法、および、前記線状傷に対応する画素の近傍画素については、その他の画素についてよりも強調信号の増幅率を相対的に低下させる第２の輪郭強調方法、のうちの少なくとも一方の輪郭強調方法を採用することを特徴する。

また、請求項７の発明は、請求項５または請求項６の撮像装置であって、前記傷補正手段が、(a)前記欠陥に起因して発生する線状傷のレベルを検出して、当該線状傷のレベルを用いたオフセットを行う第１の傷補正方法と、(b)前記画像を構成する複数の画素のうちの前記欠陥の位置に対応する欠陥画素に対し、前記欠陥画素周辺の画素に係る画素値を用いて算出した画素値を付与する第２の傷補正方法と、を含む複数種類の傷補正方法のうち、撮影条件に応じて一の傷補正方法を選択的に実行し、前記輪郭強調手段が、前記第１の傷補正方法が実行された場合よりも前記第２の傷補正方法が実行された場合の方が、前記線状傷に対応する画素の近傍における輪郭強調の度合いを相対的に小さくすることを特徴とする。

請求項１に記載の発明によれば、撮像素子の電荷転送ラインにおける欠陥に起因して発生する画像上の線状傷を補正する複数種類の傷補正方法のうち、撮影条件に応じて一の傷補正方法を選択的に実行するため、撮影条件に応じた適正な線状傷の補正を行うことができる。すなわち、種々の条件下で線状傷を目立たなくすることができる。

また、請求項２に記載の発明によれば、電荷転送ラインにおける欠陥に起因して発生する線状傷のレベルを検出して当該線状傷のレベルを用いたオフセットを行う第１の傷補正方法と、欠陥の位置に対応する欠陥画素に対し、欠陥画素周辺の画素に係る画素値を用いて算出した画素値を付与する第２の傷補正方法と、を含む複数種類の傷補正方法のうち、撮影条件に応じて一の傷補正方法を選択的に実行するような構成により、例えば、線状傷のレベルを検出して反映することで線状傷の温度依存性に対処可能な第１の傷補正方法と、線状傷のレベルの検出が特に必要でなく演算量が少ない第２の傷補正方法とのうち、温度条件などといった撮影条件に応じて適宜一の傷補正方法を選択的に実行することで、線状傷を目立たなくすることができる。

また、請求項３に記載の発明によれば、線状傷の補正後に色補間を行う際、線状傷に対応する画素値を用いて算出された画素値の変化を示すパラメータについては参照レベルを相対的に低減するため、色補間の際に線状傷の補正の誤差に起因する偽の濃度パターンを検知することによって生じる色補間後の画像上の被写体と実際の被写体とが乖離してしまうといった現象を抑制することができる。

また、請求項４に記載の発明によれば、電荷転送ラインにおける欠陥に起因して発生する線状傷のレベルを検出して当該線状傷のレベルを用いたオフセットを行う第１の傷補正方法が実行される場合よりも、欠陥の位置に対応する欠陥画素に対し、欠陥画素周辺の画素に係る画素値を用いて算出した画素値を付与する第２の傷補正方法が実行される場合の方が、線状傷に対応する画素値を用いて算出された画素値の変化を示すパラメータの参照レベルが相対的に小さくなるため、画像における被写体の再現性が第１の傷補正方法を実行した場合の方が第２の傷補正方法を実行した場合よりも相対的に高いといった実状に即した色補間処理を行うことができる。その結果、画像における被写体の再現性が向上する。

また、請求項５に記載の発明によれば、線状傷の補正後に輪郭強調処理を行う際、線状傷に対応する画素値の影響が他の画素値の影響よりも小さくなるように輪郭強調処理を行うため、線状傷の補正における誤差を強調しないようにすることができ、その結果として、線状傷を目立たなくすることができる。

また、請求項６に記載の発明によれば、線状傷の補正後に輪郭強調処理を行う際、線状傷に対応する画素の近傍画素については線状傷に対応する画素値の影響がその他の画素値の影響よりも相対的に小さくなるようなフィルタによって強調信号を抽出する手法、および線状傷に対応する画素の近傍画素についてはその他の画素についてよりも強調信号の増幅率を相対的に低下させる手法のうちの少なくとも一方の手法を採用することで、線状傷の補正における誤差を強調しないようにすることができる。

また、請求項７に記載の発明によれば、電荷転送ラインにおける欠陥に起因して発生する線状傷のレベルを検出して当該線状傷のレベルを用いたオフセットを行う第１の傷補正方法が実行される場合よりも、欠陥の位置に対応する欠陥画素に対し、欠陥画素周辺の画素に係る画素値を用いて算出した画素値を付与する第２の傷補正方法が実行される場合の方が、線状傷に対応する画素の近傍における輪郭強調レベルが相対的に小さくなるため、画像における被写体の再現性が第１の傷補正方法を実行した場合の方が第２の傷補正方法を実行した場合よりも相対的に高いといった実状に即した輪郭強調処理を行うことができる。その結果、画像における被写体の再現性が向上する。

＜(１)撮像装置の要部構成＞
図１は、本発明の実施形態に係る撮像装置１の要部構成を示す図である。ここで、図１(ａ)〜(ｃ)は、それぞれ撮像装置１の正面図、背面図および上面図に相当している。

撮像装置１は、デジタルカメラとして構成されており、撮影レンズ１０を備えている。

撮像装置１は、その上面にモード切替スイッチ１２とシャッターボタン１３とが設けられている。

モード切替スイッチ１２は、被写体を撮像してその静止画を記録する静止画撮影モード（ＲＥＣモード）と、動画撮影を行う動画モード（ＭＯＶＥモード）と、メモリカード９(図２参照)に記録された画像を再生する再生モード（ＰＬＡＹモード）とを切替えるためのスイッチである。

シャッターボタン１３は、半押し状態(Ｓ１オン)と、さらに押し込まれた全押し状態(Ｓ２オン)とを検出可能な２段階スイッチになっている。上記の静止画撮影モードにおいてシャッターボタン１３が半押しされると、ズーム・フォーカスモータドライバ４７(図２参照)が駆動されて、合焦位置に撮影レンズ１０を移動させる動作が行われる。一方、静止画撮影モードにおいてシャッターボタン１３が全押しされると、本撮影動作、つまり記録用の撮影動作が行われる。

撮像装置１の背面には、撮影された画像などを表示するＬＣＤ(Liquid Crystal Display)モニタ４２と、電子ビューファインダー(ＥＶＦ)４３と、コマ送り・ズームスイッチ１５とが設けられている。

コマ送り・ズームスイッチ１５は、４つのボタンで構成され、再生モードにおける記録画像のコマ送りや、撮影時のズーミングを指示するためのスイッチである。このコマ送り・ズームスイッチ１５の操作により、図２のズーム・フォーカスモータドライバ４７が駆動されて、撮影レンズ１０に関する焦点距離を変更できる。また、静止画撮影モードに設定されている場合には、コマ送り・ズームスイッチ１５の左右方向のボタンの押下操作により、後述するＶライン傷の補正方法（「傷補正方法」とも言う）を切り換えることができる。

図２は、撮像装置１の機能ブロックを示す図である。

撮像装置１は、撮像センサ１６と、撮像センサ１６にデータ伝送可能に接続する信号処理部２と、信号処理部２に接続する画像処理部３と、画像処理部３に接続するカメラ制御部４０とを備えている。

撮像センサ１６は、複数種類の色成分であるＲ(赤)、Ｇ(緑)、Ｂ(青)の原色透過フィルターがピクセル単位に市松状に配列(ベイヤー配列)されたエリアセンサ(撮像素子)として構成されており、全画素読み出しタイプである。この撮像センサ１６の温度については、撮像装置１の筐体内の温度を測定する温度センサ４９により検出が可能となっている。

撮像センサ１６において露光によって電荷の蓄積が完了すると、光電変換された電荷信号は、遮光された撮像センサ１６内の垂直・水平転送路へとシフトされ、ここからバッファを介し画像信号として出力される。つまり、撮像センサ１６は、被写体に係る画像信号（画像）を取得する撮像手段として機能する。

信号処理部２は、ＣＤＳ２１とＡＧＣ２２とＡ／Ｄ変換部２３とを有しており、いわゆるアナログフロントエンドとして機能する。

撮像センサ１６から出力されたアナログ画像信号は、ＣＤＳ２１でサンプリングされノイズが除去された後、ＡＧＣ２２により撮影感度に相当するアナログゲインが乗算されて感度補正が行われる。

Ａ／Ｄ変換部２３は、１４ビットの変換器として構成されており、ＡＧＣ２２で正規化されたアナログ信号をデジタル化する。デジタル変換された画像信号は、画像処理部３で所定の画像処理が施されて画像ファイルが生成される。

画像処理部３は、点欠陥補正部５１とＶライン傷検出部５２とＶライン傷補正部５３とを備えている。また、画像処理部３は、デジタル処理部３ｐと画像圧縮部３６とビデオエンコーダ３８とメモリカードドライバ３９とを備えている。

画像処理部３に入力された画像データについては、まず点欠陥補正部５１において予め記憶されている点欠陥アドレスに基づき欠陥が存在する画素データが補正データに置換される。そして、Ｖライン傷検出部５２およびＶライン傷補正部５３において、撮像センサ１６の垂直転送ライン(垂直ＣＣＤ)の欠陥箇所に起因して画像上で生じるライン性の傷（「線状傷」とも言い、以下では「Ｖライン傷」と称する）を検知して補正する（後で詳述）。なお、Ｖライン傷検出部５２で検出された傷のアドレス（すなわち傷の位置）は、傷アドレスメモリ５４に格納されることとなる。

デジタル処理部３ｐは、画素補間部３１とホワイトバランス制御部３２とガンマ補正部３３と輪郭強調部３４と解像度変換部３５とを有している。

デジタル処理部３ｐに入力される画像データは、撮像センサ１６の読出しに同期し画像メモリ４１に書込みまれる。以後は、この画像メモリ４１に格納された画像データにアクセスし、デジタル処理部３ｐで各種の処理が行われる。

画像メモリ４１内の画像データは、まずホワイトバランス制御部３２によりＲＧＢ各画素が独立にゲイン補正され、ＲＧＢのホワイトバランス補正が行われる。このホワイトバランス補正では、撮影被写体から本来白色となる部分を輝度や彩度データ等から推測し、その部分のＲ、Ｇ、Ｂそれぞれの平均値とＧ／Ｒ比およびＧ／Ｂ比とを求め、これらの情報に基づいてＲおよびＢの補正ゲインとして制御される。

画素補間部３１では、ＲＧＢ各画素をそれぞれのフィルターパターンでマスキングした後、高帯域まで画素値を有するＧ画素については、例えば、注目画素に対する周辺１２画素のコントラストパターンに基づき画素値の空間的な変化を推定し、周囲４画素のデータに基づき被写体のパターンに最適な画素値を算出して割り当てる。一方、Ｒ画素およびＢ画素に関しては、周囲の８画素の同色画素値に基づいて補間する。なお、当該補間処理の手法は、Ｖライン傷の存在に応じて種々変更されるが、この点については後述する。

画素補間された画像データは、ガンマ補正部３３で各出力機器に合った非線形変換、具体的にはガンマ補正およびオフセット調整が行われ、画像メモリ４１に格納される。

輪郭強調部３４は、画像データに応じたハイパスフィルタ等によって輪郭を際立たせるエッジ強調処理を行う。

そして、画像メモリ４１に格納された画像データは、解像度変換部３５で設定された画素数に水平垂直の縮小または間引きが行われ、画像圧縮部３６で圧縮処理を行った後、メモリカードドライバ３９にセットされるメモリカード９に記録される。この画像記録時には、指定された解像度の撮影画像が記録される。また、解像度変換部３５では、画像表示時についても画素間引きを行って、ＬＣＤモニタ４２やＥＶＦ４３に表示するための低解像度画像を作成する。プレビュー時には、画像メモリ４１から読出された６４０×２４０画素の低解像度画像がビデオエンコーダ３８でＮＴＳＣ／ＰＡＬにエンコードされ、これをフィールド画像としてＬＣＤモニタ４２やＥＶＦ４３で画像再生が行われる。

カメラ制御部４０は、ＣＰＵおよびメモリを備え、撮像装置１の各部を統括的に制御する部位である。具体的には、上記のモード切替スイッチ１２やシャッターボタン１３やコマ送り・ズームスイッチ１５などを有するカメラ操作スイッチ５０に対して撮影者が行う操作入力を処理する。また、カメラ制御部４０は、撮影者によるモード切替スイッチ１２の操作により、被写体を撮像してその画像データを記録する静止画撮影モードや動画モード、再生モードへの切替えを行う。更に、撮影者によるコマ送り・ズームスイッチ１５の操作に応答して、後述する２つのＶライン傷の補正方法のうちの一方を指定して、本撮影時に行うＶライン傷の補正方法として設定する。

撮像装置１は、本撮影前の撮影準備状態において被写体を動画的態様でＬＣＤモニタ４２に表示するプレビュー表示(ライブビュー表示)時には、絞り４４の光学絞りが絞りドライバ４５によって開放固定となる。また、シャッタースピード(ＳＳ)に相当する撮像センサ１６の電荷蓄積時間（露光時間）に関しては、撮像センサ１６で取得したライブビュー画像に基づき、カメラ制御部４０が露出制御データを演算する。そして、算出された露出制御データに基づいて予め設定されたプログラム線図により、撮像センサ１６の露光時間が適正となるようにタイミングジェネレーターセンサドライバ４６に対するフィードバック制御が行われる。

そして、本撮影時では、ライブビュー時に測光された光量データに基づいて予め設定されたプログラム線図によって絞りドライバ４５とタイミングジェネレータセンサードライバ４６とで撮像センサ１６への露光量が制御される。

以上の構成を有する撮像装置については、撮像センサ１６で取得された画像データにおいてＶライン傷の検出・補正を行えるが、これらについて以下で説明する。

＜(２)Ｖライン傷の検出について＞
図３は、撮像センサ１６の構成を示す図である。

撮像センサ１６においては、各フォトダイオード１６１で光電変換され蓄積された電荷が各垂直転送ライン毎に設けられた垂直ＣＣＤ(以下では「ＶＣＣＤ」ともいう)１６２に読み出され、１水平期間の周期で最下段の水平ＣＣＤ１６３に転送される。そして、水平ＣＣＤ１６３に転送された電荷は、画素クロックに基づき読み出されることで水平画素方向の読み出しが行われる。なお、ＶＣＣＤ１６２や水平ＣＣＤ１６３などといった電荷を転送するラインを総称して「電荷転送ライン」とも言う。

このような撮像センサ１６の動作により、２次元的に配列されたフォトダイオード１６１で取得した２次元画像に対して水平ライン毎にスキャン読み出しが行われることとなる。

ここで、フォトダイオード１６１に欠陥がある場合には、この欠陥によって発生する電荷が信号電荷に加算されるため、撮影画像において点欠陥として再現されることとなる。この点欠陥については、点欠陥補正部５１において、欠陥に起因して発生する電荷に相当する画素レベルが減算される補正が行われる。

一方、垂直転送ラインの一部に同様の欠陥箇所(傷)Ｆｐが存在する場合には、欠陥箇所Ｆｐに電荷が読み出されるフォトダイオードとＸ方向のアドレスが等しいフォトダイオードからの電荷は、欠陥箇所Ｆｐが存在する垂直ＣＣＤ１６ｆを通って撮像センサ１６から出力されることとなる。このため、欠陥箇所Ｆｐに対して電荷転送方向Ｈａの上流から転送される信号電荷群Ｆａに電荷が加算されることとなり、図４に示すように撮影画像Ｇ１おいて明度の高いライン性の傷(Ｖライン傷)Ｇａとして再現される。

上述した点欠陥の場合には撮影画像に与える劣化要因は少ないものの、図４に示すようなＶライン傷Ｇａの場合には画質に対する影響が非常に大きくなるため、その検出が重要となるが、以下では、この検出方法を説明する。

図５および図６は、Ｖライン傷の検出原理を説明するための図である。

Ｖライン傷Ｇａ(図４)については、上述したように図３に示す垂直ＣＣＤ１６２の欠陥箇所Ｆｐを通って読み出される信号電荷群Ｆａに起因して画像上で生じるライン性の明度傷として発生する。

そこで、図５に示すように垂直ＣＣＤ１６２の転送を一定期間（例えば２００水平期間）停止することにより欠陥箇所Ｆｐで発生する電荷量を増大させた後に、フォトダイオードからの電荷をＶＣＣＤに転送することなく画像読み出しを行うこととする。これにより、垂直ＣＣＤ１６２上の欠陥箇所Ｆｐに信号電荷が読み出されるフォトダイオードＤｐの画素データを強調して撮像センサ１６から出力できることとなる。

このように欠陥箇所Ｆｐが強調され撮像センサ１６から出力された画像Ｇ２では、図６に示すように、Ｖライン傷Ｇａのうち欠陥箇所Ｆｐに電荷が読み出されるフォトダイオードＤｐ(図５)の位置に対応したＢ画素Ｇｐの画素レベルが垂直ＣＣＤ１６２の転送停止期間に正比例して強調されることとなる。

以上のような画像Ｇ２が読み出された後に、画像Ｇ２から明度の高い輝点となる画素Ｇｐのアドレスを検出することで、Ｖライン傷の下端に対応する欠陥箇所の位置(アドレス)を検知できることとなる。以下では、撮像装置１によるＶライン傷の検出について具体的に説明する。

図７は、撮像装置１におけるＶライン傷の検出動作を示すフローチャートである。

まず、シャッターに相当する絞り４４を閉じた(ステップＳＴ１)後に、ＶＣＣＤ１６２において電荷の高速はき出しが設定される(ステップＳＴ２)。

ステップＳＴ３では、上述したように、ＶＣＣＤ１６２での転送を２００水平転送期間停止する。これにより、ＶＣＣＤ１６２の欠陥箇所で電荷が増幅されることとなる。

ステップＳＴ４では、撮像センサ１６からフォトダイオードからの電荷をＶＣＣＤに転送することなく画素データを順次に読み出す。

ステップＳＴ５では、ステップＳＴ４で読み出されたレベルを１／２００倍で正規化した画素レベルが、予め定められた傷レベルリファレンス(閾値)Ｖｒｅｆより大きいかを判定する。ここで、傷レベルリファレンスＶｒｅｆより大きい場合には、ステップＳＴ６に進み、傷レベルリファレンスＶｒｅｆ以下の場合には、ステップＳＴ７に進む。

ステップＳＴ６では、傷レベルリファレンスＶｒｅｆより大きい欠陥画素(傷)に関して画像上のアドレス(Ｈ，Ｖ)を、傷アドレスメモリ５４に登録する。この際には、傷レベル(画素値)も登録する。

ステップＳＴ７では、撮像センサ１６からの画像読み出しが完了したかを判定する。ここで、画像読み出しが完了した場合には、ステップＳＴ８に進み、未完の場合には、ステップＳＴ４に戻る。

ステップＳＴ８では、傷アドレスメモリ５４に格納されている傷のアドレスを並び替える。この場合には、例えば傷レベルの大きい順に、つまり昇順に傷アドレスの順番が変更される。

ステップＳＴ９では、ステップＳＴ８で並び替えられた傷アドレスに基づき、傷レベルが上位４０以内に入る傷アドレスと傷レベルとを、傷アドレスメモリ５４に再登録する。この傷レベルについては、２００水平転送期間停止して得られた画素データに関して１／２００倍で正規化したレベルが登録されることとなる。

以上のような撮像装置１の動作により、Ｖライン傷の検出を適切に行えることとなるが、この検出動作は、例えば撮像装置１の工場出荷前に管理された所定の温度にて行われ、工場出荷時には、傷アドレスメモリ５４に必要な情報がデフォルトのデータとして格納されている状態にする。

なお、上記のステップＳＴ８の動作については、Ｖライン傷の傷レベルに基づき並べ替えるだけでなく、Ｖライン傷の範囲も考慮して並べ替えるようにしても良い。例えば、(傷レベル)×(Ｖライン傷の範囲)から得られる情報に基づき、並べ替えを行う。これにより、画像全体に与える各Ｖライン傷の影響を考慮した並べ替えが可能となる。

撮像センサ１６のＶライン傷は、温度依存性を有しているが、この特性について、以下で説明する。

図８は、撮像センサ１６におけるＶライン傷の温度依存性を説明するための図である。図８(ａ)〜(ｃ)は、常温時(例えば２０度)、３０度および４０度の高温時における撮像センサ１６の状態の一例と、撮像センサ１６から出力された画像Ｇｔとを表している。

常温時の撮像センサ１６においては、図８(ａ)に示すように傷として認識される垂直ＣＣＤの欠陥箇所は１箇所Ｆｐ１のみであり、撮像センサ１６から出力される画像Ｇｔで生じるＶライン傷も１本Ｇａ１だけとなる。

３０度の高温時の撮像センサ１６においては、常温時に比べて顕在化されるＶライン傷の箇所が温度に依存して１つ増加する。すなわち、図８(ｂ)に示すように傷として認識される垂直ＣＣＤの欠陥箇所は２箇所Ｆｐ１、Ｆｐ２となり、撮像センサ１６から出力される画像ＧｔにおけるＶライン傷も２本Ｇａ１、Ｇａ２となる。

４０度の高温時の撮像センサ１６においては、３０度の高温時に比べて顕在化されるＶライン傷が温度に依存してさらに１つ増加する。すなわち、図８(ｃ)に示すように傷として認識される垂直ＣＣＤの欠陥箇所は３箇所Ｆｐ１〜Ｆｐ３となり、撮像センサ１６から出力される画像ＧｔにおけるＶライン傷が３本Ｇａ１〜Ｇａ３となる。

このように撮像センサ１６においては、Ｖライン傷が温度依存性を有しているため、上述したＶライン傷の検出は、各温度ごとに検出することが好ましい。

＜(３)Ｖライン傷の補正について＞
撮像装置１のＶライン傷補正部５３においては、検出されたＶライン傷に対して(3-1)オフセットによる補正と、(3-2)画素補間による補正とを選択的に行えるようになっている。これら２種類の補正方法について以下で説明する。

(3-1)オフセットによる補正：
図９は、オフセットによるＶライン傷の補正を説明するための図である。

オフセットによるＶライン傷の補正では、まず撮像センサ１６から出力された画像Ｇ３においてＶライン傷Ｇａに起因するオフセット成分Ｌｏを検出する。そして、このオフセット成分（Ｖライン傷のレベル）Ｌｏを画像Ｇ３におけるＶライン傷Ｇａの画素レベルから減算することで、画像ノイズとしての傷が消去された補正画像Ｇ４を生成する。

このようなオフセットによる補正方法では、上述のように撮像装置１の工場出荷時に傷アドレスメモリ５４に格納されるデフォルトのＶライン傷データに基づき傷レベル(オフセット成分Ｌｏ)を推定して補正しても良いが、温度依存性が大きいＶライン傷の特性を考慮すると、撮影時にリアルタイムでオフセット量（補正量）を求めるのが好ましい。このオフセット量の検出方法について説明する。

撮像センサ１６は、図１０に示すように黒レベルを検出するためのオプチカル・ブラック部（以下「ＯＢ部」という）１６ｂａ、１６ｂｂを有している。ここで、各ＯＢ部から垂直ＣＣＤ１６２に読み出された電荷は、下段のＯＢ部１６ｂａの方が先に水平ＣＣＤ１６３に転送され、上段のＯＢ部１６ｂｂの方が後で転送されることとなる。以下では、垂直ＣＣＤ１６２に２つの欠陥箇所Ｆｐ１、Ｆｐ２が存在するケースについてのオフセット量の検出を説明する。

図１１に示すように撮像センサ１６から出力された画像Ｇ５においては、上段のＯＢ部１６ｂｂから読み出され垂直ＣＣＤ１６２の欠陥箇所Ｆｐ１を通過してその影響を受けた画素Ｇｂ２は、下段のＯＢ部１６ｂａから読み出され欠陥箇所Ｆｐ１を通過せずその影響を受けていない画素Ｇｂ１より上記のオフセット量だけ画素レベルが大きくなっている。同様に、上段のＯＢ部１６ｂｂから読み出され垂直ＣＣＤ１６２の欠陥箇所Ｆｐ２を通過した画素Ｇｂ４は、欠陥箇所Ｆｐ２を通過しない画素Ｇｂ３より上記のオフセット量だけ画素レベルが増加している。

したがって、図１１に示すＶライン傷Ｇａ１の傷レベル(オフセット量)は、画素Ｇｂ２のレベルから画素Ｇｂ１のレベルを減算することにより得られ、Ｖライン傷Ｇａ２のオフセット量は、画素Ｇｂ４のレベルから画素Ｇｂ３のレベルを減算することにより得られることとなる。

次に、撮像装置１における上記のオフセット量（傷レベル）の検出動作について説明する。

図１２は、撮像装置１におけるＶライン傷の傷レベルの検出動作を示すフローチャートである。

ステップＳＴ１１では、レリーズして露光を行う。すなわち、撮影者によりシャッターボタン１３が全押し(Ｓ２オン)されて、被写体を撮影する動作が行われる。

ステップＳＴ１２では、撮像センサ１６から画素データを順次に読み出す。

ステップＳＴ１３では、ステップＳＴ１２で撮像センサ１６から読み出された画素データをキャプチャーする処理を行う。

ステップＳＴ１４では、ステップＳＴ１２で読み出された画素のアドレスが、傷アドレスメモリ５４に登録されているＶライン傷のアドレスに該当するかを判定する。ここで、登録アドレスに該当する場合には、ステップＳＴ１５に進み、該当しない場合には、ステップＳＴ１８に進む。

ステップＳＴ１５では、ステップＳＴ１２で読み出された画素が転送された垂直ＣＣＤ１６２の両端にあるＯＢ部１６ｂａ、１６ｂｂ(図１０)の黒レベルを検出し、これらの黒レベルの差分を求めて、傷レベルを検出する。

ステップＳＴ１６では、ステップＳＴ１５で検出された傷レベルが、傷レベルリファレンスＶｒｅｆより大きいかを判定する。ここで、傷レベルリファレンスＶｒｅｆより大きい場合には、ステップＳＴ１７に進み、傷レベルリファレンスＶｒｅｆ以下の場合には、ステップＳＴ１８に進む。

ステップＳＴ１７では、ステップＳＴ１６において傷レベルリファレンスＶｒｅｆより大きい欠陥画素(傷)に関して画像上のアドレス(Ｈ，Ｖ)を、傷アドレスメモリ５４に登録する。この際には、傷レベルも登録する。

ステップＳＴ１８およびステップＳＴ１９では、図７に示すステップＳＴ７およびステップＳＴ８と同様の動作を行う。

ステップＳＴ２０では、ステップＳＴ１９で並び替えられた傷アドレスに基づき、傷レベルが上位２０以内に入る傷アドレスと傷レベルとを、傷アドレスメモリ５４に再登録する。

以上のような撮像装置１の動作により、撮影中に傷レベルの検出が可能となり、オフセットによるＶライン傷の補正を適切に行えることとなる。

なお、予め決められた温度範囲内で工場出荷時等に検出されたＶライン傷の情報を傷アドレスメモリ５４に記録しておけば、この情報を利用してＶライン傷の補正を行えるため、より高速な補正処理が可能となる。

(3-2)画素補間による補正：
図１３は、画素補間によるＶライン傷の補正を説明するための図である。

画素補間によるＶライン傷の補正では、Ｖライン傷の周辺に位置する画素ラインのデータに基づき置換データを作成し、この置換データでＶライン傷の画素データを置換する処理を行う。

例えば、画像Ｇ６において、Ｖライン傷Ｇａの左右に配置される同色の画素ラインＪ１、Ｊ２を検出し、これらの画素ラインＪ１、Ｊ２に関する画素レベルの平均値でＶライン傷Ｇａの画素データを置換する。これにより、傷が消去された補正画像Ｇ７が生成される。

このような画素補間による補正方法では、オフセットによるＶライン傷の補正に比べて精度が低くなるものの、Ｖライン傷の箇所(アドレス)が既知である場合には、傷レベルの検出が不要となる。そして、画素補間による補正方法においては、Ｖライン傷のオフセット値が温度特性を有する事に対する考慮が基本的に不要である。

＜(４)Ｖライン傷の補正後の画像処理における問題点と対応策＞
以上のようにして、(3-1)オフセットによる補正、或いは(3-2)画素補間による補正とによってＶライン傷をある程度の抑制することができる。しかしながら、Ｖライン傷の検出精度や、温度条件等といった撮影環境等により補正に誤差が生じる事がある。例えば、図８(ａ)に示すようなＶライン傷Ｇａ１が検出されてＶライン傷の補正が行われる場合、Ｖライン傷の補正が誤差によって過小等となると、画像にライン性の傷が薄く残る。そして、これが後工程における所謂インターポレーションや輪郭強調等といった画像処理において、更なる誤差（エラー）を招いたり、ライン性の傷が強調される可能性がある。このような問題点に対し、本実施形態に係る撮像装置１では、Ｖライン傷に応じたインターポレーションや、輪郭強調処理を行う。以下、これらの２種類の画像処理の詳細について説明する。

(4-1)インターポレーション：
Ｖライン傷の補正後のデータは、ベイヤー配列に対応するＲＧＢの画素データによって構成されているため、画素補間部３１において、ＲＧＢ各々のフィルターパターンでマスキングして、ＲＧＢ面順次に画素補間（「色補間」とも言う）を行う。

この色補間では、例えば、Ｖライン傷の補正後の画像（「傷補正済画像」とも言う）を対象として、傷補正済画像を構成する複数の画素のうちの特定色成分であるＧ色成分の画素値が存在しない画素（「補間対象画素」とも言う）を順次指定する。そして、当該補間対象画素に対し、補間対象画素周辺におけるＧ色成分に対応する所定数の画素（周辺Ｇ画素）に係る画素値に応じて算出される画素値（補間画素値）を付与する。なお、Ｒ，Ｇ色成分についても同様な手法によって色補間が実行される。この色補間処理がインターポレーションと呼ばれる。

例えば、Ｇ色画素については、図１４に示すように補正すべき注目画素（補間対象画素）ＩＣを中心とした５×５の画素が配列されたエリアに含まれるＧ色画素の濃度パターンを検知して補間画素の値を推定する。

具体的には、[i]まず、補間対象画素ＩＣを中心とした５×５画素のエリア（補間参照エリア）に含まれる所定数のＧ画素を対象として、縦、横、斜め方向などといった所定の複数方向についてのＧ色の濃度変化（画素値の変化、「濃度変化パラメータ」とも称する）を検出することで、Ｇ色の濃度パターンを検知し、[ii]検出されたＧ色の濃度パターン（実際には、複数方向に係る濃度変化パラメータ）に応じて、補間対象画素ＩＣと隣接する周囲８画素に含まれる所定数のＧ色画素（周辺Ｇ色画素）のうち、どの複数の画素（「補間用画素」とも称する）の画素値を用いて画素補間をするのかを指定し、[iii]指定された画素の画素値を用いた平均補間を行う。例えば、縦方向の濃度変化が比較的小さく、横方向の濃度変化が比較的大きな場合には、補間対象画素ＩＣの上下に位置するＧ色画素の画素値を加算して２で除した値を、補間対象画素ＩＣの画素値として与える。なお、Ｒ、Ｂ色画素についても、同様に、補間対象画素を中心とした５×５画素の補間参照エリアのＲまたはＢ画素の濃度パターンを検知して補間対象画素の画素値を推定する。

ここで、インターポレーションを行う際、図１５に示すように、Ｖライン傷の補正後の画像（傷補正済画像）Ｇ８にライン性の傷（「残存Ｖライン傷」とも言う）Ｇａ１１が残っていると、残存Ｖライン傷Ｇａ１１の周囲では、実際の被写体には濃度変化がほとんど無いにも拘わらず、残存Ｖライン傷Ｇａ１１の存在により、誤った濃度パターンを検出してしまう。そして、誤って検出した濃度パターンに基づいて補間対象画素に係る画素値を算出すると、インターポレーション後の画像上の被写体と実際の被写体とが乖離してしまう。なお、以下では、画像上の被写体と実際の被写体とが乖離してしまうことを「画像上における被写体の再現性が低い」等とも表現する。

そこで、本実施形態に係る撮像装置１では、残存Ｖライン傷周辺の画素が補間対象画素である場合には、補間参照エリアについて濃度変化（濃度変化パラメータ）を検出する際、残存Ｖライン傷を構成する画素を含む方向の濃度変化（濃度変化パラメータ）に対して例えば０．７の係数を乗ずる。つまり、残存Ｖライン傷に属する画素値（すなわちＶライン傷に対応する画素値）を用いて算出された濃度変化パラメータについての参照レベルを他の濃度変化パラメータについての参照レベルよりも低減するのである。そうすることで、残存Ｖライン傷に対応する画素値の参照ウエイトを下げ、結果として、インターポレーションを行う際のエラーの発生度合いを軽減する。なお、ここでは、上述したＶライン傷の検出方法によって検出されるＶライン傷に属する画素のアドレスを、残存Ｖライン傷に属する画素のアドレスとして認識することができる。

例えば、補間対象画素ＩＣが画素ＩＣ１（図１５）である場合には、図１６(ａ)で示すように、残存Ｖライン傷に含まれるＧ画素（斜線部）の画素値の参照ウエイトを相対的に低減するパターン（参照パターン）が採用される。また、補間対象画素ＩＣが画素ＩＣ２（図１５）である場合には、図１６(ｂ)で示すように、残存Ｖライン傷に含まれるＧ画素（斜線部）の画素値の参照ウエイトを相対的に低減する参照パターンが採用される。さらに、補間対象画素ＩＣが画素ＩＣ３（図１５）である場合には、図１６(ｃ)で示すように、残存Ｖライン傷に含まれるＧ画素（斜線部）の画素値の参照ウエイトを相対的に低減する参照パターンが採用される。

このように、図１６に示す各参照パターンが採用される場合には、各参照パターンの斜線が付されたＧ画素の画素値を用いて算出されるＧ画素の濃度変化（濃度変化パラメータ）については、参照する度合い（参照レベル）を低減しつつ、Ｇ色の濃度パターンを検出する。具体的には、残存Ｖライン傷に含まれるＧ画素の画素値を用いて算出される濃度変化パラメータについては例えば０．７の係数を掛ける重み付けを行うことで、残存Ｖライン傷に含まれる画素値のインターポレーションにおける反映度合いを低く抑える。

ここでは、Ｇ画素についてのインターポレーションを例にとって説明したが、Ｒ、Ｂ画素についても同様な手法によって、残存Ｖライン傷に含まれる画素値のインターポレーションに対する反映度合いを低く抑える。

図１７は、インターポレーションの動作フローを例示するフローチャートである。ここでは、Ｒ，Ｇ，Ｂ画素について順次に図１７に示すインターポレーションの動作が行われる。

ステップＳＴ３１では、Ｖライン傷が補正された画像データを画像メモリ４１から読出す。

ステップＳＴ３２では、インターポレーションの対象となる補間対象画素を指定する。

ステップＳＴ３３では、ステップＳ３２で指定された補間対象画素についての補間参照エリア内にＶライン傷（すなわち残存Ｖライン傷）に属する画素が存在するか否か判定する。ここでは、Ｖライン傷に属する画素が存在する場合にはステップＳＴ３４に進み、存在しない場合にはステップＳＴ３５に進む。

ステップＳＴ３４では、Ｖライン傷（すなわち残存Ｖライン傷）に属する画素に係る参照ウエイトを下げた参照パターン（例えば、図１６(ａ)〜(ｃ)参照）を指定する。

ステップＳＴ３５では、通常の参照パターン（図１４）を指定する。

ステップＳＴ３６では、ステップＳＴ３４またはＳＴ３５で指定された参照パターンを用いた画素補間（色補間）を行う。

ステップＳＴ３７では、特定色成分（Ｒ，Ｇ，Ｂ画素のうちの一つの色成分）について、補間対象画素を全て指定したか否か判定する。ここでは、補間対象画素が全て指定されていなければ、ステップＳＴ３２に戻り、次の補間対象画素を指定して（ステップＳＴ３２）、画素補間を行う。一方、補間対象画素が全て指定されていれば図１７に示す動作フローを終了する。

(4-2)輪郭強調処理：
インターポレーション後の画像データは被写体の輪郭が明確でない場合が多い為、輪郭強調部３４によって輪郭強調処理が施される。

輪郭強調処理では、例えばＧ画素のみについて注目した１フレーム分の全画素を対象として、[i]図１８に示すような３×３画素分の輪郭抽出用の一般的なハイパスフィルタ（以下「通常フィルタ」）ＨＰＦを用いて、ナイキスト付近の高周波成分の信号（強調信号）を抽出し、[ii]当該強調信号を元の画像データに加算する。同様な処理をＲ，Ｂ画素についても行うことで、輪郭が強調された画像データを生成することができる。なお、ここでは、ＲＧＢ面順次に輪郭強調処理を行っても良いし、一旦Ｙ信号（明度信号）を生成してからこのＹ信号について輪郭強調処理を行うようにしても良い。

図１８に示すハイパスフィルタＨＰＦについて簡単に説明すると、１フレーム分の画像データを構成する画素のうちの、ある注目画素（「強調対象画素」とも言う）を対象として、注目画素の画素値に対しては４を係数として乗じ、当該注目画素の上下左右の隣接画素（合計４画素）についてはそれぞれ−１を係数として乗じて、その合計を算出することで注目画素についての強調信号を抽出することができる。

ここで、輪郭強調を行う際、図１９に示すように、Ｖライン傷が補正された画像（傷補正済画像）Ｇ９にライン性の濃度変調すなわち傷（残存Ｖライン傷）Ｇａ２１が残っている場合には、残存Ｖライン傷Ｇａ２１が偽の輪郭（以下「偽輪郭」とも言う）として他の輪郭と同様に強調されてしまう。その結果として、ライン性の傷がより目立つ画像が最終的に生成されてしまう。

そこで、本実施形態に係る撮像装置１では、強調対象画素の上下左右の隣接画素が残存Ｖライン傷に属する場合、または強調対象画素が残存Ｖライン傷に属する場合には、残存Ｖライン傷に起因するコントラスト（すなわち偽輪郭）を極力抽出しないようなハイパスフィルタを用いる。なお、ここでも、上述したＶライン傷の検出方法によって検出されるＶライン傷に属する画素のアドレスを、残存Ｖライン傷に属する画素のアドレスとして認識することができる。

例えば、強調対象画素が画素ＥＨ（図１９）である場合には、強調対象画素ＥＨの上下左右の隣接画素が残存Ｖライン傷には属さないため、図１８に示す通常フィルタＨＰＦが採用される。

また、強調対象画素が画素ＥＨ１（図１９）である場合には、強調対象画素ＥＨ１自体は残存Ｖライン傷に属さないが、強調対象画素ＥＨ１の図中右方の隣接画素が残存Ｖライン傷に属する。このため、強調対象画素を基準として横方向の隣接画素の画素値の影響が縦方向の隣接画素の画素値の影響よりも相対的に小さくなるように、図２０(ａ)に示すハイパスフィルタＨＰＦ１が採用される。

また、強調対象画素が画素ＥＨ３（図１９）である場合には、強調対象画素ＥＨ３自体は残存Ｖライン傷に属さないが、強調対象画素ＥＨ３の図中左方の隣接画素が残存Ｖライン傷に属する。このため、強調対象画素を基準として横方向の隣接画素の画素値の影響が縦方向の隣接画素の画素値の影響よりも相対的に小さくなるように、図２０(ａ)に示すハイパスフィルタＨＰＦ３が採用される。

更に、強調対象画素が画素ＥＨＶ（図１９）である場合には、強調対象画素ＥＨＶ自体は残存Ｖライン傷に属さないが、強調対象画素ＥＨＶの図中上方の隣接画素が残存Ｖライン傷に属する。このため、強調対象画素を基準として縦方向の隣接画素の画素値の影響が横方向の隣接画素の画素値の影響よりも相対的に小さくなるように、図２０(ｃ)に示すハイパスフィルタＨＰＦＶが採用される。つまり、残存Ｖライン傷に対応する画素値の影響が他の画素値の影響よりも小さくなるハイパスフィルタを用いて輪郭強調処理が行われる。

但し、強調対象画素が画素ＥＨ２（図１９）である場合には、強調対象画素ＥＨ２自体が残存Ｖライン傷に属し、強調対象画素ＥＨ２の図中上下方向の隣接画素も残存Ｖライン傷に属する。このような場合には、残存Ｖライン傷に起因する偽輪郭から強調信号を抽出しないように、強調対象画素を基準として図中左右方向の隣接画素の画素値の影響が縦方向の隣接画素の画素値の影響よりも相対的に小さくなるように、図２０(ｂ)に示すハイパスフィルタＨＰＦ２が採用される。

図２１は、輪郭強調処理の動作フローを例示するフローチャートである。ここでは、ＲＧＢ面順次に輪郭強調処理が行われる場合には、図２１に示す動作フローが各色成分毎に行われる。一方、Ｙ信号について輪郭強調処理が行われる場合には、図２１に示す動作フローがＹ信号について実施される。

ステップＳＴ４１では、インターポレーションが施された画像データを画像メモリ４１から読出す。

ステップＳＴ４２では、輪郭強調処理の注目画素となる強調対象画素を指定する。

ステップＳＴ４３では、ステップＳＴ４２で指定された強調対象画素の上下左右の隣接画素がＶライン傷（すなわち残存Ｖライン傷）に属するか否か判定する。ここでは、Ｖライン傷に属する画素が存在する場合にはステップＳＴ４４に進み、存在しない場合にはステップＳＴ４５に進む。

ステップＳＴ４４では、Ｖライン傷（すなわち残存Ｖライン傷）の位置に応じたハイパスフィルタで輪郭成分（強調信号）を抽出する。

ステップＳＴ４５では、通常ハイパスフィルタＨＰＦで輪郭成分を抽出する。

ステップＳＴ４６では、ステップＳＴ４１で読出された画像データについて、ノイズを除去する処理（ベースクリップ処理）が行われる。

ステップＳＴ４７では、ステップＳＴ４４またはＳＴ４５で抽出された輪郭成分（強調信号）を、ステップＳＴ４６でベースクリップ処理が施された画像データに対して加算する。

ステップＳＴ４８では、１フレーム分の画像を構成する全ての画素を強調対象画素として指定したか否かを判定する。なお、ここでは、輪郭強調処理がＲＧＢ面順次に行われる場合には、各色成分のフレーム画像を構成する全画素を強調対象画素として指定したか否かを判定する。一方、Ｙ信号について輪郭強調処理が行われる場合には、単に、１フレーム分の画像を構成する全画素を強調対象画素として指定したか否かを判定する。このステップＳＴ４８では、全画素が強調対象画素として指定されていなければ、ステップＳＴ４２に戻り、次の画素を強調対象画素として指定して（ステップＳＴ４２）、輪郭加算等を行う。一方、全画素が強調対象画素として指定されていれば図２１に示す動作フローを終了する。

なお、上述した輪郭強調処理では、強調対象画素の上下左右の隣接画素が残存Ｖライン傷に属する場合、または強調対象画素が残存Ｖライン傷に属する場合には、残存Ｖライン傷に起因する偽輪郭を強調信号としてを極力抽出しないようなハイパスフィルタを用いたが、これに限られず、強調信号を抽出するハイパスフィルタとしては通常ハイパスフィルタのみを使用しつつ、Ｖライン傷近傍の画素（「近傍画素」とも称する）については抽出される強調信号を低下させた後に画像データに加算するようにすることで、残存Ｖライン傷に起因する偽輪郭を強調しないようにすることもできる。以下、図２２に示す輪郭強調処理の動作フローを示すフローチャートを参照しつつ、強調信号を低下させて画像データに加算する輪郭強調処理について説明する。

ステップＳＰ４１では、インターポレーションが施された画像データを画像メモリ４１から読出す。

ステップＳＰ４２では、輪郭強調処理の注目画素となる強調対象画素を指定する。

ステップＳＰ４３では、ステップＳＰ４２で指定された強調対象画素の上下左右の隣接画素がＶライン傷（すなわち残存Ｖライン傷）に属するか否か判定する。ここでは、Ｖライン傷に属する画素が存在する場合にはステップＳＰ４４に進み、存在しない場合にはステップＳＰ４５に進む。

ステップＳＰ４４およびＳＰ４６では、ともに通常ハイパスフィルタＨＰＦで輪郭成分（強調信号）を抽出する。

ステップＳＰ４５では、ステップＳＰ４４において抽出された強調信号に対して所定の通常レベルのゲインよりも小さなゲインを乗じる。

ステップＳＰ４７では、ステップＳＰ４６において抽出された強調信号に対して所定の通常レベルのゲインを乗じる。

ステップＳＰ４８では、ステップＳＰ４１で読出された画像データについて、ノイズを除去する処理（ベースクリップ処理）が行われる。

ステップＳＰ４９では、ステップＳＰ４５またはＳＰ４７でゲインが乗じられた輪郭成分（強調信号）を、ステップＳＰ４８でベースクリップ処理が施された画像データに対して加算する。

ステップＳＰ５０では、上述したステップＳＴ５０と同様に、全画素が強調対象画素として指定されていなければ、ステップＳＰ４２に戻り、次の画素を強調対象画素として指定して（ステップＳＰ４２）、輪郭加算等を行う。一方、全画素が強調対象画素として指定されていれば図２２に示す動作フローを終了する。

なお、図１９に示すように、傷補正済画像Ｇ９に残存Ｖライン傷Ｇａ２１が残っている場合には、強調対象画素が画素ＥＨ１，ＥＨ３である場合には、強調対象画素ＥＨ１，ＥＨ３の上下左右の隣接画素のうち、残存Ｖライン傷Ｇａ２１に属する隣接画素は１つである。一方、強調対象画素が画素ＥＨ２である場合には、強調対象画素ＥＨ２が残存Ｖライン傷Ｇａ２１に属するのに対して、強調対象画素ＥＨ２の左右の隣接画素が残存Ｖライン傷Ｇａ２１に属さない。

よって、通常ハイパスフィルタＨＰＦを用いて輪郭成分を抽出する際に、強調対象画素と上下左右の隣接画素との間で、残存Ｖライン傷Ｇａ２１に起因するコントラストが検出される箇所は、強調対象画素ＥＨ１，ＥＨ３については１箇所であり、強調対象画素ＥＨ２については２箇所となる。その結果として、強調対象画素ＥＨ２について抽出される輪郭成分の方が、強調対象画素ＥＨ１，ＥＨ３について抽出される輪郭成分よりも相対的に大きくなる傾向にある。

そこで、ステップＳＰ４５で乗じられるゲイン（増幅率）は、強調対象画素が残存Ｖライン傷上にはないが残存Ｖライン傷に隣接した画素である場合のゲインをGain１とし、強調対象画素が残存Ｖライン傷上にある場合のゲインをGain２とすると、Gain２＞Gain１の関係を満足させることで、偽輪郭の近傍における輪郭強調処理において偽輪郭の影響をほぼ均等に低減することができる。このとき、ステップＳＰ４６で乗じられる所定の通常レベルのゲインをGainＳとすれば、GainＳ＞Gain２＞Gain１の関係が成立する。

また、残存Ｖライン傷に起因する偽輪郭を全く強調しないといった観点からすれば、上述したステップＳＰ４５で乗じられるゲインは０であっても良い。

＜(５)撮影動作における画像処理全体について＞
以上では、Ｖライン傷の補正方法、インターポレーション、および輪郭強調処理などといった個々の画像処理について説明したが、以下では、上述した個々の画像処理を含む撮影動作全体に係る動作フローについて説明する。

ここで、画素補間によるＶライン傷の補正が施された補正済画像では、Ｖライン傷が補正された付近では、同色成分の画素値が３列同様となってしまい、例えば被写体の輪郭が歪んだ像となるなど、実際の被写体における濃度変化とは乖離してしまう傾向にある。

そこで、ここでは、Ｖライン傷（実際には残存Ｖライン傷）の周辺におけるインターポレーションについては、例えばＧ色の補間対象画素に対して上下左右の隣接するＧ画素の画素値の平均値を付与するなど、補間対象画素の周囲の画素値の平均値で補間する処理（平均画素補間）を行う。なお、Ｒ，Ｂ色については、補間対象画素を中心とした５×５の画素エリアに含まれる同色の画素値の平均値を補間対象画素に対して付与することで平均画素補間を実施することができる。

また、Ｖライン傷（実際には残存Ｖライン傷）の近傍における輪郭強調処理については、歪んだ像が強調されないように、輪郭強調レベルの低減する。つまり、オフセットによるＶライン補正時よりも、画素補間によるＶライン補正時の方が、Ｖライン傷が存在していた画素の近傍における輪郭強調の度合いが相対的に小さくなるように調整する。詳細については後述する。

図２３は、撮像装置１の撮影動作フローを例示するフローチャートである。

ステップＳＴ５１では、レリーズして露光を行う。すなわち、撮影者によりシャッターボタン１３が全押し(Ｓ２オン)されて、被写体を撮影する動作が行われる。

ステップＳＴ５２では、撮像センサ１６から画素データを順次に読み出してキャプチャーする処理を行う。

ステップＳＴ５３では、撮影者によるコマ送り・ズームスイッチ１５の操作に応答して設定されたＶライン傷の補正方法の設定状態を認識する。

ステップＳＴ５４では、ステップＳＴ５３で認識されたＶライン傷の補正方法に従って、Ｖライン傷の補正が実施される。ここでは、撮影条件に含まれるＶライン傷の補正方法の設定状態に応じて、２つのＶライン傷の補正方法のうちの一方のＶライン傷の補正方法を選択的に実行する。なお、ここでは、Ｖライン傷の補正方法がオフセットによる補正方法である場合、Ｖライン傷の位置およびレベルの検出が行われた後に、オフセットによるＶライン傷の補正が実行される。

ステップＳＴ５５では、Ｖライン傷が補正された画像データを画像メモリ４１から読出す。

ステップＳＴ５６では、ステップＳＴ５４で実施されたＶライン傷の補正方法がオフセットによる補正方法であったか否か判定する。ここでは、オフセットによる補正方法であったと判定される場合にはステップＳＴ５７に進み、オフセットによる補正方法ではなかったと判定される場合にはステップＳＴ６０に進む。

ステップＳＴ５７では、図１７で示したように、補間対象画素と残存Ｖライン傷との位置関係に応じて画素補間の参照パターンを適宜変更しつつインターポレーション（色補間）を行う。

ステップＳＴ５８では、図２１で示したように、Ｖライン傷の近傍の画素、すなわち強調対象画素の上下左右の隣接画素が残存Ｖライン傷に属する場合、または強調対象画素が残存Ｖライン傷に属する場合には、適宜ハイパスフィルターを変更する輪郭強調処理を行う。

ステップＳＴ５９では、ホワイトバランス補正、ガンマ補正、および解像度変換などといったその他の画像処理が行われて、メモリカード９に画像データが格納されて、図２３に示す撮影動作フローが終了する。

一方、ステップＳＴ６０では、Ｖライン傷の周辺では平均画素補間を行うインターポレーションを実施する。具体的には、図１７で示した動作フローのうちステップＳＴ３４において平均画素補間を行うようにしたインターポレーションの動作フローを実施する。

ステップＳＴ６１では、Ｖライン傷の近傍では強調レベルを低減する輪郭強調処理を行う。具体的には、図２２で示した動作フローを行う。このとき、例えば、ステップＳＰ４５におけるゲインを０に近い値とすることが好ましい。このように、例えば、ゲインを０に近い値とすることで、オフセットによるＶライン補正時よりも、画素補間によるＶライン補正時の方が、Ｖライン傷が存在していた画素の近傍における輪郭強調の度合いが相対的に小さくなるように調整することができる。

ステップＳＴ６２では、ホワイトバランス補正、ガンマ補正、および解像度変換などといったその他の画像処理が行われ、メモリカード９に画像データが格納されて、図２３に示す撮影動作フローが終了する。

以上のように、本発明の実施形態に係る撮像装置１では、撮像センサ１６の垂直ＣＣＤ１６２における欠陥に起因して発生する画像上のＶライン傷を補正する複数種類の方法（ここでは、オフセットおよび画素補間による補正方法）のうち、Ｖライン傷の補正方法の設定状態などといった撮影条件に応じて一の傷補正方法を選択的に実行する。その結果、例えば、Ｖライン傷の画素レベルを検出して補正に反映することでＶライン傷の温度依存性に対処可能なオフセットによる補正方法と、Ｖライン傷の画素レベルの検出が特に必要でなく演算量が少ない画素補間による補正方法とのうち、撮影条件に応じて適宜一の傷補正方法を選択的に実行することで、種々の条件下で線状傷を目立たなくすることができる。

また、オフセットによる補正では被写体の再現性が高いが、オフセット量を間違えるとＶライン傷を薄く残ってしまう。一方、画素補間による補正ではＶライン傷が目立つことはないが、被写体の再現性が低い。このような両Ｖライン傷の補正方法の得失点を考慮して上手く使い分けることで、線状傷を目立たなくすることができる。

また、Ｖライン傷の補正後に色補間を行う際、Ｖライン傷に対応する画素値を用いて算出された画素値の変化を示す濃度変化パラメータについては参照レベルを相対的に低減する。その結果、色補間の際にＶライン傷の補正の誤差に起因する偽の濃度パターンを検知することで色補間後の画像上の被写体と実際の被写体とが乖離してしまう現象を抑制することができる。

また、Ｖライン傷が補正された補正済画像を対象として輪郭強調処理を行う際、Ｖライン傷に対応する画素値の影響が他の画素値の影響よりも小さくなるように輪郭強調処理を行う。このような構成により、線状傷の補正における誤差を強調しないようにすることができ、その結果として、線状傷を目立たなくすることができる。

また、Ｖライン傷が補正された補正済画像を対象として輪郭強調処理を行う際、Ｖライン傷に対応する画素の近傍画素については、Ｖライン傷に対応する画素値の影響がその他の画素値の影響よりも相対的に小さくなるようなハイパスフィルタによって強調信号を抽出するか、又はその他の画素についてよりも強調信号の増幅率を相対的に低下させる。その結果、Ｖライン傷の補正における誤差を強調しないようにすることができる。

また、Ｖライン傷の画素レベルを検出して当該画素レベルを用いたオフセットによるＶライン傷の補正方法が実行される場合よりも、画素補間によるＶライン傷の補正方法が実行される場合の方が、Ｖライン傷に対応する画素の近傍における輪郭強調レベルが相対的に小さくなる。このような構成により、画像における被写体の再現性がオフセットによるＶライン傷の補正方法の方が、画素補間によるＶライン傷の補正方法よりも相対的に高いといった実状に即した輪郭強調処理を行うことができる。そして、その結果、画像における被写体の再現性が向上する。

＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

◎例えば、上記の実施形態では、Ｖライン傷を補正する複数の補正方法のうち、Ｖライン傷の補正方法の設定状態などに応じて一の傷補正方法を選択的に実行したが、これに限られず、温度センサ４９によって検出される温度条件などその他の撮影条件に応じて、Ｖライン傷を補正する複数の補正方法のうちの一の傷補正方法を選択的に実行するようにしても良い。

◎また、上記の実施形態では、補正済画像を対象として輪郭強調処理を行う際に、Ｖライン傷に対応する画素の近傍画素については、Ｖライン傷に対応する画素値の影響がその他の画素値の影響よりも相対的に小さくなるようなハイパスフィルタによって強調信号を抽出するか、又はその他の画素についてよりも強調信号の増幅率を相対的に低下させた。しかしながら、これに限られず、Ｖライン傷に対応する画素値の影響がその他の画素値の影響よりも相対的に小さくなるようなハイパスフィルタによって強調信号を抽出する方式と、強調信号の増幅率を相対的に低下させる方式とを併せて実施するようにして、上記の実施形態と同様な効果を得るようにしても良い。つまり、上記両方式のうちの少なくとも一方の手法を採用することで、Ｖライン傷の補正における誤差を強調しないようにすることができる。

◎また、上記の実施形態では、画素補間によるＶライン傷の補正時には、残存Ｖライン傷周辺では平均画素補間によってインターポレーションを行ったが、これに限られず、例えば、オフセットによるＶライン傷の補正時のインターポレーションと同様な方式を採用しても良い。

但し、上述した２つのＶライン傷の補正方法については、画素補間によるＶライン傷の補正の方が、オフセットによるＶライン傷の補正よりも精度が低く、被写体をより正しく画像上に再現することができない。これは、画素補間によるＶライン傷の補正は基本的に異なる画素値を用いて補間するためである。この点を踏まえれば、Ｖライン傷（すなわち残存Ｖライン傷）に含まれる画素に係る参照ウエイトは、オフセットによるＶライン傷の補正時の方が、画素補間によるＶライン傷の補正時よりも相対的に大きくする方が好ましいと言える。換言すれば、オフセットによるＶライン傷の補正時よりも、画素補間によるＶライン傷の補正時の方が、残存Ｖライン傷に属する画素値を用いて算出された濃度変化パラメータについての参照レベルが相対的に小さくなるようにすることが好ましい。

すなわち、オフセットによるＶライン傷の補正時と、画素補間によるＶライン傷の補正時とで、適宜参照ウエイトの低減度合いを調整することが好ましい。更に、画素補間によるＶライン傷の補正における被写体の再現性が極めて低いとみなして、画素補間によるＶライン傷の補正を採用する場合には、Ｖライン傷（すなわち残存Ｖライン傷）に含まれる画素に係る参照ウエイトを０とするなど極端に低くしても良い。

このような構成により、画像における被写体の再現性がオフセットによる補正の方が画素補間による補正よりも相対的に高いといった実状に即した色補間処理を行うことができる。そして、その結果、画像における被写体の再現性が向上する。

◎上記の実施形態における撮影時の傷レベル(オフセット量)検出については、工場出荷時に行う傷レベル検出(図７)に類似した方法により行っても良い。この検出方法について説明する。

図２４は、本発明の変形例に係る傷レベルの検出動作を示すフローチャートである。

ステップＳＰ１およびステップＳＰ２では、図１２に示すステップＳＴ１１およびステップＳＴ１３と同様の動作を行う。

ステップＳＰ３では、キャプチャー処理が完了したかを判定する。ここで、キャプチャー処理が完了した場合には、ステップＳＰ４に進み、完了していない場合には、ステップＳＰ２の動作を繰り返す。

ステップＳＰ４〜ＳＰ７では、図７に示すステップＳＴ１〜ＳＴ４と同様の動作を行う。

ステップＳＰ８では、図１２に示すステップＳＴ１４と同様の動作を行う。

ステップＳＰ９では、傷レベルの検出を行う。具体的には、２００水平転送期間停止して得られた画素データに関して１／２００倍で正規化したレベルを、傷レベルとして検出する。

ステップＳＰ１０〜ＳＰ１４では、図１２に示すステップＳＴ１６〜ＳＴ２０と同様の動作を行う。

以上のような動作によっても、撮影時においてＶライン傷の傷レベルを適切に検出できることとなる。

◎また、上記の実施形態は、全画素読出しのＣＣＤの例で示してあるが、複数フィールド読出しのＣＣＤでもかまわない。その時はいったん１フレームにならべ変えてから補正を行うと、上記の実施形態と同じ補正ができる。

本発明の実施形態に係る撮像装置１の要部構成を示す図である。 撮像装置１の機能ブロックを示す図である。 撮像センサ１６の構成を示す図である。 Ｖライン傷を説明するための図である。 Ｖライン傷の検出原理を説明するための図である。 Ｖライン傷の検出原理を説明するための図である。 撮像装置１におけるＶライン傷の検出動作を示すフローチャートである。 撮像センサ１６におけるＶライン傷の温度依存性を説明するための図である。 オフセットによるＶライン傷の補正を説明するための図である。 オフセットによるＶライン傷の補正を説明するための図である。 オフセットによるＶライン傷の補正を説明するための図である。 撮像装置１におけるＶライン傷の傷レベルの検出動作を示すフローチャートである。 画素補間によるＶライン傷の補正を説明するための図である。 インターポレーションでのＧ用のマスクパターンを例示する図である。 インターポレーションを説明するための図である。 インターポレーションにおける参照ウエイトを説明するための図である。 インターポレーションの動作フローを例示するフローチャートである。 輪郭強調に用いるハイパスフィルターのパターンを例示する図である。 ハイパスフィルターの切り替えを説明するための図である。 ハイパスフィルターのパターンを例示する図である。 輪郭強調の動作フローを例示するフローチャートである。 輪郭強調の動作フローを例示するフローチャートである。 撮像装置１の撮影動作フローを例示するフローチャートである。 本発明の変形例に係る傷レベルの検出動作を示すフローチャートである。

符号の説明

１ 撮像装置
３ 画像処理部
３ｐ デジタル処理部
１６ 撮像センサ
１６ｂａ、１６ｂｂ オプチカル・ブラック(ＯＢ)部
３１ 画素補間部
３４ 輪郭強調部
４０ カメラ制御部
４９ 温度センサ
５１ 点欠陥補正部
５２ Ｖライン傷検出部
５３ Ｖライン傷補正部
５４ 傷アドレスメモリ
１６１ フォトダイオード
１６２ 垂直ＣＣＤ
１６３ 水平ＣＣＤ
Ｆｐ、Ｆｐ１、Ｆｐ２、Ｆｐ３ 垂直ＣＣＤ上の欠陥箇所
Ｇａ、Ｇａ１、Ｇａ２、Ｇａ３ Ｖライン傷
Ｇａ１１、Ｇａ２１ 残存Ｖライン傷
ＩＣ、ＩＣ１、ＩＣ２、ＩＣ３ 補間対象画素
ＥＨ、ＥＨ１、ＥＨ２、ＥＨ３、ＥＨＶ 強調対象画素

Claims (7)

1. 撮像装置であって、
   撮像素子を有し、被写体に係る画像を取得する撮像手段と、
   前記撮像素子の電荷転送ラインにおける欠陥に起因して前記画像において発生する線状傷の位置を記憶する記憶手段と、
   前記記憶手段に記憶された線状傷の位置を参照することで前記線状傷を補正する複数種類の傷補正方法のうち、撮影条件に応じて一の傷補正方法を選択的に実行する補正手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記複数種類の傷補正方法が、
   (a)前記欠陥に起因して発生する線状傷のレベルを検出して、当該線状傷のレベルを用いたオフセットを行う第１の傷補正方法と、(b)前記画像を構成する複数の画素のうちの前記欠陥の位置に対応する欠陥画素に対し、前記欠陥画素周辺の画素に係る画素値を用いて算出した画素値を付与する第２の傷補正方法と、を含むことを特徴とする撮像装置。
3. 撮像装置であって、
   複数種類の色成分に対応するエリアが配列された撮像素子を有し、被写体に係る画像を取得する撮像手段と、
   前記撮像素子の電荷転送ラインにおける欠陥に起因して前記画像において発生する線状傷の位置を記憶する記憶手段と、
   前記記憶手段に記憶された線状傷の位置を参照することで前記線状傷を補正する傷補正手段と、
   前記傷補正手段によって前記線状傷が補正された補正済画像を対象として、特定色成分の画素値が存在しない補間対象画素に対し、前記補間対象画素の周辺における前記特定色成分に対応する所定数の周辺画素に係る画素値に応じて算出される補間画素値を付与する色補間手段と、
   を備え、
   前記色補間手段が、
   前記所定数の周辺画素に係る画素値を用いて、所定の複数方向についての画素値の変化を示す変化パラメータをそれぞれ算出する算出手段と、
   前記算出手段によって算出された複数の変化パラメータを参照することで、前記所定数の周辺画素のうちの複数の補間用画素を指定する指定手段と、
   前記指定手段によって指定された複数の補間用画素に係る画素値に基づいて算出される画素値を前記補間対象画素に対して付与する付与手段と、
   を有し、
   前記指定手段が、
   前記複数の変化パラメータを参照する際に、当該複数の変化パラメータのうち、前記線状傷に対応する画素値を用いて算出された変化パラメータについては、他の変化パラメータよりも参照レベルを相対的に低くすることを特徴とする撮像装置。
4. 請求項３に記載の撮像装置であって、
   前記傷補正手段が、
   (a)前記欠陥に起因して発生する線状傷のレベルを検出して、当該線状傷のレベルを用いたオフセットを行う第１の傷補正方法と、(b)前記画像を構成する複数の画素のうちの前記欠陥の位置に対応する欠陥画素に対し、前記欠陥画素周辺の画素に係る画素値を用いて算出した画素値を付与する第２の傷補正方法と、を含む複数種類の傷補正方法のうち、撮影条件に応じて一の傷補正方法を選択的に実行し、
   前記指定手段が、
   前記第１の傷補正方法が実行された場合よりも前記第２の傷補正方法が実行された場合の方が、前記線状傷に対応する画素値を用いて算出された変化パラメータの参照レベルを相対的に小さくすることを特徴とする撮像装置。
5. 撮像装置であって、
   複数種類の色成分に対応するエリアが配列された撮像素子を有し、被写体に係る画像を取得する撮像手段と、
   前記撮像素子の電荷転送ラインにおける欠陥に起因して前記画像において発生する線状傷の位置を記憶する記憶手段と、
   前記記憶手段に記憶された線状傷の位置を参照することで前記線状傷を補正する傷補正手段と、
   前記傷補正手段によって前記線状傷が補正された補正済画像を対象として、輪郭強調処理を行う輪郭強調手段と、
   を備え、
   前記輪郭強調手段が
   前記補正済画像を構成する複数の画素に係る画素値のうちの前記線状傷に対応する画素値の影響が他の画素値の影響よりも相対的に小さくなる輪郭強調処理を行うことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置であって、
   前記輪郭強調手段が、
   前記線状傷に対応する画素の近傍画素については、前記線状傷に対応する画素値の影響がその他の画素値の影響よりも相対的に小さくなるようなフィルタによって強調信号を抽出する第１の輪郭強調方法、および、前記線状傷に対応する画素の近傍画素については、その他の画素についてよりも強調信号の増幅率を相対的に低下させる第２の輪郭強調方法、のうちの少なくとも一方の輪郭強調方法を採用することを特徴する撮像装置。
7. 請求項５または請求項６の撮像装置であって、
   前記傷補正手段が、
   (a)前記欠陥に起因して発生する線状傷のレベルを検出して、当該線状傷のレベルを用いたオフセットを行う第１の傷補正方法と、(b)前記画像を構成する複数の画素のうちの前記欠陥の位置に対応する欠陥画素に対し、前記欠陥画素周辺の画素に係る画素値を用いて算出した画素値を付与する第２の傷補正方法と、を含む複数種類の傷補正方法のうち、撮影条件に応じて一の傷補正方法を選択的に実行し、
   前記輪郭強調手段が、
   前記第１の傷補正方法が実行された場合よりも前記第２の傷補正方法が実行された場合の方が、前記線状傷に対応する画素の近傍における輪郭強調の度合いを相対的に小さくすることを特徴とする撮像装置。
   

Images