JP2006121478A - 撮像装置 - Google Patents

Abstract

【課題】 線傷補正に温度、感度、動きベクトルといったパラメータによる閾値を持たせることで、スミアの影響による過補正を防ぐとともに撮像装置静止時には線傷およびスミアを完全に補正することが可能となり、従来よりも画質向上を図ることが可能となる。
【解決手段】撮像素子から画像信号を得る撮像手段と、撮像素子の上部ＯＢ領域または下部ＯＢ領域から垂直ラインごとのＯＢ値を算出する第１ＯＢ値算出手段と、線傷成分を含まない垂直ラインごとのＯＢ値を算出する第２ＯＢ値算出手段と、垂直ラインごとの線傷成分を検出する線傷検出手段と、前記線傷検出手段より検出された線傷成分の値があらかじめ設定した線傷閾値よりも大きい場合は線傷閾値を線傷値として出力し、小さい場合は元の線傷成分を線傷値として出力する線傷リミット手段と、前記撮像手段より得られた画像信号から前記第１ＯＢ値算出手段と前記第２ＯＢ値算出手段と前記線傷リミット手段より得られたＯＢ値と線傷値を減算する減算手段を持つことを特徴とする撮像装置。
【選択図】 図１

Description

デジタルカメラやデジタルビデオカメラなどの撮像装置に関するものである。

近年、電荷結合素子等の固体撮像素子を用いたデジタルカメラやデジタルビデオカメラなど様々な撮像装置が普及している。これらの撮像装置内の撮像素子は、製造過程や使用過程で欠陥が生じることがあり、異常なレベルの信号を出力する画素が現れることがある（図３（ｂ））。さらに使用される固体撮像素子の画素数は、年々増大する傾向にあり、これに伴い欠陥画素の発生も増大することになる。これに対して、特許文献１などのＣＣＤ上の欠陥画素を補正するといった技術が紹介されている。
特開平６−３１９０８２号公報

しかしながら、従来の傷補正では線傷とスミアとの判別がつかず、どちらにも補正がかかっていた（図４（ｂ））。その場合、静止時にはスミアも線傷も消えるが、画角が横移動したときの流れるスミアの補正には対応しておらず、図４（ａ）、図４（ｃ）のようにスミア発生部分とは異なる場所に補正がかかり、過補正となってしまうという問題があった。

本発明は、以上の点に着目して成されたもので、線傷補正に温度、感度、動きベクトルといったパラメータによる閾値を持たせることで、スミアの影響による過補正を防ぐとともに撮像装置静止時には線傷およびスミアを完全に補正することが可能となり、従来よりも画質向上を図ることが可能となる撮像装置を提供することを目的とする。

前記の問題を解決するために本発明における実施例では、撮像素子から画像信号を得る撮像手段と、撮像素子の上部ＯＢ領域または下部ＯＢ領域から垂直ラインごとのＯＢ値を算出する第１ＯＢ値算出手段と、線傷成分を含まない垂直ラインごとのＯＢ値を算出する第２ＯＢ値算出手段と、垂直ラインごとの線傷成分を検出する線傷検出手段と、前記線傷検出手段より検出された線傷成分の値があらかじめ設定した線傷閾値よりも大きい場合は線傷閾値を線傷値として出力し、小さい場合は元の線傷成分を線傷値として出力する線傷リミット手段と、前記撮像手段より得られた画像信号から前記第１ＯＢ値算出手段と前記第２ＯＢ値算出手段と前記線傷リミット手段より得られたＯＢ値と線傷値を減算する減算手段を持つことを特徴とする。

画像上部領域もしくは下部領域のＯＢ値から縦線傷成分を画像信号から垂直ラインごとに減算する縦線傷補正があるが、その弊害として、スミア発生時に画角が左右に移動した場合に過補正が起こる場合がある。本発明によるとその過補正を防ぐとともに撮像装置静止時には線傷およびスミアを完全に補正することが可能となり、従来よりも画質向上を図ることが可能となる。

以下本発明を実施するための最良の形態を、実施例により詳しく説明する。

図１は本実施例１の撮像装置の簡単なブロック図である。この図１を用いて本発明の動作説明を行う。

同図に示す撮像装置は、操作部１０１、制御部１０２、ＣＣＤ部１０３、Ａ／Ｄ変換部１０４、画像補正部１０５、画像処理部１０６、ＥＶＦ表示部１０７、ＡＦ処理部１０８、レンズ１０８ａ、ＡＥ処理部１０９、メカ機構１０９ａ、ＥＦ処理部１１０、フラッシュ部１１１、フォーマット変換部１１２、画像記録部１１３、外部接続部１１４、温度測定部１１５、動きベクトル検出部１１６を備えている。

操作部１０１は撮影者が撮像装置に指示を与えるためのインターフェースとなるスイッチやキーを備えている。この中にはレリーズスイッチも含み、その半押しがＳＷ１、全押しがＳＷ２となり、ここでの指示が制御部１０２に伝えられる。

制御部１０２は撮像装置の操作を制御しており、操作部１０１からの指示により各処理部をコントロールする。

ＣＣＤ部１０３は、行列的に２次元配列となっており、図３に示すように、入射光をその光量に応じた電荷量の信号電荷に変換して蓄積する複数個の光電変換素子３０１と、各光電変換素子から読み出された信号電荷を垂直転送する複数本の垂直転送ＣＣＤ３０２、垂直ＣＣＤから転送される１行分の信号電荷を水平転送する水平転送ＣＣＤ３０３からなる。

Ａ／Ｄ変換部１０４ではＣＣＤ部から入力されるアナログの画像データに対して、サンプリングおよびゲイン調整、Ａ／Ｄ変換を行いデジタルの画像データを出力する。

画像補正部１０５では、Ａ／Ｄ変換部より出力された画像信号を入力して、暗電流補正や点傷補正、線傷補正といった画像補正を施す。

画像処理部１０６では１０４Ａ／Ｄ変換部から入力された画像データに対して各種画像処理を行い、例えば入力画像データからＹＵＶデータに変換して出力する。

ＥＶＦ処理部１０７では入力された画像データに対して画像処理を行い、ＥＶＦ上に表示する。

ＡＦ処理部１０８では被写体に適切なフォーカス位置にレンズ１０８ａを駆動させるよう指示を出す。

ＡＥ処理部１０９では被写体に適正な露出条件を算出し、メカ機構１０９ａを駆動させるよう指示を出す。

制御部１０２においてフラッシュが必要と判断した際には、ＥＦ処理部１１０へフラッシュＯＮの指示を出し、フラッシュ部１１１にて発光を行う。

フォーマット変換部１１２では、画像処理部１０６にて画像処理をかけられた画像データをＪＰＥＧフォーマット等へのフォーマット変換が行われる。

画像記録部１１３では、フォーマット変換部１１２にて変換された画像データを撮像装置内のメモリ、もしくはコンパクトフラッシュ(登録商標)等の外部メモリへと書き込む。

外部接続部１１４では外部接続機器（ＰＣ、プリンタ等）に接続しデータ通信を行う。

温度計測部１１５ではＣＣＤ部１０３の温度を測定し、制御部１０２へと伝える。

動きベクトル検出部１１６では加速度センサもしくはパターンマッチングによるベクトル検出によりぶれ量およびぶれベクトルを検出し、制御部１０２へと伝える。

以上が撮像装置内の各部の処理である。

次に本実施例１の撮像装置の撮像動作においてフロー図である図２を用いて全体の動作の流れを説明する。

まず２０１にて電源が入れられるとシャッターが開き、光がレンズを通る。２０２にてこの光が集光されＣＣＤ面に結像し、光電変換素子に電荷が溜まる。次に２０３にてＣＣＤの電荷を読み出す。ＣＣＤから読み出された間引きもしくは加算された画像データは２０４にてアナログデータからデジタルデータに変換される。その後２０５にて傷補正を行う。縦線傷の説明および縦線傷補正の説明は後述する。

２０６にて傷補正された画像データに対して画像処理を施し、２０７にてＡＥ、ＡＦ処理を行い、被写体に適正な露出およびフォーカス位置を設定する。２０８のシャッターボタン半押し（ＳＷ１）されるまで、上記の２０２〜２０８のループ処理が繰り返される。

ＳＷ１が押されると、上記ループ処理で得られた露出、フォーカス位置にて第１の画像が撮影される（２０９）。第１の画像をもとにＡＥ、ＡＦ処理を行い（２１０）、第２の画像を撮影する（２１１）。顔が検出されていない場合、デフォルト測光測距枠を設定する。

シャッターボタンが全押し（ＳＷ２）されると、次にフラッシュ発光、非発光の判断を行う（２１３）。フラッシュ非発光の場合、上で設定された測距測光枠を用いて最適な露出設定、及びフォーカス設定にて撮影を行う（２１６）。フラッシュ発光の場合、ＥＦ処理（２１４）にてプリ発光を行い、本発光量の算出、ＥＦ枠の重み付けなどの処理を行う。上記設定にて顔に最適な発光量による本発光（２１５）を行い、本撮影（２１６）を行う。

本撮影時には最適な露出、フォーカス設定にてレンズを通過してきた光がＣＣＤに電荷として溜まる（２１７）。この溜まった電荷を読み出し、Ａ／Ｄ変換を行う（２１８、２１９）。得られた本撮影画像データにガンマ処理などの画像処理を施し（２２０）、ＪＰＥＧフォーマット等へのフォーマット変換（２２１）が行われる。２２２にて採取的に得られた画像を撮像装置内のメモリ、もしくはコンパクトフラッシュ(登録商標)等の外部メモリへと書き込みを行う。以上が撮影の全体の流れである。

縦線傷について、図３を使って説明する。

図３（ａ）はインターライン型ＣＣＤの概略図、図３（ｂ）は読み出した画像である。３０３は光を電気信号に変換する光電変換素子である。３０２は垂直転送ＣＣＤ、３０３は水平転送ＣＣＤである。

縦線傷は、垂直転送ＣＣＤに図３（ａ）の「×」で示されるようなＣＣＤ傷３０４がある場合、電流源となって通過する画素信号にオフセットを加算するために縦方向に白傷となって現れる。直接影響を受けるのは傷のある位置から後方のラインであるが、画像信号は通常、読み出し前に垂直転送ＣＣＤの吐き出しを行うため、傷のある位置から前方のラインにも影響を与える。また実画像としては上下反転するため、縦線傷発生画像は図３（ｂ）のようになる。

縦線傷補正については図５を用いて説明する。

通常縦線傷補正は露光時間無しの案電流信号を読み出して、それを図１の画像補正部にて画像信号から減算する。これにより線傷成分をも除去する。

上部もしくは下部のＯＢ領域を用いた縦線傷補正では、まず画像信号を読み出し、次に読み出した画像信号内の下部もしくは上部ＯＢ領域の垂直ラインごとのＯＢ値（線傷成分含む）を読み出して、それを図１の画像補正部にて画像信号から減算する。この補正法を用いた場合、静止時には縦線傷成分は除去され、同時にスミア成分も除去される。しかし、画角が左ないし右に移動したとき、ＣＣＤの電荷転送の仕組み上スミアが流れる（図５（ａ）、図５（ｃ））。その際にもＯＢ領域による線傷補正がかかっているため、図に示すように補正しなくてもよい画素にも線傷補正をかけてしまうため、図５（ａ）（ｃ）のように過補正画像となる。

そこで本発明では前記線傷補正の弊害をなくすことを目的とし、以下図６、図７を用いて説明する。

最初に感度Ｓ、温度Ｔ、露光時間Ｕ、動きベクトル量Ｖを取得する（７０２）。感度Ｓおよび露光時間Ｔはカメラ制御部から情報をもらい、温度Ｔに関してはＣＣＤに接地してある温度計より取得する。また動きベクトルＶに関しては加速度センサやＥＶＦ画像からのパターンマッチングから求める。これらの感度Ｓ、温度Ｔ、露光時間Ｕ、動きベクトル量Ｖから線傷閾値を設定する（７０３）。次にＣＣＤより画像信号を読み出し（７０４）、垂直ラインごとのＯＢ値を算出する（７０５）。その中で標準偏差をとり、これを基準ＯＢ値とし、基準ＯＢ値以上の値を示すラインを線傷ありのラインと判定する（７０６）。線傷ありラインと判定された場合、線傷ありラインＯＢ値より基準ＯＢ値を減算した線傷成分を算出する。これが設定された線傷閾値より大きい場合は線傷閾値を線傷値とし、小さい場合は元の線傷成分を線傷値とする（７０７）。７０８にて画像信号から各ラインごとにＯＢ値を減算することで画像補正を行う。ここで線傷なしラインは垂直ラインごとのＯＢ値を減算し、線傷ありラインでは基準ＯＢ値に線傷値を加えたものを減算する。

ここで線傷値算出に用いるＯＢ領域は上部ＯＢ領域、下部ＯＢ領域どちらを用いてもよい。また基準ＯＢ値算出法としては、上部ＯＢ領域、下部ＯＢ領域の平均値もしくは標準偏差から求める手段と右部ＯＢ領域の平均値もしくは標準偏差から求める手段のどちらを用いてもよい。

この手法により、図７（ａ）に示すように静止時の線傷を補正することが可能となり、左右移動時にも線傷補正による弊害である過補正の影響を減らすことが可能となる。

実施例１の撮像装置のブロック図 実施礼１の撮像装置の撮像動作フロー図 縦線傷の説明図 縦線傷補正なしの画像を示す図 縦線傷補正あり（線傷リミット無し）の画像を示す図 縦線傷補正あり（線傷リミット有り）の画像を示す図 縦線傷補正（線傷リミット有り）のフロー図

符号の説明

１０１ 操作部
１０２ 制御部
１０３ ＣＣＤ部
１０４ Ａ／Ｄ変換部
１０５ 画像補正部
１０６ 画像処理部
１０７ ＥＶＦ表示部
１０８ ＡＦ処理部
１０８ａ レンズ
１０９ ＡＥ処理部
１０９ａ メカ機構
１１０ ＥＦ処理部
１１１ フラッシュ部
１１２ フォーマット変換部
１１３ 画像記録部
１１４ 外部接続部
１１５ 温度測定部
１１６ 動きベクトル検出部

Claims (12)

1. 撮像素子から画像信号を得る撮像手段と、撮像素子の上部ＯＢ領域または下部ＯＢ領域から垂直ラインごとのＯＢ値を算出する第１ＯＢ値算出手段と、線傷成分を含まない垂直ラインごとのＯＢ値を算出する第２ＯＢ値算出手段と、垂直ラインごとの線傷成分を検出する線傷検出手段と、前記線傷検出手段より検出された線傷成分の値があらかじめ設定した線傷閾値よりも大きい場合は線傷閾値を線傷値として出力し、小さい場合は元の線傷成分を線傷値として出力する線傷リミット手段と、前記撮像手段より得られた画像信号から前記第１ＯＢ値算出手段と前記第２ＯＢ値算出手段と前記線傷リミット手段より得られたＯＢ値と線傷値を減算する減算手段を持つことを特徴とする撮像装置。
2. 第１ＯＢ値算出手段により得られるＯＢ値とは、線傷成分およびスミア成分を含む値であることを特徴とする請求項１記載の撮像装置。
3. 第１ＯＢ値算出手段は、ＯＢ値算出に用いるＯＢ領域を前記撮像素子上部のＯＢ領域と前記撮像素子下部のＯＢ領域のどちらかを選択することを特徴とする請求項１記載の撮像装置。
4. 第１ＯＢ値算出手段は、ＯＢ値算出に用いるＯＢ領域を前記撮像素子上部のＯＢ領域と前記撮像素子下部のＯＢ領域の両方を用いることを特徴とする請求項１記載の撮像装置。
5. 第２ＯＢ値算出手段は、ＯＢ値算出に用いるＯＢ領域として前記撮像素子の右部ＯＢ領域を用いることを特徴とする請求項１記載の撮像装置。
6. 第２ＯＢ値算出手段は、前記撮像素子下部もしくは上部のＯＢ領域から算出した垂直画素ごとのＯＢ値の正規分布を取り、その標準偏差をＯＢ値とすることを特徴とする請求項１記載の撮像装置。
7. 線傷検出手段は、前記撮像素子下部もしくは上部のＯＢ領域から算出した垂直画素ごとのＯＢ値の正規分布を取り、予め設定したＯＢ閾値以上のＯＢ値を含む垂直ラインを線傷と判定することを特徴とする請求項１記載の撮像装置。
8. ＯＢ閾値とはＯＢ値の正規分布における標準偏差であることを特徴とする請求項７記載の撮像装置。
9. 前記撮像素子の温度を計測する温度計測手段を有し、撮像素子の温度に応じて前記線傷閾値を制御することを特徴とする請求項１に記載の撮像装置。
10. 前記撮像素子の感度を設定する感度設定手段を有し、撮像素子の感度に応じて前記線傷閾値を制御することを特徴とすることを特徴とする請求項１に記載の撮像装置。
11. 温度もしくは感度に応じて、前記線傷閾値が切り替わるテーブル情報を記憶するテーブル記憶手段を有することを特徴とする請求項１に記載の撮像装置。
12. 画像データ内の被写体及び背景の動きベクトルを検出するベクトル検出手段を有し、前記ベクトル検出手段により検出されたベクトル量に応じて前記線傷閾値を制御することを特徴とする請求項１に記載の撮像装置。