JP2006109414A

JP2006109414A - 撮影装置

Info

Publication number: JP2006109414A
Application number: JP2005242090A
Authority: JP
Inventors: Mikio Fujiwara; 幹男藤原
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-09-08
Filing date: 2005-08-24
Publication date: 2006-04-20

Abstract

【課題】撮影装置において長時間露光撮影をしたとき、撮影装置自体の温度上昇や高温環境下において、複数画素に隣接して発生するＣＣＤの欠陥画素による画質劣化の低減を図る。
【解決手段】シャッタースピードが撮影装置の映像フォーマットのフィールドまたはフレーム周期と異なる周期に変更されるタイミング毎にＣＣＤ１２の欠陥画素の検出と補正方法を生成する。欠陥画素の補正自体は、欠陥画素が複数画素に隣接して発生し始める、且つ欠陥画素自体が目立ち始めるシャッタースピード以上のときのみ補正を実行するようにする。
【選択図】図１

Description

本発明は、映像を撮影する撮影装置に関し、より詳細には、撮影装置における長時間露光時に、変化する欠陥画素に対しても欠陥画素補正を適切に行うことができる撮影装置に関する。

最近のビデオカメラは、低照度下での動画撮影や静止画撮影を実現するため、撮像素子の露光時間を長くする（シャッタースピードを遅くする）機能が追加されている。しかし、ＣＣＤ等の撮像素子の場合、露光時間を長くすればする程、いわゆる暗電流の影響で暗出力が映像信号に重畳され、特に暗出力の大きい画素は画像上に白い点として現れる、一般的に白欠陥や白キズと言われる欠陥画素になってしまい、画質劣化の原因となっている。特に白欠陥のように暗電荷過大で明るく光る欠陥画素は低照度の画像では非常に目立ってしまうため、事前に欠陥画素を検出して欠陥画素位置情報を作成しておき、撮影時にその欠陥画素位置情報を用いて欠陥画素を隣接画素で補正する方法が広く知られている。

また、ＣＣＤ等の撮像素子は宇宙線等の影響で、製品出荷後に欠陥画素に変化してしまうことも良く知られている。このように、製造時に発生する欠陥画素や出荷後に新たに発生する欠陥画素に対応するため、撮影装置の電源を入れる度にアイリス（絞り）を全閉して、遮光状態で欠陥画素の位置を検出して欠陥画素位置情報を補正する方法がある（例えば、特許文献１参照。）。

一方、欠陥画素は温度依存性が非常に高いことも良く知られている。特に、ある温度以下では正常に動作する画素であっても高温環境下においてはそれらが欠陥画素として振る舞い、場合によっては複数の欠陥画素が隣接して発生することがある。このような場合に対処するため、撮影装置自体に欠陥画素検出を能動的に行わせ、欠陥画素の大きいものから優先的に補正し画質劣化を最小限に抑える方法がある（例えば、特許文献２参照。）。
特開平０６−０３８１１３号公報特開２００２−３３０３５３号公報

しかしながら、このような従来の撮影装置では、撮影装置の電源を入れた時点等、最後に欠陥画素検出を行った時点から装置自体の内部温度上昇や周囲温度が上昇したときに、新たに発生した欠陥画素を補正できないという問題点があった。同様に、露光時間、すなわちＣＣＤの電荷蓄積時間の違いによって欠陥画素の分布に差がある場合にも対応できないという問題点があった。また、これを解決するために能動的に欠陥画素検出をする場合には、欠陥画素検出中に撮影タイミングが重なると撮影ミスを起こしてしまうという問題点があった。また、欠陥画素の補正は通常撮影や長時間露光撮影といった撮影モードに関係なく行われるので、長時間露光撮影でなければ欠陥画素として現れない画素に対しても常に補正をしてしまうことになる。そのため、特に長時間露光撮影時などの条件下で複数画素にまたがった大きな欠陥画素を検出したときなどは、通常撮影時の正常な画素に対する補正を行うことによる画質劣化を招いてしまうという問題点があった。

このような問題点に鑑み本発明は、温度変化や露光時間等に左右されず、最適な欠陥画素補正を行うことができる撮影装置を提供することを目的とする。

上記課題を解決するために本発明の撮影装置は、露光時間が撮影装置の基準フレーム周期と異なる周期に設定変更される毎に欠陥画素検出を行うようにし、また、補正も欠陥画素が目立ち始める露光時間以上で行うようにすることを主要な特徴とする。

本発明の撮影装置は、露光時間が画像フォーマットのフィールドまたはフレーム周期と異なる周期に設定変更される毎に欠陥画素検出を行うようにするので、長時間露光撮影に入る前にその使用温度環境下での欠陥画素を確実に検出することができる。また撮影をしていない設定変更時に欠陥画素検出処理を実行することで撮影への影響を抑えることができ、撮影ミスを起こすことがないという利点がある。更に、実際の欠陥画素補正はその欠陥画素が目立ち始める所定の露光時間以上でのみ実行することで、この所定の露光時間以下では欠陥画素の補正は実行せず、したがって過補正による画質劣化を防止できるという利点がある。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態はカメラ一体型ビデオレコーダ、いわゆるカメラレコーダ等の撮影装置に本発明を適用したものである。

（実施の形態１）
図１は、本発明の撮影装置のＮＴＳＣ方式での１実施の形態のブロック図である。図中の点線は撮影装置で被写体を撮影した際に撮影装置に入射する光を表し、実線の矢印は撮影装置内部の信号の流れを表す。レンズユニット１０は被写体へのフォーカスやズームを行う。レンズユニット１０を通して入射した光は固体撮像素子１２（以降ＣＣＤと称す）に結像する。その光はＣＣＤ１２によってアナログ電気信号に光電変換され、映像信号として出力される。絞り手段としてのアイリスユニット１１は、レンズユニット１０を通過した光がＣＣＤ１２に入射する光量を調整する。Ａ／Ｄ変換器１３は、ＣＣＤ１２から出力されたアナログ信号をディジタル信号に変換する。

欠陥画素補正器１４は欠陥画素の補正情報をもとに欠陥画素を補正する。欠陥画素補正器１４は、欠陥画素補正オンの場合にのみ補正を行い、オフの場合には入力されたディジタル信号を補正せずにそのまま出力する。欠陥画素検出手段としての欠陥画素サンプリング器１５は欠陥画素検出処理において、Ａ／Ｄ変換器から出力されるディジタル信号から欠陥画素をサンプリングして検出し、メモリ１５ａにその欠陥画素サンプリングデータを一時格納する。ディジタルプロセス部１６は欠陥画素補正器１４から出力されたディジタル信号に対してガンマ処理、シェーディング処理、ディテール処理、メディアンフィルタ処理といった映像信号処理を行う。レンズドライバ１７はレンズユニット１０を動かすドライバであり、アイリスドライバ１８はアイリスユニット１１を動かすドライバであり、ＣＣＤドライバ１９はＣＣＤ１２の水平垂直転送パルスや電荷転送パルスを生成するドライバである。なお、電荷転送パルスはＣＣＤ１２に蓄積された電荷をＣＣＤ１２内の電荷転送用バッファ（図示せず）に転送するパルスであり、これによって電荷が電荷転送用バッファに転送され、この電荷が水平垂直転送パルスのタイミングでアナログ信号として出力される。タイミング発生器２０はシステムタイミングパルスを生成するタイミングジェネレータである。撮影装置は、このシステムタイミングパルスに同期して動作する。システムコントローラ２１は撮影装置を構成する各部を制御すると共に欠陥画素検出処理や欠陥画素補正制御処理を行う。

操作スイッチ２２は撮影装置の操作者が操作するスイッチやボタンであり、シャッターモードスイッチ２２ａ、シャッタースピードダイヤル２２ｂ及び録画停止ボタン（不図示）を含む。シャッターモードスイッチ２２ａは、画像フォーマットのフレーム周期（フィールド周期でもよい）とは異なる時間でＣＣＤ１２の電荷蓄積時間を設定可能なモード（シャッターモード）のオン／オフをすることができる。シャッタースピードダイヤル２２ｂは、シャッターモードオン時において、ＣＣＤ１２の蓄積時間を選択するダイヤルである。本実施例では、撮影する画像フォーマットのフレーム周期は１／６０秒である。そして、シャッタースピードダイヤル２２ｂは、これ以外の例えば１／６０秒以上では１／３０秒、１／１５秒、１／８秒、１／４秒、また１／６０以下では１／１２０秒から１／２０００秒の範囲にシャッタースピードを設定する。録画停止ボタンは、撮影装置の録画開始及び停止を行うボタンである。

なお、本実施の形態では、シャッターモードスイッチ２２ａおよびシャッタースピードダイヤル２２ｂが電荷蓄積時間設定手段を構成する。また、電荷蓄積時間設定手段としては、シャッターモードスイッチ２２ａを設けず、シャッタースピードダイヤル２２ｂにフレーム周期である１／６０秒をシャッタースピードとして設けるようにしてもよい。この場合、シャッタースピードが１／６０秒のときがシャッターモードオフに相当し、シャッタースピードが１／６０秒以外のときがシャッターモードオンに相当する。

以上のように構成された本発明の撮影装置において、図２のフローチャートを用いて欠陥画素検出処理の手順について説明する。まず撮影装置は録画待機状態つまり録画停止状態にあり、シャッターモードスイッチ２２ａはオフ、シャッタースピードダイヤル２２ｂは１／３０秒に設定されているとする。システムコントローラ２１は操作スイッチ２２のシャッターモードスイッチ２２ａの状態を監視する。操作者がシャッタースピードを通常の１/６０秒から１／３０秒に変更して撮影をするためにシャッターモードスイッチ２２ａを押すと、システムコントローラ２１はシャッターモードスイッチ２２ａがオフからオンに変更されたことを検出し、直ちに図２の欠陥画素検出処理を実行する。

システムコントローラ２１は、アイリスドライバ１８にアイリス強制クローズオンを設定し、アイリスドライバ１８がこれを受けてアイリスユニット１１を制御してアイリスを強制クローズ（全閉）してＣＣＤ１２への光を遮断する遮光状態にする（ステップ１００）。次にシステムコントローラ２１は、ＣＣＤドライバ１９に欠陥画素検出用駆動時間として１／４秒を設定する。ＣＣＤドライバ１９は、設定された１／４秒の長時間蓄積でＣＣＤ１２を駆動する（ステップ１０１）。欠陥画素検出用駆動時間が１／４秒なのは、複数画素に連続する欠陥画素が目立ち始めるのが実験的にＣＣＤ１２の通常の蓄積時間（本実施例では１／６０秒となる）の１０倍以上であり、本実施の形態ではこの条件を満たす蓄積時間として選択可能なものが１／４秒となるからである。ＣＣＤ１２はこの間遮光状態なので、暗電流の多い欠陥画素にだけ電荷が蓄積されていく。システムコントローラ２１は、１／４秒の電荷蓄積が終了するまで待つ（ステップ１０２）。システムコントローラ２１は、電荷蓄積が終わるとＣＣＤドライバ１９にシャッタースピードダイヤル２２ｂに設定されているシャッタースピードである１／３０秒を設定し、これ以後はＣＣＤドライバ１９がＣＣＤ１２を１／３０秒の蓄積時間で駆動する（ステップ１０３）。また、欠陥画素検出用の長時間蓄積が終わると、ＣＣＤ１２からは欠陥画素検出用映像信号として１画素ずつ線順次で電荷が出力され、Ａ／Ｄ変換器によってディジタル信号に変換されるので、システムコントローラ２１はその中から複数画素に連続する欠陥画素を検出するよう欠陥画素サンプリング器１５に設定する。欠陥画素サンプリング器１５は、この設定にしたがって、入力されるディジタル信号から欠陥画素を検出する（ステップ１０４）。欠陥画素検出処理が終了すると、次にシステムコントローラ２１は欠陥画素サンプリング器１５内のメモリ１５ａから欠陥画素検出結果を読み出し、欠陥画素の補正方法を決定し、検出結果と共に欠陥画素情報として欠陥画素補正器１４に設定する（ステップ１０５）。次にシステムコントローラ２１はアイリスドライバ１８にアイリス強制クローズオフを設定し、アイリスドライバ１８がアイリスユニット１１を制御してアイリスを強制クローズから解除する（ステップ１０６）。この後、操作者が録画停止ボタンを押すと、撮影装置は欠陥画素補正処理を行いながらシャッタースピード１／３０秒で映像の記録を開始する。

次に図３を用いて、欠陥画素検出処理を時間軸に沿って説明する。まず、図３について概要を説明する。（ａ）シャッターモードスイッチ２２ａは、シャッターモードスイッチ２２ａのスイッチの状態を示している。（ｂ）シャッタースピードダイヤル２２ｂは、シャッタースピードダイヤル２２ｂによって設定されるシャッタースピードの値を示している。（ｃ）アイリス強制クローズ制御３０は、システムコントローラ２１がアイリスドライバ１８に対して行うアイリスの強制クローズ制御の状態を示している。（ｄ）ＣＣＤドライバ１９への蓄積時間設定値は、システムコントローラ２１がＣＣＤドライバ１９に設定する、ＣＣＤ１２の蓄積時間を示す。（ｅ）ＣＣＤ１２の電荷蓄積は、ＣＣＤ１２の電荷蓄積の様子を示しており、縦軸が電荷蓄積量を表している。また、数字は電荷蓄積をしているフレームに対して便宜的に付与したフレーム番号である。（ｆ）ＣＣＤ出力３１は、ＣＣＤ１２から出力する映像出力のアナログ信号の様子を示しており、数字は（ｅ）の番号と対応している。（ｇ）欠陥画素サンプリング器１５の動作は、欠陥画素サンプリングの状態を示しており、オンは欠陥画素サンプリングが動作中であることを表している。（ｈ）欠陥画素補正情報の設定は、欠陥画素補正器１４への欠陥画素補正情報の設定の様子を示している。

図３において、シャッターモードスイッチ２２ａがオフの時には、システムコントローラ２１はＣＣＤドライバ１９に対し、（ｄ）のようにフレーム周期と同じ通常の蓄積時間である１／６０秒を設定している。この設定にしたがってＣＣＤ１２は、（ｆ）のように１／６０秒毎に蓄積された電荷を出力する。

シャッターモードスイッチ２２ａが（ａ）のようにオフからオンに変化すると、システムコントローラ２１がこれを検出して（ｃ）のようにアイリスドライバ１８にアイリス強制クローズオンを設定する。このタイミングでアイリスは強制クローズされ、外部からの光が遮断される。同時にシステムコントローラ２１は、（ｄ）のようにＣＣＤドライバ１９に欠陥画素検出用の蓄積時間１／４秒を設定する。これによりＣＣＤドライバ１９は、ＣＣＤ１２を１／４秒の蓄積時間で駆動する。ＣＣＤ１２において、暗電流の多い欠陥画素については、アイリスが強制クローズされているにもかかわらず（ｅ）のフレーム番号６のように電荷が蓄積していく。ＣＣＤ１２で１／４秒間の蓄積が終了すると、システムコントローラ２１は（ｄ）のようにシャッタースピードダイヤル２２ｂに設定された蓄積時間である１／３０秒をＣＣＤドライバ１９に設定する。これによりＣＣＤドライバ１９は（ｄ）のようにＣＣＤ１２を１／３０秒の蓄積時間で駆動する。同時にＣＣＤ１２が（ｅ）のフレーム番号６で蓄積した電荷を（ｆ）のフレーム番号６のように出力するので、このタイミングに合わせてシステムコントローラ２１は（ｇ）のように欠陥画素サンプリング器１５に欠陥画素検出オンを設定する。欠陥画素サンプリング器１５は欠陥画素検出オンの間連続欠陥画素の検出を行う。すなわち、フレーム番号６のフレームに対してサンプリングを行って欠陥画素を所定のアルゴリズムで検出し、メモリ１５ａに結果を保存する。次にシステムコントローラ２１は（ｈ）のように欠陥画素サンプリング器１５のメモリ１５ａから欠陥画素情報を読み出し、これに欠陥画素の補正方法等を含んだ欠陥画素補正情報を追加して欠陥画素補正器１４に設定する。

以上のように、シャッターモードをオンに変更した時点で欠陥画素を検出する処理を実行するので、その時点の使用環境下での欠陥画素を確実に検出できるという特徴がある。また、モード変更時に欠陥画素検出処理を実行するので、その後に開始する撮影作業自体への影響を最小限に抑えることができる。これは、モード変更直後の映像は使用しないため、撮影不可能な期間を最小限にできるからである。なお、欠陥画素検出処理の実行トリガとしてシャッターモードがオフからオンに変化したタイミングを用いる以外に、シャッターモードオンでシャッタースピードが画像フォーマットのフレームまたはフィールド周期以上に変更されたタイミング、例えば画像フォーマットが４８０ＰでＣＣＤがプログレッシブスキャンの場合はフレーム周期の１／６０秒よりも長い時間に変更されたタイミングとしてもよい。また、画像フォーマットが４８０ＩでＣＣＤがインターレーススキャンの場合はフィールド周期１／６０秒よりも長い時間に変更されたタイミングとしてもよい。または、長時間露光モードボタンまたはメニューに長時間露光モード設定項目を設け、設定値がオフからオンに変更したタイミングで処理を実行するとしてもよい。

次に欠陥画素補正処理について説明する。システムコントローラ２１は、所定の条件下において欠陥画素補正処理を実行する。本実施の形態では、欠陥画素が複数画素に隣接して発生し始め、且つ欠陥画素自体が目立ち始めるシャッタースピード以上のときのみ補正を実行するようにする。すなわち、操作スイッチ２２のシャッターモードスイッチ２２ａがオンでかつシャッタースピードダイヤル２２ｂが１／４秒以上に設定された場合に、欠陥画素補正器１４に対して欠陥画素補正オンを設定して欠陥画素補正処理を実行する。

欠陥画素補正オンになると、欠陥画素補正器１４は、欠陥画素検出処理時に設定された欠陥画素補正情報をもとに、複数画素に連続する欠陥画素の補正を行う。複数画素に連続する欠陥画素の補正方法としては、一般的な隣接する正常画素による水平補正を用いることができる。

なお、シャッタースピードが１／４未満で発生する欠陥画素は、ディジタルプロセス部１６のメディアンフィルタで補正する。メディアンフィルタは映像の相関関係から欠陥画素を補正するフィルタであり、欠陥画素に隣接する正常な画素で補正する。このように、蓄積時間の長いシャッタースピードのときのみ欠陥画素補正器１４で複数画素に連続した欠陥画素を補正するようにしたので、速いシャッタースピードのときは過補正による画質劣化が発生しないという特徴がある。一方、蓄積時間の長いシャッタースピードでの補正による画質劣化の影響は、もともと蓄積時間が長いことにより映像の解像度が低下するので、補正による画質劣化が目立ち難いという利点もある。

（実施の形態２）
次に、本実施の形態１の撮像装置において、ＣＣＤ１２の温度を測定する温度センサー（不図示）と、欠陥画素検出処理を実行したときの時刻間を知るための時計（不図示）とをさらに備えたものについて説明する。

システムコントローラ２１は、欠陥画素検出処理を実行したときにＣＣＤ１２の温度を、ＣＣＤ１２に設けられた温度センサーから取得するとともに、実行したときの時間も時計から取得して記憶する。システムコントローラ２１は、初回以降の欠陥画素検出処理の実行において、前回の欠陥画素検出処理実行時のＣＣＤ１２の温度と今回のＣＣＤ１２の温度とを比較する。このとき、前回の欠陥画素検出処理実行時のＣＣＤ１２の温度より今回のＣＣＤ１２の温度のほうが高かった場合、欠陥画素検出処理を実行する。逆に前回の欠陥画素検出処理実行時のＣＣＤ１２の温度より今回のＣＣＤ１２の温度が低かった場合、欠陥画素検出処理は実行しない。

これは、ＣＣＤ１２の欠陥画素がＣＣＤ１２の温度上昇に伴って増えていくという特性を持っているためである。すなわち欠陥画素は、ある温度以上となったときにはじめて欠陥画素として振舞う。またその温度以下になると、その画素は通常の画素と同様に振舞う。そしてその温度は欠陥画素毎に異なる。したがって、ＣＣＤ１２の温度が上昇すると欠陥画素は増加していくが、温度が低下すると減少する。そして再び温度が上昇しても、また同じ画素が欠陥画素として現れる。このため、今までよりも温度が上昇しない限り、新規な欠陥画素は現れない。つまり、ＣＣＤ１２の温度が変わらない、あるいは下がったという条件下では欠陥画素検出処理を実行しても新たな欠陥画素を検出することは無く、単に無駄な欠陥画素検出処理を実行することになってしまうからである。

ただし、これは欠陥画素検出処理を実行する時間間隔が短かった場合の話しであり、前回の欠陥画素検出処理実行時の時刻間と今回実行時の時刻間との間隔差が所定値以上である著しく長い場合は、ＣＣＤ１２の温度差に関係なく欠陥画素検出処理を実行する。これは、ＣＣＤ１２自体の劣化や宇宙線の衝突等により新たに欠陥画素が増えている可能性があるからである。なお、欠陥画素検出処理を実行する時間間隔については、ＣＣＤ１２のデバイス構造やフォトダイオードの大きさ等により大きく左右されるので、個々のＣＣＤ１２の特性によって決定することになる。

以上のように、本実施の形態の撮影装置によれば、不必要な欠陥画素検出処理の実行を抑えることができるので、欠陥画素検出処理によって撮影が一瞬でも中断するという影響を最小限に抑えることができるという新たな利点がある。

なお、ここで、説明上温度センサーの位置はＣＣＤ１２としているが、ＣＣＤ１２の温度変化が分かる位置であればどこでも良い。

本発明のかかる撮影装置は、固体撮像素子の欠陥画素を補正するもので、ビデオカメラ、デジタルスチルカメラの分野等に有用である。

本発明の実施の形態に係る撮影装置の構成を示すブロック図同実施形態で用いられる欠陥画素検出処理を説明するためのフローチャート同実施形態で用いられる欠陥画素検出処理を説明するためのタイミング図

符号の説明

１０レンズユニット
１１アイリスユニット
１２固体撮像素子（ＣＣＤ）
１３Ａ／Ｄ変換器
１４欠陥画素補正器
１５欠陥画素サンプリング器
１６ディジタルプロセス部
１７レンズドライバ
１８アイリスドライバ
１９ＣＣＤドライバ
２０タイミング発生器
２１システムコントローラ
２２操作スイッチ

Claims

入射した光を光電変換して映像信号として出力する撮像手段と、
前記撮像手段に入射する光の量を調整する絞り手段と、
前記映像信号から欠陥画素を検出する欠陥画素検出手段と、
前記映像信号中の欠陥画素を欠陥画素補正情報にもとづいて補正する欠陥画素補正手段と、
前記撮像手段の電荷蓄積時間を設定する電荷蓄積時間設定手段と、
少なくとも前記撮像手段と前記絞り手段と前記欠陥画素検出手段と前記電荷蓄積時間設定手段とを制御して欠陥画素検出処理を行う制御手段とを備え、
前記制御手段は、前記電荷蓄積時間設定手段に対して電荷蓄積時間が画像フォーマットのフィールド周期およびフレーム周期のうちいずれか一方と異なる周期に設定されたときに前記欠陥画素検出処理を実行し、
前記制御手段は前記欠陥画素検出処理において、前記絞り手段を全閉して前記撮像手段へ入射する光を遮断するとともに前記撮像手段に対して所定の欠陥画素検出用駆動時間だけ電荷蓄積させてから欠陥画素検出用信号として出力させ、前記欠陥画素検出手段に前記欠陥画素検出用信号から欠陥画素を検出させ検出結果にもとづいて補正すべき欠陥画素の情報を決定して前記欠陥画素補正情報とする、
撮影装置。
前記欠陥画素検出用駆動時間は、画像フォーマットのフィールド周期およびフレーム周期のうちのいずれよりも長い時間である請求項１記載の撮影装置。
前記制御手段は、少なくとも前記欠陥画素補正手段を制御して欠陥画素補正処理を行い、前記欠陥画素補正処理は、前記電荷蓄積時間設定手段に設定された電荷蓄積時間が所定の時間以上であるときに、前記欠陥画素補正情報にもとづいて実行される請求項１及び２のいずれかに記載の撮影装置。