JP2010147565A - 撮像装置 - Google Patents

Abstract

【課題】 フリッカを有する照明の色温度も種類ごとにばらつきがあり、いわゆる白色蛍光灯と電球色蛍光灯、昼白色蛍光灯では発光手段が同一でも色温度がまったく異なる。したがって色の比率で色温度を推定する方法では、色温度の変化量の閾値を大きく見積もっても、フリッカフリーから容易に復帰できなくなっていた。
そこで本発明の例示的な目的は、精度の良い光源判断を行いフリッカ光源の存在する環境に適した撮像装置を提供することにある。
【解決手段】 撮像素子から得られる色信号レベルの過去と現在をそれぞれ比較することで光源変化を選別し、色信号レベルが一定量以上変化した場合にフリッカフリーを解除する。フリッカフリーを解除した直後にフリッカを再検知した場合は、色信号レベル変位の閾値を変えて誤判定を繰り返さないようにする。
【選択図】 図１

Description

本発明は点滅周期を有する蛍光灯等の人工照明下で発生するフリッカをキャンセルする手段を備えた撮像装置に関するものである。

CCDイメージセンサ等の固体撮像素子を搭載する撮像装置においては、定常的に明るさが変化しない光源下での撮像の場合は問題ないが、たとえば蛍光灯のように周期的な発光特性を有しかつ撮像素子の露光周期と同期していない光源下での撮像の場合、フリッカが発生する。

ここで、「フリッカ」とは、光源の照度変化と、撮像装置の露光周期との関わりで映像信号が変化する現象のことである。たとえば、周波数ｆの商用電源を使用した光源における1／ｎｆ（ｎは通常２）秒周期の照度変化と、撮像装置のフィールド周期とのずれで映像信号の輝度信号成分が変化し、出力画像が周期的に変化するため画像がちらついて感じられる現象のことである。特に、フィールド周波数が６０ＨｚのＮＴＳＣ方式でのｆ＝５０Ｈｚの地域や、フィールド周波数が５０ＨｚのＰＡＬ方式でのｆ＝６０Ｈｚの地域では極端に有害で、しかも白熱電球より蛍光灯の方が、発光特性上照度変化があり、顕著である。

たとえば、蛍光灯の発光周期は１０ｍｓで、６０Ｈｚの露光動作の１周期は１６．７ｍｓであると、これらの最小公倍数は５０ｍｓとなり、３回の露光動作で両者の関係は元に戻る。したがって、映像は３種類の露光の繰り返しとなり、これらの間で撮像素子の出力信号レベルが異なることが、２０Ｈｚのフリッカ発生の原因となる。

このフリッカを抑制する手段として、光源の照度変化に露光周期を合わせる方法が一般に用いられている（以下、フリッカフリーと呼ぶ）。照度変化が１００Ｈｚであれば固体撮像素子の露光周期を１００Ｈｚに変更することで、位相はずれても輝度信号成分はフィールド毎に変化しなくなる。

この技術は、点滅周期の整数倍であってフィールド周期より早い周期を設定することに特徴がある。おもに長周期で動解像度を劣化させるよりも、短周期で露光時間が短くなる方が補正しやすいためである。露光量を変化させる技術として光学絞りや映像信号のゲイン調整はよく知られている。

露光周期を点滅周期の整数倍に固定するデメリットは二つある。第一に露光周期をフィールド周波数より早くする必要から補正できる範囲が狭くなって、低照度環境で十分な明るさの映像が撮影できなくなることである。第二に輝度信号レベルが倍になるか半分にならない限り、露光周期を変更できず、露出が一定にならないことである。

解決方法の一つとして、被写体照度が低く露光周期が１／ｆ秒よりも遅くなる場合に取り得る露光周期を１／ｆ秒の整数倍に限定し、その際、露光周期が１／ｆ秒の整数倍で調整できるレベル調整幅よりも細かなレベル調整を前記アンプのゲイン調整で行うもの（特許文献１）が知られている。

しかし、ゲインによる補間ではフリッカフリーの間、恒常的にゲインが掛かることを意味する。撮像素子の出力を直接増幅するためにノイズ成分も増幅され、特に夜間は適正露光を保つためにゲインを強くかけることから、ゲイン補間分のノイズ量が増えてしまう。ノイズ量の許容レベルを考慮に入れれば、必然的に最低被写体照度が上がってしまう。一度でもフリッカフリーにしてしまうと輝度信号のみではフリッカの有無を検知できず、低照度性能が劣化したままとなる。

そこで、色温度の変化量を検出してフリッカフリーから復帰するもの（特許文献２）が考えられている。ホワイトバランスに用いる色信号の赤成分と青成分の比率から推定される色温度がフリッカフリーになってから大きく変化したことをもって、光源が変わったと判断し、露光周期をフィールド周期に戻すことを特徴としている。
特開2000-032330号公報 特開平9-247550号公報

しかしながら、フリッカを有する照明の色温度も種類ごとにばらつきがあり、いわゆる白色蛍光灯と電球色蛍光灯、昼白色蛍光灯では発光手段が同一でも色温度がまったく異なる。したがって色の比率で色温度を推定する方法では、色温度の変化量の閾値を大きく見積もっても、フリッカフリーから容易に復帰できなくなっていた。

そこで本発明の例示的な目的は、精度の良い光源判断を行いフリッカ光源の存在する環境に適した撮像装置を提供することにある。

上記目的を達成するために、本発明の撮像装置は、信号蓄積周期が可変な固体撮像素子と、前記撮像素子の出力信号より輝度信号と色差信号を算出する映像信号処理手段と、前期信号蓄積周期と被写体を照明する照明手段の点滅周期との非同期によって発生するフリッカを前記輝度信号から検出するフリッカ検出手段と、前記フリッカ検知手段によるフリッカの検出に応じて前期蓄積周期をフリッカの生じない所定の信号蓄積周期に切り換える信号蓄積周期変更手段と、前記信号蓄積周期の切り換え時に前記色差信号を記憶する色差信号記憶手段と、を備え、前記フリッカ検出手段によりフリッカが検出され前記信号蓄積周期変更手段により前記所定の信号蓄積周期に切り換えていたとき、前記色差信号が前記色信号記憶手段で記憶されている色差信号と比較し、それぞれ所定の変化量があったならば前記信号蓄積周期変更手段による前記所定の信号蓄積周期への切り換えを解除すること、を特徴とする。

本発明の更なる目的又はその他の特徴は、以下、添付の図面を参照して説明される好ましい実施例等によって明らかにされるであろう。

撮像素子から得られる色信号レベルの過去と現在をそれぞれ比較することで光源変化を選別し、色信号レベルが一定量以上変化した場合にフリッカフリーを解除してより良い低照度性能を得るものである。さらに、フリッカフリーを解除した直後にフリッカを再検知した場合は、色信号レベル変位の閾値を上げて誤判定を繰り返さないフリッカフリー解除を実現できる。

以下に、本発明の実施の形態を添付の図面に基づいて詳細に説明する。

図１に本実施例の構成を示す。

図１において、１０は光電変換により画像信号を生成するＣＣＤやＣＭＯＳなどの電子シャッタ機能を有する固体撮像素子、１１は固体撮像素子１０を駆動するタイミングジェネレータである。

００は固体撮像素子１０の撮像面に照射される光量を調整する絞り機構である。

１２は相関二重サンプリング回路（ＣＤＳ）、１３はＣＤＳ１２から出力される画像信号を増幅する増幅器、１４は増幅器１３の出力画像信号をデジタル変換するＡ／Ｄ変換器である。

２０はＡ／Ｄ変換器１４から出力されるＲＧＢそれぞれからを輝度信号Ｙと色差信号（Ｒ−Ｙ）と（Ｂ−Ｙ）を算出する映像信号処理回路、３０は露光制御部３１と、フリッカ検出部３２と、光源変化検出部３３を有するカメラ制御回路である。４０は映像信号処理回路２０から出力された輝度信号Ｙと色差信号（Ｒ−Ｙ）と（Ｂ−Ｙ）からビデオ信号を生成するビデオ信号生成回路である。

露光制御部３１は設定される撮影モードに従って画像信号の輝度信号レベルが所定のレベルになるように絞り機構００や増幅器１３の利得、固体撮像素子１０の電子シャッタースピードを決める設定値を出力する手段である。

輝度信号レベルが所定値を上回っていたならば電子シャッタースピードを早くしてゆき、下回っていたならば電子シャッタースピードを遅くしてゆく。フィールド周波数が１／６０とすると電子シャッタースピードも１／６０まで遅くしてゆく。電子シャッタースピードがフィールド周波数と同じ周期になっても、輝度信号レベルが所定の値に満たなければ、絞り機構００を開いて露光が適正になるように制御する。絞り機構００で調整しても輝度信号レベルが所定の値に満たなければ、増幅器１３の利得を上げて輝度信号レベルを調整する。

タイミングジェネレータ１１は設定されたパターンでタイミング信号を撮像素子１０に出力し、その各画素センサ部に蓄積された信号電荷を掃き出させることによってセンサ部での信号電荷の蓄積時間（露光時間）を制御する。

フリッカ検出手段３２は、設定される撮影モードに従って、過去の輝度信号レベルからフリッカパターンを検出し、露光制御をフリッカフリーモードに切り換えるための指示信号を出力する手段である。

例えばフリッカのパターン検出には、３フレーム分の輝度信号バッファとタイムカウンタを持たせればよい。３フレーム以内での輝度信号レベルの変動幅があるレベル以上であればタイムカウンタをカウントし、そうでなければゼロクリアする。そして、タイムカウント数がある値を超えた時点でフリッカを検出した、と判定することで実現可能である。

フリッカフリー指示信号を入力された露光制御部３１は設定される撮影モードに対応するフリッカフリーモードで露光制御を行う。

フリッカフリーモードは、例えば標準の露光モードで最長電子シャッタースピード１／６０で撮影していたものから、１／１００で撮影するようにプログラムを変更すればよい。輝度信号レベルおよび絞り機構００と電子シャッタースピードと利得から算出される被写体輝度が屋内あるいは人工照明環境の範囲にあるとき、電子シャッタースピードは１／１００で固定して絞り機構００で露光量を調整する。屋内あるいは人工照明環境の範囲よりも明るいときは絞り機構００を固定し、電子シャッタースピードを１／１００より早くなるように制御する。

ただし、電子シャッタースピードの下限が上がった分、増幅器１３の利得で補える範囲が標準の露光モードよりも明るい方向へシフトし、低照度性能が劣化する。

光源変化検出部３３はフリッカ検出部３２のフリッカフリー指示信号に基づいて、フリッカフリーモード切り換え時の色差信号（Ｒ−Ｙ）と（Ｂ−Ｙ）を記憶し、光源変化検知信号を露光制御部３１に出力する手段である。

図２は色差信号（Ｒ−Ｙ）と（Ｂ−Ｙ）に基づく光源分布である。人工光源が点灯あるいは消灯することで（Ｒ−Ｙ）あるいは（Ｂ−Ｙ）の信号レベルは変化する。光源変化検出部３３はフリッカ光源が出現し、フリッカ検出部３２にてフリッカフリー指示信号が出力したのを検知して、その時点の色差信号（Ｒ−Ｙ）₀と（Ｂ−Ｙ）₀を記憶する。

そして映像信号処理回路２０の出力信号（Ｒ−Ｙ）と（Ｂ−Ｙ）と、記憶信号（Ｒ−Ｙ）₀と（Ｂ−Ｙ）₀とを比較する。信号レベル差があるレベル以上大きくなったなら、光源が変化したと判断して光源変化検出信号を露光制御部３１に出力する。

フリッカフリーモードにて露光を制御している露光制御部３１は光源変化検出信号を受け、標準の露光モードに移行する。

特に（Ｒ−Ｙ）と（Ｂ−Ｙ）の信号レベルがあるレベルより大きくなったなら、太陽光が主光源になって彩度が上がったと判断して光源変化検出信号を出力する。

図３は露光制御部３１の撮影モード切り換わりを示すフローチャートである。ステップ３０１で露光モードを判断し、フリッカフリーモードであった場合はステップ３１１で光源変化検出信号の有無を確認する。光源変化検出信号があるときのみ、ステップ３１２にて露光モードを標準に切り換える。フリッカフリーモードでない場合はステップ３２１でフリッカ検出信号の有無を確認する。フリッカ検出信号があるときのみ、ステップ３１２にて露光モードを標準に切り換える。

光源変化検出信号を出力してからある時間以内にふたたびフリッカを検出した場合は記憶されている色差信号（Ｒ−Ｙ）₀と（Ｂ−Ｙ）₀は変えず、色差信号レベル差の閾値を大きくする。

光源変化検出信号を出力してからある時間以上経ってからフリッカを検出した場合は光源変化検出部３３に新たな色差信号（Ｒ−Ｙ）₁と（Ｂ−Ｙ）₁を記憶し、信号レベルの変化閾値は変えない。

図４は光源変化検出部３３の動作フローチャートである。光源変化検出部３３は内部に可変な変位量閾値と検出安定タイマと光源判定中フラグを保持しており、輝度信号と色差信号が取得されたとき、ステップ４０１でその光源判定中フラグの状態を確認する。光源判定中であったとき、ステップ４１１で現在の色差信号と記憶している色差信号（Ｒ−Ｙ）₀と（Ｂ−Ｙ）₀との変位量を算出し、ステップ４１２にて変位量と変位量閾値を比較する。変位量が色差信号閾値を越えた場合のみ、ステップ４１３光源変化検出信号を出力し、ステップ４１４で光源変化検出安定タイマをセットする。ステップ４１５で前記光源判定中フラグをクリアして処理を終了する。

その後、再び輝度信号と色差信号が取得されると光源判定中フラグはクリアされているため、ステップ４０１の光源判定中フラグの状態確認からステップ４２１へ移行し、光源変化検出安定タイマのカウントダウンを行う。続いてステップ４２２でフリッカ検出信号の有無を確認する。フリッカ検出信号があった場合のみ、ステップ４２３の光源変化検出安定タイマがダウンカウントされてゼロクリアされているか確認する。

ゼロでなければステップ４１３の光源変化検出から十分時間が経過していないと見なして、ステップ４２４で記憶している色差信号（Ｒ−Ｙ）₀と（Ｂ−Ｙ）₀は変えずに変位量閾値を大きくする。そしてステップ４２６にて光源判定中フラグをセットし、再び光源変化判定を行う。

ゼロであればステップ４１３の光源変化検出から十分時間が経過したと見なして、ステップ４２５で新たな色差信号（Ｒ−Ｙ）₁と（Ｂ−Ｙ）₁を記憶し、ステップ４２６にて光源判定中フラグをセットする。

これにより、光源によってオフセットする色差信号レベルからの光源変化の判定を自動的に安定させ、低照度環境ではフリッカフリーモードを解除することで低照度性能を損なうことなくフリッカの少ない映像を撮影できる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されない。

本発明の実施形態による撮像装置の構成を示すブロック図である。 色差信号（Ｂ−Ｙ）と（Ｒ−Ｙ）に基づく光源分布図である。 フリッカ検出と光源変化検出により露光制御モードを切り換えるフローチャートである。 光源変化検出と検出閾値拡大を行うフローチャートである。

符号の説明

００ 絞り機構
１０ 固体撮像素子
１１ タイミングジェネレータ
１２ 相関二重サンプリング回路（ＣＤＳ）
１３ 増幅器
１４ Ａ／Ｄ変換器
２０ 映像信号処理回路
３０ カメラ制御回路
３１ 露光制御部
３２ フリッカ検出部
３３ 光源変化検出部
４０ ビデオ信号生成回路
３０１ 露光モードがフリッカフリーモードか判定するステップ
３１１ 光源変化検出信号の有無を判定するステップ
３１２ 露光モードを標準に戻すステップ
３２１ フリッカ検出信号の有無を判定するステップ
３２２ 露光モードをフリッカフリーモードにするステップ
４０１ 光源判定中フラグを確認するステップ
４１１ 色差信号の変位量を算出するステップ
４１２ 変位量が変位閾値以上か判定するステップ
４１３ 光源変化検出信号を出力するステップ
４１４ 光源変化検出安定タイマをセットするステップ
４１５ 光源判定中フラグをクリアするステップ
４２１ 光源変化検出安定タイマをカウントダウンするステップ
４２２ フリッカ検出信号の有無を確認するステップ
４２３ 光源変化検出安定タイマが残っているか判定するステップ
４２４ 変位量閾値を大きくするステップ
４２５ 色差信号を記憶するステップ
４２６ 光源判定中フラグをセットするステップ

Claims (2)

1. 信号蓄積周期が可変な固体撮像素子と、
   前記撮像素子の出力信号より輝度信号と色差信号を算出する映像信号処理手段と、
   前記信号蓄積周期と被写体を照明する照明手段の点滅周期との非同期によって発生するフリッカを前記輝度信号から検出するフリッカ検出手段と、
   前記フリッカ検知手段によるフリッカの検出に応じて前期蓄積周期をフリッカの生じない所定の信号蓄積周期に切り換える信号蓄積周期変更手段と、
   前記信号蓄積周期の切り換え時に前記色差信号を記憶する色差信号記憶手段と、
   を備え、
   前記フリッカ検出手段によりフリッカが検出され前記信号蓄積周期変更手段により前記所定の信号蓄積周期に切り換えていたとき、
   前記映像信号処理手段より算出された色差信号と前記色差信号記憶手段で記憶された色差信号とを比較し、
   所定の変化量を検知した時に前記信号蓄積周期変更手段の前記所定の信号蓄積周期への切り換えを解除すること、
   を特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   所定の変化量を変化させる手段を有することを特徴とする撮像装置。

Images