JP2007174537A - 撮像装置 - Google Patents

Abstract

【課題】ＸＹアドレス走査型の撮像素子を用いた撮像装置において、フリッカの発生を抑圧した露光時間に設定された撮影状況においても、フリッカの検出を可能とする。
【解決手段】フリッカ検出部１６は、ＣＭＯＳ撮像素子１２の撮像領域に設けられた撮影環境検出のための領域で生成される映像信号の周波数成分を検出し、システムコントローラ１８は、この周波数成分に基づいて、撮影光がフリッカを発生させる環境であるかどうかを判断する。フリッカを発生させる環境である場合、タイミングジェネレータ１７は、標準撮像領域の露光時間をフリッカの発生を抑圧する時間に設定し、撮影環境検出のための領域については、露光時間の変更は行わず、引き続きフリッカの検出が可能な露光時間の状態に制御する。
【選択図】図１

Description

本発明は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子などのＸＹアドレス走査型の撮像素子を用いた撮像装置に関する。

ビデオカメラなどの撮像装置によって、交流電源で点灯される蛍光灯などの照明下で撮影を行う場合に、撮像装置の垂直同期周波数および露光時間と、照明の点滅周波数（交流電源の周波数の２倍）との関係でフリッカと呼ばれる現象が現れる。

特に、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子を用いた撮像装置の場合、撮像素子の露光時間が画素単位で異なり、特にライン方向の露光時間の違いの影響が大きいため、フリッカ現象が画面間だけでなく画面内での横縞の模様として現れる。

図１０は従来のＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子における撮像領域を示す図である。図１０に示すように、標準撮像領域である領域Ａの周囲に手ぶれ補正用の領域Ｂを有する撮像素子が一般的となっている。

図１１は垂直同期周波数が６０ＨｚのＮＴＳＣ等の撮像システムの場合に、電源周波数が５０Ｈｚの地域において、非インバータ方式の蛍光灯下で通常の露光時間ｔ_１＝１／６０秒で撮影を行った場合の撮像素子の露光タイミングを示したものである。図１１において、垂直同期信号の周期Ｓ_１＝１／６０秒、蛍光灯の輝度変化の周期Ｓ_２＝１／１００秒、領域Ａ，Ｂ内の各ラインＬ_１，Ｌ_２，…の露光時間ｔ_１＝１／６０秒である。

図１１に示すように、ＸＹアドレス走査型の撮像素子はラインごとにその露光タイミングが異なる。厳密には、同一ライン内でも画素ごとに露光タイミングが異なるが、そのタイミングの違いが蛍光灯の輝度変化に比べ非常に短く、蛍光灯フリッカの影響が実使用上問題とならないため水平方向は同一タイミングと仮定して、垂直方向について説明を行う。

図１１に示すように、垂直同期周波数６０Ｈｚ、電源周波数５０Ｈｚのもとでの蛍光灯の輝度変化は３フィールド周期で５回の点滅を繰り返す。そして、ＸＹアドレス走査型の撮像素子はラインごとにその露光タイミングが異なる。このため、撮像される被写体が均一な信号であった場合、図１２（ａ）〜（ｃ）に示すように、同一フィールドの画面内では横縞の輝度変化が現れる。また、連続するフィールドＦ_１，Ｆ_２，Ｆ_３，…において、フィールド間では垂直同期周波数と蛍光灯の輝度変化の周波数の周期のズレが発生し、この状態が３フィールド周期で繰り返される。

図１３は垂直同期周波数が６０ＨｚのＮＴＳＣ等の撮像システムの場合に、電源周波数が５０Ｈｚの地域において、非インバータ方式の蛍光灯下で、露光時間ｔ_２を蛍光灯の点滅周期と同じく１／１００秒として撮影を行った場合の撮像素子の露光タイミングを示したものである。

この場合、各ラインＬ_１，Ｌ_２，…の露光タイミングによらず、露光時間が蛍光灯の輝度変化の１周期分となるため、図１４（ａ）〜（ｃ）に示すように、同一フィールドの画面内でもフィールド間においても、蛍光灯の輝度変化による映像信号のフリッカが発生しない。

また、図示しないが、垂直同期周波数５０ＨｚのＰＡＬ等のシステムで電源周波数６０Ｈｚ地域での非インバータ方式の蛍光灯照明下での撮影では５フィールド周期で上記と同様の現象が発生する。

さらに、垂直同期周波数と電源周波数が一致している状況で露光時間を蛍光灯の輝度変化の周期の整数倍以外にした場合は、同一フィールドの画面内で露光タイミングのズレによる横縞の輝度変化が現れ、フィールド間での周期のズレはないため画面上に固定された横縞が発生する。

従来、このフリッカの発生を抑圧する技術として、撮像素子の出力信号に適時ゲインを与える方法や、フリッカの発生しない露光時間になるように撮像素子を制御する方法が提案されているとともに、撮影環境における蛍光灯などの照明が点滅しているか否かや、その点滅周波数などを検出する方法が提案されている。

撮影環境の検出には、専用の測光センサを用いる方法やリモコン受光素子などを利用してフリッカの検出を行う例もあるが、専用の測光センサを用いる方法の場合は、撮像装置が大型化し、高コスト化する。また、リモコン受光素子などを利用する方法の場合は、そのような代替の受光素子のないシステムには適用できない。

また、通常の撮像エリアの周囲に専用の測光センサを配置した撮像素子を用いて検出を行う方法も報告されているが、これは特別な撮像素子を作成する必要があり、一般的な撮像素子を利用したシステムには適応できない。

そこで、撮像素子の映像信号から撮影環境の検出をする技術が、特許文献１，２に開示されている。

特許文献１には、撮像素子の映像信号からフリッカ成分を検出し、フリッカが発生する撮影環境と判断された時に露光時間を制御してフリッカの発生を抑圧する方法が開示されている。また、特許文献２には、フリッカ成分検出のために一時的に露光時間を複数回切り替えてフリッカ成分の検出を行い、フリッカが発生する撮影環境と判断された時に露光時間を制御してフリッカの発生を抑圧する方法が開示されている。
特開２００２−８４４６６号公報 特開２００５−８６４２３号公報

特許文献１に開示された方法は、画像信号の所定ラインの積算信号から照明によるフリッカを検出し、露光時間を制御することでフリッカの発生を防いでいる。しかし、この方法では一旦フリッカの発生しない露光時間に設定された撮像素子の画像信号からは同様の方法でフリッカの検出が行えない。

このため、蛍光灯照明から、太陽光や電球のようにフリッカ現象が生じない照明へと撮影環境が変わった場合、フリッカ補正のための露光時間の制御が不要になったかどうかの判断ができなかった。

また、特許文献２に開示された方法は、検出のために一時的に特定の露光時間に設定する作業がともなうため、この方法も、一旦フリッカの発生しない露光時間に設定された状況で撮影を行っているときに撮影環境が変わった場合には対応できない。

そこで本発明は、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子を用いた撮像装置において、フリッカの発生を抑圧した露光時間に設定された撮影状況においても、フリッカ成分の検出が可能な撮像装置を提供することを目的とする。

上記目的を達成するため、請求項１記載の発明は、入来する撮影光を光電変換して画像信号を生成する固体撮像素子を用いた撮像装置であって、前記固体撮像素子は、出力画像信号に対応する標準撮像領域、及びこの標準撮像領域の周辺に設けられた検出領域を有するＸＹアドレス走査型の固体撮像素子であり、前記検出領域で生成される画像信号の周波数成分を検出する検出手段と、前記検出された周波数成分に基づいて、前記入来する撮影光がフリッカを発生させる環境であるかどうかを判断する撮影環境判断手段と、前記固体撮像素子の露光時間を設定するとともに、前記撮影環境判断手段でフリッカを発生させる撮影環境であると判断された場合、前記検出された周波数成分に基づいて、前記標準撮像領域の露光時間をフリッカの発生を抑圧する時間に設定する露光時間設定手段とを備えることを特徴とする。

請求項２記載の発明は、前記撮影環境判断手段は、撮影環境が蛍光灯照明下であるかどうかを判断し、前記露光時間設定手段は、前記撮影環境判断手段で撮影環境が蛍光灯照明下であると判断された場合、前記標準撮像領域の露光時間を、蛍光灯フリッカの発生を抑圧する時間に設定することを特徴とする。

本発明によれば、標準撮像領域の周辺に設けられた検出領域で生成される画像信号の周波数成分を検出し、この周波数成分に基づいて、撮影環境がフリッカを発生させる環境であるかどうかを判断し、撮影環境がフリッカを発生させる環境であると判断された場合、標準撮像領域の露光時間をフリッカの発生を抑圧する時間に設定するので、標準撮像領域がフリッカの発生を抑圧した露光時間に設定された撮影状況においても、検出領域においてフリッカ成分を検出することができる。

以下、本発明の撮像装置を実施するための最良の形態について、図面を参照して説明する。

図１は本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。

図１に示すように本実施の形態の撮像装置は、光学系１１と、光学系１１より入射した撮影光を光電変換してアナログ映像信号を生成するＣＭＯＳ撮像素子１２と、ＣＭＯＳ撮像素子１２で生成されたアナログ映像信号にサンプルホールド、ＡＧＣなどの処理を施すアナログ処理部１３と、アナログ処理部１３からのアナログ映像信号をデジタル映像信号に変換するＡ／Ｄ変換部１４と、Ａ／Ｄ変換部１４からのデジタル映像信号に対してクランプ、ゲイン調整、ＷＢ調整、ガンマ補正などの処理を施すデジタル処理部１５と、デジタル処理部１５からのデジタル映像信号を用いてフリッカ検出処理を行うフリッカ検出部１６と、ＣＭＯＳ撮像素子１２およびフリッカ検出部１６にタイミング信号を供給するタイミングジェネレータ１７と、装置に設けられた各部を制御するシステムコントローラ１８とを備える。

図２は図１に示す撮像装置のフリッカ検出部の構成を示すブロック図である。

図２に示すようにフリッカ検出部１６は、デジタル処理部１５からのデジタル映像信号の積算を行い、平均信号レベルを算出する積算部２１と、積算部２１からの積算結果を必要なフィールド分格納する積算結果蓄積部２２と、積算結果蓄積部２２から入力された数フィールド分の映像信号の周波数成分の算出を行うＤＦＴ（離散フーリエ変換）部２３と、ＤＦＴ部２３の算出結果を格納するＤＦＴ結果蓄積部２４と、ＤＦＴ結果蓄積部２４から入力された周波数成分の平均化や正規化を行い検出結果として出力する平均化部２５とを備える。

図３（ａ）〜（ｃ）は、ＣＭＯＳ撮像素子１２の撮像領域を示す図である。図３（ａ）に示すようにＣＭＯＳ撮像素子１２は、出力画像信号に対応する標準撮像領域である領域Ａと、その周囲に手ぶれ補正のための領域Ｂと、さらにその周囲に撮影環境検出のための領域Ｃとを備える。しかしながら、この領域Ｃの撮像素子は特殊なものではなく、図１０に示す手ぶれ補正領域を持つ従来の撮像素子の手ぶれ補正のための領域Ｂの一部を撮影環境検出のために利用するものである。

また、撮影環境検出のための領域Ｃの中に検出エリアを設定し、この検出エリア内からの映像信号を用いて撮影環境の検出を行う。図４は図３（ａ）に示す撮像領域において、撮影環境検出のための領域の中に４つの検出エリアＤＡ_１〜ＤＡ_４を設定した場合のイメージを示す図である。

なお、図３（ｂ）に示すように撮影環境検出のための領域Ｃ_１，Ｃ_２を上下方向にのみ配置してもよく、図３（ｃ）に示すように領域Ｃ_１，Ｃ_２を左右方向にのみ配置してもよい。

次に、本実施の形態に係る撮像装置の動作およびフリッカ除去方法を説明する。

ＣＣＤのような撮像素子は、蓄積開始時間と露光時間が同一画面内で同じであるが、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子は、画素ごとに蓄積開始時間が異なり、画素ごとのリセットタイミングを変えることで、同一画面内の露光時間を変えることが可能である。

そこで、図５に示すように、タイミングジェネレータ１７は、標準撮像領域Ａと手ぶれ補正のための領域Ｂの露光時間は従来技術と同様にフリッカの発生を抑圧するように制御し、撮影環境検出のための領域Ｃ_１，Ｃ_２を領域Ａ，Ｂと異なる露光時間になるように制御する。以下、簡単のため、撮影環境検出のための領域Ｃ_１，Ｃ_２を図３（ｂ）に示すように上下方向にのみ配置した場合について説明する。

図５は垂直同期周波数が６０ＨｚのＮＴＳＣ等の撮像システムの場合に、電源周波数が５０Ｈｚの地域において、非インバータ方式の蛍光灯照明下で撮影を行った場合に、撮像領域Ａ，Ｂ内の各ラインＬ_Ａ１，Ｌ_Ａ２，…の露光時間ｔ_３を蛍光灯の輝度変化の周期Ｓ_２と同じ１／１００秒とし、領域Ｃ_１，Ｃ_２内の各ラインＬ_Ｃ１，Ｌ_Ｃ２，…の露光時間ｔ_４を垂直同期信号の周期Ｓ_１と同じ１／６０秒とした場合の撮像素子の露光タイミングを示したものである。

図３（ｂ）の領域Ｃ_１，Ｃ_２においては、図１２に示したように、画面内での横縞と３フィールド周期のフリッカが発生する。そこで、この領域Ｃ_１，Ｃ_２の映像信号からフリッカ成分を検出し、領域Ａ，Ｂの露光時間を制御する。

ここで、本実施の形態の撮像装置において、フリッカ成分を検出し、露光時間を制御する際の動作を説明する。

ＣＭＯＳ撮像素子１２は、光学系１１より入射した撮影光を光電変換してアナログ映像信号を生成し、アナログ処理部１３に出力する。アナログ処理部１３は、ＣＭＯＳ撮像素子１２からのアナログ映像信号にサンプルホールド、ＡＧＣなどの処理を施し、Ａ／Ｄ変換部に出力する。そして、Ａ／Ｄ変換１４は、アナログ処理部１３からのアナログ映像信号をデジタル映像信号に変換する。

次いで、デジタル処理部１５は、Ａ／Ｄ変換部１４からのデジタル映像信号に対してクランプ、ゲイン調整、ＷＢ調整、ガンマ補正などの処理を施し、輝度信号と色差信号とを生成して出力する。

フリッカ検出部１６は、デジタル処理部の輝度信号出力もしくはデジタル処理部１５内のＲＧＢ信号など、フリッカ成分の検出に適当な映像信号をデジタル処理部１５から受け取るとともに、領域Ｃ_１，Ｃ_２内に設けられた検出エリアのタイミング信号をタイミングジェネレータ１７から受け取り、必要な検出エリアの映像信号をフリッカ成分検出のために使用して処理を実行する。

ここで、フリッカ検出部１６における処理を説明する。フリッカ検出部１６では、デジタル処理部１５より入力される映像信号について、タイミングジェネレータ１７より入力される検出エリアタイミング信号に従って、周波数成分の検出処理が行われる。検出エリアは、フリッカ成分がほぼ同レベルとして問題のない範囲を１つのエリアとし、検出性能を上げるために複数のエリアが領域Ｃ_１，Ｃ_２内に設定される。

積算部２１は、各検出エリア内の映像信号の積算を行い、その範囲の平均信号レベルを算出する。そして、積算結果蓄積部２２は、各検出エリアの積算結果を必要なフィールド分格納して、周波数検出のためのＤＦＴ（離散フーリエ変換）部２３へ出力する。

ＤＦＴ部２３は、垂直同期周波数をサンプリング周波数として、積算結果蓄積部２２から入力された数フィールド分の各検出エリアの周波数成分の算出を行う。ＤＦＴ結果蓄積部２４は、各検出エリアのＤＦＴの結果を格納する。

次いで、平均化部２５は、ＤＦＴ結果蓄積部２４から入力された周波数成分の平均化や正規化を行い、システムコントローラ１８がフリッカ成分の有無やその周波数成分の判定が行いやすい形にして検出結果として出力する。

そして、フリッカ検出部１６からの検出結果は、システムコントローラ１８に出力される。システムコントローラ１８は、フリッカ検出部１６からの検出結果に基づいて、撮像環境がフリッカ抑圧のための露光時間の制御が必要な環境であるかどうかの判断を行い、露光時間の制御が必要な環境である場合、領域Ａ，Ｂの露光時間を制御するようにタイミングジェネレータ１７に指示を出力する。そして、タイミングジェネレータ１７は、システムコントローラ１８からの指示に従い、ＣＭＯＳ撮像素子１２の領域Ａ，Ｂの露光時間を制御する。領域Ｃ_１，Ｃ_２については、露光時間の変更は行わず、引き続きフリッカの検出が可能な露光時間の状態に制御する。

図５に示すように、垂直同期周波数６０Ｈｚで電源周波数５０Ｈｚの非インバータ方式の蛍光灯照明下での撮影の場合、領域Ａ，Ｂの露光時間ｔ_３が蛍光灯の輝度変化の１周期分、つまり１／１００秒になるように制御することで、領域Ａ，Ｂにおいては、図１４に示すようなフリッカの発生しない映像信号を得ることができる。このときの撮像される被写体が均一な場合の映像信号の様子を図６（ａ）〜（ｃ）に示す。

撮影環境検出のための領域Ｃ_１，Ｃ_２については、露光時間の変更は行わないので、図６（ａ）〜（ｃ）に示すように、フリッカの発生を抑圧する露光時間に撮像素子を制御して撮影を行っているときでも、領域Ｃ_１，Ｃ_２の信号にはフリッカが発生する信号が出力されている。このため、領域Ｃ_１，Ｃ_２の映像信号にフリッカ検出処理を行うことにより、フリッカを検出することができ、撮影環境が変化したかどうかを判断することができる。

露光タイミングの説明は省略するが、図３（ａ）および図３（ｃ）に示すように撮像領域の制御を分割した場合には、図７（ａ）〜（ｃ）、図８（ａ）〜（ｃ）に示すような信号が撮像素子から出力される。撮影環境検出のための領域Ｃまたは領域Ｃ_１，Ｃ_２の信号にはフリッカが発生する信号が出力されている。

このように本実施の形態によれば、標準撮像領域Ａの周辺に設けられた撮影環境検出のための領域Ｃ_１，Ｃ_２で生成される映像信号の周波数成分を検出し、この周波数成分に基づいて、撮影環境がフリッカを発生させる環境であるかどうかを判断し、撮影環境がフリッカを発生させる環境であると判断された場合、標準撮像領域Ａの露光時間をフリッカの発生を抑圧する時間に設定し、領域Ｃ_１，Ｃ_２については、露光時間の変更は行わず、引き続きフリッカの検出が可能な露光時間の状態に制御するので、標準撮像領域Ａがフリッカの発生を抑圧した露光時間に設定された撮影状況においても、領域Ｃ_１，Ｃ_２においてフリッカを検出することができ、撮影環境が変化したかどうかを判断することができる。

なお、上記では、撮像素子が手ぶれ補正のための領域Ｂの周辺に撮影環境検出のための領域Ｃ_１，Ｃ_２を有する場合について説明したが、例えば、手ぶれが光学的に補正されるシステムの場合、図３に示す手ぶれ補正のための領域Ｂも撮影環境検出のための領域として利用することが可能となる。

また、標準撮像領域の周囲に手ぶれ補正のための領域を持たない撮像素子の場合で電子的に手ぶれ補正を行う場合は、標準撮像領域の一部を電気的に拡大する電子ズームにより手ぶれ補正を行うが、この場合は、図９に示すように、標準撮像領域Ａの中に最終出力領域Ａ’と手ぶれ補正領域Ｂ’撮影環境検出領域Ｃ’を設けるようにする。

さらに、撮影環境検出のための領域Ｃを複数の領域にさらに分割し、これらの露光時間を異なる値に設定してもよい。例えば、図３（ｂ）に示す領域Ｃ_１，Ｃ_２のうち、撮像素子の上部に設けられた領域Ｃ_１の露光時間を１／６０秒に設定し、下部に設けられた領域Ｃ_２の露光時間を１／１０００秒に設定する。これにより、フリッカの検出性能を向上させることができる。

さらに、撮影環境検出のための領域Ｃの露光時間を変えながら、その出力レベルを管理することで、標準撮像領域Ａの最適な露光時間の制御に利用することも可能である。

本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。 図１に示す撮像装置のフリッカ検出部の構成を示すブロック図である。 図１に示す撮像装置のＣＭＯＳ撮像素子の撮像領域を示す図である。 撮影環境検出のための領域の中に設定した検出エリアを示す図である。 図３に示すＣＭＯＳ撮像素子の撮像領域における露光時間の制御を説明するための図である。 本発明の一実施の形態における制御結果の一例を示す図である。 本発明の一実施の形態における制御結果の一例を示す図である。 本発明の一実施の形態における制御結果の一例を示す図である。 標準撮像領域の中に最終出力領域と手ぶれ補正領域と撮影環境検出領域とを設けた例を示す図である。 従来の撮像装置のＣＭＯＳ撮像素子の撮像領域を示す図である。 従来のＣＭＯＳ撮像素子の撮像領域における露光時間の制御の一例を説明するための図である。 図１１に示す制御によりフリッカが発生した画面を示す図である。 従来のＣＭＯＳ撮像素子の撮像領域における露光時間の制御の一例を説明するための図である。 図１３に示す制御によりフリッカが発生しない画面を示す図である。

符号の説明

１１ 光学系
１２ ＣＭＯＳ撮像素子
１３ アナログ処理部
１４ Ａ／Ｄ変換部
１５ デジタル処理部
１６ フリッカ検出部
１７ タイミングジェネレータ
１８ システムコントローラ
２１ 積算部
２２ 積算結果蓄積部
２３ ＤＦＴ（離散フーリエ変換）部
２４ ＤＦＴ結果蓄積部
２５ 平均化部

Claims (2)

1. 入来する撮影光を光電変換して画像信号を生成する固体撮像素子を用いた撮像装置であって、
   前記固体撮像素子は、出力画像信号に対応する標準撮像領域、及びこの標準撮像領域の周辺に設けられた検出領域を有するＸＹアドレス走査型の固体撮像素子であり、
   前記検出領域で生成される画像信号の周波数成分を検出する検出手段と、
   前記検出された周波数成分に基づいて、前記入来する撮影光がフリッカを発生させる環境であるかどうかを判断する撮影環境判断手段と、
   前記固体撮像素子の露光時間を設定するとともに、前記撮影環境判断手段でフリッカを発生させる撮影環境であると判断された場合、前記検出された周波数成分に基づいて、前記標準撮像領域の露光時間をフリッカの発生を抑圧する時間に設定する露光時間設定手段と
   を備えることを特徴とする撮像装置。
2. 前記撮影環境判断手段は、撮影環境が蛍光灯照明下であるかどうかを判断し、
   前記露光時間設定手段は、前記撮影環境判断手段で撮影環境が蛍光灯照明下であると判断された場合、前記標準撮像領域の露光時間を、蛍光灯フリッカの発生を抑圧する時間に設定することを特徴とする請求項１に記載の撮像装置。