JP2008235955A - 撮像方法、固体撮像装置、撮像装置 - Google Patents

Abstract

【課題】カラーローリングを効果的に抑制できる仕組みにする。
【解決手段】１フィールド内の前半部と後半部の２回に分けて同一露光条件で撮像する。初期状態では前半信号１を使用するように設定する（Ｓ１０）。カラーローリングを検出しないときは前半信号１を使う。カラーローリング検出時で、後半信号２の方に大きなカラーローリングが発生しているときも前半信号１を使う。前半信号１の方に大きなカラーローリングが発生しているときは後半信号２を使うように設定を切り替える（Ｓ１６）。何れの場合も、カラーローリングがより少ない各信号１，２の何れかを使い、カメラとしての輝度信号処理部と色信号処理を行なって映像出力する（Ｓ１８）。
【選択図】図４

Description

本発明は、撮像方法、固体撮像装置、および撮像装置に関する。より詳細には、各種の撮像装置で被写体の撮影を行なう場合に、その照明光に含まれる電源周波数に起因した周波数変動によって映像に生じるフリッカ（光源フリッカとも称する）を抑制する仕組みに関する。特に、色信号系統のフリッカを抑制する仕組みに関する。

被写体画像を撮像する撮像装置においては、たとえばＣＣＤ(Charge Coupled Device) 型やＭＯＳ型あるいはＣＭＯＳ型などの固体撮像装置の画素部（撮像部や画素アレイ部とも称される）に入射する光量を制御する仕組み（以下入射光量制御という）が採られている。

この入射光量制御には、撮像レンズにメカニカルな絞り機構を設けたもの（以下メカアイリスともいう）、撮像レンズにメカニカルなシャッタ機構を設けたもの（以下メカシャッタともいう）、あるいは固体撮像装置の画素部における信号電荷の蓄積時間（露光時間）の制御が可能ないわゆる電子シャッタ機能を利用するものなどがある。これらは、単独で使用されてもよいが、メカアイリスはメカシャッタや電子シャッタと組み合わせて使用されることもある。

ところで、各種の撮像装置においては、定常的に明るさが変化しない光源下での撮像の場合は問題ないが、たとえば蛍光灯のように周期的な発光特性を有しかつ固体撮像装置の露光周期と同期していない光源下での撮像の場合、光源フリッカが発生する。簡単に言えば、フィールド周波数と蛍光灯などの光源の発光周期とが異なることに起因して光源フリッカが発生する。なお、画面輝度のちらつきを輝度フリッカ、色再現のちらつきを色フリッカもしくはカラーローリングと、区別して称することもある。

ここで、「光源フリッカ」とは、光源の照度変化と、撮像装置の露光周期との関わりで映像信号が変化する現象のことである。たとえば、周波数ｆの商用電源を使用した光源における＝1／ｎｆ（ｎは通常２）秒周期の照度変化と、撮像装置のフィールド周期ｆｖのビート成分で映像信号の輝度信号成分が変化し、これにより出力画像が変化し、この周期が人間の目の残像特性にも関係して画像がちらついて感じられる現象を輝度フリッカと称している。

たとえば、フィールド周波数が６０Ｈｚ（換言すればフレームレートが３０ｆｐｓ：より正確には５９．９４Ｈｚ）のＮＴＳＣ方式での商用電源周波数ｆ＝５０Ｈｚの地域や、フィールド周波数が５０Ｈｚ（換言すればフレームレートが２５ｆｐｓ）のＰＡＬ方式での商用電源周波数ｆ＝６０Ｈｚの地域では極端に有害で、しかも白熱電球より蛍光灯の方が、発光特性上照度変化があり、顕著である。

たとえば、蛍光灯の発光周期は１０ｍｓで、ＮＴＳＣ方式での６０Ｈｚの露光動作の１周期は１６．７ｍｓであると、これらの最小公倍数は５０ｍｓとなり、３回の露光動作で両者の関係は元に戻る。したがって、露光期間の種類としては３種類となり、これらの間で固体撮像装置の出力信号レベルが異なることが、フリッカ周波数Ｆ＝２０Ｈｚのフリッカ発生の原因となる。

また、電子シャッタ機能を使用する場合、高速シャッタモードにすればするほど１フィールド期間に固体撮像装置に電荷を蓄積する蓄積時間が短くなるため、フリッカの振幅が通常のシャッタ速度である１／６０秒の場合よりも大きくなり、電子シャッタ速度が速くなればなるほどフリッカが顕著となり、画面上のチラツキ（特に画像輝度）として画質を著しく劣化させる。

また、蛍光灯に使用されている蛍光体には緑色と赤色と青色との３色があり、各色の発色しはじめるタイミングは同じであるが、光量が減少し、最後に消えるまでの時間には差がある。つまり、蛍光灯の発光は時間とともにそのスペクトルを変える。一般的には、前記３色のうち、特に緑色の発光時間が長く、ついで赤色、最も短いのが青色である。したがって、高速シャッタのシャッタタイミングによっては、前記発色光のうち１色あるいは２色のみの光成分しかとらえることができない場合が発生する。高速の電子シャッタを用いて撮像した場合には、捉えるスペクトルの差が出てくるため、それが色の変化となって現れるのである。

１フィールドごとに蛍光灯の発色光成分すなわち色温度が異なることになり、カラー画像の撮像装置に不可欠な自動ホワイトバランス処理（ＡＷＢ：Auto White Balance）を行なうに当たり、１フィールドごとにホワイトバランスが変化することになる。したがって、映像信号には前記輝度フリッカと同様な周期で色信号成分のフリッカ（色フリッカ，カラーローリング）が発生することになる。たとえば、ＮＴＳＣのカメラで６０Ｈｚの電源周波数での蛍光灯がある被写体を撮像したときに、長周期（たとえば１０秒以上）の色変化（カラーローリング）が発生する。このカラーローリングは露光時間が短いほど顕著に現れる
このため、カラーローリングを防止する一手法として、たとえば特許文献１には、自動ホワイトバランスの処理を速める方法が提案されている。

特開平１１−２８５０１０号公報

この特許文献１に記載の仕組みでは、周期的に照度が変化する被写体もしくは光源を光源判別手段で検出し、撮像手段の電荷蓄積時間を制御するとともに、電荷蓄積時間および光源判別手段での検出結果に応じて自動ホワイトバランス調整手段の調整速度を切り換えることで、各種の環境においても、誤動作なく自動ホワイトバランス調整を行なうことを可能にしている。

しかしながら、特許文献１に記載の仕組みのように、自動ホワイトバランスの処理スピードを速めても、原理的にはカラーローリングを完全に抑え切れないし、ホワイトバランス調整のために色信号に大きなゲインを掛ける必要があるため、全体に色ノイズが増加する。

図９および図１０は、これらの問題を説明する図である。縦軸はＲ−Ｙ成分、横軸はＢ−Ｙ成分の大きさである。これはビデオ信号をベクトルスコープという測定器で見た場合の図である。カラーローリング発生時には、前述の蛍光灯の発光スペクトルの時間変化特性に起因して、青色成分が低下することで黄色（Ｙｅ）成分が相対的に大きくなり、ホワイトバランス調整のＲ，Ｇ，Ｂの比率が１：１：１から崩れ、図９（Ａ）に示すように、全体としては黄色方向に大きく伸びる傾向がある。一点にならないのは、画像は多くの情報を含み純粋な黄色だけではないので中心から連続的に色が存在するからである。

特許文献１に記載の仕組みを適用することで、この全体的な黄色方向へのズレを色差軸の中心（無彩色）方向に引き戻し、かつ中心に引き込ませるのであるが、残留成分が残ってしまう。これは、ホワイトバランス調整は、色成分の平均に合わせるので黄色方向のみを抑圧することができないからである。すなわち、図９（Ａ）に示すように、中心から連続的に黄色方向に延びて色が存在する状態でＡＷＢを動作させると、色信号の平均に合わせ、黄色も飽和度が小さくなるが、逆に青色の飽和度が増えるのである。色信号の振幅変化は小さくなるが、結果としてカラーローリングも完全に抑えることができない。

加えて、黄色方向へのズレを色差軸の中心方向に引き戻して収束させるには、図１０に示すように、ホワイトバランス調整にてたとえば青色成分のゲインを増加させることが必要になるが（逆にＲ，Ｇを低減する方法も考えられるが全体の信号レベルが低下するので得策でない）、そのため全体に色ノイズが増加してしまう。青色成分のゲインを大きくすることで、青色系のノイズが画面全体で増加するからである。

本発明は、上記事情に鑑みてなされたものであり、カラーローリングを効果的に抑制できる仕組みを提供することを目的とする。

本発明に係る固体撮像装置や撮像装置は、先ず、画素アレイ部で取得される画素信号によって表わされる被写体像を示す輝度信号や色信号に基づいてカラーローリングの有無を判定し、カラーローリングの存在を検知したときには、カラーローリングを抑制するように制御するカラーローリング制御部を備える。

また、第１の仕組みにおいては、カラーローリング制御部は、１フィールド間に複数回の露光を行なって取得される複数の被写体像の少なくとも何れかに基づきカラーローリングの有無を判定するようにする。好ましくは、複数の被写体像の輝度信号もしくは色信号のレベル差に基づきカラーローリングの有無を判定する。

カラーローリング制御部は、カラーローリングの存在を検知したときには、複数の被写体像の内、少なくともカラーローリングの程度が少ない方を映像出力に使用するように制御する。好ましくは、カラーローリングの存在を検知したときには、複数の被写体像の内、カラーローリングの程度が少ない方のみを映像出力に使用するように制御する。

たとえば、６０Ｈｚの電源で発光している蛍光灯が被写体に入っている場合に、ＮＴＳＣ方式のカメラで撮像すると周期的に輝度信号や色信号が変化し、ホワイトバランスが黄色方向に大きく変化することがある。このとき、１フィールド期間内にたとえば２回の露光を行ない、それぞれの信号（輝度、色）に差異がある場合にカラーローリングが起きていると判定し、２回の露光で得られた信号のうち、色の比率がたとえば大きく黄色に変化してない方の信号を用いて通常の輝度信号処理および色信号処理を行ない、映像出力することによってカラーローリングの抑制を行なう。

また、第２の仕組みにおいては、被写体像のホワイトバランス調整機能の前段に、色信号レベルを調整する調整部を設ける。カラーローリング制御部は、カラーローリングの存在を検知したときには、色信号処理におけるホワイトバランス調整前の色信号のレベルが大きくなるようにカラーローリングの発生に寄与する色の色信号に補正を加えるように調整部を制御する。

このような第２の仕組みは、特に、補色系の信号を原色系の信号に変換する変換部と、変換部で生成された原色系の信号に基づきホワイトバランス調整を行なう色信号処理部とを備えた構成に適用すると効果的である。たとえば、カラーローリングを検出したときに、色信号処理の中の青色信号の生成時に、青色信号が大きくなるように変換係数を切り替える。カラーローリング発生時に、原色系でのホワイトバランス調整前に青色信号が大きくなるようにしておく。

なお、固体撮像装置はワンチップとして形成された形態であってもよいし、撮像部と、信号処理部または光学系とが纏めてパッケージングされた、撮像機能を有するモジュール状の形態であってもよい。

また、本発明は、固体撮像装置のみではなく、撮像装置にも適用可能である。この場合、撮像装置として、固体撮像装置と同様の効果が得られる。ここで、撮像装置は、たとえば、カメラや撮像機能を有する携帯機器のことを示す。また「撮像」は、通常のカメラ撮影時の像の撮りこみだけではなく、広義の意味として、指紋検出なども含むものである。

第１の仕組みにおいては、カラーローリング発生時に、複数の被写体像の内、少なくともカラーローリングの程度が少ない方を映像出力に使用するので、本実施形態を適用しない場合に比べて、周期的な画像変化が起き難くなり、カラーローリングの抑圧効果が高まる。

第２の仕組みにおいては、カラーローリング発生時に、ホワイトバランス調整前の色信号のレベルが大きくなるようにカラーローリングの発生に寄与する色の色信号に補正を加えるので、ホワイトバランス調整に伴う色ノイズの増加を防止しつつカラーローリングを抑圧できる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜固体撮像装置の全体概要＞
図１は、本発明に係る固体撮像装置の一実施形態の概略構成図である。本実施形態の固体撮像装置１は、入射光量に応じた信号を出力する受光素子（電荷生成部の一例）を含む複数個の画素が行および列に配列された（すなわち２次元マトリクス状の）画素アレイ部を有し、画素アレイ部の後段に各画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部やＡＧＣ（Automatic Gain Control）処理機能部やデジタル変換部（ＡＤＣ；Analog Digital Converter）などが設けられており、さらにその後段に、本実施形態特有のフリッカ抑制機能を備えたカメラ信号処理部が設けられているものである。以下、具体的に説明する。

なお、一般的には、画素アレイ部の基本要素としてＣＣＤを採用したときには画素アレイ部とＣＤＳ処理機能部やデジタル変換部が別体とされるのに対して、画素アレイ部の基本要素としてＣＭＯＳを採用したときには画素アレイ部とＣＤＳ処理機能部やデジタル変換部が一体的に設けられる。なお、ＣＣＤやＣＭＯＳなどの固体撮像装置１の適用例としては、監視カメラ、ビデオカメラ、デジタルスチルカメラ、ＰＣカメラ、携帯電話のカメラなどが考えられる。

固体撮像装置１は、複数の単位画素（図示を割愛する）が行および列に配列された画素アレイ部１０と、駆動制御部７と、画素アレイ部１０から出力された画素信号に対してＣＤＳ処理やＡＤ変換処理などを施す画素信号処理部２６とを備えている。駆動制御部７や画素信号処理部２６は、画素アレイ部１０の外側に設けられている。

駆動制御部７は、画素アレイ部１０の信号を順次読み出すための制御回路機能を備えている。たとえば、駆動制御部７としては、図示を割愛するが、画素アレイ部の基本要素としてＣＣＤを採用したときには、列方向への電荷転送を制御する垂直転送駆動部や行方向への電荷転送を制御する水平転送駆動部や垂直転送駆動部や水平転送駆動部などを制御するための駆動パルスを生成するなどの機能を持つ通信・タイミング制御部とを備える。画素アレイ部の基本要素としてＣＭＯＳを採用したときには、行アドレスや行走査を制御する垂直走査回路（行走査回路）と、列アドレスや列走査を制御する水平走査回路（列走査回路）と、垂直走査回路や水平走査回路などを制御するための内部クロック（駆動パルス）を生成するなどの機能を持つ通信・タイミング制御部とを備える。

通信・タイミング制御部は、図示しないが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータＴＧ（読出アドレス制御装置の一例）の機能ブロックと、外部から供給されるマスタークロックを受け取り、また外部から供給される動作モードなどを指令するデータを受け取り、さらに固体撮像装置１の情報を含むデータを出力する通信インタフェースの機能ブロックとを備える。

ＣＭＯの場合、これらの各機能部は、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成されたいわゆる１チップもの（同一の半導体基板上に設けられているもの）として、半導体システムの一例であるＣＭＯＳイメージセンサとして、本実施形態の固体撮像装置１の一部をなすように構成される。

なお、固体撮像装置１は、このように各部が半導体領域に一体的に形成された１チップとして形成された形態であってもよいし、図示を割愛するが、画素アレイ部１０（撮像部）、駆動制御部７、画素信号処理部２６などの各種の信号処理部の他に、撮影レンズ、光学ローパスフィルタ、あるいは赤外光カットフィルタなどの光学系をも含む状態で、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態としてもよい。

また、固体撮像装置１は、画素信号処理部２６の後段に、撮像信号処理部２２０とフリッカ周波数特定部の機能をなすカメラ制御部９００とを具備したカメラ信号処理部２００を備えている。カメラ信号処理部２００は、たとえば、ＤＳＰ（Digital Signal Processor）で構成される。画素信号処理部２６内のＡＤ変換部をカメラ信号処理部２００内に取り込む構成を採ることもある。

なお、このカメラ信号処理部２００をも、画素アレイ部１０、駆動制御部７、画素信号処理部２６などの各種の信号処理部と纏めて、半導体領域に一体的に形成されたいわゆる１チップものとして、半導体システムの一例であるＣＭＯＳイメージセンサとして、本実施形態の固体撮像装置１の全体をなすように構成してもよい。

撮像信号処理部２２０は、色フィルタとして原色フィルタ以外のものが使用されているときに画素信号処理部２６のＡＤ変換機能部から供給されるデジタル撮像信号をＲ（赤），Ｇ（緑），Ｂ（青）の原色信号に分離する原色分離機能を具備した信号分離部２２２と、信号分離部２２２によって分離された原色信号Ｒ，Ｇ，Ｂに基づいて色信号Ｃに関しての信号処理を行なう色信号処理部２３０とを有する。

また撮像信号処理部２２０は、信号分離部２２２によって分離された原色信号Ｒ，Ｇ，Ｂに基づいて輝度信号Ｙに関しての信号処理を行なう輝度信号処理部２４０と、輝度信号Ｙ／色信号Ｃに基づいて映像信号ＶＤを生成するエンコーダ部２６０および出力用のアナログに変換するＤＡ変換部２６２と、輝度信号もしくは色信号（原色信号もしくは色差信号）に基づいてフリッカ検波を行なうフリッカ検波部２７０とを有する。

色信号処理部２３０は、図示を割愛するが、たとえば、ホワイトバランスアンプ、ガンマ（γ）補正部、色相（Ｈｕｅ）／ゲイン処理を行なう色差マトリクス部などを有する。ホワイトバランスアンプは、図示しないホワイトバランスコントローラから供給されるゲイン信号に基づき、信号分離部２２２の原色分離機能部から供給される原色信号のゲインを調整（ホワイトバランス調整）し、ガンマ補正部および輝度信号処理部２４０に供給する。

ガンマ補正部は、ホワイトバランスが調整された原色信号に基づいて、忠実な色再現のためのガンマ（γ）補正を行ない、ガンマ補正された各色用の出力信号Ｒ，Ｇ，Ｂを色差マトリクス部に入力する。色差マトリクス部は、色差マトリクス処理を行なって得た色差信号Ｒ−Ｙ，Ｂ−Ｙをエンコーダ部２６０に入力する。

輝度信号処理部２４０は、図示を割愛するが、たとえば、信号分離部２２２の原色分離機能部から供給される原色信号に基づいて比較的周波数が高い成分までをも含む輝度信号ＹＨを生成する高周波輝度信号生成部と、ホワイトバランスアンプから供給されるホワイトバランスが調整された原色信号に基づいて比較的周波数が低い成分のみを含む輝度信号ＹＬを生成する低周波輝度信号生成部と、２種類の輝度信号ＹＨ，ＹＬに基づいて輝度信号Ｙを生成しエンコーダ部２６０に供給する輝度信号生成部とを有する。

エンコーダ部２６０は、色信号副搬送波に対応するデジタル信号で色差信号Ｒ−Ｙ，Ｂ−Ｙをデジタル変調した後、輝度信号処理部２４０にて生成された輝度信号Ｙと合成して、デジタル映像信号ＶＤ（＝Ｙ＋Ｓ＋Ｃ；Ｓは同期信号、Ｃはクロマ信号）に変換する。

エンコーダ部２６０から出力されたデジタル映像信号ＶＤは、さらに後段の図示を割愛したカメラ信号出力部に供給され、モニター出力や記録メディアへのデータ記録などに供される。この際、必要に応じて、ＤＡ変換部２６２によってデジタル映像信号ＶＤがアナログ映像信号Ｖに変換される。

フリッカ検波部２７０は、各画素から得られる輝度信号量もしくは色信号量を積分して輝度信号量や色信号量の測定結果を取得する積分処理部を有する。なお、好ましくは、画像を垂直走査方向に分割して複数のフリッカ検波枠を設定するフリッカ検波枠設定部を設け、フリッカ検波枠設定部によって設定されたフリッカ検波枠ごとに各画素から得られる輝度信号量もしくは色信号量を積分して輝度信号量や色信号量の測定結果を取得するとよい。フリッカ検波枠の幅や間隔の指定は、カメラ制御部９００に組み込まれる制御プログラムによって実行されるともに各設定値は任意である。フリッカ検波部２７０は、輝度信号量や色信号量の測定結果である積分値の情報をカメラ制御部９００に提示する。

本実施形態のカメラ制御部９００は、コンピュータが行なう演算と制御の機能を超小型の集積回路に集約させたＣＰＵ（Central Processing Unit ）を代表例とする電子計算機の中枢をなすマイクロプロセッサ（microprocessor）９０２と、読出専用の記憶部であるＲＯＭ（Read Only Memory）９０４、随時書込みおよび読出しが可能であるとともに揮発性の記憶部の一例であるＲＡＭ（Random Access Memory）９０６と、図示を割愛したその他の周辺部材を有している。マイクロプロセッサ９０２、ＲＯＭ９０４、およびＲＡＭ９０６を纏めて、マイクロコンピュータ（microcomputer ）とも称する。

なお、上記において“揮発性の記憶部”とは、装置の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。

また、半導体製のメモリ素子により構成することに限らず、磁気ディスクや光ディスクなどの媒体を利用して構成してもよい。たとえば、ハードディスク装置を不揮発性の記憶部として利用できる。また、ＣＤ−ＲＯＭなどの記録媒体から情報を読み出す構成を採ることでも不揮発性の記憶部として利用できる。

カメラ制御部９００は、システム全体を制御するものであり、本例では、フリッカ検波部２７０によって得られたフリッカ成分についての検波データに基づきカラーローリング（色フリッカ成分）を抑制する処理機能（詳細は後述する）を有している。ＲＯＭ９０４にはカメラ制御部９００の制御プログラムなどが格納されているが、本例では、カメラ制御部９００によってカラーローリングを抑制するための機能をなすカラーローリング抑制プログラムが格納されている。

ＲＡＭ９０６にはカメラ制御部９００が各種処理を行なうためのデータなどが格納されているが、たとえば、１フレーム前のフリッカ検波部２７０の検波データを退避するための領域を提供する。

このような構成の固体撮像装置１においては、図示を割愛した撮像レンズを通して結像した光信号がＣＣＤもしくはＣＭＯＳの画素アレイ部１０にて電気信号に変換される。その後、画素信号処理部２６のＣＤＳ処理にて画素信号をサンプルホールドし、ＡＧＣ処理にてゲイン調整を行なった後、画素信号処理部２６内のもしくはカメラ信号処理部２００（たとえばＤＳＰで構成されるとき）内のＡ／Ｄ変換器にてデジタルデータに変換される。さらに、信号分離部２２２にて輝度信号と色信号に分けて、それぞれ色信号処理部２３０や輝度信号処理部２４０にて処理を行なう。その後、エンコーダ部２６０にて出力用の信号に変換され、ＤＡ変換部２６２にてアナログ信号に戻しビデオ出力信号とする。駆動制御部７内のタイミングジェネレータは各機能部に必要なパルスを供給する。また、駆動制御部７からはＡＥ（Automatic Exposure）の制御として電子シャッタパルスを画素アレイ部１０に供給する。

ＡＥの制御は、たとえば、輝度信号処理部２４０からの輝度信号に基づきフリッカ検波部２７０にて積分された輝度信号を元にカメラ制御部９００内のＲＯＭ９０４に書き込まれたソフトウェアで行なう。オートホワイトバランス制御は、たとえば色信号処理部２３０からの原色信号に基づきフリッカ検波部２７０にて積分された色信号（Ｒ，Ｇ，Ｂ）を元にカメラ制御部９００内のＲＯＭ９０４に書き込まれたソフトウェアで行なう。

＜＜カラーローリング抑制処理；第１実施形態＞＞
図２〜図４は、第１実施形態のカラーローリング抑制処理を説明する図である。ここで、図２は、第１実施形態のカラーローリング抑制処理に対する比較例および第１実施形態の各露光制御方式を説明するタイミングチャートである。図３は、第１実施形態のカラーローリング抑制処理におけるカラーローリング検出処理で実施される同時化処理を説明する図である。図４は、第１実施形態のカラーローリング抑圧処理の処理手順を説明するフローチャートである。

第１実施形態のカラーローリング抑制処理は、先ずカラーローリングの検出を、１フィールド間に複数回（典型的には２回）の露光を行ない、それぞれの信号の差異検出によって行なう点に特長を有する。すなわち、カラーローリングが発生しているときは、露光のタイミングの違いで２つの信号の輝度レベルと色に差異が生じるため、その差異で検出することができる。なお、各回の露光時間は好ましくは同一にする。露光時間を同一としない場合には、各回で取得される信号レベルを同一露光時間のものに正規化してカラーローリングの有無の判定処理を行なう。露光時間を同一とする場合、この正規化処理が不要になる利点がある。

また、カラーローリングの抑圧すなわち蛍光灯を撮像したときの色変化の抑圧は、１フィールド間に複数回露光したことによって得られた信号のうち、カラーローリングが起きていない方の信号を選択して出力することで実現する点に特長を有する。

＜カラーローリング検出処理；第１実施形態＞
先ず、第１実施形態のカラーローリング抑制処理の特徴を説明する上での比較例として、一般的な露光制御方式について図２（Ａ）にて説明する。

所望の露光時間が得られるように電子シャッタパルスを発生させて、１フィールド期間に１回露光を行なう。図２（Ａ）では、垂直同期信号ＶＤで１フィールド期間が開始する場合において、前半部分で電子シャッタパルスを発生させて、後半部を露光期間としている。その後、ＣＣＤの場合には読出パルスで画素アレイ部１０のセンサから垂直転送レジスタに信号電荷を転送する。

この露光時間が短くなればなるほど、蛍光灯の発光を捉えるタイミングのフィールドごとのズレが大きくなり、カラーローリングが発生し、色変化と輝度変化のレベルが大きくなる。これは、蛍光灯の発光スペクトルが時間とともに変化することに起因する。特に発光開始よりも終了時の方に差異が大きく、黄色成分（つまり赤色成分と緑色成分の合成成分）が残る傾向にある。

一方、第１実施形態のカラーローリング抑制処理における露光制御方式では、１フィールド期間内に複数回の露光を行なう。たとえば、図２（Ｂ）に示すように、１フィールド期間内に２回の露光を行なう。たとえば、比較例と同様の１フィールド期間における後半部分での露光タイミングに加えて、フィールドの開始直後にも露光を行なう。１フィールド期間における前半部分での露光タイミングを追加するのである。

たとえば、露光時間がＮＴＳＣの場合１／１２０［ｓ］（ＰＡＬの場合は１／１００［ｓ］）よりも短くなる場合には、この１フィールド期間内に２回の露光を行なう。ただし、１／１２０［ｓ］（ＰＡＬの場合は１／１００［ｓ］）よりも長くなるような被写体条件では、比較例と同じように１フィールドに１回の露光を行なうように自動的に制御方式を切り換える。つまり、カラーローリングの検出の際に露光時間がフィールド周期の１／２以上になる場合には、自動的に１フィールドに１回の露光時間に切り換える。

これは、露光時間がフィールド周期の１／２以上になると、通常の後半部分での露光タイミングと本実施形態での前半部分での露光タイミングとが重なってしまい、結果的には正しい露光ができなくなるためである。また、カラーローリングは露光時間が短いほど顕著に現れ、１／１００［ｓ］や１／１２０［ｓ］程度の露光時間では殆ど目立たないことも理由の１つである。

１フィールド期間における前半部分での露光タイミングで取得される信号に関しては、次の後半部分での露光タイミングの前に読み出しておく。たとえばＣＣＤの場合であれば、読出パルスを読出ゲートに供給してセンサ部から垂直レジスタに信号電荷を全て転送する。そして、後半部分での露光タイミングで取得される信号電荷が垂直レジスタに読み出される前に全て水平転送レジスタに転送しておく。このため、読出パルスの位置に垂直転送開始と水平転送開始のタイミングも合わせておく。これらのことは、あるフィールドにおける後半部分での露光タイミングで取得される信号と、次フィールドにおける前半部分での露光タイミングで取得される信号との関係においても同様である。これらの制御を行なうための各種パルスは、駆動制御部７のタイミングジェネレータから出力し画素アレイ部１０に入力する。

ここで、カラーローリングが発生していない場合には、２回の露光で得られる信号に差異はないが、カラーローリングが発生している場合には、発光を捉えるタイミングが異なるため、輝度信号あるいは色信号に差異が発生する。カメラ制御部９００は、前半部分と後半部分のそれぞれの露光タイミングで取得される各輝度信号あるいは色信号の情報を比較し、それぞれのレベルに差異がある場合には、カラーローリングが発生していると判定する。

たとえば、輝度信号の情報を比較してカラーローリングが発生の有無を判定するには以下のようにする。先ず、輝度信号については、フリッカ検波部２７０にて輝度成分を積分し、その値を監視（モニター）する。この際には、図３に示すように、１フィールド期間内に２回の露光信号があるので、次のフィールドを使ってそれぞれ１フィールドに１つの信号として同時化し、積分は１フィールド期間行なう。フリッカ検波部２７０は、前半部分と後半部分のそれぞれの露光タイミングで取得される各輝度積分値の情報をカメラ制御部９００に組み込まれる制御プログラムに提示する。

カラーローリングが発生していない場合、同じ露光時間（シャッタスピード）であれば、前半部分と後半部分のそれぞれの露光タイミングで取得される輝度積分値の差異は生じないが、カラーローリングが発生している場合には同じ露光時間でも輝度積分値に差異が生じる。そこで、カメラ制御部９００は、前半部分と後半部分のそれぞれの露光タイミングで取得される各輝度積分値を比較し、それぞれのレベルに差異がある場合には、カラーローリングが発生していると判定する。

一方、色信号の情報を比較してカラーローリングが発生の有無を判定するには以下のようにする。先ず、色信号については、フリッカ検波部２７０にて色成分（Ｒ，Ｇ，Ｂ）を積分し、カメラ制御部９００にてその比率を監視（モニター）する。輝度信号と同様に、１フィールド期間内に２回の露光信号があるので、図３に示すように、それぞれ１フィールドに１つの信号として同時化し、積分は１フィールド期間行なう。フリッカ検波部２７０は、前半部分と後半部分のそれぞれの露光タイミングで取得される各色積分値の情報をカメラ制御部９００に組み込まれる制御プログラムに提示する。

カラーローリング現象がなく、ホワイトバランスがあっている場合には、ホワイトバランス処理後のＲ，Ｇ，Ｂ信号の比率は１：１：１である。しかしながら、カラーローリングが起きている場合にはこのＲ，Ｇ，Ｂ信号の比率が崩れ、典型的には青色（Ｂ）成分が少なくなり、画面は黄色を帯びることが多い。もちろん、ホワイトバランス処理前の信号でもＲ，Ｇ，Ｂ比率が崩れ、青色（Ｂ）成分Ｂが少なくなり黄色が強く出る。

なお、蛍光灯の種類や、補色系であるのか原色系であるのかと言ったカラーフィルタ構成の違いにより、カラーローリングでＢ成分だけが少なくなるという現象が異なる可能性がある。この場合でも、ホワイトバランス処理後のＲ，Ｇ，Ｂ信号の比率はカラーローリング現象がない場とある場合とでは異なる。

何れにせよ、カメラ制御部９００は、前半部分と後半部分のそれぞれの露光タイミングで取得される各色積分値に基づくＲ，Ｇ，Ｂの比率をモニターし、両者の間でＲ，Ｇ，Ｂの比率に差があり、さらに片側の信号で上記のように黄色（カラーフィルタ構成により異なる色）が強く出ているなどの現象が見られる場合にカラーローリングが発生していると判定する。

なお、第１実施形態のカラーローリング抑制処理におけるカラーローリング検出処理として、後述する第２実施形態のカラーローリング抑制処理におけるカラーローリング検出処理を適用してもよい。ただし、カラーローリング抑圧処理との組合せとしては、前述の第１実施形態のカラーローリング検出処理を適用するのが好ましいのは言うまでもない。

＜カラーローリング抑圧処理；第１実施形態＞
カメラ制御部９００は、カラーローリングを検出した場合に、次に、カラーローリング抑圧処理を行なう。たとえば、１フィールドに２回の露光で得られた前半部分の露光タイミングで取得される前半信号１と後半部分の露光タイミングで取得される後半信号２の内、少なくとも、カラーローリングが起きていない方の信号を使って最終的な出力とする。たとえば、Ｒ，Ｇ，Ｂ比率の１：１：１からのずれが大きい方（カラーローリングの程度が大きい方）の信号を使用せず、もう片側のカラーローリングが起きていない方（カラーローリングの程度が少ない方）の信号のみを使って最終的な出力とする。カラーローリングを検出しなかった場合には、１フィールドに２回の露光で得られた信号に差はないので、どちらの信号を使用しても問題はない。

たとえば、図４に示すように、初期状態では前半信号１の方を使用するように設定しておく（Ｓ１０）。カラーローリングの有無判定（Ｓ１２）にてカラーローリングを検出しなかった場合には（Ｓ１２−ＮＯ）、そのまま前半信号１を使うようにし、カメラとしての信号処理、たとえば輝度信号処理部２４０ではＬＰＦ処理やγ処理など、色信号処理部２３０ではホワイトバランス処理、γ処理、色相／ゲイン処理などを行ない、最終的には、エンコーダ部２６０にてビデオ信号として映像出力する（Ｓ１８）。

一方、カラーローリングを検出した場合には（Ｓ１２−ＮＯ）、前半信号１と後半信号２で比較して（Ｓ１４）、後半信号２の方に大きなカラーローリングが発生している（Ｒ，Ｇ，Ｂの比率が１：１：１からのずれが大きい）と判定できれば（Ｓ１４−ＹＥＳ）、前半信号１をそのまま使うようにし、前記と同じカメラとしての信号処理を行ない、ビデオ信号として出力する（Ｓ１８）。前半信号１の方に大きなカラーローリングが発生している（Ｒ，Ｇ，Ｂの比率が１：１：１からのずれが大きい）と判定できれば（Ｓ１４−ＮＯ）、後半信号２を使うように設定を切り替え（Ｓ１６）、前記と同じカメラとしての信号処理を行ない、ビデオ信号として出力する（Ｓ１８）。

あるいは、前半信号１と後半信号２とを合成した信号を常時出力するようにしてもよい。この場合でも、本実施形態を適用しない場合に比べるとカラーローリングの抑圧効果は多少なりとも得られる。ただし、カラーローリングの成分が出力画像に残留するので、カラーローリングが起きていない方の信号のみを使って最終的な出力とする方法の方がカラーローリングの抑圧効果が高い。

第１実施形態のカラーローリング抑制処理によれば、蛍光灯撮像時に起きるカラーローリングを抑圧することができ、カメラの画質向上を図ることができる。周期的な画像変化が起き難くなるため、カメラ出力の後段で画像圧縮を行なってデータ転送などの用途があった場合に圧縮率を高めることができる。たとえば、ＤＶＲ（Digital Video Recorder）での画像記録やネットワーク画像配信の用途に効果的である。

また、第１実施形態では、フリッカ検波部２７０にて、各画素から得られる輝度信号量もしくは色信号量を積分して輝度信号量や色信号量の測定結果を示す積分値を取得するようにしているが、このような処理は、フリッカ検出に当たっての一般的な処理である。よって、カラーローリング検出や抑圧に特殊なハードウェアや外付け回路などを必要としないため、カラーローリングを対策したカメラとしての製造コストアップを抑えることができる。

＜＜カラーローリング抑制処理；第２実施形態＞＞
図５〜図７は、第２実施形態のカラーローリング抑制処理を説明する図である。ここで、図５は、第２実施形態のカラーローリング抑制処理におけるカラーローリング検出処理で実施される色信号Ｒ，Ｇ，Ｂについての輝度別積分処理を説明する図である。図６は、第２実施形態のカラーローリング抑圧処理の詳細を説明する図である。図７は、第２実施形態のカラーローリング抑圧処理の効果を説明する図である。

第２実施形態のカラーローリング抑制処理は、先ずカラーローリングの検出を、一定の周期ごとの色信号の比率を監視して、比率変化の有無や程度に基づきカラーローリングの有無を判定する点に特長を有する。特に、本実施形態では、高輝度部の色信号Ｒ，Ｇ，Ｂの比率を監視して行なう点に特長を有する。

また、カラーローリングの抑圧すなわち蛍光灯を撮像したときの色変化の抑圧は、色信号処理の中のある色信号レベルを自動的に切り替えて増やすことで実現する点に特長を有する。特に、この色信号レベルの切替えを、ホワイトバランスアンプの前段に設けられる信号分離部２２２での色分離処理にて行なう点に特長を有する。

＜カラーローリング検出処理；第２実施形態＞
第２実施形態のカラーローリング抑制処理におけるカラーローリング検出処理では、高輝度部の色信号Ｒ，Ｇ，Ｂの積分値の比率が変化した場合をカラーローリングとして判定する。たとえば、ＮＴＳＣのカメラで発生するカラーローリングの場合、電源周波数が６０Ｈｚ、フィールド周波数が５９．９４Ｈｚであるため、９９９フィールドで約１６．７ｓｅｃ、蛍光灯の発光周波数は１２０Ｈｚで２０００回発光すると約１６．７ｓｅｃ、９９９／５９．９４＝２０００／１２０＝１６．７であり、カラーローリングの発生周期は約１６．７ｓｅｃとなる。

フリッカ検波部２７０は、図５に示すように、色信号成分Ｒ，Ｇ，Ｂに関して、輝度レベルによって積分する範囲を分ける輝度別積分の仕組みを採り、高輝度領域の色成分をそれぞれ積分し、その積分結果をカメラ制御部９００に組み込まれる制御プログラムに提示する。この輝度別積分方法は、ホワイトバランス制御において白色を効率よく抽出するために用いている既存の方法であり、本実施形態ではカラーローリング検出として使用する。

カメラ制御部９００は、前記のカラーローリングの発生周期にて高輝度部のＲ，Ｇ，Ｂ積分値の比率が変化した場合、カラーローリングが発生してると判定する。たとえば、ＮＴＳＣカメラで画素アレイ部１０に補色フィルタが搭載されている固体撮像装置１の場合、Ｒ，Ｇ，Ｂの内のＢの比率が約１６．７ｓｅｃごとに小さくなった場合にはカラーローリングが起きていると判定する。

積分範囲を分割する輝度レベルは、長周期で変化する色信号レベルが最大になるように設定しておくことでより効果的となる。カラーローリング検出に当たり、輝度によって分けることなく画面全体で判定する場合にはカラーローリングを効果的に検出することが難しいが、本実施形態のように輝度別積分方法を適用することでカラーローリング検出性能が向上する。

カラーローリング現象がなく、ホワイトバランスがあっている場合には、ホワイトバランス処理後のＲ，Ｇ，Ｂ信号の比率は１：１：１である。しかしながら、カラーローリングが起きている場合にはこのＲ，Ｇ，Ｂ信号の比率が崩れ、典型的には青色（Ｂ）成分が少なくなり、画面は黄色を帯びることが多い。なお、蛍光灯の種類や、補色系であるのか原色系であるのかと言ったカラーフィルタ構成の違いにより、カラーローリングでＢ成分だけが少なくなるという現象が異なる可能性がある。この場合でも、ホワイトバランス処理後のＲ，Ｇ，Ｂ信号の比率はカラーローリング現象がない場とある場合とでは異なる。何れにせよ、カメラ制御部９００は、Ｒ，Ｇ，Ｂの比率を監視し、周期的にＲ，Ｇ，Ｂの比率が変化するか否かに基づいてカラーローリングの有無を判定できる。

ＰＡＬのカメラの場合、電源周波数が５０Ｈｚ、フィールド周波数が５０Ｈｚであるため、カラーローリングの発生周期はＮＴＳＣと異なるが、検出の方法としてはＮＴＳＣと変わらない。

なお、多くの場合、輝度フリッカが生じるケースではカラーローリングも生じるので、輝度信号のみに基づきフリッカの有無を判定して、輝度フリッカが存在すればカラーローリングも生じているものと判定してもよい。この場合、色信号に基づきフリッカの有無を判定する場合に比べて判定処理が簡易になる利点がある。ただし、色信号に基づきフリッカの有無を判定する場合に比して性能が劣るのは言うまでもない。

＜カラーローリング抑圧処理；第２実施形態＞
カメラ制御部９００は、カラーローリングを検出したときには、ホワイトバランスアンプの前段に設けられる信号分離部２２２での色分離処理にて、ある色信号レベルを自動的に切り替えて増やす。たとえば、ＮＴＳＣのカメラで画素アレイ部１０に補色フィルタが搭載されている固体撮像装置１の場合、信号分離部２２２は、補色信号（たとえば輝度信号Ｙと色差信号Ｃｒ，Ｃｂ）を図６（Ａ）に示すように、Ｒ，Ｇ，Ｂ原色信号に変換する。変換式としては、たとえば下記式（１）を使用する。α１，α２，β１，β２は予め設定された分離係数（変換係数）である。

本実施形態の信号分離部２２２においては、Ｂ信号の変換式における係数β１を、カラーローリングを検出しない場合の初期値β１_0とカラーローリングを検出したときに応じた予め設定してある大きな設定値β１_1とで切り替える構成を採る。この係数β１の切替えのため、図６（Ｂ）に示すように、第２実施形態のカメラ信号処理部２００は、２入力−１出力型のスイッチなどの係数切替部２２３を有する。係数切替部２２３は、被写体像のホワイトバランス調整機能の前段に設けられた色信号レベルを調整する調整部として機能する。

係数切替部２２３の一方の入力端には初期値β１_0が、他方の入力端には設定値β１_1が、制御入力端にはカメラ制御部９００からのカラーローリング検出信号が入力される。カラーローリング検出信号（Detect result ）を０，１に分け、たとえばカラーローリングが検出されなかった場合を０、検出した場合を１とする。係数切替部２２３は、カラーローリング検出信号が、０のときには初期値β１_0を係数として使用し、１のときには設定値β１_1を係数と使用するように自動で切り替える。

初期値β１_0については、カメラの色再現とホワイトバランス動作のどちらも満足するような値（たとえば２０［ｈ］〜４０［ｈ］）を設定しておく。色再現については、色温度変化に対して変化が少なく、かつ色再現自体がよいようにする。ホワイトバランス動作については、色温度変化に追従でき、かつホワイトバランスゲインが大きくなりすぎてノイズが増大されないようにする。この設定では、カラーローリング抑圧に関して最適とは言えず、カラーローリング現象が起きたときに黄色方向に飽和度が伸びる。一方、設定値β１_1については、カラーローリングが抑圧される値に予め設定しておく。すなわち、青色信号が大きくなるような係数（たとえば７Ｆ［ｈ］）に設定する。

自動で切り替えるのは、たとえばドーム監視カメラのようにカメラ自体がパン（Ｐａｎ），チルト（Ｔｉｌｔ）を行なうと被写体も変わり、蛍光灯で照明された被写体やそうでない被写体が切り替わることがあるからである。

逆に固定の監視カメラでは、被写体に変化が殆どないため、自動で切り替える必要はないと考えられる。その場合には、予めどちらかの設定にしておくとよい。すなわち、カラーローリングが起きるような被写体の場合には、設定値β１_1を選択するようにしておき、そうでない場合には設定値β１_0を選択しておく。

このように、カラーローリング発生時に青色信号が大きくなるような設定値β１_1を使用する第２実施形態の仕組みを採ることで、図７に示すＲＧＢの分光特性例のように、青色信号が増えたことによって、カラーローリングが発生するような状況でも青色成分が不足することはなく、黄色方向に色の飽和度が伸びることがない。青色信号の足りない分は、色信号処理部２３０でのホワイトバランスアンプのゲインで補うことでカラーローリングは抑圧できる。

従来技術の問題では、青色信号を絞ってからホワイトバランスアンプのゲインで増幅していたため、信号量に対してノイズが増える結果となっていた。これに対して、第２実施形態の仕組みでは、ホワイトバランス調整前の原色信号に変換する段階で予め青色信号を絞ることがなく、青色信号を大きくしておくので、ホワイトバランスでゲインを過度に大きく上げることがないためカラーローリング抑圧時に青色系統のノイズを抑えることができる。たとえば、初期値β１_0として２０［ｈ］〜４０［ｈ］を使用し、設定値β１_1として７Ｆ［ｈ］を使用すると、青色信号は約２倍（６ｄＢ）に信号量が増えるため、ビット精度も１ビット改善され、ホワイトバランス調整でのゲインを抑えられることになり、相対的にノイズを約１／２（−６ｄＢ）抑圧することができる。

画素アレイ部１０に原色フィルタが搭載されている固体撮像装置１の場合、青色信号の処理の途中のホワイトバランス調整前にゲインを乗算するようアンプを挿入し、そのゲインを切り替えられるようにしておけば、補色フィルタでの信号処理と同様のことが可能である。

第２実施形態のカラーローリング抑制処理においても、蛍光灯撮像時に起きるカラーローリングを抑圧することができ、カメラの画質向上を図ることができる。周期的な画像変化が起き難くなるため、カメラ出力の後段で画像圧縮を行なってデータ転送などの用途があった場合に圧縮率を高めることができる。

また、第２実施形態では、フリッカ検波部２７０にて、ホワイトバランス制御において白色を効率よく抽出するために用いている輝度別積分方法をカラーローリング検出に適用しており、カラーローリング検出に特殊なハードウェアや外付け回路などを必要とせずカラーローリング検出性能を向上できる利点がある。カラーローリング抑圧のため係数切替部２２３を追加するが、これは２入力−１出力型の簡単なスイッチであればよく、カラーローリング抑圧に特殊なハードウェアや外付け回路などを必要としないため、カラーローリングを対策したカメラとしての製造コストアップを抑えることができる。

＜撮像装置＞
図８は、前述の固体撮像装置１と同様の仕組みを利用した物理情報取得装置の一例である撮像装置の概略構成を示す図である。この撮像装置８は、可視光カラー画像を得る撮像装置になっている。

前述した固体撮像装置１の仕組みは固体撮像装置のみではなく、撮像装置にも適用可能である。この場合、撮像装置としても、カラーローリング検出時には、第１実施形態もしくは第２実施形態のカラーローリング抑圧処理を適用することで、フリッカ検出処理性能を向上させることができる。

特に、前述の説明から分かるように、フリッカ検出処理性能は、露光条件や、フレームレートと電源周波数との関係に左右されるので、露光条件やフレームレートを制御する機能部分との関係が重要になる。

具体的には、撮像装置８は、蛍光灯などの照明装置８０１の下にある被写体Ｚの像を担持する光Ｌを撮像装置側に導光して結像させる撮影レンズ８０２と、光学ローパスフィルタ８０４と、たとえばＲ，Ｇ，Ｂの色フィルタがベイヤ配列とされている色フィルタ群８１２、および画素アレイ部１０と、画素アレイ部１０を駆動する駆動制御部７と、画素アレイ部１０から出力された撮像信号を処理するカメラ信号処理部８１０とを備えている。

光学ローパスフィルタ８０４は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。また、図中に点線で示しように、光学ローパスフィルタ８０４と合わせて、赤外光成分を低減させる赤外光カットフィルタ８０５を設けることもできる。この点は、一般的な撮像装置と同様である。

カメラ信号処理部８１０は、先ず、固体撮像装置１のカメラ信号処理部２００と同様に、撮像信号処理部２２０を有している。また、カメラ信号処理部８１０は、固体撮像装置１と同様に、カメラ制御部９００を有している。ここで、撮像装置８におけるカメラ制御部９００としては、マイクロプロセッサ９０２には、フリッカ抑制プログラムの他に、露光制御用のプログラムも組み込まれて、露光条件を制御する露光条件制御部としても機能するようになっている。

ここで、電子計算機の中枢をなすマイクロプロセッサ９０２を露光条件を制御する露光条件制御部として機能させるための露光制御用のプログラムとしては、フリッカ抑制プログラムによって特定されたフリッカ周波数を参照して電子シャッタを制御することで、フリッカ抑制を行なう点に特徴を有する。

具体的には、特定されたフリッカ周波数と完全に同期した電子シャッタを切る。たとえば、ＮＴＳＣ方式仕様の５０Ｈｚ電源地域では電子シャッタ速度を１／１００秒とする。電子シャッタ速度１／１００秒が蛍光灯点滅周期１／１００秒と同期するので、電子シャッタ動作の位相と蛍光灯点滅の位相がどのようにずれていても、固定された電子シャッタ速度である１／１００秒の間に画素アレイ部１０に入射される光量が一定に保たれ、光源フリッカ（輝度フリッカおよび色フリッカともに）が生じないようになる。

ただし、この場合は、光源フリッカを防止できても、電子シャッタを利用した露光制御は不可能となってしまう。このため、被写体照度が高い側では、照度上昇に伴って画素アレイ部１０が電子的に飽和することがある。あるいは、画素アレイ部１０が飽和しなくても、後段の信号処理系が飽和することもある。これら場合、画像輝度が増大し、画像が白っぽく潰れてしまう。

この対策としては、たとえばメカアイリスと組み合わせることで、光源フリッカを防止しつつ画像潰れが生じないように露光制御する仕組みを適用するとよい。ただし、今日では、撮像装置本体のローコスト化のために、メカニカルな絞り機構（メカアイリス）を取り除き、電子シャッタ機能だけで露光制御を行なうように構成することが多い。このような露光制御を電子アイリスという。

このようなメカアイリス機構を持たず電子アイリスにより露光制御する仕組みを採る場合は、フリッカ周波数と同期したタイミングの電子シャッタタイミングを設定することで光源フリッカを防止させたときに、画素アレイ部１０が飽和しない限りにおいて、被写体照度の変動にかかわりなく画像輝度を一定にするために、画素アレイ部１０から出力された信号に対しての自動利得制御を適用するようにしてもよい。

また、カメラ制御部９００は、メモリカードなどの記録媒体９２４を挿脱可能に構成し、またインターネットなどの通信網との接続が可能に構成している。たとえば、カメラ制御部９００は、マイクロプロセッサ９０２、ＲＯＭ９０４、およびＲＡＭ９０６の他に、メモリ読出部９０７および通信Ｉ／Ｆ（インタフェース）９０８を備える。

記録媒体９２４は、たとえば、マイクロプロセッサ９０２にソフトウェア処理をさせるためのプログラムデータや、輝度信号処理部２４０からの輝度系信号に基づく測光データＤＬの収束範囲、フリッカ処理や露光制御処理（電子シャッタ制御を含む）における各種の設定値などのデータを登録するなどのために利用される。

メモリ読出部９０７は、記録媒体９２４から読み出したデータをＲＡＭ９０６に格納（インストール）する。通信Ｉ／Ｆ９０８は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。

なお、このような撮像装置８は、駆動制御部７およびカラム処理部２６を、画素アレイ部１０と別体にしてモジュール状のもので示しているが、固体撮像装置１について述べたように、これらが画素アレイ部１０と同一の半導体基板上に一体的に形成されたワンチップものの固体撮像装置１を利用してもよいのは言うまでもない。

また、図では、画素アレイ部１０や駆動制御部７や画素信号処理部２６やカメラ信号処理部８１０の他に、撮影レンズ８０２、光学ローパスフィルタ８０４、あるいは赤外光カットフィルタ８０５などの光学系をも含む状態で、撮像装置８を示しており、この態様は、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態とする場合に好適である。

ここで、前述の固体撮像装置１におけるモジュールとの関係においては、図示のように、画素アレイ部１０（撮像部）と、ＡＤ変換機能や差分（ＣＤＳ）処理機能を具備したカラム処理部２６などの画素アレイ部１０側と密接に関連した信号処理部（画素信号処理部２６の後段のカメラ信号処理部は除く）が纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置１を提供するようにし、そのモジュール状の形態で提供された固体撮像装置１の後段に、残りの信号処理部であるカメラ信号処理部８１０を設けて撮像装置８の全体を構成するようにしてもよい。

または、図示を割愛するが、画素アレイ部１０（撮像部）と撮影レンズ８０２などの光学系とが纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置１を提供するようにし、そのモジュール状の形態で提供された固体撮像装置１に加えて、カメラ信号処理部８１０をもモジュール内に設けて、撮像装置８の全体を構成するようにしてもよい。

また、固体撮像装置１におけるモジュールの形態として、カメラ信号処理部２００に相当するカメラ信号処理部８１０を含めてもよく、この場合には、事実上、固体撮像装置１と撮像装置８とが同一のものと見なすこともできる。

このような撮像装置８は、「撮像」を行なうための、たとえば、カメラや撮像機能を有する携帯機器として提供される。なお、「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出なども含むものである。

このような構成の撮像装置８においては、前述の固体撮像装置１の全ての機能を包含して構成されており、前述の第１もしくは第２実施形態のカラーローリング抑制処理を適用する固体撮像装置１の基本的な構成および動作と同様とすることができ、カラーローリング抑制処理性能を向上させることができる。

たとえば、上述した処理をコンピュータに実行させるプログラムは、フラッシュメモリ、ＩＣカード、あるいはミニチュアーカードなどの不揮発性の半導体メモリカードなどの記録媒体９２４を通じて配布される。さらに、サーバなどからインターネットなどの通信網を経由して前記プログラムをダウンロードして取得したり、あるいは更新してもよい。

記録媒体９２４の一例としてのＩＣカードやミニチュアーカードなどの半導体メモリには、上記実施形態で説明した固体撮像装置１（特にカラーローリング抑制処理に関わる機能）における処理の一部または全ての機能を格納することができる。したがって、プログラムや当該プログラムを格納した記憶媒体を提供することができる。たとえば、フリッカ処理用のプログラム、すなわちＲＡＭ９０６などにインストールされるソフトウェアは、固体撮像装置１について説明したフリッカ処理と同様に、輝度データや色データの測定と積分処理、あるいはこの輝度データや色データに基づくカラーローリングの判別・抑圧などの各機能部をソフトウェアとして備える。

同様に、露光制御用のプログラム、すなわちＲＡＭ９０６などにインストールされる露光制御用のソフトウェアも、測光データＤＬを受け取り、測光データＤＬが一定レベルに保持され、かつ蛍光灯照明下においてもフリッカが生じないように電子シャッタ速度を制御し、また必要に応じてフリッカ抑制プログラムとの連携によりフレームレートを制御するなどの各機能部をソフトウェアとして備える。

ソフトウェアは、ＲＡＭ９０６に読み出された後にマイクロプロセッサ９０２により実行される。たとえばマイクロプロセッサ９０２は、記録媒体の一例であるＲＯＭ９０４およびＲＡＭ９０６に格納されたプログラムに基づいて露光制御処理や前述のフリッカ処理を実行することにより、上記処理を実行するための機能をソフトウェア的に実現することができる。すなわち、コンピュ−タを用いたデジタル信号処理によって、露光制御処理やフリッカ処理（特にカラーローリング抑制処理）を実現することができる。

本発明に係る固体撮像装置の一実施形態の概略構成図である。 第１実施形態のカラーローリング抑制処理に対する比較例および第１実施形態の各露光制御方式を説明するタイミングチャートである。 第１実施形態のカラーローリング抑制処理におけるカラーローリング検出処理で実施される同時化処理を説明する図である。 第１実施形態のカラーローリング抑圧処理の処理手順を説明するフローチャートである。 第２実施形態のカラーローリング検出処理で実施される色信号についての輝度別積分処理を説明する図である。 第２実施形態のカラーローリング抑圧処理の詳細を説明する図である。 第２実施形態のカラーローリング抑圧処理の効果を説明する図である。 固体撮像装置と同様の仕組みを利用した物理情報取得装置の一例である撮像装置の概略構成を示す図である。 特許文献１に記載の仕組みにおけるカラーローリング抑制の問題を説明する図（その１）である。 特許文献１に記載の仕組みにおけるカラーローリング抑制の問題を説明する図（その２）である。

符号の説明

１…固体撮像装置、１０…画素アレイ部、２００…カメラ信号処理部、２２０…撮像信号処理部、２２２…信号分離部、２２３…係数切替部、２３０…色信号処理部、２４０…輝度信号処理部、２６０…エンコーダ部、２６２…ＤＡ変換部、２７０…フリッカ検波部、７…駆動制御部、８…撮像装置、９００…カメラ制御部、９０２…マイクロプロセッサ、９０４…ＲＯＭ、９０６…ＲＡＭ

Claims (12)

1. １フィールド間に複数回の露光を行なって複数の被写体像を取得し、
   前記複数の被写体像に基づきカラーローリングの有無を判定し、
   カラーローリングの存在を検知したときには、前記複数の被写体像の内、少なくともカラーローリングの程度が少ない方を映像出力に使用する
   ことを特長とする撮像方法。
2. １フィールド間に複数回の露光を行なって取得される複数の被写体像の少なくとも何れかに基づきカラーローリングの有無を判定し、カラーローリングの存在を検知したときには、前記複数の被写体像の内、少なくともカラーローリングの程度が少ない方を映像出力に使用するように制御するカラーローリング制御部
   を備えたことを特長とする固体撮像装置。
3. １フィールド間に複数回の露光を行なって取得される複数の被写体像に基づきカラーローリングの有無を判定し、カラーローリングの存在を検知したときには、前記複数の被写体像の内、少なくともカラーローリングの程度が少ない方を映像出力に使用するように制御するとともに、カラーローリングの検出の際に露光時間がフィールド周期の１／２以上になるとき１フィールドに１回の露光時間に切り替えるカラーローリング制御部
   を備えたことを特長とする固体撮像装置。
4. 前記カラーローリング制御部は、カラーローリングの存在を検知したときには、前記複数の被写体像の内、カラーローリングの程度が少ない方のみを映像出力に使用するように制御する
   ことを特長とする請求項２または３に記載の固体撮像装置。
5. 前記カラーローリング制御部は、前記複数の被写体像の輝度信号もしくは色信号のレベル差に基づきカラーローリングの有無を判定する
   ことを特長とする請求項２または３に記載の固体撮像装置。
6. 被写体像を示す色信号に基づきカラーローリングの有無を判定し、
   カラーローリングの存在を検知したときには、色信号処理におけるホワイトバランス調整前の色信号のレベルが大きくなるようにカラーローリングの発生に寄与する色の色信号に補正を加える
   ことを特長とする撮像方法。
7. 被写体像のホワイトバランス調整機能の前段に設けられた、色信号レベルを調整する調整部と、
   被写体像を示す輝度信号もしくは色信号に基づきカラーローリングの有無を判定し、カラーローリングの存在を検知したときには、色信号処理におけるホワイトバランス調整前の色信号のレベルが大きくなるようにカラーローリングの発生に寄与する色の色信号に補正を加えるように前記調整部を制御するカラーローリング制御部と
   を備えたことを特長とする固体撮像装置。
8. 前記カラーローリング制御部は、一定の周期ごとに高輝度の色信号の比率を監視し、比率の変化に基づいてカラーローリングの有無を判定する
   ことを特長とする請求項７に記載の固体撮像装置。
9. 補色系の信号を原色系の信号に変換する変換部と、
   前記変換部で生成された原色系の信号に基づきホワイトバランス調整を行なう色信号処理部とを備え、
   前記調整部は、前記変換部での変換係数を制御することでカラーローリングの発生に寄与する色の色信号に補正を加える
   ことを特長とする請求項７に記載の固体撮像装置。
10. 露光条件を制御するとともに１フィールド間に複数回の露光を行なって複数の被写体像を取得するように制御する露光条件制御部と、
    前記露光条件制御部による制御の元で取得される複数の被写体像に基づきカラーローリングの有無を判定し、カラーローリングの存在を検知したときには、前記複数の被写体像の内、少なくともカラーローリングの程度が少ない方を映像出力に使用するように制御するカラーローリング制御部と
    を備えたことを特長とする撮像装置。
11. 前記露光条件制御部と前記カラーローリング制御部は、カラーローリングの検出の際に露光時間がフィールド周期の１／２以上になるとき１フィールドに１回の露光時間に切り替える
    ことを特長とする請求項１０に記載の撮像装置。
12. 露光条件を制御する露光条件制御部と、
    前記露光条件制御部による制御の元で取得される被写体像のホワイトバランス調整機能の前段に設けられた、色信号レベルを調整する調整部と、
    被写体像を示す色信号に基づきカラーローリングの有無を判定し、カラーローリングの存在を検知したときには、色信号処理におけるホワイトバランス調整前の色信号のレベルが大きくなるようにカラーローリングの発生に寄与する色の色信号に補正を加えるように前記調整部を制御するカラーローリング制御部と
    を備えたことを特長とする撮像装置。

Images