JP2008079099A - 固体撮像装置、撮像装置、プログラム - Google Patents

Abstract

【課題】露光条件の影響を回避しつつ、また、フレームレートと商用電源周波数とが同期に近くなるような場合でも、光源フリッカを抑制できるようにする。
【解決手段】画像を所定の走査方向に分割して複数のフリッカ検波枠を設定し、フリッカ検波枠ごとにＭビットの輝度データを検波する。輝度データ検波部で検波されたＭビットの輝度データのうち、下位ビット側の輝度データを参照してフリッカ成分の周波数を特定する。また、輝度データ検波部で検波されたＭビットの輝度データのうち、下位ビット側の輝度データを参照してフリッカ成分の周波数を特定する。たとえば、フリッカ成分の振れ幅が大き過ぎるときにはより上位ビット側からのデータを参照し、フリッカ成分の振れ幅が小さ過ぎるときにはより下位ビット側からのデータを参照する。
【選択図】図７

Description

本発明は、固体撮像装置、撮像装置、およびプログラムに関する。より詳細には、各種の撮像装置で被写体の撮影を行なう場合に、その照明光に含まれる電源周波数に起因した周波数変動によって映像に生じるフリッカ（光源フリッカとも称する）を抑制する仕組みに関する。

被写体画像を撮像する撮像装置においては、たとえばＣＣＤ(Charge Coupled Device) 型やＭＯＳ型あるいはＣＭＯＳ型などの固体撮像装置の画素部（撮像部や画素アレイ部とも称される）に入射する光量を制御する仕組み（以下入射光量制御という）が採られている。

この入射光量制御には、撮像レンズにメカニカルな絞り機構を設けたもの（以下メカアイリスともいう）、撮像レンズにメカニカルなシャッタ機構を設けたもの（以下メカシャッタともいう）、あるいは固体撮像装置の画素部における信号電荷の蓄積時間（露光時間）の制御が可能ないわゆる電子シャッタ機能を利用するものなどがある。これらは、単独で使用されてもよいが、メカアイリスはメカシャッタや電子シャッタと組み合わせて使用されることもある。

ところで、各種の撮像装置においては、定常的に明るさが変化しない光源下での撮像の場合は問題ないが、たとえば蛍光灯のように周期的な発光特性を有しかつ固体撮像装置の露光周期と同期していない光源下での撮像の場合、光源フリッカが発生する。なお、画面輝度のちらつきを輝度フリッカ、色再現のちらつきを色フリッカと、区別して称することもある。

ここで、「光源フリッカ」とは、光源の照度変化と、撮像装置の露光周期との関わりで映像信号が変化する現象のことである。たとえば、周波数ｆの商用電源を使用した光源における＝1／ｎｆ（ｎは通常２）秒周期の照度変化と、撮像装置のフィールド周期ｆｖのビート成分で映像信号の輝度信号成分が変化し、これにより出力画像が変化し、この周期が人間の目の残像特性にも関係して画像がちらついて感じられる現象を輝度フリッカと称している。

特に、フィールド周波数が６０Ｈｚ（換言すればフレームレートが３０ｆｐｓ））のＮＴＳＣ方式での商用電源周波数ｆ＝５０Ｈｚの地域や、フィールド周波数が５０Ｈｚ（換言すればフレームレートが２５ｆｐｓ）のＰＡＬ方式での商用電源周波数ｆ＝６０Ｈｚの地域では極端に有害で、しかも白熱電球より蛍光灯の方が、発光特性上照度変化があり、顕著である。

たとえば、蛍光灯の発光周期は１０ｍｓで、６０Ｈｚの露光動作の１周期は１６．７ｍｓであると、これらの最小公倍数は５０ｍｓとなり、３回の露光動作で両者の関係は元に戻る。したがって、露光期間の種類としては３種類となり、これらの間で固体撮像装置の出力信号レベルが異なることが、フリッカ周波数Ｆ＝２０Ｈｚのフリッカ発生の原因となる。

また、電子シャッタ機能を使用する場合、高速シャッタモードにすればするほど１フィールド期間に固体撮像装置に電荷を蓄積する蓄積時間が短くなるため、フリッカの振幅が通常のシャッタ速度である１／６０秒の場合よりも大きくなり、電子シャッタ速度が速くなればなるほどフリッカが顕著となり、画面上のチラツキ（特に画像輝度）として画質を著しく劣化させる。

また、蛍光灯に使用されている蛍光体には緑色と赤色と青色との３色があり、各色の発色しはじめるタイミングは同じであるが、光量が減少し、最後に消えるまでの時間には差がある。一般的には、前記３色のうち、特に緑色の発光時間が長く、ついで赤色、最も短いのが青色である。したがって、高速シャッタのシャッタタイミングによっては、前記発色光のうち１色あるいは２色のみの光成分しかとらえることができない場合が発生する。

つまり、１フィールドごとに蛍光灯の発色光成分すなわち色温度が異なることになり、カラー画像の撮像装置に不可欠なホワイトバランス処理を行なうにあたり、１フィールドごとにホワイトバランスが変化することになる。したがって、映像信号には前記輝度フリッカと同様な周期で色信号成分のフリッカ（色フリッカ）が発生することになる。

このため、このような光源フリッカを防止する一手法として、たとえば特許文献１には、照明光の変動を検出し、その検出信号によって映像信号を補正し、光源フリッカの除去を行なう方法が提案されている。

特開２００３−１８９１２９号公報

この特許文献１に記載の仕組みでは、画像を垂直走査方向に分割して複数（たとえば３２本）のフリッカ検波枠を設定し、フリッカ検波回路によってフリッカ検波枠ごとに輝度データの検波を行なう。そして、マイクロコンピュータおよびフリッカ周波数判別プログラムによってフリッカ検波枠ごとに前後の２つのフレームの輝度データの差分をとり、フリッカ成分を抽出してフリッカの周波数を算出する。この後、抽出したフリッカ成分の山または谷が、どの程度のフリッカ検波枠の間隔で発生しているかを測定し、それを周波数に置き換えるようにしている。

しかしながら、特許文献１に記載の仕組みでは、画像を垂直走査方向に分割した複数のフリッカ検波枠ごとに輝度データを検波して、フリッカ検波枠ごとに前後の２つのフレームの輝度データの差分をとることによってフリッカ成分を抽出し、そのフリッカ成分の山または谷がどの程度のフリッカ検波枠の間隔で発生しているかを測定することでフリッカ周波数を判別するようにしているので、フリッカ抑制性能は、フリッカ検波枠ごとの輝度データの検波性能に影響を受けるし、２フレーム間の輝度データの差分すなわちフリッカ成分の検出性能に影響を受ける。ここで、輝度データの検波性能やフリッカ成分の検出性能は、露光条件を反映した輝度データそのものの大きさの影響を受ける。

加えて、フレームレートと電源周波数（フリッカ周波数）とが同期すると、フリッカが発生する位置が画面上で固定されてしまうことになり、差分をとったときにフリッカ成分も消えてしまうことになる。よって、フレームレートと電源周波数とが同期に近い状態になると、フリッカ成分が検出され難くなり、データ処理手法によっては、光源フリッカの抑制性能に影響を与えてしまう不都合もある。

本発明は、露光条件の影響を回避しつつ、光源フリッカを抑制できる仕組みを提供することを目的とする。

さらに好ましくは、フレームレートと商用電源周波数とが同期に近くなるような場合でも、光源フリッカを抑制できる仕組みを提供することを目的とする。

本発明に係る固体撮像装置や撮像装置は、先ず、画素アレイ部で取得される画素信号によって表わされる画像を所定の走査方向に分割して複数のフリッカ検波枠を設定し、前記フリッカ検波枠ごとにＭビットの輝度データを検波する輝度データ検波部を備える。

また、第１の仕組みにおいては、輝度データ検波部で検波されたＭビットの輝度データのうち、下位ビット側の輝度データを参照してフリッカ成分の周波数を特定するフリッカ周波数特定部を備えるものとする。

また、第２の仕組みにおいては、輝度データ検波部で検波されたＭビットの輝度データのうち、上位ビット側の輝度データを参照してフリッカ成分の周波数を特定するフリッカ周波数特定部を備えるものとする。

なお、第１の仕組みと第２の仕組みの双方を兼ね備えた構成とすることで、Ｍビットの輝度データのうち、下位ビット側および上位ビット側の双方の輝度データを参照してフリッカ成分の周波数を特定するようにすれば、より好ましい。

下位ビット側や上位ビット側の輝度データも参照できるようにすることで、露光条件との関係で、輝度データが過大になる、あるいはフリッカ成分のデータ幅が過大になるもしくは過小になるような場合でも、参照するビット位置を切り替えることで、フリッカ成分の有無やフリッカ周波数の判定にとって適切なデータを参照できるようにするのである。

ここで、Ｍビットの輝度データのうちの下位ビット側や上位ビット側の輝度データを参照できるようにするには、輝度データ検波部を、フリッカ周波数特定部による制御の元で、Ｍビットの輝度データの中から任意の取出し開始位置から所定ビット幅でデータを取り出してフリッカ周波数特定部に供給する仕組みとしてもよいし、下位ビット側や上位ビット側の輝度データをそれぞれ独立に取り出してフリッカ周波数特定部に供給する仕組みとしてもよい。

なお、固体撮像装置はワンチップとして形成された形態であってもよいし、撮像部と、信号処理部または光学系とが纏めてパッケージングされた、撮像機能を有するモジュール状の形態であってもよい。

また、本発明は、固体撮像装置のみではなく、撮像装置にも適用可能である。この場合、撮像装置として、固体撮像装置と同様の効果が得られる。ここで、撮像装置は、たとえば、カメラや撮像機能を有する携帯機器のことを示す。また「撮像」は、通常のカメラ撮影時の像の撮りこみだけではなく、広義の意味として、指紋検出なども含むものである。

また、本発明に係る仕組みは、電子計算機（コンピュータ）を用いてソフトウェアで実現することもでき、このためのプログラムやこのプログラムを格納した記録媒体を発明として抽出することも可能である。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。

本発明によれば、下位ビット側や上位ビット側の輝度データを参照できるようにしたので、露光条件の影響を回避しつつ、光源フリッカを抑制できるようになる。また、フレームレートと商用電源周波数とが同期に近くなるような場合でも、光源フリッカを抑制できる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜固体撮像装置の全体概要＞
図１は、本発明に係る固体撮像装置の一実施形態であるＣＭＯＳ固体撮像装置（ＣＭＯＳイメージセンサ）の概略構成図である。本実施形態の固体撮像装置１は、入射光量に応じた信号を出力する受光素子（電荷生成部の一例）を含む複数個の画素が行および列に配列された（すなわち２次元マトリクス状の）画素アレイ部を有し、各画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部やデジタル変換部（ＡＤＣ；Analog Digital Converter）などが画素アレイ部と一体的に設けられており、その後段に、本実施形態特有のフリッカ検出機能を備えたカメラ信号処理部が設けられているものである。以下、具体的に説明する。

固体撮像装置１は、複数の単位画素（図示を割愛する）が行および列に配列された画素アレイ部１０と、駆動制御部７と、画素アレイ部１０から出力された画素信号に対してＣＤＳ処理やＡＤ変換処理などを施す画素信号処理部２６とを備えている。駆動制御部７や画素信号処理部２６は、画素アレイ部１０の外側に設けられている。

駆動制御部７は、画素アレイ部１０の信号を順次読み出すための制御回路機能を備えている。たとえば、駆動制御部７としては、図示を割愛するが、列アドレスや列走査を制御する水平走査回路（列走査回路）と、行アドレスや行走査を制御する垂直走査回路（行走査回路）と、水平走査回路や垂直走査回路などを制御するための内部クロック（駆動パルス）を生成するなどの機能を持つ通信・タイミング制御部とを備えている。

通信・タイミング制御部は、図示しないが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータＴＧ（読出アドレス制御装置の一例）の機能ブロックと、外部から供給されるマスタークロックを受け取り、また外部から供給される動作モードなどを指令するデータを受け取り、さらに固体撮像装置１の情報を含むデータを出力する通信インタフェースの機能ブロックとを備える。

これらの各機能部は、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成されたいわゆる１チップもの（同一の半導体基板上に設けられているもの）として、半導体システムの一例であるＣＭＯＳイメージセンサとして、本実施形態の固体撮像装置１の一部をなすように構成される。

なお、固体撮像装置１は、このように各部が半導体領域に一体的に形成された１チップとして形成された形態であってもよいし、図示を割愛するが、画素アレイ部１０（撮像部）、駆動制御部７、画素信号処理部２６などの各種の信号処理部の他に、撮影レンズ、光学ローパスフィルタ、あるいは赤外光カットフィルタなどの光学系をも含む状態で、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態としてもよい。

また、固体撮像装置１は、画素信号処理部２６の後段に、撮像信号処理部２２０とフリッカ周波数特定部の機能をなすカメラ制御部９００とを具備したカメラ信号処理部２００を備えている。

なお、このカメラ信号処理部２００をも、画素アレイ部１０、駆動制御部７、画素信号処理部２６などの各種の信号処理部と纏めて、半導体領域に一体的に形成されたいわゆる１チップものとして、半導体システムの一例であるＣＭＯＳイメージセンサとして、本実施形態の固体撮像装置１の全体をなすように構成してもよい。

撮像信号処理部２２０は、色フィルタとして原色フィルタ以外のものが使用されているときに画素信号処理部２６のＡＤ変換機能部から供給されるデジタル撮像信号をＲ（赤），Ｇ（緑），Ｂ（青）の原色信号に分離する原色分離機能を具備した信号分離部２２２と、信号分離部２２２によって分離された原色信号Ｒ，Ｇ，Ｂに基づいて色信号Ｃに関しての信号処理を行なう色信号処理部２３０とを有する。

また撮像信号処理部２２０は、信号分離部２２２によって分離された原色信号Ｒ，Ｇ，Ｂに基づいて輝度信号Ｙに関しての信号処理を行なう輝度信号処理部２４０と、輝度信号Ｙ／色信号Ｃに基づいて映像信号ＶＤを生成するエンコーダ部２６０とを有する。

色信号処理部２３０は、図示を割愛するが、たとえば、ホワイトバランスアンプ、ガンマ補正部、色差マトリクス部などを有する。ホワイトバランスアンプは、図示しないホワイトバランスコントローラから供給されるゲイン信号に基づき、信号分離部２２２の原色分離機能部から供給される原色信号のゲインを調整（ホワイトバランス調整）し、ガンマ補正部および輝度信号処理部２４０に供給する。

ガンマ補正部は、ホワイトバランスが調整された原色信号に基づいて、忠実な色再現のためのガンマ（γ）補正を行ない、ガンマ補正された各色用の出力信号Ｒ，Ｇ，Ｂを色差マトリクス部に入力する。色差マトリクス部は、色差マトリクス処理を行なって得た色差信号Ｒ−Ｙ，Ｂ−Ｙをエンコーダ部２６０に入力する。

輝度信号処理部２４０は、輝度信号に基づいてフリッカ検波を行なう輝度データ検波部の一例であるフリッカ検波部２７０を備える。また、輝度信号処理部２４０は、図示を割愛するが、たとえば、信号分離部２２２の原色分離機能部から供給される原色信号に基づいて比較的周波数が高い成分までをも含む輝度信号ＹＨを生成する高周波輝度信号生成部と、ホワイトバランスアンプから供給されるホワイトバランスが調整された原色信号に基づいて比較的周波数が低い成分のみを含む輝度信号ＹＬを生成する低周波輝度信号生成部と、２種類の輝度信号ＹＨ，ＹＬに基づいて輝度信号Ｙを生成しエンコーダ部２６０に供給する輝度信号生成部とを有する。

エンコーダ部２６０は、色信号副搬送波に対応するデジタル信号で色差信号Ｒ−Ｙ，Ｂ−Ｙをデジタル変調した後、輝度信号処理部２４０にて生成された輝度信号Ｙと合成して、デジタル映像信号ＶＤ（＝Ｙ＋Ｓ＋Ｃ；Ｓは同期信号、Ｃはクロマ信号）に変換する。

エンコーダ部２６０から出力されたデジタル映像信号ＶＤは、さらに後段の図示を割愛したカメラ信号出力部に供給され、モニター出力や記録メディアへのデータ記録などに供される。この際、必要に応じて、ＤＡ変換によってデジタル映像信号ＶＤがアナログ映像信号Ｖに変換される。

本実施形態のカメラ制御部９００は、コンピュータが行なう演算と制御の機能を超小型の集積回路に集約させたＣＰＵ（Central Processing Unit ）を代表例とする電子計算機の中枢をなすマイクロプロセッサ（microprocessor）９０２と、読出専用の記憶部であるＲＯＭ（Read Only Memory）９０４、随時書込みおよび読出しが可能であるとともに揮発性の記憶部の一例であるＲＡＭ（Random Access Memory）９０６と、図示を割愛したその他の周辺部材を有している。マイクロプロセッサ９０２、ＲＯＭ９０４、およびＲＡＭ９０６を纏めて、マイクロコンピュータ（microcomputer ）とも称する。

なお、上記において“揮発性の記憶部”とは、装置の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。

また、半導体製のメモリ素子により構成することに限らず、磁気ディスクや光ディスクなどの媒体を利用して構成してもよい。たとえば、ハードディスク装置を不揮発性の記憶部として利用できる。また、ＣＤ−ＲＯＭなどの記録媒体から情報を読み出す構成を採ることでも不揮発性の記憶部として利用できる。

カメラ制御部９００は、システム全体を制御するものであり、特に本例では、フリッカ検波部２７０によって得られたフリッカ成分についての検波データからフリッカ成分の周波数を判別・確定する処理機能（詳細は後述する）を有している。ＲＯＭ９０４にはカメラ制御部９００の制御プログラムなどが格納されているが、特に本例では、カメラ制御部９００によってフリッカ周波数を判別するためのフリッカ周波数特定部の機能をなすフリッカ周波数判別プログラムが格納されている。

ＲＡＭ９０６にはカメラ制御部９００が各種処理を行なうためのデータなどが格納されているが、特に本例では、１フレーム前のフリッカ検波部２７０の検波データを退避するための領域を提供するものである。

＜フリッカ検波部の構成例；第１実施形態＞
図２および図３は、第１実施形態のフリッカ検波部２７０を説明する図である。なお、この第１実施形態のフリッカ検波部２７０は、後述するフリッカ検出性能向上化処理の第１実施形態に適合するものである。ここで、図２は、第１実施形態のフリッカ検波部２７０の構成例を示すブロック図である。また、図３は、第１実施形態のフリッカ検波部２７０がカメラ制御部９００に提示するフリッカ検波枠単位の輝度量の測定結果を説明する図である。

第１実施形態のフリッカ検波部２７０は、画像を垂直走査方向に分割して複数のフリッカ検波枠を設定するフリッカ検波枠設定部２７２と、フリッカ検波枠設定部２７２によって設定されたフリッカ検波枠ごとに各画素から得られる輝度信号量を積分してフリッカ検波枠単位の輝度量の測定結果を取得する輝度信号積分処理部２７４とを有する。フリッカ検波枠の幅や間隔の指定は、カメラ制御部９００に組み込まれる制御プログラムによってで実行されるともに、各設定値は任意である。

また、フリッカ検波部２７０は、輝度信号積分処理部２７４によって得られたＭ（たとえば２４）ビットの輝度量測定結果データOPD0の中から、上位側の所定のビット位置から下位側にＮ（Ｍ＞Ｎ：たとえば１２）ビット幅で（逆に言えば下位側の所定のビット位置から上位側にＮビット幅で）取り出してフリッカ検出積分値OPD1としてカメラ制御部９００に提示する検出積分値取得部２７６を有する。

ここで、第１実施形態の検出積分値取得部２７６は、カメラ制御部９００のフリッカ周波数判別プログラムによる指示の元で、任意の取得開始ビット位置を指定できるハードウェア構成のレジスタである。取得開始ビット位置の指定は、カメラ制御部９００に組み込まれる制御プログラムによって自動で実行される。

また、フリッカ検波部２７０は、検出積分値取得部２７６によるフリッカ検出積分値OPD1の取出し時に、取出し開始の最上位ビットのデータ値と、この取出し開始の最上位ビットに対して１ビット上位側のビットデータが値を持つ、つまり“１”であるか否かとを判断して、取出し開始の最上位ビットのデータ値を修正するデータ修正部２８０を有する。

データ修正部２８０は、Ｎビット幅のフリッカ検出積分値OPD1を、１ビット分上位ビット側にシフトさせたときに、必ず、それ以前のデータ値に対して値が小さくなるように修正処理を実行する。逆に言えば、Ｎビット幅のフリッカ検出積分値OPD1を、１ビット分下位ビット側にシフトさせたときに、必ず、それ以前のデータ値に対して値が大きくなるように修正処理を実行する。

これは、所定位置で取り出したＮビット幅のフリッカ検出積分値OPD1やこのフリッカ検出積分値OPD1に基づいて取得されるフリッカ成分の振れ幅（詳細には最小ピークと最大ボトムとの差）が大き過ぎるときに、Ｍビットの輝度量測定結果データOPD0のより上位側から取り出すことでフリッカ検出積分値OPD1やフリッカ成分の振れ幅を小さくし、逆に、Ｎビット幅のフリッカ検出積分値OPD1やフリッカ成分の振れ幅が小さ過ぎるときに、Ｍビットの輝度量測定結果データOPD0のより下位側から取り出すことでフリッカ検出積分値OPD1やフリッカ成分の振れ幅を大きくすることを意味している。

たとえば、アナログの画素信号をデジタルデータに変換しているとき、フリッカ検波枠設定部２７２によって設定されるフリッカ検波枠内の画素数と各画素のデジタル値次第で、輝度信号積分処理部２７４によって取得される輝度量測定結果データOPD0のビット幅が左右される。多くの画素数に対応するには、画素信号のビット幅よりも相当程度広く取っておく必要があり、たとえば２５６個の８ビット（オクタルデータ）画素データの積分処理時に、全ての画素データがOxＦＦ（Oxはオクタルデータを示す）でも飽和しないようにするには、２４ビット幅を取っておく必要がある。

一方、カメラ制御部９００に組み込まれる制御プログラムによってフリッカ成分を抽出し、また抽出したフリッカ成分に基づいてフリッカ周波数を特定する際に、２４ビット幅のままでデータを取り扱うと、ソフトウェア処理規模や処理過程でデータを一時待避させるメモリ容量（つまりハードウェア規模）が大きくなってしまう。フリッカ検出用に大きなハードウェア構成のレジスタを用意すると、回路規模が大きくなり消費電力も嵩んでしまうしソフトウェア規模も大きくなってしまうのである。

そこで、本実施形態では、輝度信号積分処理部２７４によって得られたＭ（たとえば２４）ビットの輝度量測定結果データOPD0をそのままフリッカ検出積分値OPD1としてカメラ制御部９００に提示するのではなく、必要かつ十分なビットデータ部分（Ｎビット幅）を取り出してフリッカ検出積分値OPD1としてカメラ制御部９００に提示する。

ただし、輝度信号積分処理部２７４によって得られたＭ（たとえば２４）ビットの輝度量測定結果データOPD0の中から、単純に、所定位置でかつＮ（たとえば１２）ビット幅で取り出したのでは、取出し部分における、取出し開始の最上位ビットのデータ値と、それよりも１ビット上位側のビットデータとの関係によっては、破綻を来たすことがある。

ここで、破綻を来たすのは、取出し開始の最上位ビットデータが“０”である場合に、それよりも１ビット上位側のビットデータが“１”であるときである。たとえば、図３に示すように、輝度信号積分処理部２７４によって得られた２４ビットの輝度量測定結果データOPD0が“Ox２ＦＦＦＦ”の場合を考える。この場合に、取出し時の最下位側の開始ビット位置＠をＳＷ＠で示すものとしたとき、各ＳＷ＠で取り出される１２ビット幅のフリッカ検出積分値OPD1をそれぞれＦＤＢＳＷ＠とする。

このとき、図３に示すように、ＳＷ５のときには、フリッカ検出積分値OPD1ＦＤＢＳＷ５は、本来は、“0_1111_1111_111 ”で“Ox７ＦＦ”であるが、ＳＷ６のときには、フリッカ検出積分値OPD1ＦＤＢＳＷ６は、“10_1111_1111_11 ”で“OxＢＦＦ”となり、ＦＤＢＳＷ６＞ＦＤＢＳＷ５であるから、検出積分値取得部２７６による機能が破綻してしまう。

そこで、データ修正部２８０は、取出し開始の最上位ビットデータが“０”である場合に、それよりも１ビット上位側の輝度量測定結果データOPD0のビットデータが“１”であるときには、フリッカ検出積分値OPD1の最上位ビットデータが“１”となるように修正する。つまり、取出し開始の最上位ビットよりも１ビット上位側の輝度量測定結果データOPD0のビットデータが“１”であるときには、取出し部分の最上位ビットデータを強制的に“１”にする。検出積分値取得部２７６は、このデータ修正部２８０で修正された後のＭビットの輝度量測定結果データOPD0を処理対象として、Ｎビット幅でフリッカ検出積分値OPD1を取り出して、カメラ制御部９００に組み込まれる制御プログラムに提示する。

＜フリッカ検出処理の概要＞
図４〜図６は、フリッカ検出処理を説明する図である。なお、ここでの「フリッカ検出処理」とは、フリッカ成分の抽出処理やフリッカ周波数の特定処理も含む意味である。

ここで、図４は、フリッカ検出処理の処理手順の一例を示すフローチャートである。図５は、固体撮像装置１として、ＣＭＯＳイメージセンサを用いた場合のフリッカ発生と、フリッカ検出処理におけるフリッカ検波部２７０が実行する輝度量の測定処理に用いられるフリッカ検出枠との関係を説明する図である。図６は、フリッカ検出の原理を説明する図である。

図４に示すように、本実施形態のフリッカ検出処理は、フリッカ検出積分値OPD1の取出し位置の初期設定（Ｓ１）、輝度量の測定（Ｓ２）、フリッカ成分の抽出（Ｓ３）、フリッカ周波数の判別（Ｓ４）、およびフリッカ周波数の確定（Ｓ５）の各処理ステップを有する。

なお、本実施形態においては、ステップＳ２はフリッカ検波部２７０によるハードウェアで実現され、ステップＳ１、およびステップＳ２後のステップＳ３〜Ｓ５はソフトウェア（カメラ制御部９００とフリッカ周波数判別プログラム）により実現される。ただし、ステップＳ２の部分も必ずしもハードウェアと限定するものではなく、輝度信号の積分値をライン単位にカメラ制御部９００内に読み込み、ソフトウェアで検波枠データを生成することにより、同じ原理を利用することも可能である。

ここで、図５においては、画面に現れるフリッカと輝度の変化が示されている。周知のように、一般的なＣＭＯＳイメージセンサは、ローリングシャッタ方式であるので、フリッカは画面に対し横縞状に現れる。すなわち、図示のように、フリッカ成分は、そのまま輝度の変化に表れ、輝度変化の周波数はフリッカ周波数（蛍光灯の電源周波数）にそのまま対応している。図５や図６に示す黒っぽい横縞が現れる部分は輝度量が少なく（谷の部分）、白っぽく横縞が現れる部分は輝度量が多く（山の部分）現れる。

フリッカ検出処理においては、先ずこの輝度信号の横縞模様を検出するようにする。このため、カメラ制御部９００のフリッカ周波数判別プログラムは、先ず検出積分値取得部２７６に対して、２４ビットの輝度量測定結果データOPD0の中から、適当な初期取出し開始ビットを指定する（Ｓ１）。初期取出し開始ビットは、たとえば、使用する地域に応じて決める。ここでは、一例として、２４ビットの輝度量測定結果データOPD0における、丁度真ん中当りの、６ビット目〜１７ビット目までをフリッカ検出積分値OPD1として抽出するように指定するものとする。

この後、フリッカ検波部２７０は、フリッカ検波枠設定部２７２でフリッカ周波数判別プログラムによる指定に従って画像を垂直走査方向に分割して複数のフリッカ検波枠を設定し、フリッカ検波枠設定部２７２で設定されたフリッカ検波枠ごとに輝度データ（輝度量測定結果データOPD0やフリッカ検出積分値OPD1）の検波を行なうようにする。すなわち、フリッカ検波部２７０は、水平ラインごとの変化する輝度量をフリッカ検波枠ごとに測定する（Ｓ２）。

なお、図５では、フリッカ検波枠の総数を３２個に設定しているが、これは一例に過ぎず、限定するものではない。フリッカ検波部２７０は、機能的には、αの値で指定された各フリッカ検波枠の範囲で、各画素から得られる輝度信号量を積分して枠単位の輝度量の測定結果（フリッカ検出積分値OPD1）を取得し、この枠単位のフリッカ検出積分値OPD1をカメラ制御部９００に提示する。

そして、カメラ制御部９００およびフリッカ周波数判別プログラムによって、フリッカ検波枠ごとに前後の２つのフレームのフリッカ検出積分値OPD1の差分をとることで背景の映像信号成分を除去したフリッカ成分のみを抽出する（Ｓ３）。

なお、この際には、フリッカ検波部２７０から取得したフリッカ検出積分値OPD1にローパスフィルタを通して低域データを取得し（Ｓ３Ａ）、このローパスフィルタを通した低域データの差分をとることでフリッカ成分を表わす差分低域データを算出することで（Ｓ３Ｂ）、背景ノイズ成分など本来のフリッカ以外の成分を抑制するとよい。本実施形態では、このステップＳ３Ａ，Ｓ３Ｂを適用するものとする。

この後、抽出されたフリッカ成分を解析することでフリッカの周波数を算出する（Ｓ４）。さらに、抽出したフリッカ成分の山または谷が、どの程度のフリッカ検波枠の間隔で発生しているかを測定し、それを周波数に置き換えることでフリッカ周波数を確定させる（Ｓ５）。

たとえば、フリッカ成分の抽出処理（Ｓ３）においては、フリッカ検波部２７０から得られたフリッカ検波枠それぞれの輝度データと１フレーム前に得られたフリッカ検波枠それぞれの輝度データとの差分を取ることにより、フリッカ成分のみを抽出する。

フリッカ周波数の判別処理（Ｓ４）においては、ステップＳ３で抽出されたフリッカ成分に基づいて、フリッカの周波数（５０Ｈｚ／６０Ｈｚ／判別不明）の３値を割り出す。具体的には、先ず、判別プログラムでフリッカ周波数を判別する前に、プログラムから見てフリッカがどのように見えるのか、判別プログラム自身に理解させておく。なお、以下に述べる内容は、判別プログラムの前処理としてプログラム自身により自動的に計算して変数として扱うようにしてもよいし、使用する条件（ハードウェアの検波枠の数／フレームレート／水平ライン数など）を予め限定できるのであれば、プログラム作成時に計算しておいて定数として扱ようにしてもよい。

次に、枠の間隔および幅を規定する“α”を設定する。基本的に画面全体の枠の数で等分割するので、設定値の計算式は以下のようになる。すなわち、「枠の間隔／幅＝有効水平ライン数÷枠の個数」となる。たとえば、枠の数を３２個とし、画面全体の有効水平ライン数を２８８ラインとした場合、枠の間隔／幅＝２８８÷３２＝９〔ライン〕、すなわち、枠の間隔／幅は９となる。なお、単位はラインである。

続いて、画面上に何個のフリッカ成分の山（谷）が発生するかを計算する。ここで、山（谷）が発生する個数の計算式は「フレームレート÷フリッカ周期÷（無効ライン数＋有効ライン数）×有効ライン数」となる。なお、無効水平ラインとは画面に表れない水平ライン数を意味している。

たとえば、フレームレートが１５ＦＰＳの場合（１秒間に１５枚の絵の動画）で有効ライン数が２８８ラインで無効ライン数が４２ラインとすると、５０Ｈｚのフリッカの場合、１／１５÷１／１００÷（２８８＋４２）×２８８＝５．８個となる。また、たとえば、前記の条件で６０Ｈｚのフリッカの場合、１／１５÷１／１２０÷（２８８＋４２）×２８８＝６．９個となる。

さらに、フリッカの山（谷）が発生する枠間隔を計算する。ここで、山（谷）が発生する枠間隔は、「枠の数÷画面上に現れる山（谷）の個数」となる。前述の例をそのまま使用すると、５０Ｈｚの場合は、３２÷５．８で５．５となり、山（谷）は検波枠で見て５個または６個おきに発生することになる。また、６０Ｈｚの場合は、３２÷７で４．５となり、山（谷）は検波枠で見て４個または５個おきに発生することになる。

次に、このようにして求めた値を元にして、フリッカの周波数が５０Ｈｚおよび６０Ｈｚの何れであるのか、それとも判別不明であるのかを特定する。この判別論理は、以下の通りである。なお、以下の各判定で（例）を付した説明は、前述の各例を利用して説明している。

先ず、山（谷）の数からフリッカがあるか／ないか判定する（判別ａと称する）。たとえば、フリッカが存在する場合は、山（谷）の数が５〜７個現れるはずなので多少マージンを持たせて山（谷）の数が４〜８個現れたときに、フリッカがある（ありそうだ）と認識し、判別ｂの処理に進む。それ以外は判別不明とする。

次に、山（谷）が発生する枠の間隔から５０Ｈｚ／６０Ｈｚのどちらでもない成分が混じっていないか判別する（判別ｂと称する）。たとえば、フリッカが存在する場合は、山（谷）が発生する枠の間隔が４個〜６個おきになるはずなので、多少マージンを取って山（谷）が発生する枠の間隔が４個〜６個おき以外に発生しているものが３個未満の場合、フリッカがある（ありそうだ）と認識し、判別ｃの処理に進む。それ以外は判別不明とする。

次に、山（谷）が発生する枠の間隔から５０Ｈｚ／６０Ｈｚの両方の成分が混じっていないか判別する（判別ｃと称する）。たとえば、山（谷）が発生する枠の間隔が４個と６個の両方あった場合は５０Ｈｚ／６０Ｈｚの両方の成分が混じっているので、周波数不明とする。それ以外は、フリッカがある（ありそうだ）と認識し、判別ｄの処理に進む。

次に、山（谷）が発生する枠の間隔から周波数を判別する（判別ｄと称する）。たとえば、５０Ｈｚの場合は、山（谷）が発生する枠の間隔から５個または６個（計算上は５．５個）の周期でその数が５個（計算上は５．８個）現れるはずなので、多少マージンを取って、山（谷）が発生する枠の間隔が５個または６個で発生している数が３個以上であれば５０Ｈｚとする。また、６０Ｈｚの場合は、山（谷）が発生する枠の間隔が４個または５個（計算上では４．５個）の周期でその数が６個（計算上は６．９個）現れるはずなので、多少マージンを取って、山（谷）が発生する枠の間隔が４個または５個で発生している数が３個以上であれば６０Ｈｚとする。また、５０Ｈｚ／６０Ｈｚどちらの判別も該当しなかった場合は、判別不明とする。

また、フリッカ周波数の確定処理（Ｓ５）においては、フリッカ周波数の判別処理（Ｓ４）による判別結果をより確実なものとするために、判別された３値（５０Ｈｚ／６０Ｈｚ／判別不明）について、チャタリング除去の操作を取ることにより３値を確定させる。たとえば、判別結果が３回連続して同じ結果であったときに判別結果を確定させる。連続一致回数を不揮発性メモリなどに記憶させておけば、出荷段階での判別性能の調整も可能になる。

ところで、前述のようにして、画像を垂直走査方向に分割した複数のフリッカ検波枠ごとに輝度データを検波して、フリッカ検波枠ごとに前後の２つのフレームの輝度データの差分をとることによってフリッカ成分を抽出し、そのフリッカ成分の山または谷がどの程度のフリッカ検波枠の間隔で発生しているかを測定することでフリッカ周波数を判別すると、フリッカ抑制性能は、フリッカ検波枠ごとの輝度データの検波性能に影響を受けるし、２フレーム間の輝度データの差分すなわちフリッカ成分の検出性能に影響を受ける。しかも、輝度データの検波性能やフリッカ成分の検出性能は、露光条件を反映した輝度データそのものの大きさの影響を受ける。

加えて、輝度信号積分処理部２７４によって得られたＭビットの輝度量測定結果データOPD0の中から、検出積分値取得部２７６にて上位側（もしくは下位側）の所定のビット位置から下位側（もしくは上位側）にＮ（Ｍ＞Ｎ）ビット幅でフリッカ検出積分値OPD1を取り出すようにしているので、取出し位置によっては、その影響を大きく受けてしまう。たとえば、輝度量測定結果データOPD0の最小ピークや最大ボトムが検出積分値取得部２７６によって取り出されるＮビット幅をはみ出るようになると適正な処理ができなくなる。以下、この現象の対処手法について説明する。

＜フリッカ検出性能向上化処理：第１実施形態＞
図７〜図１１は、フリッカ検出性能向上化処理の第１実施形態を説明する図である。ここで、図７は、フリッカ検出性能向上化処理の第１実施形態の処理手順を示したフローチャートである。図８は、Ｍビットの輝度量測定結果データOPD0から取り出されたＮビットのフリッカ検出積分値OPD1もしくはそのフリッカ検出積分値OPD1にローパスフィルタ処理を施した差分低域データに基づいて取得されるフリッカ成分の振れ幅（詳細には最小ピークと最大ボトムとの差）を説明する図である。図９は、フリッカ検出積分値OPD1もしくはその差分低域データが異常である場合の一例を示した図である。図１０は、フリッカ成分の振れ幅が大き過ぎる場合の対処方法を説明する図である。図１１は、フリッカ成分の振れ幅が小さ過ぎる場合の対処方法を説明する図である。

先ず、前述のステップＳ２〜Ｓ５にて、フリッカ成分の抽出やフリッカ周波数の判別・確定処理を実施したときに、フリッカを検出してフリッカ周波数をキチンと確定できていれば別処理へ移行する（Ｓ１０２−ＹＥＳ）。フリッカ検出性能向上化処理は、フリッカ検出性能を向上させる処理であるから、フリッカが検出されている状態では後述する処理を実行する必要がないからである。

一方、フリッカ成分を検出できない、あるいはフリッカ周波数を確定できていなければ（Ｓ１０２−ＮＯ）、先ず、カメラ制御部９００のフリッカ周波数判別プログラムは、Ｍビットの輝度量測定結果データOPD0の所定ビット位置から検出積分値取得部２７６によって取り出されたＮビットのフリッカ検出積分値OPD1の最大値を取得する（Ｓ１０４）。

フリッカ検出積分値OPD1の最大値が所定の閾値よりも大きいときには（Ｓ１０６−ＹＥＳ）、フリッカ周波数判別プログラムは、Ｍビットの輝度量測定結果データOPD0のより上位側からＮビット幅でフリッカ検出積分値OPD1を取り出すように検出積分値取得部２７６を制御する（Ｓ１１８）。そして、別処理へ移行する。たとえばステップＳ２へ戻る。このことは、露光条件が明るくて、大きな輝度データが得られる状況にある場合、フリッカ検出積分値OPD1が飽和しないように、Ｍビットの輝度量測定結果データOPD0のより上位側を使用することを意味している。

つまり、全フリッカ検波枠についてのフリッカ検出積分値OPD1の最大値がある閾値よりも大きい場合は、全体として差分低域データの値が大きい状態にあると判断し、差分低域データ全体を小さくするために、取得開始ビット位置（ＳＷ＠）を上位ビット側にずらし、相対的に差分低域データを小さくするのである。

これによって、露光条件が明るい場合においてＮビットのフリッカ検出積分値OPD1が飽和してしまうような場合に、上位側にずらしてフリッカ検出積分値OPD1を取得し直すことで、過飽和によって光源フリッカの抑制性能が低下する事態を防止する。

一方、フリッカ検出積分値OPD1の最大値が所定の閾値以下であるときには（Ｓ１０６−ＮＯ）、フリッカ周波数判別プログラムは、フリッカ成分の振れ幅、好ましくはフリッカ検出積分値OPD1にローパスフィルタ処理を施した低域データから求められる差分低域データの振れ幅を求める（Ｓ１１２）。

ここで、「振れ幅」は、ステップＳ３にて求められるフリッカ成分や低域フリッカ成分における各ピーク値の中の値が最も小さなもの（最小ピークと称する）と、フリッカ成分や低域フリッカ成分における各ボトム値の中の値が最も大きなもの（最大ボトムと称する）との差を意味する。図８に示すように、差分低域データで示された低域フリッカ成分に着目したときには、「振れ幅」を「差分低域データ幅」と称し、差分低域データ幅＝最小ピーク値−最大ボトム値となる。

次に、フリッカ周波数判別プログラムは、求めた差分低域データ幅の絶対値が所定の閾値よりも大きいか否か、また、所定の閾値よりも大きい場合には、その極性を判定する（Ｓ１１４）。そして、差分低域データ幅の絶対値が所定の閾値以下のときには、フリッカ周波数判別プログラムは別処理へ移行する（Ｓ１１４−過小）。正負判定誤差を生じないだけの十分な大きさのフリッカ成分が検知できていないからである。

なお、この場合、フレームレート（１秒間のコマ（１枚の絵）の数）とフリッカ周波数（蛍光灯の電源周波数）とが完全に同期している場合や、完全同期ではないまでも、同期に近い状態にあることも考えられる。そこで、特許文献１に記載の仕組みと同じように、前後のフレームの差分をとった場合にフリッカ成分が消えないように、撮像信号のフレームレートとフリッカ周波数とを同期させないように調整して、ステップＳ２〜Ｓ５の処理を再度実施するようにしてもよい（Ｓ１１７）。

一方、差分低域データ幅の絶対値が所定の閾値よりも大きく、かつ、差分低域データ幅の極性が「負」であるときには（Ｓ１１４−負）、図９に示すように、最大ボトム＞最小ピークとなっていて、差分低域データの波形が崩れているので、フリッカ周波数判別プログラムは別処理へ移行する。

これに対して、差分低域データ幅の絶対値が所定の閾値よりも大きく、かつ、差分低域データ幅の極性が「正」である場合において（Ｓ１１４−正）、図９に示すように、差分低域データ幅が振れ幅上限値より大きい場合は（Ｓ１１６−上限値より大）、フリッカ周波数判別プログラムは、取得開始ビット位置（ＳＷ＠）を上位ビット側にずらし、差分低域データ幅の振れ幅が小さくなるようにする（Ｓ１１８）。つまり、差分低域データ幅が振れ幅上限値より大きいときには、振れ幅を小さくするために、取得開始ビット位置（ＳＷ＠）を上位ビット側にたとえば１つ分ずらし、相対的に差分（フリッカ成分に対応する）を小さくするのである。上位側にずらしてステップＳ２〜Ｓ５の処理を実施したときに、依然として振れ幅が大きければ、さらに同様に、取得開始ビット位置（ＳＷ＠）を上位ビット側にずらす。

露光条件が明る過ぎる場合に、輝度量測定結果データOPD0自体は飽和しないものの（Ｓ１０６−ＮＯ）、ステップＳ３にて抽出されたフリッカ成分が過大であるためにステップＳ４，Ｓ５にて適切にフリッカ周波数を特定できない場合に、Ｎビットのフリッカ検出積分値OPD1の取得開始ビット位置（ＳＷ＠）を上位ビット側にずらしてやることで、フリッカ検出積分値OPD1を相対的に小さくして、その差分で得られるフリッカ成分も相対的に小さくすることで対処するのである。

また、差分低域データ幅の絶対値が所定の閾値よりも大きく、かつ、差分低域データ幅の極性が「正」である場合において（Ｓ１１４−正）、図１０に示すように、差分低域データ幅が振れ幅下限値より小さい場合は（Ｓ１１６−下限値より小）、フリッカ周波数判別プログラムは、取得開始ビット位置（ＳＷ＠）を下位ビット側にずらし、振れ幅が大きくなるようにする（Ｓ１２０）。そして、別処理へ移行する。たとえばステップＳ２へ戻る。

つまり、差分低域データ幅が振れ幅下限値より小さいときには、振れ幅を大きくするために、取得開始ビット位置（ＳＷ＠）を下位ビット側にずらし、相対的に差分を大きくするのである。下位側にずらしてステップＳ２〜Ｓ５の処理を実施したときに、依然として振れ幅が小さければ、さらに同様に、取得開始ビット位置（ＳＷ＠）を下位ビット側にずらす。

露光条件が暗ら過ぎる場合に、ステップＳ３にて抽出されたフリッカ成分が過小であるためにステップＳ４，Ｓ５にて適切にフリッカ周波数を特定できない場合に、Ｎビットのフリッカ検出積分値OPD1の取得開始ビット位置（ＳＷ＠）を下位ビット側にずらしてやることで、フリッカ検出積分値OPD1を相対的に大きくして、その差分で得られるフリッカ成分も相対的に大きくすることで対処するのである。

ステップＳ２〜Ｓ５に示したフリッカ検出処理においては、輝度データの検波性能や、２フレーム間の輝度データの差分すなわちフリッカ成分の検出性能は、露光条件を反映した輝度データそのものの大きさの影響を受ける。また、フリッカ成分の検出性能（特に検知量）は、撮像信号のフレームレートとフリッカ周波数（電源周波数）とが同期しているか否によっても影響を受ける。

すなわち、フレームレートとフリッカ周波数とが同期している場合には、原理的には、フリッカ成分がゼロになってしまう。このままでは、フリッカ成分が存在するにも関わらずフリッカ無しと判定せざるを得ない。これを避けるため、特許文献１に記載の仕組みでは、フレームレートとフリッカ周波数とが同期していないようにフレームレートを調整している。

一方、フレームレートとフリッカ周波数とが同期していない場合であっても、十分な大きさのフリッカ成分が検知できなければ、結果的には、フリッカ無し、あるいはフレームレートとフリッカ周波数とが同期している状態と同じと判定せざるを得ない。

第１実施形態のフリッカ検出性能向上化処理の仕組みでは、これらの事象に、柔軟に対処できるようになるのである。

たとえば、第１実施形態のフリッカ検出性能向上化処理においては、先ず結果的に、露光条件（照度条件）が「明るい／暗い」に応じて（Ｓ１０６，Ｓ１１６）、Ｎビットのフリッカ検出積分値OPD1の取得開始ビット位置（ＳＷ＠）を調整するようにしたので（Ｓ１１８，Ｓ１２０）、露光条件の影響を回避しつつ光源フリッカを抑制できるようになる。

たとえば、明るい場合に、Ｎビットのフリッカ検出積分値OPD1が飽和しないように、取得開始ビット位置（ＳＷ＠）を上位ビット側に調整することで、過飽和によって光源フリッカの抑制性能が低下する事態を防止することができる。

また、明るい場合においてフリッカ成分の振れ幅（具体的には、差分低域データ幅）が大きくなるような場合には（Ｓ１１６−上限値より大）、取得開始ビット位置（ＳＷ＠）を上位ビット側に調整することで、フリッカ成分がフレームレートと同期している場合と同期していない場合との差分低域データ差の差（スケール）が大きくなり過ぎないようにすることができる。

つまり、振り幅が大き過ぎるときには、取得開始ビット位置（ＳＷ＠）を上位ビット側へずらしてやることで、非同期時に抽出されるフリッカ成分（差分データ）が飽和しない程度の大きさとなる（換言すればスケールを大きくし過ぎない）ようにすることで、ステップＳ４，Ｓ５での周波数判定性能を向上させることができる。

たとえば、高照度時に差分データの山の部分が過飽和状態となって、また本来のフリッカ成分でないノイズ部分の山／谷もかなりの大きさとなり、フリッカ成分の本来の山でない部分を山と誤判定し、山の数を適正に検知できなくなるケースが生じる（特許文献１の段落２５〜２８の処理によって判別不能とされるケースの一例）。

この対処のため（山／谷の数を適正に検知できるようにするため）、第１実施形態のステップＳ１１６−上限値より大，Ｓ１１８にて、振り幅が大き過ぎるときに、取得開始ビット位置（ＳＷ＠）を上位ビット側へずらしてやるのである。

加えて、フリッカ成分の振れ幅（具体的には、差分低域データ幅）が小さい場合に（Ｓ１１６−下限値より小）、Ｎビットのフリッカ検出積分値OPD1の取得開始ビット位置（ＳＷ＠）を下位ビット側に調整するようにしたので（Ｓ１２０）、フレームレートと商用電源周波数とが同期に近くなるような場合でも、光源フリッカを抑制できるようになる。

たとえば、フレームレート（１秒間のコマ（１枚の絵）の数）とフリッカ周波数（蛍光灯の電源周波数）とが同期していないときには、図６（Ａ）に示すように、１つ前のフレーム（Ｎ−１フレーム）のフリッカ成分（差分低域データ）と、今のフレーム（Ｎフレーム）のフリッカ成分（差分低域データ）とで、画面上に現れている位置が異なるので、その差分をとれば、背景の被写体の輝度量が消えて、フリッカの輝度成分の波だけが残ることになる。

ところが、フリッカ周波数÷Ｎ〔ＦＰＳ：フレーム／秒〕（Ｎ＝１，２，３，４，５：正の整数）となると、つまり５０Ｈｚのフリッカで、５０ＦＰＳ，２５ＦＰＳ，…、６０Ｈｚのフリッカで、６０ＦＰＳ，３０ＦＰＳ，…のように、フレームレートとフリッカ周波数を同期させてしまうと、図６（Ｂ）に示すように、フリッカが発生する位置が画面上で固定されてしまうことになり、差分をとったときにフリッカ成分も消えてしまうことになる。

たとえば、フレームレートとフリッカ周波数とが概ね同期するようになると、フリッカ成分（差分低域データ）の画面上に現れている位置が似通ってくるので、前後の２つのフレームのフリッカ成分（差分低域データ）の差分をとると、フリッカの輝度成分の波が非常に小さくなってしまう。もちろん、完全に同期したときには、前後の２つのフレームのフリッカ成分（差分低域データ）の画面上に現れている位置がほぼ完全に同じになると考えてよく、フリッカの輝度成分の波は殆ど観測されなくなってしまう。

つまり、フレームレートとフリッカ周波数が同期すると、フリッカ成分が動かないので、２フレーム間の差分低域データの差分をとっても、フリッカ成分をほとんど抽出できない。このため、フレームレートとフリッカ周波数とが同期するようになると、フリッカ検出が難しくなる。

このため、特許文献１に記載の仕組みでは、それを回避するために、フレームレートが若干（１％程度）遅くなった値または早くなった値になるよう、水平同期周期を長くまたは短くとるような操作をカメラ信号処理部２００で行ない、フリッカ成分を浮き上がらせるように対応している。

ところが、フレームレートは、放送規格との関係で、無制限に調整できるものではなく、商用電源周波数ｆがばらついた際には、放送規格を満足する範囲内でフレームレートを調整できるとは限らない事態が生きる。換言すれば、フリッカ成分が消えないようにフレームレートを調整したときには、調整後のフレームレートが放送規格を満たさないことが起こる。

結果的には、フレームレートが放送規格を満たす範囲でフレームレートとフリッカ周波数とが同期しないように調整せざるを得ず、この場合、フリッカ成分の浮き上がり量が小さくなってしまい、十分なフリッカ検出性能が得られないことが起こり得る。

そこで、第１実施形態では、このような事態に対処するため、フレームレートとフリッカ周波数とが同期しないようにフレームレートを調整するか否かに関わらず、先ず、フリッカ検知が適切であるか否か（フリッカを検出できたか否かやフリッカ周波数を特定できたか否か）を判断し、フリッカ検知が不適切であったときにおいて、Ｎビットのフリッカ検出積分値OPD1が消えてしまうような状況にあるときには、先ず、Ｎビットのフリッカ検出積分値OPD1の取得開始ビット位置（ＳＷ＠）を下位ビット側へずらしてやるのである。

フレームレートとフリッカ周波数とが同期に近い状態にあったために差分（フリッカ成分）が小さかったときには、下位側にずらしたときには差分が大きくなるので、フリッカ検知性能やフリッカ周波数の判定性能を向上させることができる。

つまり、第１実施形態のように、Ｎビットのフリッカ検出積分値OPD1の取得開始ビット位置（ＳＷ＠）を調整して差分低域データ幅を一定に保つようにすることで、フレームレートとフリッカ周波数が同期に近い状態となっても、フリッカの検出性能が向上し、フリッカ周波数の誤判定を改善することができる。

また、Ｍビットの輝度量測定結果データOPD0をそのままフリッカ検出積分値OPD1として取り扱うのではなく、その中の所定ビット位置からＮビット分をフリッカ検出積分値OPD1として取り出して扱うことで、大規模なハードウェア構成のレジスタは必要なく、ハードウェアの回路規模を削減することができる。

一方、下位側にずらしたときに、依然として、差分が小さければ、さらに同様に、取得開始ビット位置（ＳＷ＠）を下位ビット側にずらす。そして、最下位側にずらしてもフリッカ検出積分値OPD1が消えてしまうような状況にあるときには、本当に、フレームレートとフリッカ周波数とが同期していると判断し、非同期状態となるように、フレームレートを少し調整すればよい。

こうすることで、フレームレートとフリッカ周波数とが本当に同期している場合に限って、フレームレートを調整するようにでき、フレームレートの過度な調整を防止できる。放送規格を満たす範囲でフレームレートとフリッカ周波数とが同期しないように調整することができる。仮に、第１実施形態を適用しないと、フレームレートとフリッカ周波数とが同期に近い状態にあったために差分が小さかったときにも、フレームレートを調整することになり、過度な調整となってしまう可能性があるのと大きく異なる。

＜フリッカ検波部の構成例：第２実施形態＞
図１２および図１３は、フリッカ検波部の第２実施形態を説明する図ある。ここで、図１２は、第２実施形態のフリッカ検波部２７０の構成例を示すブロック図である。図１３は、第２実施形態のフリッカ検波部２７０がカメラ制御部９００に提示するフリッカ検波枠単位の輝度量の測定結果を説明する図である。

第２実施形態は、フリッカ検出性能向上化処理に供される下位側や上位側のフリッカ検出積分値を、フリッカ検出積分値OPD1とは別に取得するようにした点に特徴を有する。

このため、先ず第２実施形態のフリッカ検波部２７０は、図１２に示すように、輝度信号積分処理部２７４によって得られたＭ（たとえば２４）ビットの輝度量測定結果データOPD0の中から、上位側の予め定められたビット位置から下位側にＮ（Ｍ＞Ｎ：たとえば１２）ビット幅で（逆に言えば下位側の予め定められたビット位置から上位側にＮビット幅で）取り出してフリッカ検出積分値OPD1としてカメラ制御部９００に提示する第１の検波部の一例である検出積分値取得部２７７を有する。

第１実施形態の検出積分値取得部２７６では、カメラ制御部９００のフリッカ周波数判別プログラムによる指示の元で、任意の取得開始ビット位置を指定できるハードウェア構成のレジスタを備えた構成であったが、この第２実施形態の検出積分値取得部２７７は、取得開始ビット位置が固定である点に特徴を有する。

また、第２実施形態のフリッカ検波部２７０は、検出積分値取得部２７７で取得されるフリッカ検出積分値OPD1を補完するべく、Ｍビットの輝度量測定結果データOPD0の中から最下位側のＰ（Ｐ＜Ｍ）ビット分を取り出してフリッカ検出積分値OPD2_Lとしてカメラ制御部９００に提示する第３の検波部の一例である検出積分値取得部２７８と、Ｍビットの輝度量測定結果データOPD0の中から最上位側のＱ（Ｑ＜Ｍ）ビット分を取り出してフリッカ検出積分値OPD2_Mとしてカメラ制御部９００に提示する第２の検波部の一例である検出積分値取得部２７９を有している。

検出積分値取得部２７８の取出しビット幅Ｐや、検出積分値取得部２７９の取出しビット幅Ｑは、検出積分値取得部２７７が取り出すＮビットのフリッカ検出積分値OPD1とオーバーラップするようにしておくとよい。そして、その限りにおいて、たとえば、Ｎ＝Ｐ＝Ｑとする。

なお、Ｍビットの輝度量測定結果データOPD0をそのままフリッカ検出積分値OPD1_L，OPD1_Mとして取り扱うのではなく、その中の所定ビット位置からＰ，Ｑビット分をフリッカ検出積分値OPD1_L，OPD1_Mとして取り出して扱うことで、フリッカ検出積分値OPD1，OPD1_L，OPD1_Mの別に検出積分値取得部２７７，２７８，２７９を用意しなければならないものの、それぞれは大規模なハードウェア構成のレジスタは必要なく、ハードウェアの回路規模やソフトウェア規模を削減することができる。

たとえば、図１３に示すように、検出積分値取得部２７７は、２４ビットの輝度量測定結果データOPD0の中から、適当な初期取出し開始ビットからＮビット幅でフリッカ検出積分値OPD1として抽出する。この初期取出し開始ビットは、たとえば、使用する地域に応じて決めることができるようにしておくとよい。ここでは、一例として、２４ビットの輝度量測定結果データOPD0における、丁度真ん中当りの、６ビット目〜１７ビット目までをフリッカ検出積分値OPD1として抽出してカメラ制御部９００に提示するものとする。

また、検出積分値取得部２７８は、２４ビットの輝度量測定結果データOPD0の中から、０ビット目〜１２ビット目までをフリッカ検出積分値OPD1_Lとしてカメラ制御部９００に提示するものとする。また、検出積分値取得部２７９は、２４ビットの輝度量測定結果データOPD0の中から、１３ビット目〜２３ビット目までをフリッカ検出積分値OPD1_Mとしてカメラ制御部９００に提示するものとする。

ここで、検出積分値取得部２７８は、第１実施形態のフリッカ検出性能向上化処理において、取得開始ビット位置（ＳＷ＠）を下位ビット側にずらし、フリッカ成分の振れ幅が大きくなるようにする機能と同様の機能を果たすものである。

また、検出積分値取得部２７９は、第１実施形態のフリッカ検出性能向上化処理において、取得開始ビット位置（ＳＷ＠）を上位ビット側にずらしてフリッカ検出積分値OPD1が飽和しないようにする、あるいは、フリッカ成分の振れ幅が大きくなるようにする機能と同様の機能を果たすものである。

なお、本実施形態では、検出積分値取得部２７７と検出積分値取得部２７８の双方を備えた構成で示しているが、フリッカ成分が小さい場合にのみ着目して、検出積分値取得部２７８のみを設けるようにしてもよい。逆に、フリッカ検出積分値OPD1やフリッカ成分が大きい場合にのみ着目して、検出積分値取得部２７９のみを設けるようにしてもよい。

＜フリッカ検出性能向上化処理：第２実施形態＞
図１４は、フリッカ検出性能向上化処理の第２実施形態の処理手順を示したフローチャートである。ここでは、図１４に示す第１実施形態の処理手順に対する変形例で示す。なお、第２実施形態の処理ステップは２００番台で示し、第１実施形態と同様もしくは対応する処理ステップには、第１実施形態と同じ１０番台と１番台の番号を付して示す。以下、第１実施形態との相違点を中心に説明する。

第２実施形態のフリッカ検出性能向上化処理においては、図１４に示すように、フリッカ検出積分値OPD1の最大値が所定の閾値よりも大きいときには（Ｓ２０６−ＹＥＳ）、フリッカ周波数判別プログラムは、検出積分値取得部２７９によってＭビットの輝度量測定結果データOPD0のより上位側から取得されるＱビット幅のフリッカ検出積分値OPD1_Mを参照するようにする（Ｓ２１８）。このことは、露光条件が明るくて、大きな輝度データが得られる状況にある場合において、フリッカ検出積分値OPD1が飽和するようなケースでは、Ｍビットの輝度量測定結果データOPD0のより上位側から取得されるフリッカ検出積分値OPD1_Mを参照することを意味している。

つまり、全フリッカ検波枠についてのフリッカ検出積分値OPD1の最大値がある閾値よりも大きい場合は、全体として差分低域データの値が大きい状態にあると判断し、取得開始ビット位置（ＳＷ＠）を上位ビット側にずらした状態の、相対的に差分低域データを小さくできるフリッカ検出積分値OPD1_Mをフリッカ検知処理に参照するのである。

これによって、露光条件が明るい場合においてＮビットのフリッカ検出積分値OPD1が飽和してしまうような場合に、上位側にずらした状態のフリッカ検出積分値OPD1_Mを参照することで、過飽和によって光源フリッカの抑制性能が低下する事態を防止する。

このことから分かるように、検出積分値取得部２７９は、露光条件が明るい場合においてＮビットのフリッカ検出積分値OPD1が飽和してしまうような場合に、上位側にずらした状態で取得されるフリッカ検出積分値OPD1_Mを参照することで、過飽和によって光源フリッカの抑制性能が低下する事態を防止する機能を果たすのである。

また、フリッカ検出積分値OPD1から取得される差分低域データ幅の絶対値が所定の閾値よりも大きく、かつ、差分低域データ幅の極性が「正」である場合において（Ｓ２１４−正）、図９に示すように、差分低域データ幅が振れ幅上限値より大きい場合は（Ｓ２１６−上限値より大）、フリッカ周波数判別プログラムは、検出積分値取得部２７９によってＭビットの輝度量測定結果データOPD0のより上位側から取得されるＱビット幅のフリッカ検出積分値OPD1_Mを参照するようにする（Ｓ２１８）。

つまり、差分低域データ幅が振れ幅上限値より大きいときには、取得開始ビット位置（ＳＷ＠）を上位ビット側にずらしたフリッカ検出積分値OPD1_Mを参照することで、相対的に小さくなった差分（フリッカ成分）を利用できるようにするのである。

このことから分かるように、ステップＳ３にて抽出されたフリッカ成分が過大であるためにステップＳ４，Ｓ５にて適切にフリッカ周波数を特定できない場合に、Ｎビットのフリッカ検出積分値OPD1の取得開始ビット位置（ＳＷ＠）を上位ビット側にずらした状態で取得される、フリッカ検出積分値OPD1に対して相対的に小さなフリッカ検出積分値OPD1_Mを参照できるようにして、フリッカ検出積分値OPD1_Mの２フレーム分の差分で得られる相対的に小さなフリッカ成分も参照できるようにするのである。

つまり、検出積分値取得部２７９は、明るい場合においてフリッカ成分の振れ幅（具体的には、差分低域データ幅）が大きくなるような場合に、上位側にずらした状態で取得されるフリッカ検出積分値OPD1_Mを参照することで、非同期時に抽出されるフリッカ成分（差分データ）が飽和しない程度の大きさとなる（換言すればスケールを大きくし過ぎない）フリッカ検出積分値OPD1_Mに基づいて、ステップＳ４，Ｓ５での周波数判定性能を向上させる機能を果たすのである。

また、差分低域データ幅の絶対値が所定の閾値よりも大きく、かつ、差分低域データ幅の極性が「正」である場合において（Ｓ２１４−正）、図１０に示すように、差分低域データ幅が振れ幅下限値より小さい場合は（Ｓ２１６−下限値より小）、フリッカ周波数判別プログラムは、取得開始ビット位置（ＳＷ＠）を下位ビット側にずらした状態の検出積分値取得部２７８によってＭビットの輝度量測定結果データOPD0のより下位側から取得されるＰビット幅のフリッカ検出積分値OPD1_Lを参照するようにする（Ｓ２２０）。

つまり、差分低域データ幅が振れ幅下限値より小さいときには、取得開始ビット位置（ＳＷ＠）を下位ビット側にずらしたフリッカ検出積分値OPD1_Lを参照することで、相対的に大きくなった差分（フリッカ成分）を利用できるようにするのである。

このことから分かるように、ステップＳ３にて抽出されたフリッカ成分が過小であるためにステップＳ４，Ｓ５にて適切にフリッカ周波数を特定できない場合に、Ｎビットのフリッカ検出積分値OPD1の取得開始ビット位置（ＳＷ＠）を下位ビット側にずらした状態で取得される、フリッカ検出積分値OPD1に対して相対的に大きなフリッカ検出積分値OPD1_Lを参照できるようにして、フリッカ検出積分値OPD1_Lの２フレーム分の差分で得られる相対的に大きなフリッカ成分も参照できるようにするのである。

このことから分かるように、検出積分値取得部２７８は、暗い場合においてフリッカ検出積分値OPD1に基づいて抽出されたフリッカ成分の振れ幅が過小であるためにステップＳ４，Ｓ５にて適切にフリッカ周波数を特定できない場合に、フリッカ検出積分値OPD1に対して相対的に大きなフリッカ検出積分値OPD1_Lを参照することで、ステップＳ４，Ｓ５での周波数判定性能を向上させる機能を果たすのである。

以上のことから分かるように、第２実施形態の仕組みにおいても、第１実施形態と同様の効果を享受できることが分かる。なお、第１実施形態の仕組みでは、カメラ制御部９００のフリッカ周波数判別プログラムによる指示の元で、任意の取得開始ビット位置を指定できるハードウェア構成のレジスタを備えた検出積分値取得部２７６でフリッカ検出積分値OPD1を取得するようにしているので、フリッカ検出積分値OPD1，OPD1_L，OPD1_Lの別に各別の検出積分値取得部２７７，２７８，２７９を用意する第２実施形態の構成に比べて、回路規模を小さくできる利点がある。

一方、第１実施形態の仕組みでは、検出積分値取得部２７６で取得されるフリッカ検出積分値OPD1や、これに基づくフリッカ成分が適正範囲にないときには、取得開始位置ＳＷ＠をずらしてフリッカ検出処理（Ｓ１〜Ｓ５）を実施し直す必要があり、場合によっては、この処理を何度か繰り返す必要があるので、高精度な処理が期待できるものの、処理時間が長くなってしまうことも起こり得る。

これに対して、第２実施形態の仕組みでは、検出積分値取得部２７７で取得されるフリッカ検出積分値OPD1や、これに基づくフリッカ成分が適正範囲にないときには、予め別に用意されている検出積分値取得部２７８，２７９によって取得されるフリッカ検出積分値OPD1_L，MOPD1_Mやこれらに基づくフリッカ成分を直ちに参照できるので、処理時間が第１実施形態よりも短くて済むと考えられる。

＜撮像装置＞
図１５は、前述の固体撮像装置１と同様の仕組みを利用した物理情報取得装置の一例である撮像装置の概略構成を示す図である。この撮像装置８は、可視光カラー画像を得る撮像装置になっている。

前述した固体撮像装置１の仕組みは固体撮像装置のみではなく、撮像装置にも適用可能である。この場合、撮像装置としても、検出積分値取得部２７６，２７７で取得されるフリッカ検出積分値OPD1やこれに基づくフリッカ成分が適正範囲にないときには、取得開始位置ＳＷ＠をずらした状態のフリッカ検出積分値OPD1（第１実施形態の場合）やフリッカ検出積分値OPD1_L，OPD1_M（第２実施形態の場合）を参照することで、フリッカ検出処理性能を向上させることができる。

特に、前述の説明から分かるように、フリッカ検出処理性能は、露光条件や、フレームレートと電源周波数との関係（特に同期状態に近いか否か）に左右されるので、露光条件やフレームレートを制御する機能部分との関係が重要になる。

具体的には、撮像装置８は、蛍光灯などの照明装置８０１の下にある被写体Ｚの像を担持する光Ｌを撮像装置側に導光して結像させる撮影レンズ８０２と、光学ローパスフィルタ８０４と、たとえばＲ，Ｇ，Ｂの色フィルタがベイヤ配列とされている色フィルタ群８１２、および画素アレイ部１０と、画素アレイ部１０を駆動する駆動制御部７と、画素アレイ部１０から出力された撮像信号を処理するカメラ信号処理部８１０とを備えている。

光学ローパスフィルタ８０４は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。また、図中に点線で示しように、光学ローパスフィルタ８０４と合わせて、赤外光成分を低減させる赤外光カットフィルタ８０５を設けることもできる。この点は、一般的な撮像装置と同様である。

カメラ信号処理部８１０は、先ず、固体撮像装置１のカメラ信号処理部２００と同様に、撮像信号処理部２２０を有している。また、カメラ信号処理部８１０は、固体撮像装置１と同様に、カメラ制御部９００を有している。ここで、撮像装置８におけるカメラ制御部９００としては、マイクロプロセッサ９０２には、フリッカ周波数判別プログラムの他に、露光制御用のプログラムも組み込まれて、露光条件を制御する露光条件制御部としても機能するようになっている。

ここで、電子計算機の中枢をなすマイクロプロセッサ９０２を露光条件を制御する露光条件制御部として機能させるための露光制御用のプログラムとしては、フリッカ周波数判別プログラムによって特定されたフリッカ周波数を参照して電子シャッタを制御することで、フリッカ抑制を行なう点に特徴を有する。つまり、本実施形態のフリッカ抑制手法としては、駆動制御部７に、フリッカ周波数と同期したタイミングの電子シャッタタイミングを設定し、固体撮像装置のシャッタモードを光源の点滅周期に応じて切り替える方法を採ることで実現する。

具体的には、特定されたフリッカ周波数と完全に同期した電子シャッタを切る。たとえば、ＮＴＳＣ方式仕様の５０Ｈｚ電源地域では電子シャッタ速度を１／１００秒とする。電子シャッタ速度１／１００秒が蛍光灯点滅周期１／１００秒と同期するので、電子シャッタ動作の位相と蛍光灯点滅の位相がどのようにずれていても、固定された電子シャッタ速度である１／１００秒の間に画素アレイ部１０に入射される光量が一定に保たれ、光源フリッカ（輝度フリッカおよび色フリッカともに）が生じないようになる。

ただし、この場合は、光源フリッカを防止できても、電子シャッタを利用した露光制御は不可能となってしまう。このため、被写体照度が高い側では、照度上昇に伴って画素アレイ部１０が電子的に飽和することがある。あるいは、画素アレイ部１０が飽和しなくても、後段の信号処理系が飽和することもある。これら場合、画像輝度が増大し、画像が白っぽく潰れてしまう。

この対策としては、たとえばメカアイリスと組み合わせることで、光源フリッカを防止しつつ画像潰れが生じないように露光制御する仕組みを適用するとよい。
ただし、今日では、撮像装置本体のローコスト化のために、メカニカルな絞り機構（メカアイリス）を取り除き、電子シャッタ機能だけで露光制御を行なうように構成することが多い。このような露光制御を電子アイリスという。

このようなメカアイリス機構を持たず電子アイリスにより露光制御する仕組みを採る場合は、フリッカ周波数と同期したタイミングの電子シャッタタイミングを設定することで光源フリッカを防止させたときに、画素アレイ部１０が飽和しない限りにおいて、被写体照度の変動にかかわりなく画像輝度を一定にするために、画素アレイ部１０から出力された信号に対しての自動利得制御を適用するようにしてもよい。

また、カメラ制御部９００は、メモリカードなどの記録媒体９２４を挿脱可能に構成し、またインターネットなどの通信網との接続が可能に構成している。たとえば、カメラ制御部９００は、マイクロプロセッサ９０２、ＲＯＭ９０４、およびＲＡＭ９０６の他に、メモリ読出部９０７および通信Ｉ／Ｆ（インタフェース）９０８を備える。

記録媒体９２４は、たとえば、マイクロプロセッサ９０２にソフトウェア処理をさせるためのプログラムデータや、輝度信号処理部２４０からの輝度系信号に基づく測光データＤＬの収束範囲、フリッカ処理や露光制御処理（電子シャッタ制御を含む）における各種の設定値などのデータを登録するなどのために利用される。

メモリ読出部９０７は、記録媒体９２４から読み出したデータをＲＡＭ９０６に格納（インストール）する。通信Ｉ／Ｆ９０８は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。

なお、このような撮像装置８は、駆動制御部７およびカラム処理部２６を、画素アレイ部１０と別体にしてモジュール状のもので示しているが、固体撮像装置１について述べたように、これらが画素アレイ部１０と同一の半導体基板上に一体的に形成されたワンチップものの固体撮像装置１を利用してもよいのは言うまでもない。

また、図では、画素アレイ部１０や駆動制御部７や画素信号処理部２６やカメラ信号処理部８１０の他に、撮影レンズ８０２、光学ローパスフィルタ８０４、あるいは赤外光カットフィルタ８０５などの光学系をも含む状態で、撮像装置８を示しており、この態様は、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態とする場合に好適である。

ここで、前述の固体撮像装置１におけるモジュールとの関係においては、図示のように、画素アレイ部１０（撮像部）と、ＡＤ変換機能や差分（ＣＤＳ）処理機能を具備したカラム処理部２６などの画素アレイ部１０側と密接に関連した信号処理部（画素信号処理部２６の後段のカメラ信号処理部は除く）が纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置１を提供するようにし、そのモジュール状の形態で提供された固体撮像装置１の後段に、残りの信号処理部であるカメラ信号処理部８１０を設けて撮像装置８の全体を構成するようにしてもよい。

または、図示を割愛するが、画素アレイ部１０（撮像部）と撮影レンズ８０２などの光学系とが纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置１を提供するようにし、そのモジュール状の形態で提供された固体撮像装置１に加えて、カメラ信号処理部８１０をもモジュール内に設けて、撮像装置８の全体を構成するようにしてもよい。

また、固体撮像装置１におけるモジュールの形態として、カメラ信号処理部２００に相当するカメラ信号処理部８１０を含めてもよく、この場合には、事実上、固体撮像装置１と撮像装置８とが同一のものと見なすこともできる。

このような撮像装置８は、「撮像」を行なうための、たとえば、カメラや撮像機能を有する携帯機器として提供される。なお、「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出なども含むものである。

このような構成の撮像装置８においては、前述の固体撮像装置１の全ての機能を包含して構成されており、前述の固体撮像装置１の基本的な構成および動作と同様とすることができ、フリッカ検出処理性能を向上させることができる。

たとえば、上述した処理をコンピュータに実行させるプログラムは、フラッシュメモリ、ＩＣカード、あるいはミニチュアーカードなどの不揮発性の半導体メモリカードなどの記録媒体９２４を通じて配布される。さらに、サーバなどからインターネットなどの通信網を経由して前記プログラムをダウンロードして取得したり、あるいは更新してもよい。

記録媒体９２４の一例としてのＩＣカードやミニチュアーカードなどの半導体メモリには、上記実施形態で説明した固体撮像装置１（特にフリッカ処理に関わる機能）における処理の一部または全ての機能を格納することができる。したがって、プログラムや当該プログラムを格納した記憶媒体を提供することができる。たとえば、フリッカ処理用のプログラム、すなわちＲＡＭ９０６などにインストールされるソフトウェアは、固体撮像装置１について説明したフリッカ処理と同様に、輝度データの測光と積分処理、あるいはこの輝度データに基づくフリッカ成分の抽出並びにフリッカ周波数の判別・確定などの各機能部をソフトウェアとして備える。

同様に、露光制御用のプログラム、すなわちＲＡＭ９０６などにインストールされる露光制御用のソフトウェアも、測光データＤＬを受け取り、測光データＤＬが一定レベルに保持され、かつ蛍光灯照明下においてもフリッカが生じないように電子シャッタ速度を制御し、また必要に応じてフリッカ周波数判別プログラムとの連携によりフレームレートを制御するなどの各機能部をソフトウェアとして備える。

ソフトウェアは、ＲＡＭ９０６に読み出された後にマイクロプロセッサ９０２により実行される。たとえばマイクロプロセッサ９０２は、記録媒体の一例であるＲＯＭ９０４およびＲＡＭ９０６に格納されたプログラムに基づいて露光制御処理や前述のフリッカ処理を実行することにより、上記処理を実行するための機能をソフトウェア的に実現することができる。すなわち、コンピュ−タを用いたデジタル信号処理によって、露光制御処理やフリッカ処理を実現することができる。

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

たとえば、前記説明では、ステップＳ３〜Ｓ５やステップＳ１０２〜Ｓ１２０やＳ２０２〜Ｓ２２０のソフトウェアで実現されている部分を、総称して「フリッカ周波数判別プログラム」と呼んでいる。また、フリッカ検波部２７０が実施するステップＳ１の処理を含めた形態で「フリッカ周波数判別プログラム」を実現することもできる。もちろん、逆に、ステップＳ３〜Ｓ５やステップＳ１０２〜Ｓ１２０やＳ２０２〜Ｓ２２０のフリッカ周波数判別プログラムで実現されている部分を、ハードウェア回路で構成されたカメラ制御部９００にて実施するようにしてもよい。

本発明に係る固体撮像装置の一実施形態であるＣＭＯＳ固体撮像装置の概略構成図である。 第１実施形態のフリッカ検波部の構成例を示すブロック図である。 第１実施形態のフリッカ検波部がカメラ制御部に提示するフリッカ検波枠単位の輝度量の測定結果を説明する図である。 フリッカ検出処理の処理手順の一例を示すフローチャートである。 フリッカ発生と、フリッカ検出処理におけるフリッカ検波部が実行する輝度量の測定処理に用いられるフリッカ検出枠との関係を説明する図である。 フリッカ検出の原理を説明する図である。 フリッカ検出性能向上化処理の第１実施形態の処理手順を示したフローチャートである。 Ｍビットの輝度量測定結果データから取り出されたＮビットのフリッカ検出積分値の振れ幅を説明する図である。 フリッカ検出積分値もしくはその差分低域データが異常である場合の一例を示した図である。 フリッカ成分の振れ幅が大き過ぎる場合の対処方法を説明する図である。 フリッカ成分の振れ幅が小さ過ぎる場合の対処方法を説明する図である。 第２実施形態のフリッカ検波部の構成例を示すブロック図である。 第２実施形態のフリッカ検波部がカメラ制御部に提示するフリッカ検波枠単位の輝度量の測定結果を説明する図である。 フリッカ検出性能向上化処理の第２実施形態の処理手順を示したフローチャートである。 撮像装置の概略構成を示す図である。

符号の説明

１…固体撮像装置、１０…画素アレイ部、２００…カメラ信号処理部、２２０…撮像信号処理部、２２２…信号分離部、２３０…色信号処理部、２４０…輝度信号処理部、２６…画素信号処理部、２６０…エンコーダ部、２７０…フリッカ検波部、２７２…フリッカ検波枠設定部、２７４…輝度信号積分処理部、２７６…検出積分値取得部、２７７…検出積分値取得部、２７８…検出積分値取得部、２７９…検出積分値取得部、２８０…データ修正部、７…駆動制御部、８…撮像装置、９００…カメラ制御部、９０２…マイクロプロセッサ、９０４…ＲＯＭ、９０６…ＲＡＭ

Claims (13)

1. 画素アレイ部で取得される画素信号によって表わされる画像を所定の走査方向に分割して複数のフリッカ検波枠を設定し、前記フリッカ検波枠ごとにＭビットの輝度データを検波する輝度データ検波部と、
   前記輝度データ検波部で検波されたＭビットの輝度データのうち、下位ビット側の輝度データを参照してフリッカ成分の周波数を特定するフリッカ周波数特定部と
   を備えたことを特徴とする固体撮像装置。
2. 画素アレイ部で取得される画素信号によって表わされる画像を所定の走査方向に分割して複数のフリッカ検波枠を設定し、前記フリッカ検波枠ごとにＭビットの輝度データを検波する輝度データ検波部と、
   前記輝度データ検波部で検波されたＭビットの輝度データのうち、上位ビット側の輝度データを参照してフリッカ成分の周波数を特定するフリッカ周波数特定部と
   を備えたことを特徴とする固体撮像装置。
3. 前記フリッカ周波数特定部は、前記輝度データ検波部で検波されたＭビットの輝度データのうち、下位ビット側の輝度データも参照してフリッカ成分の周波数を特定可能に構成されている
   ことを特徴とする請求項２に記載の固体撮像装置。
4. 前記輝度データ検波部は、前記フリッカ周波数特定部による制御の元で、前記Ｍビットの輝度データの中から任意の取出し開始位置から所定ビット幅でデータを取り出してフリッカ周波数特定部に供給可能に構成されており、
   前記フリッカ周波数特定部は、前記輝度データ検波部から供給されたデータが所定の閾値より大きいときには、前記Ｍビットの輝度データのうち、より上位側のビットデータを取り出すように前記輝度データ検波部を制御する
   ことを特徴とする請求項２または３に記載の固体撮像装置。
5. 前記輝度データ検波部は、前記フリッカ周波数特定部による制御の元で、前記Ｍビットの輝度データの中から任意の取出し開始位置から所定ビット幅でデータを取り出してフリッカ周波数特定部に供給可能に構成されており、
   前記フリッカ周波数特定部は、前記輝度データ検波部から供給されたデータが所定の閾値より小さく、かつ、２フレーム間のデータの差で表わされるフリッカ成分のデータ幅が所定の上限値よりも大きいときには、前記Ｍビットの輝度データのうち、より上位側のビットデータを取り出すように前記輝度データ検波部を制御する
   ことを特徴とする請求項２または３に記載の固体撮像装置。
6. 前記輝度データ検波部は、前記フリッカ周波数特定部による制御の元で、前記Ｍビットの輝度データの中から任意の取出し開始位置から所定ビット幅でデータを取り出してフリッカ周波数特定部に供給可能に構成されており、
   前記フリッカ周波数特定部は、前記輝度データ検波部から供給されたデータが所定の閾値より小さく、かつ、２フレーム間のデータの差で表わされるフリッカ成分のデータ幅が所定の下限値よりも小さいときには、前記Ｍビットの輝度データのうち、より下位側のビットデータを取り出すように前記輝度データ検波部を制御する
   ことを特徴とする請求項１または３に記載の固体撮像装置。
7. 前記輝度データ検波部は、前記Ｍビットの輝度データにおける所定ビット位置から所定ビット幅でデータを取り出して前記フリッカ周波数特定部に供給する第１の検波部と、前記第１の検波部よりも前記Ｍビットの輝度データの上位ビット部分から所定ビット幅でデータを取り出して前記フリッカ周波数特定部に供給する第２の検波部とを有し、
   前記フリッカ周波数特定部は、前記第１の検波部から供給されたデータが所定の閾値より大きいときには、前記第２の検波部から供給されたデータを参照してフリッカ成分の周波数を特定する
   ことを特徴とする請求項２または３に記載の固体撮像装置。
8. 前記輝度データ検波部は、前記Ｍビットの輝度データにおける所定ビット位置から所定ビット幅でデータを取り出して前記フリッカ周波数特定部に供給する第１の検波部と、前記第１の検波部よりも前記Ｍビットの輝度データの上位ビット部分から所定ビット幅でデータを取り出して前記フリッカ周波数特定部に供給する第２の検波部とを有し、
   前記フリッカ周波数特定部は、前記第１の検波部から供給されたデータが所定の閾値より小さく、かつ、２フレーム間のデータの差で表わされるフリッカ成分のデータ幅が所定の上限値よりも大きいときには、前記第２の検波部から供給されたデータを参照してフリッカ成分の周波数を特定する
   ことを特徴とする請求項２または３に記載の固体撮像装置。
9. 前記輝度データ検波部は、前記Ｍビットの輝度データにおける所定ビット位置から所定ビット幅でデータを取り出して前記フリッカ周波数特定部に供給する第１の検波部と、前記第１の検波部よりも前記Ｍビットの輝度データの下位ビット部分から所定ビット幅でデータを取り出して前記フリッカ周波数特定部に供給する第３の検波部とを有し、
   前記フリッカ周波数特定部は、前記第１の検波部から供給されたデータが所定の閾値より小さく、かつ、２フレーム間のデータの差で表わされるフリッカ成分のデータ幅が所定の下限値よりも小さいときには、前記第３の検波部から供給されたデータを参照してフリッカ成分の周波数を特定する
   ことを特徴とする請求項１または３に記載の固体撮像装置。
10. 露光条件を制御する露光条件制御部と、
    前記露光条件制御部による制御の元で画素アレイ部で取得される画素信号によって表わされる画像を所定の走査方向に分割して複数のフリッカ検波枠を設定し、前記フリッカ検波枠ごとにＭビットの輝度データを検波する輝度データ検波部と、
    前記輝度データ検波部で検波されたＭビットの輝度データのうち、下位ビット側の輝度データおよび／または上位ビット側の輝度データを参照してフリッカ成分の周波数を特定するフリッカ周波数特定部と
    を備えたことを特徴とする撮像装置。
11. 前記露光条件制御部は、前記フリッカ周波数特定部によって特定されたフリッカ成分の周波数に基づいて、前記フリッカ成分が抑制されるように前記画素アレイ部における電子シャッタ速度を制御する
    ことを特徴とする請求項１０に記載の撮像装置。
12. 画素アレイ部で取得される画素信号によって表わされる画像を所定の走査方向に分割した複数のフリッカ検波枠ごとに得られるＭビットの輝度データのうち、下位ビット側の輝度データおよび／または上位ビット側の輝度データを参照してフリッカ成分の周波数を特定するフリッカ周波数特定部と
    して電子計算機を機能させることを特徴とするプログラム。
13. 前記フリッカ周波数特定部によって特定されたフリッカ成分の周波数に基づいて、前記フリッカ成分が抑制されるように前記画素アレイ部における電子シャッタ速度を制御する露光条件制御部と
    して電子計算機を機能させることを特徴とする請求項１２に記載のプログラム。