JP2014003548A - 撮像装置 - Google Patents

Abstract

【課題】フリッカを防止すると共に、そのフリッカ防止のための装置設定にユーザの意志を反映させて、ユーザ所望の映像を撮像可能な撮像装置を提供する。
【解決手段】被写体像を結像する光学系１１と、該光学系によって結像した被写体の光像を光電変換して画像信号を生成する撮像素子１２と、を含む撮像部１０と、画像信号に画像処理を施す画像処理部１６と、少なくとも表示及び設定機能を備える表示部／操作部１９と、被写体の輝度の変化を検出する輝度変化検出部２０と、輝度変化検出部２０で獲得した輝度変化情報について信号強度に基づく周波数毎のフリッカ量を算出する信号処理部１７と、を備え、制御部３１により、信号処理部１７で算出された周波数毎のフリッカ量を表示部／操作部１９に表示する。
【選択図】図１

Description

本発明は、フリッカを防止する撮像装置に関する。

被写体を撮像する撮像装置においては、フリッカによる影響を抑制するための種々の技法が検討されている。ここでいうフリッカは、交流点灯照明などに存在するちらつき現象である。例えば、一般的な蛍光灯では、電源周波数の２倍の周波数で点滅を繰り返しており、５０［Ｈｚ］の交流電源の場合には、光源の点滅周波数は１００［Ｈｚ］、点滅周期は１／１００［秒］、また６０［Ｈｚ］の交流電源の場合には、光源の点滅周波数は１２０［Ｈｚ］、点滅周期は１／１２０［秒］となる。点滅周波数は通常、肉眼で捉えられないほど高速であるが、撮像装置を用いて、光源により照明された被写体を点滅周期より高速なシャッター速度で撮像した場合には、フリッカとして認識されるようになる。

これに対し、撮像装置のシャッター速度を光源の点滅周期の倍数とすることで、撮像時のフリッカを防ぐ方法が公知であり、広く製品に適用されている。すなわち、一般的な蛍光灯の場合、電源周波数が５０［Ｈｚ］の場合は光源の点滅周期は１／１００［秒］であるので、シャッター速度を１／１００［秒］または１／５０［秒］とする。また、電源周波数が６０［Ｈｚの場合は光源の点滅周期は１／１２０［秒］であるので、シャッター速度を１／１２０［秒］または１／６０［秒］とする。

また、従来技法としては、例えば、特許文献１では、スリット露光時（連写モード時を含む）に、被写体光の輝度を測定してフリッカ周期とフリッカ位相を算出し、これらに基づき露光開始タイミングと被写体輝度が最も高くなるタイミングとを同期させて、フリッカの影響を極力少なくする技法が提案されている。

また、特許文献２では、被写体の明るさが最大となるタイミングとフリッカ周期とを検出し、明るさが最大となるタイミングが撮像素子による１フレームの露光期間の略中央に一致するように、且つフレーム周期がフリッカ周期と等しくなるように、撮像素子からの画像信号の読み出しを制御して、シェーディングを抑制した技法が提案されている。

特開２０１０−７４４８４号公報 特開２００９−７７０５７号公報

前記したように、光源の点滅周期、即ち電源周波数が周知であり、且つ一般的な蛍光灯のように光源周波数が電源周波数の倍数であることが周知である場合には、シャッター速度を光源点滅周期の倍数とすることでフリッカを防ぐことができる。また、光源周波数（電源周波数）が周知でない場合には、特許文献１または特許文献２のように、フリッカ周期やフリッカ位相を検出することで対処可能である。

しかしながら、被写体が異なる光源周波数を持つ複数の光源によって照明されている場合には、前記各種技法によってフリッカを防ぐことができない。例えば、被写体が１００［Ｈｚ］の光源周波数の蛍光灯と１２０［Ｈｚ］の光源周波数の蛍光灯で照明されている場合がある。この場合、撮像装置のシャッター速度を１／１００［秒］としたときには１２０［Ｈｚ］のフリッカが、またシャッター速度を１／１２０［秒］としたときには１／１００［Ｈｚ］のフリッカが、それぞれ認識されることとなる。

この場合、シャッター速度を長くしていき、複数の光源で共通となる点滅周期の倍数、ここでは１／２０［秒］とすることで、フリッカを防ぐことが可能である。しかしながら、シャッター速度を長くしたことによって、動く被写体に残像が生じたり、露光時間の増加により映像が明るくなったりして、ユーザ所望の映像が得られないという事情があった。

本発明は、以上のような事情に鑑みてなされたものであって、フリッカを防止すると共に、そのフリッカ防止のための装置設定にユーザの意志を反映させて、ユーザ所望の映像を撮像可能な撮像装置を提供することを目的としている。

上記課題を解決するため、本発明は、被写体像を結像する光学系と、該光学系によって結像した被写体の光像を光電変換して画像信号を生成する撮像素子と、を含む撮像部と、前記画像信号に画像処理を施す画像処理部と、少なくとも表示及び設定機能を備えるユーザインタフェース手段と、前記被写体の輝度の変化を検出する輝度変化検出手段と、前記輝度変化検出手段で獲得した輝度変化情報について信号強度に基づく周波数毎のフリッカ量を算出する信号処理手段と、前記信号処理手段で算出された周波数毎のフリッカ量を前記ユーザインタフェース手段に表示する制御手段と、を備えることを特徴とする。

本発明により、フリッカを防止すると共に、そのフリッカ防止のための装置設定にユーザの意志を反映させて、ユーザ所望の映像を撮像可能な撮像装置を実現することができる。

本発明の第１実施形態に係る撮像装置の構成図である。 フリッカ調整の手順を説明するフローチャートである。 フリッカ調整時の表示画面を例示する説明図であり、（ａ）は自動設定時であり、（ｂ）はユーザの任意設定時である。 フリッカ調整のモード別の手順を説明するフローチャート（その１：常時調整モード）である。 フリッカ調整のモード別の手順を説明するフローチャート（その２：定期調整モード）である。 本発明の第３実施形態に係る撮像装置の構成図である。

以下、本発明の撮像装置の実施形態について、第１実施形態、第２実施形態、第３実施形態の順に図面を参照して詳細に説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

〔第１実施形態〕
図１は本発明の第１実施形態に係る撮像装置の構成図である。同図において、本実施形態の撮像装置１は、光学系１１、撮像素子１２及び光学系制御部３２を含む撮像部１０と、ＣＤＳ１３と、アナログＡＧＣ１４と、ＡＤＣ１５と、画像処理部１６と、表示部／操作部（ユーザインタフェース手段）１９と、輝度変化検出部２０と、制御部３１と、を備えている。

光学系１１は、撮像レンズ等を含んで被写体像を結像するレンズ系と、メカニカルな絞り機構（メカアイリス）と、メカニカルなシャッター機構（メカシャッター）と、を備えている。また、光学系制御部３２は、制御部３１の制御指示に応じて光学系１１を制御する。光学系制御部３２は、レンズ系を制御するレンズ制御部と、メカアイリスを制御するアイリス制御部と、メカシャッターを制御するシャッター制御部と、を備えている。なお、光学系１１は、撮像装置１本体に内蔵若しくは着脱・交換可能に構成されている。

また、撮像素子１２は、光学系１１によって結像した被写体の光学像を光電変換して画像信号を生成する。撮像素子１２としては、例えばＣＣＤ（Charge Coupled Device）撮像素子、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)型撮像素子などの固体撮像素子が用いられる。なお、図示しないが、制御部３１からの制御指示に基づき駆動パルスを生成して撮像素子１２を動作させる駆動回路を備えている。すなわち、撮像部１０は、光学系１１、撮像素子１２、光学系制御部３２及び駆動回路を備えた構成となる。

ここで、撮像素子１２による電子シャッターの機能について簡単に説明しておく。電子シャッターは、撮像素子１２のセンサ部において信号電荷（光電荷）を読み出す所定期間だけ電荷を蓄積し、それ以前の信号電荷を別の場所（例えば基板）に掃き出すことで実現される。例えば、あるタイミング（露光タイミング）でそれ以前にセンサ部に蓄積された信号電荷を例えば基板に掃き出すために基板にシャッターパルスを印加し、垂直同期信号に同期したタイミングで信号電荷をセンサ部から垂直転送レジスタに読み出す。この露光タイミングから読み出しタイミングまでの期間が露光時間であり、シャッター速度となる。すなわち、この場合には、ユーザのレリーズ釦の半押しまたは全押しに応じてシャッターパルスが印加され（露光タイミング）、該露光タイミングから読み出しタイミングまでの期間がシャッター速度となる。

なお、シャッター速度（露光時間）は、撮像部１０の構成によって規定の仕方が異なり、露光時間の規定の仕方には大まかに以下の３つがある。第１に、銀塩カメラと同様にメカシャッターの開閉によって撮像素子への入射光が当たる時間を露光時間とするもの。第２に、電荷をリセットした時点から読み出し時点までの時間を露光時間とするもの（前記規定はこれに含まれる）。第３に、露出の開始を電荷のリセット時点として露出の終了をメカシャッターの閉時点とするもの。本発明の適用は撮像部１０の構成に限定されることなく、従って、シャッター速度（露光時間）も前記の規定の仕方に限定されることなく、撮像部１０の構成に応じたシャッター速度（露光時間）の規定の仕方であって良い。

また、ＣＤＳ１３は、いわゆる相関二重サンプリング部（Correlated Double Sampling）であり、撮像素子１２からの間欠的な撮像信号を連続的な撮像信号に変換すると共に、ノイズ（リセットノイズ等）の除去を行う。

また、アナログＡＧＣ１４は、自動利得制御（Auto Gain Control）手段であり、ＣＤＳ１３からのアナログ撮像信号の信号レベルを、制御部３１の指示に基づき所定レベルに調整する。

また、ＡＤＣ１５は、アナログ−ディジタル変換（Analog-Digital Converter）回路であり、アナログＡＧＣ１４で利得制御されたアナログ撮像信号をディジタル撮像信号に変換して画像処理部１６に供給する。なお、ＣＤＳ１３、アナログＡＧＣ１４及びＡＤＣ１５を総称してＡＦＥ（Analog Front End）と称す。

また、輝度変化検出部２０は、例えば照度センサ等で具現され、被写体の輝度の変化を検出する。輝度変化検出部２０により検出した被写体輝度変化情報は、画像処理部１６の信号処理部１７に送られる。

また、画像処理部１６は、信号処理部（信号処理手段）１７及びメモリ１８を備え、前記ＡＦＥを通してアナログ信号処理が施され、ディジタル信号に変換された画像信号に対して各種の信号処理を施す。また、メモリ１８は、各種の信号処理を施した後の画像データを保持する他、後記するプロセッサ上で実行されるプログラムや、各種信号処理で用いるパラメータなどが保持されている。

信号処理部１７は、例えばＤＳＰ（Digital Signal Processor）等のプロセッサで実現され、輪郭補正、ガンマ補正等の各種補正処理やノイズ除去処理など（これらを総称して各種信号処理と称す）を行う。さらに信号処理部１７は、本実施形態では、特に、輝度変化検出部２０で獲得した被写体輝度変化情報について、周波数毎の信号強度に基づくフリッカ量を算出する処理を行う。

このフリッカ量算出処理は、例えばフーリエ変換等の周波数成分分解手法によって、被写体輝度変化情報を周波数成分に分解し、各周波数成分の信号強度を求めることによって行われる。なお、フリッカ量算出処理は、後記するユーザ設定または自動設定で変更した後のシャッター速度で撮像したときの画像信号に対しても行われ、該画像信号について信号強度に基づく周波数毎のフリッカ量を算出する。

また、表示部／操作部１９は、信号処理部１７で算出したフリッカ量を数値化して表示すると共に、シャッター速度を任意に設定するための表示を行う表示部、並びに、ユーザの操作を受け付ける操作部を備えて構成される。具体的に、表示部／操作部１９は、例えば、ポインティングデバイスや指の接触で指示入力可能なタッチパネルや操作ボタンなどを含んで具現される。

図３（ａ）及び（ｂ）に、表示部／操作部１９における表示画面１００，１００ａを例示する。フリッカ調整における表示画面１００は、フリッカ調整前のフリッカ量を示す表示領域１０１と、シャッター速度自動選択時のフリッカ量を示す表示領域１０２と、フリッカ量を周波数毎に示す表示領域１０３と、シャッター速度表示領域１０４と、を備えている。また、表示画面１００ａは、表示画面１００と同様の表示領域１０１，１０３，１０４の他に、シャッター速度任意選択時のフリッカ量を示す表示領域１０２ａを備えている。

また、制御部３１は、ＭＰＵ（Micro-Processing Unit）等のプロセッサ、プログラムや各種データを記憶したＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリなどを含んで構成され、撮像装置１が備える各構成要素を統括的に制御する。なお、図１においては、制御部３１と他の構成要素との接続は、データ信号及び制御信号を含むシステムバス３０を介して行われるものとする。

制御部３１は、輝度変化検出部２０により測定された被写体輝度変化情報について周波数毎の信号強度に基づくフリッカ量を、表示部／操作部１９に表示させ、ユーザの任意設定の場合には、該ユーザ設定に基づき撮像部１０のシャッター速度を変更する。また、自動設定の場合には、周波数毎のフリッカ量に基づき、撮像部１０のシャッター速度を、フリッカ量が最大となる周波数に応じたシャッター速度に変更する。より具体的な説明は後記する。

なお、本実施形態における露光制御は、基本的には従来と同様であり、メカアイリス、電子シャッター及びアナログＡＧＣ１４による利得制御の３つの手段を併用して行う。例えば、被写体の照度が暗い場合にはメカアイリスを開放し、電子シャッターを長くしても露光が不足する場合には、アナログＡＧＣ１４による利得制御によって対応する。

また、メカアイリスを持たず、電子シャッター機能だけで露光制御を行う構成としても良い。このような露光制御を電子アイリスといい、電子シャッター及びアナログＡＧＣ１４による利得制御の併用により露光制御が行われる。

次に、以上のような構成要素を備えた撮像装置におけるフリッカ調整方法について、図２乃至図５を参照して説明する。ここで、図２は第１実施形態の撮像装置におけるフリッカ調整の手順を説明するフローチャートであり、図３はフリッカ調整時の表示画面を例示する説明図であり、図４及び図５はフリッカ調整のモード別の手順を説明するフローチャートである。

図２において、まずフリッカ調整を開始する（ステップＳ１０１）。制御部３１は、このフリッカ調整の開始を、例えば、ユーザの操作ボタンの押下やタッチパネル上の操作等に基づき行う。なお、この時、撮像部１０のシャッター速度は、予め設定される初期値であるものとする。

次に、制御部３１は、輝度変化検出部２０により被写体の輝度変化が検出されているか否かを判断する（ステップＳ１０２）。ここで、被写体の輝度変化が検出されていないと判断したとき（Ｓ１０２：Ｎｏ）には、フリッカ非検出の旨を表示部／操作部１９に表示（ステップＳ１０３）して、ステップＳ１１２に進む。

また、ステップＳ１０２において被写体の輝度変化が検出されていると判断したとき（Ｓ１０２：Ｙｅｓ）には、制御部３１は、輝度変化検出部２０から得られる被写体輝度変化情報について、周波数毎の信号強度に基づくフリッカ量を、表示部／操作部１９に表示させる（ステップＳ１０４）。

図３（ａ）及び（ｂ）に例示する表示画面１００，１００ａでは、フリッカ量表示領域１０３に、概ね２０［Ｈｚ］から１２０［Ｈｚ］の範囲の周波数帯について、１０［Ｈｚ］毎のフリッカ量（フリッカバロメータ）が棒グラフ表記で表示されている。ここで、フリッカ量（フリッカバロメータ）は、周波数毎のフリッカ量の総和を１００として正規化した数値を用いている。なお、検出した輝度変化の最大振幅と周波数との積を、フリッカ量（フリッカバロメータ）として用いても良く、また、得られた信号強度そのものをフリッカ量（フリッカバロメータ）としても良い。

そして、制御部３１は、被写体輝度変化情報について、周波数毎の信号強度に基づくフリッカ量が最大となる周波数をＦ₁［Ｈｚ］としたとき、これをフリッカ周波数として、フリッカを低減するシャッター速度１／Ｆ₁［秒］を自動選択する（ステップＳ１０５）。

そして、制御部３１は、暫定的にシャッター速度を１／Ｆ₁［秒］に変更し、信号処理部１７において、変更後のシャッター速度で撮像したときの画像信号に基づきフリッカ量を算出して、表示部／操作部１９に表示する（ステップＳ１０６）。

例えば、図３（ａ）に例示する自動設定時の表示画面では、シャッター速度表示領域１０４上で、フリッカ量が最大となる周波数６０［Ｈｚ］に対応するシャッター速度１／６０［秒］の位置に稼働バー１１０が位置しており、シャッター速度が１／６０［秒］に変更されたことを示している。また、表示領域１０１には、シャッター速度変更前のフリッカ量が最大となる周波数６０［Ｈｚ］について、フリッカ量が「８０」である旨が表示され、さらに、表示領域１０２には、シャッター速度変更後のフリッカ量が「２０」である旨が表示されている。

次に、制御部３１は、こうして自動選択されたシャッター速度１／Ｆ₁［秒］を、最終的なシャッター速度として設定するか否かを判断する（ステップＳ１０７）。最終的な設定か否かの判断は、例えばユーザによる確定釦の押下等によって行われ、ユーザからの指示により最終的に「設定する」と判断された場合（Ｓ１０７：Ｙｅｓ）にはシャッター速度を１／Ｆ₁［秒］に変更する（ステップＳ１１１）。なお、以下に説明するシャッター速度１／Ｆ₂［秒］〜１／Ｆ_K［秒］についても、ステップＳ１０７のＹｅｓ判断時の処理については、シャッター速度１／Ｆ₁［秒］と同様である。

一方、ステップＳ１０７において、ユーザからの指示が（例えば所定時間）無い場合（Ｓ１０７：Ｎｏ（Ｋ回まで））には、最終的な設定ではないと判断され、当該ステップＳ１０７の判断がフリッカ調整を始めてからＫ回以下のときにはステップＳ１０５に戻る。

このときステップＳ１０５では、被写体輝度変化情報について、周波数毎の信号強度に基づくフリッカ量が２番目に大きい周波数をＦ₂［Ｈｚ］としたとき、これをフリッカ周波数として、フリッカを低減するシャッター速度１／Ｆ₂［秒］を自動選択する。さらにステップＳ１０６では、暫定的にシャッター速度を１／Ｆ₂［秒］に変更し、信号処理部１７において、変更後のシャッター速度で撮像したときの画像信号に基づきフリッカ量を算出して、表示部／操作部１９に表示する。

すなわち、ユーザ指示によって最終的に「設定する」と判断されない限りにおいて、暫定的なシャッター速度の変更は、１／Ｆ₁［秒］から１／Ｆ_K［秒］までのＫ回行われることとなる。この係数Ｋは、ユーザが煩わしさを感じない程度、例えば１〜３回程度が望ましい。

他方で、Ｋ回の暫定的なシャッター速度変更によっても、最終的に「設定する」旨のユーザ指示が無かった場合、即ち、ステップＳ１０７の判断がフリッカ調整を始めてからＫ＋１回目であって、ユーザからの指示が（例えば所定時間）無い場合（Ｓ１０７：Ｎｏ（Ｋ＋１回目））には、ステップＳ１０８に進む。

このときステップＳ１０８では、制御部３１は、設定可能なシャッター速度の候補からユーザの選択指示（シャッター速度１／Ｎ［秒］）を受け付け、これをシャッター速度として設定する。

そして、制御部３１は、暫定的にシャッター速度を１／Ｎ［秒］に変更し、信号処理部１７において、変更後のシャッター速度で撮像したときの画像信号に基づきフリッカ量を算出して、表示部／操作部１９に表示する（ステップＳ１０９）。

例えば、図３（ｂ）に例示したマニュアル設定時の表示画面では、シャッター速度表示領域１０４上で、周波数１００［Ｈｚ］に対応するシャッター速度１／１００［秒］の位置に稼働バー１１０ａが設定されて、シャッター速度が１／１００［秒］に変更されたことを示している。また、表示領域１０１には、シャッター速度変更前のフリッカ量が最大となる周波数６０［Ｈｚ］について、フリッカ量が「８０」である旨が表示され、さらに、表示領域１０２ａには、シャッター速度変更後のフリッカ量が「４０」である旨が表示されている。

次に、制御部３１は、こうしてユーザによって任意選択されたシャッター速度１／Ｎ［秒］を、最終的なシャッター速度として設定するか否かを判断する（ステップＳ１１０）。最終的な設定か否かの判断は、例えばユーザによる確定釦の押下等によって行われ、ユーザからの指示により最終的に「設定する」と判断された場合には、シャッター速度を１／Ｎ［秒］に変更する（ステップＳ１１１）。

ステップＳ１０３またはステップＳ１１１を処理した後、或いは、ステップＳ１１０において最終設定と判断されなかったときは、フリッカ調整を終了するか否かを判断する（ステップＳ１１２）。この判断は、例えばユーザによる特定釦の押下等によって行われ、ユーザからの指示により「終了する」と判断された場合（Ｓ１１２：Ｙｅｓ）には、フリッカ調整を終了する（ステップＳ１１３）。また、所定時間ユーザからの指示が無く「終了しない」と判断された場合（Ｓ１１２：Ｎｏ）には、ステップＳ１０２へ戻って、前記した処理を繰り返し行う。

次に、フリッカ調整のモード別の手順について図４及び図５を参照して説明する。図４は主として常時調整モードの手順を、図５は定期調整モードの手順を、それぞれ説明するフローチャートである。

撮像装置１の使用環境によっては、フリッカを有する複数の照明光源によって、被写体の輝度が時々刻々と変化していくことが考えられる。このため、本実施形態では、一時的なフリッカ調整のみでなく、常時調整モード及び定期調整モードを備えて、常時または定期的にフリッカ調整を行うことで、使用環境の変化に追従可能としている。

図４において、処理を開始すると、制御部３１は、まずフリッカ調整のモード入力を受け付け（ステップＳ２０１）、ユーザによる調整モードの設定が常時調整モードであるか否かを判断する（ステップＳ２０２）。ここで、常時調整モードでないと判断された場合（Ｓ２０２：Ｎｏ）には、接続子Ｐ１を介して図５に進む。

図５においては、まず、制御部３１は、ユーザによる調整モードの設定が定期調整モードか否か判断する（ステップＳ２０３）。ユーザによる調整モードの設定が定期調整モードでないと判断された場合（Ｓ２０３：Ｎｏ）には、図２のフリッカ調整の手順を実行する（ステップＳ２０４）。他方、ユーザによる調整モードの設定が定期調整モードであると判断された場合（Ｓ２０３：Ｙｅｓ）には、調整間隔（Ｔ）のユーザ入力を受け付けて（ステップＳ２０５）、定期的なフリッカ調整を開始する（ステップＳ２０６）。

定期調整モードにおいては、図２のフリッカ調整手順と同様に、制御部３１は、まず輝度変化検出部２０により被写体の輝度変化が検出されているか否かを判断する（ステップＳ２０７）。ここで、被写体の輝度変化が検出されていないと判断したとき（Ｓ２０７：Ｎｏ）には、調整間隔（Ｔ）だけ待機して（ステップＳ２１３）、被写体の輝度変化検出の判断（ステップＳ２０７）を再度行う。他方で、被写体の輝度変化が検出されたと判断したとき（Ｓ２０７：Ｙｅｓ）には、制御部３１は、輝度変化検出部２０から得られる被写体輝度変化情報について、周波数毎の信号強度に基づくフリッカ量を、表示部／操作部１９に表示させる（ステップＳ２０８）。

そして、制御部３１は、被写体輝度変化情報について、周波数毎の信号強度に基づくフリッカ量が最大となる周波数をＦ［Ｈｚ］としたとき、これをフリッカ周波数として、フリッカを低減するシャッター速度１／Ｆ［秒］を自動選択し（ステップＳ２０９）、シャッター速度を自動選択値に変更する（ステップＳ２１０）。

その後、制御部３１は、ユーザから定期調整モードを終了する旨の指示を一定時間受け付け（ステップＳ２１１）、定期調整モードを終了するか否かを判断する（ステップＳ２１２）。終了指示を受け付けなかった場合（Ｓ２１２：Ｎｏ）には、調整間隔（Ｔ）だけ待機して（ステップＳ２１３）、被写体の輝度変化検出の判断（ステップＳ２０７）を再度行う。他方で、ステップＳ２１２において、終了指示を受け付けた場合（Ｓ２１２：Ｙｅｓ）には、接続子Ｐ２を介してステップＳ２３１に進む。

再び図４に戻って、ステップＳ２０２において、常時調整モードであると判定された場合（Ｓ２０２：Ｙｅｓ）には、常時フリッカ調整を開始する（ステップＳ２２１）。

常時調整モードを開始すると、まず制御部３１は、輝度変化検出部２０により被写体の輝度変化が検出されているか否かを判断する（ステップＳ２２２）。ここで、被写体の輝度変化が検出されていないと判断したとき（Ｓ２２２：Ｎｏ）には、ステップＳ２２１に戻って、被写体の輝度変化検出の判断を再度行う。他方で、被写体の輝度変化が検出されたと判断したとき（Ｓ２２２：Ｙｅｓ）には、制御部３１は、輝度変化検出部２０から得られる被写体輝度変化情報について、周波数毎の信号強度に基づくフリッカ量を、表示部／操作部１９に表示させる（ステップＳ２２３）。

そして、制御部３１は、被写体輝度変化情報について、周波数毎の信号強度に基づくフリッカ量が最大となる周波数をＦ［Ｈｚ］としたとき、これをフリッカ周波数として、フリッカを低減するシャッター速度１／Ｆ［秒］を自動選択し（ステップＳ２２４）、シャッター速度を自動選択値に変更する（ステップＳ２２５）。

その後、制御部３１は、ユーザから常時調整モードを終了する旨の指示を一定時間受け付け（ステップＳ２２６）、常時調整モードを終了するか否かを判断する（ステップＳ２２７）。終了指示を受け付けなかった場合（Ｓ２２７：Ｎｏ）には、ステップＳ２２１に戻って、被写体の輝度変化検出の判断を再度行う。他方で、終了指示を受け付けた場合（Ｓ２２７：Ｙｅｓ）には、ステップＳ２３１に進む。

そして最後に、制御部３１は、定期調整モードの終了指示を受け付けた場合（Ｓ２１２：Ｙｅｓ）、或いは、常時調整モードの終了指示を受け付けた場合（Ｓ２２７：Ｙｅｓ）には、ユーザからフリッカ調整を終了する旨の指示を一定時間受け付ける（ステップＳ２３１）。終了指示を受け付けなかった場合（Ｓ２３１：Ｎｏ）には、ステップＳ２０２に戻って、ユーザによる調整モードの設定が常時調整モードであるか否かを判断する。他方で、終了指示を受け付けた場合（Ｓ２３１：Ｙｅｓ）には、フリッカ調整を終了し（ステップＳ２３２）、一連の処理を終了する。

以上説明したように、本実施形態の撮像装置１では、被写体像を結像する光学系１１と、該光学系によって結像した被写体の光像を光電変換して画像信号を生成する撮像素子１２と、を含む撮像部１０と、画像信号に画像処理を施す画像処理部１６と、少なくとも表示及び設定機能を備える表示部／操作部（ユーザインタフェース手段）１９と、被写体の輝度の変化を検出する輝度変化検出部２０と、輝度変化検出部２０で獲得した輝度変化情報について信号強度に基づく周波数毎のフリッカ量を算出する信号処理部１７と、を備え、制御部３１により、信号処理部１７で算出された周波数毎のフリッカ量を表示部／操作部１９に表示するようにしている。

より具体的には、制御部３１は、ユーザの任意設定時において、表示部／操作部１９に周波数毎のフリッカ量を表示した後の、該表示部／操作部１９を介したユーザ設定に基づき、撮像部１０のシャッター速度を変更する。また、制御部３１は、自動設定時において、周波数毎のフリッカ量に基づき、撮像部１０のシャッター速度を、フリッカ量が最大となる周波数に応じたシャッター速度に変更する。

このように、被写体の輝度変化情報について周波数毎の信号強度に基づくフリッカ量を算出して、表示部／操作部１９に表示するので、設置者や使用者が光源に合わせて最適なシャッター速度を判断する材料とすることができる。また、自動設定時には、フリッカ量が最大となる周波数に応じたシャッター速度に変更するので、フリッカを防ぐことが可能となる。

また、ユーザの任意設定時には、フリッカ防止のためのシャッター速度設定にユーザ意志を反映させることができ、ユーザ所望の映像を撮像可能な撮像装置を実現することができる。例えば、ＬＥＤ照明のように光源周波数が周知でない場合や、異なる光源周波数を持つ複数の光源によって照明されている場合など、一意にシャッター速度を決定できない場合にも、ユーザが最適と判断するシャッター速度を設定することができ、ユーザフレンドリな撮像装置を実現することができる。

さらに本実施形態の撮像装置１では、変更後のシャッター速度で撮像したときの画像信号に基づき、信号処理部１７によって周波数毎のフリッカ量を算出し、制御部３１は、信号処理部１７で算出されたシャッター速度変更後の周波数毎のフリッカ量を、表示部／操作部１９に表示するようにしている。これにより、シャッター速度の変更によるフリッカ抑制効果を定量的に（数値等で）確認することができ、光源に合わせて最適なシャッター速度を判断する材料とすることができる。

〔第２実施形態〕
次に、本発明の第２実施形態に係る撮像装置について説明する。本実施形態の撮像装置の構成は第１実施形態（図１）と同等であり、制御部３１によるアナログＡＧＣ１４の利得制御方式のみ異なる。したがって、各構成要素の参照符号は第１実施形態（図１）と同一のものを使用する。

アナログＡＧＣ１４は、第１実施形態で説明したように、自動利得制御手段であり、ＣＤＳ１３からのアナログ撮像信号の信号レベルを、制御部３１の指示に基づき所定レベルに調整する。これにより、入射光量が変化しても、画像信号レベルの強弱を自動補正して一定レベルに自動利得調整することができ、出力映像の明るさを一定にすることができる。

本実施形態の撮像装置では、制御部３１は、第１実施形態と同様に、ユーザの任意設定と自動設定の設定モードを備えている。ここでは、これら設定モードに応じた４つの自動利得調整手法について説明する。

（第１自動利得調整手法）
まず、自動設定時には、第１実施形態と同様に、制御部３１は、周波数毎のフリッカ量に基づき、撮像部１０のシャッター速度を、フリッカ量が最大となる周波数に応じたシャッター速度に変更する。そして、変更後のシャッター速度で撮像したときの画像信号に基づき、信号処理部１７によって周波数毎のフリッカ量を算出し、制御部３１は、信号処理部１７で算出されたシャッター速度変更後の周波数毎のフリッカ量を、表示部／操作部１９に表示する。

さらに、制御部３１は、シャッター速度変更後の周波数毎のフリッカ量に基づき、アナログＡＧＣ１４の利得を、フリッカ量が最大となる周波数に応じた利得に変更する。具体的には、予め、被写体照度、シャッター速度、フリッカ量が最大となる周波数及び該フリッカ量に応じて、フリッカを抑制するための最適な利得を、シミュレーション実験等で求めて、制御部３１に付属するメモリにテーブル形式で保持しておく。そして、シャッター速度変更後のタイミングで、その時の被写体照度、シャッター速度、フリッカ量が最大となる周波数及び該フリッカ量に応じた利得を、テーブル参照によって得る。

このように、第１自動利得調整手法では、シャッター速度変更のみではキャンセルできなかったフリッカ周波数について、自動利得調整によるフリッカ抑制を図るので、電子シャッターのシャッター速度変更によるフリッカ抑制効果に、自動利得調整のフリッカ抑制効果が補助的に加わり、フリッカの抑圧率をさらに高めることができる。

（第２自動利得調整手法）
また、自動設定時において、制御部３１は、周波数毎のフリッカ量に基づき、撮像部１０のシャッター速度を、フリッカ量が最大となる周波数に応じたシャッター速度に変更すると共に、アナログＡＧＣ１４の利得を、フリッカ量が２番目に大きい周波数に応じた利得に変更する。

この場合も、予め、被写体照度、シャッター速度、フリッカ周波数及び該フリッカ量に応じて、フリッカを抑制するための最適な利得を、シミュレーション実験等で求めて、制御部３１に付属するメモリにテーブル形式で保持しておく。そして、シャッター速度を変更する時のタイミングで、その時の被写体照度、シャッター速度、フリッカ量が最大となる周波数及び該フリッカ量に応じた利得を、テーブル参照によって得る。

このように、第２自動利得調整手法では、シャッター速度変更のみではキャンセルできなかった異なる光源周波数を持つ光源によるフリッカを、自動利得調整によって抑制するので、電子シャッターのシャッター速度変更によるフリッカ抑制効果に、自動利得調整のフリッカ抑制効果が補助的に加わり、フリッカの抑圧率をさらに高めることができる。

（第３自動利得調整手法）
また、ユーザの任意設定時には、第１実施形態と同様に、制御部３１は、表示部／操作部１９に周波数毎のフリッカ量を表示した後の、該表示部／操作部１９を介したユーザ設定に基づき、撮像部１０のシャッター速度を変更する。そして、変更後のシャッター速度で撮像したときの画像信号に基づき、信号処理部１７によって周波数毎のフリッカ量を算出し、制御部３１は、信号処理部１７で算出されたシャッター速度変更後の周波数毎のフリッカ量を、表示部／操作部１９に表示する。

さらに、制御部３１は、表示部／操作部１９に周波数毎のフリッカ量を表示した後の該表示部／操作部１９を介したユーザ設定に基づき、アナログＡＧＣ１４の利得を変更する。ここでのユーザ設定の内容は、第１自動利得調整手法及び第２自動利得調整手法と同様に周波数の設定であっても良く、その場合の具体的な実現方法は前記のものと同等となる。また、ユーザに対して、画質優先、視認性優先等の画像の質に関わる選択項目を選ばせ、予め用意されたテーブルを参照して、該選択項目、被写体照度、シャッター速度に応じた利得を得るようにしても良い。

このように、第３自動利得調整手法では、シャッター速度変更のみではキャンセルできなかったフリッカ周波数について、自動利得調整によるフリッカ抑制を図るので、電子シャッターのシャッター速度変更によるフリッカ抑制効果に、自動利得調整のフリッカ抑制効果が補助的に加わり、フリッカの抑圧率をさらに高めることができる。また、ユーザが最適と判断する自動利得調整を設定することができ、ユーザフレンドリな撮像装置を実現することができる。

（第４自動利得調整手法）
また、自動設定時において、制御部３１は、表示部／操作部１９に周波数毎のフリッカ量を表示した後の、該表示部／操作部１９を介した第１周波数のユーザ設定に基づき、撮像部１０のシャッター速度を変更し、該表示部／操作部１９を介した第２周波数のユーザ設定に基づき、アナログＡＧＣ１４の利得を変更する。

この場合、予め、被写体照度、シャッター速度、第２周波数及び該第２周波数のフリッカ量に応じて、フリッカを抑制するための最適な利得を、シミュレーション実験等で求めて、制御部３１に付属するメモリにテーブル形式で保持しておく。そして、シャッター速度を変更する時のタイミングで、その時の被写体照度、シャッター速度、第２周波数及び該第２周波数のフリッカ量に応じた利得を、テーブル参照によって得る。

このように、第４自動利得調整手法では、シャッター速度変更のみではキャンセルできなかった異なる光源周波数を持つ光源によるフリッカを、自動利得調整によって抑制するので、電子シャッターのシャッター速度変更によるフリッカ抑制効果に、自動利得調整のフリッカ抑制効果が補助的に加わり、フリッカの抑圧率をさらに高めることができる。また、ユーザが最適と判断する自動利得調整を設定することができ、ユーザフレンドリな撮像装置を実現することができる。

さらに、第２実施形態では、フリッカの有無に関わらず、フリッカキャンセル処理を続けて良いので、フリッカが発生したり消滅したりすることが無いという効果が得られる。また、シャッター速度を固定にしなくても良いというメリットもある。但し、回路規模が増大すること、過渡応答の影響や黒レベルの変動といったデメリットもある。

〔第３実施形態〕
次に、本発明の第３実施形態に係る撮像装置について、図６を参照して説明する。ここで、図６は第３実施形態の撮像装置の構成図である。同図において、本実施形態の撮像装置２は、光学系１１、撮像素子１２及び光学系制御部３２を含む撮像部１０と、ＣＤＳ１３と、ＡＤＣ１５ａと、画像処理部１６ａと、表示部／操作部（ユーザインタフェース手段）１９と、輝度変化検出部２０と、制御部３１ａと、を備えている。ここで、第１実施形態（図１）と同等の構成要素については同一符号を附して説明を省略し、類似の構成要素については同一符号に「ａ」を付記する。

画像処理部１６ａは、信号処理部（信号処理手段）１７ａ及びメモリ１８ａを備え、ＡＦＥ（ＣＤＳ１３及びＡＤＣ１５ａ）を通してアナログ信号処理が施され、ディジタル信号に変換された画像信号に対して、各種の信号処理を施す。信号処理部１７ａは、第１実施形態と同様であるが、内部にディジタルＡＧＣ１４ａを含む点が異なる。つまり、本実施形態の撮像装置２は、第１実施形態におけるアナログＡＧＣ１４の機能を、信号処理部１７ａのプロセッサ（ＤＳＰ等）上で実行されるプログラムに置き換えた構成である。

また、本実施形態の撮像装置２では、制御部３１は、第１実施形態及び第２実施形態と同様に、ユーザの任意設定と自動設定の設定モードを備えており、また第２実施形態と同様に、第１実施形態によるシャッター速度の変更のみでは抑制しきれなかったフリッカを、ディジタルＡＧＣ１４ａの自動利得調整によって抑制する。

第２実施形態では、シャッター速度、フリッカ周波数及びそのフリッカ量に応じた最適な利得を、予め用意されたテーブルを参照して取得し、静的な値に基づく利得調整を行った。これに対して、本実施形態では、フィールド期間毎の画像信号の輝度を積算し、該輝度積算値と所定の基準値との差分を算出し、次の輝度の変動周期の同一フィールド期間における利得を、該差分に応じて調整する。ここにいう輝度の変動周期は、照明の点滅周期と１フィールド期間（画像信号の出力周期；垂直同期期間）との最小公倍数となる周期として規定されるものである。

例えば、照明の点滅周期を１／１００［秒］、フィールド期間を１／６０［秒］とする場合、輝度の変動周期は１／２０［秒］であり、１つの輝度の変動周期に、第１、第２及び第３の３つのフィールド期間が存在することとなる。このとき、第１、第２及び第３のフィールド期間において、それぞれ、画像信号の輝度を積算して、該輝度積算値と所定の基準値との差分ΔＳを算出し、該差分に応じたディジタルＡＧＣ１４ａの調整量ΔＧを求める。すなわち、差分ΔＳは「ΔＳ＝輝度積算値−基準値」として求められ、調整量ΔＧは「ΔＧ＝−ｆ（ΔＳ）」で求められる。具体的に、調整量ΔＧは、例えば差分ΔＳとの関係式、テーブルなどを用いて求めることができる。

こうして求められた第１、第２及び第３のフィールド期間におけるディジタルＡＧＣ１４ａの調整量ΔＧは、それぞれ次の輝度の変動周期の第１、第２及び第３のフィールド期間における調整量ΔＧとなる。なお、差分ΔＳが負のときにはディジタルＡＧＣ１４ａの利得はより大きくなるよう調整され、差分ΔＳが正のときにはディジタルＡＧＣ１４ａの利得はより小さくなるよう調整される。

なお、１回の調整で輝度積算値が基準値に達しない場合には、調整を複数回繰り返し行う。この場合、各フィールド期間における差分ΔＳが全て許容値以下になったときには、ディジタルＡＧＣ１４ａの利得をそのままの値として、調整を行わないようにする。

以上のように、本実施形態の自動利得調整手法では、シャッター速度変更のみではキャンセルできなかったフリッカについて、前の輝度の変動周期の同一フィールド期間における情報を基に、流動的に最適な利得を算出してフリッカ抑制を図るので、電子シャッターのシャッター速度変更によるフリッカ抑制効果に、自動利得調整のフリッカ抑制効果が補助的に加わり、フリッカの抑圧率をさらに高めることができる。

また、以上説明した自動利得調整手法は、動画像を撮像するビデオカメラなどに適用されるものであるが、基本的な考え方は静止画像を撮像するディジタルカメラなどに適用可能である。

すなわち、第１実施形態と同様に、制御部３１は、周波数毎のフリッカ量に基づき、撮像部１０のシャッター速度を、フリッカ量が最大となる周波数に応じたシャッター速度に変更する。そして、変更後のシャッター速度で撮像したときの画像信号について輝度を積算して、該輝度積算値と所定の基準値との差分ΔＳを算出し、該差分に応じたディジタルＡＧＣ１４ａの調整量ΔＧを求める。この場合も、１回の調整で輝度積算値が基準値に達しない場合には、調整を複数回繰り返し行う。さらに、信号処理部１７によって周波数毎のフリッカ量を算出し、制御部３１は、信号処理部１７で算出されたシャッター速度変更及び利得調整後の周波数毎のフリッカ量を、表示部／操作部１９に表示する。

なお、本実施形態の自動利得調整方法は、第２実施形態のアナログＡＧＣ１４を用いた構成に適用することが可能である。また逆に、第２実施形態の自動利得調整方法を、本実施形態のディジタルＡＧＣ１４ａを用いた構成に適用することも可能である。

また、本実施形態でも、第２実施形態と同様に、フリッカの有無に関わらず、フリッカキャンセル処理を続けて良いので、フリッカが発生したり消滅したりすることが無いという効果が得られる。さらに、第２実施形態におけるハードウェア的なデメリットが解消される効果もある。

〔変形例〕
以上、本発明の実施形態について図面を参照して詳述したが、本発明はこれら実施形態およびその変形に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。

例えば、前記第１、第２及び第３実施形態では、輝度変化検出部２０を照度センサ等の独立した構成要素として例示したが、輝度変化情報を獲得できる手段であれば良く、例えば、画像処理部１６（信号処理部１７）において、撮像部１０で撮像した画像信号の一部に基づき輝度変化情報を生成し、該輝度変化情報について、信号処理部１７により周波数毎の信号強度に基づくフリッカ量を算出するようにしても良い。さらに、画像信号に基づく輝度変化情報の生成、並びに周波数毎の信号強度に基づくフリッカ量の算出は、制御部３１，３１ａによって行う構成としても良い。

また、前記第１、第２及び第３実施形態では、本発明に関わる画像処理部１６，１６ａの信号処理部１７，１７ａによる機能、並びに制御部３１，３１ａによる機能を、ＤＳＰやＭＰＵ等のプロセッサ上で実行されるプログラムで実現することとしたが、該機能の一部または全てを集積回路等のハードウェアによって実現しても良い。

また、画像処理部１６，１６ａに付属するメモリ１８，１８ａ及び制御部３１，３１ａに付属するメモリは、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、或いは、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体によって具現して良い。さらに、各機能を実現するプログラム、テーブル、各種データ等の情報を、可般性の記録媒体やネットワークを介して、前記記録装置または前記記録媒体にインストールする構成であっても良い。

また、前記第１、第２及び第３実施形態では、本発明の実現に必要な構成要素を一体化して撮像装置を構成したが、一部構成を撮像装置から切り離した構成も種々考えられる。例えば、輝度変化検出部２０を切り離し、獲得した輝度変化情報は、所定インタフェースを介してシステムバス３０，３０ａ上に取り込む構成として良い。また、制御部３１，３１ａによるシャッター速度の設定機能及び自動利得調整機能は、当該撮像装置とネットワーク（イントラネット、インターネット、ＬＡＮ、ＷＡＮ等）を介して接続される他の情報処理装置（サーバ等）に、移管した構成であっても良い。この場合、ユーザインタフェース手段（表示部／操作部１９）は、他の情報処理装置側に含まれる構成となる。

１，２ 撮像装置
１０ 撮像部
１１ 光学系
１２ 撮像素子
１３ ＣＤＳ
１４ アナログＡＧＣ
１４ａ ディジタルＡＧＣ
１５，１５ａ ＡＤＣ
１６，１６ａ 画像処理部
１７，１７ａ 信号処理部（信号処理手段）
１８，１８ａ メモリ
１９ 表示部／操作部（ユーザインタフェース手段）
２０ 輝度変化検出部
３０，３０ａ システムバス
３１，３１ａ 制御部（制御手段）
３２ 光学系制御部

Claims (9)

1. 被写体像を結像する光学系と、該光学系によって結像した被写体の光像を光電変換して画像信号を生成する撮像素子と、を含む撮像部と、
   前記画像信号に画像処理を施す画像処理部と、
   少なくとも表示及び設定機能を備えるユーザインタフェース手段と、
   前記被写体の輝度の変化を検出する輝度変化検出手段と、
   前記輝度変化検出手段で獲得した輝度変化情報について信号強度に基づく周波数毎のフリッカ量を算出する信号処理手段と、
   前記信号処理手段で算出された周波数毎のフリッカ量を前記ユーザインタフェース手段に表示する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記制御手段は、前記ユーザインタフェース手段に周波数毎のフリッカ量を表示した後の該ユーザインタフェース手段を介したユーザ設定に基づき、前記撮像部のシャッター速度を変更すること
   を特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記周波数毎のフリッカ量に基づき、前記撮像部のシャッター速度を、フリッカ量が最大となる周波数に応じたシャッター速度に変更すること
   を特徴とする請求項１に記載の撮像装置。
4. 前記信号処理手段は、変更後のシャッター速度で撮像したときの画像信号に基づき周波数毎のフリッカ量を算出し、
   前記制御手段は、前記信号処理手段で算出されたシャッター速度変更後の周波数毎のフリッカ量を前記ユーザインタフェース手段に表示すること
   を特徴とする請求項２または請求項３に記載の撮像装置。
5. 前記画像信号に対する利得を自動調整する自動利得調整手段を有し、
   前記制御手段は、前記ユーザインタフェース手段に周波数毎のフリッカ量を表示した後の該ユーザインタフェース手段を介した第１周波数のユーザ設定に基づき、前記撮像部のシャッター速度を変更し、該ユーザインタフェース手段を介した第２周波数のユーザ設定に基づき、前記自動利得調整手段の利得を変更すること
   を特徴とする請求項１に記載の撮像装置。
6. 前記画像信号に対する利得を自動調整する自動利得調整手段を有し、
   前記制御手段は、前記周波数毎のフリッカ量に基づき、前記撮像部のシャッター速度を、フリッカ量が最大となる周波数に応じたシャッター速度に変更し、前記自動利得調整手段の利得を、フリッカ量が２番目に大きい周波数に応じた利得に変更すること
   を特徴とする請求項１に記載の撮像装置。
7. 前記画像信号に対する利得を自動調整する自動利得調整手段を有し、
   前記制御手段は、前記ユーザインタフェース手段にシャッター速度変更後の周波数毎のフリッカ量を表示した後の該ユーザインタフェース手段を介したユーザ設定に基づき、前記自動利得調整手段の利得を変更すること
   を特徴とする請求項２または請求項３に記載の撮像装置。
8. 前記画像信号に対する利得を自動調整する自動利得調整手段を有し、
   前記信号処理手段は、変更後のシャッター速度で撮像したときの画像信号に基づき周波数毎のフリッカ量を算出し、
   前記制御手段は、前記周波数毎のフリッカ量に基づき、前記自動利得調整手段の利得を、フリッカ量が最大となる周波数に応じた利得に変更すること
   を特徴とする請求項２または請求項３に記載の撮像装置。
9. 前記信号処理手段は、変更後のシャッター速度及び調整後の自動利得調整手段の利得で撮像したときの画像信号に基づき周波数毎のフリッカ量を算出し、
   前記制御手段は、前記信号処理手段で算出されたシャッター速度変更及び利得調整後の周波数毎のフリッカ量を前記ユーザインタフェース手段に表示すること
   を特徴とする請求項５または請求項６に記載の撮像装置。

Images