JP2009077057A - 撮像装置、撮像装置の制御方法 - Google Patents

Abstract

【課題】照明光源のフリッカに伴うシェーディングをなるべく目立たなくすることができる撮像装置等を提供する。
【解決手段】撮影レンズ１により結像された被写体光像を光電変換して画像信号を生成するＸＹアドレス走査型の撮像素子を備える撮像部２と、フリッカの有無を検出してフリッカが有ると判定した場合にはさらに明るさが最大となるタイミングとフリッカ周期とを検出するフリッカ検出部４と、明るさが最大となるタイミングが撮像素子による１フレームの露光期間の略中央の略中央に一致するようにかつフレーム周期がフリッカ周期と等しくなるように、撮像素子からの画像信号の読み出しを制御する撮像制御部１１と、撮像制御部１１により撮像部２から読み出された画像信号を表す画像をライブビュー表示する表示部７と、を備えた撮像装置。
【選択図】図１

Description

本発明は、ＸＹアドレス走査型の撮像素子とライブビュー表示する表示部とを備える撮像装置と、その制御方法と、に関する。

被写体を照明する照明光源には、蛍光灯のようなフリッカを発生するタイプの照明光源が存在するが、フリッカが存在すると、ＣＭＯＳ撮像素子などのＸＹアドレス型の撮像素子を備える撮像装置によっていわゆる電子ローリングシャッタによる撮像を行ったときに、例えば低輝度の帯状の画像部分が発生する現象があることが知られている。

この現象について、図６を参照して説明する。図６は、ＸＹアドレス型の撮像素子によりフリッカ周期よりも短い露光時間の撮像を行って画像信号を読み出すときのタイミングを示す線図である。ここに、図６（Ａ）はフリッカ周期を、図６（Ｂ）はフリッカ周期に対する電子ローリングシャッタのタイミングを、それぞれ示している。

まず、フリッカが図６（Ａ）に示すように、周期Ｔｆで発生しているものとする。また、電子ローリングシャッタのフレーム周期はＴ０、各画素の露光時間がＴｅ、全画素を読み出すのに要する読出期間がＴｒであるものとする。そして、今、各時間の関係が、
Ｔｅ＜Ｔｆ＜Ｔｒ＝Ｔ０
であるものとする。

このとき、明るさが最大となるタイミングをまたぐように露光を行った画素と、明るさが最小となるタイミングをまたぐように露光を行った画素とでは、同一の露光時間Ｔｅであっても露光量が図６（Ａ）のハッチング部分に示すように異なるために、後者の画素は前者の画素に比べて低輝度となってしまう。そして、画素の読み出しをライン単位で行う場合には、このような低輝度部分が画面横方向の低輝度の帯状の画像部分となってしまう。

このような課題に対応する技術として、例えば特開２００３−２８３９３０号公報には、フリッカを検出した場合にはシャッタ速度を照明光源のフリッカ周期に同期させることにより、フリッカによる輝度変動の影響を受けることのないようにする技術が記載されている。この技術について、図７を参照して説明する。図７はＸＹアドレス型の撮像素子によりフリッカ周期と同一の露光時間の撮像を行って画像信号を読み出すときのタイミングを示す線図である。ここに、図７（Ａ）はフリッカ周期を、図７（Ｂ）はフリッカ周期に対する電子ローリングシャッタのタイミングを、それぞれ示している。

この図７に示す例においては、各時間の関係が、
Ｔｅ＝Ｔｆ＜Ｔｒ＝Ｔ０
となっている。露光時間Ｔｅはフリッカ周期Ｔｆと同一であるために、時間Ｔｅだけ輝度を積分したものは、どの時点から露光を開始したかに依らず一定である。従って、フリッカによる輝度変動の影響を受けることなく、全ての画素が同一の露光量を得ることが可能である。

ただし、この技術では、シャッタ速度はフリッカ周期の整数倍であり、最小のシャッタ速度はフリッカ周期と同一になるために、明るい被写体を撮像する場合には、絞りを絞る等を行うことが必要になる。しかし、合焦位置の検出を行うためには絞りを開放にすることが望ましい（絞りを絞ると合焦位置を正確に検出するのが困難になる）ために、該公報にはさらに、絞りを絞る代わりに、測光データに基づいてゲインをマイナスに切り換える技術が記載されている。

また、特開２００３−３２５５１号公報には、ＣＭＯＳ撮像素子によりフリッカ光源下において電子フォーカルプレーンシャッタ動作を行う際に、各画素の露光時間を少なくとも２回に分けて設定し、これら複数の露光時間に基づく信号をフリッカの周期の半分だけずれたタイミングで別々に読み出して、その後に同時化して加算する固体撮像素子が記載されている。そして、これにより、高速の電子シャッタを切る際に発生するフリッカを大幅に軽減可能であるとしている。
特開２００３−２８３９３０号公報 特開２００３−３２５５１号公報

しかしながら、上記特開２００３−２８３９３０号公報に記載された技術では、明るい撮影レンズ（開放Ｆ値が小さい撮影レンズ）の場合には、ゲインを下げるだけでは被写体を適切な露光量で撮影することが難しい場合がある。特に、一眼レフレックスタイプのカメラに多いレンズ交換が可能なカメラであって、かつライブビューを行うタイプのカメラの場合には、交換の対象となる全ての撮影レンズに対応しなければならず、交換レンズの中には開放Ｆ値が１．４といったような明るい撮影レンズも含まれていることがあり得るために、現実的には露光時間をフリッカ周期よりも短くせざるを得ず、フリッカにより発生するシェーディングを防止することは難しい。そして、フリッカに起因して発生する低輝度の帯状の画像部分が画像内を移動すると、画像を観察するときに目立つために、この移動も解決すべき課題となっている。

また、上記特開２００３−３２５５１号公報に記載されたような技術では、回路が複雑になると共に、露光時間が分断されることになるために、得られる画像が不自然なものになってしまう。

本発明は上記事情に鑑みてなされたものであり、照明光源のフリッカに伴うシェーディングをなるべく目立たなくすることができる撮像装置、撮像装置の制御方法を提供することを目的としている。

上記の目的を達成するために、第１の発明による撮像装置は、撮影レンズと、この撮影レンズにより結像された被写体光像を光電変換して画像信号を生成するＸＹアドレス走査型の撮像素子と、被写体がフリッカを有する照明光源により照明されているか否かを検出するとともにフリッカを有する照明光源により照明されていると検出した場合にはさらに被写体の明るさが最大となるタイミングとフリッカ周期とを検出するフリッカ検出部と、上記被写体の明るさが最大となるタイミングが上記撮像素子による１フレームの露光期間の略中央に一致するようにかつフレーム周期が上記フリッカ周期と等しくなるように上記撮像素子からの画像信号の読み出しを制御する撮像制御部と、上記撮像制御部により上記撮像素子から読み出された画像信号を表す画像をライブビュー表示する表示部と、を具備したものである。

また、第２の発明による撮像装置は、上記第１の発明による撮像装置において、上記撮像制御部が、上記被写体の明るさが最大となるタイミングが上記撮像素子から１フレームの画像信号を読み出す期間の略中央に一致するようにすることにより、該被写体の明るさが最大となるタイミングが該撮像素子による１フレームの露光期間の略中央に一致するように制御するものである。

さらに、第３の発明による撮像装置は、上記第２の発明による撮像装置において、上記撮像制御部が、上記撮像素子による１フレームの露光期間が上記フリッカ周期よりも短くなるようにさらに制御するものである。

第４の発明による撮像装置は、上記第３の発明による撮像装置において、上記撮像制御部が、上記画像信号の読出周期が上記フレーム周期よりも短くなるようにさらに制御するものである。

第５の発明による撮像装置は、上記第４の発明による撮像装置において、上記撮像制御部が、上記撮像素子による１画素の露光時間が（フリッカ周期−読出周期）／２以下となるようにさらに制御するものである。

第６の発明による撮像装置は、上記第１の発明による撮像装置において、上記撮影レンズが、絞りを有して構成されたものであり、上記撮像制御部は、絞りを開放にする条件の下で、上記制御を行うものである。

第７の発明による撮像装置は、上記第６の発明による撮像装置において、上記撮影レンズが、撮像装置本体に着脱可能かつ交換可能となるように構成されたものであり、上記撮像制御部は、装着されている撮影レンズの絞りを開放にする条件の下で、上記制御を行うものである。

第８の発明による撮像装置は、上記第１の発明による撮像装置において、上記撮像素子から読み出した画像信号のフリッカに起因するシェーディングを補正するためのシェーディング補正部をさらに具備したものである。

第９の発明による撮像装置の制御方法は、撮影レンズにより結像された被写体光像を光電変換して画像信号を生成するＸＹアドレス走査型の撮像素子と、上記撮像素子から読み出された画像信号を表す画像をライブビュー表示する表示部と、を備える撮像装置の制御方法であって、被写体がフリッカを有する照明光源により照明されているか否かを判定し、フリッカを有する照明光源により照明されていると判定した場合にはさらに被写体の明るさが最大となるタイミングとフリッカ周期とを検出し、上記被写体の明るさが最大となるタイミングが上記撮像素子による１フレームの露光期間の略中央に一致するようにかつフレーム周期が上記フリッカ周期と等しくなるように上記撮像素子からの画像信号の読み出しを制御する方法である。

本発明の撮像装置、撮像装置の制御方法によれば、照明光源のフリッカに伴うシェーディングをなるべく目立たなくすることが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図５は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図、図２は撮像装置の作用を示すフローチャート、図３は、ＸＹアドレス型の撮像素子により撮像を行って画像信号を読み出すときのタイミングを示す線図であり、図３（Ａ）はフリッカ周期を、図３（Ｂ）はフリッカ周期に対する電子ローリングシャッタのライン読出タイミングを、それぞれ示している。図４はフリッカ周期と電子ローリングシャッタとのタイミング関係を示す図であり、図４（Ａ）はフリッカ周期を、図４（Ｂ）は電子ローリングシャッタを、それぞれ示している。図５はシェーディング補正部によるシェーディング補正の様子を示す図であり、図５（Ａ）は補正前を、図５（Ｂ）は補正後を、それぞれ示している。

図１に示すように、この撮像装置は、撮影レンズ１と、撮像部２と、露出検出部３と、フリッカ検出部４と、カメラ制御部５と、画像処理部６と、表示部７と、メモリカード８と、カメラ操作部９と、を備えている。

撮影レンズ１は、被写体光像を結像するための撮像光学系である。この撮影レンズ１は、絞りを含んで構成されていて、撮像装置本体に対して着脱可能かつ交換可能に構成されているものとする。

撮像部２は、この撮影レンズ１により結像された被写体光像を光電変換して画像信号を生成するＸＹアドレス走査型の撮像素子を含んで構成されたものである。さらに、この撮像部２には、撮像素子からの画像信号を増幅する増幅部も設けられていて、カメラ制御部５により設定されたゲインに応じて、増幅率を制御するようになっている。

露出検出部３は、撮像部２から得られる画像信号に基づいて、被写体の輝度を検出するものである。

フリッカ検出部４は、被写体がフリッカを有する照明光源により照明されているか否かを検出するとともに、フリッカを有する照明光源により照明されていると検出した場合にはさらに被写体の明るさが最大となるタイミングとフリッカ周期とを検出するものである。なお、ここではフリッカ検出部４を露出検出部３とは別個に設けたが、露出検出部３がフリッカ検出部４の機能を兼ね備えるように構成しても構わない。

カメラ制御部５は、この撮像装置全体を統括的に制御するためのものであり、撮像制御部１１を備えて構成されている。ここに、撮像制御部１１は、撮像部２の撮像素子の露光時間や撮像素子からの画像信号の読み出しを制御するものであり、その制御の詳細については後述する。

画像処理部６は、撮像部２から出力される画像信号に各種の画像処理を施すものである。この画像処理部６は、画像信号にシェーディング補正を施すためのシェーディング補正部１２を備えて構成されている。

表示部７は、画像処理部６により処理された画像信号を表す画像を表示するものであり、静止画の表示を行うこともできるとともに、さらに撮像部２により取得されている画像をリアルタイムに表示するライブビュー表示も行うことができるようになっている。

メモリカード８は、画像処理部６により処理された画像信号を記録するための記録媒体である。

次に、図２を参照して、撮像装置の作用について説明する。この図２においては、主として、ライブビューを行っているときの動作について記載しており、動作の主体は主にカメラ制御部５である。

この処理を開始すると、まず、ライブビューを開始する（ステップＳ１）。このときには撮影レンズ１の絞りは開放であるものとする。

そして、フリッカ検出部４によりフリッカが検出されているか否かを判定する（ステップＳ２）。ここで、フリッカが検出されていないと判定された場合には、通常のライブビュー制御を行う（ステップＳ３）。

また、ステップＳ２において、フリッカが検出されていると判定された場合には、露出検出部３から得られる被写体輝度情報に基づき露出を確認し（ステップＳ４）、フリッカ周波数をｆ（Ｈｚ）としたときに、絞りを開放にしたままでも１／ｆ（秒）（ここに、１／ｆは後述するフリッカ周期Ｔｆに等しい）以上の露光時間を設定可能であるか否かを判定する（ステップＳ５）。なお、この判定は、現在装着されている撮影レンズ１の絞りを開放にする条件の下で行うために、撮影レンズ１が交換された場合には、そのときに装着されている撮影レンズ１の絞りを開放にする条件下で判定することになる。

ここで、１／ｆ（秒）以上の露光時間を設定可能であると判定した場合には、露光時間をｎ／ｆ（秒）（ここに、ｎは自然数）、つまり１／ｆ（秒）の自然数倍に設定して、フリッカ周期の影響が画像に現れないようにする（ステップＳ６）。

一方、ステップＳ５において、１／ｆ（秒）以上の露光時間を設定することは不可能であると判定した場合には、フリッカ周期とフレーム周期Ｔ０とを一致させると共に、露光時間（シャッタ速度）Ｔｅを後述するように短く設定する（ステップＳ７）。

そして、最も光量の多い部分が読み出しレートの中央になるように、撮像制御部１１が、ライン読み出しタイミングの位相を変更する（ステップＳ８）。

その後、この状態で読み出されたフレーム画像にシェーディング補正を行う（ステップＳ９）。

こうして、ステップＳ３、ステップＳ６、またはステップＳ９の処理を行ったら、次に、カメラ操作部９からレリーズ動作が行われたか否かを判定し（ステップＳ１０）、行われていない場合にはステップＳ２へ戻って上述したような動作を繰り返して行う。

一方、ステップＳ１０において、レリーズ動作が行われたと判定された場合には、画像の撮影、画像処理、メモリカード８への記録などの一連の処理を行う（ステップＳ１１）。

その後、撮影が終了したか否かを判定して（ステップＳ１２）、終了していないと判定した場合にはステップＳ２へ戻って上述したような動作を繰り返して行い、一方、終了したと判定した場合にはこの処理を終了する。

次に、図３および図４を参照して、上述したステップＳ７およびステップＳ８の処理の詳細について説明する。

この図３において、フリッカ周期をＴｆ、フレーム周期をＴ０、全画素を読み出すのに要する読出期間をＴｒとしているのは図６および図７を参照して上述した例と同様である。さらに、図４において、各画素の露光時間（電子シャッタ速度）をＴｅとしているのも同様である。

このとき、撮像制御部１１は、ステップＳ７の処理において、図３に示すように、フリッカ周期Ｔｆをフレーム周期Ｔ０と一致させている（つまり、Ｔｆ＝Ｔ０）。また、撮像制御部１１は、図３に示すように、読出周期Ｔｒがフレーム周期Ｔｆよりも短くなるように制御している。さらに、撮像制御部１１は、図４に示すように、各画素の露光時間Ｔｅがなるべく短くなるようにしている。より具体的には、
Ｔｒ＋２×Ｔｅ≦Ｔｆ
つまり、
Ｔｅ≦（Ｔｆ−Ｔｒ）／２
となるようにしている。なお、図４を見れば分かるように、１フレームの露光期間はＴｒ＋Ｔｅであるが、上記不等式から、Ｔｒ＋Ｔｅ≦Ｔｆ−Ｔｅ＜Ｔｆであるために、１フレームの露光期間がフリッカ周期Ｔｆよりも短くなるように制御していることが分かる。

そして、露出検出部３から得られる被写体の輝度では、この露光時間Ｔｅの条件を満たすことが難しい場合には、カメラ制御部５は、撮像部２に含まれる増幅部によりゲインアップを行わせてでも、この条件が満たされるようにしている。

さらに、ステップＳ８の処理により、図３（Ａ）に示す輝度変化を示すフリッカにおいて、撮像制御部１１は、フリッカ検出部４により検出された被写体の明るさが最大となるタイミングが、撮像部２の撮像素子から１フレームの画像信号を読み出す期間の中央に一致するように（ライン単位で読み出す場合には、中央のラインの読み出しタイミングが、被写体の明るさが最大となるタイミングに一致するように）している。

これは、フレーム画像の中央部の輝度が高く、上端部および下端部の輝度が低くなるようにしていることを意味する。すなわち、ライン単位で時間ｔ順に読み出される各ラインの輝度が、図５（Ａ）に示すようになることを意味している。

これにより、画面の中央部に低輝度の帯状の画像部分が発生することはなく、かつフリッカ周期とフレーム周期が一致しているために、低輝度部分や高輝度部分が画面内を移動することもない。

そして、ステップＳ９の処理において、画像処理部６のシェーディング補正部１２が、図５（Ａ）に示すように得られる画像信号にシェーディング補正処理を施すことにより、図５（Ｂ）に示すような画面内でほぼ均等な輝度が得られるようにしている。このとき、フリッカに起因する画像中の輝度の変動が図５（Ａ）に示すような上に凸の形状のみとなり、（複数のフリッカ周期にまたがらないために）下に凸の形状が含まれるような複雑な形状とはならないために、このシェーディング補正処理を簡単にすることが可能となる。

なお、上述では、中央のラインのライン読出タイミングがフリッカにより変動する輝度のピークのタイミングに一致するように制御したが、これはフレーム画像を得る際に読出タイミングを一定にする制御を容易に行うことができるためである。

しかし、制御上の困難さを度外視するとすれば、中央のラインの露光期間の中央のタイミング（画素単位の読出を行う場合には、中央の画素の露光期間の中央のタイミング）（つまり、１フレームの露光期間の中央のタイミング）が、フリッカにより変動する輝度のピークのタイミング（被写体の明るさが最大となるタイミング）に一致するように制御すると良い。

あるいは、中央のラインの露光開始タイミングがフリッカにより変動する輝度のピークのタイミングに一致するように制御しても構わない。

また、上述では撮像装置についてを主として説明したが、これに限らず、同様の技術を撮像装置の制御方法として適用しても構わない。

このような実施形態１によれば、フレーム周期がフリッカ周期と等しくなるように制御しているために、フリッカに起因する低輝度部分や高輝度部分が画像内を移動することがない。

さらに、被写体の明るさが最大となるタイミングが、撮像素子から１フレームの画像信号を読み出す期間の略中央に一致するようにしているために、最も重要な被写体が位置する可能性が高い画像の中央部分を、最も明るい画像が得られる部分とすることができる（すなわち、画像の中央部分に低輝度の帯が発生することがない）。

その後に、シェーディング補正を行っているために、フリッカの影響をほぼ排除して、画面内が均一な輝度の画像を得ることができる。

そして、１画素の露光時間が（フリッカ周期−読出周期）／２以下となるようにしているために、１フレームの露光が複数のフリッカ周期にまたがるのを防止することができ、シェーディング補正の処理を簡単にすることが可能となる。

加えて、絞りを開放にして制御を行っているために、焦点検出等も高い精度で行うことが可能となる。

また、低速のシャッタ速度を設定可能である場合には、フリッカ周期の整数倍の露光時間を設定するようにしているために、従来と同様にフリッカを防止することができる。

さらに、撮影レンズ１が交換されて絞り開放値が変化したとしても、装着されている撮影レンズ１の絞りを開放にする条件の下で、上述したような制御を行うようにしているために、絞りを絞ることなくフリッカの影響を低減したライブビューを行うことが可能となる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における撮像装置の作用を示すフローチャート。 上記実施形態１において、ＸＹアドレス型の撮像素子により撮像を行って画像信号を読み出すときのタイミングを示す線図。 上記実施形態１におけるフリッカ周期と電子ローリングシャッタとのタイミング関係を示す図。 上記実施形態１のシェーディング補正部によるシェーディング補正の様子を示す図。 従来において、ＸＹアドレス型の撮像素子によりフリッカ周期よりも短い露光時間の撮像を行って画像信号を読み出すときのタイミングを示す線図。 従来において、ＸＹアドレス型の撮像素子によりフリッカ周期と同一の露光時間の撮像を行って画像信号を読み出すときのタイミングを示す線図。

符号の説明

１…撮影レンズ
２…撮像部
３…露出検出部
４…フリッカ検出部
５…カメラ制御部
６…画像処理部
７…表示部
８…メモリカード
９…カメラ操作部
１１…撮像制御部
１２…シェーディング補正部

Claims (9)

1. 撮影レンズと、
   この撮影レンズにより結像された被写体光像を光電変換して画像信号を生成するＸＹアドレス走査型の撮像素子と、
   被写体がフリッカを有する照明光源により照明されているか否かを検出するとともに、フリッカを有する照明光源により照明されていると検出した場合にはさらに被写体の明るさが最大となるタイミングとフリッカ周期とを検出するフリッカ検出部と、
   上記被写体の明るさが最大となるタイミングが上記撮像素子による１フレームの露光期間の略中央に一致するように、かつフレーム周期が上記フリッカ周期と等しくなるように、上記撮像素子からの画像信号の読み出しを制御する撮像制御部と、
   上記撮像制御部により上記撮像素子から読み出された画像信号を表す画像をライブビュー表示する表示部と、
   を具備したことを特徴とする撮像装置。
2. 上記撮像制御部は、上記被写体の明るさが最大となるタイミングが上記撮像素子から１フレームの画像信号を読み出す期間の略中央に一致するようにすることにより、該被写体の明るさが最大となるタイミングが該撮像素子による１フレームの露光期間の略中央に一致するように制御するものであることを特徴とする請求項１に記載の撮像装置。
3. 上記撮像制御部は、上記撮像素子による１フレームの露光期間が上記フリッカ周期よりも短くなるようにさらに制御するものであることを特徴とする請求項２に記載の撮像装置。
4. 上記撮像制御部は、上記画像信号の読出周期が上記フレーム周期よりも短くなるようにさらに制御するものであることを特徴とする請求項３に記載の撮像装置。
5. 上記撮像制御部は、上記撮像素子による１画素の露光時間が、（フリッカ周期−読出周期）／２以下となるようにさらに制御するものであることを特徴とする請求項４に記載の撮像装置。
6. 上記撮影レンズは、絞りを有して構成されたものであり、
   上記撮像制御部は、絞りを開放にする条件の下で、上記制御を行うものであることを特徴とする請求項１に記載の撮像装置。
7. 上記撮影レンズは、撮像装置本体に着脱可能かつ交換可能となるように構成されたものであり、
   上記撮像制御部は、装着されている撮影レンズの絞りを開放にする条件の下で、上記制御を行うものであることを特徴とする請求項６に記載の撮像装置。
8. 上記撮像素子から読み出した画像信号のフリッカに起因するシェーディングを補正するためのシェーディング補正部をさらに具備したことを特徴とする請求項１に記載の撮像装置。
9. 撮影レンズにより結像された被写体光像を光電変換して画像信号を生成するＸＹアドレス走査型の撮像素子と、上記撮像素子から読み出された画像信号を表す画像をライブビュー表示する表示部と、を備える撮像装置の制御方法であって、
   被写体がフリッカを有する照明光源により照明されているか否かを判定し、
   フリッカを有する照明光源により照明されていると判定した場合には、さらに被写体の明るさが最大となるタイミングとフリッカ周期とを検出し、
   上記被写体の明るさが最大となるタイミングが上記撮像素子による１フレームの露光期間の略中央に一致するように、かつフレーム周期が上記フリッカ周期と等しくなるように、上記撮像素子からの画像信号の読み出しを制御する、
   ことを特徴とする撮像装置の制御方法。

Images