JP2021002772A

JP2021002772A - 撮像装置、制御方法及びプログラム

Info

Publication number: JP2021002772A
Application number: JP2019115747A
Authority: JP
Inventors: 尊志小林; Takashi Kobayashi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-06-21
Filing date: 2019-06-21
Publication date: 2021-01-07
Anticipated expiration: 2039-06-21
Also published as: JP7336889B2

Abstract

【課題】グローバルシャッタモードを実現するのに有利な撮像装置を提供する。【解決手段】被写体を撮像する撮像装置であって、被写体からの光に対応する電荷を蓄積する撮像素子と、撮像素子に光が入射する入射状態又は遮光する遮光状態を設定できるＮＤフィルタへの電圧の印加と、撮像素子の駆動を制御する制御部と、を有する。ＮＤフィルタへの印加電圧値と撮像素子の駆動を制御することで、撮像素子の露光を開始する開始タイミング及び撮像素子の露光を終了する終了タイミングは、撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードに設定できる。制御部は、グローバルシャッタモードを設定する場合に、撮像装置に設定されている、露光時間、フレームレート又は撮像素子から電荷を読み出す画素の数に基づいて、印加電圧値を決定する。【選択図】図１

Description

本発明は、撮像装置、制御方法及びプログラムに関する。

映画撮影用のフィルムカメラでは、一般的に、フィルムのコマ送りに同期して開口窓を介してフィルムを感光し、開口窓の角度を調整して露光を制御するロータリーシャッタ方式が採用されている。一方、近年では、フィルムカメラのデジタル化に伴い、フィルムをコマ送りする必要がなくなり、撮像素子上で各画素の電荷の蓄積・リセットを制御することで露光時間を調整する電子シャッタ方式が一般的になっている。

電子シャッタ方式においては、コマ送りに同期して開口窓を移動させる必要はなく、撮像素子上の制御レジスタを電気信号で制御することが可能である。一方、ＣＭＯＳイメージセンサなどのローリングシャッタ型固体撮像素子においては、撮像素子上での露光開始と露光終了のタイミングが水平ラインごとに異なるため、撮像で得られる画像の画質が劣化することがある。例えば、高速で移動する被写体の輪郭が歪んで見えたり、フラッシュ発光などの短時間の光量の変化が垂直方向のラインごとに異なる（露光状態が異なる）ことに起因してフラッシュバンド現象が現れたりして、画質の劣化をもたらす場合がある。また、蛍光灯などの周期的に光量が変化する光源下で撮像した場合に垂直方向に縞模様に似たノイズが発生する蛍光灯フリッカ現象なども、ローリングシャッタに起因する画質の劣化をもたらす。

このようなローリングシャッタ型固体撮像素子による画質の劣化を低減するためには、撮像素子の各水平ラインの露光開始タイミング及び露光終了タイミングを一致させる必要があり、このような撮像方式は、グローバルシャッタモードと呼ばれる。グローバルシャッタモードを実現するために、撮像素子と液晶シャッタ（液晶素材）とを組み合わせて各水平ラインの露光開始タイミング及び露光終了タイミングを合わせる技術が提案されている（特許文献１及び２参照）。

特許文献１には、露光開始タイミング及び露光終了タイミングを実質的に液晶シャッタで制御する技術が開示されている。かかる技術では、液晶シャッタにより撮像素子の全画素を遮光した状態で水平ラインごとに電荷の蓄積を開始し、全水平ラインの蓄積が開始された時点で液晶シャッタの透明度をあげることで、各水平ラインの露光開始タイミングを一致させている。また、所望の時間だけ露光を行った後で、液晶シャッタにより撮像素子の全画素を遮光し、水平ラインごとに電荷を読み出すことで、実質的に、各水平ラインの露光終了タイミングを一致させている。

特表２０１６−５０６６２５号公報特開平８−２２０５０２号公報

撮像素子と液晶シャッタとの組み合わせによるグローバルシャッタモードでは、液晶シャッタによって撮像素子に対する露光と遮光を行う。従って、液晶シャッタにより撮像素子を遮光している期間及び液晶シャッタの透過率を変化させている期間においては、撮像素子に対する露光が制限される。そのため、所望の露光時間に加えて、液晶シャッタにより撮像素子を遮光している期間及び液晶シャッタの透過率を変化させている期間のそれぞれに対応する時間の分だけ撮像素子の蓄積時間を延ばす必要がある。これは、被写体を繰り返し撮像し続ける動画撮像では、フレームレートに応じた撮像周期のなかで露光に用いる時間が制限されること、即ち、設定可能なフレームレートや露光時間が制限されることを意味する。

そこで、特許文献１には、液晶シャッタの透過率の変更速度を向上させるために、液晶シャッタを定常状態では維持できない電圧で一時的に駆動する技術が開示されている。また、特許文献２には、ＴＮ（ＴｗｉｓｔｅｄＮｅｍａｔｉｃ）型液晶素子において、透過率が飽和する飽和電圧値を超える電圧を印加することによって、透過率の変化速度を向上させる技術が開示されている。しかしながら、特許文献１及び２に開示された技術では、高い電圧を印加して液晶を制御しているため、消費電力の増加を招いてしまう。

本発明は、このような従来技術の課題に鑑みてなされ、グローバルシャッタモードを実現するのに有利な撮像装置を提供することを例示的目的とする。

上記目的を達成するために、本発明の一側面としての撮像装置は、被写体を撮像する撮像装置であって、前記被写体からの光に対応する電荷を蓄積する撮像素子と、前記光に対する透過率を印加電圧値に応じて可変とし、前記撮像素子に前記光が入射する入射状態、又は、前記撮像素子に対する前記光の入射を遮光する遮光状態を設定できるＮＤフィルタへの電圧の印加と、前記撮像素子の駆動を制御する制御部と、を有し、前記撮像装置が設定可能なシャッタモードとして、前記ＮＤフィルタへの前記印加電圧値と前記撮像素子の駆動を制御することで、前記撮像素子の露光を開始する開始タイミング、及び、前記撮像素子の露光を終了する終了タイミングが、前記撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードを設定でき、前記制御部は、前記グローバルシャッタモードを設定する場合に、前記撮像装置に設定されている、露光時間、フレームレート又は前記撮像素子から電荷を読み出す画素の数に基づいて、前記印加電圧値を決定する処理を行うことを特徴とする。

本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される実施形態によって明らかにされるであろう。

本発明によれば、例えば、グローバルシャッタモードを実現するのに有利な撮像装置を提供することができる。

本発明の一側面としての撮像装置の構成を示す概略図である。グローバルシャッタモードを説明するための図である。ＴＮ型液晶の電圧と濃度との関係を示す図である。ＴＮ型液晶に印加する電圧の変化量と濃度変化に要する時間との関係を示す図である。ＴＮ型液晶のオーバードライブ駆動の一例を説明するための図である。ＴＮ型液晶のオーバードライブ駆動の一例を説明するための図である。撮像素子の駆動の制御及び液晶パネルの駆動の制御の一例を示す図である。リセット信号を入力するタイミングの設定を具体的に説明するための図である。液晶パネルの駆動を切り替える処理を説明するためのフローチャートである。複数の読出方式のそれぞれに関する具体的な数値例を示す図である。ユーザインタフェース（ＵＩ）の一例を示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。更に、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、本発明の一側面としての撮像装置１の構成を示す概略図である。撮像装置１は、被写体を撮像して、例えば、被写体の動画像を得ることが可能な撮像装置であって、本実施形態では、デジタルカメラとして具現化される。撮像装置１は、レンズ群１０と、液晶パネル１１と、撮像素子１２と、信号処理部１３と、画像処理部１４と、記録処理部１５と、記録媒体１６とを有する。更に、撮像装置１は、露出制御部１７と、フォーカス制御部１８と、ズーム制御部１９と、主制御部２０と、操作部２１と、記憶部２２と、メモリ２３とを有する。

レンズ群１０は、絞りを用いて露出を制御するための機構やフォーカス動作及びズーム動作を制御するための機構を含む。レンズ群１０は、被写体からの光（入射光）を、液晶パネル１１を介して、撮像素子上に導いて光学像を形成する。この際、レンズ群１０に含まれる絞りを駆動させたり、液晶パネル１１における液晶の透明度（減光率）を変更したり、撮像素子１２の各画素での電荷の蓄積時間や電気信号の増幅率を制御したりすることで、撮像画像の露出（明るさ）を制御する。なお、レンズ群１０としては、所謂レンズ一体型の撮像装置として、撮像装置１が備える構成であってもよい。また、レンズ群１０を備えた交換レンズユニットを撮像装置１に着脱可能な構成であってもよい。この場合、一般的にマウントと称される結合部分を撮像装置１及び交換レンズユニットがそれぞれ備え、かかるマウントを介して、両者が着脱可能な関係であればよい。

液晶パネル１１は、被写体からの光に対する透過率を印加電圧値に応じて可変とする。液晶パネル１１は、撮像素子１２に光が入射する入射状態、又は、撮像素子１２に対する光の入射を遮光する遮光状態を設定するためのＮＤフィルタ（ＮｅｕｔｒａｌＤｅｎｓｉｔｙＦｉｌｔｅｒ）として機能する。本実施形態では、液晶パネル１１は、レンズ群１０と撮像素子１２との間に配置されているが、これに限定されるものではなく、透過率に応じて光を減光可能であればよい。例えば、液晶パネル１１は、レンズ群１０の外側（レンズ群１０よりも被写体側）に配置されていてもよいし、レンズ群１０の内部に配置されてレンズとともに光軸方向に移動する構成であってもよい。また、液晶パネル１１を挿脱可能な構成とし、減光やグローバルシャッタによる撮像方式（グローバルシャッタモード）が必要ない場合には、光路上から退避させてもよい。本実施形態では、電気的に透過率を制御可能な液晶パネル１１を例に説明するが、液晶素材である必要はなく、電気的に高速で透過率を変更可能であれば他の物性のシャッタであってもよい。更に、液晶パネル１１の駆動方式についてもＴＮ（ＴｗｉｓｔｅｄＮｅｍａｔｉｃ）方式に限定されるものではなく、他の駆動方式であってもよい。また、液晶パネル１１は、光路上に配置可能であればよく、撮像装置１と接続可能な別体の電気部材であってもよい。例えば、液晶パネル１１を内蔵したユニットを撮像装置１に着脱可能な構成であってもよい。例えば、ユーザビリティの向上を実現するために、上述したマウントを備えたマウントユニット自体を撮像装置１に対して着脱可能な構成において、かかるマウントユニットの内部に液晶パネル１１を備える構成であればよい。

撮像素子１２は、マトリクス状に配列された複数の画素を含み、被写体からの光に対応する電荷を蓄積する。信号処理部１３は、撮像素子１２の各画素から読み出された電荷を画像信号（電気信号）に変換して画像処理部１４に出力する。画像処理部１４は、信号処理部１３から出力された画像信号に対して、ゲイン補正などの輝度補正処理、ホワイトバランス補正などの色補正処理、その他の信号処理などを行う。また、画像処理部１４は、出力デバイスに応じて、画像信号に対して非線形変換処理を行う。記録処理部１５は、画像処理部１４から出力された画像信号に対して信号の符号化を行い、記録に適した形式やサイズの画像信号に変換する。記録媒体１６は、記録処理部１５から出力された記録可能な形式の画像信号を記録する。

主制御部２０は、ＣＰＵに代表されるプロセッサを含み、記憶部２２に記憶されたプログラムを実行して、撮像装置１の各部を制御して撮像装置１を動作させる（上述した一連の処理の流れを制御する）。記憶部２２は、電気的に消去及び記憶可能な不揮発性の記憶媒体であって、例えば、主制御部２０の動作用の定数やプログラムなどを記憶（格納）する。メモリ２３は、例えば、記憶部２２から読み出されたプログラムなどを展開するワークメモリとして機能する。

主制御部２０は、操作部２１を介して、ユーザからの操作を受け付ける。主制御部２０は、操作部２１で受け付けた操作に対応する各種の撮像モードや被写体の明るさに基づいて、露出制御部１７、フォーカス制御部１８及びズーム制御部１９を介して、露出、フォーカス及びズームに関する設定を行う。なお、本実施形態では、主制御部２０とは別に露出制御部１７、フォーカス制御部１８及びズーム制御部１９を設けているが、主制御部２０と露出制御部１７、フォーカス制御部１８及びズーム制御部１９とを一体的に構成してもよい。

主制御部２０は、本実施形態では、撮像素子１２に対するシャッタモードとして、グローバルシャッタモードと、グローバルシャッタモード以外のモードを提供する。グローバルシャッタモードとは、撮像素子１２の各画素での電荷の蓄積を開始する露光開始タイミング、及び、撮像素子１２の各画素での電荷の蓄積を終了する露光終了タイミングを一致させるシャッタモードである。主制御部２０は、液晶パネル１１の透過率と、撮像素子１２の各画素での電荷の蓄積及び読み出しとを制御することでグローバルシャッタモードを提供する。

図２を参照して、撮像素子１２の駆動（電荷の蓄積及び読み出し）の制御と、液晶パネル１１の駆動（濃度（透過率））の制御とを組み合わせて実現されるグローバルシャッタモードを説明する。図２の上部には、撮像素子１２における各ラインの画素での露光開始タイミングと、撮像素子１２における各ラインの画素での露光終了タイミングとが示されている。なお、露光終了タイミングは、撮像素子１２における各ラインの画素に蓄積された電荷の読み出しを開始するタイミングでもある。ここでは、撮像装置１に設定されているフレームレートに応じた最大の露光時間を実現する場合を例に説明する。

まず、撮像素子１２の駆動について着目する。主制御部２０は、撮像素子１２に対してフレームレートに応じた垂直同期信号Ｖｄを入力する。主制御部２０から入力された垂直同期信号Ｖｄに同期して、撮像素子１２は、最上部のラインの画素から、順次、電荷の蓄積を開始する。そして、主制御部２０から次の垂直同期信号Ｖｄが入力される直前のタイミングにおいて、撮像素子１２は、最上部のラインの画素から、順次、電荷の蓄積を終了し、電荷（画像信号）の読み出しが開始される。

次に、液晶パネル１１の駆動について着目する。図２の下部には、撮像素子１２の駆動に応じた液晶パネル１１の濃度（透過率）の変化が示されている。液晶パネル１１は、撮像素子１２の各画素での電荷の蓄積が順次開始される前のタイミングにおいて、濃度を最大にして撮像素子１２の全体を遮光する（即ち、着色により撮像素子１２に対する光の入射を遮光する遮光状態とする）。そして、液晶パネル１１は、撮像素子１２の最下部のラインの画素での電荷の蓄積が開始されたタイミングにおいて、濃度を最小にして撮像素子１２に光を入射させる（即ち、消色により撮像素子１２に光が入射する入射状態とする）。液晶パネル１１の濃度が最小になると、即ち、消色が完了すると、撮像素子１２の各画素は同時に露光される。この際、液晶パネル１１は、ＰＷＭ（ＰｕｌｓｅＷｉｄｔｈＭｏｄｕｌａｔｉｏｎ）による電圧変化に応答し、濃度を高速で（瞬間的に）変化させることが可能である。但し、液晶パネル１１の濃度を高速で変化させることが可能であっても、実際には微小な時間を要しているため、その間に、撮像素子１２の各画素が露光されて電荷を蓄積してしまう。液晶パネル１１の消色の期間は、液晶パネル１１の濃度が中間濃度であるとして、実質的に、消色の期間の半分の期間は、撮像素子１２の各画素が露光されているとみなすことができる。

撮像素子１２の各画素が同時に露光され、所望の露光時間が経過すると、液晶パネル１１は、濃度を最大にして撮像素子１２の全体を遮光する。かかる着色の際も、実際には微小な時間を要しているため、その間に、撮像素子１２の各画素が露光されて電荷を蓄積してしまう。従って、液晶パネル１１の着色の期間は、液晶パネル１１の濃度が中間濃度であるとして、実質的に、着色の期間の半分の期間は、撮像素子１２の各画素が露光されているとみなすことができる。液晶パネル１１による撮像素子１２の全体の遮光が完了すると、撮像素子１２の最上部のラインの画素から、順次、電荷の読み出しを開始する。

このように、主制御部２０は、撮像素子１２の駆動と液晶パネル１１の駆動とを同期して制御する。これにより、ローリングシャッタ型の撮像素子１２においても、各ラインの画素での露光開始タイミング、及び、各ラインの画素での露光終了タイミングを一致させ、グローバルシャッタモードを実現することができる。

図２において、１つの垂直同期信号Ｖｄに対応する期間における露光時間に着目すると、撮像素子１２を遮光状態とする期間や液晶パネル１１の着色及び消色に要する時間に対応する期間は、上述したように、撮像素子１２を露光することができない。従って、グローバルシャッタモードにおいては、撮像素子１２を露光可能な時間が大きく制限される。また、撮像素子１２を露光可能な時間が制限されるということは、被写体を撮像して画像を取得する周期（撮像周期）、即ち、フレームレートの制限にもつながる。このように、グローバルシャッタモードでは、撮像装置１に設定可能なフレームレートが制限されてしまう。そこで、本実施形態では、上述したようなグローバルシャッタモードにおける課題を解決する。

図３は、液晶パネル１１の一例としてのＴＮ型液晶の電圧と濃度（透過率）との関係を示す図である。ＴＮ型液晶は、一般的に、ＴＮ型液晶に印加させる印加電圧値が高くなると濃度が低くなり（透明になり）、印加電圧値が低くなると濃度が高くなる（不透明になる）。図３において、Ｄｍｉｎは、ＴＮ型液晶の最低濃度（透過率の飽和値）であり、Ｖｓは、ＴＮ型液晶の最低濃度を実現する（最低濃度に対応する）電圧値を示している。液晶素材では、材質に固有の減限界透明度があるため、最低濃度Ｄｍｉｎに対応する電圧値Ｖｓ（第１電圧値）よりも大きい電圧値Ｖｏ（第２電圧値）を印加しても、液晶素材の透明度は変化しない。

図４は、ＴＮ型液晶に印加する電圧の変化量（電圧差）と、ＴＮ型液晶の濃度変化に要する時間との関係を示す図である。図４に示すように、ＴＮ型液晶は、一般的に、ＴＮ型液晶に印加する電圧の変化量が大きくなるほど、ＴＮ型液晶の濃度変化に要する時間が短くなる傾向を有する。ここで、撮像素子１２の状態（液晶パネル１１によって設定される状態）を遮光状態から入射状態（露光状態）に変化させたい場合を考える。この場合、ＴＮ型液晶に印加する印加電圧値を、電圧値Ｖｓではなく、電圧値Ｖｏとすると、電圧の変化量が大きくなるため、ＴＮ型液晶の濃度変化に要する時間を短縮することができる（オーバードライブ駆動）。

図５及び図６を参照して、ＴＮ型液晶のオーバードライブ駆動の一例について説明する。ＴＮ型液晶に電圧を印加する方法としては、ＯＮ／ＯＦＦを周期的に切り替え、ＯＮとＯＦＦとの時間比率を変えることで、実質的に、直流電圧とみなせるように、ＴＮ型液晶に印加する電圧を制御するＰＷＭ制御が知られている。ＴＮ型液晶の消色の動作時において、ＰＷＭ制御によって、電圧値Ｖｏを定常的にＴＮ型液晶に印加した場合の例を図５に示す。また、ＴＮ型液晶の消色の動作時において、初期の一定期間だけＰＷＭ制御によって電圧値Ｖｏを瞬間的にＴＮ型液晶に印加し、その後、ＴＮ型液晶に印加する電圧値を変更して、電圧値Ｖｓを定常的にＴＮ型液晶に印加した場合の例を図６に示す。いずれの例であっても、ＴＮ型液晶の消色に要する時間を短縮することができる。なお、図６に示す例は、図５に示す例と比較して、ＴＮ型液晶に定常的に高い電圧を印加していないため、消費電力を抑えることが可能である。但し、図６に示す例は、図５に示す例と比較して、ＴＮ型液晶に印加する電圧が目標電圧に収束するまでに時間を要するため、例えば、露光状態からすぐに遮光状態にしたい場合には不利となる。このように、図５及び図６に示す例は、ＴＮ型液晶の濃度変化（透過率変化）に要する時間を短縮することができる。また、図６に示す例は、図５に示す例と比較して、消費電力の増加を抑えることができる。

図７は、露光時間が短い場合、即ち、高速シャッタの場合における撮像素子１２の駆動（電荷の蓄積及び読み出し）の制御及び液晶パネル１１の駆動（濃度（透過率））の制御の一例を示す図である。液晶パネル１１の消色を高速で行う場合、垂直同期信号Ｖｄに同期して、撮像素子１２の各画素での電荷の蓄積を開始するが、所定の時間が経過したタイミングで、各画素（ライン）に電荷のリセット信号（吐き捨てパルス）を入力する。そして、撮像素子１２の各ラインの画素での電荷の蓄積が改めて開始されたタイミングにおいて、液晶パネル１１の消色を開始して、撮像素子１２の各画素を同時に露光する。この際、液晶パネル１１の消色を高速で行うことによって、撮像素子１２の最下部のラインの画素での電荷の蓄積が開始されるタイミングから短時間で撮像素子１２の全画素が露光される。但し、実際には、上述したように、液晶パネル１１の消色の期間も撮像素子１２の各画素は露光されるため、実質的に、消色の期間の半分の期間は、撮像素子１２の各画素が露光されているとみなすことができる（露光量を時間換算することができる）。その後、所望の露光時間が経過したら、液晶パネル１１の着色を開始して、撮像素子１２の全体を遮光してから、撮像素子１２の最上部のラインの画素から、順次、電荷の読み出しを開始する。

一方、液晶パネル１１の消色を高速で行わない場合（液晶パネル１１の消色を通常に行う場合）には、液晶パネル１１の消色を高速で行う場合と比較して、液晶パネル１１の消色（濃度変化）に要する時間が長くなる。上述したように、液晶パネル１１の消色の半分の期間は、撮像素子１２の各画素が露光されているとみなし、露光量を時間換算することができる。液晶パネル１１の消色を高速で行わない場合、液晶パネル１１の濃度変化の期間の中心が、液晶パネル１１の消色を高速で行う場合における液晶パネル１１の濃度変化の期間の中心と同じタイミングになるように、消色を開始するタイミングを早める。これにより、液晶パネル１１の消色を高速で行わなくても、実質的に、同じ露光量を確保することができる。液晶パネル１１の消色は、上述したように、撮像素子１２の最下部のラインの画素での電荷の蓄積が開始されるタイミングに同期して開始する。従って、液晶パネル１１の消色を開始するタイミングを早めるためには、液晶パネル１１の濃度の変化速度の差に起因する露光量の差を相殺する時間の分だけ、リセット信号を入力するタイミングを早める必要がある。

図８を参照して、液晶パネル１１の消色を高速で行わない場合において、リセット信号を入力するタイミングの設定について具体的に説明する。図８に示すように、液晶パネル１１の消色を高速で行う場合（高速駆動）において、液晶パネル１１の消色に要する時間をＳｈｉｇｈとする。また、液晶パネル１１の消色を通常に行う場合（通常駆動）において、液晶パネル１１の消色に要する時間をＳｎｏｒｍとする。この場合、液晶パネル１１の消色を高速で行う場合と液晶パネル１１の消色を通常に行う場合とで、リセット信号を入力するタイミングの差Δｔは、以下の式（１）で算出される。なお、差Δｔは、液晶パネル１１の通常駆動において透過率が飽和値に到達するまでに要する時間と、液晶パネル１１の高速駆動において透過率が飽和値に到達するまでに要する時間との時間差でもある。

液晶パネル１１の高速駆動は、液晶パネル１１の濃度変化に要する時間を短縮することができるが、消費電力が増加してしまう。一方、液晶パネル１１の通常駆動では、撮像装置１に設定可能なフレームレートや露光時間が制限されてしまう。

そこで、本実施形態では、撮像装置１に設定されたフレームレート又は露光時間に基づいて、液晶パネル１１の駆動を高速駆動又は通常駆動に切り替える、具体的には、高速駆動が不要な場合には、通常駆動に切り替えることで、消費電力の増加を抑える。このように、本実施形態では、撮像装置１に設定されたフレームレート又は露光時間に基づいて、液晶パネル１１を高速駆動するか、或いは、液晶パネル１１を低速駆動するか、を選択する。そして、例えば、液晶パネル１１を高速駆動する場合（第２モード）には、液晶パネル１１に対して、図５や図６に示したように、液晶パネル１１の濃度（透過率）の飽和値に対応する電圧値Ｖｓよりも大きな電圧値Ｖｏを印加する。一方、液晶パネル１１を通常駆動する場合（第１モード）には、液晶パネル１１に対して、液晶パネル１１の透過率の飽和値に対応する電圧値Ｖｓを印加する。なお、液晶パネル１１を高速駆動する場合、上述したように、液晶パネル１１に電圧を印加してから液晶パネル１１の透過率が飽和値に到達するまでに要する時間が液晶パネル１１を通常駆動する場合よりも短くなる。また、以下では、撮像装置１に設定されたフレームレート又は露光時間に基づいて、液晶パネル１１を高速駆動するか、或いは、液晶パネル１１を低速駆動するか、を選択する場合を例に説明する。但し、液晶パネル１１を高速駆動するか、或いは、液晶パネル１１を低速駆動するか、を選択する代わりに、液晶パネル１１に印加する印加電圧値を決定する処理を行い、かかる処理で決定した印加電圧値を液晶パネル１１に印加するようにしてもよい。

図９を参照して、グローバルシャッタモードにおいて、液晶パネル１１の駆動を切り替える処理について説明する。Ｓ１００において、主制御部２０は、撮像装置１に設定されているフレームレートを取得する。Ｓ１０１において、主制御部２０は、撮像装置１に設定されている露光時間（シャッタ速度）を取得する。Ｓ１０２において、主制御部２０は、撮像装置１に設定されている撮像素子１２の各画素から電荷を読み出す際の読出方式に対応する読出時間（ローリングシャッタ時間）を取得する。Ｓ１０３において、主制御部２０は、Ｓ１００で取得したフレームレートと、Ｓ１０１で取得した露光時間と、Ｓ１０２で取得した読出時間とを用いて、１つの垂直同期信号Ｖｄに対応する期間における余裕時間を算出する。具体的には、１つの垂直同期信号Ｖｄに対応する期間をフレームレートの逆数として算出し、そこから、Ｓ１０１で取得した露光時間と、Ｓ１０２で取得した読出時間と、液晶パネル１１の着色及び消色に要する時間とを減算する。このようにして算出された時間は、１つの垂直同期信号Ｖｄに対応する期間で残っている余裕時間である。Ｓ１０４において、主制御部２０は、Ｓ１０３で算出した余裕時間とリセット信号を入力するタイミングの差Δｔとを比較し、余裕時間が差Δｔよりも大きいかどうかを判定する。余裕時間がΔｔよりも大きくない場合、即ち、余裕時間がΔｔよりも小さい場合には、Ｓ１０５に移行して、液晶パネル１１を高速駆動する（液晶パネル１１の駆動として高速駆動を選択する）。一方、余裕時間がΔｔよりも大きい場合、液晶パネル１１の駆動を高速駆動から通常駆動に切り替えるだけの時間的な余裕があることを意味するため、Ｓ１０６に移行して、液晶パネル１１を通常駆動する（液晶パネル１１の駆動として通常駆動を選択する）。なお、液晶パネル１１を通常駆動する場合には、上述したように、撮像素子１２にリセット信号を入力するタイミングもΔｔだけ早める必要がある。

ここで、具体的な数値を参照しながら、液晶パネル１１の駆動を切り替える処理を説明する。図１０は、撮像素子１２から電荷を読み出す際の読出方式としての読出方式ＲＭ１及びＲＭ２のそれぞれに関する具体的な数値例を示す図である。図１０では、読出方式ＲＭ１及びＲＭ２のそれぞれについて、液晶パネル１１を高速駆動する場合の数値及び液晶パネル１１を通常駆動する場合の数値を示している。リセット信号を入力するタイミングの差Δｔは、１．５ｍｓｅｃとする。

読出方式ＲＭ１は、フレームレートが２４ｆｐｓ、１つの垂直同期信号Ｖｄに対応する期間が４１．７ｍｓｅｃ、読出時間が１１．８ｍｓｅｃ、液晶パネル１１を高速駆動する場合の濃度変化に要する時間（露光不可時間）が９．２ｍｓｅｃとなる読出方式である。この場合、余裕時間は、４１．７−１１．８−９．２＝２０．７ｍｓｅｃとなり、約１／４８ｓｅｃのシャッタ速度に相当する。従って、読出方式ＲＭ１で液晶パネル１１を高速駆動する場合には、撮像装置１に設定可能なシャッタ速度の範囲は０〜１／４８ｓｅｃとなる。一方、読出方式ＲＭ１で液晶パネル１１を通常駆動する場合には、液晶パネル１１を高速駆動する場合と比較して、液晶パネル１１の濃度変化に要する時間（露光不可時間）が１．５ｍｓｅｃだけ長くなっている。従って、読出方式ＲＭ１で液晶パネル１１を通常駆動する場合には、撮像装置１に設定可能なシャッタ速度の範囲は０〜１／５２ｓｅｃとなる。このため、１／４８〜１／５２ｓｅｃのシャッタ速度を設定する場合には、読出方式ＲＭ１における液晶パネル１１の高速駆動でしか実現することができない。但し、１／５２ｓｅｃ以上のシャッタ速度を設定する場合には、読出方式ＲＭ１における液晶パネル１１の高速駆動及び通常駆動の両方で実現することが可能である。

そこで、撮像装置１に設定されるシャッタ速度が１／４８〜１／５２ｓｅｃの範囲であれば、読出方式ＲＭ１で液晶パネル１１を高速駆動することでグローバルシャッタモードを実現する。一方、撮像装置１に設定されるシャッタ速度が１／５２ｓｅｃ以上であれば、読出方式ＲＭ１で液晶パネル１１を通常駆動することでグローバルシャッタモードを実現する。

読出方式ＲＭ２は、読出方式１とはフレームレート、画像のサイズ及びビット深度が異なる。読出方式ＲＭ２においては、液晶パネル１１を高速駆動する場合には、撮像装置１に設定可能なシャッタ速度は１／１５４ｓｅｃまでとり、液晶パネル１１を通常駆動する場合には、撮像装置１に設定可能なシャッタ速度は１／２００ｓｅｃまでとなる。

そこで、撮像装置１に設定されるシャッタ速度が１／１５４〜１／２００ｓｅｃの範囲であれば、読出方式ＲＭ２で液晶パネル１１を高速駆動することでグローバルシャッタモードを実現する。一方、撮像装置１に設定されるシャッタ速度が１／２００ｓｅｃ以上であれば、読出方式ＲＭ２で液晶パネル１１を通常駆動することでグローバルシャッタモードを実現する。

このように、撮像装置１に設定されるシャッタ速度に基づいて、液晶パネル１１を高速駆動する必要がない場合には、液晶パネル１１を通常駆動することで、消費電力の増加を抑えることができる。

読出方式ＲＭ１と読出方式ＲＭ２とを比較すると、撮像素子１２から電荷を読み出す画素の数とビット深度が異なり、読出方式ＲＭ１における読出時間は、読出方式ＲＭ２における読出時間よりも短い。読出時間が短いということは、撮像装置１に設定可能なシャッタ速度やフレームレートが向上することを意味する。従って、液晶パネル１１の駆動方式を変更するだけでなく、読出方式を変更することでもフレームレートや露光時間の制限を下げることが可能である。例えば、シャッタ速度を考えると、１／５４ｓｅｃまでは液晶パネル１１を通常駆動し、１／５４〜１／４８ｓｅｃの範囲では液晶パネル１１を高速駆動し、１／４８ｓｅｃ以上では読出方式を変更する。これにより、消費電力の増加を抑えながら、撮像装置１に任意のシャッタ速度を設定することが可能となる。

また、本実施形態では、シャッタ速度に関して説明したが、自動露出制御（ＡＥ）に限れば、フレームレートや読出方式の仕様に応じた最適なシャッタ中心の自動露出制御を行うことができる。グローバルシャッタモードの自動露出制御においては、例えば、図１１に示すように、グローバルシャッタモードの自動露出制御におけるモードをユーザに選択させるユーザインタフェース（ＵＩ）を提供するとよい。かかるＵＩは、主制御部２０の制御下において、例えば、タッチパネルなどの表示装置を含む操作部２１を介して、ユーザに提供される。ＵＩでは、グローバルシャッタモードの自動露出制御において、通常モード、又は、通常モードよりも消費電力を抑えることを優先する省電優先モードをユーザに選択させる。省電優先モードでは、液晶パネル１１の駆動方式として、消費電力が増加する高速駆動は使用せず、通常駆動だけで実現可能なシャッタ速度で動作する。具体的には、読出方式ＲＭ１では、１／２０００〜１／５４ｓｅｃなどの範囲を常用として動作させ、読出方式ＲＭ２では、１／２０００〜１／２００ｓｅｃを常用として動作する自動露出制御とする。但し、あくまでも優先的に動作させるだけであって、低照度の被写体であれば、液晶パネル１１の駆動方式として高速駆動（低速シャッタ）を用いてもよい。また、ユーザが省電優先モードを明示的に選択していなくても、撮像装置１に対して有線で電源を供給せず、バッテリのみで電源を供給する場合には、省電優先モードとして動作させてもよい。

本実施形態では、液晶素材などの電気的に透過率を制御可能な物性シャッタとローリングシャッタ型固体撮像素子とを組み合わせ、消費電力の増加を抑えながらフレームレートや露光時間の制限を軽減する撮像装置１について説明した。また、撮像素子１２から電荷を読み出す際の具体的な読出方式の仕様を一例として示しながら説明したが、読出時間や画素数、ビット深度など仕様の異なる撮像素子に対しても本実施形態は適用可能である。また、読出時間の異なる読出方式として、画素数やビット深度を条件として制御仕様を説明したが、他の条件により読出方式が異なっていてもよい。例えば、積層構造の撮像素子による読み出しを利用して読出時間を短縮する方法、１つの画素から感度を変えながら複数回読み出す方式を切り替える方法、焦点検出用の視差を発生させる画像の読出方式を切り替える方法などでもよい。

本実施形態では、液晶パネル１１の例としてＴＮ型液晶をオーバードライブ駆動することで消色速度を向上させる際の動作を説明したが、これに限定されるものではなく、液晶パネル１１を他の減光素子に置換してもよい。また、オーバードライブ駆動によって高速で濃度（透過率）を変化させることが可能であれば、消色方向の制御に限定されるものでもない。

本実施形態では、ＰＷＭ制御によって液晶パネル１１に電圧を印加する例を説明したが、液晶パネル１１に対する入力は、直流電圧や交流電圧に限定されるものではなく、累積電荷そのものであってもよい。また、本実施形態では、画像の出力先については省略したが、出力先としては、再生機器、撮像装置、その他の機器であってもよく、本発明を制限するものではない。

本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：撮像装置１１：液晶パネル１２：撮像素子２０：主制御部

Claims

被写体を撮像する撮像装置であって、
前記被写体からの光に対応する電荷を蓄積する撮像素子と、
前記光に対する透過率を印加電圧値に応じて可変とし、前記撮像素子に前記光が入射する入射状態、又は、前記撮像素子に対する前記光の入射を遮光する遮光状態を設定できるＮＤフィルタへの電圧の印加と、前記撮像素子の駆動を制御する制御部と、を有し、
前記撮像装置が設定可能なシャッタモードとして、前記ＮＤフィルタへの前記印加電圧値と前記撮像素子の駆動を制御することで、前記撮像素子の露光を開始する開始タイミング、及び、前記撮像素子の露光を終了する終了タイミングが、前記撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードを設定でき、
前記制御部は、前記グローバルシャッタモードを設定する場合に、前記撮像装置に設定されている、露光時間、フレームレート又は前記撮像素子から電荷を読み出す画素の数に基づいて、前記印加電圧値を決定する処理を行うことを特徴とする撮像装置。
前記制御部は、前記処理として、予め設定されている、第１電圧値又は前記第１電圧値よりも大きな第２電圧値を選択することを特徴とする請求項１に記載の撮像装置。
前記制御部は、前記処理として、前記ＮＤフィルタの透過率の飽和値に対応する第１電圧値を前記印加電圧値とする第１モード又は前記第１電圧値よりも大きな第２電圧値を前記印加電圧値とする第２モードを選択することを特徴とする請求項１に記載の撮像装置。
前記第２モードは、前記ＮＤフィルタに電圧を印加してから前記ＮＤフィルタの透過率が前記飽和値に到達するまでに要する時間が前記第１モードよりも短いモードであることを特徴とする請求項３に記載の撮像装置。
前記制御部は、前記露光時間、前記フレームレート又は前記画素の数から得られる、１つの画像を取得するための期間における余裕時間と、前記第１モードにおいて前記ＮＤフィルタの透過率が前記飽和値に到達するまでに要する時間と前記第２モードにおいて前記ＮＤフィルタの透過率が前記飽和値に到達するまでに要する時間との時間差とに基づいて、前記第１モード又は前記第２モードを選択することを特徴とする請求項３又は４に記載の撮像装置。
前記制御部は、前記１つの画像を取得するための期間に対応する時間から前記ＮＤフィルタの透過率を変化させるのに要する時間を減算することによって前記余裕時間を求めることを特徴とする請求項５に記載の撮像装置。
被写体からの光に対応する電荷を蓄積する撮像素子を備える撮像装置の制御方法であって、
前記光に対する透過率を印加電圧値に応じて可変とし、前記撮像素子に前記光が入射する入射状態、又は、前記撮像素子に対する前記光の入射を遮光する遮光状態を設定できるＮＤフィルタへの電圧の印加と、前記撮像素子の駆動を制御する制御工程を有し、
前記制御工程では、前記撮像素子の露光を開始する開始タイミング、及び、前記撮像素子の露光を終了する終了タイミングが、前記撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードを設定でき、当該グローバルシャッタモードでは、前記撮像装置に設定されている、露光時間、フレームレート又は前記撮像素子から電荷を読み出す画素の数に基づいて、前記印加電圧値を決定することを特徴とする制御方法。
請求項７に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。