JP2013031010A - 撮像装置、撮像方法およびプログラム - Google Patents

Abstract

【課題】ＣＭＯＳセンサによって撮影を行う際に画像内で生じる明るさのムラを確実に防止することができる撮像装置、撮像方法およびプログラムを提供する。
【解決手段】絞り３０４を含む光学系３０１を有し、所定の視野領域から光を集光するレンズ部３と、レンズ部３を介して集光される光を受光して光電変換を行う複数の画素を縦横に二次元的に配列し、各画素で変換された電気信号を複数の画像が配列された水平方向のライン毎に異なるタイミングで順次読み出して画像データを連続的に生成する撮像素子２０３と、撮像素子２０３が連続的に生成した画像データに対応する画像を順次表示する表示部２１０と、絞り３０４の絞り値の時間変化量を予測して撮像素子２０３の露光時間を水平方向のライン毎にそれぞれ補正する露光時間補正部２１３ｅと、を備える。
【選択図】図２

Description

本発明は、被写体を撮像して電子的な画像データを生成する撮像装置、撮像方法およびプログラムに関する。

近年、デジタルカメラやデジタルビデオカメラ等の撮像装置では、多様な撮影シーンにそれぞれ適した撮影を行うことができる。たとえば、動画撮影の途中で絞り値を変更した場合であっても、絞り値に応じて露出を自動的に切換えるＡＥ（Automatic Exposure）処理を行うことができる技術が知られている（特許文献１参照）。この技術では、交換レンズから受信した絞りの駆動速度に関する情報に基づいて、絞りの駆動が開始されてから終了するまでの期間の途中で画像データを生成する撮像素子の露光時間を変更することで、円滑なＡＥ処理を行っている。

このような撮像装置が有する撮像素子としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを適用する場合がある。ＣＭＯＳセンサは、ライン毎に読み出すローリングシャッタを行うことにより画像データを生成する。

特開２０１０−２９００号公報

しかしながら、撮像素子としてＣＭＯＳセンサを適用する場合、従来では絞りの変化途中においてＣＭＯＳセンサのライン毎における露出時間のムラについて考慮されていなかった。このため、最初に読み出すラインと最後に読み出すラインとでは、絞りが変化することで蓄積される光量が異なってしまい、撮像された画像データに対応する画像内に明るさのムラ（ローリングシャッタ効果）が生じるという問題点があった。

この問題点をより具体的に説明する。図９は、従来の撮像装置を用いて動画撮影する際の状況を示す模式図である。図１０は、図９の状況下で撮影者が撮像装置を用いて暗い視野領域から明るい視野領域にパンニング操作を行ったときの動画の一例を示す図である。図９に示す状況下で、撮影者が撮像装置１００を用いてパンニング操作（矢印（ａ）を参照）を行った場合、開始時点では適正露出だが、撮像装置１００によって撮影される視野領域が、たとえば暗い視野領域から明るい視野領域に移動するとき、適正露出になるように絞りを自動的に変更するので、隣接するフレーム間（図１０（ａ）〜（ｄ））で画像内に明るさのムラが生じていた（Ｗ_n→Ｗ_n+1→Ｗ_n+2→Ｗ_n+3）。

本発明は、上記に鑑みてなされたものであって、ＣＭＯＳセンサによって撮影する際に画像内で生じる明るさのムラを抑制することができる撮像装置、撮像方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、可変絞りを含む光学系を有し、所定の視野領域から光を集光するレンズ部と、前記レンズ部を介して集光される光を受光して光電変換を行う複数の画素を縦横に二次元的に配列し、前記画素で変換された電気信号を複数の画像が配列された水平方向のライン毎に異なるタイミングで順次読み出して画像データを連続的に生成する撮像素子と、前記撮像素子が連続的に生成した前記画像データに対応する画像を順次表示する表示部と、前記可変絞りの絞り値の時間変化量を予測して前記撮像素子の露光時間を水平方向のライン毎に補正する露光時間補正部と、を備えたことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記画像データに含まれる情報に基づいて、前記可変絞りの絞り値の目標値を算出する目標値算出部をさらに備え、前記露光時間補正部は、前記目標値算出部が算出した前記目標値に基づいて、前記時間変化量を算出することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記画像データに含まれる情報に基づいて、前記撮像素子の露光時間を算出する露光時間算出部をさらに備え、前記露光時間補正部は、前記露光時間算出部が算出した前記露光時間と前記時間変化量とに基づいて、前記撮像素子の露光時間を水平方向のライン毎に補正することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記画像データに含まれる情報は、被写体の輝度情報と、前記撮像素子の撮影感度と、前記時間変化量および最新の絞り値を用いて算出される前記可変絞りの絞り値の予測値とを含むことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記撮像素子が生成する前記画像データに対し、少なくともゲインを調整する画像処理部と、前記可変絞りの絞り値を検出する絞り値検出部と、前記絞り値検出部が検出した絞り値と前記予測値との差に基づいて、前記画像処理部が前記画像データに対して行うゲインを設定するゲイン設定部と、をさらに備えたことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記レンズ部は、前記可変絞りを駆動する絞り駆動部と、前記可変絞りの絞り値を検出する絞り値検出部と、前記絞り駆動部を制御するとともに、前記絞り値検出部が検出した最新の絞り値を周期的に当該撮像装置の本体部に出力することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記レンズ部は、前記本体部に対して着脱自在であることを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記露光時間補正部は、前記可変絞りの駆動時において前記撮像素子の露光時間を水平方向のライン毎に周期的に補正することを特徴とする。

また、本発明にかかる撮像方法は、可変絞りを含む光学系を有し、所定の視野領域から光を集光するレンズ部と、前記レンズ部を介して集光される光を受光して光電変換を行う複数の画素を縦横に二次元的に配列し、前記画素で変換された電気信号を複数の画像が配列された水平方向のライン毎に異なるタイミングで順次読み出して画像データを連続的に生成する撮像素子とを備えた撮像装置が実行する撮像方法であって、前記可変絞りの絞り値の時間変化量を予測して前記撮像素子の露光時間を水平方向のライン毎にそれぞれ補正する露光時間補正ステップ、を含むことを特徴とする。

また、本発明にかかるプログラムは、可変絞りを含む光学系を有し、所定の視野領域から光を集光するレンズ部と、前記レンズ部を介して集光される光を受光して光電変換を行う複数の画素を縦横に二次元的に配列し、前記画素で変換された電気信号を複数の画像が配列された水平方向のライン毎に異なるタイミングで順次読み出して画像データを連続的に生成する撮像素子とを備えた撮像装置に実行させるプログラムであって、前記可変絞りの絞り値の時間変化量を予測して前記撮像素子の露光時間を水平方向のライン毎にそれぞれ補正する露光時間補正ステップ、を実行させることを特徴とする。

本発明によれば、露光時間補正部がレンズ部の絞りの駆動時において絞り絞り値の時間変化量を予測して撮像素子の露光時間を水平方向のライン毎に補正する。この結果、撮影を行う際に画像内で生じる明るさのムラを抑制することができるという効果を奏する。

図１は、本発明の一実施の形態にかかる撮像装置の撮影者に面する側の構成を示す図である。 図２は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。 図３は、本発明の一実施の形態にかかる撮像装置が行う処理の概要を示すフローチャートである。 図４は、図３の露光時間補正処理の概要を示すフローチャートである。 図５は、図３の露光時間補正処理のタイミングチャートを示す図である。 図６は、露光時間補正部が撮像素子の露光時間を水平方向におけるライン毎にそれぞれ補正する際の概要を説明する図である。 図７は、図３のフレームムラ補正処理の概要を示すフローチャートである。 図８は、本発明の一実施の形態にかかる撮像装置が撮影する動画の一例を示す図である。 図９は、従来の撮像装置を用いて動画撮影する際の状況を示す模式図である。 図１０は、図９の状況下で撮像装置を用いて暗い視野領域から明るい視野領域にパンニング操作を行ったときの動画の一例を示す図である。

以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下の説明において、本発明にかかる撮像装置の一例としてデジタル一眼レフカメラを例示するが、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。

図１は、本発明の一実施の形態にかかる撮像装置１の撮影者に面する側（背面側）の構成を示す図である。図２は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。図１および図２に示すように、撮像装置１は、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。

図１および図２に示すように、本体部２は、シャッタ２０１と、シャッタ駆動部２０２と、撮像素子２０３と、撮像素子駆動部２０４と、信号処理部２０５と、発光部２０６と、同期信号生成部２０７と、本体通信部２０８と、操作入力部２０９と、表示部２１０と、タッチパネル２１１と、記憶部２１２と、制御部２１３（以下、「ＢＣＰＵ２１３」という）と、を備える。

シャッタ２０１は、開閉動作を行うことにより、撮像素子２０３の状態を露光状態または遮光状態に設定する露光動作を行う。シャッタ２０１は、フォーカルプレンシャッタ等を用いて構成される。シャッタ駆動部２０２は、ステッピングモータ等を用いて構成され、ＢＣＰＵ２１３から入力される指示信号に応じてシャッタ２０１を駆動する。

撮像素子２０３は、ＣＭＯＳセンサを用いて構成され、レンズ部３が集光した光を受光して光電変換を行うことによって画像データを連続的に生成する。撮像素子２０３は、レンズ部３が集光した光を受光して光電変換を行う複数の画素を二次元的に配列される。撮像素子２０３は、各画素で変換された電気信号を水平方向のライン毎に異なるタイミングで順次読み出して画像データを生成する。具体的には、撮像素子２０３は、ローリングシャッタ方式により画像データを生成する。撮像素子駆動部２０４は、所定のタイミング（たとえば３０ｆｐｓ）に応じて撮像素子２０３を駆動させる。具体的には、撮像素子駆動部２０４は、同期信号生成部２０７によって生成される同期信号に基づいて、撮像素子２０３を同期して駆動させるための駆動タイミング信号を生成し、生成した駆動タイミングを撮像素子２０３に出力する。

信号処理部２０５は、撮像素子２０３から出力されるアナログ信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データ（ＲＡＷデータ）を生成してＢＣＰＵ２１３に出力する。

発光部２０６は、キセノンランプまたはＬＥＤ（Light Emitting Diode）等を用いて構成され、撮像装置１が撮影する視野領域へ向けて補助光である光を照射する。

同期信号生成部２０７は、ＢＣＰＵ２１３からの指示に応じて、垂直同期信号Ｖ_Dおよび水平同期信号Ｈ_Dを生成する。同期信号生成部２０７は、ＢＣＰＵ２１３を介して垂直同期信号Ｖ_Dおよび水平同期信号Ｈ_Dに出力する。なお、同期信号生成部２０７は、ＢＣＰＵ２１３に一体的に設けられてもよい。

本体通信部２０８は、本体部２に装着されるレンズ部３との通信を行うための通信インターフェースである。

操作入力部２０９は、図１に示すように、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ２０９ａと、静止画撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ２０９ｂと、撮像装置１に設定された各種撮影モードを切換える撮影モード切換スイッチ２０９ｃと、動画撮影の指示を与える動画スイッチ２０９ｄと、撮像装置１の各種パラメータを設定するメニュースイッチ２０９ｅと、を有する。

表示部２１０は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現される。表示部２１０は、画像データに対応する画像を表示する。表示部２１０は、撮像装置１の撮影動作に関する操作情報や撮影に関する撮影情報を表示する。

タッチパネル２１１は、表示部２１０の表示画面上に設けられる。タッチパネル２１１は、撮影者が表示部２１０で表示される情報に基づいてタッチ（接触）した位置を検出し、この検出したタッチ位置に応じた信号をＢＣＰＵ２１３へ出力する。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。

記憶部２１２は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。記憶部２１２は、撮像装置１を動作させるための各種プログラムおよびプログラムの実行中に使用される各種データやパラメータ等を記憶する。記憶部２１２は、画像データを記憶するとともに、本体部２に装着可能なレンズ部３の情報およびレンズ部３の種類に応じた画像データの補正情報等を記憶する。記憶部２１２は、Ｐ線図記憶部２１２ａを有する。Ｐ線図記憶部２１２ａは、撮像装置１が自動露出（ＡＥ）制御を行う際に参照するプログラム線図（Ｐ線図）情報を記憶する。なお、記憶部２１２は、外部から装着されるメモリカード等のコンピュータで読取可能な記憶媒体を含むものであってもよい。

ＢＣＰＵ２１３は、ＣＰＵ（Central Processing Unit）等を用いて構成される。ＢＣＰＵ２１３は、操作入力部２０９からの指示信号およびタッチパネル２１１からの位置信号等に応じて撮像装置１を構成する各部に対する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。

ＢＣＰＵ２１３の詳細な構成について説明する。ＢＣＰＵ２１３は、画像処理部２１３ａと、顔検出部２１３ｂと、目標値算出部２１３ｃと、露光時間算出部２１３ｄと、露光時間補正部２１３ｅと、ゲイン設定部２１３ｆと、撮影制御部２１３ｇと、を有する。

画像処理部２１３ａは、信号処理部２０５から入力される画像データに対して各種の画像処理を施して記憶部２１２へ出力する。具体的には、画像処理部２１３ａは、画像データに対して、少なくとも画像の明るさを調整するゲイン処理、階調を補正する階調補正処理、エッジ強調、ホワイトバランス、色補正およびγ補正を含む画像処理を行う。画像処理部２１３ａは、ＪＰＥＧ（Joint Photographic Experts Group）方式に従って画像データを圧縮し、圧縮した画像データを記憶部２１２に記憶させてもよい。

顔検出部２１３ｂは、画像データに対応する画像に含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部２１３ｂは、人物の顔だけでなく、犬や猫等の顔を検出してもよい。さらに、顔検出部２１３ｂは、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。

目標値算出部２１３ｃは、画像データに含まれる被写体の輝度情報と、撮像素子２０３の露光時間と、撮像素子２０３の撮影感度とに基づいて、レンズ部３の絞りが目標とする絞り値（開口径）の目標値を算出する。具体的には、目標値算出部２１３ｃは、たとえばＡＰＥＸ（Additive System of Photographic Exposure）規格に基づいて、被写体輝度ＢＶ、露光時間ＴＶおよび撮影感度ＳＶから絞り値の目標値ＡＶを算出する。

露光時間算出部２１３ｄは、画像データに含まれる情報に基づいて、撮像素子２０３の露光時間を算出する。具体的には、露光時間算出部２１３ｄは、画像データに含まれる被写体の輝度情報と、撮像素子２０３の撮影感度と、目標値算出部２１３ｃが算出した目標値とに基づいて、撮像素子２０３の露光時間を算出する。

露光時間補正部２１３ｅは、レンズ部３の絞りの駆動時において絞りの絞り値の時間変化量を予測して撮像素子２０３の露光時間を水平方向におけるライン毎に補正する。具体的には、露光時間補正部２１３ｅは、目標値算出部２１３ｃが算出したレンズ部３の絞りの目標値に基づいて、レンズ部３の絞りの絞り値の時間変化量を予測して撮像素子２０３の露光時間を水平方向におけるライン毎に補正する。また、露光時間補正部２１３ｅは、レンズ部３の絞りが所定のタイミング毎に駆動予定の絞り値、たとえば２フレーム後の絞り値を予測値として算出し、算出した予測値に応じて撮像素子２０３の露光時間を水平方向におけるライン毎にそれぞれ補正する。

ゲイン設定部２１３ｆは、レンズ部３の絞りの絞り値と露光時間補正部２１３ｅが算出した予測値との差に基づいて、画像処理部２１３ａが画像データに対して行うゲイン処理の値（ゲイン値）を設定する。

撮影制御部２１３ｇは、静止画レリーズ信号が入力された場合、撮像装置１における撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、シャッタ駆動部２０２および撮像素子駆動部２０４の駆動によって撮像素子２０３が出力した画像データに対し、信号処理部２０５および画像処理部２１３ａが所定の処理を施す動作をいう。このようにして処理が施された画像データは、撮影制御部２１３ｇによって記憶部２１２に記憶される。

以上の構成を有する本体部２に対して、電子ビューファインダ（ＥＶＦ）、音声入出力機能およびインターネットを介して外部のパーソナルコンピュータ（図示せず）と双方向に通信を行う通信機能等を具備させてもよい。

レンズ部３は、光学系３０１と、レンズ駆動部３０２と、レンズ位置検出部３０３と、絞り３０４と、絞り駆動部３０５と、絞り値検出部３０６と、レンズ操作部３０７と、レンズ記憶部３０８と、レンズ通信部３０９と、レンズ制御部３１０（以下、「ＬＣＰＵ３１０」という）と、を有する。

光学系３０１は、画角を変更するズームレンズおよびピント位置を調整するフォーカスレンズ等の複数のレンズを用いて構成される。光学系３０１は、所定の視野領域から光を集光し、この集光した光を撮像素子２０３のＣＭＯＳセンサの撮像面上に結像する。レンズ駆動部３０２は、光学系３０１のレンズを光軸Ｏ上で移動させることにより、光学系３０１のピント位置や画角等の変更を行う。レンズ駆動部３０２は、ステッピングモータやＤＣモータ等を用いて構成される。

レンズ位置検出部３０３は、フォトインタラプタ等を用いて構成され、レンズ駆動部３０２によって駆動された光学系３０１のズームレンズおよびフォーカスレンズの位置を検出する。具体的には、レンズ位置検出部３０３は、レンズ駆動部３０２に含まれる駆動用モータの回転量をパルス数に変換し、変換したパルス数に基づいて、無限遠を基準とする基準位置からの光学系３０１のフォーカスレンズおよびズームレンズの位置を検出する。

絞り３０４は、光学系３０１が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部３０５は、絞り３０４を駆動することにより、撮像素子２０３に入射する光の光量を調整する。絞り駆動部３０５は、ステッピングモータ等を用いて構成される。

絞り値検出部３０６は、絞り駆動部３０５によって駆動された絞り３０４の位置を検出する。絞り値検出部３０６は、リニアエンコーダや可変抵抗素子等のポテンショメータおよびＡ／Ｄ変換回路等を用いて構成される。

レンズ操作部３０７は、図１に示すように、レンズ部３のレンズ鏡筒の周囲に設けられるズームリング３０７ａ等であり、光学系３０１内のレンズを操作する信号が入力される。なお、レンズ操作部３０７は、プッシュ式のスイッチ等であってもよい。

レンズ記憶部３０８は、光学系３０１および絞り３０４の位置や動きを決定するための制御用プログラムを記憶する。レンズ記憶部３０８は、光学系３０１の倍率、焦点距離、画角、収差およびＦ値（明るさ）等を記憶する。

レンズ通信部３０９は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２０８と通信を行うための通信インターフェースである。

ＬＣＰＵ３１０は、ＣＰＵ等を用いて構成され、本体通信部２０８およびレンズ通信部３０９を介して入力されるＢＣＰＵ２１３からの指示信号に応じてレンズ部３の動作を制御する。ＬＣＰＵ３１０は、レンズ通信部３０９および本体通信部２０８を介して撮像素子２０３が画像データを生成するタイミングに同期して絞り値検出部３０６が検出した最新の絞り値をＢＣＰＵ２１３に出力する。

以上の構成を有する撮像装置１が行う動作について説明する。図３は、本実施の形態にかかる撮像装置１が行う処理の概要を示すフローチャートである。

まず、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。この場合、ＢＣＰＵ２１３は、撮像素子２０３が微小な時間間隔で連続的に生成する画像データに対応するライブビュー画像を表示部２１０に表示させる（ステップＳ１０２）。具体的には、ＢＣＰＵ２１３は、撮像素子２０３によって所定のフレームレート、たとえば３０ｆｐｓで連続的に生成された画像データに対して画像処理部２１３ａが画像処理を施した画像データに対応するライブビュー画像を生成順に表示部２１０に表示させる。これにより、撮影者は、表示部２１０によって表示されるライブビュー画像を見ながら撮影を行うことができる。

続いて、撮像装置１は、画像データのフレーム毎に、撮像素子２０３の露光時間を水平方向におけるライン毎にそれぞれ補正する露光時間補正処理を実行する（ステップＳ１０３）。なお、露光時間補正処理の内容は、後述する。

その後、撮像装置１は、撮像素子２０３の各ラインから画像データを読み出し、読み出した画像データに対して画像の明るさのムラを補正するフレームムラ補正処理を実行する（ステップＳ１０４）。なお、フレームムラ補正処理の内容は、後述する。

続いて、レリーズスイッチ２０９ｂからレリーズ信号が入力された場合（ステップＳ１０５：Ｙｅｓ）、撮像装置１は、撮影を行い（ステップＳ１０６）、撮影した画像データを記憶部２１２に記憶する（ステップＳ１０７）。

その後、ＢＣＰＵ２１３は、電源がオフ状態であるか否かを判断する（ステップＳ１０８）。電源がオフ状態であるとＢＣＰＵ２１３が判断した場合（ステップＳ１０８：Ｙｅｓ）、撮像装置１は、本処理を終了する。一方、電源がオフ状態でないとＢＣＰＵ２１３が判断した場合（ステップＳ１０８：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。

ステップＳ１０５において、レリーズスイッチ２０９ｂを介してレリーズ信号が入力されていない場合（ステップＳ１０５：Ｎｏ）、撮像装置１は、ステップＳ１０８へ移行する。

つぎに、撮像装置１が撮影モードに設定されておらず（ステップＳ１０１：Ｎｏ）、撮像装置１が再生モードに設定されている場合（ステップＳ１０９：Ｙｅｓ）について説明する。この場合、ＢＣＰＵ２１３は、記憶部２１２が記憶する画像データに対応する画像を表示部２１０に再生表示させる（ステップＳ１１０）。

続いて、画像の切換操作が行われた場合（ステップＳ１１１：Ｙｅｓ）、ＢＣＰＵ２１３は、表示部２１０が表示する画像の切換を行う（ステップＳ１１２）。その後、撮像装置１は、ステップＳ１１０へ戻る。

これに対して、所定時間（たとえば３秒）以内に画像の切換操作がない場合（ステップＳ１１１：Ｎｏ）、撮像装置１は、ステップＳ１０８へ移行する。

つぎに、図３のステップＳ１０３で説明した露光時間補正処理について説明する。図４は、露光時間補正処理の概要を示すフローチャートである。図５は、露光時間補正処理のタイミングチャートを示す図である。図５（ａ）は、垂直同期信号の発生タイミングを示す。図５（ｂ）は、撮像素子２０３のローリングシャッタによる各ラインの露光タイミングを示す。図５（ｃ）は、レンズ通信同期通信タイミングの発生タイミングを示す。図５（ｄ）は、ＬＣＰＵ３１０によってレンズ位置検出部３０３が検出した光学系３０１のフォーカスレンズおよびズームレンズの位置を取得するレンズ位置取得信号の発生タイミングを示す。図５（ｅ）は、絞り３０４の絞り値の変化を示す。図５（ｆ）は、ＢＣＰＵ２１３とＬＣＰＵ３１０とが双方向に通信を行うレンズ通信タイミングを示す。図５（ｇ）は、次フレーム露光時間算出のタイミングを示す。

また、図５において、垂直同期信号の発生タイミングの周期をＶ_DCとし、垂直同期信号の発生タイミングをｔ_i＝ｔ₀＋iＶ_DC（i＝自然数）とする。また、レンズ通信同期信号は、垂直同期信号と同じ周期で発生する。レンズ位置取得信号は、垂直同期信号の発生タイミングで立ち上がりまたは立ち下がりを生じる。さらに、次フレーム露出時間算出タイミングは、レンズ通信タイミングの終了直後である。さらにまた、ローリングシャッタ露光は、垂直同期信号の発生タイミングの立ち上がりが撮像素子２０３の中心になる。

図４および図５に示すように、ＢＣＰＵ２１３は、レンズ通信同期信号タイミング毎に、本体通信部２０８およびレンズ通信部３０９を介してＬＣＰＵ３１０とレンズ通信を行い、レンズ部３のレンズ情報を取得する（ステップＳ２０１）。具体的には、ＢＣＰＵ２１３は、レンズ通信同期タイミングの前に、ＬＣＰＵ３１０によってレンズ位置検出部３０３および絞り値検出部３０６から取得された光学系３０１のレンズ位置および絞り３０４の絞り値をレンズ情報として取得する。

続いて、ＢＣＰＵ２１３は、撮像素子２０３が生成した画像データに基づいて、測光処理を実行する（ステップＳ２０２）。具体的には、ＢＣＰＵ２１３は、信号処理部２０５を介して出力される画像データに基づいて、画像内における被写体の輝度情報や輝度分布を算出する測光処理を行う。

その後、目標値算出部２１３ｃは、絞り３０４が目標とする絞り値の目標値を算出する（ステップＳ２０３）。具合的には、目標値算出部２１３ｃは、画像データに含まれる被写体輝度ＢＶ、露光時間ＴＶおよび撮影感度ＳＶに基づいて、絞り３０４が目標とする絞り値の目標値ＡＶを算出し、算出した目標値ＡＶをＡＰＥＸ換算表に従ってＦ値に変換することで絞り３０４の目標値Ｆ_tを算出する。

続いて、ＢＣＰＵ２１３は、レンズ通信同期信号に基づいて、ＬＣＰＵ３１０と双方向に通信を行うレンズ通信タイミングであるか否かを判断する（ステップＳ２０４）。具体的には、ＢＣＰＵ２１３は、レンズ通信同期信号に基づいて、レンズ通信タイミングであるか否かを判断する。ＢＣＰＵ２１３がレンズ通信タイミングであると判断した場合（ステップＳ２０４：Ｙｅｓ）、撮像装置１は、ステップＳ２０５へ移行する。一方、ＢＣＰＵ２１３がレンズ通信タイミングでないと判断した場合（ステップＳ２０４：Ｎｏ）、撮像装置１は、図３のメインルーチンへ戻る。

ステップＳ２０５において、ＢＣＰＵ２１３は、ＬＣＰＵ３１０とレンズ通信を行った際に取得したレンズ情報に基づいて、絞り３０４の最新の絞り値を判定する。

続いて、露光時間補正部２１３ｅは、目標値算出部２１３ｃが算出した絞り３０４の目標値Ｆ_tと絞り３０４の最新の絞り値Ｆ_lとの差と、絞り３０４の最新の絞り値Ｆ_lから目標値Ｆ_tに至るまでの時間とに基づいて、垂直同期信号１周期Ｖ_DCあたりの絞り値の時間変化量ΔＦ（以下、「絞り値の時間変化量ΔＦ」という）を算出する（ステップＳ２０６）。具体的には、露光時間補正部２１３ｅは、目標値算出部２１３ｃが算出した絞り３０４の目標値Ｆ_tと絞り３０４の最新の絞り値Ｆ_lとの差に基づいて、絞り値の時間変化量ΔＦを算出する。

その後、露光時間補正部２１３ｅは、絞り値の時間変化量ΔＦに基づいて、レンズ位置の取得タイミング毎に絞り３０４の２フレーム後における絞り値の予測値を算出し（ステップＳ２０７）、算出した予測値を記憶部２１２に記憶する（ステップＳ２０８）。具体的には、露光時間補正部２１３ｅは、予測値Ｆ_nextを、以下の式（１）によって算出する。
Ｆ_next＝Ｆ_l＋２ΔＦ ・・・（１）

続いて、露光時間算出部２１３ｄは、撮像素子２０３が生成する画像データの２フレーム後の露光時間を算出する（ステップＳ２０９）。具体的には、露出時間算出部２１３ｄは、以下の式（２）によって露光時間ＴのＡＰＥＸ換算値ＴＶ＝ｌｏｇ₂（１／Ｔ）を算出する。
ＴＶ＝ＢＶ＋ＳＶ−ＡＶ ・・・（２）
ここで、ＢＶ、ＳＶおよびＡＶは、それぞれ輝度情報、撮影感度および予測値のＡＰＥＸ換算値である。具体的には、ＡＰＥＸ換算値ＢＶ＝ｌｏｇ₂（Ｂ／ＮＫ）、ＡＰＥＸ換算値ＳＶ＝ｌｏｇ₂（ＩＳＯ（感度）／０．３２）、ＡＰＥＸ換算値ＡＶ＝ｌｏｇ₂（ＦＮｏ²）である。なお、式（２）においてＢＶ＋ＳＶは一定とする。また、ＡＰＥＸ換算値ＢＶのＢはｃｄ／ｃｍ²であり、ＮおよびＫは定数とする。さらに、ＡＰＥＸ換算値ＡＶのＦＮｏはレンズ絞り値である。

その後、撮影制御部２１３ｇは、目標値算出部２１３ｃが算出した絞り３０４の目標値Ｆ_tを、本体通信部２０８およびレンズ通信部３０９を介してＬＣＰＵ３１０に送信して絞り３０４の絞り値の切換を指示する（ステップＳ２１０）。具体的には、撮影制御部２１３ｇは、レンズ通信タイミング毎に、目標値算出部２１３ｃによって算出された絞り３０４の目標値と絞り３０４の駆動指示をＬＣＰＵ３１０に送信する。

続いて、露光時間補正部２１３ｅは、絞り３０４の絞り値の時間変化量ΔＦに基づいて、撮像素子２０３の水平方向における露光時間をライン毎に補正する（ステップＳ２１１）。

図６は、露光時間補正部２１３ｅが撮像素子２０３の露光時間をライン毎にそれぞれ補正する際の概要を説明する説明図である。図６においては、撮像素子２０３の総ライン数を２Ｎ_max＋１（Ｎ_max＝自然数）とする。また、露光時間算出部２１３ｄが算出した一つの画像データに対応するフレームの露光時間をＴ、撮像素子２０３の最終ライン２Ｎ_max＋１で補正する露光補正時間をΔＴとして説明する。なお、図６においては、点Ｐは、撮像素子２０３における中央ライン（ｎ＝０）の露光開始のタイミングを示す。

露光時間補正部２１３ｅは、露光時間算出部２１３ｄが算出した一つの画像データの露光時間をＴＶとした場合において、絞り３０４の時間変化量をΔＦ、垂直同期信号の周期をＶ_DC、水平同期信号の周期をＨ_DC、撮像素子２０３の最終ライン２Ｎ_max＋１で補正する露光補正時間をΔＴとしたとき、以下の式（３）が成り立つ。
ΔＴ：ΔＦ＝Ｎ_max×Ｈ_DC：Ｖ_DC ・・・（３）
従って、
ΔＴ＝ΔＦ×Ｎ_max×Ｈ_DC／Ｖ_DC ・・・（４）
となる。また、露光時間補正部２１３ｅは、露光時間を補正する撮像素子２０３のラインをｎ（ｎ＝自然数）とした場合において、ｎが−Ｎ_max／２≦ｎ≦Ｎ_max／２の条件を満たし、補正する露光補正時間をｘとしたとき、図６により以下の式（５）が成り立つ。
ｘ：ΔＴ＝ｎ：Ｎ_max ・・・（５）
従って、
ｘ＝ΔＴ×ｎ／Ｎ_max ・・・（６）
となる。よって、式（６）に式（４）を代入すると、
ｘ＝ΔＦ×Ｈ_DC×ｎ／Ｖ_DC ・・・（７）

このように、露光時間補正部２１３ｅは、上述した式（７）によって撮像素子２０３の露光時間を水平方向におけるライン毎にそれぞれ補正する。さらに、図６に示すように、露光時間補正部２１３ｅは、撮像素子２０３のラインｎがｎ＞０の場合、露光補正時間をｘだけ増加させる一方、撮像素子２０３のラインｎがｎ＜０の場合、露光補正時間をｘだけ減少させる。これにより、撮像装置１が動画撮影または表示部２１０がライブビュー画像を表示している場合において、絞り３０４が目標値に向けて駆動中のときであっても、露光時間補正部２１３ｅが絞り３０４の最新の絞りと絞り値の時間変化量とに基づいて、レンズ通信タイミング毎に撮像素子２０３の露光時間を水平方向におけるライン毎にそれぞれ補正するので、撮像素子２０３の水平方向におけるライン毎にそれぞれ受光する受光量を一定にすることができる。この結果、画像の露出ムラを抑制することができる。ステップＳ２１１の後、撮像装置１は、図３のメインルーチンへ戻る。

つぎに、図３のステップＳ１０４のフレームムラ補正処理について説明する。図７は、フレームムラ補正処理の概要を示すフローチャートである。

図７に示すように、ＢＣＰＵ２１３は、撮像素子２０３のライン読出しの開始タイミングか否かを判断する（ステップＳ３０１）。具体的には、撮像素子２０３のライン読出しタイミングであるか否かを判断する。撮像素子２０３のライン読出しの開始タイミングであるとＢＣＰＵ２１３が判断した場合（ステップＳ３０１：Ｙｅｓ）、撮像装置１は、後述するステップＳ３０２へ移行する。一方、撮像素子２０３のライン読出しの開始タイミングでないとＢＣＰＵ２１３が判断した場合（ステップＳ３０１：Ｎｏ）、撮像装置１は、図３のメインルーチンへ戻る。

続いて、ＢＣＰＵ２１３は、最新の絞り３０４の絞り値と目標値算出部２１３ｃが算出した予測値との間に差ΔF_errがあるか否かを判断する（ステップＳ３０２）。たとえば、図５に示す場合、ＢＣＰＵ２１３は、時点ｔ６における絞り３０４の最新の絞り値F６と、時点ｔ６における絞り３０４の予測値ΔF６との間に差があるか否かを判断する。図５（ｅ）に示す状況下では、ＢＣＰＵ２１３は、時点ｔ６において絞り３０４の最新の絞り値Ｆ６と予測値ΔF６との間に差ΔF_errがあると判断する。絞り３０４の最新の絞り値と目標値算出部２１３ｃが算出した予測値との間に差があるとＢＣＰＵ２１３が判断した場合（ステップＳ３０２：Ｙｅｓ）、撮像装置１は、後述するステップＳ３０３へ移行する。一方、最新の絞り３０４の絞り値と目標値算出部２１３ｃが算出した予測値との間に差がないとＢＣＰＵ２１３が判断した場合（ステップＳ３０２：Ｎｏ）、撮像装置１は、後述するステップＳ３０４へ移行する。

ステップＳ３０３において、ＢＣＰＵ２１３は、絞り３０４の最新の絞り値と予測値との間の差を記憶部２１２に記憶する（ステップＳ３０３）。たとえば、図５に示す状況では、ＢＣＰＵ２１３は、時点ｔ６における絞り３０４の最新の絞り値F６と予測値ΔF６と間の差ΔF_errを記憶部２１２に記憶する。

続いて、撮影制御部２１３ｇは、撮像素子駆動部２０４を駆動することにより、撮像素子２０３の水平方向におけるライン毎に順次読み出しを行う（ステップＳ３０４）。

その後、ＢＣＰＵ２１３は、撮像素子２０３の全ラインの読出しを終了したか否かを判断する（ステップＳ３０５）。撮像素子２０３の全ラインの読出しを終了したとＢＣＰＵ２１３が判断した場合（ステップＳ３０５：Ｙｅｓ）、撮像装置１は、後述するステップＳ３０６へ移行する。一方、撮像素子２０３の全ラインの読出しを終了していないとＢＣＰＵ２１３が判断した場合（ステップＳ３０５：Ｎｏ）、撮像装置１は、ステップＳ３０４へ戻る。

ステップＳ３０６において、ゲイン設定部２１３ｆは、記憶部２１２が記憶する絞り３０４の最新の絞り値と予測値との間の差に基づいて、画像処理部２１３ａが画像データに対して行うゲインを設定する。

続いて、画像処理部２１３ａは、ゲイン設定部２１３ｆが設定したゲインに基づいて、撮像素子２０３から読み出された画像データにゲインを調整する処理を含むデジタル的な画像処理を行う（ステップＳ３０７）。

このように、画像処理部２１３ａがゲイン設定部２１３ｆによって設定されたゲインに基づいて、撮像素子２０３から読み出された画像データにゲインを調整する処理を含む処理を行う。この結果、図８（ａ）〜（ｄ）に示すように、撮影者が撮像装置１を用いてパンニング操作を行うことにより、撮像装置１が撮影する視野領域が、たとえば暗い視野領域から明るい視野領域に移動したとしても、撮像装置１は、隣接するフレーム間で画像の明るさのムラを生じさせることなく（Ｗ_m→Ｗ_m+1→Ｗ_m+2→Ｗ_m+3）、常に画像の明るさが均一である動画撮影したり、または表示部２１０にライブビュー画像を表示したりすることができる。ステップＳ３０８の後、撮像装置１は、図３のメインルーチンへ戻る。

以上説明した本発明の一実施の形態によれば、露光時間補正部２１３ｅがレンズ部３の絞り３０４の駆動時において絞り３０４の時間変化率量を予測して撮像素子２０３の露光時間を水平方向におけるライン毎にそれぞれ補正する。この結果、撮像素子２０３によって動画撮影を行う際またはライブビュー画像を表示する際に画像内で生じる明るさのムラを抑制することができる。

さらに、本発明の一実施の形態によれば、ゲイン設定部２１３ｆが露光時間補正部２１３ｅによって算出された絞り３０４の予測値と絞り３０４の最新の絞り値と間の差に基づいて、画像処理部２１３ａが画像データに対して行うゲインを設定する。すなわち、画像処理部２１３ａによるデジタル的な画像処理と露光時間補正部２１３ｅによる露光時間の補正処理との2段階で画像の明るさのムラを補正する。この結果、撮像素子２０３によって動画撮影するか、または表示部２１０にライブビュー画像を表示したりする際に画像内で生じる明るさのムラをより確実に抑制することができる。

また、本発明の一実施の形態によれば、絞り３０４を一定の変化率で駆動させながら、画像の明るさにムラを生じさせることなく、動画撮影するか、または表示部２１０にライブビュー画像を表示したりすることができる。

また、本発明の一実施の形態では、表示部２１０が表示するライブビュー画像について説明したが、撮像素子２０３が画像データを連続的に生成する動画撮影においても、本発明を適用することができる。

また、本発明の一実施の形態では、撮像素子２０３が生成する画像データのフレームレートを３０ｆｐｓで説明したが、たとえば、６０ｆｐｓ、１２０ｆｐｓおよび２４０ｆｐｓのいずれであっても適用することができ、画像データのフレームレートは適宜設定することができる。

また、本発明の一実施の形態では、特許請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」や「つぎに、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

また、本発明の一実施の形態では、撮像装置としてデジタル一眼レフカメラとして説明していたが、たとえばレンズ部３と本体部２とが一体的に形成されたデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。

１，１００ 撮像装置
２ 本体部
３ レンズ部
２０１ シャッタ
２０２ シャッタ駆動部
２０３ 撮像素子
２０４ 撮像素子駆動部
２０５ 信号処理部
２０６ 発光部
２０７ 同期信号生成部
２０８ 本体通信部
２０９ 操作入力部
２０９ａ 電源スイッチ
２０９ｂ レリーズスイッチ
２０９ｃ 撮影モード切換スイッチ
２０９ｄ 動画スイッチ
２０９ｅ メニュースイッチ
２１０ 表示部
２１１ タッチパネル
２１２ 記憶部
２１２ａ Ｐ線図記憶部
２１３ 制御部
２１３ａ 画像処理部
２１３ｂ 顔検出部
２１３ｃ 目標値算出部
２１３ｄ 露光時間算出部
２１３ｅ 露光時間補正部
２１３ｆ ゲイン設定部
２１３ｇ 撮影制御部
３０１ 光学系
３０２ レンズ駆動部
３０３ レンズ位置検出部
３０４ 絞り
３０５ 絞り駆動部
３０６ 絞り値検出部
３０７ レンズ操作部
３０７ａ ズームリング
３０８ レンズ記憶部
３０９ レンズ通信部
３１０ レンズ制御部

Claims (10)

1. 可変絞りを含む光学系を有し、所定の視野領域から光を集光するレンズ部と、
   前記レンズ部を介して集光される光を受光して光電変換を行う複数の画素を縦横に二次元的に配列し、前記画素で変換された電気信号を複数の画像が配列された水平方向のライン毎に異なるタイミングで順次読み出して画像データを連続的に生成する撮像素子と、
   前記撮像素子が連続的に生成した前記画像データに対応する画像を順次表示する表示部と、
   前記可変絞りの絞り値の時間変化量を予測して前記撮像素子の露光時間を水平方向のライン毎に補正する露光時間補正部と、
   を備えたことを特徴とする撮像装置。
2. 前記画像データに含まれる情報に基づいて、前記可変絞りの絞り値の目標値を算出する目標値算出部をさらに備え、
   前記露光時間補正部は、前記目標値算出部が算出した前記目標値に基づいて、前記時間変化量を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記画像データに含まれる情報に基づいて、前記撮像素子の露光時間を算出する露光時間算出部をさらに備え、
   前記露光時間補正部は、前記露光時間算出部が算出した前記露光時間と前記時間変化量とに基づいて、前記撮像素子の露光時間を水平方向のライン毎に補正することを特徴とする請求項２に記載の撮像装置。
4. 前記画像データに含まれる情報は、被写体の輝度情報と、前記撮像素子の撮影感度と、前記時間変化量および最新の絞り値を用いて算出される前記可変絞りの絞り値の予測値とを含むことを特徴とする請求項３に記載の撮像装置。
5. 前記撮像素子が生成する前記画像データに対し、少なくともゲインを調整する画像処理部と、
   前記可変絞りの絞り値を検出する絞り値検出部と、
   前記絞り値検出部が検出した絞り値と前記予測値との差に基づいて、前記画像処理部が前記画像データに対して行うゲインを設定するゲイン設定部と、
   をさらに備えたことを特徴とする請求項４に記載の撮像装置。
6. 前記レンズ部は、
   前記可変絞りを駆動する絞り駆動部と、
   前記可変絞りの絞り値を検出する絞り値検出部と、
   前記絞り駆動部を制御するとともに、前記絞り値検出部が検出した最新の絞り値を周期的に当該撮像装置の本体部に出力することを特徴とする請求項１に記載の撮像装置。
7. 前記レンズ部は、前記本体部に対して着脱自在であることを特徴とする請求項６に記載の撮像装置。
8. 前記露光時間補正部は、前記可変絞りの駆動時において前記撮像素子の露光時間を水平方向のライン毎に周期的に補正することを特徴とする請求項１〜７のいずれか一つに記載の撮像装置。
9. 可変絞りを含む光学系を有し、所定の視野領域から光を集光するレンズ部と、前記レンズ部を介して集光される光を受光して光電変換を行う複数の画素を縦横に二次元的に配列し、前記画素で変換された電気信号を複数の画像が配列された水平方向のライン毎に異なるタイミングで順次読み出して画像データを連続的に生成する撮像素子とを備えた撮像装置が実行する撮像方法であって、
   前記可変絞りの絞り値の時間変化量を予測して前記撮像素子の露光時間を水平方向のライン毎にそれぞれ補正する露光時間補正ステップ、
   を含むことを特徴とする撮像方法。
10. 可変絞りを含む光学系を有し、所定の視野領域から光を集光するレンズ部と、前記レンズ部を介して集光される光を受光して光電変換を行う複数の画素を縦横に二次元的に配列し、前記画素で変換された電気信号を複数の画像が配列された水平方向のライン毎に異なるタイミングで順次読み出して画像データを連続的に生成する撮像素子とを備えた撮像装置に実行させるプログラムであって、
    前記可変絞りの絞り値の時間変化量を予測して前記撮像素子の露光時間を水平方向のライン毎にそれぞれ補正する露光時間補正ステップ、
    を実行させることを特徴とするプログラム。

Images