JP2017003830A - 撮像装置、撮像方法およびプログラム - Google Patents

Abstract

【課題】露光条件設定での絞り値のずれに起因する明るさのムラやちらつきの無い高品位な映像を撮影することができる撮像装置を提供すること。
【解決手段】可変絞りを含む光学系を有するレンズ部３と、レンズ部を装着可能に構成され、レンズ部を介して集光される光を受光して光電変換を行う撮像素子を有する本体部２と、からなる撮像装置１において、レンズ部は、可変絞りを駆動する絞り駆動部３０５と、可変絞りの絞り値を検出する絞り値検出部３０６と、絞り駆動部を制御するレンズ制御部３１０と、を備え、レンズ制御部は、可変絞りの絞り値を変更する際に、絞り値検出部が検出した可変絞りの最新の絞り値の検出時刻から所定時間経過後の絞り値を示す予告値を算出して本体部に送信し、本体部は、レンズ部から取得した予告値に基づいて、撮像素子の露光を制御する露光制御部２１３ｄと、を備える。
【選択図】図２

Description

本発明は、被写体を撮像して電子的な画像データを生成する撮像装置、撮像方法およびプログラムに関する。

近年、デジタルカメラやデジタルビデオカメラ等の撮像装置では、多様な撮影シーンにそれぞれ適した撮影を行うことができる。たとえば、動画撮影の途中で絞り値を変更した場合であっても、絞り値に応じて露光を自動的に切換えるＡＥ（Automatic Exposure）処理を行う技術が知られている（特許文献１）。この技術では、交換レンズから受信した絞りの駆動速度に関する情報に基づいて、絞りの駆動が開始されてから終了するまでの期間の途中で画像データを生成する撮像素子の露光時間を変更することで、円滑なＡＥ処理を行っている。

図１５は、従来の撮像装置を用いて動画撮影する際の状況を示す模式図である。図１５の状況下で撮影者が撮像装置を用いて暗い視野領域から明るい視野領域にパンニング操作（矢印Ｐ方向）を行ったときに、カメラの露光調整の問題により、動画が不自然に表示される場合がある。

例えば、図１６に示すように、パンニング途中で輝度が変化して、画面にチラツキが生じる場合がある。具体的には、図１６（ｂ）、（ｃ）は、パンニング操作により被写体が明るくなるので、カメラが絞りを絞り込む方向へ予測したところ、たとえば、交換レンズの絞り値の変化が機構的に予測よりも大きな変化をした場合に、絞り込み過ぎて、結果露出アンダーになった場合の画面である。

また、最近はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが搭載された撮像装置も一般的になっているが、ＣＭＯＳセンサではローリングシャッタ方式で読出しが行われるので、ローリングシャッタ方式に起因する問題もある。ローリングシャッタ方式では、最初に読み出すラインと最後に読み出すラインとでは、露光タイミングが違うので、露光中に絞りが変化していると、ラインの上下に応じて蓄積される光量が異なってしまい、その結果、画面の上下で明るさのムラ（ローリングシャッタ効果）が生じるからである。

図１７は、ローリングシャッタ方式により上下で輝度ムラのある画面が表示される例を説明する図である。図１７（ｂ）、（ｃ）に示すように、ローリングシャッタ効果により、パンニング途中の画面で、画面の上下で輝度ムラが発生する。

このような問題を解決するために、動画撮影中に撮像素子のフレームレートと同期した周期で交換レンズから絞り値を時系列で取得し、この時系列データを用いて予測した次の露光時の絞り値に基づいて、露光時間やＩＳＯ感度等の露光条件を設定することで上記のムラを低減する技術が提案されている（特許文献２）。

特開２０１０−２９００号公報 特開２０１３−３１０１０号公報

しかしながら、特許文献２での提案は、絞り値の変化が一定速度でないレンズが装着された場合やフォーカスレンズやズームレンズの駆動と連動した絞りトラッキング動作には、対応していない。絞り値の変化が一定速度でないレンズや絞りトラッキング動作時には、予測した絞り値と実際の絞り値が異なった値となるので、画像内の明るさムラの抑制が正しく行えなかったり、露光ずれが発生して撮影映像がちらつく可能性がある。

本発明の目的は、上記問題を解決し、露光条件設定での絞り値のずれに起因する明るさのムラやちらつきの無い高品位な映像を撮影することができる撮像装置を提供することにある。

上記目的を達成するために、第1の発明の撮像装置は、可変絞りを含む光学系を有するレンズ部と、前記レンズ部を装着可能に構成され、前記レンズ部を介して集光される光を受光して光電変換を行う撮像素子を有する本体部と、からなる撮像装置において、前記レンズ部は、前記可変絞りを駆動する絞り駆動部と、前記可変絞りの絞り値を検出する絞り値検出部と、前記絞り駆動部を制御するレンズ制御部と、を備え、前記レンズ制御部は、前記可変絞りの絞り値を変更する際に、前記絞り値検出部が検出した前記可変絞りの最新の絞り値の検出時刻から所定時間経過後の絞り値を示す予告値を算出して前記本体部に送信し、前記本体部は、前記レンズ部から取得した前記予告値に基づいて、前記撮像素子の露光を制御する露光制御部と、を備えることを特徴とする。

本発明によれば、露光条件設定での絞り値のずれに起因する明るさのムラやちらつきの無い高品位な映像を撮影することができる撮像装置を提供することができる。

第１実施形態にかかる撮像装置を背面側から見た斜視図である。 第１実施形態にかかる撮像装置の構成を示すブロック図である。 第１実施形態にかかる撮像装置で行われる処理の手順を説明するフローチャートである。 第１実施形態にかかる露光時間算出／補正処理の概要を示すサブルーチンである。 第１実施形態にかかる露光時間算出／補正処理のタイミングチャートを示す図である。 第１実施形態にかかる露光時間をライン毎に補正する概要を説明する図である。 第１実施形態にかかるＬＣＰＵの処理の手順を説明するフローチャートである。 第１実施形態にかかるフレームムラ補正処理の手順を説明するフローチャートである。 第２実施形態にかかる検出タイミング指定例１である。 第２実施形態にかかる検出タイミング指定例２である。 第２実施形態にかかる検出タイミング指定例３である。 第３実施形態にかかる露光時間算出／補正処理の手順を説明するタイミングチャートである。 第３実施形態にかかるＬＣＰＵの動作を説明するフローチャートである。 第１実施形態にかかる撮像装置で、パンニング操作を行ったときの表示画像を示す図である。 従来の撮像装置を用いて動画撮影する際の状況を示す模式図である。 図１５の状況下で、画面にチラツキが発生することを説明する図である。 図１５の状況下で、画面の上下に輝度ムラが発生することを説明する図である。

以下、図面に従って本発明の実施形態を説明する。
[第１実施形態]
以下に、図面を参照して、本発明を実施するための第１実施形態について説明する。なお、以下の説明において、本発明にかかる撮像装置としてデジタル一眼レフカメラを例示するが、撮像装置は、これに限られるものではない。

図１は、第１実施形態にかかる撮像装置１を、背面側から見た斜視図である。図２は、第１実施形態にかかる撮像装置１の構成を示すブロック図である。図１および図２を参照して、撮像装置１の全体を説明する。

図１および図２に示すように、撮像装置１は、本体部２、本体部２に着脱自在なレンズ部３と、を備える。本体部２は、シャッタ２０１、シャッタ駆動部２０２、撮像素子２０３、撮像素子駆動部２０４、信号処理部２０５、発光部２０６、同期信号生成部２０７、本体通信部２０８、操作入力部２０９、表示部２１０、タッチパネル２１１、記憶部２１２、制御部２１３（以下、「ＢＣＰＵ２１３」という）と、を備える。

シャッタ２０１は、主に静止画撮影時に、開閉動作を行うことにより、撮像素子２０３の状態を露光状態または遮光状態に設定する露光動作を行う。シャッタ２０１は、ライブビュー時には、原則開放状態に維持される。シャッタ２０１は、フォーカルプレンシャッタ等を用いて構成される。シャッタ駆動部２０２は、ステッピングモータ等を用いて構成され、ＢＣＰＵ２１３から入力される指示信号に応じてシャッタ２０１を駆動する。

撮像素子２０３は、ＣＭＯＳセンサを用いて構成され、レンズ部３が集光した光を受光して光電変換を行うことによって画像データを連続的に生成する。撮像素子２０３は、レンズ部３が集光した光を受光して光電変換を行う複数の画素が二次元的に配列される。撮像素子２０３は、各画素で変換された電気信号を水平方向のライン毎に異なるタイミングで順次読み出す、いわゆるローリングシャッタと呼ばれる方式で、画像データを生成する。

撮像素子駆動部２０４は、所定のタイミング（たとえば３０ｆｐｓ）に応じて撮像素子２０３を駆動させる。具体的には、撮像素子駆動部２０４は、同期信号生成部２０７によって生成される同期信号に基づいて、撮像素子２０３を同期して駆動させるための駆動タイミング信号を生成し、生成した駆動タイミングを撮像素子２０３に出力する。

信号処理部２０５は、撮像素子２０３から出力されるアナログ信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データ（ＲＡＷデータ）を生成してＢＣＰＵ２１３に出力する。

発光部２０６は、キセノンランプまたはＬＥＤ（Light Emitting Diode）等を用いて構成され、撮像装置１が撮影する視野領域へ向けて補助光である光を照射する。

同期信号生成部２０７は、ＢＣＰＵ２１３からの指示に応じて、垂直同期信号Ｖ_Dおよび水平同期信号Ｈ_Dを生成する。同期信号生成部２０７は、ＢＣＰＵ２１３を介して垂直同期信号Ｖ_Dおよび水平同期信号Ｈ_Dを出力する。なお、同期信号生成部２０７は、ＢＣＰＵ２１３に一体的に設けられてもよい。

本体通信部２０８は、本体部２に装着されるレンズ部３との通信を行うための通信インターフェースである。

操作入力部２０９は、図１に示すように、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ２０９ａと、静止画撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ２０９ｂと、撮像装置１に設定された各種撮影モードを切換える撮影モード切換スイッチ２０９ｃと、動画撮影の指示を与える動画スイッチ２０９ｄと、撮像装置１の各種パラメータを設定するメニュースイッチ２０９ｅと、を有する。

表示部２１０は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを有する。表示部２１０には、画像データに対応する画像、あるいは撮像装置１の撮影動作に関する操作情報や撮影に関する撮影情報等が表示される。

タッチパネル２１１は、撮影者が表示部２１０で表示される情報に基づいてタッチ（接触）した位置を検出し、この検出したタッチ位置に応じた信号をＢＣＰＵ２１３へ出力する。タッチパネル２１１は、表示部２１０の表示画面上に設けられる。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。

記憶部２１２は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。記憶部２１２は、撮像装置１を動作させるための各種プログラムおよびプログラムの実行中に使用される各種データやパラメータ等を記憶する。記憶部２１２は、画像データを記憶するとともに、本体部２に装着可能なレンズ部３の情報およびレンズ部３の種類に応じた画像データの補正情報等を記憶する。

記憶部２１２は、Ｐ線図記憶部２１２ａを有する。Ｐ線図記憶部２１２ａは、撮像装置１が自動露出（ＡＥ）制御を行う際に参照するプログラム線図（Ｐ線図）情報を記憶する。なお、記憶部２１２は、外部から装着されるメモリカード等のコンピュータで読取可能な記憶媒体を含むものであってもよい。

ＢＣＰＵ２１３は、記憶部２１２に記憶される制御プログラムを読込んだＣＰＵ（Central Processing Unit）の処理により、実現される。ＢＣＰＵ２１３は、操作入力部２０９からの指示信号およびタッチパネル２１１からの位置信号等に応じて撮像装置１を構成する各部に対する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。

ＢＣＰＵ２１３の詳細な構成について説明する。ＢＣＰＵ２１３は、画像処理部２１３ａ、顔検出部２１３ｂ、目標値算出部２１３ｃ、露光制御部２１３ｄ、ゲイン設定部２１３ｇ及び撮影制御部２１３ｈを有する。

画像処理部２１３ａは、信号処理部２０５から入力される画像データに対して各種の画像処理を施して記憶部２１２へ出力する。具体的には、画像処理部２１３ａは、画像データに対して、少なくとも画像の明るさを調整するゲイン処理、階調を補正する階調補正処理、エッジ強調、ホワイトバランス、色補正およびγ補正を含む画像処理を行う。画像処理部２１３ａは、ＪＰＥＧ（Joint Photographic Experts Group）方式に従って画像データを圧縮する。

顔検出部２１３ｂは、画像データに対応する画像に含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部２１３ｂは、人物の顔だけでなく、犬や猫等の顔を検出してもよい。さらに、顔検出部２１３ｂは、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。

目標値算出部２１３ｃは、画像データに含まれる被写体の輝度情報と、撮像素子２０３の露光時間と、撮像素子２０３の撮影感度とに基づいて、レンズ部３の絞りが目標とする絞り値（開口径、目標値Ｆｔとも呼ぶ）を算出する。

具体的には、目標値算出部２１３ｃは、たとえばＡＰＥＸ（Additive System of Photographic Exposure）規格に基づいて、被写体輝度ＢＶ、露光時間ＴＶおよび撮影感度ＳＶから、ＡＶ＝ＢＶ＋ＳＶ−ＴＶによって、絞り値の目標値ＡＶ（目標値Ｆｔ）を算出する。

露光制御部２１３ｄは、前記撮像素子２０３の露光を制御するものである。露光制御部２１３ｄは、 露光時間算出部２１３ｅと露光時間補正部２１３ｆを有する。

露光時間算出部２１３ｅは、画像データに含まれる情報とレンズ部３から取得した絞り情報に基づいて、撮像素子２０３の露光時間Ｔを算出する。具体的には、露光時間算出部２１３ｅは、画像データに含まれる被写体の輝度情報と、撮像素子２０３の撮影感度と、レンズ部３の絞りが所定のタイミング毎に駆動予定の絞り値と、に基づいて、Ｐ線図を参照して、撮像素子２０３の露光時間Ｔを算出する。「所定のタイミング毎に駆動予定の絞り値」とは、たとえば露光時間算出の直前にレンズ部３から取得した２フレーム後の絞り値（Ｆ_ｎｅｘｔ、以下で予告値と称す）である。

露光時間補正部２１３ｆは、レンズ部３の絞りの駆動時においてレンズ部３から取得した異なる時点での複数の絞り値から絞り値の時間変化量ΔＦを算出して撮像素子２０３の露光時間Ｔを水平方向におけるラインＮ毎に補正する。

具体的には、露光時間補正部２１３ｆは、たとえばレンズ部３から取得した最新の絞り値Ｆ_ｎｅｗと２フレーム後の絞り値Ｆ_ｎｅｘｔ（予告値）に基づいて、レンズ部３の絞りの絞り値の時間変化量ΔＦを算出して、露光時間算出部２１３ｅにより算出された撮像素子２０３の露光時間Ｔを水平方向におけるライン毎に補正する。

換言すれば、露光時間補正部２１３ｆは、レンズ部３の絞りが所定のタイミング毎に駆動予定の絞り値、たとえば予告値Ｆ_ｎｅｘｔをレンズ部３から取得し、取得した予告値Ｆ_ｎｅｘｔに応じて撮像素子２０３の露光時間Ｔを水平方向におけるラインＮ毎にそれぞれ補正する。

ゲイン設定部２１３ｇは、レンズ部３から取得した最新の絞り値Ｆ_ｎｅｗと、所定フレーム、たとえば２フレーム前にレンズ部３から取得した予告値Ｆ_ｎｅｘｔとの差に基づいて、画像処理部２１３ａが画像データに対して行うゲイン処理の値（ゲイン値）を設定する。

撮影制御部２１３ｈは、静止画レリーズ信号が入力された場合、撮像装置１における撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、シャッタ駆動部２０２および撮像素子駆動部２０４の駆動によって撮像素子２０３が出力した画像データに対し、信号処理部２０５および画像処理部２１３ａが所定の処理を施す動作をいう。このようにして処理が施された画像データは、撮影制御部２１３ｈによって記憶部２１２に記憶される。

以上の構成を有する本体部２に対して、電子ビューファインダ（ＥＶＦ）、音声入出力機能およびインターネットを介して外部のパーソナルコンピュータ（図示せず）と双方向に通信を行う通信機能等を具備させてもよい。

レンズ部３は、光学系３０１、レンズ駆動部３０２、レンズ位置検出部３０３、絞り３０４、絞り駆動部３０５、絞り値検出部３０６、レンズ操作部３０７、レンズ記憶部３０８、レンズ通信部３０９、レンズ制御部３１０（以下、「ＬＣＰＵ３１０」という）とを有する。

光学系３０１は、画角を変更するズームレンズおよびピント位置を調整するフォーカスレンズ等の複数のレンズを用いて構成される。光学系３０１は、所定の視野領域から光を集光し、この集光した光を撮像素子２０３のＣＭＯＳセンサの撮像面上に結像する。レンズ駆動部３０２は、光学系３０１のレンズを光軸Ｏ上で移動させることにより、光学系３０１のピント位置や画角等の変更を行う。レンズ駆動部３０２は、ステッピングモータやＤＣモータ等を用いて構成される。

レンズ位置検出部３０３は、フォトインタラプタ等を用いて構成され、レンズ駆動部３０２によって駆動される光学系３０１のズームレンズおよびフォーカスレンズの位置を検出する。具体的には、レンズ位置検出部３０３は、レンズ駆動部３０２に含まれる駆動用モータの回転量をパルス数に変換し、変換したパルス数に基づいて、無限遠を基準とする基準位置からの光学系３０１のフォーカスレンズおよびズームレンズの位置を検出する。

絞り３０４は、光学系３０１が集光した光の入射量を制限することにより露光の調整を行う。絞り駆動部３０５は、絞り３０４を駆動することにより、撮像素子２０３に入射する光の光量を調整する。絞り駆動部３０５は、ステッピングモータ等を用いて構成される。

絞り値検出部３０６は、絞り駆動部３０５によって駆動された絞り３０４の位置を検出する。絞り値検出部３０６は、リニアエンコーダや可変抵抗素子等のポテンショメータおよびＡ／Ｄ変換回路等を用いて構成される。

レンズ操作部３０７は、図１に示すように、レンズ部３のレンズ鏡筒の周囲に設けられるズームリング３０７ａ等であり、光学系３０１内のレンズを操作する信号が入力される。なお、レンズ操作部３０７は、プッシュ式のスイッチ等であってもよい。

レンズ記憶部３０８は、光学系３０１および絞り３０４の位置や動きを決定するための制御用プログラムを記憶する。また、レンズ記憶部３０８は、光学系３０１の倍率、焦点距離、画角、収差およびＦ値（明るさ）等のデータを記憶する。

また、レンズ記憶部３０８は、絞り駆動部３０５による駆動量に応じた絞り３０４の絞り値の変化特性のデータである駆動制御テーブルデータ３０８ａを記憶する。駆動制御テーブルデータ３０８ａは、絞り駆動用モータの駆動量と絞り値との関係をテーブルデータ化したものであり、後述するように、レンズ制御部３１０による予告値Ｆ_ｎｅｘｔの算出に利用される。

レンズ通信部３０９は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２０８と通信を行うための通信インターフェースである。

ＬＣＰＵ３１０は、レンズ記憶部３０８に記憶される制御プログラムを読込んだＣＰＵ（Central Processing Unit）の処理により、実現される。ＬＣＰＵ３１０は、本体通信部２０８およびレンズ通信部３０９を介して送信されるＢＣＰＵ２１３からの指示信号に応じてレンズ部３の動作を制御する。

ＬＣＰＵ３１０は、レンズ通信部３０９および本体通信部２０８を介して、撮像素子２０３が画像データを生成するタイミングに同期して絞り値検出部３０６が検出した最新の絞り値Ｆ_ｎｅｗと、所定フレーム、たとえば予告値Ｆ_ｎｅｘｔを、ＢＣＰＵ２１３に送信する。

以上の構成を有する撮像装置１が行う動作について説明する。図３は、第１実施形態にかかる撮像装置１で行われる処理の手順を説明するフローチャートである。

ＢＣＰＵ２１３は、撮像装置１が撮影モードに設定されているかを判断する（ステップＳ１０１）。ＢＣＰＵ２１３は、撮像装置１が撮影モードに設定されていると判断すると（ステップＳ１０１Ｙｅｓ）、ライブビュー画像を表示部２１０に表示させる（ステップＳ１０２）。

具体的には、ＢＣＰＵ２１３は、撮像素子２０３によって所定のフレームレート、たとえば３０ｆｐｓで連続的に生成された画像データに対して画像処理部２１３ａが画像処理を施した画像データに対応するライブビュー画像を生成順に表示部２１０に表示させる。撮影者は、表示部２１０によって表示されるライブビュー画像により被写体の構図等を確認して、撮影を行う。

続いて、ＢＣＰＵ２１３は、露光時間の算出および補正処理を実行する（ステップＳ１０３）。露光時間算出／補正処理は、画像データのフレーム毎に、予告値に基づいて撮像素子２０３の露光時間を算出するとともに、予告値から求めた絞り値の時間変化量に基づいて算出した露光時間を撮像素子２０３の水平方向におけるライン毎にそれぞれ補正するもので、詳細は図４で後述する。

更に、ＢＣＰＵ２１３は、フレームムラ補正処理を実行する（ステップＳ１０４）。フレームムラ補正処理は、撮像素子２０３の各ラインから画像データを読み出し、読み出した画像データに対して画像の明るさのムラを補正するもので、詳細は図８で後述する。

ＢＣＰＵ２１３は、レリーズスイッチ２０９ｂからレリーズ信号が入力されたかを判断する（ステップＳ１０５）。ＢＣＰＵ２１３は、レリーズ信号が入力されたと判断すると（ステップＳ１０５Ｙｅｓ）、撮影を行い（ステップＳ１０６）、撮影した画像データを記憶部２１２に記憶する（ステップＳ１０７）。ＢＣＰＵ２１３は、レリーズ信号が入力されていないと判断すると（ステップＳ１０５Ｎｏ）、ステップＳ１０８に進む。

その後、ＢＣＰＵ２１３は、電源がオフ状態であるかを判断する（ステップＳ１０８）。ＢＣＰＵ２１３は、電源がオフ状態であると判断した場合（ステップＳ１０８Ｙｅｓ）、本処理を終了する。一方、ＢＣＰＵ２１３は、電源がオフ状態でないと判断した場合（ステップＳ１０８Ｎｏ）、ステップＳ１０１へ戻る。

ステップＳ１０１に戻り、ＢＣＰＵ２１３は、撮影モードに設定されていないと判断すると（ステップＳ１０１Ｎｏ）、再生モードに設定されているかを判断する（ステップＳ１０９）。ＢＣＰＵ２１３は、再生モードに設定されていると判断すると（ステップＳ１０９Ｙｅｓ）、記憶部２１２から所定の画像データを読み出し、表示部２１０に再生表示させる（ステップＳ１１０）。

ＢＣＰＵ２１３は、画像の切換が行われたかを判断する（ステップＳ１１１）。ＢＣＰＵ２１３は、画像の切換が行われたと判断すると（ステップＳ１１１Ｙｅｓ）、表示部２１０に表示する画像の切換を行い（ステップＳ１１２）、ステップＳ１１０へ戻る。

ＢＣＰＵ２１３は、画像の切換が行われていないと判断すると（ステップＳ１１１Ｎｏ）、ステップＳ１０８に進む。また、ＢＣＰＵ２１３は、再生モードに設定されていないと判断すると（ステップＳ１０９Ｎｏ）、ステップＳ１０８に進む。

つぎに、図３のステップＳ１０３で示した露光時間算出／補正処理について説明する。図４は、露光時間算出／補正処理の手順を説明するサブルーチンである。図５は、露光時間算出／補正処理におけるタイミングチャートを示す図である。

図５（ａ）は、垂直同期信号Ｖ_Ｄの発生タイミングを示す。図５（ｂ）は、撮像素子２０３のローリングシャッタによる各ラインの露光タイミングを示す図で、画面の上下での露光タイミングのずれを模式的に示す図である。各露光タイミングを、左から順番に、ｂ−１、ｂ０、ｂ１・・・とする。

図５（ｃ）は、レンズ通信同期信号の発生タイミングを示す。レンズ通信同期信号は、ＬＣＰＵ３１０がＢＣＰＵ２１３と通信するタイミングを設定する信号で、ＢＣＰＵ２１３からＬＣＰＵ３１０に対して送信される。ＬＣＰＵ３１０は、レンズ通信同期信号を受信して所定時間後、ＢＣＰＵ２１３と図５（ｆ）のレンズ通信を開始する。

図５（ｄ）は、位置情報検出信号の通信タイミングを示す。位置情報検出信号は、ＢＣＰＵ２１３からＬＣＰＵ３１０に対して、レンズ位置検出部３０３によって光学系３０１のフォーカスレンズやズームレンズの位置を検出し、絞り値検出部３０６によって絞り３０４の絞り値を検出するように、指示するものである。位置情報検出信号の各通信タイミングを、左から順番に、ｄ０、ｄ１、ｄ２・・・とする。

図５（ｅ）は、絞り３０４の絞り値の変化を示す。ここでは、上方向が絞り径が小さくなる方向、下方向が絞り径が大きくなる方向とする。図５（ｆ）は、ＢＣＰＵ２１３とＬＣＰＵ３１０とが双方向に通信を行うレンズ通信のタイミングを示す。具体的には、ＢＣＰＵ２１３は、図５（ｃ）のレンズ通信同期信号から所定時間経過した時刻を図５（ｆ）のレンズ通信タイミングとする。各レンズ通信タイミングを、左から順番に、ｆ０、ｆ１、ｆ２・・・とする。

図５（ｇ）は、次フレーム露光時間算出／補正のタイミングを示す。次フレーム露光時間算出／補正は、露光時間算出部２１３ｅ、露光時間補正部２１３ｆによって行われる。次フレーム露光時間算出／補正の各タイミングを、左から順番に、ｇ０、ｇ１、ｇ２・・・とする。

また、図５において、図５（ａ）の垂直同期信号Ｖ_Ｄの発生タイミングの周期をＶ_ＤＣとし、垂直同期信号の発生タイミングをｔ_ｉ＝ｔ_０＋iＶ_ＤＣ（ｉ＝自然数）とする。また、図５（ｃ）のレンズ通信同期信号は、垂直同期信号と同じ周期で発生する。

図５（ｄ）の位置情報検出信号は、垂直同期信号の発生タイミングで立ち上がりまたは立ち下がりを生じる。さらに、図５（ｇ）の次フレーム露光時間算出／補正のタイミングは、レンズ通信のタイミングの終了直後である。さらにまた、図５（ｂ）のローリングシャッタ露光は、垂直同期信号の発生タイミングの立ち上がりが、撮像素子２０３の中央ラインでの露光タイミングのセンタに一致するよう制御される。

図４において、ＢＣＰＵ２１３は、ＬＣＰＵ３１０と双方向に通信を行う図５（ｆ）のレンズ通信タイミングであるかを判断する（ステップＳ２０１）。ＢＣＰＵ２１３は、図５（ｃ）のレンズ通信同期信号のタイミングから所定時間経過後の図５（ｆ）のレンズ通信タイミングであると判断すると（ステップＳ２０１Ｙｅｓ）、ＢＣＰＵ２１３は、本体通信部２０８およびレンズ通信部３０９を介して、前回の測光等タイミング（露光時間算出／補正処理）で算出した絞り値の目標値Ｆｔ及び絞り値切換指示Ｆｋを、ＬＣＰＵ３１０に送信する（ステップＳ２０２）。

なお、絞り値切換指示Ｆｋについては、図７のステップＳ３０７で説明する。絞り値の目標値Ｆｔ及び絞り値切換指示Ｆｋの送信についてを、図５（ｆ）のレンズ通信から図５（ｅ）絞り位置への破線矢印で示す。

前回の測光タイミング（露光時間算出／補正処理）で算出した絞り値の目標値Ｆｔとは、前回の露光時間算出／補正処理におけるステップＳ２０４及びステップＳ２０５（後述する）で、測光・算出された目標値Ｆｔとの意味である。図３で示す通り、図４の露光時間算出／補正処理は繰り返しなされるからである。

一方、ＢＣＰＵ２１３は、レンズ通信タイミングではないと判断した場合（ステップＳ２０１Ｎｏ）、図４の処理を終了して、図３のメインルーチンは戻る。

また、ＢＣＰＵ２１３は、ＬＣＰＵ３１０で検出されたレンズ位置と最新の絞り値Ｆ_ｎｅｗと予告値Ｆ_ｎｅｘｔ等をレンズ情報として取得し、記憶する（ステップＳ２０３）。図５のレンズ通信からの１点鎖線の矢印で示すように、図５（ｆ）のレンズ通信のタイミングで取得されたレンズ情報が、図５（ｇ）の次フレーム露光時間算出／補正で利用される。

レンズ位置や最新の絞り値Ｆ_ｎｅｗや予告値Ｆ_ｎｅｘｔは、ステップＳ２０１のレンズ通信タイミングに先立って、ＢＣＰＵ２１３から図５（ｄ）の位置情報検出信号を受けたＬＣＰＵ３１０が検出および算出してレンズ記憶部３０８に記憶したものである。

なお、ここでは、絞り３０４の駆動停止中、かつ、ＢＣＰＵ２１３から絞り値の切換え指示がない状態では、最新の絞り値Ｆ_ｎｅｗと同一の予告値Ｆ_ｎｅｘｔが送信されるとする。また、絞り値の切換え指示がない状態では、予告値Ｆ_ｎｅｘｔを送信しないようにしてもよい。

続いて、ＢＣＰＵ２１３は、撮像素子２０３が生成した画像データに基づいて、測光処理を実行する（ステップＳ２０４）。具体的には、ＢＣＰＵ２１３は、信号処理部２０５を介して出力される画像データに基づいて、画像内における被写体の輝度情報（被写体輝度）や輝度分布を算出する測光処理を行う。

目標値算出部２１３ｃは、絞り３０４が目標とする絞り値の目標値Ｆｔを算出する（ステップＳ２０５）。具体的には、目標値算出部２１３ｃは、ステップＳ２０４で算出した被写体輝度ＢＶ、及び露光時間ＴＶおよび撮影感度ＳＶに基づき、Ｐ線図記憶部２１２ａを参照して、絞り３０４が目標とする絞り値の目標値ＡＶを算出する。そして、目標値算出部２１３ｃは、算出した目標値ＡＶをＡＰＥＸ換算表に従ってＦ値に変換して、絞り３０４の目標値Ｆｔを算出する。

図５を用いて、ステップＳ２０１〜ステップＳ２０５を具体的に説明する。レンズ通信タイミングのｆ１で、ＢＣＰＵ２１３は、算出された絞り目標値Ｆｔ（Ｆｔ１、Ｆｋ１）をＬＣＰＵ３１０に送信する。同じく、レンズ通信タイミングのｆ１で、ＬＣＰＵ３１０は、最新の絞り値Ｆ_ｎｅｗと予告値Ｆ_ｎｅｘｔをＢＣＰＵ２１３に送信する。ここで、最新の絞り値Ｆ_ｎｅｗは、位置情報検出信号ｄ０の指示を受けたタイミングで、ＬＣＰＵ３１０が取得したデータである。

また、ＬＣＰＵ３１０は、位置情報検出信号のｄ０の１つ前のレンズ通信タイミングのｆ０で、ＢＣＰＵ２１３から送信された目標値Ｆｔ（Ｆｔ０）を取得している。目標値算出部２１３ｃは、目標値Ｆｔ０と位置情報検出信号ｄ０タイミングで取得された最新の絞り値Ｆ_ｎｅｗにより、予告値Ｆ_ｎｅｘｔを算出する。この予告値Ｆ_ｎｅｘｔが、レンズ通信タイミングのｆ１で、ＬＣＰＵ３１０から送信される。

つまり、レンズ通信タイミングのｆ１では、位置情報検出信号ｄ０における最新の絞り値Ｆ_ｎｅｗと予告値Ｆ_ｎｅｘｔ（図５でＬ０と表記）が、ＬＣＰＵ３１０からＢＣＰＵ２１３に送信される。

なお、目標値算出部２１３ｃは、直近に得られた画像データの輝度情報に基づき、目標値Ｆｔを算出する。図５で説明すると、目標値算出部２１３ｃにより、ｂ−１の露光により得られた画像データにより、Ｆｔ１が算出される。

続いて、露光時間算出部２１３ｇは、撮像素子２０３が生成する画像データの次フレームの露光時間Ｔを算出する（ステップＳ２０６）。具体的には、露光時間算出部２１３ｅは、以下の式（１）によって露光時間ＴのＡＰＥＸ換算値ＴＶ＝ｌｏｇ_２（１／Ｔ）を算出する。
ＴＶ＝ＢＶ＋ＳＶ−ＡＶ ・・・（１）

ここで、ＢＶ、ＳＶおよびＡＶは、それぞれ輝度情報（Ｓ２０４の測光で取得）、撮影感度および予告値Ｆ_ｎｅｘｔ（２フレーム後の絞り値）のＡＰＥＸ換算値である。具体的には、ＡＰＥＸ換算値ＢＶ＝ｌｏｇ_２（Ｂ／ＮＫ）、ＡＰＥＸ換算値ＳＶ＝ｌｏｇ_２（ＩＳＯ（感度）／０．３２）、ＡＰＥＸ換算値ＡＶ＝ｌｏｇ_２（ＦＮｏ^２）である。なお、式（１）においてＢＶ＋ＳＶは一定とする。また、ＡＰＥＸ換算値ＢＶのＢはｃｄ／ｃｍ^２であり、ＮおよびＫは定数とする。さらに、ＡＰＥＸ換算値ＡＶのＦＮｏはレンズ絞り値である。

撮影制御部２１３ｇは、このように算出した露光時間Ｔ（ＴＶ）を次のフレームの露光時間として使用する。ここでいう次のフレームとは、予告値Ｆ_ｎｅｘｔの２フレーム後に相当するフレームである。

露光時間補正部２１３ｆは、絞り値Ｆの時間変化量ΔＦを算出する（ステップＳ２０７）。具体的に、露光時間補正部２１３ｆは、ＬＣＰＵ３１０から取得した最新の絞り値Ｆ_ｎｅｗと予告値Ｆ_ｎｅｘｔの差ΔＦ_２ｆから、垂直同期信号１周期ＶＤＣあたりの絞り値の時間変化量ΔＦを、以下の式（２）によって算出する。
ΔＦ＝ΔＦ_２ｆ／２ ・・・（２）

続いて、露光時間補正部２１３ｆは、絞り３０４の絞り値の時間変化量ΔＦに基づいて、撮像素子２０３の露光時間を水平方向のライン毎に補正する（ステップＳ２０８）。図５で、次フレーム露光時間算出／補正で算出された露光データ（ＥＸ０、ＥＸ１、ＥＸ２・・・）と、対応するローリングシャッタ露光の関係を破線で示す。例えば、露光制御部２１３ｄにより、ｇ１で算出／補正された露光データＥＸ１に基づき、図５のローリングシャッタ露光ｂ１で示す露光時間が制御される。このように、ｂ−１フレームの絞り値等データ（Ｌ０）に基づき、２フレーム後の画像であるｂ１フレームの露光時間（ＥＸ１）が補正される。

図６は、露光時間補正部２１３ｆが撮像素子２０３の露光時間をライン毎にそれぞれ補正する際の概要を説明する説明図である。図６においては、撮像素子２０３の総ライン数を２Ｎ_ｍａｘ＋１（Ｎ_ｍａｘ＝自然数）とする。また、露光時間算出部２１３ｇが算出した一つの画像データに対応するフレームの露光時間をＴ、撮像素子２０３の最終ライン２Ｎ_ｍａｘ＋１で補正する露光補正時間をΔＴとして説明する。なお、図６においては、点Ｐは、撮像素子２０３における中央ライン（ｎ＝０）の露光開始のタイミングを示す。

垂直同期信号周期の期間の絞りの変化による露光量変化分を、撮像素子の水平ライン毎の露光時間を調節して補正するために、水平ライン毎の露光時間の垂直方向の変化率を、絞りの変化率と一致させればよいことがわかる。

従って、露光補正時間ΔＴと絞り変化量ΔＦの比は、中央ラインの露光補正時間０から最終ラインの露光補正時間ΔＴまでの変化に対応する時間、即ち、中央ラインから最終ラインまでの水平同期信号周期の数の分の時間Ｎ_ｍａｘ×Ｈ_ＤＣと、ΔＦ分の変化に対応する時間である垂直同期信号周期Ｖ_ＤＣとの比と等しいという関係を成立させればよい。

以上から、露光時間算出部２１３ｇが算出した一つの画像データの露光時間をＴ、垂直同期信号の周期に対応する絞り３０４の絞り変化量をΔＦ、垂直同期信号の周期をＶ_ＤＣ、水平同期信号の周期をＨ_ＤＣ、撮像素子２０３の最終ライン２Ｎ_ｍａｘ＋１で補正する露光補正時間をΔＴとしたとき、以下の式（３）が成り立つ。
ΔＴ：ΔＦ＝Ｎ_ｍａｘ×Ｈ_ＤＣ：Ｖ_ＤＣ ・・・（３）

式（３）より、
ΔＴ＝ΔＦ×Ｎ_ｍａｘ×Ｈ_ＤＣ／Ｖ_ＤＣ ・・・（４）
となる。また、露光時間補正部２１３ｆは、露光時間を補正する撮像素子２０３のラインをｎ（ｎ＝自然数）とした場合において、ｎが−Ｎ_ｍａｘ／２≦ｎ≦Ｎ_ｍａｘ／２の条件を満たし、補正する露光補正時間をｘとしたとき、図６により以下の式（５）が成り立つ。
ｘ：ΔＴ＝ｎ：Ｎ_ｍａｘ ・・・（５）
従って、
ｘ＝ΔＴ×ｎ／Ｎ_ｍａｘ ・・・（６）
となる。よって、式（６）に式（４）を代入すると、
ｘ＝ΔＦ×Ｈ_ＤＣ×ｎ／Ｖ_ＤＣ ・・・（７）

このように、露光時間補正部２１３ｆは、上述した式（７）で算出されるｘによって撮像素子２０３の露光時間Ｔを水平方向におけるライン毎にそれぞれ補正する。

そして、図６に示すように、露光時間補正部２１３ｆは、撮像素子２０３のラインｎがｎ＞０の場合、露光補正時間をｘだけ増加させ、一方、撮像素子２０３のラインｎがｎ＜０の場合、露光補正時間をｘだけ減少させるようにする。撮像装置１が動画撮影または表示部２１０がライブビュー画像を表示している場合において、絞り３０４が目標値に向けて駆動中に、露光時間が一定とすると、図１７で示したように、画面の上下で明るさが変化する。

図５で示す例では、図５の（ｅ）で示すように、絞り３０４が絞られる方向に変化し、画面の下側が上側に比べて絞りが相対的に小さくなるので、各ラインでの露光時間が一定とする場合（図６で、点線で示す左側の斜線）には、画面の下側で受光量が低下することになる。つまり、画面の下側での輝度が上側に比べて相対的に低下することになる。

そこで、第１実施形態では、露光時間補正部２１３ｆが最新の絞りＦ_ｎｅｗと時間変化量ΔＦとに基づいて、レンズ通信タイミング毎に撮像素子２０３の露光時間Ｔを水平方向におけるライン毎にそれぞれ補正する（図６で、実線で示す左側の斜線）。これにより、撮像素子２０３の水平方向におけるライン毎にそれぞれ受光する受光量を一定にすることができる。この結果、画像の露光ムラを抑制することができる。ステップＳ２０８の後、撮像装置１は、図３のメインルーチンへ戻る。

次に、ＬＣＰＵ３１０の処理を説明する。図７は、ＬＣＰＵ３１０による処理の手順を説明するフローチャートである。ＬＣＰＵ３１０は、絞り値取得指示があるか否かを判断する（ステップＳ３０１）。絞り値取得指示は、ＢＣＰＵ２１３からの位置情報検出信号（図５（ｄ））の立ち上がりまたは立ち下がりにより指示される。ＬＣＰＵ３１０は、絞り値取得指示がないと判断すると（ステップＳ３０１Ｎｏ）、ステップＳ３０４に進む。

ＬＣＰＵ３１０は、絞り値取得指示があると判断すると（ステップＳ３０１Ｙｅｓ）、絞り値検出部３０６から絞り値を取得する（ステップＳ３０２）。そして、ＬＣＰＵ３１０は、絞り値の取得と同時にレンズ位置検出部３０３の出力よりレンズ位置も取得する。そして、取得した最新の絞り値Ｆ_ｎｅｗとレンズ位置をレンズ記憶部３０８に記憶する。

ＬＣＰＵ３１０は、予告値Ｆ_ｎｅｘｔを算出する（ステップＳ３０３）。具体的には、ＬＣＰＵ３１０は、取得した最新の絞り値Ｆ_ｎｅｗと絞り３０４の駆動制御テーブルデータ３０８ａ、および絞り目標値Ｆｔに基づいて予告値Ｆ_ｎｅｘｔを算出する。そして、算出した予告値Ｆ_ｎｅｘｔをレンズ記憶部３０８に記憶する。

ＬＣＰＵ３１０は、ステップＳ３０１の絞り値取得指示の前のレンズ通信タイミングで、ＢＣＰＵ２１３から絞り目標値Ｆｔを受信して（後述するステップＳ３０６あるいはステップＳ３０８）レンズ記憶部３０８にしておく。ＬＣＰＵ３１０は、記憶した絞り目標値ＦｔをステップＳ３０３で利用する。図５の例では、レンズ通信のｆ０で受信したＦｔ０と、位置情報検出信号のｄ０で取得した最新の絞り値Ｆ_ｎｅｗに基づき、予告値Ｆ_ｎｅｘｔが算出される。

ＬＣＰＵ３１０は、図５（ｆ）のレンズ通信タイミングか否かを判断する（ステップＳ３０４）。具体的には、ＬＣＰＵ３１０は、図５（ｃ）のレンズ通信同期信号から所定時間だけ経過したか否かを判断する。ＬＣＰＵ３１０は、図５（ｆ）のレンズ通信タイミングでないと判断すると（ステップＳ３０４Ｎｏ）、ステップＳ３１０に進む。

ＬＣＰＵ３１０は、図５（ｆ）のレンズ通信タイミングであると判断すると（ステップＳ３０４Ｙｅｓ）、ステップＳ３０５‐ステップＳ３０９にてＢＣＰＵ２１３との通信を行う（図５（ｆ））。

ＬＣＰＵ３１０は、ＢＣＰＵ２１３から絞り駆動指示があるか否かを判断する（ステップＳ３０５）。絞り駆動指示は、絞り３０４が駆動されていない場合に絞りの駆動を開始する際の指示である。ＬＣＰＵ３１０は、絞り駆動指示があると判断すると（ステップＳ３０５Ｙｅｓ）、絞り駆動指示と共に送信された絞り目標値Ｆｔを受信して、絞りの目標位置に絞りの駆動を開始する（ステップＳ３０６）（図５（ｆ）レンズ通信のＦｔ）。一方、ＬＣＰＵ３１０は、絞り駆動指示がないと判断すると（ステップＳ３０５Ｎｏ）、ステップＳ３０７に進む。

ＬＣＰＵ３１０は、ＢＣＰＵ２１３から絞り値切換指示があるか否かを判断する（ステップＳ３０７）。絞り値切換指示は、絞りが駆動中である場合に設定されている目標の絞り値（目標位置）を変更する際の指示である。

ＬＣＰＵ３１０は、絞り値切換指示があると判断すると（ステップＳ３０７Ｙｅｓ）、絞り値切換指示Ｆｋと共に送信された絞り目標値Ｆｔを受信して、目標位置を切換位置に変更する（ステップＳ３０８）。

ＬＣＰＵ３１０は、ステップＳ３０２で取得した最新の絞り値Ｆ_ｎｅｗと絞り３０４の駆動制御テーブルデータ３０８ａ、および変更された絞り目標値Ｆｔに基づいて予告値Ｆ_ｎｅｘｔを再度算出し、レンズ記憶部３０８に記憶する。（ステップＳ３０９）。一方、ＬＣＰＵ３１０は、絞り値切換指示がないと判断すると（ステップＳ３０７Ｎｏ）、ステップＳ３０９に進む。なお、絞り値切換指示がない場合には、絞り目標値Ｆｔも送信されない。

ＬＣＰＵ３１０は、ステップＳ３０２で取得した最新の絞り値Ｆ_ｎｅｗとステップＳ３０３またはステップＳ３０９で算出した予告値Ｆ_ｎｅｘｔを送信する（ステップＳ３１０）。

そして、ＬＣＰＵ３１０は、電源がオフ状態か否かを判断する（ステップ３１１）。ＬＣＰＵ３１０は、ＢＣＰＵ２１３より電源をオフする指示があるかで、ステップＳ３１１を判断する。ＬＣＰＵ３１０は、電源がオフ状態でないと判断すると（ステップ３１１Ｎｏ）、ステップＳ３０１に戻り繰り返し処理を実行する。一方、ＬＣＰＵ３１０は、電源をオフする指示があると判断すると（ステップ３１１Ｙｅｓ）、本処理を終了する。

つぎに、図３のステップＳ１０４のフレームムラ補正処理について説明する。図８は、フレームムラ補正処理の手順を説明するフローチャートである。

図８に示すように、ＢＣＰＵ２１３は、撮像素子２０３のライン読出しの開始タイミングか否かを判断する（ステップＳ４０１）。ＢＣＰＵ２１３は、撮像素子２０３のライン読出しの開始タイミングでないと判断した場合（ステップＳ４０１Ｎｏ）、図３のメインルーチンへ戻る。

ＢＣＰＵ２１３が、撮像素子２０３のライン読出しの開始タイミングであると判断した場合（ステップＳ４０１Ｙｅｓ）、最新の絞り値Ｆ_ｎｅｗと２フレーム前にＬＣＰＵ３１０から取得した予告値Ｆ_ｎｅｘｔとの間に差ΔＦ_ｅｒｒがあるか否かを判断する（ステップＳ４０２）。たとえば、図５のｔ５では、ＢＣＰＵ２１３は、時点ｔ５における最新の絞り値Ｆ_ｎｅｗ（５）と、時点ｔ５における予告値Ｆ_ｎｅｘｔ（５）との間に差ΔＦ_ｅｒｒがあると判断する。

たとえば、レンズ部３が２フレーム後の絞り値の予告値Ｆ_ｎｅｘｔを算出した後で、ユーザによりズーム操作がなされ、ズームの変化に対して絞り値が変化しないようにする絞りトラッキング動作が実行される場合等において、差ΔＦ_ｅｒｒが生ずる。このように、レンズ部３が予告値を算出する時点では予測できなかった絞り動作が、予告値の算出後に実行される場合に差ΔＦ_ｅｒｒが発生する。

ＢＣＰＵ２１３は、最新の絞り値Ｆ_ｎｅｗと予告値Ｆ_ｎｅｘｔとの間に差があると判断した場合（ステップＳ４０２Ｙｅｓ）、絞り３０４の最新の絞り値Ｆ_ｎｅｗと予告値Ｆ_ｎｅｘｔとの間の差ΔＦ_ｅｒｒを記憶部２１２に記憶する（ステップＳ４０３）。たとえば、図５に示す状況では、ＢＣＰＵ２１３は、時点ｔ５における絞り３０４の最新の絞り値Ｆ_ｎｅｗ（５）と予告値Ｆ_ｎｅｘｔ（５）と間の差ΔＦ_ｅｒｒを記憶部２１２に記憶する。

一方、ＢＣＰＵ２１３は、最新の絞り値Ｆ_ｎｅｗと予告値Ｆ_ｎｅｘｔとの間に差がないと判断した場合（ステップＳ４０２Ｎｏ）、ステップＳ４０４へ進む。

撮影制御部２１３ｇは、撮像素子駆動部２０４を駆動することにより、撮像素子２０３の水平方向におけるライン毎に順次読み出しを行う（ステップＳ４０４）。

その後、ＢＣＰＵ２１３は、撮像素子２０３の全ラインの読出しを終了したか否かを判断する（ステップＳ４０５）。ＢＣＰＵ２１３は、撮像素子２０３の全ラインの読出しを終了していないと判断した場合（ステップＳ４０５Ｎｏ）、ステップＳ４０４へ戻る。

ＢＣＰＵ２１３は、撮像素子２０３の全ラインの読出しを終了したと判断した場合（ステップＳ４０５Ｙｅｓ）、ゲイン設定部２１３ｇは、記憶部２１２が記憶する最新の絞り値Ｆ_ｎｅｗと予告値Ｆ_ｎｅｘｔとの間の差ΔＦ_ｅｒｒに基づいて、画像処理部２１３ａが画像データに対して行うゲインを設定する（ステップＳ４０６）。

続いて、画像処理部２１３ａは、ゲイン設定部２１３ｇが設定したゲインに基づいて、撮像素子２０３から読み出された画像データにゲインを調整する処理を含むデジタル的な画像処理を行う（ステップＳ４０７）。

このように、画像処理部２１３ａがゲイン設定部２１３ｇによって設定されたゲインに基づいて、撮像素子２０３から読み出された画像データにゲインを調整する処理を含む処理を行う。

この結果、図１４（ａ）〜（ｄ）に示すように、撮影者が撮像装置１を用いてパンニング操作を行うことにより、撮像装置１が撮影する視野領域が、たとえば暗い視野領域から明るい視野領域に移動したとしても、撮像装置１は、隣接するフレーム間で画像の明るさのムラを生じさせることなく（Ｗ_ｍ→Ｗ_ｍ＋１→Ｗ_ｍ＋２→Ｗ_ｍ＋３）、常に画像の明るさが均一である動画撮影したり、または表示部２１０にライブビュー画像を表示したりすることができる。ステップＳ４０７の後、図３のメインルーチンへ戻る。

以上説明した本発明の第１実施形態によれば、レンズ部３の絞り３０４の駆動時において、露光時間算出部２１３ｇがレンズ部３から取得した２フレーム後の絞り値Ｆ_ｎｅｘｔ（予告値）に基づいて露光時間を算出する。また、露光時間補正部２１３ｆが２フレーム間の絞り３０４の絞り値変化（｜Ｆ_ｎｅｗ―Ｆ_ｎｅｘｔ｜）から１フレーム中の時間変化量ΔＦを算出し、ΔＦと露光時間算出部２１３ｇが算出した露光時間に基づいて撮像素子２０３の水平方向におけるライン毎にそれぞれ露光時間を補正する。

この結果、撮像素子２０３によって動画撮影を行う際またはライブビュー画像を表示する際に画面毎に生ずる明るさムラ、および画像内で生じる明るさのムラを従来よりも高精度で抑制することができる。

さらに、第１実施形態によれば、ゲイン設定部２１３ｇがＬＣＰＵ３１０から取得した絞り３０４の予告値Ｆ_ｎｅｘｔと絞り３０４の最新の絞り値Ｆ_ｎｅｗと間の差に基づいて、画像処理部２１３ａが画像データに対して行うゲインを設定する。すなわち、画像処理部２１３ａによるデジタル的な画像処理と露光時間補正部２１３ｆによる露光時間の補正処理との２段階で画像の明るさのムラを補正する。

この結果、撮像素子２０３によって動画撮影するか、または表示部２１０にライブビュー画像を表示したりする際に隣接するフレーム間で生じる画像の明るさのムラを従来よりも確実に抑制することができる。

また、第１実施形態によれば、絞り３０４を一定の変化率で駆動させながら、画像の明るさにムラを生じさせることなく、動画撮影するか、または表示部２１０にライブビュー画像を表示したりすることができる。

また、第１実施形態では、表示部２１０が表示するライブビュー画像について説明したが、撮像素子２０３が画像データを連続的に生成する動画撮影においても、本発明を適用することができる。

また、第１実施形態では、撮像素子２０３が生成する画像データのフレームレートを３０ｆｐｓで説明したが、たとえば、６０ｆｐｓ、１２０ｆｐｓおよび２４０ｆｐｓのいずれであっても適用することができ、画像データのフレームレートは適宜設定することができる。

また、第１実施形態では、ＢＣＰＵ２１３はＬＣＰＵ３１０とのレンズ通信で最新の絞り値と２フレーム後の絞り値を取得して絞り値の時間変化量ΔＦを求めているが、本体部２に装着されるレンズ部３の種類や撮影モード等に応じて、上記２つの絞り値の一方のみを取得してその時間変化から絞り値の時間変化量ΔＦを求めるようにしてもよい。

また、第１実施形態では、ＢＣＰＵ２１３はＬＣＰＵ３１０とのレンズ通信で最新の絞り値と２フレーム後の絞り値を取得して絞り値の時間変化量ΔＦを求めているが、取得する絞り値は最新と２フレーム後の絞り値のみに限定するものではなく、例えば、最新と３フレーム後の絞り値のような組合せであってもよい。

更に、取得する絞り値は最新と他の１つのタイミングでの絞り値に限定するものではなく、例えば、最新と２、３、４フレーム後の絞り値のような組合せで最新以外の複数のタイミングでの絞り値を取得するようにして絞り値の変化予定を事前に確認することにより、絞り駆動中にズーム操作等が行われた場合のトラッキング動作による露光量の変化を被写体輝度と誤認して不用意に露光条件を変更してしまうことでライブビュー表示中等に生じる隣接フレーム間での画像の明るさムラを抑制することができる。

[第２実施形態]
第２実施形態は、第１実施形態では、同時に行っていたレンズ位置と絞り値の検出タイミングを別々に指定する例である。第２実施形態における撮像装置のブロック図や基本的なフローチャートは、第1実施形態と同じであるので、異なる部分のみ説明する。

第１実施形態では、図５（ｄ）の位置情報検出信号により、光学系３０１のフォーカスレンズやズームレンズ等のレンズ位置と絞り３０４の絞り値の検出を共通のタイミングで行うようにしていた。このような場合、スポットＡＥやスポットＡＦでＡＦ領域とＡＥ領域が異なる位置に設定された際には、それぞれの領域の露光タイミングにレンズ位置と絞り値の検出タイミングを合わせることができない。つまり、最適なＡＦ制御とＡＥ制御を行うことができない可能性がある。

そこで、以下に示すような方法でレンズ位置と絞り値の検出タイミングを別々に指定することにより、ＡＦ制御とＡＥ制御の最適化を図る。

＜検出タイミング指定例１＞
図９は、検出タイミング指定例１を示すタイミングチャートである。図９に示すように、位置情報検出信号（ｄ）の立下りエッジでレンズ位置、立上りエッジで絞り値の検出タイミングを指示する。

なお、第1実施形態で示した共通タイミングで検出を行う方法と、検出タイミング指定例１の方法を、ＢＣＰＵ２１３からＬＣＰＵ３１０への指示により切換られるようにしてもよい。

＜検出タイミング指定例２＞
図１０は、検出タイミング指定例２を示すタイミングチャートである。図１０に示すように、位置情報検出信号（ｄ）の両エッジでレンズ位置、レンズ通信同期信号（ｃ）の立下りエッジで絞り値の検出タイミングを指示する。

＜検出タイミング指定例３＞
図１１は、検出タイミング指定例３を示すタイミングチャートである。図１１に示すように、位置情報検出信号（ｄ）の両エッジでレンズ位置、レンズ通信同期信号（ｃ）の立上りエッジからの経過時間Ｔ_ＡＶで絞り値の検出タイミングを指示する。また、経過時間Ｔ_ＡＶの基点をレンズ通信同期信号（ｃ）の立下りエッジとしてもよい。なお、上記の各指定例において、レンズ位置と絞り値の検出タイミングの指定方法を入れ換えてもよい。

[第３実施形態]
第３実施形態は、第１実施形態に更に、ズーム操作とトラッキング駆動による絞り値変化のずれの対策を行うものである。第３実施形態では、レンズ部３がズームレンズを有し、ズーム動作に応じて絞り値が変化しないように絞り３０４の開口径を制御する、いわゆる絞りトラッキング動作が可能に構成されているレンズ部３を前提とする。なお、第３実施形態の撮像装置のブロック図や基本的なフローチャートは、第１実施形態と同じであるので、共通部分は省略し、異なる部分のみ説明する。

図１２は、絞りトラッキング動作が可能に構成されたレンズ部３を本体部２に装着して撮影を行う場合の露光時間算出／補正処理の手順を説明するタイミングチャートである。なお、図１２は、図５から一部を変更したものであり、符号の一部は省略する。

図１２に示すように、時点ｔ２の後でズーム操作が行われると、ＬＣＰＵ３１０は、レンズ部３に設けられた不図示のズーム位置検出部の出力であるズーム位置を参照してズーム操作を検出する。レンズ記憶部３０８には、絞り値が一定となるズーム位置と絞り開口の関係を示す絞りトラッキング特性３０８ｂ（不図示）が記憶されている。

ズーム操作により光学系の位置が変わり、絞り値が変化する。そこで、ＬＣＰＵ３１０は、露光制御により予め設定された絞り値を維持するように、ズーム位置に基づいて絞り駆動部３０５により絞り３０４の開口径を制御する。つまり、ズーム操作により変化した絞り値を補正するためのトラキング駆動が指定される。

このようにズーム操作がなされ、時点ｔ２の直後に、絞りトラッキング動作が実行されたとする。具体的には、絞りカーブ（図１２のｂ）はトラッキング動作を行わない場合の直線状のＺｃ（点線）に対して、例えば曲線のＺｂ（実線）のように変化する。

時点ｔ２での絞り位置Ｆ（２）と、時点ｔ３での絞り位置Ｆ（３）の差は、絞りトラッキング動作を行わない場合はΔＦであるが、絞りトラッキング動作を行う場合はΔＦ＋ΔＦｚｍとなる。

また、前述の従来技術（特許文献２）においては、カメラ本体側において、時点ｔ２の絞り位置Ｆ（２）と時点ｔ３の絞り位置Ｆ（３）に基づいて時点ｔ５の絞り位置を予測する。そのため、従来技術では、絞りトラッキング動作後の絞りカーブは、Ｚｄ（２点鎖線）になる。時点ｔ５における予測される絞り位置は、絞り位置ＦＤとなる。一方、実際に制御される時点ｔ５の絞り位置は、駆動目標位置ＦＴである。

このため、予測された絞り位置ＦＤに基づいて算出される露光時間（図１２のＥＸ４）は適正露光から大きくはずれた露光時間となり、ローリングシャッタ露光（図１２のｂ４）は適正露光から大きくはずれてしまうことになる。第３実施形態によれば、このような問題を解消することが可能となる。

ＬＣＰＵ３１０は、絞りトラッキング動作を加味した予告値（絞り位置Ｆ（５））を算出して、時点ｔ３の後のレンズ通信のタイミングでＢＣＰＵ２１３へ送信する。ＢＣＰＵ２１３は、予告値（絞り位置Ｆ（５））に基づいて、露光時間を算出する（図１２のＥＸ４）。従って、絞りトラッキング動作を加味した絞り値に基づいて適正な露光時間を算出し、ローリングシャッタ露光（図１２のｂ４）を適正露光で実行することが可能である。

図１３は、絞りトラッキング動作を行うように構成されたレンズ部３のＬＣＰＵ３１０の動作を説明するフローチャートである。図１３の処理で、図７と同一処理については、同一符号を付し、異なる点を中心に説明する。

図１３において、ステップＳ３０１からＳ３０３の処理は、図７と同じである。ステップＳ３０１にて絞り値取得指示なしの場合または、ステップＳ３０３にて２フレーム後の絞り値Ｆ_ｎｅｘｔを算出した後で、ステップＳ３０３ａに進む。ＬＣＰＵ３１０は、絞りトラッキング動作が必要か否かを判断する（ステップＳ３０３ａ）。ここでは、ＬＣＰＵ３１０は、ズーム位置検出部の出力であるズーム位置を参照してズーム操作の有無等を検出する。

ＬＣＰＵ３１０は、絞りトラッキング動作が必要と判断すると（ステップＳ３０３ａＹｅｓ）、レンズ記憶部３０８に記憶されている絞りトラッキング特性３０８ｂに基づいて絞りトラッキング動作を実行する（ステップＳ３０３ｂ）。絞りトラッキング動作は、ズーム操作中に図１３のステップＳ３０１からＳ３１０の動作を繰り返し実行する処理の中で、ステップＳ３０３ｂにて実行され、連続したズーム操作に追従して絞りトラッキング動作がなされる。

一方、ＬＣＰＵ３１０は、絞りトラッキング動作が必要でないと判断すると（ステップＳ３０３ａＮｏ）、ステップＳ３０３ｂをスキップして、ステップＳ３０４に進む。例えば、ズーム操作がなされていない、または、ズーム操作による絞り値の変化が露光誤差の許容範囲内である場合である。ステップＳ３０４以降の動作は、図７と同一であるので説明を省略する。

以上、第３実施形態によれば、レンズ部３にてズーム操作に応じた絞りトラッキング動作を行うタイプのレンズ部を装着してライブビュー表示や動画撮影を行う場合であっても、絞りトラッキング動作による露光量の変化を被写体輝度の変化と誤認して露光条件を変更することにより生ずるライブビュー表示や動画の隣接フレーム間での画像の明るさムラを抑制することができる。

なお、ズーム操作の代わりに、マクロレンズではフォーカス動作によっても絞りトラッキング動作を行うタイプのレンズ部が知られている。このようなタイプのレンズ部が装着されている場合に、ユーザによりマニュアルフォーカス操作が実行され絞りトラッキング動作が行われる場合も、同様に絞り値変化のずれの対策が実行される。

また、上述した各実施形態では、特許請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」や「つぎに、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

また、上述した各実施形態では、撮像装置としてデジタル一眼レフカメラとして説明していたが、たとえばレンズ部３と本体部２とが一体的に形成されたデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。

また、上述した各実施形態では、ＢＣＰＵ２１３やＬＣＰＵ３１０が、制御プログラムを読込んだＣＰＵのソフトウェア処理により実現されると説明したが、一部または全部をハードウェアで実現するよう構成してもよい。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

１ 撮像装置
２ 本体部
３ レンズ部
２０１ シャッタ
２０２ シャッタ駆動部
２０３ 撮像素子
２０４ 撮像素子駆動部
２０５ 信号処理部
２０６ 発光部
２０７ 同期信号生成部
２０８ 本体通信部
２０９ 操作入力部
２１０ 表示部
２１１ タッチパネル
２１２ 記憶部
２１３ ＢＣＰＵ
２１３ａ 画像処理部
２１３ｂ 顔検出部
２１３ｃ 目標値算出部
２１３ｄ 露光制御部
２１３ｅ 露光時間算出部
２１３ｆ 露光時間補正部
２１３ｇ ゲイン設定部
２１３ｈ 撮影制御部
３０１ 光学系
３０２ レンズ駆動部
３０３ レンズ位置検出部
３０４ 絞り
３０５ 絞り駆動部
３０６ 絞り値検出部
３０７ レンズ操作部
３０８ レンズ記憶部
３０８ａ 駆動制御テーブルデータ
３０９ レンズ通信部
３１０ ＬＣＰＵ

Claims (8)

1. 可変絞りを含む光学系を有するレンズ部と、
   前記レンズ部を装着可能に構成され、前記レンズ部を介して集光される光を受光して光電変換を行う撮像素子を有する本体部と、からなる撮像装置において、
   前記レンズ部は、
   前記可変絞りを駆動する絞り駆動部と、
   前記可変絞りの絞り値を検出する絞り値検出部と、
   前記絞り駆動部を制御するレンズ制御部と、を備え、
   前記レンズ制御部は、前記可変絞りの絞り値を変更する際に、前記絞り値検出部が検出した前記可変絞りの最新の絞り値の検出時刻から所定時間経過後の絞り値を示す予告値を算出して前記本体部に送信し、
   前記本体部は、
   前記レンズ部から取得した前記予告値に基づいて、前記撮像素子の露光を制御する露光制御部と、を備える
   ことを特徴とする撮像装置。
2. 前記レンズ部は、前記絞り駆動部による駆動量に応じた前記可変絞りの絞り値の変化特性を記憶する記憶部を有し、
   前記レンズ制御部は、前記変化特性に基づいて前記予告値を算出する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記本体部は、被写体輝度の変化に対応する絞りの目標値を算出して前記レンズ部に送信し、
   前記レンズ制御部は、前記本体部から受信した目標値と前記最新の絞り値とに基づき、前記予告値を算出し、前記絞り値検出部が検出した最新の絞り値と前記予告値を前記本体部に送信し、
   前記露光制御部は、前記最新の絞り値と前記予告値に基づいて、前記撮像素子の露光を制御する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記露光制御部は、前記撮像素子が生成した画像データから求めた被写体輝度情報に基づいて前記撮像素子の露光時間を算出し、前記算出した露光時間と前記レンズ部から取得した予告値を含む複数の絞り値とに基づいて前記撮像素子の水平ライン毎の露光を制御する
   ことを特徴とする請求項１に記載の撮像装置。
5. 可変絞りを含む光学系と所定の視野領域から光を集光するレンズ部と、
   前記レンズ部を装着可能に構成され、前記レンズ部を介して集光される光を受光して光電変換を行う撮像素子を有する本体部と、からなる撮像装置において、
   前記レンズ部は、
   前記可変絞りを駆動する絞り駆動部と、
   前記可変絞りの絞り値を検出する絞り値検出部と、
   前記絞り駆動部を制御するとともに、前記可変絞りの絞り値を変更する際に、前記絞り値検出部が検出した前記可変絞りの最新の絞り値の検出時刻から所定時間経過後の絞り値を示す予告値を算出して前記本体部に送信するレンズ制御部と、を備え、
   前記本体部は、
   前記レンズ部を介して集光される光を受光して光電変換を行う複数の画素を縦横に二次元的に配列し、前記画素で変換された電気信号を複数の画像が配列された水平方向のライン毎に異なるタイミングで順次読み出して画像データを連続的に生成する撮像素子と、
   前記撮像素子の露光時間を水平方向のライン毎に補正する露光時間補正部と、を備え、
   前記露光時間補正部は、前記レンズ部から取得した予告値を含む複数の絞り値に基づいて絞り値の時間変化量を算出し、前記絞り値の時間変化量に対応して前記撮像素子の露光時間を水平方向のライン毎に補正する
   ことを特徴とする撮像装置。
6. 前記本体部は、
   前記撮像素子が生成する前記画像データに対し、少なくともゲインを調整する画像処理部と、
   前記予告値に基づいて、前記画像処理部が前記画像データに対して調整するためのゲインを設定するゲイン設定部と、をさらに備える
   ことを特徴とする請求項５に記載の撮像装置。
7. 可変絞りを含む光学系と、前記可変絞りを駆動する絞り駆動部と、前記可変絞りの絞り値を検出する絞り値検出部を有するレンズ部と、
   前記レンズ部を装着可能に構成され、前記レンズ部を介して集光される光を受光して画像データを連続的に生成する撮像素子を有する本体部と、からなる撮像装置における撮像方法おいて、
   被写体輝度の変化に対応して変更すべき前記可変絞りの絞り値の目標値を前記本体部で算出し、
   算出した目標値を前記本体部からレンズ部に送信し、
   前記目標値を前記レンズ部で受信し、
   前記絞り値検出部で前記可変絞りの最新の絞り値を検出し、
   前記絞り駆動部により絞り値を前記目標値へ駆動開始してから所定時間経過後に予測される絞り値を示す予告値を、前記絞り駆動部の駆動による絞り値の変化特性データに基づき前記レンズ部で算出し、
   前記算出した予告値を前記レンズ部から前記本体部に送信し、
   前記予告値を前記本体部で受信し、
   前記レンズ部から取得した前記予告値に基づいて、前記目標値に向かって駆動される絞り値の時間変化量を前記本体部で算出し、前記時間変化量に対応して前記撮像素子の露光時間を補正する
   ことを特徴とする撮像方法。
8. 可変絞りを含む光学系と、前記可変絞りを駆動する絞り駆動部と、前記可変絞りの絞り値を検出する絞り値検出部を有するレンズ部と、
   前記レンズ部を装着可能に構成され、前記レンズ部を介して集光される光を受光して画像データを連続的に生成する撮像素子を有する本体部と、からなる撮像装置のコンピュータに撮像方法を実現させるプログラムおいて、
   被写体輝度の変化に対応して変更すべき前記可変絞りの絞り値の目標値を前記本体部で算出し、
   算出した目標値を前記本体部からレンズ部に送信し、
   前記目標値を前記レンズ部で受信し、
   前記絞り値検出部で前記可変絞りの最新の絞り値を検出し、
   前記絞り駆動部により絞り値を前記目標値へ駆動開始してから所定時間経過後に予測される絞り値を示す予告値を、前記絞り駆動部の駆動による絞り値の変化特性データに基づき前記レンズ部で算出し、
   前記算出した予告値を前記レンズ部から前記本体部に送信し、
   前記予告値を前記本体部で受信し、
   前記レンズ部から取得した前記予告値に基づいて、前記目標値に向かって駆動される絞り値の時間変化量を前記本体部で算出し、前記時間変化量に対応して前記撮像素子の露光時間を補正する
   ことを特徴とするプログラム。