JP2019169824A - 撮像装置 - Google Patents

Abstract

【課題】空気ゆらぎによって焦点距離が見かけ上変化してもコントラストが良好な画像を撮像する。【解決手段】撮像素子の各画素に入射する被写体の光学像の光束を撮像レンズの特定の射出瞳領域からの光束に制限する瞳分割手段と、瞳分割手段によって分割された複数の射出瞳領域から得られる瞳分割画像のずれ量を用いてデフォーカス量を算出する算出手段と、デフォーカス量から空気ゆらぎ量を検出する空気ゆらぎ検出手段と、空気ゆらぎ補正手段とを有する。空気ゆらぎ補正手段は、瞳分割画像の画素を、空気ゆらぎ量分シフト補正してから加算することで撮影画像を生成する。【選択図】図６

Description

本発明は、焦点検出機能を備えた撮像装置に関して、特に空気ゆらぎによって焦点距離が見かけ上変化してもコントラストが良好な画像を得ることができる撮像装置に関する。

被写体までの距離が長い撮影シーンにおいて、超望遠レンズなどを用いて被写体を撮影すると、時折、空気のゆらぎに起因して画像の一部、或いは、全体が劣化することがある。この場合の画像劣化は、温度変化などによって空気密度にムラが生じ、屈折率が時間的、空間的に変化することによって発生する。このような空気のゆらぎに起因して発生する画像劣化の影響を極力低減するための技術として特許文献１が挙げられる。

特開２０１２−１８２６２５号公報

特許文献１の撮像装置は、空気ゆらぎを撮影・地理・気象条件等に基づいて検出し、空気ゆらぎの発生を検出した場合には連続撮影により複数の画像を生成し、複数枚の画像を加算平均することで画像補正を行う。この撮像装置によれば、複数枚の画像を合成することによって、空気ゆらぎに起因する画像の劣化を低減できるので、コントラストが良好な画像を得ることができる、ということである。

しかしながら、上記従来技術では空気ゆらぎに起因して発生する画像の劣化をある程度補正はできるものの、その効果は複数枚の撮影が可能である場合に限定される。コントラストが良好な画像を得るためには、より多くの枚数の静止画撮影（動画の場合は動画記録時間を延ばす）を行うことが必要になる、という課題があった。

被写体を撮像するための撮像レンズ及び撮像素子を有する撮像装置において、
前記撮像レンズを介して得られた光学像を光電変換する撮像素子と、
前記撮像素子の各画素に入射する前記被写体の光学像の光束を前記撮像レンズの特定の射出瞳領域からの光束に制限する瞳分割手段と、
前記瞳分割手段によって分割された複数の射出瞳領域から得られる瞳分割画像のずれ量を用いてデフォーカス量を算出する算出手段と、
前記被写体の撮影時に、測距領域の特定点において前記算出手段により算出した所定期間のデフォーカス量の変化量が所定の閾値以上のときに前記デフォーカス量から空気ゆらぎ量を検出する空気ゆらぎ検出手段と、
前記複数の射出瞳領域から得られる瞳分割画像の画素を、前記空気ゆらぎ量分シフト補正してから加算することで撮影画像を生成する空気ゆらぎ補正手段と、
を有する
ことを特徴とする撮像装置。

本発明によれば、空気ゆらぎが大きい場合であっても、撮影枚数を多くする（動画記録時間を延ばす）ことなく、コントラストが良好な画像を得ることができる。

本実施例における撮像装置の構成を示すブロック図である。 本実施例における撮像装置の撮影動作を示すフローチャートである。 空気ゆらぎとデフォーカス量の関係を説明するための図である。 空気ゆらぎ検出処理の動作を示すフローチャートである。 空気ゆらぎ画像を補正する方法を説明するための図である。 空気ゆらぎ補正処理の動作を示すフローチャートである。 空気ゆらぎに起因する画像劣化が、画像の一部像高で発生していることを説明する図。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されるものではない。

［実施例１］
図１を参照して、本実施例における撮像装置（カメラ）の構成について説明する。図１は、本実施例における撮像装置１００の構成を示すブロック図である。

１０１はズーム機構を含む撮影レンズ、１０２は光量を制御する絞り及びシャッター、１０３はＡＥ処理部、および、１０４はフォーカスレンズである。撮影レンズ１０１およびフォーカスレンズ１０４により撮像光学系が構成される。フォーカスレンズ１０４は、撮像光学系を介して得られた被写体像（光学像）を後述の撮像素子１０７上に結像させるように、光軸上を移動可能である。なお本実施例の撮像装置１００は、撮像光学系と撮像装置本体とが一体的に構成されているが、これに限定されるものではない。本実施例は、撮像素子１０７を備えた撮像装置本体（カメラ本体）と、撮像装置本体に着脱可能なレンズ装置（撮像光学系）とにより構成される撮像システムにも適用可能である。

撮像装置１００は、撮像面で取得した一対の被写体像（Ａ像及びＢ像）の位相差に基づく位相差方式の焦点調節（撮像面位相差ＡＦ）が実行可能なように構成されている。ここでＡ像とは、撮影光学系の異なる射出瞳領域を通過した対の光束から得られる像の一方であり、Ｂ像とは、撮影光学系の異なる射出瞳領域を通過した対の光束から得られる像の他方である。Ａ像とＢ像とを撮像面で受けて光電変換した撮像信号である像信号Ａと像信号Ｂの相対的な像ずれ量から相関演算を用いてデフォーカス量を算出することによって、撮像レンズの焦点位置を算出することができる。これに基づいて、撮影レンズの焦点ずれ量を調節する。

１０５はフォーカスレンズ１０４を駆動するモーター、１０６はＡＦ処理部である。ＡＦ処理部１０６は、ＡＦ評価値を用いてフォーカスレンズ１０４を駆動制御する。１０７は撮像素子であり、被写体からの反射光（フォーカスレンズ１０４を介して得られた光学像（被写体像））を電気信号（アナログ信号）に光電変換する受光手段（光電変換手段）である。１０８はＡ／Ｄ 変換部であり、アナログ信号をデジタル信号に変換する。またＡ／Ｄ変換部１０８は、撮像素子１０７の出力ノイズを除去するＣＤＳ回路、および、Ａ／Ｄ変換前の増幅処理を行う非線形増幅回路を含む。１０９は画像処理部である。画像処理部１０９は、撮像素子１０７からの画像信号を処理する。

１１０は、撮影シーケンスなどのシステム（撮像装置１００の動作）を制御するシステム制御部（制御部、ＣＰＵ）である。システム制御部１１０は、撮像素子１０７（画像処理部１０９）からの画像信号に基づいてデフォーカス量を算出し、焦点検出を行う焦点検出手段１１０ａを有する。またシステム制御部１１０は、焦点検出手段からの焦点検出信号に基づいて、ＡＦ処理部１０６と協働して、フォーカスレンズ１０４の位置（フォーカス位置）を制御する制御手段１１０ｂ、を有する。

１１１は高速な内蔵メモリとしてのＤＲＡＭ（ランダムアクセスメモリ）で、一時的な画像記憶手段である高速バッファとして、または、画像の圧縮伸張における作業用メモリとして用いられる。１１２は、メモリカードなどの 記録媒体とそのインターフェースを備えて構成される画像記録部である。１１４はＶＲＡＭ（画像表示用メモリ）である。１１５は、画像とともに操作補助のための表示や撮像装置１００の状態の表示、および、撮影時においては撮影画面と測距領域との表示を行う表示部である。

１１６は、撮像装置１００を外部から操作するための操作部で、撮像装置１００の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチである。１１７は、静止画モード、動画モードなどの撮影モードを選択するための撮影モードスイッチで、ユーザにより選択された撮影モードに応じて、撮影動作などを変更するためのスイッチである。１１８は、システム（撮像装置１００）に電源 を投入するためのメインスイッチである。１１９は、ＡＦ（自動焦点検出）やＡＥ（自動 露出）などの撮影スタンバイ動作を行うためのスイッチ（ＳＷ１）である。１２０は、スイッチ１１９（ＳＷ１）の操作後、撮影を行うための撮影スイッチ（ＳＷ２）である。１２１は、ストロボである。

図２を参照して、本実施例における撮像装置１００の動作について説明する。図２は、撮像装置１００の撮影動作を示すフローチャートである。図２の各ステップは、システム制御部１１０の指令に基づいて実行される。

ステップＳ２０１において、システム制御部１１０は、スイッチＳＷ２（１２０）の状態を判定する。スイッチＳＷ２が押されている場合（ＯＮの場合）、ステップＳ２０２へ進む。一方、スイッチＳＷ２が押されていない場合（ＯＦＦの場合）、ステップＳ２０１を繰り返す。ステップＳ２０２において、システム制御部１１０は、図４にて後述する空気ゆらぎ検出処理に基づいて、各像高の空気ゆらぎに起因する画像劣化量（空気ゆらぎ量）を測定し、ステップＳ２０３へ進む。

図３は、空気ゆらぎとデフォーカス量の関係を説明するための図である。図３ａは合焦状態であり、被写体における点Ｃ、点Ｄは撮像面上の点Ｃ’，点Ｄ’に結像し、それぞれの点Ｃ’、点Ｄ’で検出されるデフォーカス量はゼロである。図３ｂは、被写体までの距離が長く、空気ゆらぎの影響を受け、撮像面から点Ｃ，点Ｄまでの距離もそれぞれランダムに動いて見えるため、撮像面上での点Ｃ’、点Ｄ’もそれぞれ異なるデフォーカス量となる。そこで、この特性を利用して、所定期間に複数回取得したデフォーカス量の変化量が所定の閾値以上であった場合は空気ゆらぎが発生したと判定することができる。

ここで図４を参照して、ステップＳ２０２における空気ゆらぎ検出処理の動作について説明する。

図４の各ステップは、システム制御部１１０の指令に基づいて実行される。ステップＳ４０１において、システム制御部１１０は、焦点検出手段１１０ａを用いて焦点検出動作を行い、全ての測距点の像ずれ量とデフォーカス量を所定期間にｎ回取得して、ステップＳ４０４へ進む。ステップＳ４０４において、システム制御部１１０は、取得した測距点毎のｎ回のデフォーカス量の変化量と、像ずれ量の平均値Ａｖｅを算出して、ステップＳ４０５へ進む。ここで変化量とは標準偏差σ、または最大値と最小値の差分である。

ステップＳ４０５において、システム制御部１１０は、算出した測距点毎のデフォーカス量の変化量が所定の閾値Ｔ１を超えているかを比較し、超えていた場合は、ステップＳ４０６へ進む。そうでない場合は、ステップＳ４０８へ進む。ステップＳ４０６において、システム制御部１１０は、算出対象の測距点において空気ゆらぎが発生したと判定して、ステップＳ４０７へ進む。ステップＳ４０７において、システム制御部１１０は、ステップＳ４０４において算出対象の測距点における像ずれ量の平均値Ａｖｅを、算出対象の測距点における空気ゆらぎ量として、ステップＳ４１０へ進む。

ステップＳ４０８において、システム制御部１１０は、算出対象の測距点において空気ゆらぎが発生していないと判定して、ステップＳ４０９へ進む。ステップＳ４０９において、システム制御部１１０は、算出対象の測距点における空気ゆらぎ量はゼロに設定して、ステップＳ４１０へ進む。ステップＳ４１０において、システム制御部１１０は、全測距点の空気ゆらぎ検出が完了したかを判定し、完了した場合は本フローを終了する。完了していない場合は、ステップＳ４０４へ進む。

図２に戻り、ステップＳ２０３において、システム制御部１１０は、図６にて後述する空気ゆらぎ補正処理に基づいて、Ａ像とＢ像を画像合成し、ステップＳ２０４へ進む。

図５は、空気ゆらぎ画像を補正する方法を説明するための図である。図５Ａは、合焦状態かつ空気ゆらぎの影響がある場合に、黒背景で水平方向の中央に垂直方向の１本の白ラインがある被写体の画像である。横軸は画像の水平方向で、縦軸は画像の垂直方向である。空気ゆらぎの影響を受けて、画像のコントラストは良好ではない。

図５Ｂは、図５Ａに示した被写体の像を、撮像面で取得した一対の被写体（Ａ像とＢ像）の水平方向の輝度出力分布である。空気ゆらぎの影響を受けて、合焦状態にもかかわらずＡ像とＢ像の水平方向の輝度分布は相対的な像ずれが発生している。

図５Ｃは、焦点検出手段で検出したA像とＢ像を相対的な像ずれ量の半分の量で、お互いに重なる方向へ画素水平方向に画素シフトして補正している。図５Ｄは、図５Ｃに示した画素シフトして補正したＡ像とＢ像とを加算合成して生成した画像であり、図５Ａで示した補正をしていない画像と比較して、コントラストが改善している。

図７は空気ゆらぎに起因する画像劣化が、画像の一部像高で発生していることを説明する図である。

図７は合焦状態かつ空気ゆらぎの影響がある場合の、黒背景で画像中央に位置する天体被写体の画像である。被写体までの距離が長く、空気ゆらぎの影響をうけて複数の像高で像がゆらいで見えるが、そのゆらぎの程度はたとえば領域Ａと領域Ｂとでは異なっている。これは領域Ａと領域Ｂの被写体の光が異なる光路をとおって撮像面に到達するが、それぞれの光路上における空気ゆらぎ（空気密度の変化）が異なるため、それに応じて空気ゆらぎに起因する画像劣化の程度も異なって発生している。図７で説明したように像高毎に異なる空気ゆらぎを補正するために、以下で説明する空気ゆらぎ補正処理において、画像の像高毎に補正処理を行っている。

ここで図６を参照して、ステップＳ２０３における空気ゆらぎ補正処理の動作について説明する。

図６の各ステップは、システム制御部１１０の指令に基づいて実行される。ステップＳ６０１において、システム制御部１１０は、ステップＳ２０２で焦点検出手段１１０ａを用いて取得した測距点毎の空気ゆらぎ量を取得して、ステップＳ６０２へ進む。

ステップＳ６０２へおいて、システム制御部１１０は、測距点毎の空気ゆらぎ量に基づいて、複数の瞳分割画像（以下、Ａ像、Ｂ像）の画像シフト量（以下、Ａ像の画像シフト量Ｙａ、Ｂ像の画像シフト量Ｙｂ）を算出し、ステップＳ６０３へ進む。

ここで算出対象の測距点毎の空気揺らぎ量をＹとしたとき、Ａ像の画像シフト量Ｙａ＝Ｙ×0.5、B像の画像シフト量Ｙｂ＝−（Ｙ×0.5）と算出する。ステップＳ６０３において、システム制御部１１０は、ステップＳ６０２で算出したＡ像とＢ像のそれぞれの画像シフト量に基づいて、Ａ像とＢ像の画素水平方向へシフトする。次いで、システム制御部１１０は、シフト後のＡ像とＢ像を加算することで画像データ（動画の場合は１フレーム）を生成し、本フローを終了する。

図２に戻り、ステップＳ２０４において、システム制御部１１０は、撮影モードスイッチ１１７で選択されたモードが静止画モードであるかを判定し、そうである場合はステップＳ２０６へ進む。一方そうでない場合はステップＳ２０５へ進む。

ステップＳ２０５において、システム制御部１１０は、スイッチＳＷ２の状態を判定する。スイッチＳＷ２が押されていない場合（ＯＦＦの場合）は、撮影の継続指示があると判定して、ステップＳ２０２へ進む。一方、スイッチＳＷ２が押されている場合（ＯＮの場合）、ステップＳ２０６へ進む。ステップＳ２０６において、システム制御部１１０は、ステップＳ２０３で合成した画像データを画像記録部１１２へ書き込み、本フローを終了する。

従来の技術では、空気ゆらぎが大きい場合は複数枚の画像を合成することによって、コントラストが良好な画像を得ているが、本実施例においては、撮影枚数を多くする（動画記録時間を延ばす）ことなく、コントラストが良好な画像を得ることができる。

本発明は、焦点検出機能を備えた撮像装置に関して、特に空気ゆらぎによって焦点距離が見かけ上変化してもコントラストが良好な画像を得ることができる撮像装置に関する。

１００：撮像装置
１０１：撮影レンズ
１０２：絞り、及び、シャッター
１０３：ＡＥ処理部
１０４：フォーカスレンズ
１０５：モーター
１０６：ＡＦ処理部
１０７：撮像装置
１０８：Ａ／Ｄ変換
１０９：画像処理部
１１０：システム制御部
１１０ａ：焦点検出手段
１１０ｂ：制御手段
１１０ｃ：記憶手段
１１１：ＤＲＡＭ
１１２：画像記録部
１１４：ＶＲＡＭ
１１５：表示部
１１６：操作部
１１７：撮影モードスイッチ
１１８：メインスイッチ
１１９：ＳＷ１
１２０：ＳＷ２
１２１：ストロボ

Claims (7)

1. 被写体を撮像するための撮像レンズ及び撮像素子を有する撮像装置において、
   前記撮像レンズを介して得られた光学像を光電変換する撮像素子と、
   前記撮像素子の各画素に入射する前記被写体の光学像の光束を前記撮像レンズの特定の射出瞳領域からの光束に制限する瞳分割手段と、
   前記瞳分割手段によって分割された複数の射出瞳領域から得られる瞳分割画像のずれ量を用いてデフォーカス量を算出する算出手段と、
   前記被写体の撮影時に、測距領域の特定点において前記算出手段により算出した所定期間のデフォーカス量の変化量が所定の閾値以上のときに前記デフォーカス量から空気ゆらぎ量を検出する空気ゆらぎ検出手段と、
   前記複数の射出瞳領域から得られる瞳分割画像の画素を、前記空気ゆらぎ量分シフト補正してから加算することで撮影画像を生成する空気ゆらぎ補正手段と、
   を有する
   ことを特徴とする撮像装置。
2. 前記デフォーカス量の変化量は、所定期間に検出された複数のデフォーカス量の標準偏差または該標準偏差の整数倍値であることを特徴とする請求項１に記載の撮像装置。
3. 前記デフォーカス量の変化量は、所定期間に検出された複数のデフォーカス量の最大値と最小値の差分であることを特徴とする請求項１に記載の撮像装置。
4. 前記特定点を含む複数点の前記第２のデフォーカス量を測定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第２のデフォーカス量は、前記複数点において同時に測定することを特徴とする請求項４に記載の撮像装置。
6. 前記特定点を含む複数点の前記第２の空気ゆらぎ量を検出することを特徴とする請求項４または５に記載の撮像装置。
7. 前記特定点を含む複数点の複数の射出瞳領域から得られる瞳分割画像の画素を前記第２の空気ゆらぎ量分シフト補正することを特徴とする請求項６に記載の撮像装置。