JP2005080093A

JP2005080093A - 撮像装置及び合焦確認用の表示方法

Info

Publication number: JP2005080093A
Application number: JP2003310223A
Authority: JP
Inventors: Shinichi Maehama; 新一前濱
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2003-09-02
Filing date: 2003-09-02
Publication date: 2005-03-24

Abstract

【課題】被写体像の合焦／非合焦を容易に把握できるように被写体像を表示すること。
【解決手段】撮影レンズ２は、被写体９からの光を撮像素子３に導くように構成され、制御部２３の制御によって焦点調節がなされ、撮像素子３に導かれる被写体像のフォーカス状態を変化させるようになっている。焦点検出器２１は撮像素子３で取得される画像を入力し、被写体像のフォーカス状態を評価するための評価値が求める。制御部２３はその評価値に基づいて、被写体像の合焦／非合焦を判定し、被写体像が非合焦状態である場合には画像処理部１０に対して画像の暈け度合い等を示す情報を送出する。画像処理部１０は、撮像素子３で取得された画像をメモリ１１から読み出し、被写体像が非合焦状態である場合には、被写体像を二重像とした表示用画像を生成して画像表示部２５に表示させる。
【選択図】図１

Description

本発明は、デジタルカメラ等の撮像装置に関し、特に合焦確認用の表示技術に関するものである。

従来、デジタルカメラ等の撮像装置には、小型液晶表示器等の表示部が設けられ、その表示部に、いわゆるライブビュー表示として撮影前のリアルタイムな被写体像が表示されるものがある。この種の撮像装置では、ユーザが表示部に表示される画像を視認しつつ、撮影前の被写体像が合焦状態となっているか否かのフォーカス判断を行ったうえで、レリーズ操作を行うようになっている。

ところが、撮像装置に設けられる表示部は一般に表示解像度が低く、細かな画像表示ができないので、表示画像を視認するだけでは、ユーザが合焦／非合焦のフォーカス判断を正確に行うことは困難であった。

このような事情に鑑みて、特許文献１には、表示部の画面中に、被写体像の合焦状態を評価するための評価値が棒グラフ状に表示される技術が記載されている。この技術によれば、棒グラフの長さが、評価値の変動に伴って変化し、最も長くなったときに被写体像が合焦状態であることを示すようになっている。

特開２００２−２０９１３５号

特許文献１の技術では、例えば撮影レンズの焦点距離を変化させると、それに伴って、表示部に表示される棒グラフの長さが変動することになるが、ユーザは棒グラフが最長になった状態を特定しにくく、依然として合焦／非合焦のフォーカス判断を正確に行うことは困難であった。

また、棒グラフ表示では、被写体像が合焦状態からどの程度ずれているのかを判断することも困難であった。そのため、手動操作でフォーカシングを行う場合、あとどの程度撮影レンズを操作すれば合焦状態が実現できるのかが不明であり、合焦状態を実現するまでに時間がかかるという問題があった。

そこで、本発明は、上記課題を解決するためになされたものであり、被写体像の合焦／非合焦を容易に把握できるように被写体像を表示することの可能な撮像装置、及び、その表示方法を提供することを、その目的とするものである。

上記目的を達成するため、請求項１に記載の発明は、撮像装置であって、光電変換を行って画像を生成する撮像手段と、焦点調節が可能なように構成され、被写体像を前記撮像手段に導く光学系と、前記光学系を介して前記撮像手段に導かれる被写体像の合焦／非合焦を判定する合焦判定手段と、前記光学系を介して前記撮像手段に導かれる被写体像が非合焦状態である場合、前記撮像手段で撮影される被写体像を二重像とした二重像画像を生成する画像処理手段と、前記画像処理手段で生成される二重像画像を表示する表示手段と、を備えて構成されるものである。

請求項２に記載の発明は、請求項１に記載の撮像装置において、前記合焦判定手段が、前記撮像手段に導かれる被写体像が非合焦状態である場合、合焦状態とのずれ度合いを検知するように構成され、前記画像処理手段は、前記ずれ度合いに応じて前記二重像画像に含まれる二つの被写体像間の距離を変化させることを特徴とするものである。

請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、前記撮像手段と所定の基線長を隔てて配置され、光電変換を行って画像を生成する補助撮像手段、をさらに備え、前記画像処理手段が、前記撮像手段で撮影される被写体像と、前記補助撮像手段で撮影される被写体像とを合成することによって前記二重像画像を生成することを特徴とするものである。

請求項４に記載の発明は、請求項１乃至３のいずれかに記載の撮像装置において、前記表示手段が前記二重像画像を拡大表示することを特徴とするものである。

請求項５に記載の発明は、合焦確認用の表示方法であって、焦点調節が可能な光学系を介して入射する被写体像を、撮像手段において光電変換することによって画像を生成する工程と、前記光学系を介して前記撮像手段に導かれる被写体像の合焦／非合焦を判定する工程と、前記光学系を介して前記撮像手段に導かれる被写体像が非合焦状態である場合、前記撮像手段で撮影される被写体像を二重像とした二重像画像を生成する工程と、前記二重像画像を表示する工程と、を有するものである。

上記の請求項１及び５に記載の発明によれば、光学系を介して撮像手段に導かれる被写体像が非合焦状態である場合、撮像手段で撮影される被写体像を二重像とした二重像画像が表示手段に表示されるため、被写体像の合焦／非合焦を容易に把握することができる。特に表示手段の表示解像度が低い場合であっても被写体像の合焦／非合焦を正確に把握することができる。

請求項２に記載の発明によれば、被写体像が非合焦状態である場合、合焦状態とのずれ度合いに応じて、二重像画像に含まれる二つの被写体像間の距離が変化するように表示されるので、被写体像がどの程度暈けているかを容易に把握することができる。それ故、手動操作でフォーカシングを行う場合でも、あとどの程度撮影レンズを操作すれば合焦状態が実現できるのかを認識することができ、効率的に合焦状態を実現することができる。

請求項３に記載の発明によれば、撮像手段と所定の基線長を隔てて配置され、光電変換を行って画像を生成する補助撮像手段をさらに備え、撮像手段で撮影される被写体像と、補助撮像手段で撮影される被写体像とを合成することによって二重像画像が生成されるので、視差のある２枚の画像が合成されて表示手段に表示される。それ故、遠方の被写体と前方の被写体とを区別した表示が可能になる。

請求項４に記載の発明によれば、表示手段が二重像画像を拡大表示するので、被写体像のより細かな合焦確認を行える。とりわけ、表示手段の表示解像度が低い場合に特に有効である。

以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。

＜第１の実施の形態＞
まず、第１の実施の形態について説明する。図１は本実施形態における撮像装置１の構成を示すブロック図である。

撮像装置１は、いわゆるデジタルカメラ等として形成されるものであり、被写体９を撮影して電子的な画像を取得するように構成される。被写体９からの光は、撮影光学系を構成する撮影レンズ２を介して、ＣＣＤイメージセンサ等の撮像素子３に結像される。撮像素子３は入射する被写体像を光電変換することによって電子的な画像信号を生成する。撮像素子３で生成される画像信号は、デジタルデータに変換されて出力され、画像処理部１０及び焦点検出器２１に供給される。

撮影レンズ２は光軸Ｌに沿う所定範囲内を移動することが可能なように構成されている。撮影レンズ２をその範囲内で移動させることにより、撮影光学系の焦点位置が変化し、撮像素子３に結像される被写体像のフォーカス調整を行うことができる。このような撮影レンズ２のレンズ位置調整は焦点調節部２２による機械的駆動で行われる。

焦点検出器２１は、撮影レンズ２の焦点を検出することによって、撮像素子３に入射する被写体像のフォーカス状態を検出するものである。具体的には、撮像素子３で取得される画像を入力し、その画像平面に規定される合焦評価領域の画像成分から、エッジ数若しくはコントラスト等の高周波成分を抽出して、被写体像のフォーカス状態を示す評価値を算出するように構成される。

図２は焦点検出器２１で求められる評価値の変化特性を示す図である。図２に示すように評価値は、撮影レンズ２を近側から遠側に順次移動させていくと、山型のカーブ特性１００を描き、撮像素子３に結像される被写体像が合焦状態であるとき（すなわち、ピントが合っているとき）に最大値を示し、被写体像が暈けるに従って次第に小さな値となっていく。このような評価値は、焦点検出器２１から制御部２３に出力される。

制御部２３は、撮像装置１の各部を統括的に制御するものであり、例えば撮影モード時における各種動作を制御するように構成される。

特に本実施形態において制御部２３は、焦点調節部２２に対して駆動信号を送出することによって、撮影レンズ２のレンズ位置を、光軸Ｌに沿う所定範囲内で任意の位置に調整する。また、制御部２３はいつの時点においても撮影レンズ２のレンズ位置を把握できるようになっている。例えば、制御部２３は現在のレンズ位置に関する情報を記憶しており、撮影レンズ２を駆動させる度に、その情報を更新していくことで、常に正確な現在レンズ位置を取得することができる。

また、制御部２３は、自動焦点調節制御（オートフォーカス）と手動焦点調節制御（マニュアルフォーカス）とを実行することが可能である。自動焦点調節制御では、制御部２３は、焦点検出器２１から入力する評価値が最大値を示すように、撮影レンズ２を駆動させる。また、手動焦点調節制御では、操作部３０に含まれる焦点調節釦３１がユーザによってマニュアル操作されたとき、その操作内容に応じて撮影レンズ２を駆動させる。

また、制御部２３は、焦点検出器２１より得られる評価値から被写体像の合焦状態を実現する合焦レンズ位置を特定し、現在のレンズ位置と合焦レンズ位置とのずれ量（ずれ度合い）を求めて画像処理部１０に出力するように構成される。例えば、図２に示す特性１００のような評価値が得られるとすると、合焦レンズ位置はＦＰとして特定される。このとき、現在のレンズ位置がＰ１である場合、合焦レンズ位置ＦＰとのずれ量は、（ＦＰ−Ｐ１）として求められる。

さらに、制御部２３は、操作部３０に含まれるレリーズ釦３２がユーザによって押下されたことを検知すると、記録用の画像を撮影するための制御を行う。

画像処理部１０は、撮像素子３から得られる画像に対して各種の画像処理を施すものである。例えば、撮像装置１に設けられた液晶表示器等の画像表示部２５に対して画像を表示させる場合には、画像処理部１０にて表示用画像が生成されて画像表示部２５に出力される。また、撮像装置１に対して着脱可能なメモリカード等の記録媒体２６に画像を記録する場合には、画像処理部１０にて記録用の画像が生成されて記録媒体２６に出力される。

特に本実施形態において画像処理部１０は、ユーザによってレリーズ釦３２が押下される前の状態、すなわち撮影前の状態では、ユーザが被写体像のフォーカス状態を容易に確認できるような表示用画像を生成して画像表示部２５に出力するように構成されている。

画像処理部１０は、撮像素子３から入力する画像を一時的に記憶するためのメモリ１１と、メモリ１１に格納された画像を取得して表示用画像を生成するための合成処理を行う合成処理部１３と、制御部２３から与えられる、現在のレンズ位置と合焦レンズ位置とのずれ量に応じて、合成処理部１３における合成位置を決定する合成位置決定部１２と、を備えて構成される。

合成処理部１３は、同一内容の２枚の画像を作成し、合成位置決定部１２によって指示される合成位置に基づいて、それら２枚の画像を合成する。例えば、メモリ１１に格納されている１つの画像について、読み出し動作を２回行うことによって同一内容の２枚の画像が取得される。そして、被写体像の暈け度合いに応じて同一の被写体像が二重像となるように２つの画像の合成処理が行われる。

合成位置決定部１２は、合焦レンズ位置と現在レンズ位置とのずれ量と、合成位置と、の関係が対応づけられた情報を予め保持しており、制御部２３からずれ量に関する情報を入力する都度、予め保持している情報に基づいて合成位置を決定する。図３は、ずれ量と合成位置Ｘとの関係を示す図である。図３に示すように、合焦レンズ位置と現在レンズ位置との関係は、現在レンズ位置が合焦レンズ位置に対して遠側にずれている場合と近側にずれている場合とがあり、いずれか一方の場合にずれ量が正となり、他方の場合にずれ量が負となる。また、現在レンズ位置と合焦レンズ位置とが一致している場合、すなわち撮像素子３に結像される被写体像が合焦状態にある場合には、ずれ量は０となる。このような、ずれ量に対して合成位置Ｘが定められており、ずれ量を入力すれば合成位置Ｘが一義的に求められるようになっている。

合成処理部１３は、合成位置決定部１２において求められる合成位置Ｘに基づいて２つの画像のうちの一方を画像平面において横方向にずらした状態で合成処理を行う。図４は、合成処理部１３における合成処理の概念を示す図である。例えば、図４（ａ）に示すように、合成処理部１３がメモリ１１に格納されている画像から２枚の同一画像Ｇ１，Ｇ２を生成したとすると、合成処理部１３は、一方の画像Ｇ１を基準とし、他方の画像Ｇ２を合成位置Ｘに対応する量だけ横方向にずらす。合成処理部１３は、画像Ｇ１と、横方向にシフトされた画像Ｇ２とを合成することにより、被写体像が二重像化されたひとつの画像を生成する。

なお、図４（ａ）は、一例として合成位置Ｘが正の値である場合を示しており、画像Ｇ２は画像Ｇ１に対して右方向にシフトされるようになっている。これに対し、合成位置Ｘが負の値である場合には、画像Ｇ２は画像Ｇ１に対して左方向にシフトされることになる。

合成処理部１３は、画像Ｇ１の全体（全画面）に対して、横方向に移動された画像Ｇ２を合成するようにしてもよいが、本実施形態においては、旧来のいわゆるレンジファインダーカメラのように画像Ｇ１の中心部分のみに対して合成処理を行うように構成される。例えば、基準画像Ｇ１において、焦点検出器２１が焦点検出に使用する合焦評価領域と同一の領域Ｒ１に対して合成処理が実行される。

合成処理部１３は基準画像Ｇ１から合焦評価領域に対応する領域Ｒ１を特定する。そして合成位置Ｘに基づいて横方向にシフトさせた画像Ｇ２から領域Ｒ２を特定する。画像Ｇ２の領域Ｒ２は、領域Ｒ１と等しいサイズを有する。また画像Ｇ２の領域Ｒ２は、画像Ｇ１において領域Ｒ１の位置を−Ｘ方向に移動させた領域に相当する。言い換えれば、画像Ｇ２を横方向に移動させても、領域Ｒ２は基準画像Ｇ１との相対的位置関係が変化せず、画像Ｇ１に対して固定された状態となっている。

そして合成処理部１３は、画像Ｇ２の領域Ｒ２に含まれる画像成分を抽出し、その抽出した画像成分を、画像Ｇ１の領域Ｒ１に含まれる画像成分に合成する。この結果、合成処理部１３では、図４（ｂ）に示すような画像Ｇ３が生成される。画像Ｇ３は、画像表示部２５に表示すべき表示用の画像であり、合成処理部１３から画像表示部２５に出力されることにより、画像表示部２５には図４（ｂ）のような画像Ｇ３が表示される。

このため、撮像装置１の画像表示部２５には、被写体像が非合焦状態である場合、その非合焦状態が合焦状態からどの程度ずれているかに応じて、画面中央部分に被写体像が二重像として表示されることになる。

図５は、画像表示部２５における表示画像の一例を示す図である。例えば、図２において撮影レンズ２がレンズ位置Ｐ４にある場合には、画像表示部２５において図５（ａ）のような画像Ｇ１１が表示され、撮影レンズ２がレンズ位置Ｐ３にある場合には、画像表示部２５において図５（ｂ）のような画像Ｇ１２が表示される。また撮影レンズ２の現在レンズ位置が合焦レンズ位置ＦＰと一致する場合には、画像表示部２５において図５（ｃ）のような画像Ｇ１３が表示される。さらに、撮影レンズ２がレンズ位置Ｐ２にある場合には、画像表示部２５において図５（ｄ）のような画像Ｇ１４が表示され、撮影レンズ２がレンズ位置Ｐ１にある場合には、画像表示部２５において図５（ｅ）のような画像Ｇ１５が表示される。

すなわち、本実施形態の撮像装置１では、撮影レンズ２が合焦レンズ位置ＦＰからずれており、撮像素子３に結像される被写体像が暈けている場合には、画像表示部２５に被写体像が二重像として表示され、撮影レンズ２が合焦レンズ位置ＦＰに位置し、撮像素子３に結像される被写体像が合焦している場合には、画像表示部２５に二重像でない適切な被写体像が表示される。したがって、画像表示部２５の表示解像度を高くすることなく、被写体像の合焦／非合焦を容易に識別できるような画像表示が実現されることになる。また、非合焦時には、図５に示すように、その非合焦の度合いに応じて、二重像の各像間距離が変化するので、合焦状態からどの程度ずれているのかを容易に判断することができる。さらに、図５のように、撮影レンズ２が合焦レンズ位置ＦＰに対して近側にずれている場合と遠側にずれている場合とで、二重像の表示態様が異なる。つまり、遠側にずれている場合には、基準画像に対して合成される画像が右側にシフトされた状態となり、近側にずれている場合には、基準画像に対して合成される画像が右側にシフトされた状態となっている。そのため、非合焦状態において撮影レンズ２が遠側及び近側のいずれにずれた状態となっているのかを容易に把握することができる。

なお、合焦状態においては、合成処理部１３は特に合成処理を行わず、メモリ１１から取得する基準画像をそのまま画像表示部２５に出力するように構成すればよい。

次に、上記のような構成の撮像装置１における動作手順の一例について説明する。

図６は、撮像装置１における動作手順を示すフローチャートである。まず、撮影モードに入ると、撮像装置１は制御部２３の制御によって合焦レンズ位置ＦＰの位置を特定（若しくは推定）する処理を行う（ステップＳ１００）。例えば、制御部２３は焦点調節部２２に駆動信号を送出することにより、撮影レンズ２を移動可能な範囲内の略全域にわたって高速（比較的粗いピッチ）で移動させる。撮像素子３は撮影レンズ２が移動する途中において複数回撮像を行い、焦点検出器２１はそれら複数の画像から各レンズ位置における評価値を求める。これにより、図２のような評価値特性の概略が把握でき、その時点での被写体９を合焦状態に導くための合焦レンズ位置ＦＰがほぼどの位置であるかを決定できる。ここで決定される合焦レンズ位置ＦＰは、画像表示部２５に二重像を表示する際の合成位置を決定するために用いられる。ステップＳ１００において合焦レンズ位置が決定されると、制御部２３は撮影レンズ２を元のレンズ位置に戻す。

そして制御部２３は、現在のレンズ位置で画像取得を行ってメモリ１１に取得画像を格納させる（ステップＳ１０２）。また、このとき取得される画像は焦点検出器２１にも与えられ、焦点検出器２１においてはその取得画像に基づく評価値が算出される（ステップＳ１０４）。

制御部２３は、ステップＳ１００で求めた合焦レンズ位置と、現在のレンズ位置とのずれ量を算出し（ステップＳ１０６）、ずれ量が画像処理部１０に与えられる。画像処理部１０は制御部２３から取得されるずれ量に基づいて表示用画像を生成する処理が行われる（ステップＳ１０８）。このとき、現在レンズ位置と合焦レンズ位置とがずれている場合は、メモリ１１に格納された画像から、被写体像が二重像になるように合成された表示用画像が生成される。また、現在レンズ位置と合焦レンズ位置とがずれていない場合は、メモリ１１に格納された画像がそのまま表示用画像として生成される。

画像処理部１０にて生成される表示用画像は画像表示部２５に与えられ、画像表示が行われる（ステップＳ１１０）。この画像表示により、ユーザは被写体像のフォーカス状態を容易に確認することができる。

そして制御部２３は自動若しくは手動による撮影レンズ２の駆動制御を行い、焦点調節のための動作を制御する（ステップＳ１１２）。例えば、自動焦点調節制御が有効に機能している場合には、ステップＳ１０４で算出された評価値がより大きな値になるように撮影レンズ２の移動方向及び移動量を決定して撮影レンズ２を駆動させる。このときの移動ピッチは、例えばステップＳ１００における移動ピッチよりも細かく設定され、撮影レンズ２のレンズ位置を細かく高精度に調整する。また、ユーザの手動操作によって焦点調節釦３１が押下された場合には、その操作内容に基づいて撮影レンズ２の移動方向及び移動量を決定して撮影レンズ２を駆動させる。

その後、制御部２３はレリーズ釦３２が押下され、ユーザによって撮影指示が与えられたか否かを判断する（ステップＳ１１４）。ここで撮影指示が与えられた場合にはステップＳ１１６に進み、与えられていない場合にはステップＳ１０２に戻って上述した動作を繰り返すことになる。

したがって、撮影モード時においてユーザが撮影指示を与えるまでは、画像表示部２５に表示される画像の表示形態が被写体像のフォーカス状態に応じてリアルタイムに更新されるようになっており、ユーザは表示画像の被写体像が二重像でなくなったときに、適切な合焦状態が実現されたことを認識できる。

そしてユーザによって撮影指示が与えられると、撮像装置１において記録用画像を撮影するための動作が実行される（ステップＳ１１６）。その結果取得された画像は画像処理部１０にて圧縮処理等の所定の処理が施された後、記録媒体２６に保存される（ステップＳ１１８）。

以上で撮像装置１における動作が終了することになるが、撮影終了後、再びステップＳ１００に戻って次回の撮影操作に備えるようにしてもよい。

なお、ユーザが撮影指示を与えるまでの間に、撮像装置１の構図（フレーミング状態）を変更した場合には、その都度、合焦評価領域に含まれる被写体が変更される可能性がある。そのため、被写体が変更された場合にもその都度凡その合焦レンズ位置ＦＰを特定することができるように、上記ステップＳ１００のような合焦レンズ位置ＦＰを推定する処理は一定時間毎に繰り返し行われるのが好ましい。

次に、ユーザがより正確に被写体のフォーカス状態を把握できるようにするためには、図５に示した画像表示における二重像部分を拡大して表示できるようにすることがより好ましい。例えば、操作部３０に対して拡大表示釦を設け、ユーザが被写体の細部のフォーカス状態を把握したい場合に、その拡大表示釦を操作すれば、画像処理部１０において合成処理後の表示用画像に対して拡大処理が実行され、画面中央部分の二重像表示が拡大表示されるように、撮像装置１を構成する。この場合、図７に示すように、画像表示部２５に表示される画像Ｇ４は拡大表示釦の操作に伴って画像Ｇ５のように変化し、画像Ｇ４の領域Ｒ１に含まれていた画像成分が画像Ｇ５において拡大表示されることになる。この結果、より細かくフォーカス状態を把握できるので、非合焦状態でレリーズ操作を行ってしまうという撮影の失敗を低減することができる。

以上、本実施形態における撮像装置１は、制御部２３が撮像素子３に導かれる被写体像の合焦／非合焦を判定し、画像処理部１０がその判定結果が非合焦状態であった場合に、撮像素子３で取得された画像の被写体像を二重像とした二重像画像を生成して、画像表示部２５に表示させるように構成されている。そのため、画像表示部２５の表示解像度が低い場合であっても、被写体像の合焦／非合焦を容易に把握できるようになる。

また、制御部２３は、撮像素子３に導かれる被写体像が非合焦状態であると判定した場合、その非合焦状態と合焦状態とのずれ度合い（ずれ量）を検知することによって、被写体像のぼけ度合いを求めるようになっている。そして画像処理部１０が、非合焦状態と合焦状態とずれ度合いに応じて、二重像画像に含まれる二つの被写体像間の距離を変化させて表示用画像を生成するので、ユーザは表示画像を一見して被写体像がどの程度暈けているのかを把握することができる。このため、手動操作でフォーカシングを行う場合でも、早期に撮影レンズ２の操作量を把握することができるので、効率的に合焦状態を実現することができる。

また、本実施形態では、被写体像が暈けるほど二重像に含まれる二つの被写体像間の距離を大きくし、被写体像が合焦状態に近づくほど二重像に含まれる二つの被写体像間の距離が小さくなって、被写体像の合焦状態が実現されれば、二重像表示ではなくなり、ひとつの被写体像が通常の状態で表示されるようになっている。

さらに、画像表示部２５において二重像画像を拡大して表示することにより、被写体の細部のフォーカス状態を正確に把握することができる。したがって、画像表示部２５の表示解像度が低い場合でも、正確にフォーカス状態を把握することができる。

＜第２の実施の形態＞
次に、第２の実施の形態について説明する。図８は本実施形態における撮像装置１ａの構成を示すブロック図である。撮像装置１ａも第１の実施の形態と同様に、いわゆるデジタルカメラ等として形成されるものであり、被写体９を撮影して電子的な画像を取得するように構成される。なお、図８では、図１に示した構成部材と同様のものについては同一符号を付しており、ここではそれらの詳細な説明を省略する。

本実施形態の撮像装置１ａが、第１の実施の形態の撮像装置１と異なる点はいわゆる位相差方式の焦点検出が行われる点である。

被写体９からの光は撮影レンズ２を介してハーフミラー２７に入射する。ハーフミラー２７は入射する光を二分割し、一方の光を透過させて撮像素子３に導くとともに、他方の光を反射させて位相差検出器２８に導く。

撮像素子３は入射する被写体像を光電変換して画像信号を生成し、それをデジタルデータに変換した上で画像処理部１０に出力する。

一方、位相差検出器２８は焦点位置に応じた位相差信号を出力するように構成される。例えば、位相差検出器２８にはＣＣＤ等の光学素子が２つ内蔵されており、ハーフミラー２７で反射された光を２つの光に分割して、２つの光をそれぞれ別の光学素子に導くように構成される。２つの光学素子は所定の位置関係で配置されており、各光学素子はその受光面の光の入射位置に応じた位相差信号を出力する。この位相差信号に基づいて各光学素子における光の結像位置を解析することにより、被写体像が合焦状態であるか非合焦状態であるかを判別できるとともに、撮影レンズ２が合焦レンズ位置からどの方向にどの程度ずれているかを判別できる。このような位相差検出器２８としては、例えば一眼レフ銀塩カメラ等に採用されているＡＦ用センサを用いることができる。

位相差検出器２８によって検出される位相差信号は、制御部２３と合成位置決定部１２に与えられる。

制御部２３は、自動焦点調節制御を行うときには位相差検出器２８から入力する位相差信号に基づいて焦点調節部２２に駆動信号を送出することにより、撮影レンズ２を合焦レンズ位置に導くように制御する。また、手動焦点調節制御を行うときには焦点調節釦３１の操作量に基づいて焦点調節部２２に駆動信号を送出することにより、撮影レンズ２を光軸Ｌに沿って移動させる。

制御部２３の制御によって撮影レンズ２が光軸Ｌに沿って移動すると、被写体像のフォーカス状態が変動することになり、それに伴って位相差検出器２８から出力される位相差信号も変化する。

合成位置決定部１２は、位相差検出器２８から逐次入力する位相差信号に基づいて合成処理部１３における２つの画像の合成位置Ｘを決定する。上述のように位相差信号を解析すれば、被写体像が合焦状態であるか非合焦状態であるかを判別できるとともに、撮影レンズ２が合焦レンズ位置からどの方向にどの程度ずれているかを判別できるため、合成位置決定部１２は上記のような解析を行って、合成位置Ｘを決定する。例えば、第１の実施の形態で説明した図３に示す関係に基づいて合成位置Ｘが決定される。

合成処理部１３は、メモリ１１から画像を取得して同一画像を２枚作成し、それら２枚の画像を合成することによって表示用画像を生成する。このとき、合成処理部１３は合成位置決定部１２において決定された合成位置Ｘに基づいて合成処理を行う。なお、合成処理の具体的な内容は第１の実施の形態で説明したものと同様である。

そして合成処理部１３で生成される表示用画像は画像表示部２５に与えられて、画像表示が行われる。

図９は本実施形態の撮像装置１ａにおける動作手順を示すフローチャートである。まず、撮影モードに入ると、位相差検出器２８において位相差信号が検出される（ステップＳ２００）。そして撮像素子３において画像の取得動作が行われ、それによって取得された画像がメモリ１１に格納される（ステップＳ２０２）。合成位置決定部１２は、ステップＳ２００で検出された位相差信号に基づいて現在レンズ位置と合焦レンズ位置とのずれ量を求める（ステップＳ２０４）。このとき求められるずれ量に基づいて、画像処理部１０では、表示用画像を生成する処理が行われる（ステップＳ２０６）。ステップＳ２０６では、現在レンズ位置と合焦レンズ位置とがずれている場合は、メモリ１１に格納された画像から、被写体像が二重像になるように合成された表示用画像が生成される。また、現在レンズ位置と合焦レンズ位置とがずれていない場合は、メモリ１１に格納された画像がそのまま表示用画像として生成される。

画像処理部１０にて生成される表示用画像は画像表示部２５に与えられ、画像表示が行われる（ステップＳ２０８）。この画像表示により、ユーザは被写体像のフォーカス状態を容易に確認することができる。

そして制御部２３は自動若しくは手動による撮影レンズ２の駆動制御を行い、焦点調節のための動作を制御する（ステップＳ２１０）。例えば、自動焦点調節制御が有効に機能している場合には、ステップＳ２００で検出される位相差が０になるように撮影レンズ２の移動方向及び移動量を決定して撮影レンズ２を駆動させる。また、ユーザの手動操作によって焦点調節釦３１が押下された場合には、その操作内容に基づいて撮影レンズ２の移動方向及び移動量を決定して撮影レンズ２を駆動させる。

その後、制御部２３はレリーズ釦３２が押下され、ユーザによって撮影指示が与えられたか否かを判断する（ステップＳ２１４）。そして撮影指示が与えられた場合にはステップＳ２１６に進み、与えられていない場合にはステップＳ２００に戻って上述した動作を繰り返す。

したがって、本実施形態においても、撮影モード時に、ユーザが撮影指示を与えるまでは、画像表示部２５に表示される画像の表示形態が被写体像のフォーカス状態に応じてリアルタイムに更新されるようになっており、ユーザは表示画像の被写体像が二重像でなくなったときに、適切な合焦状態が実現されたことを認識できる。

そしてユーザによって撮影指示が与えられると、撮像装置１ａにおいて記録用画像を撮影するための動作が実行される（ステップＳ２１６）。その結果取得された画像は画像処理部１０にて圧縮処理等の所定の処理が施された後、記録媒体２６に保存される（ステップＳ２１８）。

以上で撮像装置１ａにおける動作が終了することになるが、撮影終了後、再びステップＳ２００に戻って次回の撮影操作に備えるようにしてもよい。

以上のように、本実施形態の撮像装置１ａでも、第１の実施の形態と同様の効果を奏する。

また特に、本実施形態の撮像装置１ａには、撮影レンズ２を介して被写体９からの光を受光することにより、撮影レンズ２による被写体像のフォーカス状態を検出することの可能な位相差検出器２８が設けられている。そのため、第１の実施の形態のように、予め撮影レンズ２の合焦レンズ位置を推定する必要ななく、常時被写体像のフォーカス状態を的確に把握することができるので、撮像装置１の構図が変更された場合でも直ちにその変更に追従させて二重像の表示態様を更新することができる。

＜第３の実施の形態＞
次に、第３の実施の形態について説明する。図１０は本実施形態における撮像装置１ｂの構成を示すブロック図である。撮像装置１ｂも上記各実施の形態と同様に、いわゆるデジタルカメラ等として形成されるものであり、被写体９を撮影して電子的な画像を取得するように構成される。なお、図１０では、図１に示した構成部材と同様のものについては同一符号を付しており、ここではそれらの詳細な説明を省略する。

撮像装置１ｂは、撮影を行うために撮像素子（第１の撮像素子）３ａと、被写体像を撮像素子３ａに導くための撮影光学系となる撮影レンズ（第１の光学系）２ａとを備えて構成される。また、撮像装置１ｂには、撮像素子３ａと隣接する位置に、撮像素子３ａと所定の基線長Ｄを隔てて補助撮像素子（第２の撮像素子）３ｂが配置される。また、補助撮像素子３ｂに対して被写体からの光を導くための補助レンズ（第２の光学系）２ｂが設けられている。そして撮像素子３ａと補助撮像素子３ｂとは同時に撮像動作を行うように構成され、撮像素子３ａ及び補助撮像素子３ｂで取得される各画像は、焦点検出器２１及び画像処理部１０に出力される。

画像処理部１０には、撮像素子３ａで取得された画像を一時的に記憶するためのメモリ１１ａと、補助撮像素子３ｂで取得された画像を一時的に記憶するためのメモリ１１ｂとが設けられる。なお、図１０ではメモリ１１ａと１１ｂとは異なる記憶手段として示しているが、同一のメモリの異なる記憶領域に、それぞれの撮像素子で取得された画像を格納するようにしてもよい。

焦点検出器２１は、撮像素子３ａで取得された第１の画像と、補助撮像素子３ｂで取得された第２の画像とを入力すると、第１の画像に含まれる被写体像と同一の被写体像が、第２の画像のどの部分に結像されているかを解析し、撮像装置１と被写体９との距離を算出する。

補助撮像素子３ｂは、撮像素子３ａと所定の基線長Ｄを隔てて配置されるため、撮像素子３ａと補助撮像素子３ｂとが同一の被写体９を撮影する仮定すると、撮像装置１ｂと被写体９との距離に応じて補助撮像素子３ｂに結像される被写体像の位置が変化する。例えば、図１０の被写体９ａを撮影した場合と被写体９ｂとを撮影した場合のそれぞれで、補助撮像素子３ｂに結像される被写体像の位置が変化する。したがって、焦点検出器２１は、各撮像素子３ａ，３ｂから取得されるそれぞれの画像から被写体像を抽出し、各画像における被写体像の結像位置を特定して、いわゆる三角測距の原理で演算を行うことによって、撮像装置１ｂと被写体９との距離を求めるものである。そして、上記のようにして算出される距離情報は制御部２３に与えられる。

撮像装置１ｂと被写体９との距離がわかれば、撮像素子３ａに導かれる被写体像が合焦状態となる、撮影レンズ２ａの合焦レンズ位置ＦＰを特定することができる。そこで、制御部２３は、焦点検出器２１から得られる距離情報に基づいて、撮影レンズ２ａの現在レンズ位置と合焦レンズ位置とのずれ量を求め、そのずれ量を合成位置決定部１２に出力する。

また制御部２３は、焦点検出器２１から得られる距離情報も合成位置決定部１２に送出する。

さらに制御部２３は、自動焦点調節制御を行うときには焦点検出器２１から入力する距離情報に基づいて焦点調節部２２に駆動信号を送出することにより、撮影レンズ２を合焦レンズ位置に導くように制御する。また、手動焦点調節制御を行うときには焦点調節釦３１の操作量に基づいて焦点調節部２２に駆動信号を送出することにより、撮影レンズ２を光軸Ｌに沿って移動させる。

合成位置決定部１２は、制御部２３から入力する、現在レンズ位置と合焦レンズ位置とのずれ量、及び、距離情報に基づいて、合成処理部１３における２つの画像の合成位置Ｘを決定する。合成処理部１３は、メモリ１１ａ及びメモリ１１ｂの双方に格納された画像を読み出し、それら２つの画像を合成位置Ｘに基づいて合成する。

一般に、補助撮像素子３ｂで取得される画像は、被写体９の距離に応じてその被写体像の位置がシフトした画像となっている。そのため、撮像素子３ａで取得される画像に含まれる被写体像と、補助撮像素子３ｂで取得される画像に含まれる被写体像とを合成する際には、まず、補助撮像素子３ｂにおいて被写体像がどこに結像されているかを特定する必要がある。補助撮像素子３ｂにおいて被写体像がどこに結像されているかは、距離情報を参酌すれば求められる。そこで、合成位置決定部１２は、制御部２３から入力する距離情報に基づいて、補助撮像素子３ｂに結像される被写体像の結像位置を特定し、被写体９の距離に応じてその被写体像の位置がシフトした状態を解消させるようなオフセットを設定して合成位置Ｘを決定する。

そして合成処理部１３は、撮像素子３ａで取得された画像を基準画像とし、その基準画像に対し、補助撮像素子３ｂで取得された画像であって、上記のようにして求められる合成位置Ｘに基づいて位置調整された画像を合成することによって表示用画像を生成する。合成処理部１３にて生成される表示用画像は画像表示部２５に出力され、画像表示が行われる。

この結果、撮像素子３ａに結像される被写体像が非合焦状態であれば、その非合焦状態の度合いに応じて被写体像が二重像化された画像が画像表示部２５に表示される。

また、本実施形態においては、撮像素子３ａに結像される被写体像が合焦状態である場合にも、合成処理部１３において合成処理を行うことによって、遠方の被写体（背景等）と前方の被写体とのいずれにピントが合っているかを容易に把握することのできる画像が得られるという利点がある。

図１１は画像表示部２５に表示される画像Ｇ６の一例を示す図であり、背景（遠方）に山があり、その前方の人物が被写体となっている場合を示す図である。撮像素子３ａで取得される画像と、補助撮像素子３ｂで取得される画像との間には、視差に基づく画像のずれが発生しており、例えば前方の被写体（人物）について合焦状態が実現されている場合は、合成処理によって人物像が一つになるように合成されるが、背景部分の山の像は視差に基づくずれによって合成時に一つの像とはならず二重像となる（図１１の画像Ｇ６）。また逆に、例えば遠方の被写体（山）について合焦状態が実現されている場合は、合成処理によって山の像が一つになるように合成され、前方の人物像は視差に基づくずれによって合成時に一つの像とはならず二重像となる。したがって、図１１のような表示画像Ｇ６の領域Ｒ１を視認すれば、遠方の被写体にピントが合っているのか近側の被写体にピントが合っているのかを容易に判別することができる。

次に、図１２は本実施形態の撮像装置１ｂにおける動作手順を示すフローチャートである。まず、撮影モードに入ると、撮像素子３ａ及び補助撮像素子３ｂの２つの撮像素子によって画像の撮影動作が行われ（ステップＳ３００）、各撮像素子によって取得された画像はメモリ１１ａ，１１ｂにそれぞれ格納される（ステップＳ３０２）。また焦点検出器２１は各撮像素子で取得される画像に基づいて被写体距離を算出する（ステップＳ３０４）。ここで求められる距離情報は制御部２３に与えられ、そこで距離情報を基に、現在レンズ位置と合焦レンズ位置とのずれ量が算出される（ステップＳ３０６）。

そして画像処理部１０において、現在レンズ位置と合焦レンズ位置とのずれ量、及び、距離情報に基づく、表示用画像を生成するための合成処理が行われる（ステップＳ３０８）。ステップＳ３０８では、現在レンズ位置と合焦レンズ位置とがずれている場合、メモリ１１ａ及び１１ｂに格納された画像から、被写体距離の算出対象となった被写体の像が二重像になるように合成された表示用画像が生成される。また、現在レンズ位置と合焦レンズ位置とがずれていない場合は、被写体距離の算出対象となった被写体がひとつの像になるように合成された表示用画像が生成される。

画像処理部１０にて生成される表示用画像は画像表示部２５に与えられ、画像表示が行われる（ステップＳ３１０）。この画像表示により、ユーザは被写体像のフォーカス状態を容易に確認することができる。また、画面中央部の合焦評価領域に複数の被写体が含まれている場合には、各被写体のフォーカス状態を把握することができる。

そして制御部２３は自動若しくは手動による撮影レンズ２ａの駆動制御を行い、焦点調節のための動作を制御する（ステップＳ３１２）。例えば、自動焦点調節制御が有効に機能している場合には、ステップＳ３０４で検出される被写体距離にピントが合うように撮影レンズ２ａの移動方向及び移動量を決定して撮影レンズ２ａを駆動させる。また、ユーザの手動操作によって焦点調節釦３１が押下された場合には、その操作内容に基づいて撮影レンズ２ａの移動方向及び移動量を決定して撮影レンズ２ａを駆動させる。

その後、制御部２３はレリーズ釦３２が押下され、ユーザによって撮影指示が与えられたか否かを判断する（ステップＳ３１４）。そして撮影指示が与えられた場合にはステップＳ３１６に進み、与えられていない場合にはステップＳ３００に戻って上述した動作を繰り返す。

そしてユーザによって撮影指示が与えられると、撮像装置１ｂにおいて記録用画像を撮影するための動作が実行される（ステップＳ３１６）。このときの撮影動作は撮像素子３ａのみによる撮影動作であっても構わない。その結果取得された画像は画像処理部１０にて圧縮処理等の所定の処理が施された後、記録媒体２６に保存される（ステップＳ３１８）。

以上で撮像装置１ｂにおける動作が終了することになるが、撮影終了後、再びステップＳ３００に戻って次回の撮影操作に備えるようにしてもよい。

以上のように、本実施形態の撮像装置１ｂでも、第１の実施の形態と同様の効果を奏する。

また特に、本実施形態の撮像装置１ｂは、撮像素子３ａと所定の基線長を隔てて配置され、撮像素子３ａとともに撮影動作を行う補助撮像素子３ｂを備えており、撮像素子３ａで撮影される被写体像と、補助撮像素子３ｂで撮影される被写体像とを合成することによって二重像画像を生成するように構成されているので、視差によって画像にずれがある２枚の画像を合成することになり、前方の被写体と遠方の被写体とで異なる状態の二重像画像を生成することができる。それ故、前方の被写体像をひとつの像として表示し、遠方の被写体像を二重像として表示することも可能になる。

＜変形例＞
以上、本発明の実施の形態について説明したが、本発明は上述したのものに限定されるものではない。

例えば、上記説明においては撮像装置１，１ａ，１ｂとしてデジタルカメラを例に挙げ、主に静止画を撮影する場合の動作を例示したが、本発明が適用される撮像装置は動画像を撮影するものであっても構わない。

また、上記各実施形態に示した焦点検出方法以外に、公知の焦点検出方法が適用されたものであっても構わない。例えば、撮像装置に測距センサを取り付け、前方の被写体に対して光を投射し、被写体からの反射光を検出することによって被写体距離を求め、これによって合焦レンズ位置を特定するように構成してもよい。

第１の実施の形態における撮像装置の構成を示すブロック図である。焦点検出部で求められる評価値の変化特性を示す図である。ずれ量と合成位置との関係を示す図である。合成処理部における合成処理の概念を示す図である。画像表示部における表示画像の一例を示す図である。第１の実施の形態における動作手順を示すフローチャートである。拡大表示の一例を示す図である。第２の実施の形態における撮像装置の構成を示すブロック図である。第２の実施の形態における動作手順を示すフローチャートである。第３の実施の形態における撮像装置の構成を示すブロック図である。第３の実施の形態における表示画像の一例を示す図である。第３の実施の形態における動作手順を示すフローチャートである。

符号の説明

１，１ａ，１ｂ撮像装置
２，２ａ撮影レンズ（光学系）
３，３ａ撮像素子（撮像手段）
３ｂ補助撮像素子（補助撮像手段）
１０画像処理部（画像処理手段）
１１，１１ａ，１１ｂメモリ
１２合成位置決定部
１３合成処理部
２１焦点検出器
２２焦点調節部
２３制御部
２５画像表示部（表示手段）
２８位相差検出器

Claims

光電変換を行って画像を生成する撮像手段と、
焦点調節が可能なように構成され、被写体像を前記撮像手段に導く光学系と、
前記光学系を介して前記撮像手段に導かれる被写体像の合焦／非合焦を判定する合焦判定手段と、
前記光学系を介して前記撮像手段に導かれる被写体像が非合焦状態である場合、前記撮像手段で撮影される被写体像を二重像とした二重像画像を生成する画像処理手段と、
前記画像処理手段で生成される二重像画像を表示する表示手段と、
を備える撮像装置。
請求項１に記載の撮像装置において、
前記合焦判定手段は、前記撮像手段に導かれる被写体像が非合焦状態である場合、合焦状態とのずれ度合いを検知するように構成され、
前記画像処理手段は、前記ずれ度合いに応じて前記二重像画像に含まれる二つの被写体像間の距離を変化させることを特徴とする撮像装置。
請求項１又は２に記載の撮像装置において、
前記撮像手段と所定の基線長を隔てて配置され、光電変換を行って画像を生成する補助撮像手段、
をさらに備え、
前記画像処理手段は、前記撮像手段で撮影される被写体像と、前記補助撮像手段で撮影される被写体像とを合成することによって前記二重像画像を生成することを特徴とする撮像装置。
請求項１乃至３のいずれかに記載の撮像装置において、
前記表示手段は前記二重像画像を拡大表示することを特徴とする撮像装置。
焦点調節が可能な光学系を介して入射する被写体像を、撮像手段において光電変換することによって画像を生成する工程と、
前記光学系を介して前記撮像手段に導かれる被写体像の合焦／非合焦を判定する工程と、
前記光学系を介して前記撮像手段に導かれる被写体像が非合焦状態である場合、前記撮像手段で撮影される被写体像を二重像とした二重像画像を生成する工程と、
前記二重像画像を表示する工程と、
を有する合焦確認用の表示方法。