JP2009232288A - 撮像装置及び画像処理装置 - Google Patents

Abstract

【課題】撮像後に記録画像を再生するときに、撮像時のピント状態を示すスプリットイメージ等の画像を利用できるようにする。
【解決手段】撮像装置１は、被写体から撮像光学系１０１に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データ１３００を生成する第１の画像生成手段１０４，１１１と、該光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データ１３２０，１３２１を生成する第２の画像生成手段と、第１の画像データ及び第２の画像データを、保存のために記録媒体１２１に記録する記録手段１２０とを有する。
【選択図】図１

Description

本発明は、デジタルカメラ等の撮像装置に関し、特に撮像による記録画像のピント状態を確認する機能を有する撮像装置に関する。また、本発明は、撮像により生成された記録画像のピント状態を確認できる画像処理装置に関する。

撮像装置によって取得した記録画像のピント状態を該撮像装置やパーソナルコンピュータ（ＰＣ）により確認したいという要望がある。このような要望を実現するために、記録画像のうちピント状態を確認したい領域を撮像装置のディスプレイやＰＣのモニタに拡大表示する方法が用いられている。

また、特許文献１には、撮像光学系の射出瞳を分割する光学部材を設け、該光学部材を通して焦点検出用撮像素子上に被写体像を投影し、スプリットイメージをディスプレイに表示する撮像装置が開示されている。

また、特許文献２には、撮像素子の撮像面にて位相差検出方式による焦点検出を可能とする光学素子を設け、該光束素子を通して撮像素子上に被写体像を投影し、スプリットイメージをディスプレイに表示する撮像装置が開示されている。

さらに、特許文献３には、測距部からの信号及び撮像光学系のレンズの配置から、該撮像光学系の像面と撮像素子の受光面との間の距離に相当する値をずれ量として求め、該ずれ量に応じたスプリットイメージを簡易に生成する撮像装置が開示されている。
特開昭５９−５０６７１号公報 特開２００６−１５４５０６号公報 特開２００１−３０９２１０号公報

特許文献１〜３のいずれに開示された撮像装置においても、撮像前にマニュアルフォーカスを行うときの補助表示としてスプリットイメージを表示する。撮影された画像に対してスプリットイメージを表示するための方法については、開示されていない。

また、特許文献３にて開示されている撮像装置では、スプリットイメージの表示範囲内に複数の異なる距離の被写体が存在すると、従来のスプリットイメージとずれ量が異なるという問題がある。

本発明は、撮像後に記録画像を再生するときに、撮像時のピント状態を示すスプリットイメージ等の画像を利用できるようにした撮像装置、その制御方法、画像処理装置及び画像処理方法を提供する。

本発明の一側面としての撮像装置は、被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、該光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、第１の画像データ及び第２の画像データを、保存のために記録媒体に記録する記録手段とを有することを特徴とする。

また、本発明の他の一側面としての画像処理装置は、上記撮像装置により第１の画像データ及び第２の画像データが記録された記録媒体が装着される画像処理装置であって、第１の画像データ及び第２の画像データを記録媒体から読み出す読み出し手段と、該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させる再生手段とを有することを特徴とする。

また、本発明の他の一側面としての撮像装置の制御方法は、画像被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成するステップと、該光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成するステップと、第１の画像データ及び第２の画像データを、保存のために記録媒体に記録するステップとを有することを特徴とする。

さらに、本発明の他の一側面の画像処理方法は、上記撮像装置により第１の画像データ及び第２の画像データが記録された記録媒体から該第１の画像データ及び第２の画像データを読み出すステップと、該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させるステップとを有することを特徴とする。

本発明によれば、撮像により記録された被写体画像としての第１の画像だけでなく、撮像時のピント状態を示す第２の画像をも記録媒体に記録するので、撮像装置や画像処理装置によってこれらを再生することで第１の画像のピント状態を確認することができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の実施例１であるデジタルカメラ等の撮像装置の回路構成を示す。

撮像装置１において、１０１は変倍レンズやフォーカスレンズを含む撮像レンズ（撮像光学系）、１０２はフォーカスレンズを駆動するレンズ駆動回路である。１０３は光量を調整する絞りである。

１０４は被写体から撮像レンズ１０１に入射した光束により形成される光学像を光電変換して電気信号（アナログ撮像信号）を出力する撮像素子（センサ）である。撮像素子１０４は、ＣＣＤセンサやＣＭＯＳセンサにより構成されている。また、撮像素子１０４には、カラー撮像用の撮像画素と焦点検出用のＡＦ画素とを含む。詳しくは後述するが、撮像画素は、被写体から撮像レンズ１０１に入射した光束により形成された被写体像（第１の光学像）を光電変換する。一方、ＡＦ画素は、被写体から撮像レンズ１０１に入射した光束のうちいわゆる瞳分割された２つの光束により形成された２つの被写体像（第２の光学像）を光電変換する。

１０５は水平同期信号ＨＤ及び垂直同期信号ＶＤを生成する同期信号発生器（以下、ＳＳＧという）、１０６は同期信号ＨＤ，ＶＤに同期して撮像素子１０４を動作させるための制御信号を生成するタイミングジェネレータ（以下、ＴＧという）である。

１０７は撮像素子１０４から出力されたアナログ撮像信号をデジタル撮像信号に変換するＡ／Ｄ変換回路である。１０８は撮像素子１０４に設けられたＡＦ画素の位置を示すフラグを出力する補正フラグ回路である。１０９はＡ／Ｄ変換回路１０７から出力されたデジタル撮像信号に含まれるＡＦ画素の画素値を、補正フラグ回路１０８から出力されるフラグを参照して補間する現像画素補正回路である。

１１０はＡ／Ｄ変換回路１０７から出力されたデジタル撮像信号に含まれるＡＦ画素の画素値を抽出するＡＦ画素選択回路である。１１１はデジタル撮像信号に対して色変換処理等の現像処理を行い、カラー画像データ（第１の画像データ）を生成する現像処理回路である。

主として撮像素子１０４の撮像画素、Ａ／Ｄ変換回路１０７、現像画素補正回路１０９及び現像処理回路１１１により第１の画像生成手段が構成される。また、主として撮像素子１０４のＡＦ画素、Ａ／Ｄ変換回路１０７及びＡＦ画素選択回路１１０により第２の画像生成手段が構成される。

１１２は複数ペアのＡＦ画素により得られた像信号（Ａ像信号及びＢ像信号）から位相差を検出し、焦点ずれ量（デフォーカス量）を算出する位相差ＡＦ回路である。

１１４はＤＲＡＭ、１１３はＤＲＡＭ１１４とのインターフェースとなるメモリ制御回路、１１５は画像データのサイズを変倍する変倍回路、１１６は各回路のモードやパラメータを決定するシステムコントローラである。

１１８は画像データを表示するモニタ、１１７は画像データをモニタ１１８に表示させるために変調を行うビデオ変調回路、１１９は画像データをＪＰＥＧ方式などの圧縮方式で圧縮するための圧縮回路である。１２１は圧縮された画像データを保存のために記録する、脱着可能な記録媒体（以下、メモリカードという）である。

１２０はメモリカード１２１とのインターフェースとなるカード制御回路であり、１２２は圧縮されたデータを伸張する伸張回路である。

以上のように構成される撮像装置において、撮像レンズ１０１を通過した光束は、絞り１０３において適正な光量に調整され、撮像素子１０４上に被写体像を形成する。撮像素子１０４は、被写体像を光電変換してアナログ撮像信号を出力する。

ＴＧ１０６は、ＳＳＧ１０５において生成される同期信号ＨＤ，ＶＤに同期して撮像素子１０４が動作するようにタイミング信号を生成し、撮像素子１０４の動作を制御する。撮像素子１０４から出力されたアナログ撮像信号は、Ａ／Ｄ変換回路１０７においてデジタル撮像信号に変換される。

補正フラグ回路１０８は、不図示のＲＯＭに記憶されたＡＦ画素の位置情報を読み出して、現像画素補正回路１０９及びＡＦ画素選択回路１１０に出力する。

現像画素補正回路１０９は、撮像素子１０４から読み出した状態のデジタル撮像信号では欠陥画素となるＡＦ画素の画素値をその周辺の撮像画素の画素値を用いて補間する。そして、欠陥画素が補間されたデジタル撮像信号を現像処理回路１１１に出力する。

現像処理回路１１１は、現像画素補正回路１０９から出力されたデジタル撮像信号に対して色変換処理、ガンマ処理、ホワイトバランス処理等の現像処理を行い、カラー画像データを生成する。カラー画像データは、メモリ制御回路１１３を通じてＤＲＡＭ１１４に書き込まれる。

ＡＦ画素選択回路１１０は、補正フラグ回路１０８から入力されたＡＦ画素位置情報に従い、Ａ／Ｄ変換回路１０７から出力されたデジタル撮像信号のうちＡＦ画素の画素値データを抽出し、Ａ像信号及びＢ像信号を生成する。Ａ像信号及びＢ像信号は、撮像レンズ１０１の焦点状態に応じた位相差を有する信号であり、位相差ＡＦ回路１１２及びメモリ制御回路１１３に入力される。

メモリ制御回路１１３は、入力されたＡ像信号及びＢ像信号をＤＲＡＭ１１４に書き込む。

位相差ＡＦ回路１１２は、入力されたＡ像信号及びＢ像信号が持つ位相差を相関演算により算出し、位相差の情報をシステムコントローラ１１６に出力する。

システムコントローラ１１６は、該位相差情報から撮像レンズ１０１のデフォーカス量を算出し、該デフォーカス量から合焦状態を得るためのフォーカスレンズの目標駆動量を求める。そして、該目標駆動量に応じた駆動信号をレンズ駆動回路１０２に出力し、フォーカスレンズを移動させる。こうして、撮像素子１０４に設けられたＡＦ画素を用いた位相差検出方式のオートフォーカス（ＡＦ）を行うことができる。

なお、本実施例の撮像レンズ１０１は、不図示のマニュアルフォーカスリング（フォーカス操作部材）を操作することでフォーカスレンズを移動させて、マニュアルフォーカスを行うこともできる。

現像処理回路１１１において現像処理され、ＤＲＡＭ１１４に書き込まれたカラー画像データは、メモリ制御回路１１３によって変倍回路１１５に読み出される。変倍回路１１５は、カラー画像データのサイズを、モニタ１１８に表示するためのサイズに変倍したり、メモリカード１２１に記録するためのサイズに変倍したりする。変倍されたカラー画像データは、メモリ制御回路１１３によってＤＲＡＭ１１４に書き込まれる。

ＤＲＡＭ１１４に書き込まれたＡ像信号及びＢ像信号は、後述するようにＡＦ画素が撮像素子１０４の全体にわたって離散的に配置されているため、瞳分離された２つの光束により形成された２つの被写体像に対応する単色の画像データでもある。Ａ像及びＢ像の画像データ（第２の画像データ）は、メモリ制御回路１１３によって変倍回路１１５に読み出される。

変倍回路１１５は、Ａ像及びＢ像の画像データを、モニタ１１８に表示するためのサイズに変倍する。変倍されたＡ像及びＢ像の画像データは、メモリ制御回路１１３によってＤＲＡＭ１１４に書き込まれる。そして、変倍されたカラー画像データとＡ像及びＢ像の画像データは、ＤＲＡＭ１１４からビデオ変調回路１１７に読み出され、ＮＴＳＣやＰＡＬ等のフォーマットに変換されてモニタ１１８に出力される。

これにより、図８Ａに示すように、カラー画像データ（以下、本画像データという）１３００上に、Ａ像の画像データである表示Ａ画像１３２０とＢ像の画像データである表示Ｂ画像１３２１により構成されるスプリットイメージが重なって表示される。より具体的には、スプリットイメージは、Ａ像及びＢ像の画像データから生成された（切り出された）画像データにより構成されている。

また、変倍回路１１５によって変倍された本画像データとＡ像及びＢ像の画像データはＤＲＡＭ１１４から圧縮回路１１９に読み出されて圧縮されて再びＤＲＡＭ１１４に書き込まれた後、カード制御回路１２０により読み出される。そして、カード制御回路１２０は、これらの圧縮された画像データを図１０に示すファイルフォーマットの画像ファイル１５００に変換し、撮像装置１に対して着脱可能な記録媒体であるメモリカード１２１に記録する。主としてシステムコントローラ１１６及びカード制御回路１２０が、記録手段に相当する。

画像ファイル１５００は、本画像データ（ＪＰＥＧデータ）とヘッダとから構成され、ヘッダには、画像パラメータとして撮像時の各種情報や撮像装置１の機種情報と、Ａ像及びＢ像の画像データ（図には、瞳分割データと記す）とが格納される。

なお、画像ファイル１５０００の格納として、メモリカード１２１を例示したが、保存のための記録媒体であれば、備え付けのメモリなど着脱可能でなくてもよい。また、撮像装置１に着脱可能、備え付けでなくても、通信ネットワークを介して記録媒体としてのサーバーに格納するようにしてもよい。

ここで、撮像素子１０４の画素配列を図２に示す。基本画素配列は、緑画素、赤画素及び青画素により構成されるベイヤー配列となっている。各画素には、光電変換部で受光する光束が通過する開口部が形成されている。図２では、緑画素における開口部をＧ、赤画素における開口部をＲ、青画素における開口部をＢ、無彩色（＝白）画素における開口部をＳ１、Ｓ２として示す。

緑画素の開口部Ｇには緑色光束を通過させる色フィルタが、赤画素の開口部Ｒには赤色光束を通過させる色フィルタが、青画素の開口部Ｂには青色光束を通過させる色フィルタがそれぞれ配置されている。一方、無彩色画素の開口部Ｓ１、Ｓ２には、色フィルタは配置されていない。また、各開口部の下（裏面側）には光電変換部が存在する。さらに、各開口部の上（表面側）には、マイクロレンズ（図３の１１）が設けられている。すなわち、１つの光電変換部と、その上に配置される色フィルタ（ただし、無彩色画素を除く）と、さらにその上に配置されるマイクロレンズとにより１つの画素が構成される。

そして、緑画素、赤画素及び青画素は撮像画素として用いられ、無彩色画素はＡＦ画素として用いられる。

すなわち、撮像素子１０４は、撮像レンズ１０１からの光束により形成された被写体像（第１の光学像）を光電変換する撮像画素群（第１の画素群）を有する。また、撮像レンズ１０１からの光束のうち瞳分割された光束により形成された２つの光学像（第２の光学像）を光電変換するＡＦ画素群（第２の画素群）を有する。撮像画素群からの出力信号は本画像データの生成に用いられ、ＡＦ画素群からの出力信号は位相差検出方式ＡＦとスプリットイメージ（Ａ像及びＢ像の画像データ）の生成に用いられる。

ＡＦ画素は、互いに斜めに隣接した２つの画素で１つのペアを構成し、該ペアが撮像素子１０４（撮像画素群）の全体に離散的（かつ周期的）に配置されている。

図３には、互いにペアをなす２つのＡＦ画素（左上と右下の画素）と２つの緑画素（右上と左下）とを含む４画素を拡大して示す。ここでは、各画素の開口部の形状について説明する。

２つのＡＦ画素のうち一方のＡＦ画素（開口部Ｓ１）は、ベイヤー配列における赤画素の位置に、他方のＡＦ画素（開口部Ｓ２）は、ベイヤー配列における青画素の位置に形成されている。

１１は前述したように各開口部の上に配置されるマイクロレンズである。３７ａ，３７ｂは斜め方向にて互いに隣り合う２つのＡＦ画素におけるマイクロレンズ１１の中心である。３６は該２つのＡＦ画素におけるマイクロレンズ１１の中心を通る直線である。

３８ａは上記一方のＡＦ画素が配置されていない場合の赤画素の開口部である。また、３８ｂは上記他方のＡＦ画素が配置されていない場合の青画素の開口部である。

３９ａ，３９ｂは該２つのＡＦ画素の開口部であり、赤画素の開口部３８ａと青画素の開口部３８ｂを縮小中心３５ａ，３５ｂを中心としてそれぞれ縮小した形状を有する。ここで、縮小中心３５ａ，３５ｂはそれぞれ、ＡＦ画素のマイクロレンズ１１の中心３７ａ，３７ｂから直線３６上において互いに逆向き（互いに接近する方向）に等距離だけ離れて位置する。

互いに隣り合う２つのＡＦ画素の開口部３９ａ，３９ｂは、縮小中心３５ａ，３５ｂを中心として縮小した形状であるため、マイクロレンズ１１の中心３７ａ，３７ｂに対して互いに異なる向きに偏りを持つ。また、開口部３９ａ，３９ｂはそれぞれ、直線３６に直交する直線４６に対して線対称な形状となっている。

このような構成によれば、撮像レンズ１０１を一方のＡＦ画素から見た場合と他方のＡＦ画素から見た場合とで、撮像レンズ１０１の瞳が対称に分割されたことと等価となる。すなわち、マイクロレンズ１１と開口部３９ａ，３９ｂ（言い換えれば、開口部３９ａ，３９ｂが形成された遮光層）は、いわゆる瞳分割光学系を構成する。

互いに隣り合う２つのＡＦ画素上には、撮像素子１０４の画素数が多くなるにつれてより近似した２像（Ａ像及びＢ像）が形成される。撮像レンズ１０１が被写体に対してピントが合っている状態では、２つのＡＦ画素から得られる出力（Ａ像信号及びＢ像信号）には位相差が生じない。

これに対し、撮像レンズ１０１のピントがずれているならば、該２つのＡＦ画素から得られるＡ像信号及びＢ像には位相差が生じる。そして、該位相差の方向は、前ピン状態と後ピン状態とで逆になる。

図４及び図５に、位相差とピント状態との関係を示す。これらの図においては、互いに隣り合う（ペアをなす）２つのＡＦ画素をそれぞれＳ１，Ｓ２として示す。また、撮像画素を省略して、複数のペアのＡＦ画素Ｓ１，Ｓ２を互いに近づけて同一断面上に示している。また、これらの図では、ＡＦ画素Ｓ１，Ｓ２のペアが同じマイクロレンズ３０１で覆われているように示しているが、前述したように、ＡＦ画素Ｓ１，Ｓ２はそれぞれ別々のマイクロレンズで覆われている。

被写体の特定点からの光はＡＦ画素Ｓ１に対する瞳を通ってＡＦ画素Ｓ１に入射する光束Ｌ１と、ＡＦ画素Ｓ２に対する瞳を通ってＡＦ画素Ｓ２に入射する光束Ｌ２とに分割される。該２つの光束Ｌ１，Ｌ２は、撮像レンズ１０１のピントが特定点に合っている状態では、図４に示すようにマイクロレンズ３０１の表面における一点に集光する。そして、ＡＦ画素Ｓ１，Ｓ２上には同一の像が形成される。これにより、ＡＦ画素Ｓ１から読み出したＡ像信号と、ＡＦ画素Ｓ２から読み出したＢ像信号とは同一のものとなる。

一方、撮像レンズ１０１のピントが特定点に対して合っていない状態では、図５に示すように、光束Ｌ１，Ｌ２はマイクロレンズ３０１の表面とは異なる位置で交差する。このときのマイクロレンズ３０１の表面と２つの光束Ｌ１，Ｌ２の交点との距離、すなわちデフォーカス量をｘとする。また、この状態で発生したＡＦ画素Ｓ１，Ｓ２上での像のずれ量（位相差）がｎ画素分に相当するものとする。

画素ピッチをｄ、２つの瞳の重心間の距離をＤａｆ、撮像レンズ１０１の主点から焦点位置までの距離をｕとするとき、デフォーカス量ｘは、
ｘ＝ｎ×ｄ×ｕ／Ｄａｆ …（１）
で求められる。

なお、ｕは撮像光学系１の焦点距離ｆにほぼ等しいと考えられるので、デフォーカス量ｘは、
ｘ＝ｎ×ｄ×ｆ／Ｄａｆ …（２）
で求めることもできる。

図６には、ＡＦ画素Ｓ１，Ｓ２のそれぞれから読み出したＡ像信号（Ｓ１の像）及びＢ像信号（Ｓ２の像）を示す。これらのＡ像及びＢ像信号にはずれ量（つまりは像ずれ量）ｎ×ｄが発生する。位相差ＡＦ回路１１２は、相関演算手法を用いて一対の像信号のずれ量（位相差）ｎ×ｄを求め、システムコントローラ１１６は、該位相差から（１）又は（２）式を用いてデフォーカス量ｘを求める。システムコントローラ１１６は、算出したデフォーカス量に基づいて、デフォーカス量ｘを所定範囲内に収める（望ましくは零にする）ためのフォーカスレンズの目標駆動量を算出する。そして、レンズ駆動回路１０２を通じて、フォーカスレンズを、算出した目標駆動量だけ移動させる。これにより、位相差検出方式ＡＦによる合焦状態が得られる。

次に、図７を用いて本実施例の撮像装置における撮像モードでの撮像処理（制御方法）の流れを説明する。この処理は、システムコントローラ１１６の内部メモリに格納されたコンピュータプログラムに従って実行される。

操作者により図１に示す撮像装置のメインスイッチをＯＮすると（Ｓ１０１）、システムコントローラ１１６は、撮像レンズ１０１の焦点検出を実行する（Ｓ１０２）。このとき、撮像素子１０４のＡＦ画素からの出力信号が使用される。そして、撮像レンズ１０１のデフォーカス量が算出され、さらにフォーカスレンズの目標駆動量が算出される。

次に、Ｓ１０２において算出された目標駆動量に基づいて、システムコントローラ１１６は、レンズ駆動回路１０２に駆動信号を出力し、フォーカスレンズを合焦位置に駆動する（Ｓ１０３）。

次に、システムコントローラ１１６は、ＳＳＧ１０５及びＴＧ１０６を通じて撮像素子１０４を動作させ、いわゆるライブビュー画像を生成させる（Ｓ１０４）。ライブビュー画像は、モニタ１１８に電子ビューファインダ用の動画像として表示される（Ｓ１０５）。

続いてシステムコントローラ１１６は、操作者により撮像スイッチＳＷ２がＯＮされたか否かを判別する（Ｓ１０６）。操作スイッチＳＷ２がＯＮでなければＳ１０１に戻る。

一方、操作スイッチＳＷ２がＯＮであれば、システムコントローラ１１６は、ＳＳＧ１０５及びＴＧ１０６を通じて撮像素子１０４に本画像データを生成するための本撮像動作を行わせる（Ｓ１０７）。これにより、撮像素子１０４の撮像画素からの出力信号に基づいて、現像処理回路１１１にて本画像データが生成される。また、このとき、撮像素子１０４のＡＦ画素からの出力に基づいて、ＡＦ画素選択回路１１０にてＡ像の画像データ及びＢ像の画像データも生成される。本画像データとＡ像及びＢ像の画像データ（スプリットイメージ）は、前述したように、ビデオ変調回路１１７等を介してモニタ１１８に表示されたり（Ｓ１０８）、カード制御回路１２０等を介してメモリカード１２１に記録されたりする。（Ｓ１０９）。こうして本撮像動作が終了すると、システムコントローラ１１６は、Ｓ１０１に戻って焦点検出やライブビュー画像の表示を再開する。

以上説明したように、本実施例によれば、撮像により取得された本画像データと、該本画像データを撮像するときのピント状態に対応したＡ像及びＢ像の画像データを、撮像装置１に対して着脱可能なメモリカード１２１に記録することができる。したがって、後述するように、撮像後に本画像データ（記録画像）を再生するときに、撮像時のピント状態を示すスプリットイメージを利用できる。

次に、本発明の実施例２として、実施例１にて説明した撮像装置１の再生機能について説明する。

カード制御回路１２０は、本画像データとＡ像及びＢ像の画像データが記録されたメモリカード１２１（他の撮像装置によって上記画像データが記録されたものでもよい）から、該本画像データとＡ像及びＢ像の画像データを読み出すことができる。そして、読み出された該本画像データとＡ像及びＢ像の画像データは、伸張回路１２２で伸張処理され、システムコントローラ１１６による切り出し処理を受けた後、ビデオ変調回路１１７を通してモニタ１１８に表示される。

これにより、メモリカード１２１から読み出された本画像データ上に、同じく読み出された表示Ａ画像と表示Ｂ画像により構成されるスプリットイメージが重なって（合成されて）モニタ１１８に再生表示される。主としてカード制御回路１２０及びシステムコントローラ１１６が、読み出し手段及び再生手段に相当する。

図９において、１３００はメモリカード１２１に記録された本画像データである。１３０１，１３０２，１３０３は本画像データ１３００に写っている被写体であり、それぞれ撮像装置１から異なる距離に位置する。

本画像データ１３００の記録時において、被写体１３０１に対して撮像レンズ１０１のピントが合う距離（以下、合焦点という）に位置していたものとする。また、被写体１３０２は合焦点よりも撮像装置１に近い距離に、被写体１３０３は合焦点よりも撮像装置１から遠い距離に位置していたものとする。

１３０４は本画像データ１３００とともにメモリカード１２１に記録されたＡ像の画像データ（ここでは、Ａ画像データという）である。１３０５，１３０６，１３０７は、Ａ画像データ１３０４に写っている被写体であり、それぞれ本画像データ１３００内の被写体１３０１，１３０２，１３０３に対応する。

被写体１３０５は、合焦点に位置しているので、本画像データ１３００内の被写体１３０１に対してずれはない。しかし、被写体１３０６，１３０７はそれぞれ合焦点よりも近い距離及び遠い距離に位置するので、本画像データ１３００内の被写体１３０２，１３０３に対して互いに近づく方向にずれている。

１３０８は本画像データ１３００とともにメモリカード１２１に記録されたＢ像の画像データ（ここでは、Ｂ画像データという）である。１３０９，１３１０，１３１１は、Ｂ画像データ１３０８に写っている被写体であり、それぞれ本画像データ１３００内の被写体１３０１，１３０２，１３０３に対応する。

被写体１３０９は、合焦点に位置しているので、本画像データ１３００内の被写体１３０１に対してずれはない。しかし、被写体１３１０，１３１１はそれぞれ合焦点よりも近い距離及び遠い距離に位置するので、本画像データ１３００内の被写体１３０２，１３０３に対して互いに離れる方向にずれている。

１３３０，１３２２，１３２３は本画像データ１３００上に、Ａ画像データ１３０４及びＢ画像データ１３０８から切り出された表示Ａ画像及び表示Ｂ画像により構成されるスプリットイメージを重ねて（合成して）モニタ１１８に再生表示された再生画像を示す。

再生画像１３３０では、被写体１３０１の一部にスプリットイメージ（表示Ａ画像１３２０及び表示Ｂ画像１３２１）が重なって表示されている。被写体１３０１に対してピントが合っているので、表示Ａ画像１３２０及び表示Ｂ画像１３２１にはずれはない。

再生画像１３２２では、被写体１３０３の一部にスプリットイメージが重なって表示されている。合焦点よりも遠い距離に位置する被写体１３０３に対してはピントが合っていないので、スプリットイメージを構成する表示Ａ画像及び表示Ｂ画像は互いにずれている。このずれ量は、Ａ画像データ１３０４とＢ画像データ１３０８での被写体１３０７，１３１１のずれ量に一致する。

再生画像１３２３では、被写体１３０２の一部にスプリットイメージが重なって表示されている。合焦点よりも近い距離に位置する被写体１３０２に対してもピントが合っていないので、スプリットイメージを構成する表Ａ画像及び表示Ｂ画像は互いにずれている。このずれ量は、Ａ画像データ１３０４とＢ画像データ１３０８での被写体１３０６，１３１０のずれ量に一致する。また、ずれの方向は、再生画像１３２２でのスプリットイメージのずれの方向と逆である。

このように、本画像データとスプリットイメージが合成された再生画像を見ることで、記録（撮像）された本画像データのピント状態を記録後に容易に確認することができる。

ここで、図８Ａに示した撮像装置１に設けられたスイッチ類について説明する。これらスイッチ類は、撮像装置１のうちモニタ１１８が設けられた背面に設けられている。

１２０１は再生画像を縮小するために操作されるズームＤＯＷＮスイッチであり、１２０２は再生画像を拡大するために操作されるズームＵＰスイッチである。１２０３はモニタ１１８のＯＮ／ＯＦＦを切り換えるために操作されるモニタスイッチである。

１２０４は各種操作メニューを表示するメニュースイッチであり、１２０５はスプリットイメージや画像の移動を指示するために操作される十字キー（第１の操作手段及び第２の操作手段）である。

１２０６はメニュー画面で選択した項目を決定するセットスイッチである。

図８Ａには、再生画像の全体を表示する全画面表示状態を示している。また、図８Ｂは、ズームＵＰスイッチ１２０２の操作に応じて、再生画像（本画像データ）の一部を拡大処理して表示した拡大表示状態を示している。

図１１は、本実施例の撮像装置１における再生モードでの再生表示処理（画像処理方法）の流れを示す。この処理も、システムコントローラ１１６の内部メモリに格納されたコンピュータプログラム（画像処理プログラム）に従って実行される。

システムコントローラ１１６は、再生モードになると、ステップＳ１で、カード制御回路１２０を介してメモリカード１２１から操作者が再生を望む画像ファイルを読み出す。読み出された画像ファイルはＤＲＡＭ１１４に転送される。

ステップＳ２では、システムコントローラ１１６は、ＪＰＥＧデータとして画像ファイルに収納された本画像データをＤＲＡＭ１１４上からメモリ制御回路１２０を介して読み出し、該ＪＰＥＧデータを伸張処理する。

ステップＳ３では、システムコントローラ１１６は、表示倍率を初期化する。ここでは、モニタ１１８上に再生画像の全体を表示するために、表示倍率を１倍に設定する。

次にステップＳ４では、システムコントローラ１１６は、不図示の再生スイッチの状態を判別し、再生スイッチがＯＦＦであれば再生モードを終了する。一方、再生スイッチがＯＮであれば、次のステップＳ５へ移行する。

ステップＳ５では、システムコントローラ１１６は、ズームＵＰスイッチ１２０２の状態を判別し、ズームＵＰスイッチ１２０２がオフであるときはステップＳ６に進む。また、ズームＵＰスイッチ１２０２がＯＮであるときは、表示倍率を変更するステップＳ２０に移行する。

ステップＳ６では、システムコントローラ１１６は、十字キー１２０５の状態を判別し、十字キー１２０５がＯＦＦであるときはステップ８に進む。また、十字キー１２０５がＯＮであるときは、スプリットイメージの表示位置情報を変更するステップＳ７に移行する。なお、スプリットイメージの表示位置情報の初期値は、画面の中央に設定されている。

ステップＳ７では、システムコントローラ１１６は、十字キー１２０５からの信号に応じて、本画像データ上でスプリットイメージを表示する（合成する）位置を変更する。

続いてステップＳ８では、システムコントローラ１１６は、ステップＳ２で生成された画像データをモニタ１１８に全画面表示するための変倍処理を変倍回路１１５に行わせる。

ステップＳ９では、システムコントローラ１１６は、ＤＲＡＭ１１４上の画像ファイルに収納されたＡ画像データ及びＢ画像データ（図には瞳分割画像と記す）をメモリ制御回路１１３を介して読み出す。そして、ステップＳ８で変倍処理された本画像データの拡大率と同じ拡大率でＡ画像データ及びＢ画像データの変倍処理を変倍回路１１５に行わせる。

次にステップＳ１０では、システムコントローラ１１６は、スプリットイメージの表示位置情報に応じて、変倍処理後のＡ画像データ及びＢ画像データからスプリットイメージの表示枠内に収まる部分画像データ（表示Ａ画像及び表示Ｂ画像）を切り出す。そして、切り出した表示Ａ画像及び表示Ｂ画像を、ステップＳ８での変倍処理後の本画像データに合成し、該合成画像を再生画像としてモニタ１１８上に表示する。

ステップＳ４〜Ｓ１０の処理を繰り返すことで、モニタ１１８に表示された再生画像上でスプリットイメージを自由に移動させることができ、再生画像（本画像データ）の任意の位置でのピント状態を容易に確認することができる。

ステップＳ２０では、システムコントローラ１１６は、ズームＵＰスイッチ１２０２がＯＮされるごとに拡大方向に表示倍率を変更する。

ステップＳ２１では、システムコントローラ１１６は、十字キー１２０５の状態を判別し、十字キー１２０５がＯＦＦであればステップ２３に、ＯＮであればステップＳ２２に移行する。

ステップＳ２２では、システムコントローラ１１６は、十字キー１２０５のＯＮごとに、本画像データのうち拡大する領域の位置情報を変更する。

ステップＳ２３では、システムコントローラ１１６は、ステップＳ２で生成された本画像データのうち拡大する領域をモニタ１１８に拡大表示するための変倍処理を変倍回路１１５に行わせる。

次に、ステップＳ２４では、システムコントローラ１１６は、ＤＲＡＭ１１４上の画像ファイルに収納されたＡ画像データ及びＢ画像データ（瞳分割画像）をメモリ制御回路１１３を介して読み出す。そして、ステップＳ２３で変倍処理された本画像データの拡大領域の拡大率と同じ拡大率でＡ画像データ及びＢ画像データの変倍処理を変倍回路１１５に行わせる。

さらにステップＳ２５では、システムコントローラ１１６は、本画像データの拡大領域の位置に応じて、変倍処理後のＡ画像データ及びＢ画像データからスプリットイメージの表示枠内に収まる部分画像データ（表示Ａ画像及び表示Ｂ画像）を切り出す。そして、切り出した表示Ａ画像及び表示Ｂ画像を、ステップＳ２３での変倍処理後の本画像データの拡大領域画像に合成し、該合成画像を拡大再生画像としてモニタ１１８上に表示する。

ステップＳ４〜Ｓ２４を繰り返すことで、拡大再生画像上にスプリットイメージを表示した状態で本画像データのうち拡大領域を自由に移動させる（変更する）ことができ、再生画像（本画像データ）の任意の位置でのピント状態を容易に確認することができる。

図１２において、１４００，１４０１，１４０２は本画像データ１３００の一部領域を拡大表示した拡大再生画像を示す。拡大再生画像１４００は、本画像データ１３００内の合焦点に位置する被写体１３０１を含む領域を拡大した画像である。拡大再生画像１４０１は、本画像データ１３００内の合焦点より近い距離に位置する被写体１３０２を含む領域を拡大した画像である。拡大再生画像１４０２は、本画像データ１３００内の合焦点より遠い距離に位置する被写体１３０３を含む領域を拡大した画像である。

いずれの拡大再生画像１４００〜１４０２においても、スプリットイメージの表示位置は画面の中央に固定され、拡大領域を移動させている。

図１３には、本発明の実施例である画像処理装置を示している。

画像処理装置８００は、パーソナルコンピュータにより構成され、実施例２で図１１を用いて説明した再生表示処理（画像処理方法）と基本的に同じ処理を行うコンピュータプログラムがインストールされている。

実施例１で説明した撮像装置１において本画像データとＡ画像データ及びＢ画像データが記録されたメモリカード１２１を撮像装置１から取り外し、パーソナルコンピュータのメモリスロットに装着する。これにより、パーソナルコンピュータは、メモリカード１２１から本画像データやＡ画像データ及びＢ画像データを読み込み、再生画像を生成する。

再生画像は、パーソナルコンピュータのモニタ８０１に表示される。再生画像の拡大率の設定、スプリットイメージの表示位置、拡大領域の変更等は、パーソナルコンピュータに接続されたマウスやキーボードを通じて行われる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

例えば、上記実施例では、Ａ画像データ及びＢ画像データを用いてスプリットイメージを本画像データに合成して再生表示する場合について説明した。しかし、再生表示方法はこれに限らず、例えば、Ａ画像データ及びＢ画像データのうち少なくとも一方を本画像データに重ねて２重画像や３重画像として再生表示してもよい。

本発明の実施例１及び実施例２の撮像装置の構成を示すブロック図。 実施例１の撮像装置に用いられる撮像素子の画素配列を示す図。 上記画素配列の拡大図。 上記撮像素子のＡＦ画素におけるピント状態（合焦状態）と位相差との関係を示す図。 上記撮像素子のＡＦ画素におけるピント状態（非合焦状態）と位相差との関係を示す図。 ＡＦ画素から読み出した像信号を示す図。 上記撮像装置における撮像処理を示すフローチャート。 上記撮像装置における全画面表示例を示す図。 上記撮像装置における拡大表示例を示す図。 実施例２における本画像データ、Ａ画像データ、Ｂ画像データ及び再生画像の例を示す図。 上記撮像装置により記録媒体に格納される画像ファイルの構成を示す図。 実施例２における再生表示処理を示すフローチャート。 実施例２における拡大再生表示の例を示す図。 本発明の実施例３である画像処理装置を示す図。

符号の説明

１ 撮像装置
１０１ 撮像レンズ
１０４ 撮像素子
１０９ 現像画素補正回路
１１０ ＡＦ画素選択回路
１１１ 現像処理回路
１１２ 位相差ＡＦ回路
１１５ 変倍回路
１１６ システムコントローラ
１１８ モニタ
１２１ メモリカード
８００ 画像処理装置
１３００ 本画像データ
１３２０，１３２１ スプリットイメージ（表示Ａ画像、表示Ｂ画像）
Ｒ，Ｇ，Ｂ 撮像画素（開口部）
Ｓ１，Ｓ２ ＡＦ画素（開口部）

Claims (10)

1. 被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、
   前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、
   前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段とを有することを特徴とする撮像装置。
2. 前記第１及び第２の画像データを前記記録媒体から読み出す読み出し手段と、
   該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させる再生手段とを有することを特徴とする請求項１に記載の撮像装置。
3. 前記再生手段は、前記第１の画像データと前記第２の画像データとを合成して前記表示手段に再生表示させることを特徴とする請求項２に記載の撮像装置。
4. 前記再生手段は、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させることを特徴とする請求項２に記載の撮像装置。
5. 操作者により操作される第１の操作手段を有し、
   前記再生手段は、前記第１の操作手段の操作に応じて、前記表示手段における前記スプリットイメージの表示位置を変更することを特徴とする請求項４に記載の撮像装置。
6. 操作者により操作される第２の操作手段を有し、
   前記再生手段は、前記第１の画像データの一部の領域を拡大して前記表示手段に再生表示させ拡大処理が可能であり、
   前記再生手段は、前記第２の操作手段が操作された場合に、前記表示手段における前記スプリットイメージの表示位置を固定して前記拡大処理による拡大領域を変更することを特徴とする請求項４に記載の撮像装置。
7. 前記第１の光学像を光電変換する第１の画素群と前記第２の光学像を光電変換する第２の画素群とを有する撮像素子を有し、
   前記第１の画像生成手段は前記第１の画素群からの信号を用いて前記第１の画像データを生成し、前記第２の画像生成手段は前記第２の画素群からの信号を用いて前記第２の画像データを生成することを特徴とする請求項１から６のいずれか１つに記載の撮像装置。
8. 請求項１から７のいずれか１つに記載の撮像装置により前記第１の画像データ及び前記第２の画像データが記録された記録媒体が装着される画像処理装置であって、
   前記第１の画像データ及び前記第２の画像データを前記記録媒体から読み出す読み出し手段と、
   該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させる再生手段とを有することを特徴とする画像処理装置。
9. 被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成するステップと、
   前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成するステップと、
   前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録するステップとを有することを特徴とする撮像装置の制御方法。
10. 請求項１から７のいずれか１つに記載の撮像装置により前記第１の画像データ及び前記第２の画像データが記録された記録媒体から該第１の画像データ及び該第２の画像データを読み出すステップと、
    該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させるステップとを有することを特徴とする画像処理方法。