JP2005148232A - 撮像装置及び再生装置 - Google Patents

Abstract

【課題】 簡単な構成で被写体の任意位置の距離情報、又は深度情報を得ることが可能な撮像装置、及び再生画像中の任意領域の被写体までの距離を簡単に求めることが可能な再生装置を提供する。
【解決手段】 撮影レンズ（２、３）と、撮影レンズの射出瞳を通過する光束に基づく像を光電変換する第１撮像素子（５）と、第１撮像素子の出力信号をもとに主画像データを生成する第１信号処理手段（６）と、撮影レンズの射出瞳の異なる２つの第１領域と第２領域を通過する２つの光束に基づく第１像及び第２像を形成する再結像光学系（１０１、１０２、１０３）と、第１像及び第２像を光電変換する第２撮像素子（１０４）と、第２撮像素子の出力信号をもとに第１像に対応する第１画像データと、第２像に対応する第２画像データを生成する第２信号処理手段（１０５）と、第１画像データと第２画像データを主画像データと関連付けて記録する記録手段（１２）とを有する撮像装置である。
【選択図】 図１

Description

本発明は、被写体の任意位置までの距離を簡単に知ることのできる撮像装置及び再生装置に関する。

被写体の任意位置までの距離情報を得ることが可能な技術として次の２つの技術が知られている。

その１つの技術は、被写体の立体画像情報を得ることによりその画像の任意領域の深度情報を得るもので、立体画像を撮影する装置として、２台のカメラを用いて撮影する技術（例えば、特許文献１参照）、１台のカメラに複数の撮影レンズを取り付ける技術（例えば、特許文献２参照）、通常のカメラにステレオアダプターを取り付ける技術（例えば、特許文献３参照）が知られている。

他の技術は、撮影時に距離情報を併せて取得するもので、画像データを複数の領域に分割し、この分割したそれぞれの領域の被写体までの距離を検出して上記画像データと関連付けて記録する撮像装置が知られている（例えば、特許文献４参照）。
特開平８−１０２９７０号公報 特開平６−３４２１９０号公報 特開平７−２７４２１４号公報 特開平７−１４３３８４号公報

しかし、特許文献１記載の技術では、２台のカメラを用いて立体画像を撮影するため、立体撮影の設定に時間がかかるという問題があった。また、特許文献２記載の技術では、１台のカメラに複数の撮影レンズを取り付けて立体画像を撮像するため、カメラの構成が複雑になったり、コストが高くなったり、デザイン上通常のカメラと異なるので違和感があるなどの問題があった。また、特許文献３記載の技術では、通常のカメラにステレオアダプターを取り付けるため、別途ステレオアダプターを用意する必要があり面倒であり、またデザイン上も通常のカメラと異なるため違和感があった。さらに上記いずれの装置においても、高精細の画像を得るには立体画像を形成するすべての画像を高精細にする必要があり、高精細の画像は単画像で十分なユーザーに対しては過剰な仕様になり高いコストのかかるものになっていた。

また、特許文献４記載の撮像装置は、撮像領域を複数の領域に分割し、分割した全ての領域について被写体までの距離をそれぞれ検出するものであるため検出に時間がかかるという問題があった。

本発明は係る事情に鑑みてなされたものであって、簡単な構成で被写体の任意位置の距離情報、又は深度情報を得ることが可能な撮像装置、及び再生画像中の任意領域の被写体までの距離を簡単に求めることが可能な再生装置を提供することを目的とする。

本発明に係る請求項１に記載の撮像装置は、撮影レンズと、上記撮影レンズの射出瞳を通過する光束に基づく像を光電変換する第１撮像素子と、上記第１撮像素子の出力信号をもとに主画像データを生成する第１信号処理手段と、上記撮影レンズの射出瞳を異なる２つの第１領域と第２領域に分割し、上記分割した第１領域と第２領域を通過する２つの光束に基づく第１像及び第２像を形成する再結像光学系と、上記第１像及び第２像を光電変換する第２撮像素子と、上記第２撮像素子の出力信号をもとに上記第１像に対応する第１画像データと、上記第２像に対応する第２画像データを生成する第２信号処理手段と、上記第１画像データと上記第２画像データを上記主画像データと関連付けて記録する記録手段とを有する。

また本発明に係る請求項２に記載の撮像装置は、上記記載の発明である撮像装置において、上記第１像と上記第２像の相対的なずれ量から被写体までの距離を求めるための付属情報を、上記主画像データと関連付けて上記記録手段に記録する。

また本発明に係る請求項３に記載の撮像装置は、上記記載の発明である撮像装置において、上記付属情報は、撮影レンズの焦点距離、上記撮影レンズにより合焦している被写体の距離情報、上記再結像レンズの倍率情報、及び上記再結像レンズに入射する主光線の傾きに関する情報を含む。

また本発明に係る請求項４に記載の撮像装置は、上記記載の発明である撮像装置において、上記第１撮像素子の画素数は上記第２撮像素子の画素数に比べて画素数が多い。

また本発明に係る請求項５に記載の撮像装置は、上記記載の発明である撮像装置において、上記再結像光学系は、コンデンサーレンズと、上記コンデンサーレンズの後方に配置された上記撮影レンズにより結像した像を再結像させるための再結像レンズと、上記再結像レンズの少なくとも２つの同一でない領域を通過する光束を選択的に通過させるシャッタ手段と、を有する。

また本発明に係る請求項６に記載の再生装置は、主画像と、基線長の異なる２つの光路を介して撮像された第１画像と第２画像が関連付けられて記録された記録媒体と、上記記録媒体から上記主画像を読み出して表示する第１表示手段と、上記第１表示手段に表示されている主画像の中から所定の被写体を選択する選択手段と、上記第１画像及び第２画像の中から、上記所定の被写体に対応する２つの画像を読み出して相対的なずれ量を求め、上記ずれ量に基づいて上記所定の被写体までの距離を演算する演算手段とを備え、上記第１表示手段は、上記演算手段により演算した距離を表示する。

本発明の撮像装置によれば、簡単な構成で被写体の任意位置の距離情報、又は深度情報を得ることができる。

また本発明の再生装置によれば、再生画像中の任意領域の被写体までの距離を簡単に求めることができる。

［撮像装置の実施の形態］
図１は、本発明に係る焦点検出装置を組み込んだ撮像装置の構成を示す図である。

本実施の形態の撮像装置１は、第１ＣＰＵ１１３と第２ＣＰＵ１５とを備えている。ここで、第１ＣＰＵ１１３は、主として位相差方式による焦点検出機構１００を統括して制御する。

第２ＣＰＵ１５は、山登り方式による焦点検出動作を制御すると共に、第１ＣＰＵ１１３とリンケージを取りながら、位相差方式による焦点検出結果を取得して合焦動作を制御する。更に、第２ＣＰＵ１５は、撮像装置１を統括して制御する。

続いて、撮像装置１のうち、第２ＣＰＵ１５が統括する各部の構成と動作について説明する。

撮像装置１には撮影光学系として、ズームレンズ２及びフォーカスレンズ３が備えられている。被写体からの光束は、これらのレンズと絞り４を介して固体撮像素子であるＣＣＤ５上に被写体像を結ぶ。

操作スイッチ２４のレリーズスイッチを操作して記録操作を行うと、ＣＣＤ５で光電変換された信号は撮像回路６に入力され、この撮像回路６により、映像信号が生成される。この映像信号はＡ／Ｄ変換器７によってデジタルの映像信号（画像データ）に変換され、メモリ８に一時格納される。メモリ８の画像データは圧縮／伸張回路１１の圧縮回路で圧縮された後、記録用メモリ１２に記憶される。

また、操作スイッチ２４から再生操作が行われた場合には、記録用メモリ１２に圧縮されて記憶された画像データは圧縮／伸張回路１１の伸張回路で伸張されてメモリ８に一時記憶される。そして、その画像データはＤ／Ａ変換器９でアナログの映像信号に変換された後、ＬＣＤ表示素子（ＬＣＤ）１０で再生画像として表示される。

Ａ／Ｄ変換器７によってＡ／Ｄ変換された画像データはオート露出処理回路（以下、「ＡＥ処理回路」という。）１３とオートフォーカス処理回路（以下、「ＡＦ処理回路」という。）１４に入力される。ＡＥ処理回路１３では、１フレーム（１画面）分の画像データの輝度値を算出する等して被写体の明るさに対応したＡＥ評価値を算出し、第２ＣＰＵ１５に出力する。

第２ＣＰＵ１５はそれぞれ第１、第２、第３のモータドライブ回路１８、１９、２０を制御することにより、第１、第２、第３のモータ２１、２２、２３を介して絞り４、フォーカスレンズ３、ズームレンズ２の駆動を制御する。

第２ＣＰＵ１５はＡＥ評価値を基に、オート露出制御を行う。即ち第２ＣＰＵ１５は、第１のモータドライブ回路１８を制御して第１のモータ２１を回転駆動して、絞り４の絞り量を適正な値に調整する。

また、ＡＦ処理回路１４は、１フレーム（１画面）分の画像データの輝度成分から高周波成分をハイパスフィルタなどで抽出して、累積加算値を算出する。そして高域側の輪郭成分等に対応したＡＦ評価値を算出し、第２ＣＰＵ１５に出力する。第２ＣＰＵ１５は、このＡＦ評価値に基づいて合焦動作を行う。以下この原理に基づく焦点調節方式を「山登り方式」と呼ぶ。

第２ＣＰＵ１５にはタイミングジェネレータ（以下、「ＴＧ回路」という。）１６から画面レートに同期した所定のタイミング信号が入力され、第２ＣＰＵ１５はこのタイミング信号に同期して、各種の制御動作を行う。

このＴＧ回路１６からのタイミング信号は撮像回路６にも入力され、撮像回路６はこの信号に同期して、色信号の分離等の処理を行う。また、ＴＧ回路１６は所定のタイミングでＣＣＤ５を駆動するようにＣＣＤドライバ１７を制御する。

次に、第１ＣＰＵ１１３が統括する位相差方式による焦点検出機構１００の各部の構成と動作について説明する。

撮影光学系を通過した光束はコンデンサーレンズ１０１で集光される。コンデンサーレンズ１０１を通過した光束は、シャッタ１０２を介して、再結像レンズ１０３により固体撮像素子であるＣＣＤ１０４の撮像面に結像する。ここでシャッタ１０２は、光軸を挟んだ２つのシャッタを時分割的に開閉する、電子シャッタ又は機械的シャッタである。

ＣＣＤ１０４で光電変換された信号は撮像回路１０５に入力され、撮像回路１０５により、映像信号が生成される。この映像信号はＡ／Ｄ変換器１０６によってデジタルの映像信号（画像データ）に変換され、メモリ１０７に一時格納される。

ＡＦ処理回路１０８は、メモリ１０７に格納された２つのシャッタ開口を通過した光束の所定領域（測距領域）の画像データを読み出す。そして、その画像データの相対的な間隔に基づいて、フォーカスレンズ３のピント位置からのずれ量であるデフォーカス量を演算する。以下この原理に基づく焦点調節方式を「位相差方式」と呼ぶ。

測距領域選択回路１１０は測距の対象となる被写体領域を選択する回路である。この被写体領域は、カメラの操作者により手動で選択するものであってもよいし、公知の視線検出装置により撮影者の視線により選択されたものでもよい。

測距領域選択回路１１０で選択された測距領域は、ＬＣＤ１０９に表示される。ＬＣＤ１０９は後述するように（図２参照）ピントグラス２０５とコンデンサーレンズ２０６の間に介設されており、上記測距領域はピントグラス２０５に結像した被写体像にスーパーインポーズされる。

第１ＣＰＵ１１３にはＴＧ回路１１１から画面レートに同期した所定のタイミング信号が入力され、第１ＣＰＵ１１３はこのタイミング信号に同期して、各種の制御動作を行う。

このＴＧ回路１１１からのタイミング信号は撮像回路１０５にも入力される。また、このＴＧ回路１１１は所定のタイミングでＣＣＤ１０４を駆動するようにＣＣＤドライバ１１２を制御する。

なお、第２ＣＰＵ１５にはメモリとして例えば電気的に書換可能で、不揮発性の読み出し専用メモリとしてのＥＥＰＲＯＭ２５が接続されている。このＥＥＰＲＯＭ２５には第２ＣＰＵ１５を介して各種の制御等を行うプログラム、各種の動作を行うのに使用されるデータ、後述する撮像素子５と撮像素子１０４の結像位置の関係を知るための情報、撮像素子５と撮像素子１０４の撮像面の明るさを補正するための情報等が格納されている。そしてこれらの情報は、撮像装置１の電源がＯＮされた場合などに読み出されて使用される。

また第２ＣＰＵ１５は、電池２６の電圧が所定の電圧値以下になった事を検出した場合には、ＬＣＤ１０に対して電池２６の残量が少ない旨の表示、電池の充電或いは交換などを促す表示を行う。

なおＣＣＤ５は、高精細な主画像を生成し再生する。一方、撮像素子１０４は被写体の距離情報を得るための２つの画像データを生成する。従って、その目的に適合させるため、ＣＣＤ５の画素数は、撮像素子１０４の画素数に比べて多い。

図２は、焦点検出装置の構成を示す図である。この焦点検出装置は、上述の焦点検出機構１００内に設けられている。

撮影光学系２００を通過した被写体光束はハーフミラー２０１を透過しミラー２０２で反射した後、コンデンサーレンズ１０１に導かれる。コンデンサーレンズ１０１を透過した光束は、カメラの底面と平行な光束になるようにミラー２０４で反射される。従って、撮影光学系２００により結像した被写体光束は、ミラー２０４で反射しシャッタ１０２を透過した後、再結像レンズ１０３でＣＣＤ１０４の撮像面に再結像される。

一方ハーフミラー２０１で反射した光束はピントグラス２０５に像を結び、この被写体像はＬＣＤ１０９、コンデンサーレンズ２０６、ペンタプリズム２０７、及び接眼レンズ２０８を介して、撮影者により観察される。

なお、ハーフミラー２０１、及びミラー２０２は、後述する（図８）２ｎｄレリーズ動作に同期してそれぞれ支点Ｐ１、Ｐ２を中心に水平位置に回転する。これにより、撮像素子５には被写体光束が導かれ撮影が可能となる。すなわち、２ｎｄレリーズまでは撮像素子５に入射する光束は、ハーフミラー２０１とミラー２０２により妨げられている。

図３は、シャッタ１０２の構成を示す図である。

シャッタ１０２は光軸を挟む左右対称な位置にＬＣＤで構成されるシャッタ部Ａ、Ｂを備えている。そして、シャッタ部Ａ，ＢはＬＣＤの働きにより交互に時分割的に光束の透過と遮光を行う。なおシャッタ１０２のシャッタ部Ａ，Ｂは光軸を挟んで左右対称に配置されているが、必ずしもこのような構成である必要はなく、シャッタ部が開いたとき２つの光束が異なる開口を通過するようになっていればよい。例えば、シャッタ部Ａは再結像レンズの光軸を中心とする所定領域に設定し、シャッタ部Ｂは再結像レンズの光軸から離れた位置を中心とする所定領域に設定してもよい。

図４は、シャッタの他の構成を示す図である。

光を遮断する回転板４００には、光軸を挟んで２つの絞り開口部４０１ａ、４０１ｂが設けられている。マスク板４０２は回転軸４０７を中心にして左右に回動し、絞り開口部４０１ａと絞り開口部４０１ｂを遮光する位置に選択的に移動する。そして絞り開口部４０１ａとマスク板４０２で図３のシャッタ部Ａを構成し、絞り開口部４０１ｂとマスク板４０２で図３のシャッタ部Ｂを構成する。

マスク板４０２の、回転軸４０７を挟んで回転板の絞り開口部４０１ａ，４０１ｂを遮光する部分と反対側の端部には永久磁石４０５ａと４０５ｂが取り付けられている。ここで４０５ａはＮ極、４０５ｂはＳ極とする。一方、撮像装置本体側にはソレノイド４０３ａと４０３ｂが固定されている。上記ソレノイド４０３ａと４０３ｂはそれぞれ吸着面４０４aと４０４ｂを有し、鉄心４０６ａ、４０６ｂを介して撮像装置本体に固定されている。

つぎに上記シャッタ１０２の動作を説明する。ソレノイド４０３ａ、４０３ｂに通電し、吸着面４０４ａ、４０４ｂがいずれもＳ極になるように通電すると、ソレノイド４０３ａとマスク板４０２は吸引し、ソレノイド４０３ｂとマスク板４０２は反発する。その結果、図４に示すようにマスク板４０２が左方向に回動することにより、撮影レンズを透過した光束は絞り開口部４０１ａを通過して撮像素子１０４の撮像面に導かれる。

一方ソレノイド４０３ａ、４０３ｂに通電し、吸着面４０４ａ、４０４ｂがいずれもＮ極になるように通電すると、ソレノイド４０３ａとマスク板４０２は反発し、ソレノイド４０３ｂとマスク板４０２は吸着する。その結果、図４とは逆に右方向にマスク板４０２が回動し、撮影レンズを透過した光束は絞り開口部４０１ｂを通過して撮像素子１０４の撮像面に導かれる。

図２に戻り、ハーフミラー２０１によって反射した被写体光束はピントグラス２０５に結像する。この結像した像はコンデンサーレンズ２０６によって集光されて、ペンタプリズム２０７、接眼レンズ２０８を介して撮影者の眼に導かれる。

ピントグラス２０５とコンデンサーレンズ２０６の間にはＬＣＤ１０９が介設されている。このＬＣＤ１０９には図５に示すように測距領域選択回路１１０により選択された測距領域４０９が表示され、上記測距領域４０９はピントグラス２０５に結像した被写体像にスーパーインポーズされる。

図６は、本発明の測距光学系の基本原理を説明する図である。図６の（ａ）において、撮影光学系２００を通過した被写体光束は１次結像面Ｏ１に結像する。ＰはＣＣＤ５の撮像面等価位置である。したがって図６の（ａ）はいわゆる前ピンの状態を示す。Ｐの近傍にはコンデンサーレンズ１０１が配置されている。コンデンサーレンズ１０１を透過した光束は光軸を挟む２つの開口部を選択的に透過し、図面上側の開口部を透過した光束と下側を透過した光束は再結像レンズ１０３により２次結像面Ｏ２に結像する。この場合、上記Ｏ２は、再結像レンズ１０３により結像した像を受ける位置に配置されたＣＣＤ１０４の前面に位置するので、上記シャッタ１０２の２つの開口部を透過した被写体光束による２つの像は上下にずれた像となる。図中、その２像の間隔はｚで表わされる。

図６の（ｂ）はＯ１が撮像面等価位置Ｐに一致する場合を示したものである。つまり撮影光学系２００による像のピントが合った状態である。このとき２次結像面Ｏ２はＣＣＤ１０４の撮像面に一致し、シャッタ１０２の２つの開口部を透過した被写体光束による２つの像も上下にずれることなく一致する。

図６の（ｃ）は図６の（ａ）とは逆にいわゆる後ピンの状態を示す。このとき上記シャッタ１０２の２つの開口部を透過した被写体光束による２つの像はＣＣＤ１０４の撮像面上で、図６の（ａ）の場合とは逆方向にずれる。

以上のことから、シャッタ１０２の２つの開口部を透過した被写体光束による２つの像のずれ方向とずれ量を演算することにより、撮影光学系２００のピントずれ（デフォーカス）量がわかる。

図７は、撮像装置の合焦動作の全体の流れを示すフローチャートである。

ステップＳ８００で、ＡＥ処理回路１３は、１フレーム（１画面）分の画像データの輝度値を算出する等して被写体の明るさに対応したＡＥ評価値を算出し、第２ＣＰＵ１５に出力する。ステップＳ８０１でレリーズスイッチの初段の第１のレリーズ（１ｓｔレリーズ）が行われたかどうかを判断し、それが行われるのを待つ待機状態となる。

ステップＳ８０１で１ｓｔレリーズが行われていれば、ステップＳ８０２において、第１ＣＰＵ１１３は、測距領域選択回路１１０により選択された測距領域の位置を読み込む。

つぎにステップＳ８０３で第１ＣＰＵ１１３は、この測距領域中の画像データについて位相差方式に基づきデフォーカス量を演算する。そしてステップＳ８０４においてデフォーカス量が予め決められた所定の値α以上のときは、ステップＳ８０５において第２ＣＰＵ１５は、位相差方式に基づきフォーカシングレンズ３を駆動する。すなわち、第２ＣＰＵ１５は第１ＣＰＵ１１３からＡＦ処理回路１０８で演算したデフォーカス量を受信し、このデフォーカス量に基づいて第２のモータドライブ回路１９を制御して第２のモータ２２を回転駆動して、フォーカシングレンズ３を駆動し、デフォーカス量が零になるようにフォーカシングレンズを駆動する。

つぎに、ステップＳ８０６において山登り方式に基づき所定の時間間隔で画像信号を読み出しながら画像信号に含まれる高周波信号成分が最大値になる位置にフォーカシングレンズ３を駆動する。すなわち、ＡＦ評価値を基に、第２のモータドライブ回路１９を制御して第２のモータ２２を回転駆動する。そして、ＡＦ処理回路１４からの新たなＡＦ評価値を得て、得られたＡＦ評価値により、更に第２ＣＰＵ１５はその値が最大となるレンズ位置にフォーカスレンズ３を駆動して、合焦状態に設定する。

このように最終的に山登り方式に基づきフォーカシングレンズ３を駆動するのは、デフォーカス量の演算とそのデフォーカス量からフォーカシングレンズ３の駆動量に変換する過程で多くの誤差要因が積算されるため、精度を確保するのが難しい一方、山登り方式は撮影に用いる画像信号そのもののピント状態を評価するものであるため、精度を確保するのが比較的容易なためである。

ステップＳ８０４でデフォーカス量がαよりも小さいときは、位相差方式に基づくフォーカシングレンズの駆動は行わず、ステップＳ８０６において山登り方式に基づくレンズ駆動を行う。

図８は、合焦動作を説明する図である。図８に記載された座標の縦軸は、合焦動作開始時（＝０秒）からの経過時間を示し、座標の横軸はレンズ位置（∞〜至近）を示している。

上述のようにデフォーカス量が所定量αよりも大きいときは、位相差方式による測距値に基づいてレンズを駆動する（０〜ｔ１間）。これにより、レンズを高速に合焦点近傍に駆動することができる。そしてその後は、山登り方式によるレンズ駆動が実行される（ｔ１〜ｔ２間）。これにより、高精度に焦点を合わすことができる。

つぎに、ステップＳ８０６で１ｓｔレリーズが解除されたかどうかを判断し、それが行われるのを待つ待機状態となる。１ｓｔレリーズが解除されていなければ、つぎにステップＳ８０８で、２ｎｄレリーズが行われたかどうかを判断し、２ｎｄレリーズ操作が行われていなければＪ８０１に分岐し、それが行われるのを待つ待機状態となる。ステップＳ８０８で２ｎｄレリーズ操作が行われていれば、つぎにステップＳ８０９で、第２ＣＰＵ１５はＡＥ評価値を基にオート露出制御を行い一連の撮影動作を終了する。

以上述べた本撮像装置の合焦動作は、位相差方式の高速性と山登り方式の高精度という両方のメリットを生かした方式である。

図９は、図７のステップＳ８０３に示すデフォーカス量演算の手順を示すフロー図である。

ステップＳ９０１において第１ＣＰＵ１１３はＬＣＤで構成されるシャッタ１０２を駆動し、図３に示すシャッタ部Ａを透過状態、シャッタ部Ｂを遮蔽の状態にする。つぎに、ステップＳ９０２においてシャッタ部Ａを透過した被写体光束による第１画像をＣＣＤ１０４で受光し、それによって生成された第１画像データをメモリ１０７の第１領域に記憶する。

つぎに、ステップＳ９０３において第１ＣＰＵ１１３は上記シャッタ１０２を駆動し、図３に示すシャッタ部Ｂを透過状態、シャッタ部Ａを遮蔽の状態にする。つぎに、ステップＳ９０４においてシャッタ部Ｂを透過した被写体光束による第２画像をＣＣＤ１０４で受光し、それによって生成された第２画像データをメモリ１０７の第２領域に記憶する。

つぎに、ステップＳ９０５において、第１画像と第２画像の明るさ分布を補正するために第１画像データと第２画像データとを後述する予めＥＥＰＲＯＭ２５に記憶されている補正データによって補正する。具体的には画素データをＥＥＰＲＯＭ２５に記憶された補正データである正規化データで除算して第１画像データと第２画像データを補正する。

つぎに、ステップＳ９０６においてデフォーカス量を求める。つぎにこのデフォーカス量の演算について詳細に説明する。

まず、上記デフォーカス量を求めるための相関演算の原理について説明する。

図１０に示すように、第１の画像データ中の所定範囲の画像データ（以下、「基準像データ」と言う。）について、基線長方向にｘ番目の画素の出力をＳ（ｘ）、第２の画像データ中の所定範囲の画像データ（以下、「参照像データ」と言う。）について、基線長方向にｙ番目の画像データの値をＣ（ｙ）とする。そして対応する画素データの値の差の絶対値の和をとり、これをＡとし、相関量とする。すなわちＡは式（１）で表わされる。

Ａ（ｍ）＝ Σ｜Ｓ（ｉ＋ｋ）−Ｃ（ｊ＋ｋ＋ｍ）｜ …… 式（１）
式（１）の変量はｋであり、Ａ（ｍ）はｋが０〜ｎの値をとるときの総和である。

ここでｉは基準像データの最初の画素の番号であり、ｊは参照像データの画素の最初の番号である。またｋは基準像データ、参照像データの最初の画素から数えてｋ番目の画素データを意味する。参照像データはｊ＋ｎに、さらに左右に±ｍ程度の余裕を見込む。

ここで、参照像データについているｍは第１ＣＰＵ１１３の内部で、基準像データ番号は固定し、参照像データの番号を１個ずつ送っていく操作のためにつけられている。そしてｍを順次１からｐまで変えながら上記相関量Ａを求め、相関量Ａが最小値をとるとき基準像データと参照像データの像が一致するものとして、基準像データと参照像データの像の相対的な距離を求めることができる。

上記相関量Ａ（ｍ）は最小１画素ごとの値であるため基準像データと参照像データに関する像の相対的な距離の精度も１画素が限界となる。そこで、図１１に示すように相関量Ａが最小値をとる前後の相関量の幾何学的な関係から補間により１画素ピッチ以下の高い精度の相対的な距離を求める。この補間によると経験的に１／１０画素以下の高い精度で基準部と参照部の像の相対的な距離を求めることが可能である。なお、上記補間演算は公知である。

次にデフォーカス量の算出方法について説明する。

１次結像面（撮像面）の許容錯乱円をδ、再結像レンズ１０３の倍率をβとすると、再結像レンズ１０３の後方に配置された位相差検出用の撮像素子１０４により許容錯乱円に相当する像を検出するに必要な画素のピッチＰは、Ｐ＝β・δで表わされる。上述の補間演算により上記ピッチＰをさらにＮ分割できるとすると、Ｐ＝Ｎ・β・δで表わされる。仮にβ＝０．５、δ＝２０μｍ、Ｎ＝２０とするとＰ＝２００μｍとなる。撮像素子１０４として汎用のエリアＣＣＤを用いたとすると画素サイズは１０μｍ角程度であるので、撮像素子１０４の画素ピッチをそのまま用いて、上記相関演算を行うと過剰な精度になるとともに、演算量も多くなる。

そこで、第１画像データの中から、図７のステップＳ８０２で読み込んだ測距領域の所定範囲の画像データ（基準像データ）を読み出して、画素データを水平方向及び垂直方向に複数合成して仮想的に求めたもの（以下「仮想画素」という。）を、基準像データを構成する１つの画素とする。図１２は、仮想画素の構成を示す図である。そして、仮想画素を基線長方向に複数配列してラインセンサーを構成する。このラインセンサーの所定範囲の画像データが上述の基準像データに相当する。

つぎに同様にして第２画像データの中から、上記基準像データと同じ画像データの存在する可能性のある所定範囲の画像データの中から、基線長方向に上記基準像と同じ幅の画像データ（参照像データ）を読み出す。図１３の（ａ）には測距領域と基準像データを、図１３の（ｂ）には参照像データを示す。

そして、このようにして求めた参照像データを基線長方向にシフトしながら上述の相関演算を行うことにより、基準像データと一致する参照像データの位置を求める。これにより基準像データと参照像データに関する像の相対的な距離、すなわち２像のずれ量が求まる。図６で説明したように、このずれ量は撮像面とフォーカシングレンズのピント位置との差であるデフォーカス量に相応した値となるので、上記ずれ量からデフォーカス量を求めることができる。

図１４は、ずれ量とデフォーカス量との対応を示す図である。

２つの主光線の傾きα、デフォーカス量ｄ、ＣＣＤ１０４上の撮像面での２像の間隔Ｚ、再結像レンズ１０３の倍率βを用いると、撮像面Ｐ上の結像のずれ量が再結像レンズ１０３によってＣＣＤ１０４上の撮像面に結像されるため式（２）の関係が成立する。

Ｚ＝２βｄｔａｎ（α／２） …式（２）
この式より、デフォーカス量ｄは式（３）で求められる。

ｄ＝Ｚ／｛２βｔａｎ（α／２）｝ …式（３）
なお、上記ずれ量とデフォーカス量の関係は予めＥＥＰＲＯＭ２５にテーブル表として記憶しておき、このテーブル表を参照することによりずれ量からデフォーカス量を求めてもよい。

図１５は、図７のステップＳ８０９に示す撮影の手順を示すフロー図である。

ステップＳ１００１において、第２ＣＰＵ１５はＡＥ評価値を基にＣＣＤ５の露光制御を実行する。露光時間の制御においては、撮像素子自体の電荷駆動動作による電子シャッタと実際に遮光動作を行う機械的シャッタ（不図示）とが併用される。ステップＳ１００２において、ＣＣＤ５により撮像された主画像データが記録用メモリ１２に記録される。

つぎに、ステップＳ１００３において、図７のステップＳ８０３に示す処理、すなわち図９のデフォーカス量演算の実行の過程で取り込まれた第１画像データと第２画像データが、記録用メモリ１２に主画像データと関連付けて記録される。そして、ステップＳ１００４で、撮影レンズの焦点距離ｆ、撮影レンズにより合焦している被写体の距離情報Ｌ０、再結像レンズ１０３の倍率β、及び再結像レンズ１０３に入射する２つの主光線の角度α（図１４参照）が、記録用メモリ１２に主画像データと関連付けて記録される。

以上の説明においては、ＣＣＤ１０４のすべての画像データを読み出してメモリ１０７に記憶した後に、上記メモリ１０７の中から基準像データ、又は参照像データを読み出したが、撮像素子として特定の画素データにアクセスして、画素単位で画像データを読み出し可能なＭＯＳ型の撮像素子を用いて、撮像素子から直接基準像データ、又は参照像データを読み出すようにしてもよい。

ところで上述の相関演算により正確な２像のずれ量を求めるための前提条件として、シャッタ１０２の左右の開口部を透過した光束による第１画像と第２画像のＣＣＤ１０４の撮像面での明るさ分布が同一になっていることが必要である。

そこで撮像装置１の製造時に上記２つの像の明るさ分布を予めＥＥＰＲＯＭ２５に記憶しておき、実際の撮影時に上記ＥＥＰＲＯＭ２５に記憶した補正情報に基づいて、上記２つの像の明るさ分布を補正して、正確な２つの像のずれ量を求めようというものである。

図１６は、撮像装置の製造時に上記ＥＥＰＲＯＭ２５に上記データを書き込むシステムの構成を示す図である。書き込み装置１２０１から撮像装置１の第１ＣＰＵ１１３と第２ＣＰＵ１５に所定の信号が送られると、第１ＣＰＵ１１３と第２ＣＰＵ１５は上記ＥＥＰＲＯＭ２５にデータを書き込むための動作を実行する。

図１７は、ＥＥＰＲＯＭ２５への書き込み動作を示すフロー図である。

ステップＳ１３０１において、書き込み装置１２０１により撮像装置１をＥＥＰＲＯＭ２５の書き込みモードに設定する。

ステップＳ１３０２において、第１ＣＰＵ１１３はＬＣＤで構成されるシャッタ１０２を駆動し、図３に示すシャッタ部Ａを透過状態、シャッタ部Ｂを遮蔽の状態にすることにより、シャッタ部Ａを透過した第１光束をＣＣＤ１０４で受光する。つぎに、ステップＳ１３０３においてＣＣＤ１０４の出力信号である第１画像データをメモリ１０７の第１領域に記憶する。

ステップＳ１３０４において、第１ＣＰＵ１１３はＬＣＤで構成されるシャッタ１０２を駆動し、図３に示すシャッタ部Ｂを透過状態、シャッタ部Ａを遮蔽の状態にすることにより、シャッタ部Ｂを透過した第２光束をＣＣＤ１０４で受光する。つぎに、ステップＳ１３０５においてＣＣＤ１０４の出力信号である第２画像データをメモリ１０７の第２領域に記憶する。

次にステップＳ１３０６において、上記第１画像データ及び上記第２画像データの中の画像データの最大値を検出し、この最大値で他のすべての画素データを除算し、ステップＳ１３０７において除算した各々の値（正規化データ）をＥＥＰＲＯＭ２５に記憶する。この正規化したデータで撮像素子１０４で撮像した第１画像データと第２画像データを除算することにより明るさの補正を行う。なお、上記補正データを正規化するのは、補正後のデータと通常の画像データのレベルをほぼ同じレベルに合わせるためである。

なお、すべての画素に対応する正規化データを記憶するとＥＥＰＲＯＭ２５の容量が大きくなるので、離散的に正規化データを記憶して、この正規化データを用いて離散的に補正し、画素の離散的な補正データから補間によりすべての画素の正規化データを求めるようにしてもよい。

また、本実施の形態では、第１ＣＰＵ１１３と第２ＣＰＵ１５が撮像装置１の機能を分担しているが、撮像装置１を１つのＣＰＵで制御するように構成しても良い。

〔本実施の形態の撮像装置の特徴〕
以上説明したように、本実施の形態では撮影レンズにより結像した像を再結像し、この像に基づいて焦点状態を検出するので、撮影レンズの特性に依存しないで焦点状態を検出することが可能となる。

また、本実施の形態では再結像レンズの少なくとも２つの同一でない領域を通過する光束を選択的に通過させるシャッタ１０２を設け、更にシャッタ１０２を透過した時分割された光束を一つの撮像素子１０４上に結像させるようにしている点に特徴を有している。

従来技術においては、本実施の形態のシャッタ１０２の代わりに２枚のレンズを配置し、それぞれのレンズを透過した光束をそれぞれの撮像素子上に結像させている。

従って、従来技術では、２つの結像を同時に２つの撮像素子上に生成する関係で２つの光の相互の干渉をさけるため、測距可能な範囲を余り広くできないなどの設計上の制約があった。

また、従来技術では、撮像素子上に同時に２つの像を結像させるため、偏芯光学系を用いることなり、像には偏芯に伴う歪が生じたものとなって焦点検出精度が低下しあるいは合焦精度に制約が生ずることとなった。

これに対し、本実施の形態では撮像素子上に時分割的に結像するため、偏芯光学系を用いることがなく、像の歪を少なくすることができる。従って、被写体の広い領域において焦点検出精度を向上させることができる。また、この効果として、撮像素子１０４の撮像をそのまま表示することも可能であり、またその撮像を画像解析に使用することもできる。

また、本実施の形態では撮像素子上に時分割的に結像するため、２つの光の相互の干渉が生じることがなく、各々の光束を広く取ることができるため、被写体の広い領域において焦点検出が可能となる。

更に本実施の形態では、従来のいわゆる位相差式光学システムとは異なり撮像手段上での受光位置を分離させる必要がなく、撮像手段は実質的に汎用の１つのエリアセンサーでよいのでコストを低減できる。

また、他の従来技術では、撮影レンズの光軸中に焦点検出用の絞り板を設けているのに対して、本実施の形態では、撮影レンズの光軸をミラーによって反射させた光軸、言い換えれば撮影レンズの光軸と実質同一の光軸をもつ再結像光学系の光軸中にシャッタ手段を設けている。このため、従来技術での課題であるレンズ互換性の制約、撮影操作の妨げを解決することができる。

［再生装置の実施の形態］
次に本発明に係る再生装置の実施の形態について説明する。本実施の形態の再生装置は、上述の撮像装置に組み込まれ、被写体までの距離を演算して表示する。従って、撮像装置の実施の形態と同一の部位には同一の符号を付してその詳細の説明を省略する。

本実施の形態の再生装置は、上述の撮像装置により撮影され記録された主画像データ、主画像の深度情報を含む第１画像データと第２画像データ、及び被写体までの距離を求めるに必要な付属情報に基づいて、主画像の任意の領域までの距離を演算してその結果を表示する。

図１８は、再生装置の動作の流れを示すフローチャートである。

ＬＣＤ１０には撮影された複数の主画像に対応した複数の縮小画像が表示される。図１９に示すＬＣＤ画面の上部にはこの複数の縮小画像を示している。ステップＳ１５０１において、撮影者は操作ＳＷ２４を操作してこの中から１つの主画像を選択する。

つぎにステップＳ１５０２において、第２ＣＰＵ１５は、新たな主画像が選択されたかどうか、即ち画面を更新するべきかどうかを判断する。更新するべきと判断すると、つぎにステップＳ１５０３〜Ｓ１５０４において記録用メモリ１２から主画像データを読み出し、圧縮／伸張回路１１で伸張し、ＬＣＤ１０に拡大画像を表示する。図１９の中央部にはこの拡大された画像が表示されている。

続いて、ステップＳ１５０５において、第２ＣＰＵ１５は、撮影者が選択した拡大表示画像中の測距領域を読込む。図１９にはこの測距領域が枠として示されている。この測距領域は撮影者が操作ＳＷ２４を操作することにより任意の位置に移動することが可能であり、また枠の大きさも調整が可能となっている。

なお、ステップＳ１５０２において、撮影者が新たな主画像を選択していないため第２ＣＰＵ１５が画像の更新が不要と判断したときは、ステップＳ１５０５に分岐して、撮影者が選択した拡大表示画像中の測距領域の読み込みを行う。

つぎにステップＳ１５０６において、撮影者が操作ＳＷ２４を操作して測距領域を変更することによる測距領域の更新が行われたかを判断し、更新された場合は、ステップＳ１５０７において、更新された測距領域を表示する。そしてステップＳ１５０８において、測距領域内の被写体までの距離を演算する測距処理を実行する。この測距の手順については図２０を参照して後で詳述する。

ステップＳ１５０９において、測距処理の結果得られた、測距領域内の被写体までの距離をＬＣＤ１０に表示する。図１９の右下には測距領域内の被写体までの距離が２００ｍであることが表示されている。

つぎにステップＳ１５１０において、撮影者が操作ＳＷ２４を操作して再生モードを終了させる指示を出したかどうかを判断し、終了指示が出されていなければＪ１５０１に分岐し以上の動作を繰り返す。

図２０は、測距の手順を示すフロー図である。

ステップＳ１６０１において、第２ＣＰＵ１５は、選択された主画像に対応する第１画像データと第２画像データを記録用メモリ１２から読み出す。この２つの画像データは、異なる２つの瞳を通過した光束を受光して撮像素子１０４が生成したものである。ステップＳ１６０２で、読み出した第１画像データと第２画像データを圧縮／伸張回路１１で伸張する。この伸張した画像データを同じく第１画像データ、第２画像データと称する。

ステップＳ１６０３で、同様にして記録用メモリ１２から、撮影レンズの焦点距離ｆ、撮影レンズにより合焦している被写体の距離情報Ｌ０、再結像レンズ１０３の倍率β、及び再結像レンズ１０３に入射する２つの主光線の角度αを読み出す。

続いて、ステップＳ１６０４において第１画像データと第２画像データとから測距領域に対応する画像データを読み出して、式（３）を用いてデフォーカス量ｄを演算する。そして、ステップＳ１６０５において、デフォーカス量ｄに基づいて被写体までの距離Ｌを求める。Ｌは式（４）で求めることができる。

Ｌ＝ｆ・（Ｌ０−ｄ＋Ｌ０・ｄ／ｆ）／（ｆ−ｄ＋Ｌ０・ｄ／ｆ） …式（４）
以上の手順により、測距領域内の被写体までの距離を求めることができる。

なお、本実施の形態では、再生装置として撮像装置１の再生機能を利用しているが、この形態に限定されず、記録用メモリ１２を着脱可能なカードメモリなどで構成しても良い。そしてその記録用メモリ１２を撮像装置１から取り外して、再生専用の再生装置により再生を行ってもよい。

また本実施の形態では、基線長の異なる２つの瞳を通過した光束に基づいて第１画像データと第２画像データを得ている。そこで、この得られた基線長の異なる２つの画像データを利用してＬＣＤ１０に３次元表示を行うことも可能である。

本撮像装置は、上述の（本実施の形態の撮像装置の特徴）で述べたように、撮像素子上に時分割的に結像するため、偏芯光学系を用いることがなく、像の歪を少なくすることができる。従って、この効果として、高精度の画像が得られるため３次元表示を行うことも可能となる。

［効果］
以上説明した各実施の形態の撮像装置、及び再生装置によれば、被写体のすべての領域の距離を得るために膨大で複雑な演算を行う必要がない。主画像データの中の被写体の距離情報を含む第１画像データ及び第２画像データを主画像データと関連付けて記憶しているため、画像の中から任意の被写体を選択してその被写体までの距離を簡単に知ることができる。

また、主画像データ、第１画像データ及び第２画像データはいずれも共通の撮影レンズを透過した光束に基づいて得られた画像データであるので装置の構成が簡単になる。

さらに、着脱可能なカードメモリなどで記録用メモリ１２を構成すれば、その記録用メモリ１２を撮像装置１から取り外して、撮影後に専用の画像処理装置を用いて、被写体の任意の位置までの絶対的な距離を演算することが可能となるなど、簡便な取り扱いが期待できる。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明に係る撮像装置の構成を示す図。 焦点検出装置の構成を示す図。 シャッタの構成を示す図。 シャッタの他の構成を示す図。 測距領域選択回路により選択された測距領域を示す図。 測距光学系の基本原理を説明する図。 撮像装置の合焦動作の全体の流れを示すフローチャート。 合焦動作を説明する図。 デフォーカス量演算の手順を示すフロー図。 基準像データと参照像データを示す図。 補間演算を示す図。 仮想画素の構成を示す図。 測距領域と基準像データ及び参照像データを示す図。 ずれ量とデフォーカス量との対応を示す図。 撮影の手順を示すフロー図。 撮像装置の製造時にＥＥＰＲＯＭ２５にデータを書き込むシステムの構成を示す図。 ＥＥＰＲＯＭへの書き込み動作を示すフロー図。 再生装置の動作の流れを示すフローチャート。 ＬＣＤ画面を示す図。 測距の手順を示すフロー図。

符号の説明

１…撮像装置、３…フォーカスレンズ、４…絞り、５…ＣＣＤ、６…撮像回路、１０…ＬＣＤ、１２…記録用メモリ、１４…ＡＦ処理回路、１５…第２ＣＰＵ、２５…ＥＥＰＲＯＭ、１０１…コンデンサレンズ、１０２…シャッタ、１０３…再結像レンズ、１０４…撮像素子、１０５…撮像回路、１０８…ＡＦ処理回路、１１０…測距領域選択回路、１１３…第１ＣＰＵ、２００…撮影光学系。

Claims (6)

1. 撮影レンズと、
   上記撮影レンズの射出瞳を通過する光束に基づく像を光電変換する第１撮像素子と、
   上記第１撮像素子の出力信号をもとに主画像データを生成する第１信号処理手段と、
   上記撮影レンズの射出瞳を異なる２つの第１領域と第２領域に分割し、上記分割した第１領域と第２領域を通過する２つの光束に基づく第１像及び第２像を形成する再結像光学系と、
   上記第１像及び第２像を光電変換する第２撮像素子と、
   上記第２撮像素子の出力信号をもとに上記第１像に対応する第１画像データと、上記第２像に対応する第２画像データを生成する第２信号処理手段と、
   上記第１画像データと上記第２画像データを上記主画像データと関連付けて記録する記録手段と、
   を有することを特徴とする撮像装置。
2. 上記第１像と上記第２像の相対的なずれ量から被写体までの距離を求めるための付属情報を、上記主画像データと関連付けて上記記録手段に記録することを特徴とする請求項１に記載の撮像装置。
3. 上記付属情報は、撮影レンズの焦点距離、上記撮影レンズにより合焦している被写体の距離情報、上記再結像レンズの倍率情報、及び上記再結像レンズに入射する主光線の傾きに関する情報を含むことを特徴とする請求項２に記載の撮像装置。
4. 上記第１撮像素子の画素数は上記第２撮像素子の画素数に比べて画素数が多いことを特徴とする請求項１に記載の撮像装置。
5. 上記再結像光学系は、
   コンデンサーレンズと、上記コンデンサーレンズの後方に配置された上記撮影レンズにより結像した像を再結像させるための再結像レンズと、上記再結像レンズの少なくとも２つの同一でない領域を通過する光束を選択的に通過させるシャッタ手段と、
   を有することを特徴とする請求項１に記載の撮像装置。
6. 主画像と、基線長の異なる２つの光路を介して撮像された第１画像と第２画像が関連付けられて記録された記録媒体と、
   上記記録媒体から上記主画像を読み出して表示する第１表示手段と、
   上記第１表示手段に表示されている主画像の中から所定の被写体を選択する選択手段と、
   上記第１画像及び第２画像の中から、上記所定の被写体に対応する２つの画像を読み出して相対的なずれ量を求め、上記ずれ量に基づいて上記所定の被写体までの距離を演算する演算手段とを備え、
   上記第１表示手段は、上記演算手段により演算した距離を表示することを特徴とする再生装置。

Images