JP2017126916A - 撮像装置 - Google Patents

Abstract

【課題】複数の視差画像ごとに露光処理、現像処理の補正値が必要となるため、デジタルカメラの電源をＯＮしてから撮影が開始できるまで多くの時間を有してしまう。【解決手段】マイクロレンズを有する画素に配置された複数の光電変換領域を有する撮像素子と、前記撮像素子から出力される画像信号から左目画像、右目画像、合成画像を生成する画像合成装置と、片目画像、両目画像からを内包する静止画ファイルを生成する撮像装置において、両目画像用の補正値が読み出し完了したタイミングで撮影を許可し、ユーザの撮影タイミングが片目画像用の補正値の読み出し前であった場合、一旦メモリ部に片目画像データを保持しておき、補正値の読み出しが完了したのち、各種補正処理を行い静止画ファイルを生成することを特徴とする。【選択図】図５

Description

本発明は、撮像装置に関し、特に撮像信号の記録に関する。

撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。

特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部で受光したそれぞれの信号から、分割された瞳部分領域に応じた複数の視差画像を生成することができる。

特許文献２には、分割された光電変換部で受光した信号を、全て加算することにより撮像画像を生成することが開示されている。撮影された複数の視差信号は、光強度の空間分布および角度分布情報であるＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データと等価である。

非特許文献１には、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。

米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報

Stanford Tech Report CTSR 2005-02,1(2005)

しかしながら、上述の特許文献に開示された従来技術では、複数の視差画像ごとに異なる露光処理、現像処理の補正値が必要となる。そのためデジタルカメラの電源をＯＮしてから撮影が開始できるまで多くの時間を有してしまう。

そこで、本発明の目的は、複数の視差画像を有する場合でも通常と同じタイミングで撮影を可能にすることを可能にした撮像装置を提供することにある。

上記の目的を達成するために、本発明に係る撮像装置は、
マイクロレンズを有する画素に配置された複数の光電変換領域を有する撮像素子と、
前記撮像素子から出力される画像信号から左目画像、右目画像、合成画像を生成する画像合成装置と、
片目画像、両目画像からを内包する静止画ファイルを生成する撮像装置において、
両目画像用の補正値が読み出し完了したタイミングで撮影を許可し、ユーザの撮影タイミングが片目画像用の補正値の読み出し前であった場合、一旦メモリ部に片目画像データを保持しておき、補正値の読み出しが完了したのち、各種補正処理を行い静止画ファイルを生成することを特徴とする。

本発明によれば、複数の視差画像を有する撮影処理においても通常の撮影と同じタイミングで撮影が可能となる撮像装置を提供することができる。

本発明の実施形態の撮像素子の全体構成を概略的に示す図である。 本発明の実施形態の撮像素子の１画素の構成の概略を示す図である。 本発明の実施形態の撮像素子の画素アレイを概略的に示す図である。 物体の結像関係を模式的に示す図である。 本発明の撮像装置の概略を示す図である。 第１の実施形態におけるデジタルカメラの起動処理の一例を説明するフローチャートである。 第１の実施形態における撮影処理の一例を説明するフローチャートである。 第２の実施形態における撮影処理の一例を説明するフローチャートである。 第２の実施形態における撮影処理の一例を説明するフローチャートである。 第２の実施形態における撮影処理の一例を説明するフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。

図１は本発明で使用する撮像素子の概略を示す図である。

図１において、撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２、画素アレイ１０１における列を選択する水平選択回路１０４を含む。また、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す読み出し回路１０３、各回路の動作モードなどを外部から決定するためのシリアルインターフェイス１０５を含んで構成されうる。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。なお、撮像素子１００は、図示された構成要素以外にも、例えば、垂直選択回路１０２、水平選択回路１０４、信号読み出し部１０３等にタイミングを提供するタイミングジェネレータ或いは制御回路等を備える。

典型的には、垂直選択回路１０２は、画素アレイ１０１の複数の行を順に選択し読み出し回路１０３に読み出す。水平選択回路１０４は、読み出し回路１０３に読みだされた複数の画素信号を列毎に順に選択する。

図２は本発明で使用する撮像素子１００の１画素の構成の概略を示す図である。

２０１は画素を表す。一つの画素は、マイクロレンズ２０２を有する。また、一つの画素は、フォトダイオード（以下ＰＤ）を複数有する。図２においては、左側のＰＤ２０３と右側のＰＤ２０４の２つ有しているが、２つ以上であればいくつでもよく、例えば、４つのＰＤ、９つのＰＤなどでもよい。なお、画素は、図示された構成要素以外にも、例えば、ＰＤの信号を列読み出し回路１０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。

図３は画素アレイ１０１を表す図である。

画素アレイ１０１は、２次元の画像を提供するために、図２で示すような画素を複数２次元アレイ状に配列して構成される。３０１、３０２、３０３、３０４は画素である。３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌが図２で示すところのＰＤ２０３であり、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒが図２で示すところのＰＤ２０４である。

図３のような画素構成を有する撮像素子１００における受光の様子について、図４を用いて説明する。

図４は撮影レンズの射出瞳から出た光束が撮像素子１００に入射する概念図である。

４０１は画素アレイの断面を示す。４０２はマイクロレンズであり、４０３はカラーフィルターであり、４０４、４０５はフォトダイオードである。ＰＤ４０４、ＰＤ４０５が各々図２で示すところの、ＰＤ２０３、ＰＤ２０４である。４０６は撮影レンズの射出瞳を示す。ここでは、マイクロレンズ４０２を有する画素に対して、射出瞳から出た光束の中心を光軸４０９とする。

射出瞳から出た光は、光軸４０９を中心として撮像素子１００に入射される。４０７、４０８は撮影レンズの射出瞳の一部領域を表す。射出瞳の一部領域４０７を通過する光の最外周の光線を４１０、４１１で示し、射出瞳の一部領域４０８を通過する光の最外周の光線を４１２、４１３で示す。この図からわかるように、射出瞳から出る光束のうち、光軸４０９を境にして、上側の光束はＰＤ４０５に入射され、下側の光束はＰＤ４０４に入射される。つまり、ＰＤ４０４とＰＤ４０５は各々、撮影レンズの射出瞳の別の領域の光を受光している。

この射出瞳の別の領域の光を受光しているので、点光源からの光がボケたように撮影される状況では、ボケ画像が異なった形状の画像が撮影される理由となる。

図５に基づいて、上記で説明した実施の撮像素子を撮像装置であるデジタルカメラに適用した場合の一実施例について詳述する。

図５において、５０１は被写体の光学像を撮像素子５０５に結像させるレンズ部で、レンズ駆動装置５０２によってズーム制御、フォーカス制御、絞り制御などがおこなわれる。５０３はメカニカルシャッターでシャッター制御手段５０４によって制御される。５０５はレンズ部５０１で結像された被写体を画像信号として取り込むための撮像素子、５０６は固体撮像素子５０５より出力される画像信号に各種の補正を行ったり、所定の画素補間処理や色変換処理を行う。

５０７は固体撮像素子５０５、撮像信号処理回路５０６に、各種タイミング信号を出力する駆動手段であるタイミング発生回路、５０９は各種演算と撮像装置全体を制御する制御回路、５０８は画像データを一時的に記憶する為のメモリ、５１０は記録媒体に記録または読み出しを行うためのインターフェース、５１１は画像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体、５１２はユーザがデジタルカメラに対して、操作を行うための外部Ｉ／Ｆ部５１２である。

５１４は記憶した画像データを所定の画像圧縮方法（例えば、適応離散コサイン変換（ＡＤＣＴ）等）に従って例えばＪＰＥＧデータに画像圧縮し、画像圧縮された画像データをメモリ部５０８に書き込む機能、及びメモリ５０８から読み出した画像データを伸長し、伸長した画像データをメモリ部５０８に書き込む機能を有する圧縮伸長部である。

５１５は各種情報や撮影画像を表示する表示部で、５１６は表示部５１５を制御するための表示制御回路である。表示制御回路５１６では本実施例の特徴である後述する平面画像として画像データを表示するための表示制御や、立体画像として画像データを表示するための表示制御を行う。

次に、前述の構成における撮影時のデジタルカメラの動作について説明する。

メイン電源がオンされると、コントロール系の電源がオンし、更に撮像信号処理回路５０６などの撮像系回路の電源がオンされる。

それから、外部Ｉ／Ｆ部５１２にある図示しないレリーズボタンが押されると、撮像素子からのデータを元に測距演算を行い、測距結果に基づいて被写体までの距離の演算を制御回路５０９で行う。その後、レンズ駆動装置５０２によりレンズ部を駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズ部を駆動し測距を行う。測距演算は、撮像素子からのデータで求める以外にも、図示しない測距専用装置で行ってもよい。

そして、合焦が確認された後に撮影動作が開始する。撮影動作が終了すると、固体撮像素子５０５から出力された画像信号は撮影信号処理回路５０６で画像処理をされ、制御回路５０９によりメモリに書き込まれる。固体撮像素子から出力される画像データは、ＰＤからの全ての画像信号が出力される。図３を例とすると、３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４ＲとＰＤからの画像信号が順番に、そして全てのＰＤの画像信号が出力される。

撮影信号処理回路では、固体撮像素子から読み出された画像データを左目画像データと右目画像データに分けて画像処理を行う。左目画像とは図３における３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌという左ＰＤ出力のみを選択的に処理した画像となる。また、右目画像は、図３における３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒという右ＰＤ出力のみを選択的に処理した画像となる。左目画像も右目画像も別々にメモリ５０８に保持される。

メモリ５０８に蓄積された左目画像と右目画像は、画像合成回路５１３により、合成画像が生成される。生成された合成画像はメモリ５０８に蓄積される。

画像合成回路５１３によって実行される画像処理は左目画像と右目画像の画素毎の加算平均値を求める処理である。固定撮像素子から読み出された画像データが、左目画像と右目画像とでは被写体の形状が異なって撮影されても、画像合成回路による処理によって、被写体の形状が補間されて、正しい形状の画像データが生成される。

リフォーカス演算部５１７は、全体制御部５０９の指示に従って、多視点画像データからリフォーカス画像データを生成する。ここで、多視点画像データからリフォーカス画像データを生成する概要を説明する。ライトフィールドフォトグラフィでは、多視点画像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド、以下、「ＬＦ」という。）を計算する。そして、得られたＬＦの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、所定の対象に合焦した合成画像データであるリフォーカス画像データを生成することが可能となる。なお、リフォーカス処理は本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。生成されたリフォーカス画像データは、メモリ部５０８や、記録媒体５１１などへ格納される。

５１８は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

以下、図６、図７を参照して、本発明の第１の実施例による、片目画像用の補正値を読み出す前にレリーズを可能にする制御について説明する。

まず、装置の主電源をＯＮにすると、装置の所定の初期化動作が行われる（Ｓ６０１）。次に不揮発性メモリ５１８に記録されている両目画像用の補正値を読み出す。これにより撮像素子５０５から出力された両目画像データに対し補正処理を施し、表示部５１５に画像を出力する準備が整うため、ユーザに対し撮影開始を許可することが可能となる（Ｓ６０３）。次に片目画像用の補正値を不揮発性メモリ５１８から読み出す。これにより撮像素子から出力された片目画像データに対し補正処理を施すことができるようになる。

全体制御・演算部５０９は次のような撮影処理を行う。まず、撮像素子５０５から両目画像データ、片目画像データを読み出す（Ｓ７０１）。読み出した両目画像データをＳ６０２で読み出した両目画像用の補正値をもちい撮像信号処理回路５０６において補正処理を行い、メモリ部５０８に撮影した画像データを書き込む露光処理を行う。また、必要に応じて撮像信号処理回路５０６を用いて、メモリ部５０８に書き込まれた画像データを読み出して各種処理を行う現像処理を行う。

全体制御・演算部５０９は、メモリ部５０８の所定領域へ書き込まれた画像データの一部を読み出して、現像処理を行うために必要なＷＢ（ホワイトバランス）積分演算処理、ＯＢ（オプティカルブラック）積分演算処理を行う。そして演算結果をメモリ部５０８に記録する。そして、全体制御・演算部５０９は、撮像信号処理回路５０６を用いて、メモリ部５０８の所定領域に書き込まれた撮影画像データを読み出す。そして、全体制御・演算部５０９はメモリ部５０８に記録した演算結果を用いて、ＡＷＢ（オートホワイトバランス）処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う（Ｓ７０３）。

現像処理（Ｓ７０３）を終えたなら、全体制御・演算部５０９はメモリ部５０８に書き込まれた画像データに対し、圧縮伸長回路５１４を用いてサムネイル画像やクイックレビュー表示用の低解像度の画像データを生成する（Ｓ７０４）。この低解像度の画像データを圧縮伸長回路５１４を用いて表示用画像サイズにリサイズし、メモリ部５０８に記録するとともに、表示制御回路５１６を介して表示部５１５に表示する、クイックレビュー表示を行う（Ｓ７０５）。

次に全体制御・演算部５０９は、Ｓ６０４において片目画像用の補正値が読み出されているかを確認し（Ｓ７０６）、読み出しが完了していると判断した場合は、片目画像データに対しＳ７０２、Ｓ７０３両目画像データで実施した露光処理、現像処理を実施する（Ｓ７０７、Ｓ７０８）。全体制御・演算部５０９は、Ｓ７０４で生成した低解像度画像データから圧縮伸長回路５１４を用いてサムネイル画像を生成し、画像データに付与して記録する。全体制御・演算部５０９は、メモリ部５０８の画像記録バッファ領域に記録した画像データを読み出す。そして、記録媒体制御Ｉ／Ｆ部５１０を介して、メモリカードやコンパクトフラッシュ（登録商標）カードなどの記録媒体５１１へ書き込みを行う（Ｓ７１０）。

Ｓ７０６において片目画像用の補正値が読み出されているかを確認し、読み出しが完了していないと判断した場合は、片目画像用に対し補正処理を行わずにメモリ部５０８に書き込む（Ｓ７１１）。全体制御・演算部５０９は、Ｓ６０４において片目画像用の補正値が読み出し完了となるまで待つ（Ｓ７０２）。Ｓ６０４において片目画像用の補正値が読み出し完了となった場合、全体制御・演算部５０９は、メモリ部５０８に一旦保存した片目画像用のデータを読み出し、Ｓ７０７，Ｓ７０８において露光処理、現像処理を行い静止画ファイルを生成（Ｓ７０９）し、記録媒体５１１へ書き込みを行う。

以上のように、本実施例に対応する発明は、両目画像用の補正値を読み出したタイミングで撮影を可能にできることで、デジタルカメラの起動開始からの撮影開始処理を短くすることができる。

以下、図８、図９、図１０を参照して、本発明の第２の実施例による、片目画像用の補正値を読み出す前にレリーズを可能にする制御について説明する。

まず、Ｓ８０１からＳ８０５において実施例１で説明したＳ７０１からＳ７０５を実施し、両目画像データに対し、露光処理、現像処理、クイックビュー表示処理を行う。

Ｓ８０６において片目画像用の補正値が読み出されていないと判断した場合、片目画像データに対し、露光処理、現像処理を行わずに、メモリ部５０８に記録する。全体制御・演算部５０９は、実施例１で説明したＳ７０９、Ｓ７１０と同様の処理を実行し静止画ファイルを記録媒体５１１に記録する。このとき記録媒体５１１に記録される画像ファイル内の片目画像データは露光処理、現像処理を施していない画像データとなっている。

次に図９を用いてＳ６０４において片目画像用の補正値が読み出されたときに片目画像データに対し補正処理を行う制御を説明する。

まずＳ８１０において記録媒体５１１に保存した画像ファイルから片目画像データを記録媒体制御Ｉ／Ｆ部５１０を介してメモリ部５０８に書き込む（Ｓ９０１）。読み出した片目画像データに対し、Ｓ９０２、Ｓ９０３において露光処理、現像処理を施し、補正処理の施された片目画像データをメモリ部５０８に書き込む。最後に記録媒体５１１に保存した画像ファイル内の片目画像データをメモリ部５０８の片目画像データに置き換える。

次に図１０を用いてＳ６０４において片目画像用の補正値が読み出されたときに静止画ファイルに対し片目画像用の補正値を付与する制御を説明する。

まずＳ８１０において記録媒体５１１に保存した画像ファイルを記録媒体制御Ｉ／Ｆ部５１０を介してメモリ部５０８に書き込む（Ｓ１００１）。読み出した画像ファイルに対し片目画像用の補正値を付加する（Ｓ１００２）。生成した補正値付きの画像ファイルを記録媒体５１１へ書き込みを行う。

以上のように、本実施例に対応する発明は、撮影されたタイミングで片目画像用の補正値が読み出されていない場合、一度記録媒体５１１への書き込みを行うことでメモリ部５０８の画像データを削除することができ、次の撮影を継続して行うことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

５０１ レンズ部、５０２ レンズ駆動装置、５０３ シャッタ、
５０４ シャッタ駆動回路、５０５ 撮像素子、５０６ 撮像信号処理回路、
５０７ タイミング発生部、５０８ メモリ部、５０９ 全体制御・演算部、
５１０ 記録媒体制御Ｉ／Ｆ部、５１１ 記録媒体、５１２ 外部Ｉ／Ｆ部、
５１３ 画像合成回路、５１４ 圧縮伸張回路、５１５ 表示部、
５１６ 表示制御回路、５１７ リフォーカス演算部、５１８ 不揮発性メモリ

Claims (3)

1. マイクロレンズを有する画素に配置された複数の光電変換領域を有する撮像素子（５０５）と、
   前記撮像素子から出力される画像信号から左目画像、右目画像、合成画像を生成する画像合成装置（５１３）と、
   片目画像、両目画像からを内包する静止画ファイルを生成する（５０９）撮像装置において、
   両目画像用の補正値が読み出し完了したタイミングで撮影を許可し、ユーザの撮影タイミングが片目画像用の補正値の読み出し前であった場合、一旦メモリ部５０８に片目画像データを保持しておき、補正値の読み出しが完了したのち、各種補正処理を行い静止画ファイルを生成して、記録媒体５１１に記録することを特徴とする撮像装置（５０９）。
2. ユーザの撮影タイミングが片目画像用の補正値の読み出し前であった場合、補正処理を施さない片目画像データを内包した静止画ファイルを記録媒体５１１に記録し、補正値の読み出しが完了したのち、記録媒体５１１から片目画像データを読み出し補正処理を行うことを特徴とする請求項１に記載の撮像装置（５０９）。
3. ユーザの撮影タイミングが片目画像用の補正値の読み出し前であった場合、補正処理を施さない片目画像データを内包した静止画ファイルを記録媒体５１１に記録し、補正値の読み出しが完了したのち、片目画像用の補正値を静止画ファイルに付与することを特徴とする請求項１に記載の撮像装置（５０９）。