JP2013081105A - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP2013081105A JP2013081105A JP2011220409A JP2011220409A JP2013081105A JP 2013081105 A JP2013081105 A JP 2013081105A JP 2011220409 A JP2011220409 A JP 2011220409A JP 2011220409 A JP2011220409 A JP 2011220409A JP 2013081105 A JP2013081105 A JP 2013081105A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- eye
- parallax map
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】画像ファイルに含まれる画像データと視差マップを用いて２次元表示でも立体視表示でも正しい被写体形状の画像再生が可能な撮像装置を提供する。
【解決手段】撮像素子５０５は、マイクロレンズを有する画素に配置された複数の光電変換部を備える。画像合成回路５１３は、撮像素子５０５から出力される複数の画像信号から左目用画像および右目用画像のデータを取得し、両データを加算合成して２次元表示用の合成画像データを生成する。視差マップ生成回路５１４は、左目用画像および右目用画像のデータから視差マップデータを生成する。システム制御部５０９は、画像ファイルを解析して画像再生を制御する。画像ファイルが合成画像データと視差マップを含む場合、合成画像データを用いて２次元表示での画像再生制御が行われ、合成画像データおよび視差マップから左目用画像および右目用画像のデータを生成して立体視表示での画像再生制御が行われる。
【選択図】図４
【解決手段】撮像素子５０５は、マイクロレンズを有する画素に配置された複数の光電変換部を備える。画像合成回路５１３は、撮像素子５０５から出力される複数の画像信号から左目用画像および右目用画像のデータを取得し、両データを加算合成して２次元表示用の合成画像データを生成する。視差マップ生成回路５１４は、左目用画像および右目用画像のデータから視差マップデータを生成する。システム制御部５０９は、画像ファイルを解析して画像再生を制御する。画像ファイルが合成画像データと視差マップを含む場合、合成画像データを用いて２次元表示での画像再生制御が行われ、合成画像データおよび視差マップから左目用画像および右目用画像のデータを生成して立体視表示での画像再生制御が行われる。
【選択図】図４
Description
本発明は撮像装置に関し、特に立体視表示（以下、３Ｄ表示ともいう）および２次元表示（以下、２Ｄ表示ともいう）のための画像データを含む画像ファイルを用いた再生処理に関するものである。
近年、３次元（３Ｄ）シネマや３Ｄディスプレイ等、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラ等でも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。
立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式等のように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法等が知られている。
立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式等のように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法等が知られている。
立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献１および２に開示されている。
特許文献１は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザは立体映像の鑑賞が可能となる。
特許文献２は、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第１の画像とに基づいて、第２の画像を生成することができる。この計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づいており、マルチビュー画像をレンダリングするために、入力画像と視差マップを用いて第２の画像が生成可能である。
特許文献１は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザは立体映像の鑑賞が可能となる。
特許文献２は、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第１の画像とに基づいて、第２の画像を生成することができる。この計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づいており、マルチビュー画像をレンダリングするために、入力画像と視差マップを用いて第２の画像が生成可能である。
立体映像として画像を鑑賞するには、上述のように、左右方向に視差を持たせた画像を、それぞれに対応するユーザの目で見る必要がある。したがって、いずれの方式にしても、左目で鑑賞するための左目用画像と、右目で鑑賞するための右目用画像が必要である。
特許文献１が開示するように、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を用いて撮影をした場合、以下のような問題がある。対をなすフォトダイオードの一方が撮像光学系の射出瞳のある領域を通過した光束を光電変換した左目用画像信号を出力し、他方が射出瞳の上記領域とは異なる領域を通過した光束を光電変換した右目用画像信号を出力する場合を想定する。この場合、被写体によっては、左目用画像、右目用画像のいずれの画像も、被写体の形状を反映した画像でないことがある。
例えば、点光源からの光がボケたように撮影される撮影シーンにおいては、本来、円形にボケた光源の写真が撮影されるべきである。しかし、特許文献１が開示する固体撮像素子で撮影した場合には、撮影される画像は、被写体の形状が反映されていない半円形や楕円形等の形状となってしまう。例えば、左目用画像における被写体は左半分が欠けており、右目用画像における被写体は右半分が欠けているというように、左目用画像と右目用画像とでは、画像として写る被写体の形状が異なって撮影される。その理由としては、撮像光学系の射出瞳から出た光束のうち、光軸を境にして、フォトダイオードが受光する光の領域が異なるためである。
このような場合、特許文献２に開示の技術を用いて前記第２の画像を計算により求めようと試みたとしても正しい被写体形状の画像は得られない。つまり、基の画像にて実際の被写体とは異なる形状に撮影されるので、計算により求めた前記第２の画像についても正しい被写体形状の画像として再生ができないからである。
そこで、本発明は、画像ファイルに含まれる画像データと視差マップを用いて２次元表示でも立体視表示でも正しい被写体形状の画像再生が可能な撮像装置の提供を目的とする。
特許文献１が開示するように、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を用いて撮影をした場合、以下のような問題がある。対をなすフォトダイオードの一方が撮像光学系の射出瞳のある領域を通過した光束を光電変換した左目用画像信号を出力し、他方が射出瞳の上記領域とは異なる領域を通過した光束を光電変換した右目用画像信号を出力する場合を想定する。この場合、被写体によっては、左目用画像、右目用画像のいずれの画像も、被写体の形状を反映した画像でないことがある。
例えば、点光源からの光がボケたように撮影される撮影シーンにおいては、本来、円形にボケた光源の写真が撮影されるべきである。しかし、特許文献１が開示する固体撮像素子で撮影した場合には、撮影される画像は、被写体の形状が反映されていない半円形や楕円形等の形状となってしまう。例えば、左目用画像における被写体は左半分が欠けており、右目用画像における被写体は右半分が欠けているというように、左目用画像と右目用画像とでは、画像として写る被写体の形状が異なって撮影される。その理由としては、撮像光学系の射出瞳から出た光束のうち、光軸を境にして、フォトダイオードが受光する光の領域が異なるためである。
このような場合、特許文献２に開示の技術を用いて前記第２の画像を計算により求めようと試みたとしても正しい被写体形状の画像は得られない。つまり、基の画像にて実際の被写体とは異なる形状に撮影されるので、計算により求めた前記第２の画像についても正しい被写体形状の画像として再生ができないからである。
そこで、本発明は、画像ファイルに含まれる画像データと視差マップを用いて２次元表示でも立体視表示でも正しい被写体形状の画像再生が可能な撮像装置の提供を目的とする。
上記課題を解決するために本発明に係る装置は、撮像光学系の射出瞳における異なる領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部を撮像素子が有し、該撮像素子による複数の画像信号から生成した画像データを含む画像ファイルを作成し、当該画像ファイルを用いて再生処理を行う撮像装置であって、前記撮像素子から出力される画像信号から左目用画像および右目用画像のデータを取得し、該左目用画像および右目用画像に係る加算合成によって２次元表示用の合成画像データを生成する画像合成手段と、前記左目用画像および右目用画像のデータから視差マップデータを生成する視差マップ生成手段と、前記画像ファイルを解析して２次元表示での画像再生および立体視表示での画像再生を制御する制御手段を備える。前記制御手段は、前記画像ファイルが前記合成画像データおよび前記視差マップデータを含む場合、前記合成画像データを用いて２次元表示での画像再生を行い、また前記合成画像データおよび前記視差マップデータから左目用画像および右目用画像のデータを生成して立体視表示での画像再生を行うように制御する。
本発明によれば、画像ファイルに含まれる合成画像データと視差マップを用いて２次元表示でも立体視表示でも正しい被写体形状の画像再生を行うことができる。
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の実施形態の撮像装置に適用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器等を列毎に有する。
シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モード等を外部回路からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００は、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
図１は、本発明の実施形態の撮像装置に適用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器等を列毎に有する。
シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モード等を外部回路からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００は、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
図２は、撮像素子１００の画素の構成例を示す図である。図２（Ａ）は１画素の構成を概略的に示す。図２（Ｂ）は画素アレイ１０１の配置を示す。図２（Ａ）に示す画素２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）を有する。
図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像信号を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像信号を出力する。なお、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチ等を備える。
画素アレイ１０１は２次元画像を提供するため、図２（Ｂ）に示す複数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、本実施形態に用いる撮像素子は、各々が、左目用画像信号を出力する第１の光電変換部（ＰＤ２０３）と、右目用画像信号を出力する第２の光電変換部（ＰＤ２０４）とを有する複数の画素を備える。
図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像信号を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像信号を出力する。なお、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチ等を備える。
画素アレイ１０１は２次元画像を提供するため、図２（Ｂ）に示す複数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、本実施形態に用いる撮像素子は、各々が、左目用画像信号を出力する第１の光電変換部（ＰＤ２０３）と、右目用画像信号を出力する第２の光電変換部（ＰＤ２０４）とを有する複数の画素を備える。
次に、図２（Ｂ）に示す画素構成を有する撮像素子１００の受光について説明する。図３は撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を表した概念図である。
画素アレイ１０１は、マイクロレンズ２０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。
図３において、マイクロレンズ２０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光の最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光の最外周の光線である。
射出瞳４０６から出る光束のうち、光軸４０９を境界線として、図３の上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、各々、撮像光学系の射出瞳の異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。
画素アレイ１０１は、マイクロレンズ２０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。
図３において、マイクロレンズ２０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光の最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光の最外周の光線である。
射出瞳４０６から出る光束のうち、光軸４０９を境界線として、図３の上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、各々、撮像光学系の射出瞳の異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。
図４は、本実施形態の撮像装置の構成例を示す図である。図４を参照して、図１に示す撮像素子１００をデジタルカメラへ適用した例について説明する。
撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２（Ｂ）に示す画素構成を有する。レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御等を行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の処理（画素補間処理や色変換処理等）や補正を行う。タイミング発生部５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。
システム制御部５０９は各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを解釈して実行することで各種の処理を行う。なお、システム制御部５０９は、左目用画像と右目用画像の各データを比較し、位相差検出を行ってＡＦ（オートフォーカス）制御を行うことができる。
メモリ部５０８は、画像データを一時的に記憶するメモリを備える。記録制御を行う記憶媒体制御インターフェース部（以下、Ｉ／Ｆ部と略記する）５１０は、記録媒体５１１に画像データや後述の視差マップデータ等を記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ／Ｆ部５１２は、コンピュータ機器等の外部装置との間でデータを送受し、ユーザは画像加工を行うことができる。また外部Ｉ／Ｆ部５１２に接続された不図示の操作部を用いて、ユーザはデジタルカメラに対する操作を行うことができる。
撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２（Ｂ）に示す画素構成を有する。レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御等を行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の処理（画素補間処理や色変換処理等）や補正を行う。タイミング発生部５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。
システム制御部５０９は各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを解釈して実行することで各種の処理を行う。なお、システム制御部５０９は、左目用画像と右目用画像の各データを比較し、位相差検出を行ってＡＦ（オートフォーカス）制御を行うことができる。
メモリ部５０８は、画像データを一時的に記憶するメモリを備える。記録制御を行う記憶媒体制御インターフェース部（以下、Ｉ／Ｆ部と略記する）５１０は、記録媒体５１１に画像データや後述の視差マップデータ等を記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ／Ｆ部５１２は、コンピュータ機器等の外部装置との間でデータを送受し、ユーザは画像加工を行うことができる。また外部Ｉ／Ｆ部５１２に接続された不図示の操作部を用いて、ユーザはデジタルカメラに対する操作を行うことができる。
画像合成回路５１３は撮像素子５０５から出力された画像データについて画素毎に加算平均処理を行い、また必要なＰＤ信号のみを取得する処理を行う。図２を例にすると、各ＰＤから出力される画素信号３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒに対し、左側ＰＤの出力のみを取り出したものを、（３０１Ｌ，３０２Ｌ，３０３Ｌ，３０４Ｌ）とする。また、右側ＰＤの出力のみを取り出したもの（３０１Ｒ，３０２Ｒ，３０３Ｒ，３０４Ｒ）とする。左側ＰＤおよび右側ＰＤの各出力を加算平均した、（（３０１Ｌ＋３０１Ｒ）／２，（３０２Ｌ＋３０２Ｒ）／２，（３０３Ｌ＋３０３Ｒ）／２，（３０４Ｌ＋３０４Ｒ）／２）から、合成画像データが作成される。尚、加算合成処理にて加算処理のみ行い、後処理で除算処理やダイナミックレンジの調整を行う形態でも構わない。
視差マップ生成回路５１４は、合成画像における被写体像の位置を基準とした左目用画像／右目用画像の位置ずれ量を視差量として算出する。算出した視差量に関する情報は視差マップとしてメモリ部５０８に記憶される。圧縮伸長回路５１５は、メモリ部５０８に記憶した画像データを所定の画像圧縮方法（例えば、適応離散コサイン変換（ＡＤＣＴ）等）に従って画像圧縮する。また、圧縮伸長回路５１５は、画像圧縮された画像データをメモリ部５０８に書き込む機能、及びメモリ部５０８から読み出した画像データを伸長してメモリ部５０８に書き込む機能を有する。
表示部５１６は、表示制御回路５１７からの表示用データに従って、各種情報や撮影画像を表示する。表示制御回路５１７は２次元表示用の画像データを表示するための表示制御や、立体視表示で画像データを表示するための表示制御を行う。
視差マップ生成回路５１４は、合成画像における被写体像の位置を基準とした左目用画像／右目用画像の位置ずれ量を視差量として算出する。算出した視差量に関する情報は視差マップとしてメモリ部５０８に記憶される。圧縮伸長回路５１５は、メモリ部５０８に記憶した画像データを所定の画像圧縮方法（例えば、適応離散コサイン変換（ＡＤＣＴ）等）に従って画像圧縮する。また、圧縮伸長回路５１５は、画像圧縮された画像データをメモリ部５０８に書き込む機能、及びメモリ部５０８から読み出した画像データを伸長してメモリ部５０８に書き込む機能を有する。
表示部５１６は、表示制御回路５１７からの表示用データに従って、各種情報や撮影画像を表示する。表示制御回路５１７は２次元表示用の画像データを表示するための表示制御や、立体視表示で画像データを表示するための表示制御を行う。
次に、撮影時のデジタルカメラの動作について説明する。
撮像装置のメイン電源が投入されると、制御系回路部の電源がオン状態となり、更に撮像信号処理回路５０６等の撮像処理系回路の電源がオン状態となる。ユーザが図示しないレリーズボタンを操作すると、システム制御部５０９が撮像素子５０５からのデータに基づいて、焦点状態検出に係る演算を行い、撮像装置から被写体までの距離を算出する。その後、レンズ駆動装置５０２がレンズ部５０１の可動レンズを駆動し、システム制御部５０９は、合焦状態であるか否かを判定する。
システム制御部５０９は、合焦状態でないと判定した場合、再びレンズ部５０１の駆動制御により、焦点状態の検出処理を実行する。なお、被写体までの距離を求める演算については、撮像素子５０５によるデータから算出する方法以外に、図示しない測距専用装置を用いて行う方法でも構わない。システム制御部５０９は、合焦状態と判定した後に撮影動作を開始させる。撮影動作が終了すると、撮像信号処理回路５０６は撮像素子５０５が出力した画像信号を処理し、システム制御部５０９は画像データをメモリ部５０８に書き込む制御を行う。
撮像素子５０５が出力する撮像データについては、複数のＰＤからの画像信号として出力される。図２（Ｂ）に示す例では、ＰＤ３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒの順に画像信号が出力される。撮像信号処理回路５０６は、撮像素子５０５の出力する撮像データを左目用画像データと右目用画像データに振り分けて画像処理を行う。左目用画像データは、図２（Ｂ）における左側ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌ等の出力のみを選択して処理した結果得られる画像データである。また、右目用画像データは、図２（Ｂ）における右側ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒ等の出力のみを選択して処理した結果得られる画像データである。左目用画像データと右目用画像データとは、別々にメモリ部５０８に保持される。
画像合成回路５１３は、メモリ部５０８に保持した左目用画像と右目用画像の各データを読み出して合成画像データを生成する。生成された合成画像データはメモリ部５０８に格納される。画像合成回路５１３によって実行される画像処理は、左目用画像と右目用画像について画素毎の加算平均値を算出する処理である。従って、この画像処理によって生成される合成画像は、被写体の形状を反映した画像となる。つまり、撮像素子５０５にて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成回路５１３の画像処理によって被写体像の形状が補間されるため、正しい形状の画像データが生成される。例えば、被写体の形状が円形状であって、左目用画像と右目用画像では円形状でない場合でも、合成画像では被写体の形状と同じ円形状となる。
撮像装置のメイン電源が投入されると、制御系回路部の電源がオン状態となり、更に撮像信号処理回路５０６等の撮像処理系回路の電源がオン状態となる。ユーザが図示しないレリーズボタンを操作すると、システム制御部５０９が撮像素子５０５からのデータに基づいて、焦点状態検出に係る演算を行い、撮像装置から被写体までの距離を算出する。その後、レンズ駆動装置５０２がレンズ部５０１の可動レンズを駆動し、システム制御部５０９は、合焦状態であるか否かを判定する。
システム制御部５０９は、合焦状態でないと判定した場合、再びレンズ部５０１の駆動制御により、焦点状態の検出処理を実行する。なお、被写体までの距離を求める演算については、撮像素子５０５によるデータから算出する方法以外に、図示しない測距専用装置を用いて行う方法でも構わない。システム制御部５０９は、合焦状態と判定した後に撮影動作を開始させる。撮影動作が終了すると、撮像信号処理回路５０６は撮像素子５０５が出力した画像信号を処理し、システム制御部５０９は画像データをメモリ部５０８に書き込む制御を行う。
撮像素子５０５が出力する撮像データについては、複数のＰＤからの画像信号として出力される。図２（Ｂ）に示す例では、ＰＤ３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒの順に画像信号が出力される。撮像信号処理回路５０６は、撮像素子５０５の出力する撮像データを左目用画像データと右目用画像データに振り分けて画像処理を行う。左目用画像データは、図２（Ｂ）における左側ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌ等の出力のみを選択して処理した結果得られる画像データである。また、右目用画像データは、図２（Ｂ）における右側ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒ等の出力のみを選択して処理した結果得られる画像データである。左目用画像データと右目用画像データとは、別々にメモリ部５０８に保持される。
画像合成回路５１３は、メモリ部５０８に保持した左目用画像と右目用画像の各データを読み出して合成画像データを生成する。生成された合成画像データはメモリ部５０８に格納される。画像合成回路５１３によって実行される画像処理は、左目用画像と右目用画像について画素毎の加算平均値を算出する処理である。従って、この画像処理によって生成される合成画像は、被写体の形状を反映した画像となる。つまり、撮像素子５０５にて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成回路５１３の画像処理によって被写体像の形状が補間されるため、正しい形状の画像データが生成される。例えば、被写体の形状が円形状であって、左目用画像と右目用画像では円形状でない場合でも、合成画像では被写体の形状と同じ円形状となる。
次に、視差マップ生成回路５１４が視差マップを生成して、メモリ部５０８に視差マップデータを記憶する。視差マップ生成回路５１４は、合成画像の位置を基準とした左目用画像／右目用画像の位置ずれ量を視差量として、視差マップを生成する。
図５は、視差マップの生成処理例を示す図である。図５（Ａ）中の符号６０１は、被写体を撮影して得られる構図を示す。符号６０２、６０３、６０４はそれぞれ被写体を示す。図５（Ａ）中に示す構図では、被写体６０２、６０３、６０４は、この順に上から並んでいる。また、被写体は、図５（Ｃ）に示すように、奥行き方向に並んで配置されている。符号６０４がカメラから最も近い被写体を示し、符号６０２が最も遠い被写体を示す。
図５（Ｂ）は、図５（Ａ）に示す構図を撮影して得られるステレオ画像を示す。画像６０５は左目用画像を示し、画像６０６は右目用画像を示す。左目用画像６０５には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｌ、６０８Ｌ、６０９Ｌとして示される。右目用画像６０６には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｒ、６０８Ｒ、６０９Ｒとして示される。
左目用画像６０５における被写体像と右目用画像６０６における被写体像との間には、位置ずれがある。本実施形態では、両者間の位置ずれの量を視差量と定義する。符号６１０は、被写体６０２の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０７Ｌと６０７Ｒとの間の視差量を示す。同様に、符号６１１は、被写体６０４の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０９Ｌと６０９Ｒとの間の視差量を示す。被写体６０３については、左目用画像６０５における位置と右目用画像６０６における位置とが同じである。すなわち、被写体６０３については、視差量がゼロである。
図５は、視差マップの生成処理例を示す図である。図５（Ａ）中の符号６０１は、被写体を撮影して得られる構図を示す。符号６０２、６０３、６０４はそれぞれ被写体を示す。図５（Ａ）中に示す構図では、被写体６０２、６０３、６０４は、この順に上から並んでいる。また、被写体は、図５（Ｃ）に示すように、奥行き方向に並んで配置されている。符号６０４がカメラから最も近い被写体を示し、符号６０２が最も遠い被写体を示す。
図５（Ｂ）は、図５（Ａ）に示す構図を撮影して得られるステレオ画像を示す。画像６０５は左目用画像を示し、画像６０６は右目用画像を示す。左目用画像６０５には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｌ、６０８Ｌ、６０９Ｌとして示される。右目用画像６０６には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｒ、６０８Ｒ、６０９Ｒとして示される。
左目用画像６０５における被写体像と右目用画像６０６における被写体像との間には、位置ずれがある。本実施形態では、両者間の位置ずれの量を視差量と定義する。符号６１０は、被写体６０２の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０７Ｌと６０７Ｒとの間の視差量を示す。同様に、符号６１１は、被写体６０４の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０９Ｌと６０９Ｒとの間の視差量を示す。被写体６０３については、左目用画像６０５における位置と右目用画像６０６における位置とが同じである。すなわち、被写体６０３については、視差量がゼロである。
視差マップ生成回路５１４は、まず、公知のパターンマッチング法を用いて、左目用画像６０５と右目用画像６０６に含まれる被写体を検知する。視差マップ生成回路５１４は、検知した被写体毎に以下の処理を実行する。
視差マップ生成回路５１４は、左目用画像６０５、右目用画像６０６における被写体像の重心間の中点から、左目用画像６０５における被写体像の重心までの位置ずれ量を視差量として算出する。言い換えると、視差マップ生成回路５１４は、左目用画像６０５と右目用画像６０６とに基づいて生成された合成画像における被写体像の重心の位置を基準とした、左目用画像における当該被写体の重心の位置の位置ずれ量を視差量として算出する。算出される視差量は、左目用画像に対応する視差量である。もちろん、視差マップ生成回路５１４が、合成画像における被写体像の重心の位置を基準とした、右目用画像における当該被写体像の重心の位置の位置ずれ量を、右目用画像に対応する視差量として算出してもよい。
図５（Ｂ）に示す例では、被写体６０２については、視差マップ生成回路５１４は、視差量６１０の半分の量である視差量６１２を算出する。また、被写体６０４については、視差マップ生成回路５１４は、視差量６１１の半分の量である視差量６１３を算出する。視差マップ生成回路５１４は、算出した視差量６１２、６１３に関する情報と、当該視差量の基準となる画像の位置情報を視差マップとしてメモリ部５０８に記憶する。この例では、視差量の基準となる画像の位置情報は、合成画像における被写体像の重心を示す。なお、上述したように、図５（Ｂ）に示す例では、被写体６０３については視差量がゼロである。
図６は、視差マップを模式的に例示した図である。視差マップ６２１は、視差量６２２と、視差量の基準となる画像の位置（重心）の情報６２３を含む。
視差マップ生成回路５１４は、左目用画像６０５、右目用画像６０６における被写体像の重心間の中点から、左目用画像６０５における被写体像の重心までの位置ずれ量を視差量として算出する。言い換えると、視差マップ生成回路５１４は、左目用画像６０５と右目用画像６０６とに基づいて生成された合成画像における被写体像の重心の位置を基準とした、左目用画像における当該被写体の重心の位置の位置ずれ量を視差量として算出する。算出される視差量は、左目用画像に対応する視差量である。もちろん、視差マップ生成回路５１４が、合成画像における被写体像の重心の位置を基準とした、右目用画像における当該被写体像の重心の位置の位置ずれ量を、右目用画像に対応する視差量として算出してもよい。
図５（Ｂ）に示す例では、被写体６０２については、視差マップ生成回路５１４は、視差量６１０の半分の量である視差量６１２を算出する。また、被写体６０４については、視差マップ生成回路５１４は、視差量６１１の半分の量である視差量６１３を算出する。視差マップ生成回路５１４は、算出した視差量６１２、６１３に関する情報と、当該視差量の基準となる画像の位置情報を視差マップとしてメモリ部５０８に記憶する。この例では、視差量の基準となる画像の位置情報は、合成画像における被写体像の重心を示す。なお、上述したように、図５（Ｂ）に示す例では、被写体６０３については視差量がゼロである。
図６は、視差マップを模式的に例示した図である。視差マップ６２１は、視差量６２２と、視差量の基準となる画像の位置（重心）の情報６２３を含む。
次に、視差マップを用いた画像の再生処理について説明する。
システム制御部５０９は、メモリ部５０８から合成画像データと視差マップデータを読み出す。システム制御部５０９は、視差マップデータが示す視差量の基準となる画像の位置が、合成画像における被写体像の重心であることを確認する。そして、システム制御部５０９は、合成画像における被写体像を当該視差マップデータが示す視差量の分だけシフトさせることによって、再生対象の左目用画像すなわち視差量に対応する画像の再生用データを生成する。
また、システム制御部５０９は視差マップデータが示す視差量の符号を反転させる。システム制御部５０９は、視差マップが示す視差量の符号を反転させて得られる視差量を、合成画像における当該被写体像の重心を基準とする右目用画像における当該被写体の重心の位置の位置ずれ量とする。そして、システム制御部５０９は、合成画像における被写体像を当該視差マップデータが示す視差量の符号を反転させて得られる視差量の分だけシフトさせる。これによって、再生対象の右目用画像すなわち視差マップデータが示す視差量に対応する画像以外の画像の再生用データが生成される。
なお、合成画像における被写体像のシフトによって、当該被写体像が配置されていた位置の画素は、欠落画素となる。システム制御部５０９は、例えば、下記の参考文献１に記載されている技術を用いて、この欠落画素に色空間情報を付与する。すなわち、システム制御部５０９は、欠落画素の近傍の画素の画素値の平均値を色空間情報として算出し、算出した色空間情報を欠落画素に付与する。
参考文献１：特許第３５２４１４７号公報
以上のように本実施形態の撮像装置は、左目用画像と右目用画像を合成して、被写体の形状が反映された合成画像を生成し、該合成画像での位置を基準とする視差量に関する情報を視差マップデータとして生成する。メモリ部５０８には、左目用画像データと右目用画像データ、さらに画像合成回路５１３によって生成された合成画像データと、視差マップ生成回路５１４によって生成された視差マップデータが記憶される。
合成画像データと、視差マップデータが示す視差量に基づいて、再生対象の左目用画像データおよび右目用画像データが生成される。従って、撮影光学系の射出瞳の異なる領域を通過した光束の光電変換によって得られる左目用画像、右目用画像での形状が被写体形状と異なる場合であっても、画像の再生時には被写体の形状を反映した正しい画像を再生できる。
システム制御部５０９は、メモリ部５０８から合成画像データと視差マップデータを読み出す。システム制御部５０９は、視差マップデータが示す視差量の基準となる画像の位置が、合成画像における被写体像の重心であることを確認する。そして、システム制御部５０９は、合成画像における被写体像を当該視差マップデータが示す視差量の分だけシフトさせることによって、再生対象の左目用画像すなわち視差量に対応する画像の再生用データを生成する。
また、システム制御部５０９は視差マップデータが示す視差量の符号を反転させる。システム制御部５０９は、視差マップが示す視差量の符号を反転させて得られる視差量を、合成画像における当該被写体像の重心を基準とする右目用画像における当該被写体の重心の位置の位置ずれ量とする。そして、システム制御部５０９は、合成画像における被写体像を当該視差マップデータが示す視差量の符号を反転させて得られる視差量の分だけシフトさせる。これによって、再生対象の右目用画像すなわち視差マップデータが示す視差量に対応する画像以外の画像の再生用データが生成される。
なお、合成画像における被写体像のシフトによって、当該被写体像が配置されていた位置の画素は、欠落画素となる。システム制御部５０９は、例えば、下記の参考文献１に記載されている技術を用いて、この欠落画素に色空間情報を付与する。すなわち、システム制御部５０９は、欠落画素の近傍の画素の画素値の平均値を色空間情報として算出し、算出した色空間情報を欠落画素に付与する。
参考文献１：特許第３５２４１４７号公報
以上のように本実施形態の撮像装置は、左目用画像と右目用画像を合成して、被写体の形状が反映された合成画像を生成し、該合成画像での位置を基準とする視差量に関する情報を視差マップデータとして生成する。メモリ部５０８には、左目用画像データと右目用画像データ、さらに画像合成回路５１３によって生成された合成画像データと、視差マップ生成回路５１４によって生成された視差マップデータが記憶される。
合成画像データと、視差マップデータが示す視差量に基づいて、再生対象の左目用画像データおよび右目用画像データが生成される。従って、撮影光学系の射出瞳の異なる領域を通過した光束の光電変換によって得られる左目用画像、右目用画像での形状が被写体形状と異なる場合であっても、画像の再生時には被写体の形状を反映した正しい画像を再生できる。
図７は一般的なＤＣＦ画像ファイルの構造を例示する。ＤＣＦ（Design rule for Camera File system）とは、デジタルカメラにおいて画像データを共通の仕様で扱うための画像ファイル形式である。ＤＣＦ画像ファイル７００は現在最も多くのデジタルカメラにて出力可能であり、ＤＣＦヘッダ部７０１、サムネイル画像部７０２、ＪＰＥＧ画像部７０３を含む。ＪＰＥＧは、“Joint Photographic Experts Group”の略号である。
ＤＣＦヘッダ部７０１はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、以下のデータが含まれる（括弧内は符号を示す）。
・メタデータＡ（７０４）：ＪＰＥＧ画像部７０３に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値Ｂ（７０５）：サムネイル画像部７０２の先頭位置までのオフセットデータ。
・オフセット値Ｃ（７０６）：ＪＰＥＧ画像部７０３の先頭位置までのオフセットデータ。
オフセット値ＢとＣは、ＤＣＦヘッダ部７０１の基準位置から算出される各画像部までの相対位置情報であり、これらのオフセット値により画像ファイル内における各画像データの開始位置が特定される。
サムネイル画像部７０２は、ＪＰＥＧ画像部７０３に格納されているＪＰＥＧ画像データ等を間引いてリサイズしたサムネイル画像データを格納する領域である。サムネイル画像データは、例えば、表示部５１６の画面上に複数枚の縮小画像表示（インデックス表示）を行う際等に利用される。
ＪＰＥＧ画像部７０３は、撮像信号処理回路５０６での画像処理後に圧縮伸長回路５１５で圧縮して得たＪＰＥＧ画像データを格納する領域である。この画像データは、一般の多くのアプリケーションで扱うことが可能なデータである。
ＤＣＦヘッダ部７０１はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、以下のデータが含まれる（括弧内は符号を示す）。
・メタデータＡ（７０４）：ＪＰＥＧ画像部７０３に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値Ｂ（７０５）：サムネイル画像部７０２の先頭位置までのオフセットデータ。
・オフセット値Ｃ（７０６）：ＪＰＥＧ画像部７０３の先頭位置までのオフセットデータ。
オフセット値ＢとＣは、ＤＣＦヘッダ部７０１の基準位置から算出される各画像部までの相対位置情報であり、これらのオフセット値により画像ファイル内における各画像データの開始位置が特定される。
サムネイル画像部７０２は、ＪＰＥＧ画像部７０３に格納されているＪＰＥＧ画像データ等を間引いてリサイズしたサムネイル画像データを格納する領域である。サムネイル画像データは、例えば、表示部５１６の画面上に複数枚の縮小画像表示（インデックス表示）を行う際等に利用される。
ＪＰＥＧ画像部７０３は、撮像信号処理回路５０６での画像処理後に圧縮伸長回路５１５で圧縮して得たＪＰＥＧ画像データを格納する領域である。この画像データは、一般の多くのアプリケーションで扱うことが可能なデータである。
図８は、本実施形態にて左目用画像データおよび右目用画像データを含むＤＣＦ画像ファイルを作成した場合の画像ファイルの構造例を示す。画像ファイル８００は、ＤＣＦ画像データ部８０１と左右目用画像データ部８０２を含む。
ＤＣＦ画像データ部８０１は、ＤＣＦヘッダ部８０３、合成サムネイル画像部８０４、合成ＪＰＥＧ画像部８０５から構成される。ＤＣＦヘッダ部８０３はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、以下の付帯情報、および各画像データを格納する領域を特定するためのオフセット情報が含まれる（括弧内は符号を示す）。
・メタデータＡ（８１０）：合成ＪＰＥＧ画像部８０５に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値Ｂ（８１１）：合成サムネイル画像部８０４の先頭位置までのオフセットデータ。
・オフセット値Ｃ（８１２）：合成ＪＰＥＧ画像部８０５の先頭位置までのオフセットデータ。
・オフセット値Ｄ（８１３）：左目用サムネイル画像部８０６の先頭位置までのオフセットデータ。
・オフセット値Ｅ（８１４）：右目用サムネイル画像部８０７の先頭位置までのオフセットデータ。
・オフセット値Ｆ（８１５）：左目用ＪＰＥＧ画像部８０８の先頭位置までのオフセットデータ。
・オフセット値Ｇ（８１６）：右目用ＪＰＥＧ画像部８０９の先頭位置までのオフセットデータ。
オフセット値ＢからＧにより画像ファイル内における各画像データの開始位置が特定される。
合成サムネイル画像部８０４は、表示部５１６の画面上にインデックス表示を行う際等に利用するために、合成ＪＰＥＧ画像部８０５に格納されている合成ＪＰＥＧ画像データ等を間引いてリサイズした合成サムネイル画像を格納する領域である。また、合成ＪＰＥＧ画像部８０５は、撮像素子５０５からの画像データを撮像信号処理回路５０６で処理した後、圧縮伸長回路５１５で圧縮して得た合成ＪＰＥＧ画像データを格納する領域である。この画像データは一般の多くのアプリケーションで扱うことが可能なデータである。本実施形態にて右目用画像と左目用画像の各データを画像合成回路５１３で加算合成したＪＰＥＧ画像データが合成ＪＰＥＧ画像部８０５に格納される。左目用画像および右目用画像を加算合成することで２Ｄ表示用画像として正しい被写体形状を再生可能な画像データが得られる。なお、加算合成には加算平均処理も含むものとする。
左右目用画像データ部８０２は左目用サムネイル画像部８０６、右目用サムネイル画像部８０７、左目用ＪＰＥＧ画像部８０８、右目用ＪＰＥＧ画像部８０９で構成されている。左目用サムネイル画像部８０６と右目用サムネイル画像部８０７にそれぞれ格納される画像データは表示部５１６によるインデックス表示にて、サムネイル画像を立体視表示として表示する際等に利用する。また、左目用ＪＰＥＧ画像部８０８、右目用ＪＰＥＧ画像部８０９にそれぞれ格納される画像データは表示部５１６にて立体視表示として表示する際等に利用する。なお、これらの画像部８０６乃至８０９を含む左右目用画像データ部８０２を画像ファイル８００の後方に配置することで、左目用ＪＰＥＧ画像部８０８および右目用ＪＰＥＧ画像部８０９を使用しない場合の処理にて利便性が向上する。
ＤＣＦ画像データ部８０１は、ＤＣＦヘッダ部８０３、合成サムネイル画像部８０４、合成ＪＰＥＧ画像部８０５から構成される。ＤＣＦヘッダ部８０３はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、以下の付帯情報、および各画像データを格納する領域を特定するためのオフセット情報が含まれる（括弧内は符号を示す）。
・メタデータＡ（８１０）：合成ＪＰＥＧ画像部８０５に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値Ｂ（８１１）：合成サムネイル画像部８０４の先頭位置までのオフセットデータ。
・オフセット値Ｃ（８１２）：合成ＪＰＥＧ画像部８０５の先頭位置までのオフセットデータ。
・オフセット値Ｄ（８１３）：左目用サムネイル画像部８０６の先頭位置までのオフセットデータ。
・オフセット値Ｅ（８１４）：右目用サムネイル画像部８０７の先頭位置までのオフセットデータ。
・オフセット値Ｆ（８１５）：左目用ＪＰＥＧ画像部８０８の先頭位置までのオフセットデータ。
・オフセット値Ｇ（８１６）：右目用ＪＰＥＧ画像部８０９の先頭位置までのオフセットデータ。
オフセット値ＢからＧにより画像ファイル内における各画像データの開始位置が特定される。
合成サムネイル画像部８０４は、表示部５１６の画面上にインデックス表示を行う際等に利用するために、合成ＪＰＥＧ画像部８０５に格納されている合成ＪＰＥＧ画像データ等を間引いてリサイズした合成サムネイル画像を格納する領域である。また、合成ＪＰＥＧ画像部８０５は、撮像素子５０５からの画像データを撮像信号処理回路５０６で処理した後、圧縮伸長回路５１５で圧縮して得た合成ＪＰＥＧ画像データを格納する領域である。この画像データは一般の多くのアプリケーションで扱うことが可能なデータである。本実施形態にて右目用画像と左目用画像の各データを画像合成回路５１３で加算合成したＪＰＥＧ画像データが合成ＪＰＥＧ画像部８０５に格納される。左目用画像および右目用画像を加算合成することで２Ｄ表示用画像として正しい被写体形状を再生可能な画像データが得られる。なお、加算合成には加算平均処理も含むものとする。
左右目用画像データ部８０２は左目用サムネイル画像部８０６、右目用サムネイル画像部８０７、左目用ＪＰＥＧ画像部８０８、右目用ＪＰＥＧ画像部８０９で構成されている。左目用サムネイル画像部８０６と右目用サムネイル画像部８０７にそれぞれ格納される画像データは表示部５１６によるインデックス表示にて、サムネイル画像を立体視表示として表示する際等に利用する。また、左目用ＪＰＥＧ画像部８０８、右目用ＪＰＥＧ画像部８０９にそれぞれ格納される画像データは表示部５１６にて立体視表示として表示する際等に利用する。なお、これらの画像部８０６乃至８０９を含む左右目用画像データ部８０２を画像ファイル８００の後方に配置することで、左目用ＪＰＥＧ画像部８０８および右目用ＪＰＥＧ画像部８０９を使用しない場合の処理にて利便性が向上する。
図９は、本実施形態にて視差マップデータを含むＤＣＦ画像ファイルを作成した場合の画像ファイルの構造を例示する。画像ファイル９００はＤＣＦ画像データ部９０１と視差マップ部９０２を含む。
ＤＣＦ画像データ部９０１は、ＤＣＦヘッダ部９０３、合成サムネイル画像部９０４、合成ＪＰＥＧ画像部９０５から構成される。
ＤＣＦヘッダ部９０３はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、以下のデータが含まれる（括弧内は符号を示す）。
・メタデータＡ（９０８）：合成ＪＰＥＧ画像部９０５に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値Ｂ（９０９）：合成サムネイル画像部９０４の先頭位置までのオフセットデータ。
・オフセット値Ｃ（９１０）：合成ＪＰＥＧ画像部９０５の先頭位置までのオフセットデータ。
・オフセット値Ｄ（９１１）：合成サムネイル画像用視差マップ部９０６の先頭位置までのオフセットデータ。
・オフセット値Ｅ（９１２）：合成ＪＰＥＧ画像用視差マップ部９０７の先頭位置までのオフセットデータ。
オフセット値ＢからＥにより画像ファイル内での各画像データの開始位置が特定される。
視差マップ部９０２は合成サムネイル画像用視差マップ部９０６と合成ＪＰＥＧ画像用視差マップ部９０７で構成される。合成サムネイル画像部９０４は、表示部５１６にインデックス表示を行う際等に利用するために、合成ＪＰＥＧ画像部９０５に格納されているＪＰＥＧ画像データ等を間引いてリサイズしたサムネイル画像データを格納する領域である。合成ＪＰＥＧ画像部９０５は、撮像素子５０５からの画像データを撮像信号処理回路５０６で処理した後、圧縮伸長回路５１５で圧縮して得た合成ＪＰＥＧ画像データを格納する領域である。この画像データは一般の多くのアプリケーションで扱うことが可能なデータである。本実施形態において右目用画像と左目用画像の各データを画像合成回路５１３で加算合成したＪＰＥＧ画像データが合成ＪＰＥＧ画像部９０５に格納される。左目用および右目用の画像データを合成することで２Ｄ表示用として正しい被写体形状を再生可能な画像が得られる。さらには視差マップを用いることで左目用および右目用の各画像データを復元でき、立体視表示用画像として再生可能となる。合成サムネイル画像用視差マップ部９０６は合成サムネイル画像のサイズに合わせて生成された視差マップデータを格納する領域である。また合成ＪＰＥＧ画像用視差マップ部９０７は、合成ＪＰＥＧ画像の視差量を示すマップデータを格納する領域である。なお、合成サムネイル画像用視差マップを合成ＪＰＥＧ画像用視差マップと併せて視差マップ部９０２として画像ファイル９００の後方に配置することで、視差マップを使用しない場合の画像再生や視差マップの削除等の編集時の利便性が向上する。
ＤＣＦ画像データ部９０１は、ＤＣＦヘッダ部９０３、合成サムネイル画像部９０４、合成ＪＰＥＧ画像部９０５から構成される。
ＤＣＦヘッダ部９０３はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、以下のデータが含まれる（括弧内は符号を示す）。
・メタデータＡ（９０８）：合成ＪＰＥＧ画像部９０５に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値Ｂ（９０９）：合成サムネイル画像部９０４の先頭位置までのオフセットデータ。
・オフセット値Ｃ（９１０）：合成ＪＰＥＧ画像部９０５の先頭位置までのオフセットデータ。
・オフセット値Ｄ（９１１）：合成サムネイル画像用視差マップ部９０６の先頭位置までのオフセットデータ。
・オフセット値Ｅ（９１２）：合成ＪＰＥＧ画像用視差マップ部９０７の先頭位置までのオフセットデータ。
オフセット値ＢからＥにより画像ファイル内での各画像データの開始位置が特定される。
視差マップ部９０２は合成サムネイル画像用視差マップ部９０６と合成ＪＰＥＧ画像用視差マップ部９０７で構成される。合成サムネイル画像部９０４は、表示部５１６にインデックス表示を行う際等に利用するために、合成ＪＰＥＧ画像部９０５に格納されているＪＰＥＧ画像データ等を間引いてリサイズしたサムネイル画像データを格納する領域である。合成ＪＰＥＧ画像部９０５は、撮像素子５０５からの画像データを撮像信号処理回路５０６で処理した後、圧縮伸長回路５１５で圧縮して得た合成ＪＰＥＧ画像データを格納する領域である。この画像データは一般の多くのアプリケーションで扱うことが可能なデータである。本実施形態において右目用画像と左目用画像の各データを画像合成回路５１３で加算合成したＪＰＥＧ画像データが合成ＪＰＥＧ画像部９０５に格納される。左目用および右目用の画像データを合成することで２Ｄ表示用として正しい被写体形状を再生可能な画像が得られる。さらには視差マップを用いることで左目用および右目用の各画像データを復元でき、立体視表示用画像として再生可能となる。合成サムネイル画像用視差マップ部９０６は合成サムネイル画像のサイズに合わせて生成された視差マップデータを格納する領域である。また合成ＪＰＥＧ画像用視差マップ部９０７は、合成ＪＰＥＧ画像の視差量を示すマップデータを格納する領域である。なお、合成サムネイル画像用視差マップを合成ＪＰＥＧ画像用視差マップと併せて視差マップ部９０２として画像ファイル９００の後方に配置することで、視差マップを使用しない場合の画像再生や視差マップの削除等の編集時の利便性が向上する。
次にＤＣＦ画像ファイル再生処理について、図１０のフローチャートを参照して説明する。本処理はシステム制御部５０９の制御下で実行される。
Ｓ１００１は、外部Ｉ/Ｆ部５１２の操作部に設けられた図示しない画像再生釦が操作された否かの判定処理である。ユーザが画像再生釦を操作していないと判定された場合、Ｓ１００１の判定処理を繰り返し、ユーザが画像再生釦を操作したと判定された場合、Ｓ１００２に進む。Ｓ１００２では、記録媒体５１１から記録媒体制御Ｉ／Ｆ部５１０を介して画像ファイルのデータをメモリ部５０８に読み出す処理が実行される。次のＳ１００３では、Ｓ１００２でメモリ部５０８に読み込んだ画像ファイルの解析処理が行われる。画像ファイルの解析処理ではＤＣＦ画像ファイルの構造を解析することで、各画像データへのアクセスが可能となる。次にＳ１００４では、Ｓ１００３での解析結果に基づき、画像ファイルが立体視表示に対応した画像ファイルであるか否かについて判定される。立体視表示に対応した画像ファイルの判定処理とは、左目用画像、右目用画像をそれぞれ用意することができる画像ファイルであるか否かの判定である。本実施形態では図８で説明した左目用画像および右目用画像のデータを有する画像ファイルの場合や、図９で説明した視差マップを有する画像ファイルの場合に立体視表示に対応した画像ファイルであると判定される。画像ファイルに関する判定結果がＹＥＳの場合、Ｓ１００５に処理を進め、ＮＯの場合、Ｓ１００６に処理を進める。
Ｓ１００１は、外部Ｉ/Ｆ部５１２の操作部に設けられた図示しない画像再生釦が操作された否かの判定処理である。ユーザが画像再生釦を操作していないと判定された場合、Ｓ１００１の判定処理を繰り返し、ユーザが画像再生釦を操作したと判定された場合、Ｓ１００２に進む。Ｓ１００２では、記録媒体５１１から記録媒体制御Ｉ／Ｆ部５１０を介して画像ファイルのデータをメモリ部５０８に読み出す処理が実行される。次のＳ１００３では、Ｓ１００２でメモリ部５０８に読み込んだ画像ファイルの解析処理が行われる。画像ファイルの解析処理ではＤＣＦ画像ファイルの構造を解析することで、各画像データへのアクセスが可能となる。次にＳ１００４では、Ｓ１００３での解析結果に基づき、画像ファイルが立体視表示に対応した画像ファイルであるか否かについて判定される。立体視表示に対応した画像ファイルの判定処理とは、左目用画像、右目用画像をそれぞれ用意することができる画像ファイルであるか否かの判定である。本実施形態では図８で説明した左目用画像および右目用画像のデータを有する画像ファイルの場合や、図９で説明した視差マップを有する画像ファイルの場合に立体視表示に対応した画像ファイルであると判定される。画像ファイルに関する判定結果がＹＥＳの場合、Ｓ１００５に処理を進め、ＮＯの場合、Ｓ１００６に処理を進める。
次にＳ１００５では、立体視画像の再生設定がなされているか否かについて判定が行われる。ユーザ操作により、２Ｄ表示での画像再生を行うのか、立体視表示での画像再生を行うかを任意に指定することができる。立体視表示に対応した画像ファイルの場合でも、ユーザは２Ｄ表示で画像を再生する選択が可能である。ユーザは操作部を用いて、表示部５１６の画面上でのメニュー選択操作等によって所望の再生を設定することができ、設定情報はメモリ部５０８に記憶される。Ｓ１００５にて立体視画像の再生設定でないと判定された場合、Ｓ１００６に処理を進め、２Ｄ表示画像再生処理、つまり２Ｄ表示での画像（以下、２Ｄ画像という）の再生が行われる。本処理については図１１を用いて後述する。一方、Ｓ１００５で立体視画像の再生設定であると判定された場合、Ｓ１００７に処理を進め、立体視画像再生処理、つまり３Ｄ表示での画像再生が行われる。本処理については図１２を用いて後述する。
以上、説明したように、本実施形態の撮像装置における画像ファイルの再生処理では、立体視画像に対応した画像ファイルを用いることにより、３Ｄ表示でも２Ｄ表示でも画像再生が可能となる。
以上、説明したように、本実施形態の撮像装置における画像ファイルの再生処理では、立体視画像に対応した画像ファイルを用いることにより、３Ｄ表示でも２Ｄ表示でも画像再生が可能となる。
次に図１１を用いて、図１０のＳ１００６に示した２Ｄ表示画像再生処理について説明する。
Ｓ１１０１では、画像ファイルから２Ｄ画像データを取得する処理が行われる。２Ｄ画像データの取得処理では、解析した画像ファイルから、２Ｄ画像として再生するためのデータとして、合成ＪＰＥＧ画像データが取得される。本実施形態の撮像装置以外で撮影された画像データを有するファイルであって、合成ＪＰＥＧ画像データが存在しない場合、２Ｄ画像として他の画像データを取得する処理を行うと再生互換性が向上する。次にＳ１１０２の２Ｄ画像表示データ作成処理では、Ｓ１１０１で取得した２Ｄ画像データから表示用データが作成される。本処理では、圧縮伸長回路５１５が伸長したデータを、表示制御回路５１７が処理することにより、表示部５１６に２Ｄ画像を表示するためのデータが作成される。次にＳ１１０３では表示制御回路５１７の制御下において、Ｓ１１０２で作成した表示用データに従い、表示部５１６が２Ｄ表示を行う。この２Ｄ画像表示処理では後述する立体視画像表示処理のように左目用画像と右目用画像と区別することなく表示用データが処理される。こうして、画像ファイルに基づいて２Ｄ画像の再生が可能となる。
Ｓ１１０１では、画像ファイルから２Ｄ画像データを取得する処理が行われる。２Ｄ画像データの取得処理では、解析した画像ファイルから、２Ｄ画像として再生するためのデータとして、合成ＪＰＥＧ画像データが取得される。本実施形態の撮像装置以外で撮影された画像データを有するファイルであって、合成ＪＰＥＧ画像データが存在しない場合、２Ｄ画像として他の画像データを取得する処理を行うと再生互換性が向上する。次にＳ１１０２の２Ｄ画像表示データ作成処理では、Ｓ１１０１で取得した２Ｄ画像データから表示用データが作成される。本処理では、圧縮伸長回路５１５が伸長したデータを、表示制御回路５１７が処理することにより、表示部５１６に２Ｄ画像を表示するためのデータが作成される。次にＳ１１０３では表示制御回路５１７の制御下において、Ｓ１１０２で作成した表示用データに従い、表示部５１６が２Ｄ表示を行う。この２Ｄ画像表示処理では後述する立体視画像表示処理のように左目用画像と右目用画像と区別することなく表示用データが処理される。こうして、画像ファイルに基づいて２Ｄ画像の再生が可能となる。
次に図１２を用いて、図１０のＳ１００７に示した立体視画像再生処理について説明する。
Ｓ１２０１は、画像ファイル内に視差マップがあるか否かの判定処理である。視差マップの有無については、Ｓ１００３での解析結果から判定できる。画像ファイル内に視差マップがないと判定された場合、Ｓ１２０２に処理を進め、左右画像３Ｄ再生処理が実行される。左右画像３Ｄ再生処理については図１３を用いて後述する。一方、画像ファイル内に視差マップがあると判定された場合、Ｓ１２０３に処理を進め、視差マップ３Ｄ再生処理が実行される。視差マップ３Ｄ再生処理については図１４を用いて後述する。本実施形態では３Ｄ再生処理として、左右画像を用いた３Ｄ再生と、視差マップを用いた３Ｄ再生が可能である。
次に図１３を用いて、図１２のＳ１２０２に示した左右画像３Ｄ再生処理について説明をする。
Ｓ１３０１の左目用画像データ取得処理では、メモリ部５０８に展開した画像ファイルのデータから、左目用ＪＰＥＧ画像データを取得する処理が行われる。次にＳ１３０２の表示データ作成処理では、Ｓ１３０１で取得した左目用ＪＰＥＧ画像データから左目用画像の表示用データが作成される。左目用画像の表示データ作成処理では、圧縮伸長回路５１５が伸長したデータに基づいて表示制御回路５１７が表示部５１６に画像を表示するためのデータを作成する。次にＳ１３０３の右目用画像データ取得処理では、メモリ部５０８に展開した画像ファイルのデータから右目用ＪＰＥＧ画像データを取得する処理が行われる。次にＳ１３０４の表示データ作成処理では、Ｓ１３０３で取得した右目用ＪＰＥＧ画像データから右目用画像の表示用データが作成される。右目用画像の表示データ作成処理では、圧縮伸長回路５１５が伸長したデータに基づいて表示制御回路５１７が表示部５１６に画像を表示するためのデータを作成する。次のＳ１３０５ではＳ１３０２で作成した左目用画像の表示用データと、Ｓ１３０４で作成した右目用画像の表示用データに従って、表示部５１６は３Ｄ画像表示処理を行う。本処理ではユーザの左目と右目にそれぞれ異なる映像の光が入射するように、既知の技術によって画像表示が行われるが、その詳細についての説明は省略する。こうして、左目用画像データおよび右目用画像データを有する画像ファイルに基づいて３Ｄ画像再生が可能となる。
Ｓ１２０１は、画像ファイル内に視差マップがあるか否かの判定処理である。視差マップの有無については、Ｓ１００３での解析結果から判定できる。画像ファイル内に視差マップがないと判定された場合、Ｓ１２０２に処理を進め、左右画像３Ｄ再生処理が実行される。左右画像３Ｄ再生処理については図１３を用いて後述する。一方、画像ファイル内に視差マップがあると判定された場合、Ｓ１２０３に処理を進め、視差マップ３Ｄ再生処理が実行される。視差マップ３Ｄ再生処理については図１４を用いて後述する。本実施形態では３Ｄ再生処理として、左右画像を用いた３Ｄ再生と、視差マップを用いた３Ｄ再生が可能である。
次に図１３を用いて、図１２のＳ１２０２に示した左右画像３Ｄ再生処理について説明をする。
Ｓ１３０１の左目用画像データ取得処理では、メモリ部５０８に展開した画像ファイルのデータから、左目用ＪＰＥＧ画像データを取得する処理が行われる。次にＳ１３０２の表示データ作成処理では、Ｓ１３０１で取得した左目用ＪＰＥＧ画像データから左目用画像の表示用データが作成される。左目用画像の表示データ作成処理では、圧縮伸長回路５１５が伸長したデータに基づいて表示制御回路５１７が表示部５１６に画像を表示するためのデータを作成する。次にＳ１３０３の右目用画像データ取得処理では、メモリ部５０８に展開した画像ファイルのデータから右目用ＪＰＥＧ画像データを取得する処理が行われる。次にＳ１３０４の表示データ作成処理では、Ｓ１３０３で取得した右目用ＪＰＥＧ画像データから右目用画像の表示用データが作成される。右目用画像の表示データ作成処理では、圧縮伸長回路５１５が伸長したデータに基づいて表示制御回路５１７が表示部５１６に画像を表示するためのデータを作成する。次のＳ１３０５ではＳ１３０２で作成した左目用画像の表示用データと、Ｓ１３０４で作成した右目用画像の表示用データに従って、表示部５１６は３Ｄ画像表示処理を行う。本処理ではユーザの左目と右目にそれぞれ異なる映像の光が入射するように、既知の技術によって画像表示が行われるが、その詳細についての説明は省略する。こうして、左目用画像データおよび右目用画像データを有する画像ファイルに基づいて３Ｄ画像再生が可能となる。
次に図１４を用いて、図１２のＳ１２０３に示した視差マップ３Ｄ再生処理について説明をする。
Ｓ１４０１の視差マップ取得処理では、メモリ部５０８に展開した画像ファイルのデータから合成ＪＰＥＧ画像用視差マップのデータが取得される。次にＳ１４０２の基準画像データ取得処理では、メモリ部５０８に展開した画像ファイルのデータから基準画像データが取得される。ここでいう基準画像とは、Ｓ１４０１で取得した視差マップに対応する画像データのことであり、本実施形態では合成ＪＰＥＧ画像データとする。次にＳ１４０３の左目用画像データ作成処理では、Ｓ１４０１で取得した視差マップとＳ１４０２で取得した基準画像のデータから、左目用画像データが作成される。視差マップは合成画像の被写体像の重心から左目用画像にて該当する重心までの視差量のデータを含む。このデータを用いて、被写体像を視差量に対応する左目用画像の重心に移動させることで左目用画像データが生成される。次にＳ１４０４の右目用画像データ作成処理では、Ｓ１４０１で取得した視差マップとＳ１４０２で取得した基準画像データから、右目用画像データが作成される。本処理は左目用画像データ作成処理と同様に行われるが、この場合、視差マップデータの示す視差量の符号を反転させることにより、合成画像の被写体像の重心から右目用画像にて該当する重心までの視差量が得られる。被写体像を視差量に対応する右目用画像の重心に移動させることで右目用画像データを生成することができる。次のＳ１４０５では、Ｓ１４０３で作成した左目用画像データとＳ１４０４で作成した右目用画像データを用いて、図１３で説明した左右画像３Ｄ再生処理が実行される。その際、前記した欠落画素に色空間情報が付与される。こうして、視差マップデータを有する画像ファイルから左目用画像および右目用画像のデータが生成され、これらの画像データに基づいて３Ｄ再生が可能となる。
Ｓ１４０１の視差マップ取得処理では、メモリ部５０８に展開した画像ファイルのデータから合成ＪＰＥＧ画像用視差マップのデータが取得される。次にＳ１４０２の基準画像データ取得処理では、メモリ部５０８に展開した画像ファイルのデータから基準画像データが取得される。ここでいう基準画像とは、Ｓ１４０１で取得した視差マップに対応する画像データのことであり、本実施形態では合成ＪＰＥＧ画像データとする。次にＳ１４０３の左目用画像データ作成処理では、Ｓ１４０１で取得した視差マップとＳ１４０２で取得した基準画像のデータから、左目用画像データが作成される。視差マップは合成画像の被写体像の重心から左目用画像にて該当する重心までの視差量のデータを含む。このデータを用いて、被写体像を視差量に対応する左目用画像の重心に移動させることで左目用画像データが生成される。次にＳ１４０４の右目用画像データ作成処理では、Ｓ１４０１で取得した視差マップとＳ１４０２で取得した基準画像データから、右目用画像データが作成される。本処理は左目用画像データ作成処理と同様に行われるが、この場合、視差マップデータの示す視差量の符号を反転させることにより、合成画像の被写体像の重心から右目用画像にて該当する重心までの視差量が得られる。被写体像を視差量に対応する右目用画像の重心に移動させることで右目用画像データを生成することができる。次のＳ１４０５では、Ｓ１４０３で作成した左目用画像データとＳ１４０４で作成した右目用画像データを用いて、図１３で説明した左右画像３Ｄ再生処理が実行される。その際、前記した欠落画素に色空間情報が付与される。こうして、視差マップデータを有する画像ファイルから左目用画像および右目用画像のデータが生成され、これらの画像データに基づいて３Ｄ再生が可能となる。
以上、説明したように、本実施形態によれば、ＤＣＦ画像ファイルから２Ｄ画像再生および３Ｄ画像再生を行うことができる。すなわち、撮像素子５０５から得られた複数の画像データから前記合成画像データを生成し、該合成画像データを用いた２Ｄ表示でも、該合成画像データおよび視差マップデータを用いた３Ｄ表示でも、正しい被写体形状の画像再生を実現できる。よって、ユーザは違和感なく再生画像を鑑賞することができる。
尚、本実施形態で説明した一連の処理をサムネイル画像に適用することにより、表示部５１６にインデックス表示を行う際、複数枚の縮小画像を２Ｄ表示または３Ｄ表示にて再生可能な撮像装置を提供できる。この場合、画像合成回路５１３は、前記合成画像データから縮小画像表示用の画像データを生成する。また視差マップ生成回路５１４は、前記左目用画像および右目用画像のデータを用いて縮小画像表示用の視差マップデータを生成する。システム制御部５０９は、画像ファイルが縮小画像表示用の合成画像データおよび視差マップデータを含む場合、これらのデータから左目用縮小画像および右目用縮小画像の各データを生成して立体視表示での画像再生制御を行う。また、画像ファイルが左目用縮小画像および右目用縮小画像の各データを含む場合には、該データを用いて立体視表示での縮小画像再生を行うことができる。
尚、本実施形態で説明した一連の処理をサムネイル画像に適用することにより、表示部５１６にインデックス表示を行う際、複数枚の縮小画像を２Ｄ表示または３Ｄ表示にて再生可能な撮像装置を提供できる。この場合、画像合成回路５１３は、前記合成画像データから縮小画像表示用の画像データを生成する。また視差マップ生成回路５１４は、前記左目用画像および右目用画像のデータを用いて縮小画像表示用の視差マップデータを生成する。システム制御部５０９は、画像ファイルが縮小画像表示用の合成画像データおよび視差マップデータを含む場合、これらのデータから左目用縮小画像および右目用縮小画像の各データを生成して立体視表示での画像再生制御を行う。また、画像ファイルが左目用縮小画像および右目用縮小画像の各データを含む場合には、該データを用いて立体視表示での縮小画像再生を行うことができる。
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
５０１ レンズ部
５０５ 撮像素子
５０９ システム制御部
５１０ 記録媒体制御Ｉ／Ｆ部
５１１ 記録媒体
５１３ 画像合成回路
５１４ 視差マップ生成回路
５０５ 撮像素子
５０９ システム制御部
５１０ 記録媒体制御Ｉ／Ｆ部
５１１ 記録媒体
５１３ 画像合成回路
５１４ 視差マップ生成回路
Claims (6)
- 撮像光学系の射出瞳における異なる領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部を撮像素子が有し、該撮像素子による複数の画像信号から生成した画像データを含む画像ファイルを作成し、当該画像ファイルを用いて再生処理を行う撮像装置であって、
前記撮像素子から出力される画像信号から左目用画像および右目用画像のデータを取得し、該左目用画像および右目用画像に係る加算合成によって２次元表示用の合成画像データを生成する画像合成手段と、
前記左目用画像および右目用画像のデータから視差マップデータを生成する視差マップ生成手段と、
前記画像ファイルを解析して２次元表示での画像再生および立体視表示での画像再生を制御する制御手段を備え、
前記制御手段は、前記画像ファイルが前記合成画像データおよび前記視差マップデータを含む場合、前記合成画像データを用いて２次元表示での画像再生を行い、また前記合成画像データおよび前記視差マップデータから左目用画像および右目用画像のデータを生成して立体視表示での画像再生を行うように制御することを特徴とする撮像装置。 - 前記制御手段は、前記画像ファイルが前記視差マップデータを含まず、かつ前記左目用画像および右目用画像のデータを含む場合、２次元表示での画像再生を行う際には前記合成画像データを用いて画像再生を行い、また立体視表示での画像再生を行う際には前記左目用画像および右目用画像のデータを用いて画像再生を行うように制御することを特徴とする請求項１記載の撮像装置。
- 前記制御手段は、ユーザ操作によって２次元表示での画像再生が指定されているか、または立体視表示での画像再生が指定されているかを判定し、
前記画像ファイルが前記合成画像データを含み、かつ２次元表示での画像再生が指定されている場合、前記合成画像データを用いて画像再生を行い、
前記画像ファイルが前記視差マップデータを含み、かつ立体視表示での画像再生が指定されている場合、前記合成画像データおよび前記視差マップデータから左目用画像および右目用画像のデータを生成して立体視表示での画像再生を行うように制御することを特徴とする請求項１または２記載の撮像装置。 - 前記制御手段は、前記画像ファイルが前記左目用画像および右目用画像のデータを含み、かつ立体視表示での画像再生が指定されている場合、前記左目用画像および右目用画像のデータを用いて立体視表示での画像再生を行うように制御することを特徴とする請求項３記載の撮像装置。
- 前記画像合成手段は、前記合成画像データから縮小画像表示用の画像データを生成し、
前記視差マップ生成手段は、前記左目用画像および右目用画像のデータを用いて前記縮小画像表示用の視差マップデータを生成し、
前記制御手段は、前記画像ファイルが前記縮小画像表示用の画像データおよび前記縮小画像表示用の視差マップデータを含む場合、該画像データおよび視差マップデータから左目用縮小画像および右目用縮小画像のデータを生成して立体視表示での画像再生を行うように制御することを特徴とする請求項１から４のいずれか１項記載の撮像装置。 - 撮像光学系の射出瞳における異なる領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部を撮像素子が有し、該撮像素子による複数の画像信号から生成した画像データを含む画像ファイルを作成し、当該画像ファイルを用いて再生処理を行う撮像装置にて実行される制御方法であって、
前記撮像素子から出力される画像信号から左目用画像および右目用画像のデータを取得し、該左目用画像および右目用画像に係る加算合成によって２次元表示用の合成画像データを生成する画像合成ステップと、
前記左目用画像および右目用画像のデータから視差マップデータを生成する視差マップ生成ステップと、
２次元表示での画像再生を行うか、または立体視表示での画像再生を行うかを判定する判定ステップと、
前記画像ファイルが前記合成画像データおよび前記視差マップデータを含む場合、前記合成画像データを用いて２次元表示での画像再生を行い、また前記合成画像データおよび前記視差マップデータから左目用画像および右目用画像のデータを生成して立体視表示での画像再生を行うように制御する制御ステップを有することを特徴とする撮像装置の制御方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011220409A JP5864992B2 (ja) | 2011-10-04 | 2011-10-04 | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
| US13/615,996 US9521395B2 (en) | 2011-10-04 | 2012-09-14 | Imaging apparatus and method for controlling same |
| CN201210381242.0A CN103037235B (zh) | 2011-10-04 | 2012-10-08 | 摄像装置及其控制方法 |
| US15/337,651 US9924155B2 (en) | 2011-10-04 | 2016-10-28 | Imaging apparatus and method for controlling same |
| US15/899,901 US10587860B2 (en) | 2011-10-04 | 2018-02-20 | Imaging apparatus and method for controlling same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011220409A JP5864992B2 (ja) | 2011-10-04 | 2011-10-04 | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015255039A Division JP6177305B2 (ja) | 2015-12-25 | 2015-12-25 | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013081105A true JP2013081105A (ja) | 2013-05-02 |
| JP5864992B2 JP5864992B2 (ja) | 2016-02-17 |
Family
ID=48527144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011220409A Active JP5864992B2 (ja) | 2011-10-04 | 2011-10-04 | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5864992B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9521395B2 (en) | 2011-10-04 | 2016-12-13 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling same |
| JP6177305B2 (ja) * | 2015-12-25 | 2017-08-09 | キヤノン株式会社 | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000078611A (ja) * | 1998-08-31 | 2000-03-14 | Toshiba Corp | 立体映像受信装置及び立体映像システム |
| JP2008299184A (ja) * | 2007-06-01 | 2008-12-11 | Nikon Corp | 撮像装置および焦点検出装置 |
-
2011
- 2011-10-04 JP JP2011220409A patent/JP5864992B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000078611A (ja) * | 1998-08-31 | 2000-03-14 | Toshiba Corp | 立体映像受信装置及び立体映像システム |
| JP2008299184A (ja) * | 2007-06-01 | 2008-12-11 | Nikon Corp | 撮像装置および焦点検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5864992B2 (ja) | 2016-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10587860B2 (en) | Imaging apparatus and method for controlling same | |
| JP5096048B2 (ja) | 撮像装置、立体画像再生装置及び立体画像再生プログラム | |
| JP4763827B2 (ja) | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム | |
| JP5614268B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP2013061440A (ja) | 撮像装置および撮像装置の制御方法 | |
| JP6053276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
| JP5864992B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 | |
| JP5924943B2 (ja) | 撮像装置および撮像装置の制御方法 | |
| JP6004741B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
| JP2014022888A (ja) | 撮像装置および撮像装置の制御方法 | |
| JP5704885B2 (ja) | 撮影機器、撮影方法及び撮影制御プログラム | |
| JP6366793B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
| JP5911276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
| JP6177305B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 | |
| JP6433474B2 (ja) | 撮像装置およびその制御方法 | |
| JP2016163235A (ja) | 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体 | |
| JP6172949B2 (ja) | 撮像装置、撮像装置の制御方法、画像処理装置および画像処理装置の制御方法 | |
| JP2016154360A (ja) | 撮像装置およびその制御方法 | |
| JP2014204299A (ja) | 撮像装置および撮像装置の制御方法 | |
| JP2014090252A (ja) | 画像処理装置およびその制御方法、撮像装置およびその制御方法、並びに画像処理プログラム | |
| JP6161307B2 (ja) | 撮像装置およびその制御方法 | |
| JP6230266B2 (ja) | 撮像装置、画像処理装置、および制御方法 | |
| JP5307189B2 (ja) | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム | |
| JP2013157726A (ja) | 撮像装置および撮像装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140925 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150414 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151225 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5864992 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |