JP2015181213A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2015181213A
JP2015181213A JP2014188275A JP2014188275A JP2015181213A JP 2015181213 A JP2015181213 A JP 2015181213A JP 2014188275 A JP2014188275 A JP 2014188275A JP 2014188275 A JP2014188275 A JP 2014188275A JP 2015181213 A JP2015181213 A JP 2015181213A
Authority
JP
Japan
Prior art keywords
image
exposure
lens
pixel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014188275A
Other languages
English (en)
Other versions
JP6417809B2 (ja
Inventor
福原　隆浩
Takahiro Fukuhara
隆浩 福原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014188275A priority Critical patent/JP6417809B2/ja
Priority to US14/608,778 priority patent/US20150256734A1/en
Publication of JP2015181213A publication Critical patent/JP2015181213A/ja
Application granted granted Critical
Publication of JP6417809B2 publication Critical patent/JP6417809B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像する。【解決手段】レンズ・アレイ３０２は、低露光レンズの特性を持つＬレンズと高露光レンズの特性を持つＨレンズという２種類のマイクロ・レンズを２次元平面上に交互に配置して構成され、撮像素子３０１の１画素に対して１個のマイクロ・レンズを設置する。ＬレンズとＨレンズの撮像画像が各々、撮像素子３０１上の画素に入力して、光電変換が行なわれる。Ｈ画素からは高露光画素信号１０３、Ｌ画素からは低露光画素信号１０４がそれぞれ出力される。【選択図】 図３

Description

本明細書で開示する技術は、低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像する撮像装置に関する。
撮像素子（イメージセンサー）の高ビット化、ディスプレイでの高ビット対応などによって、画像の高ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）化が進んでいる。ＨＤＲ画像は、最大明度色と最低明度色の間のコントラスト比が例えば１００００：１以上に達し、現実世界をリアルに表現することができる。ＨＤＲ画像は、陰影をリアルに表現できる、露出をシミュレーションできる、眩しさを表現できるなどの利点がある。
ＨＤＲ技術の応用分野として、撮像素子（ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｅｔａｌ Ｏｘｙｄｅ Ｓｅｍｉｃｏｎｃｕｄｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｏｐｌｅｄ Ｄｅｖｉｃｅ）センサー）からキャプチャーした画像を用いた機器やデバイス、ディジタル・スチル・カメラ、動画用カムコーダー、医療用画像カメラ、監視カメラ、ディジタル・シネマ撮影用カメラ、両眼画像カメラ、ディスプレイなどを挙げることができる。
低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像するさまざまの技術が提案されている。
例えば、露光量の異なる複数の撮像画像からＨＤＲ画像を合成する撮像装置について提案がなされている（例えば、特許文献１を参照のこと）。しかしながら、複数のフレームから１フレームのＨＤＲ画像を合成する場合、以下のような問題点がある。
（１）複数のフレーム分のメモリーが必要
（２）複数のフレームの撮影と処理のための遅延時間
（３）動被写体でのＭｏｔｉｏｎ Ｂｌｕｒ
また、露光値に対応する透明度が異なるセルの２次元アレイからなるマスク板を画像センシング・デバイスの前に置いて、１フレーム内で画素毎に露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して高ダイナミック・レンジの画像信号を生成する撮像装置について提案がなされている（例えば、特許文献２を参照のこと）。
他方、１フレームから特性又は撮像条件が異なる画像信号を得る技術として、Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ（ＬＦＰ）技術が知られている。ＬＦＰを用いた撮像装置は、撮像レンズとイメージ・センサーの間にレンズ・アレイを配置したものである。被写体からの入射光線は、レンズ・アレイにおいて各視点の光線に分離された後に、イメージ・センサーで受光される。そして、イメージ・センサーから得られる画素データを用いて、同時刻に多視点の画像を生成する（例えば、特許文献３、非特許文献１を参照のこと）。
ＬＰＦ技術は、レンズ・アレイを用いて視点分割して、１フレーム内に複数の視点の画像を生成する。具体的には、ＬＦＰ技術を用いた撮像装置では、レンズ・アレイの１つのレンズを通過した光線は、イメージ・センサー上のｍ×ｎ画素（但し、ｍ、ｎはそれぞれ１以上の整数とする）の画素において受光される。すなわち、各レンズに対応する画素数（ｍ×ｎ個）分の視点画像を得ることができる。ＬＦＰ技術を用いた撮像装置のこのような特徴を利用すれば、位相差の異なる他視点のうち、左方向と右方向の各視点における視差画像を生成することができる。つまり、両眼視差を使ったストレオ画像視が可能になる。
本明細書で開示する技術の目的は、低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像することができる、優れた撮像装置を提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
撮像レンズと、
前記撮像レンズにより集光された光を光電変換する撮像素子と、
露光条件が異なるマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されて、各マイクロ・レンズが出力する光を前記撮像素子の撮像面に結像させるレンズ・アレイと、
を具備する撮像装置である。
本願の請求項２に記載の技術によれば、請求項１に記載の撮像装置は、前記撮像素子から出力される露光条件の異なる複数の撮像画像を合成して、高ダイナミック・レンジの画像を生成する画像合成部をさらに備えている。
本願の請求項３に記載の技術によれば、請求項２に記載の撮像装置の前記レンズ・アレイは、低露光レンズ特性を持つマイクロ・レンズと高露光レンズ特性を持つマイクロ・レンズを含んでいる。そして、前記撮像素子は、前記低露光レンズ特性及び前記高露光レンズ特性を持つ各マイクロ・レンズの出力光をそれぞれ光電変換して低露光画像と高露光画像を撮影し、前記画像合成部は、前記低露光画像と前記高露光画像を合成して高ダイナミック・レンジの画像を生成するように構成されている。
本願の請求項４に記載の技術によれば、請求項２に記載の撮像装置の前記レンズ・アレイは、露光レンズ特性が異なる３種類以上のマイクロ・レンズを含んでいる。そして、前記撮像素子は、露光レンズ特性毎のマイクロ・レンズの出力光をそれぞれ光電変換して露光条件が異なる３種類以上の画像を撮影し、前記画像合成部は、前記露光条件が異なる３種類以上の撮像画像を合成して高ダイナミック・レンジの画像を生成するように構成されている。
本願の請求項５に記載の技術によれば、請求項１乃至４に記載の撮像装置は、前記撮像素子で結像した後に、露光条件が異なる各撮像画像について、露光条件が同じ隣接画素値を用いて他の露光条件の画素位置の画素を補間して解像度を向上させる補間手段をさらに備えている。
本願の請求項６に記載の技術によれば、請求項５に記載の撮像装置の前記補間手段は、露光条件が異なる各撮像画像を前記の画素補間により入力画像と同一の解像度に向上させるように構成されている。
本願の請求項７に記載の技術によれば、請求項１乃至６に記載の撮像装置の前記マイクロ・レンズは、対応する露光条件に合わせた光量を制御するための絞りを備えている。
また、本願の請求項８に記載の技術は、
撮像レンズと、
前記撮像レンズにより集光された光を光電変換する撮像素子と、
前記撮像素子のｍ×ｎ個の画素がそれぞれ割り当てられた複数のマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されたレンズ・アレイと、
前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データを合成する画像合成部と、
を具備する撮像装置である。
本願の請求項９に記載の技術によれば、請求項８に記載の撮像装置の前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像を生成するように構成されている。
本願の請求項１０に記載の技術によれば、請求項８に記載の撮像装置の前記画像合成部は、各マイクロ・レンズを通過する左眼用の光線を受光する画素から読み出した画像データに基づいて左眼用画像を合成するとともに、右眼用のように構成されている。
本願の請求項１１に記載の技術によれば、請求項８に記載の撮像装置の前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、露光条件の異なる複数の画像を同時に生成するように構成されている。
本願の請求項１２に記載の技術によれば、請求項１１に記載の撮像装置の前記画像合成部は、各マイクロ・レンズを通過する光を受光するｍ×ｎ個の画素のうち、低露光条件に設定された画素から読み出した画像データに基づいて低露光画像を生成するとともに、高露光条件に設定された画素から読み出した画像データに基づいて高露光画像を前記低露光画像と同時に生成するように構成されている。
本願の請求項１３に記載の技術によれば、請求項８に記載の撮像装置の前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像と、低露光画像及び高露光画像を同時に生成するように構成されている。
本願の請求項１４に記載の技術によれば、請求項１１乃至１３のいずれかに記載の撮像装置の前記画像合成部は、同時に生成した低露光画像と高露光画像を合成して、高ダイナミック・レンジ画像を生成するように構成されている。
本願の請求項１５に記載の技術によれば、請求項８に記載の撮像装置の前記撮像素子は、水平方向及び垂直方向に沿って格子状に正方配列した画素群を、受光面内において所定の角度だけ回転した状態で配設している。
本願の請求項１６に記載の技術によれば、請求項１１乃至１３のいずれかに記載の撮像装置は、それぞれの露光条件に合わせた光量となるように各画素の露光時間を制御するように構成されている。
本願の請求項１７に記載の技術によれば、請求項１１乃至１３のいずれかに記載の撮像装置は、それぞれの露光条件に合わせた光量となるように各画素に入射する光の絞り量を制御するように構成されている。
本願の請求項１８に記載の技術によれば、請求項１３に記載の撮像装置は、前記画像合成部で生成した画像をエンコードしてコード・ストリームを出力するエンコード部をさらに備えている。
本願の請求項１９に記載の技術によれば、請求項１８に記載の撮像装置は、指示情報に基づいてステレオ画像又は高ダイナミック・レンジ画像のいずれを生成するかを選択し、前記エンコード部は、ステレオ画像を生成することが選択されたときにはステレオ画像のエンコード結果を出力し、高ダイナミック・レンジ画像を生成することが選択されたときには高ダイナミック・レンジ画像のエンコード結果を出力するように構成されている。
本願の請求項２０に記載の技術によれば、請求項１９に記載の撮像装置の前記エンコード部は、高ダイナミック・レンジ画像をエンコードする際に、高ダイナミック・レンジ画像をトーン・マッピングするトーン・マッピング部と、トーン・マッピングした後の画像をエンコードする第１のエンコーダー部と、前記第１のエンコーダー部によるエンコード結果をデコードするデコーダー部と、前記デコーダー部によるデコード結果を逆トーン・マッピングする逆トーン・マッピング部と、元の高ダイナミック・レンジ画像と逆トーン・マッピングした画像の差分を計算する差分計算部と、前記差分計算部による差分画像をエンコードする第２のエンコーダー部を備えている。
本明細書で開示する技術によれば、低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像することができる、優れた撮像装置を提供することができる。
本明細書で開示する技術によれば、低ダイナミック・レンジの撮像素子を用いた１フレームの画像から高ダイナミック・レンジの画像を生成するので、複数のフレームから高ダイナミック・レンジの画像を生成する場合の、メモリー、遅延、動被写体のＭｏｔｉｏｎ Ｂｌｕｒといった問題を解決することができる。
本明細書で開示する技術によれば、撮像素子の前面にＬＦＰ技術におけるレンズ・アレイを配置し、レンズ・アレイの各マイクロ・レンズを通過する光線を異なる露光条件で出力するように制御して、同時刻に露光条件の異なる複数の露光画像を得ると、これらを合成することによって１フレーム内で高ダイナミック・レンジの画像を生成することができる。本明細書で開示する技術によれば、高ダイナミック・レンジの画像を生成する処理が１フレームで完結するので、フレーム・メモリーを節約することができ、また、遅延時間が短くなることから動被写体のＭｏｔｉｏｎ Ｂｌｕｒといった問題も解決することができる。さらに、本明細書で開示する技術によれば、ＬＦＰの原理から、両名視差を利用したステレオ画像を生成することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、本明細書で開示する技術の第１の実施例に係る撮像装置１００を概念的に示した図である。 図２は、本明細書で開示する技術の第１の実施例に係る撮像装置の変形例２００を概念的に示した図である。 図３は、図１に示した撮像部１０１の構成例を示した図である。 図４は、撮像素子３０１の撮像面４０１を示した図である。 図５は、Ｌ成分画素の補間処理を行なう様子を示した図である。 図６は、Ｈ成分画素の補間処理を行なう様子を示した図である。 図７は、Ｌ成分画素及びＨ成分画素の両方について補間処理を行なって、原画像と同一解像度のＬ成分画像とＨ成分画像が生成される様子を示した図である。 図８は、図２に示した撮像部２０１の構成例を示した図である。 図９は、撮像素子２０１の撮像面９０１を示した図である。 図１０は、Ｌ成分画素、Ｍ成分画素、及びＨ成分画素の各々について補間処理を行なって、原画像と同一解像度のＬ成分画像とＭ成分画像、Ｈ成分画像が生成される様子を示した図である。 図１１は、絞り窓（絞り量を小さくして、画素を高露光量に設定した場合）を例示した図である。 図１２は、絞り窓（絞り量を中程度にして、対応する画素を中露光量に設定した場合）を例示した図である。 図１３は、絞り窓（絞り量を大きくして、対応する画素を低露光量に設定した場合）を例示した図である。 図１４は、本明細書で開示する技術の第２の実施例に係る撮像装置１４００の全体構成を示した図である。 図１５は、レンズ・アレイ１４０２と撮像素子１４０３との配置例を示した図である。 図１６は、撮像素子１４０３の画素配列（斜め配列）を示した図である。 図１７は、通常の正方配列をした画素配列例を示した図である。 図１８は、斜め配列した画素群から視差画像の画像データを読み出す様子を示した図である。 図１９は、正方配列した画素群から視差画像の画像データを読み出す様子を示した図である。 図２０は、ＬＦＰ技術を適用し、各マイクロ・レンズが左右視差分離を行なう撮像素子の構成例（正方配列の場合）を示した図である。 図２１は、ＬＦＰ技術を適用し、斜め配列した撮像素子の各画素の分割画素からマイクロ・レンズの左右視差分離により視差画像を取得する仕組みを説明するための図である。 図２２は、図２１に示した撮像素子の画素配列を概念的に示した図である。 図２３は、ＬＦＰ技術を適用し、斜め配列した撮像素子の２×２個の画素の各分割画素からマイクロ・レンズの左右視差分離により視差画像を取得する仕組みを説明するための図である。 図２４は、ＬＦＰ技術を適用し、斜め配列した撮像素子の各画素の分割画素から低露光時間（Ｓｅ）及び長露光時間（Ｌｅ）の画像データを取得する仕組みを説明するための図である。 図２５は、ＬＦＰ技術を適用し、斜め配列した撮像素子の２×２個の画素の各分割画素から低露光時間（Ｓｅ）及び長露光時間（Ｌｅ）の画像データを取得する仕組みを説明するための図である。 図２６は、ＬＦＰ技術を適用し、斜め配列した撮像素子から高ダイナミック・レンジのステレオ画像を取得する仕組みを説明するための図である。 図２７は、図２６の変形例を示した図である。 図２８は、高ダイナミック・レンジ画像を圧縮する画像圧縮装置２８００の構成例を示した図である。 図２９は、画像圧縮装置２８００から出力される圧縮画像を復号する画像復号装置２９００の構成例を示した図である。 図３０は、高ダイナミック・レンジのステレオ画像を圧縮する画像圧縮装置３０００の構成例を示した図である。 図３１は、画像圧縮装置３０００から出力される圧縮ステレオ画像を復号する画像復号装置３１００の構成例を示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図１には、本明細書で開示する技術の第１の実施例に係る撮像装置１００を概念的に示している。
撮像部１０１は、１回の撮像で、高露光量の画像信号１０３と低露光量の画像信号１０４を含んだ１フレームを出力する。そして、画像合成部１０２は、高露光量の画像信号１０３と低露光量の画像信号１０４を合成して、１フレームすなわち１回の撮像で、ＨＤＲ画像を生成する。高露光量、低露光量といった露光条件の相違は、画素毎の露光時間や露光時の絞り窓の絞り量などで制御することができる。
また、図２には、本明細書で開示する技術の第１の実施例に係る撮像装置の変形例２００を概念的に示している。
撮像部２０１は、１回の撮像で、高露光量の画像信号２０３と低露光量の画像信号２０４と中露光量の画像信号２０５を含んだ１フレームを出力する。そして、画像合成部２０２は、高露光量の画像信号２０３と低露光量の画像信号２０４と中露光量の画像信号２０５を合成して、１フレームすなわち１回の撮像で、ＨＤＲ画像を生成する。高露光量、低露光量といった露光条件の相違は、画素毎の露光時間や露光時の絞り窓の絞り量などで制御することができる。
１フレームから特性又は撮像条件が異なる画像信号を得る技術として、Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ（ＬＦＰ）技術が知られている。ＬＦＰを用いた撮像装置は、撮像レンズとイメージ・センサーの間にレンズ・アレイを配置したものである。被写体からの入射光線は、レンズ・アレイにおいて各視点の光線に分離された後に、イメージ・センサーで受光される。そして、イメージ・センサーから得られる画素データを用いて、同時刻に多視点の画像を生成する（例えば、特許文献３、非特許文献１）。
ＬＰＦ技術は、レンズ・アレイを用いて視点分割して、１フレーム内に複数の視点の画像を生成する。これに対し、第１の実施例では、撮像部１０１（若しくは、２０１）の撮像素子面の前面にレンズ・アレイを配置する点では従来のＬＰＦと同様であるが、露光特性の異なるマイクロ・レンズを組み合わせたレンズ・アレイを用いることで、１フレームで露光量の異なる画像を生成する点で相違する。そして、本実施形態では、露光量の異なる画像を合成することで、１フレームからＨＤＲ画像を生成することができる。
図３には、図１に示した撮像部１０１の構成例を示している。図示のように、撮像部１０１は、ＬＦＰ技術を適用して構成されており、撮像素子３０１の撮像面の前面には、レンズ・アレイ３０２が配置されている。レンズ・アレイ３０２は、マイクロ・レンズを２次元平面上に交互に配置して構成され、撮像レンズ３０３の焦点面に対して光軸方向に間隔を空けて配置されている。具体的には、レンズ・アレイ３０２は、撮像レンズ３０３の焦点面（結像面）に配置され、また、レンズ・アレイ３０２のマイクロ・レンズの焦点位置に撮像素子３０１が配設されている。
本実施例では、レンズ・アレイ３０２は、低露光レンズの特性を持つＬレンズと高露光レンズの特性を持つＨレンズという２種類のマイクロ・レンズを２次元平面上に交互に配置して構成される。そして、撮像素子３０１の１画素に対して１個のマイクロ・レンズを設置する（すなわち、画素とマイクロ・レンズが１対１に対応する）という構成であり、各画素には、対応するマイクロ・レンズを通過した光が照射される。したがって、ＬレンズとＨレンズの撮像画像が各々、撮像素子３０１上の画素に入力して、光電変換が行なわれる。その結果、Ｈレンズの通過光が照射されたＨ画素からは高露光画素信号１０３され、Ｌレンズの通過光が照射されたＬ画素からは低露光画素信号１０４が出力される。
図４には、撮像素子３０１の撮像面４０１を示している。図示のように、２次元平面上ではＨ画素とＬ画素が水平及び垂直方向に交互に配置されている。１フレームに高露光画素信号と低露光画素信号を含むことから、ダイナミック・レンジが向上する。しかしながら、１フレームすなわち１回の撮影で撮像素子３０１から得られる高露光画像並びに低露光画像はともに、原画像に対して解像度が２分の１の画像に低下することが、図４からも理解できよう。ダイナミック・レンジは向上するが、解像度が落ちるのは、これが理由である。
そこで、撮像部１０１内では、撮像素子３０１から出力される撮像画像に対し、隣接するＬ成分画素同士の補間処理（例えば、平均値算出）によって、本来はＨ成分画素のある位置に新たなＬ成分画素Ｌ１、Ｌ２を生成する。これによって、実際には存在しないＬ成分画素であるが隣接画素は値が類似していることが多いので、補填する効果は高く、本手段によって入力画像の元の解像度も維持できる。図５には、Ｌ成分画素の補間処理を行なう様子を示している。
また、Ｈ成分画素についても同様に、図６に示すように、隣接するＨ成分画素同士の補間処理（例えば、平均値算出）によって、本来はＬ成分画素のある位置に新たなＨ成分画素Ｈ１、Ｈ２を生成する。これによって、実際には存在しないＨ成分画素であるが隣接画素は値が類似していることが多いので、補填する効果は高く、本手段によって入力画像の元の解像度も維持できる。
図５及び図６に示したように、Ｌ成分画素及びＨ成分画素の両方について、他の成分の画素位置に、隣接する同一成分の画素同士の補間処理を行なうと、図７に示すように、原画像と同一解像度のＬ成分画像７０１とＨ成分画像７０２が生成される。
画像合成部１０２は、この２枚の画像７０１、７０２を合成して、白飛びや黒潰れなどが生じない、高ダイナミック・レンジの画像を生成することができる。但し、露光特性が異なる複数の画像を合成して高ダイナミック・レンジの画像を生成するための幾つかの方法が既に当業界で知られており、本実施例は特定の画像合成方法には限定されない。一般には、高い露光量の画像での白飛び画像を低減し、低い露光量での黒潰れを解消しながら、且つ、画像全体のダイナミック・レンジが上がるような画像処理を施す方法が知られている。
図１及び図３に示した例では、２種類の露光特性を持つレンズ・アレイ３０２を用いて２種類の露光条件で撮影した画像を生成して、高ダイナミック・レンジの画像を合成する。さらに３種類以上の露光条件で撮影した画像を生成すれば、さらに高品位な高ダイナミック・レンジの画像を合成するためには、有効である。
図８には、図２に示した撮像部２０１の構成例を示している。図示のように、撮像部２０１の撮像素子８０１の撮像面の前面には、レンズ・アレイ８０２が配置されている。レンズ・アレイ８０２は、マイクロ・レンズを２次元平面上に交互に配置して構成され、撮像レンズ８０３の焦点面に対して光軸方向に間隔を空けて配置されている。具体的には、レンズ・アレイ８０２は、撮像レンズ８０１の焦点面（結像面）に配置され、また、レンズ・アレイ８０２のマイクロ・レンズの焦点位置に撮像素子８０１が配設されている。
本実施例では、レンズ・アレイ８０２は、低露光レンズの特性を持つＬレンズと、高露光レンズの特性を持つＨレンズと、中露光レンズの特性を持つＭレンズという３種類のマイクロ・レンズを２次元平面上に交互に配置して構成される。そして、撮像素子８０１の１画素に対して１個のマイクロ・レンズを設置する（すなわち、画素とマイクロ・レンズが１対１に対応する）という構成であり、各画素には、対応するマイクロ・レンズを通過した光が照射される。したがって、ＬレンズとＨレンズとＭレンズの撮像画像が各々、撮像素子８０１上の画素に入力して、光電変換が行なわれる。その結果、Ｈレンズの通過光が照射されたＨ画素からは高露光画素信号２０３され、Ｌレンズの通過光が照射されたＬ画素からは低露光画素信号２０４が出力され、Ｍレンズの通過光が照射されたＭ画素からは中露光画素信号２０５が出力される。
図９には、撮像素子２０１の撮像面９０１を示している。図示のように、２次元平面上ではＨ画素とＭ画素とＬ画素が水平及び垂直方向に順に配置されている。１フレームに高露光画素信号と中露光画素信号と低露光画素信号を含むことから、ダイナミック・レンジは図４に示した例よりもさらに向上する。しかしながら、１フレームすなわち１回の撮影で撮像素子８０１から得られる高露光画像、中露光画像、並びに低露光画像はともに、原画像に対して解像度が３分の１の画像に低下することが、図９からも理解できよう。
そこで、撮像部２０１内では、撮像素子８０１から出力される撮像画像に対し、Ｌ成分画素と、Ｍ成分画素、Ｈ成分画素の各々について、他の成分の画素位置に、隣接する同一成分の画素同士の補間処理を行なう。これによって、実際には存在しない他の成分画素であるが隣接画素は値が類似していることが多いので、補填する効果は高く、本手段によって入力画像の元の解像度も維持できる。図１０には、Ｌ成分画素、Ｍ成分画素、及びＨ成分画素の各々について補間処理を行なって、原画像と同一解像度のＬ成分画像１００１とＭ成分画像１００２、Ｈ成分画像１００３が生成される様子を示している。
画像合成部２０２は、これら３枚の画像１００１、１００２、１００３を合成して、白飛びや黒潰れなどが生じない、さらに高ダイナミック・レンジの画像を生成することができる。但し、露光特性が異なる複数の画像を合成して高ダイナミック・レンジの画像を生成するための幾つかの方法が既に当業界で知られており、本実施例は特定の画像合成方法には限定されない。
なお、レンズ・アレイ３０２、８０２の各マイクロ・レンズの露光条件の設定には各種の手法が考えられる。レンズの前面にフィルターを置いて光の透過率を制御する手法や、メカニカル的に難しいが、マイクロ・レンズの前面にメカニカル・シャッターを配置して、シャッター速度の制御によって露光量を決める手段などを挙げることができる。シャッター速度を速めれば光量が減るので低露光になりＬ成分画像が得られる。他方、シャッター速度を遅くすれば光量が増えるので高露光になりＨ成分画像が得られる。
また、レンズ・アレイ８０２（若しくは３０２）を構成する個々のマイクロ・レンズの外周に絞り窓を配置し、対応する画素の露光特性に応じた絞り量にそれぞれ設定することで、比較的容易で且つ効果的に露光条件を設定することができる。図１１には、絞り量を小さくして、対応する画素を高露光量に設定した場合を例示している。また、図１２には、絞り量を中程度にして、対応する画素を中露光量に設定した場合を例示している。また、図１３には、絞り量を大きくして、対応する画素を低露光量に設定した場合を例示している。これは、実際の一眼レフカメラでの絞りと原理的には同じである。図示の絞り窓を微細加工によりマイクロ・レンズ毎に取り付けることで実現することができる。
以上説明してきたように、本実施例に係る撮像装置は、撮像素子の撮像素子の前面に、マイクロ・レンズを２次元平面上に配置して構成されたレンズ・アレイが配置されている。各マイクロ・レンズはそれぞれ撮像素子の１画素と１対一に対応し、且つ、異なる露光条件が設定されているので、この撮像装置は、同時刻に露光条件の異なる複数の撮像画像を生成し、これら撮像画像から高ダイナミック・レンジの画像を合成することができる。従来は、複数の時刻のフレームをあらかじめキャプチャーしてから合成していたのに対し（例えば、特許文献１を参照のこと）、本実施例では１フレーム内で処理が完結するので、フレーム・メモリーを節約でき、遅延時間が短くなるという効果がある。
図１４には、本明細書で開示する技術の第２の実施例に係る撮像装置１４００の全体構成を示している。図示の撮像装置１４００は、ＬＦＰ技術を適用して構成されており、撮像レンズ１４０１と、レンズ・アレイ１４０２と、撮像素子１４０３と、画像処理部１４０４と、撮像素子駆動部１４０５と、制御部１４０６を備えている。撮像装置１４００は、被写体１４１０を撮影して、所定の画像処理を施すことにより、画像データＤoutを出力する。
撮像レンズ１４０１は、被写体１４１０を撮像するための主レンズであり、例えば、ビデオカメラやスチルカメラで使用される一般的な光学レンズにより構成されている。撮像レンズ１４０１の光入射側又は光出射側（図示の例では光入射側）には、開口絞り１４０７が配設されている。この開口絞り１４０７の開口形状（例えば、円形状）に相似形となる被写体１４１０の像が、撮像素子１４０３上に、レンズ・アレイ１４０２の各マイクロ・レンズの結像領域毎に形成される。
レンズ・アレイ１４０２は、複数のマイクロ・レンズが例えばガラス基板上などの２次元平面上に配置して構成されたものである。レンズ・アレイ１４０２は、撮像レンズ３０１の焦点面（結像面）に配置され、また、レンズ・アレイ１４０２のマイクロ・レンズの焦点位置に撮像素子１４０３が配設されている。各マイクロ・レンズは、例えば個体レンズや液晶レンズ、回折レンズなどにより構成されている。詳細は後述するが、レンズ・アレイ１４０２におけるマイクロ・レンズの２次元配列は、撮像素子１４０３における画素配列に対応している。
撮像素子１４０３は、レンズ・アレイ１４０２を介して受光した光線を光電変換して、撮像データＤ０を出力する。撮像素子１４０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を利用して構成され、複数の画素がマトリックス上に配列された構造を持つ。
レンズ・アレイ１４０２の各マイクロ・レンズを通過した光線はそれぞれ、撮像素子１４０３のｍ×ｎ個（例えば、２×２個）の画素のブロックで受光されるようになっている。すなわち、１つのマイクロ・レンズにｍ×ｎ個の画素のブロックが割り当てられている。言い換えれば、レンズ・アレイ１４０２により、各マイクロ・レンズに割り当てられた画素数（＝撮像素子１４０３の全画素数／レンズ・アレイ１４０２のレンズ数）分の視点分離が可能である。
ここで言う視点分離とは、撮像レンズ１４０１を通過した光線が撮像レンズ１４０１のどの位置（領域）を通過してきたものかを、その方向性を含めて、撮像素子１４０３の画素単位で記憶しておくことである。図１５には、レンズ・アレイ１４０２と撮像素子１４０３との配置例を示している。図示の例では、１つのマイクロ・レンズ１４０２ａに対して、撮像素子１４０３上の３×３画素が割り当てられ、１つのマイクロ・レンズ１４０２ａを通過した光線が３×３画素で受光されるようになっている。したがって、合計９個の視点に分離されることになる。
分離する視点数が大きくなると視差画像における角度分解能が高くなる一方、１つのマイクロ・レンズに割り当てられる画素数が少なくなるに従って視差画像における２次元解像度が高くなる。すなわち、視差画像の角度分解能と２次元解像度はトレードオフの関係にある。図１５に示した例では、合計９個の視点分離が可能であるが、オリジナルの入力画像に対して９分の１の解像度に落ちてしまう。
画像処理部１４０４は、撮像素子１４０３で得られた撮像データＤ０に対して、所定の画像処理を施し、出力画像データＤoutとして、本実施例では視差画像あるいは高ダイナミック・レンジ画像を出力する。視差画像や高ダイナミック・レンジの画像を生成する画像処理の詳細については、後述に譲る。
撮像素子駆動部１４０５は、撮像素子１４０３を駆動して、その受光動作の制御を行なう。
制御部１４０６は、例えばマイクロ・コンピューターなどにより構成され、画像処理部１４０４及び撮像素子駆動部１４０５の動作の制御を行なう。
次に、撮像素子１４０３における画素配列について説明する。図１６には、本実施例における撮像素子１４０３の画素配列例を示している。但し、図面の簡素化のため、１つのマイクロ・レンズに割り当てられる２×２個の画素のみを抽出して示している。
図１６に示す例では、撮像素子１４０３は、受光面内において、水平方向Ａ及び垂直方向Ｂのそれぞれに対して斜めとなる２方向、例えば４５°をなす２方向Ｃ及びＤに沿って、１辺の長さａの正方形状の画素Ｐを２次元配列（以下、単に「斜め配列」とする）した構造となっている。図１７には、比較として、複数の画素Ｐを、水平方向Ａ及び垂直方向Ｂに沿って格子状に配列した、通常の画素配列例（以下、単に「正方配列」とする）を示しておく。但し、図面の簡素化のため、１つのマイクロ・レンズに割り当てられる２×２個の画素のみを抽出して示している。
言い換えると、図１６に示した斜め配列は、図１７に示した正方配列された複数の画素Ｐを、受光面内において所定の角度（この場合は４５°）だけ回転した状態で配設したものである。また、図１２に示した撮像素子１４０３の斜め配列に対応して、レンズ・アレイ１４０２についても、水平方向Ａ及び垂直方向Ｂに対して所定の角度（この場合は４５°）だけ回転した２方向に沿ってマイクロ・レンズを２次元配列した平面構成となる。なお、撮像素子１４０３の受光面側にはカラー・フィルターが配設されるが、このカラー・フィルターの色配列の構成例については、例えば特許文献３を参照されたい。
図１７に示した正方配列では、１辺の長さａの正方形状の画素Ｐを水平方向Ａ及び垂直方向Ｂに沿って２次元配置させているので、画素Ｐのピッチｄ１は画素Ｐの１辺の長さａと等しくなる（すなわち、ｄ１＝ａ）。但し、ピッチｄ１は、隣り合う画素の中心Ｍ１同士の間の水平方向Ａ及び垂直方向Ｂにおける距離とする。
一方、図１６に示した斜め配列では、画素Ｐの画素サイズ自体は同じ（すなわち、１辺が長さａ）であるが、水平方向Ａ及び垂直方向Ｂを基準にした場合の画素Ｐのピッチｄは正方配列の場合のピッチｄ１の１／√２倍に縮小される。これにより、水平方向Ａ及び垂直方向Ｂにおける画素ピッチが狭くなる（ｄ＜ｄ１）。但し、ピッチｄは、隣り合う画素の中心Ｍ１同士の間の水平方向Ａ及び垂直方向Ｂにおける距離とする。
要するに、図１４並びに図１６に示した撮像装置１４００の構成例では、撮像レンズ１４０１と撮像素子１４０３の間に、各マイクロ・レンズに２×２個の画素を割り当てたレンズ・アレイ１４０２を配置しているので、被写体１４１０の光線を、互いに視点の異なる光線ベクトルとして受光することができる。また、撮像素子１４０３における画素Ｐの配列を、図１６に示した斜め配列とすることで、同一サイズの画素を水平方向Ａ及び垂直方向Ｂに沿って２次元配列した正方配列の場合と比べ、水平方向Ａ及び垂直方向Ｂにおける画素ピッチを狭くすることができる。一般に、画像の解像度は、斜め方向よりも水平、垂直方向において人間の眼によって認識され易い。したがって、斜め配列とすることによって、正方配列と比較して、見かけの画素数（２次元解像度）を向上させることができる。すなわち、見かけの解像度の低下を抑制室、示唆についての情報を取得することが可能となる。
本実施例に係る撮像装置１４００によれば、ＬＦＰ技術の原理から、レンズ・アレイ１４０２の各マイクロ・レンズでは被写体１４１０の光線を互いに視点の異なる光線ベクトルを受光することができる。したがって、取得した視差画像を、例えば両眼視差を有するステレオ画像として利用することができる。通常のステレオ画像の撮影では、左目用のカメラと右目用のカメラの２台を用いて両眼視差のある視差画像を取得する。これに対し、本実施例に係る撮像装置１４００は、ＬＦＰ技術の原理とマイクロ・レンズを用いた視差画像の生成によって、１台だけで容易にステレオ画像を取得することができる。また、上述したように、各視差画像の解像度の低下も少ない。
次に、撮像装置１４００において視差画像を生成する場合の、具体的な画像データの読み出しと生成方法について説明する。
図１８には、斜め配列した画素群から視差画像の画像データを読み出す様子を示している。また、図１９には、比較として、正方配列した画素群から視差画像の画像データを読み出す様子を示している。但し、各図において、着目する一つのマイクロ・レンズに割り当てられた２×２個の各画素には、便宜上、１〜４の番号で示すことにする。
図１９に示した正方配列の場合には、光軸対象となる左右の視差画像を得るためには、上下の画素間、すなわち、図１９中の１と３の画素同士、及び、２と４の画素同士を積分して視差画像を生成する。このため、同じマイクロ・レンズに割り当てられた４個の画素１〜４のすべてから画像データを読み出す必要がある。この場合、マイクロ・レンズ毎に２つの読み出しラインＲａ、Ｒｂを必要とする。
これに対し、図１８に示した斜め配列の場合には、マイクロ・レンズ毎に画素２と画素３の画像データを読み出すことにより、光軸対象となる左右の視差画像を生成することができる。画像データを読み出す画素２と画素３は同じライン上に配置されていることから、１つの読み出しラインＲａにおいて読み出しを行なえばよく、したがって、正方配列に比べて高速に画像データを読み出すことが可能となる。また、斜め配列の場合には、積分処理が不要であるので、被写体震度の深い視差画像を得ることができる。なお、図１８では、左右の視差画像を例に挙げて説明したが、上下２つの視差画像を生成する場合についても同様である。この場合には、マイクロ・レンズ毎に画素１と画素４の画像データを１つの読み出しラインで読み出せばよい。
しかしながら、図１８に示した斜め配列の場合、画素２と画素３から画像データを読み出して左右の視差画像を生成する場合、上方向の画素１とした方向の画素４の画像データが未使用のままで、無駄になってしまうという問題がある。同様に、画素１と画素４から画像データを読み出して上下の視差画像を生成する場合も、左方向の画素２と右方向の画素３の画像データが未使用のままとなる。
このような一部の画像データが未使用のままとなり無駄となるという問題を解決するために、図１４や図１６に示したような、１つのマイクロ・レンズに複数（ｍ×ｎ個）の画素を割り当てる構成に代えて、図２０に示すように、１つのマイクロ・レンズに水平方向に隣接する２画素のうち左側の画素の右半分と右側の画素の左半分を割り当てて、各マイクロ・レンズが左右視差分離を行なうという撮像素子の構成を用いることが考えられる。
図２０において、レンズ・アレイ１４０２の１つのマイクロ・レンズＭＬ１は、被写体１４１０の光線を、左眼の視点及び右眼の視点それぞれの光線ベクトルとして受光すると、水平方向に隣接する対応２画素のうち左側の画素の右半分に左眼用の像を結像するとともに、右側の画素の左半分に右眼用の像を結像する。画素毎に、左半分から左眼用の画像データが読み出されるとともに、右半分から右眼用の画像データが読み出されるので、未使用の画像データがなく、無駄がない。図２０に示す、マイクロ・レンズで左右視差分離を行なう構成では、水平解像度は２分の１になるが、サイド・バイ・サイド（ＳＢＳ）記録方式と合致することで有用性がある。図２０中、Ｌはステレオ画像における左（Ｌｅｆｔ）を示し、Ｒはステレオ画像における右（Ｒｉｇｈｔ）を示す。光学特性によっては、ＬとＲが逆転するケースもあり、その場合はＬとＲを入れ替えて捉えることで対応可能である。図２０に示す構成では、２×２の配列になるように、色フィルター・アレイが形成されている。
なお、図２０では、理解を容易にするために撮像素子１４０３の画素を正方配列にした構成例を示している。画素を斜め配列にした構成については、後述に譲る。また、マイクロ・レンズが左右ではなく上下視差分離を行なう構成にしたい場合には、図示を省略するが、１つのマイクロ・レンズに上下方向に隣接する２画素のうち上側の画素の下半分と下側の画素の上半分を割り当てるようにすればよい。
図２０に示した撮像素子において、画素アレイ部２０１０は、正方配列で、且つ、ベイヤー配列の色フィルター・アレイが配設されている。Ｒ画素（ＰＣＲ）２０１１、Ｇ画素（ＰＣＧ）２０１２、Ｇ画素（ＰＣＧ）２０１３、Ｂ画素（ＰＣＢ）２０１４、Ｒ画素（ＰＣＲ）２０１５、Ｇ画素（ＰＣＧ）２０１６、…が、２×２のベイヤー配列となるように、色フィルター・アレイ２００３が形成されている。第１行にＧ画素（ＰＣＧ）２０１２、Ｂ画素（ＰＣＢ）２０１４、Ｇ画素（ＰＣＢ）２０１６、…が配置され、第２行にＲ画素（ＰＣＲ）２０１１、Ｇ画素（ＰＣＧ）２０１３、Ｒ画素（ＰＣＲ）２０１５、…が配置されている。図２０では、画素アレイ部２０１０の一部のみを示しているが、図示しない部分でも、Ｂ画素の水平方向（Ｘ方向）に、隣接のベイヤー配列のＧ画素が配置され、Ｇ画素の水平方向（Ｘ方向）に、隣接のベイヤー配列のＲ画素が配置されている。
また、図２０に示す例では、Ｒ画素（ＰＣＲ）２０１１、Ｇ画素（ＰＣＧ）２０１２、Ｇ画素（ＰＣＧ）２０１３、Ｂ画素（ＰＣＢ）２０１４、Ｒ画素（ＰＣＲ）２０１５、Ｇ画素（ＰＣＧ）２０１６、…は、それぞれ水平方向（Ｘ方向）に２分割されている。
Ｒ画素（ＰＣＲ）２０１１は、画素ＤＰＣ−ＡＲ１とＤＰＣ−ＢＲ１の２の分割画素を含んで構成されている。そして、分割画素ＤＰＣ−ＡＲ１はステレオ画像のＲ用に割り当てられ、分割画素ＤＰＣ−ＢＲ１はステレオ画像のＬ用に割り当てられている。Ｒ画素（ＰＣＲ）２０１５についても同様である。
また、Ｇ画素（ＰＣＧ）２０１２は、画素ＤＰＣ−ＡＧ１とＤＰＣ−ＢＧ１の２の分割画素を含んで構成されている。そして、分割画素ＤＰＣ−ＡＧ１はステレオ画像のＲ用に割り当てられ、分割画素ＤＰＣ−ＢＧ１はステレオ画像のＬ用に割り当てられている。Ｇ画素（ＰＣＧ）２０１３並びにＧ画素（ＰＣＧ）２０１６についても同様である。
また、Ｂ画素（ＰＣＢ）２０１４は、画素ＤＰＣ−ＡＢ１とＤＰＣ−ＢＢ１の２の分割画素を含んで構成されている。そして、分割画素ＤＰＣ−ＡＢ１はステレオ画像のＲ用に割り当てられ、分割画素ＤＰＣ−ＢＢ１はステレオ画像のＬ用に割り当てられている。
図２０に示す画素配列では、同一列（Ｙ方向の配列）の各分割画素は、同一のステレオ画像のＲ用又はＬ用に割り当てられている。
半導体基板２００１には、遮光部（ＢＬＤ）や配線が形成され、その上層に色フィルター・アレイ２００３が形成され、さらに色フィルター・アレイ２００３の上層にオンチップ・レンズ・アレイ２００５が形成されている。オンチップ・レンズ・アレイ２００５の各オンチップ・レンズ（ＯＣＬ）は、画素アレイ部２０１０における各分割画素に対応するように行列状に形成されている。そして、オンチップ・レンズ・アレイ２００５の光入射側に対向して、マイクロ・レンズが２次元配列されたレンズ・アレイ１４０２が配設されている。
図２０に示す例では、１つのマイクロ・レンズ（ＭＬ）に水平方向に隣接する２画素のうち左側の画素の右半分と右側の画素の左半分を割り当てて、各マイクロ・レンズが左右視差分離を行なうように構成されている。また、同じマイクロ・レンズを共有する画素は同色ではなく異色となるように色フィルター・アレイ２００３が配置されている。
例えば、第１のマイクロ・レンズＭＬ１は、第１行において、Ｇ画素（ＰＣＧ）２０１２のステレオ画像のＬ用分割画素ＤＰＣ−ＢＧ１と、これに隣接するＢ画素（ＰＣＢ）２０１４のステレオ画像のＲ用分割画素ＤＰＣ−ＡＢ１とで共有するように配置されている。同様に、第１のマイクロ・レンズＭＬ１は、第２行において、Ｒ画素（ＰＣＧ）２０１１のステレオ画像のＬ用分割画素ＤＰＣ−ＢＲ１と、これに隣接するＧ画素（ＰＣＢ）２０１３のステレオ画像のＲ用分割画素ＤＰＣ−ＡＧ１とで共有するように配置されている。
また、第２のマイクロ・レンズＭＬ２は、第１行において、Ｂ画素（ＰＣＢ）２０１４のステレオ画像のＬ用分割画素ＤＰＣ−ＢＢ１と、これに隣接するＧ画素（ＰＣＧ）２０１６のステレオ画像のＲ用分割画素ＤＰＣ−ＡＧ１とで共有するように配置されている。同様に、第２のマイクロ・レンズＭＬ２は、第２行において、Ｇ画素（ＰＣＧ）２０１３のステレオ画像のＬ用分割画素ＤＰＣ−ＢＧ１と、これに隣接するＲ画素（ＰＣＲ）２０１５のステレオ画像のＲ用分割画素ＤＰＣ−ＡＲ１とで共有するように配置されている。
図２０には、撮像素子１４０３の画素を正方配列にした構成例を示した。これに対し、図２１には、画素を水平方向（Ｘ方向）及び垂直方向（Ｙ方向）のそれぞれに対して斜めとなる２方向、例えば４５°をなす２方向に沿って、正方形状の画素を斜め配列した撮像素子１４０３の構造を示している。なお、図面の簡素化のため、色フィルター・アレイの配列を省略して描いている。
斜め配列された各画素は、それぞれ水平方向（Ｘ方向）に２分割されている。そして、各画素の左側の分割画素はステレオ画像のＬ用に、右側の分割画素はステレオ画像のＲ用に、それぞれ割り当てられている。また、図２１に示す画素配列では、同一列（Ｙ方向の配列）の各分割画素は、同一のステレオ画像のＲ用又はＬ用に割り当てられている。すなわち、斜め配列した画素を左右に２分割することで、左右の２視差を検出することができる。
図２１に示すような、斜め配列の撮像素子の各単位画素は、例えば図２２に示すように、少なくとも受光機能（マイクロ・レンズ並びにオンチップ・レンズを含む）を含む第１の画素部２２０１と、第１の画素部に対向するように形成され、少なくとも検出機能を含む第２の画素部２２０２が積層するように構成される。第１の画素部２２０１は斜め配列として形成され、第２の画素部２２０２は正方配列として形成される。第１の画素部２２０１の行配列及び列配列と、第２の画素部２２０２の行配列及び列配列は互いに対応するように形成されている。例えば、第１の画素部２２０１がオンチップ・レンズを含み、第２の画素部２２０２が検出素子とともに配線層及びフォト・ダイオードを含む。あるいは、第１の画素部２２０１がオンチップ・レンズとともに色フィルターを含み、第２の画素部２２０２が検出素子とともに配線層及びフォト・ダイオードを含む。あるいは、第１の画素部２２０１が、オンチップ・レンズとともに色フィルター及びフォト・ダイオードを含み、第２の画素部２２０２が検出素子とともに配線層を含むという構成も挙げられる。
斜め配列された第１の画素部２２０１の各画素は、正方配列された第２の画素部２２０２の対応する行の隣接する２列に跨るように、例えばＹ方向からＸ方向に４５°だけ回転された状態で形成されている。そして、第１の画素部２２０１の各画素は、Ｙ軸を中心に左右に２分割された３角形状の分割画素ＤＰＣ１とＤＰＣ２を含むように構成され、各分割画素ＤＰＣ１は第２の画素部２２０２の隣接する２列の左側の列に配置され、ＤＰＣ２は右側の列に配置される。また、同色の２つの分割画素ＤＰＣ１とＤＰＣ２に跨って共有するように、１つのマイクロ・レンズ（ＭＬ）が配置されている。そして、一方の分割画素ＤＰＣ１はステレオ画像のＬ用に割り当てられ、他方の分割画素ＤＰＣ２はステレオ画像のＲ用に割り当てられている。第１の画素部２２０１の各画素に含まれるＬ用及びＲ用の各分割画素ＤＰＣ１とＤＰＣ２の同色の画像データは、第２の画素部２２０２側の隣接する２列の画素から読み出すことができ、その仕組みは図２０に示した撮像素子と同様である。
図２１に示した斜め配列の撮像素子の場合には、マイクロ・レンズ毎にステレオ画像のＬ用の分割画素とステレオ画像のＲ用の分割画素の画像データを読み出すことにより、光軸対象となる左右の視差画像を生成することができる。また、画像データを読み出すＬ用及びＲ用の分割画素は同じライン上に配置されていることから、１つの読み出しラインにおいて読み出しを行なえばよく、したがって、正方配列に比べて高速に画像データを読み出すことが可能となる。また、斜め配列の場合には、積分処理が不要であるので、被写体震度の深い視差画像を得ることができる。さらに、Ｌ用及びＲ用の分割画素から画像データを読み出して左右の視差画像を生成する場合、未使用の画像データはない。すなわち、無駄な画素配列がなく、ステレオ化による解像度の低下を抑制することができる。
図２１に示した撮像素子（画素アレイ部）の構成例では、１つのマイクロ・レンズに１個の画素を割り当て、且つ、各画素を左右に２分割した構造であり、両眼視差のある視差画像を効率的に取得することができる。この変形例として、１つのマイクロ・レンズに複数の画素を割り当て、且つ、各画素を左右に２分割した構造にすると、多視差の画像を包含する視差画像を効率的に取得することができる。
図２３には、斜め４５°に斜め配列された画素配列において、１つのマイクロ・レンズに２×２個の画素を割り当てた様子を示している。なお、図面の簡素化のため、色フィルター・アレイの配列を省略して描いている。
図示を省略するが、図２３に示す撮像素子も、各単位画素は、少なくとも受光機能（マイクロ・レンズ並びにオンチップ・レンズを含む）を含む第１の画素部と、第１の画素部に対向するように形成され、少なくとも検出機能を含む第２の画素部が積層するように構成される。第１の画素部は斜め配列として形成され、第２の画素部は正方配列として形成される。
第１の画素部の行配列及び列配列と、第２の画素部の行配列及び列配列は互いに対応するように形成されている。斜め配列された第１の画素部の各画素は、正方配列された第２の画素部の対応する行の隣接する２列に跨るように、例えばＹ方向からＸ方向に４５°だけ回転された状態で形成されている。そして、第１の画素部の各画素は、Ｙ軸を中心に左右に２分割された３角形状の分割画素を含むように構成され、各分割画素は第２の画素部の隣接する２列の左右それぞれの列に配置される。また、同色の２×２個の画素に跨って共有するように、１つのマイクロ・レンズ（ＭＬ）が配置されている。第１の画素部の各画素に含まれる各分割画素の画像データは、第２の画素部側の隣接する２列の画素から読み出すことができ、その仕組みは図２０に示した撮像素子と同様である。
図２３に示す撮像素子（画素アレイ部）の構成例では、１つのマイクロ・レンズに割り当てられた２×２個の画素は、Ｙ軸を中心として図中左側半分の各分割画素がステレオ画像のＬ用に割り当てられ、右側半分の各分割画素がステレオ画像のＲ用に割り当てられている。但し、図２３は、撮像素子を斜め配列した場合のステレオ画像の一例であり、他の構成例も多数存在する。
図２３において、斜め４５°に斜め配列された２×２個の画素の左側半分から読み出されたすべての画像データを積分処理するとともに右側半分から読み出されたすべての画像データを積分処理することによって、左右の視差画像を取得することができる。また、任意の２個以上のＬ用の分割画素から読み出した画像データと、任意の２個以上のＲ用の分割画素から読み出した画像データとを組み合わせて処理して、３視差以上の多視差画像を取得することもできる。
図２３において、各分割画素から読み出された画像データの処理（合成）方法は任意である。最大で、（Ｌ1，Ｒ1）、（Ｌ2，Ｒ2）、（Ｌ3，Ｒ3）、（Ｌ4，Ｒ4）という８視差画像を生成することができる。また、（Ｌ1，Ｒ1）と（Ｌ2，Ｒ2）、及び、（Ｌ3，Ｒ3）と（Ｌ4，Ｒ4）という２組の分割画素の組み合わせにより、４視差画像を生成することができる。勿論、すべての分割画素の画像データを使用する必要はなく、一部の分割画素の画像データを未使用のままとした画像処理方法も考え得る。
図２３に示した撮像素子（画素アレイ部）の構成例によれば、図２１に示した構成例よりも多くの視差画像を得ることができる。その反面、解像度が低下することも十分留意すべきである。
これまでは、ＬＦＰ技術を適用した撮像装置１４００で、左右の両眼視差を利用してステレオ画像を生成する方法について説明してきた。ＬＦＰ技術を適用した同様の撮像装置１４００を用いて、高ダイナミック・レンジ（ＨＤＲ）画像を生成することもできる。以下では、ＬＦＰ技術を適用した撮像装置１４００を用いてＨＤＲ画像を生成する実施例について説明する。
図２１には、画素を水平方向（Ｘ方向）及び垂直方向（Ｙ方向）のそれぞれに対して斜めとなる２方向、例えば４５°をなす２方向に沿って、正方形状の画素を斜め配列した撮像素子１４０３の構造を示した。斜め配列された各画素はそれぞれ、Ｙ軸を中心に水平方向（Ｘ方向）すなわち左右に２分割された３角形状の分割画素を含んでおり、第２の実施例では、各画素の左側の分割画素はステレオ画像のＬ用に、右側の分割画素はステレオ画像のＲ用に、それぞれ割り当てることにより、両眼の視差画像を取得する。
これに対し、本実施例では、図２４に示すように、各画素の左側の分割画素からステレオ画像のＬ用の画像データを読み出す代わりに、短時間露光（Ｓｈｏｒｔ Ｅｘｐｏｓｕｒｅ：Ｓｅ）を行ない、また、右側の分割画素からステレオ画像のＲ用の画像データを読み出す代わりに、長時間露光（Ｌｏｎｇ Ｅｘｐｏｓｕｒｅ：Ｌｅ）を行なう。既に述べたように、露光特性が異なる複数の画像を合成してＨＤＲ画像を生成するための幾つかの方法が当業界で知られている。本実施例では、短時間露光（Ｓｅ）などの低露光量で露光した分割画素、長時間露光（Ｌｅ）などの高露光量で露光した分割画素の各々から得られる画像データを、マイクロ・レンズ単位で合成することにより、ＨＤ画像を生成することができる。
また、図２３には、斜め配列された画素配列において、１つのマイクロ・レンズに２×２個の画素を割り当てた撮像素子１４０３の構造を示した。斜め配列された各画素は、それぞれ水平方向（Ｘ方向）すなわち左右に２分割された３角形状の分割画素を含む。第２の実施例では、１つのマイクロ・レンズに割り当てられた２×２個の画素のうち、Ｙ軸を中心として図中左側半分の各分割画素をステレオ画像のＬ用に割り当てるとともに、右側半分の各分割画素をステレオ画像のＲ用に割り当てることにより、両眼の視差画像を取得する。
これに対し、本実施例では、図２５に示すように、各２×２個の画素のＹ軸を中心として左側半分の各分割画素からステレオ画像のＬ用の画像データを読み出す代わりに、第２の画素部の対応画素で短時間露光（Ｓｅ）を行ない、また、Ｙ軸を中心として右側半分の各分割画素からステレオ画像のＲ用の画像データを読み出す代わりに、第２の画素部の対応画素で長時間露光（Ｌｅ）を行なう。既に述べたように、露光特性が異なる複数の画像を合成してＨＤＲ画像を生成するための幾つかの方法が当業界で知られている。本実施例では、短時間露光（Ｓｅ）などの低露光量で露光した画素、並びに、長時間露光（Ｌｅ）などの高露光量で露光した画素の各々から得られる画像データを、マイクロ・レンズ単位で合成することにより、ＨＤ画像を生成することができる。
なお、図２４並びに図２５では図示を省略したが、短時間露光（Ｓｅ）と短時間露光（Ｓｅ）の他に、中露光時間（Ｍｉｄｄｌｅ Ｅｘｐｏｓｕｒｅ：Ｍｅ）で中露光を行なう分割画素をさらにも受けて、中露光量の画像データを取得し、露光特性の異なる３種類の画像データをマイクロ・レンズ単位で合成することにより、ＨＤ画像を生成するようにしてもよい。
また、異なる複数種類の露光特性の画像データを得るために、分割画素毎の露光時間の相違を設定する以外に、図１１〜図１３に示したような絞り量の調整をオンチップ・レンズ毎に行なう方法も考えられる。
さらに、ＬＦＰ技術を適用した撮像装置１４００において、マイクロ・レンズによる左右視差分離と、露光時間などによる複数の露光特性の設定を同時に行うことで、
図２６には、ＬＦＰ技術を適用し、斜め配列した撮像素子から高ダイナミック・レンジのステレオ画像を取得する仕組みを示している。撮像素子の各単位画素は、少なくとも受光機能（マイクロ・レンズ並びにオンチップ・レンズを含む）を含む第１の画素部と、第１の画素部に対向するように形成され、少なくとも検出機能を含む第２の画素部が積層するように構成される。そして、第１の画素部は斜め配列として形成され、第２の画素部は正方配列として形成される（同上）。
第１の画素部の行配列及び列配列と、第２の画素部の行配列及び列配列は互いに対応するように形成されている。斜め配列された第１の画素部の各画素は、正方配列された第２の画素部の対応する行の隣接する２列に跨るように、例えばＹ方向からＸ方向に４５°だけ回転された状態で形成されている。そして、第１の画素部の各画素は、Ｙ軸を中心に左右に２分割された３角形状の分割画素を含むように構成され、各分割画素は第２の画素部の隣接する２列の左右それぞれの列に配置される。また、同色の２×２個の画素に跨って共有するように、１つのマイクロ・レンズ（ＭＬ）が配置されている。第１の画素部の各画素に含まれる各分割画素の画像データは、第２の画素部側の隣接する２列の画素から読み出すことができ、その仕組みは図２０に示した撮像素子と同様である。
図２６に示す撮像素子（画素アレイ部）の構成例では、１つのマイクロ・レンズに割り当てられた２×２個の画素は、Ｙ軸を中心として図中左側半分の各分割画素がステレオ画像のＬ用に割り当てられ、右側半分の各分割画素がステレオ画像のＲ用に割り当てられている。但し、図２６は、撮像素子を斜め配列した場合のステレオ画像の一例であり、他の構成例も多数存在する。
また、各２×２個の画素のＹ軸を中心として左側半分の各分割画素に対応する第２の画素部の画素では、それぞれ短時間露光（Ｓｅ）を行なう。また、Ｙ軸を中心として右側半分の各分割画素に対応する第２の画素部の画素では、それぞれ長時間露光（Ｌｅ）を行なう。
図２６に示す例では、各２×２個の画素内、すなわち、１つのマイクロ・レンズ内には、以下に示す４つの異なる条件の画像データがある。
ＬＬｅ：Ｌｅｆｔ＋Ｌｏｎｇ Ｅｘｐｏｓｕｒｅ （左画像で長時間露光）
ＬＳｅ：Ｌｅｆｔ＋Ｓｈｏｒｔ Ｅｘｐｏｓｕｒｅ （左画像で短時間露光）
ＲＬｅ：Ｒｉｇｈｔ＋Ｌｏｎｇ Ｅｘｐｏｓｕｒｅ （右画像で長時間露光）
ＲＳｅ：Ｒｉｇｈｔ＋Ｓｈｏｒｔ Ｅｘｐｏｓｕｒｅ （右画像で短時間露光）
既に述べたように、露光特性が異なる複数の画像を合成してＨＤＲ画像を生成するための幾つかの方法が当業界で知られている。１つのマイクロ・レンズ内に上記の４条件の画像データがある場合、ＬＬｅとＬＳｅの画像データを合成することで、左画像の高ダイナミック・レンジ画像を生成することができる。また、ＲＬｅとＲＳｅの画像データを合成することで、右画像の高ダイナミック・レンジ画像を生成することができる。
なお、図２６は、高ダイナミック・レンジの視差画像を得るための１つの構成例であり、本明細書で開示する技術はこれに限定されるものではない。図２７には、高ダイナミック・レンジの視差画像を得る他の構成例を示している。いずれの構成にせよ、１つのマイクロ・レンズ内で、ＬＬｅとＬＳｅの画像データを合成することで、左画像の高ダイナミック・レンジ画像を生成するとともに、ＲＬｅとＲＳｅの画像データを合成することで、右画像の高ダイナミック・レンジ画像を生成することができる。
また、画素の露光条件の設定には、上述したような露光時間を制御する方法以外にも、各種の方法が考えられる。レンズの前面にフィルターを設置して光の透過率を制御する方法（レンズ自体の光の透過率を制御する方法を含む）、レンズ（マイクロ・レンズ又はオンチップ・レンズ）の前面にメカニカル・シャッターを設置して、シャッター・スピードの制御によって露光量を決める方法などが挙げられる。シャッター速度を速くすれば、光量が減るので、上記の短時間露光Ｓｅに相当し、低露光量成分の画像データが得られる。他方、シャッター速度を遅くすれば、光量が増えるので、上記の長時間露光Ｌｅに相当し、高露光量成分の画像データが得られる。
また、レンズ（マイクロ・レンズ又はオンチップ・レンズ）の外周に図１１〜図１３に示したような絞り窓を設置する方法は、比較的容易で、且つ、効果が高い。絞り窓は、例えばレンズ毎に微細加工して取り付けることができるが、実際の一眼レフカメラで使用される絞りと同じ原理である。図１１に示したように絞り解放のときには、高露光なので上記の長時間露光Ｌｅに相当する。他方、図１３に示したように絞りを閉じたときには、低露光なので上記の短時間露光Ｓｅに相当する。
これまで、ＬＦＰ技術を適用した撮像装置で高ダイナミック・レンジ画像や視差画像を生成する方法について説明してきた。通常、画像は情報量が多い。したがって、画像圧縮によって情報量を削減するのが一般的である。特に動画像の場合、画像圧縮は必須である。
図２８には、高ダイナミック・レンジ画像を圧縮する画像圧縮装置２８００の構成例を示している。図示の画像圧縮装置２８００は、例えば画像処理部１４０４の後段に配設され、画像処理部１４０４から出力される非圧縮の画像データＤoutを所定の圧縮率で圧縮処理する。図示の画像圧縮装置２８００は、トーン・マッピング部２８０１と、第１のエンコーダー部２８０２と、デコーダー部２８０３と、逆トーン・マッピング部２８０４と、差分計算部２８０５と、第２のエンコーダー部２８０６を備えている。画像圧縮装置２８００は、トーン・マッピングを行なうことで低ビット深度画像を作成し、その復号画像と原画像との差分をさらに別の符号化器で符号化するという２段構成の符号化方法を採用している。
画像圧縮装置２８００に入力されるデータ２８１１は、高ダイナミック・レンジの画像であり、例えば８ビット以上の高ビット深度及び小数点精度で表現されることを想定している。高ビット深度画像を符号化する方法については、数多の提案がなされている。例えば、トーン・マッピングを用いてビット深度を変換する処理が当業界で知られている。本実施例では、トーン・マッピング部２８０１は、入力された高ダイナミック・レンジ画像２８１１をトーン・マッピングして、８ビットの画像２８１２に変換する。したがって、後続の第１のエンコーダー部２８０２は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの８ビット深度の画像に対応するエンコード処理を適用する。
デコーダー部２８０３は、第１のエンコーダー部２８０２のエンコード結果２８１３に対し、第１のエンコーダー部２８０２によるエンコード処理の逆変換に相当するデコード処理を行なって、デコード画像２８１４を得る。第１のエンコーダー部２８０２によるエンコード処理とデコーダー部２８０３によるデコード処理が可逆方式であれば、エンコード前の８ビット画像２８１２とデコード後の画像２８１４は完全に一致するが、通常は圧縮率向上のために非圧縮を行なうので両者は一致しない（デコード後の画像２８１４は、エンコード前の画像２８１２よりも劣化した画像になる）。
逆トーン・マッピング部２８０４は、デコーダー部２８０３によるデコード後の画像２８１４に対して、トーン・マッピング部２８０１によるトーン・マッピング処理の逆変換に相当する逆トーン・マッピング処理を行なう。
上述したように、第１のエンコーダー部２８０２におけるエンコード処理は非圧縮方式なので、逆トーン・マッピング部２８０４により逆トーン・マッピングした画像２８１５は、入力画像２８１１とは一致しない。差分計算部２８０５は、逆トーン・マッピング部２８０４により逆トーン・マッピングした画像２８１５と入力画像２８１１との差分を計算して、差分画像２８１６を出力する。
第２のエンコーダー部２８０６は、差分画像２８１６に対してエンコード処理を行ない、エンコード結果２８１７を出力する。
したがって、画像圧縮装置２８００全体としては、例えば通常の８ビット深度画像対応の、第１のエンコーダー部２８０２のエンコード結果２８１３と、高ダイナミック・レンジ画像との差分画像（すなわち、エンコードの誤差に対する）のエンコード結果２８１７の２つを出力することになる。
この利点としては、例えば既存の８ビット深度の画像にのみ対応可能な機器と、高ダイナミック・レンジまで対応可能な機器の双方に対して圧縮画像を提供することができることが挙げられる（但し、ここで言う「機器」は、画像ビューワーや各種ソフトウェア、ハードウェアを含むものとする）。
画像圧縮装置２８００は、既存の８ビット深度の画像にのみ対応可能な機器に対しては、第１のエンコーダー部２８０２のエンコード結果２８１３のみを出力すればよい。また、画像圧縮装置２８００は、高ダイナミック・レンジまで対応可能な機器に対しては、第１のエンコーダー部２８０２によるエンコード結果２８１３と、第２のエンコーダー部２８０６による差分画像のエンコード結果２８１７の２つを出力すればよい。すなわち、画像圧縮装置２８００は、既存の８ビット深度の画像対応の画像圧縮装置に対する後方互換性を有していると言える。
後方互換性は非常に大きな利点である。何故ならば、ＪＰＥＧやＭＰＥＧなどの８ビット対応のソフトウェアやディジタルカメラ、カメラ付き多機能端末などが既に大量に普及しているからである。
また、図２９には、画像圧縮装置２８００から出力される圧縮画像を復号する画像復号装置２９００の構成例を示している。図示の画像復号装置２９００は、第１のデコーダー部２９０１と、逆トーン・マッピング部２９０２と、第２のデコーダー部２９０３と、加算計算部２９０４を備え、第１のエンコーダー部２８０２による高ダイナミック・レンジ画像のエンコード結果２８１３と第２のエンコーダー部２８０６による差分画像のエンコード結果２８１７の２つを入力するように構成されており、高ダイナミック・レンジまで対応可能である。
第１のデコーダー部２９０１は、画像圧縮装置２８００側の第１のエンコーダー部２８０２によるエンコード結果を入力２９１１とし、第１のエンコーダー部２８０２によるエンコード処理の逆変換に相当するデコード処理を行なって、デコード画像２９１２を得る。
逆トーン・マッピング部２９０２は、第１のデコーダー部２９０１によるデコード後の画像２９１２に対して、画像圧縮装置２８００側のトーン・マッピング部２８０１によるトーン・マッピング処理の逆変換に相当する逆トーン・マッピング処理を行なって、逆トーン・マッピング画像２９１３を出力する。
一方、第２のデコーダー部２９０３は、画像圧縮装置２８００側の第２のエンコーダー部２８０６によるエンコード結果を入力２９１４とし、第２のエンコーダー部２８０６によるエンコード処理の逆変換に相当するデコード処理を行なって、デコード画像２９１５を得る。
上述したように、画像圧縮装置２８００側でのエンコード処理は非圧縮方式なので、逆トーン・マッピング部２９０２により逆トーン・マッピングした画像２９１３は、画像圧縮装置２８００に入力された元の高ダイナミック・レンジ画像２８１１とは一致しない。加算計算部２９０４は、逆トーン・マッピング部２９０２により逆トーン・マッピングした画像２９１３に、第２のデコーダー部２９０３によるデコード結果２９１５であるエンコードの誤差成分を加算して、元の状態により近い高ダイナミック・レンジ画像２９１６を生成して、画像復号装置２９００の出力とする。
続いて、高ダイナミック・レンジのステレオ画像の圧縮処理について説明する。ステレオ画像の圧縮方式については、例えば、Ｈ．２６４／ＡＶＣを拡張する形で、多視点映像符号化（ＭＶＣ：Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格として既に標準化され、ブルーレイ・ディスクでのステレオ画像表示などでも実用化されている。本実施例でも、このような国際規格を用いればよい。
図３０には、高ダイナミック・レンジ画像を圧縮する画像圧縮装置３０００の他の構成例を示している。図示の画像圧縮装置３０００は、トーン・マッピングを行なうことで低ビット深度画像を作成し、その復号画像と原画像との差分をさらに別の符号化器で符号化するという２段構成の符号化方法を採用しており（同上）、トーン・マッピング部３００１と、第１のエンコーダー部３００２と、デコーダー部３００３と、逆トーン・マッピング部３００４と、差分計算部３００５と、第２のエンコーダー部３００６を備えている。また、画像圧縮装置３０００は、高ダイナミック・レンジのステレオ画像を所定の圧縮率で圧縮処理するように構成されている。
トーン・マッピング部３００１は、入力された左右の高ダイナミック・レンジ画像３０１１Ｌ及び３０１１Ｒを別々にトーン・マッピングして、それぞれ例えば８ビットの画像３０１２Ｌ及び３０１２Ｒに変換する。トーン・マッピング部３００１は、左右の画像３０１１Ｌ及び３０１１Ｒに対して、特に異なるトーン・マッピングの手法を用いる必要はない。
第１のエンコーダー部３００２は、左右のトーン・マッピング画像３０１２Ｌ及び３０１２Ｒに対して、例えば所定の規格に則ったエンコード処理を適用して、各々のエンコード画像３０１３Ｌ及び３０１３Ｒを出力する。
デコーダー部３００３は、第１のエンコーダー部３００２の左右のエンコード画像３０１３Ｌ及び３０１３Ｒに対し、第１のエンコーダー部２８０２によるエンコード処理の逆変換に相当するデコード処理をそれぞれ行なって、左右のデコード画像３０１４Ｌ及び３０１４Ｒを得る。第１のエンコーダー部３００２によるエンコード処理とデコーダー部３００３によるデコード処理が可逆方式であれば、エンコード前の左右の画像３０１２Ｌ及び３０１２Ｒとデコード後の左右の画像３０１４Ｌ及び３０１４Ｒはそれぞれ完全に一致するが、通常は圧縮率向上のために非圧縮を行なうので両者は一致しない（デコード後の画像３０１４Ｌ及び３０１４Ｒは、エンコード前の画像３０１２Ｌ及び３０１２Ｒよりも劣化した画像になる）。
逆トーン・マッピング部３００４は、デコーダー部３００３によるデコード後の画像３０１４Ｌ及び３０１４Ｒに対して、トーン・マッピング部３００１によるトーン・マッピング処理の逆変換に相当する逆トーン・マッピング処理をそれぞれ行なう。
上述したように、第１のエンコーダー部３００２におけるエンコード処理は非圧縮方式なので、逆トーン・マッピング部３００４により逆トーン・マッピングした左右の画像３０１５Ｌ及び３０１５Ｒは、左右の入力画像３０１１Ｌ及び３０１１Ｒとは一致しない。差分計算部３００５は、逆トーン・マッピング部２８０４により逆トーン・マッピングした左右の画像３０１５Ｌ及び３０１５Ｒと左右の入力画像３０１１Ｌ及び３０１１Ｒ１との差分をそれぞれ計算して、左右の差分画像３０１６Ｌ及び３０１６Ｒを出力する。
第２のエンコーダー部３００６は、左右の差分画像３０１６Ｌ及び３０１６Ｒに対してエンコード処理をそれぞれ行ない、エンコード画像３０１７Ｌ及び３０１７Ｒを出力する。
したがって、画像圧縮装置３０００全体としては、例えば通常の８ビット深度画像対応の、第１のエンコーダー部３００２による左右のエンコード画像３０１３Ｌ及び３０１３Ｒと、左右それぞれの高ダイナミック・レンジ画像との差分画像（すなわち、エンコードの誤差に対する）のエンコード画像３０１７Ｌ及び３０１７Ｒの２通りを出力することになる。
この利点としては、例えば既存の８ビット深度の画像にのみ対応可能な機器と、高ダイナミック・レンジまで対応可能な機器の双方に対して圧縮画像を提供することができること、すなわち後方互換性を有することが挙げられる（同上）。
また、図３１には、画像圧縮装置３０００から出力される圧縮ステレオ画像を復号する画像復号装置３１００の構成例を示している。図示の画像復号装置３１００は、第１のデコーダー部３１０１と、逆トーン・マッピング部３１０２と、第２のデコーダー部３１０３と、加算計算部３１０４を備え、第１のエンコーダー部３００２による高ダイナミック・レンジのステレオ画像のエンコード結果３０１３と第２のエンコーダー部３００６による左右の差分画像のエンコード結果３０１７の２つを入力するように構成されており、高ダイナミック・レンジまで対応可能である。
第１のデコーダー部３１０１は、画像圧縮装置３０００側の第１のエンコーダー部３００２による左右のエンコード画像３１１１Ｌ及び３１１１Ｒを入力し、第１のエンコーダー部３００２によるエンコード処理の逆変換に相当するデコード処理をそれぞれ行なって、左右のデコード画像３１１２Ｌ及び３１１２Ｒを得る。
逆トーン・マッピング部３１０２は、第１のデコーダー部３１０１による左右のデコード画像３１１２Ｌ及び３１１２Ｒに対して、画像圧縮装置３０００側のトーン・マッピング部３００１によるトーン・マッピング処理の逆変換に相当する逆トーン・マッピング処理をそれぞれ行なって、左右の逆トーン・マッピング画像３１１３Ｌ及び３１１３Ｒを出力する。
一方、第２のデコーダー部３１０３は、画像圧縮装置３０００側の第２のエンコーダー部３００６による左右のエンコード画像３１１４Ｌ及び３１１４Ｒを入力し、第２のエンコーダー部３００６によるエンコード処理の逆変換に相当するデコード処理を行なって、左右のデコード画像３１１５Ｌ及び３１１５Ｒを得る。
上述したように、画像圧縮装置３０００側でのエンコード処理は非圧縮方式なので、逆トーン・マッピング部３１０２から出力される左右の逆トーン・マッピング画像３１１３Ｌ及び３１１３Ｒは、画像圧縮装置３０００に入力された元の高ダイナミック・レンジのステレオ画像３０１１Ｌ及び３０１１Ｒとは一致しない。加算計算部３１０４は、逆トーン・マッピング部３１０２により逆トーン・マッピングした左右の画像３１１３Ｌ及び３１１３Ｒに、第２のデコーダー部３１０３による左右のデコード画像３１１５Ｌ及び３１１５Ｒをそれぞれ加算して、元の状態により近い高ダイナミック・レンジのステレオ画像３１１６Ｌ及び３１１６Ｒを生成して、画像復号装置３１００の出力とする。
撮像装置１４００の内部に画像圧縮装置を組み込んで、生成した画像をエンコードして、コード・ストリームを出力するように構成することもできる。実施例３として説明したように、１台の撮像装置１４００は、ステレオ画像を生成することも、高ダイナミック・レンジ画像を生成することもできる。
また、撮像装置１４００を、ユーザーや外部機器などからの指示情報に基づいて、ステレオ画像又は高ダイナミック・レンジ画像を選択的に生成できるように構成することもできる。高ダイナミック・レンジ画像を生成する旨の指示情報が入力されたときには、撮像装置１４００に組み込まれた画像圧縮装置は、図２８に示したような動作特性で振る舞って、高ダイナミック・レンジ画像のエンコード結果を出力すればよい。他方、ステレオ画像を生成する旨の指示情報が入力されたときには、撮像装置１４００に組み込まれた画像圧縮装置は、図３０に示したような動作特性で振る舞って、ステレオ画像のエンコード結果を出力すればよい。
特開２０１３−２５５２０１号公報 特許第４４９４６９０号公報 特開２０１０−１５４４９３号公報
Ｒｅｎ．Ｎｇ外著"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"（Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２）
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書で開示する技術は、静止画並びに動画のいずれの高ダイナミック・レンジの画像を撮影する際にも適用することができる。また、本明細書で開示する技術は、多視点画像又は高ダイナミック・レンジの画像の撮影、並びに、多視点画像と高ダイナミック・レンジの画像を組み合わせた撮影に適用することができる。
本明細書で開示する技術の第３の実施例に係る撮像装置は、同時刻に多視点の画像を生成することができるＬＦＰ技術を応用して、各画素の露光条件を変えることで、高ダイナミック・レンジ画像を生成することができる。また、多視点の画像を生成することを利用して、ステレオ画像も同時に生成することができる。
さらに第４の実施例では、撮像装置の後段に画像圧縮装置を備えることで、本来大きなデータ・サイズになる高ダイナミック・レンジ画像（並びに、高ダイナミック・レンジのステレオ画像）のデータ量を大幅に削減しながら、高画質を維持することができる。
また、第２の実施例では、撮像素子の画素の２次元配列を例えば水平方向及び垂直方向のそれぞれに対して４５°だけ斜めにした斜め配列にする（すなわち、ハニカム構造化する）ことで、正方配列では画像データが未使用で無駄になっていた画素を有効利用することができ、解像度の低下を防止することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）撮像レンズと、
前記撮像レンズにより集光された光を光電変換する撮像素子と、
露光条件が異なるマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されて、各マイクロ・レンズが出力する光を前記撮像素子の撮像面に結像させるレンズ・アレイと、
を具備する撮像装置。
（２）前記撮像素子から出力される露光条件の異なる複数の撮像画像を合成して、高ダイナミック・レンジの画像を生成する画像合成部をさらに備える、
上記（１）に記載の撮像装置。
（３）前記レンズ・アレイは、低露光レンズ特性を持つマイクロ・レンズと高露光レンズ特性を持つマイクロ・レンズを含み、
前記撮像素子は、前記低露光レンズ特性及び前記高露光レンズ特性を持つ各マイクロ・レンズの出力光をそれぞれ光電変換して低露光画像と高露光画像を撮影し、
前記画像合成部は、前記低露光画像と前記高露光画像を合成して高ダイナミック・レンジの画像を生成する、
上記（２）に記載の撮像装置。
（４）前記レンズ・アレイは、露光レンズ特性が異なる３種類以上のマイクロ・レンズを含み、
前記撮像素子は、露光レンズ特性毎のマイクロ・レンズの出力光をそれぞれ光電変換して露光条件が異なる３種類以上の画像を撮影し、
前記画像合成部は、前記露光条件が異なる３種類以上の撮像画像を合成して高ダイナミック・レンジの画像を生成する、
上記（２）に記載の撮像装置。
（５）前記撮像素子で結像した後に、露光条件が異なる各撮像画像について、露光条件が同じ隣接画素値を用いて他の露光条件の画素位置の画素を補間して解像度を向上させる補間手段をさらに備える、
上記（１）乃至（４）のいずれかに記載の撮像装置。
（６）前記補間手段は、露光条件が異なる各撮像画像を前記の画素補間により入力画像と同一の解像度に向上させる、
上記（５）に記載の撮像装置。
（７）前記マイクロ・レンズは、対応する露光条件に合わせた光量を制御するための絞りを備える、
上記（１）乃至（６）のいずれかに記載の撮像装置。
（８）撮像レンズと、
前記撮像レンズにより集光された光を光電変換する撮像素子と、
前記撮像素子のｍ×ｎ個の画素がそれぞれ割り当てられた複数のマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されたレンズ・アレイと、
前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データを合成する画像合成部と、
を具備する撮像装置。
（９）前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像を生成する、
上記（８）に記載の撮像装置。
（１０）前記画像合成部は、各マイクロ・レンズを通過する左眼用の光線を受光する画素から読み出した画像データに基づいて左眼用画像を合成するとともに、右眼用の光線を受光する画素から読み出した画像データに基づいて右眼用画像を合成する、
上記（８）に記載の撮像装置。
（１１）前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、露光条件の異なる複数の画像を同時に生成する、
上記（８）に記載の撮像装置。
（１２）前記画像合成部は、各マイクロ・レンズを通過する光を受光するｍ×ｎ個の画素のうち、低露光条件に設定された画素から読み出した画像データに基づいて低露光画像を生成するとともに、高露光条件に設定された画素から読み出した画像データに基づいて高露光画像を前記低露光画像と同時に生成する、
上記（１１）に記載の撮像装置。
（１３）前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像と、低露光画像及び高露光画像を同時に生成する、
上記（８）に記載の撮像装置。
（１４）前記画像合成部は、同時に生成した低露光画像と高露光画像を合成して、高ダイナミック・レンジ画像を生成する、
上記（１１）乃至（１３）のいずれかに記載の撮像装置。
（１５）前記撮像素子は、水平方向及び垂直方向に沿って格子状に正方配列した画素群を、受光面内において所定の角度だけ回転した状態で配設する、
上記（８）に記載の撮像装置。
（１６）それぞれの露光条件に合わせた光量となるように各画素の露光時間を制御する、
上記（１１）乃至（１３）のいずれかに記載の撮像装置。
（１７）それぞれの露光条件に合わせた光量となるように各画素に入射する光の絞り量を制御する、
上記（１１）乃至（１３）のいずれかに記載の撮像装置。
（１８）前記画像合成部で生成した画像をエンコードしてコード・ストリームを出力するエンコード部をさらに備える、
上記（１３）に記載の撮像装置。
（１９）指示情報に基づいてステレオ画像又は高ダイナミック・レンジ画像のいずれを生成するかを選択し、
前記エンコード部は、ステレオ画像を生成することが選択されたときにはステレオ画像のエンコード結果を出力し、高ダイナミック・レンジ画像を生成することが選択されたときには高ダイナミック・レンジ画像のエンコード結果を出力する、
上記（１８）に記載の撮像装置。
（２０）前記エンコード部は、高ダイナミック・レンジ画像をエンコードする際に、高ダイナミック・レンジ画像をトーン・マッピングするトーン・マッピング部と、トーン・マッピングした後の画像をエンコードする第１のエンコーダー部と、前記第１のエンコーダー部によるエンコード結果をデコードするデコーダー部と、前記デコーダー部によるデコード結果を逆トーン・マッピングする逆トーン・マッピング部と、元の高ダイナミック・レンジ画像と逆トーン・マッピングした画像の差分を計算する差分計算部と、前記差分計算部による差分画像をエンコードする第２のエンコーダー部を備える、
上記（１９）に記載の撮像装置。
１００…撮像装置、１０１…撮像部、１０２…画像合成部
２００…撮像装置、２０１…撮像部、２０２…画像合成部
３０１…撮像素子、３０２…レンズ・アレイ、３０３…撮像レンズ
８０１…撮像素子、８０２…レンズ・アレイ、８０３…撮像レンズ
１４００…撮像装置、１４０１…撮像レンズ、１４０２…レンズ・アレイ
１４０３…撮像素子、１４０４…画像処理部、１４０５…撮像素子駆動部
１４０６…制御部、１４０７…開口絞り、１４１０…被写体
２８００…画像圧縮装置、２８０１…トーン・マッピング部
２８０２…第１のエンコーダー部、２８０３…デコーダー部
２８０４…逆トーン・マッピング部、２８０５差分計算部
２８０６…第２のエンコーダー部
２９００…画像復号装置、２９０１…第１のデコーダー部
２９０２…逆トーン・マッピング部、２９０３…第２のデコーダー部
２９０４…加算計算部
３０００…画像圧縮装置、３００１…トーン・マッピング部
３００２…第１のエンコーダー部、３００３…デコーダー部
３００４…逆トーン・マッピング部、３００５差分計算部
３００６…第２のエンコーダー部
３１００…画像復号装置、３１０１…第１のデコーダー部
３１０２…逆トーン・マッピング部、３１０３…第２のデコーダー部
３１０４…加算計算部

Claims (20)

  1. 撮像レンズと、
    前記撮像レンズにより集光された光を光電変換する撮像素子と、
    露光条件が異なるマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されて、各マイクロ・レンズが出力する光を前記撮像素子の撮像面に結像させるレンズ・アレイと、
    を具備する撮像装置。
  2. 前記撮像素子から出力される露光条件の異なる複数の撮像画像を合成して、高ダイナミック・レンジの画像を生成する画像合成部をさらに備える、
    請求項１に記載の撮像装置。
  3. 前記レンズ・アレイは、低露光レンズ特性を持つマイクロ・レンズと高露光レンズ特性を持つマイクロ・レンズを含み、
    前記撮像素子は、前記低露光レンズ特性及び前記高露光レンズ特性を持つ各マイクロ・レンズの出力光をそれぞれ光電変換して低露光画像と高露光画像を撮影し、
    前記画像合成部は、前記低露光画像と前記高露光画像を合成して高ダイナミック・レンジの画像を生成する、
    請求項２に記載の撮像装置。
  4. 前記レンズ・アレイは、露光レンズ特性が異なる３種類以上のマイクロ・レンズを含み、
    前記撮像素子は、露光レンズ特性毎のマイクロ・レンズの出力光をそれぞれ光電変換して露光条件が異なる３種類以上の画像を撮影し、
    前記画像合成部は、前記露光条件が異なる３種類以上の撮像画像を合成して高ダイナミック・レンジの画像を生成する、
    請求項２に記載の撮像装置。
  5. 前記撮像素子で結像した後に、露光条件が異なる各撮像画像について、露光条件が同じ隣接画素値を用いて他の露光条件の画素位置の画素を補間して解像度を向上させる補間手段をさらに備える、
    請求項１乃至４のいずれかに記載の撮像装置。
  6. 前記補間手段は、露光条件が異なる各撮像画像を前記の画素補間により入力画像と同一の解像度に向上させる、
    請求項５に記載の撮像装置。
  7. 前記マイクロ・レンズは、対応する露光条件に合わせた光量を制御するための絞りを備える、
    請求項１乃至６のいずれかに記載の撮像装置。
  8. 撮像レンズと、
    前記撮像レンズにより集光された光を光電変換する撮像素子と、
    前記撮像素子のｍ×ｎ個の画素がそれぞれ割り当てられた複数のマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されたレンズ・アレイと、
    前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データを合成する画像合成部と、
    を具備する撮像装置。
  9. 前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像を生成する、
    請求項８に記載の撮像装置。
  10. 前記画像合成部は、各マイクロ・レンズを通過する左眼用の光線を受光する画素から読み出した画像データに基づいて左眼用画像を合成するとともに、右眼用の光線を受光する画素から読み出した画像データに基づいて右眼用画像を合成する、
    請求項８に記載の撮像装置。
  11. 前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、露光条件の異なる複数の画像を同時に生成する、
    請求項８に記載の撮像装置。
  12. 前記画像合成部は、各マイクロ・レンズを通過する光を受光するｍ×ｎ個の画素のうち、低露光条件に設定された画素から読み出した画像データに基づいて低露光画像を生成するとともに、高露光条件に設定された画素から読み出した画像データに基づいて高露光画像を前記低露光画像と同時に生成する、
    請求項１１に記載の撮像装置。
  13. 前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像と、低露光画像及び高露光画像を同時に生成する、
    請求項８に記載の撮像装置。
  14. 前記画像合成部は、同時に生成した低露光画像と高露光画像を合成して、高ダイナミック・レンジ画像を生成する、
    請求項１１乃至１３のいずれかに記載の撮像装置。
  15. 前記撮像素子は、水平方向及び垂直方向に沿って格子状に正方配列した画素群を、受光面内において所定の角度だけ回転した状態で配設する、
    請求項８に記載の撮像装置。
  16. それぞれの露光条件に合わせた光量となるように各画素の露光時間を制御する、
    請求項１１乃至１３のいずれかに記載の撮像装置。
  17. それぞれの露光条件に合わせた光量となるように各画素に入射する光の絞り量を制御する、
    請求項１１乃至１３のいずれかに記載の撮像装置。
  18. 前記画像合成部で生成した画像をエンコードしてコード・ストリームを出力するエンコード部をさらに備える、
    請求項１３に記載の撮像装置。
  19. 指示情報に基づいてステレオ画像又は高ダイナミック・レンジ画像のいずれを生成するかを選択し、
    前記エンコード部は、ステレオ画像を生成することが選択されたときにはステレオ画像のエンコード結果を出力し、高ダイナミック・レンジ画像を生成することが選択されたときには高ダイナミック・レンジ画像のエンコード結果を出力する、
    請求項１８に記載の撮像装置。
  20. 前記エンコード部は、高ダイナミック・レンジ画像をエンコードする際に、高ダイナミック・レンジ画像をトーン・マッピングするトーン・マッピング部と、トーン・マッピングした後の画像をエンコードする第１のエンコーダー部と、前記第１のエンコーダー部によるエンコード結果をデコードするデコーダー部と、前記デコーダー部によるデコード結果を逆トーン・マッピングする逆トーン・マッピング部と、元の高ダイナミック・レンジ画像と逆トーン・マッピングした画像の差分を計算する差分計算部と、前記差分計算部による差分画像をエンコードする第２のエンコーダー部を備える、
    請求項１９に記載の撮像装置。
JP2014188275A 2014-03-05 2014-09-16 撮像装置 Active JP6417809B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014188275A JP6417809B2 (ja) 2014-03-05 2014-09-16 撮像装置
US14/608,778 US20150256734A1 (en) 2014-03-05 2015-01-29 Imaging apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014042855 2014-03-05
JP2014042855 2014-03-05
JP2014188275A JP6417809B2 (ja) 2014-03-05 2014-09-16 撮像装置

Publications (2)

Publication Number Publication Date
JP2015181213A true JP2015181213A (ja) 2015-10-15
JP6417809B2 JP6417809B2 (ja) 2018-11-07

Family

ID=54018686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014188275A Active JP6417809B2 (ja) 2014-03-05 2014-09-16 撮像装置

Country Status (2)

Country Link
US (1) US20150256734A1 (ja)
JP (1) JP6417809B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017103712A (ja) * 2015-12-04 2017-06-08 株式会社ニコン 撮像素子、焦点検出装置および撮像装置
JP2017183786A (ja) * 2016-03-28 2017-10-05 ルネサスエレクトロニクス株式会社 撮像装置、カメラシステム及び撮像方法
JP2017216649A (ja) * 2016-06-01 2017-12-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP2017216648A (ja) * 2016-06-01 2017-12-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP2019029985A (ja) * 2017-08-03 2019-02-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
WO2020170565A1 (ja) * 2019-02-19 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 信号処理方法および撮像装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014112002A1 (ja) * 2013-01-15 2017-01-19 オリンパス株式会社 撮像素子、及び撮像装置
JP6253380B2 (ja) 2013-12-11 2017-12-27 キヤノン株式会社 画像処理方法、画像処理装置および撮像装置
JP6418785B2 (ja) * 2014-05-21 2018-11-07 キヤノン株式会社 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
US9380218B2 (en) 2014-05-30 2016-06-28 Apple Inc. Highlight exposure metric and its applications
US9344638B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Constant bracket high dynamic range (cHDR) operations
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
US9743015B2 (en) * 2015-05-22 2017-08-22 Samsung Electronics Co., Ltd. Image capturing apparatus and method of controlling the same
FR3040798B1 (fr) * 2015-09-08 2018-02-09 Safran Camera plenoptique
JP6600217B2 (ja) * 2015-09-30 2019-10-30 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置およびその制御方法
US20170332000A1 (en) * 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
US10366478B2 (en) 2016-05-18 2019-07-30 Interdigital Ce Patent Holdings Method and device for obtaining a HDR image by graph signal processing
US10212356B1 (en) * 2017-05-31 2019-02-19 Snap Inc. Parallel high dynamic exposure range sensor
US11398110B2 (en) 2018-09-17 2022-07-26 Fingerprint Cards Anacatum Ip Ab Biometric imaging device
KR102648747B1 (ko) * 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
JP7166189B2 (ja) * 2019-02-15 2022-11-07 東京エレクトロン株式会社 画像生成装置、検査装置及び画像生成方法
US11102422B2 (en) 2019-06-05 2021-08-24 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US11064134B2 (en) * 2019-06-05 2021-07-13 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US20220086321A1 (en) * 2020-09-15 2022-03-17 Micron Technology, Inc. Reduced diffraction micro lens imaging
CN115379092A (zh) * 2022-08-17 2022-11-22 中南大学 一种高动态范围视频获取方法、系统及终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201915A (ja) * 2006-01-27 2007-08-09 Yamaha Corp 平面カメラユニット
JP2009524263A (ja) * 2006-01-23 2009-06-25 フラウンホッファー−ゲゼルシャフト・ツァー・フォデラング・デル・アンゲワンテン・フォーシュング・エー．ファウ． 画像検出システムおよびそれを製造する方法
JP2011523538A (ja) * 2008-05-20 2011-08-11 ペリカン イメージング コーポレイション 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
JP2012520619A (ja) * 2009-03-13 2012-09-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
JP2012195921A (ja) * 2011-02-28 2012-10-11 Sony Corp 固体撮像素子およびカメラシステム
JP2013198016A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 撮像装置
JP2013258602A (ja) * 2012-06-13 2013-12-26 Olympus Corp 撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7847829B2 (en) * 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
KR100660319B1 (ko) * 2004-12-30 2006-12-22 동부일렉트로닉스 주식회사 씨모스 이미지센서 및 그의 제조방법
JP2006345233A (ja) * 2005-06-09 2006-12-21 Fujifilm Holdings Corp 撮像装置及びデジタルカメラ
US8648948B2 (en) * 2009-09-30 2014-02-11 Infrared Newco, Inc. Imaging systems with multiple imaging pixel types and related methods
JP2013012506A (ja) * 2011-06-28 2013-01-17 Sony Corp 固体撮像素子の製造方法、固体撮像素子、電子機器の製造方法、および電子機器。

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009524263A (ja) * 2006-01-23 2009-06-25 フラウンホッファー−ゲゼルシャフト・ツァー・フォデラング・デル・アンゲワンテン・フォーシュング・エー．ファウ． 画像検出システムおよびそれを製造する方法
JP2007201915A (ja) * 2006-01-27 2007-08-09 Yamaha Corp 平面カメラユニット
JP2011523538A (ja) * 2008-05-20 2011-08-11 ペリカン イメージング コーポレイション 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
JP2012520619A (ja) * 2009-03-13 2012-09-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
JP2012195921A (ja) * 2011-02-28 2012-10-11 Sony Corp 固体撮像素子およびカメラシステム
JP2013198016A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 撮像装置
JP2013258602A (ja) * 2012-06-13 2013-12-26 Olympus Corp 撮像装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017103712A (ja) * 2015-12-04 2017-06-08 株式会社ニコン 撮像素子、焦点検出装置および撮像装置
JP2017183786A (ja) * 2016-03-28 2017-10-05 ルネサスエレクトロニクス株式会社 撮像装置、カメラシステム及び撮像方法
JP2017216649A (ja) * 2016-06-01 2017-12-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP2017216648A (ja) * 2016-06-01 2017-12-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP2019029985A (ja) * 2017-08-03 2019-02-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
CN111863844A (zh) * 2017-08-03 2020-10-30 索尼半导体解决方案公司 成像装置和电子设备
JP7171199B2 (ja) 2017-08-03 2022-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
US11888004B2 (en) 2017-08-03 2024-01-30 Sony Semiconductor Solutions Corporation Imaging apparatus having phase difference detection pixels receiving light transmitted through a same color filter
WO2020170565A1 (ja) * 2019-02-19 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 信号処理方法および撮像装置
US11778333B2 (en) 2019-02-19 2023-10-03 Sony Semiconductor Solutions Corporation Signal processing method and imaging apparatus

Also Published As

Publication number Publication date
JP6417809B2 (ja) 2018-11-07
US20150256734A1 (en) 2015-09-10

Similar Documents

Publication Publication Date Title
JP6417809B2 (ja) 撮像装置
JP5472584B2 (ja) 撮像装置
JP4706882B2 (ja) 撮像装置
US8456565B2 (en) Imaging device
KR101691551B1 (ko) 촬상장치 및 방법
JP5699609B2 (ja) 画像処理装置および画像処理方法
US9961272B2 (en) Image capturing apparatus and method of controlling the same
KR102172992B1 (ko) 이미지 촬영 장치 및 이미지 촬영 방법
JP4686795B2 (ja) 画像生成装置及び画像再生装置
US20110149125A1 (en) Photographing Apparatus and Method
US20170006200A1 (en) Image processing apparatus, image processing method and program, and imaging apparatus
JP2013546249A (ja) 複数開口のカメラを用いる撮像システムおよび撮像方法
JP5493054B2 (ja) 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
JP5433109B2 (ja) 立体撮像装置および立体撮像方法
CN104041020A (zh) 彩色摄像元件
CN111669483B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
JP2011199755A (ja) 撮像装置
JP2015169722A (ja) 撮像装置
JP2012191351A (ja) 撮像装置および画像処理方法
KR102336449B1 (ko) 촬영 장치 및 촬영 장치의 동작방법
WO2012169301A1 (ja) 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
JP2010135984A (ja) 複眼撮像装置及び撮像方法
JP2013098739A (ja) 画像処理装置およびその制御方法
JP2013239787A (ja) 撮像素子及びこれを用いた撮像装置
JP5911291B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180924

R151 Written notification of patent or utility model registration

Ref document number: 6417809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151