JP2015064909A - 画像処理装置および撮像装置 - Google Patents
画像処理装置および撮像装置 Download PDFInfo
- Publication number
- JP2015064909A JP2015064909A JP2014262947A JP2014262947A JP2015064909A JP 2015064909 A JP2015064909 A JP 2015064909A JP 2014262947 A JP2014262947 A JP 2014262947A JP 2014262947 A JP2014262947 A JP 2014262947A JP 2015064909 A JP2015064909 A JP 2015064909A
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- receiving unit
- imaging
- image
- microlens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズ120と、結像光学系を通過した被写体からの光束をマイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む素子群が、マイクロレンズのそれぞれに対応して二次元状に配置された撮像素子13と、結像光学系の任意の結像面における複数の結像領域に対応する合成画像データを生成するために、結像領域ごとに合成画像データの生成に使用される画像信号を出力する光電変換素子の位置を特定するテーブルに基づいて、複数の光電変換素子から出力された画像信号を合成する合成手段106、107と、任意の結像面ごとに前記テーブルを作成する作成手段105とを備える。
【選択図】図1
Description
請求項7の発明による撮像装置は、複数のマイクロレンズと、前記マイクロレンズを介して被写体光を受光する受光部が前記マイクロレンズ毎に複数設けられた撮像素子と、任意の焦点面の画像を生成するデータを出力する前記複数のマイクロレンズ毎に複数設けられた前記受光部のうち、焦点面に関わらず使用される、所定のマイクロレンズの第1の受光部と、焦点面が変わると変更される、前記所定のマイクロレンズ近傍のマイクロレンズの第2の受光部との出力データと、焦点面に関わらず使用される、前記所定のマイクロレンズの前記第1の受光部とは異なる第3の受光部と、焦点面が変わると変更される、前記所定のマイクロレンズ近傍のマイクロレンズの第4の受光部との出力データと、から前記複数のマイクロレンズよりも数が多い画素から構成される前記焦点面の画像を生成する画像生成部とを備える。
請求項13の発明による撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、前記結像光学系を通過した被写体からの光束を前記マイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む素子群が、前記マイクロレンズのそれぞれに対応して二次元状に配置された撮像素子と、前記結像光学系の任意の結像面における複数の結像領域に対応する合成画像データを生成するために、前記結像領域ごとに前記合成画像データの生成に使用される前記画像信号を出力する前記光電変換素子の位置を特定するテーブルに基づいて、前記複数の光電変換素子から出力された前記画像信号を合成する合成手段と、前記任意の結像面ごとに前記テーブルを作成する作成手段とを備え、前記テーブルは、前記結像領域ごとに前記光電変換素子が配置された位置を前記マイクロレンズの擬似光軸を基準として正規化し、前記結像領域に対応する前記マイクロレンズを基準として、前記光電変換素子が配置された位置に対応する前記マイクロレンズが配置された位置を相対的に特定することを特徴とする。
請求項14の発明による撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、前記結像光学系を通過した被写体からの光束を前記マイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む素子群が、前記マイクロレンズのそれぞれに対応して二次元状に配置された撮像素子と、前記結像光学系の任意の結像面における複数の結像領域に対応する合成画像データを生成するために、前記結像領域ごとに前記合成画像データの生成に使用される前記画像信号を出力する前記光電変換素子の位置を特定するテーブルに基づいて、前記複数の光電変換素子から出力された前記画像信号を合成する合成手段と、前記任意の結像面ごとに前記テーブルを作成する作成手段とを備え、前記テーブルは、前記結像領域を基準として前記マイクロレンズの焦点距離を合成画像データの絞り値で除した値を直径とする領域に含まれる前記光電変換素子が配置された位置が、前記複数のマイクロレンズのうちのいずれの前記マイクロレンズに対応しているかを示すことにより、前記光電変換素子の位置を特定することを特徴とする。
請求項18の発明による撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、前記結像光学系を通過した被写体からの光束を前記マイクロレンズを介して受光して画像信号を出力する複数の撮像画素を含む画素群が、前記マイクロレンズのそれぞれに対応して二次元状に配置された撮像素子と、前記マイクロレンズ毎に前記画素群の前記複数の撮像画素の中から複数の基点画素を設定する基点画素設定手段と、前記結像光学系の所定の結像面を設定する結像面設定手段と、前記基点画素毎に、前記設定された所定の結像面に基づき、当該基点画素を含む画素群と当該画素群の近傍の画素群とにおいて当該基点画素に対応する対応撮像画素の位置を特定するテーブルを作成するテーブル作成手段と、前記テーブルに基づき前記基点画素の画像信号と前記基点画素を含む画素群の前記対応撮像画素の画像信号と前記近傍の画素群の前記対応撮像画素の画像信号とを合成して、前記設定された所定の結像面における合成画像信号を前記基点画素毎に作成する合成画像信号作成手段と、前記基点画素毎の前記合成画像信号に基づいて前記設定された所定の結像面に関する合成画像データを作成する合成画像データ作成手段と、を備えることを特徴とする。
まず、図4(a)に示す被写体の像がマイクロレンズ120の頂点に結像する場合、すなわち焦点面Sがマイクロレンズ120の頂点に存在する場合の合成画像の生成原理について説明する。この場合の被写体からの光束は、マイクロレンズ120に対応して設けられた画素配列130の撮像画素131に入射する。画像積算部106は、図4(a)に示す撮像画素131のうち斜線を施した撮像画素131から出力された画像信号を積算することにより、合成画像データの1画素に相当する合成画像信号を生成する。画像積算部106は、この処理を全てのマイクロレンズ120に対応する画素配列130について行うことにより、合成画像データを生成する。
D=f/F ・・・(1)
Fmax=f/s ・・・(2)
・・・(3)
・・・(4)
t=Td(i) ・・・(5)
画像積算部106は、画像信号を積算する際には、合成画素所属テーブルを参照する。上述したように、この合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素131が、基点マイクロレンズ121および近傍に設けられたマイクロレンズ120に対応する画素配列130のどの位置に配置されているかを特定する。
x=fnd/y ・・・(6)
l=fd/y ・・・(7)
…(8)
(1)複数のマイクロレンズ120を撮影レンズL1の焦点面近傍に二次元状に配置し、撮像素子13には撮影レンズL1を通過した被写体からの光束をマイクロレンズ120を介して受光して画像信号を出力する複数の撮像画素131を含む画素配列130が、マイクロレンズ120のそれぞれに対応して二次元状に配置される。画像積算部106は、撮影レンズL1の任意の焦点位置、すなわち結像面における複数の結像領域に対応する合成画像信号を生成するために、結像領域ごとに合成画像信号の生成に使用される画像信号を出力する撮像画素131の位置を特定する合成画素所属テーブルに基づいて、撮像画素131から出力された画像信号を合成する。そして、テーブル作成部105は、任意の焦点位置ごとに合成画素所属テーブルを作成する。
(1)1つのマイクロレンズ120に対応する4個の基点画素132a〜132dが、マイクロレンズ120の擬似光軸から偏芯した位置に配置されるものでもよい。図9(a)にこの場合の基点画素132の配置例を示す。この場合、基点画素132a〜132dは、マイクロレンズ120の擬似光軸に対して互いに対称(シンメトリック)となる位置に配置されている。基点画素132が図9(a)に示すように配置されている場合、画像積算部106は、1つの基点画素132に対応する合成画素所属テーブルを他の3つの基点画素132に対応する合成画素所属テーブルとして使用できる。たとえば、画像積算部106は、基点画素132aに対応する合成画素所属テーブルを60度ずつ回転させることにより基点画素132b、132c、132dのそれぞれに対応する合成画素所属テーブルとして使用すればよい。すなわち、テーブル作成部105は、1つのマイクロレンズ120について1つの合成画素所属テーブルを作成すればよい。
121…基点マイクロレンズ、 13…撮像素子、
130…画素配列、 131…撮像画素、
132…基点画素、 101…制御回路、
105…テーブル作成部、 106…画像積算部、
107…画像正規化部、 108…操作部
Claims (18)
- 任意の焦点面の画像を生成するデータを出力する複数のマイクロレンズ毎に複数設けられた受光部のうち、焦点面に関わらず使用される、所定のマイクロレンズの第1の受光部と、焦点面が変わると変更される、前記所定のマイクロレンズ近傍のマイクロレンズの第2の受光部との出力データと、
焦点面に関わらず使用される、前記所定のマイクロレンズの前記第1の受光部とは異なる第3の受光部と、焦点面が変わると変更される、前記所定のマイクロレンズ近傍のマイクロレンズの第4の受光部との出力データと、から
前記複数のマイクロレンズよりも数が多い画素から構成される前記焦点面の画像を生成する画像生成部
を備える画像処理装置。 - 請求項1記載の画像処理装置において、
前記画像生成部は、
前記第1の受光部と前記第2の受光部と、焦点面が変わると変更される、前記所定のマイクロレンズの第5の受光部との出力データと、
前記第3の受光部と前記第4の受光部と、焦点面が変わると変更される、前記所定のマイクロレンズの第6の受光部との出力データと、から
前記複数のマイクロレンズよりも数が多い画素から構成される前記焦点面の画像を生成する画像処理装置。 - 請求項1記載の画像処理装置において、
前記第1の受光部と前記第2の受光部と前記第3の受光部と前記第4の受光部との位置の情報を生成する情報生成部を備える画像処理装置。 - 請求項1記載の画像処理装置において、
前記第1の受光部と前記第2の受光部と前記第3の受光部と前記第4の受光部との位置の情報を記憶する情報記憶部を備える画像処理装置。 - 請求項2記載の画像処理装置において、
前記第1の受光部と前記第2の受光部と前記第3の受光部と前記第4の受光部と前記第5の受光部と前記第6の受光部との位置の情報を生成する情報生成部を備える画像処理装置。 - 請求項2記載の画像処理装置において、
前記第1の受光部と前記第2の受光部と前記第3の受光部と前記第4の受光部と前記第5の受光部と前記第6の受光部との位置の情報を記憶する情報記憶部を備える画像処理装置。 - 複数のマイクロレンズと、
前記マイクロレンズを介して被写体光を受光する受光部が前記マイクロレンズ毎に複数設けられた撮像素子と、
任意の焦点面の画像を生成するデータを出力する前記複数のマイクロレンズ毎に複数設けられた前記受光部のうち、焦点面に関わらず使用される、所定のマイクロレンズの第1の受光部と、焦点面が変わると変更される、前記所定のマイクロレンズ近傍のマイクロレンズの第2の受光部との出力データと、
焦点面に関わらず使用される、前記所定のマイクロレンズの前記第1の受光部とは異なる第3の受光部と、焦点面が変わると変更される、前記所定のマイクロレンズ近傍のマイクロレンズの第4の受光部との出力データと、から
前記複数のマイクロレンズよりも数が多い画素から構成される前記焦点面の画像を生成する画像生成部と
を備える撮像装置。 - 請求項7記載の撮像装置において、
前記画像生成部は、
前記第1の受光部と前記第2の受光部と、焦点面が変わると変更される、前記所定のマイクロレンズの第5の受光部との出力データと、
前記第3の受光部と前記第4の受光部と、焦点面が変わると変更される、前記所定のマイクロレンズの第6の受光部との出力データと、から
前記複数のマイクロレンズよりも数が多い画素から構成される前記焦点面の画像を生成する撮像装置。 - 請求項7記載の撮像装置において、
前記第1の受光部と前記第2の受光部と前記第3の受光部と前記第4の受光部との位置の情報を生成する情報生成部を備える撮像装置。 - 請求項7記載の撮像装置において、
前記第1の受光部と前記第2の受光部と前記第3の受光部と前記第4の受光部との位置の情報を記憶する情報記憶部を備える撮像装置。 - 請求項8記載の撮像装置において、
前記第1の受光部と前記第2の受光部と前記第3の受光部と前記第4の受光部と前記第5の受光部と前記第6の受光部との位置の情報を生成する情報生成部を備える撮像装置。 - 請求項8記載の撮像装置において、
前記第1の受光部と前記第2の受光部と前記第3の受光部と前記第4の受光部と前記第5の受光部と前記第6の受光部との位置の情報を記憶する情報記憶部を備える撮像装置。 - 結像光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、
前記結像光学系を通過した被写体からの光束を前記マイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む素子群が、前記マイクロレンズのそれぞれに対応して二次元状に配置された撮像素子と、
前記結像光学系の任意の結像面における複数の結像領域に対応する合成画像データを生成するために、前記結像領域ごとに前記合成画像データの生成に使用される前記画像信号を出力する前記光電変換素子の位置を特定するテーブルに基づいて、前記複数の光電変換素子から出力された前記画像信号を合成する合成手段と、
前記任意の結像面ごとに前記テーブルを作成する作成手段とを備え、
前記テーブルは、前記結像領域ごとに前記光電変換素子が配置された位置を前記マイクロレンズの擬似光軸を基準として正規化し、前記結像領域に対応する前記マイクロレンズを基準として、前記光電変換素子が配置された位置に対応する前記マイクロレンズが配置された位置を相対的に特定することを特徴とする撮像装置。 - 結像光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、
前記結像光学系を通過した被写体からの光束を前記マイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む素子群が、前記マイクロレンズのそれぞれに対応して二次元状に配置された撮像素子と、
前記結像光学系の任意の結像面における複数の結像領域に対応する合成画像データを生成するために、前記結像領域ごとに前記合成画像データの生成に使用される前記画像信号を出力する前記光電変換素子の位置を特定するテーブルに基づいて、前記複数の光電変換素子から出力された前記画像信号を合成する合成手段と、
前記任意の結像面ごとに前記テーブルを作成する作成手段とを備え、
前記テーブルは、前記結像領域を基準として前記マイクロレンズの焦点距離を合成画像データの絞り値で除した値を直径とする領域に含まれる前記光電変換素子が配置された位置が、前記複数のマイクロレンズのうちのいずれの前記マイクロレンズに対応しているかを示すことにより、前記光電変換素子の位置を特定することを特徴とする撮像装置。 - 請求項13または14に記載の撮像装置において、
前記複数の結像領域は、前記マイクロレンズと同数以上設けられ、前記結像領域のそれぞれの配置間隔は、複数の前記マイクロレンズのそれぞれの配置間隔と比例関係を有することを特徴とする撮像装置。 - 請求項13乃至15のいずれか一項に記載の撮像装置において、
前記複数のマイクロレンズのそれぞれは前記結像光学系の光軸と直交する平面上で六角形形状を有し、二次元状にハニカム配列されていることを特徴とする撮像装置。 - 請求項16に記載の撮像装置において、
前記合成手段により生成された前記合成画像データの水平方向と垂直方向との比率を1に変換する変換手段を備えることを特徴とする撮像装置。 - 結像光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、
前記結像光学系を通過した被写体からの光束を前記マイクロレンズを介して受光して画像信号を出力する複数の撮像画素を含む画素群が、前記マイクロレンズのそれぞれに対応して二次元状に配置された撮像素子と、
前記マイクロレンズ毎に前記画素群の前記複数の撮像画素の中から複数の基点画素を設定する基点画素設定手段と、
前記結像光学系の所定の結像面を設定する結像面設定手段と、
前記基点画素毎に、前記設定された所定の結像面に基づき、当該基点画素を含む画素群と当該画素群の近傍の画素群とにおいて当該基点画素に対応する対応撮像画素の位置を特定するテーブルを作成するテーブル作成手段と、
前記テーブルに基づき前記基点画素の画像信号と前記基点画素を含む画素群の前記対応撮像画素の画像信号と前記近傍の画素群の前記対応撮像画素の画像信号とを合成して、前記設定された所定の結像面における合成画像信号を前記基点画素毎に作成する合成画像信号作成手段と、
前記基点画素毎の前記合成画像信号に基づいて前記設定された所定の結像面に関する合成画像データを作成する合成画像データ作成手段と、を備えることを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014262947A JP6036799B2 (ja) | 2014-12-25 | 2014-12-25 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014262947A JP6036799B2 (ja) | 2014-12-25 | 2014-12-25 | 画像処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010127825A Division JP5671842B2 (ja) | 2010-06-03 | 2010-06-03 | 画像処理装置および撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016216527A Division JP6376206B2 (ja) | 2016-11-04 | 2016-11-04 | 画像処理装置および撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015064909A true JP2015064909A (ja) | 2015-04-09 |
JP6036799B2 JP6036799B2 (ja) | 2016-11-30 |
Family
ID=52832677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014262947A Active JP6036799B2 (ja) | 2014-12-25 | 2014-12-25 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6036799B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016167259A1 (ja) * | 2015-04-15 | 2016-10-20 | シャープ株式会社 | センサ回路 |
US10924656B2 (en) | 2016-10-20 | 2021-02-16 | Samsung Electronics Co., Ltd. | Electronic device for image generation, and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003283907A (ja) * | 2002-03-20 | 2003-10-03 | Japan Science & Technology Corp | 撮像装置 |
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
-
2014
- 2014-12-25 JP JP2014262947A patent/JP6036799B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003283907A (ja) * | 2002-03-20 | 2003-10-03 | Japan Science & Technology Corp | 撮像装置 |
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016167259A1 (ja) * | 2015-04-15 | 2016-10-20 | シャープ株式会社 | センサ回路 |
JPWO2016167259A1 (ja) * | 2015-04-15 | 2017-11-24 | シャープ株式会社 | センサ回路 |
US10359310B2 (en) | 2015-04-15 | 2019-07-23 | Sharp Kabushiki Kaisha | Sensor circuit |
US10924656B2 (en) | 2016-10-20 | 2021-02-16 | Samsung Electronics Co., Ltd. | Electronic device for image generation, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6036799B2 (ja) | 2016-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5671842B2 (ja) | 画像処理装置および撮像装置 | |
JP6149339B2 (ja) | 表示装置 | |
JP2014057181A (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
JP6003578B2 (ja) | 画像生成方法及び装置 | |
JP2013026844A (ja) | 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ | |
JP6376206B2 (ja) | 画像処理装置および撮像装置 | |
JPWO2019065260A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ | |
JP6036799B2 (ja) | 画像処理装置 | |
US10341580B2 (en) | Image processing device configured to correct an image so as to decrease output data | |
JP2014030181A (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP6168220B2 (ja) | 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム | |
JP2020193820A (ja) | 計測装置、撮像装置、制御方法及びプログラム | |
WO2013129337A1 (ja) | 画像処理装置 | |
JP2019003665A (ja) | 画像処理装置 | |
JP6593428B2 (ja) | 表示装置 | |
JP6195371B2 (ja) | 撮像装置、制御方法およびプログラム | |
JP2018129682A (ja) | 撮像装置およびその制御方法 | |
JP2015220600A (ja) | 撮像装置、駆動制御装置、制御方法及びプログラム | |
JP2015220599A (ja) | 情報処理装置、制御方法、プログラム及び記録媒体 | |
JP2016220114A (ja) | 撮像装置及びその制御方法、システムならびにプログラム | |
JP2015111776A (ja) | 撮像システム及び撮像システムの駆動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20151027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161017 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6036799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |