JP2013258777A - 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents
画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2013258777A JP2013258777A JP2013191785A JP2013191785A JP2013258777A JP 2013258777 A JP2013258777 A JP 2013258777A JP 2013191785 A JP2013191785 A JP 2013191785A JP 2013191785 A JP2013191785 A JP 2013191785A JP 2013258777 A JP2013258777 A JP 2013258777A
- Authority
- JP
- Japan
- Prior art keywords
- phase difference
- image processing
- distance information
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】位相差検出部143Aは、複数の視差画像DC,DH,DVにおいて、相関値演算を行うことにより視差画像間の位相差を検出し、画像内の位相差分布DMを生成する。この際、画像内の水平方向および垂直方向の2方向に沿って個別に位相差検出を行うと共に、それら2方向についての位相差検出結果を利用して位相差分布DMを生成する。これにより、位相差検出の際に、従来と比べてエッジ領域の影響を受けにくくなる。
【選択図】図11
Description
1.第1の実施の形態(信頼度判定処理を用いた位相差分布の生成動作の例)
2.第2の実施の形態(エッジ検出処理を用いた位相差分布の生成動作の例)
3.適用例(撮像装置のデジタルカメラへ等への適用例)
4.変形例
[撮像装置1の全体構成]
図1は、本発明の第1の実施の形態に係る撮像装置(撮像装置1)の全体構成を表すものである。撮像装置1は、撮像対象物(被写体)2を撮像して所定の画像処理を施すことにより、画像データ(撮像データ)Doutを生成し出力するものである。この撮像装置1は、開口絞り10を有する撮像レンズ11と、マイクロレンズアレイ12と、撮像素子13と、画像処理部14と、撮像素子駆動部15と、制御部16とを備えている。これらのうち、画像処理部14が、本発明における「画像処理装置」の一具体例に対応している。
次に、図3を参照して、画像処理部14の詳細構成について説明する。図3は、画像処理部14の機能ブロック構成を表したものである。画像処理部14は、欠陥補正部141、クランプ処理部142、リフォーカス係数算出部143、並び替え処理部144、ノイズ低減処理部145、輪郭強調処理部146、ホワイトバランス処理部147およびガンマ補正処理部148を有している。
リフォーカス係数算出部143は、クランプ処理部142から供給される撮像データD1に基づいて、後述する並び替え処理部144での並び替え処理に用いられるリフォーカス係数αを算出するものである。ここで、リフォーカス係数αは、撮像データD1に対応する撮像画像内の指定された奥行き面をリフォーカス面としたものに対応している。
続いて、本実施の形態の撮像装置1の作用および効果について説明する。
この撮像装置1では、図1に示したように、撮像レンズ11による撮像対象物2の像が、マイクロレンズアレイ12上に結像する。そして、マイクロレンズアレイ12への入射光線が、このマイクロレンズアレイ12を介して撮像素子13で受光される。このとき、マイクロレンズアレイ12への入射光線は、その進行方向に応じて撮像素子13上の異なる位置で受光される。その結果、例えば図4に示したように、開口絞り10の開口形状に相似形となる撮像対象物2の像(ユニット像)13−1が、マイクロレンズごとに結像する。なお、このユニット像13−1、すなわち1つのマイクロレンズに割り当てられた画素Pによって構成される領域(再構築画素領域13D)が、再構築される画像の1画素分に相当する。
次に、図3および図6〜図16を参照して、画像処理部14における画像処理動作(特に、リフォーカス係数算出部143の動作)について、比較例と比較しつつ詳細に説明する。
次いで、リフォーカス係数算出部143は、この撮像データD1に基づいて、以下説明するようにしてリフォーカス係数αを算出する。
具体的には、まず、位相差検出部143Aが、撮像データD1に基づいて、互いに視差の異なる複数(例えば3つ以上)の視差画像(異なる視点による任意視点画像)を生成する。なお、位相差を検出するための視差画像は、撮像素子13上で受光したユニット像同士の間で、同一の位置に配置された画素Pで取得された画素データを抽出して合成することにより生成することができる。このため、生成される視差画像の数は、1つのマイクロレンズに割り当てられた画素数と同数となる。
ところが、このような従来のステレオマッチングの手法では、例えば画像内にエッジ領域が含まれている場合には、以下のような問題が生じていた。
これに対して、本実施の形態では、位相差検出部143Aにおいて、以下説明するようにして位相差検出処理(位相差分布DMの生成動作)を行う。これにより、本実施の形態では、例えば、上記した図10(A)に示したような水平エッジ領域を含む画像に基づいて水平方向での位相差検出処理を行った場合であっても、上記比較例とは異なり、例えば図10(C)に示したように正確な位相差分布DM1が得られる。すなわち、この場合、位相差分布DM1では、位相差の値が均一となる位相差分布(距離が均一となる距離情報分布)を示している。
信頼度R=|α×{f(x−1)−2×f(x)+f(x+1)}| ……(5)
次に、リフォーカス係数算出部143では、距離情報算出部143Bが、位相差検出部143Aにおいて求められた位相差分布DMに基づいて、所定の距離情報dを算出する。この距離情報dとは、ここでは、撮像レンズ11から、撮像データD1に対応する撮像画像内における任意の基準位置までの距離の情報を意味している。詳細には、撮像レンズ11と合焦させたいリフォーカス面との間の距離情報d(撮像レンズ11から上記基準位置までの距離dの情報)、すなわち、後述するリフォーカス時の撮像レンズ11の物体側の焦点距離のことである。
(h/e)=(v/g) ……(6)
{h/(g−f)}=(v/g) ……(7)
(1/g)=(1/f)×{1−(h/v)} ……(8)
(1/F)=(1/g)+(1/d) ……(9)
(1/F)=(1/D)+(1/f) ……(10)
(1/d)=(1/F)−[(1/f)×{1−(h/v)}] ……(11)
f=F×{D/(D−F)} ……(12)
(1/d)=(1/F)−[1/{F×D/(D−F)}×{1−(h/v)}]
……(13)
次に、リフォーカス係数算出部143では、リフォーカス係数設定部143Cが、距離情報算出部143Bにおいて求められた距離情報dに基づいて、リフォーカス係数αを設定(算出)する。具体的には、図15(A)に示したように、撮像レンズ11の物体側焦点面が距離Dだけ離れた位置にある状態で撮像された場合で考えると、以下のようになる。すなわち、図15(B)に示したように、撮像レンズ11から距離dだけ離れた位置にある平面のリフォーカス像を得るためのリフォーカス係数αは、上記(10)式および以下の(14)式により算出される。このようにして算出されたリフォーカス係数αは、撮像データD1と共に並べ替え処理部144へ入力される。
(1/F)=(1/D)+(1/αf) ……(14)
次いで、並び替え処理部144は、このようにしてリフォーカス係数算出部143において算出されたリフォーカス係数αを用いて、クランプ処理部142から供給される撮像データD1に対して所定の並べ替え処理を施し、画像データD2を生成する。具体的には、以下説明するリフォーカス演算処理(積分処理)を行うことにより、任意の焦点(リフォーカス係数αによって規定されるリフォーカス面)に設定された画像(再構築画像)を生成する。
続いて、本発明の第2の実施の形態について説明する。本実施の形態は、位相差検出部143Aにおいて、図11に示した位相差検出処理の代わりに、以下説明する位相差検出処理を行うようにしたものであり、他の構成および動作については上記第1の実施の形態と同様となっている。なお、第1の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
続いて、上記第1および第2の実施の形態において説明した撮像装置1の適用例について説明する。これらの実施の形態に係る撮像装置1は、例えば以下のようなデジタルカメラ3の他、位置センサや生体センサ、光学顕微鏡などに適用することが可能である。
以上、実施の形態および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
Claims (10)
- 光線方向とともに取得された撮像データに基づいて生成された複数の視差画像において、複数の方向に沿って検出された位相差を用いて生成された位相差分布に基づいて、撮像画像における基準位置までの距離を示す距離情報を算出する距離情報算出部と、
前記距離情報算出部により算出された距離情報を用いて、前記撮像データに対して画像処理を行う画像処理部と
を備えた画像処理装置。 - 前記画像処理は、リフォーカス演算処理である
請求項1に記載の画像処理装置。 - 前記距離情報は、撮像レンズと合焦させたいリフォーカス面との間の距離を示す情報である
請求項2に記載の画像処理装置。 - 前記画像処理は、焦点ぼかし処理である
請求項1に記載の画像処理装置。 - 前記画像処理は、被写体深度調整処理である
請求項1に記載の画像処理装置。 - 前記位相差分布は、視差方向に沿ったエッジを含むエッジ領域の方向と、前記エッジ領域の方向とは異なる方向とに沿って検出された位相差を用いて生成される
請求項1に記載の画像処理装置。 - 撮像レンズと、
受光光線に基づいて前記撮像データを取得する撮像素子と、
前記撮像レンズと前記撮像素子との間に配置され、前記撮像素子の画素に対してマイクロレンズが割り当てられてなるマイクロレンズアレイと
を更に備えた
請求項1に記載の画像処理装置。 - 光線方向とともに取得された撮像データに基づいて生成された複数の視差画像において、複数の方向に沿って検出された位相差を用いて生成された位相差分布に基づいて、撮像画像における基準位置までの距離を示す距離情報を算出する距離情報算出ステップと、
前記距離情報算出ステップにおいて算出された距離情報を用いて、前記撮像データに対して画像処理を行う画像処理ステップと
を含む画像処理方法。 - 光線方向とともに取得された撮像データに基づいて生成された複数の視差画像において、複数の方向に沿って検出された位相差を用いて生成された位相差分布に基づいて、撮像画像における基準位置までの距離を示す距離情報を算出する距離情報算出ステップと、
前記距離情報算出ステップにおいて算出された距離情報を用いて、前記撮像データに対して画像処理を行う画像処理ステップと
をコンピュータに実行させる画像処理プログラム。 - 光線方向とともに取得された撮像データに基づいて生成された複数の視差画像において、複数の方向に沿って検出された位相差を用いて生成された位相差分布に基づいて、撮像画像における基準位置までの距離を示す距離情報を算出する距離情報算出ステップと、
前記距離情報算出ステップにおいて算出された距離情報を用いて、前記撮像データに対して画像処理を行う画像処理ステップと
をコンピュータに実行させる画像処理プログラムが記録されている、
コンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013191785A JP5673764B2 (ja) | 2013-09-17 | 2013-09-17 | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013191785A JP5673764B2 (ja) | 2013-09-17 | 2013-09-17 | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010031833A Division JP5387856B2 (ja) | 2010-02-16 | 2010-02-16 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013258777A true JP2013258777A (ja) | 2013-12-26 |
JP5673764B2 JP5673764B2 (ja) | 2015-02-18 |
Family
ID=49954750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013191785A Expired - Fee Related JP5673764B2 (ja) | 2013-09-17 | 2013-09-17 | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5673764B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016003930A (ja) * | 2014-06-16 | 2016-01-12 | 日本電信電話株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN105277132A (zh) * | 2014-07-25 | 2016-01-27 | 香港理工大学 | 三维测量方法与仪器 |
JPWO2017073272A1 (ja) * | 2015-10-30 | 2018-05-10 | 日立オートモティブシステムズ株式会社 | 物理量検出装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009115541A (ja) * | 2007-11-05 | 2009-05-28 | Sharp Corp | 距離測定装置および距離測定方法 |
JP2009169025A (ja) * | 2008-01-15 | 2009-07-30 | Sony Corp | 撮像装置およびデジタルカメラ |
JP2009224982A (ja) * | 2008-03-14 | 2009-10-01 | Sony Corp | 画像処理装置、画像処理プログラムおよび表示装置 |
JP2009288042A (ja) * | 2008-05-29 | 2009-12-10 | Nikon Corp | 距離測定装置 |
-
2013
- 2013-09-17 JP JP2013191785A patent/JP5673764B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009115541A (ja) * | 2007-11-05 | 2009-05-28 | Sharp Corp | 距離測定装置および距離測定方法 |
JP2009169025A (ja) * | 2008-01-15 | 2009-07-30 | Sony Corp | 撮像装置およびデジタルカメラ |
JP2009224982A (ja) * | 2008-03-14 | 2009-10-01 | Sony Corp | 画像処理装置、画像処理プログラムおよび表示装置 |
JP2009288042A (ja) * | 2008-05-29 | 2009-12-10 | Nikon Corp | 距離測定装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016003930A (ja) * | 2014-06-16 | 2016-01-12 | 日本電信電話株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN105277132A (zh) * | 2014-07-25 | 2016-01-27 | 香港理工大学 | 三维测量方法与仪器 |
JPWO2017073272A1 (ja) * | 2015-10-30 | 2018-05-10 | 日立オートモティブシステムズ株式会社 | 物理量検出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5673764B2 (ja) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5387856B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 | |
US9800856B2 (en) | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies | |
US10043290B2 (en) | Image processing to enhance distance calculation accuracy | |
JP5224124B2 (ja) | 撮像装置 | |
EP2160018B1 (en) | Image pickup apparatus | |
US9456195B1 (en) | Application programming interface for multi-aperture imaging systems | |
US9521312B2 (en) | Focus detection apparatus, control method for the same, and image capture apparatus | |
CN111885308A (zh) | 相位检测自动聚焦降噪 | |
US10393996B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
JP5224046B2 (ja) | 画像処理装置、撮像装置および表示装置 | |
JP6137316B2 (ja) | 深さ位置検出装置、撮像素子、及び深さ位置検出方法 | |
US10469728B2 (en) | Imaging device having a lens array of micro lenses | |
JP6800650B2 (ja) | 信頼度生成装置、信頼度生成方法、および撮像装置 | |
US9544570B2 (en) | Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program | |
US11245878B2 (en) | Quad color filter array image sensor with aperture simulation and phase detection | |
JP6353233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP5673764B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
US20150077600A1 (en) | Color filter array and solid-state image sensor | |
CN112866554B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
JP2015015704A (ja) | 測距装置、撮像装置及び測距装置の制御方法 | |
JP6727856B2 (ja) | 撮像装置およびその制御方法 | |
JP2016133595A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
CN112866552A (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5673764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |