JP2010068018A - 画像処理装置、撮像装置および表示装置 - Google Patents
画像処理装置、撮像装置および表示装置 Download PDFInfo
- Publication number
- JP2010068018A JP2010068018A JP2008229679A JP2008229679A JP2010068018A JP 2010068018 A JP2010068018 A JP 2010068018A JP 2008229679 A JP2008229679 A JP 2008229679A JP 2008229679 A JP2008229679 A JP 2008229679A JP 2010068018 A JP2010068018 A JP 2010068018A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- refocus
- data
- refocus coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【解決手段】画像処理部14において、光線の進行方向を保持した状態で取得された撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数α1を算出する。また、算出されたリフォーカス係数α1を用いて、撮像データD1に対して第1の並び替え処理を行う。そして、その第1の並び替え処理後の撮像データD2に対して、所定の2次元画像データ(挿入画像データD3)を挿入する画像合成処理を行い、合成画像データD4を生成する。これにより、撮像画像内の指定された奥行き面をリフォーカス面とするリフォーカス係数α1を用いて、挿入画像データD3の挿入処理(画像合成処理)を行うことができる。
【選択図】図1
Description
図1は、本発明の第1の実施の形態に係る撮像装置(撮像装置1)の全体構成を表すものである。この撮像装置1は、撮像対象物2を撮像して画像処理を施すことにより画像データ(合成画像データ)Doutを出力するものであり、開口絞り10を有する撮像レンズ11と、マイクロレンズアレイ12と、撮像素子13と、画像処理部14と、撮像素子駆動部15と、制御部16とから構成されている。なお、画像処理部14が、本発明における「画像処理装置」の一具体例に対応している。
(1/F)=(1/d)+(1/α0・f) …(1)
(1/F)={1/(d−Z)}+(1/α1・f) …(2)
次に、本発明の第2の実施の形態について説明する。なお、第1の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
(h/e)=(v/g) …(12)
{h/(g−f)}=(v/g) …(13)
(1/g)=(1/f)×{1−(h/v)} …(14)
(1/F)=(1/g)+(1/d) …(15)
(1/F)=(1/D)+(1/f) …(16)
(1/d)=(1/F)−[(1/f)×{1−(h/v)}] …(17)
f=F×{D/(D−F)} …(18)
(1/d)=(1/F)−[1/{F×D/(D−F)}×{1−(h/v)}]
…(19)
次に、本発明の第3の実施の形態について説明する。なお、第1または第2の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
(1/F)=(1/Md)+(1/α1・f) …(20)
本発明の撮像装置は、例えば、以下説明するような立体表示装置の他、カムコーダや位置センサ、生体センサ、光学顕微鏡およびFTV(Free viewpoint TV)などの用途の撮像装置に適用することができる。
Claims (10)
- 撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間にこの撮像素子の複数画素に対して1つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数を算出するリフォーカス係数算出部と、
前記リフォーカス係数算出部により算出されたリフォーカス係数を用いて、前記撮像データに対して第1の並び替え処理を行うと共に、その第1の並び替え処理後の撮像データに対して所定の2次元画像データを挿入する画像合成処理を行うことにより、合成画像データを生成する合成画像生成部と
を備えた画像処理装置。 - 前記リフォーカス係数算出部は、前記撮像データに基づいて、前記リフォーカス係数を算出する
請求項1に記載の画像処理装置。 - 前記リフォーカス係数算出部は、
前記撮像データに基づいて、前記撮像レンズから前記撮像画像内における任意の基準位置までの距離情報を抽出する距離情報抽出部と、
前記距離情報抽出部により抽出された距離情報に基づいて、前記リフォーカス係数を設定するリフォーカス係数設定部とを有する
請求項2に記載の画像処理装置。 - 前記距離情報抽出部は、前記撮像データに基づいて互いに視差の異なる複数の視差画像を生成すると共に、これら複数の視差画像のうち少なくとも2つの視差画像間の位相差を検出し、検出された位相差に基づいて、前記距離情報を算出する
請求項3に記載の画像処理装置。 - 前記リフォーカス係数算出部は、指定された前記撮像レンズから前記リフォーカス面までの距離情報に基づいて、前記リフォーカス係数を算出する
請求項1に記載の画像処理装置。 - 前記合成画像生成部は、前記第1の並び替え処理および前記画像合成処理の際に、前記2次元画像データ内の領域に応じて複数のリフォーカス係数を用いることにより、前記合成画像データを生成する
請求項1に記載の画像処理装置。 - 前記合成画像生成部は、前記フォーカス係数算出部により算出されたリフォーカス係数の逆数からなるリフォーカス係数を用いて、前記合成画像データに対して第2の並び替え処理を行う
請求項1ないし請求項6のいずれか1項に記載の画像処理装置。 - 前記合成画像生成部は、前記撮像データ、前記第1の並び替え処理後の撮像データ、前記合成画像データ、または前記第2の並び替え処理後の合成画像データに対して、前記マイクロレンズの撮像領域ごとに、画像反転処理を行う
請求項7に記載の画像処理装置。 - 撮像レンズと、
受光光線に基づいて撮像データを取得する撮像素子と、
前記撮像レンズと前記撮像素子との間で撮像レンズの焦点面上に配置されると共に、前記撮像素子の複数の画素に対して1つのマイクロレンズを有するマイクロレンズアレイと、
前記撮像素子により得られた撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数を算出するリフォーカス係数算出部と、
前記リフォーカス係数算出部により算出されたリフォーカス係数を用いて、前記撮像データに対して第1の並び替え処理を行うと共に、その第1の並び替え処理後の撮像データに対して所定の2次元画像データを挿入する画像合成処理を行うことにより、合成画像データを生成する合成画像生成部と
を備えた撮像装置。 - 撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間にこの撮像素子の複数画素に対して1つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数を算出するリフォーカス係数算出部と、
前記リフォーカス係数算出部により算出されたリフォーカス係数を用いて、前記撮像データに対して第1の並び替え処理を行うと共に、その第1の並び替え処理後の撮像データに対して所定の2次元画像データを挿入する画像合成処理を行うことにより、合成画像データを生成する合成画像生成部と、
前記合成画像生成部により生成された合成画像データに基づいて立体映像表示を行う表示部と
を備えた表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008229679A JP5224046B2 (ja) | 2008-09-08 | 2008-09-08 | 画像処理装置、撮像装置および表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008229679A JP5224046B2 (ja) | 2008-09-08 | 2008-09-08 | 画像処理装置、撮像装置および表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010068018A true JP2010068018A (ja) | 2010-03-25 |
JP5224046B2 JP5224046B2 (ja) | 2013-07-03 |
Family
ID=42193255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008229679A Expired - Fee Related JP5224046B2 (ja) | 2008-09-08 | 2008-09-08 | 画像処理装置、撮像装置および表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5224046B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013110556A (ja) * | 2011-11-21 | 2013-06-06 | Olympus Corp | プレノプティックカメラ |
JP2013534635A (ja) * | 2010-07-16 | 2013-09-05 | コーニンクレッカ フィリップス エヌ ヴェ | 距離測定のためのライトプロジェクタ及びビジョンシステム |
JP2013198015A (ja) * | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 撮像装置、画像処理方法及びプログラム |
JP2014036347A (ja) * | 2012-08-09 | 2014-02-24 | Canon Inc | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 |
JP2014099896A (ja) * | 2014-01-10 | 2014-05-29 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2015139019A (ja) * | 2014-01-21 | 2015-07-30 | 株式会社ニコン | 画像合成装置及び画像合成プログラム |
US9532033B2 (en) | 2010-11-29 | 2016-12-27 | Nikon Corporation | Image sensor and imaging device |
US9613403B2 (en) | 2013-03-28 | 2017-04-04 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
JP2019041401A (ja) * | 2018-10-26 | 2019-03-14 | 株式会社ニコン | 画像合成装置及び画像合成プログラム |
CN111292233A (zh) * | 2018-12-06 | 2020-06-16 | 成都微晶景泰科技有限公司 | 透镜阵列图像拼接方法、装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003111100A (ja) * | 2001-09-26 | 2003-04-11 | Sanyo Electric Co Ltd | 画像合成方法および装置 |
JP2004221927A (ja) * | 2003-01-15 | 2004-08-05 | Sharp Corp | 画像の合成装置、合成方法、その方法を実現するプログラムおよびそのプログラムを記録した記録媒体 |
JP2006208767A (ja) * | 2005-01-28 | 2006-08-10 | Nikon Corp | 画像再生装置、及び画像再生プログラム |
JP2008167395A (ja) * | 2006-12-04 | 2008-07-17 | Sony Corp | 撮像装置及び撮像方法 |
JP2008167154A (ja) * | 2006-12-28 | 2008-07-17 | Sony Corp | 撮像装置 |
JP2008182692A (ja) * | 2006-12-26 | 2008-08-07 | Olympus Imaging Corp | 符号化方法、電子カメラ、符号化プログラム、及び復号方法 |
-
2008
- 2008-09-08 JP JP2008229679A patent/JP5224046B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003111100A (ja) * | 2001-09-26 | 2003-04-11 | Sanyo Electric Co Ltd | 画像合成方法および装置 |
JP2004221927A (ja) * | 2003-01-15 | 2004-08-05 | Sharp Corp | 画像の合成装置、合成方法、その方法を実現するプログラムおよびそのプログラムを記録した記録媒体 |
JP2006208767A (ja) * | 2005-01-28 | 2006-08-10 | Nikon Corp | 画像再生装置、及び画像再生プログラム |
JP2008167395A (ja) * | 2006-12-04 | 2008-07-17 | Sony Corp | 撮像装置及び撮像方法 |
JP2008182692A (ja) * | 2006-12-26 | 2008-08-07 | Olympus Imaging Corp | 符号化方法、電子カメラ、符号化プログラム、及び復号方法 |
JP2008167154A (ja) * | 2006-12-28 | 2008-07-17 | Sony Corp | 撮像装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013534635A (ja) * | 2010-07-16 | 2013-09-05 | コーニンクレッカ フィリップス エヌ ヴェ | 距離測定のためのライトプロジェクタ及びビジョンシステム |
US9532033B2 (en) | 2010-11-29 | 2016-12-27 | Nikon Corporation | Image sensor and imaging device |
JP2013110556A (ja) * | 2011-11-21 | 2013-06-06 | Olympus Corp | プレノプティックカメラ |
JP2013198015A (ja) * | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 撮像装置、画像処理方法及びプログラム |
JP2014036347A (ja) * | 2012-08-09 | 2014-02-24 | Canon Inc | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 |
EP3681157A1 (en) * | 2012-08-09 | 2020-07-15 | Canon Kabushiki Kaisha | Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, program, and storage medium |
EP2696587A3 (en) * | 2012-08-09 | 2015-04-29 | Canon Kabushiki Kaisha | Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, program, and storage medium |
US9374572B2 (en) | 2012-08-09 | 2016-06-21 | Canon Kabushiki Kaisha | Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium |
US9613403B2 (en) | 2013-03-28 | 2017-04-04 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
JP2014099896A (ja) * | 2014-01-10 | 2014-05-29 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2015139019A (ja) * | 2014-01-21 | 2015-07-30 | 株式会社ニコン | 画像合成装置及び画像合成プログラム |
JP2019041401A (ja) * | 2018-10-26 | 2019-03-14 | 株式会社ニコン | 画像合成装置及び画像合成プログラム |
CN111292233A (zh) * | 2018-12-06 | 2020-06-16 | 成都微晶景泰科技有限公司 | 透镜阵列图像拼接方法、装置及存储介质 |
CN111292233B (zh) * | 2018-12-06 | 2023-08-15 | 成都微晶景泰科技有限公司 | 透镜阵列图像拼接方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5224046B2 (ja) | 2013-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5224046B2 (ja) | 画像処理装置、撮像装置および表示装置 | |
JP4900723B2 (ja) | 画像処理装置、画像処理プログラムおよび表示装置 | |
JP5224124B2 (ja) | 撮像装置 | |
JP5515396B2 (ja) | 撮像装置 | |
JP2010183316A (ja) | 撮像装置 | |
JP5640143B2 (ja) | 撮像装置及び撮像方法 | |
JP5929553B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2010057067A (ja) | 撮像装置および画像処理装置 | |
JP5387856B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 | |
JP5982751B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN103688536B (zh) | 图像处理装置、图像处理方法 | |
JP2010263572A (ja) | 撮像装置 | |
JP5284306B2 (ja) | 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法 | |
JP2012147046A (ja) | 撮像装置および画像処理方法 | |
TW201622403A (zh) | 數位重對焦方法 | |
JP2014056466A (ja) | 画像処理装置及び方法 | |
JP2009290268A (ja) | 撮像装置 | |
US20120105598A1 (en) | Three-dimensional imaging device | |
JP2015185943A (ja) | フィルタアレイ付マイクロレンズおよび固体撮像装置 | |
JP2012191351A (ja) | 撮像装置および画像処理方法 | |
JP2017060010A (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
WO2012043003A1 (ja) | 立体画像表示装置および立体画像表示方法 | |
JP5673764B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
JP5088973B2 (ja) | 立体撮像装置およびその撮像方法 | |
JP2015060121A (ja) | カラーフィルタアレイおよび固体撮像素子 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110816 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130226 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |