JP2012191351A - 撮像装置および画像処理方法 - Google Patents
撮像装置および画像処理方法 Download PDFInfo
- Publication number
- JP2012191351A JP2012191351A JP2011052001A JP2011052001A JP2012191351A JP 2012191351 A JP2012191351 A JP 2012191351A JP 2011052001 A JP2011052001 A JP 2011052001A JP 2011052001 A JP2011052001 A JP 2011052001A JP 2012191351 A JP2012191351 A JP 2012191351A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- shooting
- imaging
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】撮像装置1は、撮像レンズ11、レンズアレイ12、イメージセンサ13および画像処理部14を備える。撮像レンズ11、レンズアレイ12およびイメージセンサ13を用いて取得された撮像データD0に基づいて複数の撮影視点画像を生成し、これらのうち2以上の撮影視点画像を合成する。合成の際には、2以上の撮影視点画像を、それらの撮影視点と仮想視点との位置関係に応じた重みづけを行う。処理能力の高いCPUやGPUを必要とする複雑な演算処理を行うことなく、仮想視点画像を生成する。
【選択図】図1
Description
実施の形態(4枚の撮影視点画像を所定の比率で合成して仮想視点画像を生成する画像処理例)
[全体構成]
図1は、本発明の一実施の形態に係る撮像装置(撮像装置1)の全体構成を表すものである。撮像装置1は、いわゆる単眼方式のライトフィールドカメラであり、被写体2を撮像して所定の画像処理を施すことにより、視点画像としての画像データDoutを出力するものである。この撮像装置1は、撮像レンズ11と、レンズアレイ12Aと、イメージセンサ13と、画像処理部14と、イメージセンサ駆動部15と、制御部16とを備える。尚、以下では、光軸Z1に沿った方向をZとし、光軸Z1に直交する面内において、水平方向(横方向)をX、垂直方向(縦方向)をYとする。また、本発明の画像処理方法は、画像処理部14の構成および動作によって具現化されるものであるため、その説明を省略する。
(1.撮像データの取得)
撮像装置1では、撮像レンズ11およびイメージセンサ13間の所定の位置にレンズアレイ12が設けられていることにより、イメージセンサ13において、被写体2からの光線は、その強度分布に加え進行方向(視点方向)についての情報が保持された光線ベクトルとして記録される。即ち、レンズアレイ12を通過した光線は、視点方向毎に分割され、イメージセンサ13の異なる画素において受光される。例えば、図4に示したように、レンズ12aの通過光線のうち、ある視点方向(第1視点)からの光線(光束)LAは画素「A」、それとは異なる視点方向(第2,3視点)からの光線LB,LCは、画素「B」「C」において、それぞれ受光される。このように、レンズ12aに割り当てられた画素領域Uでは、互いに異なる視点方向からの光線が、互いに異なる画素において受光される。イメージセンサ13では、イメージセンサ駆動部15による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像データD0が取得される。
画像処理部14は、図3に示したように、撮影視点画像生成部140、仮想視点画像生成部141および画像補正処理部142を有し、イメージセンサ13から出力された撮像データD0に基づいて所定の画像処理を行い、画像データDoutを出力する。
上記のように、レンズ12aに割り当てられた画素と同数の撮影視点画像(ここでは、3×3=9つの視点画像)が取得されるが、本実施の形態では、これらの撮影視点画像を用いて、実際の撮影視点とは異なる新たな視点(仮想視点)における視点画像(仮想視点画像)を生成する。即ち、仮想視点画像生成部141は、入力された視点画像データD1における複数の撮影視点画像に対し、以下に説明するような画像合成処理を施す。
Rv=(α×R1+β×R2+δ×R4+ε×R5) ………(1)
α=(LX/LH)×(LY/LV) ………(2)
β=(1−LX/LH)×(LY/LV) ………(3)
δ=(LX/LH)×(1−LY/LV) ………(4)
ε=(1−LX/LH)×(1−LY/LV) ………(5)
α+β+δ+ε=1 ………(6)
α=0 ………(2)
β=(LY/LV) ………(3)
δ=0 ………(4)
ε=(1−LY/LV) ………(5)
α=0 ………(2)
β=0 ………(3)
δ=(LX/LH) ………(4)
ε=(1−LX/LH) ………(5)
Claims (4)
- 撮像レンズと、
前記撮像レンズの結像面に配置されたレンズアレイと、
前記撮像レンズおよび前記レンズアレイの通過光線を受光して撮像データを取得する撮像素子と、
前記撮像データに対して画像処理を施す画像処理部とを備え、
前記画像処理部は、
前記撮像データに基づいて複数の撮影視点画像を生成する第1視点画像生成部と、
前記複数の撮影視点画像のうちの2以上の撮影視点画像を合成することにより、前記撮影視点画像とは異なる仮想視点画像を生成する第2視点画像生成部とを有し、
前記第2視点画像生成部は、前記2以上の撮影視点画像を合成する際、それらの撮影視点および前記仮想視点画像における仮想視点の位置関係に応じた重みづけを行う
撮像装置。 - 前記第2視点画像生成部は、前記仮想視点の近隣の4つの撮影視点における撮影視点画像同士を合成する
請求項1に記載の撮像装置。 - 撮像レンズとその結像面に配置されたレンズアレイとの通過光線を受光する撮像素子から撮像データを取得し、
前記撮像データに基づいて複数の撮影視点画像を生成し、
前記複数の撮影視点画像のうちの2以上の撮影視点画像を合成することにより、前記撮影視点画像とは異なる仮想視点画像を生成し、かつ
前記2以上の撮影視点画像を合成する際、それらの撮影視点および前記仮想視点画像における仮想視点の位置関係に応じた重みづけを行う
画像処理方法。 - 前記仮想視点の近隣の4つの撮影視点における撮影視点画像同士を合成する
請求項3に記載の画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011052001A JP2012191351A (ja) | 2011-03-09 | 2011-03-09 | 撮像装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011052001A JP2012191351A (ja) | 2011-03-09 | 2011-03-09 | 撮像装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012191351A true JP2012191351A (ja) | 2012-10-04 |
Family
ID=47084052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011052001A Pending JP2012191351A (ja) | 2011-03-09 | 2011-03-09 | 撮像装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012191351A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014086968A (ja) * | 2012-10-25 | 2014-05-12 | Ricoh Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2014086899A (ja) * | 2012-10-24 | 2014-05-12 | Canon Inc | 画像処理装置、画像処理方法およびプログラム。 |
JP2014138306A (ja) * | 2013-01-17 | 2014-07-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成方法、画像生成装置及び画像生成プログラム |
JP2016119595A (ja) * | 2014-12-22 | 2016-06-30 | 公益財団法人電磁応用研究所 | 海底撮像装置 |
US20170154408A1 (en) * | 2015-11-30 | 2017-06-01 | Canon Kabushiki Kaisha | Image processing device, image processing method, imaging device, and recording medium |
JP2017108377A (ja) * | 2015-11-30 | 2017-06-15 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム、記憶媒体 |
JP2019036780A (ja) * | 2017-08-10 | 2019-03-07 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム |
US10574906B2 (en) | 2015-06-08 | 2020-02-25 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004129003A (ja) * | 2002-10-04 | 2004-04-22 | Sony Corp | 表示装置、画像処理装置および画像処理方法、撮像装置、並びにプログラム |
JP2006229725A (ja) * | 2005-02-18 | 2006-08-31 | Konica Minolta Photo Imaging Inc | 画像生成システム及び画像生成方法 |
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2009165115A (ja) * | 2007-12-12 | 2009-07-23 | Sony Corp | 撮像装置 |
JP2010140097A (ja) * | 2008-12-09 | 2010-06-24 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 |
JP2010263572A (ja) * | 2009-05-11 | 2010-11-18 | Sony Corp | 撮像装置 |
JP2011022796A (ja) * | 2009-07-15 | 2011-02-03 | Canon Inc | 画像処理方法および画像処理装置 |
JP2012186790A (ja) * | 2011-02-18 | 2012-09-27 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
-
2011
- 2011-03-09 JP JP2011052001A patent/JP2012191351A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004129003A (ja) * | 2002-10-04 | 2004-04-22 | Sony Corp | 表示装置、画像処理装置および画像処理方法、撮像装置、並びにプログラム |
JP2006229725A (ja) * | 2005-02-18 | 2006-08-31 | Konica Minolta Photo Imaging Inc | 画像生成システム及び画像生成方法 |
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2009165115A (ja) * | 2007-12-12 | 2009-07-23 | Sony Corp | 撮像装置 |
JP2010140097A (ja) * | 2008-12-09 | 2010-06-24 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 |
JP2010263572A (ja) * | 2009-05-11 | 2010-11-18 | Sony Corp | 撮像装置 |
JP2011022796A (ja) * | 2009-07-15 | 2011-02-03 | Canon Inc | 画像処理方法および画像処理装置 |
JP2012186790A (ja) * | 2011-02-18 | 2012-09-27 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014086899A (ja) * | 2012-10-24 | 2014-05-12 | Canon Inc | 画像処理装置、画像処理方法およびプログラム。 |
JP2014086968A (ja) * | 2012-10-25 | 2014-05-12 | Ricoh Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2014138306A (ja) * | 2013-01-17 | 2014-07-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成方法、画像生成装置及び画像生成プログラム |
JP2016119595A (ja) * | 2014-12-22 | 2016-06-30 | 公益財団法人電磁応用研究所 | 海底撮像装置 |
US10574906B2 (en) | 2015-06-08 | 2020-02-25 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
US20170154408A1 (en) * | 2015-11-30 | 2017-06-01 | Canon Kabushiki Kaisha | Image processing device, image processing method, imaging device, and recording medium |
JP2017108377A (ja) * | 2015-11-30 | 2017-06-15 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム、記憶媒体 |
US10325356B2 (en) | 2015-11-30 | 2019-06-18 | Canon Kabushiki Kaisha | Image processing device, image processing method, imaging device, and recording medium for exclusively performing adjustment processing or viewpoint change processing |
JP2019036780A (ja) * | 2017-08-10 | 2019-03-07 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム |
US10602067B2 (en) | 2017-08-10 | 2020-03-24 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image pickup apparatus and storage medium that calculates a correction quality to correct a shake of viewpoint images and a mixture ratio for generation of a virtual viewpoint when generating the virtual viewpoint image using an amount of change in position of an imaging unit |
JP7027064B2 (ja) | 2017-08-10 | 2022-03-01 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5699609B2 (ja) | 画像処理装置および画像処理方法 | |
JP5515396B2 (ja) | 撮像装置 | |
JP5472584B2 (ja) | 撮像装置 | |
JP4706882B2 (ja) | 撮像装置 | |
JP6417809B2 (ja) | 撮像装置 | |
JP5246424B2 (ja) | 撮像装置 | |
JP5672989B2 (ja) | 撮像装置 | |
JP2012191351A (ja) | 撮像装置および画像処理方法 | |
JP5224124B2 (ja) | 撮像装置 | |
JP5591851B2 (ja) | 固体撮像装置および携帯情報端末 | |
JP5224046B2 (ja) | 画像処理装置、撮像装置および表示装置 | |
JP5923754B2 (ja) | 3次元撮像装置 | |
WO2013136819A1 (ja) | 撮像素子、撮像装置および撮像システム | |
JP2013081087A (ja) | 撮像装置 | |
WO2019065260A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ | |
JP5979134B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2016111678A (ja) | 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法 | |
JPWO2015001788A1 (ja) | 撮像装置 | |
JP2006165601A (ja) | 撮像装置及び撮像素子 | |
JP6600217B2 (ja) | 画像処理装置および画像処理方法、撮像装置およびその制御方法 | |
JP5907668B2 (ja) | 撮像装置及び撮像素子 | |
JP6255753B2 (ja) | 画像処理装置および撮像装置 | |
JP6331279B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2013162362A (ja) | 撮像装置および撮像プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141208 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150804 |