JP2013042443A - 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム - Google Patents
画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム Download PDFInfo
- Publication number
- JP2013042443A JP2013042443A JP2011179460A JP2011179460A JP2013042443A JP 2013042443 A JP2013042443 A JP 2013042443A JP 2011179460 A JP2011179460 A JP 2011179460A JP 2011179460 A JP2011179460 A JP 2011179460A JP 2013042443 A JP2013042443 A JP 2013042443A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- imaging
- imaging optical
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
Abstract
【解決手段】画像処理方法は、被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、指定されたピント位置に対応する仮想結像面の第1の位置を設定する第1の設定ステップと、出力画像の見かけの画素ピッチの最大値が、第1の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる仮想結像面の第2の位置を設定する第2の設定ステップと、仮想結像面を第2の位置に設定した状態で出力画像を生成する生成ステップとを有する。
【選択図】図10
Description
102 レンズアレイ
103 撮像素子
本発明の他の側面としての撮像装置は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、前記撮像素子で取得された前記入力画像に対して、上記の画像処理方法を用いて前記出力画像を生成する画像処理部と、を有し、前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面と前記撮像素子が共役となるように配置されていることを特徴とする。
本発明の他の側面としての撮像装置は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、正の屈折力を有する複数の光学系を備えた結像光学系と、複数の画素を備えた少なくとも1つの撮像素子と、前記撮像素子で取得された前記入力画像に対して、上記の画像処理方法を用いて前記出力画像を生成する画像処理部と、を有し、前記複数の光学系は、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように配列されており、前記結像光学系の瞳は、前記複数の光学系の瞳を合成した合成瞳であることを特徴とする。
Claims (13)
- 被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、
指定されたピント位置に対応する仮想結像面の第1の位置を設定する第1の設定ステップと、
出力画像の見かけの画素ピッチの最大値が、前記第1の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第2の位置を設定する第2の設定ステップと、
前記仮想結像面を前記第2の位置に設定した状態で出力画像を生成する生成ステップと、を有することを特徴とする画像処理方法。 - 前記第2の位置は、前記第1の位置を基準としたときの前記結像光学系の焦点深度の範囲内であることを特徴とする請求項1に記載の画像処理方法。
- 前記第2の位置は、前記見かけの画素ピッチの最大値が最も小さくなる位置であることを特徴とする請求項1または2に記載の画像処理方法。
- 画像処理部を有し、
前記画像処理部は、
被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得し、
指定されたピント位置に対応する仮想結像面として第1の位置を設定し、
出力画像の見かけの画素ピッチの最大値が、前記第1の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第2の位置を設定し、
前記第2の位置を用いて出力画像を生成することを特徴とする撮像装置。 - 結像光学系と、
複数の画素を備えた撮像素子と、
被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、を更に有することを特徴とする請求項4に記載の撮像装置。 - 前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面に配置されていることを特徴とする請求項5に記載の撮像装置。
- 前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面と前記撮像素子が共役となるように配置されていることを特徴とする請求項5に記載の撮像装置。
- 正の屈折力を有する複数の光学系を備えた結像光学系と、
複数の画素を備えた少なくとも1つの撮像素子と、を更に有し、
前記複数の光学系は、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように配列されており、
前記結像光学系の瞳は、前記複数の光学系の瞳を合成した合成瞳であることを特徴とする請求項4に記載の撮像装置。 - 以下の式を満たすことを特徴とする請求項6または7に記載の撮像装置。
ただし、F0は前記結像光学系の開放F値、σ1は前記レンズアレイの物体側主平面と前記像側共役面の間の距離、σ2は前記レンズアレイの像側主平面と前記撮像素子の間の距離、Pは前記結像光学系の射出瞳と前記像側共役面の間の距離、ΔLAは前記レンズアレイのピッチである。 - 前記レンズアレイは、複数の小レンズを備えて構成され、
前記小レンズの像側の面は、凸形状であることを特徴とする請求項5乃至7いずれか1項に記載の撮像装置。 - 前記レンズアレイは、複数の小レンズを備えて構成され、
前記小レンズの物体側の面は、平面又は凸形状であることを特徴とする請求項10に記載の撮像装置。 - 被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得手段と、
指定されたピント位置に対応する仮想結像面の第1の位置を設定する第1の設定手段、
出力画像の見かけの画素ピッチの最大値が、前記第1の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第2の位置を設定する第2の設定手段と、
前記仮想結像面を前記第2の位置に設定した状態で出力画像を生成する生成手段と、を有することを特徴とする画像処理装置。 - 情報処理装置に、
被写体面の同一位置からの光線を結像光学系の瞳領域に応じて撮像素子の異なる画素に入射させることにより得られた入力画像を取得する取得ステップと、
指定されたピント位置に対応する仮想結像面の第1の位置を設定する第1の設定ステップと、
出力画像の見かけの画素ピッチの最大値が、前記第1の位置の出力画像の見かけの画素ピッチの最大値よりも小さくなる前記仮想結像面の第2の位置を設定する第2の設定ステップと、
前記仮想結像面を前記第2の位置に設定した状態で出力画像を生成する生成ステップを実行させることを特徴とする画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011179460A JP5618943B2 (ja) | 2011-08-19 | 2011-08-19 | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム |
US13/585,995 US8743245B2 (en) | 2011-08-19 | 2012-08-15 | Image processing method, image pickup apparatus, image processing apparatus, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011179460A JP5618943B2 (ja) | 2011-08-19 | 2011-08-19 | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014157811A Division JP5721891B2 (ja) | 2014-08-01 | 2014-08-01 | 撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013042443A true JP2013042443A (ja) | 2013-02-28 |
JP2013042443A5 JP2013042443A5 (ja) | 2014-04-17 |
JP5618943B2 JP5618943B2 (ja) | 2014-11-05 |
Family
ID=47712409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011179460A Active JP5618943B2 (ja) | 2011-08-19 | 2011-08-19 | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8743245B2 (ja) |
JP (1) | JP5618943B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013105383A1 (en) * | 2012-01-13 | 2013-07-18 | Canon Kabushiki Kaisha | Image generation method, image generation apparatus, program, and storage medium |
JP2014182360A (ja) * | 2013-03-21 | 2014-09-29 | Canon Inc | 撮像装置及びその制御方法 |
JP2015111793A (ja) * | 2013-12-06 | 2015-06-18 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
US10491836B2 (en) | 2016-06-10 | 2019-11-26 | Samsung Electronics Co., Ltd. | Electronic device and control method in which the resolution of a combined output image can be increased without deterioration |
US10924656B2 (en) | 2016-10-20 | 2021-02-16 | Samsung Electronics Co., Ltd. | Electronic device for image generation, and storage medium |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5623356B2 (ja) * | 2011-08-29 | 2014-11-12 | キヤノン株式会社 | 撮像装置 |
JP5459337B2 (ja) * | 2012-03-21 | 2014-04-02 | カシオ計算機株式会社 | 撮像装置、画像処理方法及びプログラム |
CN104281397B (zh) * | 2013-07-10 | 2018-08-14 | 华为技术有限公司 | 多深度区间的重聚焦方法、装置及电子设备 |
JP6061816B2 (ja) * | 2013-08-22 | 2017-01-18 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 |
JP2015041988A (ja) * | 2013-08-23 | 2015-03-02 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
JP6238657B2 (ja) * | 2013-09-12 | 2017-11-29 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP6397281B2 (ja) | 2013-10-23 | 2018-09-26 | キヤノン株式会社 | 撮像装置、その制御方法およびプログラム |
TWI559042B (zh) * | 2014-12-03 | 2016-11-21 | 國立清華大學 | 區塊式數位重對焦系統及其方法 |
JP6355595B2 (ja) * | 2015-06-02 | 2018-07-11 | キヤノン株式会社 | 撮像素子、撮像装置、撮像素子の制御方法、プログラムおよび記憶媒体 |
CN108600623B (zh) * | 2018-04-20 | 2020-07-28 | 维沃移动通信有限公司 | 重聚焦显示方法以及终端设备 |
CN113556529B (zh) * | 2021-07-30 | 2022-07-19 | 中山大学 | 一种高分辨率光场图像显示方法、装置、设备和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070252074A1 (en) * | 2004-10-01 | 2007-11-01 | The Board Of Trustees Of The Leland Stanford Junio | Imaging Arrangements and Methods Therefor |
WO2008050904A1 (fr) * | 2006-10-25 | 2008-05-02 | Tokyo Institute Of Technology | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution |
JP2008219878A (ja) * | 2007-02-09 | 2008-09-18 | Olympus Imaging Corp | 復号方法、復号装置、復号プログラム、及び電子カメラ |
JP2008294741A (ja) * | 2007-05-24 | 2008-12-04 | Olympus Corp | 撮像システム |
US20090128669A1 (en) * | 2006-02-07 | 2009-05-21 | Yi-Ren Ng | Correction of optical aberrations |
US20090185801A1 (en) * | 2008-01-23 | 2009-07-23 | Georgiev Todor G | Methods and Apparatus for Full-Resolution Light-Field Capture and Rendering |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4826152B2 (ja) * | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
JP4941332B2 (ja) * | 2008-01-28 | 2012-05-30 | ソニー株式会社 | 撮像装置 |
KR101608970B1 (ko) * | 2009-11-27 | 2016-04-05 | 삼성전자주식회사 | 광 필드 데이터를 이용한 영상 처리 장치 및 방법 |
JP5623313B2 (ja) * | 2011-03-10 | 2014-11-12 | キヤノン株式会社 | 撮像装置および撮像光学系 |
JP5623356B2 (ja) * | 2011-08-29 | 2014-11-12 | キヤノン株式会社 | 撮像装置 |
JP5677366B2 (ja) * | 2012-05-21 | 2015-02-25 | キヤノン株式会社 | 撮像装置 |
US9451147B2 (en) * | 2012-06-11 | 2016-09-20 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium |
-
2011
- 2011-08-19 JP JP2011179460A patent/JP5618943B2/ja active Active
-
2012
- 2012-08-15 US US13/585,995 patent/US8743245B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070252074A1 (en) * | 2004-10-01 | 2007-11-01 | The Board Of Trustees Of The Leland Stanford Junio | Imaging Arrangements and Methods Therefor |
US20090128669A1 (en) * | 2006-02-07 | 2009-05-21 | Yi-Ren Ng | Correction of optical aberrations |
WO2008050904A1 (fr) * | 2006-10-25 | 2008-05-02 | Tokyo Institute Of Technology | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution |
JP2008219878A (ja) * | 2007-02-09 | 2008-09-18 | Olympus Imaging Corp | 復号方法、復号装置、復号プログラム、及び電子カメラ |
JP2008294741A (ja) * | 2007-05-24 | 2008-12-04 | Olympus Corp | 撮像システム |
US20090185801A1 (en) * | 2008-01-23 | 2009-07-23 | Georgiev Todor G | Methods and Apparatus for Full-Resolution Light-Field Capture and Rendering |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013105383A1 (en) * | 2012-01-13 | 2013-07-18 | Canon Kabushiki Kaisha | Image generation method, image generation apparatus, program, and storage medium |
US9344624B2 (en) | 2012-01-13 | 2016-05-17 | Canon Kabushiki Kaisha | Parallax image generation method, image generation apparatus, program, and storage medium |
JP2014182360A (ja) * | 2013-03-21 | 2014-09-29 | Canon Inc | 撮像装置及びその制御方法 |
JP2015111793A (ja) * | 2013-12-06 | 2015-06-18 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
US10491836B2 (en) | 2016-06-10 | 2019-11-26 | Samsung Electronics Co., Ltd. | Electronic device and control method in which the resolution of a combined output image can be increased without deterioration |
US10924656B2 (en) | 2016-10-20 | 2021-02-16 | Samsung Electronics Co., Ltd. | Electronic device for image generation, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5618943B2 (ja) | 2014-11-05 |
US20130044256A1 (en) | 2013-02-21 |
US8743245B2 (en) | 2014-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5618943B2 (ja) | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム | |
JP5988790B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
US9628696B2 (en) | Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium | |
JP5623356B2 (ja) | 撮像装置 | |
JP6341736B2 (ja) | 撮像装置、制御方法、プログラム、記憶媒体 | |
JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
JP5623313B2 (ja) | 撮像装置および撮像光学系 | |
JP5677366B2 (ja) | 撮像装置 | |
JP6305053B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5943785B2 (ja) | 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法 | |
JP6047025B2 (ja) | 撮像装置及びその制御方法 | |
JP6061816B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP6478511B2 (ja) | 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2013026844A (ja) | 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ | |
JP6418770B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 | |
JP6234401B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5721891B2 (ja) | 撮像装置 | |
JP5553863B2 (ja) | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム | |
JP5553862B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP4695557B2 (ja) | 要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラム | |
JPWO2018088211A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2018050147A (ja) | 撮像装置、撮像方法およびプログラム | |
JP2013110711A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
Zhou et al. | Computer simulation for digital refocusing imager based on light field photography | |
JP2015111776A (ja) | 撮像システム及び撮像システムの駆動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140303 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140303 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140303 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140819 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140916 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5618943 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |