JP2014155121A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2014155121A5 JP2014155121A5 JP2013024915A JP2013024915A JP2014155121A5 JP 2014155121 A5 JP2014155121 A5 JP 2014155121A5 JP 2013024915 A JP2013024915 A JP 2013024915A JP 2013024915 A JP2013024915 A JP 2013024915A JP 2014155121 A5 JP2014155121 A5 JP 2014155121A5
- Authority
- JP
- Japan
- Prior art keywords
- image
- phase difference
- images
- imaging
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 29
- 230000002194 synthesizing Effects 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 210000001747 Pupil Anatomy 0.000 claims description 8
- 230000000875 corresponding Effects 0.000 claims description 5
- 230000003287 optical Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 claims description 2
- 230000001276 controlling effect Effects 0.000 claims 1
- 238000011105 stabilization Methods 0.000 description 1
Description
本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影により得られた出力データから任意の被写体距離に合焦した画像を生成する技術に関する。
近年、デジタルカメラ等の撮像装置において、撮像時に被写体空間の光の2次元強度分布と光線の入射角とを示す情報(光照射野情報:Light Field Information)をデータ(LFデータ:Light Field Data)として記録するものがある。このようにして得られたLFデータは、所定の演算を行うことにより、任意の被写体距離に合焦した画像(再構成画像)を生成することができる(非特許文献1、2)。
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像して得られた複数の画像を取得する取得手段と、同一時間について得られた画像間の像の位相差を検出する第1の検出手段と、同一の視点につき異なるタイミングに撮像して得られた画像間の位相差を検出する第2の検出手段と、取得手段により得られた画像のうちの少なくとも一部の画像を、第1の検出手段及び第2の検出手段の少なくともいずれかにより検出された位相差を解消するように合成して出力画像を生成する生成手段と、生成手段による出力画像の生成条件を設定する設定手段と、を有し、生成手段は、設定手段により設定された出力画像の生成条件の情報に従って、合成に用いる画像と解消する位相差とを選択して出力画像を生成することを特徴とする。
・「再構成画像」
LFデータから生成される、任意の焦点面の位置に合焦した画像。具体的にはLFデータから同一の分割瞳領域を通過した画素で生成される複数(瞳分割数)の分割瞳画像について、生成する被写体距離に存在する被写体の像が一致するように位置合わせを行い、対応する画素の画素値を合算(重ね合わせ)することで得られる画像。
LFデータから生成される、任意の焦点面の位置に合焦した画像。具体的にはLFデータから同一の分割瞳領域を通過した画素で生成される複数(瞳分割数)の分割瞳画像について、生成する被写体距離に存在する被写体の像が一致するように位置合わせを行い、対応する画素の画素値を合算(重ね合わせ)することで得られる画像。
なお、再構成画像の生成において合成部315は、合焦する被写体距離に存在する被写体像が位相差なく重なるように、複数の分割瞳画像を該被写体像を基準に位置合わせして合成を行う。本実施形態の画像処理部103では、合成時の位置合わせに必要な分割瞳画像間それぞれの位相差の情報を、時間内位相差検出部311及び同一瞳内位相差検出部313から取得する。
また本実施形態では、各マイクロレンズ20に割り当てられた画素群から1つずつ画素を抽出して輝度画像を生成している。このようにして生成された輝度画像は、撮像光学系202をマイクロレンズ20に割り当てられた画素の数に分割した限定的な分割瞳領域を通過する、所謂絞り状態で得られた光束に対応している。即ち、被写界深度が深いため、様々な被写体距離に存在する被写体像について位相差が検出できる。しかしながら、本発明の実施において各被写体の位相差検出のために生成される輝度画像はこれに限られず、少なくとも2種類の分割瞳領域に対応する輝度画像が位相差検出のために用いられればよい。
〈低照度シーン〉
低照度シーンにおいて被写体を明るくとらえた画像を得るためには、露光量を多くする必要がある。しかしながら、露光量を増加させるために1回の撮影に係る露光時間を長くすると手ブレの影響を受けて得られる画像にボケが生じる。一般的には撮像光学系202の焦点位置の逆数よりも露光時間が長くなった場合、1回の撮影に係る露光中にブレの影響を受ける。このため通常の撮像装置では、1回の露光時間が撮像光学系202の焦点位置の逆数よりも短い撮影を複数回行い、得られた複数の画像を合成することでブレを軽減しつつ被写体像の明るさを確保した画像を撮影する方法が採られている(電子手ブレ補正)。
低照度シーンにおいて被写体を明るくとらえた画像を得るためには、露光量を多くする必要がある。しかしながら、露光量を増加させるために1回の撮影に係る露光時間を長くすると手ブレの影響を受けて得られる画像にボケが生じる。一般的には撮像光学系202の焦点位置の逆数よりも露光時間が長くなった場合、1回の撮影に係る露光中にブレの影響を受ける。このため通常の撮像装置では、1回の露光時間が撮像光学系202の焦点位置の逆数よりも短い撮影を複数回行い、得られた複数の画像を合成することでブレを軽減しつつ被写体像の明るさを確保した画像を撮影する方法が採られている(電子手ブレ補正)。
Claims (15)
- 複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像して得られた複数の画像を取得する取得手段と、
同一のタイミングについて得られた前記画像間の像の位相差を検出する第1の検出手段と、
同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第2の検出手段と、
前記取得手段により得られた画像のうちの少なくとも一部の画像を、前記第1の検出手段及び前記第2の検出手段の少なくともいずれかにより検出された位相差を解消するように合成して出力画像を生成する生成手段と、
前記生成手段による前記出力画像の生成条件を設定する設定手段と、を有し、
前記生成手段は、前記設定手段により設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
ことを特徴とする画像処理装置。 - 前記生成手段は、前記設定手段により特定の被写体の焦点状態を保持する設定がなされた場合に、少なくとも前記第1の検出手段により検出された位相差を解消するように合成を行うことを特徴とする請求項1に記載の画像処理装置。
- 前記生成手段は、前記設定手段により撮影時の手ブレの影響を解消する設定がなされた場合に、少なくとも前記第2の検出手段により検出された位相差を解消するように合成を行うことを特徴とする請求項1または2に記載の画像処理装置。
- 前記生成手段は、前記設定手段により長秒露光撮影に相当する画像を生成する設定がなされた場合に、前記取得手段により取得された画像のうち、一部の視点につき複数のタイミングに撮像して得られた画像を、前記出力画像の生成において合成することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記生成手段は、前記設定手段により合焦している被写体が強調された画像を生成する設定がなされた場合に、前記取得手段により取得された画像のうち、像の視差量が相対的に大きい関係にある複数の視点につき撮像して得られた画像を、少なくとも同一のタイミングに得られた画像間での像の位相差を解消することなく合成して前記出力画像を生成することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 予め定められた複数の時間帯に撮像された画像をグループとし、各グループについて少なくとも一部の視点につき撮像して得られた画像を画像間の像の位相差を解消して合成し、得られた合成画像を解析することで被写体ブレに係る情報を取得する解析手段をさらに有し、
前記生成手段は、前記設定手段により被写体ブレの影響を解消する設定がなされた場合に、前記解析手段により得られた前記被写体ブレに係る情報に応じて前記被写体ブレの影響を解消した前記出力画像を生成する
ことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記取得手段により取得された画像について、特定の被写体の像を検出する検出手段をさらに有し、
前記生成手段は、前記検出手段により検出された前記特定の被写体の像の位相差が解消されるように合成を行う
ことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。 - 前記生成手段は、前記取得手段により取得された画像のうちの少なくとも一部の画像を、同一のタイミングについて得られた画像の前記第1の検出手段により検出された位相差を解消するように合成した後、該合成により得られた画像について前記第2の検出手段により検出された位相差を解消するように合成して前記出力画像を生成することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記生成手段は、前記取得手段により取得された画像が、該画像を撮像した撮像装置が固定された状態で撮像した画像である場合に、前記取得手段により取得された画像のうちの少なくとも一部の画像を、異なるタイミングに撮像して得られた画像について像の位相差を解消する位置合わせを行うことなく合成した後、該合成により得られた画像について前記第1の検出手段により検出された位相差を解消するように合成して前記出力画像を生成することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記同一被写体を異なる視点につき撮像して得られた複数の画像は、画素の各々が撮像装置の撮像光学系において通過した分割瞳領域及び入射方向の組み合わせが異なる光束に対応した画像信号から、同一の分割瞳領域を通過した光束に対応する画素を結合させることで各々得られることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像して得られた複数の画像を出力する撮像手段と、
前記撮像手段により出力された、同一のタイミングについて得られた前記画像間の像の位相差を検出する第1の検出手段と、
前記撮像手段により出力された、同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第2の検出手段と、
前記撮像手段により出力された画像のうちの少なくとも一部の画像を、前記第1の検出手段及び第2の検出手段の少なくともいずれかにより検出された位相差を解消するように合成して出力画像を生成する生成手段と、
前記生成手段による前記出力画像の生成条件を設定する設定手段と、を有し、
前記生成手段は、前記設定手段により設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
ことを特徴とする撮像装置。 - 画像処理装置の取得手段が、複数のタイミングのそれぞれについて、異なる視点につき撮像して得られた複数の画像を取得する取得工程と、
前記画像処理装置の第1の検出手段が、同一のタイミングについて得られた前記画像間の像の位相差を検出する第1の検出工程と、
前記画像処理装置の第2の検出手段が、同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第2の検出工程と、
前記画像処理装置の生成手段が、前記取得工程において得られた画像のうちの少なくとも一部の画像を、前記第1の検出工程及び前記第2の検出工程の少なくともいずれかにおいて検出された位相差を解消するように合成して出力画像を生成する生成工程と、
前記画像処理装置の設定手段が、前記生成工程における前記出力画像の生成条件を設定する設定工程と、を有し、
前記生成手段は前記生成工程において、前記設定工程において設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
ことを特徴とする画像処理装置の制御方法。 - 撮像装置の撮像手段が、複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像し、得られた複数の画像を出力する撮像工程と、
前記撮像装置の第1の検出手段が、前記撮像工程において出力された、同一のタイミングについて得られた前記画像間の像の位相差を検出する第1の検出工程と、
前記撮像装置の第2の検出手段が、前記撮像工程において出力された、同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第2の検出工程と、
前記撮像装置の生成手段が、前記撮像工程において出力された画像のうちの少なくとも一部の画像を、前記第1の検出工程及び第2の検出工程の少なくともいずれかにおいて検出された位相差を解消するように合成して出力画像を生成する生成工程と、
前記撮像装置の設定手段が、前記生成工程における前記出力画像の生成条件を設定する設定工程と、を有し、
前記生成手段は前記生成工程において、前記設定工程において設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
ことを特徴とする撮像装置の制御方法。 - コンピュータを、請求項1乃至10のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- コンピュータに、請求項13に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013024915A JP6055332B2 (ja) | 2013-02-12 | 2013-02-12 | 画像処理装置、撮像装置、制御方法、及びプログラム |
US14/163,305 US9930319B2 (en) | 2013-02-12 | 2014-01-24 | Image processing apparatus, image capturing apparatus, control method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013024915A JP6055332B2 (ja) | 2013-02-12 | 2013-02-12 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014155121A JP2014155121A (ja) | 2014-08-25 |
JP2014155121A5 true JP2014155121A5 (ja) | 2016-03-31 |
JP6055332B2 JP6055332B2 (ja) | 2016-12-27 |
Family
ID=51297209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013024915A Active JP6055332B2 (ja) | 2013-02-12 | 2013-02-12 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9930319B2 (ja) |
JP (1) | JP6055332B2 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
WO2016137273A1 (ko) * | 2015-02-26 | 2016-09-01 | 엘지이노텍(주) | 카메라 모듈 및 이를 이용한 자동 초점 조절 방법 |
JP6427038B2 (ja) * | 2015-02-27 | 2018-11-21 | 日本放送協会 | カメラパラメータ推定装置およびカメラパラメータ推定プログラム |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
EP3144888A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | An apparatus and a method for generating data representing a pixel beam |
CN106961557B (zh) | 2016-01-08 | 2020-01-31 | 中强光电股份有限公司 | 光场相机及其影像处理方法 |
GB2548462B (en) | 2016-01-29 | 2020-06-17 | Canon Kk | Image sensor and image capturing apparatus |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
JP6728005B2 (ja) * | 2016-09-21 | 2020-07-22 | キヤノン株式会社 | 撮像装置、撮像方法およびプログラム |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
US9900510B1 (en) * | 2016-12-08 | 2018-02-20 | Lytro, Inc. | Motion blur for light-field images |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
JP7134601B2 (ja) * | 2017-06-14 | 2022-09-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法 |
JP7027064B2 (ja) * | 2017-08-10 | 2022-03-01 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
US11431898B2 (en) * | 2017-10-19 | 2022-08-30 | Sony Corporation | Signal processing device and imaging device |
JP2019092006A (ja) * | 2017-11-13 | 2019-06-13 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
CN111692992A (zh) * | 2020-06-22 | 2020-09-22 | 征图智能科技(江苏)有限公司 | 基于多图分时曝光的高精度2d尺寸测量方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5934772A (ja) | 1982-08-20 | 1984-02-25 | Olympus Optical Co Ltd | 画像信号処理装置 |
US7209601B2 (en) * | 2003-07-22 | 2007-04-24 | Omnivision Technologies, Inc. | CMOS image sensor using high frame rate with frame addition and movement compensation |
JP4487191B2 (ja) * | 2004-12-24 | 2010-06-23 | カシオ計算機株式会社 | 画像処理装置および画像処理プログラム |
JP4826152B2 (ja) * | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
US8018999B2 (en) * | 2005-12-05 | 2011-09-13 | Arcsoft, Inc. | Algorithm description on non-motion blur image generation project |
JP4915859B2 (ja) * | 2007-03-26 | 2012-04-11 | 船井電機株式会社 | 物体の距離導出装置 |
JP4900723B2 (ja) * | 2008-03-14 | 2012-03-21 | ソニー株式会社 | 画像処理装置、画像処理プログラムおよび表示装置 |
JP5246424B2 (ja) * | 2009-05-11 | 2013-07-24 | ソニー株式会社 | 撮像装置 |
JP5428886B2 (ja) * | 2010-01-19 | 2014-02-26 | ソニー株式会社 | 情報処理装置、情報処理方法、及びそのプログラム |
JP5387856B2 (ja) * | 2010-02-16 | 2014-01-15 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
JP5488221B2 (ja) * | 2010-06-09 | 2014-05-14 | 株式会社ニコン | 撮像装置 |
JP5643563B2 (ja) * | 2010-07-22 | 2014-12-17 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
US8780251B2 (en) * | 2010-09-20 | 2014-07-15 | Canon Kabushiki Kaisha | Image capture with focus adjustment |
JP5699609B2 (ja) * | 2011-01-06 | 2015-04-15 | ソニー株式会社 | 画像処理装置および画像処理方法 |
-
2013
- 2013-02-12 JP JP2013024915A patent/JP6055332B2/ja active Active
-
2014
- 2014-01-24 US US14/163,305 patent/US9930319B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014155121A5 (ja) | ||
JP6055332B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP5820257B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2013201752A5 (ja) | ||
JP2013062626A5 (ja) | 撮像装置、画像データ処理方法、およびプログラム | |
JP2017055310A5 (ja) | ||
JP2014011526A (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP2014057181A (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
JP2015029865A5 (ja) | 画像処理装置および方法、眼底画像処理装置、並びに眼底画像撮影装置 | |
JP2014153890A5 (ja) | ||
JP2014153890A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JPWO2015128908A1 (ja) | 深さ位置検出装置、撮像素子、及び深さ位置検出方法 | |
US10348966B2 (en) | Optical apparatus and a control method for performing image readout and reconstruction based on a delayed readout from different partial regions | |
JP2012195797A (ja) | パンフォーカス画像生成装置 | |
JP2015046019A (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体 | |
US10063829B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium | |
JP2014155071A5 (ja) | ||
JP6190119B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2016028468A5 (ja) | ||
JP2010156850A5 (ja) | ||
JP2019140439A5 (ja) | ||
JP2015177258A (ja) | 画像入力装置 | |
JP5354005B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2013157674A5 (ja) | ||
JP6566800B2 (ja) | 撮像装置及び撮像方法 |