JP2016072893A - 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 - Google Patents
画像処理装置、画像処理方法およびプログラム、並びに撮像装置 Download PDFInfo
- Publication number
- JP2016072893A JP2016072893A JP2014202274A JP2014202274A JP2016072893A JP 2016072893 A JP2016072893 A JP 2016072893A JP 2014202274 A JP2014202274 A JP 2014202274A JP 2014202274 A JP2014202274 A JP 2014202274A JP 2016072893 A JP2016072893 A JP 2016072893A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- data
- light field
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title 1
- 210000001747 pupil Anatomy 0.000 claims abstract description 59
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims description 94
- 238000000034 method Methods 0.000 claims description 35
- 230000015572 biosynthetic process Effects 0.000 claims description 33
- 238000003786 synthesis reaction Methods 0.000 claims description 33
- 239000002131 composite material Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000004907 flux Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
瞳分割像生成部104は分割画素A、分割画素B、分割画素C、分割画素Dで得られる信号(ライトフィールドデータと称す)をそれぞれ取得し、分割画素A群によって得られる信号から第1の像信号(瞳分割画像データ)を、分割画素B群によって得られる信号から第2の像信号を生成する。また、分割画素C群によって得られる信号から第3の像信号を、分割画素D群によって得られる信号から第4の像信号をそれぞれ生成する。
色変換部109は入力画像に対し、画素位置毎に足りない色情報を周囲の画素から補間し、各画素位置に対応する色情報Pix(R、G、B)を生成する。色変換部109はルックアップテーブルを用いて各画素位置に対応する色情報Pix(R、G、B)を、撮像装置100の撮影モードに従って予め決定される所定の変換目標色Pix(R’、G’、B’)へと変換する。ルックアップテーブルを用いた色変換処理は、ここでは詳細な説明は割愛するが、例えば特許文献1に開示されている技術を用いることで実現可能である。
ImgAB(x,y) =ImgA(x,y) +ImgB(x,y)・・・式1
なお、ここで示した式は一例にすぎず、構成される分割画素の個数や特性に応じて適宜式を変形させても良い。
視差量の取り得る値のそれぞれに対して後述の画像合成処理を行うことで所定の被写体にピントの合う画像を得ることができる。しかしながら、取り得る全ての視差量に対する画像合成処理を行うためには処理時間がかかり、現実的ではない。そこで合成パラメータ決定部703は、効率的に合成画像を生成するためのパラメータを視差マップ中の視差量の分布に基づいて決定する。
ParallaxMap = {50,50,50,10,10,50,50,20,20,20,100}
Param1 = {50,10,20,100}
例えば、視差量の絶対値が小さい順に並び替えを行い、優先度を決定する。
Param2 = {10,20,50,100}
Param3 = {10,20,50}
Param4 = {50,20,10,100}
Param5 = {50,20,10}
本実施例において画像合成部108は一対の瞳分割画像および合成パラメータ決定部703によって決定されるシフト量(仮想撮像面)に基づいて合成画像を生成する。なお、ここでは説明を簡便にするために分割画素Aおよび分割画素Bに着目して説明を行うものとする。以降の説明は分割画素Aおよび分割画素Bに示す位置関係と同一の関係性を有する分割画素の組み合わせにも適用可能である。
ImgAB(x,y) =ImgA(x,y) +ImgB(x+shift,y)・・・式2
ImgA(x,y)≒ ImgB(x+shift,y) ・・・式3
ImgAB(x,y) ≒ImgA(x,y) + ImgA(x,y) ・・・式4
ImgAB(x,y) ≒ImgB(x+shift,y) + ImgB(x+shift,y) ・・・式5
ImgB(x+shift,y) ≒ImgAB(x,y)/2 ・・・式6
ImgA(x,y) ≒ImgAB(x,y)/2 ・・・式7
ステップS607以降の処理は第1の実施例と同様であるためここでの説明を割愛する。
Claims (20)
- 画像処理装置において、
被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有する撮像手段で生成されたライトフィールドデータを取得する取得手段と、
所定の画像処理を画像データに行う画像処理手段と、
前記所定の画像処理が行われる画像データを、前記ライトフィールドデータを用いて生成する画像生成手段と、
前記画像処理手段を制御して、前記生成された画像データに前記所定の画像処理を行うことで、前記所定の画像処理に従って補正された前記ライトフィールドデータを生成する制御手段と、
を備えることを特徴とする画像処理装置。 - 前記画像生成手段が前記取得されたライトフィールドデータから生成する前記画像データは、前記射出瞳の異なる領域に対応する複数の瞳分割画像データであり、前記制御手段は前記画像処理手段を制御して、各瞳分割画像データに前記所定の画像処理を行って前記補正されたライトフィールドデータを生成することを特徴とする請求項1に記載の画像処理装置。
- 前記制御手段は前記画像処理手段を制御し、前記複数の瞳分割画像データの前記所定の画像処理を並列に行うことを特徴とする請求項2に記載の画像処理装置。
- 前記画像生成手段は、前記所定の処理が行われた前記複数の瞳分割画像データを合成して仮想撮像面における前記被写体の画像データを生成し、前記仮想撮像面における前記被写体の画像データは、前記複数の瞳分割画像データを組み合わせて加算することにより生成されることを特徴とする請求項2又は3に記載の画像処理装置。
- 前記画像生成手段が前記取得されたライトフィールドデータから生成する前記画像データは、前記取得されたライトフィールドデータから生成される前記射出瞳の異なる領域に対応する複数の瞳分割画像データを合成して生成される仮想撮像面における前記被写体の画像データであり、前記制御手段は、前記画像処理手段を制御して、前記生成された画像データに対して前記所定の画像処理を行って補正された画像データを生成し、前記補正された画像データに対応する補正されたライトフィールドデータを生成することを特徴とする請求項1に記載の画像処理装置。
- 前記仮想撮像面における前記被写体の画像データを生成するための合成パラメータを決定する決定手段を備え、前記画像生成手段は、前記合成パラメータに基づいて前記仮想撮像面における前記被写体の画像データを生成することを特徴とする請求項5に記載の画像処理装置。
- 前記補正された画像データから前記合成パラメータに基づいて前記補正されたライトフィールドデータを生成する逆変換手段を備え、前記制御手段は前記逆変換手段を制御して前記補正されたライトフィールドデータを生成し、前記逆変換手段は、前記補正された画像データのピントの合っている領域に対して行うことを特徴とする請求項6に記載の画像処理装置。
- 前記決定手段は、前記複数の瞳分割画像データの間の視差量を検出する視差検出手段を有し、前記視差量に基づいて前記合成パラメータを決定することを特徴とする請求項6又は7に記載の画像処理装置。
- 前記決定手段は、所定の条件に従って前記合成パラメータの優先度を決定し、前記所定の条件は、少なくとも前記視差量の分布、前記視差量の絶対値の大きさ、前記視差量の絶対値が小さい画像の領域の優先度、および所定の被写体領域の優先度のいずれかであり、前記所定の被写体領域は、少なくとも人物の一部が含まれる領域であることを特徴とする請求項8に記載の画像処理装置。
- 前記決定手段は、前記取得したライトフィールドデータの撮影パラメータに基づいて前記合成パラメータを決定し、前記撮影パラメータは被写界深度の算出が可能な撮影パラメータであることを特徴とする請求項8に記載の画像処理装置。
- 前記決定手段は、ユーザーが指定した情報に基づいて前記合成パラメータを決定することを特徴とする請求項8に記載の画像処理装置。
- 前記画像処理手段は、前記合成パラメータに基づいて決定される前記複数の瞳分割画像データの関係性から前記所定の画像処理を行う領域を決定することを特徴とする請求項6から11のいずれか1項に記載の画像処理装置。
- 前記制御手段は、前記合成パラメータに従って行われた複数の前記所定の画像処理の結果を用いて、前記合成パラメータに対応しないライトフィールドデータの補正データを生成することを特徴とする請求項6から12のいずれか1項に記載の画像処理装置。
- 前記所定の画像処理は、ルックアップテーブルに基づいた色変換処理であることを特徴とする請求項1から13のいずれか1項に記載の画像処理装置。
- 被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有し、前記光学像を撮像してライトフィールドデータを生成する撮像手段と、
前記所定の画像処理を画像データに行う画像処理手段と、
前記所定の画像処理が行われる画像データを、前記ライトフィールドデータを用いて生成する画像生成手段と、
前記画像処理手段を制御して、前記生成された画像データに前記所定の画像処理を行うことで、前記所定の画像処理に従って補正された前記ライトフィールドデータを生成する制御手段と、
前記補正されたライトフィールドデータを記録媒体に記録する記録手段と、
を備えることを特徴とする撮像装置。 - 前記撮像手段の各画素に対応して配置され、前記瞳分割機能を有するマイクロレンズを有し、前記画素は複数の分割画素を有し、前記ライトフィールドデータは前記複数の分割画素の出力から生成されることを特徴とする請求項15に記載の撮像装置。
- 前記撮像手段は、前記被写体を互いに視差をもって撮像する複数の前記撮像手段を有し、前記ライトフィールドデータは前記複数の撮像手段の出力から生成されることを特徴とする請求項15に記載の撮像装置。
- 画像処理装置の制御方法において、
被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有する撮像手段で生成されたライトフィールドデータを取得する取得工程と、
所定の画像処理を画像データに行う画像処理工程と、
前記所定の画像処理が行われる画像データを、前記ライトフィールドデータを用いて生成する画像生成工程と、
前記画像処理工程を制御して、前記生成された画像データに前記所定の画像処理を行うことで、前記所定の画像処理に従って補正された前記ライトフィールドデータを生成する制御工程と、
を備えることを特徴とする制御方法。 - 画像処理装置を制御するためのプログラムであり、
コンピュータを、
被写体の光学像を形成する撮像光学系の射出瞳の瞳分割機能を有する撮像手段で生成されたライトフィールドデータを取得する取得手段と、
前記所定の画像処理を画像データに行う画像処理手段、
前記所定の画像処理が行われる画像データを、前記ライトフィールドデータを用いて生成する画像生成手段、
前記画像処理手段を制御して、前記生成された画像データに前記所定の画像処理を行うことで、前記所定の画像処理に従って補正された前記ライトフィールドデータを生成する制御手段、
として機能させるためのプログラム。 - 請求項19に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014202274A JP6585890B2 (ja) | 2014-09-30 | 2014-09-30 | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
US14/848,568 US10334161B2 (en) | 2014-09-30 | 2015-09-09 | Image processing apparatus, image processing method, computer program and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014202274A JP6585890B2 (ja) | 2014-09-30 | 2014-09-30 | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019113888A Division JP6752942B2 (ja) | 2019-06-19 | 2019-06-19 | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016072893A true JP2016072893A (ja) | 2016-05-09 |
JP2016072893A5 JP2016072893A5 (ja) | 2017-11-09 |
JP6585890B2 JP6585890B2 (ja) | 2019-10-02 |
Family
ID=55585866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014202274A Active JP6585890B2 (ja) | 2014-09-30 | 2014-09-30 | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10334161B2 (ja) |
JP (1) | JP6585890B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017069926A (ja) * | 2015-10-02 | 2017-04-06 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006140601A (ja) * | 2004-11-10 | 2006-06-01 | Canon Inc | 画像処理装置及び画像処理装置の制御方法 |
JP2006186594A (ja) * | 2004-12-27 | 2006-07-13 | Canon Inc | 撮像装置及びその制御方法 |
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2013031154A (ja) * | 2011-06-24 | 2013-02-07 | Canon Inc | 画像処理装置、画像処理方法、撮像装置およびプログラム |
US20140192237A1 (en) * | 2011-11-30 | 2014-07-10 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and program, and image pickup apparatus including image processing apparatus |
JP2014147062A (ja) * | 2013-01-07 | 2014-08-14 | Canon Inc | 撮像装置およびその制御方法、並びにプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7009640B1 (en) * | 1999-05-31 | 2006-03-07 | Olympus Corporation | Color reproduction system for carrying out color correction by changing over color correction parameters according to images of photographed subjects |
JP3989738B2 (ja) * | 2002-01-16 | 2007-10-10 | シャープ株式会社 | 画像形成方法および画像形成装置ならびにプログラム、記録媒体 |
JP5743837B2 (ja) * | 2011-10-07 | 2015-07-01 | キヤノン株式会社 | 光電変換装置、撮像装置および撮像システム |
WO2014050576A1 (ja) * | 2012-09-27 | 2014-04-03 | コニカミノルタ株式会社 | 色変換装置、画像形成装置及び色変換方法 |
JP2014106476A (ja) * | 2012-11-29 | 2014-06-09 | Canon Inc | 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体 |
JP6020199B2 (ja) * | 2013-01-24 | 2016-11-02 | 株式会社ソシオネクスト | 画像処理装置、方法、及びプログラム、並びに撮像装置 |
CN105594197A (zh) * | 2013-09-27 | 2016-05-18 | 富士胶片株式会社 | 摄像装置及摄像方法 |
JP6312487B2 (ja) * | 2014-03-26 | 2018-04-18 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、プログラム |
-
2014
- 2014-09-30 JP JP2014202274A patent/JP6585890B2/ja active Active
-
2015
- 2015-09-09 US US14/848,568 patent/US10334161B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006140601A (ja) * | 2004-11-10 | 2006-06-01 | Canon Inc | 画像処理装置及び画像処理装置の制御方法 |
JP2006186594A (ja) * | 2004-12-27 | 2006-07-13 | Canon Inc | 撮像装置及びその制御方法 |
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2013031154A (ja) * | 2011-06-24 | 2013-02-07 | Canon Inc | 画像処理装置、画像処理方法、撮像装置およびプログラム |
US20140192237A1 (en) * | 2011-11-30 | 2014-07-10 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and program, and image pickup apparatus including image processing apparatus |
JP2014147062A (ja) * | 2013-01-07 | 2014-08-14 | Canon Inc | 撮像装置およびその制御方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6585890B2 (ja) | 2019-10-02 |
US20160094784A1 (en) | 2016-03-31 |
US10334161B2 (en) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6055332B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6555863B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6838994B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP6548367B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
US9961272B2 (en) | Image capturing apparatus and method of controlling the same | |
JP6159097B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2010020758A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2012049773A (ja) | 撮像装置および方法、並びにプログラム | |
JP2014153890A5 (ja) | ||
JP2018174502A (ja) | 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム | |
JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
JP2013145980A (ja) | 撮像装置、その制御方法、画像処理装置、画像生成方法、プログラム | |
JP6425571B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2016001853A (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP6360338B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
JP2015175982A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6752942B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP6585890B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP2017184007A (ja) | 画像処理装置、撮像装置、制御方法およびプログラム | |
JP7134601B2 (ja) | 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法 | |
JP6566800B2 (ja) | 撮像装置及び撮像方法 | |
JP2009047735A (ja) | 撮像装置及び画像処理プログラム | |
JP2015084517A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP2015084518A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170928 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181001 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190619 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190906 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6585890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |