JP2017220726A - 画像処理装置およびその制御方法、撮像装置、プログラム - Google Patents
画像処理装置およびその制御方法、撮像装置、プログラム Download PDFInfo
- Publication number
- JP2017220726A JP2017220726A JP2016112159A JP2016112159A JP2017220726A JP 2017220726 A JP2017220726 A JP 2017220726A JP 2016112159 A JP2016112159 A JP 2016112159A JP 2016112159 A JP2016112159 A JP 2016112159A JP 2017220726 A JP2017220726 A JP 2017220726A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- viewpoint
- processing apparatus
- shift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 142
- 238000003384 imaging method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims description 80
- 230000008569 process Effects 0.000 claims description 68
- 239000000203 mixture Substances 0.000 claims description 16
- 238000011946 reduction process Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 12
- 230000035945 sensitivity Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 15
- 230000008859 change Effects 0.000 abstract description 4
- 238000009499 grossing Methods 0.000 description 23
- 238000012937 correction Methods 0.000 description 16
- 239000002131 composite material Substances 0.000 description 15
- 210000001747 pupil Anatomy 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 10
- 238000003705 background correction Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G06T5/70—
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Abstract
Description
本実施形態〜視点画像図1は、本発明の実施形態に係る画像処理装置100の概略構成を示すブロック図である。画像処理装置100は、制御部(CPU)101、信号処理部102、RAM103、外部記憶装置104、操作部105及び表示部106を有し、これらはバス107により相互に通信可能に接続されている。
本実施形態では、リフォーカス処理をより効果的に行うため、またシャープネス/アンシャープネスを掛ける領域を判定するために、視点画像間の像ずれ量の分布を算出する。
図2のステップS4で、像ずれ量分布MDIS(j,i)と所定像ずれ量から、像ずれ差分量分布MDIFF(j,i)を生成する。
図2のステップS5で、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)に対して、像ずれ差分量分布MDIFF(j,i)に応じて、第1の先鋭化および第1の平滑化の処理を行う。そして、第1修正視点画像と第2修正視点画像(第1修正視点画像から第NLF修正視点画像)を生成する。
図2のステップS7で、第1修正視点画像と第2修正視点画像(第1修正視点画像から第NLF修正視点画像)毎に重み係数をかけて、瞳分割方向(x軸方向)に相対的にシフトして加算する処理(シフト合成処理)を行う。そして、複数の視点画像による合成画像である中間画像を生成する。
図2のステップS7で、第1修正視点画像と第2修正視点画像(第1修正視点画像から第NLF修正視点画像)より生成されたシフト合成画像(中間画像)に対し、像ずれ差分量分布MDIFF(j,i)に応じた第2の先鋭化および第2の平滑化の処理を行う。この処理によって、撮影後に、先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ/アンシャープ制御された出力画像を生成する。
101 制御部
102 信号処理部
103 RAM
104 外部記憶装置
105 操作部
106 表示部
107 バス
108 ROM
Claims (14)
- 複数の視点画像と、該複数の視点画像に対応する撮影情報を取得する取得手段と、
前記視点画像に基づく画像データに画像処理を施す画像処理手段と、
前記画像処理手段による画像処理におけるパラメータをユーザ操作に基づいて設定する設定手段と、
前記撮影情報に基づいて、前記画像処理において前記設定手段によりユーザが設定可能なパラメータを制限する制限手段と、
を備えることを特徴とする画像処理装置。 - 前記撮影情報は、前記視点画像の撮像時のISO感度、焦点距離、レンズ、絞り値であることを特徴とする請求項1に記載の画像処理装置。
- 前記設定手段により設定される前記画像処理手段の施す画像の解像感を調整する調整処理のパラメータは、処理の強さであることを特徴とする請求項1または2に記載の画像処理装置。
- 前記設定手段により設定される前記画像処理手段の施す画像のボケの位置をシフトさせるボケシフト処理のパラメータは、各視点画像を合成する際の合成比率であることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記視点画像は、1つのマイクロレンズに複数の光電変換素子が割り当てられた撮像素子から得られた画像であることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記視点画像は、多眼の撮像装置から得られた画像であることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記設定手段により設定される、前記画像処理手段の施す画像の解像感を調整する調整処理における前記調整処理の強さは、前記制限手段によって前記撮影情報により調整幅が可変であることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記設定手段により設定される、前記画像処理手段の施す画像の解像感を調整する調整処理における前記調整処理の強さは、前記撮影情報によらず調整幅が固定であることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記設定手段により設定される、前記画像処理手段の施す画像のボケの位置をシフトさせるボケシフト処理における前記視点画像のシフト量は、前記制限手段によって前記撮影情報により調整幅が可変であることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記画像処理手段の施す画像のボケの位置をシフトさせるボケシフト処理における前記視点画像のシフト量は、前記撮影情報によらず調整幅が固定であることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記画像処理手段の施す画像内のゴーストを低減するゴースト低減処理は、前記撮影情報により調整の有効、無効が切り替わることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
- 前記ゴースト低減処理の有効、無効が切り替わる撮影情報は、前記視点画像の撮像時のレンズ情報であることを特徴とする請求項11に記載の画像処理装置。
- 前記画像処理手段の施す画像内のゴーストを低減するゴースト低減処理は、前記撮影情報によらず常に有効であることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
- 複数の視点画像と、該複数の視点画像に対応する撮影情報を取得する取得ステップと、
前記撮影情報に基づいて、画像処理手段による画像処理においてユーザが設定可能なパラメータを制限する制限ステップと、
前記画像処理手段による画像処理におけるパラメータをユーザ操作及び前記制限に基づいて設定する設定ステップと、
前記視点画像に基づく画像データに画像処理手段により前記画像処理を施す画像処理ステップと、
を備えることを特徴とする画像処理装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016112159A JP6789677B2 (ja) | 2016-06-03 | 2016-06-03 | 画像処理装置およびその制御方法、撮像装置、プログラム |
US15/611,488 US10339687B2 (en) | 2016-06-03 | 2017-06-01 | Image processing apparatus, method for controlling same, imaging apparatus, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016112159A JP6789677B2 (ja) | 2016-06-03 | 2016-06-03 | 画像処理装置およびその制御方法、撮像装置、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017220726A true JP2017220726A (ja) | 2017-12-14 |
JP6789677B2 JP6789677B2 (ja) | 2020-11-25 |
Family
ID=60483924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016112159A Active JP6789677B2 (ja) | 2016-06-03 | 2016-06-03 | 画像処理装置およびその制御方法、撮像装置、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10339687B2 (ja) |
JP (1) | JP6789677B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020240827A1 (ja) * | 2019-05-31 | 2020-12-03 | 日本電信電話株式会社 | 画像生成装置、画像生成方法、プログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004010693A1 (ja) * | 2002-07-19 | 2004-01-29 | Seiko Epson Corporation | 画像データの画質調整 |
JP2006050070A (ja) * | 2004-08-02 | 2006-02-16 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
JP2011055308A (ja) * | 2009-09-02 | 2011-03-17 | Ricoh Co Ltd | 撮像装置 |
JP2013009275A (ja) * | 2011-06-27 | 2013-01-10 | Canon Inc | 画像処理装置および画像処理方法、プログラム。 |
JP2013058834A (ja) * | 2011-09-07 | 2013-03-28 | Nikon Corp | 撮像装置および撮像装置の制御プログラム |
JP2015084518A (ja) * | 2013-09-20 | 2015-04-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2016100663A (ja) * | 2014-11-19 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8176065B2 (en) * | 2006-10-13 | 2012-05-08 | Sony Corporation | System and method for automatic selection of digital photo album cover |
JP5820257B2 (ja) | 2011-02-18 | 2015-11-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP5725975B2 (ja) * | 2011-05-27 | 2015-05-27 | キヤノン株式会社 | 撮像装置及び撮像方法 |
JP6239862B2 (ja) | 2013-05-20 | 2017-11-29 | キヤノン株式会社 | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 |
JP2015207181A (ja) * | 2014-04-22 | 2015-11-19 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
-
2016
- 2016-06-03 JP JP2016112159A patent/JP6789677B2/ja active Active
-
2017
- 2017-06-01 US US15/611,488 patent/US10339687B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004010693A1 (ja) * | 2002-07-19 | 2004-01-29 | Seiko Epson Corporation | 画像データの画質調整 |
JP2006050070A (ja) * | 2004-08-02 | 2006-02-16 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
JP2011055308A (ja) * | 2009-09-02 | 2011-03-17 | Ricoh Co Ltd | 撮像装置 |
JP2013009275A (ja) * | 2011-06-27 | 2013-01-10 | Canon Inc | 画像処理装置および画像処理方法、プログラム。 |
JP2013058834A (ja) * | 2011-09-07 | 2013-03-28 | Nikon Corp | 撮像装置および撮像装置の制御プログラム |
JP2015084518A (ja) * | 2013-09-20 | 2015-04-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2016100663A (ja) * | 2014-11-19 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020240827A1 (ja) * | 2019-05-31 | 2020-12-03 | 日本電信電話株式会社 | 画像生成装置、画像生成方法、プログラム |
JPWO2020240827A1 (ja) * | 2019-05-31 | 2020-12-03 | ||
JP7218801B2 (ja) | 2019-05-31 | 2023-02-07 | 日本電信電話株式会社 | 画像生成装置、画像生成方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20170352177A1 (en) | 2017-12-07 |
US10339687B2 (en) | 2019-07-02 |
JP6789677B2 (ja) | 2020-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7003238B2 (ja) | 画像処理方法、装置、及び、デバイス | |
JP6244655B2 (ja) | 画像処理装置および画像処理方法 | |
US9444991B2 (en) | Robust layered light-field rendering | |
US9591237B2 (en) | Automated generation of panning shots | |
EP3480784B1 (en) | Image processing method, and device | |
JP6011862B2 (ja) | 3次元画像撮影装置及び3次元画像撮影方法 | |
CN107493432B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
JP6548367B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US9332195B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
JP2013031154A (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP2015213299A (ja) | 画像処理装置および画像処理方法 | |
JP5147903B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2016039613A (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
JP6789677B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP6711428B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN113938578A (zh) | 一种图像虚化方法、存储介质及终端设备 | |
JP2018064280A (ja) | 画像処理装置および画像処理方法 | |
JP2019145092A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20160165207A1 (en) | Electronic device, method, and computer program product | |
JP6120535B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11514556B2 (en) | Image processing apparatus, image processing method, and image pickup apparatus for displaying image for use in focusing operation | |
JP6771954B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6789677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |