JP2020036310A - 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム - Google Patents
画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム Download PDFInfo
- Publication number
- JP2020036310A JP2020036310A JP2019124790A JP2019124790A JP2020036310A JP 2020036310 A JP2020036310 A JP 2020036310A JP 2019124790 A JP2019124790 A JP 2019124790A JP 2019124790 A JP2019124790 A JP 2019124790A JP 2020036310 A JP2020036310 A JP 2020036310A
- Authority
- JP
- Japan
- Prior art keywords
- image
- blur
- pupil
- shaped
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 77
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 title claims description 106
- 238000003860 storage Methods 0.000 title claims description 21
- 210000001747 pupil Anatomy 0.000 claims abstract description 106
- 230000003287 optical effect Effects 0.000 claims abstract description 69
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 238000002834 transmittance Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims 1
- 238000007493 shaping process Methods 0.000 abstract description 39
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 36
- 238000010586 diagram Methods 0.000 description 23
- 238000013527 convolutional neural network Methods 0.000 description 15
- 238000005315 distribution function Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
第1の特徴マップ203は、各フィルタに対して算出された結果をまとめたものである。第1の特徴マップ203は、第2の畳み込み層204に入力され、同様に新たな複数のフィルタとの畳み込みとバイアスの和が算出される。これを繰り返し、第N−1の特徴マップ211を第Nの畳み込み層212に入力して得られた結果が、ぼけ整形画像213である。ここで、Nは3以上の自然数である。一般には3層以上の畳み込み層を有するCNNが、ディープラーニングに該当すると言われる。各畳み込み層では、畳み込みの他に活性化関数を用いた非線型変換が実行される。活性化関数の例としては、シグモイド関数やReLU(Rectified Linear Unit)等がある。本実施例では以下の式(1)で表されるReLUを用いる。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102a 情報取得部(取得手段)
102b 画像生成部(生成手段)
Claims (24)
- 光学系の第1の瞳を介して被写体空間を撮像することで得られた第1の画像と、前記第1の瞳とは異なる前記光学系の第2の瞳を介して前記被写体空間を撮像することで得られた第2の画像と、を取得する工程と、
多層のニューラルネットワークを用いて、前記第1の画像と前記第2の画像とに基づいて、デフォーカスによるぼけを整形したぼけ整形画像を生成する工程と、を有することを特徴とする画像処理方法。 - 前記ぼけ整形画像は、前記デフォーカスによるぼけに対し、ヴィネッティング、点像強度分布のピーク分離による多重ぼけ、輪帯模様、または、前記光学系の瞳の遮蔽のうち少なくとも一つの影響を軽減した画像であることを特徴とする請求項1に記載の画像処理方法。
- 前記ぼけ整形画像のデフォーカスによるぼけの拡がりは、前記第1の画像のデフォーカスによるぼけの拡がり以上であることを特徴とする請求項1または2に記載の画像処理方法。
- 前記第1の瞳の透過率分布は、前記第2の瞳の透過率分布と異なることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理方法。
- 前記第2の瞳は、前記第1の瞳の一部であることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理方法。
- 前記第1の画像および前記第2の画像は、前記光学系を介して前記被写体空間を同時に撮像して得られた画像であることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理方法。
- 前記第1の画像および前記第2の画像は、同一の撮像素子により撮像された画像であることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理方法。
- 前記第1の画像と前記第2の画像との明るさを合わせる処理を行う工程を更に有し、
前記ぼけ整形画像を生成する工程は、前記明るさを合わせる処理後の前記第1の画像および前記第2の画像に基づいて実行されることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理方法 - 前記明るさを合わせる処理を行う工程は、前記第1の瞳と前記第2の瞳の透過率分布に関する情報に基づいて実行されることを特徴とする請求項8に記載の画像処理方法。
- 前記明るさを合わせる処理を行う工程は、前記第1の画像および前記第2の画像のそれぞれの部分領域に関して算出された平均画素値に基づいて実行されることを特徴とする請求項8に記載の画像処理方法。
- 前記多層のニューラルネットワークは、ウエイトに関する情報を用いて構成されることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理方法。
- 前記第2の瞳が線対称となる軸と平行かつ前記第1の画像および前記第2の画像のそれぞれの基準点を通過する直線で、前記第1の画像および前記第2の画像をそれぞれ分割し、分割された前記第1の画像および前記第2の画像に対して反転処理を行う工程を更に有し、
前記ぼけ整形画像を生成する工程は、反転処理後の前記第1の画像と前記第2の画像とに基づいて実行されることを特徴とする請求項1乃至11のいずれか1項に記載の画像処理方法。 - 前記第1の画像および第2の画像に基づいて前記被写体空間の視差マップまたはデプスマップを算出する工程を更に有し、
前記ぼけ整形画像を生成する工程は、更に前記視差マップまたは前記デプスマップに基づいて実行されることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理方法。 - 前記ぼけ整形画像を生成する工程は、前記視差マップまたは前記デプスマップを前記多層のニューラルネットワークに入力する工程を有することを特徴とする請求項13に記載の画像処理方法。
- 前記ぼけ整形画像を生成する工程は、前記第1の画像、前記第2の画像、および、前記視差マップまたは前記デプスマップをチャンネル方向に連結して構成される入力画像を前記多層のニューラルネットワークに入力する工程を有することを特徴とする請求項14に記載の画像処理方法。
- 前記ぼけ整形画像を生成する工程は、前記第1の画像または前記第2の画像におけるエッジの分布、或いは、前記第1の画像および前記第2の画像に基づいて算出された前記視差マップまたは前記デプスマップに基づいて、前記多層のニューラルネットワークに入力する前記第1の画像および前記第2の画像のそれぞれの入力領域を決定する工程を有することを特徴とする請求項13に記載の画像処理方法。
- 前記ぼけ整形画像を生成する工程は、
前記多層のニューラルネットワークを用いて、互いに異なるサンプリングレートのダウンサンプリングが実行された複数の特徴マップを算出する工程と、
前記複数の特徴マップに基づいて前記ぼけ整形画像を生成する工程と、を有することを特徴とする請求項1乃至16のいずれか1項に記載の画像処理方法。 - 光学系の第1の瞳を介して被写体空間を撮像することで得られた第1の画像と、前記第1の瞳とは異なる前記光学系の第2の瞳を介して前記被写体空間を撮像することで得られた第2の画像と、を取得する取得手段と、
多層のニューラルネットワークを用いて、前記第1の画像と前記第2の画像とに基づいて、デフォーカスによるぼけを整形したぼけ整形画像を生成する生成手段と、を有することを特徴とする画像処理装置。 - 光学系により形成された光学像を光電変換する撮像素子と、
請求項18に記載の画像処理装置と、を有することを特徴とする撮像装置。 - 前記撮像素子は複数の画素を有し、
該複数の画素のそれぞれは、複数の光電変換部を有し、
前記画素は、前記複数の光電変換部のそれぞれで互いに異なる入射角で入射する光を受光して複数の信号を生成し、
前記撮像素子は、前記複数の信号を加算した加算信号に対応する前記第1の画像と、前記複数の信号の一つの信号または該複数の信号の一部を加算した加算信号に対応する前記第2の画像と、を出力することを特徴とする請求項19に記載の撮像装置。 - 撮像装置に着脱可能なレンズ装置であって、
光学系と、
多層のニューラルネットワークに入力されるウエイトに関する情報を記憶する記憶手段と、を有し、
前記撮像装置は、
前記光学系の第1の瞳を介して被写体空間を撮像することで得られた第1の画像と、前記第1の瞳とは異なる前記光学系の第2の瞳を介して前記被写体空間を撮像することで得られた第2の画像と、を取得する取得手段と、
前記多層のニューラルネットワークを用いて、前記第1の画像と前記第2の画像と前記ウエイトに関する情報とに基づいて、デフォーカスによるぼけを整形したぼけ整形画像を生成する生成手段と、を有することを特徴とするレンズ装置。 - 請求項1乃至17のいずれか1項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
- 請求項22に記載のプログラムを記憶していることを特徴とする記憶媒体。
- 第1の処理装置と第2の処理装置とを有する画像処理システムであって、
前記第1の処理装置は、光学系の第1の瞳を介して被写体空間を撮像することで得られた第1の画像と、前記第1の瞳とは異なる前記光学系の第2の瞳を介して前記被写体空間を撮像することで得られた第2の画像と、を用いた画像処理の要求を前記第2の処理装置に対して送信する送信手段を有し、
前記第2の処理装置は、
前記第1の処理装置から送信された前記要求を受信する受信手段と、
前記第1の画像と前記第2の画像とを取得する取得手段と、
多層のニューラルネットワークを用いて、前記第1の画像と前記第2の画像とに基づいて、デフォーカスによるぼけを整形したぼけ整形画像を生成する生成手段と、
を有することを特徴とする画像処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/535,386 US11195257B2 (en) | 2018-08-24 | 2019-08-08 | Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system |
CN201910768726.2A CN110858871B (zh) | 2018-08-24 | 2019-08-20 | 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统 |
EP19192533.8A EP3614336A1 (en) | 2018-08-24 | 2019-08-20 | Image processing method, image processing apparatus, imaging apparatus, lens apparatus, program, and image processing system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018156813 | 2018-08-24 | ||
JP2018156813 | 2018-08-24 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020036310A true JP2020036310A (ja) | 2020-03-05 |
JP2020036310A5 JP2020036310A5 (ja) | 2022-07-06 |
JP7234057B2 JP7234057B2 (ja) | 2023-03-07 |
Family
ID=69668846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019124790A Active JP7234057B2 (ja) | 2018-08-24 | 2019-07-03 | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7234057B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021140758A (ja) * | 2020-03-09 | 2021-09-16 | キヤノン株式会社 | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム |
KR102336103B1 (ko) * | 2020-09-09 | 2021-12-08 | 울산과학기술원 | 딥러닝 기반 영상 디블러링 방법 및 이를 수행하는 장치 |
JP2022121797A (ja) * | 2021-02-09 | 2022-08-22 | キヤノン株式会社 | 画像処理方法および装置、機械学習モデルの訓練方法および装置、並びにプログラム |
JP2023008998A (ja) * | 2021-07-02 | 2023-01-19 | ビューワークス カンパニー リミテッド | ステレオ映像を用いた高深度映像生成方法及び装置、並びに高深度映像生成モデル学習装置{method and apparatus for generating high depth of field image, apparatus for training high depth of field image generation model using stereo image} |
US11830173B2 (en) | 2020-03-09 | 2023-11-28 | Canon Kabushiki Kaisha | Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018081378A (ja) * | 2016-11-14 | 2018-05-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
JP2018084982A (ja) * | 2016-11-24 | 2018-05-31 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
-
2019
- 2019-07-03 JP JP2019124790A patent/JP7234057B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018081378A (ja) * | 2016-11-14 | 2018-05-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
JP2018084982A (ja) * | 2016-11-24 | 2018-05-31 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021140758A (ja) * | 2020-03-09 | 2021-09-16 | キヤノン株式会社 | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム |
US11830173B2 (en) | 2020-03-09 | 2023-11-28 | Canon Kabushiki Kaisha | Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium |
JP7414745B2 (ja) | 2020-03-09 | 2024-01-16 | キヤノン株式会社 | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム |
KR102336103B1 (ko) * | 2020-09-09 | 2021-12-08 | 울산과학기술원 | 딥러닝 기반 영상 디블러링 방법 및 이를 수행하는 장치 |
US11645738B2 (en) | 2020-09-09 | 2023-05-09 | Unist (Ulsan National Institute Of Science And Technology) | Driving deep learning-based image deblurring method and apparatus performing the same |
JP2022121797A (ja) * | 2021-02-09 | 2022-08-22 | キヤノン株式会社 | 画像処理方法および装置、機械学習モデルの訓練方法および装置、並びにプログラム |
JP7451443B2 (ja) | 2021-02-09 | 2024-03-18 | キヤノン株式会社 | 画像処理方法および装置、機械学習モデルの訓練方法および装置、並びにプログラム |
JP2023008998A (ja) * | 2021-07-02 | 2023-01-19 | ビューワークス カンパニー リミテッド | ステレオ映像を用いた高深度映像生成方法及び装置、並びに高深度映像生成モデル学習装置{method and apparatus for generating high depth of field image, apparatus for training high depth of field image generation model using stereo image} |
Also Published As
Publication number | Publication date |
---|---|
JP7234057B2 (ja) | 2023-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110858871B (zh) | 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统 | |
JP7234057B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム | |
JP7439145B2 (ja) | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの生成方法、および、プログラム | |
US11188777B2 (en) | Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system | |
JP5968107B2 (ja) | 画像処理方法、画像処理装置およびプログラム | |
JP2019121252A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体 | |
US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
US11508038B2 (en) | Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system | |
JP2013211827A (ja) | 画像処理方法および装置、プログラム。 | |
US10062153B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
RU2690757C1 (ru) | Система синтеза промежуточных видов светового поля и способ ее функционирования | |
JP2017208641A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
JP2013031154A (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
US20190355101A1 (en) | Image refocusing | |
JP2014006388A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP7191588B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
CN109923853B (zh) | 图像处理装置、图像处理方法以及程序 | |
JP6682184B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP7309520B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体、画像処理システム、および、学習済みモデルの製造方法 | |
JP2018133064A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP7009219B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2021140758A (ja) | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
EP3629284A1 (en) | Image processing method, image processing apparatus, imaging apparatus, program, and storage medium | |
JP7129229B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
JP7319840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230222 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7234057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |