JP2023000326A - 画像処理方法、画像処理装置、画像処理システム、およびプログラム - Google Patents
画像処理方法、画像処理装置、画像処理システム、およびプログラム Download PDFInfo
- Publication number
- JP2023000326A JP2023000326A JP2021101075A JP2021101075A JP2023000326A JP 2023000326 A JP2023000326 A JP 2023000326A JP 2021101075 A JP2021101075 A JP 2021101075A JP 2021101075 A JP2021101075 A JP 2021101075A JP 2023000326 A JP2023000326 A JP 2023000326A
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured image
- image processing
- information
- weight map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 69
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 157
- 238000010801 machine learning Methods 0.000 claims abstract description 73
- 238000003384 imaging method Methods 0.000 claims abstract description 66
- 229920006395 saturated elastomer Polymers 0.000 claims description 59
- 230000000694 effects Effects 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 11
- 230000006866 deterioration Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000009931 harmful effect Effects 0.000 abstract description 8
- 238000012549 training Methods 0.000 description 26
- 230000002411 adverse Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 19
- 230000004075 alteration Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000011295 pitch Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
103b 取得部(取得手段)
103c 先鋭化部(第1の生成手段、第2の生成手段)
本発明の他の側面としての画像処理装置は、光学系を用いた撮像により得られた撮像画像を機械学習モデルに入力することで、第1の画像を生成する第1の生成手段と、前記光学系の光学性能に関する情報を取得する取得手段と、前記撮像画像と前記第1の画像と第1の重み情報とに基づいて第2の画像を生成する第2の生成手段とを有し、前記第1の重み情報は、前記光学性能に関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成される。
また、本発明の他の側面としての画像処理システムは、互いに通信可能な第1の装置と第2の装置とを有する画像処理システムであって、前記第1の装置は、光学系を用いた撮像により得られた撮像画像に対する処理の実行に関する要求を前記第2の装置へ送信する送信手段を有し、前記第2の装置は、前記要求を受信する受信手段と、前記撮像画像と、前記光学系の光学性能に関する情報とを取得する取得手段と、前記要求に基づいて、前記撮像画像を機械学習モデルに入力することで、前記撮像画像から第1の画像を生成する第1の生成手段と、前記撮像画像と前記第1の画像と第1の重み情報とに基づいて第2の画像を生成する第2の生成手段と、を有し、前記第1の重み情報は、前記光学性能に関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成される。
本発明の他の側面としての画像処理装置は、光学系を用いた撮像により得られた撮像画像を機械学習モデルに入力することで、第1の画像を生成する第1の生成手段と、前記光学系の光学性能に関する情報を取得する取得手段と、前記撮像画像と前記第1の画像と第1の重み情報とに基づいて第2の画像を生成する第2の生成手段とを有し、前記第1の重み情報は、前記光学性能に関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成され、前記飽和領域に関する情報は、前記飽和領域における被写体が前記撮像画像のぼけ成分によって広がった領域の範囲と、該領域に対応する信号値との関係を表す飽和影響マップである。
また、本発明の他の側面としての画像処理システムは、互いに通信可能な第1の装置と第2の装置とを有する画像処理システムであって、前記第1の装置は、光学系を用いた撮像により得られた撮像画像に対する処理の実行に関する要求を前記第2の装置へ送信する送信手段を有し、前記第2の装置は、前記要求を受信する受信手段と、前記撮像画像と、前記光学系の光学性能に関する情報とを取得する取得手段と、前記要求に基づいて、前記撮像画像を機械学習モデルに入力することで、前記撮像画像から第1の画像を生成する第1の生成手段と、前記撮像画像と前記第1の画像と第1の重み情報とに基づいて第2の画像を生成する第2の生成手段と、を有し、前記第1の重み情報は、前記光学性能に関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成され、前記飽和領域に関する情報は、前記飽和領域における被写体が前記撮像画像のぼけ成分によって広がった領域の範囲と、該領域に対応する信号値との関係を表す飽和影響マップである。
Claims (12)
- 撮像画像を機械学習モデルに入力し、第1の画像を生成する工程と、
前記撮像画像の撮像に用いた光学系の光学性能に関する情報を取得する工程と、
前記撮像画像と前記第1の画像と第1の重みマップとに基づいて第2の画像を生成する工程と、を有し、
前記第1の重みマップは、前記光学性能に関する情報と、前記撮像画像の飽和領域に関する情報とに基づいて生成されることを特徴とする画像処理方法。 - 前記第1の画像は、前記撮像画像を先鋭化した画像であることを特徴とする請求項1に記載の画像処理方法。
- 前記飽和領域に関する情報は、前記撮像画像の前記飽和領域の被写体が、撮像時の劣化によって広がった信号値の大きさと範囲を表す飽和影響マップであることを特徴とする請求項1または2に記載の画像処理方法。
- 前記光学性能に関する情報は、前記撮像画像の撮像時のズーム位置、絞り径、または被写体距離の少なくとも一つと、前記光学系の像高ごとの点像分布関数の信号値の大きさと範囲とに基づいて算出されることを特徴とする請求項1乃至3のいずれか一項に記載の画像処理方法。
- 前記第1の重みマップは、前記飽和領域に関する情報に基づいて、第2の重みマップと第3の重みマップとを合成して生成されることを特徴とする請求項1乃至4のいずれか一項に記載の画像処理方法。
- 前記第2の重みマップおよび前記第3の重みマップは、前記光学性能に関する情報に基づいた、互いに異なる重みを有することを特徴とする請求項5に記載の画像処理方法。
- 前記第2の重みマップは、非飽和領域における前記撮像画像の重みを決定し、
前記第3の重みマップは、前記飽和領域における前記撮像画像の重みを決定することを特徴とする請求項5または6に記載の画像処理方法。 - 前記第2の重みマップおよび前記第3の重みマップは、像高ごとに異なることを特徴とする請求項5乃至7のいずれか一項に記載の画像処理方法。
- 前記第1の重みマップは、前記光学系の光学性能に基づいた第2の重みマップを、前記撮像画像の前記飽和領域に基づいて調整して生成されることを特徴とする請求項1乃至4のいずれか一項に記載の画像処理方法。
- 撮像画像を機械学習モデルに入力し、第1の画像を生成する第1の生成手段と、
前記撮像画像の撮像に用いた光学系の光学性能に関する情報を取得する取得手段と、
前記撮像画像と前記第1の画像と第1の重みマップとに基づいて第2の画像を生成する第2の生成手段と、を有し、
前記第1の重みマップは、前記光学性能に関する情報と、前記撮像画像の飽和領域に関する情報とに基づいて生成されることを特徴とする画像処理装置。 - 互いに通信可能な第1の装置と第2の装置とを有する画像処理システムであって、
前記第1の装置は、撮像画像に対する処理の実行に関する要求を前記第2の装置へ送信する送信手段を有し、
前記第2の装置は、
前記要求を受信する受信手段と、
前記撮像画像と、前記撮像画像の撮像に用いた光学系の光学性能に関する情報とを取得する取得手段と、
前記要求に基づいて、前記撮像画像を機械学習モデルに入力し、前記撮像画像から第1の画像を生成する第1の生成手段と、
前記撮像画像と前記第1の画像と第1の重みマップとに基づいて第2の画像を生成する第2の生成手段と、を有することを特徴とする画像処理システム。 - 請求項1乃至9のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021101075A JP7225316B2 (ja) | 2021-06-17 | 2021-06-17 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
US17/838,611 US20220405893A1 (en) | 2021-06-17 | 2022-06-13 | Image processing method, image processing apparatus, image processing system, and memory medium |
CN202210668527.6A CN115496704A (zh) | 2021-06-17 | 2022-06-14 | 图像处理方法、图像处理装置、图像处理系统、以及存储介质 |
EP22179124.7A EP4109395A1 (en) | 2021-06-17 | 2022-06-15 | Image processing method, image processing apparatus, image processing system, and program |
JP2023014277A JP2023055847A (ja) | 2021-06-17 | 2023-02-01 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021101075A JP7225316B2 (ja) | 2021-06-17 | 2021-06-17 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023014277A Division JP2023055847A (ja) | 2021-06-17 | 2023-02-01 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023000326A true JP2023000326A (ja) | 2023-01-04 |
JP7225316B2 JP7225316B2 (ja) | 2023-02-20 |
Family
ID=82067505
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021101075A Active JP7225316B2 (ja) | 2021-06-17 | 2021-06-17 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
JP2023014277A Pending JP2023055847A (ja) | 2021-06-17 | 2023-02-01 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023014277A Pending JP2023055847A (ja) | 2021-06-17 | 2023-02-01 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220405893A1 (ja) |
EP (1) | EP4109395A1 (ja) |
JP (2) | JP7225316B2 (ja) |
CN (1) | CN115496704A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011121760A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
JP2020166628A (ja) * | 2019-03-29 | 2020-10-08 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 |
JP2020201540A (ja) * | 2019-06-06 | 2020-12-17 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015146364A1 (ja) * | 2014-03-28 | 2015-10-01 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法、及びプログラム |
-
2021
- 2021-06-17 JP JP2021101075A patent/JP7225316B2/ja active Active
-
2022
- 2022-06-13 US US17/838,611 patent/US20220405893A1/en active Pending
- 2022-06-14 CN CN202210668527.6A patent/CN115496704A/zh active Pending
- 2022-06-15 EP EP22179124.7A patent/EP4109395A1/en active Pending
-
2023
- 2023-02-01 JP JP2023014277A patent/JP2023055847A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011121760A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
JP2020166628A (ja) * | 2019-03-29 | 2020-10-08 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 |
JP2020201540A (ja) * | 2019-06-06 | 2020-12-17 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP4109395A1 (en) | 2022-12-28 |
JP7225316B2 (ja) | 2023-02-20 |
CN115496704A (zh) | 2022-12-20 |
US20220405893A1 (en) | 2022-12-22 |
JP2023055847A (ja) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7439145B2 (ja) | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの生成方法、および、プログラム | |
US11188777B2 (en) | Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system | |
JP4152398B2 (ja) | 手ぶれ補正装置 | |
JP2019121252A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体 | |
JP5264968B2 (ja) | 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム | |
JP7455542B2 (ja) | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム | |
US20210319537A1 (en) | Image processing method, image processing apparatus, image processing system, and memory medium | |
JP2023055848A (ja) | 画像処理方法、画像処理装置、画像処理システム、およびプログラム | |
JP7225316B2 (ja) | 画像処理方法、画像処理装置、画像処理システム、およびプログラム | |
JP2020030569A (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
JP2023088349A (ja) | 画像処理方法、画像処理装置、画像処理システム、およびプログラム | |
JP7451443B2 (ja) | 画像処理方法および装置、機械学習モデルの訓練方法および装置、並びにプログラム | |
JP2021189929A (ja) | 画像処理方法、プログラム、画像処理装置、および、画像処理システム | |
JP2023104667A (ja) | 画像処理方法、画像処理装置、画像処理システム、およびプログラム | |
WO2024029224A1 (ja) | 画像処理方法、画像処理装置、プログラムおよび画像処理システム | |
WO2022215375A1 (ja) | 画像処理方法、機械学習モデルの製造方法、画像処理装置、画像処理システム、及びプログラム | |
JP2024032621A (ja) | 画像処理方法、画像処理装置、及びプログラム | |
JP2021190814A (ja) | 学習方法、画像処理方法、およびプログラム | |
JP2024038523A (ja) | 画像処理方法、学習済みモデルの製造方法、プログラム、および、画像処理装置 | |
JP2023069527A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220517 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7225316 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |