JP2021056678A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2021056678A5 JP2021056678A5 JP2019178047A JP2019178047A JP2021056678A5 JP 2021056678 A5 JP2021056678 A5 JP 2021056678A5 JP 2019178047 A JP2019178047 A JP 2019178047A JP 2019178047 A JP2019178047 A JP 2019178047A JP 2021056678 A5 JP2021056678 A5 JP 2021056678A5
- Authority
- JP
- Japan
- Prior art keywords
- image
- shape
- processing method
- image processing
- designation information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000000034 method Methods 0.000 claims 1
- 238000007493 shaping process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 1
Description
本発明の一側面としての画像処理方法は、撮像画像のデフォーカスぼけの形状を整形した推定画像を生成する画像処理方法であって、前記撮像画像と、前記推定画像のデフォーカスぼけの形状を指定する形状指定情報とを含む入力データを取得する第1の工程と、前記入力データを機械学習モデルに入力することで前記推定画像を生成する第2の工程とを有する。
本発明の他の側面としての画像処理装置は、撮像画像のデフォーカスぼけの形状を整形した推定画像を生成する画像処理装置であって、前記撮像画像と、前記推定画像のデフォーカスぼけの形状を指定する形状指定情報とを含む入力データを取得する取得手段と、前記入力データを機械学習モデルに入力することで前記推定画像を生成する生成手段とを有する。
本発明の他の側面としての学習済みモデルの製造方法は、同一の被写体が存在し、異なる形状のデフォーカスぼけを有する訓練画像と正解画像を取得する工程と、前記正解画像のデフォーカスぼけの形状を指定する形状指定情報を取得する工程と、前記訓練画像と前記正解画像と前記形状指定情報とに基づいて、機械学習モデルを学習する工程とを有する。
本発明の他の側面としての画像処理システムは、互いに通信可能な第1の装置と第2の装置を有する画像処理システムであって、前記第1の装置は、撮像画像に対する処理の実行に関する要求を前記第2の装置へ送信する送信手段を有し、前記第2の装置は、前記要求を受信する受信手段と、前記撮像画像と、推定画像のデフォーカスぼけの形状を指定する形状指定情報とを含む入力データを取得する取得手段と、前記要求に応じて、前記入力データを機械学習モデルに入力することで前記撮像画像のデフォーカスぼけの形状を整形した前記推定画像を生成する生成手段とを有する。
Claims (17)
- 撮像画像のデフォーカスぼけの形状を整形した推定画像を生成する画像処理方法であって、
前記撮像画像と、前記推定画像のデフォーカスぼけの形状を指定する形状指定情報と、を含む入力データを取得する第1の工程と、
前記入力データを機械学習モデルに入力することで前記推定画像を生成する第2の工程と、を有することを特徴とする画像処理方法。 - 前記形状指定情報は、前記デフォーカスぼけの大きさ、または種類を指定する情報を含むことを特徴とする請求項1に記載の画像処理方法。
- 前記大きさおよび種類は、仮想のレンズパラメータに相当することを特徴とする請求項2に記載の画像処理方法。
- 前記形状指定情報は、前記撮像画像の信号値に基づいて決定されることを特徴とする請求項1乃至3のいずれか一項に記載の画像処理方法。
- 前記形状指定情報は、前記撮像画像の信号値の分布に基づいて決定されることを特徴とする請求項4に記載の画像処理方法。
- 前記形状指定情報は、前記撮像画像のデフォーカスマップに基づいて決定されることを特徴とする請求項1乃至5のいずれか一項に記載の画像処理方法。
- 前記形状指定情報は、空間的に分布を持つことを特徴とする請求項1乃至6のいずれか一項に記載の画像処理方法。
- 前記形状指定情報は、少なくとも1チャンネル以上のマップであり、デフォーカスぼけの大きさ、または種類を数値で示し、前記数値は正規化されていることを特徴とする請求項1乃至7のいずれか一項に記載の画像処理方法。
- 前記撮像画像に対する置換領域に関する情報を取得し、前記撮像画像の前記置換領域を前記推定画像で置換する第3の工程を更に有することを特徴とする請求項1乃至8のいずれか一項に記載の画像処理方法。
- 前記置換領域は、前記撮像画像の信号値またはデフォーカスマップに基づいて決定されることを特徴とする請求項9に記載の画像処理方法。
- 前記入力データは、更に、前記撮像画像のデフォーカスマップまたは輝度飽和マップを含むことを特徴とする請求項1乃至10のいずれか一項に記載の画像処理方法。
- 前記機械学習モデルは、デフォーカスぼけの大きさ、または種類を指定する第1の形状指定情報と、前記第1の形状指定情報とは異なる前記デフォーカスぼけの大きさ、または種類を指定する第2の形状指定情報と、に対して、同一のウエイトを用いることを特徴とする請求項1乃至11のいずれか一項に記載の画像処理方法。
- 請求項1乃至12のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
- 撮像画像のデフォーカスぼけの形状を整形した推定画像を生成する画像処理装置であって、
前記撮像画像と、前記推定画像のデフォーカスぼけの形状を指定する形状指定情報と、を含む入力データを取得する取得手段と、
前記入力データを機械学習モデルに入力することで前記推定画像を生成する生成手段と、を有することを特徴とする画像処理装置。 - 同一の被写体が存在し、異なる形状のデフォーカスぼけを有する訓練画像と正解画像を取得する工程と、
前記正解画像のデフォーカスぼけの形状を指定する形状指定情報を取得する工程と、
前記訓練画像と前記正解画像と前記形状指定情報とに基づいて、機械学習モデルを学習する工程と、を有することを特徴とする学習済みモデルの製造方法。 - 同一の被写体が存在し、異なる形状のデフォーカスぼけを有する訓練画像と正解画像を取得する第1の取得手段と、
前記正解画像のデフォーカスぼけの形状を指定する形状指定情報を取得する第2の取得手段と、
前記訓練画像と前記正解画像と前記形状指定情報に基づいて、機械学習モデルを学習する学習手段と、を有することを特徴とする画像処理装置。 - 互いに通信可能な第1の装置と第2の装置を有する画像処理システムであって、
前記第1の装置は、撮像画像に対する処理の実行に関する要求を前記第2の装置へ送信する送信手段を有し、
前記第2の装置は、
前記要求を受信する受信手段と、
前記撮像画像と、推定画像のデフォーカスぼけの形状を指定する形状指定情報と、を含む入力データを取得する取得手段と、
前記要求に応じて、前記入力データを機械学習モデルに入力することで前記撮像画像のデフォーカスぼけの形状を整形した前記推定画像を生成する生成手段と、を有することを特徴とする画像処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019178047A JP7455542B2 (ja) | 2019-09-27 | 2019-09-27 | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム |
US17/028,104 US11508038B2 (en) | 2019-09-27 | 2020-09-22 | Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system |
CN202011022610.3A CN112581382A (zh) | 2019-09-27 | 2020-09-25 | 图像处理方法、装置及系统、存储介质和学习模型制造方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019178047A JP7455542B2 (ja) | 2019-09-27 | 2019-09-27 | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021056678A JP2021056678A (ja) | 2021-04-08 |
JP2021056678A5 true JP2021056678A5 (ja) | 2022-10-03 |
JP7455542B2 JP7455542B2 (ja) | 2024-03-26 |
Family
ID=75119616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019178047A Active JP7455542B2 (ja) | 2019-09-27 | 2019-09-27 | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11508038B2 (ja) |
JP (1) | JP7455542B2 (ja) |
CN (1) | CN112581382A (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893482B2 (en) * | 2019-11-14 | 2024-02-06 | Microsoft Technology Licensing, Llc | Image restoration for through-display imaging |
US11227151B2 (en) * | 2020-03-05 | 2022-01-18 | King Fahd University Of Petroleum And Minerals | Methods and systems for computerized recognition of hand gestures |
US11750938B2 (en) * | 2021-02-18 | 2023-09-05 | Canon Kabushiki Kaisha | Image pickup apparatus that can assist user, control method therefor, and storage medium storing control program therefor |
JP7225316B2 (ja) * | 2021-06-17 | 2023-02-20 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
WO2023002678A1 (ja) * | 2021-07-19 | 2023-01-26 | 浜松ホトニクス株式会社 | 特徴量出力モデル生成システム、特徴量出力モデル生成方法、特徴量出力モデル生成プログラム及び特徴量出力モデル |
JP7205013B1 (ja) * | 2021-07-19 | 2023-01-16 | 浜松ホトニクス株式会社 | 特徴量出力モデル生成システム、特徴量出力モデル生成方法、特徴量出力モデル生成プログラム及び特徴量出力モデル |
CN114330574A (zh) * | 2021-12-31 | 2022-04-12 | 广东泰迪智能科技股份有限公司 | 一种面向模式识别的模糊标注方法 |
CN117422647B (zh) * | 2023-09-20 | 2024-07-16 | 西安交通大学 | 一种基于机器学习的心脏ct图像几何校准方法及系统 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000207549A (ja) * | 1999-01-11 | 2000-07-28 | Olympus Optical Co Ltd | 画像処理装置 |
US9143687B2 (en) * | 2012-03-14 | 2015-09-22 | University Of Dayton | Method of analyzing motion blur using double discrete wavelet transform |
JP5619124B2 (ja) * | 2012-12-20 | 2014-11-05 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
US9779491B2 (en) * | 2014-08-15 | 2017-10-03 | Nikon Corporation | Algorithm and device for image processing |
JP2015109681A (ja) * | 2015-01-09 | 2015-06-11 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 |
JP2016220016A (ja) | 2015-05-20 | 2016-12-22 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
JP2017010095A (ja) * | 2015-06-17 | 2017-01-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP2017010092A (ja) * | 2015-06-17 | 2017-01-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP6728365B2 (ja) * | 2016-08-25 | 2020-07-22 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
CN108810319B (zh) * | 2017-04-26 | 2020-10-23 | 富士通株式会社 | 图像处理装置和图像处理方法 |
EP3462410A1 (en) * | 2017-09-29 | 2019-04-03 | Thomson Licensing | A user interface for manipulating light-field images |
CN109727201A (zh) * | 2017-10-30 | 2019-05-07 | 富士通株式会社 | 信息处理设备、图像处理方法以及存储介质 |
US11094075B1 (en) * | 2018-01-23 | 2021-08-17 | Facebook Technologies, Llc | Systems and methods utilizing a machine learning model for generating defocus blur effects |
CN108629743B (zh) * | 2018-04-04 | 2022-03-25 | 腾讯科技(深圳)有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
CN109087256A (zh) * | 2018-07-19 | 2018-12-25 | 北京飞搜科技有限公司 | 一种基于深度学习的图像去模糊方法及系统 |
US11195257B2 (en) * | 2018-08-24 | 2021-12-07 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system |
JP6573185B1 (ja) * | 2018-12-07 | 2019-09-11 | 株式会社鈴康 | 情報処理システム、情報処理方法及びプログラム |
JP7258604B2 (ja) * | 2019-03-05 | 2023-04-17 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、および学習済みモデルの製造方法 |
CN109977847B (zh) * | 2019-03-22 | 2021-07-16 | 北京市商汤科技开发有限公司 | 图像生成方法及装置、电子设备和存储介质 |
JP7016835B2 (ja) * | 2019-06-06 | 2022-02-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム |
-
2019
- 2019-09-27 JP JP2019178047A patent/JP7455542B2/ja active Active
-
2020
- 2020-09-22 US US17/028,104 patent/US11508038B2/en active Active
- 2020-09-25 CN CN202011022610.3A patent/CN112581382A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021056678A5 (ja) | ||
JP2020504868A5 (ja) | ||
JP2018010622A5 (ja) | ||
KR101718837B1 (ko) | 응용프로그램의 제어방법, 장치 및 전자장비 | |
JP2014199584A5 (ja) | ||
JP2018036897A5 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9324008B2 (en) | Classifier update device, information processing device, and classifier update method | |
JP2012129749A5 (ja) | ||
JP2017037618A5 (ja) | ||
JP2018045608A5 (ja) | ||
JP2019507384A5 (ja) | ||
JP2018124780A5 (ja) | ||
JP2016046538A5 (ja) | ||
JP2010147856A5 (ja) | ||
JP2020004266A5 (ja) | ||
JP6973375B2 (ja) | 制御装置、制御方法、及び、制御プログラム | |
JP2016127342A5 (ja) | ||
JP2013026938A5 (ja) | ||
JP2017531501A5 (ja) | ||
JP2019020778A5 (ja) | ||
RU2020103459A (ru) | Устройство и способ для формирования изображения | |
JP2019061679A5 (ja) | ||
JP2019512188A5 (ja) | ||
JP2018022247A5 (ja) | ||
RU2018133450A (ru) | Устройство для генерирования синтезированного 2d-изображения объекта с улучшенной глубиной резкости |