JP2023058758A - データ生成方法、学習方法、推定方法、データ生成装置及びプログラム - Google Patents

データ生成方法、学習方法、推定方法、データ生成装置及びプログラム Download PDF

Info

Publication number
JP2023058758A
JP2023058758A JP2020049978A JP2020049978A JP2023058758A JP 2023058758 A JP2023058758 A JP 2023058758A JP 2020049978 A JP2020049978 A JP 2020049978A JP 2020049978 A JP2020049978 A JP 2020049978A JP 2023058758 A JP2023058758 A JP 2023058758A
Authority
JP
Japan
Prior art keywords
image
generating
data
model
data generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020049978A
Other languages
English (en)
Inventor
豊 森山
Yutaka Moriyama
嘉基 安藤
Yoshimoto Ando
肇 保坂
Hajime Hosaka
龍平 秦
Ryuhei Hata
雄亮 新見
Yusuke Shimmi
宜邦 野村
Nobukuni Nomura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2020049978A priority Critical patent/JP2023058758A/ja
Priority to CN202180019304.0A priority patent/CN115280754A/zh
Priority to US17/909,828 priority patent/US20230267707A1/en
Priority to PCT/JP2021/010077 priority patent/WO2021187365A1/ja
Priority to EP21771636.4A priority patent/EP4124016A4/en
Priority to TW110109038A priority patent/TW202207693A/zh
Publication of JP2023058758A publication Critical patent/JP2023058758A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/60—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

【課題】実際に撮影された画像から生成した理想的な画像を介して訓練データを取得する。【解決手段】データ生成方法は、プロセッサによりモデルの学習に用いるデータを生成する方法であって、所定デバイスにより取得された撮影画像から、前記モデルの出力データに対応する理想画像を生成し、前記理想画像から、前記モデルの入力データに対応する劣化画像を生成する。【選択図】図１

Description

本開示は、データ生成方法、学習方法、推定方法、データ生成装置及びプログラムに関する。
今日、ディープラーニングをはじめとして、機械学習による推定モデル生成等が広く研究されている。機械学習を実行する場合には、生成するモデルに多くの訓練データを入力する必要がある。また、バリデーションを実行するためにも、多くの訓練データが必要となる。画像を入力とするモデル生成に用いる訓練データの収集には、実際の風景を写真として取得したり、絵画を描いたりする必要がある。
しかしながら、データの収集には手間が掛かり、ヒューマンエラー等が発生する蓋然性も高い。また、実写画像の場合には、画像を用意するのは簡単ではあるが、劣化要素（レンズ特性、イメージセンサ特性、信号処理による特性）が既に付加されているため、劣化要素は、限定的、かつ、不正確にしか付加できない。さらに、教師データの収集という観点においても、実写画像は既に劣化要素を含んでいるため、実写画像が教師データとして用いる理想的な画像であるとは言えない。
特開平6-348840号公報
そこで、本開示は、実際に撮影された画像から理想的な画像を生成し、この画像に基づいて訓練データを生成する。
一実施形態によれば、データ生成方法は、プロセッサによりモデルの学習に用いる訓練データを生成する方法であって、所定デバイスにより取得された撮影画像から、前記モデルの出力データに対応する理想画像を生成し、前記理想画像から、前記モデルの入力データに対応する劣化画像を生成する。
前記所定デバイスのレンズに関する劣化に基づいて、前記理想画像を生成してもよい。
前記所定デバイスのセンサに関する劣化に基づいて、前記理想画像を生成してもよい。
前記撮影画像を縮小して前記理想画像を生成してもよい。
前記所定デバイスにより取得した同じシーンにおける複数の静止画に基づいて、前記理想画像を生成してもよい。
前記複数の静止画における統計量に基づいて、前記理想画像を生成してもよい。
前記統計量は、画素ごとの平均値、モード、メディアン又は分散値のうち少なくとも1つを含んでもよい。
前記撮影画像に対してグローバルオフセットを用いて前記理想画像を生成してもよい。
前記撮影画像をキャリブレーションして前記理想画像を生成してもよい。
前記モデルの入力画像を撮影するターゲットデバイスに関する情報に基づいて、前記劣化画像を生成してもよい。
前記ターゲットデバイスのレンズに関する劣化に基づいて、前記劣化画像を生成してもよい。
前記ターゲットデバイスのセンサに関する劣化に基づいて、前記劣化画像を生成してもよい。
前記ターゲットデバイスにおいて実行される信号処理に基づいて、前記劣化画像を生成してもよい。
学習方法は、上記のいずれかに記載のデータ生成方法により生成された前記訓練データを用いて、モデルを最適化してもよい。
推定方法は、上記のいずれかに記載のデータ生成方法により生成された前記訓練データを用いて最適化されたモデルを用いて推定してもよい。
一実施形態によれば、データ生成装置は、モデルの学習に用いる訓練データを生成する装置であって、上記のいずれかに記載のいずれかの方法を実行するプロセッサを備えてもよい。
一実施形態によれば、プログラムは、コンピュータに、上記のいずれかに記載の方法を実行させてもよい。
一実施形態に係るデータ生成装置の一例を示す図。 一実施形態に係るデータ生成システムの処理を示すフローチャート。 一実施形態に係る機械学習システムの一例を示す図。
以下、図面を用いて本開示における実施形態について説明する。
図１は、一実施形態に係るデータ生成装置の一例を示す図である。データ生成装置1は、入出力インタフェース（以下、入出力I/F 100と記載する。）と、記憶部102と、理想画像生成部104と、劣化画像生成部106と、を備える。
入出力I/F 100は、データ生成装置1へのデータの入力及びデータ生成装置1からのデータの出力を実行するインタフェースである。データ生成装置1は、入出力I/F 100を介してデータが入力され、入出力I/F 100を介して外部へとデータを出力する。例えば、データ生成装置1は、入出力I/F 100を介して実際に様々なデバイスにより撮影された画像データを取得する。この他、入出力I/F 100は、ユーザからの指令を受け付け、ユーザへと何らかの出力をするインタフェースを備えていてもよい。また、これには限られず、データ生成装置1は、入力I/Fと出力I/Fを別々に備えていてもよい。
記憶部102は、データ生成装置1において必要となるデータを一時的又は非一時的に格納する。記憶部102は、例えば、メモリを備える。また、データ生成装置1の昨日のうち少なくとも1つがソフトウェアにより実行される場合には、記憶部102は、データ生成装置1の各機能のうち少なくとも1つを実行するためのプログラムを格納してもよい。例えば、記憶部102は、入出力I/F 100を介して入力されたデータを格納してもよいし、生成した訓練データを格納してもよい。また、データ生成装置1における演算において、適宜途中経過等を格納してもよい。
理想画像生成部104は、入出力I/F 100から入力された画像から理想画像を生成する。理想画像生成部104は、例えば、入力された画像に適切な画像処理を施すことにより、理想画像を生成する。
劣化画像生成部106は、理想画像生成部104が生成した理想画像から、劣化画像を生成する。劣化画像生成部106は、カメラに関するパラメータ、例えば、レンズのパラメータ、センサのパラメータ等に基づいて、劣化画像を生成する。
データ生成装置1は、理想画像生成部104が生成した理想画像及び劣化画像生成部106が生成した劣化画像を訓練データとして入出力I/F 100を介して出力する。また、記憶部102に訓練データを格納してもよい。このように、データ生成装置1は、入力された実際に撮影されたデータに対して適切の画像回復処理を施して高画質な理想画像を生成し、この理想画像に対して任意の劣化処理を施して劣化画像を生成する。
図２は、本実施形態に係る処理を示すフローチャートである。
まず、データ生成装置1は、入出力I/F 100を介して実際に撮影された画像（以下、撮影画像と記載する。）を取得する（S100）。各々の画像は、例えば、デバイスのスペックが既知のものであってもよいし、未知のものであってもよい。入力される画像は、静止画であっても、動画であってもよい。動画である場合には、フレームごとの画像を取得してもよい。
次に、理想画像生成部104は、撮影画像から劣化要因を抑制した理想画像を生成する（S102）。理想画像生成部104は、撮影画像を撮影したデバイスのスペックが既知である場合には、当該スペック、例えば、レンズ、センサのスペックに基づいて劣化を補正してもよい。一方で、撮影画像を撮影したデバイスのスペックが未知である場合には、逆フィルタ処理、キャリブレーション等の一般的な画像補正方法を用いてもよい。
次に、劣化画像生成部106は、理想画像に対して画像処理を施し、劣化画像を生成する（S104）。この画像処理は、機械学習の最適化のターゲットとなるモデルに基づいて決定されてもよい。例えば、モデルが所定デバイスにおける撮影画像が入力されると理想画像を出力するように最適化する場合には、劣化画像生成部106は、この所定デバイスのレンズ、センサ等のパラメータに基づいて画像を劣化させてもよい。また、劣化画像生成部106は、デバイス依存ではなく、用途に依存した劣化を実行する画像処理を理想画像に施してもよい。
次に、データ生成装置1は、理想画像と劣化画像のセットを訓練データとして出力する（S106）。ここで、出力するとは、例えば、データ生成装置1の外部のファイルサーバ、機械学習装置に出力することに合わせ、データ生成装置1の記憶部102に格納することをも含む概念である。
このように生成された訓練データを用いて、機械学習装置は、モデルの最適化を実行する。また、推定装置は、このように生成された訓練データを用いて最適化されたモデルを用いて、入力画像から適切な推定画像を取得する。
理想画像生成部104における処理について非限定的な具体例を挙げて説明する。理想画像生成部104は、既知、又は、未知のスペックを有するカメラにおいて撮影された画像から理想画像を生成する。
撮影したカメラが既知である場合、撮影画像のカメラによる劣化のいくつかの因子を決定することができる。このため、レンズ系、センサ系の劣化要因に基づいた画像回復を実行することにより、理想画像を取得することができる。例えば、レンズ系から天像分布関数（Point Spread Function：PSF）が取得できる場合には、当該PSFに基づいたデコンボリューションフィルタを用いて撮影画像におけるぼけを除去した画像を取得してもよい。この場合、適切にノイズリダクション等を実行してもよい。センサ系におけるノイズ付加の要因が取得できる場合には、当該ノイズ付加の要因に基づいた補間等を実行した画像を取得してもよい。この他、劣化の因子に関するパラメータが取得できる場合には、理想画像生成部104は、このパラメータに基づいて適切な画像処理を実行することにより理想画像を生成してもよい。
理想画像生成部104は、撮影したカメラが未知、又は、撮影したカメラのスペックが未知である場合についても、以下の例のように理想画像を生成することが可能である。
理想画像生成部104は、例えば、ショットノイズ、パターンノイズ等のノイズは、画像を縮小することで抑制してもよい。縮小のアルゴリズムは、任意のアルゴリズムであってよい。縮小の前に、ガウシアンフィルタを施す等の処理をして、ノイズ除去を先んじて実行してもよい。
理想画像生成部104は、例えば、ランダムノイズが発生している場合であって、ノイズが発生している撮影デバイスを用いて撮影が実行できる場合、連続して複数枚の画像を取得し、複数の画像を用いてノイズ除去の処理を実行してもよい。例えば、理想画像生成部104は、同じシーンにおける複数枚の画像における各画素値の平均を算出することにより、ランダムノイズを抑制することが可能となる。また、平均値のみならず、各画素におけるモード、メディアン、分散値等の平均値以外の統計量が理想画像の生成処理に用いられてもよい。
理想画像生成部104は、例えば、グローバルオフセットを用いることにより劣化を抑制してもよい。一般に、撮影された画像は、真に黒い画素値が存在しないようなオフセットがされる場合がある。この原因は、レンズ系、受光素子系等様々考えられるが、撮影するデバイスにおいて黒画像を撮影することにより、オフセットを算出し、このオフセット値を取得した画像から減算することにより画像の劣化を抑制してもよい。
理想画像生成部104は、各種収差を抑制する画像補正を実行してもよい。例えば、ザイデル収差のうち、球面収差、コマ収差、非点収差、像面湾曲の収差は、画像を縮小することにより抑制することができる。また、シフトバリアントなPSFを用いた逆フィルタ処理を実行してもよい。
理想画像生成部104は、歪曲収差に対して、キャリブレーションを実行してもよい。キャリブレーションは、例えば、チェッカーボードを撮影デバイスで撮影しておき、この撮影像の歪みから画像修正を実行するマトリクス（歪み補正係数）を算出しておく。そして、このマトリクスを用いて、理想画像生成部104は、撮影画像の歪曲を較正してもよい。
いくつかの理想画像生成部104による理想画像取得の例を挙げたが、上述したように、これらは非限定的な具体例であり、回復画像を取得するための例として記載したものである。理想画像生成部104は、例えば、ブラインドデコンボリューションといったように、この他の画像回復手法を用いて撮影画像から理想画像を生成してもよい。さらには、この画像を修正して理想画像が取得できる学習済みのモデルが存在する場合には、この学習済みモデルを用いて理想画像生成部104は、理想画像を取得してもよい。また、理想画像生成部104は、上記に挙げた具体例を単独で適用するのでは無く、複数の方法を用いて理想画像を生成してもよい。
次に劣化画像生成部106における処理について非限定的な具体例を挙げて説明する。劣化画像生成部106は、例えば、推定モデルを用いる対象となるデバイスのカメラに関するパラメータを用いて劣化画像を生成する。
例えば、推定モデルをデジタルカメラに搭載して自動的に撮影画像に対する理想画像を取得したい場合、劣化画像生成部106は、理想画像に対して当該デジタルカメラの特性に合わせた劣化画像を生成する。デジタルカメラの特性は、例えば、レンズ系、センサ系それぞれにおけるパラメータにより定義されるものであってもよい。また、この劣化因子は、レンズ系とセンサ系における撮像面までの距離に基づいていてもよい。
劣化画像生成部106は、例えば、推定モデルにより回復する対象となる画像を撮影するカメラのレンズ系における、レンズの枚数、パワー、開口数、焦点距離等といったレンズ系に関するパラメータを取得する。この取得したパラメータに基づいて、当該レンズ系を介した時にどのような劣化が発生するかを解析し、この解析結果により劣化処理を実行してもよい。センサ系についても同様であり、センサにおいてどのような特性があるかを把握し、この特性により発生するノイズ等の劣化を想定して劣化処理を実行してもよい。
また、推定の対象となる撮影デバイスが画像出力の前に生データに対して何らかの信号処理（画像処理を含んでもよい。）を実行している場合には、上記の劣化処理を行った後の画像に、同じ信号処理を施して劣化画像として出力してもよい。
データ生成装置1は、上記に説明した理想画像生成部104と、劣化画像生成部106との画像を紐付けて訓練データとして出力する。なお、理想画像生成部104により生成された理想画像は、別途格納しておいてもよい。そして、この理想画像を用いて、別のターゲットデバイスに対する劣化画像の生成を行ってもよい。
以上のように、本実施形態に係るデータ生成装置1によれば、あるデバイスにより撮影された画像を理想画像として用いるのでは無く、この撮影画像を理想画像へと変換し、そこからターゲットとなるデバイスにおける劣化画像を取得することにより、精度のよい推定できるモデルを最適化するための訓練データを取得することが可能となる。これは、撮影画像は、既に劣化している画像であるため、この画像を理想画像として訓練しても望ましい結果が推定できないためである。また、理想画像をどのような画像にするかも適宜変更することができるため、推定モデルにおいて推定した結果がどのような画像となるかも任意に決定することができる。
さらに、理想画像生成部104が理想画像を生成することにより、劣化画像生成部106は、種々の劣化画像を生成することができる。これは、撮影画像におけるレンズパラメータ等を問題としない理想画像に対して劣化処理を実行することができるためである。例えば、CGデータを理想画像として用いることもできるが、本実施形態に係るデータ生成装置1によれば、CGデータを生成するコストを削減することが可能となる。
図３は、本実施形態に係る機械学習システム2を示す。この図３に示されるように、機械学習システム2は、データ生成装置１と、機械学習装置3と、を備える。機械学習装置3は、データ生成装置1が生成した理想画像と劣化画像とを訓練データとして、モデルを最適化する。なお、機械学習装置3にデータ生成装置1が備えられる形態であってもよい。
このモデルを備える推定装置は、ターゲットとなるデバイスにより撮影された画像から、望ましい画像を推定することができる。
以上説明した全ての実施形態によれば、実際に撮影された画像をそのまま理想画像（教師画像）として用いるのでは無く、この実際に撮影された画像から理想画像をコンピュータシミュレーションにより生成することができる。また、この理想画像に対する劣化画像もコンピュータシミュレーションにより生成することができる。このように、理想画像も劣化画像もない状態において、実写画像から訓練データを生成することが可能となる。この劣化画像の生成は、シミュレーションにおけるパラメータを変更することにより種々のデバイスに適用させることも可能である。このため、本開示の態様によれば、製品により異なるパラメータを適切に設定した劣化画像を生成することが可能となる。また、この劣化画像は、理想画像から生成されるが、この理想画像として、実写画像を用いるのではなく、撮影したデバイスに依存する劣化をシミュレーションにより回復した画像を用いることができるため、機械学習の訓練における教師データとしてより品質の良いデータを生成することができる。
本開示の態様は、プログラムにより実装されてもよい。プログラムは、記憶部に記憶され、ソフトウェアによる情報処理がハードウェアにより具体的に実現されるものであってもよい。ソフトウェアの処理は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）等のプロセッサにおいて実行される他、種々のアナログ回路又はデジタル回路、例えば、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）、DSP（Digital Signal Processor）により実装されてもよい。
前述した実施形態は、以下のような形態としてもよい。
(１)
プロセッサによりモデルの学習に用いる訓練データを生成する方法であって、
所定デバイスにより取得された撮影画像から、前記モデルの出力データに対応する理想画像を生成し、
前記理想画像から、前記モデルの入力データに対応する劣化画像を生成する、
データ生成方法。
(２)
前記所定デバイスのレンズに関する劣化に基づいて、前記理想画像を生成する、
(１)に記載のデータ生成方法。
(３)
前記所定デバイスのセンサに関する劣化に基づいて、前記理想画像を生成する、
(１)又は(２)に記載のデータ生成方法。
(４)
前記撮影画像を縮小して前記理想画像を生成する、
(１)から(３)のいずれかに記載のデータ生成方法。
(５)
前記所定デバイスにより取得した同じシーンにおける複数の静止画に基づいて、前記理想画像を生成する、
(１)から(４)のいずれかに記載のデータ生成方法。
(６)
前記複数の静止画における統計量に基づいて、前記理想画像を生成する、
(５)に記載のデータ生成方法。
(７)
前記統計量は、画素ごとの平均値、モード、メディアン又は分散値のうち少なくとも1つを含む、
(６)に記載のデータ生成方法。
(８)
前記撮影画像に対してグローバルオフセットを用いて前記理想画像を生成する、
(１)から(７)のいずれかに記載のデータ生成方法。
(９)
前記撮影画像をキャリブレーションして前記理想画像を生成する、
(１)から(８)のいずれかに記載のデータ生成方法。
(１０)
前記モデルの入力画像を撮影するターゲットデバイスに関する情報に基づいて、前記劣化画像を生成する、
(１)から(９)のいずれかに記載のデータ生成方法。
(１１)
前記ターゲットデバイスのレンズに関する劣化に基づいて、前記劣化画像を生成する、
(１０)に記載のデータ生成方法。
(１２)
前記ターゲットデバイスのセンサに関する劣化に基づいて、前記劣化画像を生成する、
(１０)又は(１１)に記載のデータ生成方法。
(１３)
前記ターゲットデバイスにおいて実行される信号処理に基づいて、前記劣化画像を生成する、
(１０)から(１２)のいずれかに記載のデータ生成方法。
(１４)
(１)から(１３)のいずれかに記載のデータ生成方法により生成された前記訓練データを用いて、モデルを最適化する、
学習方法。
(１５)
(１)から(１３)のいずれかに記載のデータ生成方法により生成された前記訓練データを用いて最適化されたモデルを用いて推定する、
推定方法。
(１６)
モデルの学習に用いる訓練データを生成する装置であって、(１)から(１５)のいずれかに記載のいずれかの方法を実行するプロセッサを備える、
データ生成装置。
(１７)
コンピュータに、
(１)から(１５)のいずれかに記載の方法を実行させる、
プログラム。
本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1：データ生成装置、
100：入出力I/F、
102：記憶部、
104：理想画像生成部、
106：劣化画像生成部

Claims (17)

  1. プロセッサによりモデルの学習に用いる訓練データを生成する方法であって、
    所定デバイスにより取得された撮影画像から、前記モデルの出力データに対応する理想画像を生成し、
    前記理想画像から、前記モデルの入力データに対応する劣化画像を生成する、
    データ生成方法。
  2. 前記所定デバイスのレンズに関する劣化に基づいて、前記理想画像を生成する、
    請求項１に記載のデータ生成方法。
  3. 前記所定デバイスのセンサに関する劣化に基づいて、前記理想画像を生成する、
    請求項１に記載のデータ生成方法。
  4. 前記撮影画像を縮小して前記理想画像を生成する、
    請求項１に記載のデータ生成方法。
  5. 前記所定デバイスにより取得した同じシーンにおける複数の静止画に基づいて、前記理想画像を生成する、
    請求項１に記載のデータ生成方法。
  6. 前記複数の静止画における統計量に基づいて、前記理想画像を生成する、
    請求項５に記載のデータ生成方法。
  7. 前記統計量は、画素ごとの平均値、モード、メディアン又は分散値のうち少なくとも1つを含む、
    請求項６に記載のデータ生成方法。
  8. 前記撮影画像に対してグローバルオフセットを用いて前記理想画像を生成する、
    請求項１に記載のデータ生成方法。
  9. 前記撮影画像をキャリブレーションして前記理想画像を生成する、
    請求項１に記載のデータ生成方法。
  10. 前記モデルの入力画像を撮影するターゲットデバイスに関する情報に基づいて、前記劣化画像を生成する、
    請求項１に記載のデータ生成方法。
  11. 前記ターゲットデバイスのレンズに関する劣化に基づいて、前記劣化画像を生成する、
    請求項１０に記載のデータ生成方法。
  12. 前記ターゲットデバイスのセンサに関する劣化に基づいて、前記劣化画像を生成する、
    請求項１０に記載のデータ生成方法。
  13. 前記ターゲットデバイスにおいて実行される信号処理に基づいて、前記劣化画像を生成する、
    請求項１０に記載のデータ生成方法。
  14. 請求項１に記載のデータ生成方法により生成された前記訓練データを用いて、前記モデルを最適化する、
    学習方法。
  15. 請求項１に記載のデータ生成方法により生成された前記訓練データを用いて最適化された前記モデルを用いて推定する、
    推定方法。
  16. モデルの学習に用いる訓練データを生成する装置であって、
    所定デバイスにより取得された撮影画像から、前記モデルの出力データに対応する理想画像を生成し、
    前記理想画像から、前記モデルの入力データに対応する劣化画像を生成する、
    プロセッサを備える、
    データ生成装置。
  17. コンピュータに、
    プロセッサによりモデルの学習に用いる訓練データを生成する方法であって、
    所定デバイスにより取得された撮影画像から、前記モデルの出力データに対応する理想画像を生成するステップ、
    前記理想画像から、前記モデルの入力データに対応する劣化画像を生成するステップ、
    を備える方法、
    を実行させるプログラム。
JP2020049978A 2020-03-19 2020-03-19 データ生成方法、学習方法、推定方法、データ生成装置及びプログラム Pending JP2023058758A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020049978A JP2023058758A (ja) 2020-03-19 2020-03-19 データ生成方法、学習方法、推定方法、データ生成装置及びプログラム
CN202180019304.0A CN115280754A (zh) 2020-03-19 2021-03-12 数据生成方法、学习方法、估计方法、数据生成装置和程序
US17/909,828 US20230267707A1 (en) 2020-03-19 2021-03-12 Data generating method, learning method, estimating method, data generating device, and program
PCT/JP2021/010077 WO2021187365A1 (ja) 2020-03-19 2021-03-12 データ生成方法、学習方法、推定方法、データ生成装置及びプログラム
EP21771636.4A EP4124016A4 (en) 2020-03-19 2021-03-12 DATA GENERATION METHOD, LEARNING METHOD, ESTIMATION METHOD, DATA GENERATION APPARATUS AND PROGRAM
TW110109038A TW202207693A (zh) 2020-03-19 2021-03-12 資料產生方法、學習方法、推定方法、資料產生裝置及程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020049978A JP2023058758A (ja) 2020-03-19 2020-03-19 データ生成方法、学習方法、推定方法、データ生成装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2023058758A true JP2023058758A (ja) 2023-04-26

Family

ID=77772084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020049978A Pending JP2023058758A (ja) 2020-03-19 2020-03-19 データ生成方法、学習方法、推定方法、データ生成装置及びプログラム

Country Status (6)

Country Link
US (1) US20230267707A1 (ja)
EP (1) EP4124016A4 (ja)
JP (1) JP2023058758A (ja)
CN (1) CN115280754A (ja)
TW (1) TW202207693A (ja)
WO (1) WO2021187365A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6910780B2 (ja) * 2016-09-30 2021-07-28 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP7146372B2 (ja) * 2017-06-21 2022-10-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
CN115280754A (zh) 2022-11-01
WO2021187365A1 (ja) 2021-09-23
TW202207693A (zh) 2022-02-16
US20230267707A1 (en) 2023-08-24
EP4124016A1 (en) 2023-01-25
EP4124016A4 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
RU2716843C1 (ru) Цифровая коррекция аберраций оптической системы
US11188777B2 (en) Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system
JP5535053B2 (ja) 画像処理装置、及び画像処理方法
CN102422632B (zh) 摄像装置以及图像复原方法
KR20050107741A (ko) 이미지 인해스먼트 기능을 가진 카메라
JP5615393B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP5672527B2 (ja) 画像処理装置及び画像処理方法
WO2011132416A1 (ja) 撮像装置及び画像復元方法
Tang et al. What does an aberrated photo tell us about the lens and the scene?
JP6541454B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
Chang et al. Beyond camera motion blur removing: How to handle outliers in deblurring
JP4885150B2 (ja) 画像処理装置
JP7191588B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
JP2023058758A (ja) データ生成方法、学習方法、推定方法、データ生成装置及びプログラム
JP2016110622A (ja) 制御装置、画像処理装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体
KR101152525B1 (ko) 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치
CN115496673A (zh) 图像处理方法、图像处理装置、图像处理系统、以及存储介质
JP2010267195A (ja) カメラ運動・物体形状復元方法、カメラ運動・物体形状復元装置、カメラ運動・物体形状復元プログラム及びこのプログラムを記録した記録媒体
JP4927005B2 (ja) 変化要因情報のデータの生成法および信号処理装置
JP6537228B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6385206B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
Hirsch et al. Self-calibration of optical lenses
CN114119377A (zh) 一种图像处理方法及装置
JP2017028583A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2016119532A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体