JP2022048221A5 - - Google Patents

Description

本発明の一側面としての画像処理方法は、撮像画像と、該撮像画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報とを含む入力データを取得する第１の工程と、前記入力データを機械学習モデルに入力し、前記撮像画像の鮮鋭化または前記撮像画像に含まれるぼけの整形を行うことで推定画像を生成する第２の工程とを有する。

本発明の他の側面としての画像処理装置は、撮像画像と、該撮像画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報とを含む入力データを取得する取得手段と、前記入力データを機械学習モデルに入力し、前記撮像画像の鮮鋭化または前記撮像画像に含まれるぼけの整形を行うことで推定画像を生成する生成手段とを有する。

本発明の他の側面としての画像処理システムは、第１の装置と第２の装置を有する画像処理システムであって、前記第１の装置は、撮像画像に対する処理の実行に関する要求を前記第２の装置へ送信する送信手段を有し、前記第２の装置は、前記要求を受信する受信手段と、前記撮像画像と、該撮像画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報とを含む入力データを取得する取得手段と、前記要求に基づいて、前記入力データを機械学習モデルに入力し、前記撮像画像の鮮鋭化または前記撮像画像に含まれるぼけの整形を行うことで推定画像を生成する生成手段とを有する。

本発明の他の側面としての画像処理方法は、訓練画像と、該訓練画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報と、を含む入力データを取得する第１の工程と、前記入力データを機械学習モデルに入力し、前記訓練画像の鮮鋭化または前記訓練画像に含まれるぼけの整形を行うことで出力画像を生成する第２の工程と、前記出力画像と正解画像に基づいて、前記機械学習モデルのウエイトを更新する第３の工程とを有する。

本発明の他の側面としての学習済みウエイトの製造方法は、訓練画像と、該訓練画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報とを含む入力データを取得する第１の工程と、前記入力データを機械学習モデルに入力し、前記訓練画像の鮮鋭化または前記訓練画像に含まれるぼけの整形を行うことで出力画像を生成する第２の工程と、前記出力画像と正解画像に基づいて、前記機械学習モデルのウエイトを更新する第３の工程とを有する。

本発明の他の側面としての画像処理装置は、訓練画像と、該訓練画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報とを含む入力データを取得する取得手段と、前記入力データを機械学習モデルに入力し、前記訓練画像の鮮鋭化または前記訓練画像に含まれるぼけの整形を行うことで出力画像を生成する生成手段と、前記出力画像と正解画像に基づいて、前記機械学習モデルのウエイトを更新する更新手段とを有する。

Claims (28)

1. 撮像画像と、該撮像画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報とを含む入力データを取得する第１の工程と、
   前記入力データを機械学習モデルに入力し、前記撮像画像の鮮鋭化または前記撮像画像に含まれるぼけの整形を行うことで推定画像を生成する第２の工程とを有することを特徴とする画像処理方法。
2. 前記状態は、前記光学系のズーム、絞り、フォーカス距離の少なくともいずれかを含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記第２の工程において、前記光学系の第１の状態での撮像により得られた第１の撮像画像と、前記光学系の前記第１の状態とは異なる第２の状態での撮像により得られた第２の撮像画像とに対して、同一のウエイトの前記機械学習モデルを用いることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記第１の情報は、前記光学系のズーム、絞り、フォーカス距離の少なくともいずれかを示す数値を含み、
   前記数値は、ズーム、絞り、フォーカス距離の少なくともいずれかに関して前記光学系の取り得る範囲に基づいて正規化されていることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
5. 前記入力データは、前記光学系の状態を示すステートマップを含み、
   前記ステートマップは、前記撮像画像の画素数と、前記第１の情報とに基づいて生成されることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
6. 前記ステートマップは、前記光学系のズーム、絞り、フォーカス距離の少なくともいずれかを示す数値を要素として有することを特徴とする請求項５に記載の画像処理方法。
7. 前記ステートマップは、前記光学系のズーム、絞り、フォーカス距離の少なくとも２つを示す数値をそれぞれ異なるチャンネルの要素として有することを特徴とする請求項５または６に記載の画像処理方法。
8. 前記ステートマップにおける同一のチャンネルに含まれる各要素は、互いに同一の数値であることを特徴とする請求項５乃至７のいずれか一項に記載の画像処理方法。
9. 前記撮像画像または前記撮像画像に基づく特徴マップと、前記ステートマップとをチャンネル方向に連結することを特徴とする請求項５乃至８のいずれか一項に記載の画像処理方法。
10. 前記入力データは、前記撮像画像の各画素の位置に関する第２の情報を含むことを特徴とする請求項１乃至９のいずれか一項に記載の画像処理方法。
11. 前記第２の情報は、前記光学系のイメージサークルに基づく長さによって正規化された数値を含むことを特徴とする請求項１０に記載の画像処理方法。
12. 前記第１の情報は、前記光学系の種類に関する情報を含むことを特徴する請求項１乃至１１のいずれか一項に記載の画像処理方法。
13. 前記第１の情報は、光学ローパスフィルタの有無、または光学ローパスフィルタの種類に関する情報を含むことを特徴する請求項１乃至１２のいずれか一項に記載の画像処理方法。
14. 前記状態は、前記光学系のアクセサリの有無、またはアクセサリの種類に関する情報を含むことを特徴する請求項１乃至１３のいずれか一項に記載の画像処理方法。
15. 前記第１の情報は、前記光学系の製造ばらつきに関する情報を含むことを特徴する請求項１乃至１４のいずれか一項に記載の画像処理方法。
16. 前記入力データは、前記撮像時における被写体空間の距離の分布に関する情報を含むことを特徴とする請求項１乃至１５のいずれか一項に記載の画像処理方法。
17. 前記入力データは、前記撮像に用いられた撮像素子の画素ピッチまたはカラーフィルタアレイに関する情報を含むことを特徴とする請求項１乃至１６のいずれか一項に記載の画像処理方法。
18. 前記第２の工程は、前記入力データを前記機械学習モデルに入力することで実行される処理により前記推定画像を生成することで行われることを特徴とする請求項１乃至１７のいずれか一項に記載の画像処理方法。
19. 前記機械学習モデルは、前記入力データから、前記推定画像を出力するように予め学習されていることを特徴とする請求項１乃至１８のいずれか一項に記載の画像処理方法。
20. 前記第１の工程では前記入力データと前記機械学習モデルのウエイト情報とを取得し、前記第２の工程では前記入力データを前記ウエイト情報に基づく前記機械学習モデルに入力することを特徴とする請求項１乃至１９のいずれか一項に記載の画像処理方法。
21. 前記ウエイト情報は、訓練画像と該訓練画像に対応する光学系の状態に関する情報とを含む訓練用入力データを用いて、前記第１の情報に応じて異なる処理を行うように予め学習されていることを特徴とする請求項２０に記載の画像処理方法。
22. 請求項１乃至２１のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
23. 撮像画像と、該撮像画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報とを含む入力データを取得する取得手段と、
    前記入力データを機械学習モデルに入力し、前記撮像画像の鮮鋭化または前記撮像画像に含まれるぼけの整形を行うことで推定画像を生成する生成手段とを有することを特徴とする画像処理装置。
24. 第１の装置と第２の装置を有する画像処理システムであって、
    前記第１の装置は、撮像画像に対する処理の実行に関する要求を前記第２の装置へ送信する送信手段を有し、
    前記第２の装置は、
    前記要求を受信する受信手段と、
    前記撮像画像と、該撮像画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報とを含む入力データを取得する取得手段と、
    前記要求に基づいて、前記入力データを機械学習モデルに入力し、前記撮像画像の鮮鋭化または前記撮像画像に含まれるぼけの整形を行うことで推定画像を生成する生成手段とを有することを特徴とする画像処理システム。
25. 訓練画像と、該訓練画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報と、を含む入力データを取得する第１の工程と、
    前記入力データを機械学習モデルに入力し、前記訓練画像の鮮鋭化または前記訓練画像に含まれるぼけの整形を行うことで出力画像を生成する第２の工程と、
    前記出力画像と正解画像に基づいて、前記機械学習モデルのウエイトを更新する第３の工程とを有することを特徴とする画像処理方法。
26. 請求項２５に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
27. 訓練画像と、該訓練画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報とを含む入力データを取得する第１の工程と、
    前記入力データを機械学習モデルに入力し、前記訓練画像の鮮鋭化または前記訓練画像に含まれるぼけの整形を行うことで出力画像を生成する第２の工程と、
    前記出力画像と正解画像に基づいて、前記機械学習モデルのウエイトを更新する第３の工程とを有することを特徴とする学習済みウエイトの製造方法。
28. 訓練画像と、該訓練画像の撮像に用いられた光学系の該撮像時の状態に関する第１の情報とを含む入力データを取得する取得手段と、
    前記入力データを機械学習モデルに入力し、前記訓練画像の鮮鋭化または前記訓練画像に含まれるぼけの整形を行うことで出力画像を生成する生成手段と、
    前記出力画像と正解画像に基づいて、前記機械学習モデルのウエイトを更新する更新手段とを有することを特徴とする画像処理装置。