JP2022181572A5 - - Google Patents

Claims (22)

1. 撮像画像と、前記撮像画像の撮像に用いた光学機器の解像性能を表す情報である解像性能情報と、を取得する工程と、
   前記撮像画像と前記解像性能情報とに基づいて、前記撮像画像のサンプリングピッチを小さくした出力画像を生成する工程と、を有することを特徴とする画像処理方法。
2. 前記出力画像は、前記撮像画像を拡大またはデモザイクした画像であることを特徴とする請求項１に記載の画像処理方法。
3. 前記解像性能情報は、前記光学機器で発生するぼけの大きさに関する情報であることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記解像性能情報は、前記光学機器の点像分布関数の拡がりまたは前記光学機器の変調伝達関数に基づく情報であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
5. 前記解像性能情報は、前記撮像画像の画素の位置に応じて異なる情報であることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
6. 前記解像性能情報は、前記撮像画像の画素数に応じたサイズに値が配列されたマップであることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
7. 前記値は、前記光学機器の変調伝達関数が所定の値となる周波数に基づく値であることを特徴とする請求項６に記載の画像処理方法。
8. 前記解像性能情報は、前記撮像画像の同一画素に対する異なる解像性能の成分を表す複数のチャンネル成分を有することを特徴とする請求項６または７に記載の画像処理方法。
9. 前記解像性能情報は、前記光学機器の種類または前記撮像画像を撮像した際の前記光学機器の状態を用いて取得され、
   前記状態は、焦点距離、Ｆ値、フォーカス距離の少なくとも１つに関する情報であることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理方法。
10. 前記解像性能情報は、前記撮像画像の撮像に用いた撮像素子の画素ピッチに関する情報を用いて取得されることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理方法。
11. 前記出力画像は、前記光学機器で発生したぼけが前記撮像画像から補正された画像であることを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理方法。
12. 前記出力画像を生成する工程では、さらに前記撮像画像のノイズに関する情報を用いて前記出力画像を生成することを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理方法。
13. 前記ノイズに関する情報は、前記撮像画像の撮像時に発生したノイズの強さに関する情報、または前記撮像画像に実行されたデノイズに関する情報の少なくとも一方を含むことを特徴とする請求項１２に記載の画像処理方法。
14. 前記出力画像を生成する工程において、前記出力画像は機械学習モデルを用いて生成されることを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理方法。
15. 前記解像性能情報は前記撮像画像の画素数に応じたサイズに値が配列されたマップであり、
    前記機械学習モデルは、前記解像性能情報と前記撮像画像がチャンネル方向に連結された入力データを処理することで前記出力画像を生成することを特徴とする請求項１４に記載の画像処理方法。
16. 前記機械学習モデルは１つ以上の残差ブロックを有することを特徴とする請求項１４または１５に記載の画像処理方法。
17. 前記機械学習モデルは、前記解像性能情報を用いずに前記撮像画像のサンプリングピッチを小さくした第１中間画像に、前記撮像画像と前記解像性能情報を用いて生成された前記撮像画像のサンプリングピッチよりもサンプリングピッチが小さい第２中間画像を足し合わせることで前記出力画像を生成することを特徴とする請求項１４乃至１６のいずれか一項に記載の画像処理方法。
18. 請求項１乃至１７のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
19. 撮像画像と、前記撮像画像の撮像に用いた光学機器の解像性能を表す情報である解像性能情報と、を取得する取得手段と、
    前記撮像画像と前記解像性能情報とに基づいて、前記撮像画像のサンプリングピッチを小さくした出力画像を生成する生成手段と、を有することを特徴とする画像処理装置。
20. 第１の画像と、前記第１の画像に対応する解像性能を表す情報である解像性能情報と、前記第１の画像よりもサンプリングピッチが小さい第２の画像と、を取得する工程と、
    機械学習モデルを用いて、前記第１の画像のサンプリングピッチを小さくした出力画像を前記第１の画像と前記解像性能情報に基づいて生成する工程と、
    前記出力画像と前記第２の画像を用いて前記機械学習モデルのウエイトを更新する工程と、
    を有することを特徴とする訓練済み機械学習モデルの製造方法。
21. 第１の画像と、前記第１の画像に対応する解像性能を表す情報である解像性能情報と、前記第１の画像よりもサンプリングピッチが小さい第２の画像と、を取得するデータ取得手段と、
    機械学習モデルを用いて、前記第１の画像のサンプリングピッチを小さくした出力画像を前記第１の画像と前記解像性能情報に基づいて生成する演算手段と、
    前記出力画像と前記第２の画像を用いて前記機械学習モデルのウエイトを更新する更新手段と、
    を有することを特徴とする処理装置。
22. 請求項１９に記載の画像処理装置と、該画像処理装置と通信可能な制御装置とを備える画像処理システムであって、
    前記制御装置は、撮像画像に対する処理を前記画像処理装置に実行させるための要求を送信する送信手段を有し、
    前記画像処理装置は、
    前記要求を受信する受信手段と、
    撮像画像と、前記撮像画像の撮像に用いた光学機器の解像性能を表す情報である解像性能情報と、を取得する取得手段と、
    前記撮像画像と前記解像性能情報とに基づいて、前記撮像画像のサンプリングピッチを小さくした出力画像を生成する生成手段と、を有することを特徴とする画像処理システム。