JP2020144489A5 - - Google Patents

Description

本発明の一側面としての画像処理方法は、第１の正解画像と第１の訓練画像を取得する第１の工程と、前記第１の正解画像と前記第１の訓練画像のそれぞれに対して互いに相関のあるノイズを付与することで、第２の正解画像と第２の訓練画像を生成する第２の工程と、前記第２の正解画像と前記第２の訓練画像に基づいて、多層のニューラルネットワークを学習する第３の工程とを有し、前記第１の正解画像と前記第１の訓練画像はそれぞれ、同一の原画像に対して異なる処理を実行することで生成された画像である。

本発明の他の側面としての画像処理装置は、第１の正解画像と第１の訓練画像を取得する取得手段と、前記第１の正解画像と前記第１の訓練画像のそれぞれに対して互いに相関のあるノイズを付与することで、第２の正解画像と第２の訓練画像を生成する生成手段と、前記第２の正解画像と前記第２の訓練画像に基づいて、多層のニューラルネットワークを学習する学習手段とを有し、前記第１の正解画像と前記第１の訓練画像はそれぞれ、同一の原画像に対して異なる処理を実行することで生成された画像である。

本発明の他の側面としての学習済みモデルの製造方法は、第１の正解画像と第１の訓練画像を取得する第１の工程と、前記第１の正解画像と前記第１の訓練画像のそれぞれに対して互いに相関のあるノイズを付与することで、第２の正解画像と第２の訓練画像を生成する第２の工程と、前記第２の正解画像と前記第２の訓練画像に基づいて、多層のニューラルネットワークを学習する第３の工程とを有し、前記第１の正解画像と前記第１の訓練画像はそれぞれ、同一の原画像に対して異なる処理を実行することで生成された画像である。

本発明の他の側面としての画像処理方法は、撮像画像を多層のニューラルネットワークへ入力し、高解像化処理、高コントラスト化処理、および、明るさ向上処理の少なくとも一つが施された推定画像を生成する工程と、前記推定画像に基づく画像に対してノイズ低減処理を実行する工程とを有する。
本発明の他の側面としての画像処理装置は、撮像画像を多層のニューラルネットワークへ入力し、高解像化処理、高コントラスト化処理、および、明るさ向上処理の少なくとも一つが施された推定画像を生成する推定手段と、前記推定画像に基づく画像に対してノイズ低減処理を実行するノイズ低減手段とを有する。
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
本発明の他の側面としての画像処理システムは、第１の装置と、前記第１の装置と通信可能な第２の装置を含む画像処理システムであって、前記第１の装置は、撮像画像に対する処理を前記第２の装置に実行させるための要求を送信する送信手段を有し、前記第２の装置は、前記送信手段によって送信された前記要求を受信する受信手段と、前記撮像画像を多層のニューラルネットワークへ入力し、高解像化処理、高コントラスト化処理、および、明るさ向上処理の少なくとも一つが施された推定画像を生成する推定手段を有し、前記第１の装置または前記第２の装置の少なくとも一方は、前記推定画像に基づく画像に対してノイズ低減処理を実行するノイズ低減手段とをさらに有する。

Claims (28)

1. 第１の正解画像と第１の訓練画像を取得する第１の工程と、
   前記第１の正解画像と前記第１の訓練画像のそれぞれに対して互いに相関のあるノイズを付与することで、第２の正解画像と第２の訓練画像を生成する第２の工程と、
   前記第２の正解画像と前記第２の訓練画像に基づいて、多層のニューラルネットワークを学習する第３の工程とを有し、
   前記第１の正解画像と前記第１の訓練画像はそれぞれ、同一の原画像に対して異なる処理を実行することで生成された画像であることを特徴とする画像処理方法。
2. 前記第２の工程において、前記第１の正解画像と前記第１の訓練画像のそれぞれの対応画素に対して相関のある前記ノイズを付与することで前記第２の正解画像と前記第２の訓練画像が生成されることを特徴とする請求項１に記載の画像処理方法。
3. 前記対応画素は、前記第１の正解画像と前記第１の訓練画像のそれぞれにおいて、被写体空間の同一の位置を撮像した画素であることを特徴とする請求項２に記載の画像処理方法。
4. 前記対応画素は、前記第１の正解画像と前記第１の訓練画像における同一の位置の画素であることを特徴とする請求項２または３に記載の画像処理方法。
5. 前記ノイズは、同一の乱数に基づくノイズであることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
6. 前記乱数は、前記第１の正解画像における少なくとも二つの画素に対して異なる値であることを特徴とする請求項５に記載の画像処理方法。
7. 前記ノイズのうち前記第１の正解画像に付与されるノイズは、前記第１の正解画像における画素の信号値に基づいて決定され、
   前記ノイズのうち前記第１の訓練画像に付与されるノイズは、前記第１の訓練画像における画素の信号値に基づいて決定されることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。
8. 前記ノイズの分散は、前記第１の正解画像と前記第１の訓練画像のそれぞれにおける画素の信号値に比例する比例成分と、定数成分とを含むことを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
9. 前記第１の正解画像と前記第１の訓練画像に付与される前記ノイズは、同一であることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。
10. 前記ノイズは、前記第１の訓練画像における画素の信号値に基づいて決定されることを特徴とする請求項９に記載の画像処理方法。
11. 前記第３の工程において、
    前記多層のニューラルネットワークに、前記第２の訓練画像の少なくとも一部と、前記ノイズに基づいて生成された前記ノイズとは異なるノイズに基づいて生成されたノイズ参照パッチとを入力し、出力された推定パッチと前記第２の正解画像の少なくとも一部とを比較することを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理方法。
12. 前記第１の正解画像と前記第１の訓練画像は、解像度、コントラスト、明るさ、デフォーカスぼけ、およびライティングの少なくとも一つが互いに異なる画像であることを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理方法。
13. 前記第１の訓練画像は、前記第１の正解画像よりも、解像度、コントラスト、および明るさの少なくとも一つが低いことを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理方法。
14. 前記第１の訓練画像は、前記原画像に対してダウンサンプリング処理、ぼかし処理、コントラスト低減処理、および、明るさ低減処理の少なくとも一つが実行された画像であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理方法。
15. 前記第３の工程において、アップサンプリング処理、ぼけ除去処理、コントラスト向上処理、および、明るさ向上処理の少なくとも一つの機能を前記多層のニューラルネットワークが具備するように、前記多層のニューラルネットワークを学習することを特徴とする請求項１４に記載の画像処理方法。
16. 前記第１の正解画像と前記第１の訓練画像はそれぞれ、前記原画像の少なくとも一部に対して異なるぼけを付与することで生成された画像であることを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理方法。
17. 前記第１の正解画像と前記第１の訓練画像はそれぞれ、同一の法線マップに対して異なる光源環境でのレンダリングを行うことで生成された画像であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理方法。
18. 第１の正解画像と第１の訓練画像を取得する取得手段と、
    前記第１の正解画像と前記第１の訓練画像のそれぞれに対して互いに相関のあるノイズを付与することで、第２の正解画像と第２の訓練画像を生成する生成手段と、
    前記第２の正解画像と前記第２の訓練画像に基づいて、多層のニューラルネットワークを学習する学習手段とを有し、
    前記第１の正解画像と前記第１の訓練画像はそれぞれ、同一の原画像に対して異なる処理を実行することで生成された画像であることを特徴とする画像処理装置。
19. 請求項１乃至１７のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
20. 第１の正解画像と第１の訓練画像を取得する第１の工程と、
    前記第１の正解画像と前記第１の訓練画像のそれぞれに対して互いに相関のあるノイズを付与することで、第２の正解画像と第２の訓練画像を生成する第２の工程と、
    前記第２の正解画像と前記第２の訓練画像に基づいて、多層のニューラルネットワークを学習する第３の工程とを有し、
    前記第１の正解画像と前記第１の訓練画像はそれぞれ、同一の原画像に対して異なる処理を実行することで生成された画像であることを特徴とする学習済みモデルの製造方法。
21. 撮像画像を多層のニューラルネットワークへ入力し、高解像化処理、高コントラスト化処理、および、明るさ向上処理の少なくとも一つが施された推定画像を生成する工程と、
    前記推定画像に基づく画像に対してノイズ低減処理を実行する工程とを有することを特徴とする画像処理方法。
22. 前記撮像画像におけるノイズ量と前記推定画像におけるノイズ量は、同等であることを特徴とする請求項２１に記載の画像処理方法。
23. 前記ノイズ低減処理で用いられるノイズ低減のパラメータは、前記撮像画像のオプティカルブラックに関する情報に基づいて決定されることを特徴とする請求項２１または２２に記載の画像処理方法。
24. 前記推定画像に基づく画像に実行される前記ノイズ低減処理で用いられるノイズ低減のパラメータは、前記撮像画像に前記ノイズ低減処理を実行する際の前記パラメータと同一であることを特徴とする請求項２１乃至２３のいずれか１項に記載の画像処理方法。
25. 前記多層のニューラルネットワークは、
    第１の正解画像と第１の訓練画像を取得する第１の工程と、
    前記第１の正解画像と前記第１の訓練画像のそれぞれに対して互いに相関のあるノイズを付与することで、第２の正解画像と第２の訓練画像を生成する第２の工程と、
    前記第２の正解画像と前記第２の訓練画像に基づいて、多層のニューラルネットワークを学習する第３の工程とを含み、
    前記第１の正解画像と前記第１の訓練画像はそれぞれ、同一の原画像に対して異なる処理を実行することで生成された画像である学習方法により学習された学習済みモデルに基づくことを特徴とする請求項２１乃至２４のいずれか一項に記載の画像処理方法。
26. 撮像画像を多層のニューラルネットワークへ入力し、高解像化処理、高コントラスト化処理、および、明るさ向上処理の少なくとも一つが施された推定画像を生成する推定手段と、
    前記推定画像に基づく画像に対してノイズ低減処理を実行するノイズ低減手段とを有することを特徴とする画像処理装置。
27. 請求項２１乃至２５のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
28. 第１の装置と、前記第１の装置と通信可能な第２の装置を含む画像処理システムであって、
    前記第１の装置は、撮像画像に対する処理を前記第２の装置に実行させるための要求を送信する送信手段を有し、
    前記第２の装置は、
    前記送信手段によって送信された前記要求を受信する受信手段と、
    前記撮像画像を多層のニューラルネットワークへ入力し、高解像化処理、高コントラスト化処理、および、明るさ向上処理の少なくとも一つが施された推定画像を生成する推定手段を有し、
    前記第１の装置または前記第２の装置の少なくとも一方は、前記推定画像に基づく画像に対してノイズ低減処理を実行するノイズ低減手段とをさらに有することを特徴とする画像処理システム。