JP2021179833A5 - - Google Patents

Claims (19)

1. 機械学習によるデモザイク処理のための学習データを生成する情報処理装置であって、
   第１画像を取得する取得手段と、
   前記第１画像にノイズを付与した第２画像と、モザイク処理により前記第１画像から所定の画素を間引いたモザイク画像にノイズを付与した第３画像との組で構成されるデータセットを、前記第１画像に基づき生成する生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記デモザイク処理は、畳み込みニューラルネットワークを用いたネットワークにより行われることを特徴とする請求項１に記載の情報処理装置。
3. 前記第２画像と前記第３画像とで共通する画素においては、付与されているノイズの値が略一致することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記生成手段は、
   前記第１画像をＲＧＢの各チャネルに対応するチャネル画像に分解する分解手段と、
   前記チャネル画像のそれぞれにノイズを付与する付与手段と、
   前記付与手段にてノイズが付与された各チャネル画像における所定の画素をカラーフィルタ配列に従ってサンプリングして、前記ノイズが付与されたモザイク画像を生成するモザイク画像生成手段と、
   前記付与手段にてノイズが付与された各チャネル画像を連結して、前記ノイズが付与されたＲＧＢの３チャネルから成る画像を生成する連結手段と、
   前記ノイズが付与されたモザイク画像を前記第３画像として、前記ノイズが付与されたＲＧＢの３チャネルから成る画像を前記第２画像として、前記データセットを得る画像ペア生成手段と、
   を有することを特徴とする、請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記付与手段は、前記各チャネル画像のうち少なくとも２つのチャネル画像について、それぞれ異なる特性のノイズを付与することを特徴とする、請求項４に記載の情報処理装置。
6. 前記付与手段は、画素毎のノイズの標準偏差が各画素の信号値に依存する輝度依存ノイズを付与することを特徴とする、請求項４又は５に記載の情報処理装置。
7. 前記標準偏差は以下の式で表され、
   

   

   上記式において、σは標準偏差を示し、ｓは各画素の信号値を示し、ｋ及びＩは定数を示す、
   ことを特徴とする、請求項６に記載の情報処理装置。
8. 前記付与手段は、前記第１画像が入力されるたびに、当該第１画像に対して付与するノイズを乱数に従って決定することを特徴とする請求項４乃至７のいずれか１項に記載の情報処理装置。
9. 前記付与手段は、同一の前記第１画像に対しては、同じノイズを付与することを特徴とする、請求項４乃至７のいずれか１項に記載の情報処理装置。
10. 前記生成手段で生成された前記データセットを用いて、前記デモザイク処理の学習を行う学習手段をさらに備えたことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記生成手段で生成された前記データセットを用いて、前記デモザイク処理の学習を行う学習手段をさらに備え、
    前記付与手段は、前記学習の進みに応じて、付与するノイズの強度を変更する、
    ことを特徴とする請求項４乃至７のいずれか１項に記載の情報処理装置。
12. 前記付与手段は、前記学習の進みに応じて、付与するノイズの強度を強くすることを特徴とする、請求項１１に記載の情報処理装置。
13. 前記学習手段は、前記学習を行って得られた学習済みのネットワークパラメータを初期値として、新たな学習を行うことを特徴とする、請求項１１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記学習済みのネットワークパラメータは、前記付与手段で付与されるノイズに比べて少ない量のノイズが付与されている前記第１画像を用いた学習によって得られたネットワークパラメータ、またはノイズが付与されていない前記第１画像を用いた学習によって得られたネットワークパラメータである、ことを特徴とする請求項１３に記載の情報処理装置。
15. 現像の対象となるＲＡＷ画像を取得する取得手段と、
    前記ＲＡＷ画像に対して、前記学習によって得られた学習済みネットワークパラメータを用いた推論によるデモザイク処理を行う推論手段と、
    前記推論手段における前記デモザイク処理によって得られた、ＲＧＢの３チャネルから成るＲＧＢ画像に対し、ノイズ低減処理を行うノイズ低減手段と、
    をさらに有することを特徴とする、請求項１１乃至１４のいずれか１項に記載の情報処理装置。
16. 前記付与手段が付与するノイズの強度は、前記ＲＡＷ画像に含まれるノイズの強度よりも弱いことを特徴とする、請求項１５に記載の情報処理装置。
17. 画像を入力する入力部と、
    第１画像にノイズを付与した第２画像と、モザイク処理により前記第１画像から所定の画素を間引いたモザイク画像にノイズを付与した第３画像との組で構成されるデータセットを用いた機械学習によって得られたデモザイク処理を行う処理部と
    を有し、
    前記処理部は、前記入力部によって入力された画像に対し前記デモザイク処理を行う、
    ことを特徴とする撮像装置。
18. 機械学習によるデモザイク処理のための学習データを生成する情報処理方法であって、
    第１画像を取得する取得ステップと、
    前記第１画像にノイズを付与した第２画像と、モザイク処理により前記第１画像から所定の画素を間引いたモザイク画像にノイズを付与した第３画像との組で構成されるデータセットを、前記第１画像に基づき生成する生成ステップと、
    を含むことを特徴とする情報処理方法。
19. コンピュータを請求項１乃至１６のいずれか１項に記載の情報処理装置として機能させるためのプログラム。