JP2021056678A5 - - Google Patents

Description

本発明の一側面としての画像処理方法は、撮像画像のデフォーカスぼけの形状を整形した推定画像を生成する画像処理方法であって、前記撮像画像と、前記推定画像のデフォーカスぼけの形状を指定する形状指定情報とを含む入力データを取得する第１の工程と、前記入力データを機械学習モデルに入力することで前記推定画像を生成する第２の工程とを有する。

本発明の他の側面としての画像処理装置は、撮像画像のデフォーカスぼけの形状を整形した推定画像を生成する画像処理装置であって、前記撮像画像と、前記推定画像のデフォーカスぼけの形状を指定する形状指定情報とを含む入力データを取得する取得手段と、前記入力データを機械学習モデルに入力することで前記推定画像を生成する生成手段とを有する。

本発明の他の側面としての学習済みモデルの製造方法は、同一の被写体が存在し、異なる形状のデフォーカスぼけを有する訓練画像と正解画像を取得する工程と、前記正解画像のデフォーカスぼけの形状を指定する形状指定情報を取得する工程と、前記訓練画像と前記正解画像と前記形状指定情報とに基づいて、機械学習モデルを学習する工程とを有する。

本発明の他の側面としての画像処理システムは、互いに通信可能な第１の装置と第２の装置を有する画像処理システムであって、前記第１の装置は、撮像画像に対する処理の実行に関する要求を前記第２の装置へ送信する送信手段を有し、前記第２の装置は、前記要求を受信する受信手段と、前記撮像画像と、推定画像のデフォーカスぼけの形状を指定する形状指定情報とを含む入力データを取得する取得手段と、前記要求に応じて、前記入力データを機械学習モデルに入力することで前記撮像画像のデフォーカスぼけの形状を整形した前記推定画像を生成する生成手段とを有する。

Claims (17)

1. 撮像画像のデフォーカスぼけの形状を整形した推定画像を生成する画像処理方法であって、
   前記撮像画像と、前記推定画像のデフォーカスぼけの形状を指定する形状指定情報と、を含む入力データを取得する第１の工程と、
   前記入力データを機械学習モデルに入力することで前記推定画像を生成する第２の工程と、を有することを特徴とする画像処理方法。
2. 前記形状指定情報は、前記デフォーカスぼけの大きさ、または種類を指定する情報を含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記大きさおよび種類は、仮想のレンズパラメータに相当することを特徴とする請求項２に記載の画像処理方法。
4. 前記形状指定情報は、前記撮像画像の信号値に基づいて決定されることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
5. 前記形状指定情報は、前記撮像画像の信号値の分布に基づいて決定されることを特徴とする請求項４に記載の画像処理方法。
6. 前記形状指定情報は、前記撮像画像のデフォーカスマップに基づいて決定されることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
7. 前記形状指定情報は、空間的に分布を持つことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。
8. 前記形状指定情報は、少なくとも１チャンネル以上のマップであり、デフォーカスぼけの大きさ、または種類を数値で示し、前記数値は正規化されていることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
9. 前記撮像画像に対する置換領域に関する情報を取得し、前記撮像画像の前記置換領域を前記推定画像で置換する第３の工程を更に有することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理方法。
10. 前記置換領域は、前記撮像画像の信号値またはデフォーカスマップに基づいて決定されることを特徴とする請求項９に記載の画像処理方法。
11. 前記入力データは、更に、前記撮像画像のデフォーカスマップまたは輝度飽和マップを含むことを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理方法。
12. 前記機械学習モデルは、デフォーカスぼけの大きさ、または種類を指定する第１の形状指定情報と、前記第１の形状指定情報とは異なる前記デフォーカスぼけの大きさ、または種類を指定する第２の形状指定情報と、に対して、同一のウエイトを用いることを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理方法。
13. 請求項１乃至１２のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
14. 撮像画像のデフォーカスぼけの形状を整形した推定画像を生成する画像処理装置であって、
    前記撮像画像と、前記推定画像のデフォーカスぼけの形状を指定する形状指定情報と、を含む入力データを取得する取得手段と、
    前記入力データを機械学習モデルに入力することで前記推定画像を生成する生成手段と、を有することを特徴とする画像処理装置。
15. 同一の被写体が存在し、異なる形状のデフォーカスぼけを有する訓練画像と正解画像を取得する工程と、
    前記正解画像のデフォーカスぼけの形状を指定する形状指定情報を取得する工程と、
    前記訓練画像と前記正解画像と前記形状指定情報とに基づいて、機械学習モデルを学習する工程と、を有することを特徴とする学習済みモデルの製造方法。
16. 同一の被写体が存在し、異なる形状のデフォーカスぼけを有する訓練画像と正解画像を取得する第１の取得手段と、
    前記正解画像のデフォーカスぼけの形状を指定する形状指定情報を取得する第２の取得手段と、
    前記訓練画像と前記正解画像と前記形状指定情報に基づいて、機械学習モデルを学習する学習手段と、を有することを特徴とする画像処理装置。
17. 互いに通信可能な第１の装置と第２の装置を有する画像処理システムであって、
    前記第１の装置は、撮像画像に対する処理の実行に関する要求を前記第２の装置へ送信する送信手段を有し、
    前記第２の装置は、
    前記要求を受信する受信手段と、
    前記撮像画像と、推定画像のデフォーカスぼけの形状を指定する形状指定情報と、を含む入力データを取得する取得手段と、
    前記要求に応じて、前記入力データを機械学習モデルに入力することで前記撮像画像のデフォーカスぼけの形状を整形した前記推定画像を生成する生成手段と、を有することを特徴とする画像処理システム。