JP2020036310A5 - - Google Patents

Description

本発明の一側面としての画像処理方法は、光学系における第１の瞳を介して被写体を撮像することで得られた第１の画像と、前記光学系における前記第１の瞳とは異なる第２の瞳を介して前記被写体を撮像することで得られた第２の画像と、を取得する工程と、前記第１及び第２の画像を多層のニューラルネットワークに入力することで、デフォーカスによるぼけが整形された出力画像を生成する工程とを有する。

本発明の他の側面としての画像処理装置は、光学系における第１の瞳を介して被写体を撮像することで得られた第１の画像と、前記光学系における前記第１の瞳とは異なる第２の瞳を介して前記被写体を撮像することで得られた第２の画像と、を取得する取得手段と、前記第１及び第２の画像を多層のニューラルネットワークに入力することで、デフォーカスによるぼけが整形された出力画像を生成する生成手段とを有する。

本発明の他の側面としてのレンズ装置は、撮像装置に着脱可能なレンズ装置であって、光学系と、多層のニューラルネットワークに入力されるウエイトに関する情報を記憶する記憶手段とを有し、前記撮像装置は、前記光学系における第１の瞳を介して被写体を撮像することで得られた第１の画像と、前記光学系における前記第１の瞳とは異なる第２の瞳を介して前記被写体を撮像することで得られた第２の画像とを取得する取得手段と、前記第１及び第２の画像と前記ウエイトに関する情報を多層のニューラルネットワークに入力することで、デフォーカスによるぼけが整形された出力画像を生成する生成手段とを有する。

本発明の他の側面としての画像処理システムは、第１の処理装置と第２の処理装置とを有する画像処理システムであって、前記第１の処理装置は、光学系における第１の瞳を介して被写体を撮像することで得られた第１の画像と、前記光学系における前記第１の瞳とは異なる第２の瞳を介して前記被写体を撮像することで得られた第２の画像と、を用いた画像処理の要求を前記第２の処理装置に対して送信する送信手段を有し、前記第２の処理装置は、前記第１の処理装置から送信された前記要求を受信する受信手段と、前記第１及び第２の画像とを取得する取得手段と、前記第１及び第２の画像を多層のニューラルネットワークに入力することで、デフォーカスによるぼけが整形された出力画像を生成する生成手段とを有する。

Claims (24)

1. 光学系における第１の瞳を介して被写体を撮像することで得られた第１の画像と、前記光学系における前記第１の瞳とは異なる第２の瞳を介して前記被写体を撮像することで得られた第２の画像と、を取得する工程と、
   前記第１及び第２の画像を多層のニューラルネットワークに入力することで、デフォーカスによるぼけが整形された出力画像を生成する工程と、を有することを特徴とする画像処理方法。
2. 前記出力画像は、前記デフォーカスによるぼけに対し、ヴィネッティング、点像強度分布のピーク分離による多重ぼけ、輪帯模様、または前記光学系の瞳の遮蔽のうち少なくとも一つの影響が軽減された画像であることを特徴とする請求項１に記載の画像処理方法。
3. 前記出力画像のデフォーカスによるぼけの拡がりは、前記第１の画像のデフォーカスによるぼけの拡がり以上であることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記第１の瞳の透過率分布は、前記第２の瞳の透過率分布と異なることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
5. 前記第２の瞳は、前記第１の瞳の一部であることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
6. 前記第１及び第２の画像は、前記光学系を介して前記被写体を同時に撮像することで得られた画像であることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
7. 前記第１及び第２の画像は、同一の撮像素子を用いた撮像により得られた画像であることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。
8. 前記撮像素子は、それぞれが互いに異なる入射角の光を受光する第１及び第２の光電変換部を含む複数の画素を有し、
   前記第１の光電変換部は前記第１の瞳からの光を受光し、前記第２の光電変換部は前記第２の瞳からの光を受光することを特徴とする請求項７に記載の画像処理方法。
9. 前記第１及び第２の画像の明るさを合わせる処理を行う工程を更に有し、
   前記出力画像を生成する工程は、前記明るさを合わせる処理が行われた前記第１及び第２の画像に基づいて実行されることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理方法。
10. 前記明るさを合わせる処理は、前記第１及び第２の瞳の透過率分布に関する情報に基づいて実行されることを特徴とする請求項９に記載の画像処理方法。
11. 前記明るさを合わせる処理は、前記第１及び第２の画像のそれぞれの部分領域に関して算出された平均画素値に基づいて実行されることを特徴とする請求項９に記載の画像処理方法。
12. 前記第２の瞳が線対称となる軸と平行かつ前記第１及び第２の画像のそれぞれの基準点を通過する直線により分割された前記第１及び第２の画像に対して反転処理を行う工程を更に有し、
    前記出力画像を生成する工程は、前記反転処理が行われた前記第１及び第２の画像に基づいて実行されることを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理方法。
13. 前記第１及び第２の画像に基づいて前記被写体に対応する視差マップまたはデプスマップを算出する工程を更に有し、
    前記出力画像を生成する工程は、前記視差マップまたは前記デプスマップに基づいて実行されることを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理方法。
14. 前記出力画像を生成する工程は、前記視差マップまたは前記デプスマップを前記多層のニューラルネットワークに入力する工程を含むことを特徴とする請求項１３に記載の画像処理方法。
15. 前記出力画像を生成する工程は、前記第１の画像、前記第２の画像、および、前記視差マップまたは前記デプスマップをチャンネル方向に連結して構成される入力画像を前記多層のニューラルネットワークに入力する工程を有することを特徴とする請求項１４に記載の画像処理方法。
16. 前記出力画像を生成する工程は、前記第１の画像または前記第２の画像におけるエッジの分布、或いは、前記第１及び第２の画像に基づいて算出された前記視差マップまたは前記デプスマップに基づいて、前記多層のニューラルネットワークに入力する前記第１及び第２の画像のそれぞれの入力領域を決定する工程を有することを特徴とする請求項１３に記載の画像処理方法。
17. 前記出力画像を生成する工程は、
    前記多層のニューラルネットワークを用いて、互いに異なるサンプリングレートのダウンサンプリングが実行された複数の特徴マップを算出する工程と、
    前記複数の特徴マップに基づいて前記出力画像を生成する工程と、を含むことを特徴とする請求項１乃至１６のいずれか一項に記載の画像処理方法。
18. 光学系における第１の瞳を介して被写体を撮像することで得られた第１の画像と、前記光学系における前記第１の瞳とは異なる第２の瞳を介して前記被写体を撮像することで得られた第２の画像と、を取得する取得手段と、
    前記第１及び第２の画像を多層のニューラルネットワークに入力することで、デフォーカスによるぼけが整形された出力画像を生成する生成手段と、を有することを特徴とする画像処理装置。
19. 光学系により形成された光学像を光電変換する撮像素子と、
    請求項１８に記載の画像処理装置と、を有することを特徴とする撮像装置。
20. 前記撮像素子は複数の画素を有し、
    該複数の画素のそれぞれは、複数の光電変換部を有し、
    前記画素は、前記複数の光電変換部のそれぞれで互いに異なる入射角で入射する光を受光して複数の信号を生成し、
    前記撮像素子は、前記複数の信号を加算した加算信号に対応する前記第１の画像と、前記複数の信号の一つの信号または該複数の信号の一部を加算した加算信号に対応する前記第２の画像と、を出力することを特徴とする請求項１９に記載の撮像装置。
21. 撮像装置に着脱可能なレンズ装置であって、
    光学系と、
    多層のニューラルネットワークに入力されるウエイトに関する情報を記憶する記憶手段と、を有し、
    前記撮像装置は、
    前記光学系における第１の瞳を介して被写体を撮像することで得られた第１の画像と、前記光学系における前記第１の瞳とは異なる第２の瞳を介して前記被写体を撮像することで得られた第２の画像と、を取得する取得手段と、
    前記第１及び第２の画像と前記ウエイトに関する情報を多層のニューラルネットワークに入力することで、デフォーカスによるぼけが整形された出力画像を生成する生成手段と、を有することを特徴とするレンズ装置。
22. 請求項１乃至１７のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
23. 請求項２２に記載のプログラムを記憶していることを特徴とする記憶媒体。
24. 第１の処理装置と第２の処理装置とを有する画像処理システムであって、
    前記第１の処理装置は、光学系における第１の瞳を介して被写体を撮像することで得られた第１の画像と、前記光学系における前記第１の瞳とは異なる第２の瞳を介して前記被写体を撮像することで得られた第２の画像と、を用いた画像処理の要求を前記第２の処理装置に対して送信する送信手段を有し、
    前記第２の処理装置は、
    前記第１の処理装置から送信された前記要求を受信する受信手段と、
    前記第１及び第２の画像とを取得する取得手段と、
    前記第１及び第２の画像を多層のニューラルネットワークに入力することで、デフォーカスによるぼけが整形された出力画像を生成する生成手段と、
    を有することを特徴とする画像処理システム。