JP2022019374A5

JP2022019374A5 - 画像処理方法、プログラム、画像処理装置、学習装置、学習方法、学習済みモデルの生成方法、および、画像処理システム

Info

Publication number: JP2022019374A5
Application number: JP2020123171A
Authority: JP
Filing date: 2020-07-17
Publication date: 2023-07-20

Description

本発明の一側面としての画像処理方法は、光学系を用いた撮像によって得られた撮像画像と、該光学系の状態に関する情報とを含む入力データを取得する工程と、前記入力データを機械学習モデルに入力することで、前記撮像画像に対応する距離情報を推定する工程とを有し、前記光学系の状態に関する情報は、焦点距離、絞り値、またはフォーカス距離の少なくとも一つを含む。

Claims

光学系を用いた撮像によって得られた撮像画像と、該光学系の状態に関する情報とを含む入力データを取得する工程と、
前記入力データを機械学習モデルに入力することで、前記撮像画像に対応する距離情報を推定する工程と、を有し、
前記光学系の状態に関する情報は、焦点距離、絞り値、またはフォーカス距離の少なくとも一つを含むことを特徴とする画像処理方法。
前記距離情報の一部の領域は、撮像画像の一部を前記機械学習モデルに入力することで推定されることを特徴とする請求項１に記載の画像処理方法。
前記光学系の状態に関する情報は、前記光学系の焦点距離、絞り値、またはフォーカス距離の少なくとも一つを示す数値を含み、
前記数値は、正規化されていることを特徴とする請求項１または２に記載の画像処理方法。
前記入力データは、前記光学系の状態を示すマップを含み、
前記マップは、前記撮像画像の画素数と、前記光学系の状態に関する情報と、に基づいて生成されることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
前記マップは、前記光学系の前記焦点距離、前記絞り値、または前記フォーカス距離の少なくとも二つを示す数値をそれぞれ異なるチャンネルの要素として有することを特徴とする請求項４に記載の画像処理方法。
前記マップにおけるチャンネルの要素は、同一の数値であることを特徴とする請求項４または５に記載の画像処理方法。
前記入力データは、前記撮像画像の各画素の位置に関する情報を更に有することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。
前記撮像画像は、撮像素子を用いた撮像により取得され、
前記位置に関する情報は、前記撮像素子上での前記光学系のイメージサークルの半径を正規化することで得られた数値を有することを特徴とする請求項７に記載の画像処理方法。
前記撮像画像は、撮像素子を用いた撮像により取得され、
前記入力データは、前記撮像素子の画素ピッチに関する情報を更に有することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理方法。
請求項１乃至９のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
光学系を用いた撮像によって得られた撮像画像と、該光学系の状態に関する情報とを含む入力データを取得する取得手段と、
前記入力データを機械学習モデルに入力することで、前記撮像画像に対応する距離情報を推定する推定手段と、を有し、
前記光学系の状態に関する情報は、焦点距離、絞り値、またはフォーカス距離の少なくとも一つを含むことを特徴とする画像処理装置。
訓練画像と、該訓練画像に応じた距離情報を有する正解画像と、光学系の状態に関する情報とを取得する工程と、
前記訓練画像と、前記正解画像と、前記光学系の状態に関する情報とに基づいて、機械学習モデルの学習を行う工程と、を有し、
前記光学系の状態に関する情報は、焦点距離、絞り値、またはフォーカス距離の少なくとも一つを含むことを特徴とする学習方法。
請求項１２に記載の学習方法をコンピュータに実行させることを特徴とするプログラム。
訓練画像と、該訓練画像に応じた距離情報を有する正解画像と、光学系の状態に関する情報とを取得する工程と、
前記訓練画像と、前記正解画像と、前記光学系の状態に関する情報とに基づいて、機械学習モデルの学習を行う工程と、を有し、
前記光学系の状態に関する情報は、焦点距離、絞り値、またはフォーカス距離の少なくとも一つを含むことを特徴とする学習済みモデルの生成方法。
訓練画像と、該訓練画像に応じた距離情報を有する正解画像と、光学系の状態に関する情報とを取得する取得手段と、
前記訓練画像と、前記正解画像と、前記光学系の状態に関する情報とに基づいて、機械学習モデルの学習を行う学習手段と、を有し、
前記光学系の状態に関する情報は、焦点距離、絞り値、またはフォーカス距離の少なくとも一つを含むことを特徴とする学習装置。
請求項１１に記載の画像処理装置と、該画像処理装置と通信可能な制御装置とを有する画像処理システムであって、
前記制御装置は、前記撮像画像に対する処理の実行に関する要求を前記画像処理装置に送信する送信手段を有し、
前記画像処理装置は、前記要求に基づいて前記撮像画像に対する処理を実行する手段を有することを特徴とする画像処理システム。