JP2021057824A5

JP2021057824A5 -

Info

Publication number: JP2021057824A5
Application number: JP2019180713A
Authority: JP
Filing date: 2019-09-30
Publication date: 2022-10-06
Anticipated expiration: 2039-09-30

Description

上記目的を達成する為に、本発明の画像処理装置は、撮像素子により撮影されたフレーム画像における予め決められた外乱を抑制する抑制手段と、前記外乱が抑制された少なくとも１枚の第１のフレーム画像から、当該第１のフレーム画像とは異なる時点における第２のフレーム画像を、学習モデルを用いて推定する推定手段と、前記第２のフレーム画像に、前記外乱を付加する付加手段と、を有することを特徴とする。

本発明の実施形態における撮像装置の概略構成を示すブロック図。第１の実施形態における推定画像生成部で用いられる学習モデルの学習方法を説明する図。第１の実施形態における推定画像生成部による学習モデルを用いた代替画像生成処理を説明する図。第１の実施形態におけるＬＶ表示中に静止画像の連写を行う場合のＬＶ画像を説明するためのタイミングチャート。第１の実施形態におけるＬＶ表示中に静止画像の連写を行う場合の代替ＬＶ画像の生成処理を示すフローチャート。第１の実施形態における外乱除去処理を示すフローチャート。第１の実施形態におけるＬＶ表示の表示フレームレートと学習モデルの学習時のフレームレートとの関係を示す図。第１の実施形態の変形例における外乱除去処理に用いられる学習モデルの学習方法を説明する図。第１の実施形態の変形例における外乱付加処理に用いられる学習モデルの学習方法を説明する図。第２の実施形態における推定画像生成部で用いられる学習モデルの学習方法を説明する図。第２の実施形態における推定画像生成部による学習モデルを用いた代替画像生成処理を説明する図。第２の実施形態におけるＬＶ表示中に静止画像の連写を行う場合のＬＶ画像を説明するためのタイミングチャート。第３の実施形態における推定画像生成部で用いられる学習モデルの学習方法を説明する図。第３の実施形態における推定画像生成部による学習モデルを用いた代替画像生成処理を説明する図。第３の実施形態の変形例におけるＬＶ表示中に静止画像の連写を行う場合のＬＶ画像を説明するためのタイミングチャート。

画像処理部１０１は、データ転送部１０５を介して一時記録部１０７から画素信号を入力し、画像処理を行って画像データを生成する。なお、画像処理部１０１で行われる画像処理は、画素補正、黒レベル補正、シェーディング補正、傷補正、ホワイトバランス調整、倍率色収差補正、ガンマ補正や輝度・色生成処理、幾何変形、ノイズリダクション、拡大縮小などの複数の処理を含む。また、画像処理部１０１は、画像処理を適切に行うために、画像の分割領域毎または画像全体に対する平均輝度、ヒストグラム、動き量などの評価値や、被写体領域の検出を行った上で、被写体領域の平均輝度、ヒストグラム、動き量などの評価値を取得する。これらの評価値は、例えばホワイトバランス調整、倍率色収差補正、ガンマ補正、輝度・色生成処理などに使用される。画像処理部１０１で生成された画像データは、データ転送部１０５を介して一時記録部１０７へ記録される。

このように、教師用動画２０１の使用するフレーム画像をずらしながら繰り返し入力フレーム画像、教師データとして利用していくことで、学習モデル２０８は繰り返し学習していくことができる。また、教師用動画２０１として実際の撮影シーンに近いさまざまな動画を使用することで、精度の高い推定画像の生成が可能な学習モデル２０８を作ることができる。またこの時、教師用動画２０１の動画撮影時の条件に依存した外乱を抑制した上で学習を行うことで、撮影条件などに起因する外乱に依存しない、精度の高い推定画像の生成が可能な学習モデルを得ることができる。なお、本実施形態において、学習は撮影中には行わず、事前に済ませておき、各エッジの重みデータなどを学習パラメータとして、記録部１０８に保持しておく。

一方、Ｓ５０６では、推定画像生成部１１０によって生成された１フレーム前の推定ＬＶ画像を取得し、Ｓ５０７に進む。

図７（ａ）は、外乱除去処理に用いられる学習モデルの学習方法について説明する図で、７０１は、あるフレームレートで撮影された教師用動画を示しており、左から右に時系列に並ぶ複数のフレーム画像から構成される。７０２は外乱除去部１０９による外乱除去処理を示す。学習モデル７０３は、機械学習を行う学習モデルであり、例えば、既知のニューラルネットワークモデルなどである。ここでは、学習モデル７０３の例として、１枚のフレーム画像７０４を入力として、入力画像の外乱が抑制されたフレーム画像を生成する。具体的には、教師用動画７０１から１枚のフレーム画像を入力し、外乱除去処理７０２を行ったフレーム画像７０５を学習時の期待値である教師データとして、学習モデル７０３により生成されたフレーム画像との誤差に基づいて学習モデル７０３を更新する。そして、教師用動画７０１から使用するフレーム画像をずらしながら繰り返し入力フレーム画像、教師データとして利用していくことで、学習モデル７０３は繰り返し学習していくことができる。

図７（ｂ）は、学習モデル７０３を用いた外乱除去処理を示す。７１２は外乱ありのフレーム画像であり、図３のＬＶ画像３０１から画像処理された第（Ｎ－２）、第（Ｎ－１）フレームのＬＶ画像に相当する。７１３は学習モデル７０３を用いて処理した外乱除去フレーム画像であり、図３の外乱除去済みのＬＶ画像３０５、３０６に相当する。このように学習モデル７０３は、図３の外乱除去処理３０２に使用することができる。

図８（ａ）は、外乱付加処理に用いられる学習モデルの学習方法について説明する図で、８０１は、あるフレームレートで撮影された教師用動画を示しており、左から右に時系列に並ぶ複数のフレーム画像から構成される。８０２は外乱除去部１０９による外乱除去処理を示す。学習モデル８０３は、機械学習を行う学習モデルであり、例えば、既知のニューラルネットワークモデルなどである。ここでは、学習モデル８０３の例として、外乱除去済みの１枚のフレーム画像８０４を入力として、入力画像に外乱を付加したフレーム画像を生成する。具体的には、教師用動画８０１から１枚のフレーム画像８０５を入力し、当該フレーム画像８０５を学習時の期待値である教師データとして、学習モデル８０３により生成されたフレーム画像との誤差に基づいて学習モデル８０３を更新する。さらに、教師用動画８０１から使用するフレーム画像をずらしながら繰り返し入力フレーム画像、教師データとして利用していくことで、学習モデル８０３は繰り返し学習していくことができる。

このように教師用動画２０１の使用するフレーム画像をずらしながら繰り返し入力フレーム画像、教師データとして利用していくことで、学習モデルＢ９０９は繰り返し学習していくことができる。また、教師用動画２０１として実際の撮影シーンに近いさまざまな動画を使用することで、精度の高い推定画像の生成が可能な学習モデルＢ９０９を作ることができる。またこの時、教師用動画２０１の動画撮影時の条件に依存した外乱を抑制した上で学習を行うことで、撮影条件などに起因する外乱に依存しない、精度の高い推定画像の生成が可能な学習モデルを得ることができる。なお、本実施形態において、学習は撮影中には行わず、事前に済ませておき、各エッジの重みデータなどを学習パラメータとして、記録部１０８に保持しておく。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。なお、第３の実施形態で用いる撮像装置は、第１の実施形態で説明したものと同様であるため、説明を省略する。

まず、第（Ｎ－２）及び第（Ｎ－１）フレームのＬＶ画像に対して、外乱除去部１０９によって外乱除去処理３０２を行い、外乱除去済みの第（Ｎ－２）フレームのＬＶ画像３０５及び第（Ｎ－１）フレームのＬＶ画像３０６を生成する。そして、外乱除去済みの第（Ｎ－２）フレームのＬＶ画像３０５、第（Ｎ－１）フレームのＬＶ画像３０６と共に、タイミング情報１３０９として「－２」、タイミング情報１３１０として「－１」を学習モデル１２０８に入力する。学習モデル１２０８はタイミング情報１３０９の「－２」、１３１０の「－１」を加味して、第Ｎフレームの推定ＬＶ画像１３０７を推定する。第Ｎフレームの推定ＬＶ画像１３０７に対して、外乱付加部１１１によって外乱付加処理３０３を行い、欠落した第Ｎフレームの代替ＬＶ画像１３０８を生成する。

図１１に示す処理との違いの１つは、図１４に示す例では、「画像処理」において、ＬＶ画像に対する表示用の画像処理を、ＬＶ画像と静止画像に対して行う点である。図１４では、ＬＶ画像に対して行う表示用の画像処理を表示１～３、７～１１、１５、１６、静止画像に対して行う表示用の画像処理を静止画１、２としている。

また、図１１に示す処理との別の違いは、推定６及び推定１４における処理にある。図１４の推定６では、除去３で得られた外乱除去済みのＬＶ画像を用いず、推定５において生成された推定ＬＶ画像と、静止画１において画像処理された静止画像とを用いる。この際に、推定５、静止画１の各々のタイミング情報「－１」「－１．５」を学習モデル１２０８に入力し、学習モデル１２０８はこれらの情報を加味して、推定ＬＶ画像を生成する。そして、推定６で生成した推定ＬＶ画像をデータ転送部１０５を介して一時記録部１０７に書き込む。

Claims

撮像素子により撮影されたフレーム画像における予め決められた外乱を抑制する抑制手段と、
前記外乱が抑制された少なくとも１枚の第１のフレーム画像から、当該第１のフレーム画像とは異なる時点における第２のフレーム画像を、学習モデルを用いて推定する推定手段と、
前記第２のフレーム画像に、前記外乱を付加する付加手段と、
を有することを特徴とする画像処理装置。
前記撮像素子により周期的に撮影されたフレーム画像と、前記付加手段により前記予め決められた外乱が付加された前記第２のフレーム画像とを、表示手段に出力することを特徴とする請求項１に記載の画像処理装置。
前記予め決められた外乱は、撮像光学部材の撮影条件により変動する外乱、前記画像処理装置の振れ、撮影する被写体の動き、輝度変動を含むことを特徴とする請求項１または２に記載の画像処理装置。
前記学習モデルは、前記撮像素子により周期的に撮影された複数のフレーム画像のうち、前記外乱が抑制された少なくとも１枚のフレーム画像を前記第１のフレーム画像として用いて推定された前記第２のフレーム画像と、前記複数のフレーム画像のうち、前記第２のフレーム画像と同じフレームのフレーム画像から前記外乱が抑制されたフレーム画像との誤差に基づいて更新されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記学習モデルを更新する際に用いる前記第１のフレーム画像は、前記複数のフレーム画像のうち、連続する複数のフレーム画像であることを特徴とする請求項４に記載の画像処理装置。
前記学習モデルを更新する際に用いる前記第１のフレーム画像は、前記複数のフレーム画像のうち、連続しない複数のフレーム画像であることを特徴とする請求項４に記載の画像処理装置。
前記撮像素子が周期的にフレーム画像を撮影中に、フレーム画像の撮影が中断された場合に、前記推定手段は、前記中断している間に欠落するフレーム画像に対応する前記第２のフレーム画像を推定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記欠落するフレーム画像に対応する前記第２のフレーム画像の推定時に用いる前記第１のフレーム画像は、該第２のフレーム画像の推定時よりも前の時点において推定された前記第２のフレーム画像を含むことを特徴とする請求項７に記載の画像処理装置。
前記欠落するフレーム画像に対応する前記第２のフレーム画像の推定時に用いる前記第１のフレーム画像は、前記撮像素子により撮影され、前記外乱が抑制された、少なくとも１つのフレーム画像を含むことを特徴とする請求項７または８に記載の画像処理装置。
前記学習モデルは、前記撮像素子により周期的に撮影された複数のフレーム画像のうち、連続する複数のフレーム画像を用いて更新した第１の学習モデルと、連続しない複数のフレーム画像を用いて更新した第２の学習モデルと、を含み、
前記撮像素子が周期的にフレーム画像を撮影中に、フレーム画像の撮影が中断された場合に、前記推定手段は、前記中断している間に欠落するフレーム画像に対応する前記第２のフレーム画像を推定し、当該推定時に、前記第１のフレーム画像として連続する複数のフレーム画像を用いる場合に前記第１の学習モデルを用い、前記第１のフレーム画像として連続しない複数のフレーム画像を用いる場合に前記第２の学習モデルを用いることを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
前記推定手段は、前記第２のフレーム画像の推定時に、更に前記第１のフレーム画像を撮影したタイミングを示す時間情報を用いることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記撮像素子が周期的に表示用のフレーム画像を撮影中に、静止画像の撮影によりフレーム画像の撮影が中断された場合に、前記中断している間に欠落するフレーム画像に対応する前記第２のフレーム画像の推定時に用いる前記第１のフレーム画像は、前記静止画像を含むことを特徴とする請求項１１に記載の画像処理装置。
前記学習モデルは、異なる複数の周期で撮影された複数のフレーム画像を用いて、各周期ごとに生成され、
前記第１のフレーム画像の周期に対応する学習モデルを用いて前記第２のフレーム画像を推定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
撮像素子と、
請求項１乃至１３のいずれか１項に記載の画像処理装置と
を有することを特徴とする撮像装置。
抑制手段が、撮像素子により撮影されたフレーム画像における予め決められた外乱を抑制する抑制工程と、
推定手段が、前記外乱が抑制された少なくとも１枚の第１のフレーム画像から、当該第１のフレーム画像とは異なる時点における第２のフレーム画像を、学習モデルを用いて推定する推定工程と、
付加手段が、前記第２のフレーム画像に、前記外乱を付加する付加工程と、
を有することを特徴とする画像処理方法。
コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。