JP2020086891A - 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】高精度に擾乱の強度を測定可能な画像処理装置を提供する。【解決手段】画像処理装置（１００）は、擾乱により劣化した時間的に異なる複数の画像を取得する画像取得部（１０１）と、学習済みのネットワークパラメータを取得するパラメータ取得部（１０２）と、ネットワークパラメータとニューラルネットワークとを用いて、複数の画像から擾乱の強度を測定する測定部（１０３）とを有する。【選択図】図１

Description

本発明は、畳み込みニューラルネット（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を用いて、高精度に擾乱の強度を測定する画像処理装置に関する。

従来、擾乱（大気ゆらぎ）による画像劣化を、画像処理により回復する方法が提案されている。非特許文献１には、擾乱による動画の各フレームの位置ずれを補正し、各フレームの場所ごとに異なるぼけを補正した後、ブラインドデコンボリューションでぼけを除去することで、擾乱による画像劣化を回復する方法が開示されている。

Ｘｉａｎｇ Ｚｈｕ、Ｐｅｙｍａｎ Ｍｉｌａｎｆａｒ、「Ｒｅｍｏｖｉｎｇ ａｔｍｏｓｐｈｅｒｉｃ ｔｕｒｂｕｌｅｎｃｅ ｖｉａ ｓｐａｃｅ−ｉｎｖａｒｉａｎｔ ｄｅｃｏｎｖｏｌｕｔｉｏｎ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ｖｏｌ．３５、ｎｏ．１、２０１６、ｐｐ．１５７−１７０ Ｘｉａ−Ｊｉａｏ Ｍａｏ、Ｃｈｕｎｈｕａ Ｓｈｅｎ、Ｙｕ−Ｂｉｎ Ｙａｎｇ、「Ｉｍａｇｅ ｒｅｓｔｏｒａｔｉｏｎ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ａｕｔｏ−ｅｎｃｏｄｅｒｓ ｗｉｔｈ ｓｙｍｍｅｔｒｉｃ ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎｓ」、ａｒＸｉｖ：１６０６．０８９２１、２０１６ Ｘａｖｉｅｒ Ｇｌｏｒｏｔ、Ｙｏｓｈｕａ Ｂｅｎｇｉｏ、「Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｔｈｅ ｄｉｆｆｉｃｕｌｔｙ ｏｆ ｔｒａｉｎｉｎｇ ｄｅｅｐ ｆｅｅｄｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １３ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ、２０１０、ｐｐ．２４９−２５６

しかしながら、非特許文献１に開示された方法では、大気ゆらぎを除去することはできるが、大気ゆらぎに起因する画像劣化度合いである、大気ゆらぎの強度を測定することはできない。大気ゆらぎ動画からの、非剛体レジストレーションの変形ベクトルの推定を、擾乱の強度測定と考えることもできるが、動画中に移動物体がある場合には位置ずれ補正が困難であるため、高精度に変形ベクトルを推定することはできない。

そこで本発明は、高精度に擾乱の強度を測定可能な画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、擾乱により劣化した時間的に異なる複数の画像を取得する画像取得部と、学習済みのネットワークパラメータを取得するパラメータ取得部と、前記ネットワークパラメータとニューラルネットワークとを用いて、前記複数の画像から前記擾乱の強度を測定する測定部とを有する。

本発明の他の側面としての画像処理システムは、クライアント装置と、前記クライアント装置にネットワークを介して接続されているサーバ装置とを有する画像処理システムであって、前記クライアント装置は、擾乱により劣化した時間的に異なる複数の画像を前記サーバ装置へ出力する画像出力部を有し、前記サーバ装置は、学習済みのネットワークパラメータを取得するパラメータ取得部と、前記ネットワークパラメータとニューラルネットワークとを用いて、前記複数の画像から前記擾乱の強度を測定する測定部と、前記擾乱の強度を前記クライアント装置へ出力する擾乱強度出力部とを有する。

本発明の他の側面としての撮像装置は、撮像素子と前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、擾乱により劣化した時間的に異なる複数の画像を取得する画像取得ステップと、学習済みのネットワークパラメータを取得するパラメータ取得ステップと、前記ネットワークパラメータとニューラルネットワークとを用いて、前記複数の画像から前記擾乱の強度を測定する測定ステップとを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、高精度に擾乱の強度を測定可能な画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

本実施形態における画像処理装置のブロック図である。 本実施形態における画像処理システムの構成図である。 本実施形態における撮像装置の構成図である。 本実施形態における画像処理システムのブロック図である。 本実施形態における画像処理方法のフローチャートである。 実施例１におけるネットワーク構造を示す図である。 実施例１における数値計算結果を示す図である。 実施例２におけるネットワーク構造を示す図である。 実施例２における数値計算結果を定性的に示す図である。 実施例２における数値計算結果を定量的に示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、擾乱について説明する。撮影画像は、撮像装置と被写体との間に存在する媒質の擾乱（ｔｕｒｂｕｌｅｎｃｅ）により劣化する。例えば、炎天下における撮影や遠方の被写体を撮影する場合、大気のゆらぎ（擾乱）によって撮影画像は劣化する。また、例えば水上から水底の被写体を撮影する場合、水のゆらぎ（擾乱）によって撮影画像は劣化する。

媒質の擾乱による撮影画像の劣化は、媒質の屈折率が場所や時間ごとに変化することによる。このため、一般に得られる撮像画像は、場所ごとに劣化度合いが異なる。これは、撮像装置と被写体との間に存在する媒質の厚みや温度分布、流れなどが場所ごとに異なり、その結果、媒質の屈折率が場所ごとに異なるためである。同様の理由で、撮像画像の劣化度合いは時間ごとに異なる。

非特許文献１に開示されている擾乱（大気ゆらぎ）による動画の各フレームの位置ずれ補正（ｒｅｇｉｓｔｒａｔｉｏｎ）は、非剛体（ｎｏｎ−ｒｉｇｉｄ）レジストレーションを用いて行われる。ここで、非剛体レジストレーションとは画像処理分野でよく用いられる、簡易的な大気ゆらぎ（補正）モデルである。簡単には、まず大気ゆらぎで劣化させる元の画像において、粗く画像の制御点（ｃｏｎｔｒｏｌ ｐｏｉｎｔ）を設定する。次に、各制御点において加える変形量を表したベクトル（ｄｅｆｏｒｍａｔｉｏｎ ｖｅｃｔｏｒ）を正規乱数でランダムに決定し、制御点を変形させる。簡単には、この変形ベクトルの正規乱数の分散が大きいと、得られる画像の大気ゆらぎによる劣化が大きくなる。

次に、変形させた制御点から、元画像の各画素に加える大気ゆらぎによる変形量を、以下の式（１）に従って決定する。

式（１）において、Δｘは元画像の各画素に加える変形量、ｐは制御点に加える変形量（変形ベクトル）、Ａ（ｘ）はｐをΔｘへ変換する行列、ε_ｘ、ε_ｙはそれぞれ制御点のｘ、ｙ方向の間隔である。また、（ｘ_ｃ，ｙ_ｃ）は任意の制御点の座標、（ｘ_ｉ，ｙ_ｉ）は元画像のｉ番目の画素の座標である。式（１）は、簡単にいうと、変形させた制御点に沿って、元画像の各画素に滑らかな変形を加える式である。

最後に、変形させた各画素における画素値を、元画像から補間で決定し、大気ゆらぎ画像を生成する。なお、このモデルはＢ−Ｓｐｌｉｎｅとも呼ばれる。また、このモデルは媒質の種類（大気や水）によらず、任意の擾乱による画像劣化へ適用可能である。

位置ずれ補正の場合、これとは逆に大気ゆらぎ画像と参照画像(ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ)から、反復計算により変形ベクトルを推定し、得られる変形ベクトルから、大気ゆらぎ画像に加わった変形を補正する。ここで、参照画像は大気ゆらぎによる画像劣化がないと見なせる基準画像であり、例えば複数枚の大気ゆらぎ画像の平均をとることで与えられる。なお、この詳細は、非特許文献１に開示されている。

大気ゆらぎ動画を作る場合、大気ゆらぎを加える元の動画の各フレームに対して、前述の大気ゆらぎを加える処理を行えばよい。この場合、各フレームに加える大気ゆらぎの間に相関がないため、得られる大気ゆらぎ動画は現実（大気ゆらぎ実動画）とは異なる。しかし、得られる大気ゆらぎ動画は、定性的には大気ゆらぎ実動画と良く似ている。また、非特許文献１に開示された方法により、大気ゆらぎによる画像劣化は、良好に回復することができる。よって、Ｂ−Ｓｐｌｉｎｅに基づく擾乱モデルは、現実と近いと考えられるため、本発明でも後述するＣＮＮの学習のため、擾乱により劣化した訓練動画（訓練画像群）の作成に用いる。

各フレームの場所ごとに異なるぼけの補正は、注目領域の一定時間（フレーム）において、一番鮮鋭（画素値の分散が大きい）なものを選び、これを画像全体で行い、得られた領域をつなぎ合わせることでも行われる。この処理は、ラッキーイメージング（ｌｕｃｋｙ ｉｍａｇｉｎｇ）と呼ばれている。ブラインドデコンボリューションでは、大気ゆらぎによるぼけを表したＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と、大気ゆらぎを除去した画像の両方を、同時に推定することで行われる。

次に、図１を参照して、本実施形態における画像処理装置について説明する。図１は、画像処理装置１００のブロック図である。画像処理装置１００は、画像取得部１０１、パラメータ取得部１０２、測定部１０３、および、補正部１０４を備えて構成されている。画像取得部１０１は、撮像装置により撮影された複数の画像（入力画像、動画）を取得する。撮像装置は、デジタル動画像データを取得可能であり、例えばデジタルビデオカメラやデジタルカメラである。

動画像のフレームは一般に劣化している。例えば、デジタルカメラの場合、結像光学系（撮像光学系）や光学ローパスフィルタに起因するぼけ、撮像素子に起因するノイズ、デモザイキングのエラー、データ圧縮に起因するノイズなどが劣化要因として挙げられる。これらの動画像劣化過程は、既知であることが望ましい。これは、後述するＣＮＮの学習において大量に必要となる訓練画像群（訓練動画）を、数値計算で生成できるためである。動画像データの形式は、計算機に読み込み可能なデジタルデータであれば限定されるものでなく、例えば、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）である。また本実施形態において、動画像はカラーでもモノクロでもよいが、簡単のため、以下の説明ではモノクロ動画像であるとする。

また画像取得部１０１は、複数の入力画像の撮影条件として、撮影に用いられた光学系（撮像光学系）の光学条件（焦点距離や絞り値など）、撮影に用いられた撮像素子の画素ピッチ、または、フレームレートを取得する。これは、後述するＣＮＮの学習条件と撮影条件（入力画像を取得した条件）とを合わせるためである。

パラメータ取得部１０２は、学習済みのネットワークパラメータを取得する。なお、ネットワークパラメータとは、後述するＣＮＮのパラメータであるフィルタおよびバイアスを含む。ＣＮＮとは、簡単には、学習したパラメータを用いた演算であり、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ワークステーション、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、サーバで構成される。このためパラメータ取得部１０２は、例えばＰＣのＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などで構成される。またはパラメータ取得部１０２は、ネットワークパラメータを記憶した記憶媒体を、ＣＤ−ＲＯＭドライブや、ＵＳＢインターフェースなどのインターフェース機器を介して取得してもよい。この場合、パラメータ取得部１０２は、インターフェース機器も含む形で構成される。

学習済みのネットワークパラメータとは、後述する測定部１０３および補正部１０４を構成するＣＮＮのネットワークパラメータを、予め学習により生成したものである。また、画像取得部１０１から提供される入力画像を取得した条件（撮影条件）と、ネットワークパラメータの学習条件とが近いものを選択し、取得するパラメータとしてもよい。ここで学習条件とは、後述するＣＮＮの学習に用いる訓練画像群を、数値計算的に生成（または取得）する際の撮影条件（光学系の光学条件、画素ピッチ、フレームレートなど）である。

次に、ＣＮＮについて簡単に説明する。ＣＮＮとは、学習（ｔｒａｉｎｉｎｇまたはｌｅａｒｎｉｎｇ）により生成したフィルタを、画像に対して畳み込んだ（ｃｏｎｖｏｌｕｔｉｏｎ）後、非線形演算することを繰り返す学習型の画像処理技術である。画像に対してフィルタを畳み込んだ後、非線形演算して得られる画像は、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）と呼ばれる。学習は、入力画像と出力画像とのペアからなる訓練画像群（ｔｒａｉｎｉｎｇ ｉｍａｇｅｓまたはｄａｔａ ｓｅｔｓ）を用いて行われる。簡単には、入力画像から対応する出力画像へ、高精度に変換できるフィルタの値を、訓練画像群から生成することが学習である。詳しくは後述する。

また、画像がＲＧＢカラーチャンネルを持つ場合や複数の画像から構成されている（動画像）場合、または、特徴マップが複数の画像から構成されている場合、畳み込みに用いるフィルタはそれに応じて複数チャンネルを持つ。すなわち、畳み込みフィルタは、画像の縦横サイズと枚数の他にチャンネル数を加えた４次元配列で表現される。また、画像（または特徴マップ）にフィルタを畳み込んだ後、非線形演算する処理は、層（ｌａｙｅｒ）という単位で表現される。例えば、ｍ層目の特徴マップやｎ層目のフィルタと呼ばれる。例えば、フィルタの畳み込みと非線形演算を３回繰り返すＣＮＮは、３層構造のネットワークと呼ばれる。この処理は、以下の式（２）のように定式化できる。

式（２）において、Ｗ_ｎはｎ層目のフィルタ、ｂ_ｎはｎ層目のバイアス、ｆは非線形演算子、Ｘ_ｎはｎ層目の特徴マップ、＊は畳み込み演算子である。なお、右肩の（ｌ）はｌ番目のフィルタまたは特徴マップであることを表している。フィルタおよびバイアスは、後述する学習により生成され、まとめてネットワークパラメータと呼ばれる。また、非線形演算としてシグモイド関数（ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）やＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）が良く用いられる。

次に、ＣＮＮの学習について説明する。ＣＮＮの学習は、入力訓練画像（例えば劣化画像）と対応する出力訓練画像（例えば鮮鋭な正解画像）との組からなる訓練画像（訓練画像群）に対して、一般に以下の式（３）で表される目的関数を最小化することで行われる。

式（３）において、Ｌは正解とその推定との誤差を測る損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）である。Ｙ_ｉはｉ番目の出力訓練画像、Ｘ_ｉはｉ番目の入力訓練画像である。Ｆは、ＣＮＮの各層で行う演算（数式２）を、まとめて表した関数である。θは、ネットワークパラメータ（フィルタおよびバイアス）である。また、‖Ｚ‖_２はＬ２ノルムであり、簡単にはベクトルＺの要素の２乗和の平方根である。

なお、訓練画像には既知の対応関係を持った入出力画像が用いられる。例えば、鮮鋭な出力画像とそれに対して光学系に起因するぼけを付加し劣化した入力画像などである。また、ＣＮＮの出力が画像でなくスカラー（値）である場合も、同様に損失関数を定義し、ネットワークパラメータを決定すればよい。その場合、訓練画像は、入力画像と対応する出力値となる。スカラーを出力するＣＮＮは、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）ニューラルネットワークと呼ばれる特殊なものであり、詳細は後述する。

式（３）において、ｎは学習に用いる訓練画像の全枚数であるが、一般に訓練画像の全枚数は多い（〜数万枚）ため、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ；ＳＧＤ）では、訓練画像の一部をランダムに選び学習に用いる。これにより、多くの訓練画像を用いた学習における、計算負荷を低減することができる。

また、目的関数の最小化（＝最適化）法として、モーメンタム（ｍｏｍｅｎｔｕｍ）法やＡｄａＧｒａｄ法、ＡｄａＤｅｌｔａ法、Ａｄａｍ法など、様々な方法が知られている。ただし、学習における最適化法の選択指針は現状存在しない。よって、基本的に何を用いても良いが、最適化法ごとの収束性には違いがあるため、学習時間の違いが生じることが知られている。

以上の手順で学習したネットワークパラメータとＣＮＮを用いて、例えば劣化した画像から鮮鋭な画像へ、高精度に変換する画像処理が可能になる。この画像処理は、深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）とも呼ばれる。

測定部１０３は、学習済みネットワークパラメータとＣＮＮとを用いて、入力画像（複数の画像）から擾乱の強度を測定して出力する。測定部１０３は、前述したＣＮＮであり、例えば、ＰＣ、ワークステーション、ＦＰＧＡ、サーバで構成されるが、これらに限定されるものではなく、前述したＣＮＮの演算が実現可能な計算機であればよい。擾乱の強度とは、入力画像の擾乱の強度を表すスカラーであり、具体的には入力画像の時間的または空間的な画素値の散布度である。ここで散布度とは、分散、標準偏差を含む統計量である。例えば、擾乱モデルとして前述したＢ−Ｓｐｌｉｎｅを用いた場合、擾乱の強度として、前述した変形ベクトルの分散を用いてもよい。このように、入力画像の擾乱の強度を、時間的または空間的な画素値の散布度というスカラーで表現する点が、本発明の特徴の一つである。

前述のように、ＣＮＮの出力は画像である。このため、スカラーである擾乱の強度を出力するには、ＣＮＮの出力である画像をスカラーに変換する全結合ニューラルネットワークを出力部分に追加すればよい。全結合ニューラルネットワークは、以下の式（４）ように定式化できる。

式（４）において、Ｘ_ｎはｎ層目の特徴マップを表したベクトル、Ｗ_ｎはX_ｎ−１の各要素に加える重みを表した行列である。これより、ＣＮＮで出力される画像を、ベクトルに変換した後、全結合ニューラルネットワークへ入力する必要がある。例えば、５０×５０画素の画像を、２５００次元のベクトルに変換する。また、全結合ニューラルネットワークへ入力できる画像サイズは、全結合ニューラルネットワークのサイズにより規定される。このため、全結合ニューラルネットワークへ入力可能な出力画像を得ることができるように、ＣＮＮへの入力画像のサイズを調整する必要がある。

なお、全結合ニューラルネットワークを追加したＣＮＮであっても、前述した方法で学習することができる。これは、歴史的には全結合ニューラルネットワークが先に研究され、その派生としてＣＮＮが後に研究されたためであるが、その詳細は省略する。測定部１０３は、正確には、ＣＮＮとその出力部分に追加された全結合ニューラルネットワークとを備えて構成されるが、単に「測定部１０３のＣＮＮ」などと呼ぶ。

また、測定部１０３のＣＮＮのネットワークパラメータの学習には、入力訓練画像とその擾乱の強度との組からなる訓練画像（訓練画像群）を用いる。ただし、一般的に、既知の擾乱の強度で劣化した入力訓練画像を得ることは難しい。このため、例えば前述した擾乱モデルＢ−Ｓｐｌｉｎｅを用いて、数値計算的に生成してもよい。この場合、擾乱の強度として、前述した変形ベクトルの分散を用いることができる。例えば、ネットワークパラメータは、時間的に異なる複数の第１の画像群（第１の動画）と複数の第１の画像群に対して既知の擾乱の強度により劣化させた複数の第２の画像群（第２の動画）との組からなる訓練画像群（訓練動画）を用いた学習により生成される。「時間的に異なる」複数の画像とは、異なる時間に取得された複数の画像を含む。

また、移動物体を含む入力訓練画像を訓練画像として用いることで、移動物体に頑強な（高精度な）擾乱の強度の測定が可能になる。同様に、画像取得部１０１の動画劣化過程が既知であれば、その劣化を含む入力訓練画像を数値計算で生成して訓練画像として用いることで、劣化に頑強な（高精度な）擾乱の強度の測定が可能になる。

（規格化）
測定部１０３は、入力画像または入力訓練画像に対して規格化を行う。これは、入力画像の画素値の絶対値により、測定結果が左右されないようにすることが目的である。規格化は、例えば、複数の入力画像の平均画像を生成し、複数の入力画像の各々から平均画像を減算することにより行われる。この規格化方法は、以下の式（５）のように定式化することができる。

式（５）において、Ｉ_ｉはｉ番目の入力画像、ｍは入力画像の枚数である。また、Ｉ_ｉの上に付されたバー（―）は、規格化されたことを表している。

また規格化は、例えば、複数の入力画像から時間的に隣り合う２枚の画像の差分画像を生成することにより行うこともできる。この規格化方法は、以下の式（６）ように定式化することができる。

式（６）にて用いられる記号の意味は、前述の式（５）と同様である。規格化方法は、擾乱の強度の定義、入力画像、擾乱の強度の測定精度などに応じて適宜選択であるが、本実施形態では、基本的に式（５）で与えられる規格化方法を用いる。このように本実施形態では、好ましくは、規格化を行った入力画像を用いて擾乱の強度を測定する。これにより、測定結果が入力画像の画素値の絶対値により受ける影響を除去することができるため、高精度な測定結果を得ることが可能である。

（入力画像サイズ調整）
測定部１０３へ入力する画像の縦・横の画素数は、ネットワークの出力部分に追加された全結合ニューラルネットワークで決定される。このため、入力画像と入力訓練画像はトリミングや補間や間引きにより、各画像の縦・横の画素数を調整する必要がある。

また、測定部１０３へ入力する画像の枚数（フレーム数）は、入力訓練画像のフレーム数に応じて決定される。このため入力画像は、時間的に補間または間引いて、測定部１０３へ入力する必要がある。例えば、高フレームレートで入力画像を取得した場合、入力訓練画像のフレームレートと一致するように間引いた入力画像を、測定部１０３へ入力する。なお、これは入力画像と入力訓練画像のフレームレートの違いにより、測定結果が左右されないようにするためである。また、入力画像を取得した条件は画像取得部１０１から、入力訓練画像のフレーム数はパラメータ取得部１０２から、各々取得すればよい。

このように本実施形態において、好ましくは、画像サイズ（特にフレームレート）を調整した入力画像を用いて擾乱の強度を測定する。これにより、測定結果が入力画像と入力訓練画像のフレームレートの違いにより受ける影響を除去することができるため、高精度な測定結果を得ることが可能である。

（複数箇所測定）
測定部１０３は、入力画像の複数箇所の擾乱の強度を測定し、最終的な擾乱強度を決定してもよい。ここで、入力画像の複数箇所とは、入力画像の空間と時間（縦、横、フレーム）のうち、複数の箇所という意味である。より具体的には、入力画像の空間・時間方向のある箇所から前述した方法で縦・横画素数、フレーム数の画像を抽出し、それを入力画像として測定部１０３へ入力し、その箇所における擾乱の強度を測定する。

また、入力画像の複数箇所で測定した擾乱の強度から、例えばその平均値をとって最終的な擾乱強度としてもよい。また、複数箇所で測定した擾乱の強度から中間値、最小値、最大値、または、最頻値を取得し、それを最終的な擾乱の強度としてもよい。これは、入力画像の局所的に擾乱による劣化が大きい場所により、測定結果が左右されないようにするためである。

このように本実施例において、好ましくは、入力画像の複数箇所の擾乱強度を測定し、最終的な擾乱強度を決定する。これにより、入力画像の局所的に擾乱による劣化が大きい場所が存在しても、高精度な測定結果を得ることが可能である。

補正部１０４は、測定された擾乱の強度に基づいて、擾乱による入力画像の劣化を補正する。ここで、補正方法は限定されるものではないが、画像処理の精度の点から、前述したＣＮＮを用いることが好ましい。このため、以下では例示的に補正部１０４はＣＮＮであるとして説明する。補正部１０４は前述したＣＮＮであり、例えば、ＰＣ、ワークステーション、ＦＰＧＡ、サーバで構成されるが、これらに限定されるものではなく、前述したＣＮＮの演算が実現可能な計算機であればよい。補正部１０４は、パラメータ取得部１０２が提供する学習済みのネットワークパラメータを用いて、補正処理を行う。また、補正部１０４のＣＮＮのネットワークパラメータの学習には、出力訓練画像に既知の擾乱の強度の劣化を加えた入力訓練画像との組からなる訓練画像を用いる。ただし、一般的にこのような訓練画像を得ることは難しい。このため、例えば前述した擾乱モデルＢ−Ｓｐｌｉｎｅを用いて、訓練画像を数値計算的に生成してもよい。この場合、擾乱の強度として、前述した変形ベクトルの分散を用いることができる。

また、移動物体を含む入出力訓練画像を訓練画像として用いることにより、移動物体に頑強な擾乱の補正が可能になる。同様に、画像取得部１０１の動画劣化過程が既知であれば、その劣化を含む入力訓練画像を数値計算で生成して訓練画像として用いることで、劣化に頑強な擾乱の補正が可能になる。

（ネットワークパラメータ選択）
補正部１０４は、測定された擾乱の強度に基づいて、パラメータ取得部１０２が提供する学習済みのネットワークパラメータを選択して、補正処理を行う。これは、入力画像と同じ擾乱強度の訓練画像で学習したネットワークパラメータを用いることで、高精度な擾乱補正を行うためである。例えば、測定された擾乱の強度と最も近い擾乱の強度による劣化を加えた訓練画像で学習したネットワークパラメータを選択し、補正処理に用いてもよい。このように、測定された擾乱の強度に基づいて、学習済みのネットワークパラメータを選択して補正処理を行うことで、高精度な擾乱補正を行うことができる。

（フレーム数）
補正部１０４は、測定された擾乱の強度に基づいて、入力画像の枚数（フレーム数）を決定する。これは、擾乱が大きければ補正に入力画像の枚数を多く必要とし、逆に擾乱が小さければ補正に入力画像の枚数を多く必要としないからである。なお、補正部１０４のＣＮＮのネットワークパラメータ学習の際には、訓練画像に加える擾乱強度に応じて、入力訓練画像の枚数を調整する。具体的には、擾乱が大きければ入力訓練画像の枚数を多くし、擾乱が小さければ入力訓練画像の枚数を少なく調整して、学習すればよい。このように、測定された擾乱強度に基づき、入力画像の枚数（フレーム数）を決定することで、補正に必要なデータを決定することができる。

補正部１０４で得られる画像処理結果である出力画像は、画像処理装置１００の内部に設けられた不図示の記憶部に記憶することができる。また出力画像は、画像処理装置１００の外部に設けられた不図示の表示部に表示してもよい。または、出力画像は、不図示のＣＤ−ＲＯＭドライブやＵＳＢインターフェースなどのインターフェース機器を介して、画像処理装置１００の外部の不図示の記憶媒体に記憶してもよい。なお、画像取得部１０１、パラメータ取得部１０２、測定部１０３、および、補正部１０４の間で情報（データ）をやり取りするための配線や無線に関する説明については省略する。

画像取得部１０１、パラメータ取得部１０２、測定部１０３、および補正部１０４の機能を記述したプログラムを計算機に実行させることで、画像処理装置１００の機能を、計算機上で実現してもよい。同様に、測定部１０３および補正部１０４の少なくとも一方の機能を記述したプログラムをＶＬＳＩへ電子回路として実装し、画像処理装置１００の一部機能を実現してもよい。

次に、図２を参照して、本実施形態における画像処理システムについて説明する。図２は、画像処理システム２００の構成図である。画像処理システム２００は、画像処理装置１００ａと撮像装置（デジタルカメラ）２０１とを備えて構成される。撮像装置２０１は、撮像光学系および撮像素子を有し、撮影画像を取得する。撮像装置２０１により取得された撮影画像は、画像処理装置１００ａへ出力される。画像処理装置１００ａは、ＰＣとディスプレイとを有する。ＰＣは、画像取得部１０１、パラメータ取得部１０２、測定部１０３、および、補正部１０４を有する。ディスプレイは、画像処理結果としての出力画像を表示する。

次に、図３を参照して本実施形態における撮像装置について説明する。図３は、撮像装置３００の構成図である。撮像装置３００は、カメラ本体３０１とレンズ装置（交換レンズ）３０２とを備えて構成されている。カメラ本体３０１は、撮像素子３０３、画像処理エンジン（画像処理装置）３０４、および、モニタ３０５を有する。画像処理エンジン３０４は、画像取得部１０１、パラメータ取得部１０２、測定部１０３、および、補正部１０４を有する。モニタ３０５は、画像処理結果としての出力画像を表示する。

次に、図４を参照して、本実施形態における別の画像処理システムについて説明する。図４は、画像処理システム４００のブロック図である。画像処理システム４００は、クライアント装置４０１と、クライアント装置４０１にネットワーク４０３を介して接続されているサーバ装置４０２とを有する。クライアント装置４０１は、画像出力部４０４を有する。画像出力部４０４は、擾乱により劣化した時間的に異なる複数の画像をサーバ装置４０２へ出力する。サーバ装置４０２は、パラメータ取得部４０５、測定部４０６、および、擾乱強度出力部４０７を有する。パラメータ取得部４０５は、学習済みのネットワークパラメータを取得する。測定部４０６は、ネットワークパラメータとニューラルネットワークとを用いて、複数の画像から擾乱の強度を測定する。擾乱強度出力部４０７は、擾乱の強度をクライアント装置４０１へ出力する。またクライアント装置４０１またはサーバ装置４０２は、擾乱の強度に基づいて複数の画像を補正する補正部（不図示）を有していてもよい。

次に、図５を参照して、本実施形態における画像処理方法について説明する。図５は、画像処理方法のフローチャートであり、ＶＬＳＩなどで画像処理方法を実施する場合におけるプログラムのフローを示している。図５の各ステップは、例えば、画像処理装置１００の画像取得部１０１、パラメータ取得部１０２、測定部１０３、および、補正部１０４により実行される。

まずステップＳ５０１において、画像取得部１０１は、擾乱により劣化した時間的に異なる複数の画像（入力画像、動画）を取得する。続いてステップＳ５０２において、パラメータ取得部１０２は、学習済みのネットワークパラメータを取得する。続いてステップＳ５０３において、測定部１０３は、ネットワークパラメータとニューラルネットワークとを用いて、複数の画像から擾乱の強度を測定する。最後にステップＳ５０４において、補正部１０４は、擾乱の強度に基づいて複数の画像を補正する。

次に、各実施例について詳述する。

まず、図６および図７を参照して、本発明の実施例１について説明する。本実施例では、画像処理装置１００の機能を記述したプログラムを用いて、既知の擾乱強度により劣化した入力画像の擾乱強度を測定した数値計算の結果を説明する。

図６は、本実施例におけるネットワーク構造（測定部１０３のＣＮＮ）６００を示す図である。図６において、ｃｏｎｖは畳み込み層、ｄｅｃｏｎｖは逆（転置）畳み込み層をそれぞれ示している。また、各層の上の数字列はフィルタの縦横サイズ、チャンネル数、および、枚数を表している。例えば、図６中の「３×３×１×８」は縦横サイズ３×３、チャンネル数１、枚数８枚のフィルタで畳み込み、または逆（転置）畳み込みを行うことを表している。逆（転置）畳み込みとは、畳み込みの一種であり、簡単には畳み込みの逆処理である。詳細は、例えば非特許文献２に開示されている。また、図６中の丸中の＋印は特徴マップの要素ごとの和を表している。

また、ネットワーク構造６００における出力部のＦＣは、全結合ネットワークを示している。全結合ネットワークの上の数字列は、全結合ネットワークへの入力サイズと出力サイズを表している。例えば、図６中の「２５００×２５００」は２５００次元のベクトルを入力し、２５００次元のベクトルを出力することを表している。より具体的には、ＣＮＮで出力される５０×５０画素の画像を、２５００次元のベクトルへ変換し、全結合ネットワークへ入力している。前述したように、全結合ネットワークへ入力可能な画像サイズは決まっている。それに従って入力画像サイズは決定される。本実施例では、入力画像サイズは５０×５０画素、１１フレームである。

なお、図６に示されるネットワーク構造６００は一例に過ぎず、本発明はこれに限定されるものではない。訓練画像は、既知の擾乱強度を有する入力訓練画像とその擾乱強度との組からなる。なお、測定部１０３のネットワーク構造６００に合わせて、入力訓練画像サイズは５０×５０画素、１１フレームである。また、入力訓練画像は、前述した擾乱モデルＢ−Ｓｐｌｉｎｅを用いて、数値計算的に生成される。その際、擾乱強度として前述した変形ベクトルの分散を用いる。また、訓練画像として移動物体を含む入力訓練画像を用いる。これは、前述したとおり、本発明により移動物体に頑強な擾乱強度の測定が可能になることを示すためである。

入力画像は、訓練入力画像と同じ条件（光学系の光学条件、イメージセンサの画素ピッチ、および、フレームレート）で取得したと見なせる画像を用いる。このため、入力画像のフレームレートに関して調整は行っていない。なお、入力画像サイズは４００×４００画素、４０フレームである。そこから、５０×５０画素、１１フレームを時間的および空間的にランダムに２０箇所抽出し、算出した擾乱強度の平均値を、最終的な擾乱強度とする。また、入力画像として移動物体（車）を含むものを用いた。

入力画像と入力訓練画像の規格化は、式（５）で与えられる方法を用いる。すなわち、複数の入力（訓練）画像の平均画像を生成し、これを複数の入力（訓練）画像の各々から減算することにより、規格化を行う。また、全ての画像はモノクロ画像であり、画素値は［０ １］の範囲になるように規格化される。

学習は、最適化法としてＡｄａｍ法を用いたＳＧＤ（非特許文献２参照）である。なお、Ａｄａｍ法のパラメータは、α＝１０^−４、β_１＝０．９、β_２＝０．９９９、ε＝１０^−８である。また、ＳＧＤは訓練画像の全枚数７６８００枚から、ランダムに１２８枚選択して用いる。また学習の反復回数は、１８×１０^４回（３００エポック）である。またネットワークパラメータ（フィルタおよびバイアス）の初期値は、全ての層でＸａｖｉｅｒ（非特許文献３参照）を用いる。

なお、測定部１０３へ入力する入力画像と入力訓練画像のサイズやフレーム数、規格化方法は一例であり、本発明はこれに限定されるものではない。また、測定部１０３から出力される擾乱強度の定義や最終的な擾乱強度の算出方法は一例であり、本発明はこれに限定されるものではない。

図６に示されるように、ネットワーク構造（ニューラルネットワーク）６００は、メイン部６０１、入力部６０２、変換部６０３、および、出力部６０４を有する。メイン部６０１は、第１のネットワークパラメータと少なくとも２層以上の第１の畳み込みニューラルネットワーク（ＣＮＮ）とを用いて、複数の画像を第１の特徴量６１１ａ、６１１ｂ、６１１ｃに変換する。入力部６０２は、第２のネットワークパラメータと第２のＣＮＮとを用いて、複数の画像を第２の特徴量６１２ａ、６１２ｂ、６１２ｃに変換する。変換部６０３は、第１の特徴量と第２の特徴量とを加算して第３の特徴量６１３ａ、６１３ｂ、６１３ｃを生成し、第３のネットワークパラメータと第３のＣＮＮとを用いて第３の特徴量を第４の特徴量６１４に変換する。出力部６０４は、第４のネットワークパラメータと全結合ニューラルネットワークとを用いて、第４の特徴量から擾乱の強度を出力する。

図７は、本実施例における数値計算結果（擾乱強度測定結果）を示す図である。図７において横軸は入力画像に与えた擾乱強度（真の擾乱強度）、縦軸は入力画像から測定された擾乱強度である。なお、グラフのエラーバーは、入力画像からランダムに抽出された、２０箇所の測定した擾乱強度の標準偏差を表している。これより、入力画像に与えた擾乱強度と相関が高く、かつ移動物体に頑強な擾乱強度測定ができていることが分かる。

次に、図８乃至図１０を参照して、本発明の実施例２について説明する。本実施例では、画像処理装置１００の機能を記述したプログラムを用いて、未知の擾乱強度を有する入力画像の擾乱強度を測定した後、擾乱を補正した数値計算の結果について説明する。なお、測定部１０３のＣＮＮは、実施例１と同様であるため、その説明は省略する。

図８は、本実施例におけるネットワーク構造（補正部１０４のＣＮＮ）８００を示す図である。図８のネットワーク構造８００の基本構成は、出力部分に全結合ネットワークがない以外は、実施例１にて説明した測定部１０３のネットワーク構造６００と同様であるため、その詳細な説明は省略する。

ネットワーク構造８００は、メイン部８０１、入力部８０２、および、出力部８０３を有する。メイン部８０１は、学習済みの第５のネットワークパラメータと少なくとも２層以上の第５の畳み込みニューラルネットワーク（ＣＮＮ）とを用いて、複数の画像を第５の特徴量８１１ａ、８１１ｂ、８１１ｃに変換する。入力部８０２は、学習済みの第６のネットワークパラメータと第６のＣＮＮとを用いて、複数の画像を第６の特徴量８１２ａ、８１２ｂ、８１２ｃに変換する。出力部８０３は、第５の特徴量と第６の特徴量とを加算して第７の特徴量８１３ａ、８１３ｂ、８１３ｃを生成し、学習済みの第７のネットワークパラメータと第７のＣＮＮとを用いて第７の特徴量を出力画像へ変換する。なお、図８に示されるネットワーク構造８００は一例に過ぎず、本発明はこれに限定されるものではない。

訓練画像は、出力訓練画像に対して既知の擾乱強度による劣化を加えた入力訓練画像の組からなる。なお、入力訓練画像は、前述した擾乱モデルＢ−Ｓｐｌｉｎｅを用いて、出力訓練画像から数値計算的に生成される。その際、擾乱強度として前述した変形ベクトルの分散を用いる。また、ネットワーク構造８００にはその出力部分に全結合ネットワークがないため、任意サイズの訓練画像を用いることができる。本実施例では、実施例１と同様に、入出力訓練画像サイズは５０×５０画素を用いる。また、擾乱強度に応じて入力訓練画像の枚数（フレーム数）を決定することができる。本実施例では、簡単のため、擾乱強度によらずフレーム数は１１フレームである。

入力画像は、訓練入力画像と同じ条件（光学系の光学条件、イメージセンサの画素ピッチ、フレームレート）で取得したと見なせる画像を用いる。このため、フレームレートに関して調整は行っていない。なお、入力画像サイズは４００×４００画素、８０フレームである。また出力画像サイズは、入力画像サイズと同じである。また、全ての画像はモノクロ画像であり、画素値は［０ １］の範囲になるように規格化されている。

学習は、前述と同様に、最適化法としてＡｄａｍ法を用いたＳＧＤである。Ａｄａｍ法のパラメータは、α＝１０^−４、β_１＝０．９、β_２＝０．９９９、ε＝１０^−８である。ＳＧＤは、訓練画像全枚数７６８００枚から、ランダムに１２８枚選択して用いる。学習の反復回数は、１８×１０^４回（３００エポック）である。ネットワークパラメータ（フィルタおよびバイアス）の初期値は、全ての層でＸａｖｉｅｒ（非特許文献３参照）を用いる。なお、測定部１０３へ入力する入力画像と入力訓練画像のサイズやフレーム数は一例であり、本発明はこれに限定されるものではない。また、測定部１０３から出力される出力画像と出力訓練画像のサイズやフレーム数は一例であり、本発明はこれに限定されるものではない。

図９は、本実施例における数値計算結果を定性的に示す図であり、擾乱補正結果を示す。図９（ａ）は擾乱で劣化した画像（入力画像）の１フレーム、図９（ｂ）は擾乱を補正した（出力画像）の対応する１フレームである。なお、各図の下には、分かり易さのため、各図の一断面を時間方向に積層した図を併せて示している。これより、断面図のゆらぎが緩やかになっていることから、擾乱が適切に補正されていることが定性的に分かる。

図１０は、本実施例における数値計算結果を定量的に示す図であり、擾乱で劣化した画像（入力画像）と、擾乱を補正した画像（出力画像）の擾乱強度を、本実施例により測定した結果を示す。なお、擾乱強度の測定には、実施例１で説明した方法を用いる。入力画像よりも出力画像の擾乱強度のほうが小さくなっていることから、擾乱が適切に補正されていることが定量的に分かる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、高精度に擾乱の強度を測定可能な画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 画像処理装置
１０１ 画像取得部
１０２ パラメータ取得部
１０３ 測定部

Claims (21)

1. 擾乱により劣化した時間的に異なる複数の画像を取得する画像取得部と、
   学習済みのネットワークパラメータを取得するパラメータ取得部と、
   前記ネットワークパラメータとニューラルネットワークとを用いて、前記複数の画像から前記擾乱の強度を測定する測定部と、を有することを特徴とする画像処理装置。
2. 前記擾乱の強度は、時間的または空間的な画素値の散布度であることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像取得部は、前記複数の画像の撮影条件を取得することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮影条件は、撮影に用いられた光学系の光学条件、撮影に用いられた撮像素子の画素ピッチ、または、フレームレートであることを特徴とする請求項３に記載の画像処理装置。
5. 前記ネットワークパラメータは、時間的に異なる複数の第１の画像群と前記複数の第１の画像群に対して既知の擾乱の強度により劣化させた複数の第２の画像群との組からなる訓練画像群を用いた学習により生成されていることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記パラメータ取得部は、前記複数の画像の撮影条件に基づいて、取得する前記ネットワークパラメータを決定することを特徴とすることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記ニューラルネットワークは、
   第１のネットワークパラメータと少なくとも２層以上の第１の畳み込みニューラルネットワーク（ＣＮＮ）とを用いて、前記複数の画像を第１の特徴量に変換するメイン部と、
   第２のネットワークパラメータと第２のＣＮＮとを用いて、前記複数の画像を第２の特徴量に変換する入力部と、
   前記第１の特徴量と前記第２の特徴量とを加算して第３の特徴量を生成し、第３のネットワークパラメータと第３のＣＮＮとを用いて前記第３の特徴量を第４の特徴量に変換する変換部と、
   第４のネットワークパラメータと全結合ニューラルネットワークとを用いて、前記第４の特徴量から前記擾乱の強度を出力する出力部と、を有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記測定部は、前記複数の画像の撮影条件に基づいて、測定に用いるための前記複数の画像のサイズを決定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記測定部は、前記複数の画像を時間的または空間的に補間または間引きすることにより、前記複数の画像のサイズを調整することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記測定部は、前記複数の画像の各々から前記複数の画像の平均画像を減算することにより、複数の入力画像を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記測定部は、前記複数の画像から、時間的に隣り合う２枚の画像の差分画像を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 前記測定部は、前記複数の画像の複数箇所において前記擾乱の強度を測定し、最終的な擾乱の強度を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記擾乱の強度は、Ｂ−Ｓｐｌｉｎｅに基づく擾乱モデルにおいて、画像における制御点に乱数で与える変形量の正規乱数の分散であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記擾乱の強度に基づいて前記複数の画像を補正する補正部を更に有することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記補正部は、
    学習済みの第５のネットワークパラメータと少なくとも２層以上の第５の畳み込みニューラルネットワーク（ＣＮＮ）とを用いて、前記複数の画像を第５の特徴量に変換するメイン部と、
    学習済みの第６のネットワークパラメータと第６のＣＮＮとを用いて、前記複数の画像を第６の特徴量に変換する入力部と、
    前記第５の特徴量と前記第６の特徴量とを加算して第７の特徴量を生成し、学習済みの第７のネットワークパラメータと第７のＣＮＮとを用いて前記第７の特徴量を出力画像へ変換する出力部と、を有することを特徴とする請求項１４に記載の画像処理装置。
16. 前記補正部は、測定部により測定された前記擾乱の強度に基づいて、補正に用いる前記複数の画像の数を決定することを特徴とする請求項１４または１５に記載の画像処理装置。
17. クライアント装置と、
    前記クライアント装置にネットワークを介して接続されているサーバ装置と、を有する画像処理システムであって、
    前記クライアント装置は、擾乱により劣化した時間的に異なる複数の画像を前記サーバ装置へ出力する画像出力部を有し、
    前記サーバ装置は、
    学習済みのネットワークパラメータを取得するパラメータ取得部と、
    前記ネットワークパラメータとニューラルネットワークとを用いて、前記複数の画像から前記擾乱の強度を測定する測定部と、
    前記擾乱の強度を前記クライアント装置へ出力する擾乱強度出力部と、を有することを特徴とする画像処理システム。
18. 撮像素子と、
    請求項１乃至１６のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
19. 擾乱により劣化した時間的に異なる複数の画像を取得する画像取得ステップと、
    学習済みのネットワークパラメータを取得するパラメータ取得ステップと、
    前記ネットワークパラメータとニューラルネットワークとを用いて、前記複数の画像から前記擾乱の強度を測定する測定ステップと、を有することを特徴とする画像処理方法。
20. 請求項１９に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
21. 請求項２０に記載のプログラムを記憶していることを特徴とする記憶媒体。