JP2021526678A - 画像処理方法、装置、電子装置及び記憶媒体 - Google Patents

Abstract

本出願の実施形態は、画像処理方法、装置、電子装置及び記憶媒体を開示する。画像処理方法は、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定するステップと、その中において、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定するステップと、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行するステップと、を含み、画像処理における適応的ホワイトニング操作を実現し、画像処理効果を向上させることができる。【選択図】図１

Description

本出願は、中国特許庁に提出された中国特許出願の優先権を主張し、出願日は２０１９年３月３０日であり、出願番号はＣＮ２０１９１０２５３９３４．９であり、発明の名称は「画像処理方法、装置、電子装置及び記憶媒体」でり、且つ参照のためそれらの全文を本出願に組み込む。

本発明は、コンピュータービジョン技術分野に関し、特に、画像処理方法、装置、電子装置及び記憶媒体に関する。

畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮ）は、コンピュータービジョン分野の主流の方法になっている。異なるコンピュータービジョンタスクについて、研究者たちは異なる標準化（ｎｏｒｍａｌｉｚａｔｉｏｎ）及びホワイトニング（ｗｈｉｔｅｎｉｎｇ）方法を開発した。画像の標準化は、平均値を取り除くことによりデータの集中化を実現する処理方式であり、凸最適化理論とデータ確率分布の知識によれば、データの集中化はデータ分布の法則に符合し、トレーニング後の汎化効果をさらに取得し易く、データの標準化はデータ前処理の一般的な方法の１つである。ホワイトニングの目的は、入力データの冗長な情報を削除することである。

コンピュータービジョンタスクにおいて、標準化及びホワイトニングの応用は非常に重要である。現在、画像処理に用いられるさまざまな標準化及びホワイトニングの方法は、それぞれ長所と短所があり、画像処理効果は全面ではなく、畳み込みニューラルネットワークモデルを設計する空間と難易度はさらに高くなる。

本出願の実施形態は、画像処理方法、装置、電子装置及び記憶媒体を提供し、画像登録（Image registration）の精度とリアルタイムを向上させることができる。

第一態様において、本出願の実施形態は画像処理方法を提供する。画像処理方法は、
処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定するステップと、その中において、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、
各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定するステップと、
少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行するステップと、
を含む。

１つの選択的な実施形態において、第一特徴パラメータは平均値ベクトルであり、第二特徴パラメータは共分散行列（ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ）である。

１つの選択的な実施形態において、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行するステップは、ニューラルネットワークによって実行され、
予め設定された処理方法セットにおける１つの処理方法の第一特徴パラメータの重み係数は、以下の方法によって確定される：予め設定された処理方法セットにおけるこの処理方法の第一特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第一制御パラメータの値を利用して正規化された指数関数（ｎｏｒｍａｌｉｚｅｄ ｅｘｐｏｎｅｎｔｉａｌ ｆｕｎｃｔｉｏｎ）に基づいて確定され、
予め設定された処理方法セットにおける１つの処理方法の第二特徴パラメータの重み係数は、以下の方法によって確定される：この処理方法の第二特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第二制御パラメータの値を利用して正規化された指数関数に基づいて確定される。

１つの選択的な実施形態において、予め設定された処理方法セットの各処理方法の第一制御パラメータ及び第二制御パラメータは、次の手順で獲得される：
ニューラルネットワークモデルの逆伝播法に基づいて、トレーニングしようとするニューラルネットワークの損失関数を最小化することにより、トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータに対して共同最適化を実行し；
トレーニングしようとするニューラルネットワークの損失関数が最小になる時の各第一制御パラメータの値をトレーニングされたニューラルネットワークの各第一制御パラメーターの値とし；
トレーニングしようとするニューラルネットワークの損失関数が最小になる時の各第二制御パラメータの値をトレーニングされたニューラルネットワークの各第二制御パラメーターの値とする。

１つの選択的な実施形態において、ニューラルネットワークモデルの逆伝播法に基づいて、トレーニングしようとするニューラルネットワークの損失関数を最小化することにより、トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータに対して共同最適化を実行することは、
トレーニングしようとするニューラルネットワークは、予め設定された処理方法セットの各処理方法の第一特徴パラメータの加重平均及び各処理方法の第二特徴パラメータの加重平均に基づいて、トレーニング用の画像データに対してホワイトニング処理を実行し、且つ予測結果を出力することと、その中において、予め設定された処理方法セットの第一処理方法の第一制御パラメータの初期値は第一プリセット値であり、予め設定された処理方法セットの第一処理方法の第二制御パラメータの初期値は第二プリセット値であり、
トレーニングしようとするニューラルネットワークから出力された予測結果及びトレーニング用の画像データの注釈結果に基づいて、ニューラルネットワークの損失関数を確定することと、
トレーニングしようとするニューラルネットワークの損失関数に基づいて、トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータを調整することと、
を含む。

１つの選択的な実施形態において、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行することは、
少なくとも２つの第一特徴パラメータの加重平均、少なくとも２つの第二特徴パラメータの加重平均及び処理しようとする画像データのチャネル数、高さ及び幅に基づいて、処理しようとする画像データの中の各画像データに対してホワイトニング処理を実行することを含む。

１つの選択的な実施形態において、標準化方法は、バッチ標準化方法、インスタンス標準化方法、レイヤ標準化方法の中の少なくとも１つを含む。

１つの選択的な実施形態において、ホワイトニング方法は、バッチホワイトニング方法、インスタンスホワイトニング方法の中の少なくとも１つを含む。

第二態様において、本出願の実施形態は画像処理装置を提供する。画像処理装置は、確定モジュールと、重み付けモジュールと、ホワイトニング処理モジュールと、を含み、
確定モジュールは、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定するために用いられ、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、
重み付けモジュールは、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定するために用いられ、
ホワイトニング処理モジュールは、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行するために用いられる。

１つの選択的な実施形態において、第一特徴パラメータは平均値ベクトルであり、第二特徴パラメータは共分散行列である。

１つの選択的な実施形態において、ホワイトニング処理モジュールの機能はニューラルネットワークによって実行され、
予め設定された処理方法セットにおける１つの処理方法の第一特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第一制御パラメータの値を利用して正規化された指数関数（ｎｏｒｍａｌｉｚｅｄ ｅｘｐｏｎｅｎｔｉａｌ ｆｕｎｃｔｉｏｎ）に基づいて確定され、
この処理方法の第二特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第二制御パラメータの値を利用して正規化された指数関数に基づいて確定される。

１つの選択的な実施形態において、第二態様において、本出願の実施形態に係わる画像処理装置はトレーニングモジュールをさらに含み、第一制御パラメータ及び第二制御パラメータはトレーニングモジュールがニューラルネットワークをトレーニングする時に獲得する。トレーニングモジュールは、
ニューラルネットワークモデルの逆伝播法に基づいて、ニューラルネットワークの損失関数を最小化することにより、第一制御パラメータ、第二制御パラメータ及びニューラルネットワークのネットワークパラメータに対して共同最適化を実行し、
ニューラルネットワークの損失関数が最小になる時の第一制御パラメータの値をニューラルネットワークの第一制御パラメーターの値とし、
ニューラルネットワークの損失関数が最小になる時の第二制御パラメータの値をニューラルネットワークの第二制御パラメーターの値とするために用いられる。

１つの選択的な実施形態において、トレーニングモジュールは、具体的に、
トレーニングしようとするニューラルネットワークに予め設定された処理方法セットの各処理方法の第一特徴パラメータの加重平均及び各処理方法の第二特徴パラメータの加重平均に基づいて、トレーニング用の画像データに対してホワイトニング処理を実行し、且つ予測結果を出力し、その中において、予め設定された処理方法セットの第一処理方法の第一制御パラメータの初期値は第一プリセット値であり、予め設定された処理方法セットの第一処理方法の第二制御パラメータの初期値は第二プリセット値であり、
トレーニングしようとするニューラルネットワークから出力された予測結果及びトレーニング用の画像データの注釈結果に基づいて、ニューラルネットワークの損失関数を確定し、
トレーニングしようとするニューラルネットワークの損失関数に基づいて、トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータを調整するために用いられる。

１つの選択的な実施形態において、ホワイトニング処理モジュールは、具体的に、
少なくとも２つの第一特徴パラメータの加重平均、少なくとも２つの第二特徴パラメータの加重平均及び処理しようとする画像データのチャネル数、高さ及び幅に基づいて、処理しようとする画像データの中の各画像データに対してホワイトニング処理を実行するために用いられる。

１つの選択的な実施形態において、標準化方法は、バッチ標準化方法、インスタンス標準化方法、レイヤ標準化方法の中の少なくとも１つを含む。

１つの選択的な実施形態において、ホワイトニング方法は、バッチホワイトニング方法、インスタンスホワイトニング方法の中の少なくとも１つを含む。

第三態様において、本出願の実施形態は電子装置を提供する。電子装置はプロセッサ及びメモリを含み、メモリは１つ又は複数のプログラムを格納するために用いられ、１つ又は複数のプログラムはプロセッサによって実行されるように構成され、プログラムは本出願の実施形態の第一態様の任意の方法で説明されたステップの一部又は全部を実行させる。

第四態様において、本出願の実施形態はコンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、電子データ交換用コンピュータプログラムを格納するために用いられ、コンピュータプログラムは、コンピュータに本出願の実施形態の第一態様の任意の方法で説明されたステップの一部又は全部を実行させる。

第五態様において、本出願の実施形態は命令を含むコンピュータプログラム製品を提供し、それがコンピュータ上で実行されるとき、コンピュータに上述した第一態様及びその任意の可能な実現方法を実行させる。

本出願の実施形態は、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定し、その中において、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定し、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行し、単独で使用される一般的な標準化方法及びホワイトニング方法と比較して、各方法の利点を組み合わせて画像処理効果を向上させることができる。

図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示に符合する実施例を示し、且つ明細書とともに本開示の技術的解決策を説明する。
図１は、本発明の実施形態に係わる画像処理方法のフローチャートである。 図２は、本発明の実施形態に係わる制御パラメータトレーニング方法のフローチャートである。 図３は、本発明の実施形態に係わる異なる標準化層のスタイル変換の可視化図である。 図４は、本発明の実施形態に係わる画像処理装置の構造を示す概略図である。 図５は、本発明の実施形態に係わる電子装置の構造を示す概略図である。

当業者が本発明をよりよく理解できるように、以下、本出願の実施形態の添付図面を参照しながら、本出願の実施形態の技術的方案を明確且つ完全に説明する。明らかに、説明された実施形態は、本発明の実施形態の一部にすぎず、すべての実施形態ではない。創造的な努力なしに本発明の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本発明の保護範囲に含まれる。

本発明の明細書、特許請求の範囲及び図面で使用される用語「第一」、「第二」などは、特定の順序を説明するために用いられなく、異なる対象を区別するために用いられる。用語「含む」、「有する」及びそれらの変形は、非排他的包含を網羅することを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品、又は装置は、リストされたステップ又はユニットに限定されず、選択的に、リストされていない他のステップ又はユニットを含むことができ、又は、選択的に、これらのプロセス、方法、製品、又はデバイスに固有する他のステップ又はユニットを含むことができる。

本明細書で言及される「実施形態」という用語は、実施形態に関連して説明される特定の特徴、構造、又は特性が本発明の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の各々の場所に現れるこの用語は、必ず同じ実施形態を指すものではなく、他の実施形態と相互に排他的な独立した又は代替実施形態を指すものでもない。本明細書に記載された実施形態は他の実施形態と組み合わせることができることは、当業者によって明示的および暗黙的に理解される。

本出願の実施形態に係わる画像処理装置は、複数の他の端末装置がアクセスすることを可能にすることができる。上述した画像処理装置は、端末装置を含む電子装置であることができる。具体的な実施形態において、上述した端末装置はタッチ敏感表面（例えば、タッチスクリーンディスプレイ及び/又はタッチパネル）を有する携帯電話、ラップトップコンピュータ又はタブレットコンピューターなどのような他のポータブルデバイスを含むが、これらに限定されない。いくつかの実施形態において、上述した装置は携帯通信装置ではなく、タッチ敏感表面（例えば、タッチスクリーンディスプレイ及び/又はタッチパネル）を有するデスクトップコンピュータであることを理解されるべきである。

本出願の実施形態におけるディープラーニングの概念は、人工ニューラルネットワークの研究に由来する。複数の隠れ層を含む多層パーセプトロン（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ，ＭＬＰ）は、一種のディープラーニング構造である。ディープラーニングは、低レベルの特徴を組み合わせてより抽象的な高レベルの表現属性カテゴリ又は特徴を形成することにより、データの分散特性表現を発見する。

ディープラーニングは、機械学習におけるデータの特性化学習に基づく方法である。観測値（１つの画像など）は、さまざまな方法で表すことができ、例えば、各ピクセルの強度値のベクトル、又はより抽象的に一連のエッジ、特定の形状の領域などに表すこともできる。特定の表現方法（例えば、顔認識や表情認識）を使用して、インスタンスからタスクを学習する方が簡単である。ディープラーニングの利点は、非監督式又は半監督式の特徴学習及び階層的特徴抽出の効率的なアルゴリズムを使用して、手動的に特徴を取得することを取り替えることである。ディープラーニングは、機械学習研究の新しい分野であり、その動機は、人間の脳が分析したり学習したりするニューラルネットワークを確立、真似ることであり、人間の脳のメカニズムを模倣して画像、音声、テキストなどのデータを解釈する。

以下、本出願の実施形態に対して詳細に紹介する。

図１を参照すると、図１は本発明の実施形態に係わる画像処理方法のフローチャートである。図１に示されたように、画像処理方法は、上述した画像処理装置によって実行されることができ、以下のステップを含む。

１０１、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定し、上述した処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、上述した処理しようとする画像データは少なくとも１つの画像データを含む。

画像データの標準化（ｎｏｒｍａｌｉｚａｔｉｏｎ）は正規化とも呼ばれ、データマイニングの基本的な作業である。異なる評価指標は、しばしば異なる次元（ｄｉｍｅｎｓｉｏｎ）及び次元単位を有し、このような状況はデータ分析結果に影響する。指標間の次元の影響を排除するために、データ標準化処理を行うことを必要として、データ指標間の比較可能性を解決する。元のデータがデータ標準化処理を行ってから、各指標は同じ数量級にあり、総合的な比較評価に適合する。

画像の最終的なイメージングは、周辺光の強度、オブジェクトの反射、カメラの撮影などの多い要因の影響を受ける。画像に含まれた外界の影響を受けない一定の情報を取得するために、画像に対してホワイトニング処理することを必要があります。

本出願の実施形態で言及されたのホワイトニング（ｗｈｉｔｅｎｉｎｇ）は、露出オーバー又は露出不足の画像を処理するために用いられることができる。一般的に、これらの要因の影響を取り除くために、処理方法は一般的に画像の平均画素値を０に変更し、画像の分散（Ｖａｒｉａｎｃｅ）を単位分散１に変更し、具体的に平均値ベクトル及び共分散行列によって実現することができ、即ちピクセル値をゼロ平均値と単位分散に変換する。

異なるコンピュータービジョンタスクに対して、研究者たちは異なる標準化方法及びホワイトニング（ｗｈｉｔｅｎｉｎｇ）方法を開発した。例えば、バッチ標準化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）及びバッチホワイトニング（ｂａｔｃｈ ｗｈｉｔｅｎｉｎｇ）は画像分類、物体検出などの任務に応用され、インスタンス標準化（ｉｎｓｔａｎｃｅ ｎｏｒｍａｌｉｚａｔｉｏｎ）及びインスタンスホワイトニング（ｉｎｓｔａｎｃｅ ｗｈｉｔｅｎｉｎｇ）は画像スタイルの変換と画像生成に応用され、レイヤー標準化（ｌａｙｅｒ ｎｏｒｍａｌｉｚａｔｉｏｎ）はリカレントニューラルネットワークに応用される。

便利に説明するために、本出願の実施形態におけるバッチホワイトニング、インスタンスホワイトニング、バッチ標準化、インスタンス標準化及びレイヤー標準化は、それぞれｂｗ、ｉｗ、ｂｎ、ｉｎ及びｌｎと略称される。

本出願の実施形態において、上述した処理方法セットを予め設定することができ、処理方法セットに含まれるホワイトニング方法及び標準化方法は、処理しようとする画像データに基づいて、上述した処理方法セットを選択・設定することができ、例えば、バッチ標準化、バッチホワイトニング、インスタンス標準化、インスタンスホワイトニング及びレイヤー標準化を含むことができ、それらの一部のみを含むこともできるが、ホワイトニング方法及び標準化方法の中の少なくとも二種の方法を含むことを必要とする。

先ず、処理しようとする画像データ及び予め設定された処理方法セットの各処理方法に基づいて各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定し、即ち加重平均に用いられる特徴パラメータを獲得する。

本出願の実施形態のステップは、トレーニングされた畳み込みニューラルネットワークに基づいて実現することができる。畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮ）は、畳み込み計算を含み且つディープ構造（ｄｅｅｐ ｓｔｒｕｃｔｕｒｅ）を有するフィードフォワードニューラルネットワーク（Ｆｅｅｄｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）の一種であり、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）の代表的なアルゴリズムの一種であうる。

ステップ１０１において、各処理方法の計算式に基づいて、各処理方法の第一特徴パラメータ及び第二特徴パラメータを獲得することができる。ここで、処理方法セットには少なくとも２つの処理方法が含まれているので、獲得した第一特徴パラメータ及び第二特徴パラメータはいずれも少なくとも２つである。画像のホワイトニング又は画像の標準化に対して、出力される第一特徴パラメータは平均値ベクトルであることができ、第二特徴パラメータは共分散行列であることができる。即ち、画像処理装置は、処理しようとする画像データの少なくとも２つの平均値ベクトルと少なくとも２つの共分散行列を得ることができ、２つのパラメータは、画像データ及び予め設定された処理方法に基づいて計算して獲得される。

平均値ベクトルの加重平均は

であり、その中において、Ωは処理方法セットであり、ω_ｋは第一重み係数であり、μ_ｋは処理方法セットの各処理方法の平均値ベクトルであり、
共分散行列の加重平均は

であり、その中において、Ωは処理方法セットであり、ω_ｋ′は第二重み係数であり、Σ_ｋは共分散行列である。

１つの選択的な実施形態において、予め設定された処理方法セットはバッチホワイトニング処理を含むことができ、バッチホワイトニング処理の第一特徴パラメータ及び第二特徴パラメータの計算式は、

を含み、
その中において、μ_ｂｗはこの方法の第一特徴パラメータ（平均値ベクトル）であり、Σ_ｂｗはこの方法の第二特徴パラメータ（共分散行列）であり、Ｘは処理しようとする画像データの中のバッチ画像データであり、

、Ｎは画像データの数量であり、１は要素がすべて１である列ベクトルであり、Ｉは単位行列であり、単位行列の対角要素は１であり、残りは０であり、εは正数である。

具体的には、εは小さな正数であることができ、特異な共分散行列が出現することを防止するために用いられる。バッチホワイトニングとは、バッチデータをホワイトニングすることであり、即ち、

である。

１つの選択的な実施形態において、上述した処理方法はインスタンスホワイトニング処理を含むことができ、インスタンスホワイトニング処理の第一特徴パラメータ及び第二特徴パラメータの計算式は、

を含み、
その中において、μ_ｉｗはこの方法の第一特徴パラメータ（平均値ベクトル）であり、Σ_ｉｗはこの方法の第二特徴パラメータ（共分散行列）であり、１は要素がすべて１である列ベクトルであり、Ｉは単位行列であり、εは正数である。

具体的には、インスタンスホワイトニングは、単一の画像データをホワイトニングすることであり、即ち、

である。

バッチ標準化は、バッチ正規化とも呼ばれ、人工ニューラルネットワークの性能と安定性を向上させるために用いられる技術である。これは、ニューラルネットワークの任意の層にゼロ平均値/単位分散入力を提供する技術である。バッチ標準化は、センター（ｃｅｎｔｅｒ）及びスケール（ｓｃａｌｅ）の操作によって、バッチデータ全体の平均値と分散をそれぞれ０と１にする。従って、平均値はバッチホワイトニングと同じであり、即ち、μ_ｂｎ＝μ_ｂｗである。なお、バッチ標準化はホワイトニングなしにデータの分散で除算すればよく、共分散行列は対角要素のみを保留すればよく、即ち、

であり、その中において、diag（）は対角要素を保留し、 非対角要素を０に設定する。

同様に、インスタンス標準化は単一の画像データを処理し、μ_ｉｎ＝μ_ｉｗ、

である。

レイヤー標準化は、単一の画像データの全てのチャネルの平均値と分散を使用して標準化し、μ_lnとσ_lnを平均値と分散とすると、μ_ln＝μ_ln１、Σ_ln＝σ_lnＩである。

第一特徴パラメータ及び第二特徴パラメータを獲得した後、ステップ１０２を実行することができる。

１０２、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定する。

本出願の実施形態において、画像処理装置は上述した重み係数を記憶することができ、少なくとも２つの第一特徴パラメータ及び少なくとも２つの第二特徴パラメータを獲得してから、各第一特徴パラメータの重み係数に基づいて少なくとも２つの第一特徴パラメータの加重平均を確定し、各第二特徴パラメータの重み係数に基づいて少なくとも２つの第二特徴パラメータの加重平均を確定する。

１つの選択的な実施形態において、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行するステップは、ニューラルネットワークによって実行される。重み係数とは、数学において、合計における特定の数量の重要性を示すために、それぞれ異なる比例係数が与えられることを意味する。

１つの選択的な実施形態において、予め設定された処理方法セットにおける１つの処理方法の第一特徴パラメータの重み係数は、以下の方法によって確定される：
予め設定された処理方法セットにおけるこの処理方法の第一特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第一制御パラメータの値を利用して正規化された指数関数（ｎｏｒｍａｌｉｚｅｄ ｅｘｐｏｎｅｎｔｉａｌ ｆｕｎｃｔｉｏｎ）に基づいて確定される。

１つの選択的な実施形態において、予め設定された処理方法セットにおける１つの処理方法の第二特徴パラメータの重み係数は、以下の方法によって確定される：
この処理方法の第二特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第二制御パラメータの値を利用して正規化された指数関数に基づいて確定される。

その中において、予め設定された処理方法セットの各処理方法の第一制御パラメータ及び第二制御パラメータは、ニューラルネットワークの各々の第一制御パラメータ及び第二制御パラメータである。

具体的には、正規化された指数関数（Ｓｏｆｔｍａｘ関数）に基づいて正規化変換を実行することができ、Ｓｏｆｔｍａｘ関数は、実際には有限アイテムの離散確率分布の勾配対数正規化である。本出願の実施形態において、制御パラメータは、本質的に、異なる処理方法によって計算された統計量（平均値ベクトル又は共分散行列）が占める割合である。

選択的には、上述した第一制御パラメータ及び第二制御パラメータは、ニューラルネットワークの確率的勾配降下（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ，ＳＧＤ）アルゴリズム及び/又は逆伝播（Ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ，ＢＰ）アルゴリズムに基づいて学習して獲得することができる。

逆伝播アルゴリズムは、多層ニューラルネットワークに適合する学習アルゴリズムであり、勾配降下法に基づく。逆伝播アルゴリズムは、入力に対するネットワークの応答が所定のターゲット範囲に達するまで、２つの段階（インセンティブ伝播、重み更新）が反復ループ（Ｉｔｅｒａｔｉｖｅ ｌｏｏｐ）する。ＢＰアルゴリズムの学習過程は、順方向伝播過程と逆方向伝播過程で構成される。順方向伝播過程において、出力層が期待する出力値を得られない場合、出力と期待誤差の二乗の合計を取って目的関数としてから、逆伝播に変換され、各ニューロンの重みに対する目的関数の偏微分（Ｐａｒｔｉａｌ ｄｅｒｉｖａｔｉｖｅ）を層ごとに計算し、重みベクトルに対する目的関数の勾配を構成し、重みを変更するための基礎として、重みの変更プロセスでネットワークの学習が完了し、誤差が期待値に達すると、ネットワークの学習が終了する。

上述した加重平均を取得した後、ステップ１０３を実行することができる。

１０３、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行する。

ホワイトニング処理は、処理方法セットの各処理方法の平均値ベクトルの加重平均及び各処理方法の共分散行列の加重平均を計算することにより、加重平均後に得られる平均値ベクトルと共分散行列をホワイトニング処理のパラメータとして、処理しようとする画像データをホワイトニングすることであると理解されることができ、従って異なる処理方法の組み合わせを実現し、ニューラルネットワークをトレーニングすることにより、各方法の重み（上記の重み係数）を得ることができる。

なお、処理しようとする画像データに１つ以上の画像データが含まれ、予め設定された処理方法セットに異なる処理方法が含まれる場合、異なる画像データの処理方法も異なる場合がある。例えば、予め設定された処理方法セットにバッチホワイトニング方法とバッチ標準化方法が含まれる場合、各小バッチの画像データの平均値ベクトルの加重平均は同じであり、各小バッチの画像データの共分散行列の加重平均は同じであり、処理しようとする画像データに対してホワイトニング処理を行うことは、バッチホワイトニング方法と類似な方法で各小バッチの画像データを処理することであると理解することができる。予め設定された処理方法セットにバッチホワイトニング方法とインスタンスホワイトニング方法が含まれる場合、各画像データの平均値ベクトルの加重平均は異なり、各画像データの共分散行列の加重平均も異なり、処理しようとする画像データに対してホワイトニング処理を行うことは、インスタンスホワイトニング方法と類似な方法で単一の画像データを処理することであると理解することができる。

１つの選択的な実施形態において、少なくとも２つの第一特徴パラメータの加重平均、少なくとも２つの第二特徴パラメータの加重平均及び処理しようとする画像データのチャネル数、高さ及び幅に基づいて、処理しようとする画像データの中の各画像データに対してホワイトニング処理を実行することができる。

畳み込みニューラルネットワークにおいて、データは通常４次元で保存され、

はバッチ画像データであり、Ｎ、Ｃ、Ｈ、Ｗはそれぞれ画像データ数、チャネル数、高さ、幅を表す。便利に説明するために、Ｎ、Ｈ、Ｗの３次元は、ここの説明では１次元と見なされる。

はバッチ画像データの中のｎ番目の画像データ（トレーニングプロセスはサンプルデータとして理解できる）であり、この画像データに対するホワイトニング操作は次のように表すことができ、

μとΣは、画像データから計算された平均値ベクトルと共分散行列である。１は要素がすべて１である列ベクトルであり、異なるホワイトニング方法と標準化方法は、異なるセットを使用してμとΣを計算することができる。例えば、バッチホワイトニングとバッチ標準化に対して、各バッチ画像データを使用してμとΣを計算し、レイヤー標準化、インスタンス標準化及びインスタンスのホワイトニングに対して、各画像データを使用してμとΣを計算する。

さらに、上述したＳＷ（Ｘ_ｎ）の中の共分散行列の負の平方根は、零位相成分分析（Ｚｅｒｏ-ｐｈａｓｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ，ＺＣＡ）又は主成分分析（ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ，ＰＣＡ）ホワイトニングによって取得することができる。好ましくは、ＺＣＡホワイトニングによって取得し、即ち：

であり、
その中において、Λ＝ｄｉａｇ（σ_１，…，σ_ｌ）及びＤ＝［ｄ_１，…，ｄ_ｌ］はΣの特徴値と特徴ベクトルであり、即ち、Σ＝ＤΛＤ^Γであり、これは、特徴分解（Ｅｉｇｅｎ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）によって取得することができる。

上記の特徴分解はスペクトル分解（Ｓｐｅｃｔｒａｌ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）とも呼ばれる。これは、行列をその特徴値と特徴ベクトルで表される行列の積に分解する方法である。

具体的には、ＰＣＡホワイトニングはデータの各次元の分散が１であることを保証し、ＺＣＡホワイトニングはデータの各次元の分散が同じであることを保証する。ＰＣＡホワイトニングは次元削減又は相関性除去に使用できるが、ＺＣＡホワイトニングは主に相関性除去に使用され、ホワイトニングされたデータができるかぎり元の入力データに近くなることにする。

ステップ１０２で得られたものは、最終的なホワイトニング処理に使用されるターゲット平均値ベクトルとターゲット共分散行列であり、各画像データに対応する異なるホワイトニング方法と標準化方法の特徴パラメータは加重平均計算によって獲得し、次に、ターゲット平均値ベクトルとターゲット共分散行列に基づいて、ホワイトニング処理を実現することができる。

具体的には、処理しようとする画像データをホワイトニングする式は次のとおりである：

；

Ｘ_ｎは処理しようとする画像データの中のn番目の画像データであり、

であり、その中において、

は加重平均計算後に得られる平均値ベクトルであり、

は加重平均計算後に得られる共分散行列であり、Ｃ、Ｈ、Ｗは、それぞれ画像データのチャンネル数、高さ、幅である。

１つのアプリケーションシナリオでは、予め設定された処理方法セットにバッチホワイトニング方法とバッチ標準化方法が含まれ、処理しようとする画像データは１つ以上の画像データを含む場合、各小バッチの画像データの平均値ベクトルの加重平均

は同じであり、異なるバッチの画像データの平均値ベクトルの加重平均

は異なり、各小バッチの画像データの共分散行列の加重平均

は同じであり、異なるバッチの画像データの共分散行列の加重平均

は異なり、処理しようとする画像データに対してホワイトニング処理を行うことは、各小バッチの画像データの平均値ベクトルの加重平均

と共分散行列の加重平均

をそれぞれバッチホワイトニング方法の平均値ベクトルと共分散行列として、バッチホワイトニング方法でこのバッチの画像データを処理することであると理解することができる。

別のアプリケーションシナリオでは、予め設定された処理方法セットにバッチホワイトニング方法とバッチ標準化方法の中の少なくとも１つ及びレイヤー標準化方法、インスタンス標準化方法、インスタンスホワイトニング方法の中の少なくとも１つが含まれる場合、各画像データの平均値ベクトルの加重平均

は異なり、各画像データの共分散行列の加重平均

も異なり、処理しようとする画像データに対してホワイトニング処理を行うことは、各画像データの平均値ベクトルの加重平均

と共分散行列の加重平均

をそれぞれインスタンスホワイトニング方法の平均値ベクトルと共分散行列として、インスタンスホワイトニング方法でこの画像データを処理することであると理解することができる。

１つの選択的な実施形態において、処理しようとする画像データは、様々な端末装置で収集した画像データを含み、例えば、自動運転でカメラによって収集された顔画像データ、監視システムで収集された監視画像データ、知能ビデオ分析中に分析されるビデオ画像データ、顔認識製品で収集された顔画像データなどである。具体的には、モバイル端末で美化しようとする写真に対して、上述した方法はモバイル端末にインストールされている美容アプリケーションに応用することができ、画像処理の精度を向上させ、例えば、画像分類、セマンティックセグメンテーション、画像スタイル変換などの方面の性能がさらに優れるようにする。

現在、標準化方法とホワイトニング方法は通常別々に使用されているので、各方法の長所を組み合わせることは困難である。さらに、さまざまな標準化方法とホワイトニング方法は、モデル設計のスペースと難易度を増加する。

本出願の実施形態に係わる画像処理方法は、異なる標準化方法とホワイトニング方法を１つのレイヤーに組み合わせることができ、例えば、バッチ標準化、バッチホワイトニング、インスタンス標準化、インスタンスホワイトニング、レイヤー標準化などの方法を含み、さまざまな標準化とホワイトニング操作の比率を適応的に学習することができ、畳み込みニューラルネットワークとともにエンドツーエンドのトレーニングを実現することができる。

本出願の実施形態において、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定し、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定し、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行し、画像処理過程で様々な処理方法（標準化及び/又はホワイトニング）を組み合わせた操作を実現し、画像処理効果を向上させることができる。

選択的に、１０３はニューラルネットワークによって実行され、このとき、予め設定された処理方法セットにおける１つの処理方法の第一特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第一制御パラメータの値を利用して正規化された指数関数に基づいて確定され；予め設定された処理方法セットにおける１つの処理方法の第二特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第二制御パラメータの値を利用して正規化された指数関数に基づいて確定される。

１つの選択的な実施形態において、１つの処理方法の第一特徴パラメータの重み係数ω_ｋの計算式は以下のとおりであり、

、

その中において、λ_ｋは第一制御パラメータであり、Ωは処理方法セットであり、例えば、Ω＝｛ｂｗ，ｉｗ，ｂｎ，ｉｎ，ｌｎ}である。

類似的に、１つの処理方法の第一特徴パラメータの重み係数ω_ｋ′の計算式は、以下のとおりであり、

、

その中において、λ_ｋ′は第二制御パラメータであり、Ωは処理方法セットである。

選択的に、予め設定された処理方法セットの各処理方法の第一制御パラメータ及び第二制御パラメータ（ニューラルネットワークの各々の第一制御パラメータ及び第二制御パラメータである）は、図２に示された方法で獲得する。

２０１、ニューラルネットワークモデルの逆伝播法に基づいて、トレーニングしようとするニューラルネットワークの損失関数を最小化することにより、トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータに対して共同最適化を実行する。

本出願の実施形態において、制御パラメータは、本質的に、異なる処理方法によって計算された統計量（平均値ベクトル又は共分散行列）が占める割合である。選択的には、制御パラメータは、ニューラルネットワークのトレーニングプロセスにおいて、畳み込みニューラルネットワークの確率的勾配降下（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ，ＳＧＤ）アルゴリズム及び逆伝播（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ，ＢＰ）アルゴリズムに基づいて学習して獲得することができる。

ニューラルネットワークのトレーニングプロセスは次のとおりである：
トレーニングしようとするニューラルネットワークは、予め設定された処理方法セットの各処理方法の第一特徴パラメータの加重平均及び各処理方法の第二特徴パラメータの加重平均に基づいて、トレーニング用の画像データに対してホワイトニング処理を実行し、且つ予測結果を出力し、
トレーニングしようとするニューラルネットワークから出力された予測結果及びトレーニング用の画像データの注釈結果に基づいて、ニューラルネットワークの損失関数を確定し、
トレーニングしようとするニューラルネットワークの損失関数に基づいて、トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータを調整する。

その中において、予め設定された処理方法セットの第一処理方法の第一制御パラメータの初期値は第一プリセット値であり、予め設定された処理方法セットの第一処理方法の第二制御パラメータの初期値は第二プリセット値である。具体的には、畳み込みニューラルネットワークがトレーニングを開始する前に、第一制御パラメーターの初期値と第二制御パラメーターの初期値を予め設定することができ、例えば、第一プリセット値と第二プリセット値は両方とも１である。ニューラルネットワークがトレーニングを開始する時、第一処理方法の第一制御パラメータの初期値に基づいて、第一処理方法の第一特徴パラメータの重み係数を計算することができ、第一処理方法の第二制御パラメータの初期値に基づいて、第一処理方法の第二特徴パラメータの重み係数を計算することができ、従って、トレーニングの開始時に各処理方法の第一特徴パラメータの加重平均及び各処理方法の第二特徴パラメータの加重平均を計算することができ、さらにニューラルネットワークのトレーニングを開始する。その中において、第一処理方法は、予め設定された処理方法セットの中の任意の１つの処理方法であることができる。

ニューラルネットワークのトレーニングプロセスにおいて、ニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータは、損失関数を利用して、確率的勾配降下アルゴリズムと逆伝播アルゴリズムによって絶えずに更新され、損失関数が最小になるまで、上述したトレーニングプロセスを繰り返すことにより、ニューラルネットワークのトレーニングを完成する。

２０２、トレーニングしようとするニューラルネットワークの損失関数が最小になる時の各第一制御パラメータの値をトレーニングされたニューラルネットワークの各第一制御パラメーターの値とし；トレーニングしようとするニューラルネットワークの損失関数が最小になる時の各第二制御パラメータの値をトレーニングされたニューラルネットワークの各第二制御パラメーターの値とする。

トレーニングしようとするニューラルネットワークの損失関数に応じて上記のパラメータを調整し、損失関数が最小になるとき、ニューラルネットワークトレーニングを完了する。トレーニングが完了すると、ニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータを学習・獲得し、テスト又は実際の画像処理応用では、これらのパラメーターは固定されて変化しない。具体的には、ニューラルネットワークトレーニングはフォワード計算と逆方向伝播計算が必要であり、テスト又は実際の画像処理応用ではただフォワード計算することを必要として、画像を入力すると処理結果を得ることができる。

１つの選択的な実施形態において、ニューラルネットワークは、訓練用の画像データと注釈付き結果でトレーニングすることができる。次に、トレーニングされたニューラルネットワークで収集された画像データを処理して、画像内のオブジェクトを識別する。具体的には、異なる標準化方法とホワイトニング方法を統一することができ、畳み込みニューラルネットワークが特定の任務に応じてさまざまな標準化とホワイトニング操作の比率を適応的に学習することにして、各方法の利点を組み合わせることができ、標準化とホワイトニング操作の自動選択が可能になる。

アプリケーションでは、豊富な統計データに基づいて、ソフトウェアは高レベルの視覚タスクだけでなく、画像スタイルの変換などの低レベルの視覚タスクでも機能できる。

図３を参照すると、図３は本発明の実施形態に係わる異なる標準化層のスタイル変換の可視化図である。その中において、人気のあるスタイル変換アルゴリズムを採用して処理しようとする画像に対してスタイル変換を行う。損失ネットワークによって計算されたコンテンツ損失とスタイル損失でトレーニングされた画像様式化ネットワークがあり、異なる画像標準化方法とホワイトニング方法で処理することができる。ＭＳ−ＣＯＣＯデータセットを画像に使用し、選択した処理しようとする画像の画像スタイルはキャンドルライトとスターライトナイトであり、上述したスタイル変換アルゴリズムと同じトレーニング方法に従い、画像スタイルネットワークに異なる標準化レイヤー（バッチ標準化、インスタンスホワイトニング及び本出願の実施形態に係わる画像処理方法）を採用し、即ち、図３の２行目の画像は、異なる処理方法で処理した後の効果図であり、１行目の画像は、同時にスタイル変換を行った後の効果図である。

具体的には、図３に示されたように、バッチ標準化によって生成された画像効果は悪く、インスタンスホワイトニングによって生成された画像効果は比較的良好である。インスタンスホワイトニングと比較すると、本実施形態に係わる画像処理方法は、その処理方法セットにバッチ標準化及びインスタンスホワイトニングが含まれ、両者の比率はニューラルネットワーク学習によって確定され、その画像処理効果が最も良い。本実施形態に係わる画像処理方法は、任務に応じて適切な処理方法を選択して画像を処理することができる。

一般的に、標準化方法とホワイトニングの方法は通常別々に使用され、各方法の長所を組み合わせることは困難である。さらに、さまざまな標準化方法とホワイトニング方法は、ニューラルネットワークモデル設計のスペースと難易度を増加する。特定の標準化方法又はホワイトニング方法のみを使用する畳み込みニューラルネットワークと比較すると、本出願の画像処理はさまざまな標準化とホワイトニング操作の比率を適応的に学習することができ、手動設計の必要性を排除し、各方法の長所を組み合わせることができ、さまざまなコンピュータービジョンタスクにおいて、優れる性能を有する。

１つの選択的な実施形態において、処理しようとする画像データは、様々な端末装置で収集した画像データを含み、例えば、自動運転でカメラによって収集された顔画像データ、監視システムで収集された監視画像データ、知能ビデオ分析中に分析されるビデオ画像データ、顔認識製品で収集された顔画像データなどである。具体的には、モバイル端末で美化しようとする写真に対して、上述した方法はモバイル端末にインストールされている美容アプリケーションに応用することができ、画像処理の精度を向上させ、例えば、画像分類、セマンティックセグメンテーション、画像スタイル変換などの方面の性能がさらに優れるようにする。

実際の応用では、本出願の実施形態に係わる画像処理操作は、畳み込みニューラルネットワークの畳み込みレイヤーに適用でき、畳み込みニューラルネットワークの自己適応型ホワイトニングレイヤー（自己適応型ホワイトニングレイヤーと従来のホワイトニングレイヤーの違いは、自己適応型ホワイトニングレイヤーを有する畳み込みニューラルネットワークは、モデルトレーニング段階でトレーニングデータに基づいてさまざまな標準化及びホワイトニング操作の比率を適応的に学習し、最適な比率を取得できることである）として理解することができ、ネットワークの任意の位置に応用することもできる。

以上は、主に方法実行過程の観点から本出願の実施形態の方案を紹介する。画像処理装置は上述した機能を実現するために、各機能に対応するハードウェア構成及び/又はソフトウェアモジュールを含むことが理解できる。当業者であれば、本明細書の実施形態で説明された各例示のユニット及びアルゴリズムステップを組み合わせて、本発明はハードウェア又はハードウェアとコンピュータソフトウェアの組み合わせの形式で実現できることを容易に理解されるべきである。特定の機能がハードウェアによって実行されるか、それともコンピュータソフトウェアがハードウェアを駆動する方式によって実行されるかは、本技術方案の特定の応用や設計制約条件によって決定される。専門技術者は、特定の応用に応じて異なる方法で記述された機能を実現することができるが、これは本発明の範囲を超えると考えるべきではない。

本出願の実施形態は、上述した方法例に基づいて画像処理装置に対して機能モジュールの分割を実行することができ、例えば、各機能に対応して各機能モジュールを分割することができ、２以上の機能を１つの処理モジュールに統合することもできる。上記の統合モジュールは、ハードウェア又はソフトウェア機能モジュールの形式で実現することができる。本出願の実施形態におけるモジュールの分割は、例示的なものであり、ロジック機能の分割に過ぎず、実際に実現するときに別の分割形態を有してもよいことに留意されたい。

図４を参照すると、図４は本発明の実施形態に係わる画像処理装置の構造を示す概略図である。図４に示されたように、画像処理装置３００は、確定モジュール３１０と、重み付けモジュール３２０と、ホワイトニング処理モジュール３３０と、を含み、
確定モジュール３１０は、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定するために用いられ、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、
重み付けモジュール３２０は、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定するために用いられ、
ホワイトニング処理モジュール３３０は、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行するために用いられる。

選択的に、第一特徴パラメータは平均値ベクトルで、第二特徴パラメータは共分散行列である。

選択的に、ホワイトニング処理モジュール３３０の機能はニューラルネットワークによって実行され、
予め設定された処理方法セットにおける１つの処理方法の第一特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第一制御パラメータの値を利用して正規化された指数関数に基づいて確定され、
この処理方法の第二特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第二制御パラメータの値を利用して正規化された指数関数に基づいて確定される。

選択的に、画像処理装置３００はトレーニングモジュール３４０をさらに含み、第一制御パラメータ及び第二制御パラメータはトレーニングモジュールがニューラルネットワークをトレーニングする時に獲得する。トレーニングモジュール３４０は、
ニューラルネットワークモデルの逆伝播法に基づいて、ニューラルネットワークの損失関数を最小化することにより、第一制御パラメータ、第二制御パラメータ及びニューラルネットワークのネットワークパラメータに対して共同最適化を実行し、
ニューラルネットワークの損失関数が最小になる時の第一制御パラメータの値をニューラルネットワークの第一制御パラメーターの値とし、
ニューラルネットワークの損失関数が最小になる時の第二制御パラメータの値をニューラルネットワークの第二制御パラメーターの値とするために用いられる。

選択的に、トレーニングモジュール３４０は、具体的に、
トレーニングしようとするニューラルネットワークに予め設定された処理方法セットの各処理方法の第一特徴パラメータの加重平均及び各処理方法の第二特徴パラメータの加重平均に基づいて、トレーニング用の画像データに対してホワイトニング処理を実行し、且つ予測結果を出力し、その中において、予め設定された処理方法セットの第一処理方法の第一制御パラメータの初期値は第一プリセット値であり、予め設定された処理方法セットの第一処理方法の第二制御パラメータの初期値は第二プリセット値であり、
トレーニングしようとするニューラルネットワークから出力された予測結果及びトレーニング用の画像データの注釈結果に基づいて、ニューラルネットワークの損失関数を確定し、
トレーニングしようとするニューラルネットワークの損失関数に基づいて、トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータを調整するために用いられる。

選択的に、ホワイトニング処理モジュール３３０は、具体的に、
少なくとも２つの第一特徴パラメータの加重平均、少なくとも２つの第二特徴パラメータの加重平均及び処理しようとする画像データのチャネル数、高さ及び幅に基づいて、処理しようとする画像データの中の各画像データに対してホワイトニング処理を実行するために用いられる。

選択的に、標準化方法は、バッチ標準化方法、インスタンス標準化方法、レイヤ標準化方法の中の少なくとも１つを含む。

選択的に、ホワイトニング方法は、バッチホワイトニング方法、インスタンスホワイトニング方法の中の少なくとも１つを含む。

図４に示された実施形態の画像処理装置３００は、図１及び/又は図２に示された実施形態の方法の一部又はすべてを実行することができる。

図４に示された画像処理装置３００を実施すると、画像処理装置３００は、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定することができ、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定し、それから少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行し、画像処理における適応的ホワイトニング操作を実現し、画像処理効果を向上させることができる。

図５を参照すると、図５は本発明の実施形態に係わる電子装置の構造を示す概略図である。図５に示されたように、電子装置４００はプロセッサ４０１及びメモリ４０２を含み、その中において、電子装置４００はバス４０３をさらに含むことができ、プロセッサ４０１とメモリ４０２はバス４０３を介して互いに接続することができる。バス４０３は、周辺機器相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ，ＰＣＩと略称する）バス又は拡張産業標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＥＩＳＡと略称する）バスなどであることができる。バス４０３は、アドレスバス、データバス、コントロールバスなどに分けることができる。便利に表示するために、図５ではただ１つ太線を使用して表示しているが、バス又はバスのタイプが１つしかないことを意味するものではない。電子装置４００は、さらに入力/出力装置４０４を含むことができ、入力/出力装置４０４は、液晶ディスプレイ画面などのディスプレイ画面を含むことができる。メモリ４０２は、命令を含む１つ又は複数のプログラムを格納するために用いられ、プロセッサ４０１は、メモリ４０２に格納された命令を呼び出して、図１及び図２の実施形態で言及された方法ステップの一部又はすべてを実行するために用いられる。上述したプロセッサ４０１は、図５に示された電子装置４００の各モジュールの機能を実現することができる。

電子装置４００は、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定することができ、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定し、それから少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行し、画像処理における適応的ホワイトニング操作を実現し、画像処理効果を向上させることができる。

本出願の実施形態は、さらにコンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、電子データ交換用コンピュータプログラムを格納するために用いられ、コンピュータプログラムは、コンピュータが上述した方法実施形態に記載された任意の画像処理方法のステップの一部又は全部を実行することにする。

簡単に説明するために、上述した各方法実施例はすべて一連の動作組合で記述されているが、当業者であれば、本発明は説明された動作順序に限定されないことを知っているはずである。本発明によれば、特定のステップは他の順序を採用することができ、又は同時に実行することもできる。さらに、当業者であれば、明細書に記載された実施形態はすべて好ましい実施形態であり、関連する動作及びモジュールは本発明にとって必ず必要とするものではないことを知っているはずである。

上述の実施形態では、各実施形態の説明には各自の焦点があり、いくつかの実施形態で詳細に説明されていない部分は、他の実施形態の関連する説明を参照することができる。

本出願によって提供される幾つかの実施形態において、開示される装置は、他の形態により実現され得ると理解されるべきである。例えば、上記に説明された装置実施例は、例示するためのものに過ぎない。例えば、モジュール（又はユニット）の分割は、ロジック機能の分割に過ぎず、実際に実現するときに別の分割形態を有してもよい。例えば、複数のモジュール又は部品を組み合わせ、又は別のシステムに集積し、又は若干の特徴を無視し、又は実行しなくてもよい。さらに、図示又は検討する相互間の結合や直接結合や通信接続は、いくつかのインタフェース、装置、又はモジュールの間接結合や通信接続であってもよいし、電気や他の形態であってもよい。

分離部品として記載されたモジュールは、物理的に分離してもよいし、分離しなくてもよい。モジュールとして表示される部品は、物理的なモジュールであってもよいし、物理的なモジュールではなくておもよい。即ち、一つの箇所に設置してもよいし、複数のネットワークモジュールに設置してもよい。実際の要求に応じて一部又は全部のモジュールを選択して本実施例の技術方案の目的を実現することができる。

また、本発明に係る各実施例の各機能モジュールは、１つの処理モジュールに集積されてもよいし、各モジュールは単独に物理的に存在してもよいし、２つ以上のモジュールは１つのモジュールに集積してもよい。上記の統合モジュールは、ハードウェア又はソフトウェア機能モジュールの形式で実現することができる。

統合されたモジュールは、ソフトウェアの機能ユニットとして実現され、かつ、独立の製品として販売されたり使用されたりする場合、コンピュータ読み取り可能な記録媒体に記憶されてもよい。この理解によれば、本発明の技術方案について、本質的な部分、又は従来技術に貢献できた部分、又は該技術方案の全部又は一部は、ソフトウェア製品として表現され得る。このコンピュータソフトウェア製品は、記憶媒体に記憶されており、１つのコンピュータ（パソコン、サーバー、又はネットワーク機器などであってもよい）に本発明の各実施例に係る方法の全部又は一部の過程を実行するための複数のコマンドが含まれている。前記した記憶媒体は、ＵＳＢ（ユニバーサルシリアルバス）フラッシュディスク、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リムーバブルハードディスク（ｒｅｍｏｖａｂｌｅ ｈａｒｄ ｄｉｓｋ）、磁気ディスク又は光ディスクなどの各種のプログラムコードを記憶可能な媒体を含むことができる。

当業者であれば、上述した実施形態の各方法の全部又は一部のステップは、関連するハードウェアを命令するプログラムによって達成されてもよく、プログラムはコンピューター可読記憶媒体に格納されることができると理解されるべきである。記憶媒体は、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどを含むことができる。

以上、本出願の実施形態を詳細に説明し、本明細書では具体的な実施例を使用して本発明の原理及び実施形態を説明する。上記の実施形態の説明は、ただ本発明の方法及び要旨の理解を助けるために用いられる。当業者であれば、本発明の要旨に基づいて、具体的な実施形態及び適用範囲を変更することができ、要約すると、本明細書の内容は本発明を限定するものであると解釈されるべきではない。

本出願は、中国特許庁に提出された中国特許出願の優先権を主張し、出願日は２０１９年３月３０日であり、出願番号はＣＮ２０１９１０２５３９３４．９であり、発明の名称は「画像処理方法、装置、電子装置及び記憶媒体」でり、且つ参照のためそれらの全文を本出願に組み込む。

本発明は、コンピュータービジョン技術分野に関し、特に、画像処理方法、装置、電子装置及び記憶媒体に関する。

畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮ）は、コンピュータービジョン分野の主流の方法になっている。異なるコンピュータービジョンタスクについて、研究者たちは異なる標準化（ｎｏｒｍａｌｉｚａｔｉｏｎ）及びホワイトニング（ｗｈｉｔｅｎｉｎｇ）方法を開発した。画像の標準化は、平均値を取り除くことによりデータの集中化を実現する処理方式であり、凸最適化理論とデータ確率分布の知識によれば、データの集中化はデータ分布の法則に符合し、トレーニング後の汎化効果をさらに取得し易く、データの標準化はデータ前処理の一般的な方法の１つである。ホワイトニングの目的は、入力データの冗長な情報を削除することである。

コンピュータービジョンタスクにおいて、標準化及びホワイトニングの応用は非常に重要である。現在、画像処理に用いられるさまざまな標準化及びホワイトニングの方法は、それぞれ長所と短所があり、画像処理効果は全面ではなく、畳み込みニューラルネットワークモデルを設計する空間と難易度はさらに高くなる。

本出願の実施形態は、画像処理方法、装置、電子装置及び記憶媒体を提供し、画像登録（Image registration）の精度とリアルタイムを向上させることができる。

第一態様において、本出願の実施形態は画像処理方法を提供する。画像処理方法は、
処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定するステップと、その中において、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、
各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定するステップと、
少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行するステップと、
を含む。

１つの選択的な実施形態において、第一特徴パラメータは平均値ベクトルであり、第二特徴パラメータは共分散行列（ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ）である。

１つの選択的な実施形態において、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行するステップは、ニューラルネットワークによって実行され、
予め設定された処理方法セットにおける１つの処理方法の第一特徴パラメータの重み係数は、以下の方法によって確定される：予め設定された処理方法セットにおけるこの処理方法の第一特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第一制御パラメータの値を利用して正規化された指数関数（ｎｏｒｍａｌｉｚｅｄ ｅｘｐｏｎｅｎｔｉａｌ ｆｕｎｃｔｉｏｎ）に基づいて確定され、
予め設定された処理方法セットにおける１つの処理方法の第二特徴パラメータの重み係数は、以下の方法によって確定される：この処理方法の第二特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第二制御パラメータの値を利用して正規化された指数関数に基づいて確定される。

１つの選択的な実施形態において、予め設定された処理方法セットの各処理方法の第一制御パラメータ及び第二制御パラメータは、次の手順で獲得される：
ニューラルネットワークモデルの逆伝播法に基づいて、トレーニングしようとするニューラルネットワークの損失関数の値を最小化することにより、トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータに対して共同最適化を実行し；
トレーニングしようとするニューラルネットワークの損失関数の値が最小になる時の各第一制御パラメータの値をトレーニングされたニューラルネットワークの各第一制御パラメーターの値とし；
トレーニングしようとするニューラルネットワークの損失関数の値が最小になる時の各第二制御パラメータの値をトレーニングされたニューラルネットワークの各第二制御パラメーターの値とする。

１つの選択的な実施形態において、ニューラルネットワークモデルの逆伝播法に基づいて、トレーニングしようとするニューラルネットワークの損失関数の値を最小化することにより、トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータに対して共同最適化を実行することは、
トレーニングしようとするニューラルネットワークは、予め設定された処理方法セットの各処理方法の第一特徴パラメータの加重平均及び各処理方法の第二特徴パラメータの加重平均に基づいて、トレーニング用の画像データに対してホワイトニング処理を実行し、且つ予測結果を出力することと、その中において、予め設定された処理方法セットの第一処理方法の第一制御パラメータの初期値は第一プリセット値であり、予め設定された処理方法セットの第一処理方法の第二制御パラメータの初期値は第二プリセット値であり、
トレーニングしようとするニューラルネットワークから出力された予測結果及びトレーニング用の画像データの注釈結果に基づいて、ニューラルネットワークの損失関数の値を確定することと、
トレーニングしようとするニューラルネットワークの損失関数の値に基づいて、トレーニングしようとするニューラルネットワークの各第一制御パラメータの値、各第二制御パラメータの値及び各ネットワークパラメータの値を調整することと、
を含む。

１つの選択的な実施形態において、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行することは、
少なくとも２つの第一特徴パラメータの加重平均、少なくとも２つの第二特徴パラメータの加重平均及び処理しようとする画像データのチャネル数、高さ及び幅に基づいて、処理しようとする画像データの中の各画像データに対してホワイトニング処理を実行することを含む。

１つの選択的な実施形態において、標準化方法は、バッチ標準化方法、インスタンス標準化方法、レイヤ標準化方法の中の少なくとも１つを含む。

１つの選択的な実施形態において、ホワイトニング方法は、バッチホワイトニング方法、インスタンスホワイトニング方法の中の少なくとも１つを含む。

第二態様において、本出願の実施形態は画像処理装置を提供する。画像処理装置は、確定モジュールと、重み付けモジュールと、ホワイトニング処理モジュールと、を含み、
確定モジュールは、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定するために用いられ、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、
重み付けモジュールは、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定するために用いられ、
ホワイトニング処理モジュールは、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行するために用いられる。

第三態様において、本出願の実施形態は電子装置を提供する。電子装置はプロセッサ及びメモリを含み、メモリは１つ又は複数のプログラムを格納するために用いられ、１つ又は複数のプログラムはプロセッサによって実行されるように構成され、プログラムは本出願の実施形態の第一態様の任意の方法で説明されたステップの一部又は全部を実行させる。

第四態様において、本出願の実施形態はコンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、電子データ交換用コンピュータプログラムを格納するために用いられ、コンピュータプログラムは、コンピュータに本出願の実施形態の第一態様の任意の方法で説明されたステップの一部又は全部を実行させる。

第五態様において、本出願の実施形態は命令を含むコンピュータプログラム製品を提供し、それがコンピュータ上で実行されるとき、コンピュータに上述した第一態様及びその任意の可能な実現方法を実行させる。

本出願の実施形態は、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定し、その中において、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定し、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行し、単独で使用される一般的な標準化方法及びホワイトニング方法と比較して、各方法の利点を組み合わせて画像処理効果を向上させることができる。

図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示に符合する実施例を示し、且つ明細書とともに本開示の技術的解決策を説明する。
図１は、本発明の実施形態に係わる画像処理方法のフローチャートである。 図２は、本発明の実施形態に係わる制御パラメータトレーニング方法のフローチャートである。 図３は、本発明の実施形態に係わる異なる標準化層のスタイル変換の可視化図である。 図４は、本発明の実施形態に係わる画像処理装置の構造を示す概略図である。 図５は、本発明の実施形態に係わる電子装置の構造を示す概略図である。

当業者が本発明をよりよく理解できるように、以下、本出願の実施形態の添付図面を参照しながら、本出願の実施形態の技術的方案を明確且つ完全に説明する。明らかに、説明された実施形態は、本発明の実施形態の一部にすぎず、すべての実施形態ではない。創造的な努力なしに本発明の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本発明の保護範囲に含まれる。

本発明の明細書、特許請求の範囲及び図面で使用される用語「第一」、「第二」などは、特定の順序を説明するために用いられなく、異なる対象を区別するために用いられる。用語「含む」、「有する」及びそれらの変形は、非排他的包含を網羅することを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品、又は装置は、リストされたステップ又はユニットに限定されず、選択的に、リストされていない他のステップ又はユニットを含むことができ、又は、選択的に、これらのプロセス、方法、製品、又はデバイスに固有する他のステップ又はユニットを含むことができる。

本明細書で言及される「実施形態」という用語は、実施形態に関連して説明される特定の特徴、構造、又は特性が本発明の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の各々の場所に現れるこの用語は、必ず同じ実施形態を指すものではなく、他の実施形態と相互に排他的な独立した又は代替実施形態を指すものでもない。本明細書に記載された実施形態は他の実施形態と組み合わせることができることは、当業者によって明示的および暗黙的に理解される。

本出願の実施形態に係わる画像処理装置は、複数の他の端末装置がアクセスすることを可能にすることができる。上述した画像処理装置は、端末装置を含む電子装置であることができる。具体的な実施形態において、上述した端末装置はタッチ敏感表面（例えば、タッチスクリーンディスプレイ及び/又はタッチパネル）を有する携帯電話、ラップトップコンピュータ又はタブレットコンピューターなどのような他のポータブルデバイスを含むが、これらに限定されない。いくつかの実施形態において、上述した装置は携帯通信装置ではなく、タッチ敏感表面（例えば、タッチスクリーンディスプレイ及び/又はタッチパネル）を有するデスクトップコンピュータであることを理解されるべきである。

本出願の実施形態におけるディープラーニングの概念は、人工ニューラルネットワークの研究に由来する。複数の隠れ層を含む多層パーセプトロン（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ，ＭＬＰ）は、一種のディープラーニング構造である。ディープラーニングは、低レベルの特徴を組み合わせてより抽象的な高レベルの表現属性カテゴリ又は特徴を形成することにより、データの分散特性表現を発見する。

ディープラーニングは、機械学習におけるデータの特性化学習に基づく方法である。観測値（１つの画像など）は、さまざまな方法で表すことができ、例えば、各ピクセルの強度値のベクトル、又はより抽象的に一連のエッジ、特定の形状の領域などに表すこともできる。特定の表現方法（例えば、顔認識や表情認識）を使用して、インスタンスからタスクを学習する方が簡単である。ディープラーニングの利点は、非監督式又は半監督式の特徴学習及び階層的特徴抽出の効率的なアルゴリズムを使用して、手動的に特徴を取得することを取り替えることである。ディープラーニングは、機械学習研究の新しい分野であり、その動機は、人間の脳が分析したり学習したりするニューラルネットワークを確立、真似ることであり、人間の脳のメカニズムを模倣して画像、音声、テキストなどのデータを解釈する。

以下、本出願の実施形態に対して詳細に紹介する。

図１を参照すると、図１は本発明の実施形態に係わる画像処理方法のフローチャートである。図１に示されたように、画像処理方法は、上述した画像処理装置によって実行されることができ、以下のステップを含む。

１０１、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定し、上述した処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、上述した処理しようとする画像データは少なくとも１つの画像データを含む。

画像データの標準化（ｎｏｒｍａｌｉｚａｔｉｏｎ）は正規化とも呼ばれ、データマイニングの基本的な作業である。異なる評価指標は、しばしば異なる次元（ｄｉｍｅｎｓｉｏｎ）及び次元単位を有し、このような状況はデータ分析結果に影響する。指標間の次元の影響を排除するために、データ標準化処理を行うことを必要として、データ指標間の比較可能性を解決する。元のデータがデータ標準化処理を行ってから、各指標は同じ数量級にあり、総合的な比較評価に適合する。

画像の最終的なイメージングは、周辺光の強度、オブジェクトの反射、カメラの撮影などの多い要因の影響を受ける。画像に含まれた外界の影響を受けない一定の情報を取得するために、画像に対してホワイトニング処理することを必要があります。

本出願の実施形態で言及されたのホワイトニング（ｗｈｉｔｅｎｉｎｇ）は、露出オーバー又は露出不足の画像を処理するために用いられることができる。一般的に、これらの要因の影響を取り除くために、処理方法は一般的に画像の平均画素値を０に変更し、画像の分散（Ｖａｒｉａｎｃｅ）を単位分散１に変更し、具体的に平均値ベクトル及び共分散行列によって実現することができ、即ちピクセル値をゼロ平均値と単位分散に変換する。

異なるコンピュータービジョンタスクに対して、研究者たちは異なる標準化方法及びホワイトニング（ｗｈｉｔｅｎｉｎｇ）方法を開発した。例えば、バッチ標準化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）及びバッチホワイトニング（ｂａｔｃｈ ｗｈｉｔｅｎｉｎｇ）は画像分類、物体検出などの任務に応用され、インスタンス標準化（ｉｎｓｔａｎｃｅ ｎｏｒｍａｌｉｚａｔｉｏｎ）及びインスタンスホワイトニング（ｉｎｓｔａｎｃｅ ｗｈｉｔｅｎｉｎｇ）は画像スタイルの変換と画像生成に応用され、レイヤー標準化（ｌａｙｅｒ ｎｏｒｍａｌｉｚａｔｉｏｎ）はリカレントニューラルネットワークに応用される。

便利に説明するために、本出願の実施形態におけるバッチホワイトニング、インスタンスホワイトニング、バッチ標準化、インスタンス標準化及びレイヤー標準化は、それぞれｂｗ、ｉｗ、ｂｎ、ｉｎ及びｌｎと略称される。

本出願の実施形態において、上述した処理方法セットを予め設定することができ、処理方法セットに含まれるホワイトニング方法及び標準化方法は、処理しようとする画像データに基づいて、上述した処理方法セットを選択・設定することができ、例えば、バッチ標準化、バッチホワイトニング、インスタンス標準化、インスタンスホワイトニング及びレイヤー標準化を含むことができ、それらの一部のみを含むこともできるが、ホワイトニング方法及び標準化方法の中の少なくとも二種の方法を含むことを必要とする。

先ず、処理しようとする画像データ及び予め設定された処理方法セットの各処理方法に基づいて各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定し、即ち加重平均に用いられる特徴パラメータを獲得する。

本出願の実施形態のステップは、トレーニングされた畳み込みニューラルネットワークに基づいて実現することができる。畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮ）は、畳み込み計算を含み且つディープ構造（ｄｅｅｐ ｓｔｒｕｃｔｕｒｅ）を有するフィードフォワードニューラルネットワーク（Ｆｅｅｄｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）の一種であり、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）の代表的なアルゴリズムの一種であうる。

ステップ１０１において、各処理方法の計算式に基づいて、各処理方法の第一特徴パラメータ及び第二特徴パラメータを獲得することができる。ここで、処理方法セットには少なくとも２つの処理方法が含まれているので、獲得した第一特徴パラメータ及び第二特徴パラメータはいずれも少なくとも２つである。画像のホワイトニング又は画像の標準化に対して、出力される第一特徴パラメータは平均値ベクトルであることができ、第二特徴パラメータは共分散行列であることができる。即ち、画像処理装置は、処理しようとする画像データの少なくとも２つの平均値ベクトルと少なくとも２つの共分散行列を得ることができ、２つのパラメータは、画像データ及び予め設定された処理方法に基づいて計算して獲得される。

平均値ベクトルの加重平均は

であり、その中において、Ωは処理方法セットであり、ω_ｋは第一重み係数であり、μ_ｋは処理方法セットの各処理方法の平均値ベクトルであり、
共分散行列の加重平均は

であり、その中において、Ωは処理方法セットであり、ω_ｋ′は第二重み係数であり、Σ_ｋは共分散行列である。

１つの選択的な実施形態において、予め設定された処理方法セットはバッチホワイトニング処理を含むことができ、バッチホワイトニング処理の第一特徴パラメータ及び第二特徴パラメータの計算式は、

を含み、
その中において、μ_ｂｗはこの方法の第一特徴パラメータ（平均値ベクトル）であり、Σ_ｂｗはこの方法の第二特徴パラメータ（共分散行列）であり、Ｘは処理しようとする画像データの中のバッチ画像データであり、

、Ｎは画像データの数量であり、１は要素がすべて１である列ベクトルであり、Ｉは単位行列であり、単位行列の対角要素は１であり、残りは０であり、εは正数である。

具体的には、εは小さな正数であることができ、特異な共分散行列が出現することを防止するために用いられる。バッチホワイトニングとは、バッチデータをホワイトニングすることであり、即ち、

である。

１つの選択的な実施形態において、上述した処理方法はインスタンスホワイトニング処理を含むことができ、インスタンスホワイトニング処理の第一特徴パラメータ及び第二特徴パラメータの計算式は、

を含み、
その中において、μ_ｉｗはこの方法の第一特徴パラメータ（平均値ベクトル）であり、Σ_ｉｗはこの方法の第二特徴パラメータ（共分散行列）であり、１は要素がすべて１である列ベクトルであり、Ｉは単位行列であり、εは正数である。

具体的には、インスタンスホワイトニングは、単一の画像データをホワイトニングすることであり、即ち、

である。

バッチ標準化は、バッチ正規化とも呼ばれ、人工ニューラルネットワークの性能と安定性を向上させるために用いられる技術である。これは、ニューラルネットワークの任意の層にゼロ平均値/単位分散入力を提供する技術である。バッチ標準化は、センター（ｃｅｎｔｅｒ）及びスケール（ｓｃａｌｅ）の操作によって、バッチデータ全体の平均値と分散をそれぞれ０と１にする。従って、平均値はバッチホワイトニングと同じであり、即ち、μ_ｂｎ＝μ_ｂｗである。なお、バッチ標準化はホワイトニングなしにデータの分散で除算すればよく、共分散行列は対角要素のみを保留すればよく、即ち、

であり、その中において、diag（）は対角要素を保留し、 非対角要素を０に設定する。

同様に、インスタンス標準化は単一の画像データを処理し、μ_ｉｎ＝μ_ｉｗ、

である。

レイヤー標準化は、単一の画像データの全てのチャネルの平均値と分散を使用して標準化し、μ_lnとσ_lnを平均値と分散とすると、μ_ln＝μ_ln１、Σ_ln＝σ_lnＩである。

第一特徴パラメータ及び第二特徴パラメータを獲得した後、ステップ１０２を実行することができる。

１０２、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定する。

本出願の実施形態において、画像処理装置は上述した重み係数を記憶することができ、少なくとも２つの第一特徴パラメータ及び少なくとも２つの第二特徴パラメータを獲得してから、各第一特徴パラメータの重み係数に基づいて少なくとも２つの第一特徴パラメータの加重平均を確定し、各第二特徴パラメータの重み係数に基づいて少なくとも２つの第二特徴パラメータの加重平均を確定する。

１つの選択的な実施形態において、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行するステップは、ニューラルネットワークによって実行される。重み係数とは、数学において、合計における特定の数量の重要性を示すために、それぞれ異なる比例係数が与えられることを意味する。

１つの選択的な実施形態において、予め設定された処理方法セットにおける１つの処理方法の第一特徴パラメータの重み係数は、以下の方法によって確定される：
予め設定された処理方法セットにおけるこの処理方法の第一特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第一制御パラメータの値を利用して正規化された指数関数（ｎｏｒｍａｌｉｚｅｄ ｅｘｐｏｎｅｎｔｉａｌ ｆｕｎｃｔｉｏｎ）に基づいて確定される。

１つの選択的な実施形態において、予め設定された処理方法セットにおける１つの処理方法の第二特徴パラメータの重み係数は、以下の方法によって確定される：
この処理方法の第二特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第二制御パラメータの値を利用して正規化された指数関数に基づいて確定される。

その中において、予め設定された処理方法セットの各処理方法の第一制御パラメータ及び第二制御パラメータは、ニューラルネットワークの各々の第一制御パラメータ及び第二制御パラメータである。

具体的には、正規化された指数関数（Ｓｏｆｔｍａｘ関数）に基づいて正規化変換を実行することができ、Ｓｏｆｔｍａｘ関数は、実際には有限アイテムの離散確率分布の勾配対数正規化である。本出願の実施形態において、制御パラメータは、本質的に、異なる処理方法によって計算された統計量（平均値ベクトル又は共分散行列）が占める割合である。

選択的には、上述した第一制御パラメータ及び第二制御パラメータは、ニューラルネットワークの確率的勾配降下（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ，ＳＧＤ）アルゴリズム及び/又は逆伝播（Ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ，ＢＰ）アルゴリズムに基づいて学習して獲得することができる。

逆伝播アルゴリズムは、多層ニューラルネットワークに適合する学習アルゴリズムであり、勾配降下法に基づく。逆伝播アルゴリズムは、入力に対するネットワークの応答が所定のターゲット範囲に達するまで、２つの段階（インセンティブ伝播、重み更新）が反復ループ（Ｉｔｅｒａｔｉｖｅ ｌｏｏｐ）する。ＢＰアルゴリズムの学習過程は、順方向伝播過程と逆方向伝播過程で構成される。順方向伝播過程において、出力層が期待する出力値を得られない場合、出力と期待誤差の二乗の合計を取って目的関数としてから、逆伝播に変換され、各ニューロンの重みに対する目的関数の偏微分（Ｐａｒｔｉａｌ ｄｅｒｉｖａｔｉｖｅ）を層ごとに計算し、重みベクトルに対する目的関数の勾配を構成し、重みを変更するための基礎として、重みの変更プロセスでネットワークの学習が完了し、誤差が期待値に達すると、ネットワークの学習が終了する。

上述した加重平均を取得した後、ステップ１０３を実行することができる。

１０３、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行する。

ホワイトニング処理は、処理方法セットの各処理方法の平均値ベクトルの加重平均及び各処理方法の共分散行列の加重平均を計算することにより、加重平均後に得られる平均値ベクトルと共分散行列をホワイトニング処理のパラメータとして、処理しようとする画像データをホワイトニングすることであると理解されることができ、従って異なる処理方法の組み合わせを実現し、ニューラルネットワークをトレーニングすることにより、各方法の重み（上記の重み係数）を得ることができる。

なお、処理しようとする画像データに１つ以上の画像データが含まれ、予め設定された処理方法セットに異なる処理方法が含まれる場合、異なる画像データの処理方法も異なる場合がある。例えば、予め設定された処理方法セットにバッチホワイトニング方法とバッチ標準化方法が含まれる場合、各小バッチの画像データの平均値ベクトルの加重平均は同じであり、各小バッチの画像データの共分散行列の加重平均は同じであり、処理しようとする画像データに対してホワイトニング処理を行うことは、バッチホワイトニング方法と類似な方法で各小バッチの画像データを処理することであると理解することができる。予め設定された処理方法セットにバッチホワイトニング方法とインスタンスホワイトニング方法が含まれる場合、各画像データの平均値ベクトルの加重平均は異なり、各画像データの共分散行列の加重平均も異なり、処理しようとする画像データに対してホワイトニング処理を行うことは、インスタンスホワイトニング方法と類似な方法で単一の画像データを処理することであると理解することができる。

１つの選択的な実施形態において、少なくとも２つの第一特徴パラメータの加重平均、少なくとも２つの第二特徴パラメータの加重平均及び処理しようとする画像データのチャネル数、高さ及び幅に基づいて、処理しようとする画像データの中の各画像データに対してホワイトニング処理を実行することができる。

畳み込みニューラルネットワークにおいて、データは通常４次元で保存され、

はバッチ画像データであり、Ｎ、Ｃ、Ｈ、Ｗはそれぞれ画像データ数、チャネル数、高さ、幅を表す。便利に説明するために、Ｎ、Ｈ、Ｗの３次元は、ここの説明では１次元と見なされる。

はバッチ画像データの中のｎ番目の画像データ（トレーニングプロセスはサンプルデータとして理解できる）であり、この画像データに対するホワイトニング操作は次のように表すことができ、

μとΣは、画像データから計算された平均値ベクトルと共分散行列である。１は要素がすべて１である列ベクトルであり、異なるホワイトニング方法と標準化方法は、異なるセットを使用してμとΣを計算することができる。例えば、バッチホワイトニングとバッチ標準化に対して、各バッチ画像データを使用してμとΣを計算し、レイヤー標準化、インスタンス標準化及びインスタンスのホワイトニングに対して、各画像データを使用してμとΣを計算する。

さらに、上述したＳＷ（Ｘ_ｎ）の中の共分散行列の負の平方根は、零位相成分分析（Ｚｅｒｏ-ｐｈａｓｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ，ＺＣＡ）又は主成分分析（ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ，ＰＣＡ）ホワイトニングによって取得することができる。好ましくは、ＺＣＡホワイトニングによって取得し、即ち：

であり、
その中において、Λ＝ｄｉａｇ（σ_１，…，σ_ｌ）及びＤ＝［ｄ_１，…，ｄ_ｌ］はΣの特徴値と特徴ベクトルであり、即ち、Σ＝ＤΛＤ^Γであり、これは、特徴分解（Ｅｉｇｅｎ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）によって取得することができる。

上記の特徴分解はスペクトル分解（Ｓｐｅｃｔｒａｌ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）とも呼ばれる。これは、行列をその特徴値と特徴ベクトルで表される行列の積に分解する方法である。

具体的には、ＰＣＡホワイトニングはデータの各次元の分散が１であることを保証し、ＺＣＡホワイトニングはデータの各次元の分散が同じであることを保証する。ＰＣＡホワイトニングは次元削減又は相関性除去に使用できるが、ＺＣＡホワイトニングは主に相関性除去に使用され、ホワイトニングされたデータができるかぎり元の入力データに近くなることにする。

ステップ１０２で得られたものは、最終的なホワイトニング処理に使用されるターゲット平均値ベクトルとターゲット共分散行列であり、各画像データに対応する異なるホワイトニング方法と標準化方法の特徴パラメータは加重平均計算によって獲得し、次に、ターゲット平均値ベクトルとターゲット共分散行列に基づいて、ホワイトニング処理を実現することができる。

具体的には、処理しようとする画像データをホワイトニングする式は次のとおりである：

；

Ｘ_ｎは処理しようとする画像データの中のn番目の画像データであり、

であり、その中において、

は加重平均計算後に得られる平均値ベクトルであり、

は加重平均計算後に得られる共分散行列であり、Ｃ、Ｈ、Ｗは、それぞれ画像データのチャンネル数、高さ、幅である。

１つのアプリケーションシナリオでは、予め設定された処理方法セットにバッチホワイトニング方法とバッチ標準化方法が含まれ、処理しようとする画像データは１つ以上の画像データを含む場合、各小バッチの画像データの平均値ベクトルの加重平均

は同じであり、異なるバッチの画像データの平均値ベクトルの加重平均

は異なり、各小バッチの画像データの共分散行列の加重平均

は同じであり、異なるバッチの画像データの共分散行列の加重平均

は異なり、処理しようとする画像データに対してホワイトニング処理を行うことは、各小バッチの画像データの平均値ベクトルの加重平均

と共分散行列の加重平均

をそれぞれバッチホワイトニング方法の平均値ベクトルと共分散行列として、バッチホワイトニング方法でこのバッチの画像データを処理することであると理解することができる。

別のアプリケーションシナリオでは、予め設定された処理方法セットにバッチホワイトニング方法とバッチ標準化方法の中の少なくとも１つ及びレイヤー標準化方法、インスタンス標準化方法、インスタンスホワイトニング方法の中の少なくとも１つが含まれる場合、各画像データの平均値ベクトルの加重平均

は異なり、各画像データの共分散行列の加重平均

も異なり、処理しようとする画像データに対してホワイトニング処理を行うことは、各画像データの平均値ベクトルの加重平均

と共分散行列の加重平均

をそれぞれインスタンスホワイトニング方法の平均値ベクトルと共分散行列として、インスタンスホワイトニング方法でこの画像データを処理することであると理解することができる。

１つの選択的な実施形態において、処理しようとする画像データは、様々な端末装置で収集した画像データを含み、例えば、自動運転でカメラによって収集された顔画像データ、監視システムで収集された監視画像データ、知能ビデオ分析中に分析されるビデオ画像データ、顔認識製品で収集された顔画像データなどである。具体的には、モバイル端末で美化しようとする写真に対して、上述した方法はモバイル端末にインストールされている美容アプリケーションに応用することができ、画像処理の精度を向上させ、例えば、画像分類、セマンティックセグメンテーション、画像スタイル変換などの方面の性能がさらに優れるようにする。

現在、標準化方法とホワイトニング方法は通常別々に使用されているので、各方法の長所を組み合わせることは困難である。さらに、さまざまな標準化方法とホワイトニング方法は、モデル設計のスペースと難易度を増加する。

本出願の実施形態に係わる画像処理方法は、異なる標準化方法とホワイトニング方法を１つのレイヤーに組み合わせることができ、例えば、バッチ標準化、バッチホワイトニング、インスタンス標準化、インスタンスホワイトニング、レイヤー標準化などの方法を含み、さまざまな標準化とホワイトニング操作の比率を適応的に学習することができ、畳み込みニューラルネットワークとともにエンドツーエンドのトレーニングを実現することができる。

本出願の実施形態において、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定し、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定し、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行し、画像処理過程で様々な処理方法（標準化及び/又はホワイトニング）を組み合わせた操作を実現し、画像処理効果を向上させることができる。

選択的に、１０３はニューラルネットワークによって実行され、このとき、予め設定された処理方法セットにおける１つの処理方法の第一特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第一制御パラメータの値を利用して正規化された指数関数に基づいて確定され；予め設定された処理方法セットにおける１つの処理方法の第二特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第二制御パラメータの値を利用して正規化された指数関数に基づいて確定される。

１つの選択的な実施形態において、１つの処理方法の第一特徴パラメータの重み係数ω_ｋの計算式は以下のとおりであり、

、

その中において、λ_ｋは第一制御パラメータであり、Ωは処理方法セットであり、例えば、Ω＝{ｂｗ，ｉｗ，ｂｎ，ｉｎ，ｌｎ}である。

類似的に、１つの処理方法の第一特徴パラメータの重み係数ω_ｋ′の計算式は、以下のとおりであり、

、

その中において、λ_ｋ′は第二制御パラメータであり、Ωは処理方法セットである。

選択的に、予め設定された処理方法セットの各処理方法の第一制御パラメータ及び第二制御パラメータ（ニューラルネットワークの各々の第一制御パラメータ及び第二制御パラメータである）は、図２に示された方法で獲得する。

２０１、ニューラルネットワークモデルの逆伝播法に基づいて、トレーニングしようとするニューラルネットワークの損失関数の値を最小化することにより、トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータに対して共同最適化を実行する。

本出願の実施形態において、制御パラメータは、本質的に、異なる処理方法によって計算された統計量（平均値ベクトル又は共分散行列）が占める割合である。選択的には、制御パラメータは、ニューラルネットワークのトレーニングプロセスにおいて、畳み込みニューラルネットワークの確率的勾配降下（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ，ＳＧＤ）アルゴリズム及び逆伝播（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ，ＢＰ）アルゴリズムに基づいて学習して獲得することができる。

ニューラルネットワークのトレーニングプロセスは次のとおりである：
トレーニングしようとするニューラルネットワークは、予め設定された処理方法セットの各処理方法の第一特徴パラメータの加重平均及び各処理方法の第二特徴パラメータの加重平均に基づいて、トレーニング用の画像データに対してホワイトニング処理を実行し、且つ予測結果を出力し、
トレーニングしようとするニューラルネットワークから出力された予測結果及びトレーニング用の画像データの注釈結果に基づいて、ニューラルネットワークの損失関数の値を確定し、
トレーニングしようとするニューラルネットワークの損失関数の値に基づいて、トレーニングしようとするニューラルネットワークの各第一制御パラメータの値、各第二制御パラメータの値及び各ネットワークパラメータの値を調整する。

その中において、予め設定された処理方法セットの第一処理方法の第一制御パラメータの初期値は第一プリセット値であり、予め設定された処理方法セットの第一処理方法の第二制御パラメータの初期値は第二プリセット値である。具体的には、畳み込みニューラルネットワークがトレーニングを開始する前に、第一制御パラメーターの初期値と第二制御パラメーターの初期値を予め設定することができ、例えば、第一プリセット値と第二プリセット値は両方とも１である。ニューラルネットワークがトレーニングを開始する時、第一処理方法の第一制御パラメータの初期値に基づいて、第一処理方法の第一特徴パラメータの重み係数を計算することができ、第一処理方法の第二制御パラメータの初期値に基づいて、第一処理方法の第二特徴パラメータの重み係数を計算することができ、従って、トレーニングの開始時に各処理方法の第一特徴パラメータの加重平均及び各処理方法の第二特徴パラメータの加重平均を計算することができ、さらにニューラルネットワークのトレーニングを開始する。その中において、第一処理方法は、予め設定された処理方法セットの中の任意の１つの処理方法であることができる。

ニューラルネットワークのトレーニングプロセスにおいて、ニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータは、損失関数を利用して、確率的勾配降下アルゴリズムと逆伝播アルゴリズムによって絶えずに更新され、損失関数の値が最小になるまで、上述したトレーニングプロセスを繰り返すことにより、ニューラルネットワークのトレーニングを完成する。

２０２、トレーニングしようとするニューラルネットワークの損失関数の値が最小になる時の各第一制御パラメータの値をトレーニングされたニューラルネットワークの各第一制御パラメーターの値とし；トレーニングしようとするニューラルネットワークの損失関数の値が最小になる時の各第二制御パラメータの値をトレーニングされたニューラルネットワークの各第二制御パラメーターの値とする。

トレーニングしようとするニューラルネットワークの損失関数の値に応じて上記のパラメータの値を調整し、損失関数の値が最小になるとき、ニューラルネットワークトレーニングを完了する。トレーニングが完了すると、ニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータを学習・獲得し、テスト又は実際の画像処理応用では、これらのパラメーターは固定されて変化しない。具体的には、ニューラルネットワークトレーニングはフォワード計算と逆方向伝播計算が必要であり、テスト又は実際の画像処理応用ではただフォワード計算することを必要として、画像を入力すると処理結果を得ることができる。

１つの選択的な実施形態において、ニューラルネットワークは、訓練用の画像データと注釈付き結果でトレーニングすることができる。次に、トレーニングされたニューラルネットワークで収集された画像データを処理して、画像内のオブジェクトを識別する。具体的には、異なる標準化方法とホワイトニング方法を統一することができ、畳み込みニューラルネットワークが特定の任務に応じてさまざまな標準化とホワイトニング操作の比率を適応的に学習することにして、各方法の利点を組み合わせることができ、標準化とホワイトニング操作の自動選択が可能になる。

アプリケーションでは、豊富な統計データに基づいて、ソフトウェアは高レベルの視覚タスクだけでなく、画像スタイルの変換などの低レベルの視覚タスクでも機能できる。

図３を参照すると、図３は本発明の実施形態に係わる異なる標準化層のスタイル変換の可視化図である。その中において、人気のあるスタイル変換アルゴリズムを採用して処理しようとする画像に対してスタイル変換を行う。損失ネットワークによって計算されたコンテンツ損失とスタイル損失でトレーニングされた画像様式化ネットワークがあり、異なる画像標準化方法とホワイトニング方法で処理することができる。ＭＳ−ＣＯＣＯデータセットを画像に使用し、選択した処理しようとする画像の画像スタイルはキャンドルライトとスターライトナイトであり、上述したスタイル変換アルゴリズムと同じトレーニング方法に従い、画像スタイルネットワークに異なる標準化レイヤー（バッチ標準化、インスタンスホワイトニング及び本出願の実施形態に係わる画像処理方法）を採用し、即ち、図３の２行目の画像は、異なる処理方法で処理した後の効果図であり、１行目の画像は、同時にスタイル変換を行った後の効果図である。

具体的には、図３に示されたように、バッチ標準化によって生成された画像効果は悪く、インスタンスホワイトニングによって生成された画像効果は比較的良好である。インスタンスホワイトニングと比較すると、本実施形態に係わる画像処理方法は、その処理方法セットにバッチ標準化及びインスタンスホワイトニングが含まれ、両者の比率はニューラルネットワーク学習によって確定され、その画像処理効果が最も良い。本実施形態に係わる画像処理方法は、任務に応じて適切な処理方法を選択して画像を処理することができる。

一般的に、標準化方法とホワイトニングの方法は通常別々に使用され、各方法の長所を組み合わせることは困難である。さらに、さまざまな標準化方法とホワイトニング方法は、ニューラルネットワークモデル設計のスペースと難易度を増加する。特定の標準化方法又はホワイトニング方法のみを使用する畳み込みニューラルネットワークと比較すると、本出願の画像処理はさまざまな標準化とホワイトニング操作の比率を適応的に学習することができ、手動設計の必要性を排除し、各方法の長所を組み合わせることができ、さまざまなコンピュータービジョンタスクにおいて、優れる性能を有する。

１つの選択的な実施形態において、処理しようとする画像データは、様々な端末装置で収集した画像データを含み、例えば、自動運転でカメラによって収集された顔画像データ、監視システムで収集された監視画像データ、知能ビデオ分析中に分析されるビデオ画像データ、顔認識製品で収集された顔画像データなどである。具体的には、モバイル端末で美化しようとする写真に対して、上述した方法はモバイル端末にインストールされている美容アプリケーションに応用することができ、画像処理の精度を向上させ、例えば、画像分類、セマンティックセグメンテーション、画像スタイル変換などの方面の性能がさらに優れるようにする。

実際の応用では、本出願の実施形態に係わる画像処理操作は、畳み込みニューラルネットワークの畳み込みレイヤーに適用でき、畳み込みニューラルネットワークの自己適応型ホワイトニングレイヤー（自己適応型ホワイトニングレイヤーと従来のホワイトニングレイヤーの違いは、自己適応型ホワイトニングレイヤーを有する畳み込みニューラルネットワークは、モデルトレーニング段階でトレーニングデータに基づいてさまざまな標準化及びホワイトニング操作の比率を適応的に学習し、最適な比率を取得できることである）として理解することができ、ネットワークの任意の位置に応用することもできる。

以上は、主に方法実行過程の観点から本出願の実施形態の方案を紹介する。画像処理装置は上述した機能を実現するために、各機能に対応するハードウェア構成及び/又はソフトウェアモジュールを含むことが理解できる。当業者であれば、本明細書の実施形態で説明された各例示のユニット及びアルゴリズムステップを組み合わせて、本発明はハードウェア又はハードウェアとコンピュータソフトウェアの組み合わせの形式で実現できることを容易に理解されるべきである。特定の機能がハードウェアによって実行されるか、それともコンピュータソフトウェアがハードウェアを駆動する方式によって実行されるかは、本技術方案の特定の応用や設計制約条件によって決定される。専門技術者は、特定の応用に応じて異なる方法で記述された機能を実現することができるが、これは本発明の範囲を超えると考えるべきではない。

本出願の実施形態は、上述した方法例に基づいて画像処理装置に対して機能モジュールの分割を実行することができ、例えば、各機能に対応して各機能モジュールを分割することができ、２以上の機能を１つの処理モジュールに統合することもできる。上記の統合モジュールは、ハードウェア又はソフトウェア機能モジュールの形式で実現することができる。本出願の実施形態におけるモジュールの分割は、例示的なものであり、ロジック機能の分割に過ぎず、実際に実現するときに別の分割形態を有してもよいことに留意されたい。

図４を参照すると、図４は本発明の実施形態に係わる画像処理装置の構造を示す概略図である。図４に示されたように、画像処理装置３００は、確定モジュール３１０と、重み付けモジュール３２０と、ホワイトニング処理モジュール３３０と、を含み、
確定モジュール３１０は、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定するために用いられ、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、
重み付けモジュール３２０は、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定するために用いられ、
ホワイトニング処理モジュール３３０は、少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行するために用いられる。

選択的に、第一特徴パラメータは平均値ベクトルで、第二特徴パラメータは共分散行列である。

選択的に、ホワイトニング処理モジュール３３０の機能はニューラルネットワークによって実行され、
予め設定された処理方法セットにおける１つの処理方法の第一特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第一制御パラメータの値を利用して正規化された指数関数に基づいて確定され、
この処理方法の第二特徴パラメータの重み係数は、ニューラルネットワークにおけるこの処理方法の第二制御パラメータの値を利用して正規化された指数関数に基づいて確定される。

選択的に、画像処理装置３００はトレーニングモジュール３４０をさらに含み、第一制御パラメータ及び第二制御パラメータはトレーニングモジュールがニューラルネットワークをトレーニングする時に獲得する。トレーニングモジュール３４０は、
ニューラルネットワークモデルの逆伝播法に基づいて、ニューラルネットワークの損失関数の値を最小化することにより、第一制御パラメータ、第二制御パラメータ及びニューラルネットワークのネットワークパラメータに対して共同最適化を実行し、
ニューラルネットワークの損失関数の値が最小になる時の第一制御パラメータの値をニューラルネットワークの第一制御パラメーターの値とし、
ニューラルネットワークの損失関数の値が最小になる時の第二制御パラメータの値をニューラルネットワークの第二制御パラメーターの値とするために用いられる。

選択的に、トレーニングモジュール３４０は、具体的に、
トレーニングしようとするニューラルネットワークに予め設定された処理方法セットの各処理方法の第一特徴パラメータの加重平均及び各処理方法の第二特徴パラメータの加重平均に基づいて、トレーニング用の画像データに対してホワイトニング処理を実行し、且つ予測結果を出力し、その中において、予め設定された処理方法セットの第一処理方法の第一制御パラメータの初期値は第一プリセット値であり、予め設定された処理方法セットの第一処理方法の第二制御パラメータの初期値は第二プリセット値であり、
トレーニングしようとするニューラルネットワークから出力された予測結果及びトレーニング用の画像データの注釈結果に基づいて、ニューラルネットワークの損失関数の値を確定し、
トレーニングしようとするニューラルネットワークの損失関数の値に基づいて、トレーニングしようとするニューラルネットワークの各第一制御パラメータの値、各第二制御パラメータの値及び各ネットワークパラメータの値を調整するために用いられる。

選択的に、ホワイトニング処理モジュール３３０は、具体的に、
少なくとも２つの第一特徴パラメータの加重平均、少なくとも２つの第二特徴パラメータの加重平均及び処理しようとする画像データのチャネル数、高さ及び幅に基づいて、処理しようとする画像データの中の各画像データに対してホワイトニング処理を実行するために用いられる。

選択的に、標準化方法は、バッチ標準化方法、インスタンス標準化方法、レイヤ標準化方法の中の少なくとも１つを含む。

選択的に、ホワイトニング方法は、バッチホワイトニング方法、インスタンスホワイトニング方法の中の少なくとも１つを含む。

図４に示された実施形態の画像処理装置３００は、図１及び/又は図２に示された実施形態の方法の一部又はすべてを実行することができる。

図４に示された画像処理装置３００を実施すると、画像処理装置３００は、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定することができ、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定し、それから少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行し、画像処理における適応的ホワイトニング操作を実現し、画像処理効果を向上させることができる。

図５を参照すると、図５は本発明の実施形態に係わる電子装置の構造を示す概略図である。図５に示されたように、電子装置４００はプロセッサ４０１及びメモリ４０２を含み、その中において、電子装置４００はバス４０３をさらに含むことができ、プロセッサ４０１とメモリ４０２はバス４０３を介して互いに接続することができる。バス４０３は、周辺機器相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ，ＰＣＩと略称する）バス又は拡張産業標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＥＩＳＡと略称する）バスなどであることができる。バス４０３は、アドレスバス、データバス、コントロールバスなどに分けることができる。便利に表示するために、図５ではただ１つ太線を使用して表示しているが、バス又はバスのタイプが１つしかないことを意味するものではない。電子装置４００は、さらに入力/出力装置４０４を含むことができ、入力/出力装置４０４は、液晶ディスプレイ画面などのディスプレイ画面を含むことができる。メモリ４０２は、命令を含む１つ又は複数のプログラムを格納するために用いられ、プロセッサ４０１は、メモリ４０２に格納された命令を呼び出して、図１及び図２の実施形態で言及された方法ステップの一部又はすべてを実行するために用いられる。上述したプロセッサ４０１は、図５に示された電子装置４００の各モジュールの機能を実現することができる。

電子装置４００は、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定することができ、処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、処理しようとする画像データは少なくとも１つの画像データを含み、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定し、それから少なくとも２つの第一特徴パラメータの加重平均及び少なくとも２つの第二特徴パラメータの加重平均に基づいて、処理しようとする画像データに対してホワイトニング処理を実行し、画像処理における適応的ホワイトニング操作を実現し、画像処理効果を向上させることができる。

本出願の実施形態は、さらにコンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、電子データ交換用コンピュータプログラムを格納するために用いられ、コンピュータプログラムは、コンピュータが上述した方法実施形態に記載された任意の画像処理方法のステップの一部又は全部を実行することにする。

簡単に説明するために、上述した各方法実施例はすべて一連の動作組合で記述されているが、当業者であれば、本発明は説明された動作順序に限定されないことを知っているはずである。本発明によれば、特定のステップは他の順序を採用することができ、又は同時に実行することもできる。さらに、当業者であれば、明細書に記載された実施形態はすべて好ましい実施形態であり、関連する動作及びモジュールは本発明にとって必ず必要とするものではないことを知っているはずである。

上述の実施形態では、各実施形態の説明には各自の焦点があり、いくつかの実施形態で詳細に説明されていない部分は、他の実施形態の関連する説明を参照することができる。

本出願によって提供される幾つかの実施形態において、開示される装置は、他の形態により実現され得ると理解されるべきである。例えば、上記に説明された装置実施例は、例示するためのものに過ぎない。例えば、モジュール（又はユニット）の分割は、ロジック機能の分割に過ぎず、実際に実現するときに別の分割形態を有してもよい。例えば、複数のモジュール又は部品を組み合わせ、又は別のシステムに集積し、又は若干の特徴を無視し、又は実行しなくてもよい。さらに、図示又は検討する相互間の結合や直接結合や通信接続は、いくつかのインタフェース、装置、又はモジュールの間接結合や通信接続であってもよいし、電気や他の形態であってもよい。

分離部品として記載されたモジュールは、物理的に分離してもよいし、分離しなくてもよい。モジュールとして表示される部品は、物理的なモジュールであってもよいし、物理的なモジュールではなくておもよい。即ち、一つの箇所に設置してもよいし、複数のネットワークモジュールに設置してもよい。実際の要求に応じて一部又は全部のモジュールを選択して本実施例の技術方案の目的を実現することができる。

また、本発明に係る各実施例の各機能モジュールは、１つの処理モジュールに集積されてもよいし、各モジュールは単独に物理的に存在してもよいし、２つ以上のモジュールは１つのモジュールに集積してもよい。上記の統合モジュールは、ハードウェア又はソフトウェア機能モジュールの形式で実現することができる。

統合されたモジュールは、ソフトウェアの機能ユニットとして実現され、かつ、独立の製品として販売されたり使用されたりする場合、コンピュータ読み取り可能な記録媒体に記憶されてもよい。この理解によれば、本発明の技術方案について、本質的な部分、又は従来技術に貢献できた部分、又は該技術方案の全部又は一部は、ソフトウェア製品として表現され得る。このコンピュータソフトウェア製品は、記憶媒体に記憶されており、１つのコンピュータ（パソコン、サーバー、又はネットワーク機器などであってもよい）に本発明の各実施例に係る方法の全部又は一部の過程を実行するための複数のコマンドが含まれている。前記した記憶媒体は、ＵＳＢ（ユニバーサルシリアルバス）フラッシュディスク、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リムーバブルハードディスク（ｒｅｍｏｖａｂｌｅ ｈａｒｄ ｄｉｓｋ）、磁気ディスク又は光ディスクなどの各種のプログラムコードを記憶可能な媒体を含むことができる。

当業者であれば、上述した実施形態の各方法の全部又は一部のステップは、関連するハードウェアを命令するプログラムによって達成されてもよく、プログラムはコンピューター可読記憶媒体に格納されることができると理解されるべきである。記憶媒体は、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどを含むことができる。

以上、本出願の実施形態を詳細に説明し、本明細書では具体的な実施例を使用して本発明の原理及び実施形態を説明する。上記の実施形態の説明は、ただ本発明の方法及び要旨の理解を助けるために用いられる。当業者であれば、本発明の要旨に基づいて、具体的な実施形態及び適用範囲を変更することができ、要約すると、本明細書の内容は本発明を限定するものであると解釈されるべきではない。

Claims (19)

1. 処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定するステップと、その中において、前記処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、前記処理しようとする画像データは少なくとも１つの画像データを含み、
   各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定するステップと、
   前記少なくとも２つの第一特徴パラメータの加重平均及び前記少なくとも２つの第二特徴パラメータの加重平均に基づいて、前記処理しようとする画像データに対してホワイトニング処理を実行するステップと、
   を含む、
   ことを特徴とする画像処理方法。
2. 前記第一特徴パラメータは平均値ベクトルであり、前記第二特徴パラメータは共分散行列である、
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記少なくとも２つの第一特徴パラメータの加重平均及び前記少なくとも２つの第二特徴パラメータの加重平均に基づいて、前記処理しようとする画像データに対してホワイトニング処理を実行するステップは、ニューラルネットワークによって実行され、
   予め設定された処理方法セットにおける１つの処理方法の第一特徴パラメータの重み係数は、以下の方法によって確定される：予め設定された処理方法セットにおける前記処理方法の第一特徴パラメータの重み係数は、前記ニューラルネットワークにおける前記処理方法の第一制御パラメータの値を利用して正規化された指数関数に基づいて確定され、
   予め設定された処理方法セットにおける１つの処理方法の第二特徴パラメータの重み係数は、以下の方法によって確定される：前記処理方法の第二特徴パラメータの重み係数は、前記ニューラルネットワークにおける前記処理方法の第二制御パラメータの値を利用して正規化された指数関数に基づいて確定される、
   ことを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記予め設定された処理方法セットの各処理方法の第一制御パラメータ及び第二制御パラメータは、次の手順で獲得される：
   ニューラルネットワークモデルの逆伝播法に基づいて、トレーニングしようとするニューラルネットワークの損失関数を最小化することにより、前記トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータに対して共同最適化を実行し；
   前記トレーニングしようとするニューラルネットワークの損失関数が最小になる時の各第一制御パラメータの値をトレーニングされたニューラルネットワークの各第一制御パラメーターの値とし；
   前記トレーニングしようとするニューラルネットワークの損失関数が最小になる時の各第二制御パラメータの値をトレーニングされたニューラルネットワークの各第二制御パラメーターの値とする、
   ことを特徴とする請求項３に記載の画像処理方法。
5. ニューラルネットワークモデルの逆伝播法に基づいて、トレーニングしようとするニューラルネットワークの損失関数を最小化することにより、前記トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータに対して共同最適化を実行することは、
   前記トレーニングしようとするニューラルネットワークは、前記予め設定された処理方法セットの各処理方法の第一特徴パラメータの加重平均及び各処理方法の第二特徴パラメータの加重平均に基づいて、トレーニング用の画像データに対してホワイトニング処理を実行し、且つ予測結果を出力することと、その中において、前記予め設定された処理方法セットの第一処理方法の第一制御パラメータの初期値は第一プリセット値であり、前記予め設定された処理方法セットの第一処理方法の第二制御パラメータの初期値は第二プリセット値であり、
   前記トレーニングしようとするニューラルネットワークから出力された予測結果及び前記トレーニング用の画像データの注釈結果に基づいて、前記ニューラルネットワークの損失関数を確定することと、
   前記トレーニングしようとするニューラルネットワークの損失関数に基づいて、前記トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータを調整することと、
   を含む、
   ことを特徴とする請求項４に記載の画像処理方法。
6. 前記少なくとも２つの第一特徴パラメータの加重平均及び前記少なくとも２つの第二特徴パラメータの加重平均に基づいて、前記処理しようとする画像データに対してホワイトニング処理を実行することは、
   前記少なくとも２つの第一特徴パラメータの加重平均、前記少なくとも２つの第二特徴パラメータの加重平均及び前記処理しようとする画像データのチャネル数、高さ及び幅に基づいて、前記処理しようとする画像データの中の各画像データに対してホワイトニング処理を実行することを含む、
   ことを特徴とする請求項４又は５に記載の画像処理方法。
7. 前記標準化方法は、バッチ標準化方法、インスタンス標準化方法、レイヤ標準化方法の中の少なくとも１つを含む、
   ことを特徴とする請求項６に記載の画像処理方法。
8. 前記ホワイトニング方法は、バッチホワイトニング方法、インスタンスホワイトニング方法の中の少なくとも１つを含む、
   ことを特徴とする請求項７に記載の画像処理方法。
9. 確定モジュールと、重み付けモジュールと、ホワイトニング処理モジュールと、を含み、
   前記確定モジュールは、処理しようとする画像データに基づいて、予め設定された処理方法セットの各処理方法の第一特徴パラメータ及び第二特徴パラメータを確定するために用いられ、前記処理方法セットはホワイトニング方法及び標準化方法の中の少なくとも２つを含み、前記処理しようとする画像データは少なくとも１つの画像データを含み、
   前記重み付けモジュールは、各々の第一特徴パラメータの重み係数に基づいて、少なくとも２つの第一特徴パラメータの加重平均を確定し、各々の第二特徴パラメータの重み係数に基づいて、少なくとも２つの第二特徴パラメータの加重平均を確定するために用いられ、
   前記ホワイトニング処理モジュールは、前記少なくとも２つの第一特徴パラメータの加重平均及び前記少なくとも２つの第二特徴パラメータの加重平均に基づいて、前記処理しようとする画像データに対してホワイトニング処理を実行するために用いられる、
   ことを特徴とする画像処理装置。
10. 前記第一特徴パラメータは平均値ベクトルであり、前記第二特徴パラメータは共分散行列である、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記ホワイトニング処理モジュールの機能はニューラルネットワークによって実行され、
    予め設定された処理方法セットにおける１つの処理方法の第一特徴パラメータの重み係数は、前記ニューラルネットワークにおける前記処理方法の第一制御パラメータの値を利用して正規化された指数関数に基づいて確定され、
    前記処理方法の第二特徴パラメータの重み係数は、前記ニューラルネットワークにおける前記処理方法の第二制御パラメータの値を利用して正規化された指数関数に基づいて確定される、
    ことを特徴とする請求項９又は１０に記載の画像処理装置。
12. 前記画像処理装置はトレーニングモジュールをさらに含み、前記第一制御パラメータ及び前記第二制御パラメータは前記トレーニングモジュールが前記ニューラルネットワークをトレーニングする時に獲得し、前記トレーニングモジュールは、
    ニューラルネットワークモデルの逆伝播法に基づいて、前記ニューラルネットワークの損失関数を最小化することにより、前記第一制御パラメータ、前記第二制御パラメータ及び前記ニューラルネットワークのネットワークパラメータに対して共同最適化を実行し、
    前記ニューラルネットワークの損失関数が最小になる時の第一制御パラメータの値を前記ニューラルネットワークの第一制御パラメーターの値とし、
    前記ニューラルネットワークの損失関数が最小になる時の第二制御パラメータの値を前記ニューラルネットワークの第二制御パラメーターの値とするために用いられる、
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記トレーニングモジュールは、具体的に、
    トレーニングしようとするニューラルネットワークに予め設定された処理方法セットの各処理方法の第一特徴パラメータの加重平均及び各処理方法の第二特徴パラメータの加重平均に基づいて、トレーニング用の画像データに対してホワイトニング処理を実行し、且つ予測結果を出力し、その中において、前記予め設定された処理方法セットの第一処理方法の第一制御パラメータの初期値は第一プリセット値であり、前記予め設定された処理方法セットの第一処理方法の第二制御パラメータの初期値は第二プリセット値であり、
    前記トレーニングしようとするニューラルネットワークから出力された予測結果及び前記トレーニング用の画像データの注釈結果に基づいて、前記ニューラルネットワークの損失関数を確定し、
    前記トレーニングしようとするニューラルネットワークの損失関数に基づいて、前記トレーニングしようとするニューラルネットワークの各第一制御パラメータ、各第二制御パラメータ及び各ネットワークパラメータを調整するために用いられる、
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記ホワイトニング処理モジュールは、具体的に、
    前記少なくとも２つの第一特徴パラメータの加重平均、前記少なくとも２つの第二特徴パラメータの加重平均及び前記処理しようとする画像データのチャネル数、高さ及び幅に基づいて、前記処理しようとする画像データの中の各画像データに対してホワイトニング処理を実行するために用いられる、
    ことを特徴とする請求項１２又は１３に記載の画像処理装置。
15. 前記標準化方法は、バッチ標準化方法、インスタンス標準化方法、レイヤ標準化方法の中の少なくとも１つを含む、
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記ホワイトニング方法は、バッチホワイトニング方法、インスタンスホワイトニング方法の中の少なくとも１つを含む、
    ことを特徴とする請求項１５に記載の画像処理装置。
17. プロセッサ及びメモリを含み、前記メモリにはコンピュータ実行可能命令が格納され、前記メモリに格納されたコンピュータ実行可能命令が前記プロセッサによって実行されると、請求項１〜８のいずれか一項に記載の画像処理方法を実現する、
    ことを特徴とする電子装置。
18. コンピュータプログラムが格納され、前記コンピュータプログラムがプロセッサによって実行されると、請求項１〜８のいずれか一項に記載の画像処理方法を実現する、
    ことを特徴とするコンピュータ可読記憶媒体。
19. 命令を含むコンピュータプログラム製品であって、それがコンピュータ上で実行されるとき、コンピュータに請求項１〜８のいずれか一項に記載の方法を実行させる、
    ことを特徴とするコンピュータプログラム製品。
    
    

Images