JP2022519469A - 画像品質評価方法及び装置 - Google Patents
画像品質評価方法及び装置 Download PDFInfo
- Publication number
- JP2022519469A JP2022519469A JP2021541615A JP2021541615A JP2022519469A JP 2022519469 A JP2022519469 A JP 2022519469A JP 2021541615 A JP2021541615 A JP 2021541615A JP 2021541615 A JP2021541615 A JP 2021541615A JP 2022519469 A JP2022519469 A JP 2022519469A
- Authority
- JP
- Japan
- Prior art keywords
- image
- quality evaluation
- distortion
- training
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000011156 evaluation Methods 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims description 44
- 230000006835 compression Effects 0.000 claims description 23
- 238000007906 compression Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 238000005562 fading Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- MTHSVFCYNBDYFN-UHFFFAOYSA-N diethylene glycol Chemical compound OCCOCCO MTHSVFCYNBDYFN-UHFFFAOYSA-N 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本発明は、画像品質評価方法及び装置を開示する。前記方法は、まずサンプル画像を取得し、次いで形状パラメータ及び異なる歪みレベルに従ってサンプル画像の輝度成分を調整して第１学習画像セットを取得し、所定の画像プロセッサによって第１学習画像を処理して第２学習画像セットを取得し、所定の歪みタイプ及び異なる歪みレベルでサンプル画像に対して画像処理することによって合成歪み学習画像セットを取得し、学習画像セット、学習画像セット内の各画像の歪みレベル及びサンプル画像の標準品質評価スコアを入力として画像品質評価モデルを構築し、評価対象画像を取得し、評価対象画像を画像品質評価モデルに入力して、評価対象画像の予測品質評価スコアを生成する。本発明を実施することにより、単一の歪み要因によって歪んだ画像に対しても複数の歪み要因の融合によって歪んだ画像に対しても、品質スコアの評価を行うことができる。【選択図】図１
Description
本発明は、画像処理の技術分野に関し、特に画像品質評価方法及び装置に関する。
ソーシャルメディアでの対話の大部分は、共有写真を含む。しかしながら、画像は、取得、後処理、伝送及び記憶において、多少なりとも歪みが生じる。このため、画像の品質評価は、重要な研究課題となっている。現実のアプリケーションでは、参照画像は、必ずしも取得可能ではない。例えば、ソーシャルプラットフォーム上で、ユーザは、写真を共有し、彼らの友人は、参照なしに写真を閲覧する。これは、非参照画像の品質評価が、機械認識分野の研究において、最も広く、最も深く入る分野となることを促進する。画像は、通常、２つの異なるタイプの歪みが生じる。１つは、高速フェージング、ホワイトノイズ、ピントーンガウス雑音、ＪＰＥＧ、ＪＰＥＧ２０００、ガウシアンファジー、グローバルコントラストの低下など、単一の要因による特定の歪みタイプを有する合成歪みである。もう１つは、カメラが捕捉、処理及び記憶中に生じる真の歪みである。撮影中の過度な露出、露出不足、動きによるボケ、低光量ノイズ、圧縮誤差などの複数の歪み要因の融合による真の歪みは、特定の歪みタイプを持たない。
従来技術の画像品質評価は、特定の歪みタイプを持つ画像、即ち、上述した合成歪みタイプの画像についての評価に限られている。例えば、出願番号「ＣＮ２０１９１０３６４６１４．０」の「画像歪みタイプに基づく画像品質評価方法」では、離散コサイン変換（ＤＣＴ）を用いて高次元画像の情報量を低次元画像に表現し、歪みの特徴値を抽出する。次に、サポートベクターマシン（ＳＶＭ）を用いて、１，２，３，４，…，ｎというラベルを持つＳＶＭ分類器モデルを作成し、歪みタイプをｎ種類に分類し、画像の歪みの特徴値を入力し、選択された画像を決定関数により歪みタイプを分類する。最後に、歪みタイプに応じて、それぞれの回帰評価モデルにおいて画像品質予測スコアを計算する。この方法は、歪みタイプ分類が必要であるが、明確な歪みタイプの定義がなく、複数の歪み要因の融合による真の歪みには適用せず、複数の歪み要因の融合による真の歪みの画像を画像評価することができない。
本発明の実施例は、単一の歪み要因に起因する歪みタイプが明確な歪み画像の品質スコア評価だけではなく、複数の歪み要因の融合に起因する歪みタイプが明確でない歪み画像の品質スコア評価も可能な画像品質評価方法及び装置を提供する。
本発明の１つの実施例は、画像品質評価方法を提供し、サンプル画像を取得し、次いで、所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、異なる歪みレベルの画像を含む第１学習画像セットを取得することと、動きフィルタ、ガウシアンローパスフィルタ、色差変換処理器及びグローバルコントラスト低下画像処理器のいずれか１つ以上の組み合わせを含む所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得することと、ガウシアンファジー、ＪＰＥＧ圧縮歪み、ＪＰＥＧ２０００圧縮歪み、高速フェージング歪み又はガウシアンホワイトノイズを含む所定の歪みタイプ、及び異なる歪みレベルで前記サンプル画像に対して画像処理することによって、異なる歪みレベルの合成歪み画像を含む合成歪み学習画像セットを取得することと、第２学習画像セット又は合成歪み学習画像セットを含む学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築することと、評価対象画像を取得し、前記評価対象画像を前記画像品質評価モデルに入力して、前記評価対象画像の予測品質評価スコアを取得することと、を含む。
更に、所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得した後に、前記第２学習画像セット内の各画像を所定の確率で圧縮処理を行うことを更に含む。
更に、前記の所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、第１学習画像セットを取得することは、具体的に、過度露出処理関数：
（ここで、前記λ１、δ１、γ１、ｖ１は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である。）によって前記サンプル画像の輝度成分を調整することを含む。
（ここで、前記λ１、δ１、γ１、ｖ１は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である。）によって前記サンプル画像の輝度成分を調整することを含む。
更に、前記の所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、第１学習画像セットを取得することは、具体的に、露出不足処理関数：
（ここで、前記λ２、δ２、γ２、ｖ２は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である。）によって前記サンプル画像の輝度成分を調整することを含む。
（ここで、前記λ２、δ２、γ２、ｖ２は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である。）によって前記サンプル画像の輝度成分を調整することを含む。
更に、前記の学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築することは、具体的に、
前記ニューラルネットワークの総損失関数：
（ここで、
は、適応的ランキング損失関数であり、
、
は、上限制御損失関数であり、
、
は、下限制御損失関数であり、
）が収束するまで、
（
は、前記サンプル画像であり、ｙ０は、前記サンプル画像の標準品質評価スコアであり、θは、ネットワークパラメータであり、ｋは、歪みレベルであり、ｙ０／（ｋ＋１）は、動的変化補償オペレータであり、φθ（・）は、ネットワーク出力値を示し、τｗは、所定の品質スコア上限であり、τｂは、所定の品質スコア下限であり、ｎ及びｍは、降順画像列のインデックスであり、λｒは、前記適応的ランキング損失関数の重み値であり、λｂは、前記上限制御損失関数の重み値であり、λｗは、前記下限制御損失関数の重み値である）として示される学習画像セット、学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークに入力して予備学習を行うことと、
複数の前記サンプル画像を含むサンプル画像セットを前記画像品質評価モデルに入力し、微調整学習時に対応する損失関数：
（Ｎは、前記サンプル画像セット内の画像の数であり、πは、第２ネットワークパラメータであり、Ｉｉは、前記サンプル画像セット内のサンプル画像を示し、yｉは、前記サンプル画像におけるサンプル画像の標準品質評価スコアを示す）が収束するまで微調整学習を行い、前記画像品質評価モデルを取得することと、を含む。
前記ニューラルネットワークの総損失関数：
（ここで、
は、適応的ランキング損失関数であり、
、
は、上限制御損失関数であり、
、
は、下限制御損失関数であり、
）が収束するまで、
（
は、前記サンプル画像であり、ｙ０は、前記サンプル画像の標準品質評価スコアであり、θは、ネットワークパラメータであり、ｋは、歪みレベルであり、ｙ０／（ｋ＋１）は、動的変化補償オペレータであり、φθ（・）は、ネットワーク出力値を示し、τｗは、所定の品質スコア上限であり、τｂは、所定の品質スコア下限であり、ｎ及びｍは、降順画像列のインデックスであり、λｒは、前記適応的ランキング損失関数の重み値であり、λｂは、前記上限制御損失関数の重み値であり、λｗは、前記下限制御損失関数の重み値である）として示される学習画像セット、学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークに入力して予備学習を行うことと、
複数の前記サンプル画像を含むサンプル画像セットを前記画像品質評価モデルに入力し、微調整学習時に対応する損失関数：
（Ｎは、前記サンプル画像セット内の画像の数であり、πは、第２ネットワークパラメータであり、Ｉｉは、前記サンプル画像セット内のサンプル画像を示し、yｉは、前記サンプル画像におけるサンプル画像の標準品質評価スコアを示す）が収束するまで微調整学習を行い、前記画像品質評価モデルを取得することと、を含む。
上記の方法の実施例に対応して、本発明は、装置の実施例を提供する。
本発明の１つの実施例は、画像品質評価装置を提供し、サンプル画像を取得し、次いで、所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、異なる歪みレベルの画像を含む第１学習画像セットを取得する第１画像処理モジュールと、動きフィルタ、ガウシアンローパスフィルタ、色差変換処理器及びグローバルコントラスト低下画像処理器のいずれか１つ以上の組み合わせを含む所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得する第２画像処理モジュールと、ガウシアンファジー、ＪＰＥＧ圧縮歪み、ＪＰＥＧ２０００圧縮歪み、高速フェージング歪み又はガウシアンホワイトノイズを含む所定の歪みタイプ、及び異なる歪みレベルで前記サンプル画像に対して画像処理することによって、異なる歪みレベルの合成歪み画像を含む合成歪み学習画像セットを取得する第３画像処理モジュールと、第２学習画像セット又は合成歪み学習画像セットを含む学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築する画像品質評価モデル構築モジュールと、評価対象画像を取得し、前記評価対象画像を前記画像品質評価モデルに入力して、前記評価対象画像の予測品質評価スコアを取得する画像評価モジュールとを含む。
更に、前記第２学習画像セット内の各画像を所定の確率で圧縮処理を行う第４画像処理モジュールを更に含む。
本発明の実施例を実施することにより、以下の効果が得られる。
本発明の実施例は、画像品質評価方法及び装置を提供する。前記方法は、まず、サンプル画像の輝度成分を調整して画像の過度露出／露出不足の歪みをシミュレーションして第１学習画像セットを取得し、第１学習画像セット内の画像を所定の画像プロセッサによって処理し、過度露出／露出不足の歪み要因を、所定の画像プロセッサに対応する歪み要因と融合し、複数の歪み要因の融合に起因する真の歪み画像セット、即ち上記第２学習画像セットを生成する。また、サンプル画像に対して、所定の歪みタイプと歪みレベルで画像処理を行うことにより、特定の歪み要因による歪みを有する合成歪み画像セット、即ち上記合成歪み学習画像セットを生成する。それに次いで上記第２学習画像セット又は合成歪み学習画像セットに基づいて、ニューラルネットワークにより画像品質評価モデルを構築する。最終的に評価対象画像を画像品質評価モデルに入力して、対応する予測品質評価スコアを取得する。本発明の実施例に係る画像品質評価方法は、従来技術に比べて、単一の歪み要因による特定の歪みタイプを有する画像（即ち、合成歪み画像）の品質評価を実現でき、複数の歪み要因の融合に起因する特定の歪みタイプを持たない画像（即ち、真の歪み画像）の品質評価を実現することもできる。
本発明の実施例は、画像品質評価方法及び装置を提供する。前記方法は、まず、サンプル画像の輝度成分を調整して画像の過度露出／露出不足の歪みをシミュレーションして第１学習画像セットを取得し、第１学習画像セット内の画像を所定の画像プロセッサによって処理し、過度露出／露出不足の歪み要因を、所定の画像プロセッサに対応する歪み要因と融合し、複数の歪み要因の融合に起因する真の歪み画像セット、即ち上記第２学習画像セットを生成する。また、サンプル画像に対して、所定の歪みタイプと歪みレベルで画像処理を行うことにより、特定の歪み要因による歪みを有する合成歪み画像セット、即ち上記合成歪み学習画像セットを生成する。それに次いで上記第２学習画像セット又は合成歪み学習画像セットに基づいて、ニューラルネットワークにより画像品質評価モデルを構築する。最終的に評価対象画像を画像品質評価モデルに入力して、対応する予測品質評価スコアを取得する。本発明の実施例に係る画像品質評価方法は、従来技術に比べて、単一の歪み要因による特定の歪みタイプを有する画像（即ち、合成歪み画像）の品質評価を実現でき、複数の歪み要因の融合に起因する特定の歪みタイプを持たない画像（即ち、真の歪み画像）の品質評価を実現することもできる。
以下、本発明の実施例の図面を参照しながら、本発明の実施例の技術手段を明確且つ完全的に記載する。明らかに、記載する実施例は、本発明の実施例の一部であり、全てではない。本発明の実施例に基づき、当業者が創造性のある作業をしなくても為しえる全ての他の実施例は、本発明の保護範囲に属するものである。
図１に示すように、本発明の１つの実施例に係る画像品質評価方法は、サンプル画像を取得し、次いで、所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、異なる歪みレベルの画像を含む第１学習画像セットを取得するステップＳ１０１と、動きフィルタ、ガウシアンローパスフィルタ、色差変換処理器及びグローバルコントラスト低下画像処理器のいずれか１つ以上の組み合わせを含む所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得するステップＳ１０２と、ガウシアンファジー、ＪＰＥＧ圧縮歪み、ＪＰＥＧ２０００圧縮歪み、高速フェージング歪み又はガウシアンホワイトノイズを含む所定の歪みタイプ、及び異なる歪みレベルで前記サンプル画像に対して画像処理することによって、異なる歪みレベルの合成歪み画像を含む合成歪み学習画像セットを取得するステップＳ１０３と、第２学習画像セット又は合成歪み学習画像セットを含む学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築するステップＳ１０４と、評価対象画像を取得し、前記評価対象画像を前記画像品質評価モデルに入力して、前記評価対象画像の予測品質評価スコアを取得するステップＳ１０５とを含む。
ステップＳ１０１について、まず、１枚のサンプル画像を取得し、該サンプル画像がＲＧＢ画像であればＨＳＶ画像に変換し、ＨＳＶ画像の輝度成分を抽出して調整し、過度な露出／露出不足の歪みによる画像の歪みをシミュレートする。具体的に、以下の２種類の調整方式を含む。
好ましい実施例において、前記の所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、第１学習画像セットを取得することは、具体的に、過度露出処理関数：
（ここで、前記λ１、δ１、γ１、ｖ１は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である）によって前記サンプル画像の輝度成分を調整することを含む。１つの実施例は、過度な露出歪みをシミュレートするために使用される。
（ここで、前記λ１、δ１、γ１、ｖ１は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である）によって前記サンプル画像の輝度成分を調整することを含む。１つの実施例は、過度な露出歪みをシミュレートするために使用される。
好ましい実施例において、前記の所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、第１学習画像セットを取得することは、具体的に、露出不足処理関数：
（ここで、前記λ２、δ２、γ２、ｖ２は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分である）によって前記サンプル画像の輝度成分を調整することを含む。この実施例は、露出不足歪みをシミュレートするために使用される。
（ここで、前記λ２、δ２、γ２、ｖ２は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分である）によって前記サンプル画像の輝度成分を調整することを含む。この実施例は、露出不足歪みをシミュレートするために使用される。
上記２種類の輝度成分調整方式は、実際の必要に応じて選択し、サンプル画像の過度な露出／露出不足歪みをシミュレートするシミュレーションを実現する。最後に、輝度成分が変更されたＨＳＶ画像をＲＧＢ３チャンネルの画像に戻し、第１学習画像セットを生成する。第１学習画像セットは、異なる歪みレベルの画像を含む。なお、歪みレベルが０である場合、オリジナルのサンプル画像を示す。
ステップＳ１０２について、まず、所定の画像プロセッサを説明する。サンプル画像のぶれ、焦点ずれ、ハレーション、コントラスト歪み等の単一又は複数の要因の組み合わせによる画像歪みをシミュレートするために、本発明は、異なる画像プロセッサを用いて組み合わせて上記所定の画像プロセッサを得て、そして、第１学習画像セットの画像に画像処理を行う。所定の画像プロセッサ、動きフィルタ、ガウシアンローパスフィルタ、色差変換処理器及びグローバルコントラスト低下画像処理器のいずれか１つ以上の組み合わせを含むことが好ましい。即ち、上記所定の画像プロセッサは、１つの画像プロセッサであってもよいし、複数の画像プロセッサの組み合わせであってもよい。この実施例について、更に記載する。
まず、１つの画像プロセッサを用いて、
を処理する。Ｉｔ１は、上記第１学習画像セット内の画像を示す。ｌ＝１，２，３，４は、それぞれ、動きフィルタ、ガウシアンローパスフィルタ、色差変換、グローバルコントラスト低下画像処理器のインデックス番号を示し、ｌの全ての組み合わせを１つのセットΩ＝｛｛１｝，｛２｝，｛３｝，｛４｝，｛１，２｝，，｛１，３｝，...，｛１，２，３，４｝｝に定義する。そして、融合ポリシーを実行して融合画像
を取得する。最終的に上記第２学習画像セットを生成する。１種類の画像プロセッサ、例えば、動きフィルタのみを用いて処理を行う場合には、過度な露出／露出不足の歪み要因及び画像ぶれの要因を受け、２種類の歪み要因の融合によるサンプル画像の歪みをシミュレートする。例えば、動きフィルタとグローバルコントラスト低下処理器のような２種類の画像プロセッサの組み合わせで処理を行う場合、過度な露出／露出不足の歪み要因、画像ぶれの要因及びコントラスト歪みを受け、３種類の歪み要因の融合によるサンプル画像の歪みをシミュレートする。この実施例によれば、複数の歪み要因（少なくとも２つ）の融合によるサンプル画像の真の歪みをシミュレートすることができる。
を処理する。Ｉｔ１は、上記第１学習画像セット内の画像を示す。ｌ＝１，２，３，４は、それぞれ、動きフィルタ、ガウシアンローパスフィルタ、色差変換、グローバルコントラスト低下画像処理器のインデックス番号を示し、ｌの全ての組み合わせを１つのセットΩ＝｛｛１｝，｛２｝，｛３｝，｛４｝，｛１，２｝，，｛１，３｝，...，｛１，２，３，４｝｝に定義する。そして、融合ポリシーを実行して融合画像
を取得する。最終的に上記第２学習画像セットを生成する。１種類の画像プロセッサ、例えば、動きフィルタのみを用いて処理を行う場合には、過度な露出／露出不足の歪み要因及び画像ぶれの要因を受け、２種類の歪み要因の融合によるサンプル画像の歪みをシミュレートする。例えば、動きフィルタとグローバルコントラスト低下処理器のような２種類の画像プロセッサの組み合わせで処理を行う場合、過度な露出／露出不足の歪み要因、画像ぶれの要因及びコントラスト歪みを受け、３種類の歪み要因の融合によるサンプル画像の歪みをシミュレートする。この実施例によれば、複数の歪み要因（少なくとも２つ）の融合によるサンプル画像の真の歪みをシミュレートすることができる。
好ましい実施例において、前記第２学習画像セット内の各画像を所定の確率で圧縮処理を行うことを更に含む。この実施例において、第２学習画像セットに対して、１／２の確率でＪＰＥＧ圧縮処理を行うことが好ましい。圧縮歪みの場合をシミュレートする。
なお、ステップＳ１０３について、まず、ステップＳ１０３と表記したが、ステップＳ１０１とステップＳ１０２の後に行うことを意味するものではなく、ステップＳ１０１の前に行うことも可能である。ステップの命名は、単に記述の便宜のためであり、コンピュータ実行順序を限定しない。ステップＳ１０１とステップＳ１０２によって、サンプル画像に対する真の歪み（複数の歪み要因が融合することによる歪みであって、明確な歪みタイプを持たない）のシミュレーションが行われ、ステップＳ１０３は、サンプル画像に対する合成歪み（単一の歪み要因による歪みであって、明確な歪みタイプを有する）のシミュレーションが行われる。このステップは、主に、所定の歪みタイプと歪みレベルとで画像処理を行えばよい。前記歪みタイプは、ガウシアンファジー、ＪＰＥＧ圧縮歪み、ＪＰＥＧ２０００圧縮歪み、高速フェージング歪み、又はガウシアンホワイトノイズのいずれかを含み、それらに限定されない。最終的に合成歪み学習画像セットを生成する。
ステップＳ１０４について、学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、学習画像セットの各画像の予測品質評価スコアを出力とし、ニューラルネットワークによって品質評価モデルを構築する。具体的な構築方式は、以下のとおりである。
学習画像セット、学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力としてニューラルネットワークに入力し、前記ニューラルネットワークの総損失関数が収束するまで予備学習を行う。ここで、予備学習時に前記ニューラルネットワークの総損失関数は、
である。
ここで、
は、適応的ランキング損失関数であり、
、
は、上限制御損失関数であり、
、
は、下限制御損失関数であり、
。
学習画像セットは、
として示される。
は、前記サンプル画像であり、ｙ０は、前記サンプル画像の標準品質評価スコアであり、θは、ネットワークパラメータであり、ｋは、歪みレベルであり、ｙ０／（ｋ＋１）は、動的変化補償オペレータであり、φθ（・）は、ネットワーク出力値を示し、τｗは、所定の品質スコア上限であり、τｂは、所定の品質スコア下限であり、ｎ及びｍは、降順画像列のインデックスであり、λｒは、前記適応的ランキング損失関数の重み値であり、λｂは、前記上限制御損失関数の重み値であり、λｗは、前記下限制御損失関数の重み値である。
複数の前記サンプル画像を含むサンプル画像セットを前記初期画像品質評価モデルに入力し、微調整学習時に対応する損失関数：
（Ｎは、前記サンプル画像セット内の画像の数であり、πは、第２ネットワークパラメータであり、Ｉｉは、前記サンプル画像セット内のサンプル画像を示し、yｉは、前記サンプル画像セット内のサンプル画像の標準品質評価スコアを示す）が収束するまで微調整学習を行い、前記画像品質評価モデルを取得する。従来のランキング学習関数は、ランキングピッチが定数で上下限にも制限がないため、ランキングの出力結果が暴走しやすい。本発明のこの実施例は、予備学習時に適応的ランキング損失関数と上下限制御損失関数を設定して、予備学習のランキング結果が画像の標準品質評価スコアによりよく適応できるようにする。本明細書で言及される標準品質評価スコアは、参照のために予め設定された標準スコアを指す。選択された学習画像セットが上記第２学習画像セットである場合、構築された画質評価モデルを用いて真の歪み画像を評価することができ、選択された学習画像セットが上述合成歪み学習画像セットである場合、構築された画像品質評価モデルを用いて合成歪み画像を評価することができる。
学習画像セット、学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力としてニューラルネットワークに入力し、前記ニューラルネットワークの総損失関数が収束するまで予備学習を行う。ここで、予備学習時に前記ニューラルネットワークの総損失関数は、
である。
ここで、
は、適応的ランキング損失関数であり、
、
は、上限制御損失関数であり、
は、下限制御損失関数であり、
。
学習画像セットは、
として示される。
は、前記サンプル画像であり、ｙ０は、前記サンプル画像の標準品質評価スコアであり、θは、ネットワークパラメータであり、ｋは、歪みレベルであり、ｙ０／（ｋ＋１）は、動的変化補償オペレータであり、φθ（・）は、ネットワーク出力値を示し、τｗは、所定の品質スコア上限であり、τｂは、所定の品質スコア下限であり、ｎ及びｍは、降順画像列のインデックスであり、λｒは、前記適応的ランキング損失関数の重み値であり、λｂは、前記上限制御損失関数の重み値であり、λｗは、前記下限制御損失関数の重み値である。
複数の前記サンプル画像を含むサンプル画像セットを前記初期画像品質評価モデルに入力し、微調整学習時に対応する損失関数：
（Ｎは、前記サンプル画像セット内の画像の数であり、πは、第２ネットワークパラメータであり、Ｉｉは、前記サンプル画像セット内のサンプル画像を示し、yｉは、前記サンプル画像セット内のサンプル画像の標準品質評価スコアを示す）が収束するまで微調整学習を行い、前記画像品質評価モデルを取得する。従来のランキング学習関数は、ランキングピッチが定数で上下限にも制限がないため、ランキングの出力結果が暴走しやすい。本発明のこの実施例は、予備学習時に適応的ランキング損失関数と上下限制御損失関数を設定して、予備学習のランキング結果が画像の標準品質評価スコアによりよく適応できるようにする。本明細書で言及される標準品質評価スコアは、参照のために予め設定された標準スコアを指す。選択された学習画像セットが上記第２学習画像セットである場合、構築された画質評価モデルを用いて真の歪み画像を評価することができ、選択された学習画像セットが上述合成歪み学習画像セットである場合、構築された画像品質評価モデルを用いて合成歪み画像を評価することができる。
ステップＳ１０５について、評価対象画像を取得し、前記評価対象画像を前記画像品質評価モデルに入力して、前記評価対象画像の予測品質評価スコアを取得する。ユーザは、得られた予測品質評価スコアに基づいて、評価対象画像を評価する。
上記の方法の実施例に対応して、本発明は、装置の実施例を提供する。
図２に示すように、本発明の別の実施例に係る画像品質評価装置は、サンプル画像を取得し、次いで、所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、異なる歪みレベルの画像を含む第１学習画像セットを取得する第１画像処理モジュールと、動きフィルタ、ガウシアンローパスフィルタ、色差変換処理器及びグローバルコントラスト低下画像処理器のいずれか１つ以上の組み合わせを含む所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得する第２画像処理モジュールと、ガウシアンファジー、ＪＰＥＧ圧縮歪み、ＪＰＥＧ２０００圧縮歪み、高速フェージング歪み又はガウシアンホワイトノイズを含む所定の歪みタイプ、及び異なる歪みレベルで前記サンプル画像に対して画像処理することによって、異なる歪みレベルの合成歪み画像を含む合成歪み学習画像セットを取得する第３画像処理モジュールと、第２学習画像セット又は合成歪み学習画像セットを含む学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築する画像品質評価モデル構築モジュールと、評価対象画像を取得し、前記評価対象画像を前記画像品質評価モデルに入力して、前記評価対象画像の予測品質評価スコアを取得する画像評価モジュールとを含む。
１つの好適な実施例において、前記第２学習画像セット内の各画像を所定の確率で圧縮処理を行う第４画像処理モジュールを更に含む。
なお、上記の装置実施例は、本発明の方法実施例に対応するものであり、本発明の上記いずれか１つの方法実施例に係る画像品質評価方法を実現することができる。
なお、上述した装置の実施例は、単に模式的なものであって、分離手段として説明したモジュールは、物理的に分離されていてもよいし、物理的に分離されていなくてもよい。モジュールとして示される構成要素は、物理的モジュールであってもなくてもよく、即ち、１つの場所に配置されてもよく、又は、複数のネットワークユニットに分散されてもよい。本実施例の目的は、実際の必要に応じてモジュールの一部又は全部を選択して達成することができる。また、本発明が提供する装置の実施例の図面において、モジュール間の接続関係は、それらの間に通信接続があることを示し、具体的には１つ以上の通信バス又は信号線として実現することができる。当業者であれば、創造的な労力を払うことなく、理解し、実施することができる。なお、模式図は、画像品質評価装置の一例であって、画像品質評価装置を限定するものではなく、図示したものよりも多くの部材を含んでいてもよいし、一部の部材を組み合わせていてもよいし、異なる部材を含んでいてもよい。
本発明の実施例に係る画像品質評価方法は、従来技術に比べ、単一の歪み要因に起因する特定の歪みタイプを有する画像の品質評価だけではなく、複数の歪み要因の融合に起因する特定の歪みタイプを有さない画像の品質評価も実現することができる。
以上記載されたのは、本発明の好適な実施形態である。当業者は、本発明の原理を逸脱せずに様々な改良や修飾をすることもできる。これらの改良や修飾も、本発明の保護範囲として見なされる。
（付記）
（付記１）
画像品質評価方法であって、
サンプル画像を取得し、次いで、所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、異なる歪みレベルの画像を含む第１学習画像セットを取得することと、
動きフィルタ、ガウシアンローパスフィルタ、色差変換処理器及びグローバルコントラスト低下画像処理器のいずれか１つ以上の組み合わせを含む所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得することと、
ガウシアンファジー、ＪＰＥＧ圧縮歪み、ＪＰＥＧ２０００圧縮歪み、高速フェージング歪み又はガウシアンホワイトノイズを含む所定の歪みタイプ、及び異なる歪みレベルで前記サンプル画像に対して画像処理することによって、異なる歪みレベルの合成歪み画像を含む合成歪み学習画像セットを取得することと、
第２学習画像セット又は合成歪み学習画像セットを含む学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築することと、
評価対象画像を取得し、前記評価対象画像を前記画像品質評価モデルに入力して、前記評価対象画像の予測品質評価スコアを取得することと、を含むことを特徴とする、
画像品質評価方法。
（付記１）
画像品質評価方法であって、
サンプル画像を取得し、次いで、所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、異なる歪みレベルの画像を含む第１学習画像セットを取得することと、
動きフィルタ、ガウシアンローパスフィルタ、色差変換処理器及びグローバルコントラスト低下画像処理器のいずれか１つ以上の組み合わせを含む所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得することと、
ガウシアンファジー、ＪＰＥＧ圧縮歪み、ＪＰＥＧ２０００圧縮歪み、高速フェージング歪み又はガウシアンホワイトノイズを含む所定の歪みタイプ、及び異なる歪みレベルで前記サンプル画像に対して画像処理することによって、異なる歪みレベルの合成歪み画像を含む合成歪み学習画像セットを取得することと、
第２学習画像セット又は合成歪み学習画像セットを含む学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築することと、
評価対象画像を取得し、前記評価対象画像を前記画像品質評価モデルに入力して、前記評価対象画像の予測品質評価スコアを取得することと、を含むことを特徴とする、
画像品質評価方法。
（付記２）
所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得した後に、
前記第２学習画像セット内の各画像を所定の確率で圧縮処理を行うことを更に含むことを特徴とする、
付記１に記載の画像品質評価方法。
所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得した後に、
前記第２学習画像セット内の各画像を所定の確率で圧縮処理を行うことを更に含むことを特徴とする、
付記１に記載の画像品質評価方法。
（付記３）
前記の所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、第１学習画像セットを取得することは、具体的に、
過度露出処理関数：
（ここで、前記λ１、δ１、γ１、ｖ１は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である）によって前記サンプル画像の輝度成分を調整することを含むことを特徴とする、
付記１に記載の画像品質評価方法。
前記の所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、第１学習画像セットを取得することは、具体的に、
過度露出処理関数：
（ここで、前記λ１、δ１、γ１、ｖ１は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である）によって前記サンプル画像の輝度成分を調整することを含むことを特徴とする、
付記１に記載の画像品質評価方法。
（付記４）
前記の所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、第１学習画像セットを取得することは、具体的に、
露出不足処理関数：
（ここで、前記λ２、δ２、γ２、ｖ２は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である）によって前記サンプル画像の輝度成分を調整することを含むことを特徴とする、
付記１に記載の画像品質評価方法。
前記の所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、第１学習画像セットを取得することは、具体的に、
露出不足処理関数：
（ここで、前記λ２、δ２、γ２、ｖ２は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である）によって前記サンプル画像の輝度成分を調整することを含むことを特徴とする、
付記１に記載の画像品質評価方法。
（付記５）
前記の学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築することは、具体的に、
前記ニューラルネットワークの総損失関数：
（ここで、
は、適応的ランキング損失関数であり、
、
は、上限制御損失関数であり、
、
は、下限制御損失関数であり、
）が収束するまで、
（
は、前記サンプル画像であり、ｙ０は、前記サンプル画像の標準品質評価スコアであり、θは、ネットワークパラメータであり、ｋは、歪みレベルであり、ｙ０／（ｋ＋１）は、動的変化補償オペレータであり、φθ（・）は、ネットワーク出力値を示し、τｗは、所定の品質スコア上限であり、τｂは、所定の品質スコア下限であり、ｎ及びｍは、降順画像列のインデックスであり、λｒは、前記適応的ランキング損失関数の重み値であり、λｂは、前記上限制御損失関数の重み値であり、λｗは、前記下限制御損失関数の重み値である。）として示される学習画像セット、学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークに入力して予備学習を行うことと、
複数の前記サンプル画像を含むサンプル画像セットを前記画像品質評価モデルに入力し、微調整学習時に対応する損失関数：
（Ｎは、前記サンプル画像セット内の画像の数であり、πは、第２ネットワークパラメータであり、Ｉiは、前記サンプル画像セット内のサンプル画像を示し、ｙiは、前記サンプル画像セット内のサンプル画像の標準品質評価スコアを示す）が収束するまで微調整学習を行い、前記画像品質評価モデルを取得することと、を含むことを特徴とする、
付記１に記載の画像品質評価方法。
前記の学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築することは、具体的に、
前記ニューラルネットワークの総損失関数：
（ここで、
は、適応的ランキング損失関数であり、
、
は、上限制御損失関数であり、
、
は、下限制御損失関数であり、
）が収束するまで、
（
は、前記サンプル画像であり、ｙ０は、前記サンプル画像の標準品質評価スコアであり、θは、ネットワークパラメータであり、ｋは、歪みレベルであり、ｙ０／（ｋ＋１）は、動的変化補償オペレータであり、φθ（・）は、ネットワーク出力値を示し、τｗは、所定の品質スコア上限であり、τｂは、所定の品質スコア下限であり、ｎ及びｍは、降順画像列のインデックスであり、λｒは、前記適応的ランキング損失関数の重み値であり、λｂは、前記上限制御損失関数の重み値であり、λｗは、前記下限制御損失関数の重み値である。）として示される学習画像セット、学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークに入力して予備学習を行うことと、
複数の前記サンプル画像を含むサンプル画像セットを前記画像品質評価モデルに入力し、微調整学習時に対応する損失関数：
（Ｎは、前記サンプル画像セット内の画像の数であり、πは、第２ネットワークパラメータであり、Ｉiは、前記サンプル画像セット内のサンプル画像を示し、ｙiは、前記サンプル画像セット内のサンプル画像の標準品質評価スコアを示す）が収束するまで微調整学習を行い、前記画像品質評価モデルを取得することと、を含むことを特徴とする、
付記１に記載の画像品質評価方法。
（付記６）
画像品質評価装置であって、
サンプル画像を取得し、次いで、所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、異なる歪みレベルの画像を含む第１学習画像セットを取得する第１画像処理モジュールと、
動きフィルタ、ガウシアンローパスフィルタ、色差変換処理器及びグローバルコントラスト低下画像処理器のいずれか１つ以上の組み合わせを含む所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得する第２画像処理モジュールと、
ガウシアンファジー、ＪＰＥＧ圧縮歪み、ＪＰＥＧ２０００圧縮歪み、高速フェージング歪み又はガウシアンホワイトノイズを含む所定の歪みタイプ、及び異なる歪みレベルで前記サンプル画像に対して画像処理することによって、異なる歪みレベルの合成歪み画像を含む合成歪み学習画像セットを取得する第３画像処理モジュールと、
第２学習画像セット又は合成歪み学習画像セットを含む学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築する画像品質評価モデル構築モジュールと、
評価対象画像を取得し、前記評価対象画像を前記画像品質評価モデルに入力して、前記評価対象画像の予測品質評価スコアを取得する画像評価モジュールと、を含むことを特徴とする、
画像品質評価装置。
画像品質評価装置であって、
サンプル画像を取得し、次いで、所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、異なる歪みレベルの画像を含む第１学習画像セットを取得する第１画像処理モジュールと、
動きフィルタ、ガウシアンローパスフィルタ、色差変換処理器及びグローバルコントラスト低下画像処理器のいずれか１つ以上の組み合わせを含む所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得する第２画像処理モジュールと、
ガウシアンファジー、ＪＰＥＧ圧縮歪み、ＪＰＥＧ２０００圧縮歪み、高速フェージング歪み又はガウシアンホワイトノイズを含む所定の歪みタイプ、及び異なる歪みレベルで前記サンプル画像に対して画像処理することによって、異なる歪みレベルの合成歪み画像を含む合成歪み学習画像セットを取得する第３画像処理モジュールと、
第２学習画像セット又は合成歪み学習画像セットを含む学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築する画像品質評価モデル構築モジュールと、
評価対象画像を取得し、前記評価対象画像を前記画像品質評価モデルに入力して、前記評価対象画像の予測品質評価スコアを取得する画像評価モジュールと、を含むことを特徴とする、
画像品質評価装置。
（付記７）
前記第２学習画像セット内の各画像を所定の確率で圧縮処理を行う第４画像処理モジュールを更に含むことを特徴とする、
付記６に記載の画像品質評価装置。
前記第２学習画像セット内の各画像を所定の確率で圧縮処理を行う第４画像処理モジュールを更に含むことを特徴とする、
付記６に記載の画像品質評価装置。
Claims (7)
- 画像品質評価方法であって、
サンプル画像を取得し、次いで、所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、異なる歪みレベルの画像を含む第１学習画像セットを取得することと、
動きフィルタ、ガウシアンローパスフィルタ、色差変換処理器及びグローバルコントラスト低下画像処理器のいずれか１つ以上の組み合わせを含む所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得することと、
ガウシアンファジー、ＪＰＥＧ圧縮歪み、ＪＰＥＧ２０００圧縮歪み、高速フェージング歪み又はガウシアンホワイトノイズを含む所定の歪みタイプ、及び異なる歪みレベルで前記サンプル画像に対して画像処理することによって、異なる歪みレベルの合成歪み画像を含む合成歪み学習画像セットを取得することと、
第２学習画像セット又は合成歪み学習画像セットを含む学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築することと、
評価対象画像を取得し、前記評価対象画像を前記画像品質評価モデルに入力して、前記評価対象画像の予測品質評価スコアを取得することと、を含むことを特徴とする、
画像品質評価方法。 - 所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得した後に、
前記第２学習画像セット内の各画像を所定の確率で圧縮処理を行うことを更に含むことを特徴とする、
請求項１に記載の画像品質評価方法。 - 前記の所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、第１学習画像セットを取得することは、具体的に、
過度露出処理関数：
（ここで、前記λ１、δ１、γ１、ｖ１は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である）によって前記サンプル画像の輝度成分を調整することを含むことを特徴とする、
請求項１に記載の画像品質評価方法。 - 前記の所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、第１学習画像セットを取得することは、具体的に、
露出不足処理関数：
（ここで、前記λ２、δ２、γ２、ｖ２は、形状パラメータであり、ｋは、歪みレベルであり、Ｌは、輝度成分であり、ｉは、輝度成分に対応する横座標であり、ｊは、輝度成分に対応する縦座標である）によって前記サンプル画像の輝度成分を調整することを含むことを特徴とする、
請求項１に記載の画像品質評価方法。 - 前記の学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築することは、具体的に、
前記ニューラルネットワークの総損失関数：
（ここで、
は、適応的ランキング損失関数であり、
、
は、上限制御損失関数であり、
、
は、下限制御損失関数であり、
）が収束するまで、
（
は、前記サンプル画像であり、ｙ０は、前記サンプル画像の標準品質評価スコアであり、θは、ネットワークパラメータであり、ｋは、歪みレベルであり、ｙ０／（ｋ＋１）は、動的変化補償オペレータであり、φθ（・）は、ネットワーク出力値を示し、τｗは、所定の品質スコア上限であり、τｂは、所定の品質スコア下限であり、ｎ及びｍは、降順画像列のインデックスであり、λｒは、前記適応的ランキング損失関数の重み値であり、λｂは、前記上限制御損失関数の重み値であり、λｗは、前記下限制御損失関数の重み値である。）として示される学習画像セット、学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークに入力して予備学習を行うことと、
複数の前記サンプル画像を含むサンプル画像セットを前記画像品質評価モデルに入力し、微調整学習時に対応する損失関数：
（Ｎは、前記サンプル画像セット内の画像の数であり、πは、第２ネットワークパラメータであり、Ｉｉは、前記サンプル画像セット内のサンプル画像を示し、yｉは、前記サンプル画像セット内のサンプル画像の標準品質評価スコアを示す）が収束するまで微調整学習を行い、前記画像品質評価モデルを取得することと、を含むことを特徴とする、
請求項１に記載の画像品質評価方法。 - 画像品質評価装置であって、
サンプル画像を取得し、次いで、所定の形状パラメータ及び異なる歪みレベルに従って前記サンプル画像の輝度成分を調整し、異なる歪みレベルの画像を含む第１学習画像セットを取得する第１画像処理モジュールと、
動きフィルタ、ガウシアンローパスフィルタ、色差変換処理器及びグローバルコントラスト低下画像処理器のいずれか１つ以上の組み合わせを含む所定の画像プロセッサによって、前記第１学習画像セット内の各画像を処理して第２学習画像セットを取得する第２画像処理モジュールと、
ガウシアンファジー、ＪＰＥＧ圧縮歪み、ＪＰＥＧ２０００圧縮歪み、高速フェージング歪み又はガウシアンホワイトノイズを含む所定の歪みタイプ、及び異なる歪みレベルで前記サンプル画像に対して画像処理することによって、異なる歪みレベルの合成歪み画像を含む合成歪み学習画像セットを取得する第３画像処理モジュールと、
第２学習画像セット又は合成歪み学習画像セットを含む学習画像セット、前記学習画像セット内の各画像の歪みレベル及び前記サンプル画像の標準品質評価スコアを入力とし、ニューラルネットワークによって画像品質評価モデルを構築する画像品質評価モデル構築モジュールと、
評価対象画像を取得し、前記評価対象画像を前記画像品質評価モデルに入力して、前記評価対象画像の予測品質評価スコアを取得する画像評価モジュールと、を含むことを特徴とする、
画像品質評価装置。 - 前記第２学習画像セット内の各画像を所定の確率で圧縮処理を行う第４画像処理モジュールを更に含むことを特徴とする、
請求項６に記載の画像品質評価装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002727.9 | 2020-01-02 | ||
| CN202010002727.9A CN111192258A (zh) | 2020-01-02 | 2020-01-02 | 一种图像质量评估方法及装置 |
| PCT/CN2020/115341 WO2021135391A1 (zh) | 2020-01-02 | 2020-09-15 | 一种图像质量评估方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022519469A true JP2022519469A (ja) | 2022-03-24 |
Family
ID=70709675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021541615A Pending JP2022519469A (ja) | 2020-01-02 | 2020-09-15 | 画像品質評価方法及び装置 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP2022519469A (ja) |
| CN (1) | CN111192258A (ja) |
| WO (1) | WO2021135391A1 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192258A (zh) * | 2020-01-02 | 2020-05-22 | 广州大学 | 一种图像质量评估方法及装置 |
| CN112116568A (zh) * | 2020-09-10 | 2020-12-22 | 广东电网有限责任公司广州供电局 | 一种图像质量评价方法、装置及存储介质 |
| CN112116589B (zh) * | 2020-09-30 | 2024-02-27 | 腾讯科技（深圳）有限公司 | 虚拟形象的评测方法、装置、设备及计算机可读存储介质 |
| CN112215833B (zh) * | 2020-10-22 | 2021-09-28 | 江苏云从曦和人工智能有限公司 | 图像质量评估方法、装置以及计算机可读存储介质 |
| CN112634268B (zh) * | 2021-01-11 | 2024-01-05 | 北京霍因科技有限公司 | 一种视频质量评价方法、装置及电子设备 |
| CN112819758A (zh) * | 2021-01-19 | 2021-05-18 | 武汉精测电子集团股份有限公司 | 训练数据集的生成方法及装置 |
| CN112801536B (zh) * | 2021-02-20 | 2024-04-30 | 北京金山云网络技术有限公司 | 图像处理方法、装置和电子设备 |
| CN112949623B (zh) * | 2021-05-13 | 2021-08-13 | 北京世纪好未来教育科技有限公司 | 模型训练、图像质量评估方法及装置、电子设备、介质 |
| CN113505854B (zh) * | 2021-07-29 | 2023-08-15 | 济南博观智能科技有限公司 | 一种人脸图像质量评价模型构建方法、装置、设备及介质 |
| CN114240872A (zh) * | 2021-12-13 | 2022-03-25 | 中国平安财产保险股份有限公司 | 图片质量评估方法、装置、计算机设备及存储介质 |
| CN116703739A (zh) * | 2022-02-25 | 2023-09-05 | 索尼集团公司 | 图像增强方法及设备 |
| CN114821174B (zh) * | 2022-04-24 | 2024-02-27 | 西北工业大学 | 一种基于内容感知的输电线路航拍图像数据清洗方法 |
| CN114972124B (zh) * | 2022-07-29 | 2022-10-28 | 自然资源部第三地理信息制图院 | 一种遥感图像亮度自适应均衡方法及系统 |
| CN116563210B (zh) * | 2023-03-21 | 2023-12-08 | 安徽中新云谷数字技术有限公司 | 一种虚拟现实图像质量评价方法及系统 |
| CN116433194B (zh) * | 2023-04-25 | 2023-10-03 | 中铁四局集团有限公司 | 一种铁路隧道钢构件加工集中区管理信息化系统 |
| CN117078659B (zh) * | 2023-09-21 | 2024-01-26 | 中国矿业大学 | 基于主动学习的少样本无参考图像质量评价算法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014191462A1 (en) * | 2013-05-28 | 2014-12-04 | Vrije Universiteit Brussel | Method and apparatus for predicting the perceptual quality of a signal |
| US20160379352A1 (en) * | 2015-06-24 | 2016-12-29 | Samsung Electronics Co., Ltd. | Label-free non-reference image quality assessment via deep neural network |
| JP2018516412A (ja) * | 2015-06-05 | 2018-06-21 | ソニー株式会社 | 畳み込みニューラルネットワークに基づいたフルリファレンス画像品質評価方法 |
| WO2019057067A1 (zh) * | 2017-09-20 | 2019-03-28 | 众安信息技术服务有限公司 | 图像质量评估方法及装置 |
| CN110570406A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 从局部到全局特征回归无参考立体图像质量评价方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104103063A (zh) * | 2013-04-10 | 2014-10-15 | 江南大学 | 一种基于自动调焦原理无参考噪声图像质量评价方法 |
| CN103400367A (zh) * | 2013-07-03 | 2013-11-20 | 河海大学常州校区 | 一种无参考型模糊图像质量评价方法 |
| US10529066B2 (en) * | 2017-04-04 | 2020-01-07 | Board Of Regents, The University Of Texas Systems | Assessing quality of images or videos using a two-stage quality assessment |
| CN107633520A (zh) * | 2017-09-28 | 2018-01-26 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的超分辨率图像质量评估方法 |
| CN109801256B (zh) * | 2018-12-15 | 2023-05-26 | 华南理工大学 | 一种基于感兴趣区域和全局特征的图像美学质量评估方法 |
| CN110047071A (zh) * | 2019-04-26 | 2019-07-23 | 杭州智趣智能信息技术有限公司 | 一种图像质量评估方法、装置和介质 |
| CN110211119B (zh) * | 2019-06-04 | 2021-06-04 | 厦门美图之家科技有限公司 | 图像质量评估方法、装置、电子设备及可读存储介质 |
| CN110378848B (zh) * | 2019-07-08 | 2021-04-20 | 中南大学 | 一种基于衍生图融合策略的图像去雾方法 |
| CN110570420B (zh) * | 2019-09-16 | 2023-04-07 | 中山大学 | 一种无参考对比度失真图像质量评价方法 |
| CN111192258A (zh) * | 2020-01-02 | 2020-05-22 | 广州大学 | 一种图像质量评估方法及装置 |
-
2020
- 2020-01-02 CN CN202010002727.9A patent/CN111192258A/zh active Pending
- 2020-09-15 WO PCT/CN2020/115341 patent/WO2021135391A1/zh active Application Filing
- 2020-09-15 JP JP2021541615A patent/JP2022519469A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014191462A1 (en) * | 2013-05-28 | 2014-12-04 | Vrije Universiteit Brussel | Method and apparatus for predicting the perceptual quality of a signal |
| JP2018516412A (ja) * | 2015-06-05 | 2018-06-21 | ソニー株式会社 | 畳み込みニューラルネットワークに基づいたフルリファレンス画像品質評価方法 |
| US20160379352A1 (en) * | 2015-06-24 | 2016-12-29 | Samsung Electronics Co., Ltd. | Label-free non-reference image quality assessment via deep neural network |
| WO2019057067A1 (zh) * | 2017-09-20 | 2019-03-28 | 众安信息技术服务有限公司 | 图像质量评估方法及装置 |
| CN110570406A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 从局部到全局特征回归无参考立体图像质量评价方法 |
Non-Patent Citations (1)
| Title |
|---|
| FU-ZHAO OU ET AL.: ""Controllable List-wise Ranking for Universal No-reference Image Quality Assessment"", ARXIV, JPN7022003364, 24 November 2019 (2019-11-24), US, pages 1 - 10, ISSN: 0004911042 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021135391A1 (zh) | 2021-07-08 |
| CN111192258A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2022519469A (ja) | 画像品質評価方法及び装置 | |
| Ma et al. | Deep guided learning for fast multi-exposure image fusion | |
| Lv et al. | Attention guided low-light image enhancement with a large scale low-light simulation dataset | |
| Kou et al. | Multi-scale exposure fusion via gradient domain guided image filtering | |
| Chen et al. | A new journey from SDRTV to HDRTV | |
| US7343040B2 (en) | Method and system for modifying a digital image taking into account it's noise | |
| DE102018006243A1 (de) | Vorhersagen von Patchverschiebungsabbildungen unter Verwendung eines Neuronalnetzwerkes | |
| Zuo et al. | Screen content image quality assessment via convolutional neural network | |
| DE112013004507T5 (de) | Bildverarbeitungsvorrichtung, Bilderfassungsvorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium | |
| CN105809643B (zh) | 一种基于自适应块通道拉伸的图像增强方法 | |
| Pan et al. | MIEGAN: Mobile image enhancement via a multi-module cascade neural network | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN104954698B (zh) | 能够生成合成视频图像的图像处理设备及其控制方法 | |
| CN107895350B (zh) | 一种基于自适应双伽玛变换的hdr图像生成方法 | |
| JP2021531571A (ja) | 証明書画像抽出方法及び端末機器 | |
| US11138693B2 (en) | Attention-driven image manipulation | |
| CN111226256A (zh) | 用于图像动态范围调整的系统和方法 | |
| CN112541868A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113781318A (zh) | 一种图像颜色映射方法、装置、终端设备及存储介质 | |
| CN106815803A (zh) | 图片的处理方法及装置 | |
| Song et al. | Naturalness index for a tone-mapped high dynamic range image | |
| CN113297937A (zh) | 一种图像处理方法、装置、设备及介质 | |
| JP2006031440A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び画像処理システム | |
| CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
| Jiang et al. | Meflut: Unsupervised 1d lookup tables for multi-exposure image fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220920 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221101 |