JP2013520037A5 - - Google Patents

Download PDF

Info

Publication number
JP2013520037A5
JP2013520037A5 JP2012552211A JP2012552211A JP2013520037A5 JP 2013520037 A5 JP2013520037 A5 JP 2013520037A5 JP 2012552211 A JP2012552211 A JP 2012552211A JP 2012552211 A JP2012552211 A JP 2012552211A JP 2013520037 A5 JP2013520037 A5 JP 2013520037A5
Authority
JP
Japan
Prior art keywords
image
level
subband
approximate
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012552211A
Other languages
English (en)
Other versions
JP5510688B2 (ja
JP2013520037A (ja
Filing date
Publication date
Priority claimed from US12/906,112 external-priority patent/US8515182B2/en
Application filed filed Critical
Publication of JP2013520037A publication Critical patent/JP2013520037A/ja
Publication of JP2013520037A5 publication Critical patent/JP2013520037A5/ja
Application granted granted Critical
Publication of JP5510688B2 publication Critical patent/JP5510688B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明の一実施形態では、近似品質計測値は近似品質マップであり、エッジ品質計測値はエッジ品質マップであり、段階(g)はさらに、画像Xおよび画像Yの近似サブバンドおよびエッジマップの画素に対応する値を、それぞれの人間の視覚システムに対する重要度に応じて割り当てることを含む、コントラストマップを生成する段階と、コントラストマップを利用して近似品質マップに重み付けされたプーリングを実行して、近似品質スコアを生成する段階と、コントラストマップを利用してエッジ品質マップに重み付けされたプーリングを実行して、エッジ品質スコアを生成する段階と、似類似度スコアを、エッジ類似度スコアと組み合わせて、品質計測値を決定する段階とを有する。
本発明の実施形態のシステム100を表す。 図1aのレベル数ユニット102を詳細に示す。 図1aの第1の分解ユニット103を詳細に示す。 図1aの第2の分解ユニット104を詳細に示す。 図1aの第1の集計ユニット113を詳細に示す。 図1aの第2の集計ユニット114を詳細に示す。 SSIM IQMに対する別の実施形態について、図1aの近似品質計測ユニット105、品質計測ユニット108、および、エッジ品質計測ユニット109を詳細に示す。 AD IQMに基づく別の実施形態について、図1aの近似品質計測ユニット105、品質計測ユニット108、および、エッジ品質計測ユニット109を詳細に示す。 PSNR IQMに基づく別の実施形態について、図1aの近似品質計測ユニット105、品質計測ユニット108、および、エッジ品質計測ユニット109を詳細に示す。 VIF IQMに基づく別の実施形態について、図1aの近似品質計測ユニット105、品質計測ユニット108、および、エッジ品質計測ユニット109を詳細に示す。 本発明の別の実施形態であるシステム100aを示す。 図1kの第1の集計ユニット113aを詳細に示す。 図1kの第2の集計ユニット114aをより詳細に示す。 別の実施形態のための図1lの第1の選択的集計ユニット171を詳細に示す。 別の実施形態のための図1mの第2の選択的集計ユニット183を詳細に示す。 図1nの第1の合成ユニット197を詳細に示す。 図1oの第の合成ユニット206を詳細に示す。 図1kの第1の分解ユニット103aを詳細に示す。 図1kの第2の分解ユニット104aを詳細に示す。 品質の計測値を計算するために本発明の実施形態が利用する方法の上位の記載を提供するブロック図である。 品質の計測値を計算するためにシステム100の一般的な枠組で利用される方法の各ステップを示すフローチャートである。 一例における2レベルの分解された画像のための画像Xのサブバンドを示す。 一例における3レベルの分解された画像のための画像Xのサブバンドを示す。 原画像の一例を示す。 簡単に観察できるように[0,255]の間でスケーリングされたサンプル値を利用して計算された図3bの画像のコントラストマップを示す。 レベルごとに集計を実行する方法の各ステップを示すフローチャートを示す。 層間の集計を実行する方法の各ステップを示すフローチャートを示す。 品質の計測値のSSIMに基づく計算を利用して、別の実施形態で利用される方法の各ステップを示すフローチャートを示す。 様々な分解レベルのためのDMOSおよびSSIM予測値の間のLCCおよびSRCCを示す。 様々なβ値のためのDMOSおよびSSIMDWT予測値の間のRMSを示す。 VIFインデックスに基づく先行技術の方法のブロック図を示す。 品質の計測値のVIFに基づく計算を利用する別の実施形態で利用される方法の各ステップを示すフローチャートを示す。 様々な分解レベルのためのDMOSおよびVIF予測値の間のLCCおよびSRCCを示す。 様々なβ値のためのDMOSおよびVIFDWT予測値の間のRMSを示す。 品質の計測値のPSNRに基づく計算を利用する別の実施形態で利用される方法の各ステップを示すフローチャートを示す。 様々な分解レベルのためのDMOSおよびPSNRA予測値の間のLCCおよびSRCCを示す。 様々なβ値のためのDMOSおよびPSNRDWT予測値の間のRMSを示す。 ライブ画像データベースの様々なタイプの画像変形のためのSRCCおよびPSNR値を示すテーブルを示す。 品質の計測値のADに基づく計算を利用する別の実施形態で利用される方法の各ステップを示すフローチャートを示す。 様々な分解レベルのためのDMOSおよびADA予測値の間のLCCおよびSRCCを示す。 LIVEデータベースの様々なメトリックおよびDMOS値の間のLCCを示す。 LIVEデータベースの様々なメトリックおよびDMOS値の間のRMSを示す。 LIVEデータベースのメトリックおよびDMOS値の間のSRCCを示す。
本発明の別の実施形態におけるレベル数ユニット102の構造を図1bに示す。この構造は、見える距離と画像Yが表示されるデバイスの高さの比率を決定する最小サイズユニット120と、この比率を利用してNの値を決定する計算ユニット121とを含む。別の実施形態では、第1の分解ユニット103が(図1c参照)、第1レベル1分解ユニット124、第1レベルj分解ユニット125、および、精度に基づいて、選択する中間サブバンドを決定する第1のサブバンド選択ユニット126を含む。第1のサブバンド選択ユニット126は、第1レベル1分解ユニット124および第1レベルj分解ユニット125が利用する中間サブバンドを決定するために利用される。第1のサブバンド選択ユニット126はさらに、精度を達成するために必要な中間サブバンド数に基づいて、選択する中間サブバンドを決定する第1のサブバンド選択サブユニット127も含む。本願の後半で説明するように、別の選択プロセスを利用して、サブバンド集計中に、Nレベルの多解像度分解が生成するサブバンドノイズのいずれを利用するかを選択することもできる。多解像度分解を画像Xに行い、レベル2を生成するためにレベル1の中間サブバンドを生成する第1レベル1分解ユニット124の出力は、多解像度分解を、jが2からNであるところのレベルj−1で行うことで生成される、選択された中間サブバンドのみに行う第1レベルj分解ユニット125に供給される。同様に、第2の分解ユニット104は、精度に基づいて選択する中間サブバンドを決定する第2レベル1分解ユニット130および第2レベルj分解ユニット131および第2のサブバンド選択ユニット132を含む(図1d参照)。第2のサブバンド選択ユニット132は、第2レベル1分解ユニット130および第2レベルj分解ユニット131が利用する中間サブバンドを決定するために利用される。第2のサブバンド選択ユニット132はさらに、精度を達成するために必要な中間サブバンド数に基づいて、選択する中間サブバンドを決定する第2のサブバンド選択サブユニット133も含む。多解像度分解を画像Xに行い、レベル2で処理するためにレベル1の中間サブバンドを生成する第1レベル1分解ユニット130の出力は、多解像度分解を、jが2からNであるところのレベルj−1で行うことで生成される、選択された中間サブバンドのみに行う第1レベルj分解ユニット131に供給される。
第1の集計ユニット113のコンポーネントを図1eに示す。第1の集計ユニット113は、第1の詳細サブバンド集計ユニット135、並びに、第1レベルj集計ユニット136および、各レベルjで選択される中間サブバンドおよび、実質的に同じ解像度134の画像Xについて選択される詳細サブバンドを選択する計算手段を含む。第1レベルj集計ユニット136は、画像Xのレベルjのエッジマップを、前述した各レベルj(j=1からN−1)で生成される選択された中間サブバンドの二乗の関数として決定する。レベルjで生成される中間サブバンドの一部のみ(例えば、実質的に解像度が同じサブバンド)を、レベルjのエッジマップを生成するための集計目的に選択する。第1レベルj集計ユニット136の出力は、各レベルjで生成された1以上の選択される中間サブバンドと、レベルNで生成された画像Xの1以上の選択された詳細サブバンドとを集計する第1の詳細サブバンド集計ユニット135により処理される。各レベルjで選択される中間サブバンドおよび実質的に同じ解像度134を有する画像Xの選択される詳細サブバンドを選択する計算手段は、第1の詳細サブバンド集計ユニット135および第1レベルj集計ユニット136が、各レベルjの中間サブバンドおよび集計用に実質的に同じ解像度を持つ画像Xの詳細サブバンドを選択する際に利用する。ここで、jは単にインデックス変数であり、1とN−1との間の任意の整数値であってよいことに留意されたい。第1の詳細サブバンド集計ユニット135は、第1レベルN集計ユニット137および第1のエッジマップユニット138を含む。第1レベルN集計ユニット137は、画像XのレベルNのエッジマップを、レベルNで生成される画像Xの選択される詳細サブバンドの二乗の関数として決定して、第1のエッジマップユニット138は、画像Xのエッジマップを、レベルjのエッジマップと、第1レベルN集計ユニット137から受け取るレベルNのエッジマップとの重み付けされた合計として決定する。
第2の集計ユニット114のコンポーネントを図1fに示す。第2の集計ユニット114は、第2の詳細サブバンド集計ユニット141、並びに、第2レベルj集計ユニット141および、各レベルjで選択される中間サブバンドおよび、実質的に同じ解像度139の画像Yの選択される詳細サブバンドを選択する計算手段を含む。第2レベルj集計ユニット141は、画像Yの各レベルj(j=1からN−1)のエッジマップを、前述した各レベルjで生成される選択された中間サブバンドの二乗の関数として決定する。第2レベルj集計ユニット141の出力は、各レベルjで生成された1以上の選択される中間サブバンドと、レベルNで生成された画像Yの1以上の選択された詳細サブバンドとを集計する第2の詳細サブバンド集計ユニット140により処理される。各レベルjで選択される中間サブバンドおよび実質的に同じ解像度139を有する画像Yの選択される詳細サブバンドを選択する計算手段は、第2の詳細サブバンド集計ユニット140および第2レベルj集計ユニット141が、各レベルjの中間サブバンドおよび集計用に実質的に同じ解像度を持つ画像Yの詳細サブバンドを選択する際に利用する。ここでもまた、jは単にインデックス変数であり、1とN−1との間の任意の整数値であってよいことに留意されたい。第2の詳細サブバンド集計ユニット140は、第2レベルN集計ユニット142および第2エッジマップユニット143を含む。第2レベルN集計ユニット142は、画像YのレベルNのエッジマップを、レベルNで生成される画像Yの選択される詳細サブバンドの二乗の関数として決定して、第2エッジマップユニット143は、画像Yのエッジマップを、レベルjのエッジマップと、第2レベルN集計ユニット142から受け取るレベルNのエッジマップとの重み付けされた合計として決定する。
図1lに示すように、画像Xを処理する第1の集計ユニット113aは、第1の選択ユニット170を含み、その出力が第1の選択集計ユニット171の入力に接続される。第1の選択ユニット170は、各レベルiの中間サブバンド(iは1からN−1の範囲であってよい)、および、画像Xの詳細サブバンドを、品質の計測値を決定するとき達成する必要のある精度に基づいて選択する。第1の選択集計ユニット171は、画像Xの選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する。第1の集計ユニット113aはさらに、実質的に同じ解像度134aを有する画像Xの各レベルの選択された中間サブバンドおよび選択された詳細サブバンドを選択する計算手段を含む。134aは、前述した134に類似しており、集計用の実質的に同じ解像度を有する中間サブバンドおよび詳細サブバンドを選択するために利用される。第1の選択ユニット170はさらに、精度を達成するために必要な中間サブバンドおよび詳細サブバンドの数に基づいて画像Xの各レベルiの中間サブバンドおよび詳細サブバンドを選択する。別の実施形態では、第1の選択ユニットは、レベルi−WP近似サブバンドの1以上および画像Xの詳細サブバンドの1以上を選択する第1のウェーブレットパケット(WP)詳細選択サブユニット176を含む。第1のWP詳細サブバンド選択サブユニット176は、選択時に画像Xのレベルi詳細サブバンドの1以上を含めるために第1の詳細選択モジュール179を含む。
第1のレベルi−中間サブバンド集計ユニット173は、各レベルi(i=1からN−1)の画像Xのための各選択された中間サブバンドを二乗して、画像Xの各選択された中間サブバンドに所定の重みで実行された二乗処理の結果を乗算して、画像Xにレベルiでエッジマップを生成するために行われた合計の結果に平方根関数を適用する第1のレベルi計算ユニット177を含む。第1の詳細サブバンド集計ユニット174は、画像Xの選択された詳細サブバンドそれぞれを二乗して、画像Xの各選択された詳細サブバンドの所定の重みで、ステップで生成された二乗結果を乗算して、ステップで行われた乗算の積を合計して、画像XのレベルNのエッジマップを生成するステップで行われた合計結果に平方根関数を適用する第1の詳細サブバンド計算ユニット180を含む。第1のエッジマップ決定ユニット175は、画像Xの各レベルiのエッジマップを、レベルiの所定の重みで乗算して、画像XのレベルNのエッジマップを、レベルNの所定の重みで乗算して、乗算結果の積を合計するための第1の計算ユニット178を含む。
図1mに示すように、画像Yを処理する第2の集計ユニット114aは、第2の選択ユニット182を含み、その出力が第2の選択集計ユニット183の入力に接続される。第2の選択ユニット182は、各レベルiの中間サブバンド(iは1からN−1の範囲であってよい)、および、画像Yの詳細サブバンドを、品質の計測値を決定するとき達成する必要のある精度に基づいて選択する。第2の選択集計ユニット183は、画像Yの選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する。第2の集計ユニット114aはさらに、実質的に同じ解像度139aを有する画像Yの各レベルの選択された中間サブバンドおよび選択された詳細サブバンドを選択する計算手段を含む。139aは、前述した139に類似しており、集計用の実質的に同じ解像度を有する中間サブバンドおよび詳細サブバンドを選択するために利用される。第2の選択ユニット182はさらに、精度を達成するために必要な中間サブバンドおよび詳細サブバンドの数に基づいて画像Yの各レベルiの中間サブバンドおよび詳細サブバンドを選択する第2の選択サブユニット184を含む。別の実施形態では、第2の選択ユニット182は、画像Yのレベルi−WP近似サブバンドの1以上および詳細サブバンドの1以上を選択する第2のWP詳細選択サブユニット188を含む。第2のWP詳細サブバンド選択サブユニット188は、選択時に画像Yのレベルi詳細サブバンドの1以上を含めるために第2の詳細選択モジュール191を含む。
第2のレベルi−中間サブバンド集計ユニット185は、各レベルiの画像Yのための各選択された中間サブバンドを二乗して、画像Yの各選択された中間サブバンドに所定の重みで実行された二乗処理の結果を乗算して、乗算結果の積を合計して、画像Yにレベルiのエッジマップを生成するために行われた合計の結果に平方根関数を適用する第2のレベルi計算ユニット189を含む。第2の詳細サブバンド集計ユニット186は、画像Yの選択された詳細サブバンドそれぞれを二乗して、画像Yの各選択された詳細サブバンドの所定の重みで行われた二乗結果を乗算して、行われた乗算の積を合計して、画像YのレベルNのエッジマップを生成するために行われた合計結果に平方根関数を適用する第2の詳細サブバンド計算ユニット192を含む。第2のエッジマップ決定ユニット187は、画像Yの各レベルiのエッジマップを、レベルiの所定の重みで乗算して、画像YのレベルNのエッジマップを、レベルNの所定の重みで乗算して、乗算結果の積を合計するための第2の計算ユニット190を含む。
上述した方法において、段階(a10iv)は、(a12)平方根関数を画像Xの水平エッジマップ、垂直エッジマップ、および対角エッジマップに適用する段階と、(12ii)平方根関数を適用した結果を合計する段階とを含み(a12)、段階(b10iv)は、(12)平方根関数を画像Yの水平エッジマップ、垂直エッジマップ、および対角エッジマップに適用する段階と、(b12ii)平方根関数を適用した結果を合計する段階とを含む(b12)。
上述したシステムでは、画像Xおよび画像Yのレベルi−WP詳細サブバンドはさらに、それぞれの画像について、レベルi−WP水平サブバンド、レベルi−WP垂直サブバンド、およびレベルi−WP対角サブバンドを含み、第1の水平エッジマップユニット(a34i)は、集計時に画像Xのレベルi−WP水平サブバンドを含む第1の水平サブユニットを含み(a35)、第1の垂直エッジマップユニット(a34ii)は、集計時に画像Xのレベルi−WP垂直サブバンドを含む第1の垂直サブユニットを含み(b35)、第1の対角エッジマップユニット(a34iii)は、集計時に画像Xのレベルi−WP対角サブバンドを含む第1の対角サブユニットを含み(c35)、第2の水平エッジマップユニット(b34i)は、集計時に画像Yのレベルi−WP水平サブバンドを含む第2の水平サブユニットを含み(d35)、第2の垂直エッジマップユニット(b34ii)は、集計時に画像Yのレベルi−WP垂直サブバンドを含む第2の垂直サブユニットを含み(e35)、第2の対角エッジマップユニット(b34iii)は、集計時に画像Yのレベルi−WP対角サブバンドを含む第2の対角サブユニットを含む(f35)。
上述したシステムにおいては、近似品質計測値は近似品質マップであり、エッジ品質計測値はエッジ品質マップであり、品質計測ユニット(g25)はさらに、(a42)画像Xおよび画像Yの近似サブバンドおよびエッジマップの画素に対応する値を、それぞれの人間の視覚システムに対する重要度に応じて割り当てることを含む、コントラストマップを生成するコントラストマップユニットと、(b42)コントラストマップを利用して近似品質マップに重み付けされたプーリングを実行して、近似品質スコアを生成する第1のプーリングユニットと、(c42)コントラストマップを利用してエッジ品質マップに重み付けされたプーリングを実行して、エッジ品質スコアを生成する第2のプーリングユニットと、(d42)第1のプーリングユニット(b42)の近似類似度スコアを、第2のプーリングユニット(c42)のエッジ類似度スコアと組み合わせて、品質計測値を決定するスコア合成ユニットとを有する。

Claims (17)

  1. 変形画像Y用の品質計測値を決定するための方法であって、前記画像Yと、前記画像Yと同じ行列数の画素を有し、変形されていない参照画像Xとの間の類似度を特徴付け、
    (a)レベル1、2、…i、i+1、…Nを含むNレベルの多解像度分解を画像Xに適用して、
    1からN−1までの範囲である各レベルiについて、レベルi+1で処理するために前記画像Xの中間サブバンドを生成して、
    レベルNについて、前記画像Xの主要コンテンツを含む近似サブバンドと、前記画像Xのエッジを含む詳細サブバンドとを生成する段階と、
    (b)1、2、…i、i+1、…Nを含むNレベルの多解像度分解を前記画像Yに適用して、
    1からN−1までの範囲である各レベルiについて、レベルi+1で処理するために前記画像Yの中間サブバンドを生成して、
    前記レベルNについて、前記画像Yの主要コンテンツを含む近似サブバンドと、前記画像Yのエッジを含む詳細サブバンドとを生成する段階と、
    (c)画質メトリック(IQM)を前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに適用して、前記画像Xの前記主要コンテンツと前記画像Yの前記主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する段階と、
    (d)前記画像Xについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Xの前記詳細サブバンドを集計して、前記画像Xの前記エッジを特徴付ける前記画像Xのエッジマップを生成する段階と、
    (e)前記画像Yについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Yの前記詳細サブバンドを集計して、前記画像Yの前記エッジを特徴付ける前記画像Yのエッジマップを生成する段階と、
    (f)前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間に前記IQMを適用して、前記画像Xの前記エッジと前記画像Yの前記エッジとの間の類似度を特徴付けるエッジ品質計測値を生成する段階と、
    (g)前記近似品質計測値と前記エッジ品質計測値とを処理して前記品質計測値を決定する段階と
    を備える方法。
  2. 前記段階(d)はさらに、
    前記画像Xの1からN−1までの範囲である各レベルiについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される精度に基づいて選択する段階と、
    前記画像Xについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する段階と
    を有し、
    前記段階(e)はさらに、
    前記画像Yの前記各レベルiについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される前記精度に基づいて選択する段階と、
    前記画像Yについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する段階と
    を有する請求項1に記載の方法。
  3. 前記画像Xについて前記中間サブバンドおよび前記詳細サブバンドを選択する段階はさらに、前記画像Xについて、じ解像度を有する前記各レベルiについての前記選択された中間サブバンドと前記詳細サブバンドと選択する段階を有し、
    前記画像Yについて前記中間サブバンドおよび前記詳細サブバンドを選択する段階はさらに、前記画像Yについて、じ解像度を有する前記各レベルiについての前記選択された中間サブバンドと前記詳細サブバンドと選択する段階を有する請求項2に記載の方法。
  4. 前記画像Xおよび前記画像Yの前記各レベルiについての前記中間サブバンドは、各画像において、レベルi−詳細サブバンドおよびレベルi−ウェーブレットパケット(WP)サブバンドを含み、
    前記レベルi−WPサブバンドは、レベルi−WP近似サブバンドおよびレベルi−WP詳細サブバンドを含み、
    前記レベルi−WP近似サブバンドはさらに、レベルi−水平WP近似サブバンドとレベルi−垂直WP近似サブバンドと、レベルi−対角WP近似サブバンドとを含む請求項2または3に記載の方法。
  5. 前記段階(a)において、
    レベル1で、前記画像Xに前記多解像度分解を適用して、レベル2における処理用に、レベル1の中間サブバンドを生成する段階と、
    2からNまでの範囲であるレベルiで、レベルi−1で行われる前記多解像度分解で生成された前記中間サブバンドの1以上に前記多解像度分解を適用する段階とを実行すること、および、
    前記段階(b)において、
    レベル1で、前記画像Yに前記多解像度分解を適用して、レベル2における処理用に、前記レベル1の中間サブバンドを生成する段階と、
    2からN−1までの範囲であるレベルiで、レベルi−1で行われる前記多解像度分解で生成された前記中間サブバンドの1以上に前記多解像度分解を適用する段階とを実行すること、の1以上を実行する請求項1から4のいずれか一項に記載の方法。
  6. 前記近似品質計測値は近似品質マップであり、前記エッジ品質計測値はエッジ品質マップであり、
    前記段階(g)はさらに、
    前記画像Xおよび前記画像Yの前記近似サブバンドおよび前記エッジマップの前記画素に対応する値を、それぞれの人間の視覚システムに対する重要度に応じて割り当てることを含む、コントラストマップを生成する段階と、
    前記コントラストマップを利用して前記近似品質マップに重み付けされたプーリングを実行して、近似品質スコアを生成する段階と、
    前記コントラストマップを利用して前記エッジ品質マップに重み付けされたプーリングを実行して、エッジ品質スコアを生成する段階と、
    前記近似品質スコアを、エッジ類似度スコアと組み合わせて、前記品質計測値を決定する段階とを有する請求項1から5のいずれか一項に記載の方法。
  7. Nを、人間の視覚システムに対してーク応答を生成する、近似サブバンドSの最小サイズの関数として決定する段階をさらに備える請求項1から6のいずれか一項に記載の方法。
  8. 前記段階(c)は、前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに構造的類似度(SSIM)IQMを適用して、近似SSIMマップSSIMを生成する段階を有し、
    前記段階(f)は、前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間にSSIM IQMを適用して、エッジSSIMマップSSIMを生成する段階を有し、
    前記段階(g)は、前記SSIMと前記SSIMとを処理して、SSIMDWTスコアを前記品質計測値として決定する段階を含む、または、
    前記段階(c)は、前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに絶対差(AD)IQMを適用して、近似ADマップADを生成する段階を有し、
    前記段階(f)は、前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間に前記AD IQMを適用して、エッジADマップADを生成する段階を有し、
    前記段階(g)は、前記ADと前記ADとを処理して、ADDWTスコアを前記品質計測値として決定する段階を含む、または、
    前記段階(c)は、前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとにピーク信号対雑音比(PSNR)IQMを適用して、PSNR近似品質スコアPSNRを生成する段階を有し、
    前記段階(f)は、前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間にPSNR IQMを適用して、PSNRエッジ品質スコアPSNRを生成する段階を有し、
    前記段階(g)は、前記PSNRと前記PSNRとを処理して、PSNRDWTスコアを前記品質計測値として決定する段階を含む、または、
    前記段階(c)は、前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに視覚情報忠実度(VIF)IQMを適用して、VIF近似品質スコアVIFを生成する段階を有し、
    前記段階(f)は、前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間にVIF IQMを適用して、VIFエッジ品質スコアVIFを生成する段階を有し、
    前記段階(g)は、前記VIFと前記VIFとを処理して、VIFDWTスコアを前記品質計測値として決定する段階を含む請求項1から7のいずれか一項に記載の方法。
  9. 前記段階(a)および前記段階(b)は、Nレベルの離散ウェーブレット変換を適用する段階を有し、前記離散ウェーブレット変換は、ハール変換、ニューランド変換、またはDaubechiesフィルタを利用するウェーブレット変換であってよい請求項1から8のいずれか一項に記載の方法。
  10. 変形画像Y用の品質計測値を決定するためのシステムであって、前記画像Yと、前記画像Yと同じ行列数の画素を有し、変形されていない参照画像Wとの間の類似度を特徴付け、
    プロセッサと、コンピュータ可読命令が格納されたコンピュータ可読格納媒体とを備え、前記コンピュータ可読命令は前記プロセッサにより実行されると、
    (a)1、2、…i、i+1、…Nを含むNレベルの多解像度分解を画像Xに適用して、
    1からN−1までの範囲である各レベルiについて、レベルi+1で処理するために画像Xの中間サブバンドを生成して、
    レベルNについて、前記画像Xの主要コンテンツを含む近似サブバンドと、前記画像Xのエッジを含む詳細サブバンドとを生成する第1の分解ユニットと、
    (b)1、2、…i、i+1、…Nを含むNレベルの多解像度分解を前記画像Yに適用して、
    1からN−1までの範囲である各レベルiについて、前記画像Yの中間サブバンドを生成して、
    前記レベルNについて、前記画像Yの主要コンテンツを含む近似サブバンドと、前記画像Yのエッジを含む詳細サブバンドとを生成する第2の分解ユニットと、
    (c)画質メトリック(IQM)を前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに適用して、前記画像Xの前記主要コンテンツと前記画像Yの前記主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する近似品質計測ユニットと、
    (d)前記画像Xについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Xの前記詳細サブバンドを集計して、前記画像Xの前記エッジを特徴付ける前記画像Xのエッジマップを生成する第1の集計ユニットと、
    (e)前記画像Yについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Yの前記詳細サブバンドを集計して、前記画像Yの前記エッジを特徴付ける前記画像Yのエッジマップを生成する第2の集計ユニットと、
    (f)前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間に前記IQMを適用して、前記画像Xの前記エッジと前記画像Yの前記エッジとの間の類似度を特徴付けるエッジ品質計測値を生成するエッジ品質計測ユニットと、
    (g)前記近似品質計測値と前記エッジ品質計測値とを処理して前記品質計測値を決定する品質計測ユニットと
    を形成するシステム。
  11. 前記第1の集計ユニットはさらに、
    前記画像Xの1からN−1までの範囲である各レベルiについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される精度に基づいて選択する第1の選択ユニットと、
    前記画像Xについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する第1の選択的集計ユニットとを有し、
    前記第2の集計ユニットはさらに、
    前記画像Yの前記各レベルiについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される精度に基づいて選択する第2の選択ユニットと、
    前記画像Yについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する第2の選択的集計ユニットとを有する請求項10に記載のシステム。
  12. 前記第1の集計ユニットはさらに、前記画像Xについて、じ解像度を有する前記各レベルiについての前記選択された中間サブバンドと前記詳細サブバンドと選択する計算手段を有し、
    前記第2の集計ユニットはさらに、前記画像Yについて、じ解像度を有する前記各レベルiについての前記選択された中間サブバンドと前記詳細サブバンドと選択する計算手段を有する請求項11に記載のシステム。
  13. 前記画像Xおよび前記画像Yの前記各レベルiについての前記中間サブバンドは、各画像において、レベルi−詳細サブバンドおよびレベルi−ウェーブレットパケット(WP)サブバンドを含み、
    前記レベルi−WPサブバンドは、レベルi−WP近似サブバンドおよびレベルi−WP詳細サブバンドを含み、
    前記レベルi−WP近似サブバンドはさらに、レベルi−水平WP近似サブバンドとレベルi−垂直WP近似サブバンドと、レベルi−対角WP近似サブバンドとを含む請求項11または12に記載のシステム。
  14. 前記第1の分解ユニットにおいて、
    前記画像Xに前記多解像度分解を適用して、レベル2における処理用に、レベル1の中間サブバンドを生成する第1のレベル1分解ユニット、および、
    2からNまでの範囲であるレベルiで、レベルi−1で行われる前記多解像度分解で生成された前記中間サブバンドの1以上に前記多解像度分解を適用する第1のレベルi分解ユニット、並びに、
    前記第2の分解ユニットにおいて、
    前記画像Yに前記多解像度分解を適用して、レベル2における処理用に、レベル1の中間サブバンドを生成する第2のレベル1分解ユニット、および、
    2からN−1までの範囲である前記レベルiで、レベルi−1で行われる前記多解像度分解で生成された前記中間サブバンドの1以上に前記多解像度分解を適用する第2のレベルi分解ユニット、の1以上が含まれる請求項10から13のいずれか一項に記載のシステム。
  15. Nを、人間の視覚システムに対してーク応答を生成する、近似サブバンドSの最小サイズの関数として決定する計算手段をさらに備える請求項10から14のいずれか一項に記載のシステム。
  16. 前記第1の分解ユニット(a)および前記第2の分解ユニット(b)は、Nレベルの離散ウェーブレット変換を適用する計算手段を有し、前記離散ウェーブレット変換は、ハール変換、ニューランド変換、またはDaubechiesフィルタを利用するウェーブレット変換であってよい請求項10から15のいずれか一項に記載のシステム。
  17. コンピュータに、
    (a)1、2、…i、i+1、…Nを含むNレベルの多解像度分解を画像Xに適用して、
    1からN−1までの範囲である各レベルiについて、レベルi+1で処理するために画像Xの中間サブバンドを生成して、
    レベルNについて、前記画像Xの主要コンテンツを含む近似サブバンドと、前記画像Xのエッジを含む詳細サブバンドとを生成する段階と、
    (b)1、2、…i、i+1、…Nを含むNレベルの多解像度分解を画像Yに適用して、
    1からN−1までの範囲である各レベルiについて、レベルi+1で処理するために前記画像Yの中間サブバンドを生成して、
    前記レベルNについて、前記画像Yの主要コンテンツを含む近似サブバンドと、前記画像Yのエッジを含む詳細サブバンドとを生成する段階と、
    (c)画質メトリック(IQM)を前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに適用して、前記画像Xの前記主要コンテンツと前記画像Yの前記主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する段階と、
    (d)前記画像Xについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Xの前記詳細サブバンドを集計して、前記画像Xの前記エッジを特徴付ける前記画像Xのエッジマップを生成する段階と、
    (e)前記画像Yについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Yの前記詳細サブバンドを集計して、前記画像Yの前記エッジを特徴付ける前記画像Yのエッジマップを生成する段階と、
    (f)前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間に前記IQMを適用して、前記画像Xの前記エッジと前記画像Yの前記エッジとの間の類似度を特徴付けるエッジ品質計測値を生成する段階と、
    (g)前記近似品質計測値と前記エッジ品質計測値とを処理して前記品質計測値を決定する段階と
    を実行させるためのプログラム
JP2012552211A 2010-02-12 2010-10-27 画像のマルチレベル分解を利用して画質計測値を決定する方法およびシステム Active JP5510688B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US30427410P 2010-02-12 2010-02-12
US61/304,274 2010-02-12
US12/906,112 2010-10-17
US12/906,112 US8515182B2 (en) 2009-02-11 2010-10-17 Method and system for determining a quality measure for an image using multi-level decomposition of images
PCT/CA2010/001705 WO2011097697A1 (en) 2010-02-12 2010-10-27 Method and system for determining a quality measure for an image using multi-level decomposition of images

Publications (3)

Publication Number Publication Date
JP2013520037A JP2013520037A (ja) 2013-05-30
JP2013520037A5 true JP2013520037A5 (ja) 2013-09-26
JP5510688B2 JP5510688B2 (ja) 2014-06-04

Family

ID=44367076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012552211A Active JP5510688B2 (ja) 2010-02-12 2010-10-27 画像のマルチレベル分解を利用して画質計測値を決定する方法およびシステム

Country Status (8)

Country Link
US (2) US8515182B2 (ja)
EP (1) EP2534639A4 (ja)
JP (1) JP5510688B2 (ja)
KR (1) KR101664913B1 (ja)
CN (1) CN102754126B (ja)
CA (1) CA2783879C (ja)
IL (1) IL220737A (ja)
WO (1) WO2011097697A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515182B2 (en) 2009-02-11 2013-08-20 Ecole De Technologie Superieure Method and system for determining a quality measure for an image using multi-level decomposition of images
US8326046B2 (en) * 2009-02-11 2012-12-04 Ecole De Technologie Superieure Method and system for determining structural similarity between images
US8515181B2 (en) * 2009-02-11 2013-08-20 Ecole De Technologie Superieure Method and system for determining a quality measure for an image using a variable number of multi-level decompositions
KR101092650B1 (ko) * 2010-01-12 2011-12-13 서강대학교산학협력단 양자화 코드를 이용한 화질 평가 방법 및 장치
US8792748B2 (en) * 2010-10-12 2014-07-29 International Business Machines Corporation Deconvolution of digital images
US8983206B2 (en) * 2011-05-04 2015-03-17 Ecole de Techbologie Superieure Method and system for increasing robustness of visual quality metrics using spatial shifting
US8525883B2 (en) * 2011-09-02 2013-09-03 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for automatic video quality assessment
RU2589401C2 (ru) * 2012-02-29 2016-07-10 Нэшнл Инститьют Оф Джапэн Сайнс Энд Текнолоджи Эйдженси Цифровой фильтр обработки изображений, устройство генерирования изображения, устройство генерирования супер гибридного изображения, способ генерирования изображения, способ создания цифрового фильтра, способ генерирования супер гибридного изображения, способ изготовления печатного средства информации, способ изготовления электронного носителя информации и программа, и устройство генерирования вертикального панорамирования буквенного ряда, способ генерирования вертикального панорамирования буквенного ряда, способ изготовления печатного средства информации, способ изготовления электронного носителя информации и программа
CN102930545A (zh) * 2012-11-07 2013-02-13 复旦大学 一种图像质量盲评估的统计测度方法
WO2014154753A2 (en) * 2013-03-28 2014-10-02 Thomson Licensing Method and apparatus of creating a perceptual harmony map
CN103218815B (zh) * 2013-04-19 2016-03-30 复旦大学 利用自然场景统计计算图像显著图的方法
CN103258326B (zh) * 2013-04-19 2016-03-30 复旦大学 一种图像质量盲评估的信息保真度方法
US9350916B2 (en) 2013-05-28 2016-05-24 Apple Inc. Interleaving image processing and image capture operations
US9384552B2 (en) 2013-06-06 2016-07-05 Apple Inc. Image registration methods for still image stabilization
US9491360B2 (en) 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
US9262684B2 (en) 2013-06-06 2016-02-16 Apple Inc. Methods of image fusion for image stabilization
US20150071547A1 (en) 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
CN103793912B (zh) * 2014-01-27 2016-08-17 武汉大学 一种基于解译能力等级的光学遥感影像图像质量评价方法
US20150334386A1 (en) * 2014-05-15 2015-11-19 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder
US20170249521A1 (en) * 2014-05-15 2017-08-31 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder
US11064204B2 (en) 2014-05-15 2021-07-13 Arris Enterprises Llc Automatic video comparison of the output of a video decoder
CN104899893B (zh) * 2015-07-01 2019-03-19 电子科技大学 基于视觉注意力的图像质量检测方法
CN105100789B (zh) * 2015-07-22 2018-05-15 天津科技大学 一种视频质量评价方法
US10499056B2 (en) * 2016-03-09 2019-12-03 Sony Corporation System and method for video processing based on quantization parameter
CN107578399B (zh) * 2017-07-25 2020-12-15 天津大学 基于边界特征分割的全参考图像质量评价方法
CN108765414B (zh) * 2018-06-14 2021-12-03 上海大学 基于小波分解和自然场景统计的无参考立体图像质量评价方法
CN109344629B (zh) * 2018-09-19 2021-04-23 湖北工程学院 图像加密隐藏方法及装置、图像解密方法及装置
KR102401340B1 (ko) * 2018-11-29 2022-05-25 한국전자통신연구원 인지 민감 영역의 변화의 검출에 기반하는 비디오 화질 측정 방법 및 장치
US11205257B2 (en) * 2018-11-29 2021-12-21 Electronics And Telecommunications Research Institute Method and apparatus for measuring video quality based on detection of change in perceptually sensitive region
US11120536B2 (en) 2018-12-12 2021-09-14 Samsung Electronics Co., Ltd Apparatus and method for determining image sharpness
KR102235723B1 (ko) * 2019-05-30 2021-04-01 주식회사 에이치엔티메디칼 X-ray 장치의 영상 품질 진단 방법
US11756197B2 (en) 2021-03-10 2023-09-12 GE Precision Healthcare LLC Systems and methods of processing magnetic resonance images using phase-sensitive structural similarity index measure

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005978A (en) 1996-02-07 1999-12-21 Cognex Corporation Robust search for image features across image sequences exhibiting non-uniform changes in brightness
US5799112A (en) 1996-08-30 1998-08-25 Xerox Corporation Method and apparatus for wavelet-based universal halftone image unscreening
JP3213582B2 (ja) 1997-05-29 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
AUPP686598A0 (en) * 1998-10-30 1998-11-26 Canon Kabushiki Kaisha A method and apparatus for representing a digital image to provide a coded representation
JP3969688B2 (ja) * 1999-03-24 2007-09-05 株式会社リコー 両眼立体視画像評価装置、両眼立体視画像評価方法及び記録媒体
US6594391B1 (en) 1999-09-03 2003-07-15 Lucent Technologies Inc. Method and apparatus for texture analysis and replicability determination
US6549674B1 (en) * 2000-10-12 2003-04-15 Picsurf, Inc. Image compression based on tiled wavelet-like transform using edge and non-edge filters
US6909808B2 (en) 2002-03-08 2005-06-21 Anzus, Inc. Image compression to enhance optical correlation
US7308146B2 (en) * 2002-09-30 2007-12-11 Canon Kabushiki Kaisha Digital video compression
US7228006B2 (en) 2002-11-25 2007-06-05 Eastman Kodak Company Method and system for detecting a geometrically transformed copy of an image
JP2004348293A (ja) * 2003-05-20 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> 画像品質計算装置および方法、そのプログラム並びに記録媒体
US7512286B2 (en) * 2003-10-27 2009-03-31 Hewlett-Packard Development Company, L.P. Assessing image quality
US7483486B2 (en) 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
GB0427737D0 (en) 2004-12-17 2005-01-19 Univ Cambridge Tech Method of identifying features within a dataset
JP4763525B2 (ja) * 2006-06-21 2011-08-31 日本電信電話株式会社 映像整合方法
US20080134070A1 (en) 2006-11-09 2008-06-05 Koji Kobayashi Image processing apparatus and image processing method
JP4858610B2 (ja) 2007-02-28 2012-01-18 株式会社ニコン 画像処理方法
JP4796019B2 (ja) * 2007-08-08 2011-10-19 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
JP4972004B2 (ja) 2008-01-30 2012-07-11 国立大学法人東京工業大学 画像変換方法およびプログラム
JP4656190B2 (ja) * 2008-06-10 2011-03-23 ソニー株式会社 情報処理装置および方法
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
CN101378519B (zh) * 2008-09-28 2010-09-22 宁波大学 一种基于Contourlet变换的质降参考图像质量评价方法
US8213735B2 (en) 2008-10-10 2012-07-03 Accusoft Corporation Methods and apparatus for performing image binarization
US8326046B2 (en) 2009-02-11 2012-12-04 Ecole De Technologie Superieure Method and system for determining structural similarity between images
US8515182B2 (en) 2009-02-11 2013-08-20 Ecole De Technologie Superieure Method and system for determining a quality measure for an image using multi-level decomposition of images
US8515181B2 (en) 2009-02-11 2013-08-20 Ecole De Technologie Superieure Method and system for determining a quality measure for an image using a variable number of multi-level decompositions
CN101621709B (zh) * 2009-08-10 2011-01-05 浙江大学 一种全参考型图像客观质量评价方法

Similar Documents

Publication Publication Date Title
JP2013520037A5 (ja)
KR101929221B1 (ko) 왜곡 영상 품질 계산 방법 및 시스템
JP5510688B2 (ja) 画像のマルチレベル分解を利用して画質計測値を決定する方法およびシステム
Zhang et al. SR-SIM: A fast and high performance IQA index based on spectral residual
Yuan et al. Image quality assessment: A sparse learning way
Hong et al. Image quality assessment based on matching pursuit
JP3498842B2 (ja) 実時間人間視覚システム行動モデル化方法
Okarma Combined full-reference image quality metric linearly correlated with subjective assessment
CN107040775B (zh) 一种基于局部特征的色调映射图像质量客观评价方法
CN108074239A (zh) 一种基于先验感知质量特征图的无参考图像质量客观评价方法
JP2018507620A5 (ja)
Chetouani et al. A novel free reference image quality metric using neural network approach
CN107343196A (zh) 一种混合失真无参考图像质量评价方法
Ma et al. Saliency-based image quality assessment criterion
Tang et al. Training-free referenceless camera image blur assessment via hypercomplex singular value decomposition
Wang et al. No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning
JP6202725B2 (ja) 画像差分量算出装置、画像符号化装置及びプログラム
CN105491371A (zh) 基于梯度幅值相似性的色调映射图像质量评价方法
CN108269253A (zh) 基于小波变换和局部结构特征的立体图像质量评价方法
CN102271279B (zh) 一种立体图像的最小可察觉变化步长的客观分析方法
Chervyakov et al. Effect of RNS dynamic range on grayscale images filtering
CN104881878B (zh) 一种基于多尺度梯度差分熵的图像质量评价方法
CN104616310B (zh) 一种图像质量的评估方法和装置
Zewdie et al. A new pooling strategy for image quality metrics: Five number summary
Huang et al. A harmonic means pooling strategy for structural similarity index measurement in image quality assessment