JP2013520037A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2013520037A5 JP2013520037A5 JP2012552211A JP2012552211A JP2013520037A5 JP 2013520037 A5 JP2013520037 A5 JP 2013520037A5 JP 2012552211 A JP2012552211 A JP 2012552211A JP 2012552211 A JP2012552211 A JP 2012552211A JP 2013520037 A5 JP2013520037 A5 JP 2013520037A5
- Authority
- JP
- Japan
- Prior art keywords
- image
- level
- subband
- approximate
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004220 aggregation Methods 0.000 claims description 54
- 230000002776 aggregation Effects 0.000 claims description 54
- 238000000354 decomposition reaction Methods 0.000 claims description 49
- 238000005259 measurement Methods 0.000 claims description 48
- 238000011176 pooling Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000000875 corresponding Effects 0.000 claims description 3
- 230000004931 aggregating Effects 0.000 claims 3
- 238000010192 crystallographic characterization Methods 0.000 claims 2
- 239000011159 matrix material Substances 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000002194 synthesizing Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming Effects 0.000 description 1
Description
本発明の一実施形態では、近似品質計測値は近似品質マップであり、エッジ品質計測値はエッジ品質マップであり、段階(g)はさらに、画像Xおよび画像Yの近似サブバンドおよびエッジマップの画素に対応する値を、それぞれの人間の視覚システムに対する重要度に応じて割り当てることを含む、コントラストマップを生成する段階と、コントラストマップを利用して近似品質マップに重み付けされたプーリングを実行して、近似品質スコアを生成する段階と、コントラストマップを利用してエッジ品質マップに重み付けされたプーリングを実行して、エッジ品質スコアを生成する段階と、近似類似度スコアを、エッジ類似度スコアと組み合わせて、品質計測値を決定する段階とを有する。
本発明の別の実施形態におけるレベル数ユニット102の構造を図1bに示す。この構造は、見える距離と画像Yが表示されるデバイスの高さの比率を決定する最小サイズユニット120と、この比率を利用してNの値を決定する計算ユニット121とを含む。別の実施形態では、第1の分解ユニット103が(図1c参照)、第1レベル1分解ユニット124、第1レベルj分解ユニット125、および、精度に基づいて、選択する中間サブバンドを決定する第1のサブバンド選択ユニット126を含む。第1のサブバンド選択ユニット126は、第1レベル1分解ユニット124および第1レベルj分解ユニット125が利用する中間サブバンドを決定するために利用される。第1のサブバンド選択ユニット126はさらに、精度を達成するために必要な中間サブバンド数に基づいて、選択する中間サブバンドを決定する第1のサブバンド選択サブユニット127も含む。本願の後半で説明するように、別の選択プロセスを利用して、サブバンド集計中に、Nレベルの多解像度分解が生成するサブバンドノイズのいずれを利用するかを選択することもできる。多解像度分解を画像Xに行い、レベル2を生成するためにレベル1の中間サブバンドを生成する第1レベル1分解ユニット124の出力は、多解像度分解を、jが2からNであるところのレベルj−1で行うことで生成される、選択された中間サブバンドのみに行う第1レベルj分解ユニット125に供給される。同様に、第2の分解ユニット104は、精度に基づいて選択する中間サブバンドを決定する第2レベル1分解ユニット130および第2レベルj分解ユニット131および第2のサブバンド選択ユニット132を含む(図1d参照)。第2のサブバンド選択ユニット132は、第2レベル1分解ユニット130および第2レベルj分解ユニット131が利用する中間サブバンドを決定するために利用される。第2のサブバンド選択ユニット132はさらに、精度を達成するために必要な中間サブバンド数に基づいて、選択する中間サブバンドを決定する第2のサブバンド選択サブユニット133も含む。多解像度分解を画像Xに行い、レベル2で処理するためにレベル1の中間サブバンドを生成する第1レベル1分解ユニット130の出力は、多解像度分解を、jが2からNであるところのレベルj−1で行うことで生成される、選択された中間サブバンドのみに行う第1レベルj分解ユニット131に供給される。
第1の集計ユニット113のコンポーネントを図1eに示す。第1の集計ユニット113は、第1の詳細サブバンド集計ユニット135、並びに、第1レベルj集計ユニット136および、各レベルjで選択される中間サブバンドおよび、実質的に同じ解像度134の画像Xについて選択される詳細サブバンドを選択する計算手段を含む。第1レベルj集計ユニット136は、画像Xのレベルjのエッジマップを、前述した各レベルj(j=1からN−1)で生成される選択された中間サブバンドの二乗の関数として決定する。レベルjで生成される中間サブバンドの一部のみ(例えば、実質的に解像度が同じサブバンド)を、レベルjのエッジマップを生成するための集計目的に選択する。第1レベルj集計ユニット136の出力は、各レベルjで生成された1以上の選択される中間サブバンドと、レベルNで生成された画像Xの1以上の選択された詳細サブバンドとを集計する第1の詳細サブバンド集計ユニット135により処理される。各レベルjで選択される中間サブバンドおよび実質的に同じ解像度134を有する画像Xの選択される詳細サブバンドを選択する計算手段は、第1の詳細サブバンド集計ユニット135および第1レベルj集計ユニット136が、各レベルjの中間サブバンドおよび集計用に実質的に同じ解像度を持つ画像Xの詳細サブバンドを選択する際に利用する。ここで、jは単にインデックス変数であり、1とN−1との間の任意の整数値であってよいことに留意されたい。第1の詳細サブバンド集計ユニット135は、第1レベルN集計ユニット137および第1のエッジマップユニット138を含む。第1レベルN集計ユニット137は、画像XのレベルNのエッジマップを、レベルNで生成される画像Xの選択される詳細サブバンドの二乗の関数として決定して、第1のエッジマップユニット138は、画像Xのエッジマップを、レベルjのエッジマップと、第1レベルN集計ユニット137から受け取るレベルNのエッジマップとの重み付けされた合計として決定する。
第2の集計ユニット114のコンポーネントを図1fに示す。第2の集計ユニット114は、第2の詳細サブバンド集計ユニット141、並びに、第2レベルj集計ユニット141および、各レベルjで選択される中間サブバンドおよび、実質的に同じ解像度139の画像Yの選択される詳細サブバンドを選択する計算手段を含む。第2レベルj集計ユニット141は、画像Yの各レベルj(j=1からN−1)のエッジマップを、前述した各レベルjで生成される選択された中間サブバンドの二乗の関数として決定する。第2レベルj集計ユニット141の出力は、各レベルjで生成された1以上の選択される中間サブバンドと、レベルNで生成された画像Yの1以上の選択された詳細サブバンドとを集計する第2の詳細サブバンド集計ユニット140により処理される。各レベルjで選択される中間サブバンドおよび実質的に同じ解像度139を有する画像Yの選択される詳細サブバンドを選択する計算手段は、第2の詳細サブバンド集計ユニット140および第2レベルj集計ユニット141が、各レベルjの中間サブバンドおよび集計用に実質的に同じ解像度を持つ画像Yの詳細サブバンドを選択する際に利用する。ここでもまた、jは単にインデックス変数であり、1とN−1との間の任意の整数値であってよいことに留意されたい。第2の詳細サブバンド集計ユニット140は、第2レベルN集計ユニット142および第2エッジマップユニット143を含む。第2レベルN集計ユニット142は、画像YのレベルNのエッジマップを、レベルNで生成される画像Yの選択される詳細サブバンドの二乗の関数として決定して、第2エッジマップユニット143は、画像Yのエッジマップを、レベルjのエッジマップと、第2レベルN集計ユニット142から受け取るレベルNのエッジマップとの重み付けされた合計として決定する。
図1lに示すように、画像Xを処理する第1の集計ユニット113aは、第1の選択ユニット170を含み、その出力が第1の選択集計ユニット171の入力に接続される。第1の選択ユニット170は、各レベルiの中間サブバンド(iは1からN−1の範囲であってよい)、および、画像Xの詳細サブバンドを、品質の計測値を決定するとき達成する必要のある精度に基づいて選択する。第1の選択集計ユニット171は、画像Xの選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する。第1の集計ユニット113aはさらに、実質的に同じ解像度134aを有する画像Xの各レベルiの選択された中間サブバンドおよび選択された詳細サブバンドを選択する計算手段を含む。134aは、前述した134に類似しており、集計用の実質的に同じ解像度を有する中間サブバンドおよび詳細サブバンドを選択するために利用される。第1の選択ユニット170はさらに、精度を達成するために必要な中間サブバンドおよび詳細サブバンドの数に基づいて画像Xの各レベルiの中間サブバンドおよび詳細サブバンドを選択する。別の実施形態では、第1の選択ユニットは、レベルi−WP近似サブバンドの1以上および画像Xの詳細サブバンドの1以上を選択する第1のウェーブレットパケット(WP)詳細選択サブユニット176を含む。第1のWP詳細サブバンド選択サブユニット176は、選択時に画像Xのレベルi詳細サブバンドの1以上を含めるために第1の詳細選択モジュール179を含む。
第1のレベルi−中間サブバンド集計ユニット173は、各レベルi(i=1からN−1)の画像Xのための各選択された中間サブバンドを二乗して、画像Xの各選択された中間サブバンドに所定の重みで実行された二乗処理の結果を乗算して、画像Xにレベルiでエッジマップを生成するために行われた合計の結果に平方根関数を適用する第1のレベルi計算ユニット177を含む。第1の詳細サブバンド集計ユニット174は、画像Xの選択された詳細サブバンドそれぞれを二乗して、画像Xの各選択された詳細サブバンドの所定の重みで、ステップで生成された二乗結果を乗算して、ステップで行われた乗算の積を合計して、画像XのレベルNのエッジマップを生成するステップで行われた合計結果に平方根関数を適用する第1の詳細サブバンド計算ユニット180を含む。第1のエッジマップ決定ユニット175は、画像Xの各レベルiのエッジマップを、レベルiの所定の重みで乗算して、画像XのレベルNのエッジマップを、レベルNの所定の重みで乗算して、乗算結果の積を合計するための第1の計算ユニット178を含む。
図1mに示すように、画像Yを処理する第2の集計ユニット114aは、第2の選択ユニット182を含み、その出力が第2の選択集計ユニット183の入力に接続される。第2の選択ユニット182は、各レベルiの中間サブバンド(iは1からN−1の範囲であってよい)、および、画像Yの詳細サブバンドを、品質の計測値を決定するとき達成する必要のある精度に基づいて選択する。第2の選択集計ユニット183は、画像Yの選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する。第2の集計ユニット114aはさらに、実質的に同じ解像度139aを有する画像Yの各レベルiの選択された中間サブバンドおよび選択された詳細サブバンドを選択する計算手段を含む。139aは、前述した139に類似しており、集計用の実質的に同じ解像度を有する中間サブバンドおよび詳細サブバンドを選択するために利用される。第2の選択ユニット182はさらに、精度を達成するために必要な中間サブバンドおよび詳細サブバンドの数に基づいて画像Yの各レベルiの中間サブバンドおよび詳細サブバンドを選択する第2の選択サブユニット184を含む。別の実施形態では、第2の選択ユニット182は、画像Yのレベルi−WP近似サブバンドの1以上および詳細サブバンドの1以上を選択する第2のWP詳細選択サブユニット188を含む。第2のWP詳細サブバンド選択サブユニット188は、選択時に画像Yのレベルi詳細サブバンドの1以上を含めるために第2の詳細選択モジュール191を含む。
第2のレベルi−中間サブバンド集計ユニット185は、各レベルiの画像Yのための各選択された中間サブバンドを二乗して、画像Yの各選択された中間サブバンドに所定の重みで実行された二乗処理の結果を乗算して、乗算結果の積を合計して、画像Yにレベルiのエッジマップを生成するために行われた合計の結果に平方根関数を適用する第2のレベルi計算ユニット189を含む。第2の詳細サブバンド集計ユニット186は、画像Yの選択された詳細サブバンドそれぞれを二乗して、画像Yの各選択された詳細サブバンドの所定の重みで行われた二乗結果を乗算して、行われた乗算の積を合計して、画像YのレベルNのエッジマップを生成するために行われた合計結果に平方根関数を適用する第2の詳細サブバンド計算ユニット192を含む。第2のエッジマップ決定ユニット187は、画像Yの各レベルiのエッジマップを、レベルiの所定の重みで乗算して、画像YのレベルNのエッジマップを、レベルNの所定の重みで乗算して、乗算結果の積を合計するための第2の計算ユニット190を含む。
上述した方法において、段階(a10iv)は、(a12i)平方根関数を画像Xの水平エッジマップ、垂直エッジマップ、および対角エッジマップに適用する段階と、(a12ii)平方根関数を適用した結果を合計する段階とを含み(a12)、段階(b10iv)は、(b12i)平方根関数を画像Yの水平エッジマップ、垂直エッジマップ、および対角エッジマップに適用する段階と、(b12ii)平方根関数を適用した結果を合計する段階とを含む(b12)。
上述したシステムでは、画像Xおよび画像Yのレベルi−WP詳細サブバンドはさらに、それぞれの画像について、レベルi−WP水平サブバンド、レベルi−WP垂直サブバンド、およびレベルi−WP対角サブバンドを含み、第1の水平エッジマップユニット(a34i)は、集計時に画像Xのレベルi−WP水平サブバンドを含む第1の水平サブユニットを含み(a35)、第1の垂直エッジマップユニット(a34ii)は、集計時に画像Xのレベルi−WP垂直サブバンドを含む第1の垂直サブユニットを含み(b35)、第1の対角エッジマップユニット(a34iii)は、集計時に画像Xのレベルi−WP対角サブバンドを含む第1の対角サブユニットを含み(c35)、第2の水平エッジマップユニット(b34i)は、集計時に画像Yのレベルi−WP水平サブバンドを含む第2の水平サブユニットを含み(d35)、第2の垂直エッジマップユニット(b34ii)は、集計時に画像Yのレベルi−WP垂直サブバンドを含む第2の垂直サブユニットを含み(e35)、第2の対角エッジマップユニット(b34iii)は、集計時に画像Yのレベルi−WP対角サブバンドを含む第2の対角サブユニットを含む(f35)。
上述したシステムにおいては、近似品質計測値は近似品質マップであり、エッジ品質計測値はエッジ品質マップであり、品質計測ユニット(g25)はさらに、(a42)画像Xおよび画像Yの近似サブバンドおよびエッジマップの画素に対応する値を、それぞれの人間の視覚システムに対する重要度に応じて割り当てることを含む、コントラストマップを生成するコントラストマップユニットと、(b42)コントラストマップを利用して近似品質マップに重み付けされたプーリングを実行して、近似品質スコアを生成する第1のプーリングユニットと、(c42)コントラストマップを利用してエッジ品質マップに重み付けされたプーリングを実行して、エッジ品質スコアを生成する第2のプーリングユニットと、(d42)第1のプーリングユニット(b42)の近似類似度スコアを、第2のプーリングユニット(c42)のエッジ類似度スコアと組み合わせて、品質計測値を決定するスコア合成ユニットとを有する。
Claims (17)
- 変形画像Y用の品質計測値を決定するための方法であって、前記画像Yと、前記画像Yと同じ行列数の画素を有し、変形されていない参照画像Xとの間の類似度を特徴付け、
(a)レベル1、2、…i、i+1、…Nを含むNレベルの多解像度分解を画像Xに適用して、
1からN−1までの範囲である各レベルiについて、レベルi+1で処理するために前記画像Xの中間サブバンドを生成して、
レベルNについて、前記画像Xの主要コンテンツを含む近似サブバンドと、前記画像Xのエッジを含む詳細サブバンドとを生成する段階と、
(b)1、2、…i、i+1、…Nを含むNレベルの多解像度分解を前記画像Yに適用して、
1からN−1までの範囲である各レベルiについて、レベルi+1で処理するために前記画像Yの中間サブバンドを生成して、
前記レベルNについて、前記画像Yの主要コンテンツを含む近似サブバンドと、前記画像Yのエッジを含む詳細サブバンドとを生成する段階と、
(c)画質メトリック(IQM)を前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに適用して、前記画像Xの前記主要コンテンツと前記画像Yの前記主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する段階と、
(d)前記画像Xについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Xの前記詳細サブバンドを集計して、前記画像Xの前記エッジを特徴付ける前記画像Xのエッジマップを生成する段階と、
(e)前記画像Yについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Yの前記詳細サブバンドを集計して、前記画像Yの前記エッジを特徴付ける前記画像Yのエッジマップを生成する段階と、
(f)前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間に前記IQMを適用して、前記画像Xの前記エッジと前記画像Yの前記エッジとの間の類似度を特徴付けるエッジ品質計測値を生成する段階と、
(g)前記近似品質計測値と前記エッジ品質計測値とを処理して前記品質計測値を決定する段階と
を備える方法。 - 前記段階(d)はさらに、
前記画像Xの1からN−1までの範囲である各レベルiについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される精度に基づいて選択する段階と、
前記画像Xについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する段階と
を有し、
前記段階(e)はさらに、
前記画像Yの前記各レベルiについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される前記精度に基づいて選択する段階と、
前記画像Yについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する段階と
を有する請求項1に記載の方法。 - 前記画像Xについて前記中間サブバンドおよび前記詳細サブバンドを選択する段階はさらに、前記画像Xについて、同じ解像度を有する前記各レベルiについての前記選択された中間サブバンドと前記詳細サブバンドと選択する段階を有し、
前記画像Yについて前記中間サブバンドおよび前記詳細サブバンドを選択する段階はさらに、前記画像Yについて、同じ解像度を有する前記各レベルiについての前記選択された中間サブバンドと前記詳細サブバンドと選択する段階を有する請求項2に記載の方法。 - 前記画像Xおよび前記画像Yの前記各レベルiについての前記中間サブバンドは、各画像において、レベルi−詳細サブバンドおよびレベルi−ウェーブレットパケット(WP)サブバンドを含み、
前記レベルi−WPサブバンドは、レベルi−WP近似サブバンドおよびレベルi−WP詳細サブバンドを含み、
前記レベルi−WP近似サブバンドはさらに、レベルi−水平WP近似サブバンドとレベルi−垂直WP近似サブバンドと、レベルi−対角WP近似サブバンドとを含む請求項2または3に記載の方法。 - 前記段階(a)において、
レベル1で、前記画像Xに前記多解像度分解を適用して、レベル2における処理用に、レベル1の中間サブバンドを生成する段階と、
2からNまでの範囲であるレベルiで、レベルi−1で行われる前記多解像度分解で生成された前記中間サブバンドの1以上に前記多解像度分解を適用する段階とを実行すること、および、
前記段階(b)において、
レベル1で、前記画像Yに前記多解像度分解を適用して、レベル2における処理用に、前記レベル1の中間サブバンドを生成する段階と、
2からN−1までの範囲であるレベルiで、レベルi−1で行われる前記多解像度分解で生成された前記中間サブバンドの1以上に前記多解像度分解を適用する段階とを実行すること、の1以上を実行する請求項1から4のいずれか一項に記載の方法。 - 前記近似品質計測値は近似品質マップであり、前記エッジ品質計測値はエッジ品質マップであり、
前記段階(g)はさらに、
前記画像Xおよび前記画像Yの前記近似サブバンドおよび前記エッジマップの前記画素に対応する値を、それぞれの人間の視覚システムに対する重要度に応じて割り当てることを含む、コントラストマップを生成する段階と、
前記コントラストマップを利用して前記近似品質マップに重み付けされたプーリングを実行して、近似品質スコアを生成する段階と、
前記コントラストマップを利用して前記エッジ品質マップに重み付けされたプーリングを実行して、エッジ品質スコアを生成する段階と、
前記近似品質スコアを、エッジ類似度スコアと組み合わせて、前記品質計測値を決定する段階とを有する請求項1から5のいずれか一項に記載の方法。 - Nを、人間の視覚システムに対してピーク応答を生成する、近似サブバンドSの最小サイズの関数として決定する段階をさらに備える請求項1から6のいずれか一項に記載の方法。
- 前記段階(c)は、前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに構造的類似度(SSIM)IQMを適用して、近似SSIMマップSSIMAを生成する段階を有し、
前記段階(f)は、前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間にSSIM IQMを適用して、エッジSSIMマップSSIMEを生成する段階を有し、
前記段階(g)は、前記SSIMAと前記SSIMEとを処理して、SSIMDWTスコアを前記品質計測値として決定する段階を含む、または、
前記段階(c)は、前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに絶対差(AD)IQMを適用して、近似ADマップADAを生成する段階を有し、
前記段階(f)は、前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間に前記AD IQMを適用して、エッジADマップADEを生成する段階を有し、
前記段階(g)は、前記ADAと前記ADEとを処理して、ADDWTスコアを前記品質計測値として決定する段階を含む、または、
前記段階(c)は、前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとにピーク信号対雑音比(PSNR)IQMを適用して、PSNR近似品質スコアPSNRAを生成する段階を有し、
前記段階(f)は、前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間にPSNR IQMを適用して、PSNRエッジ品質スコアPSNREを生成する段階を有し、
前記段階(g)は、前記PSNRAと前記PSNREとを処理して、PSNRDWTスコアを前記品質計測値として決定する段階を含む、または、
前記段階(c)は、前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに視覚情報忠実度(VIF)IQMを適用して、VIF近似品質スコアVIFAを生成する段階を有し、
前記段階(f)は、前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間にVIF IQMを適用して、VIFエッジ品質スコアVIFEを生成する段階を有し、
前記段階(g)は、前記VIFAと前記VIFEとを処理して、VIFDWTスコアを前記品質計測値として決定する段階を含む請求項1から7のいずれか一項に記載の方法。 - 前記段階(a)および前記段階(b)は、Nレベルの離散ウェーブレット変換を適用する段階を有し、前記離散ウェーブレット変換は、ハール変換、ニューランド変換、またはDaubechiesフィルタを利用するウェーブレット変換であってよい請求項1から8のいずれか一項に記載の方法。
- 変形画像Y用の品質計測値を決定するためのシステムであって、前記画像Yと、前記画像Yと同じ行列数の画素を有し、変形されていない参照画像Wとの間の類似度を特徴付け、
プロセッサと、コンピュータ可読命令が格納されたコンピュータ可読格納媒体とを備え、前記コンピュータ可読命令は前記プロセッサにより実行されると、
(a)1、2、…i、i+1、…Nを含むNレベルの多解像度分解を画像Xに適用して、
1からN−1までの範囲である各レベルiについて、レベルi+1で処理するために画像Xの中間サブバンドを生成して、
レベルNについて、前記画像Xの主要コンテンツを含む近似サブバンドと、前記画像Xのエッジを含む詳細サブバンドとを生成する第1の分解ユニットと、
(b)1、2、…i、i+1、…Nを含むNレベルの多解像度分解を前記画像Yに適用して、
1からN−1までの範囲である各レベルiについて、前記画像Yの中間サブバンドを生成して、
前記レベルNについて、前記画像Yの主要コンテンツを含む近似サブバンドと、前記画像Yのエッジを含む詳細サブバンドとを生成する第2の分解ユニットと、
(c)画質メトリック(IQM)を前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに適用して、前記画像Xの前記主要コンテンツと前記画像Yの前記主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する近似品質計測ユニットと、
(d)前記画像Xについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Xの前記詳細サブバンドを集計して、前記画像Xの前記エッジを特徴付ける前記画像Xのエッジマップを生成する第1の集計ユニットと、
(e)前記画像Yについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Yの前記詳細サブバンドを集計して、前記画像Yの前記エッジを特徴付ける前記画像Yのエッジマップを生成する第2の集計ユニットと、
(f)前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間に前記IQMを適用して、前記画像Xの前記エッジと前記画像Yの前記エッジとの間の類似度を特徴付けるエッジ品質計測値を生成するエッジ品質計測ユニットと、
(g)前記近似品質計測値と前記エッジ品質計測値とを処理して前記品質計測値を決定する品質計測ユニットと
を形成するシステム。 - 前記第1の集計ユニットはさらに、
前記画像Xの1からN−1までの範囲である各レベルiについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される精度に基づいて選択する第1の選択ユニットと、
前記画像Xについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する第1の選択的集計ユニットとを有し、
前記第2の集計ユニットはさらに、
前記画像Yの前記各レベルiについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される精度に基づいて選択する第2の選択ユニットと、
前記画像Yについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する第2の選択的集計ユニットとを有する請求項10に記載のシステム。 - 前記第1の集計ユニットはさらに、前記画像Xについて、同じ解像度を有する前記各レベルiについての前記選択された中間サブバンドと前記詳細サブバンドと選択する計算手段を有し、
前記第2の集計ユニットはさらに、前記画像Yについて、同じ解像度を有する前記各レベルiについての前記選択された中間サブバンドと前記詳細サブバンドと選択する計算手段を有する請求項11に記載のシステム。 - 前記画像Xおよび前記画像Yの前記各レベルiについての前記中間サブバンドは、各画像において、レベルi−詳細サブバンドおよびレベルi−ウェーブレットパケット(WP)サブバンドを含み、
前記レベルi−WPサブバンドは、レベルi−WP近似サブバンドおよびレベルi−WP詳細サブバンドを含み、
前記レベルi−WP近似サブバンドはさらに、レベルi−水平WP近似サブバンドとレベルi−垂直WP近似サブバンドと、レベルi−対角WP近似サブバンドとを含む請求項11または12に記載のシステム。 - 前記第1の分解ユニットにおいて、
前記画像Xに前記多解像度分解を適用して、レベル2における処理用に、レベル1の中間サブバンドを生成する第1のレベル1分解ユニット、および、
2からNまでの範囲であるレベルiで、レベルi−1で行われる前記多解像度分解で生成された前記中間サブバンドの1以上に前記多解像度分解を適用する第1のレベルi分解ユニット、並びに、
前記第2の分解ユニットにおいて、
前記画像Yに前記多解像度分解を適用して、レベル2における処理用に、レベル1の中間サブバンドを生成する第2のレベル1分解ユニット、および、
2からN−1までの範囲である前記レベルiで、レベルi−1で行われる前記多解像度分解で生成された前記中間サブバンドの1以上に前記多解像度分解を適用する第2のレベルi分解ユニット、の1以上が含まれる請求項10から13のいずれか一項に記載のシステム。 - Nを、人間の視覚システムに対してピーク応答を生成する、近似サブバンドSの最小サイズの関数として決定する計算手段をさらに備える請求項10から14のいずれか一項に記載のシステム。
- 前記第1の分解ユニット(a)および前記第2の分解ユニット(b)は、Nレベルの離散ウェーブレット変換を適用する計算手段を有し、前記離散ウェーブレット変換は、ハール変換、ニューランド変換、またはDaubechiesフィルタを利用するウェーブレット変換であってよい請求項10から15のいずれか一項に記載のシステム。
- コンピュータに、
(a)1、2、…i、i+1、…Nを含むNレベルの多解像度分解を画像Xに適用して、
1からN−1までの範囲である各レベルiについて、レベルi+1で処理するために画像Xの中間サブバンドを生成して、
レベルNについて、前記画像Xの主要コンテンツを含む近似サブバンドと、前記画像Xのエッジを含む詳細サブバンドとを生成する段階と、
(b)1、2、…i、i+1、…Nを含むNレベルの多解像度分解を画像Yに適用して、
1からN−1までの範囲である各レベルiについて、レベルi+1で処理するために前記画像Yの中間サブバンドを生成して、
前記レベルNについて、前記画像Yの主要コンテンツを含む近似サブバンドと、前記画像Yのエッジを含む詳細サブバンドとを生成する段階と、
(c)画質メトリック(IQM)を前記画像Xの前記近似サブバンドと前記画像Yの前記近似サブバンドとに適用して、前記画像Xの前記主要コンテンツと前記画像Yの前記主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する段階と、
(d)前記画像Xについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Xの前記詳細サブバンドを集計して、前記画像Xの前記エッジを特徴付ける前記画像Xのエッジマップを生成する段階と、
(e)前記画像Yについての1からN−1までの範囲である前記レベルiの前記中間サブバンドおよび前記画像Yの前記詳細サブバンドを集計して、前記画像Yの前記エッジを特徴付ける前記画像Yのエッジマップを生成する段階と、
(f)前記画像Xの前記エッジマップと前記画像Yの前記エッジマップとの間に前記IQMを適用して、前記画像Xの前記エッジと前記画像Yの前記エッジとの間の類似度を特徴付けるエッジ品質計測値を生成する段階と、
(g)前記近似品質計測値と前記エッジ品質計測値とを処理して前記品質計測値を決定する段階と
を実行させるためのプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US30427410P | 2010-02-12 | 2010-02-12 | |
US61/304,274 | 2010-02-12 | ||
US12/906,112 | 2010-10-17 | ||
US12/906,112 US8515182B2 (en) | 2009-02-11 | 2010-10-17 | Method and system for determining a quality measure for an image using multi-level decomposition of images |
PCT/CA2010/001705 WO2011097697A1 (en) | 2010-02-12 | 2010-10-27 | Method and system for determining a quality measure for an image using multi-level decomposition of images |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013520037A JP2013520037A (ja) | 2013-05-30 |
JP2013520037A5 true JP2013520037A5 (ja) | 2013-09-26 |
JP5510688B2 JP5510688B2 (ja) | 2014-06-04 |
Family
ID=44367076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012552211A Active JP5510688B2 (ja) | 2010-02-12 | 2010-10-27 | 画像のマルチレベル分解を利用して画質計測値を決定する方法およびシステム |
Country Status (8)
Country | Link |
---|---|
US (2) | US8515182B2 (ja) |
EP (1) | EP2534639A4 (ja) |
JP (1) | JP5510688B2 (ja) |
KR (1) | KR101664913B1 (ja) |
CN (1) | CN102754126B (ja) |
CA (1) | CA2783879C (ja) |
IL (1) | IL220737A (ja) |
WO (1) | WO2011097697A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8515182B2 (en) | 2009-02-11 | 2013-08-20 | Ecole De Technologie Superieure | Method and system for determining a quality measure for an image using multi-level decomposition of images |
US8326046B2 (en) * | 2009-02-11 | 2012-12-04 | Ecole De Technologie Superieure | Method and system for determining structural similarity between images |
US8515181B2 (en) * | 2009-02-11 | 2013-08-20 | Ecole De Technologie Superieure | Method and system for determining a quality measure for an image using a variable number of multi-level decompositions |
KR101092650B1 (ko) * | 2010-01-12 | 2011-12-13 | 서강대학교산학협력단 | 양자화 코드를 이용한 화질 평가 방법 및 장치 |
US8792748B2 (en) * | 2010-10-12 | 2014-07-29 | International Business Machines Corporation | Deconvolution of digital images |
US8983206B2 (en) * | 2011-05-04 | 2015-03-17 | Ecole de Techbologie Superieure | Method and system for increasing robustness of visual quality metrics using spatial shifting |
US8525883B2 (en) * | 2011-09-02 | 2013-09-03 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for automatic video quality assessment |
RU2589401C2 (ru) * | 2012-02-29 | 2016-07-10 | Нэшнл Инститьют Оф Джапэн Сайнс Энд Текнолоджи Эйдженси | Цифровой фильтр обработки изображений, устройство генерирования изображения, устройство генерирования супер гибридного изображения, способ генерирования изображения, способ создания цифрового фильтра, способ генерирования супер гибридного изображения, способ изготовления печатного средства информации, способ изготовления электронного носителя информации и программа, и устройство генерирования вертикального панорамирования буквенного ряда, способ генерирования вертикального панорамирования буквенного ряда, способ изготовления печатного средства информации, способ изготовления электронного носителя информации и программа |
CN102930545A (zh) * | 2012-11-07 | 2013-02-13 | 复旦大学 | 一种图像质量盲评估的统计测度方法 |
WO2014154753A2 (en) * | 2013-03-28 | 2014-10-02 | Thomson Licensing | Method and apparatus of creating a perceptual harmony map |
CN103218815B (zh) * | 2013-04-19 | 2016-03-30 | 复旦大学 | 利用自然场景统计计算图像显著图的方法 |
CN103258326B (zh) * | 2013-04-19 | 2016-03-30 | 复旦大学 | 一种图像质量盲评估的信息保真度方法 |
US9350916B2 (en) | 2013-05-28 | 2016-05-24 | Apple Inc. | Interleaving image processing and image capture operations |
US9384552B2 (en) | 2013-06-06 | 2016-07-05 | Apple Inc. | Image registration methods for still image stabilization |
US9491360B2 (en) | 2013-06-06 | 2016-11-08 | Apple Inc. | Reference frame selection for still image stabilization |
US9262684B2 (en) | 2013-06-06 | 2016-02-16 | Apple Inc. | Methods of image fusion for image stabilization |
US20150071547A1 (en) | 2013-09-09 | 2015-03-12 | Apple Inc. | Automated Selection Of Keeper Images From A Burst Photo Captured Set |
CN103793912B (zh) * | 2014-01-27 | 2016-08-17 | 武汉大学 | 一种基于解译能力等级的光学遥感影像图像质量评价方法 |
US20150334386A1 (en) * | 2014-05-15 | 2015-11-19 | Arris Enterprises, Inc. | Automatic video comparison of the output of a video decoder |
US20170249521A1 (en) * | 2014-05-15 | 2017-08-31 | Arris Enterprises, Inc. | Automatic video comparison of the output of a video decoder |
US11064204B2 (en) | 2014-05-15 | 2021-07-13 | Arris Enterprises Llc | Automatic video comparison of the output of a video decoder |
CN104899893B (zh) * | 2015-07-01 | 2019-03-19 | 电子科技大学 | 基于视觉注意力的图像质量检测方法 |
CN105100789B (zh) * | 2015-07-22 | 2018-05-15 | 天津科技大学 | 一种视频质量评价方法 |
US10499056B2 (en) * | 2016-03-09 | 2019-12-03 | Sony Corporation | System and method for video processing based on quantization parameter |
CN107578399B (zh) * | 2017-07-25 | 2020-12-15 | 天津大学 | 基于边界特征分割的全参考图像质量评价方法 |
CN108765414B (zh) * | 2018-06-14 | 2021-12-03 | 上海大学 | 基于小波分解和自然场景统计的无参考立体图像质量评价方法 |
CN109344629B (zh) * | 2018-09-19 | 2021-04-23 | 湖北工程学院 | 图像加密隐藏方法及装置、图像解密方法及装置 |
KR102401340B1 (ko) * | 2018-11-29 | 2022-05-25 | 한국전자통신연구원 | 인지 민감 영역의 변화의 검출에 기반하는 비디오 화질 측정 방법 및 장치 |
US11205257B2 (en) * | 2018-11-29 | 2021-12-21 | Electronics And Telecommunications Research Institute | Method and apparatus for measuring video quality based on detection of change in perceptually sensitive region |
US11120536B2 (en) | 2018-12-12 | 2021-09-14 | Samsung Electronics Co., Ltd | Apparatus and method for determining image sharpness |
KR102235723B1 (ko) * | 2019-05-30 | 2021-04-01 | 주식회사 에이치엔티메디칼 | X-ray 장치의 영상 품질 진단 방법 |
US11756197B2 (en) | 2021-03-10 | 2023-09-12 | GE Precision Healthcare LLC | Systems and methods of processing magnetic resonance images using phase-sensitive structural similarity index measure |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6005978A (en) | 1996-02-07 | 1999-12-21 | Cognex Corporation | Robust search for image features across image sequences exhibiting non-uniform changes in brightness |
US5799112A (en) | 1996-08-30 | 1998-08-25 | Xerox Corporation | Method and apparatus for wavelet-based universal halftone image unscreening |
JP3213582B2 (ja) | 1997-05-29 | 2001-10-02 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
AUPP686598A0 (en) * | 1998-10-30 | 1998-11-26 | Canon Kabushiki Kaisha | A method and apparatus for representing a digital image to provide a coded representation |
JP3969688B2 (ja) * | 1999-03-24 | 2007-09-05 | 株式会社リコー | 両眼立体視画像評価装置、両眼立体視画像評価方法及び記録媒体 |
US6594391B1 (en) | 1999-09-03 | 2003-07-15 | Lucent Technologies Inc. | Method and apparatus for texture analysis and replicability determination |
US6549674B1 (en) * | 2000-10-12 | 2003-04-15 | Picsurf, Inc. | Image compression based on tiled wavelet-like transform using edge and non-edge filters |
US6909808B2 (en) | 2002-03-08 | 2005-06-21 | Anzus, Inc. | Image compression to enhance optical correlation |
US7308146B2 (en) * | 2002-09-30 | 2007-12-11 | Canon Kabushiki Kaisha | Digital video compression |
US7228006B2 (en) | 2002-11-25 | 2007-06-05 | Eastman Kodak Company | Method and system for detecting a geometrically transformed copy of an image |
JP2004348293A (ja) * | 2003-05-20 | 2004-12-09 | Nippon Telegr & Teleph Corp <Ntt> | 画像品質計算装置および方法、そのプログラム並びに記録媒体 |
US7512286B2 (en) * | 2003-10-27 | 2009-03-31 | Hewlett-Packard Development Company, L.P. | Assessing image quality |
US7483486B2 (en) | 2004-07-02 | 2009-01-27 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. | Method and apparatus for encoding high dynamic range video |
GB0427737D0 (en) | 2004-12-17 | 2005-01-19 | Univ Cambridge Tech | Method of identifying features within a dataset |
JP4763525B2 (ja) * | 2006-06-21 | 2011-08-31 | 日本電信電話株式会社 | 映像整合方法 |
US20080134070A1 (en) | 2006-11-09 | 2008-06-05 | Koji Kobayashi | Image processing apparatus and image processing method |
JP4858610B2 (ja) | 2007-02-28 | 2012-01-18 | 株式会社ニコン | 画像処理方法 |
JP4796019B2 (ja) * | 2007-08-08 | 2011-10-19 | 日本電信電話株式会社 | 映像品質推定装置、方法、およびプログラム |
JP4972004B2 (ja) | 2008-01-30 | 2012-07-11 | 国立大学法人東京工業大学 | 画像変換方法およびプログラム |
JP4656190B2 (ja) * | 2008-06-10 | 2011-03-23 | ソニー株式会社 | 情報処理装置および方法 |
US8805110B2 (en) | 2008-08-19 | 2014-08-12 | Digimarc Corporation | Methods and systems for content processing |
US8385971B2 (en) | 2008-08-19 | 2013-02-26 | Digimarc Corporation | Methods and systems for content processing |
CN101378519B (zh) * | 2008-09-28 | 2010-09-22 | 宁波大学 | 一种基于Contourlet变换的质降参考图像质量评价方法 |
US8213735B2 (en) | 2008-10-10 | 2012-07-03 | Accusoft Corporation | Methods and apparatus for performing image binarization |
US8326046B2 (en) | 2009-02-11 | 2012-12-04 | Ecole De Technologie Superieure | Method and system for determining structural similarity between images |
US8515182B2 (en) | 2009-02-11 | 2013-08-20 | Ecole De Technologie Superieure | Method and system for determining a quality measure for an image using multi-level decomposition of images |
US8515181B2 (en) | 2009-02-11 | 2013-08-20 | Ecole De Technologie Superieure | Method and system for determining a quality measure for an image using a variable number of multi-level decompositions |
CN101621709B (zh) * | 2009-08-10 | 2011-01-05 | 浙江大学 | 一种全参考型图像客观质量评价方法 |
-
2010
- 2010-10-17 US US12/906,112 patent/US8515182B2/en active Active
- 2010-10-27 JP JP2012552211A patent/JP5510688B2/ja active Active
- 2010-10-27 WO PCT/CA2010/001705 patent/WO2011097697A1/en active Application Filing
- 2010-10-27 KR KR1020127021619A patent/KR101664913B1/ko active IP Right Grant
- 2010-10-27 CN CN201080063472.1A patent/CN102754126B/zh not_active Expired - Fee Related
- 2010-10-27 EP EP10845423.2A patent/EP2534639A4/en not_active Withdrawn
- 2010-10-27 CA CA2783879A patent/CA2783879C/en not_active Expired - Fee Related
-
2012
- 2012-07-02 IL IL220737A patent/IL220737A/en not_active IP Right Cessation
-
2013
- 2013-07-09 US US13/938,181 patent/US8660364B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013520037A5 (ja) | ||
KR101929221B1 (ko) | 왜곡 영상 품질 계산 방법 및 시스템 | |
JP5510688B2 (ja) | 画像のマルチレベル分解を利用して画質計測値を決定する方法およびシステム | |
Zhang et al. | SR-SIM: A fast and high performance IQA index based on spectral residual | |
Yuan et al. | Image quality assessment: A sparse learning way | |
Hong et al. | Image quality assessment based on matching pursuit | |
JP3498842B2 (ja) | 実時間人間視覚システム行動モデル化方法 | |
Okarma | Combined full-reference image quality metric linearly correlated with subjective assessment | |
CN107040775B (zh) | 一种基于局部特征的色调映射图像质量客观评价方法 | |
CN108074239A (zh) | 一种基于先验感知质量特征图的无参考图像质量客观评价方法 | |
JP2018507620A5 (ja) | ||
Chetouani et al. | A novel free reference image quality metric using neural network approach | |
CN107343196A (zh) | 一种混合失真无参考图像质量评价方法 | |
Ma et al. | Saliency-based image quality assessment criterion | |
Tang et al. | Training-free referenceless camera image blur assessment via hypercomplex singular value decomposition | |
Wang et al. | No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning | |
JP6202725B2 (ja) | 画像差分量算出装置、画像符号化装置及びプログラム | |
CN105491371A (zh) | 基于梯度幅值相似性的色调映射图像质量评价方法 | |
CN108269253A (zh) | 基于小波变换和局部结构特征的立体图像质量评价方法 | |
CN102271279B (zh) | 一种立体图像的最小可察觉变化步长的客观分析方法 | |
Chervyakov et al. | Effect of RNS dynamic range on grayscale images filtering | |
CN104881878B (zh) | 一种基于多尺度梯度差分熵的图像质量评价方法 | |
CN104616310B (zh) | 一种图像质量的评估方法和装置 | |
Zewdie et al. | A new pooling strategy for image quality metrics: Five number summary | |
Huang et al. | A harmonic means pooling strategy for structural similarity index measurement in image quality assessment |