JP2011250013A - 画質評価方法、画質評価装置、及びプログラム - Google Patents
画質評価方法、画質評価装置、及びプログラム Download PDFInfo
- Publication number
- JP2011250013A JP2011250013A JP2010119498A JP2010119498A JP2011250013A JP 2011250013 A JP2011250013 A JP 2011250013A JP 2010119498 A JP2010119498 A JP 2010119498A JP 2010119498 A JP2010119498 A JP 2010119498A JP 2011250013 A JP2011250013 A JP 2011250013A
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- generated
- super
- image quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
【課題】超解像度画像に対して主観評価により近い客観的画質評価を行う。
【解決手段】高解像度画像入力部101は、基準画像となる高解像度画像IMG10を入力する。低解像度画像生成部102は、低解像度画像を生成するためにランダムに生成したパラメータに従って、高解像度画像IMG10からn個の低解像度画像IMG20を生成する。超解像度画像生成部103は、n個の低解像度画像IMG20から1枚の超解像度画像IMG30を生成する。超解像度画像画質評価部104は、超解像度画像を生成する際に発生する画素の位置のずれを考慮し、画像の輝度値を評価する評価基準と、画像特徴点からの画質を評価する評価基準と、画像領域分割からの画質を評価する評価基準とのうち、いずれか1つ、あるいはそれらを組み合わせて超解像度画像画質を評価する。
【選択図】図1
【解決手段】高解像度画像入力部101は、基準画像となる高解像度画像IMG10を入力する。低解像度画像生成部102は、低解像度画像を生成するためにランダムに生成したパラメータに従って、高解像度画像IMG10からn個の低解像度画像IMG20を生成する。超解像度画像生成部103は、n個の低解像度画像IMG20から1枚の超解像度画像IMG30を生成する。超解像度画像画質評価部104は、超解像度画像を生成する際に発生する画素の位置のずれを考慮し、画像の輝度値を評価する評価基準と、画像特徴点からの画質を評価する評価基準と、画像領域分割からの画質を評価する評価基準とのうち、いずれか1つ、あるいはそれらを組み合わせて超解像度画像画質を評価する。
【選択図】図1
Description
本発明は、画質評価方法、画質評価装置、及びプログラムに関する。
現在、超解像度技術の研究開発が盛んに行われている。このような超解像度技術の研究開発においては、その性能を評価すること、すなわち、超解像度画像の画質評価が不可欠である。従来においては、人間が実際に目視にて画像を評価する主観的画質評価が行われてきた。
しかしながら、主観的画質評価では、評価条件(例えば、ディスプレイ、評価者のその日の体調、好み等)によって評価結果が変動するため、定量的に評価することが難しい上、多大な時間と労力が必要となる。これに対して、PC(パーソナルコンピュータ)等を用いて画像データの解析を行うことによる客観的画質評価は、簡便・高速に定量化が可能である。このため、主観的画質評価結果と相関の高い客観的画質評価方法の開発研究が行われている。
画質を客観的に評価する方法は、大きく3種類に分類される(例えば、非特許文献1参照)。1つ目の方法は、原画像と評価対象画像とを直接比較し、画質を評価する方法(Full Reference法)である。2つ目の方法は、原画像の特徴量のみを伝送し、この特徴量と評価対象画像とから画質を評価する方法(Reduced Reference法)である。3つ目の方法は、評価対象画像のみから画質を評価する方法(No Reference法)である。一般的に、超解像度の画質評価は、上記3つ目の方法である、No Reference法が多いが、本発明は、Reduced Reference法とFull Reference法に該当するものである。
Reduced Reference法とFull Reference法における「客観的画質評価方法」とは、一般的に、基準画像と評価対象画像の特徴量あるいは画像そのものの差分値の大きさから評価値を算出し、評価対象画像を数値的に評価する手法のことである。例えば、Full Reference法であるPSNR(peak signal-to-noise ratio)は、一般的に使われている。客観的画質評価方法において、主観的画質評価との相関を高くするためには、評価値を算出する際に得られる差分値を人間の視覚特性に応じた評価値に置き直す必要がある。人間の視覚特性の1つとして、明るさによって人間の視覚による画質劣化の見え方が変化することが知られているからである(例えば、非特許文献2参照)。
ITU-T Recommendation J.143,「User requirements for objective perceptual video quality measurements in digital cable television」,2000
Huynh-Thu, Q.; Ghanbari, M. (2008). "Scope of validity of PSNR in image/video quality assessment". Electronics Letters 44: 800-801.
しかしながら、超解像度の画像と基準画像の間には、歪みが発生してしまうので、PSNRのような画素対画素の差分値の大きさから評価値を算出する評価基準は、客観的に画質を評価できないという問題がある。これは、例えば、ビデオによって撮影された複数枚の連続画像を基準画像として、この連続画像に基づき超解像度画像を生成した場合、ユーザの手ブレ等により連続画像に表わされている対象が画面内において位置が変わることがある。このような連続画像に基づき超解像度画像を生成すると、超解像度画像と基準画像内の対象の位置が微妙に異なることにより、両者の間に歪みが発生する。
また、PSNRは、画質を評価する基準である画質劣化度を、単純に画素レベルでサンプル数を集計して算出するのみの構成であるため、画像全体の画質や、ユーザの主観評価に近い評価を算出することができないという問題がある。その理由は、例えば、超解像度の画像が基準画像と比べ、全体的に画面が明るくなった場合、PSNRとして、非常に小さい評価値になってしまい、実際にユーザが画像を見た場合、画質がよくなったように感じられ、ユーザの主観評価を画質劣化に反映できないという問題がある。
また、PSNRは、画質を評価する基準である画質劣化度を、単純に画素レベルでサンプル数を集計して算出するのみの構成であるため、画像全体の画質や、ユーザの主観評価に近い評価を算出することができないという問題がある。その理由は、例えば、超解像度の画像が基準画像と比べ、全体的に画面が明るくなった場合、PSNRとして、非常に小さい評価値になってしまい、実際にユーザが画像を見た場合、画質がよくなったように感じられ、ユーザの主観評価を画質劣化に反映できないという問題がある。
本発明は、このような事情を考慮してなされたものであり、その目的は、超解像度画像に対して主観評価により近い客観的画質評価を行うことができる画質評価方法、画質評価装置、及びプログラムを提供することにある。
上述した課題を解決するために、本発明は、基準画像から生成される生成画像の画質を評価する画質評価方法であって、前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成ステップと、前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価ステップを含むことを特徴とする。
本発明は、上記の画質評価方法において、前記評価ステップは、前記基準画像と前記生成画像との輝度値に基づいて評価する第1の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第2の評価ステップ、および、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第3の評価ステップのうち、いずれか1つの評価ステップを用いることを特徴とする。
本発明は、上記の画質評価方法において、前記評価ステップは、前記基準画像と前記生成画像との輝度値に基づいて評価する第1の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第2の評価ステップ、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第3の評価ステップのうち、少なくとも2つ以上の評価ステップを組み合わせて用いることを特徴とする。
本発明は、上記の画質評価方法において、前記第1の評価ステップは、前記基準画像のうち評価対象である基準対象領域と対応する前記生成画像のうち、前記基準画像の輝度値を評価する基準評価値に対して、前記生成画像の輝度値を評価する生成評価値の誤差が最小となる前記生成画像の生成対象領域と前記基準対象領域とを比較することにより、前記生成画像の輝度値を評価する評価値を算出するステップであり、前記第2の評価ステップは、前記基準画像の画像特徴点と前記生成画像の画像特徴点の差分が閾値以下となる画像特徴点に基づき、前記生成画像を評価するステップであり、前記第3の評価ステップは、前記基準画像の部分画像と同一位置における前記生成画像の部分画像において、共通する画素に基づいて評価するステップであることを特徴とする。
また、上述した課題を解決するために、本発明は、基準画像から生成される生成画像の画質を評価する画質評価装置であって、前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成手段と、前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価手段を含むことを特徴とする。
また、上述した課題を解決するために、本発明は、上述した画質評価方法のうちいずれか一つの方法における各ステップを実行させるためのプログラムである。
この発明によれば、超解像度画像に対して主観評価により近い客観的画質評価を行うことができる。
以下、本発明の一実施形態を、図面を参照して説明する。
図1は、本発明の実施形態による超解像度画像画質評価装置の略構成を示すブロック図である。この画像画質評価装置は、高解像度画像入力部101、低解像度画像生成部102、超解像度画像生成部103、超解像度画像画質評価部104から構成されている。
高解像度画像入力部101は、基準画像となる高解像度画像IMG10を入力する。低解像度画像生成部102は、高解像度画像入力部101により入力された高解像度画像IMG10から低解像度画像IMG20を生成する。超解像度画像生成部103は、低解像度画像生成部102により生成された低解像度画像IMG20から超解像度画像IMG30を生成する。超解像度画像画質評価部104は、高解像度画像入力部101に入力された基準画像IMG10と超解像度画像生成部103により生成された超解像度画像IMG30とを用いて、超解像度画像画質を評価し、評価結果を出力する。
以下、各部について詳細に説明する。
高解像度画像入力部101は、例えば、デジタルカメラやデジタルビデオなどから、デジタル画像情報を取得する。さらに、色画像を濃淡画像に変換して、最後の情報として出力する。例えば、高解像度画像入力部101は、時系列に連続する複数のデジタル画像情報をデジタルビデオから入力する。
低解像度画像生成部102は、高解像度画像入力部101により入力された基準画像IMG10から低解像度画像IMG20を生成する。この低解像度画像生成部102は、本実施形態のように、低解像度画像から生成される超解像度画像の画質を評価する際に利用されるものである。また、低解像度画像生成部102は、ビデオカメラにより撮影された画像が手ブレ等により、画像内における対象が移動している場合を想定して、低解像度画像において想定されるずれ量や回転量、あるいはサイズ変更等を与える。
高解像度画像入力部101は、例えば、デジタルカメラやデジタルビデオなどから、デジタル画像情報を取得する。さらに、色画像を濃淡画像に変換して、最後の情報として出力する。例えば、高解像度画像入力部101は、時系列に連続する複数のデジタル画像情報をデジタルビデオから入力する。
低解像度画像生成部102は、高解像度画像入力部101により入力された基準画像IMG10から低解像度画像IMG20を生成する。この低解像度画像生成部102は、本実施形態のように、低解像度画像から生成される超解像度画像の画質を評価する際に利用されるものである。また、低解像度画像生成部102は、ビデオカメラにより撮影された画像が手ブレ等により、画像内における対象が移動している場合を想定して、低解像度画像において想定されるずれ量や回転量、あるいはサイズ変更等を与える。
図2は、本実施形態による、低解像度画像生成部102での低解像度画像の生成手順を説明するためのフローチャートである。まず、n番目の低解像度画像を取得すべく、n=1とする(ステップS1)。次に、低解像度画像を生成するためのパラメータΔx、Δy、r、sをランダムに生成する(ステップS2)。Δx、Δyは、画像横方向と縦方向のずれ量、rは、回転の角度、sは、サイズ変更のスケールとなる。Δx、Δyは、次式(1)に従って算出する。
ここで、sは、サイズ変更のスケールであり、αx、αyは、ランダムに生成した乱数である。sは、0から1までの小数になり、αx,αyは、一般的に−1から1まで間の数字になる。回転の角度rは、ランダムに生成した−15/180*πから15/180*πまで間の数字になる。
次に、パラメータΔx、Δyを用いて、画像を、横方向にΔx画素、縦方向にΔy画素を移動する(ステップS3)。さらに、移動された画像を角度rだけ回転する(ステップS4)。そして、回転された画像をスケールSにダウンサンプリングする(ステップS5)。次に、nを1インクリメントし(ステップS6)、nが終了値であるか否かを判定し(ステップS7)、nが終了値でなければ、ステップS2に戻り、上述した処理を、次のn番目の低解像度画像に対して繰り返す。そして、nが終了値になると当該処理を終了する。
図3は、本実施形態による、低解像度画像生成部102での低解像度生成動作を示す模式図である。低解像度画像生成部102は、高解像度画像入力部101により入力された画像IMG10を、上記ステップS3で、横方向にΔx画素、縦方向にΔy画素を移動(位置シフト)し、画像IMG11とする。次に、該画像IMG11を、上記ステップS4で、角度rだけ回転し、画像IMG12とする。そして、画像IMG12を、上記ステップS5で、スケールSにダウンサンプリングし、最終的に、低解像度画像IMG20とする。このように、パラメータを変更しながらn個の低解像画像を生成する。
超解像度画像生成部103は、低解像度画像生成部102にて生成した、n個の低解像度画像IMG20から1枚の超解像度画像を生成する。なお、超解像度画像生成部103が用いる超解像度画像を生成するアルゴリズムが、本実施形態にかかる画像評価方法による評価の対象のアルゴリズムである。
超解像度画像画質評価部104は、高解像度画像入力部101に入力された基準画像IMG10と超解像度画像生成部103により生成された超解像度画像IMG30とを利用して、超解像度画像画質を評価する。言い換えると、超解像度画像画質評価部104は、基準画像IMG10に対して超解像度画像IMG30の画質を評価する評価値を算出する際、基準画像IMG10と超解像度画像IMG30と間における評価対象の画素の位置のずれに応じて、基準画像IMG10と超解像度画像IMG30を比較することにより、超解像度画像IMG30の画質を評価する評価値を算出する。なお、超解像度画像画質評価部104で評価する超解像度画像IMG30のサイズは、m×n[pixel]である。
本実施形態では、画像の輝度値を評価するMPSNR(Modified Peak Signal Noise Ration)と、画像特徴点抽出の観点から画質を評価する基準PRR(Point Reproduction Ratio)と、画像領域分割からの画質を評価する基準MSRR(Mean Segment Reproduction Ratio)との3つの評価基準を提案する。以下、この3つの評価基準について説明する。
まず、画像の輝度値を評価するMPSNRについて説明する。
この評価において、超解像度画像画質評価部104は、基準画像IMG10のうち評価対象である基準対象領域と対応する超解像度画像IMG30のうち、基準画像IMG10の輝度値を評価する基準評価値に対して、超解像度画像IMG30の輝度値を評価する生成評価値の誤差が最小となる超解像度画像IMG30の生成対象領域と基準画像IMG10の基準対象領域とを比較することにより、超解像度画像IMG30の輝度値を評価する。
以下、図4を参照して具体的に説明する。図4は、本実施形態による、MPSNRの算出手順を説明するためのフローチャートである。
この超解像度画像画質評価部104は、基準画像IMG10と超解像度画像IMG30とから、次式(2)に従って評価基準MPSNRを算出する(ステップS10)。
この評価において、超解像度画像画質評価部104は、基準画像IMG10のうち評価対象である基準対象領域と対応する超解像度画像IMG30のうち、基準画像IMG10の輝度値を評価する基準評価値に対して、超解像度画像IMG30の輝度値を評価する生成評価値の誤差が最小となる超解像度画像IMG30の生成対象領域と基準画像IMG10の基準対象領域とを比較することにより、超解像度画像IMG30の輝度値を評価する。
以下、図4を参照して具体的に説明する。図4は、本実施形態による、MPSNRの算出手順を説明するためのフローチャートである。
この超解像度画像画質評価部104は、基準画像IMG10と超解像度画像IMG30とから、次式(2)に従って評価基準MPSNRを算出する(ステップS10)。
ここでは、LMSEは、平均最小二乗誤差で、次式(3)のように算出する。
ここで、IHRは、高解像度画像であり、ISRは、超解像度画像である。また、高解像度画像IHR、超解像度画像ISRは、次式(4)で定義されている。また、m、nは、超解像度画像IMG30のサイズ(m×n[pixel])である。
ここでは、tは、A(i,j)と同じ位置にあるB(i,j)の近傍領域を決める閾値であり、一般的に、0から5まで間の数値になる。
ここで、図5は、MPSNRにおいて、t=2のときの、近傍領域を示す模式図である。このA(i,j)が、基準画像IMG10のうち評価対象である基準対象領域であり、B(i,j)が、基準対象領域と対応する超解像度画像IMG30である。超解像度画像画質評価部104は、数式(4)に示すように、基準対象領域と対応する超解像度画像IMG30のうち、基準画像IMG10の輝度値を評価する基準評価値に対して、超解像度画像IMG30の輝度値を評価する生成評価値の誤差が最小となる超解像度画像IMG30の生成対象領域と基準画像IMG10の基準対象領域とを比較する。これにより、超解像度化する際に発生する画素の位置のずれに対処できる。
なお、MPSNRを求める数式(2)は、一例であり、MPSNRの評価方法の最も特徴とするところは、関数ρ(A,B,t)である。ρを用いたLMSEの逆数をとることで、MPSNRの値を算出するものであればよい。
次に、画像特徴点抽出観点からの画質を評価するPRRについて説明する。
この評価において、超解像度画像画質評価部104は、基準画像IMG10の画像特徴点と超解像度画像IMG30の画像特徴点の差分が閾値以下となる画像特徴点に基づき、超解像度画像IMG30を評価する。
以下、図6を参照して具体的に説明する。図6は、本実施形態による、PRRの算出手順を説明するためのフローチャートである。
まず、超解像度画像画質評価部104は、高解像度画像IMG10と超解像度画像IMG30とからそれぞれ特徴点を抽出する(ステップS20、S21)。そして、それぞれ特徴点から評価基準PRRを算出する(ステップS22)。
この評価において、超解像度画像画質評価部104は、基準画像IMG10の画像特徴点と超解像度画像IMG30の画像特徴点の差分が閾値以下となる画像特徴点に基づき、超解像度画像IMG30を評価する。
以下、図6を参照して具体的に説明する。図6は、本実施形態による、PRRの算出手順を説明するためのフローチャートである。
まず、超解像度画像画質評価部104は、高解像度画像IMG10と超解像度画像IMG30とからそれぞれ特徴点を抽出する(ステップS20、S21)。そして、それぞれ特徴点から評価基準PRRを算出する(ステップS22)。
特徴点の抽出手法としては、Harris特徴点検出法など、特徴点を抽出するものであれば、既存のどのような技術を用いてもよい。高解像度画像IMG10と超解像度画像IMG30とから抽出した特徴点集合は、それぞれP={p1,p2,p3,…,pm}と、Q={q1,q2,q3,…,qn}とし、mとnとは、それぞれ点集合Pと点集合Qとにある特徴点の数になる。PRRは、次式(5)のように定義される。
ここでは、数式(6)として定義されている。
τは閾値であり、一般的に、0から5まで間の数値になる。これにより、超解像度化する際に発生する画素の位置のずれに対処できる。
最後に、画像領域分割からの画質を評価するMSRRについて説明する。
この評価において、超解像度画像画質評価部104は、基準画像IMG10の部分画像と同一位置の超解像度画像IMG30の部分画像において、共通する画素に基づいて評価する。
以下、図7を参照して具体的に説明する。図7は、本実施形態による、MSRRの算出手順を説明するためのフローチャートである。まず、超解像度画像画質評価部104は、高解像度画像IMG10と超解像度画像IMG30とを、それぞれ領域分割する(ステップS30、S31)。そして、それぞれの領域分割から評価基準MSRRを算出する(ステップS32)。
この評価において、超解像度画像画質評価部104は、基準画像IMG10の部分画像と同一位置の超解像度画像IMG30の部分画像において、共通する画素に基づいて評価する。
以下、図7を参照して具体的に説明する。図7は、本実施形態による、MSRRの算出手順を説明するためのフローチャートである。まず、超解像度画像画質評価部104は、高解像度画像IMG10と超解像度画像IMG30とを、それぞれ領域分割する(ステップS30、S31)。そして、それぞれの領域分割から評価基準MSRRを算出する(ステップS32)。
領域分割手法としては、Watershed分割法など、領域分割するものであれば、既存のどのような技術を用いてもよい。高解像度画像IMG10と超解像度画像IMG30とから領域分割した領域集合は、それぞれS={s1,s2,s3,…,sk}と、R={r1,r2,r3,…,rl}とし、kとlは、それぞれ領域集合Sと領域集合Rとにある領域の数になる。MSRRは、次式(7)、(8)のように定義される。
ここで、||は、分割した領域内の画素の数である。
上述した実施形態によれば、MPSNR、PRR、MSR、それぞれの評価方法を用いることにより、従来の評価方法に比べ、超解像度化する際に発生する画素の位置のずれに対処することができ、ユーザの主観評価により近い客観的な画質評価を行うことができる。
なお、上述した実施形態において、上述した評価基準MPSNR、PRR、MSRRを、それぞれ出力し、それぞれでの評価基準を用いて評価してもよいし、総合的な評価基準として評価するようにしてもよい。例えば、MPSNR、PRR、MSRRの平均値で評価するようにしてもよいし、MPSNR、PRR、MSRRのうち、2つ以上を組み合わせて評価を行なってもよい。この場合の組み合わせ方法は、平均でも、重み付け加算による方法でもよい。
また、MPSNR、PRR、MSRRは、それぞれの特長を持つので、それぞれの特長を生かして評価するようにしてもよい。例えば、MPSNRは、信号レベルの評価に向いている。なお、信号レベルの評価とは、評価対象である超解像度画像と評価の基準とする基準画像との信号の類似度の評価のことである。PRRは、特徴点抽出に関する応用のための超解像度技術の評価に向いている。なお、特徴点抽出に関する応用のための超解像度技術の評価とは、エッジ抽出や、コーナ検出といった特徴抽出の精度の評価のことである。MSRRは、領域分割に関する応用のための超解像度技術の評価に向いている。なお、領域分割に関する応用のための超解像度技術の評価とは、領域分割の精度についての評価のことである。このように、MPSNR、PRR、MSRR、それぞれの特長に応じた技術について評価すればよい。
なお、本発明は、上記構成に限られず、MPSNR、PRR、MSRRのうちいずれか1つを行う画質評価方法および画質評価装置であってもよく、また、MPSNR、PRR、MSRRのうち、少なくとも2つ以上の評価ステップを組み合わせて用いるものであってもよい。
なお、上述した実施形態において、画質評価装置による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
101 高解像度画像入力部
102 低解像度画像生成部
103 超解像度画像生成部
104 超解像度画像画質評価部
102 低解像度画像生成部
103 超解像度画像生成部
104 超解像度画像画質評価部
Claims (6)
- 基準画像から生成される生成画像の画質を評価する画質評価方法であって、
前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成ステップと、
前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価ステップを
含むことを特徴とする画質評価方法。 - 前記評価ステップは、
前記基準画像と前記生成画像との輝度値に基づいて評価する第1の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第2の評価ステップ、および、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第3の評価ステップのうち、いずれか1つの評価ステップを用いる
ことを特徴とする請求項1に記載の画質評価方法。 - 前記評価ステップは、
前記基準画像と前記生成画像との輝度値に基づいて評価する第1の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第2の評価ステップ、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第3の評価ステップのうち、少なくとも2つ以上の評価ステップを組み合わせて用いる
ことを特徴とする請求項1に記載の画質評価方法。 - 前記第1の評価ステップは、
前記基準画像のうち評価対象である基準対象領域と対応する前記生成画像のうち、前記基準画像の輝度値を評価する基準評価値に対して、前記生成画像の輝度値を評価する生成評価値の誤差が最小となる前記生成画像の生成対象領域と前記基準対象領域とを比較することにより、前記生成画像の輝度値を評価する評価値を算出するステップであり、
前記第2の評価ステップは、
前記基準画像の画像特徴点と前記生成画像の画像特徴点の差分が閾値以下となる画像特徴点に基づき、前記生成画像を評価するステップであり、
前記第3の評価ステップは、
前記基準画像の部分画像と同一位置における前記生成画像の部分画像において、共通する画素に基づいて評価するステップであることを特徴とする請求項2あるいは3に記載の画質評価方法。 - 基準画像から生成される生成画像の画質を評価する画質評価装置であって、
前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成手段と、
前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価手段を
含むことを特徴とする画質評価装置。 - コンピュータに、請求項1〜4のうちいずれか一項に記載の各ステップを実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010119498A JP2011250013A (ja) | 2010-05-25 | 2010-05-25 | 画質評価方法、画質評価装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010119498A JP2011250013A (ja) | 2010-05-25 | 2010-05-25 | 画質評価方法、画質評価装置、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011250013A true JP2011250013A (ja) | 2011-12-08 |
Family
ID=45414752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010119498A Pending JP2011250013A (ja) | 2010-05-25 | 2010-05-25 | 画質評価方法、画質評価装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011250013A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567996A (zh) * | 2012-01-05 | 2012-07-11 | 中国地质大学(武汉) | 一种遥感卫星图像质量评价的方法 |
JP2014056442A (ja) * | 2012-09-12 | 2014-03-27 | Samsung R&D Institute Japan Co Ltd | 画質推定装置、画質推定方法および画質推定プログラム |
CN104835172A (zh) * | 2015-05-21 | 2015-08-12 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 一种基于相位一致性和频域熵的无参考图像质量评价方法 |
CN105160653A (zh) * | 2015-07-13 | 2015-12-16 | 中国人民解放军陆军军官学院 | 一种用于雾天图像的质量评价方法 |
CN109410177A (zh) * | 2018-09-28 | 2019-03-01 | 深圳大学 | 一种超分辨率图像的图像质量分析方法及系统 |
CN110009631A (zh) * | 2019-04-15 | 2019-07-12 | 唐晓颖 | 眼底图像的血管质量评估方法、装置、设备和介质 |
WO2020148976A1 (ja) * | 2019-01-17 | 2020-07-23 | ソニー株式会社 | 画像処理制御装置と画像処理制御方法 |
-
2010
- 2010-05-25 JP JP2010119498A patent/JP2011250013A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567996A (zh) * | 2012-01-05 | 2012-07-11 | 中国地质大学(武汉) | 一种遥感卫星图像质量评价的方法 |
JP2014056442A (ja) * | 2012-09-12 | 2014-03-27 | Samsung R&D Institute Japan Co Ltd | 画質推定装置、画質推定方法および画質推定プログラム |
CN104835172A (zh) * | 2015-05-21 | 2015-08-12 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 一种基于相位一致性和频域熵的无参考图像质量评价方法 |
CN105160653A (zh) * | 2015-07-13 | 2015-12-16 | 中国人民解放军陆军军官学院 | 一种用于雾天图像的质量评价方法 |
CN109410177A (zh) * | 2018-09-28 | 2019-03-01 | 深圳大学 | 一种超分辨率图像的图像质量分析方法及系统 |
CN109410177B (zh) * | 2018-09-28 | 2022-04-01 | 深圳大学 | 一种超分辨率图像的图像质量分析方法及系统 |
WO2020148976A1 (ja) * | 2019-01-17 | 2020-07-23 | ソニー株式会社 | 画像処理制御装置と画像処理制御方法 |
US20220076370A1 (en) * | 2019-01-17 | 2022-03-10 | Sony Group Corporation | Image processing control apparatus and image processing control method |
CN110009631A (zh) * | 2019-04-15 | 2019-07-12 | 唐晓颖 | 眼底图像的血管质量评估方法、装置、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10205896B2 (en) | Automatic lens flare detection and correction for light-field images | |
US10755173B2 (en) | Video deblurring using neural networks | |
KR102354692B1 (ko) | 규칙 기반 비디오 중요도 분석 | |
US9692995B2 (en) | Flare detection and mitigation in panoramic images | |
JP2011250013A (ja) | 画質評価方法、画質評価装置、及びプログラム | |
US9922443B2 (en) | Texturing a three-dimensional scanned model with localized patch colors | |
Tian et al. | A multi-order derivative feature-based quality assessment model for light field image | |
JPWO2007142109A1 (ja) | 画像高解像度化装置及び画像高解像度化方法並びにプログラム | |
CN109478316B (zh) | 实时自适应阴影和高光增强 | |
KR101215666B1 (ko) | 오브젝트 색상 보정 방법, 시스템 및 컴퓨터 프로그램 제품 | |
Zhu et al. | A metric for video blending quality assessment | |
JP2019207603A (ja) | エッジ強度最大化によるトーンマッピング処理方法及びhdr映像変換装置 | |
US11062424B2 (en) | Systems and methods for motion adaptive filtering as pre-process to video encoding | |
JP4875564B2 (ja) | フリッカ補正装置及びフリッカ補正方法 | |
Wang et al. | Deep intensity guidance based compression artifacts reduction for depth map | |
JP4868139B2 (ja) | 画像処理装置及び画像処理プログラム | |
CN116980549A (zh) | 视频帧处理方法、装置、计算机设备和存储介质 | |
JP2009017214A (ja) | フリッカ検出装置及びフリッカ検出方法 | |
Mele et al. | Using spatio-temporal saliency to predict subjective video quality: a new high-speed objective assessment metric | |
CN101364303B (zh) | 边缘像素提取及处理方法 | |
Mele et al. | Sencogi spatio-temporal saliency: a new metric for predicting subjective video quality on mobile devices | |
JP2015076676A (ja) | 画像処理装置、画像処理方法及びプログラム | |
Yeganeh et al. | Understanding Banding—Perceptual Modeling and Machine Learning Approaches for Banding Detection | |
CN115147314B (zh) | 图像处理方法、装置、设备以及存储介质 | |
KR102368677B1 (ko) | 어두운 영역 기반 저조도 영상 개선 방법 및 장치 |