JP2004080177A - 映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体 - Google Patents
映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004080177A JP2004080177A JP2002235395A JP2002235395A JP2004080177A JP 2004080177 A JP2004080177 A JP 2004080177A JP 2002235395 A JP2002235395 A JP 2002235395A JP 2002235395 A JP2002235395 A JP 2002235395A JP 2004080177 A JP2004080177 A JP 2004080177A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- video
- quality
- quality evaluation
- subjective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】本発明は、映像の主観品質を統一的に決定できるようにする新たな映像品質評価技術の提供を目的とする。
【解決手段】評価対象となる劣化映像信号の持つ物理的特徴量や、評価対象となる劣化映像信号の持つ物理的特徴量とその劣化映像信号の劣化前の映像信号の持つ物理的特徴量とから、評価対象となる劣化映像信号についての推定主観品質を算出すると、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報（視線情報や補正式の情報）を使って、その算出した推定主観品質を補正することにより、評価対象となる劣化映像信号についての主観品質を推定するという構成を採る。これにより、評価対象となる劣化映像信号の主観品質を統一的に決定できるようになる。
【選択図】 図１
【解決手段】評価対象となる劣化映像信号の持つ物理的特徴量や、評価対象となる劣化映像信号の持つ物理的特徴量とその劣化映像信号の劣化前の映像信号の持つ物理的特徴量とから、評価対象となる劣化映像信号についての推定主観品質を算出すると、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報（視線情報や補正式の情報）を使って、その算出した推定主観品質を補正することにより、評価対象となる劣化映像信号についての主観品質を推定するという構成を採る。これにより、評価対象となる劣化映像信号の主観品質を統一的に決定できるようになる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号の物理的特徴量の測定から人間が映像を見たときに感ずる主観品質を推定することで映像品質を評価する映像品質評価装置及びその方法と、その映像品質評価方法の実現に用いられる映像品質評価プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
評価対象系（例えばコーデックなど）から出力される映像の品質の評価を具体例にして説明するならば、従来、映像品質を評価する方法として、評価対象系への入力映像の持つ物理的特徴量と評価対象系からの出力映像の持つ物理的特徴量との差分から劣化の程度を判断する客観品質評価法や、評価対象系からの出力映像の持つ物理的特徴量のみから求められる劣化量に基づいて劣化の程度を判断する客観品質評価法が用いられている。
【０００３】
しかるに、人間が映像を見たときに感ずる映像の主観品質は、入力映像の性質に依存するため、上述のようにして求められる劣化量の程度が同じ場合でも、結果として判断される主観品質は異なる場合が多い。
【０００４】
例えば、入力映像のうち人間が注視する部分に生じた劣化は、そうでない部分に生じた劣化に比べて、物理的に同じ劣化量であっても主観品質に与える影響は大きい。
【０００５】
そこで、従来では、映像の主観品質を求める場合には、人間がその映像を実際に見て、その品質を評価するという主観評価試験を行っている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来技術のように、人間が映像を実際に見て、その品質を評価するという主観評価試験を行っていると、その映像を見る人間の感覚により映像の主観品質が決定されることになることから、映像の主観品質を統一的（客観的）に決定できないという問題がある。
【０００７】
すなわち、従来技術に従っていると、映像の主観品質を統一的に決定することができないことで、映像の主観品質を高精度に決定することができないという問題がある。
【０００８】
本発明はかかる事情に鑑みてなされたものであって、映像の主観品質を統一的に決定できるようにする新たな映像品質評価技術の提供を目的とする。
【０００９】
【課題を解決するための手段】
この目的を達成するために、本発明の映像品質評価装置は、映像信号の主観品質を推定することで映像品質を評価することを実現するために、▲１▼評価対象となる劣化映像信号を入力する入力手段と、▲２▼入力手段の入力した劣化映像信号の持つ物理的特徴量から、あるいは、その物理的特徴量とその劣化前の映像信号の持つ物理的特徴量とから、その劣化映像信号についての推定主観品質を算出する算出手段と、▲３▼算出手段の算出した推定主観品質と、入力手段の入力した劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報とに基づいて、その劣化映像信号についての最終的な主観品質を推定する推定手段とを備えるように構成する。
【００１０】
以上の各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供することができる。
【００１１】
このように構成される本発明の映像品質評価装置では、評価対象となる劣化映像信号を入力すると、その劣化映像信号の持つ物理的特徴量から、その劣化映像信号についての推定主観品質を算出したり、その劣化映像信号の持つ物理的特徴量とその劣化映像信号の劣化前の映像信号の持つ物理的特徴量とから、それらの物理的特徴量やそれらの物理的特徴量の差分値などに基づいて、その劣化映像信号についての推定主観品質を算出する。
【００１２】
そして、その算出した推定主観品質と、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報とに基づいて、その劣化映像信号についての最終的な主観品質を推定する。
【００１３】
例えば、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報として、人間が映像を見たときの視線情報を用いる場合には、例えば、視線軌跡の近傍領域で大きな値を示し、これから遠ざかるに従って小さな値を示す重み付け係数を使って、算出した推定主観品質を補正することにより、評価対象となる劣化映像信号についての主観品質を推定する。
【００１４】
また、例えば、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報として、人間が映像を見たときの評価実験結果に基づいて決定される推定主観品質についての補正式を用いる場合には、その補正式を使って、算出した推定主観品質を補正することにより、評価対象となる劣化映像信号についての主観品質を推定する。
【００１５】
このようにして、本発明では、評価対象となる劣化映像信号の持つ物理的特徴量や、評価対象となる劣化映像信号の持つ物理的特徴量とその劣化映像信号の劣化前の映像信号の持つ物理的特徴量とから、評価対象となる劣化映像信号についての推定主観品質を算出すると、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報を使って、その算出した推定主観品質を補正することにより、評価対象となる劣化映像信号についての主観品質を推定するという構成を採ることから、評価対象となる劣化映像信号の主観品質を統一的に決定できるようになる。
【００１６】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００１７】
図１に、本発明を具備する映像品質評価システム１の一実施形態例を図示する。
【００１８】
この実施形態例に従う場合には、本発明の映像品質評価システム１は、入力映像データベース（入力映像ＤＢ）１０と、視線情報データベース（視線情報ＤＢ）１１と、信号送出部１２と、評価対象系１３と、推定主観品質算出部１４と、視線情報検索部１５と、重み付け部１６とを備える。
【００１９】
この入力映像データベース１０は、劣化していない入力映像信号を蓄える。
【００２０】
視線情報データベース１１は、入力映像データベース１０に蓄えられている入力映像信号のＩＤに対応付けて、各入力映像に対して予め行った実験により得られた視線情報（ある人が実際にその入力映像を見たときの視線情報で、フレーム毎に得られている）を蓄える。
【００２１】
信号送出部１２は、入力映像データベース１０から入力映像信号を読み出して評価対象系１３に送出する。
【００２２】
評価対象系１３は、評価対象となるコーデックなどで構成されて、入力映像信号が入力されると、それに対して規定の処理を行うことで劣化映像信号を出力する。
【００２３】
推定主観品質算出部１４は、評価対象系１３の出力する劣化映像信号を入力として、その劣化映像信号についての推定主観品質を算出する。
【００２４】
視線情報検索部１５は、信号送出部１２から与えられる入力映像信号のＩＤ（評価対象系１３へ入力された入力映像信号のＩＤ）をキーにして視線情報データベース１１を検索することで、評価対象系１３へ入力された入力映像信号に対応付けられる視線情報を検索する。
【００２５】
重み付け部１６は、推定主観品質算出部１４の算出した推定主観品質を、視線情報検索部１５が検索した視線情報に基づいて重み付けすることにより、最終的な推定主観品質を算出して出力する。
【００２６】
次に、このように構成される本発明の映像品質評価システム１の動作について詳細に説明する。
【００２７】
信号送出部１２は、映像品質評価者などから入力映像信号のＩＤを指定して評価要求が発行されると、そのＩＤを入力映像データベース１０に渡すことで、入力映像データベース１０からそのＩＤの指す入力映像信号を読み出して、それを評価対象系１３に送出するとともに、そのＩＤを視線情報検索部１５に渡す。
【００２８】
この入力映像信号の送出を受けて、評価対象系１３は、信号送出部１２から入力される劣化していない入力映像信号に対して符号化等の処理を施し、この処理により劣化した映像信号を推定主観品質算出部１４に出力する。
【００２９】
これを受けて、推定主観品質算出部１４は、評価対象系１３から入力される劣化映像信号の劣化量を導出し、それに対して規定の関数変換処理などを施すことにより推定主観品質を算出して、それを重み付け部１６に渡す。
【００３０】
一方、信号送出部１２からの入力映像信号のＩＤの送出を受けて、視線情報検索部１５は、その入力映像信号のＩＤをキーにして視線情報データベース１１を検索することで、評価対象系１３へ入力された入力映像信号に対応付けられる視線情報を検索して、それを重み付け部１６に渡す。
【００３１】
このようにして、推定主観品質算出部１４により算出された推定主観品質と、視線情報検索部１５により検索された視線情報とが与えられると、重み付け部１６は、その算出された推定主観品質をその視線情報に基づいて補正することで、評価対象系１３から入力された劣化映像信号についての最終的な主観品質を算出して出力する。
【００３２】
上述したように、推定主観品質算出部１４では、評価対象系１３から入力される劣化映像信号の劣化量を導出し、それに対して規定の関数変換処理などを施すことにより推定主観品質を算出する処理を行う。
【００３３】
このとき使用する劣化量導出のアルゴリズムとしては、例えば、米国ＡＮＳＩが規定する映像品質客観評価尺度（ＡＮＳＩ Ｔ１．８０１．０３−１９９６，”Ｄｉｇｉｔａｌ Ｔｒａｎｓｐｏｒｔ ｏｆ Ｏｎｅ−Ｗａｙ Ｖｉｄｅｏ ｓｉｇｎａｌｓ−Ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｏｂｊｅｃｔｉｖｅ Ｐｅｒｆｏｒｍａｎｃｅ Ａｓｓｅｓｓｍｅｎｔ”）に規定されている、フレーム間の劣化量を示す動き電力やフレーム内での劣化量を示すエッジ電力等の一部あるいは全部を用いることができる。
【００３４】
本実施形態例では、この劣化量として、ブロック単位で導出したブロック毎の動き電力（Ｍ）やエッジ電力（Ｅ）を用いる。なお、動き電力（Ｍ）については、評価対象系１３から入力された劣化映像信号のみから求めるものを使うものとする。
【００３５】
また、このようにして導出した劣化量に基づいて算出することになる推定主観品質の算出アルゴリズムとしては、様々なものを用いることが可能であるので、本実施形態例では、
ＸＱｉｊ＝Ｆ（Ｍｉｊ，Ｅｉｊ）
但し、ｉ，ｊはフレーム内のブロック単位のｘ方向、ｙ方向の位置
という算出式に従って、導出したブロック単位の劣化量からブロック毎の推定主観品質ＸＱｉｊを算出するものとする。
【００３６】
ここで、この関数Ｆについては、あらかじめ主観評価実験により主観品質特性に対応するようにと求めておくことになる。
【００３７】
また、上述したように、視線情報データベース１１には、入力映像データベース１０に蓄えられている入力映像信号のＩＤに対応付けて、各入力映像に対して予め行った実験により得られたフレーム毎の視線情報が蓄えられている。
【００３８】
すなわち、視線情報データベース１１には、推定主観品質の算出という客観評価に先立って、各入力映像（入力映像そのものでも、あるいは入力映像に圧縮処理等を施した映像でも可）を被験者に提示し、その視線軌跡を視線追跡装置を用いて記録することにより作成されたフレーム毎の視線情報が蓄えられているのである。
【００３９】
次に、重み付け部１６により実行される最終的な主観品質の算出処理について説明する。
【００４０】
重み付け部１６は、推定主観品質算出部１４により算出された推定主観品質ＸＱｉｊを、視線情報検索部１５により検索された視線情報（その推定主観品質ＸＱｉｊの算出対象となったフレームの視線情報）に基づいて補正することで、評価対象系１３から入力された劣化映像信号についての最終的な主観品質を算出して出力する。
【００４１】
例えば、図２に示すように、フレーム毎に、視線軌跡の近傍領域では大きく、これから遠ざかるに従って小さくなるような視線重み付け関数Ｗ（ｉ，ｊ）を定義して、この視線重み付け関数Ｗ（ｉ，ｊ）を使って、ブロック毎の補正推定主観品質ＹＱｉｊを、
ＹＱｉｊ＝Ｗ（ｉ，ｊ）×ＸＱｉｊ
という算出式に従って算出する。
【００４２】
そして、この算出した補正推定主観品質ＹＱｉｊについて、
Ｑ＝Σ１ Σ２ ＹＱｉｊ
但し、Σ１ は映像フレーム内のｘ方向についての和
Σ２ は映像フレーム内のｙ方向についての和
というように全ブロックの総和を算出することにより、１フレームについての最終的な推定主観品質を算出する。
【００４３】
ここで、視線重み付け関数Ｗ（ｉ，ｊ）については、あらかじめ主観評価実験により主観品質特性に対応するようにと求めておくことになる。
【００４４】
このようにして、本実施形態例では、客観的に算出されることになる推定主観品質を算出すると、評価対象となる劣化映像信号の劣化前の映像信号（入力映像信号）について先見的に得られている主観的情報である視線情報を使って、その算出した推定主観品質を補正することにより最終的な推定主観品質を算出することから、評価対象となる劣化映像信号の主観品質を統一的に決定できるようになる。
【００４５】
なお、視線重み付け関数Ｗ（ｉ，ｊ）については、フレーム単位の視線位置による重み付け係数を想定しているが、より詳細に視線追跡が行える場合には、視線位置とともに、視線が滞留している時間を考慮して視線重み付け関数Ｗ（ｉ，ｊ）を導出するようにしてもよい。
【００４６】
図３に、本実施形態例に従う場合に、本発明の映像品質評価システム１が実行する処理フローの一実施形態例を図示する。
【００４７】
この処理フローに従う場合には、本発明の映像品質評価システム１は、映像品質評価者などから入力映像信号のＩＤを指定して評価要求が発行されると、先ず最初に、ステップ１０で、入力映像データベース１０から、その入力映像信号ＩＤの指す入力映像信号を読み出す。
【００４８】
続いて、ステップ１１で、視線情報データベース１１から、その入力映像信号ＩＤの指す視線情報を取得する。続いて、ステップ１２で、読み出した入力映像信号を評価対象系１３に入力することで、評価対象となる劣化映像信号を得る。
【００４９】
続いて、ステップ１３で、評価対象となる劣化映像信号の全フレームについて処理したのか否かを判断して、全フレームについて処理していないことを判断するときには、ステップ１４に進んで、フレームの順番に従って、未処理のフレームを１つ選択する。
【００５０】
続いて、ステップ１５で、その選択したフレームの劣化量を導出し、それに基づいて、そのフレームについての推定主観品質を算出する。続いて、ステップ１６で、ステップ１１で取得した視線情報の中から、選択したフレームに対応付けられる視線情報を抽出する。
【００５１】
続いて、ステップ１７で、その抽出した視線情報に基づき、上述したアルゴリズムに従って、算出した推定主観品質を補正することにより、選択したフレームについての最終的な推定主観品質を算出してから、ステップ１３に戻る。
【００５２】
そして、ステップ１３〜ステップ１７の処理を繰り返していくことで、ステップ１３で、評価対象となる劣化映像信号の全フレームについて処理したことを判断するときには、ステップ１８に進んで、算出したフレーム毎の最終的な推定主観品質から、それらの平均値を算出することなどにより、評価対象となる劣化映像信号についての主観品質を算出して、それを出力する。
【００５３】
なお、この処理フローでは、フレーム毎の最終的な推定主観品質から、評価対象となる劣化映像信号についての主観品質を算出するように処理したが、フレーム毎の最終的な推定主観品質の時系列データを主観品質として、そのまま出力するようにしてもよい。
【００５４】
次に、本発明の他の実施形態例について説明する。
【００５５】
図４に、本発明を具備する映像品質評価システム２の他の実施形態例を図示する。
【００５６】
この実施形態例に従う場合には、本発明の映像品質評価システム２は、入力映像データベース（入力映像ＤＢ）２０と、補正式データベース（補正式ＤＢ）２１と、信号送出部２２と、評価対象系２３と、一次推定主観品質算出部２４と、補正式検索部２５と、補正部２６とを備える。
【００５７】
この入力映像データベース２０は、劣化していない入力映像信号を蓄える。
【００５８】
補正式データベース２１は、入力映像データベース２０に蓄えられている入力映像信号のＩＤに対応付けて、各入力映像に対して予め行った実験により得られた補正式を蓄える。
【００５９】
信号送出部２２は、入力映像データベース２０から入力映像信号を読み出して評価対象系２３に送出する。
【００６０】
評価対象系２３は、評価対象となるコーデックなどで構成されて、入力映像信号が入力されると、それに対して規定の処理を行うことで劣化映像信号を出力する。
【００６１】
一次推定主観品質算出部２４は、評価対象系２３の出力する劣化映像信号を入力として、その劣化映像信号についての一次推定主観品質を算出する。
【００６２】
補正式検索部２５は、信号送出部２２から与えられる入力映像信号のＩＤ（評価対象系２３へ入力された入力映像信号のＩＤ）をキーにして補正式データベース２１を検索することで、評価対象系２３へ入力された入力映像信号に対応付けられる補正式を検索する。
【００６３】
補正部２６は、一次推定主観品質算出部２４の算出した一次推定主観品質を、補正式検索部２５が検索した補正式に基づいて補正することにより、最終的な推定主観品質を算出して出力する。
【００６４】
次に、このように構成される本発明の映像品質評価システム２の動作について詳細に説明する。
【００６５】
信号送出部２２は、映像品質評価者などから入力映像信号のＩＤを指定して評価要求が発行されると、そのＩＤを入力映像データベース２０に渡すことで、入力映像データベース２０からそのＩＤの指す入力映像信号を読み出して、それを評価対象系２３に送出するとともに、そのＩＤを補正式検索部２５に渡す。
【００６６】
この入力映像信号の送出を受けて、評価対象系２３は、信号送出部２２から入力される劣化していない入力映像信号に対して符号化等の処理を施し、この処理により劣化した映像信号を一次推定主観品質算出部２４に出力する。
【００６７】
この評価対象系２３から入力される劣化映像信号と、その劣化する前の映像信号である入力映像信号（評価対象系２３へ入力された入力映像信号）とを受けて、一次推定主観品質算出部２４は、評価対象系２３から入力される劣化映像信号の劣化量を導出し、それを使って一次推定主観品質を算出して、それを補正部２６に渡す。
【００６８】
一方、信号送出部２２からの入力映像信号のＩＤの送出を受けて、補正式検索部２５は、その入力映像信号のＩＤをキーにして補正式データベース２１を検索することで、評価対象系２３へ入力された入力映像信号に対応付けられる補正式を検索して、それを補正部２６に渡す。
【００６９】
このようにして、推定主観品質算出部２４により算出された一次推定主観品質と、補正式検索部２５により検索された補正式とが与えられると、補正部２６は、その算出された一次推定主観品質をその補正式に基づいて補正することで、評価対象系２３から入力された劣化映像信号についての最終的な主観品質を算出して出力する。
【００７０】
上述したように、一次推定主観品質算出部２４では、評価対象系２３から入力される劣化映像信号の劣化量を導出し、それを使って一次推定主観品質を算出する処理を行う。
【００７１】
このとき使用する劣化量導出のアルゴリズムとしては、例えば、米国ＡＮＳＩが規定する映像品質客観評価尺度（ＡＮＳＩ Ｔ１．８０１．０３−１９９６，”Ｄｉｇｉｔａｌ Ｔｒａｎｓｐｏｒｔ ｏｆ Ｏｎｅ−Ｗａｙ Ｖｉｄｅｏ ｓｉｇｎａｌｓ−Ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｏｂｊｅｃｔｉｖｅ Ｐｅｒｆｏｒｍａｎｃｅ Ａｓｓｅｓｓｍｅｎｔ”）に規定されている、フレーム間の劣化量を示す動き電力やフレーム内での劣化量を示すエッジ電力等の一部あるいは全部を用いることができる。
【００７２】
本実施形態例では、この劣化量として、このフレーム間の劣化量を示す動き電力（Ｍ）やフレーム内での劣化量を示すエッジ電力（Ｅ）を用いる。なお、動き電力（Ｍ）については、評価対象系２３に入力される入力映像信号と評価対象系２３から出力される劣化映像信号との差分信号から、その劣化映像信号の劣化の程度を定量化したものを使うものとする。
【００７３】
また、このようにして導出した劣化量に基づいて算出することになる一次推定主観品質ＳＱの算出アルゴリズムとしては、様々なものを用いることが可能であるので、本実施形態例では、
ＳＱ＝Ｆ（Ｍ，Ｅ）
という算出式に従って、映像の絵柄に依存しない一次推定主観品質ＳＱを算出するものとする。
【００７４】
ここで、この関数Ｆについては、あらかじめ主観評価実験により主観品質特性に対応するようにと求めておくことになる。
【００７５】
また、上述したように、補正式データベース２１には、入力映像データベース１０に蓄えられている入力映像信号のＩＤに対応付けて、各入力映像に対して予め行った実験により得られた補正式の情報が蓄えられている。
【００７６】
すなわち、補正式データベース２１には、一次推定主観品質の算出という客観評価に先立って、各入力映像を用いた主観・客観評価実験（例えば、符号化ビットレートをパラメータとした評価実験）を行い、入力映像毎に異なる両者の対応関係を補正する図５に示すような補正式の情報が蓄えられている。
【００７７】
例えば、暗めで動きの小さい映像と、明るめで動きの大きい映像とでは、同じ一次推定主観品質が与えられている場合でも、被験者が感ずる主観品質は異なるものとなるので、本実施形態例に従う場合には、各入力映像を用いた主観・客観評価実験によりそれを補正する補正式を求めておいて、その補正式の情報を補正式データベース２１に登録しておくのである。
【００７８】
このとき登録される補正式としては、入力映像信号の全フレームで同一となる必要はなく、例えば、この間のフレームについてはこういう補正式というような形で登録されてもよい。
【００７９】
次に、補正部２６により実行される最終的な主観品質の算出処理について説明する。
【００８０】
補正部２６は、一次推定主観品質算出部２４により算出された一次推定主観品質ＳＱを、補正式検索部２５により検索された補正式を使い、例えば、
Ｑ＝αｘ ×ＳＱ＋βｘ
というように補正することで、評価対象系２３から入力された劣化映像信号についての最終的な主観品質Ｑを算出して出力する。
【００８１】
ここで、補正式の係数αｘ，βｘ（入力映像信号に対応付けて定義されることもあるし、入力映像信号中のフレームに対応付けて定義されることもある）については、あらかじめ主観評価実験により最適な係数を導出しておくことになる。
【００８２】
図６に、本実施形態例に従う場合に、本発明の映像品質評価システム２が実行する処理フローの一実施形態例を図示する。
【００８３】
この処理フローに従う場合には、本発明の映像品質評価システム２は、映像品質評価者などから入力映像信号のＩＤを指定して評価要求が発行されると、先ず最初に、ステップ２０で、入力映像データベース２０から、その入力映像信号ＩＤの指す入力映像信号を読み出す。
【００８４】
続いて、ステップ２１で、補正式データベース２１から、その入力映像信号ＩＤの指す補正式の情報を取得する。続いて、ステップ２２で、読み出した入力映像信号を評価対象系２３に入力することで、評価対象となる劣化映像信号を得る。
【００８５】
続いて、ステップ２３で、評価対象となる劣化映像信号の全フレームについて処理したのか否かを判断して、全フレームについて処理していないことを判断するときには、ステップ２４に進んで、フレームの順番に従って、未処理のフレームを１つ選択する。
【００８６】
続いて、ステップ２５で、その選択したフレームの劣化量を導出し、それに基づいて、そのフレームについての一次推定主観品質を算出する。続いて、ステップ２６で、ステップ２１で取得した補正式の情報の中から、選択したフレームに対応付けられる補正式の情報を抽出する。
【００８７】
続いて、ステップ２７で、その抽出した補正式に従って、算出した一次推定主観品質を補正することにより、選択したフレームについての最終的な推定主観品質を算出してから、ステップ２３に戻る。
【００８８】
そして、ステップ２３〜ステップ２７の処理を繰り返していくことで、ステップ２３で、評価対象となる劣化映像信号の全フレームについて処理したことを判断するときには、ステップ２８に進んで、補正したフレーム毎の一次推定主観品質から、それらの平均値を算出することなどにより、評価対象となる劣化映像信号についての主観品質を算出して、それを出力する。
【００８９】
なお、この処理フローでは、フレーム毎の補正した一次推定主観品質から、評価対象となる劣化映像信号についての主観品質を算出するようにしたが、フレーム毎の補正した最終的な推定主観品質の時系列データを主観品質として、そのまま出力するようにしてもよい。
【００９０】
【発明の効果】
以上説明したように、本発明では、評価対象となる劣化映像信号の持つ物理的特徴量や、評価対象となる劣化映像信号の持つ物理的特徴量とその劣化映像信号の劣化前の映像信号の持つ物理的特徴量とから、評価対象となる劣化映像信号についての推定主観品質を算出すると、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報を使って、その算出した推定主観品質を補正することにより、評価対象となる劣化映像信号についての主観品質を推定するという構成を採ることから、評価対象となる劣化映像信号の主観品質を統一的に決定できるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態例である。
【図２】視線重み付け関数の説明図である。
【図３】本発明の実行する処理フローの一実施形態例である。
【図４】本発明の他の実施形態例である。
【図５】補正式の説明図である。
【図６】本発明の実行する処理フローの他の実施形態例である。
【符号の説明】
１ 映像品質評価システム
２ 映像品質評価システム
１０ 入力映像データベース
１１ 視線情報データベース
１２ 信号送出部
１３ 評価対象系
１４ 推定主観品質算出部
１５ 視線情報検索部
１６ 重み付け部
２０ 入力映像データベース
２１ 補正式データベース
２２ 信号送出部
２３ 評価対象系
２４ 一次推定主観品質算出部
２５ 補正式検索部
２６ 補正部
【発明の属する技術分野】
本発明は、映像信号の物理的特徴量の測定から人間が映像を見たときに感ずる主観品質を推定することで映像品質を評価する映像品質評価装置及びその方法と、その映像品質評価方法の実現に用いられる映像品質評価プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
評価対象系（例えばコーデックなど）から出力される映像の品質の評価を具体例にして説明するならば、従来、映像品質を評価する方法として、評価対象系への入力映像の持つ物理的特徴量と評価対象系からの出力映像の持つ物理的特徴量との差分から劣化の程度を判断する客観品質評価法や、評価対象系からの出力映像の持つ物理的特徴量のみから求められる劣化量に基づいて劣化の程度を判断する客観品質評価法が用いられている。
【０００３】
しかるに、人間が映像を見たときに感ずる映像の主観品質は、入力映像の性質に依存するため、上述のようにして求められる劣化量の程度が同じ場合でも、結果として判断される主観品質は異なる場合が多い。
【０００４】
例えば、入力映像のうち人間が注視する部分に生じた劣化は、そうでない部分に生じた劣化に比べて、物理的に同じ劣化量であっても主観品質に与える影響は大きい。
【０００５】
そこで、従来では、映像の主観品質を求める場合には、人間がその映像を実際に見て、その品質を評価するという主観評価試験を行っている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来技術のように、人間が映像を実際に見て、その品質を評価するという主観評価試験を行っていると、その映像を見る人間の感覚により映像の主観品質が決定されることになることから、映像の主観品質を統一的（客観的）に決定できないという問題がある。
【０００７】
すなわち、従来技術に従っていると、映像の主観品質を統一的に決定することができないことで、映像の主観品質を高精度に決定することができないという問題がある。
【０００８】
本発明はかかる事情に鑑みてなされたものであって、映像の主観品質を統一的に決定できるようにする新たな映像品質評価技術の提供を目的とする。
【０００９】
【課題を解決するための手段】
この目的を達成するために、本発明の映像品質評価装置は、映像信号の主観品質を推定することで映像品質を評価することを実現するために、▲１▼評価対象となる劣化映像信号を入力する入力手段と、▲２▼入力手段の入力した劣化映像信号の持つ物理的特徴量から、あるいは、その物理的特徴量とその劣化前の映像信号の持つ物理的特徴量とから、その劣化映像信号についての推定主観品質を算出する算出手段と、▲３▼算出手段の算出した推定主観品質と、入力手段の入力した劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報とに基づいて、その劣化映像信号についての最終的な主観品質を推定する推定手段とを備えるように構成する。
【００１０】
以上の各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供することができる。
【００１１】
このように構成される本発明の映像品質評価装置では、評価対象となる劣化映像信号を入力すると、その劣化映像信号の持つ物理的特徴量から、その劣化映像信号についての推定主観品質を算出したり、その劣化映像信号の持つ物理的特徴量とその劣化映像信号の劣化前の映像信号の持つ物理的特徴量とから、それらの物理的特徴量やそれらの物理的特徴量の差分値などに基づいて、その劣化映像信号についての推定主観品質を算出する。
【００１２】
そして、その算出した推定主観品質と、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報とに基づいて、その劣化映像信号についての最終的な主観品質を推定する。
【００１３】
例えば、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報として、人間が映像を見たときの視線情報を用いる場合には、例えば、視線軌跡の近傍領域で大きな値を示し、これから遠ざかるに従って小さな値を示す重み付け係数を使って、算出した推定主観品質を補正することにより、評価対象となる劣化映像信号についての主観品質を推定する。
【００１４】
また、例えば、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報として、人間が映像を見たときの評価実験結果に基づいて決定される推定主観品質についての補正式を用いる場合には、その補正式を使って、算出した推定主観品質を補正することにより、評価対象となる劣化映像信号についての主観品質を推定する。
【００１５】
このようにして、本発明では、評価対象となる劣化映像信号の持つ物理的特徴量や、評価対象となる劣化映像信号の持つ物理的特徴量とその劣化映像信号の劣化前の映像信号の持つ物理的特徴量とから、評価対象となる劣化映像信号についての推定主観品質を算出すると、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報を使って、その算出した推定主観品質を補正することにより、評価対象となる劣化映像信号についての主観品質を推定するという構成を採ることから、評価対象となる劣化映像信号の主観品質を統一的に決定できるようになる。
【００１６】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００１７】
図１に、本発明を具備する映像品質評価システム１の一実施形態例を図示する。
【００１８】
この実施形態例に従う場合には、本発明の映像品質評価システム１は、入力映像データベース（入力映像ＤＢ）１０と、視線情報データベース（視線情報ＤＢ）１１と、信号送出部１２と、評価対象系１３と、推定主観品質算出部１４と、視線情報検索部１５と、重み付け部１６とを備える。
【００１９】
この入力映像データベース１０は、劣化していない入力映像信号を蓄える。
【００２０】
視線情報データベース１１は、入力映像データベース１０に蓄えられている入力映像信号のＩＤに対応付けて、各入力映像に対して予め行った実験により得られた視線情報（ある人が実際にその入力映像を見たときの視線情報で、フレーム毎に得られている）を蓄える。
【００２１】
信号送出部１２は、入力映像データベース１０から入力映像信号を読み出して評価対象系１３に送出する。
【００２２】
評価対象系１３は、評価対象となるコーデックなどで構成されて、入力映像信号が入力されると、それに対して規定の処理を行うことで劣化映像信号を出力する。
【００２３】
推定主観品質算出部１４は、評価対象系１３の出力する劣化映像信号を入力として、その劣化映像信号についての推定主観品質を算出する。
【００２４】
視線情報検索部１５は、信号送出部１２から与えられる入力映像信号のＩＤ（評価対象系１３へ入力された入力映像信号のＩＤ）をキーにして視線情報データベース１１を検索することで、評価対象系１３へ入力された入力映像信号に対応付けられる視線情報を検索する。
【００２５】
重み付け部１６は、推定主観品質算出部１４の算出した推定主観品質を、視線情報検索部１５が検索した視線情報に基づいて重み付けすることにより、最終的な推定主観品質を算出して出力する。
【００２６】
次に、このように構成される本発明の映像品質評価システム１の動作について詳細に説明する。
【００２７】
信号送出部１２は、映像品質評価者などから入力映像信号のＩＤを指定して評価要求が発行されると、そのＩＤを入力映像データベース１０に渡すことで、入力映像データベース１０からそのＩＤの指す入力映像信号を読み出して、それを評価対象系１３に送出するとともに、そのＩＤを視線情報検索部１５に渡す。
【００２８】
この入力映像信号の送出を受けて、評価対象系１３は、信号送出部１２から入力される劣化していない入力映像信号に対して符号化等の処理を施し、この処理により劣化した映像信号を推定主観品質算出部１４に出力する。
【００２９】
これを受けて、推定主観品質算出部１４は、評価対象系１３から入力される劣化映像信号の劣化量を導出し、それに対して規定の関数変換処理などを施すことにより推定主観品質を算出して、それを重み付け部１６に渡す。
【００３０】
一方、信号送出部１２からの入力映像信号のＩＤの送出を受けて、視線情報検索部１５は、その入力映像信号のＩＤをキーにして視線情報データベース１１を検索することで、評価対象系１３へ入力された入力映像信号に対応付けられる視線情報を検索して、それを重み付け部１６に渡す。
【００３１】
このようにして、推定主観品質算出部１４により算出された推定主観品質と、視線情報検索部１５により検索された視線情報とが与えられると、重み付け部１６は、その算出された推定主観品質をその視線情報に基づいて補正することで、評価対象系１３から入力された劣化映像信号についての最終的な主観品質を算出して出力する。
【００３２】
上述したように、推定主観品質算出部１４では、評価対象系１３から入力される劣化映像信号の劣化量を導出し、それに対して規定の関数変換処理などを施すことにより推定主観品質を算出する処理を行う。
【００３３】
このとき使用する劣化量導出のアルゴリズムとしては、例えば、米国ＡＮＳＩが規定する映像品質客観評価尺度（ＡＮＳＩ Ｔ１．８０１．０３−１９９６，”Ｄｉｇｉｔａｌ Ｔｒａｎｓｐｏｒｔ ｏｆ Ｏｎｅ−Ｗａｙ Ｖｉｄｅｏ ｓｉｇｎａｌｓ−Ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｏｂｊｅｃｔｉｖｅ Ｐｅｒｆｏｒｍａｎｃｅ Ａｓｓｅｓｓｍｅｎｔ”）に規定されている、フレーム間の劣化量を示す動き電力やフレーム内での劣化量を示すエッジ電力等の一部あるいは全部を用いることができる。
【００３４】
本実施形態例では、この劣化量として、ブロック単位で導出したブロック毎の動き電力（Ｍ）やエッジ電力（Ｅ）を用いる。なお、動き電力（Ｍ）については、評価対象系１３から入力された劣化映像信号のみから求めるものを使うものとする。
【００３５】
また、このようにして導出した劣化量に基づいて算出することになる推定主観品質の算出アルゴリズムとしては、様々なものを用いることが可能であるので、本実施形態例では、
ＸＱｉｊ＝Ｆ（Ｍｉｊ，Ｅｉｊ）
但し、ｉ，ｊはフレーム内のブロック単位のｘ方向、ｙ方向の位置
という算出式に従って、導出したブロック単位の劣化量からブロック毎の推定主観品質ＸＱｉｊを算出するものとする。
【００３６】
ここで、この関数Ｆについては、あらかじめ主観評価実験により主観品質特性に対応するようにと求めておくことになる。
【００３７】
また、上述したように、視線情報データベース１１には、入力映像データベース１０に蓄えられている入力映像信号のＩＤに対応付けて、各入力映像に対して予め行った実験により得られたフレーム毎の視線情報が蓄えられている。
【００３８】
すなわち、視線情報データベース１１には、推定主観品質の算出という客観評価に先立って、各入力映像（入力映像そのものでも、あるいは入力映像に圧縮処理等を施した映像でも可）を被験者に提示し、その視線軌跡を視線追跡装置を用いて記録することにより作成されたフレーム毎の視線情報が蓄えられているのである。
【００３９】
次に、重み付け部１６により実行される最終的な主観品質の算出処理について説明する。
【００４０】
重み付け部１６は、推定主観品質算出部１４により算出された推定主観品質ＸＱｉｊを、視線情報検索部１５により検索された視線情報（その推定主観品質ＸＱｉｊの算出対象となったフレームの視線情報）に基づいて補正することで、評価対象系１３から入力された劣化映像信号についての最終的な主観品質を算出して出力する。
【００４１】
例えば、図２に示すように、フレーム毎に、視線軌跡の近傍領域では大きく、これから遠ざかるに従って小さくなるような視線重み付け関数Ｗ（ｉ，ｊ）を定義して、この視線重み付け関数Ｗ（ｉ，ｊ）を使って、ブロック毎の補正推定主観品質ＹＱｉｊを、
ＹＱｉｊ＝Ｗ（ｉ，ｊ）×ＸＱｉｊ
という算出式に従って算出する。
【００４２】
そして、この算出した補正推定主観品質ＹＱｉｊについて、
Ｑ＝Σ１ Σ２ ＹＱｉｊ
但し、Σ１ は映像フレーム内のｘ方向についての和
Σ２ は映像フレーム内のｙ方向についての和
というように全ブロックの総和を算出することにより、１フレームについての最終的な推定主観品質を算出する。
【００４３】
ここで、視線重み付け関数Ｗ（ｉ，ｊ）については、あらかじめ主観評価実験により主観品質特性に対応するようにと求めておくことになる。
【００４４】
このようにして、本実施形態例では、客観的に算出されることになる推定主観品質を算出すると、評価対象となる劣化映像信号の劣化前の映像信号（入力映像信号）について先見的に得られている主観的情報である視線情報を使って、その算出した推定主観品質を補正することにより最終的な推定主観品質を算出することから、評価対象となる劣化映像信号の主観品質を統一的に決定できるようになる。
【００４５】
なお、視線重み付け関数Ｗ（ｉ，ｊ）については、フレーム単位の視線位置による重み付け係数を想定しているが、より詳細に視線追跡が行える場合には、視線位置とともに、視線が滞留している時間を考慮して視線重み付け関数Ｗ（ｉ，ｊ）を導出するようにしてもよい。
【００４６】
図３に、本実施形態例に従う場合に、本発明の映像品質評価システム１が実行する処理フローの一実施形態例を図示する。
【００４７】
この処理フローに従う場合には、本発明の映像品質評価システム１は、映像品質評価者などから入力映像信号のＩＤを指定して評価要求が発行されると、先ず最初に、ステップ１０で、入力映像データベース１０から、その入力映像信号ＩＤの指す入力映像信号を読み出す。
【００４８】
続いて、ステップ１１で、視線情報データベース１１から、その入力映像信号ＩＤの指す視線情報を取得する。続いて、ステップ１２で、読み出した入力映像信号を評価対象系１３に入力することで、評価対象となる劣化映像信号を得る。
【００４９】
続いて、ステップ１３で、評価対象となる劣化映像信号の全フレームについて処理したのか否かを判断して、全フレームについて処理していないことを判断するときには、ステップ１４に進んで、フレームの順番に従って、未処理のフレームを１つ選択する。
【００５０】
続いて、ステップ１５で、その選択したフレームの劣化量を導出し、それに基づいて、そのフレームについての推定主観品質を算出する。続いて、ステップ１６で、ステップ１１で取得した視線情報の中から、選択したフレームに対応付けられる視線情報を抽出する。
【００５１】
続いて、ステップ１７で、その抽出した視線情報に基づき、上述したアルゴリズムに従って、算出した推定主観品質を補正することにより、選択したフレームについての最終的な推定主観品質を算出してから、ステップ１３に戻る。
【００５２】
そして、ステップ１３〜ステップ１７の処理を繰り返していくことで、ステップ１３で、評価対象となる劣化映像信号の全フレームについて処理したことを判断するときには、ステップ１８に進んで、算出したフレーム毎の最終的な推定主観品質から、それらの平均値を算出することなどにより、評価対象となる劣化映像信号についての主観品質を算出して、それを出力する。
【００５３】
なお、この処理フローでは、フレーム毎の最終的な推定主観品質から、評価対象となる劣化映像信号についての主観品質を算出するように処理したが、フレーム毎の最終的な推定主観品質の時系列データを主観品質として、そのまま出力するようにしてもよい。
【００５４】
次に、本発明の他の実施形態例について説明する。
【００５５】
図４に、本発明を具備する映像品質評価システム２の他の実施形態例を図示する。
【００５６】
この実施形態例に従う場合には、本発明の映像品質評価システム２は、入力映像データベース（入力映像ＤＢ）２０と、補正式データベース（補正式ＤＢ）２１と、信号送出部２２と、評価対象系２３と、一次推定主観品質算出部２４と、補正式検索部２５と、補正部２６とを備える。
【００５７】
この入力映像データベース２０は、劣化していない入力映像信号を蓄える。
【００５８】
補正式データベース２１は、入力映像データベース２０に蓄えられている入力映像信号のＩＤに対応付けて、各入力映像に対して予め行った実験により得られた補正式を蓄える。
【００５９】
信号送出部２２は、入力映像データベース２０から入力映像信号を読み出して評価対象系２３に送出する。
【００６０】
評価対象系２３は、評価対象となるコーデックなどで構成されて、入力映像信号が入力されると、それに対して規定の処理を行うことで劣化映像信号を出力する。
【００６１】
一次推定主観品質算出部２４は、評価対象系２３の出力する劣化映像信号を入力として、その劣化映像信号についての一次推定主観品質を算出する。
【００６２】
補正式検索部２５は、信号送出部２２から与えられる入力映像信号のＩＤ（評価対象系２３へ入力された入力映像信号のＩＤ）をキーにして補正式データベース２１を検索することで、評価対象系２３へ入力された入力映像信号に対応付けられる補正式を検索する。
【００６３】
補正部２６は、一次推定主観品質算出部２４の算出した一次推定主観品質を、補正式検索部２５が検索した補正式に基づいて補正することにより、最終的な推定主観品質を算出して出力する。
【００６４】
次に、このように構成される本発明の映像品質評価システム２の動作について詳細に説明する。
【００６５】
信号送出部２２は、映像品質評価者などから入力映像信号のＩＤを指定して評価要求が発行されると、そのＩＤを入力映像データベース２０に渡すことで、入力映像データベース２０からそのＩＤの指す入力映像信号を読み出して、それを評価対象系２３に送出するとともに、そのＩＤを補正式検索部２５に渡す。
【００６６】
この入力映像信号の送出を受けて、評価対象系２３は、信号送出部２２から入力される劣化していない入力映像信号に対して符号化等の処理を施し、この処理により劣化した映像信号を一次推定主観品質算出部２４に出力する。
【００６７】
この評価対象系２３から入力される劣化映像信号と、その劣化する前の映像信号である入力映像信号（評価対象系２３へ入力された入力映像信号）とを受けて、一次推定主観品質算出部２４は、評価対象系２３から入力される劣化映像信号の劣化量を導出し、それを使って一次推定主観品質を算出して、それを補正部２６に渡す。
【００６８】
一方、信号送出部２２からの入力映像信号のＩＤの送出を受けて、補正式検索部２５は、その入力映像信号のＩＤをキーにして補正式データベース２１を検索することで、評価対象系２３へ入力された入力映像信号に対応付けられる補正式を検索して、それを補正部２６に渡す。
【００６９】
このようにして、推定主観品質算出部２４により算出された一次推定主観品質と、補正式検索部２５により検索された補正式とが与えられると、補正部２６は、その算出された一次推定主観品質をその補正式に基づいて補正することで、評価対象系２３から入力された劣化映像信号についての最終的な主観品質を算出して出力する。
【００７０】
上述したように、一次推定主観品質算出部２４では、評価対象系２３から入力される劣化映像信号の劣化量を導出し、それを使って一次推定主観品質を算出する処理を行う。
【００７１】
このとき使用する劣化量導出のアルゴリズムとしては、例えば、米国ＡＮＳＩが規定する映像品質客観評価尺度（ＡＮＳＩ Ｔ１．８０１．０３−１９９６，”Ｄｉｇｉｔａｌ Ｔｒａｎｓｐｏｒｔ ｏｆ Ｏｎｅ−Ｗａｙ Ｖｉｄｅｏ ｓｉｇｎａｌｓ−Ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｏｂｊｅｃｔｉｖｅ Ｐｅｒｆｏｒｍａｎｃｅ Ａｓｓｅｓｓｍｅｎｔ”）に規定されている、フレーム間の劣化量を示す動き電力やフレーム内での劣化量を示すエッジ電力等の一部あるいは全部を用いることができる。
【００７２】
本実施形態例では、この劣化量として、このフレーム間の劣化量を示す動き電力（Ｍ）やフレーム内での劣化量を示すエッジ電力（Ｅ）を用いる。なお、動き電力（Ｍ）については、評価対象系２３に入力される入力映像信号と評価対象系２３から出力される劣化映像信号との差分信号から、その劣化映像信号の劣化の程度を定量化したものを使うものとする。
【００７３】
また、このようにして導出した劣化量に基づいて算出することになる一次推定主観品質ＳＱの算出アルゴリズムとしては、様々なものを用いることが可能であるので、本実施形態例では、
ＳＱ＝Ｆ（Ｍ，Ｅ）
という算出式に従って、映像の絵柄に依存しない一次推定主観品質ＳＱを算出するものとする。
【００７４】
ここで、この関数Ｆについては、あらかじめ主観評価実験により主観品質特性に対応するようにと求めておくことになる。
【００７５】
また、上述したように、補正式データベース２１には、入力映像データベース１０に蓄えられている入力映像信号のＩＤに対応付けて、各入力映像に対して予め行った実験により得られた補正式の情報が蓄えられている。
【００７６】
すなわち、補正式データベース２１には、一次推定主観品質の算出という客観評価に先立って、各入力映像を用いた主観・客観評価実験（例えば、符号化ビットレートをパラメータとした評価実験）を行い、入力映像毎に異なる両者の対応関係を補正する図５に示すような補正式の情報が蓄えられている。
【００７７】
例えば、暗めで動きの小さい映像と、明るめで動きの大きい映像とでは、同じ一次推定主観品質が与えられている場合でも、被験者が感ずる主観品質は異なるものとなるので、本実施形態例に従う場合には、各入力映像を用いた主観・客観評価実験によりそれを補正する補正式を求めておいて、その補正式の情報を補正式データベース２１に登録しておくのである。
【００７８】
このとき登録される補正式としては、入力映像信号の全フレームで同一となる必要はなく、例えば、この間のフレームについてはこういう補正式というような形で登録されてもよい。
【００７９】
次に、補正部２６により実行される最終的な主観品質の算出処理について説明する。
【００８０】
補正部２６は、一次推定主観品質算出部２４により算出された一次推定主観品質ＳＱを、補正式検索部２５により検索された補正式を使い、例えば、
Ｑ＝αｘ ×ＳＱ＋βｘ
というように補正することで、評価対象系２３から入力された劣化映像信号についての最終的な主観品質Ｑを算出して出力する。
【００８１】
ここで、補正式の係数αｘ，βｘ（入力映像信号に対応付けて定義されることもあるし、入力映像信号中のフレームに対応付けて定義されることもある）については、あらかじめ主観評価実験により最適な係数を導出しておくことになる。
【００８２】
図６に、本実施形態例に従う場合に、本発明の映像品質評価システム２が実行する処理フローの一実施形態例を図示する。
【００８３】
この処理フローに従う場合には、本発明の映像品質評価システム２は、映像品質評価者などから入力映像信号のＩＤを指定して評価要求が発行されると、先ず最初に、ステップ２０で、入力映像データベース２０から、その入力映像信号ＩＤの指す入力映像信号を読み出す。
【００８４】
続いて、ステップ２１で、補正式データベース２１から、その入力映像信号ＩＤの指す補正式の情報を取得する。続いて、ステップ２２で、読み出した入力映像信号を評価対象系２３に入力することで、評価対象となる劣化映像信号を得る。
【００８５】
続いて、ステップ２３で、評価対象となる劣化映像信号の全フレームについて処理したのか否かを判断して、全フレームについて処理していないことを判断するときには、ステップ２４に進んで、フレームの順番に従って、未処理のフレームを１つ選択する。
【００８６】
続いて、ステップ２５で、その選択したフレームの劣化量を導出し、それに基づいて、そのフレームについての一次推定主観品質を算出する。続いて、ステップ２６で、ステップ２１で取得した補正式の情報の中から、選択したフレームに対応付けられる補正式の情報を抽出する。
【００８７】
続いて、ステップ２７で、その抽出した補正式に従って、算出した一次推定主観品質を補正することにより、選択したフレームについての最終的な推定主観品質を算出してから、ステップ２３に戻る。
【００８８】
そして、ステップ２３〜ステップ２７の処理を繰り返していくことで、ステップ２３で、評価対象となる劣化映像信号の全フレームについて処理したことを判断するときには、ステップ２８に進んで、補正したフレーム毎の一次推定主観品質から、それらの平均値を算出することなどにより、評価対象となる劣化映像信号についての主観品質を算出して、それを出力する。
【００８９】
なお、この処理フローでは、フレーム毎の補正した一次推定主観品質から、評価対象となる劣化映像信号についての主観品質を算出するようにしたが、フレーム毎の補正した最終的な推定主観品質の時系列データを主観品質として、そのまま出力するようにしてもよい。
【００９０】
【発明の効果】
以上説明したように、本発明では、評価対象となる劣化映像信号の持つ物理的特徴量や、評価対象となる劣化映像信号の持つ物理的特徴量とその劣化映像信号の劣化前の映像信号の持つ物理的特徴量とから、評価対象となる劣化映像信号についての推定主観品質を算出すると、評価対象となる劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報を使って、その算出した推定主観品質を補正することにより、評価対象となる劣化映像信号についての主観品質を推定するという構成を採ることから、評価対象となる劣化映像信号の主観品質を統一的に決定できるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態例である。
【図２】視線重み付け関数の説明図である。
【図３】本発明の実行する処理フローの一実施形態例である。
【図４】本発明の他の実施形態例である。
【図５】補正式の説明図である。
【図６】本発明の実行する処理フローの他の実施形態例である。
【符号の説明】
１ 映像品質評価システム
２ 映像品質評価システム
１０ 入力映像データベース
１１ 視線情報データベース
１２ 信号送出部
１３ 評価対象系
１４ 推定主観品質算出部
１５ 視線情報検索部
１６ 重み付け部
２０ 入力映像データベース
２１ 補正式データベース
２２ 信号送出部
２３ 評価対象系
２４ 一次推定主観品質算出部
２５ 補正式検索部
２６ 補正部
Claims (10)
- 映像信号の主観品質を推定することで映像品質を評価する映像品質評価装置であって、
評価対象となる劣化映像信号を入力する手段と、
上記劣化映像信号の持つ物理的特徴量から、あるいは、その物理的特徴量とその劣化前の映像信号の持つ物理的特徴量とから、上記劣化映像信号についての推定主観品質を算出する手段と、
上記推定主観品質と、上記劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報とに基づいて、上記劣化映像信号についての最終的な主観品質を推定する手段とを備えることを、
特徴とする映像品質評価装置。 - 請求項１記載の映像品質評価装置において、
上記推定する手段は、上記主観的情報として、人間が映像を見たときの視線情報を用いることを、
特徴とする映像品質評価装置。 - 請求項２記載の映像品質評価装置において、
上記推定する手段は、視線軌跡の近傍領域で大きな値を示し、これから遠ざかるに従って小さな値を示す重み付け係数を使って、上記推定主観品質を補正することにより、上記劣化映像信号についての最終的な主観品質を推定することを、
特徴とする映像品質評価装置。 - 請求項１記載の映像品質評価装置において、
上記推定する手段は、上記主観的情報として、人間が映像を見たときの評価実験結果に基づいて決定される上記推定主観品質についての補正式を用いることを、
特徴とする映像品質評価装置。 - 映像信号の主観品質を推定することで映像品質を評価する映像品質評価方法であって、
評価対象となる劣化映像信号を入力する過程と、
上記劣化映像信号の持つ物理的特徴量から、あるいは、その物理的特徴量とその劣化前の映像信号の持つ物理的特徴量とから、上記劣化映像信号についての推定主観品質を算出する過程と、
上記推定主観品質と、上記劣化映像信号の劣化前の映像信号について先見的に得られている主観的情報とに基づいて、上記劣化映像信号についての最終的な主観品質を推定する過程とを備えることを、
特徴とする映像品質評価方法。 - 請求項５記載の映像品質評価方法において、
上記推定する過程では、上記主観的情報として、人間が映像を見たときの視線情報を用いることを、
特徴とする映像品質評価方法。 - 請求項６記載の映像品質評価方法において、
上記推定する過程では、視線軌跡の近傍領域で大きな値を示し、これから遠ざかるに従って小さな値を示す重み付け係数を使って、上記推定主観品質を補正することにより、上記劣化映像信号についての最終的な主観品質を推定することを、
特徴とする映像品質評価方法。 - 請求項５記載の映像品質評価方法において、
上記推定する過程では、上記主観的情報として、人間が映像を見たときの評価実験結果に基づいて決定される上記推定主観品質についての補正式を用いることを、
特徴とする映像品質評価方法。 - 請求項５ないし８のいずれか１項に記載の映像品質評価方法の実現に用いられる処理をコンピュータに実行させるための映像品質評価プログラム。
- 請求項５ないし８のいずれか１項に記載の映像品質評価方法の実現に用いられる処理をコンピュータに実行させるための映像品質評価プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002235395A JP2004080177A (ja) | 2002-08-13 | 2002-08-13 | 映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002235395A JP2004080177A (ja) | 2002-08-13 | 2002-08-13 | 映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004080177A true JP2004080177A (ja) | 2004-03-11 |
Family
ID=32019892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002235395A Pending JP2004080177A (ja) | 2002-08-13 | 2002-08-13 | 映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004080177A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006043500A1 (ja) | 2004-10-18 | 2006-04-27 | Nippon Telegraph And Telephone Corporation | 映像品質客観評価装置、評価方法およびプログラム |
| JPWO2007007750A1 (ja) * | 2005-07-11 | 2009-01-29 | 日本電信電話株式会社 | 映像整合装置、方法、およびプログラム |
| JPWO2007029731A1 (ja) * | 2005-09-06 | 2009-03-19 | 日本電信電話株式会社 | 映像コミュニケーション品質推定装置、方法、およびプログラム |
| JP2009290586A (ja) * | 2008-05-29 | 2009-12-10 | Mitsubishi Electric Corp | 映像品質評価方法及び映像品質評価装置 |
| US7705881B2 (en) | 2003-08-22 | 2010-04-27 | Nippon Telegraph And Telepone Corporation | Video quality assessing apparatus, video quality assessing method, and video quality assessing program |
| JPWO2021181724A1 (ja) * | 2020-03-13 | 2021-09-16 |
-
2002
- 2002-08-13 JP JP2002235395A patent/JP2004080177A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8253803B2 (en) | 2003-08-22 | 2012-08-28 | Nippon Telegraph And Telephone Corporation | Video quality assessing apparatus |
| US7705881B2 (en) | 2003-08-22 | 2010-04-27 | Nippon Telegraph And Telepone Corporation | Video quality assessing apparatus, video quality assessing method, and video quality assessing program |
| JP4733049B2 (ja) * | 2004-10-18 | 2011-07-27 | 日本電信電話株式会社 | 映像品質客観評価装置、評価方法およびプログラム |
| KR100858999B1 (ko) * | 2004-10-18 | 2008-09-18 | 니폰덴신뎅와 가부시키가이샤 | 영상품질 객관적 평가장치, 평가방법 및 프로그램 |
| US8130274B2 (en) | 2004-10-18 | 2012-03-06 | Nippon Telegraph And Telephone Corporation | Video quality objective assessment device, assessment method, and program |
| WO2006043500A1 (ja) | 2004-10-18 | 2006-04-27 | Nippon Telegraph And Telephone Corporation | 映像品質客観評価装置、評価方法およびプログラム |
| US8094196B2 (en) | 2005-07-11 | 2012-01-10 | Nippon Telegraph And Telephone Corporation | Video matching device, method, and program |
| JP4482031B2 (ja) * | 2005-07-11 | 2010-06-16 | 日本電信電話株式会社 | 映像整合装置、方法、およびプログラム |
| JPWO2007007750A1 (ja) * | 2005-07-11 | 2009-01-29 | 日本電信電話株式会社 | 映像整合装置、方法、およびプログラム |
| JP4486130B2 (ja) * | 2005-09-06 | 2010-06-23 | 日本電信電話株式会社 | 映像コミュニケーション品質推定装置、方法、およびプログラム |
| JPWO2007029731A1 (ja) * | 2005-09-06 | 2009-03-19 | 日本電信電話株式会社 | 映像コミュニケーション品質推定装置、方法、およびプログラム |
| JP2009290586A (ja) * | 2008-05-29 | 2009-12-10 | Mitsubishi Electric Corp | 映像品質評価方法及び映像品質評価装置 |
| JPWO2021181724A1 (ja) * | 2020-03-13 | 2021-09-16 | ||
| WO2021181724A1 (ja) * | 2020-03-13 | 2021-09-16 | 日本電信電話株式会社 | 数理モデル導出装置、数理モデル導出方法及びプログラム |
| JP7380832B2 (ja) | 2020-03-13 | 2023-11-15 | 日本電信電話株式会社 | 数理モデル導出装置、数理モデル導出方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4733049B2 (ja) | 映像品質客観評価装置、評価方法およびプログラム | |
| US6809758B1 (en) | Automated stabilization method for digital image sequences | |
| US7778328B2 (en) | Semantics-based motion estimation for multi-view video coding | |
| US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
| Zhang et al. | Deep learning based just noticeable difference and perceptual quality prediction models for compressed video | |
| EP2786342B1 (en) | Texture masking for video quality measurement | |
| JP2018522448A (ja) | 知覚的ビデオ品質を予測する技術 | |
| WO2011020442A1 (zh) | 视频质量参数获取方法和装置及电子设备 | |
| US20200380290A1 (en) | Machine learning-based prediction of precise perceptual video quality | |
| CN111723707A (zh) | 一种基于视觉显著性的注视点估计方法及装置 | |
| CN104796580A (zh) | 一种基于选择集成的实时稳像视频巡检系统 | |
| JP2004080177A (ja) | 映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体 | |
| CN111050169B (zh) | 图像编码中量化参数的生成方法、装置及终端 | |
| JP2004096752A (ja) | 動きベクトルを近似する方法、該方法を実行するコンピュータプログラム、該プログラムを記憶するデータ記憶媒体、該方法を実行するように適合した装置、及び該装置を備える受信機 | |
| Choi et al. | A new motion estimation method for motion-compensated frame interpolation using a convolutional neural network | |
| AU2017355533B2 (en) | Techniques for improving the quality of subjective data | |
| JP2013101558A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| Mitra et al. | Multiview contrastive learning for completely blind video quality assessment of user generated content | |
| JP2016111473A (ja) | 客観画質評価装置及びプログラム | |
| JP5043849B2 (ja) | ビデオシーケンスにおける可変形状動き推定 | |
| IL303733A (en) | Training and use of a learning algorithm using transcription of audio data to identify a medical device visible in image data | |
| US20140321558A1 (en) | Video quality measurement considering multiple artifacts | |
| Narwaria et al. | Video quality assessment using temporal quality variations and machine learning | |
| JP2016510567A (ja) | コンテキスト・ベースのビデオ品質評価のための方法および装置 | |
| CN112183283A (zh) | 一种基于图像的年龄估计方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040303 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
| A521 | Written amendment |
Effective date: 20060213 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060213 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060314 |
|
| A521 | Written amendment |
Effective date: 20060413 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060601 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060707 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060731 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070119 |