JP2014204206A - 主観画質推定装置、主観画質推定方法、及びプログラム - Google Patents

主観画質推定装置、主観画質推定方法、及びプログラム Download PDF

Info

Publication number
JP2014204206A
JP2014204206A JP2013077257A JP2013077257A JP2014204206A JP 2014204206 A JP2014204206 A JP 2014204206A JP 2013077257 A JP2013077257 A JP 2013077257A JP 2013077257 A JP2013077257 A JP 2013077257A JP 2014204206 A JP2014204206 A JP 2014204206A
Authority
JP
Japan
Prior art keywords
image quality
subjective image
quality estimation
quantization parameter
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013077257A
Other languages
English (en)
Other versions
JP5990126B2 (ja
Inventor
基宏 高木
Motohiro Takagi
基宏 高木
藤井 寛
Hiroshi Fujii
寛 藤井
清水 淳
Atsushi Shimizu
淳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013077257A priority Critical patent/JP5990126B2/ja
Publication of JP2014204206A publication Critical patent/JP2014204206A/ja
Application granted granted Critical
Publication of JP5990126B2 publication Critical patent/JP5990126B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】表示環境の変化および符号化条件の変化に対応し、低い符号化計算コストで主観画質の推定を可能とする。【解決手段】映像情報の符号化データを復号することにより復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、任意に選択される表示環境を示す表示環境データに基づいて前記復号映像情報を表示する際の主観画質推定値を算出する主観画質推定部と、前記1画素あたりの平均符号量及び前記量子化パラメータの関係を示す量子化パラメータ予測式を生成する量子化パラメータ予測式生成部と、前記解像度ごとの前記主観画質推定値及び前記量子化パラメータの関係を示す主観画質推定値予測式を生成する主観画質推定値予測式生成部と、前記量子化パラメータ予測式と前記主観画質推定値予測式とを用いて、任意に選択される符号化条件における前記映像情報の主観画質推定値の予測値を算出する主観画質推定値予測部と、を備える。【選択図】図1

Description

本発明は、例えば、映像の主観画質を推定する主観画質推定装置、主観画質推定方法、及びプログラムに関する。
3G(3rd Generation)、LTE(Long Term Evolution)といった移動回線の普及や、スマートフォン、タブレットといった多様な携帯端末の普及により、移動回線という不安定なネットワーク環境において複数の異なる端末に映像を配信することが重要になってきている。端末による画素密度の違いやネットワークによる利用可能な帯域の違いに応じて映像を配信するHAS(Http Adaptive Streaming)といった配信方式があり、近年、MPEG−DASH(Moving Picture Experts Group-Dynamic adaptive streaming over HTTP)という配信方式として規格化も行われている(非特許文献1参照)。MPEG−DASHでは、視聴者のネットワーク状況等に合わせてビットレートを動的に切り替えて配信を行う。このような配信において、配信品質の向上を図るために、想定する配信ビットレートで、解像度、及びフレームレートが変化した場合の画質を定量的に評価することが必要とされている。具体例として、この画質評価では、2000kbpsで映像を配信するときに解像度、すなわち画面の画素数として1080pと720pのどちらを選択するかを判定するといったことが行われる。
画質評価は、これまで、ITU−R(International Telecommunication Union Radiocommunications Sector)勧告BT.500−11、ITU−T(International Telecommunication Union Telecommunication Standardization Sector)勧告P.910などに規定されている方法を用いた主観評価実験により行われていた(例えば、非特許文献2、3参照)。この実験は、20名程度の被験者を集め、被験者に映像を提示し、被験者の主観により評点を付けさせる。被験者の評点の平均をMOS(Mean Opinion Score)と呼び、このMOSを評価した映像の品質とする方法で行われる。これらの主観評価実験は、評価環境を規定に沿って用意し、被験者を集めなければならない。さらに、評価する映像を被験者に何度も見てもらい、評点をつけてもらわなければならない。また、主観評価実験は、評価環境が規定により定められているため、表示環境を変化させた際の主観画質の変動をどのように考慮するかということに対応することができておらず柔軟性に欠ける点がある。このように、個別の映像に対して主観評価実験を行う場合、被験者に多くの負担をかけるとともに実験を行う側にとっても多くの時間とコストがかかる上、得られる結果についても柔軟性に欠けているという問題がある。
そこで、映像の特徴量を算出し、その特徴量から映像の品質を導出する客観画質評価が検討されている。ITU−T勧告J.143(非特許文献4参照)では、客観画質評価法のフレームワークが規定されており、この規定では、客観画質評価法は、以下の3つに分類されており、多くの主観画質推定方法は、以下の3分類のいずれかに属している。
(1)FR(Full Reference)型:圧縮前の原映像および復号映像、または送信映像および受信映像を用いて評価する方法である。
(2)NR(No Reference)型:復号映像または受信映像のみを用いて評価する方法である。
(3)RR(Reduced Reference)型:情報量が制限された原映像、または送信映像の映像特徴量、及び復号映像、または受信映像を用いて評価する方法である。
ISO/IEC DIS 23009-1.2, "Information technology - Dynamic adaptive streaming over HTTP (DASH) - Part 1: Media presentation description and segment formats", 30th August 2011. Recommendation ITU-R BT.500-11, "Methodology for the subjective assessment of the quality of television pictures", January 2012. ITU-T Recommendation P.910, "Subjective video quality assessment methods for multimedia applications", April 2008. ITU-T Recommendation J.143, "User requirements for objective perceptual video quality measurements in digital cable television", May 2000. ITU-T Recommendation J.144, "Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference ", March 2004. ITU-T Recommendation J.247, "Objective perceptual multimedia video quality measurement in the presence of a full reference", August 2008. ITU-T Recommendation J.246, "Perceptual audiovisual quality measurement techniques for multimedia services over digital cable television networks in the presence of a reduced bandwidth reference", August 2008. H.Sohn, H.Yoo, W.D.Neve, C.S.Kim, and Y.M.Ro., "Full-Reference Video Quality Metric for Fully Scalable and Mobile SVC Content ," IEEE Transactions on Broadcasting, vol.56, no.3, Sept 2010, pp.269-280. M.A.Saad, A.C.Bovik and C.Charrier.,"Blind Image Quality Assessment: A Natural Scene Statistics Approach in the DCT Domain", IEEE Transactions on Image Processing, vol.21, no 8, August 2012, pp.3339-3352. K.N.Ngan, K.S.Leong, and H.Singh.,"Cosine transform coding incorporating human visual system model", SPIE Vol.707 Visual Communications and Image Processing(1986), pp.165-171 坂東幸浩、早瀬和也、高村誠之、上倉一人、八島由幸、"ブロック歪みを考慮した時空間コントラスト感度特性に基づくH.264/AVC符号化器設計"、FIT2008、第3分冊、pp.13-16.
HASのような複数のビットレートに対して映像を符号化する状況で、解像度、フレームレートを映像ごとに主観画質が最大となるように決定したい場合、その主観画質を推定する必要がある。そのような主観画質推定に対してこれまでの画質評価法を適用することを考えると、以下の3つの課題、すなわち、
(1)表示環境の変化への対応、
(2)広範囲の解像度、フレームレートの変化への対応、
(3)符号化の計算コスト、
がある。
(1)の表示環境の変化への対応についての課題とは、移動回線、携帯端末の普及によって映像の視聴環境も多様化しているが、主観評価実験は、非特許文献2、3などで規格化されている表示環境にのっとって実施されている。ここで、表示環境とは、表示モニタの高さ(インチ)、表示解像度、表示モニタのdpi(dots per inch)、表示モニタとの距離(視距離)であるとする。映像は、表示モニタに全画面表示されると仮定する。主観評価実験によって得られた評価値をもとに設計された客観評価法は、全て、その主観評価実験を実施した表示環境に依存する。そのため、表示環境が異なった場合の画質変動を考慮した客観評価を行うことができない。具体例として、27インチディスプレイへの配信で、ビットレートが2000kbpsで、720pが最も高い主観評価値を得たとする。このとき、配信する端末がタブレット端末に変わり、その端末の表示サイズの縦幅が4インチだとする。その際、720pでは、解像度が高すぎる可能性があり、これまでの主観評価実験に基づいた方法では、その画質を評価することができない。
(2)の広範囲の解像度、フレームレートの変化への対応についての課題とは、これまでの客観画質評価では、解像度、フレームレートは、固定で行われてきた。例えば、FR型の評価手法の具体例として、ITU−T勧告のJ.144(非特許文献5参照)、J.247(非特許文献6参照)がある。しかし、非特許文献5に示される規定は、SDTV(Standard Definition Television)を対象としており、解像度、フレームレートが変化したときの影響については規定されていない。また、非特許文献6に示される規定は、マルチメディアアプリケーションでよく利用される映像フォーマットを対象とした客観画質評価方法を規定しているが、ある単一の映像の解像度、フレームレートが変化する場合の劣化については、考慮されていない。RR型の客観画質評価としては、例えば、ITU−T勧告のJ.246(非特許文献7参照)がある。この規定では、マルチメディアアプリケーションでよく用いられる映像フォーマットを前提とした客観評価方法が規定されているが、こちらもある単一の映像の解像度、フレームレートが変化したときの劣化を考慮していない。NR型の評価手法として、近年、端末側の画像の主観画質を統計的学習手法で推定する方法が提案されている(例えば、非特許文献9参照)。この方法は、さまざまな画質劣化を想定して主観画質推定方法を構築しているが、解像度の変化については考慮していない。解像度、フレームレートの変化に対応する評価方法として、エッジ特徴量と動きベクトルから解像度、フレームレートの影響をモデル化した方法がある(例えば、非特許文献8参照)。しかし、非特許文献8に記載の方法では、実験に用いるデータがCIF(Common Intermediate Format)サイズまでとなっており、1080p、720pといった高解像度映像に対する評価への適用は困難である。
(3)符号化の計算コストについての課題とは、ITU−T勧告のJ.143に示されている3つのフレームワークを用いるとすると、復号映像を必要とするため、異なる解像度、フレームレートで何度も映像を符号化する必要がある。そのため、符号化の計算コストを考えると、複数のビットレートに対して複数の解像度の映像を評価するには多大なコストがかかるため、適切ではない。以上より、表示環境の変化を考慮し、解像度の変化に対応し、かつ符号化の計算コストが低く主観画質を推定できる手法は存在しない。
本発明は、上述した事情に鑑みてなされたもので、表示環境の変化およびビットレート、解像度、フレームレートなどの符号化条件の変化に対応し、低い符号化計算コストで主観画質の推定を可能とする主観画質推定装置、主観画質推定方法、及びプログラムを提供することを目的とする。
上記問題を解決するために、本発明の一態様は、映像情報の符号化データを復号することにより復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、任意に選択される表示環境を示す表示環境データに基づいて前記復号映像情報を表示する際の主観画質推定値を算出する主観画質推定部と、前記1画素あたりの平均符号量及び前記量子化パラメータの関係を示す量子化パラメータ予測式を生成する量子化パラメータ予測式生成部と、前記解像度ごとの前記主観画質推定値及び前記量子化パラメータの関係を示す主観画質推定値予測式を生成する主観画質推定値予測式生成部と、前記量子化パラメータ予測式と前記主観画質推定値予測式とを用いて、任意に選択される符号化条件における前記映像情報の主観画質推定値の予測値を算出する主観画質推定値予測部と、を備えることを特徴とする主観画質推定装置である。
また、本発明の一態様は、上記に記載の発明において、前記主観画質推定部は、前記符号化データから復号映像情報を復号して復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、前記復号映像情報の解像度を前記表示環境データに示される表示解像度にするサンプリングを行ってサンプリング後復号映像情報を生成するデコーダ・サンプリングフィルタ部と、前記表示環境データに基づいて定められるコントラスト感度関数によって重み行列を生成するコントラスト感度関数管理部と、前記重み行列の大きさに応じて分割された前記サンプリング後復号映像情報の画素ブロックに対して周波数変換を行うことにより求められる変換係数と前記重み行列を用いて前記主観画質推定値を算出する主観画質推定値出力部と、前記1画素あたりの平均符号量と、前記量子化パラメータと、前記主観画質推定値と、前記解像度とを対応付けて記憶するパラメータ記憶部と、を備えることを特徴とする。
また、本発明の一態様は、上記に記載の発明において、画素密度に対応付けて、前記コントラスト感度関数を定めるパラメータを予め記憶するテーブル部を備え、前記コントラスト感度関数管理部は、前記表示環境データに示される前記画素密度に対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在する場合、前記テーブル部から当該パラメータを読み出して前記コントラスト感度関数を定め、前記表示環境データに示される前記画素密度に対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在しない場合、前記テーブル部に存在する前記画素密度と前記パラメータとに基づいて、前記表示環境データに示される前記画素密度に対応する前記パラメータを算出して前記コントラスト感度関数を定めることを特徴とする。
また、本発明の一態様は、上記に記載の発明において、表示画面のサイズに対応付けて、前記コントラスト感度関数を定めるパラメータを予め記憶するテーブル部を備え、前記コントラスト感度関数管理部は、前記表示環境データに示される表示画面のサイズに対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在する場合、前記テーブル部から当該パラメータを読み出して前記コントラスト感度関数を定め、前記表示環境データに示される表示画面のサイズに対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在しない場合、前記テーブル部に存在する前記表示画面のサイズと前記パラメータとに基づいて、前記表示環境データに示される表示画面のサイズに対応する前記パラメータを算出して前記コントラスト感度関数を定めることを特徴とする。
また、本発明の一態様は、上記に記載の発明において、前記量子パラメータ予測式生成部は、前記1画素あたりの平均符号量と前記量子化パラメータの複数の組み合わせに基づいて前記1画素あたりの平均符号量と前記量子化パラメータの関係を示す量子化パラメータ予測式を生成する際に、前記複数の組み合わせをN次式(Nは1以上の整数)で表現した前記1画素あたりの平均符号量と前記量子化パラメータの関係に基づいて連立方程式の解法、または最小二乗法によって前記量子パラメータ予測式を算出することを特徴とする。
また、本発明の一態様は、上記に記載の発明において、前記主観画質推定値予測式生成部は、前記主観画質推定値と前記量子化パラメータの複数の組み合わせに基づいて前記主観画質推定値と前記量子化パラメータの関係を示す主観画質推定値予測式を生成する際に、前記複数の組み合わせをN次式(Nは1以上の整数)で表現した前記量子化パラメータと前記主観画質推定値の関係に基づいて連立方程式の解法、または最小二乗法によって前記主観画質推定式を算出することを特徴とする。
また、本発明の一態様は、映像情報の符号化データを復号することにより復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、任意に選択される表示環境を示す表示環境データに基づいて前記復号映像情報を表示する際の主観画質推定値を算出し、前記1画素あたりの平均符号量及び前記量子化パラメータの関係を示す量子化パラメータ予測式を生成し、前記解像度ごとの前記主観画質推定値及び前記量子化パラメータの関係を示す主観画質推定値予測式を生成し、前記量子化パラメータ予測式と前記主観画質推定値予測式とを用いて、任意に選択される符号化条件における前記映像情報の主観画質推定値の予測値を算出することを含む主観画質推定方法である。
また、本発明の一態様は、コンピュータを、映像情報の符号化データを復号することにより復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、任意に選択される表示環境を示す表示環境データに基づいて前記復号映像情報を表示する際の主観画質推定値を算出する主観画質推定手段、前記1画素あたりの平均符号量及び前記量子化パラメータの関係を示す量子化パラメータ予測式を生成する量子化パラメータ予測式生成手段、前記解像度ごとの前記主観画質推定値及び前記量子化パラメータの関係を示す主観画質推定値予測式を生成する主観画質推定値予測式生成手段、前記量子化パラメータ予測式と前記主観画質推定値予測式とを用いて、任意に選択される符号化条件における前記映像情報の主観画質推定値の予測値を算出する主観画質推定値予測手段、として機能させるためのプログラムである。
この発明によれば、表示環境の変化およびビットレート、解像度、フレームレートなどの符号化条件の変化に対応し、低い符号化計算コストで主観画質の推定が可能となる。
本発明の第1実施形態による主観画質推定装置の構成を示すブロック図である。 同実施形態によるテーブル部のデータ構成を示す図である。 同実施形態によるパラメータ記憶部のデータ構成を示す図である。 同実施形態によるコントラスト感度関数管理部の動作を示すフローチャートである。 同実施形態による主観画質推定値を算出する動作を示すフローチャートである。 本発明の第2実施形態によるテーブル部のデータ構成を示す図である。
(第1実施形態)
以下、本発明の実施形態について図面を参照して説明する。図1は、本発明の第1実施形態による主観画質推定装置1の内部構成、及び符号化データを出力するエンコーダ50の接続構成を示すブロック図である。同図において、実線は、各機能ブロック及び装置の接続構成を示しており、破線は、情報やデータの流れを示す。主観画質推定装置1は、主観画質推定部10、量子化パラメータ予測式生成部20、主観画質推定値予測式生成部21、主観画質推定値予測部22を備える。また、主観画質推定部10は、デコーダ・サンプリングフィルタ部11、コントラスト感度関数管理部12、テーブル部13、主観画質推定値出力部14、パラメータ記憶部15を備える。エンコーダ50は、映像情報、ビットレート、解像度を入力情報として受け、当該ビットレート、解像度にしたがって映像情報を符号化して符号化データを出力する。主観画質推定装置1において、主観画質推定部10は、入力情報として、エンコーダ50から出力される符号化データと、映像情報の表示を行う表示端末装置側での表示環境を示す表示環境データDを受け、表示環境データDに含まれる表示解像度における主観画質推定値を算出する。ここで、解像度、及び表示解像度とは、例えば、画面の縦横の画素数の積の表記で示される値であり、具体的には、1920×1080などのように表される。
主観画質推定部10において、デコーダ・サンプリングフィルタ部11は、入力情報として、エンコーダ50が出力する符号化データと、表示環境データDに含まれる表示解像度を受ける。また、デコーダ・サンプリングフィルタ部11は、符号化データをデコードして復号映像情報を得るとともに、1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出する。また、デコーダ・サンプリングフィルタ部11は、1画素あたりの平均符号量と、量子化パラメータを解像度に関連付けてパラメータ記憶部15に書き込む。また、デコーダ・サンプリングフィルタ部11は、復号映像情報の解像度を表示解像度にあわせるように復号映像情報に対してサンプリングを行う。ここで、デコーダ・サンプリングフィルタ部11によって行われるサンプリングは、復号映像情報の解像度が、表示解像度より低い場合、アップサンプリングとなり、復号映像情報の解像度が、表示解像度より高い場合、ダウンサンプリングとなる。また、デコーダ・サンプリングフィルタ部11は、サンプリングを行った復号映像情報であるサンプリング後復号映像情報を表示解像度及び復号映像情報の解像度とともに主観画質推定値出力部14に出力する。
コントラスト感度関数管理部12は、入力情報として上述した表示環境データDを受け、表示環境データDに含まれる表示モニタの画素密度であるdpiにしたがってテーブル部13からブロックサイズと平均μと分散σの値を読み出す。また、コントラスト感度関数管理部12は、読み出した平均μ、分散σを予め定められるコントラスト感度関数に適用し、ブロックサイズN×Nの重み行列Wを生成する。第1実施形態におけるコントラスト感度関数は、ガウス分布に従うものであり、以下の式(1)で示される。
Figure 2014204206
式(1)において、d(i,j)は、位置(0,0)からの距離である。平均μと分散σが、上述した通り、コントラスト感度関数のパラメータとなる。テーブル部13は、図2に示すデータ構成を有しており、表示モニタのdpi、ブロックサイズ、平均μ、分散σの項目を有する。ここで、上述の通り、平均μ、分散σは、ガウス分布にしたがうコントラスト感度関数に適用されるパラメータである。主観画質推定値出力部14は、デコーダ・サンプリングフィルタ部11が出力するサンプリング後復号映像情報と表示解像度と復号映像情報の解像度、及びコントラスト感度関数管理部12が出力する重み行列Wを入力情報として受ける。また、主観画質推定値出力部14は、表示解像度で示される縦横の画素数を参照してサンプリング後復号映像情報を重み行列Wと同じ大きさのN×Nのブロックサイズに分割し、各ブロックで周波数変換、例えば、離散コサイン変換して離散コサイン変換係数を算出する。また、主観画質推定値出力部14は、離散コサイン変換係数cij(i=0,1,…,N−1、j=0,1,…,N−1)に対して重み行列Wにより重み付けして絶対値をとった和を対象ブロックでの主観画質推定値s_blockとして以下の式(2)より算出する。
Figure 2014204206
また、主観画質推定値出力部14は、サンプリング後復号映像情報の全てのブロックについて算出したs_blockの平均を算出し、算出した平均値を映像の主観画質推定値sとして出力する。また、主観画質推定値出力部14は、復号映像の解像度に基づいて、パラメータ記憶部15に記憶されている1画素あたりの平均符号量、量子化パラメータ、解像度の情報を検出し、この情報に主観画質推定値sを付け加えて書き込む。また、主観画質推定値出力部14が算出する主観画質推定値は、対象としている映像情報の表示解像度における推定値として利用できるため、主観画質推定値出力部14は、この値を破線で示すように外部に出力する。パラメータ記憶部15は、図3に示すデータ構成を有しており、解像度、1画素あたりの平均符号量、量子化パラメータ、主観画質推定値の項目を有し、解像度に関連付けられて1画素あたりの平均符号量、量子化パラメータ、主観画質推定値の情報が記憶されている。
量子化パラメータ予測式生成部20は、パラメータ記憶部15に記憶されている1画素あたりの平均符号量b,b,…,bと量子化パラメータ(以下、QPともいう)q,q,…,qを読み出す。また、量子化パラメータ予測式生成部20は、読み出した1画素あたりの平均符号量b,b,…,bとQP q,q,…,qに基づいて量子化パラメータ予測式Q(b)を生成して主観画質推定値予測部22に出力する。量子化パラメータ予測式生成部20における量子化パラメータ予測式Q(b)の生成は、映像情報の1画素あたりの平均符号量bと量子化パラメータqとの関係を、次式(3)で近似することによって行われる。
Figure 2014204206
式(3)においてαとβを求めることで、量子化パラメータが未知のビットレートに対しても、1画素あたりの平均符号量bから量子化パラメータを量子化パラメータ予測式Q(b)から算出することが可能となる。式(3)において、M=2の場合、連立方程式の解法、例えば、代入法を適用する等によりα,βが求められる。また、Mが3以上の場合、最小二乗法によってα,βが求められる。なお、Mが大きいほど近似精度は高くなり、少ない点で精度を高める場合には、なるべく距離の離れた2点が選択されることになる。
主観画質推定値予測式生成部21は、パラメータ記憶部15から解像度rごとに、当該解像度rに関連付けられた量子化パラメータq,q,…,qと主観画質推定値s,s,…,sを読み出す。また、主観画質推定値予測式生成部21は、読み出した解像度rに関連付けられた量子化パラメータq,q,…,q、主観画質推定値s,s,…,sに基づいて主観画質推定値予測式S_r(q)を生成して主観画質推定値予測部22に出力する。主観画質推定値予測式生成部21における主観画質推定値予測式S_r(q)の生成は、解像度rにおける量子化パラメータqと主観画質推定値sの関係を、次式(4)で近似することによって行われる。
Figure 2014204206
式(4)においてγとδを求めることで、予測された量子化パラメータから主観画質推定値を主観画質推定値予測式S_r(q)から算出することができる。γとδは、解像度rに依存した定数となり、式(4)において、M=2の場合、連立方程式の解法、例えば、代入法を適用する等によりγ、δが求められる。Mが3以上の場合、最小二乗法によってγ、δが求められる。主観画質推定値予測式生成部21は、解像度rごとに、繰り返し主観画質推定値予測式S_r(q)を生成する。なお、Mが大きいほど近似精度は高くなり、少ない点で精度を高める場合には、なるべく距離の離れた2点が選択されることになる。
主観画質推定値予測部22は、入力情報として当該映像情報を表示端末装置側で表示する際のターゲットビットレート、解像度、フレームレートで示される符号化条件の情報を受け、量子化パラメータ予測式生成部20が生成した量子化パラメータ予測式Q(b)と主観画質推定値予測式生成部21が生成した解像度rに紐づいた主観画質推定値予測式S_r(q)を用いて主観画質推定値の予測値である予測主観画質推定値を算出する。主観画質推定値予測部22による予測主観画質推定値の算出は、まず、想定する配信ビットレートであるターゲットビットレートを解像度とフレームレートで割り、1画素あたりの平均符号量bが算出される。1画素あたりの平均符号量bから量子化パラメータ予測式Q(b)により予測量子化パラメータq_predが算出される。このq_predを入力情報として受けた解像度に対応する主観画質推定値予測式S_r(q)に代入することで予測主観画質推定値s_predが算出される。s_predは入力情報として受ける全てのターゲットビットレートに対して算出される。これにより、符号化を行うことなく主観画質推定値の予測値を算出することが可能となる。
次に、第1実施形態の主観画質推定装置の動作について説明する。図4は、コントラスト感度関数管理部12の動作を示すフローチャートである。コントラスト感度関数管理部12は、表示環境データDを入力情報として受ける(ステップSa1)。コントラスト感度関数管理部12は、表示環境データDに対応するコントラスト感度関数のパラメータがテーブル部13に記憶されているか否かを判定する(ステップSa2)。第1実施形態では、コントラスト感度関数は、上記の式(1)で示したガウス分布にしたがっているため、表示環境データDに含まれる表示モニタのdpiに対応する平均μと分散σがテーブル部13に記憶されているか否かを判定する。コントラスト感度関数管理部12が、表示環境データDに対応するコントラスト感度関数のパラメータがテーブル部13に記憶されていると判定した場合、ステップSa4に進む。一方、コントラスト感度関数管理部12が、表示環境データDに対応するコントラスト感度関数のパラメータがテーブル部13に記憶されていないと判定した場合、表示環境データDに対応するコントラスト感度関数のパラメータを生成する(ステップSa3)。例えば、主観評価実験が実施され、パラメータがテーブル部13に記憶されている表示モニタのdpiと、実験が実施されていない、すなわちパラメータがテーブル部13に記憶されていない表示モニタのdpiとの比率を用いて算出する。具体的には、表示モニタのdpiがdでの主観評価実験により求められたコントラスト感度関数の平均がμ、分散がσであり、ブロックサイズがN×Nであり、これらの情報が、テーブル部13に記憶されているとする。このとき、表示環境データDに含まれる表示モニタのdpiが、dであるとすると、dにおける平均μ、分散σは、μ=(d/d)×μとなり、σ=(d/d)×σとなる。次に、コントラスト感度関数管理部12は、表示環境データDに対応するパラメータを用いてコントラスト感度関数から重み行列Wを算出する(ステップSa4)。コントラスト感度関数管理部12は、算出した重み行列Wを主観画質推定値出力部14に出力する(ステップSa5)。
上記の処理により、想定する全ての表示環境での主観評価実験を実施してパラメータを算出することが困難な場合であっても、実験を実施した表示環境に対応するテーブル部13に記憶されているパラメータから実験を行っていないパラメータを算出することが可能となる。これにより、コントラスト感度関数のパラメータを求めるための主観評価実験の回数を削減することができる。
次に、図5を参照しつつ主観画質推定装置1の全体的な動作について説明する。ここでは、ある映像情報Iを複数のビットレートBi(0<i≦N)、解像度r_j(0<j≦M)に符号化することを想定している。図1では、主観画質推定値予測部22が、外部からターゲットビットレート、解像度を入力情報として受けることにしていたが、ここでは、ビットレートと解像度は、予め定められている複数のビットレート及び解像度からエンコーダ50及び主観画質推定装置1が選択するものとする。解像度を変化させた原映像情報は予め用意されているものとし、フレームレートは固定されているものとする。また、iとjの値は、主観画質推定装置1の全ての機能部から参照できるメモリなどの内部の記憶領域に記憶されているものとする。
エンコーダ50が、i=1、j=1として入力情報として映像情報I、ビットレートBi、解像度r_jを受ける(ステップSb1)。エンコーダ50は、映像情報Iに対してビットレートBi、解像度r_j(最初は、B1、r_1となる。)で符号化を行い、符号化データIeを生成する(ステップSb2)。iをインクリメント、すなわちiに1を加えた値をiの値とする(ステップSb3)。デコーダ・サンプリングフィルタ部11は、エンコーダ50が生成した符号化データと表示環境データDを入力情報として受けて、符号化データIeを復号して復号映像情報Id、1画素あたりの平均符号量b、量子化パラメータqを求める(ステップSb4)。デコーダ・サンプリングフィルタ部11は、1画素あたりの平均符号量bと量子化パラメータqを解像度r_jに関連づけてパラメータ記憶部15に書き込む(ステップSb5)。デコーダ・サンプリングフィルタ部11は、復号映像情報Idの解像度を表示環境データDに含まれている表示解像度にあわせるように復号映像情報Idをサンプリングする。デコーダ・サンプリングフィルタ部11は、サンプリングした復号映像情報であるサンプリング後復号映像情報を表示解像度及び復号映像情報の解像度とともに主観画質推定値出力部14に出力する(ステップSb6)。主観画質推定値出力部14は、図4に示した処理によりコントラスト感度関数管理部12が出力した重み行列Wとサンプリング後復号映像情報とに基づいて上記の式(2)よりブロックごとの主観画質推定値s_blockを算出する。主観画質推定値出力部14は、サンプリング後復号映像情報の全てのブロックについて算出したs_blockの平均を算出し、算出した平均値を映像の主観画質推定値sとし、解像度r_jに関連付けて主観画質推定値sをパラメータ記憶部15に書き込む。またこのとき、主観画質推定値出力部14は、算出した主観画質推定値sを外部に出力する(ステップSb7)。
主観画質推定値出力部14がパラメータ記憶部15に主観画質推定値sを書き込んだ後、デコーダ・サンプリングフィルタ部11は、iが3以上か否か、すなわち2つ以上のビットレートで符号化が行われているか否かを判定する(ステップSb8)。デコーダ・サンプリングフィルタ部11は、iが3以上でない場合、ステップSb2からの処理、すなわちiが1つ増加した別のビットレートでの処理を繰り返す。一方、デコーダ・サンプリングフィルタ部11は、iが3以上であると判定した場合、量子化パラメータ予測式生成部20と主観画質推定値予測式生成部21に処理の開始を通知する。量子化パラメータ予測式生成部20は、パラメータ記憶部15から1画素あたりの平均符号量bと量子化パラメータqの組を読み出し、上記の式(3)に基づいて量子化パラメータ予測式Q(b)を生成する(ステップSb9)。主観画質推定値予測式生成部21は、パラメータ記憶部15から解像度r_jに関連づけられている主観画質推定値sと量子化パラメータqの組を読み出し、上記の式(4)に基づいて主観画質推定値予測式S_r(q)を生成する(ステップSb10)。主観画質推定値予測部22は、量子化パラメータ予測式生成部20と主観画質推定値予測式生成部21からそれぞれ量子化パラメータ予測式Q(b)と主観画質推定値予測式S_r(q)を受ける。主観画質推定値予測部22は、その時点でのiの値に基づくビットレート、すなわちエンコーダ50で符号化されていないビットレート(上述したターゲットビットレートに相当)と、その時点でのjの値に基づく解像度r_j、固定値であるフレームレートに基づいて、1画素あたりの平均符号量bを算出する。主観画質推定値予測部22は、算出した1画素あたりの平均符号量bを量子化パラメータ予測式Q(b)に代入して予測量子化パラメータq_predを算出する。主観画質推定値予測部22は、さらに、予測量子化パラメータq_predをその時点でのjの値に基づく解像度r_jに対応する主観画質推定値予測式S_r(q)に代入して予測主観画質推定値s_predを算出する(ステップSb11)。
主観画質推定値予測部22は、iをインクリメントする(ステップSb12)。そして、主観画質推定値予測部22は、iがN+1であるか否かを判定する(ステップSb13)。主観画質推定値予測部22は、iがN+1でないと判定した場合、ステップSb11からの処理を繰り返し、残りの全てのビットレートBiについて予測主観画質推定値s_predを算出する。一方、主観画質推定値予測部22は、iがN+1であると判定した場合、jをインクリメントする(ステップSb14)。そして、主観画質推定値予測部22は、jがM+1であるか否かを判定する(ステップSb15)。主観画質推定値予測部22は、jがM+1でないと判定した場合、iをリセット、すなわちiに1を代入して(ステップSb16)、デコーダ・サンプリングフィルタ部11にステップSb2から処理を行わせる。一方、主観画質推定値予測部22は、jがM+1であると判定した場合、すなわち、M個の解像度について実際に符号化を行っていない全てのビットレートBiの予測主観画質推定値s_predが算出されたと判定した場合、処理を終了する。
これにより、主観画質推定値出力部14が算出した主観画質推定値と、主観画質推定値予測部22が算出した予測主観画質推定値とを合わせて参照することで、表示端末装置側で映像情報が表示される場合の画質を全ての符号化条件で符号化を行うことなく知ることが可能となる。
なお、上記の処理において、量子化パラメータ予測式Q(b)及び主観画質推定値予測式S_r(q)の式の精度を高めるため、ステップSb8において、i≧nであるか否か(nは、4以上の整数)を判定させ、パラメータ記憶部15に記憶される1画素あたりの平均符号量と量子化パラメータの組と、主観画質推定値と量子化パラメータの組を増やすようにしてもよい。
(第2実施形態)
次に、本発明の第2実施形態について説明する。第2実施形態において、第1実施形態と異なる構成は、コントラスト感度関数管理部12において用いるコントラスト感度関数であり、それに伴い、テーブル部13に記憶させる情報が異なる。また、コントラスト感度関数管理部12に与えられる表示環境データDについても第1実施形態では、表示モニタのdpiと表示解像度が含まれていたが、第2実施形態では、これらに加えて表示モニタのサイズが含まれることになる。第1実施形態との構成の違いを表すため、以下の説明では、符号にダッシュを付け、コントラスト感度関数管理部12’、テーブル部13’、表示環境データD’として表す。第2実施形態では、コントラスト感度関数管理部12’で用いられるコントラスト感度関数は、非特許文献10に記載の技術に基づく関数を用いる。非特許文献10に記載の技術において、各周波数成分に対するコントラスト感度関数は、以下の、式(5)で表すことができる。
Figure 2014204206
式(5)において、右辺のφ(ファイ)は、単位視野角内の明暗帯の個数を表す空間周波数(cycles per degree)である。また、φは、1次元の空間周波数である。ブロックサイズN×Nの場合、φと空間周波数のインデックスu(ここで、uは、1次元である)の関係は、以下の式(6)で表される。
Figure 2014204206
式(6)においてθ(l)は、視距離lで視聴した場合の1画素あたりの角度(degree per pixel)であり、次式(7)で表現できる。
Figure 2014204206
コントラスト感度関数管理部12’は、このコントラスト感度関数g(u,l)を表示環境データD’に基づいて切り替える。第2実施形態のコントラスト感度関数において表示環境によって変わるパラメータは視距離lとなる。視距離lは、表示モニタのサイズごとに予めテーブル部13’に記憶させておく。例えば、図6に示すように、表示モニタの高さ(縦幅)、ブロックサイズ、視距離lの組み合わせで予め記憶させておく。図6では、一例として、表示モニタのサイズを高さ(縦幅)としているが、サイズを示す値であれば幅(横幅)など他の値であってもよい。第2実施形態のコントラスト感度関数管理部12’も、図4に示すフローチャートにしたがって重み行列Wを生成する。第2実施形態においても想定する表示環境全てでの主観評価実験が難しいようであれば、図4のフローチャートに示したステップSa2の処理に基づいて、表示環境データD’に対応するコントラスト感度関数のパラメータがテーブル部13’に存在しないと判定した場合、ステップSa3に示す処理に基づく表示環境データD’に対応するコントラスト感度関数のパラメータを生成する処理を行う。具体的には、表示モニタの高さに対する視距離lが一定であると仮定し、特定の表示環境から表示モニタの高さHの比率で視距離lを切り替える。例えば、主観評価実験で得られた視距離lがlであったとする。表示解像度における縦画素数がpで、dpiがdであるとすると、表示モニタの高さは、H=p/dとなる。表示解像度での縦画素数がpで、dpiがdの映像情報を表示する場合、表示モニタの高さは、H=p/dとなる。したがって、l=(p)×l/(p)となる。このようにして、主観評価実験の行われていない視距離lを算出することができる。視距離lに基づいて、非特許文献11より、離散コサイン変換係数cij(i=0,1,…,N−1、j=0,1,…,N−1)に対する重みwijは、次式(8)によって表される。
Figure 2014204206
上記のようにして、コントラスト感度関数管理部12’は、入力情報として受ける表示環境データD’に含まれる表示モニタの高さによってコントラスト感度関数のパラメータを切り替え、重み行列Wを生成して主観画質推定値出力部14に出力する。上記の構成以外の構成については、第1実施形態と同様である。
上記の第2実施形態の構成により、想定する全ての表示環境での主観評価実験を実施して視距離lのパラメータを算出することが困難な場合であっても、実験を実施した表示環境に対応するテーブル部13’に記憶されているパラメータから実験を行っていないパラメータを算出することが可能となる。これにより、コントラスト感度関数のパラメータを求めるための主観評価実験の回数を削減することができる。
なお、第2実施形態において表示端末装置のdpiは、予め想定して置かずに表示端末装置側で取得し、コントラスト関数のパラメータ設定に用いるようにしてもよい。例えば、表示端末装置が、アンドロイド(登録商標)のスマートフォンの場合、表示端末装置側で映像配信用のアプリケーションがインストールされていれば、アンドロイド(登録商標)のAPI(Application Program Interface)のDisplayMetricsクラスからdpiを取得することが可能である。この取得したdpiを、アプリケーションの起動時、または、アプリケーションがインストールされた際に主観画質推定装置1に送信するようにしてもよい。
上記の第1及び第2実施形態の構成により、あるビットレートと解像度で符号化された映像情報に基づいてデコーダ・サンプリングフィルタ部11が1画素あたりの平均符号量と量子化パラメータを算出する。主観画質推定値出力部14が、表示端末装置側での表示環境を示すコントラスト感度関数管理部12及び12’が生成した重み行列に基づいて、表示端末装置側での表示解像度にしたがう主観画質推定値を算出する。1画素あたりの平均符号量と量子化パラメータ量子化と主観画質推定値とに基づいて、量子化パラメータ予測式生成部20及び主観画質推定値予測式生成部21が、それぞれ量子化パラメータ予測式と主観画質推定値予測式を生成する。これらの2つの式に基づいて、主観画質推定値予測部22は、任意に選択される符号化条件にしたがって符号化された際の予測主観画質推定値を算出する。これにより、表示環境の変化および符号化条件の変化に対応し、低い符号化計算コストで主観画質の推定を行うことができる。また、推定した主観画質を用いて、映像情報を任意のビットレートに符号化する際に、選択したビットレートごとに主観画質を最大とする解像度を表示端末装置側の表示環境の変化を考慮して、符号化を行う前に選択することが可能となる。
また、さらに、表示環境が異なることによって変化するコントラスト感度関数のパラメータを上記の図4に示した処理により推定することにより、コントラスト感度関数のパラメータを決定するのに必要な主観評価実験の回数を減少することができる。
なお、上記の第1及び第2実施形態において、コントラスト感度関数は、上述した関数でなくても、周波数成分に対する適切な重み付けが可能な関数であればよい.
また、上記の第1及び第2実施形態において、主観画質推定値出力部14が行う周波数変換としては、離散コサイン変換でなくとも妥当な周波数変換、例えば、ウェーブレット変換等でもよい。
また、上記の第1及び第2実施形態において、量子化パラメータと主観画質推定値の関係は、式(4)に示す通り1次式で表しているが、区分線形式、2次式、3次式、対数線形モデル等であってもよい。
また、上記の第1及び第2実施形態において、主観画質推定値予測部22が受ける符号化条件については、ターゲットビットレート、解像度、フレームレートの全てであってもよいし、任意に選択されるいずれか2つあるいは1つであってもよい。
本発明における各処理部の機能を実現するためのプログラムは、単一の装置に依存するものではなく、プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上記の各処理部の機能をコンピュータ内で構成させて主観画質推定の処理を行わせるようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
1 主観画質推定装置
10 主観画質推定部
11 デコーダ・サンプリングフィルタ部
12 コントラスト感度関数管理部
13 テーブル部
14 主観画質推定値出力部
15 パラメータ記憶部
20 量子化パラメータ予測式生成部
21 主観画質推定値予測式生成部
22 主観画質推定値予測部
50 エンコーダ

Claims (8)

  1. 映像情報の符号化データを復号することにより復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、任意に選択される表示環境を示す表示環境データに基づいて前記復号映像情報を表示する際の主観画質推定値を算出する主観画質推定部と、
    前記1画素あたりの平均符号量及び前記量子化パラメータの関係を示す量子化パラメータ予測式を生成する量子化パラメータ予測式生成部と、
    前記解像度ごとの前記主観画質推定値及び前記量子化パラメータの関係を示す主観画質推定値予測式を生成する主観画質推定値予測式生成部と、
    前記量子化パラメータ予測式と前記主観画質推定値予測式とを用いて、任意に選択される符号化条件における前記映像情報の主観画質推定値の予測値を算出する主観画質推定値予測部と、
    を備えることを特徴とする主観画質推定装置。
  2. 前記主観画質推定部は、
    前記符号化データから復号映像情報を復号して復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、前記復号映像情報の解像度を前記表示環境データに示される表示解像度にするサンプリングを行ってサンプリング後復号映像情報を生成するデコーダ・サンプリングフィルタ部と、
    前記表示環境データに基づいて定められるコントラスト感度関数によって重み行列を生成するコントラスト感度関数管理部と、
    前記重み行列の大きさに応じて分割された前記サンプリング後復号映像情報の画素ブロックに対して周波数変換を行うことにより求められる変換係数と前記重み行列を用いて前記主観画質推定値を算出する主観画質推定値出力部と、
    前記1画素あたりの平均符号量と、前記量子化パラメータと、前記主観画質推定値と、前記解像度とを対応付けて記憶するパラメータ記憶部と、
    を備えることを特徴とする請求項1に記載の主観画質推定装置。
  3. 画素密度に対応付けて、前記コントラスト感度関数を定めるパラメータを予め記憶するテーブル部を備え、
    前記コントラスト感度関数管理部は、
    前記表示環境データに示される前記画素密度に対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在する場合、前記テーブル部から当該パラメータを読み出して前記コントラスト感度関数を定め、前記表示環境データに示される前記画素密度に対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在しない場合、前記テーブル部に存在する前記画素密度と前記パラメータとに基づいて、前記表示環境データに示される前記画素密度に対応する前記パラメータを算出して前記コントラスト感度関数を定める
    ことを特徴とする請求項2に記載の主観画質推定装置。
  4. 表示画面のサイズに対応付けて、前記コントラスト感度関数を定めるパラメータを予め記憶するテーブル部を備え、
    前記コントラスト感度関数管理部は、
    前記表示環境データに示される表示画面のサイズに対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在する場合、前記テーブル部から当該パラメータを読み出して前記コントラスト感度関数を定め、前記表示環境データに示される表示画面のサイズに対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在しない場合、前記テーブル部に存在する前記表示画面のサイズと前記パラメータとに基づいて、前記表示環境データに示される表示画面のサイズに対応する前記パラメータを算出して前記コントラスト感度関数を定める
    ことを特徴とする請求項2に記載の主観画質推定装置。
  5. 前記量子パラメータ予測式生成部は、
    前記1画素あたりの平均符号量と前記量子化パラメータの複数の組み合わせに基づいて前記1画素あたりの平均符号量と前記量子化パラメータの関係を示す量子化パラメータ予測式を生成する際に、前記複数の組み合わせをN次式(Nは1以上の整数)で表現した前記1画素あたりの平均符号量と前記量子化パラメータの関係に基づいて連立方程式の解法、または最小二乗法によって前記量子パラメータ予測式を算出する
    ことを特徴とする請求項1から4のいずれか1つに記載の主観画質推定装置。
  6. 前記主観画質推定値予測式生成部は、
    前記主観画質推定値と前記量子化パラメータの複数の組み合わせに基づいて前記主観画質推定値と前記量子化パラメータの関係を示す主観画質推定値予測式を生成する際に、前記複数の組み合わせをN次式(Nは1以上の整数)で表現した前記量子化パラメータと前記主観画質推定値の関係に基づいて連立方程式の解法、または最小二乗法によって前記主観画質推定式を算出する
    ことを特徴とする請求項1から5のいずれか1つに記載の主観画質推定装置。
  7. 映像情報の符号化データを復号することにより復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、
    任意に選択される表示環境を示す表示環境データに基づいて前記復号映像情報を表示する際の主観画質推定値を算出し、
    前記1画素あたりの平均符号量及び前記量子化パラメータの関係を示す量子化パラメータ予測式を生成し、
    前記解像度ごとの前記主観画質推定値及び前記量子化パラメータの関係を示す主観画質推定値予測式を生成し、
    前記量子化パラメータ予測式と前記主観画質推定値予測式とを用いて、任意に選択される符号化条件における前記映像情報の主観画質推定値の予測値を算出する
    ことを含む主観画質推定方法。
  8. コンピュータを、
    映像情報の符号化データを復号することにより復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、任意に選択される表示環境を示す表示環境データに基づいて前記復号映像情報を表示する際の主観画質推定値を算出する主観画質推定手段、
    前記1画素あたりの平均符号量及び前記量子化パラメータの関係を示す量子化パラメータ予測式を生成する量子化パラメータ予測式生成手段、
    前記解像度ごとの前記主観画質推定値及び前記量子化パラメータの関係を示す主観画質推定値予測式を生成する主観画質推定値予測式生成手段、
    前記量子化パラメータ予測式と前記主観画質推定値予測式とを用いて、任意に選択される符号化条件における前記映像情報の主観画質推定値の予測値を算出する主観画質推定値予測手段、
    として機能させるためのプログラム。
JP2013077257A 2013-04-02 2013-04-02 主観画質推定装置、主観画質推定方法、及びプログラム Expired - Fee Related JP5990126B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013077257A JP5990126B2 (ja) 2013-04-02 2013-04-02 主観画質推定装置、主観画質推定方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013077257A JP5990126B2 (ja) 2013-04-02 2013-04-02 主観画質推定装置、主観画質推定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2014204206A true JP2014204206A (ja) 2014-10-27
JP5990126B2 JP5990126B2 (ja) 2016-09-07

Family

ID=52354306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013077257A Expired - Fee Related JP5990126B2 (ja) 2013-04-02 2013-04-02 主観画質推定装置、主観画質推定方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP5990126B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954310A (zh) * 2021-02-05 2021-06-11 上海研鼎信息技术有限公司 图像质量检测方法、装置、计算机设备以及可读存储介质
CN113938685A (zh) * 2021-09-26 2022-01-14 中国科学院计算技术研究所 面向大规模图像存储的认知型软件可调整图像编码装置
CN115114963A (zh) * 2021-09-24 2022-09-27 中国劳动关系学院 基于卷积神经网络的智能流媒体视频大数据分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6016017838; 高木基宏、藤井寛、清水淳: '主観画質を最大化する最適解像度決定のための画質推定' 電子情報通信学会2013年総合大会講演論文集  情報・システム2 , 20130305, 第10頁 *
JPN6016017839; 高木基宏、藤井寛、清水淳: 'ビットレートと量子化パラメータの関係を用いた主観画質推定' 映像情報メディア学会2012年冬季大会講演予稿集 , 20121127 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954310A (zh) * 2021-02-05 2021-06-11 上海研鼎信息技术有限公司 图像质量检测方法、装置、计算机设备以及可读存储介质
CN115114963A (zh) * 2021-09-24 2022-09-27 中国劳动关系学院 基于卷积神经网络的智能流媒体视频大数据分析方法
CN115114963B (zh) * 2021-09-24 2023-04-07 中国劳动关系学院 基于卷积神经网络的智能流媒体视频大数据分析方法
CN113938685A (zh) * 2021-09-26 2022-01-14 中国科学院计算技术研究所 面向大规模图像存储的认知型软件可调整图像编码装置
CN113938685B (zh) * 2021-09-26 2023-04-11 中国科学院计算技术研究所 面向大规模图像存储的认知型软件可调整图像编码装置

Also Published As

Publication number Publication date
JP5990126B2 (ja) 2016-09-07

Similar Documents

Publication Publication Date Title
US11128888B2 (en) Method and apparatus for video decoding
US11172220B2 (en) Video encoding method, and storage medium thereof
US20210166346A1 (en) Electronic apparatus, system and controlling method thereof
CA2958720A1 (en) Method and system for objective perceptual video quality assessment
Berger et al. Subjective quality assessment comparing UHD and HD resolution in HEVC transmission chains
JP5990126B2 (ja) 主観画質推定装置、主観画質推定方法、及びプログラム
Barman et al. Parametric Quality Models for Multiscreen Video Systems
US20130259114A1 (en) Encoding and Transmitting Video Streams
Chen et al. A subjective study for the design of multi-resolution ABR video streams with the VP9 codec
Göring et al. Cencro-speedup of video quality calculation using center cropping
JP6145069B2 (ja) 主観画質推定装置及び主観画質推定プログラム
Herglotz et al. Power-efficient video streaming on mobile devices using optimal spatial scaling
CN110572677B (zh) 视频编解码方法和装置、存储介质及电子装置
JP5956316B2 (ja) 主観画質推定装置、主観画質推定方法及びプログラム
JP4451856B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4802200B2 (ja) 映像品質推定装置、方法、およびプログラム
JP2022508373A (ja) 視覚メディアエンコードおよびデコードのための平面予測モード
Rahim et al. Comparing H. 265/HEVC and VP9: Impact of high frame rates on the perceptual quality of compressed videos
JP4451857B2 (ja) 映像品質パラメータ推定装置、方法、およびプログラム
JP6087779B2 (ja) 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム
JP6373681B2 (ja) 客観画質評価装置、客観画質評価方法、およびプログラム
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム
Garcia et al. Video streaming
US11943450B2 (en) System and method to estimate blockiness in transform-based video encoding
CN110636295B (zh) 视频编解码方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160812

R150 Certificate of patent or registration of utility model

Ref document number: 5990126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees