JP2014204206A - 主観画質推定装置、主観画質推定方法、及びプログラム - Google Patents
主観画質推定装置、主観画質推定方法、及びプログラム Download PDFInfo
- Publication number
- JP2014204206A JP2014204206A JP2013077257A JP2013077257A JP2014204206A JP 2014204206 A JP2014204206 A JP 2014204206A JP 2013077257 A JP2013077257 A JP 2013077257A JP 2013077257 A JP2013077257 A JP 2013077257A JP 2014204206 A JP2014204206 A JP 2014204206A
- Authority
- JP
- Japan
- Prior art keywords
- image quality
- subjective image
- quality estimation
- quantization parameter
- video information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000013139 quantization Methods 0.000 claims abstract description 103
- 230000014509 gene expression Effects 0.000 claims abstract description 47
- 230000035945 sensitivity Effects 0.000 claims description 75
- 238000005070 sampling Methods 0.000 claims description 27
- 238000003860 storage Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 69
- 238000011156 evaluation Methods 0.000 description 31
- 238000002474 experimental method Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 14
- 238000009826 distribution Methods 0.000 description 10
- 238000013441 quality evaluation Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
(2)NR(No Reference)型:復号映像または受信映像のみを用いて評価する方法である。
(3)RR(Reduced Reference)型:情報量が制限された原映像、または送信映像の映像特徴量、及び復号映像、または受信映像を用いて評価する方法である。
(1)表示環境の変化への対応、
(2)広範囲の解像度、フレームレートの変化への対応、
(3)符号化の計算コスト、
がある。
以下、本発明の実施形態について図面を参照して説明する。図1は、本発明の第1実施形態による主観画質推定装置1の内部構成、及び符号化データを出力するエンコーダ50の接続構成を示すブロック図である。同図において、実線は、各機能ブロック及び装置の接続構成を示しており、破線は、情報やデータの流れを示す。主観画質推定装置1は、主観画質推定部10、量子化パラメータ予測式生成部20、主観画質推定値予測式生成部21、主観画質推定値予測部22を備える。また、主観画質推定部10は、デコーダ・サンプリングフィルタ部11、コントラスト感度関数管理部12、テーブル部13、主観画質推定値出力部14、パラメータ記憶部15を備える。エンコーダ50は、映像情報、ビットレート、解像度を入力情報として受け、当該ビットレート、解像度にしたがって映像情報を符号化して符号化データを出力する。主観画質推定装置1において、主観画質推定部10は、入力情報として、エンコーダ50から出力される符号化データと、映像情報の表示を行う表示端末装置側での表示環境を示す表示環境データDを受け、表示環境データDに含まれる表示解像度における主観画質推定値を算出する。ここで、解像度、及び表示解像度とは、例えば、画面の縦横の画素数の積の表記で示される値であり、具体的には、1920×1080などのように表される。
これにより、主観画質推定値出力部14が算出した主観画質推定値と、主観画質推定値予測部22が算出した予測主観画質推定値とを合わせて参照することで、表示端末装置側で映像情報が表示される場合の画質を全ての符号化条件で符号化を行うことなく知ることが可能となる。
なお、上記の処理において、量子化パラメータ予測式Q(b)及び主観画質推定値予測式S_r(q)の式の精度を高めるため、ステップSb8において、i≧nであるか否か(nは、4以上の整数)を判定させ、パラメータ記憶部15に記憶される1画素あたりの平均符号量と量子化パラメータの組と、主観画質推定値と量子化パラメータの組を増やすようにしてもよい。
次に、本発明の第2実施形態について説明する。第2実施形態において、第1実施形態と異なる構成は、コントラスト感度関数管理部12において用いるコントラスト感度関数であり、それに伴い、テーブル部13に記憶させる情報が異なる。また、コントラスト感度関数管理部12に与えられる表示環境データDについても第1実施形態では、表示モニタのdpiと表示解像度が含まれていたが、第2実施形態では、これらに加えて表示モニタのサイズが含まれることになる。第1実施形態との構成の違いを表すため、以下の説明では、符号にダッシュを付け、コントラスト感度関数管理部12’、テーブル部13’、表示環境データD’として表す。第2実施形態では、コントラスト感度関数管理部12’で用いられるコントラスト感度関数は、非特許文献10に記載の技術に基づく関数を用いる。非特許文献10に記載の技術において、各周波数成分に対するコントラスト感度関数は、以下の、式(5)で表すことができる。
上記の第2実施形態の構成により、想定する全ての表示環境での主観評価実験を実施して視距離lのパラメータを算出することが困難な場合であっても、実験を実施した表示環境に対応するテーブル部13’に記憶されているパラメータから実験を行っていないパラメータを算出することが可能となる。これにより、コントラスト感度関数のパラメータを求めるための主観評価実験の回数を削減することができる。
なお、第2実施形態において表示端末装置のdpiは、予め想定して置かずに表示端末装置側で取得し、コントラスト関数のパラメータ設定に用いるようにしてもよい。例えば、表示端末装置が、アンドロイド(登録商標)のスマートフォンの場合、表示端末装置側で映像配信用のアプリケーションがインストールされていれば、アンドロイド(登録商標)のAPI(Application Program Interface)のDisplayMetricsクラスからdpiを取得することが可能である。この取得したdpiを、アプリケーションの起動時、または、アプリケーションがインストールされた際に主観画質推定装置1に送信するようにしてもよい。
また、さらに、表示環境が異なることによって変化するコントラスト感度関数のパラメータを上記の図4に示した処理により推定することにより、コントラスト感度関数のパラメータを決定するのに必要な主観評価実験の回数を減少することができる。
また、上記の第1及び第2実施形態において、主観画質推定値出力部14が行う周波数変換としては、離散コサイン変換でなくとも妥当な周波数変換、例えば、ウェーブレット変換等でもよい。
また、上記の第1及び第2実施形態において、量子化パラメータと主観画質推定値の関係は、式(4)に示す通り1次式で表しているが、区分線形式、2次式、3次式、対数線形モデル等であってもよい。
また、上記の第1及び第2実施形態において、主観画質推定値予測部22が受ける符号化条件については、ターゲットビットレート、解像度、フレームレートの全てであってもよいし、任意に選択されるいずれか2つあるいは1つであってもよい。
以上、本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
10 主観画質推定部
11 デコーダ・サンプリングフィルタ部
12 コントラスト感度関数管理部
13 テーブル部
14 主観画質推定値出力部
15 パラメータ記憶部
20 量子化パラメータ予測式生成部
21 主観画質推定値予測式生成部
22 主観画質推定値予測部
50 エンコーダ
Claims (8)
- 映像情報の符号化データを復号することにより復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、任意に選択される表示環境を示す表示環境データに基づいて前記復号映像情報を表示する際の主観画質推定値を算出する主観画質推定部と、
前記1画素あたりの平均符号量及び前記量子化パラメータの関係を示す量子化パラメータ予測式を生成する量子化パラメータ予測式生成部と、
前記解像度ごとの前記主観画質推定値及び前記量子化パラメータの関係を示す主観画質推定値予測式を生成する主観画質推定値予測式生成部と、
前記量子化パラメータ予測式と前記主観画質推定値予測式とを用いて、任意に選択される符号化条件における前記映像情報の主観画質推定値の予測値を算出する主観画質推定値予測部と、
を備えることを特徴とする主観画質推定装置。 - 前記主観画質推定部は、
前記符号化データから復号映像情報を復号して復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、前記復号映像情報の解像度を前記表示環境データに示される表示解像度にするサンプリングを行ってサンプリング後復号映像情報を生成するデコーダ・サンプリングフィルタ部と、
前記表示環境データに基づいて定められるコントラスト感度関数によって重み行列を生成するコントラスト感度関数管理部と、
前記重み行列の大きさに応じて分割された前記サンプリング後復号映像情報の画素ブロックに対して周波数変換を行うことにより求められる変換係数と前記重み行列を用いて前記主観画質推定値を算出する主観画質推定値出力部と、
前記1画素あたりの平均符号量と、前記量子化パラメータと、前記主観画質推定値と、前記解像度とを対応付けて記憶するパラメータ記憶部と、
を備えることを特徴とする請求項1に記載の主観画質推定装置。 - 画素密度に対応付けて、前記コントラスト感度関数を定めるパラメータを予め記憶するテーブル部を備え、
前記コントラスト感度関数管理部は、
前記表示環境データに示される前記画素密度に対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在する場合、前記テーブル部から当該パラメータを読み出して前記コントラスト感度関数を定め、前記表示環境データに示される前記画素密度に対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在しない場合、前記テーブル部に存在する前記画素密度と前記パラメータとに基づいて、前記表示環境データに示される前記画素密度に対応する前記パラメータを算出して前記コントラスト感度関数を定める
ことを特徴とする請求項2に記載の主観画質推定装置。 - 表示画面のサイズに対応付けて、前記コントラスト感度関数を定めるパラメータを予め記憶するテーブル部を備え、
前記コントラスト感度関数管理部は、
前記表示環境データに示される表示画面のサイズに対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在する場合、前記テーブル部から当該パラメータを読み出して前記コントラスト感度関数を定め、前記表示環境データに示される表示画面のサイズに対応する前記コントラスト感度関数のパラメータが前記テーブル部に存在しない場合、前記テーブル部に存在する前記表示画面のサイズと前記パラメータとに基づいて、前記表示環境データに示される表示画面のサイズに対応する前記パラメータを算出して前記コントラスト感度関数を定める
ことを特徴とする請求項2に記載の主観画質推定装置。 - 前記量子パラメータ予測式生成部は、
前記1画素あたりの平均符号量と前記量子化パラメータの複数の組み合わせに基づいて前記1画素あたりの平均符号量と前記量子化パラメータの関係を示す量子化パラメータ予測式を生成する際に、前記複数の組み合わせをN次式(Nは1以上の整数)で表現した前記1画素あたりの平均符号量と前記量子化パラメータの関係に基づいて連立方程式の解法、または最小二乗法によって前記量子パラメータ予測式を算出する
ことを特徴とする請求項1から4のいずれか1つに記載の主観画質推定装置。 - 前記主観画質推定値予測式生成部は、
前記主観画質推定値と前記量子化パラメータの複数の組み合わせに基づいて前記主観画質推定値と前記量子化パラメータの関係を示す主観画質推定値予測式を生成する際に、前記複数の組み合わせをN次式(Nは1以上の整数)で表現した前記量子化パラメータと前記主観画質推定値の関係に基づいて連立方程式の解法、または最小二乗法によって前記主観画質推定式を算出する
ことを特徴とする請求項1から5のいずれか1つに記載の主観画質推定装置。 - 映像情報の符号化データを復号することにより復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、
任意に選択される表示環境を示す表示環境データに基づいて前記復号映像情報を表示する際の主観画質推定値を算出し、
前記1画素あたりの平均符号量及び前記量子化パラメータの関係を示す量子化パラメータ予測式を生成し、
前記解像度ごとの前記主観画質推定値及び前記量子化パラメータの関係を示す主観画質推定値予測式を生成し、
前記量子化パラメータ予測式と前記主観画質推定値予測式とを用いて、任意に選択される符号化条件における前記映像情報の主観画質推定値の予測値を算出する
ことを含む主観画質推定方法。 - コンピュータを、
映像情報の符号化データを復号することにより復号映像情報の1画素あたりの平均符号量と、量子化パラメータと、解像度とを算出し、任意に選択される表示環境を示す表示環境データに基づいて前記復号映像情報を表示する際の主観画質推定値を算出する主観画質推定手段、
前記1画素あたりの平均符号量及び前記量子化パラメータの関係を示す量子化パラメータ予測式を生成する量子化パラメータ予測式生成手段、
前記解像度ごとの前記主観画質推定値及び前記量子化パラメータの関係を示す主観画質推定値予測式を生成する主観画質推定値予測式生成手段、
前記量子化パラメータ予測式と前記主観画質推定値予測式とを用いて、任意に選択される符号化条件における前記映像情報の主観画質推定値の予測値を算出する主観画質推定値予測手段、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013077257A JP5990126B2 (ja) | 2013-04-02 | 2013-04-02 | 主観画質推定装置、主観画質推定方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013077257A JP5990126B2 (ja) | 2013-04-02 | 2013-04-02 | 主観画質推定装置、主観画質推定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014204206A true JP2014204206A (ja) | 2014-10-27 |
JP5990126B2 JP5990126B2 (ja) | 2016-09-07 |
Family
ID=52354306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013077257A Expired - Fee Related JP5990126B2 (ja) | 2013-04-02 | 2013-04-02 | 主観画質推定装置、主観画質推定方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5990126B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112954310A (zh) * | 2021-02-05 | 2021-06-11 | 上海研鼎信息技术有限公司 | 图像质量检测方法、装置、计算机设备以及可读存储介质 |
CN113938685A (zh) * | 2021-09-26 | 2022-01-14 | 中国科学院计算技术研究所 | 面向大规模图像存储的认知型软件可调整图像编码装置 |
CN115114963A (zh) * | 2021-09-24 | 2022-09-27 | 中国劳动关系学院 | 基于卷积神经网络的智能流媒体视频大数据分析方法 |
-
2013
- 2013-04-02 JP JP2013077257A patent/JP5990126B2/ja not_active Expired - Fee Related
Non-Patent Citations (2)
Title |
---|
JPN6016017838; 高木基宏、藤井寛、清水淳: '主観画質を最大化する最適解像度決定のための画質推定' 電子情報通信学会2013年総合大会講演論文集 情報・システム2 , 20130305, 第10頁 * |
JPN6016017839; 高木基宏、藤井寛、清水淳: 'ビットレートと量子化パラメータの関係を用いた主観画質推定' 映像情報メディア学会2012年冬季大会講演予稿集 , 20121127 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112954310A (zh) * | 2021-02-05 | 2021-06-11 | 上海研鼎信息技术有限公司 | 图像质量检测方法、装置、计算机设备以及可读存储介质 |
CN115114963A (zh) * | 2021-09-24 | 2022-09-27 | 中国劳动关系学院 | 基于卷积神经网络的智能流媒体视频大数据分析方法 |
CN115114963B (zh) * | 2021-09-24 | 2023-04-07 | 中国劳动关系学院 | 基于卷积神经网络的智能流媒体视频大数据分析方法 |
CN113938685A (zh) * | 2021-09-26 | 2022-01-14 | 中国科学院计算技术研究所 | 面向大规模图像存储的认知型软件可调整图像编码装置 |
CN113938685B (zh) * | 2021-09-26 | 2023-04-11 | 中国科学院计算技术研究所 | 面向大规模图像存储的认知型软件可调整图像编码装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5990126B2 (ja) | 2016-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11128888B2 (en) | Method and apparatus for video decoding | |
US11172220B2 (en) | Video encoding method, and storage medium thereof | |
US20210166346A1 (en) | Electronic apparatus, system and controlling method thereof | |
CA2958720A1 (en) | Method and system for objective perceptual video quality assessment | |
Berger et al. | Subjective quality assessment comparing UHD and HD resolution in HEVC transmission chains | |
JP5990126B2 (ja) | 主観画質推定装置、主観画質推定方法、及びプログラム | |
Barman et al. | Parametric Quality Models for Multiscreen Video Systems | |
US20130259114A1 (en) | Encoding and Transmitting Video Streams | |
Chen et al. | A subjective study for the design of multi-resolution ABR video streams with the VP9 codec | |
Göring et al. | Cencro-speedup of video quality calculation using center cropping | |
JP6145069B2 (ja) | 主観画質推定装置及び主観画質推定プログラム | |
Herglotz et al. | Power-efficient video streaming on mobile devices using optimal spatial scaling | |
CN110572677B (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
JP5956316B2 (ja) | 主観画質推定装置、主観画質推定方法及びプログラム | |
JP4451856B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP4802200B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP2022508373A (ja) | 視覚メディアエンコードおよびデコードのための平面予測モード | |
Rahim et al. | Comparing H. 265/HEVC and VP9: Impact of high frame rates on the perceptual quality of compressed videos | |
JP4451857B2 (ja) | 映像品質パラメータ推定装置、方法、およびプログラム | |
JP6087779B2 (ja) | 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム | |
JP6373681B2 (ja) | 客観画質評価装置、客観画質評価方法、およびプログラム | |
JP4740967B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
Garcia et al. | Video streaming | |
US11943450B2 (en) | System and method to estimate blockiness in transform-based video encoding | |
CN110636295B (zh) | 视频编解码方法和装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160506 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5990126 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |