JP2016032285A - 客観画質評価装置、客観画質評価方法、およびプログラム - Google Patents
客観画質評価装置、客観画質評価方法、およびプログラム Download PDFInfo
- Publication number
- JP2016032285A JP2016032285A JP2014155471A JP2014155471A JP2016032285A JP 2016032285 A JP2016032285 A JP 2016032285A JP 2014155471 A JP2014155471 A JP 2014155471A JP 2014155471 A JP2014155471 A JP 2014155471A JP 2016032285 A JP2016032285 A JP 2016032285A
- Authority
- JP
- Japan
- Prior art keywords
- image quality
- feature amount
- block
- condition
- complexity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims description 70
- 238000004364 calculation method Methods 0.000 claims abstract description 94
- 230000006866 deterioration Effects 0.000 claims abstract description 66
- 230000010354 integration Effects 0.000 claims abstract description 30
- 230000002123 temporal effect Effects 0.000 claims description 70
- 230000015556 catabolic process Effects 0.000 claims description 54
- 238000006731 degradation reaction Methods 0.000 claims description 54
- 238000011156 evaluation Methods 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 26
- 238000013139 quantization Methods 0.000 claims description 23
- 230000008447 perception Effects 0.000 claims description 7
- 101100042610 Arabidopsis thaliana SIGB gene Proteins 0.000 abstract description 28
- 101100294408 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) MOT2 gene Proteins 0.000 abstract description 17
- 101150117326 sigA gene Proteins 0.000 abstract description 17
- 101100421503 Arabidopsis thaliana SIGA gene Proteins 0.000 abstract description 11
- 238000012545 processing Methods 0.000 description 23
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 101100042613 Arabidopsis thaliana SIGC gene Proteins 0.000 description 6
- 101100042615 Arabidopsis thaliana SIGD gene Proteins 0.000 description 6
- 101100042617 Arabidopsis thaliana SIGE gene Proteins 0.000 description 6
- 101100095796 Caenorhabditis elegans sig-7 gene Proteins 0.000 description 6
- 101100042626 Arabidopsis thaliana SIGF gene Proteins 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000000611 regression analysis Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
(1) 本発明は、映像の主観画質を推定する客観画質評価装置(例えば、図1の客観画質評価装置1に相当)であって、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度(例えば、図1のブロック深度情報SIG2に相当)を、圧縮ビットストリーム(例えば、図1のビットストリームSIG1に相当)から求めるパラメータ解析手段(例えば、図1のパラメータ解析部10に相当)と、前記パラメータ解析手段により求められたブロック深度に基づいて、フレームの複雑度に関する複雑度特徴量(例えば、図1の複雑度特徴量SIG8に相当)を求める複雑度特徴量算出手段(例えば、図1の複雑度特徴量算出部20に相当)と、前記複雑度特徴量算出手段により求められた複雑度特徴量に基づいて、客観画質評価を行う画質劣化特徴量統合手段(例えば、図1の画質劣化特徴量統合部50に相当)と、を備えることを特徴とする客観画質評価装置を提案している。
パラメータ解析部10は、複数の処理ブロックサイズが許容される圧縮符号化方式(例えば、非特許文献1に示されているH.265/HEVC)で圧縮符号化されたビットストリームSIG1を入力とする。このパラメータ解析部10は、ビットストリームSIG1から符号化パラメータを求めて出力する。パラメータ解析部10が求める符号化パラメータには、ブロック深度情報SIG2と、ピクチャ情報SIG3と、SKIPフラグ情報SIG4と、マージ符号化関連情報SIG5と、動きベクトル情報SIG6と、QP(量子化パラメータ)情報SIG7と、が含まれる。
圧縮符号化に起因する画質劣化の度合いは、上述のように、ビットレートが等しくても、テクスチャの複雑さが異なっていれば、異なってくる。そこで、複雑度特徴量算出部20は、ブロック深度情報SIG2と、ピクチャ情報SIG3と、を入力とし、シーケンスの処理フレーム内のブロック分割の深度の分布によって画像内の複雑度を表し、複雑度特徴量SIG8として出力する。
QP特徴量算出部40は、QP情報SIG7を入力とし、量子化の粗さを表す画質劣化特徴量としてQP特徴量SIG10を求めて出力する。具体的には、QP特徴量算出部40は、シーケンス内でのQP情報SIG7から得られる量子化ステップ幅の平均値を求め、QP特徴量SIG10として出力する。
圧縮符号化に起因する画質劣化の原因としてフリッキングが存在しており、このフリッキングは、フレームの同位置で画素値変動が生じた際に発生し、フレームの平坦な領域で知覚されやすい。また、この平坦な領域が、時間方向と空間方向との両方で連続して存在する場合、エンコーダは、SKIPモードやマージモードを選択することで符号量を節約することができる。ただし、このようなモードが選択された同一座標に存在するブロックでは、再生する順序における時間方向に隣接する2つのフレーム間で参照フレームが異なると、わずかに画素値が変化する場合が多い。特に、大きく分割されたブロックでSKIPモードおよびマージモードの両方が選択されるような平坦な領域では、わずかな画素値変動であっても、連続して広範囲に影響が及んでしまうため、劣化として知覚されやすくなる。
画質劣化特徴量統合部50は、複雑度特徴量SIG8と、時間的劣化特徴量SIG9と、QP特徴量SIG10と、を入力とし、これら特徴量を統合して客観評価値DMOSを求め、統合品質情報SIG11として出力する。客観評価値DMOSは、以下の数式(3)により求めることができる。
10・・・パラメータ解析部
20・・・複雑度特徴量算出部
30・・・時間的劣化特徴量算出部
40・・・QP特徴量算出部
50・・・画質劣化特徴量統合部
Claims (10)
- 映像の主観画質を推定する客観画質評価装置であって、
符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度を、圧縮ビットストリームから求めるパラメータ解析手段と、
前記パラメータ解析手段により求められたブロック深度に基づいて、フレームの複雑度に関する複雑度特徴量を求める複雑度特徴量算出手段と、
前記複雑度特徴量算出手段により求められた複雑度特徴量に基づいて、客観画質評価を行う画質劣化特徴量統合手段と、を備えることを特徴とする客観画質評価装置。 - 前記複雑度特徴量算出手段は、前記パラメータ解析手段により求められたブロック深度から得られるブロックサイズの大きさに応じて、前記複雑度特徴量に重み付けすることを特徴とする請求項1に記載の客観画質評価装置。
- 前記パラメータ解析手段は、動きベクトルおよび変換係数を伝送しないモードであるか否かを示すスキップフラグ情報と、差分動きベクトルを伝送しない符号化に関する情報を示すマージ符号化関連情報と、動きベクトルと、を前記圧縮ビットストリームから求め、
前記パラメータ解析手段により求められたブロック深度、スキップフラグ情報、マージ符号化関連情報、および動きベクトルに基づいて、フリッキングの発生に起因する品質劣化の知覚度に関する時間的劣化特徴量を求める時間的劣化特徴量算出手段を備え、
前記画質劣化特徴量統合手段は、前記複雑度特徴量算出手段により求められた複雑度特徴量と、前記時間的劣化特徴量算出手段により求められた時間的劣化特徴量と、に基づいて客観画質評価を行うことを特徴とする請求項1または2に記載の客観画質評価装置。 - 前記時間的劣化特徴量算出手段は、
前記パラメータ解析手段により求められたブロック深度から得られるブロックサイズが、前記圧縮ビットストリームに含まれる映像コンテンツの解像度に応じて定まるブロックサイズよりも大きいことを示す第1の条件と、
前記パラメータ解析手段により求められたスキップフラグ情報が、動きベクトルおよび変換係数を伝送しないモードであることを示す第2の条件と、
前記パラメータ解析手段により求められたマージ符号化関連情報が、差分動きベクトルを伝送しない符号化であることを示す第3の条件と、
の3つを全て満たすブロックを特定ブロックとして求めるとともに、
前記特定ブロックに参照されるブロックが、当該特定ブロックを包含する位置に存在することを示す第4の条件と、
前記パラメータ解析手段により求められた動きベクトルの大きさが、予め定められた大きさよりも小さいことを示す第5の条件と、
前記特定ブロックを含む参照元フレームが参照するフレームと、当該特定ブロックに参照されるブロックを含む参照先フレームが参照するフレームと、が異なることを示す第6の条件と、
の3つを全て満たす場合に、前記パラメータ解析手段により求められた前記特定ブロックのブロック深度から得られるブロックサイズの大きさに基づいて前記時間的劣化特徴量を求めることを特徴とする請求項3に記載の客観画質評価装置。 - 前記時間的劣化特徴量算出手段は、
符号化ブロックがインターブロックであるとともに、前記第1の条件と、前記第2の条件と、前記第3の条件と、前記第4の条件と、前記第5の条件と、のそれぞれを満たすか否かを前記参照元フレームに対して行った場合には、前記参照元フレームを、前記参照元フレームが参照するフレームに更新した後に、前記第1の条件と、前記第2の条件と、前記第3の条件と、前記第4の条件と、前記第5の条件と、のそれぞれを満たすか否かを前記参照元フレームに対して行い、
符号化ブロックがイントラブロックであるとともに、前記第1の条件と、前記第2の条件と、前記第3の条件と、前記第4の条件と、前記第5の条件と、のそれぞれを満たすか否かを前記参照先フレームに対して行った場合には、前記参照先フレームを、前記参照先フレームが参照するフレームに更新した後に、前記第1の条件と、前記第2の条件と、前記第3の条件と、前記第4の条件と、前記第5の条件と、のそれぞれを満たすか否かを前記参照先フレームに対して行い、
符号化ブロックがイントラブロックであるとともに、前記第1の条件と、前記第2の条件と、前記第3の条件と、前記第4の条件と、前記第5の条件と、のそれぞれを満たすか否かを前記参照元フレームに対して行った場合には、前記第6の条件を満たすか否かを判別することを特徴とする請求項4に記載の客観画質評価装置。 - 前記時間的劣化特徴量算出手段は、前記パラメータ解析手段により求められた前記特定ブロックのブロック深度から得られるブロックサイズの大きさに応じて、前記時間的劣化特徴量に重み付けすることを特徴とする請求項4または5に記載の客観画質評価装置。
- 前記パラメータ解析手段は、量子化パラメータを前記圧縮ビットストリームから求め、
前記パラメータ解析手段により求められた量子化パラメータに基づいて、量子化の粗さを表すQP特徴量を求めるQP特徴量算出手段を備え、
前記画質劣化特徴量統合手段は、前記複雑度特徴量算出手段により求められた複雑度特徴量と、前記QP特徴量算出手段により求められたQP特徴量と、に基づいて客観画質評価を行うことを特徴とする請求項1または2に記載の客観画質評価装置。 - 前記パラメータ解析手段は、量子化パラメータを前記圧縮ビットストリームから求め、
前記パラメータ解析手段により求められた量子化パラメータに基づいて、量子化の粗さを表すQP特徴量を求めるQP特徴量算出手段を備え、
前記画質劣化特徴量統合手段は、前記複雑度特徴量算出手段により求められた複雑度特徴量と、前記時間的劣化特徴量算出手段により求められた時間的劣化特徴量と、前記QP特徴量算出手段により求められたQP特徴量と、に基づいて客観画質評価を行うことを特徴とする請求項3から6のいずれかに記載の客観画質評価装置。 - パラメータ解析手段、複雑度特徴量算出手段、および画質劣化特徴量統合手段を備え、映像の主観画質を推定する客観画質評価装置における客観画質評価方法であって、
前記パラメータ解析手段が、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度を、圧縮ビットストリームから求める第1のステップと、
前記複雑度特徴量算出手段が、前記第1のステップにより求められたブロック深度に基づいて、フレームの複雑度に関する複雑度特徴量を求める第2のステップと、
前記画質劣化特徴量統合手段が、前記第2のステップにより求められた複雑度特徴量に基づいて、客観画質評価を行う第3のステップと、を備えることを特徴とする客観画質評価方法。 - パラメータ解析手段、複雑度特徴量算出手段、および画質劣化特徴量統合手段を備え、映像の主観画質を推定する客観画質評価装置における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、
前記パラメータ解析手段が、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度を、圧縮ビットストリームから求める第1のステップと、
前記複雑度特徴量算出手段が、前記第1のステップにより求められたブロック深度に基づいて、フレームの複雑度に関する複雑度特徴量を求める第2のステップと、
前記画質劣化特徴量統合手段が、前記第2のステップにより求められた複雑度特徴量に基づいて、客観画質評価を行う第3のステップと、をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014155471A JP6373681B2 (ja) | 2014-07-30 | 2014-07-30 | 客観画質評価装置、客観画質評価方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014155471A JP6373681B2 (ja) | 2014-07-30 | 2014-07-30 | 客観画質評価装置、客観画質評価方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016032285A true JP2016032285A (ja) | 2016-03-07 |
JP6373681B2 JP6373681B2 (ja) | 2018-08-15 |
Family
ID=55442409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014155471A Active JP6373681B2 (ja) | 2014-07-30 | 2014-07-30 | 客観画質評価装置、客観画質評価方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6373681B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019082413A1 (ja) * | 2017-10-24 | 2019-05-02 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
CN110610476A (zh) * | 2019-07-07 | 2019-12-24 | 南京美基森信息技术有限公司 | 一种视差图质量评估方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009044393A (ja) * | 2007-08-08 | 2009-02-26 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
JP2011199380A (ja) * | 2010-03-17 | 2011-10-06 | Kddi Corp | 映像品質の客観画質評価装置および自動監視装置 |
WO2014032463A1 (en) * | 2012-08-27 | 2014-03-06 | Thomson Licensing | Method and apparatus for estimating content complexity for video quality assessment |
-
2014
- 2014-07-30 JP JP2014155471A patent/JP6373681B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009044393A (ja) * | 2007-08-08 | 2009-02-26 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
JP2011199380A (ja) * | 2010-03-17 | 2011-10-06 | Kddi Corp | 映像品質の客観画質評価装置および自動監視装置 |
WO2014032463A1 (en) * | 2012-08-27 | 2014-03-06 | Thomson Licensing | Method and apparatus for estimating content complexity for video quality assessment |
Non-Patent Citations (1)
Title |
---|
和泉紘介,外3名: "H.265/HEVC ビットストリームのパラメトリック解析に基づくNo Reference型客観画質評価方式", 電子情報通信学会総合大会講演論文集, JPN6017038983, 4 March 2014 (2014-03-04), JP, ISSN: 0003660592 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019082413A1 (ja) * | 2017-10-24 | 2019-05-02 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
JPWO2019082413A1 (ja) * | 2017-10-24 | 2019-11-21 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
CN110610476A (zh) * | 2019-07-07 | 2019-12-24 | 南京美基森信息技术有限公司 | 一种视差图质量评估方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6373681B2 (ja) | 2018-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102570202B1 (ko) | 움직임 벡터 정밀도의 선택 | |
US10009611B2 (en) | Visual quality measure for real-time video processing | |
US8737486B2 (en) | Objective image quality assessment device of video quality and automatic monitoring device | |
US9781449B2 (en) | Rate distortion optimization in image and video encoding | |
US20200389665A1 (en) | Video encoding and decoding method, and storage medium thereof | |
US20140321552A1 (en) | Optimization of Deblocking Filter Parameters | |
US9615102B2 (en) | Method and apparatus for processing components of an image | |
JP5133290B2 (ja) | 動画像符号化装置および復号装置 | |
US10034016B2 (en) | Coding apparatus, computer system, coding method, and computer product | |
JP6373681B2 (ja) | 客観画質評価装置、客観画質評価方法、およびプログラム | |
JP6145069B2 (ja) | 主観画質推定装置及び主観画質推定プログラム | |
JP2010124104A (ja) | 映像の客観画質評価装置 | |
KR20140102215A (ko) | 비디오 품질 측정 방법 및 장치 | |
JPWO2012160626A1 (ja) | 画像圧縮装置、画像復元装置、及びプログラム | |
JP2015530807A (ja) | ビデオ品質評価のためにコンテンツ複雑性を推定する方法および装置 | |
JP6087779B2 (ja) | 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム | |
US10419775B2 (en) | Moving image encoding apparatus, image capturing apparatus, moving image encoding method, and non-transitory computer readable storage medium | |
JP5706291B2 (ja) | 映像符号化方法,映像復号方法,映像符号化装置,映像復号装置およびそれらのプログラム | |
JP2019193182A (ja) | 符号化装置、符号化方法、及び符号化プログラム | |
JP6253944B2 (ja) | 客観画質評価装置、客観画質評価方法、およびプログラム | |
JP5713719B2 (ja) | 動画像符号化装置 | |
US20240187640A1 (en) | Temporal structure-based conditional convolutional neural networks for video compression | |
US20220201319A1 (en) | Moving image encoding device, moving image compression device, moving image encoding method, and program | |
KR101563923B1 (ko) | 온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치 | |
Wang et al. | SSPQ-spatial domain perceptual image codec based on subsampling and perceptual quantization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171017 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180717 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6373681 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |