JP2011254434A - 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム - Google Patents

映像フレーム種別推定用調整係数算出方法、装置、およびプログラム Download PDF

Info

Publication number
JP2011254434A
JP2011254434A JP2010128940A JP2010128940A JP2011254434A JP 2011254434 A JP2011254434 A JP 2011254434A JP 2010128940 A JP2010128940 A JP 2010128940A JP 2010128940 A JP2010128940 A JP 2010128940A JP 2011254434 A JP2011254434 A JP 2011254434A
Authority
JP
Japan
Prior art keywords
frame
video
adjustment coefficient
temporary
frame type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010128940A
Other languages
English (en)
Other versions
JP5394991B2 (ja
Inventor
Kazunari Ushiki
一成 牛木
Masataka Masuda
征貴 増田
Takanori Hayashi
孝典 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010128940A priority Critical patent/JP5394991B2/ja
Publication of JP2011254434A publication Critical patent/JP2011254434A/ja
Application granted granted Critical
Publication of JP5394991B2 publication Critical patent/JP5394991B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】非暗号化映像ストリームを必要とすることになく、判定しきい値を求めるための調整係数を算出する。
【解決手段】特徴値算出部15Bで、最適調整係数の候補となる複数の仮調整係数aごとに、当該仮調整係数aを用いてフレーム種別推定部15Aで対象フレームのフレーム種別を推定し、得られた仮推定結果から当該映像ストリームに固有の特徴を示す仮特徴値Raを算出し、最適調整係数算出部15Cで、仮特徴値Raのそれぞれを基準特徴値Rs(14B)と比較し、これら比較結果に基づいて最適調整係数Aを算出する。
【選択図】 図1

Description

本発明は、映像フレーム種別推定技術に関し、特に暗号化された映像フレームのフレーム種別を推定する際に用いる映像フレーム種別推定用調整係数の算出技術に関する。
電波を用いたデジタル放送などの映像配信や通信ネットワークを用いたデジタル放送のIP再送信など映像配信において、MPEG−2規格(ISO/IEC 13818)やMPEG−4規格(ISO/IEC 14496,ITU-T H.264)などのMPEG規格に準拠する圧縮符号化方式を用いた場合、元の映像がI,P,Bなどのフレーム(ピクチャ)に圧縮符号化されてエレメンタリストリーム(Elementary Stream)などの映像ストリームが生成され、TSパケット(Transport Stream Packet)と呼ばれるパケットに分割して配信される。
このような映像配信では、著作権的な配慮が必要な場合、TSパケットのうち映像データや音声データが格納されるペイロード部分が暗号化される。暗号化されたTSパケットは受信端末で受信後に復号され、最終的に映像として出力され、視聴者に供与される。
一方、これらの映像アプリケーションでは、電波を用いた映像配信であれば大気状態が悪化した場合、あるいは、ネットワークを用いた映像配信ではネットワークや端末でパケットの損失や遅延が生じた場合、いずれの場合も映像品質が劣化して、サービス品質が劣化する。したがって、安定したサービスを提供するため、一定の映像品質を確保するよう通信ネットワークや端末の品質を管理する必要がある。
このような品質管理では、大気状態やネットワーク品質(例えば、パケット損失や遅延)がユーザの視聴する映像品質にどのような影響を及ぼしているかを測定し、品質状態を管理する必要がある。
大気状態やネットワークあるいは端末でTSパケット損失が生じた場合、高能率符号化により映像圧縮して伝送している映像信号はフレーム間の動き予測符号化を用いている。このため、任意の映像フレームを復号する際、前後の映像フレームのフレーム情報を用いることから、1パケット損失による映像品質劣化が1映像フレームにとどまらず、複数フレームに及ぶ場合がある。
このような場合、劣化した映像フレームを参照して復号される映像フレームではパケット損失が生じていないにも係わらず復号された映像では品質劣化が生じることになる。このため、大気状態やネットワーク上のパケット損失発生状況と映像アプリケーションでの劣化発生状況とは必ずしも対応していない。したがって、大気状態やネットワーク品質とアプリケーション品質の対応関係を精度よく求めるためには、符号化情報に基づき品質劣化の影響範囲を正確に把握する必要がある。
従来、非暗号化映像ストリームにおける、符号化情報に基づき品質劣化の影響範囲を把握する技術として、劣化が発生したフレーム種別と前後フレーム状況から、劣化が波及するフレーム数を計算する手法が提案されている(例えば、特許文献1など参照)。
また、暗号化された映像ストリームにおいて、映像フレーム種別毎にフレーム内データ量が異なることを利用し、1GOP(Group Of Pictures)ごとに算出した判定しきい値と、各映像フレームのフレーム内データ量とを比較することにより、これら映像フレームの種別、すなわちI,P,Bフレームを推定する手法が提案されている(例えば、特許文献2など参照)。
特開2007−060475号公報 国際公開WO2009/025357号パンフレット 特開2006−033722号公報 特許第3764394号公報
このような従来技術では、各映像フレームのフレーム内データ量とを判定しきい値と比較してフレーム種別を推定する場合、その推定精度は判定しきい値に左右されるため、判定しきい値を正確に算出する必要がある。特に、特許文献2では、この判定しきい値について、対象となる暗号化映像ストリームから算出した対象フレームのフレーム内データ量の平均値と、事前に算出しておいた調整係数とから算出している。
ここで、判定しきい値を求めるための調整係数は、最適調整係数の候補となる仮調整係数のうちからフレーム種別推定精度に基づき最適な調整係数を選択している。このため、フレーム種別が予め明らかな非暗号化映像ストリームを用いて、調整係数を事前に算出しておく必要がある。
しかしながら、前述した暗号化映像ストリームをフレーム種別の判定対象とする場合には、非暗号化映像ストリームが入手困難な場合が多く、このような状況下では、調整係数を算出しておくことができないという問題点があった。
本発明はこのような課題を解決するためのものであり、非暗号化映像ストリームを必要とすることになく、判定しきい値を求めるための調整係数を算出できる映像フレーム種別推定用調整係数算出技術を提供することを目的としている。
このような目的を達成するために、本発明にかかる映像フレーム種別推定用調整係数算出方法は、映像ストリームを構成する各映像フレームのうち、フレーム種別の推定対象となる各対象フレームのフレーム内データ量を、これら対象フレームのフレーム内データ量の平均値を所定の調整係数で調整して算出した判定しきい値と比較することにより、これら対象フレームのフレーム種別を推定する映像フレーム種別推定装置について、調整係数の最適値である最適調整係数を算出するための映像フレーム種別推定用調整係数算出装置で用いられる映像フレーム種別推定用調整係数算出方法であって、フレーム種別推定部が、映像ストリームを構成する各映像フレームのうち、フレーム種別の推定対象となる各対象フレームのフレーム内データ量を、これら対象フレームのフレーム内データ量の平均値を、指定された仮調整係数で調整して算出した判定しきい値と比較することにより、これら対象フレームのフレーム種別を推定するフレーム種別推定ステップと、特徴値算出部が、最適調整係数の候補となる複数の仮調整係数ごとに、当該仮調整係数を用いてフレーム種別推定部で対象フレームのフレーム種別を推定し、得られた仮推定結果から当該映像ストリームに固有の特徴を示す仮特徴値を算出する特徴値算出ステップと、記憶部が、映像ストリームのフレーム種別が正当に判定された際に得られる、当該映像ストリームに固有の特徴を示す特徴値を基準特徴値として予め記憶する記憶ステップと、最適調整係数算出部が、仮特徴値のそれぞれを基準特徴値と比較し、これら比較結果に基づいて最適調整係数を算出する最適調整係数算出ステップとを備えている。
この際、仮特徴値は、仮推定結果に基づき算出された、映像ストリームに関する任意のフレーム種別の構成比率を示す仮フレーム比率からなり、基準特徴値は、映像ストリームの映像ストリーム構成情報に基づき算出された、映像ストリームに関する任意のフレーム種別の構成比率を示す基準フレーム比率からなり、最適調整係数算出ステップは、仮調整係数のうち、当該仮フレーム比率と基準フレーム比率との差分が最も小さいものを最適調整係数として選択するステップを含むようにしてもよい。
また、仮特徴値は、少なくとも各種映像通信条件ごとに、当該映像通信条件下で配信した映像ストリームから得られた、仮推定結果と各映像フレームのフレーム損失状況とから算出した無効フレーム率で特定される、無効フレーム率と映像品質値との関係を示す仮映像品質特性からなり、基準特徴値は、少なくとも各種映像通信条件ごとに、当該映像通信条件下で配信した映像ストリームを予め評価して得られた、当該映像ストリームに関する無効フレーム率と映像品質値との関係を示す基準映像品質特性からなり、最適調整係数算出ステップは、仮調整係数のうち、当該仮映像品質特性と基準映像品質特性との相関係数が、その最大値から所定の相関しきい値までの範囲に含まれるものを選択し、これら仮調整係数の代表値を最適調整係数として算出するステップを含むようにしてもよい。
また、本発明にかかる映像フレーム種別推定用調整係数算出装置は、映像ストリームを構成する各映像フレームのうち、フレーム種別の推定対象となる各対象フレームのフレーム内データ量を、これら対象フレームのフレーム内データ量の平均値を所定の調整係数で調整して算出した判定しきい値と比較することにより、これら対象フレームのフレーム種別を推定する映像フレーム種別推定装置について、調整係数の最適値である最適調整係数を算出するための映像フレーム種別推定用調整係数算出装置であって、映像ストリームを構成する各映像フレームのうち、フレーム種別の推定対象となる各対象フレームのフレーム内データ量を、これら対象フレームのフレーム内データ量の平均値を、指定された仮調整係数で調整して算出した判定しきい値と比較することにより、これら対象フレームのフレーム種別を推定するフレーム種別推定部と、最適調整係数の候補となる複数の仮調整係数ごとに、当該仮調整係数を用いてフレーム種別推定部で対象フレームのフレーム種別を推定し、得られた仮推定結果から当該映像ストリームに固有の特徴を示す仮特徴値を算出する特徴値算出部と、映像ストリームのフレーム種別が正当に判定された際に得られる、当該映像ストリームに固有の特徴を示す特徴値を基準特徴値として予め記憶する記憶部と、仮特徴値のそれぞれを基準特徴値と比較し、これら比較結果に基づいて最適調整係数を算出する最適調整係数算出部とを備えている。
この際、仮特徴値は、仮推定結果に基づき算出された、映像ストリームに関する任意のフレーム種別の構成比率を示す仮フレーム比率からなり、基準特徴値は、映像ストリームの映像ストリーム構成情報に基づき算出された、映像ストリームに関する任意のフレーム種別の構成比率を示す基準フレーム比率からなり、最適調整係数算出部で、仮調整係数のうち、当該仮フレーム比率と基準フレーム比率との差分が最も小さいものを最適調整係数として選択するようにしてもよい。
また、仮特徴値は、少なくとも各種映像通信条件ごとに、当該映像通信条件下で配信した映像ストリームから得られた、仮推定結果と各映像フレームのフレーム損失状況とから算出した無効フレーム率で特定される、無効フレーム率と映像品質値との関係を示す仮映像品質特性からなり、基準特徴値は、少なくとも各種映像通信条件ごとに、当該映像通信条件下で配信した映像ストリームを予め評価して得られた、当該映像ストリームに関する無効フレーム率と映像品質値との関係を示す基準映像品質特性からなり、最適調整係数算出部で、仮調整係数のうち、当該仮映像品質特性と基準映像品質特性との相関係数が、その最大値から所定の相関しきい値までの範囲に含まれるものを選択し、これら仮調整係数の代表値を最適調整係数として算出するようにしてもよい。
また、本発明にかかるプロクラムは、コンピュータを、前述したいずれか1つの映像フレーム種別推定用調整係数算出装置を構成する各部として機能させるためのプログラムである。
本発明によれば、最適調整係数の算出に用いる映像ストリームのフレーム種別を用いなくても、各仮調整係数を用いた際のフレーム種別の推定結果を評価することができる。したがって、TSパケットのペイロード部が暗号化されていて、映像データそのものを処理することができない映像ストリームであっても、フレーム種別を識別する際に用いる調整係数を自動的に算出することができる。
第1の実施の形態にかかる映像フレーム種別推定用調整係数算出装置の構成を示すブロック図である。 フレーム種別推定処理を示すフローチャートである。 フレーム種別推定処理を示す説明図である。 第1の実施の形態にかかる最適調整係数算出処理を示すフローチャートである。 第2の実施の形態にかかる映像フレーム種別推定用調整係数算出装置の構成を示すブロック図である。 第2の実施の形態にかかる最適調整係数算出処理を示すフローチャートである。 第2の実施の形態にかかる最適調整係数算出処理の擬似コード例である。 第2の実施の形態にかかる最適調整係数算出処理を示す説明図である。 第3の実施の形態にかかる映像フレーム種別推定用調整係数算出装置の構成を示すブロック図である。 第3の実施の形態にかかる最適調整係数算出処理を示すフローチャートである。 第3の実施の形態にかかる最適調整係数算出処理の擬似コード例である。 第3の実施の形態にかかる仮映像品質特性の算出例である。 第3の実施の形態にかかる最適調整係数算出処理を示す説明図である。
次に、本発明の実施の形態について図面を参照して説明する。
[第1の実施の形態]
まず、図1を参照して、本発明の第1の実施の形態にかかる映像フレーム種別推定用調整係数算出装置について説明する。図1は、第1の実施の形態にかかる映像フレーム種別推定用調整係数算出装置の構成を示すブロック図である。
前述した映像フレーム種別推定技術(例えば、非特許文献2など参照)では、インターネットなどのパケット通信網やデジタル放送を介してTSパケットで配信される、暗号化されたMPEG規格の映像ストリームについて、その映像フレーム種別毎にフレーム内データ量が異なることを利用し、当該映像ストリームを構成する各映像フレームのうち、フレーム種別の推定対象となる各対象フレームのフレーム内データ量を、これら対象フレームのフレーム内データ量の平均値を所定の調整係数で調整して算出した判定しきい値と比較することにより、これら対象フレームのフレーム種別を推定する。
この際、調整係数は、フレーム種別の推定精度を向上させる上で非常に重要な係数であり、実際のフレーム種別処理を実行する前に、予め算出しておく必要がある。
映像フレーム種別推定用調整係数算出装置(以下、調整係数算出装置という)10は、全体としてサーバ装置やパーソナルコンピュータなど、入力されたデータを演算処理するコンピュータなどの情報処理装置からなり、映像フレーム種別推定装置でフレーム種別を推定する際に用いる調整係数を、予め用意した、暗号化されたMPEG規格の映像ストリームから算出する機能を備えている。
本実施の形態は、映像フレーム種別推定装置と同様にして対象フレームのフレーム種別を推定するフレーム種別推定部を設け、調整係数の最適値である最適調整係数の候補となる複数の仮調整係数ごとに、当該仮調整係数を用いてフレーム種別推定部で対象フレームのフレーム種別を推定し、得られた仮推定結果から当該映像ストリームに固有の特徴を示す仮特徴値を算出し、これら仮特徴値のそれぞれを、映像ストリームのフレーム種別が正当に判定された際に得られる、当該映像ストリームに固有の特徴を示す特徴値を基準特徴値と比較し、これら比較結果に基づいて最適調整係数を算出するようにしたものである。
なお、調整係数は、実際に映像ストリームを配信する際の条件、例えば映像通信に用いるコーデックの種別や符号化ビットレートなどのエンコーダ条件により、その最適値、すなわち最適調整係数が変化する。したがって、異なるエンコーダ条件ごとにMPEG規格の映像ストリームを予め用意して、それぞれのエンコーダ条件に応じた最適調整係数を、調整係数算出装置10でそれぞれ算出しておくことになる。この際、入力する映像ストリームは、暗号化されていてもよいが、非暗号化映像ストリームであっても最適調整係数を算出できる。なお、入力する映像ストリームは、パケット損失のない無劣化のストリームを用いるものとする。
[フレーム種別推定装置]
次に、図1を参照して、本実施の形態にかかる調整係数算出装置10の構成について詳細に説明する。
調整係数算出装置10には、主な機能部として、通信インターフェース部(以下、通信I/F部という)11、操作入力部12、画面表示部13、記憶部14、および演算処理部15が設けられている。また、演算処理部15には、主な処理部として、フレーム種別推定部15A、特徴値算出部15B、および最適調整係数算出部15Cが設けられている。
通信I/F部11は、専用の通信回路からなり、パケット通信網や放送電波を介して、映像ストリームのTSパケットなど、各種IPパケットを送受信する機能を有している。
操作入力部12は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部15へ出力する機能を有している。
画面表示部13は、LCDやPDPなどの画面表示装置からなり、演算処理部15からの指示に応じて、操作メニューや映像品質推定結果などの各種情報を画面表示する機能を有している。
記憶部14は、ハードディスクやメモリなどの記憶装置からなり、演算処理部15での各種処理に用いる処理情報やプログラム14Pを記憶する機能を有している。プログラム14Pは、調整係数算出装置10に設けられている通信I/F部11などのデータ入出力機能を介して外部装置や記録媒体(図示せず)から予め読み込まれて記憶部14に格納されている。
記憶部14で記憶される主な処理情報としては、映像ストリーム構成情報14A、基準特徴値14B、および最適調整係数14Cがある。
映像ストリーム構成情報14Aは、GOP情報など、映像ストリームにおけるGOP構造を示す構成情報であり、対象となる映像通信に応じた内容が、操作入力部12や通信I/F部11を介して予め入力され記憶部14に保存される。
基準特徴値14Bは、映像ストリームのフレーム種別が正当に判定された際に得られる、当該映像ストリームに固有の特徴を示す特徴値であり、予め算出されて記憶部14に保存される。
最適調整係数14Cは、調整係数の最適値である。調整係数は、フレーム種別の推定対象となる各対象フレームのフレーム内データ量の平均値から、フレーム種別の判定に用いる判定しきい値を算出する際に、その平均値を調整するための係数である。最適調整係数14Cは、候補となる仮調整係数のうちから最適調整係数算出部15Cにより選択されて記憶部14に保存される。
演算処理部15は、CPUなどのマイクロプロセッサとその周辺回路を有し、記憶部14のプログラム14Pを読み込んでマイクロプロセッサで実行することにより、上記ハードウェアとプログラム14Pを協働させることにより、フレーム種別推定部15A、特徴値算出部15B、最適調整係数算出部15Cなどの各種処理部を実現する機能を有している。
フレーム種別推定部15Aは、映像ストリームを構成する各映像フレームのフレーム内データ量をそれぞれ算出する機能と、これら映像フレームのうち、フレーム種別の推定対象となる対象フレームのフレーム内データ量の平均値を算出する機能と、この平均値と後述する仮調整係数aとを乗算することにより平均値を仮調整係数aで調整して算出した判定しきい値を算出する機能と、対象フレームごとに、当該フレーム内データ量を判定しきい値と比較することにより、これら対象フレームのフレーム種別、すなわちI,P,Bフレームを推定する機能とを有している。
特徴値算出部15Bは、最適調整係数A(14C)候補となる複数の仮調整係数aごとに、当該仮調整係数aを用いてフレーム種別推定部15Aで映像ストリームを構成するすべての映像フレームのフレーム種別を推定する機能と、得られた仮推定結果から、当該映像ストリームに固有の特徴を示す仮特徴値Raを算出する機能とを有している。この仮特徴値Raの具体例としては、後述する、映像ストリームに含まれるBフレームの比率や、映像ストリームの映像品質特性を用いればよい。
最適調整係数算出部15Cは、仮調整係数aごとに得られた仮特徴値Raのそれぞれを記憶部14の基準特徴値Rs(14C)とを比較し、これら比較結果に基づいて最適調整係数A(14C)を算出し、記憶部14へ保存する機能とを有している。
[第1の実施の形態の動作]
次に、本実施の形態にかかる調整係数算出装置10の動作として、予め用意しておいた、任意のエンコーダ条件に応じたMPEG規格の映像ストリームに基づき、フレーム種別推定用調整係数の最適値を算出する場合について説明する。
この調整係数算出装置10の動作は、入力された映像ストリームに含まれる対象フレームのフレーム種別を、仮調整係数aを用いて推定するフレーム種別処理と、仮調整係数aごとに得られたフレーム種別の推定結果に基づき最適調整係数を算出する最適調整係数算出処理とに大別される。
[フレーム種別推定処理]
まず、図2および図3を参照して、本実施の形態にかかる調整係数算出装置10でのフレーム種別推定処理について説明する。図2は、フレーム種別推定処理を示すフローチャートである。図3は、フレーム種別推定処理を示す説明図である。
このフレーム種別推定処理については、前述した特許文献2と同様であり、ここでは、最も基本となるフレーム種別推定処理について説明する。特許文献2には、図2とは異なる他のフレーム種別推定処理について記載されており、当該他のフレーム種別推定処理で用いる調整係数を算出する際には、フレーム種別推定部15Aにおいて、指定された仮調整係数ごとに、当該他のフレーム種別推定処理と同様の処理を実行すればよい。
ここでは、フレーム種別推定処理を実行する前に、各TSパケットのペイロードに分割格納された映像ストリームの映像フレームについて、処理開始時に予め抽出されており、それぞれの映像フレームのフレーム内データ量が予め算出されているものとする。なお、これら映像フレーム抽出処理とフレーム内データ量算出処理は、例えば映像ストリームが入力された時点で、フレーム種別推定部15Aまたは専用の機能部で実行して記憶部14へ保存しておけばよい。
映像フレームについては、暗号化されていないTSヘッダ内のPUSI(payload_unit_start_indicator)やMB(MarkerBit)を利用して抽出することができる。PUSIは、TSパケットのペイロードにおけるPES(Packetized Elementary Stream)ヘッダの存在有無を示すフラグである。PESヘッダは、ペイロード中のストリームに関するデータ区切り位置を示すものである。映像ストリームであれば映像データすなわち各映像フレームの開始点を示すことになる。またMBは、映像・音声データなどの始点を示すフラグである。
図2のフレーム種別推定処理は、GOP構造ごとに実行される。まず、フレーム種別推定部15Aは、記憶部14の映像ストリーム構成情報14Aで規定される最大GOP長分の映像フレームを、映像ストリームを構成する各映像フレームのうちから選択し(ステップ100)、これら選択フレームのうちから映像データに相当するフレーム内データ量が最大のものをIフレームと推定する(ステップ101)。通常、Iフレームは、GOPごとに1つずつ含まれており、そのフレーム内データ量は、P,Bフレームと比較して大きいのが特徴である。
この後、フレーム種別推定部15Aは、Iフレームから始まる各GOPのうち、Iフレーム以降のフレーム、すなわちフレーム種別の推定対象となるP,Bフレームを対象フレームとして選択する(ステップ102)。
次に、フレーム種別推定部15Aは、これら対象フレームのフレーム内データ量の平均値を算出し(ステップ103)、この平均値に対して指定された仮適調整係数aを乗算することにより判定しきい値を算出する(ステップ104)。
続いて、フレーム種別推定部15Aは、対象フレームのうちから未処理の映像フレームを1つ選択し(ステップ105)、この選択フレームのフレーム内データ量を判定しきい値と比較する(ステップ106)。
ここで、フレーム内データ量が判定しきい値より大きい場合(ステップ106:YES)、フレーム種別推定部15Aは、当該選択フレームをPフレームと推定する(ステップ107)。また、フレーム内データ量が判定しきい値以下の場合(ステップ106:NO)、フレーム種別推定部15Aは、当該選択フレームをBフレームと推定する(ステップ108)。
このようにして、選択フレームのフレーム種別を推定した後、フレーム種別推定部15Aは、未処理の対象フレームが存在するか確認する(ステップ109)。
ここで、未処理の対象フレームが存在する場合(ステップ109:YES)、ステップ105へ戻って新たな対象フレームに関する処理を実行し、未処理の対象フレームが存在しない場合(ステップ109:NO)、一連のフレーム種別推定処理を終了する。
図3において、横軸は映像フレームのフレーム番号を示し、縦軸は各映像フレームのフレーム内データ量を示している。ここでは、最大GOP長が15フレームであり、「IBBPBBPBBPBBPBB」のGOP構成を有している。
まず、フレーム(1)からフレーム(15)までの15フレームのうち、フレーム内データ量が最も大きいフレーム(3)がIフレームと推定される。次に、Iフレーム(3)からフレーム(17)までの1GOPのうち、フレーム(4)からフレーム(17)までが対象フレームとして選択され、これらのフレーム内データ量の平均値が算出され、この平均値に対して、指定された仮調整係数aが乗算されて判定しきい値が算出される。
この後、これら対象フレームのフレーム内データ量が判定しきい値と比較され、その比較結果に応じて各対象フレームのフレーム種別が推定される。ここでは、フレーム(6)、フレーム(9)、フレーム(12)、フレーム(15)のフレーム内データ量が判定しきい値より大きいことからPフレームと推定されている。また、フレーム(4)、フレーム(5)、フレーム(7)、フレーム(8)、フレーム(10)、フレーム(11)、フレーム(13)、フレーム(14)、フレーム(16)、フレーム(17)のフレーム内データ量が判定しきい値以下であることからBフレームと推定されている。
[最適調整係数算出処理]
次に、図4を参照して、本実施の形態にかかる調整係数算出装置10での最適調整係数算出処理について説明する。図4は、第1の実施の形態にかかる最適調整係数算出処理を示すフローチャートである。
最適調整係数算出処理を実行する前に、フレーム種別推定処理と同様、フレーム種別推定処理を実行する前に、各TSパケットのペイロードに分割格納された映像ストリームの映像フレームについて、処理開始時に予め抽出されており、それぞれの映像フレームのフレーム内データ量が予め算出されているものとする。
まず、特徴値算出部15Bは、調整係数の最適値の候補となる複数の仮調整係数のうちから、未処理の仮調整係数aを選択する(ステップ150)。なお、仮調整係数の範囲については、例えば過去の実績などから予め決定しておけばよい。
次に、特徴値算出部15Bは、選択した仮調整係数aを用いてフレーム種別推定部15Aで、任意のエンコーダ条件について、図2のフレーム種別推定処理を実行することにより、映像ストリームを構成するすべての映像フレームのフレーム種別を推定し(ステップ151)、得られた仮推定結果に基づき、当該仮調整係数aを用いたフレーム種別推定部15Aでの推定結果を評価するための仮特徴値Raを算出する(ステップ152)。
続いて、最適調整係数算出部15Cは、仮特徴値Raと記憶部14の基準特徴値Rs(14B)とを比較し(ステップ153)、これら比較結果に基づいて、これら仮特徴値Raから最適調整係数A(14C)を算出して記憶部14へ保存する(ステップ154)。
この特徴値の具体例としては、後述する、映像ストリームに含まれるBフレームの比率を示すフレーム比率や、映像ストリームの映像品質特性を用いればよい。
例えば、特徴値としてフレーム比率を用いた場合には、仮特徴値Raである仮フレーム比率と基準特徴値Rs(14B)である基準フレーム比率との比較結果、すなわち差分が最も小さい仮調整係数aを、任意のエンコーダ条件に関する最適調整係数Aとして選択すればよい。この仮フレーム比率は、仮推定結果が正当なものであれば、GOP構造から算出した基準フレーム比率と一致する。
また、特徴値として映像品質特性を用いた場合には、仮特徴値Raである仮映像品質特性と基準特徴値Rs(14B)である基準映像品質特性との比較結果、すなわち相関係数が、所定の相関しきい値範囲に含まれる仮調整係数aから最適調整係数Aを算出すればよい。映像品質特性は、無効フレーム率と映像品質値との関係を示すモデルであり、仮推定結果が正当なものであれば、映像ストリームの無効フレーム率を精度良く求めることができ、結果として無効フレーム率から導出される映像品質特性が、予め実際の映像ストリームを評価して得られた映像品質特性との相関が強くなる。
この後、最適調整係数算出部15Cは、未処理の仮調整係数aが存在するか確認し(ステップ155)、未処理の仮調整係数aが存在する場合(ステップ155:YES)、ステップ150へ戻って新たな仮調整係数aに関する処理を実行し、未処理の仮調整係数aが存在しない場合(ステップ155:NO)、一連の最適調整係数算出処理を終了する。
[第1の実施の形態の効果]
このように、本実施の形態は、特徴値算出部15Bで、最適調整係数の候補となる複数の仮調整係数aごとに、当該仮調整係数aを用いてフレーム種別推定部15Aで対象フレームのフレーム種別を推定し、得られた仮推定結果から当該映像ストリームに固有の特徴を示す仮特徴値Raを算出し、最適調整係数算出部15Cで、仮特徴値Raのそれぞれを基準特徴値Rs(14B)と比較し、これら比較結果に基づいて最適調整係数Aを算出している。
これにより、最適調整係数の算出に用いる映像ストリームのフレーム種別を用いなくても、各仮調整係数aを用いた際のフレーム種別の推定結果を評価することができる。したがって、TSパケットのペイロード部が暗号化されていて、映像データそのものを処理することができない映像ストリームであっても、フレーム種別を識別する際に用いる調整係数を自動的に算出することができる。
[第2の実施の形態]
次に、図5を参照して、本発明の第2の実施の形態にかかる映像フレーム種別推定用調整係数算出装置10について説明する。図5は、第2の実施の形態にかかる映像フレーム種別推定用調整係数算出装置の構成を示すブロック図である。
本実施の形態では、第1の実施の形態において、特徴値としてフレーム比率を用いた場合について説明する。
図5において、特徴値算出部15Bには、主な処理部として、基準フレーム比率算出部16Aと仮フレーム比率算出部16Bが設けられている。
基準フレーム比率算出部16Aは、記憶部14の映像ストリーム構成情報14Aに基づき映像ストリームに含まれるBフレームの比率を示す基準フレーム比率Rs(14B)を算出して、記憶部14へ保存する機能を有している。
仮フレーム比率算出部16Bは、最適調整係数Aの候補となる複数の仮調整係数aごとに、フレーム種別推定部15Aで得られた仮推定結果に基づいて、当該映像ストリームに含まれるBフレームの比率を示す仮フレーム比率Raを算出する機能とを有している。
[第2の実施の形態の動作]
次に、図6〜図8を参照して、本実施の形態にかかる映像フレーム種別推定用調整係数算出装置10での最適調整係数算出処理について説明する。図6は、第2の実施の形態にかかる最適調整係数算出処理を示すフローチャートである。図7は、第2の実施の形態にかかる最適調整係数算出処理の擬似コード例である。図8は、第2の実施の形態にかかる最適調整係数算出処理を示す説明図である。
最適調整係数算出処理を実行する前に、フレーム種別推定処理と同様、フレーム種別推定処理を実行する前に、各TSパケットのペイロードに分割格納された映像ストリームの映像フレームについて、処理開始時に予め抽出されており、それぞれの映像フレームのフレーム内データ量が予め算出されているものとする。
また、基準フレーム比率算出部16Aは、記憶部14の映像ストリーム構成情報14Aを参照して、推定対象となるGOPのうちI,Pフレーム間にBフレームが連続するフレーム数Nbに基づいて、I,PフレームとBフレームとの比率を示す基準フレーム比率Rs=1/Nbを算出し、記憶部14へ保存したものとする。この際、フレーム数Nbについては、Iフレーム以降、一定間隔で出現するPフレームの周期Mから1を減じたものと等しい。通常、GOP構造では、Pフレームの周期Mとして定義されている。
まず、特徴値算出部15Bは、調整係数の最適値の候補となる複数の仮調整係数のうちから、未処理の仮調整係数aを選択する(ステップ200)。なお、仮調整係数の範囲については、例えば過去の実績などから予め決定しておけばよい。
次に、特徴値算出部15Bは、選択した仮調整係数aを用いてフレーム種別推定部15Aで、任意のエンコーダ条件について、図2のフレーム種別推定処理を実行することにより、映像ストリームを構成するすべての映像フレームのフレーム種別を推定し(ステップ201)、得られた仮推定結果に基づき、当該仮調整係数aを用いたフレーム種別推定部15Aでの推定結果を評価するための仮特徴値として仮フレーム比率Raを算出する(ステップ202)。このステップ202は、次の3つのステップ210〜212から構成される。
まず、仮フレーム比率算出部16Bは、フレーム種別推定部15Aから得られた仮推定結果からBフレーム数nbを計数するとともに(ステップ211)、I,Pフレーム数nを計数し(ステップ211)、これらBフレーム数nbとI,Pフレーム数nとから、I,PフレームとBフレームとの比率を示す仮フレーム比率Ra=n/nbを算出する(ステップ212)。
続いて、最適調整係数算出部15Cは、仮特徴値である仮フレーム比率Raと記憶部14の基準特徴値である基準フレーム比率Rs(14B)とを比較する(ステップ203)。このステップ203は、次の2つのステップ220〜221から構成される。
まず、最適調整係数算出部15Cは、仮フレーム比率Raと基準フレーム比率Rs(14B)とから新たな差分ΔR(=|Ra−Rs|)を算出し(ステップ220)、今までに選択した仮調整係数aで求めた差分と比較する(ステップ221)。
ここで、新たな差分ΔRが今までで最小であった場合(ステップ221:YES)、最適調整係数算出部15Cは、当該仮調整係数aを、任意のエンコーダ条件に関する最適調整係数A(14C)として記憶部14へ保存する(ステップ204)。
この後、最適調整係数算出部15Cは、未処理の仮調整係数aが存在するか確認し(ステップ205)、未処理の仮調整係数aが存在する場合(ステップ205:YES)、ステップ200へ戻って新たな仮調整係数aに関する処理を実行し、未処理の仮調整係数aが存在しない場合(ステップ205:NO)、一連の最適調整係数算出処理を終了する。
また、ステップ221において、新たな差分ΔRが今までで最小でなかった場合(ステップ221:NO)、最適調整係数算出部15Cは、ステップ205へ移行する。
図8には、仮調整係数aを0.5から2.0までの範囲で0.1刻みで設定した際の差分ΔRの変化が示されている。仮調整係数aを0.5から順に選択した場合、差分ΔRが単調減少し、仮調整係数a=1.2のときに差分ΔRが最小値となり、この後は差分ΔRが単調増加している。このため、最適調整係数Aとして、差分ΔRが最小値のときの1.2が選択されることになる。
[第2の実施の形態の効果]
このように、本実施の形態は、仮特徴値Raとして、仮推定結果に基づき算出された、映像ストリームに含まれるBフレームの比率を示す仮フレーム比率を用いるとともに、基準特徴値Rsとして、映像ストリームの映像ストリーム構成情報14Aに基づき算出された、映像ストリームに含まれるBフレームの比率を示す基準フレーム比率を用い、最適調整係数算出部15Cで、仮調整係数aのうち、当該仮フレーム比率Raと基準フレーム比率Rsとの差分が最も小さいものを最適調整係数Aとして選択するようにしたので、簡素な演算処理で算出できる特徴値で、極めて正確に最適調整係数Aを算出することができる。
特に、本実施の形態にかかる映像フレーム種別推定用調整係数算出装置10で用いた基準フレーム比率算出部16Aや仮フレーム比率算出部16Bについては、前述した通り簡素な演算処理で実現できることから、映像品質推定装置や映像フレーム推定装置などに対して容易に実装できる。
また、本実施の形態では、フレーム比率としてI,PフレームとBフレームとの比率を用いる場合を例として説明したが、これに限定されるものではない。例えば、映像ストリームを構成する映像フレームの総数に対するBフレーム数の比率であってもよく、IフレームまたはPフレームに対するBフレームの比率など、映像ストリームに関する任意のフレーム種別の構成比率であれば他の比率であってもよい。
[第3の実施の形態]
次に、図9を参照して、本発明の第3の実施の形態にかかる映像フレーム種別推定用調整係数算出装置10について説明する。図9は、第3の実施の形態にかかる映像フレーム種別推定用調整係数算出装置の構成を示すブロック図である。
本実施の形態では、第1の実施の形態において、特徴値として映像品質推定特性を用いた場合について説明する。
図9において、特徴値算出部15Bには、主な処理部として、無効フレーム率算出部17Aと仮映像品質特性特定部17Bが設けられている。
無効フレーム率算出部17Aは、最適調整係数Aの候補となる複数の仮調整係数aごとに、フレーム種別推定部15Aで得られた仮推定結果に基づいて、当該映像ストリームを構成する映像フレームが損失した比率を示す無効フレーム率を算出する機能とを有している。
仮映像品質特性特定部17Bは、無効フレーム率算出部17Aで算出した無効フレーム率に基づいて、無効フレーム率と映像通信品質との対応関係を示す仮映像品質特性Raを特定する機能を有している。
無効フレーム率の算出方法については、特許文献3などの公知技術を用いればよい。また、映像品質特性の特定方法については、特許文献4などの公知技術を用いればよい。
また、本実施の形態において、記憶部14の基準特徴値14Bは、基準映像品質特性から構成される。映像品質は、受信端末で映像ストリームを受信して復号した映像をユーザが視聴した際の主観的な品質である。基準映像品質特性は、少なくとも映像フレームの損失条件が異なる評価映像を用意して、これら評価映像に対して実際に主観映像品質評価実験を実施し、得られた評価結果から無効フレーム率と映像通信品質との対応関係を示す映像品質特性を導出したものである。
この際、主観映像品質評価実験では、評価映像については、映像フレームの損失条件に映像内容の違いを示す映像条件を組み合わせてもよい。また、エンコーダ条件により最適調整係数Aが変化するため、実際には、評価映像としてエンコーダ条件を組み合わせたものを準備しておく必要がある。
また、映像品質の評価方法については、ITU−T勧告P.910で規定されているACR(5段階尺品質尺度)を用い、主観品質特徴値についてはMOSを用いればよい。
[第3の実施の形態の動作]
次に、図10〜図13を参照して、本実施の形態にかかる映像フレーム種別推定用調整係数算出装置10での最適調整係数算出処理について説明する。図10は、第3の実施の形態にかかる最適調整係数算出処理を示すフローチャートである。図11は、第3の実施の形態にかかる最適調整係数算出処理の擬似コード例である。図12は、第3の実施の形態にかかる仮映像品質特性の算出例である。図13は、第3の実施の形態にかかる最適調整係数算出処理を示す説明図である。
最適調整係数算出処理を実行する前に、フレーム種別推定処理と同様、フレーム種別推定処理を実行する前に、各TSパケットのペイロードに分割格納された映像ストリームの映像フレームについて、処理開始時に予め抽出されており、それぞれの映像フレームのフレーム内データ量が予め算出されているものとする。
また、記憶部14には、前述した主観映像品質評価実験で得た基準映像品質特性Rs(14B)が予め保存されているものとする。
まず、特徴値算出部15Bは、調整係数の最適値の候補となる複数の仮調整係数のうちから、未処理の仮調整係数aを選択する(ステップ300)。なお、仮調整係数の範囲については、例えば過去の実績などから予め決定しておけばよい。
次に、特徴値算出部15Bは、選択した仮調整係数aを用いてフレーム種別推定部15Aで、任意のエンコーダ条件について、予め用意した少なくとも映像フレームの損失条件が異なる映像ストリームごとに、図2のフレーム種別推定処理を実行することにより、映像ストリームを構成するすべての映像フレームのフレーム種別を推定し(ステップ301)、得られた仮推定結果に基づき、当該仮調整係数aを用いたフレーム種別推定部15Aでの推定結果を評価するための仮特徴値として仮映像品質特性Raを算出する(ステップ302)。このステップ302は、次の2つのステップ310〜311から構成される。
まず、無効フレーム率算出部17Aは、当該調整係数aについてフレーム種別推定部15Aで得られた損失条件ごとの仮推定結果に基づいて、当該映像ストリームを構成する映像フレームが損失した比率を示す無効フレーム率を算出する(ステップ310)。
次に、仮映像品質特性特定部17Bは、無効フレーム率算出部17Aで算出した損失条件ごとの無効フレーム率に基づいて、これら無効フレーム率と映像通信品質との対応関係を示す仮映像品質特性Raを特定する(ステップ311)。
図12には、評価用映像ストリームを、異なる無効フレーム率で品質評価して得られた映像品質値(MOS)をプロットし、これらプロットの回帰式を仮映像品質特性Raとして導出した例が示されている。
続いて、最適調整係数算出部15Cは、仮特徴値である仮映像品質特性Raと記憶部14の基準特徴値である基準映像品質特性Rs(14B)とを比較して、仮映像品質特性Raと基準映像品質特性Rsとの相関係数Rを算出し、記憶部14へ保存する(ステップ303)。
この後、最適調整係数算出部15Cは、未処理の仮調整係数aが存在するか確認し(ステップ304)、未処理の仮調整係数aが存在する場合(ステップ304:YES)、ステップ300へ戻って新たな仮調整係数aに関する処理を実行する。
一方、未処理の仮調整係数aが存在しない場合(ステップ304:NO)、最適調整係数算出部15Cは、各仮調整係数aの相関係数のうちから最大相関係数Rmaxを選択し、この最大相関係数にしきい値算出係数を乗算して相関しきい値Rthを算出し(ステップ305)、仮調整係数aのうち、相関係数がこの相関しきい値Rthから最大相関係数Rmaxまでの相関しきい値範囲Rwに含まれる仮調整係数aを選択する(ステップ306)。
そして、最適調整係数算出部15Cは、選択した仮調整係数aの代表値を最適調整係数Aとして算出して記憶部14に保存し(ステップ307)、一連の最適調整係数算出処理を終了する。
図13には、仮調整係数aを0.1から1.9までの範囲で0.2刻みで設定した際の相関係数Rの変化が示されている。仮調整係数aを0.1から順に選択した場合、相関係数Rが増加して一定の範囲で推移し、この後は相関係数Rが減少している。ここで、しきい値算出係数K=0.005の場合、最大相関係数Rmax=0.931であることから、相関しきい値Rth=Rmax×(1−K)=0.926となり、相関しきい値範囲Rwが0.926〜0.931となる。
このため、相関係数Rがこの相関しきい値範囲Rwに入る仮調整係数aとして、仮調整係数ax〜ayが選択され、これら仮調整係数ax〜ayの中央値、平均値、最大値などの代表値が統計処理により最適調整係数Aとして算出される。この例では、最適調整係数Aとして仮調整係数axとayの平均値0.9が算出されている。
[第3の実施の形態の効果]
このように、本実施の形態は、仮特徴値Raとして、少なくとも各種映像通信条件ごとに、当該映像通信条件下で配信した映像ストリームから得られた、仮推定結果と各映像フレームのフレーム損失状況とから算出した無効フレーム率で特定される、無効フレーム率と映像品質値との関係を示す仮映像品質特性を用いるとともに、基準特徴値Rsとして、少なくとも各種映像通信条件ごとに、当該映像通信条件下で配信した映像ストリームを予め評価して得られた、当該映像ストリームに関する無効フレーム率と映像品質値との関係を示す基準映像品質特性を用いている。
そして、最適調整係数算出部15Cで、仮調整係数aのうち、当該仮映像品質特性と基準映像品質特性との相関係数が、その最大値から所定の相関しきい値までの範囲に含まれるものを選択し、これら仮調整係数の代表値を最適調整係数として算出するようにしたので、極めて正確に最適調整係数Aを算出することができる。
特に、本実施の形態にかかる映像フレーム種別推定用調整係数算出装置10で用いた無効フレーム率算出部17Aや仮映像品質特性特定部17Bについては、映像品質推定装置に予め備えられているものを兼用することができ、わずかな機能部の追加で映像品質推定装置に実装できる。
[実施の形態の拡張]
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
例えば、無効フレーム率の代わりに、パケット損失率、バケット損失回数などのネットワーク品質値を用いてもよい。また、第3の実施の形態は、非特許文献2における調整係数Bにも適用することが可能である。また、各実施の形態の説明では、MPEG−2規格(ISO/IEC 13818)やMPEG−4規格(ISO/IEC 14496,ITU-T H.264)などのMPEG規格に準拠する圧縮符号化方式を用いた映像フレームを例として説明したが、これに限定されるものではなく、MPEG規格から派生し、あるいはMPEG規格と類似する他の圧縮符号化方式を用いた映像フレームにも、各実施の形態を適用できる。
10…フレーム種別推定用調整係数算出装置、11…通信I/F部、12…操作入力部、13…画面表示部、14…記憶部、14A…映像ストリーム構成情報、14B…基準特徴値、14C…最適調整係数、14P…プログラム、15…演算処理部、15A…フレーム種別推定部、15B…特徴値算出部、15C…最適調整係数算出部、16A…基準フレーム比率算出部、16B…仮フレーム比率算出部、17A…無効フレーム率算出部、17B…仮映像品質特性特定部。

Claims (7)

  1. 映像ストリームを構成する各映像フレームのうち、フレーム種別の推定対象となる各対象フレームのフレーム内データ量を、これら対象フレームのフレーム内データ量の平均値を所定の調整係数で調整して算出した判定しきい値と比較することにより、これら対象フレームのフレーム種別を推定する映像フレーム種別推定装置について、前記調整係数の最適値である最適調整係数を算出するための映像フレーム種別推定用調整係数算出装置で用いられる映像フレーム種別推定用調整係数算出方法であって、
    フレーム種別推定部が、映像ストリームを構成する各映像フレームのうち、フレーム種別の推定対象となる各対象フレームのフレーム内データ量を、これら対象フレームのフレーム内データ量の平均値を、指定された仮調整係数で調整して算出した判定しきい値と比較することにより、これら対象フレームのフレーム種別を推定するフレーム種別推定ステップと、
    特徴値算出部が、前記最適調整係数の候補となる複数の仮調整係数ごとに、当該仮調整係数を用いて前記フレーム種別推定部で前記対象フレームのフレーム種別を推定し、得られた仮推定結果から当該映像ストリームに固有の特徴を示す仮特徴値を算出する特徴値算出ステップと、
    記憶部が、前記映像ストリームのフレーム種別が正当に判定された際に得られる、当該映像ストリームに固有の特徴を示す特徴値を基準特徴値として予め記憶する記憶ステップと、
    最適調整係数算出部が、前記仮特徴値のそれぞれを前記基準特徴値と比較し、これら比較結果に基づいて前記最適調整係数を算出する最適調整係数算出ステップと
    を備える映像フレーム種別推定用調整係数算出方法。
  2. 請求項1に記載の映像フレーム種別推定用調整係数算出方法において、
    前記仮特徴値は、前記仮推定結果に基づき算出された、前記映像ストリームに関する任意のフレーム種別の構成比率を示す仮フレーム比率からなり、
    前記基準特徴値は、前記映像ストリームの映像ストリーム構成情報に基づき算出された、前記映像ストリームに関する任意のフレーム種別の構成比率を示す基準フレーム比率からなり、
    前記最適調整係数算出ステップは、前記仮調整係数のうち、当該仮フレーム比率と前記基準フレーム比率との差分が最も小さいものを前記最適調整係数として選択するステップを含む
    ことを特徴とする映像フレーム種別推定用調整係数算出方法。
  3. 請求項1に記載の映像フレーム種別推定用調整係数算出方法において、
    前記仮特徴値は、少なくとも各種映像通信条件ごとに、当該映像通信条件下で配信した前記映像ストリームから得られた、前記仮推定結果と前記各映像フレームのフレーム損失状況とから算出した無効フレーム率で特定される、無効フレーム率と映像品質値との関係を示す仮映像品質特性からなり、
    前記基準特徴値は、少なくとも各種映像通信条件ごとに、当該映像通信条件下で配信した前記映像ストリームを予め評価して得られた、当該映像ストリームに関する無効フレーム率と映像品質値との関係を示す基準映像品質特性からなり、
    前記最適調整係数算出ステップは、前記仮調整係数のうち、当該仮映像品質特性と前記基準映像品質特性との相関係数が、その最大値から所定の相関しきい値までの範囲に含まれるものを選択し、これら仮調整係数の代表値を前記最適調整係数として算出するステップを含む
    ことを特徴とする映像フレーム種別推定用調整係数算出方法。
  4. 映像ストリームを構成する各映像フレームのうち、フレーム種別の推定対象となる各対象フレームのフレーム内データ量を、これら対象フレームのフレーム内データ量の平均値を所定の調整係数で調整して算出した判定しきい値と比較することにより、これら対象フレームのフレーム種別を推定する映像フレーム種別推定装置について、前記調整係数の最適値である最適調整係数を算出するための映像フレーム種別推定用調整係数算出装置であって、
    映像ストリームを構成する各映像フレームのうち、フレーム種別の推定対象となる各対象フレームのフレーム内データ量を、これら対象フレームのフレーム内データ量の平均値を、指定された仮調整係数で調整して算出した判定しきい値と比較することにより、これら対象フレームのフレーム種別を推定するフレーム種別推定部と、
    前記最適調整係数の候補となる複数の仮調整係数ごとに、当該仮調整係数を用いて前記フレーム種別推定部で前記対象フレームのフレーム種別を推定し、得られた仮推定結果から当該映像ストリームに固有の特徴を示す仮特徴値を算出する特徴値算出部と、
    前記映像ストリームのフレーム種別が正当に判定された際に得られる、当該映像ストリームに固有の特徴を示す特徴値を基準特徴値として予め記憶する記憶部と、
    前記仮特徴値のそれぞれを前記基準特徴値と比較し、これら比較結果に基づいて前記最適調整係数を算出する最適調整係数算出部と
    を備える映像フレーム種別推定用調整係数算出装置。
  5. 請求項4に記載の映像フレーム種別推定用調整係数算出装置において、
    前記仮特徴値は、前記仮推定結果に基づき算出された、前記映像ストリームに関する任意のフレーム種別の構成比率を示す仮フレーム比率からなり、
    前記基準特徴値は、前記映像ストリームの映像ストリーム構成情報に基づき算出された、前記映像ストリームに関する任意のフレーム種別の構成比率を示す基準フレーム比率からなり、
    前記最適調整係数算出部は、前記仮調整係数のうち、当該仮フレーム比率と前記基準フレーム比率との差分が最も小さいものを前記最適調整係数として選択する
    ことを特徴とする映像フレーム種別推定用調整係数算出装置。
  6. 請求項4に記載の映像フレーム種別推定用調整係数算出装置において、
    前記仮特徴値は、少なくとも各種映像通信条件ごとに、当該映像通信条件下で配信した前記映像ストリームから得られた、前記仮推定結果と前記各映像フレームのフレーム損失状況とから算出した無効フレーム率で特定される、無効フレーム率と映像品質値との関係を示す仮映像品質特性からなり、
    前記基準特徴値は、少なくとも各種映像通信条件ごとに、当該映像通信条件下で配信した前記映像ストリームを予め評価して得られた、当該映像ストリームに関する無効フレーム率と映像品質値との関係を示す基準映像品質特性からなり、
    前記最適調整係数算出部は、前記仮調整係数のうち、当該仮映像品質特性と前記基準映像品質特性との相関係数が、その最大値から所定の相関しきい値までの範囲に含まれるものを選択し、これら仮調整係数の代表値を前記最適調整係数として算出する
    ことを特徴とする映像フレーム種別推定用調整係数算出装置。
  7. コンピュータを、請求項4〜請求項6のいずれか1つに記載の映像フレーム種別推定用調整係数算出装置を構成する各部として機能させるためのプログラム。
JP2010128940A 2010-06-04 2010-06-04 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム Expired - Fee Related JP5394991B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010128940A JP5394991B2 (ja) 2010-06-04 2010-06-04 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010128940A JP5394991B2 (ja) 2010-06-04 2010-06-04 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム

Publications (2)

Publication Number Publication Date
JP2011254434A true JP2011254434A (ja) 2011-12-15
JP5394991B2 JP5394991B2 (ja) 2014-01-22

Family

ID=45417959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010128940A Expired - Fee Related JP5394991B2 (ja) 2010-06-04 2010-06-04 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム

Country Status (1)

Country Link
JP (1) JP5394991B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040038A (zh) * 2018-07-20 2018-12-18 广州虎牙信息科技有限公司 卡顿因素的确定方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060475A (ja) * 2005-08-26 2007-03-08 Nippon Telegr & Teleph Corp <Ntt> ユーザ体感品質推定装置、方法、およびプログラム
WO2009025357A1 (ja) * 2007-08-22 2009-02-26 Nippon Telegraph And Telephone Corporation 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体
WO2010087129A1 (ja) * 2009-02-02 2010-08-05 日本電気株式会社 ピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060475A (ja) * 2005-08-26 2007-03-08 Nippon Telegr & Teleph Corp <Ntt> ユーザ体感品質推定装置、方法、およびプログラム
WO2009025357A1 (ja) * 2007-08-22 2009-02-26 Nippon Telegraph And Telephone Corporation 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体
WO2010087129A1 (ja) * 2009-02-02 2010-08-05 日本電気株式会社 ピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200800930007; 牛木 一成、外1名: '"TSヘッダ情報を用いた映像フレーム種別推定法の計算量低減"' 電子情報通信学会技術研究報告 CQ2008-26〜45 コミュニケーションクオリティ 第108巻,第215号, 20080918, p.33-38, 社団法人電子情報通信学会 *
JPN6013035207; 牛木 一成、外1名: '"TSヘッダ情報を用いた映像フレーム種別推定法の計算量低減"' 電子情報通信学会技術研究報告 CQ2008-26〜45 コミュニケーションクオリティ 第108巻,第215号, 20080918, p.33-38, 社団法人電子情報通信学会 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040038A (zh) * 2018-07-20 2018-12-18 广州虎牙信息科技有限公司 卡顿因素的确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP5394991B2 (ja) 2014-01-22

Similar Documents

Publication Publication Date Title
JP6104301B2 (ja) 映像品質推定技術
JP5172440B2 (ja) 映像品質推定装置、方法およびプログラム
JP4891352B2 (ja) 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体
EP2876881B1 (en) Method and system for determining a quality value of a video stream
EP2615833A1 (en) A method for determining video quality
US20120201310A1 (en) Video quality estimation apparatus, video quality estimation method, and program
US20150304709A1 (en) Method and apparatus for estimating video quality
US20160373762A1 (en) Methods of and arrangements for processing an encoded bit stream
US20150296224A1 (en) Perceptually driven error correction for video transmission
JP2008543214A (ja) コーデック補助情報を用いた動画像画質評価システム及び方法
WO2012013777A2 (en) Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal
JP4914400B2 (ja) 品質推定方法、品質推定システム、ユーザ端末、品質管理端末およびプログラム
Feitor et al. Objective quality prediction model for lost frames in 3D video over TS
JP4861371B2 (ja) 映像品質推定装置、方法、およびプログラム
JP2008301026A (ja) 映像品質推定方法、装置、およびプログラム
JP4787303B2 (ja) 映像品質推定装置、方法、およびプログラム
JP5394991B2 (ja) 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム
JP6061778B2 (ja) 映像品質評価装置、映像品質評価方法及びプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111027

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131017

R150 Certificate of patent or registration of utility model

Ref document number: 5394991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees