JP2012039530A - Video quality estimating system, video distribution server, and receiving/reproducing terminal for user - Google Patents

Video quality estimating system, video distribution server, and receiving/reproducing terminal for user Download PDF

Info

Publication number
JP2012039530A
JP2012039530A JP2010179774A JP2010179774A JP2012039530A JP 2012039530 A JP2012039530 A JP 2012039530A JP 2010179774 A JP2010179774 A JP 2010179774A JP 2010179774 A JP2010179774 A JP 2010179774A JP 2012039530 A JP2012039530 A JP 2012039530A
Authority
JP
Japan
Prior art keywords
video
reception
user
objective evaluation
playback terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010179774A
Other languages
Japanese (ja)
Other versions
JP5384444B2 (en
Inventor
Keishiro Watanabe
敬志郎 渡辺
Atsushi Okamoto
淳 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010179774A priority Critical patent/JP5384444B2/en
Publication of JP2012039530A publication Critical patent/JP2012039530A/en
Application granted granted Critical
Publication of JP5384444B2 publication Critical patent/JP5384444B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To enable a user of a video distribution service to select a video distribution service suitable for the user's video reproduction environment and efficiently search for a cause of a problem in video reproduction.SOLUTION: The video distribution server calculates an objective evaluation value on the basis of data received from a terminal, encoded video, and evaluating video by using an objective evaluation algorithm capable of quantifying subjective quality that a person feels when viewing reproduced video, and transmits the objective evaluation value to the terminal. The terminal receives and decodes the video data, and acquires the objective evaluation value from the server. The terminal displays video data, the objective evaluation value, and visualized parameters, such as receiving/reproduction terminal information, decoded video, encoding parameters, an encoded bit stream extracted from encoded video received from the video distribution server, and a result of analyzing the encoded video and the encoded bit stream.

Description

本発明は、映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末に係り、特に、映像の再生品質を可視化するための映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末に関する。   The present invention relates to a video quality estimation system, a video distribution server, and a user reception / reproduction terminal, and more particularly to a video quality estimation system, a video distribution server, and a user reception / reproduction terminal for visualizing the reproduction quality of a video.

従来、IPネットワーク上で提供される映像配信サービスのユーザが、IPネットワークを通じて映像を正確に受信して再生できるか確認する方法として、体感品質を推定する技術(例えば、特許文献1,2)や、映像配信事業者のWebサイト上に設置されるIPネットワークの利用可能帯域幅の測定(スピードテスト)が使われている(例えば、非特許文献1参照)。   Conventionally, as a method for confirming whether a user of a video distribution service provided on an IP network can accurately receive and play a video through the IP network, a technique for estimating the quality of experience (eg, Patent Documents 1 and 2) The measurement (speed test) of the available bandwidth of an IP network installed on the video distribution company's website is used (for example, see Non-Patent Document 1).

特開2007−329775号公報JP 2007-329775 A 特開2008−5108号公報JP 2008-5108 A

"goo スピードテスト"、エヌ・ティ・ティレゾナント株式会社 http://speedtest.goo.ne.jp/flash.htm"goo Speed Test", NTT Resonant Co., Ltd. http://speedtest.goo.ne.jp/flash.htm

しかしながら、特許文献1,2の体感品質を推定する技術は、単にメディア再生の品質を推定するのみで、再生品質が低いと感じられた場合であっても、ユーザがその原因や対応を認識することはできない。   However, the techniques for estimating the quality of experience described in Patent Documents 1 and 2 merely estimate the quality of media reproduction, and even when the reproduction quality is felt to be low, the user recognizes the cause and response. It is not possible.

特に不特定多数を対象とするIPネットワークを介した映像配信サービスでは、符号化方式として利用されるH.264方式やVC-1方式等は多大な演算量を必要とするため、非特許文献1のスピードテストで帯域幅が十分確保されていると判断されても、ユーザの受信・再生端末の演算速度やメモリ量が不十分であれば映像の再生を失敗する。このためサービス事業者が推奨端末や端末性能を示している場合があるが、セットトップボックス・パーソナルコンピュータ(PC)・携帯電話等、映像の受信・再生端末の多様化が進んでいるため、映像配信サービスが対象とする全ての端末で正常に映像を受信・再生できるかユーザやサービス事業者が確認することは難しい。   In particular, in a video distribution service via an IP network targeting an unspecified number of people, the H.264 method, the VC-1 method, and the like used as an encoding method require a large amount of computation. Even if it is determined by the speed test that a sufficient bandwidth is secured, video playback fails if the calculation speed and memory capacity of the user receiving / playback terminal are insufficient. For this reason, service providers may show recommended terminals and terminal performance, but video reception and playback terminals such as set-top boxes, personal computers (PCs), and mobile phones are becoming more diverse. It is difficult for a user or service provider to check whether or not video can be normally received and played back on all terminals targeted by the distribution service.

また、サービス事業者が奨励端末や端末性能を示していない場合もある。更にIPネットワーク上ではIPパケットが損失する可能性があるが、非特許文献1のスピードテストではIPパケットの損失をユーザが検出することはできない。従って、ユーザは映像の再生状態を把握できず、かつ映像の再生に問題が発生した場合に、問題の原因を特定することが困難である。   In addition, there are cases where service providers do not show encouraged terminals or terminal performance. Further, there is a possibility that an IP packet is lost on the IP network, but the user cannot detect the loss of the IP packet in the speed test of Non-Patent Document 1. Therefore, it is difficult for the user to identify the cause of the problem when the user cannot grasp the reproduction state of the video and a problem occurs in the reproduction of the video.

本発明は上記の点に鑑みなされたもので、映像配信サービスのユーザが自らの映像再生環境に適した映像配信サービスの選択を可能とし、映像の再生に問題となっている原因を効率的に調査することが可能な映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末を提供することを目的とする。   The present invention has been made in view of the above points, and enables a user of a video distribution service to select a video distribution service suitable for his / her video reproduction environment, and efficiently causes the problem of video reproduction. It is an object of the present invention to provide a video quality estimation system, a video distribution server, and a user reception / playback terminal that can be investigated.

上記の課題を解決するために、本発明(請求項1)は、IPネットワークを介した映像配信サービスにおいて、ユーザの受信・再生端末と映像配信サーバ及び該端末と該サーバを接続するネットワークから構成される映像品質可視化システムであって、
前記映像配信サーバは、
映像を符号化する映像符号化手段と、
符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
符号化された映像データを前記ネットワークを介して前記ユーザの受信・再生端末に送信する映像送信手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
前記ユーザの受信・再生端末との間で符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
を含み、
前記ユーザの受信・再生端末は、
前記映像配信サーバから送信された映像データを受信する映像受信手段と、
受信した映像を一時的に記録する記憶手段と、
符号化された映像データを復号するための演算処理を行う映像復号化手段と、
映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
前記映像配信サーバのデータ送受信手段から送信された前記客観評価値を受信するデータ受信手段と、
前記映像復号化手段により復号された映像、前記客観評価値及び可視化パラメータを表示する表示手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
を含み、
前記客観評価手段は、
前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出する評価値算出手段を含み、
前記表示手段は、
前記受信・再生端末情報、前記映像復号化手段で復号された復号映像、前記符号化パラメータ、前記映像配信サーバから受信した符号化映像から抽出した符号化ビットストリーム、該映像符号化映像と該符号化ビットストリームを分析した分析結果を含む前記可視化パラメータを表示する手段を含む。
In order to solve the above-described problems, the present invention (Claim 1) comprises a user reception / playback terminal, a video distribution server, and a network connecting the terminal and the server in a video distribution service via an IP network. A video quality visualization system,
The video distribution server is
Video encoding means for encoding video;
Video storage means for storing the encoded video and the video for evaluation;
Video transmission means for transmitting the encoded video data to the user reception / playback terminal via the network;
Objective evaluation means for objective evaluation of video quality and obtaining objective evaluation values;
Data transmission / reception means for performing transmission / reception of encoding parameters, parameters relating to network status and objective evaluation values with the user's reception / playback terminal,
Including
The user receiving / reproducing terminal is:
Video receiving means for receiving video data transmitted from the video distribution server;
Storage means for temporarily recording the received video;
Video decoding means for performing arithmetic processing for decoding encoded video data;
A data transmission means for transmitting an encoding parameter detected at the time of video decoding, a parameter relating to a network state, and the reception / playback terminal information to the video distribution server;
Data receiving means for receiving the objective evaluation value transmitted from the data transmitting / receiving means of the video distribution server;
Display means for displaying the video decoded by the video decoding means, the objective evaluation value and the visualization parameter;
Objective evaluation means for objective evaluation of video quality and obtaining objective evaluation values;
Including
The objective evaluation means is
Based on the data received from the data transmission means of the user reception / playback terminal, the encoded video stored in the video storage means, and the video for evaluation, a human views the playback video. Including an evaluation value calculation means for calculating an objective evaluation value by using an arbitrary objective evaluation algorithm capable of quantifying the subjective quality to experience,
The display means includes
The reception / playback terminal information, the decoded video decoded by the video decoding means, the encoding parameters, the encoded bit stream extracted from the encoded video received from the video distribution server, the video encoded video and the code Means for displaying the visualization parameter including an analysis result obtained by analyzing the visualized bitstream.

また、本発明(請求項2)は、請求項1の表示手段で表示される前記受信・再生端末情報に、当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況(成功もしくは失敗)を含む。   Further, the present invention (Claim 2) is expanded on the CPU usage rate / memory usage rate / memory of the reception / reproduction terminal of the user in the reception / reproduction terminal information displayed by the display means of claim 1. Usage rate and decoding status (success or failure).

また、本発明(請求項3)は、請求項1の表示手段で表示される前記符号化パラメータに、映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む。   According to the present invention (Claim 3), the encoding parameter displayed on the display means of Claim 1 includes the manufacturer of the video decoder, model number, encoding method, video bit rate, frame rate, spatial resolution.・ Includes the presence or absence of interlace.

また、本発明(請求項4)は、請求項1の前記表示手段で表示される前記可視化パラメータに、
前記ユーザの受信・再生端末で受信したIPパケット損失情報(パケット損失率,パケット損失数,遅延,ジッタ)と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むIPネットワーク状態情報を含む。
Further, the present invention (Claim 4) is characterized in that the visualization parameter displayed by the display means of Claim 1
IP packet loss information (packet loss rate, number of packet losses, delay, jitter) received at the user's reception / playback terminal, bandwidth of video received at the user's reception / playback terminal, It includes IP network status information including the network bandwidth used by all processes in the receiving / reproducing terminal.

また、本発明(請求項5)は、請求項1乃至4の前記表示手段において、所定の閾値に基づいて、前記可視化パラメータを強調表示する。   According to the present invention (Claim 5), in the display means according to Claims 1 to 4, the visualization parameter is highlighted based on a predetermined threshold.

また、本発明(請求項6)は、IPネットワークを介した映像配信サービスにおける映像配信サーバであって、
映像を符号化する映像符号化手段と、
符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
符号化された映像データをネットワークを介してユーザの受信・再生端末に送信する映像送信手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
前記ユーザの受信・再生端末と符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
を含み、
前記客観評価手段は、
前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出する評価値算出手段を含む。
The present invention (Claim 6) is a video distribution server in a video distribution service via an IP network,
Video encoding means for encoding video;
Video storage means for storing the encoded video and the video for evaluation;
Video transmission means for transmitting encoded video data to a user reception / playback terminal via a network;
Objective evaluation means for objective evaluation of video quality and obtaining objective evaluation values;
Data transmission / reception means for performing transmission / reception of encoding parameters, network status parameters and objective evaluation values with the user's reception / playback terminal;
Including
The objective evaluation means is
Based on the data received from the data transmission means of the user reception / playback terminal, the encoded video stored in the video storage means, and the video for evaluation, a human views the playback video. Evaluation value calculation means for calculating an objective evaluation value using an arbitrary objective evaluation algorithm capable of quantifying the subjective quality to be experienced is included.

また、本発明(請求項7)は、IPネットワークを介した映像配信サービスにおけるユーザの受信・再生端末であって、
映像配信サーバから送信された映像データを受信する映像受信手段と、
受信した映像を一時的に記録する記憶手段と、
符号化された映像データを復号するための演算処理を行う映像復号化手段と、
映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
前記映像配信サーバのデータ送受信手段から送信された、再生映像を人間が見て体感する主観品質を定量化した客観評価値を受信するデータ受信手段と、
少なくとも、前記映像復号化手段で復号された復号映像、前記客観評価値、及び可視化パラメータを表示する表示手段と、
を含み、
前記表示手段で表示される前記可視化パラメータは、
前記受信・再生端末情報、前記符号化パラメータ、前記映像配信サーバから受信した符号化映像から抽出した符号化ビットストリーム、該映像符号化映像と該符号化ビットストリームを分析した分析結果を含む。
The present invention (Claim 7) is a user reception / playback terminal in a video delivery service via an IP network,
Video receiving means for receiving video data transmitted from the video distribution server;
Storage means for temporarily recording the received video;
Video decoding means for performing arithmetic processing for decoding encoded video data;
A data transmission means for transmitting an encoding parameter detected at the time of video decoding, a parameter relating to a network state, and the reception / playback terminal information to the video distribution server;
Data receiving means for receiving an objective evaluation value, which is transmitted from the data transmission / reception means of the video distribution server, and quantifies the subjective quality that humans see and experience the reproduced video;
Display means for displaying at least the decoded video decoded by the video decoding means, the objective evaluation value, and a visualization parameter;
Including
The visualization parameter displayed by the display means is:
It includes the reception / playback terminal information, the encoding parameter, an encoded bitstream extracted from the encoded video received from the video distribution server, and an analysis result obtained by analyzing the video encoded video and the encoded bitstream.

また、本発明(請求項8)は、請求項7において、前記受信・再生端末情報は、
当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況(成功もしくは失敗)を含み、
前記符号化パラメータは、
映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む。
The present invention (Claim 8) is characterized in that, in Claim 7, the receiving / reproducing terminal information is:
Including the user's reception / playback terminal's CPU usage rate, memory usage rate, usage rate of the video reception buffer deployed on the memory, and decoding status (success or failure),
The encoding parameter is:
This includes the video decoder manufacturer and model number, encoding method, video bit rate, frame rate, spatial resolution, and the presence or absence of interlace.

また、本発明(請求項9)は、請求項7において、前記表示手段で表示する前記可視化パラメータは、
前記ユーザの受信・再生端末で受信したIPパケット損失情報(パケット損失率,パケット損失数,遅延,ジッタ)と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むIPネットワーク状態情報を含む。
Further, according to the present invention (Claim 9), in Claim 7, the visualization parameter displayed by the display means is:
IP packet loss information (packet loss rate, number of packet losses, delay, jitter) received at the user's reception / playback terminal, bandwidth of video received at the user's reception / playback terminal, It includes IP network status information including the network bandwidth used by all processes in the receiving / reproducing terminal.

また、本発明(請求項10)は、請求項7の前記表示手段において、
所定の閾値に基づいて、前記可視化パラメータを強調表示する。
The present invention (Claim 10) provides the display means according to Claim 7,
The visualization parameter is highlighted based on a predetermined threshold.

また、本発明(請求項11)は、前記映像配信サーバ(または、品質管理サーバ)において、請求項7,8,9,10のいずれかに記載したユーザの受信・再生端末内の情報を、IPネットワーク経由で取得する。   Further, according to the present invention (Claim 11), in the video distribution server (or quality control server), the information in the user receiving / reproducing terminal according to any one of Claims 7, 8, 9, and 10 is obtained. Obtain via the IP network.

従来の技術では、IPネットワーク上で提供される映像配信サービスのユーザが、映像の再生状態を正しく把握できず、映像の再生に問題があった場合に、問題点を把握することが難しかった。しかし、本発明により、映像配信サービスのユーザが、映像の再生状態を正しく理解することが可能となり、自らの映像再生環境に適した映像配信サービスを選択できるようになると共に、映像の再生に問題となっている原因を効率的に調査することが可能となる。映像配信サービスのサービス事業者やネットワーク事業者にとっても、サービスの問題点を迅速に把握することが可能となる。   In the conventional technology, it is difficult for a user of a video distribution service provided on an IP network to grasp a problem when a video reproduction state cannot be correctly grasped and there is a problem in the reproduction of the video. However, according to the present invention, it becomes possible for the user of the video distribution service to correctly understand the playback state of the video, and to select a video distribution service suitable for his / her video playback environment. It is possible to efficiently investigate the cause. For service providers and network operators of video distribution services, it becomes possible to quickly grasp the problems of the service.

本発明の一実施の形態におけるシステム構成図である。1 is a system configuration diagram according to an embodiment of the present invention. 本発明の一実施の形態におけるシステムの動作のフローチャートである。It is a flowchart of operation | movement of the system in one embodiment of this invention. 本発明の一実施の形態におけるシステムのシーケンスチャートである。It is a sequence chart of the system in one embodiment of the present invention. 本発明の一実施の形態におけるユーザの受信・再生端末のモニタの画面イメージである。It is a screen image of the monitor of a user's receiving and reproducing | regenerating terminal in one embodiment of this invention. 本発明の一実施の形態における異常時のユーザの受信・再生端末のモニタの画面イメージである。It is the screen image of the monitor of the user's reception / reproduction terminal at the time of abnormality in one embodiment of this invention.

以下図面と共に、本発明の実施の形態を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

以上の問題を解決するために、本発明では、映像配信サービスのユーザやサービス事業者のリクエストに応じて、ユーザの再生端末やIPネットワークの状態から、オンデマンドで映像の再生が可能であるか確認するための映像品質確認システムを示す。   In order to solve the above problems, according to the present invention, whether video playback is possible on demand from the user's playback terminal or the state of the IP network in response to a request from a video delivery service user or service provider. A video quality confirmation system for confirmation is shown.

図1は、本発明の一実施の形態におけるシステム構成を示す。   FIG. 1 shows a system configuration according to an embodiment of the present invention.

同図に示すシステムは、ユーザの受信・再生端末100、映像配信サーバ300、ユーザの受信・再生端末100と映像配信サーバ300を接続するIPネットワーク200から構成される。   The system shown in FIG. 1 includes a user receiving / reproducing terminal 100, a video distribution server 300, and an IP network 200 that connects the user receiving / reproducing terminal 100 and the video distribution server 300.

映像配信サーバ300は非圧縮の映像データを蓄積している映像データベース301と、映像配信サーバ300内で映像を符号化する映像符号化部302と、符号化された映像を蓄積する映像蓄積部303と、映像配信サーバ300内で符号化された映像データを、IPネットワーク200を介してユーザの受信・再生端末100に送信する映像送信部304と、映像品質の客観評価を行う客観評価部305と、ユーザの受信・再生端末100と符号化パラメータやネットワークの状態に関するパラメータや客観評価値の送受信を行うデータ受信部306やデータ送信部307、表示装置(モニタ)308から構成される。   The video distribution server 300 includes a video database 301 that stores uncompressed video data, a video encoding unit 302 that encodes video in the video distribution server 300, and a video storage unit 303 that stores encoded video. A video transmission unit 304 that transmits video data encoded in the video distribution server 300 to the user reception / playback terminal 100 via the IP network 200, and an objective evaluation unit 305 that performs objective evaluation of video quality, A data receiving unit 306, a data transmitting unit 307, and a display device (monitor) 308 for transmitting and receiving encoding parameters, network state parameters, and objective evaluation values with the user receiving / reproducing terminal 100 are configured.

一方、ユーザの受信・再生端末100は、映像配信サーバ300から送信された映像データを受信する映像受信部101と、受信した映像を一時的に記録するメモリ102と、符号化された映像データを復号するための演算処理を行う映像復号化部103と、映像の符号化パラメータとネットワークの状態に関するパラメータと受信・再生端末情報を映像配信サーバ300に送信可能なデータ送信部104と、映像配信サーバ300のデータ送信部307から送信された客観評価値を受信するデータ受信部105と、ユーザの受信・再生端末100で、再生された映像、客観評価値、映像の符号化パラメータ、ネットワーク情報、受信・再生端末情報を表示する表示端末(モニタ)106から構成される。   On the other hand, the user reception / playback terminal 100 receives a video reception unit 101 that receives video data transmitted from the video distribution server 300, a memory 102 that temporarily records the received video, and encoded video data. A video decoding unit 103 for performing arithmetic processing for decoding, a data transmission unit 104 capable of transmitting video encoding parameters, parameters relating to a network state, and reception / playback terminal information to the video distribution server 300, and a video distribution server 300, the data receiving unit 105 that receives the objective evaluation value transmitted from the data transmission unit 307, and the user's receiving / reproducing terminal 100, the reproduced video, the objective evaluation value, the video encoding parameter, the network information, and the reception A display terminal (monitor) 106 that displays playback terminal information.

次に、上記のシステム構成における動作を説明する。   Next, the operation in the above system configuration will be described.

図2は、本発明の一実施の形態におけるシステムの動作のフローチャートであり、図3は、本発明の一実施の形態におけるシステムのシーケンスチャートである。図2と図3のステップ番号と以下のステップ番号は対応している。   FIG. 2 is a flowchart of the operation of the system according to the embodiment of the present invention, and FIG. 3 is a sequence chart of the system according to the embodiment of the present invention. The step numbers in FIGS. 2 and 3 correspond to the following step numbers.

ステップ101) まず、映像配信サービス事業者が設定する品質可視化用Webページにユーザがアクセスすることが、本実施の形態で規定する品質可視化処理を開始するトリガとなる。   Step 101) First, the user accessing the quality visualization Web page set by the video distribution service provider is a trigger for starting the quality visualization process defined in the present embodiment.

ステップ102) ユーザが品質可視化用Webページを開くと、映像配信サーバ300の映像データベース301内の予め決められた非圧縮映像RV1、もしくはユーザが選択した非圧縮映像RV1を、符号化後にユーザの受信・再生端末100に送信するようにプログラムされている。但し、ユーザの代わりにサービス/ネットワーク事業者が同様の処理を行っても良い。また、該当映像が映像蓄積部303に蓄積されている場合は、蓄積されているIPパケット化された符号化映像SCV1を送信しても良い。また映像データベース301内の映像データのフォーマットは非圧縮(フォーマットは任意)である。なお映像配信サーバ300は、IPネットワーク200を介してユーザの受信・再生端末100とデータの送受信が可能である。   Step 102) When the user opens the quality visualization web page, the user receives the encoded uncompressed video RV1 in the video database 301 of the video distribution server 300 or the uncompressed video RV1 selected by the user after encoding. It is programmed to transmit to the playback terminal 100. However, the service / network operator may perform the same processing instead of the user. In addition, when the corresponding video is stored in the video storage unit 303, the stored encoded video SCV1 in the form of IP packets may be transmitted. The format of the video data in the video database 301 is uncompressed (the format is arbitrary). The video distribution server 300 can transmit and receive data to and from the user reception / playback terminal 100 via the IP network 200.

ステップ103) 映像配信サーバ300の映像符号化部302は、品質可視化処理開始後、映像データベース301内で予め決められた、もしくはユーザが選択した非圧縮映像データRV1を符号化して符号化ビットストリームCV1を作成し、映像蓄積部303に格納する。符号化方式にはH.264方式やMPEG2方式等の様々な方式があり、ビットレートやフレームレートに代表される符号化に必要なパラメータも様々なパターンが想定されるが、本実施の形態では任意の方式や符号化パラメータのパターンを許容する。   Step 103) After starting the quality visualization process, the video encoding unit 302 of the video distribution server 300 encodes the uncompressed video data RV1 determined in advance in the video database 301 or selected by the user to generate an encoded bitstream CV1. Is stored in the video storage unit 303. There are various encoding methods such as the H.264 method and the MPEG2 method, and various patterns are assumed for the parameters required for encoding represented by the bit rate and frame rate. Arbitrary schemes and coding parameter patterns are allowed.

次に、映像配信サーバ300の映像蓄積部303では、映像符号化部302で作成された符号化ビットストリームCV1を、IPパケット化したデータSCV1として蓄積する。IPプロトコルの上位にUDP(User Datagram protocol)やRTP(Real-time Transport protocol)等の任意のプロトコルを用いて良い。またIPパケット化されたSCV1ではなく、符号化ビットストリームCV1も保存できる。但し、RTP等のIPパケットの損失が検出可能であるプロトコルは必ず用いることとする。なお、映像蓄積部303に品質可視化処理用の映像が既に蓄積されている場合は、該当する蓄積映像を用いることにより、前段の符号化処理をスキップすることが出来る。   Next, the video storage unit 303 of the video distribution server 300 stores the encoded bitstream CV1 created by the video encoding unit 302 as IP packetized data SCV1. Any protocol such as UDP (User Datagram protocol) or RTP (Real-time Transport protocol) may be used above the IP protocol. Further, not the IP packetized SCV1, but the encoded bit stream CV1 can also be stored. However, a protocol that can detect loss of IP packets, such as RTP, must be used. Note that if the video for quality visualization processing has already been stored in the video storage unit 303, the previous encoding process can be skipped by using the corresponding stored video.

ステップ104) 次に、映像配信サーバ300の映像送信部304は、映像蓄積部303で蓄積されているIPパケット化された符号化ビットストリームSCV1をユーザの受信・再生端末100の映像受信部101に向けてIPプロトコル(IETF RFC791)を用いて送信する。映像蓄積部303に符号化ビットストリームCV1が蓄積されている場合は、映像送信部304でIPパケット化して送信を行う。   Step 104) Next, the video transmission unit 304 of the video distribution server 300 sends the IP packetized encoded bitstream SCV1 stored in the video storage unit 303 to the video reception unit 101 of the user reception / playback terminal 100. Send using the IP protocol (IETF RFC791). When the encoded bit stream CV1 is stored in the video storage unit 303, the video transmission unit 304 converts it into an IP packet for transmission.

ステップ105) ユーザの受信・再生端末100の映像受信部101では、映像配信サーバ300からのIPパケット化された符号化ビットストリームをTCV1として受信する。この際に映像受信部101では、受信しているIPパケットのデータ量を検出できるため、単位時間当たりに受信したIPパケット化された符号化ビットストリームのデータ量である符号化ストリーム帯域幅(単位は任意)、もしくは単位時間当たりに受信したIPパケット化された符号化ビットストリームのデータ量(単位は任意)を端末が受信可能な最大データ量(単位は任意)で割った値である帯域利用率をNWIとして受信・再生端末100のモニタ106に送ることができる。但し、映像受信部101が単位時間当たりに受信したIPパケット化された符号化ビットストリームのデータ量(単位は任意)は、映像受信部101が単位時間当たりに受信した全データ量(単位は任意)に置き換えても良い。   Step 105) The video receiving unit 101 of the user receiving / reproducing terminal 100 receives the encoded bit stream converted into the IP packet from the video distribution server 300 as TCV1. At this time, since the video receiving unit 101 can detect the data amount of the received IP packet, the encoded stream bandwidth (unit: data amount of the encoded bit stream received as an IP packet per unit time) is detected. Bandwidth), or the value obtained by dividing the amount of IP packetized encoded bitstream data received per unit time (in arbitrary units) by the maximum amount of data that can be received by the terminal (in arbitrary units) The rate can be sent as NWI to the monitor 106 of the receiving / reproducing terminal 100. However, the data amount (unit is arbitrary) of the IP packetized encoded bitstream received by the video receiving unit 101 per unit time is the total data amount (unit is arbitrary) received by the video receiving unit 101 per unit time. ).

また、映像受信部101は、損失したIPパケットがないかを監視して(RTPプロトコルを使っている場合ならRTPシーケンス番号が非連続となる箇所を検出)、パケットが損失した回数を記憶して、NWIとして受信・再生端末100のモニタ106とデータ送信部104に送り、データ送信部104を経由して映像配信サーバ300に送ることができる。なお、損失した回数を記憶する機能はモニタやメモリに持たせても良い。   In addition, the video receiving unit 101 monitors whether there is a lost IP packet (detects a location where the RTP sequence number is non-continuous if the RTP protocol is used), and stores the number of times the packet has been lost. , NWI can be sent to the monitor 106 and the data transmission unit 104 of the reception / reproduction terminal 100, and can be sent to the video distribution server 300 via the data transmission unit 104. A function for storing the number of lost times may be provided in a monitor or a memory.

ステップ106) 次に、映像受信部101は、TCV1をユーザの受信・再生端末100が備えるメモリ102に格納する。このとき、TCV1からIPプロトコルや任意に利用したプロトコルに基づいてパケットのペイロード(符号化ビットストリーム)MRCV1を抽出して、メモリ102上に作成されるバッファに格納する。メモリ102とバッファの使用率は常に計測される。メモリ102の使用率は、ユーザの受信・再生端末100で実行されている全プロセスもしくは映像の受信・再生で利用しているメモリ量(単位は任意)を、ユーザの受信・再生端末100が備える全メモリ量で除算した値である。バッファの使用率は、バッファに格納された映像データ量(単位は任意)を、全バッファ容量で除算した値である。   Step 106) Next, the video reception unit 101 stores TCV1 in the memory 102 included in the user reception / playback terminal 100. At this time, the payload (encoded bit stream) MRCV1 of the packet is extracted from the TCV1 based on the IP protocol or an arbitrarily used protocol, and stored in a buffer created on the memory 102. The usage rate of the memory 102 and the buffer is always measured. As for the usage rate of the memory 102, the user reception / reproduction terminal 100 has the amount of memory (in arbitrary units) used for all processes executed by the user reception / reproduction terminal 100 or video reception / reproduction. The value divided by the total amount of memory. The buffer usage rate is a value obtained by dividing the amount of video data (in arbitrary units) stored in the buffer by the total buffer capacity.

また、映像受信部101において、IPパケットから符号化ビットストリームを抽出する際に、損失したIPパケットがないかを監視して(RTPプロトコルを使っている場合ならRTPシーケンス番号が非連続となる箇所を検出)、損失したパケットのID情報(RTPを使っている場合ならRTPシーケンス番号)と損失したパケットの前後のパケットのID情報(RTPを使っている場合ならRTPシーケンス番号)を検出する。   In addition, when the video receiving unit 101 extracts the encoded bit stream from the IP packet, it monitors whether there is a lost IP packet (if the RTP protocol is used, the location where the RTP sequence number is not continuous). ), And ID information (RTP sequence number if RTP is used) of lost packet and ID information (RTP sequence number if RTP is used) before and after the lost packet are detected.

また、映像受信部101において、符号化ビットストリームMRCV1やIPパケット化された符号化ビットストリームTCV1に対して、任意の客観評価アルゴリズムを適用して客観評価値OE2を算出しても良い。   Further, the video reception unit 101 may calculate an objective evaluation value OE2 by applying an arbitrary objective evaluation algorithm to the encoded bitstream MRCV1 or the IP packetized encoded bitstream TCV1.

データ送信部104は、以上で算出したデータをAMRCV1として纏め、映像配信サーバ300にDATA1として送出する。同時にAMRCV1はユーザの受信・再生端末100のモニタ106に表示される。映像復号化部103は、メモリ102のバッファに格納された符号化ビットストリームMRCV1に対し画素への復号演算を行い、復号された画素情報DV1を表示端末(モニタ)106に出力する。なお、映像復号化部103の符号化ビットストリームを復号化する手段はH.264方式であればITU-T H.264の勧告文書等、該当する技術文書に記載の方法を用いる。また、映像復号化部103は、同時に復号に使われる演算装置(CPU)の使用率も取得し、モニタ106に出力する。   The data transmission unit 104 collects the data calculated above as AMRCV1, and sends it to the video distribution server 300 as DATA1. At the same time, AMRCV1 is displayed on the monitor 106 of the user receiving / reproducing terminal 100. The video decoding unit 103 performs a decoding operation on the encoded bit stream MRCV1 stored in the buffer of the memory 102, and outputs the decoded pixel information DV1 to the display terminal (monitor) 106. In addition, if the means for decoding the encoded bit stream of the video decoding unit 103 is H.264, the method described in the corresponding technical document such as the ITU-T H.264 recommendation document is used. The video decoding unit 103 also acquires the usage rate of the arithmetic unit (CPU) used for decoding at the same time and outputs it to the monitor 106.

当該CPUの使用率は、ユーザの受信・再生端末100で実行されている全プロセスが使用しているCPU容量(単位は任意)もしくは映像の受信・再生で利用しているCPU容量(単位は任意)を全CPU容量(単位は任意)で除算を行った値である。   The CPU usage rate is determined by the CPU capacity used by all processes running on the user's reception / playback terminal 100 (unit is arbitrary) or the CPU capacity used by video reception / playback (unit is arbitrary) ) Divided by the total CPU capacity (arbitrary unit).

ステップ107) データ送信部104は、画素への復号時に検出される符号化パラメータDVI1(映像の復号器のメーカと型番・映像のビットレート・フレームレート・解像度・インターレースの有無・復号の成功/失敗)をDATA1に加えて、映像配信サーバ300に送出すると同時に、表示端末(モニタ)106にも出力する。この時に映像配信サーバ300へ送出するデータとして上記DATA1にユーザの受信・再生端末情報(CPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率)や映像受信部101から送られたNWIを加えても良く、任意の情報の取捨選択が可能である。   Step 107) The data transmission unit 104 detects the encoding parameter DVI1 (decoder and model number of the video decoder, video bit rate, frame rate, resolution, presence / absence of interlace, decoding success / failure) detected when decoding into pixels. ) Is added to DATA 1 and sent to the video distribution server 300, and simultaneously, it is also outputted to the display terminal (monitor) 106. At this time, as data to be transmitted to the video distribution server 300, the above-mentioned DATA1 includes the user reception / playback terminal information (CPU usage rate / memory usage rate / utilization rate of the video reception buffer developed on the memory) and the video reception unit 101. The sent NWI may be added, and arbitrary information can be selected.

以上の符号化パラメータDVI1は、符号化方式としてITU-T勧告 H.264を使っていれば、ITU-T勧告 H.264内に記載されている復号処理を行うと取得できる情報であり、他の符号化方式についても、該当する標準化勧告や技術文書を参照すると取得できる情報である。なお、DATA1は上記の全データを含む必要は無く、また送付処理は省略可能である。但し、次パラグラフの映像配信サーバ300内の処理に必要なデータを送付しない場合は、次パラグラフで記載してある映像配信サーバ300内の処理はスキップされる。   The above encoding parameter DVI1 is information that can be acquired by performing the decoding process described in ITU-T recommendation H.264 if the ITU-T recommendation H.264 is used as the encoding method. This encoding method is also information that can be acquired by referring to the corresponding standardization recommendation or technical document. Note that DATA1 does not have to include all the above data, and the sending process can be omitted. However, when data necessary for processing in the video distribution server 300 in the next paragraph is not sent, the processing in the video distribution server 300 described in the next paragraph is skipped.

ステップ108) 一方、映像配信サーバ300のデータ受信部306では、ユーザの受信・再生端末100のデータ送信部104から送られたDATA1として、損失したIPパケット等に関する情報AMRCV1やNWIと符号化パラメータDVI1と受信・再生端末情報を受信する。そしてモニタ308は、映像蓄積部303で保存されている送信映像SCV1のIPパケット情報を用いて、ユーザの受信・再生端末で受信した映像データを再現する(損失したIPパケット等に関する情報AMRCVにより、損失したIPパケットのID情報を用いて、損失したIPパケット情報を間引く処理を行う)。映像蓄積部303に符号化ビットストリームCV1しか保存されていない場合は、映像送信部304からCV1を送出する際のIPパケット化した際の処理を記憶しておき、それに基づいてCV1をIPパケット化してもよい。   Step 108) On the other hand, in the data receiving unit 306 of the video distribution server 300, information AMRCV1 and NWI related to the lost IP packet and the like and the encoding parameter DVI1 are used as DATA1 transmitted from the data transmitting unit 104 of the user receiving / reproducing terminal 100. And receiving / reproducing terminal information. The monitor 308 uses the IP packet information of the transmission video SCV1 stored in the video storage unit 303 to reproduce the video data received by the user reception / playback terminal (by information AMRCV on the lost IP packet, etc. Use the lost IP packet ID information to thin out the lost IP packet information). When only the encoded bitstream CV1 is stored in the video storage unit 303, the processing when the IP packet is generated when the CV1 is transmitted from the video transmission unit 304 is stored, and based on this, the CV1 is converted into an IP packet. May be.

映像配信サーバ300の客観評価部305では、映像蓄積部303とデータ受信部306から出力されるDATA1とSCV1により、ユーザの受信・再生端末100で受信した映像データを再現したIPパケット(復号して取得できる画素情報を含む)・符号化パラメータと、SCV1を復号化した非圧縮映像情報と、映像データベース301に格納されている非圧縮映像情報RV1を用いて客観評価処理を行う。但し、客観評価部305はIPプロトコルや任意に利用したプロトコルに基づいてパケットのペイロード(符号化ビットストーム)を抽出して、ビットストリームを復号する手段を有すると共に、客観評価を行うために任意のアルゴリズムを使用できる。   The objective evaluation unit 305 of the video distribution server 300 reproduces the video data received by the user's receiving / reproducing terminal 100 using the DATA1 and SCV1 output from the video storage unit 303 and the data receiving unit 306 (decodes the IP packet). Objective evaluation processing is performed using the encoding parameters, the uncompressed video information obtained by decoding SCV1, and the uncompressed video information RV1 stored in the video database 301. However, the objective evaluation unit 305 has a means for extracting a packet payload (encoded bit storm) based on the IP protocol or an arbitrarily used protocol, and decoding the bit stream. Algorithms can be used.

なお、客観評価部305の符号化ビットストリームを復号化する手段はH.264方式であればITU-T H.264の勧告文書等、該当する技術文書に記載の方法を用いる。また、客観評価を行う際には、データ受信部306で受信した符号化パラメータ(映像の復号器のメーカと型番・映像のビットレート・フレームレート・解像度・インターレースの有無)が利用可能である。   In addition, if the means for decoding the encoded bit stream of the objective evaluation unit 305 is H.264, the method described in the corresponding technical document such as the ITU-T H.264 recommendation document is used. Further, when performing objective evaluation, the encoding parameters (video decoder manufacturer and model number, video bit rate, frame rate, resolution, presence / absence of interlace) received by the data receiving unit 306 can be used.

ステップ109) 映像配信サーバ300の客観評価部305は、算出した客観評価値OE1をデータ送信部307を通してユーザの受信・再生端末100のデータ受信部105にDATA2として送出する。   Step 109) The objective evaluation unit 305 of the video distribution server 300 transmits the calculated objective evaluation value OE1 as DATA2 to the data reception unit 105 of the user reception / playback terminal 100 through the data transmission unit 307.

ステップ110) データ受信部105は、映像配信サーバ300から送信された客観評価値OE1を受信し、モニタ106に出力する。また、映像復号化部103で復号された復号映像DV1、ステップ106でIPパケット化された符号化映像の分析結果MRCV1、客観評価値DATA2、ユーザ再生端末情報をモニタ106に出力する。なお、DATA2の送付処理は省略可能である。   Step 110) The data receiving unit 105 receives the objective evaluation value OE1 transmitted from the video distribution server 300 and outputs it to the monitor 106. Also, the decoded video DV1 decoded by the video decoding unit 103, the analysis result MRCV1, the objective evaluation value DATA2, and the user reproduction terminal information of the encoded video IP packetized in step 106 are output to the monitor 106. The DATA2 sending process can be omitted.

ステップ111) モニタ106は、入力されたデータを表示する。   Step 111) The monitor 106 displays the input data.

ユーザの受信・再生端末のモニタの画面イメージを図4に示す。ユーザの受信・再生端末100のモニタ105には、
・ユーザの受信・再生端末100で復号された映像;
・復号映像の客観評価値(OE1、もしくはOE2、OE1が利用不可能の場合は、OE2を表示);
・符号化パラメータ(ビットレート・フレームレート・解像度・インターレースの有無);
・ネットワーク情報(映像の受信・再生端末100で受信したIPパケットの損失数と、映像の受信に使っている利用帯域幅と、受信・再生端末100内の全プロセスが使っているネットワークの帯域幅)、
・ユーザの受信・再生端末情報(CPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号の成功/失敗)
等を表示可能である。なお、映像配信サービスに関わるパラメータであればモニタ106に表示できる。
FIG. 4 shows a screen image of the monitor of the user reception / playback terminal. The monitor 105 of the user reception / playback terminal 100 includes:
Video decoded by the user's reception / playback terminal 100;
・ Objective evaluation value of decoded video (OE1 or OE2 if OE1 is not available)
-Encoding parameters (bit rate, frame rate, resolution, presence / absence of interlace);
Network information (number of lost IP packets received by the video reception / playback terminal 100, bandwidth used for video reception, and network bandwidth used by all processes in the reception / playback terminal 100) ),
-User reception / playback terminal information (CPU usage rate, memory usage rate, usage rate of video reception buffer developed on memory, decoding success / failure)
Etc. can be displayed. Note that any parameter relating to the video distribution service can be displayed on the monitor 106.

また、モニタ106は、各項目には閾値が設定でき、閾値を上回るもしくは下回ることによって、各パラメータの強調表示(文字色・文字大きさ、フォントの変更等)ができる。なお閾値はユーザが任意に設定できる。   In addition, the monitor 106 can set a threshold value for each item, and can highlight each parameter (change the character color / size, font, etc.) by exceeding or falling below the threshold value. The threshold can be arbitrarily set by the user.

これにより、ユーザは、再生された映像に劣化が発生した場合や客観評価値が低下した場合に、その際に強調表示されている項目と比較対象を行うことで品質の劣化要因を推定できる(例えば客観評価値が低下した時に損失パケット数が増加して強調表示された時には、IPパケットの損失が客観品質の低下要因と考えることができる)。   Thereby, the user can estimate the deterioration factor of the quality by performing comparison with the highlighted item when the reproduced video is deteriorated or the objective evaluation value is reduced ( For example, when the number of lost packets increases and is highlighted when the objective evaluation value decreases, the loss of IP packets can be considered as a factor of decreasing objective quality).

異常時のユーザの受信・再生端末のモニタの画面イメージの例を図5に示す。図5はネットワーク情報の中の損失パケット数が閾値を越えた場合であり、ネットワーク事業者に対して連絡を取るように指示を行っている。同様に符号化パラメータが異常値を取る場合はサービス事業者の連絡先、受信再生端末情報が異常値を取る場合は端末メーカの連絡先を表示することができる。また各事業者やメーカに蓄積されたノウハウに基づいて、具体的な修理に関する指示を表示することもできる。なお、表示端末(モニタ)106で表示されている情報は、IPネットワークを介して全て映像配信サーバ300でも収集できることから、サービス事業者やネットワーク事業者が、映像配信サーバ300内、もしくはオペレーションセンタに設置してある表示端末(モニタ)で、ユーザの受信・再生端末100のモニタ106に表示されている情報を参照することも可能である。なお、映像配信サーバのみならず、品質管理用サーバを用意して、当該品質管理用サーバにおいて、上記のユーザの受信・再生端末内の情報を、IPネットワークを介して収集するようにすることも可能である。   An example of the screen image of the monitor of the user reception / reproduction terminal at the time of abnormality is shown in FIG. FIG. 5 shows a case where the number of lost packets in the network information exceeds a threshold value, and instructs the network operator to contact. Similarly, the contact information of the service provider can be displayed when the encoding parameter takes an abnormal value, and the contact information of the terminal manufacturer can be displayed when the reception / playback terminal information takes an abnormal value. In addition, specific repair instructions can be displayed based on the know-how accumulated in each business operator or manufacturer. Note that all the information displayed on the display terminal (monitor) 106 can also be collected by the video distribution server 300 via the IP network, so that the service provider or the network provider can enter the video distribution server 300 or the operation center. It is also possible to refer to the information displayed on the monitor 106 of the user's reception / reproduction terminal 100 on the installed display terminal (monitor). It is also possible to prepare not only the video distribution server but also a quality management server and collect the information in the user reception / playback terminal via the IP network in the quality management server. Is possible.

上記のように、ユーザの受信・再生端末100には、
・ユーザの受信・再生端末の状態
・符号化パラメータ(異常値の場合は端末メーカの連絡先)
・IPネットワークの状態(異常値の場合の指示)
・修理に関する指示
等が表示されるため、ユーザは、受信・再生端末において映像が正常に再生できるかを判定でき、映像が正常に再生で着ない場合はその原因を推定することが可能となる。
As described above, the user's reception / playback terminal 100 includes:
・ User reception / playback terminal status ・ Encoding parameters (contact information of terminal manufacturer in case of abnormal values)
-IP network status (instructions for abnormal values)
-Since instructions related to repair are displayed, the user can determine whether or not the video can be played normally on the receiving / playback terminal, and if the video cannot be played normally, the cause can be estimated. .

また、上記のユーザの受信・再生端末100及び映像配信サーバ300の各構成要素の動作をプログラムとして構築し、受信・再生端末100、映像配信サーバ300として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。   Further, the operation of each component of the above-described user reception / playback terminal 100 and video distribution server 300 is constructed as a program, and is installed and executed on a computer used as the reception / playback terminal 100 and video distribution server 300. Alternatively, it can be distributed via a network.

さらに、構築されたプログラムをハードディスクやフレキシブルディスク、CD−ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。   Furthermore, the constructed program can be stored in a portable storage medium such as a hard disk, a flexible disk, or a CD-ROM, and installed in a computer or distributed.

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。   The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.

100 ユーザの受信・再生端末
101 映像受信部
102 メモリ
103 映像復号化部
104 データ送信部
105 データ受信部
106 表示端末(モニタ)
200 IPネットワーク
300 映像配信サーバ
301 映像データベース
302 映像符号化部
303 映像蓄積部
304 映像送信部
305 客観評価部
306 データ受信部
307 データ送信部
308 表示端末(モニタ)
100 User receiving / reproducing terminal 101 Video receiving unit 102 Memory 103 Video decoding unit 104 Data transmitting unit 105 Data receiving unit 106 Display terminal (monitor)
200 IP network 300 Video distribution server 301 Video database 302 Video encoding unit 303 Video storage unit 304 Video transmission unit 305 Objective evaluation unit 306 Data reception unit 307 Data transmission unit 308 Display terminal (monitor)

Claims (11)

IPネットワークを介した映像配信サービスにおいて、ユーザの受信・再生端末と映像配信サーバ及び該端末と該サーバを接続するネットワークから構成される映像品質可視化システムであって、
前記映像配信サーバは、
映像を符号化する映像符号化手段と、
符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
符号化された映像データを前記ネットワークを介して前記ユーザの受信・再生端末に送信する映像送信手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
前記ユーザの受信・再生端末との間で符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
を含み、
前記ユーザの受信・再生端末は、
前記映像配信サーバから送信された映像データを受信する映像受信手段と、
受信した映像を一時的に記録する記憶手段と、
符号化された映像データを復号するための演算処理を行う映像復号化手段と、
映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
前記映像配信サーバのデータ送受信手段から送信された前記客観評価値を受信するデータ受信手段と、
前記映像復号化手段により復号された映像、前記客観評価値及び可視化パラメータを表示する表示手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
を含み、
前記客観評価手段は、
前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出する評価値算出手段を含み、
前記表示手段は、
前記受信・再生端末情報、前記映像復号化手段で復号された復号映像、前記符号化パラメータ、前記映像配信サーバから受信した符号化映像から抽出した符号化ビットストリーム、該映像符号化映像と該符号化ビットストリームを分析した分析結果を含む前記可視化パラメータを表示する手段を含む
ことを特徴とする映像品質可視化システム。
In a video distribution service via an IP network, a video quality visualization system including a user reception / playback terminal, a video distribution server, and a network connecting the terminal and the server,
The video distribution server is
Video encoding means for encoding video;
Video storage means for storing the encoded video and the video for evaluation;
Video transmission means for transmitting the encoded video data to the user reception / playback terminal via the network;
Objective evaluation means for objective evaluation of video quality and obtaining objective evaluation values;
Data transmission / reception means for performing transmission / reception of encoding parameters, parameters relating to network status and objective evaluation values with the user's reception / playback terminal,
Including
The user receiving / reproducing terminal is:
Video receiving means for receiving video data transmitted from the video distribution server;
Storage means for temporarily recording the received video;
Video decoding means for performing arithmetic processing for decoding encoded video data;
A data transmission means for transmitting an encoding parameter detected at the time of video decoding, a parameter relating to a network state, and the reception / playback terminal information to the video distribution server;
Data receiving means for receiving the objective evaluation value transmitted from the data transmitting / receiving means of the video distribution server;
Display means for displaying the video decoded by the video decoding means, the objective evaluation value and the visualization parameter;
Objective evaluation means for objective evaluation of video quality and obtaining objective evaluation values;
Including
The objective evaluation means is
Based on the data received from the data transmission means of the user reception / playback terminal, the encoded video stored in the video storage means, and the video for evaluation, a human views the playback video. Including an evaluation value calculation means for calculating an objective evaluation value by using an arbitrary objective evaluation algorithm capable of quantifying the subjective quality to experience,
The display means includes
The reception / playback terminal information, the decoded video decoded by the video decoding means, the encoding parameters, the encoded bit stream extracted from the encoded video received from the video distribution server, the video encoded video and the code An image quality visualization system comprising: means for displaying the visualization parameter including an analysis result obtained by analyzing the digitized bitstream.
前記表示手段で表示される前記受信・再生端末情報は、
当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況(成功もしくは失敗)を含む
請求項1記載の映像品質可視化システム。
The reception / playback terminal information displayed on the display means is:
The video quality visualization system according to claim 1, including a CPU usage rate, a memory usage rate, a usage rate of a video reception buffer developed on the memory, and a decoding status (success or failure) of the reception / playback terminal of the user.
前記表示手段で表示される前記符号化パラメータは、
映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む
請求項1記載の映像品質可視化システム。
The encoding parameter displayed by the display means is
The video quality visualization system according to claim 1, including a video decoder maker and model number, encoding method, video bit rate, frame rate, spatial resolution, and presence / absence of interlace.
前記表示手段で表示する前記可視化パラメータは、
前記ユーザの受信・再生端末で受信したIPパケット損失情報(パケット損失率,パケット損失数,遅延,ジッタ)と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むIPネットワーク状態情報を含む
請求項1記載の使用可能な映像品質可視化システム。
The visualization parameter displayed by the display means is
IP packet loss information (packet loss rate, number of packet losses, delay, jitter) received at the user's reception / playback terminal, bandwidth of video received at the user's reception / playback terminal, 2. The usable video quality visualization system according to claim 1, comprising IP network status information including a network bandwidth used by all processes in the reception / playback terminal.
前記表示手段は、
所定の閾値に基づいて、前記可視化パラメータを強調表示する
請求項1乃至4のいずれか1項に記載の映像品質可視化システム。
The display means includes
The video quality visualization system according to claim 1, wherein the visualization parameter is highlighted based on a predetermined threshold.
IPネットワークを介した映像配信サービスにおける映像配信サーバであって、
映像を符号化する映像符号化手段と、
符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
符号化された映像データをネットワークを介してユーザの受信・再生端末に送信する映像送信手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
前記ユーザの受信・再生端末と符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
を含み、
前記客観評価手段は、
前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出する評価値算出手段を含む
ことを特徴とする映像配信サーバ。
A video distribution server in a video distribution service via an IP network,
Video encoding means for encoding video;
Video storage means for storing the encoded video and the video for evaluation;
Video transmission means for transmitting encoded video data to a user reception / playback terminal via a network;
Objective evaluation means for objective evaluation of video quality and obtaining objective evaluation values;
Data transmission / reception means for performing transmission / reception of encoding parameters, network status parameters and objective evaluation values with the user's reception / playback terminal;
Including
The objective evaluation means is
Based on the data received from the data transmission means of the user reception / playback terminal, the encoded video stored in the video storage means, and the video for evaluation, a human views the playback video. An image distribution server comprising evaluation value calculation means for calculating an objective evaluation value using an arbitrary objective evaluation algorithm capable of quantifying subjective quality to be experienced.
IPネットワークを介した映像配信サービスにおけるユーザの受信・再生端末であって、
映像配信サーバから送信された映像データを受信する映像受信手段と、
受信した映像を一時的に記録する記憶手段と、
符号化された映像データを復号するための演算処理を行う映像復号化手段と、
映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
前記映像配信サーバのデータ送受信手段から送信された、再生映像を人間が見て体感する主観品質を定量化した客観評価値を受信するデータ受信手段と、
少なくとも、前記映像復号化手段で復号された復号映像、前記客観評価値、及び可視化パラメータを表示する表示手段と、
を含み、
前記表示手段で表示される前記可視化パラメータは、
前記受信・再生端末情報、前記符号化パラメータ、前記映像配信サーバから受信した符号化映像から抽出した符号化ビットストリーム、該映像符号化映像と該符号化ビットストリームを分析した分析結果を含む
ことを特徴とするユーザの受信・再生端末。
A user reception / playback terminal in a video distribution service via an IP network,
Video receiving means for receiving video data transmitted from the video distribution server;
Storage means for temporarily recording the received video;
Video decoding means for performing arithmetic processing for decoding encoded video data;
A data transmission means for transmitting an encoding parameter detected at the time of video decoding, a parameter relating to a network state, and the reception / playback terminal information to the video distribution server;
Data receiving means for receiving an objective evaluation value, which is transmitted from the data transmission / reception means of the video distribution server, and quantifies the subjective quality that humans see and experience the reproduced video;
Display means for displaying at least the decoded video decoded by the video decoding means, the objective evaluation value, and a visualization parameter;
Including
The visualization parameter displayed by the display means is:
Including the reception / playback terminal information, the encoding parameter, an encoded bitstream extracted from the encoded video received from the video distribution server, and an analysis result obtained by analyzing the video encoded video and the encoded bitstream. Characteristic user reception / playback terminal.
前記受信・再生端末情報は、
当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況(成功もしくは失敗)を含み、
前記符号化パラメータは、
映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む
請求項7記載のユーザの受信・再生端末。
The reception / playback terminal information is:
Including the user's reception / playback terminal's CPU usage rate, memory usage rate, usage rate of the video reception buffer deployed on the memory, and decoding status (success or failure),
The encoding parameter is:
8. The user receiving / reproducing terminal according to claim 7, including the manufacturer and model number of the video decoder, encoding method, video bit rate, frame rate, spatial resolution, and presence / absence of interlace.
前記表示手段で表示する前記可視化パラメータは、
前記ユーザの受信・再生端末で受信したIPパケット損失情報(パケット損失率,パケット損失数,遅延,ジッタ)と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むIPネットワーク状態情報を含む
請求項7記載のユーザの受信・再生端末。
The visualization parameter displayed by the display means is
IP packet loss information (packet loss rate, number of packet losses, delay, jitter) received at the user's reception / playback terminal, bandwidth of video received at the user's reception / playback terminal, 8. The user receiving / reproducing terminal according to claim 7, comprising IP network state information including a network bandwidth used by all processes in the receiving / reproducing terminal.
前記表示手段は、
所定の閾値に基づいて、前記可視化パラメータを強調表示する
請求項7記載のユーザの受信・再生端末。
The display means includes
8. The user reception / playback terminal according to claim 7, wherein the visualization parameter is highlighted based on a predetermined threshold.
請求項7乃至10のいずれか1項に記載したユーザの受信・再生端末内情報を、IPネットワーク経由で取得することを特徴とする映像配信サーバまたは品質管理用サーバ。   11. A video distribution server or a quality management server, wherein the information in the reception / playback terminal of the user according to claim 7 is acquired via an IP network.
JP2010179774A 2010-08-10 2010-08-10 Video quality estimation system, video distribution server, and user reception / playback terminal Expired - Fee Related JP5384444B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010179774A JP5384444B2 (en) 2010-08-10 2010-08-10 Video quality estimation system, video distribution server, and user reception / playback terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010179774A JP5384444B2 (en) 2010-08-10 2010-08-10 Video quality estimation system, video distribution server, and user reception / playback terminal

Publications (2)

Publication Number Publication Date
JP2012039530A true JP2012039530A (en) 2012-02-23
JP5384444B2 JP5384444B2 (en) 2014-01-08

Family

ID=45850982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010179774A Expired - Fee Related JP5384444B2 (en) 2010-08-10 2010-08-10 Video quality estimation system, video distribution server, and user reception / playback terminal

Country Status (1)

Country Link
JP (1) JP5384444B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465664B1 (en) 2013-12-31 2014-12-01 성균관대학교산학협력단 Image data quality assessment apparatus, method and system
KR101716082B1 (en) * 2016-04-12 2017-03-14 연세대학교 산학협력단 Method and apparatus for video quality measurement

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164330A (en) * 1997-11-26 1999-06-18 Ando Electric Co Ltd Dynamic image communication evaluation system
JP2001285481A (en) * 2000-03-30 2001-10-12 Matsushita Electric Ind Co Ltd Multi-display test device
JP2006157223A (en) * 2004-11-26 2006-06-15 Nippon Telegr & Teleph Corp <Ntt> User bodily sensation quality estimate system, method, and apparatus, reception state information transmission apparatus, and transmission and reception terminals
JP2006217470A (en) * 2005-02-07 2006-08-17 Nippon Telegr & Teleph Corp <Ntt> Method for managing large scale stream distribution quality, and device and program for managing viewing and listening quality
JP2009171209A (en) * 2008-01-16 2009-07-30 Hitachi Kokusai Electric Inc Transmission state display device
JP2010098441A (en) * 2008-10-15 2010-04-30 Nec Corp Video data transmission device, video distribution system, video quality evaluating method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164330A (en) * 1997-11-26 1999-06-18 Ando Electric Co Ltd Dynamic image communication evaluation system
JP2001285481A (en) * 2000-03-30 2001-10-12 Matsushita Electric Ind Co Ltd Multi-display test device
JP2006157223A (en) * 2004-11-26 2006-06-15 Nippon Telegr & Teleph Corp <Ntt> User bodily sensation quality estimate system, method, and apparatus, reception state information transmission apparatus, and transmission and reception terminals
JP2006217470A (en) * 2005-02-07 2006-08-17 Nippon Telegr & Teleph Corp <Ntt> Method for managing large scale stream distribution quality, and device and program for managing viewing and listening quality
JP2009171209A (en) * 2008-01-16 2009-07-30 Hitachi Kokusai Electric Inc Transmission state display device
JP2010098441A (en) * 2008-10-15 2010-04-30 Nec Corp Video data transmission device, video distribution system, video quality evaluating method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465664B1 (en) 2013-12-31 2014-12-01 성균관대학교산학협력단 Image data quality assessment apparatus, method and system
KR101716082B1 (en) * 2016-04-12 2017-03-14 연세대학교 산학협력단 Method and apparatus for video quality measurement
US10284857B2 (en) 2016-04-12 2019-05-07 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for evaluating video quality

Also Published As

Publication number Publication date
JP5384444B2 (en) 2014-01-08

Similar Documents

Publication Publication Date Title
JP4965659B2 (en) How to determine video quality
JP5427238B2 (en) Method and system for determining the quality value of a video stream
JP4377357B2 (en) Video quality estimation apparatus and video quality estimation method
US20110222669A1 (en) Method for estimating the quality of experience of a user in respect of audio and/or video contents distributed through telecommunications networks
US8194758B2 (en) Image receiving apparatus and control method of image receiving apparatus
JP4308227B2 (en) Video quality estimation device, video quality management device, video quality estimation method, video quality management method, and program
JP4787210B2 (en) Video quality estimation method, apparatus, and program
JP4914400B2 (en) Quality estimation method, quality estimation system, user terminal, quality management terminal and program
JP2010098441A (en) Video data transmission device, video distribution system, video quality evaluating method, and program
JP2006157223A (en) User bodily sensation quality estimate system, method, and apparatus, reception state information transmission apparatus, and transmission and reception terminals
JP5384444B2 (en) Video quality estimation system, video distribution server, and user reception / playback terminal
Hu et al. A new approach for packet loss measurement of video streaming and its application
JP5707309B2 (en) Quality degradation judgment device and method
JP5373704B2 (en) Multimedia quality estimation apparatus and multimedia quality estimation method
JP2010063004A (en) Video data transmission apparatus, video distribution system, video quality evaluation method and program
JP2009188674A (en) Transmitting apparatus, receiving apparatus, moving image sound transmission quality evaluating method, and moving image sound transmission quality evaluation program
CN105959798A (en) Video stream frame positioning method and device, and equipment
JP2009171023A (en) Image quality evaluation apparatus, image quality evaluation method, program for image quality evaluation, and video reception terminal
JP4733071B2 (en) Video quality estimation method and apparatus
JP4740967B2 (en) Video quality estimation apparatus, method, and program
JP4866376B2 (en) User experience quality measurement apparatus and user experience quality measurement method
KR20200003598A (en) Method and system for real time measuring quality of video call service
JP5806981B2 (en) Playback state estimation apparatus, method and program
JP4823253B2 (en) User experience quality measurement apparatus, user experience quality measurement method, and program
JP4460549B2 (en) User experience quality estimation apparatus, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131002

R150 Certificate of patent or registration of utility model

Ref document number: 5384444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees