JPWO2008123125A1 - Image quality evaluation system, method and program - Google Patents

Image quality evaluation system, method and program Download PDF

Info

Publication number
JPWO2008123125A1
JPWO2008123125A1 JP2009509063A JP2009509063A JPWO2008123125A1 JP WO2008123125 A1 JPWO2008123125 A1 JP WO2008123125A1 JP 2009509063 A JP2009509063 A JP 2009509063A JP 2009509063 A JP2009509063 A JP 2009509063A JP WO2008123125 A1 JPWO2008123125 A1 JP WO2008123125A1
Authority
JP
Japan
Prior art keywords
image
video data
image quality
quality evaluation
received video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009509063A
Other languages
Japanese (ja)
Inventor
山田 徹
徹 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2008123125A1 publication Critical patent/JPWO2008123125A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems

Abstract

【課題】画像を受信した端末上で行った画質評価の信頼性を、画像送出装置上で判定すること。【解決手段】受信端末は前記受信端末上で行った受信画像の画質評価結果を画像送出装置側に送信すると同時に、あらかじめ定められた時間間隔で前記受信画像を画像送出装置に送信する。画像送出装置では、あらかじめ定められた時間間隔で受信端末から送られてきた受信画像フレームと、送信前の原画像フレームとを比較することで前記受信画像フレームの画質を評価し、受信端末上で行った画質評価結果の信頼性を評価する。【選択図】図1Reliability of image quality evaluation performed on a terminal that receives an image is determined on an image transmission apparatus. A receiving terminal transmits the image quality evaluation result of a received image performed on the receiving terminal to the image transmitting apparatus side, and simultaneously transmits the received image to the image transmitting apparatus at a predetermined time interval. In the image transmission device, the image quality of the received image frame is evaluated by comparing the received image frame sent from the receiving terminal at a predetermined time interval with the original image frame before transmission. Evaluate the reliability of the image quality evaluation results. [Selection] Figure 1

Description

本発明は画質評価システム、方法およびプログラムに関し、特に伝送した映像データの受信時点の画質を評価する画質評価システム、方法およびプログラムに関する。   The present invention relates to an image quality evaluation system, method, and program, and more particularly to an image quality evaluation system, method, and program for evaluating image quality at the time of reception of transmitted video data.

従来この種の技術については、ITU−T Recommendation J.143(非特許文献1)に記載されているように、映像データの画質を客観的に評価する方法は大きく3種類に分類される。一つ目は原画像と劣化画像を直接比較し画質を評価する方法(Full Reference法)、二つ目は原画像の特徴量のみを伝送し、この特徴量と劣化画像から画質を評価する方法(Reduced Reference法)、三つ目は劣化画像のみから画質を評価する方法(No Reference法)である。映像データの伝送を伴うアプリケーションでは伝送路帯域に上限があり原画像の伝送が不可能であるため、受信端末側でFull Reference法を用いることができない。したがって、受信端末側では、Reduced Reference法もしくはNo Reference法を用いて画質評価を行うことになるが、画像受信端末側で測定した画質評価結果が、信頼できるものか否かを画像送出装置側が知ることができないという問題があった。この問題を解決するための技術が、特許文献1に開示されている。特許文献1に記載の画質評価装置では、受信した映像データのパケットロス情報およびエラー発生時のエラーコンシールメント方法を画像送出装置に送信し、画像送出装置側で受信映像を再現して、画像送出装置上で画質評価を行うことで上記問題を解決している。
ITU−T Recommendation J.143(特にPP.4〜5) 特開2006−157223号公報
Conventionally, regarding this type of technology, as described in ITU-T Recommendation J.143 (Non-Patent Document 1), methods for objectively evaluating the image quality of video data are roughly classified into three types. The first method is to directly compare the original image and the degraded image to evaluate the image quality (Full Reference method), and the second is to transmit only the feature quantity of the original image and evaluate the image quality from this feature quantity and the degraded image. (Reduced Reference Method), and the third is a method (No Reference Method) for evaluating image quality only from a degraded image. In an application involving transmission of video data, the transmission path band has an upper limit, and transmission of an original image is impossible, so the Full Reference method cannot be used on the receiving terminal side. Therefore, the receiving terminal side performs image quality evaluation using the Reduced Reference method or the No Reference method, but the image sending apparatus side knows whether the image quality evaluation result measured on the image receiving terminal side is reliable. There was a problem that I could not. A technique for solving this problem is disclosed in Patent Document 1. In the image quality evaluation apparatus described in Patent Document 1, packet loss information of received video data and an error concealment method when an error occurs are transmitted to the image transmission apparatus, and the received video is reproduced on the image transmission apparatus side to transmit the image. The above problem is solved by performing image quality evaluation on the apparatus.
ITU-T Recommendation J.143 (especially PP.4-5) JP 2006-157223 A

特許文献1に記載されている画質評価装置では、常に画質を画像送出装置側で評価するため、画像送出装置側の負荷が高くなるという問題があった。   In the image quality evaluation apparatus described in Patent Document 1, since the image quality is always evaluated on the image transmission apparatus side, there is a problem that the load on the image transmission apparatus side becomes high.

本発明は上述した問題を鑑みて提案されたものであって、本発明の目的は、画像送出装置側で、画像受信端末が受信した映像データ(以下、受信映像データと記載)の画質評価を行う際、画像送出装置の負荷を低減することが可能な画質評価システム、方法およびそのプログラムを提供することにある。   The present invention has been proposed in view of the above-described problems, and an object of the present invention is to evaluate the image quality of video data (hereinafter referred to as received video data) received by an image receiving terminal on the image sending device side. An object of the present invention is to provide an image quality evaluation system, method, and program thereof that can reduce the load on the image transmission apparatus.

また、本発明は、映像データを受信した画像受信端末上で画質評価を行うことと、その評価結果の信頼性を、画像送出装置上で判定可能にする画質評価システム、方法およびそのプログラムを提供することにある。   In addition, the present invention provides an image quality evaluation system, method, and program for performing image quality evaluation on an image receiving terminal that has received video data and making it possible to determine the reliability of the evaluation result on an image transmission apparatus. There is to do.

上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、前記画像出装置は、前記受信映像データを用いて画質評価を行うことを特徴とする画質評価システムである。   The present invention for solving the above problems is an image quality evaluation system in which an image receiving device receives video data sent from an image sending device and evaluates the image quality of the video data, and the image receiving device receives the received video. Data is decoded, and the decoded received video data is transmitted to an image sending device at a predetermined time interval, and the image output device performs image quality evaluation using the received video data. This is an image quality evaluation system.

また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うことを特徴とする画質評価システムである。   Further, the present invention for solving the above problems is an image quality evaluation system in which an image receiving device receives video data sent from an image sending device and evaluates the image quality of the video data, the image receiving device receiving the image data The received video data is decoded at a predetermined time interval, and the decoded received video data and the image quality evaluation result obtained by evaluating the image quality of the received video data are transmitted to the image sending device, and the image The output device is an image quality evaluation system that performs image quality evaluation of the received video data using the received video data and the image quality evaluation result.

また、上記課題を解決する本発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムであって、前記画像受信装置は、ネットワークを介して符号化された映像データを受信し、この映像データを復号化する画像復号化処理部と、受信した映像データの画質評価を行い、画質評価結果を送出する画質評価処理部と、前記画像復号化処理部で復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で送出する受信画像符号化処理部と、を有し、前記画像送出装置は、ネットワークを介して前記画質評価結果と前記映像フレームとを受信し、符号化された前記映像フレームを復号化する画像復号化処理部と、復号された映像フレームと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部と、を有して構成されることを特徴とする画質評価システムである。   In addition, the present invention for solving the above-mentioned problems is an image quality evaluation system in which an image receiving apparatus receives encoded video data transmitted from an image transmitting apparatus via a network and evaluates the image quality of the received video data. The image receiving apparatus receives video data encoded via a network, performs image quality evaluation of the received video data, and an image decoding processing unit that decodes the video data, and performs image quality evaluation. An image quality evaluation processing unit for transmitting the result; and a received image encoding processing unit for encoding an arbitrary video frame of the received video data decoded by the image decoding processing unit and transmitting the video frame at a predetermined time interval. And the image sending device receives the image quality evaluation result and the video frame via a network and decodes the encoded video frame. And an image quality evaluation reliability determination unit that evaluates the reliability of the image quality evaluation result of the image receiving device by comparing the decoded video frame and the image quality evaluation result. It is the image quality evaluation system characterized by being performed.

また、上記課題を解決する本発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像送出装置であって、画像受信装置から、この画像受信装置で受信された映像データと、この画像受信装置で受信された映像データの画質評価結果とを入力とし、前記映像データと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部を有して構成されることを特徴とする画質評価システムの画像送出装置である。   In addition, the present invention for solving the above-mentioned problems is an image quality evaluation system in which an image receiving apparatus receives encoded video data transmitted from an image transmitting apparatus via a network and evaluates the image quality of the received video data. An image sending device for receiving the video data received by the image receiving device from the image receiving device and the image quality evaluation result of the video data received by the image receiving device, and the video data Image transmission of an image quality evaluation system comprising an image quality evaluation reliability determination unit that evaluates the reliability of the image quality evaluation result of the image receiving device by comparing with the image quality evaluation result Device.

また、上記課題を解決する本発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像受信装置であって、受信した映像データの画質評価を行い、画質評価結果を前記画像送出装置に送出する画質評価処理部と、復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で前記画像送出装置に送出する受信画像符号化処理部とを有することを特徴とする画質評価システムのための画像受信装置である。   In addition, the present invention for solving the above-mentioned problems is an image quality evaluation system in which an image receiving apparatus receives encoded video data transmitted from an image transmitting apparatus via a network and evaluates the image quality of the received video data. An image receiving apparatus for performing image quality evaluation of received video data, sending an image quality evaluation result to the image transmitting apparatus, and encoding an arbitrary video frame of the decoded received video data The image receiving apparatus for the image quality evaluation system includes a received image encoding processing unit that transmits the image to the image transmitting apparatus at predetermined time intervals.

また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、前記画像出装置は、前記受信映像データを用いて画質評価を行うことを特徴とする画質評価方法である。   In addition, the present invention for solving the above-described problem is an image quality evaluation method in which an image reception device receives video data transmitted from an image transmission device and evaluates the image quality of the video data, and the image reception device receives the image data. The decoded video data is decoded, and the decoded received video data is transmitted to the image transmission device at a predetermined time interval, and the image output device performs image quality evaluation using the received video data. Is an image quality evaluation method.

また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うことを特徴とする画質評価方法である。   In addition, the present invention for solving the above-described problem is an image quality evaluation method in which an image reception device receives video data transmitted from an image transmission device and evaluates the image quality of the video data, and the image reception device receives the image data. The received video data is decoded at a predetermined time interval, and the decoded received video data and the image quality evaluation result obtained by evaluating the image quality of the received video data are transmitted to the image sending device, and the image The output device is an image quality evaluation method that performs image quality evaluation of the received video data using the received video data and the image quality evaluation result.

また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信するように機能させ、前記画像出装置が、前記受信映像データを用いて画質評価を行うように機能させることを特徴とする画質評価プログラムである。   Further, the present invention for solving the above problems is an image quality evaluation program for receiving video data sent from an image sending device and evaluating the image quality of the video data, wherein the image receiving device receives the image data. The received image data is decoded at a predetermined time interval, and the received image data is transmitted to the image sending device. The image output device performs image quality evaluation using the received image data. It is an image quality evaluation program characterized in that it functions as it does.

また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信するように機能させ、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うように機能させることを特徴とする画質評価プログラムである。   Further, the present invention for solving the above problems is an image quality evaluation program for receiving video data sent from an image sending device and evaluating the image quality of the video data, wherein the image receiving device receives the image data. A function of decoding the received video data and transmitting the decoded received video data and an image quality evaluation result obtained by evaluating the image quality of the received video data to the image transmission device at a predetermined time interval. And the image output device functions to perform image quality evaluation of the received video data using the received video data and the image quality evaluation result.

本発明の効果は、映像データを受信した端末上での画質評価結果の信頼性を、画像送出装置上にて低負荷で判定できることにある。   An advantage of the present invention is that the reliability of the image quality evaluation result on the terminal that has received the video data can be determined with a low load on the image transmission apparatus.

その理由は、画像送出装置側に入力される受信映像データは、画像受信端末から、あらかじめ定められた時間間隔で送出されたものであるからである。また、画質評価を画像受信端末側で行うことで画像送出装置の負荷を低減し、あらかじめ指定された時間間隔で画像送出装置側でも画質評価を行うためである。また、この評価結果と、画像受信端末側で行った画質評価結果を比較することで、受信端末側での画質評価結果の信頼性を画像送出装置側が把握することができる。   The reason is that the received video data input to the image sending device is sent from the image receiving terminal at a predetermined time interval. Further, the image quality evaluation is performed on the image receiving terminal side to reduce the load on the image transmission device, and the image transmission device side also performs the image quality evaluation at a predetermined time interval. Also, by comparing this evaluation result with the image quality evaluation result performed on the image receiving terminal side, the image transmission apparatus side can grasp the reliability of the image quality evaluation result on the receiving terminal side.

本発明の第1の実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of the 1st Embodiment of this invention. 本発明の第2の実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of the 2nd Embodiment of this invention. 本発明の第3の実施の形態の動作を示す図である。It is a figure which shows the operation | movement of the 3rd Embodiment of this invention. 本発明の第3の実施の形態の動作を示す図である。It is a figure which shows the operation | movement of the 3rd Embodiment of this invention. 本発明の第4の実施の形態であるコンピュータシステムのうち、画像送出システムを示すブロック図である。It is a block diagram which shows an image transmission system among the computer systems which are the 4th Embodiment of this invention. 本発明の第4の実施の形態であるコンピュータシステムのうち、画像受信システムを示すブロック図である。It is a block diagram which shows an image receiving system among the computer systems which are the 4th Embodiment of this invention.

符号の説明Explanation of symbols

101 画像符号化処理部
102 画質評価結果集計処理部
103 画像復号化処理部
104 画質値信頼度判定処理部
301 画像復号化処理部
302 画質評価処理部
303 受信画像符号化処理部
401 画像符号化処理部
402 画質評価結果集計処理部
403 画像復号化処理部
404 画質値信頼度判定処理部
405 画質評価結果蓄積処理部
501 画像復号化処理部
502 画質評価処理部
503 受信画像符号化処理部
504 受信画像データ蓄積処理部
51 プログラム制御プロセッサ
52 入力データバッファ
53 出力データバッファ
54 プログラムメモリ
55 画像符号化処理
56 画質評価結果集計処理
57 画像復号化処理
58 質値信頼度判定処理
61 プログラム制御プロセッサ
62 入力データバッファ
63 出力データバッファ
64 プログラムメモリ
65 画像復号化処理
66 画質評価処理
67 受信画像符号化処理
DESCRIPTION OF SYMBOLS 101 Image encoding process part 102 Image quality evaluation result totaling process part 103 Image decoding process part 104 Image quality value reliability determination process part 301 Image decoding process part 302 Image quality evaluation process part 303 Reception image encoding process part 401 Image encoding process Unit 402 image quality evaluation result totaling processing unit 403 image decoding processing unit 404 image quality value reliability determination processing unit 405 image quality evaluation result accumulation processing unit 501 image decoding processing unit 502 image quality evaluation processing unit 503 received image encoding processing unit 504 received image Data storage processing unit 51 Program control processor 52 Input data buffer 53 Output data buffer 54 Program memory 55 Image encoding process 56 Image quality evaluation result totaling process 57 Image decoding process 58 Quality value reliability determination process 61 Program control processor 62 Input data buffer 63 Output data Buffer 64 program memory 65 the image decoding process 66 image quality evaluation processing 67 receives the image coding process

本発明の画質評価システムは、あらかじめ定められた時間間隔で受信映像データを画像送出装置側に送出することで画質評価を行う。よって、画像送出装置の負荷を抑えた画質評価を行うことが可能となる。   The image quality evaluation system of the present invention performs image quality evaluation by sending received video data to the image sending device side at predetermined time intervals. Therefore, it is possible to perform image quality evaluation with a reduced load on the image transmission apparatus.

また、画質評価を画像受信端末上で行うことで画像送出装置側の負担を軽減する。この際、画像送出装置側でもあらかじめ定められた時間間隔で画質評価を行い、画像送出装置側で、この画質評価値と画像受信端末から送出された受信映像データとから、画質評価を行う構成であっても画像送出装置の負荷を抑えた画質評価を行うことが可能となる。   In addition, the image quality evaluation is performed on the image receiving terminal, thereby reducing the burden on the image sending apparatus side. At this time, the image transmission device side performs image quality evaluation at predetermined time intervals, and the image transmission device side performs image quality evaluation from the image quality evaluation value and the received video data transmitted from the image receiving terminal. Even in such a case, it is possible to perform image quality evaluation with a reduced load on the image transmission apparatus.

画像受信端末から、画像送出装置に送出される受信映像データは、映像フレームであってよい。映像フレームは、ネットワーク帯域の制限があるため、たとえばJPEG方式などで圧縮した上で送信されることになるが、受信時の画質が損なわれない程度の圧縮率で圧縮を行うが、可逆圧縮による符号化を用いてもよい。画像送出装置側では、あらかじめ定められた時間間隔で受信端末から送られてきた映像フレームと、送出前の原画像フレームとを比較することで当該映像フレームの画質を評価し、受信端末から別途送られてきている画質評価結果の信頼性を評価する。   The received video data sent from the image receiving terminal to the image sending device may be a video frame. Video frames are transmitted after being compressed using, for example, the JPEG method because of the limitation of network bandwidth, but compression is performed at a compression rate that does not impair the image quality at the time of reception. Encoding may be used. On the image sending device side, the image quality of the video frame is evaluated by comparing the video frame sent from the receiving terminal at a predetermined time interval with the original image frame before sending, and sent separately from the receiving terminal. Evaluate the reliability of the image quality evaluation results.

以下に、本発明の実施の形態を説明する。   Hereinafter, embodiments of the present invention will be described.

(第1の実施の形態)
次に、図1を参照して本発明の画質評価システムの動作について詳細に説明する。
(First embodiment)
Next, the operation of the image quality evaluation system of the present invention will be described in detail with reference to FIG.

図1を参照すると、本発明による画質評価システムは、画像送出装置1と伝送路2と画像受信装置3とから構成されている。画像送出装置1は入力される画像を符号化し映像データとする画像符号化処理部101と、画像受信装置3から送られてくる画質評価結果を集計する画質評価集計処理部102と、画像受信装置3から送られてくる受信映像データを復号する画像復号化処理部103と、画像受信装置3から送られてきた画質評価結果の信頼性を判定する画質値信頼度判定処理部104とから構成される。   Referring to FIG. 1, the image quality evaluation system according to the present invention includes an image sending device 1, a transmission path 2, and an image receiving device 3. The image sending device 1 encodes an input image and uses it as video data, an image coding processing unit 101, an image quality evaluation totaling processing unit 102 for totaling image quality evaluation results sent from the image receiving device 3, and an image receiving device 3 includes an image decoding processing unit 103 that decodes the received video data transmitted from the image receiving unit 3 and an image quality value reliability determination processing unit 104 that determines the reliability of the image quality evaluation result transmitted from the image receiving device 3. The

画像受信装置3は受信した映像データを復号する画像復号化処理部301と、受信した映像データの画質を評価し画像送出装置1に送信する画質評価処理部302と、受信映像データをあらかじめ定められた時間間隔で符号化し画像送出装置1に送信する受信画像符号化処理部303とから構成される。   The image receiving device 3 has an image decoding processing unit 301 that decodes the received video data, an image quality evaluation processing unit 302 that evaluates the image quality of the received video data and transmits the received image data to the image sending device 1, and received video data. And a received image encoding processing unit 303 that encodes the image at a predetermined time interval and transmits the encoded image to the image transmission apparatus 1.

画像受信装置3は、伝送された映像データを視聴する個々の視聴者が使用する受信端末の形態であってもよいし、受信している家庭の家庭内ネットワークの入り口に設置されるホームゲートウェイの形態であってもよい。   The image receiving device 3 may be in the form of a receiving terminal used by individual viewers who view the transmitted video data, or a home gateway installed at the entrance of the home network of the receiving home. Form may be sufficient.

入力された原画像は、画像符号化処理部101で符号化され、符号化された映像データが伝送路2を介して画像受信装置3に伝送される。伝送された符号化画像(映像データ)は、画像復号化処理部301にて復号され、受信映像データが得られる。受信した符号化画像または復号した受信映像データは、画質評価処理部302に送られ、受信映像データの画質が評価される。ここでの評価は、Reduced Reference法もしくはNo Reference法による画質評価を行う。Reduced Reference法で評価を行う場合は、画像符号化処理部101は、原画像の符号化および伝送の他に、原画像の特徴量の抽出、符号化、伝送も行う。画質評価処理部302にて得られた画質値は伝送路2を介して画像送出装置1の画質評価結果集計処理部102に送り返されることで、画像送出装置1は画像受信装置3にて受信された画像(受信映像データ)の画質を把握する。   The input original image is encoded by the image encoding processing unit 101, and the encoded video data is transmitted to the image receiving device 3 via the transmission path 2. The transmitted encoded image (video data) is decoded by the image decoding processing unit 301 to obtain received video data. The received encoded image or decoded received video data is sent to the image quality evaluation processing unit 302, and the image quality of the received video data is evaluated. In this evaluation, the image quality is evaluated by the Reduced Reference method or the No Reference method. When the evaluation is performed using the Reduced Reference method, the image encoding processing unit 101 extracts, encodes, and transmits the feature amount of the original image in addition to encoding and transmitting the original image. The image quality value obtained by the image quality evaluation processing unit 302 is sent back to the image quality evaluation result totaling processing unit 102 of the image transmission device 1 via the transmission path 2, so that the image transmission device 1 is received by the image reception device 3. Grasp the image quality of received images (received video data).

受信画像符号化処理部303では、あらかじめ定められた時間間隔で受信映像データの1フレームもしくは複数のフレームもしくは画像の一部分を符号化した映像フレームとして、画像送出装置1に伝送する。このとき映像フレームは、可逆圧縮による符号化か、受信画像の画質が損なわれない程度の圧縮率となるような非可逆圧縮による符号化を用いて伝送される。あらかじめ指定される時間間隔は、映像の特徴や伝送路2の状態によって決定されるものとする。間隔は一定でなくても良く、ランダムであってよい。例えば、より高精度に画質評価を行いたいときや、画像送出装置1、伝送路2、画像受信装置3の負荷に余裕があるときなどは間隔を短くするように制御し、そうでないときは間隔を長くするように制御するようにしてもよい。   The received image encoding processing unit 303 transmits to the image sending apparatus 1 as a video frame obtained by encoding one frame or a plurality of frames or a part of an image of the received video data at a predetermined time interval. At this time, the video frame is transmitted using encoding by lossless compression or encoding by lossy compression so that the compression rate is such that the image quality of the received image is not impaired. The time interval specified in advance is determined by the characteristics of the video and the state of the transmission path 2. The interval may not be constant and may be random. For example, when it is desired to evaluate the image quality with higher accuracy, or when there is a margin in the load of the image sending device 1, the transmission path 2, and the image receiving device 3, the interval is controlled to be short. You may make it control so that may be lengthened.

画像送出装置1は、画像受信端末3から受信した受信映像データ(この例では映像フレーム)を画像復号化処理部103にて復号し、画像受信装置3が受信していた映像フレーム情報を復元する。復元された映像フレームは画質値信頼度判定処理部104に送られ、当該フレームと再生時間が一致する原画像の映像フレームと比較することにより、画像送出装置上で画質が評価される。画質値信頼度判定処理部104では原画像データを参照できるため、Full Reference法により比較的高精度な画質評価が可能となる。   The image sending device 1 decodes the received video data (video frame in this example) received from the image receiving terminal 3 by the image decoding processing unit 103 and restores the video frame information received by the image receiving device 3. . The restored video frame is sent to the image quality value reliability determination processing unit 104, and the image quality is evaluated on the image sending device by comparing with the video frame of the original image whose playback time matches the frame. Since the image quality reliability determination processing unit 104 can refer to the original image data, it is possible to evaluate the image quality with relatively high accuracy by the Full Reference method.

このとき、フレーム全体の情報を伝送せずに、フレームの一部分の情報を伝送することで、伝送路2の負荷を低減することも可能となる。また、フレームの一部分の情報として、受信映像データの特徴を表す特徴量を用いてもよい。   At this time, it is possible to reduce the load on the transmission path 2 by transmitting information of a part of the frame without transmitting the information of the entire frame. In addition, a feature amount representing the feature of the received video data may be used as information on a part of the frame.

この場合、受信映像データを伝送するたびに伝送する映像フレームの部分を変更することで、画像送出装置1での画質評価精度の劣化を防ぐことも可能である。また、劣化が目につきやすい映像領域や、発生した劣化が後続のフレーム伝播しやすい映像領域などを選択して伝送することで、画質評価精度を維持することも可能となる。   In this case, it is possible to prevent deterioration in image quality evaluation accuracy in the image sending apparatus 1 by changing the portion of the video frame to be transmitted each time the received video data is transmitted. It is also possible to maintain image quality evaluation accuracy by selecting and transmitting a video region in which deterioration is easily noticeable or a video region in which the generated deterioration is likely to propagate through subsequent frames.

なお、受信画像符号化処理部303が映像フレームそのものを符号化せずに、受信画像の特徴量を抽出、符号化して画像送出装置1に伝送した場合は、画質値信頼度判定処理部104において、原画像フレームと、受信画像の特徴量を用いたReduced Reference法により、画質が評価される。ここで得られる画質値と、画像受信装置3から送られてきた画像受信装置3にて画質評価を行った結果とを比較し、画像受信装置3から送られてきた画質評価結果が妥当なものであるか否かを判定する。例えば、画像送出装置1での画質評価結果と、画像受信装置3での画質評価結果との間に相関関係が見られなければ、画像受信装置3での評価結果が信頼できないことがわかる。   Note that when the received image encoding processing unit 303 extracts the feature amount of the received image without encoding the video frame itself, encodes it, and transmits it to the image sending apparatus 1, the image quality value reliability determination processing unit 104 The image quality is evaluated by the reduced reference method using the original image frame and the feature amount of the received image. The image quality value obtained here is compared with the result of image quality evaluation performed by the image receiving device 3 sent from the image receiving device 3, and the image quality evaluation result sent from the image receiving device 3 is reasonable. It is determined whether or not. For example, if there is no correlation between the image quality evaluation result in the image transmission device 1 and the image quality evaluation result in the image reception device 3, it can be understood that the evaluation result in the image reception device 3 is not reliable.

(第2の実施の形態)
次に、本発明の第2の実施の形態について図面を参照して詳細に説明する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described in detail with reference to the drawings.

第2の実施の形態では、画像受信装置3から画像送出装置1への受信映像データの伝送を非リアルタイムに行うことを特徴としている。非リアルタイムで伝送を行うことで、画像送出装置1や伝送路2への負荷集中を防ぐことが可能となる。   The second embodiment is characterized in that transmission of received video data from the image receiving device 3 to the image sending device 1 is performed in non-real time. By performing non-real time transmission, it is possible to prevent load concentration on the image sending apparatus 1 and the transmission path 2.

図2に第2の実施の形態の構成を示す。図1で示した第1の実施の形態との構成の違いは、画質評価結果蓄積処理部405と受信画像データ蓄積処理部504の有無である。画像送出装置1へ伝送する受信映像データとして映像フレームをリアルタイムで送らずに、一度受信画像データ蓄積処理部504に蓄積し、画像送出装置1や伝送路2の負荷が高くない時間帯に伝送する。   FIG. 2 shows the configuration of the second embodiment. The difference from the first embodiment shown in FIG. 1 is the presence / absence of the image quality evaluation result accumulation processing unit 405 and the received image data accumulation processing unit 504. As the received video data to be transmitted to the image sending device 1, the video frames are not sent in real time, but are once stored in the received image data storage processing unit 504, and are transmitted in a time zone where the load on the image sending device 1 and the transmission path 2 is not high. .

画像送出装置1では、常に送られてくる画像受信装置3での画質評価結果を画質評価結果蓄積処理部405に蓄積し、画像受信装置3から受信画像の情報が送られてくるたびに、画像送出装置1でも画質評価を行い、画像受信装置3から送られて蓄積されていた画質評価結果が妥当なものであるか否かを判定する。   In the image sending device 1, the image quality evaluation result in the image receiving device 3 that is always sent is stored in the image quality evaluation result storage processing unit 405, and every time the information of the received image is sent from the image receiving device 3, the image sending device 1 The sending apparatus 1 also performs image quality evaluation, and determines whether or not the image quality evaluation result sent from the image receiving apparatus 3 and stored is appropriate.

(第3の実施の形態)
次に、本発明の第3の実施の形態について図面を参照して詳細に説明する。
(Third embodiment)
Next, a third embodiment of the present invention will be described in detail with reference to the drawings.

第3の実施の形態では、映像データの伝送が1対1の伝送ではなく、1対多の伝送の場合において、図3が示すように画像受信装置から画像送出装置への受信映像データの映像フレームの伝送が、全ての画像受信装置からではなく、あらかじめ指定された画像受信装置からのみ伝送することを特徴としている。このような構成とすることで、画像送出装置での画質評価処理の負荷増加を防ぐことが可能となる。   In the third embodiment, when the transmission of video data is not one-to-one transmission but one-to-many transmission, the video of the received video data from the image receiving apparatus to the image sending apparatus as shown in FIG. It is characterized in that the frame is transmitted not from all the image receiving apparatuses but only from a predetermined image receiving apparatus. With such a configuration, it is possible to prevent an increase in image quality evaluation processing load in the image transmission apparatus.

また、図3、4が示すように受信映像データを伝送するタイミングごとに、受信映像データを伝送する画像受信装置を変更するような動作とすることで、多くの画像受信装置からの受信画像情報を受け取ることが可能となり、多くの画像受信装置での画質評価結果が妥当なものであるか否かが判定可能となる。   Also, as shown in FIGS. 3 and 4, the received image information from many image receiving apparatuses is changed by changing the image receiving apparatus that transmits the received video data at each timing of transmitting the received video data. Therefore, it is possible to determine whether or not the image quality evaluation results in many image receiving apparatuses are appropriate.

(第4の実施の形態)
次に、本発明の第4の実施の形態について図5、6を参照して詳細に説明する。
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described in detail with reference to FIGS.

第4の実施の形態では、上述した第1の実施の形態に示される画像評価装置をコンピュータシステムにより実現されるものである。   In the fourth embodiment, the image evaluation apparatus shown in the first embodiment described above is realized by a computer system.

図5は、第4の実施の形態におけるコンピュータシステムにおいて、画像送出システムを示している。図5を参照すると、本システムはプログラム制御プロセッサ51が装備されている。プログラム制御プロセッサ51には、入力データバッファ52および出力データバッファ53の他に、必要なプログラムを格納したプログラムメモリ54が接続されている。プログラムメモリ54に格納されるプログラムモジュールは、メインプログラムの他に、画像符号化処理55、画質評価結果集計処理56、画像復号化処理57、画質値信頼度判定処理58で構成される。メインプログラムは、前記プログラムモジュールを実行する主プログラムである。画像符号化処理55、画質評価結果集計処理56、画像復号化処理57、画質値信頼度判定処理58のプログラムモジュールは上述した画像符号化処理部101と、画質評価集計処理部102と、画像復号化処理部103と、画質値信頼度判定処理部104をそれぞれ機能的に実現する。   FIG. 5 shows an image transmission system in the computer system according to the fourth embodiment. Referring to FIG. 5, the system is equipped with a program control processor 51. In addition to the input data buffer 52 and the output data buffer 53, the program control processor 51 is connected to a program memory 54 that stores necessary programs. The program module stored in the program memory 54 includes an image encoding process 55, an image quality evaluation result totaling process 56, an image decoding process 57, and an image quality value reliability determination process 58 in addition to the main program. The main program is a main program that executes the program module. The program modules of the image encoding processing 55, the image quality evaluation result totaling processing 56, the image decoding processing 57, and the image quality value reliability determination processing 58 are the image encoding processing unit 101, the image quality evaluation totaling processing unit 102, and the image decoding described above. The image processing unit 103 and the image quality reliability determination unit 104 are functionally realized.

図6は、第4の実施の形態におけるコンピュータシステムにおいて、映像データを受信し画質推定を行う画像受信システムを示している。画像受信システムには、プログラム制御プロセッサ61が装備されている。プログラム制御プロセッサ61には、入力データバッファ62および出力データバッファ63の他に、必要なプログラムを格納したプログラムメモリ64が接続されている。プログラムメモリ64に格納されるプログラムモジュールは、メインプログラムの他に、画像復号化処理65と、画質評価処理66と、受信画像符号化処理67とで構成される。メインプログラムは、受信した映像データを復号し、画質評価処理を実行する主プログラムである。画像復号化処理65と、画質評価処理66と、受信画像符号化処理67のプログラムモジュールは上述した画像復号化処理部301と、画質評価処理部302と、受信画像符号化処理部303をそれぞれ機能的に実現する。前記画像送出システムと前記画像受信システムのメインプログラムおよび各機能モジュールをプログラム制御プロセッサ51およびプログラム制御プロセッサ61で実行することで、本発明による画質評価処理が実行される。   FIG. 6 shows an image receiving system that receives video data and estimates image quality in a computer system according to the fourth embodiment. The image receiving system is equipped with a program control processor 61. In addition to the input data buffer 62 and the output data buffer 63, the program control processor 61 is connected to a program memory 64 that stores necessary programs. The program module stored in the program memory 64 includes an image decoding process 65, an image quality evaluation process 66, and a received image encoding process 67 in addition to the main program. The main program is a main program that decodes received video data and executes image quality evaluation processing. The program modules of the image decoding process 65, the image quality evaluation process 66, and the received image encoding process 67 function the above-described image decoding process unit 301, image quality evaluation process unit 302, and received image encoding process unit 303, respectively. Realize. By executing the main program and each functional module of the image transmission system and the image reception system by the program control processor 51 and the program control processor 61, the image quality evaluation processing according to the present invention is executed.

本実施の形態では、第1の実施の形態の構成をコンピュータシステムに実現する例を示したが、本発明の第2、第3の実施の形態についても同様にコンピュータによって実現可能である。   In the present embodiment, an example in which the configuration of the first embodiment is realized in a computer system has been described. However, the second and third embodiments of the present invention can be similarly realized by a computer.

次に、具体的な実施例を用いて本発明の構成/機能/動作を説明する。   Next, the configuration / function / operation of the present invention will be described using specific embodiments.

この実施例では、原画像としてSDTVサイズ(水平720画素、垂直480画素、1秒あたり29.97フレーム)の動画像データを図1に記載の画像送出装置1に入力する。ここで図1に示した画像符号化装置101は、MPEG−2符号化方式で動画像データを符号化し映像データとする。また、画像送出装置1に予め符号化された原画像が入力された場合、画像符号化処理部101によって、更に符号化する必要はない。   In this embodiment, moving image data of SDTV size (horizontal 720 pixels, vertical 480 pixels, 29.97 frames per second) is input to the image sending apparatus 1 shown in FIG. 1 as an original image. Here, the image encoding device 101 shown in FIG. 1 encodes moving image data by the MPEG-2 encoding method into video data. Further, when an original image encoded in advance is input to the image sending device 1, the image encoding processing unit 101 does not need to perform further encoding.

この符号化された動画像(映像データ)が伝送路(ネットワーク)2を介して画像受信装置3に伝送される。映像データを受信した画像受信装置3では、画像復号化処理部301にてMPEG−2方式で符号化された映像データを復号し、映像フレームに戻され視聴者によって視聴される。   The encoded moving image (video data) is transmitted to the image receiving device 3 via the transmission path (network) 2. In the image receiving device 3 that has received the video data, the video data encoded by the MPEG-2 method is decoded by the image decoding processing unit 301, returned to the video frame, and viewed by the viewer.

このとき、受信した映像データまたは復号された映像フレームが画質評価処理部302におくられ、画質評価処理部302によって、受信された映像データの画質が評価される。例えば特許文献2(特開2001−25014号公報)に開示されているような正しく復号できなかったサンプル数を画質評価値とするような方法で画質評価が行われるものとし、ここでは1フレームのうち半分の画素が正しく復号できなかったものとする。   At this time, the received video data or the decoded video frame is sent to the image quality evaluation processing unit 302, and the image quality evaluation processing unit 302 evaluates the image quality of the received video data. For example, image quality evaluation is performed by a method such as disclosed in Patent Document 2 (Japanese Patent Laid-Open No. 2001-25014) in which the number of samples that could not be correctly decoded is used as an image quality evaluation value. It is assumed that half of the pixels cannot be decoded correctly.

つまり、50%の画素で正しく復号できていることになり、この値が、画質評価処理部302が出力する画質スコア(画質評価結果)となる。   That is, 50% of pixels are correctly decoded, and this value is an image quality score (image quality evaluation result) output from the image quality evaluation processing unit 302.

この画質スコアは伝送路2を介して画像送出装置1に伝送される。伝送された画質スコアは、画像送出装置1の画質評価結果集計処理部102により受信され、画像送出装置1にて、画像受信装置3上での受信画質を把握することになる。   This image quality score is transmitted to the image sending apparatus 1 via the transmission path 2. The transmitted image quality score is received by the image quality evaluation result totaling processing unit 102 of the image sending device 1, and the image sending device 1 grasps the received image quality on the image receiving device 3.

一方、画像受信装置3では、例えば5秒間に一回の間隔で、映像フレームを受信画像符号化処理部303にて符号化し、伝送路2を介して画像送出装置1に伝送する。このとき、受信画像符号化処理部303では、受信フレームを圧縮率の低いJPEG方式にて符号化されるものとする。このように符号化され伝送された映像フレームは画像復号化処理部103にてJPEG方式で符号化されたデータを復号し、フレームデータに復元する。復元された映像フレームは画質値信頼度判定処理部104にて、当該映像フレームに該当する原画像フレームとの比較により再度画質評価が行われる。ここでの画質評価の結果、1フレームのうち半分の画素で原画像フレームと復元した映像フレームとの差分が閾値より大きいという結果が得られたとする。この結果は、画質評価結果集計処理部102で受信した画像受信装置3での画質スコアと一致しているため、画像受信装置3での画質評価結果が信頼できるものであると判断できる。一方、差分が閾値より小さい場合は、画像受信装置3の画質評価結果が信頼できないと判定する。この処理を5秒ごとに行い、画像受信装置3での画質評価の信頼性を検証する。   On the other hand, in the image receiving device 3, for example, a video frame is encoded by the received image encoding processing unit 303 at an interval of once every 5 seconds and transmitted to the image sending device 1 via the transmission path 2. At this time, it is assumed that the received image encoding processing unit 303 encodes the received frame using the JPEG method with a low compression rate. The video frame encoded and transmitted in this way is decoded by the image decoding processing unit 103 into data encoded by the JPEG method and restored to frame data. The restored image frame is subjected to image quality evaluation again by the image quality value reliability determination processing unit 104 by comparing with the original image frame corresponding to the image frame. As a result of the image quality evaluation here, it is assumed that the difference between the original image frame and the restored video frame is larger than the threshold value in half of the pixels in one frame. Since this result matches the image quality score in the image receiving device 3 received by the image quality evaluation result totaling processing unit 102, it can be determined that the image quality evaluation result in the image receiving device 3 is reliable. On the other hand, when the difference is smaller than the threshold value, it is determined that the image quality evaluation result of the image receiving device 3 is not reliable. This process is performed every 5 seconds, and the reliability of the image quality evaluation in the image receiving device 3 is verified.

また、本実施例はあくまで例にすぎない。この例では、伝送路2によって伝送された映像データは動画像データであったが、もちろん静止画像データであっても良い。この場合、画像受信装置3で送出される受信映像データとしては、受信された静止画像データの一部であってもよい。   Further, this embodiment is merely an example. In this example, the video data transmitted through the transmission path 2 is moving image data, but may of course be still image data. In this case, the received video data transmitted by the image receiving device 3 may be a part of the received still image data.

また、伝送路2におけるネットワーク通信品質データが得られる場合は、ネットワーク通信品質データを利用して画像送出装置1における画質の信頼性評価に利用することもできる。このネットワーク通信品質データを利用することによって、画質評価結果の信頼度評価に活用することが可能となる。また、前記ネットワーク通信品質データと画質評価結果を比較することにより、画質劣化の原因が伝送路2にあるのか画像受信装置3にあるのかの切り分けをおこなうことが可能となる。   When network communication quality data on the transmission path 2 can be obtained, the network communication quality data can also be used for reliability evaluation of image quality in the image sending apparatus 1. By using this network communication quality data, it is possible to use it for reliability evaluation of image quality evaluation results. Further, by comparing the network communication quality data and the image quality evaluation result, it is possible to determine whether the cause of the image quality degradation is in the transmission path 2 or in the image receiving device 3.

また、伝送路2において、上り(画像受信装置3から画像送出装置1)と下り(画像送出装置1から画像受信装置3)の物理的ネットワークが異なるもの、または、異なるプロトコルを用いるものであって良い。この場合、下りの通信帯域は上りと比較して大きい方が良く、上りの通信品質は、有る程度補償されているものを利用することが望ましい。   Further, in the transmission path 2, the physical networks of the upstream (image receiving apparatus 3 to image transmitting apparatus 1) and the downstream (image transmitting apparatus 1 to image receiving apparatus 3) are different or use different protocols. good. In this case, it is better that the downstream communication band is larger than that of the upstream, and it is desirable to use the upstream communication quality that has been compensated to some extent.

以上の如く、本実施の形態に記載された第1の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、前記画像出装置は、前記受信映像データを用いて画質評価を行うことを特徴とする画質評価システムである。   As described above, the first invention described in the present embodiment is an image quality evaluation system in which an image reception device receives video data transmitted from an image transmission device and evaluates the image quality of the video data. The image receiving device decodes the received video data, and transmits the decoded received video data to the image sending device at a predetermined time interval. The image output device uses the received video data. An image quality evaluation system characterized by performing image quality evaluation.

また、第2の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うことを特徴とする画質評価システムである。   According to a second aspect of the present invention, there is provided an image quality evaluation system in which the image receiving apparatus receives the video data transmitted from the image transmitting apparatus and evaluates the image quality of the video data, and the image receiving apparatus receives the received video data. The decoded received video data and the image quality evaluation result obtained by evaluating the image quality of the received video data are transmitted to the image transmission device at a predetermined time interval, and the image output device An image quality evaluation system that performs image quality evaluation of the received image data using the received image data and the image quality evaluation result.

また、第3の発明は、上記の発明において、前記画像送出装置で行われる画質評価が、前記画像受信装置の画質評価結果の信頼性を把握できるものであることを特徴とする。   According to a third aspect of the present invention, in the above invention, the image quality evaluation performed by the image transmission device can grasp the reliability of the image quality evaluation result of the image reception device.

また、第4の発明は、上記の発明において、前記受信映像データが、前記受信した映像データの内の任意の映像フレームであることを特徴とする。   The fourth invention is characterized in that, in the above invention, the received video data is an arbitrary video frame of the received video data.

また、第5の発明は、上記の発明において、前記受信映像データが、前記受信した映像データの内の任意の映像フレームの内、その映像フレームの一部分であることを特徴とする。   The fifth invention is characterized in that, in the above invention, the received video data is a part of the video frame in an arbitrary video frame of the received video data.

また、第6の発明は、上記発明において、前記受信映像データが、前記受信した映像データの特徴を表す映像特徴量であることを特徴とする。   The sixth invention is characterized in that, in the above invention, the received video data is a video feature amount representing a feature of the received video data.

また、第7の発明は、上記発明において、前記画像受信装置が、前記受信映像データを画像送出装置に送信するタイミングが、非リアルタイムで送出されることを特徴とする。   The seventh invention is characterized in that, in the above invention, the timing at which the image receiving device transmits the received video data to the image sending device is sent in non-real time.

また、第8の発明は、上記発明において、前記画像受信装置が複数存在し、前記画像送出装置が映像データをそれぞれの画像受信装置に送信し、複数存在する前記画像受信装置の一部が、少なくとも前記受信映像データを画像送出装置に送信することを特徴とする。   According to an eighth aspect of the present invention, in the above invention, there are a plurality of the image receiving devices, the image sending device transmits video data to each of the image receiving devices, and a part of the plurality of the image receiving devices exists. At least the received video data is transmitted to an image sending device.

また、第9の発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムであって、前記画像受信装置は、ネットワークを介して符号化された映像データを受信し、この映像データを復号化する画像復号化処理部と、受信した映像データの画質評価を行い、画質評価結果を送出する画質評価処理部と、前記画像復号化処理部で復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で送出する受信画像符号化処理部と、を有し、前記画像送出装置は、ネットワークを介して前記画質評価結果と前記映像フレームとを受信し、符号化された前記映像フレームを復号化する画像復号化処理部と、復号された映像フレームと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部と、を有して構成されることを特徴とする画質評価システムである。   According to a ninth aspect of the present invention, there is provided an image quality evaluation system in which an image receiving apparatus receives encoded video data transmitted from an image transmitting apparatus via a network and evaluates the image quality of the received video data. The image receiving apparatus receives video data encoded via a network, performs an image decoding processing unit for decoding the video data, performs image quality evaluation of the received video data, and sends an image quality evaluation result An image quality evaluation processing unit, and a received image encoding processing unit that encodes an arbitrary video frame of the received video data decoded by the image decoding processing unit and transmits the video frame at a predetermined time interval, The image transmission device receives the image quality evaluation result and the video frame via a network, and decodes the encoded video frame; An image quality evaluation reliability determination unit that evaluates the reliability of the image quality evaluation result of the image receiving device by comparing the received video frame with the image quality evaluation result. Is an image quality evaluation system.

また、第10の発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像送出装置であって、画像受信装置から、この画像受信装置で受信された映像データと、この画像受信装置で受信された映像データの画質評価結果とを入力とし、前記映像データと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部を有して構成されることを特徴とする画質評価システムの画像送出装置である。   According to a tenth aspect of the present invention, there is provided an image quality evaluation system for evaluating an image quality of received video data by an image reception device receiving the encoded video data transmitted from the image transmission device via a network. An image sending device, which receives video data received by the image receiving device from the image receiving device and an image quality evaluation result of the video data received by the image receiving device, and receives the video data and the image quality evaluation An image transmission device of an image quality evaluation system comprising an image quality evaluation reliability determination unit that evaluates reliability of the image quality evaluation result of the image reception device by comparing the result .

また、第11の発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像受信装置であって、受信した映像データの画質評価を行い、画質評価結果を前記画像送出装置に送出する画質評価処理部と、復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で前記画像送出装置に送出する受信画像符号化処理部と、を有することを特徴とする画質評価システムのための画像受信装置である。   According to an eleventh aspect of the invention, there is provided an image quality evaluation system that receives image data transmitted from an image transmission apparatus and received by an image reception apparatus via a network, and evaluates the image quality of the received video data. An image receiving device that performs image quality evaluation of received video data, sends an image quality evaluation result to the image sending device, encodes an arbitrary video frame of the decoded received video data, An image receiving apparatus for an image quality evaluation system, comprising: a received image encoding processing unit that transmits the image to the image transmitting apparatus at a predetermined time interval.

また、第12の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、前記画像出装置は、前記受信映像データを用いて画質評価を行うことを特徴とする画質評価方法である。   A twelfth aspect of the invention is an image quality evaluation method in which the image receiving device receives the video data sent from the image sending device and evaluates the image quality of the video data, and the image receiving device receives the received video data. The decoded image data is transmitted to an image transmission device at a predetermined time interval, and the image output device performs image quality evaluation using the received image data. It is an evaluation method.

また、第13の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うことを特徴とする画質評価方法である。   A thirteenth aspect of the invention is an image quality evaluation method in which the image receiving device receives the video data sent from the image sending device and evaluates the image quality of the video data, and the image receiving device receives the received video data. The decoded received video data and the image quality evaluation result obtained by evaluating the image quality of the received video data are transmitted to the image transmission device at a predetermined time interval, and the image output device The image quality evaluation method is characterized in that image quality evaluation of the received video data is performed using the received video data and the image quality evaluation result.

また、第14の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信するように機能させ、前記画像出装置が、前記受信映像データを用いて画質評価を行うように機能させることを特徴とする画質評価プログラムである。   According to a fourteenth aspect of the present invention, there is provided an image quality evaluation program for receiving video data sent from an image sending device and evaluating the image quality of the video data, wherein the image receiving device receives the received video data. So that the decoded received video data is transmitted to the image transmission device at a predetermined time interval, and the image output device performs image quality evaluation using the received video data. It is an image quality evaluation program characterized by functioning.

また、第15の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信するように機能させ、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うように機能させることを特徴とする画質評価プログラムである。   The fifteenth aspect of the invention is an image quality evaluation program for receiving video data sent from an image sending device and for evaluating the image quality of the video data, wherein the image receiving device receives the received video data. And decoding the received video data at a predetermined time interval and the image quality evaluation result obtained by evaluating the image quality of the received video data to function to transmit to the image sending device, The image output device is an image quality evaluation program that functions to perform image quality evaluation of the received video data using the received video data and the image quality evaluation result.

本出願は、2007年3月22日に出願された日本出願特願2007−75110号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2007-75110 for which it applied on March 22, 2007, and takes in those the indications of all here.

Claims (15)

画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、
前記画像出装置は、前記受信映像データを用いて画質評価を行うことを特徴とする画質評価システム。
An image receiving device that receives video data sent from an image sending device and evaluates the image quality of the video data,
The image receiving device decodes the received video data, and transmits the decoded received video data to the image sending device at a predetermined time interval,
The image output device performs image quality evaluation using the received video data.
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、
前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うことを特徴とする画質評価システム。
An image receiving device that receives video data sent from an image sending device and evaluates the image quality of the video data,
The image receiving apparatus decodes the received video data, and sends out the decoded received video data and an image quality evaluation result obtained by evaluating the image quality of the received video data at a predetermined time interval. To the device,
The image output device performs image quality evaluation of the received video data using the received video data and the image quality evaluation result.
前記画像送出装置で行われる画質評価が、前記画像受信装置の画質評価結果の信頼性を把握できるものであることを特徴とする請求項2記載の画質評価システム。   The image quality evaluation system according to claim 2, wherein the image quality evaluation performed by the image transmission apparatus can grasp the reliability of the image quality evaluation result of the image reception apparatus. 前記受信映像データが、前記受信した映像データの内の任意の映像フレームであることを特徴とする請求項1から請求項3のいずれか一項に記載の画質評価システム。   The image quality evaluation system according to any one of claims 1 to 3, wherein the received video data is an arbitrary video frame in the received video data. 前記受信映像データが、前記受信した映像データの内の任意の映像フレームの内、その映像フレームの一部分であることを特徴とする請求項1から請求項3のいずれか一項に記載の画質評価システム。   The image quality evaluation according to any one of claims 1 to 3, wherein the received video data is a part of the video frame in an arbitrary video frame of the received video data. system. 前記受信映像データが、前記受信した映像データの特徴を表す映像特徴量であることを特徴とする請求項1から請求項3のいずれか一項に記載の画質評価システム。   The image quality evaluation system according to any one of claims 1 to 3, wherein the received video data is a video feature amount representing a feature of the received video data. 前記画像受信装置が、前記受信映像データを画像送出装置に送信するタイミングが、非リアルタイムで送出されることを特徴とする請求項1から請求項6のいずれか一項に記載の画質評価システム。   The image quality evaluation system according to any one of claims 1 to 6, wherein the timing at which the image receiving device transmits the received video data to the image transmitting device is transmitted in non-real time. 前記画像受信装置が複数存在し、前記画像送出装置が映像データをそれぞれの画像受信装置に送信し、
複数存在する前記画像受信装置の一部が、少なくとも前記受信映像データを画像送出装置に送信することを特徴とする請求項1から請求項7のいずれか一項に記載の画質評価システム。
A plurality of the image receiving devices, and the image sending device transmits video data to each image receiving device;
8. The image quality evaluation system according to claim 1, wherein a part of the plurality of image receiving apparatuses transmits at least the received video data to the image transmitting apparatus. 9.
画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムであって、
前記画像受信装置は、
ネットワークを介して符号化された映像データを受信し、この映像データを復号化する画像復号化処理部と、
受信した映像データの画質評価を行い、画質評価結果を送出する画質評価処理部と、
前記画像復号化処理部で復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で送出する受信画像符号化処理部と、を有し、
前記画像送出装置は、
ネットワークを介して前記画質評価結果と前記映像フレームとを受信し、符号化された前記映像フレームを復号化する画像復号化処理部と、
復号された映像フレームと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部と、
を有して構成されることを特徴とする画質評価システム。
An image quality evaluation system that receives image data transmitted from an image transmission apparatus and received by an image reception apparatus via a network, and evaluates the image quality of the received video data,
The image receiving device includes:
An image decoding processor that receives video data encoded via a network and decodes the video data;
An image quality evaluation processing unit that performs image quality evaluation of the received video data and sends the image quality evaluation result;
A received image encoding processing unit that encodes an arbitrary video frame of the received video data decoded by the image decoding processing unit and transmits the encoded video frame at a predetermined time interval;
The image sending device includes:
An image decoding processing unit that receives the image quality evaluation result and the video frame via a network and decodes the encoded video frame;
An image quality evaluation reliability determination unit that evaluates the reliability of the image quality evaluation result of the image receiving device by comparing the decoded video frame and the image quality evaluation result;
An image quality evaluation system comprising:
画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像送出装置であって、
画像受信装置から、この画像受信装置で受信された映像データと、この画像受信装置で受信された映像データの画質評価結果とを入力とし、前記映像データと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部を有して構成されることを特徴とする画質評価システムの画像送出装置。
An image transmission device for an image quality evaluation system that receives image data transmitted from an image transmission device and received by an image reception device via a network, and evaluates the image quality of the received video data,
By inputting the video data received by the image receiving device from the image receiving device and the image quality evaluation result of the video data received by the image receiving device, and comparing the video data and the image quality evaluation result An image transmission apparatus for an image quality evaluation system, comprising: an image quality evaluation reliability determination unit that evaluates reliability of the image quality evaluation result of the image reception apparatus.
画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像受信装置であって、
受信した映像データの画質評価を行い、画質評価結果を前記画像送出装置に送出する画質評価処理部と、
復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で前記画像送出装置に送出する受信画像符号化処理部と、
を有することを特徴とする画質評価システムのための画像受信装置。
An image receiving apparatus for an image quality evaluation system that receives image data transmitted from an image transmission apparatus and received encoded image data via a network, and evaluates the image quality of the received video data,
An image quality evaluation processing unit that performs image quality evaluation of the received video data and transmits an image quality evaluation result to the image transmission device;
A received image encoding processing unit that encodes an arbitrary video frame of the decoded received video data and transmits the video frame to the image transmission device at a predetermined time interval;
An image receiving apparatus for an image quality evaluation system.
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、
前記画像出装置は、前記受信映像データを用いて画質評価を行う
ことを特徴とする画質評価方法。
An image quality evaluation method for receiving image data sent from an image sending device and receiving the image data and evaluating the image quality of the image data,
The image receiving device decodes the received video data, and transmits the decoded received video data to the image sending device at a predetermined time interval,
The image output device performs image quality evaluation using the received video data.
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、
前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行う
ことを特徴とする画質評価方法。
An image quality evaluation method for receiving image data sent from an image sending device and receiving the image data and evaluating the image quality of the image data,
The image receiving apparatus decodes the received video data, and sends out the decoded received video data and an image quality evaluation result obtained by evaluating the image quality of the received video data at a predetermined time interval. To the device,
The image output device performs image quality evaluation of the received video data using the received video data and the image quality evaluation result.
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信するように機能させ、
前記画像出装置が、前記受信映像データを用いて画質評価を行うように機能させる
ことを特徴とする画質評価プログラム。
An image quality evaluation program for receiving video data sent from an image sending device and evaluating the image quality of the video data,
The image receiving device decodes the received video data and functions to transmit the decoded received video data to the image sending device at a predetermined time interval,
An image quality evaluation program causing the image output device to function to perform image quality evaluation using the received video data.
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信するように機能させ、
前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うように機能させる
ことを特徴とする画質評価プログラム。
An image quality evaluation program for receiving video data sent from an image sending device and evaluating the image quality of the video data,
The image receiving apparatus decodes the received video data, and sends out the decoded received video data and an image quality evaluation result obtained by evaluating the image quality of the received video data at a predetermined time interval. Function to send to the device,
The image output device causes the image output device to function to perform image quality evaluation of the received video data using the received video data and the image quality evaluation result.
JP2009509063A 2007-03-22 2008-03-21 Image quality evaluation system, method and program Pending JPWO2008123125A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007075110 2007-03-22
JP2007075110 2007-03-22
PCT/JP2008/055232 WO2008123125A1 (en) 2007-03-22 2008-03-21 Image quality evaluating system, method and program

Publications (1)

Publication Number Publication Date
JPWO2008123125A1 true JPWO2008123125A1 (en) 2010-07-15

Family

ID=39830622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009509063A Pending JPWO2008123125A1 (en) 2007-03-22 2008-03-21 Image quality evaluation system, method and program

Country Status (2)

Country Link
JP (1) JPWO2008123125A1 (en)
WO (1) WO2008123125A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284259B2 (en) * 2009-09-23 2012-10-09 Avaya Inc. Policy-based video quality assessment
EP2302926B1 (en) * 2009-09-29 2014-11-05 Orange Technique for monitoring the quality of an insertion of a second content during the broadcast of a first content
US20120002059A1 (en) * 2010-06-30 2012-01-05 Isaac Levy Video Feedback Loop
GB2502251A (en) * 2012-03-09 2013-11-27 Amberfin Ltd Automated quality control of audio-video media
CN105491403B (en) * 2014-10-10 2019-02-22 中国电信股份有限公司 For assessing the method and system of realtime video transmission quality

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055015A (en) * 1998-07-25 2000-04-25 Tektronix, Inc. Picture quality monitoring system
JP3844445B2 (en) * 2002-04-19 2006-11-15 日本電信電話株式会社 Video content distribution method, apparatus, and video content distribution program

Also Published As

Publication number Publication date
WO2008123125A1 (en) 2008-10-16

Similar Documents

Publication Publication Date Title
Fouladi et al. Salsify:{Low-Latency} network video through tighter integration between a video codec and a transport protocol
CN104735470B (en) A kind of streaming media data transmission method and device
US10756997B2 (en) Bandwidth adjustment for real-time video transmission
US20170094301A1 (en) Initial Bandwidth Estimation For Real-time Video Transmission
US10516892B2 (en) Initial bandwidth estimation for real-time video transmission
US8184529B2 (en) Communication apparatus, method, and program for transmitting and receiving packet data
US20080158333A1 (en) Adaptive Video Telephone System
US20030121053A1 (en) Video distribution test system for evaluating image quality by determining spread of frame loss within refreshment interval
RU2009116472A (en) DYNAMIC MODIFICATION OF VIDEO PROPERTIES
US20190327503A1 (en) Use of simultaneously received videos by a system to generate a quality of experience value
US20110235709A1 (en) Frame dropping algorithm for fast adaptation of buffered compressed video to network condition changes
US20170094294A1 (en) Video encoding and decoding with back channel message management
KR100541526B1 (en) Methods and apparatus for multimedia data transmission quality measurement
KR20090063406A (en) Resolution checking system and method for real time motion image based on transmission configuration
US10506257B2 (en) Method and system of video processing with back channel message management
US20170094296A1 (en) Bandwidth Adjustment For Real-time Video Transmission
KR20060096044A (en) Medium signal transmission method, reception method, transmission/reception method, and device
JPWO2008123125A1 (en) Image quality evaluation system, method and program
Lee et al. OEFMON: An open evaluation framework for multimedia over networks
US20080104659A1 (en) Prioritized real-time data transmission
KR20110058841A (en) Moving-picture image data-distribution method
US10432946B2 (en) De-juddering techniques for coded video
US8270307B2 (en) Network-adaptive preemptive repair in real-time video
CN101192903B (en) Data frame coding and decoding control method
JP2002010265A (en) Transmitting device and its method and receiving device and it method