JP2010278496A

JP2010278496A - Test system

Info

Publication number: JP2010278496A
Application number: JP2009126146A
Authority: JP
Inventors: Sei Watanabe; 聖渡邉
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2009-05-26
Filing date: 2009-05-26
Publication date: 2010-12-09

Abstract

<P>PROBLEM TO BE SOLVED: To provide a test system precisely estimating a quality of audio and/or video indicated by test data received by a terminal unit from other terminal units. <P>SOLUTION: The test system 100 includes a server device 110, the transmission-side terminal unit 120, and the reception-side terminal unit 130 that are connected via a communication line. The server device transmits the test data indicating audio and/or video to the transmission-side terminal unit (112). The transmission-side terminal unit receives the test data (121), and transmits the received test data to the reception-side terminal unit (122). The reception-side terminal unit receives the test data (131), and transmits the received test data to the server device (132). The server device receives the test data (113). The server device estimates the quality of audio and/or video indicated by the test data received by the reception-side terminal unit, based on the received test data and stored test data. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、端末装置が他の端末装置から受信した試験データが表す音声及び／又は映像の品質を推定する試験システムに関する。 The present invention relates to a test system for estimating the quality of audio and / or video represented by test data received by a terminal device from another terminal device.

ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）網を介して接続された、サーバ装置、送信側端末装置、及び、受信側端末装置を含む試験システムが知られている。この種の試験システムの一つとして、特許文献１に記載の試験システムは、サーバ装置が、送信側端末装置、及び、受信側端末装置の間に通信経路を設定する。 There is known a test system including a server device, a transmission-side terminal device, and a reception-side terminal device that are connected via an IP (Internet Protocol) network. As one of this type of test system, in the test system described in Patent Document 1, a server device sets a communication path between a transmission-side terminal device and a reception-side terminal device.

そして、送信側端末装置は、音声を表す試験データを所定のデータサイズ毎に分割することにより複数のパケットを生成する。次いで、送信側端末装置は、生成した複数のパケットを、設定された通信経路を経由させて、受信側端末装置へ送信する。 Then, the transmitting terminal device generates a plurality of packets by dividing the test data representing the sound into predetermined data sizes. Next, the transmission-side terminal device transmits the generated plurality of packets to the reception-side terminal device via the set communication path.

受信側端末装置は、送信側端末装置により送信されたパケットを受信する。このとき、受信側端末装置は、送信側端末装置により送信されたパケットの一部が受信されなかった（消失した）こと（パケットロスの発生）、及び、連続する２つのパケットが受信された間隔が所定の閾値よりも長いこと（パケット遅延の発生）等を検出する。これによれば、送信側端末装置、及び、受信側端末装置の間の通信状態を推定することができる。従って、この試験システムによれば、受信側端末装置が送信側端末装置から受信した試験データが表す音声の品質を推定することができる。 The receiving terminal device receives the packet transmitted by the transmitting terminal device. At this time, the receiving terminal device has received a part of the packet transmitted by the transmitting terminal device (disappeared) (occurrence of packet loss) and the interval at which two consecutive packets are received. Is longer than a predetermined threshold (occurrence of packet delay) or the like. According to this, the communication state between a transmission side terminal device and a reception side terminal device can be estimated. Therefore, according to this test system, the quality of the voice represented by the test data received by the receiving terminal device from the transmitting terminal device can be estimated.

特開２００６−２１１３９８号公報JP 2006-211398 A

ところで、送信側端末装置が試験データを送信する場合、送信側端末装置は、試験データを符号化し、符号化された試験データを送信する。従って、受信側端末装置は、試験データを受信すると、受信した試験データを復号化する。このため、パケットが正常に通信されている場合であっても、送信側端末装置が試験データを符号化するとき、及び／又は、受信側端末装置が試験データを復号化するとき等に、試験データの品質が劣化する場合がある。また、受信側端末装置が受信したパケットに基づいて試験データを生成する際に、試験データの品質が劣化する場合もある。 By the way, when the transmission side terminal device transmits test data, the transmission side terminal device encodes the test data and transmits the encoded test data. Accordingly, when receiving the test data, the receiving terminal device decodes the received test data. For this reason, even when the packet is normally communicated, the test is performed when the transmitting terminal device encodes the test data and / or when the receiving terminal device decodes the test data. Data quality may be degraded. Further, when the test data is generated based on the packet received by the receiving terminal device, the quality of the test data may be deteriorated.

このような場合、上記試験システムは、受信側端末装置が送信側端末装置から受信した試験データが表す音声の品質を高い精度にて推定することができないという問題があった。なお、この問題は、試験データが、映像を表すデータである場合にも同様に生じる。 In such a case, the test system has a problem that the receiving terminal device cannot estimate the quality of the voice represented by the test data received from the transmitting terminal device with high accuracy. This problem also occurs when the test data is data representing video.

このため、本発明の目的は、上述した課題である「受信側端末装置が送信側端末装置から受信した試験データが表す音声及び／又は映像の品質を高い精度にて推定することができない場合が生じること」を解決することが可能な試験システムを提供することにある。 For this reason, the object of the present invention is the above-mentioned problem “if the receiving terminal device cannot estimate the quality of the audio and / or video represented by the test data received from the transmitting terminal device with high accuracy. It is to provide a test system capable of solving “occurrence”.

かかる目的を達成するため本発明の一形態である試験システムは、通信回線を介して接続された、サーバ装置、送信側端末装置、及び、受信側端末装置を含むシステムである。 In order to achieve such an object, a test system according to one embodiment of the present invention is a system including a server device, a transmission-side terminal device, and a reception-side terminal device connected via a communication line.

更に、上記サーバ装置は、
音声及び／又は映像を表す試験データを記憶する試験データ記憶手段と、
上記記憶されている試験データを上記送信側端末装置へ送信する試験前データ送信手段と、
を備える。 Furthermore, the server device
Test data storage means for storing test data representing audio and / or video;
Pre-test data transmission means for transmitting the stored test data to the transmitting terminal device;
Is provided.

加えて、上記送信側端末装置は、
上記サーバ装置から上記試験データを受信する試験前データ受信手段と、
上記受信された試験データを、上記受信側端末装置へ送信する試験用データ送信手段と、
を備える。 In addition, the transmission side terminal device
Pre-test data receiving means for receiving the test data from the server device;
Test data transmission means for transmitting the received test data to the receiving terminal device;
Is provided.

更に、上記受信側端末装置は、
上記送信側端末装置から上記試験データを受信する試験用データ受信手段と、
上記受信された試験データを上記サーバ装置へ送信する試験後データ送信手段と、
を備える。 Furthermore, the receiving terminal device
Test data receiving means for receiving the test data from the transmitting terminal device;
Post-test data transmission means for transmitting the received test data to the server device;
Is provided.

加えて、上記サーバ装置は、
上記受信側端末装置により送信された試験データを受信する試験後データ受信手段と、
上記受信された試験データと、上記記憶されている試験データと、に基づいて、上記受信側端末装置が上記送信側端末装置から受信した試験データが表す音声及び／又は映像の品質を推定する品質推定手段と、
を備える。 In addition, the server device
Post-test data receiving means for receiving test data transmitted by the receiving terminal device;
Quality that estimates the quality of audio and / or video represented by the test data received by the receiving terminal device from the transmitting terminal device based on the received test data and the stored test data An estimation means;
Is provided.

また、本発明の他の形態である試験方法は、通信回線を介して接続された、サーバ装置、送信側端末装置、及び、受信側端末装置を含む試験システムに適用される方法である。 A test method according to another aspect of the present invention is a method applied to a test system including a server device, a transmission-side terminal device, and a reception-side terminal device connected via a communication line.

更に、上記試験方法は、
上記サーバ装置が備える記憶装置に記憶されているデータであって音声及び／又は映像を表すデータである試験データを当該サーバ装置が上記送信側端末装置へ送信する試験前データ送信工程と、
上記送信側端末装置が上記サーバ装置から上記試験データを受信する試験前データ受信工程と、
上記送信側端末装置が、上記受信された試験データを上記受信側端末装置へ送信する試験用データ送信工程と、
上記受信側端末装置が、上記送信側端末装置から上記試験データを受信する試験用データ受信工程と、
上記送信側端末装置が、上記受信された試験データを上記サーバ装置へ送信する試験後データ送信工程と、
上記サーバ装置が、上記受信側端末装置により送信された試験データを受信する試験後データ受信工程と、
上記受信された試験データと、上記記憶装置に記憶されている試験データと、に基づいて、上記受信側端末装置が上記送信側端末装置から受信した試験データが表す音声及び／又は映像の品質を上記サーバ装置が推定する品質推定工程と、
を含む。 Furthermore, the test method is
A pre-test data transmission step in which the server device transmits test data, which is data stored in a storage device included in the server device and is data representing audio and / or video, to the transmitting terminal device;
A pre-test data receiving step in which the transmitting terminal device receives the test data from the server device;
The transmitting terminal device transmits the received test data to the receiving terminal device, and a test data transmitting step,
A test data receiving step in which the receiving terminal device receives the test data from the transmitting terminal device;
The transmitting terminal device transmits the received test data to the server device, a post-test data transmission step,
The post-test data receiving step in which the server device receives the test data transmitted by the receiving terminal device;
Based on the received test data and the test data stored in the storage device, the quality of audio and / or video represented by the test data received by the receiving terminal device from the transmitting terminal device is determined. A quality estimation step estimated by the server device;
including.

また、本発明の他の形態であるサーバ装置は、送信側端末装置、及び、受信側端末装置と通信回線を介して接続された装置である。
更に、このサーバ装置は、
音声及び／又は映像を表す試験データを記憶する試験データ記憶手段と、
上記記憶されている試験データを上記送信側端末装置へ送信する試験前データ送信手段と、
上記受信側端末装置により送信された試験データを受信する試験後データ受信手段と、
上記受信された試験データと、上記記憶されている試験データと、に基づいて、上記受信側端末装置が上記送信側端末装置から受信した試験データが表す音声及び／又は映像の品質を推定する品質推定手段と、
を備える。 A server device according to another embodiment of the present invention is a device connected to a transmission-side terminal device and a reception-side terminal device via a communication line.
Furthermore, this server device
Test data storage means for storing test data representing audio and / or video;
Pre-test data transmission means for transmitting the stored test data to the transmitting terminal device;
Post-test data receiving means for receiving test data transmitted by the receiving terminal device;
Quality that estimates the quality of audio and / or video represented by the test data received by the receiving terminal device from the transmitting terminal device based on the received test data and the stored test data An estimation means;
Is provided.

また、本発明の他の形態であるプログラムは、
送信側端末装置、及び、受信側端末装置と通信回線を介して接続されたサーバ装置に、
当該サーバ装置が備える記憶装置に記憶されているデータであって音声及び／又は映像を表すデータである試験データを上記送信側端末装置へ送信する試験前データ送信手段と、
上記受信側端末装置により送信された試験データを受信する試験後データ受信手段と、
上記受信された試験データと、上記記憶装置に記憶されている試験データと、に基づいて、上記受信側端末装置が上記送信側端末装置から受信した試験データが表す音声及び／又は映像の品質を推定する品質推定手段と、
を実現させるためのプログラムである。 Moreover, the program which is the other form of this invention is:
To the server device connected via the communication line with the transmission side terminal device and the reception side terminal device,
Pre-test data transmitting means for transmitting test data, which is data stored in a storage device included in the server device and is data representing audio and / or video, to the transmitting terminal device;
Post-test data receiving means for receiving test data transmitted by the receiving terminal device;
Based on the received test data and the test data stored in the storage device, the quality of audio and / or video represented by the test data received by the receiving terminal device from the transmitting terminal device is determined. Quality estimation means to estimate;
It is a program for realizing.

また、本発明の他の形態である送信側端末装置は、サーバ装置、及び、受信側端末装置と通信回線を介して接続された装置である。
更に、この送信側端末装置は、
上記サーバ装置から、音声及び／又は映像を表す試験データを受信する試験前データ受信手段と、
上記受信された試験データを、上記受信側端末装置へ送信する試験用データ送信手段と、
を備える。 In addition, a transmission side terminal device according to another embodiment of the present invention is a device connected to a server device and a reception side terminal device via a communication line.
Furthermore, this transmitting terminal device
Pre-test data receiving means for receiving test data representing audio and / or video from the server device;
Test data transmission means for transmitting the received test data to the receiving terminal device;
Is provided.

また、本発明の他の形態であるプログラムは、
サーバ装置、及び、受信側端末装置と通信回線を介して接続された送信側端末装置に、
上記サーバ装置から、音声及び／又は映像を表す試験データを受信する試験前データ受信手段と、
上記受信された試験データを、上記受信側端末装置へ送信する試験用データ送信手段と、
を実現させるためのプログラムである。 Moreover, the program which is the other form of this invention is:
To the server device and the transmission side terminal device connected to the reception side terminal device via the communication line,
Pre-test data receiving means for receiving test data representing audio and / or video from the server device;
Test data transmission means for transmitting the received test data to the receiving terminal device;
It is a program for realizing.

また、本発明の他の形態である受信側端末装置は、サーバ装置、及び、送信側端末装置と通信回線を介して接続された装置である。
更に、この受信側端末装置は、
上記送信側端末装置から、音声及び／又は映像を表す試験データを受信する試験用データ受信手段と、
上記受信された試験データを上記サーバ装置へ送信する試験後データ送信手段と、
を備える。 A receiving-side terminal device according to another embodiment of the present invention is a device connected to a server device and a transmitting-side terminal device via a communication line.
Furthermore, this receiving terminal device
Test data receiving means for receiving test data representing audio and / or video from the transmitting terminal device;
Post-test data transmission means for transmitting the received test data to the server device;
Is provided.

また、本発明の他の形態であるプログラムは、
サーバ装置、及び、送信側端末装置と通信回線を介して接続された受信側端末装置に、
上記送信側端末装置から、音声及び／又は映像を表す試験データを受信する試験用データ受信手段と、
上記受信された試験データを上記サーバ装置へ送信する試験後データ送信手段と、
を実現させるためのプログラムである。 Moreover, the program which is the other form of this invention is:
To the server device and the receiving terminal device connected to the transmitting terminal device via the communication line,
Test data receiving means for receiving test data representing audio and / or video from the transmitting terminal device;
Post-test data transmission means for transmitting the received test data to the server device;
It is a program for realizing.

本発明は、以上のように構成されることにより、端末装置が他の端末装置から受信した試験データが表す音声及び／又は映像の品質を高い精度にて推定することができる。 By configuring as described above, the present invention can estimate the quality of audio and / or video represented by the test data received by the terminal device from other terminal devices with high accuracy.

本発明の実施形態に係る試験システムの概略構成を表す図である。It is a figure showing the schematic structure of the test system which concerns on embodiment of this invention. 本発明の実施形態に係る試験システムの機能の概略を表すブロック図である。It is a block diagram showing the outline of the function of the test system which concerns on embodiment of this invention. 本発明の実施形態に係るサーバ装置が記憶しているシナリオ情報を示したテーブルである。It is the table which showed the scenario information which the server apparatus which concerns on embodiment of this invention has memorize | stored. 本発明の実施形態に係る試験システムの作動を示したシーケンス図である。It is the sequence diagram which showed the action | operation of the test system which concerns on embodiment of this invention. 本発明の実施形態の変形例に係る試験システムの機能の概略を表すブロック図である。It is a block diagram showing the outline of the function of the test system which concerns on the modification of embodiment of this invention.

本発明の一形態である試験システムは、通信回線を介して接続された、サーバ装置、送信側端末装置、及び、受信側端末装置を含むシステムである。
更に、上記サーバ装置は、
音声及び／又は映像を表す試験データを記憶する試験データ記憶手段と、
上記記憶されている試験データを上記送信側端末装置へ送信する試験前データ送信手段と、
を備える。 A test system according to an embodiment of the present invention is a system including a server device, a transmission-side terminal device, and a reception-side terminal device connected via a communication line.
Furthermore, the server device
Test data storage means for storing test data representing audio and / or video;
Pre-test data transmission means for transmitting the stored test data to the transmitting terminal device;
Is provided.

これによれば、サーバ装置は、送信側端末装置が実際に送信した試験データと、受信側端末装置が実際に受信した試験データと、に基づいて、受信側端末装置が、送信側端末装置から受信した試験データが表す音声及び／又は映像の品質を推定する。この結果、サーバ装置は、端末装置が他の端末装置から受信した試験データが表す音声及び／又は映像の品質を高い精度にて推定することができる。 According to this, on the basis of the test data that is actually transmitted by the transmitting terminal device and the test data that is actually received by the receiving terminal device, the server device can Estimate the quality of the audio and / or video represented by the received test data. As a result, the server device can estimate the quality of the audio and / or video represented by the test data received from the other terminal device by the terminal device with high accuracy.

更に、上記試験システムが、送信側端末装置及び受信側端末装置の組を複数含む場合、サーバ装置が、各組に対して、受信側端末装置が送信側端末装置から受信した試験データを受信することができる。この結果、サーバ装置は、各組に対して推定された音声及び／又は映像の品質に基づいた情報（例えば、各組に対する品質を統計した情報、及び、ある組に対する品質と他の組に対する品質又は各組に対する品質を統計した情報とを比較した情報等）を出力することもできる。また、上記試験システムによれば、同一の試験データを、複数の送信側端末装置に送信させることもできる。 Further, when the test system includes a plurality of sets of the transmitting terminal device and the receiving terminal device, the server device receives the test data received from the transmitting terminal device by the receiving terminal device for each set. be able to. As a result, the server device can obtain information based on the quality of audio and / or video estimated for each set (for example, information statistically analyzing the quality for each set, and quality for one set and quality for another set. Alternatively, it is also possible to output information such as information that compares quality information for each set. Moreover, according to the said test system, the same test data can also be transmitted to several transmission side terminal devices.

この場合、上記試験システムは、
上記サーバ装置と上記送信側端末装置及び上記受信側端末装置のそれぞれとの間の通信帯域（通信速度）を、予め設定された上限帯域以下に制御する通信帯域制限手段を備えることが好適である。 In this case, the test system is
It is preferable to include a communication band limiting unit that controls a communication band (communication speed) between each of the server apparatus and the transmitting terminal apparatus and the receiving terminal apparatus to be equal to or lower than a preset upper limit band. .

ところで、試験データのデータサイズは比較的大きい。従って、サーバ装置と、送信側端末装置及び受信側端末装置のそれぞれとの間の通信帯域が過大であると、他の通信にて使用可能な通信帯域が過少となる虞がある。そこで、上記のように試験システムを構成することにより、他の通信にて使用可能な通信帯域が過少となることを防止することができる。 By the way, the data size of the test data is relatively large. Therefore, if the communication band between the server device and each of the transmission-side terminal device and the reception-side terminal device is excessive, there is a possibility that the communication band that can be used for other communication becomes excessive. Therefore, by configuring the test system as described above, it is possible to prevent the communication band that can be used for other communication from becoming insufficient.

この場合、上記試験システムは、
上記サーバ装置との間で通信セッションが確立されている、上記送信側端末装置及び上記受信側端末装置の数である接続数を、予め設定された上限数以下に制御する接続数制限手段を備えることが好適である。 In this case, the test system is
A connection number limiting means for controlling the number of connections, which is the number of the transmission side terminal device and the reception side terminal device, in which a communication session is established with the server device to be equal to or less than a preset upper limit number; Is preferred.

ところで、試験データのデータサイズは比較的大きい。従って、サーバ装置との間で通信セッションが確立されている、送信側端末装置及び受信側端末装置の数である接続数が過大であると、他の通信にて使用可能な通信帯域が過少となる虞がある。そこで、上記のように試験システムを構成することにより、他の通信にて使用可能な通信帯域が過少となることを防止することができる。 By the way, the data size of the test data is relatively large. Therefore, if the number of connections, which is the number of transmission side terminal devices and reception side terminal devices, in which a communication session has been established with the server device is excessive, the communication band that can be used for other communication is insufficient. There is a risk of becoming. Therefore, by configuring the test system as described above, it is possible to prevent the communication band that can be used for other communication from becoming insufficient.

この場合、上記サーバ装置は、
所定の実行指示の送信先となる送信側端末装置を特定するための送信側端末装置特定情報と、当該実行指示を送信する順序を表す順序情報と、を対応付けたシナリオ情報を記憶するシナリオ情報記憶手段と、
上記記憶されているシナリオ情報に含まれる順序情報が表す順序に従って、当該シナリオ情報に含まれる送信側端末装置特定情報により特定される送信側端末装置へ、上記実行指示を送信する実行指示送信手段と、
を備え、
上記試験用データ送信手段は、上記送信側端末装置が上記サーバ装置から上記実行指示を受信した時、当該送信側端末装置が上記試験データを上記受信側端末装置へ送信するように構成されることが好適である。 In this case, the server device
Scenario information that stores scenario information in which transmission-side terminal device identification information for identifying a transmission-side terminal device that is a transmission destination of a predetermined execution instruction is associated with order information that represents the order in which the execution instruction is transmitted Storage means;
Execution instruction transmitting means for transmitting the execution instruction to the transmitting terminal device specified by the transmitting terminal device specifying information included in the scenario information in accordance with the order represented by the order information included in the stored scenario information; ,
With
The test data transmitting means is configured such that when the transmitting terminal device receives the execution instruction from the server device, the transmitting terminal device transmits the test data to the receiving terminal device. Is preferred.

これによれば、上記試験システムは、シナリオ情報に基づいて、送信側端末装置から受信側端末装置へ試験データを送信する処理（試験）を自動的に実行することができる。この結果、試験システムを使用するユーザ（オペレータ）の手間を軽減することができる。また、例えば、送信側端末装置と受信側端末装置とを接続する通信回線の通信量が相対的に少ない期間（例えば、通信回線を用いるサービスの提供が停止する期間）にて、試験を実行することにより、通信負荷の最大値を減少させることもできる。 According to this, the test system can automatically execute a process (test) for transmitting test data from the transmitting terminal device to the receiving terminal device based on the scenario information. As a result, the trouble of the user (operator) who uses the test system can be reduced. In addition, for example, the test is performed in a period in which the communication amount of the communication line connecting the transmission-side terminal apparatus and the reception-side terminal apparatus is relatively small (for example, the period in which the service using the communication line stops) As a result, the maximum value of the communication load can be reduced.

また、上記試験システムによれば、複数の、送信側端末装置及び受信側端末装置の組のそれぞれに対する試験を同時に実行することもできる。従って、複数の試験を早期に完了することができる。また、上記試験システムによれば、比較的長い距離だけ離間して配置された送信側端末装置及び受信側端末装置に対する試験も容易に実行することができる。 Moreover, according to the said test system, the test with respect to each of several sets of a transmission side terminal device and a receiving side terminal device can also be performed simultaneously. Therefore, a plurality of tests can be completed early. Moreover, according to the said test system, the test with respect to the transmission side terminal device and the receiving side terminal device which were arrange | positioned separated only by comparatively long distance can also be performed easily.

また、上記試験システムによれば、予め設定された試験周期が経過する毎に、試験を行うことができる。従って、上記通信回線にて異常が発生した場合であっても、早期に異常が発生したことを検出することができる。 Moreover, according to the said test system, a test can be performed whenever the preset test period passes. Therefore, even when an abnormality occurs in the communication line, it can be detected that an abnormality has occurred at an early stage.

この場合、上記試験システムは、
上記送信側端末装置及び上記受信側端末装置は、ＰＥＳＱ（ＰｅｒｃｅｐｔｕａｌＥｖａｌｕａｔｉｏｎｏｆＳｐｅｅｃｈＱｕａｌｉｔｙ）に基づく試験を行うように構成されることが好適である。 In this case, the test system is
The transmitting terminal device and the receiving terminal device are preferably configured to perform a test based on PESQ (Perceptual Evaluation of Speech Quality).

この場合、上記試験用データ送信手段は、ＳＩＰ（ＳｅｓｓｉｏｎＩｎｉｔｉａｔｉｏｎＰｒｏｔｏｃｏｌ）に従って、上記送信側端末装置と上記受信側端末装置との間に通信セッションを確立し、当該確立された通信セッションを介して当該受信側端末装置へ上記試験データを送信するように構成されることが好適である。 In this case, the test data transmission means establishes a communication session between the transmission-side terminal device and the reception-side terminal device in accordance with SIP (Session Initiation Protocol), and performs the communication via the established communication session. It is preferable that the test data is transmitted to the receiving terminal device.

この場合、上記試験用データ送信手段は、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）に従って上記試験データを上記受信側端末装置へ送信するように構成されることが好適である。 In this case, it is preferable that the test data transmission means is configured to transmit the test data to the receiving terminal device according to RTP (Real-time Transport Protocol).

この場合、上記試験用データ送信手段は、上記受信された試験データを符号化し、当該符号化された試験データを上記受信側端末装置へ送信するように構成され、
上記試験用データ受信手段は、上記送信側端末装置から上記試験データを受信し、当該受信された試験データを復号化するように構成され、
上記試験後データ送信手段は、上記復号化された試験データを上記サーバ装置へ送信するように構成されることが好適である。 In this case, the test data transmission means is configured to encode the received test data and transmit the encoded test data to the receiving terminal device,
The test data receiving means is configured to receive the test data from the transmitting terminal device and to decode the received test data,
The post-test data transmission means is preferably configured to transmit the decrypted test data to the server device.

この場合、上記品質推定手段は、上記推定された音声及び／又は映像の品質を表す品質情報を出力するように構成されることが好適である。 In this case, it is preferable that the quality estimation means is configured to output quality information indicating the estimated audio and / or video quality.

また、本発明の他の形態である試験方法は、通信回線を介して接続された、サーバ装置、送信側端末装置、及び、受信側端末装置を含む試験システムに適用される方法である。
更に、上記試験方法は、
上記サーバ装置が備える記憶装置に記憶されているデータであって音声及び／又は映像を表すデータである試験データを当該サーバ装置が上記送信側端末装置へ送信する試験前データ送信工程と、
上記送信側端末装置が上記サーバ装置から上記試験データを受信する試験前データ受信工程と、
上記送信側端末装置が、上記受信された試験データを上記受信側端末装置へ送信する試験用データ送信工程と、
上記受信側端末装置が、上記送信側端末装置から上記試験データを受信する試験用データ受信工程と、
上記送信側端末装置が、上記受信された試験データを上記サーバ装置へ送信する試験後データ送信工程と、
上記サーバ装置が、上記受信側端末装置により送信された試験データを受信する試験後データ受信工程と、
上記受信された試験データと、上記記憶装置に記憶されている試験データと、に基づいて、上記受信側端末装置が上記送信側端末装置から受信した試験データが表す音声及び／又は映像の品質を上記サーバ装置が推定する品質推定工程と、
を含む。 A test method according to another aspect of the present invention is a method applied to a test system including a server device, a transmission-side terminal device, and a reception-side terminal device connected via a communication line.
Furthermore, the test method is
A pre-test data transmission step in which the server device transmits test data, which is data stored in a storage device included in the server device and is data representing audio and / or video, to the transmitting terminal device;
A pre-test data receiving step in which the transmitting terminal device receives the test data from the server device;
The transmitting terminal device transmits the received test data to the receiving terminal device, and a test data transmitting step,
A test data receiving step in which the receiving terminal device receives the test data from the transmitting terminal device;
The transmitting terminal device transmits the received test data to the server device, a post-test data transmission step,
The post-test data receiving step in which the server device receives the test data transmitted by the receiving terminal device;
Based on the received test data and the test data stored in the storage device, the quality of audio and / or video represented by the test data received by the receiving terminal device from the transmitting terminal device is determined. A quality estimation step estimated by the server device;
including.

この場合、上記試験方法は、
上記サーバ装置と上記送信側端末装置及び上記受信側端末装置のそれぞれとの間の通信帯域を、予め設定された上限帯域以下に制御する通信帯域制限工程を含むことが好適である。 In this case, the test method is
It is preferable to include a communication band limiting step of controlling a communication band between the server device and each of the transmitting terminal device and the receiving terminal device to be equal to or lower than a preset upper limit band.

この場合、上記試験方法は、
上記サーバ装置との間で通信セッションが確立されている、上記送信側端末装置及び上記受信側端末装置の数である接続数を、予め設定された上限数以下に制御する接続数制限工程を含むことが好適である。 In this case, the test method is
Including a connection number limiting step of controlling the number of connections, which is the number of the transmission side terminal device and the reception side terminal device, in which a communication session is established with the server device, to a predetermined upper limit number or less. Is preferred.

この場合、上記試験方法は、
所定の実行指示の送信先となる送信側端末装置を特定するための送信側端末装置特定情報と、当該実行指示を送信する順序を表す順序情報と、を対応付けた情報であって、上記記憶装置に記憶されている情報であるシナリオ情報に含まれる順序情報が表す順序に従って、当該シナリオ情報に含まれる送信側端末装置特定情報により特定される送信側端末装置へ、上記サーバ装置が上記実行指示を送信する実行指示送信工程を含み、
上記試験用データ送信工程は、上記送信側端末装置が上記サーバ装置から上記実行指示を受信した時、当該送信側端末装置が上記試験データを上記受信側端末装置へ送信するように構成されることが好適である。 In this case, the test method is
Information that associates transmission-side terminal device identification information for identifying a transmission-side terminal device that is a transmission destination of a predetermined execution instruction with order information that represents the order in which the execution instruction is transmitted, In accordance with the order represented by the order information included in the scenario information which is information stored in the apparatus, the server apparatus instructs the execution to the transmitting terminal apparatus specified by the transmitting terminal apparatus specifying information included in the scenario information. Including an execution instruction transmission step of transmitting
The test data transmission step is configured such that when the transmitting terminal device receives the execution instruction from the server device, the transmitting terminal device transmits the test data to the receiving terminal device. Is preferred.

この場合、上記サーバ装置は、
上記送信側端末装置及び上記受信側端末装置のそれぞれとの間の通信帯域を、予め設定された上限帯域以下に制御する通信帯域制限手段を備えることが好適である。 In this case, the server device
It is preferable that communication band limiting means for controlling a communication band between each of the transmission side terminal apparatus and the reception side terminal apparatus to be equal to or less than a preset upper limit band is preferable.

この場合、上記サーバ装置は、
当該サーバ装置との間で通信セッションが確立されている、上記送信側端末装置及び上記受信側端末装置の数である接続数を、予め設定された上限数以下に制御する接続数制限手段を備えることが好適である。 In this case, the server device
A connection number limiting means for controlling the number of connections, which is the number of the transmission side terminal device and the reception side terminal device, in which a communication session is established with the server device to be equal to or less than a preset upper limit number; Is preferred.

この場合、上記サーバ装置は、
所定の実行指示の送信先となる送信側端末装置を特定するための送信側端末装置特定情報と、当該実行指示を送信する順序を表す順序情報と、を対応付けたシナリオ情報を記憶するシナリオ情報記憶手段と、
上記記憶されているシナリオ情報に含まれる順序情報が表す順序に従って、当該シナリオ情報に含まれる送信側端末装置特定情報により特定される送信側端末装置へ、上記実行指示を送信する実行指示送信手段と、
を備えることが好適である。 In this case, the server device
Scenario information that stores scenario information in which transmission-side terminal device identification information for identifying a transmission-side terminal device that is a transmission destination of a predetermined execution instruction is associated with order information that represents the order in which the execution instruction is transmitted Storage means;
Execution instruction transmitting means for transmitting the execution instruction to the transmitting terminal device specified by the transmitting terminal device specifying information included in the scenario information in accordance with the order represented by the order information included in the stored scenario information; ,
Is preferably provided.

この場合、上記プログラムは、
上記サーバ装置に、更に、
上記送信側端末装置及び上記受信側端末装置のそれぞれとの間の通信帯域を、予め設定された上限帯域以下に制御する通信帯域制限手段を実現させるためのプログラムであることが好適である。 In this case, the program is
In addition to the server device,
It is preferable that the program is for realizing a communication band limiting unit that controls a communication band between each of the transmission side terminal apparatus and the reception side terminal apparatus to be equal to or lower than a preset upper limit band.

この場合、上記プログラムは、
上記サーバ装置に、更に、
当該サーバ装置との間で通信セッションが確立されている、上記送信側端末装置及び上記受信側端末装置の数である接続数を、予め設定された上限数以下に制御する接続数制限手段を実現させるためのプログラムであることが好適である。 In this case, the program is
In addition to the server device,
Realizes connection number limiting means for controlling the number of connections, which is the number of the transmission side terminal devices and the reception side terminal devices, with which a communication session is established with the server device to be equal to or less than a preset upper limit number It is preferable that it is a program for making it happen.

この場合、上記プログラムは、
上記サーバ装置に、更に、
所定の実行指示の送信先となる送信側端末装置を特定するための送信側端末装置特定情報と、当該実行指示を送信する順序を表す順序情報と、を対応付けた情報であって、上記記憶装置に記憶されている情報であるシナリオ情報に含まれる順序情報が表す順序に従って、当該シナリオ情報に含まれる送信側端末装置特定情報により特定される送信側端末装置へ、当該実行指示を送信する実行指示送信手段を実現させるためのプログラムであることが好適である。 In this case, the program is
In addition to the server device,
Information that associates transmission-side terminal device identification information for identifying a transmission-side terminal device that is a transmission destination of a predetermined execution instruction with order information that represents the order in which the execution instruction is transmitted, Execution of transmitting the execution instruction to the transmission-side terminal device identified by the transmission-side terminal device identification information included in the scenario information in accordance with the order represented by the sequence information included in the scenario information that is information stored in the device A program for realizing the instruction transmission unit is preferable.

この場合、上記試験用データ送信手段は、上記サーバ装置から所定の実行指示を受信した時、上記試験データを上記受信側端末装置へ送信するように構成されることが好適である。 In this case, it is preferable that the test data transmission means is configured to transmit the test data to the receiving terminal device when a predetermined execution instruction is received from the server device.

上述した構成を有する、試験方法、サーバ装置、プログラム、送信側端末装置、又は、受信側端末装置、の発明であっても、上記試験システムと同様の作用を有するために、上述した本発明の目的を達成することができる。 Even the invention of the test method, the server device, the program, the transmission side terminal device, or the reception side terminal device having the above-described configuration has the same operation as the above test system. Aim can be achieved.

以下、本発明に係る、試験システム、試験方法、サーバ装置、プログラム、送信側端末装置、及び、受信側端末装置、の実施形態について図１〜図５を参照しながら説明する。 Hereinafter, embodiments of a test system, a test method, a server device, a program, a transmission-side terminal device, and a reception-side terminal device according to the present invention will be described with reference to FIGS.

＜実施形態＞
図１に示したように、実施形態に係る試験システム１は、サーバ装置１１と、複数の端末装置２１，２２，２３，２４，２５，…と、を含む。サーバ装置１１、及び、端末装置２１，２２，２３，２４，２５，…は、通信回線（本例では、ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）網）ＮＷを介して、互いに通信可能に接続されている。 <Embodiment>
As shown in FIG. 1, the test system 1 according to the embodiment includes a server device 11 and a plurality of terminal devices 21, 22, 23, 24, 25,. The server device 11 and the terminal devices 21, 22, 23, 24, 25,... Are communicably connected to each other via a communication line (in this example, an IP (Internet Protocol) network) NW.

サーバ装置１１は、図示しない中央処理装置（ＣＰＵ；ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、記憶装置（メモリ及びハードディスク駆動装置（ＨＤＤ；ＨａｒｄＤｉｓｋＤｒｉｖｅ））、入力装置及び出力装置を備える。 The server device 11 includes a central processing unit (CPU) (not shown), a storage device (memory and hard disk drive (HDD)), an input device, and an output device.

出力装置は、ディスプレイを有する。出力装置は、ＣＰＵから出力された画像情報に基づいて、文字及び図形等からなる画像をディスプレイに表示させる。入力装置は、キーボード及びマウスを有する。サーバ装置１１は、キーボード及びマウスを介して、ユーザの操作に基づく情報が入力されるように構成されている。 The output device has a display. The output device displays an image made up of characters, graphics, and the like on the display based on the image information output from the CPU. The input device has a keyboard and a mouse. The server device 11 is configured such that information based on user operations is input via a keyboard and a mouse.

サーバ装置１１は、記憶装置に記憶されているプログラムをＣＰＵが実行することにより、後述する機能を実現するように構成されている。 The server device 11 is configured to realize functions to be described later when the CPU executes a program stored in the storage device.

各端末装置２１，２２，２３，２４，２５，…は、他の端末装置との間で試験データを送受信することにより、ＰＥＳＱ（ＰｅｒｃｅｐｔｕａｌＥｖａｌｕａｔｉｏｎｏｆＳｐｅｅｃｈＱｕａｌｉｔｙ）に基づく試験を行うように構成されている。 Each terminal device 21, 22, 23, 24, 25, ... is configured to perform a test based on PESQ (Perceptual Evaluation of Speech Quality) by transmitting / receiving test data to / from other terminal devices. Yes.

各端末装置２１，２２，２３，２４，２５，…は、図示しないＣＰＵ、及び、記憶装置（メモリ）を備える。各端末装置２１，２２，２３，２４，２５，…は、記憶装置に記憶されているプログラムをＣＰＵが実行することにより、後述する機能を実現するように構成されている。 Each terminal device 21, 22, 23, 24, 25,... Includes a CPU (not shown) and a storage device (memory). Each of the terminal devices 21, 22, 23, 24, 25,... Is configured to realize functions to be described later when the CPU executes a program stored in the storage device.

図２は、上記のように構成された試験システム１の機能を表すブロック図である。この機能は、サーバ装置１１、及び、端末装置２１のそれぞれのＣＰＵが図示しないプログラムを実行することにより、実現される。なお、各端末装置２２，２３，２４，２５，…も、端末装置２１と同様の機能を有する。 FIG. 2 is a block diagram showing functions of the test system 1 configured as described above. This function is realized by the CPU of the server device 11 and the terminal device 21 executing a program (not shown). Each of the terminal devices 22, 23, 24, 25,... Has the same function as the terminal device 21.

このサーバ装置１１の機能は、試験データ記憶部（試験データ記憶手段）３１と、試験前データ送信部（試験前データ送信手段）３２と、シナリオ情報記憶部（シナリオ情報記憶手段）３３と、実行指示送信部（実行指示送信手段）３４と、試験後データ受信部（試験後データ受信手段）３５と、品質推定部（品質推定手段）３６と、通信制御部（通信帯域制限手段及び接続数制限手段）３７と、を含む。 The functions of the server device 11 are a test data storage unit (test data storage unit) 31, a pre-test data transmission unit (pre-test data transmission unit) 32, a scenario information storage unit (scenario information storage unit) 33, and an execution. Instruction transmission unit (execution instruction transmission unit) 34, post-test data reception unit (post-test data reception unit) 35, quality estimation unit (quality estimation unit) 36, and communication control unit (communication band limiting unit and connection number limitation) Means) 37.

端末装置２１の機能は、試験前データ受信部（試験前データ受信手段）４１と、試験用データ送信部（試験用データ送信手段）４２と、試験用データ受信部（試験用データ受信手段）４３と、試験後データ送信部（試験後データ送信手段）４４と、を含む。 The functions of the terminal device 21 are a pre-test data receiving unit (pre-test data receiving unit) 41, a test data transmitting unit (test data transmitting unit) 42, and a test data receiving unit (test data receiving unit) 43. And a post-test data transmission unit (post-test data transmission means) 44.

サーバ装置１１の試験データ記憶部３１は、音声を表す音声データを試験データとして予め記憶している。
サーバ装置１１の試験前データ送信部３２は、試験データ記憶部３１に記憶されている試験データを、各端末装置２１，２２，２３，２４，２５，…へ送信する。 The test data storage unit 31 of the server device 11 stores voice data representing a voice as test data in advance.
The pre-test data transmission unit 32 of the server device 11 transmits the test data stored in the test data storage unit 31 to each terminal device 21, 22, 23, 24, 25,.

端末装置２１の試験前データ受信部４１は、サーバ装置１１から試験データを受信する。試験前データ受信部４１は、受信した試験データを記憶装置に記憶させる。 The pre-test data receiving unit 41 of the terminal device 21 receives test data from the server device 11. The pre-test data receiving unit 41 stores the received test data in the storage device.

サーバ装置１１のシナリオ情報記憶部３３は、図３に示したように、送信側端末装置特定情報と、受信側端末装置特定情報と、順序情報としての日時情報と、を対応付けたシナリオ情報を記憶する。本例では、シナリオ情報は、サーバ装置１１のユーザが入力装置を介して入力した情報である。 As illustrated in FIG. 3, the scenario information storage unit 33 of the server device 11 stores scenario information that associates transmission-side terminal device identification information, reception-side terminal device identification information, and date / time information as order information. Remember. In this example, the scenario information is information input by the user of the server device 11 via the input device.

ここで、送信側端末装置特定情報は、試験データを送信する端末装置である送信側端末装置を特定するための情報である。後述するように、送信側端末装置は、実行指示の送信先となる端末装置である。また、受信側端末装置特定情報は、試験データを受信する端末装置である受信側端末装置を特定するための情報である。本例では、順序情報は、試験データを送信する日時を表す日時情報である。即ち、順序情報は、後述するように、実行指示を送信する順序を表す情報である、と言うことができる。 Here, the transmission-side terminal device identification information is information for identifying a transmission-side terminal device that is a terminal device that transmits test data. As will be described later, the transmission-side terminal device is a terminal device that is a transmission destination of the execution instruction. The receiving terminal device specifying information is information for specifying a receiving terminal device that is a terminal device that receives test data. In this example, the order information is date / time information indicating the date / time at which the test data is transmitted. That is, it can be said that the order information is information indicating the order in which execution instructions are transmitted, as will be described later.

サーバ装置１１の実行指示送信部３４は、シナリオ情報記憶部３３に記憶されているシナリオ情報に含まれる日時情報が表す日時となった時、そのシナリオ情報に含まれる送信側端末装置特定情報により特定される端末装置へ、そのシナリオ情報に含まれる受信側端末装置特定情報を含む実行指示を送信する。実行指示は、その実行指示に含まれる受信側端末装置特定情報により特定される受信側端末装置へ試験データを送信する旨を指示する情報である。 When the date and time information included in the scenario information stored in the scenario information storage unit 33 is reached, the execution instruction transmission unit 34 of the server device 11 is identified by the transmission-side terminal device identification information included in the scenario information. The execution instruction including the receiving-side terminal device specifying information included in the scenario information is transmitted to the terminal device. The execution instruction is information for instructing to transmit test data to the receiving terminal device specified by the receiving terminal device specifying information included in the execution instruction.

即ち、実行指示送信部３４は、シナリオ情報記憶部３３に記憶されているシナリオ情報に含まれる順序情報が表す順序に従って、そのシナリオ情報に含まれる送信側端末装置特定情報により特定される送信側端末装置へ、実行指示を送信している、と言うことができる。 In other words, the execution instruction transmission unit 34 is specified by the transmission side terminal device identification information included in the scenario information in accordance with the order represented by the order information included in the scenario information stored in the scenario information storage unit 33. It can be said that the execution instruction is transmitted to the apparatus.

端末装置２１の試験用データ送信部４２は、サーバ装置１１から実行指示を受信する。試験用データ送信部４２は、実行指示を受信した時、試験前データ受信部４１によって記憶装置に記憶させられている試験データを符号化する。そして、試験用データ送信部４２は、符号化された試験データを、上記受信した実行指示に含まれる受信側端末装置特定情報により特定される受信側端末装置へ送信する。 The test data transmission unit 42 of the terminal device 21 receives an execution instruction from the server device 11. When receiving the execution instruction, the test data transmitting unit 42 encodes the test data stored in the storage device by the pre-test data receiving unit 41. Then, the test data transmitting unit 42 transmits the encoded test data to the receiving terminal device specified by the receiving terminal device specifying information included in the received execution instruction.

このとき、試験用データ送信部４２は、ＳＩＰ（ＳｅｓｓｉｏｎＩｎｉｔｉａｔｉｏｎＰｒｏｔｏｃｏｌ）に従って、送信側端末装置（即ち、自装置）と受信側端末装置との間に通信セッションを確立する。そして、試験用データ送信部４２は、確立された通信セッションを介して受信側端末装置へ上記試験データを送信する。本例では、試験用データ送信部４２は、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）に従って上記試験データを受信側端末装置へ送信する。 At this time, the test data transmission unit 42 establishes a communication session between the transmission-side terminal device (that is, its own device) and the reception-side terminal device in accordance with SIP (Session Initiation Protocol). Then, the test data transmission unit 42 transmits the test data to the receiving terminal device via the established communication session. In this example, the test data transmitting unit 42 transmits the test data to the receiving terminal device according to RTP (Real-time Transport Protocol).

また、端末装置２１の試験用データ受信部４３は、他の端末装置２２，２３，２４，２５，…から試験データを受信する。試験用データ受信部４３は、受信した試験データを復号化する。 Further, the test data receiving unit 43 of the terminal device 21 receives test data from the other terminal devices 22, 23, 24, 25,. The test data receiving unit 43 decodes the received test data.

端末装置２１の試験後データ送信部４４は、試験用データ受信部４３により復号化された試験データをサーバ装置１１へ送信する。 The post-test data transmitting unit 44 of the terminal device 21 transmits the test data decrypted by the test data receiving unit 43 to the server device 11.

サーバ装置１１の試験後データ受信部３５は、各端末装置（受信側端末装置）２１，２２，２３，２４，２５，…により送信された試験データを受信する。 The post-test data receiving unit 35 of the server device 11 receives the test data transmitted from each terminal device (receiving terminal device) 21, 22, 23, 24, 25,.

サーバ装置１１の品質推定部３６は、試験後データ受信部３５により受信された試験データと、試験データ記憶部３１に記憶されている試験データと、に基づいて、上記受信側端末装置が上記送信側端末装置から受信した試験データが表す音声の品質を推定する。 Based on the test data received by the post-test data receiving unit 35 and the test data stored in the test data storage unit 31, the quality estimation unit 36 of the server device 11 transmits the above-mentioned transmission side terminal device to the above-described transmission. The quality of the voice represented by the test data received from the terminal device on the side is estimated.

具体的には、品質推定部３６は、試験後データ受信部３５により受信された試験データと、試験データ記憶部３１に記憶されている試験データと、が一致している程度を表すパラメータを算出する。そして、品質推定部３６は、算出したパラメータを、上記品質を表す品質情報として出力装置を介して出力する（本例では、ディスプレイに表示させる）。 Specifically, the quality estimation unit 36 calculates a parameter indicating the degree to which the test data received by the post-test data receiving unit 35 matches the test data stored in the test data storage unit 31. To do. And the quality estimation part 36 outputs the calculated parameter via an output device as quality information showing the said quality (it displays on a display in this example).

また、サーバ装置１１の通信制御部３７は、サーバ装置１１と各端末装置２１，２２，２３，２４，２５，…との間の通信帯域を、予め設定された上限帯域以下に制御する。更に、通信制御部３７は、サーバ装置１１との間で通信セッションが確立されている端末装置２１，２２，２３，２４，２５，…の数である接続数を、予め設定された上限数以下に制御する。 Moreover, the communication control part 37 of the server apparatus 11 controls the communication band between the server apparatus 11 and each terminal device 21, 22, 23, 24, 25, ... below the preset upper limit band. Furthermore, the communication control unit 37 sets the number of connections, which is the number of terminal devices 21, 22, 23, 24, 25,... With which a communication session has been established with the server device 11, to a predetermined upper limit number or less. To control.

次に、上述した試験システム１の作動について、シーケンス図である図４を参照しながら説明する。 Next, the operation of the test system 1 described above will be described with reference to FIG. 4 which is a sequence diagram.

いま、端末装置２１を特定するための送信側端末装置特定情報（本例では、「ＩＤ１」）と、端末装置２２を特定するための受信側端末装置特定情報（本例では、「ＩＤ２」）と、日時を表す日時情報（本例では、「２００９−０５−１９１０：２０：３０」）と、を対応付けた情報が、シナリオ情報として、サーバ装置１１の記憶装置に記憶されている場合を想定して説明する。 Now, transmitting-side terminal device specifying information (in this example, “ID1”) for specifying the terminal device 21 and receiving-side terminal device specifying information (“ID2” in this example) for specifying the terminal device 22 are used. And date / time information indicating the date / time (in this example, “2009-05-19 10:20:30”) is stored as scenario information in the storage device of the server device 11. An explanation will be given assuming this.

先ず、サーバ装置１１は、記憶装置に予め記憶されている試験データを端末装置２１へ送信する（ステップＡ１、試験前データ送信工程）。これにより、端末装置２１は、サーバ装置１１から試験データを受信し（試験前データ受信工程）、受信した試験データを記憶装置に記憶させる。 First, the server device 11 transmits test data stored in advance in the storage device to the terminal device 21 (step A1, pre-test data transmission step). Thereby, the terminal device 21 receives the test data from the server device 11 (pre-test data receiving step), and stores the received test data in the storage device.

このとき、サーバ装置１１は、端末装置２１との間の通信帯域を、上記上限帯域以下に制御する（通信帯域制限工程）。更に、サーバ装置１１は、サーバ装置１１との間で通信セッションが確立されている端末装置２１，２２，２３，２４，２５，…の数である接続数を、上記上限数以下に制御する（接続数制限工程）。これによれば、他の通信にて使用可能な通信帯域が過少となることを防止することができる。 At this time, the server device 11 controls the communication band between the terminal device 21 and the upper limit band or less (communication band limiting step). Further, the server device 11 controls the number of connections, which is the number of terminal devices 21, 22, 23, 24, 25,... With which a communication session is established with the server device 11, to be equal to or less than the above upper limit number ( Connection number limiting process). According to this, it is possible to prevent the communication band that can be used in other communication from becoming excessive.

その後、上記シナリオ情報に含まれる日時情報が表す日時になった時、サーバ装置１１は、端末装置２２を特定するための受信側端末装置特定情報を含む実行指示を端末装置２１へ送信する（ステップＡ２、実行指示送信工程）。 Thereafter, when the date and time represented by the date and time information included in the scenario information is reached, the server device 11 transmits an execution instruction including the receiving-side terminal device specifying information for specifying the terminal device 22 to the terminal device 21 (step). A2, execution instruction transmission step).

これにより、端末装置２１は、端末装置２２との間で、ＳＩＰに従ったメッセージを送受信することにより、通信セッションを確立する（ステップＢ１）。また、端末装置２１は、記憶装置に記憶されている試験データを符号化する。その後、端末装置２１は、ＲＴＰに従って、符号化された試験データを、確立された通信セッションを介して端末装置２２へ送信する（ステップＢ２、試験用データ送信工程）。 Thereby, the terminal device 21 establishes a communication session by transmitting and receiving a message according to the SIP with the terminal device 22 (step B1). In addition, the terminal device 21 encodes test data stored in the storage device. Thereafter, the terminal device 21 transmits the encoded test data to the terminal device 22 through the established communication session according to RTP (step B2, test data transmission step).

これにより、端末装置２２は、端末装置２１から、符号化された試験データを受信する（試験用データ受信工程）。そして、端末装置２２は、試験データの受信が完了すると、受信した試験データを復号化する。そして、端末装置２２は、復号化された試験データをサーバ装置１１へ送信する（ステップＣ１、試験後データ送信工程）。 Thereby, the terminal device 22 receives the encoded test data from the terminal device 21 (test data receiving step). Then, when the reception of the test data is completed, the terminal device 22 decodes the received test data. Then, the terminal device 22 transmits the decrypted test data to the server device 11 (step C1, post-test data transmission process).

これにより、サーバ装置１１は、端末装置２２から試験データを受信する（試験後データ受信工程）。このとき、サーバ装置１１は、端末装置２２との間の通信帯域を、上記上限帯域以下に制御する（通信帯域制限工程）。更に、サーバ装置１１は、サーバ装置１１との間で通信セッションが確立されている端末装置２１，２２，２３，２４，２５，…の数である接続数を、上記上限数以下に制御する（接続数制限工程）。これによれば、他の通信にて使用可能な通信帯域が過少となることを防止することができる。 Thereby, the server device 11 receives test data from the terminal device 22 (post-test data receiving step). At this time, the server device 11 controls the communication band with the terminal device 22 to be equal to or lower than the upper limit band (communication band limiting step). Further, the server device 11 controls the number of connections, which is the number of terminal devices 21, 22, 23, 24, 25,... With which a communication session is established with the server device 11, to be equal to or less than the above upper limit number ( Connection number limiting process). According to this, it is possible to prevent the communication band that can be used in other communication from becoming excessive.

そして、サーバ装置１１は、受信された試験データと、記憶装置に記憶されている試験データと、が一致している程度を表すパラメータを算出することにより、端末装置２２が端末装置２１から受信した試験データが表す音声の品質を推定する（ステップＡ３、品質推定工程）。そして、サーバ装置１１は、算出したパラメータを品質情報としてディスプレイに表示させる（ステップＡ４）。
なお、試験システム１は、他のシナリオ情報に対しても同様に作動する。 Then, the server device 11 receives the terminal device 22 from the terminal device 21 by calculating a parameter indicating the degree to which the received test data matches the test data stored in the storage device. The voice quality represented by the test data is estimated (step A3, quality estimation step). And the server apparatus 11 displays the calculated parameter on a display as quality information (step A4).
Note that the test system 1 operates in the same manner for other scenario information.

以上、説明したように、本発明による試験システムの実施形態によれば、サーバ装置１１は、送信側端末装置としての端末装置２１が実際に送信した試験データと、受信側端末装置としての端末装置２２が実際に受信した試験データと、に基づいて、受信側端末装置２２が、送信側端末装置２１から受信した試験データが表す音声の品質を推定する。この結果、サーバ装置１１は、端末装置が他の端末装置から受信した試験データが表す音声の品質を高い精度にて推定することができる。 As described above, according to the embodiment of the test system of the present invention, the server device 11 includes the test data actually transmitted by the terminal device 21 as the transmission-side terminal device and the terminal device as the reception-side terminal device. Based on the test data 22 actually received, the reception-side terminal device 22 estimates the quality of the voice represented by the test data received from the transmission-side terminal device 21. As a result, the server device 11 can estimate the quality of the voice represented by the test data received by the terminal device from another terminal device with high accuracy.

更に、上記試験システム１において、サーバ装置１１は、送信側端末装置及び受信側端末装置の組のそれぞれに対して、受信側端末装置が送信側端末装置から受信した試験データを受信することができる。この結果、サーバ装置１１は、各組に対して推定された音声の品質に基づいた情報（例えば、各組に対する品質を統計した情報、及び、ある組に対する品質と他の組に対する品質又は各組に対する品質を統計した情報とを比較した情報等）を出力することもできる。また、上記試験システム１によれば、同一の試験データを、複数の送信側端末装置に送信させることもできる。 Furthermore, in the test system 1, the server device 11 can receive the test data received from the transmitting terminal device by the receiving terminal device for each of the pair of the transmitting terminal device and the receiving terminal device. . As a result, the server device 11 is configured to obtain information based on the quality of speech estimated for each set (for example, information obtained by statistically evaluating the quality for each set, quality for a set and quality for another set, or each set It is also possible to output information that is compared with information obtained by statistically evaluating the quality of the data. Moreover, according to the said test system 1, the same test data can also be transmitted to several transmission side terminal devices.

加えて、上記試験システム１は、シナリオ情報に基づいて、送信側端末装置から受信側端末装置へ試験データを送信する処理（試験）を自動的に実行することができる。この結果、試験システム１を使用するユーザ（オペレータ）の手間を軽減することができる。また、例えば、送信側端末装置と受信側端末装置とを接続する通信回線ＮＷの通信量が相対的に少ない期間（例えば、通信回線ＮＷを用いるサービスの提供が停止する期間）にて、試験を実行することにより、通信負荷の最大値を減少させることもできる。 In addition, the test system 1 can automatically execute a process (test) for transmitting test data from the transmitting terminal device to the receiving terminal device based on the scenario information. As a result, the trouble of the user (operator) who uses the test system 1 can be reduced. In addition, for example, the test is performed in a period in which the communication amount of the communication line NW connecting the transmission side terminal apparatus and the reception side terminal apparatus is relatively small (for example, a period in which the service using the communication line NW is stopped). By executing this, the maximum value of the communication load can be reduced.

また、上記試験システム１によれば、複数の、送信側端末装置及び受信側端末装置の組のそれぞれに対する試験を同時に実行することもできる。従って、複数の試験を早期に完了することができる。また、上記試験システム１によれば、比較的長い距離だけ離間して配置された送信側端末装置及び受信側端末装置に対する試験も容易に実行することができる。 Moreover, according to the said test system 1, the test with respect to each of several sets of a transmission side terminal device and a receiving side terminal device can also be performed simultaneously. Therefore, a plurality of tests can be completed early. In addition, according to the test system 1, it is possible to easily execute a test on a transmission-side terminal device and a reception-side terminal device that are spaced apart by a relatively long distance.

更に、上記試験システム１によれば、予め設定された試験周期が経過する毎に、試験を行うことができる。従って、上記通信回線ＮＷにて異常が発生した場合であっても、早期に異常が発生したことを検出することができる。 Furthermore, according to the test system 1, a test can be performed every time a preset test cycle elapses. Therefore, even if an abnormality occurs in the communication line NW, it can be detected that an abnormality has occurred at an early stage.

なお、本発明は上記実施形態に限定されることはなく、本発明の範囲内において種々の変形例を採用することができる。例えば、上記実施形態においては、送信側端末装置は、１つの実行指示を受信することにより、１つの受信側端末装置へ試験データを送信するように構成されていたが、複数の受信側端末装置のそれぞれへ試験データを送信するように構成されていてもよい。 In addition, this invention is not limited to the said embodiment, A various modification can be employ | adopted within the scope of the present invention. For example, in the above embodiment, the transmission side terminal device is configured to transmit test data to one reception side terminal device by receiving one execution instruction. May be configured to transmit test data to each of the.

また、上記実施形態の変形例において、受信側端末装置は、送信側端末装置により送信されたパケットの一部が受信されなかった（消失した）こと（パケットロスの発生）、及び、連続する２つのパケットが受信された間隔が所定の閾値よりも長いこと（パケット遅延の発生）等を検出するように構成されていてもよい。この場合、受信側端末装置は、パケットロスの発生及びパケット遅延の発生を検出したとき、その旨を表す情報をサーバ装置１１へ送信するように構成される。 Moreover, in the modification of the said embodiment, the receiving side terminal device did not receive (disappear) some packets transmitted by the transmitting side terminal device (occurrence of packet loss), and the continuous 2 It may be configured to detect that an interval at which two packets are received is longer than a predetermined threshold (occurrence of packet delay) or the like. In this case, when the occurrence of packet loss and occurrence of packet delay is detected, the receiving-side terminal device is configured to transmit information indicating that to the server device 11.

また、上記実施形態において、試験システム１は、試験データとして音声を表す音声データを用いていたが、映像を表す映像データを試験データとして用いるように構成されていてもよい。また、試験システム１は、映像を表す映像データ及び音声を表す音声データの両方を試験データとして用いるように構成されていてもよい。 Moreover, in the said embodiment, although the test system 1 used the audio | voice data showing an audio | voice as test data, you may be comprised so that the video data showing an image | video may be used as test data. The test system 1 may be configured to use both video data representing video and audio data representing audio as test data.

また、上記実施形態の変形例において、サーバ装置１１は、品質情報として算出されたパラメータが、予め設定された閾値よりも小さい場合に、その旨を表す情報を出力するように構成されていてもよい。 Moreover, in the modification of the said embodiment, when the parameter calculated as quality information is smaller than the preset threshold value, the server apparatus 11 may be configured to output information indicating that fact. Good.

更に、上記実施形態の変形例において、サーバ装置１１は、送信側端末装置及び受信側端末装置の組のそれぞれに対して推定された音声の品質に基づいた出力情報を出力するように構成されることが好適である。ここで、出力情報は、統計情報、及び／又は、比較情報である。統計情報は、各組に対する品質を統計した（例えば、パラメータを平均した値）情報である。また、比較情報は、ある組に対する品質と、他の組に対する品質又は各組に対する品質を統計した情報と、を比較した情報である。 Further, in the modification of the above embodiment, the server device 11 is configured to output output information based on the estimated voice quality for each of the set of the transmission side terminal device and the reception side terminal device. Is preferred. Here, the output information is statistical information and / or comparison information. The statistical information is information that statistics the quality for each group (for example, a value obtained by averaging parameters). The comparison information is information obtained by comparing the quality for a certain set with the quality for another set or information obtained by statistically evaluating the quality for each set.

また、図５に示したように、上記実施形態の変形例に係る試験システム１００は、通信回線を介して接続された、サーバ装置１１０、送信側端末装置１２０、及び、受信側端末装置１３０を含む。 Further, as shown in FIG. 5, the test system 100 according to the modified example of the above embodiment includes a server device 110, a transmission-side terminal device 120, and a reception-side terminal device 130 connected via a communication line. Including.

サーバ装置１１０の機能は、試験データ記憶部（試験データ記憶手段）１１１と、試験前データ送信部（試験前データ送信手段）１１２と、試験後データ受信部（試験後データ受信手段）１１３と、品質推定部（品質推定手段）１１４と、を含む。 The functions of the server device 110 are a test data storage unit (test data storage unit) 111, a pre-test data transmission unit (pre-test data transmission unit) 112, a post-test data reception unit (post-test data reception unit) 113, A quality estimation unit (quality estimation means) 114.

送信側端末装置１２０の機能は、試験前データ受信部（試験前データ受信手段）１２１と、試験用データ送信部（試験用データ送信手段）１２２と、を含む。
受信側端末装置１３０の機能は、試験用データ受信部（試験用データ受信手段）１３１と、試験後データ送信部（試験後データ送信手段）１３２と、を含む。 The function of the transmission side terminal device 120 includes a pre-test data receiving unit (pre-test data receiving unit) 121 and a test data transmitting unit (test data transmitting unit) 122.
The functions of the receiving terminal device 130 include a test data receiving unit (test data receiving unit) 131 and a post-test data transmitting unit (post-test data transmitting unit) 132.

試験データ記憶部１１１は、音声及び／又は映像を表す試験データを記憶する。
試験前データ送信部１１２は、試験データ記憶部１１１に記憶されている試験データを送信側端末装置１２０へ送信する。 The test data storage unit 111 stores test data representing audio and / or video.
The pre-test data transmission unit 112 transmits the test data stored in the test data storage unit 111 to the transmission side terminal device 120.

試験前データ受信部１２１は、サーバ装置１１０から試験データを受信する。
試験用データ送信部１２２は、試験前データ受信部１２１により受信された試験データを、受信側端末装置１３０へ送信する。 The pre-test data receiving unit 121 receives test data from the server device 110.
The test data transmission unit 122 transmits the test data received by the pre-test data reception unit 121 to the reception-side terminal device 130.

試験用データ受信部１３１は、送信側端末装置１２０から試験データを受信する。
試験後データ送信部１３２は、試験用データ受信部１３１により受信された試験データをサーバ装置１１０へ送信する。 The test data receiving unit 131 receives test data from the transmission side terminal device 120.
The post-test data transmission unit 132 transmits the test data received by the test data reception unit 131 to the server device 110.

試験後データ受信部１１３は、受信側端末装置１３０により送信された試験データを受信する。
品質推定部１１４は、試験後データ受信部１１３により受信された試験データと、試験データ記憶部１１１に記憶されている試験データと、に基づいて、受信側端末装置１３０が送信側端末装置１２０から受信した試験データが表す音声及び／又は映像の品質を推定する。
この変形例によっても、上記実施形態と同様の作用及び効果を奏することができる。 The post-test data receiving unit 113 receives the test data transmitted by the receiving terminal device 130.
Based on the test data received by the post-test data reception unit 113 and the test data stored in the test data storage unit 111, the quality estimation unit 114 is configured so that the reception-side terminal device 130 receives from the transmission-side terminal device 120. Estimate the quality of the audio and / or video represented by the received test data.
Also by this modification, the same operation and effect as the above-mentioned embodiment can be produced.

また、上記実施形態において、サーバ装置１１は、１つの情報処理装置であったが、通信可能に構成された複数の情報処理装置により構成されていてもよい。 Moreover, in the said embodiment, although the server apparatus 11 was one information processing apparatus, you may be comprised by the several information processing apparatus comprised so that communication was possible.

なお、上記実施形態において試験システム１の各機能は、ＣＰＵがプログラム（ソフトウェア）を実行することにより実現されていたが、回路等のハードウェアにより実現されていてもよい。 In the above-described embodiment, each function of the test system 1 is realized by the CPU executing a program (software), but may be realized by hardware such as a circuit.

また、上記実施形態の他の変形例として、上述した実施形態及び変形例の任意の組み合わせが採用されてもよい。 In addition, as another modified example of the above-described embodiment, any combination of the above-described embodiments and modified examples may be employed.

本発明は、ＩＰ網を介して接続された複数の電話機を含む通信システムにて通信される音声データが表す音声の品質を試験するための試験システム等に適用可能である。 The present invention is applicable to a test system or the like for testing the quality of voice represented by voice data communicated in a communication system including a plurality of telephones connected via an IP network.

１試験システム
１１サーバ装置
２１，２２，２３，２４，２５，… 端末装置
３１試験データ記憶部
３２試験前データ送信部
３３シナリオ情報記憶部
３４実行指示送信部
３５試験後データ受信部
３６品質推定部
３７通信制御部
４１試験前データ受信部
４２試験用データ送信部
４３試験用データ受信部
４４試験後データ送信部
１００試験システム
１１０サーバ装置
１１１試験データ記憶部
１１２試験前データ送信部
１１３試験後データ受信部
１１４品質推定部
１２０送信側端末装置
１２１試験前データ受信部
１２２試験用データ送信部
１３０受信側端末装置
１３１試験用データ受信部
１３２試験後データ送信部
ＮＷ通信回線
DESCRIPTION OF SYMBOLS 1 Test system 11 Server apparatus 21, 22, 23, 24, 25, ... Terminal device 31 Test data storage part 32 Pre-test data transmission part 33 Scenario information storage part 34 Execution instruction transmission part 35 Post-test data reception part 36 Quality estimation part 37 Communication control unit 41 Pre-test data reception unit 42 Test data transmission unit 43 Test data reception unit 44 Post-test data transmission unit 100 Test system 110 Server device 111 Test data storage unit 112 Pre-test data transmission unit 113 Post-test data reception Unit 114 quality estimation unit 120 transmission-side terminal device 121 pre-test data reception unit 122 test data transmission unit 130 reception-side terminal device 131 test data reception unit 132 post-test data transmission unit NW communication line

Claims

A test system including a server device, a transmission-side terminal device, and a reception-side terminal device connected via a communication line,
The server device
Test data storage means for storing test data representing audio and / or video;
Pre-test data transmitting means for transmitting the stored test data to the transmitting terminal device;
With
The transmitting terminal device
Pre-test data receiving means for receiving the test data from the server device;
Test data transmission means for transmitting the received test data to the receiving terminal device;
With
The receiving terminal device
Test data receiving means for receiving the test data from the transmitting terminal device;
Post-test data transmission means for transmitting the received test data to the server device;
With
The server device further includes:
Post-test data receiving means for receiving test data transmitted by the receiving terminal device;
Quality that estimates the quality of audio and / or video represented by the test data received by the receiving terminal device from the transmitting terminal device based on the received test data and the stored test data An estimation means;
A test system comprising:

The test system according to claim 1,
A test system comprising communication band limiting means for controlling a communication band between each of the server apparatus and each of the transmitting terminal apparatus and the receiving terminal apparatus to be equal to or lower than a preset upper limit band.

The test system according to claim 1 or 2, wherein
A connection number limiting unit configured to control the number of connections, which is the number of the transmission-side terminal device and the reception-side terminal device, in which a communication session is established with the server device, to a predetermined upper limit number or less; Test system.

A test system according to any one of claims 1 to 3,
The server device
Scenario information that stores scenario information in which transmission-side terminal device identification information for identifying a transmission-side terminal device that is a transmission destination of a predetermined execution instruction is associated with order information that represents the order in which the execution instruction is transmitted Storage means;
Execution instruction transmitting means for transmitting the execution instruction to the transmitting terminal device specified by the transmitting terminal device specifying information included in the scenario information according to the order represented by the order information included in the stored scenario information; ,
With
The test data transmitting means is configured such that when the transmitting terminal device receives the execution instruction from the server device, the transmitting terminal device transmits the test data to the receiving terminal device. system.

The test system according to any one of claims 1 to 4, wherein
The transmitting terminal device and the receiving terminal device are configured to perform a test based on PESQ (Perceptual Evaluation of Speech Quality).

A test system according to any one of claims 1 to 5,
The test data transmission means establishes a communication session between the transmission-side terminal device and the reception-side terminal device according to SIP (Session Initiation Protocol), and the reception-side terminal via the established communication session A test system configured to transmit the test data to a device.

The test system according to any one of claims 1 to 6,
The test data transmitting means is configured to transmit the test data to the receiving-side terminal device according to RTP (Real-time Transport Protocol).

The test system according to any one of claims 1 to 7,
The test data transmitting means is configured to encode the received test data and transmit the encoded test data to the receiving terminal device,
The test data receiving means is configured to receive the test data from the transmitting terminal device and to decode the received test data,
The post-test data transmission means is a test system configured to transmit the decrypted test data to the server device.

The test system according to any one of claims 1 to 8,
The test system configured to output quality information representing the estimated audio and / or video quality.

Applied to a test system including a server device, a transmission-side terminal device, and a reception-side terminal device connected via a communication line,
A pre-test data transmission step in which the server device transmits test data, which is data stored in a storage device included in the server device and is data representing audio and / or video, to the transmitting terminal device;
A pre-test data receiving step in which the transmitting terminal device receives the test data from the server device;
The transmitting terminal device transmits the received test data to the receiving terminal device, and a test data transmitting step,
The receiving terminal device receives the test data from the transmitting terminal device, a test data receiving step,
The transmitting terminal device transmits the received test data to the server device, a post-test data transmission step;
The post-test data receiving step in which the server device receives test data transmitted by the receiving terminal device;
Based on the received test data and the test data stored in the storage device, the quality of audio and / or video represented by the test data received from the transmitting terminal device by the receiving terminal device is determined. A quality estimation step estimated by the server device;
A test method comprising:

The test method according to claim 10, comprising:
A test method including a communication band limiting step of controlling a communication band between each of the server apparatus and each of the transmitting terminal apparatus and the receiving terminal apparatus to be equal to or lower than a preset upper limit band.

The test method according to claim 10 or claim 11,
Including a connection number limiting step of controlling the number of connections, which is the number of the transmission-side terminal device and the reception-side terminal device, in which a communication session is established with the server device, to a predetermined upper limit number or less. Test method.

A test method according to any one of claims 10 to 12, comprising:
Information that associates transmission-side terminal device specifying information for specifying a transmission-side terminal device that is a transmission destination of a predetermined execution instruction with order information that represents the order in which the execution instruction is transmitted, In accordance with the order represented by the order information included in the scenario information that is information stored in the apparatus, the server apparatus instructs the execution to the transmitting terminal apparatus specified by the transmitting terminal apparatus specifying information included in the scenario information. Including an execution instruction transmission step of transmitting
The test data transmission step is configured such that when the transmission side terminal device receives the execution instruction from the server device, the transmission side terminal device transmits the test data to the reception side terminal device. Method.

A server device connected to a transmitting terminal device and a receiving terminal device via a communication line,
Test data storage means for storing test data representing audio and / or video;
Pre-test data transmitting means for transmitting the stored test data to the transmitting terminal device;
Post-test data receiving means for receiving test data transmitted by the receiving terminal device;
Quality that estimates the quality of audio and / or video represented by the test data received by the receiving terminal device from the transmitting terminal device based on the received test data and the stored test data An estimation means;
A server device comprising:

The server device according to claim 14,
A server apparatus comprising a communication band limiting unit that controls a communication band between each of the transmitting terminal apparatus and the receiving terminal apparatus to be equal to or less than a preset upper limit band.

The server device according to claim 14 or 15,
A connection number limiting means for controlling the number of connections, which is the number of the transmission side terminal device and the reception side terminal device, in which a communication session is established with the server device, to a predetermined upper limit number or less; Server device.

The server device according to any one of claims 14 to 16, wherein
Scenario information that stores scenario information in which transmission-side terminal device identification information for identifying a transmission-side terminal device that is a transmission destination of a predetermined execution instruction is associated with order information that represents the order in which the execution instruction is transmitted Storage means;
Execution instruction transmitting means for transmitting the execution instruction to the transmitting terminal device specified by the transmitting terminal device specifying information included in the scenario information according to the order represented by the order information included in the stored scenario information; ,
A server device comprising:

To the server device connected via the communication line with the transmission side terminal device and the reception side terminal device,
Pre-test data transmission means for transmitting test data, which is data stored in a storage device included in the server device and is data representing voice and / or video, to the transmission-side terminal device;
Post-test data receiving means for receiving test data transmitted by the receiving terminal device;
Based on the received test data and the test data stored in the storage device, the quality of audio and / or video represented by the test data received from the transmitting terminal device by the receiving terminal device is determined. Quality estimation means to estimate;
A program to realize

The program according to claim 18, wherein
In addition to the server device,
A program for realizing a communication band limiting unit that controls a communication band between each of the transmission side terminal apparatus and the reception side terminal apparatus to be equal to or less than a preset upper limit band.

A program according to claim 18 or claim 19, wherein
In addition to the server device,
Realizes connection number limiting means for controlling the number of connections, which is the number of the transmitting side terminal device and the receiving side terminal device, with which a communication session is established with the server device to be equal to or less than a preset upper limit number Program to let you.

A program according to any one of claims 18 to 20,
In addition to the server device,
Information that associates transmission-side terminal device specifying information for specifying a transmission-side terminal device that is a transmission destination of a predetermined execution instruction with order information that represents the order in which the execution instruction is transmitted, Execution of transmitting the execution instruction to the transmission-side terminal device identified by the transmission-side terminal device identification information included in the scenario information in accordance with the order represented by the sequence information included in the scenario information that is information stored in the device A program for realizing instruction transmission means.

A transmission-side terminal device connected to the server device and the reception-side terminal device via a communication line,
Pre-test data receiving means for receiving test data representing audio and / or video from the server device;
Test data transmission means for transmitting the received test data to the receiving terminal device;
A transmission-side terminal device.

The transmitting terminal device according to claim 22, wherein
The transmitting data terminal device configured to transmit the test data to the receiving terminal device when the test data transmitting means receives a predetermined execution instruction from the server device.

To the server device and the transmission side terminal device connected to the reception side terminal device via the communication line,
Pre-test data receiving means for receiving test data representing audio and / or video from the server device;
Test data transmission means for transmitting the received test data to the receiving terminal device;
A program to realize

A program according to claim 24, wherein
The test data transmission means is a program configured to transmit the test data to the receiving terminal device when receiving a predetermined execution instruction from the server device.

A receiving side terminal device connected to the server device and the transmitting side terminal device via a communication line,
Test data receiving means for receiving test data representing audio and / or video from the transmitting terminal device;
Post-test data transmission means for transmitting the received test data to the server device;
A receiving terminal device.

To the server device and the receiving terminal device connected to the transmitting terminal device via the communication line,
Test data receiving means for receiving test data representing audio and / or video from the transmitting terminal device;
Post-test data transmission means for transmitting the received test data to the server device;
A program to realize