JP2018063135A

JP2018063135A - Evaluation test planning device, subjective evaluation device, method for these devices, and program

Info

Publication number: JP2018063135A
Application number: JP2016200560A
Authority: JP
Inventors: 祥子栗原; Sachiko Kurihara; 島内　末廣; Suehiro Shimauchi; 末廣島内; 仲大室; Hitoshi Omuro
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-10-12
Filing date: 2016-10-12
Publication date: 2018-04-19
Anticipated expiration: 2036-10-12
Also published as: JP6434470B2

Abstract

PROBLEM TO BE SOLVED: To enable an implementation plan for subjective evaluation test to be readily prepared.SOLUTION: Test conditions, including the total number of trials necessary for a subjective evaluation test, the number of sound signals to be presented in each trial and the length of time until the evaluator inputs the result of subjective evaluation after sound signals are presented, are obtained on the basis of the evaluation method used in a subjective evaluation test. Further, based at least on the conditions of the pertinent test, the time of presentation of each sound signal, the length of time taken by each entrance into and exit from the evaluation room by the evaluator and the length of time taken by the evaluator to take a rest outside the evaluation room, at least one of the total length of time taken to implement the subjective evaluation test, whether the subjective evaluation test can be conducted in the test operating time and the number of trials that can be conducted in the test operating time is obtained.SELECTED DRAWING: Figure 1

Description

本発明は、音信号に対する主観評価試験に関する。 The present invention relates to a subjective evaluation test for sound signals.

音質評価試験には、主観によるものと客観によるものがある。客観評価試験は比較的簡易な評価方法であるが、音質が的確に反映された結果が得られるとは限らない。一方、主観評価試験は実際に評価者が音を受聴して評価を行う手法であり、音質を総合的に評価できる（例えば、非特許文献１等参照）。 There are subjective and objective sound quality evaluation tests. The objective evaluation test is a relatively simple evaluation method, but a result in which sound quality is accurately reflected is not always obtained. On the other hand, the subjective evaluation test is a method in which an evaluator actually listens to a sound and evaluates it, and the sound quality can be comprehensively evaluated (see, for example, Non-Patent Document 1).

ITU-T Recommendation P.800: TELEPHONE TRANSMISSION QUALITY, Methods for objective and subjective assessment of qualityITU-T Recommendation P.800: TELEPHONE TRANSMISSION QUALITY, Methods for objective and subjective assessment of quality

主観評価試験には様々な評価方法が存在し、評価方法ごとに音の提示方法や評価者の回答方法も異なる。主観評価試験では、評価試験に費やす時間が長いほど精度の高い主観評価結果が得られるものの、実際に評価試験に費やすことのできる時間は限られている。また、主観評価の精度は評価者の集中力や疲労によっても左右されるため、評価者の休憩時間を適宜設けなければ評価精度が低下する。このような様々な条件を考慮しつつ、主観評価試験の実施計画を作成することは容易ではない。本発明の課題は、主観評価試験の実施計画を容易に作成することである。 There are various evaluation methods in the subjective evaluation test, and the sound presentation method and the evaluator's answer method are different for each evaluation method. In the subjective evaluation test, the longer the time spent in the evaluation test, the higher the accuracy of the subjective evaluation result, but the time that can be actually spent in the evaluation test is limited. In addition, since the accuracy of the subjective evaluation depends on the concentration and fatigue of the evaluator, the evaluation accuracy is lowered unless the evaluator's rest time is appropriately provided. It is not easy to create an execution plan for a subjective evaluation test in consideration of such various conditions. An object of the present invention is to easily create an execution plan for a subjective evaluation test.

評価室内で評価者に音信号を提示し、音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成する。そのために、当該主観評価試験で用いられる評価方法に基づいて、主観評価試験に必要な試行の総数、試行のそれぞれで提示される音信号の個数、および音信号が提示されてから評価者によって主観評価結果が入力されるまでの評価時間、を含む試験条件を得る。さらに、少なくとも、当該試験条件、音信号それぞれの提示時間、評価者の評価室への１回の入退室に要する入退室所要時間、および評価者の評価室外での１回の休憩に要する休憩時間に基づいて、主観評価試験の実施に必要な総実施時間、試験稼働時間での主観評価試験の実施の可否、および試験稼働時間で実施可能な試行の回数の少なくとも何れかを得る。 An execution plan of a subjective evaluation test is generated in which an attempt is made to repeatedly present a sound signal to an evaluator in the evaluation room and to input a subjective evaluation result for the sound signal. Therefore, based on the evaluation method used in the subjective evaluation test, the total number of trials required for the subjective evaluation test, the number of sound signals presented in each trial, and the subjective evaluation by the evaluator after the sound signals are presented. A test condition including an evaluation time until an evaluation result is input is obtained. Furthermore, at least the test conditions, presentation time of each sound signal, time required for entering and leaving the evaluator's evaluation room once, and rest time required for one break outside the evaluator's evaluation room Based on the above, at least one of the total execution time required for performing the subjective evaluation test, whether or not the subjective evaluation test can be performed in the test operation time, and the number of trials that can be performed in the test operation time is obtained.

この結果により、各条件での主観評価試験の実現性を推し量ることができるため、主観評価試験の実施計画を容易に作成できる。 As a result, the feasibility of the subjective evaluation test under each condition can be estimated, so that an execution plan for the subjective evaluation test can be easily created.

図１は実施形態の主観評価システムを例示したブロック図である。FIG. 1 is a block diagram illustrating a subjective evaluation system according to an embodiment. 図２は実施形態の評価試験計画装置を例示したブロック図である。FIG. 2 is a block diagram illustrating the evaluation test planning apparatus according to the embodiment. 図３Ａから図３Ｄは主観評価試験で用いられる評価方法を例示するための図である。3A to 3D are diagrams for illustrating an evaluation method used in the subjective evaluation test. 図４Ａから図４Ｄは主観評価試験で用いられる評価方法を例示するための図である。4A to 4D are diagrams for illustrating an evaluation method used in the subjective evaluation test. 図５Ａおよび図５Ｂは主観評価試験で用いられる評価方法を例示するための図である。5A and 5B are diagrams for illustrating an evaluation method used in the subjective evaluation test. 図６Ａはテーブルのデータ構成を例示した図である。図７Ｂは図７Ａのテーブルの各欄の参照番号を表した図である。FIG. 6A is a diagram illustrating a data configuration of a table. FIG. 7B is a diagram showing reference numbers in the respective columns of the table of FIG. 7A. 図７はユーザインタフェース画面を例示した図である。FIG. 7 is a diagram illustrating a user interface screen. 図８はユーザインタフェース画面を例示した図である。FIG. 8 is a diagram illustrating a user interface screen. 図９はユーザインタフェース画面を例示した図である。FIG. 9 is a diagram illustrating a user interface screen. 図１０はユーザインタフェース画面を例示した図である。FIG. 10 is a diagram illustrating a user interface screen. 図１１は自動生成された試験予定表を例示した図である。FIG. 11 is a diagram illustrating an automatically generated test schedule. 図１２は自動生成された試験予定表を例示した図である。FIG. 12 is a diagram illustrating an automatically generated test schedule table.

以下、本発明の実施形態を説明する。
［概要］
本形態では、「評価室」内で「評価者」（被験者）に音信号を提示し、音信号に対する主観評価結果を入力させる「試行」を繰り返す「主観評価試験」の実施計画を生成する。「条件設定部」は、「主観評価試験」で用いられる「評価方法」（試験方法）に基づいて、「主観評価試験」に必要な「試行」の総数、「試行」のそれぞれで提示される音信号の個数、および音信号が提示されてから「評価者」によって主観評価結果が入力されるまでの「評価時間」、を含む「試験条件」を得て出力する。「結果取得部」は、少なくとも、当該「試験条件」、音信号それぞれの「提示時間」、「評価者」の評価室への１回の入退室に要する「入退室所要時間」、および「評価者」の「評価室」外での１回の休憩に要する休憩時間に基づいて、「主観評価試験」の実施に必要な「総実施時間」、「試験稼働時間」での「主観評価試験」の実施の可否、および「試験稼働時間」で実施可能な試行の回数の少なくとも何れかを得て出力する。これにより各条件での主観評価試験の実現性を推し量ることができ、それを利用することで、効率よく主観評価試験を行うための実施計画を容易に作成できる。 Embodiments of the present invention will be described below.
[Overview]
In this embodiment, an execution plan of a “subjective evaluation test” is generated in which an “evaluator” (subject) presents a sound signal in the “evaluation room” and repeats a “trial” for inputting a subjective evaluation result for the sound signal. The “condition setting unit” is presented as the total number of “trials” and “trials” required for the “subjective evaluation test” based on the “evaluation method” (test method) used in the “subjective evaluation test”. Obtain and output “test conditions” including the number of sound signals and “evaluation time” from when the sound signals are presented until the subjective evaluation result is input by the “evaluator”. The “result acquisition unit” includes at least the “test conditions”, the “presentation time” of each sound signal, the “required entry / exit time” required for one entry / exit to the evaluation room of the “evaluator”, and the “evaluation” Based on the break time required for one break outside the “evaluator” of the “person”, the “total subject time” and “subjective evaluation test” required for the “test operation time” And at least one of the number of trials that can be performed in the “test operation time”. This makes it possible to estimate the feasibility of the subjective evaluation test under each condition, and by using this, it is possible to easily create an execution plan for performing the subjective evaluation test efficiently.

例えば、「条件設定部」には「主観評価試験」で用いられる「評価方法」を表す情報が入力され、「条件設定部」はこの「評価方法」に基づいて、「主観評価試験」に必要な「試行」の総数、「試行」のそれぞれで提示される音信号の個数、および音信号が提示されてから評価者によって主観評価結果が入力されるまでの「評価時間」、を含む「試験条件」を自動的に設定する。また、「結果取得部」には、例えば、少なくとも、「試験条件」、実際に「主観評価試験」を行うことが可能な「試験稼働時間」、音信号それぞれの「提示時間」、評価者の評価室への１回の入退室に要する「入退室所要時間」、および「評価者」の「評価室」外での１回の休憩に要する「休憩時間」が入力され、「結果取得部」は、少なくともこれらに基づいて「主観評価試験」の実施に必要な「総実施時間」、「試験稼働時間」での「主観評価試験」の実施の可否、および「試験稼働時間」で実施可能な試行の回数の少なくとも何れかを得て出力する。「条件設定部」および「結果取得部」への各情報は、例えば、ユーザインタフェースに入力され、入力された各情報および得られた各情報はユーザインタフェースから出力される。例えば、ユーザインタフェースは、「評価方法」などが入力されるとともに「評価方法」などの入力情報を表示し、「試験条件」、「主観評価試験の実施に必要な総実施時間」、「試験稼働時間での主観評価試験の実施の可否」、および「試験稼働時間で実施可能な試行の回数」の少なくとも何れかを表示する。 For example, information indicating the “evaluation method” used in the “subjective evaluation test” is input to the “condition setting unit”, and the “condition setting unit” is necessary for the “subjective evaluation test” based on this “evaluation method” The total number of “trials”, the number of sound signals presented in each “trial”, and the “evaluation time” from when the sound signal is presented until the subjective evaluation result is input by the evaluator "Condition" is set automatically. In addition, the “result acquisition unit” includes, for example, at least “test conditions”, “test operation time” in which the “subjective evaluation test” can actually be performed, “presentation time” of each sound signal, and evaluator's “Entry / exit required time” required for one entry / exit to the evaluation room and “rest time” required for one break outside the “evaluator” “evaluation room” are input, and “result acquisition section” Can be implemented based on at least “total test time” necessary for the implementation of the “subjective evaluation test”, whether or not the “subjective evaluation test” can be performed in the “test operation time”, and “test operation time” Obtain and output at least one of the number of trials. Each information to the “condition setting unit” and “result acquisition unit” is input to the user interface, for example, and the input information and the obtained information are output from the user interface. For example, the user interface displays “evaluation method” and other input information such as “evaluation method”, and displays “test conditions”, “total execution time required for performing subjective evaluation test”, “test operation” Whether or not the subjective evaluation test can be performed in time ”and“ the number of trials that can be performed in the test operation time ”are displayed.

前述のように、主観評価の精度は評価者の集中力や疲労によっても左右されるため「評価者」の休息時間を設ける必要があるが、休息時間を設けることは「試験稼働時間」を短縮することにもなる。そのため、「評価者」の休憩時間を設けつつも、効率的に主観評価が行われるような実施計画が作成されることが望ましい。例えば、「評価室」は外部から閉ざされた空間であり、「評価者」が試験に集中できる利点はあるものの、「評価室」に長時間滞在した「評価者」の評価精度は低下する。そのため、「評価者」が「評価室」外で休憩するための休憩時間を設ける必要がある。しかし、この休憩時間に「評価室」が利用されないのでは効率が悪い。そのため、「評価者」を「第１グループ」と「第２グループ」とに区分し、これらが交代で「主観評価試験」を行うことが好ましい。言い換えると、「評価室」内で「第１グループ」の「評価者」に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間と、「評価室」内で「第２グループ」の評価者に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間とが存在し、「第１グループ」の「評価者」が「評価室」内で試験を受けるときに、「第２グループ」の「評価者」が「評価室」外で休憩し、「第２グループ」の「評価者」が「評価室」内で試験を受けるときに、「第１グループ」の「評価者」が「評価室」外で休憩することが望ましい。このような主観評価試験の実現性を推し量るためには、「第１グループ」の「評価者」または「第２グループ」の「評価者」のうち、「評価室」内に滞在する何れか一方のグループの「評価者」と、「評価室」外に滞在する他方のグループの「評価者」と、を１回入れ替えるために要する時間を「入退室所要時間」とし、「評価者」の「評価室」内での滞在時間を「評価室」外での「休息時間」と等しくし、「結果取得部」が前述の「総実施時間」、試験稼働時間での「主観評価試験」の実施の可否、および試験稼働時間で実施可能な試行の回数の少なくとも何れかを得ればよい。 As mentioned above, since the accuracy of subjective evaluation depends on the concentration and fatigue of the evaluator, it is necessary to set a rest time for the “evaluator”, but setting a rest time shortens the “test operation time”. It will also do. For this reason, it is desirable to create an execution plan so that subjective evaluation can be efficiently performed while providing a break time for the “evaluator”. For example, the “evaluation room” is a space closed from the outside, and there is an advantage that the “evaluator” can concentrate on the test, but the evaluation accuracy of the “evaluator” staying in the “evaluation room” for a long time is lowered. Therefore, it is necessary to provide a break time for the “evaluator” to take a break outside the “evaluation room”. However, it is inefficient if the “evaluation room” is not used during this break. Therefore, it is preferable to classify the “evaluator” into a “first group” and a “second group” and perform a “subjective evaluation test” alternately. In other words, in the “evaluation room”, a period of repeated trials of presenting sound signals to the “evaluator” of the “first group” and inputting the subjective evaluation results, and “second group” in the “evaluation room” When the evaluator of the “first group” takes the test in the “evaluation room”, there is a period in which the tester presents a sound signal and inputs the subjective evaluation result. When the “evaluator” of the “group” takes a break outside the “evaluation room” and the “evaluator” of the “second group” takes the test in the “evaluation room”, the “evaluator” of the “first group” It is desirable to take a break outside the “Evaluation Room”. In order to estimate the feasibility of such a subjective evaluation test, either “evaluator” of “first group” or “evaluator” of “second group” stays in “evaluation room”. The time required to replace the “evaluator” of the other group with the “evaluator” of the other group staying outside the “evaluation room” is defined as the “required entry / exit time”. The staying time in the evaluation room is equal to the rest time outside the evaluation room, and the result acquisition unit performs the above-mentioned “total execution time” and “subjective evaluation test” during the test operation time. And / or the number of trials that can be performed during the test operation time.

前述のように、試験時間が長くなるほど「評価者」の集中力は低下し、主観評価の精度が低下する。そのため、「評価者」が試験に耐えうる時間を考慮した実施計画が作成されることが望ましい。このような「主観評価試験」の実現性を推し量るためには、「結果取得部」は、さらに、「評価者」が「試行」を継続的に繰り返す「受聴」を実施可能な「受聴時間」、「評価者」が「試行」を継続的に繰り返す「受聴」を繰り返すことが可能な「セッション時間（１セッションあたりの所要時間）」、および「受聴」が実施されるたびに「評価者」が「評価室」内で行う１回の休憩に要する「小休憩時間」の少なくとも何れか（好ましくはこれら全て）に基づいて、「結果取得部」が前述の「総実施時間」、試験稼働時間での「主観評価試験」の実施の可否、および試験稼働時間で実施可能な試行の回数の少なくとも何れかを得ればよい。例えば、「受聴時間」は、６分間以上８分間以下の時間または６分間以上８分間以下の時間の近傍であり、「小休憩時間」は、１分間または１分間の近傍であり、「セッション時間」は、「受聴」を２回または３回繰り返すことが可能な時間であり、「休憩時間」は、「セッション時間」の２／３以上または「セッション時間」の２／３の近傍以上である。なお「αの近傍」とは、α−α１以上、α＋α２以下の範囲を意味する。ただし、α１およびα２は正値であり、｜α｜の３０％以下の値である。「受聴時間」、「セッション時間」、「小休憩時間」、「休憩時間」は「経験則条件」である。 As described above, the concentration of the “evaluator” decreases as the test time increases, and the accuracy of subjective evaluation decreases. Therefore, it is desirable to create an implementation plan that takes into account the time that the “evaluator” can withstand the test. In order to estimate the feasibility of such a “subjective evaluation test”, the “result acquisition unit” further performs “listening time” in which the “evaluator” can perform “listening” in which the “trial” is continuously repeated. , “Session time (required time per session)” that allows “evaluator” to repeat “trial” continuously, and “evaluator” every time “listening” is performed Based on at least one (preferably all of these) “small breaks” required for a single break performed in the “Evaluation Room”, the “Result Acquisition Unit” is the “Total Execution Time” described above, and the test operation time. It is sufficient to obtain at least one of whether or not the “subjective evaluation test” can be performed and the number of trials that can be performed during the test operation time. For example, “listening time” is in the vicinity of 6 minutes to 8 minutes or less, or 6 minutes to 8 minutes in the vicinity, “small break time” is in the vicinity of 1 minute or 1 minute, and “session time” "Is a time when" listening "can be repeated twice or three times, and" rest time "is 2/3 or more of" session time "or near 2/3 of" session time " . “Near α” means a range of α−α1 or more and α + α2 or less. However, α1 and α2 are positive values, which are 30% or less of | α |. “Listening time”, “session time”, “small break time”, and “break time” are “rules of thumb”.

前述のように、「条件設定部」は、「主観評価試験」で用いられる「評価方法」に基づいて「試験条件」を設定する。「試験条件」は、「評価方法」に対して公的に定められた値（例えば、非特許文献１等参照）から計算できるものもあるし、「評価方法」に対して経験則に基づいて定められるものもある。後者の場合、「主観評価試験」で用いられる「評価方法の候補」と、「試験条件」のうち経験則に基づいて定められた「経験則条件」と、を対応付けた「テーブル（参照テーブル）」を記憶部に格納しておき、「条件設定部」が、このテーブルを参照し、「主観評価試験」で用いられる「評価方法」に対応付けられた「経験則条件」を含む「試験条件」を設定してもよい。「経験則条件」の例は以下の通りである。
・「試行」のそれぞれで「評価者」が希望する限り音信号の提示を繰り返すことができる評価方法で「主観評価試験」を行う場合に、「試行」のそれぞれで音信号が繰り返し提示される回数（見込み回数）
・音信号が提示されてから「評価者」によって主観評価結果が入力されるまでの「評価時間」
・「主観評価試験」の開始前に「評価者」が行う「主観評価試験」の練習時間 As described above, the “condition setting unit” sets the “test condition” based on the “evaluation method” used in the “subjective evaluation test”. Some “test conditions” can be calculated from officially defined values for the “evaluation method” (for example, see Non-Patent Document 1, etc.). Some are stipulated. In the latter case, a “table (reference table) in which“ evaluation method candidates ”used in the“ subjective evaluation test ”and“ experimental rule conditions ”defined based on empirical rules among“ test conditions ”are associated with each other. ) ”Is stored in the storage unit, and the“ condition setting unit ”refers to this table and includes“ experimental rule conditions ”associated with“ evaluation methods ”used in the“ subjective evaluation test ”. “Condition” may be set. An example of the “rule of thumb condition” is as follows.
・ When performing a “subjective evaluation test” with an evaluation method that allows the presentation of sound signals to be repeated as long as the “evaluator” desires in each “trial”, the sound signal is repeatedly presented in each “trial” Number of times (expected number of times)
・ “Evaluation time” from when the sound signal is presented until the subjective evaluation result is input by the “evaluator”
・ Practice time of “subjective evaluation test” conducted by “evaluator” before the start of “subjective evaluation test”

「試験予定表生成部」が、少なくとも、前述の「試験条件」、音信号それぞれの「提示時間」、および「休憩時間」を用い、「主観評価試験」の実施計画を表すタイムテーブルである「試験予定表」を生成して出力してもよい。「試験予定表生成部」は、さらに、前述の「受聴時間」、「セッション時間」、および「小休憩時間」の少なくとも何れかを用いて「試験予定表」を生成して出力してもよい。 The “test schedule generation unit” is a time table that represents an implementation plan of the “subjective evaluation test” using at least the “test conditions” described above, the “presentation time” of each sound signal, and the “break time”. A test schedule ”may be generated and output. The “test schedule generation unit” may further generate and output a “test schedule” using at least one of the “listening time”, “session time”, and “small break time” described above. .

「主観評価試験」の実行時の効率を向上させるため、「評価者」による主観評価結果の入力方法を効率化してもよい。例えば、「主観評価試験」において、「音信号提示部」が、評価対象となるｉ個の音信号を「評価者」に提示し（ただし、ｉは２以上の整数であり、例えばｉ＝２）、「入力部」がｉ個の音信号のうちｉ−１個の音信号に対する主観評価結果の入力を受け付け、「評価設定部」がｉ−１個の音信号に対する主観評価結果を用い、ｉ個の音信号のうち残り１個の音信号に対する主観評価結果を自動的に設定してもよい。これにより、ｉ個の音信号に対する評価を、ｉ−１個の音信号に対する主観評価結果の入力のみによって行うことができるため、「主観評価試験」を効率化できる。例えば、「入力部」はｉ個の音信号のうち主観評価の低いｉ−１個の音信号に対する主観評価結果の入力を受け、「評価設定部」は、ｉ個の音信号のうち、最も主観評価の高い１個の音信号に対する主観評価結果を自動的に設定する。主観評価の低いｉ−１個の音信号に対する主観評価結果を入力させるほうが、主観評価の高いｉ−１個の音信号に対する主観評価結果を入力させるよりも、評価に要する時間が短く、評価精度が高くなる傾向がある。そのため、主観評価の低いｉ−１個の音信号に対する主観評価結果を入力させ、「評価設定部」がｉ個の音信号のうち、最も主観評価の高い１個の音信号に対する主観評価結果を自動的に設定することが望ましい。これにより、主観評価結果の入力時間を短縮でき、入力ミスによる評価精度の低下を抑制できる。 In order to improve the efficiency during execution of the “subjective evaluation test”, the method of inputting the subjective evaluation result by the “evaluator” may be made more efficient. For example, in the “subjective evaluation test”, the “sound signal presentation unit” presents i sound signals to be evaluated to the “evaluator” (where i is an integer equal to or greater than 2, for example, i = 2 ), “Input unit” accepts input of subjective evaluation results for i−1 sound signals out of i sound signals, and “evaluation setting unit” uses subjective evaluation results for i−1 sound signals, The subjective evaluation result for the remaining one of the i sound signals may be automatically set. Thereby, since evaluation with respect to i sound signals can be performed only by inputting subjective evaluation results with respect to i−1 sound signals, the “subjective evaluation test” can be made more efficient. For example, the “input unit” receives an input of subjective evaluation results for i−1 sound signals with low subjective evaluation among i sound signals, and the “evaluation setting unit” is the most out of i sound signals. A subjective evaluation result for one sound signal having a high subjective evaluation is automatically set. Inputting subjective evaluation results for i-1 sound signals with low subjective evaluation requires less time for evaluation than inputting subjective evaluation results for i-1 sound signals with high subjective evaluation. Tend to be higher. Therefore, the subjective evaluation result for i-1 sound signals with low subjective evaluation is input, and the “evaluation setting unit” displays the subjective evaluation result for one sound signal with the highest subjective evaluation among i sound signals. It is desirable to set it automatically. Thereby, the input time of a subjective evaluation result can be shortened, and the fall of the evaluation precision by input mistake can be suppressed.

［実施形態］
次に、図面を用いて実施形態を説明する。
＜構成＞
図１に例示するように、本形態の主観評価システム１は、評価試験計画装置１１、記憶部１２，１３、および主観評価装置１４を有する。これらは、１つの筐体内に構成されていてもよいし、通信可能なように有線接続されていてもよいし、ネットワークを通じて接続されていてもよいし、遠隔地に分散配置されていてもよい。 [Embodiment]
Next, embodiments will be described with reference to the drawings.
<Configuration>
As illustrated in FIG. 1, the subjective evaluation system 1 of this embodiment includes an evaluation test planning device 11, storage units 12 and 13, and a subjective evaluation device 14. These may be configured in one casing, may be wired to be communicable, may be connected through a network, or may be distributed in remote locations. .

評価試験計画装置１１は、評価室（ブース）１５０内で評価者１５１−１〜Ｎに音信号を提示し、音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成するための装置である。ただし、Ｎは１以上の整数であり、例えば、２以上の整数である。図２に例示するように、評価試験計画装置１１は、入力部１１１、条件設定部１１２、記憶部１１３、結果取得部１１４、試験予定表生成部１１５、出力部１１６，１１７、および表示部１１８を有する。評価試験計画装置１１は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。評価試験計画装置１１の入力情報や評価試験計画装置１１で得られた値はメモリに格納され、必要に応じて読み出されて利用される。 The evaluation test planning device 11 presents a sound signal to the evaluators 151-1 to 151 -N in the evaluation room (booth) 150, and generates an execution plan for a subjective evaluation test that repeats trials for inputting a subjective evaluation result for the sound signal. It is a device for. However, N is an integer greater than or equal to 1, for example, an integer greater than or equal to 2. As illustrated in FIG. 2, the evaluation test planning apparatus 11 includes an input unit 111, a condition setting unit 112, a storage unit 113, a result acquisition unit 114, a test schedule table generation unit 115, output units 116 and 117, and a display unit 118. Have The evaluation test planning apparatus 11 is a general-purpose or dedicated device including, for example, a processor (hardware processor) such as a CPU (central processing unit) and a memory such as random-access memory (RAM) and read-only memory (ROM). The computer is configured by executing a predetermined program. The computer may include a single processor and memory, or may include a plurality of processors and memory. This program may be installed in a computer, or may be recorded in a ROM or the like in advance. In addition, some or all of the processing units are configured using an electronic circuit that realizes a processing function without using a program, instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. May be. In addition, an electronic circuit constituting one device may include a plurality of CPUs. The input information of the evaluation test planning device 11 and the value obtained by the evaluation test planning device 11 are stored in the memory, and are read and used as necessary.

図１に例示するように、記憶部１２は、評価試験計画装置１１で得られた試験計画データを格納する記憶装置である。記憶部１３は、主観評価試験で提示される音信号などの試験データを格納する記憶装置である。記憶部１２，１３の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。 As illustrated in FIG. 1, the storage unit 12 is a storage device that stores test plan data obtained by the evaluation test planning device 11. The storage unit 13 is a storage device that stores test data such as sound signals presented in the subjective evaluation test. Examples of the storage units 12 and 13 are a magnetic recording device, an optical disc, a magneto-optical recording medium, a semiconductor memory, and the like.

主観評価装置１４は、評価室１５０内の評価者１５１−１〜Ｎに音信号を提示し、評価者１５１−１〜Ｎによる主観評価結果の入力を受け付け、入力された主観評価結果を集計する装置である。主観評価装置１４は、評価対象となるｉ個（ただしｉ≧２）の音信号を提示する音信号提示部１４１、ｉ個の音信号のうちｉ−１個の音信号に対する主観評価結果の入力を受け付ける入力部１４２、ｉ−１個の音信号に対する主観評価結果を用い、ｉ個の音信号のうち残り１個の音信号に対する主観評価結果を自動的に設定する評価設定部１４３、得られたｉ個の主観評価結果を集計する試験結果集計部１４４、各種の情報を表示する表示部１４５、および主観評価結試験を制御する制御部１４６を有する。なお、入力部１４２は評価者１５１−１〜Ｎのそれぞれが主観評価結果を入力できるように構成され、表示部１４５は評価者１５１−１〜Ｎのそれぞれが情報を閲覧可能なように構成されている。主観評価装置１４は、例えば、上述した汎用または専用のコンピュータが所定のプログラムを実行することで構成される。主観評価装置１４の入力情報や主観評価装置１４で得られた値はメモリに格納され、必要に応じて読み出されて利用される。 The subjective evaluation device 14 presents sound signals to the evaluators 151-1 to 151-N in the evaluation room 150, receives input of subjective evaluation results by the evaluators 151-1 to 151-1, and totals the input subjective evaluation results. Device. The subjective evaluation device 14 is a sound signal presentation unit 141 that presents i (where i ≧ 2) sound signals to be evaluated, and inputs subjective evaluation results for i-1 sound signals among the i sound signals. , An input setting unit 142 that receives the subjective evaluation results for i-1 sound signals, and an evaluation setting unit 143 that automatically sets the subjective evaluation results for the remaining one of the i sound signals. A test result totaling unit 144 for totaling i subjective evaluation results, a display unit 145 for displaying various types of information, and a control unit 146 for controlling the subjective evaluation result test. The input unit 142 is configured such that each of the evaluators 151-1 to 151-N can input the subjective evaluation results, and the display unit 145 is configured so that each of the evaluators 151-1 to 151-N can browse the information. ing. The subjective evaluation apparatus 14 is configured by, for example, the above-described general-purpose or dedicated computer executing a predetermined program. The input information of the subjective evaluation device 14 and the value obtained by the subjective evaluation device 14 are stored in a memory, and are read and used as necessary.

＜評価方法＞
本形態では、ACR（Absolute Category Rating：絶対範疇尺度法）、DCR（Degradation Category Rating：劣化範疇尺度法）、CCR（Comparison Category Rating：比較範疇尺度法）、対比較試験(Pair Comparison)、BS.1116（Triple stimulus/Hidden reference/Double blind method）、およびXAB試験から選択された評価方法によって主観評価試験を行う例を示す。しかし、これは本発明を限定するものではなく、Mushra(MUltiple Stimuli with Hidden Reference and Anchor)などのその他の評価方法が用いられてもよい。まず、本形態で例示する評価方法であるACR、DCR、CCR、対比較試験、BS.1116の概要を述べる。 <Evaluation method>
In this form, ACR (Absolute Category Rating), DCR (Degradation Category Rating), CCR (Comparison Category Rating), Pair Comparison, BS. An example in which a subjective evaluation test is performed by an evaluation method selected from 1116 (Triple stimulus / Hidden reference / Double blind method) and the XAB test is shown. However, this does not limit the present invention, and other evaluation methods such as Mushra (MUltiple Stimuli with Hidden Reference and Anchor) may be used. First, an outline of ACR, DCR, CCR, paired comparison test, and BS.1116, which are evaluation methods exemplified in this embodiment, will be described.

≪ACR：図３Ａおよび図３Ｂ≫
ACRの各試行における試験音の提示例を図３Ａに示す。ACRは、ITU-T P.800（非特許文献１）に準拠した評価方法で、音声品質の主観評価法としては最も一般的な手法であり、通話品質の評価などに用いられる。評価者は、提示された試験音（評価対象となる音信号）に対し（受聴パタン１）、５段階に分類された評価カテゴリー（図３Ｂ：とても良い〜とても悪い）を参考に、個人的な主観尺度で絶対評価を行う。本手法をMOS試験と称することもある。試験音は原音に各試験条件に応じた効果（例えばエコーやノイズの付与や除去など）を与えた音である。 ≪ACR: Fig. 3A and Fig. 3B »
An example of presentation of test sound in each trial of ACR is shown in FIG. 3A. ACR is an evaluation method based on ITU-T P.800 (Non-Patent Document 1), and is the most common method for subjective evaluation of voice quality, and is used for evaluation of call quality. The evaluator is personal with reference to the evaluation categories (figure 3B: very good to very bad) classified into 5 levels (listening pattern 1) for the presented test sound (sound signal to be evaluated). Perform absolute assessment on a subjective scale. This technique is sometimes referred to as a MOS test. The test sound is a sound in which an effect corresponding to each test condition (for example, addition or removal of echo or noise) is given to the original sound.

≪DCR：図３Ｃおよび図３Ｄ≫
DCRの各試行における試験音の提示例を図３Ｃに示す。DCRは、ACRを拡張した評価法で、基準音（評価基準とする音）と比較して（受聴パタン１）、試験音がどれだけ劣化しているか、5段階に分類された評価カテゴリー（図３Ｄ：劣化がない〜劣化がとても気になる）を用いて評価する手法である。本手法をDMOS試験と称することもある。基準音との直接比較による相対評価を行うため、ACRより安定した結果を得ることができるが、ACRの2倍の時間を要する。基準音の例は原音であるが、必ずしもこれに限定されない。 << DCR: FIGS. 3C and 3D >>
A presentation example of the test sound in each trial of DCR is shown in FIG. 3C. DCR is an evaluation method that is an extension of ACR, and is an evaluation category (figure 5) that indicates how much the test sound has deteriorated compared to the reference sound (the sound used as the evaluation reference) (listening pattern 1). 3D: There is no deterioration-deterioration is very worrisome). This technique is sometimes referred to as the DMOS test. Since relative evaluation is performed by direct comparison with the reference sound, a more stable result than ACR can be obtained, but it takes twice as long as ACR. An example of the reference sound is an original sound, but is not necessarily limited thereto.

≪CCR：図４Ａおよび図４Ｂ≫
CCRの各試行における試験音の提示例を図４Ａに示す。CCRは、ACRを拡張した評価法で、基準音と試験音を比較して試験音の優劣を7段階に分類された評価カテゴリー（図４Ｂ：とても良い〜とても悪い）を用いて評価する手法である。本手法をCMOS試験と称することもある。CCRでは基準音と試験音の提示順（前後）を入れ替えて提示する（受聴パタン１，２）。これは、提示順による印象の違いを相殺するためである。先入観による試験への影響を取り除くため、評価者にはどちらの音が基準音であるかを伏せて提示する。このようにCCRは相対的な評価を行うため、ACRより安定した結果を得られるが、ACRの４倍、DCRの２倍の時間を要する。 <CCR: FIG. 4A and FIG. 4B>
An example of presentation of test sounds in each trial of CCR is shown in FIG. 4A. CCR is an evaluation method that expands ACR, and compares the reference sound with the test sound and evaluates the test sound using seven evaluation categories (Fig. 4B: very good to very bad). is there. This technique is sometimes referred to as a CMOS test. In CCR, the presentation order (front and back) of the reference sound and the test sound is switched (presentation patterns 1 and 2). This is to offset the difference in impression depending on the presentation order. In order to remove the influence of preconceptions on the test, the evaluator is presented with which sound is the reference sound face down. Since CCR performs relative evaluation in this way, a more stable result can be obtained than ACR, but it takes four times as long as ACR and twice as long as DCR.

≪対比較試験：図４Ｃおよび図４Ｄ≫
対比較試験の各試行における試験音の提示例を図４Ｃに示す。対比較試験は、２つの試験音A,Bに対し、どちらが良い音かを選択して評価（図４Ｄ：前の音が良い、後の音が良い）する手法である。比較して品質の優劣を評価する手法という点ではCCRと同じであるが、CCRが基準音を介した比較であるのに対し、対比較試験は直接比較して評価するため、CCRより優劣が明らかとなりやすい。対比較試験は、CCRと同様に提示順による影響を受けやすい。実施の際は、2つの試験音Ａ，Ｂの提示順（前後）を入れ替えるとともに（受聴パタン１，２）、提示順を評価者に伏せておく。 ≪Comparison test: FIG. 4C and FIG. 4D≫
An example of presentation of test sound in each trial of the paired comparison test is shown in FIG. 4C. The pair comparison test is a method of selecting and evaluating which of the two test sounds A and B is better (FIG. 4D: the previous sound is better and the later sound is better). Compared to CCR in terms of a method for evaluating superiority or inferiority in comparison, CCR is a comparison through a reference sound, whereas the comparison test evaluates directly, so it is superior to CCR. It is easy to clarify. Paired-comparison trials are susceptible to the order of presentation as in CCR. In the implementation, the order of presentation of the two test sounds A and B (front and back) is switched (listening patterns 1 and 2), and the order of presentation is left to the evaluator.

≪BS.1116：図５Ａおよび図５Ｂ≫
BS.1116での各試行における試験音の提示例を図５Ａに示す。BS.1116は、ITU-R BS.1116.1に準拠した評価法で、エキスパートリスナーを対象とした手法である。評価者は、品質劣化が小さい試験音を評価対象とし、DCRと同様に、基準音と比較して試験音がどれだけ劣化しているか、５段階に分類された劣化カテゴリー（図５Ｂ：わからない〜とても気になる）を用い、0.1刻みで評価する。DCRとの違いは、DCRが基準音と試験音の直接比較であるのに対し、BS.1116は、基準音と試験音A、試験音Bの3つの音を受聴して評価することにある。ここで、試験音A、試験音Bは、どちらか一方が “評価対象の試験音” で、もう一方が “隠された基準音”である。2つの試験音A,Bは、ランダムに入れ替えられ（受聴パタン１，２）、評価者にはどちらがどの条件の音か伏せて提示される。評価者は、基準音、試験音A、試験音Bのそれぞれの音に対し、好きな順番で、かつ納得がいくまで何回でも受聴し、“隠された基準音”だと思う方に5.0、“評価対象の試験音”だと思う方に評点を付与する。 << BS.1116: FIG. 5A and FIG. 5B >>
An example of the presentation of the test sound in each trial in BS.1116 is shown in FIG. 5A. BS.1116 is an evaluation method based on ITU-R BS.1116.1 and is a method for expert listeners. The evaluator uses the test sound with small quality deterioration as the evaluation object, and, similarly to the DCR, how much the test sound is deteriorated compared to the reference sound, the deterioration category classified into five levels (FIG. 5B: I do not know ~ And evaluate it in increments of 0.1. The difference from DCR is that DCR is a direct comparison between reference sound and test sound, while BS.1116 listens and evaluates three sounds: reference sound, test sound A, and test sound B. . Here, one of the test sound A and the test sound B is the “test sound to be evaluated” and the other is the “hidden reference sound”. The two test sounds A and B are exchanged at random (listening patterns 1 and 2), and the evaluator is presented with which condition the sound is lying down. The evaluator listens to each of the reference sound, test sound A, and test sound B in the order they like, and as many times as possible until they are satisfied. A grade is given to those who think that it is the “test sound to be evaluated”.

≪XAB試験：図５Ａおよび図５Ｂ≫
XAB試験での各試行における試験音の提示例を図５Ａに示す。XAB試験は、BS.1116を簡略化した評価法で、評価実施時間などの制約がある場合に実施することが多い。BS.1116と同様、エキスパートリスナーを対象とし、品質差が小さい試験音を評価対象に、基準音と比較して試験音がどれだけ劣化しているか、5段階に分類された劣化カテゴリー（図５Ｂ：わからない〜とても気になる）を用い、0.1、または１刻みで評価する。BS.1116との違いは、BS.1116が基準音や試験音を好きな順序で好きなだけ受聴できるのに対し、XAB試験では、基準音、試験音A、試験音Bが順番に提示され、全評価者が同じ音を受聴した上で、規定時間内に評価する。XAB試験でも、BS.1116と同様に、2つの試験音A,Bがランダムに入れ替えられ、どちらがどの試験音であるかは伏せて提示される。評価者が試験音提示のタイミングを決める事はできない。 ≪XAB Test: FIGS. 5A and 5B≫
An example of the presentation of the test sound in each trial in the XAB test is shown in FIG. 5A. The XAB test is a simplified evaluation method of BS.1116, and is often performed when there are constraints such as evaluation time. Similar to BS.1116, the target listeners are subject to test sounds with small quality differences, and the degradation categories are classified into five levels, indicating how much the test sound is degraded compared to the reference sound (Figure 5B). : I do not know ~ I am very worried), and evaluate in 0.1 or 1 increments. The difference from BS.1116 is that BS.1116 can listen to the reference sound and test sound in any order as much as you like, whereas in the XAB test, the reference sound, test sound A, and test sound B are presented in order. All the evaluators listen to the same sound and evaluate it within the specified time. In the XAB test, as in BS.1116, the two test sounds A and B are randomly exchanged, and the test sound that is the one is displayed face down. The evaluator cannot decide when to present the test sound.

上述のように、主観評価試験でどの評価方法を用いるかにより、各試行で評価者に提示される提示音数が異なる。またBS.1116では、基準音と試験音A、試験音Bのそれぞれの音に対し、好きな順番で、かつ納得がいくまで何回でも受聴できる。さらに、評価方法によって、音信号が提示されてから評価者によって主観評価結果が入力されるまでの評価時間が異なる場合もある。評価方法によって、主観評価試験の開始前に評価者が行う主観評価試験の練習時間が異なる場合がある。そのため、主観評価試験に使用される評価方法の内容を考慮した実施計画を生成する必要がある。 As described above, the number of sounds presented to the evaluator in each trial varies depending on which evaluation method is used in the subjective evaluation test. BS.1116 allows you to listen to the reference sound, test sound A, and test sound B in any order and until you are satisfied. Further, depending on the evaluation method, the evaluation time from when the sound signal is presented to when the subjective evaluation result is input by the evaluator may be different. Depending on the evaluation method, the practice time of the subjective evaluation test performed by the evaluator before the start of the subjective evaluation test may be different. Therefore, it is necessary to generate an execution plan that takes into account the contents of the evaluation method used in the subjective evaluation test.

＜前処理＞
前処理として、記憶部１３（図１）に、各評価方法の主観評価試験で使用される音信号のデータ、ならびに前述の評価カテゴリーおよび劣化カテゴリーの画像データなどを格納しておく。また、評価試験計画装置１１の記憶部１１３（図２）に、主観評価試験で用いられる評価方法の候補と、当該評価方法での主観評価試験の各パラメータを対応付けたテーブル（参照テーブル）を格納しておく。このテーブルは、評価方法の候補と、試験条件のうち経験則に基づいて定められた「経験則条件」と、を対応付けたレコードを含む。図６Ａおよび図６Ｂの例では、欄「U3」「V3」「W3」「X3」「Y3」のそれぞれに、ACRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(1)ACR」「1」「1」「1」「4」が格納されている。欄「U4」「V4」「W4」「X4」「Y4」のそれぞれに、DCRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(2)DCR」「1」「2」「1」「4」が格納されている。欄「U5」「V5」「W5」「X5」「Y5」のそれぞれに、CCRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(3)CCR」「2」「2」「1」「4」が格納されている。欄「U6」「V6」「W6」「X6」「Y6」のそれぞれに、対比較試験に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(4) 対比較」「2」「2」「1」「4」が格納されている。欄「U7」「V7」「W7」「X7」「Y7」のそれぞれに、XAB試験に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(5) XAB」「2」「3」「2」「6」が格納されている。欄「U8」「V8」「W8」「X8」「Y8」のそれぞれに、BS.1116に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(6) BS.1116」「2」「3」「2.8」「6」が格納されている。ここで、「受聴パタン数」は各試行で提示される受聴パタンの個数を表す。「提示音数」は各受聴パタンが含む音信号（基準音および／または試験音）の個数を表す。「繰り返し回数」は各試行での受聴パタンの繰り返し回数を表す。「評価時間」は、各受聴パタンの音信号がすべて提示されてから、評価者によって主観評価結果が入力されるまでの時間を表す。BS.1116に対応する「提示音数」およびすべての「評価時間」は「経験則条件」であり、その他は例えば公的な規格等によって定められた条件である。 <Pretreatment>
As preprocessing, the storage unit 13 (FIG. 1) stores sound signal data used in the subjective evaluation test of each evaluation method, image data of the above-described evaluation category and deterioration category, and the like. In addition, a table (reference table) in which the evaluation method candidate used in the subjective evaluation test is associated with each parameter of the subjective evaluation test in the evaluation method is stored in the storage unit 113 (FIG. 2) of the evaluation test planning apparatus 11. Store it. This table includes a record in which evaluation method candidates are associated with “empirical rule conditions” defined based on empirical rules among test conditions. In the example of FIG. 6A and FIG. 6B, in each of the columns “U3”, “V3”, “W3”, “X3”, and “Y3”, “Evaluation method”, “Number of listening patterns”, “Number of presented sounds”, “Number of repetitions” “(1) ACR”, “1”, “1”, “1”, and “4” are stored. In each of the columns `` U4 '', `` V4 '', `` W4 '', `` X4 '', and `` Y4 '', there are `` evaluation method '', `` number of listening patterns '', `` number of presented sounds '', `` number of repetitions '', `` evaluation time '' corresponding to DCR. 2) DCR "" 1 "" 2 "" 1 "" 4 "are stored. In each of the columns `` U5 '', `` V5 '', `` W5 '', `` X5 '', `` Y5 '', there are `` Evaluation method '', `` Number of listening patterns '', `` Number of presented sounds '', `` Number of repetitions '', `` Evaluation time '' corresponding to CCR. 3) “CCR” “2” “2” “1” “4” are stored. In each of the columns “U6”, “V6”, “W6”, “X6”, and “Y6”, there are “evaluation method”, “number of listening patterns”, “number of presented sounds”, “number of repetitions”, and “evaluation time” corresponding to the comparison test. “(4) Pair comparison” “2” “2” “1” “4” is stored. In each of the columns “U7”, “V7”, “W7”, “X7”, “Y7”, “Evaluation method”, “Number of listening patterns”, “Number of presented sounds”, “Number of repetitions”, “Evaluation time” (5) XAB, “2”, “3”, “2” and “6” are stored. In the columns “U8”, “V8”, “W8”, “X8”, and “Y8”, there are “Evaluation Method”, “Number of Listen Patterns”, “Number of Presented Sounds”, “Number of Repeats”, and “Evaluation Time” corresponding to BS.1116. “(6) BS.1116”, “2”, “3”, “2.8”, and “6” are stored. Here, the “number of listening patterns” represents the number of listening patterns presented in each trial. “Number of presented sounds” represents the number of sound signals (reference sound and / or test sound) included in each listening pattern. “Number of repetitions” represents the number of repetitions of the listening pattern in each trial. “Evaluation time” represents the time from when all the sound signals of each listening pattern are presented until the subjective evaluation result is input by the evaluator. “Number of presentation sounds” and all “evaluation times” corresponding to BS.1116 are “rules of thumb”, and the others are conditions determined by, for example, official standards.

＜評価試験計画処理＞
評価試験計画装置１１が行う評価試験計画処理を説明する。
≪入力部１１１への入力情報の入力≫
管理者が主観評価試験の実施計画を生成する場合、管理者は評価試験計画装置１１の入力部１１１に、主観評価試験の内容を設定するための入力情報を入力する。本形態では以下の入力情報が入力部１１１に入力される。
(C3)試験開始時刻
(C4)試験終了時刻
(C5)休憩時間（主観評価試験そのものを中断する時間）
(H3)実施する評価方法
(H4)１原音あたりの試験条件数
(H5)１試験条件あたりの原音数
(H17)評価室を使用するグループ数
(H19)音信号長（音信号それぞれの提示時間）
(H26)全体説明時間（主観評価試験開始前の全体説明時間）
(H28)試験の説明（個別の試験開始前の説明時間）
(H29)練習の数（主観評価の練習数）
(H33)１受聴あたりの受聴時間（評価者が試行を継続的に繰り返す受聴を実施可能な受聴時間）
(H36)１受聴あたりの試行数
(H38)１セッションあたりの受聴数
(H42)１セッション中の１回の休憩時間（受聴が実施されるたびに評価者が評価室内で行う１回の休憩に要する小休憩時間）
(H43)評価室入退室の所要時間（評価者の評価室への１回の入退室に要する入退室所要時間）
(H45)次のセッションまでの休憩時間（評価者の評価室外での１回の休憩に要する休憩時間）
(H56)データ確認時間 <Evaluation test plan processing>
The evaluation test planning process performed by the evaluation test planning device 11 will be described.
≪Input of input information to the input unit 111≫
When the administrator generates an execution plan for the subjective evaluation test, the administrator inputs input information for setting the content of the subjective evaluation test to the input unit 111 of the evaluation test planning device 11. In this embodiment, the following input information is input to the input unit 111.
(C3) Test start time
(C4) Test end time
(C5) Break time (time to interrupt the subjective assessment test itself)
(H3) Evaluation method to be implemented
(H4) Number of test conditions per original sound
(H5) Number of original sounds per test condition
(H17) Number of groups using the evaluation room
(H19) Sound signal length (presentation time of each sound signal)
(H26) Overall explanation time (overall explanation time before the start of the subjective assessment test)
(H28) Test description (explanation time before starting each test)
(H29) Number of exercises (number of subjective evaluation exercises)
(H33) Listening time per listening (listening time during which the evaluator can listen to the trial repeatedly)
(H36) Number of trials per listening
(H38) Number of listens per session
(H42) One break during one session (a short break required for one break performed by the evaluator in the evaluation room each time listening is performed)
(H43) Time required to enter / exit the evaluation room (required time required for one evaluator's entry / exit to the evaluation room)
(H45) Break time until the next session (break time required for one break outside the evaluator's evaluation room)
(H56) Data confirmation time

本形態では、表示部１１８が図７から図１０に例示する表示画面１１８０を表示し、管理者はこの表示画面１１８０をユーザインタフェースとして用い、入力部１１１から各入力情報を入力する。このユーザインタフェースは、情報を入力したり、情報を表示したりする複数の「欄」を有する。「(C3)試験開始時刻」「(C4)試験終了時刻」「(C5)休憩時間」は、それぞれ図７に例示した表示画面１１８０の欄「C3」「C4」「C5」に入力される。表示部１１８は、欄「C3」「C4」「C5」のそれぞれに入力された各値を各欄「C3」「C4」「C5」に表示する。「(H3)実施する評価方法」「(H4)１原音あたりの試験条件数」「(H5)１試験条件あたりの原音数」「(H17)評価室を使用するグループ数」「(H19)音信号長」「(H26)全体説明時間」「(H28)試験の説明」「(H29)練習の数」は、それぞれ、図８に例示した表示画面１１８０の欄「H3」「H4」「H5」「H17」「H19」「H26」「H28」「H29」に入力される。「(H19)音信号長」は、音信号が音声の場合に８秒または８秒の近傍が好ましく、音信号が楽音の場合には１２秒以上２０秒以下または１２秒以上２０秒以下の近傍が好ましい。表示部１１８は、欄「H3」「H4」「H5」「H17」「H19」「H26」「H28」「H29」のそれぞれに入力された各値を各欄「H3」「H4」「H5」「H17」「H19」「H26」「H28」「H29」に表示する。「(H33)１受聴あたりの受聴時間」「(H36)１受聴あたりの試行数」「(H38)１セッションあたりの受聴数」「(H42)１セッション中の休憩時間」「(H43)評価室入退室の所要時間」「(H45)次のセッションまでの休憩時間」は、それぞれ、図９に例示した表示画面１１８０の欄「H33」「H36」「H38」「H42」「H43」「H45」に入力される。「(H33)１受聴あたりの受聴時間」は、６分間以上８分間以下の時間または６分間以上８分間以下の時間の近傍であることが好ましい。「(H38)１セッションあたりの受聴数」は２回または３回が好ましい。「(H42)１セッション中の休憩時間」は、１分間または１分間の近傍が望ましい。表示部１１８は、欄「H33」「H36」「H38」「H42」「H43」「H45」のそれぞれに入力された各値を各欄「H33」「H36」「H38」「H42」「H43」「H45」に表示する。「(H56)データ確認時間」は、図１０に例示した表示画面１１８０の欄「H56」に入力される。表示部１１８は、欄「H56」に入力された値を各欄「H56」に表示する。入力部１１１に入力された入力情報のそれぞれは、条件設定部１１２および／または結果取得部１１４に送られる。 In this embodiment, the display unit 118 displays the display screen 1180 illustrated in FIGS. 7 to 10, and the administrator uses the display screen 1180 as a user interface and inputs each input information from the input unit 111. This user interface has a plurality of “columns” for inputting information and displaying information. “(C3) Test start time”, “(C4) Test end time”, and “(C5) Rest time” are respectively input in the columns “C3”, “C4”, and “C5” of the display screen 1180 illustrated in FIG. The display unit 118 displays the values input in the columns “C3”, “C4”, and “C5” in the columns “C3”, “C4”, and “C5”, respectively. “(H3) Evaluation method to be performed” “(H4) Number of test conditions per original sound” “(H5) Number of original sounds per test condition” “(H17) Number of groups using the evaluation room” “(H19) Sound “Signal length”, “(H26) Overall explanation time”, “(H28) Exam description”, and “(H29) Number of exercises” are respectively “H3”, “H4”, and “H5” in the display screen 1180 illustrated in FIG. “H17”, “H19”, “H26”, “H28”, and “H29” are input. “(H19) Sound signal length” is preferably about 8 seconds or 8 seconds when the sound signal is a voice, and near 12 seconds or more and 20 seconds or less or 12 seconds or more and 20 seconds or less when the sound signal is a musical sound. Is preferred. The display unit 118 displays the values input in the columns “H3”, “H4”, “H5”, “H17”, “H19”, “H26”, “H28”, and “H29” in the respective columns “H3”, “H4”, and “H5”. Displayed on “H17”, “H19”, “H26”, “H28”, and “H29”. “(H33) Listening time per listening” “(H36) Number of trials per listening” “(H38) Number of listening per session” “(H42) Rest time during one session” “(H43) Evaluation room “Time required for entry / exit” and “(H45) break time until next session” are the columns “H33”, “H36”, “H38”, “H42”, “H43”, and “H45” of the display screen 1180 illustrated in FIG. Is input. “(H33) listening time per listening” is preferably in the vicinity of 6 minutes to 8 minutes or 6 minutes to 8 minutes. “(H38) Number of listens per session” is preferably two or three times. “(H42) Break time during one session” is preferably 1 minute or near 1 minute. The display unit 118 displays each value input in each of the columns “H33”, “H36”, “H38”, “H42”, “H43”, and “H45” in each column “H33”, “H36”, “H38”, “H42”, and “H43”. Display on “H45”. “(H56) Data confirmation time” is input in the column “H56” of the display screen 1180 illustrated in FIG. The display unit 118 displays the value input in the column “H56” in each column “H56”. Each piece of input information input to the input unit 111 is sent to the condition setting unit 112 and / or the result acquisition unit 114.

≪条件設定部１１２での試験条件の設定≫
条件設定部１１２は、入力情報の少なくとも一部を用いて「試験条件」を得て出力する。「試験条件」は、主観評価試験に必要な試行の総数、試行のそれぞれで提示される音信号の個数、および音信号が提示されてから評価者によって主観評価結果が入力されるまでの評価時間を含む。条件設定部１１２は、記憶部１１３に格納されたテーブルを参照し、主観評価試験で用いられる評価方法に対応付けられた経験則条件を含む「試験条件」を設定する。 ≪Setting of test conditions in condition setting unit 112≫
The condition setting unit 112 obtains and outputs a “test condition” using at least a part of the input information. “Test conditions” refers to the total number of trials required for the subjective assessment test, the number of sound signals presented in each trial, and the evaluation time from when the sound signal is presented until the subjective assessment results are input by the evaluator. including. The condition setting unit 112 refers to the table stored in the storage unit 113 and sets a “test condition” including an empirical rule condition associated with the evaluation method used in the subjective evaluation test.

本形態では以下の「試験条件」が設定される。
稼働時間：C6
条件設定部１１２は、以下のように稼働時間を欄「C6」に設定し、表示部１１８は、設定された稼働時間を図７に例示した表示画面１１８０の欄「C6」に表示する。
C6=C4-C3-C5
ただし、式中の欄を表す識別子（例えば、C3，C4，C5，C6）は、その欄に入力または設定され、表示された値を表す。例えば、式(1)は、欄「C4」に表示された値から、「C3」に表示された値と「C5」に表示された値を減じた値を欄「C6」に設定して表示することを意味する（以下も同様）。 In this embodiment, the following “test conditions” are set.
Operating time: C6
The condition setting unit 112 sets the operating time in the column “C6” as follows, and the display unit 118 displays the set operating time in the column “C6” of the display screen 1180 illustrated in FIG.
C6 = C4-C3-C5
However, identifiers (for example, C3, C4, C5, and C6) representing the column in the expression represent values displayed or set in the column. For example, formula (1) is displayed by setting the value displayed in column “C4” minus the value displayed in “C3” and the value displayed in “C5” in column “C6”. (The same applies to the following).

受聴パタン数：H6
条件設定部１１２は、以下のように受聴パタン数を欄「H6」に設定し、表示部１１８は、設定された受聴パタン数を図８に例示した表示画面１１８０の欄「H6」に表示する。
H6=VLOOKUP(H3,U3:Y8,2)
ただし、VLOOKUP(α,β:γ,δ)はExcel（登録商標）のVLOOKUP関数であり、欄「α」に表示された値を検索値として欄「β」と「γ」で指定された範囲のテーブルを検索し、「α」に表示された値に対応する行のδ列目の値を出力の欄に設定するとともに表示する関数である。例えば、H6=VLOOKUP(H3,U3:Y8,2)は、図８の例では、欄「H3」の値は「(2)DCR」であり、これを検索値として図６Ａおよび図６Ｂに例示した欄「U3」と「Y8」で指定された範囲のテーブルを検索すると、「(2)DCR」に対応する行の2列目の値「１」（受聴パタン数）を欄「H6」に設定するとともに表示する。 Number of listening patterns: H6
The condition setting unit 112 sets the number of listening patterns in the column “H6” as follows, and the display unit 118 displays the set number of listening patterns in the column “H6” of the display screen 1180 illustrated in FIG. .
H6 = VLOOKUP (H3, U3: Y8,2)
However, VLOOKUP (α, β: γ, δ) is the VLOOKUP function of Excel (registered trademark), and the range specified in the columns “β” and “γ” using the value displayed in the column “α” as the search value. This table is a function that sets and displays the value in the δ column of the row corresponding to the value displayed in “α” in the output column. For example, H6 = VLOOKUP (H3, U3: Y8,2) is, in the example of FIG. 8, the value of the column “H3” is “(2) DCR”, which is illustrated as a search value in FIGS. 6A and 6B. When the table in the range specified by the columns “U3” and “Y8” is searched, the value “1” (number of listening patterns) in the second column of the row corresponding to “(2) DCR” is displayed in the column “H6”. Set and display.

総試行数：H7
条件設定部１１２は、以下のように総試行数（主観評価試験に必要な試行の総数）を欄「H7」に設定し、表示部１１８は、設定された総試行数を図８に例示した表示画面１１８０の欄「H7」に表示する。
H7=H4*H5*H6
ただし、「*」は乗算演算子である。 Total trials: H7
The condition setting unit 112 sets the total number of trials (total number of trials required for the subjective evaluation test) in the column “H7” as follows, and the display unit 118 illustrated the total number of trials set in FIG. This is displayed in the column “H7” of the display screen 1180.
H7 = H4 * H5 * H6
However, “*” is a multiplication operator.

１試行あたりの音信号数：H20
条件設定部１１２は、以下のように１試行あたりの音信号数を欄「H20」に設定し、表示部１１８は、設定された１試行あたりの音信号数を図８に例示した表示画面１１８０の欄「H20」に表示する。
H20=VLOOKUP(H3,U3:Y8,3) Number of sound signals per trial: H20
The condition setting unit 112 sets the number of sound signals per trial in the column “H20” as described below, and the display unit 118 displays the set number of sound signals per trial illustrated in FIG. In the column “H20”.
H20 = VLOOKUP (H3, U3: Y8,3)

１試行あたりの受聴パタンの繰り返し回数（繰り返し回数）：H21
条件設定部１１２は、以下のように繰り返し回数を欄「H21」に設定し、表示部１１８は、設定された繰り返し回数を図８に例示した表示画面１１８０の欄「H21」に表示する。
H21=VLOOKUP(H3,U3:Y8,4) Number of repetitions of listening pattern per trial (number of repetitions): H21
The condition setting unit 112 sets the number of repetitions in the column “H21” as follows, and the display unit 118 displays the set number of repetitions in the column “H21” of the display screen 1180 illustrated in FIG.
H21 = VLOOKUP (H3, U3: Y8,4)

１試行あたりの評価時間：H22
条件設定部１１２は、以下のように１試行あたりの評価時間を欄「H22」に設定し、表示部１１８は、設定された１試行あたりの評価時間を図８に例示した表示画面１１８０の欄「H22」に表示する。
H22=VLOOKUP(H3,U3:Y8,5) Evaluation time per trial: H22
The condition setting unit 112 sets the evaluation time per trial in the field “H22” as follows, and the display unit 118 sets the evaluation time per trial in the field of the display screen 1180 illustrated in FIG. Display on “H22”.
H22 = VLOOKUP (H3, U3: Y8,5)

１試行あたりの受聴時間：H23
条件設定部１１２は、以下のように１試行あたりの受聴時間を欄「H23」に設定し、表示部１１８は、設定された１試行あたりの受聴時間を図８に例示した表示画面１１８０の欄「H23」に表示する。
H23=(H19+0.5)*H20*H21+H22+1 Listen time per trial: H23
The condition setting unit 112 sets the listening time per trial in the column “H23” as follows, and the display unit 118 sets the listening time per trial in the column of the display screen 1180 illustrated in FIG. Display on “H23”.
H23 = (H19 + 0.5) * H20 * H21 + H22 + 1

練習の所要時間：H30
条件設定部１１２は、以下のように練習の所要時間を欄「H30」に設定し、表示部１１８は、設定された練習の所要時間を図８に例示した表示画面１１８０の欄「H30」に表示する。
H30=ROUNDUP(H29*H23/60,0)
ただし、ROUNDUP(α，β)はExcelの切り上げ関数であり、欄「α」の値の小数第β位未満の桁を切り上げた値を出力の欄に設定するとともに表示する。なお、β＝０の場合には当該欄「α」の値の小数第１位以下を切り上げた値を当該欄に設定するとともに表示する。 Time required for practice: H30
The condition setting unit 112 sets the required time for practice in the column “H30” as follows, and the display unit 118 sets the set required time for practice in the column “H30” of the display screen 1180 illustrated in FIG. indicate.
H30 = ROUNDUP (H29 * H23 / 60,0)
However, ROUNDUP (α, β) is an Excel round-up function, and a value obtained by rounding up the decimal place of the column “α” to the decimal place is set and displayed in the output column. When β = 0, a value obtained by rounding up the value of the column “α” to the first decimal place is set and displayed in the column.

１受聴あたりの試行数：H34
条件設定部１１２は、以下のように１受聴あたりの試行数を欄「H34」に設定し、表示部１１８は、設定された１受聴あたりの試行数を図９に例示した表示画面１１８０の欄「H34」に表示する。
H34=QUOTIENT(H33*60,H23)
ただし、QUOTIENT(α，β)はExcelのQUOTIENT関数であり、欄「α」の値を欄「β」の値で割った商の整数部分を出力の欄に設定するとともに表示する。欄「H34」に表示された値は、管理者が前述のように欄「H36」に「(H36)１受聴あたりの試行数」を入力する際の参考となる。 Number of trials per listening: H34
The condition setting unit 112 sets the number of trials per listening in the column “H34” as follows, and the display unit 118 sets the number of trials per listening in the column of the display screen 1180 illustrated in FIG. Display on “H34”.
H34 = QUOTIENT (H33 * 60, H23)
However, QUOTIENT (α, β) is the Excel QUOTIENT function, and the integer part of the quotient obtained by dividing the value of the column “α” by the value of the column “β” is set and displayed in the output column. The value displayed in the column “H34” is a reference when the administrator inputs “(H36) number of trials per listening” in the column “H36” as described above.

１受聴あたりの所要時間：H37
条件設定部１１２は、以下のように１受聴あたりの所要時間を欄「H37」に設定し、表示部１１８は、設定された１受聴あたりの所要時間を図９に例示した表示画面１１８０の欄「H37」に表示する。
H37=ROUNDUP(((H36*H23)/60),0) Time required per listening: H37
The condition setting unit 112 sets the required time per listening in the field “H37” as follows, and the display unit 118 sets the required time per listening in the field of the display screen 1180 illustrated in FIG. Display on “H37”.
H37 = ROUNDUP (((H36 * H23) / 60), 0)

１セッションあたりの試行数：H39
条件設定部１１２は、以下のように１セッションあたりの試行数を欄「H39」に設定し、表示部１１８は、設定された１セッションあたりの試行数を図９に例示した表示画面１１８０の欄「H39」に表示する。
H39=H38*H36 Number of trials per session: H39
The condition setting unit 112 sets the number of trials per session in the column “H39” as follows, and the display unit 118 displays the set number of trials per session in the column of the display screen 1180 illustrated in FIG. Display on “H39”.
H39 = H38 * H36

１セッションあたりの所要時間：H40
条件設定部１１２は、以下のように１セッションあたりの所要時間（評価者が試行を継続的に繰り返す「受聴」を繰り返すことが可能なセッション時間）を欄「H40」に設定し、表示部１１８は、設定された１セッションあたりの所要時間を図９に例示した表示画面１１８０の欄「H40」に表示する。
H40=ROUNDUP(H38*((H36*H23)/60+H42)+(H43-H42),0) Time required per session: H40
The condition setting unit 112 sets the required time per session (session time in which the evaluator can repeat “listening” to repeat the trial) in the column “H40” as follows, and the display unit 118 Displays the set required time per session in the column “H40” of the display screen 1180 illustrated in FIG.
H40 = ROUNDUP (H38 * ((H36 * H23) / 60 + H42) + (H43-H42), 0)

次のセッションまでの休憩時間 (評価室外)：H44
条件設定部１１２は、以下のように次のセッションまでの休憩時間（評価者の評価室外での１回の休憩に要する休憩時間）を欄「H44」に設定し、表示部１１８は、設定された次のセッションまでの休憩時間を図９に例示した表示画面１１８０の欄「H44」に表示する。
H44=ROUNDUP(H40*2/3,0)
ただし、ROUNDUP(α，β)はExcelの切り上げ関数であり、欄「α」の値の小数第β＋１の桁を切り上げた値を出力の欄に設定するとともに表示する。なお、β＝０の場合には欄「α」の値の小数第１位を切り上げた値を当該欄に設定するとともに表示する。欄「H44」に表示される休憩時間は、欄「H40」に表示された１セッションあたりの所要時間（セッション時間）の２／３またはその２／３の近傍の時間である。次のセッションまでの休憩時間は、セッション時間の２／３以上またはセッション時間の２／３の近傍以上であることが望ましい。欄「H44」に表示された値は、管理者が前述のように欄「H45」に「(H45)次のセッションまでの休憩時間」を入力する際の参考となる。 Break time until next session (outside the evaluation room): H44
The condition setting unit 112 sets the break time until the next session (the break time required for one break outside the evaluation room of the evaluator) in the column “H44” as follows, and the display unit 118 is set. The rest time until the next session is displayed in the column “H44” of the display screen 1180 illustrated in FIG.
H44 = ROUNDUP (H40 * 2 / 3,0)
However, ROUNDUP (α, β) is an Excel round-up function, and the value obtained by rounding up the decimal number β + 1 of the value in the column “α” is set and displayed in the output column. When β = 0, a value obtained by rounding up the first decimal place of the value in the column “α” is set in the column and displayed. The break time displayed in the column “H44” is 2/3 of the required time per session (session time) displayed in the column “H40” or a time in the vicinity of 2/3 thereof. The break time until the next session is desirably 2/3 or more of the session time or near 2/3 or more of the session time. The value displayed in the column “H44” is a reference when the administrator inputs “(H45) Break time until the next session” in the column “H45” as described above.

フル受聴されるセッション数：H48
条件設定部１１２は、以下のようにフル受聴されるセッション数（受聴が最大限まで繰り返されるセッションの個数）を欄「H48」に設定し、表示部１１８は、設定されたフル受聴されるセッション数を図１０に例示した表示画面１１８０の欄「H48」に表示する。
H48=QUOTIENT(H7,H39) Full listening sessions: H48
The condition setting unit 112 sets the number of sessions to be fully listened (the number of sessions in which listening is repeated to the maximum) in the field “H48” as follows, and the display unit 118 sets the session to be fully listened to. The number is displayed in the column “H48” of the display screen 1180 illustrated in FIG.
H48 = QUOTIENT (H7, H39)

最終セッションの試行数：H50
条件設定部１１２は、以下のように最終セッションの試行数を欄「H50」に設定し、表示部１１８は、設定された最終セッションの試行数を図１０に例示した表示画面１１８０の欄「H50」に表示する。
H50=MOD(H7,H39)
ただし、MOD(α,β)はExcelのMOD関数であり、欄「α」の値を欄「β」の値で割った余りを出力の欄に設定するとともに表示する。 Last session trials: H50
The condition setting unit 112 sets the number of trials of the final session in the column “H50” as follows, and the display unit 118 sets the number of trials of the final session set in the column “H50” of the display screen 1180 illustrated in FIG. Is displayed.
H50 = MOD (H7, H39)
However, MOD (α, β) is an Excel MOD function, and the remainder obtained by dividing the value of the column “α” by the value of the column “β” is set and displayed in the output column.

最終セッションでフルに受聴される数：H51
条件設定部１１２は、以下のように最終セッションでフルに受聴される数（最終セッションで試行が最大限まで繰り返される受聴の個数）を欄「H51」に設定し、表示部１１８は、設定された最終セッションでフルに受聴される数を図１０に例示した表示画面１１８０の欄「H51」に表示する。
H51=IF(H50>0, QUOTIENT(H50,H36))
ただし、IF(α,β,γ)はExcelのIF関数であり、条件αが真であればβを出力の欄に設定するとともに表示し、条件αが偽であればγを当該欄に設定するとともに表示する。 Number of full listening sessions in the final session: H51
The condition setting unit 112 sets the number of full listening in the final session (the number of listenings in which the trial is repeated to the maximum in the final session) in the field “H51” as follows, and the display unit 118 is set The number of full listening in the final session is displayed in the column “H51” of the display screen 1180 illustrated in FIG.
H51 = IF (H50> 0, QUOTIENT (H50, H36))
However, IF (α, β, γ) is an Excel IF function. If condition α is true, β is set and displayed in the output column, and if condition α is false, γ is set in the corresponding column. And display.

最終セッションの最終受聴での試行数：H52
条件設定部１１２は、以下のように最終セッションの最終受聴での試行数を欄「H52」に設定し、表示部１１８は、設定された最終セッションの最終受聴での試行数を図１０に例示した表示画面１１８０の欄「H52」に表示する。
H52=MOD(H50,H36) Number of trials in the final listening of the final session: H52
The condition setting unit 112 sets the number of trials in the final listening of the final session in the column “H52” as follows, and the display unit 118 illustrates the number of trials in the final listening of the set final session in FIG. Is displayed in the column “H52” of the display screen 1180.
H52 = MOD (H50, H36)

最終セッションの所要時間：H53
条件設定部１１２は、以下のように最終セッションの所要時間を欄「H53」に設定し、表示部１１８は、設定された最終セッションの所要時間を図１０に例示した表示画面１１８０の欄「H53」に表示する。
H53=IF(H50>0,IF(H51=0,ROUNDUP((H52*H23+H43)/60,0),ROUNDUP((H36*H23*H51+H52*H23+H42*H51+H43)/60,0)),0) Final session duration: H53
The condition setting unit 112 sets the required time of the final session in the column “H53” as follows, and the display unit 118 sets the required time of the final session in the column “H53” of the display screen 1180 illustrated in FIG. Is displayed.
H53 = IF (H50> 0, IF (H51 = 0, ROUNDUP ((H52 * H23 + H43) / 60,0), ROUNDUP ((H36 * H23 * H51 + H52 * H23 + H42 * H51 + H43) / 60 , 0)), 0)

≪結果取得部１１４での結果の取得≫
結果取得部１１４は、入力情報の少なくとも一部（例えば「(H19)音信号長」、「(H43)評価室入退室の所要時間」、および「(H45)次のセッションまでの休憩時間」）および条件設定部１１２で得られた「試験条件」を用い、主観評価試験の実施に必要な総実施時間、試験稼働時間での主観評価試験の実施の可否、および試験稼働時間で実施可能な試行の回数の少なくとも何れかを含む「結果」を得る。 << Acquisition of results by the result acquisition unit 114 >>
The result acquisition unit 114 includes at least a part of the input information (for example, “(H19) sound signal length”, “(H43) time required to enter / exit the evaluation room”, and “(H45) break time until the next session”) Using the “test conditions” obtained by the condition setting unit 112, the total execution time required for performing the subjective evaluation test, whether or not the subjective evaluation test can be performed during the test operation time, and trials that can be performed during the test operation time A “result” including at least one of the number of times is obtained.

本形態では以下の「結果」が設定される。
実稼働時間に対する試験実施の可否判定：H11
結果取得部１１４は、以下のように実稼働時間に対する試験実施の可否判定（試験稼働時間での主観評価試験の実施の可否判定）の結果を欄「H11」に設定し、表示部１１８は、当該結果を図８に例示した表示画面１１８０の欄「H11」に表示する。
H11=IF(H65>=0,“実施可能”,“実施不可”)
ただし、H65>=0は欄「H65」に表示された値が0以上であるという条件を表す。 In this embodiment, the following “result” is set.
Judgment of test availability for actual operating hours: H11
The result acquisition unit 114 sets the result of the determination of whether or not the test can be performed with respect to the actual operation time (determination of whether or not the subjective evaluation test is performed during the test operation time) in the column “H11”, and the display unit 118 The result is displayed in the column “H11” of the display screen 1180 illustrated in FIG.
H11 = IF (H65> = 0, “Implementable”, “Impossible”)
However, H65> = 0 represents a condition that the value displayed in the column “H65” is 0 or more.

１グループの場合に実施可能な試行数：H12
結果取得部１１４は、以下のように１グループの場合に実施可能な試行数を欄「H12」に設定し、表示部１１８は、当該試行数を図８に例示した表示画面１１８０の欄「H12」に表示する。
H12=ROUNDDOWN(H36*H38*(D6*60-(H26+H28+H30+H56))/(H40+H45),0)
D6=HOUR(C6)+(MINUTE(C6)/60)
ただし、D6は欄「C6」を時刻からシリアル値に変換するためのものである。 Number of trials that can be performed for one group: H12
The result acquisition unit 114 sets the number of trials that can be performed in the case of one group in the column “H12” as described below, and the display unit 118 displays the number of trials in the column “H12” of the display screen 1180 illustrated in FIG. Is displayed.
H12 = ROUNDDOWN (H36 * H38 * (D6 * 60- (H26 + H28 + H30 + H56)) / (H40 + H45), 0)
D6 = HOUR (C6) + (MINUTE (C6) / 60)
However, D6 is for converting the column “C6” from time to serial value.

２グループの場合に実施可能な試行数：H13
結果取得部１１４は、以下のように２グループの場合に実施可能な試行数を欄「H13」に設定し、表示部１１８は、当該試行数を図８に例示した表示画面１１８０の欄「H13」に表示する。
H13=ROUNDDOWN(H36*H38*(D6*60-(H26+H28+H30+H56))/(H40+H40),0) Number of trials that can be performed for 2 groups: H13
The result acquisition unit 114 sets the number of trials that can be performed in the case of two groups in the column “H13” as follows, and the display unit 118 displays the number of trials in the column “H13” of the display screen 1180 illustrated in FIG. Is displayed.
H13 = ROUNDDOWN (H36 * H38 * (D6 * 60- (H26 + H28 + H30 + H56)) / (H40 + H40), 0)

総評価時間：H59，H60
結果取得部１１４は、以下のように総評価時間を欄「H59」「H60」に設定し、表示部１１８は、当該総評価時間を図１０に例示した表示画面１１８０の欄「H59」「H60」に表示する。
H59=H40*H48+H45*(H48-1)+H53+IF(H50>0, H45,)
H60=(QUOTIENT(H59,60), MOD(H59,60))
H60は、H59を分表示から、時間表示に変換するためのものであり、QUOTIENT(H59,60)は「時間」、MOD(H59,60)は「分」を表す。 Total evaluation time: H59, H60
The result acquisition unit 114 sets the total evaluation time in the columns “H59” and “H60” as follows, and the display unit 118 sets the total evaluation time in the columns “H59” and “H60” of the display screen 1180 illustrated in FIG. Is displayed.
H59 = H40 * H48 + H45 * (H48-1) + H53 + IF (H50> 0, H45,)
H60 = (QUOTIENT (H59,60), MOD (H59,60))
H60 is for converting H59 from minute display to time display, QUOTIENT (H59,60) represents “hour”, and MOD (H59,60) represents “minute”.

総実施時間：H62，H63
結果取得部１１４は、以下のように総評価時間を欄「H62」「H63」に設定し、表示部１１８は、当該総評価時間を図１０に例示した表示画面１１８０の欄「H62」「H63」に表示する。
H62=IF(H17=1,H26+H28+H30+H56+H59,H26+H28+H56+(H30+H40*H48+H53)*2)
H63=(QUOTIENT(H62,60), MOD(H62,60))
H63は、H62を分表示から、時間表示に変換するためのものである。 Total implementation time: H62, H63
The result acquisition unit 114 sets the total evaluation time in the columns “H62” and “H63” as follows, and the display unit 118 sets the total evaluation time in the columns “H62” and “H63” of the display screen 1180 illustrated in FIG. Is displayed.
H62 = IF (H17 = 1, H26 + H28 + H30 + H56 + H59, H26 + H28 + H56 + (H30 + H40 * H48 + H53) * 2)
H63 = (QUOTIENT (H62,60), MOD (H62,60))
H63 is for converting H62 from minute display to time display.

余りの時間：H65，H66
結果取得部１１４は、以下のように余りの時間を欄「H65」「H66」に設定し、表示部１１８は、当該余りの時間を図１０に例示した表示画面１１８０の欄「H65」「H66」に表示する。
H65=D6*60-H62
H66=(QUOTIENT(H65,60),MOD(H65,60))
H66は、H65を分表示から、時間表示に変換するためのものである。 Extra time: H65, H66
The result acquisition unit 114 sets the remaining time in the columns “H65” and “H66” as follows, and the display unit 118 sets the remaining time in the columns “H65” and “H66” of the display screen 1180 illustrated in FIG. Is displayed.
H65 = D6 * 60-H62
H66 = (QUOTIENT (H65,60), MOD (H65,60))
H66 is for converting H65 from minute display to time display.

≪試験計画データの出力および格納≫
入力部１１１に入力された入力情報および条件設定部１１２で設定された試験条件は出力部１１７に送られ、出力部１１７はこれらを試験計画データとして出力し、記憶部１２に格納する。 ≪Output and storage of test plan data≫
The input information input to the input unit 111 and the test conditions set by the condition setting unit 112 are sent to the output unit 117, and the output unit 117 outputs these as test plan data and stores them in the storage unit 12.

≪試験予定表の生成および出力≫
入力部１１１に入力された入力情報、条件設定部１１２で設定された試験条件、および結果取得部１１４で得られた結果は試験予定表生成部１１５に送られる。試験予定表生成部１１５は、これらの少なくとも一部（例えば、「試験条件」、「音信号それぞれの提示時間」、および「休憩時間」）を用い、主観評価試験の実施計画を表すタイムテーブルである試験予定表を生成して出力する。図１１は、１グループの評価者のみが主観評価試験を行う試験予定表の例であり、図１２は、２グループの評価者のみが主観評価試験を行う試験予定表の例である。例えば、試験予定表生成部１１５は、欄「C3」「C4」「C5」「H26」「H28」「H29」「H30」「H36」「H37」「H38」「H39」「H40」「H42」「H43」「H45」「H48」「H51」「H52」「H53」「H56」「H65」などの値を用いて、試験予定表を生成して出力する。図１２の例では、評価者がグループＣとグループＤとに区分されている。評価室１５０内でグループＣの評価者に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間と、評価室１５０内でグループＤの評価者に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間とが存在する。この場合、前述の「入退室所要時間」は、グループＣの評価者またはグループＤの評価者のうち、評価室１５０内に滞在する何れか一方のグループの評価者と、評価室１５０外に滞在する他方のグループの評価者と、を１回入れ替えるために要する時間である。グループＣの評価者の評価室１５０外での「休憩時間」は、グループＤの評価者の評価室１５０内での滞在時間と等しく、グループＤの評価者の評価室１５０外での「休憩時間」は、グループＣの評価者の評価室１５０内での滞在時間と等しい。 ≪Generation and output of test schedule≫
The input information input to the input unit 111, the test conditions set by the condition setting unit 112, and the results obtained by the result acquisition unit 114 are sent to the test schedule table generation unit 115. The test schedule table generation unit 115 uses at least a part of these (for example, “test condition”, “presentation time of each sound signal”, and “break time”), and is a time table that represents the execution plan of the subjective evaluation test. Generate and output a test schedule. FIG. 11 is an example of a test schedule table in which only one group of evaluators performs the subjective evaluation test, and FIG. 12 is an example of a test schedule table in which only two groups of evaluators perform the subjective evaluation test. For example, the test schedule table generation unit 115 includes the columns “C3”, “C4”, “C5”, “H26”, “H28”, “H29”, “H30”, “H36”, “H37”, “H38”, “H39”, “H40”, and “H42”. A test schedule is generated and output using values such as “H43”, “H45”, “H48”, “H51”, “H52”, “H53”, “H56”, and “H65”. In the example of FIG. 12, the evaluator is divided into a group C and a group D. In the evaluation room 150, a sound signal is presented to the group C evaluator and the trial for inputting the subjective evaluation result is repeated, and the sound signal is presented to the group D evaluator in the evaluation room 150, and the subjective evaluation result is obtained. There is a period for repeating the input trial. In this case, the above-mentioned “entrance / exit time” is based on either one of the group C evaluators or the group D evaluators staying in the evaluation room 150 and staying outside the evaluation room 150. This is the time required to replace the evaluator of the other group. The “break time” outside the evaluation room 150 of the group C evaluator is equal to the staying time in the evaluation room 150 of the group D evaluator, and the “break time” outside the evaluation room 150 of the group D evaluator. "Is equal to the staying time in the evaluation room 150 of the evaluator of group C.

＜主観評価試験の実施＞
主観評価装置１４の制御部１４６（図１）は、記憶部１２に格納された試験計画データを読み込み、試験計画データに従って主観評価試験を実行する。音信号提示部１４１および表示部１４５は、試験計画データによって特定されるスケジュールや評価方法に従って、記憶部１３から試験データを読み込み、評価室１５０内の評価者１５１−１〜１５１−Ｎへの指示の表示や評価対象となる音信号を提示（出力）する。評価者１５１−１〜１５１−Ｎは、提示された音信号に対する主観評価結果を入力部１４２に入力する。この試行が繰り返されることで主観評価試験が進んでいく。ここで、主観評価結果の入力処理を効率化するための工夫がなされてもよい。例えば、音信号提示部１４１は、評価対象となるｉ個の音信号を提示し（ｉは２以上の整数）、評価者１５１−１〜１５１−Ｎは、提示されたｉ個の音信号のうちｉ−１個の音信号に対する主観評価結果の入力のみを入力部１４２に入力する。評価設定部１４３は、入力されたｉ−１個の音信号に対する主観評価結果を用い、ｉ個の音信号のうち残り１個の音信号に対する主観評価結果を自動的に設定して出力する。例えば、評価者１５１−１〜１５１−Ｎは、ｉ個の音信号のうち主観評価の低いｉ−１個の音信号に対する主観評価結果を入力部１４２に入力し、評価設定部１４３は、ｉ個の音信号のうち、最も主観評価の高い１個の音信号に対する主観評価結果を自動的に設定して出力する。例えば、BS.1116やXAB試験（図５Ａおよび図５Ｂ）が行われる場合、評価者１５１−１〜１５１−Ｎは、ランダムな順序で提示される３つの音信号（基準音、試験音A、試験音B）のうち、“評価対象の試験音”だと思う音信号に対する主観評価結果のみを入力部１４２に入力し、評価設定部１４３は、主観評価結果が入力されなかった残りの１個の音信号を“隠された基準音”として主観評価結果「5.0」を自動的に設定して出力してもよい。入力部１４２に入力されたり、評価設定部１４３で設定されたりした主観評価結果は、試験結果集計部１４４に送られる。試験結果集計部１４４はこれらを得られた主観評価結果を集計してその結果を出力する。 <Execution of subjective evaluation test>
The control unit 146 (FIG. 1) of the subjective evaluation device 14 reads the test plan data stored in the storage unit 12, and executes the subjective evaluation test according to the test plan data. The sound signal presentation unit 141 and the display unit 145 read the test data from the storage unit 13 in accordance with the schedule and evaluation method specified by the test plan data, and give instructions to the evaluators 151-1 to 151-N in the evaluation room 150 The sound signal to be displayed and evaluated is presented (output). The evaluators 151-1 to 151-N input the subjective evaluation results for the presented sound signals to the input unit 142. By repeating this trial, the subjective evaluation test proceeds. Here, a device for improving the efficiency of the subjective evaluation result input process may be used. For example, the sound signal presentation unit 141 presents i sound signals to be evaluated (i is an integer equal to or greater than 2), and the evaluators 151-1 to 151-N select the i sound signals presented. Of these, only the input of subjective evaluation results for i-1 sound signals is input to the input unit 142. The evaluation setting unit 143 automatically sets and outputs the subjective evaluation result for the remaining one of the i sound signals, using the subjective evaluation result for the input i−1 sound signals. For example, the evaluators 151-1 to 151 -N input the subjective evaluation result for i−1 sound signals with low subjective evaluation among the i sound signals to the input unit 142, and the evaluation setting unit 143 determines that i Among the sound signals, the subjective evaluation result for one sound signal having the highest subjective evaluation is automatically set and output. For example, when a BS.1116 or XAB test (FIGS. 5A and 5B) is performed, the evaluators 151-1 to 151-N can output three sound signals (reference sound, test sound A, Of the test sounds B), only the subjective evaluation result for the sound signal that is considered to be the “test sound to be evaluated” is input to the input unit 142, and the evaluation setting unit 143 receives the remaining one from which the subjective evaluation result has not been input. The subjective evaluation result “5.0” may be automatically set and output as the “hidden reference sound”. The subjective evaluation result input to the input unit 142 or set by the evaluation setting unit 143 is sent to the test result totaling unit 144. The test result totaling unit 144 totals the obtained subjective evaluation results and outputs the results.

＜本形態の特徴＞
本形態では、評価試験計画装置１１への入力情報に応じて「試験条件」および「結果」が自動的に設定され、これにより各条件での主観評価試験の実現性を推し量ることができる。管理者は、それを利用することで、効率よく主観評価試験を行うための実施計画を容易に作成できる。 <Features of this embodiment>
In the present embodiment, “test conditions” and “results” are automatically set according to the input information to the evaluation test planning apparatus 11, and thus the feasibility of the subjective evaluation test under each condition can be estimated. By using this, the administrator can easily create an implementation plan for conducting a subjective evaluation test efficiently.

また、評価試験計画装置１１から出力された試験計画データに基づいて主観評価試験を実行でき、評価者１５１−１〜１５１−Ｎは、評価試験計画装置１１から出力された試験予定表によって試験のスケジュールを知ることができる。 Moreover, the subjective evaluation test can be executed based on the test plan data output from the evaluation test planning device 11, and the evaluators 151-1 to 151-N can perform the test according to the test schedule table output from the evaluation test planning device 11. You can know the schedule.

［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の具体例では、欄「H29」に「(H29)練習の数」を入力することとしたが、「実施する評価方法」と「練習の数」とを対応付けたテーブルを設定しておき、条件設定部１１２が、このテーブルを参照し、欄「H3」に入力された「(H3)実施する評価方法」に対応する「練習の数」が自動的に設定してもよい。あるいは、「実施する評価方法」と「練習の所要時間（主観評価試験の開始前に評価者が行う主観評価試験の練習時間）」とを対応付けたテーブルを設定しておき、条件設定部１１２が、このテーブルを参照し、欄「H3」に入力された「(H3)実施する評価方法」に対応する「練習の所要時間」が自動的に設定してもよい。なお、「練習の所要時間」および「練習の数」は、前述の「経験則条件」の例である。 [Other variations]
The present invention is not limited to the embodiment described above. For example, in the above specific example, “(H29) Number of exercises” is entered in the field “H29”, but a table in which “Evaluation method to be performed” and “Number of exercises” are associated is set. The condition setting unit 112 may automatically set the “number of exercises” corresponding to “(H3) the evaluation method to be performed” input in the column “H3” with reference to this table. Alternatively, a table in which “evaluation method to be performed” and “required time for practice (practice time for subjective evaluation test performed by the evaluator before starting the subjective evaluation test)” is set in advance, and the condition setting unit 112 is set. However, referring to this table, the “required time for practice” corresponding to “(H3) the evaluation method to be performed” input in the column “H3” may be automatically set. “Practice time” and “number of exercises” are examples of the “rule of thumb condition” described above.

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。 The various processes described above are not only executed in time series according to the description, but may also be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Needless to say, other modifications are possible without departing from the spirit of the present invention.

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。 When the above configuration is realized by a computer, the processing contents of the functions that each device should have are described by a program. By executing this program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium. An example of a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 This program is distributed, for example, by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。 A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, the computer reads a program stored in its own storage device, and executes a process according to the read program. As another execution form of the program, the computer may read the program directly from the portable recording medium and execute processing according to the program, and each time the program is transferred from the server computer to the computer. The processing according to the received program may be executed sequentially. The above-described processing may be executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by an execution instruction and result acquisition without transferring a program from the server computer to the computer. Good.

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。 In the above embodiment, the processing functions of the apparatus are realized by executing a predetermined program on a computer. However, at least a part of these processing functions may be realized by hardware.

１主観評価システム
１１評価試験計画装置
１４主観評価装置 1 Subjective Evaluation System 11 Evaluation Test Planning Device 14 Subjective Evaluation Device

Claims

An evaluation test planning device for generating an execution plan of a subjective evaluation test by repeating a trial of presenting a sound signal to an evaluator in an evaluation room and inputting a subjective evaluation result for the sound signal,
Based on the evaluation method used in the subjective evaluation test, the total number of trials necessary for the subjective evaluation test, the number of sound signals presented in each of the trials, and the evaluation after the sound signals are presented A condition setting unit for obtaining a test condition including an evaluation time until the subjective evaluation result is input by a person,
At least the test conditions, the presentation time of each of the sound signals, the time required to enter and leave the evaluator once in the evaluation room, and the rest of the evaluator once outside the evaluation room Based on the required rest time, at least one of the total execution time required for performing the subjective evaluation test, whether or not the subjective evaluation test can be performed during the test operation time, and the number of trials that can be performed during the test operation time A result acquisition unit that obtains
An evaluation test planning device.

An evaluation test planning device according to claim 1,
The evaluator is divided into a first group and a second group,
Presenting the sound signal to the evaluator in the first group in the evaluation room and repeating the trial for inputting the subjective evaluation result, and sending the sound signal to the evaluator in the second group in the evaluation room Presenting and repeating the trial to input the subjective assessment results,
The entry / exit required time stays outside the evaluation room with either one of the evaluators of the first group or the evaluators of the second group staying in the evaluation room. It is the time required to replace the evaluator of the other group once,
The evaluation test planning apparatus, wherein the break time is equal to a stay time of the evaluator in the evaluation room.

An evaluation test planning device according to claim 1 or 2,
The result acquisition unit further includes a listening time in which the evaluator can perform listening to continuously repeat the trial, a session time in which the evaluator can repeat listening to continuously repeat the trial, and the Implementation of the subjective evaluation test at the total execution time and the test operation time based on at least one of a short break time required for one break performed by the evaluator in the evaluation room every time listening is performed An evaluation test planning device that obtains at least one of the availability of the trial and the number of trials that can be performed during the test operation time.

An evaluation test planning device according to claim 3,
The listening time is in the vicinity of a time of 6 minutes or more and 8 minutes or less or a time of 6 minutes or more and 8 minutes or less,
The small break time is 1 minute or near 1 minute,
The session time is a time during which the listening can be repeated twice or three times,
The evaluation test planning apparatus, wherein the break time is 2/3 or more of the session time or near 2/3 of the session time.

An evaluation test planning device according to any one of claims 1 to 4,
A storage unit that stores a table in which candidates for evaluation methods used in the subjective evaluation test and experience rule conditions determined based on empirical rules among the test conditions are associated;
The condition setting unit refers to the table, and sets the test condition including the empirical rule condition associated with the evaluation method used in the subjective evaluation test.

An evaluation test planning device according to claim 5,
The rule of thumb is any one of the number of times that the sound signal is repeatedly presented in each trial, the evaluation time, or the practice time of the subjective evaluation test performed by the evaluator before the start of the subjective evaluation test. An evaluation test planning device including at least.

An evaluation test planning device according to any one of claims 1 to 6,
An evaluation test, which includes a test schedule table generation unit that generates a test schedule table that is a time table representing an implementation plan of the subjective evaluation test, using at least the test conditions, the presentation time of each of the sound signals, and the rest time Planning equipment.

An evaluation test planning device for generating an execution plan of a subjective evaluation test by repeating a trial of presenting a sound signal to an evaluator in an evaluation room and inputting a subjective evaluation result for the sound signal,
A first user interface for inputting an evaluation method used in the subjective evaluation test and displaying the input evaluation method;
The total number of trials necessary for the subjective evaluation test obtained based on the evaluation method, the number of the sound signals presented in each of the trials, and the subjective by the evaluator after the sound signals are presented A second user interface for displaying test conditions including an evaluation time until an evaluation result is input;
At least the test conditions, the presentation time of each of the sound signals, the time required to enter and leave the evaluator once in the evaluation room, and the rest of the evaluator once outside the evaluation room The total execution time obtained based on the required rest time, the execution time of the subjective evaluation test, the availability of the subjective evaluation test during the test operation time, and the number of trials that can be executed during the test operation time A third user interface that displays at least one of the following:
An evaluation test planning device.

i is an integer greater than or equal to 2,
A sound signal presentation unit for presenting i sound signals to be evaluated;
An input unit that receives input of subjective evaluation results for i-1 sound signals among the i sound signals;
An evaluation setting unit that automatically sets a subjective evaluation result for the remaining one of the i sound signals, using a subjective evaluation result for the i-1 sound signals;
A subjective evaluation apparatus.

The subjective evaluation apparatus according to claim 9,
The input unit receives input of subjective evaluation results for i-1 sound signals having low subjective evaluation among the i sound signals,
The said evaluation setting part is a subjective evaluation apparatus which sets automatically the subjective evaluation result with respect to one sound signal with the highest subjective evaluation among the said i sound signals.

An evaluation test planning method for an evaluation test planning device for generating an execution plan of a subjective evaluation test by repeating a trial of presenting a sound signal to an evaluator in an evaluation room and inputting a subjective evaluation result for the sound signal,
The condition setting unit of the evaluation test planning device is based on the evaluation method used in the subjective evaluation test, the total number of trials required for the subjective evaluation test, the number of sound signals presented in each of the trials, And obtaining a test condition including an evaluation time from when the sound signal is presented to when the subjective evaluation result is input by the evaluator;
The result acquisition unit of the evaluation test planning device includes at least the test conditions, the presentation time of each of the sound signals, the entry / exit required time required for the evaluator to enter and leave the evaluation room once, and the evaluator. Based on the rest time required for one break outside the evaluation room, the total execution time required for the execution of the subjective evaluation test, the availability of the subjective evaluation test in the test operation time, and the test operation time Obtaining at least one of the number of trials that can be performed at
An evaluation test planning method.

An evaluation test planning method for generating an execution plan of a subjective evaluation test by repeating a trial of presenting a sound signal to an evaluator in an evaluation room and inputting a subjective evaluation result for the sound signal,
An evaluation method used in the subjective evaluation test is input to the first user interface, and the input evaluation method is displayed on the first user interface;
The total number of trials necessary for the subjective evaluation test obtained based on the evaluation method, the number of the sound signals presented in each of the trials, and the subjective by the evaluator after the sound signals are presented Displaying test conditions including an evaluation time until an evaluation result is input on the second user interface;
At least the test conditions, the presentation time of each of the sound signals, the time required to enter and leave the evaluator once in the evaluation room, and the rest of the evaluator once outside the evaluation room The total execution time obtained based on the required rest time, the execution time of the subjective evaluation test, the availability of the subjective evaluation test during the test operation time, and the number of trials that can be executed during the test operation time Displaying at least one of the following on the third user interface:
An evaluation test planning method.

A subjective evaluation method for a subjective evaluation device,
i is an integer greater than or equal to 2,
The sound signal presenting unit of the subjective evaluation device presents i sound signals to be evaluated; and
A step of receiving an input of subjective evaluation results for i-1 sound signals among the i sound signals;
The evaluation setting unit of the subjective evaluation apparatus automatically sets the subjective evaluation result for the remaining one of the i sound signals using the subjective evaluation result for the i-1 sound signals. When,
A subjective evaluation method.

A program for causing a computer to function as the evaluation test planning device according to claim 1.

The program for functioning a computer as a subjective evaluation apparatus of Claim 9 or 10.