JP2010288115A - Subjective evaluation method of mobile terminal and program - Google Patents
Subjective evaluation method of mobile terminal and program Download PDFInfo
- Publication number
- JP2010288115A JP2010288115A JP2009140895A JP2009140895A JP2010288115A JP 2010288115 A JP2010288115 A JP 2010288115A JP 2009140895 A JP2009140895 A JP 2009140895A JP 2009140895 A JP2009140895 A JP 2009140895A JP 2010288115 A JP2010288115 A JP 2010288115A
- Authority
- JP
- Japan
- Prior art keywords
- mobile terminal
- screen
- evaluation
- subjective evaluation
- program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000004044 response Effects 0.000 claims abstract description 31
- 238000004088 simulation Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 abstract description 21
- 238000012360 testing method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 238000011005 laboratory method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
Landscapes
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、モバイル端末の主観評価方法およびプログラムに係り、特に、モバイル端末上で主観的な評価試験を仮想的に実施する主観評価方法およびプログラムに関する。 The present invention relates to a subjective evaluation method and program for a mobile terminal, and more particularly to a subjective evaluation method and program for virtually executing a subjective evaluation test on a mobile terminal.
携帯電話やPDAなどのモバイル端末を対象に、その操作性や利用感に関するユーザの主観的な評価を獲得する方法として、実験室方式およびWebアンケート方式が知られている。実験室方式では、実験主催者が指定した会場に参加者を収集し、特別な改修を加えたプロトタイプ端末を用いて主観評価試験を実施する。プロトタイプ端末は、市販のモバイル端末のハードウェアあるいはソフトウェアに改修を加えたものである。 Laboratory methods and Web questionnaire methods are known as methods for acquiring user's subjective evaluation regarding operability and usability for mobile terminals such as mobile phones and PDAs. In the laboratory method, participants are collected at the venue designated by the experiment organizer, and a subjective evaluation test is conducted using a prototype terminal with special modifications. The prototype terminal is a modification of the hardware or software of a commercially available mobile terminal.
非特許文献１には、実験室方式の一つであるオピニオン評価法が開示されている。オピニオン評価法では、被験者に対して劣化度合いが異なる複数の音声あるいは映像を提示し、それら各々に対する被験者の主観評価値を、例えば５段階の評価値から選択させるものである。 Non-Patent Document 1 discloses an opinion evaluation method that is one of laboratory methods. In the opinion evaluation method, a plurality of voices or videos having different degrees of deterioration are presented to a subject, and the subject's subjective evaluation value for each is selected from, for example, five levels of evaluation values.
Webアンケート方式は、インターネットを介して、モバイル端末の操作性や利用感に対するアンケートを行うものである。Webアンケートでは、提示された質問事項に対して、被験者自身の考えや意見あるいは思想を回答するものが多い。 The Web questionnaire method is a questionnaire for operability and usability of mobile terminals via the Internet. Many Web questionnaires answer the subject's own thoughts, opinions, or ideas to the questions presented.
実験室方式では、実験参加者の収集コストが大きいため、数百名あるいはそれ以上の規模での評価試験を実施することが難しい。また、実験参加者は、普段とは異なる環境で、かつ普段とは異なるプロトタイプ端末を用いるため、通常の利用環境とは異なる状況で試験を実施することになる。そのため、通常時の判断とは異なる評価結果が得られる可能性がある。 In the laboratory method, it is difficult to conduct an evaluation test on a scale of several hundred people or more because the collection cost of the experiment participants is high. In addition, since the experiment participants use a prototype terminal that is different from the usual environment and different from the usual, the test will be conducted in a situation different from the normal usage environment. Therefore, there is a possibility that an evaluation result different from the judgment at the normal time is obtained.
一方、インターネットを利用したWebアンケートでは、被験者は自身が所有するコンピュータやモバイル端末を用いてアンケートに参加することができるため、主催者側で専用端末を用意する必要がなく、短期間で多数の回答を得ることが可能である。しかしながら、Webアンケート方式では、「操作しづらい」とか「反応が遅い」といった、通常利用しているモバイル端末の操作性や利用感に対する印象や感想を回答させるにすぎず、具体的に応答時間が何秒程度であれば満足できるかとか，どのようなデザインやインターフェースであれば操作しやすいかといった定量的な評価を行うための基礎データを収集することが難しい。 On the other hand, in web questionnaires using the Internet, subjects can participate in questionnaires using their own computers and mobile terminals, so there is no need to prepare a dedicated terminal on the organizer's side, and many It is possible to get an answer. However, the Web questionnaire method only gives an impression of the operability and sense of use of mobile devices that are normally used, such as “difficult to operate” or “slow response”. It is difficult to collect basic data for quantitative evaluation such as how many seconds can be satisfied and what kind of design and interface is easy to operate.
このように、モバイル端末を用いた評価試験では信頼性の高い評価結果を得ることが困難であるため、これまでは、コンピュータのディスプレイにモバイル端末の画像を表示するなどして、モバイル端末を用いた評価試験を模擬することが行われていた。しかしながら、このような評価試験では、実際にモバイル端末を用いて評価試験を実施した場合との乖離が問題となる。 In this way, it is difficult to obtain highly reliable evaluation results in evaluation tests using mobile terminals. So far, mobile terminals have been used by displaying images of mobile terminals on a computer display. An evaluation test that had been conducted was being performed. However, in such an evaluation test, a difference from the case where the evaluation test is actually performed using a mobile terminal becomes a problem.
本発明の目的は、上記した従来技術の課題を解決し、モバイル端末の操作性や利用感に関する主観評価を、実使用を模した環境下で行える主観評価方法およびプログラムを提供することにある。 An object of the present invention is to solve the above-described problems of the prior art and to provide a subjective evaluation method and program capable of performing subjective evaluation related to operability and usability of a mobile terminal in an environment simulating actual use.
上記の目的を達成するために、本発明は、被験者にモバイル端末を主観評価させる主観評価方法において、以下のような手段を講じた点に特徴がある。 In order to achieve the above object, the present invention is characterized in that the following measures are taken in a subjective evaluation method for allowing a subject to subjectively evaluate a mobile terminal.
(1)モバイル端末が評価プログラムを取得する手順と、モバイル端末が前記評価プログラムを実行する手順とを具備し、評価プログラムが、モバイル端末の出力画面を模した第１模擬画面を出力する手順と、所定の操作を検知する手順と、前記操作に応答して第２模擬画面を出力する手順と、前記操作に対する応答の主観評価を被験者に入力させる手順と、前記入力された主観評価を所定の宛先へ送信する手順とを具備したことを特徴とする。 (1) A procedure in which the mobile terminal obtains an evaluation program and a procedure in which the mobile terminal executes the evaluation program, and the evaluation program outputs a first simulation screen that imitates an output screen of the mobile terminal; A procedure for detecting a predetermined operation; a procedure for outputting a second simulated screen in response to the operation; a procedure for causing a subject to input a subjective evaluation of a response to the operation; and And a procedure for transmitting to a destination.
(2)評価プログラムが、モバイル端末の機種情報を取得する手順を更に具備し、評価結果を送信する手順は、機種情報を主観評価と共に送信することを特徴とする。 (2) The evaluation program further includes a procedure for acquiring the model information of the mobile terminal, and the procedure for transmitting the evaluation result transmits the model information together with the subjective evaluation.
(3)評価プログラムが、第１模擬画面のデータをモバイル端末の機種ごとに備え、第１模擬画面を出力する手順では、取得された機種情報に対応した第１模擬画面が出力されることを特徴とする。 (3) In the procedure in which the evaluation program prepares the first simulated screen data for each mobile terminal model and outputs the first simulated screen, the first simulated screen corresponding to the acquired model information is output. Features.
(4)評価プログラムが、第２模擬画面のデータをモバイル端末の機種ごとに備え、第２模擬画面を出力する手順では、取得された機種情報に対応した第２模擬画面が出力されることを特徴とする。 (4) In the procedure in which the evaluation program prepares the second simulated screen data for each mobile terminal model and outputs the second simulated screen, the second simulated screen corresponding to the acquired model information is output. Features.
(5)評価プログラムが、入力操作に対する応答時間を切り換えながら繰り返されることを特徴とする。 (5) The evaluation program is repeated while switching the response time to the input operation.
本発明によれば、以下のような効果が達成される。 According to the present invention, the following effects are achieved.
(1)被験者にモバイル端末を主観評価させる評価プログラムが評価対象のモバイル端末上で実行され、被験者が評価対象のモバイル端末を実際に操作して評価できるので、評価専用のプロトタイプ端末を用意することなく、多数の被験者を対象に、実使用に近い環境下での主観評価を簡単に実現できるようになる。 (1) An evaluation program that subjects the subject to subjective evaluation of the mobile terminal is executed on the target mobile terminal, and the subject can actually operate and evaluate the target mobile terminal. Rather, it becomes possible to easily achieve subjective evaluation in an environment close to actual use for a large number of subjects.
(2)主観評価がモバイル端末の機種情報と共に得られるので、評価側ではモバイル端末ごとに主観評価を分析できるようになる。 (2) Since the subjective evaluation is obtained together with the model information of the mobile terminal, the evaluation side can analyze the subjective evaluation for each mobile terminal.
(3)評価中の出力画面（第１模擬画面および／または第２模擬画面）をモバイル端末の機種ごとに固有の画面にできるので、実使用により近い環境下での主観評価が可能になる。 (3) Since the output screen under evaluation (the first simulation screen and / or the second simulation screen) can be made unique to each model of mobile terminal, subjective evaluation in an environment closer to actual use becomes possible.
(4)評価プログラムが、入力操作に対する応答時間を切り換えながら繰り返されるので、様々な状況を模した評価が可能になる。 (4) Since the evaluation program is repeated while switching the response time to the input operation, it is possible to evaluate various situations.
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明が適用される無線ネットワークの構成を示したブロック図であり、携帯電話１やPDA２などの多数のモバイル端末MNが無線基地局３や無線アクセスポイント４を経由して携帯電話網あるいはインターネット等のIPネットワークNWに接続される。IPネットワークNWにはさらに、モバイル端末MNの主観評価試験を端末ユーザ（実験参加者）に実施させ、その回答結果を収集する評価サーバ５が接続されている。端末ユーザは、主観評価用のプログラムを評価サーバ５から自身のモバイル端末MNにダウンロードし、これを実行することで主観評価試験を行う。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a wireless network to which the present invention is applied, in which a large number of mobile terminals MN such as a mobile phone 1 and a PDA 2 are connected to a mobile phone via a wireless base station 3 and a wireless access point 4. Connected to an IP network NW such as the network or the Internet. Furthermore, an evaluation server 5 is connected to the IP network NW, which causes a terminal user (experiment participant) to perform a subjective evaluation test of the mobile terminal MN and collects the answer results. The terminal user performs a subjective evaluation test by downloading a subjective evaluation program from the evaluation server 5 to his / her mobile terminal MN and executing it.
本実施形態では、モバイル端末MNが評価サーバ５から評価プログラムを取得する方式として、以下の３つの手法が用意されている。第１の手法では、図２に示したように、実験に参加する端末ユーザがモバイル端末MNから評価サーバ５のURLに自発的にアクセスして評価プログラムを要求すると、これに応答して評価サーバ５からモバイル端末MNへ評価プログラムが配信される。第２の手法では、図３に示したように、評価サーバ５が評価プログラムを電子メール（例えば、Eメール）に添付し、端末ユーザのモバイル端末MNへ配信する。第３の手法では、図４に示したように、評価サーバ５からモバイル端末MNへ評価依頼のメッセージが電子メールで送信され、端末ユーザがモバイル端末MNから、電子メールに記述されている評価サーバ５のURLにアクセスして評価プログラムを取得する。 In the present embodiment, the following three methods are prepared as a method for the mobile terminal MN to acquire the evaluation program from the evaluation server 5. In the first method, as shown in FIG. 2, when a terminal user participating in the experiment voluntarily accesses the URL of the evaluation server 5 from the mobile terminal MN and requests an evaluation program, the evaluation server responds to this request. The evaluation program is distributed from 5 to the mobile terminal MN. In the second method, as shown in FIG. 3, the evaluation server 5 attaches the evaluation program to an e-mail (for example, e-mail) and distributes it to the mobile terminal MN of the terminal user. In the third method, as shown in FIG. 4, an evaluation request message is transmitted from the evaluation server 5 to the mobile terminal MN by electronic mail, and the terminal user is described in the electronic mail from the mobile terminal MN. Go to URL 5 and get the evaluation program.
前記第１の手法は、評価主催者が予めWeb上あるいは電子メールで主観評価試験の募集要項や評価プログラムのダウンロード先のURLを告知し、実験に自発的に参加する端末ユーザに評価を依頼する場合に有効である。 In the first method, the evaluation organizer notifies the application guidelines for the subjective evaluation test and the URL for downloading the evaluation program in advance on the Web or by e-mail, and requests evaluation from terminal users who voluntarily participate in the experiment. It is effective in the case.
前記第２，３の手法は、各端末ユーザの大まかな位置情報を、各モバイル端末を収容する基地局のカバレッジ等に基づいて評価主催者側が把握し、所望の対象地域に位置している端末ユーザを識別して評価を依頼する場合に有効である。 In the second and third methods, the terminal of the evaluation organizer grasps rough location information of each terminal user based on the coverage of the base station that accommodates each mobile terminal, and is located in a desired target area. This is effective when requesting evaluation by identifying a user.
各モバイル端末MNでは、上記いずれかの手法で評価サーバ５から取得した評価プログラムを実行して端末ユーザに通信品質の主観評価を行わせ、その後、評価結果を評価サーバ５へ送信する。 Each mobile terminal MN executes the evaluation program acquired from the evaluation server 5 by any one of the above methods to cause the terminal user to perform a subjective evaluation of the communication quality, and then transmits the evaluation result to the evaluation server 5.
図５は、前記モバイル端末MNの主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。 FIG. 5 is a functional block diagram showing the configuration of the main part of the mobile terminal MN. Here, the configuration unnecessary for the description of the present invention is omitted.
モバイル端末MNは、送受信部１０１、変復調部１０２、制御部１０３、表示部１０４、入力操作部１０５および音響部１０６を含み、前記制御部１０３は、CPU２０１、このCPU２０１により実行されるプログラムや各種の制御データを不揮発に記憶するROM２０２、およびダウンロードしたプログラムやデータを一時記憶すると共に前記CPU２０１にワークエリアを提供するRAM２０３を主要な構成としている。 The mobile terminal MN includes a transmission / reception unit 101, a modulation / demodulation unit 102, a control unit 103, a display unit 104, an input operation unit 105, and an acoustic unit 106. The control unit 103 includes a CPU 201, a program executed by the CPU 201, various programs, and the like. A ROM 202 that stores control data in a nonvolatile manner and a RAM 203 that temporarily stores downloaded programs and data and provides a work area to the CPU 201 are mainly configured.
このような構成において、評価試験サーバ５からダウンロードされた評価プログラムは変復調部１０２で復調されて制御部１０３のRAM２０２に一時記憶される。CPU２０１により当該評価プログラムが実行されると、表示部１０４には、モバイル端末MNの一の状態（例えば、電子メールの送信前）における画面表示を模した第１模擬画面が出力される。端末ユーザが入力操作部１０５から電子メールの送信操作を入力すると、その処理時間に相当する応答時間の経過後に、今度はモバイル端末MNの他の一の状態（例えば、電子メールの送信後）における画面表示を模した第２模擬画面が表示部１０４に出力される。次いで、表示画面が回答画面に切り替わり、端末ユーザが入力操作部１０５から、応答時間に関する主観評価を入力すると、これが評価結果として評価サーバ５へ送信される。 In such a configuration, the evaluation program downloaded from the evaluation test server 5 is demodulated by the modem unit 102 and temporarily stored in the RAM 202 of the control unit 103. When the evaluation program is executed by the CPU 201, a first simulation screen imitating a screen display in one state of the mobile terminal MN (for example, before sending an e-mail) is output to the display unit 104. When the terminal user inputs an e-mail transmission operation from the input operation unit 105, after a response time corresponding to the processing time has elapsed, this time in another state of the mobile terminal MN (for example, after e-mail transmission) A second simulation screen simulating the screen display is output to the display unit 104. Next, when the display screen is switched to the response screen and the terminal user inputs a subjective evaluation regarding the response time from the input operation unit 105, this is transmitted to the evaluation server 5 as an evaluation result.
図６は、前記評価プログラムが実行されるモバイル端末MNの第１実施形態の動作を示したフローチャートであり、ここでは始めに、電源スイッチの長押し時間の評価方法について説明する。図８は、モバイル端末MNの画面表示が評価プログラムの進行と共に切り替わる様子を示した図である。 FIG. 6 is a flowchart showing the operation of the first embodiment of the mobile terminal MN in which the evaluation program is executed. Here, first, a method for evaluating the long press time of the power switch will be described. FIG. 8 is a diagram illustrating a state where the screen display of the mobile terminal MN is switched as the evaluation program progresses.
モバイル端末MNにおいて評価プログラムが実行されると、ステップＳ１では、端末ユーザの年齢や性別などを入力させるユーザ情報の入力画面が表示される。ユーザ情報の入力が完了し、これがステップＳ２で検知されるとステップＳ３へ進む。ステップＳ３では、モバイル端末MNの機種情報が取得される。本実施形態では、評価プログラムをFlashLiteあるいはJava(登録商標)Scriptといったモバイル端末向けスクリプト言語で作成することができ、評価プログラムがFlash Liteで作成されていれば、次式(1)の関数を実行することによりモバイル端末MNの機種情報（デバイスID）を取得できる。
When the evaluation program is executed in the mobile terminal MN, in step S1, a user information input screen for inputting the age and sex of the terminal user is displayed. When the input of user information is completed and this is detected in step S2, the process proceeds to step S3. In step S3, the model information of the mobile terminal MN is acquired. In this embodiment, the evaluation program can be created in a script language for mobile terminals such as FlashLite or Java (registered trademark). If the evaluation program is created in Flash Lite, the function of the following expression (1) is executed. By doing so, the model information (device ID) of the mobile terminal MN can be acquired.
fscommand2 ("GetDevice", "devicename"); …(1)
fscommand2 ("GetDevice", "devicename");… (1)
ステップＳ４では、前記機種情報に基づいて各種のパラメータが設定される。本実施形態では、起動前の第１模擬画面、起動中の第２模擬画面、起動中に発せられるピープ音などが、前記機種情報に基づいて当該モバイル端末MNに固有の画面等に設定される。ステップＳ５では、今回の長押し時間Tpushが設定される。ステップＳ６では、図８(a)に示したように、電源オフの状態を模した第１模擬画面が表示される。ステップＳ７において、電源スイッチの押下操作が検知されるとステップＳ８へ進み、長押しの継続時間Tpを計測するタイマおよび経過時間Twを計測するタイマがスタートする。 In step S4, various parameters are set based on the model information. In the present embodiment, the first simulation screen before activation, the second simulation screen during activation, the beep sound generated during activation, and the like are set as a screen unique to the mobile terminal MN based on the model information. . In step S5, the current long press time Tpush is set. In step S6, as shown in FIG. 8A, a first simulation screen simulating a power-off state is displayed. In step S7, when a pressing operation of the power switch is detected, the process proceeds to step S8, where a timer for measuring the long press duration Tp and a timer for measuring the elapsed time Tw are started.
ステップＳ９では、電源スイッチの押下が継続中であるか否かが判定される。継続中であればステップ１０へ進み、現在までの長押し継続時間Tpが今回の長押し時間Tpushと比較される。長押し継続時間Tpが未だ長押し時間Tpushを下回っていれば、ステップＳ９へ戻って待機する。その後、長押し継続時間Tpが長押し時間Tpushに達するとステップ１１へ進み、図８(b)に示したように、起動中の出力画面を模した当該モバイル端末に固有の第２模擬画面が表示される。 In step S9, it is determined whether or not the power switch is being pressed. If it continues, it will progress to step 10, and the long press continuation time Tp until now is compared with this long press time Tpush. If the long press duration time Tp is still less than the long press time Tpush, the process returns to step S9 and waits. Thereafter, when the long press duration time Tp reaches the long press time Tpush, the process proceeds to step 11, and as shown in FIG. 8 (b), a second simulation screen unique to the mobile terminal imitating the active output screen is displayed. Is displayed.
ステップＳ１２では、経過時間Twが所定の起動時間Twaitに達したか否かが判定される。経過時間Twが起動時間Twaitに達するとステップＳ１３へ進み、図８(c)に示した主観評価の回答画面が表示される。端末ユーザが主観評価に回答すると、これがステップＳ１４で検知されてステップＳ１５へ進む。ステップＳ１５では、評価試験が完了したか否かが判定される。本実施形態では複数の長押し時間Tpushが用意されており、長押し時間を切り換えながら評価が繰り返されるので、未評価の長押し時間があればステップＳ５へ戻り、長押し時間Tpushを切り換えながら上記の各処理が繰り返される。 In step S12, it is determined whether or not the elapsed time Tw has reached a predetermined activation time Twait. When the elapsed time Tw reaches the activation time Twait, the process proceeds to step S13, and the subjective evaluation response screen shown in FIG. 8C is displayed. When the terminal user answers the subjective evaluation, this is detected in step S14, and the process proceeds to step S15. In step S15, it is determined whether or not the evaluation test is completed. In this embodiment, a plurality of long press times Tpush are prepared, and the evaluation is repeated while switching the long press times. Therefore, if the long evaluation time has not been evaluated, the process returns to step S5, and the long press time Tpush is switched. Each process is repeated.
その後、全ての長押し時間について端末ユーザの評価が完了するとステップＳ１６へ進み、長押し時間毎の主観評価、ユーザID、機種情報およびユーザ情報の記述された評価結果が評価試験サーバ５へ返信される。評価プログラムがFlashLiteで作成されていれば、評価結果はgetURL関数を次式(2)のように用いることにより送信可能である。
Thereafter, when the evaluation of the terminal user is completed for all the long press times, the process proceeds to step S16, and the evaluation results describing the subjective evaluation, user ID, model information, and user information for each long press time are returned to the evaluation test server 5. The If the evaluation program is created with FlashLite, the evaluation result can be sent by using the getURL function as shown in the following equation (2).
getURL("http://www.xxx.xxx.xxx", "_blank", "GET") …(2)
getURL ("http://www.xxx.xxx.xxx", "_blank", "GET")… (2)
図７は、本発明の第２実施形態の動作を示したフローチャートであり、ここでは、モバイル端末MNのメニュー画面上でフォーカスを移動させる際の応答時間の評価方法について説明する。図９は、モバイル端末MNの画面表示が評価プログラムの進行と共に切り替わる様子を示した図である。 FIG. 7 is a flowchart showing the operation of the second embodiment of the present invention. Here, a method for evaluating the response time when moving the focus on the menu screen of the mobile terminal MN will be described. FIG. 9 is a diagram showing how the screen display of the mobile terminal MN is switched as the evaluation program progresses.
モバイル端末MNにおいて評価試験プログラムが実行されると、ステップＳ２１〜２４では、上記の第１実施形態と同様に、ユーザ情報の入力、機種情報の取得、および機種情報に基づくパラメータ設定が実施される。 When the evaluation test program is executed in the mobile terminal MN, in steps S21 to S24, as in the first embodiment described above, input of user information, acquisition of model information, and parameter setting based on the model information are performed. .
ステップＳ２５では、今回の応答時間Trespが設定される。ステップＳ２６では、図９(a)に示したように、前記抽出された機種情報に基づいて、当該モバイル端末MNのメニュー画面を模した第１模擬画面が表示される。ステップＳ２７において、端末ユーザにより十字キーが操作されてフォーカス移動が指示されたことが検知されるとステップＳ２８へ進み、待機時間Trを計測するタイマが計測を開始する。ステップＳ２９では、待機時間Trが今回の応答時間Trespと比較され、待機時間Trが応答時間Trespに達するまで待機する。 In step S25, the current response time Tresp is set. In step S26, as shown in FIG. 9A, based on the extracted model information, a first simulation screen imitating the menu screen of the mobile terminal MN is displayed. In step S27, when it is detected that the terminal user has operated the cross key to instruct focus movement, the process proceeds to step S28, and a timer for measuring the standby time Tr starts measurement. In step S29, the standby time Tr is compared with the current response time Tresp and waits until the standby time Tr reaches the response time Tresp.
その後、待機時間Trが応答時間Trespに達するとステップＳ３０へ進み、図６(b)に示したように、フォーカス移動後のメニュー画面を模した第２模擬画面が表示される。ステップＳ３１では、図９(c)に示した主観評価の回答画面が表示される。端末ユーザが主観評価に回答すると、これがステップＳ３２で検知されてステップＳ３３へ進む。 Thereafter, when the standby time Tr reaches the response time Tresp, the process proceeds to step S30, and as shown in FIG. 6B, a second simulation screen simulating the menu screen after the focus movement is displayed. In step S31, the subjective evaluation response screen shown in FIG. 9C is displayed. When the terminal user answers the subjective evaluation, this is detected in step S32, and the process proceeds to step S33.
ステップＳ３３では、評価試験が完了したか否かが判定される。本実施形態でも複数の応答時間Trespが用意されており、応答時間を切り換えながら評価が繰り返されるので、未評価の応答時間があればステップＳ２５へ戻り、応答時間Trespを切り換えながら上記の各処理が繰り返される。 In step S33, it is determined whether or not the evaluation test is completed. Also in this embodiment, a plurality of response times Tresp are prepared, and the evaluation is repeated while switching the response times. Therefore, if the response time has not been evaluated, the process returns to step S25, and each process described above is performed while switching the response time Tresp. Repeated.
その後、全ての応答時間について評価が完了するとステップＳ３４へ進み、応答時間毎の主観評価、ユーザID、機種情報およびユーザ情報の記述された評価結果が試験サーバ５へ返信される。 Thereafter, when the evaluation is completed for all the response times, the process proceeds to step S34, and the subjective evaluation for each response time, the user ID, the model information, and the evaluation result describing the user information are returned to the test server 5.
図１０は、本発明の第３実施形態において、モバイル端末MNの画面表示が評価プログラムの進行と共に切り替わる様子を示した図である。 FIG. 10 is a diagram illustrating how the screen display of the mobile terminal MN is switched as the evaluation program progresses in the third embodiment of the present invention.
本実施形態では、図１０(a)に示したEメールのメニュー画面上で「Eメール終了」ボタンがクリックされてから、同図(b)の待受画面に戻るまでの応答時間が評価される。本実施形態でも、応答時間を切換ながら評価が繰り返され、応答時間ごとに、同図(c)の評価画面から回答結果が入力され、全ての応答時間に関する回答結果が評価サーバ５へ送信される。 In this embodiment, the response time from when the “email end” button is clicked on the e-mail menu screen shown in FIG. 10 (a) until it returns to the standby screen in FIG. 10 (b) is evaluated. The Also in this embodiment, the evaluation is repeated while switching the response time, and for each response time, the answer results are input from the evaluation screen of FIG. 5C, and the answer results for all the response times are transmitted to the evaluation server 5. .
評価試験サーバ５には、図１１に示したような評価テーブルが予め用意されており、各モバイル端末MNから受信した回答結果を定量値に変換し、図１２に一例を示した評価結果を生成する。図１２を参照すれば、例えば端末ユーザAは電源スイッチの押下時間が４秒以下であれば「非常に満足」であり、６秒以下でも「満足」である一方、１０秒以上では「非常に不満」と感じることが判る。 An evaluation table as shown in FIG. 11 is prepared in advance in the evaluation test server 5, and the response result received from each mobile terminal MN is converted into a quantitative value, and the evaluation result shown as an example in FIG. 12 is generated. To do. Referring to FIG. 12, for example, the terminal user A is “very satisfied” if the power switch is pressed for 4 seconds or less, and “satisfied” even if it is 6 seconds or less. I understand that I feel dissatisfied.
図１３は、スイッチの押下時間とユーザ満足度の平均値(MOS)との関係を示した図であり、ユーザ満足度の平均値を「満足」以上にするためには、起動時における電源スイッチの押下時間を３秒以下にする必要があることが判る。 FIG. 13 is a diagram showing the relationship between the switch pressing time and the average value (MOS) of user satisfaction. In order to set the average value of user satisfaction to “satisfied” or more, the power switch at the time of startup It can be seen that the pressing time of must be 3 seconds or less.
１…携帯電話，２…PDA，３…無線基地局，４…無線アクセスポイント，５…評価サーバ DESCRIPTION OF SYMBOLS 1 ... Mobile phone, 2 ... PDA, 3 ... Wireless base station, 4 ... Wireless access point, 5 ... Evaluation server
Claims (9)
モバイル端末が評価プログラムを取得する手順と、
モバイル端末が前記評価プログラムを実行する手順とを具備し、
前記評価プログラムが、
モバイル端末の出力画面を模した第１模擬画面を出力する手順と、
所定の操作を検知する手順と、
前記操作に応答して第２模擬画面を出力する手順と、
前記操作に対する応答の主観評価を被験者に入力させる手順と、
前記入力された主観評価を所定の宛先へ送信する手順とを具備したことを特徴とするモバイル端末の主観評価方法。 In a subjective evaluation method that subjects a subject to subjective evaluation of a mobile terminal,
The steps for the mobile device to obtain an evaluation program,
A mobile terminal comprising the procedure for executing the evaluation program,
The evaluation program is
A procedure for outputting a first simulated screen simulating the output screen of a mobile terminal;
A procedure for detecting a predetermined operation;
Outputting a second simulated screen in response to the operation;
A procedure for allowing a subject to input a subjective evaluation of a response to the operation;
And a procedure for transmitting the inputted subjective evaluation to a predetermined destination.
前記評価結果を送信する手順は、前記機種情報を主観評価と共に送信することを特徴とする請求項１に記載のモバイル端末の主観評価方法。 The evaluation program further comprises a procedure for acquiring model information of the mobile terminal,
The subjective evaluation method for a mobile terminal according to claim 1, wherein the procedure for transmitting the evaluation result includes transmitting the model information together with the subjective evaluation.
前記第１模擬画面を出力する手順では、前記取得された機種情報に対応した第１模擬画面が出力されることを特徴とする請求項１に記載のモバイル端末の主観評価方法。 The evaluation program includes the data of the first simulation screen for each mobile terminal model,
The subjective evaluation method for a mobile terminal according to claim 1, wherein in the procedure of outputting the first simulated screen, a first simulated screen corresponding to the acquired model information is output.
前記第２模擬画面を出力する手順では、前記取得された機種情報に対応した第２模擬画面が出力されることを特徴とする請求項１に記載のモバイル端末の主観評価方法。 The evaluation program includes the data of the second simulation screen for each mobile terminal model,
The subjective evaluation method for a mobile terminal according to claim 1, wherein in the procedure of outputting the second simulated screen, a second simulated screen corresponding to the acquired model information is output.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009140895A JP5376654B2 (en) | 2009-06-12 | 2009-06-12 | Subjective evaluation method and program for mobile terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009140895A JP5376654B2 (en) | 2009-06-12 | 2009-06-12 | Subjective evaluation method and program for mobile terminal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010288115A true JP2010288115A (en) | 2010-12-24 |
| JP5376654B2 JP5376654B2 (en) | 2013-12-25 |
Family
ID=43543493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009140895A Expired - Fee Related JP5376654B2 (en) | 2009-06-12 | 2009-06-12 | Subjective evaluation method and program for mobile terminal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5376654B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014155068A (en) * | 2013-02-08 | 2014-08-25 | Kddi Corp | Server device, terminal device, terminal operation control system, information provision system and computer program |
| JP2015018455A (en) * | 2013-07-11 | 2015-01-29 | 日本電信電話株式会社 | Calculation device and method of primary quality index optimal value of application |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003316613A (en) * | 2002-04-25 | 2003-11-07 | Unix Design Office Inc | Usability test system |
| WO2004072883A1 (en) * | 2003-02-12 | 2004-08-26 | Hitachi, Ltd. | Usability evaluation support method and system |
| JP2007087119A (en) * | 2005-09-22 | 2007-04-05 | Fuji Xerox Co Ltd | Instruction input acceptance method, user interface device and program |
-
2009
- 2009-06-12 JP JP2009140895A patent/JP5376654B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003316613A (en) * | 2002-04-25 | 2003-11-07 | Unix Design Office Inc | Usability test system |
| WO2004072883A1 (en) * | 2003-02-12 | 2004-08-26 | Hitachi, Ltd. | Usability evaluation support method and system |
| JP2007087119A (en) * | 2005-09-22 | 2007-04-05 | Fuji Xerox Co Ltd | Instruction input acceptance method, user interface device and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014155068A (en) * | 2013-02-08 | 2014-08-25 | Kddi Corp | Server device, terminal device, terminal operation control system, information provision system and computer program |
| JP2015018455A (en) * | 2013-07-11 | 2015-01-29 | 日本電信電話株式会社 | Calculation device and method of primary quality index optimal value of application |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5376654B2 (en) | 2013-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Quality of experience in distributed interactive multimedia environments: toward a theoretical framework | |
| JP6086571B2 (en) | Method and device for controlling peripheral devices via a social networking platform | |
| US9265077B2 (en) | Method and device for controlling peripheral devices via a social networking platform | |
| JP6242495B2 (en) | Method, system and storage medium for transmitting data | |
| CN102508475B (en) | Remote control method and remote control system | |
| JP2006318109A (en) | Research system, research program, and research method | |
| CN113596381B (en) | Audio data acquisition method and device | |
| US20110197148A1 (en) | Apparatus and method for providing network community service | |
| JP5376654B2 (en) | Subjective evaluation method and program for mobile terminal | |
| CN111400539B (en) | Voice questionnaire processing method, device and system | |
| JP6766668B2 (en) | Information terminals, information processing devices, information processing systems, information processing methods, and programs | |
| CN110808844A (en) | Broadcasting communication method, device and system of voice social platform | |
| JP2008027136A (en) | Service introduction system, www server, terminal device, service introduction method, and computer program | |
| CN113596489B (en) | Live broadcast teaching method, device, equipment and computer readable storage medium | |
| Rodriguez et al. | Assessment of quality-of-experience in telecommunication services | |
| JP2005293481A (en) | Information processing system, information processor, control method of information processing system, and program | |
| JP2010028298A (en) | Self-introduction assistant method, self-introduction assistant processing device, and the like | |
| JP2006047660A (en) | Lesson evaluation system | |
| Lindroth et al. | Mobile Usability-Rigour meets relevance when usability goes mobile | |
| Timmerer et al. | Automating QoS and QoE Evaluation of HTTP Adaptive Streaming Systems | |
| JP2011108052A (en) | Communication support apparatus, communication support method and program | |
| JP2005332161A (en) | Portable terminal, question processing program, server device, question processing system and question processing method | |
| JP2010085554A (en) | Display control device and video conference system | |
| JP6406059B2 (en) | Karaoke device, program | |
| JP2005333389A (en) | Program linking system, program linking method, server device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130918 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130920 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5376654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |