JP2004021863A - Information processing system evaluation device, evaluation method and evaluation program - Google Patents

Information processing system evaluation device, evaluation method and evaluation program Download PDF

Info

Publication number
JP2004021863A
JP2004021863A JP2002179159A JP2002179159A JP2004021863A JP 2004021863 A JP2004021863 A JP 2004021863A JP 2002179159 A JP2002179159 A JP 2002179159A JP 2002179159 A JP2002179159 A JP 2002179159A JP 2004021863 A JP2004021863 A JP 2004021863A
Authority
JP
Japan
Prior art keywords
evaluation
information processing
processing system
information
usability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002179159A
Other languages
Japanese (ja)
Inventor
Hideto Yuzawa
湯澤 秀人
Toru Tanaka
田中 徹
Yoshitsugu Hirose
広瀬 吉嗣
Hisae Mihira
三平 寿江
Kazuo Shibuta
澁田 一夫
Tsutomu Oyama
大山 努
Katsura Sakai
酒井 桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2002179159A priority Critical patent/JP2004021863A/en
Publication of JP2004021863A publication Critical patent/JP2004021863A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stored Programmes (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To objectively evaluate usability of an information system on the basis of a change of evaluation before and after using or a plurality of numbers of using of the information processing system. <P>SOLUTION: A process for acquiring evaluation parameters from a user using the information processing system as an evaluation target comprises processes ST10, ST30 for acquiring first and second evaluation parameters at the different time, a process ST40 for finding out information indicating usability on the basis a change in the first evaluation parameter and the second evaluation parameter, and a process ST50 for displaying information regarding the usability as information regarding usability of the information processing system as the evaluation target. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、情報処理システムの有効さ、効率又は満足度等の使用性に関する評価を提示する情報処理システム評価装置、情報処理システム評価方法及び情報処理システム評価プログラムに関する。
【0002】
【従来技術】
情報処理技術の発達に伴って、様々な種類のアプリケーションソフトウェアが開発されている。また、近年のインターネット等の情報伝達技術の発達に伴って、ネットワークを介したウェブ上での様々な情報処理が行われるようになっている。
【0003】
このように、多様化したアプリケーションやウェブが氾濫する状況において、ユーザは、自己の目的に合致し、より使い易い情報処理システムを選択したいと考えている。そのため、情報処理システムを操作するユーザから得られる主観的な評価、生体情報又は操作履歴等の情報から、その情報処理システムの有効さ、効率又は満足度等の使用性(ユーザビリティ)に関する評価を提示できる手段が必要とされている。
【0004】
例えば、ISO9241−11(Ergonomic requirements for office work with visual display terminal−Part11:Guidance on usability)及びJIS Z 8521(Japanese Industrial Standard Z 8521)では、情報処理システムの有効さ、効率及び満足度の3つの指標によりシステムのユーザビリティを規格化し、このユーザビリティによってシステムの評価を行うことを推奨している。
【0005】
一方、情報処理システムを提供する側においても、ユーザにより高い満足感を与えるサービスを提供するために、情報処理システムのユーザビリティを、ユーザからの情報に基づいて客観的に評価できる手段を必要としている。
【0006】
このような要求に対して、従来の情報処理システム評価手段では、情報処理システムを実際に操作する前のユーザの主観的評価に関する情報や操作した後の情報の各々に基づいて、ユーザビリティの評価を行っている。
【0007】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、情報処理システムを使用する前と実際に使用した後とのユーザの評価の変化や、情報処理システムを複数回繰り返し使用したユーザの評価の変化に基づいて、情報処理システムを評価することができなかった。
【0008】
例えば、特定のアプリケーションやウェブサイトを使用する際に、実際に使用する前にはユーザは「画面が整理されていて、とても使い易そうなウェブサイトだ」と評価していたが、実際に使用してみると「画面切り替えの処理が遅く、使いにくかった」と評価が悪くなることがある。このような場合、ユーザは予想に反する悪い印象を受け、そのウェブサイトを再利用する可能性は低くなる。反対に、使用前に対して、実際に使用した後の評価が高くなった場合、ユーザは信頼の回復を感じ、そのアプリケーションやウェブサイトを再利用する可能性が高くなる。
【0009】
従来技術では、このような評価の時間的変化やギャップを情報処理システムの評価に利用していないため、ユーザの再利用の可能性などの重要な使用性の評価を客観的に得ることができなかった。
【0010】
本発明は、上記従来技術の実情を鑑みて、情報処理システムを操作するユーザから得られる情報に基づいて、その情報処理システムの使用性に関する情報を提示する情報処理システム評価装置、情報処理システム評価方法及び情報処理システム評価プログラムを提供することを目的とする。
【0011】
【課題を解決するための手段】
上記課題を解決するための本発明は、情報処理システムの使用性の評価に関する情報を提示する情報処理システム評価方法であって、評価対象となる情報処理システムを操作するユーザから評価パラメータを取得する工程であって、異なる時刻において第1の評価パラメータと第2の評価パラメータとを取得する工程と、前記第1の評価パラメータと前記第2の評価パラメータとの変化量に基づいて、使用性を示す情報を求める工程と、前記使用性を示す情報を前記評価対象となった情報処理システムに対する使用性に関する情報として表示する工程とを含む処理を行うことを特徴とする。
【0012】
また、上記課題を解決するための本発明の別の形態は、情報処理システムの使用性の評価に関する情報を提示する情報処理システム評価方法であって、評価対象となる情報処理システムを操作するユーザから評価パラメータを取得する工程であって、前記評価対象となる情報処理システムの操作前に第1の評価パラメータを取得し、前記評価対象となる情報処理システムの操作後に第2の評価パラメータを取得する工程と、前記第1の評価パラメータと前記第2の評価パラメータとの変化量に基づいて、使用性を示す情報を求める工程と、前記使用性を示す情報を、前記評価対象となった情報処理システムに対する使用性に関する情報として表示する工程とを含む処理を行うことを特徴とする。
【0013】
さらに、上記情報処理システム評価方法において、前記評価パラメータは、ユーザの主観的評価、ユーザの生体情報又はユーザの操作履歴の少なくとも1つであることを特徴とする情報処理システム評価方法。
【0014】
上記課題を解決するための本発明は、情報処理システムの使用性の評価に関する情報を提示する情報処理システム評価装置であって、評価対象となる情報処理システムを操作するユーザから評価パラメータを取得する手段であって、異なる時刻において第1の評価パラメータと第2の評価パラメータとを取得する手段と、前記第1の評価パラメータと前記第2の評価パラメータとの変化量に基づいて、前記使用性を示す情報を求める手段と、前記使用性を示す情報を、前記評価対象となった情報処理システムに対する使用性に関する情報として表示する手段とを含むことを特徴とする。
【0015】
上記課題を解決するための本発明は、情報処理システムの使用性の評価に関する情報を提示する情報処理システム評価プログラムであって、コンピュータに、評価対象となる情報処理システムを操作するユーザから評価パラメータを取得する工程であって、異なる時刻において第1の評価パラメータと第2の評価パラメータとを取得する工程と、前記第1の評価パラメータと前記第2の評価パラメータとの変化量に基づいて使用性を示す情報を求める工程と、前記使用性を示す情報を、前記評価対象となった情報処理システムに対する使用性に関する情報として表示する工程とを含む処理を実行させることを特徴とする。
【0016】
【発明の実施の形態】
以下に、本発明における実施の形態について、図を参照して詳細に説明する。
【0017】
本発明の実施の形態における情報処理システム評価装置100は、図1のように、制御部10、記憶部12、出力部14、標準入力部16、生体情報測定部18及びバス20から基本的に構成される。制御部10、記憶部12、出力部14、標準入力部16及び生体情報測定部18は、バス20を介して、相互に情報(データ)伝達可能に接続される。
【0018】
また、情報処理システム評価装置100は、インターフェース部22を含むことも好適である。インターフェース部22は、情報処理システム評価装置100外部のネットワーク24に接続される。情報処理システム評価装置100はインターフェース部22を用いることによって、ネットワーク24を介して、ウェブサーバ等の他の情報処理システム(図示しない)から情報を取得し、ウェブ上での情報処理を行い、そのシステムを評価することも可能である。
【0019】
制御部10は、標準入力部16からのコマンドを受けて、記憶部12に記憶されている情報処理システム評価プログラムを実行し、対象となる情報処理システムの評価を求める。具体的には、標準入力部16から入力されるユーザの主観的評価及び操作履歴、生体情報測定部18から入力されるユーザの生体情報に関する評価パラメータを受けて、その情報処理システムの評価を行う。評価結果は、出力部14へ出力される。制御部10には、一般的なコンピュータのCPUを用いることができる。
【0020】
記憶部12は、制御部10で実行される情報処理システム評価プログラム、処理されるデータ、評価パラメータ及び評価結果を格納及び保持する。記憶部12に保持されたプログラム等は、バス20を介して、制御部10や出力部14から適宜参照される。記憶部12には、半導体メモリ、ハードディスク、フレキシブルディスク、光磁気ディスクなどの一般的な記憶装置を適宜選択して用いることができる。
【0021】
出力部14は、制御部10から処理結果を受けて、その処理結果をユーザが確認可能な態様で表示する。また、標準入力部16からコマンドを受け付ける際のユーザインターフェースを表示する。出力部14には、ディスプレイ、タッチパネル又はプリンタなどの一般的な表示装置を適宜選択して用いることができる。
【0022】
標準入力部16は、処理を制御するためのコマンドを受け付けるために用いられる。また、評価対象の情報処理システムに対するユーザの主観的評価を評価パラメータとして取得する。標準入力部16には、キーボードやタッチパネル又はマウス等のポインティングデバイスなどの一般的な入力装置を適宜選択して用いることができる。
【0023】
ここで、主観的評価とは、例えば、ユーザが情報処理システムを使用する際の「視認性」「操作性」「デザイン性」「面白さ」及び「全体印象」に関する印象を意味する。但し、これらに限られるものではなく、情報処理システムに対してユーザが感じる主観的な評価に関する情報であれば良い。
【0024】
さらに、標準入力部16では、評価対象の情報処理システムにおいて情報を処理する際の入力回数、ポインティングデバイス操作回数、ポインティングデバイス移動量等の操作履歴を評価パラメータとして取得する。但し、これらに限られるものではなく、情報処理システムを使用する際のユーザの操作に関する履歴であれば良い。
【0025】
生体情報測定部18は、情報処理システムにより情報処理を行う際のユーザの生体情報を評価パラメータとして取得する。生体情報測定部18としては、既存の生体情報測定装置を用いることができる。生体情報とは、例えば、情報処理中のユーザの視線移動量、表示された情報を注視する時間、ユーザの瞳孔の開き具合及びユーザの脳波等のユーザの生体の情報である。但し、これらに限られるものではなく、情報処理システムを使用する際のユーザの生体情報であれば良い。
【0026】
上記の各種評価パラメータは、記憶部12に格納及び保持される。
【0027】
以下に、上記情報処理システム評価装置100を用いた情報処理システムの評価方法を、図2を参照して詳細に説明する。
【0028】
評価の対象となる情報処理システムで処理される情報は、例えば、ワードプロセッサシステムにおいて、ユーザが1つの文書を完成させるまでのような一連の処理を全て含むものであっても良いし、文書を完成するまでの文字入力、編集又はファイル操作などの個々の処理であっても良い。また、さらに細かいカット&ペースト等の処理であっても良い。
【0029】
さらに、ネットワーク24を介したウェブ上での情報処理であっても良い。この場合も、例えば、ウェブ上でのチケット予約を行う一連の処理であっても良いし、チケット予約を完了するまでのウェブページ切替やユーザ情報入力等の個々の処理であっても良い。
【0030】
また、評価の対象となる処理は、情報処理システム評価装置100とは全く別個の情報処理システムで行っても良いし、情報処理システム評価装置100を併用しても良い。
【0031】
図2に示す情報処理システム評価方法の各工程は、コンピュータで実行可能な情報処理システム評価プログラムとしてコーディングすることができる。情報処理システム評価プログラムを記憶部12に保持し、そのプログラムを制御部10で実行することによって、以下の処理を行うことができる。
【0032】
ユーザが標準入力部16から評価処理の開始コマンドを入力することによって、その開始コマンドを受けた制御部10は、記憶部12に保持された情報処理システム評価プログラムを実行開始する。その結果、処理は直ちにステップS10に移行する。
【0033】
ステップS10では、評価対象の情報処理システムを用いて情報を処理する前の評価パラメータを取得する。すなわち、評価対象の情報処理システムを使用する前のユーザの主観的評価やユーザの生体情報が取得される。取得された主観的評価や生体情報は、それぞれ評価パラメータとして記憶部12に格納及び保持される。
【0034】
ユーザの主観的評価は、図3に例示するように、ユーザの主観的な評価をアンケート形式で入力してもらうことにより取得することができる。この場合、出力部14を用いてアンケートをユーザに提示し、標準入力部16からユーザの評価を選択させることが好適である。ユーザは、情報処理システムにおける情報処理前の表示画像やウェブページを確認した印象、又は、情報処理システムに対する前評判などに基づいて主観的評価を入力する。
【0035】
例えば、ウェブ上での処理を行う場合に、処理開始時のウェブページの画像データをネットワーク24を介して記憶部12に読み込み、出力部14においてその画面を表示してユーザに確認させた後に、続いて図3に示すアンケートを出力部14に表示し、標準入力部16を用いてユーザの主観的評価を入力させても良い。
【0036】
ユーザの主観的評価は、図4に例示するように、数値データである評価パラメータとして取得される。
【0037】
ユーザの生体情報は、既存の生体情報測定装置からなる生体情報測定部18によって取得される。例えば、既存の視線追尾装置を用いて、ユーザが情報処理前に表示される画像を見たときの視線の軌跡を評価パラメータとして取得する。同様に、既存の瞳孔拡散測定装置や脳波測定装置によって、情報処理前のユーザの瞳孔の開き具合や脳波を評価パラメータとして取得する。
【0038】
例えば、主観的評価に関する評価パラメータの取得と同様に、出力部14でウェブページの画像を表示している間に、ユーザの生体情報に関する評価パラメータを取得しても良い。
【0039】
ユーザの生体情報は、図5に例示するように、数値データである評価パラメータとして取得される。
【0040】
ステップS20では、評価対象となる情報処理システムを用いて情報の処理を実行する。情報処理は、上記のように、ワードプロセッサによる文書作成やウェブ上でのチケット予約などの一連の処理の組合せであっても良いし、文字入力、画像切替などの個々の処理であっても良い。ユーザは、評価対象となる情報処理システムを操作することによって、操作前とは異なる印象などをもつこととなる。
【0041】
ステップS30では、評価対象の情報処理システムによって処理を行った後の評価パラメータを取得する。すなわち、ユーザの主観的評価、ユーザの生体情報及びユーザの操作履歴が取得される。取得された主観的評価、生体情報及び操作履歴は、それぞれ評価パラメータとして記憶部12に格納及び保持される。
【0042】
ユーザの主観的評価は、ステップS10と同様に、ステップS20での処理が終了した後に、出力部12でアンケートをユーザに提示し、標準入力部16からユーザの主観的な評価を入力してもらうことによって、取得することができる。
【0043】
ユーザの生体情報は、ステップS10と同様に、生体情報測定部18によって取得することができる。視線移動量のように時間的な蓄積が必要な評価パラメータは、ステップS20での処理中のユーザの生体情報を蓄積しておき、処理後にその蓄積値を評価パラメータとして取得することが好適である。また、瞳孔の開き具合、脳波、発汗等は、ステップS20での処理が終了した直後に評価パラメータとして取得すること好適である。ユーザの主観的評価及び生体情報は、図6及び図7に例示するように、それぞれ数値データである評価パラメータとして取得される。
【0044】
また、ユーザの操作履歴は、ステップS20における情報処理中のユーザの操作を蓄積しておくことによって、取得することができる。操作履歴は、標準入力部16において一時的に蓄積しておいても良いし、操作の度に記憶部12に格納及び保持しておいても良い。
【0045】
ステップS40では、情報処理前と後での情報処理システムの評価パラメータの変化が求められる。具体的には、記憶部12に保持された処理前後の評価パラメータの数値データの差が算出される。図8及び図9に、情報処理前後のユーザの主観的評価及び生体情報についての評価パラメータの差を算出した結果を示す。
【0046】
さらに、これらの評価パラメータの変化に基づいて、情報処理システムのユーザビリティ等の評価を求める。本実施の形態では、例として、ユーザビリティを有効さ(effectiveness)、効率(efficiency)及び満足度(satisfaction)の3種類の要素であるものとした。但し、これらに限定されるものではない。
【0047】
例えば、ユーザが情報処理システムに満足している場合には、主観的評価における視認性、操作性、全体印象等の評価パラメータは情報処理前よりも情報処理後で高くなり、ユーザの生体情報における瞳孔の開き具合、脳波(α波)等は情報処理前よりも情報処理後で高くなると考えられる。従って、情報処理前後のこれらの評価パラメータの変化から、情報処理システムの満足度についての評価を求めることができる。
【0048】
より具体的には、情報処理システムのユーザビリティFは評価パラメータAの変化ΔA及び評価パラメータBの変化ΔBを用いて、数式(1)にように求めることができる。
【0049】
【数1】
F=f(ΔA,ΔB)          (1)
ΔA=情報処理後の評価パラメータA−情報処理後の評価パラメータA
ΔB=情報処理後の評価パラメータB−情報処理後の評価パラメータB
数式(1)は、2種類の評価パラメータの時間的変化量に基づいてユーザビリティを求めるものであるが、さらに多種類の評価パラメータの変化量を用いてユーザビリティを求めても良い。図10に、情報処理システムのユーザビリティと、それを求めるために用いられる評価パラメータとの対応付けの例を示す。
【0050】
さらに、情報処理システムのユーザビリティは、情報処理中のユーザの操作履歴によって補正することも好適である。例えば、情報処理中のマウスのクリック回数が多い場合に、その情報処理システムの効率は悪いと考えられ、効率のユーザビリティの値を低くするように補正することが好適である。評価パラメータの差及び評価結果は出力部14へ出力される。
【0051】
ステップS50では、評価結果を出力する。具体的には、制御部10からの処理結果を受けて、出力部14においてユーザが確認可能な態様で評価パラメータの差やユーザビリティが表示される。図11に、処理結果の表示例を示す。
【0052】
以上のように、本実施の形態によれば、情報処理システムにおける情報処理前後の評価パラメータの変化に基づいて、その情報処理システムの評価を行うことができる。その結果、従来技術では不可能であったユーザの評価の時間的なギャップを考慮し、よりユーザの感覚に近いシステムの評価を提示することができる。
【0053】
本実施の形態では情報処理前後における評価パラメータの変化に基づいて、情報処理システムの評価を行ったが、同一の情報処理を繰り返し行った場合の評価パラメータの変化に基づいて情報処理システムの評価を行うことも可能である。例えば、同一のワードプロセッサで繰り返し文書作成を行った場合に、それぞれの文書作成後において評価パラメータを取得し、その評価パラメータの変化に基づいてシステムを評価することもできる。すなわち、情報処理システムに慣れていないユーザによる評価と、情報処理システムに慣れているユーザによる評価の相違を明確に提示することができる。
【0054】
また、情報処理システムの処理やデザインを改善した場合に、改善前と改善後の情報処理システムを使用したユーザから評価パラメータを取得し、その評価パラメータ間の変化量に基づいてシステムを評価することもできる。すなわち、情報処理システムの改善前後のユーザによる評価の相違を明確に提示し、情報処理システムに対する改善の効果を知ることができる。
【0055】
【発明の効果】
本発明によれば、評価対象となる情報処理システムを使用するユーザから得られる評価パラメータの変化量に基づいて、情報処理システムの使用性に関する評価を提示することができる。これにより、情報処理システムの使用前後の評価のギャップや、ユーザの慣れに対する評価、システムデザインの変更に対する評価を提示することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態における情報処理システム評価装置の構成のブロック図である。
【図2】本発明の実施の形態における情報処理システム評価方法のフローチャートを示す図である。
【図3】本発明の実施の形態における主観的評価の入力に用いられるアンケート形式の例である。
【図4】情報処理前におけるユーザの主観的な評価パラメータの例を示す。
【図5】情報処理前におけるユーザの生体情報の評価パラメータの例を示す。
【図6】情報処理後におけるユーザの主観的な評価パラメータの例を示す。
【図7】情報処理後におけるユーザの生体情報の評価パラメータの例を示す。
【図8】情報処理前後の主観的な評価パラメータの変化の例を示す。
【図9】情報処理前後の生体情報の評価パラメータの変化の例を示す。
【図10】情報処理システムのユーザビリティと各評価パラメータの変化との対応付けの例を示す。
【図11】本発明の実施の形態における情報処理システムの評価結果の表示例を示す。
【符号の説明】
10 制御部、12 記憶部、14 出力部、16 標準入力部、18 生体情報測定部、20 バス、22 インターフェース部、24 ネットワーク。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information processing system evaluation device, an information processing system evaluation method, and an information processing system evaluation program for presenting an evaluation on usability such as effectiveness, efficiency, or satisfaction of an information processing system.
[0002]
[Prior art]
With the development of information processing technology, various types of application software have been developed. Further, with the development of information transmission technology such as the Internet in recent years, various types of information processing on the Web via a network have been performed.
[0003]
As described above, in a situation where a variety of applications and the Web are flooded, the user wants to select an information processing system that meets his / her purpose and is easier to use. Therefore, based on information such as subjective evaluation, biometric information, or operation history obtained from a user who operates the information processing system, an evaluation regarding usability such as effectiveness, efficiency, or satisfaction of the information processing system is presented. There is a need for an enabling means.
[0004]
For example, ISO 9241-11 (Ergonomic requirements for office work with visual display terminal-Part 11: Guidance on usability) and JIS Z 8521 (Japanese efficiency index of the information processing efficiency and JIS Z 851) Standardizes the usability of the system, and recommends that the system be evaluated based on this usability.
[0005]
On the other hand, the information processing system provider also needs a means for objectively evaluating the usability of the information processing system based on information from the user in order to provide a service that gives the user a higher degree of satisfaction. .
[0006]
In response to such a request, the conventional information processing system evaluation means evaluates usability based on information on the subjective evaluation of the user before actually operating the information processing system and information after the operation. Is going.
[0007]
[Problems to be solved by the invention]
However, in the above prior art, the information processing system is based on a change in the evaluation of the user before and after actually using the information processing system and a change in the evaluation of the user who has repeatedly used the information processing system a plurality of times. Could not be evaluated.
[0008]
For example, when using a specific application or website, users rated it as "a website that has a clean screen and is very easy to use" before actually using it. Then, the evaluation may be bad as "the screen switching process is slow and difficult to use". In such a case, the user receives an unexpectedly bad impression and is less likely to reuse the website. Conversely, if the evaluation after the actual use is higher than before the use, the user feels that the trust has been restored, and the user is more likely to reuse the application or the website.
[0009]
In the prior art, such time-based changes and gaps in the evaluation are not used for the evaluation of the information processing system, so that it is possible to objectively obtain important usability evaluations such as the possibility of user reuse. Did not.
[0010]
The present invention has been made in consideration of the above-described conventional technology, and based on information obtained from a user who operates an information processing system, an information processing system evaluation device and an information processing system evaluation for presenting information on usability of the information processing system. It is an object to provide a method and an information processing system evaluation program.
[0011]
[Means for Solving the Problems]
The present invention for solving the above-mentioned problem is an information processing system evaluation method for presenting information on evaluation of usability of an information processing system, and obtains an evaluation parameter from a user who operates an information processing system to be evaluated. A step of acquiring a first evaluation parameter and a second evaluation parameter at different times, and determining the usability based on the amount of change between the first evaluation parameter and the second evaluation parameter. The method includes a step of obtaining information to be indicated and a step of displaying the information indicating the usability as information on the usability of the information processing system to be evaluated.
[0012]
Another embodiment of the present invention for solving the above-mentioned problem is an information processing system evaluation method for presenting information related to evaluation of usability of an information processing system, wherein a user operating an information processing system to be evaluated is provided. Obtaining an evaluation parameter from a first evaluation parameter before operating the information processing system to be evaluated, and obtaining a second evaluation parameter after operating the information processing system to be evaluated. Performing the step of obtaining information indicating usability based on the amount of change between the first evaluation parameter and the second evaluation parameter; and changing the information indicating the usability to the evaluation target information. And displaying the information as information on the usability of the processing system.
[0013]
Further, in the above information processing system evaluation method, the evaluation parameter is at least one of a subjective evaluation of the user, biological information of the user, or an operation history of the user.
[0014]
The present invention for solving the above-mentioned problem is an information processing system evaluation device for presenting information on evaluation of usability of an information processing system, and obtains an evaluation parameter from a user who operates an information processing system to be evaluated. Means for acquiring a first evaluation parameter and a second evaluation parameter at different times, and the usability based on an amount of change between the first evaluation parameter and the second evaluation parameter. And means for displaying the information indicating the usability as information on the usability of the information processing system to be evaluated.
[0015]
The present invention for solving the above-mentioned problem is an information processing system evaluation program for presenting information related to evaluation of usability of an information processing system, wherein a computer that operates an information processing system to be evaluated receives an evaluation parameter. Obtaining a first evaluation parameter and a second evaluation parameter at different times, and using the first evaluation parameter and the second evaluation parameter based on an amount of change between the first evaluation parameter and the second evaluation parameter. And a process of obtaining information indicating usability and a step of displaying the information indicating usability as information relating to usability with respect to the information processing system to be evaluated.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0017]
The information processing system evaluation apparatus 100 according to the embodiment of the present invention basically includes a control unit 10, a storage unit 12, an output unit 14, a standard input unit 16, a biological information measurement unit 18, and a bus 20, as shown in FIG. Be composed. The control unit 10, the storage unit 12, the output unit 14, the standard input unit 16, and the biological information measurement unit 18 are connected to each other via a bus 20 so that information (data) can be transmitted.
[0018]
It is also preferable that the information processing system evaluation device 100 includes an interface unit 22. The interface unit 22 is connected to a network 24 outside the information processing system evaluation device 100. The information processing system evaluation apparatus 100 obtains information from another information processing system (not shown) such as a web server via the network 24 by using the interface unit 22 and performs information processing on the web. It is also possible to evaluate the system.
[0019]
The control unit 10 receives the command from the standard input unit 16, executes the information processing system evaluation program stored in the storage unit 12, and obtains an evaluation of the target information processing system. Specifically, the information processing system is evaluated in response to the user's subjective evaluation and operation history input from the standard input unit 16 and the evaluation parameters related to the user's biological information input from the biological information measuring unit 18. . The evaluation result is output to the output unit 14. As the control unit 10, a CPU of a general computer can be used.
[0020]
The storage unit 12 stores and holds an information processing system evaluation program executed by the control unit 10, data to be processed, evaluation parameters, and evaluation results. The programs and the like stored in the storage unit 12 are referred to from the control unit 10 and the output unit 14 via the bus 20 as appropriate. For the storage unit 12, a general storage device such as a semiconductor memory, a hard disk, a flexible disk, and a magneto-optical disk can be appropriately selected and used.
[0021]
The output unit 14 receives the processing result from the control unit 10 and displays the processing result in a form that can be confirmed by the user. Further, a user interface for receiving a command from the standard input unit 16 is displayed. As the output unit 14, a general display device such as a display, a touch panel, or a printer can be appropriately selected and used.
[0022]
The standard input unit 16 is used to receive a command for controlling processing. Further, the user's subjective evaluation of the information processing system to be evaluated is obtained as an evaluation parameter. As the standard input unit 16, a general input device such as a keyboard, a touch panel, or a pointing device such as a mouse can be appropriately selected and used.
[0023]
Here, the subjective evaluation means, for example, an impression relating to “visibility”, “operability”, “design”, “fun”, and “overall impression” when the user uses the information processing system. However, the present invention is not limited to these, and any information may be used as long as the information is related to a subjective evaluation felt by the user with respect to the information processing system.
[0024]
Furthermore, the standard input unit 16 acquires operation histories, such as the number of inputs, the number of pointing device operations, and the amount of pointing device movement when processing information in the information processing system to be evaluated, as evaluation parameters. However, the present invention is not limited to these, and may be any history relating to user operations when using the information processing system.
[0025]
The biological information measurement unit 18 acquires the biological information of the user when performing information processing by the information processing system as an evaluation parameter. As the biological information measuring unit 18, an existing biological information measuring device can be used. The biological information is, for example, information of the user's living body such as the amount of movement of the user's line of sight during information processing, the time to gaze at the displayed information, the degree of opening of the pupil of the user, and the brain waves of the user. However, the present invention is not limited to these, and may be biological information of a user when using the information processing system.
[0026]
The above various evaluation parameters are stored and held in the storage unit 12.
[0027]
Hereinafter, a method for evaluating an information processing system using the information processing system evaluation apparatus 100 will be described in detail with reference to FIG.
[0028]
The information processed by the information processing system to be evaluated may include, for example, a series of processes until a user completes one document in a word processor system, or may complete a document. Individual processing such as character input, editing, or file operation until processing may be performed. Further, finer processing such as cut and paste may be used.
[0029]
Furthermore, information processing on the web via the network 24 may be used. In this case as well, for example, a series of processes for making a ticket reservation on the web, or individual processes such as web page switching and user information input until the ticket reservation is completed may be used.
[0030]
Further, the processing to be evaluated may be performed by an information processing system completely different from the information processing system evaluation device 100, or may be used together with the information processing system evaluation device 100.
[0031]
Each step of the information processing system evaluation method shown in FIG. 2 can be coded as an information processing system evaluation program that can be executed by a computer. The following processing can be performed by holding the information processing system evaluation program in the storage unit 12 and executing the program in the control unit 10.
[0032]
When the user inputs an evaluation processing start command from the standard input unit 16, the control unit 10 that has received the start command starts execution of the information processing system evaluation program stored in the storage unit 12. As a result, the process immediately proceeds to step S10.
[0033]
In step S10, an evaluation parameter before processing information using the information processing system to be evaluated is acquired. That is, the subjective evaluation of the user and the biological information of the user before using the information processing system to be evaluated are acquired. The acquired subjective evaluation and biological information are stored and held in the storage unit 12 as evaluation parameters, respectively.
[0034]
As illustrated in FIG. 3, the user's subjective evaluation can be obtained by having the user input the subjective evaluation in a questionnaire format. In this case, it is preferable that the questionnaire is presented to the user using the output unit 14 and the user's evaluation is selected from the standard input unit 16. The user inputs a subjective evaluation based on an impression of confirming a display image or a web page before information processing in the information processing system, or a previous reputation for the information processing system.
[0035]
For example, when performing a process on the web, after reading the image data of the web page at the start of the process into the storage unit 12 via the network 24 and displaying the screen on the output unit 14 to confirm the user, Subsequently, the questionnaire shown in FIG. 3 may be displayed on the output unit 14, and the user's subjective evaluation may be input using the standard input unit 16.
[0036]
The user's subjective evaluation is acquired as an evaluation parameter which is numerical data, as illustrated in FIG.
[0037]
The biological information of the user is acquired by the biological information measuring unit 18 including the existing biological information measuring device. For example, using an existing line-of-sight tracking device, the trajectory of the line of sight when the user views an image displayed before information processing is acquired as an evaluation parameter. Similarly, an existing pupil diffusion measurement device or an electroencephalogram measurement device acquires the degree of pupil opening and brain waves of the user before information processing as evaluation parameters.
[0038]
For example, similarly to the acquisition of the evaluation parameter related to the subjective evaluation, the evaluation parameter related to the biological information of the user may be acquired while the image of the web page is displayed on the output unit 14.
[0039]
The user's biological information is acquired as an evaluation parameter which is numerical data, as illustrated in FIG.
[0040]
In step S20, information processing is executed using the information processing system to be evaluated. As described above, the information processing may be a combination of a series of processes such as document creation by a word processor and ticket reservation on the Web, or may be individual processes such as character input and image switching. By operating the information processing system to be evaluated, the user has an impression different from that before the operation.
[0041]
In step S30, an evaluation parameter after processing is performed by the information processing system to be evaluated is acquired. That is, the subjective evaluation of the user, the biological information of the user, and the operation history of the user are acquired. The acquired subjective evaluation, biological information, and operation history are stored and held in the storage unit 12 as evaluation parameters, respectively.
[0042]
As for the subjective evaluation of the user, the questionnaire is presented to the user on the output unit 12 after the processing in step S20 is completed, and the subjective evaluation of the user is input from the standard input unit 16 as in step S10. By doing so, it can be obtained.
[0043]
The biological information of the user can be acquired by the biological information measuring unit 18 as in step S10. It is preferable that biometric information of the user being processed in step S20 is accumulated for an evaluation parameter that needs to be temporally accumulated, such as the amount of movement of the line of sight, and the accumulated value is acquired as an evaluation parameter after the processing. . It is preferable that the degree of pupil opening, brain waves, perspiration, and the like are acquired as evaluation parameters immediately after the processing in step S20 ends. The user's subjective evaluation and biometric information are acquired as evaluation parameters, each of which is numerical data, as illustrated in FIGS. 6 and 7.
[0044]
Further, the user's operation history can be acquired by accumulating the operation of the user during the information processing in step S20. The operation history may be temporarily stored in the standard input unit 16 or may be stored and held in the storage unit 12 each time an operation is performed.
[0045]
In step S40, a change in an evaluation parameter of the information processing system before and after information processing is obtained. Specifically, the difference between the numerical data of the evaluation parameters before and after the processing stored in the storage unit 12 is calculated. 8 and 9 show the results of calculating the difference between the subjective evaluation of the user before and after the information processing and the evaluation parameters for the biological information.
[0046]
Further, based on the change of these evaluation parameters, the evaluation of the usability of the information processing system is obtained. In the present embodiment, as an example, usability is assumed to be three kinds of elements of effectiveness (efficiency), efficiency (efficiency), and satisfaction (satisfaction). However, it is not limited to these.
[0047]
For example, when the user is satisfied with the information processing system, the evaluation parameters such as visibility, operability, and overall impression in the subjective evaluation are higher after the information processing than before the information processing, and are higher in the biological information of the user. It is considered that the degree of pupil opening, brain waves (α waves), and the like are higher after information processing than before information processing. Therefore, an evaluation of the degree of satisfaction of the information processing system can be obtained from changes in these evaluation parameters before and after the information processing.
[0048]
More specifically, the usability F of the information processing system can be obtained as in Expression (1) using the change ΔA of the evaluation parameter A and the change ΔB of the evaluation parameter B.
[0049]
(Equation 1)
F = f (ΔA, ΔB) (1)
ΔA = Evaluation parameter A after information processing−Evaluation parameter A after information processing
ΔB = Evaluation parameter B after information processing−Evaluation parameter B after information processing
Equation (1) is for obtaining usability based on the amount of temporal change in two types of evaluation parameters. However, usability may be obtained using more types of changes in evaluation parameters. FIG. 10 shows an example of correspondence between usability of an information processing system and evaluation parameters used for obtaining the usability.
[0050]
Further, it is preferable that the usability of the information processing system is corrected based on the operation history of the user during the information processing. For example, when the number of mouse clicks during information processing is large, the efficiency of the information processing system is considered to be poor, and it is preferable to make corrections so that the usability value of the efficiency is reduced. The evaluation parameter difference and the evaluation result are output to the output unit 14.
[0051]
In step S50, the evaluation result is output. Specifically, upon receiving the processing result from the control unit 10, the output unit 14 displays the difference between the evaluation parameters and the usability in a manner that can be confirmed by the user. FIG. 11 shows a display example of the processing result.
[0052]
As described above, according to the present embodiment, it is possible to evaluate an information processing system based on changes in evaluation parameters before and after information processing in the information processing system. As a result, it is possible to present a system evaluation closer to the user's feeling in consideration of a time gap of the user evaluation that is impossible in the related art.
[0053]
In the present embodiment, the information processing system is evaluated based on the change in the evaluation parameter before and after the information processing. It is also possible to do. For example, when documents are repeatedly created by the same word processor, evaluation parameters can be acquired after each document is created, and the system can be evaluated based on changes in the evaluation parameters. That is, it is possible to clearly show the difference between the evaluation by a user who is not used to the information processing system and the evaluation by a user who is used to the information processing system.
[0054]
In addition, when processing and design of the information processing system are improved, obtaining evaluation parameters from a user who uses the information processing system before and after the improvement and evaluating the system based on a change amount between the evaluation parameters. You can also. That is, it is possible to clearly present the difference in evaluation by the user before and after the improvement of the information processing system, and to know the effect of the improvement on the information processing system.
[0055]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, the evaluation regarding the usability of an information processing system can be presented based on the amount of change of the evaluation parameter obtained from the user who uses the information processing system to be evaluated. As a result, it is possible to present a gap between the evaluations before and after using the information processing system, an evaluation on the user's familiarity, and an evaluation on a change in the system design.
[Brief description of the drawings]
FIG. 1 is a block diagram of a configuration of an information processing system evaluation device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a flowchart of an information processing system evaluation method according to the embodiment of the present invention.
FIG. 3 is an example of a questionnaire format used for inputting a subjective evaluation according to the embodiment of the present invention.
FIG. 4 shows an example of a subjective evaluation parameter of a user before information processing.
FIG. 5 shows an example of evaluation parameters of biological information of a user before information processing.
FIG. 6 shows an example of a subjective evaluation parameter of a user after information processing.
FIG. 7 shows an example of evaluation parameters of biological information of a user after information processing.
FIG. 8 shows an example of a change in a subjective evaluation parameter before and after information processing.
FIG. 9 shows an example of changes in evaluation parameters of biological information before and after information processing.
FIG. 10 illustrates an example of correspondence between usability of an information processing system and changes in each evaluation parameter.
FIG. 11 shows a display example of an evaluation result of the information processing system according to the embodiment of the present invention.
[Explanation of symbols]
10 control unit, 12 storage unit, 14 output unit, 16 standard input unit, 18 biological information measurement unit, 20 bus, 22 interface unit, 24 network.

Claims (5)

情報処理システムの使用性の評価に関する情報を提示する情報処理システム評価方法であって、
評価対象となる情報処理システムを操作するユーザから評価パラメータを取得する工程であって、異なる時刻において第1の評価パラメータと第2の評価パラメータとを取得する工程と、
前記第1の評価パラメータと前記第2の評価パラメータとの変化量に基づいて、使用性を示す情報を求める工程と、
前記使用性を示す情報を、前記評価対象となった情報処理システムに対する使用性に関する情報として表示する工程と、
を含む処理を行うことを特徴とする情報処理システム評価方法。
An information processing system evaluation method for presenting information on evaluation of usability of an information processing system,
Obtaining an evaluation parameter from a user operating an information processing system to be evaluated, wherein obtaining a first evaluation parameter and a second evaluation parameter at different times;
Obtaining information indicating usability based on the amount of change between the first evaluation parameter and the second evaluation parameter;
Displaying the information indicating the usability as information related to the usability for the information processing system that has been evaluated; and
An information processing system evaluation method characterized by performing processing including:
情報処理システムの使用性の評価に関する情報を提示する情報処理システム評価方法であって、
評価対象となる情報処理システムを操作するユーザから評価パラメータを取得する工程であって、前記評価対象となる情報処理システムの操作前に第1の評価パラメータを取得し、前記評価対象となる情報処理システムの操作後に第2の評価パラメータを取得する工程と、
前記第1の評価パラメータと前記第2の評価パラメータとの変化量に基づいて、使用性を示す情報を求める工程と、
前記使用性を示す情報を、前記評価対象となった情報処理システムに対する使用性に関する情報として表示する工程と、
を含む処理を行うことを特徴とする情報処理システム評価方法。
An information processing system evaluation method for presenting information on evaluation of usability of an information processing system,
Acquiring an evaluation parameter from a user who operates an information processing system to be evaluated; acquiring a first evaluation parameter before operating the information processing system to be evaluated; Obtaining a second evaluation parameter after operating the system;
Obtaining information indicating usability based on the amount of change between the first evaluation parameter and the second evaluation parameter;
Displaying the information indicating the usability as information related to the usability for the information processing system that has been evaluated; and
An information processing system evaluation method characterized by performing processing including:
請求項1又は2に記載の情報処理システム評価方法において、前記評価パラメータは、ユーザの主観的評価、ユーザの生体情報又はユーザの操作履歴の少なくとも1つであることを特徴とする情報処理システム評価方法。3. The information processing system evaluation method according to claim 1, wherein the evaluation parameter is at least one of a subjective evaluation of the user, biological information of the user, or an operation history of the user. 4. Method. 情報処理システムの使用性の評価に関する情報を提示する情報処理システム評価装置であって、
評価対象となる情報処理システムを操作するユーザから評価パラメータを取得する手段であって、異なる時刻において第1の評価パラメータと第2の評価パラメータとを取得する手段と、
前記第1の評価パラメータと前記第2の評価パラメータとの変化量に基づいて、前記使用性を示す情報を求める手段と、
使用性を示す情報を、前記評価対象となった情報処理システムに対する使用性に関する情報として表示する手段と、
を含むことを特徴とする情報処理システム評価装置。
An information processing system evaluation device for presenting information on evaluation of usability of an information processing system,
Means for acquiring an evaluation parameter from a user operating an information processing system to be evaluated, wherein the means acquires a first evaluation parameter and a second evaluation parameter at different times;
Means for obtaining information indicating the usability based on the amount of change between the first evaluation parameter and the second evaluation parameter;
Means for displaying information indicating usability as information on usability for the information processing system that has been evaluated;
An information processing system evaluation device, comprising:
情報処理システムの使用性の評価に関する情報を提示する情報処理システム評価プログラムであって、
コンピュータに、
評価対象となる情報処理システムを操作するユーザから評価パラメータを取得する工程であって、異なる時刻において第1の評価パラメータと第2の評価パラメータとを取得する工程と、
前記第1の評価パラメータと前記第2の評価パラメータとの変化量に基づいて、使用性を示す情報を求める工程と、
前記使用性を示す情報を、前記評価対象となった情報処理システムに対する使用性に関する情報として表示する工程と、
を含む処理を実行させることを特徴とする情報処理システム評価プログラム。
An information processing system evaluation program for presenting information on evaluation of usability of an information processing system,
On the computer,
Obtaining an evaluation parameter from a user operating an information processing system to be evaluated, wherein obtaining a first evaluation parameter and a second evaluation parameter at different times;
Obtaining information indicating usability based on the amount of change between the first evaluation parameter and the second evaluation parameter;
Displaying the information indicating the usability as information related to the usability for the information processing system that has been evaluated; and
An information processing system evaluation program for executing a process including:
JP2002179159A 2002-06-19 2002-06-19 Information processing system evaluation device, evaluation method and evaluation program Pending JP2004021863A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002179159A JP2004021863A (en) 2002-06-19 2002-06-19 Information processing system evaluation device, evaluation method and evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002179159A JP2004021863A (en) 2002-06-19 2002-06-19 Information processing system evaluation device, evaluation method and evaluation program

Publications (1)

Publication Number Publication Date
JP2004021863A true JP2004021863A (en) 2004-01-22

Family

ID=31176661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002179159A Pending JP2004021863A (en) 2002-06-19 2002-06-19 Information processing system evaluation device, evaluation method and evaluation program

Country Status (1)

Country Link
JP (1) JP2004021863A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7246041B2 (en) 2004-07-05 2007-07-17 International Business Machines Corporation Computer evaluation of contents of interest

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7246041B2 (en) 2004-07-05 2007-07-17 International Business Machines Corporation Computer evaluation of contents of interest

Similar Documents

Publication Publication Date Title
Heinbokel et al. Don't underestimate the problems of user centredness in software development projectsthere are many!
JP5493785B2 (en) Mood change support device, mood change support method and program
JP4859881B2 (en) Advertisement delivery apparatus, method and system
Thomas et al. Measuring engagement with online forms
JP4029654B2 (en) Answer system, answer device, answer method and answer program
JP5108296B2 (en) Knowledge search device, point update method, and point update program
JP2004021863A (en) Information processing system evaluation device, evaluation method and evaluation program
CN115686199B (en) Group eye movement track generation method and device, computing equipment and storage medium
JP2004102564A (en) Usability evaluation supporting device
Alzahrani et al. A design study to improve user experience of a procedure booking software in healthcare
JP6983731B2 (en) Information processing program, information processing method, terminal device and analysis device
JP7178146B1 (en) Treatment planning system and treatment planning method
US20100010825A1 (en) Multicultural and multimedia data collection and documentation computer system, apparatus and method
Huang et al. Evaluating usability of web-based electronic government: users’ perspective
JP2004102868A (en) Usability evaluation support apparatus
WO2018106552A1 (en) Stress feedback for presentations
US7596750B2 (en) Data processing method, program, and information processor
JP2004021864A (en) Device, method and program for extracting problem of information processing system
JP2006313483A (en) Content evaluation method
JP2004535002A (en) How to dynamically include diagnostic findings in a report summary
JP2017162386A (en) Display control program, display control method, and display control device
JP6403472B2 (en) DATA GENERATION DEVICE, DATA GENERATION METHOD, PROGRAM, AND RECORDING MEDIUM
JP7538970B2 (en) Advertising effectiveness prediction device
Jannin Towards responsible research in digital technology for health care
WO2019012665A1 (en) Information processing device, information processing method, and information processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050422

A977 Report on retrieval

Effective date: 20071003

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Effective date: 20071016

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080603