JP2005216311A - ユーザビリティ評価支援装置 - Google Patents

ユーザビリティ評価支援装置 Download PDF

Info

Publication number
JP2005216311A
JP2005216311A JP2005021130A JP2005021130A JP2005216311A JP 2005216311 A JP2005216311 A JP 2005216311A JP 2005021130 A JP2005021130 A JP 2005021130A JP 2005021130 A JP2005021130 A JP 2005021130A JP 2005216311 A JP2005216311 A JP 2005216311A
Authority
JP
Japan
Prior art keywords
subtask
index
task
tasks
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005021130A
Other languages
English (en)
Inventor
Tsutomu Oyama
努 大山
Toru Tanaka
徹 田中
Yoshitsugu Hirose
吉嗣 広瀬
Hisae Mihira
寿江 三平
Kazuo Shibuta
一夫 澁田
Katsura Sakai
桂 酒井
Hideto Yuzawa
秀人 湯澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2005021130A priority Critical patent/JP2005216311A/ja
Publication of JP2005216311A publication Critical patent/JP2005216311A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】ユーザビリティの改善予想を容易に行うことを可能とする。
【解決手段】タスク実行中に情報を取得し、複数のタスクをそれぞれサブタスクに分け、取得した情報に基づいてサブタスク毎のユーザビリティに関する指標を算出し、サブタスクの少なくとも1つについて、そのサブタスクの指標の値が複数のタスクにおけるそのサブタスクに対応するサブタスクに対する指標から算出される所定の統計値に対して所定の条件を満たす場合に、そのサブタスクの指標の値を統計値に置き換えてそのサブタスクを含むタスク全体の指標の改善予測を求めるユーザビリティ評価装置により上記課題を解決することができる。
【選択図】図1

Description

本発明は、グラフィカル・ユーザ・インタフェース(GUI)を備えた機器など、利用者の操作を受け入れて、当該操作の内容に応じて、少なくとも視覚的に情報を提示する機器について、その操作と関係するユーザビリティの評価を支援する装置に関する。
近年、利用者の操作との関係において視覚的情報を提示し、それによって機器の状態を示したり、所定の演算結果を提示するなど、種々の情報を利用者に提供する機器が数多く用いられるようになってきている。例えば企業内では、複写機やコンピュータ機器、空調機器などといった機器がある。複写機には、複写枚数や種々の複写機能(両面複写や縮小拡大など)といった設定を行うためのパネルがあって、利用者は提示される視覚的情報を元に機器の操作を行う。なお、ここで提示される視覚的情報は、LCD(液晶ディスプレイ)等に表示される、設定された複写枚数の情報のような動的なものには限られず、印刷された固定的なものも含む。具体的には例えば複写機において複写枚数設定のために設けられているテンキーの各キーに印刷された「1」,「2」…といった数字も、操作との関係において提示される視覚的情報である。
昨今ではこうした機器の高機能化に伴って操作内容はますます複雑になりつつあり、このような機器の使いやすさや、これらの機器を利用することによる有効性、効率性、並びに利用によって利用者に与えられる満足度、といった指標(ユーザビリティ)を評価し、これを改善につなげるという動きが世界的趨勢となってきている。例えばISO9241−11(Ergonomic requirements for office work with visual display terminals(VDTs)-Part 11: Guidance on usability)では、ユーザビリティ(いわば使用性)に関する尺度を有用さ(Effectiveness)、効率(Efficiency)、満足度(Satisfaction)といった観点で評価することが規定され、これらの評価を通してユーザビリティの向上を図ることができるようにしている。
ここでユーザビリティとは、ある製品が、指定された利用者によって指定された利用の状況下で、指定された目的を達成する際の、有効さ、効率、および利用者の満足度の度合いをいい、有効さとは、利用者が指定された目標を達成する上での正確さ、及び完全さをいう。また、効率とは、利用者が目標を達成する上での正確さと完全さとに関連して費やした資源を、満足度は、コンピュータシステムを使う利用者、及びコンピュータシステムの快適さ及び受容性、すなわち不快さのないこと、及び製品使用に対して肯定的態度をいうとされる。
従来、かかる評価を行う方法として、あるタスクを遂行した利用者に対し、後からタスク遂行に関するアンケート(主体的に質問を読解して回答)やインタビュー(質問により回答させる)を行う方法がある。しかし、こうしたアンケート等では、タスク遂行時の特定の事象やタスク終了時における全体的印象を捉えることはできても、どの操作内容にどのような問題点があったのか不明確になり、その改善につなげることが容易ではない。
一方、利用者の操作履歴を記録し、その記録を図式的に表示することで分析を容易にする装置がある(例えば特許文献1)。また、評価対象となったシステムとユーザとの間で交わされた操作履歴を記録・再現し、システムの状態履歴を一覧表示する技術がある(例えば特許文献2)。
さらに別の従来例では、ユーザテストが用いられてきた。ユーザテストでは、利用者に見立てた被験者に実際に機器を操作してもらい、タスク遂行中の被験者の状態を観察者が外見的に観察して、被験者が何を行おうとしているのかを推測し、それによってユーザビリティの低下した個所を観察者が特定する。
例えば被験者が操作用のパネル上で視線を移動させている様子が観察されれば、パネル上で押すべき個所を探していると推定し、それがあまり長い場合、パネルの操作が分かりにくく、効率的でなく、ユーザビリティが低いと判断する。
特開平8−153022号公報 特開2001−51876公報
これら従来のユーザビリティの評価の方法では、評価者が操作履歴の記録やシステムの状態履歴、被験者の状態などを参照して評価を行わざるを得ないため、評価者の恣意的判断が含まれやすく、かつ評価者の知見に依存する判断が現れやすい。
特に評価対象が多い場合など、評価者が複数になるときに、統一的な評価が得られにくく、改善すべき部分が判別しにくい。また、被験者にアンケートやインタビューを行う場合、被験者の意識にある内容しか抽出できないので、被験者が操作終了後の状態を合理的に説明するためのコメントを無意識のうちに編集してしまう恐れが大きい。さらに、このようなユーザビリティの評価方法では、ISO9241−11に準拠したユーザビリティの指標である、有効さ、効率、満足度の各指標が必ずしも得られるわけではない。
さらに、有効さや効率、満足度といった指標を得たとしても、業務の種別ごとに指標の内容や定義が異なるため、評価の統一化を図ることはさらに困難になっている。また、有効さ、効率、満足度は、評価対象それぞれの利用状況において定義できるので、比較評価したい対象の間で同じ定義の有効さ、効率、満足度が得られなければ、定量化して評価する意味が希薄化する。その上、タスク遂行上のどの部分がユーザビリティの低下要因となっているかまでを評価して、当該部分の改善を提案することが求められているのであるから、評価者の負担が多大で、評価者に対する十分な訓練も必要である。
その上、タスク遂行上のどの部分がユーザビリティの低下要因となっているかまでを評価することが望まれる場合があるが、この要望に応えることはさらに困難である。
本発明は上記実情に鑑みて為されたもので、簡便かつ効率的に、またISOの評価尺度に適合した態様で、業務ごとの事情を加味しつつ、評価結果を要因分析によりサブタスクに分割することで、ユーザビリティの低下を引き起こしている箇所を発見できるよう、ユーザビリティの評価を支援する装置を提供することを、目的の一つとする。
本発明は、複数のタスクに対するユーザビリティの評価を支援する装置であって、タスク実行中の被験者による操作履歴情報を取得する操作履歴取得手段と、前記複数のタスクをそれぞれサブタスクに分け、前記操作履歴情報に基づいて前記サブタスク毎の有効性指標を算出する指標評価手段と、前記サブタスクの少なくとも1つについて、当該サブタスクの有効性指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの有効性指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの有効性指標の値を前記有効性指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の有効性指標の改善予測を求める改善予測手段と、を備えることを特徴とするユーザビリティ評価装置である。
また、本発明は、複数のタスクに対するユーザビリティの評価を支援する装置であって、タスク実行中の被験者による操作履歴情報を取得する操作履歴取得手段と、前記複数のタスクをそれぞれサブタスクに分け、前記操作履歴情報に基づいて前記サブタスク毎の効率性指標を算出する指標評価手段と、前記サブタスクの少なくとも1つについて、当該サブタスクの効率性指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの効率性指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの効率性指標の値を前記効率性指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の効率性指標の改善予測を求める改善予測手段と、を備えることを特徴とするユーザビリティ評価装置である。
また、本発明は、複数のタスクに対するユーザビリティの評価を支援する装置であって、タスク実行中の被験者の生体情報を取得する生体情報取得手段と、前記複数のタスクをそれぞれサブタスクに分け、前記生体情報に基づいて前記サブタスク毎の効率性指標を算出する指標評価手段と、前記サブタスクの少なくとも1つについて、当該サブタスクの効率性指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの効率性指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの効率性指標の値を前記効率性指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の効率性指標の改善予測を求める改善予測手段と、を備えることを特徴とするユーザビリティ評価装置である。
また、本発明は、複数のタスクに対するユーザビリティの評価を支援する装置であって、タスク実行中の被験者の生体情報を取得する生体情報取得手段と、前記複数のタスクをそれぞれサブタスクに分け、前記生体情報に基づいて前記サブタスク毎の満足度指標を算出する指標評価手段と、前記サブタスクの少なくとも1つについて、当該サブタスクの満足度指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの満足度指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの満足度指標の値を前記満足度指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の満足度指標の改善予測を求める改善予測手段と、を備えることを特徴とするユーザビリティ評価装置である。
また、本発明は、複数のタスクに対するユーザビリティの評価を支援する装置であって、タスク実行中の被験者の主観的評価情報を取得する主観情報取得手段と、前記複数のタスクをそれぞれサブタスクに分け、前記主観的情報に基づいて前記サブタスク毎の満足度指標を算出する指標評価手段と、前記サブタスクの少なくとも1つについて、当該サブタスクの満足度指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの満足度指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの満足度指標の値を前記満足度指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の満足度指標の改善予測を求める改善予測手段と、を備えることを特徴とするユーザビリティ評価装置である。主観的情報は、タスクの遂行に関する利用者の満足度評価をアンケートにより取得したものとすることができる。
ここで、前記統計値は、中央値又は中間値又は平均値であることが好適である。
また、与えられるタスクは、多くのサブタスクからなるのが普通であることに配慮している。例えばインターネット上のWebページで航空券を予約する、といったタスクの場合、(1)インターネットへの接続環境を用意する(ブラウザを起動する、など)、(2)所望の航空券の予約可能性(空席状況など)を調査する、(3)予約の手続を行う、といった部分的タスク(サブタスク)が含まれている。上記本発明の態様によれば、このような場合にもサブタスクごとの評価が行われるため、サブタスク単位でのユーザビリティの低下要因の特定が容易になる。
上記本発明におけるユーザビリティ評価装置は、コンピュータを上記発明の各手段として機能させるユーザビリティ評価プログラムによって実現することができる。
本発明により、異なるシステムにおいて処理されるウェブ等のタスクに含まれるサブタスク同士のユーザビリティを比較検討すると共に、ユーザビリティの改善予想を容易に行うことができる。
本発明の実施の形態について図面を参照しながら説明する。本実施の形態に係るユーザビリティ評価支援装置1は、図1に示すように、制御部11と、記憶部12と、表示部13と、操作部14と、ネットワークインタフェース15とを含んで構成される、一般的なコンピュータである。また、このユーザビリティ評価支援装置1は、利用者の生体情報を検出する生体情報検出装置2と、操作履歴情報検出装置3と、利用者により利用される、表示装置を備えた機器4とにそれぞれ接続されている。この機器4は、制御部41と、記憶部42と、表示部43と、操作部44と、ネットワークインタフェース45とを含んで構成されている。
ユーザビリティ評価支援装置1の制御部11は、記憶部12に格納されているプログラムに従って動作し、ユーザビリティの評価支援処理を実行する。このユーザビリティの評価支援処理については、後に詳しく述べる。
記憶部12は、コンピュータ可読な記録媒体であるハードディスクやCD−ROM等や、RAM(Random Access Memory)、ROM(Read Only Memory)といった記憶素子を含み、コンピュータ可読な記録媒体には制御部11によって処理されるべきプログラムが格納されている。また、この記憶部12は、制御部11のワークメモリとしても動作する。
表示部13は、ディスプレイ等であり、制御部11から入力される指示に従って情報を表示する。操作部14は、キーボードやマウス(ポインティングデバイス)等であり、利用者の操作の内容を制御部11に出力する。ネットワークインタフェース15は、ネットワークに接続されており、制御部11から入力される指示に従って、データをネットワークを介して送信する。また、このネットワークインタフェース15は、ネットワークを介して到来するデータを受信して、制御部11に出力する。
生体情報検出装置2は、利用者の生体の状態に関する情報を取得して、当該情報を生体情報として制御部11に出力する。ここで取得される生体の状態とは、例えば利用者の視線の方向や移動距離、移動の早さ、滞留時間、注視した順番、さらには瞳孔の大きさ、発汗量、脈拍数、心拍数、脳波等がある。以下の説明では、生体情報検出装置2は、一例として利用者の視線方向を検出する装置であるとし、例えば利用者の頭部又はその近傍に装着し、利用者の目の部分を撮像して、当該撮像された影像から視線の方向を検出するといった、広く知られた装置であるとする。
操作履歴情報検出装置3は、機器4の操作部44に接続されており、機器4の操作部44において利用者が行った操作の内容を操作履歴のデータとして記録し、指示により、当該記録したデータをユーザビリティ評価支援装置1に出力する。
機器4の制御部41は、記憶部42に格納されているプログラムに従って動作し、操作部44から入力される利用者の指示に従って所定の処理を実行して、当該処理との関係において利用者に提示すべき情報を表示部43に表示する、といった処理を実行する。記憶部42は、コンピュータ可読な記録媒体であるハードディスクやCD−ROM等や、RAM、ROMといった記憶素子を含み、コンピュータ可読な記録媒体には制御部41によって処理されるべきプログラムが格納されている。また、この記憶部42は、制御部41のワークメモリとしても動作する。
表示部43は、ディスプレイ等であり、制御部41から入力される指示に従って情報を表示する。操作部44は、キーボードやマウス(ポインティングデバイス)等であり、評価者の操作の内容を制御部41に出力する。また、この操作部44は、操作履歴情報検出装置3に接続されており、その操作の内容を操作履歴情報検出装置3に出力している。ネットワークインタフェース45は、ネットワークに接続されており、制御部41から入力される指示に従って、データをネットワークを介して送信する。また、このネットワークインタフェース45は、ネットワークを介して到来するデータを受信して、制御部41に出力する。
この機器4は、利用者が所与のタスクを実行するために用いる、対話型(ユーザ操作に応答し、ユーザに対して表示を行う)端末である。つまり、利用者は操作部44を用いた操作によりネットワーク上のWebサイトを利用してオンラインショッピングを行ったり、表計算アプリケーションを利用してグラフを描画させて表示部43に表示させるといったタスクを行う。
[ユーザビリティの評価支援処理]
ここで、制御部11のユーザビリティの評価支援処理について説明する。本実施の形態においては、ユーザビリティの評価は利用者の操作内容の記録と、利用者の生体情報の記録と、利用者に対するアンケート調査とを利用して行われる。具体的に記憶部12に格納されているユーザビリティの評価処理のためのプログラムは、図2に示すように、操作履歴記録部21と、生体情報記録部22と、アンケート処理部23と、イベント記録部24と、統計処理部25と、統計ルール設定部26とを含んで構成されている。
操作履歴記録部21は、操作部44における操作に関連して操作履歴情報検出装置3に記録された操作履歴のデータを取得して記憶部12に逐次的に格納する。これらのデータとしては、マウスに連動して表示部43上に表示されていたポインタ(例えば矢印)の移動位置の座標情報や、クリックの回数、キーボードのタイプの回数等である。これら操作履歴のデータを総合したものをここでは「操作履歴情報」と呼ぶ。
生体情報記録部22は、生体情報検出装置2から入力される視線方向のデータに基づいて、利用者がタスクの遂行中に表示部43上のどの位置を見ているか(視点はどの位置か)を表すデータを逐次、記憶部12に格納している。ここで格納される視点の位置のデータは、例えば表示部43上の座標情報として記録される。
アンケート処理部23は、例えば図3に示すように、態度の認知的傾向としての「良い−悪い」や、行動的傾向としての「使いたい−使いたくない」、感情的傾向としての「好き−嫌い」といったイメージを段階評価によって利用者に採点させ、その採点結果の入力を操作部14を介して受けて、当該採点結果を満足度データとして記憶部12に格納する。また、このアンケート処理部23は、生体情報検出装置2から瞳孔径の時間変化を調べ、標準時の瞳孔径(タスクを遂行する環境と同じ程度の明るさのものを参照している場合の径)に対する比として瞳孔径の大きさを満足度データとして記憶部12に格納するのも好ましい。一般に人間は快いと感じると瞳孔径が大きくなり、不快であると感じると瞳孔径が小さくなる傾向にあるので、この比較の結果により利用者がタスク遂行中に快いと感じているか否かを測定できるのである。このように、利用者の満足度は、アンケートやインタビューだけでなく、タスク遂行中の利用者から得られる生体情報を用いて推定できる。これら少なくとも一つの満足度データを含んでなる満足度情報は、後に統計的に処理されて、利用者の満足度の指標の演算に用いられる。具体的に、「好き−嫌い」等のイメージの段階評価はいわゆるSD法(Semantic Differential 法)の考え方で処理される。
イベント記録部24は、制御部11が利用者のタスク遂行に関連して行った処理、例えば表示部13へのヘルプ情報の表示や、どのWebページを表示するかを表すURL(Uniform Resource Locator)情報、画面の移動があったことを表す情報、エラー発生に伴って取得される情報、さらには利用者によりタスク(又はその一部)が達成されたか否か等のイベント情報(表示や発生の回数や処理にかかった時間等)を記憶部12に格納する。
なお、ここで述べたような利用者によりタスク(又はその一部)が達成されたか否か等の情報は、予め達成条件として設定されたイベント情報が得られた場合等に「達成された」として判断することもできる。例えばタスクの内容がWebサイトを利用してオンラインショッピングをするというものであったとき、オンラインショッピングを完了したときに提示されるオンラインショッピング完了確認画面のURLへアクセスがあったときに(当該URLのWebページが開かれたときに)、当該タスクが達成されたと判断する。同様に、オンラインショッピングのタスクの一部である、支払先を入力する、というような場合は、その確認画面のWebページが開かれたときに、当該一部が達成されたと判断できる。また、このオンラインショッピングの例のように、複数のWebページ間を次々遷移しながら遂行するタスクについては、最終的に辿りつくべき遷移先ページや遷移先コンテンツ、遷移先としてクリックされたリンク、遷移すべき複数のページ群のURL、遷移すべき複数のページ群のURLの順番、タスク遂行の途中又はページ遷移の最終段階における入力情報などといった情報を条件として達成条件を定めることができる。同様に、利用者にキーボードなどを通じて情報を入力される場合、入力させた情報と入力させるべき正しい情報とを比較することで正誤率が算出されるので、これを有効さの指標としてもよい。
統計処理部25は、記憶部12に格納されている操作履歴情報に含まれる少なくとも一つの操作履歴のデータ、生体情報に含まれる少なくとも一つのデータ、満足度情報に含まれる少なくとも一つの満足度のデータ、イベントの記録、のうち、少なくとも一つを用いて、統計ルール設定部26によって設定された指標演算用の統計ルールに従って、有効さ、効率、満足度の各指標の少なくとも一つを生成する。また、統計処理部25は、統計ルール設定部26によって設定された評価結果用の統計ルールに従って、生成した指標に対する統計処理を行い、生成した指標に対応する有効さ、効率、満足度の各評価結果を演算して出力する。具体的に、この統計処理部25にて生成される指標は、次の表1に示すように、有効さの指標と、効率の指標と、満足度の指標であって、有効さについては利用者が所与の目標を達成する上での正確さ若しくは完全さを表す指標が、効率については、利用者が目標を達成する際に、正確さや完全さに関係して費やした資源の量に関する指標が、満足度については、利用者の満足度に関する指標がそれぞれ生成されて利用される。なお、指標は、例えば数値や文字列で表現される。
Figure 2005216311
また、この統計処理部25が利用する統計ルールには、上述のように指標演算用の統計ルール(第1ルール)と、評価結果用の統計ルール(第2ルール)とがある。第1ルールは、記憶部12に格納されている操作履歴情報に含まれるデータ、生体情報に含まれるデータ、満足度情報に含まれるデータの各々を、各指標の演算にどの程度寄与させるかを表すものである。例えば有効さの指標に関する各データの値Ei(i=1,2,…)に対応する重みwiのセットを第1ルールとして用い、統計処理部25は、有効さの指標Veffを例えば、
[数1]
Veff=Σwi・Ei
のように演算する。また、効率性、満足度の指標についても同様の処理によって演算をする。なお、Σwi=1となるよう正規化しておいてもよい。
さらに、この統計処理部25が利用する第2ルールは、生成された有効さ、効率、満足度の指標の少なくとも一つを、各指標に対応する評価結果にどの程度寄与させるかを表すものである。例えば、有効さの評価結果に関する各指標Ni(i=1,2,…)に対応する重みviのセットを第2ルールとして設定し、統計処理部25は、例えば有効さの評価結果Seffを、
[数2]
Seff=Σvi・Ni
のように演算する。また、効率、満足度の指標に対応する評価結果についても同様の処理によって演算する。この場合も、Σvi=1となるよう各viを正規化しておいてもよい。
統計ルール設定部26は、操作部14から入力される指示に従ってこれらの統計ルールを記憶部12に格納する。このように本実施の形態においては、統計の処理内容を変更可能としたことで、当該機器を設置した場所で行われる業務ごとの事情に応じた評価が可能となる。例えば効率を経済性により測定したい場合には、タスクに要した時間など、コストに関係する記録(データ)に対する重みを大きくし、機器ハードウエアの負荷により測定したい場合には、表示された情報量(テキスト量/ページ構成ピクセル量/色数等)に対する重みを大きくして設定すればよい。
本実施の形態のプログラムは、以上のような機能構成を含んでなり、従って本実施の形態のユーザビリティ評価支援装置は、次のように動作する。利用者(被験者)が機器4において所与のタスクを遂行すると、そのタスクの遂行中に操作部44を介して利用者が行った操作の履歴のデータが操作履歴情報検出装置3に格納される。
ユーザビリティ評価支援装置1の制御部11は、これを取得して記憶部12に格納する。また、制御部11は、タスクの遂行中に生体情報検出装置2によって検出された利用者の生体情報に関係するデータを逐次的に記憶部12に格納していく。また、制御部11は、利用者のタスク遂行に伴って発生するイベントを記憶部12に逐次的に格納する。これらの記録は、それぞれの時間関係の前後が分かるように記録される。つまり、例えば各操作履歴情報や、生体情報、イベント情報に含まれる各データは、それぞれの取得(発生)時間とともに記録するようにすればよい。
また、制御部11は、タスクの遂行が完了した後に、表示部13に図3に示した満足度情報を取得するための表示を行い、利用者からの回答を得て、当該回答の結果を満足度データとして記憶部12に格納する。また、満足度データには、生体情報検出装置2により検出された生体に関係するデータ(例えば瞳孔径)を含んでもよい。
制御部11は、統計処理部25の処理として予め統計ルール設定部26によって設定された統計ルール(第1ルール)に従い、記憶部12に格納した操作履歴情報や、生体情報、イベント情報、並びに満足度情報のそれぞれに含まれるデータのうち、少なくとも一つを利用して有効さ、効率、満足度の各指標を演算し、その結果を記憶部12に格納する。
さらに、制御部11は、各指標に対応する評価結果を統計ルール(第2ルール)に従って演算して記憶部12に格納する。この各指標の演算結果や評価結果は、評価者の指示に従って、表示部13等に提示され、ISOに規定されているユーザビリティの評価に供される。
[記録の分割]
また、統計処理部25は、タスクに含まれるサブタスクごとに記憶部12に格納されている操作履歴情報や生体情報、満足度情報などに含まれるデータ(の記録)を分割し、分割した記録に基づいて各サブタスクごとのユーザビリティの指標(有効さ・効率・満足度)を演算してもよい。
具体的には、図4に示すように、各タスクについて、そのサブタスクの区切りを定義した情報を関連づけてサブタスク情報として記憶部12に格納しておき、統計処理部25は、このサブタスク情報を参照しながら各記録の分割を行う。
そして制御部11は、操作の内容と生態情報とイベント情報とを、それぞれの時間関係の前後が分かるように記録しておき、統計処理部25の処理として、図5に示すような処理を実行し、現在利用者が遂行しているタスクに関連して、記憶部12に格納されているサブタスク情報を参照し、そのサブタスクの区切り定義に従って操作内容、生体情報、満足度情報、イベント情報に含まれるデータの記録をそれぞれ分割する(S1)。そしてi番目(当初i=1とする)のサブタスクにおいて記録されたデータを注目データとして選択し(S2)、注目データを用いて、既に説明したのと同様にユーザビリティの指標(有効さ・効率・満足度)を演算して、記憶部12に格納する(S3)。そして、iをインクリメントし(S4)、i番目のサブタスクがあるかを判断し(S5)、ある場合は、処理S2に戻って処理を続ける。また、処理S5においてi番目のサブタスクがない場合(すべてのサブタスクについての処理を完了した場合)は、処理を終了する。この制御部11の処理により、サブタスクごとのユーザビリティの指標が演算される。
この制御部11の動作を例えば、Webサイトにおいて複数のURLのWebページを順次開きながらタスクを遂行する場合のユーザビリティの評価に用いる場合について説明する。この例の場合、どのURLのWebページを開いているかに応じてサブタスクを定義することができる。つまり、図4に示したようにAからHまでの8枚のWebページを開いてタスクが遂行される場合において、A,BのWebページを開いて操作するサブタスクPと、CからEまでのWebページを開いて操作するサブタスクQと、FからHまでのWebページを開いて操作するサブタスクRとを定義する。
そして制御部11は、実際に利用者が当該タスクを遂行したときの操作内容、生体情報、イベント情報の記録を、WebページCを開いた時点(サブタスクPからQへ移り変わる時点)より前に記録したものと、WebページCを開いた時点より後で、かつWebページFを開いた時点(サブタスクQからRへ移り変わる時点)までに記録したものと、WebページFを開いた時点より後に記録したものとに分割する。この際、制御部11は、タスクの遂行中に累算される測定値については、分割の時点までの値を割り出す。例えば操作時間を記録している場合、サブタスクが移り変わる際のイベント情報等(上述の例ではWebページCを開いたとのイベント情報)の記録時刻を用いて各サブタスクの操作時間を割り出して記録する。
制御部11は、さらに利用者がタスクを遂行した後に利用者に対するアンケートを提示して回答させ、その結果をアンケート情報として記録する。
そしてこのアンケートデータを含んだ満足度情報や、サブタスクごとに分割された操作履歴情報、生体情報、並びにイベント情報等のデータの記録と、を用いてサブタスクごとにユーザビリティの指標を演算する。なお、サブタスクに分割できないようなタスクもあり得るので、そのような場合は、記録の分割を行わないこととする。
[生体情報のさらなる利用]
制御部11は、様々な生体情報を用いて利用者のタスク遂行中の状態(利用者の満足度に呼応する)を推定し、それに対応する評価を生成するようにしてもよい。これらの生体情報を用いた利用者の状態推定は、上述のように記録を分割して各サブタスク毎に評価を生成する場合は、サブタスクごとに、各サブタスク遂行中の状態を推定するようにしてもよい。
具体的に制御部11が、生体情報として記憶部12に格納されている視点情報を利用して利用者の状態を推定する動作について説明する。この場合、評価者は、評価の対象となる表示内容(例えばWebページ)を評価の対象となるタスク(又はサブタスク)で表示されるべき表示内容から選択する。そして、選択した表示内容について、図6に示すようにN×M(N,Mは整数)のマトリクス状の領域に区分する。
そして制御部11は、各領域内に視点があった時間を測定する。これにより、利用者がどの位置をより長い時間見ていたかが測定される。
また制御部11は、領域ごとに、当該領域内に視点が移動してきた回数をカウントする。具体的に制御部11は、ある領域(注目領域)内に視点が移動してきたとき、制御部11は、当該注目領域に視点が移動してきた回数を「1」とカウントし、次に利用者が他の領域に視点を移し、再度、この注目領域に視点を移動したときにカウント値をインクリメントして「2」とする。その後、利用者が他の領域に視点を移してから再度、注目領域に視点を移してくる度にカウント値をインクリメントしていく。同様に、制御部11は、利用者の視点が一度でも入った領域の総数をカウントする。これにより、表示部13に表示された内容のどの部分に利用者の視点が多く集まっていたかが測定される。
さらに制御部11は、視点の移動の時系列的変化を参照して、利用者が各領域上を、どのような順序で視点移動したかを表す情報を生成する。
これらの処理によって制御部11は、各領域について、それぞれを利用者が見た時間・回数・順序に関する情報を生成する。なお、評価者は、これらの情報を測定の対象となった表示内容(Webページ等)とともに表示部13に表示させるようにしてもよい。例えば、視点移動の順序を表す情報は、図7に示すような態様で表示される。ここで時間・回数・順序のそれぞれに関する情報は、いずれか一つを選択的に表示するようにし、重ね合わせて表示しないように制御することで、評価用画面としての視認性が高まる。
制御部11は、各領域の領域ごとに測定し、生成された、それぞれの領域を利用者が見た時間・回数・順序に関する情報を分析し、各領域ごとに、予め定めた時間より、利用者が長く見ているか否か(閲覧時間に関する条件)、予め定めた回数より利用者が多く見たか否か(閲覧回数に関する条件)、領域間の視点移動を予め定めた時間より短時間(当該時間より早く)に行った否か(閲覧順序に関する条件)、視点が一度でも入った領域の総数は予め定めたしきい値より多いか(閲覧領域数に関する条件)の4つの条件を判断し、これらの条件に基づいて利用者の状態を推定する情報と、評価に関する文字列情報とを生成する。具体的に各条件と、利用者の状態の推定・評価の情報は、次の[表2]に示すようなテーブルとして関連づけられて、予め記憶部12に設定されている。
Figure 2005216311
すなわち、例えば閲覧時間が長く、閲覧回数が多く、閲覧順序が早く、閲覧領域数が多い場合、利用者は、どのような操作をすべきかを「決めかねている」と判断でき、その表示内容は、「表現が悪いなど、決断できない」と文字情報で評価できる。
なお、ここでは生体情報だけを用いて利用者の状態を推定し、表示部43に表示された内容に関する評価を行っている例を示したが、利用者の操作内容と視点情報との関係に応じて定められる特徴量を演算し、この特徴量を用いて、利用者の状態を推定するようにしてもよい。例えば視点の移動を表すベクトルと、操作内容としてのポインティングデバイスの移動を表すベクトルとを用い、各ベクトルの大きさと、各ベクトル間のなす角θ、各ベクトルの大きさの比rとを特徴量として演算し、次のように利用者の状態を推定することができる。すなわち、
(1)視点もポインタも所定の大きさより大きくなければ(あまり移動していなければ)、表示部43上の一点を注意深く見ていると推定して、「凝視」の状態にあると判断する。
(2)視点の移動はあまりないが、ポインタは移動しているときには、ブラウザに表示されているWebページ内のコンテンツの閲覧を完了し、表示されていないコンテンツを見ようとしてリンクをクリックするための操作等を行っていると推定して「ページ内操作」の状態にあると判断する。
(3)視点の移動はあるが、ポインタはあまり移動していないというときには、次に見るべきものを表示部43内で探索しているものと推定して、「検索」の状態にあると判断する。
(4)視点の移動もポインタの移動もあるときであって、θが所定のしきい値より大きいときにはポインタ操作と視点移動との方向性がそろっていないことを示すので、次のWebページに移ろうとしている(ポインタはリンクをクリックするために移動するのに対して、視点はページ先頭部分へ移動するため、一般に互いに異なる方向に移動する)と推定して「移動操作」の状態にあると判断する。
(5)視点もポインタも移動していない場合であって、θが所定のしきい値より小さく、また移動量の比rが大きいときには、視点の位置に示された座標と、ポインタの座標とが互いに異なっていた状態から一点をポイントするために視点とポインタ位置とが集中してきた状態にあるとして、ブラウザの「戻る」ボタン等をクリックしようとしていると推定し、「ブラウザ操作」の状態にあると判断する。
(6)視点もポインタも移動していない場合であって、θが所定のしきい値より小さく、また移動量の比rが小さいときには、ポインタを移動させながら、その位置を視点で追っているものと推定して「熟読」(読みにくいコンテンツを読んでいる)と判断する。
[視点情報以外の生体情報]
既に述べたように、視点情報以外の情報を用いる場合、例えば脳波に基づいて、予め測定した利用者の標準時のα波出力量とタスク遂行中の利用者のα波出力量の比に基づいて、利用者が快いと感じているか否かを測定することができる。また、感性スペクトラム分析法(ESAM:株式会社脳機能研究所の方法)を用いることによっても、その分析結果に対する判断条件を設定して利用者の状況を推定し、当該状態に対応する評価を得ることができる。また、既に述べたように瞳孔の大きさを用いて満足度データを得ることができる。さらに、これらの評価に基づく評価を文字列情報として生成することも好ましい。
瞳孔の大きさを用いる場合も同様に、利用者の標準時の瞳孔の径(タスクを遂行する環境と同じ程度の明るさのものを参照している場合の径)と、タスク遂行中の利用者の瞳孔の径とを比較する。一般に人間は快いと感じると瞳孔径が大きくなり、不快であると感じると瞳孔径が小さくなる傾向にあるので、この比較の結果により利用者がタスク遂行中に快いと感じているか否かを測定できる。
このように、利用者の主観的満足度は、アンケートだけでなく、タスク遂行中の利用者から得られる生体情報を用いて推定できる。また、上述したように、それに基づく評価を文字列情報として生成することも好ましい。
[評価支援情報の提示]
ここまでの説明においても述べてきたことであるが、本実施の形態のユーザビリティ評価支援装置1では、ユーザビリティをISO等の定めに沿って、有効さ・効率・満足度という指標を演算する。また、本実施の形態のある態様では、ユーザビリティ評価の対象となるタスクの遂行において、そのタスクを細分化して、タスクに含まれるサブタスクごとに、有効さ・効率・満足度という指標を演算する。
さらに、これらの指標を演算するにあたり、利用者がタスク遂行のために行った操作の内容、タスク遂行中の利用者の生体に関する情報、利用者から得られたアンケートの回答、並びにタスク遂行時に利用される機器4が生成するイベント情報等の「測定値」が利用される。
通常、評価者は有効さ・効率・満足度の各指標を参考にして、あるいは当該指標をそのまま用いて、ユーザビリティの評価結果を決定する。しかし、ある場面においては、測定値(記録したデータ)を直接参照したほうがユーザビリティの評価や改善の提案に役立つ場合もある。そこで制御部11は、指示に応じて記憶部12に格納されているデータに対する統計演算を行い、当該統計演算結果を表示部13に表示する処理を行う。
具体的にあるWebサイトのユーザビリティを評価する場合、なるべく複数の利用者を被験者とし、当該Webサイトで提供されている各種のサービスを享受することをそれぞれタスクとして設定し、被験者に実際に各タスクを遂行させる。ここで例えば、ある企業のWebサイトにおいて、ツール「zzzz」がダウンロードできるようになっている場合であって、まず、そのホームページである「http://www.xxxx.yyyy/」を開き、このホームページから製品情報一覧を掲示したWebページ「http://www.xxxx.yyyy/products.html」を開き、さらにここからツール「zzzz」をダウンロードさせるWebページ「http://www.xxxx.yyyy/products/downzzzz.html」を開いてダウンロードを行う、という一連のWebページを用いたタスクがある場合を例として説明する。
評価者は複数の被験者に上記タスクを実行させ、ホームページと、製品情報一覧を掲示したWebページと、製品のダウンロードを行うWebページとのそれぞれでの操作をサブタスクとして設定する。制御部11は、各被験者ごとに、上記タスク遂行中に得られた各測定値のうち、例えば操作内容の情報から、各ページでの操作時間とクリック回数とを取り出し、これらについて各サブタスクごとに被験者間の平均(算術平均)を演算する。また、各測定値の標準偏差σを被験者数Mの平方根で除して(σ/√M)、その値を誤差とする。
そして制御部11は、サブタスクごとに各被験者の測定値と、その平均値及び誤差を併せたテーブルを表示部13に表示する(図8(a),(c))。また、測定値から演算されたタスクの達成状況(遂行完了ならば「正解」、そうでなければ「不正解」)及び、全体の達成率(%)をテーブル上に併せて表示してもよい(図8(b))。さらに制御部11は、その状況をグラフ化して表示する(図9)。
ここで例えば評価者が類似サービスを提供する複数のWebサイトについて、各被験者に対して各サイトでのサービスを享受するというタスクを設定した場合、図8及び図9に示したテーブルやグラフは、各サイトごとに得られることになる。そして制御部11は、各サブタスクごとに、各サイトでの測定値の統計演算結果をグラフ表示する(図10)。また、各サイトでの測定値の統計演算結果のグラフ表示を生成し(図11)、図10に示したグラフと切り替えて表示可能としておくことも好ましい。
さらに、各サイトごとの有効さ、効率、満足度に関連するグラフを表示することも好ましい。例えば、効率(例えばタスク達成にかかった時間)を横軸に、有効さ(例えばタスクの達成率)を縦軸にして各サイトをグラフ表示する(図12)。このグラフ表示によれば、効率・有効さがともに高いサイトほど、ユーザビリティが高いことを示している。また、満足度については、三角グラフを用いて表示することとしてもよい(図13)。これによりこの三角形の面積が大きいほど、満足度が高いことが視覚的に理解できる。
[改善予想結果の提示]
さらに制御部11は、各サイトの値としてグラフ表示した測定値や指標を用い、サイト間の統計値(例えば中央値、中間値、ないしは平均値)をそれぞれ演算し、当該統計値より状態が悪い(操作時間が長い、タスク達成率が低い等)サイトについて、改善後には少なくとも平均値程度になると仮定した改善予想結果を提示することも好ましい。
すなわち、図11のように、各サイトでの各サブタスクのグラフが表示されている状態で、サイトAの3番目のサブタスク(図中、「サブタスク3」と示した部分)を改善したときの予想として、当該3番目のサブタスクについての測定値のサイトA〜Cの統計値を演算し、当該演算した統計値を表示する。この場合、タスク全体の改善予想結果を次のようにして演算してもよい。すなわち、各サブタスクについて、注目サイトの測定値と、サイト間の測定値の統計値とを比較し、注目サイトの測定値が統計値より悪い場合には統計値を、注目サイトの測定値が統計値よりもよい場合には、当該測定値を利用してタスク全体の値を演算する。具体的に操作時間の場合、操作時間と、各サイトでの操作時間の統計値とを各サブタスクごとに比較して、注目サイトの操作時間が統計値よりも短いサブタスクについては注目サイトの操作時間を、注目サイトの操作時間が統計値よりも長いサブタスクについては統計値を、それぞれ採用して、採用した値の総和によってタスク全体での改善予想結果とする。
[動作]
従って本実施の形態におけるユーザビリティ評価支援装置1は、例えばWebサイトの評価においては、次のように利用され、動作する。被験者には、生体情報検出装置2を取り付け、さらに評価の対象となったWebサイトへアクセスして、そこでサービスを受けるというタスクを指示する。被験者は、機器4の操作部44を操作して、表示部43に表示される画面を見ながら指示されたタスクを遂行する。このタスク遂行の間、制御部41は被験者からの指示操作に従ってネットワークインタフェース45を介してネットワーク上の評価対象のWebサイトへアクセスして、そこからWebページのデータを取得し、表示部43に表示する処理を行っている。
一方、操作履歴情報検出装置3には、被験者の操作内容が少なくとも一つの操作履歴データを含む、操作履歴情報として記録されている。また、制御部11には、生体情報検出装置2から被験者の生体情報(少なくとも一つの生体データが含まれる)と、機器4から利用者の操作に応じて発生したイベント情報とが入力され、制御部11は、これらの情報を図示しない時計によって計時した時刻とともに記憶部12に蓄積する。
被験者がタスク遂行を完了(または放棄)すると、制御部11は、被験者に対して図3に示したようなアンケートを提示して、答えさせ、その結果を満足度データとして取得して記憶部12に格納する。さらに制御部11は、操作履歴情報検出装置3から操作履歴情報を取得して記憶部12に格納する。この操作履歴情報に含まれる各操作履歴データにも、操作履歴情報検出装置3が、内蔵している時計(不図示)で計時した時刻の情報がそれぞれ関連づけられているものとする。なお、これら制御部11と、操作履歴情報検出装置3がそれぞれ参照する時計(不図示)は、予めその時刻を一致させてあるものとする(または同一の時計を参照するようにしておいてもよい)。
こうして記録される操作履歴情報に含まれる操作履歴データとしては、操作時間、クリック回数、ポインティングデバイスの移動量、ヘルプ機能の利用回数、エラーの発生回数、入力された情報そのもの、入力した情報量、電子マニュアル参照回数等があり、イベント情報に含まれるデータには、画面の遷移状態、画面に表示した情報そのもの、被験者の操作に応答するまでのレスポンス時間等がある。
次に、制御部11は、予め定められたサブタスクごとに操作内容と、生体情報と、イベント情報とを分割する。そして、各サブタスクについて、次の処理を行う。
すなわち、分割後の操作内容と、生体情報と、イベント情報とを利用して、
(1)サブタスク遂行中のエラーの発生回数、
(2)サブタスク遂行完了(又は放棄)時点のタスク達成度、
(3)サブタスク遂行完了(又は放棄)時点での画面遷移回数と、理想的な場合の遷移回数との比
(4)サブタスク遂行中にしたヘルプ利用回数
を演算し、これらに対する重みづけ加算によって各サブタスクの有効さの指標を演算する。ここで、サブタスク遂行完了(又は放棄)時点のサブタスク達成度は、既に説明した達成条件に基づいて決定される。すなわち、サブタスク遂行完了(又は放棄)時点で、どのWebページを表示していたか等によって予め定められた数値が達成度として決定される。
また、制御部11は、
(1)サブタスク達成に要した時間(すなわちレスポンス時間と、表示された内容を解釈するのに要した時間と、操作に要する時間との総和に相当する)、
(2)サブタスク遂行中のクリック回数、
(3)サブタスク遂行中のポインティングデバイスの移動量(画面スクロール量、もしくはポインティングデバイスの移動によるマウスポインタの移動量そのもの)、
(4)サブタスク遂行中の情報入力量(キーボードの打回数)、
(5)サブタスク遂行中の電子マニュアルの参照回数、
(6)サブタスク遂行に要した画面の遷移回数、
(7)サブタスク遂行に要したレスポンス時間の総和、
(8)サブタスク遂行中に表示部43に表示されたコンテンツの量(テキストの量、ページを構成するピクセルの量、色数、画像サイズ、画像枚数)、
(9)サブタスク遂行中に得られた生体情報(視線移動量、発汗量、操作前と操作中の心拍数の差分、まばたきの回数など)
を演算し、これらに対する重みづけ加算によって各サブタスクの効率の指標を演算する。
さらに制御部11は、
(1)アンケート情報の分析による、態度の認知的傾向、行動的傾向、感情的傾向、
(2)生体情報の分析による基準値(平常時)とタスク遂行中の生体情報の相違(差分又は比)、例えば脳波のα波量/ESAMによる評価、瞳孔の径、発汗量など)
を演算し、これらに対する統計的演算の結果として満足度の指標を演算する。
なお、制御部11は、アンケート情報の分析による、態度の認知的傾向、行動的傾向、感情的傾向に基づいてタスク全体の満足度の指標を別途取得してもよい。
さらに制御部11は、各サブタスクについて、そのサブタスク遂行中に表示部13に表示される画面について、利用者の状態を推定する処理を行い、それから得られる状態の情報と評価の情報とを画面ごとに記憶する。さらに、制御部11は、これらの各指標に対応する評価結果を、各指標の少なくとも一部を用いた予め定められた統計ルール(第2ルール)を用いて演算し、当該演算した評価結果を評価者の指示に従って、表示部13に表示する。
こうして演算された各指標は被験者と、その遂行したタスクとともに、固有の識別子に関連づけて記憶部12に格納される。そして制御部11は、評価者の指示に従って、これらの指標を表示部13に表示する。
これにより、タスク全体の中で評価を下げる要因となるサブタスクを特定でき、さらにそのサブタスク内で利用者がどのような状態となり、情報の視覚的提示状態がどのような評価となるかを文字列として表すことができ、具体的な要因を特定できるようになる。
[有効性の評価結果]
本実施の形態に関するある例では、この有効性の指標は2つの側面を有する。すなわち、タスクの遂行を完了した利用者の割合の側面(タスク達成率)と、あるタスクの遂行にあたり、そのタスクに含まれる各サブタスクの遂行の完了の度合い(タスク成功率)とである。タスク達成率は、複数の被験者が、指定されたタスクの目標を達成する上での完全さの指標となるもので、タスクの最終目標を達成できた被験者の割合(全被験者の数に対する最終目標を達成した被験者の数の比)で規定する。これは表や棒グラフとして表示することが好適である。また、タスクが複数のサブタスクに分割できる場合、各サブタスクごとの最終目標を達成した被験者の割合を用いてもよい。また、タスク成功率は、指定されたタスクがサブタスクに分割可能な場合にのみ演算できる。すなわち、タスク達成率よりも詳細なユーザビリティ評価結果を得るため、複数の被験者が指定されたタスクの目標を達成する上での完全さの第2の指標として演算される。具体的に、タスク成功率は、サブタスク達成率の平均をパーセントで演算する。すなわち、
[数3]
Σ(サブタスクごとのタスク達成率)/サブタスクの数
として演算する。このタスク成功率も視覚的に表示する場合は、表や棒グラフによって表示することが好ましい。なお、有効性のうち、個々のタスクの達成率や、タスク成功率は評価結果そのものとなるのに対して、サブタスクの達成率は、要因分析のために提示される。ちなみに、サブタスクの成功率は、理論上定義できない。
[効率性の評価結果]
効率性は、タスク作業時間、タスク遂行中のクリック回数(タスククリック回数)、タスク遂行中の視線移動量(タスク視線移動量)といったものが評価結果となる。タスク作業時間は、被験者が指定されたタスクの目標を達成するために機器4を操作したときの正確さと完全さに関連して費やした時間資源に相当する。データ及びグラフは、タスクを達成した被験者のものと、タスクを達成できなかった被験者のものとを別々に扱うことが好ましい。これにより、タスクを達成した被験者とそうでない被験者との間の時間資源利用の違いやサブタスク間の時間資源の利用の違いが評価可能となる。なお、視覚的に表示する場合、表には最大・最小、標準偏差、標準誤差を提示することが好ましい。また棒グラフ化してもよく、この場合、平均値を棒グラフの高さで、最大・最小を点で、標準偏差を幅で表現する。
タスククリック回数は、被験者が指定されたタスクの目標を達成するために機器4を操作したときの正確さと完全さに関連して費やした操作量の指標となる。この場合も、データ及びグラフは、タスクを達成した被験者のものと、タスクを達成できなかった被験者のものとを別々に扱うことが好ましい。視覚的に表示する場合、タスクを達成した被験者とタスクを達成しなかった被験者とのそれぞれについて、タスク終了までに費やした被験者の平均クリック回数を回数単位で表又は、棒グラフで表示する。棒グラフで表示する場合、タスク達成者と達成しなかった被験者とのタスク作業時間を1つのグラフに併せて提示することが好ましい。また、ここでのクリック回数は、例えばマウスに複数のボタンがあっても、どのボタンをクリックしたかを区別せずに累算する。また、ダブルクリックは2回とカウントする。サブタスクに分割する場合、タスク(サブタスクではない)を達成した被験者と達成しなかった被験者とにわけてサブタスクの遂行中にしたクリック回数を1つの棒グラフに併せて提示する。なお、表では、最大・最小、標準偏差、標準誤差を表示し、棒グラフでは、平均値を棒グラフの高さで、最大・最小を点で、標準偏差を幅で表現する。
タスク視線移動量は、指定されたタスクの目標を達成するために、機器4を操作したときの、正確さと完全さに関連して費やした認知負荷の指標となる。この場合も、データ及びグラフは、タスクを達成した被験者のものと、タスクを達成できなかった被験者のものとを別々に扱うことが好ましい。具体的にタスク視線移動量は、タスクを達成した被験者とタスクを達成しなかった被験者とにわけて、タスク終了までに費やした被験者の平均の視線移動量を例えばミリメートル単位で、整数で表示し、表又は棒グラフを用いて視覚的に表示する。視線移動量は、生体情報から得られる視線移動の角度のデータをディスプレイ上(表示部43上)の距離に換算して、注視点間(細かい移動は無視する)の移動距離の積算値として計算する。棒グラフでは、タスクを達成した被験者とそうでない被験者との視線移動量を1つのグラフに併せて表示する。また表に示す場合、タスクを達成した被験者と、そうでない被験者と、全被験者との3つの比較ができるように、それぞれを提示する。サブタスクに分割する場合、タスク(サブタスクではない)を達成した被験者と達成しなかった被験者とにわけてサブタスクの遂行中にした視線移動距離を1つの棒グラフに併せて提示する。なお、表では、最大・最小、標準偏差、標準誤差を表示し、棒グラフでは、平均値を棒グラフの高さで、最大・最小を点で、標準偏差を幅で表現する。
これらタスク作業時間、タスククリック回数、タスク視線移動量は、評価結果として利用され、サブタスクごとの作業時間やクリック回数、視線移動量は、要因の分析に供される。
[満足度の評価結果]
満足度の評価は、主観的満足度、機能要因主観評価と、好感度要因主観評価等がある。主観的満足度は、被験者が指定されたタスクの目標を達成するために機器4を操作した後の、もしくは評価対象となるWebサイトにおけるトップページから自由に閲覧するというようなタスクを実施した後の、評価対象に対する肯定的な態度の指標として提示するものである。なお、トップページから自由に閲覧するタスクの場合、トップページではなく、トップページを含むサイト全体が評価対象となる。指定されたタスク(課題タスク)においては、この課題タスクを達成した被験者と達成しなかった被験者とにわけて、肯定的態度の違いを評価する。また、例えばトップページから自由に閲覧してもらった後で、そのサイトにおいて課題タスクを実行させるというようなことをする場合、自由閲覧後の肯定的態度の指標と、課題タスク実行後の肯定的態度の指標の相違から、その変化を評価することも目的の一つである。
また、機能要因主観評価では、被験者が指定されたタスクの目標を達成するために機器4を操作した後の、もしくは評価対象となるWebサイトにおけるトップページから自由に閲覧するというようなタスクを実施した後の、評価対象に対する機能要因(例えば使いやすさといった要因)に関する主観的満足度の指標として提示するものである。なお、トップページから自由に閲覧するタスクの場合、トップページではなく、トップページを含むサイト全体が評価対象となる。指定されたタスク(課題タスク)においては、この課題タスクを達成した被験者と達成しなかった被験者とにわけて、機能要因に関する主観的満足度の違いを評価する。また、例えばトップページから自由に閲覧してもらった後で、そのサイトにおいて課題タスクを実行させるというようなことをする場合、自由閲覧後の上記満足度の指標と、課題タスク実行後の上記満足度の指標の相違から、その変化を評価することも目的の一つである。これを視覚的に表示する場合、各機能要因に対する主観的評価を軸としたレーダーチャートで表示することが好ましい。
さらに、好感度要因主観評価では、被験者が指定されたタスクの目標を達成するために機器4を操作した後の、もしくは評価対象となるWebサイトにおけるトップページから自由に閲覧するというようなタスクを実施した後の、評価対象に対する好感度要因(印象などに関する要因)に関する主観的満足度の指標として提示するものである。なお、トップページから自由に閲覧するタスクの場合、トップページではなく、トップページを含むサイト全体が評価対象となる。指定されたタスク(課題タスク)においては、この課題タスクを達成した被験者と達成しなかった被験者とにわけて、好感度要因に関する主観的満足度の違いを評価する。また、例えばトップページから自由に閲覧してもらった後で、そのサイトにおいて課題タスクを実行させるというようなことをする場合、自由閲覧後の上記満足度の指標と、課題タスク実行後の上記満足度の指標の相違から、その変化を評価することも目的の一つである。これを視覚的に表示する場合、各機能要因に対する主観的評価を軸としたレーダーチャートで表示することが好ましい。
[変形例]
ここまでの説明では、本実施の形態のユーザビリティ評価支援装置1と機器4とは別体の装置としていたが、ユーザビリティ評価支援装置1が、タスク遂行のために被験者が操作する機器を兼ねてもよい。
本発明の実施の形態に係るユーザビリティ評価支援装置の構成ブロック図である。 ユーザビリティ評価支援プログラムの構成を表す機能ブロック図である。 アンケートの一例を表す説明図である。 サブタスクの定義の一例を表す説明図である。 サブタスクに対するユーザビリティ評価支援の処理を表すフローチャート図である。 生体情報として視点情報を利用する場合の処理の例に関する説明図である。 視線移動の状態を表示した例を表す説明図である。 評価の結果の提示の例を表す説明図である。 評価の結果の提示の例を表す説明図である。 評価の結果の提示の例を表す説明図である。 評価の結果の提示の例を表す説明図である。 評価の結果の提示の例を表す説明図である。 評価の結果の提示の例を表す説明図である。
符号の説明
1 ユーザビリティ評価支援装置、2 生体情報検出装置、3 操作履歴情報検出装置、4 機器、11,41 制御部、12,42 記憶部、13,43 表示部、14,44 操作部、15,45 ネットワークインタフェース、21 操作履歴記録部、22 生体情報記録部、23 アンケート処理部、24 イベント記録部、25 統計処理部、26 統計ルール設定部。

Claims (12)

  1. 複数のタスクに対するユーザビリティの評価を支援する装置であって、
    タスク実行中の被験者による操作履歴情報を取得する操作履歴取得手段と、
    前記複数のタスクをそれぞれサブタスクに分け、前記操作履歴情報に基づいて前記サブタスク毎の有効性指標を算出する指標評価手段と、
    前記サブタスクの少なくとも1つについて、当該サブタスクの有効性指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの有効性指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの有効性指標の値を前記有効性指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の有効性指標の改善予測を求める改善予測手段と、
    を備えることを特徴とするユーザビリティ評価装置。
  2. 複数のタスクに対するユーザビリティの評価を支援する装置であって、
    タスク実行中の被験者による操作履歴情報を取得する操作履歴取得手段と、
    前記複数のタスクをそれぞれサブタスクに分け、前記操作履歴情報に基づいて前記サブタスク毎の効率性指標を算出する指標評価手段と、
    前記サブタスクの少なくとも1つについて、当該サブタスクの効率性指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの効率性指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの効率性指標の値を前記効率性指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の効率性指標の改善予測を求める改善予測手段と、
    を備えることを特徴とするユーザビリティ評価装置。
  3. 複数のタスクに対するユーザビリティの評価を支援する装置であって、
    タスク実行中の被験者の生体情報を取得する生体情報取得手段と、
    前記複数のタスクをそれぞれサブタスクに分け、前記生体情報に基づいて前記サブタスク毎の効率性指標を算出する指標評価手段と、
    前記サブタスクの少なくとも1つについて、当該サブタスクの効率性指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの効率性指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの効率性指標の値を前記効率性指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の効率性指標の改善予測を求める改善予測手段と、
    を備えることを特徴とするユーザビリティ評価装置。
  4. 複数のタスクに対するユーザビリティの評価を支援する装置であって、
    タスク実行中の被験者の生体情報を取得する生体情報取得手段と、
    前記複数のタスクをそれぞれサブタスクに分け、前記生体情報に基づいて前記サブタスク毎の満足度指標を算出する指標評価手段と、
    前記サブタスクの少なくとも1つについて、当該サブタスクの満足度指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの満足度指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの満足度指標の値を前記満足度指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の満足度指標の改善予測を求める改善予測手段と、
    を備えることを特徴とするユーザビリティ評価装置。
  5. 複数のタスクに対するユーザビリティの評価を支援する装置であって、
    タスク実行中の被験者の主観的評価情報を取得する主観情報取得手段と、
    前記複数のタスクをそれぞれサブタスクに分け、前記主観的情報に基づいて前記サブタスク毎の満足度指標を算出する指標評価手段と、
    前記サブタスクの少なくとも1つについて、当該サブタスクの満足度指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの満足度指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの満足度指標の値を前記満足度指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の満足度指標の改善予測を求める改善予測手段と、
    を備えることを特徴とするユーザビリティ評価装置。
  6. 請求項1〜5のいずれか1つに記載のユーザビリティ評価装置において、
    前記統計値は、中央値又は中間値又は平均値であることを特徴とするユーザビリティ評価装置。
  7. 複数のタスクに対するユーザビリティの評価を支援するためのプログラムであって、
    コンピュータを、
    タスク実行中の被験者による操作履歴情報を取得する操作履歴取得手段と、
    前記複数のタスクをそれぞれサブタスクに分け、前記操作履歴情報に基づいて前記サブタスク毎の有効性指標を算出する指標評価手段と、
    前記サブタスクの少なくとも1つについて、当該サブタスクの有効性指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの有効性指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの有効性指標の値を前記有効性指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の有効性指標の改善予測を求める改善予測手段と、
    を備えるユーザビリティ評価装置として機能させることを特徴とするユーザビリティ評価プログラム。
  8. 複数のタスクに対するユーザビリティの評価を支援するためのプログラムであって、
    コンピュータを、
    タスク実行中の被験者による操作履歴情報を取得する操作履歴取得手段と、
    前記複数のタスクをそれぞれサブタスクに分け、前記操作履歴情報に基づいて前記サブタスク毎の効率性指標を算出する指標評価手段と、
    前記サブタスクの少なくとも1つについて、当該サブタスクの効率性指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの効率性指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの効率性指標の値を前記効率性指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の効率性指標の改善予測を求める改善予測手段と、
    を備えるユーザビリティ評価装置として機能させることを特徴とするユーザビリティ評価プログラム。
  9. 複数のタスクに対するユーザビリティの評価を支援するためのプログラムであって、
    コンピュータを、
    タスク実行中の被験者の生体情報を取得する生体情報取得手段と、
    前記複数のタスクをそれぞれサブタスクに分け、前記生体情報に基づいて前記サブタスク毎の効率性指標を算出する指標評価手段と、
    前記サブタスクの少なくとも1つについて、当該サブタスクの効率性指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの効率性指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの効率性指標の値を前記効率性指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の効率性指標の改善予測を求める改善予測手段と、
    を備えるユーザビリティ評価装置として機能させることを特徴とするユーザビリティ評価プログラム。
  10. 複数のタスクに対するユーザビリティの評価を支援するためのプログラムであって、
    コンピュータを、
    タスク実行中の被験者の生体情報を取得する生体情報取得手段と、
    前記複数のタスクをそれぞれサブタスクに分け、前記生体情報に基づいて前記サブタスク毎の満足度指標を算出する指標評価手段と、
    前記サブタスクの少なくとも1つについて、当該サブタスクの満足度指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの満足度指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの満足度指標の値を前記満足度指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の満足度指標の改善予測を求める改善予測手段と、
    を備えるユーザビリティ評価装置として機能させることを特徴とするユーザビリティ評価プログラム。
  11. 複数のタスクに対するユーザビリティの評価を支援するためのプログラムであって、
    コンピュータを、
    タスク実行中の被験者の主観的評価情報を取得する主観情報取得手段と、
    前記複数のタスクをそれぞれサブタスクに分け、前記主観的情報に基づいて前記サブタスク毎の満足度指標を算出する指標評価手段と、
    前記サブタスクの少なくとも1つについて、当該サブタスクの満足度指標の値が前記複数のタスクにおける当該サブタスクに対応するサブタスクの満足度指標から算出される所定の統計値に対して所定の条件を満たす場合に、当該サブタスクの満足度指標の値を前記満足度指標の所定の統計値に置き換えて当該サブタスクを含むタスク全体の満足度指標の改善予測を求める改善予測手段と、
    を備えるユーザビリティ評価装置として機能させることを特徴とするユーザビリティ評価プログラム。
  12. 請求項7〜11のいずれか1つに記載のユーザビリティ評価プログラムにおいて、
    前記統計値は、中央値又は中間値又は平均値であることを特徴とするユーザビリティ評価プログラム。
JP2005021130A 2005-01-28 2005-01-28 ユーザビリティ評価支援装置 Pending JP2005216311A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005021130A JP2005216311A (ja) 2005-01-28 2005-01-28 ユーザビリティ評価支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005021130A JP2005216311A (ja) 2005-01-28 2005-01-28 ユーザビリティ評価支援装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002273720A Division JP2004110548A (ja) 2002-09-19 2002-09-19 ユーザビリティ評価支援装置および方法

Publications (1)

Publication Number Publication Date
JP2005216311A true JP2005216311A (ja) 2005-08-11

Family

ID=34909638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005021130A Pending JP2005216311A (ja) 2005-01-28 2005-01-28 ユーザビリティ評価支援装置

Country Status (1)

Country Link
JP (1) JP2005216311A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014112025A1 (ja) * 2013-01-21 2014-07-24 Necソフト株式会社 画面変更装置、画面変更方法および画面変更プログラム
WO2014112024A1 (ja) * 2013-01-21 2014-07-24 Necソフト株式会社 感情可視化装置、感情可視化方法および感情可視化プログラム
WO2014162695A1 (ja) * 2013-04-01 2014-10-09 株式会社デンソー 車両用装置の操作性評価方法および操作性評価装置
WO2014162696A1 (ja) * 2013-04-01 2014-10-09 株式会社デンソー 車両用装置の操作性制御方法および操作性制御装置
JP2015095260A (ja) * 2013-11-12 2015-05-18 富士ゼロックス株式会社 ユーザアクティビティラベルと凝視とを関連付ける方法、コンピュータシステム、及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014112025A1 (ja) * 2013-01-21 2014-07-24 Necソフト株式会社 画面変更装置、画面変更方法および画面変更プログラム
WO2014112024A1 (ja) * 2013-01-21 2014-07-24 Necソフト株式会社 感情可視化装置、感情可視化方法および感情可視化プログラム
JPWO2014112025A1 (ja) * 2013-01-21 2017-01-19 Necソリューションイノベータ株式会社 画面変更装置、画面変更方法および画面変更プログラム
JPWO2014112024A1 (ja) * 2013-01-21 2017-01-19 Necソリューションイノベータ株式会社 感情可視化装置、感情可視化方法および感情可視化プログラム
WO2014162695A1 (ja) * 2013-04-01 2014-10-09 株式会社デンソー 車両用装置の操作性評価方法および操作性評価装置
WO2014162696A1 (ja) * 2013-04-01 2014-10-09 株式会社デンソー 車両用装置の操作性制御方法および操作性制御装置
JP2014203128A (ja) * 2013-04-01 2014-10-27 株式会社デンソー 車両用装置の操作性制御方法および操作性制御装置
JP2014203129A (ja) * 2013-04-01 2014-10-27 株式会社デンソー 車両用装置の操作性評価方法および操作性評価装置
JP2015095260A (ja) * 2013-11-12 2015-05-18 富士ゼロックス株式会社 ユーザアクティビティラベルと凝視とを関連付ける方法、コンピュータシステム、及びプログラム

Similar Documents

Publication Publication Date Title
JP2004110548A (ja) ユーザビリティ評価支援装置および方法
Goldberg et al. Eye tracking in usability evaluation: A practitioner's guide
Çöltekin et al. Evaluating the effectiveness of interactive map interface designs: a case study integrating usability metrics with eye-movement analysis
US7739621B2 (en) Interface and method adapted for capturing subjective preferences of program users
US8108800B2 (en) Calculating cognitive efficiency score for navigational interfaces based on eye tracking data
US20160379511A1 (en) Differentially weighted modifiable prescribed history reporting apparatus, systems, and methods for decision support and health
JP6469466B2 (ja) 評価支援システム
Grandi et al. A Transdisciplinary digital approach for tractor’s human-centred design
Lynch et al. Development of a weighted heuristic for website evaluation for older adults
US20080184113A1 (en) Relevance slider in a site analysis report
Yelizarov et al. Adaptive visualization interface that manages user's cognitive load based on interaction characteristics
WO2008094787A2 (en) Intelligent node positioning in a site analysis report
JP2005216311A (ja) ユーザビリティ評価支援装置
Fletcher et al. A study to trial the use of inertial non-optical motion capture for ergonomic analysis of manufacturing work
JP2004102564A (ja) ユーザビリティ評価支援装置
JP4447552B2 (ja) 情報提供方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
Bataineh et al. Usability analysis on Dubai e-government portal using eye tracking methodology
JP2004102868A (ja) ユーザビリティ評価支援装置
JP6983731B2 (ja) 情報処理プログラム、情報処理方法、端末装置及び解析装置
JP7269420B1 (ja) 情報処理装置
Li et al. Comparative Study on 2D and 3D User Interface for Eliminating Cognitive Loads in Augmented Reality Repetitive Tasks
JP2020024573A (ja) 閲覧状況解析装置、閲覧状況解析方法および閲覧状況解析プログラム
Adnan et al. Expressive information visualization taxonomy for decision support environment
Wallace et al. Rapid visual flow: How fast is too fast?
Wysopal et al. Level-of-Detail AR: Dynamically Adjusting Augmented Reality Level of Detail Based on Visual Angle

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060919

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070116