JP2001056771A - 操作性能評価装置、及び方法 - Google Patents

Abstract

(57)【要約】 【課題】本発明の目的は、機器の操作性能を評価するた
めに簡易に評価データを収集し、短時間に評価データの
分析を行う操作性能評価機能を提供することにある。 【解決手段】本発明は、複数の操作を含むユーザからの
指示手順に従って機能するシステムの操作性能を評価す
るための操作性能評価装置であって、システムを機能さ
せるためにユーザが指示手順として操作した各操作の完
了を検出するための操作検出部と、各操作が完了した完
了時間を測定する完了時間測定部と、測定された完了時
間を集計する集計部と、完了時間を表示する表示部とを
備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＡＴＭや発券売機
などのユーザーインターフェースの操作性能（ユーザビ
リティ）を評価するための評価装置及び評価方法に関す
るものである。

【０００２】

【従来の技術】エンドユーザとしての一般消費者が使用
する機器やシステム、例えばＡＴＭ、発券売機、携帯電
話等は、各機器によって定められた手順に従って操作す
ることにより、エンドユーザにとって有用な機能を発揮
する。このようなエンドユーザが操作すべき手順は、各
機器のユーザインタフェースと呼ばれ、各機器の操作性
すなわち使い勝手を決定する上で最も大きな要素となっ
ている。このためエンドユーザがそのような機器を購入
する際、あるいはその機器を使用してサービスを提供す
るサービス業者を選択する際、ユーザインターフェース
の如何が主な選定基準となることも多い。

【０００３】しかし、このようなユーザインタフェース
の評価技術、操作性能の評価技術として必ずしも確立さ
れたものはなかった。従来のこの種の評価方法は、定性
的な評価方法と定量的な評価方法とに分類される。定性
的な評価方法としては、評価対象となる機器ごとに特有
のチェックリストを準備し、ユーザの操作を観察して問
題点を摘出する方法やユーザとのインタビュー結果を収
集するような方法が知られている。また、定量的な評価
方法としては、操作のエラー率や特定の作業に対する達
成時間を蓄積して達成効率を測定する方法等が知られて
いる。

【０００４】しかし、上記の定性的な評価方法では、機
器の操作上の問題点を見いだすことは可能であるが、定
量的なデータに裏付けられたものとはならないため、評
価結果の信頼度と第三者に対する説得力とにおいて必ず
しも十分な効果を得ることができなかった。

【０００５】一方、上記定量的な評価方法は、操作効率
の評価に有効と考えられているが、システムを操作する
上での問題点の摘出には有効に活用されてはいなかっ
た。また、機器の操作性能を定量的に分析するために、
被験者として不特定多数のユーザからのデータを採取す
ることが非常に困難であるという問題があった。

【０００６】このような結果として、操作性能の評価結
果を分析するためには特定の専門家による考察が必要と
されていた。従って、一般的な製品開発の工程に導入可
能であって、定量的な評価に基づいて簡易に操作性能上
の問題点を摘出可能な評価技術は提供されていなかっ
た。

【０００７】

【発明が解決しようとする課題】本発明はこのような従
来の技術の問題点に鑑みてなされたものであり、その目
的とするところは、機器の操作性能を評価するために簡
易に評価データを収集し、短時間に評価データの分析を
行う操作性能評価機能を提供することにある。さらに、
データ収集およびデータ分析の効率化を図ることで被験
者の数を実質的に無制限（すなわち分析時間を実質的に
０、または分析時間を被験者数に依存しない一定値）と
し、かつ一般の開発担当者でも操作性能上の問題点の摘
出が可能な操作性能評価機能を提供することにある。

【０００８】

【課題を解決するための手段】本発明は上記課題を解決
するために、以下の手段を採用した。すなわち、本発明
は、複数の操作を含むユーザからの指示手順に従って機
能するシステムの操作性能を評価するための操作性能評
価装置であって、システムを機能させるためにユーザが
指示手順として操作した各操作の完了を検出するための
操作検出部と、各操作が完了した完了時間を測定する完
了時間測定部と、測定された完了時間を集計する集計部
と、完了時間を表示する表示部とを備えたものである。

【０００９】このような各操作の完了時間を複数ユーザ
について測定し、集計することにより、各操作をすべき
時期が訪れた後、実際に操作がなされるまでの時間（こ
れを滞留時間という）を求める。さらに、どの操作にお
いて滞留時間が長くなるかを表示することにより、操作
性能の評価結果が明示される。

【００１０】本発明においては、システムに応じた操作
の組み合わせとして指示手順を定義するための指示手順
定義部をさらに備えてもよい。このような操作手順を定
義することによって、操作手順の異なる複数のシステム
に対しても各システムごとに固有の手順に従ってシステ
ムを操作する際の評価が可能になる。

【００１１】本発明においては、評価されるシステムに
関する専門知識を有する専門家による各操作の完了時間
としての専門家完了時間を保持する手段をさらに備え、
ユーザによる各操作の完了時間の前記専門家完了時間に
対する比率としての専門家時間比率を求めて、これに基
づいて対象システムの操作性能を評価してもよい。この
場合、専門家時間比率が特定値を越える操作と前記専門
家時間比率が特定値を越ない操作とを識別可能に表示す
るようにしてもよい。

【００１２】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施の形態を説明する。図１から図８を参照して本
発明の一実施の形態に係る操作性能評価装置について説
明する。

【００１３】図１は、本発明の実施の形態に係る操作性
能評価装置１１の構成図であり、図２及び図３は操作手
順の概念図であり、図４は本実施の形態に係る操作性能
評価装置１１による評価の対象の一例であるＡＴＭ（現
金自動預け払い機）の操作画面の例であり、図５は図１
の構成図に示したＣＰＵ１が取り扱うデータ構造を示す
図であり、図６はＣＰＵ１の制御プログラムの処理を示
すフローチャートであり、図７及び図８は、操作性能評
価結果の表示例である。 ＜構成＞図１は、ＡＴＭ１０（これが評価対象となるの
で、以下対象システムという）の操作性能を評価するた
めに、本発明の実施の形態に係る操作性能評価装置１１
とＡＴＭ１０とを組み合わせた構成を示す図である。図
１のように、この操作性能評価装置１１は、装置を制御
するＣＰＵ１と、ＣＰＵ１の入出力ポートに接続され、
ユーザがＡＴＭ１０を操作するときの操作ステップを取
り込む位置検出センサ２（操作検出部に相当）と、位置
検出センサ２から取り込まれたユーザの操作ステップを
記録するハードディスク装置３と、評価結果を表示する
表示装置４と、キーボード５と、ユーザの操作を操作画
像として撮影するビデオカメラ６と、撮影された操作画
像を記録するＶＴＲ７と、記録された画像を表示する画
像表示装置８とを備えている。

【００１４】位置検出センサ２は、極細の導電線を縦方
向に等間隔に並べた透明シートと極細の導電線を横方向
に等間隔に並べた透明シートとをギャップを設けて対向
させてマトリクススイッチを形成したものであり、ＡＴ
Ｍ１０の操作卓上のタッチパネル１２と重ねられ、ユー
ザがこのタッチパネル１２を押してＡＴＭ１０を操作す
ると、操作卓からＡＴＭ１０に指示信号が発せられると
もに、その操作による押圧位置が位置検出センサ２の信
号として検出され入出力ポートを通じてＣＰＵ１に送ら
れる。

【００１５】ＣＰＵ１は、図示しないメモリ上に保持さ
れた制御プログラム１ｂを実行して装置を制御する。ま
た、ＣＰＵ１は、位置検出センサ２によって検出される
押圧位置の信号から各操作の完了を検出するともに、内
蔵するタイマ１ａ（完了時間測定部に相当）により、各
操作の完了時間を測定する。ＣＰＵ１で実行される制御
プログラム１ｂは、これらの測定結果を集計し、その結
果に基づき対象システムの操作性を評価し、評価の結果
を表示装置４に表示する。この制御プログラム１ｂが集
計部に相当する。

【００１６】ハードディスク装置３には、上記位置検出
センサ２によって検出され、タイマ１ａによって計時さ
れたユーザの各操作の完了時間が格納される。表示装置
４は、制御プログラム１ｂが集計した各操作の完了時間
を対象システムの操作性の評価結果として表示する。

【００１７】ビデオカメラ６は、対象システムに対する
ユーザの操作を映像として撮影する。ＶＴＲ７は、ビデ
オカメラ６によって撮影された画像を記録する。

【００１８】画像表示装置８は、ＶＴＲ７によって記録
されたユーザが対象システムを操作している画像を表示
する。この画像は、本操作性能評価装置において、直接
評価に使用するものではないが、評価結果の妥当性を検
証するともに、本操作性能評価装置による評価結果に対
して主観的な分析を追加するために補助的に使用され
る。

【００１９】ＡＴＭ１０は、本実施の形態において、操
作性能の評価対象とするシステム（対象システム）であ
る。図４にＡＴＭ１０の操作卓上のタッチパネル１２に
表示される画面の例を示す。これらは、振込を行う際の
画面であり、例えば、画面５１上においてユーザは現金
振込かマネーカード振込かを選択し、画面５２において
マネーカードを投入し、暗証番号と振込金額とを設定
し、確認ボタンを押し、順次振込作業を進めていく。こ
のとき、ＡＴＭ１０の操作卓上のタッチパネル１２に重
ねて、本操作性能評価装置の位置検出センサ２が設置さ
れているので、ユーザのＡＴＭ１０に対する操作卓上の
タッチパネル１２による操作がそのまま位置検出センサ
２における座標を示す押圧信号としてＣＰＵ１によって
検出される。 ＜操作性能評価の方法＞本実施の形態では、このような
ユーザの操作を順次検出して、各操作がなされる際の完
了時間を測定する。このシステムに対する操作は、図２
あるいは図３のような概念図に示すことができる。図２
に示すように計測が開始されると、ユーザはシステムに
対して、その機能（上記ＡＴＭ１０では、例えばマネー
カードによる振込である）を実行させる一連の操作、例
えば図４の５２に示す暗証番号の入力、金額の入力また
は確認ボタンを押す等を実行する。

【００２０】図２では、これらの操作を一般化して操作
１、操作２のように示している。本実施の形態では、こ
れらの操作１、操作２等の完了時間をＣＰＵ１に内蔵し
たタイマ１ａを用いて測定し、その測定結果に基づいて
システムの操作性能を評価する。さらに本実施の形態で
は、図２に示すような専門家としての対象システムの開
発者が対象システムを操作した際の測定結果を事前に測
定してハードディスク装置３に保持しておく。これを専
門家完了時間と呼ぶ（ハードディスク装置３が専門家完
了時間を保持する手段に相当）。

【００２１】次に、図３に示すように一般被験者が対象
システムを操作した際の各操作の完了時間を測定する。
図３に示すように一般被験者操作が操作する場合には、
操作の各段階で迷い、悩み、考え、誤操作を行い、その
結果として対象システムの開発者等の専門家が操作した
場合に比べて各操作ごとに特有の要因に依存して完了時
間が延長される。本実施の形態では、各操作ごとに測定
した完了時間から上記のように保持しておいた専門家完
了時間に対する比率（専門家時間比率）を算出する。 ＜操作手順の定義＞本実施の形態の操作性能評価装置で
は、予めＣＰＵ１の制御プログラム１ｂが表示装置４を
通じて、オペレータ（対象システムの評価者）に入力を
促し、キーボード５及び図示しないマウスにより、図５
に示したような操作の組み合わせからなる操作手順を作
成させる。本実施の形態では、制御プログラム１ｂが指
示手順定義部の機能を提供する。

【００２２】図５は対象システムの機能の構成を示すタ
スクテーブル１３と各タスクにおける操作の構成を示す
操作テーブルとを示している。タスクテーブル１３は、
ＡＴＭ１０の機能が、現金の引出し、現金の預け入れ、
現金の振込等のタスクとして構成され、また操作テーブ
ル１４は、各タスクが操作１以下のような操作から構成
されることを示している。

【００２３】図５の操作テーブル１４の各行（操作に対
応）に示した検出座標は、位置検出センサ２上の押圧信
号が検出されるべき座標を示している。したがって、Ｃ
ＰＵ１で実行される制御プログラム１ｂは、位置検出セ
ンサ２からの押圧信号によって示される座標がその検出
座標の範囲にあることを検知すると、該当する行に示さ
れた操作が完了したものとみなす。

【００２４】このようにして指示手順が定義できるの
で、本操作性評価装置は、ＡＴＭ１０以外の操作手順の
異なるＡＴＭや、ＡＴＭ以外の装置の評価にも適用でき
る。 ＜動作例＞操作性能の測定時にＣＰＵ１で実行される制
御プログラム１ｂの処理を図６に示す。

【００２５】キーボードからの指示の従い、制御プログ
ラム１ｂが測定を開始する（Ｓ１００）。まず、制御プ
ログラム１ｂは、表示装置４にタスクの一覧を表示し、
オペレータ（本実施の形態の操作性能評価装置の管理
者）にタスクの選択を促す。これに対して、図示しない
マウスまたはキーボード５からの指示により、タスクが
選択される（Ｓ１０３）。

【００２６】次に制御プログラム１ｂは、図５に示した
操作テーブルのすべての操作を完了するまで以下の処理
を繰り返す（Ｓ１０４）。すなわち、位置検出センサ２
からの押圧信号を監視し、この押圧信号によって示され
る押圧位置の座標が操作テーブルの検出座標の範囲にあ
ると判定されると、この操作を完了したものと判断し
（Ｓ１０５）、その完了時間を操作テーブルに記録す
る。また、その操作に要した時間（滞留時間）と、専門
家完了時間に対するこの滞留時間の比率としての専門家
時間比率とを算出し、操作テーブルに記録する。このよ
うにして、操作テーブルに定義された各操作の完了を操
作１から順に検出し、操作性能を評価していく。

【００２７】すべての操作を完了すると、評価結果をハ
ードディスク装置３に保存し（Ｓ１０８）、最初のタス
ク一覧を表示する状態へもどる（Ｓ１０１）。以上の測
定を複数の被験者を対象に繰返して、測定結果をハード
ディスク装置３に記録してゆき、オペレータからの終了
指示があると（Ｓ１０２）、測定を終了する（Ｓ１１
０）。

【００２８】図７に測定結果の例を示す。図７は、横軸
に操作を明示し、縦軸に各操における滞留時間を専門家
完了時間に対する比率として表示したものである。この
ように、対象システムの各操作ごとに評価がなされるの
で、どの操作において、滞留時間が長いか、すなわち、
操作上の問題があるかが客観的に表示される。さらに、
上述したように専門家完了時間に対する比率に換算され
た専門家時間比率が表示されるので、専門家としての開
発者が開発段階で認識できず、一方、一般ユーザにとっ
て問題となる操作が明確に表示される。

【００２９】図８は、専門家時間比率が特定値としての
平均値を越える場合と越えない場合とを強調して（専門
家時間比率が平均値を越える操作の棒グラフを塗りつぶ
しパターンで、専門家時間比率が平均値越えない操作の
棒グラフを白抜きのパターンで）表示したものである。
このような表示をすることにより、タスクに含まれる操
作の項目が多数の場合であっても、問題となる操作を容
易に検出できる。

【００３０】上述のように、本実施の形態では、対象シ
ステムに対する操作を位置検出センサ２が検出するの
で、対象システムの通常の運用に影響を与えたり、対象
システムに改造を加えることなく、その操作性能を評価
することができる。 ＜変形例＞上記実施の形態に係る操作性能評価装置で
は、各操作の完了時間を検出した直後に専門家時間比率
を算出するが、測定段階では、各操作の完了時間をハー
ドディスク装置３に記録しておき、測定終了後、評価結
果の表示前に専門家時間比率を算出して表示してもよ
い。

【００３１】上記実施の形態に係る操作性能評価装置で
は、各被験者による測定結果をそのままハードディスク
装置３に記録するが、被験者ごとの評価結果を加算し、
平均等の統計処理した結果を記録するようにしてもよ
い。

【００３２】上述した実施の形態では、位置検出センサ
２として、極細の導電線を縦方向に等間隔に並べた透明
シートと極細の導電線を横方向に等間隔に並べた透明シ
ートとをギャップを設けて対向させてマトリクススイッ
チを形成したたものを使用したが、本発明の実施はこの
ような方式の位置検出センサ２に限られるものではな
い。すなわち、ユーザの操作を検出できるセンサであれ
ば、例えば、赤外線の発光素子と受光素子とをＸ軸方向
に対向させたもの及びＹ軸方向に対向させたものを組み
合わせて、指で遮られた光軸を検知することによって指
位置を検出する方式のもの等を使用できる。

【００３３】上述した実施の形態では、位置検出センサ
２によって、ユーザの操作を自動的に検出して各操作に
おける完了時間を測定する操作性能評価装置について説
明したが、測定そのものは、手動で行ってもよい。すな
わち、図１のビデオカメラ６で撮影されＶＴＲ７によっ
て記録された画像を画像表示装置８上に再生させ、その
再生画像を観察して特定の操作の完了を肉眼で捉えて、
完了時間を測定してもよい。

【００３４】図９は、この測定のために表示装置４上に
表示され、図示しないマウスから操作可能な測定用のプ
ログラムの操作画面である。図９に示すようにこの操作
画面では、タスクの欄２２に操作性能評価の対象となる
タスクが表示され、操作の欄２３に操作の完了時刻が測
定されるべき操作の名称が表示されている。

【００３５】スタートボタン２０を押すことで測定が開
始する。この状態でオペレータは、再生された画像を観
察し、ユーザが該当の操作を完了するごとに完了時間採
取ボタン２１を押す。するとその時点の時間が操作の完
了時間として取り込まれ、操作の欄２３には次に完了時
間を測定すべき操作が明示される。すべての操作の完了
時間の採取が終了すると測定が終了する。

【００３６】上述した本実施の形態に係る操作性能評価
装置では、予め対象システムの指示手順を構成する操作
の組み合わせを制御プログラム１ｂの指示に従い定義
し、図５に示すタスクテーブル１３及び操作テーブル１
４を作成しておき、これに基づき対象システムの評価を
行う。このような指示手順を定義する機能よって、本操
作性能評価装置が複数の対象システムの評価に適用可能
となる。しかし、この指示手順の定義機能そのものは本
発明に必須の構成ではなく、これに代えて、例えば対象
システムごとに制御プログラムを作成することによって
本発明を実施できる。

【００３７】本実施の形態では、専門家完了時間を求め
る対象として対象システムの開発者を想定した。このよ
うに開発者を基準にした専門家時間比率を求めること
で、開発者の立場から見えていなかった一般ユーザの操
作上の問題点が明確になる。ただし、専門家時間比率を
求める基準としての専門家は、開発者に限定されるもの
ではなく、対象システムの操作を指導するインストラク
タ、営業担当者、ユーザスタッフ等、種々の階層に属す
る人を専門家として専門家完了時間を測定して記録して
おいてもよい。その結果、種々の階層の専門家を基準に
専門家時間比率を算出することでき、各階層の専門家に
見えていなかった操作上の問題点を摘出することができ
る。

【００３８】

【発明の効果】以上説明したように、本発明によれば、
ユーザがシステムを操作した際の各操作の完了時間が測
定され、これが複数ユーザに対して集計されるので、簡
易に評価データを収集することができる。さらにユーザ
による各操作の完了時間の専門家による完了時間に対す
る比率としての専門家時間比率に基づいて操作性能を評
価するので、一般の開発担当者でも短時間に評価データ
の分析を行うことができ、操作性能上の問題点を摘出す
ることができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る操作性能評価装置
の構成を示すブロック図

【図２】操作手順を示す図

【図３】操作手順を示す図

【図４】ＡＴＭの操作卓上のタッチパネルに表示される
画面の例を示す図

【図５】タスクテーブルと操作テーブルを示す図

【図６】本発明の一実施の形態に係る操作性能評価装置
の処理を示すフローチャート

【図７】操作性能評価結果の例を示す図

【図８】操作性能評価結果の例を示す図

【図９】本発明の一実施の形態の変形例に係る操作画面
を示す図

【符号の説明】

１ ＣＰＵ １ａ タイマ １ｂ 制御プログラム ２ 位置検出センサ ３ ハードディスク装置 ４ 表示手段 ５ キーボード １０ ＡＴＭ １１ 操作性能評価装置 １２ ＡＴＭのタッチパネル １３ タスクテーブル １４ 操作テーブル

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B042 GA10 GA36 HH20 MA08 MA14 MC34 MC37 NN08 NN14 5B049 AA01 BB46 DD01 EE02 GG04 GG09 5B055 BB03 BB19 MM01 NF09 5E501 AA30 AC50 BA20 CA03 DA17 EA40

Claims (6)

【特許請求の範囲】
1. 【請求項１】複数の操作を含むユーザからの指示手順に
   従って機能するシステムの操作性能を評価するための操
   作性能評価装置であって、 システムを機能させるためにユーザが指示手順として操
   作した各操作の完了を検出するための操作検出部と、 前記各操作が完了した完了時間を測定する完了時間測定
   部と、 前記測定された完了時間を集計する集計部と、 前記完了時間を表示する表示部とを備え、 前記集計された各操作の完了時間に基づいてシステムの
   操作性能を評価する操作性能評価装置。
2. 【請求項２】評価されるシステムに応じた操作の組み合
   わせとして前記指示手順を定義するための指示手順定義
   部をさらに備えた請求項１記載の操作性能評価装置。
3. 【請求項３】評価されるシステムに関する専門知識を有
   する専門家による各操作の完了時間としての専門家完了
   時間を保持する手段をさらに備え、 前記各操作の完了時間の前記専門家完了時間に対する比
   率としての専門家時間比率に基づいて対象システムの操
   作性能を評価する請求項１記載の操作性能評価装置。
4. 【請求項４】前記表示部は、前記専門家時間比率が特定
   値を越える操作と前記専門家時間比率が特定値を越ない
   操作とを識別可能に表示する請求項３記載の操作性能評
   価装置。
5. 【請求項５】複数の操作を含むユーザからの指示手順に
   従って機能するシステムの操作性能を評価するための操
   作性能評価方法であって、 システムを機能させるためにユーザが指示手順として操
   作した各操作の完了を検出するステップと、 前記各操作が完了した完了時間を測定するステップと、 前記測定された完了時間を集計するステップとを備え、 前記指示手順に含まれる各操作の完了時間を集計してシ
   ステムの操作性能を評価する操作性能評価方法。
6. 【請求項６】複数の操作を含むユーザからの指示手順に
   従って機能するシステムの操作性能を評価するためのプ
   ログラムであって、 システムを機能させるためにユーザが指示手順として操
   作した各操作の完了を検出するステップと、 前記各操作が完了した完了時間を測定するステップと、 前記測定された完了時間を集計するステップとを備え、 前記指示手順に含まれる各操作の完了時間を集計してシ
   ステムの操作性能を評価するプログラムを記録したコン
   ピュータ読み取り可能な記録媒体。