JP2014106942A - ユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラム - Google Patents

ユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラム Download PDF

Info

Publication number
JP2014106942A
JP2014106942A JP2012261957A JP2012261957A JP2014106942A JP 2014106942 A JP2014106942 A JP 2014106942A JP 2012261957 A JP2012261957 A JP 2012261957A JP 2012261957 A JP2012261957 A JP 2012261957A JP 2014106942 A JP2014106942 A JP 2014106942A
Authority
JP
Japan
Prior art keywords
usability
unit
trajectory
user
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012261957A
Other languages
English (en)
Other versions
JP6066052B2 (ja
Inventor
Nobuyuki Nishiuchi
信之 西内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Metropolitan Public University Corp
Original Assignee
Tokyo Metropolitan Public University Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Metropolitan Public University Corp filed Critical Tokyo Metropolitan Public University Corp
Priority to JP2012261957A priority Critical patent/JP6066052B2/ja
Publication of JP2014106942A publication Critical patent/JP2014106942A/ja
Application granted granted Critical
Publication of JP6066052B2 publication Critical patent/JP6066052B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Abstract

【課題】実質的にリアルタイムで容易に所定の装置のユーザビリティを評価できるユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラムを提供する。
【解決手段】ユーザビリティ評価システム1は、所定の装置2に所定の機能を発揮させる指示が入力される入力部200のユーザビリティを評価するユーザビリティ評価システム1であって、入力部200を操作するユーザーの身体の一部の動作をユーザー動作画像として撮像する撮像部10と、撮像部10が撮像したユーザー動作画像から身体の一部の軌跡を抽出する軌跡抽出部20と、軌跡抽出部20が抽出した軌跡の特徴量を抽出する特徴量抽出部30と、特徴量抽出部30が抽出した特徴量と動作の基準である基準動作の基準量とを比較する比較部40と、比較部の比較結果に基づいてユーザビリティを評価する評価部50とを備える。
【選択図】図1

Description

本発明は、ユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラムに関する。特に、本発明は、所定の装置を操作するユーザーの身体の一部の軌跡をユーザビリティの評価に利用するユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラムに関する。
従来、負荷が最小となる基準動作、負荷が課された思考動作、探索動作、及び思考・探索動作のそれぞれを実施するユーザーの指先の画像から指先の停留時間を算出し、思考動作と基準動作との停留時間の差分、探索動作と基準動作との停留時間の差分、思考・探索動作と基準動作との停留時間の差分を算出し、各差分を比較することで所定の機器の操作性を評価する操作性評価装置が知られている(例えば、特許文献1参照。)。特許文献1に記載の操作性評価装置によれば、予め基準動作、思考動作、探索動作、及び思考・探索動作について測定することで、当該機器のユーザインタフェースのユーザビリティを定量的に評価できる。
特開2011−100344号
しかし、特許文献1に記載されている操作性評価装置においては、ユーザーに所定の数値を探すことを要する探索動作や所定の計算式から求められる数値を選択させる思考動作等の予め定められた動作を事前に実行させて基準データを作成することを要する。したがって、特許文献1に記載されている操作性評価装置においては、ファクシミリやタッチパネル操作を要する情報端末等の実機のユーザビリティ評価を実質的にリアルタイムで実施することができない。
したがって、本発明の目的は、実質的にリアルタイムで容易に所定の装置のユーザビリティを評価できるユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラムを提供することにある。
本発明は、上記目的を達成するため、所定の装置に所定の機能を発揮させる指示が入力される入力部のユーザビリティを評価するユーザビリティ評価システムであって、入力部を操作するユーザーの身体の一部の動作をユーザー動作画像として撮像する撮像部と、撮像部が撮像したユーザー動作画像から身体の一部の軌跡を抽出する軌跡抽出部と、軌跡抽出部が抽出した軌跡の特徴量を抽出する特徴量抽出部と、特徴量抽出部が抽出した特徴量と動作の基準である基準動作の基準量とを比較する比較部と、比較部の比較結果に基づいてユーザビリティを評価する評価部とを備えるユーザビリティ評価システムが提供される。
また、上記ユーザビリティ評価システムにおいて、撮像部が、入力部を含む領域を撮像領域とし、特徴量が、軌跡の長さである軌跡長を含み、基準量が、基準動作の軌跡の長さである基準軌跡長を含み、評価部が、軌跡長と基準軌跡長との相違に基づいてユーザビリティを評価することもできる。
また、上記ユーザビリティ評価システムにおいて、入力部が、複数の入力ポイントを有し、特徴量抽出部が、複数の入力ポイントのうち一の入力ポイントに身体の一部が接触した時点から他の入力ポイントに身体の一部が接触した時点までの軌跡、及び一の入力ポイントから他の入力ポイントに身体の一部が到達するまでに要した操作時間を抽出し、比較部が、一の入力ポイントから他の入力ポイントまでの距離を基準軌跡長として取得すると共に、一の入力ポイントから他の入力ポイントに身体の一部が到達するまでに要する理想的な時間である基準操作時間を取得し、軌跡と基準軌跡長とを比較すると共に、操作時間と基準操作時間とを比較することもできる。
また、上記ユーザビリティ評価システムにおいて、基準量が、装置の操作に熟達した熟練者の動作に基づいて決定されてもよい。
また、上記ユーザビリティ評価システムにおいて、特徴量が、身体の一部の移動速度が予め定められた閾値以下の速度を継続している時間である停留時間、身体の一部の移動方向が切り替わった回数である切り返し回数、及び身体の一部が撮像領域の外に外れた回数であるフレームアウト回数から選択される少なくとも1つの特徴量を更に含むこともできる。
本発明は、上記目的を達成するため、所定の装置に所定の機能を発揮させる指示が入力される入力部のユーザビリティを評価するユーザビリティ評価方法であって、入力部を操作するユーザーの身体の一部の動作をユーザー動作画像として撮像する撮像段階と、撮像段階におい撮像されたユーザー動作画像から身体の一部の軌跡を抽出する軌跡抽出段階と、軌跡抽出段階において抽出された軌跡の特徴量を抽出する特徴量抽出段階と、特徴量抽出段階において抽出された特徴量と動作の基準である基準動作の基準量とを比較する比較段階と、比較段階における比較結果に基づいてユーザビリティを評価する評価段階とを備えるユーザビリティ評価方法が提供される。
本発明は、上記目的を達成するため、所定の装置に所定の機能を発揮させる指示が入力される入力部のユーザビリティを評価するユーザビリティ評価システム用のプログラムであって、ユーザビリティ評価システムに、入力部を操作するユーザーの身体の一部の動作をユーザー動作画像として撮像する撮像機能と、撮像機能において撮像されたユーザー動作画像から身体の一部の軌跡を抽出する軌跡抽出機能と、軌跡抽出機能において抽出された軌跡の特徴量を抽出する特徴量抽出機能と、特徴量抽出機能において抽出された特徴量と動作の基準である基準動作の基準量とを比較する比較機能と、比較機能における比較結果に基づいてユーザビリティを評価する評価機能とを実現させるユーザビリティ評価システム用のプログラムが提供される。
本発明に係るユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラムによれば、実質的にリアルタイムで容易に所定の装置のユーザビリティを評価できるユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラムを提供できる。
本発明の実施の形態に係るユーザビリティ評価システムの概要図である。 本発明の実施の形態に係るユーザビリティ評価システムの機能構成ブロック図である。 本発明の実施の形態に係る比較部の比較及び評価部の評価の概念図である。 本発明の実施の形態に係るユーザビリティ評価システムの処理の流れを示す図である。 本発明の実施の形態に係るユーザビリティ評価システムのハードウェア構成図である。
[実施の形態]
図1は、本発明の実施の形態に係るユーザビリティ評価システムの概要を示す。
(ユーザビリティ評価システム1の概要)
本実施の形態に係るユーザビリティ評価システム1は、ファクシミリ、又は電話機等の操作パネル、テレビ、DVD機器、オーディオ機器、又は洗濯機等の家電のコントローラー、タッチパネルを備えるゲーム機、携帯情報端末、又はATM等の情報通信装置等(以下、「実機」という場合がある)の所定の装置のユーザビリティを自動的に評価する。ユーザビリティ評価システム1は、ユーザーが実機を操作している動作を撮像すると共に、ユーザーの当該動作と、当該動作から算出される理想的な動作若しくは予め取得しておいた理想的な動作である基準動作とを比較する。そして、ユーザビリティ評価システム1は、比較結果に基づいて、実質的にリアルタイムで当該実機のユーザビリティの評価結果を出力する。なお、本実施の形態における「ユーザビリティ」とは、所定の装置を所定の状況でユーザーが利用する場合において、当該装置が指定された目的を達成する場合の、ユーザーにとっての効率性である。
例えば、図1に示すように、ユーザーがファクシミリ等の装置2が備える入力部200としての操作部のボタンを操作する場合を説明する。ユーザーは、操作部を操作する手400の指の先に着色された指サック70を装着する。更に、当該指にユーザーが実際に操作部のボタンを押したことを検知した場合に発光する発光部72を装着する。この状態で、ユーザビリティ評価システム1は、操作部を含む領域を撮像領域300として撮像する。
まず、図1(a)に示すように、ユーザビリティ評価システム1は、ユーザーが装置2の操作部を操作している状態を撮像する。ユーザビリティ評価システム1は、予め定められた時間間隔で撮像領域300を撮像する。そして、ユーザビリティ評価システム1は、撮像して取得した撮像画像から指サック70の撮像領域300内における位置を検出し、各フレーム画像で検出された指サック70の位置を結合することで、ユーザーが操作部を操作している間のユーザーの指先の軌跡500を抽出する。
また、ユーザビリティ評価システム1は、発光部72が発光した時に撮像領域300内の所定のボタンが押されたことを検知する。そして、ユーザビリティ評価システム1は、撮像領域300内の発光位置のそれぞれを時系列に沿って結合することで理想的な動作における指先の軌跡510を抽出する。例えば、図1(b)に示すように、ユーザビリティ評価システム1が、入力ポイント210a、入力ポイント210b、入力ポイント210a、入力ポイント210d、入力ポイント210c、入力ポイント210f、入力ポイント210a、入力ポイント210e、入力ポイント210a、入力ポイント210gの順に発光を検出した場合、各入力ポイント間を結合することで理想的な動作における軌跡510を抽出できる。
なお、ユーザビリティ評価システム1は、マシンインターフェースにおける人間の動作をモデル化した法則であって、ある地点から対象となる地点まで人間の身体の一部が移動することに要する理想的な時間を算出できるFittsの法則を用い、発光位置間の移動に要する理想的な時間を算出することもできる。また、ユーザビリティ評価システム1は、装置2の操作方法について熟知している熟練者が装置2の操作部を操作している状態を撮像することで、理想的な動作における軌跡510を示すデータを予め格納することもできる。
次に、ユーザビリティ評価システム1は、ユーザーの軌跡500と理想的な動作における軌跡510とを比較する。ユーザビリティ評価システム1は、例えば、指先の軌跡500の長さである軌跡長と理想的な動作における軌跡510の基準軌跡長とを比較する。そして、軌跡長が基準軌跡長より長い場合(一例として、軌跡長と基準軌跡長との比が3.0以上の場合)にユーザビリティが悪い可能性があると判断する。ユーザビリティ評価システム1は、発光位置間毎に軌跡長と基準軌跡長とを比較することで、装置2の複数の操作のいずれの操作についてユーザビリティが悪い可能性があるか否かを特定することもできる。なお、ユーザビリティが悪い可能性があると判断される軌跡長と基準軌跡長との比は、ユーザビリティ評価システム1がユーザビリティを評価する対象である装置によって変化し得る。
また、ユーザビリティ評価システム1は、軌跡500を解析することで、軌跡500の複数の評価パラメータとしての特徴を抽出することができる。具体的に評価パラメータとしての特徴は、ユーザーの指先が撮像領域300内で停留していた停留時間、指の移動方向が切り替わったである切り返し回数、指先が撮像領域300から外れたフレームアウト回数、及び/又はユーザーが装置2を操作している操作時間等である。
ユーザビリティ評価システム1は、軌跡500を解析することで抽出した特徴に基づいて、ユーザーが装置2の複数の操作のいずれの操作で、いかなる理由で戸惑っていたかを示す評価を出力することができる。この場合において、ユーザビリティ評価システム1は、一の特徴の特徴量を複数の数値範囲に分割し、数値範囲のそれぞれにユーザビリティの評価を示す評価データを対応づけて所定の格納部に予め格納しておくこともできる。ユーザビリティ評価システム1は、軌跡500を解析することで抽出した特徴の特徴量に対応する評価データを当該格納部から取得することで、評価結果を外部に出力することもできる。例えば、指の停留時間が長い場合や、指先が撮像領域300から外れたフレームアウト回数が多い場合は、ユーザーが次の操作を探している、ユーザーにとって予想外の事が起こっているなどの問題があることが考えられる。また、軌跡長が長い場合や、切り返し回数が多い場合は、ユーザーが混乱している、手を操作面から外さなければ次の操作がわからない、あるいは次の操作ボタンが見えない等の問題があることが考えられる。
(ユーザビリティ評価システム1の構成)
図2は、本発明の実施の形態に係るユーザビリティ評価システムの機能構成の一例を示す。
本実施の形態に係るユーザビリティ評価システム1は、所定の装置2に所定の機能を発揮させる指示が入力される入力部200のユーザビリティを評価するユーザビリティ評価システム1であって、入力部200を操作するユーザーの身体の一部の動作をユーザー動作画像として撮像する撮像部10と、撮像部10が撮像したユーザー動作画像から身体の一部の軌跡を抽出する軌跡抽出部20と、軌跡抽出部20が抽出した軌跡の特徴量を抽出する特徴量抽出部30と、基準動作の基準量を格納する基準データ格納部35と、特徴量抽出部30が抽出した特徴量と基準量とを比較する比較部40と、比較部40の比較結果に基づいてユーザビリティを評価する評価部50と、ユーザー動作画像、軌跡、特徴量を所定の形式に変換して得られる表示データ、及び/又は評価部50の評価結果を出力部60に所定の形式で出力させる出力制御部55と、出力制御部55から受け取った情報をユーザビリティ評価システム1の外部に出力する出力部60とを備える。
また、軌跡抽出部20に軌跡を容易に抽出させることを目的として、ユーザーは手400の指先に着色された指サック70を装着して装置2の入力部200を操作する。また、入力部200が有する複数の入力ポイント210のいずれかに指先が接触したことを検知する検知部74に接続され、検知部74が接触を検知した場合に発光する発光部72がユーザーの指先に装着される。
(撮像部10)
撮像部10は、装置2の入力部200を含む撮像領域300を予め定められた時間間隔で連続的に撮像する。具体的に撮像部10は、入力部200に所定の指示を入力するユーザーの身体の一部としての指先の動作を撮像領域300と共に動画像として撮像する。これにより撮像部10は、動画像を構成する複数のユーザー動作画像(一例として、フレーム画像)を撮像する。なお、ユーザー動作画像には、当該ユーザー動作画像が撮像された撮像日時及び時刻を対応づけることができる。撮像部10は、撮像したユーザー動作画像を軌跡抽出部20及び出力制御部55に供給する。
(軌跡抽出部20)
軌跡抽出部20は、ユーザー動作画像からユーザーの身体の一部の軌跡を抽出する。具体的に軌跡抽出部20は、エッジ検出等の画像処理により複数のユーザー動作画像のそれぞれから指サック70を検出する。次に、軌跡抽出部20は、指サック70の撮像領域300内における位置を検出する。更に、軌跡抽出部20は、複数のユーザー動作画像のそれぞれに対応づけられている撮像日時及び/又は時刻を参照し、検出した指サック70の複数の位置を時系列に沿って結合することでユーザーの指先の軌跡を抽出する。
また、軌跡抽出部20は、発光部72が発光したことを示す発光情報をユーザー動作画像に対応づける。すなわち、軌跡抽出部20は、軌跡の抽出と共にユーザーが実際に操作した入力ポイント210の位置を発光部72の発光により検出し、ユーザーが当該入力ポイント210を操作した日時及び/又は時刻と共に発光情報をユーザー動作画像に対応づける。軌跡抽出部20は、抽出した軌跡を示すデータ及びユーザー動作画像を特徴量抽出部30及び出力制御部55に供給する。
なお、本実施の形態ではユーザーの指先に指サック70を装着させているが、軌跡抽出部20がユーザーの身体の一部の撮像領域300内における位置を抽出することができる限り、指サック70のユーザーの指先への装着は必須ではない。
(特徴量抽出部30、基準データ格納部35)
特徴量抽出部30は、軌跡抽出部20から受け取った軌跡を示すデータ及びユーザー動作画像に基づいて、当該軌跡の評価パラメータとしての特徴量を抽出する。本実施の形態において特徴とは、ユーザーの身体の一部(例えば、指先)の移動軌跡の特徴であり、特徴量は特徴を定量的に表す量である。
具体的に、装置2の入力部200若しくは複数の入力ポイント210に対するユーザーの操作開始から操作終了までの操作時間(すなわち、入力部200に指示が入力される操作に要する時間)、移動軌跡の長さである軌跡長、身体の一部の移動速度が予め定められた閾値を下回り続けた時間である停留時間、身体の一部の移動方向が切り替わった回数である切り返し回数、及び身体の一部が撮像領域300から外れた回数であるフレームアウト回数等が特徴として挙げられる。
特徴量抽出部30は、ユーザー動作画像、ユーザー動作画像に対応づけられた撮像日時及び時刻、並びに発光情報を用いると共にユーザー動作画像に画像処理を施して、軌跡、操作時間、軌跡長、停留時間、切り返し回数、及びフレームアウト回数等を抽出する。例えば、特徴量抽出部30は、複数の入力ポイント210のうち一の入力ポイントに身体の一部が接触した時点から他の入力ポイントに身体の一部が接触した時点までの当該身体の一部の軌跡、及び一の入力ポイントから他の入力ポイントに身体の一部が到達するまでに要した移動時間を操作時間として抽出する。
また、特徴量抽出部30は、軌跡抽出部20から受け取ったユーザー動作画像に対応づけられている発光情報を解析し、装置2を操作する場合の動作の基準である基準動作及び基準動作の基準量を抽出することができる。
例えば、ユーザーが第1の入力ポイントを操作した場合、身体の一部が第1の入力ポイントに接触した時点で発光部72は発光する(以下、第1の発光という。)。次にユーザーが第2の入力ポイントを操作した場合、身体の一部が第2の入力ポイントに接触した時手で発光部72は再び発光する(以下、第2の発光という。)。撮像部10は、第1の発光を含む第1のユーザー動作画像及び第2の発光を含む第2のユーザー動作画像を撮像している。そして、軌跡抽出部20は、第1のユーザー動作画像において第1の入力ポイントが操作されたことを示す第1の発光の存在を検出し、第1の発光の存在を示す第1発光情報を第1のユーザー動作画像に対応づけ、第2のユーザー動作画像において第2の入力ポイントが操作されたことを示す第2の発光の存在を検出し、第2の発光の存在を示す第2発光情報を第2のユーザー動作画像に対応づける。なお、軌跡抽出部20は、予め定められた輝度以上の画素を含むユーザー動作画像を、発光を含むユーザー動作画像として判断できる。
続いて、特徴量抽出部30は、第1発光情報が対応づけられた第1のユーザー動作画像と第2発光情報が対応づけられた第2のユーザー動作画像とを用い、第1の入力ポイントと第2の入力ポイントとの間の最短距離を基準動作の軌跡の長さである基準軌跡長として算出する。発光情報が対応づけられたユーザー動作画像を用いることで、仮にユーザーが第1の入力ポイントと第2の入力ポイントとの間で操作に戸惑っていた場合であっても、特徴量抽出部30は第1の入力ポイントと第2の入力ポイントとの間の距離を基準軌跡長として適切に算出できる。更に、特徴量抽出部30は、基準軌跡長をFittsの法則にあてはめて、第1の入力ポイントから第2の入力ポイントまでユーザーの身体の一部が移動するまでに要する理想的な時間である基準操作時間を算出することもできる。
また、特徴量抽出部30は、複数のユーザー動作画像、及び/又は発光情報が対応づけられた複数のユーザー動作画像に画像処理を施すことで、基準動作の停留時間である基準停留時間、及び基準動作の切り返し回数である基準切り返し回数等を算出することができる。なお、特徴量抽出部30は、基準動作の基準量を予め設定してもよい。
なお、特徴量抽出部30は、装置2の操作に熟達した熟練者(例えば、装置2を設計した設計者、開発者等)の動作に基づいて基準量を決定することもできる。すなわち、ユーザビリティ評価システム1は、熟練者が装置2を操作する状態を撮像部10が撮像して得られるユーザー動作画像に軌跡抽出部20が画像処理を施して得られる軌跡について特徴量抽出部30が解析することで、基準操作時間、及び基準切り返し回数を算出することができる。ここで特徴量抽出部30は、2つの入力ポイント間の最短距離を基準軌跡長として抽出する。
特徴量抽出部30は、基準操作時間、基準軌跡長、及び基準切り返し回数を基準データ格納部35、比較部40及び出力制御部55に供給する。基準データ格納部35は、基準動作の基準操作時間、基準軌跡長、及び基準切り返し回数を基準量として少なくとも一時的に格納する。基準データ格納部35は、比較部40の働きかけに応じ、基準動作の基準操作時間、基準軌跡長、及び基準切り返し回数を示す情報を比較部40に供給する。なお、停留回数及びフレームアウト回数は、ユーザビリティの観点からはいずれも「0」に近いほど好ましい。したがって、基準データ格納部35は、停留回数の基準量である基準停留回数、及び/又はフレームアウト回数の基準量である基準フレームアウト回数をいずれも「0」に設定し、予め格納してもよい。
(比較部40)
比較部40は、特徴量抽出部30から受け取った特徴量と基準データ格納部35が格納している基準量とを比較する。具体的に、比較部40は、特徴量抽出部30から所定のタスクに対してユーザーが実行した動作に対応する軌跡長、操作時間、停留時間、及び/又は切り返し回数を示す情報を取得する。そして、比較部40は、当該タスクに対応する基準軌跡長、基準操作時間、及び/又は基準切り返し回数を基準データ格納部35から取得する。続いて比較部40は、特徴量抽出部30から受け取った特徴量と基準データ格納部35から取得した基準量とを比較し、両者の相違を比較結果として取得する。
例えば比較部40は、特徴量抽出部30から受け取った軌跡長と基準データ格納部35から取得した基準軌跡長とを比較し、いずれが長いかを比較する。また、比較部40は、特徴量抽出部30から受け取った切り返し回数と基準データ格納部35から取得した基準切り返し回数とを比較し、いずれが多いかを比較する。比較部40は、比較結果を評価部50に供給する。ここで、停留回数及びフレームアウト回数は、ユーザビリティの観点からはいずれも「0」に近いほど好ましい。したがって、比較部40は、停留回数及び/又はフレームアウト回数については「0」を基準値として比較する。なお、比較部40は、基準データ格納部35が予め「0」に設定された基準停留回数及び/又は基準フレームアウト回数を格納している場合、停留回数と当該基準停留回数と、及び/又はフレームアウト回数と基準フレームアウト回数とを比較することもできる。
また、比較部40は、操作時間については、「初心者の操作時間÷熟練者の操作時間」で表されるNovice Expert ratio(NE比)を用いることで、熟練者とユーザーとの間の相違を抽出することができる。ここで、「初心者の操作時間」が特徴量抽出部30において抽出された操作時間に該当し、「熟練者の操作時間」が基準操作時間に該当する。NE比が「1」に近いほど、ユーザビリティが良好であると判断できる。なお、比較部40は、軌跡長について操作時間と同様にNE比を用いることで、ユーザーの軌跡長と熟練者の軌跡長とを比較してもよい。
(評価部50)
評価部50は、比較部40の比較結果に基づいて装置2のユーザビリティを評価する。例えば、評価部50は、軌跡から抽出される特徴量と基準動作の基準量との比又は差(すなわち、比較結果を示すデータ)に対応づけて評価を示す評価データを格納する評価データ格納部を有することができる。そして、評価部50は、比較部40から受け取った比較結果に対応する評価データを評価データ格納部から抽出することでユーザビリティを評価する。評価部50は、評価結果を示す評価データを出力制御部55に供給する。
(出力制御部55、出力部60)
出力制御部55は、撮像部10から受け取ったユーザー動作画像、軌跡抽出部20が抽出した軌跡、特徴量抽出部30が抽出した特徴量、及び/又は評価部50の評価結果を出力部60にユーザーに知覚可能に出力させる。
例えば、出力部60は、液晶モニター等の表示装置、プリンター等の出力装置である。出力部60が表示装置である場合、出力制御部55は、撮像領域300の画像に軌跡を重畳させて出力部60に表示させる。また、出力制御部55は、ユーザーの指先が停留した場合、停留地点を中心に停留時間に応じて半径が大きくなる円を撮像領域300の画像に重畳させて出力部60に表示させることもできる。更に、出力制御部55は、評価部50の評価結果を、テキストデータ、数値データ、及び/又は画像データとして出力部60に出力させることもできる。
図3は、本発明の実施の形態に係る比較部の比較及び評価部の評価の概要を概念的に示す。具体的に、図3(a)は基準動作に基づく軌跡を示し、(b)はユーザーの動作に基づく軌跡を示す。
ここでは、所定の装置2の操作部に対して入力ポイント212、入力ポイント212a、入力ポイント212b、入力ポイント212c、入力ポイント212d、入力ポイント212e、入力ポイント212f、そして、入力ポイント212の順に操作するタスクを考える。
まず、図3(a)に示すように、ユーザビリティ評価システム1は、当該タスクを実行する場合における理想的な操作から抽出される軌跡を軌跡520として表す。この場合、各入力ポイント間は最短距離で結合される。また、各入力ポイントにおける身体の一部の停留時間は予め定められた時間以下に設定されている。
一方、図3(b)に示すように、ユーザーが当該タスクを実行した場合における軌跡を軌跡530として表す。ユーザビリティ評価システム1は、例えば、ユーザーが入力ポイント212を操作してから入力ポイント212aを操作するまでに、地点220において指先を予め定められた時間を超える時間停留させていた場合、地点220において予め定められた時間を超える停留時間に比例した半径を有し、地点220を中心とする円220aを出力部60に表示させる。評価部50は、予め定められた停留時間を超える停留時間に対応する円が形成された場合、当該円が形成された場所においてユーザーが戸惑っていると評価する。また、評価部50は円の大きさに応じてユーザーの戸惑い具合が大きいと評価することもできる。
同様に、ユーザビリティ評価システム1は、ユーザーが地点222において指先を予め定められた時間を超えて停留させていた場合に、地点222において円222aを表示する。ユーザビリティ評価システム1は、円222aの大きさもユーザーが指先を停留させていた時間に応じて決定される。また、ユーザビリティ評価システム1は、ユーザーが地点224において指先を予め定められた時間を超えて停留させていた場合に、地点224において円224aを出力部60に表示させる。評価部50は、地点222及び地点224においてもユーザーが戸惑っていると評価する。
また、軌跡530において、比較部40が所定の入力ポイント間の軌跡長と基準軌跡長とが相違する比較結果を得た場合、評価部50は、当該入力ポイント間でユーザーが戸惑っていると評価する。この場合において、評価部50は、切り返し回数と基準切り返し回数とが相違する比較結果を得ている場合、この比較結果を総合してユーザビリティを評価することもできる。なお、評価部50は、比較部40から停留回数と基準停留回数である「0」との差分、及び/又はフレームアウト回数と基準フレームアウト回数である「0」との差分を示す情報を得ている場合、これらの情報を総合してユーザビリティを評価することもできる。
図4は、本発明の実施の形態に係るユーザビリティ評価システムの処理の流れの一例を示す。
まず、ユーザーの指先に指サック70を装着させると共に発光部72を装着させる。そして、ユーザーが操作を開始すると共に、撮像部10が撮像を開始する(ステップ10。以下、ステップを「S」と表す。)。撮像部10は、撮像領域300内におけるユーザーの指の動作を予め定められた時間間隔で撮像する(S20)。例えば、撮像部10は、撮像領域300を1秒間に予め定められた一定の間隔で撮像される所定の枚数のユーザー動作画像を含む動画として撮像する。
次に、軌跡抽出部20は、撮像部10が撮像した複数のユーザー動作画像からユーザーの指の軌跡を抽出する(S30)。軌跡抽出部20は抽出した軌跡を示すデータを特徴量抽出部30に供給する。特徴量抽出部30は、当該軌跡を示すデータから軌跡の特徴量(例えば、操作時間、軌跡、軌跡長、及び/又は切り返し回数等)を抽出する(S40)。特徴量抽出部30は、抽出した特徴量を示すデータを比較部40に供給する。
比較部40は、特徴量抽出部30から受け取った特徴量を示すデータと、基準データ格納部35に格納されている基準動作の基準量を示すデータとを比較する(S50)。比較部40は比較結果を示すデータを評価部50に供給する。評価部50は、比較部40から受け取った比較結果を示すデータを評価する(S60)。例えば、評価部50は、評価データ格納部から、比較結果を示すデータに対応づけて評価データ格納部が格納している評価結果を示すデータを抽出することで評価してもよい。評価部50は、評価結果を示すデータを出力制御部55に供給する。出力制御部55は、評価結果を示すデータをユーザーに知覚可能に出力部60に出力させる(S60)。
図5は、本発明の実施の形態に係るユーザビリティ評価システムのハードウェア構成の一例を示す。
本実施の形態に係るユーザビリティ評価システム1は、CPU1500と、グラフィックコントローラ1520と、RandomAccessMemory(RAM)、Read−OnlyMemory(ROM)及び/又はフラッシュROM等のメモリ1530と、データを記憶する記憶装置1540と、記録媒体からデータを読み込み及び/又は記録媒体にデータを書き込む読込み/書込み装置1545と、データを入力する入力装置1560と、外部の通信機器とデータを送受信する通信インターフェース1550と、CPU1500とグラフィックコントローラ1520とメモリ1530と記憶装置1540と読込み/書込み装置1545と入力装置1560と通信インターフェース1550とを互いに通信可能に接続するチップセット1510とを備える。
チップセット1510は、メモリ1530と、メモリ1530にアクセスして所定の処理を実行するCPU1500と、外部の表示装置の表示を制御するグラフィックコントローラ1520とを相互に接続することにより、各構成要素間のデータの受渡しを実行する。CPU1500は、メモリ1530に格納されたプログラムに基づいて動作して、各構成要素を制御する。グラフィックコントローラ1520は、メモリ1530内に設けられたバッファ上に一時的に蓄えられた画像データに基づいて、画像を所定の表示装置に表示させる。
また、チップセット1510は、記憶装置1540と、読込み/書込み装置1545と、通信インターフェース1550とを接続する。記憶装置1540は、ユーザビリティ評価システム1のCPU1500が使用するプログラムとデータとを格納する。記憶装置1540は、例えば、フラッシュメモリである。読込み/書込み装置1545は、プログラム及び/又はデータを記憶している記憶媒体からプログラム及び/又はデータを読み取って、読み取ったプログラム及び/又はデータを記憶装置1540に格納する。読込み/書込み装置1545は、例えば、通信インターフェース1550を介し、インターネット上のサーバから所定のプログラムを取得して、取得したプログラムを記憶装置1540に格納する。
通信インターフェース1550は、通信ネットワークを介して外部の装置とデータの送受信を実行する。また、通信インターフェース1550は、通信ネットワークが不通の場合、通信ネットワークを介さずに外部の装置とデータの送受信を実行することもできる。そして、タブレット、マイク等の入力装置1560は、所定のインターフェースを介してチップセット1510と接続する。
記憶装置1540に格納されるユーザビリティ評価システム1用のプログラムは、インターネット等の通信ネットワーク、又は磁気記録媒体、光学記録媒体等の記録媒体を介して記憶装置1540に提供される。そして、記憶装置1540に格納されたユーザビリティ評価システム1用のプログラムは、CPU1500により実行される。
本実施の形態に係るユーザビリティ評価システム1により実行されるユーザビリティ評価システム1用のプログラムは、CPU1500に働きかけて、ユーザビリティ評価システム1を、図1から図4にかけて説明した撮像部10、軌跡抽出部20、特徴量抽出部30、基準データ格納部35、比較部40、評価部50、出力制御部55、及び出力部60として機能させる。
(実施の形態の効果)
本実施の形態に係るユーザビリティ評価システム1は、ユーザーが実機を操作している状態をユーザーの身体の一部の軌跡として取得すると共に、取得した軌跡から求められる基準動作若しくは予め格納していた基準動作をもとに理想的な操作の軌跡を抽出してユーザーの操作と比較できるので、実質的にリアルタイムで容易に所定の装置2のユーザビリティを評価することができる。これにより、ユーザビリティ評価システム1は、例えば、所定の装置のプロトタイプを作製した場合に、作製したプロトタイプそのものを用いて当該装置のユーザビリティを評価できる。
また、ユーザビリティ評価システム1は、ユーザーが実機を操作している状態を複数のユーザー動作画像として取得し、複数のユーザー動作画像からユーザーの身体の一部の軌跡を抽出した上でユーザビリティを評価するので、実機の複数の操作のいずれの操作でいかなる理由でユーザビリティが低下しているのかを容易に把握できる。
本実施の形態に係るユーザビリティ評価システム1を用い、Panasonic社製のファクシミリ(型番:KX−PW621DL)を用いて、以下の複数のタスクのユーザビリティを評価した。
タスクは、以下の5つのタスクである。第1のタスクは、ファクシミリに内蔵されている電話帳を開く操作である。第2のタスクは、送信先の名前の検索方法を決定する操作である。第3のタスクは、検索キーワード(本実施例では、一例として、「タカハシ」をキーワードとした)を入力する操作である。第4のタスクは、送信先を決定する操作である。そして、第5のタスクは、ファックス送信を実行する操作である。表1に、これらのタスクのユーザビリティ評価システム1による測定結果を示す。
Figure 2014106942
表1を参照すると、第1のタスクにおいては距離NE比が「1.13」であり、電話帳を開くために要するボタン操作において距離の観点からユーザビリティは良好であり、停留時間が0.6秒であることから、ボタン操作に戸惑いがほぼないことが示された。また、第2のタスクにおいては、時間NE比が「4.5」を、距離NE比が「3.0」を超えており、停留時間も3.8秒と長く、検索方法の決定におけるユーザビリティに問題があることが示された。なお、時間NE比が「4.5」を超える場合、ユーザビリティ評価システム1の評価対象である装置のユーザビリティには大きな問題があると評価される。
次に、第3のタスクにおいては、時間NE比及び距離NE比共に「3」を超えており、検索キーワードを入力する操作においてもユーザビリティに改善の余地があることが示された。そして、第4のタスクにおいては、時間NE比が「4」に近く、停留時間が1.5秒であるため、第1のタスクに比べればユーザビリティが悪い可能性のあることが示された。続いて、第5のタスクにおいては時間NE比が「8.25」であり、距離NE比、停留時間からも同様にユーザビリティにかなりの改善の余地があることが示された。
更に、本実施の形態に係るユーザビリティ評価システム1を用い、Sharp社製のファクシミリ(型番:UX−900CL)を用いて、以下の複数のタスクのユーザビリティを評価した。
タスクは、以下の4つのタスクである。第1のタスクは、ファクシミリに内蔵されている電話帳を開く操作である。第2のタスクは、ページ送りを2回行う操作である。第3のタスクは、検索キーワード(本実施例では、一例として、「タカハシ」をキーワードとした)を入力する操作である。第4のタスクは、ファックス送信を実行する操作である。表2に、これらのタスクのユーザビリティ評価システム1による測定結果を示す。
Figure 2014106942
表2を参照すると、第2のタスクにおいて、時間NE比は「2.92」とユーザビリティに問題がないように思われるが、距離NE比は「4.10」と大きい。これは、実際には、ユーザーが操作面から一度手を離して次の操作ボタンを確認しなければいけない状態であるため、距離NE比が大きくなっている。一方で、時間NE比は、基準操作時間となる熟練者の操作においても、同様に操作面から一度手を離す必要があるため、熟練者も操作時間がかかってしまっており、時間NE比が大きくならない。
すなわち、時間NE比では、問題が抽出されなかった操作ステップにおいて、距離NE比を参照することで、ユーザビリティの問題点が明らかになったといえる。このことは、第4のタスクにおいても同様のことが言える。
以上、本発明の実施の形態及び実施例を説明したが、上記に記載した実施の形態及び実施例は特許請求の範囲に係る発明を限定するものではない。また、実施の形態及び実施例の中で説明した特徴の組合せのすべてが発明の課題を解決するための手段に必須であるとは限らない。
1 ユーザビリティ評価システム
2 装置
10 撮像部
20 軌跡抽出部
30 特徴量抽出部
35 基準データ格納部
40 比較部
50 評価部
55 出力制御部
60 出力部
70 指サック
72 発光部
74 検知部
200 入力部
210、210a、210b、210c 入力ポイント
210d、210e、210f、210g 入力ポイント
212、212a、212b、212c 入力ポイント
212d、212e、212f 入力ポイント
220、222、224 地点
220a、222a、224a 円
300 撮像領域
400 手
500、510、520、530 軌跡
1500 CPU
1510 チップセット
1520 グラフィックコントローラ
1530 メモリ
1540 記憶装置
1545 読込み/書込み装置
1550 通信インターフェース
1560 入力装置

Claims (7)

  1. 所定の装置に所定の機能を発揮させる指示が入力される入力部のユーザビリティを評価するユーザビリティ評価システムであって、
    前記入力部を操作するユーザーの身体の一部の動作をユーザー動作画像として撮像する撮像部と、
    前記撮像部が撮像した前記ユーザー動作画像から前記身体の一部の軌跡を抽出する軌跡抽出部と、
    前記軌跡抽出部が抽出した前記軌跡の特徴量を抽出する特徴量抽出部と、
    前記特徴量抽出部が抽出した前記特徴量と前記動作の基準である基準動作の基準量とを比較する比較部と、
    前記比較部の比較結果に基づいて前記ユーザビリティを評価する評価部と
    を備えるユーザビリティ評価システム。
  2. 前記撮像部が、前記入力部を含む領域を撮像領域とし、
    前記特徴量が、前記軌跡の長さである軌跡長を含み、
    前記基準量が、前記基準動作の軌跡の長さである基準軌跡長を含み、
    前記評価部が、前記軌跡長と前記基準軌跡長との相違に基づいて前記ユーザビリティを評価する請求項1に記載のユーザビリティ評価システム。
  3. 前記入力部が、複数の入力ポイントを有し、
    前記特徴量抽出部が、前記複数の入力ポイントのうち一の入力ポイントに前記身体の一部が接触した時点から他の入力ポイントに前記身体の一部が接触した時点までの前記軌跡、及び前記一の入力ポイントから前記他の入力ポイントに前記身体の一部が到達するまでに要した操作時間を抽出し、
    前記比較部が、前記一の入力ポイントから前記他の入力ポイントまでの距離を前記基準軌跡長として取得すると共に、前記一の入力ポイントから前記他の入力ポイントに前記身体の一部が到達するまでに要する理想的な時間である基準操作時間を取得し、前記軌跡と前記基準軌跡長とを比較すると共に、前記操作時間と前記基準操作時間とを比較する請求項2に記載のユーザビリティ評価システム。
  4. 前記基準量が、前記装置の操作に熟達した熟練者の動作に基づいて決定される請求項2に記載のユーザビリティ評価システム。
  5. 前記特徴量が、前記身体の一部の移動速度が予め定められた閾値以下の速度を継続している時間である停留時間、前記身体の一部の移動方向が切り替わった回数である切り返し回数、及び前記身体の一部が前記撮像領域の外に外れた回数であるフレームアウト回数から選択される少なくとも1つの前記特徴量を更に含む請求項2〜4のいずれか1項に記載のユーザビリティ評価システム。
  6. 所定の装置に所定の機能を発揮させる指示が入力される入力部のユーザビリティを評価するユーザビリティ評価方法であって、
    前記入力部を操作するユーザーの身体の一部の動作をユーザー動作画像として撮像する撮像段階と、
    前記撮像段階におい撮像された前記ユーザー動作画像から前記身体の一部の軌跡を抽出する軌跡抽出段階と、
    前記軌跡抽出段階において抽出された前記軌跡の特徴量を抽出する特徴量抽出段階と、
    前記特徴量抽出段階において抽出された前記特徴量と前記動作の基準である基準動作の基準量とを比較する比較段階と、
    前記比較段階における比較結果に基づいて前記ユーザビリティを評価する評価段階と
    を備えるユーザビリティ評価方法。
  7. 所定の装置に所定の機能を発揮させる指示が入力される入力部のユーザビリティを評価するユーザビリティ評価システム用のプログラムであって、
    前記ユーザビリティ評価システムに、
    前記入力部を操作するユーザーの身体の一部の動作をユーザー動作画像として撮像する撮像機能と、
    前記撮像機能において撮像された前記ユーザー動作画像から前記身体の一部の軌跡を抽出する軌跡抽出機能と、
    前記軌跡抽出機能において抽出された前記軌跡の特徴量を抽出する特徴量抽出機能と、
    前記特徴量抽出機能において抽出された前記特徴量と前記動作の基準である基準動作の基準量とを比較する比較機能と、
    前記比較機能における比較結果に基づいて前記ユーザビリティを評価する評価機能と
    を実現させるユーザビリティ評価システム用のプログラム。
JP2012261957A 2012-11-30 2012-11-30 ユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラム Expired - Fee Related JP6066052B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012261957A JP6066052B2 (ja) 2012-11-30 2012-11-30 ユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012261957A JP6066052B2 (ja) 2012-11-30 2012-11-30 ユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラム

Publications (2)

Publication Number Publication Date
JP2014106942A true JP2014106942A (ja) 2014-06-09
JP6066052B2 JP6066052B2 (ja) 2017-01-25

Family

ID=51028319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012261957A Expired - Fee Related JP6066052B2 (ja) 2012-11-30 2012-11-30 ユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラム

Country Status (1)

Country Link
JP (1) JP6066052B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017207670A (ja) * 2016-05-19 2017-11-24 株式会社東芝 プラントの操作評価装置、その操作評価システム、及びその操作評価方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056771A (ja) * 1999-08-18 2001-02-27 Noobasu:Kk 操作性能評価装置、及び方法
JP2004287716A (ja) * 2003-03-20 2004-10-14 Osaka Gas Co Ltd ユーザビリティ評価改善方法及びシステム
JP2006209259A (ja) * 2005-01-25 2006-08-10 Fuji Xerox Co Ltd 操作支援システム及び操作支援方法、並びにコンピュータ・プログラム
US20060199167A1 (en) * 2004-12-21 2006-09-07 Yang Ung Y User interface design and evaluation system and hand interaction based user interface design and evaluation system
JP2010117964A (ja) * 2008-11-14 2010-05-27 Toyota Central R&D Labs Inc 困惑度推定装置、及びプログラム
JP2011100344A (ja) * 2009-11-06 2011-05-19 Tokyo Metropolitan Univ 操作性評価装置、操作性評価方法、操作性評価プログラム、及び操作性評価システム
WO2012151585A2 (en) * 2011-05-05 2012-11-08 The Johns Hopkins University Method and system for analyzing a task trajectory

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056771A (ja) * 1999-08-18 2001-02-27 Noobasu:Kk 操作性能評価装置、及び方法
JP2004287716A (ja) * 2003-03-20 2004-10-14 Osaka Gas Co Ltd ユーザビリティ評価改善方法及びシステム
US20060199167A1 (en) * 2004-12-21 2006-09-07 Yang Ung Y User interface design and evaluation system and hand interaction based user interface design and evaluation system
JP2006209259A (ja) * 2005-01-25 2006-08-10 Fuji Xerox Co Ltd 操作支援システム及び操作支援方法、並びにコンピュータ・プログラム
JP2010117964A (ja) * 2008-11-14 2010-05-27 Toyota Central R&D Labs Inc 困惑度推定装置、及びプログラム
JP2011100344A (ja) * 2009-11-06 2011-05-19 Tokyo Metropolitan Univ 操作性評価装置、操作性評価方法、操作性評価プログラム、及び操作性評価システム
WO2012151585A2 (en) * 2011-05-05 2012-11-08 The Johns Hopkins University Method and system for analyzing a task trajectory

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016046582; 狩塚 俊和,佐藤 宏介: '身につける画像処理〜ウェアラブル プロジェクタ投影型ウェアラブルシステム 小型プロジェクタを用いた複' 画像ラボ 第14巻 第11号, 20031101, 第5-9頁, 日本工業出版株式会社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017207670A (ja) * 2016-05-19 2017-11-24 株式会社東芝 プラントの操作評価装置、その操作評価システム、及びその操作評価方法

Also Published As

Publication number Publication date
JP6066052B2 (ja) 2017-01-25

Similar Documents

Publication Publication Date Title
US11650659B2 (en) User input processing with eye tracking
US20130077831A1 (en) Motion recognition apparatus, motion recognition method, operation apparatus, electronic apparatus, and program
US11579904B2 (en) Learning data collection device, learning data collection system, and learning data collection method
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
AU2015296671A1 (en) Switching between cameras of an electronic device
US20140022171A1 (en) System and method for controlling an external system using a remote device with a depth sensor
CN102033702A (zh) 影像显示装置及其显示控制方法
US9485412B2 (en) Device and method for using pressure-sensing touch screen to take picture
US9804667B2 (en) Electronic apparatus
EP3400827A1 (en) Electronic make-up mirror device and background switching method thereof
KR101631015B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US20200050280A1 (en) Operation instruction execution method and apparatus, user terminal and storage medium
US20130229348A1 (en) Driving method of virtual mouse
CN114066875A (zh) 切片图像处理方法、装置、存储介质及终端设备
JP6066052B2 (ja) ユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラム
JP2013225013A5 (ja)
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
JP2015184906A (ja) 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム
CN112818825B (zh) 工作状态确定方法和装置
JP2008242881A (ja) 入力装置及び入力プログラム
JP6399131B2 (ja) 情報処理装置
JP2009205498A (ja) 情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体
WO2018161421A1 (zh) 终端设备的触摸显示屏幕的性能测试方法和性能测试装置
WO2017072913A1 (ja) 制御方法、電子黒板システム、表示装置およびプログラム
JP5735453B2 (ja) 表示制御装置、表示制御方法、情報表示システム、およびプログラム。

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161213

R150 Certificate of patent or registration of utility model

Ref document number: 6066052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees