JP2014509877A - 人間・機械インターフェース性能評価のための運転手作業負荷関数および運転手作業負荷関数の使用を判定する方法 - Google Patents

人間・機械インターフェース性能評価のための運転手作業負荷関数および運転手作業負荷関数の使用を判定する方法 Download PDF

Info

Publication number
JP2014509877A
JP2014509877A JP2013544885A JP2013544885A JP2014509877A JP 2014509877 A JP2014509877 A JP 2014509877A JP 2013544885 A JP2013544885 A JP 2013544885A JP 2013544885 A JP2013544885 A JP 2013544885A JP 2014509877 A JP2014509877 A JP 2014509877A
Authority
JP
Japan
Prior art keywords
driver
user interface
ability
operate
objectively
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013544885A
Other languages
English (en)
Other versions
JP5794309B2 (ja
Inventor
パラ シルビウ
誠史 吉田
マクブライド ジャスティン
リグニー キャロライナー
ボー サン
Original Assignee
デンソー インターナショナル アメリカ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デンソー インターナショナル アメリカ インコーポレーテッド filed Critical デンソー インターナショナル アメリカ インコーポレーテッド
Publication of JP2014509877A publication Critical patent/JP2014509877A/ja
Application granted granted Critical
Publication of JP5794309B2 publication Critical patent/JP5794309B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/38Creation or generation of source code for implementing user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】ユーザインターフェースを運転手の能力に合わせてカスタマイズする。
【解決手段】自動車のユーザインターフェースを操作する運転手の能力を客観的に測定する方法。本方法は、容易なタスク、中程度のタスク、および困難なタスクを含む、様々な困難度の複数の校正タスクのうち各々1つを実施する運転手の能力を客観的に測定することと、ユーザインターフェースを操作する運転手の能力を評価する尺度であって、各校正タスクを実施する運転手の能力の客観的測定値に基づいて、運転手のためにカスタマイズされた尺度を生成することと、自動車のユーザインターフェースの機能を操作する運転手の能力を客観的に測定することと、ユーザインターフェースが運転手に適切であるかを判定するために、その尺度を使用して自動車のユーザインターフェースの機能を操作する運転手の能力を客観的に評価することとを含む。
【選択図】図1

Description

(関連出願への相互参照)本出願は、2011年12月27日提出の米国実用出願第13/337,671号の優先権、および2010年12月30日提出の米国仮出願第61/428,521号の利益を主張し、これらの開示全体は参照により本明細書に組み入れられる。
本開示は、人間・機械インターフェース性能評価およびカスタマイズ化のために運転手作業負荷関数、および運転手作業負荷関数の使用を決定する方法に関する。
本項は、必ずしも先行技術ではない、本開示に関する背景情報を提供する。
自動車または航空機等の車両の運転には、典型的に、運転手または操縦士がユーザインターフェースと相互作用することが必要である。最新のユーザインターフェースは、多様なグラフィックスおよびデジタル表示形式を含むことができ、音声コマンド、タッチ画面、およびジョイスティック等、様々な方式で操作することができる。最新のユーザインターフェースを操作するための技能は、運転手の間で大きく異なる。例えば、従来の速度計に慣れているよりより年上の運転手は、類似のユーザインターフェースをしばしば含むビデオゲームを遊んで成長したより若齢の運転手よりも、最新のユーザインターフェースを操作することをより困難に感じる場合がある。
特定のユーザインターフェースを操作するために必要な運転手の能力および作業負荷を測定、ならびに特定のユーザインターフェースの使用の容易性を評価するために、運転手はしばしば、主観的回答を必要とする一連の問いに答えるよう質問される。例えば、電話をかける等の特定のタスクについて、運転手は、タスクを完了することが可能であったか、タスクの作業負荷は許容可能であったか、タスクの実施中、車両の運転に十分に集中することが可能であったか、1〜10の尺度で、タスクを完了するためにユーザインターフェースを操作することは全体的にどの程度困難だったか、の一連の問いを質問される場合がある。質問は主観的回答を求めるため、特に、自分の技能を過大評価する、または自分の技能セットに欠陥を認めることが単に恥ずかしい運転手にとって、特定のユーザインターフェースを操作する運転手の能力の正確な評価を得ることは困難である。このため、出願人は、ユーザインターフェースを運転手の能力に合わせてカスタマイズすることを可能にする、自動車のユーザインターフェースを操作する運転手の能力を客観的に測定するための方法を発明した。
本項は、本開示の概要を提供するものであり、その全範囲またはその機能の全ての包括的開示ではない。
本教示は、自動車のユーザインターフェースを操作する運転手の能力を客観的に測定する方法を提供する。本方法は、容易なタスク、中程度のタスク、および困難なタスクを含む、様々な困難度の複数の校正タスクのうち各々1つを実施する運転手の能力を客観的に測定することと、ユーザインターフェースを操作する運転手の能力を評価する尺度であって、各校正タスクを実施する運転手の能力の客観的測定値に基づいて、運転手のためにカスタマイズされた、尺度を生成することと、自動車のユーザインターフェースの機能を操作する運転手の能力を客観的に測定することと、ユーザインターフェースが運転手に適切であるかを判定するために、尺度を使用して自動車のユーザインターフェースの機能を操作する運転手の能力を客観的に評価することとを含む。
本教示はまた、自動車のユーザインターフェースを操作する運転手の能力を客観的に測定する方法も提供する。本方法は、運転中の容易なタスク、運転中の中程度のタスク、および運転中の困難なタスクを含む、様々な困難度の複数の校正タスクのうち各々1つを実施する運転手の能力を客観的に測定することと、ユーザインターフェースを操作する運転手の能力を測定する尺度であって、各校正タスクを実施する運転手の能力の客観的測定値に基づいて、運転手のためにカスタマイズされた、尺度を生成することと、尺度を使用して自動車のユーザインターフェースの機能を操作する運転手の能力を客観的に測定し、評価することと、機能を操作するユーザの能力に基づいて、ユーザのためにユーザインターフェースをカスタマイズすることとを含む。
本教示は、自動車のユーザインターフェースを操作する運転手の能力を客観的に測定する方法をさらに提供する。本方法は、多様な困難度の複数の校正タスクのうちの各々1つを実施するために必要な運転手作業負荷を客観的に測定することと、ユーザインターフェースの操作中に運転手に課せられる作業負荷を測定する尺度であって、校正タスクの実施中に運転手によって使用された作業負荷の客観的測定値に基づいて、運転手のためにパーソナライズされた、尺度を生成することと、自動車のユーザインターフェースの機能を操作するために運転手によって使用される運転手作業負荷を客観的に測定することと、自動車のユーザインターフェースの機能を操作するために運転手によって使用される運転手作業負荷を客観的に評価することと、ユーザインターフェースを操作するために運転手によって使用される作業負荷を最適化するために、運転手のためにユーザインターフェースをカスタマイズすることとを含む。
さらなる分野の適用性は、本明細書に提供される説明から明らかになるであろう。本要約の説明および特定の例は、例示の目的を意図するに過ぎず、本開示の範囲を制限することを意図しない。
本教示に従い、自動車のユーザインターフェースを操作する運転手の能力を客観的に測定する方法を示す。 ユーザインターフェースを操作する運転手の能力を客観的に測定するためのデバイスを示す。 図1の方法の例示的な計算、測定、および結果を示す。
本明細書に記載の図面は、全ての可能な実装ではなく、選択された実施形態の図示だけを目的とし、本開示の範囲を制限することを意図しない。対応する参照番号は、図面のいくつかの図中で対応する部分を示す。例示的な実施形態は、添付の図面を参照してより詳細に説明する。
図1をまず参照すると、自動車のユーザインターフェースまたは人間・機械インターフェース(HMI)を操作する運転手の能力を客観的に測定するための方法は、概して、参照番号10に示される。ブロック12で、多様な困難度の複数の校正または基準タスクのうちの各々1つを実施する運転手の能力が測定される。各校正タスクを実施する運転手の能力は、各タスクを実施するために必要な運転手作業負荷量の観点から測定することができる。様々な困難度の任意の適切な数の校正タスクを使用することができる。校正タスクは、本明細書に詳細に記載される図2のHMI評価デバイス30のような試験端末またはコンピュータを使用して実施することができる。校正タスクは、車両から離れて、停止車両内、および/あるいは運転手が車両を運転中のいずれかで実施することができる。校正タスクは、1〜10の尺度等、既定の作業負荷値が割り当てられ、1が最も容易で、10が最も困難である。
校正タスクは、人工の代理タスク、現実タスク(表面的妥当性タスク)、またはこれらの組み合わせにすることができる。例えば、運転手には、端末またはコンピュータ上の一連の円を提示し、最大の円(単数または複数)を備える領域を特定し、触れるように求めることができる。また、複数の矢印を運転手に表示することもでき、運転手に、他と異なる方向を指している矢印(単数または複数)を特定し、それに触れるように指示することができる。円および矢印のパターンは、タスクの望ましい困難度に依存して変えることができる。代理タスクは、1つ以上の聴覚または聴力試験を含むこともできる。代理タスクは、このように、運転手の認識、視覚、操作、注意、集中、または聴覚の作業負荷を判定するための任意の適切なタスクまたは試験を含んでもよい。
別の例の代理校正タスクは、運転手に一連の数字を提示し、運転手に特定の数または数列を特定するように指示することを含む。例えば、1〜9の数列は、携帯端末またはコンピュータ上で1度に1つの数字を運転手に表示することができる。運転手が特定の校正タスクの目標数列を見ると、運転手は、端末の左および右両方のボタンを同時に押すように指示される。容易なタスクの場合、数字「5」が表示されると、両方のボタンを押すように運転手に指示することができる。困難度が中程度のタスクの場合、最後の3つの数字が偶数であった場合に両方のボタンを押すように運転手に求めることができる。困難なタスクの場合、表示された数字が2つ前に表示されていた場合に両方のボタンを押すように運転手に求めることができる。
また、校正タスクは、車両または模擬のユーザインターフェース上で実施される現実または非人工の表面的妥当性タスクを含むこともできる。現実または非人工の校正タスクは、例えば、温度を75°Fへ上昇させること、HVACファン速度を1段階増加または減少させること、空調から送風モードへ等、HVACモードを変更すること、単一の無線局をプリセットすること、無線の音量を1段階上げるまたは下げること、電話に応答すること、GPSナビゲーション経路を設定すること等のうち1つ以上を含むことができる。代理または人工タスクについて、これらの校正タスクの各々は、1〜10の範囲の既定の困難度に割り当てられる。
校正タスクは、運転だけのタスク、ならびに運転中に実施される容易、中程度、および困難なタスクを含むことができる。例えば、運転のみのタスクには、1の作業負荷値を割り当てることができ、3つの矢印の配置から縦方向の矢印を選択する等、運転中に実施される容易なタスクには、3の値を割り当てることができ、9つの水平方向の矢印から1つの縦方向の矢印を選択する等、運転中に実施される中程度のタスクには、5の値を割り当てることができ、20以上の複数のより小さい円から2つの最大の円を選択する等、運転中に実施される困難なタスクには、8の値を割り当てることができる。校正タスクは、HVACファン速度を変更する等、1つ以上の表面妥当性タスクを含むこともできる。
各校正タスクを実施する運転手の能力は、多様な適切な方式のうちの任意の1つで客観的に測定される。運転手の能力は作業負荷の観点から試験され、性能(速度、レーン内の位置、タスク時間等)、知覚(視線追跡、一瞥時間、合計時間、周波数)、および/または生理学的(脳波活動、心拍、心拍の変動、呼吸)に関して測定することができる。例えば、各タスクについて、合計タスク時間(秒)、運転手の目が道路から離れた時間のパーセント、ユーザインターフェースへの重要な一瞥の回数、心拍および心拍の変動、発汗を測定することができる、皮膚抵抗または伝導度(SRL)、および脳波活動(EEG)の性能パラメータのうちの任意の1つ以上を測定することができる。
性能パラメータは、任意の適切な種類の測定機器またはデバイスを使用して、各性能パラメータについて、パラメータ素点を得るために測定することができる。例えば、運転手の手のひらの皮膚抵抗度は、ハンドルに設置したセンサを用いて測定することができる。心拍は、心電図(ECG)を用いて、またはハンドル内のセンサを用いて測定することができる。脳波は、EEGセンサ電極ネットを用いる等、脳波検査(EEG)を使用して測定することができる。前頭葉、後頭部、正中部、および感覚運動領域等、任意の適切な脳波パラメータを測定することができる。測定することができる脳波の周波数範囲は、アルファ(8〜12Hz)、ベータ(13〜20Hz)、高ベータ(17〜20Hz)、低ベータ(13〜16Hz)、シータ3.5〜7.5、デルタ(0.5〜3Hz)、およびガンマ(21〜50Hz)を含む。タスクの実施中の減速、および専用レーンに留まる能力等、運転性能を測定することもできる。
測定機器は、携帯可能であり、性能パラメータを測定するために必要な機器の全てを含む、HMI評価デバイス30(図2)に含めることができる。キットは、各タスクを実施する運転手の作業負荷および能力を測定するために、製造業者および/または販売業者に提供することができる。結果は、次いで、運転手の能力に合わせてユーザインターフェースをカスタマイズするために、製造業者または販売業者が使用することができる。
図2をさらに参照すると、HMI評価デバイス30は概して、複数の入力デバイス(例えば、タッチ画面、リアルおよび仮想スイッチ、スライダ、および/またはノブ等)を備えるインターフェース32と、コントローラ34と、複数の生理学的センサ36(例えば、EEG、EKG、およびSLGを含む)と、視線追跡センサ38と、車両データ入力40(例えば、ハンドル角度、速度、横加速度、およびレーンの逸脱)と、ディスプレイ42と、オーディオシステム54とを含む。デバイス30は、例えば、車両から車両へ容易に持ち運びすることができる小型アセンブリまたはキットにパッケージ化することができる。
インターフェース32は、タッチ画面44、キーパッド、ジョイスティック、あるいはいくつかの他のボタンまたは入力のうちの任意の1つを通して等、多様な方式で運転手またはユーザ入力を受容することができる。例えば、代理タスクが複数の水平方向矢印から1つの縦方向矢印を選択することを含む場合、矢印はタッチ画面44上に表示することができ、タッチ画面44を使用して縦方向矢印を選択することができる。インターフェース32は、コントローラ34と通信し、インターフェース32の入力をコントローラ34へ送信する。
コントローラ34は、メモリ46と、プロセッサまたはコンピュータ48と、信号増幅器および調整器50とを含む。コントローラ34は、生理学的センサ36および視線追跡センサ38から入力を受信し、運転手作業負荷関数(DWF)の観点から各校正タスクを実施する運転手の能力を客観的に測定するために、運転手の能力40に関する車両データを受信する。DWFは、以下に詳細を説明するように、例えば、認知作業負荷、視覚作業負荷、操作作業負荷、音響作業負荷等のうちの1つ以上に基づく。校正タスクの性能パラメータ測定値および結果は、ディスプレイ42上に表示し、データ通信52を通してディスプレイ42に伝送することができる。図1のブロック14を参照すると、各校正タスクを実施する運転手の能力は、運転手に合わせてカスタマイズされる作業負荷尺度または測定単位を生成するために使用される。尺度は、最終的に、ユーザインターフェースを操作する運転手の能力を計測するために使用することができる。各測定された性能パラメータのDWF加重値または加重パラメータ値は、パラメータの素点に、校正タスクを実施する運転手の能力に対する性能パラメータの関連性または重要性に基づいて、DWF因子または重みを乗じることによって得られる。例えば、視覚パラメータまたは因子は典型的に他よりも重要であるため、視覚性能パラメータには最大の重みが与えられる。このため、道路から目を離した一瞥時間のパーセントには、0.6のDWS因子を割り当てることができ、これは、例えば、SRLパラメータに割り当てられた0.15のDWF因子よりも大きい。
素点の絶対数値に起因して、1つ以上の性能パラメータに大きすぎるまたは小さすぎる重みが与えられることを避けるために、各性能パラメータは増減される。例えば、皮膚抵抗度(SRL)が約25ミリオーム(0.025オーム=2.5E−2)で測定され、EEGレベルが4E〜6Jで測定された場合、SRL測定値は、EEG値よりも約4桁大きい。EEGおよびSRL値が運転手作業負荷関数で同じ重要性または重みに従うことになると、SRL値は、その絶対数値がより大きいことだけに起因して、重みが大きくなり過ぎる。そのため、各性能パラメータの素点は、測定値間の一切の絶対数値差を削減または排除するように尺度因子によって乗じられる。
校正タスクの各々の各性能パラメータのDWF加重値は、各パラメータに割り当てられた尺度DWF因子および尺度因子によって乗じられた後、合計して、各校正タスクの合計DWF加重値を得る。各校正タスクの合計DWS加重値は、線形または非線形拡大係数を用いる等、任意の適切な手法で、1〜10の運転手作業負荷尺度に拡大される。結果は、各校正タスクの最終拡大DWF値であり、その各々は、次いで、1〜10の運転手作業負荷尺度で示され、ユーザインターフェースを操作する運転手の能力を測定する尺度を生成し、ユーザインターフェースは、各校正タスクを実施する運転手の能力の客観的測定値に基づいて、運転手に合わせてカスタマイズされる。これらの計算は、コントローラ34のCPU48によって実行することができる。
運転手に合わせてカスタマイズされる作業負荷尺度の生成は、コントローラ34のCPU48を使用して実施することができ、ここで図3の例を参照して詳細に説明する。図3の例では、運転のみのタスクと、困難度が低いタスクである、3つの水平方向矢印の配置から1つの縦方向矢印を選択しながら運転することと、困難度が中程度のタスクである、9つの水平方向矢印から1つの縦方向矢印を選択しながら運転することと、困難度が高いタスクである、20以上の複数のより小さい円から2つの最大円を選択しながら運転すること、の4つの校正タスクが実施された。運転のみのタスクには、1の既定の作業負荷値が割り当てられ、困難度が低いタスクには3の作業負荷値が割り当てられ、困難度が中程度のタスクには5の作業負荷値が割り当てられ、困難度が高いタスクには8の作業負荷値が割り当てられた。全ての3つの校正タスクは代理タスクであると説明したが、校正タスクは1つ以上の表面妥当性タスクを含んでもよい。例えば、困難度が低いタスクは、HVAC速度を変更することを含むことができ、困難度が中程度のタスクは、無線のプリセットを設定することを含むことができ、困難度が高いタスクは、ナビゲーション経路を設定することを含むことができる。このように、作業負荷尺度は、全ての代理タスク、全ての表面妥当性タスク、または代理および表面妥当性タスクの組み合わせに基づいて生成することができる。代理および表面妥当性タスクの組み合わせが使用される場合、使用される代理タスクの数は、使用される表面妥当性タスクの数よりも多くすることができる。
図3の例において、合計タスク時間(秒)、道路から目を離した視覚%一瞥時間、自動車のユーザインターフェースまたはHMIへの重要な一瞥回数、1分間の心拍数(HRV)、皮膚抵抗度(SRL)(オーム)、脳波EEGベータ1、脳波EEGベータ2の性能パラメータが測定された。各性能パラメータは、各パラメータの重要度に基づいて、DWF因子の重みが割り当てられた。例えば、道路から目を離した視覚%一瞥時間およびユーザインターフェースへの重要な一瞥の回数は、最も重要であると予め決定され、このため、両方に最高のDWF因子の0.6が与えられた。合計タスク時間は、2番目に重要な因子であると決定され、0.25のDWF値が割り当てられた。HRVは、3番目と決定され、DWF因子は0.22とした。SRLおよびEEGベータ1は等しい重みで、各々DWF因子は0.15とした。EEGベータ2は、最も重要度が低いパラメータであると決定され、このため、最小のDWF因子の0.1が割り当てられた。
最初に、各パラメータの素点の値がベースライン値に比較された。例えば、運転中に実施された困難度が中程度のタスクで測定された90回転/分(bpm)に関して、90bpmは、運転中だけに測定された81bpmベースラインよりも9bpm大きいため、9bpmの差は、DWF因子の0.22および尺度因子の10を乗じて、0.198のDWF加重値を得る。各素点が各パラメータのDWF因子および尺度因子で乗じられた後、各測定パラメータの得られたDWF加重値は、合算されて、合計DWS加重値を得る。このように、例において、各校正タスクで、合計DWF加重値は運転のみのタスクでは1.25、運転中に実施された困難度が低いタスクでは2.96、運転中に実施された困難度が中程度のタスクでは4.33、運転中に実施された困難度が高いタスクでは6.82であった。
各タスクの合計DWF加重値は、次いで、単純な直線または非直線拡大係数等、拡大関数係数を使用して「拡大」される。この例では、使用された拡大関数係数は、1.0965であった。このため、合計DWF加重値の各々はこの係数で乗じられた。結果は、最終拡大DWF値は、運転のみのタスクでは1.37、困難度が低いタスクでは3.24、困難度が中程度のタスクでは4.75、および困難度が高いタスクでは7.48であった。このように、試験された特定の運転手では、運転だけおよび困難度が低いタスクを実施するための運転手の作業負荷は予想より高く、一方、困難度が中程度および高いタスクを実施するために経験された運転手の作業負荷は予想より低かった。
図1のブロック16を参照すると、運転手のパーソナライズされた最終拡大DWF尺度は、ユーザインターフェースを操作する現実タスクを実施するための運転手の能力および作業負荷を客観的に評価するために使用することができる。例えば、図3の例を参照すると、運転中に無線局を変更するという実際のHMIタスクを実施するための性能パラメータのDWF加重値は、合算されて、3.80の合計DWF加重値を得て、これが拡大関数係数の1.0965で乗じられて、4.17の最終拡大DWF値を得た。このように、この特定の運転手では、運転中に無線局を変更するタスクは、運転手にとって困難度が容易と中程度のタスクのほぼ中間に位置付けられた。
運転手のインターフェースを使用して、運転手によって実施される多種多様なタスクについて各タスクの最終拡大DWF値を得るために、同じ方法および計算を繰り返すことができる。最終拡大DWF値の全ての和は、タスクの数で除されて、運転手のグラフィカルユーザインターフェース/マルチモデルインターフェース値(GUI/MMI値)を得る。このため、一連の異なるタスクを実施した後、運転手の全体的なGUI/MMI値が、例えば、7より大きい場合、ユーザインターフェースは運転手のために簡素化されるべきである。逆に、運転手の全体的なGUI/MMI値が例えば2未満である場合、運転手には、さらに多くの機能を含む、さらに複雑なユーザインターフェースが提供されてもよい。このように、自動車のユーザインターフェースを操作する運転手の能力は、図1のブロック18に記載されるように、特定のユーザインターフェースが、運転手のスキルにとって適切であるか評価するために、客観的に判定することができる。図1のブロック20を参照すると、ユーザインターフェースは、次いで、必要に応じて運転手に合うように修正することができる。
ユーザインターフェースおよび/またはその多様な機能を操作する運転手の能力または作業負荷を客観的に評価する能力によって、製造業者および/または販売業者には、特定の運転手またはユーザに合わせてユーザインターフェースをより正確にカスタマイズする能力が提供される。例えば、高いGUI/MMI値を記録する高齢者には、簡素化したデータベースを提供することができ、低いGUI/MMI値を記録する若いコンピュータに詳しい顧客には、より多くの機能を備えたより高度なユーザインターフェースを提供することができる。
上記のように各校正タスクの最終拡大DWFに基づいて作業負荷尺度を生成することに加えて、各パラメータのパラメータ素点を作業負荷尺度上に示すことができる。例えば、図3の例のHRVパラメータに関して、運転だけのタスクが1の作業負荷値に割り当てられたため、運転手の心拍の81bpmだけが1の作業負荷値に示された。同様に、困難度が低いタスクの85bpmの心拍は、3の作業負荷値に割り当てられ、困難度が中程度の90bpmの心拍は、5の作業負荷値に割り当てられ、困難度が高いタスクの100の心拍数は、8の作業負荷値が割り当てられる。無線を変更するHMIタスクのパラメータ素点は87bpmであり、したがって、HRVに関して、87bpmは、代理タスクの実施中に観察された85bpm〜90bpmのほぼ中間であるため、無線を変更することは、運転手のカスタマイズされた作業負荷尺度で約4の作業負荷困難度を有する。
任意の数の他の性能パラメータは、特定の性能パラメータの観点から、ユーザインターフェースを操作する運転手の能力の客観的評価を提供するために、前の段落の記載と同じ様式で、運転手の作業負荷尺度に追加されてもよい。この様式において、運転手の能力に対する異なる性能パラメータの効果を分離することができる。例えば、無線を変更するHMIタスクで、運転手が性能パラメータのほとんどで4を記録した場合、タスクが中程度の困難度であることを示すが、道路から目を離した一瞥時間の%で7を記録した場合、これは最も重要なパラメータのうちの1つであるため、このタスクは、運転手には困難すぎると判定されてもよい。ユーザインターフェースは、運転手が道路から目を離した%一瞥時間を削減するために特定の様式で変更し、これによって、運転手の能力不足に対応するようにカスタマイズすることができる。運転手の全体的なGUI/MMI値を提供するために、各性能パラメータの作業負荷困難度を平均することができる。
前述の実施形態の説明は、例示および説明の目的で提供された。本開示を網羅すること、または制限することを意図しない。特定の実施形態の個別の要素または機能は概して、その特定の実施形態に限定されず、該当する場合には、置換可能であり、具体的に表示または記載されない場合であっても、選択された実施形態において使用することができる。また、多数の方式で変動してもよい。そのような変動は、本開示から逸脱すると見なされず、全てのそのような変更は、本開示の範囲内に含まれることを意図する。

Claims (20)

  1. 自動車のユーザインターフェースを操作する運転手の能力を客観的に測定する方法であって、
    容易なタスク、中程度のタスク、および困難なタスクを含む、様々な困難度の複数の校正タスクのうち各々1つを実施する前記運転手の能力を客観的に測定することと、
    前記ユーザインターフェースを操作する前記運転手の能力を評価する尺度であって、各校正タスクを実施する前記運転手の能力の前記客観的測定値に基づいて、前記運転手のためにカスタマイズされた、尺度を生成することと、
    前記自動車のユーザインターフェースの機能を操作する前記運転手の能力を客観的に測定することと、
    前記ユーザインターフェースが前記運転手に適切であるかを判定するために、前記尺度を使用して、前記自動車のユーザインターフェースの前記機能を操作する前記運転手の能力を客観的に評価することと、を含む、方法。
  2. 前記校正タスクは、前記運転手に提示された一連の数字のパターンを特定することと、前記運転手に表示された複数の円の間で円の寸法の差を特定することと、前記運転手に表示された複数の矢印の間で異なる方向の矢印を特定することと、のうちの少なくとも1つを含む、請求項1に記載の方法。
  3. 前記校正タスクを実施する前記運転手の能力は、各校正タスクについて、前記校正タスクを実施するために必要な合計時間量、前記運転手の目が道路から離れた時間量、心拍、皮膚湿度、体温、脳波活動、または眼球運動、のうちの少なくとも1つを測定することによって、客観的に測定される、請求項1に記載の方法。
  4. 前記校正タスクのうちの少なくとも1つは、前記自動車を運転することを含む、請求項1に記載の方法。
  5. 前記校正タスクを実施する前記運転手の能力は、インターフェース、コントローラ、少なくとも1つの生理学センサ、視線追跡センサ、車両データの入力部、ディスプレイ、およびオーディオシステムを含む携帯型評価デバイスを用いて客観的に測定される、請求項3に記載の方法。
  6. 前記尺度は、1〜10の範囲からなる、請求項1に記載の方法。
  7. 前記自動車のユーザインターフェースの前記機能は、無線の操作、環境調節の操作、携帯電話の操作、またはクルーズコントロールの操作の、表面的妥当性タスクのうちの少なくとも1つを含む、請求項1に記載の方法。
  8. 前記ユーザインターフェースの前記機能を操作する前記運転手の前記客観的に評価された能力に基づいて、前記ユーザインターフェースを修正することをさらに含む、請求項1に記載の方法。
  9. 前記ユーザインターフェースを含む自動車をさらに含む、請求項8に記載の方法。
  10. 前記校正タスクのうち各々1つを実施する前記運転手の能力に対応する複数の運転手作業関数を生成することをさらに含む、請求項1に記載の方法。
  11. 前記運転手作業関数間の絶対的数値差を少なくとも削減するように、前記運転手作業関数の各々を増減することをさらに含む、請求項10に記載の方法。
  12. 前記自動車のユーザインターフェースの前記機能を操作する前記運転手の能力は、前記機能の操作中に必要な合計時間量、運転手の目が道路から離れた時間量、心拍、皮膚の湿度、体温、脳波活動、または眼球運動のうちの少なくとも1つを測定することによって、客観的に測定される、請求項1に記載の方法。
  13. 前記自動車のユーザインターフェースの前記機能を操作する前記運転手の能力は、携帯型評価デバイスを用いて客観的に測定される、請求項12に記載の方法。
  14. 自動車のユーザインターフェースを操作する運転手の能力を客観的に測定する方法であって、
    運転だけ、運転中の容易な作業、運転中の中程度の作業、および運転中の困難な作業を含む、様々な困難度の複数の校正作業のうち各々1つを実施する前記運転手の能力を客観的に測定することと、
    前記ユーザインターフェースを操作する前記運転手の能力を測定する尺度であって、各校正タスクを実施する前記運転手の能力の前記客観的測定値に基づいて、前記運転手のためにカスタマイズされた、尺度を生成することと、
    前記尺度を使用して前記自動車のユーザインターフェースの機能を操作する前記運転手の能力を客観的に測定し、評価することと、
    前記機能を操作する前記ユーザの能力に基づいて、前記ユーザのために前記ユーザインターフェースをカスタマイズすることと、を含む、方法。
  15. 前記校正タスクを実施する前記運転手の能力は、各校正タスクについて、前記校正タスクを実施するために必要な合計時間量、前記運転手の目が道路から離れた時間量、心拍、皮膚湿度、体温、脳波活動、または眼球運動、のうちの少なくとも1つを測定することによって、客観的に測定される、請求項14に記載の方法。
  16. 前記自動車のユーザインターフェースの前記機能を操作する前記運転手の能力は、前記機能の操作中に、必要な合計時間量、前記運転手の目が道路から離れた時間量、心拍、皮膚湿度、体温、脳波活動、または眼球運動、のうちの少なくとも1つを測定することによって、客観的に測定される、請求項14に記載の方法。
  17. 前記複数の校正タスクのうち各々1つを実施する前記運転手の能力を客観的に測定することは、前記校正タスクを実施する前記運転手の必要な作業負荷を測定することを含む、請求項14に記載の方法。
  18. 自動車のユーザインターフェースを操作する運転手の能力を客観的に測定する方法であって、
    多様な困難度の複数の校正タスクのうち各々1つを実施するために必要な運転手作業負荷を客観的に測定することと、
    前記ユーザインターフェースの操作中に前記運転手に課せられる作業負荷を測定する尺度であって、前記校正タスクの実施中に前記運転手によって使用された前記作業負荷の前記客観的測定値に基づいて、前記運転手のためにパーソナライズされた、尺度を生成することと、
    前記自動車のユーザインターフェースの機能を操作するために前記運転手によって使用される運転手作業負荷を客観的に測定することと、
    前記自動車のユーザインターフェースの前記機能を操作するために前記運転手によって使用される作業負荷を客観的に評価することと、
    前記ユーザインターフェースを操作するために前記運転手によって使用される作業負荷を最適化するために、前記運転手のために前記ユーザインターフェースをカスタマイズすることと、を含む、方法。
  19. 前記自動車のユーザインターフェースの複数の機能を操作するために前記運転手によって使用される作業負荷を客観的に評価することと、
    前記自動車のユーザインターフェースを一般的に操作するために前記運転手によって使用される作業負荷を特定するために、前記複数の機能のうち各々1つを操作するために使用される前記作業負荷を平均化することと、をさらに含む、請求項18に記載の方法。
  20. 前記校正タスクのうち各々1つを実施するために必要な前記運転手の作業負荷は、各校正タスクについて、前記校正タスクを実施するために必要な合計時間量、前記運転手の目が道路から離れた時間量、心拍、皮膚湿度、体温、脳波活動、または眼球運動、のうちの少なくとも1つを測定することによって、客観的に測定される、請求項18に記載の方法。
JP2013544885A 2010-12-30 2011-12-28 人間・機械インターフェース性能評価のための運転手作業負荷関数および運転手作業負荷関数の使用を判定する方法 Expired - Fee Related JP5794309B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201061428521P 2010-12-30 2010-12-30
US61/428,521 2010-12-30
US13/337,671 US9946334B2 (en) 2010-12-30 2011-12-27 Method to determine driver workload function and usage of driver workload function for human-machine interface performance assessment
US13/337,671 2011-12-27
PCT/US2011/067454 WO2012092309A2 (en) 2010-12-30 2011-12-28 Method to determine driver workload function and usage of driver workload function for human-machine interface performance assessment

Publications (2)

Publication Number Publication Date
JP2014509877A true JP2014509877A (ja) 2014-04-24
JP5794309B2 JP5794309B2 (ja) 2015-10-14

Family

ID=46381987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013544885A Expired - Fee Related JP5794309B2 (ja) 2010-12-30 2011-12-28 人間・機械インターフェース性能評価のための運転手作業負荷関数および運転手作業負荷関数の使用を判定する方法

Country Status (6)

Country Link
US (1) US9946334B2 (ja)
JP (1) JP5794309B2 (ja)
KR (1) KR101853304B1 (ja)
DE (1) DE112011104652T5 (ja)
GB (1) GB2500336A (ja)
WO (1) WO2012092309A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9946334B2 (en) 2010-12-30 2018-04-17 Denso International America, Inc. Method to determine driver workload function and usage of driver workload function for human-machine interface performance assessment
KR102673225B1 (ko) * 2023-09-26 2024-06-10 국방과학연구소 비행 전 무인 항공기 조종사의 정신적 워크로드를 확인하는 방법 및 이를 수행하는 장치

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8606512B1 (en) 2007-05-10 2013-12-10 Allstate Insurance Company Route risk mitigation
US10096038B2 (en) 2007-05-10 2018-10-09 Allstate Insurance Company Road segment safety rating system
US9932033B2 (en) 2007-05-10 2018-04-03 Allstate Insurance Company Route risk mitigation
US8918794B2 (en) * 2011-08-25 2014-12-23 Empire Technology Development Llc Quality of service aware captive aggregation with true datacenter testing
US9372538B2 (en) * 2012-09-28 2016-06-21 Denso International America, Inc. Multiple-force, dynamically-adjusted, 3-D touch surface with feedback for human machine interface (HMI)
US9510067B2 (en) 2012-10-18 2016-11-29 GM Global Technology Operations LLC Self-diagnostic non-bussed control module
US9092020B2 (en) * 2013-10-08 2015-07-28 GM Global Technology Operations LLC Calibration data selection
US9355423B1 (en) 2014-01-24 2016-05-31 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US10096067B1 (en) 2014-01-24 2018-10-09 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US9390451B1 (en) 2014-01-24 2016-07-12 Allstate Insurance Company Insurance system related to a vehicle-to-vehicle communication system
US10783586B1 (en) 2014-02-19 2020-09-22 Allstate Insurance Company Determining a property of an insurance policy based on the density of vehicles
US10783587B1 (en) 2014-02-19 2020-09-22 Allstate Insurance Company Determining a driver score based on the driver's response to autonomous features of a vehicle
US10803525B1 (en) 2014-02-19 2020-10-13 Allstate Insurance Company Determining a property of an insurance policy based on the autonomous features of a vehicle
US10796369B1 (en) 2014-02-19 2020-10-06 Allstate Insurance Company Determining a property of an insurance policy based on the level of autonomy of a vehicle
US9940676B1 (en) 2014-02-19 2018-04-10 Allstate Insurance Company Insurance system for analysis of autonomous driving
DE102014218806A1 (de) * 2014-09-18 2016-03-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, System, Computerprogramm und Computerprogrammprodukt zur Anzeige von Einflussfaktoren von Fahrstreckenabschnitten auf ein Fahrzeug
US9747812B2 (en) 2014-10-22 2017-08-29 Honda Motor Co., Ltd. Saliency based awareness modeling
CA2975617C (en) 2015-02-05 2021-05-18 Uber Technologies, Inc. Programmatically determining location information in connection with a transport service
US9376117B1 (en) * 2015-03-23 2016-06-28 Toyota Jidosha Kabushiki Kaisha Driver familiarity adapted explanations for proactive automated vehicle operations
EP3075591B1 (en) * 2015-04-02 2018-11-07 Honda Research Institute Europe GmbH Method for improving ergonomics of a vehicle cockpit
US10204528B2 (en) 2015-08-05 2019-02-12 Uber Technologies, Inc. Augmenting transport services using driver profiling
GB2542560B (en) * 2015-09-21 2019-02-20 Jaguar Land Rover Ltd Vehicle interface apparatus and method
US10269075B2 (en) * 2016-02-02 2019-04-23 Allstate Insurance Company Subjective route risk mapping and mitigation
US10672198B2 (en) 2016-06-14 2020-06-02 Uber Technologies, Inc. Trip termination determination for on-demand transport
US10129221B1 (en) 2016-07-05 2018-11-13 Uber Technologies, Inc. Transport facilitation system implementing dual content encryption
US10319253B2 (en) * 2017-01-06 2019-06-11 International Business Machines Corporation Cognitive workload awareness
US10371542B2 (en) 2017-02-17 2019-08-06 Uber Technologies, Inc. System and methods for performing multivariate optimizations based on location data
US10445950B1 (en) 2017-03-27 2019-10-15 Uber Technologies, Inc. Vehicle monitoring system
US10402771B1 (en) * 2017-03-27 2019-09-03 Uber Technologies, Inc. System and method for evaluating drivers using sensor data from mobile computing devices
US11609579B2 (en) 2019-05-01 2023-03-21 Smartdrive Systems, Inc. Systems and methods for using risk profiles based on previously detected vehicle events to quantify performance of vehicle operators
US11262763B2 (en) 2019-05-01 2022-03-01 Smartdrive Systems, Inc. Systems and methods for using risk profiles for creating and deploying new vehicle event definitions to a fleet of vehicles
US11300977B2 (en) * 2019-05-01 2022-04-12 Smartdrive Systems, Inc. Systems and methods for creating and using risk profiles for fleet management of a fleet of vehicles
CN110688550A (zh) * 2019-09-06 2020-01-14 国汽(北京)智能网联汽车研究院有限公司 一种认知负荷评价方法、装置、系统及存储介质
US11494517B2 (en) 2020-02-12 2022-11-08 Uber Technologies, Inc. Computer system and device for controlling use of secure media recordings
US20230200285A1 (en) 2020-07-16 2023-06-29 Kubota Corporation Work vehicle specification change system, work vehicle specification change method, and work vehicle specification change program
CN113208561A (zh) * 2021-04-15 2021-08-06 北京津发科技股份有限公司 脑力负荷测评系统和方法
KR20240006527A (ko) 2021-05-11 2024-01-15 하만 베커 오토모티브 시스템즈 게엠베하 생체 신호 추출을 개선하기 위한 융합 상황 센서

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079737A (ja) * 2006-09-26 2008-04-10 Toyota Motor Corp 集中度評価装置及びこれを用いた車両用表示装置
JP2010033549A (ja) * 2008-06-23 2010-02-12 Denso It Laboratory Inc 情報提供装置、情報提供方法、プログラムおよび情報提供システム
WO2010032491A1 (ja) * 2008-09-19 2010-03-25 パナソニック株式会社 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6457975B1 (en) * 1997-06-09 2002-10-01 Michael D. Shore Method and apparatus for training a person to learn a cognitive/functional task
US6575902B1 (en) * 1999-01-27 2003-06-10 Compumedics Limited Vigilance monitoring system
GB0203035D0 (en) 2002-02-08 2002-03-27 Univ Bristol A method of and an apparatus for measuring a person's ability to perform a motor control task
NZ520069A (en) * 2002-07-09 2004-04-30 Canterbury Distr Health Board Symbols-scanning test and symbols-and-tracking dual-task test
US6998972B2 (en) * 2002-10-31 2006-02-14 General Motors Corporation Driving workload estimation
EP1755441B1 (en) * 2004-04-01 2015-11-04 Eyefluence, Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20080188777A1 (en) * 2004-09-03 2008-08-07 Canadian Space Agency System and Method For Mental Workload Measurement Based on Rapid Eye Movement
US7394393B2 (en) * 2005-08-02 2008-07-01 Gm Global Technology Operations, Inc. Adaptive driver workload estimator
US7428449B2 (en) 2006-03-14 2008-09-23 Temic Automotive Of North America, Inc. System and method for determining a workload level of a driver
US20080082372A1 (en) * 2006-09-29 2008-04-03 Burch Leon A Driving simulator and method of evaluation of driver competency
EP2055601A1 (en) 2007-10-29 2009-05-06 MAGNETI MARELLI POWERTRAIN S.p.A. Control method for limiting the performances of a road vehicle
US9946334B2 (en) 2010-12-30 2018-04-17 Denso International America, Inc. Method to determine driver workload function and usage of driver workload function for human-machine interface performance assessment
US8692739B2 (en) * 2011-09-22 2014-04-08 GM Global Technology Operations LLC Dynamic information presentation on full windshield head-up display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079737A (ja) * 2006-09-26 2008-04-10 Toyota Motor Corp 集中度評価装置及びこれを用いた車両用表示装置
JP2010033549A (ja) * 2008-06-23 2010-02-12 Denso It Laboratory Inc 情報提供装置、情報提供方法、プログラムおよび情報提供システム
WO2010032491A1 (ja) * 2008-09-19 2010-03-25 パナソニック株式会社 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9946334B2 (en) 2010-12-30 2018-04-17 Denso International America, Inc. Method to determine driver workload function and usage of driver workload function for human-machine interface performance assessment
KR102673225B1 (ko) * 2023-09-26 2024-06-10 국방과학연구소 비행 전 무인 항공기 조종사의 정신적 워크로드를 확인하는 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
JP5794309B2 (ja) 2015-10-14
GB2500336A (en) 2013-09-18
US20120174111A1 (en) 2012-07-05
KR101853304B1 (ko) 2018-05-02
WO2012092309A2 (en) 2012-07-05
KR20130133244A (ko) 2013-12-06
DE112011104652T5 (de) 2013-10-10
GB201310886D0 (en) 2013-07-31
WO2012092309A3 (en) 2012-10-18
US9946334B2 (en) 2018-04-17

Similar Documents

Publication Publication Date Title
JP5794309B2 (ja) 人間・機械インターフェース性能評価のための運転手作業負荷関数および運転手作業負荷関数の使用を判定する方法
CA2683728C (en) Vision cognition and coordination testing and training
US9771081B2 (en) System for fatigue detection using a suite of physiological measurement devices
JP6000968B2 (ja) 認知機能を評価するシステムおよびその作動方法
CN101657846B (zh) 视觉认知和协调性测试与训练的方法和系统
US6053739A (en) Measurement of attention span and attention deficits
US10192173B2 (en) System and method for training of state-classifiers
Hassib et al. Detecting and influencing driver emotions using psycho-physiological sensors and ambient light
CN102388412B (zh) 用于评定医疗超声成像操作员的资格的系统和方法
JP2012532697A (ja) 視覚認知速度及び/又は範囲の検査/訓練システム及び方法
CN111223566A (zh) 注意力测评和训练方法、装置、设备及可读存储介质
Peruzzini et al. Transdisciplinary design approach based on driver's workload monitoring
KR102324426B1 (ko) 뇌파신호를 센싱하는 헤드폰겸용 호흡명상유도장치 및 그 장치를 이용하여 뇌파신호를 표시 및 저장하는 호흡명상유도시스템 및 중간관리자를 통한 뇌파신호 관리시스템
Wang et al. Quantitative relationship model between workload and time pressure under different flight operation tasks
David et al. The aversiveness of mental effort: A meta-analytic review of the association between mental effort and negative affect
Bläsing et al. Influence of complexity and noise on mental workload during a manual assembly task
KR100994312B1 (ko) 신경 회로망을 이용한 사용자 상태 측정 장치 및 그 방법
Jura et al. Engineering psychology as a humanities for engineers
RU2103722C1 (ru) Способ компьютерной оценки функционального состояния тестируемого объекта
US11429188B1 (en) Measuring self awareness utilizing a mobile computing device
Pala et al. Adaptation of the cognitive avionic tool set (CATS) into automotive human machine interface design process
Shubin et al. Evaluation and Optimization of Vehicle Cabin Ergonomics Using Virtual Reality
David et al. The unpleasantness of thinking: A meta-analytic review of the association between mental effort and negative affect
CN116089279A (zh) 一种智能座舱hmi测评方法、系统及存储介质
Huo et al. The influence of tactile feedback in In-vehicle central control interfaces on driver emotions: A comparative study of touchscreens and physical buttons

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140819

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141114

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141217

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150727

R150 Certificate of patent or registration of utility model

Ref document number: 5794309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees