JP2011125991A - 生活支援ロボットアームの操作トレーニング装置 - Google Patents
生活支援ロボットアームの操作トレーニング装置 Download PDFInfo
- Publication number
- JP2011125991A JP2011125991A JP2009289379A JP2009289379A JP2011125991A JP 2011125991 A JP2011125991 A JP 2011125991A JP 2009289379 A JP2009289379 A JP 2009289379A JP 2009289379 A JP2009289379 A JP 2009289379A JP 2011125991 A JP2011125991 A JP 2011125991A
- Authority
- JP
- Japan
- Prior art keywords
- robot arm
- virtual
- work
- training
- life support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
- Rehabilitation Tools (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
Abstract
【課題】実際の生活支援ロボットアームを使用せずに、生活支援ロボットアームの機能を模擬したシミュレータを用いることで、ノートＰＣ一台で操作トレーニングを行うことができる生活支援ロボットアームの操作トレーニング装置を提供する。
【解決手段】計算機内に構築された仮想作業環境を計算機のディスプレイに表示するとともに、操作ユーザインタフェースからの入力により、仮想作業環境内に配置された生活支援ロボットアームシミュレータで仮想作業ツールを操作して生活支援ロボットアームの操作トレーニングを行うための装置であって、仮想作業ツールは、仮想ブロックと仮想ボードを用い、操作トレーニング用プログラムにより、難易度の異なった複数の作業課題について、操作目標の仮想ブロックを生活支援ロボットアームシミュレータで把持して、仮想ボード上の目標位置に挿入または配置する操作トレーニングを行わせる。
【選択図】図１
【解決手段】計算機内に構築された仮想作業環境を計算機のディスプレイに表示するとともに、操作ユーザインタフェースからの入力により、仮想作業環境内に配置された生活支援ロボットアームシミュレータで仮想作業ツールを操作して生活支援ロボットアームの操作トレーニングを行うための装置であって、仮想作業ツールは、仮想ブロックと仮想ボードを用い、操作トレーニング用プログラムにより、難易度の異なった複数の作業課題について、操作目標の仮想ブロックを生活支援ロボットアームシミュレータで把持して、仮想ボード上の目標位置に挿入または配置する操作トレーニングを行わせる。
【選択図】図１
Description
本発明は、ロボットアームの操作方法を訓練するための操作トレーニング装置に関し、特に、上肢に機能障害を持つ方をユーザとして対象とする、生活支援ロボットアームの操作トレーニング装置に関する。
上肢（手腕）に機能障害を持つ方々の生活を支援するロボットアームに対する期待は非常に大きい。現在、車椅子やベッドサイドに設置が可能な小型ロボットアームの開発が進められ（特許文献１、２参照）、一部販売されているものも出てきている。このような生活支援ロボットアームを使用することができれば、ユーザが操作インタフェースを使ってロボットアームを操作することで、物を取ったり置いたりといった様々な日常生活動作を実現することができるため、ユーザのＱＯＬ（Ｑｕａｌｉｔｙ ｏｆ Ｌｉｆｅ）の向上や社会参加が望める。
一方で、生活支援ロボットアームは新たな機器であるため、誤操作を避け、安全に上手く使用するためには操作トレーニングが必要である。また、対象とするユーザの症状は多様であり、障害を持つユーザの身体の残存機能によっては、生活支援ロボットアームを使用することが危険であり使用できないことがあるため、ユーザごとに、ロボットアームの設定、操作インタフェースの作成・適合、ロボットアームが使用可能かどうかの判断を行う必要がある。生活支援ロボットアームを使用する前段階で必要な、操作トレーニング、使用判断、ロボットアームの設定、操作インタフェースの作成・適合を全て実際の生活支援ロボットアームすなわち実機で行うのは安全面・コストの問題があり、さらに、実機を毎回持参するといったトレーニングを行うための手間が非常に大きくなる。そこで、実機を用いる必要のない、簡便・安全・省スペースな操作トレーニング装置の開発が望まれている。
一方で、生活支援ロボットアームは新たな機器であるため、誤操作を避け、安全に上手く使用するためには操作トレーニングが必要である。また、対象とするユーザの症状は多様であり、障害を持つユーザの身体の残存機能によっては、生活支援ロボットアームを使用することが危険であり使用できないことがあるため、ユーザごとに、ロボットアームの設定、操作インタフェースの作成・適合、ロボットアームが使用可能かどうかの判断を行う必要がある。生活支援ロボットアームを使用する前段階で必要な、操作トレーニング、使用判断、ロボットアームの設定、操作インタフェースの作成・適合を全て実際の生活支援ロボットアームすなわち実機で行うのは安全面・コストの問題があり、さらに、実機を毎回持参するといったトレーニングを行うための手間が非常に大きくなる。そこで、実機を用いる必要のない、簡便・安全・省スペースな操作トレーニング装置の開発が望まれている。
産業用ロボットにおいては、ロボット本体の行う機能を計算機に代行させてシミュレーションを行うようにし、産業用ロボットの実機を使用することなく複雑なロボットの操作訓練を行うことができる操作訓練装置が知られている（特許文献３参照）。産業用ロボットの操作訓練装置では、ロボットに行わせるべき作業が予め想定され、また目標とすべき操作結果も明確となっているため、想定作業を訓練作業として単に行えばよく、また、操作が習熟したかどうかはシミュレーション結果を確認するだけで容易に判断が可能である。そのためこの方式では、操作習熟のための訓練方法や、操作者の習熟度の評価に関しては何も示されていない。しかしながら、本発明における生活支援ロボットアームでは、ユーザの身体の残存機能によってロボットアームの操作方法は異なり、また、多様な生活環境の中で様々な日常生活動作を実現する必要があるので、模擬操作装置を提供するだけでは適切に操作トレーニングを進めることは困難であり、また、ロボットアームが使用可能かどうかの判断を行うこともできない。
生活支援ロボットアームを実際に使用するために必要となる操作トレーニングを実機を用いて行う際には、上記で挙げた様々な問題点があり、また、生活支援ロボットアーム自身が新たな機器であり、ユーザの操作トレーニングや操作レベルの評価を行う装置や方法論は提案されていない。
そこで、本発明は、生活支援ロボットアームの実機を使用せずに、生活支援ロボットアームの機能を模擬したシミュレータを用いることで、ノートＰＣ一台で操作トレーニングを行うことができる生活支援ロボットアームの操作トレーニング装置を提供することを目的とし、また、本発明の装置では、作業中の操作履歴や作業時間を保存できるようにして、ユーザの操作レベルの評価を行い、操作レベルに合わせたトレーニング作業を提供できるようにすることを目的とする。
そこで、本発明は、生活支援ロボットアームの実機を使用せずに、生活支援ロボットアームの機能を模擬したシミュレータを用いることで、ノートＰＣ一台で操作トレーニングを行うことができる生活支援ロボットアームの操作トレーニング装置を提供することを目的とし、また、本発明の装置では、作業中の操作履歴や作業時間を保存できるようにして、ユーザの操作レベルの評価を行い、操作レベルに合わせたトレーニング作業を提供できるようにすることを目的とする。
上記課題を解決するため、上肢機能訓練として行われているペグをペグボードに挿入したり抜いたりする作業に着目し、本発明者らは、仮想作業ツールとして、ペグとペグボードを模した仮想ブロック（角柱、円柱、球）と仮想ボードを採用してトレーニング作業を行う生活支援ロボットアームの操作トレーニング装置を開発し、実機を使用せずにトレーニング作業を行い、作業中に保存された操作履歴や作業時間から操作レベルを評価できるようにしたものであるが、仮想ブロックと仮想ボードに限らず、上肢機能訓練用具を模した他の仮想訓練用具を用いることもできる。
本発明の生活支援ロボットアームの操作トレーニング装置は、計算機内に構築された仮想作業環境を計算機のディスプレイに表示するとともに、操作ユーザインタフェースからの入力により、仮想作業環境内に配置された生活支援ロボットアームシミュレータと仮想作業ツールとを操作して生活支援ロボットアームの操作トレーニングを行うための装置であって、操作ユーザインタフェースは、生活支援ロボットアームの操作ユーザインタフェースを用い、操作ユーザインタフェースからの入力により、生活支援ロボットアームコントロール用プログラムを用いて生活支援ロボットアームシミュレータを操作し、仮想作業ツールは、上肢機能訓練用具を模した仮想訓練用具を用い、操作トレーニング用プログラムにより、難易度の異なった複数の作業課題について、生活支援ロボットアームシミュレータで仮想訓練用具を操作する操作トレーニングを行わせ、操作ログ保存手段に、各作業課題の操作トレーニングに要した作業時間を保存し、操作レベル判断手段により、作業時間を予め設定された基準作業時間と比較する、ことを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、仮想作業ツールは、仮想ブロックと仮想ボードを用い、操作トレーニング用プログラムにより、難易度の異なった複数の作業課題について、操作目標とする仮想ブロック、および、仮想ブロックを挿入または配置すべき仮想ボード上の目標位置を、ディスプレイ上に表示し、表示に従って操作目標の仮想ブロックを生活支援ロボットアームシミュレータで把持して、仮想ボード上の目標位置に挿入または配置する操作トレーニングを行わせることを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、操作ユーザインタフェースは、シングルスイッチ用オートスキャン型パネルインタフェース、ジョイスティック、または、キーパッドであることを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、難易度の異なった複数の作業課題は、仮想ボードの傾斜の異なりによるもの、生活支援ロボットアームシミュレータのアームの初期位置・姿勢の異なりによるもの、仮想ブロックと仮想ボードの穴のクリアランスの異なりによるもの、また、仮想作業環境内における生活支援ロボットアームシミュレータと仮想作業ツールの配置位置の異なりによるものであることを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、操作ログ保存手段には、さらに、作業課題失敗の回数、作業中に操作ユーザインタフェースから入力された操作コマンドおよび入力した時間、生活支援ロボットアームシミュレータで仮想ブロックを把持した時間および放した時間、または、作業中の生活支援ロボットアームシミュレータの位置・姿勢の履歴が保存されることを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、操作レベル判断手段は、作業課題を完了するまでの作業時間を予め設定された基準時間と比較することでユーザの操作レベルを判断し、その操作レベルに基づいてユーザに適した作業課題を提供することを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、操作トレーニング用プログラムは、生活支援ロボットアーム使用の適・不適の判断のために、ユーザに緊急停止を模した即時入力を求める機能、その時の入力操作の有無や、反応時間を計測し操作ログ保存手段に保存する機能を持つことを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、操作レベル判断手段は、緊急停止を模した即時入力を行う作業をユーザに提示した際の、入力操作の有無や反応時間を基に、生活支援ロボットアームの使用の適・不適の判断や、ユーザに適した生活支援ロボットアームの動作速度の決定を行うことを特徴とする。
本発明の生活支援ロボットアームの操作トレーニング装置は、計算機内に構築された仮想作業環境を計算機のディスプレイに表示するとともに、操作ユーザインタフェースからの入力により、仮想作業環境内に配置された生活支援ロボットアームシミュレータと仮想作業ツールとを操作して生活支援ロボットアームの操作トレーニングを行うための装置であって、操作ユーザインタフェースは、生活支援ロボットアームの操作ユーザインタフェースを用い、操作ユーザインタフェースからの入力により、生活支援ロボットアームコントロール用プログラムを用いて生活支援ロボットアームシミュレータを操作し、仮想作業ツールは、上肢機能訓練用具を模した仮想訓練用具を用い、操作トレーニング用プログラムにより、難易度の異なった複数の作業課題について、生活支援ロボットアームシミュレータで仮想訓練用具を操作する操作トレーニングを行わせ、操作ログ保存手段に、各作業課題の操作トレーニングに要した作業時間を保存し、操作レベル判断手段により、作業時間を予め設定された基準作業時間と比較する、ことを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、仮想作業ツールは、仮想ブロックと仮想ボードを用い、操作トレーニング用プログラムにより、難易度の異なった複数の作業課題について、操作目標とする仮想ブロック、および、仮想ブロックを挿入または配置すべき仮想ボード上の目標位置を、ディスプレイ上に表示し、表示に従って操作目標の仮想ブロックを生活支援ロボットアームシミュレータで把持して、仮想ボード上の目標位置に挿入または配置する操作トレーニングを行わせることを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、操作ユーザインタフェースは、シングルスイッチ用オートスキャン型パネルインタフェース、ジョイスティック、または、キーパッドであることを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、難易度の異なった複数の作業課題は、仮想ボードの傾斜の異なりによるもの、生活支援ロボットアームシミュレータのアームの初期位置・姿勢の異なりによるもの、仮想ブロックと仮想ボードの穴のクリアランスの異なりによるもの、また、仮想作業環境内における生活支援ロボットアームシミュレータと仮想作業ツールの配置位置の異なりによるものであることを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、操作ログ保存手段には、さらに、作業課題失敗の回数、作業中に操作ユーザインタフェースから入力された操作コマンドおよび入力した時間、生活支援ロボットアームシミュレータで仮想ブロックを把持した時間および放した時間、または、作業中の生活支援ロボットアームシミュレータの位置・姿勢の履歴が保存されることを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、操作レベル判断手段は、作業課題を完了するまでの作業時間を予め設定された基準時間と比較することでユーザの操作レベルを判断し、その操作レベルに基づいてユーザに適した作業課題を提供することを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、操作トレーニング用プログラムは、生活支援ロボットアーム使用の適・不適の判断のために、ユーザに緊急停止を模した即時入力を求める機能、その時の入力操作の有無や、反応時間を計測し操作ログ保存手段に保存する機能を持つことを特徴とする。
また、本発明の生活支援ロボットアームの操作トレーニング装置は、さらに、操作レベル判断手段は、緊急停止を模した即時入力を行う作業をユーザに提示した際の、入力操作の有無や反応時間を基に、生活支援ロボットアームの使用の適・不適の判断や、ユーザに適した生活支援ロボットアームの動作速度の決定を行うことを特徴とする。
本発明により、次のような効果が得られる。
実機を用いない操作トレーニング装置なので、機器に慣れていない操作トレーニング初期段階の安全性を確保できるとともに、生活支援ロボットアーム購入の前段階に操作トレーニングを開始できる。さらに、保存した作業履歴や作業時間などを用いて操作トレーニング中に操作レベルを評価したり、緊急停止を模した判断作業を行ったりすることで、生活支援ロボットアームを購入する前に、それを使用可能かどうかの判断を簡便に行うことが可能になる。そのため、生活支援ロボットアームの普及、ユーザの拡大につながる。
また、操作トレーニング後に評価した操作レベルから、実際に生活支援ロボットアームの実機を使用する際に、実行可能な動作や適用可能な作業の範囲を明示することが可能であり、ユーザに合わせた安全な使用指針を提示することができる。
また、生活支援ロボットアーム購入前にユーザに合わせた適切な操作インタフェースの選択や生活支援ロボットアームの設置・使用条件などを操作トレーニング装置を用いることで決定することができ、購入後すぐに使用することが可能になる。
また、仮想作業ツールとして、上肢機能訓練用具を模した仮想訓練用具、例えば、ペグとペグボードなどを模した仮想ブロックと仮想ボードを採用したので、仮想ブロックと仮想ボードを用いた仮想作業ツールで、さまざまな日常生活動作に対応できる効果的な操作トレーニングを実施することができ、さらに、本発明の、仮想ブロックと仮想ボードを用いた生活支援ロボットアームの操作トレーニング装置によるトレーニングの後に、生活支援ロボットアームの実機により、実際のペグとペグボードを使ってさらに操作トレーニングを続けることもできる。なお、仮想作業ツールとして、仮想ブロックと仮想ボードによるものに加えて、仮想ＳＴＥＦ（簡易上肢機能検査）によるものを追加しておけば、生活支援ロボットアームの実機を使用せずに、仮想ＳＴＥＦによる検査でトレーニングを評価することもできる。
実機を用いない操作トレーニング装置なので、機器に慣れていない操作トレーニング初期段階の安全性を確保できるとともに、生活支援ロボットアーム購入の前段階に操作トレーニングを開始できる。さらに、保存した作業履歴や作業時間などを用いて操作トレーニング中に操作レベルを評価したり、緊急停止を模した判断作業を行ったりすることで、生活支援ロボットアームを購入する前に、それを使用可能かどうかの判断を簡便に行うことが可能になる。そのため、生活支援ロボットアームの普及、ユーザの拡大につながる。
また、操作トレーニング後に評価した操作レベルから、実際に生活支援ロボットアームの実機を使用する際に、実行可能な動作や適用可能な作業の範囲を明示することが可能であり、ユーザに合わせた安全な使用指針を提示することができる。
また、生活支援ロボットアーム購入前にユーザに合わせた適切な操作インタフェースの選択や生活支援ロボットアームの設置・使用条件などを操作トレーニング装置を用いることで決定することができ、購入後すぐに使用することが可能になる。
また、仮想作業ツールとして、上肢機能訓練用具を模した仮想訓練用具、例えば、ペグとペグボードなどを模した仮想ブロックと仮想ボードを採用したので、仮想ブロックと仮想ボードを用いた仮想作業ツールで、さまざまな日常生活動作に対応できる効果的な操作トレーニングを実施することができ、さらに、本発明の、仮想ブロックと仮想ボードを用いた生活支援ロボットアームの操作トレーニング装置によるトレーニングの後に、生活支援ロボットアームの実機により、実際のペグとペグボードを使ってさらに操作トレーニングを続けることもできる。なお、仮想作業ツールとして、仮想ブロックと仮想ボードによるものに加えて、仮想ＳＴＥＦ（簡易上肢機能検査）によるものを追加しておけば、生活支援ロボットアームの実機を使用せずに、仮想ＳＴＥＦによる検査でトレーニングを評価することもできる。
図１は、本発明の生活支援ロボットアーム操作トレーニング装置の全体構成を示した図であり、操作ユーザインタフェースハードウェア、操作ユーザインタフェース用プログラム、生活支援ロボットアームコントロール用プログラム、生活支援ロボットアームシミュレータ、仮想作業ツール、操作トレーニング用プログラム、操作ログ保存手段、操作レベル判断手段から構成される。操作ユーザインタフェースハードウェアと操作ユーザインタフェース用プログラムを合わせて操作ユーザインタフェースといい、生活支援ロボットアームコントロール用プログラムと、生活支援ロボットアームシミュレータと、仮想作業ツールとを合わせて操作トレーニング作業表示部ということがあり、操作トレーニング作業表示部のディスプレイには、仮想作業環境が表示される。表示される仮想作業環境の中には、生活支援ロボットアームシミュレータと仮想作業ツールが配置される。
図２は、ディスプレイ上に表示された仮想作業環境を示しており、図では、ディスプレイの左側に生活支援ロボットアームシミュレータが表示され、右側に、仮想作業ツールとしての仮想ブロックおよび仮想ボードが表示されている。仮想作業環境の表示は、仮想作業環境のある場所に置かれた仮想的なカメラから見たものであり、その仮想カメラの配置位置や視野、視線方向を変更することで、表示の仕方を変更することができる。それらのパラメータを変更することのできるボタンを仮想作業環境を表示するウィンドウ下部に配置し、これらのボタンをマウスでクリックすることでトレーニング作業中でも表示を変更することができる。図３に、仮想作業環境表示用の各ボタンとカメラの移動方向の対応関係を示す。丸数字の１〜１１の移動方向は、１）ｍｏｖｅ ｕｐ：カメラを上に移動、２）ｍｏｖｅ ｌｅｆｔ：カメラを左に移動、３）ｍｏｖｅ ｒｉｇｈｔ：カメラを右に移動、４）ｍｏｖｅ ｄｏｗｎ：カメラを下に移動、５）ｚｏｏｍ ｉｎ：画像を拡大（ズーム）、６）ｒｅｓｅｔ ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ：初期状態に戻す、７）ｚｏｏｍ ｏｕｔ：画像を縮小（ズームアウト）、８）ｒｏｔａｔｅ ｕｐ：カメラの視線方向を上方向にむける、９）ｒｏｔａｔｅ ｌｅｆｔ：カメラの視線方向を左方向にむける、１０）ｒｏｔａｔｅ ｒｉｇｈｔ：カメラの視線方向を右方向にむける、１１）ｒｏｔａｔｅ ｄｏｗｎ：カメラの視線方向を下方向にむける、ことである。
また、仮想作業環境中の生活支援ロボットアームシミュレータや仮想作業ツールの配置は任意に設定可能であり、ユーザが使用する環境に合わせた適切なロボット配置や作業環境を模擬的に設定することができる。
また、仮想作業環境中の生活支援ロボットアームシミュレータや仮想作業ツールの配置は任意に設定可能であり、ユーザが使用する環境に合わせた適切なロボット配置や作業環境を模擬的に設定することができる。
生活支援ロボットアームシミュレータには生活支援ロボットアームコントロール用プログラムから周期的に各関節の目標角速度が入力され、その目標値に応じてディスプレイ上のロボットアームの画像は動作しているように再描画される。また、描画と並行して、ロボットアームのハンドと仮想ブロック、ハンドと仮想ボード、仮想ブロックと仮想ボードとの接触判定が行われる。ハンドを構成する全ての指が仮想ブロックと接触した場合にハンドが仮想ブロックを把持したとして、その後はハンドと仮想ブロックとを一体として表示を行う。操作トレーニング作業を開始するときの生活支援ロボットアームシミュレータの位置・姿勢は任意に設定することが可能であり、開始時の位置・姿勢によって操作トレーニングの作業の難易度を変化させることができる。例えば、トレーニング作業開始時の位置・姿勢から目標の仮想ブロックの存在する位置まで生活支援ロボットアームのハンドを動かす際、障害物の回避などの複雑な作業が必要となるとき、トレーニング作業の難易度は高くなる。
また、生活支援ロボットアームの実機の制御入力値が関節角速度の場合、生活支援ロボットアームシミュレータと実機を切り替えて、実機を生活支援ロボットアームコントロール用プログラムに接続することができる。
また、生活支援ロボットアームの実機の制御入力値が関節角速度の場合、生活支援ロボットアームシミュレータと実機を切り替えて、実機を生活支援ロボットアームコントロール用プログラムに接続することができる。
仮想作業ツールとしては、図４に示した上肢機能訓練用具のペグとペグボードや、図５に示したＳＴＥＦ（簡易上肢機能検査）を作業例として仮想作業ツールを作成している。仮想ボードの配置位置や仮想ボードの傾度、仮想ボード上の穴や溝の数や位置、サイズ、仮想ブロックの数やサイズは任意に設定でき、それによって操作トレーニングの作業の難易度を変化させることができる。
操作ユーザインタフェースとしては、ユーザの身体の残存機能に応じて多様なものが考えられるが、各操作ユーザインタフェースのプログラムを、共通のインタフェース（同じ内容・型の入出力データや同じ外部提供関数）を持つソフトウェアコンポーネントとすることで、多様な操作ユーザインタフェースを統一的に操作トレーニング装置に導入することができる。同様に、生活支援ロボットアームコントロール用プログラムも、共通のインタフェースを持つソフトウェアコンポーネントとすることで、多様な生活支援ロボットアームを操作トレーニング装置に統一的に導入することができ、多様な操作ユーザインタフェースと多様な生活支援ロボットアームの組み合わせに対して、操作トレーニングを簡便に行うことができる。
操作ユーザインタフェースと生活支援ロボットアーム間の共通インタフェースとしては、
［操作ユーザインタフェース→生活支援ロボットアーム］
・目標手先速度のデータ値配列
・目標関節角速度のデータ値配列
・ハンドの開閉指令
・動作モード（手先制御モード／関節制御モード）
［生活支援ロボットアーム→操作ユーザインタフェース］
・関節角度の現在値のデータ値配列
が例として考えられる。
操作ユーザインタフェースと生活支援ロボットアーム間の共通インタフェースとしては、
［操作ユーザインタフェース→生活支援ロボットアーム］
・目標手先速度のデータ値配列
・目標関節角速度のデータ値配列
・ハンドの開閉指令
・動作モード（手先制御モード／関節制御モード）
［生活支援ロボットアーム→操作ユーザインタフェース］
・関節角度の現在値のデータ値配列
が例として考えられる。
ユーザが操作する対象の生活支援ロボットアームとしては、多軸のロボットアームが考えられるが、例として、ｉＡＲＭ（Ｅｘａｃｔ Ｄｙｎａｍｉｃｓ社製）、ＲＡＰＵＤ（（独）産業技術総合研究所開発）、ＰＡ１０（三菱重工業（株）製）について、生活支援ロボットアームシミュレータならびに生活支援ロボットアームコントロール用プログラムを作成した。図６に、各生活支援ロボットアームシミュレータの例を示す。それぞれ開閉式のグリッパ型ハンドを手先に持ち、各生活支援ロボットアームコントロール用プログラムは、操作ユーザインタフェースに対して上記の共通インタフェースを持つようにソフトウェアコンポーネント化している。
生活支援ロボットアームの操作ユーザインタフェースとしては、ユーザの身体の残存機能に応じて多様なものが考えられるが、例として、図７に示す、ジョイスティック（ｊｏｙｓｔｉｃｋ）、キーパッド（ｋｅｙ ｐａｄ）、シングルスイッチ用オートスキャン型パネルインタフェース（ａｕｔｏ ｓｃａｎｎｉｎｇ ｐａｎｅｌ ｉｎｔｅｒｆａｃｅ ｆｏｒ ｓｉｎｇｌｅ ｓｗｉｔｃｈ）を作成し、操作ユーザインタフェース用プログラムについては生活支援ロボットアームに対して上記の共通インタフェースを持つようにソフトウェアコンポーネント化している。
ジョイスティック型の操作ユーザインタフェースには、複数のボタンとジョイスティックが備え付けられている。各ボタンには、ロボットアームの動作モードを切り替える機能や非常停止機能が割り当てられており、ボタンによって選択された動作モードに従ってジョイスティックの動き（方向や傾斜度）に基づいて、ロボットアームを手動操作により動かすことができる。
キーパッドでは、各ボタンに生活支援ロボットアームの動作モードを指定する機能や、生活支援ロボットアームに動作を指令する（ロボットアームの各手先移動方向に速度指令を送るなど）機能が割り当てられており、各ボタンをユーザが押すことで生活支援ロボットアームを操作することができる。なお、ジョイスティックもキーパッドも、ジョイスティックを動かしている間やボタンを押している間だけロボットアームが動くように設計されている。
シングルスイッチ用オートスキャン型パネルインタフェースは、ディスプレイ上に表示される操作メニューとシングルスイッチから構成される。ディスプレイ上に表示される操作メニューでは、パネル状の操作ボタンが順番に色を変えスキャンされていく。ユーザは、目的の操作ボタンの色が変わった時にシングルスイッチをクリックすることで操作コマンドを生活支援ロボットアームに送ることができ、ロボットアームを操作することができる。操作ボタンには、生活支援ロボットアームの各手先移動方向に速度指令を送ったり、各関節に速度指令を送ったり、現在のロボットアームの位置・姿勢を保存したり、保存された位置・姿勢への移動を指令したりする機能が割り当てられている。操作ボタンはトグルボタンになっており、一回クリックすると選択したボタンの操作コマンドが送られてロボットアームの動作が開始し、もう一回クリックするとロボットアームの動作が止まるようになっている。
ジョイスティック型の操作ユーザインタフェースには、複数のボタンとジョイスティックが備え付けられている。各ボタンには、ロボットアームの動作モードを切り替える機能や非常停止機能が割り当てられており、ボタンによって選択された動作モードに従ってジョイスティックの動き（方向や傾斜度）に基づいて、ロボットアームを手動操作により動かすことができる。
キーパッドでは、各ボタンに生活支援ロボットアームの動作モードを指定する機能や、生活支援ロボットアームに動作を指令する（ロボットアームの各手先移動方向に速度指令を送るなど）機能が割り当てられており、各ボタンをユーザが押すことで生活支援ロボットアームを操作することができる。なお、ジョイスティックもキーパッドも、ジョイスティックを動かしている間やボタンを押している間だけロボットアームが動くように設計されている。
シングルスイッチ用オートスキャン型パネルインタフェースは、ディスプレイ上に表示される操作メニューとシングルスイッチから構成される。ディスプレイ上に表示される操作メニューでは、パネル状の操作ボタンが順番に色を変えスキャンされていく。ユーザは、目的の操作ボタンの色が変わった時にシングルスイッチをクリックすることで操作コマンドを生活支援ロボットアームに送ることができ、ロボットアームを操作することができる。操作ボタンには、生活支援ロボットアームの各手先移動方向に速度指令を送ったり、各関節に速度指令を送ったり、現在のロボットアームの位置・姿勢を保存したり、保存された位置・姿勢への移動を指令したりする機能が割り当てられている。操作ボタンはトグルボタンになっており、一回クリックすると選択したボタンの操作コマンドが送られてロボットアームの動作が開始し、もう一回クリックするとロボットアームの動作が止まるようになっている。
次に、操作トレーニング用プログラムについて説明する。
作業プログラムとしては、大きく分けてトレーニング作業と生活支援ロボットアームの使用の適・不適の判断作業の２種類のものを持つ。
操作トレーニング作業としては難易度の異なる複数の作業が用意され、それらをシミュレーションするプログラムが計算機上に保存されている。基本的にトレーニング作業は、ペグとペグボードを模した仮想ブロックを仮想ボード上の指定された位置に配置するか、仮想ボード上の穴もしくは溝に挿入する作業であり、例えば、１）二次元平面内での並進操作、２）二次元平面内での並進＋回転操作、３）三次元空間での並進操作、４）三次元空間での並進＋チルト操作、５）三次元空間での並進＋チルト・ツイスト操作、６）三次元空間での並進＋回転（チルト・ツイスト・ターン）操作（ロボットアーム手先の回転操作の方向に関しては図８参照のこと）といった、作業に要する操作の自由度数の異なった作業課題、移動距離・仮想ボードの傾度の異なった作業課題、仮想ボードに配置された穴や溝と仮想ブロックとのクリアランスが異なった作業課題、生活支援ロボットアームの初期位置・姿勢が異なった作業課題、仮想作業環境内における生活支援ロボットアームと仮想作業ツールの配置位置の異なった作業課題が用意されており、ユーザの操作レベルに合わせた作業を実施する。
ディスプレイ上もしくは音声を用いて操作する目標仮想ブロックや、配置や挿入を行う目標位置および目標穴・溝を指定する機能を持つ。また、トレーニング作業中に目標仮想ブロックを把持できたか、目標位置に配置や挿入ができたかを確認する機能を持つ。
作業プログラムとしては、大きく分けてトレーニング作業と生活支援ロボットアームの使用の適・不適の判断作業の２種類のものを持つ。
操作トレーニング作業としては難易度の異なる複数の作業が用意され、それらをシミュレーションするプログラムが計算機上に保存されている。基本的にトレーニング作業は、ペグとペグボードを模した仮想ブロックを仮想ボード上の指定された位置に配置するか、仮想ボード上の穴もしくは溝に挿入する作業であり、例えば、１）二次元平面内での並進操作、２）二次元平面内での並進＋回転操作、３）三次元空間での並進操作、４）三次元空間での並進＋チルト操作、５）三次元空間での並進＋チルト・ツイスト操作、６）三次元空間での並進＋回転（チルト・ツイスト・ターン）操作（ロボットアーム手先の回転操作の方向に関しては図８参照のこと）といった、作業に要する操作の自由度数の異なった作業課題、移動距離・仮想ボードの傾度の異なった作業課題、仮想ボードに配置された穴や溝と仮想ブロックとのクリアランスが異なった作業課題、生活支援ロボットアームの初期位置・姿勢が異なった作業課題、仮想作業環境内における生活支援ロボットアームと仮想作業ツールの配置位置の異なった作業課題が用意されており、ユーザの操作レベルに合わせた作業を実施する。
ディスプレイ上もしくは音声を用いて操作する目標仮想ブロックや、配置や挿入を行う目標位置および目標穴・溝を指定する機能を持つ。また、トレーニング作業中に目標仮想ブロックを把持できたか、目標位置に配置や挿入ができたかを確認する機能を持つ。
トレーニング作業では、仮想ブロックを把持・操作し、配置もしくは挿入を行う動作を複数回繰り返したところで終了する。作業終了後、操作ログ保存手段に保存された操作ログを用いて操作レベル判断手段において評価されたユーザの操作習熟度を基に、自動的にユーザに合わせた難易度のトレーニング作業を選定する。実施したトレーニング作業に対するユーザの操作習熟度が十分であれば次の難易度の作業を、不十分であれば同じ作業を提供する。
同じ作業を行った回数を記録し、許容トレーニング作業回数を越した場合、ディスプレイ上もしくは音声でその旨を提示し、終了を促す機能を持つ。また、トレーニングを開始してから終了するまでの全体の時間を測定する機能を備え、許容時間を越した場合、ディスプレイ上もしくは音声でその旨を提示し、終了を促す機能を持つ。これによって過度なトレーニングによるユーザへの負担を回避することができる。
同じ作業を行った回数を記録し、許容トレーニング作業回数を越した場合、ディスプレイ上もしくは音声でその旨を提示し、終了を促す機能を持つ。また、トレーニングを開始してから終了するまでの全体の時間を測定する機能を備え、許容時間を越した場合、ディスプレイ上もしくは音声でその旨を提示し、終了を促す機能を持つ。これによって過度なトレーニングによるユーザへの負担を回避することができる。
判断作業としては、操作失敗時や非常時への対応を評価するため、ディスプレイ上もしくは音声で提示される指示に従い入力を行う作業を用意している。ユーザに緊急停止を模した即時入力を求める機能、その時の入力操作の有無や、指示が提示されてからユーザが入力を行うまでの反応時間を計測し保存する機能を持つ。また、反応時間を計測し、そのデータを基にロボットアームの使用の判断やロボットアームの動作速度の決定を行う。なお、この判断作業は任意の時に実施することが可能である。
次に、操作ログ保存手段について説明する。
操作ログ保存手段では、生活支援ロボットアームシミュレータを用いてトレーニング作業を行う際、トレーニング作業終了時に、操作ユーザインタフェースならびに生活支援ロボットアームシミュレータ、仮想作業環境から以下の作業データを取得し、トレーニング作業名とユーザ名に関連付けて操作ログとして蓄積する。
１）作業時間（作業開始から終了までの時間、たとえば仮想ブロックを仮想ボードに挿入する作業であれば，目標本数の仮想ブロックを目標の穴に全て挿入し終えるまでの時間）
２）生活支援ロボットアームシミュレータで対象物を把持した時間・対象物を放した時間
３）作業中の生活支援ロボットアームの動作履歴（位置・姿勢）
４）作業中に操作ユーザインタフェースから入力した操作コマンドとコマンドを入力した時間
５）作業失敗の回数（目標位置ではない場所に仮想ブロックを配置・挿入したり、目標仮想ブロックでないものを把持・操作した場合の回数）
操作ログ保存手段では、生活支援ロボットアームシミュレータを用いてトレーニング作業を行う際、トレーニング作業終了時に、操作ユーザインタフェースならびに生活支援ロボットアームシミュレータ、仮想作業環境から以下の作業データを取得し、トレーニング作業名とユーザ名に関連付けて操作ログとして蓄積する。
１）作業時間（作業開始から終了までの時間、たとえば仮想ブロックを仮想ボードに挿入する作業であれば，目標本数の仮想ブロックを目標の穴に全て挿入し終えるまでの時間）
２）生活支援ロボットアームシミュレータで対象物を把持した時間・対象物を放した時間
３）作業中の生活支援ロボットアームの動作履歴（位置・姿勢）
４）作業中に操作ユーザインタフェースから入力した操作コマンドとコマンドを入力した時間
５）作業失敗の回数（目標位置ではない場所に仮想ブロックを配置・挿入したり、目標仮想ブロックでないものを把持・操作した場合の回数）
次に、操作レベルの評価について説明する。
操作レベル判断手段では、トレーニング作業が終了する毎に、操作ログ保存手段で保存された操作ログから各トレーニング作業におけるユーザの操作習熟度の評価を行う。基本的には、ユーザの操作の習熟度は各トレーニング作業について事前に設定される基準作業時間とユーザが行った作業時間との比較で算出する。
操作レベル判断手段では、トレーニング作業が終了する毎に、操作ログ保存手段で保存された操作ログから各トレーニング作業におけるユーザの操作習熟度の評価を行う。基本的には、ユーザの操作の習熟度は各トレーニング作業について事前に設定される基準作業時間とユーザが行った作業時間との比較で算出する。
判断作業の評価としては、緊急停止を模した即時入力の指示後の入力操作の有無や、計測された指示が提示されてからユーザが入力を行うまでの反応時間を基に行う。入力操作がなかった場合は、再度判断作業の実施を指令し、許容実施回数を越した場合は一旦終了する。その後トレーニング作業環境の再設定（ディスプレイが見える位置にあるか、音声が聞こえているかなどを確認）などの対処を行い、再度判断作業を実施する。
反応時間が計測された場合も複数回判断作業を実施し、計測した反応時間の平均値を用いて評価する。反応時間が予め設定された許容反応時間を越す場合は、生活支援ロボットアームの使用が困難と判断し、許容反応時間以内の場合は、事前に設定された反応時間とそれに適したロボットアームの動作速度の対応から、ユーザに適したロボットアームの動作速度を決定する。
反応時間が計測された場合も複数回判断作業を実施し、計測した反応時間の平均値を用いて評価する。反応時間が予め設定された許容反応時間を越す場合は、生活支援ロボットアームの使用が困難と判断し、許容反応時間以内の場合は、事前に設定された反応時間とそれに適したロボットアームの動作速度の対応から、ユーザに適したロボットアームの動作速度を決定する。
（実施例）
本発明の生活支援ロボットアームの操作トレーニング装置の一実施例として、ノートＰＣ上に、仮想作業環境（生活支援ロボットアームシミュレータ、および、仮想ブロックと仮想ボードによる仮想作業ツール）、生活支援ロボットアームコントロール用プログラム、操作ユーザインタフェース用プログラム、操作トレーニング用プログラム、操作ログ保存手段、操作レベル判断手段を全て搭載し、生活支援ロボットアームシミュレータとしては、ｉＡＲＭ（Ｅｘａｃｔ Ｄｙｎａｍｉｃｓ社製）のシミュレータを用い、操作ユーザインタフェースとしてはシングルスイッチ用オートスキャン型パネルインタフェースを使用した（図９参照）。
本発明の生活支援ロボットアームの操作トレーニング装置の一実施例として、ノートＰＣ上に、仮想作業環境（生活支援ロボットアームシミュレータ、および、仮想ブロックと仮想ボードによる仮想作業ツール）、生活支援ロボットアームコントロール用プログラム、操作ユーザインタフェース用プログラム、操作トレーニング用プログラム、操作ログ保存手段、操作レベル判断手段を全て搭載し、生活支援ロボットアームシミュレータとしては、ｉＡＲＭ（Ｅｘａｃｔ Ｄｙｎａｍｉｃｓ社製）のシミュレータを用い、操作ユーザインタフェースとしてはシングルスイッチ用オートスキャン型パネルインタフェースを使用した（図９参照）。
上記の生活支援ロボットアームの操作トレーニング装置を用い、上肢に障害を持つ方４名（その内３名は坐位可能、１名は臥位）に、操作トレーニングを行った。
トレーニング作業としては、仮想ボードに挿入されている仮想ブロックを、生活支援ロボットアームシミュレータのロボットアームのハンドで把持して別の穴に挿入する作業を、ディスプレイに表示された仮想作業環境を見ながらシングルスイッチ用オートスキャン型パネルインタフェースを使用して指示を入力することによって操作を行った。把持して挿入するまでを１セットとして、２〜３セットを一回のトレーニング作業で行った。具体的な作業は以下の０）〜１０）のとおりである。
０）水平に設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに水平の向き）（ｐａｒａ ００）
１）水平に設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに垂直の向き。仮想ブロックを把持できる場所が水平にした場合に比べて小さいので難易度が高くなる。）（ｎｏｒｍ ００）
２）２０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドはボードに水平の向き。仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｐａｒａ ２０）
３）２０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに垂直の向き、仮想ブロックを把持できる場所が水平にした場合に比べて小さいので難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｎｏｒｍ ２０）
４）２０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードの傾きに関係なく、床面に水平の向き、仮想ブロックを把持するためにロボットアーム手先の回転操作が必要なため難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｓｔｄ ２０）
５）３５°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに水平の向き。仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｐａｒａ ３５）
６）３５°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに垂直の向き。仮想ブロックを把持できる場所が水平にした場合に比べて小さいので難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｎｏｒｍ ３５）
７）３５°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードの傾きに関係なく、床面に水平の向き。仮想ブロックを把持するためにロボットアーム手先の回転操作が必要なため難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｓｔｄ ３５）
８）７０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに水平の向き。仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｐａｒａ ７０）
９）７０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに垂直の向き。仮想ブロックを把持できる場所が水平にした場合に比べて小さいので難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｎｏｒｍ ７０）
１０）７０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードの傾きに関係なく、床面に水平の向き。仮想ブロックを把持するためにロボットアーム手先の回転操作が必要なため難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｓｔｄ ７０）
トレーニング作業としては、仮想ボードに挿入されている仮想ブロックを、生活支援ロボットアームシミュレータのロボットアームのハンドで把持して別の穴に挿入する作業を、ディスプレイに表示された仮想作業環境を見ながらシングルスイッチ用オートスキャン型パネルインタフェースを使用して指示を入力することによって操作を行った。把持して挿入するまでを１セットとして、２〜３セットを一回のトレーニング作業で行った。具体的な作業は以下の０）〜１０）のとおりである。
０）水平に設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに水平の向き）（ｐａｒａ ００）
１）水平に設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに垂直の向き。仮想ブロックを把持できる場所が水平にした場合に比べて小さいので難易度が高くなる。）（ｎｏｒｍ ００）
２）２０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドはボードに水平の向き。仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｐａｒａ ２０）
３）２０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに垂直の向き、仮想ブロックを把持できる場所が水平にした場合に比べて小さいので難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｎｏｒｍ ２０）
４）２０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードの傾きに関係なく、床面に水平の向き、仮想ブロックを把持するためにロボットアーム手先の回転操作が必要なため難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｓｔｄ ２０）
５）３５°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに水平の向き。仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｐａｒａ ３５）
６）３５°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに垂直の向き。仮想ブロックを把持できる場所が水平にした場合に比べて小さいので難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｎｏｒｍ ３５）
７）３５°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードの傾きに関係なく、床面に水平の向き。仮想ブロックを把持するためにロボットアーム手先の回転操作が必要なため難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｓｔｄ ３５）
８）７０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに水平の向き。仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｐａｒａ ７０）
９）７０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードに垂直の向き。仮想ブロックを把持できる場所が水平にした場合に比べて小さいので難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｎｏｒｍ ７０）
１０）７０°に傾けて設置した仮想ボードに対して、仮想ブロックを抜いて挿入する作業（ロボットアームのハンドは仮想ボードの傾きに関係なく、床面に水平の向き。仮想ブロックを把持するためにロボットアーム手先の回転操作が必要なため難易度が高くなる。また、仮想ブロックを抜いたり挿入したりする際に、ロボットアーム手先を通常の操作方向とは異なる方向に、仮想ボードの傾度に合わせて操作する必要があるため、難易度が高くなる。）（ｓｔｄ ７０）
上記１）〜１０）の作業を、１）〜１０）の流れで評価実験を行い、作業中の操作ログを収集した。トレーニング作業は一回２時間もしくは一回１時間を実験時間とし、その時間の中で毎回できるところまでの作業を行った。
被験者Ａ氏（坐位可能）に関するトレーニング・評価実験の結果を図１０に示す。図１０は各トレーニング作業において３本仮想ブロックの挿入を行った際の作業時間を表わしている。トレーニング作業としては、仮想ボードを２０°傾けたところまでの作業について示している。また、破線で区切られているのがトレーニング作業の内容が変更された部分である。すなわち、初めの５回は上記０）の作業（ｐａｒａ ００）を行い、作業時間は１回目には約２８００秒（約４７分）要したが、繰り返すにつれ徐々に短縮され５回目には約４００秒（約７分）にまで短縮され、次に、作業難易度を上げて上記１）の作業（ｎｏｒｍ ００）を３回行い、次に、上記２）の作業（ｐａｒａ ２０）を１回行い、次に、上記３）の作業（ｎｏｒｍ ２０）を１回行い、次に、上記４）の作業（ｓｔｄ ２０）を３回ったところまでの、各作業時間が示してある。
図から、同じトレーニング作業を行った場合、繰り返すことで操作に習熟し作業時間が短縮されていくことが示されており、また、作業内容が変更され難易度が上昇すると、最初は若干作業時間が長くなるが、数回トレーニングを行うことで習熟し作業時間が短縮されることが示されており、本実施例の生活支援ロボットアームの操作トレーニング装置を用いてトレーニングを行えば操作に習熟し作業時間が短縮されることが確認できた。
被験者Ａ氏（坐位可能）に関するトレーニング・評価実験の結果を図１０に示す。図１０は各トレーニング作業において３本仮想ブロックの挿入を行った際の作業時間を表わしている。トレーニング作業としては、仮想ボードを２０°傾けたところまでの作業について示している。また、破線で区切られているのがトレーニング作業の内容が変更された部分である。すなわち、初めの５回は上記０）の作業（ｐａｒａ ００）を行い、作業時間は１回目には約２８００秒（約４７分）要したが、繰り返すにつれ徐々に短縮され５回目には約４００秒（約７分）にまで短縮され、次に、作業難易度を上げて上記１）の作業（ｎｏｒｍ ００）を３回行い、次に、上記２）の作業（ｐａｒａ ２０）を１回行い、次に、上記３）の作業（ｎｏｒｍ ２０）を１回行い、次に、上記４）の作業（ｓｔｄ ２０）を３回ったところまでの、各作業時間が示してある。
図から、同じトレーニング作業を行った場合、繰り返すことで操作に習熟し作業時間が短縮されていくことが示されており、また、作業内容が変更され難易度が上昇すると、最初は若干作業時間が長くなるが、数回トレーニングを行うことで習熟し作業時間が短縮されることが示されており、本実施例の生活支援ロボットアームの操作トレーニング装置を用いてトレーニングを行えば操作に習熟し作業時間が短縮されることが確認できた。
さらに、本実施例の生活支援ロボットアームの操作トレーニング装置を用いた操作トレーニングの後に、ｉＡＲＭの実機を用いて、実際のペグとペグボードを使用してペグを挿入する作業を行った結果、一回目の試行からペグを挿入することが可能であり、一本のペグを把持して挿入する作業を約５分〜７分で達成することができ、被験者からも、「操作方法には習熟していたため、実機を使用する際に特に問題を感じなかった。」、「奥行き方向等の位置関係を把握しやすいことと、ペグを挿入する際の音などの効果で、シミュレータよりも作業が簡単に感じた。」などの実機で作業を行った感想をいただいた。
以上のように、本発明の生活支援ロボットアームの操作トレーニング装置による操作トレーニングの後、生活支援ロボットアームの実機を使用してすぐに実際の作業を行うことができたことから、本発明の生活支援ロボットアームの操作トレーニング装置による操作トレーニングが有効であることが確認できた。また、生活支援ロボットアームシミュレータで操作可能な場合は、実機でも問題なく簡単に作業を実行することができるため、生活支援ロボットアームを使用する際の判断のためにも使用できることが検証できた。
以上のように、本発明の生活支援ロボットアームの操作トレーニング装置による操作トレーニングの後、生活支援ロボットアームの実機を使用してすぐに実際の作業を行うことができたことから、本発明の生活支援ロボットアームの操作トレーニング装置による操作トレーニングが有効であることが確認できた。また、生活支援ロボットアームシミュレータで操作可能な場合は、実機でも問題なく簡単に作業を実行することができるため、生活支援ロボットアームを使用する際の判断のためにも使用できることが検証できた。
（他の実施例）
上記実施例においては、作業時間の長さが各トレーニングを繰り返すごとに短縮されて予め設定した基準作業時間より短くなったかで評価したが、例えば、次のような操作習熟度Ｍを用いて評価することもできる。
具体的には、以下の演算を実行する。
Ｍ＝α（Ｖｂ／ｖ）Ｔｂ−（ｔ＋βｎｆａｉｌ）
ただし、
α、β：定数
Ｔｂ、Ｖｂ：基準作業時間、基準ロボットアーム動作速度
ｖ：ユーザに合わせたロボットアームの動作速度
ｔ：ユーザがトレーニング作業を実施した際の作業時間
ｎｆａｉｌ：ユーザがトレーニング作業を実施した際の作業中の失敗回数
である。
基準作業時間Ｔｂは、各トレーニング作業を達成するために許容される作業時間であり、基準作業時間に掛けられる定数αは、ユーザの生活リズムや要望、身体の残存機能などに応じてユーザ毎に決定される基準作業時間に対する比である。また、基準作業時間は、ロボットアームの基準動作速度を想定しているため、ユーザに合わせてロボットアームの動作速度を変更した場合、その比を基準作業時間に掛ける。操作習熟度Ｍは、ユーザに合わせて修正した基準作業時間からユーザの作業時間および失敗回数を引いたものであり、作業時間が早くまた失敗回数が少ないほど操作習熟度Ｍは高くなる。操作習熟度Ｍが正の値を取る時は、そのトレーニング作業に十分習熟したとして作業トレーニング用プログラムに対して次の難易度の作業を実施するように指令を出す。操作習熟度Ｍが負の値を取る場合は、逆にまだ習熟が足りないと判断し、同じ作業を繰り返すように指令を出す。
上記実施例においては、作業時間の長さが各トレーニングを繰り返すごとに短縮されて予め設定した基準作業時間より短くなったかで評価したが、例えば、次のような操作習熟度Ｍを用いて評価することもできる。
具体的には、以下の演算を実行する。
Ｍ＝α（Ｖｂ／ｖ）Ｔｂ−（ｔ＋βｎｆａｉｌ）
ただし、
α、β：定数
Ｔｂ、Ｖｂ：基準作業時間、基準ロボットアーム動作速度
ｖ：ユーザに合わせたロボットアームの動作速度
ｔ：ユーザがトレーニング作業を実施した際の作業時間
ｎｆａｉｌ：ユーザがトレーニング作業を実施した際の作業中の失敗回数
である。
基準作業時間Ｔｂは、各トレーニング作業を達成するために許容される作業時間であり、基準作業時間に掛けられる定数αは、ユーザの生活リズムや要望、身体の残存機能などに応じてユーザ毎に決定される基準作業時間に対する比である。また、基準作業時間は、ロボットアームの基準動作速度を想定しているため、ユーザに合わせてロボットアームの動作速度を変更した場合、その比を基準作業時間に掛ける。操作習熟度Ｍは、ユーザに合わせて修正した基準作業時間からユーザの作業時間および失敗回数を引いたものであり、作業時間が早くまた失敗回数が少ないほど操作習熟度Ｍは高くなる。操作習熟度Ｍが正の値を取る時は、そのトレーニング作業に十分習熟したとして作業トレーニング用プログラムに対して次の難易度の作業を実施するように指令を出す。操作習熟度Ｍが負の値を取る場合は、逆にまだ習熟が足りないと判断し、同じ作業を繰り返すように指令を出す。
また、仮想作業ツールとして、ＳＴＥＦ（簡易上肢機能検査）を模した仮想ＳＴＥＦを用いて評価することもできる。
本発明では、操作ユーザインタフェースとして、ジョイスティック、キーパッド、シングルスイッチ用オートスキャン型パネルインタフェースを使用したが、他の操作ユーザインタフェースにも適用可能であり、また、他の生活支援ロボットアームの実機にも対応できることはいうまでもない。
Claims (8)
- 計算機内に構築された仮想作業環境を計算機のディスプレイに表示するとともに、操作ユーザインタフェースからの入力により、仮想作業環境内に配置された生活支援ロボットアームシミュレータと仮想作業ツールとを操作して生活支援ロボットアームの操作トレーニングを行うための装置であって、
操作ユーザインタフェースは、生活支援ロボットアームの操作ユーザインタフェースを用い、操作ユーザインタフェースからの入力により、生活支援ロボットアームコントロール用プログラムを用いて生活支援ロボットアームシミュレータを操作し、
仮想作業ツールは、上肢機能訓練用具を模した仮想訓練用具を用い、
操作トレーニング用プログラムにより、難易度の異なった複数の作業課題について、生活支援ロボットアームシミュレータで仮想訓練用具を操作する操作トレーニングを行わせ、
操作ログ保存手段に、各作業課題の操作トレーニングに要した作業時間を保存し、
操作レベル判断手段により、作業時間を予め設定された基準作業時間と比較する、
ことを特徴とする生活支援ロボットアームの操作トレーニング装置。 - 前記仮想作業ツールは、仮想ブロックと仮想ボードを用い、前記操作トレーニング用プログラムにより、難易度の異なった複数の作業課題について、操作目標とする仮想ブロック、および、仮想ブロックを挿入または配置すべき仮想ボード上の目標位置を、ディスプレイ上に表示し、表示に従って操作目標の仮想ブロックを生活支援ロボットアームシミュレータで把持して、仮想ボード上の目標位置に挿入または配置する操作トレーニングを行わせることを特徴とする請求項１記載の生活支援ロボットアームの操作トレーニング装置。
- 前記操作ユーザインタフェースは、ジョイスティック、キーパッド、または、シングルスイッチ用オートスキャン型パネルインタフェースであることを特徴とする請求項１または２記載の生活支援ロボットアームの操作トレーニング装置。
- 前記難易度の異なった複数の作業課題は、作業に要する操作の自由度数の異なったもの、移動距離の異なるもの、仮想ボードの傾度の異なりによるもの、生活支援ロボットアームシミュレータのアームの初期位置・姿勢の異なりによるもの、仮想ブロックと仮想ボードの穴もしくは溝とのクリアランス（すき間）の異なりによるもの、または、仮想作業環境内における生活支援ロボットアームシミュレータと仮想作業ツールの配置位置の異なりによるものであることを特徴とする請求項２または３記載の生活支援ロボットアームの操作トレーニング装置。
- 前記操作ログ保存手段には、さらに、作業課題失敗の回数、作業中に操作ユーザインタフェースから入力された操作コマンドおよび入力した時間、生活支援ロボットアームシミュレータで仮想ブロックを把持した時間および放した時間、または、作業中の生活支援ロボットアームシミュレータの位置・姿勢の履歴が保存されることを特徴とする請求項２ないし４のいずれか１項記載の生活支援ロボットアームの操作トレーニング装置。
- 前記操作レベル判断手段は、作業課題を完了するまでの作業時間を予め設定された基準時間と比較することでユーザの操作レベルを判断し、その操作レベルに基づいてユーザに適した作業課題を提供することを特徴とする請求項１ないし５のいずれか１項記載の生活支援ロボットアームの操作トレーニング装置。
- 前記操作トレーニング用プログラムは、生活支援ロボットアーム使用の適・不適の判断のために、ユーザに緊急停止を模した即時入力を求める機能、その時の入力操作の有無や、反応時間を計測し操作ログ保存手段に保存する機能を持つことを特徴とする請求項１ないし６のいずれか１項記載の生活支援ロボットアームの操作トレーニング装置。
- 前記操作レベル判断手段は、緊急停止を模した即時入力を行う作業をユーザに提示した際の入力操作の有無や反応時間を基に、生活支援ロボットアームの使用の適・不適の判断や、ユーザに適した生活支援ロボットアームの動作速度の決定を行うことを特徴とする請求項７記載の生活支援ロボットアームの操作トレーニング装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009289379A JP5435567B2 (ja) | 2009-12-21 | 2009-12-21 | 生活支援ロボットアームの操作トレーニング装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009289379A JP5435567B2 (ja) | 2009-12-21 | 2009-12-21 | 生活支援ロボットアームの操作トレーニング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011125991A true JP2011125991A (ja) | 2011-06-30 |
| JP5435567B2 JP5435567B2 (ja) | 2014-03-05 |
Family
ID=44289146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009289379A Expired - Fee Related JP5435567B2 (ja) | 2009-12-21 | 2009-12-21 | 生活支援ロボットアームの操作トレーニング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5435567B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106426288A (zh) * | 2016-11-21 | 2017-02-22 | 丁可 | 一种机器人培训装置 |
| WO2020032249A1 (ja) | 2018-08-10 | 2020-02-13 | 川崎重工業株式会社 | 情報処理装置、仲介装置、シミュレートシステム及び情報処理方法 |
| WO2020032218A1 (ja) | 2018-08-10 | 2020-02-13 | 川崎重工業株式会社 | トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 |
| JP2020026002A (ja) * | 2018-08-10 | 2020-02-20 | 川崎重工業株式会社 | ロボットシステム |
| CN113288712A (zh) * | 2021-05-08 | 2021-08-24 | 傅键炯 | 一种神经内科临床康复训练装置 |
| CN113920805A (zh) * | 2021-10-19 | 2022-01-11 | 江苏汇博机器人技术股份有限公司 | 一种机器人多模块组合仿真实训教学装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108858280A (zh) * | 2018-06-05 | 2018-11-23 | 厦门攸信信息技术有限公司 | 一种录制人类行为的多机械臂组合工作系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0572961A (ja) * | 1991-09-13 | 1993-03-26 | Mitsubishi Precision Co Ltd | 訓練装置における評価システム |
| JPH08185217A (ja) * | 1994-12-29 | 1996-07-16 | Chubu Electric Power Co Inc | ロボット教示方法およびロボット操縦方法並びに自動作業システム |
| JPH10333543A (ja) * | 1997-06-04 | 1998-12-18 | Mitsubishi Electric Corp | 訓練装置 |
| JP2001166681A (ja) * | 1999-12-10 | 2001-06-22 | Honda Motor Co Ltd | 作業習熟支援装置 |
| JP2003236784A (ja) * | 2002-02-18 | 2003-08-26 | Kawasaki Heavy Ind Ltd | ロボット教示方法およびロボット教示装置 |
| JP2004280635A (ja) * | 2003-03-18 | 2004-10-07 | Honda Motor Co Ltd | シミュレーション装置，シミュレーション方法及びシミュレーションプログラム |
-
2009
- 2009-12-21 JP JP2009289379A patent/JP5435567B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0572961A (ja) * | 1991-09-13 | 1993-03-26 | Mitsubishi Precision Co Ltd | 訓練装置における評価システム |
| JPH08185217A (ja) * | 1994-12-29 | 1996-07-16 | Chubu Electric Power Co Inc | ロボット教示方法およびロボット操縦方法並びに自動作業システム |
| JPH10333543A (ja) * | 1997-06-04 | 1998-12-18 | Mitsubishi Electric Corp | 訓練装置 |
| JP2001166681A (ja) * | 1999-12-10 | 2001-06-22 | Honda Motor Co Ltd | 作業習熟支援装置 |
| JP2003236784A (ja) * | 2002-02-18 | 2003-08-26 | Kawasaki Heavy Ind Ltd | ロボット教示方法およびロボット教示装置 |
| JP2004280635A (ja) * | 2003-03-18 | 2004-10-07 | Honda Motor Co Ltd | シミュレーション装置，シミュレーション方法及びシミュレーションプログラム |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106426288A (zh) * | 2016-11-21 | 2017-02-22 | 丁可 | 一种机器人培训装置 |
| US11908337B2 (en) | 2018-08-10 | 2024-02-20 | Kawasaki Jukogyo Kabushiki Kaisha | Information processing device, intermediation device, simulation system, and information processing method |
| JP7401184B2 (ja) | 2018-08-10 | 2023-12-19 | 川崎重工業株式会社 | ロボットシステム |
| JP2020026002A (ja) * | 2018-08-10 | 2020-02-20 | 川崎重工業株式会社 | ロボットシステム |
| CN112543961A (zh) * | 2018-08-10 | 2021-03-23 | 川崎重工业株式会社 | 训练处理装置、中介装置、训练系统以及训练处理方法 |
| CN112543960A (zh) * | 2018-08-10 | 2021-03-23 | 川崎重工业株式会社 | 信息处理装置、中介装置、模拟系统以及信息处理方法 |
| KR20210041061A (ko) | 2018-08-10 | 2021-04-14 | 카와사키 주코교 카부시키 카이샤 | 트레이닝 처리 장치, 중개 장치, 트레이닝 시스템 및 트레이닝 처리 방법 |
| WO2020032218A1 (ja) | 2018-08-10 | 2020-02-13 | 川崎重工業株式会社 | トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 |
| US11967245B2 (en) | 2018-08-10 | 2024-04-23 | Kawasaki Jukogyo Kabushiki Kaisha | Training processing device, intermediation device, training system, and training processing method |
| KR20210043621A (ko) | 2018-08-10 | 2021-04-21 | 카와사키 주코교 카부시키 카이샤 | 정보 처리 장치, 중개 장치, 시뮬레이트 시스템 및 정보 처리 방법 |
| KR102571997B1 (ko) * | 2018-08-10 | 2023-08-29 | 카와사키 주코교 카부시키 카이샤 | 정보 처리 장치, 중개 장치, 시뮬레이트 시스템 및 정보 처리 방법 |
| WO2020032249A1 (ja) | 2018-08-10 | 2020-02-13 | 川崎重工業株式会社 | 情報処理装置、仲介装置、シミュレートシステム及び情報処理方法 |
| CN113288712A (zh) * | 2021-05-08 | 2021-08-24 | 傅键炯 | 一种神经内科临床康复训练装置 |
| CN113288712B (zh) * | 2021-05-08 | 2024-03-26 | 傅键炯 | 一种神经内科临床康复训练装置 |
| CN113920805B (zh) * | 2021-10-19 | 2024-02-23 | 江苏汇博机器人技术股份有限公司 | 一种机器人多模块组合仿真实训教学装置 |
| CN113920805A (zh) * | 2021-10-19 | 2022-01-11 | 江苏汇博机器人技术股份有限公司 | 一种机器人多模块组合仿真实训教学装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5435567B2 (ja) | 2014-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5435567B2 (ja) | 生活支援ロボットアームの操作トレーニング装置 | |
| Zhu et al. | Haptwist: creating interactive haptic proxies in virtual reality using low-cost twistable artefacts | |
| Gutierrez et al. | IMA-VR: A multimodal virtual training system for skills transfer in Industrial Maintenance and Assembly tasks | |
| Young et al. | Implementation of a 6-DOF parallel continuum manipulator for delivering fingertip tactile cues | |
| WO2014013605A1 (ja) | ロボットシミュレータ、ロボット教示装置およびロボット教示方法 | |
| JP6730363B2 (ja) | 操作訓練システム | |
| Shaikh et al. | Participatory ergonomics using VR integrated with analysis tools | |
| Ryu et al. | Gamesbond: Bimanual haptic illusion of physically connected objects for immersive vr using grip deformation | |
| Bergamasco et al. | Design and validation of a complete haptic system for manipulative tasks | |
| Avizzano et al. | A multi-finger haptic interface for visually impaired people | |
| KR102164371B1 (ko) | 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법 | |
| Verner et al. | Force & torque feedback vs force only feedback | |
| Nisar et al. | Effects of different hand-grounding locations on haptic performance with a wearable kinesthetic haptic device | |
| O'Malley et al. | Passive and active assistance for human performance of a simulated underactuated dynamic task | |
| Mavridis et al. | Subjective difficulty and indicators of performance of joystick-based robot arm teleoperation with auditory feedback | |
| Chapoulie et al. | Finger-based manipulation in immersive spaces and the real world | |
| Giachritsis et al. | Unimanual, bimanual and bilateral weight perception of virtual objects in the master finger 2 environment | |
| Bielecki et al. | Tangible virtual reality in a multi-user environment | |
| Glover et al. | An effective and intuitive control interface for remote robot teleoperation with complete haptic feedback | |
| Fernandes et al. | A wearable interface for intuitive control of robotic manipulators without user training | |
| EP4300231A1 (en) | Teaching method and teaching apparatus | |
| Pratticò et al. | A breakdown study of a mockup-based consumer haptic setup for virtual reality | |
| Baron et al. | Remote control of the artificial arm model using 3D hand tracking | |
| JP5338408B2 (ja) | ロボットシミュレータ | |
| Zhu et al. | Trajectory-based grasp interaction for virtual environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120502 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5435567 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |