JP2023050798A - 作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム - Google Patents
作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム Download PDFInfo
- Publication number
- JP2023050798A JP2023050798A JP2021161085A JP2021161085A JP2023050798A JP 2023050798 A JP2023050798 A JP 2023050798A JP 2021161085 A JP2021161085 A JP 2021161085A JP 2021161085 A JP2021161085 A JP 2021161085A JP 2023050798 A JP2023050798 A JP 2023050798A
- Authority
- JP
- Japan
- Prior art keywords
- work
- virtual
- data
- support system
- worker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Electrically Operated Instructional Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】種々の作業に対応させることのできる作業教育支援システムを提供する。【解決手段】未熟作業者に対して熟練作業者の技術を学ばせる教育支援システムであって、仮想体験者の動作や姿勢の物理量データ、及び視線の移動データを検出する測定装置12と、仮想空間における視野映像を映し出す表示装置16と、表示装置16に対して視野映像を出力すると共に、仮想体験者が熟練作業者である場合には物理量データや視線の移動データを教師データとして記録し、仮想体験者が未熟作業者である場合には物理量データや視線の移動データを教師データと比較して差分を算出し、予め定められた基準値に基づいて差分に相当する熟練度を求める処理を行う処理装置20と、を有することを特徴とする。【選択図】図1
Description
本発明は、建設現場等での業務に従事する作業員に対する教育を効率的に行うための技術に係り、特に指導員が直接指導することが難しい場合などに好適な作業教育支援システム、及びこのシステムで用いられるコンテンツ作成プログラムに関する。
昨今、作業現場においては、熟練者や中堅者等、特定作業に対するノウハウや知識、技能を有する人員の不足が進んでいる。そして、他者との接触を極力避けるといった感染症対策が提唱される情勢では、OJT(On Job Training)の通常実施が困難であり、作業ノウハウと注意ポイント(やり方・姿勢・作業環境等)の蓄積、伝承が進みにくいという実状がある。
このような現状では、現場作業に関する基礎知識を持たない作業員も多く、作業現場での見学もできないため、作業種別(例えば、単一作業と協調作業)に応じた雰囲気を理解できない事も多く、一般的な業務講座を受けたとしても、実戦力を身につける事ができないケースも多い。
こうした中、特許文献1に開示されている技術のように、VR(Virtual Reality)技術と、アクチュエータを搭載した模擬工具とを組み合わせることで、手持ち回転工具使用時に生ずる危険動作(キックバック現象の衝撃)を安全に体験することができるようにした技術が注目を集めてきている。
また、特許文献2、3には、VR技術の適用範囲を広げるための技術として、VRコンテンツを簡易かつ効率的に作成するための技術が開示されている。例えば特許文献2では、利用者がアップロードした動画ファイルを予め定められたVRアクションを適用することで、自動でVRコンテンツが作成されるプログラムの構成が開示されている。また、特許文献3には、予め作成されたVR用のオブジェクトデータを仮想空間に配置することで、所望する仮想空間を作製するVRコンテンツの管理システムが開示されている。
特許文献1に開示されているような体感装置によれば、安全に特定作業の危険性を学ぶことができる。しかし、特許文献1に開示されている装置は特定の作業に特化した体感装置であり、他の技術や作業を体感しようとする場合には、個々にシステムが必要となってしまう。
また、特許文献2、3に開示されているVRコンテンツの管理、作成システムは、VRコンテンツの作成を簡易化するために、特定の条件下にデータを当てはめる構成としている。このため、作業毎に異なる動きや視線等を踏まえたVRコンテンツを作製するためには、パターン毎にコンテンツの動きや反応を定める必要が生じ、専門的な知識を有する者による作業が必要となってしまう。
そこで本発明では、種々の作業に対応させることのできる作業教育支援システムを提供すると共に、このシステムに用いるVRコンテンツを容易に作成することのできる作業教育支援システム用コンテンツ作成プログラムを提供することを目的とする。
上記目的を達成するための本発明に係る作業教育支援システムは、現場作業に従事する未熟作業者に対して熟練作業者の技術を学ばせる教育支援システムであって、特定作業に対する仮想体験者の動作や姿勢の物理量データ、及び視線の移動データを検出する測定装置と、仮想空間における視野映像を映し出す表示装置と、前記表示装置に対して前記視野映像を出力すると共に、前記仮想体験者が熟練作業者である場合には前記物理量データや視線の移動データを教師データとして記録し、前記仮想体験者が未熟作業者である場合には前記物理量データや視線の移動データを前記教師データと比較して差分を算出し、予め定められた基準値に基づいて前記差分に相当する熟練度を求める処理を行う処理装置と、を有することを特徴とする。
また、上記のような特徴を有する作業教育支援システムにおいて前記測定装置には、前記仮想体験者の動作を検出するターゲットやカメラ、前記仮想体験者の視線や、動作に基づく物理量を検出するセンサが含まれると良い。
また、上記のような特徴を有する作業教育支援システムにおいて前記表示装置には、仮想体験者が装着するHMD(Head Mounted Display)が含まれ、前記HMDを介して仮想体験者に各種動作指示が示されるようにすることが望ましい。このような特徴を有することにより、仮想体験者は、VR空間に没頭することができ、仮想作業に臨場感を持たせることができる。
さらに、上記のような特徴を有する作業教育支援システムでは、前記視野映像の表示において、対象物同士の近接距離が所定の値以下となった場合に、前記対象物同士に規定された適切な接合状態を表現して表示することができる。このような特徴を有することによれば、従来表現することが難しかった小さな対象物の把持や、対象物同士の正確な接合状態を表現することが可能となる。
また、上記目的を達成するための本発明に係る作業教育支援システム用コンテンツ作成プログラムは、特定作業に対する仮想体験者の動作や姿勢の物理量データ、及び視線の移動データを検出する測定装置と、仮想空間における視野映像を映し出す表示装置と、前記表示装置に対して前記視野映像を出力すると共に、前記仮想体験者が熟練作業者である場合には前記物理量データや視線の移動データを教師データとして記録し、前記仮想体験者が未熟作業者である場合には前記物理量データや視線の移動データを前記教師データと比較して差分を算出し、予め定められた基準値に基づいて前記差分に相当する熟練度を求める処理を行う処理装置と、を有し、現場作業に従事する未熟作業者に対して熟練作業者の技術を学ばせる作業教育支援システムに適用するコンテンツ作成プログラムであって、前記熟練作業者による仮想体験時に撮影された映像に対して、前記処理装置に記録された前記未熟作業者に対する付加情報を選択して追加することで作業体験コンテンツの映像を作成し、前記作業体験コンテンツの映像をプログラムに応じたDataSheetに変換して出力することを特徴とする。
上記のような特徴を有する作業教育支援システムによれば、種々の作業に対応した作業体験コンテンツを作成、運用することが可能となる。また、上記特徴を有するコンテンツ作成プログラムによれば、映像に沿って付加情報を選択、追加するだけで、再生プログラムに応じたDataSheetが出力されるため、専門知識を有するものでなくても、容易に作業体験コンテンツを作成することができる。
以下、本発明の作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラムに係る実施の形態について、図面を参照して詳細に説明する。なお、以下に示す形態は、本発明を実施する上で好適な形態の一部であり、その効果を奏する限りにおいて、構成の一部に変更を加えたとしても、本発明の一部とみなすことができる。
[構成]
本実施形態に係る作業教育支援システム10は図1に示すように、少なくとも測定装置12と外部入力装置14、表示装置16、外部出力装置18、及び処理装置を有する。
本実施形態に係る作業教育支援システム10は図1に示すように、少なくとも測定装置12と外部入力装置14、表示装置16、外部出力装置18、及び処理装置を有する。
測定装置12は、熟練作業者や未熟作業者等の作業教育支援システム10の体験者の作業技能をデータとして取得するための要素である。具体的には、体験者の視線や体の動かし方(動作)を画像データとして取得するためのカメラやセンサ(一般的なカメラや、動作を捉えるためのセンサとしてのターゲット、及び視線の位置を検出するためのセンサ等)、作業中の手や体の動きを物理量として検出するためのセンサ(例えば加速度センサ)などであれば良い。
外部入力装置14は、作業中の操作や音声等を検出するための要素の他、詳細を後述するコンテンツの作成や編集を行うための要素を含む。具体的には、作業中に表示装置16に表示される画面に対する操作を行うためのコントローラや、音声入力を行うためのマイク、データ入力手段としてのPCやタブレット端末、マウス、キーボードの他、移動量の検出入力を行うためのTOF(Time of Flight)のような測距センサ(例えば上述したターゲットの移動量を検出する)などを挙げることができる。
表示装置16は、体験者に対して作業時における視野映像や、作業時の注意事項、及び指示情報等を示すための要素である。具体的には、体験者に装着させるHMD(Head Mounted Display)や、設置型、あるいは携帯型のディスプレイ(モニタ)などを挙げることができる。
外部出力装置18は、体験者に対して、作業時における物理的な振動や反動を体感させるための要素である。その構成は多岐に亙り、簡易的には、作業時の角度や時間などが規定値になった事を知らせるバイブレーションなどを挙げることができる。また、将来的には、作業者の四肢などに取り付けるトラッカーと呼ばれるセンサとし、実作業時に生じる振動や反動、衝撃、抵抗等を物理的に作業者に伝達することで、いわゆるフルボディトラッキングを実現させるようにするものとしても良い。なお、外部出力装置18には、音声等を出力するためのスピーカが含まれる。また、上述した測定装置12や、外部入力装置14を構成する要素との対比において、単にその機能を相反するもの(入力と出力)とする要素に関しては、両者を1つの構成要素として成り立たせても良い。例えばHMDには、カメラ機能や視線検出のためのセンサ機能、視野映像表示機能、音声入出力機能等、様々な機能を付帯させることができるからである。
処理装置20は、測定装置12を介して取得される作業技能データや、外部入力装置14を介して入力される指示データや音声データ、操作データ等の情報に基づいてコンテンツを作製し、表示装置16や外部出力装置18に出力するための要素である。具体的な構成としては、入力部20aと出力部20b、制御装置20c、演算装置20d、メモリ20e、音声処理装置20f、画像処理装置20g、及び大容量記憶装置20h等を備えるものであれば良い。
入力部20aと出力部20bは、測定装置12や外部入力装置14、表示装置16、外部出力装置18等との間でのデータ授受を行う変換部であるインターフェースとしての役割を担う要素である。実施形態に係る作業教育支援システム10の場合、入力部20aには、測定装置12や外部入力装置14が接続されており、出力部20bには、表示装置16や外部出力装置18が接続されている。
制御装置20cは、入力部20aを介して入力された各種データを演算装置20dや画像処理装置20gに送信すると共に、演算装置20dから入力されたデータを画像処理装置20gや出力部20bへ送信する処理を行うための要素である。
演算装置20dは、制御装置20cとメモリ20eとの間で各種データの送受信を行うと共に、各種プログラム等の指令に応じた演算処理を実行するための要素である。
メモリ20eは、演算装置20dが音声処理装置20fや大容量記憶装置20h、入力部20a、及び出力部20bとの間で各種情報の授受を行う際、各種データを一時的に展開するための一時記憶領域である。
音声処理装置20fは、メモリ20eに一時的に展開された音声データを編集するための要素である。
画像処理装置20gは、大容量記憶装置に記録された画像データや、制御装置20cから送信された画像データを編集するための要素である。
大容量記憶装置20hは、入力部20aを介して入力される各種データを保存する長期的な記憶領域であり、メモリ20eや画像処理装置20g、及び出力部20b等からの要求に応じてデータの読み出しを可能とする。なお、具体的な構成としては、HDDやSSDなどであれば良い。
[作用:作業教育支援]
次に、実施形態に係る作業教育支援システム10を利用した作業体験について、図2から図4を参照して説明する。まず、実施形態に係る作業教育支援システム10を利用(体験)する場合、熟練作業者、及び未熟作業者といった体験者は、外部入力装置14などを介してログインを図る(S100:体験者ログイン)。
次に、実施形態に係る作業教育支援システム10を利用した作業体験について、図2から図4を参照して説明する。まず、実施形態に係る作業教育支援システム10を利用(体験)する場合、熟練作業者、及び未熟作業者といった体験者は、外部入力装置14などを介してログインを図る(S100:体験者ログイン)。
次に、体験者はそれぞれ、HMDやセンサ等のVR装備を装着する。ここで、VR装備とは、測定装置12や外部入力装置14、表示装置16、及び外部出力装置18等における種々のデータ入出力機能を備えた複合体感装置であれば良い(S110:VR装備の装着)。VR装備装着後、体験区分の選択を行う。ここで、体験区分の選択は、「熟練作業者」と「未熟作業者」とに分けられるが、「未熟作業者」の区分は、少なくとも1つ、熟練作業者による教師データ(作業体験コンテンツ)が完成していないと作業体験を実施することができない。すなわち、熟練作業者の作業体験に基づく作業体験コンテンツの作成前においては、体験区分の選択において「未熟作業者(=初心者)」を選択することができない(S120)。
S120において、「熟練作業者」が選択されると、作業体験(作業体験コンテンツ作成のためのもの)を行う項目の選択が促される(S130:体験項目の選択)。S130で体験項目が選択されると、熟練作業者が作業を行う際の視線や姿勢、及び動作等をデータとして取得するための機能が起動する。具体的には、処理装置20における制御装置20cと演算装置20dが稼働し、測定装置12や外部入力装置14を介した音声や映像を取得する音声認識機能や、録画機能が起動される。(S140:コンテンツ作成機能起動)。コンテンツ作成機能が起動した後、熟練作業者が作業を実施することで、作業時のデータ取得が完了する(S150:熟練作業者の作業体験)。
熟練者の作業体験では、詳細を図3に示すように、作業機器の呼び出しが行われる。作業機器の呼び出しは、音声入力や、HMD等の表示装置16に表示される項目からの選択によれば良い(S150a:熟練作業者による作業機器の呼び出し)。熟練作業者による作業機器の呼び出しが成されると、処理装置20は、制御装置20c、演算装置20dを介して大容量記憶装置20hに記憶された作業機器データベースをメモリ20eに展開する。その後、作業機器データベースの中から呼び出しに応じた作業機器を特定し、該当する作業機器のオブジェクトを、HMD等の表示装置16に映し出されている視野映像に表示する(S150b:機器オブジェクトの読み込み)。
視野映像の呼び出しに応じた作業機器が表示された後、熟練作業者は、作業工具の呼び出しを行う。作業工具の呼び出しは、作業機器の呼び出しと同様に、音声入力やHMD等の表示装置16に示される項目からの選択によれば良い(S150c:熟練作業者による作業工具の呼び出し)。熟練作業者による作業工具の呼び出しが成されると、処理装置20は、作業機器の呼び出しと同様に、呼び出しに応じた作業工具を特定し、該当する作業工具のオブジェクトを、HMD等の表示装置16に映し出されている視野映像に表示する(S150d:工具オブジェクトの読み込み)。
作業機器、及び作業工具がそれぞれ呼び出されると、熟練作業者による模擬作業が実施される。模擬作業は、逐次作業内容を説明した上で行うように指示が出される(S150e:模擬作業実施(作業を順番で話しながら体験))。模擬作業は、作業毎にコメントやオブジェクトの確認、及び動作の確認を繰り返しながら進行される。具体的には、熟練作業者は最初に、これから実施する作業動作を説明する。作業動作の説明は口頭により行われ、処理装置20はこの説明を音声コメントとして外部入力装置14のマイクで収集し、メモリ20eを介して大容量記憶装置20hに自動登録する(S150f:動作コメントの自動登録(Phase01))。作業動作に関するコメントが登録されると処理装置20は、作業に関わるオブジェクト(例えばスパナとナットなど)を自動認識し、当該作業に使用されるオブジェクトとして登録する。オブジェクトの認識は、表示装置16上に表示されているオブジェクトを検出する手段の他、S150aやS150cで呼び出された作業機器や作業工具を認識するものであっても良い。(S150g:オブジェクトの自動登録)。その後、熟練作業者が作業を実施することで変化する情報の取得、登録が成される。具体的には、熟練作業者の動作情報が測定装置12や外部入力装置14を介して検出され、制御装置20cや演算装置20dを介して、オブジェクトの移動量や、回転角度、動作回数などとして算出されて、大容量記憶装置20hに記録される(S150h:動作後座標・角度、回数等の自動登録)。
S150eからS150hまでの動作、登録は、作業動作毎に繰り返される。その後、作業体験に対応する動作が全て完了した場合、模擬作業の停止(終了)が宣言、あるいは選択されることで、熟練作業者による作業体験が終了する(S150i:停止)。
ここで、本実施形態に係る作業教育支援システム10では、接触箇所の定義と、接触箇所同士の近接によるオブジェクト同士の吸着動作の適用により、従来困難であった、微小部位同士の接触や、微小部品の把持をVR上で実現可能としている。
模擬作業の停止が宣言されると、S150fからS150hで登録された各種情報は、1つのモジュールとして関連づけられて記録される(S150j:モジュールとしての保管)。その後、モジュールとして保管された熟練作業者による作業体験の記録情報は、未熟作業者による作業体験のためのコンテンツ作成用のプログラムに対応したDataSheetに変換されて出力される(S150k:DataSheetでの出力)。S150kの後、熟練作業者には、作業体験を終了するか「体験完了」、他の作業項目についての作業体験を実施するか「他の項目を体験」の選択が促される。ここで、DataSheetとは、特定のプログラムに対する指令コマンドを表形式にまとめたものであり、例えば図20に示すようなものである。DataSheetの一部を抜粋したものを図21に示す。図21のうち、A列はコマンド名、B列は管理番号、C列はステージID、D列はフラグ番号、E列は定義名A、F列は定義名B、G列はX座標、H列はY座標、I列はZ座標をそれぞれ示す。そして指令コマンドのうち、a行はナットの3Dモデルの読み出し、b行はスパナの3Dモデルの読み出しをそれぞれ指示するものである(図22(A)参照)。また、c行はスパナをナットに近付ける旨の指示を成すコマンドであり(図22(B)参照)、d行はスパナをナットにセットし、ナットの中心位置を回転中心としてY軸周りにX軸を12度回転させる動作(図22(C)参照)を行う旨のコマンドである(S160)。
その後、作業体験を行った熟練作業者には、必要に応じて作業体験に関するアンケートを実施することができる。アンケートの内容は、例えば作業現場毎の注意点の有無や、VRでは表現できていない実作業での注意点の有無などであれば良い。作業教育支援システム10の改善や、詳細を後述するコンテンツ編集者への注意点の説明などに用いるためである(S170:アンケートの実施)。
アンケートの実施により、熟練作業者による作業体験は終了する。熟練作業者による作業体験で作業体験コンテンツのベース(S150kのDataSheet)が保存、出力されると、コンテンツ編集者によるコンテンツ編集が可能となる。以下、未熟作業者による作業体験を実施するためのコンテンツを作成するためのコンテンツ編集について図4を参照して説明する。
[作業体験コンテンツの編集]
コンテンツ編集者は、外部入力装置14等を介して作業教育支援システム10にアクセスし、ログインをする。ここで、コンテンツ編集者とは、一般的なシステムのプログラム編集に関する高度な知識を有する者でなくて良い。具体的には、実施形態に係る作業教育支援システム10におけるコンテンツ編集の流れと、一般的な編集操作を習得し、現場における基本的作業知識を有する者(中堅作業者から熟練作業者)であれば良い(S400:コンテンツ編集者ログイン)。
コンテンツ編集者は、外部入力装置14等を介して作業教育支援システム10にアクセスし、ログインをする。ここで、コンテンツ編集者とは、一般的なシステムのプログラム編集に関する高度な知識を有する者でなくて良い。具体的には、実施形態に係る作業教育支援システム10におけるコンテンツ編集の流れと、一般的な編集操作を習得し、現場における基本的作業知識を有する者(中堅作業者から熟練作業者)であれば良い(S400:コンテンツ編集者ログイン)。
作業教育支援システム10にアクセスしたコンテンツ編集者は、コンテンツ編集プログラムを起動する。コンテンツ編集プログラムが起動される最初に、「DataSheet読み込み」といった項目が、コンテンツ編集画面に表示される。コンテンツ編集者は、「DataSheetの読み込み」の項目を選択した後、熟練作業者による作業体験で作成された作業コンテンツのDataSheet(以下、ベースDataSheetとも言う)の中から、コンテンツの編集を行うものを選択する。DataSheetは、制御装置20cや演算装置20dを介して大容量記憶装置20hに記録されたものが読み出され、表示装置16に表示されることとなる(S410:「DataSheet読み込み」の選択)。
次に、コンテンツ編集画面には「動画再生」の項目が表示され、コンテンツ編集者は、これを選択することで、S410で読み込んだDataSheetに記録された作業動画の再生を行う。動画の再生は、大容量記憶装置20hに記録されている動画データを画像処理装置20gを介して出力することで成される(S420:「動画再生」の選択)。再生されている動画の中で編集を要する箇所があった場合には「停止」を選択して動画の再生を一旦停止する(S430:「停止」の選択)。
動画を停止した後、「編集」か「修正」の選択を行う。「修正」は、従前に編集したコメント等がある場合に、それを編集するための選択項目である。よって、最初の作業では「編集」が選択される(S440)。
編集作業では、動画に対して熟練作業者のコメントや、補足画像、動画、及びテキストの追加、及びオブジェクト等の座標の設定などを行う。コメントの選択は、熟練作業者による作業体験時に自動登録されたコメント(S150fにおけるPhase01のコメント)のリストを呼び出し、このリストの中から選択する(S450:Phase01のコメントの選択)。補足画像や動画、及びテキストの追加は、実際の現場における作業画像や動画を追加すれば良い。また、テキストに関しては、熟練作業者の作業体験時に実施されたアンケートで挙げられた注意点などであれば良い。補足画像や動画は、予め撮影された現場画像や動画を大容量記憶装置に記録しておき、制御装置20cや演算装置20dを介してこれを読み出して表示装置16に表示することで選択することが可能となる。また、テキストに関しては、アンケート等を文字情報として記録したものであれば良い(S460:画像・動画・テキストの追加)。さらに、オブジェクト等の座標の設定は、S450やS460で選択、及び追加したコメントや画像、動画、テキスト等を表示装置16上におけるどの位置とするかを定める行為である。座標の設定は、オブジェクトの配置位置に対して座標を入力する方法の他、表示画面上でオブジェクトをドラッグ&ドロップするなどして位置決めするものであっても良い(S470:Phase03の座標の設定)。
オブジェクトの座標の設定を終了した後、他のコメント等の追加の有無を選択する。選択項目としては、例えば「編集終了」と「編集続行」などの選択肢であれば良い。ここで「編集続行」を選択した場合には、S450からS470を繰り返す(S480)。
S480で「編集終了」を選択した場合、再び動画を再生するか否かの選択(Yes or No)を行う(S490)。ここで、動画の再生をしない「No」を選択した場合、S430における「停止」の選択が成される。S450からS470において選択、追加したコメント等に関する修正がある場合には、動画再生を停止した後のS440において「修正」を選択する。修正項目では、S450からS470に倣い、コメントの選択「Phase01のコメント」、コメントの修正、及び座標(Phase03の座標)の選択を行う(S440aからS440c)。S440cが終了すると、S450に戻り、画像や動画、及びテキストの追加(S460)を行い、追加した画像等の座標設定を行う(S470)。
S490における動画の再生に関して「Yes」が選択されて、動画全般に亙る編集が終了すると、コメントや追加画像等を含めたDataSheet(以下、コンテンツDataSheetとも言う)の出力が成される(S500:DataSheetの出力)。
S490における動画の再生に関して「Yes」が選択されて、動画全般に亙る編集が終了すると、コメントや追加画像等を含めたDataSheet(以下、コンテンツDataSheetとも言う)の出力が成される(S500:DataSheetの出力)。
[作業モデル作成]
コンテンツ編集者による作業体験コンテンツの編集が終了すると、熟練作業者の作業モデルが作成される。ここで、作業モデルとは、作業者の視線や動作の特徴を数値的に示すものであり、未熟作業者による作業体験時の動作との比較の容易化を図るための要素である。
コンテンツ編集者による作業体験コンテンツの編集が終了すると、熟練作業者の作業モデルが作成される。ここで、作業モデルとは、作業者の視線や動作の特徴を数値的に示すものであり、未熟作業者による作業体験時の動作との比較の容易化を図るための要素である。
作業モデルの作成では最初に、作業体験者の動作、及び視線データの取込が行われる。作業体験者の動作データや視線データは、コンテンツDataSheetに記録されたデータに関連付けられたデータであり処理装置20における大容量記憶装置20hに記録されているものをメモリ20eに読み出すようにすれば良い(S510:体験者動作・視線データの取込)。
次に、予め定められた条件に従って、動作や視線の区域分割処理を行う。区域分割処理とは、例えば視線情報を取得したい場合には、画角内に表示されているオブジェクト(作業機器や作業工具、ワーク、吊具等)や、他の作業者等をそれぞれの領域として区分けし、その分割領域のどこに視線が向けられているのかを検出するための前処理である(S520:動作・視線の区域分割処理)。
区域分割処理が成された後、各区域内に向けられた視線(視線情報を取得する場合)の回数や時間、位置、及び視線の運び(視線の移動順序)などを区域毎にカウントし、数値化する。図5は、玉掛作業時における熟練作業者の視線の移り変わりや、注視時間、回数等を区域毎に分けて示した図であり、円の大きさは注視時間の長さ(円が大きいほど注視時間が長い)を示すものである(S530:各区域内の数値化処理)。各区域内の数値化処理が完了した後、各領域における特徴量の抽出が行われる。ここで、特徴量とは、各区域に対する視線の移動距離や移動速度、停留時間、及び停留回数などをいう(S540:区域毎の特徴量の抽出)。
特徴量を抽出した後、図7に示すように、数値の傾向を示す近似モデルを作成する。図7に示す近似直線モデルの例では、横軸に区分け領域の項目、縦軸に各項目に対する注視時間を示している(S550:近似モデルの作成)。近似モデルが作成された後、コンテンツ作成に関する編集作業が全て終了した場合には、「編集完了」を選択し、編集作業を終了する。
[未熟作業者による作業体験]
上記のような熟練作業者による作業体験に基づくデータ取得、及び取得データに基づくコンテンツの編集、並びに作業モデルの作成を経て未熟作業者による作業体験コンテンツが構築されると、未熟作業者による作業体験の実施が可能となる。以下、未熟作業者による作業体験について説明する。
上記のような熟練作業者による作業体験に基づくデータ取得、及び取得データに基づくコンテンツの編集、並びに作業モデルの作成を経て未熟作業者による作業体験コンテンツが構築されると、未熟作業者による作業体験の実施が可能となる。以下、未熟作業者による作業体験について説明する。
未熟作業者はまず、熟練作業者の作業体験と同様に、体験者としてシステムにログインし(S100:体験者ログイン)、VR装備を装着する(S110:VR装備の装着)。
各種装備装着後、体験区分の選択を行う。上述したように、体験区分の選択は、「熟練作業者」と「未熟作業者」とに分けられており、ここでは、「未熟作業者(=初心者)」を選択する(S120)。
体験区分において「未熟作業者」の項目が選択されると、HMDの表示画面上、あるいは音声案内によって体験する作業体験コンテンツの説明が成される。ここで、作業体験コンテンツの説明は、システム特有のキャラクターを表示した上で行うようにしても良い。親近感や感情移入により、作業の習得度合いの向上を図ることができるからである(S200:体験コンテンツの説明)。
作業体験コンテンツの説明の後、VR装備を介したシステム操作の説明が成される。当該説明についても、作業体験コンテンツの説明と同様に、単に表示や音声による説明であっても良いし、キャラクターを表示した上での説明であっても良い(S210:システム操作の説明)。
システム操作の説明終了後、未熟作業者の初期動作の検出が行われる。体験者(未熟作業者)の体形の違いにより、教師データ(熟練作業者の作業体験によって得られた作業モデル)との比較において、作業の最適条件の誤差が大きくなる場合がある。このため、初期動作を検出することで、体形の違いによって生じる最適条件との誤差を補正することで、教師データとの対比を正確に行えるようにすることができる(S220:体験者の初期動作の検出)。
初期動作の検出に伴う誤差の補正が行われた後、未熟作業者の準備が整っていれば「開始」を選択することで、作業体験が開始される。一方、システム操作に不安がある場合など、もう一度説明を聞きたい場合には「操作説明をもう一度聞く」を選択することで、S210に戻り、システム操作の説明を聞くことができる(S230)。
作業体験が開始されるとまず、体験する作業に関する基礎知識の説明が成される。説明は、HMDを介して、視覚的、及び/または聴覚的に行われる(S240:基礎知識説明)。次に、体験する作業に関する基礎的な手順の説明が成される。作業手順の説明も、基礎知識の説明と同様に、HMDを介して、視覚的、及び/または聴覚的に行われる(S250:基礎作業手順説明)。
一通りの基礎知識と作業手順の説明が終了すると、HMDを介して作業手順の案内、及び説明が行われる。ここで、作業手順の案内や説明は、作業に伴う1つの動作単位で行われる(S260:作業手順毎の案内・説明)。
作業手順の案内、及び説明の後、未熟作業者は、作業手順の案内に沿った動作(作業体験)を実施する。この時、測定装置により未熟作業者の動作や姿勢、及び視線の動きなどが検出される。処理装置20は、検出された各種データに基づいて、熟練作業者による作業体験と同様に、作業モデルの作成を行う。例えば玉掛作業時における未熟作業者の視線の移り変わりや、注視時間、回数等を区域毎に分けて示すと、図6のようになる。なお、図6において円の大きさは、注視時間の長さ(円が大きいほど注視時間が長い)を示すものである。また、処理装置20は、検出データから特徴量を抽出し、図7に示すような作業モデルを作成する。
ここで、未熟作業者による作業体験(基礎作業)の一例について、図8から図18を参照して説明する。なお、以下の例において未熟作業者が体験する基礎作業は、ダブルナット部分の上部ナットを緩めるという作業である。まず、未熟作業者が装着しているHMD等の表示装置16には、図8に示すような、作業現場と、工具(2本のスパナ)が含まれる視野映像が表示されている。この状態で、未熟作業者には、テキスト表示、あるいは音声案内により、「H20スパナを選択し、持ち上げる」といった指示が出される。
指示を受けた未熟作業者は、視野映像上のスパナに手を伸ばし、スパナを持ち上げる。この時、実施形態に係る作業教育支援システム10のプログラムでは、未熟作業者の手がスパナに近づくと、スパナが自動で手にセットされるように構成している(図9参照)。
次に、未熟作業者には、作業対象であるナットを示し(図10参照)、テキスト、あるいは音声等により、「ナットを目視で3秒以上確認する」という指示が出される。未熟作業者は指示に従い、作業対象となるナットを目視する(図11参照)。注視時間経過後、未熟作業者には、図12の表示映像において「H20スパナをナット(下側)に取付ける」との指示が出される。未熟作業者は、指示に従ってH20スパナを作業対象のナットに近接させる。実施形態に係る作業教育支援システム10のプログラムでは、対象物同士(例えばスパナとナット)の距離が所定の近接距離以下となった場合に、自動的に正しい組付け状態となるように表示展開される(図13参照)。
次に未熟作業者には、もう一方のスパナ(H26スパナ)について、持ち上げスパナをナット(上側)に取付ける旨の指示が出され、未熟作業者は、指示に従いH26スパナを上部ナットに取付ける(図14、図15参照)。その後、未熟作業者には、「H20スパナを固定、H26スパナを反時計方向に回す」との指示が出される。未熟作業者は指示に従い、H26スパナのみを反時計回りに所定の角度(例えば30度)回転させる(図16参照)。
実施形態に係る作業教育支援システム10のプログラムでは、作業が完了すると(例えばスパナの回転が30度に達すると)作業工具と作業対象との結合が自動的に解除された状態となるように表示展開される。その後、未熟作業者には、「スパナを作業用具パレットに戻す」旨の指示が出され、未熟作業者は指示に従ってスパナを作業用具パレットに戻す動きを実行する(図17参照)。一連の作業体験が終了した後、表示画面上に示される体験終了ボタン(図18参照)を押すことで、未熟作業者による作業体験は終了する(S270:作業手順毎の基礎作業体験)。
一通りの基礎作業体験が終了すると、作業体験を「終了」するか、「再実施」するかの選択画面が表示される。ここで、未熟作業者が「再実施」を選択した場合には、S260に戻り、再び作業手順毎の案内、及び説明が開始される。一方、「終了」を選択した場合には、動作を伴う作業体験が終了する(S280)。
未熟作業者による作業体験が終了すると、未熟作業者の動作に基づく習熟度判定が行われる。習熟度判定は、作業体験コンテンツに含まれる熟練作業者の作業モデルと、未熟作業者の作業モデルの対比することにより成される(一例として、図7参照)。
作業モデルの対比は、近似モデル(本実施形態では数値直線)の対比によって行われ、各パラメータに対する角度のズレ量の多寡に応じてレベル分けが成される。例えば、教師データである熟練作業者の近似モデルに対するズレ量が5度以下(θ≦5度)である場合には“レベル1”、ズレ量が5度より大きく、15度以下(5度<θ≦15度)である場合には“レベル2”、ズレ量が15度より大きく30以下である場合には“レベル3”として作業レベルを判定し、ズレ量が30度よりも大きい場合、すなわちレベル3に満たない場合には、再学習を促す判定結果を出力するようにする(S290:動作による体験作業者習熟度判定)。
動作に基づく習熟度判定が終了した後、未熟作業者には、現場作業に対する知識や、体験した作業に対する注意点などを踏まえたテストが実施される。テスト結果に応じて未熟作業者の作業レベルを認定するためである(S300:テスト受験・作業レベル認定)。
未熟作業者の熟練度の判定と作業レベルの認定が終了すると、作業教育支援システム10は、作業体験に伴う作業者の作業レベルを視認できる形で表示する。ここで、視認できる形とは、例えば図19に示すようなグラフの他、単に数字や点数での表示、及び色彩の違いによる表示なども含むものとする(S310:体験者作業レベルの可視化)。
[効果]
上記のような作業教育支援システムによれば、種々の作業に対応した作業体験コンテンツを作成することができる。また、本システムに係るプログラムにおける作業体験コンテンツ(VRコンテンツ)の編集には、プログラムに精通した知識を必要としないため、専門家でなくてもコンテンツ編集が可能であり、各種作業体験コンテンツを比較的容易に作成することができる。
上記のような作業教育支援システムによれば、種々の作業に対応した作業体験コンテンツを作成することができる。また、本システムに係るプログラムにおける作業体験コンテンツ(VRコンテンツ)の編集には、プログラムに精通した知識を必要としないため、専門家でなくてもコンテンツ編集が可能であり、各種作業体験コンテンツを比較的容易に作成することができる。
10………作業教育支援システム、12………測定装置、14………外部入力装置、16………表示装置、18………外部出力装置、20………処理装置、20a………入力部、20b………出力部、20c………制御装置、20d………演算装置、20e………メモリ、20f………音声処理装置、20g………画像処理装置、20h………大容量記憶装置。
Claims (5)
- 現場作業に従事する未熟作業者に対して熟練作業者の技術を学ばせる教育支援システムであって、
特定作業に対する仮想体験者の動作や姿勢の物理量データ、及び視線の移動データを検出する測定装置と、
仮想空間における視野映像を映し出す表示装置と、
前記表示装置に対して前記視野映像を出力すると共に、前記仮想体験者が熟練作業者である場合には前記物理量データや視線の移動データを教師データとして記録し、前記仮想体験者が未熟作業者である場合には前記物理量データや視線の移動データを前記教師データと比較して差分を算出し、予め定められた基準値に基づいて前記差分に相当する熟練度を求める処理を行う処理装置と、を有することを特徴とする作業教育支援システム。 - 前記測定装置には、前記仮想体験者の動作を検出するターゲットやカメラ、前記仮想体験者の視線や、動作に基づく物理量を検出するセンサが含まれることを特徴とする請求項1に記載の作業教育支援システム。
- 前記表示装置には、仮想体験者が装着するHMD(Head Mounted Display)が含まれ、前記HMDを介して仮想体験者に各種動作指示が示されることを特徴とする請求項1または2に記載の作業教育支援システム
- 前記視野映像の表示において、対象物同士の近接距離が所定の値以下となった場合に、前記対象物同士に規定された適切な接合状態を表現して表示することを特徴とする請求項1乃至3のいずれか1項に記載の作業教育支援システム。
- 特定作業に対する仮想体験者の動作や姿勢の物理量データ、及び視線の移動データを検出する測定装置と、仮想空間における視野映像を映し出す表示装置と、前記表示装置に対して前記視野映像を出力すると共に、前記仮想体験者が熟練作業者である場合には前記物理量データや視線の移動データを教師データとして記録し、前記仮想体験者が未熟作業者である場合には前記物理量データや視線の移動データを前記教師データと比較して差分を算出し、予め定められた基準値に基づいて前記差分に相当する熟練度を求める処理を行う処理装置と、を有し、現場作業に従事する未熟作業者に対して熟練作業者の技術を学ばせる作業教育支援システムに適用するコンテンツ作成プログラムであって、
前記熟練作業者による仮想体験時に撮影された映像に対して、前記処理装置に記録された前記未熟作業者に対する付加情報を選択して追加することで作業体験コンテンツの映像を作成し、
前記作業体験コンテンツの映像をプログラムに応じたDataSheetに変換して出力することを特徴とする作業教育支援システム用コンテンツ作成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021161085A JP2023050798A (ja) | 2021-09-30 | 2021-09-30 | 作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021161085A JP2023050798A (ja) | 2021-09-30 | 2021-09-30 | 作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023050798A true JP2023050798A (ja) | 2023-04-11 |
Family
ID=85806246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021161085A Pending JP2023050798A (ja) | 2021-09-30 | 2021-09-30 | 作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023050798A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7382684B1 (ja) | 2023-08-04 | 2023-11-17 | サン・シールド株式会社 | 玉掛け作業シミュレーションシステム、及び、玉掛け作業シミュレーション方法 |
-
2021
- 2021-09-30 JP JP2021161085A patent/JP2023050798A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7382684B1 (ja) | 2023-08-04 | 2023-11-17 | サン・シールド株式会社 | 玉掛け作業シミュレーションシステム、及び、玉掛け作業シミュレーション方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9336686B2 (en) | Tablet-based welding simulator | |
CN106030457B (zh) | 在过程期间跟踪对象 | |
JP6382490B2 (ja) | シンビオティックヘルパー | |
US11908337B2 (en) | Information processing device, intermediation device, simulation system, and information processing method | |
CN102171744A (zh) | 焊接仿真器 | |
JP7281348B2 (ja) | トレーニング処理装置、仲介装置、トレーニングシステム及びトレーニング処理方法 | |
KR102165692B1 (ko) | 가상 현실을 이용한 군용 장비 정비 훈련 시스템 및 이의 동작 방법 | |
CN110718280A (zh) | 健身动作准确度确定方法、装置、电子设备及存储介质 | |
JP2019171501A (ja) | ロボットの干渉判定装置、ロボットの干渉判定方法、プログラム | |
JP2023050798A (ja) | 作業教育支援システム及び作業教育支援システム用コンテンツ作成プログラム | |
Gorobets et al. | A VR-based approach in conducting MTM for manual workplaces | |
JP7265667B2 (ja) | 作業支援システムおよび作業支援方法 | |
Sekizuka et al. | System to evaluate the skill of operating hydraulic excavators using a remote controlled excavator and virtual reality | |
CN111598273A (zh) | 一种基于vr技术的环控生保系统维修性检测方法及装置 | |
US11967245B2 (en) | Training processing device, intermediation device, training system, and training processing method | |
KR102199078B1 (ko) | 동작인식 기반의 스마트 미용기술 러닝 장치 및 방법 | |
US11462126B2 (en) | Work support device and work supporting method | |
KR101606543B1 (ko) | 자율도 조정과 인간 조작자 개입을 통한 hri 로봇 시스템 | |
JP2007156838A (ja) | 組立作業確認システム及び組立作業確認方法 | |
CN104169996A (zh) | 焊接技能教育支援装置 | |
RU2020100190A (ru) | Программно-аппаратный комплекс обучающей системы с автоматической оценкой эмоций обучаемого | |
JP7475948B2 (ja) | 訓練システム、方法及びプログラム | |
JP2021086218A (ja) | 協調作業システム、解析装置および解析プログラム | |
WO2023162164A1 (ja) | 教示支援装置、作業システム、教示支援方法および教示支援プログラム | |
TWI711016B (zh) | 具即時互動與記憶回饋的實境教學與測驗之系統 |