JP2023055382A - 対応能力推定システム - Google Patents
対応能力推定システム Download PDFInfo
- Publication number
- JP2023055382A JP2023055382A JP2021164719A JP2021164719A JP2023055382A JP 2023055382 A JP2023055382 A JP 2023055382A JP 2021164719 A JP2021164719 A JP 2021164719A JP 2021164719 A JP2021164719 A JP 2021164719A JP 2023055382 A JP2023055382 A JP 2023055382A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- reaction
- virtual image
- estimating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 title claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 claims abstract description 135
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 5
- 230000000007 visual effect Effects 0.000 claims description 76
- 230000006870 function Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims 2
- 210000003128 head Anatomy 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 16
- 230000009471 action Effects 0.000 description 13
- 238000013024 troubleshooting Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000013210 evaluation model Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000010485 coping Effects 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 235000019645 odor Nutrition 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】対応能力を人手に頼ることなく高精度かつ自動的に推定する対応能力推定システムを提供する。【解決手段】対応能力推定システム1において、情報取得部9は、業務上発生した事象の仮想画像をユーザに表示させた際のユーザの反応に関する反応情報を取得する。判別装置2は、データベース3に記憶されたユーザの反応に関する参照用反応情報1と、予め類型化された対応能力とを教師データとして用い、入力を参照用反応情報とし、出力を対応能力とした推定モデルを機械学習により予め生成しておき、生成した推定モデルを用いて、情報取得部9により取得された反応情報に応じた参照用反応情報に基づいて対応能力を推定する。【選択図】図1
Description
本発明は、業務上発生した事象に対するユーザの対応能力を推定する対応能力推定システムに関する。
業務を行う上では、様々なトラブルを始めとする事象が発生する場合がある。このような事象は、予期し得ない時期において、また予期し得ない原因で起こる場合もある。このようなトラブルを始めとする各事象に対して、パニックになることなく、常に冷静になり、迅速かつ安全に対応するための行動をとる必要がある。このような各事象に対応できる人材を社内から人選し、或いは社外から採用する場合、或いは対応能力を従業員に対して教育、育成する場合において、現状の対応能力がどの程度あるかを計測する必要がある。
しかしながら、このような対応能力を実際に業務における現場の臨場感をもたせて計測する手段が従来より案出されていない。単なるシミュレーションと、実際の現場での事象があまりに乖離していると、得られた計測値の信ぴょう性を欠くことにもなるため、あたかも業務で本当のトラブル等を始めとする事象が発生したかのような感覚の中でユーザがどのような反応をするかまでを掘り下げて計測する必要がある。
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、あたかも業務上において本当の事象が発生したかのような感覚の中で、現場の臨場感をもたせて対応能力を推定することが可能な対応能力推定システムを提供することにある。
本発明に係る対応能力推定システムは、業務上発生した事象に対するユーザの対応能力を推定する対応能力推定システムにおいて、業務上発生した事象の仮想画像をユーザに表示する表示手段と、上記表示手段を視認したユーザの反応に関する反応情報を検出するユーザインタフェース手段と、ユーザの反応に関する参照用反応情報と、予め類型化された対応能力とを教師データとして用い、入力を上記参照用反応情報とし、出力を対応能力とした推定モデルを機械学習により予め生成しておき、生成した上記推定モデルを用いて、上記ユーザインタフェース手段により検出された反応情報に応じた参照用反応情報に基づいて対応能力を推定する推定手段とを備えることを特徴とする。
特段のスキルや経験が無くても、誰でも手軽にあたかも業務上において本当の事象が発生したかのような感覚の中で、現場の臨場感をもたせて対応能力を推定することができる。
以下、本発明を適用した対応能力推定システムについて、図面を参照しながら詳細に説明をする。
第1実施形態
図1は、本発明を適用した対応能力推定システム1の全体構成を示すブロック図である。対応能力推定システム1は、情報取得部9と、情報取得部9に接続された推定装置2と、推定装置2に接続されたデータベース3とを備えている。
図1は、本発明を適用した対応能力推定システム1の全体構成を示すブロック図である。対応能力推定システム1は、情報取得部9と、情報取得部9に接続された推定装置2と、推定装置2に接続されたデータベース3とを備えている。
情報取得部9は、本システムを活用する者が各種コマンドや情報を入力するためのデバイスであり、具体的にはキーボードやボタン、タッチパネル、マウス、スイッチ等により構成される。情報取得部9は、テキスト情報を入力するためのデバイスに限定されるものではなく、マイクロフォン等のような音声を検知してこれをテキスト情報に変換可能なデバイスで構成されていてもよい。また情報取得部9は、カメラ等の画像を撮影可能な撮像装置として構成されていてもよい。情報取得部9は、紙媒体の書類から文字列を認識できる機能を備えたスキャナで構成されていてもよい。また情報取得部9は、後述する推定装置2と一体化されていてもよい。情報取得部9は、検知した情報を推定装置2へと出力する。また情報取得部9は地図情報をスキャニングすることで位置情報を特定する手段により構成されていてもよい。また情報取得部9は、温度センサ、湿度センサ、風向センサ、を測るための照度センサで構成されていてもよい。また情報取得部9は、天候についてのデータを気象庁や民間の天気予報会社から取得する通信インターフェースで構成されていてもよい。また情報取得部9は身体に装着して身体のデータを検出するための身体センサで構成されていてもよく、この身体センサは、例えば体温、心拍数、血圧、歩数、歩く速度、加速度を検出するためのセンサで構成されていてもよい。また情報取得部9は図面等の情報をスキャニングしたり、或いはデータベースから読み出すことで取得するデバイスとして構成されていてもよい。情報取得部9は、これら以外に臭気や香りを検知する臭気センサにより構成されていてもよい。
データベース3は、トラブル対応能力の推定を行う上で必要な様々な情報が蓄積される。トラブル対応能力を行う上で必要な情報としては、ユーザがトラブルに対してどのような反応をしたかに関する参照用反応情報等と、トラブル対応能力とのデータセットが記憶されている。
つまり、データベース3には、このような参照用反応情報や、他の参照用情報等の何れか1以上と、予め類型化されたトラブル対応能力が互いに紐づけられた学習データ記憶されている。なお、データベース3にこのような学習データを記憶する代わりに、判別装置2や情報取得部9側に学習データを記憶させるようにしてもよい。即ち、判別装置2や情報取得部9をいわゆるエッジデバイスとし、このエッジデバイスに、人工知能を搭載し、学習データを蓄積させて推論を行うようにしてもよい。
推定装置2は、例えば、パーソナルコンピュータ(PC)等を始めとした電子機器で構成されているが、PC以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。ユーザは、この推定装置2による探索解を得ることができる。
図2は、推定装置2の具体的な構成例を示している。この推定装置2は、推定装置2全体を制御するための制御部24と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部25と、有線通信又は無線通信を行うための通信部26と、各種判断を行う推定部27と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部28とが内部バス21にそれぞれ接続されている。さらに、この内部バス21には、実際に情報を表示するモニタとしての表示部23が接続されている。
制御部24は、内部バス21を介して制御信号を送信することにより、推定装置2内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部24は、操作部25を介した操作に応じて各種制御用の指令を内部バス21を介して伝達する。
操作部25は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部25は、上記実行命令がユーザから入力された場合には、これを制御部24に通知する。この通知を受けた制御部24は、推定部27を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。この操作部25は、前述した情報取得部9として具現化されるものであってもよい。
推定部27は、探索解を推定する。この推定部27は、推定動作を実行するに当たり、必要な情報として記憶部28に記憶されている各種情報や、データベース3に記憶されている各種情報を読み出す。この推定部27は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。
表示部23は、制御部24による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部23は、例えば、液晶ディスプレイ(LCD)等によって実現される。
記憶部28は、ハードディスクで構成される場合において、制御部24による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部28には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部24により読み出されて実行されることになる。
上述した構成からなる対応能力推定システム1における動作について説明をする。
対応能力推定システム1は、業務を行う上で発生する事象に対するユーザの対応能力を推定するものである。ここでいう事象とは、業務上発生するトラブル、出来事、事件に加え、社内や社外との通常の会話やコミュニケーション、受発注及びそこから派生する売上や利益の状況、顧客から言われたクレーム、更には人事(入社、退社、人の出入り等)等、会社の業務を行う上で生じるあらゆるファクターに基づく事象が含まれる。
この事象において工場内において発生したトラブルを例に挙げるのであれば、工場でのトラブルは、火災や地震、津波や洪水等といった大規模なものから、配管の水漏れ、機器の故障、ベルトコンベアやロボットが停止してしまった場合、電気やガスのトラブル、更には作業員の怪我等の人的なトラブル等、あらゆるものが含まれる。
対応能力とは、このような各事象に対するユーザの対応能力を示す。対応能力は、能力があるか否かの2値で示す場合に加え、その対応能力の度合いを3段階以上で評価するものであってもよい。対応能力は、実際に専門家や当業者によって、あるいは業者によって評価されたものであってもよく、例えば、100点満点、或いは1000点満点でランク付けされたものであってもよい。対応能力に加え、その対応記載について正しいものの、さらに改善の余地があるか否かを示すものであってもよい。対応能力は、その高さという軸で評価する以外に、例えば、迅速さには優れるが部下に対する指示能力に欠ける、対応の正確性は優れるが迅速さに欠ける、対応に必要なデータを全て集める前に意思決定をしてしまった等、対応に関する様々な類型をあらかじめ設けておき、いかなる類型に当てはまるかを判別するものであってもよい。以下の例においては、事象として、工場において発生したトラブルを例に挙げ、また対応能力は、工場において発生したトラブルに対するトラブル対応能力を例に挙げ説明をする。
対応能力推定システム1は、例えば図3に示すように、参照用反応情報と、トラブル対応能力との3段階以上の連関度が予め設定されていることが前提となる。参照用反応情報とは、工場内におけるトラブルの仮想画像を視認したユーザの反応に関する情報である。ここでいう仮想画像は、上述した工場における各トラブルに関する静止画又は動画である。仮想画像においてトラブルが発生して、どのように被害が伝播し、工場内におけるいかなる機器に影響を及ぼしているか、その機器のデータも含めて、トラブルの内容がユーザに分かるように編集された画像であってもよい。このような仮想画像は、例えばヘッドマウントディスプレイ(HMD)をユーザに装着させ、その表示画面上で表示することで、よりユーザに対して臨場感を与えることが可能となるが、このようなHMDの装着は必須ではない。参照用反応情報は、このような仮想画像を視認したユーザがいかなる反応を起こすかを検出したものである。参照用反応情報は、HMDにおけるアイトラッキング機能により検出可能なユーザの目の動き、HMDにおけるセンサを介して検出可能なユーザの頭部の動き、HMDにおけるマイクを介して検出可能なユーザの音声、ユーザに把持させたハンドトラッキング部を介して検出したユーザの手の動き、HMDに設けられた位置検出機能を介して抽出されたユーザの位置情報等、反応を判別する上で必要となるあらゆるファクターで構成されていてもよい。更にこの参照用反応情報は、HMDに設けられたカメラにより撮像された画像も含まれる。HMDに設けられたカメラにより撮像される画像は、実際にユーザが視認している方向や内容に対応していることから、トラブルに対していかなる内容を視認しているのかを把握することができる。かかる場合に、撮像される画像の特徴的な部分を、ディープラーニング技術を利用して、人工知能を通じて抽出することで判別するようにしてもよい。
なお、音声データを取得した場合、これをテキストデータに変換した上で、実際には周知の形態素解析、自然言語解析、構文解析を行い、実際にそのテキストデータが示そうとする意図を抽出するようにしてもよい。また、動詞とこれに係り受けする格成分との組み合わせの関係を利用し、その意図を抽出してもよい。そして、この抽出した意図とトラブル対応能力とをデータセットとして学習させるようにしてもよい。
このような参照用反応情報と、トラブル対応能力からなるデータセットを取得しておき、これを学習させる。データセットを作る際には、トラブル対応の担当者について、熟練の者と、経験の浅い者に実際に仮想画像をそれぞれ表示し、参照用対応情報を取得すると共に、その対応の内容を評価者が評価して類型化するようにしてもよい。実際に、この学習データのデータセットを作る段階において、人間にHMDを装着させて、参照用対応情報を検出することは必須ではない。
図3の例では、入力データとして例えば参照用反応情報P01~P03であるものとする。このような入力データとしての参照用反応情報P01~P03は、出力としてのトラブル対応能力に連結している。この出力においては、出力解としての、トラブル対応能力が表示されている。
参照用反応情報は、この出力解としてのトラブル対応能力A~Dに対して3段階以上の連関度を通じて互いに連関しあっている。参照用反応情報がこの連関度を介して左側に配列し、各トラブル対応能力が連関度を介して右側に配列している。連関度は、左側に配列された参照用反応情報に対して、何れのトラブル対応能力と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用反応情報が、いかなるトラブル対応能力に紐付けられる可能性が高いかを示す指標であり、参照用反応情報から最も確からしいトラブル対応能力を選択する上での的確性を示すものである。図3の例では、連関度としてw13~w19が示されている。このw13~w19は以下の表1に示すように10段階で示されており、10点に近いほど、中間ノードとしての各組み合わせが出力としてのトラブル対応能力と互いに関連度合いが高いことを示しており、逆に1点に近いほど中間ノードとしての各組み合わせが出力としての値段と互いに関連度合いが低いことを示している。
推定装置2は、このような図3に示す3段階以上の連関度w13~w19を予め取得しておく。つまり推定装置2は、実際の探索解の判別を行う上で、参照用反応情報と、その場合のトラブル対応能力の何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで図3に示す連関度を作り上げておく。
例えば、参照用反応情報がαであるものとする。このような参照用反応情報に対するトラブル対応能力としてはトラブル対応能力Aが多く評価されたものとする。このようなデータセットを集めて分析することにより、参照用反応情報との連関度が強くなる。
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用反応情報P01である場合に、過去のトラブル対応能力の評価を行った結果の各種データから分析する。こ参照用反応情報P01である場合に、トラブル対応能力Aの事例が多い場合には、このトラブル対応能力の評価につながる連関度をより高く設定し、トラブル対応能力Bの事例が多い場合には、このトラブル対応能力の評価につながる連関度をより高く設定する。例えば参照用反応情報P01の例では、トラブル対応能力Aと、トラブル対応能力Cにリンクしているが、以前の事例からトラブル対応能力Aにつながるw13の連関度を7点に、トラブル対応能力Cにつながるw14の連関度を2点に設定している。
また、この連関度は、図4に示すように、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。
このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを、以前の評価対象の書類の記載の画像等と実際に推定・評価したトラブル対応能力とのデータセットを通じて作った後に、実際にこれから新たにトラブル対応能力の判別を行う上で、上述した学習済みデータを利用してトラブル対応能力を探索することとなる。かかる場合には、実際に判別対象の領域において反応情報を新たに取得する。新たに取得する反応情報は、上述した情報取得部9により入力される。反応情報は、トラブル対応能力を判別しようとする書類の書面を撮像することで取得する。この判別方法は、上述した参照用反応情報と同様の手法で行うようにしてもよい。
このようにして新たに取得した反応情報に基づいて、トラブル対応能力を判別する。かかる場合には、予め取得した図3(表1)に示す連関度を参照する。例えば、新たに取得した反応情報がP02と同一かこれに類似するものである場合には、連関度を介してトラブル対応能力Bがw15、トラブル対応能力Cが連関度w16で関連付けられている。かかる場合には、連関度の最も高いトラブル対応能力Bを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められるトラブル対応能力Cを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。なお、連関度は3段階以上のものを利用する場合に限定されるものではなく、2段階の連関性、即ち、1か0か、関係があるか否かを示すもので構成されるものであってもよい。かかる場合には、入力側の参照用反応情報と、出力側のトラブル対応能力とが互いに紐付けられたテーブルを参照するようにしてもよい。そしてある反応情報が入力された場合、これに対応する参照用反応情報に紐付けられたトラブル対応能力を出力することとなる。
このようにして、新たに取得する反応情報から、最も好適なトラブル対応能力を探索し、推定表示することができる。
なお本発明によれば、参照用反応情報と、トラブル対応能力との3段階以上の連関度を予め学習させ、その連関度を利用してトラブル対応能力を探索する場合に限定されるものではない。つまり反応情報と、トラブル対応能力は、3段階以上の連関度ではなく、2段階以上の連関性に基づいていればよい。2段階以上の連関性とは、各参照用反応情報又は参照用テキストデータに、いかなるトラブル対応能力が紐づいているか否かを示すものであってもよい。
図5の例では、参照用反応情報と、他の参照用情報との組み合わせが形成されていることが前提となる。他の参照用情報とは、参照用属性情報、参照用種類情報、参照用環境情報、参照用時期情報、参照用センシング情報、参照用利用状況情報、参照用仮想画像が含まれる。
参照用属性情報は、ユーザの工場での実務経験やスキル等に関する情報である。この参照用属性情報としては、年齢や性別等に関する情報も含めるようにしてもよい。
参照用種類情報とは、設備の種類に関する情報である。ここでいう設備の種類は、工場の設備(水道、ガス、電気、トイレ、給湯、配電、照明、ライン、ベルトコンベア、ロボット、プラント設備)、施設の設備(調理場の設備、防火設備、空調設備)等の各種類の分類を示すものである。参照用種類情報は、例えば水道であれば、更に水道の配管なのか、蛇口なのか、あるいはそのコンロトールシステムであるのかまで細分化されていてもよい。
参照用環境情報とは、その設備が晒される環境に関するあらゆる情報である。ここでいう環境とは、温度、湿度、風量等に加え、降水量、過去の水害による浸水の有無、日照量、日照時間等、環境に関するあらゆる情報が含まれる。
参照用時期情報は、検査を行う時期に関する情報である。この検査を行う時期は、月単位、週単位といった大まかなものから、日単位、時間、分、秒単位等まで細分化されるものであってもよい。構造物によっては、検査の時期によってその健全度に影響する場合もあることから、これを参照用情報として含めている。
参照用センシング情報は、設備に対してセンサにより外観をセンシングした情報である。このセンサとは、構造や寸法を検出するための周知の光やレーザを利用したもの以外に色彩を検出するためのセンサ、設備から発せられる各波長帯の光を検出するためのスペクトルセンサ等であってもよい。
参照用利用状況情報は、検査対象の設備の利用状況を示すデータで構成される。参照用利用状況情報は、その設備がどの程度利用されているかを示すものであり、利用頻度を示すものであってもよい。例えばプラントや工場であれば、単位時間当たりの生産量等であってもよい。このような利用頻度を時系列的にまとめたグラフを参照用利用情報としてもよい。設備によっては、利用状況に応じて健全度の判定基準を変える必要が出てくるものもあることから、これを参照用情報として含めている。
参照用仮想画像は、ユーザに対して仮想的に表示する画像に関する情報である。参照用仮想画像情報は、画像そのもので構成されていてもよいし、その画像を特徴付ける情報や特徴量で構成されていてもよい。また参照用仮想画像は、その画像の内容の種類や類型で構成されていてもよい。仮に参照用仮想画像が類型で示されるものであれば、その類型が例えば火災や地震、津波や洪水等、配管の水漏れ、機器の故障、ベルトコンベアやロボットが停止してしまった場合、電気やガスのトラブル、更には作業員の怪我等の人的なトラブル等に応じて分類されていてもよいし、更にはこのような大分類以外に、火災であってもその発生個所や規模等、詳細に分類されていてもよい。このような仮想画像がいかなるものかを参照しつつ解探索を行うことで、探索精度を向上させることができる。
図5の例では、入力データとして例えば参照用反応情報P01~P03、他の参照用情報P14~17であるものとする。このような入力データとしての、参照用反応情報に対して、他の参照用情報が組み合わさったものが、図5に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、トラブル対応能力が表示されている。
参照用反応情報と他の参照用情報との各組み合わせ(中間ノード)は、この出力解としての、トラブル対応能力に対して3段階以上の連関度を通じて互いに連関しあっている。参照用反応情報と他の参照用情報がこの連関度を介して左側に配列し、トラブル対応能力が連関度を介して右側に配列している。連関度は、左側に配列された参照用反応情報と他の参照用情報に対して、トラブル対応能力と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用反応情報と他の参照用情報が、いかなるトラブル対応能力に紐付けられる可能性が高いかを示す指標であり、参照用反応情報と他の参照用情報から最も確からしいトラブル対応能力を選択する上での的確性を示すものである。このため、これらの参照用反応情報と他の参照用情報の組み合わせで、最適なトラブル対応能力を探索していくこととなる。
図5の例では、連関度としてw13~w22が示されている。このw13~w22は表1に示すように10段階で示されており、10点に近いほど、中間ノードとしての各組み合わせが出力と互いに関連度合いが高いことを示しており、逆に1点に近いほど中間ノードとしての各組み合わせが出力と互いに関連度合いが低いことを示している。
推定装置2は、このような図5に示す3段階以上の連関度w13~w22を予め取得しておく。つまり推定装置2は、実際の探索解の判別を行う上で、参照用反応情報と他の参照用情報、並びにその場合のトラブル対応能力が何れが見合うものであったか、過去のデータを蓄積しておき、これらを分析、解析することで図5に示す連関度を作り上げておく。
例えば、過去にあった実際の事例における参照用反応情報がαであるものとする。また他の参照用情報が、ある参照用時期情報である、時期Wであるものとする。かかる場合に、実際にそのトラブル対応能力がいくらであったかを示すトラブル対応能力をデータセットとして学習させ、上述した連関度という形で定義しておく。なお、このような参照用反応情報や、他の参照用情報は、業者等が管理する管理データベースから抽出するようにしてもよい。
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用反応情報P01で、他の参照用情報P16である場合に、そのトラブル対応能力を過去のデータから分析する。トラブル対応能力がAの事例が多い場合には、このトラブル対応能力Aにつながる連関度をより高く設定し、トラブル対応能力Bの事例が多く、トラブル対応能力Aの事例が少ない場合には、トラブル対応能力Bにつながる連関度を高くし、トラブル対応能力Aにつながる連関度を低く設定する。例えば中間ノード61aの例では、トラブル対応能力Aとトラブル対応能力Bの出力にリンクしているが、以前の事例からトラブル対応能力Aにつながるw13の連関度を7点に、トラブル対応能力Bにつながるw14の連関度を2点に設定している。
また、この図5に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。
図5に示す連関度の例で、ノード61bは、参照用反応情報P01に対して、他の参照用情報P14の組み合わせのノードであり、トラブル対応能力Cの連関度がw15、トラブル対応能力Eの連関度がw16となっている。ノード61cは、参照用反応情報P02に対して、参照用位置情報P15、P17の組み合わせのノードであり、トラブル対応能力Bの連関度がw17、トラブル対応能力Dの連関度がw18となっている。
このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれからトラブル対応能力を判別する際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際に反応情報と、参照用情報に応じた情報とを取得する。参照用情報に応じた情報とは、例えば参照用情報が参照用属性情報であれば、ユーザの属性に関する情報である。
参照用情報が参照用種類情報であれば、工場の設備の種類に関する情報である。参照用情報が参照用環境情報であれば、工場の設備が晒される環境に関するあらゆる情報である。参照用情報が参照用属性情報であれば、ユーザの属性に関する情報である。参照用情報が参照用時期情報であれば、推定を行う時期に関する情報である。参照用情報が参照用センシング情報であれば、推定を行う工場の設備に対してセンサにより計測した情報である。参照用情報が参照用利用状況情報であれば、推定対象の工場の設備の利用状況を示すデータで構成される。
また参照用情報が、参照用仮想画像であれば、ユーザに対して表示する仮想画像で構成される。参照用仮想画像が予め類型化されているのであれば、新たに取得した仮想画像をその参照用仮想画像の類型に当てはめるようにしてもよい。かかる場合には、仮想画像と、その類型とを教師データとして用い、入力を仮想画像とし、出力を類型とした機械学習モデルを利用し、新たに表示される仮想画像に基づいて類型を取得するようにしてもよい。
このようにして新たに取得した反応情報、参照用情報に応じた情報に基づいて、最適なトラブル対応能力を探索する。かかる場合には、予め取得した図5(表1)に示す連関度を参照する。例えば、新たに取得した反応情報がP02と同一かこれに類似するものである場合であって、参照用情報に応じた情報がP17である場合には、連関度を介してノード61dが関連付けられており、このノード61dは、トラブル対応能力Cがw19、トラブル対応能力Dが連関度w20で関連付けられている。かかる場合には、連関度の最も高いトラブル対応能力Cを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められるトラブル対応能力Dを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。
また、入力から伸びている連関度w1~w12の例を以下の表2に示す。
この入力から伸びている連関度w1~w12に基づいて中間ノード61が選択されていてもよい。つまり連関度w1~w12が大きいほど、中間ノード61の選択における重みづけを重くしてもよい。しかし、この連関度w1~w12は何れも同じ値としてもよく、中間ノード61の選択における重みづけは何れも全て同一とされていてもよい。
なお、上述した図5の例では、参照用反応情報と、他の参照用情報との組み合わせに対するトラブル対応能力に関する連関度を適用する場合を例にとり説明をしたが、これに限定されるものではない。
上述した連関度においては、10段階評価で連関度を表現しているが、これに限定されるものではなく、3段階以上の連関度で表現されていればよく、逆に3段階以上であれば100段階でも1000段階でも構わない。一方、この連関度は、2段階、つまり互いに連関しているか否か、1又は0の何れかで表現されるものは含まれない。
上述した構成からなる本発明によれば、特段のスキルや経験が無くても、誰でも手軽にトラブル対応能力の探索を行うことができる。また本発明によれば、この探索解の判断を、人間が行うよりも高精度に行うことが可能となる。更に、上述した連関度を人工知能(ニューラルネットワーク等)で構成することにより、これを学習させることでその判別精度を更に向上させることが可能となる。
なお、上述した入力データ、及び出力データは、学習させる過程で完全に同一のものが存在しない場合も多々あることから、これらの入力データと出力データを類型別に分類した情報であってもよい。つまり、入力データを構成する情報P01、P02、・・・・P15、16、・・・は、その情報の内容に応じて予めシステム側又はユーザ側において分類した基準で分類し、その分類した入力データと出力データとの間でデータセットを作り、学習させるようにしてもよい。
なお、上述した連関度では、参照用反応情報に加え、上述した各参照用情報の何れかとの組み合わせで構成されている場合を例にとり説明をしたが、これに限定されるものではない。つまり連関度は、参照用反応情報に加え、上述した各参照用情報の何れか2以上との組み合わせで構成されていてもよい。また連関度は、参照用反応情報に加え、上述した各参照用情報の何れか1以上に加え、他のファクターがこの組み合わせに加わって連関度が形成されていてもよい。
また、本発明によれば、3段階以上に設定されている連関度を介して最適な解探索を行う点に特徴がある。連関度は、上述した10段階以外に、例えば0~100%までの数値で記述することができるが、これに限定されるものではなく3段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。
このような3段階以上の数値で表される連関度に基づいて最も確からしいトラブル対応能力を判別することで、探索解の可能性の候補として複数考えられる状況下において、当該連関度の高い順に探索して表示することも可能となる。このように連関度の高い順にユーザに表示できれば、より確からしい探索解を優先的に表示することも可能となる。
これに加えて、本発明によれば、連関度が1%のような極めて低い出力の判別結果も見逃すことなく判断することができる。連関度が極めて低い判別結果であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、その判別結果として役に立つ場合もあることをユーザに対して注意喚起することができる。
更に本発明によれば、このような3段階以上の連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した連関度が1%のものであっても漏れなく拾うことができる反面、より適切な判別結果を好適に検出できる可能性が低く、ノイズを沢山拾ってしまう場合もある。一方、閾値を高くすれば、最適な探索解を高確率で検出できる可能性が高い反面、通常は連関度は低くてスルーされるものの何十回、何百回に一度は出てくる好適な解を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。
更に本発明では、上述した連関度を更新させるようにしてもよい。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。また参照用反応情報、参照用テキスト情報、他の参照用情報を取得し、これらに対するトラブル対応能力、改善施策に関する知見、情報、データを取得した場合、これらに応じて連関度を上昇させ、或いは下降させる。
つまり、この更新は、人工知能でいうところの学習に相当する。新たなデータを取得し、これを学習済みデータに反映させることを行っているため、学習行為といえるものである。
また、この連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。
また学習済モデルを最初に作り上げる過程、及び上述した更新は、教師あり学習のみならず、教師なし学習、ディープラーニング、強化学習等を用いるようにしてもよい。教師なし学習の場合には、入力データと出力データのデータセットを読み込ませて学習させる代わりに、入力データに相当する情報を読み込ませて学習させ、そこから出力データに関連する連関度を自己形成させるようにしてもよい。
なお図3に示す連関度が、人工知能におけるニューラルネットワークのノードで構成されるものである場合には、入力データとして参照用反応情報が入力され、出力データとしてトラブル対応能力が出力され、入力ノードと出力ノードの間に少なくとも1以上の隠れ層が設けられ、機械学習させるようにしてもよい。
また本発明は、図6に示すように参照用情報Uと参照用情報Vという2種類以上の情報の組み合わせの連関度に基づいてトラブル対応能力を判別するものである。この参照用反応情報Uが参照用反応情報であり、参照用情報Vが他の参照用情報の何れかであるものとする。
このとき、図6に示すように、参照用情報Uについて得られた出力をそのまま入力データとして、参照用情報Vとの組み合わせの中間ノード61を介して出力(トラブル対応能力)と関連付けられていてもよい。例えば、参照用情報U(参照用反応情報)について、図3に示すように出力解を出した後、これをそのまま入力として、他の参照用情報Vとの間での連関度を利用し、出力(トラブル対応能力)を探索するようにしてもよい。
また本発明は、上述した実施の形態に限定されるものでは無く、例えば図7に示すように、基調となる参照用情報(参照用反応情報)と、トラブル対応能力との3段階以上の連関度を利用するようにしてもよい。かかる場合には、新たに取得した情報に応じたトラブル対応能力との3段階以上の連関度に基づき、解探索を行うことになる。基調となる参照用情報は、上述した参照用反応情報であるが、他の参照用情報も適用可能である。
これらの場合も同様に、学習用データとして用いられた参照用情報に応じた情報が入力された場合に、上述した方法に基づいて解探索が行われることとなる。
連関度を通じて求められる探索解は、更に、他の参照用情報に基づいて修正され、或いは重み付けを変化させるようにしてもよい。
ここでいう他の参照用情報とは、上述した参照用情報の何れかを基調となる参照用情報とした場合、当該基調となる参照用情報以外のいかなる参照用情報に該当する。
例えば、他の参照用情報の一つとして、ある参照用種類情報P14において、以前においてトラブル対応能力としてBが判別される経緯が多かったものとする。このような参照用種類情報P14に応じたトラブル対応能力を新たに取得したとき、トラブル対応能力の探索解Bに対して、重み付けを上げる処理を行い、換言すればトラブル対応能力の探索解Bにつながるようにする処理を行うように予め設定しておく。
例えば、他の参照用情報Gが、よりトラブル対応能力の探索解Cを示唆するような分析結果であり、参照用情報Fが、よりトラブル対応能力の探索解Dを示唆するような分析結果であるものとする。このように参照用情報との間での設定の後、実際に取得した情報が参照用情報Gと同一又は類似する場合には、トラブル対応能力の探索解Cの重み付けを上げる処理を行う。これに対して、実際に取得した情報が参照用情報Fと同一又は類似する場合には、トラブル対応能力の探索解Dの重み付けを上げる処理を行う。つまり、トラブル対応能力につながる連関度そのものを、この参照用情報F~Hに基づいてコントロールするようにしてもよい。或いは、トラブル対応能力を上述した連関度のみで決定した後、この求めた探索解に対して参照用情報F~Hに基づいて修正を加えるようにしてもよい。後者の場合において、参照用情報F~Hに基づいてどのように探索解としてのトラブル対応能力にいかなるウェートで修正を加えるかは、都度システム側において設計したものを反映させることとなる。
また他の参照用情報は、何れか1種で構成される場合に限定されるものではなく、2種以上の参照用情報に基づいて解探索するようにしてもよい。かかる場合も同様に、参照用情報の示唆するトラブル対応能力につながるケースほど、連関度を介して求められた探索解としての当該判別類型をより高く修正するようにしてもよい。
なお、上述した実施の形態においては、トラブル対応能力を探索する場合を例に挙げて説明をしたが、これに限定されるものではない。
ユーザの反応に関する参照用反応情報と、予め類型化されたトラブル対応の行動情報とを教師データとして用いるようにしてもよい。かかる場合も同様に、入力を参照用反応情報とし、出力を行動情報とした推定モデルを機械学習により予め生成しておく。ここでいうトラブル対応の行動情報としては、実際にトラブル対応としていかなる行動をとるか、に関する情報である。この行動情報についても予め類型化されていてもよい。行動情報は、いかなるデータや情報を確認したか、いかなる箇所に移動したか、消火器で消火活動を行ったか、いかなるバルブを開閉し、いかなるスイッチやボタンを押圧し、いかなるレバーを引いたか、各種機器への操作に関する情報で構成されていてもよい。
かかる場合も上述と同様に推定モデルを用いて、反応情報を入力することで、反応情報に応じた参照用反応情報に基づいて行動情報を推定することができる。その他の参照用情報を含めて推定する場合も同様の方法で解探索を行うことができる。この解探索の詳細な説明は、上述した説明において、トラブル対応能力を行動情報に置き換えることにより以下での説明を省略する。かかる場合も上述と同様に推定モデルを用いて、反応情報を入力することで、反応情報に応じた参照用反応情報に基づいて行動情報を推定することができる。その他の参照用情報を含めて推定する場合も同様の方法で解探索を行うことができる。この解探索の詳細な説明は、上述した説明において、トラブル対応能力を行動情報に置き換えることにより以下での説明を省略する。このようにして推定した行動情報をユーザに表示することで、ユーザはいかなる反応を起こした場合に、いかなるトラブル対応のための行動をすべきかを知ることができる。このため臨場感を持ちつつ、トラブル対応の訓練を行うことができる。
上述した実施の形態においては、工場におけるトラブルに対するトラブル対応能力や行動情報を推定する場合を例にとり説明をしたが、これに限定されるものではない。工場におけるトラブル以外のあらゆる業務上の事象についても同様に、業務上発生した事象の仮想画像をユーザに表示する。そして、その表示された仮想画像を視認したユーザの反応に関する反応情報を検出する。そして反応情報に応じた参照用反応情報を介して、探索解としての対応能力(トラブル対応能力)を推定する。
第2実施形態
第2実施形態においては、判別装置2、又はこの判別装置2及び情報取得部9をウェアラブル端末の中でも特に眼鏡型端末、ヘッドマウントディスプレイ(HMD)を利用するものである。このHMDは、ユーザの頭部又は眼鏡に一体又は部分的に装着され、仮想現実(VR:virtual reality)、拡張現実(AR:Augmented Reality)或いは複合現実(MR:Mixed Reality)といった技術を利用し、取得した各種の映像情報に基づいて生成された情報を透過状態で表示する表示部を備える。ユーザは、表示すべき情報をHMD上において透過して表示する表示部を介して、視認し、理解することができる。これによりユーザは、目の前の状況を見つつ、取得された各種の映像情報に基づいて生成された情報や各種コンテンツを合わせて確認することが可能となる。
第2実施形態においては、判別装置2、又はこの判別装置2及び情報取得部9をウェアラブル端末の中でも特に眼鏡型端末、ヘッドマウントディスプレイ(HMD)を利用するものである。このHMDは、ユーザの頭部又は眼鏡に一体又は部分的に装着され、仮想現実(VR:virtual reality)、拡張現実(AR:Augmented Reality)或いは複合現実(MR:Mixed Reality)といった技術を利用し、取得した各種の映像情報に基づいて生成された情報を透過状態で表示する表示部を備える。ユーザは、表示すべき情報をHMD上において透過して表示する表示部を介して、視認し、理解することができる。これによりユーザは、目の前の状況を見つつ、取得された各種の映像情報に基づいて生成された情報や各種コンテンツを合わせて確認することが可能となる。
このため、本発明においては、例えば、反応情報をこのHMDに実装された情報取得部9を介して取得する。そして、HMD内において実装された判別装置2により解探索を行い、得られた探索解(トラブル対応能力)を、表示部を介して透過状態で表示するようにしてもよい。
このような第2実施形態において学習用データとして学習させる参照用反応情報は、実際にHMD等を始めとする眼鏡型端末で撮像したものであってもよいが、これに限定されるものではなく、通常のデジタルカメラやスマートフォン等で撮像したものであってもよい。
かかる場合において、図8に示すように、眼鏡型端末で撮像された動画像を時系列的に並べた場合に、視認対象αの画像情報(P1)、視認対象βの画像情報(P2)、視認対象βを拡大した画像情報(P3)、視認対象γの画像情報(P4)であったものとする。このようにして時系列的に得られた画像から、視認対象情報を検出するようにしてもよい。ここでいう視認対象情報とは、眼鏡型端末で撮像された画像が工場内のいかなる対象を視認しているかに関する情報である。この視認対象情報は、図8に示すように、実際に撮像している箇所や対象の名称で構成されていてもよいし、当該箇所や対象を特定するための記号や数値、番号等で表現されるものであってもよい。また視認対象情報は、例えば、撮影が拡大画像であるか縮小画像であるか否か、また撮影する際の撮影方向や画角等の情報も盛り込むようにしてもよい。
この視認対象情報の取得は、撮影対象となる箇所や対象を都度人間が判別して手入力してもよいが、取得した画像を周知の画像解析技術を利用することで得るようにしてもよい。この視認対象情報の取得は、以前において学習させた特徴量に基づいて判別するようにしてもよい。例えば、各視認対象α、β、γ、・・等の各部の画像を、ディープラーニング技術を利用して、人工知能を通じて抽出することで判別するようにしてもよい。かかる場合には、ヘッドマウントディスプレイ(ユーザ端末)に設けられたカメラを介して撮像した画像情報に含まれると、視認対象情報とを教師データとして用い、入力を画像情報とし、出力を視認対象情報とした機械学習モデルを利用する。そして、新たにユーザ端末を介して撮像された画像情報に基づいて視認対象情報を取得する。また、視認対象情報の取得は、これ以外に、HMDや眼鏡型端末において搭載されている、アイトラッキング機能を利用して検出した視線の方向、加速度センサやジャイロセンサを利用して検出した頭部の向き、操作デバイスやハンドトラッキング機能を利用したユーザの手の動き等を介して、視認対象情報を取得するようにしてもよい。
このようにして得られた視認対象情報を上述した各画像P1~P4等と紐付けて記録しておくことにより、各画像P1~P4が書類のいかなる視認対象を撮像した画像であるかをセットで取得することができる。仮にベテランの技術者からこのような画像情報を構成する画像P1~P4と、視認対象情報を取得することで、ベテランの技術者が実際にトラブル対応としていかなる視認対象をいかなる順番で確認しているのか、また拡大画像であるか否か、また撮影角度等のような撮影環境も取得することができる。
第2実施形態においては、視認対象情報を活用することで、実際の解探索時の利便性を高めることができる。上述した学習データを予め構築した上で、HMDを装着したユーザが本発明を実施する場合、探索解(トラブル対応能力)の探索は、上述した第1実施形態において説明した方法に基づいて実行する。このとき、HMDを装着したユーザから反応情報を取得する過程で、同様に視認対象情報を得るようにしてもよい。反応情報からこの視認対象情報を取得する方法としては、上述したように学習させた特徴量に基づいて判別するようにしてもよく、例えば画像情報中の視認対象α、視認対象β、視認対象γ等の各部の画像を、ディープラーニング技術を利用して、人工知能を通じて抽出することで判別するようにしてもよい。かかる場合には、画像情報に含まれる視認対象と、視認対象情報とを教師データとして用い、入力を画像情報とし、出力を視認対象情報とした機械学習モデルを利用する。そして、新たにユーザ端末を介して撮像された画像情報に基づいて視認対象情報を取得する。
以下、画像情報等を始めとする情報から取得した視認対象情報を第1視認対象情報ともいい、参照用画像情報等を始めとする参照用情報から取得した視認対象情報を第2視認対象情報ともいう。
画像情報を取得する過程で、このような第1視認対象情報を都度取得することで以下に説明する優れた効果がある。撮像した画像情報の第1視認対象情報と、参照用反応情報の第2視認対象情報が一致しているかを都度確認することが可能となる。撮像した反応情報の第1視認対象情報と、参照用画像情報の第2視認対象情報が不一致の場合には、HMDの表示部を介してユーザに注意喚起の表示をすることができる。
例えば、撮像した画像情報の第1視認対象情報が“視認対象α”であり、これに対応させるための参照用反応情報の第2視認対象情報が“視認対象β”である場合には、HMDを装着するユーザが反応情報を撮影する視認対象が誤った部位を撮影していることとなる。かかる場合には、上述のように注意喚起をすることで正しい視認対象に撮影対象を合わせることをユーザに促すことが可能となる。また、参照用画像情報に紐付けられた第2視認対象情報が、視認対象βを拡大して視認するものであるのに対して、画像情報に紐付けられた第1視認対象情報が同じ視認対象βの画像であるが拡大して視認していない場合には、同様にユーザに対して、画像を拡大して視認するように促すことが可能となる。
このようにして、撮像した画像情報の第1視認対象情報と、参照用画像情報の第2視認対象情報との一致度、HMDを装着したユーザに対して、実際に画像情報の撮影方法について様々な示唆を行い、又は様々な修正を促すことが可能となる。また、反応情報として画像を撮像する場合には、このような示唆に基づいて正しい視認対象の画像を撮像することで反応情報を得ることも可能となる。このとき、このような示唆や修正の促進を、HMDや眼鏡型端末の表示部を介して透過状態で表示する、上述したARやMRを実現するようにしてもよい。なお、この撮影方法についての示唆は、第1視認対象情報と、第2視認対象情報とに基づいたものであればいかなる示唆を表示するものであってもよい。
なお、上述した図8の例において書類について複数箇所を順次撮影対象を切り替える場合を例にとり説明をしたが、これに限定されるものではなく、参照用画像情報等が1箇所の視認対象について得られたものである場合においても同様に視認対象情報を取得して紐付けておくことで、実際に画像情報や反応情報等を取得するユーザに対して上述した誘導を行うことが可能となる。
なお本発明は、図9に示すように、参照用反応情報と、トラブル対応能力との3段階以上の連関度を上記書類の視認対象毎に予め取得するようにしてもよい。かかる場合には、視認対象α、視認対象β、視認対象γ等の各視認対象毎に、独立して参照用反応情報と、トラブル対応能力との連関度を学習させて保存しておく。
そして、取得した第1視認対象情報に応じた視認対象の連関度を読み出し、上述と同様に解探索する。仮に第1視認対象情報が視認対象αであれば、その視認対象α用の連関度からなる評価モデルを選択し、推定を行う。これにより、視認対象毎に特化した評価モデルを選択することができ、より高精度な推定を行うことができる。
なお、本発明は、図10に示すように、連関度を上述したように各視認対象について構築するとともに、その連関度を他の参照用情報毎に分類されていてもよい。ここでいう他の参照用情報とは、第1実施形態において説明したあらゆる参照用情報が含まれる。このうち、参照用種類情報に着目した場合、例えば図10に示すように、他の参照用情報Aとして、書類についてそれぞれ側視認対象α、視認対象β、視認対象γ用等の視認対象毎の連関度が形成されており、他の参照用情報Bとして書類についてそれぞれ側視認対象α、視認対象β、視認対象γ用等の視認対象毎の連関度が形成されている。このような各参照用情報毎に分類された、各視認対象毎の連関度を準備しておく。そして、新たに解探索を行う場合には、上述した視認対象情報を取得すると共に、他の情報を取得する。この取得する他の情報とは、上述した他の参照用情報に対応したものである。仮に他の参照用情報が、参照用種類情報であれば、種類情報を取得することになる。取得した他の情報に応じた参照用情報における視認対象毎に分類された評価モデルを選択し、同様に解探索を行う。上述した図10の例の場合、取得したものが他の情報B(種類情報B)である場合、これに応じた他の参照用情報B(参照用種類情報B)における視認対象毎に分類された何れかの評価モデルを選択し解探索することとなる。
なお、各視認対象について構築する連関度は、上述した参照用種類情報毎に構築する場合以外に、他のいかなる参照用情報毎に構築してもよい。かかる場合も同様に参照用情報に応じた情報を取得し、取得した情報に応じて連関度を選択することとなる。
学習済みモデルを構築する過程では、上述した参照用反応情報を取得する際に、同様に第2視認対象情報を取得しておく。またトラブル対応能力を取得することで上述と同様にデータセットを得て、図3、4に示すような連関度を形成しておく。解探索時には、取得した反応情報から参照用反応情報を構成すると共に、同様に第1視認対象情報を取得する。
そして取得した第1視認対象情報と、取得した反応情報と同一又は類似の参照用反応情報に紐付けられて記録されている第2視認対象情報とに基づいて、上述と同様にユーザに対して撮影方法についての示唆を表示する。
なお本発明は、図11に示すように、参照用反応情報と、トラブル対応能力との3段階以上の連関度をモデル選択情報毎に予め取得するようにしてもよい。ここでいうモデル選択情報とは、第1実施形態において説明した参照用情報としての、参照用属性情報に応じた属性情報、参照用種類情報に応じた種類情報、参照用環境情報に応じた環境情報、参照用時期情報に応じた時期情報、参照用センシング情報に応じたセンシング情報、参照用利用状況情報に応じた利用状況情報が含まれる。参照用仮想画像に応じた仮想画像が含まれる。これらの情報の詳細は、第1実施形態の説明を引用することにより、以下での説明は省略する。モデル選択情報は、この第1実施形態において説明した種類情報、属性情報、時期情報等のうち何れか1種から選択され、選択されたモデル選択情報の内訳(選択情報1、2、3、・・・)毎に独立して参照用反応情報と、トラブル対応能力との連関度を学習させて保存しておく。モデル選択情報が種類情報であれば、選択情報1として種類〇〇、選択情報2として種類▲▲、選択情報3として種類◇◇等が挙げられ、これらの選択情報毎に連関度が設けられている。
そして、推定時には、推定対象についてモデル選択情報を取得する。そして、取得したモデル選択情報に応じた書類の選択情報1、2、3、・・・の何れかの連関度を読み出し、上述と同様に解探索する。仮にモデル選択情報が選択情報2であれば、その選択情報2用の連関度からなる評価モデルを選択し、推定を行う。これにより、選択情報1、2、3、・・・毎に特化した評価モデルを選択することができ、より高精度な推定を行うことができる。
なお、選択情報として参照用仮想情報の類型毎に保存しておく場合、表示される仮想画像の類型を上述した方法に基づいて求め、求めた類型に対応する推定モデルを読み出すようにしてもよい。
なお、選択情報として参照用仮想情報の類型毎に保存しておく場合、表示される仮想画像の類型を上述した方法に基づいて求め、求めた類型に対応する推定モデルを読み出すようにしてもよい。
なお、本発明は、図12に示すように、連関度を上述したように選択情報1、2、3、・・・について構築するとともに、その連関度を他の参照用情報毎に分類されていてもよい。ここでいう他の参照用情報とは、第1実施形態において説明したあらゆる参照用情報(参照用属性情報、参照用種類情報、参照用環境情報、参照用時期情報、参照用センシング情報、参照用利用状況情報、参照用仮想画像等)が含まれる。このうち、参照用属性情報に着目した場合、例えば図12に示すように、他の参照用情報Aとして、属性〇〇についてそれぞれ選択情報1、2、3、・・・用毎の連関度が形成されており、他の参照用情報Bとして属性▲▲についてそれぞれ選択情報1、2、3、・・・用毎の連関度が形成されている。このような各参照用情報毎に分類された、各選択情報1、2、3、・・・毎の連関度を準備しておく。そして、新たに解探索を行う場合には、上述したモデル選択情報を取得すると共に、モデル選択情報以外の他の情報を取得する。この取得する他の情報とは、上述した他の参照用情報に対応したものである。仮に他の参照用情報が、参照用属性情報であれば、属性情報を取得することになる。取得した他の情報に応じた参照用情報における選択情報1、2、3、・・・毎に分類された評価モデルを選択し、同様に解探索を行う。上述した図12の例の場合、取得したものが他の情報B(属性情報B)である場合、これに応じた他の参照用情報B(参照用属性情報B)における選択情報1、2、3、・・・毎に分類された何れかの評価モデルを選択し解探索することとなる。
なお、各モデル選択情報について構築する連関度は、上述した参照用属性情報毎に構築する場合以外に、他のいかなる参照用情報毎に構築してもよい。かかる場合も同様に参照用情報に応じた情報を取得し、取得した情報に応じて連関度を選択することとなる。
なお、第2実施形態においても、第1実施形態と同様に、ユーザの反応に関する参照用反応情報と、予め類型化されたトラブル対応の行動情報とを教師データとして用いる場合も同様に適用できる。かかる場合も同様に、入力を参照用反応情報とし、出力を行動情報とした推定モデルを機械学習により予め生成しておく。この推定モデルを用いて、反応情報を入力することで、反応情報に応じた参照用反応情報に基づいて行動情報を推定することができる。このとき推定モデルを仮想画像の類型毎に予め記憶しておき、表示される仮想画像の類型に対応する推定モデルを読み出して行動情報を推定するようにしてもよい。また、仮想画像に限らず、他の何れかのモデル選択情報に対応する推定モデルを読み出して、行動情報を推定するようにしてもよい。
上述した第2実施形態においては、工場におけるトラブルに対するトラブル対応能力や行動情報を推定する場合を例にとり説明をしたが、これに限定されるものではない。工場におけるトラブル以外のあらゆる業務上の事象についても同様に、業務上発生した事象の仮想画像をユーザに表示する。そして、その表示された仮想画像を視認したユーザの反応に関する反応情報を検出する。そして反応情報に応じた参照用反応情報を介して、探索解としての対応能力(トラブル対応能力)を推定する。かかる場合に、上述した第2実施形態に示す処理動作を実行する。
1 対応能力推定システム
2 推定装置
21 内部バス
23 表示部
24 制御部
25 操作部
26 通信部
27 推定部
28 記憶部
61 ノード
2 推定装置
21 内部バス
23 表示部
24 制御部
25 操作部
26 通信部
27 推定部
28 記憶部
61 ノード
Claims (7)
- 業務上発生した事象に対するユーザの対応能力を推定する対応能力推定システムにおいて、
業務上発生した事象の仮想画像をユーザに表示する表示手段と、
上記表示手段を視認したユーザの反応に関する反応情報を検出するユーザインタフェース手段と、
ユーザの反応に関する参照用反応情報と、予め類型化された対応能力とを教師データとして用い、入力を上記参照用反応情報とし、出力を対応能力とした推定モデルを機械学習により予め生成しておき、生成した上記推定モデルを用いて、上記ユーザインタフェース手段により検出された反応情報に応じた参照用反応情報に基づいて対応能力を推定する推定手段とを備えること
を特徴とする対応能力推定システム。 - 上記推定手段は、入力を上記参照用反応情報と事象の参照用仮想画像とし、出力を対応能力とした推定モデルを機械学習により予め生成しておき、生成した上記推定モデルを用いて、上記表示手段に表示される仮想画像に応じた参照用仮想画像と、上記反応情報に応じた参照用反応情報に基づいて対応能力を推定すること
を特徴とする対応能力推定システム。 - 上記表示手段は、ユーザの頭部に装着させたヘッドマウントディスプレイの表示部を介して上記仮想画像を表示し、
上記ユーザインタフェース手段は、ヘッドマウントディスプレイにおけるアイトラッキング機能により検出可能なユーザの目の動き、ヘッドマウントディスプレイにおけるセンサを介して検出可能なユーザの頭部の動き、ヘッドマウントディスプレイにおけるマイクを介して検出可能なユーザの音声、ユーザに把持させたハンドトラッキング部を介して検出したユーザの手の動き、ヘッドマウントディスプレイに設けられた位置検出機能により検出された位置情報の何れか1以上から上記反応情報を検出すること
を特徴とする請求項1又は2記載の対応能力推定システム。 - 上記推定手段は、上記推定モデルを仮想画像の類型毎に予め記憶しておき、上記表示手段に表示される仮想画像の類型に対応する上記推定モデルを読み出して対応能力を推定すること
を特徴とする請求項1記載の対応能力推定システム。 - 上記推定手段は、上記仮想画像と、上記仮想画像の類型とを教師データとして用い、入力を仮想画像とし、出力を上記仮想画像の類型とした機械学習モデルを利用し、新たに上記表示手段に表示される仮想画像に基づいて上記仮想画像の類型を取得すること
を特徴とする請求項4記載の対応能力推定システム。 - 上記ユーザインタフェース手段は、ヘッドマウントディスプレイに設けられたカメラを介して撮像した画像情報から抽出した視認対象に関する視認対象情報を取得し、
上記推定手段は、上記推定モデルを視認対象毎に予め記憶しておき、上記ユーザインタフェース手段により取得された視認対象情報に応じた視認対象の上記推定モデルを読み出して対応能力を推定すること
を特徴とする請求項1記載の対応能力推定システム。 - 上記推定手段は、入力を上記画像情報とし、出力を視認対象情報とした分類モデルを機械学習により予め生成しておき、生成した上記分類モデルを用いて、上記ユーザインタフェース手段におけるカメラを介して撮像された画像情報に基づいて視認対象情報を判別すること
を特徴とする請求項6記載の対応能力推定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021164719A JP2023055382A (ja) | 2021-10-06 | 2021-10-06 | 対応能力推定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021164719A JP2023055382A (ja) | 2021-10-06 | 2021-10-06 | 対応能力推定システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023055382A true JP2023055382A (ja) | 2023-04-18 |
Family
ID=86004430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021164719A Pending JP2023055382A (ja) | 2021-10-06 | 2021-10-06 | 対応能力推定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023055382A (ja) |
-
2021
- 2021-10-06 JP JP2021164719A patent/JP2023055382A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101990284B1 (ko) | 음성인식을 이용한 지능형 인지기술기반 증강현실시스템 | |
CN110494874A (zh) | 配置教室物理资源 | |
US11769521B1 (en) | Providing a condition-specific data collection sequence | |
WO2021066796A1 (en) | Modeling human behavior in work environments using neural networks | |
Liu et al. | Quantifying the reliability of defects located by bridge inspectors through human observation behavioral analysis | |
Chen et al. | Identification method for safety hazard behavior in offshore drilling operators | |
JP2021096836A (ja) | いじめ兆候判別プログラム及びシステム、いじめ判別プログラム及びシステム | |
JP2006139163A (ja) | 保安作業訓練システム | |
JP6696654B1 (ja) | 疲労度判別プログラム | |
JP2023055382A (ja) | 対応能力推定システム | |
JP2023055381A (ja) | トラブル対応訓練システム | |
JP2023055380A (ja) | トラブル対応能力推定システム | |
JP2023046777A (ja) | 設備保守検査システム | |
CN113592311B (zh) | 用于复杂人机系统选择人因方法的方法 | |
JP2023043625A (ja) | 製品品質検査システム | |
Newaz et al. | A critical review of the feasibility of emerging technologies for improving safety behavior on construction sites | |
JP2022019125A (ja) | 運転訓練評価システムおよび運転訓練評価方法 | |
JP2023049152A (ja) | 書類記載内容検査システム | |
JP2023049153A (ja) | 書類記載内容検査システム | |
JP2023046776A (ja) | 設備保守検査システム | |
JP2023046775A (ja) | 清掃支援システム | |
CN117935021B (zh) | 基于深度学习的现场火灾图像分析模型训练方法及系统 | |
EP3968261A1 (en) | Stock transaction information display program and system | |
JP6812034B1 (ja) | 為替取引情報表示プログラム | |
JP2023043627A (ja) | 構造物保守推定システム |