JP2021149287A - 作業手順管理装置、作業手順管理方法及び作業手順管理プログラム - Google Patents

Abstract

【課題】経験の浅い作業者が現場において必要に応じ作業手順の意図等を容易に知る作業手順管理装置、作業手順管理方法及び作業手順管理プログラムを提供する。【解決手段】作業手順管理装置１は、現場にいる作業者が発した質問を取得する質問処理部２２と、取得した質問に対する指示とともに指示がなされる意図が作業者に提示される必要があるか否かを判断する言語処理部２３と、意図の生成を促す意図要求を生成する意図要求部２４を備える。【選択図】図２

Description

本発明は、作業手順管理装置、作業手順管理方法及び作業手順管理プログラムに関する。

発電所等のプラントにおける保守作業において、特に経験の浅い作業者による保守作業の品質確保を目的として、作業手順書が使用される場合が多い。そして、作業手順書は、経験の豊かな作業者から経験の浅い作業者へのノウハウ継承にも役立つ。

特許文献１の保守手順生成装置は、保守対象を認識すると、その保守対象向けの保守作業の手順を保守作業者に表示する。当該保守手順生成装置は、保守作業者の実際の作業内容が、表示した手順と異なる場合、保守作業の手順を動的に修正したうえで、修正後の手順を保守作業者に表示する。当該保守手順生成装置は、過去の経験をフィードバックして蓄積することにより、保守作業の手順を更新する。

特開２０１９−９１３６８号公報

現場において作業者は、過去に体験したことがない状況に遭遇することがある。このような状態においても、特許文献１の保守手順生成装置は、作業者に対し、一応の保守作業の手順を表示することはできる。そして、表示される手順は、経験の豊かな作業者の知識が一応反映されてはいる。

しかしながら、このような状況で作業者が真に必要とするのは、その手順を踏まなければならない本質的な意図等であることが多い。このような情報があれば、経験の浅い作業者であっても、自身で考える余裕が生じ、未体験の状況を解決できる場合が多い。そこで、本発明は、経験の浅い作業者が現場において必要に応じ作業手順の意図等を容易に知ることを目的とする。

本発明の作業手順管理装置は、現場にいる作業者が発した質問を取得する質問処理部と、取得した質問に対する指示とともに指示がなされる意図が作業者に提示される必要があるか否かを判断する言語処理部を備えること、を特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。

本発明によれば、経験の浅い作業者が現場において必要に応じ作業手順の意図等を容易に知ることができる。

第１〜第４の実施形態において使用される機器を説明する図である。 第１及び第２の実施形態における作業手順管理装置の構成等を説明する図である。 作業手順書の一例である。 意図要求の一例である。 質問の分類を説明する図である。 第１及び第２の実施形態の処理手順のシーケンス図である。 ステップＳ２０３の詳細フローチャートである。 ステップＳ３０４の詳細フローチャートである。 ステップＳ３０４の詳細フローチャート（続き）である。 第３の実施形態における作業手順管理装置の構成等を説明する図である。 第３の実施形態の処理手順のシーケンス図である。 第４の実施形態における作業手順管理装置の構成等を説明する図である。 第４の実施形態の処理手順のシーケンス図である。

以降、本発明を実施するための形態（“本実施形態”という）を、図等を参照しながら詳細に説明する。本実施形態は、現場で作業をしている経験の浅い作業者が、遠隔地にいる経験の豊かな作業者と意思疎通する例である。以降では、“作業者”は、経験の浅い作業者を意味し、“指導者”は、経験の豊かな作業者を意味する。本発明の特徴は、作業者が指導者に対して発する質問に対し、“意図要求”を付すことである。“意図要求”に応じて指導者は、質問に対する通常の指示以外に、作業をより本質的に理解するための“意図”を作業者に提示する。作業者の質問に対する指導者の回答は、多くの場合、“〇〇してください”のような“指示”の型式を取る。そして、回答は、指示以外にも、必要に応じて指示の意図を含む。

本実施形態は、第１〜第４の実施形態から構成され、第１〜第４の実施形態のそれぞれは、独立して実施可能である。作業者がウエアラブルデバイスを装着していることは、すべての実施形態に共通である。そして、“意図要求”を質問に付す機能（代表機能）をどの機器に担わせるかによって、本実施形態は、第１〜第４の実施形態に分かれる。

（ウエアラブルデバイス）
ウエアラブルデバイスとは、現場で作業者が装着する一種のコンピュータである。ウエアラブルデバイスは、通常、眼鏡、ヘルメット、腕時計等に取り付けられ、又は、それらに組み込まれて一体になっている。ウエアラブルデバイスは、入力装置及び出力装置としてマイクロフォン及びスピーカを有し、作業者がハンズフリーで会話することを可能にしている。ハンズフリーの会話を可能とするという観点から、ウエアラブルデバイスは、スマートフォン、タブレット等の携帯端末装置とは区別される。

（第１〜第４の実施形態）
図１は、第１〜第４の実施形態において使用される機器を説明する図である。第１の実施形態（欄６１）においては、ウエアラブルデバイスＷは、眼鏡の形状を有しており（以下同様）、指導装置Ｔと通信を行う。ウエアラブルデバイスＷが、代表機能を担う。★は、その機器が代表機能を担うことを示す（以下同様）。

第２の実施形態（欄６２）においては、ウエアラブルデバイスＷは、携帯端末装置Ｓ及び指導装置Ｔと通信を行う。同じ１人の作業者が、ウエアラブルデバイスＷ及び携帯端末装置Ｓを同時に使用する。ウエアラブルデバイスＷ及び携帯端末装置Ｓが分担して代表機能を担う。この場合、作業者は、入力装置として携帯端末装置Ｓのソフトウエアキーボード等を使用してもよい。

第３の実施形態（欄６３）においては、ウエアラブルデバイスＷは、指導装置Ｔと通信を行う。指導装置Ｔが、代表機能を担う。欄６３では３個のウエアラブルデバイスＷが記載されている。しかしながら、ウエアラブルデバイスＷの数は、第３の実施形態の本質的な特徴ではない。但し、ウエアラブルデバイスＷの数が大きい場合、複数のウエアラブルデバイスＷを、指導装置Ｔが束ねる当該実施形態が好ましい。

第４の実施形態（欄６４）においては、クラウド内サーバＣは、ウエアラブルデバイスＷ及び指導装置Ｔと通信を行う。クラウド内サーバＣは、ネットワーク内の任意の位置に配置される１又は複数のコンピュータの集合である。１又は複数の筐体のクラウド内サーバＣが、単独で又は分担して代表機能を担う。ウエアラブルデバイスＷの数は、第４の実施形態の本質的な特徴ではない。ウエアラブルデバイスＷの数が大きく、かつ、既存のコンピュータがネットワーク内で有効に活用できる場合、複数のウエアラブルデバイスＷを、クラウド内サーバＣが束ねる当該実施形態が好ましい。

以降では、第１及び第２の実施形態をまとめて説明し、その次に、第３の実施形態及び第４の実施形態を説明する。

〈第１及び第２の実施形態〉
図２は、第１及び第２の実施形態における作業手順管理装置１の構成等を説明する図である。作業手順管理装置１は、図１の欄６１におけるウエアラブルデバイスＷ単体、又は、図１の欄６２におけるウエアラブルデバイスＷ及び携帯端末装置Ｓの組み合わせである。第１の実施形態においては、図２の作業手順管理装置１のすべての構成が、ウエアラブルデバイスＷに備えられている。第２の実施形態においては、図２の作業手順管理装置１の各構成が、ウエアラブルデバイスＷ又は携帯端末装置Ｓの少なくともいずれか１つに備えられている。

作業手順管理装置１は、中央制御装置１１、タッチパネル、カメラ、マイクロフォン等の入力装置１２、ディスプレイ、拡張現実画像が投影される眼鏡レンズ、スピーカ等の出力装置１３、主記憶装置１４、補助記憶装置１５及び通信装置１６を備える。これらは、バスで相互に接続されている。補助記憶装置１５は、作業手順書３１及び意図要求３２（いずれも詳細後記）を格納している。

主記憶装置１４における作業管理部２１、質問処理部２２、言語処理部２３及び意図要求部２４は、プログラムである。中央制御装置１１は、これらのプログラムを補助記憶装置１５から読み出し主記憶装置１４にロードすることによって、それぞれのプログラムの機能（詳細後記）を実現する。作業手順管理装置１は、ネットワーク２を介して、指導装置３（図１においては符号Ｔ）と通信可能である。

指導装置３は、一般的なコンピュータであり、中央制御装置４１、マイクロフォン、キーボード等の入力装置４２、ディスプレイ、スピーカ等の出力装置４３、主記憶装置４４、補助記憶装置４５及び通信装置４６を備える。指導装置３は、主として指導者によって操作される。

（作業手順書）
図３は、作業手順書３１の一例である。作業手順書３１においては、手順番号欄１０１に記憶された手順番号に関連付けて、作業手順欄１０２には作業手順が、作業状態欄１０３には作業状態が記憶されている。
手順番号欄１０１の手順番号は、作業者が現場で行うべき作業手順の順序を示す番号である。ここでの手順番号は、標準欄１０１ａ及び追加欄１０１ｂの階層を有している。標準欄１０１ａに手順番号が記憶されている作業手順は、“標準作業手順”と呼ばれる。追加欄１０１ｂに手順番号が記憶されている作業手順は、“追加作業手順”と呼ばれる。

作業手順欄１０２の作業手順は、作業者に対する指示である。
作業状態欄１０３の作業状態は、“ＯＫ”又は“ＮＧ”の何れかである。“ＯＫ”は、作業手順が順調に終了した旨を作業者が作業手順管理装置１に入力したことを示す。“ＮＧ”は、作業手順が順調に終了しなかった旨を作業者が作業手順管理装置１に入力したことを示す。

図３を見ると、以下のことがわかる。
・作業当初、作業状態“ＯＫ”が連続している間は、標準作業手順が、標準欄１０１ａの手順番号の順（１、２、３、・・・）に、出力装置１３に表示されていた。
・ある時点で、作業者は、手順番号が“ｍ”である標準作業手順“すべてのＬＥＤが点灯していることを確認する”を行った。

・しかしながら、作業者は、３つのＬＥＤのうちの２つの点灯しか確認できなかった。そこで、作業者は、入力装置１２において、手順番号“ｍ”の作業状態欄１０３に“ＮＧ”を入力した。図３からは明らかではないが、この時点で作業者は、指導装置３に対して音声で質問し、指示を仰いだ。
・その結果、手順番号“ｍ１”の追加作業手順“テスタで端子○と端子●との間の電流値を確認する”が出力装置１３に表示された。実際には、この追加作業手順は、同じ内容の音声としても出力装置１３から出力されている。

・同じタイミングで意図５１が出力装置１３に表示された。意図５１の内容は、“基本的な確認 ＬＥＤが故障しているのか、それとも、信号がないのかを切り分ける”である。
・因みに、このタイミングで作業者が手順番号“ｍ１”の作業状態欄１０３に“ＯＫ”を入力すると、その後、手順番号“ｍ＋１”の標準作業手順が表示される。“ＮＧ”を入力すると、その後、手順番号“ｍ２”の追加作業手順が表示される。

意図５１が作業者に表示されることによって、作業者は、作業内容を正確に理解したうえで、完全かつ迅速に作業を進め得る。現場において未体験の状況に遭遇している作業者が、指導者に対して冷静に意図を要求することは実際には困難である。そこで、作業手順管理装置１は、作業者の立場に立って自動的に、指導装置３に対して“意図要求”（直ちに後記）を送信する。

（意図要求）
図４は、意図要求３２の一例である。意図要求３２は、指示に加えて指示の意図を作業者に提示することを、指導者に要求する。意図とは、多くの場合、その指示の背景又は目的である。さらに、背景又は目的は、“基本的な確認”、“過去の経験”、“何となくの直観”等を含むことが多い。

（質問の分類）
図５は、質問の分類を説明する図である。作業者が指導者に対して発する質問は、“大分類”として、“５Ｗ１Ｈ型”及び“yes/no型”に分類される。５Ｗ１Ｈ型とは、yes/noで答えられない質問である。yes/no型とは、yes/noで答えられる質問である。

“中分類”として、“５Ｗ１Ｈ型”は、“factoid型”及び“non-factoid型”に分類される。factoid型は、名称、日付、数値等の事実に基づく回答を求める質問である。non-factoid型は、理由又は事象の説明に基づく回答を求める質問である。なお、前記したように回答とは、作業者からの質問に対して指導者が答えた内容であり、“指示”及び必要に応じて“意図”を含む。

“小分類”として、“non-factoid型”は、“ｈｏｗ型”、“ｗｈｙ型”及び“定義型”に分類される。“ｈｏｗ型”は、行動又は手順を求める質問である。“ｗｈｙ型”は、原因又は根拠を求める質問である。“定義型”は、物事の定義を求める質問である。

図６は、第１及び第２の実施形態の処理手順のシーケンス図である。“ＷＤ”は、“ウエアラブルデバイス”の略である。処理手順を開始する前提として、いま、作業手順管理装置１の作業管理部２１は、出力装置１３に作業手順書３１（図３）を表示しているものとする。

ステップＳ２０１において、作業手順管理装置１の作業管理部２１は、作業状態“ＮＧ”を受け付ける。具体的には、作業管理部２１は、作業者がマイクロフォン等の入力装置１２を介して作業状態“ＮＧ”を入力するのを受け付ける。このとき、作業者は、作業手順書３１（図３）が拡張現実画像として眼鏡レンズに投影されるのを見ている。そして、作業者は、現在の作業手順に係るレコードが強調表示されている（例えば点滅している）のを見ている。この状態で、作業者は、マイクに対して“ＮＧ”と音声で入力している（以下同様）。

ステップＳ２０２において、作業管理部２１は、質問を受け付ける。具体的には、作業管理部２１は、作業者がマイクロフォン等の入力装置１２を介して質問を音声で入力するのを受け付ける。ここでの質問は、例えば“ＬＥＤが２つしか点灯していないのですが、どうすればよいですか？”である。

ステップＳ２０３において、作業手順管理装置１は、質問を解析し、必要に応じ意図要求を作成する。ステップＳ２０３の詳細は後記するが、ここでは、作業手順管理装置１は、意図要求３２（図４）を生成するか否かを判断する。作業手順管理装置１は、意図要求３２を生成した場合、それを補助記憶装置１５に記憶する。以降、“必要に応じ”とは、意図要求３２の送信、並びに、意図の生成、送信及び表示が選択的である（ない場合もある）ことを示す。

ステップＳ２０４において、作業手順管理装置１の作業管理部２１は、質問及び必要に応じ意図要求３２を送信する。具体的には、作業管理部２１は、ステップＳ２０２において受け付けた質問、及び、ステップＳ２０３において生成した意図要求３２を指導装置３に送信する。すると、指導装置３は、受信した意図要求３２を出力装置４３に表示する。ステップＳ２０３において意図要求３２が生成されない場合、意図要求３２は送信されない。

ステップＳ２０５において、指導装置３は、指示及び必要に応じ意図を生成する。具体的には、第１に、指導装置３は、指導者が指導装置３のマイクロフォンに対して音声を入力するのを受け付けることによって、指示の音声を生成する。ここでの指示は、例えば“テスタで端子○と端子●との間の電流値を確認してください”である。

第２に、指導装置３は、指導者が指導装置３のマイクロフォンに対して音声を入力するのを受け付けることによって、意図の音声を生成する。ここでの意図は、例えば“基本的な確認 ＬＥＤが故障しているのか、それとも、信号がないのかを切り分けてください”である。意図は、例えば“原因の切り分け”、“被害の拡大防止”、“別系統への切り替え”のような考え方が基礎になっている場合が多い（以下同様）。ステップＳ２０３において意図要求３２が生成されない場合、意図は生成されない。

なお、指導者が短時間のうちに的確な理由を作成するのは容易ではない。そこで、指導装置３の補助記憶装置４５は、図４の（１）、（２）及び（３）に関連付けて、意図の候補（“ＬＥＤが故障しているのか・・・”等）を記憶しておく。指導装置３は、出力装置４３に、“（１）基本的な確認”ボタン、“（２）過去の経験”ボタン及び“（３）何となくの直観”ボタンを表示する。そして、指導装置３は、指導者が入力装置４２を介していずれかのボタンを押下するのを受け付ける。次に、指導装置３は、補助記憶装置４５から、押下されたボタンに対応する意図の候補を取得し出力装置４３に表示する。その後、指導者は、候補のうちの１つを選択する。（第３及び第４の実施形態においても同様）。

ステップＳ２０６において、指導装置３は、指示及び必要に応じ意図を送信する。具体的には、指導装置３は、指示の音声及び意図の音声を作業手順管理装置１に送信する。ステップＳ２０３において意図要求３２が生成されない場合、意図は送信されない。

ステップＳ２０７において、作業手順管理装置１の言語処理部２３は、指示及び意図を抽出する。具体的には、言語処理部２３は、ステップＳ２０６において送信された音声から、指示の部分及び意図の部分を抽出する。ステップＳ２０３において意図要求３２が生成されない場合、意図の部分は抽出されない。

ステップＳ２０８において、作業手順管理装置１の作業管理部２１は、指示を追加作業手順として表示する。具体的には、作業管理部２１は、出力装置１３に表示している作業手順書３１（図３）に、追加作業手順“テスタで端子○と端子●との間の電流値を確認する”を表示するとともに、同じ内容の音声をスピーカから出力する。

ステップＳ２０９において、作業管理部２１は、必要に応じ意図を表示する。具体的には、作業管理部２１は、出力装置１３に表示している追加作業手順“テスタで端子○と端子●との間の電流値を確認する”に関連付けて、意図“基本的な確認 ＬＥＤが故障しているのか、それとも、信号がないのかを切り分ける”を表示する。ステップＳ２０３において意図要求３２が生成されない場合、ステップＳ２０９は省略される。
ステップＳ２０１〜Ｓ２０９の処理は、作業者が作業状態“ＮＧ”を入力する都度繰り返される。

図７は、ステップＳ２０３の詳細フローチャートである。
ステップＳ３０１において、作業手順管理装置１の質問処理部２２は、音声データを取得する。具体的には、質問処理部２２は、ユーザがマイクロフォンに向かって発した音声（時系列の波形）を取得する。

ステップＳ３０２において、作業手順管理装置１の言語処理部２３は、音声データを解析する。具体的には、言語処理部２３は、ステップＳ３０１において取得した音声データが、自然言語としての質問を示すものである（図５のいずれかの型に該当する）か否かを解析し、解析結果として“〇〇型の質問である”又は“質問ではない”を生成する。

ステップＳ３０３において、言語処理部２３は、音声データが質問であるか否かを判断するする。具体的には、言語処理部２３は、ステップＳ３０２の解析結果が“〇〇型の質問である”である場合（ステップＳ３０３“Ｙｅｓ”）、ステップＳ３０４に進み、解析結果が“質問ではない”である場合（ステップＳ３０３“Ｎｏ”）、ステップＳ２０３を終了する。

ステップＳ３０４において、言語処理部２３は、指導者の意図が必要であるか否かを判断する。ステップＳ３０４の詳細は後記するが、言語処理部２３は、結果として意図が必要である場合（ステップＳ３０４“Ｙｅｓ”）、ステップＳ３０５に進み、それ以外の場合（ステップＳ３０４“Ｎｏ”）、ステップＳ２０３を終了する。

ステップＳ３０５において、作業手順管理装置１の意図要求部２４は、意図要求３２（図４）を生成する。具体的には、意図要求部２４は、意図要求３２（図４）を生成し、補助記憶装置１５に記憶する。
その後、ステップＳ２０３を終了する。

図８は、ステップＳ３０４の詳細フローチャートである。
ステップＳ４０１において、作業手順管理装置１の言語処理部２３は、質問が５Ｗ１Ｈ型であるか否かを判断する。具体的には、言語処理部２３は、質問が５Ｗ１Ｈ型である場合（ステップＳ４０１“Ｙｅｓ”）、ステップＳ４０２に進み、質問がyes/no型である場合（ステップＳ４０１“Ｎｏ”）、ステップＳ５０１（図９）に進む。

ステップＳ４０２において、言語処理部２３は、質問がfactoid型であるか否かを判断する。具体的には、言語処理部２３は、質問がfactoid型である場合（ステップＳ４０２“Ｙｅｓ”）、ステップＳ４０３に進み、質問がnon-factoid型である場合（ステップＳ４０２“Ｎｏ”）、ステップＳ４０４に進む。

ステップＳ４０３において、言語処理部２３は、質問が過去の事象に対するものであるか否かを判断する。例えば、過去の事象に対する質問“〇〇〇したのはいつですか”は、作業者が事実を確認していることを示すことが多いので、指導者の意図を必要としない。現在又は将来の事象に対する質問“〇〇〇するのはいつですか”は、作業者が指導者の意図を求めていることを示すことが多いので、指導者の意図を必要とする。そこで、言語処理部２３は、質問が過去の事象に対するものである場合（ステップＳ４０３“Ｙｅｓ”）、ステップＳ２０３を終了し、質問が現在又は将来の事象に対するものである場合（ステップＳ４０３“Ｎｏ”）、ステップＳ３０５に進む。

ステップＳ４０４において、言語処理部２３は、質問がｈｏｗ型であるか否かを判断する。ｈｏｗ型の質問の場合、作業者は指導者に行動又は手順を確認していることが多いので、指導者の意図は必要である。ｗｈｙ型の質問の場合、指導者の指示がそのまま意図になるはずであるので、指導者の意図は必要ではない。定義型の質問の場合も、指導者の指示は用語についての知識であるので、指導者の意図は必要ではない。そこで、言語処理部２３は、質問がｈｏｗ型である場合（ステップＳ４０４“Ｙｅｓ”）、ステップＳ３０５に進み、質問がｗｈｙ型又は定義型である場合（ステップＳ４０４“Ｎｏ”）、ステップＳ２０３を終了する。

図９は、ステップＳ３０４の詳細フローチャート（続き）である。
ステップＳ５０１において、作業手順管理装置１の言語処理部２３は、質問が過去の事象に対するものであるか否かを判断する。例えば、過去の事象に対する質問“〇〇〇しましたか”は、作業者が事実を確認していることを示すことが多いので、指導者の意図を必要としない。現在又は将来の事象に対する質問の場合、ひとまず指導者の返答（Ｙｅｓ又はＮｏ）が必要になる。そこで、言語処理部２３は、質問が過去の事象に対するものである場合（ステップＳ５０１“Ｙｅｓ”）、ステップＳ２０３を終了し、質問が現在又は将来の事象に対するものである場合（ステップＳ５０１“Ｎｏ”）、ステップＳ５０２に進む。

ステップＳ５０２において、言語処理部２３は、指導者から返答を受け付ける。返答は、“Ｙｅｓ”又は“Ｎｏ”の何れかを含むが、それ以外にも、意図が含まれている場合がある。つまり、意図要求３２に応じた確信的な“回答”に含まれる“意図”とは異なり、指導者は、作業者の質問に促されて半ば無意識的に意図を回答する場合がある。

ステップＳ５０３において、言語処理部２３は、返答がＹｅｓであるか否かを判断する。例えば、現在又は将来の事象に対する質問“〇〇〇すればよいですか”に対する返答がＹｅｓである場合、指導者は作業者と同じ知見を有しているので、指導者の意図は不要である。当該質問に対する返答がＮｏである場合、指導者は作業者と異なる知見を有しているので、指導者の意図が必要である。そこで、言語処理部２３は、返答がＹｅｓである場合（ステップＳ５０３“Ｙｅｓ”）、ステップＳ２０３を終了し、返答がＮｏである場合（ステップＳ５０３“Ｎｏ”）、ステップＳ５０４に進む。

ステップＳ５０４において、言語処理部２３は、返答に意図が含まれているか否かを判断する。例えば、質問“〇〇〇すればよいですか”に対する返答が“いいえ、〇〇の危険があるから、先に●●を実施してください”であったとする。この返答のうち、“〇〇の危険があるから”の部分は、指導者の意図に相当する。質問“〇〇〇すればよいですか”に対する返答が“いいえ、先に●●を実施してください”であったとする。この返答は、指導者の意図に相当する部分を含んでいない。そこで、言語処理部２３は、返答に意図が含まれている場合（ステップＳ５０４“Ｙｅｓ”）、ステップＳ２０３を終了し、返答に意図が含まれていない場合（ステップＳ５０４“Ｎｏ”）、ステップＳ３０５に進む。

〈第３の実施形態〉
図１０は、第３の実施形態における作業手順管理装置１の構成等を説明する図である。作業手順管理装置１は、図１の欄６３における指導装置Ｔである。第３の実施形態においては、図１０の作業手順管理装置１のすべての構成が、指導装置Ｔに備えられている。作業手順管理装置１は、主として指導者によって操作される。

作業手順管理装置１の構成についての説明は、第１及び第２の実施形態における図２の説明と同様である。作業手順管理装置１は、ネットワーク２を介して、ウエアラブルデバイス４（図１の欄６３においては符号Ｗ）と通信可能である。

ウエアラブルデバイス４は、現場で作業者が装着する一種のコンピュータであり、中央制御装置４１、タッチパネル、カメラ、マイクロフォン等の入力装置４２、ディスプレイ、拡張現実画像が投影される眼鏡レンズ、スピーカ等の出力装置４３、主記憶装置４４、補助記憶装置４５及び通信装置４６を備える。

図２及び図１０を対比すると明らかなように、図２と図１０とでは、ウエアラブルデバイスと指導装置の立場が逆転している。代表機能を担うのは、図２ではウエアラブルデバイス（又は携帯端末装置）であるのに対し、図１０では、指導装置である。説明の便宜上、図２においても図１０においても、代表機能を担う構成は“作業手順管理装置”と命名され、その各構成には、符号１１、１２、・・・、２１、２２、・・・、３１、３２が割り当てられる。同様に、図２においても図１０においても、“作業手順管理装置”と情報の遣り取りを行う機器の構成には、符号４１〜４６が割り当てられる。

作業手順書３１及び意図要求３２についての説明は、第１及び第２の実施形態における図３及び図４の説明と同様である。質問の分類も、図５の説明と同様である。

図１１は、第３の実施形態の処理手順のシーケンス図である。処理手順を開始する前提として、いま、作業手順管理装置１の作業管理部２１は、ウエアラブルデバイス４の出力装置４３に作業手順書３１（図３）を表示しているものとする。

ステップＳ２１１において、ウエアラブルデバイス４は、作業状態“ＮＧ”を送信する。具体的には、第１に、ウエアラブルデバイス４は、作業者がマイクロフォン等の入力装置４２を介して作業状態“ＮＧ”を入力するのを受け付ける。
第２に、ウエアラブルデバイス４は、受け付けた作業状態“ＮＧ”を作業手順管理装置１に送信する。

ステップＳ２１２において、ウエアラブルデバイス４は、質問を送信する。具体的には、第１に、ウエアラブルデバイス４は、作業者がマイクロフォン等の入力装置４２を介して質問を音声で入力するのを受け付ける。ここでの質問は、例えば“ＬＥＤが２つしか点灯していないのですが、どうすればよいですか？”である。
第２に、ウエアラブルデバイス４は、受け付けた質問を作業手順管理装置１に送信する。

ステップＳ２１３において、作業手順管理装置１は、質問を解析し、必要に応じ意図要求を作成する。ステップＳ２１３の詳細は、図７〜図９の説明と同様である。ここでは、作業手順管理装置１は、意図要求３２（図４）を生成するか否かを判断する。作業手順管理装置１は、意図要求３２を生成した場合、それを補助記憶装置１５に記憶するとともに、出力装置１３に表示する。以降、“必要に応じ”とは、意図の生成、送信及び表示が選択的である（ない場合もある）ことを示す。

ステップＳ２１４において、作業手順管理装置１の作業管理部２１は、指示及び必要に応じ意図を生成する。具体的には、第１に、作業管理部２１は、指導者がマイクロフォンに対して音声を入力するのを受け付けることによって、指示の音声を生成する。ここでの指示は、例えば“テスタで端子○と端子●との間の電流値を確認してください”である。

第２に、作業管理部２１は、指導者がキーボードに対してテキスト（文字列）を入力するのを受け付けることによって、意図のテキストを生成する。ここでの意図は、例えば“基本的な確認 ＬＥＤが故障しているのか、それとも、信号がないのかを切り分ける”である。ステップＳ２１３において意図要求３２が生成されない場合、意図は生成されない。なお“（指示）”は、指示が音声で入力されることを示し、“〈意図〉”は、意図がテキストで入力されることを示している。

ステップＳ２１５において、作業管理部２１は、指示及び必要に応じ意図を送信する。具体的には、作業管理部２１は、指示の音声及び意図のテキストをウエアラブルデバイス４に送信する。ステップＳ２１３において意図要求３２が生成されない場合、意図は送信されない。

ステップＳ２１６において、ウエアラブルデバイス４は、指示を抽出する。具体的には、ウエアラブルデバイス４は、ステップＳ２１５において送信された音声から、指示の部分を抽出する。

ステップＳ２１７において、ウエアラブルデバイス４は、指示を追加作業手順として表示する。具体的には、ウエアラブルデバイス４は、出力装置４３に表示している作業手順書３１（図３）に、追加作業手順“テスタで端子○と端子●との間の電流値を確認する”を表示する。ウエアラブルデバイス４は、同じ内容の音声をスピーカから出力してもよい。

ステップＳ２１８において、ウエアラブルデバイス４は、必要に応じ意図を表示する。具体的には、ウエアラブルデバイス４は、出力装置４３に表示している追加作業手順“テスタで端子○と端子●との間の電流値を確認する”に関連付けて、意図“基本的な確認 ＬＥＤが故障しているのか、それとも、信号がないのかを切り分ける”を表示する。ステップＳ２１３において意図要求３２が生成されない場合、ステップＳ２１８は省略される。
ステップＳ２１１〜Ｓ２１８の処理は、作業者が作業状態“ＮＧ”を入力する都度繰り返される。

〈第４の実施形態〉
図１２は、第４の実施形態における作業手順管理装置１の構成等を説明する図である。作業手順管理装置１は、図１の欄６４におけるクラウド内サーバＣである。第４の実施形態においては、図１２の作業手順管理装置１のすべての構成が、複数のクラウド内サーバＣのうちの少なくとも１つに備えられている。

作業手順管理装置１の構成についての説明は、第１及び第２の実施形態における図２の説明と同様である。作業手順管理装置１は、ネットワーク２を介して、ウエアラブルデバイス４（図１の欄６４においては符号Ｗ）及び指導装置３（図１の欄６４においては符号Ｔ）と通信可能である。

指導装置３は、一般的なコンピュータであり、中央制御装置４１ａ、マイクロフォン、キーボード等の入力装置４２ａ、ディスプレイ、スピーカ等の出力装置４３ａ、主記憶装置４４ａ、補助記憶装置４５ａ及び通信装置４６ａを備える。指導装置３は、主として指導者によって操作される。

ウエアラブルデバイス４は、現場で作業者が装着する一種のコンピュータであり、中央制御装置４１ｂ、タッチパネル、カメラ、マイクロフォン等の入力装置４２ｂ、ディスプレイ、拡張現実画像が投影される眼鏡レンズ、スピーカ等の出力装置４３ｂ、主記憶装置４４ｂ、補助記憶装置４５ｂ及び通信装置４６ｂを備える。

図１０及び図１２を対比すると明らかなように、図１０における作業手順管理装置１の構成が、図１２においては、作業手順管理装置１及び指導装置３に分散している。さらに、図１２における作業手順管理装置１は、説明の便宜上１つの筐体として記載されているが、実際には、ネットワーク内の任意の位置に配置される１又は複数のコンピュータの集合（クラウド内サーバ）である。代表機能を担うのは、図１０では指導装置であるのに対し、図１２ではクラウド内サーバである。説明の便宜上、図１０においても図１２においても、代表機能を担う構成は“作業手順管理装置”と命名され、その各構成には、符号１１、１２、・・・、２１、２２、・・・、３１、３２が割り当てられる。

作業手順書３１及び意図要求３２についての説明は、第１及び第２の実施形態における図３及び図４の説明と同様である。質問の分類も、図５の説明と同様である。

図１３は、第４の実施形態の処理手順のシーケンス図である。処理手順を開始する前提として、いま、作業手順管理装置１の作業管理部２１は、ウエアラブルデバイス４の出力装置４３ｂに作業手順書３１（図３）を表示しているものとする。

ステップＳ２２１において、ウエアラブルデバイス４は、作業状態“ＮＧ”を送信する。具体的には、第１に、ウエアラブルデバイス４は、作業者がマイクロフォン等の入力装置４２ｂを介して作業状態“ＮＧ”を入力するのを受け付ける。
第２に、ウエアラブルデバイス４は、受け付けた作業状態“ＮＧ”を作業手順管理装置１及び指導装置３に送信する。

ステップＳ２２２において、ウエアラブルデバイス４は、質問を送信する。具体的には、第１に、ウエアラブルデバイス４は、作業者がマイクロフォン等の入力装置４２ｂを介して質問を音声で入力するのを受け付ける。ここでの質問は、例えば“ＬＥＤが２つしか点灯していないのですが、どうすればよいですか？”である。
第２に、ウエアラブルデバイス４は、受け付けた質問を作業手順管理装置１及び指導装置３に送信する。

ステップＳ２２３において、作業手順管理装置１は、質問を解析し、必要に応じ意図要求を作成する。ステップＳ２２３の詳細は、図７〜図９の説明と同様である。ここでは、作業手順管理装置１は、意図要求３２（図４）を生成するか否かを判断する。作業手順管理装置１は、意図要求３２を生成した場合、それを補助記憶装置１５に記憶する。以降、“必要に応じ”とは、意図要求３２の送信、並びに、意図の生成、送信及び表示が選択的である（ない場合もある）ことを示す。

ステップＳ２２４において、作業手順管理装置１の作業管理部２１は、必要に応じ意図要求３２を送信する。具体的には、作業管理部２１は、ステップＳ２２３において生成した意図要求３２を指導装置３に送信する。すると、指導装置３は、受信した意図要求３２を出力装置４３ａに表示する。ステップＳ２２３において意図要求３２が生成されない場合、ステップＳ２２４は省略される。

ステップＳ２２５において、指導装置３は、指示及び必要に応じ意図を生成する。具体的には、第１に、指導装置３は、指導者がマイクロフォンに対して音声を入力するのを受け付けることによって、指示の音声を生成する。ここでの指示は、例えば“テスタで端子○と端子●との間の電流値を確認してください”である。
第２に、指導装置３は、指導者がマイクロフォンに対して音声を入力するのを受け付けることによって、意図の音声を生成する。ここでの意図は、例えば“基本的な確認 ＬＥＤが故障しているのか、それとも、信号がないのかを切り分けてください”である。ステップＳ２２３において意図要求３２が生成されない場合、意図は生成されない。

ステップＳ２２６において、指導装置３は、指示及び必要に応じ意図を送信する。具体的には、作業管理部２１は、指示の音声及び意図の音声を作業手順管理装置１に送信する。ステップＳ２２３において意図要求３２が生成されない場合、意図は送信されない。

ステップＳ２２７において、作業手順管理装置１の言語処理部２３は、指示及び意図を抽出する。具体的には、言語処理部２３は、ステップＳ２２６において送信された音声から、指示の部分及び意図の部分を抽出する。ステップＳ２２３において意図要求３２が生成されない場合、意図の部分は抽出されない。

ステップＳ２２８において、ウエアラブルデバイス４は、指示を追加作業手順として表示する。具体的には、ウエアラブルデバイス４は、出力装置４３ｂに表示している作業手順書３１（図３）に、追加作業手順“テスタで端子○と端子●との間の電流値を確認する”を表示する。ウエアラブルデバイス４は、同じ内容の音声をスピーカから出力してもよい。

ステップＳ２２９において、ウエアラブルデバイス４は、必要に応じ意図を表示する。具体的には、ウエアラブルデバイス４は、出力装置４３ｂに表示している追加作業手順“テスタで端子○と端子●との間の電流値を確認する”に関連付けて、意図“基本的な確認 ＬＥＤが故障しているのか、それとも、信号がないのかを切り分ける”を表示する。ステップＳ２２３において意図要求３２が生成されない場合、ステップＳ２２９は省略される。
ステップＳ２２１〜Ｓ２２９の処理は、作業者が作業状態“ＮＧ”を入力する都度繰り返される。

（変形例１）
作業者の質問は、音声又はテキストのいずれでもよい。作業者及び指導者間の通信は、音声又はテキストのいずれでもよい。意図の入力は、音声又はテキストのいずれでもよい。

（変形例２）
第１〜第４の実施形態において、ウエアラブルデバイス４のカメラは、作業者が“ＮＧ”を入力した時点で、作業者の視野内の画像（不具合画像）を取得してもよい。そして、作業手順管理装置１の意図要求部２４は、過去の不具合画像と、それに対応して指導者が入力した意図との組合せを、学習データとして補助記憶装置１５に記憶しておく。意図要求部２４は、不具合画像を入力とし意図を出力とするモデル（例えばニューラルネットワーク型モデル）のパラメータ（例えばノード間の重み）を、学習データを使用して最適化しておく。意図要求部２４は、学習済みのモデルに対して不具合画像を入力し、出力としての意図を取得する。意図要求部２４は、取得した意図を、指導者に対して表示してもよい。

（本実施形態の効果）
本実施形態の作業手順管理装置の効果は以下の通りである。
（１）作業手順管理装置は、作業者が発した質問に対する指示に、その意図が必要であるか否かを判断することができる。
（２）作業手順管理装置は、指導者に対して意図を作成する旨を要求することができる。
（３）作業手順管理装置は、作業者に対する指示の提示及び意図の提示の同期を取ることができる。
（４）作業手順管理装置は、意図の必要性を質問の分類結果に基づいて判断することができる。
（５）作業手順管理装置は、指導者の経験を作業者に提示することができる。
（６）作業手順管理装置は、ウエアラブルデバイス、それ以外の装置、それら以外のクラウド内の装置等の形態を取ることができる。

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、前記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウエアで実現してもよい。また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

１ 作業手順管理装置（ウエアラブルデバイス、指導装置、クラウド内サーバ）
２ ネットワーク
３ 指導装置
４ ウエアラブルデバイス
１１ 中央制御装置
１２ 入力装置
１３ 出力装置
１４ 主記憶装置
１５ 補助記憶装置
１６ 通信装置
２１ 作業管理部
２２ 質問処理部
２３ 言語処理部
２４ 意図要求部
３１ 作業手順書
３２ 意図要求
５１ 意図

Claims (10)

1. 現場にいる作業者が発した質問を取得する質問処理部と、
   前記取得した質問に対する指示とともに前記指示がなされる意図が前記作業者に提示される必要があるか否かを判断する言語処理部を備えること、
   を特徴とする作業手順管理装置。
2. 前記必要がある場合、前記意図の生成を促す意図要求を生成する意図要求部を備えること、
   を特徴とする請求項１に記載の作業手順管理装置。
3. 前記意図要求部は、
   前記質問がなされた後、前記指示が提示される前に前記意図要求を生成すること、
   を特徴とする請求項２に記載の作業手順管理装置。
4. 前記言語処理部は、
   前記質問を分類した結果に基づき、前記必要があるか否かを判断すること、
   を特徴とする請求項３に記載の作業手順管理装置。
5. 前記意図は、
   前記作業者を指導する立場にある者によって生成されるものでること、
   を特徴とする請求項４に記載の作業手順管理装置。
6. 前記作業手順管理装置は、
   前記作業者が装着する装置であり、
   前記指示とともに前記意図を前記作業者に提示すること、
   を特徴とする請求項５に記載の作業手順管理装置。
7. 前記作業手順管理装置は、
   前記作業者が装着する装置と通信する装置であり、
   前記指示とともに前記意図を前記作業者が装着する装置に提示すること、
   を特徴とする請求項５に記載の作業手順管理装置。
8. 前記作業手順管理装置は、
   前記作業者が装着する装置及び前記指導する立場にある者が操作する装置と通信する１又は複数の装置であり、
   前記指示とともに前記意図を前記作業者が装着する装置に提示すること、
   を特徴とする請求項５に記載の作業手順管理装置。
9. 作業手順管理装置の質問処理部は、
   現場にいる作業者が発した質問を取得し、
   前記作業手順管理装置の言語処理部は、
   前記取得した質問に対する指示とともに前記指示がなされる意図が前記作業者に提示される必要があるか否かを判断すること、
   を特徴とする作業手順管理装置の作業手順管理方法。
10. コンピュータを、
    現場にいる作業者が発した質問を取得する質問処理部と、
    前記取得した質問に対する指示とともに前記指示がなされる意図が前記作業者に提示される必要があるか否かを判断する言語処理部と、
    して機能させることを特徴とする作業手順管理プログラム。

Images