JP2020181502A - 作業支援システムおよび作業支援方法ならびに作業支援装置 - Google Patents

Abstract

【課題】作業者が作業対象の製品を容易に特定できるようにして、作業者の負担を軽減させる。【解決手段】作業支援システム１０は、作業者が操作可能な作業者端末１００、作業者による作業を支援するための情報を作業者に提供する作業支援装置２００、製品情報を含む過去の作業実績データが蓄積されたデータベース４００を含むデータベース管理装置３００を有する。作業支援装置２００は、音声情報および画像情報の少なくとも一方の形態で作業者により入力された、作業で取り扱われる製品の特徴を含む製品特徴情報を取得し、製品の特徴に対応する製品情報をデータベース４００に蓄積されている製品情報の中から抽出し、抽出された製品情報を含む製品候補情報を生成して作業者へ提供するように構成されている。【選択図】図１

Description

本発明は、作業者による作業を支援する作業支援システムおよび作業支援方法ならびに作業支援装置に関する。本発明は、作業者の熟練度に依らず、作業者の作業に係る負担を軽減させることが可能な作業支援システムおよび作業支援方法ならびに作業支援装置に関する。

各種の工場やプラント等において、製品の入庫や出荷等に伴う物流管理が行われている。従来の物流管理では、例えば製品の入庫や出荷等が行われた場合、製品の名称や品番等を特定して、製品情報や作業内容等をデータベースに入力する作業が行われる。

また、従来の物流管理において、作業者の作業に係る負担を軽減するために、作業者端末およびサーバ装置等により構成されるシステムが提案されている。例えば下記の特許文献１には、生成したユーザＩＤをデータベースに登録するとともに、ユーザ端末から対象物に関する少なくとも入庫依頼を受け付けて、入庫依頼に対応する入庫ＩＤを生成し、ユーザＩＤと入庫ＩＤとを少なくとも含む依頼ＩＤを生成して、依頼ＩＤをデータベースに登録するシステムが開示されている。このシステムでは、サーバ装置が依頼ＩＤの表示されたラベル用データを生成してユーザ端末に送信し、ユーザに対して、ラベル用データを対象物に付けさせることによって、対象物と依頼ＩＤとの関連付けを行うように構成されている。

特開２０１７−７７７８８号公報

従来の物流管理では、例えば製品情報をデータベースに入力する作業が必要になる等、例えば、製品情報に熟知している必要があるとともに、データベースの入力項目等も熟知している必要がある。熟練した作業者であれば、例えば製品を見ただけで製品の名称や品番等を把握し、データベースへの入力をスムーズに行うことが可能かもしれない。しかしながら、昨今では、作業スキルの低い非熟練者、特に外国人の作業者等が増加していることから、熟練した作業者の負担が大きくなってきており、作業者の熟練度（作業スキル）に依存しない新たなシステムが求められている。

また、特許文献１に開示されているように個々の対象物にラベル用データを割り当てる方法は、作業者の負担を増大させるおそれがある。従来、作業者の負担を増大させることなく、例えば作業スキルの低い作業者等であっても作業対象の製品を容易に特定できる技術、さらには、作業対象の製品に対する作業実績をデータベース等に自動的に記録できる技術は実現されていない。

本発明は、上記の課題を解決するため、作業者が作業対象の製品を容易に特定することが可能となり、作業者の負担を軽減させることが可能となる作業支援システムおよび作業支援方法ならびに作業支援装置を提供することを目的とする。

１）本発明に係る作業支援システムは、上記目的を達成するため、作業者による作業を支援する作業支援システム（１０）であって、前記作業者により入力された情報に基づき前記作業を支援するための情報を前記作業者に提供する作業支援装置（２００）と、製品情報を含む過去の作業実績データが蓄積されたデータベース（４００）を含むデータベース管理装置（３００）と、を有し、前記作業支援装置は、音声情報および画像情報の少なくとも一方の形態で前記作業者により入力された、前記作業で取り扱われる製品の特徴を含む製品特徴情報を取得する製品特徴情報取得部（２０１）と、前記画像情報の形態で入力された前記製品特徴情報に対して画像解析処理を行う画像解析部（２０５）と、前記音声情報の形態で入力された前記製品特徴情報に対して音声解析処理を行う音声解析部（２０３）と、前記画像解析部および前記音声解析部の少なくとも一方により処理された前記製品特徴情報から前記製品の特徴を特定し、前記製品の特徴に対応する製品情報を前記データベースに蓄積されている製品情報の中から抽出する製品情報抽出部（２０７）と、前記製品情報抽出部により抽出された前記製品情報を含む製品候補情報を生成する製品候補情報生成部（２１０）と、前記製品候補情報生成部により生成された前記製品候補情報を前記作業者へ提供する製品候補情報提供部（２０１）と、を備えることを特徴とする。

この構成により、作業者により入力された製品の特徴を表す音声または画像から、作業者が取り扱っている製品を特定して、その製品情報を作業者に提供するため、例えば作業スキルの低い作業者等であっても作業対象の製品を容易に特定することが可能となり、作業者の負担を軽減させることが可能となる。特に、作業者は、作業で取り扱っている製品の特徴を音声で入力するか、あるいは製品の特徴を表す画像を撮影するという簡単な操作を行うだけで製品の特徴に対応する製品情報を容易に得ることが可能となり、製品情報を確実に把握することが可能となる。また、作業や製品に不慣れな作業者であっても、他の熟練作業者等の助けを借りることなく製品情報を容易かつ確実に得ることが可能となり、作業に従事している作業者だけではなく、他の熟練作業者の負担も軽減させることが可能となる。

２）また、本発明に係る作業支援システムでは、前記製品情報抽出部は、機械学習を用いた推定処理により前記製品の特徴に対応する製品情報を推定することを特徴とする。

この構成により、機械学習を用いた推定を利用することで、作業者により入力された製品の特徴を表す音声または画像から高い精度で製品情報を推定することが可能となる。

３）また、本発明に係る作業支援システムでは、前記作業支援装置は、前記製品候補情報として、前記製品情報に含まれる前記画像情報を拡張現実画像として再生可能とする拡張現実データを生成する拡張現実データ生成部（２１１）を備えることを特徴とする。

この構成により、製品情報を拡張現実データとして作業者に提供することが可能となり、作業者は、例えばディスプレイ上に自動再生される拡張現実データを視認するだけで、製品情報を確実に把握することが可能となる。

４）また、本発明に係る作業支援システムでは、前記製品情報抽出部は、前記製品特徴情報が前記画像情報である場合には前記画像解析処理により得られた画像情報と合致する画像情報を含む製品情報を抽出し、前記製品特徴情報が前記音声情報である場合には前記音声解析処理により得られた製品名称と合致する画像情報を含む製品情報を抽出することを特徴とする。

この構成により、作業者が製品の特徴を音声で入力した場合、あるいは製品の特徴を表す画像を撮影した場合のどちらであっても、その製品の特徴と合致する画像情報を特定して、その画像情報を作業者へ提供することが可能となる。作業者は、音声または画像による製品の特徴を入力するだけで、その製品に対応した製品情報を画像情報として得ることが可能となり、製品情報を確実に把握することが可能となる。

５）また、本発明に係る作業支援システムでは、前記作業支援装置は、前記製品の特徴に対応する製品情報に含まれる前記テキスト情報を音声情報に変換する音声合成部（２０９）を備えることを特徴とする。

この構成により、製品情報に含まれるテキスト情報を読み上げ音声として作業者に提供することが可能となる。作業者は、音声または画像による製品の特徴を入力するだけで、その製品に対応した製品情報の読み上げ音声を聞いて製品情報を得ることが可能となり、製品情報を確実に把握することが可能となる。

６）また、本発明に係る作業支援システムでは、前記作業支援装置は、前記音声情報に含まれる音声を別の言語の音声に変換する音声翻訳部（２０４）を備えることを特徴とする。

この構成により、作業者の使用言語と日本語とを相互に変換することが可能となる。例えば外国人の作業者が母国語で音声入力した場合であっても日本語の製品情報を特定することが可能となる。また、日本語の製品情報を作業者の母国語の音声に変換して、作業者へ提供することが可能となる。これにより、作業者は言語の壁を感じることなく製品情報を確実に把握することが可能となる。

７）また、本発明に係る作業支援システムでは、前記作業者が操作可能な作業者端末（１００）を有し、前記作業者端末は、前記作業者による音声入力および画像撮影に係る前記音声情報および前記画像情報を前記作業支援装置へ即時送信し、前記作業支援装置から提供された前記製品候補情報を即時出力することを特徴とする。

この構成により、作業者は作業者端末上で複雑な操作を行うことなく、例えば製品の特徴を発語したり製品に対してカメラを向けたりするだけで、製品の特徴を含む情報が作業支援装置へ自動的に送られ、作業者端末に提供される製品候補情報が自動的に作業者端末で出力されるため、作業者に対して作業者端末の複雑な操作を強いることなく、作業者の操作負担を減らすことが可能となる。

８）また、本発明に係る作業支援システムでは、前記作業支援装置は、音声情報の形態で前記作業者により入力された、前記製品候補情報が前記製品に適切に対応しているか否かを示す適否情報を取得する適否情報取得部（２１２）を備えることを特徴とする。

この構成により、作業者から適否情報を得ることで、作業者に対して提供した製品情報が適切であったか否かを判定することが可能となる。

９）また、本発明に係る作業支援システムでは、前記データベース管理装置は、前記適否情報において前記製品候補情報が前記製品に適切に対応することが示されている場合には、前記製品候補情報として前記作業者に提供した前記製品情報を、前記作業者による作業で取り扱われている製品の製品情報として作業内容とともに前記データベースに登録するデータベース登録部（３０１）を備えることを特徴とする。

この構成により、作業者に対して提供した製品情報が適切であった場合、作業者が現在その製品を作業対象として作業を行っていることを作業内容とともにデータベースに即時登録することが可能となる。

１０）また、本発明に係る作業支援システムでは、前記データベース管理装置は、前記データベースに登録された前記作業者による作業で取り扱われている製品の製品情報と前記作業内容とに基づく分析レポートを出力する分析レポート出力部（３０２）を備えることを特徴とする。

この構成により、作業者の作業対象とした製品および作業内容に基づいて、業務管理において必要な様々な項目を含む分析レポートを容易かつ正確に作成することが可能となる。

１１）また、本発明に係る作業支援システムでは、前記製品候補情報生成部は、前記適否情報において前記製品候補情報が前記製品に適切に対応していないことが示されている場合には、新たな製品情報を含む製品候補情報を生成することを特徴とする。

この構成により、作業者に対して提供した製品情報が適切ではなかった場合であっても、作業者は、再生成された製品候補情報を確認することで、適切な製品情報を得ることが可能となる。

１２）また、本発明に係る作業支援システムでは、前記製品情報抽出部は、前記適否情報に基づいて、前記データベースから前記製品の特徴に対応する製品情報を抽出する際の抽出精度を向上させることを特徴とする。

この構成により、作業者から得た適否情報に基づいて、次回以降の製品情報の抽出処理における精度を向上させることが可能となる。

１３）また、本発明に係る作業支援システムでは、前記作業支援装置は、音声情報の形態で前記作業者により入力された、前記作業の内容を表す作業内容情報を取得する作業内容抽出部（２０６）を備えることを特徴とする。

この構成により、作業者が入力した作業の内容を表す音声から、作業者が行っている作業の内容を特定することが可能となる。また、作業者は、作業の内容を音声で入力するという簡単な操作により作業の内容を通知することが可能となる。

１４）また、本発明に係る作業支援システムでは、前記作業支援装置は、前記作業内容情報に対応する作業で取り扱われる製品の特徴を入力するよう前記作業者へ指示する入力指示部（２０８）を備えることを特徴とする。

この構成により、作業者が行っている作業の内容を特定したうえで、その作業で取り扱っている製品の特徴を入力するよう作業者に指示することが可能となる。

１５）また、本発明に係る作業支援方法は、上記目的を達成するため、作業者による作業を支援する作業支援装置（２００）により実行される作業支援方法であって、音声情報および画像情報の少なくとも一方の形態で前記作業者により入力された、前記作業で取り扱われる製品の特徴を含む製品特徴情報を取得することと、前記製品特徴情報が前記画像情報である場合には画像解析処理を行い、前記製品特徴情報が前記音声情報である場合には音声解析処理を行うことと、前記画像解析処理および前記音声解析処理の少なくとも一方により処理された前記製品特徴情報から前記製品の特徴を特定し、前記製品の特徴に対応する製品情報を、過去の作業実績データが蓄積されたデータベースに格納されている製品情報の中から抽出することと、抽出された前記製品情報を含む製品候補情報を前記作業者へ提供することと、を有することを特徴とする作業支援方法。

この動作により、作業者により入力された製品の特徴を表す音声または画像から、作業者が取り扱っている製品を特定して、その製品情報を作業者に提供するため、例えば作業スキルの低い作業者等であっても作業対象の製品を容易に特定することが可能となり、作業者の負担を軽減させることが可能となる。特に、作業者は、作業で取り扱っている製品の特徴を音声で入力するか、あるいは製品の特徴を表す画像を撮影するという簡単な操作を行うだけで製品の特徴に対応する製品情報を容易に得ることが可能となり、製品情報を確実に把握することが可能となる。また、作業や製品に不慣れな作業者であっても、他の熟練作業者等の助けを借りることなく製品情報を容易かつ確実に得ることが可能となり、作業に従事している作業者だけではなく、他の熟練作業者の負担も軽減させることが可能となる。

１６）また、本発明に係る作業支援装置は、上記目的を達成するため、作業者により入力された情報に基づき前記作業者による作業を支援する作業支援装置（２００）であって、音声情報および画像情報の少なくとも一方の形態で前記作業者により入力された、前記作業で取り扱われる製品の特徴を含む製品特徴情報を取得する製品特徴情報取得部（２０１）と、前記画像情報の形態で入力された前記製品特徴情報に対して画像解析処理を行う画像解析部（２０５）と、前記音声情報の形態で入力された前記製品特徴情報に対して音声解析処理を行う音声解析部（２０３）と、前記画像解析部および前記音声解析部の少なくとも一方により処理された前記製品特徴情報から前記製品の特徴を特定し、前記製品の特徴に対応する製品情報を、過去の作業実績データが蓄積されたデータベースに蓄積されている製品情報の中から抽出する製品情報抽出部（２０７）と、前記製品情報抽出部により抽出された前記製品情報を含む製品候補情報を生成する製品候補情報生成部（２１０）と、前記製品候補情報生成部により生成された前記製品候補情報を前記作業者へ提供する製品候補情報提供部（２０１）と、を有することを特徴とする。

この構成により、作業者により入力された製品の特徴を表す音声または画像から、作業者が取り扱っている製品を特定して、その製品情報を作業者に提供するため、例えば作業スキルの低い作業者等であっても作業対象の製品を容易に特定することが可能となり、作業者の負担を軽減させることが可能となる。特に、作業者は、作業で取り扱っている製品の特徴を音声で入力するか、あるいは製品の特徴を表す画像を撮影するという簡単な操作を行うだけで製品の特徴に対応する製品情報を容易に得ることが可能となり、製品情報を確実に把握することが可能となる。また、作業や製品に不慣れな作業者であっても、他の熟練作業者等の助けを借りることなく製品情報を容易かつ確実に得ることが可能となり、作業に従事している作業者だけではなく、他の熟練作業者の負担も軽減させることが可能となる。

本発明によれば、作業者が作業対象の製品を容易に特定することが可能となり、作業者の負担を軽減させることが可能となる作業支援システムおよび作業支援方法ならびに作業支援装置を提供することができる。

本発明の実施の形態における作業支援システムの構成の一例を示すブロック図である。 本発明の実施の形態における作業支援システムの第１フェーズに係る処理の一例を示すシーケンスチャートである。 本発明の実施の形態における作業支援システムの第２フェーズに係る処理の一例を示すシーケンスチャートである。 本発明の実施の形態における作業支援システムの第３フェーズに係る処理の一例を示すシーケンスチャートである。 本発明の実施の形態における作業支援システムに係る処理によって更新されるデータベースの一例を示す図である。 本発明の実施の形態における作業支援システムから出力される分析レポートの表示画面の一例を示す図である。 本発明の実施の形態における作業支援システムから出力される製品特徴情報の表示画面の一例を示す図である。

以下、図面を参照しながら、本発明の実施の形態について説明する。

本発明の実施の形態における作業支援システム１０は、作業者による作業を支援するシステムである。より詳細には、作業支援システム１０は、作業現場の作業者が作業者端末１００から作業対象の製品の特徴を音声や画像で入力して作業支援装置２００へ送信することで、作業支援装置２００において、その製品の特徴に合致した製品情報をデータベース４００から抽出して作業者へ提供することで、作業者が作業対象の製品の製品情報を容易に特定できるようにするものである。

本明細書における作業とは、例えば倉庫に製品を入庫する作業や倉庫から製品を出荷する作業等のように、製品の物流に係る作業を意味する。また、本明細書における製品とは作業者が作業において取り扱う物品全般を意味する。本発明の実施の形態における作業支援システム１０は、特に、作業者による作業に伴って、作業者によって取り扱われている製品を特定するとともに作業者による作業内容をデータベース４００に登録することで、作業実績の管理を行うシステムに利用可能である。

図１は、本発明の実施の形態における作業支援システムの構成の一例を示すブロック図である。

図１に示す作業支援システム１０は、作業者による作業を支援するシステムである。作業支援システム１０は、作業者が操作可能な作業者端末１００と、作業者端末１００で作業者により入力された情報に基づき、作業を支援するための情報を作業者端末１００に提供する作業支援装置２００と、製品情報を含む過去の作業実績データが蓄積されたデータベース４００を含むデータベース管理装置３００とを有する。

作業者端末１００は、通信部１０１、カメラ１０２、マイクロホン１０３、タッチパネルディスプレイ１０４、スピーカ１０５、作業支援動作制御部１０６を有する。

通信部１０１は、無線通信機能または有線通信機能を有し、任意の通信方式で他の装置と通信を行う機能を有する。通信部１０１は、例えばネットワーク１５０を通じて作業支援装置２００と通信を行うように構成されている。本発明の実施の形態では、通信部１０１は、カメラ１０２で撮影された画像情報やマイクロホン１０３で収音された音声情報を作業支援装置２００へ送信する機能を有する。また、本発明の実施の形態では、通信部１０１は、入力指示情報や製品候補情報等を含む様々な情報を作業支援装置２００から受信する機能を有する。

カメラ１０２は、例えば光学レンズやイメージセンサ等により構成され、静止画像および動画像を含む画像情報を生成する機能を有する。本発明の実施の形態では、作業者がカメラ１０２の撮影方向を作業者の周辺に存在する製品に向けて撮影操作を行うことで、製品の撮影画像を含むデジタルデータ形式の画像情報をカメラ１０２によって生成することが可能である。

マイクロホン１０３は、例えば増幅器、ＡＤＣ（アナログデジタル変換器）、ＤＳＰ（デジタル信号プロセッサ）等により構成され、周辺の音声を収音して音声情報を生成する機能を有する。本発明の実施の形態では、例えば作業内容、製品の特徴、製品候補情報に対する適否等を発話することで、これらの発話音声を含むデジタルデータ形式の音声情報をマイクロホン１０３によって生成することが可能である。

タッチパネルディスプレイ１０４は、操作入力機能および表示機能を兼ね備えており、作業者による操作入力を可能とする入力インタフェースと、画像情報やテキスト情報等を表示する表示インタフェースとが一体化された装置である。なお、図１に示す作業者端末１００では、操作入力機能および表示機能の両方を有するタッチパネルディスプレイ１０４が設けられているが、マウスやキーボード等の入力操作装置と、ディスプレイ等の表示装置とが個別に設けられてもよい。

スピーカ１０５は、例えばＤＡＣ（デジタルアナログ変換器）、増幅器、振動子等により構成され、デジタルデータ形式の音声情報を音声波形として出力する機能を有する。スピーカ１０５は、ワイヤレスヘッドフォンや骨伝導ヘッドフォン等でもよく、あるいは、振動を発生する他の情報伝達手段であってもよい。

作業支援動作制御部１０６は、本発明に係る作業支援動作を制御する機能を有する。作業支援動作制御部１０６は、例えば、本発明に係る作業支援の動作を制御するための作業支援用プログラムが作業者端末１００に搭載されているプロセッサにより実行されることで実現される。

作業者端末１００は、プロセッサ、ＲＡＭやＲＯＭ、ストレージ（補助記憶装置）等を有するコンピュータであり、小型で持ち運び可能なタブレット端末やスマートフォン等であってもよい。タブレット端末やスマートフォンに搭載されているハードウェアを用いて、上述した通信部１０１、カメラ１０２、マイクロホン１０３、タッチパネルディスプレイ１０４、スピーカ１０５が実現可能である。また、作業支援動作制御部１０６は、本発明に係る作業支援の動作がプログラミング言語で記述されたアプリケーション（作業支援用プログラム）をタブレット端末やスマートフォンにインストールすることによって実現可能である。

作業者端末１００は、上述したようなタブレット端末やスマートフォン等のポータブルなスマートデバイスを単独で含む構成であってもよく、他の装置による構成または様々な装置を組み合わせた構成であってもよい。作業者端末１００は、例えば、スマートデバイスと外部カメラ（スマートデバイスと有線あるいは無線で接続）とを含む構成、ヘッドマウントディスプレイ（ＨＭＤ）を単独で含む構成、ＨＭＤ（カメラ機能およびディスプレイ機能を含む）とスマートデバイスとを含む構成、ＨＭＤと外部カメラ（ＨＭＤと有線あるいは無線で接続）とを含む構成、スマートデバイスとノート型ＰＣ（作業支援動作制御部１０６を含む）とを含む構成等であってもよい。

図１には、作業者端末１００が１台のみ図示されているが、複数台の作業者端末１００が、それぞれネットワーク１５０を通じて作業支援装置２００と通信を行うように構成されていてもよい。各作業者が各自の作業場において作業者端末１００を操作することで、作業支援装置２００から各自の作業に合った情報を受けられるようになっている。また、作業者端末１００は、ネットワーク１５０を通じて作業支援装置２００と通信を行うように構成されており、作業者端末１００が配置される場所（すなわち、作業者が作業を行う作業場所）は、特定の場所に限定されるものではない。

作業支援装置２００は、通信部２０１、音声／画像判定部２０２、音声解析部２０３、音声翻訳部２０４、画像解析部２０５、作業内容抽出部２０６、製品情報抽出部２０７、入力指示部２０８、音声合成部２０９、製品候補情報生成部２１０、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）データ生成部２１１、適否情報取得部２１２を有する。

通信部２０１は、無線通信機能または有線通信機能を有し、任意の通信方式で他の装置と通信を行う機能を有する。通信部２０１は、例えばネットワーク１５０を通じて作業者端末１００と通信を行うように構成されている。本発明の実施の形態では、通信部２０１は、カメラ１０２で撮影された画像情報や、マイクロホン１０３で収音された音声情報を作業者端末１００から受信する機能（例えば製品特徴情報取得部としての機能）を有する。また、本発明の実施の形態では、通信部２０１は、入力指示情報や製品候補情報等を含む様々な情報を作業者端末１００へ送信する機能（例えば製品候補情報提供部としての機能）を有する。

音声／画像判定部２０２は、作業者端末１００から受信した情報が音声情報であるか画像情報であるかを判定する機能を有する。音声／画像判定部２０２は、作業者端末１００から音声情報を受信した場合には音声解析部２０３へ出力し、画像情報を受信した場合には画像解析部２０５へ出力する。

音声解析部２０３は、音声情報を解析して更なる処理が可能となる状態に音声情報を加工する機能を有する。音声解析部２０３は、例えば、音声情報に含まれる作業内容を作業内容抽出部２０６により抽出することが可能な状態に加工する機能、音声情報に含まれる製品の特徴を製品情報抽出部２０７により抽出することが可能な状態に加工する機能、音声情報に含まれる製品候補情報に対する適否を適否情報取得部２１２により抽出することが可能な状態に加工する機能を有する。音声解析部２０３は、音声情報に含まれている音声の言語を解析する機能や、形態素解析および音声に含まれる意味を特定する音声認識を行う機能、音声情報とテキスト情報とを相互に変換する機能等を有する。

音声翻訳部２０４は、異なる言語間の翻訳を行う多言語翻訳機能を有している。音声翻訳部２０４は、音声解析部２０３による解析の結果、必要に応じて言語の翻訳を行うことが可能である。例えば、音声情報に日本語以外の言語が含まれている場合には、音声情報または音声を文字に変換したテキスト情報が音声解析部２０３から音声翻訳部２０４へ渡されて、音声翻訳部２０４において日本語への翻訳が行われるように構成されている。なお、どの言語へ翻訳するかは適宜設定することが可能である。

画像解析部２０５は、画像情報を解析して更なる処理が可能となる状態に音声情報を加工する機能を有する。画像解析部２０５は、例えば、画像情報に含まれる製品の特徴を製品情報抽出部２０７により抽出可能とした状態に加工する機能を有する。画像解析部２０５は、画像情報に含まれている画像のノイズを除去する機能、画像中の被写体領域を特定および抽出する機能、画像中の各画素のＲＧＢ値や輝度値等を抽出する機能等を有する。

作業内容抽出部２０６は、作業者が行う作業内容を含む作業内容情報を解析して、作業者が行う作業内容を特定する機能を有する。作業内容抽出部２０６は、例えば作業内容情報に含まれる「入庫」、「出荷」等の単語を認識することで、作業内容を特定することが可能である。さらに、作業内容抽出部２０６は、データベース管理装置３００と協働して動作し、データベース４００から、作業内容に対応する過去の蓄積情報を抽出する機能を有する。

本発明の実施の形態では、作業者が作業内容を発話してその発話音声が作業者端末１００のマイクロホン１０３で収音され、作業内容情報が生成される。音声情報の形態で入力された作業内容を含む作業内容情報は、作業者端末１００から作業支援装置２００へ送信された後、音声／画像判定部２０２および音声解析部２０３による処理を経て作業内容抽出部２０６に供給される。

製品情報抽出部２０７は、作業者が行う作業で取り扱われる製品の特徴を含む製品特徴情報を解析して、製品の特徴を特定する機能を有する。さらに、製品情報抽出部２０７は、データベース管理装置３００と協働して動作し、製品の特徴に対応する製品情報をデータベース４００に蓄積されている製品情報の中から抽出する機能を有する。

本発明の実施の形態では、作業者が作業で取り扱われる製品の特徴を発話してその発話音声が作業者端末１００のマイクロホン１０３で収音されるか、作業者が作業で取り扱われる製品をカメラ１０２で撮影して、製品特徴情報が生成される。音声情報の形態で入力された製品の特徴を含む製品特徴情報は、作業者端末１００から作業支援装置２００へ送信された後、音声／画像判定部２０２および音声解析部２０３による処理を経て製品情報抽出部２０７に供給される。画像情報の形態で入力された製品の特徴を含む製品特徴情報は、作業者端末１００から作業支援装置２００へ送信された後、音声／画像判定部２０２および画像解析部２０５による処理を経て製品情報抽出部２０７に供給される。製品情報抽出部２０７により抽出された製品の特徴に対応する製品情報は、製品候補情報生成部２１０へ供給される。

製品情報抽出部２０７は、検索処理または推定処理によって、製品の特徴に対応する製品情報を抽出するように構成されている。製品情報抽出部２０７は、例えば、製品特徴情報から製品の特徴を表す単語を抽出し、その単語を検索キーとして、データベース４００に含まれる製品情報の中からその検索キーを含む製品情報を検索してもよく、画像のパターンマッチングを行って、データベース４００に含まれる製品情報の中から製品特徴情報に含まれる画像情報と合致する画像情報を含む製品情報を検索してもよい。

さらに、製品情報抽出部２０７は、製品の特徴に対応する製品情報をデータベース４００に蓄積されている製品情報の中から抽出する際に、製品の特徴に対応する可能性のある複数の製品情報を抽出してもよい。製品情報抽出部２０７は、製品の特徴に対応する製品情報を抽出する際に、例えば過去実績データにおける直近１週間で取引回数が多い製品等を抽出する等の所定条件に従って、製品の特徴に対応する可能性の最も高い製品情報を抽出するとともに、さらに、取引回数の多い所定数（例えば、上位１０件）の製品の製品情報を抽出してもよい。このような製品情報の抽出に係る所定条件は、作業者が作業者端末１００を操作して事前に設定できるようにしてもよく、作業支援装置２００側が保持する設定情報によって設定されてもよい。

複数の製品情報を抽出した場合、作業支援装置２００は、製品の特徴に対応する可能性の最も高い製品情報を製品候補情報として作業者へ提供するとともに、製品の特徴に対応する可能性の高い複数の製品情報を補足情報として提供することが可能となる。

また、複数の製品情報を抽出した場合、後述するように、製品の特徴に対応する可能性の最も高い製品情報を製品候補情報として作業者端末１００へ提供し、適否情報として「適切ではない（ＮＯ）」という判定結果を受信した際には、複数の製品情報（既に製品候補情報として作業者に提供した製品を除く）の中から次に可能性の高い製品情報を選択し、新たな製品候補情報として作業者端末１００へ提供してもよい。

また、製品情報抽出部２０７が機械学習による推定機能を有し、製品特徴情報を入力情報として適切な製品情報を推定できるようにしてもよい。製品情報抽出部２０７に機械学習による推定機能を実装させた場合、例えば学習フェーズにおいて、例えば音声情報に含まれる単語の集合や画像情報に含まれる画素のＲＧＢ値または輝度値等の入力に対して適切な製品情報を出力するように学習させる。この学習の結果、製品情報抽出部２０７は、推論フェーズにおいて、作業者が入力した音声情報や画像情報から作業で取り扱われている製品情報を精度良く出力することが可能となる。また、例えば、製品情報抽出部２０７を確率値の出力を伴う分類器によって構成することで、ある製品候補情報を入力情報とした推定結果として、複数の製品情報およびこれらの確率値を出力できるようにしてもよい。

なお、機械学習とは、人間に備わっている学習機能および予測機能をコンピュータで実現するための手法である。近年、機械学習の技術は、その応用である深層学習およびＡＩ技術ならびにその他の類似技術等に展開され飛躍的に進歩している。本発明に適用可能な機械学習の技術は、現在利用可能な機械学習の技術のみならず、将来更なる進歩を遂げるであろう機械学習の技術およびその他の類似技術も含む。

入力指示部２０８は、作業者が行う作業で取り扱われる製品の特徴を入力するよう作業者へ指示する入力指示情報を生成する機能を有する。本発明の実施の形態では、入力指示部２０８は、作業内容抽出部２０６で作業者が行う作業内容を特定した場合、その作業に伴って取り扱われる製品の特徴を入力するよう指示する入力指示情報が生成される。入力指示情報が作業者端末１００へ提供されると、作業者端末１００において、例えば「製品情報を入力してください」等の音声が出力され、作業者に対して製品の特徴の入力を促すようになっている。

音声合成部２０９は、テキスト情報から音声情報を生成する機能、すなわち、音声合成処理によりテキストを読み上げ音声に変換する機能を有する。音声合成部２０９は、例えば、入力指示部２０８で生成された入力指示情報を音声情報に変換する機能、製品候補情報生成部２１０で生成された製品候補情報に含まれる製品の名称や説明等のテキスト情報を音声情報に変換する機能を有する。なお、入力指示情報は、例えば「製品情報を入力してください」等の定型文であり、当該定型文を含む音声情報をあらかじめ準備しておいてもよい。

音声合成部２０９は、音声情報を生成する際、作業者の使用する言語へ翻訳してもよい。例えば、日本語以外の言語に翻訳する必要がある場合には、テキスト情報またはテキスト情報から生成された音声情報が音声合成部２０９から音声翻訳部２０４へ渡されて、音声翻訳部２０４において日本語以外の言語への翻訳が行われる。

製品候補情報生成部２１０は、製品情報抽出部２０７により抽出された製品情報を含む製品候補情報を生成する機能を有する。製品候補情報生成部２１０で生成される製品候補情報は、作業者が入力した製品の特徴と合致する特徴を有すると製品情報抽出部２０７により判断された製品情報を含み、例えば製品の名称や説明等のテキスト情報や製品の外観を表す画像情報を含む。

製品候補情報に含まれる製品の名称や説明等のテキスト情報は、音声合成部２０９で音声情報に変換することが可能である。音声情報の形態に変換された製品候補情報が作業者端末１００へ提供されると、作業者端末１００において、その音声情報がスピーカ１０５から出力される。

また、製品候補情報に含まれる製品の名称や説明等のテキスト情報および製品の外観を表す画像情報は、後述するＡＲデータ生成部２１１でＡＲデータに加工することが可能である。ＡＲデータの形態に変換された製品候補情報が作業者端末１００へ提供されると、作業者端末１００において、ＡＲデータとして含まれるテキスト情報や画像情報が表示画面に重ねて表示（オーバレイ）される。

製品候補情報生成部２１０で生成された製品候補情報は、音声合成部２０９およびＡＲデータ生成部２１１による処理を経て、音声情報およびＡＲデータを含んだ状態で作業者端末１００へ提供される。

ＡＲデータ生成部２１１は、製品候補情報に含まれる製品の名称や説明等のテキスト情報および製品の外観を表す画像情報をＡＲデータに加工するＡＲ加工処理機能を有する。

本発明の実施の形態における製品候補情報に含まれるＡＲデータは、例えば、作業者端末１００において再生された場合には、タッチパネルディスプレイ１０４の表示画面において、カメラ１０２で撮影されている映像をリアルタイムに表示しながら、さらに製品候補情報に含まれる画像情報やテキスト情報を重畳表示可能とするものである。このとき、ＡＲ技術を用いることで、製品候補情報の画像情報やテキスト情報の表示位置および表示態様を制御することが可能である。

具体的には、例えばカメラ１０２でリアルタイムに撮影されている製品をマーカーとして、マーカーの近傍位置やマーカーに重畳した位置に製品候補情報の画像情報やテキスト情報を表示したり、表示画面の特定の範囲に製品候補情報の画像情報やテキスト情報をワイプ表示したりすることが可能である。また、製品候補情報の画像情報やテキスト情報の表示と同時に音声情報を再生する等、音声情報の再生タイミングを制御することも可能である。

また、ＡＲデータは、作業者端末１００において再生された場合に、上述した所定条件（例えば、過去実績データにおける直近１週間で取引回数が多い製品）に従って製品情報抽出部２０７により抽出された製品の特徴に対応する可能性の最も高い製品情報を作業者端末１００の表示画面に表示するとともに、例えば上位１０件の製品の製品情報のリストを補足情報として表示し、複数の製品情報のリストに含まれる製品情報を選択することで、選択した製品情報の詳細な内容を確認できるようにしてもよい。作業者は、このＡＲデータの表示により、作業者による作業で取り扱われている可能性のある複数の製品情報を確認することが可能となる。

さらに、ＡＲデータは、製品情報の３次元モデルデータを含んでいてもよい。作業者端末１００において３次元モデルデータを含むＡＲデータが再生された場合には、タッチパネルディスプレイ１０４の表示画面に、例えば回転、移動、拡大および縮小が自在に可能な製品の３次元モデルを表示することが可能である。作業者は、様々な表示態様で表示される製品の３次元モデルを確認することが可能となり、製品候補情報として提供された製品情報が、現在作業中の製品と一致するかどうかを確実に判断することが可能となる。

本発明の実施の形態では、ＡＲデータを用いることで、作業者に対して製品候補情報を効果的に伝えることが可能である。上述したＡＲデータの具体的な表示例は一例にすぎず、任意の再生態様を実現するＡＲデータが用いられてもよい。なお、本発明はＡＲデータの使用を必須とするものではなく、製品候補情報の画像情報、テキスト情報、音声情報は、任意の形式で作業支援装置２００から作業者端末１００へ提供されてもよい。

適否情報取得部２１２は、製品候補情報に対して作業者がその適否を判定した適否判定結果を含む適否情報を取得するとともに、適否判定結果に基づく動作制御を行う機能を有する。適否情報取得部２１２は、例えば適否情報に含まれる「ＹＥＳ」、「ＮＯ」等の単語を認識することで、適否判定結果を特定することが可能である。

本発明の実施の形態では、作業者は、作業者端末１００において製品候補情報を確認した後、製品候補情報に対する適否判定結果を発話してその発話音声が作業者端末１００のマイクロホン１０３で収音され、適否情報が生成される。音声情報の形態で入力された適否判定結果を含む適否情報は、作業者端末１００から作業支援装置２００へ送信された後、音声／画像判定部２０２および音声解析部２０３による処理を経て適否情報取得部２１２に供給される。

適否情報は、作業者が製品候補情報を確認した後、その製品候補情報が適切であったかどうか、すなわち製品候補情報の適否（ＹＥＳ／ＮＯ）を示す情報である。製品候補情報が適切であるとは、作業支援装置２００から提供された製品候補情報が、作業者による作業で取り扱われている製品に対応したものであることを意味し、製品候補情報が適切ではないとは、作業支援装置２００から提供された製品候補情報が、作業者による作業で取り扱われている製品に対応したものではないことを意味する。

製品候補情報が適切である場合には、作業者は「適切である（ＹＥＳ）」という判定結果を発話し、製品候補情報が適切ではない場合には、作業者は「適切ではない（ＮＯ）」という判定結果を発話して、この判定結果が音声情報の形態で作業者端末１００から作業支援装置２００へ送信される。

「適切である（ＹＥＳ）」という判定結果を含む適否情報を作業者端末１００から受信した場合には、適否情報取得部２１２は、製品候補情報として作業者に提供した製品情報を、作業者による作業で取り扱われている製品の製品情報として登録するようデータベース管理装置３００に指示する。

一方、「適切ではない（ＮＯ）」という判定結果を含む適否情報を作業者端末１００から受信した場合には、適否情報取得部２１２は、製品情報抽出部２０７および製品候補情報生成部２１０に対して、作業で取り扱われている製品である可能性が高い別の製品情報を含む新たな製品候補情報を作業者端末１００へ提供するよう指示する。すなわち、製品候補情報は適切ではなかったと作業者が判定した場合には、別の製品情報を含む新たな製品候補情報が作業者端末１００へ再び提供されるようになっている。

データベース管理装置３００は、データベース登録部３０１、分析レポート出力部３０２を有する。データベース管理装置３００は、例えば、業務フローやデータベース等の管理を行う統合基幹業務システムの一機能により実現される。

データベース登録部３０１は、作業者による作業内容や作業で取り扱われた製品情報等をデータベース４００へ登録する機能を有する。本発明の実施の形態では、データベース登録部３０１は、作業者により適切であると確認された製品候補情報に含まれる製品情報を、作業者による作業で取り扱われている製品の製品情報として登録する。

分析レポート出力部３０２は、データベース４００に登録された作業者による作業で取り扱われている製品の製品情報や作業内容等に基づく分析レポートを出力する機能を有する。

データベース４００は、製品情報を含む過去の作業実績データが蓄積されたデータベースである。データベース４００は、データベース管理装置３００により管理されており、作業支援装置２００は、データベース管理装置３００を通じてデータベース４００へアクセス可能なように構成されている。

以下、本発明の実施の形態における作業支援システムの処理を第１〜第３フェーズの３つのフェーズに分けて説明する。図２〜図４のシーケンスチャートでは、図面の上部から下部に向かって処理の流れが示されており、作業支援システム１０の構成要素である作業者端末１００、作業支援装置２００、データベース管理装置３００の各々において実行される処理が時系列に示されている。ただし、図２〜図４のシーケンスチャートは、一連の処理の流れを説明するものであって、処理の順序を限定するものではない。

図２は、本発明の実施の形態における作業支援システムの第１フェーズに係る処理の一例を示すシーケンスチャートである。第１フェーズでは、作業者がこれから行う作業の内容を含む作業内容情報が作業者端末１００から作業支援装置２００へ送信され、その作業で取り扱われる製品の特徴を入力するよう指示する入力指示情報が作業支援装置２００から作業者端末１００へ送信される。

本発明の実施の形態における作業支援システムの処理は、例えば作業者端末１００で作業支援用プログラムを起動することによって開始される。まず、これから行う作業内容を作業者に入力させる処理が実行される。

図２のシーケンスチャートにおいて、作業者端末１００は、作業内容情報を生成する（ステップＳ１１０１）。作業内容情報は、作業者がこれから行う作業を特定する情報であり、例えば入庫や出荷等の作業を示す情報である。ステップＳ１１０１では、作業者端末１００は、例えば作業者が「入庫」、「出荷」等のように発話した作業内容を表す発話音声をマイクロホン１０３で収音し、この音声情報を作業内容情報として生成する。

作業者端末１００は、ステップＳ１１０１で生成された作業内容情報を作業支援装置２００へ送信する（ステップＳ１１０３）。ステップＳ１１０１の作業内容情報の生成処理およびステップＳ１１０３の作業内容情報の送信処理は、一連の処理として実行される。すなわち、作業者端末１００は、作業者の発話音声を収音してこの音声情報を作業支援装置２００へ即時送信するようになっており、作業者は、作業内容を音声で入力するだけで、より具体的には作業内容を発話するだけで、作業内容を作業支援装置２００へ連絡することが可能となる。

作業支援装置２００は、作業者端末１００から受信した作業内容情報に対して、音声／画像の判定を行う（ステップＳ１１０５）。ステップＳ１１０５の処理は、音声／画像判定部２０２により実行される。本発明の実施の形態における作業内容情報は音声情報の形態を有しており、音声／画像判定部２０２は、作業内容情報を音声解析部２０３へ出力する。

作業支援装置２００は、音声情報の形態である作業内容情報を解析して音声変換処理を行う（ステップＳ１１０７）。ステップＳ１１０７の処理は、音声解析部２０３により実行される。ステップＳ１１０７の処理は、一例として、作業内容抽出部２０６における更なる処理のために、作業内容情報に含まれる音声情報をテキスト情報に変換する処理を含む。このとき、音声解析部２０３は、音素等を解析したり作業内容情報を入力した作業者の識別情報（例えば国籍情報を含む）を参照したりすることで、作業者の発話音声の言語を特定し、音声翻訳部２０４に言語の翻訳を行わせることが可能である。本発明の実施の形態では、主言語として日本語を想定しており、例えば日本語以外の言語が使用されている場合には、音声翻訳部２０４によって日本語に翻訳される。

作業支援装置２００は、作業内容情報を解析して抽出した作業内容に基づいて、データベース４００から、その作業内容と同一の作業内容を含む過去の作業実績データを抽出する（ステップＳ１１０９）。ステップＳ１１０９の処理は、データベース管理装置３００と協働して、作業内容抽出部２０６により実行される。ステップＳ１１０９の処理は、一例として、作業内容情報から作業内容を表す単語を抽出し、その単語を検索キーとして、データベース４００に含まれる情報の中からその検索キーを含む作業実績を検索して抽出する。

データベース管理装置３００は、作業内容情報から抽出された作業内容と同一の作業内容を含む過去の作業実績データを保持する（ステップＳ１１１１）。ステップＳ１１１１における処理は、例えばデータベース４００の更新開始の処理であり、後述するデータベース４００への登録処理（図４のステップＳ３１１３）を更新終了の処理とする一連のトランザクションが設定されてもよい。

作業支援装置２００は、作業者が行う作業で取り扱われる製品の特徴を入力するよう作業者へ指示する入力指示情報を生成する（ステップＳ１１１３）。ステップＳ１１１３の処理は、入力指示部２０８により実行される。本発明の実施の形態では、例えば、作業者端末１００において入力指示の音声が出力される。一例として、作業支援装置２００は、ステップＳ１１１３においてテキスト情報の形態で入力指示情報を生成した後、テキスト情報を音声情報へ変換する音声合成処理を行い（ステップＳ１１１５）、音声情報の形態に変換された入力指示情報を作業者端末１００へ送信する（ステップＳ１１１７）。ステップＳ１１１５の処理は、音声合成部２０９で実行され、必要に応じて、音声翻訳部２０４で作業者が使用する言語に翻訳されてもよい。

作業者端末１００は、入力指示情報を作業支援装置２００から受信して、入力指示情報に含まれる音声情報をスピーカ１０５から再生する（ステップＳ１１１９）。なお、作業者端末１００は、ステップＳ１１０３で作業内容情報を送信すると入力指示情報を待ち受ける動作モードに移行し、入力指示情報を受信すると即時再生するようになっている。

図３は、本発明の実施の形態における作業支援システムの第２フェーズに係る処理の一例を示すシーケンスチャートである。第２フェーズでは、作業者が作業で取り扱う製品の特徴を表す製品特徴情報が作業者端末１００から作業支援装置２００へ送信され、その作業で取り扱われる製品であると推定される製品情報を含む製品候補情報が作業支援装置２００から作業者端末１００へ送信される。

図３のシーケンスチャートは、図２のシーケンスチャートに続いて行われる処理を表しており、図３には、図２に示すステップＳ１１１９の処理が示されている。以下の説明では、図２に示すステップＳ１１１９の処理の後に行われる第２フェーズに係る処理について説明する。

図３のシーケンスチャートにおいて、作業者端末１００は、製品特徴情報を生成する（ステップＳ２１０１）。製品特徴情報は、作業で取り扱われる製品の特徴を含む情報であり、例えば作業者が製品の名称や品番等の製品の特徴を表す発話音声から得られる音声情報や、製品をカメラ１０２で撮影して得られる画像情報である。作業者は、製品の特徴を発話するか、および／または、製品を撮影することで作業者端末１００に製品の特徴を入力し、作業者端末１００は、この作業者からの入力に基づいて製品特徴情報を生成する。なお、作業者は、音声入力を行うか画像の撮影を行うかあるいはその両方を行うかを自由に選択することが可能である。

製品の特徴は様々な表現方法で表される可能性がある。例えば作業者の発話音声によって製品の特徴が表現される場合、ある作業者は製品の名称や品番を正確に発語して表現するかもしれず、別の作業者は製品の略称や専門用語または業界用語を発語して製品を表現するかもしれない。さらに別の作業者は、メーカ名や一般名称（例えば「ステンレス鋼板」等の一般的な特徴）、さらには形状、材質、色や大きさ等の漠然とした特徴を発語して製品を表現するかもしれない。本発明の実施の形態では、このように作業者ごとに異なる様々な発話音声がマイクロホン１０３により収音されて、ステップＳ２１０１において音声情報の形態の製品特徴情報が生成される。

例えば作業者が製品を撮影することによって製品の特徴が表現される場合、作業者または撮影状況ごとに製品を撮影する際のアングル（撮影の向き）は異なり、製品全体を撮影することや製品の一部のみを撮影することも考えられる。本発明の実施の形態では、このように作業者や撮影状況ごとに異なる画像がカメラ１０２により撮影されて、ステップＳ２１０１において画像情報の形態の製品特徴情報が生成される。

作業者端末１００は、ステップＳ２１０１で生成された製品特徴情報を作業支援装置２００へ送信する（ステップＳ２１０３）。ステップＳ２１０１の製品特徴情報の生成処理およびステップＳ１１０３の製品特徴情報の送信処理は、一連の処理として実行される。すなわち、作業者端末１００は、作業者の発話音声を収音した音声情報やカメラ１０２による撮影画像を作業支援装置２００へ即時送信するようになっており、作業者は、製品の特徴を音声で入力したり製品の特徴を表す画像を撮影したりするだけで、より具体的には製品の特徴を発話したり製品を撮影するだけで、製品の特徴を作業支援装置２００へ連絡することが可能となる。

作業支援装置２００は、作業者端末１００から受信した製品特徴情報に対して、音声／画像の判定を行う（ステップＳ２１０５）。ステップＳ２１０５の処理は、音声／画像判定部２０２により実行される。本発明の実施の形態における製品特徴情報は音声情報および画像情報の少なくとも一方または両方の情報を含んでおり、音声／画像判定部２０２は、音声情報の形態の製品特徴情報を音声解析部２０３へ出力し、画像情報の形態の製品特徴情報を画像解析部２０５へ出力する。

製品特徴情報が音声情報を含む場合には、下記のステップＳ２１０７の処理が実行され、製品特徴情報が画像情報を含む場合には、下記のステップＳ２１０９の処理が実行される。製品特徴情報が音声情報および画像情報の両方を含む場合には、下記のステップＳ２１０７およびステップＳ２１０９の両方の処理が実行される。

作業支援装置２００は、音声情報の形態の製品特徴情報を解析して音声変換処理を行う（ステップＳ２１０７）。ステップＳ２１０７の処理は、音声解析部２０３により実行される。ステップＳ２１０７の処理は、一例として、作業内容抽出部２０６における更なる処理のために、製品特徴情報を音声情報からテキスト情報に変換する処理を含む。このとき、音声解析部２０３は、音素等を解析したり製品特徴情報を入力した作業者の識別情報（例えば国籍情報を含む）を参照したりすることで、作業者の発話音声の言語を特定し、音声翻訳部２０４に言語の翻訳を行わせることも可能である。本発明の実施の形態では主言語として日本語を想定しており、この場合、音声翻訳部２０４により日本語以外の言語を日本語に翻訳することが可能である。

また、作業支援装置２００は、画像情報の形態の製品特徴情報を解析して画像解析処理を行う（ステップＳ２１０９）。ステップＳ２１０９の処理は、画像解析部２０５により実行される。ステップＳ２１０９の処理は、一例として、作業内容抽出部２０６における更なる処理のために、例えば画像のノイズ除去や画像中の被写体領域の抽出、各画素のＲＧＢ値や輝度値等の抽出等の処理を含む。

作業支援装置２００は、製品特徴情報を解析して抽出した製品の特徴に基づいて、データベース４００から、その製品の特徴に合致する製品情報を抽出する（ステップＳ２１１１）。ステップＳ２１１１の処理は、データベース管理装置３００と協働して、製品情報抽出部２０７により実行される。音声情報の形態の製品特徴情報の場合には、ステップＳ２１１１の処理は、一例として、製品特徴情報から製品の特徴を表す単語を抽出し、その単語を検索キーとして、データベース４００に含まれる製品情報の中からその検索キーを含む製品情報を検索して抽出する。また、画像情報の形態の製品特徴情報の場合には、ステップＳ２１１１の処理は、一例として、画像のパターンマッチングを行って、データベース４００に含まれる製品情報の中から製品特徴情報に含まれる画像情報と合致する画像情報を検索し、合致する画像情報と関連付けられている製品情報を抽出する。さらには、製品情報抽出部２０７に機械学習による推定機能を実装させ、製品特徴情報を入力情報として適切な製品情報を推定できるようにしてもよい。

また、作業支援装置２００は、ステップＳ２１１１において、製品特徴情報を解析して抽出した製品の特徴に合致する可能性の高い複数の製品情報を抽出してもよい。作業支援装置２００は、例えば、製品の特徴に対応する可能性の最も高い製品情報とともに、複数の製品情報を補足情報として製品候補情報に含ませて作業者端末１００へ送信することで、作業者が、作業者による作業で取り扱われている可能性のある複数の製品情報を確認できるようにしてもよい。

本発明の実施の形態では、後述するように、製品情報を提供した後にフィードバックとして作業者により入力される適否情報が「適切ではない（ＮＯ）」ことを示す場合（図４のステップＳ３１０９で「ＮＯ」の場合）には、新たな製品情報を作業者へ提供する処理が実行される。ステップＳ２１１１において複数の製品情報を一括して抽出しておき、適否情報がＮＯの場合には、一括して抽出した複数の製品情報の中から別の製品情報を選択して提供することで、適否情報がＮＯの場合における製品情報の抽出処理の負荷および時間を削減することが可能となる。

製品情報抽出部２０７は、一例として音声情報から抽出された単語を検索キーとする検索や画像のパターンマッチングを用いることで製品情報を抽出することが可能であるが、この方法に限定されるものではなく、任意の情報抽出方法を採用することが可能である。製品特徴情報に含まれる製品の特徴は様々な表現方法で表されており、上述したように、製品情報抽出部２０７に機械学習による推定機能を実装させることで、複雑かつ多様な表現を有する入力情報に基づいて適切な製品情報を抽出できるようにしてもよい。

作業支援装置２００は、製品特徴情報に含まれる製品の特徴に合致する製品情報を含む製品候補情報を生成する（ステップＳ２１１３）。ステップＳ２１１３の処理は、製品候補情報生成部２１０により実行される。本発明の実施の形態では、例えば、データベース４００に蓄積されている製品情報は、例えば製品の名称や品番等のテキスト情報を有するとともに、その製品の画像情報がさらに関連付けられている。一例として、作業支援装置２００は、ステップＳ２１１３において作業者に提供すべき製品情報をデータベース４００から読みだして製品候補情報を準備した後、製品候補情報に含まれるテキスト情報を音声情報へ変換する音声合成処理を行い（ステップＳ２１１５）、製品候補情報に含まれるテキスト情報および画像情報、さらには音声合成処理により得られた音声情報をＡＲデータに加工するＡＲ加工処理を行い（ステップＳ２１１７）、その結果得られたＡＲデータの形態の製品候補情報を作業者端末１００へ送信する（ステップＳ２１１９）。ステップＳ２１１５の処理は、音声合成部２０９で実行され、必要に応じて、音声翻訳部２０４で作業者が使用する言語に翻訳されてもよい。また、ステップＳ２１１７の処理は、ＡＲデータ生成部２１１により実行される。

作業者端末１００は、製品候補情報を作業支援装置２００から受信してＡＲデータを再生することで、ＡＲデータに含まれる音声情報をスピーカ１０５から再生し、ＡＲデータに含まれるテキスト情報や画像情報をタッチパネルディスプレイ１０４の表示画面に再生する（ステップＳ２１２１）。なお、作業者端末１００は、ステップＳ２１０３で製品特徴情報を送信すると製品候補情報を待ち受ける動作モードに移行し、製品候補情報を受信すると即時再生するようになっている。

作業者端末１００において製品候補情報に含まれるＡＲデータを再生した場合、製品情報抽出部２０７により抽出された製品の特徴に対応する可能性の最も高い製品情報がタッチパネルディスプレイ１０４に表示される。さらに、ＡＲデータが、製品の特徴に対応する可能性のある複数の製品情報を補足情報として含んでいる場合には、複数の製品情報のリストが表示される。作業者は、タッチパネルディスプレイ１０４の表示画面を視認することで、作業者による作業で取り扱われている可能性のある複数の製品情報を把握し、実際の作業で取り扱われている製品の製品情報と一致するかどうかを確認することが可能となる。

図４は、本発明の実施の形態における作業支援システムの第３フェーズに係る処理の一例を示すシーケンスチャートである。第３フェーズでは、作業者が製品候補情報を確認した後に入力した製品候補情報の適否を示す適否情報が作業者端末１００から作業支援装置２００へ送信され、作業支援装置２００が適否情報に応じた処理を実行する。

図４のシーケンスチャートは、図３のシーケンスチャートに続いて行われる処理を表しており、図４には、図３に示すステップＳ２１２１の処理が示されている。以下の説明では、図３に示すステップＳ２１２１の処理の後に行われる第３フェーズに係る処理について説明する。

図４のシーケンスチャートにおいて、作業者端末１００は、適否情報を生成する（ステップＳ３１０１）。ステップＳ３１０１では、作業者は、ステップＳ２１２１において再生された製品候補情報が、ステップＳ２１０１でその特徴を入力した製品と一致するかどうかを確認することで、製品候補情報が作業対象の製品と適切に対応しているかどうかを判定する。製品候補情報が作業対象の製品と適切に対応している場合には、作業者は「適切である（ＹＥＳ）」という判定結果を発話し、製品候補情報が作業対象の製品と適切に対応していない場合には、作業者は「適切ではない（ＮＯ）」という判定結果を発話する。作業者端末１００は、この発話音声をマイクロホン１０３で収音して、音声情報を適否情報として生成する。

作業者端末１００は、ステップＳ３１０１で生成された適否情報を作業支援装置２００へ送信する（ステップＳ３１０３）。適否情報の送信は、作業支援装置２００から作業者端末１００へ提供された製品候補情報に対する、作業者端末１００から作業支援装置２００へのフィードバックであると言える。ステップＳ３１０１の適否情報の生成処理およびステップＳ３１０３の適否情報の送信処理は、一連の処理として実行される。すなわち、作業者端末１００は、作業者の発話音声を収音してこの音声情報を作業支援装置２００へ即時送信するようになっており、作業者は、製品情報に対する適否を音声で入力するだけで、より具体的には製品候補情報に対する適否を発話するだけで、適否を作業支援装置２００へ連絡することが可能となる。

作業支援装置２００は、作業者端末１００から受信した適否情報に対して、音声／画像の判定を行う（ステップＳ３１０５）。ステップＳ３１０５の処理は、音声／画像判定部２０２により実行される。本発明の実施の形態における適否情報は音声情報の形態を有しており、音声／画像判定部２０２は、適否情報を音声解析部２０３へ出力する。

作業支援装置２００は、音声情報の形態である適否情報を解析して音声変換処理を行う（ステップＳ３１０７）。ステップＳ３１０７の処理は、音声解析部２０３により実行される。ステップＳ３１０７の処理は、一例として、適否情報取得部２１２における更なる処理のために、適否情報を音声情報からテキスト情報に変換する処理を含む。このとき、適否情報取得部２１２は、音素等を解析したり適否情報を入力した作業者の識別情報（例えば国籍情報を含む）を参照したりすることで、作業者の発話音声の言語を特定し、音声翻訳部２０４に言語の翻訳を行わせることも可能である。本発明の実施の形態では主言語として日本語を想定しており、この場合、音声翻訳部２０４により日本語以外の言語を日本語に翻訳することが可能である。

作業支援装置２００は、適否情報に含まれる「適切である（ＹＥＳ）」または「適切ではない（ＮＯ）」という情報を特定し、次に実行すべき処理を決定する（ステップＳ３１０９）。ステップＳ３１０７の処理は、適否情報取得部２１２により実行される。

適否情報が「適切ではない（ＮＯ）」という情報を含む場合には、作業支援装置２００はステップＳ２１１１に戻り、データベース４００から、作業者により入力された製品の特徴に合致する製品情報を新たに抽出する。このとき、上述したように、初回に実行された製品情報の抽出処理において複数の製品情報を抽出しておき、複数の製品情報の中から別の製品情報を選択するようにしてもよい。この後の処理は、上述したステップＳ２１１１以降の処理と同一であり、説明を省略する。

なお、作業者が「適切である（ＹＥＳ）」と判定して、適否情報が「適切である（ＹＥＳ）」という情報を含まない限り、ステップＳ３１０９からステップＳ２１１１へ繰り返し戻るループ処理が形成される。このようなループ処理に対処するためにループ処理の終了条件を設定してもよい。例えば製品候補情報を提供する回数が所定回数を上回った場合には、強制的に処理を終了したり、ステップＳ２１０１に戻って作業者に製品の特徴を再入力させたりしてもよい。

一方、適否情報が「適切である（ＹＥＳ）」という情報を含む場合には、作業支援装置２００は、ステップＳ２１０１で入力された製品の特徴を含む製品特徴情報と、ステップＳ２１１１で抽出した製品情報とを関連付ける（ステップＳ３１１１）。なお、製品特徴情報と製品情報との関連付けは、製品特徴情報がこの製品情報を表す製品の特徴を含んでいることを意味する。製品情報と関連付ける製品特徴情報は、例えば、作業者が入力した発話音声を含む音声情報または発話音声のテキスト情報や製品を撮影した画像情報をそのまま製品情報に関連付けてもよく、音声情報、テキスト情報または画像情報から得られる一部の情報を加工して関連付けてもよい。

また、製品情報抽出部２０７が、機械学習による推定機能を実装しており、ステップＳ２１１１における製品情報の抽出が機械学習によって推定されている場合には、製品候補情報をポジティブなサンプルデータとして使用して、機械学習における重みのパラメータを調整してもよい。これにより機械学習の推定制度を向上させることが可能となる。また、「適切ではない（ＮＯ）」と判定された製品候補情報をネガティブなサンプルデータとして使用して、機械学習における重みのパラメータを調整してもよい。

作業支援装置２００は、データベース管理装置３００と協働して、今回の作業者による作業内容や作業で取り扱われている製品情報等に基づき、作業実績として、製品の在庫状況、担当者情報等をデータベース４００に登録する（ステップＳ３１１３）。このとき、データベース管理装置３００は、製品情報とともに、製品情報と関連付けられた製品候補情報をデータベース４００または他の記憶媒体に登録または蓄積してもよい。

データベース管理装置３００は、登録した作業実績に基づき、分析レポートを出力する（ステップＳ３１１５）。

なお、図２〜図４のフローチャートでは図示および説明を省略しているが、さらに、作業実績としてデータベース４００に登録すべき付加情報が作業者によって入力されて、作業者端末１００から作業支援装置２００へ送信されてもよい。データベース４００に登録すべき付加情報は、データベース４００の作業実績の項目として設定されている情報であり、例えば製品の数量等の情報である。

データベース４００に登録すべき付加的な情報は、作業者が任意のタイミングで入力することが可能である。一例として、作業者は、製品候補情報が作業対象の製品と適切に対応している場合に「適切である（ＹＥＳ）」という判定結果を発話するとともに、「数量２」等のように付加情報を発話することで、音声情報の形態の付加情報が作業者端末１００から作業支援装置２００へ送信されるようにしてもよい。また、上述した作業内容の入力動作と同様に、作業支援装置２００から作業者端末１００へ数量等の付加情報の入力指示が送信され、作業者がこの入力指示に従って付加情報を発話することで、音声情報の形態の付加情報が作業者端末１００から作業支援装置２００へ送信されるようにしてもよい。

図５は、本発明の実施の形態における作業支援システムに係る処理によって更新されるデータベースの一例を示す図である。データベース４００は作業実績を記録および蓄積する構成を有する。図５には、作業実績のエントリ（行）および各項目（列）を有する表形式のデータベース４００が図示されている。なお、図５に示すデータベース４００は、データベース４００の構成を説明するために模式的に描かれたものであり、一例にすぎない。

図５に示すデータベース４００の各エントリには、作業実績の項目として、作業日時の項目４０１、作業場所の項目４０２、作業者ＩＤの項目４０３、作業内容の項目４０４、製品名称の項目４０５、製品番号の項目４０６、数量の項目４０７が設定されている。他にも、例えば伝票番号や入庫予定日および出荷予定日等を始めとする様々な項目が設定されていてもよい。

作業日時の項目４０１には、作業者によって作業が行われた作業日時が記録される。作業日時の項目４０１には、例えば図４のステップＳ３１１３で作業実績がデータベース４００に登録された時点の日時が記録される。

作業場所の項目４０２には、作業者が作業を行っている場所が記録される。作業場所は、例えばネットワークアドレスや作業者端末ＩＤから特定されてもよく、作業者が付加情報として通知するか、作業を行う前にあらかじめ通知しておいてもよい。

作業者ＩＤの項目４０３には、作業者の識別情報が記録される。作業者ＩＤは、例えば作業者が付加情報として通知するか、作業を行う前にあらかじめ通知しておいてもよく、作業者ＩＤの項目４０３に作業者端末ＩＤが記録されてもよい。

作業内容の項目４０４には、作業者が行っている作業内容が記録される。作業内容の項目４０４には、例えば図２のステップＳ１１０３で送信される作業内容情報に含まれる作業内容が記録される。

製品名称の項目４０５には、作業者による作業で取り扱われている製品の名称が記録される。製品名称の項目４０５には、作業対象の製品が適切であると作業者によって判定された製品の名称が記憶される。

製品番号の項目４０６には、作業者による作業で取り扱われている製品の識別情報が記録される。製品番号の項目４０６には、作業対象の製品が適切であると作業者によって判定された製品の製品番号が記憶される。

数量の項目４０７には、作業者による作業で取り扱われている製品の数量が記録される。数量の項目４０７には、例えば作業者が付加情報として通知した製品の数量が記録される。

通常、データベース４００への登録は、作業者自身やデータベース４００への登録を行う担当者が、製品の品番や伝票番号等を検索キーとして入庫予定や出荷予定を検索し、実際の作業で行われた作業実績を入力するようになっている。しかしながら、データベース４００への登録は、データベース４００の構造や入力方法等を熟知している必要があり、一定以上のスキルを必要とするものである。また、作業が完了した後にデータベース４００の各項目が事後入力されるため、作業実績の入力し忘れ（登録漏れ）やタイプミス（打ち間違いや品番等の打ち込みミス）が発生するおそれもある。特に、外国人の作業者にとっては言語の壁があり、母国語以外の言語が使用されているシステムを使って、母国語以外の単語を入力することは困難である。

これに対して、本発明の実施の形態における作業支援システム１０は、上述した通常のデータベース登録では実現できない様々な利点を有している。例えば、本発明の実施の形態における作業支援システム１０によれば、作業者が音声入力または画像撮影の簡単な入力操作を行うだけで、作業者にとって自動的に作業実績がデータベース４００に登録されるようになっている。また、作業者により取り扱われている製品や作業内容等が、作業者による作業過程においてデータベース４００に即時登録されるため、データベース４００が迅速かつ正確に更新されるようになっている。さらに、本発明の実施の形態における作業支援システム１０は音声翻訳部２０４を備えており、作業者が入力した音声や作業者に提供する音声が翻訳されるため、作業者は、言語の壁を感じることなく作業を行ってその作業実績がデータベース４００に登録されるようになっている。

図６は、本発明の実施の形態における作業支援システムから出力される分析レポートの表示画面の一例を示す図である。図６に示す分析レポートは、データベース４００に登録されている作業実績データに基づき、例えば図４のステップＳ３１１５で出力される。なお、図６に示す分析レポートは、分析レポートにより実現される視覚的な表現を説明するために模式的に描かれたものであり、一例にすぎない。

図６に図示されているように、分析レポートはデータベース４００に登録されている作業実績データから得られる様々な情報を含んでおり、ダッシュボードと呼ばれる管理画面上に表示される。分析レポートは、閲覧者が情報を容易に把握できるようにデザインされている。具体的には、図６に示す分析レポートは製品原価レポートであり、製造原価、限界利益、限界利益率、製造粗利、製造粗利率の各数値が表示されている。また、固定費／変動費の統計値が棒グラフや円グラフによって表示されている。

例えば、本発明の実施の形態における作業支援システム１０によれば、作業者が音声入力または画像撮影の簡単な入力操作を行うだけで、作業者にとって自動的に作業実績がデータベース４００に登録されるようになっている。

なお、ダッシュボード上に表示する情報は、データベース４００に作業実績として記録および蓄積された情報に限定されるものではない。本発明に係る作業支援システム１０で得られた様々な情報をダッシュボード上に表示することが可能である。

例えば、データベース管理装置３００は、作業者が入力した製品特徴情報（音声情報または発話音声のテキスト情報、製品を撮影した画像情報等）を作業実績としてデータベース４００または他の記憶媒体に記録することが可能である。図７に示すように、データベース４００または他の記憶媒体に記録された製品特徴情報（図７に示す例では、作業者が撮影した製品の画像情報を含む品番特定レポート）をダッシュボード上に表示してもよい。また、製品情報抽出部２０７が機械学習による推定機能を利用して製品情報を特定するよう構成されている場合には、機械学習の学習結果や学習精度等の情報をダッシュボード上に表示してもよい。

次に、作用・効果について説明する。

上述のように、本発明の実施の形態に係る作業支援システム１０では、作業支援装置２００の製品情報抽出部２０７が、音声情報および画像情報の少なくとも一方の形態で作業者により入力された製品特徴情報から製品の特徴を特定して、製品の特徴に対応する製品情報をデータベース４００に蓄積されている製品情報の中から抽出し、抽出された製品情報を含む製品候補情報が作業者へ提供される。

この構成により、作業支援装置２００は、作業者により入力された製品の特徴を表す音声または画像から、作業者が取り扱っている製品を特定して、その製品情報を作業者に提供することが可能である。このため、例えば作業スキルの低い作業者等であっても作業対象の製品を容易に特定することが可能となり、作業者の負担を軽減させることが可能となる。特に、作業者は、作業者端末１００において、作業で取り扱っている製品の特徴を音声で入力するか、あるいは製品の特徴を表す画像を撮影するという簡単な操作を行うだけで製品の特徴に対応する製品情報を容易に得ることが可能となり、製品情報を確実に把握することが可能となる。また、作業や製品に不慣れな作業者であっても、他の熟練作業者等の助けを借りることなく製品情報を容易かつ確実に得ることが可能となり、作業に従事している作業者だけではなく、他の熟練作業者の負担も軽減させることが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、製品情報抽出部２０７が、機械学習を用いた推定処理により製品の特徴に対応する製品情報を推定してもよい。この構成により、機械学習を用いた推定を利用することで、作業者により入力された製品の特徴を表す音声または画像から高い精度で製品情報を推定することが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、ＡＲデータ生成部２１１が、製品候補情報として、製品情報に含まれる画像情報を拡張現実画像として再生可能とするＡＲデータを生成してもよい。この構成により、製品情報をＡＲデータとして作業者に提供することが可能となり、作業者は、例えばディスプレイ上に自動再生されるＡＲデータを視認するだけで、製品情報を確実に把握することが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、製品情報抽出部２０７は、製品特徴情報が画像情報である場合には画像解析処理により得られた画像情報と合致する画像情報を含む製品情報を抽出し、製品特徴情報が音声情報である場合には音声解析処理により得られた製品名称と合致する画像情報を含む製品情報を抽出してもよい。この構成により、作業者が製品の特徴を音声で入力した場合、あるいは製品の特徴を表す画像を撮影した場合のどちらであっても、その製品の特徴と合致する画像情報を特定して、その画像情報を作業者へ提供することが可能となる。作業者は、音声または画像による製品の特徴を入力するだけで、その製品に対応した製品情報を画像情報として得ることが可能となる、製品情報を確実に把握することが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、音声合成部２０９が製品の特徴に対応する製品情報に含まれるテキスト情報を音声情報に変換してもよい。この構成により、製品情報に含まれるテキスト情報を読み上げ音声として作業者に提供することが可能となる。作業者は、音声または画像による製品の特徴を入力するだけで、その製品に対応した製品情報の読み上げ音声を聞いて製品情報を得ることが可能となり、製品情報を確実に把握することが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、音声翻訳部２０４が音声情報に含まれる音声を別の言語の音声に変換してもよい。この構成により、作業者の使用言語と日本語とを相互に変換することが可能となる。例えば外国人の作業者が母国語で音声入力した場合であっても日本語の製品情報を特定することが可能となる。また、日本語の製品情報を作業者の母国語の音声に変換して、作業者へ提供することが可能となる。これにより、作業者は言語の壁を感じることなく製品情報を確実に把握することが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、作業者が操作可能な作業者端末１００を有し、作業者端末は、作業者による音声入力および画像撮影に係る音声情報および画像情報を作業支援装置２００へ即時送信し、作業支援装置２００から提供された製品候補情報を即時出力してもよい。この構成により、作業者は作業者端末１００上で複雑な操作を行うことなく、例えば製品の特徴を発語したり製品に対してカメラ１０２を向けたりするだけで、製品の特徴を含む情報が作業支援装置２００へ自動的に送られ、作業者端末１００に提供される製品候補情報が自動的に作業者端末１００で出力されるため、作業者に対して作業者端末１００の複雑な操作を強いることなく、作業者の操作負担を減らすことが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、適否情報取得部２１２が、音声情報の形態で作業者により入力された、製品候補情報が製品に適切に対応しているか否かを示す適否情報を取得してもよい。この構成により、作業者から適否情報を得ることで、作業者に対して提供した製品情報が適切であったか否かを判定することが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、データベース登録部３０１が、適否情報において製品候補情報が製品に適切に対応することが示されている場合には、製品候補情報として作業者に提供した製品情報を、作業者による作業で取り扱われている製品の製品情報として作業内容とともにデータベース４００に登録してもよい。この構成により、作業者に対して提供した製品情報が適切であった場合、作業者が現在その製品を作業対象として作業を行っていることを作業内容とともにデータベース４００に即時登録することが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、分析レポート出力部３０２が、データベース４００に登録された作業者による作業で取り扱われている製品の製品情報と作業内容とに基づく分析レポートを出力してもよい。この構成により、作業者の作業対象とした製品および作業内容に基づいて、業務管理において必要な様々な項目を含む分析レポートを容易かつ正確に作成することが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、製品候補情報生成部２１０が、適否情報において製品候補情報が製品に適切に対応していないことが示されている場合には、新たな製品情報を含む製品候補情報を生成してもよい。この構成により、作業者に対して提供した製品情報が適切ではなかった場合であっても、作業者は、再生成された製品候補情報を確認することで、適切な製品情報を得ることが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、製品情報抽出部２０７は、適否情報に基づいて、データベース４００から製品の特徴に対応する製品情報を抽出する際の抽出精度を向上させてもよい。この構成により、作業者から得た適否情報に基づいて、次回以降の製品情報の抽出処理における精度を向上させることが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、作業内容抽出部２０６が、音声情報の形態で作業者により入力された、作業の内容を表す作業内容情報を取得してもよい。この構成により、作業者が入力した作業の内容を表す音声から、作業者が行っている作業の内容を特定することが可能となる。また、作業者は、作業の内容を音声で入力するという簡単な操作により作業の内容を通知することが可能となる。

また、本発明の実施の形態に係る作業支援システム１０では、入力指示部２０８が、作作業内容情報に対応する作業で取り扱われる製品の特徴を入力するよう作業者へ指示してもよい。この構成により、作業者が行っている作業の内容を特定したうえで、その作業で取り扱っている製品の特徴を入力するよう作業者に指示することが可能となる。

本発明は、上記の実施の形態や変形例に限定されるものではなく、本発明の技術的思想を逸脱しない範囲における種々の変形例および設計変更等をその技術的範囲に包含するものである。

１０ 作業支援システム
１００ 作業者端末
１０１ 通信部
１０２ カメラ
１０３ マイクロホン
１０４ タッチパネルディスプレイ
１０５ スピーカ
１０６ 作業支援動作制御部
１５０ ネットワーク
２００ 作業支援装置
２０１ 通信部（製品特徴情報取得部、製品候補情報提供部）
２０２ 音声／画像判定部
２０３ 音声解析部
２０４ 音声翻訳部
２０５ 画像解析部
２０６ 作業内容抽出部
２０７ 製品情報抽出部
２０８ 入力指示部
２０９ 音声合成部
２１０ 製品候補情報生成部
２１１ ＡＲデータ生成部
２１２ 適否情報取得部
３００ データベース管理装置
３０１ データベース登録部
３０２ 分析レポート出力部
４００ データベース
４０１ 作業日時の項目
４０２ 作業場所の項目
４０３ 作業者ＩＤの項目
４０４ 作業内容の項目
４０５ 製品名称の項目
４０６ 製品番号の項目
４０７ 数量の項目

Claims (16)

1. 作業者による作業を支援する作業支援システムであって、
   前記作業者により入力された情報に基づき前記作業を支援するための情報を前記作業者に提供する作業支援装置と、
   製品情報を含む過去の作業実績データが蓄積されたデータベースを含むデータベース管理装置と、
   を有し、
   前記作業支援装置は、
   音声情報および画像情報の少なくとも一方の形態で前記作業者により入力された、前記作業で取り扱われる製品の特徴を含む製品特徴情報を取得する製品特徴情報取得部と、
   前記画像情報の形態で入力された前記製品特徴情報に対して画像解析処理を行う画像解析部と、
   前記音声情報の形態で入力された前記製品特徴情報に対して音声解析処理を行う音声解析部と、
   前記画像解析部および前記音声解析部の少なくとも一方により処理された前記製品特徴情報から前記製品の特徴を特定し、前記製品の特徴に対応する製品情報を前記データベースに蓄積されている製品情報の中から抽出する製品情報抽出部と、
   前記製品情報抽出部により抽出された前記製品情報を含む製品候補情報を生成する製品候補情報生成部と、
   前記製品候補情報生成部により生成された前記製品候補情報を前記作業者へ提供する製品候補情報提供部と、
   を備えることを特徴とする作業支援システム。
2. 前記製品情報抽出部は、機械学習を用いた推定処理により前記製品の特徴に対応する製品情報を推定することを特徴とする請求項１に記載の作業支援システム。
3. 前記作業支援装置は、前記製品候補情報として、前記製品情報に含まれる前記画像情報を拡張現実画像として再生可能とする拡張現実データを生成する拡張現実データ生成部を備えることを特徴とする請求項１または２に記載の作業支援システム。
4. 前記製品情報抽出部は、前記製品特徴情報が前記画像情報である場合には前記画像解析処理により得られた画像情報と合致する画像情報を含む製品情報を抽出し、前記製品特徴情報が前記音声情報である場合には前記音声解析処理により得られた製品名称と合致する画像情報を含む製品情報を抽出することを特徴とする請求項１から３のいずれか１つに記載の作業支援システム。
5. 前記作業支援装置は、前記製品の特徴に対応する製品情報に含まれる前記テキスト情報を音声情報に変換する音声合成部を備えることを特徴とする請求項１から４のいずれか１つに記載の作業支援システム。
6. 前記作業支援装置は、前記音声情報に含まれる音声を別の言語の音声に変換する音声翻訳部を備えることを特徴とする請求項１から５のいずれか１つに記載の作業支援システム。
7. 前記作業者が操作可能な作業者端末を有し、
   前記作業者端末は、前記作業者による音声入力および画像撮影に係る前記音声情報および前記画像情報を前記作業支援装置へ即時送信し、前記作業支援装置から提供された前記製品候補情報を即時出力することを特徴とする請求項１から６のいずれか１つに記載の作業支援システム。
8. 前記作業支援装置は、音声情報の形態で前記作業者により入力された、前記製品候補情報が前記製品に適切に対応しているか否かを示す適否情報を取得する適否情報取得部を備えることを特徴とする請求項１から７のいずれか１つに記載の作業支援システム。
9. 前記データベース管理装置は、前記適否情報において前記製品候補情報が前記製品に適切に対応することが示されている場合には、前記製品候補情報として前記作業者に提供した前記製品情報を、前記作業者による作業で取り扱われている製品の製品情報として作業内容とともに前記データベースに登録するデータベース登録部を備えることを特徴とする請求項８に記載の作業支援システム。
10. 前記データベース管理装置は、前記データベースに登録された前記作業者による作業で取り扱われている製品の製品情報と前記作業内容とに基づく分析レポートを出力する分析レポート出力部を備えることを特徴とする請求項９に記載の作業支援システム。
11. 前記製品候補情報生成部は、前記適否情報において前記製品候補情報が前記製品に適切に対応していないことが示されている場合には、新たな製品情報を含む製品候補情報を生成することを特徴とする請求項８から１０のいずれか１つに記載の作業支援システム。
12. 前記製品情報抽出部は、前記適否情報に基づいて、前記データベースから前記製品の特徴に対応する製品情報を抽出する際の抽出精度を向上させることを特徴とする請求項８から１１のいずれか１つに記載の作業支援システム。
13. 前記作業支援装置は、音声情報の形態で前記作業者により入力された、前記作業の内容を表す作業内容情報を取得する作業内容抽出部を備えることを特徴とする請求項１から１２のいずれか１つに記載の作業支援システム。
14. 前記作業支援装置は、前記作業内容情報に対応する作業で取り扱われる製品の特徴を入力するよう前記作業者へ指示する入力指示部を備えることを特徴とする請求項１３に記載の作業支援システム。
15. 作業者による作業を支援する作業支援装置により実行される作業支援方法であって、
    音声情報および画像情報の少なくとも一方の形態で前記作業者により入力された、前記作業で取り扱われる製品の特徴を含む製品特徴情報を取得することと、
    前記製品特徴情報が前記画像情報である場合には画像解析処理を行い、前記製品特徴情報が前記音声情報である場合には音声解析処理を行うことと、
    前記画像解析処理および前記音声解析処理の少なくとも一方により処理された前記製品特徴情報から前記製品の特徴を特定し、前記製品の特徴に対応する製品情報を、過去の作業実績データが蓄積されたデータベースに格納されている製品情報の中から抽出することと、
    抽出された前記製品情報を含む製品候補情報を前記作業者へ提供することと、
    を有することを特徴とする作業支援方法。
16. 作業者により入力された情報に基づき前記作業者による作業を支援する作業支援装置であって、
    音声情報および画像情報の少なくとも一方の形態で前記作業者により入力された、前記作業で取り扱われる製品の特徴を含む製品特徴情報を取得する製品特徴情報取得部と、
    前記画像情報の形態で入力された前記製品特徴情報に対して画像解析処理を行う画像解析部と、
    前記音声情報の形態で入力された前記製品特徴情報に対して音声解析処理を行う音声解析部と、
    前記画像解析部および前記音声解析部の少なくとも一方により処理された前記製品特徴情報から前記製品の特徴を特定し、前記製品の特徴に対応する製品情報を、過去の作業実績データが蓄積されたデータベースに蓄積されている製品情報の中から抽出する製品情報抽出部と、
    前記製品情報抽出部により抽出された前記製品情報を含む製品候補情報を生成する製品候補情報生成部と、
    前記製品候補情報生成部により生成された前記製品候補情報を前記作業者へ提供する製品候補情報提供部と、
    を有することを特徴とする作業支援装置。