JP2017167902A - 作業支援装置、作業支援システムおよび作業支援プログラム - Google Patents

作業支援装置、作業支援システムおよび作業支援プログラム Download PDF

Info

Publication number
JP2017167902A
JP2017167902A JP2016053710A JP2016053710A JP2017167902A JP 2017167902 A JP2017167902 A JP 2017167902A JP 2016053710 A JP2016053710 A JP 2016053710A JP 2016053710 A JP2016053710 A JP 2016053710A JP 2017167902 A JP2017167902 A JP 2017167902A
Authority
JP
Japan
Prior art keywords
work
wearable terminal
work support
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016053710A
Other languages
English (en)
Inventor
英治 大川
Eiji Okawa
英治 大川
晃司 澤崎
Koji Sawazaki
晃司 澤崎
健 寺崎
Ken Terasaki
健 寺崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Co Ltd
Original Assignee
Fuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Co Ltd filed Critical Fuji Electric Co Ltd
Priority to JP2016053710A priority Critical patent/JP2017167902A/ja
Publication of JP2017167902A publication Critical patent/JP2017167902A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • General Factory Administration (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ウェアラブル端末が作業に応じた情報の提供を受けることができる作業支援装置、作業支援システムおよび作業支援プログラムを提供すること。
【解決手段】本発明にかかる作業支援装置は、作業者が装着する眼鏡型のウェアラブル端末であって、予め設定されている特徴データに基づいて認識可能な認識情報を取得可能なウェアラブル端末とネットワークを介して通信可能に接続され、ウェアラブル端末を装着した作業者に対して作業の支援を行う作業支援装置であって、作業者が行う作業に関する作業データを、ウェアラブル端末から受信した認識情報に基づき作成する作業データ作成部と、作業データ作成部が作成した作業データをもとに、ウェアラブル端末に表示させる表示データを生成する表示データ作成部と、表示データをウェアラブル端末に送信する通信部と、を備えた。
【選択図】図１

Description

本発明は、ウェアラブル端末を用いて作業を行う作業者の作業支援を行う作業支援装置、作業支援システムおよび作業支援プログラムに関する。
近年、生産ラインや倉庫等の作業現場では、作業者がウェアラブル端末を身に着けて、ウェアラブル端末のモニタに表示される情報に基づき作業を行うことが始まりつつある。ウェアラブル端末として、例えば、眼鏡型のウェアラブル端末が知られている。眼鏡型のウェアラブル端末は、ユーザが身に着けた場合であっても、両手を使って作業を行うことが可能である。このため、ウェアラブル端末は、作業性を維持しつつ、作業者が行うべき作業を案内することができるため、作業の効率化を行ううえで好適な機器である。
このようなウェアラブル端末を用いた技術として、飲食店の店員がウェアラブル端末を装着し、注文の受け付けから料理の提供までの間において、呼び出し情報や調理完了情報の配信を受け付けてモニタに表示することによって、店員に客対応の作業支援を行う技術が知られている（例えば、特許文献１を参照）。特許文献１では、ウェアラブル端末を装着した店員と調理場とのコミュニケーションをはかったり、客から呼び出しがあった場合に、その店員に通知したりする。
特許第５１６６３７４号公報
しかしながら、上述した特許文献１を生産ライン等の作業現場に適用することは難しい。具体的には、生産ライン等の作業現場において、例えば、倉庫における出荷検品処理や出荷検査では、処理ごとに適正値や適正形状が異なるため、それぞれの作業に応じた情報を、作業者に提供する必要があるものの、特許文献１は、ウェアラブル端末に対し、作業が適切に行われているか否かを判断させるための情報を提供することはできない。
本発明は、上記課題に鑑みてなされたものであり、ウェアラブル端末が作業に応じた情報の提供を受けることができる作業支援装置、作業支援システムおよび作業支援プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる作業支援装置は、作業者が装着する眼鏡型のウェアラブル端末であって、予め設定されている特徴データに基づいて認識可能な認識情報を取得可能なウェアラブル端末とネットワークを介して通信可能に接続され、前記ウェアラブル端末を装着した前記作業者に対して作業の支援を行う作業支援装置であって、前記作業者が行う作業に関する作業データを、前記ウェアラブル端末から受信した前記認識情報に基づき作成する作業データ作成部と、前記作業データ作成部が作成した前記作業データをもとに、前記ウェアラブル端末に表示させる表示データを生成する表示データ作成部と、前記表示データを前記ウェアラブル端末に送信する通信部と、を備えたことを特徴とする。
また、本発明にかかる作業支援装置は、上記の発明において、前記作業データ作成部は、階層化された複数の項目のうち、同一階層の複数の項目をサイクリック形式で表示させる作業データ、または、前記ウェアラブル端末から受信した情報に応じた項目、もしくは該項目に応じた階層よりも下位の階層の複数の作業データを作成することを特徴とする。
また、本発明にかかる作業支援装置は、上記の発明において、前記認識情報は、前記作業者が発する音声に基づいて生成された情報であることを特徴とする。
また、本発明にかかる作業支援装置は、上記の発明において、前記認識情報は、作業対象製品または前記作業対象製品を収容する容器に付された画像をもとに取得した識別コードであることを特徴とする。
また、本発明にかかる作業支援装置は、上記の発明において、前記認識情報は、前記作業者のジェスチャに基づいて生成された情報であることを特徴とする。
また、本発明にかかる作業支援装置は、上記の発明において、前記表示データ作成部は、前記作業を選択するための選択画像を含む前記表示データを作成することを特徴とする。
また、本発明にかかる作業支援装置は、上記の発明において、前記認識情報は、作業対象製品を撮像した撮像画像であり、前記撮像部が作業対象製品の異なる面をそれぞれ撮像した複数の撮像画像を取得して、前記作業対象製品のサイズを算出し、前記作業対象製品のサイズが規格内であるか否かを判定する制御部、を備えたことを特徴とする。
また、本発明にかかる作業支援システムは、作業者が装着する眼鏡型のウェアラブル端末であって、予め設定されている特徴データに基づいて認識可能な認識情報を取得可能なウェアラブル端末と、前記ウェアラブル端末とネットワークを介して通信可能に接続され、前記ウェアラブル端末を装着した前記作業者に対して作業の支援を行う作業支援装置と、を備え、前記作業支援装置は、前記作業者が行う作業に関する作業データを、前記ウェアラブル端末から受信した前記認識情報に基づき作成する作業データ作成部と、前記作業データ作成部が作成した前記作業データをもとに、前記ウェアラブル端末に表示させる表示データを生成する表示データ作成部と、前記表示データを前記ウェアラブル端末に送信する通信部と、を有し、前記ウェアラブル端末は、前記作業支援装置から取得した情報を表示可能な表示部、を有することを特徴とする。
また、本発明にかかる作業支援プログラムは、作業者が装着する眼鏡型のウェアラブル端末であって、予め設定されている特徴データに基づいて認識可能な認識情報を取得可能なウェアラブル端末とネットワークを介して通信可能に接続され、前記ウェアラブル端末を装着した前記作業者に対して作業の支援を行う作業支援装置に、前記作業者が行う作業に関する作業データを、前記ウェアラブル端末から受信した前記認識情報に基づき作成する作業データ作成手順と、前記作業データ作成手順で作成した前記作業データをもとに、前記ウェアラブル端末に表示させる表示データを生成する表示データ作成手順と、前記表示データを前記ウェアラブル端末に送信する通信手順と、を実行させることを特徴とする。
本発明によれば、ウェアラブル端末が作業に応じた情報の提供を受けることができるという効果を奏する。
図１は、本発明の実施の形態１にかかる作業支援システムの概略構成を模式的に示す図である。 図２は、本発明の実施の形態１にかかる作業支援システムの作業支援装置の構成を示すブロック図である。 図３は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理において作業支援装置が記憶するデータの一例を説明する図である。 図４は、本発明の実施の形態１にかかる作業支援システムのウェアラブル端末の概略構成を模式的に示す図である。 図５は、本発明の実施の形態１にかかる作業支援システムのウェアラブル端末の概略構成を示すブロック図である。 図６は、本発明の実施の形態１にかかる作業支援システムのウェアラブル端末の要部の構成を説明する図である。 図７は、図４に示すウェアラブル端末を作業者が装着した様子を説明する図である。 図８は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理を説明するフローチャートである。 図９は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。 図１０は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。 図１１は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。 図１２は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示するデータの構成の一例を説明する図である。 図１３は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示するデータの構成の一例を説明する図である。 図１４は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。 図１５は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。 図１６は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。 図１７は、本発明の実施の形態１の変形例１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。 図１８は、本発明の実施の形態２にかかる作業支援システムが行う作業支援処理を説明するフローチャートである。 図１９は、本発明の実施の形態２にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。 図２０は、本発明の実施の形態２にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。 図２１は、本発明の実施の形態３にかかる作業支援システムが行う作業支援処理において作業支援装置が表示する画面の一例を示す模式図である。 図２２は、本発明の実施の形態３にかかる作業支援システムが行う作業支援処理において作業支援装置が表示する画面の一例を示す模式図である。 図２３は、本発明の実施の形態３にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。 図２４は、本発明の実施の形態３にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
（実施の形態１）
図１は、本発明の実施の形態１にかかる作業支援システムの概略構成を模式的に示す図である。同図に示す作業支援システム１は、生産ライン等の作業現場の作業、例えば、倉庫における検品処理や検査で行われる作業の作業支援を行う作業支援システムである。作業支援システム１は、作業支援装置２と、データベースステーション３と、通信ネットワーク４を介して作業支援装置２と通信可能な一つまたは複数（本実施の形態１では複数）のウェアラブル端末５とを備える。なお、図１では、ウェアラブル端末５を構成する構成要素のうち、通信機能を有する構成要素を図示している。
作業支援装置２、データベースステーション３および通信ネットワーク４は、制御ネットワーク６を介して通信可能に接続されている。制御ネットワーク６の各々は、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、イントラネット、公衆回線網、専用回線網等を適宜組み合わせた通信ネットワークによって構成される。
図２は、本実施の形態１にかかる作業支援システムの作業支援装置の構成を示すブロック図である。同図に示す作業支援装置２は、ウェアラブル端末５を身に着けた作業者が行う作業を支援するための情報を送受信するための装置である。作業支援装置２は、入力部２１と、通信部２２と、表示部２３と、作業データ作成部２４と、表示データ作成部２５と、制御部２６と、記憶部２７と、を備える。
入力部２１は、キーボード、およびマウス等のポインティングデバイスを用いて構成され、ユーザによる各種操作指示信号の入力を受け付ける。入力部２１を構成するポインティングデバイスとして、表示部２３の表示画面上に重ねて設けられるタッチパネルを適用することも可能である。
通信部２２は、制御部２６の制御のもと、制御ネットワーク６を介して複数のウェアラブル端末５との間で各種データを送受信する。通信部２２が通信ネットワーク４を介してウェアラブル端末５から受信した情報は、記憶部２７に格納されて記憶される。
表示部２３は、液晶または有機ＥＬ（Electro Luminescence）等のディスプレイを用いて構成され、制御部２６による制御のもと、各種情報を表示する。
作業データ作成部２４は、ウェアラブル端末５から情報を受信すると、記憶部２７を参照して、受信した情報に基づく作業データを作成する。具体的に、作業データ作成部２４は、ウェアラブル端末５から、作業選択の情報、例えば、出荷検品作業や、出荷検査作業を行う旨の情報を受信すると、記憶部２７を参照して当該出荷検品作業に応じた支援データを取得し、作業データを作成する。この支援データには、ウェアラブル端末５に表示させる表示データとして、出荷検品作業用の表示画面であって、伝票番号や商品名、数量等が表示可能な表示画面が含まれている。
表示データ作成部２５は、作業データ作成部２４が作成した作業データに基づいて、ウェアラブル端末５に表示させる形式に変換することにより、ウェアラブル端末５の表示データを作成する。
制御部２６は、ＣＰＵ（Central Processing Unit）や各種演算回路等を用いて構成され、入力部２１が入力を受け付けた各種操作指示信号等に応じて作業支援装置２を構成する各部に対応する指示やデータの転送等を行うことにより、作業支援装置２の動作を統括して制御する。なお、作業データ作成部２４、表示データ作成部２５および制御部２６を、共通のＣＰＵを用いて構成することも可能である。
制御部２６は、入力部２１が受け付けたウェアラブル端末５からの情報であって、音声認識結果の情報に基づいて、ウェアラブル端末５からの指示内容を識別する識別部２６１と、表示部２３に表示する表示データの表示制御を行う表示制御部２６２とを有する。
記憶部２７は、作業情報記憶部２７１と、プログラム記憶部２７２と、を有する。
作業情報記憶部２７１は、作業支援システム１において支援する作業に関する情報を記憶する。具体的に、ウェアラブル端末５から受信した認識結果を識別するための識別データや、上述した出荷検品作業等の作業の種類に関する情報、各作業に関する情報等が挙げられる。図３は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理において作業支援装置が記憶するデータの一例を説明する図である。作業情報記憶部２７１は、作業に関する情報として、例えば出荷検品作業では、出荷検品項目、数量、出荷検品結果の適正を判定する判定条件、識別コード、例えばバーコードや二次元コードとのデータ連携の有無、当該作業にかかる画像情報、ヘルプ情報（HELP）を記憶している。
プログラム記憶部２７２は、本実施の形態１に係る作業支援プログラムを含み、作業支援装置２を動作させるための各種プログラム、および各種プログラムの実行中に使用される各種データ等を記憶する。なお、プログラム記憶部２７２が記憶するプログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、プログラムの記録部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
記憶部２７は、本実施の形態１に係る作業支援プログラムや所定のＯＳを起動するプログラム等が予めインストールされたＲＯＭ（Read Only Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）等を用いて実現される。上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ、ＷＡＮ等によって実現されるものであり、有線、無線を問わない。
以上の構成を有する作業支援装置２は、１つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、汎用のパーソナルコンピュータやサーバ等によって構成することができる。また、通信ネットワークを介した複数のコンピュータからなるクライアント・サーバシステムによって作業支援装置２を構築する場合には、入力部２１および表示部２３の機能をクライアント端末に具備させる一方、作業データ作成部２４、表示データ作成部２５、制御部２６および記憶部２７の機能を一または複数のサーバに分散するような構成としてもよい。
データベースステーション３は、制御ネットワーク６を介して作業支援装置２またはウェアラブル端末５から送信されてくるデータを蓄積する装置であり、作業に関する情報を長期間にわたって保存するための装置である。データベースステーション３は、ウェアラブル端末５に関する情報や、作業に関する数値や実績値を長期間にわたって保存するための装置である。なお、データベースステーション３が、作業支援装置２に含まれる構成としてもよい。
通信ネットワーク４は、制御ネットワーク６を介して作業支援装置２に通信可能に接続するとともに、複数のウェアラブル端末５と通信可能に接続している。ここで、通信ネットワーク４は、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のいずれかまたは適当な組み合わせによって実現されるものであり、有線、無線を問わない。ただし、ウェアラブル端末５は、作業現場において用いられるものであり、通信ネットワーク４とは無線により通信可能に接続していることが好ましい。
次に、ウェアラブル端末５の構成について、図４〜図７を参照して説明する。図４は、本発明の実施の形態１にかかる作業支援システムのウェアラブル端末の概略構成を模式的に示す図である。図４に示すように、ウェアラブル端末５は、作業者の鼻および耳にかけて装着する眼鏡型の端末である。ウェアラブル端末５は、通信ネットワーク４と通信可能に接続される本体部５００と、後述する撮像部５４や音声を集音するマイク、位置情報に関する情報を取得するセンサ等を有する機能部５０１とを備えている。通常、ウェアラブル端末５は、本体部５００が、作業者の鼻に係止する鼻パッド、および作業者の耳に係止する耳あて部を有する眼鏡型をなすフレーム部（後述する図７参照）に保持されている。すなわち、ウェアラブル端末５は、画像の表示や情報の取得を行う眼鏡型の端末である。
図５は、本発明の実施の形態１にかかる作業支援システムのウェアラブル端末の概略構成を示すブロック図である。ウェアラブル端末５は、認識部５１と、通信部５２と、表示部５３と、撮像部５４と、位置情報取得部５５と、制御部５６とを備える。
認識部５１は、入力される音声に基づく周波数データや、画像中の識別画像等を取得し、予め設定されている特徴データと比較して認識した認識結果を認識情報として制御部５６に出力する。認識部５１は、例えば、作業者が発した音声であって、マイクに入力された音声の周波数を検出し、検出した周波数と、予め記憶されている周波数特徴データとを比較して言語系列を認識した結果を含む情報を認識情報として出力する。この認識情報は、作業者が発した音声に基づいて生成された情報である。具体的には、認識部５１は、例えば、作業者が「出荷検品」と発した場合、入力された音声（電気信号）を周波数特徴データと比較して「出荷検品」と認識し、「出荷検品」と認識した結果を認識情報として制御部５６に出力する。また、認識部５１は、撮像部５４が取得した画像のうち、認識対象の認識画像（例えば、ＱＲコード（登録商標））が入力された場合、入力された認識画像と、予め設定されている特徴データである画像データと比較して伝票番号や商品名等の識別コードを認識し、認識した識別コードを認識情報として制御部５６に出力する。
通信部５２は、制御部５６の制御のもと、ネットワークを介して通信ネットワーク４との間で各種データを送受信する。
表示部５３は、液晶または有機ＥＬ（Electro Luminescence）等のディスプレイを用いて構成され、制御部５６による制御のもと、各種情報を表示する。
撮像部５４は、被写体を撮像して画像を取得する。撮像部５４は、被写体からの光を集光する光学系と、光学系が集光した光を光電変換することによって画像信号を生成して出力するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子とを有する。
位置情報取得部５５は、ＧＰＳやビーコン（Beacon）等からの信号を取得したセンサからの信号に基づいて、ウェアラブル端末５の位置情報を生成する。
制御部５６は、ＣＰＵや各種演算回路等を用いて構成され、入力部２１が入力を受け付けた各種操作指示信号等に応じてウェアラブル端末５を構成する各部に対応する指示やデータの転送等を行うことにより、ウェアラブル端末５の動作を統括して制御する。また、制御部５６は、ウェアラブル端末５を動作させるためのプログラムや、認識部５１が音声認識するための周波数特徴データを記憶するメモリを有している。なお、位置情報取得部５５および制御部５６を、共通のＣＰＵを用いて構成することも可能である。
制御部５６は、通信ネットワーク４を介して作業支援装置２から取得した表示データの表示を制御する表示制御部５６１を有する。図６は、本発明の実施の形態１にかかる作業支援システムのウェアラブル端末の要部の構成を説明する図である。図６に示すように、ウェアラブル端末５は、表示制御部５６１の制御のもと、作業支援装置２から取得した表示データに応じた表示画像を表示する。
図７は、図４に示すウェアラブル端末を作業者が装着した様子を説明する図である。ウェアラブル端末５は、例えば保護眼鏡であるフレーム部５０２に本体部５００が保持されている。ウェアラブル端末５は、図７に示すように、作業者の鼻に鼻パッドをかけるとともに、耳に耳あて部をかけることにより、フレーム部５０２が作業者に装着される。これにより、作業者は、作業支援装置２からの情報を確認しつつ、両手を使って作業を行うことが可能となる。なお、図７に示すフレーム部５０２は、鼻パッドを鼻にかけるとともに、両耳にそれぞれ耳あて部をかけることによって作業者がウェアラブル端末５を装着するものであるが、これに限らず、片方の耳にかけることによってウェアラブル端末５を装着するものであってもよい。
続いて、本実施の形態１にかかる作業支援システム１が行う作業支援処理について、図８〜図１６を参照して説明する。図８は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理を説明するフローチャートである。以下のフローチャートでは、作業支援処理の一例として、作業者が出荷検品作業を行う際の作業支援について説明する。
ウェアラブル端末５は、作業者に装着され、電源がオンされると、認識部５１が、音声等の入力があるか否かを判断し、入力があれば認識結果を出力する。制御部５６は、認識部５１からの認識結果の入力の有無（音声認識があるか否か）を判断する（ステップＳ１０１）。制御部５６は、認識部５１からの認識結果の入力がなければ（ステップＳ１０１：Ｎｏ）、認識結果の確認を繰り返す。これに対し、制御部５６は、認識部５１からの認識結果の入力があれば（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に移行する。
ステップＳ１０２では、通信部５２が、認識部５１による認識結果を、通信ネットワーク４を介して作業支援装置２に送信する。作業支援装置２は、通信部２２が認識結果を受信すると、認識結果の識別を行う（ステップＳ１０３）。ステップＳ１０３では、識別部２６１が、音声認識結果の情報に基づいて、ウェアラブル端末５からの指示内容を識別する。本フローチャートでは、ウェアラブル端末５から、「出荷検品」との認識結果を受信したことを識別する。制御部２６は、識別部２６１による識別結果に応じた作業に関する情報を、作業情報記憶部２７１を参照して出力する。
作業データ作成部２４は、制御部２６から識別結果に応じた作業に関する情報を受信すると、該作業に関する情報に基づく作業データを生成する。この際、ウェアラブル端末５から、認識情報とともに位置情報取得部５５による位置情報が含まれている場合は、この位置情報に応じた作業現場における作業を選択するようにしてもよい。その後、表示データ作成部２５が、作業データ作成部２４が作成した作業データに基づいて、ウェアラブル端末５に表示させる形式に変換することにより、ウェアラブル端末５の表示データを作成する（ステップＳ１０４）。制御部２６は、表示データ作成部２５により表示データが作成されると、通信部２２を介して対象のウェアラブル端末５に送信する。制御部２６は、作業の選択が必要ない場合、例えば後述する図１５の内容をウェアラブル端末５の表示部５３に表示させる。
ウェアラブル端末５は、表示データを受信すると、表示制御部５６１の制御のもと、取得した表示データを表示部５３に表示する（ステップＳ１０５）。図９〜図１１は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。表示データに応じた表示画面中には、例えば、作業に応じた画面を選択するための選択画面が表示される。図９に示すように、出荷検品作業が選択され、その作業がさらに細分化されたサブ作業に分割されている場合、例えば、出荷検品手順の選択や、製品選択等を行うための選択リストが表示される。図９〜図１１では、選択項目ＷA〜ＷG（がめんＡ〜がめんＧ）のうち、実線の枠で囲まれた選択項目が表示部５３に表示され、破線の枠で囲まれた選択項目が非表示、またはウェアラブル端末５の表示部５３に表示されない部分となっており、ハッチング処理（ハイライト表示）されている表示項目が選択されているものとして説明する。すなわち、図９では、選択項目ＷA〜ＷEが表示され、選択項目ＷCが選択されている。
その後、制御部５６は、認識部５１からの新たな認識結果の入力の有無を判断する（ステップＳ１０６）。制御部５６は、認識部５１からの認識結果の入力がなければ（ステップＳ１０６：Ｎｏ）、例えば、前回の認識結果出力時間から所定の時間、音声入力がなければ、ステップＳ１０２に移行する。なお、制御部５６は、作業者からの音声指示（例えば「決定」、「ＯＫ」等）があった場合や、表示されている作業項目の画面が、選択項目のデータ構造のうちの最下層の項目である場合に、ステップＳ１０７に移行するようにしてもよい。これに対し、制御部５６は、認識部５１からの認識結果の入力があれば（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７に移行する。例えば、図９に示す選択画面に対して、「下」という音声の認識結果が得られた場合、上述したステップＳ１０２〜Ｓ１０５の処理を介して、図１０に示すように、表示項目の範囲が、一段下に移動する。すなわち、図１０では、選択項目ＷB〜ＷFが表示され、選択項目ＷCの下に位置する選択項目ＷDが選択されている。一方、図９に示す選択画面に対して、「上」という音声の認識結果が得られた場合、上述したステップＳ１０２〜Ｓ１０５の処理を介して、図１１に示すように、表示項目の範囲が、一段上に移動する。この際、表示形式にはサイクリック形式が採用され、移動方向の端部に位置する選択項目が、逆の端部に移動して表示される。すなわち、図１１では、選択項目ＷA〜ＷD、ＷGが選択項目ＷG、ＷA〜ＷDの順で表示され、選択項目ＷCの上に位置する選択項目ＷBが選択されている。
図１２および図１３は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示するデータの構成の一例を説明する図である。ウェアラブル端末５において、選択される項目では、最上位のメニューとして、操作マニュアルや、検査手順、組立図面の選択等がある（図１２参照）。このうち、例えば操作マニュアルは、第１階層として複数の章（章１、章２、章３、・・・）に分けられており、各章が、それぞれ第２階層として複数の章（例えば、章1.1、章1.2、章1.3、・・・）に分けられている。図１３では、章1.1が、第３階層としてさらに複数の章（章1.1.1、章1.1.2、・・・）に分けられている。より具体的には、図１２に示すように、各第１階層が、章や作業内容に関する複数のデータにより構成され、例えば、操作マニュアルのデータは、上述した第２階層の各章に関するデータ（ＰL11、ＰL12、・・・、ＰL1n）を有するポインタリストＰL１により構成されている。各章に関するデータ（ＰL11、ＰL12、・・・、ＰL1n）についても、それぞれが、第３階層の各章に関するデータを有するポインタリストＰL２により構成されている。例えば、第２階層の章ｎのデータＰL1nは、第３階層の各章に関するデータ（例えば、ＰL2n1、ＰL2nm）を有している。さらに、第３階層の章n.1のデータＰL2n1は、第３階層の各章に関するデータ（例えば、ＰL2n11）を有している。作業選択では、例えば、各階層における章が表示部５３の表示画面上にそれぞれ表示され、作業者が、階層ごとに章を選択することによって、作業の選択を行う。なお、操作マニュアルや、検査手順、組立図面に限らず、図面情報や、作業フロー等をさらに選択できるようにしてもよい。このように、例えば、選択したい表示項目についてメニューの同一階層からサイクリック形式で該当する項目を表示部５３に表示させたり、該当する項目を選択させたりすることによって、所望するデータを表示部５３させることができる。これにより、ウェアラブル端末５の表示部５３における限られた表示領域に作業者の支援となる作業データ（今現在の作業データや、今後の作業データ、作業に関連するデータなど）をピンポイントで作業者に提供することができる。この際、作業データ作成部２４が、階層化された複数の項目のうち、例えば、最も上位の階層の同一階層における複数の項目（例えば、章１、章２、章３、・・・）をサイクリック形式で表示させる作業データ、またはウェアラブル端末５を介して選択された項目の下位の階層の一つまたは複数の項目（例えば、章１が表示されていれば、章1.1、章1.2、章1.3、・・・）を表示させる作業データを作成する。また、作業データ生成部２４は、ウェアラブル端末５を介して選択された項目に下位の階層がない場合は、当該項目に応じた作業画像を含む作業データを作成する。表示データ作成部２５は、作業データ作成部２４が作成した作業データに応じて、表示部５３に表示させる表示データを作成する。
上述した作業選択により、出荷検品作業が選択されると、表示部５３に出荷検品作業に関する項目が表示された作業支援画像が表示される。図１４は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。出荷検品作業が選択された場合、表示部５３には、少なくとも出荷検品作業に関する項目が表示された作業支援画像が表示される。図１４に示す作業支援画像は、撮像部５４が取得した画像を表示可能な画像表示領域Ｒ1と、出荷検品作業に関する項目を表示可能な項目表示領域Ｒ2とを有する。
本実施の形態１において、出荷検品対象の製品を収容する箱には、識別させることにより当該箱に関する情報を取得可能なバーコードや二次元コード、例えば、図１４に示すようなＱＲコード（登録商標）のような識別コードＱ1が付されているものとして説明する。この際、作業者は、識別コードＱ1が撮像部５４の画角内に入るようにウェアラブル端末５の向きを調整する。撮像部５４が識別コードＱ1の画像を取得すると、取得された画像が、制御部５６を介して認識部５１に入力される。認識部５１は、入力された画像内の識別コードＱ1の像を認識してコード化し、該コードを含む認識結果を制御部５６に出力する。制御部５６は、認識部５１から識別コードＱ1の認識結果の入力がないと判断した場合（ステップＳ１０７：Ｎｏ）、入力の有無の確認を繰り返す。これに対し、制御部５６は、認識部５１から識別コードＱ1の認識結果の入力があると判断した場合（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０８に移行する。ステップＳ１０８では、通信部５２が、認識部５１による認識結果を、通信ネットワーク４を介して作業支援装置２に送信する。
ステップＳ１０８に続くステップＳ１０９では、識別部２６１が、識別コードＱ1の認識結果の情報に基づいて、ウェアラブル端末５からの指示内容を識別する。識別部２６１は、識別コードＱ1の認識結果の情報に基づいて、出荷検品対象となる箱の情報を識別結果として生成する。制御部２６は、識別部２６１による識別結果に応じた箱に関する情報を、作業情報記憶部２７１を参照して出力する。
作業データ作成部２４は、制御部２６から識別結果に応じた作業に関する情報を受信すると、該作業に関する情報に基づく作業データを生成する。その後、表示データ作成部２５が、作業データ作成部２４が作成した作業データに基づいて、ウェアラブル端末５に表示させる形式に変換することにより、ウェアラブル端末５の表示データを生成する（ステップＳ１１０）。制御部２６は、表示データ作成部２５により表示データが生成されると、通信部２２を介して対象のウェアラブル端末５に送信する。
ウェアラブル端末５は、表示データを受信すると、取得した表示データを表示部５３に表示する（ステップＳ１１１）。図１５は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。識別コードの認識によって、表示部５３には、図１５に示すように、出荷検品対象の製品を収容する箱に対応する伝票番号、出荷番号、箱情報、商品名、および、箱に収容されるべき数量がそれぞれ記載されるとともに、実績値を入力可能な欄が表示される。作業者は、実際の製品に表示されている商品名等と、表示部５３に表示されている商品名等とを照合するとともに、当該出荷検品対象の箱に収容されるべき数量を確認して、出荷検品作業を進めることができる。なお、上述したステップＳ１０４において、作業の選択を行う必要がない場合は、例えば図１５に示す画像が、表示部５３に表示される。
その後、作業者は、実際に箱に収容された製品の数を数え、ウェアラブル端末５に数えた数値を音声入力する。例えば、作業者が、「１０」と発したものとして説明する。制御部５６は、認識部５１による認識結果の入力の有無を判断する（ステップＳ１１２）。ここで、制御部５６は、認識部５１による認識結果の入力がないと判断した場合（ステップＳ１１２：Ｎｏ）、認識結果の入力の有無の確認を繰り返す。これに対し、制御部５６は、認識部５１による認識結果の入力があると判断した場合（ステップＳ１１２：Ｙｅｓ）、ステップＳ１１３に移行する。
ステップＳ１１３では、通信部５２が、認識部５１による認識結果を、通信ネットワーク４を介して作業支援装置２に送信する。作業支援装置２は、通信部２２が認識結果を受信すると、認識結果の識別を行う（ステップＳ１１４）。ステップＳ１１４では、識別部２６１が、音声認識結果の情報に基づいて、ウェアラブル端末５からの指示内容を識別する。本フローチャートでは、ウェアラブル端末５から、「１０」との認識結果を受信したことを識別する。
作業データ作成部２４は、制御部２６から識別結果に応じた作業に関する情報を受信すると、該作業に関する情報に基づく作業データを生成する。具体的に、作業データ作成部２４は、実績値として「１０」を追加した作業データを生成する。その後、表示データ作成部２５が、作業データ作成部２４が作成した作業データに基づいて、ウェアラブル端末５に表示させる形式に変換することにより、ウェアラブル端末５の表示データを生成する（ステップＳ１１５）。制御部２６は、表示データ作成部２５により表示データが生成されると、通信部２２を介して対象のウェアラブル端末５に送信する。
ウェアラブル端末５は、表示データを受信すると、取得した表示データを表示部５３に表示する（ステップＳ１１６）。図１６は、本発明の実施の形態１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。音声認識によって、項目表示領域Ｒ2において、図１５に表示された画像に対し、実績値である「１０」が追加入力された画像が表示される。作業者は、自身が発した数値と、表示されている数値とを確認することができる。
その後、作業者は、実際に数えた数と、表示されている数値とが等しい場合、当該伝票番号の箱の出荷検品作業を終了する旨の指示を音声で発する。例えば、作業者は、ウェアラブル端末５に出荷検品作業を終了し、次の伝票番号の出荷検品を行うために「次項」、または出荷検品作業を終了するために「終了」と音声入力する。制御部５６は、認識部５１による認識結果の入力の有無を判断する（ステップＳ１１７）。ここで、制御部５６は、認識部５１による認識結果の入力がないと判断した場合（ステップＳ１１７：Ｎｏ）、認識結果の入力の有無の確認を繰り返す。これに対し、制御部５６は、認識部５１による認識結果の入力があると判断した場合（ステップＳ１１７：Ｙｅｓ）、ステップＳ１１８に移行する。
ステップＳ１１８では、通信部５２が、認識部５１による認識結果を、通信ネットワーク４を介して作業支援装置２に送信する。作業支援装置２は、通信部２２が認識結果を受信すると、認識結果の識別を行う（ステップＳ１１９）。ステップＳ１１９では、識別部２６１が、音声認識結果の情報に基づいて、ウェアラブル端末５からの指示内容を識別する。本フローチャートでは、ウェアラブル端末５から、「次項」または「終了」との認識結果を受信したことを識別する。
制御部２６は、「次項」または「終了」との認識結果が入力されると、次の出荷検品作業を行うか、または出荷検品処理を終了するかに関する情報を生成し、通信部２２を介して対象のウェアラブル端末５に送信する（ステップＳ１２０）。作業支援装置２は、所定の時間、ウェアラブル端末５から認識結果等の情報が送信されなければ、作業支援処理を終了する。
ウェアラブル端末５は、識別結果を受信すると、制御部５６が、該識別結果に基づき、次項に移行して、次の出荷検品作業を行うか否かを判断する（ステップＳ１２１）。制御部５６は、識別結果が「次項」である場合（ステップＳ１２１：Ｙｅｓ）、ステップＳ１０７に移行して、次の出荷検品対象の箱の識別コードの読み込みを行い、上述した出荷検品処理を行う。この際、作業支援装置２は、今回入力された実績値等をリフレッシュして、出荷検品作業に応じた情報の再表示を行う。これに対し、制御部５６は、識別結果が「次項」ではない、具体的には認識結果が「終了」である場合（ステップＳ１２１：Ｎｏ）、作業支援処理を終了する。なお、作業支援装置２において、出荷検品対象の製品が残っている場合には、この残っている製品の出荷検品作業を促すような画像を表示部５３に表示させるようにしてもよい。
以上説明した本発明の実施の形態１によれば、作業支援装置２が、ウェアラブル端末５から入力された音声、または識別コードの認識結果に応じた作業に対し、該作業を支援する表示画面を構成する表示データを作成し、ウェアラブル端末５に表示させるようにしたので、ウェアラブル端末５が作業に応じた情報の提供を受けることができる。このため、本実施の形態１によれば、作業者は、音声の入力や撮像を行うのみで、実際に行う作業の支援情報を取得することができ、作業の効率と、正確性を向上させることが可能である。
なお、上述した実施の形態１では、表示制御部２６２が、表示部２３に表示する表示データの表示制御を行うものとして説明したが、表示データ作成部２５が生成した表示データを、通信ネットワーク４を介してウェアラブル端末５に送信して、ウェアラブル端末５における表示データの表示を制御するようにしてもよい。
（実施の形態１の変形例１）
上述した実施の形態１では、出荷検品作業を行う際の作業支援処理について説明したが、例えば、製品のピッキング処理では、互いに異なる製品を収容する棚のうち、ピッキングする製品の棚をＡＲ（Augmented Reality）表示にて指示するようにしてもよい。図１７は、本発明の実施の形態１の変形例１にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。上述した各棚には、棚に収容されている製品と対応付いたＡＲマーカがそれぞれ付されている。上述したステップＳ１０７において、ピックアップ対象の製品の識別コードを読み込んだ後、撮像部５４によって撮像された画像中のＡＲマーカであって、ピックアップ対象の製品と対応付いたＡＲマーカが存在する場合に、作業データ生成部２４は、撮像された画像に対してＡＲ画像である矢印Ｑ2を重畳する。これにより、作業者は、棚を間違えることなく、ピッキング作業を行うことができる。
（実施の形態１の変形例２）
上述した実施の形態１では、作業者が発した音声により、実績値を入力するものとして説明したが、音声のほか、作業者のジェスチャに関する情報を取得して、実績値を入力するものであってもよい。例えば、本変形例２では、ウェアラブル端末５の機能部５０１に加速度センサを設けて、加速度センサによる検出結果（信号）を認識情報として作業支援装置２に送信する。認識部５１は、加速度センサが検出した加速度データを含む信号が入力された場合、入力された加速度データと、予め設定されている特徴データである加速度の閾値と比較して作業者の頷きに応じた加速度であるか否かを判断する。認識部５１は、頷きに応じた加速度であれば、頷きに応じた加速度を認識した旨の認識結果を認識情報として制御部５６に出力する。この認識情報は、作業者のジェスチャ（本変形例では頷き）に基づいて生成された情報である。作業支援装置２の識別部２６１は、制御部６５から送信された加速度データの認識結果から、作業者の頷きをジェスチャとして認識し、この頷きの数を識別することにより、製品の数を計数する。識別部２６１は、計数により得られた数を、出荷検品作業の実績値とする。作業データ作成部２４は、識別部２６１から実績値の入力があると、実績値に計数により得られた数を入力した作業データを作成する。
なお、上述した変形例２では、ジェスチャとして「頷き」を識別するものとして説明したが、「首振り」を識別するようにしてもよい。また、音声やジェスチャのほか、機能部５０１に静電センサを設けて、作業者が静電センサをタップした回数を識別するものであってもよい。静電センサのタップ回数を識別する場合は、静電センサのタップを識別するための接触時間、接触圧のデータが、特徴データとなる。
（実施の形態２）
上述した実施の形態１では、出荷検品作業を行う際に、作業者からの音声入力において実績値を入力するものとして説明したが、これに限らず、画像処理によって、出荷検査作業を行うようにしてもよい。図１８は、本発明の実施の形態２にかかる作業支援システムが行う作業支援処理を説明するフローチャートである。
上述した実施の形態１のステップＳ１０１〜Ｓ１１１と同様に、ウェアラブル端末５に入力された音声および識別コードにより、作業項目および出荷検査対象の製品が選択される（ステップＳ２０１〜Ｓ２１１）。本実施の形態２にかかる出荷検査処理は、製品のサイズが、規格内であるか否かを検査するものとして説明する。
その後、作業者は、実際に製品の画像を撮像部５４により撮像し、製品の撮像画像を取得する（ステップＳ２１２）。図１９は、本発明の実施の形態２にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。作業者は、画像表示領域Ｒ1を確認しながら、長方体の製品Ｓ1の少なくとも一つの面が写った撮像画像を、出荷検査対象の面（例えば正面や、上面、側面）ごとに撮像する。通信部５２は、撮像部５４により取得された異なる面が写った撮像画像を含む認識情報を、通信ネットワーク４を介して作業支援装置２に送信する（ステップＳ２１３）。この認識情報は、出荷検査対象の製品の検査対象の面が写った一つまたは複数の撮像画像を含む画像情報である。なお、出荷検査対象を斜めから撮像した撮像画像を取得するようにしてもよい。
作業支援装置２がウェアラブル端末５から撮像画像を取得すると、識別部２６１は、まず、撮像画像に対して画像処理を行って、撮像された製品の像のサイズ、比率等を算出する（ステップＳ２１４）。その後、識別部２６１は、算出したサイズ（縦、横、奥行）と、予め設定されている製品の規格データとを参照して、出荷検査対象の製品が規格を満たしているか否か（合格または不合格）を判定する（ステップＳ２１５）。識別部２６１は、算出したサイズと、判定結果を作業データ作成部２４に出力する。
作業データ作成部２４は、識別部２６１から識別結果を受信すると、該作業に関する情報に基づく作業データを生成する。具体的に、作業データ作成部２４は、製品のサイズと判定結果を含む作業データを生成する。その後、表示データ作成部２５が、作業データ作成部２４が作成した作業データに基づいて、ウェアラブル端末５に表示させる形式に変換することにより、ウェアラブル端末５の表示データを生成する（ステップＳ２１６）。制御部２６は、表示データ作成部２５により表示データが生成されると、通信部２２を介して対象のウェアラブル端末５に送信する。
ウェアラブル端末５は、表示データを受信すると、取得した表示データを表示部５３に表示する（ステップＳ２１７）。図２０は、本発明の実施の形態２にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。識別部２６１による識別処理によって、製品のサイズ、合否結果が入力された画像が表示部５３に表示される。作業者は、撮像した製品が規格内にあるか否かを視覚的に確認することができる。
作業者は、出荷検査結果を確認後、当該伝票番号の箱の出荷検査作業を終了する旨の指示を音声で発する。例えば、作業者は、ウェアラブル端末５に出荷検査作業を終了し、次の伝票番号の出荷検査を行うために「次項」、または出荷検査作業を終了するために「終了」と音声入力する。制御部５６は、認識部５１による認識結果の入力の有無を判断する（ステップＳ２１８）。ここで、制御部５６は、認識部５１による認識結果の入力がないと判断した場合（ステップＳ２１８：Ｎｏ）、認識結果の入力の有無の確認を繰り返す。これに対し、制御部５６は、認識部５１による認識結果の入力があると判断した場合（ステップＳ２１８：Ｙｅｓ）、ステップＳ２１９に移行する。この際、作業者は、出荷検査処理において、不合格となった製品について、ラインアウトを行う旨の指示や、再検査を行う旨の指示を入力するようにしてもよい。この場合、制御部２６は、ラインアウトが指示された製品は、出荷検査作業のリストから除外するようにしてもよい。
ステップＳ２１９では、通信部５２が、認識部５１による認識結果を、通信ネットワーク４を介して作業支援装置２に送信する。作業支援装置２は、通信部２２が認識結果を受信すると、認識結果の識別を行う（ステップＳ２２０）。ステップＳ２２０では、識別部２６１が、音声認識結果の情報に基づいて、ウェアラブル端末５からの指示内容を識別する。本フローチャートでは、ウェアラブル端末５から、「次項」または「終了」との認識結果を受信したことを識別する。
制御部２６は、「次項」または「終了」との認識結果が入力されると、次の出荷検査作業を行うか、または出荷検査作業を終了するかに関する情報を生成し、通信部２２を介して対象のウェアラブル端末５に送信する（ステップＳ２２１）。作業支援装置２は、所定の時間、ウェアラブル端末５から認識結果等の情報が送信されなければ、作業支援処理を終了する。
ウェアラブル端末５は、識別結果を受信すると、制御部５６が、該識別結果に基づき、次項に移行して、次の出荷検査作業を行うか否かを判断する（ステップＳ２２２）。制御部５６は、識別結果が「次項」である場合（ステップＳ２２２：Ｙｅｓ）、ステップＳ２０７に移行して、次の出荷検査対象の箱の識別コードの読み込みを行い、上述した出荷検査作業を行う。この際、作業支援装置２は、今回入力された算出値や判定結果等をリフレッシュして、出荷検査作業に応じた情報の再表示を行う。これに対し、制御部５６は、識別結果が「次項」ではない、具体的には認識結果が「終了」である場合（ステップＳ２２２：Ｎｏ）、作業支援処理を終了する。
以上説明した本発明の実施の形態２によれば、作業支援装置２が、ウェアラブル端末５から入力された音声、または識別コードの認識結果に応じた作業に対し、該作業を支援する表示画面を構成する表示データを作成し、ウェアラブル端末５に表示させるとともに、識別部２６１によって、ウェアラブル端末５により撮像された撮像画像を用いて出荷検査作業を行って、その結果をウェアラブル端末５に表示させるようにしたので、ウェアラブル端末５が作業に応じた情報の提供を受けるとともに、出荷検査結果を自動で確認することができる。このため、本実施の形態２によれば、作業者は、音声の入力や撮像を行うのみで、実際に行う作業の支援情報、および出荷検査結果を取得することができ、作業の効率と、正確性を向上させることが可能である。
（実施の形態２の変形例）
上述した実施の形態２では、ウェアラブル端末が取得した撮像画像であって、出荷検査対象を異なる方向から撮像した撮像画像に対して画像処理を施すことによって、出荷検査作業を行うものとして説明したが、このほか、出荷検査対象に対して画像処理により識別可能なマーカを付して、この出荷検査対象を撮像した撮像画像のマーカを識別することによって、出荷検査作業を行うものであってもよい。例えば、本変形例では、ウェアラブル端末５が、画像処理により識別可能なマーカが付された出荷検査対象を撮像し、撮像画像を認識情報として作業支援装置２に送信する。作業支援装置２の識別部２６１は、認識情報として取得した撮像画像から、マーカを識別してマーカの数を計数することにより、出荷検査対象の製品の数を計数する。識別部２６１は、計数により得られた数を、出荷検査作業の実績値とする。作業データ作成部２４は、識別部２６１から実績値の入力があると、実績値に計数により得られた数を入力した作業データを作成する。作業者は、マーカが写った一つの出荷検査対象がそれぞれ含まれる複数の撮像画像を撮像するものであってもよいし、各々のマーカが写った複数の出荷検査対象が一つの撮像画像内に含まれている撮像画像を撮像するものであってもよい。
（実施の形態３）
続いて、本発明の実施の形態３について説明する。本実施の形態３では、作業支援装置２の使用者（以下、管理者という）が、作業支援装置２から、ウェアラブル端末５に対して、作業にかかる指示等を行う。図２１は、本発明の実施の形態３にかかる作業支援システムが行う作業支援処理において作業支援装置が表示する画面の一例を示す模式図である。作業支援装置２の表示部２３には、例えば、複数の作業現場で作業を行う作業者が装着しているウェアラブル端末５であって、連携対象のウェアラブル端末５が撮像した撮像画像等が表示される複数の連携対象表示領域（連携対象表示領域Ｒ11〜Ｒ14）を有する表示画像Ｗ100が表示される。例えば、図２１に示すように、連携対象表示領域Ｒ11〜Ｒ14が、それぞれ異なる作業現場の撮像画像を表示している。
各連携対象表示領域には、連携している作業者との間で情報を送受信するための管理領域Ｒ20と、連携対象のウェアラブル端末５が撮像した撮像画像等が表示される画像表示領域Ｒ21と、各連携対象表示領域における管理者の操作ログを表示するログ表示領域Ｒ22とを有する。
また、管理領域Ｒ20には、連携対象を選択可能な選択カーソルＣ1と、連携している作業者に送信するイベントであって、定義済みの通知メッセージを選択可能なイベント選択カーソルＣ2と、連携している作業者のウェアラブル端末５の表示部５３に表示させたい画像や画面ＵＲＬを選択可能な画面選択カーソルＣ3と、図示しないヘッドセットを介して連携している作業者との通話を行う通話指示の入力を受け付ける通話ボタンＢ1と、連携している作業者に対して撮像画像等のファイルの転送を指示する転送指示の入力を受け付けるファイル転送ボタンＢ2と、イベント選択カーソルＣ2で選択されたイベントを連携している作業者の表示部５３に生じさせる指示の入力を受け付ける送信ボタンＢ3と、イベント選択カーソルＣ2で選択されたイベントを連携している作業者の表示部５３への表示を開始させる指示の入力を受け付ける開始ボタンＢ4と、が表示されている。各カーソルは、予め設定されている文字列を表示してプルダウン方式で選択できるようにしてもよいし、管理者が文字列等を任意に入力可能としてもよい。
図２２は、本発明の実施の形態３にかかる作業支援システムが行う作業支援処理において作業支援装置が表示する画面の一例を示す模式図である。管理者は、例えば、作業現場において、作業者に対して確認箇所を指示する場合、まず、通話ボタンＢ1を押下する、またはイベント選択カーソルＣ2で選択されたイベントを送信する等して、作業現場の撮像画像を送信するよう指示する。管理者は、作業者から、例えば図２１に示す連携対象表示領域Ｒ11の画像表示領域Ｒ21に表示されている撮像画像を取得すると、この撮像画像に対して、確認箇所を囲んだ指示領域Ｃ11を書き込むとともに、指示コメントＣ12を記載する。その後、管理者は、ファイル転送ボタンＢ2を押下することによって、指示領域Ｃ11および指示コメントＣ12を含む画像表示領域Ｒ21の画像を表示させる。この際、表示制御部２６２の制御のもと、上述した画像が、連携しているウェアラブル端末５に送信される。画像を受信したウェアラブル端末５では、制御部５６の制御のもと、表示部５３に当該画像が表示される。図２３は、本発明の実施の形態３にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。図２３に示すように、管理者が入力した指示画像が、表示部５３において、撮像画像とともに、指示領域Ｃ21および指示コメントＣ22として表示される。
このほか、イベント選択カーソルＣ2で選択されたイベントを連携している作業者の表示部５３に表示させることも可能である。図２４は、本発明の実施の形態３にかかる作業支援システムが行う作業支援処理においてウェアラブル端末が表示する画面の一例を示す模式図である。管理者は、例えば、イベント選択カーソルＣ2から「緊急連絡せよ」というイベントを選択し、送信ボタンＢ3を押下することにより、連携している作業者のウェアラブル端末５に対して、イベントを表示させる。具体的には、図２４に示すように、「緊急連絡せよ」という文字列であるイベント画像Ｃ23を表示部５３に表示させる。
このようにして、管理者が、作業支援装置２を用いて、連携している作業者の管理を行うことができる。また、上述した処理では、管理者側から連携している作業者の管理を行うものとして説明したが、作業者側から作業支援装置２にアクセスして、指示を仰ぐようにすることも可能である。この場合は、例えば、連携対象を選択可能な選択カーソルＣ1に表示される番号が、アクセスがあった作業者のウェアラブル端末の番号に自動で切り替わる。さらに、ウェアラブル端末５の表示部５３において表示されている画像に対して、作業者が、指でなぞる等することによって、撮像画像中に指先の軌跡を表示するようにしてもよい。軌跡の表示を確認して、管理者と作業者との認識を合わせることによって、一段と確実な作業を行うことが可能である。
以上説明した本発明の実施の形態３によれば、管理者が、作業支援装置２を介して、連携している作業者のウェアラブル端末５に指示を入力する等して、作業支援または作業管理を行うようにしたので、ウェアラブル端末５が作業に応じた情報の提供を的確に受けることができる。
なお、上述した実施の形態３では、作業支援装置２とウェアラブル端末５との間で情報を送受信するものとして説明したが、作業支援装置２を介して、ウェアラブル端末５の間で情報を送受信するものであってもよい。
本明細書で記載したフローチャートにおける処理の順序はあくまでも一例に過ぎず、本発明を実施する際に矛盾のない範囲で変更することが可能である。
以上の説明からも明らかなように、本発明は、ここでは記載していない様々な実施の形態等を含みうるものである。実施の形態１〜３を組み合わせて、作業者の作業支援を行ってもよい。例えば、実施の形態１，２を組み合わせて、音声、識別コードおよびジェスチャをそれぞれ識別して、識別結果に応じた表示画像を表示部５３に表示させて作業支援を行うものであってもよい。
１ 作業支援システム
２ 作業支援装置
３ データベースステーション
４ 通信ネットワーク
５ ウェアラブル端末
６ 制御ネットワーク
２１ 入力部
２２，５２ 通信部
２３，５３ 表示部
２４ 作業データ作成部
２５ 表示データ作成部
２６，５６ 制御部
２７ 記憶部
５１ 認識部
５４ 撮像部
５５ 位置情報取得部
２６１ 識別部
２６２，５６１ 表示制御部
２７１ 作業情報記憶部
２７２ プログラム記憶部
５００ 本体部
５０１ 機能部
５０２ フレーム部

Claims (9)

  1. 作業者が装着する眼鏡型のウェアラブル端末であって、予め設定されている特徴データに基づいて認識可能な認識情報を取得可能なウェアラブル端末とネットワークを介して通信可能に接続され、前記ウェアラブル端末を装着した前記作業者に対して作業の支援を行う作業支援装置であって、
    前記作業者が行う作業に関する作業データを、前記ウェアラブル端末から受信した前記認識情報に基づき作成する作業データ作成部と、
    前記作業データ作成部が作成した前記作業データをもとに、前記ウェアラブル端末に表示させる表示データを生成する表示データ作成部と、
    前記表示データを前記ウェアラブル端末に送信する通信部と、
    を備えたことを特徴とする作業支援装置。
  2. 前記作業データ作成部は、階層化された複数の項目のうち、同一階層の複数の項目をサイクリック形式で表示させる作業データ、または、前記ウェアラブル端末から受信した情報に応じた項目、もしくは該項目に応じた階層よりも下位の階層の複数の作業データを作成する
    ことを特徴とする請求項１に記載の作業支援装置。
  3. 前記認識情報は、前記作業者が発する音声に基づいて生成された情報である
    ことを特徴とする請求項１または２に記載の作業支援装置。
  4. 前記認識情報は、作業対象製品または前記作業対象製品を収容する容器に付された画像をもとに取得した識別コードである
    ことを特徴とする請求項１〜３のいずれか一つに記載の作業支援装置。
  5. 前記認識情報は、前記作業者のジェスチャに基づいて生成された情報である
    ことを特徴とする請求項１〜４のいずれか一つに記載の作業支援装置。
  6. 前記表示データ作成部は、前記作業を選択するための選択画像を含む前記表示データを作成する
    ことを特徴とする請求項１〜５のいずれか一つに記載の作業支援装置。
  7. 前記認識情報は、作業対象製品を撮像した撮像画像であり、
    前記撮像部が作業対象製品の異なる面をそれぞれ撮像した複数の撮像画像を取得して、前記作業対象製品のサイズを算出し、前記作業対象製品のサイズが規格内であるか否かを判定する制御部、
    を備えたことを特徴とする請求項１〜６のいずれか一つに記載の作業支援装置。
  8. 作業者が装着する眼鏡型のウェアラブル端末であって、予め設定されている特徴データに基づいて認識可能な認識情報を取得可能なウェアラブル端末と、
    前記ウェアラブル端末とネットワークを介して通信可能に接続され、前記ウェアラブル端末を装着した前記作業者に対して作業の支援を行う作業支援装置と、
    を備え、
    前記作業支援装置は、
    前記作業者が行う作業に関する作業データを、前記ウェアラブル端末から受信した前記認識情報に基づき作成する作業データ作成部と、
    前記作業データ作成部が作成した前記作業データをもとに、前記ウェアラブル端末に表示させる表示データを生成する表示データ作成部と、
    前記表示データを前記ウェアラブル端末に送信する通信部と、
    を有し、
    前記ウェアラブル端末は、
    前記作業支援装置から取得した情報を表示可能な表示部、
    を有することを特徴とする作業支援システム。
  9. 作業者が装着する眼鏡型のウェアラブル端末であって、予め設定されている特徴データに基づいて認識可能な認識情報を取得可能なウェアラブル端末とネットワークを介して通信可能に接続され、前記ウェアラブル端末を装着した前記作業者に対して作業の支援を行う作業支援装置に、
    前記作業者が行う作業に関する作業データを、前記ウェアラブル端末から受信した前記認識情報に基づき作成する作業データ作成手順と、
    前記作業データ作成手順で作成した前記作業データをもとに、前記ウェアラブル端末に表示させる表示データを生成する表示データ作成手順と、
    前記表示データを前記ウェアラブル端末に送信する通信手順と、
    を実行させることを特徴とする作業支援プログラム。
JP2016053710A 2016-03-17 2016-03-17 作業支援装置、作業支援システムおよび作業支援プログラム Pending JP2017167902A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016053710A JP2017167902A (ja) 2016-03-17 2016-03-17 作業支援装置、作業支援システムおよび作業支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016053710A JP2017167902A (ja) 2016-03-17 2016-03-17 作業支援装置、作業支援システムおよび作業支援プログラム

Publications (1)

Publication Number Publication Date
JP2017167902A true JP2017167902A (ja) 2017-09-21

Family

ID=59913321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016053710A Pending JP2017167902A (ja) 2016-03-17 2016-03-17 作業支援装置、作業支援システムおよび作業支援プログラム

Country Status (1)

Country Link
JP (1) JP2017167902A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086916A (ja) * 2017-11-02 2019-06-06 オリンパス株式会社 作業支援装置、作業支援方法、作業支援プログラム
JP2020013192A (ja) * 2018-07-13 2020-01-23 三菱電機株式会社 ヘッドマウント装置、サーバ装置および作業支援システム
CN111474901A (zh) * 2019-12-18 2020-07-31 李峻 自动化电子设备联动系统及方法
JP6752385B1 (ja) * 2019-07-18 2020-09-09 三菱電機株式会社 作業支援システム
JP2020149279A (ja) * 2019-03-13 2020-09-17 パナソニックＩｐマネジメント株式会社 保持部表示システムおよび保持部表示方法
JP2020181502A (ja) * 2019-04-26 2020-11-05 株式会社日立システムズ 作業支援システムおよび作業支援方法ならびに作業支援装置
JP2020196068A (ja) * 2019-05-31 2020-12-10 グローリー株式会社 ロボットシステム、および、商品管理装置
JP2021160787A (ja) * 2020-03-31 2021-10-11 株式会社 情報システムエンジニアリング 状態判定システム、状態判定方法、及び状態判定プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148093A (ja) * 1992-10-31 1994-05-27 Inax Corp 衛生陶器の自動検査方法
JP2014235704A (ja) * 2013-06-05 2014-12-15 富士機械製造株式会社 基板生産支援システム
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
WO2015125196A1 (ja) * 2014-02-21 2015-08-27 ソニー株式会社 ウェアラブル機器、電子機器、画像制御装置および表示制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148093A (ja) * 1992-10-31 1994-05-27 Inax Corp 衛生陶器の自動検査方法
JP2014235704A (ja) * 2013-06-05 2014-12-15 富士機械製造株式会社 基板生産支援システム
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
WO2015125196A1 (ja) * 2014-02-21 2015-08-27 ソニー株式会社 ウェアラブル機器、電子機器、画像制御装置および表示制御方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086916A (ja) * 2017-11-02 2019-06-06 オリンパス株式会社 作業支援装置、作業支援方法、作業支援プログラム
JP2020013192A (ja) * 2018-07-13 2020-01-23 三菱電機株式会社 ヘッドマウント装置、サーバ装置および作業支援システム
JP7042715B2 (ja) 2018-07-13 2022-03-28 三菱電機株式会社 ヘッドマウント装置、サーバ装置および作業支援システム
JP2020149279A (ja) * 2019-03-13 2020-09-17 パナソニックＩｐマネジメント株式会社 保持部表示システムおよび保持部表示方法
JP7403040B2 (ja) 2019-03-13 2023-12-22 パナソニックＩｐマネジメント株式会社 保持部表示システムおよび保持部表示方法
JP2020181502A (ja) * 2019-04-26 2020-11-05 株式会社日立システムズ 作業支援システムおよび作業支援方法ならびに作業支援装置
JP7336872B2 (ja) 2019-04-26 2023-09-01 株式会社日立システムズ 作業支援システムおよび作業支援方法ならびに作業支援装置
JP2020196068A (ja) * 2019-05-31 2020-12-10 グローリー株式会社 ロボットシステム、および、商品管理装置
JP7245719B2 (ja) 2019-05-31 2023-03-24 グローリー株式会社 ロボットシステム、および、商品管理装置
JP6752385B1 (ja) * 2019-07-18 2020-09-09 三菱電機株式会社 作業支援システム
CN111474901A (zh) * 2019-12-18 2020-07-31 李峻 自动化电子设备联动系统及方法
JP2021160787A (ja) * 2020-03-31 2021-10-11 株式会社 情報システムエンジニアリング 状態判定システム、状態判定方法、及び状態判定プログラム

Similar Documents

Publication Publication Date Title
JP2017167902A (ja) 作業支援装置、作業支援システムおよび作業支援プログラム
US10026033B2 (en) Facility walkthrough and maintenance guided by scannable tags or data
US20160171417A1 (en) Systems and methods for operating and managing enterprise systems on a mobile electronic device to measure efficiency and productivity of mobile electronic device operators
WO2017120363A1 (en) Task management using augmented reality devices
US10459597B2 (en) System and method to navigate 3D data on mobile and desktop
CN105191262A (zh) 用于无损测试系统中的协作的系统和方法
WO2017216929A1 (ja) 医療機器情報提供システム、医療機器情報提供方法及びプログラム
CN107076999B (zh) 使用目光接触经由平视显示器进行对接
US9779551B2 (en) Method for generating a content in augmented reality mode
JP6105180B1 (ja) 作業支援装置、作業支援方法及びプログラム
US9805477B2 (en) Display management method and associated computer program product and electronic device
JP6514390B1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US10133900B2 (en) Controlling the output of contextual information using a computing device
JP2010081442A (ja) ドアホン装置
JP6818795B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP6117765B2 (ja) 資産管理システム
US11481233B2 (en) Augmenting legacy user interfaces using workflows
WO2016161640A1 (zh) 一种接入Wi-Fi网络的方法及装置
JP6514310B1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP7094759B2 (ja) システム、情報処理方法及びプログラム
JP2016143284A (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2021157284A (ja) 情報処理装置、情報処理システム、及びプログラム
KR20200088199A (ko) 모바일 단말기를 이용한 전자명함 교환 시스템 및 방법
KR20160015803A (ko) 사용자와 상호작용하는 가상 펫을 제공하는 방법, 모바일 단말, 서버 및 로봇
JP2021043860A (ja) 調査支援端末および管理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200414