JP2019046067A - 作業支援システム - Google Patents
作業支援システム Download PDFInfo
- Publication number
- JP2019046067A JP2019046067A JP2017167370A JP2017167370A JP2019046067A JP 2019046067 A JP2019046067 A JP 2019046067A JP 2017167370 A JP2017167370 A JP 2017167370A JP 2017167370 A JP2017167370 A JP 2017167370A JP 2019046067 A JP2019046067 A JP 2019046067A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- worker
- processing device
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 150
- 238000004519 manufacturing process Methods 0.000 claims abstract description 68
- 238000003384 imaging method Methods 0.000 claims description 45
- 238000003860 storage Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims 1
- 230000010365 information processing Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 description 30
- 238000005303 weighing Methods 0.000 description 21
- 230000004048 modification Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 238000004806 packaging method and process Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 239000002184 metal Substances 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012856 packing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 244000145845 chattering Species 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Quality & Reliability (AREA)
- Manufacturing & Machinery (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Factory Administration (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】作業者の作業効率を向上させることができる作業支援システムを提供する。
【解決手段】可搬性を有し、作業者に提供する情報を表示する表示部11と、作業者が視認していると考えられる処理装置を認識する認識部22と、表示部に表示される情報の内容を制御する表示制御部23と、を備え、表示制御部は、認識部による処理装置の認識状況に基づいて、作業者が視認していると考えられる処理装置が1台であると判定される場合には、認識部によって認識された処理装置に関する情報を表示させ、作業者が視認していると考えられる処理装置が2台以上であると判定される場合には、認識部によって認識された処理装置を含む生産ライン30に関する情報を表示させる。
【選択図】図1
【解決手段】可搬性を有し、作業者に提供する情報を表示する表示部11と、作業者が視認していると考えられる処理装置を認識する認識部22と、表示部に表示される情報の内容を制御する表示制御部23と、を備え、表示制御部は、認識部による処理装置の認識状況に基づいて、作業者が視認していると考えられる処理装置が1台であると判定される場合には、認識部によって認識された処理装置に関する情報を表示させ、作業者が視認していると考えられる処理装置が2台以上であると判定される場合には、認識部によって認識された処理装置を含む生産ライン30に関する情報を表示させる。
【選択図】図1
Description
本発明は、作業支援システムに関する。
AR(Augmented Reality:拡張現実)を用いて、工場内等の作業者の作業を支援する作業支援システムが知られている。例えば、特許文献1には、作業者の眼前に配置され、作業者の視界を覆う眼鏡型の映像表示部を介して、作業対象に対する作業説明情報等の付加情報を表示させる作業支援システムが開示されている。
このようなシステムでは、様々な情報を作業者に提供することができる。しかしながら、作業者の作業効率を向上させるためには、様々な点で改良の余地がある。
そこで、本発明は、作業者の作業効率を向上させることができる作業支援システムを提供することを目的とする。
本発明の作業支援システムは、複数の処理装置によって形成される生産ラインが配備された工場で作業する作業者を支援する作業支援システムであって、可搬性を有し、作業者に提供する情報を表示する表示部と、作業者が視認していると考えられる処理装置を認識する認識部と、表示部に表示される情報の内容を制御する表示制御部と、を備え、表示制御部は、認識部による処理装置の認識状況に基づいて、作業者が視認していると考えられる処理装置が1台であると判定される場合には、認識部によって認識された処理装置に関する情報を表示させ、作業者が視認していると考えられる処理装置が2台以上であると判定される場合には、認識部によって認識された処理装置を含む生産ラインに関する情報を表示させる。
この構成の作業支援システムでは、作業者が当該一台の処理装置に関する情報を入手したい状況では一台の処理装置を視認し、作業者が生産ライン全体に関する情報を入手したい状況では複数台の処理装置を視認しているであろうという推測に基づいて、作業者に状態に応じた情報を提供している。すなわち、認識部による処理装置の認識状況に基づいて、表示制御部によって作業者が視認していると考えられる処理装置が1台であると判定されると、認識部によって認識された処理装置に関する情報を表示させ、2台以上であると判定されると、認識部によって認識された処理装置を含む生産ラインに関する情報を表示させる。これにより、作業者に提供する情報(処理装置に関する情報又は生産ラインに関する情報)を、作業者の状態に基づいて適切なタイミングで提供することができる。この結果、作業者の作業効率を向上させることができる。
本発明の作業支援システムでは、表示制御部は、認識部によって認識された処理装置に基づいて、作業者が視認していると考えられる処理装置が0台と判定される場合には、生産ラインに関する情報を表示させてもよい。この構成の作業支援システムでは、作業者が生産ラインに関する情報を見たいときには上方を見るといった動作によって、容易に生産ラインに関する情報を見ることができる。
本発明の作業支援システムでは、表示部は、工場内の実空間と、処理装置に関する情報又は生産ラインに関する情報と、を重ね合わせて表示させてもよい。この構成の作業支援システムでは、処理装置又は生産ラインに関する情報が、工場内の実空間(例えば、一の処理装置)と重ね合わされた状態で表示されるので、表示部に表示される情報が何の情報であるかを、作業者に対し直感的に理解させることができる。
本発明の作業支援システムでは、可搬性を有し、工場内の実空間を撮像する撮像部を更に備え、認識部は、撮像部によって撮像された画像に基づいて作業者が視認していると考えられる処理装置を認識してもよい。この構成の作業支援システムでは、認識部に作業者が視認していると考えられる処理装置を容易に認識させることができる。
本発明の作業支援システムでは、処理装置のそれぞれには、識別部が設けられており、認識部は、撮像部によって撮像された画像に含まれる識別部に基づいて処理装置を認識してもよい。この構成の作業支援システムでは、認識部に作業者が視認していると考えられる処理装置を更に容易に認識させることができる。
本発明の作業支援システムでは、位置情報と処理装置の識別情報とを関連付けて記憶する記憶部と、可搬性を有し、作業者の位置を取得する位置情報取得部と、を更に備え、認識部は、記憶部から作業者の位置と一致する位置情報に関連付けられた処理装置の識別情報の抽出によって処理装置を認識してもよい。この構成の作業支援システムでは、作業者が視認していると考えられる処理装置を容易に認識することができ。
本発明の作業支援システムでは、可搬性を有し、作業者が視認していると考えられる方向を特定する方向特定部を更に備え、記憶部は、位置情報と方向情報と処理装置の識別情報とを関連付けて記憶し、認識部は、記憶部から作業者の位置及び作業者が視認していると考えられる方向と一致する位置情報及び方向情報に関連付けられた処理装置の識別情報の抽出によって処理装置を認識してもよい。この構成の作業支援システムでは、作業者が視認していると考えられる処理装置を精度高く認識することができる。
本発明の作業支援システムでは、表示制御部は、表示部の表示内容を変更すると、所定時間その状態を維持してもよい。この構成の作業支援システムでは、表示される情報が短い時間で連続的に切り替わることを防止できる。
本発明の作業支援システムは、作業者の操作に基づいて、処理装置に関する情報を表示部に表示させるか、生産ラインに関する情報を表示部に表示させるかを切り替える切替部を更に備えてもよい。この構成の作業支援システムでは、作業者が所望する情報を自らの操作によって表示部に表示させることができる。
本発明によれば、作業者の作業効率を向上させることができる。
以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明は省略する。
本実施形態の作業支援システム1は、複数の処理装置が配備された工場で作業する作業者を支援するシステムである。本実施形態では、図2に示されるような、処理装置としての搬送装置35、組合せ計量装置40、製袋包装装置70、シール検査装置75、X線検査装置80、金属検出機85、重量検査装置90、及び箱詰装置95を備える生産ライン(図3参照)30が3ライン(L1〜L3)配備された工場で使用される作業支援システム1を例に挙げて説明する。
搬送装置35は、供給部から組合せ計量装置40にまで物品を搬送し、組合せ計量装置40の投入シュートに物品を供給する装置である。組合せ計量装置40は、物品を所定重量に量り分ける装置である。製袋包装装置70は、物品を包装する袋を製袋しながら、組合せ計量装置40に量り分けられた物品を包装する装置である。シール検査装置75は、製袋包装装置70によって製袋包装された袋の異常を検知する装置である。X線検査装置80は、袋に内包された物品の状態又は異物の混入の有無を検査する装置である。金属検出機85は、袋に内包された物品への金属の混入の有無を検査する装置である。重量検査装置90は、物品が内包された商品の重量を検査する。箱詰装置95は、商品を段ボール箱に詰める装置である。
生産ライン30を構成する処理装置のそれぞれには、図3に示されるように、識別部9が設けられている。識別部9は、例えば、各部品を識別するための情報が埋め込まれた二次元コードである。
図1に示されるように、作業支援システム1は、可搬性を有する眼鏡型のヘッドマウントディスプレイ(以下、「HMD」と称する。)10と、管理サーバ20と、を備える。HMD10は、表示部11と、撮像部15と、入力部16と、通信部17と、を有する。
表示部11は、作業者に提供する情報を表示する。表示部11は、工場内の実空間と作業者に提供する情報とを重ね合わせて表示(重畳表示)する。本実施形態では、工場内の実空間と、処理装置に関する情報又は生産ライン30に関する情報と、が重ね合わせて表示される。表示部11における重畳表示は、例えば表示部11をハーフミラーによって構成したり、撮像部15によって撮像された画像を表示部11に投影したりすることによって実現される。
撮像部15は、工場内の実空間を撮像する。撮像部15は、HMD10を装着した作業者が視認する実空間と、撮像部15によって撮像される実空間とが略一致するように設けられている。すなわち、撮像部15は、作業者の視線方向における前方視界画像を撮像する視界同調カメラである。撮像部15は、撮像したデータを表示部11に表示させる。また、撮像部15は、撮像したデータを管理サーバ20に送信する。
入力部16は、上下左右をそれぞれ選択するキーと、入力を確定するキーとを有している。作業者は、入力部16を操作することによって、表示部11に表示されているメニューを選択したり、メニューを確定したりすることができる。本実施形態の入力部16は、表示部11に表示させる情報を、後段にて詳述する処理装置に関する情報(図7(A)参照)と、後段にて詳述する生産ライン30に関する情報(図7(B)参照)との間で切り替える第二切替部として機能する。
通信部17は、管理サーバ20とデータをやりとりするためのインタフェイスである。管理サーバ20との通信は、無線であってもよいし、有線であってもよい。
管理サーバ20は、CPU(Central Processing Unit)、RAM(Random Access Memory)及びROM(Read Only Memory)等の主記憶部、ハードディスク、フラッシュメモリなどに例示される補助記憶部、キーボード及びマウスなどの入力部、表示画面などの出力部等を含むコンピュータシステムとして構成されている。管理サーバ20は、通信部21、認識部22、及び表示制御部23を備えている。後段にて詳述する認識部22及び表示制御部23における各機能は、CPU、主記憶部等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPUの制御のもと実行される。
管理サーバ20は、搬送装置35、組合せ計量装置40、製袋包装装置70、シール検査装置75、X線検査装置80、金属検出機85、重量検査装置90、及び箱詰装置95のそれぞれと、通信部21を介して通信可能に接続されている。管理サーバ20と各処理装置とは、無線で接続されていてもよいし、有線で接続されていてもよい。また、管理サーバ20は、通信部21を介してHMD10と通信可能に接続されている。
管理サーバ20は、生産ライン30を構成する各種装置の動作を監視する。管理サーバ20は、各処理装置から送信されてくる情報に基づいて、例えば、処理装置ごとの状態(ステータス)、対処方法、次のステータスとなるまでの残り時間を監視したり、生産ラインごとの稼働率を監視したり、全生産ライントータルの稼働率を監視したりする。管理サーバ20は、これらの監視情報を、例えば、図4に示されるような監視情報画面7として、管理サーバ20の表示画面等に表示してもよい。監視情報画面7は、例えば、処理装置ごとの状態(ステータス)、対処方法、次のステータスとなるまでの残り時間を表示する部分7Aと、生産ラインごとの稼働率又は全生産ライントータルの稼働率等を表示する部分7Bと、を有していてもよい。
認識部22は、作業者が視認していると考えられる処理装置を認識する。本実施形態では、認識部22は、HMD10の撮像部15によって撮像された実空間に基づいて作業者が視認していると考えられる処理装置を認識する。すなわち、HMD10の撮像部15によって撮像された実空間から処理装置に設けられた識別部9を抽出し、抽出した識別部9に埋め込まれた情報を取得することによって、作業者が視認していると考えられる処理装置を認識する。これにより、認識部22は、作業者が認識していると考えられる処理装置の種類、数量等を取得することができる。なお、HMD10の撮像部15によって撮像された実空間は、HMD10を装着した作業者が視認する実空間と同調している。
表示制御部23は、HMD10の表示部11に表示される情報の内容を制御する。表示制御部23は、認識部22による処理装置の認識状況に基づいて、作業者が視認していると考えられる処理装置が1台であると判定される場合には、認識部22によって認識された処理装置に関する情報を表示させ、作業者が視認していると考えられる処理装置が2台以上であると判定される場合には、認識部22によって認識された処理装置を含む生産ライン30に関する情報を表示させる。
処理装置に関する情報の例には、例えば、上述の管理サーバ20が管理する情報であって、処理装置各部の動作状況(動作パラメータ)に関する情報を表示する処理装置情報表示画面12A(図7(A)参照)が含まれる。つまり、管理サーバ20が管理する各処理装置に関する情報を、HMD10の表示部11を介して見ることができる。生産ライン30に関する情報の例には、上述の管理サーバ20が管理する情報であって、処理装置ごとの状態(ステータス)、対処方法、次のステータスとなるまでの残り時間、生産ラインごとの稼働率又は全生産ライントータルの稼働率に関する情報等を表示する生産ライン情報表示画面12B(図7(B)参照)が含まれる。つまり、管理サーバ20が管理する生産ライン30に関する情報を、HMD10の表示部11を介して見ることができる。
本実施形態では、表示制御部23は、認識部22が認識する処理装置の種類又は数量等の情報に基づいて、作業者が視認していると考えられる処理装置の数量を判定する。例えば、認識部22が組合せ計量装置40及び製袋包装装置70を認識した場合には、表示制御部23は作業者が視認していると考えられる処理装置が2台であると判定することができる。例えば、認識部22が2つの処理装置を認識した場合には、表示制御部23はその情報をそのまま用いて、作業者が視認していると考えられる処理装置が2台であると判定することができる。更に、本実施形態の表示制御部23は、認識部22による処理装置の認識状況に基づいて、作業者が視認していると考えられる処理装置が0台と判定される場合には、生産ライン30に関する情報を表示させる。表示制御部23は、表示部11における表示内容を変更すると、所定時間その状態を維持する。
次に、図5に示されるように、HMD10を装着した作業者が架台65に配置された組合せ計量装置40を視認した場合について説明する。作業者が視認する実空間と、撮像部15が撮像する実空間とは略一致するので、HMD10の表示部11には、架台65の下から撮像された組合せ計量装置40が表示される。作業者は、HMD10の表示部11を介して、架台65の下から撮像された組合せ計量装置40を見ることができる。
撮像部15は、架台65の下から撮像した組合せ計量装置40のデータを管理サーバ20に送信する。認識部22は、撮像部15から送信されてくるデータに基づいて、作業者が視認していると考えられる処理装置を認識する。本実施形態では、認識部22は、送信されてくるデータの中から組合せ計量装置40に付加された識別部9を抽出し、撮像された処理装置が生産ラインL1に配備された組合せ計量装置40であることを認識する。
表示制御部23は、認識部22によって認識された処理装置が生産ラインL1に配備された組合せ計量装置40であるという情報に基づいて、作業者が視認していると考えられる処理装置が1台であると判定する。次に、表示制御部23は、作業者が視認していると考えられる処理装置が1台であると判定したので、当該組合せ計量装置40に関する情報として、処理装置情報表示画面12A(図5及び図7(A)参照)を表示部11に表示させる。
処理装置情報表示画面12Aには、例えば、組合せ計量装置40の処理速度、目標速度、目標重量、上限値、及び平均重量等が表示される。また、表示部11に一度に表示される情報量は決まっている。作業者は、入力部16の上下左右をそれぞれ選択するキーを操作して、表示部11に表示される情報をスクロールさせることができる。
次に、図6に示されるように、HMD10を装着した作業者が製袋包装装置70とシール検査装置75とX線検査装置80とを視認した場合について説明する。作業者が視認する実空間と、撮像部15が撮像する実空間とは略一致するので、HMD10の表示部11には、製袋包装装置70とシール検査装置75とX線検査装置80とが表示される。作業者は、HMD10の表示部11を介して、製袋包装装置70とシール検査装置75とX線検査装置80とを見ることができる。
撮像部15は、製袋包装装置70とシール検査装置75とX線検査装置80とを撮像したデータを管理サーバ20に送信する。認識部22は、撮像部15から送信されてくるデータに基づいて、作業者が視認していると考えられる処理装置を認識する。本実施形態では、認識部22は、送信されてくるデータの中から製袋包装装置70とシール検査装置75とX線検査装置80とにそれぞれに付加された識別部9を抽出し、撮像された処理装置が生産ラインL1に配備された製袋包装装置70とシール検査装置75とX線検査装置80とであることを認識する。
表示制御部23は、認識部22によって認識された処理装置が生産ラインL1に配備された製袋包装装置70とシール検査装置75とX線検査装置80とであるという情報に基づいて、作業者が視認していると考えられる処理装置が3台であると判定する。次に、表示制御部23は、作業者が視認していると考えられる処理装置が2台以上であると判定したので、当該製袋包装装置70とシール検査装置75とX線検査装置80とを含む生産ライン30に関する情報として、生産ライン情報表示画面12B(図6及び図7(B)参照)を表示部11に表示させる。
生産ライン情報表示画面12Bには、各処理装置のステータス情報等が表示される。生産ライン情報表示画面12Bについても、処理装置情報表示画面12Aと同様に、作業者は、入力部16の上下左右をそれぞれ選択するキーを操作して、表示部11に表示される情報をスクロールさせることができる。
次に、図6に示されるように、HMD10を装着した作業者が、処理装置以外の、例えば、工場の天井151を視認した場合について説明する。作業者が視認する実空間と、撮像部15が撮像する実空間とは略一致するので、HMD10の表示部11には、工場の天井151が表示される。作業者は、HMD10の表示部11を介して、工場の天井151を見ることができる。
撮像部15は、工場の天井151を撮像したデータを管理サーバ20に送信する。認識部22は、撮像部15から送信されてくるデータに基づいて、作業者が視認していると考えられる処理装置を認識する。本実施形態では、認識部22は、送信されてくるデータの中に、識別部9が含まれていないことを認識する。
表示制御部23は、認識部22によって認識された処理装置がないという情報に基づいて、作業者が視認していると考えられる処理装置が0台であると判定する。次に、表示制御部23は、作業者が視認していると考えられる処理装置が0台であると判定したので、生産ライン30に関する情報として、上述の生産ライン情報表示画面12B(図6及び図7(B)参照)を表示部11に表示させる。ここで表示される生産ライン30に関する情報は、全ての生産ラインL1〜L3に関する情報である。
上述したように、表示制御部23が、作業者が視認していると考えられる処理装置に基づいて処理装置情報表示画面12A又は生産ライン情報表示画面12Bを表示部11に表示させた場合であっても、作業者が表示部11に表示された画面とは異なる他方の画面を見たい場合がある。例えば、処理装置情報表示画面12Aが表示された後に、生産ライン30の状態を確かめるために生産ライン情報表示画面12Bを見たいといった場合である。この場合、作業者は、HMD10の入力部16を操作することにより、処理装置情報表示画面12Aから生産ライン情報表示画面12Bに切り替えることができる。すなわち、作業者が所望する情報を表示部11に表示させることができる。また、表示制御部23は、表示部11の表示内容を変更すると、所定時間(例えば、5秒)その状態を維持している。これにより、表示される情報が短い時間で連続的に切り替わることを防止できる。
次に上記実施形態の作業支援システム1の作用効果について説明する。上記実施形態の作業支援システム1では、認識部22による処理装置の認識状況に基づいて、表示制御部23によって作業者が視認していると考えられる処理装置が1台であると判定されると、認識部22によって認識された処理装置に関する情報として処理装置情報表示画面12Aを表示させ、2台以上であると判定されると、認識部22によって認識された処理装置を含む生産ライン30に関する情報として生産ライン情報表示画面12Bを表示させる。これにより、作業者に提供する情報(処理装置に関する情報又は生産ラインに関する情報)を、作業者の状態に基づいて適切なタイミングで提供することができる。この結果、作業者の作業効率を向上させることができる。
上記実施形態では、表示制御部23は、認識部22によって認識された処理装置に基づいて、作業者が視認していると考えられる処理装置が0台と判定される場合には、生産ライン30に関する情報を表示させている。このため、作業者が生産ライン30に関する情報を見たいときには上方を見るといった動作によって、容易に生産ライン30に関する情報を見ることができる。
上記実施形態では、HMD10の表示部11は、工場内の実空間と、処理装置情報表示画面12A又は生産ライン情報表示画面12Bと、を重ね合わせて表示させている。このため、処理装置情報表示画面12A又は生産ライン情報表示画面12Bを、工場内の実空間(例えば、一の組合せ計量装置40)と重ね合わされた状態で表示されるので、表示部11に表示される情報が何の情報であるかを、作業者に対し直感的に理解させることができる。
上記実施形態では、可搬性を有し、工場内の実空間を撮像する撮像部15を更に備え、認識部22は、撮像部15によって撮像された画像に基づいて作業者が視認していると考えられる処理装置を認識している。このため、認識部22に作業者が視認していると考えられる処理装置を容易に認識させることができる。
上記実施形態では、処理装置のそれぞれには、識別部9が設けられており、認識部22は、撮像部15によって撮像された画像に含まれる識別部9に基づいて処理装置を認識している。このため、認識部22に作業者が視認していると考えられる処理装置を更に容易に認識させることができる。
以上、一実施形態について説明したが、本発明は、上記実施形態に限られるものではなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。
<変形例1>
上記実施形態では、各処理装置に識別部9が取り付けられており、認識部22は、撮像部15によって撮像されたデータから識別部9を抽出することにより、処理装置を認識する例を挙げて説明したが、これに限定されない。処理装置の認識は、例えば、撮像部15によって撮像されたデータ、すなわち画像のマッチング等で行ってもよい。すなわち、撮像された画像と予め記憶された処理装置ごとの画像とのマッチングによる方法で特定してもよい。
上記実施形態では、各処理装置に識別部9が取り付けられており、認識部22は、撮像部15によって撮像されたデータから識別部9を抽出することにより、処理装置を認識する例を挙げて説明したが、これに限定されない。処理装置の認識は、例えば、撮像部15によって撮像されたデータ、すなわち画像のマッチング等で行ってもよい。すなわち、撮像された画像と予め記憶された処理装置ごとの画像とのマッチングによる方法で特定してもよい。
<変形例2>
上記実施形態又は変形例1では、認識部22は、撮像部15によって撮像されるデータを用いて処理装置を認識する例を挙げて説明したが、これに限定されない。すなわち、撮像部15を備えない構成であっても、認識部22は、作業者が視認していると考えられる処理装置を認識することが可能である。以下、その一例について説明する。
上記実施形態又は変形例1では、認識部22は、撮像部15によって撮像されるデータを用いて処理装置を認識する例を挙げて説明したが、これに限定されない。すなわち、撮像部15を備えない構成であっても、認識部22は、作業者が視認していると考えられる処理装置を認識することが可能である。以下、その一例について説明する。
すなわち、作業支援システム1は、HMD10の撮像部15を備えない代わりに、又は撮像部15の機能を利用しない代わりに、図1に示されるように、位置情報と処理装置の識別情報とを関連付けて記憶する記憶部24と、可搬性を有し、作業者の位置を取得する位置情報取得部18と、を備えていてもよい。
位置情報取得部18の例は、GPS(Global Positioning System)である。これにより、HMD10を装着した作業者の位置を取得することができる。これにより、認識部22は、記憶部24から作業者の位置と一致する位置情報に関連付けられた処理装置の識別情報を抽出し、抽出した識別情報に基づいて処理装置を認識する。
この変形例2に係る作業支援システム1では、HMD10が撮像部15を備えなくても、又は撮像部15の機能を利用しなくても、作業者が視認していると考えられる処理装置の容易に認識することができると共に、認識していると考えられる処理装置の台数を容易に判定することができる。
<変形例3>
変形例2では、位置情報取得部18として、HMD10に搭載されたGPSを例に挙げて説明したが、これに限定されない。例えば、GPSの電波を受信できない屋内等の所定の領域においてHMD10を装着した作業者の位置を特定することができる測位システムを利用できる。当該測位システムは、発信器153(図8参照)と、HMD10に搭載された位置情報取得部18としての受信器と、を備えて構成される。発信器153は、HMD10によって受信可能な無線信号を送出する。無線信号の例には、BLE(Bluetooth(登録商標) Low Energy)信号、光BLE信号、WiFi(Wireless Fidelity)(登録商標)信号、及び光無線信号等が含まれる。
変形例2では、位置情報取得部18として、HMD10に搭載されたGPSを例に挙げて説明したが、これに限定されない。例えば、GPSの電波を受信できない屋内等の所定の領域においてHMD10を装着した作業者の位置を特定することができる測位システムを利用できる。当該測位システムは、発信器153(図8参照)と、HMD10に搭載された位置情報取得部18としての受信器と、を備えて構成される。発信器153は、HMD10によって受信可能な無線信号を送出する。無線信号の例には、BLE(Bluetooth(登録商標) Low Energy)信号、光BLE信号、WiFi(Wireless Fidelity)(登録商標)信号、及び光無線信号等が含まれる。
発信器153は、予め、HMD10が無線信号を受信することができる範囲に設置される。図8に示されるように、例えば、工場の天井151又は柱等に設置される。発信器153により送出される無線信号には、発信器153を一意に特定する情報、及び信号の受信強度を示す情報が含まれている。発信器153を一意に特定する情報としては、各発信器153に予め設定されたMACアドレス等を用いることができる。また、信号の受信強度を示す情報としては、例えば、RSSI(Received Signal Strength Indication Indicator)を用いることができる。工場内での各位置において、各発信器153からの無線信号の受信強度を示す受信強度が予め計測され、計測された情報が記憶部24(図1参照)に記憶されている。このため、HMD10の搭載された位置情報取得部18が、工場内で発信器153のMACアドレス及び受信強度を取得できれば、工場内の位置を特定することができる。
この変形例3に係る作業支援システム1では、HMD10が撮像部15を備えなくても、又は撮像部15の機能を利用しなくても、作業者が視認していると考えられる処理装置を容易に認識することができると共に、認識していると考えられる処理装置の台数を容易に判定することができる。なお、当該測位システムを採用した場合には、隣接するそれぞれの発信器153から連続して交互に無線信号を受信すること(いわゆるチャタリング現象)が発生することがある。この場合、HMD10は同じ位置に留まっている場合であっても、短い時間で位置が変化したと特定されてしまう。本変形例3では、このように位置情報が変わると認識部22が認識する処理装置の対象も変わり、表示部11に表示される情報も切り替わってしまうおそれがある。そこで、上記実施形態にて説明したように、表示制御部23は、表示部11の表示内容を変更すると、所定時間(例えば、5秒)その状態を維持することが有効な解決手段となる。これにより、表示される情報が短い時間で連続的に切り替わることを防止できる。
<変形例4>
上記変形例2及び変形例3の構成に加え、更に、可搬性を有し、作業者が視認していると考えられる方向を特定する方向特定部19を備えてもよい。方向特定部19の例は、電子コンパスである。方向特定部19は、HMD10を装着した作業者が視認する方向と、方向特定部19によって取得される方向とが略一致するように設けられている。すなわち、方向特定部19は、作業者の視線方向における方向を取得する。また、方向特定部19は、撮像したデータを管理サーバ20に送信する。この場合、記憶部24は、位置情報と方向情報と処理装置の識別情報とを関連付けて記憶し、認識部22は、記憶部24から作業者の位置及び作業者が視認していると考えられる方向と一致する位置情報及び方向情報に関連付けられた処理装置の識別情報を抽出し、抽出した識別情報に基づいて処理装置を認識することができる。
上記変形例2及び変形例3の構成に加え、更に、可搬性を有し、作業者が視認していると考えられる方向を特定する方向特定部19を備えてもよい。方向特定部19の例は、電子コンパスである。方向特定部19は、HMD10を装着した作業者が視認する方向と、方向特定部19によって取得される方向とが略一致するように設けられている。すなわち、方向特定部19は、作業者の視線方向における方向を取得する。また、方向特定部19は、撮像したデータを管理サーバ20に送信する。この場合、記憶部24は、位置情報と方向情報と処理装置の識別情報とを関連付けて記憶し、認識部22は、記憶部24から作業者の位置及び作業者が視認していると考えられる方向と一致する位置情報及び方向情報に関連付けられた処理装置の識別情報を抽出し、抽出した識別情報に基づいて処理装置を認識することができる。
この変形例4に係る作業支援システム1では、HMD10を装着する作業者の位置と作業者が視認していると考えられる処理装置とを関連付ければ、所定の精度で作業者が視認していると考えられる処理装置を認識できると考えられる。しかしながら、所定位置に位置していたとしても作業者が視認している方向は厳密には特定できない。この点、変形例4に係る作業支援システム1では、作業者の視線方向における方向を取得できるので、作業者が視認している方向を高い精度で取得できる。
<変形例5>
上記実施形態又は変形例では、表示部11と、撮像部15と、を備える装置として、可搬性を有する眼鏡型のHMD10を採用した例を挙げて説明したが、例えば、図9に示されるような表示部111と、撮像部115と、を備えるタブレットPC110であってもよい。この場合も、撮像部115を介して表示部111に表示される画像と、作業者が視認する画像とを一致させることができるので、上記実施形態と同様の効果を得ることができる。ただし、タブレットPC110では、作業者が手で保持しなければならない反面、ウェアラブル端末の一つであるHMD10では、作業者の手がフリーになる。このため、HMD10を採用する場合には、作業性に優れる。
上記実施形態又は変形例では、表示部11と、撮像部15と、を備える装置として、可搬性を有する眼鏡型のHMD10を採用した例を挙げて説明したが、例えば、図9に示されるような表示部111と、撮像部115と、を備えるタブレットPC110であってもよい。この場合も、撮像部115を介して表示部111に表示される画像と、作業者が視認する画像とを一致させることができるので、上記実施形態と同様の効果を得ることができる。ただし、タブレットPC110では、作業者が手で保持しなければならない反面、ウェアラブル端末の一つであるHMD10では、作業者の手がフリーになる。このため、HMD10を採用する場合には、作業性に優れる。
<その他の変形例>
上記実施形態又は変形例では、組合せ計量装置40に関係する処理装置情報表示画面12Aを表示部11に表示する例を挙げて説明したが、組合せ計量装置40以外の処理装置、すなわち、搬送装置35、製袋包装装置70、シール検査装置75、X線検査装置80、金属検出機85、重量検査装置90、及び箱詰装置95に関係する処理装置情報表示画面を表示部11に表示してもよい。
上記実施形態又は変形例では、組合せ計量装置40に関係する処理装置情報表示画面12Aを表示部11に表示する例を挙げて説明したが、組合せ計量装置40以外の処理装置、すなわち、搬送装置35、製袋包装装置70、シール検査装置75、X線検査装置80、金属検出機85、重量検査装置90、及び箱詰装置95に関係する処理装置情報表示画面を表示部11に表示してもよい。
1…作業支援システム、7…監視情報画面、9…識別部、11,111…表示部、12A…処理装置情報表示画面、12B…生産ライン情報表示画面、15,115…撮像部、16…入力部(切替部)、17…通信部、18…位置情報取得部、19…方向特定部、20…管理サーバ、21…通信部、22…認識部、23…表示制御部、24…記憶部、30…生産ライン(L1〜L3)、35…搬送装置、40…組合せ計量装置、110…PCタブレット、151…天井、153…発信器。
Claims (9)
- 複数の処理装置によって形成される生産ラインが配備された工場で作業する作業者を支援する作業支援システムであって、
可搬性を有し、前記作業者に提供する情報を表示する表示部と、
前記作業者が視認していると考えられる処理装置を認識する認識部と、
前記表示部に表示される情報の内容を制御する表示制御部と、を備え、
前記表示制御部は、前記認識部による前記処理装置の認識状況に基づいて、前記作業者が視認していると考えられる処理装置が1台であると判定される場合には、前記認識部によって認識された処理装置に関する情報を表示させ、前記作業者が視認していると考えられる処理装置が2台以上であると判定される場合には、前記認識部によって認識された前記処理装置を含む前記生産ラインに関する情報を表示させる、作業支援システム。 - 前記表示制御部は、前記認識部による前記処理装置の認識状況に基づいて、前記作業者が視認していると考えられる処理装置が0台と判定される場合には、前記生産ラインに関する情報を表示させる、請求項1記載の作業支援システム。
- 前記表示部は、前記工場内の実空間と、前記処理装置に関する情報又は前記生産ラインに関する情報と、を重ね合わせて表示させる、請求項1又は2記載の作業支援システム。
- 可搬性を有し、前記工場内の実空間を撮像する撮像部を更に備え、
前記認識部は、前記撮像部によって撮像された実空間に基づいて前記作業者が視認していると考えられる処理装置を認識する、請求項1〜3の何れか一項記載の作業支援システム。 - 前記処理装置のそれぞれには、識別部が設けられており、
前記認識部は、前記撮像部によって撮像された画像に含まれる前記識別部に基づいて前記処理装置を認識する、請求項4記載の作業支援システム。 - 位置情報と前記処理装置の識別情報とを関連付けて記憶する記憶部と、
可搬性を有し、前記作業者の位置を取得する位置情報取得部と、を更に備え、
前記認識部は、前記記憶部から前記作業者の位置と一致する前記位置情報に関連付けられた前記処理装置の識別情報の抽出によって前記処理装置を認識する、請求項1〜3の何れか一項記載の作業支援システム。 - 可搬性を有し、前記作業者が視認していると考えられる方向を特定する方向特定部を更に備え、
前記記憶部は、前記位置情報と方向情報と前記処理装置の識別情報とを関連付けて記憶し、
前記認識部は、前記記憶部から前記作業者の位置及び前記作業者が視認していると考えられる方向と一致する前記位置情報及び前記方向情報に関連付けられた前記処理装置の識別情報の抽出によって前記処理装置を認識する、請求項6記載の作業支援システム。 - 前記表示制御部は、前記表示部の表示内容を変更すると、所定時間その状態を維持する、請求項1〜7の何れか一項記載の作業支援システム。
- 前記作業者の操作に基づいて、前記処理装置に関する情報を前記表示部に表示させるか、前記生産ラインに関する情報を前記表示部に表示させるかを切り替える切替部を更に備える、請求項1〜8の何れか一項記載の作業支援システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017167370A JP2019046067A (ja) | 2017-08-31 | 2017-08-31 | 作業支援システム |
EP18849739.0A EP3677973A4 (en) | 2017-08-31 | 2018-08-01 | WORK SUPPORT SYSTEM |
US16/641,097 US20200258305A1 (en) | 2017-08-31 | 2018-08-01 | Work support system |
CN201880055627.3A CN111052017A (zh) | 2017-08-31 | 2018-08-01 | 作业辅助系统 |
PCT/JP2018/028922 WO2019044346A1 (ja) | 2017-08-31 | 2018-08-01 | 作業支援システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017167370A JP2019046067A (ja) | 2017-08-31 | 2017-08-31 | 作業支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019046067A true JP2019046067A (ja) | 2019-03-22 |
Family
ID=65527303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017167370A Pending JP2019046067A (ja) | 2017-08-31 | 2017-08-31 | 作業支援システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200258305A1 (ja) |
EP (1) | EP3677973A4 (ja) |
JP (1) | JP2019046067A (ja) |
CN (1) | CN111052017A (ja) |
WO (1) | WO2019044346A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI808669B (zh) * | 2022-03-04 | 2023-07-11 | 國眾電腦股份有限公司 | 多點同步指導偕同作業系統及其方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008003781A (ja) * | 2006-06-21 | 2008-01-10 | Konica Minolta Holdings Inc | 作業監視システム |
WO2013094366A1 (ja) * | 2011-12-22 | 2013-06-27 | 村田機械株式会社 | 産業機械システムおよび産業機械システム用情報処理機器 |
WO2014030256A1 (ja) * | 2012-08-24 | 2014-02-27 | 富士機械製造株式会社 | 電気回路製造ライン支援システム |
JP6344890B2 (ja) * | 2013-05-22 | 2018-06-20 | 川崎重工業株式会社 | 部品組立作業支援システムおよび部品組立方法 |
JP2016208331A (ja) | 2015-04-24 | 2016-12-08 | 三菱電機エンジニアリング株式会社 | 作業支援システム |
JP6295995B2 (ja) * | 2015-04-28 | 2018-03-20 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、画像処理装置へのジョブ指示方法 |
JP2017049916A (ja) * | 2015-09-04 | 2017-03-09 | 株式会社東芝 | 眼鏡型電子機器、作業管理システムおよび情報管理サーバ |
-
2017
- 2017-08-31 JP JP2017167370A patent/JP2019046067A/ja active Pending
-
2018
- 2018-08-01 CN CN201880055627.3A patent/CN111052017A/zh active Pending
- 2018-08-01 WO PCT/JP2018/028922 patent/WO2019044346A1/ja unknown
- 2018-08-01 EP EP18849739.0A patent/EP3677973A4/en not_active Withdrawn
- 2018-08-01 US US16/641,097 patent/US20200258305A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP3677973A1 (en) | 2020-07-08 |
CN111052017A (zh) | 2020-04-21 |
WO2019044346A1 (ja) | 2019-03-07 |
US20200258305A1 (en) | 2020-08-13 |
EP3677973A4 (en) | 2021-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3246660B1 (en) | System and method for referencing a displaying device relative to a surveying instrument | |
US9154742B2 (en) | Terminal location specifying system, mobile terminal and terminal location specifying method | |
EP2495970A1 (en) | Display image switching device and display method | |
US20150192774A1 (en) | Support device and system for article picking work | |
US20170200048A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium storing program | |
JP6364952B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
US10254748B2 (en) | Inspection work support device, inspection work support system, and inspection work support method | |
EP3822923A1 (en) | Maintenance assistance system, maintenance assistance method, program, method for generating processed image, and processed image | |
JP6332568B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
EP2778628A2 (en) | Measurement system with image capture capabilities | |
JP2015102880A (ja) | 作業支援システム | |
CN112188152A (zh) | 远程作业支援系统 | |
JPWO2017169907A1 (ja) | 作業支援装置、作業支援方法および記録媒体 | |
CN113227719B (zh) | 测定系统、测定装置、测定方法以及程序 | |
JP6690277B2 (ja) | 画像処理制御方法、画像処理制御プログラムおよび情報処理装置 | |
CN110874699B (zh) | 记录物品的物流信息方法、装置及系统 | |
JP2021077127A (ja) | アイウェア装置を用いた管理システムおよび管理方法 | |
WO2019044346A1 (ja) | 作業支援システム | |
JP7001711B2 (ja) | カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器 | |
JP6686319B2 (ja) | 画像投影装置及び画像表示システム | |
WO2020003644A1 (ja) | 漏洩ガス検出装置および漏洩ガス検出方法 | |
JP2019020914A (ja) | 物体識別システム | |
WO2019039219A1 (ja) | 作業支援システム | |
JPWO2017169909A1 (ja) | 作業支援装置、ウェアラブル端末、作業支援方法およびコンピュータプログラム | |
US10469673B2 (en) | Terminal device, and non-transitory computer readable medium storing program for terminal device |