JP2020009276A - 作業支援システム、作業支援システム用のサーバ装置およびプログラム - Google Patents
作業支援システム、作業支援システム用のサーバ装置およびプログラム Download PDFInfo
- Publication number
- JP2020009276A JP2020009276A JP2018131182A JP2018131182A JP2020009276A JP 2020009276 A JP2020009276 A JP 2020009276A JP 2018131182 A JP2018131182 A JP 2018131182A JP 2018131182 A JP2018131182 A JP 2018131182A JP 2020009276 A JP2020009276 A JP 2020009276A
- Authority
- JP
- Japan
- Prior art keywords
- work
- worker
- viewpoint position
- viewpoint
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 190
- 230000008569 process Effects 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 15
- 230000002123 temporal effect Effects 0.000 claims abstract description 9
- 238000012790 confirmation Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 28
- 238000012423 maintenance Methods 0.000 description 24
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 16
- 230000010365 information processing Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000007689 inspection Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- General Factory Administration (AREA)
Abstract
Description
本実施の形態の作業支援システムは、図1に示すように、作業場所4にいる作業者が携帯して作業の状況を送信するとともに作業指示を受信する携帯端末1と、作業者が装着するヘッドマウント装置(HMD:Head Mounted Display)5と、携帯端末1とネットワーク3を介してデータを送受信するサーバ装置2と、を備える。サーバ装置2は、携帯端末1から供給された情報を記憶するとともに供給された情報に基づいて作業者の作業習熟度を判定し、保守作業に必要とされる作業手順書を読み出して携帯端末1に提供する。また、HMD5は、携帯端末1に有線あるいは無線により接続されている。
記憶部12は、制御部11が実行する制御プログラムを記憶する。また、記憶部12は、視野カメラ6、アイカメラ7で撮影された映像の記憶、作業手順書の記憶のための記憶部としても機能する。
入出力部14は、HMD5との間でデータを送受信する入出力インタフェースである。
操作部15は、制御部11に種々の指示を入力する装置であり、キーボード、操作ボタン、音声入力機器などを備える。
画像処理部22は、アイカメラ7で撮影された目の動きの映像を画像処理して、視点位置データを生成する生成部と、視点位置データを視野カメラ6の映像に重畳して画像を合成する合成部からなり、合成された映像をサーバ装置2に送る。
作業手順表示部23は、サーバ装置2から受信した作業手順書を記憶部21の作業手順記憶部25に記憶するとともに、HMD5の表示部8に表示する。
記憶部21は、画像処理部22で処理された視野映像、視点位置データを記憶する映像記憶部24と、作業手順書を記憶する作業手順記憶部25を有している。
映像情報処理部33の詳細については、さらに後述する。
記憶部52は、制御部51が実行する制御プログラムを記憶する。また、記憶部52は、図4に示す各種データベース37〜40としても機能する。
入力部54は、制御部51に種々の指示を入力する装置であり、キーボード、操作ボタン、音声入力機器などを備える。
通信部55は、ネットワーク3を介して携帯端末1との間で通信を行う。通信部55は、制御部51と協働して、図4に示すネットワーク入力部31とネットワーク出力部32を構成する。
変換された視点位置座標データは映像情報データベース37に記憶されるとともに、視点分布作成部63、作業曲線作成部64に送られる。
習熟度データベース作成部35は、これらの情報に加え、作業履歴データベース38に記録された情報に基づき作業者習熟度データベース39に記録する。
習熟度データベース作成部35は、判定部65の視点による判定、作業履歴データベース38から読み出された作業時間、同一工程の作業の経験回数、最終作業日からの経過日数、過去の判定結果等を一覧として表示する。管理者は、この実績一覧、視点分布、作業曲線をもとに作業者の習熟度を評価し、評価結果を一覧とともに作業者習熟度データベース39に記録する。
評価は「A:作業を一人でできる且つ作業を人に教えられる」「B:作業を一人でできるが、作業を人に教えられない」「C:作業を一人でできない」「D:作業をしたことがない」の4段階に区分して記録される。マスタ表の配列として作業者、機種、工程は任意に組み替えることができる。
作業手順の表示について、作業曲線の比較判定の結果、マスターしていないと判定された作業手順の表示は省略されず、マスターしたと判定された作業手順の表示は省略されてもよい。また、上記では、作業手順の記載の表示、非表示としたが、作業手順の説明を部分的に表示、非表示としてもよい。また、表示、非表示とするのではなく、簡略に説明がなされたもの、詳細に説明がなされたものをいくつか用意しておき、判定結果に応じて選択してもよい。
この習熟度判定結果に基づき、作業手順書は作成される。したがって、熟練者になるほど作業手順書に表示される作業手順は減少するが、熟練者でも久しぶりの作業により忘れや、作業の遅れが発生する場合は作業手順の表示を増加させる。また、習熟度判定結果は、その作業の経験回数、前回の作業からの経過時間に応じて変更されてもよい。
作業者による実作業終了後に視点位置データにより判定した結果が作業者習熟度データベース39に記憶され、作業者習熟度データベース39に記憶されたこれまでの作業回数、前回からの作業経過時間、これまでの習熟度判定結果等に基づき、作業手順書の内容は変更される。
これに対して、リアルタイムにおいて作業者の作業中の視点位置データから作業手順書の内容を動的に変更することも可能である。
ここでは、作業手順ごとに基準曲線に設定された基準点における基準視点位置と時間が作業者の作業時の視点を示す実績曲線と比較され、作業手順書の手順内容の増減が判断される。
作業位置P2(P2’)への移動が確認されたところで(ステップS107:Yes)、次に作業位置P3へ移動したかどうかが判断される(ステップS108)。作業位置P3(P3’)への移動は基準時間内に確認されることから(ステップS108:Yes、ステップS109:Yes)、作業手順書の表示を減少させる(ステップS111)。このように、作業が順調にすすんでいる時は位置と時間に差が生じないため作業手順書の表示は少なくなる。そして次の基準点である作業終了位置P4に移動したかどうかが判断される(ステップS115)。ここでは基準時間より短い基準時間−α内で作業終了位置P4(P4’)へ視点が移動している(ステップS115:Yes、ステップS116:No)。作業が基準時間−α内で終了した場合、作業手順書は非表示とされる(ステップS117)。以上により作業の進捗、作業者の熟練度に合わせた動的な作業手順書の表示は可能となる。
例えば図8において、作業手順1の作業開始位置以外に作業終了位置と中間位置の2箇所が基準点として追加されている。作業手順2において、作業終了位置と中間位置として2箇所の合計3箇所、作業手順3において、作業終了位置と中間位置の2箇所が基準点として追加設定されている。
各基準点の間は熟練者による基準時間が設定されており、判断対象の基準点が増えること以外は図12のフローチャートと同様の流れで判断がなされる。
これによって、作業者がその作業手順についてマスターしているのかがより確実に判断される。また、作業者がその作業手順の中でどの部分についてまだ未習熟であるのかより細かに判断できる。
作業場所4にいる作業者は、作業開始に合わせて携帯端末1を起動して、サーバ装置2にログインする(ステップS201)。サーバ装置2は携帯端末1のログインによりユーザ認証を行い、担当作業者が作業対象物について作業を開始することを認識する(ステップS202)。作業者は、保守・メンテナンス作業の対象物の機種を選択する(ステップS203)。サーバ装置2は、ログインした作業者と選択された作業対象物から作業者が作業する保守・メンテナンス作業の項目を対応づけ、検査結果の記録及び作業時間の記録を開始する(ステップS204)。作業者はアイカメラ7と視野カメラ6を起動する(ステップS205)。サーバ装置2は携帯端末1から送られてくる映像データ・視点位置データを記録する(ステップS206)。アイカメラ7、視野カメラ6の起動を忘れると携帯端末1への試験入力を不可能とすることで、アイカメラ7、視野カメラ6の稼動漏れを防止する。
現地の作業者が作業を開始し(ステップS207)、作業者の保守・メンテナンス作業が完了すると(ステップS208:Yes)、サーバ装置2は作業者の作業時間の記録、作業者の映像データ・視点位置データの記録を終了する(ステップS209)。
また作業者は携帯端末1をログアウトし現地作業を終了する(ステップS210)。
第1の実施の形態では、作業手順ごとに基準点を設けて、基準点における熟練者の基準視点位置と作業者の視点を比較して熟練度を判定した。これに対して一工程内の作業手順毎に作業曲線を区分けして、作業手順毎の熟練者の視点位置の軌跡を基準曲線パターンとして、この作業手順毎の基準曲線パターンと作業者の視点位置の軌跡である作業曲線を作業手順毎にパターン比較して熟練度を判定してもよい。
作業者の作業曲線と基準曲線パターンが一致していれば、その作業についてマスターしていると判定される。縦軸の動きは同じではあるものの、横軸である時間軸と一致しておらず、曲線が時間軸方向に延びている場合は、作業内容は理解されているものの作業に時間がかかっていると判定される。逆に曲線が時間軸方向に縮んでいる場合は、その作業を十分マスターしていると判断される。ただし、あまりにも時間が短縮されている場合は作業が丁寧になされていない可能性もあり、作業者が作業の際に入力した作業結果を参照する必要がある。作業曲線が基準パターンと一致しない場合は、作業をマスターしていないと判定される。
第1の実施の形態は、他の作業者による作業支援を受けずに作業者が一人で作業する場合であったが、図14に示すように、作業者が遠隔作業者による作業支援を受けている場合の映像データ、作業時間等の作業状況の記録について説明する。
作業者U1は、携帯端末73とサーバ装置70の間でネットワークを介して送受信が可能であり、作業者U2は、携帯端末74とサーバ装置70の間でネットワークを介して送受信が可能である。作業者U1と作業者U2は、携帯端末73と携帯端末74の間でサーバ装置70を通じて送受信が可能である。
作業者U1が作業を行い(ステップS418)、作業を完了すると(ステップS419)、作業者U2は作業者U1の連絡を受け、携帯端末74を通常モードに戻し、自身の作業に戻る(ステップS420)。
作業者U1の保守・メンテナンス作業が完了するとサーバ装置70は作業者U1の作業時間の記録、作業者U1の映像データ・視点データの記録を終了する(ステップS421)。
また作業者U1は携帯端末73をログアウトし現地作業を終了する(ステップS422)。
同様に作業者U2の保守・メンテナンス作業が完了すると(ステップS423:Yes)、サーバ装置70は作業者U2の作業時間の記録、作業者U2の映像データ・視点データの記録を終了する(ステップS424)。
作業者U2は携帯端末74をログアウトし現地作業を終了する(ステップS425)。
これに対して、他の例として、図16に示すように、サーバ装置70が作業者U1から直接連絡を受けることにより記録の区別を変更する処理の流れを示す。
Claims (10)
- 作業者の作業中の視点位置を検出して視点位置データを生成する生成部と、
前記生成部が生成した前記視点位置データから前記視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
前記作業曲線に対して作業工程内の各作業手順内に設定された第1の基準点と第2の基準点の間の作業者の視点位置の移動が基準時間内に行われるかに基づいて、前記作業者の作業習熟度を判定する判定部と、を備える作業支援システム。 - 前記第1の基準点と前記第2の基準点の視点位置は、作業手順において確認が必須の作業箇所に対する視点位置である請求項1に記載の作業支援システム。
- 前記第1の基準点と前記第2の基準点の視点位置は、作業手順における作業開始時の視点位置である請求項1に記載の作業支援システム。
- 前記基準時間は、熟練者の視点位置が前記第1の基準点の視点位置から前記第2の基準点の視点位置まで移動するのに要する時間である請求項1に記載の作業支援システム。
- さらに前記判定部の判定結果に基づいて作業手順書を作成する作業手順作成部を有する請求項1に記載の作業支援システム。
- 作業者の作業中の視点位置を検出して視点位置データを生成する生成部と、
前記生成部が生成した前記視点位置データから前記視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
一工程内の作業手順毎に、前記作業曲線作成部で作成された作業曲線と予め設定された基準曲線パターンとを比較して前記作業者の作業習熟度を判定する判定部と、
を備える作業支援システム。 - 作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
前記作業曲線に対して予め設定された第1の基準点と第2の基準点との間での視点位置の移動時間に基づいて、前記作業者の作業習熟度を判定する判定部と、
を備える作業支援システム用のサーバ装置。 - 作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
作業手順毎に、前記作業曲線作成部で作成された作業曲線と予め設定された基準曲線パターンとを比較して前記作業者の作業習熟度を判定する判定部と、
を備える作業支援システム用のサーバ装置。 - コンピュータを、
作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部、
前記作業曲線に対して予め設定された第1の基準点と第2の基準点との間での視点位置の移動時間に基づいて、前記作業者の作業習熟度を判定する判定部、
として機能させるプログラム。 - コンピュータを、
作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部、
前記作業曲線作成部で作成された作業曲線と予め設定された基準曲線パターンとを比較して前記作業者の作業習熟度を判定する判定部、
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018131182A JP7138499B2 (ja) | 2018-07-11 | 2018-07-11 | 作業支援システム、作業支援システム用のサーバ装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018131182A JP7138499B2 (ja) | 2018-07-11 | 2018-07-11 | 作業支援システム、作業支援システム用のサーバ装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020009276A true JP2020009276A (ja) | 2020-01-16 |
JP7138499B2 JP7138499B2 (ja) | 2022-09-16 |
Family
ID=69151909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018131182A Active JP7138499B2 (ja) | 2018-07-11 | 2018-07-11 | 作業支援システム、作業支援システム用のサーバ装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7138499B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021179886A (ja) * | 2020-05-15 | 2021-11-18 | 三菱電機株式会社 | 作業支援装置、作業支援方法及びプログラム |
WO2023054043A1 (ja) * | 2021-10-01 | 2023-04-06 | ダイキン工業株式会社 | 情報処理システム、情報処理方法、情報処理プログラム |
JP7425166B1 (ja) | 2022-11-30 | 2024-01-30 | カリツー株式会社 | 物流作業評価支援システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269588A (ja) * | 2007-03-29 | 2008-11-06 | Matsushita Electric Ind Co Ltd | 認識装置、認識方法及び認識プログラム |
JP2012234406A (ja) * | 2011-05-02 | 2012-11-29 | Kawasaki Heavy Ind Ltd | 作業支援装置および作業支援方法 |
WO2017119127A1 (ja) * | 2016-01-08 | 2017-07-13 | 三菱電機株式会社 | 作業支援装置、作業学習装置及び作業支援システム |
JP2017162307A (ja) * | 2016-03-10 | 2017-09-14 | 富士通株式会社 | 支援装置、支援方法および支援プログラム |
JP2017187961A (ja) * | 2016-04-07 | 2017-10-12 | 富士電機株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
-
2018
- 2018-07-11 JP JP2018131182A patent/JP7138499B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269588A (ja) * | 2007-03-29 | 2008-11-06 | Matsushita Electric Ind Co Ltd | 認識装置、認識方法及び認識プログラム |
JP2012234406A (ja) * | 2011-05-02 | 2012-11-29 | Kawasaki Heavy Ind Ltd | 作業支援装置および作業支援方法 |
WO2017119127A1 (ja) * | 2016-01-08 | 2017-07-13 | 三菱電機株式会社 | 作業支援装置、作業学習装置及び作業支援システム |
JP2017162307A (ja) * | 2016-03-10 | 2017-09-14 | 富士通株式会社 | 支援装置、支援方法および支援プログラム |
JP2017187961A (ja) * | 2016-04-07 | 2017-10-12 | 富士電機株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021179886A (ja) * | 2020-05-15 | 2021-11-18 | 三菱電機株式会社 | 作業支援装置、作業支援方法及びプログラム |
WO2023054043A1 (ja) * | 2021-10-01 | 2023-04-06 | ダイキン工業株式会社 | 情報処理システム、情報処理方法、情報処理プログラム |
JP2023053626A (ja) * | 2021-10-01 | 2023-04-13 | ダイキン工業株式会社 | 情報処理システム、情報処理方法、情報処理プログラム |
JP7425166B1 (ja) | 2022-11-30 | 2024-01-30 | カリツー株式会社 | 物流作業評価支援システム |
Also Published As
Publication number | Publication date |
---|---|
JP7138499B2 (ja) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10339382B2 (en) | Feedback based remote maintenance operations | |
US11231897B2 (en) | Display system, display device, information display method, and program | |
US10642564B2 (en) | Display system, display device, information display method, and program | |
RU2639654C2 (ru) | Устройство отображения, головной дисплей, система отображения и способ управления для устройства отображения | |
US20160165170A1 (en) | Augmented reality remote control | |
JP2020009276A (ja) | 作業支援システム、作業支援システム用のサーバ装置およびプログラム | |
KR101430614B1 (ko) | 웨어러블 안경을 이용한 디스플레이 장치 및 그 동작 방법 | |
JP6646511B2 (ja) | 技能伝承システム及び方法 | |
CN108416235B (zh) | 显示界面防偷窥的方法、装置、存储介质及终端设备 | |
CN106575194A (zh) | 信息处理设备和控制方法 | |
CN103946734A (zh) | 叠加有对于外部设备的控制和指令的可穿戴计算机 | |
JP6687157B2 (ja) | 表示装置および表示システム | |
JP6969807B2 (ja) | 作業支援システム | |
JP2007320715A (ja) | 作業関連情報提供システム、及び作業関連情報提供方法 | |
JP2006276748A (ja) | 情報呈示装置、情報呈示方法、及びコンピュータプログラム | |
JP6670580B2 (ja) | 建築分野用システム | |
JP2020149139A (ja) | 作業支援システム、作業支援方法、及びプログラム | |
US10530945B2 (en) | Display device and display system | |
JP6540426B2 (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
KR20180116044A (ko) | 증강현실용 디바이스와 그 증강현실 출력 방법 | |
JP2020149138A (ja) | 作業支援システム、作業支援方法、及びプログラム | |
JP6733401B2 (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
JP2017009741A (ja) | 画像表示システム、画像表示装置、頭部装着型表示装置及びプログラム | |
WO2017122508A1 (ja) | 情報表示システムおよび情報表示方法 | |
WO2024034416A1 (ja) | 支援装置、支援システムおよび支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210324 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7138499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |