JP2020144776A - 作業支援システム、作業支援装置、及び作業支援方法 - Google Patents
作業支援システム、作業支援装置、及び作業支援方法 Download PDFInfo
- Publication number
- JP2020144776A JP2020144776A JP2019042642A JP2019042642A JP2020144776A JP 2020144776 A JP2020144776 A JP 2020144776A JP 2019042642 A JP2019042642 A JP 2019042642A JP 2019042642 A JP2019042642 A JP 2019042642A JP 2020144776 A JP2020144776 A JP 2020144776A
- Authority
- JP
- Japan
- Prior art keywords
- information
- line
- worker
- work
- work support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 118
- 238000012937 correction Methods 0.000 claims abstract description 62
- 230000010365 information processing Effects 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims description 40
- 230000008859 change Effects 0.000 claims description 11
- 230000003387 muscular Effects 0.000 claims description 2
- 230000004304 visual acuity Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003183 myoelectrical effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000000695 crystalline len Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- General Factory Administration (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
ションを行うナビゲーション装置が開示されている。ナビゲーション装置は、使用者が装着したウェアラブルモニタのカメラが撮影した撮影画像データに特徴点抽出及びトラッキングを行って得た3次元情報、位置情報受信機が取得した位置情報、及びジャイロセンサが取得した使用者の視線の方位を示す方位情報を基に、ナビゲーション画像データを生成し、撮影画像データと重ね合わせて表示画像データを生成する手段を備える。
業対象設備400を含む。これらの装置は、いずれも情報処理装置(コンピュータ)を用いて構成されており、通信ネットワーク5を介して互いに通信可能に接続されている。通信ネットワーク5は、無線方式または有線方式の通信手段であり、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット、公衆通信網(公衆
データ通信網、公衆電話網等)、専用線等である。
)を出力して作業者2を誘導する。
Only Memory)、RAM(Random Access Memory)、不揮発性メモリ(NVRAM(Non Volatile RAM))等である。
)、光学式記憶装置(CD(Compact Disc)、DVD(Digital Versatile Disc)等)、ストレージシステム、ICカード、SDカードや光学式記録媒体等の記録媒体の読取/書込装置、クラウドサーバの記憶領域等である。補助記憶装置13には、記録媒体の読取装置や通信装置16を介してプログラムやデータを読み込むことができる。補助記憶装置13に格納(記憶)されているプログラムやデータは主記憶装置12に随時読み込まれる。
ード、マウス、タッチパネル、カードリーダ、音声入力装置等である。
段を介した他の装置との間の通信を実現する無線方式又は有線方式の通信インタフェースであり、例えば、NIC(Network Interface Card)、無線通信モジュール、USB(Universal Serial Bus)モジュール、シリアル通信モジュール等である。
イス等を含んで構成される。また出力装置15は、AR(Augmented Reality:拡張現実
)機能を備えており、2次元又は3次元で表された現実の風景(本例では作業者2が現在眺めている現場の風景)に仮想的な映像を重ねて表示することができる。出力装置15は、例えば、ハーフミラーを利用して虚像を形成する虚像投影方式、人の目の水晶体を利用して網膜に直接結像させる網膜投影方式等の方式により、現実の風景に仮想的な映像を重ねて表示する。作業者端末200の出力装置15の一例として、眼鏡型のウェアラブルデバイス(HMD(Head Mounted Display))がある。
位センサ、赤外線センサ、マイクロフォン、照度センサ、温度センサ、気圧センサ等である。
である。作業者端末200は、これら各種センサ17から取得される情報(以下、「センサ情報」と称する。)に基づき、作業者2の現在位置、作業者2の現在の姿勢や動作、作業者2と作業対象設備400との位置関係等の情報を取得し、これらの情報を上記センサ情報とともに作業支援装置100に随時送信する。
の各機能を備える。
を生成し、生成した表示内容を出力装置15(表示装置)に出力(表示)する。またコンテンツ生成出力部280は、作業環境認識部270が生成する情報に基づき、ARによる表示内容があたかも実空間上に存在しているかのように見えるように、映像の表示制御を行う。
300の入力装置14を介して受け付けた情報等の移動計測端末300に関する情報である移動計測端末情報302を記憶する。
。所要時間1024には、当該作業手順に割り当てられている時間が設定される。対象設備1025には、当該作業手順において作業対象となる作業対象設備400の識別子(以下、「対象設備ID」と称する。)が設定される。作業姿勢1026には、当該作業手順による作業を行う際に作業者2がとる作業姿勢を示す情報が設定される。
接地面を示す情報が設定される。姿勢情報1046には、当該レコードの作業を行う際に作業者2がとるべき作業姿勢を示す情報が設定される。精度情報1047には、当該レコードの作業を行う際に作業者2がとるべき、より詳細な作業姿勢を示す情報が設定される。
置を示す情報(xyz座標による情報等)が設定される。
、経路補正情報生成部150は、作業者端末200から送られてくる、模倣者の視線位置を示す情報の更新を待機した後(S1719)、更新後の視線位置に基づき再び経路補正情報106を生成し(S1716)、生成した経路補正情報106を作業者端末200に送信する(S1717)。一方、上記の差が予め設定された所定範囲内であれば(S1718:YES)、処理はS1720に進む。
X=μ±2σ ・・・ 式1
作業者個人情報101を検索して該当するレコードを取得する(S1911)。
ΔX=α×(w1−w2) ・・・ 式2
ΔX=α×(Σ(w1−w2)+・・・+(n1−n2)) ・・・ 式3
ば、通信ネットワーク5経由で取得される。)を適宜参照することができる。
ード、SDカード、DVD(Digital Versatile Disc)の記録媒体に格納することができる。
プロセッサ、12 主記憶装置、13 補助記憶装置、14 入力装置、15 出力装置、16 通信装置、17 各種センサ、100 作業支援装置、110 記憶部、120 作業者情報取得部、130 作業手順設定部、140 経路情報生成部、150 経路補正情報生成部、160 経路補正情報送信部、200 作業者端末、210 記憶部
、215 センサ情報取得部、250 視線位置取得部、260 経路補正情報受信部、280 コンテンツ生成出力部、290 情報送信部、300 移動計測端末、400 作業対象設備、101 作業者個人情報、102 作業手順情報、103 視線移動履歴情報、104 模範者経路情報、105 経路情報、106 経路補正情報、107 作業状況情報、108 作業空間情報、109 作業姿勢情報、111 移動計測端末情報、112 設備管理情報、S1700 作業支援処理、S1715 経路情報生成処理、S1716 経路補正情報生成処理
Claims (15)
- 現場で作業する作業者を支援する作業支援システムであって、
前記作業者によって所持される作業者端末と、
前記作業者端末と通信可能に接続する情報処理装置である作業支援装置と、
を備え、
前記作業支援装置は、
作業者が作業対象について過去に作業した際の視線の移動履歴である視線移動履歴情報を記憶し、
前記視線移動履歴情報に基づき、作業の模範者となる作業者が作業した場合における、基準となる時刻からの経過時間に対応づけて前記模範者の視線位置である模範者視線位置を示した情報である経路情報を生成し、
作業の模倣者である作業者が作業対象について作業を行う際、当該作業者の視線位置を誘導する情報である経路補正情報を前記経路情報に基づき生成し、
前記作業者端末は、前記経路補正情報に基づくコンテンツを出力する、
作業支援システム。 - 請求項1に記載の作業支援システムであって、
前記作業者端末は、前記模倣者の現在の視線位置を示す情報である模倣者視線位置を取得するセンサを備え、
前記作業支援装置は、
前記模倣者と前記模範者の体格差を示す情報を記憶し、
前記模倣者視線位置と前記体格差に基づき、前記経路情報における前記模範者視線位置を補正することにより、前記経路補正情報を生成する、
作業支援システム。 - 請求項2に記載の作業支援装置であって、
前記体格差は、前記模倣者と前記模範者の夫々の身長、視力、骨格、関節、及び筋力のうちの少なくとも何れかの差に基づく情報である、
作業支援システム。 - 請求項2に記載の作業支援装置であって、
前記作業支援装置は、
各種センサを備えた移動計測端末と通信可能に接続し、
前記模倣者視線位置を前記移動計測端末の前記センサから取得される情報に基づき取得する、
作業支援システム。 - 請求項2に記載の作業支援システムであって、
前記作業支援装置は、前記経過時間に沿って前記経路情報の各前記模範者視線位置についての前記経路補正情報を順次生成し、
前記作業者端末は、前記模倣者視線位置と前記経路情報の前記模範者視線位置との差が予め設定された所定範囲内となる度に、出力する前記コンテンツを、次の前記模範者視線位置の前記経路補正情報に基づく内容に更新する、
作業支援システム。 - 請求項1に記載の作業支援システムであって、
前記作業支援装置は、前記視線移動履歴情報から前記模範者の視線移動情報である模範者経路情報を取得し、前記模範者経路情報から選択した一部の前記模範者視線位置に基づき前記経路情報を生成する、
作業支援システム。 - 請求項6に記載の作業支援システムであって、
前記作業支援装置は、前記模範者視線位置の時間変化が予め設定された範囲を超えた時点の前記模範者視線位置を選択して前記経路情報を生成する、
作業支援システム。 - 請求項7に記載の作業支援システムであって、
前記範囲は、前記模範者視線位置の移動平均と標準偏差とに基づき設定される、
作業支援システム。 - 請求項1に記載の作業支援システムであって、
前記作業支援装置は、
複数の作業者の前記視線移動履歴情報を記憶し、
前記視線移動履歴情報の夫々に、前記作業者の作業経験、総作業時間、視線位置の総移動距離のうちの少なくとも何れかに基づく優先順位を設定し、
前記優先順位が高い前記作業者の前記視線移動履歴情報に基づき前記経路情報を生成する、
作業支援システム。 - 請求項1に記載の作業支援システムであって、
前記作業者端末は、
現場の映像を撮影する撮影装置と、
映像を表示する表示装置と、
を備え、
前記コンテンツとして、前記経路補正情報に基づく情報を、前記撮影装置で撮影された映像に重畳して前記表示装置に表示する、
作業支援システム。 - 請求項1に記載の作業支援システムにおける前記作業支援装置であって、
作業者が作業対象について過去に作業した際の視線の移動履歴である視線移動履歴情報を記憶し、
前記視線移動履歴情報に基づき、作業の模範者となる作業者が作業した場合における、基準となる時刻からの経過時間に対応づけて前記模範者の視線位置である模範者視線位置を示した情報である経路情報を生成し、
作業の模倣者である作業者が作業対象について作業を行う際、当該作業者の視線位置を誘導する情報である経路補正情報を前記経路情報に基づき生成する、
作業支援装置。 - 請求項11に記載の作業支援装置であって、
前記作業者端末は、前記模倣者の現在の視線位置を示す情報である模倣者視線位置を取得するセンサを備えており、
前記模倣者と前記模範者の体格差を示す情報を記憶し、
前記模倣者視線位置と前記体格差に基づき、前記経路情報における前記模範者視線位置を補正することにより、前記経路補正情報を生成する、
作業支援装置。 - 現場で作業する作業者によって所持される作業者端末と、
前記作業者端末と通信可能に接続する情報処理装置である作業支援装置と、
を備えて構成される作業支援システムの制御方法であって、
前記作業支援装置が、
作業者が作業対象について過去に作業した際の視線の移動履歴である視線移動履歴情報を記憶するステップ、
前記視線移動履歴情報に基づき、作業の模範者となる作業者が作業した場合における、基準となる時刻からの経過時間に対応づけて前記模範者の視線位置である模範者視線位置を示した情報である経路情報を生成するステップ、及び、
作業の模倣者である作業者が作業対象について作業を行う際、当該作業者の視線位置を誘導する情報である経路補正情報を前記経路情報に基づき生成するステップ、
を実行し、
前記作業者端末が、前記経路補正情報に基づくコンテンツを生成するステップを実行する、
作業支援システムの制御方法。 - 請求項13に記載の作業支援システムの制御方法であって、
前記作業者端末は、前記模倣者の現在の視線位置を示す情報である模倣者視線位置を取得するセンサを備えており、
前記作業支援装置が、
前記模倣者と前記模範者の体格差を示す情報を記憶するステップ、
前記模倣者視線位置と前記体格差に基づき、前記経路情報における前記模範者視線位置を補正することにより、前記経路補正情報を生成するステップ、
を更に実行する、
作業支援システムの制御方法。 - 請求項13に記載の作業支援システムの制御方法であって、
前記作業支援装置が、前記視線移動履歴情報から前記模範者の視線移動情報である模範者経路情報を取得し、前記模範者経路情報から選択した一部の前記模範者視線位置に基づき前記経路情報を生成するステップ、
を更に実行する、
作業支援システムの制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019042642A JP7109395B2 (ja) | 2019-03-08 | 2019-03-08 | 作業支援システム、作業支援装置、及び作業支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019042642A JP7109395B2 (ja) | 2019-03-08 | 2019-03-08 | 作業支援システム、作業支援装置、及び作業支援方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020144776A true JP2020144776A (ja) | 2020-09-10 |
JP2020144776A5 JP2020144776A5 (ja) | 2021-05-27 |
JP7109395B2 JP7109395B2 (ja) | 2022-07-29 |
Family
ID=72354303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019042642A Active JP7109395B2 (ja) | 2019-03-08 | 2019-03-08 | 作業支援システム、作業支援装置、及び作業支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7109395B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560715A (zh) * | 2020-12-21 | 2021-03-26 | 北京市商汤科技开发有限公司 | 操作记录展示方法、装置、电子设备及存储介质 |
JP2022104138A (ja) * | 2020-12-28 | 2022-07-08 | 横河電機株式会社 | 装置、方法及びプログラム |
JP7496553B2 (ja) | 2021-03-30 | 2024-06-07 | 株式会社豊田自動織機 | 作業支援装置、データベース作成装置、作業支援システム、及び作業支援方法 |
WO2024142814A1 (ja) * | 2022-12-28 | 2024-07-04 | 株式会社Screenホールディングス | 作業支援方法および作業支援システム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002059147A (ja) * | 2000-08-11 | 2002-02-26 | Ricoh Co Ltd | 再生作業支援システムおよび再生作業支援方法 |
JP2013097466A (ja) * | 2011-10-28 | 2013-05-20 | Hitachi Ltd | 作業支援システム、作業支援方法、および、作業用端末 |
JP2013200440A (ja) * | 2012-03-26 | 2013-10-03 | Mitsubishi Electric Corp | 映像表示装置 |
JP2017191351A (ja) * | 2016-04-11 | 2017-10-19 | 株式会社日立製作所 | 作業支援システム及び方法 |
JP2018063589A (ja) * | 2016-10-13 | 2018-04-19 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
JP2018180090A (ja) * | 2017-04-05 | 2018-11-15 | コニカミノルタ株式会社 | 作業教育システム |
JP2018190380A (ja) * | 2018-01-09 | 2018-11-29 | 株式会社 ディー・エヌ・エー | 仮想空間の立体視映像を提供するためのプログラム、システム、及び方法 |
-
2019
- 2019-03-08 JP JP2019042642A patent/JP7109395B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002059147A (ja) * | 2000-08-11 | 2002-02-26 | Ricoh Co Ltd | 再生作業支援システムおよび再生作業支援方法 |
JP2013097466A (ja) * | 2011-10-28 | 2013-05-20 | Hitachi Ltd | 作業支援システム、作業支援方法、および、作業用端末 |
JP2013200440A (ja) * | 2012-03-26 | 2013-10-03 | Mitsubishi Electric Corp | 映像表示装置 |
JP2017191351A (ja) * | 2016-04-11 | 2017-10-19 | 株式会社日立製作所 | 作業支援システム及び方法 |
JP2018063589A (ja) * | 2016-10-13 | 2018-04-19 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
JP2018180090A (ja) * | 2017-04-05 | 2018-11-15 | コニカミノルタ株式会社 | 作業教育システム |
JP2018190380A (ja) * | 2018-01-09 | 2018-11-29 | 株式会社 ディー・エヌ・エー | 仮想空間の立体視映像を提供するためのプログラム、システム、及び方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560715A (zh) * | 2020-12-21 | 2021-03-26 | 北京市商汤科技开发有限公司 | 操作记录展示方法、装置、电子设备及存储介质 |
JP2022104138A (ja) * | 2020-12-28 | 2022-07-08 | 横河電機株式会社 | 装置、方法及びプログラム |
JP7222388B2 (ja) | 2020-12-28 | 2023-02-15 | 横河電機株式会社 | 装置、方法及びプログラム |
JP7496553B2 (ja) | 2021-03-30 | 2024-06-07 | 株式会社豊田自動織機 | 作業支援装置、データベース作成装置、作業支援システム、及び作業支援方法 |
WO2024142814A1 (ja) * | 2022-12-28 | 2024-07-04 | 株式会社Screenホールディングス | 作業支援方法および作業支援システム |
Also Published As
Publication number | Publication date |
---|---|
JP7109395B2 (ja) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7109395B2 (ja) | 作業支援システム、作業支援装置、及び作業支援方法 | |
EP3246660B1 (en) | System and method for referencing a displaying device relative to a surveying instrument | |
CN107782314B (zh) | 一种基于扫码的增强现实技术室内定位导航方法 | |
JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
JP6586834B2 (ja) | 作業支援方法、作業支援プログラム、及び作業支援システム | |
US10008028B2 (en) | 3D scanning apparatus including scanning sensor detachable from screen | |
KR101260576B1 (ko) | Ar 서비스를 제공하기 위한 사용자 단말기 및 그 방법 | |
US20160269631A1 (en) | Image generation method, system, and apparatus | |
JP2017191490A (ja) | 技能伝承システム及び方法 | |
US11395102B2 (en) | Field cooperation system and management device | |
WO2021250914A1 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
JP7266422B2 (ja) | 注視行動調査システム、及び制御プログラム | |
KR20190048810A (ko) | 증강현실용 컨텐츠 제공 장치 및 방법 | |
CN113677412A (zh) | 信息处理装置、信息处理方法和程序 | |
WO2022176450A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7433126B2 (ja) | 画像表示システム、画像表示装置、サーバ、画像表示方法およびプログラム | |
JP6515473B2 (ja) | 動作指示システム、動作指示方法、および、動作指示管理サーバ | |
US20220166917A1 (en) | Information processing apparatus, information processing method, and program | |
KR20180060403A (ko) | 영상 기반의 드론 제어장치 | |
KR20220083552A (ko) | 착용형 ar 장치를 위한 다중 객체의 6 자유도 추정과 보정 및 이를 적용한 ar 서비스 방법 | |
JP2022021009A (ja) | 現場映像管理システムおよび現場映像管理方法 | |
KR20210112551A (ko) | 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법 | |
JP6849582B2 (ja) | Ar情報提供システム及び情報処理装置 | |
JP2021056922A (ja) | 人動作支援システム及びその方法 | |
JP2001239983A (ja) | 艤装支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210415 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7109395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |