JP2020144776A - 作業支援システム、作業支援装置、及び作業支援方法 - Google Patents

作業支援システム、作業支援装置、及び作業支援方法 Download PDF

Info

Publication number
JP2020144776A
JP2020144776A JP2019042642A JP2019042642A JP2020144776A JP 2020144776 A JP2020144776 A JP 2020144776A JP 2019042642 A JP2019042642 A JP 2019042642A JP 2019042642 A JP2019042642 A JP 2019042642A JP 2020144776 A JP2020144776 A JP 2020144776A
Authority
JP
Japan
Prior art keywords
information
line
worker
work
work support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019042642A
Other languages
English (en)
Other versions
JP2020144776A5 (ja
JP7109395B2 (ja
Inventor
瑛 長坂
Akira Nagasaka
瑛 長坂
浩彦 佐川
Hirohiko Sagawa
浩彦 佐川
木村 淳一
Junichi Kimura
淳一 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019042642A priority Critical patent/JP7109395B2/ja
Publication of JP2020144776A publication Critical patent/JP2020144776A/ja
Publication of JP2020144776A5 publication Critical patent/JP2020144776A5/ja
Application granted granted Critical
Publication of JP7109395B2 publication Critical patent/JP7109395B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】現場の作業者に作業を支援するための情報を提供する。【解決手段】作業支援システムは、作業者によって所持される作業者端末と、作業者端末と通信可能に接続する情報処理装置である作業支援装置と、を備え、作業支援装置は、作業者が作業対象について過去に作業した際の視線の移動履歴である視線移動履歴情報を記憶し、視線移動履歴情報に基づき、作業の模範者となる作業者が作業した場合における、基準となる時刻からの経過時間に対応づけて模範者の視線位置である模範者視線位置を示した情報である経路情報を生成し、作業の模倣者である作業者が作業対象について作業を行う際、当該作業者の視線位置を誘導する情報である経路補正情報を経路情報に基づき生成し、作業者端末は、経路補正情報に基づくコンテンツを出力する。【選択図】図3

Description

本発明は、作業支援システム、作業支援装置、及び作業支援方法に関する。
特許文献1には、AR(Augmented Reality:拡張現実)技術により直感的なナビゲー
ションを行うナビゲーション装置が開示されている。ナビゲーション装置は、使用者が装着したウェアラブルモニタのカメラが撮影した撮影画像データに特徴点抽出及びトラッキングを行って得た3次元情報、位置情報受信機が取得した位置情報、及びジャイロセンサが取得した使用者の視線の方位を示す方位情報を基に、ナビゲーション画像データを生成し、撮影画像データと重ね合わせて表示画像データを生成する手段を備える。
特許文献2には、遠隔指示者が、撮影された現在の画像の範囲外に位置する対象物を、作業者に指示可能とすることができる作業支援システムが開示されている。作業支援システムは、カメラが撮影した複数の画像から得られる、該カメラの姿勢情報及び該画像の特徴点マップに基づき、該複数の画像を用いて3次元パノラマ画像を生成して第1の表示部に表示させ、3次元パノラマ画像上でなされた対象物の指定に応じて、カメラの現在の姿勢情報に基づき、指定された該対象物の位置情報を第2の表示部に出力させる処理部を備える。
特開2011−203984号公報 特開2017−058752号公報
昨今、工場や各種プラント施設等の様々な作業現場において熟練者の不足による労働力の低下が問題となっている。こうした中、現場の作業者に所持させた携帯機器(ウェアラブルデバイス、スマートフォン、タブレット等)に対して遠隔した場所から熟練者による作業指示を提供し、現場の作業者の作業を支援する仕組みが提案されている。また事前に収集した作業熟練者の作業実績に基づく作業指示を現場の作業者の作業状況に応じて遠隔した場所から作業者の携帯機器に提供する仕組みも存在する。
ところで、現場における作業によっては、設備の裏側に存在するネジの締め付けや上から覗き込んだ姿勢でのメータの点検作業等、作業者の死角になる位置に作業対象が存在していることもあり、そのような場合は作業対象の位置を明確に特定することができるように作業者への情報伝達の方法を工夫する必要がある。
上記の特許文献1には、ナビゲーション画像データを撮影画像データと重ね合わせて表示することが記載されているが、作業対象が死角になるような位置に存在する場合の情報の提示方法については何も開示されていない。
また上記の特許文献2では、3次元パノラマ画像を生成して第1の表示部に表示させ、3次元パノラマ画像上でなされた対象物の指定に応じて、カメラの現在の姿勢情報に基づき、指定された対象物の位置情報を第2の表示部に出力させるが、3次元パノラマ画像はカメラ画像に基づき生成されたものであるため設備を回り込むような奥行きを表現することは難しい。
本発明は、このような背景に鑑みてなされたもので、現場の作業者に作業を支援するための情報を提供することが可能な、作業支援システム、作業支援装置、及び作業支援方法を提供することを目的とする。
上記目的を達成するための本発明の一つは、現場で作業する作業者を支援する作業支援システムであって、前記作業者によって所持される作業者端末と、前記作業者端末と通信可能に接続する情報処理装置である作業支援装置と、を備え、前記作業支援装置は、作業者が作業対象について過去に作業した際の視線の移動履歴である視線移動履歴情報を記憶し、前記視線移動履歴情報に基づき、作業の模範者となる作業者が作業した場合における、基準となる時刻からの経過時間に対応づけて前記模範者の視線位置である模範者視線位置を示した情報である経路情報を生成し、作業の模倣者である作業者が作業対象について作業を行う際、当該作業者の視線位置を誘導する情報である経路補正情報を前記経路情報に基づき生成し、前記作業者端末は、前記経路補正情報に基づくコンテンツを出力する。
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。
本発明によれば、現場の作業者に作業を支援するための情報を提供することができる。
作業支援システムの概略的な構成を示す図である。 作業支援システムを構成する情報処理装置の一例である。 作業支援装置が備える主な機能を示す図である。 作業者端末が備える主な機能を示す図である。 移動計測端末が備える主な機能を示す図である。 作業対象設備が備える主な機能を示す図である。 作業者個人情報の一例である。 作業手順情報の一例である。 視線移動履歴情報の一例である。 模範者経路情報の一例である。 経路情報の一例である。 作業状況情報の一例である。 作業空間情報の一例である。 作業姿勢情報の一例である。 移動計測端末情報の一例である。 設備管理情報の一例である。 作業支援処理を説明するフローチャートである。 経路情報生成処理を説明するフローチャートである。 経路補正情報生成処理を説明するフローチャートである。 作業者端末が出力装置に表示する画面の一例である。 作業者端末が出力装置に表示する画面の一例である。
以下、本発明の実施形態について図面を参照しつつ説明する。
図1に一実施形態として示す作業支援システム1の概略的な構成を示している。作業支援システム1は、作業支援装置100、作業者端末200、移動計測端末300、及び作
業対象設備400を含む。これらの装置は、いずれも情報処理装置(コンピュータ)を用いて構成されており、通信ネットワーク5を介して互いに通信可能に接続されている。通信ネットワーク5は、無線方式または有線方式の通信手段であり、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット、公衆通信網(公衆
データ通信網、公衆電話網等)、専用線等である。
作業者2は、現場に設置されている作業対象設備400(機器、装置、施設等)について、点検や修理、改修等の作業を行う。上記の現場は、例えば、インフラ設備、各種プラント、鉄道設備、ビル設備等における、作業対象設備400の設置エリアである。
作業者端末200及び移動計測端末300は、いずれも作業者2によって所持(装着、携帯等)される、通信機能を備えた情報処理装置である。作業者端末200は、各種のセンサを備えており、センサから取得される情報(センサの出力値、センサに基づき特定される作業者の現在位置や視線位置、作業姿勢等)を作業支援装置100に随時送信する。
作業支援装置100は、作業者2が作業手順に沿って作業対象設備400に対して作業を行う際に作業者2の視線位置を誘導する情報である経路補正情報を生成して作業者端末200に送信する。作業者端末200は、作業支援装置100から送られてくる経路補正情報に基づくコンテンツ(動画像やCG(Computer Graphics)画像、音声、テキスト等
)を出力して作業者2を誘導する。
図2に作業支援装置100、作業者端末200、移動計測端末300、及び作業対象設備400を構成する情報処理装置のハードウェアの一例を示す。同図に示すように、例示する情報処理装置10は、プロセッサ11、主記憶装置12、補助記憶装置13、入力装置14、出力装置15、及び通信装置16を備える。これらは図示しないバス等の通信手段を介して互いに通信可能に接続されている。
情報処理装置10は、例えば、各種通信端末(スマートフォン、タブレット、ウェアラブル端末、ノートブック型のパーソナルコンピュータ等)、デスクトップ型のパーソナルコンピュータ、オフィスコンピュータ、メインフレーム等である。情報処理装置10は、例えば、クラウドシステムにより提供されるクラウドサーバのように仮想的な情報処理資源を用いて実現されるものであってもよい。
プロセッサ11は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、AI(Artificial Intelligence)チップ、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等を用いて構成されている。
主記憶装置12は、プログラムやデータを記憶する装置であり、例えば、ROM(Read
Only Memory)、RAM(Random Access Memory)、不揮発性メモリ(NVRAM(Non Volatile RAM))等である。
補助記憶装置13は、例えば、ハードディスクドライブ、SSD(Solid State Drive
)、光学式記憶装置(CD(Compact Disc)、DVD(Digital Versatile Disc)等)、ストレージシステム、ICカード、SDカードや光学式記録媒体等の記録媒体の読取/書込装置、クラウドサーバの記憶領域等である。補助記憶装置13には、記録媒体の読取装置や通信装置16を介してプログラムやデータを読み込むことができる。補助記憶装置13に格納(記憶)されているプログラムやデータは主記憶装置12に随時読み込まれる。
入力装置14は、外部からの入力を受け付けるインタフェースであり、例えば、キーボ
ード、マウス、タッチパネル、カードリーダ、音声入力装置等である。
出力装置15は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置15は、例えば、上記の各種情報を可視化する表示装置(液晶モニタ、LCD(Liquid Crystal Display)、グラフィックカード等)、上記の各種情報を音声化する装置(音声出力装置(スピーカ等))、上記の各種情報を文字化する装置(印字装置等)である。尚、以下では、出力装置15は表示装置であるものとし、「出力」という場合は原則として「表示装置への表示」を意味するものとする。
尚、例えば、情報処理装置10が通信装置16を介して他の装置との間で情報の入力や出力を行う構成としてもよい。
通信装置16は、他の装置との間の通信を実現する装置である。通信装置16は、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット等の通信手
段を介した他の装置との間の通信を実現する無線方式又は有線方式の通信インタフェースであり、例えば、NIC(Network Interface Card)、無線通信モジュール、USB(Universal Serial Bus)モジュール、シリアル通信モジュール等である。
作業支援装置100、作業者端末200、移動計測端末300、及び作業対象設備400の夫々が備える機能は、夫々のプロセッサ11が、夫々の主記憶装置12に格納されているプログラムを読み出して実行することにより、もしくは、各装置を構成するハードウェア(AIチップ、FPGA、ASIC等)により実現される。
尚、作業者端末200の出力装置15は、例えば、マイクロディスプレイ(LCD(Liquid Crystal Display)や有機EL(EL:Electro Luminescence)、LED(Light Emitting Diode)等を用いて構成されたもの等)、投射レンズ、導光板、LED等の発光デバ
イス等を含んで構成される。また出力装置15は、AR(Augmented Reality:拡張現実
)機能を備えており、2次元又は3次元で表された現実の風景(本例では作業者2が現在眺めている現場の風景)に仮想的な映像を重ねて表示することができる。出力装置15は、例えば、ハーフミラーを利用して虚像を形成する虚像投影方式、人の目の水晶体を利用して網膜に直接結像させる網膜投影方式等の方式により、現実の風景に仮想的な映像を重ねて表示する。作業者端末200の出力装置15の一例として、眼鏡型のウェアラブルデバイス(HMD(Head Mounted Display))がある。
作業者端末200、移動計測端末300、及び作業対象設備400は、各種センサ17を備える。各種センサ17は、例えば、情報処理装置10(作業者端末200、移動計測端末300、及び作業対象設備400)の状態(現在位置、姿勢、移動状況)や周囲環境に関する情報を検知して出力する。各種センサ17の具体例として、例えば、光学式カメラ(CCD(Charged-coupled devices)方式やCMOS(Complementary metal-oxide-semiconductor)方式の撮像素子を有するカメラ)、深度カメラ(タイムオブフライト(TOF: Time Of Flight)カメラ、ステレオカメラ、レーザレーダ(LiDAR: Laser imaging Detection and Ranging)、赤外線深度センサ、超音波センサ等)、GPS(Global Positioning System)センサ、角度センサ、加速度センサ、ジャイロセンサ、筋電位センサ、方
位センサ、赤外線センサ、マイクロフォン、照度センサ、温度センサ、気圧センサ等である。
作業者端末200の各種センサ17は、例えば、作業者2の目視に近い映像を取得できる各種カメラ、作業者2の位置情報を取得するGPSセンサ、作業者2の姿勢情報(動作情報)を取得する角度センサ、加速度センサ、ジャイロセンサ、筋電位センサ、作業者2や周囲の音声を取得するためのマイクロフォン、照度センサ、温度センサ、気圧センサ等
である。作業者端末200は、これら各種センサ17から取得される情報(以下、「センサ情報」と称する。)に基づき、作業者2の現在位置、作業者2の現在の姿勢や動作、作業者2と作業対象設備400との位置関係等の情報を取得し、これらの情報を上記センサ情報とともに作業支援装置100に随時送信する。
移動計測端末300の各種センサ17は、例えば、加速度センサ、ジャイロセンサ、筋電位センサ、GPSセンサ、圧力センサ、当該移動計測端末300を含む周囲情報を取得する各種カメラやマイクロフォンを含む。移動計測端末300は、上記各種センサ17から取得されるセンサ情報に基づき、作業者2の骨格、作業者2の筋力、作業者2の現在の視線位置、作業者2の現在の姿勢、作業者2が現在向いている方向等の情報を取得し、これらの情報を上記センサ情報とともに作業支援装置100に随時送信する。
作業対象設備400の各種センサ17は、例えば、照度センサ、温度センサ、気圧センサ、作業対象設備400を含む周囲の位置情報、画像情報を取得する加速度センサやジャイロセンサ、各種カメラやマイクロフォン等を含む。作業対象設備400は、作業対象設備400の稼働状況等の情報を取得し、これらの情報を上記センサ情報とともに作業支援装置100に随時送信する。
尚、作業支援装置100、作業者端末200、移動計測端末300、及び作業対象設備400のいずれもが、以上に示した情報処理装置10の全ての構成を必ずしも備えている必要はない。
続いて、作業支援システム1を構成する各装置(作業支援装置100、作業者端末200、移動計測端末300、及び作業対象設備400)が備える機能について説明する。尚、上記の各装置は、以下に説明する機能に加えて、例えば、デバイスドライバ、オペレーティングシステム、ファイルシステム、DBMS(DataBase Management System)等を更に備えていてもよい。各装置は、例えば、DBMSにより管理されるテーブルやファイルシステムが管理するファイルとして情報を記憶する。
尚、本実施形態で説明する、作業支援システム1を構成する各装置への機能の割り当ての態様は一例に過ぎず、例えば、ある装置が備えるとしている機能の全部又は一部を他の装置が備えるとしてもよい。例えば、作業支援装置100が備える機能の全部又は一部を作業者端末200に設けてもよい。また作業者端末200が備える機能の一部を作業支援装置100に設けてもよい。また作業者端末200が移動計測端末300としても機能するようにしてもよい。
図3に作業支援装置100が備える主な機能を示している。作業支援装置100は、作業者2が過去に作業した際の当該作業者2の視線の移動履歴に基づき、作業の模範者となる作業者2が作業した場合における、基準となる時刻からの経過時間に対応づけて当該模範者の視線位置を示した情報を生成し、生成した上記情報に基づき、作業の模倣者である作業者2が作業を行う際、当該作業者2の視線位置を誘導する情報を生成する。
同図に示すように、作業支援装置100は、記憶部110、作業者情報取得部120、作業手順設定部130、経路情報生成部140、経路補正情報生成部150、及び経路補正情報送信部160の各機能を備える。
同図に示すように、記憶部110は、作業者個人情報101、作業手順情報102、視線移動履歴情報103、模範者経路情報104、経路情報105、経路補正情報106、作業状況情報107、作業空間情報108、作業姿勢情報109、移動計測端末情報111、及び設備管理情報112を記憶する。
作業者個人情報101には、作業者2に関する情報(以下、「作業者情報」と称する。)が管理される。作業者個人情報101は、模範者となる作業者2の作業者情報と模倣者となる作業者2の作業者情報の双方を含む。尚、本実施形態では、同じ作業者が同じ作業について模範者かつ模倣者となることは妨げない。例えば、模倣者が過去に行った作業を忘れてしまい、過去に自分が行った作業を復習する場合には模範者と模倣者は同一人物となる。
作業手順情報102には、作業者2が作業対象設備400に対して行う作業の作業手順に関する情報が管理される。視線移動履歴情報103には、作業者2(模範者及び模倣者の双方を含む。)が過去に作業を行った際に取得された視線位置の履歴(以下、「視線移動履歴」と称する。)に関する情報が管理される。模範者経路情報104には、模範者が作業を行った場合の視線移動に関する情報が管理される。経路情報105は、模範者経路情報104に基づき生成される情報である。経路情報105の生成方法については後述する。経路補正情報106は、模範者経路情報104に基づき生成される情報であり、模倣者が作業を行う際の視線位置を正しい視線位置に誘導するためのコンテンツの生成に用いる情報が管理される。
作業状況情報107には、作業者2の現在の作業状況に関する情報が管理される。作業空間情報108には、作業対象設備400に関する情報が管理される。作業姿勢情報109には、作業者2が作業を行う際の姿勢(以下、「作業姿勢」と称する。)に関する情報が管理される。移動計測端末情報111には、移動計測端末300から送られてくるセンサ情報が管理される。設備管理情報112には、作業対象設備400に関する情報が管理される。
図3に示す作業者情報取得部120は、作業者端末200から、作業者2の現在位置や作業者2の識別子(以下、「作業者ID」と称する。)等の作業者2に関する情報を取得(受信)する。
作業手順設定部130は、作業者2が作業対象設備400について作業を行う際の作業手順を設定する。作業手順設定部130は、例えば、作業者2の現在位置、作業者2と作業対象設備400の位置関係等に基づき上記作業手順を設定する。
経路情報生成部140は、模範者経路情報104を生成し、生成した模範者経路情報104に基づき経路情報105を生成する。経路情報105の具体的な生成方法については後述する。
経路補正情報生成部150は、経路情報105に基づき、模倣者である作業者2が作業対象設備400について作業手順に沿って作業を行う際に当該作業者2の視線位置を誘導する情報である経路補正情報106を生成する。経路補正情報生成部150は、経路情報105に、模倣者と模範者の体格差に基づく誤差を補正することにより経路補正情報106を生成する。
経路補正情報送信部160は、経路補正情報生成部150が生成した経路補正情報106を作業者端末200に随時送信する。
図4に作業者端末200が備える主な機能を示している。作業者端末200は、記憶部210、センサ情報取得部215、現在位置取得部220、動作情報取得部230、方位情報取得部240、視線位置取得部250、経路補正情報受信部260、作業環境認識部270、コンテンツ生成出力部280、コンテンツ出力部285、及び情報送信部290
の各機能を備える。
記憶部210は、各種センサ17から取得されたセンサ情報201、及び作業支援システム1から受信した経路補正情報202を記憶する。
センサ情報取得部215は、作業者端末200の各種センサ17からセンサ情報201を取得する。
現在位置取得部220は、センサ情報201に基づき作業者2の現在位置を示す情報を取得する。
動作情報取得部230は、センサ情報201(カメラの撮影映像、筋電位センサの出力値等)に基づき、例えば、公知の画像認識処理技術や機械学習関連技術等を用いて、作業者2の現在の動作(姿勢等)を示す情報を取得する。
方位情報取得部240は、センサ情報201(カメラの撮影映像、地磁気センサの出力値等)に基づき、例えば、公知の画像認識処理技術や機械学習関連技術等を用いて、作業者2が現在向いている方向を示す情報を取得する。
視線位置取得部250は、センサ情報201や、現在位置取得部220、動作情報取得部230、及び方位情報取得部240が生成する情報に基づき、例えば、公知の画像認識処理技術や機械学習関連技術等を用いて、作業者2の現在の視線位置を示す情報を取得する。
経路補正情報受信部260は、作業支援装置100から送られてくる経路補正情報202を受信する。
作業環境認識部270は、コンテンツの出力制御等に用いる、作業者2が作業を行う作業空間の3次元マップ、作業者2の姿勢(作業空間における作業者端末200の位置及び向きからなる作業者2の姿勢)を推定した情報等をセンサ情報201に基づき生成する。また作業環境認識部270は、コンテンツの出力制御等に用いる、天候や昼夜の別等の作業環境に関する情報をセンサ情報201に基づき生成する。
コンテンツ生成出力部280は、経路補正情報202に基づき、出力装置15に出力するコンテンツを生成する。コンテンツ生成出力部280は、例えば、AR(Augmented Reality:拡張現実)によって表示する作業指示のテキスト情報やアイコンを含む表示内容
を生成し、生成した表示内容を出力装置15(表示装置)に出力(表示)する。またコンテンツ生成出力部280は、作業環境認識部270が生成する情報に基づき、ARによる表示内容があたかも実空間上に存在しているかのように見えるように、映像の表示制御を行う。
情報送信部290は、センサ情報201や、現在位置取得部220、動作情報取得部230、方位情報取得部240、及び視線位置取得部250が生成する情報を作業支援装置100に随時送信する。
図5に移動計測端末300が備える主な機能を示している。移動計測端末300は、記憶部310、センサ情報取得部320、視線位置取得部330、及び情報送信部340の各機能を備える。
記憶部310は、各種センサ17から取得されるセンサ情報301、及び移動計測端末
300の入力装置14を介して受け付けた情報等の移動計測端末300に関する情報である移動計測端末情報302を記憶する。
センサ情報取得部320は、移動計測端末300の各種センサ17からセンサ情報301を取得する。
視線位置取得部330は、センサ情報301に基づき、例えば、公知の画像認識処理技術や機械学習関連技術等を用いて、作業者2の現在の視線位置を示す情報を生成する。
情報送信部340は、センサ情報301や、視線位置取得部330が生成する情報を作業支援装置100に随時送信する。尚、作業支援装置100には、作業者端末200と移動計測端末300の双方から作業者2の現在の視線位置を示す情報が提供されるが、作業支援装置100は、いずれの情報を選択してもよいし、双方の情報を用いて、例えば、統計演算処理等を行うことにより作業者2の視線位置の精度を高めるようにしてもよい。
図6に作業対象設備400が備える主な機能を示している。作業対象設備400は、記憶部410、センサ情報取得部420、及び情報送信部430を有する。
記憶部410は、作業対象設備400の各種センサ17から取得されるセンサ情報301、及び作業対象設備400の入力装置14を介して受け付けた情報等の作業対象設備400に関する情報である作業対象設備情報402を記憶する。
センサ情報取得部420は、作業対象設備400の各種センサ17からセンサ情報401を取得する。
情報送信部430は、センサ情報401や作業対象設備情報402を作業支援装置100に随時送信する。
続いて、作業支援装置100が記憶する情報について具体的に説明する。
図7に、作業者個人情報101の一例を示している。作業者個人情報101には、作業者2に関する情報が管理される。同図に示すように、作業者個人情報101は、作業者ID1011、作業者名1012、体格1013、勤続年数1014、及び作業実績1015の各項目を有する複数のレコードで構成される。
上記項目のうち、作業者ID1011には、作業者2の作業者IDが設定される。作業者名1012には、当該作業者2の名称が設定される。体格1013には、当該作業者2の体格に関する情報が設定される。勤続年数1014には、当該作業者2の勤続年数が設定される。作業実績1015には、当該作業者2の過去の作業実績に関する情報が設定される。尚、勤続年数や作業実績は、作業者2の熟練度を判断する目安となる。
図8に作業手順情報102の一例を示している。作業手順情報102には、作業手順情報が管理される。作業手順情報102の内容は、例えば、予め作業支援システム1の管理者等によって設定される。同図に示すように、作業手順情報102は、作業手順ID1021、作業工程1022、作業内容1023、所要時間1024、対象設備ID1025、及び作業姿勢1026の各項目を有する一つ以上のレコードで構成される。
上記項目のうち、作業手順ID1021には、作業手順の識別子(以下、「作業手順ID」と称する。)が設定される。作業工程1022には、当該作業手順の作業工程を示す情報が設定される。作業内容1023には、当該作業手順の内容を示す情報が設定される
。所要時間1024には、当該作業手順に割り当てられている時間が設定される。対象設備1025には、当該作業手順において作業対象となる作業対象設備400の識別子(以下、「対象設備ID」と称する。)が設定される。作業姿勢1026には、当該作業手順による作業を行う際に作業者2がとる作業姿勢を示す情報が設定される。
図9に視線移動履歴情報103の一例を示している。視線移動履歴情報103には、作業者2(模範者及び模倣者の双方を含む。)が作業手順に従って作業を行った際の作業者2の視線移動履歴が管理される。同図に示すように、視線移動履歴情報103は、優先順位1031、作業者ID1032、作業手順ID1033、取得時刻1034、視線位置1035、接地面1036、姿勢情報1037、取得元1038、センサ情報群1039の各項目を有する複数のレコードで構成される。
上記項目のうち、優先順位1031には、模範者の優先順位を示す情報が設定される。優先順位1031の値は、模範者経路情報104の生成に用いる模範者の視線移動履歴情報を選択する際に参照される。本実施形態では、優先順位が高い(優先順位1031の値が小さい)模範者の視線移動履歴情報が優先して選択されるものとする。尚、優先順位1031の値は、例えば、作業者個人情報101の内容(勤続年数1014、作業実績1015)や作業者2の作業経験、総作業時間、視線位置の総移動距離等に基づき、自動もしくは手動で設定される。
作業者ID1032には、作業者IDが設定される。作業手順ID1033には作業手順IDが設定される。取得時刻1034には、当該レコードの情報が取得された日時が設定される。視線位置1035には、当該作業者2の視線位置を示す情報(例えば、3次元ベクトルの方向成分(xyz成分))が設定される。接地面1036には、当該作業手順を行った際に作業者2が存在していた接地面(床、階段等)の種類を示す情報が設定される。尚、接地面1036の内容は、例えば、作業者2が平面の床を歩く場合や階段を昇降している際等の環境の違いに応じて、経路情報105や作業者端末200が表示するコンテンツを調整する目的で用いられる。姿勢情報1037には、当該レコードの作業手順で作業を行った際の作業者2の姿勢を示す情報が設定される。取得元1038には、当該レコードの情報の取得元を示す情報が設定される。センサ情報群1039には、作業者端末200や移動計測端末300の各種センサ17から取得されたセンサ情報が設定される。
図10に模範者経路情報104の一例を示している。作業者2の視線移動手順は、視線移動履歴情報103における模範者の情報に基づき生成される。模範者経路情報104には、作業手順ごとの作業者2の視線移動手順を示す情報が管理される。
同図に示すように、模範者経路情報104は、模範者ID1041、作業手順ID1042、経過時間1043、視線位置1044、接地面1045、姿勢情報1046、精度情報1047の各項目を有する複数のレコードで構成される。
上記項目のうち、模範者ID1041には、模範者の作業者IDが設定される。作業手順ID1042には、作業手順IDが設定される。経過時間1043には、当該作業手順が開始された時刻(以下、「基準時刻」と称する。)からの経過時間が設定される。本例の場合、作業手順IDが「A001」の作業手順における最初の手順は1行目のレコードであり、当該レコードの経過時間1043には基準時刻からの経過時間として「0秒」が設定されている。また続く各レコードの経過時間には、各手順を行うべき、上記基準時刻からの経過時間が設定される。
上記項目のうち、視線位置1044には、作業者2の視線位置を示す情報(例えば、3次元ベクトルの方向成分(xyz成分))が設定される。接地面1045には、前述した
接地面を示す情報が設定される。姿勢情報1046には、当該レコードの作業を行う際に作業者2がとるべき作業姿勢を示す情報が設定される。精度情報1047には、当該レコードの作業を行う際に作業者2がとるべき、より詳細な作業姿勢を示す情報が設定される。
図11に経路情報105の一例を示している。経路情報105は、模範者経路情報104から、模倣者である作業者2に対して視線位置を誘導する情報を提供する際に用いる情報を抽出することにより生成される。経路情報105の各項目は模範者経路情報104と同様である。
例示する経路情報105は、図10に示した模範者経路情報104から、作業開始時の視線位置を示す経過時間1043が0秒のレコード、経過時間1043が5秒のレコード(視線位置1054のx方向成分が大きく変化しているレコード)、及び経過時間1043が17秒のレコード(視線位置1054のz方向成分が大きく変化しているレコード)を抽出して生成されたものである。
このように模範者経路情報104から視線位置が大きく変化しているレコードを抽出した情報を模倣者の視線位置を誘導する情報として用いることで、模倣者に不必要に多くの情報が提供されるのを防ぐとともに、作業支援装置100や作業者端末200の処理負荷を軽減することができる。尚、本例では、このように視線位置の方向成分が大きく変化しているレコードを抽出しているが、例示した抽出方法は一例に過ぎず、他の方法でレコードを抽出してもよい。例えば、接地面1055の内容が隣接するレコード間で変化しない場合には、不必要に多くの情報が提供されないように模範者経路情報104から抽出するレコードの数を減らしてもよい。また模範者経路情報104の全てのレコードをそのまま経路情報105のレコードとして用いてもよい。
図12に作業状況情報107の一例を示す。作業状況情報107には、作業者2の現在の作業状況を示す情報が管理される。同図に示すように、作業状況情報107は、作業者ID1071、作業者名1072、登録日時1073、作業状況1074、及び作業手順ID1075の各項目を有する複数のレコードで構成される。尚、作業支援装置100は、作業状況情報107に基づき、作業者2の作業の進捗状況を把握する。
上記項目のうち、作業者ID1071には、作業者IDが設定される。作業者名1072には作業者2の名称が設定される。登録日時1073には、当該レコードが登録された日時が設定される。作業状況1074には、当該作業者2の現在の作業状況を示す情報が設定される。作業手順ID1075には、当該作業者2が行っている作業手順の作業手順IDが設定される。
図13に作業空間情報108の一例を示す。作業空間情報108には、作業者2が作業を行う現場における所定の空間(以下、「作業空間」と称する。)に関する情報が管理される。尚、作業空間とは、基準とするオブジェクトが存在する座標を含む空間(長さ、幅、高さで特定される範囲等)のことである。同図に示すように、作業空間情報108は、作業空間ID1081、オブジェクト名1082、空間登録日時1083、及び空間座標1084の各項目を有する一つ以上のレコードで構成される。
作業空間ID1081には、作業空間の識別子(以下、「作業空間ID」と称する。)が設定される。オブジェクト名1082には、当該作業空間に設けられている実際のオブジェクト(設備、施設、器具、工具等)を示す情報が設定される。空間登録日時1083には、当該レコード(作業空間)が作業空間情報108に新規登録または更新された日時が設定される。空間座標1084には、当該オブジェクトが存在する少なくとも一つの位
置を示す情報(xyz座標による情報等)が設定される。
空間座標1084は、作業空間におけるオブジェクトの位置の特定に用いられる。例えば、オブジェクトの設計データ(3次元CADデータなど)が取得できる場合には、オブジェクトの特定の1点の座標が分かれば設計データからオブジェクトの位置が特定できるため、空間座標1084として、オブジェクトの特定の1点の座標、又はオブジェクトの重心座標を記憶するようにしてもよい。また空間座標1084として複数種類の3次元座標を記憶してもよく、例えば、オブジェクト名1082に作業対象設備400の名称が含まれている場合は重心座標とし、オブジェクト名1082に保守器具が含まれている場合は設置座標としてもよい。空間座標1084は、例えば、作業手順情報102と作業状況情報107に基づき算出される。また空間座標1084は、作業支援装置100に予め手動で設定しておいてもよい。
図14に作業姿勢情報109の一例を示す。作業姿勢情報109には、作業者2の作業姿勢に関する情報が管理される。同図に示すように、作業姿勢情報109は、作業姿勢ID1091、作業姿勢名1092、及び作業姿勢1093の各項目を有する一つ以上のレコードで構成される。
上記項目のうち、作業姿勢ID1091には、作業姿勢の識別子(以下、「作業姿勢ID」と称する。)が設定される。作業姿勢名1092には、当該作業姿勢の名称が設定される。作業姿勢1093には、当該作業姿勢を具体的に示す情報(骨格情報等)が設定される。作業姿勢名1092は、作業手順情報102の作業姿勢1026と関連付けられている。
図15に移動計測端末情報111の一例を示す。移動計測端末情報111には、移動計測端末300から取得される情報が管理される。同図に示すように、移動計測端末情報111は、計測端末ID1111、取得日時1112、及びセンサ情報群1113の各項目を有する一つ以上のレコードで構成される。
上記項目のうち、計測端末ID1111には、当該レコードの情報の送信元の移動計測端末300の識別子(以下、「計測端末ID」と称する。)が設定される。取得日時1112には、当該レコードの情報を作業支援装置100が取得(受信)した日時が設定される。センサ情報群1113には、計測端末ID1111の各種センサ17から出力されるセンサ情報が設定される。
図16に設備管理情報112の一例を示している。設備管理情報112には、作業対象設備400から取得される情報が管理される。同図に示すように、設備管理情報112は、取得日時1121、設備ID1122、設備名1123、稼働状況1124、操作実績1125、センサ名1126、及びセンサ情報1127の各項目を有する一つ以上のレコードで構成される。
上記項目のうち、取得日時1121には、当該レコードの情報を作業支援装置100が取得(受信)した日時が設定される。設備ID1122には、作業対象設備400の識別子(以下、「設備ID」と称する。)が設定される。設備名1123には、当該作業対象設備400の名称が設定される。稼働状況1124には、当該作業対象設備400の現在の稼働状況を示す情報が設定される。操作実績1125には、当該作業対象設備400に対する作業者2による操作実績を示す情報が設定される。センサ名1126には、当該レコードの情報(センサ情報)を出力したセンサの名称が設定される。センサ情報1127には、作業対象設備400から取得したセンサ情報が設定される。
作業支援装置100は、例えば、作業手順情報102の作業姿勢1026と関連付けられた作業姿勢情報109の作業姿勢名1092において、作業者端末200から取得される、作業者2の動作(姿勢)の情報と、作業姿勢情報109における作業姿勢1093とが一致しない場合、作業者2に対して何らかの情報提供を行う必要性が高いと判定し、その場合は作業者端末200が作業者2を誘導するコンテンツを出力する。
続いて、作業支援システム1にて行われる処理について、作業支援装置100が行う処理に着目して説明する。
図17は、作業支援装置100が行う処理(以下、「作業支援処理S1700」と称する。)を説明するフローチャートである。以下、同図とともに作業支援処理S1700について説明する。尚、作業支援処理S1700が行われている間、作業支援装置100は、作業者端末200、移動計測端末300、及び作業対象設備400の夫々から、夫々の各種センサ17が取得したセンサ情報、当該センサ情報に基づく情報(作業者2の現在位置や作業者2の現在の視線位置を示す情報等)、及び以下に説明する処理で必要となる各種の情報を随時(例えば、リアルタイムに)受信するものとする。
まず作業者情報取得部120が、作業者端末200から作業者2に関する情報(作業者ID等)を受信する(S1711)。
続いて、作業手順設定部130が、作業手順情報102を読み込む(S1712)。
続くS1713からの処理は、作業手順情報102における作業手順(レコード)ごとに繰り返し行われるループ処理である。
S1713では、作業手順設定部130が、作業者2の現在位置等、作業者端末200から取得される情報に基づき、作業者2が次に行う作業手順(作業手順ID)を選択する。例えば、作業者2がこれから作業を開始する際は、作業手順設定部130は、作業手順情報102の先頭のレコード(作業手順)を選択する。また上記ループ処理の2回目以降であれば、作業手順設定部130は、未選択のレコードのうちの先頭のレコードを選択する。
続いて、経路情報生成部140が、模範者経路情報104を生成し(S1714)、生成した模範者経路情報104に基づき経路情報105を生成する(S1715)。この処理(以下、「経路情報生成処理S1715」と称する。)の詳細については後述する。
続いて、経路補正情報生成部150が、作業者2の現在の状況を示す情報(作業者2の現在の視線位置、作業者2の現在の姿勢、作業者2の顔が現在向いている方向等)と経路情報105とに基づき、経路補正情報106を生成する(S1716)。この処理(以下、「経路補正情報生成処理S1716」と称する。)の詳細については後述する。
続いて、経路補正情報送信部160が、生成された経路補正情報106を作業者端末200に送信する(S1717)。尚、作業者端末200は、経路補正情報を受信すると、作業者2を誘導するためのコンテンツを生成して出力装置15から出力する。例えば、作業者端末200は、作業者端末200に設けられているカメラの撮影画像に重ねてAR表示する。
続いて、経路補正情報生成部150は、模倣者である作業者2の現在の視線位置と経路補正情報における視線位置との差が予め設定された所定の範囲内であるか否かを判定する(S1718)。上記の差が予め設定された所定範囲内でなければ(S1718:NO)
、経路補正情報生成部150は、作業者端末200から送られてくる、模倣者の視線位置を示す情報の更新を待機した後(S1719)、更新後の視線位置に基づき再び経路補正情報106を生成し(S1716)、生成した経路補正情報106を作業者端末200に送信する(S1717)。一方、上記の差が予め設定された所定範囲内であれば(S1718:YES)、処理はS1720に進む。
S1720では、作業支援装置100は、模倣者の現在位置及び現在の視線位置や作業空間情報108等に基づき、選択中の作業手順における作業対象設備400に模倣者が到達したか否かを判定する。作業支援装置100が、選択中の作業手順における作業対象設備400に模倣者が到達していないと判定した場合(S1720:NO)、処理はS1716に戻る。作業支援装置100が、選択中の作業手順における作業対象設備400に模倣者が到達したと判定した場合(S1720:YES)、処理はS1721に進む。
S1721では、作業支援装置100は、S1712で読み込んだ作業手順情報102の全ての作業手順をS1713で選択済か否かを判定する。作業支援装置100が、未選択の作業手順が残存すると判定した場合(S1721:NO)、処理はS1713に戻り、未選択の作業手順を選択してループ処理を繰り返す。一方、作業支援装置100が、全ての作業手順を選択済であると判定した場合(S1721:YES)、処理はS1722に進む。
S1722では、作業支援装置100は、以上の処理により取得される情報に基づき、視線移動履歴情報103及び作業状況情報107を更新する。以上で当該作業支援処理S1700は終了する。
図18は、図17の作業支援処理S1700における経路情報生成処理S1715の一例を説明するフローチャートである。以下、同図とともに経路情報生成処理S1715について説明する。
まず経路情報生成部140は、模範者経路情報104において、レコード間で視線位置1044が大きく変化している時点(以下、「経路変化点」と称する。)を特定する(S1811)。例えば、経路情報生成部140は、模範者経路情報104のレコードを経過時間1043の順にソートした場合における全レコードの視線位置1044の移動平均μと標準偏差σを用い、視線位置1044の変化量Xが次式を満たさない時点(レコード間)を経路変化点として特定する。
X=μ±2σ ・・・ 式1
但し、前述した経路変化点の特定方法は一例に過ぎない。例えば、経過時間1043が所定の時間幅を超える度に当該レコード間を経路変化点として特定してもよい。また作業者端末200等から送られてくる情報に基づき把握される作業者2の作業姿勢が所定範囲を超えて変化したレコード間を経路変化点として特定してもよい。
図18に戻り、続いて、経路情報生成部140は、例えば、模範者経路情報104の経路変化点の変化を捉えたレコード(例えば、経路変化点の直後のレコード)を経路情報105のレコードとして抽出する(S1812)。
図19は、図17の作業支援処理S1700における経路補正情報生成処理S1716の一例を説明するフローチャートである。以下、同図とともに経路補正情報生成処理S1716について説明する。
まず経路補正情報生成部150は、模倣者及び模範者の夫々の作業者IDをキーとして
作業者個人情報101を検索して該当するレコードを取得する(S1911)。
続いて、経路補正情報生成部150は、取得したレコードに基づき、模倣者と模範者の体格差(例えば、夫々の身長、視力、骨格、関節、筋力のうちの少なくとも何れかの差)を求める(S1912)。例えば、経路補正情報生成部150は、模倣者の身長をw1、模範者の身長をw2とし、模倣者の過去の作業回数に基づく補正パラメータをαとして、次式から体格差ΔXを求める。
ΔX=α×(w1−w2) ・・・ 式2
例えば、図7に示す作業者個人情報101から、模倣者のレコードとして作業者IDが「D003」が、模範者のレコードとして作業者IDが「D001」が取得された場合、w1=1.75、w2=1.95となり、α=1とすればΔX=0.2となる。
但し、以上に示した体格差の算出方法は一例であり、他の方法により体格差を求めてもよい。例えば、パラメータwを骨格の3次元座標としてもよく、次式のように、身長をw、骨格をnとした場合の夫々の差分の総和をαに乗算して体格差を求めてもよい。またαを、例えば、作業手順情報102の当該作業手順レコードの所要時間に対する模倣者の当該作業手順の最短作業時間実績との差分としてもよい。
ΔX=α×(Σ(w1−w2)+・・・+(n1−n2)) ・・・ 式3
図19に戻り、続いて、経路補正情報生成部150は、求めた体格差ΔX、作業者端末200から取得した作業者2の現在の視線位置、及び経路情報105に基づき統計演算処理を実行して経路補正情報を生成する(S1913)。例えば、体格差ΔXが0.2と求められた場合、経路補正情報生成部150は、模範者の視線位置のz方向成分に0.2を加算して模倣者の視線位置とした経路補正情報を生成する。
図20は、作業者2から目的地(作業対象である作業対象設備400の設置位置)までの移動距離が長い場合に作業者端末200が出力装置15に表示する画面の例である。例示する画面2010には、作業者2に視線の移動先を誘導する内容のテキスト情報2011、作業者2に視線位置(経路)の方向を示すアイコン2012、作業者2の現在位置から作業対象設備400までの経路を示す地図情報2013が表示されている。これらはいずれもARにより、画面2010に背景表示される現場の撮影映像に重ねて表示される。
図21は、作業者2から目的地(作業対象である作業対象設備400の設置位置)までの移動距離が短い場合に作業者端末200が出力装置15に表示する画面の例である。例示する画面2110には、作業者2に視線の移動先を誘導する内容のテキスト情報2111、作業者2に視線位置(経路)を誘導するアイコン2112,2113が表示されている。これらはいずれもARにより、画面2110に背景表示される現場の撮影映像に重ねて表示される。本例の場合、目的地(作業対象である作業対象設備400の設置位置)が他の設備2114の裏側にあるため、その旨を伝えるテキスト情報2111や、作業者2の目線を作業対象設備400に誘導するための破線表示されたアイコン2113が、ARにより表示されている。尚、アイコン2113は、例えば、図10の模範者経路情報104に示した精度情報1047に基づき生成される。
図20の画面2010及び図21の画面2110のいずれにおいても、AR表示されるテキストやアイコンは、作業者2の状況等に応じて、その表示位置、大きさ、色、点滅、透明度等、表示態様を適宜変更してもよい。また図20の画面2010及び図21の画面2110のいずれにおいても、作業者2は、作業者端末200の入力装置14を操作することで、上記の画面2010や画面2110を参照する以外に、作業支援装置100や移動計測端末300、作業対象設備400が記憶している各種情報(これらの情報は、例え
ば、通信ネットワーク5経由で取得される。)を適宜参照することができる。
以上に説明したように、本実施形態の作業支援システム1にあっては、作業支援装置100が、視線移動履歴情報103に基づき模範者経路情報104を生成し、作業者2が作業対象設備400について作業を行う際、当該作業者2の視線位置を誘導する情報である経路補正情報106を模範者経路情報に基づき生成し、作業者端末200が、経路補正情報に基づくコンテンツを出力する。そのため、現場の作業者2に作業を支援する情報を提供することができ、例えば、作業者2が熟練者や経験者以外の者であっても効率よく適切に作業を進めることができる。
また作業支援装置100は、模倣者と模範者の体格差を考慮して経路補正情報106を生成するので、作業者2を目的とする作業対象設備400まで明確かつ精度よく誘導することができる。
また作業支援装置100は、模範者経路情報104から抽出したレコードに基づき経路情報105を生成するので、不必要に多い情報が作業者2に提供されず、目的とする作業対象設備400まで作業者2をスムーズに誘導することができる。
また作業者端末200は、現場の撮影映像に重ねてARによりコンテンツを表示するので、作業対象設備400が作業者2の死角に位置するような場合でも、作業者2を目的とする作業対象設備400まで確実に誘導することができる。
以上、本発明の実施形態について詳述したが、本発明は以上に説明した実施形態に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。またある実施形態の構成の一部を他の実施形態の構成に置き換えてもよい。またある実施形態の構成に他の実施形態の構成を加えてもよい。また各実施形態の構成の一部について、他の構成の追加、削除、又は置換をしてもよい。
また前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、IC(Integrated Circuit)カ
ード、SDカード、DVD(Digital Versatile Disc)の記録媒体に格納することができる。
制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
1 作業支援システム、2 作業者、5 通信ネットワーク、10 情報処理装置、11
プロセッサ、12 主記憶装置、13 補助記憶装置、14 入力装置、15 出力装置、16 通信装置、17 各種センサ、100 作業支援装置、110 記憶部、120 作業者情報取得部、130 作業手順設定部、140 経路情報生成部、150 経路補正情報生成部、160 経路補正情報送信部、200 作業者端末、210 記憶部
、215 センサ情報取得部、250 視線位置取得部、260 経路補正情報受信部、280 コンテンツ生成出力部、290 情報送信部、300 移動計測端末、400 作業対象設備、101 作業者個人情報、102 作業手順情報、103 視線移動履歴情報、104 模範者経路情報、105 経路情報、106 経路補正情報、107 作業状況情報、108 作業空間情報、109 作業姿勢情報、111 移動計測端末情報、112 設備管理情報、S1700 作業支援処理、S1715 経路情報生成処理、S1716 経路補正情報生成処理

Claims (15)

  1. 現場で作業する作業者を支援する作業支援システムであって、
    前記作業者によって所持される作業者端末と、
    前記作業者端末と通信可能に接続する情報処理装置である作業支援装置と、
    を備え、
    前記作業支援装置は、
    作業者が作業対象について過去に作業した際の視線の移動履歴である視線移動履歴情報を記憶し、
    前記視線移動履歴情報に基づき、作業の模範者となる作業者が作業した場合における、基準となる時刻からの経過時間に対応づけて前記模範者の視線位置である模範者視線位置を示した情報である経路情報を生成し、
    作業の模倣者である作業者が作業対象について作業を行う際、当該作業者の視線位置を誘導する情報である経路補正情報を前記経路情報に基づき生成し、
    前記作業者端末は、前記経路補正情報に基づくコンテンツを出力する、
    作業支援システム。
  2. 請求項1に記載の作業支援システムであって、
    前記作業者端末は、前記模倣者の現在の視線位置を示す情報である模倣者視線位置を取得するセンサを備え、
    前記作業支援装置は、
    前記模倣者と前記模範者の体格差を示す情報を記憶し、
    前記模倣者視線位置と前記体格差に基づき、前記経路情報における前記模範者視線位置を補正することにより、前記経路補正情報を生成する、
    作業支援システム。
  3. 請求項2に記載の作業支援装置であって、
    前記体格差は、前記模倣者と前記模範者の夫々の身長、視力、骨格、関節、及び筋力のうちの少なくとも何れかの差に基づく情報である、
    作業支援システム。
  4. 請求項2に記載の作業支援装置であって、
    前記作業支援装置は、
    各種センサを備えた移動計測端末と通信可能に接続し、
    前記模倣者視線位置を前記移動計測端末の前記センサから取得される情報に基づき取得する、
    作業支援システム。
  5. 請求項2に記載の作業支援システムであって、
    前記作業支援装置は、前記経過時間に沿って前記経路情報の各前記模範者視線位置についての前記経路補正情報を順次生成し、
    前記作業者端末は、前記模倣者視線位置と前記経路情報の前記模範者視線位置との差が予め設定された所定範囲内となる度に、出力する前記コンテンツを、次の前記模範者視線位置の前記経路補正情報に基づく内容に更新する、
    作業支援システム。
  6. 請求項1に記載の作業支援システムであって、
    前記作業支援装置は、前記視線移動履歴情報から前記模範者の視線移動情報である模範者経路情報を取得し、前記模範者経路情報から選択した一部の前記模範者視線位置に基づき前記経路情報を生成する、
    作業支援システム。
  7. 請求項6に記載の作業支援システムであって、
    前記作業支援装置は、前記模範者視線位置の時間変化が予め設定された範囲を超えた時点の前記模範者視線位置を選択して前記経路情報を生成する、
    作業支援システム。
  8. 請求項7に記載の作業支援システムであって、
    前記範囲は、前記模範者視線位置の移動平均と標準偏差とに基づき設定される、
    作業支援システム。
  9. 請求項1に記載の作業支援システムであって、
    前記作業支援装置は、
    複数の作業者の前記視線移動履歴情報を記憶し、
    前記視線移動履歴情報の夫々に、前記作業者の作業経験、総作業時間、視線位置の総移動距離のうちの少なくとも何れかに基づく優先順位を設定し、
    前記優先順位が高い前記作業者の前記視線移動履歴情報に基づき前記経路情報を生成する、
    作業支援システム。
  10. 請求項1に記載の作業支援システムであって、
    前記作業者端末は、
    現場の映像を撮影する撮影装置と、
    映像を表示する表示装置と、
    を備え、
    前記コンテンツとして、前記経路補正情報に基づく情報を、前記撮影装置で撮影された映像に重畳して前記表示装置に表示する、
    作業支援システム。
  11. 請求項1に記載の作業支援システムにおける前記作業支援装置であって、
    作業者が作業対象について過去に作業した際の視線の移動履歴である視線移動履歴情報を記憶し、
    前記視線移動履歴情報に基づき、作業の模範者となる作業者が作業した場合における、基準となる時刻からの経過時間に対応づけて前記模範者の視線位置である模範者視線位置を示した情報である経路情報を生成し、
    作業の模倣者である作業者が作業対象について作業を行う際、当該作業者の視線位置を誘導する情報である経路補正情報を前記経路情報に基づき生成する、
    作業支援装置。
  12. 請求項11に記載の作業支援装置であって、
    前記作業者端末は、前記模倣者の現在の視線位置を示す情報である模倣者視線位置を取得するセンサを備えており、
    前記模倣者と前記模範者の体格差を示す情報を記憶し、
    前記模倣者視線位置と前記体格差に基づき、前記経路情報における前記模範者視線位置を補正することにより、前記経路補正情報を生成する、
    作業支援装置。
  13. 現場で作業する作業者によって所持される作業者端末と、
    前記作業者端末と通信可能に接続する情報処理装置である作業支援装置と、
    を備えて構成される作業支援システムの制御方法であって、
    前記作業支援装置が、
    作業者が作業対象について過去に作業した際の視線の移動履歴である視線移動履歴情報を記憶するステップ、
    前記視線移動履歴情報に基づき、作業の模範者となる作業者が作業した場合における、基準となる時刻からの経過時間に対応づけて前記模範者の視線位置である模範者視線位置を示した情報である経路情報を生成するステップ、及び、
    作業の模倣者である作業者が作業対象について作業を行う際、当該作業者の視線位置を誘導する情報である経路補正情報を前記経路情報に基づき生成するステップ、
    を実行し、
    前記作業者端末が、前記経路補正情報に基づくコンテンツを生成するステップを実行する、
    作業支援システムの制御方法。
  14. 請求項13に記載の作業支援システムの制御方法であって、
    前記作業者端末は、前記模倣者の現在の視線位置を示す情報である模倣者視線位置を取得するセンサを備えており、
    前記作業支援装置が、
    前記模倣者と前記模範者の体格差を示す情報を記憶するステップ、
    前記模倣者視線位置と前記体格差に基づき、前記経路情報における前記模範者視線位置を補正することにより、前記経路補正情報を生成するステップ、
    を更に実行する、
    作業支援システムの制御方法。
  15. 請求項13に記載の作業支援システムの制御方法であって、
    前記作業支援装置が、前記視線移動履歴情報から前記模範者の視線移動情報である模範者経路情報を取得し、前記模範者経路情報から選択した一部の前記模範者視線位置に基づき前記経路情報を生成するステップ、
    を更に実行する、
    作業支援システムの制御方法。
JP2019042642A 2019-03-08 2019-03-08 作業支援システム、作業支援装置、及び作業支援方法 Active JP7109395B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019042642A JP7109395B2 (ja) 2019-03-08 2019-03-08 作業支援システム、作業支援装置、及び作業支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019042642A JP7109395B2 (ja) 2019-03-08 2019-03-08 作業支援システム、作業支援装置、及び作業支援方法

Publications (3)

Publication Number Publication Date
JP2020144776A true JP2020144776A (ja) 2020-09-10
JP2020144776A5 JP2020144776A5 (ja) 2021-05-27
JP7109395B2 JP7109395B2 (ja) 2022-07-29

Family

ID=72354303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019042642A Active JP7109395B2 (ja) 2019-03-08 2019-03-08 作業支援システム、作業支援装置、及び作業支援方法

Country Status (1)

Country Link
JP (1) JP7109395B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560715A (zh) * 2020-12-21 2021-03-26 北京市商汤科技开发有限公司 操作记录展示方法、装置、电子设备及存储介质
JP2022104138A (ja) * 2020-12-28 2022-07-08 横河電機株式会社 装置、方法及びプログラム
JP7496553B2 (ja) 2021-03-30 2024-06-07 株式会社豊田自動織機 作業支援装置、データベース作成装置、作業支援システム、及び作業支援方法
WO2024142814A1 (ja) * 2022-12-28 2024-07-04 株式会社Screenホールディングス 作業支援方法および作業支援システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002059147A (ja) * 2000-08-11 2002-02-26 Ricoh Co Ltd 再生作業支援システムおよび再生作業支援方法
JP2013097466A (ja) * 2011-10-28 2013-05-20 Hitachi Ltd 作業支援システム、作業支援方法、および、作業用端末
JP2013200440A (ja) * 2012-03-26 2013-10-03 Mitsubishi Electric Corp 映像表示装置
JP2017191351A (ja) * 2016-04-11 2017-10-19 株式会社日立製作所 作業支援システム及び方法
JP2018063589A (ja) * 2016-10-13 2018-04-19 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2018180090A (ja) * 2017-04-05 2018-11-15 コニカミノルタ株式会社 作業教育システム
JP2018190380A (ja) * 2018-01-09 2018-11-29 株式会社 ディー・エヌ・エー 仮想空間の立体視映像を提供するためのプログラム、システム、及び方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002059147A (ja) * 2000-08-11 2002-02-26 Ricoh Co Ltd 再生作業支援システムおよび再生作業支援方法
JP2013097466A (ja) * 2011-10-28 2013-05-20 Hitachi Ltd 作業支援システム、作業支援方法、および、作業用端末
JP2013200440A (ja) * 2012-03-26 2013-10-03 Mitsubishi Electric Corp 映像表示装置
JP2017191351A (ja) * 2016-04-11 2017-10-19 株式会社日立製作所 作業支援システム及び方法
JP2018063589A (ja) * 2016-10-13 2018-04-19 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2018180090A (ja) * 2017-04-05 2018-11-15 コニカミノルタ株式会社 作業教育システム
JP2018190380A (ja) * 2018-01-09 2018-11-29 株式会社 ディー・エヌ・エー 仮想空間の立体視映像を提供するためのプログラム、システム、及び方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560715A (zh) * 2020-12-21 2021-03-26 北京市商汤科技开发有限公司 操作记录展示方法、装置、电子设备及存储介质
JP2022104138A (ja) * 2020-12-28 2022-07-08 横河電機株式会社 装置、方法及びプログラム
JP7222388B2 (ja) 2020-12-28 2023-02-15 横河電機株式会社 装置、方法及びプログラム
JP7496553B2 (ja) 2021-03-30 2024-06-07 株式会社豊田自動織機 作業支援装置、データベース作成装置、作業支援システム、及び作業支援方法
WO2024142814A1 (ja) * 2022-12-28 2024-07-04 株式会社Screenホールディングス 作業支援方法および作業支援システム

Also Published As

Publication number Publication date
JP7109395B2 (ja) 2022-07-29

Similar Documents

Publication Publication Date Title
JP7109395B2 (ja) 作業支援システム、作業支援装置、及び作業支援方法
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
CN107782314B (zh) 一种基于扫码的增强现实技术室内定位导航方法
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
JP6586834B2 (ja) 作業支援方法、作業支援プログラム、及び作業支援システム
US10008028B2 (en) 3D scanning apparatus including scanning sensor detachable from screen
KR101260576B1 (ko) Ar 서비스를 제공하기 위한 사용자 단말기 및 그 방법
US20160269631A1 (en) Image generation method, system, and apparatus
JP2017191490A (ja) 技能伝承システム及び方法
US11395102B2 (en) Field cooperation system and management device
WO2021250914A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP7266422B2 (ja) 注視行動調査システム、及び制御プログラム
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
CN113677412A (zh) 信息处理装置、信息处理方法和程序
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7433126B2 (ja) 画像表示システム、画像表示装置、サーバ、画像表示方法およびプログラム
JP6515473B2 (ja) 動作指示システム、動作指示方法、および、動作指示管理サーバ
US20220166917A1 (en) Information processing apparatus, information processing method, and program
KR20180060403A (ko) 영상 기반의 드론 제어장치
KR20220083552A (ko) 착용형 ar 장치를 위한 다중 객체의 6 자유도 추정과 보정 및 이를 적용한 ar 서비스 방법
JP2022021009A (ja) 現場映像管理システムおよび現場映像管理方法
KR20210112551A (ko) 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법
JP6849582B2 (ja) Ar情報提供システム及び情報処理装置
JP2021056922A (ja) 人動作支援システム及びその方法
JP2001239983A (ja) 艤装支援システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220719

R150 Certificate of patent or registration of utility model

Ref document number: 7109395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150