JP2018169768A - System and method for work support - Google Patents
System and method for work support Download PDFInfo
- Publication number
- JP2018169768A JP2018169768A JP2017066117A JP2017066117A JP2018169768A JP 2018169768 A JP2018169768 A JP 2018169768A JP 2017066117 A JP2017066117 A JP 2017066117A JP 2017066117 A JP2017066117 A JP 2017066117A JP 2018169768 A JP2018169768 A JP 2018169768A
- Authority
- JP
- Japan
- Prior art keywords
- work
- match
- information processing
- sensor
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 230000010365 information processing Effects 0.000 claims description 46
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Abstract
Description
本発明は、作業支援システムおよび作業支援方法に関する。 The present invention relates to a work support system and a work support method.
近年、製品の高機能化や高性能化が進み、部品やユニットが複雑化してきている。また、顧客の要望に応じて製品の多様化が図られていることから、製品の種類も増えている。
作業者が全ての製品の全ての情報を記憶することは非常に難しく、製品の修理やメンテナンスをするとき、マニュアルを頼りにしながら進めていくことになる。
特に複雑な作業を要するときには、トレーニングによって作業者の習熟度を高めていく必要がある。従来のトレーニングシステムは、地磁気センサとジャイロセンサの何れか一方と加速度センサとを有するセンサ部から抽出した特徴量と、標準状態における基準とする特徴量とを比較して、比較した結果で標準状態でないと警告を発する（特許文献１参照）。
In recent years, the functions and performance of products have increased, and parts and units have become complicated. In addition, since the diversification of products according to customer requests, the types of products are increasing.
It is very difficult for an operator to memorize all information of all products, and when repairing or maintaining a product, it is necessary to proceed while relying on a manual.
In particular, when complicated work is required, it is necessary to improve the proficiency level of the worker through training. The conventional training system compares the feature value extracted from the sensor unit having either one of the geomagnetic sensor or the gyro sensor and the acceleration sensor with the reference feature value in the standard state, and compares the feature value with the standard state. Otherwise, a warning is issued (see Patent Document 1).
特許文献１に記載されたトレーニングシステムでは、作業者が標準状態でないときに警告を発するが、どこの作業が標準と異なっていたか、作業終了後にマニュアルを見ながら確認することはできなかった。 In the training system described in Patent Document 1, a warning is issued when the worker is not in a standard state, but it has not been possible to confirm by looking at the manual after the work whether the work is different from the standard.
本発明の作業支援システムは、作業の状態を撮像する撮像装置と、作業者の動作を検知するセンサと、作業手順を表示する表示装置と、前記表示装置に作業手順を表示させ、前記撮像装置で撮像したデータと前記センサで検知した作業者の動作からあらかじめ定められた手順と一致しているかを判断し、一致していない場合には、前記作業手順に一致していない箇所を関連付けて記憶する情報処理装置と、を有する。
本発明の作業支援方法は、撮像装置が作業の状態を撮像するステップと、センサが作業者の動作を検知するステップと、表示装置が作業手順を表示するステップと、情報処理装置が、前記表示装置に作業手順を表示させ、前記撮像装置で撮像したデータと前記センサで検知した作業者の動作からあらかじめ定められた手順と一致しているかを判断し、一致していない場合には、前記作業手順に一致していない箇所を関連付けて記憶するステップと、を有する。
The work support system of the present invention includes an image pickup apparatus that picks up an image of a work state, a sensor that detects an operation of an operator, a display device that displays a work procedure, and displays the work procedure on the display device. It is determined whether or not it matches the predetermined procedure from the data picked up by the sensor and the operator's action detected by the sensor, and if it does not match, the part that does not match the work procedure is associated and stored. And an information processing apparatus.
The work support method of the present invention includes a step in which an imaging device images the state of work, a step in which a sensor detects an operator's action, a step in which a display device displays a work procedure, and an information processing device in which the display The work procedure is displayed on the device, and it is determined whether the data matches the predetermined procedure from the data captured by the imaging device and the operator's action detected by the sensor. And storing a location that does not match the procedure in association with it.
本発明は、作業者が定められた動作と異なる動作をしたとき、どの時点の作業が定めた動作と異なるかを作業終了後に確認することができる。
According to the present invention, when the worker performs an operation different from the predetermined operation, it is possible to confirm after the operation that the operation at the time point differs from the predetermined operation.
以下、本発明における第１の実施例について図面に基づいて説明する。本実施例は、作業者がマニュアルを見ながら、対象物の点検を行い、その点検が正しく行われていたかを判断して、正しく行われていなかった作業を後から確認できるようにするものである。本発明は、本実施例に限定されるものではない。 Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. In this example, the operator checks the object while looking at the manual, determines whether the check has been performed correctly, and allows the operator to check the work that was not performed correctly later. is there. The present invention is not limited to this embodiment.
図１は、本発明の作業支援システムは、作業者が作業した対象物を撮像するカメラ１０、作業者が作業をおこなう作業内容であるマニュアル４００を表示する表示装置２０と、カメラ１０で撮像した画像又は映像と標準の画像又は映像とを比較するとともに、対象箇所に対するマニュアル４００を記憶する情報処理装置３０、作業者の動作を測定するセンサ４０、全ての装置における全てのマニュアルを記憶するサーバ５０で構成する。 FIG. 1 shows a work support system according to the present invention, in which a camera 10 that captures an object that a worker has worked, a display device 20 that displays a manual 400 that is a work content that the worker performs, and a camera 10 that captures the image. The information processing device 30 that compares the image or video with the standard image or video and stores the manual 400 for the target location, the sensor 40 that measures the operation of the operator, and the server 50 that stores all manuals in all devices. Consists of.
カメラ１０は、作業者が作業している製品、部品、ユニットなどの静止画又は動画を撮像する。作業の邪魔にならないよう頭部や表示装置２０に取り付ける小型のものである。撮影のタイミングは、常時撮像することもできるが、撮像するタイミングが情報処理装置３０からの指示で撮像してもよい。また、シャッターボタンに相当するスイッチを別に設けておき、情報処理装置３０の指示で作業者がこのスイッチをＯＮにすることで撮像することもできる。 The camera 10 captures still images or moving images of products, parts, units, and the like that the worker is working on. It is a small one attached to the head or the display device 20 so as not to interfere with the work. The shooting timing can be always taken, but the shooting timing may be taken according to an instruction from the information processing device 30. In addition, a switch corresponding to the shutter button is provided separately, and an operator can turn on this switch in accordance with an instruction from the information processing apparatus 30 to take an image.
表示装置２０は、作業者の顔部に装着する眼鏡やゴーグルのような形状をしているウエアラブル表示装置である。表示装置２０は、情報処理装置３０から出力される作業すべき内容（マニュアル４００）を表示する。作業者のどちらか一方の目に表示させて、他方の目は表示装置２０を通して対象物を見るか、直接対象物を見る。また、マニュアル４００が表示されている表示装置２０は、対象物も見ることができる。 The display device 20 is a wearable display device having a shape such as glasses or goggles worn on the face of an operator. The display device 20 displays the content to be worked (manual 400) output from the information processing device 30. Either one of the worker's eyes is displayed, and the other eye sees the object through the display device 20, or directly sees the object. Further, the display device 20 on which the manual 400 is displayed can also see the object.
情報処理装置３０は、作業に必要なマニュアル４００を表示装置２０に表示させ、カメラ１０で撮像した画像又は映像と標準の画像又は映像と比較して、両者が同じであるか、又は違いがあるかを判断する。また、サーバ５０と通信し、サーバ５０から必要な情報を入手し、情報処理装置３０で保存する容量を減らすため、カメラ１０で撮像した画像又は映像をサーバ５０へ送信する。情報処理装置３０とサーバ５０との間は、有線回線又は無線通信回線で接続されている。回線は専用回線でも、一般の公衆回線でもどちらでも構わない。 The information processing apparatus 30 causes the display device 20 to display a manual 400 necessary for work, and the image or video captured by the camera 10 is the same as or different from the standard image or video. Determine whether. Further, it communicates with the server 50, acquires necessary information from the server 50, and transmits an image or video captured by the camera 10 to the server 50 in order to reduce the capacity stored in the information processing apparatus 30. The information processing apparatus 30 and the server 50 are connected by a wired line or a wireless communication line. The line may be either a dedicated line or a general public line.
センサ４０は、体の動きを検知するモーションセンサである。両手首、両腕、両足、頭部など作業内容を把握することができれば、どこに装着してもよい。また、手首、腕、足などは、片方に装着すれば作業が十分に把握することができるようならば、両方に装着しなくても構わない。 The sensor 40 is a motion sensor that detects the movement of the body. If it is possible to grasp the work contents such as both wrists, both arms, both legs, and the head, they may be worn anywhere. In addition, it is not necessary to attach the wrist, arm, foot, etc. to both if it can be grasped sufficiently if it is attached to one side.
サーバ５０は、全製品の全マニュアル、作業者がマニュアル４００とは異なる作業をした箇所、作業者が作業途中や作業終了時に撮像した画像又は映像を保存する。なお、情報処理装置３０の記憶容量が大きければ、サーバ５０の機能を情報処理装置３０が受け持つようにすることもできる。その時は、サーバ５０は不要となる。 The server 50 stores all manuals for all products, locations where the worker has performed work different from the manual 400, and images or videos captured by the worker during and at the end of the work. Note that if the storage capacity of the information processing device 30 is large, the information processing device 30 may be responsible for the functions of the server 50. At that time, the server 50 becomes unnecessary.
図２は、情報処理装置３０のブロック図を示す。情報処理装置３０は、各演算を司る演算部３０１、センサ４０から推測された動作が標準の動作と一致しているか否かを判断する動作判断部３０２、カメラ１０で撮像した画像又は映像が標準の画像又は映像と一致しているか否かを判断する画像判断部３０３、マニュアル４００、基準の動作、基準の画像又は映像、カメラ１０で撮像した画像又は映像などを保存する記憶部３０４、サーバ５０と通信する通信部３０５、センサ４０が出力した信号やカメラ１０で撮像した画像又は映像を入力する入力部３０６、マニュアル４００や判断結果等を出力する出力部３０７とを有し、それぞれはバス３０８で接続されている。 FIG. 2 shows a block diagram of the information processing apparatus 30. The information processing apparatus 30 includes a calculation unit 301 that performs each calculation, an operation determination unit 302 that determines whether the operation estimated from the sensor 40 matches a standard operation, and an image or video captured by the camera 10 is standard. An image determination unit 303 that determines whether or not the image or video matches, a manual 400, a reference operation, a reference image or video, a storage unit 304 that stores an image or video captured by the camera 10, and the server 50 A communication unit 305 that communicates with each other, an input unit 306 that inputs a signal output from the sensor 40, an image or video captured by the camera 10, and an output unit 307 that outputs a manual 400, a determination result, and the like. Connected with.
演算部３０１は、各処理のコントロールを行う。動作判断部３０２は、センサ４０の信号を解析して、作業者がどのような作業をどのくらいの時間を要して行ったかを推測する。推測の結果と、記憶部３０４が記憶している標準の動作を比較して、正しく作業しているかを判断する。 The calculation unit 301 controls each process. The motion determination unit 302 analyzes the signal of the sensor 40 and estimates what kind of work the worker took and how long. The result of the estimation and the standard operation stored in the storage unit 304 are compared, and it is determined whether the work is correctly performed.
画像判断部３０３は、カメラ１０で撮像した画像又は映像を一時的に保存し、記憶部３０４で記憶されている標準の画像又は映像と一致しているか否かを判断する。なお、映像は連続している映像から一部の映像を切り出して、画像同士で比較するようにしてもよい。 The image determination unit 303 temporarily stores an image or video captured by the camera 10 and determines whether or not it matches the standard image or video stored in the storage unit 304. Note that a part of the video may be cut out from the continuous video, and the images may be compared with each other.
記憶部３０４は、作業に必要なマニュアル４００、カメラ１０で撮像した画像又は映像、センサ４０から推測した作業者の動作などを記憶する。記憶部３０４は、情報処理装置３０内部に組み込まれていてもよいし、外部へ持ち出せるように情報処理装置から取り外せるようにしてもよい。 The storage unit 304 stores a manual 400 necessary for work, an image or video captured by the camera 10, an operator's operation estimated from the sensor 40, and the like. The storage unit 304 may be incorporated in the information processing apparatus 30 or may be detached from the information processing apparatus so that it can be taken out.
通信部３０５は、サーバ５０と通信する。通信の方法は、有線又は無線を問わず、どのようなプロトコルを使用してもかまわない。
入力部３０６は、カメラ１０で撮像した画像又は映像と、センサ４０の作業者の動作に基づく信号を入力する。
The communication unit 305 communicates with the server 50. The communication method may be any protocol, whether wired or wireless.
The input unit 306 inputs an image or video captured by the camera 10 and a signal based on the operator's operation of the sensor 40.
出力部３０７は、記憶部３０４が記憶しているマニュアル４００を表示装置２０へ出力する。カメラ１０で撮像した画像又は映像が標準の画像又は映像と一致していないとき、一致していない部分を撮像した画像又は映像と共に表示する。また、センサ４０による作業者の動作が標準動作と一致していないとき、警告を表示装置２０に出力する。その際、どこの作業が一致していなかったかをマニュアル４００の該当箇所に目印を表示させたり、マニュアル４００が記載されている文字色と異なる文字色で表示させる。
作業者に警告表示以外に、警告音を発するようにしたいときは、放音部（図示なし）を設けるようにしてもよい。
The output unit 307 outputs the manual 400 stored in the storage unit 304 to the display device 20. When the image or video captured by the camera 10 does not match the standard image or video, a portion that does not match is displayed together with the captured image or video. Further, when the operator's operation by the sensor 40 does not match the standard operation, a warning is output to the display device 20. At that time, a mark indicating where the work did not match is displayed at a corresponding portion of the manual 400, or a character color different from the character color described in the manual 400 is displayed.
When it is desired to emit a warning sound in addition to the warning display to the worker, a sound emitting unit (not shown) may be provided.
次に、作業支援システムを保守点検に使用する場合における動作について説明する。図３は、作業支援システムの動作フローを表す。
作業者は、カメラ１０と眼鏡タイプの表示装置２０とが取り付けられた情報処理装置３０を顔面に、センサ４０を両腕にそれぞれ装着する。情報処理装置３０は、作業者に所定の動作を行わせるための指示を表示装置２０に出力する。作業者は、表示装置２０に表示された指示に従って動作を行う。例えば、右腕を大きく２回円を描き、さらに上下に２回動かすなどである。このとき、両腕に装着したセンサ４０から両腕に動きに応じたデータが出力され、情報処理装置３０の入力部３０６へ入力されて、演算部３０１が作業者の動作に対するセンサ４０の値を関連付けて、基準値として記憶部３０４に記憶する（Ｓ３０１）。
Next, the operation when the work support system is used for maintenance inspection will be described. FIG. 3 shows an operation flow of the work support system.
The worker wears the information processing device 30 to which the camera 10 and the glasses-type display device 20 are attached on the face and the sensor 40 on both arms. The information processing device 30 outputs an instruction for causing the worker to perform a predetermined operation on the display device 20. The worker performs an operation in accordance with the instruction displayed on the display device 20. For example, the right arm is greatly drawn twice and then moved up and down twice. At this time, data corresponding to the movement is output from the sensors 40 worn on both arms and input to the input unit 306 of the information processing apparatus 30, and the calculation unit 301 calculates the value of the sensor 40 for the operation of the operator. In association, the reference value is stored in the storage unit 304 (S301).
情報処理装置３０は、対象物に貼付してあるコードをカメラ１０で読み取るように表示装置２０に表示させる（Ｓ３０２）。このコードは、作業者が作業するマニュアル４００とその該当ページが記載されている。作業者がこのコードをカメラ１０で読み取ると、読み取ったデータが情報処理装置３０の入力部３０６に入力されて、演算部３０１が読み取ったデータから該当するマニュアル４００と該当ページを記憶部３０４から選択して、出力部３０７に出力する。すると、表示装置２０には、該当ページのマニュアル４００が表示される。図４（ａ）は、表示装置２０に表示されるマニュアル４００を示す。 The information processing device 30 causes the display device 20 to display the code attached to the object so as to be read by the camera 10 (S302). This code describes a manual 400 on which an operator works and a corresponding page. When the operator reads this code with the camera 10, the read data is input to the input unit 306 of the information processing apparatus 30, and the corresponding manual 400 and the corresponding page are selected from the data read by the calculation unit 301 from the storage unit 304. And output to the output unit 307. Then, the manual 400 of the corresponding page is displayed on the display device 20. FIG. 4A shows a manual 400 displayed on the display device 20.
作業者は、マニュアル４００を見ながら対象物の保守点検を始める。マニュアル４００に記載された内容に対して、作業者が動作すると、センサ４０から両腕の動きに応じたデータが情報処理装置３０の入力部３０６に入力されて、マニュアル４００通りの動作をしているか、記憶部３０４に記憶された基準値に基づいて補正しながら、情報処理装置３０の動作判断部３０２で作業者の動作を解析する（Ｓ３０３）。 The operator starts maintenance and inspection of the object while looking at the manual 400. When the operator operates on the contents described in the manual 400, data corresponding to the movement of both arms is input from the sensor 40 to the input unit 306 of the information processing apparatus 30, and the operation is performed in accordance with the manual 400. The motion determination unit 302 of the information processing device 30 analyzes the worker's motion while correcting based on the reference value stored in the storage unit 304 (S303).
動作判断部３０２は、解析した作業者の動作がマニュアル４００に記載された標準動作と一致しているか否かを判断する（Ｓ３０４）。動作が一致していない場合（Ｓ３０４のＮ）、動作判断部３０２は、一致していない動作が重要な動作であるかを判断する（Ｓ３０９）。重要な動作とは、対象物に対して正しく保守点検ができていない動作を意味する。例えば、４本のねじを緩めて部品を取り外さなければならないところ、３本のねじを緩めて部品Ａを取り外そうとするような動作である。重要な動作である場合（Ｓ３０９のＹ）には、重要な動作をしなかった旨の警告を発する（Ｓ３１１）。重要な動作をしなかった作業がマニュアル４００の該当箇所に四角４１０で囲まれる。図４（ｂ）は、表示装置２０に表示される該当箇所が四角で囲まれたマニュアル４００を示す。なお、該当箇所に、マニュアル４００の文字色を他とは違う色で表示したり、三角形や丸印など記号を欄外に表示するようにしてもよい。情報処理装置３０は、作業者にやり直しを命ずる信号を出力部３０７から出力し、表示装置２０に表示される（Ｓ３１２）。作業者はマニュアル４００に従って再び動作の解析作業を開始する（Ｓ３０３）。一方、動作判断部３０２が作業者の動作が重要な動作でないと判断すると（Ｓ３０９のＮ）、その旨の警告を発する（Ｓ３１０）。マニュアル４００に軽微な警告があった旨の印を欄外に記載してもよいし、記載しなくてもよい。例えば、重要でない動作とは、３本のねじを右回りで締めるところを左回りで３本のねじを締めた場合などである。 The operation determination unit 302 determines whether or not the analyzed operation of the worker matches the standard operation described in the manual 400 (S304). If the actions do not match (N in S304), the action determination unit 302 determines whether the mismatched action is an important action (S309). The important operation means an operation in which the object is not properly maintained and inspected. For example, when four parts must be loosened and the part must be removed, the operation is such that the three screws are loosened and the part A is to be removed. If it is an important operation (Y in S309), a warning that an important operation has not been issued is issued (S311). A work that has not performed an important operation is surrounded by a square 410 at a corresponding portion of the manual 400. FIG. 4B shows a manual 400 in which a corresponding portion displayed on the display device 20 is surrounded by a square. It should be noted that the character color of the manual 400 may be displayed in a different color from the others, or a symbol such as a triangle or a circle may be displayed outside the box. The information processing device 30 outputs a signal for instructing the operator to redo from the output unit 307 and is displayed on the display device 20 (S312). The worker starts the operation analysis work again according to the manual 400 (S303). On the other hand, if the operation determination unit 302 determines that the operator's operation is not an important operation (N in S309), a warning to that effect is issued (S310). A mark indicating that there is a minor warning in the manual 400 may or may not be written outside the box. For example, an unimportant operation is a case where three screws are tightened counterclockwise when three screws are tightened clockwise.
動作が一致している場合（Ｓ３０４のＹ）、及び警告を発した（Ｓ３１０）後は、所定の作業が終了したか否かを演算部３０１が判断する（Ｓ３０５）。所定の作業とは、カメラ１０で撮像する作業に該当するか否かを意味する。所定の作業が終了しない場合（Ｓ３０５のＮ）、Ｓ３０３に進み次の動作の解析作業を進める。一方、所定の作業が終了した場合（Ｓ３０５のＹ）、カメラ１０で対象物を撮像する（Ｓ３０６）。撮像のタイミングは、表示装置２０に撮像するように表示されたら、１０秒後にカメラ１０の撮像が開始される。または、撮像開始ボタン（図示なし）を情報処理装置３０にあらかじめ組み込んでおいて、作業者がこの撮像開始ボタンを押して撮像を開始するようにしてもよい。 When the operations match (Y in S304), and after issuing a warning (S310), the calculation unit 301 determines whether or not the predetermined work is completed (S305). Predetermined work means whether it corresponds to the work imaged with the camera 10 or not. If the predetermined work is not completed (N in S305), the process proceeds to S303 and the analysis operation for the next operation is advanced. On the other hand, when the predetermined work is completed (Y in S305), the camera 10 images the object (S306). When the imaging timing is displayed on the display device 20 so as to capture an image, the imaging of the camera 10 is started after 10 seconds. Alternatively, an imaging start button (not shown) may be incorporated in the information processing apparatus 30 in advance, and an operator may start imaging by pressing the imaging start button.
図５（ｂ）は、カメラ１０で撮像された画像又は映像を示す。カメラ１０で撮像された画像又は映像５１０は、画像判断部３０３に一時的に記憶される。図５（ａ）は、記憶部３０４に記憶された標準の画像又は映像である。画像判断部３０３は、記憶部３０４に記憶された標準の画像又は映像５００を読み込んで、撮像した画像又は映像５１０が標準の画像又は映像５００と一致しているか否かを判断する（Ｓ３０７）。両者の画像又は映像が一致していない場合（Ｓ３０７のＮ）、画像判断部３０３は、一致していない画像又は映像が重要な状態であるかを判断する（Ｓ３１３）。重要な状態とは、対象物に対して正しく保守点検ができていない状態を意味する。例えば、４本のねじを締めて部品を取り付けなければならないところ、１本のねじ５４０を締め忘れて部品Ｂを取り付ける状態である。重要な状態である場合（Ｓ３１３のＹ）には、重要な状態でなければならないのにその正しい状態でない旨の警告を発する（Ｓ３１５）。図５（ｃ）は、表示装置２０に一致していない箇所に印５３０がついた状態の画像又は映像を示す。情報処理装置３０は、画像判断部３０３が一致していないと判断した箇所を出力部３０７から出力し、表示装置２０にこれが表示される。なお、表示装置２０を通じて直接対象物を作業者が見ているとカメラ１０を通して情報処理装置３０が判断した場合には、一致していない印５３０のみ実際の対象物に重ねて表示するようにしてもよい。情報処理装置３０は、作業者にやり直しを命ずる信号を出力部３０７から出力し、表示装置２０に表示される（Ｓ３１６）。作業者はマニュアル４００に従って再び動作の解析作業を開始する（Ｓ３０３）。一方、画像判断部３０３が作業の状態が重要な状態でないと判断すると（Ｓ３１３のＮ）、その旨の警告を発する（Ｓ３１４）。重要でない状態とは、例えば、取り付けた部品の外観に動作に影響しない微細な付着物が付いている場合などである。 FIG. 5B shows an image or video captured by the camera 10. An image or video 510 captured by the camera 10 is temporarily stored in the image determination unit 303. FIG. 5A shows a standard image or video stored in the storage unit 304. The image determination unit 303 reads the standard image or video 500 stored in the storage unit 304, and determines whether the captured image or video 510 matches the standard image or video 500 (S307). If the two images or videos do not match (N in S307), the image determination unit 303 determines whether the mismatched images or videos are in an important state (S313). The important state means a state in which the object is not properly maintained and inspected. For example, when it is necessary to fasten four screws and attach a component, it is in a state where the component B is attached without tightening one screw 540. If it is in an important state (Y in S313), a warning that it is in an important state but is not correct is issued (S315). FIG. 5C shows an image or video in a state where a mark 530 is added to a location that does not match the display device 20. The information processing apparatus 30 outputs the part determined by the image determination unit 303 as not matching from the output unit 307, and this is displayed on the display device 20. When the information processing apparatus 30 determines that the operator is directly looking at the object through the display device 20 through the camera 10, only the inconsistent mark 530 is displayed on the actual object. Also good. The information processing device 30 outputs a signal for instructing the worker to start over from the output unit 307 and is displayed on the display device 20 (S316). The worker starts the operation analysis work again according to the manual 400 (S303). On the other hand, if the image determination unit 303 determines that the work state is not an important state (N in S313), a warning to that effect is issued (S314). The unimportant state is, for example, a case where a fine deposit that does not affect the operation is attached to the appearance of the attached component.
動作が一致している場合（Ｓ３０７のＹ）、及び警告を発した（Ｓ３１４）後は、作業終了か否かを演算部３０１が判断する（Ｓ３０８）。作業が終了しない場合（Ｓ３０８のＮ）、Ｓ３０３に進み次の動作の解析作業を進める。一方、作業が終了した場合（Ｓ３０８のＹ）、表示装置２０からマニュアル４００の表示が消える。情報処理装置３０の記憶部に記憶されている正しい操作をしなかった箇所４１０や撮像した画像又は映像５１０を通信部３０５を通じてサーバ５０へ送信される。 If the operations match (Y in S307) and a warning is issued (S314), the calculation unit 301 determines whether the work is finished (S308). If the work is not completed (N in S308), the process proceeds to S303 and the analysis work for the next operation is advanced. On the other hand, when the work is completed (Y in S308), the display of the manual 400 disappears from the display device 20. The location 410 where the correct operation is not performed and the captured image or video 510 stored in the storage unit of the information processing apparatus 30 are transmitted to the server 50 through the communication unit 305.
次に、本発明における第２の実施例について説明する。第１の実施例は、所定の動作が終了するまでは、カメラ１０で対象物を撮像しないが、第２の実施例は、作業ごとに動作と状態の双方から判断する。第１の実施例と同じ符号を付した箇所は、第１の実施例で説明した内容と同じであるため、詳細な説明を省略する。 Next, a second embodiment of the present invention will be described. In the first embodiment, the object is not imaged by the camera 10 until the predetermined operation is completed, but in the second embodiment, determination is made from both the operation and the state for each work. The portions denoted by the same reference numerals as those in the first embodiment are the same as the contents described in the first embodiment, and thus detailed description thereof is omitted.
作業者は、カメラ１０と眼鏡タイプの表示装置２０とが取り付けられた情報処理装置３０を顔面に、センサ４０を両腕にそれぞれ装着する。情報処理装置３０は、作業者に所定の動作を行わせるための指示を表示装置２０に出力する。作業者は、表示装置２０に表示された指示に従って動作を行う。演算部３０１が作業者の動作に対するセンサ４０の値を関連付けて、基準値として記憶部３０４に記憶する（Ｓ３０１）。
情報処理装置３０は、対象物に貼付してあるコードをカメラ１０で読み取るように表示装置２０に表示させ、表示装置２０には、該当ページのマニュアル４００が表示される（Ｓ３０２）。
The worker wears the information processing device 30 to which the camera 10 and the glasses-type display device 20 are attached on the face and the sensor 40 on both arms. The information processing device 30 outputs an instruction for causing the worker to perform a predetermined operation on the display device 20. The worker performs an operation in accordance with the instruction displayed on the display device 20. The calculation unit 301 associates the value of the sensor 40 with respect to the worker's action and stores it in the storage unit 304 as a reference value (S301).
The information processing device 30 causes the display device 20 to display the code affixed to the object so as to be read by the camera 10, and the manual 400 of the corresponding page is displayed on the display device 20 (S302).
作業者は、マニュアル４００を見ながら対象物の保守点検を始める。マニュアル４００に記載された内容に対して、作業者が動作すると、センサ４０から両腕の動きに応じたデータが情報処理装置３０の入力部３０６に入力されて、マニュアル４００通りの動作をしているか、記憶部３０４に記憶された基準値に基づいて補正しながら、情報処理装置３０の動作判断部３０２で作業者の動作を解析する（Ｓ３０３）。その動作が終了すると、表示装置２０にカメラ１０で作業状態を撮像するように表示され、情報処理装置３０は、一定時間後にカメラ１０で対象物を撮像する（Ｓ３０６）。カメラ１０で撮像された画像又は映像５１０は、画像判断部３０３に一時的に記憶される。 The operator starts maintenance and inspection of the object while looking at the manual 400. When the operator operates on the contents described in the manual 400, data corresponding to the movement of both arms is input from the sensor 40 to the input unit 306 of the information processing apparatus 30, and the operation is performed in accordance with the manual 400. The motion determination unit 302 of the information processing device 30 analyzes the worker's motion while correcting based on the reference value stored in the storage unit 304 (S303). When the operation ends, the display device 20 is displayed so as to capture the work state with the camera 10, and the information processing device 30 images the object with the camera 10 after a certain time (S306). An image or video 510 captured by the camera 10 is temporarily stored in the image determination unit 303.
動作判断部３０２は、解析した作業者の動作がマニュアル４００に記載された標準動作と一致しているか否かを、画像判断部３０３は、記憶部３０４に記憶された標準の画像又は映像５００を読み込んで、撮像した画像又は映像５１０が標準の画像又は映像５００と一致しているか否かをそれぞれ判断する（Ｓ６０１）。 The operation determination unit 302 determines whether or not the analyzed operation of the worker matches the standard operation described in the manual 400, and the image determination unit 303 displays the standard image or video 500 stored in the storage unit 304. It is determined whether the read image or video 510 matches the standard image or video 500 (S601).
動作または画像もしくは映像のうち少なくともどちらかが一致していない場合（Ｓ６０１のＮ）、動作判断部３０２は、一致していない動作が重要な動作であるかを判断し、画像判断部３０３は、一致していない画像又は映像が重要な状態であるかを判断する（Ｓ６０２）。動作及び画像又は映像のうち、少なくともいずれか１つが重要な動作及び重要な状態であると判断されたときは、Ｓ６０３の警告が発生される。Ｓ６０３の警告は、Ｓ３１１とＳ３１５の警告と同様である。情報処理装置３０は、作業者にやり直しを命ずる信号を出力部３０７から出力し、表示装置２０に表示される（Ｓ３１２）。作業者はマニュアル４００に従って再び動作の解析作業を開始する（Ｓ３０３）。一方、動作判断部３０２は、作業者の動作が重要な動作でなく、かつ、画像判断部３０３はカメラ１０で撮像された画像又は映像５１０が重要な状態でないと判断すると（Ｓ６０２のＮ）、その旨の警告を発する（Ｓ６０５）。Ｓ６０５の警告は、第１の実施例におけるＳ３１０及びＳ３１４の警告と同様ある。 When at least one of the operation and the image or the video does not match (N in S601), the operation determination unit 302 determines whether the operation that does not match is an important operation, and the image determination unit 303 It is determined whether the mismatched image or video is in an important state (S602). When it is determined that at least one of the motion and the image or the video is an important motion and an important state, a warning in S603 is generated. The warning in S603 is the same as the warning in S311 and S315. The information processing device 30 outputs a signal for instructing the operator to redo from the output unit 307 and is displayed on the display device 20 (S312). The worker starts the operation analysis work again according to the manual 400 (S303). On the other hand, when the operation determination unit 302 determines that the operator's operation is not an important operation and the image determination unit 303 determines that the image or video 510 captured by the camera 10 is not an important state (N in S602). A warning to that effect is issued (S605). The warning in S605 is the same as the warning in S310 and S314 in the first embodiment.
動作および画像又は映像のいずれも一致している場合、重要な動作かつ重要な状態でないと警告したのち（Ｓ６０１のＹ）、作業終了か否かを演算部３０１が判断する（Ｓ３０８）。作業が終了しない場合（Ｓ３０８のＮ）、Ｓ３０３に進み次の動作の解析作業を進める。一方、作業が終了した場合（Ｓ３０８のＹ）、表示装置２０からマニュアル４００の表示が消える。情報処理装置３０の記憶部３０４に記憶されている正しい操作をしなかった箇所４１０や撮像した画像又は映像５１０を通信部３０５を通じてサーバ５０へ送信される。 If both the operation and the image or video match, after warning that it is not an important operation and an important state (Y in S601), the calculation unit 301 determines whether or not the work is finished (S308). If the work is not completed (N in S308), the process proceeds to S303 and the analysis work for the next operation is advanced. On the other hand, when the work is completed (Y in S308), the display of the manual 400 disappears from the display device 20. The location 410 where the correct operation is not performed and the captured image or video 510 stored in the storage unit 304 of the information processing apparatus 30 are transmitted to the server 50 through the communication unit 305.
１０ カメラ
２０ 表示装置
３０ 情報処理装置
４０ センサ
５０ サーバ
DESCRIPTION OF SYMBOLS 10 Camera 20 Display apparatus 30 Information processing apparatus 40 Sensor 50 Server
Claims (8)
作業者の動作を検知するセンサと、
作業手順を表示する表示装置と、
前記表示装置に前記作業手順を表示させ、前記撮像装置で撮像したデータと前記センサで検知した前記作業者の動作からあらかじめ定められた手順と一致しているかを判断し、一致していない場合には、前記作業手順に一致していない箇所を関連付けて記憶する情報処理装置と、
を有する作業支援システム。 An imaging device for imaging the state of work;
A sensor for detecting the movement of the worker;
A display device for displaying the work procedure;
When the work procedure is displayed on the display device, it is determined whether or not the data obtained by the imaging device and the operator's action detected by the sensor match the predetermined procedure, and do not match Is an information processing device that stores a location that does not match the work procedure,
A work support system.
前記センサで検知した前記作業者の動作があらかじめ定めた動作と一致しているか否かを判断する動作判断部と、
前記カメラで撮像したデータがあらかじめ定められたデータと一致しているかを判断する画像判断部と、
を有する請求項１記載の作業支援システム。 The information processing apparatus includes:
An operation determination unit that determines whether the operation of the worker detected by the sensor matches a predetermined operation;
An image determination unit that determines whether data captured by the camera matches predetermined data;
The work support system according to claim 1, comprising:
センサが作業者の動作を検知するステップと、
表示装置が作業手順を表示するステップと、
情報処理装置が、前記表示装置に前記作業手順を表示させ、前記撮像装置で撮像したデータと前記センサで検知した前記作業者の動作からあらかじめ定められた手順と一致しているかを判断し、一致していない場合には、前記作業手順に一致していない箇所を関連付けて記憶するステップと、
を有する作業支援方法。 An imaging device imaging the state of work;
A sensor detecting the movement of the worker;
A display device displaying a work procedure;
The information processing apparatus displays the work procedure on the display device, determines whether the data obtained by the imaging device and the operator's action detected by the sensor match a predetermined procedure, If not, the step of associating and storing the location that does not match the work procedure;
A work support method.
動作判断部が前記センサで検知した前記作業者の動作があらかじめ定めた動作と一致しているか否かを判断するステップと、
画像判断部が前記カメラで撮像したデータがあらかじめ定められたデータと一致しているかを判断するステップと、
を有する請求項５記載の作業支援方法。 The information processing apparatus includes:
Determining whether the operation of the worker detected by the sensor by the operation determining unit matches a predetermined operation;
A step in which an image determination unit determines whether data captured by the camera matches predetermined data;
The work support method according to claim 5, further comprising:
The information processing apparatus includes a step of instructing to display a portion that does not match when the image determination unit determines that the data captured by the camera does not match predetermined data. 6. The work support method according to 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017066117A JP6872948B2 (en) | 2017-03-29 | 2017-03-29 | Work support system and work support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017066117A JP6872948B2 (en) | 2017-03-29 | 2017-03-29 | Work support system and work support method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018169768A true JP2018169768A (en) | 2018-11-01 |
| JP6872948B2 JP6872948B2 (en) | 2021-05-19 |
Family
ID=64018767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017066117A Active JP6872948B2 (en) | 2017-03-29 | 2017-03-29 | Work support system and work support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6872948B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461012A (en) * | 2020-04-01 | 2020-07-28 | 要文瑾 | Personnel behavior monitoring method and system under air traffic control scene |
| JP2020149142A (en) * | 2019-03-11 | 2020-09-17 | 株式会社Ｎｔｔファシリティーズ | Work support system, work support method, and program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008003781A (en) * | 2006-06-21 | 2008-01-10 | Konica Minolta Holdings Inc | Operation monitoring system |
| JP2015061339A (en) * | 2013-09-17 | 2015-03-30 | 株式会社日立製作所 | Wire connection work support system |
-
2017
- 2017-03-29 JP JP2017066117A patent/JP6872948B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008003781A (en) * | 2006-06-21 | 2008-01-10 | Konica Minolta Holdings Inc | Operation monitoring system |
| JP2015061339A (en) * | 2013-09-17 | 2015-03-30 | 株式会社日立製作所 | Wire connection work support system |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020149142A (en) * | 2019-03-11 | 2020-09-17 | 株式会社Ｎｔｔファシリティーズ | Work support system, work support method, and program |
| CN111461012A (en) * | 2020-04-01 | 2020-07-28 | 要文瑾 | Personnel behavior monitoring method and system under air traffic control scene |
| CN111461012B (en) * | 2020-04-01 | 2020-10-27 | 要文瑾 | Personnel behavior monitoring method and system under air traffic control scene |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6872948B2 (en) | 2021-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9538131B2 (en) | Remote behavior navigation system and processing method thereof | |
| US11372249B2 (en) | Information processing device and information processing method | |
| US11011074B2 (en) | Information processing system, information processor, information processing method and program | |
| CA2468904A1 (en) | Device and method for calculating a location on a display | |
| JP6452440B2 (en) | Image display system, image display apparatus, image display method, and program | |
| JP2017191490A (en) | Skill transmission system and method | |
| US20210132378A1 (en) | Head mounted display and information processing method | |
| JP2017124074A (en) | Electronic apparatus, system, determination method, determination program and recording medium | |
| JP2018169768A (en) | System and method for work support | |
| JP2016110177A (en) | Three-dimensional input device and input system | |
| WO2020054760A1 (en) | Image display control device and program for controlling image display | |
| CN108646925B (en) | Split type head-mounted display system and interaction method | |
| JP2011086049A (en) | Mobile terminal device for maintenance | |
| US20190041649A1 (en) | Display system, information processor, information processing method and program | |
| JP7198149B2 (en) | Information processing device and device information derivation method | |
| US20190129179A1 (en) | Work assistance apparatus, work assistance method, and computer-readable, non-transitory recording medium recording work assistance program executed by computer | |
| JP7300436B2 (en) | Information processing device, system, information processing method and information processing program | |
| KR20150082746A (en) | Hand measurement system to order customized golf gloves | |
| WO2018100631A1 (en) | Information processing apparatus | |
| KR20140104158A (en) | Stretching coaching system and method for preventing pmusculoskeletal diseases | |
| TWI533238B (en) | A Movement detection and judgment device and method | |
| JP2001061785A (en) | Detection of sight line and apparatus therefor | |
| JP7288792B2 (en) | Information processing device and device information derivation method | |
| US20230353860A1 (en) | System, imaging apparatus, information processing apparatus, information processing method, and information processing program | |
| WO2017195646A1 (en) | Work assistance device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20191009 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210420 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6872948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |