JP2015227848A - Work support system using virtual image - Google Patents

Work support system using virtual image Download PDF

Info

Publication number
JP2015227848A
JP2015227848A JP2014114317A JP2014114317A JP2015227848A JP 2015227848 A JP2015227848 A JP 2015227848A JP 2014114317 A JP2014114317 A JP 2014114317A JP 2014114317 A JP2014114317 A JP 2014114317A JP 2015227848 A JP2015227848 A JP 2015227848A
Authority
JP
Japan
Prior art keywords
tool
virtual image
work
absolute position
detection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014114317A
Other languages
Japanese (ja)
Other versions
JP6094531B2 (en
Inventor
恭士 大塚
Takashi Otsuka
恭士 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chugoku Electric Power Co Inc
Original Assignee
Chugoku Electric Power Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chugoku Electric Power Co Inc filed Critical Chugoku Electric Power Co Inc
Priority to JP2014114317A priority Critical patent/JP6094531B2/en
Publication of JP2015227848A publication Critical patent/JP2015227848A/en
Application granted granted Critical
Publication of JP6094531B2 publication Critical patent/JP6094531B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a work support system using a virtual image used when a position of a work object at a work time is confirmed.SOLUTION: A work support system using a virtual image includes: a first camera 2 for imaging an object 120; a second camera 3 movably imaging the object; an advance measurement task for measuring an absolute position of the object by a stereo matching method by the first camera 2 and the second camera 3; an absolute position database for storing the absolute position of the measured object; a virtual image display task for displaying the absolute position of the stored object and a detection area set in a predetermined range of the object as the virtual image; a tool position measurement task for measuring the absolute position of a tool used for the work of the object by a stereo matching method by the first camera 2 and the second camera 3; and a tool position display task for displaying the absolute position of the tool measured by the tool position measurement task by overlaying the absolute position on the virtual image displayed by the virtual image display task.

Description

この発明は、作業時の作業対象物の位置を確認する際に用いられる仮想画像を利用した作業支援システムに関する。   The present invention relates to a work support system using a virtual image used when confirming the position of a work object during work.

電力設備の電力設備には、同じ形態のものが連続して配設されているものがあり、作業時には、対象物を誤認しないように十分に確認する必要がある。例えば、中間配線盤を含む配線盤は、同じ形態の端子が連続して配設されており、作業対象の端子ピンを誤ってラッピング作業をしてしまうヒューマンエラーが発生していた。しかしながら、配線盤は狭いスペースに配設されているため、作業者の作業を確認する監督者を立ち会わせて、２人で作業対象を確認することは困難である。   Some of the power facilities of the power facility are continuously arranged in the same form, and it is necessary to sufficiently check the object so as not to misidentify the object during work. For example, in a wiring board including an intermediate wiring board, terminals having the same form are continuously arranged, and a human error that erroneously wraps a terminal pin to be worked has occurred. However, since the wiring board is arranged in a narrow space, it is difficult for two persons to confirm the work target by having a supervisor who confirms the work of the worker present.

ヒューマンエラーを防止するため、中間配線盤に作業区画を示す表示板を設置したりしていた。このような表示板を設置するのには、手間と時間とを要してしまう。   In order to prevent human error, a display board indicating a work section has been installed on the intermediate wiring board. It takes time and labor to install such a display board.

立体内視鏡システムに特有のストレスから手術スタッフを解放するとともに、質の高い施術を支援することができる新規な立体内視鏡システムが知られている（例えば、特許文献１参照。）。この技術は、立体内視鏡用ステレオカメラによって取得されたステレオ画像に基づいて撮像対象の奥行値とＲＧＢ値を関連付けた３Ｄデータを生成し、描画した複数の仮想的な視点に対応する複数のステレオ画像が集約してなる多視点ステレオ画像を多視点裸眼立体ディスプレイ装置に表示するものである。また、作業者が作業対象物から目を逸らすことなく、誘導画像を参照しながら作業対象位置を選別できる作業位置誘導装置及びその誘導方法が知られている（例えば、特許文献２参照。）。この技術は、作業時に、ポインティング部の先端が、作業面の予め既知の作業対象位置に向かうように誘導するものである。   A novel stereoscopic endoscope system that can release surgical staff from stress peculiar to the stereoscopic endoscope system and can support high-quality treatment is known (for example, see Patent Document 1). This technology generates 3D data in which a depth value and an RGB value of an imaging target are associated with each other based on a stereo image acquired by a stereo camera for a stereoscopic endoscope, and a plurality of virtual points corresponding to a plurality of drawn virtual viewpoints. A multi-view stereo image formed by collecting stereo images is displayed on a multi-view autostereoscopic display device. There is also known a work position guidance device and a guidance method thereof that can select a work target position while referring to a guidance image without an operator looking away from the work target (for example, see Patent Document 2). This technique guides the tip of the pointing unit to a known work target position on the work surface during work.

特開２０１２−０６５８５１号公報JP 2012-065851 A 特開２０１３−１０４７４７号公報JP 2013-104747 A

特許文献１、２に記載の技術はいずれも、中間配線盤を含む配線盤にように、同じ形態の端子が連続して配設されている対象物に適しているものではない。   None of the techniques described in Patent Documents 1 and 2 are suitable for an object in which terminals having the same form are continuously arranged as in a wiring board including an intermediate wiring board.

そこで、中間配線盤を含む配線盤にように、同じ形態の端子が連続して配設されている対象物であっても、作業位置を正確に確認することが可能な仮想画像を利用した作業支援システムを提供することを目的とする。   Therefore, work using a virtual image that can accurately confirm the work position even for an object in which terminals of the same form are continuously arranged like a wiring board including an intermediate wiring board The purpose is to provide a support system.

上記課題を解決するために、請求項１の発明は、対象物を撮影する第１の撮影手段と、移動自在で、前記対象物を撮影する第２の撮影手段と、前記第１の撮影手段と前記第２の撮影手段によってステレオマッチング法により前記対象物の絶対位置を測定する事前測定手段と、前記事前測定手段によって測定した前記対象物の絶対位置を記憶する絶対位置記憶手段と、前記絶対位置記憶手段に記憶した前記対象物の絶対位置と、前記対象物の所定範囲内に設定した検知エリアとを仮想画像として表示する仮想画像表示手段と、前記第１の撮影手段と前記第２の撮影手段によってステレオマッチング法により前記対象物の作業のために使用する工具の絶対位置を測定する工具位置測定手段と、前記工具位置測定手段によって測定した前記工具の絶対位置を、前記仮想画像表示手段によって表示した仮想画像に重ね合わせて表示する工具位置表示手段と、を備えることを特徴とする仮想画像を利用した作業支援システムである。   In order to solve the above-mentioned problems, the invention of claim 1 is directed to a first imaging unit that images an object, a second imaging unit that is movable and that images the object, and the first imaging unit. And a pre-measuring unit that measures the absolute position of the object by a stereo matching method by the second imaging unit, an absolute position storage unit that stores the absolute position of the object measured by the pre-measuring unit, Virtual image display means for displaying the absolute position of the object stored in the absolute position storage means and the detection area set within a predetermined range of the object as a virtual image, the first photographing means, and the second The tool position measuring means for measuring the absolute position of the tool used for the work of the object by the stereo matching method by the photographing means, and the absolute position of the tool measured by the tool position measuring means. Position, a work support system that uses a virtual image, characterized in that it comprises a tool position display means for displaying superimposed on the virtual image displayed by the virtual image displaying means.

この発明によれば、工具位置測定手段によって測定した工具の絶対位置が、仮想画像表示手段によって表示された仮想画像に重ね合わせて表示される。   According to this invention, the absolute position of the tool measured by the tool position measuring means is displayed superimposed on the virtual image displayed by the virtual image display means.

請求項２の発明は、請求項１に記載の仮想画像を利用した作業支援システムにおいて、前記工具位置測定手段で測定した前記工具の位置が、前記仮想画像表示手段によって設定した前記検知エリア内であるか否かを判定する検知エリア判定手段と、前記検知エリア判定手段によって前記検知エリア外であると判定された場合には、前記工具の駆動を停止するよう制御する制御手段と、を備えることを特徴とする。   According to a second aspect of the present invention, in the work support system using the virtual image according to the first aspect, the position of the tool measured by the tool position measuring unit is within the detection area set by the virtual image display unit. A detection area determination unit that determines whether or not there is, and a control unit that controls to stop driving the tool when the detection area determination unit determines that the detection area is outside the detection area. It is characterized by.

請求項１の発明によれば、工具の絶対位置が、仮想画像に重ね合わせて表示されるので、作業時には、仮想画像上において工具の位置を確認しながら作業を行うことができる。これにより、工具による作業時に、作業対象を誤ってしまうことを防止できる。   According to the first aspect of the present invention, since the absolute position of the tool is displayed superimposed on the virtual image, it is possible to perform the work while confirming the position of the tool on the virtual image during the work. As a result, it is possible to prevent a work target from being mistaken when working with a tool.

請求項２の発明によれば、工具の位置が検知エリア外であると判定された場合には、工具の駆動を停止するので、誤った作業対象に作業をしてしまうことをより確実に防止できる。   According to the second aspect of the present invention, when it is determined that the position of the tool is out of the detection area, the driving of the tool is stopped, so that it is possible to more reliably prevent the work on the wrong work target. it can.

この発明の実施の形態における仮想画像を利用した作業支援システムを利用した作業状態を示す概略図である。It is the schematic which shows the work state using the work assistance system using the virtual image in embodiment of this invention. 図１の仮想画像を利用した作業支援システムの工具を示す概略ブロック図である。It is a schematic block diagram which shows the tool of the work assistance system using the virtual image of FIG. 図１の仮想画像を利用した作業支援システムの管理装置を示すブロック図である。It is a block diagram which shows the management apparatus of the work assistance system using the virtual image of FIG. 図１の仮想画像を利用した作業支援システムの絶対位置データベースを示すデータ構成図である。It is a data block diagram which shows the absolute position database of the work assistance system using the virtual image of FIG. 図１の仮想画像を利用した作業支援システムで作成される仮想画像を示す図である。It is a figure which shows the virtual image produced with the work assistance system using the virtual image of FIG. 図１の仮想画像を利用した作業支援システムの検知エリア判定タスクを示すフロー図である。It is a flowchart which shows the detection area determination task of the work assistance system using the virtual image of FIG. 図１の仮想画像を利用した作業支援システムの情報処理を示すフロー図である。It is a flowchart which shows the information processing of the work assistance system using the virtual image of FIG.

以下、この発明を図示の実施の形態に基づいて説明する。   The present invention will be described below based on the illustrated embodiments.

図１は、この発明の実施の形態に係る仮想画像を利用した作業支援システム（以下、「作業支援システム」という）１を示す概略構成図である。この実施の形態では、中間配線盤１００に配設されたＩＤＦ端子ピン１２０を、作業者Ｍがラッピングツール（工具）４によってラッピングする場合について説明する。ここで、この中間配線盤１００は、複数の盤面（架）が複数直列に配設されて構成され、各盤面内に複数の端子板１１０が配列され、各端子板１１０に同じ形態のＩＤＦ端子ピン１２０が複数並んで配設されている。なお、便宜上主として、１つの盤面を中間配線盤１００として以下に説明する。   FIG. 1 is a schematic configuration diagram showing a work support system (hereinafter referred to as “work support system”) 1 using a virtual image according to an embodiment of the present invention. In this embodiment, the case where the worker M wraps the IDF terminal pin 120 disposed on the intermediate wiring board 100 with the wrapping tool (tool) 4 will be described. Here, the intermediate wiring board 100 is configured by arranging a plurality of board surfaces (frames) in series, a plurality of terminal boards 110 being arranged in each board face, and IDF terminals having the same form on each terminal board 110. A plurality of pins 120 are arranged side by side. For convenience, the following description will be given mainly assuming that one board surface is the intermediate wiring board 100.

作業支援システム１は、主として、第１の撮影手段としての第１のカメラ２と、第２の撮影手段としての第２のカメラ３と、工具４と、管理装置５とを備えている。   The work support system 1 mainly includes a first camera 2 as a first photographing unit, a second camera 3 as a second photographing unit, a tool 4, and a management device 5.

第１のカメラ２は、対象物を撮影するものであり、基点とするカメラである。ここで、対象物とは、中間配線盤１００とＩＤＦ端子ピン１２０のことである。第１のカメラ２は、撮影した画像を後述する管理装置５に有線また無線で送信する。   The first camera 2 is a camera that takes an image of an object and serves as a base point. Here, the object is the intermediate wiring board 100 and the IDF terminal pin 120. The first camera 2 transmits the captured image to the management device 5 described later by wire or wirelessly.

第２のカメラ３は、第１のカメラ２に対して所定方向（図中の矢印方向）に移動自在で、対象物を撮影するものであり、第１のカメラ２から距離ｄだけ離れて位置している。第２のカメラ３は、撮影した画像を管理装置５に有線また無線で送信する。第１のカメラ２と、第２のカメラ３によって撮影された画像に基づいて、管理装置５がステレオマッチング法により仮想画像を作成する。第２のカメラ３は、管理装置５の制御によって移動自在である。   The second camera 3 is movable in a predetermined direction (the arrow direction in the figure) with respect to the first camera 2 and shoots an object, and is located away from the first camera 2 by a distance d. doing. The second camera 3 transmits the captured image to the management device 5 by wire or wirelessly. Based on the images taken by the first camera 2 and the second camera 3, the management device 5 creates a virtual image by the stereo matching method. The second camera 3 is movable under the control of the management device 5.

工具４は、ＩＤＦ端子ピン１２０をラッピングするラッピングツールであり、図２に示すように、主として、本体部４０と、発光部４１と、ボタン４２と、表示部４３と、赤外線受信部４４と、電源回路４５とを備えている。   The tool 4 is a wrapping tool for wrapping the IDF terminal pins 120. As shown in FIG. 2, the tool 4 mainly includes a main body 40, a light emitting unit 41, a button 42, a display unit 43, an infrared receiving unit 44, And a power supply circuit 45.

本体部４０は、ラッピングツール本体であり、先端側には針状のビットが配設されている。ビットは、内蔵されたモータ（図示略）によって回転して、ＩＤＦ端子ピン１２０をラッピングするものであり、先端側には、発光部４１が配設されている。発光部４１は、ＬＥＤであり、第１のカメラ２、第２のカメラ３の方向に発光して、ビットの位置を示す。この発光部４１は、ボタン４２を押下することによってＯＮ／ＯＦＦする。   The main body 40 is a wrapping tool main body, and a needle-like bit is disposed on the tip side. The bit is rotated by a built-in motor (not shown) to wrap the IDF terminal pin 120, and a light emitting unit 41 is disposed on the tip side. The light emitting unit 41 is an LED and emits light in the direction of the first camera 2 and the second camera 3 to indicate the position of the bit. The light emitting unit 41 is turned on / off by pressing a button 42.

表示部４３は、管理装置５から送信された検知エリア判定タスク５９の判定結果などを表示することができるようになっている。   The display unit 43 can display the determination result of the detection area determination task 59 transmitted from the management device 5.

赤外線受信部４４は、後述する管理装置５から送信された赤外線を受信するものである。   The infrared receiving unit 44 receives infrared rays transmitted from the management device 5 described later.

電源回路４５は、工具４の電源であり、赤外線受信部４４が受信した管理装置５からの制御信号に基づいて、工具４への電力の供給を停止したり、継続、再開したりする。具体的には、管理装置５から操作を許可する旨の制御信号を受信した場合は、工具４への電力の供給を継続、再開し、操作を禁止する旨の制御信号を受信した場合は、工具４への電力の供給を停止する。   The power supply circuit 45 is a power supply for the tool 4, and stops, continues, or restarts the supply of power to the tool 4 based on the control signal from the management device 5 received by the infrared receiving unit 44. Specifically, when the control signal indicating that the operation is permitted is received from the management device 5, the supply of power to the tool 4 is continued and resumed, and when the control signal indicating that the operation is prohibited is received, The power supply to the tool 4 is stopped.

管理装置５は、図１に示すように、作業対象の部屋の天井などに配設されており、図３に示すように、主として、通信部５０ａと、表示部５１と、絶対位置記憶手段５２と、図面情報記憶手段５３と、作業履歴記憶手段５４と、事前測定手段としての事前測定タスク５５と、仮想画像表示手段としての仮想画像表示タスク５６と、工具位置測定手段としての工具位置測定タスク５７と、工具位置表示手段としての工具位置表示タスク５８と、検知エリア判定手段としての検知エリア判定タスク５９と、これらを制御などする制御部５０とを備える。   As shown in FIG. 1, the management device 5 is disposed on the ceiling of a room to be worked on. As shown in FIG. 3, the management device 5 mainly includes a communication unit 50a, a display unit 51, and absolute position storage means 52. A drawing information storage unit 53, a work history storage unit 54, a pre-measurement task 55 as a pre-measurement unit, a virtual image display task 56 as a virtual image display unit, and a tool position measurement task as a tool position measurement unit 57, a tool position display task 58 as a tool position display means, a detection area determination task 59 as a detection area determination means, and a control unit 50 for controlling these.

通信部５０ａは、赤外線を送受信するものであり、第１のカメラ２、第２のカメラ３から画像を受信したり、工具４に対して制御信号を送信する。   The communication unit 50 a transmits and receives infrared rays, receives images from the first camera 2 and the second camera 3, and transmits a control signal to the tool 4.

表示部５１は、ディスプレイ装置であり、仮想画像表示タスク５６や工具位置表示タスク５８によって画像を表示する。   The display unit 51 is a display device, and displays an image using a virtual image display task 56 and a tool position display task 58.

絶対位置記憶手段５２は、事前測定タスク５５によって測定した中間配線盤１００と、ＩＤＦ端子ピン１２０の絶対位置を絶対位置データベース５２ａとして格納する。絶対位置データベース５２ａは、図４に示すように、Ｎｏ５２１と、絶対位置５２２と、端子盤名称５２３と、端子位置番号５２４と、その他５２５とを有する。Ｎｏ５２１は、ＩＤＦ端子ピン１２０を識別する識別番号である。絶対位置５２２は、後述する事前測定タスク５５によって測定したＩＤＦ端子ピン１２０の絶対位置（ＸＰ、ＹＰ、ＺＰ）を記憶している。端子盤名称５２３は、当該中間配線盤１００の名称であり、端子位置番号５２４は、端子位置の番号である。 The absolute position storage means 52 stores the absolute positions of the intermediate wiring board 100 and the IDF terminal pin 120 measured by the prior measurement task 55 as an absolute position database 52a. As shown in FIG. 4, the absolute position database 52 a includes No 521, an absolute position 522, a terminal board name 523, a terminal position number 524, and others 525. No. 521 is an identification number for identifying the IDF terminal pin 120. The absolute position 522 stores the absolute position (X P , Y P , Z P ) of the IDF terminal pin 120 measured by the pre-measurement task 55 described later. The terminal board name 523 is the name of the intermediate wiring board 100, and the terminal position number 524 is a terminal position number.

図面情報記憶手段５３は、中間配線盤１００に係る作業図面を図面情報データベース５３ａとして格納する。作業図面とは、中間配線盤１００の作業のために作成された設計書や指示書などを含むものである。図面情報データベース５３ａは、例えば、作業対象（中間配線盤１００の識別番号や名称、ＩＤＦ端子ピン１２０の識別番号、絶対位置、名称、端子位置番号を含む）ごとに、作業図面を格納している。   The drawing information storage means 53 stores a work drawing related to the intermediate wiring board 100 as a drawing information database 53a. The work drawing includes a design document and an instruction document created for the work of the intermediate wiring board 100. The drawing information database 53a stores, for example, work drawings for each work target (including the identification number and name of the intermediate wiring board 100, the identification number of the IDF terminal pin 120, the absolute position, the name, and the terminal position number). .

作業履歴記憶手段５４は、中間配線盤１００に係る作業履歴を作業履歴データベース５４ａとして格納する。作業履歴とは、中間配線盤１００に対する作業を行った記録であり、作業日時、作業者、作業対象（中間配線盤１００の識別番号や名称、ＩＤＦ端子ピン１２０の識別番号、絶対位置、名称、端子位置番号を含む）、作業内容などを記憶する。   The work history storage unit 54 stores a work history related to the intermediate wiring board 100 as a work history database 54a. The work history is a record of work performed on the intermediate wiring board 100. The work date and time, the worker, the work target (the identification number and name of the intermediate wiring board 100, the identification number of the IDF terminal pin 120, the absolute position, the name, (Including terminal position number), work contents, etc.

事前測定タスク５５は、第１のカメラ２と第２のカメラ３によってステレオマッチング法により中間配線盤１００と、ＩＤＦ端子ピン１２０の絶対位置（ＸＰ、ＹＰ、ＺＰ）を測定する機能を有するプログラム、タスクである。事前測定タスク５５が絶対位置を測定すると、絶対位置データベース５２ａに記憶するように制御部５０によって制御されている。 The pre-measurement task 55 has a function of measuring the absolute positions (X P , Y P , Z P ) of the intermediate wiring board 100 and the IDF terminal pin 120 by the stereo matching method using the first camera 2 and the second camera 3. It has programs and tasks. When the pre-measurement task 55 measures the absolute position, it is controlled by the control unit 50 so as to be stored in the absolute position database 52a.

事前測定タスク５５は、具体的には、図５に示すように、中間配線盤１００についてボックス１３０とセル１４０で構成される検知エリアを設定する。検知エリアとは、中間配線盤１００と、ＩＤＦ端子ピン１２０の所定範囲内に設定したものであり、工具４を検知するエリアである。ボックス１３０は、各端子板１１０に対して事前に設定され、端子板１１０のＸＹ平面上の位置とＺ方向（奥行き）に長さαで構成される箱型エリアのことである。セル１４０は、各ＩＤＦ端子ピン１２０に対して事前に設定され、各ＩＤＦ端子ピン１２０の延長方向（Ｚ方向）に、ＩＤＦ端子ピン１２０の根元から先端までの長さα程度を延長し、ＩＤＦ端子ピン１２０に対応する略円柱形状のエリアのことである。このように設定した検知エリアの絶対位置（ＸＰ、ＹＰ、ＺＰ）を絶対位置データベース５２ａに記憶する。なお、ピンの長さｈは、固定値で事前設定する。 Specifically, as shown in FIG. 5, the pre-measurement task 55 sets a detection area including a box 130 and a cell 140 for the intermediate wiring board 100. The detection area is an area that is set within a predetermined range of the intermediate wiring board 100 and the IDF terminal pin 120 and is an area for detecting the tool 4. The box 130 is a box-shaped area that is set in advance for each terminal board 110 and is configured with a position α on the XY plane and a length α in the Z direction (depth). The cell 140 is set in advance for each IDF terminal pin 120 and extends in the extending direction (Z direction) of each IDF terminal pin 120 by a length α from the root of the IDF terminal pin 120 to the tip. It is a substantially cylindrical area corresponding to the terminal pin 120. The absolute position (X P , Y P , Z P ) of the detection area thus set is stored in the absolute position database 52a. The pin length h is preset with a fixed value.

仮想画像表示タスク５６は、絶対位置データベース５２ａに記憶した中間配線盤１００と、ＩＤＦ端子ピン１２０の絶対位置（ＸＰ、ＹＰ、ＺＰ）と、検知エリアの絶対位置（ＸＰ、ＹＰ、ＺＰ）とを仮想画像として表示部４３に表示する機能を有するプログラム、タスクである。 Virtual image display task 56 includes an intermediate distribution frame 100 stored in the absolute location database 52a, the absolute position of the IDF terminal pins 120 (X P, Y P, Z P) and the absolute position of the detection area (X P, Y P , Z P ) as a virtual image on the display unit 43.

工具位置測定タスク５７は、第１のカメラ２と、第２のカメラ３によってステレオマッチング法により工具４の絶対位置（ＸＰ、ＹＰ、ＺＰ）を測定する機能を有するプログラム、タスクである。工具位置測定タスク５７は、管理装置５の光検出部（図示略）によって工具４の発光部４１が発光した際に、第１のカメラ２と、第２のカメラ３によってその光（ビットの先端）を撮影し、その位置を測定する。具体的には、工具４の発光部４１が発光したことを検出すると、第２のカメラ３が発光部４１を撮影可能な位置まで移動されて、工具４を撮影する。そして、撮影した画像に基づいて、ステレオマッチング法により工具４の絶対位置（ＸＰ、ＹＰ、ＺＰ）を測定する The tool position measurement task 57 is a program or task having a function of measuring the absolute position (X P , Y P , Z P ) of the tool 4 by the stereo matching method using the first camera 2 and the second camera 3. . When the light emitting unit 41 of the tool 4 emits light by the light detection unit (not shown) of the management device 5, the tool position measurement task 57 performs the light (the tip of the bit) by the first camera 2 and the second camera 3. ) And measure its position. Specifically, when it is detected that the light emitting unit 41 of the tool 4 emits light, the second camera 3 is moved to a position where the light emitting unit 41 can be photographed, and the tool 4 is photographed. Based on the photographed image, the absolute position (X P , Y P , Z P ) of the tool 4 is measured by the stereo matching method.

工具位置表示タスク５８は、工具位置測定タスク５７によって測定した工具４の絶対位置（ＸＰ、ＹＰ、ＺＰ）を、仮想画像表示タスク５６によって表示した仮想画像に重ね合わせて表示部４３に表示する機能を有するプログラム、タスクである。 The tool position display task 58 superimposes the absolute position (X P , Y P , Z P ) of the tool 4 measured by the tool position measurement task 57 on the virtual image displayed by the virtual image display task 56 on the display unit 43. A program or task having a display function.

検知エリア判定タスク５９は、工具位置測定タスク５７で測定した工具４の位置が、仮想画像表示タスク５６によって設定した検知エリア内であるか否かを判定する機能を有するプログラム、タスクである。   The detection area determination task 59 is a program or task having a function of determining whether or not the position of the tool 4 measured by the tool position measurement task 57 is within the detection area set by the virtual image display task 56.

検知エリア判定タスク５９は、図６に示すフローチャートに沿った情報処理を行う。検知エリア判定タスク５９は、図７に示すように、工具４の発光部４１が発光した際に、工具位置測定タスク５７と、工具位置表示タスク５８に続いて、起動されるように制御部５０によって制御されている。工具４の発光部４１が発光した位置が、検知エリア内であるか否かを判定する（ステップＳ１１）。   The detection area determination task 59 performs information processing according to the flowchart shown in FIG. As shown in FIG. 7, the detection area determination task 59 is activated after the tool position measurement task 57 and the tool position display task 58 when the light emitting section 41 of the tool 4 emits light. Is controlled by. It is determined whether or not the position where the light emitting unit 41 of the tool 4 emits light is within the detection area (step S11).

検知エリア外であると判定した場合（「ＮＯ」の場合）は、このタスクの処理を終了する。検知エリア内であると判定した場合（「ＹＥＳ」の場合）は、作業対象のＩＤＦ端子ピン１２０であるか否かを判定する（ステップＳ１２）。作業対象のＩＤＦ端子ピン１２０とは、中間配線盤１００の作業が計画された際に、予め記憶部（図示略）に記憶されている。作業対象のＩＤＦ端子ピン１２０である場合（「ＹＥＳ」の場合）は、工具４に対して操作を許可する旨の制御信号を送信する（ステップＳ１３）。作業対象のＩＤＦ端子ピン１２０でない場合（「ＮＯ」の場合）は、工具４の絶対位置が、作業禁止範囲内であるか否かを判定する（ステップＳ１４）。作業禁止範囲とは、作業を禁止する範囲のことであり、この実施の形態では、作業対象のＩＤＦ端子ピン１２０の検知エリア以外を全て作業禁止範囲として設定する。作業禁止範囲内ではないと判定した場合（「ＮＯ」の場合）は、このタスクの処理を終了する。作業禁止範囲内であると判定した場合（「ＹＥＳ」の場合）は、工具４に対して操作を禁止する旨の制御信号を送信する（ステップＳ１５）。   When it is determined that it is outside the detection area (in the case of “NO”), the processing of this task is terminated. If it is determined that it is within the detection area (in the case of “YES”), it is determined whether or not the IDF terminal pin 120 is a work target (step S12). The IDF terminal pins 120 to be worked are stored in advance in a storage unit (not shown) when the work of the intermediate wiring board 100 is planned. If the IDF terminal pin 120 is a work target (in the case of “YES”), a control signal indicating that the operation is permitted is transmitted to the tool 4 (step S13). If the IDF terminal pin 120 is not the work target (in the case of “NO”), it is determined whether or not the absolute position of the tool 4 is within the work prohibition range (step S14). The work prohibition range is a range in which work is prohibited. In this embodiment, all areas other than the detection area of the IDF terminal pin 120 to be worked are set as the work prohibition range. When it is determined that it is not within the work prohibition range (in the case of “NO”), the processing of this task is terminated. When it determines with it being in the work prohibition range (in the case of "YES"), the control signal which prohibits operation with respect to the tool 4 is transmitted (step S15).

制御部５０は、検知エリア判定タスク５９によって検知エリア外であると判定された場合には、工具４の駆動を停止するよう制御する機能を有するプログラム、タスクである。また、制御部５０は、光検出部（図示略）が工具４の発光部４１が発光したことを検出すると、図７に示すように、工具位置測定タスク５７と、工具位置表示タスク５８、検知エリア判定タスク５９の起動を制御する。   The control unit 50 is a program or task having a function of controlling the driving of the tool 4 to stop when it is determined that the detection area determination task 59 is outside the detection area. When the light detection unit (not shown) detects that the light emitting unit 41 of the tool 4 emits light, the control unit 50 detects the tool position measurement task 57, the tool position display task 58, and the detection as shown in FIG. The activation of the area determination task 59 is controlled.

次に、作業支援システム１を使用した作業方法および作用について説明する。   Next, a working method and operation using the work support system 1 will be described.

まず、中間配線盤１００やＩＤＦ端子ピン１２０が設置されたり、構成が変更、撤去されたりした場合には、中間配線盤１００やＩＤＦ端子ピン１２０の絶対位置（ＸＰ、ＹＰ、ＺＰ）が測定されて、絶対位置データベース５２ａに記憶される。具体的には、事前測定タスク５５が起動されて、第１のカメラ２と第２のカメラ３によって中間配線盤１００とＩＤＦ端子ピン１２０が撮影されて、ステレオマッチング法により中間配線盤１００とＩＤＦ端子ピン１２０の絶対位置（ＸＰ、ＹＰ、ＺＰ）が測定される。そして、中間配線盤１００とＩＤＦ端子ピン１２０の絶対位置（ＸＰ、ＹＰ、ＺＰ）が絶対位置データベース５２ａに記憶される。また、図１、図５に示すように、中間配線盤１００についてボックス１３０とセル１４０で構成される検知エリアが設定されて、検知エリアの絶対位置（ＸＰ、ＹＰ、ＺＰ）が絶対位置データベース５２ａに記憶される。 First, when the intermediate wiring board 100 or the IDF terminal pin 120 is installed, or the configuration is changed or removed, the absolute position (X P , Y P , Z P ) of the intermediate wiring board 100 or the IDF terminal pin 120. Are measured and stored in the absolute position database 52a. Specifically, the pre-measurement task 55 is activated, the intermediate wiring board 100 and the IDF terminal pin 120 are photographed by the first camera 2 and the second camera 3, and the intermediate wiring board 100 and the IDF are detected by the stereo matching method. The absolute position (X P , Y P , Z P ) of the terminal pin 120 is measured. The absolute positions (X P , Y P , Z P ) of the intermediate wiring board 100 and the IDF terminal pin 120 are stored in the absolute position database 52a. As shown in FIGS. 1 and 5, a detection area including a box 130 and a cell 140 is set for the intermediate wiring board 100, and the absolute position (X P , Y P , Z P ) of the detection area is absolute. Stored in the position database 52a.

そして、仮想画像表示タスク５６によって、仮想画像が表示部４３に表示される。   Then, a virtual image is displayed on the display unit 43 by the virtual image display task 56.

中間配線盤１００のＩＤＦ端子ピン１２０にラッピング作業を行う際は、作業者Ｍによって、工具４が、作業対象の中間配線盤１００のＩＤＦ端子ピン１２０に近接される。   When performing the lapping work on the IDF terminal pin 120 of the intermediate wiring board 100, the operator 4 brings the tool 4 close to the IDF terminal pin 120 of the intermediate wiring board 100 to be worked.

そして、作業者Ｍによって工具４のボタン４２が押下されて、発光部４１が点灯される。   And the button 42 of the tool 4 is pushed down by the worker M, and the light emission part 41 is lighted.

管理装置５の光検出部（図示略）が、工具４の発光を検出すると、制御部５０によって工具位置測定タスク５７が起動され、第２のカメラ３が発光部４１を撮影可能な位置まで移動されて、工具４が撮影される。そして、撮影された画像に基づいて、ステレオマッチング法により工具４の絶対位置（ＸＰ、ＹＰ、ＺＰ）が測定される。 When the light detection unit (not shown) of the management device 5 detects the light emission of the tool 4, the tool position measurement task 57 is activated by the control unit 50, and the second camera 3 moves to the position where the light emission unit 41 can be photographed. Then, the tool 4 is photographed. Based on the photographed image, the absolute position (X P , Y P , Z P ) of the tool 4 is measured by the stereo matching method.

そして、工具位置表示タスク５８によって、測定された工具４の絶対位置（ＸＰ、ＹＰ、ＺＰ）が、仮想画像表示タスク５６によって表示された仮想画像に重ね合わせて表示部４３に表示される。 Then, the absolute position (X P , Y P , Z P ) of the measured tool 4 is displayed on the display unit 43 by being superimposed on the virtual image displayed by the virtual image display task 56 by the tool position display task 58. The

そして、検知エリア判定タスク５９によって、工具位置測定タスク５７で測定した工具４の位置が、検知エリア内であるか否かが判定される。   Then, the detection area determination task 59 determines whether or not the position of the tool 4 measured by the tool position measurement task 57 is within the detection area.

これにより、正しい中間配線盤１００のＩＤＦ端子ピン１２０を作業しようとした場合には、作業が許可されて、工具４が作業対象のＩＤＦ端子ピン１２０の位置にある旨が表示部４３に表示されて、ラッピング作業が実施される。   Thereby, when trying to work the IDF terminal pin 120 of the correct intermediate wiring board 100, the work is permitted, and the display unit 43 displays that the tool 4 is at the position of the IDF terminal pin 120 to be worked. Wrapping work is performed.

また、作業者Ｍが誤って、異なる中間配線盤１００（例えば、隣接する別の中間配線盤１００）を作業しようとした場合や、異なるＩＤＦ端子ピン１２０（例えば、隣接する別のＩＤＦ端子ピン１２０）を作業しようとした場合には、工具４が作業対象のＩＤＦ端子ピン１２０の位置ではない旨が表示部４３に表示されて、ラッピング作業が実施できない。   Also, when the operator M mistakenly tries to work on a different intermediate wiring board 100 (for example, another adjacent intermediate wiring board 100), or a different IDF terminal pin 120 (for example, another adjacent IDF terminal pin 120). ) Is displayed on the display unit 43 to the effect that the tool 4 is not at the position of the IDF terminal pin 120 to be worked, and the lapping work cannot be performed.

以上のように、この作業支援システム１によれば、工具４の絶対位置が、仮想画像に重ね合わせて表示されるので、仮想画像上において工具４の位置を確認しながら作業を行うことができる。これにより、工具４による作業時に、作業対象を誤ってしまうことを防止できる。具体的には、工具４が作業対象外のＩＤＦ端子ピン１２０をラッピングしてしまうようなヒューマンエラーを確実に防止できる。   As described above, according to the work support system 1, the absolute position of the tool 4 is displayed superimposed on the virtual image, so that the work can be performed while checking the position of the tool 4 on the virtual image. . Thereby, it is possible to prevent the work target from being mistaken when the tool 4 is used. Specifically, it is possible to reliably prevent a human error such that the tool 4 wraps the IDF terminal pin 120 that is not a work target.

また、工具４の位置が検知エリア外であると判定された場合には、工具４の駆動を停止するので、誤った作業対象に作業をしてしまうことをより確実に防止できる。   In addition, when it is determined that the position of the tool 4 is outside the detection area, the driving of the tool 4 is stopped, so that it is possible to more reliably prevent the operator from working on an erroneous work target.

また、絶対位置データベース５２ａ、図面情報データベース５３ａ、作業履歴データベース５４ａを対応して記憶することにより、中間配線盤１００やＩＤＦ端子ピン１２０などを一元的に管理することができる。   Further, by storing the absolute position database 52a, the drawing information database 53a, and the work history database 54a correspondingly, the intermediate wiring board 100, the IDF terminal pins 120, and the like can be managed in an integrated manner.

しかも、作業時に、ＩＤＦ端子ピンの写真を作業履歴データベース５４ａとして記憶すれば、効率的に電力設備を管理することができる。   In addition, when the IDF terminal pin photograph is stored as the work history database 54a during work, the power equipment can be managed efficiently.

以上、この発明の実施の形態について説明したが、具体的な構成は、上記の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があっても、この発明に含まれる。例えば、上記の実施の形態では、中間配線盤１００のＩＤＦ端子ピン１２０をラッピングする場合について説明したが、対象物はこれに限定されないことはもちろんである。   Although the embodiment of the present invention has been described above, the specific configuration is not limited to the above embodiment, and even if there is a design change or the like without departing from the gist of the present invention, Included in the invention. For example, in the above-described embodiment, the case where the IDF terminal pin 120 of the intermediate wiring board 100 is wrapped has been described, but the object is not limited to this.

１ 作業支援システム（仮想画像を利用した作業支援システム）
２ 第１のカメラ（第１の撮影手段）
３ 第２のカメラ（第２の撮影手段）
４ 工具
５ 管理装置
５０ 制御部（制御手段）
５２ａ 絶対位置データベース
５３ａ 図面情報データベース
５４ａ 作業履歴データベース
５５ 事前測定タスク
５６ 仮想画像表示タスク
５７ 工具位置測定タスク
５８ 工具位置表示タスク
５９ 検知エリア判定タスク
１００ 中間配線盤（配線盤）
１１０ 端子板
１２０ ＩＤＦ端子ピン 1 Work support system (work support system using virtual images)
2 First camera (first photographing means)
3 Second camera (second photographing means)
4 Tools 5 Management device 50 Control unit (control means)
52a Absolute position database 53a Drawing information database 54a Work history database 55 Pre-measurement task 56 Virtual image display task 57 Tool position measurement task 58 Tool position display task 59 Detection area determination task 100 Intermediate wiring board (wiring board)
110 Terminal board 120 IDF terminal pin

Claims (2)

対象物を撮影する第１の撮影手段と、
移動自在で、前記対象物を撮影する第２の撮影手段と、
前記第１の撮影手段と前記第２の撮影手段によってステレオマッチング法により前記対象物の絶対位置を測定する事前測定手段と、
前記事前測定手段によって測定した前記対象物の絶対位置を記憶する絶対位置記憶手段と、
前記絶対位置記憶手段に記憶した前記対象物の絶対位置と、前記対象物の所定範囲内に設定した検知エリアとを仮想画像として表示する仮想画像表示手段と、
前記第１の撮影手段と前記第２の撮影手段によってステレオマッチング法により前記対象物の作業のために使用する工具の絶対位置を測定する工具位置測定手段と、
前記工具位置測定手段によって測定した前記工具の絶対位置を、前記仮想画像表示手段によって表示した仮想画像に重ね合わせて表示する工具位置表示手段と、
を備えることを特徴とする仮想画像を利用した作業支援システム。 First imaging means for imaging an object;
A second photographing means that is movable and photographs the object;
A pre-measuring unit that measures an absolute position of the object by a stereo matching method by the first photographing unit and the second photographing unit;
Absolute position storage means for storing the absolute position of the object measured by the prior measurement means;
Virtual image display means for displaying the absolute position of the object stored in the absolute position storage means and a detection area set within a predetermined range of the object as a virtual image;
Tool position measuring means for measuring the absolute position of the tool used for the work of the object by the stereo matching method by the first imaging means and the second imaging means;
Tool position display means for displaying the absolute position of the tool measured by the tool position measuring means superimposed on the virtual image displayed by the virtual image display means;
A work support system using a virtual image. 前記工具位置測定手段で測定した前記工具の位置が、前記仮想画像表示手段によって設定した前記検知エリア内であるか否かを判定する検知エリア判定手段と、
前記検知エリア判定手段によって前記検知エリア外であると判定された場合には、前記工具の駆動を停止するよう制御する制御手段と、
を備えることを特徴とする請求項１に記載の仮想画像を利用した作業支援システム。 Detection area determination means for determining whether or not the position of the tool measured by the tool position measurement means is within the detection area set by the virtual image display means;
Control means for controlling to stop driving the tool when the detection area determination means determines that the detection area is outside the detection area;
The work support system using a virtual image according to claim 1.
JP2014114317A 2014-06-02 2014-06-02 Work support system using virtual images Active JP6094531B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014114317A JP6094531B2 (en) 2014-06-02 2014-06-02 Work support system using virtual images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014114317A JP6094531B2 (en) 2014-06-02 2014-06-02 Work support system using virtual images

Publications (2)

Publication Number Publication Date
JP2015227848A true JP2015227848A (en) 2015-12-17
JP6094531B2 JP6094531B2 (en) 2017-03-15

Family

ID=54885391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014114317A Active JP6094531B2 (en) 2014-06-02 2014-06-02 Work support system using virtual images

Country Status (1)

Country Link
JP (1) JP6094531B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001204738A (en) * 2000-01-26 2001-07-31 Olympus Optical Co Ltd Navigation system for medical operation
JP2007015557A (en) * 2005-07-07 2007-01-25 Shinko Electric Co Ltd Working machine and control method of working machine
JP2008022590A (en) * 2006-07-10 2008-01-31 Nachi Fujikoshi Corp Servomotor monitoring device
US20080077158A1 (en) * 2006-06-16 2008-03-27 Hani Haider Method and Apparatus for Computer Aided Surgery
JP2009231764A (en) * 2008-03-25 2009-10-08 Fujitsu Ltd Wiring work assisting apparatus
JP2010052860A (en) * 2008-08-26 2010-03-11 Chugoku Electric Power Co Inc:The Crane alarm system
JP2012165527A (en) * 2011-02-04 2012-08-30 Nitto Denko Corp Wireless power supply system
JP2013024735A (en) * 2011-07-21 2013-02-04 Chino Gijutsu Kk Mobile body and movement surface detection system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001204738A (en) * 2000-01-26 2001-07-31 Olympus Optical Co Ltd Navigation system for medical operation
JP2007015557A (en) * 2005-07-07 2007-01-25 Shinko Electric Co Ltd Working machine and control method of working machine
US20080077158A1 (en) * 2006-06-16 2008-03-27 Hani Haider Method and Apparatus for Computer Aided Surgery
JP2008022590A (en) * 2006-07-10 2008-01-31 Nachi Fujikoshi Corp Servomotor monitoring device
JP2009231764A (en) * 2008-03-25 2009-10-08 Fujitsu Ltd Wiring work assisting apparatus
JP2010052860A (en) * 2008-08-26 2010-03-11 Chugoku Electric Power Co Inc:The Crane alarm system
JP2012165527A (en) * 2011-02-04 2012-08-30 Nitto Denko Corp Wireless power supply system
JP2013024735A (en) * 2011-07-21 2013-02-04 Chino Gijutsu Kk Mobile body and movement surface detection system

Also Published As

Publication number Publication date
JP6094531B2 (en) 2017-03-15

Similar Documents

Publication Publication Date Title
US10052765B2 (en) Robot system having augmented reality-compatible display
AU2016278583B2 (en) Method for mounting electric switching systems, and assembly support device for simplifying the assembly of such switching systems
CN104023906B (en) Operation management device and operation management system
ES2443265A2 (en) Workbench for manufacturing or checking electrical wiring harnesses
JP4785583B2 (en) Work support system, work support device, and computer program
JP2011175439A5 (en)
JP2008021092A (en) Simulation apparatus of robot system
JP2010060344A (en) Space information display device and support device
JP2013530380A5 (en)
JP2013025478A (en) Work detection system
CN109116807B (en) Composite reality simulation device and computer-readable medium
US10782671B2 (en) Method for operating a pass-through machine and a pass-through machine for edge machining and trimming of workpieces
KR101535801B1 (en) Process inspection device, method and system for assembling process in product manufacturing using depth map sensors
US11325258B2 (en) Guidance apparatus and method for failure recovery
JP2018055246A (en) Image processing device, image processing method and image processing program
JP2021088028A (en) Display device and display program
JP6094531B2 (en) Work support system using virtual images
CN108020885A (en) Fiber cut system
JP2019079144A (en) Work support system, imaging device, wearable device, and work support method
JP7336253B2 (en) Installation method
WO2017135107A1 (en) Wire connection work assist system
CN112242006A (en) Augmented reality glasses device and display program
JP6204831B2 (en) Fine wiring short-circuit location identification device, fine wiring short-circuit location repair device, fine wiring short-circuit location identification method, and fine wiring short-circuit location repair method
JP2020165886A (en) Bar arrangement measurement system, bar arrangement measurement method, and program
WO2018074243A1 (en) Production management system and production management method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160719

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170130

R150 Certificate of patent or registration of utility model

Ref document number: 6094531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150