JPH07286820A - Position measuring method using three-dimensional visual sensor, and positional deviation correcting method - Google Patents

Position measuring method using three-dimensional visual sensor, and positional deviation correcting method

Info

Publication number
JPH07286820A
JPH07286820A JP6104363A JP10436394A JPH07286820A JP H07286820 A JPH07286820 A JP H07286820A JP 6104363 A JP6104363 A JP 6104363A JP 10436394 A JP10436394 A JP 10436394A JP H07286820 A JPH07286820 A JP H07286820A
Authority
JP
Japan
Prior art keywords
robot
image
light
predetermined
predetermined surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6104363A
Other languages
Japanese (ja)
Other versions
JP3442140B2 (en
Inventor
Katsutoshi Takizawa
克俊 滝澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP10436394A priority Critical patent/JP3442140B2/en
Publication of JPH07286820A publication Critical patent/JPH07286820A/en
Application granted granted Critical
Publication of JP3442140B2 publication Critical patent/JP3442140B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PURPOSE:To provide a position measuring method by which the position of an object to be measured can be measured with accuracy even when the distance between a camera and the object changes and a positional deviation correcting method by which the positional deviation between objects can be corrected based on the measured results of the position measuring method. CONSTITUTION:A robot controller 1 successively forms light belts 61 and 62 on the fitting surface of a mechanism section 50 by moving a robot 20 to a position A and turning on a light projector 11 through a sensor section controller 3. The picture of the light belts is taken with a CCD camera 12 and fetched to a picture processor 2. Then the picture of the light belts 61 and 62 is analyzed and the three-dimensional positions of points P1-Q2 on the outer edge of a surface 53 are found, and then, the position and direction of the surface 53 are found. The controller 1 calculates the robot position correcting amount to the position B facing the surface 53 at a fixed interval and moves the robot 20 to the position B. The camera 12 usually takes the picture of the light belts and the processor 2 fetches the video of the surface 53, finds the position of a hole 54, and calculates the positional deviation of the hole 54. Furthermore, the processor 2 determines the robot position correcting amount corresponding to the positional deviation of the hole 54 to the position of the robot 20 for assembling parts 6 and executes assembling work by moving the robot 20 to the corrected assembling position.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本願発明は、対象物の位置あるい
は位置と姿勢(以下、特に区別しない限り、両者併せて
単に「位置」と呼ぶ。)を3次元視覚センサを用いて計
測する方法、並びに、該計測によって得られる対象物の
位置ずれ量を表わす情報に基づいて作業関連物体との間
の位置関係を補正する方法(以下、「位置ずれ補正方
法」と言う。)に関する。本願発明の適用分野として
は、例えば工場の製造ラインにおける組み立て作業、加
工作業等がある。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention is a method for measuring the position or position and orientation of an object (hereinafter, both are simply referred to as "position" unless otherwise specified) using a three-dimensional visual sensor. In addition, the present invention relates to a method for correcting the positional relationship with the work-related object based on the information indicating the positional deviation amount of the object obtained by the measurement (hereinafter, referred to as “positional deviation correction method”). Fields of application of the present invention include, for example, assembling work and processing work in a manufacturing line of a factory.

【0002】[0002]

【従来の技術】工場の製造ラインにおける組み立て作
業、加工作業等においては、作業の自動化・省力化を図
る為に、ロボット等の自動機械とCCDカメラのような
カメラ手段を利用した視覚センサとを組み合わせたビジ
ョンシステムが利用されている。例えば、製造ライン上
の概略所定位置に供給される一方の組み立て作業対象ワ
ークをCCDカメラで撮像し、得られた画像を解析する
ことによって該ワークの正確な位置を視覚センサで検出
し、その結果に基づいて他方の組み立て作業対象ワーク
を把持したロボットの位置補正を行なう方式で、ワーク
間の位置ずれ補正が行なわれている。
2. Description of the Related Art In assembling work and processing work in a factory production line, an automatic machine such as a robot and a visual sensor using a camera means such as a CCD camera are used in order to automate and save the work. A combined vision system is used. For example, one assembly work to be supplied to a predetermined position on the manufacturing line is imaged by a CCD camera, and an accurate position of the work is detected by a visual sensor by analyzing the obtained image. The positional deviation between the works is corrected by a method of correcting the position of the robot holding the other work to be assembled based on the above.

【0003】ところで、通常の画像解析によって対象物
の位置、姿勢、寸法等が正確に計測される為には、使用
するカメラと対象物の位置関係に次のような条件が満た
されている必要がある。
By the way, in order to accurately measure the position, orientation, dimensions, etc. of an object by ordinary image analysis, the following conditions must be satisfied in the positional relationship between the camera used and the object. There is.

【0004】(1)対象物の位置ずれが、カメラの光軸
に垂直な平面内でのみ生じると想定されること。
(1) It is assumed that the displacement of the object occurs only in a plane perpendicular to the optical axis of the camera.

【0005】(2)カメラと対象物の存在する平面との
間の距離が変化しないこと。
(2) The distance between the camera and the plane where the object is present does not change.

【0006】従って、ビジョンシステムを利用する場合
には、上記条件を満たすように計測対象物(組み立て対
象ワーク等)を供給することが出来るように製造ライン
を設計する必要があった。特に、位置ずれにカメラと対
象物の距離が変化するような成分が含まれている場合に
は、ビジョンシステムを用いた位置ずれ補正を行なうこ
とは困難であった。
Therefore, when the vision system is used, it is necessary to design the manufacturing line so that the measurement target (work to be assembled or the like) can be supplied so as to satisfy the above conditions. In particular, when the positional deviation includes a component that changes the distance between the camera and the object, it is difficult to perform the positional deviation correction using the vision system.

【0007】このような制約を回避する為に、ビジョン
システムに3次元視覚センサを取り入れることが行なわ
れている。3次元視覚センサの代表的なものは、スリッ
ト状の光を対象物に所定の方向から投射し、対象物上に
周辺よりも高輝度の光帯を形成させ、これをCCDカメ
ラ等のカメラ手段によって観測して対象物の3次元計測
を行なうものである。
In order to avoid such a restriction, a three-dimensional visual sensor is incorporated into the vision system. A typical three-dimensional visual sensor projects slit-shaped light onto a target object from a predetermined direction to form a light band of higher brightness than the surroundings on the target object, and this is a camera means such as a CCD camera. The three-dimensional measurement of the object is performed by observing.

【0008】しかし、このような3次元視覚センサで
は、ワークの輪郭線など光帯の屈曲点あるいは端点とし
て把握出来る特徴部分に関する3次元位置情報は得られ
るが、ワークの輪郭とは離れた部分にある細部の特徴
(例えば、ねじ穴)の位置を正確に検出することは容易
でない。従って、組み立て作業、加工作業等を円滑に実
行する上で必要となる被計測対象物の位置ずれの補正
(被計測対象物の位置の変化に応じて、作業関連対象物
との間の相対的位置関係を調整し、両者の相対的な位置
関係を予定されているものと一致させること)をその計
測結果に基づいて正確に実行することは困難であった。
However, with such a three-dimensional visual sensor, although three-dimensional position information about a characteristic portion such as a contour line of a workpiece that can be grasped as a bending point or an end point of an optical band can be obtained, a portion apart from the contour of the workpiece is obtained. It is not easy to accurately detect the position of a certain fine feature (for example, a screw hole). Therefore, the correction of the positional deviation of the measured object that is necessary for smoothly performing the assembly work, the processing work, etc. (relative to the work-related object depending on the change in the position of the measured object) It has been difficult to accurately adjust the positional relationship so that the relative positional relationship between the two and the planned positional relationship are matched) based on the measurement results.

【0009】[0009]

【発明が解決しようとする課題】本願発明の目的は、従
来のビジョンシステムを用いた位置計測方法あるいはそ
れに基づく位置ずれ補正方法の問題点を克服することに
ある。即ち、本願発明は、カメラ手段と対象物の距離が
変化するような場合にあっても正確な位置計測を行なう
ことが出来る位置計測方法を提供し、また、該計測結果
に基づいて対象物間の位置ずれを精度良く補正する方法
を提供することを企図している。
SUMMARY OF THE INVENTION An object of the present invention is to overcome the problems of a conventional position measuring method using a vision system or a positional deviation correcting method based on the method. That is, the present invention provides a position measurement method capable of performing accurate position measurement even when the distance between the camera means and the target object changes, and also based on the measurement result It is intended to provide a method for accurately correcting the positional deviation of the.

【0010】[0010]

【課題を解決するための手段】本願発明は上記従来技術
における種々の問題点を解決した対象物の位置計測方法
の基本的な構成として、「制御された方向へ向けて光を
投射して対象物上に光帯を形成する投光手段と、カメラ
手段と、該カメラ手段によって獲得された映像信号を解
析する画像解析手段を含む3次元視覚センサを用いて対
象物の位置を計測する方法であって、前記投光手段を用
いて対象物の所定面上に光帯を形成する段階と、前記対
象物の所定面上に光帯が形成された状態で前記カメラ手
段を用いて前記対象物を撮影し、前記対象物の前記所定
面上に形成された光帯の映像を含む映像を前記画像解析
手段を用いて解析することにより、前記対象物の前記所
定面の3次元的な位置を求める段階と、該求められた所
定面の3次元的な位置に基づいて、前記カメラ手段と前
記対象物の前記所定面を予め定められた間隔をもって正
対させる段階と、該正対状態の下で前記カメラ手段を用
いて前記対象物を撮影し、前記対象物の前記所定面の映
像を含む映像を前記画像解析手段を用いて解析すること
により、前記対象物の前記所定面内の特定部位に関する
3次元的な位置情報を得る段階を含むことを特徴とする
前記方法」(請求項1)を提案したものである。
SUMMARY OF THE INVENTION The present invention has a basic configuration of a method for measuring the position of an object, which solves various problems in the above-mentioned prior art, as follows: "Projecting light in a controlled direction A method of measuring the position of an object using a three-dimensional visual sensor including a light projecting unit that forms a light band on an object, a camera unit, and an image analysis unit that analyzes a video signal acquired by the camera unit. And a step of forming a light band on a predetermined surface of the object using the light projecting means, and the object using the camera means in a state where the light band is formed on the predetermined surface of the object. Is photographed, and an image including an image of a light band formed on the predetermined surface of the object is analyzed by the image analysis means to determine the three-dimensional position of the predetermined surface of the object. The step of obtaining and the three-dimensional of the obtained predetermined surface The camera means and the predetermined surface of the target object at a predetermined interval based on the position, and the camera means is used to photograph the target object under the facing condition. Analyzing the image including the image of the predetermined surface of the object using the image analysis means to obtain three-dimensional position information regarding a specific portion of the object within the predetermined surface. The above method "(claim 1) is proposed.

【0011】そして、上記構成に更に、「前記カメラ手
段と前記対象物の前記所定面を予め定められた間隔をも
って正対させる段階が、前記カメラ手段を支持したロボ
ットによって遂行される」という要件(請求項2)、あ
るいは「前記カメラ手段と前記対象物の前記所定面を予
め定められた間隔をもって正対させる段階が、前記対象
物を支持したロボットによって遂行される」という要件
(請求項3)を課し、上記位置計測方法にロボットを利
用することを提案したものである。
Further, in addition to the above configuration, the requirement that "the step of causing the camera means and the predetermined surface of the object to face each other at a predetermined interval is performed by a robot supporting the camera means" ( (2) or the requirement that "the step of causing the camera means and the predetermined surface of the object to face each other at a predetermined interval is performed by a robot that supports the object" (claim 3) It is proposed to use a robot for the above position measuring method.

【0012】また、本願発明は、上記基本構成に係る位
置計測方法を作業関連物同士に予定される相対的な位置
関係のずれの補正に結びつけた構成として、「制御され
た方向へ向けて光を投射して第1の対象物上に光帯を形
成する投光手段と、カメラ手段と、該カメラ手段によっ
て獲得された映像信号を解析する画像解析手段を含む3
次元視覚センサを用いて前記第1の対象物の位置を計測
し、該計測結果に基づいて前記第1の対象物と第2の対
象物の間で予定されている相対的位置関係からのずれを
補正する対象物の位置ずれ補正方法であって、前記投光
手段を用いて前記第1の対象物の所定面上に光帯を形成
する段階と、前記第1の対象物の所定面上に光帯が形成
された状態で前記カメラ手段を用いて前記第1の対象物
を撮影し、前記第1の対象物の前記所定面上に形成され
た光帯の映像を含む映像を前記画像解析手段を用いて解
析することにより、前記第1の対象物の前記所定面の3
次元的な位置を求める段階と、該求められた所定面の3
次元的な位置に基づいて、前記カメラ手段と前記第1の
対象物の前記所定面を予め定められた間隔をもって正対
させる段階と、該正対状態の下で前記カメラ手段を用い
て前記第1の対象物を撮影し、前記第1の対象物の前記
所定面の映像を含む映像を前記画像解析手段を用いて解
析することにより、前記第1の対象物の前記所定面内の
特定部位に関する3次元的な位置情報を得る段階と、該
得られた前記特定部位に関する3次元的な位置情報に基
づいて、前記第1の対象物と前記第2の対象物の間で予
定されている相対的位置関係からのずれを求め、該ずれ
を解消するように前記第1の対象物と前記第2の対象物
の相対的な位置関係を補正する段階を含むことを特徴と
する前記方法」(請求項4)を提案したものである。
Further, according to the present invention, the position measuring method according to the above-mentioned basic structure is linked to the correction of the deviation of the relative positional relationship expected between the work-related objects, and the "optical direction toward the controlled direction" is set. 3 including a light projecting unit for projecting light to form a light band on the first object, a camera unit, and an image analyzing unit for analyzing a video signal acquired by the camera unit.
The position of the first object is measured using a three-dimensional visual sensor, and the deviation from the expected relative positional relationship between the first object and the second object is measured based on the measurement result. A method for correcting the positional deviation of an object, the method comprising: forming a light band on a predetermined surface of the first object using the light projecting means; and on a predetermined surface of the first object. The first object is photographed with the camera means in a state where a light band is formed in the image, and the image including the image of the light band formed on the predetermined surface of the first object is taken as the image. By analyzing using the analyzing means, 3 of the predetermined surface of the first object can be obtained.
A step of obtaining a dimensional position, and 3 of the obtained predetermined surface
Causing the camera means and the predetermined surface of the first object to face each other at a predetermined interval based on a dimensional position; and using the camera means under the facing condition A specific part within the predetermined surface of the first object by capturing an image of the first object and analyzing an image including an image of the predetermined surface of the first object using the image analysis means. And a step of obtaining three-dimensional position information regarding the specific part, and based on the obtained three-dimensional position information regarding the specific part, a schedule is set between the first object and the second object. And a step of determining a deviation from the relative positional relationship and correcting the relative positional relationship between the first object and the second object so as to eliminate the deviation. ” (Claim 4) is proposed.

【0013】更に、本願発明は、上記位置ずれ補正にロ
ボットを利用する為に、「前記カメラ手段と前記第1の
対象物の前記所定面を予め定められた間隔をもって正対
させる段階が、前記カメラ手段を支持したロボットによ
って遂行される」(請求項5)、「前記カメラ手段と前
記第1の対象物の前記所定面を予め定められた間隔をも
って正対させる段階が、前記第1の対象物を支持したロ
ボットによって遂行される」(請求項6)、あるいは
「前記第1の対象物と前記第2の対象物の間で予定され
ている相対的位置関係からのずれを解消するように前記
第1の対象物と前記第2の対象物の相対的な位置関係を
補正する段階が、前記第1または前記第2の対象物を支
持したロボットによって遂行される」(請求項7)とい
う要件を前記基本構成に課した各位置ずれ補正方法を提
案したものである。
Further, according to the present invention, in order to utilize the robot for the positional deviation correction, "the step of causing the camera means and the predetermined surface of the first object to face each other at a predetermined interval is And a step of causing the camera means and the predetermined surface of the first object to face each other at a predetermined interval. Performed by a robot supporting an object "(claim 6), or" to eliminate a deviation from a predetermined relative positional relationship between the first object and the second object. The step of correcting the relative positional relationship between the first object and the second object is performed by a robot supporting the first object or the second object "(claim 7). The above-mentioned basic structure Each positional deviation correction method imposed is that proposed.

【0014】[0014]

【作用】本願発明では、対象物の位置を計測する為に、
制御された方向へ向けて光を投射して対象物上に光帯を
形成する投光手段と、カメラ手段と、該カメラ手段によ
って獲得された映像信号を解析する画像解析手段を含む
3次元視覚センサが、大きく分けて2種類の形態で利用
される。先ず、投光手段によって対象物へ向けてスリッ
ト光投射あるいはスポットビーム走査形式による投光が
行なわれ、所定面上に光帯が形成される。CCDカメラ
等のカメラ手段は、所定面上に光帯が形成された対象物
を撮影し、光帯の映像を含む映像を表わす映像信号が取
得される。この光帯形成と撮影/画像信号取得は所要数
の光帯についての映像信号が得られるまで必要に応じて
適宜回数繰り返される。
In the present invention, in order to measure the position of the object,
Three-dimensional vision including a light projecting means for projecting light in a controlled direction to form a light band on an object, a camera means, and an image analyzing means for analyzing a video signal acquired by the camera means. The sensor is roughly divided into two types. First, the light projecting means projects the slit light toward the target object or projects the light in the spot beam scanning form to form an optical band on a predetermined surface. Camera means such as a CCD camera photographs an object having a light band formed on a predetermined surface, and a video signal representing a video including a video of the light band is acquired. This optical band formation and photographing / image signal acquisition are repeated as many times as necessary until a video signal for a required number of optical bands is obtained.

【0015】光帯を表わす画像信号は画像解析手段によ
って解析され、光帯の特徴点(屈曲点、端点等)の3次
元位置から、光帯が形成された所定面についての3次元
位置情報が獲得される。原理的には、3点以上の特徴点
について3次元位置が決まれば、光帯が形成された所定
面を表わす方程式を決定することが出来る。3次元視覚
センサの投光手段を含む各要素を組み合わせて実行され
るここまでのプロセス自体は従来より公知のものであ
る。
The image signal representing the light band is analyzed by the image analysis means, and from the three-dimensional position of the characteristic point (bending point, end point, etc.) of the light band, three-dimensional position information about a predetermined surface on which the light band is formed is obtained. Be won. In principle, if the three-dimensional positions of three or more characteristic points are determined, the equation representing the predetermined surface on which the light band is formed can be determined. The process itself performed so far by combining the respective elements including the light projecting means of the three-dimensional visual sensor is conventionally known.

【0016】次に、求められた所定面の3次元的な位置
に基づいて、カメラ手段と対象物の相対的な位置関係が
調整され、カメラ手段と前記計測対象とされた所定面と
が予め定められた定間隔をもって正対した状態が実現さ
れる。その為に、カメラ手段または対象物が移動され
る。移動手段としては、ロボットが好適である。ロボッ
トは、カメラ手段または対象物を支持し、カメラ手段と
前記計測対象とされた所定面とが予め定められた定間隔
をもって正対した状態となるような位置へ移動する。こ
のような相対位置調整段階が含まれていることは、本願
発明の基本的且つ重要な特徴である。
Next, the relative positional relationship between the camera means and the object is adjusted on the basis of the obtained three-dimensional position of the predetermined surface, and the camera means and the predetermined surface which is the object of measurement are previously set. A state of facing each other is realized at a fixed interval. Therefore, the camera means or the object is moved. A robot is suitable as the moving means. The robot supports the camera means or the object, and moves to a position where the camera means and the predetermined surface to be measured face each other at a predetermined constant interval. The inclusion of such a relative position adjustment step is a basic and important feature of the present invention.

【0017】そして、このような正対状態の下でカメラ
手段を用いて対象物を再度撮影し、対象物の前記所定面
の映像を含む映像を前記画像解析手段を用いて解析す
る。但し、今度は光帯の映像を解析するのではなく、所
定面内の特定部位を明暗情報として把握し、該特定部位
に関する位置情報を得る。カメラ手段によって得られる
情報は、2次元情報であるが、特定部位が存在している
所定面の3次元位置情報が既に得られているので、結
局、該特定部位の3次元位置情報を獲得することが可能
となる。
Then, under such a facing condition, the object is photographed again by using the camera means, and the image including the image of the predetermined surface of the object is analyzed by the image analyzing means. However, this time, instead of analyzing the image of the light band, a specific portion within a predetermined plane is grasped as light and dark information, and position information regarding the specific portion is obtained. The information obtained by the camera means is two-dimensional information, but since the three-dimensional position information of the predetermined surface where the specific part exists is already obtained, the three-dimensional position information of the specific part is eventually acquired. It becomes possible.

【0018】以上が、本願発明に従った対象物の位置計
測方法を構成するプロセスの概要であるが、このような
プロセスに、位置ずれ補正の為のプロセスを付加するこ
とによって、作業的に関連した対象物同士の相対的な位
置関係を予定したものと一致させるように補正すること
が出来る。
The above is the outline of the process which constitutes the position measuring method of the object according to the present invention. By adding a process for correcting the positional deviation to such a process, the process is operatively related. It is possible to correct the relative positional relationship between the target objects so that they match the planned relationship.

【0019】組み立て作業、加工作業等においては、2
つの対象物間に特定の相対的な位置関係が予定されるこ
とが多い。例えば、一方の部品に他方の部品を組み込む
場合には、予め両者を整列させることが必要となる。ま
た、順次供給される部品の特定位置になんらかの加工を
行なう場合には、部品供給位置のバラツキによる加工精
度の低下を回避する為に、各部品の位置と加工ツールの
相対位置を正確に調整する必要が生じる。
In assembling work, processing work, etc., 2
Often a specific relative positional relationship is planned between two objects. For example, when incorporating the other component into one component, it is necessary to align both components in advance. Further, in the case where some processing is performed on a specific position of the parts that are sequentially supplied, the position of each part and the relative position of the processing tool are accurately adjusted in order to avoid a decrease in processing accuracy due to variations in the position of supplying the parts. The need arises.

【0020】そこで、本願発明に従った位置ずれ補正方
法では、作業に関連する一方の対象物(第1の対象物)
について上記位置計測を実行して特定部位(例えばネジ
穴の位置)の3次元位置情報を獲得し、それに基づい
て、この第1の対象物との間で特定の相対的な位置関係
をとることが予定されている別の対象物(第2の対象
物)との間の相対的な位置関係を必要な量だけ補正す
る。この計測後の相対的な位置調整は、第1または第2
の対象物の移動によって行なわれる。
Therefore, in the position shift correcting method according to the present invention, one object (first object) related to the work is
To obtain three-dimensional position information of a specific portion (for example, the position of a screw hole), and to establish a specific relative positional relationship with the first object based on the information. Corrects the relative positional relationship with another scheduled object (second object) by a necessary amount. Relative position adjustment after this measurement, the first or second
It is carried out by moving the object.

【0021】移動手段としては、やはりロボットが好適
である。このロボットは、上記計測プロセスにおいてカ
メラ手段または第1の対象物を支持したロボットを用い
ることが実際的である。ロボットに第1または第2の対
象物を支持させた場合には、両者に予定される相対的な
位置関係はロボットの教示軌道に対応していると考える
ことが出来るから、位置ずれ補正はロボット軌道を補正
する形で実行されることが実際的である。
A robot is suitable as the moving means. It is practical to use a camera means or a robot supporting the first object in this measurement process. When the robot supports the first or second object, it can be considered that the relative positional relationship planned between the two corresponds to the teaching trajectory of the robot. It is practical to implement it in a way that corrects the trajectory.

【0022】計測段階においてカメラ手段と対象物を正
対させる移動手段及び位置ずれ補正の為に使用される移
動手段は、必ずしもロボットでなくとも構わない。即
ち、カメラ手段あるいは対象物を支持した状態で、制御
装置によって指示された位置へ移動する能力を有する自
動機械であれば、本願発明の位置計測方法あるいは位置
ずれ補正方法」に利用することが可能である。
The moving means for directly facing the camera means and the object at the measuring stage and the moving means used for the positional deviation correction are not necessarily robots. That is, any automatic machine having the ability to move to the position designated by the control device while supporting the camera means or the object can be used for the position measuring method or the positional deviation correcting method of the present invention. Is.

【0023】また、3次元視覚センサに含まれる投光手
段としてはスリット光投射型の投光装置が代表的である
が、特願平5−32407号に開示されているようなス
ポット光走査型の投光装置を使用することも出来る。
As a light projecting means included in the three-dimensional visual sensor, a slit light projecting device is typical, but a spot light scanning device as disclosed in Japanese Patent Application No. 5-32407. It is also possible to use the floodlighting device.

【0024】[0024]

【実施例】図1は、本願発明の各方法を実施する際に利
用されるシステム構成の一例を模式的に示した要部ブロ
ック図である。システム全体は、ロボットコントローラ
1、画像処理装2、センサ部コントローラ3、センサ部
10、ロボット20から構成されている。ロボットコン
トローラ1は通常使用されている型のもので、マイクロ
プロセッサからなる中央演算装置(以下、「CPU」と
言う。)を備えている。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 is a schematic block diagram showing an example of a system configuration used when carrying out each method of the present invention. The entire system includes a robot controller 1, an image processing device 2, a sensor unit controller 3, a sensor unit 10, and a robot 20. The robot controller 1 is of a commonly used type and has a central processing unit (hereinafter referred to as "CPU") including a microprocessor.

【0025】このCPUには、システム全体を制御する
プログラム等が格納されたROMメモリ、ロボット動作
や画像処理装置への指令送信、画像処理装置からの画像
解析結果の受信等を制御するプログラム、関連設定値等
が格納され、また、CPUによる演算実行時の一時記憶
用のメモリや必要に応じて設定されるレジスタ領域とし
ても使用されるRAMメモリ、ロボット20の各軸をサ
ーボ回路を介して制御する軸制御器及び画像処理装置2
やオフラインプログラミング装置、製造ラインの制御部
等に対する入出力装置の役割を果たす汎用信号インター
フェイスがバスを介して接続されている(個別要素の図
示は省略)。
The CPU has a ROM memory in which programs for controlling the entire system are stored, a program for controlling robot operations, command transmission to the image processing apparatus, reception of image analysis results from the image processing apparatus, and related programs. A RAM memory that stores set values and the like, is also used as a memory for temporary storage when the CPU executes calculations, a register area that is set as necessary, and each axis of the robot 20 is controlled via a servo circuit. Axis controller and image processing device 2
A general-purpose signal interface that functions as an input / output device for an off-line programming device, a control unit of a manufacturing line, and the like is connected via a bus (illustration of individual elements is omitted).

【0026】また、画像処理装置2も通常使用されてい
る型のもので、該装置全体を統括制御するCPUを備え
ている。このCPUには、画像解析用のプログラム、ロ
ボットコントローラ10からの指令に従ってセンサ部コ
ントローラ3を制御する為のプログラム等が格納された
ROMメモリ、カメラ12で撮影された画像を濃淡グレ
イスケールに変換された信号として記憶するフレームメ
モリ、画像解析用の画像処理プロセッサ、各種設定値を
格納すると共に計算データの一時記憶に使用されるRA
Mメモリ、センサ部コントローラ3やモニタ用のCRT
に対する入出力装置の役割を果たす汎用信号インターフ
ェイスがバスを介して接続されている(個別要素の図示
は省略)。
The image processing apparatus 2 is also of a type that is normally used, and has a CPU that controls the entire apparatus. This CPU has a ROM memory in which a program for image analysis, a program for controlling the sensor unit controller 3 in accordance with a command from the robot controller 10 and the like are stored, and an image captured by the camera 12 is converted into a gray scale. Frame memory for storing as a signal, image processing processor for image analysis, RA for storing various setting values and temporarily storing calculation data
CRT for M memory, sensor controller 3 and monitor
A general-purpose signal interface that serves as an input / output device for is connected via a bus (illustration of individual elements is omitted).

【0027】符号21,22,23はロボット20のア
ームを表わしており、センサ部10は末端部のアーム2
3に装着されている。アーム23の先端には、センサ部
10とは別に、作業用(例えば、組み立て部品把持用)
のハンドが取り付けられている(図示省略)。
Reference numerals 21, 22, and 23 represent the arms of the robot 20, and the sensor unit 10 is the arm 2 at the end.
It is attached to 3. In addition to the sensor unit 10, the tip of the arm 23 is for work (for example, for holding an assembled component).
Is attached (not shown).

【0028】センサ部10の投光器11は、レーザ光を
スリット光13に変換して、被計測対象物4上に投光す
る。対象物4上には、光帯14が形成され、その反射光
15がカメラ12で光帯像として観測される。投光器1
1によるスリット光13の投光方向は、画像処理装置2
からセンサ部コントローラ3を介して与えられる制御信
号によって投光器11に内蔵された偏向ミラーの偏向角
を制御することによってされる。従って、画像処理装置
2は、投光器11のオン/オフ状態と共に、どの方向に
投光が行なわれているかを常時認識することが出来る。
The projector 11 of the sensor section 10 converts the laser light into slit light 13 and projects it onto the object 4 to be measured. A light band 14 is formed on the object 4, and the reflected light 15 is observed by the camera 12 as a light band image. Floodlight 1
The projection direction of the slit light 13 by the image processing device 1 is
Is controlled by the control signal given from the sensor controller 3 to the deflection angle of the deflection mirror built in the projector 11. Therefore, the image processing device 2 can always recognize in which direction the light is projected, as well as the on / off state of the light projector 11.

【0029】画像処理装置2によって指定された方向に
スリット光13が投光され、対象物4の所定の面上に光
帯14が形成された状態で、画像処理装置2からセンサ
部コントローラ3を介してCCDカメラ12に撮影指令
が送られる。CCDカメラ12で撮影された光帯14の
画像は、センサ部コントローラ3を介して画像処理装置
2へ送られる。画像処理装置2では、汎用信号インター
フェイスを介して取り込まれた画像信号を、濃淡グレイ
スケールによる明暗信号に変換した上でフレームメモリ
に格納する。
When the slit light 13 is projected in the direction designated by the image processing apparatus 2 and the optical band 14 is formed on the predetermined surface of the object 4, the image processing apparatus 2 causes the sensor controller 3 to move. A shooting command is sent to the CCD camera 12 via the camera. The image of the light band 14 taken by the CCD camera 12 is sent to the image processing apparatus 2 via the sensor unit controller 3. In the image processing device 2, the image signal taken in through the general-purpose signal interface is converted into a light / dark signal based on a light and shade gray scale and then stored in the frame memory.

【0030】このようなスリット光の投光と光帯画像の
撮影/画像信号の取り込みは、通常、スリット光投光方
向を適宜間隔で変更して、複数本の光帯について実行さ
れる。画像処理装置2は、画像処理プロセッサを利用し
て光帯像を解析し、光帯14の屈曲点、端点等の3次元
位置を求める。屈曲点、端点等の3次元位置を定めるに
際しては、三角測量の原理が利用される。このような3
次元位置計測方法自体は既に知られているものであるか
ら、詳しい説明は省略する。一直線上にない3点以上の
屈曲点あるいは端点について3次元位置が求まると、画
像処理装置2のCPUは、そのデータに基づいて3点が
乗っている平面(方向と位置)を算出する。
Such projection of slit light and photographing of a light band image / acquisition of an image signal are usually executed for a plurality of light bands by changing the slit light projection direction at appropriate intervals. The image processing device 2 analyzes the optical band image using the image processing processor, and obtains three-dimensional positions of the bending point, the end point, etc. of the optical band 14. The triangulation principle is used to determine the three-dimensional position of the bending point, the end point, or the like. Like this 3
Since the dimension position measuring method itself is already known, detailed description thereof will be omitted. When the three-dimensional positions of three or more bending points or end points that are not on a straight line are obtained, the CPU of the image processing apparatus 2 calculates the plane (direction and position) on which the three points are based on the data.

【0031】センサ部10のカメラ12は、画像処理装
置2からの指令に従って、投光器11をオフし、通常照
明光あるいは自然光の下で対象物4の撮影を行なう。撮
影によって得られた画像は、光帯像と同様、濃淡グレー
スケールによる明暗信号に変換されてフレームメモリに
格納される。この画像には、対象物4の表面に明暗とし
て現われている細部の情報が含まれている。本願発明で
は、このような通常撮影は、ロボット20を移動させて
カメラ12を対象物4の所定面(スリット光を投光した
面)に定間隔をもって正対させた状態で実行される。
The camera 12 of the sensor section 10 turns off the projector 11 according to a command from the image processing apparatus 2 and photographs the object 4 under normal illumination light or natural light. The image obtained by photographing is converted into a light and dark signal by a gray scale, and is stored in the frame memory, like the light band image. This image contains detailed information that appears as light and dark on the surface of the object 4. In the present invention, such normal photographing is executed in a state in which the robot 20 is moved and the camera 12 is made to face the predetermined surface (the surface on which the slit light is projected) of the object 4 at regular intervals.

【0032】画像処理装置2のCPUは、このような正
対状態で獲得された画像を解析し、対象物4の所定面内
における特定部位(例えば、穴部)の位置を算出する。
この所定面内における特定部位の位置を表わすデータ
と、先に求めた所定面の方向を表わすデータ(例えば、
ロボットに設定されている座標系の原点から面におろし
た垂線の方向と長さを表わすベクトルデータ)に基づい
て、その特定部位の3次元位置情報(例えば、穴の中心
位置、延在方向、大きさ、形等)を算出する。
The CPU of the image processing apparatus 2 analyzes the image acquired in such a facing state, and calculates the position of a specific portion (for example, a hole) in the predetermined plane of the object 4.
Data representing the position of the specific part within the predetermined plane and data representing the direction of the predetermined plane previously obtained (for example,
Based on the vector data representing the direction and length of the perpendicular line drawn from the origin of the coordinate system set on the robot to the surface, three-dimensional position information (for example, the center position of the hole, the extending direction, Size, shape, etc.).

【0033】ロボットコントローラ1と画像処理装置2
は、各々の汎用信号インターフェイスを介して通信回線
によって接続されており、画像処理装置2の動作指令や
画像処理装置2で求められた対象物4に関する位置デー
タ等の送受信がロボットコントローラ1のメモリに格納
された動作プログラムに従って実行されるようになって
いる。
Robot controller 1 and image processing device 2
Are connected by a communication line via each general-purpose signal interface, and the operation command of the image processing apparatus 2 and the transmission / reception of the position data regarding the object 4 obtained by the image processing apparatus 2 are transmitted to the memory of the robot controller 1. It is designed to be executed according to the stored operation program.

【0034】図2は、以上説明した構成と機能を有する
システムを利用して、小型ロボットの組み立て作業にお
ける位置ずれ補正に本願発明の方法を適用する場合の全
体配置を模式的に表わしたものである。同図において、
図1と共通の符号をもって指示した要素、即ち、ロボッ
トコントローラ1、画像処理装2、センサ部コントロー
ラ3、センサ部10及びロボット20の構成、接続関係
及び機能については、既に説明した通りである。
FIG. 2 is a schematic diagram showing the entire arrangement when the method of the present invention is applied to the positional deviation correction in the assembly work of a small robot by using the system having the above-described configuration and function. is there. In the figure,
The elements designated by the same reference numerals as those in FIG. 1, that is, the configurations, connection relationships, and functions of the robot controller 1, the image processing device 2, the sensor unit controller 3, the sensor unit 10, and the robot 20 have already been described.

【0035】図1で被計測対象物4として図示されたも
のに対応する対象物は、ロボット20の作業空間内に次
々と供給される組み立て工程中の小型ロボット機構部の
一部分5(以下、「機構部5」と略称する。)として示
されている。機構部5は、ベース50とその回転軸51
の周りに回転するアーム52を含んでいる。その為、減
速機、モータ等の新たな部品が取り付けられる取り付け
面53及び取り付け部品の凸部(例えば、ネジ部)が差
し込まれる穴54の位置(姿勢を含む。)が毎回供給さ
れる機構部5毎にばらつくことが避けられず、予定され
た基準位置から位置ずれを起こしている。
Objects corresponding to those shown as the object 4 to be measured in FIG. 1 are successively supplied into the working space of the robot 20 and are part 5 (hereinafter, referred to as "the small robot mechanism portion" during the assembly process. Mechanical unit 5 "). The mechanical unit 5 includes a base 50 and a rotation shaft 51 thereof.
It includes an arm 52 that rotates about. For this reason, the mechanism portion to which the position (including the posture) of the mounting surface 53 to which a new component such as a reduction gear and a motor is mounted and the hole 54 into which the convex portion (for example, a screw portion) of the mounting component is inserted is supplied every time. It is unavoidable that there is a deviation for every 5 points, and there is a displacement from the planned reference position.

【0036】図2中、減速機、モータ等の新たな部品
は、ロボット20のハンドHに把持された部品6で代表
されており、形状の詳細は省略されている。符号Tは、
部品6の凸部先端に設定されたツール先端点を表わして
いる。また、図中に示された2つのロボット位置A及び
Bは、投光器を点灯して実行される取り付け面53の位
置・方向計測の為の教示位置と、それに基づいて定めら
れた投光器を消灯して実行される通常撮影位置を表わし
ている。この通常撮影位置Bは、センサ部10のCCD
カメラの光軸Cが取り付け面53に垂直になるように選
ばれる(後述実施例参照)。
In FIG. 2, new parts such as the speed reducer and the motor are represented by the part 6 held by the hand H of the robot 20, and details of the shape are omitted. The symbol T is
The tool tip point set at the tip of the convex portion of the component 6 is shown. Further, the two robot positions A and B shown in the drawing are teaching positions for measuring the position / direction of the mounting surface 53 which is executed by turning on the light emitters, and turn off the light emitters determined based on the teaching positions. Represents a normal shooting position to be executed. This normal photographing position B is the CCD of the sensor unit 10.
The optical axis C of the camera is chosen to be perpendicular to the mounting surface 53 (see Examples below).

【0037】このような配置によって、位置ずれを補正
して部品6の組み付け作業を実行する為に、ロボットコ
ントローラ1には、図3に示したフローチャートに記さ
れた処理手順でロボット20、画像処理装置2を含むシ
ステム全体を制御するプログラムが格納されている。以
下、その概略を説明する。なお、ここでは、投光器11
の偏向ミラーの偏向角度、その切換内容、投光/撮影回
数の設定、取り付け面53及び穴54の基準位置・方向
を表わすデータの設定、取り付け面53及び穴54の位
置・方向が基準位置・方向と一致していた場合に最適な
通常撮影ロボット位置B(正対時の距離データを含
む)、組み立て作業実行位置の位置データ等の教示を含
む準備作業が完了しているものとする。
With such an arrangement, in order to correct the positional deviation and execute the work of assembling the component 6, the robot controller 1 performs image processing by the robot 20 according to the processing procedure described in the flowchart shown in FIG. A program for controlling the entire system including the device 2 is stored. The outline will be described below. In addition, here, the projector 11
The deflection angle of the deflection mirror, the switching contents, the setting of the number of times of light projection / imaging, the setting of the data indicating the reference position / direction of the mounting surface 53 and the hole 54, the position / direction of the mounting surface 53 and the hole 54 are the reference position / It is assumed that the preparatory work including teaching of the optimum normal photographing robot position B (including the distance data at the time of direct facing), the position data of the assembly work execution position, and the like, which are optimal when the directions match, is completed.

【0038】ロボットコントローラ1のCPUが、機構
部50が組み立て位置へ供給されたことを表わす外部信
号を受信すると、1作業サイクル分の処理を開始する。
先ず、動作プログラムを1ブロックづつ読み込んでロボ
ット20を移動させ、スリッット光を投光して光帯撮影
を行なう位置として教示されたロボット位置Aに移動さ
せる(ステップS1)。
When the CPU of the robot controller 1 receives an external signal indicating that the mechanical section 50 has been supplied to the assembly position, processing for one work cycle is started.
First, the operation program is read block by block, and the robot 20 is moved to a robot position A taught as a position for emitting slit light to project the optical band (step S1).

【0039】ロボット20を位置Aで一旦停止させ、画
像処理装置2へ指令を送り、センサ部コントローラ3を
介して投光器11を点灯させ、機構部50の取り付け面
53上に光帯61を形成させる(ステップS2)。この
状態で、更に、画像処理装置2へ撮影指令を送り、セン
サ部コントローラ3を介してCCDカメラ12による撮
影を実行し、光帯61を含む映像を画像処理装置2に取
り込む(ステップS3)。
The robot 20 is temporarily stopped at the position A, a command is sent to the image processing apparatus 2, the projector 11 is turned on via the sensor section controller 3, and a light band 61 is formed on the mounting surface 53 of the mechanism section 50. (Step S2). In this state, a shooting command is further sent to the image processing apparatus 2, shooting is performed by the CCD camera 12 via the sensor unit controller 3, and an image including the optical band 61 is taken into the image processing apparatus 2 (step S3).

【0040】ステップ3及びステップS4は、投光方向
を設定内容に従って切り換えながら設定された回数だけ
繰り返される(ステップS2〜ステップS4)。ここで
は設定が2回であるとすると、2回目の投光/光帯撮影
で光帯62を含む映像が撮影される。撮影が終了すると
投光器11は消灯される(ステップS5)。
Steps 3 and S4 are repeated the set number of times while switching the light projecting direction according to the set contents (steps S2 to S4). Here, assuming that the setting is twice, an image including the light band 62 is captured in the second projection / light band photographing. When the photographing is completed, the projector 11 is turned off (step S5).

【0041】次いで、蓄積された光帯画像が画像処理プ
ロセッサを利用して解析され、取り付け面53の外縁上
の諸点に対応した光帯61,62の屈曲点P1 ,P2 及
び端点Q1 ,Q2 の3次元位置が計算され、その結果に
基づいて取り付け面53の位置・方向が求められ(ステ
ップS7)、更に、基準位置・方向からのずれが計算さ
れる(ステップS8)。
Next, the accumulated light band images are analyzed using an image processor, and the bending points P1 and P2 and end points Q1 and Q2 of the light bands 61 and 62 corresponding to various points on the outer edge of the mounting surface 53 are analyzed. The three-dimensional position is calculated, the position / direction of the mounting surface 53 is obtained based on the result (step S7), and the deviation from the reference position / direction is calculated (step S8).

【0042】この結果はロボットコントローラ1へ送信
され、ロボットコントローラ1内で取り付け面53に設
定された距離をもって正対する通常撮影ロボット位置B
を与えるロボット位置の補正量が求められる(ステップ
S9)。なお、ステップS8で求められるずれ量は、ロ
ボットに設定されている座標系の原点から面におろした
垂線の方向と長さを表わすベクトルデータの基準値から
のずれ量として表現することができ、この値を用いてス
テップS9でロボット位置の補正量が計算される。
This result is transmitted to the robot controller 1, and the normal photographing robot position B facing directly at the distance set on the mounting surface 53 in the robot controller 1.
The correction amount of the robot position that gives is obtained (step S9). The deviation amount obtained in step S8 can be expressed as a deviation amount from the reference value of the vector data representing the direction and length of the perpendicular line drawn from the origin of the coordinate system set on the robot to the surface, Using this value, the correction amount of the robot position is calculated in step S9.

【0043】ロボットコントローラ1のCPUは、ロボ
ット20の移動を再開し、ロボット位置Bに対応した教
示位置をステップS9で求められたロボット位置補正量
だけ補正した位置へ向けてロボット20を移動させる
(ステップS10)。
The CPU of the robot controller 1 restarts the movement of the robot 20, and moves the robot 20 toward the position where the teaching position corresponding to the robot position B is corrected by the robot position correction amount obtained in step S9 ( Step S10).

【0044】ロボット20が位置Bに到着したら再度ロ
ボット20を停止させ、画像処理装置2へ撮影指令を送
り、センサ部コントローラ3を介してCCDカメラ12
による通常撮影を実行し、光帯が形成されていない取り
付け面53の映像を画像処理装置2に取り込む(ステッ
プS11)。
When the robot 20 arrives at the position B, the robot 20 is stopped again, a photographing command is sent to the image processing device 2, and the CCD camera 12 is sent via the sensor unit controller 3.
Then, the normal image capturing is performed, and the image of the mounting surface 53 on which the light band is not formed is captured in the image processing apparatus 2 (step S11).

【0045】次いで、取り込まれた画像を画像処理プロ
セッサを用いて画像処理装置2内で解析し、穴54の位
置(センサデータ)を求める。その結果は、ロボットコ
ントローラ1へ送信されて、穴54の3次元位置が算出
される(ステップS12)。この計算は、位置・方向が
既に求められている取り付け面53内で、2次元的に穴
54の位置を定めるものであるから、取り付け面53の
位置・方向にばらつきがあっても支障なく実行すること
が出来る。
Next, the captured image is analyzed in the image processing apparatus 2 by using the image processor to obtain the position of the hole 54 (sensor data). The result is transmitted to the robot controller 1 and the three-dimensional position of the hole 54 is calculated (step S12). Since this calculation two-dimensionally determines the position of the hole 54 in the mounting surface 53 whose position / direction has already been obtained, it can be executed without any problem even if the position / direction of the mounting surface 53 varies. You can do it.

【0046】穴54の3次元位置が求められたら、穴5
4について設定されている基準位置からのずれ量、即
ち、「位置ずれ量」を求める(ステップS13)。更
に、部品6の組み付けの為に教示されている1つまたは
複数の組み立て作業ロボット位置について、穴54の位
置ずれ量に対応したロボット位置補正量を定め(ステッ
プS14)、ロボット移動を再開して、ロボット20を
補正された組み立て作業位置に移動させて(複数あれ
ば、順次移動。)、教示された組み立て作業を実行する
(ステップS15)。組み立て作業が完了したら、ロボ
ット20をホームポジションへ復帰させて1作業サイク
ルを完了する。
When the three-dimensional position of the hole 54 is obtained, the hole 5
A deviation amount from the reference position set for No. 4, that is, a "position deviation amount" is obtained (step S13). Furthermore, for one or more assembly work robot positions taught for assembling the component 6, a robot position correction amount corresponding to the position shift amount of the hole 54 is determined (step S14), and the robot movement is restarted. Then, the robot 20 is moved to the corrected assembly work position (if there is more than one, they are sequentially moved), and the taught assembly work is executed (step S15). When the assembling work is completed, the robot 20 is returned to the home position to complete one work cycle.

【0047】本実施例では、センサ部10全体を組み付
け部品6と共にロボット20に搭載して取り付け面53
への投光、撮影を行なったが、投光器11を作業空間内
の適当な位置に固定し、カメラ12のみをロボット20
に搭載する配置を採用することも可能である。
In this embodiment, the entire sensor unit 10 is mounted on the robot 20 together with the assembly parts 6 and the mounting surface 53 is attached.
Although the light was projected onto and photographed, the projector 11 was fixed at an appropriate position in the work space, and only the camera 12 was used by the robot 20.
It is also possible to adopt the arrangement mounted on the.

【0048】また、ロボットに把持されない側の組み立
て過程品(図2の機構部50に相当)の位置にばらつき
がなく、ロボットによる組み付け部品(図2の部品6に
相当)の把持状態にばらつきが予測されるような場合に
は、センサ部全体(カメラと投光器)を作業空間内の適
当な位置に固定した配置によって上記実施例に準じた手
順によって位置ずれ補正を実行することが出来る。
Further, there is no variation in the position of the assembly process product (corresponding to the mechanical unit 50 in FIG. 2) on the side not gripped by the robot, and there is variation in the gripping state of the assembly component (corresponding to component 6 in FIG. 2) by the robot. In the case where it is predicted, the positional deviation correction can be performed by the procedure according to the above-described embodiment by arranging the entire sensor unit (camera and light projector) at an appropriate position in the work space.

【0049】即ち、適当な位置(上記実施例におけるロ
ボット位置Aに相当)でロボットを停止させて固定配置
された投光器とカメラによる光帯形成/光帯像撮影を行
い、ロボットに把持された部品の所定面の位置・方向を
求め、それに応じてロボットを移動させて部品の所定面
をカメラに対して定間隔をもって正対させる(上記実施
例におけるロボット位置Bに相当)。そして、ロボット
に把持された部品の所定面の通常撮影と画像解析を行な
って、特定面内の特定部位(穴部、凸部の縁部など)の
基準位置(3次元位置)からのずれ量を求める。この位
置ずれ量を相殺するように、以後の組み立て作業ロボッ
ト位置を補正すれば、位置ずれ補正されたロボット作業
が実行出来る。
That is, the robot is stopped at an appropriate position (corresponding to the robot position A in the above-mentioned embodiment), the light band formation / light band image photographing is performed by the light projector and the camera which are fixedly arranged, and the part gripped by the robot. Then, the position / direction of the predetermined surface is determined, and the robot is moved accordingly to directly face the predetermined surface of the component with the camera at a constant interval (corresponding to the robot position B in the above embodiment). Then, by performing normal imaging and image analysis of the predetermined surface of the part gripped by the robot, the amount of deviation from the reference position (three-dimensional position) of the specific portion (hole, edge of the convex portion, etc.) in the specific surface. Ask for. If the subsequent assembly work robot position is corrected so as to cancel out the position shift amount, the position shift corrected robot work can be executed.

【0050】更に、計測段階においてカメラ手段と対象
物を正対させる移動手段及び位置ずれ補正の為に使用さ
れる移動手段は、カメラ手段あるいは対象物を支持した
状態で制御装置によって指示された位置へ移動する能力
を有する自動機械であれば必ずしもロボットでなくとも
構わないことや、3次元視覚センサに含まれる投光手段
としてはスリット光投射型の投光装置以外にもスポット
光走査型の投光装置を使用することも出来ることは、既
に述べた通りである。
Further, in the measuring stage, the moving means for directly facing the camera means and the object and the moving means used for the positional deviation correction are the positions designated by the control device while supporting the camera means or the object. The machine need not necessarily be a robot as long as it is an automatic machine having the ability to move to the other side, and the light projection means included in the three-dimensional visual sensor is not limited to the slit light projection type light projection device, but is also a spot light scanning type light projection device. As described above, the optical device can be used.

【0051】[0051]

【発明の効果】本願発明によれば、カメラ手段と対象物
の距離が変化するような場合にあっても正確な位置計測
を行なうことが出来る。また、その計測結果に基づいて
対象物間の位置ずれを精度良く補正することが可能とな
る。
According to the present invention, accurate position measurement can be performed even when the distance between the camera means and the object changes. Further, it becomes possible to accurately correct the positional deviation between the objects based on the measurement result.

【0052】本願発明の位置ずれ補正方法をロボットに
よる組み立て作業、加工作業等に適用すれば、本願発明
に従った位置計測とそれに基づく位置ずれ補正の双方に
ロボットを効果的に利用してロボット作業の精度を向上
させることが出来る。
When the position deviation correcting method of the present invention is applied to assembly work, processing work, etc. by a robot, the robot work is effectively used for both the position measurement according to the present invention and the position deviation correction based on the position measurement. The accuracy of can be improved.

【図面の簡単な説明】[Brief description of drawings]

【図1】本願発明の各方法を実施する際に利用されるシ
ステム構成の一例を模式的に示した要部ブロック図であ
る。
FIG. 1 is a block diagram of a main part schematically showing an example of a system configuration used when implementing each method of the present invention.

【図2】小型ロボットの組み立て作業における位置ずれ
補正に本願発明の方法を適用する場合の全体配置を表わ
した模式図である。
FIG. 2 is a schematic diagram showing the overall arrangement when the method of the present invention is applied to the positional deviation correction in the assembly work of a small robot.

【図3】図2に示した配置で、位置ずれを補正して部品
の組み付け作業を実行する際の処理手順の概略を表わし
たフローチャートである。
FIG. 3 is a flowchart showing an outline of a processing procedure for correcting a positional deviation and performing a component assembling work in the arrangement shown in FIG.

【符号の説明】[Explanation of symbols]

1 ロボットコントローラ 2 画像処理装置 3 センサ部コントローラ 4 被計測対象物 5 機構部 6 組み付け部品 10 センサ部 11 投光器 12 CCDカメラ 20 ロボット 21〜23 ロボットアーム 50 ベース 51 回転軸 52 アーム 53 取り付け面 54 穴 A 光帯撮影ロボット位置 B 通常撮影ロボット位置 C CCDカメラの光軸 H ハンド 1 Robot Controller 2 Image Processing Device 3 Sensor Unit Controller 4 Object to be Measured 5 Mechanism Unit 6 Assembly Parts 10 Sensor Unit 11 Projector 12 CCD Camera 20 Robot 21-23 Robot Arm 50 Base 51 Rotation Axis 52 Arm 53 Attachment Surface 54 Hole A Optical band shooting robot position B Normal shooting robot position C Optical axis of CCD camera H Hand

フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 B25J 19/04 G01B 11/24 C G06T 7/00 7/60 Continuation of the front page (51) Int.Cl. 6 Identification code Office reference number FI Technical display location B25J 19/04 G01B 11/24 C G06T 7/00 7/60

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 制御された方向へ向けて光を投射して対
象物上に光帯を形成する投光手段と、カメラ手段と、該
カメラ手段によって獲得された映像信号を解析する画像
解析手段を含む3次元視覚センサを用いて対象物の位置
を計測する方法であって、 前記投光手段を用いて対象物の所定面上に光帯を形成す
る段階と、 前記対象物の所定面上に光帯が形成された状態で前記カ
メラ手段を用いて前記対象物を撮影し、前記対象物の前
記所定面上に形成された光帯の映像を含む映像を前記画
像解析手段を用いて解析することにより、前記対象物の
前記所定面の3次元的な位置を求める段階と、 該求められた所定面の3次元的な位置に基づいて、前記
カメラ手段と前記対象物の前記所定面を予め定められた
間隔をもって正対させる段階と、 該正対状態の下で前記カメラ手段を用いて前記対象物を
撮影し、前記対象物の前記所定面の映像を含む映像を前
記画像解析手段を用いて解析することにより、前記対象
物の前記所定面内の特定部位に関する3次元的な位置情
報を得る段階を含むことを特徴とする前記方法。
1. A light projecting means for projecting light in a controlled direction to form a light band on an object, a camera means, and an image analyzing means for analyzing a video signal acquired by the camera means. A method of measuring the position of an object using a three-dimensional visual sensor including: a step of forming an optical band on a predetermined surface of the object using the light projecting means; The object is photographed by using the camera means in a state where a light band is formed on, and an image including an image of the light band formed on the predetermined surface of the object is analyzed by the image analysis means. The step of obtaining a three-dimensional position of the predetermined surface of the object, and the camera means and the predetermined surface of the object based on the obtained three-dimensional position of the predetermined surface. A step of directly facing each other at a predetermined interval, Of the target object by photographing the target object using the camera means underneath and analyzing the image including the video of the predetermined surface of the target object using the image analysis means. The method, comprising the step of obtaining three-dimensional position information regarding a specific part.
【請求項2】 前記カメラ手段と前記対象物の前記所定
面を予め定められた間隔をもって正対させる段階が、前
記カメラ手段を支持したロボットによって遂行されるこ
とを特徴とする請求項1に記載の方法。
2. The robot supporting the camera means, wherein the step of causing the camera means and the predetermined surface of the object to face each other at a predetermined interval is performed by a robot supporting the camera means. the method of.
【請求項3】 前記カメラ手段と前記対象物の前記所定
面を予め定められた間隔をもって正対させる段階が、前
記対象物を支持したロボットによって遂行されることを
特徴とする請求項1に記載の方法。
3. The robot supporting the target object, wherein the step of causing the camera means and the predetermined surface of the target object to face each other at a predetermined interval is performed by a robot supporting the target object. the method of.
【請求項4】 制御された方向へ向けて光を投射して第
1の対象物上に光帯を形成する投光手段と、カメラ手段
と、該カメラ手段によって獲得された映像信号を解析す
る画像解析手段を含む3次元視覚センサを用いて前記第
1の対象物の位置を計測し、該計測結果に基づいて前記
第1の対象物と第2の対象物の間で予定されている相対
的位置関係からのずれを補正する対象物の位置ずれ補正
方法であって、 前記投光手段を用いて前記第1の対象物の所定面上に光
帯を形成する段階と、 前記第1の対象物の所定面上に光帯が形成された状態で
前記カメラ手段を用いて前記第1の対象物を撮影し、前
記第1の対象物の前記所定面上に形成された光帯の映像
を含む映像を前記画像解析手段を用いて解析することに
より、前記第1の対象物の前記所定面の3次元的な位置
を求める段階と、 該求められた所定面の3次元的な位置に基づいて、前記
カメラ手段と前記第1の対象物の前記所定面を予め定め
られた間隔をもって正対させる段階と、 該正対状態の下で前記カメラ手段を用いて前記第1の対
象物を撮影し、前記第1の対象物の前記所定面の映像を
含む映像を前記画像解析手段を用いて解析することによ
り、前記第1の対象物の前記所定面内の特定部位に関す
る3次元的な位置情報を得る段階と、 該得られた前記特定部位に関する3次元的な位置情報に
基づいて、前記第1の対象物と前記第2の対象物の間で
予定されている相対的位置関係からのずれを求め、該ず
れを解消するように前記第1の対象物と前記第2の対象
物の相対的な位置関係を補正する段階を含むことを特徴
とする前記方法。
4. A light projecting means for projecting light in a controlled direction to form a light band on a first object, a camera means, and a video signal acquired by the camera means. The position of the first object is measured using a three-dimensional visual sensor including an image analysis means, and the relative distance between the first object and the second object is scheduled based on the measurement result. A method for correcting a positional deviation of an object for correcting a deviation from a physical positional relationship, the method comprising: forming a light band on a predetermined surface of the first object using the light projecting means; An image of the light band formed on the predetermined surface of the first object by photographing the first object using the camera means in a state where the light band is formed on the predetermined surface of the object By analyzing the image including the image using the image analysis means, the predetermined object of the first object is analyzed. Of the three-dimensional position of the first surface of the first object and the camera means and the first surface of the first object are directly opposed to each other at a predetermined distance based on the obtained three-dimensional position of the predetermined surface. The step of causing the first object to be photographed using the camera means under the facing condition, and using the image analysis means to obtain an image including an image of the predetermined surface of the first object. A step of obtaining three-dimensional position information regarding a specific portion of the first object within the predetermined plane by analyzing, and the step of obtaining the three-dimensional position information regarding the specific portion obtained based on the obtained three-dimensional position information. A deviation from a predetermined relative positional relationship between the first object and the second object is obtained, and the first object and the second object are arranged so as to eliminate the deviation. And a step of correcting a relative positional relationship. Law.
【請求項5】 前記カメラ手段と前記第1の対象物の前
記所定面を予め定められた間隔をもって正対させる段階
が、前記カメラ手段を支持したロボットによって遂行さ
れることを特徴とする請求項4に記載の方法。
5. The robot supporting the camera means performs the step of causing the camera means and the predetermined surface of the first object to face each other at a predetermined interval. The method according to 4.
【請求項6】 前記カメラ手段と前記第1の対象物の前
記所定面を予め定められた間隔をもって正対させる段階
が、前記第1の対象物を支持したロボットによって遂行
されることを特徴とする請求項4に記載の方法。
6. The robot supporting the first object is characterized in that the step of causing the camera means and the predetermined surface of the first object to face each other at a predetermined interval is performed. The method of claim 4, wherein
【請求項7】 前記第1の対象物と前記第2の対象物の
間で予定されている相対的位置関係からのずれを解消す
るように前記第1の対象物と前記第2の対象物の相対的
な位置関係を補正する段階が、前記第1または前記第2
の対象物を支持したロボットによって遂行されることを
特徴とする請求項4に記載の方法。
7. The first object and the second object so as to eliminate a deviation from a predetermined relative positional relationship between the first object and the second object. The step of correcting the relative positional relationship of
The method according to claim 4, wherein the method is performed by a robot that supports the object.
JP10436394A 1994-04-20 1994-04-20 Position measurement device and position deviation correction device using three-dimensional visual sensor Expired - Fee Related JP3442140B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10436394A JP3442140B2 (en) 1994-04-20 1994-04-20 Position measurement device and position deviation correction device using three-dimensional visual sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10436394A JP3442140B2 (en) 1994-04-20 1994-04-20 Position measurement device and position deviation correction device using three-dimensional visual sensor

Publications (2)

Publication Number Publication Date
JPH07286820A true JPH07286820A (en) 1995-10-31
JP3442140B2 JP3442140B2 (en) 2003-09-02

Family

ID=14378750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10436394A Expired - Fee Related JP3442140B2 (en) 1994-04-20 1994-04-20 Position measurement device and position deviation correction device using three-dimensional visual sensor

Country Status (1)

Country Link
JP (1) JP3442140B2 (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000046514A (en) * 1998-07-27 2000-02-18 Aisin Takaoka Ltd Method for detecting position of worked hole of casting
JP2002086376A (en) * 2000-09-13 2002-03-26 Yaskawa Electric Corp Method for guiding visual sensor
WO2003039820A1 (en) * 2001-11-06 2003-05-15 Kabushiki Kaisha Yaskawa Denki Method for determining three-dimensional position and posture of object being sensed and visual sensor for robot
DE102004005574B3 (en) * 2004-02-05 2005-07-14 Daimlerchrysler Ag Robot system with tool, camera and light source for manipulating tool for processing workpiece has light source and camera independently movable in order to illuminate field of view from different directions
JP2007044865A (en) * 2005-08-10 2007-02-22 Honda Research Inst Europe Gmbh Orientation/positioning system control method
FR2922639A1 (en) * 2007-10-23 2009-04-24 Peugeot Citroen Automobiles Sa METHOD AND DEVICE FOR MEASURING GAMING AND FLASHING BETWEEN PARTS FIXED ON AN ASSEMBLY IN THE ABSENCE OF ONE OF THEM
KR101042085B1 (en) * 2008-10-27 2011-06-16 한국항공우주산업 주식회사 Robotic drilling system and the method
CN102452081A (en) * 2010-10-21 2012-05-16 财团法人工业技术研究院 Method and device for correcting system parameters of mechanical arm
JP2013231702A (en) * 2012-05-02 2013-11-14 Canon Inc Image measuring device, image measuring method, and image measuring program
CN104330025A (en) * 2014-10-22 2015-02-04 中国计量学院 Industrial robot pose detection device
CN106144582A (en) * 2016-08-30 2016-11-23 苏州康贝尔电子设备有限公司 Seat assembly fixed by a kind of mechanical hand for LED automatic material receptacle
CN109262659A (en) * 2018-12-20 2019-01-25 中国铁建重工集团有限公司 A kind of zero adjustment method and apparatus of joint of mechanical arm sensor
DE102017007737A1 (en) * 2017-08-17 2019-02-21 Lemnatec Gmbh Method and device for detecting an image of a plant with a sensor device
JP2019089148A (en) * 2017-11-13 2019-06-13 株式会社Ihi Processing device
CN113450407A (en) * 2021-05-14 2021-09-28 东莞市李群自动化技术有限公司 Positioning method, operation method, electronic device, track device, and storage medium
JP2022504009A (en) * 2019-12-12 2022-01-13 株式会社Mujin A method and calculation system for object detection or robot interaction planning based on the image information generated by the camera.
CN114619489A (en) * 2022-04-01 2022-06-14 西南交通大学 System and method for recognizing and correcting coordinates of mechanical arm conveyed object based on image processing
CN116447978A (en) * 2023-06-16 2023-07-18 先临三维科技股份有限公司 Hole site information detection method, device, equipment and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5993293A (en) * 1982-11-19 1984-05-29 株式会社日立製作所 Visual device for robot
JPS60183509A (en) * 1984-03-02 1985-09-19 Hitachi Ltd Visual sense device
JPH01116401A (en) * 1987-10-30 1989-05-09 Fanuc Ltd Parallax correction system for visual sensor
JPH0392712A (en) * 1989-09-05 1991-04-17 Fanuc Ltd Three-dimensional position recognition by use of image processing device and distance measuring sensor
JPH03281182A (en) * 1990-03-28 1991-12-11 Shinko Electric Co Ltd Coordinate correcting method for moving robot
JPH05305588A (en) * 1992-04-28 1993-11-19 Toyoda Mach Works Ltd Control device for visual sense robot
JPH07248209A (en) * 1994-03-11 1995-09-26 Natl Space Dev Agency Japan<Nasda> Object position and attitude measuring device and part assembling apparatus loading the device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5993293A (en) * 1982-11-19 1984-05-29 株式会社日立製作所 Visual device for robot
JPS60183509A (en) * 1984-03-02 1985-09-19 Hitachi Ltd Visual sense device
JPH01116401A (en) * 1987-10-30 1989-05-09 Fanuc Ltd Parallax correction system for visual sensor
JPH0392712A (en) * 1989-09-05 1991-04-17 Fanuc Ltd Three-dimensional position recognition by use of image processing device and distance measuring sensor
JPH03281182A (en) * 1990-03-28 1991-12-11 Shinko Electric Co Ltd Coordinate correcting method for moving robot
JPH05305588A (en) * 1992-04-28 1993-11-19 Toyoda Mach Works Ltd Control device for visual sense robot
JPH07248209A (en) * 1994-03-11 1995-09-26 Natl Space Dev Agency Japan<Nasda> Object position and attitude measuring device and part assembling apparatus loading the device

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000046514A (en) * 1998-07-27 2000-02-18 Aisin Takaoka Ltd Method for detecting position of worked hole of casting
JP2002086376A (en) * 2000-09-13 2002-03-26 Yaskawa Electric Corp Method for guiding visual sensor
JP4568978B2 (en) * 2000-09-13 2010-10-27 株式会社安川電機 Manipulator device
WO2003039820A1 (en) * 2001-11-06 2003-05-15 Kabushiki Kaisha Yaskawa Denki Method for determining three-dimensional position and posture of object being sensed and visual sensor for robot
DE102004005574B3 (en) * 2004-02-05 2005-07-14 Daimlerchrysler Ag Robot system with tool, camera and light source for manipulating tool for processing workpiece has light source and camera independently movable in order to illuminate field of view from different directions
JP2007044865A (en) * 2005-08-10 2007-02-22 Honda Research Inst Europe Gmbh Orientation/positioning system control method
FR2922639A1 (en) * 2007-10-23 2009-04-24 Peugeot Citroen Automobiles Sa METHOD AND DEVICE FOR MEASURING GAMING AND FLASHING BETWEEN PARTS FIXED ON AN ASSEMBLY IN THE ABSENCE OF ONE OF THEM
WO2009053660A1 (en) * 2007-10-23 2009-04-30 Peugeot Citroen Automobiles Sa Method and device for measuring clearances and flush-fitting between components fixed to an assembly in the absence of one of these components
KR101042085B1 (en) * 2008-10-27 2011-06-16 한국항공우주산업 주식회사 Robotic drilling system and the method
CN102452081A (en) * 2010-10-21 2012-05-16 财团法人工业技术研究院 Method and device for correcting system parameters of mechanical arm
US9303988B2 (en) 2012-05-02 2016-04-05 Canon Kabushiki Kaisha Image measurement apparatus, image measurement method and image measurement program
JP2013231702A (en) * 2012-05-02 2013-11-14 Canon Inc Image measuring device, image measuring method, and image measuring program
CN104330025B (en) * 2014-10-22 2016-12-07 中国计量学院 Industrial robot apparatus for detecting position and posture
CN104330025A (en) * 2014-10-22 2015-02-04 中国计量学院 Industrial robot pose detection device
CN106144582A (en) * 2016-08-30 2016-11-23 苏州康贝尔电子设备有限公司 Seat assembly fixed by a kind of mechanical hand for LED automatic material receptacle
DE102017007737A1 (en) * 2017-08-17 2019-02-21 Lemnatec Gmbh Method and device for detecting an image of a plant with a sensor device
JP2019089148A (en) * 2017-11-13 2019-06-13 株式会社Ihi Processing device
CN109262659A (en) * 2018-12-20 2019-01-25 中国铁建重工集团有限公司 A kind of zero adjustment method and apparatus of joint of mechanical arm sensor
JP2022504009A (en) * 2019-12-12 2022-01-13 株式会社Mujin A method and calculation system for object detection or robot interaction planning based on the image information generated by the camera.
US11883966B2 (en) 2019-12-12 2024-01-30 Mujin, Inc. Method and computing system for performing object detection or robot interaction planning based on image information generated by a camera
CN113450407A (en) * 2021-05-14 2021-09-28 东莞市李群自动化技术有限公司 Positioning method, operation method, electronic device, track device, and storage medium
CN113450407B (en) * 2021-05-14 2023-10-13 东莞市李群自动化技术有限公司 Positioning method, operation method, electronic device, track device, and storage medium
CN114619489A (en) * 2022-04-01 2022-06-14 西南交通大学 System and method for recognizing and correcting coordinates of mechanical arm conveyed object based on image processing
CN116447978A (en) * 2023-06-16 2023-07-18 先临三维科技股份有限公司 Hole site information detection method, device, equipment and storage medium
CN116447978B (en) * 2023-06-16 2023-10-31 先临三维科技股份有限公司 Hole site information detection method, device, equipment and storage medium

Also Published As

Publication number Publication date
JP3442140B2 (en) 2003-09-02

Similar Documents

Publication Publication Date Title
JP3442140B2 (en) Position measurement device and position deviation correction device using three-dimensional visual sensor
US5987591A (en) Multiple-sensor robot system for obtaining two-dimensional image and three-dimensional position information
US7899577B2 (en) Measuring system and calibration method
US9050728B2 (en) Apparatus and method for measuring tool center point position of robot
US11267142B2 (en) Imaging device including vision sensor capturing image of workpiece
US7532949B2 (en) Measuring system
JP3946716B2 (en) Method and apparatus for recalibrating a three-dimensional visual sensor in a robot system
US6414711B2 (en) Apparatus for correcting movement path of a robot and a method therefor
JP3644991B2 (en) Coordinate system coupling method in robot-sensor system
US8306660B2 (en) Device and a method for restoring positional information of robot
US5715375A (en) Robot control system for executing multi-layer welding
US20040081352A1 (en) Three-dimensional visual sensor
JPH1063317A (en) Method for combining coordinate system in robot and visual sensor system
US10569418B2 (en) Robot controller for executing calibration, measurement system and calibration method
JP2019119027A (en) Method of controlling robot system, and robot system
JP5573537B2 (en) Robot teaching system
US20170255181A1 (en) Measurement apparatus, system, measurement method, and article manufacturing method
JPH09222913A (en) Teaching position correcting device for robot
JPH08328624A (en) Method for coupling sensor and robot and robot system
CN116194252A (en) Robot system
JPH05337785A (en) Grinding path correcting device of grinder robot
JPH085351A (en) Slit beam calibration method of three-dimensional visual sensor
JPH05301195A (en) Camera position slippage detecting method in visual sensor
CN117957097A (en) Position and orientation measurement system
JPH06229732A (en) Spot light beam scanning three-dimensional visual sensor

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030513

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080620

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090620

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100620

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100620

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees