JP2022039903A - Calibration block and hand eye calibration method for line laser sensor - Google Patents

Calibration block and hand eye calibration method for line laser sensor Download PDF

Info

Publication number
JP2022039903A
JP2022039903A JP2021000997A JP2021000997A JP2022039903A JP 2022039903 A JP2022039903 A JP 2022039903A JP 2021000997 A JP2021000997 A JP 2021000997A JP 2021000997 A JP2021000997 A JP 2021000997A JP 2022039903 A JP2022039903 A JP 2022039903A
Authority
JP
Japan
Prior art keywords
grid
truncated cone
coordinate system
line laser
calibration block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021000997A
Other languages
Japanese (ja)
Other versions
JP7075145B2 (en
Inventor
文松 江
Wensong Jiang
哉 ▲羅▼
Zai Luo
洪楠 ▲趙▼
Hongnan Zhao
志▲遠▼ 朱
Zhiyuan Zhu
▲げい▼文 ▲陳▼
Yiwen Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Publication of JP2022039903A publication Critical patent/JP2022039903A/en
Application granted granted Critical
Publication of JP7075145B2 publication Critical patent/JP7075145B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0095—Means or methods for testing manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation

Abstract

To provide a calibration block and hand eye calibration method for line laser sensors.SOLUTION: A calibration block 401 for line laser sensors has a grid 402 on a surface of the calibration block 401, and the grid 402 is formed by intersecting rows and columns of evenly spaced grid lines. A truncated cone hole 404 is provided in the center of the calibration block 401. An axis of the truncated cone hole 404 is perpendicular to the surface where the grid 402 is located, and the axis of the truncated cone hole 404 passes through an intersection point of two cross lines on the grid. Since only grid lines and the truncated cone hole 404 need to be identified on a plane, the calibration block 401 is easier to process and easy to improve processing accuracy.SELECTED DRAWING: Figure 2

Description

本発明は、光学検出の技術分野に関するものである。特に、レーザーセンサのキャリブレーション技術に関するものである。 The present invention relates to the technical field of optical detection. In particular, it relates to a laser sensor calibration technique.

製造業工程の継続的な向上に伴い、工業検出産業は検出方法に対してますます高い要件を提出し、従来の接触式測定方法は既に工業検出の要件を満たすことができず、非接触式、高精度、高感度、デジタル化及び携帯化は、検出産業の現在の発展の主な傾向になっている。ラインレーザーセンサは、レーザー技術を用いて測定を行うセンサであり、非接触式レーザ測定は、光電検出技術の分岐の一つとして、高速度、高精度、広い測定範囲、強力な信頼性、広い適用範囲等の利点を備え、長さ、距離及び三次元形態等の検出で広く適用されている。 With the continuous improvement of the manufacturing process, the industrial detection industry has submitted increasingly higher requirements for detection methods, and traditional contact measurement methods can no longer meet the requirements for industrial detection, and are non-contact. High precision, high sensitivity, digitization and portability are the main trends in the current development of the detection industry. The line laser sensor is a sensor that measures using laser technology, and non-contact laser measurement is one of the branches of photoelectric detection technology, which is high speed, high accuracy, wide measurement range, strong reliability, and wide range. It has advantages such as a range of application, and is widely applied in the detection of length, distance, three-dimensional morphology, and the like.

高効率、高精度の測定要件を満たすために、現代の産業では、ラインレーザーセンサをロボットアームのエンドエフェクタに取り付ける組合せ測定システムがますます広く適用されている。取り付ける時、ロボットとラインレーザーセンサとの間の位置関係は未知であり、正確に測定を行う目的を実現するためには、実際の測定前に、必ず先にロボットとレーザーセンサの位置関係に対して求解とキャリブレーションを行う必要がある。即ち、「ハンドアイキャリブレーション」を行う必要がある。センサ装置の内部パラメータに基づいて、物体の画像座標系における座標をセンサ座標系に変換した後、また、測定システムの外部パラメータに基づいて、物体のセンサ座標系における座標を世界座標系に変換する必要がある。実際上、センサ装置の内部パラメータは、工場出荷時に既に固化され、使用中で変更することはできないが、外部パラメータは調整及びキャリブレーションすることができる。ここで、とても重要な過程の一つは、ロボット視覚システムに対してハンドアイキャリブレーションを行い、センサとロボットとの間の相対的な位置関係を決定する必要がある。 In order to meet the measurement requirements of high efficiency and high accuracy, the combination measurement system in which the line laser sensor is attached to the end effector of the robot arm is becoming more and more widely applied in modern industry. When installing, the positional relationship between the robot and the line laser sensor is unknown, and in order to achieve the purpose of accurate measurement, be sure to first check the positional relationship between the robot and the laser sensor before the actual measurement. It is necessary to solve and calibrate. That is, it is necessary to perform "hand eye calibration". After converting the coordinates in the image coordinate system of the object to the sensor coordinate system based on the internal parameters of the sensor device, and also converting the coordinates in the sensor coordinate system of the object to the world coordinate system based on the external parameters of the measurement system. There is a need. In practice, the internal parameters of the sensor device are already solidified at the factory and cannot be changed in use, but the external parameters can be adjusted and calibrated. Here, one of the very important processes is to perform hand-eye calibration on the robot visual system to determine the relative positional relationship between the sensor and the robot.

簡単に言えば、ハンドアイキャリブレーションの目的は、ベース座標系又は世界座標系とラインレーザーセンサの視覚座標系との間の変換関係を取得し、ラインレーザーセンサが測定した視覚座標系におけるデータをベース座標系又は世界座標系中に統合することである。 Simply put, the purpose of hand-eye calibration is to acquire the transformational relationship between the base or world coordinate system and the visual coordinate system of the line laser sensor, and to obtain the data in the visual coordinate system measured by the line laser sensor. To integrate into the base coordinate system or the world coordinate system.

現在、ハンドアイ関係のキャリブレーション方法には、通常、有限シナリオ点（Ｌｉｍｉｔｅｄ ｓｃｅｎｅ ｐｏｉｎｔｓ）法、平面ターゲット法及び標準球法が含まれる。有限シナリオ点法と平面ターゲット法は、カメラに基づくキャリブレーションであり、カメラの異なる姿勢を調整することにより、空間内の同一点Ｐに対して撮影を行い、点Ｐの異なる画像中における位置関係を求解することにより、カメラとロボットとの間のハンドアイ関係を取得する方法である。ラインレーザーセンサの測定範囲が限られており、且つ測定原理が異なるため、この方法はラインレーザーセンサのハンドアイキャリブレーションには適用しない。 Currently, hand-eye-related calibration methods typically include a limited scenario points method, a plane target method, and a standard sphere method. The finite scenario point method and the plane target method are calibrations based on the camera. By adjusting different postures of the cameras, the same point P in the space is photographed, and the positional relationship between the different points P in the images. Is a method of acquiring the hand-eye relationship between the camera and the robot by solving. This method is not applicable to hand-eye calibration of line laser sensors because the measurement range of the line laser sensor is limited and the measurement principle is different.

標準球法は、現在、一般的にラインレーザーセンサのハンドアイキャリブレーションに適用されている方法であるが、このキャリブレーション方法は操作過程が複雑であり、標準球の加工精度に対する要求が高く、及び球心の座標を取得する時のカット断面による円のフィッティング誤差が大きいため、キャリブレーション結果の精度に影響を与え、ハンドアイキャリブレーション結果の精度要件を保証することは困難である。 The standard sphere method is currently generally applied to hand-eye calibration of line laser sensors, but this calibration method has a complicated operation process and is highly required for the processing accuracy of the standard sphere. In addition, since the fitting error of the circle due to the cut cross section when acquiring the coordinates of the sphere center is large, it affects the accuracy of the calibration result, and it is difficult to guarantee the accuracy requirement of the hand-eye calibration result.

本発明は、従来技術における上記の問題を解決することを目的とし、ラインレーザーセンサ用のキャリブレーションブロック及びハンドアイキャリブレーション方法を提供する。このキャリブレーションブロックは、加工精度の要件が低く、ハンドアイキャリブレーションに便利であり、このキャリブレーションブロックに適用されるハンドアイキャリブレーション方法は簡単で精度が高い。 An object of the present invention is to solve the above problems in the prior art, and to provide a calibration block and a hand-eye calibration method for a line laser sensor. This calibration block has low machining accuracy requirements and is convenient for hand eye calibration, and the hand eye calibration method applied to this calibration block is simple and highly accurate.

本発明の目的は、以下の技術的解決策を通じて達成することができる。キャリブレーションブロックの表面には碁盤目を備え、前記碁盤目は縦横の等間隔の碁盤線列が交差して形成されるラインレーザーセンサ用のキャリブレーションブロックであって、前記キャリブレーションブロックの中央には円錐台孔を備え、前記円錐台孔の軸は碁盤目の所在する表面に垂直であり、前記円錐台孔の軸は碁盤目上の２本の交差線の交点を通過する。 The object of the present invention can be achieved through the following technical solutions. The surface of the calibration block is provided with a grid, and the grid is a calibration block for a line laser sensor formed by intersecting vertical and horizontal evenly spaced grid lines, and is located in the center of the calibration block. Has a truncated cone hole, the axis of the truncated cone hole is perpendicular to the surface where the grid is located, and the axis of the truncated cone hole passes through the intersection of two crossing lines on the grid.

いくつかの実施形態において、前記円錐台孔の孔壁面と碁盤目の所在する表面とが交差する円形口のエッジの直径は、碁盤目上の最小方眼の辺の長さより小さい。即ち、２つの隣接する平行線の間隔より小さい。 In some embodiments, the diameter of the edge of the circular opening where the wall surface of the truncated cone hole intersects the surface where the grid is located is smaller than the length of the side of the smallest grid on the grid. That is, it is smaller than the distance between two adjacent parallel lines.

いくつかの実施形態において、円錐台の母線と底面との夾角は４５°である。 In some embodiments, the angle between the bus of the truncated cone and the bottom is 45 °.

いくつかの実施形態において、前記碁盤目は陰刻（ｄｉａｇｌｙｐｈ）線である。 In some embodiments, the grid is a diaglyph line.

いくつかの実施形態において、前記円錐台孔の下方には走査位置決め装置が配置され、前記走査位置決め装置は、走査光を受け取ることができる光電検出器を含み、前記光電検出器の光電プローブは、変形フレーム上に設置され、変形フレームは、１２個の弧形の変形ユニットを含み、変形ユニットは２つの弧形ロッドを含み、２つの弧形ロッドの中央部分は中央ヒンジ軸を介して回転連結され、複数の変形ユニットの弧形ロッドは端部ヒンジ軸を介して閉鎖連結されて閉じた円形の変形フレームになり、円形の変形フレームは円錐台孔の中心軸に垂直であり、変形フレームの円心は円錐台孔の中心軸上に位置され、同一変形ユニットの同一径向上の２つの端部ヒンジ軸はスライド可能にラジアルガイドレール上に配合され、端部ヒンジ軸又は中央ヒンジ軸は、リニアモータにより制御され、ラジアルガイドレールを沿って移動することにより、前記変形フレームの収縮変形を制御し、光電検出器と円錐台孔の中心軸との距離を変更し、光電検出器は変形フレームの内側における１２個の端部ヒンジ軸上に設置される。 In some embodiments, a scanning positioning device is disposed below the truncated cone hole, the scanning positioning device includes a photoelectric detector capable of receiving scanning light, and the photoelectric probe of the photoelectric detector is a photoelectric probe. Installed on a deformation frame, the deformation frame contains twelve arcuate deformation units, the deformation unit contains two arcuate rods, and the central portion of the two arcuate rods is rotationally connected via a central hinge axis. The arcuate rods of the multiple deformation units are closed and connected via the end hinge axis to form a closed circular deformation frame, the circular deformation frame is perpendicular to the central axis of the truncated cone hole and of the deformation frame. The center of the circle is located on the central axis of the truncated cone hole, the two end hinge axes of the same deformation unit with the same diameter improvement are slidably compounded on the radial guide rail, and the end hinge axis or the center hinge axis is Controlled by a linear motor, by moving along a radial guide rail, the contraction deformation of the deformed frame is controlled, the distance between the photoelectric detector and the central axis of the truncated cone hole is changed, and the photoelectric detector is a deformed frame. Installed on twelve end hinge shafts inside.

ラインレーザーセンサ用のハンドアイキャリブレーション方法であって、
（１）ラインレーザーセンサをロボットアームのエンドエフェクタ上に固定的に取り付け、前記キャリブレーションブロック及び碁盤目をラインレーザーセンサの測定範囲内に取り付ける、センサを設置するステップと、
（２）対応する姿勢下でラインレーザーセンサから放出されたレーザー走査面がキャリブレーションブロック上の碁盤目と交差し、碁盤目の表面上にライトストリップ直線を形成するように、ロボットアームを介してエンドエフェクタの姿勢を調整し、前記ライトストリップ直線は円錐台孔の中心に対して対称である碁盤線の交点を少なくとも２つ通過させることにより、円錐台孔の中心がライトストリップ直線上に位置され、センサはレーザー走査面から反射された三次元点群のセンサ座標系における座標データを収集し、ロボットアームティーチペンダントを介して、前記エンドエフェクターの異なる姿勢における姿勢情報データを読み取って記録し、エンドエフェクタの少なくとも６つの異なる姿勢に対応する三次元点群データを取得する、「姿勢－点群データ集合」を取得するステップと、
（３）異なる姿勢下で対応する三次元点群データに対して直線フィッティングを行い、フィッティング直線方程式を構築し、円錐台孔の中心に対して対称である２つの対称点を取得し、２つの対称点の同一座標軸上で対応する第一座標値をフィッティング直線方程式に代入し、２つの対称点のフィッティング直線で対応するもう一つの座標軸における第二座標値を取得し、２つの対称点の対応する座標値の合計の二分の一が、即ち円錐台孔の中心のセンサ座標系における座標である、円錐台孔の中心のセンサ座標系における座標を計算するステップと、
（４）キャリブレーションブロック及びロボットアームのベースはすべて固定されているため、次の行列方程式からエンドエフェクタ座標系に対するセンサ座標系の並進及び回転行列Rｘ、Tｘを求解する、ロボットに対してハンドアイキャリブレーションを行うステップとを含む。

Figure 2022039903000002
A hand-eye calibration method for line laser sensors,
(1) The step of installing the sensor, in which the line laser sensor is fixedly mounted on the end effector of the robot arm, and the calibration block and the grid are mounted within the measurement range of the line laser sensor.
(2) Through the robot arm so that the laser scanning surface emitted from the line laser sensor under the corresponding posture intersects the grid on the calibration block and forms a light strip straight line on the surface of the grid. By adjusting the posture of the end effector and passing at least two intersections of the grid lines whose light strip straight line is symmetrical with respect to the center of the conical base hole, the center of the conical base hole is positioned on the light strip straight line. , The sensor collects the coordinate data in the sensor coordinate system of the three-dimensional point group reflected from the laser scanning surface, reads and records the posture information data in different postures of the end effector via the robot arm teach pendant, and ends. A step to acquire a "posture-point group data set" that acquires 3D point group data corresponding to at least 6 different postures of an effector, and
(3) Perform straight line fitting on the corresponding three-dimensional point group data under different postures, construct a fitting straight line equation, obtain two points of symmetry that are symmetric with respect to the center of the cone hole, and obtain two points of symmetry. Substitute the corresponding first coordinate value on the same coordinate axis of the symmetry point into the fitting straight line equation, obtain the second coordinate value on the other coordinate axis corresponding to the fitting straight line of the two symmetry points, and correspond the two symmetry points. The step of calculating the coordinates in the sensor coordinate system of the center of the cone hole, that is, the coordinates in the sensor coordinate system of the center of the cone hole, that is, one half of the total coordinate values to be generated.
(4) Since the calibration block and the base of the robot arm are all fixed, the translation of the sensor coordinate system with respect to the end effector coordinate system and the rotation matrices R x and T x are obtained from the following matrix equation for the robot. Includes steps to perform hand eye calibration.
Figure 2022039903000002

ここで、ｎは、走査及びデータ収集の総回数を表し、ＰＢａｓｅは、円錐台孔の中心のベース座標系における座標を表し、ＰＳｉは、第ｉ回目の走査及びデータ収集時、円錐台孔の中心のセンサ座標系におけるフィッティング座標を表し、

Figure 2022039903000003
は、第ｉ回目の走査及びデータ収集時、ベース座標系に対するエンドエフェクタ座標系の並進及び回転行列を表し、Rｘ、Tｘは、エンドエフェクタ座標系に対するセンサ座標系の並進及び回転行列、即ち求解する必要のあるハンドアイ関係を表す。 Here, n represents the total number of scans and data collections, P Base represents the coordinates in the base coordinate system at the center of the truncated cone hole, and P Si represents the truncated cone during the i-th scan and data collection. Represents the fitting coordinates in the sensor coordinate system at the center of the hole.
Figure 2022039903000003
Represents the translation and rotation matrix of the end effector coordinate system with respect to the base coordinate system during the i-th scan and data collection, and R x and T x are the translation and rotation matrix of the sensor coordinate system with respect to the end effector coordinate system. Represents a hand-eye relationship that needs to be solved.

いくつかの実施形態において、前記２つの対称点は、ライトストリップ直線毎に対応する三次元点群データの中で座標の突然な変化を伴う２つの点である。 In some embodiments, the two points of symmetry are two points with abrupt changes in coordinates in the corresponding three-dimensional point cloud data for each light strip straight line.

いくつかの実施形態において、前記三次元点群データは、２つの部分、即ち、碁盤目の表面から反射された表面三次元点群データと、円錐台孔の内部底面から反射された底面三次元点群データとを含み、底面三次元点群データの座標と表面三次元点群データの座標との間の突然な変化が存在する特性により、底面三次元点群データを除去する。 In some embodiments, the three-dimensional point cloud data is two parts, namely, the surface three-dimensional point cloud data reflected from the surface of the grid and the bottom three-dimensional reflected from the inner bottom surface of the conical hole. The bottom 3D point cloud data is removed due to the characteristic that there is a sudden change between the coordinates of the bottom 3D point cloud data and the coordinates of the surface 3D point cloud data, including the point cloud data.

いくつかの実施形態において、レーザーセンサを駆動する時、円錐台孔の中心に対して対称である碁盤目上の２つの縦横の碁盤線の交点はすべて前記ライトストリップ直線上に位置される。 In some embodiments, when driving the laser sensor, the intersections of the two vertical and horizontal grid lines on the grid that are symmetrical with respect to the center of the truncated cone hole are all located on the light strip straight line.

いくつかの実施形態において、前記２つの対称点は、円錐台孔の中心に対して対称である２つの碁盤目線とライトストリップ直線との交点である。 In some embodiments, the two points of symmetry are the intersections of the two grid lines and the light strip straight line that are symmetric with respect to the center of the truncated cone hole.

いくつかの実施形態において、レーザーセンサを駆動する時、走査光の一部が円錐台孔の内部に入射され、走査光がその中の２つのヒンジ軸上の光電検出器により検出されるように、リニアモータを介して変形フレームの変形を制御し、リニアモータの伸縮量及び光を検出した光電検出器の所在するヒンジ軸の位置により走査光の入射角及び方向を計算でき、碁盤目上の走査光の走査位置を知ることができる。 In some embodiments, when driving a laser sensor, some of the scanning light is incident inside the conical hole so that the scanning light is detected by photoelectric detectors on the two hinge axes in it. , The deformation of the deformation frame is controlled via the linear motor, and the incident angle and direction of the scanning light can be calculated from the position of the hinge axis where the photoelectric detector that detects the expansion and contraction of the linear motor is located. The scanning position of the scanning light can be known.

従来技術と比較して、本発明のラインレーザーセンサ用のキャリブレーションブロック及びハンドアイキャリブレーション方法には、以下の利点がある。 Compared with the prior art, the calibration block and the hand-eye calibration method for the line laser sensor of the present invention have the following advantages.

本発明のキャリブレーションブロックは、平面上で碁盤目線及び円錐台孔を識別するだけでよいため、加工がより簡単であり、加工精度を向上しやすい。また、キャリブレーションを行う時、ロボットの姿勢の変換範囲がより広く、特徴点のフィッティングと抽出の過程がより便利で、操作が簡単で、迅速且つ正確であり、キャリブレーションブロックの世界座標系における座標を測定する必要がない。 Since the calibration block of the present invention only needs to identify the grid line and the truncated cone hole on a flat surface, the machining is easier and the machining accuracy is easily improved. Also, when performing calibration, the robot's posture conversion range is wider, the process of fitting and extracting feature points is more convenient, easy to operate, quick and accurate, and in the world coordinate system of the calibration block. There is no need to measure the coordinates.

図面（必ずしも一定の縮尺で描かれているわけではない）で、同様な参照番号が異なる図で同様な構成要素を記載することができる。異なる文字接尾辞を持つ同様な参照番号は、同様な構成要素の異なる例を表すことができる。図面は、限定ではなく例として、本明細書で論じられる各実施形態を示している。
実施例１によるキャリブレーション装置の概略図である。 キャリブレーションブロックの概略斜視図である。 キャリブレーションブロックの碁盤目面の正面図である。 キャリブレーションブロックの断面図である。 ２つのレーザー走査面とキャリブレーションブロックの碁盤目との交差状態を表す比較概略図である。 収集された三次元点群データの概略分布図である。 ハンドアイキャリブレーションの概略フローチャートである。 実施例３の概略図である。 実施例３による走査位置決め装置の概略図である。 変形後の実施例３による走査位置決め装置の概略図である。 Drawings (not necessarily drawn to a certain scale) can describe similar components in figures with similar reference numbers but different. Similar reference numbers with different letter suffixes can represent different examples of similar components. The drawings show, by way of example, each embodiment discussed herein.
It is the schematic of the calibration apparatus by Example 1. FIG. It is a schematic perspective view of a calibration block. It is a front view of the grid surface of a calibration block. It is sectional drawing of the calibration block. It is a comparative schematic diagram which shows the crossing state of two laser scanning surfaces, and the grid of a calibration block. It is a schematic distribution map of the collected three-dimensional point cloud data. It is a schematic flowchart of a hand eye calibration. It is a schematic diagram of Example 3. It is the schematic of the scanning positioning apparatus by Example 3. FIG. It is the schematic of the scanning positioning apparatus according to Example 3 after deformation.

以下は、本発明の具体的な実施例であり、図面を結合しながら本発明の技術的解決策をさらに説明するが、本発明は、これらの実施例に限定されず、以下の実施形態は、請求の範囲に係る本発明を限定するものではない。また、実施形態に記載されている特徴のすべての組み合わせは、本発明の解決に必ずしも必須ではない。 The following are specific examples of the present invention, further explaining the technical solutions of the present invention while combining the drawings, but the present invention is not limited to these examples, and the following embodiments are , The present invention according to the claims is not limited. Also, all combinations of features described in the embodiments are not necessarily essential to the solution of the present invention.

すべての方向参照（例えば、上方、下方、上へ、上、下へ、下、頂部、底部、左、右、垂直、水平等）は読者の理解を補助するために図面で説明的に使用されるだけで、添付された請求の範囲により定義される本発明の範囲に対する制限（例えば、位置、方位又は用途等）を意味するものではないことを、当技術分野の一般技術者は、理解すべきである。また、「基本的」という用語は、条件、量、値、又はサイズ等のわずかな不正確さ又は偏差を指すことができ、これらの一部は製造偏差又は許容範囲内にある。 All directional references (eg, up, down, up, up, down, down, top, bottom, left, right, vertical, horizontal, etc.) are used descriptively in the drawings to aid the reader's understanding. The general engineer in the art understands that this does not mean a limitation (eg, position, orientation or use, etc.) to the scope of the invention as defined by the scope of the accompanying claims. Should be. Also, the term "basic" can refer to slight inaccuracies or deviations in conditions, quantities, values, sizes, etc., some of which are within manufacturing deviations or tolerances.

実施例１
図１、２、３及び４に示すように、ロボットアームの外側の操作プラットフォーム５０１上で世界座標系に対して相対的に固定な位置を決定し、キャリブレーションブロック４０１を固定する。キャリブレーションブロック４０１は、立方体構造であり、規格は２２０．０ｍｍ×２２０．０ｍｍ×３０．０ｍｍであり、サイズ加工精度は０．０１ｍｍであり、表面粗さは１．６であり、材質はセラミックである。前記キャリブレーションブロックの表面には碁盤目を備え、前記碁盤目は縦横の等間隔の碁盤線が交差して形成されており、碁盤目４０２は、キャリブレーションブロックの２２０ｍｍ×２２０ｍｍの表面の中央に位置され、規格は２００ｍｍ×２００ｍｍであり、２１本の横向き／縦向き垂直の等間隔の線分からなり、２つの隣接する平行線分の間の距離は１０．０ｍｍであり、スクライビング精度は０．０１ｍｍである。前記キャリブレーションブロックの中央には円錐台孔（即ち、円錐台形状の孔）を備え、円錐台孔４０４の中心軸は、キャリブレーションブロック４０１の中心軸と同軸であり、キャリブレーションブロック４０１の中央に位置される。円錐台孔４０４の高さは３０ｍｍであり、上表面円の半径は５ｍｍであり、下表面円の半径は３５ｍｍであり、円錐台の母線と底面との間の夾角は４５°であり、前記円錐台孔の軸は碁盤目の所在する表面に対して垂直であり、特性点Ｐ４０３は碁盤目の中央交点に位置され、前記円錐台孔の軸はこの交点を通過する。そのため、特徴点Ｐ４０３は、即ち円錐台の上表面円孔の円心でもある。前記円錐台孔の孔壁面と碁盤目の所在する表面とが交差する円形口のエッジの直径は、碁盤目上の最小方眼の辺の長さより小さい、即ち、２つの隣接する平行線の間隔より小さい。 Example 1
As shown in FIGS. 1, 2, 3 and 4, a position relatively fixed with respect to the world coordinate system is determined on the operation platform 501 outside the robot arm, and the calibration block 401 is fixed. The calibration block 401 has a cubic structure, the standard is 220.0 mm × 220.0 mm × 30.0 mm, the size processing accuracy is 0.01 mm, the surface roughness is 1.6, and the material is ceramic. Is. The surface of the calibration block is provided with a grid, and the grid is formed by intersecting vertical and horizontal evenly spaced grid lines. The grid 402 is located in the center of the surface of the calibration block of 220 mm × 220 mm. Positioned, the standard is 200 mm x 200 mm, consists of 21 horizontally / vertically spaced equally spaced line segments, the distance between two adjacent parallel line segments is 10.0 mm, and the scribing accuracy is 0. It is 01 mm. A truncated cone hole (that is, a truncated cone-shaped hole) is provided in the center of the calibration block, and the central axis of the truncated cone hole 404 is coaxial with the central axis of the calibration block 401, and is the center of the calibration block 401. Located in. The height of the truncated cone hole 404 is 30 mm, the radius of the upper surface circle is 5 mm, the radius of the lower surface circle is 35 mm, and the angle between the bus bus and the bottom surface of the truncated cone is 45 °. The axis of the truncated cone hole is perpendicular to the surface where the cone is located, the characteristic point P403 is located at the central intersection of the grid, and the axis of the truncated cone hole passes through this intersection. Therefore, the feature point P403 is also the center of the circular hole on the upper surface of the truncated cone. The diameter of the edge of the circular opening where the wall surface of the truncated cone hole intersects with the surface where the grid is located is smaller than the length of the side of the smallest grid on the grid, that is, from the distance between two adjacent parallel lines. small.

キャリブレーションの基本原理：特性点Ｐ４０３は、キャリブレーションブロック４０１の表面の中央に位置されており、ラインレーザーセンサ３０１をロボットアームのエンドエフェクタ２０１上に固定的に取り付け、ラインレーザーセンサ３０１が異なる姿勢で特徴点Ｐ４０３に関する位置情報に対して走査及び収集を行うように、ロボットアーム１０１を介してエンドエフェクター２０１を調整するとともに、一緒に動くようにラインレーザーセンサ３０１を駆動する。ラインレーザーセンサ３０１とロボットのエンドエフェクタ２０１との相対的な位置関係が変わらないため、センサ座標系とエンドエフェクター座標系との相対的な位置関係は変わらない。これらの２つの座標系の関係を求めることが、ロボットのハンドアイキャリブレーションである。 Basic principle of calibration: The characteristic point P403 is located in the center of the surface of the calibration block 401, and the line laser sensor 301 is fixedly mounted on the end effector 201 of the robot arm, and the line laser sensor 301 has a different posture. The end effector 201 is adjusted via the robot arm 101 so as to scan and collect the position information regarding the feature point P403, and the line laser sensor 301 is driven so as to move together. Since the relative positional relationship between the line laser sensor 301 and the robot end effector 201 does not change, the relative positional relationship between the sensor coordinate system and the end effector coordinate system does not change. Obtaining the relationship between these two coordinate systems is the hand-eye calibration of the robot.

図５、６及び７に示すように、具体的なキャリブレーション方法は、次の通りである。
（１）センサを設定する。ラインレーザーセンサ３０１をロボットアーム１０１のエンドエフェクタ２０１に固定的に取り付け、キャリブレーションブロック４０１を操作プラットフォーム５０１上に固定的に取り付け、前記キャリブレーションブロック４０１及び碁盤目４０２をラインレーザーセンサ３０１の測定範囲内に取り付ける。 As shown in FIGS. 5, 6 and 7, the specific calibration method is as follows.
(1) Set the sensor. The line laser sensor 301 is fixedly attached to the end effector 201 of the robot arm 101, the calibration block 401 is fixedly attached on the operation platform 501, and the calibration block 401 and the grid 402 are fixedly attached to the measurement range of the line laser sensor 301. Install inside.

（２）「姿勢－点群データ集合」を取得する。対応する姿勢下でラインレーザーセンサ３０１から放出されたレーザー走査面がキャリブレーションブロック４０１上の碁盤目４０２と交差し、碁盤目の表面上にライトストリップ直線を形成するように、ロボットアーム１０１を介してエンドエフェクタ２０１の姿勢を調整する。円錐台孔の中心がライトストリップ直線上に位置されるように、前記ライトストリップ直線は円錐台孔の中心（即ち、特徴点）に対して対称である碁盤線の交点を少なくとも２つ通過する。センサはレーザー走査面から反射された三次元点群のセンサ座標系における座標データを収集し、ロボットアームティーチペンダントを介して、前記エンドエフェクター２０１の異なる姿勢における姿勢情報データを読み取って記録する。少なくとも６つの異なる姿勢に対応する三次元点群データを取得する。この過程の姿勢データ及びキャリブレーションブロック４０１の三次元点群データを「姿勢－点群データ集合」としてパッケージ化する。 (2) Acquire the "posture-point cloud data set". Through the robot arm 101, the laser scanning surface emitted from the line laser sensor 301 under the corresponding posture intersects the grid 402 on the calibration block 401 and forms a light strip straight line on the surface of the grid. Adjust the posture of the end effector 201. The light strip straight line passes at least two intersections of the grid lines that are symmetric with respect to the center of the truncated cone hole (ie, the feature point) so that the center of the truncated cone hole is located on the light strip straight line. The sensor collects coordinate data in the sensor coordinate system of the three-dimensional point cloud reflected from the laser scanning surface, and reads and records the posture information data in different postures of the end effector 201 via the robot arm teach pendant. Acquire 3D point cloud data corresponding to at least 6 different postures. The attitude data in this process and the three-dimensional point cloud data of the calibration block 401 are packaged as a "attitude-point cloud data set".

（３）円錐台孔の中心のセンサ座標系における座標を計算する。
異なる姿勢下で対応する三次元点群データに対して直線フィッティングを行い、フィッティング直線方程式を構築し、円錐台孔の中心に対して対称である２つの対称点を取得し、２つの対称点の同一座標軸上で対応する第一座標値をフィッティング直線方程式に代入し、２つの対称点のフィッティング直線で対応するもう一つの座標軸における第二座標値を取得する。２つの対称点の対応する座標値の合計の二分の一が、即ち円錐台孔の中心のセンサ座標系における座標である。前記２つの対称点は、ライトストリップ直線毎に対応する三次元点群データの中で座標の突然な変化を伴う２つの点、即ち円錐台孔のエッジのセンサ座標系で対応する２つの点である。前記三次元点群データは、２つの部分、即ち、碁盤目４０２の表面から反射された表面三次元点群データと、円錐台孔４０４の内部底面から反射された底面三次元点群データとを含み、底面三次元点群データの座標と表面三次元点群データの座標との間の突然な変化が存在する特性により、三次元点群データの座標が突然に変化する点が、即ちライトストリップ直線と円錐台孔のエッジとが交差する２つの点である。この２つの点の中心が、即ち円孔の円心である。即ち、特徴点Ｐ４０３である。より具体的な説明は、次の通りである。 (3) Calculate the coordinates in the sensor coordinate system at the center of the truncated cone hole.
Straight-line fitting is performed on the corresponding three-dimensional point group data under different postures, a fitting linear equation is constructed, two points of symmetry that are symmetric with respect to the center of the cone hole are obtained, and two points of symmetry are obtained. The corresponding first coordinate value on the same coordinate axis is substituted into the fitting straight line equation, and the second coordinate value on the other coordinate axis corresponding to the fitting straight line of the two symmetry points is acquired. Half of the sum of the corresponding coordinate values of the two points of symmetry is the coordinates in the sensor coordinate system at the center of the truncated cone hole. The two points of symmetry are two points with abrupt changes in coordinates in the three-dimensional point cloud data corresponding to each light strip straight line, that is, two points corresponding to each other in the sensor coordinate system at the edge of the cone hole. be. The three-dimensional point cloud data includes two parts, that is, the surface three-dimensional point cloud data reflected from the surface of the grid 402 and the bottom three-dimensional point cloud data reflected from the inner bottom surface of the conical hole 404. The point where the coordinates of the 3D point cloud data change suddenly due to the characteristic that there is a sudden change between the coordinates of the bottom 3D point cloud data and the coordinates of the surface 3D point cloud data, that is, the light strip. Two points where the straight line and the edge of the conical hole intersect. The center of these two points is the center of the circular hole. That is, it is a feature point P403. A more specific explanation is as follows.

前記ラインレーザーセンサ３０１が前記キャリブレーションブロック４０１に対して測定した三次元点群データはすべてセンサ座標系におけるｙｚ平面内にあり、Ｎ個のデータ点（０，ｙｉ，ｚｉ）を含み、レーザーセンサ３０１から放出されたレーザー走査面３０２とキャリブレーションブロック４０１とが交差するライトストリップ直線上に分布される。前記三次元点群データは、２つの部分、即ち、碁盤目４０２上の三次元点群データと、円錐台孔４０４の底面上の三次元点群データとの２つの部分を含み、Ａ、Ｂの２つの点は、碁盤目４０２上の三次元点群データの中で、特徴点Ｐ４０３に最も近い２つの点である。前記ライトストリップ直線上の三次元点群データに対して再び処理を行い、円錐台孔４０４の底面上におけるライトストリップ直線の所在する三次元点群データを除去し、碁盤目４０２上におけるライトストリップ直線の所在する三次元点群データを取得する。最小二乗法により、前記「碁盤目４０２上におけるライトストリップ直線の所在する三次元点群データ」に対して、センサ座標系におけるｙｚ平面内でフィッティングを行い、関数Ｚ（ｙ）を構築し、フィッティング直線方程式

Figure 2022039903000004
を表す。特徴点Ｐ４０３に最も近い２つの三次元点群データＡ（０，ｙ１，ｚ１）及びＢ（０，ｙ２，ｚ２）をそれぞれ取得し、それらのｙ軸値を取得してフィッティング直線方程式
Figure 2022039903000005
に代入し、次の通りに、Ａ、Ｂの２つの点のフィッティング後のＺ軸座標値をそれぞれ取得する。
Figure 2022039903000006
 特徴点Ｐ４０３が線分ＡＢの中点であるため、フィッティング後の特徴点Ｐ４０３のセンサ座標系における座標は次のように表すことができる。
Figure 2022039903000007
 。
したがって、特徴点Ｐ４０３のセンサ座標系における座標Ｐ（０，ｙ０，ｚ０）を取得することができる。 All the three-dimensional point group data measured by the line laser sensor 301 with respect to the calibration block 401 are in the yz plane in the sensor coordinate system, include N data points (0, y, zi), and the laser sensor. It is distributed on a light strip straight line where the laser scanning surface 302 emitted from 301 and the calibration block 401 intersect. The three-dimensional point cloud data includes two parts, that is, three-dimensional point cloud data on the grid 402 and three-dimensional point cloud data on the bottom surface of the conical hole 404, A and B. These two points are the two points closest to the feature point P403 in the three-dimensional point cloud data on the grid 402. The three-dimensional point cloud data on the light strip straight line is processed again, the three-dimensional point cloud data where the light strip straight line is located on the bottom surface of the conical base hole 404 is removed, and the light strip straight line on the grid 402 is removed. Acquire the 3D point cloud data where is located. By the least squares method, fitting is performed in the yz plane in the sensor coordinate system to the above-mentioned "three-dimensional point cloud data where the light strip straight line is located on the grid 402", a function Z (y) is constructed, and fitting is performed. Linear equation
Figure 2022039903000004
Represents. Two three-dimensional point cloud data A (0, y 1 , z 1 ) and B (0, y 2 , z 2 ) closest to the feature point P403 are acquired, and their y-axis values are acquired to obtain the fitting straight line. equation
Figure 2022039903000005
Substitute in, and obtain the Z-axis coordinate values after fitting of the two points A and B, respectively, as follows.
Figure 2022039903000006
 Since the feature point P403 is the midpoint of the line segment AB, the coordinates of the feature point P403 after fitting in the sensor coordinate system can be expressed as follows.
Figure 2022039903000007
 ..
Therefore, the coordinates P (0, y 0 , z 0 ) in the sensor coordinate system of the feature point P403 can be acquired.

（４）ロボットに対してハンドアイキャリブレーションを行う。キャリブレーションブロック４０１及びロボットアーム１０１のベースはすべて固定されているため、次の行列方程式から成り立つ。

Figure 2022039903000008
ここで、ｎは、走査及びデータ収集の総回数を表し、
Figure 2022039903000009
は、円錐台孔の中心のベース座標系における座標を表し、、ＰＳｉは、第ｉ回目の走査及びデータ収集時、円錐台孔の中心のセンサ座標系におけるフィッティング座標を表し、
Figure 2022039903000010
は、第ｉ回目の走査及びデータ収集時、ベース座標系に対するエンドエフェクタ座標系の並進及び回転行列を表し、Rｘ、Tｘは、エンドエフェクタ座標系に対するセンサ座標系の並進及び回転行列、即ち、求解する必要のあるハンドアイ関係を表し、エンドエフェクタ座標系に対するセンサ座標系の並進及び回転行列Rｘ、Tｘを求解することにより、即ちハンドアイキャリブレーションを完了させる。具体的な計算過程は次の通りである。
式（５）から、次の方程式を取得することができる。
Figure 2022039903000011
Figure 2022039903000012
を式（６）を代入して展開すると、次を取得することができる。
Figure 2022039903000013
 さらに、次の関係を確立する。
Figure 2022039903000014
 上記の式で、
Figure 2022039903000015
は、第ｉ回目の走査及びデータ収集を行う時、特徴点Ｐ４０３のセンサ座標系におけるフィッティング座標を表し、式（７）を以下の行列方程式に書き換えることができる。
Ａｘ＝ｂ （１１）
最小二乗解方程式を通じて、ｘの解を取得することができる。
Figure 2022039903000016
 求解されたｘにより、Ｒｘ、Ｔｘのパラメータ値を取得し、ハンドアイ関係の行列を取得し、ハンドアイキャリブレーションを完了させることができる。 (4) Perform hand eye calibration for the robot. Since the bases of the calibration block 401 and the robot arm 101 are all fixed, they consist of the following matrix equations.
Figure 2022039903000008
 Here, n represents the total number of scans and data acquisitions.
Figure 2022039903000009
Represents the coordinates in the base coordinate system of the center of the cone hole, P Si represents the fitting coordinates in the sensor coordinate system of the center of the cone hole during the i-th scan and data acquisition.
Figure 2022039903000010
Represents the translation and rotation matrix of the end effector coordinate system with respect to the base coordinate system during the i-th scan and data collection, and R x and T x are the translation and rotation matrix of the sensor coordinate system with respect to the end effector coordinate system. , Represents the hand-eye relationship that needs to be solved, and completes the hand-eye calibration by solving the translation and rotation matrices R x , T x of the sensor coordinate system with respect to the end effector coordinate system. The specific calculation process is as follows.
The following equation can be obtained from equation (5).
Figure 2022039903000011
Figure 2022039903000012
By substituting and expanding Eq. (6), the following can be obtained.
Figure 2022039903000013
 In addition, the following relationship is established.
Figure 2022039903000014
 With the above formula
Figure 2022039903000015
Represents the fitting coordinates in the sensor coordinate system of the feature point P403 at the time of the i-th scanning and data acquisition, and the equation (7) can be rewritten into the following matrix equation.
Ax = b (11)
The solution of x can be obtained through the least squares solution equation.
Figure 2022039903000016
 With the solved x, the parameter values of Rx and Tx can be acquired, the matrix related to the hand eye can be acquired, and the hand eye calibration can be completed.

実施例２
ラインレーザーセンサ３０１を駆動する時、レーザー走査面と、碁盤目４０２上の円錐台孔の中心に対して対称である縦横の碁盤線との交点はすべて前記ライトストリップ直線上に位置されることにより、円錐台孔の中心がレーザー走査面上に位置されるように確保するとともに、交点を識別しやすくする。 Example 2
When driving the line laser sensor 301, all the intersections of the laser scanning surface and the vertical and horizontal go board lines symmetrical with respect to the center of the conical base hole on the go board 402 are located on the light strip straight line. The center of the conical hole is secured to be located on the laser scanning surface, and the intersection is easily identified.

円錐台孔の中心のセンサ座標系における座標を計算する時、碁盤目上の円錐台孔の中心に対して対称である２つの縦横の碁盤線の交点がすべて前記ライトストリップ直線上に位置されるようにする。碁盤目線が陰刻（ｄｉａｇｌｙｐｈ）線であるため、碁盤目線とライトストリップ直線との交点のセンサ座標系における座標は、三次元点群の他の点に対して明らかな座標値の変化がある。そのため、２つの対称点は簡単に見つけることができる。即ち、前記２つの対称点は、円錐台孔の中心に対して対称である２つの碁盤目線とライトストリップ直線との交点である。 When calculating the coordinates in the sensor coordinate system of the center of the cone hole, the intersections of the two vertical and horizontal Go board lines that are symmetrical with respect to the center of the cone hole on the grid are all located on the light strip straight line. To do so. Since the grid line is a diaglyph line, the coordinates of the intersection of the grid line and the light strip straight line in the sensor coordinate system have a clear change in coordinate values with respect to other points in the three-dimensional point cloud. Therefore, the two points of symmetry can be easily found. That is, the two points of symmetry are the intersections of the two grid lines and the light strip straight line, which are symmetric with respect to the center of the truncated cone hole.

ラインレーザーセンサ３０１を駆動する時、特徴点Ｐ４０３がライトストリップ直線の中央位置に近づくように、ロボットアーム１０１を制御し、エンドエフェクタ２０１の姿勢を調整することにより、ラインレーザーセンサー３０１が収集された座標データのより正確な処理に役立つ。 When driving the line laser sensor 301, the line laser sensor 301 was collected by controlling the robot arm 101 so that the feature point P403 approaches the center position of the light strip straight line and adjusting the posture of the end effector 201. Useful for more accurate processing of coordinate data.

実施例３
図８、９、１０に示すように、上記の実施例と異なることは、前記円錐台孔の下方には走査位置決め装置が配置され、前記走査位置決め装置は、走査光を受け取ることができる光電検出器を含み、前記光電検出器の光電プローブ８は、変形フレーム上に配置され、変形フレームは、１２個の弧形の変形ユニットを含み、変形ユニットは２つの弧形ロッド１２を含み、２つの弧形ロッドの中央部分は中央ヒンジ軸６を介して回転連結され、複数の変形ユニットの弧形ロッドは端部ヒンジ軸７を介して閉鎖連結されて閉じた円形の変形フレームになり、円形の変形フレームは円錐台孔の中心軸に垂直であり、変形フレームの円心は円錐台孔の中心軸上に位置され、同一変形ユニットの同一径向上の２つの端部ヒンジ軸はスライド可能にラジアルガイドレール９上に配合され、端部ヒンジ軸又は中央ヒンジ軸は、リニアモータ１０により制御され、ラジアルガイドレールを沿って移動することにより、前記変形フレームの収縮変形を制御し、光電検出器と円錐台孔の中心軸との距離を変更し、光電検出器は変形フレームの内側における１２個の端部ヒンジ軸上に設置される。図には、複数のリニアモータが示されているが、実は、リニアモータは１個だけでも良く、他の伸縮制御装置を採用することもできる。 Example 3
As shown in FIGS. 8, 9 and 10, the difference from the above embodiment is that a scanning positioning device is arranged below the truncated cone hole, and the scanning positioning device can receive scanning light for photoelectric detection. The photoelectric probe 8 of the photoelectric detector is arranged on a deformation frame, the deformation frame includes twelve arc-shaped deformation units, and the deformation unit includes two arc-shaped rods 12. The central portion of the arcuate rod is rotatably connected via the central hinge shaft 6, and the arcuate rods of the plurality of deformation units are closed and connected via the end hinge shaft 7 to form a closed circular deformation frame, which is circular. The deformed frame is perpendicular to the central axis of the truncated cone hole, the center of the deformed frame is located on the central axis of the truncated cone hole, and the two end hinge axes of the same deformed unit with the same diameter improvement are slidable and radial. Formulated on the guide rail 9, the end hinge shaft or the center hinge shaft is controlled by the linear motor 10 and moves along the radial guide rail to control the contraction deformation of the deformation frame, and the photoelectric detector and the Changing the distance from the central axis of the truncated cone hole, the photoelectric detector is installed on the twelve end hinge axes inside the deformed frame. Although the figure shows a plurality of linear motors, in fact, only one linear motor may be used, and other expansion / contraction control devices may be adopted.

検出する時、走査光の一部が円錐台孔の内部に入射され、走査光がその中の２つのヒンジ軸上の光電検出器により検出されるように、リニアモータを介して変形フレームの変形を制御する。リニアモータの伸縮量及び光を検出した光電検出器の所在するヒンジ軸の位置により走査光の入射角及び方向を計算でき、碁盤目上の走査光の走査位置を知ることができる。 Deformation of the deformed frame via a linear motor so that part of the scanning light is incident inside the truncated cone hole during detection and the scanning light is detected by the photoelectric detectors on the two hinge axes in it. To control. The incident angle and direction of the scanning light can be calculated from the expansion and contraction amount of the linear motor and the position of the hinge axis where the photoelectric detector that detects the light is located, and the scanning position of the scanning light on the grid can be known.

ラジアルガイドレールは回転リング１１上に固定することができ、前記回転リングは円錐台孔の中心軸と同軸であり、ステッピングモータは回転リングが円錐台孔の中心軸を中心に回転するように制御し、通常、任意の方向に向けて走査する光に対し、同時に２つの光電検出器がこの方向の光を検出されることを保証することができる。 The radial guide rail can be fixed on the rotating ring 11, the rotating ring is coaxial with the central axis of the conical hole, and the stepping motor controls the rotating ring to rotate about the central axis of the conical hole. However, it is possible to guarantee that two photoelectric detectors can detect light in this direction at the same time with respect to light normally scanned in any direction.

本明細書では、いくつかの用語がより多く使用されているが、他の用語を使用する可能性を排除することではない。これらの用語は、ただ本発明の性質をより便利に記載及び説明するためであり、それらを、あらゆる追加の制限として解釈することは、本発明の精神に反することである。明細書及び図面に示す装置及び方法における操作、ステップ等の実行順序は、特に明記しない限り、前の処理の出力が後の処理で使用されない限り、任意の順序で実施することができる。説明の便宜上、「まず」、「次に」等を使用した説明は、必ずこの順序で実行すべきであることを意味するわけではない。 Although some terms are used more often herein, it does not preclude the possibility of using other terms. These terms are merely to describe and explain the nature of the invention more conveniently, and it is contrary to the spirit of the invention to interpret them as any additional limitation. Unless otherwise specified, the execution order of operations, steps, etc. in the apparatus and method shown in the specification and drawings can be performed in any order unless the output of the previous process is used in the subsequent process. For convenience of explanation, explanations using "first", "next", etc. do not necessarily mean that they should be executed in this order.

本明細書に記載された特定の実施形態は、単に本発明の精神を例示するものである。当業者は、記載された特定の実施形態に対して様々な変更又は補足又は類似な方法への置き換えを行うことができるが、それは本発明の精神から逸脱したり、添付の特許請求の範囲によって定義された範囲を超えたりすることはない。 The particular embodiments described herein are merely exemplary of the spirit of the invention. One of ordinary skill in the art may make various modifications or supplements or replacements with similar methods for the particular embodiments described, which deviate from the spirit of the invention or, by the claims of the attachment. It does not exceed the defined range.

１０１、ロボットアーム；２０１、エンドエフェクタ；３０１、ラインレーザーセンサ；３０２、レーザー走査面；４０１、キャリブレーションブロック；４０２、碁盤目；４０３、特徴点Ｐ；４０４、円錐台孔；４０５、特徴点Ｐに対して対称である交点ペア（示例Ｉ）；４０６、特徴点Ｐに対して対称である交点ペア（示例ＩＩ）；５０１、操作プラットフォーム；６、中央ヒンジ軸；７、端部ヒンジ軸；８、光電プローブ；９ラジアルガイドレール；１０、リニアモータ；１１、回転リング；１２、弧形ロッド。 101, robot arm; 201, end effector; 301, line laser sensor; 302, laser scanning surface; 401, calibration block; 402, grid: 403, feature point P; 404, cone hole; 405, feature point P Intersection pair pair symmetric with respect to (Example I); 406, Intersection pair pair symmetric with respect to feature point P (Example II); 501, Operation platform; 6, Central hinge axis; 7, End hinge axis; 8 , Photoelectric probe; 9 radial guide rails; 10, linear motor; 11, rotary ring; 12, arcuate rod.

Claims (10)

キャリブレーションブロックの表面には碁盤目を備え、前記碁盤目は縦横の等間隔の碁盤線列が交差して形成されるラインレーザーセンサ用のキャリブレーションブロックであって、
前記キャリブレーションブロックの中央には円錐台孔を備え、前記円錐台孔の軸は碁盤目の所在する表面に垂直であり、前記円錐台孔の軸は碁盤目上の２本の交差線の交点を通過する、ことを特徴とするラインレーザーセンサ用のキャリブレーションブロック。 The surface of the calibration block is provided with a grid, and the grid is a calibration block for a line laser sensor formed by intersecting rows and columns of evenly spaced grid lines.
The center of the calibration block is provided with a truncated cone hole, the axis of the truncated cone hole is perpendicular to the surface where the grid is located, and the axis of the truncated cone is the intersection of two crossing lines on the grid. A calibration block for a line laser sensor, characterized by passing through. 前記円錐台孔の孔壁面と碁盤目の所在する表面とが交差する円形口のエッジの直径は、碁盤目上の最小方眼の辺の長さより小さい、ことを特徴とする請求項１に記載のラインレーザーセンサ用のキャリブレーションブロック。 The first aspect of claim 1, wherein the diameter of the edge of the circular opening where the hole wall surface of the truncated cone hole and the surface where the grid is located intersect is smaller than the length of the side of the minimum square on the grid. Calibration block for line laser sensors. 円錐台の母線と底面との夾角は４５°である、ことを特徴とする請求項１に記載のラインレーザーセンサ用のキャリブレーションブロック。 The calibration block for a line laser sensor according to claim 1, wherein the angle between the generatrix of the truncated cone and the bottom surface is 45 °. 前記碁盤目は陰刻（ｄｉａｇｌｙｐｈ）線である、ことを特徴とする請求項１に記載のラインレーザーセンサ用のキャリブレーションブロック。 The calibration block for a line laser sensor according to claim 1, wherein the grid is a diaglyph line. 前記円錐台孔の下方には走査位置決め装置が配置され、前記走査位置決め装置は、走査光を受け取ることができる光電検出器を含み、前記光電検出器の光電プローブは、変形フレーム上に設置され、変形フレームは、１２個の弧形の変形ユニットを含み、変形ユニットは２つの弧形ロッドを含み、２つの弧形ロッドの中央部分は中央ヒンジ軸を介して回転連結され、複数の変形ユニットの弧形ロッドは端部ヒンジ軸を介して閉鎖連結されて閉じた円形の変形フレームになり、円形の変形フレームは円錐台孔の中心軸に垂直であり、変形フレームの円心は円錐台孔の中心軸上に位置され、同一変形ユニットの同一径向上の２つの端部ヒンジ軸はスライド可能にラジアルガイドレール上に配合され、端部ヒンジ軸又は中央ヒンジ軸は、リニアモータにより制御され、ラジアルガイドレールを沿って移動することにより、前記変形フレームの収縮変形を制御し、光電検出器と円錐台孔の中心軸との距離を変更し、光電検出器は変形フレームの内側における１２個の端部ヒンジ軸上に設置される、ことを特徴とする請求項１に記載のラインレーザーセンサ用のキャリブレーションブロック。 A scanning positioning device is arranged below the truncated cone hole, the scanning positioning device includes a photoelectric detector capable of receiving scanning light, and the photoelectric probe of the photoelectric detector is installed on a deformed frame. The deformation frame contains twelve arc-shaped deformation units, the deformation unit contains two arc-shaped rods, and the central portion of the two arc-shaped rods is rotationally connected via a central hinge axis to form a plurality of deformation units. The arcuate rod is closed and connected via the end hinge axis to form a closed circular deformed frame, the circular deformed frame is perpendicular to the central axis of the truncated cone hole, and the center of the deformed frame is the truncated cone hole. Located on the central axis, the two end hinge axes of the same deformation unit with the same diameter improvement are slidably compounded on the radial guide rail, and the end hinge axis or the center hinge axis is controlled by a linear motor and is radial. By moving along the guide rail, the contraction deformation of the deformed frame is controlled, the distance between the photoelectric detector and the central axis of the truncated cone hole is changed, and the photoelectric detector has twelve ends inside the deformed frame. The calibration block for a line laser sensor according to claim 1, wherein the calibration block is installed on a part hinge shaft. ラインレーザーセンサ用のハンドアイキャリブレーション方法であって、
（１）ラインレーザーセンサをロボットアームのエンドエフェクタ上に固定的に取り付け、前記キャリブレーションブロック及び碁盤目をラインレーザーセンサの測定範囲内に取り付ける、センサを設置するステップと、
（２）対応する姿勢下でラインレーザーセンサから放出されたレーザー走査面がキャリブレーションブロック上の碁盤目と交差し、碁盤目の表面上にライトストリップ直線を形成するように、ロボットアームを介してエンドエフェクタの姿勢を調整し、前記ライトストリップ直線は円錐台孔の中心に対して対称である碁盤線の交点を少なくとも２つ通過させることにより、円錐台孔の中心がライトストリップ直線上に位置され、センサはレーザー走査面から反射された三次元点群のセンサ座標系における座標データを収集し、ロボットアームティーチペンダントを介して、前記エンドエフェクターの異なる姿勢における姿勢情報データを読み取って記録し、エンドエフェクタの少なくとも６つの異なる姿勢に対応する三次元点群データを取得する、「姿勢－点群データ集合」を取得するステップと、
（３）異なる姿勢下で対応する三次元点群データに対して直線フィッティングを行い、フィッティング直線方程式を構築し、円錐台孔の中心に対して対称である２つの対称点を取得し、２つの対称点の同一座標軸上で対応する第一座標値をフィッティング直線方程式に代入し、２つの対称点のフィッティング直線で対応するもう一つの座標軸における第二座標値を取得し、２つの対称点の対応する座標値の合計の二分の一が、即ち円錐台孔の中心のセンサ座標系における座標である、円錐台孔の中心のセンサ座標系における座標を計算するステップと、
（４）キャリブレーションブロック及びロボットアームのベースはすべて固定されているため、次の行列方程式からエンドエフェクタ座標系に対するセンサ座標系の並進及び回転行列Rｘ、Tｘを求解する、ロボットに対してハンドアイキャリブレーションを行うステップとを含む、ことを特徴とするラインレーザーセンサ用のハンドアイキャリブレーション方法。
Figure 2022039903000017
 ここで、ｎは、走査及びデータ収集の総回数を表し、ＰＢａｓｅは、円錐台孔の中心のベース座標系における座標を表し、ＰＳｉは、第ｉ回目の走査及びデータ収集時、円錐台孔の中心のセンサ座標系におけるフィッティング座標を表し、
Figure 2022039903000018
は、第ｉ回目の走査及びデータ収集時、ベース座標系に対するエンドエフェクタ座標系の並進及び回転行列を表し、Rｘ、Tｘは、エンドエフェクタ座標系に対するセンサ座標系の並進及び回転行列、即ち求解する必要のあるハンドアイ関係を表す。 A hand-eye calibration method for line laser sensors,
(1) A step of installing the sensor, in which the line laser sensor is fixedly mounted on the end effector of the robot arm, and the calibration block and the grid are mounted within the measurement range of the line laser sensor.
(2) Through the robot arm so that the laser scanning surface emitted from the line laser sensor under the corresponding posture intersects the grid on the calibration block and forms a light strip straight line on the surface of the grid. By adjusting the posture of the end effector and passing at least two intersections of the grid lines whose light strip straight line is symmetrical with respect to the center of the conical base hole, the center of the conical base hole is positioned on the light strip straight line. , The sensor collects the coordinate data in the sensor coordinate system of the three-dimensional point group reflected from the laser scanning surface, reads and records the posture information data in different postures of the end effector via the robot arm teach pendant, and ends. A step to acquire a "posture-point group data set" that acquires 3D point group data corresponding to at least 6 different postures of an effector, and
(3) Perform straight line fitting on the corresponding three-dimensional point group data under different postures, construct a fitting straight line equation, obtain two points of symmetry that are symmetric with respect to the center of the cone hole, and obtain two points of symmetry. Substitute the corresponding first coordinate value on the same coordinate axis of the symmetry point into the fitting straight line equation, obtain the second coordinate value on the other coordinate axis corresponding to the fitting straight line of the two symmetry points, and correspond the two symmetry points. The step of calculating the coordinates in the sensor coordinate system of the center of the cone hole, that is, the coordinates in the sensor coordinate system of the center of the cone hole, that is, one half of the total coordinate values to be generated.
(4) Since the calibration block and the base of the robot arm are all fixed, the translation of the sensor coordinate system with respect to the end effector coordinate system and the rotation matrices R x and T x are obtained from the following matrix equation for the robot. A hand-eye calibration method for a line laser sensor, comprising the steps of performing hand-eye calibration.
Figure 2022039903000017
 Here, n represents the total number of scans and data collections, P Base represents the coordinates in the base coordinate system at the center of the truncated cone hole, and P Si represents the truncated cone during the i-th scan and data collection. Represents the fitting coordinates in the sensor coordinate system at the center of the hole.
Figure 2022039903000018
Represents the translation and rotation matrix of the end effector coordinate system with respect to the base coordinate system during the i-th scan and data collection, and R x and T x are the translation and rotation matrix of the sensor coordinate system with respect to the end effector coordinate system. Represents a hand-eye relationship that needs to be solved. 前記２つの対称点は、ライトストリップ直線毎に対応する三次元点群データの中で座標の突然な変化を伴う２つの点である、ことを特徴とする請求項６に記載のラインレーザーセンサ用のハンドアイキャリブレーション方法。 The line laser sensor according to claim 6, wherein the two points of symmetry are two points accompanied by a sudden change in coordinates in the three-dimensional point cloud data corresponding to each light strip straight line. Hand eye calibration method. レーザーセンサを駆動する時、円錐台孔の中心に対して対称である碁盤目上の２つの縦横の碁盤線の交点はすべて前記ライトストリップ直線上に位置される、ことを特徴とする請求項６に記載のラインレーザーセンサ用のハンドアイキャリブレーション方法。 6 Hand-eye calibration method for line laser sensors as described in. 前記２つの対称点は、円錐台孔の中心に対して対称である２つの碁盤目線とライトストリップ直線との交点である、ことを特徴とする請求項６に記載のラインレーザーセンサ用のハンドアイキャリブレーション方法。 The hand eye for a line laser sensor according to claim 6, wherein the two points of symmetry are intersections of two grid lines and a light strip straight line that are symmetric with respect to the center of the conical hole. Calibration method. レーザーセンサを駆動する時、走査光の一部が円錐台孔の内部に入射され、走査光がその中の２つのヒンジ軸上の光電検出器により検出されるように、リニアモータを介して変形フレームの変形を制御し、リニアモータの伸縮量及び光を検出した光電検出器の所在するヒンジ軸の位置により走査光の入射角及び方向を計算でき、碁盤目上の走査光の走査位置を知ることができる、ことを特徴とする請求項６に記載のラインレーザーセンサ用のハンドアイキャリブレーション方法。

When driving a laser sensor, a portion of the scanning light is incident inside the conical hole and deformed via a linear motor so that the scanning light is detected by photoelectric detectors on the two hinge axes in it. The incident angle and direction of the scanning light can be calculated from the position of the hinge axis where the photoelectric detector that controls the deformation of the frame and detects the expansion and contraction of the linear motor and the light is located, and the scanning position of the scanning light on the grid is known. The hand-eye calibration method for a line laser sensor according to claim 6, wherein the hand-eye calibration method can be performed.
JP2021000997A 2020-08-28 2021-01-06 Calibration block and hand eye calibration method for line laser sensors Active JP7075145B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010881809.5A CN111735390B (en) 2020-08-28 2020-08-28 Calibration block for line laser sensor and hand-eye calibration method
CN202010881809.5 2020-08-28

Publications (2)

Publication Number Publication Date
JP2022039903A true JP2022039903A (en) 2022-03-10
JP7075145B2 JP7075145B2 (en) 2022-05-25

Family

ID=72658914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021000997A Active JP7075145B2 (en) 2020-08-28 2021-01-06 Calibration block and hand eye calibration method for line laser sensors

Country Status (2)

Country Link
JP (1) JP7075145B2 (en)
CN (1) CN111735390B (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114689106A (en) * 2022-03-31 2022-07-01 上海擎朗智能科技有限公司 Sensor calibration method, robot and computer readable storage medium
CN114782513A (en) * 2022-04-22 2022-07-22 成都飞机工业（集团）有限责任公司 Plane-based point laser sensor installation pose calibration method
CN115046436A (en) * 2022-06-15 2022-09-13 重庆大学 Fragment distribution planning and paving control method suitable for complex-configuration fragment array design
CN115241110A (en) * 2022-08-15 2022-10-25 魅杰光电科技(上海)有限公司 Wafer motion control method and wafer motion control system
CN115249267A (en) * 2022-09-22 2022-10-28 海克斯康制造智能技术(青岛)有限公司 Automatic detection method and device based on turntable and robot position and attitude calculation
CN115615355A (en) * 2022-10-13 2023-01-17 中国科学院声学研究所 Data-based contour measurement compensation method in line laser liquid medium
CN116117818A (en) * 2023-02-28 2023-05-16 哈尔滨工业大学 Robot sensor hand-eye calibration method and system
CN116359891A (en) * 2023-06-01 2023-06-30 季华实验室 Multi-sensor rapid calibration method and system
CN117140535A (en) * 2023-10-27 2023-12-01 南湖实验室 Robot kinematics parameter calibration method and system based on single measurement
CN117576227A (en) * 2024-01-16 2024-02-20 中铁科工集团有限公司 Hand-eye calibration method, device and storage medium

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113334383B (en) * 2021-06-22 2022-05-31 华中科技大学 Robot tail end tool offset calibration method based on line laser measuring instrument
CN115014257B (en) * 2022-06-30 2023-03-14 南京航空航天大学 Calibration method of two-dimensional line laser sensor
CN115371564B (en) * 2022-10-24 2023-03-07 南京航空航天大学 Method and system for calibrating relative pose of linear laser sensor and robot flange plate
CN116117810B (en) * 2023-01-10 2023-12-29 群滨智造科技(苏州)有限公司 Method and device for secondary calibration after data conversion among different robots
CN116100564B (en) * 2023-04-12 2023-07-25 深圳广成创新技术有限公司 High-precision calibration method and device for calibrating manipulator
CN116222385B (en) * 2023-05-08 2023-07-14 东莞市兆丰精密仪器有限公司 Laser center position calibration method and measurement system
CN117036510A (en) * 2023-09-18 2023-11-10 合肥埃科光电科技股份有限公司 Calibration method, system and equipment for line spectrum confocal sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125633A (en) * 2005-11-02 2007-05-24 Pulstec Industrial Co Ltd Positioning error correcting device of multi-degree of freedom robot, positioning error correction method thereof, and positioning error correcting calibration tool
JP2014018932A (en) * 2012-07-20 2014-02-03 Kobe Steel Ltd Calibration method for robot with optical sensor
JP2017003537A (en) * 2015-06-16 2017-01-05 大同特殊鋼株式会社 Three dimensional shape measurement method
CN110161485A (en) * 2019-06-13 2019-08-23 同济大学 A kind of outer ginseng caliberating device and scaling method of laser radar and vision camera

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175413B1 (en) * 1997-08-28 2001-01-16 Proteus Corporation Laser calibration of robotics systems
JP2011220794A (en) * 2010-04-08 2011-11-04 Seiko Epson Corp Calibration jig and imaging apparatus calibration method using the same
CN107253190B (en) * 2017-01-23 2020-09-01 梅卡曼德（北京）机器人科技有限公司 High-precision robot hand-eye camera automatic calibration device and use method thereof
CN111156925B (en) * 2019-12-19 2021-12-28 南京理工大学 Three-dimensional measurement method for large component based on line structured light and industrial robot
CN111366912B (en) * 2020-03-10 2021-03-16 上海西井信息科技有限公司 Laser sensor and camera calibration method, system, device and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125633A (en) * 2005-11-02 2007-05-24 Pulstec Industrial Co Ltd Positioning error correcting device of multi-degree of freedom robot, positioning error correction method thereof, and positioning error correcting calibration tool
JP2014018932A (en) * 2012-07-20 2014-02-03 Kobe Steel Ltd Calibration method for robot with optical sensor
JP2017003537A (en) * 2015-06-16 2017-01-05 大同特殊鋼株式会社 Three dimensional shape measurement method
CN110161485A (en) * 2019-06-13 2019-08-23 同济大学 A kind of outer ginseng caliberating device and scaling method of laser radar and vision camera

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114689106A (en) * 2022-03-31 2022-07-01 上海擎朗智能科技有限公司 Sensor calibration method, robot and computer readable storage medium
CN114689106B (en) * 2022-03-31 2024-03-08 上海擎朗智能科技有限公司 Sensor calibration method, robot and computer readable storage medium
CN114782513B (en) * 2022-04-22 2023-11-10 成都飞机工业（集团）有限责任公司 Point laser sensor mounting pose calibration method based on plane
CN114782513A (en) * 2022-04-22 2022-07-22 成都飞机工业（集团）有限责任公司 Plane-based point laser sensor installation pose calibration method
CN115046436A (en) * 2022-06-15 2022-09-13 重庆大学 Fragment distribution planning and paving control method suitable for complex-configuration fragment array design
CN115046436B (en) * 2022-06-15 2024-03-12 重庆大学 Fragment distribution planning and paving control method suitable for complex-configuration fragment array design
CN115241110A (en) * 2022-08-15 2022-10-25 魅杰光电科技(上海)有限公司 Wafer motion control method and wafer motion control system
CN115241110B (en) * 2022-08-15 2023-12-08 魅杰光电科技(上海)有限公司 Wafer motion control method and wafer motion control system
CN115249267A (en) * 2022-09-22 2022-10-28 海克斯康制造智能技术(青岛)有限公司 Automatic detection method and device based on turntable and robot position and attitude calculation
CN115615355B (en) * 2022-10-13 2023-05-16 中国科学院声学研究所 Contour measurement compensation method in line laser liquid medium based on data
CN115615355A (en) * 2022-10-13 2023-01-17 中国科学院声学研究所 Data-based contour measurement compensation method in line laser liquid medium
CN116117818A (en) * 2023-02-28 2023-05-16 哈尔滨工业大学 Robot sensor hand-eye calibration method and system
CN116359891B (en) * 2023-06-01 2023-09-12 季华实验室 Multi-sensor rapid calibration method and system
CN116359891A (en) * 2023-06-01 2023-06-30 季华实验室 Multi-sensor rapid calibration method and system
CN117140535A (en) * 2023-10-27 2023-12-01 南湖实验室 Robot kinematics parameter calibration method and system based on single measurement
CN117140535B (en) * 2023-10-27 2024-02-02 南湖实验室 Robot kinematics parameter calibration method and system based on single measurement
CN117576227A (en) * 2024-01-16 2024-02-20 中铁科工集团有限公司 Hand-eye calibration method, device and storage medium
CN117576227B (en) * 2024-01-16 2024-04-19 中铁科工集团有限公司 Hand-eye calibration method, device and storage medium

Also Published As

Publication number Publication date
JP7075145B2 (en) 2022-05-25
CN111735390A (en) 2020-10-02
CN111735390B (en) 2020-12-11

Similar Documents

Publication Publication Date Title
JP7075145B2 (en) Calibration block and hand eye calibration method for line laser sensors
Zexiao et al. Complete 3D measurement in reverse engineering using a multi-probe system
CN103697824B (en) For the system calibrating method of the gauge head of coordinate measuring machine
CN107121093A (en) A kind of gear measurement device and measuring method based on active vision
JP3511450B2 (en) Position calibration method for optical measuring device
CN110044293B (en) Three-dimensional reconstruction system and three-dimensional reconstruction method
CN111982019B (en) High-precision blade section contour detection method based on line-structured light sensor
CN106903687A (en) Industrial robot calibration system and method based on laser ranging
Brosed et al. Laser triangulation sensor and six axes anthropomorphic robot manipulator modelling for the measurement of complex geometry products
CN109870125A (en) A kind of the hole axle coaxality measuring mechanism and method of hollow shaft
CN107339935B (en) Target space intersection measuring method for full-view scanning measuring system
CN102654387A (en) Online industrial robot calibration device based on spatial curved surface restraint
JP7258869B2 (en) Device for optically measuring the profile of external pipe threads
CN112082477A (en) Universal tool microscope three-dimensional measuring device and method based on structured light
JP2021193400A (en) Method for measuring artefact
CN110645911A (en) Device and method for obtaining complete outer surface 3D contour through rotary scanning
CN107255463A (en) Positioning measuring device and locating measurement method
CN111256591A (en) External parameter calibration device and method for structured light sensor
Zou et al. Extrinsic calibration method for 3D scanning system with four coplanar laser profilers
Zexiao et al. A novel approach for the field calibration of line structured-light sensors
CN115289997B (en) Binocular camera three-dimensional contour scanner and application method thereof
CN114018174B (en) Complex curved surface contour measuring system
CN105758339A (en) Optical axis and object plane verticality detection method based on geometric error correction technology
CN114279303B (en) Device and method for detecting verticality of double-sided micro-cylindrical lens array
Clark et al. Measuring range using a triangulation sensor with variable geometry

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220506

R150 Certificate of patent or registration of utility model

Ref document number: 7075145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150