CN110514149B - 非接触式曲面法线测量装置、系统和方法及电子设备 - Google Patents
非接触式曲面法线测量装置、系统和方法及电子设备 Download PDFInfo
- Publication number
- CN110514149B CN110514149B CN201910953069.9A CN201910953069A CN110514149B CN 110514149 B CN110514149 B CN 110514149B CN 201910953069 A CN201910953069 A CN 201910953069A CN 110514149 B CN110514149 B CN 110514149B
- Authority
- CN
- China
- Prior art keywords
- laser
- curved surface
- camera
- laser line
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000005259 measurement Methods 0.000 claims abstract description 49
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000691 measurement method Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000005553 drilling Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了非接触式曲面法线测量装置、系统和方法及电子设备，包括：机械固定的摄像头、反射模块和激光器；其中，激光器用于向反射模块发出激光线；反射模块用于将接收到的激光线进行反射处理，生成二次激光线，并将二次激光线传输至与机械臂末端的主轴对应的待测曲面；以及，接收待测曲面对二次激光线反射后生成的三次激光线，对三次激光线进行反射处理，并将反射后的三次激光线传输至摄像头；摄像头用于采集视野范围内反射后的三次激光线，得到激光图像，并将激光图像发送至图像处理器，以对待测曲面的法线进行测量，从而实现非接触式测量曲面的法线，不会损伤待测物体表面，且，可测量曲率范围较大，测量精度较高。
Description
技术领域
本发明涉及航空制孔技术领域，尤其是涉及非接触式曲面法线测量装置、系统和方法及电子设备。
背景技术
在航空领域，制孔环节尤为重要，飞机机身铆接时，需要先制孔，再铆接。在采用机器人制孔过程中，孔的垂直度主要取决于机器人末端主轴轴线和制孔点法线的重合程度，由于蒙皮多是曲面的，因此，在机器人制孔前，需调整机器人末端主轴轴线与制孔点的法线相重合，对机器人末端主轴进行调整，由于机器人的绝对定位精度有限，因此机器人末端根据数模对主轴轴线调整后仍和曲面法线有较小夹角(通常3°以内)，需利用其他方法对机器人末端主轴二次调姿，使其与曲面法线最大程度地相重合。
因此，在机器人末端主轴二次调姿之前，需要测量曲面法线与机器人末端主轴轴线的夹角。现有的曲面法线测量方法，不适用于机器人在线测量，且，不能实时测量，造成曲面的法线测量精度较低。
发明内容
有鉴于此，本发明的目的在于提供非接触式曲面法线测量装置、系统和方法及电子设备，以缓解现有的曲面法线测量方法不适用于机器人在线测量和实时测量，从而造成曲面的法线测量精度较低的技术问题。
第一方面，本发明实施例提供了一种非接触式曲面法线测量装置，所述装置设置在机器人的机械臂末端，所述装置包括：摄像头、反射模块和激光器；
所述摄像头、所述反射模块和所述激光器机械固定；其中，所述摄像头和所述反射模块依次排列，且，所述摄像头的轴线与所述激光器的轴线相垂直，所述激光器的轴线还与机械臂末端的主轴的轴线相平行，所述反射模块设置在与所述激光器和所述机械臂末端的主轴对应的位置；
所述激光器，用于向所述反射模块发出激光线；
所述反射模块，用于将接收到的所述激光线进行反射处理，生成二次激光线，并将所述二次激光线传输至与所述机械臂末端的主轴对应的待测曲面；以及，接收所述待测曲面对所述二次激光线反射后生成的三次激光线，对所述三次激光线进行反射处理，并将反射后的所述三次激光线传输至所述摄像头；
所述摄像头，用于采集视野范围内反射后的所述三次激光线，得到激光图像，并将所述激光图像发送至图像处理器，以对所述待测曲面的法线进行测量。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述反射模块包括半透半反镜和反射镜；
所述摄像头、所述半透半反镜和所述反射镜依次排列，且，所述半透半反镜的法线与所述摄像头的轴线成预设角度，所述反射镜的法线与所述摄像头的轴线成预设角度；
所述半透半反镜，用于将所述激光器发出的所述激光线反射传输至所述反射镜，以使所述反射镜再次对所述激光线进行反射得到所述二次激光线，并将所述二次激光线反射至所述待测曲面；以及，接收所述待测曲面对所述二次激光线反射后生成的所述三次激光线，对所述三次激光线进行反射处理后，通过所述半透半反镜将反射后的所述三次激光线传输至所述摄像头。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述预设角度为45°。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述摄像头包括相机和镜头，所述相机和所述镜头通过相应接口机械连接；
所述摄像头，用于对所述镜头的视野范围内的反射后的所述三次激光线进行采集，并在所述相机的靶面上成像，得到所述激光图像。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述装置还包括PLC模块，所述摄像头与所述PLC模块通信连接；
所述PLC模块，用于将所述激光图像发送至所述图像处理器，以使所述图像处理器根据所述激光图像得到所述待测曲面的法线。
第二方面，本发明实施例还提供一种非接触式曲面法线测量系统，所述系统包括第一方面所述的非接触式曲面法线测量装置，还包括图像处理器；其中，所述图像处理器与所述非接触式曲面法线测量装置通信连接。
第三方面，本发明实施例还提供一种非接触式曲面法线测量方法，所述方法应用于第一方面所述的非接触式曲面法线测量装置，所述方法包括：
所述激光器向所述反射模块发出激光线；
所述反射模块将接收到的所述激光线进行反射处理，生成二次激光线，并将所述二次激光线传输至与所述机械臂末端的主轴对应的待测曲面；以及，接收所述待测曲面对所述二次激光线反射后生成的三次激光线，对所述三次激光线进行反射处理，并将反射后的所述三次激光线传输至所述摄像头；
所述摄像头采集视野范围内反射后的所述三次激光线，得到激光图像，并将所述激光图像发送至图像处理器，以对所述待测曲面的法线进行测量。
第四方面，本发明实施例还提供一种机器人，所述机器人配置有上述第二方面所述的非接触式曲面法线测量系统。
第五方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第三方面所述的非接触式曲面法线测量方法的步骤。
第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第三方面所述的非接触式曲面法线测量方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供了非接触式曲面法线测量装置、系统和方法及电子设备，其中，非接触式曲面法线测量装置设置在机器人的机械臂末端，包括：摄像头、反射模块和激光器；摄像头、反射模块和激光器机械固定，摄像头和反射模块依次排列，且，摄像头的轴线与激光器的轴线相垂直，激光器的轴线还与机械臂末端的主轴的轴线相平行，反射模块设置在与激光器和机械臂末端的主轴对应的位置；激光器用于向反射模块发出激光线；反射模块用于将接收到的激光线进行反射处理，生成二次激光线，并将二次激光线传输至与机械臂末端的主轴对应的待测曲面；以及，接收待测曲面对二次激光线反射后生成的三次激光线，对三次激光线进行反射处理，并将反射后的三次激光线传输至摄像头；摄像头用于采集视野范围内反射后的三次激光线，得到激光图像，并将激光图像发送至图像处理器，以对待测曲面的法线进行测量，从而实现非接触式测量曲面的法线。此外，本发明实施例提供的非接触式曲面法线测量装置可以适用于机器人在线实时测量，不会损伤待测物体表面，且，可测量曲率范围较大，测量精度较高。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种非接触式曲面法线测量装置示意图；
图2为本发明实施例提供的另一种非接触式曲面法线测量装置示意图；
图3为本发明实施例提供的另一种非接触式曲面法线测量装置示意图；
图4为本发明实施例提供的一种激光点的像素坐标系示意图；
图5为本发明实施例提供的另一种激光点的像素坐标系示意图；
图6为本发明实施例提供的另一种非接触式曲面法线测量装置示意图；
图7为本发明实施例提供的另一种非接触式曲面法线测量装置示意图；
图8为本发明实施例提供的另一种激光点的像素坐标系示意图；
图9为本发明实施例提供的另一种激光点的像素坐标系示意图；
图10为本发明实施例提供的一种非接触式曲面法线测量方法流程图。
图标：
10-摄像头；11-相机；12-镜头；20-反射模块；21-半透半反镜；22-反射镜；30-激光器；40-机械臂末端的主轴。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在航空领域，制孔环节尤为重要，飞机机身铆接时，需要先制孔，再铆接。在采用机器人制孔过程中，孔的垂直度主要取决于机器人末端主轴轴线和制孔点法线的重合程度，由于蒙皮多是曲面的，因此，在机器人制孔前，需调整机器人末端主轴轴线与制孔点的法线相重合，对机器人末端主轴进行调整，由于机器人的绝对定位精度有限，因此机器人末端根据数模对主轴轴线调整后仍和曲面法线有较小夹角(通常3°以内)，需利用其他方法对机器人末端主轴二次调姿，使其与曲面法线最大程度地相重合。因此，在机器人末端主轴二次调姿之前，需要测量曲面法线与机器人末端主轴轴线的夹角。
对于曲面的法线测量，近年来国内外已有大量的研究，主要包括向量叉积法、二次曲面拟合法、NURBS(Non-Uniform Rational B-Splines，非均匀有理B样条)曲线法和三角网格法等；其中，向量叉积法计算简单，但是精度较低，且不适用于机器人在线测量；二次曲面拟合法对二次曲面精度很高，但对一般的曲面则具有一定的局限性；NURBS曲线法和三角网格法均需要测量大量的点才能达到较高的精度，不适合实时的精确测量。
因此，针对现有的曲面法线测量方法不适用于机器人在线测量，且，不能实时测量，造成曲面的法线测量精度较低的技术问题，本发明实施例提出了一种非接触式曲面法线测量装置、系统和方法及电子设备，可以有效缓解上述技术问题。
为便于对本实施例进行理解，下面首先对本发明实施例提供的一种非接触式曲面法线测量装置进行详细介绍。
实施例一：
本发明实施例提供了一种非接触式曲面法线测量装置，该非接触式曲面法线测量装置设置在机器人的机械臂末端上，可以测量待测物体的表面的法线。具体地，本发明实施例提供的非接触式曲面法线测量装置包括：摄像头、反射模块和激光器。
图1为本发明实施例提供的一种非接触式曲面法线测量装置示意图，参照图1，该非接触式曲面法线测量装置包括摄像头10、反射模块20和激光器30；摄像头、反射模块和激光器机械固定；其中，摄像头和反射模块依次排列，且，摄像头的轴线与激光器的轴线相垂直，激光器的轴线还与机械臂末端的主轴40的轴线相平行，反射模块设置在与激光器和机械臂末端的主轴对应的位置。
在实际和使用中，机器人在制孔前，首先将机械臂末端的主轴的轴线延长线上的TCP(Tool Central Point，工具中心点)点移至待测曲面的制孔点，这里，制孔点即为机械臂末端的主轴的轴线延长线与待测曲面的交点。然后，激光器向反射模块发出激光线；以使反射模块将接收到的激光线进行反射处理，生成二次激光线，并将二次激光线传输至与机械臂末端的主轴对应的待测曲面；以及，接收待测曲面对二次激光线反射后生成的三次激光线，对三次激光线进行反射处理，并将反射后的三次激光线传输至摄像头，最后，摄像头采集视野范围内反射后的三次激光线，得到激光图像，并将激光图像发送至图像处理器，以对待测曲面的法线进行测量。
本发明实施例提供了一种非接触式曲面法线测量装置，该装置设置在机器人的机械臂末端，包括：摄像头、反射模块和激光器；摄像头、反射模块和激光器机械固定，摄像头和反射模块依次排列，且，摄像头的轴线与激光器的轴线相垂直，激光器的轴线还与机械臂末端的主轴的轴线相平行，反射模块设置在与激光器和机械臂末端的主轴对应的位置；激光器用于向反射模块发出激光线；反射模块用于将接收到的激光线进行反射处理，生成二次激光线，并将二次激光线传输至与机械臂末端的主轴对应的待测曲面；以及，接收待测曲面对二次激光线反射后生成的三次激光线，对三次激光线进行反射处理，并将反射后的三次激光线传输至摄像头；摄像头用于采集视野范围内反射后的三次激光线，得到激光图像，并将激光图像发送至图像处理器，以对待测曲面的法线进行测量，从而实现非接触式测量曲面的法线，可以适用于机器人在线实时测量，不会损伤待测物体表面，且，具有较大的可测量曲率范围以及较高的测量精度。
在实际应用中，上述反射模块包括半透半反镜21和反射镜22；其中，摄像头、半透半反镜和反射镜依次排列，且，半透半反镜的法线与摄像头的轴线成预设角度，反射镜的法线与摄像头的轴线成预设角度；半透半反镜用于将激光器发出的激光线反射传输至反射镜，以使反射镜再次对激光线进行反射得到二次激光线，并将二次激光线反射至待测曲面；以及，接收待测曲面对二次激光线反射后生成的三次激光线，对三次激光线进行反射处理后，通过半透半反镜将反射后的三次激光线传输至摄像头。
具体地，图2示出了本发明实施例提供的另一种非接触式曲面法线测量装置示意图。参照图2，半透半反镜设置在激光器的正下方，且，半透半反镜的中心与摄像头的轴线和激光器的轴线的交点重合，半透半反镜的法线与摄像头的轴线成预设角度，这里，预设角度为45°，从而对于激光器发出的激光线，一部分激光线不改变方向，在半透半反镜上发生透射，另一部分激光线则在半透半反镜上发生反射，由于半透半反镜的法线与摄像头的轴线的夹角为45°，则在半透半反镜上发生反射的部分激光线发射至反射镜。这里，反射镜设置在机械臂末端的主轴与待测曲面之间，且，反射镜的中心与机械臂末端的主轴的轴线和摄像头的轴线的交点重合，反射镜的法线与摄像头的轴线成预设角度，这里，预设角度也为45°，此时，反射镜再次对激光线进行反射得到二次激光线，由于反射镜的法线与摄像头的轴线的夹角为45°，因此，二次激光线可以反射至待测曲面，且，反射至待测曲面上与机械臂末端的主轴的轴线延长线重合的制孔点处。
此外，待测曲面对二次激光线进行反射处理，得到三次反射曲线，如图3所示，此时，上述反射镜接收待测曲面对二次激光线反射后生成的三次激光线，并对三次激光线进行反射处理后，最后通过半透半反镜将反射后的三次激光线传输至摄像头。因此，本发明实施例中摄像头、反射模块和激光器机械固定，可以实现在摄像头和激光器在不能重合的情况下利用反射模块的反射和投射原理等效激光线的光路。
在实际应用中，上述经过反射镜反射后的三次激光线在半透半反镜上一部分发生透射进入激光器中，另一部分则经过半透半反镜反射进入摄像头的视野范围内，以使摄像头采集反射后的三次激光线，得到激光图像，并将该激光图像发送至图像处理器，以对待测曲面的法线进行测量，从而实现对曲面法线的非接触式测量，避免了损伤待测物体表面，且，具有较大的可测量曲率范围以及较高的测量精度。
需要说明的是，本发明实施例中，上述非接触式曲面法线测量装置中反射镜还连接有位置伺服驱动器，由于反射镜设置在机械臂末端的主轴与待测曲面之间，当测量完毕后，即测得待测曲面的法线以及确定制孔点后，反射镜被上述位置伺服驱动器移走，此时，机械臂末端的主轴开始进行制孔；以及，当制孔完成后，并对下一个制孔点进行测量时，上述反射镜被上述位置伺服驱动器移回，且保证反射镜的法线与摄像头的轴线成预设角度即45°，从而对下一个制孔点进行测量。
进一步的，上述摄像头包括相机11和镜头12，且，相机和镜头通过相应接口机械连接；摄像头还用于对镜头的视野范围内的反射后的三次激光线进行采集，并在相机上成像，得到激光图像。
具体地，如图2所示，上述摄像头包括相机和镜头，其中，相机和镜头通过相应接口机械连接，此时，对于进入到镜头视野范围内的反射后的三次激光线，在相机靶面上形成为一个像素大小的激光亮点，从而摄像头对镜头的视野范围内的反射后的三次激光线进行采集，得到激光图像，并将该激光图像发送至图像处理器进行处理，从而测得待测曲面的法线。
为了实现摄像头将上述激光图像发送至图像处理器，本发明实施例提供的一种非接触式曲面法线测量装置还包括PLC(Programmable Logic Controller，可编程逻辑控制器)模块(未示出)，上述摄像头与该PLC模块通信连接，PLC模块用于将激光图像发送至图像处理器，以使图像处理器根据激光图像得到待测曲面的法线。
具体地，上述PLC模块将摄像头采集的激光图像发送至图像处理器，以使图像处理器根据该激光图像得到待测曲面的法线。具体地，图像处理器提取激光图像中激光点的中心像素坐标值(x0，y0)，如图4所示，并将该中心像素坐标值作为非接触式曲面法线测量装置标定的激光点坐标理论值，如图5所示，以该中心像素坐标值(x0，y0)为原点重新建立标定像素坐标系。
进一步的，上述非接触式曲面法线测量装置还设置有激光跟踪仪，当机器人将机械臂末端的主轴的轴线延长线上的TCP点移至待测曲面的制孔点时，通过上述激光跟踪仪对激光器发出的激光线进行标定，激光跟踪仪控制机械臂末端的主轴的轴线调整至与待测曲面相垂直，此时打开激光器，经过上述的反射模块和摄像头，得到激光图像中激光点的中心像素坐标值(x0，y0)，并将该中心像素坐标值(x0，y0)作为非接触式曲面法线测量装置标定的激光点坐标理论值，并将(x0，y0)标定为原点。
在实际应用中，定义待测曲面的法线方向为z轴，待测曲面的水平切线方向为x轴，待测曲面的竖直切线方向为y轴(未示出)，因此，当机械臂末端的主轴的轴线与待测曲面的法线不重合，即存在夹角θ时，此时，可以将该夹角θ分解为两个参数，即机械臂末端的主轴的轴线在xz平面上的投影与z轴的夹角θx，以及机械臂末端的主轴的轴线在yz平面上的投影与z轴的夹角θy。因此，根据相机成像原理，当机械臂末端的主轴的轴线与待测曲面的法线存在夹角θ时，激光图像中激光点的位置相对于机械臂末端的主轴的轴线与待测曲面的法线重合时的激光点也发生改变，即激光点在激光图像中的位置相对于激光点坐标理论值发生偏移，定位机械臂末端的主轴的轴线与待测曲面的法线存在夹角θ时对应的激光点的偏移方向为α，该激光点在标定像素坐标系的偏移量为Δd，以及该偏移量在标定像素坐标系中分解为(Δdx，Δdy)，其中，Δdx为偏移量在标定像素坐标系的x轴的分解量，Δdy为偏移量在标定像素坐标系的y轴的分解量，且，定义上述偏移量的分解量(Δdx，Δdy)分别与机械臂末端的主轴的轴线在xz平面和yz平面的投影与z轴夹角的正切值(tanθx，tanθy)成正比，且该比例系数为k，因此，我们可以通过测量激光点在激光图像中的偏移量，得到机械臂末端的主轴的轴线在xz平面和yz平面的投影与z轴的夹角θx和θy，并对θx和θy按照空间矢量求和，从而得到机械臂末端的主轴的轴线与待测曲面法线的夹角。
为了便于理解，本发明实施例以xz平面为例进行说明。具体地，如图2所示，定义待测曲面的法线方向为z轴，待测曲面的水平切线方向为x轴，待测曲面的竖直切线方向为y轴(未示出)，此时，当制孔点不变的情况下，移动机器人，并控制机械臂末端的主轴在xz平面内绕y轴旋转角度θx，即使得机械臂末端的主轴的轴线在xz平面上的投影与z轴的夹角为θx，这里θx可能为正值也可能为负值，当θx为正值时，如图6所示，当θx为负值时，如图7所示，由于具有对称性，因此，标定其中一种情况即可，本发明实施例以θx为正值进行标定为例说明。
具体地，如图6所示，由于机械臂末端的主轴在xz平面上与z轴的夹角为θx，此时，激光器发出的激光线经过半透半反镜反射传输至反射镜，以使反射镜再次对该激光线进行反射得到二次激光线，反射镜将二次激光线反射至待测曲面；以及，接收待测曲面对二次激光线反射后生成的三次激光线，并对三次激光线进行反射处理后，通过半透半反镜将反射后的三次激光线传输至摄像头，以使摄像头对视野范围内的反射后的三次激光线进行采集，得到激光图像，此时，该激光图像中激光点的位置在某一方向上发生偏移如图8所示，记录此时的激光点的像素坐标值为(x1，y1)，并将该激光点设置为标定点，则标定点的像素坐标值即为(x1，y1)。
此外，记录标定点(x1，y1)所在的象限为b，当标定点(x1，y1)在其相对象限时，例如，如果b是第一象限，则其相对象限为第三象限；如果b是第二象限，则其相对象限为第四象限，由于图6中θx为正值，因此，当标定点(x1，y1)在其相对象限时，θx为负值。
此时，如图8所示，我们可以根据公式(1)计算标定点的偏移方向：
其中，α为标定点的偏移方向，(x0，y0)为标定的激光点坐标理论值，(x1，y1)为标定点的像素坐标值。
进一步的，在图8中，我们还可以根据公式(2)计算标定点的偏移量在在标定像素坐标系的x轴的分解量：
其中，Δdx为标定点的偏移量在标定像素坐标系的x轴的分解量，(x0，y0)为标定的激光点坐标理论值，(x1，y1)为标定点的像素坐标值。
此时，根据相机成像原理及几何关系，Δdx与tanθx为成正比，因此，根据公式(3)，我们可以计算比例系数k：
其中，k为比例系数，Δdx为标定点的偏移量在标定像素坐标系的x轴的分解量，θx为机械臂末端的主轴的轴线在xz平面的投影与z轴的夹角。
在实际应用中，根据标定的激光点坐标理论值(x0，y0)和比例系数k以及机械臂末端的主轴的轴线与待测曲面的法线存在夹角θ时激光点的偏移方向α，当机械臂末端发生移动时，即此时机械臂末端的主轴的轴线与待测曲面的法线夹角发生改变，激光器发出的激光线经过反射模块和待测曲面反射处理后，并经摄像头采集得到激光图像，此时，在激光图像中，激光点的偏移方向为β，像素坐标值为(x，y)，如图9所示，我们可以根据公式(4)计算此时激光点的偏移量：
其中，Δd为此时激光点的偏移量，(x0，y0)为标定的激光点坐标理论值，(x，y)为此时激光点的像素坐标值。
此外，我们还可以根据公式(5)计算此时激光点的偏移方向：
其中，β为此时激光点的偏移方向，(x0，y0)为标定的激光点坐标理论值，(x，y)为此时激光点的像素坐标值。
进一步的，定义此时机械臂末端的主轴在xz平面上与z轴的夹角为θ1，则可以根据公式(6)计算此时夹角θ1相对于标定点的偏移量：
Δdx1＝Δd·cos(β-α) (6)
其中，Δdx1为此时夹角θ1相对于标定点的偏移量，Δd为此时激光点的偏移量，β为此时激光点的偏移方向，α为标定点的偏移方向。
进一步的，我们还可以根据公式(7)计算此时机械臂末端的主轴在xz平面上与z轴的夹角为θ1：
其中，θ1为此时机械臂末端的主轴在xz平面上与z轴的夹角，Δdx1为此时夹角θ1相对于标定点的偏移量，k为比例系数，β为此时激光点的偏移方向，α为标定点的偏移方向，(x0，y0)为标定的激光点坐标理论值，(x，y)为此时激光点的像素坐标值。
进一步的，我们还可以通过(xcos(β-α),ycos(β-α))所在象限判断θ1的正负，即判断此时机械臂末端的主轴在xz平面上与z轴的夹角的正负。
实际应用中，在上述实施例的基础上，我们还可以计算此时机械臂末端的主轴在yz平面上与z轴的夹角θ2，具体地，我们可以根据公式(8)计算此时激光点相对于夹角θ2的偏移量：
Δdy1＝Δd·sin(β-α) (8)
其中，Δdy1为此时夹角θ2相对于标定点的偏移量，Δd为此时激光点的偏移量，α为标定点的偏移方向，β为此时激光点的偏移方向。
进一步的，我们还可以根据公式(9)计算此时机械臂末端的主轴在yz平面上与z轴的夹角为θ2：
其中，θ2为此时机械臂末端的主轴在yz平面上与z轴的夹角，Δdy1为此时夹角θ2相对于标定点的偏移量，k为比例系数，β为此时激光点的偏移方向，α为标定点的偏移方向，(x0，y0)为标定的激光点坐标理论值，(x，y)为此时激光点的像素坐标值。
此时，我们也可以通过(xsin(β-α),ysin(β-α))所在象限判断θ2的正负，即判断此时机械臂末端的主轴在yz平面上与z轴的夹角的正负，以及根据上述计算得到的此时机械臂末端的主轴在xz平面上与z轴的夹角θ1和此时机械臂末端的主轴在yz平面上与z轴的夹角θ2进行空间矢量合成，即可得到此时机械臂末端的主轴的轴线与待测曲面的法线的夹角，从而便于机械臂末端进行二次调姿，实现机械臂末端的主轴的轴线与待测曲面的法线最大程度的重合，进而提高机器人制孔的精度。
因此，本发明实施例结合机器视觉，将机械臂末端的主轴的轴线和待测曲面的法线的夹角转化为激光图像中激光点的偏移量，且，目前相机分辨率可选范围较大，单个像素大小能达到1μm以内，结合图像处理，对激光点偏移量的测量精度可达到1～2个像素，因此本发明实施例具有较高的测量精度。此外，本发明实施例还利用光的反射投射原理设计光路，将激光器发出的激光线经过半透半反镜和反射镜的反射处理后传输至摄像机，并通过摄像机对视野范围内的激光线进行采集，得到激光图像，经过PLC模块将该激光图像发送至图像处理器，结合图像处理器的图像处理，将激光点的位置关系转化为与机械臂末端的主轴的轴线和待测曲面的法线的夹角有关，而与待测曲面的曲率无关，因此，本发明实施例提供的非接触式曲面法线测量装置可以非接触式测量曲面的法线，不会损伤待测物体表面，且，可测量曲率范围较大，测量精度较高。
进一步的，本发明实施例还提供了一种非接触式曲面法线测量系统，该系统包括上述非接触式曲面法线测量装置，还包括图像处理器；其中，图像处理器与非接触式曲面法线测量装置通信连接。
在上述实施例的基础上，本发明实施例还提供了一种非接触式曲面法线测量方法，该方法应用于上述非接触式曲面法线测量装置，图10示出了本发明实施例提供的一种非接触式曲面法线测量方法流程图，参照图10，该方法包括：
步骤S102，激光器向反射模块发出激光线；
步骤S104，反射模块将接收到的激光线进行反射处理，生成二次激光线，并将二次激光线传输至与机械臂末端的主轴对应的待测曲面；以及，接收待测曲面对二次激光线反射后生成的三次激光线，对三次激光线进行反射处理，并将反射后的三次激光线传输至摄像头；
步骤S106，摄像头采集视野范围内反射后的三次激光线，得到激光图像，并将激光图像发送至图像处理器，以对待测曲面的法线进行测量。
进一步的，本发明实施例还提供了一种机器人，该机器人上配置有上述实施例的非接触式曲面法线测量系统，从而可以在线实时测量待测物体的曲面，且，该测量方式为非接触式测量，从而不会损伤待测物体表面，可测量曲率范围较大，具有较高的测量精度。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的非接触式曲面法线测量方法的步骤。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的非接触式曲面法线测量方法的步骤。
本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种非接触式曲面法线测量装置，其特征在于，所述装置设置在机器人的机械臂末端，所述装置包括：摄像头、反射模块和激光器；
所述摄像头、所述反射模块和所述激光器机械固定；其中，所述摄像头和所述反射模块依次排列，且，所述摄像头的轴线与所述激光器的轴线相垂直，所述激光器的轴线还与机械臂末端的主轴的轴线相平行，所述反射模块设置在与所述激光器和所述机械臂末端的主轴对应的位置；
所述激光器，用于向所述反射模块发出激光线；
所述反射模块，用于将接收到的所述激光线进行反射处理，生成二次激光线，并将所述二次激光线传输至与所述机械臂末端的主轴对应的待测曲面；以及，接收所述待测曲面对所述二次激光线反射后生成的三次激光线，对所述三次激光线进行反射处理，并将反射后的所述三次激光线传输至所述摄像头；
所述摄像头，用于采集视野范围内反射后的所述三次激光线，得到激光图像，并将所述激光图像发送至图像处理器，以对所述待测曲面的法线进行测量；其中，所述激光图像中激光点的位置与所述机械臂末端的主轴的轴线和所述待测曲面的法线的夹角相关；
其中，所述反射模块包括半透半反镜和反射镜；所述摄像头、所述半透半反镜和所述反射镜依次排列，且，所述半透半反镜的法线与所述摄像头的轴线成预设角度，所述反射镜的法线与所述摄像头的轴线成预设角度；所述预设角度为45°；
所述半透半反镜，用于将所述激光器发出的所述激光线反射传输至所述反射镜，以使所述反射镜再次对所述激光线进行反射得到所述二次激光线，并将所述二次激光线反射至所述待测曲面；以及，接收所述待测曲面对所述二次激光线反射后生成的所述三次激光线，对所述三次激光线进行反射处理后，通过所述半透半反镜将反射后的所述三次激光线传输至所述摄像头。
2.根据权利要求1所述的非接触式曲面法线测量装置，其特征在于，所述摄像头包括相机和镜头，所述相机和所述镜头通过相应接口机械连接；
所述摄像头，用于对所述镜头的视野范围内的反射后的所述三次激光线进行采集，并在所述相机的靶面上成像，得到所述激光图像。
3.根据权利要求2所述的非接触式曲面法线测量装置，其特征在于，所述装置还包括PLC模块，所述摄像头与所述PLC模块通信连接；
所述PLC模块，用于将所述激光图像发送至所述图像处理器，以使所述图像处理器根据所述激光图像得到所述待测曲面的法线。
4.一种非接触式曲面法线测量系统，其特征在于，所述系统包括上述权利要求1-3任一项所述的非接触式曲面法线测量装置，还包括图像处理器；其中，所述图像处理器与所述非接触式曲面法线测量装置通信连接。
5.一种非接触式曲面法线测量方法，其特征在于，所述方法应用于上述权利要求1-3任一项所述的非接触式曲面法线测量装置，所述方法包括：
所述激光器向所述反射模块发出激光线；
所述反射模块将接收到的所述激光线进行反射处理，生成二次激光线，并将所述二次激光线传输至与所述机械臂末端的主轴对应的待测曲面；以及，接收所述待测曲面对所述二次激光线反射后生成的三次激光线，对所述三次激光线进行反射处理，并将反射后的所述三次激光线传输至所述摄像头；
所述摄像头采集视野范围内反射后的所述三次激光线，得到激光图像，并将所述激光图像发送至图像处理器，以对所述待测曲面的法线进行测量；其中，所述激光图像中激光点的位置与所述机械臂末端的主轴的轴线和所述待测曲面的法线的夹角相关。
6.一种机器人，其特征在于，所述机器人配置有上述权利要求4所述的非接触式曲面法线测量系统。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求5所述的非接触式曲面法线测量方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求5所述的非接触式曲面法线测量方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910953069.9A CN110514149B (zh) | 2019-10-08 | 2019-10-08 | 非接触式曲面法线测量装置、系统和方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910953069.9A CN110514149B (zh) | 2019-10-08 | 2019-10-08 | 非接触式曲面法线测量装置、系统和方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110514149A CN110514149A (zh) | 2019-11-29 |
| CN110514149B true CN110514149B (zh) | 2021-07-20 |
Family
ID=68634260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910953069.9A Expired - Fee Related CN110514149B (zh) | 2019-10-08 | 2019-10-08 | 非接触式曲面法线测量装置、系统和方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110514149B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111964612B (zh) * | 2020-08-25 | 2021-10-29 | 大连工业大学 | 基于高反光成像原理的钻孔法矢对准方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003294429A (ja) * | 2002-04-05 | 2003-10-15 | Tokyo Seimitsu Co Ltd | 光コネクタの研磨角度測定装置及び測定方法 |
| CN102042990B (zh) * | 2009-10-23 | 2015-05-13 | 中国第一汽车集团公司 | 一种光学系统定位工件曲面法线方向的方法及装置 |
| CN103419212A (zh) * | 2013-05-20 | 2013-12-04 | 北京航天金宇电子技术有限公司 | 一种任意曲面法向找正方法及装置 |
| CN104034261B (zh) * | 2014-06-10 | 2016-12-07 | 深圳先进技术研究院 | 一种曲面法向测量装置和曲面法向测量方法 |
| CN106767543B (zh) * | 2016-12-29 | 2019-11-22 | 西安理工大学 | 一种基于四象限探测器的光斑对准方法 |
| CN107063089A (zh) * | 2017-04-10 | 2017-08-18 | 北京航空航天大学 | 一种曲面法线测量精度验证方法 |
| CN107702643B (zh) * | 2017-08-29 | 2020-06-05 | 西北工业大学 | 法线方向确定系统及方法 |
| CN107560544A (zh) * | 2017-09-12 | 2018-01-09 | 上海大学 | 一种用于机器人制孔定位和法向测量装置及方法 |
-
2019
- 2019-10-08 CN CN201910953069.9A patent/CN110514149B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN110514149A (zh) | 2019-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111220130B (zh) | 可对空间任意位置的物体测量的聚焦测量方法及终端 | |
| CN111191625A (zh) | 一种激光-单目视觉融合的物体识别与定位方法 | |
| CN102607457A (zh) | 基于惯性导航技术的大尺寸三维形貌测量装置及方法 | |
| US11454498B2 (en) | Coordinate measuring system | |
| CN105303560A (zh) | 机器人激光扫描式焊缝跟踪系统标定方法 | |
| CN111208493A (zh) | 一种车载激光雷达在整车坐标系下的快速标定方法 | |
| CN112596259B (zh) | 一种高精度离轴非球面反射镜光轴引出方法和系统 | |
| CN110514149B (zh) | 非接触式曲面法线测量装置、系统和方法及电子设备 | |
| CN112907682B (zh) | 一种五轴运动平台的手眼标定方法、装置及相关设备 | |
| US20220343105A1 (en) | Method and device for 3d shape matching based on local reference frame | |
| EP4116042A1 (en) | Tool head posture adjustment method and apparatus, and readable storage medium | |
| CN114838702A (zh) | 距离测量方法、电子设备及存储介质 | |
| CN114485582B (zh) | 基于全站仪测量的挖掘机关键点的角度及距离的标定方法 | |
| CN113324538B (zh) | 一种合作目标远距离高精度六自由度位姿测量方法 | |
| CN116147477A (zh) | 联合标定方法、孔位检测方法、电子设备以及存储介质 | |
| CN111213101A (zh) | 可移动平台的巡线控制方法、设备、可移动平台及系统 | |
| CN215932146U (zh) | 一种用于测量承压设备几何尺寸的综合检测仪 | |
| JP3999063B2 (ja) | 三次元測定機、三次元測定機の校正方法及び該方法を実行するためのプログラムを格納したコンピュータ読み取り可能な記憶媒体 | |
| CN115290008A (zh) | 一种影像测量平行光管的角度标定算法 | |
| CN112116665B (zh) | 一种结构光传感器标定方法 | |
| CN110064842B (zh) | 一种用于三面体焊缝定位的自动标定方法 | |
| JP2002310641A (ja) | 三次元形状計測機の座標系のキャリブレーション方法 | |
| JP7415856B2 (ja) | 物体認識装置、物体認識方法及びプログラム | |
| CN110866951A (zh) | 一种单目摄像机光轴倾斜的校正方法 | |
| Xie et al. | Flexible scanning method by integrating laser line sensors with articulated arm coordinate measuring machines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210720 |