CN115578465A - 一种基于双目视觉的激光定位与标注方法及产品和应用 - Google Patents

一种基于双目视觉的激光定位与标注方法及产品和应用 Download PDF

Info

Publication number
CN115578465A
CN115578465A CN202211576423.9A CN202211576423A CN115578465A CN 115578465 A CN115578465 A CN 115578465A CN 202211576423 A CN202211576423 A CN 202211576423A CN 115578465 A CN115578465 A CN 115578465A
Authority
CN
China
Prior art keywords
coordinates
projected
coordinate system
calibration
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211576423.9A
Other languages
English (en)
Other versions
CN115578465B (zh
Inventor
蔡一诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Screen Valley Intelligent Technology Suzhou Co ltd
Original Assignee
Magic Screen Valley Intelligent Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Screen Valley Intelligent Technology Suzhou Co ltd filed Critical Magic Screen Valley Intelligent Technology Suzhou Co ltd
Priority to CN202211576423.9A priority Critical patent/CN115578465B/zh
Publication of CN115578465A publication Critical patent/CN115578465A/zh
Application granted granted Critical
Publication of CN115578465B publication Critical patent/CN115578465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于双目视觉的激光定位与标注方法及产品和应用，先预设被投影实物与需要投影的内容，通过双目相机实时录制视频，从视频流中找到需要被投影的物体，得到投影目标在双目相机下的图片像素坐标；通过双目相机模型进行三维重建，得到特征点的深度信息，随后计算被投影物体在世界坐标系下的全局坐标；依据平面假设，将被投影的物体的世界坐标投影至标定平面上，计算需要被投影的物体在标定平面下的二维坐标并转换成所需振镜坐标，最后进行激光投影。本发明将AR视觉定位于标注系统，将激光线精确、无接触式的投射到各种曲面表面或异形物体上，无需操作人员佩戴额外设备，能快速、精确、充满自信地定位部件，填补我国相关技术的空白。

Description

一种基于双目视觉的激光定位与标注方法及产品和应用
技术领域
本发明属于激光定位与标注技术领域，具体涉及一种基于双目视觉的激光定位与标注方法及产品和应用。
背景技术
近年来，中国产业国际竞争力大幅提升，产业基础更加牢固，但总体上仍处于工业化中期，制造业主要还是靠人力堆叠为主。大型复杂工程的实施与设备的生产，往往对于人员的实施精度与配合有着严格的要求。对于大型设备或装置制造过程中的定位问题往往存在效率过低、精度不足的问题。如何利用增强现实技术（AR）解决上述问题成为人们的研究热点。在此之前，业界曾经做过相关尝试，如以谷歌为主导的AR眼镜，但由于技术不成熟，且需要较大的培训与应用成本等问题，此类AR眼镜并没有大规模商用过。
目前国内尚未有相关产品，国外以WERKLICHT®PRO、ProDirector XS2为主，价格不低于60万元，WERKLICHT®PRO产品价格高达180万元之多，对于中小企业来说使用成本高昂，而ProDirector XS2产品对齐需靶标，且不可自动跟踪投影对象，实用性和功能性有待改进。
发明内容
为解决现有技术中的问题，本发明的目的在于提供一种基于双目视觉的激光定位与标注方法及产品和应用。
为实现上述目的，达到上述技术效果，本发明采用的技术方案为：
一种基于双目视觉的激光定位与标注方法，先预设被投影实物与需要投影的内容，通过双目相机实时录制视频，从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标；随后通过双目相机模型进行三维重建，得到特征点的深度信息，再计算被投影物体在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；随后依据平面假设，将被投影的物体的世界坐标投影至标定平面上，计算需要被投影的物体在标定平面下的二维坐标并转换成所需振镜坐标，最后进行激光投影。
进一步的，包括以下步骤：
步骤一、预设被投影实物与需要投影的内容
步骤二、视频流目标检测
双目相机的内参与畸变参数预先标定好；
投影设备启动后，通过双目相机实时收录视频流，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体，待从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标，再计算得到需要被投影的物体在双目相机中的位置与特征点的坐标；
步骤三、双目相机深度估计
通过双目视觉技术确定需要被投影的物体的空间位置；通过双目相机模型进行三维重建，得到特征点的深度信息，结合双目相机的标定参数，即可得到需要被投影的物体的特征点在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；
步骤四、标定与投影平面构建
在投影范围中选定一个基准面，并进行标定，通过双目相机的标定参数及双目相机模型计算得到标定平面上的特征点以激光发射口为坐标原点建立的世界坐标系下的三维坐标，将被投影的物体的世界坐标投影至标定平面上，最终获取在标定平面上，三维坐标至二维标定平面坐标的换算关系；
步骤五、根据标定信息计算投影坐标
对需要被投影的物体的本体，建立本体坐标系，需要投影的图案通过离散点的形式定义在本体坐标系下，通过需要被投影的物体本体的特征点在本体坐标系下的坐标与世界坐标系下的坐标的换算，得到本体坐标系与世界坐标系的转换关系，获取需要投影的图案的离散点在世界坐标系下的坐标值，随后通过视锥投影将离散点投影至标定平面中，随后将投影在标定平面的坐标变换为标定平面下的二维坐标，再变换为所需振镜坐标；
步骤六、激光投影
激光束入射到两个反射镜上，控制反射镜的反射角度，达到激光束的偏转，使激光聚焦点在打标材料上按所需的要求运动。
进一步的，步骤二中，双目相机中左相机和右相机标定内参分别为kL、kR，投影设备启动后，分别通过双目相机实时收录视频流，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体的本体，当检测到需要被投影的物体的本体后，获取需要被投影的物体的图片像素二维坐标
Figure DEST_PATH_IMAGE001
，左相机得到一组特征点：
Figure DEST_PATH_IMAGE003
右相机得到一组特征点：
Figure DEST_PATH_IMAGE005
进而，得到相机坐标系下需要被投影的物体的特征点在双目相机的左相机和右相机中的坐标：
左相机：
Figure 791382DEST_PATH_IMAGE006
右相机：
Figure DEST_PATH_IMAGE007
。
进一步的，步骤三中，双目相机外参矩阵为
Figure 362041DEST_PATH_IMAGE008
，需要被投影的物体的特征点在世界坐标系下的全局坐标为：
Figure DEST_PATH_IMAGE009
其中，
Figure 210917DEST_PATH_IMAGE010
为世界坐标系，
Figure 818616DEST_PATH_IMAGE012
为相机坐标系，
Figure DEST_PATH_IMAGE013
；
进而得到下列公式：
Figure 795187DEST_PATH_IMAGE016
其中，Z为通过双目相机模型获得的深度信息。
进一步的，步骤四中，使用一个以左上角为原点的一个满是圆圈的Halcon标定板作为标定板进行标定，将Halcon标定板放置在投影范围内，标定板圆点全局坐标与标定板坐标的变换关系Pcal；
假设标定板圆点全局坐标为
Figure DEST_PATH_IMAGE017
，标定板坐标
Figure 435115DEST_PATH_IMAGE018
，得到：
Figure 748285DEST_PATH_IMAGE019
Halcon标定板上任意不共线的三点的全局坐标分别为
Figure 526885DEST_PATH_IMAGE021
、
Figure DEST_PATH_IMAGE022
，
则
Figure DEST_PATH_IMAGE024
，则平面法线
Figure 394347DEST_PATH_IMAGE025
为：
Figure 41229DEST_PATH_IMAGE027
通过平面法线
Figure 943326DEST_PATH_IMAGE025
与该平面上的任意一点P0即可表述一个平面：
Figure DEST_PATH_IMAGE028
。
进一步的，步骤五中，需要被投影的物体的本体坐标系
Figure 285970DEST_PATH_IMAGE029
，特征点在本体坐标系下的坐标为
Figure DEST_PATH_IMAGE030
，得到本体坐标系与世界坐标系的变换关系为：
Figure 640728DEST_PATH_IMAGE031
预先定义的需要被投影的物体的本体坐标为
Figure DEST_PATH_IMAGE032
，则其在世界坐标系下的坐标
Figure 294563DEST_PATH_IMAGE033
为：
Figure 316746DEST_PATH_IMAGE035
平面中的直线的表达式为：
Figure DEST_PATH_IMAGE036
其中，
Figure 624099DEST_PATH_IMAGE037
为直线的方向向量，
Figure DEST_PATH_IMAGE038
为直线上任意一点，此处取原点，
Figure 466153DEST_PATH_IMAGE039
为实数空间，d为实数范围的标量；
由于世界坐标系以激光发射口为坐标原点，激光线从坐标原点发出，故将平面中的直线的表达式简化为：
Figure DEST_PATH_IMAGE040
带入平面方程后得到：
Figure 923680DEST_PATH_IMAGE041
直线的方向向量
Figure 941314DEST_PATH_IMAGE037
为：
Figure DEST_PATH_IMAGE042
将投影点从齐次坐标转为普通坐标
Figure 15974DEST_PATH_IMAGE043
，得到激光线与标定面的交点为：
Figure 486270DEST_PATH_IMAGE045
随后，得到在标定平面下的二维坐标为：
Figure 13066DEST_PATH_IMAGE047
最后，变换为所需振镜坐标：
Figure 9841DEST_PATH_IMAGE049
其中，
Figure 737625DEST_PATH_IMAGE051
Figure DEST_PATH_IMAGE052
为软件中定义的投影图案的齐次坐标。
本发明公开了一种基于双目视觉的激光定位与标注装置，采用基于双目视觉的激光定位与标注方法进行激光定位与标注。
本发明公开了一种基于双目视觉的激光定位与标注方法在机械、精密设备制造、建筑、装修、艺术创作领域中的应用。
与现有技术相比，本发明的有益效果为：
本发明公开了一种基于双目视觉的激光定位与标注方法及产品和应用，先预设被投影实物与需要投影的内容，通过双目相机实时录制视频，从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标；随后通过双目相机模型进行三维重建，得到特征点的深度信息，再计算被投影物体在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；随后依据平面假设，将被投影的物体的世界坐标投影至标定平面上，计算需要被投影的物体在标定平面下的二维坐标并转换成所需振镜坐标，最后进行激光投影。本发明提供的一种基于双目视觉的激光定位与标注方法及产品和应用，将AR视觉定位于标注系统，将激光线精确、无接触式的投射到各种曲面表面或异形物体上，无需操作人员佩戴额外设备，无需任何培训，能够让相关人员快速、精确、充满自信地定位部件；此外，基于投影技术，也能为工业培训、工业巡检与远程协助提供巨大的便利；虽然国外存在类似产品，但其售价过于高昂，且功能单一，并没有普遍应用于我国的工业市场中，本发明填补了我国相关技术产品的空白；本发明所得产品支持CAD、SVG等多种建档方式，支持关键点设定的定位方式，简化建档流程，支持无靶标对齐，每米间距可达0.1毫米，可自动识别投影对象，且跟踪投影对象位置，在机械、精密设备制造、建筑、装修、艺术创作等领域应用广泛，具有广阔的发展前景。
附图说明
图1为本发明的流程图；
图2为本发明的基于双目视觉的激光定位与标注装置的前视图；
图3为本发明的基于双目视觉的激光定位与标注装置的电路连接框图。
具体实施方式
下面结合附图对本发明进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
在本发明的描述中，需要说明的是，术语“顶部”、“底部”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1-3所示，一种基于双目视觉的激光定位与标注方法，先预设被投影实物与需要投影的内容，通过双目相机实时录制视频，从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标；随后通过双目相机模型进行三维重建，得到特征点的深度信息，再计算被投影物体在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；随后依据平面假设，将被投影的物体的世界坐标投影至标定平面上，计算需要被投影的物体在标定平面下的二维坐标并转换成所需振镜坐标，最后进行激光投影，利用投影设备投射已经提取好线条的预设模版到实物上。简言之，输入的是需要投影的图案的xyz坐标，也即需要转换成二维的振镜坐标才能进行投影。而输入图案的xyz坐标是被投影物体的本体坐标系下的坐标。被投影物体本体在双目相机的左、右相机的视频流中被检测到以后，通过标定好的相机的内、外参数与双目相机模型，计算出被投影物体本体的特征点在世界坐标系下的坐标。在相应软件中定义被投影物体特征点在本体坐标系下的坐标，得到本体坐标系与世界坐标系对应的转换关系。需要输入的坐标是二维的，使用的标定板是一个以左上角为原点的一个满是圆圈的Halcon标定板，于是就可以得到振镜坐标与空间中的一个确定的平面（标定平面）的坐标转换关系。而标定平面上的每一个圆圈的中心点，又可通过相机的内外参数与双目相机模型计算出在世界坐标系下的三维坐标，便可通过这两组坐标求得在该平面上，三维坐标至二维标定平面坐标的换算关系。由于发出的激光是一条直线，要计算投影的图案上的某一点的坐标，只要计算该点在世界坐标系下与原点形成的直线，与标定平面的交点（不会不存在交点），并且将该交点转换至标定坐标系下，再由标定坐标系至振镜坐标系变换，即可得到最终需要输入给振镜控制器的坐标，具体包括以下步骤：
步骤一、预设被投影实物与需要投影的内容
步骤二、视频流目标检测
双目相机的内参与畸变参数预先标定好；
投影设备启动后，通过双目相机分别开始实时收录视频流并传送至CPU单元，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体的本体，待从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标，再计算得到需要被投影的物体在双目相机中的位置与特征点的坐标；
在用户提供CAD图档的情况下，可使用Canny算子对每一帧的图像进行边缘提取、角点提取、拟合等，再与CAD图档中的信息进行匹配，从而得到被投影物体的坐标信息；在用户无法提供CAD图档或对实时性有较高要求，或传统方法检测效果不佳时，使用深度学习卷积神经网络的方法对目标进行追踪。这一步后可以得到被投影物体在左、右两个相机中的位置与特征点的坐标；
设标定板坐标
Figure 616588DEST_PATH_IMAGE053
振镜坐标
Figure DEST_PATH_IMAGE054
振镜输入的坐标是二维坐标，使用的标定板是一个以左上角为原点的一个满是圆圈的Halcon标定板，Halcon标定板本身也存在一个坐标系，左上角的圆点为“原点”，每个圆点间距为1，往右为X轴正方向，往下为Y轴正方向，如第一行第二列的圆点的坐标为（2，1）。
标定板坐标与振镜坐标的变换矩阵为H1，逆变换矩阵为H1-1。
相机坐标系
Figure 150338DEST_PATH_IMAGE055
世界坐标
Figure 258409DEST_PATH_IMAGE057
图片像素坐标
Figure DEST_PATH_IMAGE058
左、右相机标定后可得内参kL、kR；
需要被投影的物体的本体坐标
Figure 484991DEST_PATH_IMAGE059
目标检测后得到一组特征点：
左相机：
Figure 461038DEST_PATH_IMAGE061
右相机：
Figure 329637DEST_PATH_IMAGE063
随后，即可得到相机坐标系下对应特征点的坐标：
左相机：
Figure DEST_PATH_IMAGE064
右相机：
Figure 238687DEST_PATH_IMAGE065
。
步骤三、双目相机深度估计
由于相机在投影设备中的位置固定，相机的内参与畸变参数都在前期标定好，之后通过双目视觉技术确定物体的空间位置。通过双目相机模型进行三维重建，得到特征点的深度信息，结合双目相机的标定参数，即可得到需要被投影的物体本体的特征点在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；
通过双目相机模型获得深度信息Z：
Figure DEST_PATH_IMAGE066
Figure 901749DEST_PATH_IMAGE067
其中，f为焦距，b为双目相机之间的距离，UL、UR分别为左、右相机成像平面下特征点至中心的距离。
设相机外参[R，T]，双目相机外参矩阵为
Figure DEST_PATH_IMAGE068
，则通过相机外参获得的特征点的全局坐标为：
Figure 286463DEST_PATH_IMAGE069
进而，得到下列公式：
Figure 99698DEST_PATH_IMAGE070
。
步骤四、标定与投影平面构建
在投影范围中选定一个基准面，并进行标定，通过双目相机的标定参数及双目相机模型计算得到标定平面上的特征点以激光发射口为坐标原点建立的世界坐标系下的三维坐标，最终获取在标定平面上，三维坐标至二维标定平面坐标的换算关系；
将标定板放置在投影范围内，得到：
左相机内参kL、右相机内参kR；
左相机外参[RL，TL]、右相机外参[Rr，Tr]；
标定板坐标与振镜坐标的变换矩阵H1；
标定板圆点全局坐标与标定板坐标的变换关系Pcal。
设标定板圆点全局坐标为
Figure 925572DEST_PATH_IMAGE071
，标定板坐标
Figure 166060DEST_PATH_IMAGE072
，得到：
Figure 713104DEST_PATH_IMAGE073
设标定板上任意不共线的三点的全局坐标为
Figure 64451DEST_PATH_IMAGE075
、
Figure DEST_PATH_IMAGE076
，
则
Figure 744831DEST_PATH_IMAGE078
，进而得到平面法线
Figure 15275DEST_PATH_IMAGE025
：
Figure 922051DEST_PATH_IMAGE080
P0为平面上的一个点，该平面法线
Figure 201723DEST_PATH_IMAGE025
与平面上的任意一点P0即可表述一个平面:
Figure DEST_PATH_IMAGE081
，不需要求出具体表达式，P0可选为X0。
步骤五、根据标定信息计算投影坐标
对需要被投影的物体的本体，建立本体坐标系，需要投影的图案通过离散点的形式定义在本体坐标系下，通过需要被投影的物体本体的特征点在本体坐标系下的坐标与世界坐标系下的坐标的换算，得到本体坐标系与世界坐标系的转换关系，获取需要投影的图案的离散点在世界坐标系下的坐标值，随后通过视锥投影将离散点投影至标定平面中，随后将投影在标定平面的坐标变换为标定平面下的二维坐标，再变换为所需振镜坐标；
需要被投影的物体的本体坐标系
Figure 205451DEST_PATH_IMAGE082
，特征点在本体坐标系下的坐标为
Figure DEST_PATH_IMAGE083
，得到本体坐标系与世界坐标系的变换关系为
Figure 646797DEST_PATH_IMAGE084
。
预先定义的需要被投影的物体的本体坐标为
Figure DEST_PATH_IMAGE085
，则其在世界坐标系下的坐标为：
Figure DEST_PATH_IMAGE087
平面中的直线的表达式为：
Figure 837606DEST_PATH_IMAGE088
其中，
Figure 655390DEST_PATH_IMAGE037
为直线的方向向量，
Figure 451307DEST_PATH_IMAGE038
为直线上任意一点，此处取原点。
Figure 66484DEST_PATH_IMAGE039
为实数空间，d为实数范围的标量。
由于世界坐标系以激光发射口为坐标原点，而激光线从坐标原点发出，所以平面中的直线的表达式可简化为：
Figure 806907DEST_PATH_IMAGE089
将直线带入平面方程，得
Figure DEST_PATH_IMAGE090
将投影点从齐次坐标
Figure DEST_PATH_IMAGE091
转为普通坐标
Figure 366064DEST_PATH_IMAGE043
，得到激光线与标定面的交点为：
Figure DEST_PATH_IMAGE093
随后，得到在标定平面下的二维坐标为：
Figure DEST_PATH_IMAGE095
最后，变换为所需振镜坐标：
Figure DEST_PATH_IMAGE097
其中，
Figure DEST_PATH_IMAGE099
Figure DEST_PATH_IMAGE100
为软件中定义的投影图案的齐次坐标。
步骤六、激光投影
激光束入射到两个反射镜上，控制反射镜的反射角度，达到激光束的偏转，使激光聚焦点在打标材料上按所需的要求运动。
本发明公开了一种基于双目视觉的激光定位与标注装置，采用双目视觉对需要标记的物体进行三维重建，之后投射激光将需要标记的图案投射至需要标记的物体上进行标记，该装置包括电源、左相机、右相机、振镜、振镜驱动与保护单元、计算与控制单元和激光发射器，左相机和右相机分别与计算与控制单元连接，通过左、右双目相机进行视频采集并传送至计算与控制单元进行分析和处理，便于检测到需要的被投影物体，计算与控制单元连接振镜驱动与保护单元再连接振镜，通过计算与控制单元控制振镜改变出射角度，激光发射器发出的激光束通过振镜和反射镜再入射至物体上，如图2-3所示。
本发明公开的一种基于双目视觉的激光定位与标注方法，在机械、精密设备制造、建筑、装修、艺术创作领域中的应用广泛，弥补了国内相关技术的空白。
本发明未具体描述的部分采用现有技术即可，在此不做赘述。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于双目视觉的激光定位与标注方法，其特征在于，先预设被投影实物与需要投影的内容，通过双目相机实时录制视频，从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标；随后通过双目相机模型进行三维重建，得到特征点的深度信息，再计算被投影物体在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；随后依据平面假设，将被投影的物体的世界坐标投影至标定平面上，计算需要被投影的物体在标定平面下的二维坐标并转换成所需振镜坐标，最后进行激光投影。
2.根据权利要求1所述的一种基于双目视觉的激光定位与标注方法，其特征在于，包括以下步骤：
步骤一、预设被投影实物与需要投影的内容
步骤二、视频流目标检测
双目相机的内参与畸变参数预先标定好；
投影设备启动后，通过双目相机实时收录视频流，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体，待从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标，再计算得到需要被投影的物体在双目相机中的位置与特征点的坐标；
步骤三、双目相机深度估计
通过双目视觉技术确定需要被投影的物体的空间位置；通过双目相机模型进行三维重建，得到特征点的深度信息，结合双目相机的标定参数，即可得到需要被投影的物体的特征点在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；
步骤四、标定与投影平面构建
在投影范围中选定一个基准面，并进行标定，通过双目相机的标定参数及双目相机模型计算得到标定平面上的特征点以激光发射口为坐标原点建立的世界坐标系下的三维坐标，最终获取在标定平面上，三维坐标至二维标定平面坐标的换算关系；
步骤五、根据标定信息计算投影坐标
对需要被投影的物体的本体，建立本体坐标系，需要投影的图案通过离散点的形式定义在本体坐标系下，通过需要被投影的物体本体的特征点在本体坐标系下的坐标与世界坐标系下的坐标的换算，得到本体坐标系与世界坐标系的转换关系，获取需要投影的图案的离散点在世界坐标系下的坐标值，随后通过视锥投影将离散点投影至标定平面中，随后将投影在标定平面的坐标变换为标定平面下的二维坐标，再变换为所需振镜坐标；
步骤六、激光投影
激光束入射到两个反射镜上，控制反射镜的反射角度，达到激光束的偏转，使激光聚焦点在打标材料上按所需的要求运动。
3.根据权利要求2所述的一种基于双目视觉的激光定位与标注方法，其特征在于，步骤二中，双目相机中左相机和右相机标定内参分别为kL、kR，投影设备启动后，分别通过双目相机实时收录视频流，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体的本体，当检测到需要被投影的物体的本体后，获取需要被投影的物体的图片像素二维坐标
Figure 599184DEST_PATH_IMAGE001
，左相机得到一组特征点：
Figure 863943DEST_PATH_IMAGE002
右相机得到一组特征点：
Figure 617136DEST_PATH_IMAGE003
进而，得到相机坐标系下需要被投影的物体的特征点在双目相机的左相机和右相机中的坐标：
左相机：
Figure 498504DEST_PATH_IMAGE004
右相机：
Figure 995344DEST_PATH_IMAGE005
。
4.根据权利要求2所述的一种基于双目视觉的激光定位与标注方法，其特征在于，步骤三中，双目相机外参矩阵为
Figure 645769DEST_PATH_IMAGE006
，需要被投影的物体的特征点在世界坐标系下的全局坐标为：
Figure 38704DEST_PATH_IMAGE007
其中，
Figure 407368DEST_PATH_IMAGE008
为世界坐标系，
Figure 442320DEST_PATH_IMAGE009
为相机坐标系，
Figure 212830DEST_PATH_IMAGE010
；
进而得到下列公式：
Figure 629698DEST_PATH_IMAGE012
其中，Z为通过双目相机模型获得的深度信息。
5.根据权利要求2所述的一种基于双目视觉的激光定位与标注方法，其特征在于，步骤四中，使用一个以左上角为原点的一个满是圆圈的Halcon标定板作为标定板进行标定，将Halcon标定板放置在投影范围内，标定板圆点全局坐标与标定板坐标的变换关系Pcal；
假设标定板圆点全局坐标为
Figure 468341DEST_PATH_IMAGE013
，标定板坐标
Figure 827778DEST_PATH_IMAGE014
，得到：
Figure 93674DEST_PATH_IMAGE015
Halcon标定板上任意不共线的三点的全局坐标分别为
Figure 171351DEST_PATH_IMAGE016
、
Figure 813685DEST_PATH_IMAGE017
，
则
Figure 293208DEST_PATH_IMAGE018
，则平面法线
Figure 730006DEST_PATH_IMAGE019
为：
Figure 29400DEST_PATH_IMAGE020
通过平面法线
Figure 209846DEST_PATH_IMAGE019
与该平面上的任意一点P0即可表述一个平面：
Figure 278296DEST_PATH_IMAGE021
。
6.根据权利要求2所述的一种基于双目视觉的激光定位与标注方法，其特征在于，步骤五中，需要被投影的物体的本体坐标系
Figure 885995DEST_PATH_IMAGE022
，特征点在本体坐标系下的坐标为
Figure 938264DEST_PATH_IMAGE023
，得到本体坐标系与世界坐标系的变换关系为：
Figure 394172DEST_PATH_IMAGE024
预先定义的需要被投影的物体的本体坐标为
Figure 848287DEST_PATH_IMAGE025
，则其在世界坐标系下的坐标
Figure 626887DEST_PATH_IMAGE026
为：
Figure 166453DEST_PATH_IMAGE027
平面中的直线的表达式为：
Figure 688701DEST_PATH_IMAGE028
其中，
Figure 997323DEST_PATH_IMAGE029
为直线的方向向量，
Figure 946824DEST_PATH_IMAGE030
为直线上任意一点，此处取原点，
Figure 708107DEST_PATH_IMAGE031
为实数空间，d为实数范围的标量；
由于世界坐标系以激光发射口为坐标原点，激光线从坐标原点发出，故将平面中的直线的表达式简化为：
Figure 34046DEST_PATH_IMAGE032
带入平面方程后得到：
Figure 197174DEST_PATH_IMAGE033
直线的方向向量
Figure 317577DEST_PATH_IMAGE034
为：
Figure 831735DEST_PATH_IMAGE035
将投影点从齐次坐标转为普通坐标
Figure 695786DEST_PATH_IMAGE036
，得到激光线与标定面的交点为：
Figure 713420DEST_PATH_IMAGE037
随后，得到在标定平面下的二维坐标为：
Figure 270304DEST_PATH_IMAGE038
最后，变换为所需振镜坐标：
Figure 6178DEST_PATH_IMAGE039
其中，
Figure 670990DEST_PATH_IMAGE040
Figure 543132DEST_PATH_IMAGE041
为软件中定义的投影图案的齐次坐标。
7.一种基于双目视觉的激光定位与标注装置，其特征在于，采用权利要求1-6任一所述的一种基于双目视觉的激光定位与标注方法进行激光定位与标注。
8.一种根据权利要求1-6任一所述的基于双目视觉的激光定位与标注方法在机械、精密设备制造、建筑、装修、艺术创作领域中的应用。
CN202211576423.9A 2022-12-09 2022-12-09 一种基于双目视觉的激光定位与标注方法及产品和应用 Active CN115578465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211576423.9A CN115578465B (zh) 2022-12-09 2022-12-09 一种基于双目视觉的激光定位与标注方法及产品和应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211576423.9A CN115578465B (zh) 2022-12-09 2022-12-09 一种基于双目视觉的激光定位与标注方法及产品和应用

Publications (2)

Publication Number Publication Date
CN115578465A true CN115578465A (zh) 2023-01-06
CN115578465B CN115578465B (zh) 2023-03-10

Family

ID=84590605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211576423.9A Active CN115578465B (zh) 2022-12-09 2022-12-09 一种基于双目视觉的激光定位与标注方法及产品和应用

Country Status (1)

Country Link
CN (1) CN115578465B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
US20220101548A1 (en) * 2020-09-30 2022-03-31 Tsinghua University Point cloud intensity completion method and system based on semantic segmentation
CN115239922A (zh) * 2022-07-25 2022-10-25 湖南锐思华创科技有限公司 基于双目相机的ar-hud三维坐标重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
US20220101548A1 (en) * 2020-09-30 2022-03-31 Tsinghua University Point cloud intensity completion method and system based on semantic segmentation
CN115239922A (zh) * 2022-07-25 2022-10-25 湖南锐思华创科技有限公司 基于双目相机的ar-hud三维坐标重建方法

Also Published As

Publication number Publication date
CN115578465B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN107214703B (zh) 一种基于视觉辅助定位的机器人自标定方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN110421562B (zh) 基于四目立体视觉的机械臂标定系统和标定方法
CN106041937B (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN111604598B (zh) 一种机械臂进给式激光刻蚀系统的对刀方法
CN110202573B (zh) 全自动手眼标定、工作平面标定方法及装置
CN108594245A (zh) 一种目标物运动监测系统及方法
CN108416428B (zh) 一种基于卷积神经网络的机器人视觉定位方法
CN109685855B (zh) 一种道路云监控平台下的摄像机标定优化方法
CN111028340B (zh) 精密装配中的三维重构方法、装置、设备及系统
CN110717943A (zh) 用于二维平面的眼在手上机械手手眼标定方法及系统
CN108177143A (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
CN109465830B (zh) 机器人单目立体视觉标定系统及方法
CN112927302B (zh) 一种多线激光雷达与相机联合标定的标定板及标定方法
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
WO2022000713A1 (zh) 一种基于航空装配的增强现实自定位方法
CN110363801B (zh) 工件实物与工件三维cad模型的对应点匹配方法
CN115042175A (zh) 一种机器人机械臂末端姿态的调整方法
CN111399634A (zh) 一种手势引导物体识别的方法及装置
CN114001651A (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN109773589A (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
CN113012238A (zh) 一种多深度相机快速标定与数据融合的方法
CN115578465B (zh) 一种基于双目视觉的激光定位与标注方法及产品和应用
CN113240751B (zh) 一种机器人末端相机的标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant