CN115578465B - 一种基于双目视觉的激光定位与标注方法及产品和应用 - Google Patents

一种基于双目视觉的激光定位与标注方法及产品和应用 Download PDF

Info

Publication number
CN115578465B
CN115578465B CN202211576423.9A CN202211576423A CN115578465B CN 115578465 B CN115578465 B CN 115578465B CN 202211576423 A CN202211576423 A CN 202211576423A CN 115578465 B CN115578465 B CN 115578465B
Authority
CN
China
Prior art keywords
projected
coordinates
coordinate system
camera
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211576423.9A
Other languages
English (en)
Other versions
CN115578465A (zh
Inventor
蔡一诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Screen Valley Intelligent Technology Suzhou Co ltd
Original Assignee
Magic Screen Valley Intelligent Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Screen Valley Intelligent Technology Suzhou Co ltd filed Critical Magic Screen Valley Intelligent Technology Suzhou Co ltd
Priority to CN202211576423.9A priority Critical patent/CN115578465B/zh
Publication of CN115578465A publication Critical patent/CN115578465A/zh
Application granted granted Critical
Publication of CN115578465B publication Critical patent/CN115578465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于双目视觉的激光定位与标注方法及产品和应用，先预设被投影实物与需要投影的内容，通过双目相机实时录制视频，从视频流中找到需要被投影的物体，得到投影目标在双目相机下的图片像素坐标；通过双目相机模型进行三维重建，得到特征点的深度信息，随后计算被投影物体在世界坐标系下的全局坐标；依据平面假设，将被投影的物体的世界坐标投影至标定平面上，计算需要被投影的物体在标定平面下的二维坐标并转换成所需振镜坐标，最后进行激光投影。本发明将AR视觉定位于标注系统，将激光线精确、无接触式的投射到各种曲面表面或异形物体上，无需操作人员佩戴额外设备，能快速、精确、充满自信地定位部件，填补我国相关技术的空白。

Description

一种基于双目视觉的激光定位与标注方法及产品和应用
技术领域
本发明属于激光定位与标注技术领域，具体涉及一种基于双目视觉的激光定位与标注方法及产品和应用。
背景技术
近年来，中国产业国际竞争力大幅提升，产业基础更加牢固，但总体上仍处于工业化中期，制造业主要还是靠人力堆叠为主。大型复杂工程的实施与设备的生产，往往对于人员的实施精度与配合有着严格的要求。对于大型设备或装置制造过程中的定位问题往往存在效率过低、精度不足的问题。如何利用增强现实技术（AR）解决上述问题成为人们的研究热点。在此之前，业界曾经做过相关尝试，如以谷歌为主导的AR眼镜，但由于技术不成熟，且需要较大的培训与应用成本等问题，此类AR眼镜并没有大规模商用过。
目前国内尚未有相关产品，国外以WERKLICHT®PRO、ProDirector XS2为主，价格不低于60万元，WERKLICHT®PRO产品价格高达180万元之多，对于中小企业来说使用成本高昂，而ProDirector XS2产品对齐需靶标，且不可自动跟踪投影对象，实用性和功能性有待改进。
发明内容
为解决现有技术中的问题，本发明的目的在于提供一种基于双目视觉的激光定位与标注方法及产品和应用。
为实现上述目的，达到上述技术效果，本发明采用的技术方案为：
一种基于双目视觉的激光定位与标注方法，先预设被投影实物与需要投影的内容，通过双目相机实时录制视频，从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标；随后通过双目相机模型进行三维重建，得到特征点的深度信息，再计算被投影物体在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；随后依据平面假设，将被投影的物体的世界坐标投影至标定平面上，计算需要被投影的物体在标定平面下的二维坐标并转换成所需振镜坐标，最后进行激光投影。
进一步的，包括以下步骤：
步骤一、预设被投影实物与需要投影的内容
步骤二、视频流目标检测
双目相机的内参与畸变参数预先标定好；
投影设备启动后，通过双目相机实时收录视频流，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体，待从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标，再计算得到需要被投影的物体在双目相机中的位置与特征点的坐标；
步骤三、双目相机深度估计
通过双目视觉技术确定需要被投影的物体的空间位置；通过双目相机模型进行三维重建，得到特征点的深度信息，结合双目相机的标定参数，即可得到需要被投影的物体的特征点在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；
步骤四、标定与投影平面构建
在投影范围中选定一个基准面，并进行标定，通过双目相机的标定参数及双目相机模型计算得到标定平面上的特征点以激光发射口为坐标原点建立的世界坐标系下的三维坐标，将被投影的物体的世界坐标投影至标定平面上，最终获取在标定平面上，三维坐标至二维标定平面坐标的换算关系；
步骤五、根据标定信息计算投影坐标
对需要被投影的物体的本体，建立本体坐标系，需要投影的图案通过离散点的形式定义在本体坐标系下，通过需要被投影的物体本体的特征点在本体坐标系下的坐标与世界坐标系下的坐标的换算，得到本体坐标系与世界坐标系的转换关系，获取需要投影的图案的离散点在世界坐标系下的坐标值，随后通过视锥投影将离散点投影至标定平面中，随后将投影在标定平面的坐标变换为标定平面下的二维坐标，再变换为所需振镜坐标；
步骤六、激光投影
激光束入射到两个反射镜上，控制反射镜的反射角度，达到激光束的偏转，使激光聚焦点在打标材料上按所需的要求运动。
进一步的，步骤二中，双目相机中左相机和右相机标定内参分别为kL、kR，投影设备启动后，分别通过双目相机实时收录视频流，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体的本体，当检测到需要被投影的物体的本体后，获取需要被投影的物体的图片像素二维坐标
Figure DEST_PATH_IMAGE001
，左相机得到一组特征点：
Figure DEST_PATH_IMAGE003
右相机得到一组特征点：
Figure DEST_PATH_IMAGE005
进而，得到相机坐标系下需要被投影的物体的特征点在双目相机的左相机和右相机中的坐标：
左相机：
Figure 791382DEST_PATH_IMAGE006
右相机：
Figure DEST_PATH_IMAGE007
。
进一步的，步骤三中，双目相机外参矩阵为
Figure 362041DEST_PATH_IMAGE008
，需要被投影的物体的特征点在世界坐标系下的全局坐标为：
Figure DEST_PATH_IMAGE009
其中，
Figure 210917DEST_PATH_IMAGE010
为世界坐标系，
Figure 818616DEST_PATH_IMAGE012
为相机坐标系，
Figure DEST_PATH_IMAGE013
；
进而得到下列公式：
Figure 795187DEST_PATH_IMAGE016
其中，Z为通过双目相机模型获得的深度信息。
进一步的，步骤四中，使用一个以左上角为原点的一个满是圆圈的Halcon标定板作为标定板进行标定，将Halcon标定板放置在投影范围内，标定板圆点全局坐标与标定板坐标的变换关系Pcal；
假设标定板圆点全局坐标为
Figure DEST_PATH_IMAGE017
，标定板坐标
Figure 435115DEST_PATH_IMAGE018
，得到：
Figure 748285DEST_PATH_IMAGE019
Halcon标定板上任意不共线的三点的全局坐标分别为
Figure 526885DEST_PATH_IMAGE021
、
Figure DEST_PATH_IMAGE022
，
则
Figure DEST_PATH_IMAGE024
，则平面法线
Figure 394347DEST_PATH_IMAGE025
为：
Figure 41229DEST_PATH_IMAGE027
通过平面法线
Figure 943326DEST_PATH_IMAGE025
与该平面上的任意一点P0即可表述一个平面：
Figure DEST_PATH_IMAGE028
。
进一步的，步骤五中，需要被投影的物体的本体坐标系
Figure 285970DEST_PATH_IMAGE029
，特征点在本体坐标系下的坐标为
Figure DEST_PATH_IMAGE030
，得到本体坐标系与世界坐标系的变换关系为：
Figure 640728DEST_PATH_IMAGE031
预先定义的需要被投影的物体的本体坐标为
Figure DEST_PATH_IMAGE032
，则其在世界坐标系下的坐标
Figure 294563DEST_PATH_IMAGE033
为：
Figure 316746DEST_PATH_IMAGE035
平面中的直线的表达式为：
Figure DEST_PATH_IMAGE036
其中，
Figure 624099DEST_PATH_IMAGE037
为直线的方向向量，
Figure DEST_PATH_IMAGE038
为直线上任意一点，此处取原点，
Figure 466153DEST_PATH_IMAGE039
为实数空间，d为实数范围的标量；
由于世界坐标系以激光发射口为坐标原点，激光线从坐标原点发出，故将平面中的直线的表达式简化为：
Figure DEST_PATH_IMAGE040
带入平面方程后得到：
Figure 923680DEST_PATH_IMAGE041
直线的方向向量
Figure 941314DEST_PATH_IMAGE037
为：
Figure DEST_PATH_IMAGE042
将投影点从齐次坐标转为普通坐标
Figure 15974DEST_PATH_IMAGE043
，得到激光线与标定面的交点为：
Figure 486270DEST_PATH_IMAGE045
随后，得到在标定平面下的二维坐标为：
Figure 13066DEST_PATH_IMAGE047
最后，变换为所需振镜坐标：
Figure 9841DEST_PATH_IMAGE049
其中，
Figure 737625DEST_PATH_IMAGE051
Figure DEST_PATH_IMAGE052
为软件中定义的投影图案的齐次坐标。
本发明公开了一种基于双目视觉的激光定位与标注装置，采用基于双目视觉的激光定位与标注方法进行激光定位与标注。
本发明公开了一种基于双目视觉的激光定位与标注方法在机械、精密设备制造、建筑、装修、艺术创作领域中的应用。
与现有技术相比，本发明的有益效果为：
本发明公开了一种基于双目视觉的激光定位与标注方法及产品和应用，先预设被投影实物与需要投影的内容，通过双目相机实时录制视频，从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标；随后通过双目相机模型进行三维重建，得到特征点的深度信息，再计算被投影物体在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；随后依据平面假设，将被投影的物体的世界坐标投影至标定平面上，计算需要被投影的物体在标定平面下的二维坐标并转换成所需振镜坐标，最后进行激光投影。本发明提供的一种基于双目视觉的激光定位与标注方法及产品和应用，将AR视觉定位于标注系统，将激光线精确、无接触式的投射到各种曲面表面或异形物体上，无需操作人员佩戴额外设备，无需任何培训，能够让相关人员快速、精确、充满自信地定位部件；此外，基于投影技术，也能为工业培训、工业巡检与远程协助提供巨大的便利；虽然国外存在类似产品，但其售价过于高昂，且功能单一，并没有普遍应用于我国的工业市场中，本发明填补了我国相关技术产品的空白；本发明所得产品支持CAD、SVG等多种建档方式，支持关键点设定的定位方式，简化建档流程，支持无靶标对齐，每米间距可达0.1毫米，可自动识别投影对象，且跟踪投影对象位置，在机械、精密设备制造、建筑、装修、艺术创作等领域应用广泛，具有广阔的发展前景。
附图说明
图1为本发明的流程图；
图2为本发明的基于双目视觉的激光定位与标注装置的前视图；
图3为本发明的基于双目视觉的激光定位与标注装置的电路连接框图。
具体实施方式
下面结合附图对本发明进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
在本发明的描述中，需要说明的是，术语“顶部”、“底部”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1-3所示，一种基于双目视觉的激光定位与标注方法，先预设被投影实物与需要投影的内容，通过双目相机实时录制视频，从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标；随后通过双目相机模型进行三维重建，得到特征点的深度信息，再计算被投影物体在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；随后依据平面假设，将被投影的物体的世界坐标投影至标定平面上，计算需要被投影的物体在标定平面下的二维坐标并转换成所需振镜坐标，最后进行激光投影，利用投影设备投射已经提取好线条的预设模版到实物上。简言之，输入的是需要投影的图案的xyz坐标，也即需要转换成二维的振镜坐标才能进行投影。而输入图案的xyz坐标是被投影物体的本体坐标系下的坐标。被投影物体本体在双目相机的左、右相机的视频流中被检测到以后，通过标定好的相机的内、外参数与双目相机模型，计算出被投影物体本体的特征点在世界坐标系下的坐标。在相应软件中定义被投影物体特征点在本体坐标系下的坐标，得到本体坐标系与世界坐标系对应的转换关系。需要输入的坐标是二维的，使用的标定板是一个以左上角为原点的一个满是圆圈的Halcon标定板，于是就可以得到振镜坐标与空间中的一个确定的平面（标定平面）的坐标转换关系。而标定平面上的每一个圆圈的中心点，又可通过相机的内外参数与双目相机模型计算出在世界坐标系下的三维坐标，便可通过这两组坐标求得在该平面上，三维坐标至二维标定平面坐标的换算关系。由于发出的激光是一条直线，要计算投影的图案上的某一点的坐标，只要计算该点在世界坐标系下与原点形成的直线，与标定平面的交点（不会不存在交点），并且将该交点转换至标定坐标系下，再由标定坐标系至振镜坐标系变换，即可得到最终需要输入给振镜控制器的坐标，具体包括以下步骤：
步骤一、预设被投影实物与需要投影的内容
步骤二、视频流目标检测
双目相机的内参与畸变参数预先标定好；
投影设备启动后，通过双目相机分别开始实时收录视频流并传送至CPU单元，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体的本体，待从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标，再计算得到需要被投影的物体在双目相机中的位置与特征点的坐标；
在用户提供CAD图档的情况下，可使用Canny算子对每一帧的图像进行边缘提取、角点提取、拟合等，再与CAD图档中的信息进行匹配，从而得到被投影物体的坐标信息；在用户无法提供CAD图档或对实时性有较高要求，或传统方法检测效果不佳时，使用深度学习卷积神经网络的方法对目标进行追踪。这一步后可以得到被投影物体在左、右两个相机中的位置与特征点的坐标；
设标定板坐标
Figure 616588DEST_PATH_IMAGE053
振镜坐标
Figure DEST_PATH_IMAGE054
振镜输入的坐标是二维坐标，使用的标定板是一个以左上角为原点的一个满是圆圈的Halcon标定板，Halcon标定板本身也存在一个坐标系，左上角的圆点为“原点”，每个圆点间距为1，往右为X轴正方向，往下为Y轴正方向，如第一行第二列的圆点的坐标为（2，1）。
标定板坐标与振镜坐标的变换矩阵为H1，逆变换矩阵为H1-1。
相机坐标系
Figure 150338DEST_PATH_IMAGE055
世界坐标
Figure 258409DEST_PATH_IMAGE057
图片像素坐标
Figure DEST_PATH_IMAGE058
左、右相机标定后可得内参kL、kR；
需要被投影的物体的本体坐标
Figure 484991DEST_PATH_IMAGE059
目标检测后得到一组特征点：
左相机：
Figure 461038DEST_PATH_IMAGE061
右相机：
Figure 329637DEST_PATH_IMAGE063
随后，即可得到相机坐标系下对应特征点的坐标：
左相机：
Figure DEST_PATH_IMAGE064
右相机：
Figure 238687DEST_PATH_IMAGE065
。
步骤三、双目相机深度估计
由于相机在投影设备中的位置固定，相机的内参与畸变参数都在前期标定好，之后通过双目视觉技术确定物体的空间位置。通过双目相机模型进行三维重建，得到特征点的深度信息，结合双目相机的标定参数，即可得到需要被投影的物体本体的特征点在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；
通过双目相机模型获得深度信息Z：
Figure DEST_PATH_IMAGE066
Figure 901749DEST_PATH_IMAGE067
其中，f为焦距，b为双目相机之间的距离，UL、UR分别为左、右相机成像平面下特征点至中心的距离。
设相机外参[R，T]，双目相机外参矩阵为
Figure DEST_PATH_IMAGE068
，则通过相机外参获得的特征点的全局坐标为：
Figure 286463DEST_PATH_IMAGE069
进而，得到下列公式：
Figure 99698DEST_PATH_IMAGE070
。
步骤四、标定与投影平面构建
在投影范围中选定一个基准面，并进行标定，通过双目相机的标定参数及双目相机模型计算得到标定平面上的特征点以激光发射口为坐标原点建立的世界坐标系下的三维坐标，最终获取在标定平面上，三维坐标至二维标定平面坐标的换算关系；
将标定板放置在投影范围内，得到：
左相机内参kL、右相机内参kR；
左相机外参[RL，TL]、右相机外参[Rr，Tr]；
标定板坐标与振镜坐标的变换矩阵H1；
标定板圆点全局坐标与标定板坐标的变换关系Pcal。
设标定板圆点全局坐标为
Figure 925572DEST_PATH_IMAGE071
，标定板坐标
Figure 166060DEST_PATH_IMAGE072
，得到：
Figure 713104DEST_PATH_IMAGE073
设标定板上任意不共线的三点的全局坐标为
Figure 64451DEST_PATH_IMAGE075
、
Figure DEST_PATH_IMAGE076
，
则
Figure 744831DEST_PATH_IMAGE078
，进而得到平面法线
Figure 15275DEST_PATH_IMAGE025
：
Figure 922051DEST_PATH_IMAGE080
P0为平面上的一个点，该平面法线
Figure 201723DEST_PATH_IMAGE025
与平面上的任意一点P0即可表述一个平面:
Figure DEST_PATH_IMAGE081
，不需要求出具体表达式，P0可选为X0。
步骤五、根据标定信息计算投影坐标
对需要被投影的物体的本体，建立本体坐标系，需要投影的图案通过离散点的形式定义在本体坐标系下，通过需要被投影的物体本体的特征点在本体坐标系下的坐标与世界坐标系下的坐标的换算，得到本体坐标系与世界坐标系的转换关系，获取需要投影的图案的离散点在世界坐标系下的坐标值，随后通过视锥投影将离散点投影至标定平面中，随后将投影在标定平面的坐标变换为标定平面下的二维坐标，再变换为所需振镜坐标；
需要被投影的物体的本体坐标系
Figure 205451DEST_PATH_IMAGE082
，特征点在本体坐标系下的坐标为
Figure DEST_PATH_IMAGE083
，得到本体坐标系与世界坐标系的变换关系为
Figure 646797DEST_PATH_IMAGE084
。
预先定义的需要被投影的物体的本体坐标为
Figure DEST_PATH_IMAGE085
，则其在世界坐标系下的坐标为：
Figure DEST_PATH_IMAGE087
平面中的直线的表达式为：
Figure 837606DEST_PATH_IMAGE088
其中，
Figure 655390DEST_PATH_IMAGE037
为直线的方向向量，
Figure 451307DEST_PATH_IMAGE038
为直线上任意一点，此处取原点。
Figure 66484DEST_PATH_IMAGE039
为实数空间，d为实数范围的标量。
由于世界坐标系以激光发射口为坐标原点，而激光线从坐标原点发出，所以平面中的直线的表达式可简化为：
Figure 806907DEST_PATH_IMAGE089
将直线带入平面方程，得
Figure DEST_PATH_IMAGE090
将投影点从齐次坐标
Figure DEST_PATH_IMAGE091
转为普通坐标
Figure 366064DEST_PATH_IMAGE043
，得到激光线与标定面的交点为：
Figure DEST_PATH_IMAGE093
随后，得到在标定平面下的二维坐标为：
Figure DEST_PATH_IMAGE095
最后，变换为所需振镜坐标：
Figure DEST_PATH_IMAGE097
其中，
Figure DEST_PATH_IMAGE099
Figure DEST_PATH_IMAGE100
为软件中定义的投影图案的齐次坐标。
步骤六、激光投影
激光束入射到两个反射镜上，控制反射镜的反射角度，达到激光束的偏转，使激光聚焦点在打标材料上按所需的要求运动。
本发明公开了一种基于双目视觉的激光定位与标注装置，采用双目视觉对需要标记的物体进行三维重建，之后投射激光将需要标记的图案投射至需要标记的物体上进行标记，该装置包括电源、左相机、右相机、振镜、振镜驱动与保护单元、计算与控制单元和激光发射器，左相机和右相机分别与计算与控制单元连接，通过左、右双目相机进行视频采集并传送至计算与控制单元进行分析和处理，便于检测到需要的被投影物体，计算与控制单元连接振镜驱动与保护单元再连接振镜，通过计算与控制单元控制振镜改变出射角度，激光发射器发出的激光束通过振镜和反射镜再入射至物体上，如图2-3所示。
本发明公开的一种基于双目视觉的激光定位与标注方法，在机械、精密设备制造、建筑、装修、艺术创作领域中的应用广泛，弥补了国内相关技术的空白。
本发明未具体描述的部分采用现有技术即可，在此不做赘述。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于双目视觉的激光定位与标注方法，其特征在于，先预设被投影实物与需要投影的内容，通过双目相机实时录制视频，从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标；随后通过双目相机模型进行三维重建，得到特征点的深度信息，再计算被投影物体在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；随后依据平面假设，将被投影的物体的世界坐标投影至标定平面上，计算需要被投影的物体在标定平面下的二维坐标并转换成所需振镜坐标，最后进行激光投影。
2.根据权利要求1所述的一种基于双目视觉的激光定位与标注方法，其特征在于，包括以下步骤：
步骤一、预设被投影实物与需要投影的内容
步骤二、视频流目标检测
双目相机的内参与畸变参数预先标定好；
投影设备启动后，通过双目相机实时收录视频流，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体，待从视频流中找到需要被投影的物体，得到投影目标在双目相机的每个相机下的图片像素坐标，再计算得到需要被投影的物体在双目相机中的位置与特征点的坐标；
步骤三、双目相机深度估计
通过双目视觉技术确定需要被投影的物体的空间位置；通过双目相机模型进行三维重建，得到特征点的深度信息，结合双目相机的标定参数，即可得到需要被投影的物体的特征点在以激光发射口为坐标原点建立的世界坐标系下的全局坐标；
步骤四、标定与投影平面构建
在投影范围中选定一个基准面，并进行标定，通过双目相机的标定参数及双目相机模型计算得到标定平面上的特征点以激光发射口为坐标原点建立的世界坐标系下的三维坐标，最终获取在标定平面上，三维坐标至二维标定平面坐标的换算关系；
步骤五、根据标定信息计算投影坐标
对需要被投影的物体的本体，建立本体坐标系，需要投影的图案通过离散点的形式定义在本体坐标系下，通过需要被投影的物体本体的特征点在本体坐标系下的坐标与世界坐标系下的坐标的换算，得到本体坐标系与世界坐标系的转换关系，获取需要投影的图案的离散点在世界坐标系下的坐标值，随后通过视锥投影将离散点投影至标定平面中，随后将投影在标定平面的坐标变换为标定平面下的二维坐标，再变换为所需振镜坐标；
步骤六、激光投影
激光束入射到两个反射镜上，控制反射镜的反射角度，达到激光束的偏转，使激光聚焦点在打标材料上按所需的要求运动。
3.根据权利要求2所述的一种基于双目视觉的激光定位与标注方法，其特征在于，步骤二中，双目相机中左相机和右相机标定内参分别为
Figure QLYQS_1
，投影设备启动后，分别通过双目相机实时收录视频流，通过对每一帧视频流的分析，判断当前视野中是否存在需要被投影的物体的本体，当检测到需要被投影的物体的本体后，获取需要被投影的物体的图片像素二维坐标
Figure QLYQS_2
，左相机得到一组特征点：
Figure QLYQS_3
；
右相机得到一组特征点：
Figure QLYQS_4
；
进而，得到相机坐标系下需要被投影的物体的特征点在双目相机的左相机和右相机中的坐标：
左相机：
Figure QLYQS_5
；
右相机：
Figure QLYQS_6
。
4.根据权利要求2所述的一种基于双目视觉的激光定位与标注方法，其特征在于，步骤三中，双目相机外参矩阵为
Figure QLYQS_7
，需要被投影的物体的特征点在世界坐标系下的全局坐标为：
Figure QLYQS_8
；
其中，
Figure QLYQS_9
为世界坐标系，
Figure QLYQS_10
为相机坐标系，
Figure QLYQS_11
；
进而得到下列公式：
Figure QLYQS_12
；
其中，Z为通过双目相机模型获得的深度信息。
5.根据权利要求2所述的一种基于双目视觉的激光定位与标注方法，其特征在于，步骤四中，使用一个以左上角为原点的一个满是圆圈的Halcon标定板作为标定板进行标定，将Halcon标定板放置在投影范围内，标定板圆点全局坐标与标定板坐标的变换关系Pcal；
假设标定板圆点全局坐标为
Figure QLYQS_13
，标定板坐标
Figure QLYQS_14
，得到：
Figure QLYQS_15
；
Halcon标定板上任意不共线的三点的全局坐标分别为
Figure QLYQS_16
Figure QLYQS_17
，
Figure QLYQS_18
，则平面法线
Figure QLYQS_19
为：
Figure QLYQS_20
；
通过平面法线
Figure QLYQS_21
与该平面上的任意一点P0即可表述一个平面：
Figure QLYQS_22
。
6.根据权利要求2所述的一种基于双目视觉的激光定位与标注方法，其特征在于，步骤五中，需要被投影的物体的本体坐标系
Figure QLYQS_23
，特征点在本体坐标系下的坐标为
Figure QLYQS_24
，得到本体坐标系与世界坐标系的变换关系为：
Figure QLYQS_25
；
预先定义的需要被投影的物体的本体坐标为
Figure QLYQS_26
，则其在世界坐标系下的坐标
Figure QLYQS_27
为：
Figure QLYQS_28
；
平面中的直线的表达式为：
Figure QLYQS_29
；
其中，
Figure QLYQS_30
为直线的方向向量，
Figure QLYQS_31
为直线上任意一点，此处取原点，
Figure QLYQS_32
为实数空间，d为实数范围的标量；
由于世界坐标系以激光发射口为坐标原点，激光线从坐标原点发出，故将平面中的直线的表达式简化为：
Figure QLYQS_33
；
带入平面方程后得到：
Figure QLYQS_34
；
直线的方向向量
Figure QLYQS_35
为：
Figure QLYQS_36
；
将投影点从齐次坐标转为普通坐标
Figure QLYQS_37
，得到激光线与标定面的交点为：
Figure QLYQS_38
；
随后，得到在标定平面下的二维坐标为：
Figure QLYQS_39
；
最后，变换为所需振镜坐标：
Figure QLYQS_40
；
其中，
Figure QLYQS_41
；
Figure QLYQS_42
为软件中定义的投影图案的齐次坐标。
7.一种基于双目视觉的激光定位与标注装置，其特征在于，采用权利要求1-6任一所述的一种基于双目视觉的激光定位与标注方法进行激光定位与标注。
CN202211576423.9A 2022-12-09 2022-12-09 一种基于双目视觉的激光定位与标注方法及产品和应用 Active CN115578465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211576423.9A CN115578465B (zh) 2022-12-09 2022-12-09 一种基于双目视觉的激光定位与标注方法及产品和应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211576423.9A CN115578465B (zh) 2022-12-09 2022-12-09 一种基于双目视觉的激光定位与标注方法及产品和应用

Publications (2)

Publication Number Publication Date
CN115578465A CN115578465A (zh) 2023-01-06
CN115578465B true CN115578465B (zh) 2023-03-10

Family

ID=84590605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211576423.9A Active CN115578465B (zh) 2022-12-09 2022-12-09 一种基于双目视觉的激光定位与标注方法及产品和应用

Country Status (1)

Country Link
CN (1) CN115578465B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
CN112184589B (zh) * 2020-09-30 2021-10-08 清华大学 一种基于语义分割的点云强度补全方法及系统
CN115239922A (zh) * 2022-07-25 2022-10-25 湖南锐思华创科技有限公司 基于双目相机的ar-hud三维坐标重建方法

Also Published As

Publication number Publication date
CN115578465A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN107214703B (zh) 一种基于视觉辅助定位的机器人自标定方法
CN106041937B (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN109612390B (zh) 基于机器视觉的大尺寸工件自动测量系统
CN111604598B (zh) 一种机械臂进给式激光刻蚀系统的对刀方法
CN111028340B (zh) 精密装配中的三维重构方法、装置、设备及系统
CN108594245A (zh) 一种目标物运动监测系统及方法
CN110202573B (zh) 全自动手眼标定、工作平面标定方法及装置
CN110421562A (zh) 基于四目立体视觉的机械臂标定系统和标定方法
CN105716527B (zh) 激光焊缝跟踪传感器标定方法
CN110717943A (zh) 用于二维平面的眼在手上机械手手眼标定方法及系统
CN108177143A (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
CN112991467B (zh) 基于相机的激光投影标识自动引导定位与实时校正方法
CN112927302B (zh) 一种多线激光雷达与相机联合标定的标定板及标定方法
Wang et al. Error analysis and improved calibration algorithm for LED chip localization system based on visual feedback
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
CN112958960A (zh) 一种基于光学靶标的机器人手眼标定装置
CN107328358B (zh) 铝电解槽位姿的测量系统及测量方法
CN111738971B (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
CN109773589B (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
CN111399634A (zh) 一种手势引导物体识别的方法及装置
CN208350997U (zh) 一种目标物运动监测系统
CN114140534A (zh) 一种用于激光雷达与相机的联合标定方法
CN114001651A (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN113012238A (zh) 一种多深度相机快速标定与数据融合的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant