CN116051634A - 一种视觉定位方法、终端及存储介质 - Google Patents

一种视觉定位方法、终端及存储介质 Download PDF

Info

Publication number
CN116051634A
CN116051634A CN202211696821.4A CN202211696821A CN116051634A CN 116051634 A CN116051634 A CN 116051634A CN 202211696821 A CN202211696821 A CN 202211696821A CN 116051634 A CN116051634 A CN 116051634A
Authority
CN
China
Prior art keywords
coordinate value
image
pixel coordinate
vision device
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211696821.4A
Other languages
English (en)
Inventor
黎江华
张鹏飞
杨铤
卢靖东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youibot Robotics Technology Co ltd
Original Assignee
Shenzhen Youibot Robotics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Youibot Robotics Technology Co ltd filed Critical Shenzhen Youibot Robotics Technology Co ltd
Priority to CN202211696821.4A priority Critical patent/CN116051634A/zh
Publication of CN116051634A publication Critical patent/CN116051634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及机器视觉领域，具体提供了一种视觉定位方法、终端以及存储介质。该方法包括：获取机器人上的视觉装置拍摄的图像，并获取图像中特征点的第一像素坐标值及其在真实世界坐标系中对应的第一真实坐标值；基于视觉装置的相机内参、旋转矩阵和平移矩阵，根据特征点的第一像素坐标值，获取第一像素坐标值在真实世界坐标系中对应的第二真实坐标值；根据第二真实坐标值确定机器人的运动位置；基于视觉装置的相机内参、旋转矩阵和平移矩阵，根据第二真实坐标值，获取第二真实坐标值在图像中特征点对应的第二像素坐标值；根据图像中特征点对应的第一像素坐标值和第二像素坐标值建立优化函数并更新相机内参、旋转矩阵和平移矩阵。

Description

一种视觉定位方法、终端及存储介质
技术领域
本申请涉及机器视觉领域，尤其涉及一种视觉定位方法、终端及存储介质。
背景技术
近年来，机器视觉技术飞速发展，机器人与机器视觉技术的结合在工业方面已经有了较为成熟的应用。机器视觉技术赋予了机器人感知工作环境变化的能力。通过视觉系统，机器人能够精准地对工作空间内的目标进行识别与定位，并自主运动到目标位置。传统的视觉定位技术中使用的相机标定结果进行视觉定位，存在视觉定位的精度不高和鲁棒性较差的问题。
发明内容
本申请实施例的主要目的在于提供一种视觉定位方法、终端及存储介质，旨在提高视觉定位的精度和鲁棒性。
第一方面，本申请实施例提供一种视觉定位方法，包括：
获取机器人上的视觉装置拍摄的图像，以及获取图像中特征点的第一像素坐标值和第一像素坐标值在真实世界坐标系中对应的第一真实坐标值；
基于视觉装置的相机内参、旋转矩阵和平移矩阵，根据特征点的第一像素坐标值，获取第一像素坐标值在真实世界坐标系中对应的第二真实坐标值；
根据第二真实坐标值确定机器人的运动位置；
基于视觉装置的相机内参、旋转矩阵和平移矩阵，根据第二真实坐标值，获取第二真实坐标值在图像中特征点对应的第二像素坐标值；
根据图像中特征点对应的第一像素坐标值和第二像素坐标值建立优化函数；
根据优化函数更新视觉装置的相机内参、旋转矩阵和平移矩阵。
第二方面，本申请实施例还提供一种机器人终端，终端包括处理器、存储器、存储在存储器上并可被处理器执行的计算机程序以及用于实现处理器和存储器之间的连接通信的数据总线，其中计算机程序被处理器执行时，实现如本申请说明书提供的任一项视觉定位方法的步骤。
第三方面，本申请实施例还提供一种存储介质，用于计算机可读存储，其特征在于，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如本申请说明书提供的任一项的视觉定位方法的步骤。
本申请实施例提供一种视觉定位的方法、终端及存储介质，其中，该视觉定位方法通过获取机器人上的视觉装置拍摄的图像，以及获取图像中特征点的第一像素坐标值和第一像素坐标值在真实世界坐标系中对应的第一真实坐标值；基于视觉装置的相机内参、旋转矩阵和平移矩阵，根据特征点的第一像素坐标值，获取第一像素坐标值在真实世界坐标系中对应的第二真实坐标值；根据第二真实坐标值确定机器人的运动位置；基于视觉装置的相机内参、旋转矩阵和平移矩阵，根据第二真实坐标值，获取第二真实坐标值在图像中特征点对应的第二像素坐标值；根据图像中特征点对应的第一像素坐标值和第二像素坐标值建立优化函数；根据优化函数更新视觉装置的相机内参、旋转矩阵和平移矩阵。本申请通过获取图像中特征点的像素坐标值和像素坐标值在真实世界坐标系中对应的真实坐标值，然后基于视觉装置的相机内参、旋转矩阵和平移矩阵，获取像素坐标值在真实世界坐标系中对应的预测坐标值，根据预测坐标值再推导出预测像素坐标值，利用预测像素坐标值和像素坐标值构建优化函数，通过优化函数的求解更新视觉装置的相机内参、旋转矩阵和平移矩阵，从而可以利用实际应用场景中的数据实现对视觉装置的相机内参、旋转矩阵和平移矩阵的更新，更加贴合实际应用场景中的参数需求，进而提高了视觉定位的精度。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视觉定位方法的流程示意图；
图2为本申请实施例提供的一种固定间距阵列的平板的标定板样例；
图3为本申请实施例提供的一种图像坐标系和像素坐标系的示意图；
图4为图1中步骤S6的一种具体实施方式对应的步骤流程图；
图5为本申请实施例提供的一种终端的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本申请实施例提供一种视觉定位方法、终端及存储介质。其中，该视觉定位方法可应用于终端，该终端可以为机器人。
其中，本申请实施例提供一种视觉定位方法、终端及存储介质，其中，该视觉定位方法该视觉定位方法通过获取图像中特征点的像素坐标值和像素坐标值在真实世界坐标系中对应的真实坐标值，然后基于视觉装置的相机内参、旋转矩阵和平移矩阵，获取像素坐标值在真实世界坐标系中对应的预测坐标值，根据预测坐标值再推导出预测像素坐标值，利用预测像素坐标值和像素坐标值构建优化函数，通过优化函数的求解更新视觉装置的相机内参、旋转矩阵和平移矩阵，从而可以利用实际应用场景中的数据实现对视觉装置的相机内参、旋转矩阵和平移矩阵的更新，更加贴合实际应用场景中的参数需求，进而提高了视觉定位的精度。
下面结合附图，对本申请的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本申请实施例提供的一种视觉定位方法的流程示意图。
如图1所示，该视觉定位方法包括步骤S1至步骤S6。
步骤S1：获取机器人上的视觉装置拍摄的图像，以及获取图像中特征点的第一像素坐标值和第一像素坐标值在真实世界坐标系中对应的第一真实坐标值。
示例性地，工业机器人是制造业的高端制造设备，对于稳定性、定位精准度的要求是非常高的，因此，需要借助机器视觉技术处理图像，通过相机实现引导定位和模式识别等操作，快速获取物体的质心和边界，才能满足工业机器人系统运行的自定位需求，缩短其期望位置和末端位置间的差距，进而实现定位的精度。
为了提高视觉定位的精度，需要根据实际使用的数据不断优化参数，因此在实际使用过程中需要根据机器人上的视觉装置拍摄的图像并获取图像中特征点对应的像素坐标值以及像素坐标值在真实世界坐标系中对应的第一真实坐标值。对所需数据采集样本的增加，可分析的数据也随之增加。即将视觉装置拍摄的图像以及获取图像中特征点对应的像素坐标值以及像素坐标值在真实世界坐标系中对应的第一真实坐标值的数据也随之增加，更利于后续的优化分析。
在一些实施方式中，所述获取机器人上的视觉装置拍摄的图像，包括：控制所述机器人的视觉装置对预设模板进行拍摄，得到所述图像，所述预设模板包括至少一个特征点；对所述图像中的特征点进行识别，得到所述图像中的特征点。
示例性地，图像本身是一个只由亮度和色彩组成的矩阵，如果单从矩阵层面考虑相机的信息将十分困难，所以，一般是首先从图像中选取比较有代表性的点，这些点称为关键点。当环境中光照发生变化，或相机与物体之间的距离发生变化时，原先是关键点的位置可能不再是关键点，为了实现关键点鲁棒性，一般会对关键点周围的像素用一个向量进行描述，该向量称之为描述子，关键点和描述子共同组成一个特征点。计算机视觉领域的研究者们在长年的研究中设计了许多更加稳定的局部图像特征，如尺度不变特征(Schle-invariant feature transform,SIFT)、加速稳健特征(Speeded up robust features，SURF)、ORB算法。
为了提高图像中特征点对应的像素坐标值以及像素坐标值在真实世界坐标系中对应的第一真实坐标值的可信赖性，也即降低模型训练过程中训练数据和测试数据本身数据的误差进而带来的模型效果偏差。可以通过对自行设计的模板即预设模板进行拍摄，进而针对预设模板对特征点进行识别时更具有针对性，效果也更加精准，获得的特征点对应的像素坐标值以及像素坐标值在真实世界坐标系中对应的第一真实坐标值的可靠性也大大增加，为后续的参数优化，提供了良好的支撑。
例如，在图像处理领域中，特征点有很多种不同的类别，可分别满足于不同的场景需求。因此，在机器视觉检测中，经常使用标定板。通过相机拍摄具有固定间距阵列的标定板和计算校准算法来获得，以获得高精度的测量结果，其中具有固定间距阵列的平板的标定板如图2所示。
对视觉定位的分析离不开参考坐标系，包括但不限于像素坐标系，图像坐标系，相机坐标系，世界坐标系，其中，像素坐标系以像素为单位，坐标原点在左上角；图像坐标系用物理单位表示像素的位置，坐标原点为摄像机光轴与图像物理坐标系的交点位置，单位mm；相机坐标系以摄像机光心为原点，z轴与光轴重合也就是z轴指向相机的前方，以m为单位；世界坐标系则是根据情况而定，可以表示任何物体，单位为m。
例如，该步骤中主要获取像素坐标系中的坐标和世界坐标系中坐标特征点的映射关系，如视觉采集系统采集放置标定板位置不同角度的图片，通过对采集的图片利用SIFT技术进行分析，进而获得图片中的特征点信息获取其特征点在像素坐标系中的像素坐标。然后在选择以标定板所在位置为世界坐标系，进而获得对应特征点在世界坐标系中的坐标，进而构造了特征点像素坐标和在真实世界中坐标的映射关系，进而获取了图像中特征点的像素坐标值和像素坐标值在真实世界坐标系中对应的真实坐标值。
步骤S2：基于视觉装置的相机内参、旋转矩阵和平移矩阵，根据特征点的第一像素坐标值，获取所述第一像素坐标值在真实世界坐标系中对应的第二真实坐标值。
示例性地，图像像素坐标系Pd(ud,vd)转换到现实世界坐标系中的点P(XW,YW,ZW)中需要通过相机内参获取像素坐标系到相机坐标系的变换关系并且获取相机坐标系相对于世界坐标系的变换关系即旋转矩阵和平移矩阵，进而获得像素坐标值到真实世界坐标系的第二真实坐标值。
在一些具体实施方式中，获取所述视觉装置进行标定后初始内参作为所述相机内参；根据所述视觉装置的相机内参和手眼标定原理，获取所述视觉装置的旋转矩阵和平移矩阵。
示例性地，手眼标定即是将二维坐标到三维坐标的转换矩阵，也即像素坐标系到世界坐标系的转换矩阵。在实际控制过程中，视觉装置检测到目标在图像中的像素位置后，通过标定好的坐标转换矩阵将相机的像素坐标变换到空间坐标系。其中需要用的转换矩阵的构成就依赖于相机内参、旋转矩阵和平移矩阵。
相机内参可以理解为相机坐标系和像素坐标系转换的模型。首先将相机坐标系中的数据转换为图像坐标系的转换过程为，在相机坐标系下，设空间中一点P1的坐标为(X1,Y1,Z1),其在图像坐标系中成像点P2的坐标为(X2,Y2,Z2),根据透视投影关系，则有：
Figure BDA0004023786440000051
其中，f为相机焦距，f＝Z2，则经过公式1可以得到：
Figure BDA0004023786440000052
Figure BDA0004023786440000061
经过公式2和公式3可以得到：
Figure BDA0004023786440000062
再从图像坐标系转换到像素坐标系的方式，像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的单位是mm，属于物理坐标系，而像素坐标系的单位是pixel，在像素坐标系下描述一个像素点的方式是几行几列。因此可以将图像坐标系和像素坐标系的转换关系理解如下：dx和dy表示每一列和每一行分别代表多少mm，即1pixel＝dx mm。进而，在图像坐标系中成像点P2的坐标为(X2,Y2,Z2)，如图3所示。在像素坐标系中的成像点的坐标为(u,v)的转换关系为：
Figure BDA0004023786440000063
公式5中u0和v0表示图像坐标系中图像平面的中心。将公式5转换为齐次坐标与矩阵形式表示为：
Figure BDA0004023786440000064
因此，像素坐标系和相机坐标系之间的关系，如
Figure BDA0004023786440000065
根据公式7可以得到相机内参可以表示为：
Figure BDA0004023786440000066
相机坐标系和世界坐标系之间的转换关系可以理解为坐标系和坐标系之间的转换，坐标系和坐标系之间的转换关系均可以通过旋转和平移实现，因此，相机坐标系和世界坐标系的转换关系由旋转矩阵和平移矩阵组成。相机坐标系为XC，世界坐标系为X，则可得到：Xc＝RX+T，其中R代表3*3的旋转矩阵，T代表3*1的平移矩阵或平移向量。
在一些具体实施方式中，获取标定后的所述视觉装置的相机内参，包括：根据相机标定原理构建矩阵方程，以获取所述视觉装置的相机内参以及畸变参数；根据所述畸变参数对所述视觉装置进行对所述关键点的像素坐标值进行畸变校准，获取校准后的所述第一像素坐标值。
示例性地，由于相机在制造过程中受工艺、安装水平等内部因素影响，以及在使用过程中受温度、湿度、压强等外在因素影响，使得相机在成像过程中并不是理想的针孔成像模型，相机传感器中存在畸变参数。因此相机在实际成像与理想成像在图像坐标系上存在一定畸变。因此需要引入畸变参数对像素坐标进行畸变校准。
光学畸变导致世界坐标系下的点对应于其在图像坐标系中的位置时，在模型上发生了非线性的变换，且随着点在图像平面上的位置的不同，其偏差也不相同，根据透镜影响图像几何质量的方式。光学畸变可以分为径向畸变和切向畸变两类。光学系统的非线性畸变的模型为：
Figure BDA0004023786440000071
上式中x＝x’-x0,y＝y’-y0，x’,y’为图像中像点的量测坐标，，x0,y0是相机内参数中的图像中心点偏移量，即相机模型内参数矩阵如下中的cx,,cy，k1,k2,k3是径向畸变参数，p1,p2为切向畸变参数，α为相机的非正方形比例因子，β为CCD相扣的非正交性畸变系数，r是实际构像点的辐射距离
Figure BDA0004023786440000072
在一些具体实施方式中，所述根据相机标定原理构建矩阵方程，以获取所述视觉装置的相机内参以及畸变参数，包括：从多个角度对黑白标定板进行拍摄，选取从多个角度拍摄的多幅图像；采用所述多幅图像利用张正友相机标定方式构建矩阵方程，对所述矩阵方程求解，得到所述视觉装置的相机内参以及畸变参数。
示例性地，准备一个张正友标定法的棋盘格，棋盘格大小已知，用相机对其进行不同角度的拍摄，得到一组图像；对图像中的特征点如标定板角点进行检测，得到标定板角点的像素坐标值，根据已知的棋盘格大小和世界坐标系原点，计算得到标定板角点的物理坐标系；进而求解得到相机内参、旋转矩阵、平移矩阵和畸变系数。
例如，标定板平面上的点和图像平面上的点具有一一对应关系，记标定板平面上的点为M＝(x,y,z)T,图像平面上的点为m＝(u,v)T,则相应的齐次坐标为
Figure BDA0004023786440000081
旋转矩阵为3*3的矩阵，平移矩阵为3*1的矩阵，定义为
Figure BDA0004023786440000082
r1，r2，r3是相机坐标的三个坐标轴在世界坐标轴中的方向矢量，且互相垂直，t是从世界坐标系的原点到光心的平移矢量。相机内参公式8用A表示。则通过坐标变换可以得到
Figure BDA0004023786440000083
s是个常数。
假设标定板平面位于世界坐标系的xy平面上，即z＝0，可以得到：
Figure BDA0004023786440000084
仍然采用M表示标定板平面上点的坐标，M＝(x,y)T,
Figure BDA0004023786440000085
这样就可以得到
Figure BDA0004023786440000086
H＝*A*(r1，r2，t)＝(h1,h2,h3)。
通过拍摄的多组对应点，应用最小二乘法，可以求解得出H，其中H的计算是使实际图像坐标和通过M计算得到的预测坐标误差最小的过程。H求解出来后，利用H＝λ*A*(r1，r2，t)＝(h1,h2,h3)和r1，r2的正交性构造相机内参的两个基本约束。进而求解出相机内参，当相机内参确定时，旋转矩阵和平移矩阵也随之确定。最后再通过最小二乘思想对畸变参数进行评估，进而求出更加准确的值。
步骤S3：根据第二真实坐标值确定所述机器人的运动位置。
示例性地，根据第二真实坐标进而调整机器人各关节的运动参数，使得机器人能够到达指定的运动位置，进而实现控制机器人达到实现既定的目标位置和姿态。
步骤S4：基于视觉装置的相机内参、旋转矩阵和平移矩阵，根据第二真实坐标值，获取第二真实坐标值在图像中关键点对应的第二像素坐标值。
示例性地，根据第二真实坐标值结合视觉装置的相机内参、旋转矩阵和平移矩阵，推倒得到第二真实坐标值在所述图像中关键点对应的第二像素坐标值，即预测地像素坐标值，其推倒公式如(公式11)所示。表示现实世界坐标系中的点P(XW,YW,ZW)投影到图像像素坐标系Pd(ud,vd)中的过程。
Figure BDA0004023786440000091
其中R代表旋转矩阵，t代表平移矩阵，K代表相机内参，Δx，Δy代表相机的畸变参数，具体含义如公式9所示。
步骤S5：根据图像中特征点对应的第一像素坐标值和第二像素坐标值建立优化函数。
示例性地，根据图像中的特征点对应的第一像素坐标和第二像素坐标值之间的差距，通过优化不断缩小第一像素坐标和第二像素坐标值差距，进而提升机器人运动的精度。
在一些具体实施方式中，根据图像中特征点对应的第一像素坐标值和所述第二像素坐标值建立优化函数，包括：根据第一像素坐标值和第二像素坐标值计算图像中关键点在像素平面上的成像点坐标和通过量测得到的视觉投影点坐标之间的误差，构建优化函数。
示例性地，为了采用迭代优化的方法求解问题，其优化内容来自于真实世界中的点变换后在相机像素平面上的成像点的坐标与通过量测到的视觉投影点坐标之间偏差，用于评估模型与实际数据的契合度，在理想情况下，该偏差应该为零，但实际中，由于模型本身的误差，该偏差越小说明模型与实际情况的契合度越高。
例如：优化函数可以设计为真实世界中的点变换后在相机像素平面上的成像点的坐标与通过量测到的视觉投影点坐标之间偏差的二范数，进而来评估模型与实际数据的契合度。采用二范数是直观的，相对于欧式空间中距离的平方。
在一些具体实施方式中，根据误差构建优化函数，包括：根据误差和鲁棒核函数，构建优化函数。
示例性地，将误差和鲁棒核函数相结合可以用于提高优化求解问题的鲁棒性能。引入鲁棒核函数对误差做进一步处理，人为降低过大的误差项，通过降低一些点的权重，来降低错误数据的影响。很多鲁棒核函数都是分段函数，在输入较大时给出线性的增长速率，例如cauchy核，huber核等等。
步骤S6：根据优化函数更新视觉装置的相机内参、旋转矩阵和平移矩阵。
示例性地，根据优化函数将相机内参、旋转矩阵和平移矩阵作为优化变量，利用优化算法迭代寻优，得到相机内参、旋转矩阵和平移矩阵在当前情况下的最优值。
请参阅图4，在一些实施方式中，步骤S6包括步骤S61至步骤S62。
步骤S61：根据所述优化函数，构建非线性优化模型。
示例性地，通过计算得到的相机内参、旋转矩阵和平移矩阵的初值作为非线性优化算法迭代寻优的迭代初值，根据优化函数将相机内参、旋转矩阵和平移矩阵作为优化变量，利用非线性优化算法迭代寻优，有效提升迭代的计算速度以及标定精度。可以采用非线性优化算法进行迭代寻优进而获得优化后的相机内参、旋转矩阵和平移矩阵。
例如，优化函数设计为真实世界中的点变换后在相机像素平面上的成像点的坐标与通过量测到的视觉投影点坐标之间偏差的二范数:
Figure BDA0004023786440000101
其中x代表真实世界中的点变换后在相机像素平面上的成像点的坐标与通过量测到的视觉投影点坐标之间偏差，f为任意非线性函数。
步骤S62：根据所述非线性优化模型，利用非线性优化更新所述视觉装置的所述相机内参、所述旋转矩阵和所述平移矩阵。
示例性地，令目标函数的倒数为零，然后求解x的最优值，就和求二元函数的极值一样。得到导数为零处的极值。它们可能是极大、极小或鞍点处的值，只要逐个比较它们的函数值大小即可。但是该方程不方便直接求解。因此可以采用迭代的方式，从一个初始值出发，不断的更新当前的优化变量，使目标函数下降。让求解导函数为零的为问题变成了一个不断寻找梯度并下降的过程。直到某个时刻增量非常小，无法再使函数下降。此时可判断算法收敛，目标达到了一个极小，也就完成了选择极小值的过程。在这个过程中，只要找到迭代点的梯度方向即可，而无需寻找全局导函数为零的情况。
例如，在现有技术中可以采用高斯牛顿法或列文伯格-马夸尔特方法实现对优化问题的求解，进而获得优化后的相机内参、旋转矩阵和平移矩阵。
请参阅图5，图5为本申请实施例提供的终端的结构示意性框图。
如图4所示，终端300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器301用于提供计算和控制能力，支撑整个服务器的运行。处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地，存储器302可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请实施例方案相关的部分结构的框图，并不构成对本申请实施例方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，处理器301用于运行存储在存储器中的计算机程序，并在执行计算机程序时实现本申请任一实施例提供的视觉定位方法。
在一些实施方式中，处理器301用于运行存储在存储器中的计算机程序，并在执行计算机程序时实现如下步骤：
获取机器人上的视觉装置拍摄的图像，以及获取所述图像中特征点的第一像素坐标值和所述第一像素坐标值在真实世界坐标系中对应的第一真实坐标值；
基于所述视觉装置的相机内参、旋转矩阵和平移矩阵，根据所述特征点的第一像素坐标值，获取所述第一像素坐标值在真实世界坐标系中对应的第二真实坐标值；
根据所述第二真实坐标值确定所述机器人的运动位置；
基于所述视觉装置的相机内参、旋转矩阵和平移矩阵，根据所述第二真实坐标值，获取所述第二真实坐标值在所述图像中特征点对应的第二像素坐标值；
根据所述图像中特征点对应的第一像素坐标值和所述第二像素坐标值建立优化函数；
根据所述优化函数更新所述视觉装置的所述相机内参、所述旋转矩阵和所述平移矩阵。
在一些实施方式中，处理器301在获取所述机器人上的视觉装置拍摄的图像过程中，执行：
控制所述机器人的视觉装置对预设模板进行拍摄，得到所述图像，所述预设模板包括至少一个特征点；
对所述图像中的特征点进行识别，得到所述图像中的特征点。
在一些实施方式中，处理器301在所述方法过程中，还执行：
获取所述视觉装置进行标定后初始内参作为所述相机内参；
根据所述视觉装置的相机内参和手眼标定原理，获取所述视觉装置的旋转矩阵和平移矩阵。
在一些实施方式中，处理器301在获取标定后的所述视觉装置的相机内参过程中，执行：
根据相机标定原理构建矩阵方程，以获取所述视觉装置的相机内参以及畸变参数；
根据所述畸变参数对所述视觉装置进行对所述特征点的像素坐标值进行畸变校准，获取校准后的所述第一像素坐标值。
在一些实施方式中，处理器301在所述根据相机标定原理构建矩阵方程，以获取所述视觉装置的相机内参以及畸变参数过程中，执行：
从多个角度对黑白标定板进行拍摄，选取从多个角度拍摄的多幅图像；
采用所述多幅图像利用张正友相机标定方式构建矩阵方程，对所述矩阵方程求解，得到所述视觉装置的相机内参以及畸变参数。
在一些实施方式中，处理器301在所述根据所述图像中特征点对应的第一像素坐标值和所述第二像素坐标值建立优化函数过程中，执行：
根据所述第一像素坐标值和所述第二像素坐标值计算所述图像中特征点在像素平面上的成像点坐标和通过量测得到的视觉投影点坐标之间的误差，构建所述优化函数。
在一些实施方式中，处理器301在根据所述误差构建所述优化函数过程中，执行：
根据所述误差和鲁棒核函数，构建所述优化函数。
在一些实施方式中，处理器301在所述根据所述优化函数更新所述视觉装置的所述相机内参、所述旋转矩阵和所述平移矩阵过程中，执行：
根据所述优化函数，构建非线性优化模型；
根据所述非线性优化模型，利用非线性优化更新所述视觉装置的所述相机内参、所述旋转矩阵和所述平移矩阵。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端的具体工作过程，可以参考前述视觉定位方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如本申请说明书实施例提供的任一项视觉定位方法的步骤。
其中，存储介质可以是前述实施例的终端的内部存储单元，例如终端内存。存储介质也可以是终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上，仅为本申请的具体实施例，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视觉定位方法，其特征在于，所述方法包括：
获取机器人上的视觉装置拍摄的图像，以及获取所述图像中特征点的第一像素坐标值和所述第一像素坐标值在真实世界坐标系中对应的第一真实坐标值；
基于所述视觉装置的相机内参、旋转矩阵和平移矩阵，根据所述特征点的第一像素坐标值，获取所述第一像素坐标值在真实世界坐标系中对应的第二真实坐标值；
根据所述第二真实坐标值确定所述机器人的运动位置；
基于所述视觉装置的相机内参、旋转矩阵和平移矩阵，根据所述第二真实坐标值，获取所述第二真实坐标值在所述图像中特征点对应的第二像素坐标值；
根据所述图像中特征点对应的第一像素坐标值和所述第二像素坐标值建立优化函数；
根据所述优化函数更新所述视觉装置的所述相机内参、所述旋转矩阵和所述平移矩阵。
2.根据所述权利要求1所述的方法，其特征在于，所述获取所述机器人上的视觉装置拍摄的图像，包括：
控制所述机器人的视觉装置对预设模板进行拍摄，得到所述图像，所述预设模板包括至少一个特征点；
对所述图像中的特征点进行识别，得到所述图像中的特征点。
3.根据所述权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述视觉装置进行标定后初始内参作为所述相机内参；
根据所述视觉装置的相机内参和手眼标定原理，获取所述视觉装置的旋转矩阵和平移矩阵。
4.根据所述权利要求3所述的方法，其特征在于，获取标定后的所述视觉装置的相机内参，包括：
根据相机标定原理构建矩阵方程，以获取所述视觉装置的相机内参以及畸变参数；
根据所述畸变参数对所述视觉装置进行对所述特征点的像素坐标值进行畸变校准，获取校准后的所述第一像素坐标值。
5.根据所述权利要求4所述的方法，其特征在于，所述根据相机标定原理构建矩阵方程，以获取所述视觉装置的相机内参以及畸变参数，包括：
从多个角度对黑白标定板进行拍摄，选取从多个角度拍摄的多幅图像；
采用所述多幅图像利用张正友相机标定方式构建矩阵方程，对所述矩阵方程求解，得到所述视觉装置的相机内参以及畸变参数。
6.根据所述权利要求1所述的方法，其特征在于，所述根据所述图像中特征点对应的第一像素坐标值和所述第二像素坐标值建立优化函数，包括：
根据所述第一像素坐标值和所述第二像素坐标值计算所述图像中特征点在像素平面上的成像点坐标和通过量测得到的视觉投影点坐标之间的误差，构建所述优化函数。
7.根据所述权利要求6所述的方法，其特征在于，根据所述误差构建所述优化函数，包括：
根据所述误差和鲁棒核函数，构建所述优化函数。
8.根据所述权利要求1所述的方法，其特征在于，所述根据所述优化函数更新所述视觉装置的所述相机内参、所述旋转矩阵和所述平移矩阵，包括：
根据所述优化函数，构建非线性优化模型；
根据所述非线性优化模型，利用非线性优化更新所述视觉装置的所述相机内参、所述旋转矩阵和所述平移矩阵。
9.一种机器人，其特征在于，所述终端包括处理器、存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至8中任一项所述的视觉定位方法。
10.一种计算机存储介质，用于计算机存储，其特征在于，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至8中任一项所述的视觉定位方法的步骤。
CN202211696821.4A 2022-12-28 2022-12-28 一种视觉定位方法、终端及存储介质 Pending CN116051634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211696821.4A CN116051634A (zh) 2022-12-28 2022-12-28 一种视觉定位方法、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211696821.4A CN116051634A (zh) 2022-12-28 2022-12-28 一种视觉定位方法、终端及存储介质

Publications (1)

Publication Number Publication Date
CN116051634A true CN116051634A (zh) 2023-05-02

Family

ID=86114036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211696821.4A Pending CN116051634A (zh) 2022-12-28 2022-12-28 一种视觉定位方法、终端及存储介质

Country Status (1)

Country Link
CN (1) CN116051634A (zh)

Similar Documents

Publication Publication Date Title
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
CN109840884B (zh) 一种图像拼接方法、装置及电子设备
CN111263142B (zh) 一种摄像模组光学防抖的测试方法、装置、设备及介质
CN109544643B (zh) 一种摄像机图像校正方法及装置
KR102608956B1 (ko) 스테레오 이미지의 정류를 위한 방법 및 시스템
CN106570907B (zh) 一种相机标定方法及装置
CN113920205B (zh) 一种非同轴相机的标定方法
CN112446917B (zh) 一种姿态确定方法及装置
CN112802124A (zh) 多台立体相机的标定方法及装置、电子设备及存储介质
KR20120023052A (ko) 3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치
CN115457147A (zh) 相机标定方法、电子设备及存储介质
CN114549652A (zh) 一种相机标定方法、装置、设备及计算机可读介质
CN112270719A (zh) 相机标定方法、装置及系统
CN113920206A (zh) 透视移轴相机的标定方法
JP2016218815A (ja) ラインセンサカメラのキャリブレーション装置及び方法
CN107067441B (zh) 摄像机标定方法及装置
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
JP7044016B2 (ja) ラインセンサカメラのキャリブレーション装置及び方法
CN113407030B (zh) 视觉定位方法及相关装置、设备和存储介质
JP2008298589A (ja) 位置検出装置及び位置検出方法
CN114018212B (zh) 面向球型摄像机单目测距的俯仰角校正方法及系统
CN115713564A (zh) 相机标定方法及装置
CN116012242A (zh) 一种相机畸变矫正效果评价方法、装置、介质及设备
CN116051634A (zh) 一种视觉定位方法、终端及存储介质
CN113635299B (zh) 一种机械臂的校正方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination