CN111915684A - 坐标转换矩阵的确定方法及装置、存储介质、电子装置 - Google Patents
坐标转换矩阵的确定方法及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN111915684A CN111915684A CN202010814107.5A CN202010814107A CN111915684A CN 111915684 A CN111915684 A CN 111915684A CN 202010814107 A CN202010814107 A CN 202010814107A CN 111915684 A CN111915684 A CN 111915684A
- Authority
- CN
- China
- Prior art keywords
- calibration
- coordinate data
- calibration device
- coordinates
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000009466 transformation Effects 0.000 title claims abstract description 54
- 238000003062 neural network model Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 14
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000012636 effector Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种坐标转换矩阵的确定方法及装置、存储介质、电子装置，上述方法包括：获取标定板上多个标识信息的多个三维坐标数据，以及标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，其中，所述多个标识信息分别对应设置在所述多个位置；根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，其中，所述坐标转换矩阵用于将深度相机输出的三维坐标数据以及标定设备坐标进行转换，采用上述技术方案，解决了相关技术中在3D深度相机精度不高的情况下，通过标定设备(例如，机器人)实现手眼标定的精度不高等问题。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种坐标转换矩阵的确定方法及装置、存储介质、电子装置。
背景技术
在控制机器人与深度相机坐标系的标定过程中，通过深度相机识别检测物体，控制机器人抓取目标，但这个抓取过程会存在精度不高等问题。
相关技术中提供了一种技术方案：机器人带着标定移动多个位置，通过三个坐标系的转换求出机器人与深度相机坐标系变换关系，例如，
其中：T为机器人与深度相机坐标系变换，建立多个等式可T求出矩阵；其中：每次移动一个位置即可得到相应的坐标系变换矩阵，建立等式多次可T求出矩阵，但该方案使用眼在手外标定方法，必须计算出实际的
很难通过2维标定板确定相机与标定板之间的关系，就需要假定一个相机也存在一个类似的坐标系，是不合理的，且计算繁琐。
相关技术中还提供了一种技术方案，获取机器人法兰盘相对于机器人基坐标的姿态和标定板相对于3D传感器坐标系的姿态；计算3D传感器坐标系相对于机器人基坐标系的旋转矩阵；获取工件抓取点在3D传感器坐标系中的多组坐标数据，和在机器人底座基坐标系中对应的多组坐标数据；计算3D传感器坐标系和机器人基坐标系的XYZ坐标轴的转换关系，但该方案在3维点云上直接提取特征数据，对3D摄像机的采集精度要求比较高，否则误差会比较大。
针对相关技术中，在3D深度相机精度不高的情况下，通过标定设备(例如，机器人)实现手眼标定的精度不高等问题，尚未提出有效的技术方案。
发明内容
本发明实施例提供了一种坐标转换矩阵的确定方法及装置、存储介质、电子装置，以至少解决相关技术中在3D深度相机精度不高的情况下，通过标定设备(例如，机器人)实现手眼标定的精度不高等问题。
本发明实施例提供了一种坐标转换矩阵的确定方法，包括：获取标定板上多个标识信息的多个三维坐标数据，以及标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，其中，所述多个标识信息分别对应设置在所述多个位置；根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，其中，所述坐标转换矩阵用于将深度相机输出的三维坐标数据以及标定设备坐标进行转换。
在本发明一可选实施例中，根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，包括：根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，得到训练结果；从所述训练结果提取所述神经网络模型对应的权重参数；根据所述权重参数确定所述坐标转换矩阵。
在本发明一可选实施例中，获取标定板上多个标识信息的多个三维坐标数据，包括：对所述标定板对应的二维图像和深度图像进行标定，以确定所述二维图像和深度图像的映射关系；根据所述映射关系确定与所述多个标识信息对应的多个三维数据。
在本发明一可选实施例中，获取标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，包括：获取所述多个位置中至少两个位置的位置信息；根据所述至少两个位置的位置信息确定所述多个标定设备坐标。
在本发明一可选实施例中，获取标定板上多个标识信息的多个三维坐标数据，以及标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，包括：确定所述标定板上的初始位置，获取所述初始位置上的第一标识信息对应的第一三维坐标数据，以及所述标定设备移动至所述初始位置上时，所述标定设备对应的第一标定设备坐标；获取步骤：将所述标定设备移动至所述初始位置的下一位置，获取所述下一位置上的第二标识信息对应的第二三维坐标数据，以及所述标定设备移动至所述下一位置上时，所述标定设备对应的第二标定设备坐标；循环执行所述获取步骤，以确定所述多个坐标数据和所述多个标定设备坐标，所述多个三维坐标数据包括：所述第一三维坐标数据，所述第二三维坐标数据，所述多个标定设备坐标包括：所述第一标定设备坐标，所述第二标定设备坐标。
在本发明一可选实施例中，根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵之后，所述方法还包括：获取深度相机采集到的三维点云数据；根据所述坐标转换矩阵将所述三维点云数据转换为目标标定设备坐标数据；根据所述目标标定设备坐标数据指示所述标定设备移动至所述目标标定设备坐标数据所指示的位置。
根据本发明的另一个实施例，还提供了一种坐标转换矩阵的确定装置，包括：获取模块，用于获取标定板上多个标识信息的多个三维坐标数据，以及标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，其中，所述多个标识信息分别对应设置在所述多个位置；确定模块，用于根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，其中，所述坐标转换矩阵用于将深度相机输出的三维坐标数据以及标定设备坐标进行转换。
在本发明一可选实施例中，所述确定模块，用于根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，得到训练结果；从所述训练结果提取所述神经网络模型对应的权重参数；根据所述权重参数确定所述坐标转换矩阵。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，能够将获取到的多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，进而根据确定的坐标转换矩阵来执行后续的深度相机输出的三维坐标数据以及标定设备坐标的转换过程，进而就能够实现深度相机与标定设备的手眼标定过程，采用上述技术方案，解决了相关技术中，在3D深度相机精度不高的情况下，通过标定设备(例如，机器人)实现手眼标定的精度不高等问题，提供了深度相机与标定设备的手眼标定过程的精度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种坐标转换矩阵的确定的计算机终端的硬件结构框图；
图2为根据本发明实施例的坐标转换矩阵的确定方法的流程图；
图3为根据本发明可选实施例的坐标转换矩阵的确定方法的应用示意图；
图4为根据本发明可选实施例的标定板的示意图；
图5是根据本发明可选实施例的坐标转换矩阵的流程示意图；
图6是根据本发明可选实施例的目标神经网络模型的应用示意图；
图7为根据本发明实施例的坐标转换矩阵的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例所提供的方法实施例可以在计算机终端，或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种坐标转换矩阵的确定方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的坐标转换矩阵的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
根据本发明的一个实施例，提供了一种坐标转换矩阵的确定方法，应用于上述计算机终端，图2为根据本发明实施例的坐标转换矩阵的确定方法的流程图，如图2所示，包括：
步骤S102，获取标定板上多个标识信息的多个三维坐标数据，以及标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，其中，所述多个标识信息分别对应设置在所述多个位置；
步骤S104，根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，其中，所述坐标转换矩阵用于将深度相机输出的三维坐标数据以及标定设备坐标进行转换。
通过本发明，能够将获取到的多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，进而根据确定的坐标转换矩阵来执行后续的深度相机输出的三维坐标数据以及标定设备坐标的转换过程，进而就能够准确的实现深度相机与标定设备的手眼标定过程，采用上述技术方案，解决了相关技术中，在3D深度相机精度不高的情况下，通过标定设备(例如，机器人)实现手眼标定的精度不高等问题，提供了深度相机与标定设备的手眼标定过程的精度。
在一个可选实施例中，上述坐标转换矩阵可以是通过神经网络模型的权重参数确定的，可选地，根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，得到训练结果；从所述训练结果提取所述神经网络模型对应的权重参数；根据所述权重参数确定所述坐标转换矩阵，即可以通过训练结果中指示的权重参数来确定坐标转换矩阵，具体可以是将权重参数直接作为坐标变化矩阵的参数，或者将权重参数进行变化后得到的参数作为坐标变化矩阵的参数。
进一步地，在确定了坐标变换矩阵后，获取深度相机采集到的三维点云数据；根据所述坐标转换矩阵将所述三维点云数据转换为目标标定设备坐标数据；根据所述目标标定设备坐标数据指示所述标定设备移动至所述目标标定设备坐标数据所指示的位置，进而实现了深度相机和目标标定设备的手眼标定过程。
上述步骤S102中获取多个三维坐标数据的实现方式有多种，在一个可选实施例中，对所述标定板对应的二维图像和深度图像进行标定，以确定所述二维图像和深度图像的映射关系；根据所述映射关系确定与所述多个标识信息对应的多个三维数据，即可以先对标定板的二维图像(也可以理解为RGB图像)和深度相机对标定板进行拍照所得到的深度图像进行标定，以确定二维图像和深度图像的映射关系，由于标识信息是位于标定板的，可以理解为是一种二维图像，那么就能够根据标识信息，二维图像和深度图像的映射关系，确定标识信息对应的三维数据，三维数据可以理解成是深度图像的一种体现形式。
上述步骤S102中获取多个标定设备数据的实现方式有多种，在本发明一可选实施例中，获取所述多个位置中至少两个位置的位置信息；根据所述至少两个位置的位置信息确定所述多个标定设备坐标，在标定板为多边体的情况下，两个位置可以优选为对角线的两个位置，进而根据对角线的两个位置的位置信息确定多个标定设备坐标，本发明实施例对标定设备坐标的获取方式有多种，本发明实施例对此不进行限定。
上述多个标识信息和多个标定设备坐标是需要按照逐一确定的方式来实现的，例如，确定所述标定板上的初始位置，获取所述初始位置上的第一标识信息对应的第一三维坐标数据，以及所述标定设备移动至所述初始位置上时，所述标定设备对应的第一标定设备坐标；获取步骤：将所述标定设备移动至所述初始位置的下一位置，获取所述下一位置上的第二标识信息对应的第二三维坐标数据，以及所述标定设备移动至所述下一位置上时，所述标定设备对应的第二标定设备坐标；循环执行所述获取步骤，以确定所述多个坐标数据和所述多个标定设备坐标，所述多个三维坐标数据包括：所述第一三维坐标数据，所述第二三维坐标数据，所述多个标定设备坐标包括：所述第一标定设备坐标，所述第二标定设备坐标。
即在本发明实施例中，可以依次在标定板上的多个标识信息进行标定，即标定板的一个位置上，对应有一个标识信息以及一个三维坐标数据。
综上，通过上述技术方案，通过神经网络模型来拟合标定数据，可以克服相机尺度或其他相机本身的非线性误差，进而实现拟合相机坐标系与机器人坐标系。
以下结合几个可选实施例对上述坐标变换矩阵的确定流程进行解释说明，但不用于限定本发明实施例的技术方案。
本发明实施例中的手眼标定装置如图3所示，以标定设备为机器人为例，在附图3中，标定板固定在机器人的法兰盘末端，标定板如图4所示，有9个aruco码(相当于上述实施例的标识信息)，标定板的中心位置放置吸盘或机器人末端执行器(例如，机器人抓手等)，图4中的9个aruco的编码数字是相同的，且对称分布，需要说明的是，在实际操作过程中，标定板中的aruco码可以部分相同，部分不同，也可以完全不同，本发明实施例对此不进行限定，理论上知道任意两个aruco码的位置即可知道末端执行器的中心坐标(相当于上述实施例的标定设备数据)，为了消除误差，可以取对称两个aruco码的位置来确定末端执行器的中心坐标为最佳。可以消除一定的误差。
基于附图3和4所示的应用场景，本发明实施例提供了一种坐标变化矩阵的确定流程示意图，如图5所示，包括以下步骤：
步骤1：进行RGB图像(可以理解为是二维图像)与深度图像进行标定，得到二维图像和深度图像的映射关系，在本发明实施例中，使用正常的标定程序即可；
步骤2：通过RGB相机来识别采集图像，识别标定板上的aruco码，实际操作过程中，由于机器人的遮挡，9个aruco码无法完全被采集识别，但是可以至少识别2个Aruco码，根据识别出的Aruco码的二维图像，以及步骤1中确定的映射关系确定所述Aruco码的三维坐标数据，同时获取机器人坐标系的末端执行器的位置坐标(相当于上述实施例的标定设备坐标数据)，步骤2具体可以通过以下方案实现：
1)：采集RGB图像，对图像进行灰度化、二值化处理，得到二值化图像；
2)：提取二值化图像轮廓，根据先验规则对轮廓进行剔除，其中，先验规则包括轮廓是否接近正方形、过小轮廓、过大轮廓、轮廓间距；
3)：对于每个marker四边形轮廓，根据轮廓和已知标记信息，将其分为不同单元格并计算每个单元格内的像素值，确认是否属于预设的码值；
4)：获取并查找每个对称marker四边形轮廓的角点信息，并通过步骤1中确定的映射关系计算焦点信息对应的3D坐标点，并记录机械臂坐标系下的末端执行器的位置信息。
步骤3：将机器人移动至标定板中的下一个位置，重复第2步，在机器人运动空间下，记录多组点云数据。
步骤4：由于进行步骤1的标定过程后，深度图像的深度信息发生尺度放缩，同时深度相机本身也有，本发明实施例中使用神经网络进行拟合数据。
如图6所示，建立4层神经网络模型，对所采集的数据进行训练，输入数据为相机坐标系下的数据，输出数据为机器人坐标下的数据，进行训练得到训练权值参数，在附图6中，隐含层1的个数为20个，隐含层2的个数为10个，采用输入数据为相机坐标系下的数据，输出数据为机器人坐标下的数据对四层神经网络模型进行训练。
步骤5：通过这些权值参数即可建立相机坐标系到机器人坐标系的映射关系，即坐标转换矩阵。
即在本发明实施例中，通过神经网络模型的训练结果，得到隐含层矩阵即为需要的坐标转换矩阵，那么后续通过输入3D相机采集的点云坐标，即可转换到机械臂坐标下，实现3D相机和机械臂的联动。
综上，通过上述技术方案，标定过程无多个坐标系的变换误差传递，直接对机器人坐标系与相机坐标的拟合无链式误差传递；使用神经网络拟合标定数据，可以克服相机尺度或其他相机本身的非线性误差，在工作空间内，相机坐标系与机器人坐标系拟合会更好。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种坐标转换矩阵的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7为根据本发明实施例的坐标转换矩阵的确定装置，如图7所示，包括：
获取模块70，用于获取标定板上多个标识信息的多个三维坐标数据，以及标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，其中，所述多个标识信息分别对应设置在所述多个位置；
确定模块72，用于根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，其中，所述坐标转换矩阵用于将深度相机输出的三维坐标数据以及标定设备坐标进行转换。
通过本发明，能够将获取到的多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，进而根据确定的坐标转换矩阵来执行后续的深度相机输出的三维坐标数据以及标定设备坐标的转换过程，进而就能够准确的实现深度相机与标定设备的手眼标定过程，采用上述技术方案，解决了相关技术中，在3D深度相机精度不高的情况下，通过标定设备(例如，机器人)实现手眼标定的精度不高等问题，提供了深度相机与标定设备的手眼标定过程的精度。
在本发明一可选实施例中，所述确定模块72，用于根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，得到训练结果；从所述训练结果提取所述神经网络模型对应的权重参数；根据所述权重参数确定所述坐标转换矩阵。
在一个可选实施例中，上述坐标转换矩阵可以是通过神经网络模型的权重参数确定的，即可以通过训练结果中指示的权重参数来确定坐标转换矩阵，具体可以是将权重参数直接作为坐标变化矩阵的参数，或者将权重参数进行变化后得到的参数作为坐标变化矩阵的参数。
进一步地，在确定了坐标变换矩阵后，确定模块，还用于获取深度相机采集到的三维点云数据；根据所述坐标转换矩阵将所述三维点云数据转换为目标标定设备坐标数据；根据所述目标标定设备坐标数据指示所述标定设备移动至所述目标标定设备坐标数据所指示的位置，进而实现了深度相机和目标标定设备的手眼标定过程。
在一个可选实施例中，获取模块，还用于对所述标定板对应的二维图像和深度图像进行标定，以确定所述二维图像和深度图像的映射关系；根据所述映射关系确定与所述多个标识信息对应的多个三维数据，即可以先对标定板的二维图像(也可以理解为RGB图像)和深度相机对标定板进行拍照所得到的深度图像进行标定，以确定二维图像和深度图像的映射关系，由于标识信息是位于标定板的，可以理解为是一种二维图像，那么就能够根据标识信息，二维图像和深度图像的映射关系，确定标识信息对应的三维数据，三维数据可以理解成是深度图像的一种体现形式。
在本发明一可选实施例中，获取模块，还用于获取所述多个位置中至少两个位置的位置信息；根据所述至少两个位置的位置信息确定所述多个标定设备坐标，在标定板为多边体的情况下，两个位置可以优选为对角线的两个位置，进而根据对角线的两个位置的位置信息确定多个标定设备坐标，本发明实施例对标定设备坐标的获取方式有多种，本发明实施例对此不进行限定。
上述多个标识信息和多个标定设备坐标是需要按照逐一确定的方式来实现的，例如，确定模块，还用于确定所述标定板上的初始位置，获取所述初始位置上的第一标识信息对应的第一三维坐标数据，以及所述标定设备移动至所述初始位置上时，所述标定设备对应的第一标定设备坐标；获取步骤：将所述标定设备移动至所述初始位置的下一位置，获取所述下一位置上的第二标识信息对应的第二三维坐标数据，以及所述标定设备移动至所述下一位置上时，所述标定设备对应的第二标定设备坐标；循环执行所述获取步骤，以确定所述多个坐标数据和所述多个标定设备坐标，所述多个三维坐标数据包括：所述第一三维坐标数据，所述第二三维坐标数据，所述多个标定设备坐标包括：所述第一标定设备坐标，所述第二标定设备坐标。
即在本发明实施例中，可以依次在标定板上的多个标识信息进行标定，即标定板的一个位置上，对应有一个标识信息以及一个三维坐标数据。
综上，通过上述技术方案，通过神经网络模型来拟合标定数据，可以克服相机尺度或其他相机本身的非线性误差，进而实现拟合相机坐标系与机器人坐标系。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取标定板上多个标识信息的多个三维坐标数据，以及标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，其中，所述多个标识信息分别对应设置在所述多个位置；
S2，根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，其中，所述坐标转换矩阵用于将深度相机输出的三维坐标数据以及标定设备坐标进行转换。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取标定板上多个标识信息的多个三维坐标数据，以及标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，其中，所述多个标识信息分别对应设置在所述多个位置；
S2，根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，其中，所述坐标转换矩阵用于将深度相机输出的三维坐标数据以及标定设备坐标进行转换。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种坐标转换矩阵的确定方法，其特征在于，包括：
获取标定板上多个标识信息的多个三维坐标数据，以及标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，其中，所述多个标识信息分别对应设置在所述多个位置；
根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，其中，所述坐标转换矩阵用于将深度相机输出的三维坐标数据以及标定设备坐标进行转换。
2.根据权利要求1所述的方法，其特征在于，根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，包括：
根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，得到训练结果；
从所述训练结果提取所述神经网络模型对应的权重参数；
根据所述权重参数确定所述坐标转换矩阵。
3.根据权利要求1所述的方法，其特征在于，获取标定板上多个标识信息的多个三维坐标数据，包括：
对所述标定板对应的二维图像和深度图像进行标定，以确定所述二维图像和深度图像的映射关系；
根据所述映射关系确定与所述多个标识信息对应的多个三维数据。
4.根据权利要求1所述的方法，其特征在于，获取标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，包括：
获取所述多个位置中至少两个位置的位置信息；
根据所述至少两个位置的位置信息确定所述多个标定设备坐标。
5.根据权利要求1所述的方法，其特征在于，获取标定板上多个标识信息的多个三维坐标数据，以及标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，包括：
确定所述标定板上的初始位置，获取所述初始位置上的第一标识信息对应的第一三维坐标数据，以及所述标定设备移动至所述初始位置上时，所述标定设备对应的第一标定设备坐标；
获取步骤：将所述标定设备移动至所述初始位置的下一位置，获取所述下一位置上的第二标识信息对应的第二三维坐标数据，以及所述标定设备移动至所述下一位置上时，所述标定设备对应的第二标定设备坐标；
循环执行所述获取步骤，以确定所述多个坐标数据和所述多个标定设备坐标，所述多个三维坐标数据包括：所述第一三维坐标数据，所述第二三维坐标数据，所述多个标定设备坐标包括：所述第一标定设备坐标，所述第二标定设备坐标。
6.根据权利要求1所述的方法，其特征在于，根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵之后，所述方法还包括：
获取深度相机采集到的三维点云数据；
根据所述坐标转换矩阵将所述三维点云数据转换为目标标定设备坐标数据；
根据所述目标标定设备坐标数据指示所述标定设备移动至所述目标标定设备坐标数据所指示的位置。
7.一种坐标转换矩阵的确定装置，其特征在于，包括：
获取模块，用于获取标定板上多个标识信息的多个三维坐标数据，以及标定设备在移动至所述标定板的多个位置上时，所述标定设备对应的多个标定设备坐标，其中，所述多个标识信息分别对应设置在所述多个位置；
确定模块，用于根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，以确定所述神经网络模型对应的坐标转换矩阵，其中，所述坐标转换矩阵用于将深度相机输出的三维坐标数据以及标定设备坐标进行转换。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，用于根据所述多个三维坐标数据和所述多个标定设备坐标对神经网络模型进行训练，得到训练结果；从所述训练结果提取所述神经网络模型对应的权重参数；根据所述权重参数确定所述坐标转换矩阵。
9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010814107.5A CN111915684A (zh) | 2020-08-13 | 2020-08-13 | 坐标转换矩阵的确定方法及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010814107.5A CN111915684A (zh) | 2020-08-13 | 2020-08-13 | 坐标转换矩阵的确定方法及装置、存储介质、电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111915684A true CN111915684A (zh) | 2020-11-10 |
Family
ID=73284642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010814107.5A Pending CN111915684A (zh) | 2020-08-13 | 2020-08-13 | 坐标转换矩阵的确定方法及装置、存储介质、电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915684A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017118396A (ja) * | 2015-12-25 | 2017-06-29 | Kddi株式会社 | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 |
| CN109978956A (zh) * | 2019-03-22 | 2019-07-05 | 新华三技术有限公司 | 采集设备的标定方法、装置及标定系统 |
| CN110757462A (zh) * | 2019-11-15 | 2020-02-07 | 上海威士顿信息技术股份有限公司 | 一种机器人手眼标定方法、系统及存储介质 |
| CN110991227A (zh) * | 2019-10-23 | 2020-04-10 | 东北大学 | 一种基于深度类残差网络的三维物体识别和定位方法 |
| CN111325659A (zh) * | 2020-02-19 | 2020-06-23 | 北京迈格威科技有限公司 | 三维人像的获取方法、视频分析方法、装置、设备和介质 |
| CN111340864A (zh) * | 2020-02-26 | 2020-06-26 | 浙江大华技术股份有限公司 | 基于单目估计的三维场景融合方法及装置 |
-
2020
- 2020-08-13 CN CN202010814107.5A patent/CN111915684A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017118396A (ja) * | 2015-12-25 | 2017-06-29 | Kddi株式会社 | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 |
| CN109978956A (zh) * | 2019-03-22 | 2019-07-05 | 新华三技术有限公司 | 采集设备的标定方法、装置及标定系统 |
| CN110991227A (zh) * | 2019-10-23 | 2020-04-10 | 东北大学 | 一种基于深度类残差网络的三维物体识别和定位方法 |
| CN110757462A (zh) * | 2019-11-15 | 2020-02-07 | 上海威士顿信息技术股份有限公司 | 一种机器人手眼标定方法、系统及存储介质 |
| CN111325659A (zh) * | 2020-02-19 | 2020-06-23 | 北京迈格威科技有限公司 | 三维人像的获取方法、视频分析方法、装置、设备和介质 |
| CN111340864A (zh) * | 2020-02-26 | 2020-06-26 | 浙江大华技术股份有限公司 | 基于单目估计的三维场景融合方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 马世超等: ""基于感兴趣区域的机器人抓取系统"", 《科学技术与工程》, vol. 20, no. 11, 30 November 2010 (2010-11-30), pages 1 - 9 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563923B (zh) | 获得稠密深度图的方法及相关装置 | |
| DE102019130046B4 (de) | Robotersytem mit verbessertem Abtastmechanismus | |
| CN109270534B (zh) | 一种智能车激光传感器与相机在线标定方法 | |
| KR20180120647A (ko) | 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법 | |
| EP2833323A2 (en) | Associating a code with an object | |
| CN110470333B (zh) | 传感器参数的标定方法及装置、存储介质和电子装置 | |
| CN110991227B (zh) | 一种基于深度类残差网络的三维物体识别和定位方法 | |
| DE102020116803A1 (de) | System und verfahren zur objekterkennung auf der grundlage von bilddaten | |
| CN106323286B (zh) | 一种机器人坐标系与三维测量坐标系的变换方法 | |
| CN111862180A (zh) | 一种相机组位姿获取方法、装置、存储介质及电子设备 | |
| CN112659129B (zh) | 机器人的定位方法、装置、系统和计算机设备 | |
| CN113907645A (zh) | 移动机器人的定位方法及装置、存储介质及电子装置 | |
| CN112393735A (zh) | 定位方法及装置、存储介质、电子装置 | |
| JP2019109200A (ja) | 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム | |
| CN111654828B (zh) | 基于5g的无线数据采集装置 | |
| CN109636856A (zh) | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 | |
| CN111915684A (zh) | 坐标转换矩阵的确定方法及装置、存储介质、电子装置 | |
| CN116477262A (zh) | 机器人取货方法、装置、计算机可读存储介质和仓储系统 | |
| CN110167721B (zh) | 机器人系统及自动校准方法、存储装置 | |
| CN112847350B (zh) | 手眼标定方法、系统、计算机设备和存储介质 | |
| CN105959121B (zh) | 一种具有身份验证功能的移动终端 | |
| CN111178299B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN112163519A (zh) | 图像映射处理方法、装置、存储介质及电子装置 | |
| CN112149442B (zh) | 畸变二维码的识别方法和装置、存储介质及电子装置 | |
| CN115493512B (zh) | 数据处理方法、三维扫描系统、电子装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |