CN114022692A - 一种高效精确的误差数据表示方法及终端 - Google Patents
一种高效精确的误差数据表示方法及终端 Download PDFInfo
- Publication number
- CN114022692A CN114022692A CN202210009456.9A CN202210009456A CN114022692A CN 114022692 A CN114022692 A CN 114022692A CN 202210009456 A CN202210009456 A CN 202210009456A CN 114022692 A CN114022692 A CN 114022692A
- Authority
- CN
- China
- Prior art keywords
- light camera
- imaging
- structured light
- matrix
- error data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种高效精确的误差数据表示方法及终端，其方法包括步骤:根据实际结构光相机的参数文件，构造一个虚拟结构光相机；根据成像原理公式，模拟工件模板所对应的标准模型在所述虚拟结构光相机的成像投影过程，得到所述标准模型在所述虚拟结构光相机的视角下的成像图；根据实际结构光相机采集当前工件的点云图，将所述点云图与所述成像图进行像素点的匹配，得到对比后的误差数据。本发明能够准确的表示出当前工件的实际点云数据和工件模板数据的误差数据和配准结果。
Description
技术领域
本发明属于机器人控制技术领域，具体涉及一种高效精确的误差数据表示方法及终端。
背景技术
在目前的机器人自动化装配过程中，工件的三维点云数据采集与工件位姿识别是机器人进行夹取等相关操作的前提。在工件位姿识别与配准的过程中，如何判断工件位姿与模板是否匹配是确定配准结果的重要环节。目前存在的误差表示方法多从工件实际点云数据本身出发，简单的对比其投影出的点云图与工件模板的数值差异。这样的表示方法由于无法准确模拟出工件模板在相机视角下的成像数据，缺少工件模板在相机视野下的深度值信息的对比，在与实际工件点云数据对比时会造成较大的差异，得到的误差数据和配准结果准确度较低。
发明内容
本发明的目的是提供一种高效精确的误差数据表示方法及终端，能够有效的为检测工件位姿配准提供判断依据。
为了解决上述技术问题，本发明公开了一种高效精确的误差数据表示方法，包括以下步骤：
S1、根据实际结构光相机的参数文件，构造一个虚拟结构光相机；
S2、根据成像原理公式，模拟工件模板所对应的标准模型在所述虚拟结构光相机的成像投影过程，得到所述标准模型在所述虚拟结构光相机的视角下的成像图；
S3、根据实际结构光相机采集当前工件的点云图，将所述点云图与所述成像图进行像素点的匹配，得到对比后的误差数据。
进一步地，所述步骤S1具体为：
获取实际结构光相机的内参矩阵与外参矩阵；
根据所述外参矩阵构建虚拟结构光相机的观察矩阵；
根据所述内参矩阵构建所述虚拟结构光相机的投影矩阵。
进一步地，所述步骤S2具体为：
S21、根据成像原理公式，计算出所述虚拟结构光相机下工件模板所对应的标准模型的投影像素图；
S22、读取所述投影像素图中每个像素点对应的坐标点的深度值，将所有像素点的颜色值保存成深度图的格式，以得到所述标准模型在所述虚拟结构光相机的视角下的成像图。
进一步地，所述成像原理公式具体为：
Vclip=Mprojection*Mview *Mmodle *Vlocal；
式中，Vclip为像素点在成像坐标系下的坐标，Mprojection为投影矩阵，Mview 为观察矩阵，Mmodle为模型矩阵，其默认值为一个单位矩阵，Vlocal像素点在世界坐标系下的坐标。
进一步地，所述步骤S3具体为：
S31、根据实际结构光相机采集当前工件的点云图；
S32、创建一张与所述成像图同样大小的匹配图像，所述匹配图像上的每个像素点的颜色值默认为0；
S33、对所述成像图的每个像素点进行遍历，判断所述像素点的颜色值是否为0，若是，则跳过，否则将所述成像图的这一像素点的颜色值与所述点云图中同一位置的像素点的颜色值进行对比，若差值若小于设定的阈值，则将所述匹配图像上同一位置的像素点的颜色值设为255；
S34、若所述成像图的每个像素点均遍历完，则最终得到的所述匹配图像上的每一个像素点的颜色值对应所述当前工件和所述工件模板的误差数据。
为了解决上述技术问题，本发明公开了一种高效精确的误差数据表示终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1、根据实际结构光相机的参数文件，构造一个虚拟结构光相机；
S2、根据成像原理公式，模拟工件模板所对应的标准模型在所述虚拟结构光相机的成像投影过程，得到所述标准模型在所述虚拟结构光相机的视角下的成像图；
S3、根据实际结构光相机采集当前工件的点云图，将所述点云图与所述成像图进行像素点的匹配，得到对比后的误差数据。
进一步地，所述步骤S1具体为：
获取实际结构光相机的内参矩阵与外参矩阵；
根据所述外参矩阵构建虚拟结构光相机的观察矩阵；
根据所述内参矩阵构建所述虚拟结构光相机的投影矩阵。
进一步地，所述步骤S2具体为：
S21、根据成像原理公式，计算出所述虚拟结构光相机下工件模板所对应的标准模型的投影像素图；
S22、读取所述投影像素图中每个像素点对应的坐标点的深度值，将所有像素点的颜色值保存成深度图的格式，以得到所述标准模型在所述虚拟结构光相机的视角下的成像图。
进一步地，所述成像原理公式具体为：
Vclip=Mprojection*Mview *Mmodle *Vlocal；
式中，Vclip为像素点在成像坐标系下的坐标，Mprojection为投影矩阵，Mview 为观察矩阵，Mmodle为模型矩阵，其默认值为一个单位矩阵，Vlocal像素点在世界坐标系下的坐标。
进一步地，所述步骤S3具体为：
S31、根据实际结构光相机采集当前工件的点云图；
S32、创建一张与所述成像图同样大小的匹配图像，所述匹配图像上的每个像素点的颜色值默认为0；
S33、对所述成像图的每个像素点进行遍历，判断所述像素点的颜色值是否为0，若是，则跳过，否则将所述成像图的这一像素点的颜色值与所述点云图中同一位置的像素点的颜色值进行对比，若差值若小于设定的阈值，则将所述匹配图像上同一位置的像素点的颜色值设为255；
S34、若所述成像图的每个像素点均遍历完，则最终得到的所述匹配图像上的每一个像素点的颜色值对应所述当前工件和所述工件模板的误差数据。
本项发明根据实际结构光相机的参数文件，构造一个虚拟结构光相机，并根据成像原理公式，模拟工件模板所对应的标准模型在虚拟结构光相机的成像投影过程，得到标准模型在虚拟结构光相机的视角下的成像图，之后将实际结构光相机采集当前工件的点云图与成像图进行像素点的匹配，得到对比后的误差数据，从而能够准确的表示出当前工件的实际点云数据和工件模板数据的误差数据和配准结果。
附图说明
图1为一种高效精确的误差数据表示方法的流程示意图；
图2为一种高效精确的误差数据表示终端的结构示意图。
1、一种高效精确的误差数据表示终端；2、存储器；3、处理器。
具体实施方式
下面通过实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”，“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例一
如图1所示，一种高效精确的误差数据表示方法，包括以下步骤：
S1、根据实际结构光相机的参数文件，构造一个虚拟结构光相机；
在本实施例中，步骤S1具体为：
S11、获取实际结构光相机的内参矩阵与外参矩阵；
在本实施例中，还读取实际结构光相机采集到的工件位姿矩阵。
S12、根据外参矩阵构建虚拟结构光相机的观察矩阵；
其中，上述步骤S12中需要将OpenCV中的相机坐标系绕X轴旋转180度，得到OpenGL的相机坐标系。
S13、根据内参矩阵构建虚拟结构光相机的投影矩阵。
其中，上述步骤S13中需要根据其相似三角形原理进行换算，将fx,fy,cx,cy转换成OpenGL中投影矩阵的参数。
在步骤S1中还包括以下步骤：
读入工件模板所对应的标准模型的模型文件至内存中。
将模型文件中的顶点信息和面片信息解构，保存成Mesh数组的格式。
在其他实施例中，标准模型的模型文件中的顶点信息和面片信息可以以其他数据结构储存在内存中。
S2、根据成像原理公式，模拟工件模板所对应的标准模型在虚拟结构光相机的成像投影过程，得到标准模型在虚拟结构光相机的视角下的成像图；
在本实施例中，步骤S2具体为：
S21、根据成像原理公式，计算出虚拟结构光相机下工件模板所对应的标准模型的投影像素图；
其中，成像原理公式具体为：
Vclip=Mprojection*Mview *Mmodle *Vlocal；
式中，Vclip为像素点在成像坐标系下的坐标；Mprojection为投影矩阵，将点在相机坐标系下的坐标转换至成像坐标系下的坐标；Mview 为观察矩阵，将点在世界坐标系下的坐标转换至相机坐标系下的坐标；Mmodle为模型矩阵，用于表示模型的缩放、旋转、平移过程，其默认值为一个单位矩阵；Vlocal像素点在世界坐标系下的坐标。
S22、读取投影像素图中每个像素点对应的坐标点的深度值，将所有像素点的颜色值保存成深度图的格式，以得到标准模型在虚拟结构光相机的视角下的成像图。
即每个像素点的颜色值为该像素点在深度图中的深度值。
其中，通过OpenGL中的glReadPixels函数读取投影像素图中每个像素点对应的坐标点的深度值，在其他实施例中，可以使用其他的图像库来代替。
S3、根据实际结构光相机采集当前工件的点云图，将点云图与成像图进行像素点的匹配，得到对比后的误差数据。
在本实施例中，步骤S3具体为：
S31、根据实际结构光相机采集当前工件的点云图；
在采集到当前工件的点云图之后，去除畸变后，保存成三通道图格式，每个像素点的三个通道分别储存了x,y,z坐标值信息。
S32、创建一张与成像图同样大小的匹配图像，匹配图像上的每个像素点的颜色值默认为0；
S33、对成像图的每个像素点进行遍历，判断像素点的颜色值是否为0，若是，则跳过，否则将成像图的这一像素点的颜色值与点云图中同一位置的像素点的颜色值进行对比，若差值若小于设定的阈值，则将匹配图像上同一位置的像素点的颜色值设为255；
其中，若像素点的颜色值为0，则当前像素点对应的坐标点的深度值为最远处，即该像素点为背景点，不属于工件，因此跳过，从而能够快速进行深度值计算，降低整体误差计算的时间，提高工作效率。
S34、若成像图的每个像素点均遍历完，则最终得到的匹配图像上的每一个像素点的颜色值对应当前工件和工件模板的误差数据。
由此，最终得到的匹配图像上每一个不为0的像素点都是一个判断配准到工件上的点，从而通过模拟真实的成像过程，得到准确的对比数据，进而计算出准确的误差数据，根据误差数据表示出准确的配准结果，以有效的为检测工件位姿配准提供判断依据。
实施例二
如图2所述，一种高效精确的误差数据表示终端1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现上述实施例一中的步骤。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的实施例。
Claims (10)
1.一种高效精确的误差数据表示方法，其特征在于，包括以下步骤：
S1、根据实际结构光相机的参数文件，构造一个虚拟结构光相机；
S2、根据成像原理公式，模拟工件模板所对应的标准模型在所述虚拟结构光相机的成像投影过程，得到所述标准模型在所述虚拟结构光相机的视角下的成像图；
S3、根据实际结构光相机采集当前工件的点云图，将所述点云图与所述成像图进行像素点的匹配，得到对比后的误差数据。
2.如权利要求1所述的一种高效精确的误差数据表示方法，其特征在于，所述步骤S1具体为：
获取实际结构光相机的内参矩阵与外参矩阵；
根据所述外参矩阵构建虚拟结构光相机的观察矩阵；
根据所述内参矩阵构建所述虚拟结构光相机的投影矩阵。
3.如权利要求1所述的一种高效精确的误差数据表示方法，其特征在于，所述步骤S2具体为：
S21、根据成像原理公式，计算出所述虚拟结构光相机下工件模板所对应的标准模型的投影像素图；
S22、读取所述投影像素图中每个像素点对应的坐标点的深度值，将所有像素点的颜色值保存成深度图的格式，以得到所述标准模型在所述虚拟结构光相机的视角下的成像图。
4.如权利要求3所述的一种高效精确的误差数据表示方法，其特征在于，所述成像原理公式具体为：
Vclip=Mprojection*Mview *Mmodle *Vlocal；
式中，Vclip为像素点在成像坐标系下的坐标，Mprojection为投影矩阵，Mview 为观察矩阵，Mmodle为模型矩阵，其默认值为一个单位矩阵，Vlocal像素点在世界坐标系下的坐标。
5.如权利要求1所述的一种高效精确的误差数据表示方法，其特征在于，所述步骤S3具体为：
S31、根据实际结构光相机采集当前工件的点云图；
S32、创建一张与所述成像图同样大小的匹配图像，所述匹配图像上的每个像素点的颜色值默认为0；
S33、对所述成像图的每个像素点进行遍历，判断所述像素点的颜色值是否为0，若是，则跳过，否则将所述成像图的这一像素点的颜色值与所述点云图中同一位置的像素点的颜色值进行对比，若差值若小于设定的阈值，则将所述匹配图像上同一位置的像素点的颜色值设为255；
S34、若所述成像图的每个像素点均遍历完，则最终得到的所述匹配图像上的每一个像素点的颜色值对应所述当前工件和所述工件模板的误差数据。
6.一种高效精确的误差数据表示终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
S1、根据实际结构光相机的参数文件，构造一个虚拟结构光相机；
S2、根据成像原理公式，模拟工件模板所对应的标准模型在所述虚拟结构光相机的成像投影过程，得到所述标准模型在所述虚拟结构光相机的视角下的成像图；
S3、根据实际结构光相机采集当前工件的点云图，将所述点云图与所述成像图进行像素点的匹配，得到对比后的误差数据。
7.如权利要求6所述的一种高效精确的误差数据表示终端，其特征在于，所述步骤S1具体为：
获取实际结构光相机的内参矩阵与外参矩阵；
根据所述外参矩阵构建虚拟结构光相机的观察矩阵；
根据所述内参矩阵构建所述虚拟结构光相机的投影矩阵。
8.如权利要求6所述的一种高效精确的误差数据表示终端，其特征在于，所述步骤S2具体为：
S21、根据成像原理公式，计算出所述虚拟结构光相机下工件模板所对应的标准模型的投影像素图；
S22、读取所述投影像素图中每个像素点对应的坐标点的深度值，将所有像素点的颜色值保存成深度图的格式，以得到所述标准模型在所述虚拟结构光相机的视角下的成像图。
9.如权利要求8所述的一种高效精确的误差数据表示终端，其特征在于，所述成像原理公式具体为：
Vclip=Mprojection*Mview *Mmodle *Vlocal；
式中，Vclip为像素点在成像坐标系下的坐标，Mprojection为投影矩阵，Mview 为观察矩阵，Mmodle为模型矩阵，其默认值为一个单位矩阵，Vlocal像素点在世界坐标系下的坐标。
10.如权利要求6所述的一种高效精确的误差数据表示终端，其特征在于，所述步骤S3具体为：
S31、根据实际结构光相机采集当前工件的点云图；
S32、创建一张与所述成像图同样大小的匹配图像，所述匹配图像上的每个像素点的颜色值默认为0；
S33、对所述成像图的每个像素点进行遍历，判断所述像素点的颜色值是否为0，若是，则跳过，否则将所述成像图的这一像素点的颜色值与所述点云图中同一位置的像素点的颜色值进行对比，若差值若小于设定的阈值，则将所述匹配图像上同一位置的像素点的颜色值设为255；
S34、若所述成像图的每个像素点均遍历完，则最终得到的所述匹配图像上的每一个像素点的颜色值对应所述当前工件和所述工件模板的误差数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210009456.9A CN114022692A (zh) | 2022-01-06 | 2022-01-06 | 一种高效精确的误差数据表示方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210009456.9A CN114022692A (zh) | 2022-01-06 | 2022-01-06 | 一种高效精确的误差数据表示方法及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114022692A true CN114022692A (zh) | 2022-02-08 |
Family
ID=80069908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210009456.9A Pending CN114022692A (zh) | 2022-01-06 | 2022-01-06 | 一种高效精确的误差数据表示方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022692A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112326673A (zh) * | 2020-11-13 | 2021-02-05 | 南京航空航天大学 | 基于机器视觉的注塑件表面缺陷检测方法和装置 |
| CN112509127A (zh) * | 2020-12-18 | 2021-03-16 | 华南理工大学 | 一种高精度仿真点云模型的生成方法 |
| US20210120221A1 (en) * | 2018-06-19 | 2021-04-22 | Hiscene Information Technology Co., Ltd | Augmented reality-based remote guidance method and apparatus, terminal, and storage medium |
| WO2021120407A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于多对双目相机的视差图像拼接与可视化方法 |
| CN113870430A (zh) * | 2021-12-06 | 2021-12-31 | 杭州灵西机器人智能科技有限公司 | 一种工件数据处理方法和装置 |
-
2022
- 2022-01-06 CN CN202210009456.9A patent/CN114022692A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210120221A1 (en) * | 2018-06-19 | 2021-04-22 | Hiscene Information Technology Co., Ltd | Augmented reality-based remote guidance method and apparatus, terminal, and storage medium |
| WO2021120407A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于多对双目相机的视差图像拼接与可视化方法 |
| CN112326673A (zh) * | 2020-11-13 | 2021-02-05 | 南京航空航天大学 | 基于机器视觉的注塑件表面缺陷检测方法和装置 |
| CN112509127A (zh) * | 2020-12-18 | 2021-03-16 | 华南理工大学 | 一种高精度仿真点云模型的生成方法 |
| CN113870430A (zh) * | 2021-12-06 | 2021-12-31 | 杭州灵西机器人智能科技有限公司 | 一种工件数据处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN110580723B (zh) | 一种利用深度学习和计算机视觉进行精准定位的方法 | |
| JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
| EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
| Azad et al. | Stereo-based 6d object localization for grasping with humanoid robot systems | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| CN111476841B (zh) | 一种基于点云和图像的识别定位方法及系统 | |
| JP4001162B2 (ja) | 画像処理方法、画像処理用のプログラムならびにその記憶媒体、および画像処理装置 | |
| US20130058526A1 (en) | Device for automated detection of feature for calibration and method thereof | |
| CN111524195B (zh) | 一种掘进机截割头定位中的相机标定方法 | |
| Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
| CN112560704B (zh) | 一种多特征融合的视觉识别方法及系统 | |
| CN115213896A (zh) | 基于机械臂的物体抓取方法、系统、设备及存储介质 | |
| CN113052907A (zh) | 一种动态环境移动机器人的定位方法 | |
| CN114037987A (zh) | 一种废钢智能识别方法、装置、介质及设备 | |
| CN115201883A (zh) | 一种运动目标视频定位测速系统及方法 | |
| CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
| CN116243623B (zh) | 应用于数字化机器人产业链的机器人场景仿真方法 | |
| CN114022692A (zh) | 一种高效精确的误差数据表示方法及终端 | |
| CN116563391A (zh) | 一种基于机器视觉的激光结构自动标定方法 | |
| CN113920191B (zh) | 一种基于深度相机的6d数据集构建方法 | |
| CN115982824A (zh) | 施工现场工人空间管理方法、装置、电子设备及存储介质 | |
| CN116091401A (zh) | 基于目标检测和复合目标码的航天器装配件识别定位方法 | |
| CN108592789A (zh) | 一种基于bim和机器视觉技术的钢结构工厂预拼装方法 | |
| CN115147764A (zh) | 一种基于多目视觉的管模螺栓识别定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220208 |