CN113643338A - 基于融合仿射变换的纹理图像目标定位方法 - Google Patents
基于融合仿射变换的纹理图像目标定位方法 Download PDFInfo
- Publication number
- CN113643338A CN113643338A CN202110929859.0A CN202110929859A CN113643338A CN 113643338 A CN113643338 A CN 113643338A CN 202110929859 A CN202110929859 A CN 202110929859A CN 113643338 A CN113643338 A CN 113643338A
- Authority
- CN
- China
- Prior art keywords
- texture image
- positioning
- target
- cabinet body
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 title claims abstract description 27
- 230000009466 transformation Effects 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 title claims abstract description 8
- 239000013598 vector Substances 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000009432 framing Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- KVFIJIWMDBAGDP-UHFFFAOYSA-N ethylpyrazine Chemical compound CCC1=CN=CC=N1 KVFIJIWMDBAGDP-UHFFFAOYSA-N 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明公开一种基于融合仿射变换的纹理图像目标定位方法，定位精度高。本发明的纹理图像目标定位方法，包括如下步骤：(10)柜体表面区域定位：在双目相机采集的柜体表面纹理图像上，利用模板匹配定位柜体表面区域；(20)柜体表面平面法向量计算：根据柜体表面区域内的三维点云，拟合出柜体平面，从而得到柜体表面平面法向量；(30)纹理图像仿射变换：利用单应性矩阵H，对操作时纹理图像做仿射变换，实现与建站时纹理图像的配准；(40)目标定位：在经过仿射变换的纹理图像上利用相关法模板匹配定位到目标区域，根据纹理图像与三维点云的配准关系，获取待操作目标的三维坐标。
Description
技术领域
本发明属于目标定位技术领域，特别是一种基于融合仿射变换的纹理图像目标定位方法。
背景技术
为了采用智能移动操作机器人对变电站KYN28型高压开关柜进行自动倒闸作业，机器人需要搭载六轴机械臂及末端执行器作为执行机构，同时在机械臂末端安装双目相机作为感知机构。双目相机利用双目测距原理，获取场景的纹理图像和以双目相机中心点为原点的三维点云，并且将纹理图像和三维点云进行配准，从而使得纹理图像中的每个像素点都对应一个三维坐标值。为了引导机械臂末端执行器对开关柜上的旋钮或者按钮进行操作，需要在纹理图像上精确定位到操作目标的位置，进而根据纹理图像和三维点云的配准关系获取到待操作目标点的三维位姿。
在执行倒闸操作任务时，操作机器人基于激光SLAM导航至操作点位。由于导航定位存在一定的偏差，机器人每次到达的位置也存在差异，因此用双目相机拍摄的纹理图像也会存在仿射变换，直接基于模板匹配进行操作目标的定位，容易造成操作目标定位存在偏差，进而影响到机械臂操作的准确性。
发明内容
本发明的目的在于提供一种基于融合仿射变换的纹理图像目标定位方法，定位精度高。
实现本发明目的的技术解决方案为：
一种基于融合仿射变换的纹理图像目标定位方法，包括如下步骤：
(10)柜体表面区域定位：在双目相机采集的柜体表面纹理图像上，利用模板匹配定位柜体表面区域；
(20)柜体表面平面法向量计算：根据柜体表面区域内的三维点云，拟合出柜体平面，从而得到柜体表面平面法向量；
(30)纹理图像仿射变换：利用单应性矩阵H，对操作时纹理图像做仿射变换，实现与建站时纹理图像的配准；
(40)目标定位：在经过仿射变换的纹理图像上利用相关法模板匹配定位到目标区域，根据纹理图像与三维点云的配准关系，获取待操作目标的三维坐标。
本发明与现有技术相比，其显著优点为：
定位精度高：本发明采用单应性矩阵对纹理图像做仿射变换，由于双目相机能够同时获取到柜体的纹理图像和三维点云，根据柜体表面三维点云数据可以拟合出柜体平面，从而获取到柜体表面法向量，与建立操作点时柜体平面法向量作对比，可以计算出单应性矩阵，从而可以显著提高纹理图像目标定位的精度。
下面结合附图和具体实施方式对本发明作进一步的详细描述。
附图说明
图1是本发明基于融合仿射变换的纹理图像目标定位方法的主流程图。
图2是关于向量旋转的原理图。
具体实施方式
如图1所示，本发明基于融合仿射变换的纹理图像目标定位方法，包括如下步骤：
(10)柜体表面区域定位：在双目相机采集的柜体表面纹理图像上，利用模板匹配定位柜体表面区域。
在对操作目标进行建站采集时，预先框选柜体表面矩形框区域作为模板。
在操作时，在双目相机采集的经过配准的柜体表面纹理图像上利用模板匹配定位柜体表面区域。
在模板匹配中，基于相关法定位目标区域，即将模板T(m，n)叠放在被搜索图S(W，H)上平移，模板覆盖被搜索图的区域称为子图Suv，u，v为子图左下角在被搜索图S上的坐标，搜索范围是：1≤u≤W-n，1≤v≤H-m；W、H分别是被搜索图像的宽和高；
用下式衡量模板T和子图Suv的相似性：
将其归一化，得到模板匹配的相关系数：
当模板和子图一样时，相关系数R(u，v)＝1，在被搜索图S中完成全部搜索后，找出R的最大值Rmax(um，vm)，其对应的子图Sumvm即为匹配目标。
(20)柜体表面平面法向量计算：根据柜体表面区域内的三维点云，拟合出柜体平面，从而得到柜体表面平面法向量。
纹理图像经过配准后，每个像素点都对应一个三维点云中的目标点，即可以确定每个像素点对应的目标的三维坐标值。在(10)柜体表面区域定位步骤中已经获取到柜体表面区域，因此利用该区域内的三维点云可以拟合出柜体平面ax+by+z+d＝0，系数(a，b，1)即为法向量。利
用区域内的三维点云拟合出柜体平面，并找到法向量，此为现有技术，不再赘述。
由于双目相机能够同时获取到柜体的纹理图像和三维点云，根据柜体表面三维点云数据可以拟合出柜体平面，从而获取到柜体表面法向量，与建立操作点时柜体平面法向量作对比，可以计算出单应性矩阵。
本发明通过采用单应性矩阵对纹理图像做仿射变换，显著提高了纹理图像目标定位的精度。
(30)纹理图像仿射变换：利用单应性矩阵H，对操作时纹理图像做仿射变换，实现与建站时纹理图像的配准。
所谓的纹理图像就是相机拍的彩色图像，在一开始建站的时候会控制机器人拍一张图像，做操作任务的时候，机器人又会去拍一张图像，这两张图像因为机器人到达的位置有变化，也会不一样，直接根据建站的图像在操作的图像上找目标容易偏，所以要做配准，让操作的图像和建站的图像一样，这样就可以精确定位到操作目标的位置。
如图2所示，三维空间中的向量
绕着单位向量
旋转θ角后，形成
这里
代表建站时柜体平面法向量，
为操作时柜体平面法向量。
令
方向上的单位向量为
长度为a，则有
令
方向上的单位向量为
长度为b，则有
而
已经是单位向量，因此有如下点乘和叉乘关系：
由上述两式可得：
因此由四元数定义可知四元数
归一化后可得四元数为
对于四元数qw+iqx+jqy+kqz，其旋转矩阵M为：
双目相机的参数K可以通过张正友棋盘格标定获取，因此单应性矩阵H为
H＝K·M·K-1
利用单应性矩阵H，可以对操作时纹理图像做仿射变换，实现和建站图像的配准，配准完了以后，在配准后的图像上做模板匹配定位。
式中，qw、qx、qy、qz分别为四元数的实数系数，i、j、k分别为虚数单位。
四元数由实数加上三个虚数单位i、j、k组成，而且它们有如下的关系：
i^2＝j^2＝k^2＝-1，i^0＝j^0＝k^0＝1，每个四元数都是1、i、j和k的线性组合，即是四元数一般可表示为a+bi+cj+dk，其中a、b、c、d是实数(即上述矩阵中的qw、qx、qy、qz)。
对于i、j、k本身的几何意义可以理解为一种旋转，其中i旋转代表Z轴与Y轴相交平面中Z轴正向向Y轴正向的旋转，j旋转代表X轴与Z轴相交平面中X轴正向向Z轴正向的旋转，k旋转代表Y轴与X轴相交平面中Y轴正向向X轴正向的旋转。
(40)目标定位：在经过仿射变换的纹理图像上利用相关法模板匹配定位到目标区域，根据纹理图像与三维点云的配准关系，获取待操作目标的三维坐标。
通过实验表面，本发明采用单应性矩阵对纹理图像做仿射变换，双目相机能够同时获取到柜体的纹理图像和三维点云，根据柜体表面三维点云数据拟合出柜体平面，从而获取到柜体表面法向量，与建立操作点时柜体平面法向量作对比，计算出单应性矩阵，显著提高了纹理图像目标定位的精度。
Claims (4)
1.一种基于融合仿射变换的纹理图像目标定位方法，其特征在于，包括如下步骤：
(10)柜体表面区域定位：在双目相机采集的柜体表面纹理图像上，利用模板匹配定位柜体表面区域；
(20)柜体表面平面法向量计算：根据柜体表面区域内的三维点云，拟合出柜体平面，从而得到柜体表面平面法向量；
(30)纹理图像仿射变换：利用单应性矩阵H，对操作时纹理图像做仿射变换，实现与建站时纹理图像的配准；
(40)目标定位：在经过仿射变换的纹理图像上利用相关法模板匹配定位到目标区域，根据纹理图像与三维点云的配准关系，获取待操作目标的三维坐标。
2.根据权利要求1所述的纹理图像目标定位方法，其特征在于，所述(10)柜体表面区域定位步骤包括：
(11)纹理图像采集：预先框选柜体表面矩形框区域作为模板，利用双目相机对操作目标进行建站采集、配准；
(12)柜体表面区域匹配定位：在经过配准的柜体表面纹理图像上，利用模板匹配定位柜体表面区域。
3.根据权利要求2所述的纹理图像目标定位方法，其特征在于，所述(12)柜体表面区域匹配定位步骤具体为：
基于相关法定位目标区域，即将模板T(m，n)叠放在被搜索图S(W，H)上平移，模板覆盖被搜索图的区域称为子图Suv，u，v为子图左下角在被搜索图S(W，H)上的坐标，搜索范围是：1≤u≤W-n，1≤v≤H-m；W、H分别是被搜索图S(W，H)的宽和高；
用下式衡量模板T和子图Suv的相似性：
将其归一化，得到模板匹配的相关系数：
当模板和子图一样时，相关系数R(u,v)＝1，在被搜索图S(W，H)中完成全部搜索后，找出R的最大值Rmax(um,vm)，其对应的子图Sumvm即为匹配目标。
4.根据权利要求1所述的纹理图像目标定位方法，其特征在于，所述(30)纹理图像仿射变换步骤中，所述单应性矩阵H由下述过程获得：
H＝K·M·K-1，
式中，K为双目相机的参数，通过张正友棋盘格标定获取，
M为四元数qw+iqx+jqy+kqz的旋转矩阵，
式中，qw、qx、qy、qz分别为四元数的实数系数，i、j、k分别为虚数单位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110929859.0A CN113643338A (zh) | 2021-08-13 | 2021-08-13 | 基于融合仿射变换的纹理图像目标定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110929859.0A CN113643338A (zh) | 2021-08-13 | 2021-08-13 | 基于融合仿射变换的纹理图像目标定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113643338A true CN113643338A (zh) | 2021-11-12 |
Family
ID=78421431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110929859.0A Pending CN113643338A (zh) | 2021-08-13 | 2021-08-13 | 基于融合仿射变换的纹理图像目标定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113643338A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445472A (zh) * | 2022-03-04 | 2022-05-06 | 山东胜算软件科技有限公司 | 基于仿射变换和模板匹配的多步图像配准算法 |
| CN114851160A (zh) * | 2022-05-24 | 2022-08-05 | 国网上海市电力公司 | 一种用于移动机器人的机械臂控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130207966A1 (en) * | 2012-02-15 | 2013-08-15 | Electronics And Telecommunications Research Institute | Apparatus and method of producing 3d model |
| CN107316325A (zh) * | 2017-06-07 | 2017-11-03 | 华南理工大学 | 一种基于图像配准的机载激光点云与影像配准融合方法 |
| CN109073385A (zh) * | 2017-12-20 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 一种基于视觉的定位方法及飞行器 |
| CN109631829A (zh) * | 2018-12-17 | 2019-04-16 | 南京理工大学 | 一种自适应快速匹配的双目测距方法 |
-
2021
- 2021-08-13 CN CN202110929859.0A patent/CN113643338A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130207966A1 (en) * | 2012-02-15 | 2013-08-15 | Electronics And Telecommunications Research Institute | Apparatus and method of producing 3d model |
| CN107316325A (zh) * | 2017-06-07 | 2017-11-03 | 华南理工大学 | 一种基于图像配准的机载激光点云与影像配准融合方法 |
| CN109073385A (zh) * | 2017-12-20 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 一种基于视觉的定位方法及飞行器 |
| US20200334499A1 (en) * | 2017-12-20 | 2020-10-22 | SZ DJI Technology Co., Ltd. | Vision-based positioning method and aerial vehicle |
| CN109631829A (zh) * | 2018-12-17 | 2019-04-16 | 南京理工大学 | 一种自适应快速匹配的双目测距方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王玉全: ""基于双目视觉的实时三维重建技术研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2, pages 1 - 65 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445472A (zh) * | 2022-03-04 | 2022-05-06 | 山东胜算软件科技有限公司 | 基于仿射变换和模板匹配的多步图像配准算法 |
| CN114851160A (zh) * | 2022-05-24 | 2022-08-05 | 国网上海市电力公司 | 一种用于移动机器人的机械臂控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111775146A (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
| CN104626206B (zh) | 一种非结构环境下机器人作业的位姿信息测量方法 | |
| CN111012506B (zh) | 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法 | |
| CN111968177B (zh) | 一种基于固定摄像头视觉的移动机器人定位方法 | |
| CN113643338A (zh) | 基于融合仿射变换的纹理图像目标定位方法 | |
| CN109448054A (zh) | 基于视觉融合的目标分步定位方法、应用、装置及系统 | |
| CN110751691B (zh) | 一种基于双目视觉的管件自动抓取方法 | |
| CN109671122A (zh) | 手眼相机标定方法及装置 | |
| CN105447856B (zh) | 基于机器人运动参数与特征向量的标记点匹配方法 | |
| CN110666798A (zh) | 一种基于透视变换模型的机器人视觉标定方法 | |
| CN113103235B (zh) | 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法 | |
| CN112484746B (zh) | 一种基于地平面的单目视觉辅助激光雷达里程计方法 | |
| CN106595601B (zh) | 一种无需手眼标定的相机六自由度位姿精确重定位方法 | |
| CN110017852B (zh) | 一种导航定位误差测量方法 | |
| CN113329179B (zh) | 拍摄对位方法、装置、设备及存储介质 | |
| CN113021328A (zh) | 一种手眼标定方法、装置、设备和介质 | |
| WO2022228391A1 (zh) | 一种终端设备定位方法及其相关设备 | |
| CN109900251A (zh) | 一种基于视觉技术的机器人定位装置及方法 | |
| CN116740187A (zh) | 一种无重叠视场多相机联合标定方法 | |
| CN110619664B (zh) | 基于激光图案辅助的摄像机距离姿态计算方法及服务器 | |
| CN110097494B (zh) | 一种基于傅里叶-梅林变换的货物定位方法 | |
| CN116091625A (zh) | 一种基于双目视觉的基准标记位姿估计方法 | |
| CN113610906B (zh) | 一种基于融合图像引导的多视差图像序列配准方法 | |
| CN112419409A (zh) | 一种基于实时视频的位姿估计方法 | |
| CN110706357A (zh) | 导航系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |