CN111062907B - 一种基于几何变换的Homography变换方法 - Google Patents

一种基于几何变换的Homography变换方法 Download PDF

Info

Publication number
CN111062907B
CN111062907B CN201910849229.5A CN201910849229A CN111062907B CN 111062907 B CN111062907 B CN 111062907B CN 201910849229 A CN201910849229 A CN 201910849229A CN 111062907 B CN111062907 B CN 111062907B
Authority
CN
China
Prior art keywords
camera
transformation
homographic
black
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910849229.5A
Other languages
English (en)
Other versions
CN111062907A (zh
Inventor
苗志斌
林宪辉
杨航
顾硕
刘明浩
孔慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910849229.5A priority Critical patent/CN111062907B/zh
Publication of CN111062907A publication Critical patent/CN111062907A/zh
Application granted granted Critical
Publication of CN111062907B publication Critical patent/CN111062907B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于几何变换的Homography变换方法，包含：1）在物体顶面正对物体设有追踪相机，利用深度学习方法在追踪相机下对物体进行实时分割追踪并计算物体旋转角度；2）在物体侧面正对物体也设有相应的相机，对物体相对于顶面获得的位姿信息，利用几何变换的方法将其转换到相对于侧面相机的位姿信息，并根据此位姿信息对物体侧面图像进行Homography变换以矫正物体位姿。本方法稳定高效，对三维空间Homograpyh变换有重要的实用价值与意义。

Description

一种基于几何变换的Homography变换方法
技术领域
本发明涉及深度学习与SLAM领域，具体是一种基于几何变换的Homography变换方法。
背景技术
近年来，随着硬件的发展，自动化检测领域也随之发展，对于产品线上的产品，需要对其在各个面进行标签或者瑕疵的检测，而产品线上的产品并不都是平行于产品线的，对于产品的固定位置的标签并不总是出现在相机画面的固定位置，这时就需要通过变换的方法将物体变换到指定位置，就可以对产品固定区域进行检测。
传统的ORB提取特征进行单应变换的方法对物件表面的特征有很大的限制，当产品表面光滑，没有足够多的特征时，基于ORB的方法就找不到很多特征，变换的结果也达不到理想状态，其变换结果的随机性也较大。
发明内容
本发明的目的在于提出一种基于几何变换的Homography变换方法。
实现本发明目的的技术解决方案为：一种基于几何变换的Homography变换方法，包括以下步骤：
步骤1，在一个水平传送带上，物体从传送带一侧移动到另一侧，传送带上方有两个顶面相机，一个RGB相机，一个黑白相机。传送带侧面及四周有四个侧面相机，均为黑白相机，物体经传送带从一侧运往另一侧的过程中，顶面RGB相机实时采集图像，此时其他相机处于未激活采集状态；(事先要采集好各个相机的模板图像)
步骤2，顶面RGB相机对采集到的图像用改进的MaskRCNN方法进行实时分割，并利用几何方法对物体进行位姿估计，包括位置(该位置用于步骤3)和角度信息的估计(该角度用于步骤4)；
步骤3，当步骤2中的位置到达事先设定好的位置后同时触发所有其他相机拍照，否则一直追踪；
步骤4，对顶面黑白相机获取的图像进行Homograpyh变换校正(利用到了步骤2的角度信息)，对侧面相机获得的图像，利用顶面黑白相机与侧面相机之间的位姿信息进行几何变换，来获得侧面相机坐标系下的Homography参数；
步骤5，对变换后获得的侧面相机的Homography参数进行Homography变换来校正图像。
本发明与现有技术相比，其显著优点为：(1)该方法由于不用提取图像特征，且利用先验信息进行几何变换，对于Homography变换的误差相对于ORB方法更小，速度更快，计算量更小，易于实现；(2)由于相机每次拍照的地点并不一定完全相同，会存在一定误差，ORB方法提取到的特征每次不一定完全相同，且可能提取到无关特征，有一定的随机性，此方法不用在乎特征，随机性较小，更稳定。
附图说明
图1为本发明一种基于几何变换的Homography变换方法实际操作流程图。
图2为本发明的一种使用场景。
图3为本发明的空洞卷积。
具体实施方式
本发明一种基于几何变换的Homography变换方法，包含：1)在物体顶面正对物体设有追踪相机，利用深度学习方法在追踪相机下对物体进行实时分割追踪并计算物体旋转角度；2)在物体侧面正对物体也设有相应的相机，对物体相对于顶面获得的位姿信息，利用几何变换的方法将其转换到相对于侧面相机的位姿信息，并根据此位姿信息对物体侧面图像进行Homography变换以矫正物体位姿。
所述深度学习方法即为改进的Maskrcnn方法获得分割图像，在此基础上利用几何方法获得位姿。所述几何变换由Homography在三维空间下的计算公式推导得出。已知顶面相机与物体的位姿关系，是相对于顶面相机的笛卡尔坐标系下的。通过顶面与侧面相机的位姿关系，可以推导出侧面相机的笛卡尔坐标系下的侧面相机与物体的位姿关系。
下面结合说明书附图对本发明作进一步说明。
设想如图2场景，结合图1，本发明一种基于几何变换的Homography变换方法，按如下步骤进行实施：
步骤1，在一个水平传送带上，物体从传送带一侧移动到另一侧，传送带上方有两个顶面相机，一个RGB相机，一个黑白相机。传送带侧面及四周有四个侧面相机，均为黑白相机，物体经传送带从一侧运往另一侧的过程中，顶面RGB相机实时采集图像，此时其他相机处于未激活采集状态；
步骤1.1考虑如图2场景；
步骤1.2事先要采集好各个相机的模板图像，采集模板图像需要通过相机的参数，采集标定数据，并进行标定；
此时，已经达到所有所需要的条件；
步骤2，顶面RGB相机对采集到的图像用改进的MaskRCNN方法进行实时分割，并利用几何方法对物体进行位姿估计，包括位置(该位置用于步骤3)和角度信息的估计(该角度用于步骤4)；
步骤2.1、利用改进的MaskRCNN实例分割方法进行物体实时分割，具体的改进方法包括对于基础网络的修改，使用Mobilenet代替Resnet作为基础网络；使用四层FPN代替五层FPN，以提高对大目标的特征融合精度；对于Mask网络分支加入图3所示的空洞卷积以及Inception的设计方式进行多尺度信息整合，并利用深度可分离卷积进行加速；
步骤2.2、利用几何方法对物体进行位姿估计，即对获得的分割图像上所有分割区域的x、y坐标求平均值，得到中心位置的坐标；对于获得的分割图像，对所有分割区域进行Houghline直线检测并进行筛选，得到物体边缘的角度信息，用以代表物体的角度信息；
步骤3，当步骤2中的位置到达事先设定好的位置后(比如事先设定的中心位置是30，那么当步骤2求得的中心位置到达30后进行后续工作)同时触发所有其他相机拍照，否则一直追踪步骤2中的位置；
当步骤2中的中心位置到达我们预先设定好的位置后，开始触发所有黑白相机拍照一次(若物体较大需触发两次拍照，当然会有两个模板，两次触发)；需要注意的是顶面RGB相机是从头到尾不停的采集图像并进行实时分割，若此时图像中没有目标(物体)时，即默认位置和角度是-1；
步骤4，对顶面黑白相机获取的图像进行Homograpyh变换校正(利用到了步骤2的角度信息)，对侧面相机获得的图像，利用顶面黑白相机与侧面相机之间的位姿信息进行几何变换，来获得侧面相机坐标系下的Homography参数；
步骤4.1、利用Homography方法求得顶面黑白相机图像相对于模板图的变换矩阵，根据以下公式得到此信息：
Figure GDA0002381434090000031
其中H表示单应变换矩阵；R表示两次拍照相机的旋转角度，t表示两次拍照相机的位移，n是相机垂直于物体的法向量，d是相机焦距到物体表面的距离。这些值都是在顶面黑白相机的笛卡尔坐标系下的值。而这些值都是相机位置的改变，物体物质不变得到的R与t，实质上与相机位置不变，物体位置改变相同，仍能得到R与t，此时的R与t是与相机移动得到的R与t是相反的方向。在实际应用中可以确保n与d已知的。需要求得的是参数R与t。
在得到顶面黑白相机的H后，即可对顶面黑白相机图像进行Homography变换得到矫正图像；
步骤4.2、利用三维空间位置信息将顶面黑白相机坐标系下的R与t转换成侧面相机坐标系下的R与t，采用如下转换公式：
Figure GDA0002381434090000041
Figure GDA0002381434090000042
其中，R与t表示顶面黑白相机坐标系下的Homography变换公式中的R与t，R2与t2是侧面相机坐标系下的Homography变换公式中的R与t，Rd与td是侧面相机对顶面黑白相机的的旋转与位移；
步骤4.3、利用公式(1)将R2与t2带入求得侧面的H矩阵；
步骤5，对变换后获得的侧面相机的Homography参数进行Homography变换来校正图像；
当校正完图像后，就得到了物体各个表面的图像信息，进而在此基础上可以做更多的后续工作；如对这些图像的固定位置进行识别和检测。

Claims (1)

1.一种基于几何变换的Homography变换方法，其特征在于，包括以下步骤：
步骤1，传送物体的传送带上方设有一个RGB顶面相机和一个黑白顶面相机，传送带侧面及四周设有四个侧面黑白相机，首先采集好各个相机的模板图像，物体经传送带从一侧运往另一侧的过程中，顶面RGB相机实时采集图像，此时其他相机处于未激活采集状态；
步骤2，顶面RGB相机对采集到的图像用改进的MaskRCNN方法进行实时分割，并利用几何方法对物体进行位姿估计，包括位置和角度信息的估计；
步骤3，当步骤2中的位置到达事先设定好的位置后同时触发所有其他相机拍照，否则一直追踪步骤2中的位置；
步骤4，对顶面黑白相机获取的图像进行Homograpyh变换校正，对侧面相机获得的图像，利用顶面黑白相机与侧面相机之间的位姿信息进行几何变换，来获得侧面相机坐标系下的Homography参数；具体实现过程如下：
步骤4.1、利用Homography方法求得顶面黑白相机图像相对于模板图的变换矩阵，根据以下公式得到此信息：
Figure FDA0003715118210000011
其中，H表示单应变换矩阵；R表示两次拍照相机的旋转角度，t表示两次拍照相机的位移，n是相机垂直于物体的法向量，d是相机焦距到物体表面的距离；
在得到顶面黑白相机的H后，即对顶面黑白相机图像进行Homography变换得到矫正图像；
步骤4.2、利用三维空间位置信息将顶面黑白相机坐标系下的R与t转换成侧面相机坐标系下的R与t，采用如下转换公式：
Figure FDA0003715118210000012
Figure FDA0003715118210000013
其中，R与t表示顶面黑白相机坐标系下的Homography变换公式中的R与t，R2与t2是侧面相机坐标系下的Homography变换公式中的R与t，Rd与td是侧面相机对顶面黑白相机的的旋转与位移；
步骤4.3、利用公式(1)将R2与t2带入求得侧面的H矩阵，并用来对侧面图像进行Homography变换得出变换结果；
步骤5，对变换后获得的侧面相机的Homography参数进行Homography变换来校正图像。
CN201910849229.5A 2019-09-09 2019-09-09 一种基于几何变换的Homography变换方法 Expired - Fee Related CN111062907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910849229.5A CN111062907B (zh) 2019-09-09 2019-09-09 一种基于几何变换的Homography变换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910849229.5A CN111062907B (zh) 2019-09-09 2019-09-09 一种基于几何变换的Homography变换方法

Publications (2)

Publication Number Publication Date
CN111062907A CN111062907A (zh) 2020-04-24
CN111062907B true CN111062907B (zh) 2022-08-16

Family

ID=70297454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910849229.5A Expired - Fee Related CN111062907B (zh) 2019-09-09 2019-09-09 一种基于几何变换的Homography变换方法

Country Status (1)

Country Link
CN (1) CN111062907B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862218B (zh) * 2020-07-29 2021-07-27 上海高仙自动化科技发展有限公司 计算机设备定位方法、装置、计算机设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5620343B2 (ja) * 2011-06-20 2014-11-05 日本電信電話株式会社 物体座標系変換装置、物体座標系変換方法、及び物体座標系変換プログラム
CN104183010A (zh) * 2013-05-22 2014-12-03 上海迪谱工业检测技术有限公司 多视角三维在线重建的方法
CN108074222A (zh) * 2017-12-25 2018-05-25 清华大学 基于混合相机系统的高速运动物体去模糊方法及装置

Also Published As

Publication number Publication date
CN111062907A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
CN111429533B (zh) 一种相机镜头畸变参数估计装置及方法
Heng et al. Camodocal: Automatic intrinsic and extrinsic calibration of a rig with multiple generic cameras and odometry
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
JP2017224280A (ja) 視覚的測位によるナビゲーション装置およびその方法
CN105608671A (zh) 一种基于surf算法的图像拼接方法
KR101524548B1 (ko) 영상 정합 장치 및 방법
CN110910451B (zh) 一种基于变形卷积网络的物体位姿估计方法及系统
CN111721259A (zh) 基于双目视觉的水下机器人回收定位方法
CN110992422B (zh) 一种基于3d视觉的药盒姿态估计方法
CN111251336A (zh) 一种基于视觉定位的双臂协同智能装配系统
CN112116633A (zh) 一种矿井打钻计数方法
CN113223050B (zh) 一种基于ArUco码的机器人运动轨迹实时采集方法
CN115830018B (zh) 基于深度学习与双目视觉的碳素块检测方法及系统
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
TWI394097B (zh) 移動物體的偵測方法以及偵測系統
CN111062907B (zh) 一种基于几何变换的Homography变换方法
CN116758063B (zh) 一种基于图像语义分割的工件尺寸检测方法
CN111696143B (zh) 一种事件数据的配准方法与系统
CN113689365A (zh) 一种基于Azure Kinect的目标跟踪定位方法
Gao et al. An automatic assembling system for sealing rings based on machine vision
CN117557637A (zh) 基于Mark点标记的动态飞拍高精度定位方法和装置
CN113313707B (zh) 原始图像处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220816