CN111160529B - 基于卷积神经网络的目标位姿测量中训练样本生成方法 - Google Patents

基于卷积神经网络的目标位姿测量中训练样本生成方法 Download PDF

Info

Publication number
CN111160529B
CN111160529B CN201911385330.6A CN201911385330A CN111160529B CN 111160529 B CN111160529 B CN 111160529B CN 201911385330 A CN201911385330 A CN 201911385330A CN 111160529 B CN111160529 B CN 111160529B
Authority
CN
China
Prior art keywords
target
samples
picture
neural network
taking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911385330.6A
Other languages
English (en)
Other versions
CN111160529A (zh
Inventor
杨嘉琛
雷宇田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201911385330.6A priority Critical patent/CN111160529B/zh
Publication of CN111160529A publication Critical patent/CN111160529A/zh
Application granted granted Critical
Publication of CN111160529B publication Critical patent/CN111160529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络的目标位姿测量中训练样本生成方法，其特征在于，利用各个维度上独立的运动信息之和来代替六个维度的联合运动信息，通过3Dmax软件模拟实际测量环境，自行制作实际工程所需仿真训练图片，制作仅有单个维度变化信息的图片；将已赋好的目标距离与正对位置偏移值作为训练样本标签，然后将生成的图片进行差和处理和加权叠加，生成六维联合运动变化的图片，从而构成最终的训练集。

Description

基于卷积神经网络的目标位姿测量中训练样本生成方法
技术领域
本发明属于计算机视觉领域，涉及卷积神经网络在测量目标物体位置和姿态过程中训练样本生成的方式。
背景技术
机器视觉是基于对人类视觉研究的基础上衍生出的学科，它是人工智能领域一个新的研究热点。近年来,大量的研究人员从事着视觉领域各方面技术的研究,希望突破多方面的限制,使机器视觉技术能够更加成熟。机器视觉技术作为重要的检测测量技术已经应用于很多重要的工业、军事领域中,例如生物医学、环境科学、纺织、航天等。
机器视觉系统根据获取图像的传感器个数的不同可以分为单目视觉测量系统,双目视觉测量系统和多目视觉测量系统等。其中，单目视觉测量法设备要求简单，在实际工业需求中较易实现，常被广泛用于图像单目视觉就是利用一个视觉传感器来捕捉图像信息,系统结构简单,成本低,对场地环境要求较低,而且视场范围较双目视觉或多目视觉要大得多,不需要进行立体匹配,具有广泛适用性。利用单目视觉来对运动目标进行目标位置和姿态的方法有很多,如几何相似法、几何光学法、特征靶标测量法、激光测距仪辅助测量法等。而这些方法所采用的图片样本均来自于真实图片或利用仿真软件生成的图片。在利用卷积神经网络进行位置与姿态的测量过程中，我们需要使用大量的训练样本来保证网络模型能够学习到足够多的特征。而目前并没有针对样本生成本身进行改进的相关工作，本文提出了一种新的样本生成方案。
发明内容
本发明的目的在于改进现有的目标训练样本获得方式，提供一种样本生成方法，可以显著扩大范围并且减少训练集样本的数量。技术方案如下：
一种基于卷积神经网络的目标位姿测量中训练样本生成方法，其特征在于，利用各个维度上独立的运动信息之和来代替六个维度的联合运动信息，通过3Dmax软件模拟实际测量环境，自行制作实际工程所需仿真训练图片，制作仅有单个维度变化信息的图片；将已赋好的目标距离与正对位置偏移值作为训练样本标签，然后将生成的图片进行差和处理和加权叠加，生成六维联合运动变化的图片，从而构成最终的训练集。
进一步地，按照如下步骤执行：
第一步：根据实际工程需要，按1:1比例，利用3Dmax软件对实际工程所需的环境和被测目标物进行仿真模拟并生成仿真图片，仿真图片效果应符合实际工程测量环境。
第二步：结合实际情况，制作有利于卷积神经网络进行特征提取的模拟特征靶标，在3Dmax软件中将靶标贴放于目标物表面。
第三步：利用3Dmax软件的脚本系统批量制作训练集：结合实际需求，目标距离将在0.5米至1米之间，以0.01米为步幅进行样本取材，在目标距离共获取51档样本；目标正对位置偏移将沿Y轴、Z轴两方向在0～0.5米范围内，以0.01米为步幅进行样本取材，在正对位置偏移量上将分别获得51档样本；目标三维姿态角将在0～0.5度范围内，以0.01度为步幅进行样本取材，在三维姿态角上分别获得51档样本；最终一共获得51*6个仅有单维度变化的图片样本，即306个单维度样本。
第四步：将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式，对所得到的样本图片进行二值化处理以减少噪声的干扰；
第五步：将已赋好的目标距离与正对位置偏移值作为训练样本标签，然后将经过二值化处理生成的图片进行差和处理和加权叠加，生成多张张附加图片，最终形成所需的训练集。
本发明所采用的基于卷积神经网络的目标位姿测量中训练样本生成方案创建了总数为306的样本图片，在排列组合的基础上生成了5万张附加图片，样本覆盖率在1/20000000左右。该样本通过自行搭建的高精度卷积神经网络不断训练学习，最终能将全局误差控制在0.006度之内，全局平均方差控制在0.0006度的平方之内。同时，利用贴合实际工程的卷积神经网络实现实时测量，每秒钟测量图片数可达到50张及以上(fps>50)，从而即时输出高精度测量结果。最终证明了本文样本生成方案的有效性。
附图说明
图1差和图生成架构
图2自行制作的特征靶标物
具体实施方式
为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述。本发明按以下步骤具体实现：
第一步：根据实际工程需要，按1:1比例，利用3Dmax软件对实际工程所需的环境和被测目标物进行仿真模拟并生成仿真图片。仿真图片效果应符合实际工程测量环境。
本文所使用的仿真摄像机为目标摄像机。
第二步：结合实际情况，制作有利于卷积神经网络进行特征提取的模拟特征靶标，在3Dmax软件中将靶标贴放于目标物表面。
由于本文需要特征靶标拥有鲜明的边缘特征，于是选用了黑白棋盘格。在本次实验过程中，本文选取航天器主体半径为1m，高度为2m，标识物的半径为0.8m。目标摄像机与目标中心的距离设置为6m，即距离特征靶标为5m。
第三步：利用3Dmax软件的脚本系统批量制作训练集。结合实际需求，目标距离将在0.5米至1米之间，以0.01米为步幅进行样本取材，在目标距离共获取51档样本；目标正对位置偏移将沿Y轴、Z轴两方向在0～0.5米范围内，以0.01米为步幅进行样本取材，在正对位置偏移量上将分别获得51档样本；目标三维姿态角将在0～0.5度范围内，以0.01度为步幅进行样本取材，在三维姿态角上分别获得51档样本。最终一共获得51*6个仅有单维度变化的图片样本，即306个单维度样本。
在该过程中，利用3Dmax自带的脚本语言进行目标位置和姿态的控制。样本的选择要步幅均匀且遍历取样范围，这样保证我们在每一点都有所取材。
第四步：将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式。对所得到的样本图片进行二值化处理以减少噪声的干扰，然后将经过处理后生成的图片进行差和处理和加权叠加，生成六维联合运动变化的图片，生成多张张附加图片，生成5万张附加图片，最终形成所需的训练集。
第五步：基于TensorFlow神经网络框架，利用已经成熟的ResNet网络构建本方法的神经网络，结合实际工程环境及需求，减少卷积层数量并调整相关参数，构建高精度卷积神经网络识别系统，提高识别准确率。
我们采用了ResNet18网络，并将网络的所有卷积核都改为3*3，去除了layer3和layer4，也就是一共去除了4个Basic Block，将池化层均改为最大值池化。
第六步：基于TensorFlow神经网络框架，进行测试程序构建。与此同时，构建测试用数据集，在实际环境中任意调整实际模型目标距离与正对位置偏移进行拍照截取，投入训练好的卷积神经网络，得到测试结果。

Claims (1)

1.一种基于卷积神经网络的目标位姿测量中训练样本生成方法，其特征在于，利用各个维度上独立的运动信息之和来代替六个维度的联合运动信息，通过3Dmax软件模拟实际测量环境，自行制作实际工程所需仿真训练图片，制作仅有单个维度变化信息的图片；将已赋好的目标距离与正对位置偏移值作为训练样本标签，然后将生成的图片进行差和处理和加权叠加，生成六维联合运动变化的图片，从而构成最终的训练集，按照下列步骤执行：
第一步：根据实际工程需要，按1:1比例，利用3Dmax软件对实际工程所需的环境和被测目标物进行仿真模拟并生成仿真图片，仿真图片效果应符合实际工程测量环境；
第二步：结合实际情况，制作有利于卷积神经网络进行特征提取的模拟特征靶标，在3Dmax软件中将靶标贴放于目标物表面；
第三步：利用3Dmax软件的脚本系统批量制作训练集：结合实际需求，目标距离将在0.5米至1米之间，以0.01米为步幅进行样本取材，在目标距离共获取51档样本；目标正对位置偏移将沿Y轴、Z轴两方向在0～0.5米范围内，以0.01米为步幅进行样本取材，在正对位置偏移量上将分别获得51档样本；目标三维姿态角将在0～0.5度范围内，以0.01度为步幅进行样本取材，在三维姿态角上分别获得51档样本；最终一共获得51*6个仅有单维度变化的图片样本，即306个单维度样本；
第四步：将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式，对所得到的样本图片进行二值化处理以减少噪声的干扰；
第五步：将已赋好的目标距离与正对位置偏移值作为训练样本标签，然后将经过二值化处理生成的图片进行差和处理和加权叠加，生成多张张附加图片，最终形成所需的训练集。
CN201911385330.6A 2019-12-28 2019-12-28 基于卷积神经网络的目标位姿测量中训练样本生成方法 Active CN111160529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911385330.6A CN111160529B (zh) 2019-12-28 2019-12-28 基于卷积神经网络的目标位姿测量中训练样本生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911385330.6A CN111160529B (zh) 2019-12-28 2019-12-28 基于卷积神经网络的目标位姿测量中训练样本生成方法

Publications (2)

Publication Number Publication Date
CN111160529A CN111160529A (zh) 2020-05-15
CN111160529B true CN111160529B (zh) 2023-06-20

Family

ID=70558837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911385330.6A Active CN111160529B (zh) 2019-12-28 2019-12-28 基于卷积神经网络的目标位姿测量中训练样本生成方法

Country Status (1)

Country Link
CN (1) CN111160529B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103695A (zh) * 2009-12-21 2011-06-22 北京中星微电子有限公司 一种图像样本生成方法及装置
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
CN107690672A (zh) * 2017-07-25 2018-02-13 深圳前海达闼云端智能科技有限公司 训练数据生成方法、生成装置及其图像语义分割方法
CN108959713A (zh) * 2018-06-05 2018-12-07 天津大学 基于卷积神经网络的目标距离与正对位置偏移测量方法
CN109840924A (zh) * 2018-12-28 2019-06-04 浙江工业大学 一种基于串联对抗网络的产品图像快速生成方法
CN110059724A (zh) * 2019-03-20 2019-07-26 东软睿驰汽车技术（沈阳）有限公司 一种视觉图片样本的获取方法及装置
CN110222757A (zh) * 2019-05-31 2019-09-10 华北电力大学（保定） 基于生成对抗网络的绝缘子图像样本扩充方法、系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103695A (zh) * 2009-12-21 2011-06-22 北京中星微电子有限公司 一种图像样本生成方法及装置
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
CN107690672A (zh) * 2017-07-25 2018-02-13 深圳前海达闼云端智能科技有限公司 训练数据生成方法、生成装置及其图像语义分割方法
CN108959713A (zh) * 2018-06-05 2018-12-07 天津大学 基于卷积神经网络的目标距离与正对位置偏移测量方法
CN109840924A (zh) * 2018-12-28 2019-06-04 浙江工业大学 一种基于串联对抗网络的产品图像快速生成方法
CN110059724A (zh) * 2019-03-20 2019-07-26 东软睿驰汽车技术（沈阳）有限公司 一种视觉图片样本的获取方法及装置
CN110222757A (zh) * 2019-05-31 2019-09-10 华北电力大学（保定） 基于生成对抗网络的绝缘子图像样本扩充方法、系统

Also Published As

Publication number Publication date
CN111160529A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN109360240B (zh) 一种基于双目视觉的小型无人机定位方法
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
CN112700499B (zh) 一种辐照环境下基于深度学习的视觉定位仿真方法及系统
CN110334701B (zh) 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN107917700B (zh) 基于深度学习的小幅度目标三维姿态角测量方法
CN110009674B (zh) 基于无监督深度学习的单目图像景深实时计算方法
CN108959713B (zh) 基于卷积神经网络的目标距离与正对位置偏移测量方法
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN107481315A (zh) 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN110009689A (zh) 一种用于协作机器人位姿估计的图像数据集快速构建方法
CN109636856B (zh) 基于hog特征融合算子的物体六维度位姿信息联合测量方法
CN115588144A (zh) 基于高斯动态阈值筛选的实时姿态捕捉方法及装置、设备
CN112580683B (zh) 一种基于互相关的多传感器数据时间对齐系统及其方法
CN111160529B (zh) 基于卷积神经网络的目标位姿测量中训练样本生成方法
CN115184563B (zh) 一种基于数字孪生的化工车间现场数据采集方法
CN111179320B (zh) 基于卷积神经网络的目标位姿测量中仿真图像匹配方法
CN109934333A (zh) 基于全连接神经网络的目标定位方法
CN110766722A (zh) 一种红外运动目标成像跟踪仿真方法
CN109631794A (zh) 基于卷积神经网络的目标物体弯曲度测量方法
Li et al. Deep neural network based shape reconstruction for application in robotics
Li et al. A UAV-Based Machine Vision Algorithm for Industrial Gauge Detecting and Display Reading

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant