CN109636856A - 基于hog特征融合算子的物体六维度位姿信息联合测量方法 - Google Patents
基于hog特征融合算子的物体六维度位姿信息联合测量方法 Download PDFInfo
- Publication number
- CN109636856A CN109636856A CN201910042933.XA CN201910042933A CN109636856A CN 109636856 A CN109636856 A CN 109636856A CN 201910042933 A CN201910042933 A CN 201910042933A CN 109636856 A CN109636856 A CN 109636856A
- Authority
- CN
- China
- Prior art keywords
- signature identification
- identification object
- neural network
- hog
- fusion features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于HOG特征融合算子的物体六维度位姿信息联合测量方法,包括下列步骤:搭建实物测量环境:利用六维度物体位置与姿态控制平台,完成实物环境搭建工作,将满足实际需求的测量模型与所述平台进行有效结合与固定,利用黑白棋盘格作为特征标识物,并将特征标识物贴放于实物模型表面,完成实物测量环境搭建;制作神经网络训练集;提取特征标识物方向梯度直方图特征HOG;基于keras神经网络框架搭建训练网络;将神经网络与特征标识物HOG特征融合;基于keras神经网络框架,进行测试程序构建。
Description
技术领域
本发明属于计算机视觉领域,涉及利用单目视觉测量系统在实际物体相对被测量点三维空间位置、三维姿态角测量中的应用。
背景技术
机器视觉是基于对人类视觉研究的基础上衍生出的学科,它是人工智能领域一个新的研究热点。近年来,大量的研究人员从事着视觉领域各方面技术的研究,希望突破多方面的限制,使机器视觉技术能够更加成熟。机器视觉技术作为重要的检测测量技术已经应用于很多重要的工业、军事领域中,例如生物医学,环境科学,纺织,航天等。
机器视觉系统根据获取图像的传感器个数的不同可以分为单目视觉测量系统,双目视觉测量系统和多目视觉测量系统等。其中,单目视觉测量法设备要求简单,在实际工业需求中较易实现,常被广泛用于图像单目视觉就是利用一个视觉传感器来捕捉图像信息,系统结构简单,成本低,对场地环境要求较低,而且视场范围较双目视觉或多目视觉要大得多,不需要进行立体匹配,具有广泛适用性。利用单目视觉来对运动目标进行目标距离与正对位置偏移的方法有很多,如几何相似法、几何光学法、特征靶标测量法、激光测距仪辅助测量法均可以对目标物体的目标距离与正对位置偏移进行测量。
发明内容
本发明的目的在于克服现有的目标目标距离与正对位置偏移测量方式的缺陷提供一种可以实现更高精度测量的方法,将卷积神经网络与物体在不同位置、姿态下其表面特征标识物的视觉捕获特征分析策略引入目标距离与正对位置偏移测量过程,通过搭建实物测量平台,并控制六维度电机驱动带有特征标识物的被测物体进行确定角度与位置的改变,利用视觉捕获设备进行视觉捕获,并将六维度信息制作成为对应视觉图片的训练集标签。通过制作大量训练集投入卷积神经网络,并将特征标识物HOG特征与网络进行有机结合,优化网络参数,最终实现更高精度测量。技术方案如下:
一种基于HOG特征融合算子的物体六维度位姿信息联合测量方法,包括下列步骤:
第一步:搭建实物测量环境:利用六维度物体位置与姿态控制平台,完成实物环境搭建工作,将满足实际需求的测量模型与所述平台进行有效结合与固定,利用黑白棋盘格作为特征标识物,并将特征标识物贴放于实物模型表面,完成实物测量环境搭建;
第二步:制作神经网络训练集:通过控制六维度电机驱动,对带有特征标识物的实物模型进行有效位置和姿态的信息改变,在合理范围内,以电机驱动最小单位进行大范围样本获取,利用相机搭建实物视觉捕获装置,对改变后的图像进行捕获;构建脚本程序,对每次改变的具体六维度信息进行有效测量,记录成为神经网络训练集标签;
第三步:提取特征标识物方向梯度直方图特征HOG;
第四步:将收集好的训练集进行格式转换,使之符合神经网络输入层的数据格式;
第五步:基于keras神经网络框架搭建训练网络;
第六步:将神经网络与特征标识物HOG特征融合:在第一层卷积之前,将特征标识物基础图像与提取到的HOG特征图像同时输入第一层卷积神经网络,神经网络末端构建6维度全连接层,以输出六维度位置与姿态信息;
第七步:基于keras神经网络框架,进行测试程序构建,与此同时,构建测试用数据集,在实际环境中任意调整实际模型目标距离与正对位置偏移进行拍照截取,投入训练好的卷积神经网络,得到测试结果。
本发明将物体空间位置与姿态改变所带来的特征标识物图像改变性和特征标识物具有的HOG图像特征有机结合,提高基于单目视觉位姿测量精度与准确性。同时,本发明所采用的基于深度学习的小范围幅度目标三维姿态角测量将克服传统测量方法中存在的误差大、世界坐标系与像素坐标系之间对应关系不易确定的问题,通过高精度卷积神经网络的结构设计,加之高精度、大范围样本的不断训练学习,最终能将测量输出目标距离误差控制在2毫米(3σ)之内、正对位置偏移测量误差控制在1毫米(3σ)之内。同时,利用贴合实际工程的卷积神经网络实现实时测量,每秒钟测量图片数可达到100张及以上(fps>100),从而即时输出高精度测量结果。
附图说明
图1具有丰富特征的特征标识物
图2卷积神经网络与特征融合框架
具体实施方式
下面结合实施例对本发明进行说明。
第一步:搭建实物测量环境。利用现有六维度物体位置与姿态控制平台,完成实物环境搭建工作。将满足实际需求的测量模型与平台进行有效结合与固定,并将特征标识物贴放于测量模型表面,完成实物测量环境搭建。与此同时,利用黑白棋盘格作为特征标识物,以突出微小空间位置和姿态改变对颜色空间和线条走向所引起的差异性改变。特征标识物如附图1所示。
第二步:制作神经网络训练集。通过控制六维度电机驱动,对带有特征标识物的实物模型进行有效位置和姿态的信息改变,在合理范围内,以电机驱动最小单位进行大范围样本获取。空间位置三维度最小移动步幅为0.01米,三维姿态角最小旋转步幅为0.01°。利用工业相机搭建实物视觉捕获装置,对改变后的图像进行捕获。与此同时,构建脚本程序,对每次改变的具体六维度信息进行有效测量,记录成为神经网络训练集标签。
第三步:利用python程序,提取特征标识物方向梯度直方图特征。方向梯度直方图(Histogram ofOriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。
第四步:将收集好的训练集进行格式转换,使之符合神经网络输入层的数据格式。
第五步:搭建训练网络,训练网络将基于keras神经网络框架,结合实际工程环境及需求,构建高精度卷积神经网络识别系统,提高识别准确率,以增加识别精度。
第六步:将神经网络与标识物HOG特征融合。在第一层卷积之前,将特征标识物基础图像与提取到的HOG特征图像同时输入第一层卷积神经网络。神经网络末端构建6维度全连接层,以输出六维度位置与姿态信息。相关网络与特征融合构建如图2所示。
第七步:基于keras神经网络框架,进行测试程序构建。与此同时,构建测试用数据集,在实际环境中任意调整实际模型目标距离与正对位置偏移进行拍照截取,投入训练好的卷积神经网络,得到测试结果。
Claims (1)
1.一种基于HOG特征融合算子的物体六维度位姿信息联合测量方法,包括下列步骤:
第一步:搭建实物测量环境:利用六维度物体位置与姿态控制平台,完成实物环境搭建工作,将满足实际需求的测量模型与所述平台进行有效结合与固定,利用黑白棋盘格作为特征标识物,并将特征标识物贴放于实物模型表面,完成实物测量环境搭建。
第二步:制作神经网络训练集:通过控制六维度电机驱动,对带有特征标识物的实物模型进行有效位置和姿态的信息改变,在合理范围内,以电机驱动最小单位进行大范围样本获取,利用相机搭建实物视觉捕获装置,对改变后的图像进行捕获;构建脚本程序,对每次改变的具体六维度信息进行有效测量,记录成为神经网络训练集标签;
第三步:提取特征标识物方向梯度直方图特征HOG;
第四步:将收集好的训练集进行格式转换,使之符合神经网络输入层的数据格式;
第五步:基于keras神经网络框架搭建训练网络;
第六步:将神经网络与特征标识物HOG特征融合:在第一层卷积之前,将特征标识物基础图像与提取到的HOG特征图像同时输入第一层卷积神经网络,神经网络末端构建6维度全连接层,以输出六维度位置与姿态信息;
第七步:基于keras神经网络框架,进行测试程序构建,与此同时,构建测试用数据集,在实际环境中任意调整实际模型目标距离与正对位置偏移进行拍照截取,投入训练好的卷积神经网络,得到测试结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910042933.XA CN109636856B (zh) | 2019-01-17 | 2019-01-17 | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910042933.XA CN109636856B (zh) | 2019-01-17 | 2019-01-17 | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109636856A true CN109636856A (zh) | 2019-04-16 |
CN109636856B CN109636856B (zh) | 2022-03-04 |
Family
ID=66061113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910042933.XA Active CN109636856B (zh) | 2019-01-17 | 2019-01-17 | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109636856B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951333A (zh) * | 2020-07-27 | 2020-11-17 | 中国科学院深圳先进技术研究院 | 六维姿态数据集自动生成方法、系统、终端以及存储介质 |
WO2022156044A1 (zh) * | 2021-01-22 | 2022-07-28 | 逆可网络科技有限公司 | 一种即时获得线上物体实际尺寸测量方法 |
CN117609673A (zh) * | 2024-01-24 | 2024-02-27 | 中南大学 | 基于物理信息神经网络的六自由度并联机构正解方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107917700A (zh) * | 2017-12-06 | 2018-04-17 | 天津大学 | 基于深度学习的小幅度目标三维姿态角测量方法 |
KR20180078504A (ko) * | 2016-12-30 | 2018-07-10 | 알마인드(주) | Pir 움직임 감지 센서 정보 와 영상 데이터 내용 분석 정보 융합에 의한 사람 감지 방법 |
CN108596237A (zh) * | 2018-04-19 | 2018-09-28 | 北京邮电大学 | 一种基于颜色和血管的lci激光内镜下的结肠息肉分类方法 |
US20180293449A1 (en) * | 2016-09-14 | 2018-10-11 | Nauto Global Limited | Systems and methods for near-crash determination |
CN108876852A (zh) * | 2017-05-09 | 2018-11-23 | 中国科学院沈阳自动化研究所 | 一种基于3d视觉的在线实时物体识别定位方法 |
-
2019
- 2019-01-17 CN CN201910042933.XA patent/CN109636856B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180293449A1 (en) * | 2016-09-14 | 2018-10-11 | Nauto Global Limited | Systems and methods for near-crash determination |
KR20180078504A (ko) * | 2016-12-30 | 2018-07-10 | 알마인드(주) | Pir 움직임 감지 센서 정보 와 영상 데이터 내용 분석 정보 융합에 의한 사람 감지 방법 |
CN108876852A (zh) * | 2017-05-09 | 2018-11-23 | 中国科学院沈阳自动化研究所 | 一种基于3d视觉的在线实时物体识别定位方法 |
CN107917700A (zh) * | 2017-12-06 | 2018-04-17 | 天津大学 | 基于深度学习的小幅度目标三维姿态角测量方法 |
CN108596237A (zh) * | 2018-04-19 | 2018-09-28 | 北京邮电大学 | 一种基于颜色和血管的lci激光内镜下的结肠息肉分类方法 |
Non-Patent Citations (2)
Title |
---|
YU XIANG 等: "PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes", 《ARXIV》 * |
王志军 等: "机器人运动中六维力传感器的重力补偿研究", 《机械设计与制造》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951333A (zh) * | 2020-07-27 | 2020-11-17 | 中国科学院深圳先进技术研究院 | 六维姿态数据集自动生成方法、系统、终端以及存储介质 |
WO2022021782A1 (zh) * | 2020-07-27 | 2022-02-03 | 中国科学院深圳先进技术研究院 | 六维姿态数据集自动生成方法、系统、终端以及存储介质 |
WO2022156044A1 (zh) * | 2021-01-22 | 2022-07-28 | 逆可网络科技有限公司 | 一种即时获得线上物体实际尺寸测量方法 |
CN117609673A (zh) * | 2024-01-24 | 2024-02-27 | 中南大学 | 基于物理信息神经网络的六自由度并联机构正解方法 |
CN117609673B (zh) * | 2024-01-24 | 2024-04-09 | 中南大学 | 基于物理信息神经网络的六自由度并联机构正解方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109636856B (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111473739B (zh) | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 | |
CN109308693B (zh) | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 | |
CN109658457B (zh) | 一种激光与相机任意相对位姿关系的标定方法 | |
CN109977813B (zh) | 一种基于深度学习框架的巡检机器人目标定位方法 | |
CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
CN110334701B (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
CN108959713A (zh) | 基于卷积神经网络的目标距离与正对位置偏移测量方法 | |
CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
CN111476841B (zh) | 一种基于点云和图像的识别定位方法及系统 | |
CN107917700A (zh) | 基于深度学习的小幅度目标三维姿态角测量方法 | |
CN109636856A (zh) | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 | |
CN109448043A (zh) | 平面约束下的立木高度提取方法 | |
CN114219855A (zh) | 点云法向量的估计方法、装置、计算机设备和存储介质 | |
Ma et al. | An intelligent object detection and measurement system based on trinocular vision | |
CN116630267A (zh) | 基于无人机与激光雷达数据融合的路基沉降监测方法 | |
CN113012238B (zh) | 一种多深度相机快速标定与数据融合的方法 | |
CN113487726B (zh) | 动作捕捉系统和方法 | |
CN205466320U (zh) | 一种基于多镜头的智能机械手 | |
CN110349209A (zh) | 基于双目视觉的振捣棒定位方法 | |
CN110853103B (zh) | 一种用于深度学习姿态估计的数据集制作方法 | |
CN109934333A (zh) | 基于全连接神经网络的目标定位方法 | |
CN108592789A (zh) | 一种基于bim和机器视觉技术的钢结构工厂预拼装方法 | |
CN112396633A (zh) | 基于单摄像机的目标跟踪及轨迹三维重现方法和装置 | |
CN111462171A (zh) | 一种标记点检测跟踪方法 | |
CN109631794A (zh) | 基于卷积神经网络的目标物体弯曲度测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |