CN112053373A - 一种自带图像尺度变换的空间非合作目标姿态评估方法 - Google Patents

一种自带图像尺度变换的空间非合作目标姿态评估方法 Download PDF

Info

Publication number
CN112053373A
CN112053373A CN202010803573.3A CN202010803573A CN112053373A CN 112053373 A CN112053373 A CN 112053373A CN 202010803573 A CN202010803573 A CN 202010803573A CN 112053373 A CN112053373 A CN 112053373A
Authority
CN
China
Prior art keywords
cooperative target
image
scale transformation
data
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010803573.3A
Other languages
English (en)
Inventor
贺盈波
石永强
徐云飞
华宝成
王立
吴云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Control Engineering
Original Assignee
Beijing Institute of Control Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Control Engineering filed Critical Beijing Institute of Control Engineering
Priority to CN202010803573.3A priority Critical patent/CN112053373A/zh
Publication of CN112053373A publication Critical patent/CN112053373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自带图像尺度变换的空间非合作目标姿态评估方法，包括非合作目标边界提取、图像尺度变换、模块化深度可分离卷积网络、三轴姿态输出，算法包含训练和检测两部分，训练过程主要是利用地面有标注的姿态图像数据，利用梯度下降算法对算法网络的相关参数进行训练；检测过程是利用已训练好的参数，对输入的图像，评估出图像中的非合作目标相应的三轴姿态。本发明摆脱了姿态识别过程中对非合作目标构型的限制，通过模块化的深层次卷积网络，逐步的提取图像的深层次特征，解决了传统方法特征点难以稳健提取，光照适应性差的问题。

Description

一种自带图像尺度变换的空间非合作目标姿态评估方法
技术领域
本发明涉及非合作目标姿态评估方法，特别是基于图像特征对非合作目标姿态的评估，属于图像处理和模式识别领域。
背景技术
对空间非合作目标的姿态识别，是近距离对其进行操控和服务的前提。因此，非合作目标姿态的识别是空间领域一个重要的研究方向。基于视觉图像对非合作目标姿态评估主要是通过对图像局部特征点与基准模型进行匹配，获取相应的旋转矩阵，进而利用最小二乘法对超定方程组进行求解，得到相应的姿态角。
通常，基于单目视觉图像对非合作目标姿态求解，其难点在于特征点的提取，已有的相关方案大多数是对表面有明显特征，如圆形、直线等特征点进行提取，根据特征点对应匹配关系求解相应的旋转矩阵，计算出姿态角。此类解决方案面临的缺陷在于：第一，手动特征提取通用性差，能够提取的有效点不多，特别是对于没有明显圆形等相关特征，方法往往失效；第二，手动特征稳健性差，在光照、尺度多变的场景，提取的特征点通常不能够实现有效的匹配。
发明内容
本发明的技术解决问题是：为了克服在对空间非合作目标姿态识别过程中，图像特征难以稳健提取，光照和距离适应性差的问题，本发明提出一种自带图像尺度变换的空间非合作目标姿态评估方法，通过模块化卷积网络的引入，解决特征点提取和光照适应性问题；通过图像尺度变换模块，解决不同工作距离条件下算法适应性问题。
本发明的技术解决方案是：
一种自带图像尺度变换的空间非合作目标姿态评估方法，包括以下步骤：
(a1)、非合作目标边界提取：利用Sobel算子，计算图像中目标的边缘轮廓，查询相应的坐标点，计算边界轮廓的最小外切正方形，作为非合作目标的边界坐标；
(a2)、图像尺度变换：将步骤(a1)的边界坐标，按照最小外切正方形面积的一定比例，对边界进行扩展；根据边界点的坐标，对原图进行截取，并把截取的图像尺寸进行压缩，作为算法网络的输入；
(a3)、模块化深度可分离卷积网络构建：将步骤(a2)中压缩的图像输入位姿识别网络，按顺序依次进行连接，每层的输出作为后一层的输入，最终输出为特征向量；
(a4)、三轴姿态输出：将步骤(a3)中输出的特征向量，采用全连接的方式，输出1*3的数据，在检测时，1*3的单元数据表示为目标三轴的相对姿态；在训练时，通过1*3单元的值获取相应的损失函数，然后反向传播，通过梯度下降法对网络进行训练。
进一步的，所述步骤(a2)中的图像尺度变换方法，对于待训练的数据，按10％～50％比例进行随机扩展。
进一步的，Sobel算子为：
Figure BDA0002628282350000021
Figure BDA0002628282350000022
Figure BDA0002628282350000023
其中，Gx,Gy分别表示水平和垂直方向的求导运算，G表示总梯度，I表示原始图像。
进一步的，步骤(a2)中，对于待检测的数据，按10％比例扩展。
进一步的，步骤(a4)中，在训练时，通过1*3单元的值计算相应的损失函数为：
Figure BDA0002628282350000031
其中：Yi real为真值标注数据，Yi predict为计算出来的1*3对应的单元值，λ为正则因子，ωi为对应网络所有的系数和，N为参与训练的数据个数。
进一步的，步骤(a4)中，
通过
Figure BDA0002628282350000032
输出1*3的数据，
其中，yj(j＝1,2,3)为输出的三轴姿态；Wij为权重因子；xi为输入的特征向量；bj为偏移量，
此1*3数据分别表示非合作目标三轴姿态角，即alpha角，beta角，gamma角。
进一步的，步骤(a3)中，通过3*3卷积模块进行特征提取，然后重复利用带有残差结构的点卷积和深度卷积提取高层特征，最终输出为一维特征向量。
本发明与现有技术相比的优点在于：
(1)本发明提供的一种自带图像尺度变换的空间非合作目标姿态评估方法，其摆脱了姿态识别过程中对非合作目标构型的限制，通过模块化的深层次卷积网络，逐步的提取图像的深层次特征，解决了传统方法特征点难以稳健提取，光照适应性差的问题。
(2)本发明对原始图像通过Sobel算子获取图像边界，然后通过设计的图像尺度变换模块对其尺度进行变换，以适应不同距离场景的测量需求，实用性强；
(3)本发明基于深度学习的方法，使得基于单目图像的姿态估计精度，在不同光照条件和工作距离下，保持在2°以内。
附图说明
图1为本发明方法的流程图；
图2为本发明尺度变换模块流程图；
图3为本发明实施例的非合作目标姿态alpha角的估计精度图；
图4为本发明实施例的非合作目标姿态beta角的估计精度图；
图5为本发明实施例的非合作目标姿态gamma角的估计精度图。
具体实施方式
下面结合附图对本发明进行详细说明。
针对传统解决方案面临的问题，利用在图像领域获取极大成功的卷积神经网络算法，通过设计深层次的卷积网络模块结构，可自动提取图像的深层次特征，实现端到端的设计。为了将卷积神经网络部署在移动端，要求网络参数量小，运算速度快，深度可分离卷积模块被提出，通过点卷积和深度卷积代替传统的卷积运算，在不改变算法准确率的条件下，模型参数减小到原来的1/9。
本发明将卷积神经网络引入空间非合作目标姿态识别领域。设计新增了图像尺度变换模块，使得网络算法对不同距离条件下的图像均具有较好的准确性；通过采用深度可分离卷积模块，使得算法对不同光照距离的变化具有很好的适应性。
具体的，一种自带图像尺度变换的空间非合作目标姿态评估方法，如图1所示，具体步骤如下：
(a1)、非合作目标边界提取。利用Sobel算子计算出图像中目标的边缘轮廓，查询相应的坐标点，计算出边界轮廓的最小外切正方形，作为非合作目标的边界坐标。
(a2)、图像尺度变换。如图2所示，将步骤(a1)的边界坐标，按照最小外切正方形面积的一定比例，对边界进行扩展。检测过程，按固定10％比例扩展；训练过程按照10％～50％比例进行随机扩展。根据目标边界扩展后的坐标点截取图像，并把图像尺度压缩到224*224。
(a3)、模块化深度可分离卷积网络，将(a2)中获得的224*224图像输入姿态识别网络，按顺序依次进行连接，每层的输出作为后一层的输入通过传统3*3卷积模块进行特征提取，然后重复利用带有残差结构的点卷积和深度卷积提取高层特征，最终输出为一维特征向量。
具体的，其网络结构如表1所示，每层的输出作为后一层的输入，最终输出为1*1*1280的特征向量；
表1位姿识别网络结构
Figure BDA0002628282350000051
表中Conv2d_3*3表示采用3*3的卷积模块，Conv2d_1*1表示采用1*1的卷积模块，s表示滑动步长,所有卷积模块中的非线性方式均采用ReLU6。深度可分离卷积模块M_t由M0,M1,M2,M3,M4依次连接构成，M0表示模块输入；M1结构为1*1*t,表示对输入进行1*1卷积运算，输出通道数变为c*t；M2结构为3*3*(c*t),采用3*3的卷积对M1输出结果一对一进行卷积，输出通道数仍为c*t；M3结构为1*1*c，输出通道数变为c；若滑动步长为为2，模块输出M4＝M3；若滑动步长为1，则M4＝M0+M3。
(a4)、三轴姿态输出。将步骤(a3)中卷积模块n的输出结果进行全连接，输出单元数目为1*3。在检测时，1*3的单元数据表示的是目标三轴的相对姿态；在训练时，通过1*3单元的值获取相应的损失函数，然后反向传播，通过梯度下降法对网络进行训练；
公式如(4)所示：W表示权重因子，b表示偏移量，x表示输入数据，y表示输出数据。
Figure BDA0002628282350000061
此1*3数据分别表示非合作目标三轴姿态角，即alpha角，beta角，gamma角。
在检测时，1*3的数据表示的是目标三轴的相对姿态；在训练时，通过1*3单元的值计算相应的损失函数，如公式(5)所示：
Figure BDA0002628282350000062
公式中Yi real表示真值标注数据，Yi predict表示计算出来的1*3对应的单元值，λ表示正则因子，取值10-5，ωi表示对应网络所有的系数和，N表示参与训练的数据个数。计算出损失函数后，采用梯度下降法，反向传播，对网络模型进行训练，获取模型对应的参数。
如图3、图4、图5所示，为依照本发明提供的非合作目标姿态估计方法得出的三轴姿态角(依次分别为alpha角，beta角，gamma角)与实际真值的比较和误差曲线。可以看出采用本专利的姿态识别算法，准确率较好，误差范围在2度(3σ)以内。
本发明摆脱了姿态识别过程中对非合作目标构型的限制，通过模块化的深层次卷积网络，逐步的提取图像的深层次特征，解决了传统方法特征点难以稳健提取，光照适应性差的问题。
本发明对原始图像通过Sobel算子获取图像边界，然后通过设计的图像尺度变换模块对其尺度进行变换，以适应不同距离场景的测量需求，具有较强的实用性。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (7)

1.一种自带图像尺度变换的空间非合作目标姿态评估方法，其特征在于包括以下步骤：
(a1)、非合作目标边界提取：利用Sobel算子，计算图像中目标的边缘轮廓，查询相应的坐标点，计算边界轮廓的最小外切正方形，作为非合作目标的边界坐标；
(a2)、图像尺度变换：将步骤(a1)的边界坐标，按照最小外切正方形面积的一定比例，对边界进行扩展；根据边界点的坐标，对原图进行截取，并把截取的图像尺寸进行压缩，作为算法网络的输入；
(a3)、模块化深度可分离卷积网络构建：将步骤(a2)中压缩的图像输入位姿识别网络，按顺序依次进行连接，每层的输出作为后一层的输入，最终输出为特征向量；
(a4)、三轴姿态输出：将步骤(a3)中输出的特征向量，采用全连接的方式，输出1*3的数据，在检测时，1*3的单元数据表示为目标三轴的相对姿态；在训练时，通过1*3单元的值获取相应的损失函数，然后反向传播，通过梯度下降法对网络进行训练。
2.根据权利要求1所述的一种自带图像尺度变换的空间非合作目标姿态评估方法，其特征在于，所述步骤(a2)中的图像尺度变换方法，对于待训练的数据，按10％～50％比例进行随机扩展。
3.根据权利要求1所述的一种自带图像尺度变换的空间非合作目标姿态评估方法，其特征在于，Sobel算子为：
Figure FDA0002628282340000011
Figure FDA0002628282340000012
Figure FDA0002628282340000021
其中，Gx,Gy分别表示水平和垂直方向的求导运算，G表示总梯度，I表示原始图像。
4.根据权利要求1所述的一种自带图像尺度变换的空间非合作目标姿态评估方法，其特征在于，步骤(a2)中，对于待检测的数据，按10％比例扩展。
5.根据权利要求1所述的一种自带图像尺度变换的空间非合作目标姿态评估方法，其特征在于，步骤(a4)中，在训练时，通过1*3单元的值计算相应的损失函数为：
Figure FDA0002628282340000022
其中：Yi real为真值标注数据，Yi predict为计算出来的1*3对应的单元值，λ为正则因子，ωi为对应网络所有的系数和，N为参与训练的数据个数。
6.根据权利要求1所述的一种自带图像尺度变换的空间非合作目标姿态评估方法，其特征在于，步骤(a4)中，
通过
Figure FDA0002628282340000023
输出1*3的数据，
其中，yj(j＝1,2,3)为输出的三轴姿态；Wij为权重因子；xi为输入的特征向量；bj为偏移量，
此1*3数据分别表示非合作目标三轴姿态角，即alpha角，beta角，gamma角。
7.根据权利要求1所述的一种自带图像尺度变换的空间非合作目标姿态评估方法，其特征在于，步骤(a3)中，通过3*3卷积模块进行特征提取，然后重复利用带有残差结构的点卷积和深度卷积提取高层特征，最终输出为一维特征向量。
CN202010803573.3A 2020-08-11 2020-08-11 一种自带图像尺度变换的空间非合作目标姿态评估方法 Pending CN112053373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010803573.3A CN112053373A (zh) 2020-08-11 2020-08-11 一种自带图像尺度变换的空间非合作目标姿态评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010803573.3A CN112053373A (zh) 2020-08-11 2020-08-11 一种自带图像尺度变换的空间非合作目标姿态评估方法

Publications (1)

Publication Number Publication Date
CN112053373A true CN112053373A (zh) 2020-12-08

Family

ID=73601564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010803573.3A Pending CN112053373A (zh) 2020-08-11 2020-08-11 一种自带图像尺度变换的空间非合作目标姿态评估方法

Country Status (1)

Country Link
CN (1) CN112053373A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363217A (zh) * 2023-06-01 2023-06-30 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063700A (zh) * 2014-07-04 2014-09-24 武汉工程大学 自然光照正面人脸图像中的眼睛中心点定位的方法
CN104091155A (zh) * 2014-07-04 2014-10-08 武汉工程大学 光照鲁棒的虹膜快速定位方法
CN108876862A (zh) * 2018-07-13 2018-11-23 北京控制工程研究所 一种非合作目标点云位置姿态计算方法
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063700A (zh) * 2014-07-04 2014-09-24 武汉工程大学 自然光照正面人脸图像中的眼睛中心点定位的方法
CN104091155A (zh) * 2014-07-04 2014-10-08 武汉工程大学 光照鲁棒的虹膜快速定位方法
CN108876862A (zh) * 2018-07-13 2018-11-23 北京控制工程研究所 一种非合作目标点云位置姿态计算方法
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
MARK SANDLER等: "Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation", 《ARXIV:1801.04381V1 [CS.CV]》, pages 1 - 14 *
SUMANT SHARMA等: "Pose Estimation for Non-Cooperative Spacecraft Rendezvous Using Convolutional Neural Networks", 《ARXIV:1809.07238V1 [CS.CV]》, pages 1 - 13 *
午夜点点点: "神经网络损失函数中的正则化项", 《CSDN》, pages 41813258 - 223 *
徐云飞等: "一种卷积神经网络非合作目标姿态测量方法", 《宇航学报》, vol. 41, no. 6, pages 560 - 568 *
李由: "基于轮廓和边缘的空间非合作目标视觉跟踪", 《中国博士学位论文全文数据库信息科技辑》, pages 138 - 113 *
束安等: "空间非合作目标的双目视觉位姿测量方法", 《光学学报》, pages 1 - 20 *
菜鸟知识搬运工: "常见损失函数及正则项", 《CSDN》, pages 30815237 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363217A (zh) * 2023-06-01 2023-06-30 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN116363217B (zh) * 2023-06-01 2023-08-11 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质

Similar Documents

Publication Publication Date Title
CN111563878B (zh) 一种空间目标定位方法
Pizarro et al. Large area 3-D reconstructions from underwater optical surveys
CN109299643B (zh) 一种基于大姿态对准的人脸识别方法及系统
CN107358629B (zh) 一种基于目标识别的室内建图与定位方法
CN107680116A (zh) 一种监测视频图像中运动目标的方法
CN116249607A (zh) 用于机器人抓取三维物体的方法和装置
CN107895145A (zh) 基于卷积神经网络结合超高斯去噪估测手指受力的方法
Zhao et al. Fractal dimension estimation of RGB color images using maximum color distance
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN112053373A (zh) 一种自带图像尺度变换的空间非合作目标姿态评估方法
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位系统
CN114494594A (zh) 基于深度学习的航天员操作设备状态识别方法
CN110705355A (zh) 一种基于关键点约束的人脸姿态估计方法
CN114463397A (zh) 一种基于渐进式滤波的多模态图像配准方法
CN114066795A (zh) Df-sas高低频声呐图像精细配准融合方法
CN111735447B (zh) 一种仿星敏式室内相对位姿测量系统及其工作方法
CN117237902A (zh) 基于深度学习的机器人物体识别系统
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
Boulekchour et al. Robust L∞ convex optimisation for monocular visual odometry trajectory estimation
JP2008224641A (ja) カメラ姿勢推定システム
CN112396167A (zh) 一种外观相似度与空间位置信息融合的回环检测方法
CN115620016A (zh) 一种骨架检测模型的构建方法、图像数据识别方法
CN115147576A (zh) 一种基于关键特征的水下机器人对接单目视觉导引方法
CN115246125A (zh) 基于混合反馈的机器人视觉伺服控制方法及系统
Wang et al. Stratification approach for 3-d euclidean reconstruction of nonrigid objects from uncalibrated image sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination