CN116659396A - 一种基于点光源检测的直升机机载旋翼桨尖位移测量方法 - Google Patents

一种基于点光源检测的直升机机载旋翼桨尖位移测量方法 Download PDF

Info

Publication number
CN116659396A
CN116659396A CN202310725004.5A CN202310725004A CN116659396A CN 116659396 A CN116659396 A CN 116659396A CN 202310725004 A CN202310725004 A CN 202310725004A CN 116659396 A CN116659396 A CN 116659396A
Authority
CN
China
Prior art keywords
light source
network
helicopter
point light
blade tip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310725004.5A
Other languages
English (en)
Inventor
熊邦书
郑文浩
欧巧风
韩思进
熊皓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202310725004.5A priority Critical patent/CN116659396A/zh
Publication of CN116659396A publication Critical patent/CN116659396A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于点光源检测的直升机机载旋翼桨尖位移测量方法，属于图像数据处理领域。该方法将点光源固定在直升机旋翼桨尖区域实现全天候桨尖标记，并在直升机底部以倾斜角度固定工业相机采集旋翼桨尖区域图像，其次结合高斯感受野和加权特征融合设计一种微小目标检测的深度学习模型，能够在较大视场实现点光源的精准识别与定位。该方法主要包括以下步骤：1）工业相机的视觉标定；2）旋翼桨尖区域图像采集；3）基于深度学习的点光源检测：4）斜视误差补偿，并计算桨尖位移量。本发明采用深度学习网络模型和计算机视觉实现直升机机载旋翼桨尖位移测量，具有高精度、实时、全天候的优点，可为新型直升机设计提供试飞数据支撑。

Description

一种基于点光源检测的直升机机载旋翼桨尖位移测量方法
技术领域
本发明属于图像数据处理领域，具体涉及一种结合高斯感受野和加权特征融合网络检测微小目标的算法和采用深度学习网络检测桨尖点光源的直升机机载旋翼桨尖位移测量方法。
背景技术
直升机是飞行器中一个具有鲜明特色的种类，一般带有一个或多个动力驱动水平的螺旋桨使其能够垂直起降、沿任意矢量方向移动或在空中保持自稳状态。直升机在实际飞行任务中包括加减速、急停、转弯以及高技巧性操作等非稳态飞行状态，对桨叶的极限参数具有极高的要求，其桨尖位移量是桨叶设计及评估的重要指标。旋翼桨尖在高速旋转中会对边沿空气做切割运动，将产生高尖端马赫数效应，并伴随着大量气动噪声，这也是直升机的主要噪声来源。同时，其产生的涡流效应也会引起桨尖部分的非稳态压力波动，导致桨尖上下位移波动。对于单旋翼直升机，桨尖位移量可以折射桨叶的工作状态，反映其疲劳程度，并为减小直升机噪声提供数据支持。对于共轴双旋翼直升机，上下桨尖间距是保证直升机安全工作的关键因素。上下桨尖的间距必须控制在设定的范围内，各个桨尖运动的位移量必须在设定的包络线范围以内。
直升机旋翼桨尖位移测量的主要难点在于：首先，桨尖运动具有高速、强震动的特点，无法嵌入较大的桨尖标记装置且对测量设备具有较高的处理速度的要求；其次，桨尖区域距离机身较远，利用点光源标记的区域成像像素尺寸极其有限，需要在全天候复杂的光照检测微小目标是较为困难的工作；传统的地面测量设备无法实时获取真实飞行过程的桨尖位移量。直升机机载旋翼桨尖位移量测量，若使用惯性导航系统的方法，结构简单、成本较低，但在长时间的工作下会产生惯导的漂移现象，产生较大的误差。综上所述，研究直升机机载实时测量旋翼桨尖位移量具有重要的研究意义和应用价值。
发明内容
为解决上述现有技术的不足，本发明提供一种基于点光源检测的直升机机载旋翼桨尖位移测量方法，以实现直升机机载旋翼桨尖位移量的精准测量。
本发明是通过以下技术方案来实现的。
一种基于点光源检测的直升机机载旋翼桨尖位移测量方法，包括以下步骤：
步骤(1)点光源固定；将点光源标记点固定在旋翼桨叶的桨尖处；
步骤(2)工业相机的固定及其标定；
步骤(3)直升机旋翼桨尖区域的图像采集；当旋翼桨叶上桨尖点光源进入工业相机的中心视场时，光电传感器将会发出触发信号，经过触发倍频器转换为特定频率脉冲信号，从而触发工业相机采集桨尖区域图像；
步骤(4)基于高斯感受野和加权特征融合深度网络的点光源检测，具体步骤如下：
步骤(4.1)构建训练样本数据集及其增强；首先，使用工业相机采集大量在全天候背景下的桨尖区域图像，并使用标注软件定向框选点光源区域；其次，将所标注的信息文件转换为数据集管道的文本文件，数据集管道的文本文件中包括点光源的所在坐标位置、长宽以及类别信息；接着采用随机取样算法将数据集划分为训练集、测试集和验证集，与标注文本文件共同构建为数据集管道；最后对所输入的图像数据集进行数据增广，包括并不限于平移、旋转、拼接以及锐化。
步骤(4.2)构建深度学习网络模型框架；所述深度学习网络模型采用端到端结构设计，整体网络分模块搭建，主要包括骨干网络Backbone、特征融合网络Neck以及任务网络Head，其中骨干网络Backbone为特征提取模块，主要由4个卷积层、3个残差网络以及一个SPPF层构成，特征融合网络Neck包括4层卷积层、4个残差网络以及若干个拼接层Cat与多个上采样操作层Upsample，任务网络Head包括数据标签的正负样本分配模块、损失函数计算模块与非极大值抑制模块；骨干网络Backbone输出3层感受野的特征图至特征融合网络Neck，然后由特征融合网络Neck对上下层感受野的特征图进行尺度融合得到3个尺度的高维语义信息，最后将获得的高维语义信息输入至任务网络Head进行任务数据的分类与回归。
步骤(4.3)结合高斯感受野优化模型对微小目标的检测；所述高斯感受野优化步骤为：首先，采用步骤(4.2)构建的骨干网络Backbone提取特征来计算出理论感受野；其次，根据所得的感受野大小提取有效感受野区域作为先验回归定向框；接着，将先验回归定向框和人工标注真实框作为目标矩形框均建模为二维高斯分布模型，这有利于微小目标的边缘梯度扩张，提高网络对小目标特征信息的提取；之后，采用相似性新范式来度量先验回归定向框和人工标注真实框之间高斯分布模型的距离，得到所有人工标注真实框与所分配样本的得分信息；最后，采用多层次的TopK算法分配网络训练所需的正样本与负样本。
步骤(4.4)结合通道加权特征融合优化模型对微小目标的检测；所述加权特征融合方法根据输入特征的不同分辨率，将会对输出特征有不同的权值贡献；小目标的特征主要聚集与分辨率较大的特征图，因此，结合通道加权特征融合可以提高对小目标的关注度。所述结合通道加权特征融合方法优化模型对微小目标的检测的具体步骤为：首先设计一个自顶而下、自低而上的双向特征融合网络FPN-PANet；其次，融合简单注意力机制，使用深度可分离卷积分配感受野较小的特征图更大的权重；接着，特征融合网络Neck将骨干网络Backbone输出的各层特征图与其相同尺度的输出特征图进行拼接；最后将所融合的特征图分配至任务网络Head，输出最终的检测结果。
步骤(4.5)模型训练与部署；
步骤(5)点光源位置误差修正；直升机旋翼桨尖运动线速度一般处于亚音速状态，具有速度高、震动恶劣以及离心力大等特点。由于机载工业相机光轴与桨尖运动轨迹非共线，故直接根据像素当量计算桨尖位移具有较大的深度误差。所述点光源位置误差修正主要包括：首先确定点光源标记点为基准点，根据小孔成像原理确定不同挥舞量下桨尖与基准点之间的矢量距离所占的像素距离；接着通过拟合函数计算出允许残差下桨尖位移量与像素距离的函数关系。
步骤(6)计算旋翼桨尖位移量；将深度学习网络模型计算出图像中的点光源标记点坐标输入到所述步骤(5)得到的拟合函数中，修正计算出实际的旋翼桨尖位移量。
进一步的，所述点光源标记点包括LED装置，所述LED装置均被固定在所有桨叶的桨尖下表面区域。
进一步的，所述工业相机固定于直升机轮毂处，工业相机的光轴与直升机轮毂水平面的角度为45度；接着对所选用的工业相机进行单目标定，获得平面像素当量信息。
进一步的，工业相机的标定方法包括以下步骤：首先通过将工业相机连接至处理计算机；其次是在点光源标记点处摆放带有矩形阵列分布的圆型标记点的标定靶标，并在处理计算机设置好靶标模板参数；接着利用工业相机采集多张标定靶标图像，根据靶标模板参数和实际圆型标记点在图像上所占像素长度的比例得到每一张图片标记点处的标定量；标记点处的标定量的具体计算公式为：
式中PixelEquivalentv为标定的像素当量结果，N为标定图像采集的数量，DAi为第i张图像所拍摄圆型标记点之间的实际距离，DPi为第i张图像所拍摄的圆型标记点之间的像素长度。
进一步的，所述工业相机需要依据桨叶尖端处的运动线速度确定其曝光时间，以降低拍摄目标的残影现象；同时需要保证点光源成像有效，故曝光时间应设置不大于50微秒。
进一步的，步骤(4.3)中，理论感受野计算公式为：
式中TRFn+1表示当前卷积层的感受野大小，TRFn为上一层卷积层的感受野大小，kerneln+1为当前卷积层所采用的卷积核大小，Stridei为各个卷积层所采用的步长大小；
由此可得到网络各层有效感受野大小ERF＝TRF·γ，其中γ为迭代因子，TRF为网络各层理论感受野。
进一步的，步骤(4.3)中，将目标矩形框建模为二维高斯模型的计算公式为：
式中，G(x,y)表示高斯建模后的高维权值，(x,y)为像素所在坐标，σ建模为目标框的平方，μ建模为目标框的中心坐标点，Centerobj为目标框的中心坐标。
进一步的，步骤(4.3)中，新范式计算公式为：
式中Distance表示高斯建模后的人工标注真实框有效感受野的相似距离，GTk为符合高斯分布的人工标注真实框，ERFk为符合高斯分布的有效感受野框。
进一步的，所述步骤(4.5)模型训练与部署具体步骤为：首先，配置网络训练的数据集管道、超参数以及预训练模型；其次，通过损失函数与验证数据集结果监督网络训练，得到最优网络模型；接着将网络模型重写为.wts格式的文本文件，并将其利用TensorRT引擎序列化重构为.engine推理文件；最后将.engine加载至推理引擎进行高速推理。
本发明的有益效果是：(1)区别于航空地面测量装置，本发明的直升机机载旋翼桨尖位移测量方法应用于直升机边缘测量装置，具有低延迟、抗干扰性强和不丢包等优点，可实时测量非稳态直升机旋翼桨尖位移数据。(2)设计了一种针对微小目标检测的深度网络结构，克服了由于点光源成像像素尺寸有限而难以检测的难点，其对点光源的检测精度可达99.85％；(3)本发明将所训练网络模型部署于TensorRT引擎，单张图像检测最低耗时仅为2ms，实现对点光源的连续检测以及桨尖位移量的高速测量；(4)先验斜视误差补偿参数对网络检测数据进行误差修正，主要补偿由于缺失深度信息的尺度信息，其修正后的旋翼桨尖位移量最大误差小于10mm；本发明结合深度学习网络和计算机视觉实现对直升机机载桨尖位移量的测量，具有低延迟、高精度、抗干扰性强及易部署等优点，所测量数据可为直升机桨叶设计与性能评估以及桨尖气动特性研究提供数据支撑，有利于直升机的研发改进与飞行状态监控。
附图说明
图1为本发明直升机机载旋翼桨尖位移测量方法的整体工作流程图；
图2为本发明直升机机载旋翼桨尖位移测量方法采用的机载硬件设备布局示意图；
图3为本发明直升机机载旋翼桨尖位移测量方法的计算机视觉标定靶标结构示意图；
图4为本发明直升机机载旋翼桨尖位移测量方法的深度学习网络结构图；
图5为本发明直升机机载旋翼桨尖位移测量方法的高斯感受野建模图；
图6为本发明直升机机载旋翼桨尖位移测量方法的点光源目标检测结果图；
图7为本发明直升机机载旋翼桨尖位移测量方法的先验斜视误差补偿方法原理图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
除非另作定义，此处使用的技术术语或者科学术语应当为本申请所述领域内具有一般技能的人士所理解的通常意义。本专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
实施例：
本实施例的一种基于点光源检测的直升机机载旋翼桨尖位移测量方法，本实施例旋翼桨尖位移测量方法的整体工作流程如图1所示，其硬件设备布局设置如图2所示，本发明测量方法需要用到的硬件设备包括：点光源标记点1、旋翼桨叶2、工业相机3、光电传感器4、触发倍频器5、处理计算机6，其中，工业相机3、光电传感器4、触发倍频器5均与处理计算机6电性连接，可将采集到的数据传输给处理计算机6。本实施例的旋翼桨尖位移测量方法具体包括以下步骤：
步骤(1)点光源固定。其固定方法如图2所示，所述点光源标记点1采用的是LED装置。所述LED装置采用金属外壳和发光二极管构成，具有工作温度范围大、光强稳定和耐应力强的特点。该方法需要从旋翼桨叶2的桨尖下表面设计一个直径为15mm左右的容纳孔，每个桨尖容纳孔内均固定设置有一个LED装置，并以航空固胶进行灌胶密封。
步骤(2)工业相机的固定及其标定。工业相机的固定及其标定装置如图2和图3所示，本实施例采用型号为VCXG-13M.I.XT的工业相机3配以触发倍频器5和标定靶标构成工业相机标定装置。以直升机轮毂处水平面为参考面，该工业相机以与水平面间呈45度角度固定在直升机底部轮毂处，以确保相机中心光轴线对准点光源标记点1。工业相机标定方法包括以下步骤：首先通过将工业相机3连接至处理计算机6；其次是在点光源标记点1处摆放人工设置的带有矩形阵列分布的圆型标记点的标定靶标，并在处理计算机6设置好靶标模板参数，带有圆型标记点的标定靶标的结构示意图如图3所示；接着利用工业相机3采集多张标定靶标图像，根据靶标模板参数和实际圆型标记点在图像上所占像素长度的比例得到每一张图片标记点处的标定量。标记点处的标定量的具体计算公式为：
式中PixelEquivalentv为标定的像素当量结果，N为标定图像采集的数量，DAi为第i张图像所拍摄圆型标记点之间的实际距离，DPi为第i张图像所拍摄的圆型标记点之间的像素长度。
步骤(3)直升机旋翼桨尖区域的图像采集。本实施例的工业相机需要依据桨叶尖端处的运动线速度确定其曝光时间，以降低拍摄目标的残影现象。同时需要保证点光源成像有效，故曝光时间设置为50微秒。本实施例使用GA42Y-775电机模拟直升机主旋翼转子，使用25K高硬度雕刻板模拟旋翼桨叶，旋翼桨叶与主旋翼转子通过主旋翼轴连接，使用光电传感器4获得主旋翼轴的转动信号。当旋翼桨叶上桨尖点光源进入工业相机3的中心视场时，光电传感器4将会发出触发信号，经过触发倍频器5转换为特定频率脉冲信号，从而触发工业相机3采集桨尖区域图像。
步骤(4)基于高斯感受野和加权特征融合深度网络的点光源检测，具体实施步骤如下：
步骤(4.1)构建训练样本数据集及其增强。首先，使用工业相机采集大量在全天候背景下的桨尖区域图像，并使用labelimg标注软件定向框选点光源区域。其次，将所标注的信息文件转换为数据集管道的文本文件，其格式满足VOC(Visual Object Classes)数据集格式，数据集管道的文本文件中主要包括点光源的所在坐标位置、长宽以及类别信息。接着采用随机取样算法将数据集划分为训练集、测试集和验证集。其中，训练集占比70％，主要用于提取点光源在不同环境下的特征，由深度学习网络计算点光源的梯度信息，并进行反向传播不断优化深度卷积网络模型参数。测试集占比10％，主要用于测试网络在无训练图像下的检测效果，测试模型的泛化能力。验证集占比20％，主要用于在训练过程中，验证每一轮网络训练的效果，从而更好地监督网络训练情况。采集的图像与标注的文本文件共同构建为数据集管道。最后对所输入的图像数据集进行数据增广，包括并不限于旋转、拼接以及锐化等。其中旋转是指将旋转是指将整个图像数据集围绕中心按一定角度旋转，拼接是指将多张图像拼接为一张图像并格式化为统一尺寸，锐化为根据图像HSV色彩信息进行调节以来适应不同光照环境。
步骤(4.2)构建深度学习网络模型框架。本实施例中的深度学习网络模型采用端到端结构设计，整体网络分模块搭建。如图4所示，主要包括骨干网络Backbone、特征融合网络Neck以及任务网络Head。其中骨干网络Backbone为特征提取模块，主要由4个卷积层、3个残差网络以及一个SPPF层构成。图中，“Conv”表示卷积操作，“[3,2]”表示该操作所采用的卷积核为3×3，采用的步长为2，其余同理。卷积操作主要用于提取图像的深层语义信息，并将数据不断压缩编码以适应计算机的计算。“Res_C3”是基于CSP架构的残差网络，包含3个标准卷积层和一个残差块，将二者concat之后通过激活函数SiLu输出，主要防止网络过拟合，并保留更丰富的纹理梯度信息。“SPPF”为空间特征融合，主要解决目标多尺度问题。特征融合网络Neck包括4层卷积层、4个残差网络以及若干个拼接层Cat与上采样操作层Upsample；任务网络Head包括数据标签的正负样本分配、损失函数计算与非极大值抑制。骨干网络Backbone输出3层感受野的特征图至特征融合网络Neck，由特征融合网络Neck对上下层感受野的特征图进行尺度融合得到3个尺度的高维语义信息，最后将高维语义信息输入至任务网络Head进行任务数据的分类与回归。
步骤(4.3)结合高斯感受野优化步骤(4.2)中构建的深度学习网络模型对微小目标的检测。本实施例中的高斯感受野建模如图5所示，本方法结合高斯感受野优化模型对微小目标的检测的具体步骤为：首先，抛弃传统的人工尺度分组，采用骨干网络Backbone提取特征来计算出理论感受野，根据标准卷积层所得的理论感受野计算公式为：
式中TRFn+1表示当前卷积层的感受野大小，TRFn为上一层卷积层的感受野大小，kerneln+1为当前卷积层所采用的卷积核大小，Stridei为各个卷积层所采用的步长大小。由此可得到网络各层有效感受野大小ERF＝TRF·γ，其中γ为迭代因子，TRF为网络各层理论感受野，本实施例中，迭代因子γ设为0.5。用于动态调整ERF大小，经过计算得到所有P2、P3、P4、P5卷积层的有效感受野大小为[10,18,34,66]。其次，根据所得的感受野大小提取有效感受野区域作为先验回归定向框。接着，将提取出有效感受野区域的先验回归定向框和人工标注真实框作为目标矩形框并均建模为二维高斯分布模型，将目标矩形框建模为二维高斯模型的计算公式为：
式中，G(x,y)表示高斯建模后的高维权值，(x,y)为像素所在坐标，σ建模为目标框的平方，μ建模为目标框的中心坐标点，Centerobj为目标框的中心坐标，这有利于微小目标的边缘梯度扩张，提高网络对小目标特征信息的提取。之后，采用相似性新范式来度量先验回归定向框和人工标注真实框之间高斯分布模型的距离，得到所有人工标注真实框与所分配样本的得分信息。其中新范式计算公式为：
式中Distance表示高斯建模后的人工标注真实框有效感受野的相似距离，GTk为符合高斯分布的人工标注真实框，ERFk为符合高斯分布的有效感受野框。最后，采用多层次的TopK算法分配网络训练所需的正样本与负样本。
步骤(4.4)结合通道加权特征融合优化模型对微小目标的检测。本实施例中的加权特征融合不同于传统的特征金字塔融合，本实施例方法根据输入特征的不同分辨率，将会对输出特征有不同的权值贡献，加权特征融合网络结构如图4中的特征融合网络Neck模块所示。小目标的特征主要聚集于分辨率较大的特征图。因此，结合通道加权特征融合可以提高对小目标的关注度。本方法结合通道加权特征融合优化模型对微小目标的检测的具体步骤为：首先设计一个自顶而下、自低而上的双向特征融合网络FPN-PANet，加强对小目标细节信息的提取。其次，融合简单注意力机制，使用深度可分离卷积分配感受野较小的特征图更大的权重，该过程类似于softmax分类，在每一次标准卷积之后添加批量归一化和relu激活函数，从而为赋予各个层相对应的权重。接着，特征融合网络Neck将骨干网络Backbone提取出的P2、P3、P4特征层与融合后的输出特征图进行拼接。最后将所得的特征图分配至任务网络Head，输出最终的检测结果。
步骤(4.5)模型训练与部署。本实施例中的模型训练与部署具体步骤为：首先，配置网络训练的数据集管道、超参数以及预训练模型，数据集采用上述获取的自制桨尖区域图像数据集，训练采用SGD优化器，超参数中初始学习率设为0.01、anchor回归最大比例为4等。其次，通过损失函数与验证数据集结果监督网络训练，得到最优网络模型。接着将网络模型重写为.wts格式的文本文件，并将其利用TensorRT引擎序列化重构为.engine推理文件。最后将.engine文件加载至推理引擎进行高速推理，输出结果如图6所示，结果表明所训练的网络模型在不同光照强度对点光源检测有较强的鲁棒性。在表1所示的训练参数下，对本发明的相关测试指标进行测试，结果如下。
表1模型训练与加速计算参数
1、检测精度测试。
使用步骤(4)构建的深度学习网络对采集到的图像数据集进行训练，该数据集包含不同背景、曝光的桨尖图像，其中70％划分为训练集，20％划分为验证集，10％划分为测试集。定义损失值为人工标注真实框与网络预测结果的度量距离，召回率定义为预测目标占整张图像所有目标的比例，精度定义为map@50，平均精度定义为map@50-95，训练轮数设为500轮，测试后得到表2中桨尖点光源检测的损失值、召回率、精度以及平均精度。
表2检测精度测试结果
2、检测时间测试。
本实施例所执行测试方法为从获取工业相机图像帧开始计时，网络前向传播得到处理结果后结束计时，其差值为单张图像的处理时间。计算所有图像帧的单张图像处理时间得到平均处理时间，得到表3所示测试结果。本实施例采用的工业相机帧率为91帧每秒，采用TensorRT引擎的平均处理帧率为125帧每秒，满足实时处理条件。
表3网络模型部署于不同平台的检测时间测试结果
步骤(5)点光源位置误差修正；直升机旋翼桨尖运动线速度一般处于亚音速状态，具有速度高、震动恶劣以及离心力大等特点。由于机载工业相机光轴与桨尖运动轨迹非共线，故直接根据像素当量计算桨尖位移具有较大的深度误差。本实施例误差修正原理如图7所示，所述点光源位置误差修正主要包括：依据图7说明，首先确定桨尖基准点，根据小孔成像原理确定不同桨尖挥舞量H下旋翼桨叶的桨尖T与桨尖基准点O之间的矢量距离所占的像素距离L。最后通过拟合函数计算出允许残差下桨尖位移量D与像素距离L的函数关系，该拟合参数采用二阶参数拟合，残差范数小于0.01。
步骤(6)计算旋翼桨尖位移量，通过本方法构建的深度学习网络模型计算出图像中的点光源标记点与桨尖基准点的欧式距离并与标定量作积得到像素距离L，像素距离输入步骤(5)获得的函数修正为桨尖位移量D，其测量结果如表4所示。
表4斜视误差补偿结果(单位：mm)
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于点光源检测的直升机机载旋翼桨尖位移测量方法，其特征在于，包括以下步骤：
步骤(1)点光源固定；将点光源标记点固定在旋翼桨叶的桨尖处；
步骤(2)工业相机的固定及标定；
步骤(3)通过工业相机进行直升机旋翼桨尖区域的图像采集；
步骤(4)基于高斯感受野和加权特征融合深度网络的点光源检测，具体步骤如下：
步骤(4.1)构建训练样本数据集及其增强；首先，使用工业相机采集大量在全天候天空背景下的桨尖区域图像，并使用标注软件定向框选点光源区域；其次，将所标注的信息文件转换为数据集管道的文本文件，数据集管道的文本文件中包括点光源的所在坐标位置、长宽以及类别信息；接着采用随机取样算法将数据集划分为训练集、测试集和验证集，与标注文本文件共同构建为数据集管道；最后对所输入的图像数据集进行数据增广，包括并不限于平移、旋转、拼接以及锐化；
步骤(4.2)构建深度学习网络模型框架；所述深度学习网络模型采用端到端结构设计，整体网络分模块搭建，主要包括骨干网络Backbone、特征融合网络Neck以及任务网络Head，其中骨干网络Backbone为特征提取模块，主要由4个卷积层、3个残差网络以及一个SPPF层构成，特征融合网络Neck包括4层卷积层、4个残差网络以及若干个拼接层Cat与多个上采样操作层Upsample，任务网络Head用于进行任务数据的分类与回归；骨干网络Backbone输出3层感受野的特征图至特征融合网络Neck，然后由特征融合网络Neck对上下层感受野的特征图进行尺度融合得到3个尺度的高维语义信息，最后将获得的高维语义信息输入至任务网络Head进行任务数据的分类与回归；
步骤(4.3)结合高斯感受野优化模型对微小目标的检测；所述高斯感受野优化步骤为：首先，采用步骤(4.2)构建的骨干网络Backbone提取特征来计算出理论感受野；其次，根据所得的感受野大小提取有效感受野区域作为先验回归定向框；接着，将先验回归定向框和人工标注真实框作为目标矩形框均建模为二维高斯分布模型，以提高网络对小目标特征信息的提取；之后，采用相似性新范式来度量两者高斯分布模型的距离，得到所有人工标注真实框与所分配样本的得分信息；最后，采用多层次的TopK算法分配网络训练所需的正样本与负样本；
步骤(4.4)结合通道加权特征融合优化模型对微小目标的检测；所述加权特征融合方法根据输入特征的不同分辨率，将会对输出特征有不同的权值贡献；所述结合通道加权特征融合方法优化模型对微小目标的检测的具体步骤为：首先设计一个自顶而下、自低而上的双向特征融合网络FPN-PANet；其次，融合简单注意力机制，使用深度可分离卷积分配感受野较小的特征图更大的权重；接着，特征融合网络Neck将骨干网络Backbone输出的各层特征图与其相同尺度的输出特征图进行拼接；最后将所融合的特征图分配至任务网络Head，输出最终的检测结果；
步骤(4.5)模型训练与部署；
步骤(5)点光源位置误差修正；具体步骤为：首先确定点光源标记点为基准点，根据小孔成像原理确定不同挥舞量下桨尖与基准点之间的矢量距离所占的像素距离；接着通过拟合函数计算出允许残差下桨尖位移量与像素距离的函数关系；
步骤(6)计算旋翼桨尖位移量；将深度学习网络模型计算出图像中的点光源标记点坐标输入到所述步骤(5)得到的拟合函数中，修正计算出实际的旋翼桨尖位移量。
2.根据权利要求1所述的基于点光源检测的直升机机载旋翼桨尖位移测量方法，其特征在于，所述点光源标记点包括LED装置，所述LED装置均被固定在所有桨叶的桨尖下表面区域。
3.根据权利要求1所述的基于点光源检测的直升机机载旋翼桨尖位移测量方法，其特征在于，所述工业相机固定于直升机轮毂处，工业相机的光轴与直升机轮毂处水平面的角度为45度；接着对所选用的工业相机进行单目标定，获得平面像素当量信息。
4.根据权利要求3所述的基于点光源检测的直升机机载旋翼桨尖位移测量方法，其特征在于，对工业相机进行单目标定的方法包括以下步骤：首先通过将工业相机连接至处理计算机；其次是在LED标记点处摆放带有矩形阵列分布的圆型标记点的标定靶标，并在处理计算机设置好靶标模板参数；接着利用工业相机采集多张标定靶标图像，根据靶标模板参数和实际圆型标记点在图像上所占像素长度的比例得到每一张图片标记点处的标定量；标记点处的标定量的具体计算公式为：
式中PixelEquivalentv为标定的像素当量结果，N为标定图像采集的数量，DAi为第i张图像所拍摄圆型标记点之间的实际距离，DPi为第i张图像所拍摄的圆型标记点之间的像素长度。
5.根据权利要求1所述的基于点光源检测的直升机机载旋翼桨尖位移测量方法，其特征在于，工业相机的曝光时间应设置不大于50微秒。
6.根据权利要求1所述的基于点光源检测的直升机机载旋翼桨尖位移测量方法，其特征在于，步骤(4.3)中，理论感受野计算公式为：
式中TRFn+1表示当前卷积层的感受野大小，TRFn为上一层卷积层的感受野大小，kerneln+1为当前卷积层所采用的卷积核大小，Stridei为各个卷积层所采用的步长大小；
可得到网络各层有效感受野大小REF＝TRF·γ，其中γ为迭代因子，TRF为网络各层理论感受野。
7.根据权利要求1所述的基于点光源检测的直升机机载旋翼桨尖位移测量方法，其特征在于，步骤(4.3)中，将目标矩形框建模为二维高斯模型的计算公式为：
式中，G(x,y)表示高斯建模后的高维权值，(x,y)为像素所在坐标，σ建模为目标框的平方，μ建模为目标框的中心坐标点，Centerobj为目标框的中心坐标。
8.根据权利要求1所述的基于点光源检测的直升机机载旋翼桨尖位移测量方法，其特征在于，步骤(4.3)中，新范式计算公式为：
式中Distance表示高斯建模后的人工标注真实框有效感受野的相似距离，GTk为符合高斯分布的人工标注真实框，ERFk为符合高斯分布的有效感受野框。
9.根据权利要求1所述的基于点光源检测的直升机机载旋翼桨尖位移测量方法，其特征在于，所述步骤(4.5)模型训练与部署具体步骤为：首先，配置网络训练的数据集管道、超参数以及预训练模型；其次，通过损失函数与验证数据集结果监督网络训练，得到最优网络模型；接着将网络模型重写为.wts格式的文本文件，并将.wts格式的文本文件利用TensorRT引擎序列化重构为.engine推理文件；最后将.engine加载至推理引擎进行高速推理。
CN202310725004.5A 2023-06-19 2023-06-19 一种基于点光源检测的直升机机载旋翼桨尖位移测量方法 Pending CN116659396A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310725004.5A CN116659396A (zh) 2023-06-19 2023-06-19 一种基于点光源检测的直升机机载旋翼桨尖位移测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310725004.5A CN116659396A (zh) 2023-06-19 2023-06-19 一种基于点光源检测的直升机机载旋翼桨尖位移测量方法

Publications (1)

Publication Number Publication Date
CN116659396A true CN116659396A (zh) 2023-08-29

Family

ID=87709682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310725004.5A Pending CN116659396A (zh) 2023-06-19 2023-06-19 一种基于点光源检测的直升机机载旋翼桨尖位移测量方法

Country Status (1)

Country Link
CN (1) CN116659396A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116878643A (zh) * 2023-09-08 2023-10-13 四川通安航天科技有限公司 一种飞机部件振动疲劳特性测试方法、装置及系统
CN117589065A (zh) * 2023-11-20 2024-02-23 河北工程大学 一种针对异形轴接口尺寸的检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116878643A (zh) * 2023-09-08 2023-10-13 四川通安航天科技有限公司 一种飞机部件振动疲劳特性测试方法、装置及系统
CN116878643B (zh) * 2023-09-08 2023-11-14 四川通安航天科技有限公司 一种飞机部件振动疲劳特性测试方法、装置及系统
CN117589065A (zh) * 2023-11-20 2024-02-23 河北工程大学 一种针对异形轴接口尺寸的检测方法

Similar Documents

Publication Publication Date Title
CN116659396A (zh) 一种基于点光源检测的直升机机载旋翼桨尖位移测量方法
CN109801293B (zh) 遥感影像分割方法、装置及存储介质、服务器
CN110378909B (zh) 基于Faster R-CNN的面向激光点云的单木分割方法
CN103617328B (zh) 一种飞机三维姿态解算方法
CN109887020B (zh) 一种植株器官分离方法及系统
CN111091105A (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN111028220B (zh) 一种点云铆钉齐平度自动检测方法
CN106780546B (zh) 基于卷积神经网络的运动模糊编码点的身份识别方法
CN101828191A (zh) 用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统
CN106949907B (zh) 一种舷窗式星敏系统测试方法
CN109636927A (zh) 一种飞行器姿态测量算法训练与鉴定的系统及方法
CN109871829A (zh) 一种基于深度学习的检测模型训练方法和装置
CN110426178A (zh) 一种基于尾流示踪的风场测量方法及系统
CN109781068A (zh) 面向空间应用的视觉测量系统地面模拟评估系统及方法
CN112487900A (zh) 一种基于特征融合的sar图像舰船目标检测方法
CN112197713A (zh) 直升机旋翼桨叶变形及表面压力同步测量装置及方法
CN111739050B (zh) 基于Zynq的姿态测量和天体形心提取的飞行器导航系统
CN103913126B (zh) 用于角秒级三维变形的光学准直测量方法
CN117765006A (zh) 基于无人机影像与激光点云的多层次密集树冠分割方法
Bauknecht et al. Airborne acquisition of blade tip displacements and vortices on a coaxial helicopter
CN102288164B (zh) 一种飞行器机翼结构变形的非接触测量方法
CN109657679B (zh) 一种应用卫星功能类型识别方法
CN114998444B (zh) 一种基于两通道网络的机器人高精度位姿测量系统
CN113656918B (zh) 一种应用于成品高架库场景的四旋翼仿真测试方法
CN116381650A (zh) 一种激光雷达点云位置和强度仿真模拟及测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination