CN111968171A - 基于人工智能的飞机油量测量方法及系统 - Google Patents

基于人工智能的飞机油量测量方法及系统 Download PDF

Info

Publication number
CN111968171A
CN111968171A CN202010810185.8A CN202010810185A CN111968171A CN 111968171 A CN111968171 A CN 111968171A CN 202010810185 A CN202010810185 A CN 202010810185A CN 111968171 A CN111968171 A CN 111968171A
Authority
CN
China
Prior art keywords
oil
hash
photo
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010810185.8A
Other languages
English (en)
Inventor
罗明强
梁新刚
冯喆
刘麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010810185.8A priority Critical patent/CN111968171A/zh
Publication of CN111968171A publication Critical patent/CN111968171A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01FMEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F22/00Methods or apparatus for measuring volume of fluids or fluent solid material, not otherwise provided for
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01FMEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G01F23/22Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water
    • G01F23/28Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring the variations of parameters of electromagnetic or acoustic waves applied directly to the liquid or fluent solid material
    • G01F23/284Electromagnetic waves
    • G01F23/292Light, e.g. infrared or ultraviolet
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本发明公开了一种基于人工智能的飞机油量测量方法及系统,该方法包括以下步骤:预先获取油箱内多幅照片和其对应的油箱内此照片拍摄时油量数据;然后对照片预处理;获得油箱油面高度与油量关系的先验:油面高度与照片对应油量的H‑V关系曲线;基于上述步骤通过以下任一一种方法进行油量测量:方法一,获得曲线可以用于对新的照片通过曲线插值搜索获得油箱油量。方法二,获取数万幅油面照片及对应的照片油量数据作为深度学习模型的训练样本。通过基于深度卷积神经网络DCNN图像语义分割及哈希函数编码及其哈希编码对比技术实现图像检索方法得到油量测量数据。本发明能够降低油箱重量,并扩展油量测量飞机姿态范围以及方便油量测量设备维护。

Description

基于人工智能的飞机油量测量方法及系统
技术领域
本发明属于航空技术领域,特别涉及一种飞机油量测量系统及方法。
背景技术
飞机上油箱中剩余油量测量并读数给飞行员是飞行管理中的重要参数,传统的飞机油箱剩余油量测量大多数基于电容传感器技术测量。通过多个传感器组合测量获得油面高度,通过类似查表计算获得对应油量。其中还要考虑飞行姿态等系列问题。这种测量系统结构简单、技术成熟、可靠,传感器对油箱环境的耐受性好,受油面波动影响较小,是目前国内外飞机广泛采用的油量测量方式。但是由于电容式油量测量原理和特性,电缆分布电容、传感器设计和制造、测量电路的元器件差异以及环境条件的变化均会影响油量测量系统精度和有效测量范围。并需要定期拆开油箱进行维护。为消除这些的影响因素,以往飞机的油量测量系统均采用机上校准的方式,即油量测量系统成附件装机后,需要进行零位和满位校准,以此作为油量测量计算机的计算基准。
发明内容
本发明的目的是提供一种基于人工智能的飞机油量测量方法及系统,以提升油量测量的量程范围及准确率,并实现油箱免维护及油箱减重。
为实现上述目的,本发明采用的技术方案为:一种基于人工智能的飞机油量测量方法,包括以下步骤:
步骤一,预先获取油箱内的连续多幅油面照片和对应的油量数据;
步骤二,将所述连续油面照片进行预处理;
步骤三,获得油箱油面高度与油量关系的先验,即获得H-V关系曲线,其中,H为油箱内油面高度,V为油箱内的油量体积;
步骤四,通过H-V关系曲线插值及搜索,利用所述H-V关系曲线对新获得的油箱内油面照片进行油量测量;
步骤五,基于上述步骤一至三,获取多幅油箱内油面照片及对应的油量数据,获得深度卷积神经网络模型DCNN的训练样本集,通过训练该模型获得油箱内油面照片的特征图;
步骤六,利用哈希函数的深度神经卷积网络DCNN,以步骤五所述特征图为输入获得深度监督哈希编码序列DSH,序列汇总得到样板集所有照片哈希编码序列库;
步骤七,对任何新的油面照片,通过特征提取及哈希化后,通过检索步骤六哈希编码序列库获得哈希值相似度为零的列表队列,接着在列表队列中进行聚类计算获得最大类的哈希编码序列,接着得到该哈希序列对应的照片以及该照片对应的标签即为新的油面照片的油量测量值;
步骤八,将上述先验及深度卷积神经网络模型DCNN部署至飞机上,实现通过随机拍照获得单张油面照片实时计算出油箱剩余油量。
进一步的,所述步骤一中,油箱内照片通过设置于油箱内或油箱透明孔洞的多个TCP/IP标准接口摄像头及能同步控制的Led冷光源获得。
进一步的,所述步骤一中,油量数据通过以下三种方法的一种或多种获取:(1)对于地面验证仿真试验油箱,通过加油或排油的流量计进行油量测量;(2)通过地面或飞机上的油箱3D数字模型的数据切片获得;(3)通过飞机上油箱中的正在使用的电容传感器数据获得。
进一步的,所述步骤二中,照片的预处理包括以下步骤:对照片进行灰度化、图像增强、滤波去噪、二值化、图像分割、轮廓提取处理。
进一步的,所述步骤三中,H-V曲线获取方法为三次样条插值法补点或3D模型切片数据法。
进一步的,所述步骤三和四中,在一个固定的拍摄场景下,事先定义一个比率来测量每个给定度量单位的像素数,将其称为像素比例,即每单位长度对应的像素数;测量前,需要选取一个参照物作为“校准”点,参照物应该有三个重要的属性:一是已知其真实尺寸;二是该参照物能够在图像上被识别,三是参照物在图像上的畸变小于预设值;测量时先识别参照物,再计算得到像素比例,进一步获得油面高度数据或油面线夹角数据。
进一步的,油箱照片样本数据经过图像像素级标注、分类、掩模、灰度化处理,变成能够在深度神经卷积网络模型中训练的样本数据集,通过训练后输出带图像语义分割并用于多分类或回归的高维特征向量。
进一步的,利用获得的高维特征向量,通过深度神经网络模型训练,获得一维稀疏哈希编码序列,并汇总获得哈希编码序列库,以备检索之用。
进一步的,所述步骤五、六、七、八中,基于深度卷积神经网络DCNN实现图像特征提取,利用深度卷积神经网络DCNN的哈希函数模型对提取的图像特征执行哈希编码,接下来通过哈希相似度距离计算方法,实现对任意新的图像进行检索。
进一步的,对新的待检索图像提取得到图像的哈希编码,通过进行哈希编码之间对比分析间接实现图像之间的对比分析,接着根据训练样板图像已经预先标记的油量标签数据。具体方法如下:首先对新的油面照片通过哈希序列数据之间的欧式距离或汉明距离分析,查找最大相的似样板照片,其次通过样板照片对应的标签油量数据判定新的油面照片油量读数,即获得实时油箱剩余油量数据。
根据本发明的另一方面,还提供一种用于实现前述任一所述的基于人工智能的飞机油量测量方法的系统,其特征在于包括:
图像数据采集模块,用于获取油箱内连续多幅照片数据;
油量数据采集模块,用于获取油箱内多幅照片对应的油量数据;
图像数据预处理模块,用于对照片进行预处理;
照片解析模块,用于得到照片的像素比例,再基于像素比例测量并计算图像上的物体尺寸或距离,从而获得H-V关系曲线;
油量检索测量模块,用于通过照片像素参数搜索曲线获得油箱余量的测量数据;
深度学习模型油量测量模块,用于通过深度学习训练油量测量模型,实现通过单张照片获取油箱剩余油量的测量数据,油量测量模型模块为DCNN深度卷积神经网络模型。
进一步的,深度学习模型油量测量模块还包括:
特征图获取模块,获取多幅油箱内油面照片及对应的油量数据,获得深度卷积神经网络模型DCNN的训练样本集,通过训练该模型获得油箱内油面照片的特征图;
哈希编码序列库汇总模块,利用哈希函数的深度神经卷积网络DCNN,以所述特征图为输入获得深度监督哈希编码序列DSH,序列汇总得到样板集所有照片哈希编码序列库;
哈希编码对比模块,对任何新的油面照片,通过特征提取及哈希化后,通过检索哈希库获得哈希值相似度为零的列表队列,接着在列表队列中进行聚类计算获得最大类的哈希编码序列,接着得到该哈希序列对应的照片以及该照片对应的标签即为新的油面照片的油量测量值;
部署模块,用于将先验及深度卷积神经网络模型DCNN部署至飞机上,实现通过随机拍照获得单张油面照片实时计算出油箱剩余油量。
有益效果:
本发明的基于人工智能的飞机油量测量方法及系统,实现了免维护油箱需求,减少了油箱内部件及油箱重量,扩大了油量测量有效幅度范围,提升了油量测量准确率。
附图说明
图1为本发明的方法流程;
图2为照片预处理流程;
图3(a)为3D数模切片数据H-V关系曲线;
图3(b)为手工采集数据H-V关系曲线;
图4为计算机视觉模式油量测量流程;
图5为油面高度H计算示意图;
图6为深度学习模式油量测量总体思路;
图7为特征提取深度卷积网络模型DCNN分割效果可视化示例。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅为本发明的一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明的保护范围。
如图1所示,本发明的二种基于人工智能的飞机油量测量方法,通过照片油面高度H求解油量体积V(或质量M)和通过深度卷积神经网络图像检索求解油量体积V(或质量M)。通过计算机视觉测量技术获得油面高度H以及通过深度卷积神经网络模型DCNN算法通过油箱内油面照片智能预测油量,具体包括以下步骤:
步骤1,获取油箱内连续多张照片和对应的油量数据;油箱内照片通过设置于油箱中内的多个摄像头及Led冷光源获得;油量数据通过以下三种方法的一种或多种获取:(1)对于地面试验油箱,通过加油或排油的流量计进行油量测量;(2)通过地面或飞机上的油箱3D数据模型的数据切片获得;(3)通过飞机上油箱中的电容传感器获得。
步骤2,将步骤1得到的照片预处理;如图2所示,照片的预处理为:对照片进行灰度化、图像增强、滤波去噪、二值化、图像分割、轮廓提取处理;具体为:
灰度化:去掉图像中无用彩色信息(Matlab:rgb2gray()或CV::cudev::RGB_to_GRAY_Func<Srcdepth>);
图像增强:为了能够正确定位特征点边界和轮廓,增加图像的对比度(直方图均衡化);
滤波去噪:实现边缘清晰化,经常用线性平滑滤波,自适应滤波,非线性平滑,中值滤波等。(Matlab:medfilt2()或CV::cuda::Filter);
二值化:二值化的效果直接关系到目标点的检测和定位,图像的二值化就是将图像上的像素点的灰度值设置为0或255,这样将使整个图像呈现出明显的黑白效果(cvThreshold());
图像分割:把图像分割成特征相同的互不重叠的连续区域叫做区域分割,采用的方法是区域生长法(OpenCV cv2.kmeans());
轮廓提取:图像边缘检测大幅度地减少了数据量,并且剔除可以认为不相关的信息,保留了图像重要结构属性;具体采用掏空内部法:对于已经进行区域标号的图像来说,从左到右,上下依次遍历检测每个像素,然后进行以下判断:
(1)如果当前像素值为0,则不是当前区域的轮廓,即保留为0,即这个像素点是背景;
(2)如果当前像素值为1,又若当前像素的上、下、左、右4个相邻像素的像素值都为1,则改变当前像素值为0,表示不是目标的边缘,而内部像素点。表示不是目标的边缘而内部像素点;
(3)除上述情况外,当前像素值都为1;
步骤3,获得油箱油面高度与油量关系的先验;该先验支持后续油箱测量过程中通过油面法向量高度H(包含飞机姿态及加速度等参数因素)通过曲线搜索获得油量数据;图3中(a)和(b)分别为两个实施例中获得的H-V曲线;针对稀疏人工采集数据可以通过三次样条插值法补点获得平滑H-V关系曲线;
步骤4,通过计算机视觉解析照片,在一个固定的拍摄场景下,事先定义一个比率来测量每个给定度量单位的像素数,将其称为像素比例,即每单位长度对应的像素数;测量前,需要选取一个参照物作为“校准”点,参照物应该有三个重要的属性:一是已知其真实尺寸;二是该参照物可以在图像上轻松识别,三是参照物畸变较小;测量时先识别参照物,再计算得到像素比例,再基于像素比例测量并计算图像上的物体尺寸或距离,从而获得H-V关系曲线,其中,H为油箱内油面高度,V为油箱内的油量体积;计算机视觉模式油量测量流程如图4所示;
采用Hough直线检测方法检测油面线,Hough直线检测原理为:
(1)图像中检测直线,其实质是找到构成直线的所有像素点,因此可以转变成找到符合y=kx+b的所有(x,y)点的问题;
(2)进行坐标系变化,将y=kx+b变成b=-xk+y,表示为过点(k,b)的直线束;
(3)x-y空间的直线上每一个点在k-b坐标系中都表现为经过(k,b)的直线。找到x-y空间所有点的问题,又转变为k-b空间寻找直线的问题;
(4)对于图像中的每一个点,在k-b坐标系中对应着很多的直线。找到直线的交点,就对应着找到图像中的直线。
Hough变换的基本策略:用图像空间的边缘数据点计算参数空间中的参考点的可能轨迹,并在一个累加器中对参考点的计数,最后选出峰值。该峰值表明在图像空间上有一条共线点较多的直线(因此,直线有中断也不受影响)。
Hough直线检测步骤为:
(1)彩色图像RBG转灰度图Gray;
(2)图像去噪(高斯滤波);
(3)对去噪后的图像进行边缘提取(canny算法),并二值化;
(4)映射到霍夫空间,取局部极大值,设定阈值,过滤干扰直线;
(5)过滤垂直方向直线,选取水平方向最长直线(为油面线概率最大)。
如图5所示,油面高度测量步骤为:
(1)转灰度图、去噪,并进行二值化;
(2)识别参照物,针对被测量物体已经在固定拍摄场景中,并预先选取参考点或人为预先粘贴编码标签点,选择与相机光心线垂直区域中的参考点或编码标签点,尽量不要偏离出该区域太多避免参考点或编码标签图像产生畸变;
(4)计算参照标签点的像素尺寸(多个标签点可取平均),根据已知的标签点实际物理尺寸,计算像素比例;
(5)获取参照物标签点的中心坐标,向已识别的油面线引法向量,测算法向量方向像素垂直距离,并转换为标签点中心到油面的真实物理距离;
(6)每个标签点中心的真实高度为已知,可求出油面高度。
步骤5,基于上述步骤,对于待测量的新的油面照片获得油面高度H,通过在先验H_V曲线中搜索,可以获得对应的测量油量。
步骤6,基于上述步骤获取数万幅油面照片及对应的照片油量数据,经过标签化处理获得DCNN深度卷积神经网络模型的训练样本集,深度学习模式油量测量总体示意图如图6所示。
步骤7,使用deeplab v3+的语义分割网络和基于cityscapes dataset城市风景数据集的预训练语义分割特征提取深度神经卷积网络模型。通过训练油箱照片的领域样本集,提取不同类别(按油面油量分类标签(油量,横滚角,俯仰角))的油面照片的特征和成熟的特征提取深度神经卷积网络模型;
1.制作tfrecords格式标准的样本数据集。将图片中的油面按油量分成23类,加上背景一共24类,先将1000张1920*1080(宽*高)油面照片裁剪成800*1080(宽*高)大小,再使用labelme标注工具将裁剪后的油面照片按像素语义分类制作掩模(mask)标签图及灰度图,最后生成tfrecords样本数据集。并以4:1比例将样本数据集分成训练集和测试集。
2.配置代码运行环境,修改部分代码以满足使用油面照片数据集进行微调的要求,冻结除最后一层的权重参数,只训练最后一层迭代训练10000次,得到微调领域模型。
3.经过迭代训练后的模型,经过模型输出工具,生成用于今后高维特征向量提取的工具模型即训练成熟的特征提取深度神经网络模型。
4.该训练过程,同时也生成图片高维特征向量集。
步骤8,依据步骤7的(4)的输出,训练出能区分不同类别照片高维特征向量相似度的哈希函数学习深度神经网络模型和哈希编码序列集。
1.使用哈希函数学习深度神经卷积网络模型,利用步骤7的(4)的输出,训练该模型。
2.模型训练后,经过模型输出工具,生成用于今后生成哈希编码序列的成熟哈希函数学习深度神经卷积网络模型。
3.利用得到的哈希函数学习深度神经卷积网络模型生成所有油面照片的哈希编码序列从而建立油面照片哈希编码序列检索库。
步骤9,将待检索新的油面照片重复上述步骤获得哈希编码,与检索库中的哈希编码做相似度对比,通过哈希序列数据之间的欧式距离或汉明距离分析,通过对新的油面照片查找最大相似的对照样板照片,由于训练样板图像已经预先标记了油量标签数据。因此,通过样板照片标签油量数据判定新的油面照片油量读数。也即获得实时油箱剩余油量数据。
实验总共分为三个阶段:训练出提取油面特征的模型和提取特征图;在提取出的油面特征图的基础上训练出哈希函数集的模型从而得到哈希检索库;实现对新的待检索照片验证检索效果。
实验结果
(1)语义分割模型的训练结果及预测特征图效果。
训练参数设置如下表1:
表1
模型变体 xception_65
卷积率 【6,12,18】
卷积步长 16
图片大小 【513,513】
批次大小 4
预训练模型 Cityscapes dataset
迭代次数 10000
分类数 24(包含背景)
输入数据集及格式 1000张1080*800油面照片,训练集:测试集=4:1,tfrecords格式
分割模型评估及分割效果可视化示例如图7所示,分割模型评估的MIOU值为[0.6505089998245239]。
(2)哈希函数学习模型的训练结果及哈希库
训练参数设置及模型评估mAP如下表2:
表2
Figure BDA0002630682530000081
(3)通过以下方法识别获取油面照片中的油量:
1.待测照片特征图提取
通过上述步骤7中特征提取深度神经卷积网络模型,可以对待测照片操作获取待测照片的油面特征图。
2.待测照片特征图哈希化
通过上述步骤8中的哈希函数学习深度神经卷积网络模型,可以对待测照片操作获取待测照片特征图的哈希值。
3.待测照片特征图哈希值检索测量
通过待测照片特征图哈希值与哈希库检索,对于给定的查询图像,逐一计算查询图像对应的哈希编码到hash检索库中其他各个哈希编码之间的汉明距离,然后汉明距离为零的一批待匹配的哈希值列表;最后采用哈希列表聚类操作,得到重排后的最大类结果的哈希编码序列对应的照片对应的标签作为判断油量的结果。检索覆盖准确率=94.5%以上实验验证了本发明的方法的可行性。
本发明还提供了一种用于实现上述基于人工智能的飞机油量测量方法的系统,包括:
图像数据采集模块,用于获取油箱内照片或视频数据;
油量数据采集模块,用于获取油箱内的油量数据;
图像数据预处理模块,用于将视频数据分解获得单张照片,以及对照片进行预处理;
照片解析模块,用于得到照片的像素比例,再基于像素比例测量并计算图像上的物体尺寸或距离,从而获得H-V关系曲线;
照片油量线高度测量模块,用于通过油面线高度,搜索先验曲线,获得测量油量。
深度学习模型油量测量模块,用于通过深度学习训练油量测量模型,实现通过单张照片获取油箱剩余油量的测量数据,油量测量模型模块为DCNN深度卷积神经网络模型。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种基于人工智能的飞机油量测量方法,其特征在于,包括以下步骤:
步骤一,预先获取油箱内的连续油面照片和对应的油量数据;
步骤二,将所述连续油面照片进行预处理;
步骤三,获得油箱油面高度与油量关系的先验,即获得H-V关系曲线,其中,H为油箱内油面高度,V为油箱内的油量体积;
步骤四,通过H-V关系曲线插值及搜索,利用所述H-V关系曲线对新获得的油箱内油面照片进行油量测量;
步骤五,基于上述步骤一至三,获取多幅油箱内油面照片及对应的油量数据,获得深度卷积神经网络模型DCNN的训练样本集,通过训练该模型获得油箱内油面照片的特征图;
步骤六,利用哈希函数的深度神经卷积网络DCNN,以步骤五所述特征图为输入获得深度监督哈希编码序列DSH,序列汇总得到样板集所有照片哈希编码序列库;
步骤七,对任何新的油面照片,通过特征提取及哈希化后,通过检索步骤六哈希编码序列库获得哈希值相似度为零的列表队列,接着在列表队列中进行聚类计算获得最大类的哈希编码序列,接着得到该哈希序列对应的照片以及该照片对应的标签即为新的油面照片的油量测量值;
步骤八,将上述先验及深度卷积神经网络模型DCNN部署至飞机上,实现通过随机拍照获得单幅油面照片实时计算出油箱剩余油量。
2.根据权利要求1所述的基于人工智能的飞机油量测量方法,其特征在于:所述步骤一中,油箱内照片通过设置于油箱内或油箱透明孔洞的多个TCP/IP标准接口的摄像头及能同步控制的Led冷光源获得。
3.根据权利要求1所述的基于人工智能的飞机油量测量方法,其特征在于:所述步骤一中,油量数据通过以下三种方法的一种或多种获取:(1)对于地面验证仿真试验油箱,通过加油或排油的流量计进行油量测量;(2)通过地面或飞机上的油箱3D数字模型的数据切片获得;(3)通过飞机上油箱中的正在使用的电容传感器数据获得。
4.根据权利要求1所述的基于人工智能的飞机油量测量方法,其特征在于:所述步骤二中,照片的预处理包括以下步骤:对照片进行灰度化、图像增强、滤波去噪、二值化、图像分割、轮廓提取处理。
5.根据权利要求1所述的基于人工智能的飞机油量测量方法,其特征在于:所述步骤三中,H-V曲线获取方法为三次样条插值法补点或3D模型切片数据法。
6.根据权利要求1所述的基于人工智能的飞机油量测量方法,其特征在于:所述步骤三和四中,在一个固定的拍摄场景下,事先定义一个比率来测量每个给定度量单位的像素数,将其称为像素比例,即每单位长度对应的像素数;测量前,需要选取一个参照物作为“校准”点,参照物应该有三个重要的属性:一是已知其真实尺寸;二是该参照物能够在图像上被识别,三是参照物在图像上的畸变小于预设值;测量时先识别参照物,再计算得到像素比例,进一步获得油面高度数据或油面线夹角数据。
7.根据权利要求1所述的基于人工智能的飞机油量测量方法,其特征在于:油箱照片样本数据经过图像像素级标注、分类、掩模、灰度化处理,变成能够在深度神经卷积网络模型中训练的样本数据集,通过训练后输出带图像语义分割并用于多分类或回归的高维特征向量。
8.根据权利要求7的所述的基于人工智能的飞机油量测量方法,其特征在于:利用获得的高维特征向量,通过深度神经网络模型训练,获得一维稀疏哈希编码序列,并汇总获得哈希编码序列库,以备检索之用。
9.根据权利要求1所述的基于人工智能的飞机油量测量方法,其特征在于:所述步骤五、六、七、八中,基于深度卷积神经网络DCNN实现图像特征提取,利用深度卷积神经网络DCNN的哈希函数模型对提取的图像特征执行哈希编码,接下来通过哈希相似度距离计算方法,实现对任意新的图像进行检索。
10.根据权利要求9所述的基于人工智能的飞机油量测量方法,其特征在于:对新的待检索图像提取得到图像的哈希编码,通过进行哈希编码之间对比分析间接实现图像之间的对比分析,接着根据训练样板图像已经预先标记的油量标签数据;具体方法如下:首先对新的油面照片通过哈希序列数据之间的欧式距离或汉明距离分析,查找最大相的似样板照片,其次通过样板照片对应的标签油量数据判定新的油面照片油量读数,即获得实时油箱剩余油量数据。
11.一种用于实现权利要求1-10任一所述的基于人工智能的飞机油量测量方法的系统,其特征在于,包括:
图像数据采集模块,用于获取油箱内连续多幅照片数据;
油量数据采集模块,用于获取油箱内照片对应的油量数据;
图像数据预处理模块,用于对照片进行预处理;
照片解析模块,用于得到照片的像素比例,再基于像素比例测量并计算图像上的物体尺寸或距离,从而获得H-V关系曲线;
油量检索测量模块,用于通过照片像素参数搜索曲线获得油箱余量的测量数据;
深度学习模型油量测量模块,用于通过深度学习训练油量测量模型,实现通过单幅照片获取油箱剩余油量的测量数据,油量测量模型模块为DCNN深度卷积神经网络模型。
12.根据权利要求11所述的系统,其特征在于:深度学习模型油量测量模块还包括:
特征图获取模块,获取多幅油箱内油面照片及对应的油量数据,获得深度卷积神经网络模型DCNN的训练样本集,通过训练该模型获得油箱内油面照片的特征图;
哈希编码序列库汇总模块,利用哈希函数的深度神经卷积网络DCNN,以所述特征图为输入获得深度监督哈希编码序列DSH,序列汇总得到样板集所有照片哈希编码序列库;
哈希编码对比模块,对任何新的油面照片,通过特征提取及哈希化后,通过检索哈希库获得哈希值相似度为零的列表队列,接着在列表队列中进行聚类计算获得最大类的哈希编码序列,接着得到该哈希序列对应的照片以及该照片对应的标签即为新的油面照片的油量测量值;
部署模块,用于将先验及深度卷积神经网络模型DCNN部署至飞机上,实现通过随机拍照获得单幅油面照片实时计算出油箱剩余油量。
CN202010810185.8A 2020-08-13 2020-08-13 基于人工智能的飞机油量测量方法及系统 Pending CN111968171A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010810185.8A CN111968171A (zh) 2020-08-13 2020-08-13 基于人工智能的飞机油量测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010810185.8A CN111968171A (zh) 2020-08-13 2020-08-13 基于人工智能的飞机油量测量方法及系统

Publications (1)

Publication Number Publication Date
CN111968171A true CN111968171A (zh) 2020-11-20

Family

ID=73365321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010810185.8A Pending CN111968171A (zh) 2020-08-13 2020-08-13 基于人工智能的飞机油量测量方法及系统

Country Status (1)

Country Link
CN (1) CN111968171A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559781A (zh) * 2020-12-10 2021-03-26 西北大学 一种图像检索系统和方法
CN112763021A (zh) * 2020-12-29 2021-05-07 中国航空工业集团公司西安飞机设计研究所 一种燃油测量系统免校准方法
CN112798074A (zh) * 2021-01-14 2021-05-14 慧加油(北京)物联科技有限公司 油感精度测量方法及装置
CN113183608A (zh) * 2021-04-23 2021-07-30 广州诚鼎机器人有限公司 一种浆料补充设备和椭圆印花机
CN113375750A (zh) * 2021-06-10 2021-09-10 陕西延长石油(集团)有限责任公司 一种非接触式油箱油量检测装置及方法
CN114240985A (zh) * 2022-02-25 2022-03-25 天云软件技术有限公司 粮食储量的确定方法、装置、设备、介质和产品
CN115294693A (zh) * 2022-09-26 2022-11-04 北谷电子有限公司 车辆加油数据的监控方法、系统、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法
CN108932314A (zh) * 2018-06-21 2018-12-04 南京农业大学 一种基于深度哈希学习的菊花图像内容检索方法
CN110532417A (zh) * 2019-09-02 2019-12-03 河北省科学院应用数学研究所 基于深度哈希的图像检索方法、装置及终端设备
CN111177432A (zh) * 2019-12-23 2020-05-19 北京航空航天大学 一种基于分层深度哈希的大规模图像检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法
CN108932314A (zh) * 2018-06-21 2018-12-04 南京农业大学 一种基于深度哈希学习的菊花图像内容检索方法
CN110532417A (zh) * 2019-09-02 2019-12-03 河北省科学院应用数学研究所 基于深度哈希的图像检索方法、装置及终端设备
CN111177432A (zh) * 2019-12-23 2020-05-19 北京航空航天大学 一种基于分层深度哈希的大规模图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李征鸿等: "《基于计算机视觉的智能燃油测量技术》", 《飞行设计》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559781A (zh) * 2020-12-10 2021-03-26 西北大学 一种图像检索系统和方法
CN112763021A (zh) * 2020-12-29 2021-05-07 中国航空工业集团公司西安飞机设计研究所 一种燃油测量系统免校准方法
CN112763021B (zh) * 2020-12-29 2024-01-16 中国航空工业集团公司西安飞机设计研究所 一种燃油测量系统免校准方法
CN112798074A (zh) * 2021-01-14 2021-05-14 慧加油(北京)物联科技有限公司 油感精度测量方法及装置
CN113183608A (zh) * 2021-04-23 2021-07-30 广州诚鼎机器人有限公司 一种浆料补充设备和椭圆印花机
CN113183608B (zh) * 2021-04-23 2022-04-22 广州诚鼎机器人有限公司 一种浆料补充设备和椭圆印花机
CN113375750A (zh) * 2021-06-10 2021-09-10 陕西延长石油(集团)有限责任公司 一种非接触式油箱油量检测装置及方法
CN113375750B (zh) * 2021-06-10 2024-04-16 陕西延长石油(集团)有限责任公司 一种非接触式油箱油量检测装置及方法
CN114240985A (zh) * 2022-02-25 2022-03-25 天云软件技术有限公司 粮食储量的确定方法、装置、设备、介质和产品
CN115294693A (zh) * 2022-09-26 2022-11-04 北谷电子有限公司 车辆加油数据的监控方法、系统、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111968171A (zh) 基于人工智能的飞机油量测量方法及系统
CN108510467B (zh) 基于深度可变形卷积神经网络的sar图像目标识别方法
CN107153817B (zh) 行人重识别数据标注方法和装置
CN107368807B (zh) 一种基于视觉词袋模型的监控视频车型分类方法
CN108898065B (zh) 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
CN110533069B (zh) 一种基于支持向量机算法的二维箔条分布特性识别方法
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN109360179B (zh) 一种图像融合方法、装置及可读存储介质
CN110070545B (zh) 一种城镇纹理特征密度自动提取城镇建成区的方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN111027497A (zh) 基于高分辨率光学遥感影像的弱小目标快速检测方法
CN106874421A (zh) 基于自适应矩形窗口的图像检索方法
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN115797813B (zh) 基于航拍图像的水环境污染检测方法
CN114972370A (zh) 一种用于神经网络推理的遥感图像自适应分割方法
CN111105398A (zh) 一种基于可见光图像数据的输电线路部件裂纹检测方法
CN114492619B (zh) 一种基于统计和凹凸性的点云数据集构建方法及装置
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN111428752B (zh) 一种基于红外图像的能见度检测方法
CN110751196B (zh) 一种油水两相流透明管壁内类油滴附着物识别方法
CN105844299B (zh) 一种基于词袋模型的图像分类方法
CN109829511B (zh) 基于纹理分类的下视红外图像中云层区域检测方法
CN109117841B (zh) 基于笔画宽度变换与卷积神经网络的场景文本检测方法
CN110826432B (zh) 一种基于航空图片的输电线识别方法
CN112907574A (zh) 一种飞行器的降落点寻找方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination