CN112270661A - 一种基于火箭遥测视频的空间环境监测方法 - Google Patents
一种基于火箭遥测视频的空间环境监测方法 Download PDFInfo
- Publication number
- CN112270661A CN112270661A CN202011120812.1A CN202011120812A CN112270661A CN 112270661 A CN112270661 A CN 112270661A CN 202011120812 A CN202011120812 A CN 202011120812A CN 112270661 A CN112270661 A CN 112270661A
- Authority
- CN
- China
- Prior art keywords
- satellite
- neural network
- rocket
- particulate matter
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012544 monitoring process Methods 0.000 title claims abstract description 27
- 239000013618 particulate matter Substances 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 11
- 238000013139 quantization Methods 0.000 claims description 10
- 230000000750 progressive effect Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008014 freezing Effects 0.000 claims description 2
- 238000007710 freezing Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 239000002245 particle Substances 0.000 abstract description 20
- 238000000926 separation method Methods 0.000 abstract description 5
- 238000000889 atomisation Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013138 pruning Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于火箭遥测视频的空间环境监测方法，所述方法包括如下步骤：采集火箭遥测视频图像，对火箭遥测视频图像中的每一帧基于像素值的Kmeans聚类将每一帧中的每一个像素点识别为背景像素点、火箭箭体像素点或颗粒物像素点；使用在Cityscapes数据集上训练得到的Mask R‑CNN目标分割模型，根据Mask R‑CNN目标分割模型对聚类得到的颗粒物像素点集合进行标注及统计得到不连通区域，根据不连通区域进行分割得到颗粒物信息；根据颗粒物光流得到颗粒物运动的速度和运动的轨迹。本发明可以有效分析出发动机周边环境的颗粒物雾化浓度、范围及颗粒数量、平均运动速度与半径大小，能够在星箭分离阶段对卫星位置动态进行精准跟踪。
Description
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种基于火箭遥测视频的空间环境监测方法。
背景技术
运载火箭飞行阶段遥测视频是观测火箭发动机工作状态与卫星分离的重要途经，箭上视频影像能以最为直观与准确的方式描述发动机运行的健康状态，为事后分析提供丰富的信息，对保障飞行成功、提高分析效率有不可替代的作用。
传统针对遥测视频的图像分析依赖技术人员的观察，分析结果因人而异，记录不够直观，准确性存在差距，且由于没有明确的量化评估指标，无法为异物推断和跨发次比对提供合理有效的佐证。以CZ-3A为例，在《CZ-3A Y27火箭姿控发动机10分机无推力输出故障技术归零报告》中对遥测视频的描述为：“三级主发动机关机后，可见持续的大量颗粒物，疑似有异物不断流出或喷出。”而通过观察CZ-3B Y56三级视频图像，在末速修正段同样可见持续的大量颗粒物，且图像右侧部分存在明显的“雾化”特征。开展遥测视频量化分析与横向比对技术的研究迫在眉睫。
火箭遥测视频是观测火箭发动机工作状态与卫星分离的重要途经，传统针对遥测视频的图像分析依赖技术人员的观察，分析结果因人而异，记录也不够直观、量化，准确性存在差距。以CZ-3A为例，在《CZ-3AY27火箭姿控发动机10分机无推力输出故障技术归零报告》中提到，三级主发动机关机后，可见持续的大量颗粒物，疑似有异物不断流出或喷出。人工观察难以有效的分析出发动机周边环境的颗粒物浓度及平均颗粒大小。同时视频分析整体自动化程度很低，判断流程也不能直观的展示和记录，致使视频分析工作整体的可追溯性差。目前针对火箭遥测视频分析的特点和需求，没有一套完善的基于图像识别的视频分析技术或核心算法。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种基于火箭遥测视频的空间环境监测方法，可以有效分析出发动机周边环境的颗粒物雾化浓度、范围及颗粒数量、平均运动速度与半径大小，能够在星箭分离阶段对卫星位置动态进行精准跟踪。
本发明目的通过以下技术方案予以实现：一种基于火箭遥测视频的空间环境监测方法，所述方法包括如下步骤：步骤一：采集火箭遥测视频图像，对火箭遥测视频图像中的每一帧基于像素值的Kmeans聚类将每一帧中的每一个像素点识别为背景像素点、火箭箭体像素点或颗粒物像素点；其中，所有的颗粒物像素点组成颗粒物像素点集合；步骤二：使用在Cityscapes数据集上训练得到的Mask R-CNN目标分割模型，根据Mask R-CNN目标分割模型对步骤1中聚类得到的颗粒物像素点集合进行标注及统计得到不连通区域，根据不连通区域进行分割得到颗粒物信息，其中，颗粒物信息包括颗粒物大小、颗粒物数目和颗粒物所占火箭遥测视频图像的面积；步骤三：根据帧间差分算法得到火箭遥测视频图像中各像素所对应的光流，根据火箭遥测视频图像中各像素所对应的光流和步骤二中的颗粒物信息得到颗粒物光流，根据颗粒物光流得到颗粒物运动的速度和运动的轨迹。
上述基于火箭遥测视频的空间环境监测方法中，在步骤三中，根据帧间差分算法得到火箭遥测视频图像中各像素所对应的光流包括如下步骤：利用帧间差分算法计算第t+1幅火箭遥测视频图像和第t幅火箭遥测视频图像的差分图像,通过对差分图像的亮度值的绝对值的阈值化处理判断图像序列中有无像素点运动，然后利用亮度的改变来计算各像素所对应的光流。
上述基于火箭遥测视频的空间环境监测方法中，差分图像的表达式如下：
其中，D(x,y)为第t+1幅火箭遥测视频图像和第t幅火箭遥测视频图像之间的差分图像，I(t+1)和I(t)分别为t+1时刻和t时刻的火箭遥测视频图像，T为差分图像二值化选取时的阈值，D(x,y)＝1表示前景，D(x,y)＝0表示背景。
上述基于火箭遥测视频的空间环境监测方法中，还包括如下步骤：步骤四：使用Labelimg工具在已拍摄的卫星图片上进行标注，标注卫星图片中卫星的横纵坐标轴位置坐标，并使用已拍摄的卫星图片建立卫星数据集；步骤五：将步骤四中得到的卫星数据集使用高效卷积神经网络进行训练，得到可以检测卫星目标的目标检测神经网络；步骤六：对步骤五中的目标检测神经网络结合长短时间记忆网络在卫星目标追踪数据上进行训练，得到可用于卫星目标跟踪的目标跟踪神经网络；步骤七：通过特征转移方法将目标检测神经网络提取到的卫星图片中的空间特征转化为通用特征，并将通用特征接入目标跟踪神经网络，根据卫星数据集得到能够跟踪卫星目标的卫星跟踪神经网络；步骤八：对步骤七中的卫星跟踪神经网络进行网络精简得到简化的卫星跟踪神经网络。
上述基于火箭遥测视频的空间环境监测方法中，在步骤五中，以卫星数据集作为目标检测神经网络的输入，逐次提取卫星数据集中的空间参数特征，采用空间参数特征进行渐进的卷积和全连接计算推理，最终输出卫星中心点的横纵坐标及卫星的长宽像素值得到卫星的位置。
上述基于火箭遥测视频的空间环境监测方法中，在步骤六中，目标跟踪神经网络输入包含采用目标检测神经网络进行目标检测的视频后，逐次提取视频中的连续帧之间的高维特征，输出跟踪目标的横纵坐标及跟踪目标的长宽像素值。
上述基于火箭遥测视频的空间环境监测方法中，在步骤六中，长短时间记忆网络使用控制门在卫星目标追踪数据上进行训练；其中，控制门包括遗忘门、输入门和输出门。
上述基于火箭遥测视频的空间环境监测方法中，控制门的数学模型如下所示：
At＝σg(Waff+UaSt-1+ba)
Dt＝σg(Wdff+UdSt-1+bd)
Ot＝σg(Woff+UoSt-1+bo)
Ct＝At⊙Ct-1+Dt⊙σh(Wcff+UcSt-1+bc)
St＝Ot⊙σh(Ct)
其中，St和Ct是控制门当前时刻t隐藏状态和卫星位置记忆，St-1和Ct-1是控制门前一时刻t-1隐藏状态和卫星位置记忆，⊙代表按照元素位置的乘法，σg和σh均为激活函数，Wa、Wd和Wo均为网络权重，ff为输入的卫星位置特征，At为遗忘门，Dt为输入门，Ot为输出门。
上述基于火箭遥测视频的空间环境监测方法中，在步骤七中，特征转移方法为：使用特征转换器连接目标检测神经网络与目标跟踪神经网络，同时冻结目标检测神经网络与目标跟踪神经网络权重，通过在卫星数据集上训练特征转换器，将目标检测神经网络特征转换为目标跟踪神经网络特征，完成特征转移。
上述基于火箭遥测视频的空间环境监测方法中，在步骤八中，网络精简包括：将卫星跟踪神经网络的初始的浮点数参数xf将其归一化到[0,1]之间：
其中，wmin和wmax是每层网络权重的最小和最大值；N(xf)为归一化数值；
将归一化数值N(xf)被量化至最近的整数点xq：
其中，
代表归约至最近整数，k是量化位数。
本发明与现有技术相比具有如下有益效果：
(1)本发明基于聚类的轮廓识别算法能够快速的完成对图像的前期处理，预先提取出颗粒物存在的可能区域，减轻后续分割的负担。
(2)本发明的目标分割模型能够完成对筛选出的可能区域中颗粒物像素的分割，以达到确定颗粒物大小，颗粒物数目，颗粒物所占面积等信息的提取。
(3)本发明的帧间差分算法及光流算法能够得到针对像素点的目标移动信息，结合分割算法得到的像素信息，能够确定颗粒物的移动情况。
(4)本发明将得到的颗粒物特征以图像的形式进行展示。
(5)本发明建立卫星图像数据集可以辅助后续模型训练。
(6)本发明的卷积网络通过提取图像中的空间特征，识别图像中的目标。目标检测模型定位图像中卫星的位置，并在卫星周围绘制边界框。
(7)本发明的长短时间记忆网络提取视频中的帧间特征，处理时间序列信息，结合卷积网络得到的空间信息，最终输出卫星的跟踪结果。
(8)本发明调整网络结构能够加快跟踪速度，减少网络消耗资源，减轻部署难度和硬件要求。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的基于火箭遥测视频的空间环境监测方法的流程图；
图2是本发明实施例提供的帧间差分算法计算火箭遥测视频图像中各像素的光流的流程图；
图3是本发明实施例提供的分组-量化-再训练的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是本发明实施例提供的基于火箭遥测视频的空间环境监测方法的流程图。如图1所示，该基于火箭遥测视频的空间环境监测方法包括如下步骤：
步骤一：采集火箭遥测视频图像，对火箭遥测视频图像中的每一帧基于像素值的Kmeans聚类将每一帧中的每一个像素点识别为背景像素点、火箭箭体像素点或颗粒物像素点；其中，所有的颗粒物像素点组成颗粒物像素点集合；
步骤二：使用在Cityscapes数据集上训练得到的Mask R-CNN目标分割模型，根据Mask R-CNN目标分割模型对步骤1中聚类得到的颗粒物像素点集合进行标注及统计得到不连通区域，根据不连通区域进行分割得到颗粒物信息，其中，颗粒物信息包括颗粒物大小、颗粒物数目和颗粒物所占火箭遥测视频图像的面积；
步骤三：根据帧间差分算法得到火箭遥测视频图像中各像素所对应的光流，根据火箭遥测视频图像中各像素所对应的光流和步骤二中的颗粒物信息得到颗粒物光流，根据颗粒物光流得到颗粒物运动的速度和运动的轨迹；
步骤四：使用Labelimg工具在已拍摄的卫星图片上进行标注，标注卫星图片中卫星的横纵坐标轴位置坐标，并使用已拍摄的卫星图片建立卫星数据集；
步骤五：将步骤四中得到的卫星数据集使用高效卷积神经网络进行训练，得到可以检测卫星目标的目标检测神经网络；
步骤六：对步骤五中的目标检测神经网络结合长短时间记忆网络在卫星目标追踪数据上进行训练，得到可用于卫星目标跟踪的目标跟踪神经网络；
步骤七：通过特征转移方法将目标检测神经网络提取到的卫星图片中的空间特征转化为通用特征，并将通用特征接入目标跟踪神经网络，根据卫星数据集得到能够跟踪卫星目标的卫星跟踪神经网络；
步骤八：对步骤七中的卫星跟踪神经网络进行网络精简得到简化的卫星跟踪神经网络。
在步骤一中，对每一副图像使用基于像素值的K-Means聚类，以像素值为特征点，将每一帧的所有像素聚为背景、火箭箭体和颗粒物三类。初步识别火箭遥测视频中颗粒物的大小、形状。
在步骤三中，利用帧间差分算法计算火箭遥测视频图像中各像素的光流。先利用帧间差分法计算第t+1幅图像和第t幅图像的差分图像,通过对两帧图像亮度值的绝对值的阈值化处理判断图像序列中有无像素点运动，然后利用亮度的改变来计算各像素点处的光流场，如图2所示。
其公式化描述如下：
其中D(x,y)为第t+1幅图像和第t幅图像之间的差分图像，I(t+1)和I(t)分别为t+1和t时刻的图像，T为差分图像二值化选取时的阈值，D(x,y)＝1表示前景，D(x,y)＝0表示背景。
利用所得到的各像素所对应的光流场估计出颗粒物运动的速度和运动的轨迹，得到颗粒物的运动特征。通过帧间差分算法及光流算法能够得到针对像素点的目标移动信息，结合分割算法得到的像素信息，能够确定颗粒物的移动情况。
在步骤四中，使用Labelimg工具在已拍摄的卫星图片上进行人工标注，标注卫星图片中卫星的横纵坐标轴位置坐标。并使用所有卫星图片建立卫星数据集，以3：1：1的比例将卫星数据集划分为训练、验证、测试集。
在步骤五中，通过逐次梯度下降更新算法，分批次采用卫星数据图片对目标检测网络进行拟合训练。在卫星目标检测过程，以卫星图片作为目标检测神经网络输入，逐次提取卫星图片中的空间参数特征，采用空间参数进行渐进的卷积和全连接计算推理，最终输出卫星中心点的横纵坐标及卫星的长宽像素值得到卫星的位置。
在步骤六中，卫星目标跟踪神经网络输入包含采用卫星目标检测网络进行目标检测的视频后，逐次提取视频中的连续帧之间的高维特征，输出跟踪目标的横纵坐标及目标的长宽像素值。卫星目标跟踪LSTM使用遗忘门、输入门和输出门处理信息，卫星目标控制门的数学模型如下所示：
At＝σg(Waff+UaSt-1+ba)
Dt＝σg(Wdff+UdSt-1+bd)
Ot＝σg(Woff+UoSt-1+bo)
Ct＝At⊙Ct-1+Dt⊙σh(Wcff+UcSt-1+bc)
St＝Ot⊙σh(Ct)
其中St和Ct是控制门当前时刻t隐藏状态和卫星位置记忆，St-1和Ct-1是控制门前一时刻t-1隐藏状态和卫星位置记忆。⊙代表按照元素位置的乘法，σg和σh代表激活函数。输入的卫星位置特征ff和每个网络权重W*相乘来更新卫星位置控制门At，Dt，Ot。
在步骤七中，使用特征转移技术，将目标检测神经网络提取到的卫星图片中的空间特征转化为通用特征。并将通用特征接入目标跟踪神经网络，在已有卫星数据集上进行微调，得到能够跟踪卫星目标的卫星跟踪神经网路。
特征转换技术使用特征转换器连接目标检测网络与目标跟踪网络，同时冻结目标检测网络与目标跟踪网络权重，通过在卫星数据集上训练特征转换器，将目标检测网络特征转换为目标跟踪网络特征，完成特征转移。特征转换按如下方式进行：
Y＝σn(Cn…σ2(C2σ1(C1x+b1)+b2)+bn)+Wx+b
其中Y为输出，W为网络全连接权重，C为卷积权重，b为偏置，x为输入,σ为激活模式。特征转换器依据特征大小使用多层反卷积与全连接的并行结构完成特征转换。
在步骤八中，对得到的采用特征转移后的可跟踪卫星目标的卫星跟踪神经网络进行网络精简，得到简化高效的特征转移后的可跟踪卫星目标的卫星跟踪神经网络。对CNN实施逐次渐进式量化、剪枝方法，量化方法将模型中的浮点类型变量转换为整型变量，减少网络权重和特征值消耗的显存。剪枝方法消除不必要的网络通道，加快网络计算速度、减少网络资源消耗。
对于网络量化精简，有初始的浮点数参数xf，首先将其归一化到[0,1]之间：
其中wmin和wmax是每层网络权重的最小和最大值。然后数值N(xf)
可以被量化至最近的整数点xq：
其中
代表归约至最近整数，k是量化位数。
逐次渐进量化采用分组-量化-再训练的策略而不是一次性将网络权重同时量化。在下图中，黑色区域代表选定的权重量化区域，将黑色区域量化得到绿色区域中的整形数值并将其固定；量化后进行网络再训练，得到灰色区域中的新训练参数；重复上述分组-量化-再训练过程，直到整个网络量化训练完毕，如图3所示。
本建模方法搭建了基于图像识别的火箭遥测视频分析平台,能够定量分析发动机周边环境颗粒物浓度、颗粒物大小、实时绘制颗粒物特性曲线，并在星箭分离阶段对卫星位置动态进行精准跟踪。
使用基于像素值的Kmeans聚类，对每一帧的像素聚为背景、火箭箭体和颗粒物三类。使用在Cityscapes数据集上训练得到的Mask R-CNN目标分割模型，对处理过的图像进行分割。根据模型对像素的标注及统计得到的不连通区域个数，得到颗粒物大小，颗粒物数目，颗粒物所占面积。使用静止摄像机的帧间差分算法以及opencv库提供的密集光流算法得到的图像中各像素所对应的光流，估计出颗粒物运动的速度和运动的轨迹，最终得到颗粒物的各项特征。并使用matplotlib库提供的画图工具，将颗粒物的各项特征实时显示为特征-时间曲线。
使用labelimg工具在已有的卫星图片上进行人工标注，得到各幅图像中卫星所在位置。并使用多张卫星图片建立数据集，将图片划分为训练、测试集等。
使用YOLO目标检测模型在建立的卫星图片数据集上进行训练、测试，得到能够检测卫星目标的卷积神经网络。使用基于LSTM的目标跟踪网络在OTB数据集上进行训练，得到能够实现目标跟踪的循环神经网络模型。将卷积神经网络提取到的卫星图片空间特征接入LSTM，并在已有卫星数据集上进行微调，最终得到能够跟踪卫星目标的神经网路。
对网络实施量化、剪枝等轻量化方法，加快网络计算速度、减少网络资源消耗。并将网络部署在FPGA、单片机等终端平台上，完成测试任务。
本发明基于聚类的轮廓识别算法能够快速的完成对图像的前期处理，预先提取出颗粒物存在的可能区域，减轻后续分割的负担。本发明的目标分割模型能够完成对筛选出的可能区域中颗粒物像素的分割，以达到确定颗粒物大小，颗粒物数目，颗粒物所占面积等信息的提取。本发明的帧间差分算法及光流算法能够得到针对像素点的目标移动信息，结合分割算法得到的像素信息，能够确定颗粒物的移动情况。本发明将得到的颗粒物特征以图像的形式进行展示。本发明建立卫星图像数据集可以辅助后续模型训练。本发明的卷积网络通过提取图像中的空间特征，识别图像中的目标。目标检测模型定位图像中卫星的位置，并在卫星周围绘制边界框。本发明的长短时间记忆网络提取视频中的帧间特征，处理时间序列信息，结合卷积网络得到的空间信息，最终输出卫星的跟踪结果。本发明调整网络结构能够加快跟踪速度，减少网络消耗资源，减轻部署难度和硬件要求。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
Claims (10)
1.一种基于火箭遥测视频的空间环境监测方法，其特征在于，所述方法包括如下步骤：
步骤一：采集火箭遥测视频图像，对火箭遥测视频图像中的每一帧基于像素值的Kmeans聚类将每一帧中的每一个像素点识别为背景像素点、火箭箭体像素点或颗粒物像素点；其中，所有的颗粒物像素点组成颗粒物像素点集合；
步骤二：使用在Cityscapes数据集上训练得到的Mask R-CNN目标分割模型，根据MaskR-CNN目标分割模型对步骤一中聚类得到的颗粒物像素点集合进行标注及统计得到不连通区域，根据不连通区域进行分割得到颗粒物信息，其中，颗粒物信息包括颗粒物大小、颗粒物数目和颗粒物所占火箭遥测视频图像的面积；
步骤三：根据帧间差分算法得到火箭遥测视频图像中各像素所对应的光流，根据火箭遥测视频图像中各像素所对应的光流和步骤二中的颗粒物信息得到颗粒物光流，根据颗粒物光流得到颗粒物运动的速度和运动的轨迹。
2.根据权利要求1所述的基于火箭遥测视频的空间环境监测方法，其特征在于：在步骤三中，根据帧间差分算法得到火箭遥测视频图像中各像素所对应的光流包括如下步骤：
利用帧间差分算法计算第t+1幅火箭遥测视频图像和第t幅火箭遥测视频图像的差分图像，通过对差分图像的亮度值的绝对值的阈值化处理判断图像序列中有无像素点运动，然后利用亮度的改变来计算各像素所对应的光流。
3.根据权利要求2所述的基于火箭遥测视频的空间环境监测方法，其特征在于：差分图像的表达式如下：
其中，D(x，y)为第t+1幅火箭遥测视频图像和第t幅火箭遥测视频图像之间的差分图像，I(t+1)和I(t)分别为t+1时刻和t时刻的火箭遥测视频图像，T为差分图像二值化选取时的阈值，D(x，y)＝1表示前景，D(x，y)＝0表示背景。
4.根据权利要求1所述的基于火箭遥测视频的空间环境监测方法，其特征在于还包括如下步骤：
步骤四：使用Labelimg工具在已拍摄的卫星图片上进行标注，标注卫星图片中卫星的横纵坐标轴位置坐标，并使用已拍摄的卫星图片建立卫星数据集；
步骤五：将步骤四中得到的卫星数据集使用高效卷积神经网络进行训练，得到可以检测卫星目标的目标检测神经网络；
步骤六：对步骤五中的目标检测神经网络结合长短时间记忆网络在卫星目标追踪数据上进行训练，得到可用于卫星目标跟踪的目标跟踪神经网络；
步骤七：通过特征转移方法将目标检测神经网络提取到的卫星图片中的空间特征转化为通用特征，并将通用特征接入目标跟踪神经网络，根据卫星数据集得到能够跟踪卫星目标的卫星跟踪神经网络；
步骤八：对步骤七中的卫星跟踪神经网络进行网络精简得到简化的卫星跟踪神经网络。
5.根据权利要求4所述的基于火箭遥测视频的空间环境监测方法，其特征在于：在步骤五中，以卫星数据集作为目标检测神经网络的输入，逐次提取卫星数据集中的空间参数特征，采用空间参数特征进行渐进的卷积和全连接计算推理，最终输出卫星中心点的横纵坐标及卫星的长宽像素值得到卫星的位置。
6.根据权利要求4所述的基于火箭遥测视频的空间环境监测方法，其特征在于：在步骤六中，目标跟踪神经网络输入包含采用目标检测神经网络进行目标检测的视频后，逐次提取视频中的连续帧之间的高维特征，输出跟踪目标的横纵坐标及跟踪目标的长宽像素值。
7.根据权利要求6所述的基于火箭遥测视频的空间环境监测方法，其特征在于：在步骤六中，长短时间记忆网络使用控制门在卫星目标追踪数据上进行训练；其中，控制门包括遗忘门、输入门和输出门。
8.根据权利要求7所述的基于火箭遥测视频的空间环境监测方法，其特征在于：控制门的数学模型如下所示：
At＝σg(Waff+UaSt-1+ba)
Dt＝σg(Wdff+UdSt-1+bd)
Ot＝σg(Woff+UoSt-1+bo)
Ct＝At⊙Ct-1+Dt⊙σh(Wcff+UcSt-1+bc)
St＝Ot⊙σh(Ct)
其中，St和Ct是控制门当前时刻t隐藏状态和卫星位置记忆，St-1和Ct-1是控制门前一时刻t-1隐藏状态和卫星位置记忆，⊙代表按照元素位置的乘法，σg和σh均为激活函数，Wa、Wd和Wo均为网络权重，ff为输入的卫星位置特征，At为遗忘门，Dt为输入门，Ot为输出门。
9.根据权利要求4所述的基于火箭遥测视频的空间环境监测方法，其特征在于：在步骤七中，特征转移方法为：使用特征转换器连接目标检测神经网络与目标跟踪神经网络，同时冻结目标检测神经网络与目标跟踪神经网络权重，通过在卫星数据集上训练特征转换器，将目标检测神经网络特征转换为目标跟踪神经网络特征，完成特征转移。
10.根据权利要求4所述的基于火箭遥测视频的空间环境监测方法，其特征在于：在步骤八中，网络精简包括：将卫星跟踪神经网络的初始的浮点数参数xf将其归一化到[0，1]之间：
其中，Wmin和Wmax是每层网络权重的最小和最大值；N(xf)为归一化数值；
将归一化数值N(xf)被量化至最近的整数点xq：
其中，
代表归约至最近整数，k是量化位数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011120812.1A CN112270661B (zh) | 2020-10-19 | 2020-10-19 | 一种基于火箭遥测视频的空间环境监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011120812.1A CN112270661B (zh) | 2020-10-19 | 2020-10-19 | 一种基于火箭遥测视频的空间环境监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112270661A true CN112270661A (zh) | 2021-01-26 |
| CN112270661B CN112270661B (zh) | 2024-05-07 |
Family
ID=74338438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011120812.1A Active CN112270661B (zh) | 2020-10-19 | 2020-10-19 | 一种基于火箭遥测视频的空间环境监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112270661B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690519A (zh) * | 2022-11-30 | 2023-02-03 | 北京中环高科环境治理有限公司 | 一种黑碳遥测方法、装置及系统 |
| CN118101904A (zh) * | 2024-04-28 | 2024-05-28 | 东方空间(江苏)航天动力有限公司 | 一种海射火箭视频监测方法及监测装置 |
| CN118101904B (zh) * | 2024-04-28 | 2024-07-02 | 东方空间(江苏)航天动力有限公司 | 一种海射火箭视频监测方法及监测装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6271877B1 (en) * | 1999-06-25 | 2001-08-07 | Astrovision, Inc. | Direct broadcast imaging satellite system apparatus and method for providing real-time, continuous monitoring of earth from geostationary earth orbit |
| US20070273765A1 (en) * | 2004-06-14 | 2007-11-29 | Agency For Science, Technology And Research | Method for Detecting Desired Objects in a Highly Dynamic Environment by a Monitoring System |
| US20080152192A1 (en) * | 2005-07-07 | 2008-06-26 | Ingenious Targeting Laboratory, Inc. | System For 3D Monitoring And Analysis Of Motion Behavior Of Targets |
| CN103020587A (zh) * | 2012-11-15 | 2013-04-03 | 镇江石鼓文智能化系统开发有限公司 | 基于视频图像分析火焰的视图分析方法 |
| CN108830305A (zh) * | 2018-05-30 | 2018-11-16 | 西南交通大学 | 一种结合dclrn网络和光流法的实时火灾监测方法 |
| WO2019041519A1 (zh) * | 2017-08-29 | 2019-03-07 | 平安科技（深圳）有限公司 | 目标跟踪装置、方法及计算机可读存储介质 |
| CN109446978A (zh) * | 2018-10-25 | 2019-03-08 | 哈尔滨工程大学 | 基于凝视卫星复杂场景的飞机动目标跟踪方法 |
| CN109460764A (zh) * | 2018-11-08 | 2019-03-12 | 中南大学 | 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法 |
| US20200160061A1 (en) * | 2017-12-11 | 2020-05-21 | Zhuhai Da Hengqin Technology Development Co., Ltd. | Automatic ship tracking method and system based on deep learning network and mean shift |
-
2020
- 2020-10-19 CN CN202011120812.1A patent/CN112270661B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6271877B1 (en) * | 1999-06-25 | 2001-08-07 | Astrovision, Inc. | Direct broadcast imaging satellite system apparatus and method for providing real-time, continuous monitoring of earth from geostationary earth orbit |
| US20070273765A1 (en) * | 2004-06-14 | 2007-11-29 | Agency For Science, Technology And Research | Method for Detecting Desired Objects in a Highly Dynamic Environment by a Monitoring System |
| US20080152192A1 (en) * | 2005-07-07 | 2008-06-26 | Ingenious Targeting Laboratory, Inc. | System For 3D Monitoring And Analysis Of Motion Behavior Of Targets |
| CN103020587A (zh) * | 2012-11-15 | 2013-04-03 | 镇江石鼓文智能化系统开发有限公司 | 基于视频图像分析火焰的视图分析方法 |
| WO2019041519A1 (zh) * | 2017-08-29 | 2019-03-07 | 平安科技（深圳）有限公司 | 目标跟踪装置、方法及计算机可读存储介质 |
| US20200160061A1 (en) * | 2017-12-11 | 2020-05-21 | Zhuhai Da Hengqin Technology Development Co., Ltd. | Automatic ship tracking method and system based on deep learning network and mean shift |
| CN108830305A (zh) * | 2018-05-30 | 2018-11-16 | 西南交通大学 | 一种结合dclrn网络和光流法的实时火灾监测方法 |
| CN109446978A (zh) * | 2018-10-25 | 2019-03-08 | 哈尔滨工程大学 | 基于凝视卫星复杂场景的飞机动目标跟踪方法 |
| CN109460764A (zh) * | 2018-11-08 | 2019-03-12 | 中南大学 | 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨斌;: "足球比赛视频中的目标检测与跟踪算法研究", 计算机测量与控制, no. 09 * |
| 魏燕欣;范秀娟;: "基于GMM的人体运动姿态的追踪与识别", 北京服装学院学报(自然科学版), no. 02 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690519A (zh) * | 2022-11-30 | 2023-02-03 | 北京中环高科环境治理有限公司 | 一种黑碳遥测方法、装置及系统 |
| CN115690519B (zh) * | 2022-11-30 | 2023-08-04 | 北京中环高科环境治理有限公司 | 一种黑碳遥测方法、装置及系统 |
| CN118101904A (zh) * | 2024-04-28 | 2024-05-28 | 东方空间(江苏)航天动力有限公司 | 一种海射火箭视频监测方法及监测装置 |
| CN118101904B (zh) * | 2024-04-28 | 2024-07-02 | 东方空间(江苏)航天动力有限公司 | 一种海射火箭视频监测方法及监测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112270661B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919031B (zh) | 一种基于深度神经网络的人体行为识别方法 | |
| Liu et al. | Cucumber fruits detection in greenhouses based on instance segmentation | |
| CN107316307B (zh) | 一种基于深度卷积神经网络的中医舌图像自动分割方法 | |
| CN111340754B (zh) | 一种基于飞机蒙皮表面缺陷检测和分类的方法 | |
| CN111192237B (zh) | 一种基于深度学习的涂胶检测系统和方法 | |
| CN109685072B (zh) | 一种基于生成对抗网络的复合降质图像高质量重建方法 | |
| CN110555368B (zh) | 基于三维卷积神经网络的跌倒行为识别方法 | |
| CN110363104B (zh) | 一种柴油黑烟车的检测方法 | |
| CN108171112A (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
| CN113421269A (zh) | 一种基于双分支深度卷积神经网络的实时语义分割方法 | |
| CN104281853A (zh) | 一种基于3d卷积神经网络的行为识别方法 | |
| CN112434723B (zh) | 一种基于注意力网络的日/夜间图像分类及物体检测方法 | |
| CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
| CN111046789A (zh) | 一种行人重识别方法 | |
| CN114821014A (zh) | 基于多模态与对抗学习的多任务目标检测识别方法及装置 | |
| CN112597920A (zh) | 基于YOLOv3剪枝网络的实时物体检测系统 | |
| CN110059675A (zh) | 一种机器人识别道路交通执法行为并提供规范化辅助的方法 | |
| CN111145145A (zh) | 一种基于MobileNets的图像表面缺陷检测方法 | |
| CN114998890B (zh) | 一种基于图神经网络的三维点云目标检测算法 | |
| CN113065431A (zh) | 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法 | |
| CN113792631B (zh) | 一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法 | |
| CN112270661B (zh) | 一种基于火箭遥测视频的空间环境监测方法 | |
| CN114782859A (zh) | 一种目标行为时空感知定位模型的建立方法及应用 | |
| CN113936034A (zh) | 一种结合帧间光流的表观运动联合弱小运动目标检测方法 | |
| CN111899278B (zh) | 基于移动端的无人机图像快速目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |