CN113129341B - 基于轻量型孪生网络的降落跟踪控制方法和系统及无人机 - Google Patents

基于轻量型孪生网络的降落跟踪控制方法和系统及无人机 Download PDF

Info

Publication number
CN113129341B
CN113129341B CN202110426555.2A CN202110426555A CN113129341B CN 113129341 B CN113129341 B CN 113129341B CN 202110426555 A CN202110426555 A CN 202110426555A CN 113129341 B CN113129341 B CN 113129341B
Authority
CN
China
Prior art keywords
target
search
frame
tracking
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110426555.2A
Other languages
English (en)
Other versions
CN113129341A (zh
Inventor
鲁仁全
罗勇民
林明
徐雍
绕红霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110426555.2A priority Critical patent/CN113129341B/zh
Publication of CN113129341A publication Critical patent/CN113129341A/zh
Application granted granted Critical
Publication of CN113129341B publication Critical patent/CN113129341B/zh
Priority to US17/584,563 priority patent/US11634227B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及无人机控制领域，特别是基于轻量型孪生网络的降落跟踪控制方法和系统及无人机。所述降落跟踪控制方法，包括如下内容：跟踪模型训练阶段和无人机实时跟踪阶段。所述降落跟踪控制方法采用轻量型特征提取网络SNet并加以修改，提升特征的提取速度以更好地满足实时性要求；进行通道信息重要性的权重分配，可以更加有目的性地区分有效特征并加以利用，从而提升追踪精度；为提升网络的训练效果，对RPN网络的损失函数计算进行优化，采用CIOU来衡量目标框回归的精度，同时根据CIOU来调整分类损失函数的计算，加强回归网络与分类网络的关系，从而可以提高无人机降落过程的跟踪的精准度和控制响应速度。

Description

基于轻量型孪生网络的降落跟踪控制方法和系统及无人机
技术领域
本发明涉及无人机控制领域，特别是基于轻量型孪生网络的降落跟踪控制方法和系统及无人机。
背景技术
传统跟踪算法主要基于均值漂移、光流法与粒子滤波等，跟踪速度快，但无法利用图像的深层特征，跟踪精度较差。目前主流的跟踪算法主要基于深度学习、相关滤波以及这二者的结合。基于深度学习的跟踪算法利用卷积网络以更好地提取图像特征，跟踪精度高，但网络的计算量大，十分耗时，难以满足实时性要求。而基于相关滤波的跟踪算法速度远超前者，可以满足实时性要求，但由于相关滤波跟踪器需要实时在线更新滤波模板，会累加误差，使跟踪效果越来越差，无法保持较长时间的跟踪。将深度学习与相关滤波相结合，可以在一定程度上进行优势互补，虽然在精度与速度上有一个较好的均衡，但跟踪效果仍然有待提高。后来基于孪生网络的算法开始应用在跟踪领域，如SiamRPN++，从相似匹配的角度来定位跟踪物体，其性能赶超了以往基于深度学习与相关滤波相结合的算法。SiamRPN++的主干网络为ResNet-50，网络较深，需要的计算资源多，时间长，不利于在无人机等嵌入式平台上应用；且不同的跟踪目标在特征图的不同通道对应的响应有所不同，不加区分均等地利用各通道的信息不利于跟踪任务；当特征提取网络较浅时，为更好地利用特征信息，应采用一种合适的特征增强方式，将浅层特征与深层特征融合起来；传统的局部区域搜索策略过于简单，当目标因为遮挡或其它因素而短暂消失时，难以重新定位到目标，因为目标再次出现时很有可能已经跑出搜索的区域外；另外，其分类网络与回归网络的训练是独立进行的，对应训练的损失函数缺少一种相关联系。
发明内容
针对上述缺陷，本发明的目的在于提出基于轻量型孪生网络的降落跟踪控制方法和系统及无人机，所述降落跟踪控制方法使得目标跟踪丢失后的重定位，保证目标重新出现时仍然处于当前搜索的区域，从而可以提高无人机降落过程的跟踪的精准度和控制响应速度。
为达此目的，本发明采用以下技术方案：
基于轻量型孪生网络的降落跟踪控制方法，其包括如下内容：
跟踪模型训练阶段：a1.在目标模版内提取目标图像，在搜索区域内提取搜索图像；将目标图像和搜索图像输入两个相同的轻量型SNet特征提取模块，利用轻量型SNet特征提取模块中轻量型网络SNet提取搜索特征和目标特征；a2.将所述搜索特征和目标特征经过特征权重调整模块经过权重调整操作得到调整搜索特征和调整目标特征；a3.将所述调整搜索特征和调整目标特征输入增强特征模块，经过特征增强操作，得到增强搜索特征和增强目标特征；a4.将增强搜索特征和增强目标特征输入至同一个RPN网络中，确定目标的种类和位置；a5.利用CIOU衡量目标框回归的精度，当CIOU值比较大时，即目标框定位精确；当对于边框精度高的样本，增加其分类损失值与边框损失值，反之则进行减小调整；a6.按照步骤a5-a2-a5进行多次循环训练最终得到跟踪模型；
无人机实时跟踪阶段：b1.对机载摄像头视频进行识别帧操作；b2.将识别帧信息导入跟踪模型并识别目标；b3.判定目标定位是否成功，若成功，利用卡尔曼算法对目标进行预测搜索并返回步骤b1进行操作；如不成功，调整扩大搜索范围并返回步骤b1进行操作。
更优的，所述步骤a1中经过轻量型网络SNet的深度分离卷积操作后，得到三条搜索特征和三条目标特征。
具体的，所述步骤a2中权重调整操作包括如下内容：搜索特征和目标特征先利用全局最大池化，对特征图进行压缩；再经过全卷积与非线性激活操作，通过训练一个制定参数来代表各通道特征图的权重，最后将原有各通道的特征乘以经过全卷积与非线性激活操作所得权重值，得到调整过后的调整搜索特征图和调整目标特征图。
更优的，所述步骤a3和a4中还包括如下内容：基于特征金字塔对提取到的调整搜索特征和调整目标特征加以增强，并进行特征融合，将融合后的特征输入RPN网络中，从三个尺度上确定目标的种类和位置。
更优的，所述步骤a5中还包括如下内容：
针对损失函数的优化问题；目标框回归的准确度采用CIOU来衡量，当CIOU值比较大时，说明目标框定位比较精确；对于边框精度高的样本，增加其分类损失值与边框损失值，反之则减小。
具体的，所述CIOU中IOU具体如下：
Figure BDA0003029745700000031
Figure BDA0003029745700000032
Figure BDA0003029745700000033
Figure BDA0003029745700000034
Lossb＝1-CIOU (5)
Lossc＝-[g*lnp+(1-g)*ln(1-p)] (6)
p＝Preobject+CIOU*(1-Preobject) (7)
A表示真实框，B表示预测框，w、h、b、wgt、hgt、bgt分别表示真实框与预测框的宽、高和中心，ρ2(b，bgt)表示真实框与预测框中心点之间的欧式距离，c表示同时包含真实框与预测框最小矩形的对角线长度，Lossb表示边框损失函数，Lossc则表示分类损失函数，g表示是否为目标，是则为1，否为0；Preobject表示RPN网络预测得出的分类概率，当预测框的回归精度高时，认为分类较为可靠，增大其分类预测概率。
更优的，所述步骤b3中还包括如下内容：针对目标消失后的重定位问题；利用卡尔曼算法对目标的下一帧位置进行预测，以预测的结果为中心进行目标的局部检测；若在某些连续帧中目标跟踪丢失，则以卡尔曼滤波的预测位置结果为中心，搜索区域的长与宽额外增加一项，在搜索区域的长与宽超出视频帧本身大小前，该项随着时间的增大而增大，若长时间未能检测到目标，最终的检测区域扩大为整个图像。
具体的，所述步骤b3中还包括如下内容：
Figure BDA0003029745700000041
Figure BDA0003029745700000042
wsearch、hsearch为搜索区域的宽与高，wpre、hpre为卡尔曼预测区域的宽与高，wframe、hframe为视频帧的宽与高，vw、vh为先前n帧图像中目标在横向与纵向的帧间平均移动速度，α为控制区域扩大速度的常数，t为跟踪丢失开始计起的视频帧数。
降落跟踪控制系统，其包括：跟踪模型和实时跟踪装置。
所述跟踪模型包括：轻量型SNet特征模块，用于利于轻量型网络SNet搜索特征图和目标特征图；特征权重调整模块，用于对搜索特征图和目标特征图进行权重调整操作，并得到调整搜索特征图和调整目标特征图；增强特征模块，用于对调整搜索特征图和调整目标特征图经过特征增强操作，得到增强搜索特征图和增强目标特征图；RPN模块，其配置有RPN网络，用于确定目标的种类和位置；CIOU损失模块，其用于横梁目标框回归的精度。
实时跟踪装置包括：机载摄像头，其用于拍摄机载摄像头视频；视频识别模块，其用于从机载摄像头视频中完成识别帧操作；跟踪识别模块，其配置有如上所述的无人机降落跟踪控制方法的控制软件；判定模块，其用于判定目标是否定位成功；预测搜索模块，其用于当判定模块判定目标定位成功时，利用卡尔曼算法对目标进行预测搜索；扩大搜索模块，其用于当判定模块判定目标定位不成功时，调整扩大搜索范围。
无人机，其应用如上所述的降落跟踪控制系统。
本发明的一个实施例的有益效果：
根据上述内容，本发明提出一种基于轻量型孪生网络的无人机降落跟踪控制方法，所述机降落跟踪控制方法采用轻量型特征提取网络SNet并加以修改，提升特征的提取速度以更好地满足实时性要求。针对无人机的定点降落，起降平台一般是固定的，即追踪任务可划分为单类目标的跟踪。而同一类目标一般由特定的特征通道来表征，为此设计一个模块来进行通道信息重要性的权重分配，可以更加有目的性地区分有效特征并加以利用，从而提升追踪精度。为提升网络的训练效果，本发明对RPN(Region Proposal Network)网络的损失函数计算进行优化，采用CIOU(Complete-IOU)来衡量目标框回归的精度，同时根据CIOU来调整分类损失函数的计算，加强回归网络与分类网络的关系。在跟踪过程中，当目标因为某种原因跟丢时，算法能根据目标先前的运动规律，随着时间流逝逐步扩大搜索区域，进而保证目标重新出现时仍然处于当前搜索的区域内。
附图说明
图1是本发明的一个实施例中所述降落跟踪控制系统的工作流程示意图；
图2是本发明的一个实施例中所述跟踪模型训练阶段的部分算法的框架结构示意图；
图3是本发明的一个实施例中所述特征权重调整模块的权重调整操作流程示意图；
图4是本发明的一个实施例中所述增强特征模块的特征增强操作流程示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
基于轻量型孪生网络的降落跟踪控制方法，其包括如下内容：
跟踪模型训练阶段：a1.在目标模版内提取目标图像，在搜索区域内提取搜索图像；将目标图像和搜索图像输入两个相同的轻量型SNet特征提取模块，利用轻量型SNet特征提取模块中轻量型网络SNet提取搜索特征和目标特征；a2.将所述搜索特征和目标特征经过特征权重调整模块经过权重调整操作得到调整搜索特征和调整目标特征；a3.将所述调整搜索特征和调整目标特征输入增强特征模块，经过特征增强操作，得到增强搜索特征和增强目标特征；a4.将增强搜索特征和增强目标特征输入至同一个RPN网络中，确定目标的种类和位置；a5.利用CIOU衡量目标框回归的精度，当CIOU值比较大时，即目标框定位精确；当对于边框精度高的样本，增加其分类损失值与边框损失值，反之则进行减小调整；a6.按照步骤a5-a2-a5进行多次循环训练最终得到跟踪模型。
无人机实时跟踪阶段：b1.对机载摄像头视频进行识别帧操作；b2.将识别帧信息导入跟踪模型并识别目标；b3.判定目标定位是否成功，若成功，利用卡尔曼算法对目标进行预测搜索并返回步骤b1进行操作；如不成功，调整扩大搜索范围并返回步骤b1进行操作。
针对无人机跟踪的实时性要求，本实施例采用修改后的轻量型网络SNet进行图像的特征提取，为更好地针对特定目标，即起降平台的跟踪，现对原有网络进行修改，修改后的网络如图2所示。
具体的，所述步骤a1中经过轻量型网络SNet的深度分离卷积操作后，得到三条搜索特征和三条目标特征。
以其中一支特征提取网络为例，假设输入图像大小为448×448；轻量型网络Snet的特征提取网络如下表所示：
Figure BDA0003029745700000081
经过深度可分离卷积后，可以得到多个通道，每个通道各自携带的信息几乎已解耦，进行相关操作时，同一类物体只在对应的通道有高响应。对于单类跟踪，精准利用这些对应通道，能更好地完成目标地检测，可提高检测精度。
所述步骤a2中权重调整操作包括如下内容：搜索特征和目标特征先利用全局最大池化，对特征图进行压缩；再经过全卷积与非线性激活操作，通过训练一个制定参数来代表各通道特征图的权重，最后将原有各通道的特征乘以经过全卷积与非线性激活操作所得权重值，得到调整过后的调整搜索特征图和调整目标特征图；具体如图3所示，F1表示利用全局最大池化，对特征图进行压缩，F2表示全卷积与非线性激活等操作，通过训练一个W参数来代表各通道特征图的权重，F3则表示将原有各通道的特征乘以F2所得权重值，得到调整过后的特征图。
图像卷积后的后的浅层特征更多反映形状、颜色、边缘等，有助于目标的定位，而深层特征通常拥有更高层次的语义信息，有助于目标的分类，融合浅层特征与深层特征，能更加有效地同时利用二者所表示的信息。
具体的，所述步骤a3和a4中还包括如下内容：基于特征金字塔对提取到的调整搜索特征和调整目标特征加以增强，并进行特征融合，将融合后的特征输入RPN网络中，从三个尺度上确定目标的种类和位置；所述特征增强模块的工作流程如图4所示。
更优的，所述步骤a5中还包括如下内容：针对损失函数的优化问题；训练之后的网络性能好坏与损失函数的设置有着很大的关系；目标框回归的准确度采用CIOU来衡量，当CIOU值比较大时，说明目标框定位比较精确；对于边框精度高的样本，增加其分类损失值与边框损失值，反之则减小。
具体的，所述CIOU中IOU具体如下：
Figure BDA0003029745700000091
Figure BDA0003029745700000092
Figure BDA0003029745700000093
Figure BDA0003029745700000094
Lossb＝1-CIOU (5)
Lossc＝-[g*lnp+(1-g)*ln(i-p)] (6)
p＝Preobject+CIOU*(1-Preobject) (7)
A表示真实框，B表示预测框，w、h、b、wgt、hgt、bgt分别表示真实框与预测框的宽、高和中心，ρ2(b，bgt)表示真实框与预测框中心点之间的欧式距离，c表示同时包含真实框与预测框最小矩形的对角线长度，Lossb表示边框损失函数，Lossc则表示分类损失函数，g表示是否为目标，是则为1，否为0；Preobject表示RPN网络预测得出的分类概率，当预测框的回归精度高时，认为分类较为可靠，增大其分类预测概率。
更优的，所述步骤b3中还包括如下内容：针对目标消失后的重定位问题；利用卡尔曼算法对目标的下一帧位置进行预测，以预测的结果为中心进行目标的局部检测；若在某些连续帧中目标跟踪丢失，则以卡尔曼滤波的预测位置结果为中心，搜索区域的长与宽额外增加一项，在搜索区域的长与宽超出视频帧本身大小前，该项随着时间的增大而增大，若长时间未能检测到目标，最终的检测区域扩大为整个图像。
具体的：
Figure BDA0003029745700000101
Figure BDA0003029745700000102
wsearch、hsearch为搜索区域的宽与高，wpre、hpre为卡尔曼预测区域的宽与高，wframe、hframe为视频帧的宽与高，vw、vh为先前n帧图像中目标在横向与纵向的帧间平均移动速度，α为控制区域扩大速度的常数，t为跟踪丢失开始计起的视频帧数。
应用上述降落跟踪控制方法的降落跟踪控制系统，其包括：跟踪模型和实时跟踪装置。
具体的，所述跟踪模型包括：轻量型SNet特征模块，用于利于轻量型网络SNet搜索特征图和目标特征图；特征权重调整模块，用于对搜索特征图和目标特征图进行权重调整操作，并得到调整搜索特征图和调整目标特征图；增强特征模块，用于对调整搜索特征图和调整目标特征图经过特征增强操作，得到增强搜索特征图和增强目标特征图；RPN模块，其配置有RPN网络，用于确定目标的种类和位置；CIOU损失模块，其用于横梁目标框回归的精度。
实时跟踪装置包括：机载摄像头，其用于拍摄机载摄像头视频；视频识别模块，其用于从机载摄像头视频中完成识别帧操作；跟踪识别模块，其配置有如上所述的降落跟踪控制方法的控制软件；判定模块，其用于判定目标是否定位成功；预测搜索模块，其用于当判定模块判定目标定位成功时，利用卡尔曼算法对目标进行预测搜索；扩大搜索模块，其用于当判定模块判定目标定位不成功时，调整扩大搜索范围。
无人机，其应用如上所述的降落跟踪控制系统。
考虑到无人机追踪的实时性要求，所述无人机用另一种更加轻量型的网络来作为特征提取网络；针对单类物体的跟踪任务，设计一个特征权重调整模块，通过网络训练找出相关响应较大的特征通道，并给予分配更大的权值，以便更有效地利用特征信息；基于特征金字塔对提取到的特征进行增强，进而输入RPN网络中进行多尺度的目标检测；优化分类与边框回归的损失函数，加强二者之间的联系；设计一种基于目标运动规律来调整搜索区域的策略，帮助目标跟踪丢失后的重定位。
根据上述具体实施方式，本发明提出一种基于轻量型孪生网络的降落跟踪控制方法和系统及无人机，所述降落跟踪控制方法采用轻量型特征提取网络SNet并加以修改，提升特征的提取速度以更好地满足实时性要求。针对无人机的定点降落，起降平台一般是固定的，即追踪任务可划分为单类目标的跟踪。而同一类目标一般由特定的特征通道来表征，为此设计一个模块来进行通道信息重要性的权重分配，可以更加有目的性地区分有效特征并加以利用，从而提升追踪精度。为提升网络的训练效果，本发明对RPN(Region ProposalNetwork)网络的损失函数计算进行优化，采用CIOU(Complete-IOU)来衡量目标框回归的精度，同时根据CIOU来调整分类损失函数的计算，加强回归网络与分类网络的关系。在跟踪过程中，当目标因为某种原因跟丢时，算法能根据目标先前的运动规律，随着时间流逝逐步扩大搜索区域，进而保证目标重新出现时仍然处于当前搜索的区域内。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (3)

1.基于轻量型孪生网络的降落跟踪控制方法，其特征在于，包括如下内容：
跟踪模型训练阶段：
a1.在目标模版内提取目标图像，在搜索区域内提取搜索图像；将目标图像和搜索图像输入两个相同的轻量型SNet特征提取模块，利用轻量型Snet特征提取模块中轻量型网络SNet提取搜索特征和目标特征；
a2.将所述搜索特征和目标特征经过特征权重调整模块经过权重调整操作得到调整搜索特征和调整目标特征；
a3.将所述调整搜索特征和调整目标特征输入增强特征模块，经过特征增强操作，得到增强搜索特征和增强目标特征；
a4.将增强搜索特征和增强目标特征输入至同一个RPN网络中，确定目标的种类和位置；
a5.利用CIOU衡量目标框回归的精度，当CIOU值比较大时，即目标框定位精确；当对于边框精度高的样本，增加其分类损失值与边框损失值，反之则进行减小调整；
a6.按照步骤a5-a2-a5进行多次循环训练最终得到跟踪模型；
无人机实时跟踪阶段：
b1.对机载摄像头视频进行识别帧操作；
b2.将识别帧信息导入跟踪模型并识别目标；
b3.判定目标定位是否成功，若成功，利用卡尔曼算法对目标进行预测搜索并返回步骤b1进行操作；如不成功，调整扩大搜索范围并返回步骤b1进行操作；
所述步骤a1中经过轻量型网络SNet的深度分离卷积操作后，得到三条搜索特征和三条目标特征；
所述步骤a2中权重调整操作包括如下内容：搜索特征和目标特征先利用全局最大池化，对特征图进行压缩；再经过全卷积与非线性激活操作，通过训练一组制定参数来代表各通道特征图的权重，最后将原有各通道的特征乘以经过全卷积与非线性激活操作所得权重值，得到调整过后的调整搜索特征图和调整目标特征图；
所述步骤a3和a4中还包括如下内容：基于特征金字塔对提取到的调整搜索特征和调整目标特征加以增强，并进行特征融合，将融合后的特征输入RPN网络中，从三个尺度上确定目标的种类和位置；
所述步骤a5中还包括如下内容：
针对损失函数的优化问题；目标框回归的准确度采用CIOU来衡量，当CIOU值比较大时，说明目标框定位比较精确；对于边框精度高的样本，增加其分类损失值与边框损失值，反之则减小；
所述CIOU中IOU具体如下：
Figure FDA0003335736160000021
Figure FDA0003335736160000022
Figure FDA0003335736160000023
Figure FDA0003335736160000024
Lossb＝1-CIOU (5)
Lossc＝-[g*lnp+(1-g)*ln(1-p)] (6)
p＝Preobject+CIOU*(1-Preobject) (7)
A表示真实框，B表示预测框，w、h、b、wgt、hgt、bgt分别表示真实框与预测框的宽、高和中心，ρ2(b，bgt)表示真实框与预测框中心点之间的欧式距离，c表示同时包含真实框与预测框最小矩形的对角线长度，Lossb表示边框损失函数，Lossc则表示分类损失函数，g表示是否为目标，是则为1，否为0；Preobject表示RPN网络预测得出的分类概率，当预测框的回归精度高时，认为分类较为可靠，增大其分类预测概率；
所述步骤b3中还包括如下内容：针对目标消失后的重定位问题；利用卡尔曼算法对目标的下一帧位置进行预测，以预测的结果为中心进行目标的局部检测；若在某些连续帧中目标跟踪丢失，则以卡尔曼滤波的预测位置结果为中心，搜索区域的长与宽额外增加一项，在搜索区域的长与宽超出视频帧本身大小前，该项随着时间的增大而增大，若长时间未能检测到目标，最终的检测区域扩大为整个图像；
所述步骤b3中还包括如下内容：
Figure FDA0003335736160000031
Figure FDA0003335736160000032
wsearch、hsearch为搜索区域的宽与高，wpre、hpre为卡尔曼预测区域的宽与高，Wframe、hframe为视频帧的宽与高，vw、vh为先前n帧图像中目标在横向与纵向的帧间平均移动速度，α为控制区域扩大速度的常数，t为跟踪丢失开始计起的视频帧数。
2.降落跟踪控制系统，其特征在于，其应用如权利要求1所述的基于轻量型孪生网络的降落跟踪控制方法，所述降落跟踪控制系统包括：跟踪模型和实时跟踪装置；
所述跟踪模型包括：
轻量型SNet特征模块，用于利于轻量型网络SNet搜索特征图和目标特征图；
特征权重调整模块，用于对搜索特征图和目标特征图进行权重调整操作，并得到调整搜索特征图和调整目标特征图；
增强特征模块，用于对调整搜索特征图和调整目标特征图经过特征增强操作，得到增强搜索特征图和增强目标特征图；
RPN模块，其配置有RPN网络，用于确定目标的种类和位置；
CIOU损失模块，其用于横梁目标框回归的精度；
实时跟踪装置包括：
机载摄像头，其用于拍摄机载摄像头视频；
视频识别模块，其用于从机载摄像头视频中完成识别帧操作；
跟踪识别模块，其配置有如权利要求1中所述的无人机降落跟踪控制方法的控制软件；
判定模块，其用于判定目标是否定位成功；
预测搜索模块，其用于当判定模块判定目标定位成功时，利用卡尔曼算法对目标进行预测搜索；
扩大搜索模块，其用于当判定模块判定目标定位不成功时，调整扩大搜索范围。
3.无人机，其特征在于，其应用如权利要求2所述的降落跟踪控制系统。
CN202110426555.2A 2021-04-20 2021-04-20 基于轻量型孪生网络的降落跟踪控制方法和系统及无人机 Active CN113129341B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110426555.2A CN113129341B (zh) 2021-04-20 2021-04-20 基于轻量型孪生网络的降落跟踪控制方法和系统及无人机
US17/584,563 US11634227B2 (en) 2021-04-20 2022-01-26 Landing tracking control method and system based on lightweight twin network and unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110426555.2A CN113129341B (zh) 2021-04-20 2021-04-20 基于轻量型孪生网络的降落跟踪控制方法和系统及无人机

Publications (2)

Publication Number Publication Date
CN113129341A CN113129341A (zh) 2021-07-16
CN113129341B true CN113129341B (zh) 2021-12-14

Family

ID=76778235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110426555.2A Active CN113129341B (zh) 2021-04-20 2021-04-20 基于轻量型孪生网络的降落跟踪控制方法和系统及无人机

Country Status (2)

Country Link
US (1) US11634227B2 (zh)
CN (1) CN113129341B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629151B (zh) * 2020-06-12 2023-01-24 北京字节跳动网络技术有限公司 视频合拍方法、装置、电子设备及计算机可读介质
CN113759943A (zh) * 2021-10-13 2021-12-07 北京理工大学重庆创新中心 无人机降落平台及识别方法、降落方法和飞行作业系统
CN114820712B (zh) * 2022-05-16 2024-04-02 太原科技大学 一种自适应目标框优化的无人机跟踪方法
CN115375737B (zh) * 2022-10-25 2023-02-03 南昌工程学院 基于自适应时间与序列化时空特征的目标跟踪方法与系统
CN115861860B (zh) * 2023-02-24 2023-06-02 杭州靖安科技有限公司 一种无人机的目标跟踪定位方法和系统
CN116402858B (zh) * 2023-04-11 2023-11-21 合肥工业大学 基于transformer的时空信息融合的红外目标跟踪方法
CN116091554B (zh) * 2023-04-11 2023-06-16 智洋创新科技股份有限公司 一种用于开放集的运动目标跟踪方法
CN116109956A (zh) * 2023-04-12 2023-05-12 安徽省空安信息技术有限公司 一种无人机自适应变焦高精度目标检测智能巡检方法
CN117079196B (zh) * 2023-10-16 2023-12-29 长沙北斗产业安全技术研究院股份有限公司 基于深度学习以及目标运动轨迹的无人机识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200870A (zh) * 2020-10-30 2021-01-08 上海海事大学 基于孪生网络的分类和位置损失相结合的单目标跟踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210319420A1 (en) * 2020-04-12 2021-10-14 Shenzhen Malong Technologies Co., Ltd. Retail system and methods with visual object tracking
CN111723769B (zh) * 2020-06-30 2023-10-27 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质
CN112598066A (zh) * 2020-12-25 2021-04-02 中用科技有限公司 一种基于机器视觉的轻量化道路路面检测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200870A (zh) * 2020-10-30 2021-01-08 上海海事大学 基于孪生网络的分类和位置损失相结合的单目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"主动跟踪方法及在滑雪运动中的应用研究";陈佳益;《中国优秀博硕士学位论文全文数据库（硕士） 社会科学Ⅱ辑》;20210115(第01期);第19-21,25-26，30-31，38-39，56页 *
"面向轮渡场景下流量统计的目标检测与跟踪";安梦蕾;《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》;20210315(第03期);第13，26，36，39页 *

Also Published As

Publication number Publication date
US20220332415A1 (en) 2022-10-20
US11634227B2 (en) 2023-04-25
CN113129341A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN113129341B (zh) 基于轻量型孪生网络的降落跟踪控制方法和系统及无人机
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN110942000B (zh) 一种基于深度学习的无人驾驶车辆目标检测方法
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN108921083B (zh) 基于深度学习目标检测的非法流动摊贩识别方法
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN111680655A (zh) 一种面向无人机航拍影像的视频目标检测方法
CN106845430A (zh) 基于加速区域卷积神经网络的行人检测与跟踪方法
CN110569754A (zh) 图像目标检测方法、装置、存储介质及设备
CN109376580B (zh) 一种基于深度学习的电力塔架部件识别方法
CN114281093B (zh) 一种基于无人机电力巡检的缺陷检测系统及方法
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN112287896A (zh) 一种基于深度学习的无人机航拍图像目标检测方法及系统
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN111127520B (zh) 一种基于视频分析的车辆跟踪方法和系统
CN113762049B (zh) 内容识别方法、装置、存储介质和终端设备
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
CN116453109A (zh) 3d目标检测方法、装置、设备及存储介质
CN114743045B (zh) 一种基于双分支区域建议网络的小样本目标检测方法
CN112633407B (zh) 分类模型的训练方法、装置、电子设备及存储介质
CN113450321B (zh) 基于边缘检测的单阶段目标检测方法
CN113378864B (zh) 一种锚框参数的确定方法、装置、设备及可读存储介质
KR102462733B1 (ko) 샴 네트워크를 활용하는 강인한 다중 객체 검출 장치 및 방법
Zhang et al. edge-assisted learning for real-time UAV imagery via predictive offloading

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Lu Renquan

Inventor after: Luo Yongmin

Inventor after: Lin Ming

Inventor after: Xu Yong

Inventor after: Rao Hongxia

Inventor before: Lu Renquan

Inventor before: Luo Yongmin

Inventor before: Lin Ming

Inventor before: Xu Yong

Inventor before: Red clouds

CB03 Change of inventor or designer information