CN1389710A - 多传感器多目标信息融合方法 - Google Patents

多传感器多目标信息融合方法 Download PDF

Info

Publication number
CN1389710A
CN1389710A CN 02136098 CN02136098A CN1389710A CN 1389710 A CN1389710 A CN 1389710A CN 02136098 CN02136098 CN 02136098 CN 02136098 A CN02136098 A CN 02136098A CN 1389710 A CN1389710 A CN 1389710A
Authority
CN
China
Prior art keywords
information
fusion
sensor
neural network
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 02136098
Other languages
English (en)
Other versions
CN1166922C (zh
Inventor
敬忠良
李建勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CNB021360987A priority Critical patent/CN1166922C/zh
Publication of CN1389710A publication Critical patent/CN1389710A/zh
Application granted granted Critical
Publication of CN1166922C publication Critical patent/CN1166922C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Feedback Control In General (AREA)

Abstract

一种多传感器多目标信息融合方法,不同分布的传感器首先对环境进行检测以检测目标的存在,检测信息融合系统针对各传感器的检测结果进行融合,进而对目标进行状态跟踪和特征提取,状态信息融合系统和特征信息融合系统分别就各传感器的跟踪状态和特征矢量识别结果进行融合,进而得到相对精确的状态参数和准确的识别结果,决策信息融合系统则进行整体系统的决策融合,为下一步行动提供有利的决策。本发明建立了分布式集成化多传感器信息融合理论体系,可提高系统的探测概率、估计精度及识别概率,提供更加合理可行的决策算法。本发明可用于智能交通、机器人、航空电子、反弹道导弹防御和精确制导等系统的机动目标高精度定位与预测。

Description

多传感器多目标信息融合方法
技术领域:
本发明涉及一种多传感器多目标信息融合方法,是一种智能化机动目标状态精确估计与跟踪方法,用于智能交通、机器人、航空电子、反弹道导弹防御和精确制导等系统的机动目标高精度定位与预测,属于智能信息处理技术领域。
背景技术:
随着传感器技术的迅速发展和多传感器系统的大量涌现,复杂工程系统都拥有关于环境和被探测动态过程的大量数据,人们正面临着一场传感器技术领域内的革命,这场革命将使信息处理和整体传输能力大幅度提高,系统性能出现质的飞跃。智能信息融合IIF(Intelligent Information Fusion)正是当前这场技术革命的主要标志之一,无疑也是一项极富挑战性的研究课题。
IIF是一门关于最佳协同利用多传感器观测数据并最大程度地提炼出被探测多目标和环境最大信息量的综合学科。它是一种涉及多信息源探测、相关、跟踪、识别与分类的自动智能决策过程,是人和其他生物系统的感知功能在复杂系统工程中的再现。正是由于IIF系统本身所具有的良好的性能鲁棒性,广阔的时空覆盖区域,优良的目标分辨能力,良好的故障容错和系统重构能力,卓越的探测性能以及较高的量测维数等特点愈来愈受到人们的青睐和高度重视。IIF理论已广泛应用于空中交通管制、海港监控、机器人视觉、自然资源遥感、气象预报、探伤及装配等。因此,各发达国家都把它作为重大科技专题,组织力量,重点研究。
二十多年来,国外在多传感器多目标信息融合领域已取得很多成果。在传感器研制方面,已经形成具有不同量测维数和不同工作特点的主被动传感器产品,其中典型产品有监视与成像雷达(包括激光雷达、合成孔径雷达、旁视雷达)、红外搜索跟踪与图像传感器、光电传感器、电子支援测量传感器、声纳和全球定位系统等;在信息融合系统结构设计方面,已经提出基于同一运动平台的集中式、传感器级和混合式结构,以及基于空间分布的集中式和分布式结构;在检测信息融合方面,已经提出了分布贝叶斯检测法、N-P准则、分布序贯检测方法和神经网络法等。在状态信息融合方面,已经提出轨迹分裂法、高斯和法、整数规划法、多假设法、联合概率数据关联法(JPDA)和分散估计方法等;在目标识别与分类方面,已经提出Bayes法,Dempster-Shafer推理法、聚类分析法、K阶最近邻法和线性判别法等;在环境评价方面,已经提出期望样板法、性能模型法和基于黑板结构的专家系统方法等。上述信息融合理论和方法已具有相当高的理论水平,有些已付诸应用。在国内,包括清华大学、沈阳自动化研究所以及信息产业部29所等单位也相继在多传感器信息融合方面开始进行研究,并在机器人研究等方面取得了一些成果。
总的说来,虽然从八十年代以来信息融合理论的研究已经提出有关理论并有很大发展,但由于受到传统计算理论和方法的困扰,对非平衡复杂环境下的多传感器多目标信息融合这一难题还没有很好解决,其主要原因是目标机动特性的非重复性、环境和杂波的强烈随机性、目标量测的高度模糊性、先验信息的有限利用、有限的数据库和知识库构造经验以及计算负荷存在的严重组合爆炸现象等,这些均向现代多传感器信息融合系统提出了严峻的挑战。
传统的信息处理、统计检测和人工智能等方法已经不能获得IIF问题的完整解。如果环境和目标以已知的有限形式变化时,基于规则的专家系统方法可能有效,但是目前的人工智能系统,由于对某些假设具有较大的灵敏性,常常表现出脆弱的鲁棒性能,尤其当环境和目标以未知的形式变化时,传统方法已经显得无能为力,迫切需要发展新的理论和工具。
发明内容:
本发明的目的在于针对现有技术的不足,提供一种新的多传感器多目标信息融合方法,系统地利用多传感器的信息进行决策,将各个阶段的信息融合在一起,以提高测量、估计或决策的可靠性。
为实现这样的目的,本发明所提出的多传感器多目标信息融合方法,包括四个步骤内容:检测信息融合、状态信息融合、特征信息融合和决策信息融合。1.检测信息融合
在各个分布式传感器的局部检测中,由不同检测器对目标源检测并各自进行同类传感器之间的融合,除获得判决结果外,同时提供此次判决的置信度,共同组成判决数据结构,信息融合中心采用D-S推理算法对各类不同检测融合结果作进一步融合,并将上一个时刻融合中心的决策结果反馈给融合中心与下一时刻的局部检测结果进行时间和空间融合,从而实现不同传感器检测融合;2.状态信息融合
综合利用主动传感器对多目标的距离信息和被动传感器的高精度方位信息,形成类主动被动式状态跟踪,多目标跟踪模块在对其跟踪处理后将滤波值传给信息融合中心,由信息融合中心基于神经网络和模糊神经网络分别进行分布多传感器融合方法对多目标状态信息进行融合,从而为主被动传感器的状态信息融合提供了一种可行的方法。3.特征信息融合
采用了分布式时空融合结构,基于模糊神经网络对多传感器量测信息、环境信息和专家语言信息进行综合,其结果为特征信息融合各传感器判决结果的加权系数,依据各传感器的量测和加权系数首先进行时间序列上的特征融合,再根据各传感器的时间信息融合结果进行空间融合,实现特征信息的稳健融合;4.决策信息融合
根据系统效能建立系统的性能指标,针对某时刻各传感器所获得的信息,首先进行相关信息预处理,即根据先验信息选取与决策融合相关的集合,然后作为神经网络的输入,神经网络则根据其网络结构输出一个决策值,基于这个决策值,模拟任务平台的行为,内容涉及威胁判断、角色确定和机动控制等,同时计算系统效能,并反馈给神经网络,神经网络根据反馈进行网络训练,直至效能达到最大,得到的神经网络结构为最优决策准则。
本发明在研究基于联接机制的多传感器智能信息融合机理的基础上,建立了分布式集成化多传感器信息融合理论体系,极大的扩大传感器的覆盖范围。在检测方面可提高系统的探测概率、降低虚警概率,在状态估计方面可提高系统的估计精度以及估计的稳健性,在目标识别方面可提高识别的正确概率,在决策方面提供一个更加合理可行的决策算法,从而为现代多传感器系统提供更先进的智能技术。
由于多传感器信息融合的巨大效能,它在许多方面都找到了应用领域,如目标检测、战术警告和防御系统、机器人、遥感、组合导航与复合制导、制造系统、设备监控以及疾病诊断等。这些系统所共有的特点是系统所处的环境具有很强的不确定性,并且系统通过多类传感器得到大量不同的信息数据。在这种情况下,对于充分利用各类信息,提高系统性能,本发明的信息融合方法将起到很重要的作用。
需要特别指出,IIF技术已成为现代多传感器系统向高度集成化、自动化和智能化发展的一个重要方向,是现代智能信息处理系统的重要处理部分和应用基础。因此,研究并应用IIF理论和方法,对改进和提高现代电子信息系统的整体技术性能,必将发挥重大作用。
附图说明:
图1为本发明多传感器多目标信息融合整体结构示意图。
如图1所示,针对环境信息,不同分布的传感器首先进行对环境进行检测以检测目标的存在。检测信息融合系统针对各传感器的检测结果进行融合以决定是否是目标。如果是目标,则分别进行状态跟踪和特征提取。状态信息融合系统和特征信息融合系统分别就各传感器的跟踪状态和基于特征矢量的识别结果进行融合,进而得到相对精确的状态参数和准确的识别结果。决策信息融合系统则针对上述多目标参数,考虑环境信息的影响,进行整体系统的决策融合,从而为下一步行动提供有利的决策。
图2为本发明的检测信息融合系统结构示意图。
如图2所示,检测信息融合系统包括分布式传感器和融合中心两部分。首先m类不同检测器某一时刻对目标源检测并各自进行同类传感器之间的融合获得判决结果和可信度。信息融合中心采用D-S推理算法对m类不同检测融合结果作更进一步的融合,同时将前一时刻的融合结果反馈回来,再进行下一时刻时间上的融合。这种时空融合结构不仅适合于不同类传感器之间的融合而且将大大保证检测融合结果的正确性。
图3为本发明状态信息融合系统结构示意图。
如图3所示,状态信息融合系统包括主动传感器目标跟踪、被动传感器目标跟踪和串并联状态信息融合三部分。主动传感器对多目标进行距离和俯仰、方位测量。被动传感器对同样的目标进行俯仰和方位的测量。多目标跟踪模块在对其跟踪处理后将滤波值传给信息融合中心,信息融合中心基于串并联结构对距离、俯仰和方位信息进行融合。这样既可为后续的系统提供距离信息,又可提供高精度的俯仰和方位信息。
图4为本发明的特征信息融合系统结构示意图。
如图4所示,本发明采用基于D-S推理方法和模糊神经网络分布式多传感器智能特征信息融合结构,此结构利用多传感器量测信息、环境信息和专家语言信息进行智能时空信息融合。首先环境传感器通过模糊神经网络将环境加权信息提供作为各传感器量测的加权系数。依据各传感器的量测和加权系数首先进行时间序列上的特征融合,空间信息融合根据各传感器的时间信息融合结果进行空间融合。它主要有两个特点:其一是利用模糊神经网络技术把系统环境信息和专家语言信息引入融合系统,使系统能够利用环境信息和专家知识,以提高系统的抗干扰能力,增强系统容错能力。例如,当环境发生变化时,某传感器的性能急剧下降;或者由于某种原因,而使某传感器发生故障时,融合系统就可以利用环境信息和专家语言信息通过模糊神经网络修正各个传感器的修正系数,通过这种方法来有选择地利用各个传感器的信息,以使融合系统具有更强的抗干扰能力和容错能力。其二是采用了分布式时空融合结构,即对每一个量测传感器的量测信息首先进行时间融合,然后再把每个传感器的时间融合结果再次进行空间融合。这种结构把融合计算分布在各个结点上,有效地提高了整个融合系统的计算速度,并且增强了系统的鲁棒性。
图5为本发明的决策信息融合系统结构示意图。
如图5所示,决策信息融合系统包括信息预处理、神经网络融合、任务完成平台以及效能计算。针对某时刻各传感器所获得的信息,首先进行相关信息预处理,即根据先验信息选取与决策融合相关的集合,然后作为神经网络的输入,神经网络则根据其网络结构输出一个决策值,基于这个决策值,模拟任务平台的行为,注意此时双方进行动态对策,不失一般性假设双方均进行最优对策。同时计算系统效能,并反馈给神经网络,神经网络根据反馈进行网络训练,直至效能达到最大。此时神经网络的网络结构便为最终决策准则。
图6为本发明实施例航空综合火控系统结构示意图。
如图6所示,测量传感器将测得的目标和本机位置、姿态送入火控系统,从而计算出瞄准误差,相对几何关系模型计算输出目标相对于飞机的运动状态,馈给火控系统,还计算跟踪误差并输出给驾驶员判断一这里用开火逻辑;指导驾驶员通过操纵机构操纵飞机减少瞄准误差,直至满足武器系统开火条件,实现对敌攻击。效能用于对此次空战进行评定。
图7航空电子综合火控系统仿真流程图
图7为图6的细化结果。
图8为攻击机和目标三维空间运动轨迹示意图。
图8中给出了对目标进行测量滤波,进而进行攻击的1∶2的空战过程轨迹示意图。攻击机能很好地跟踪并完成对两目标的攻击,此次仿真成功地完成了对目标攻击任务。在t=154秒后,目标1进入攻击机的导弹非逃避区被击毁,击毁概率为0.6,即目标1的生存概率减至0.4。
具体实施方式
以下为本发明应用于航空综合火控系统的一个实施例。
航空电子综合火控系统仿真结构:
航空综合火控系统涉及范围很广,不仅包括敌我两机信息,火控工作方式的计算,飞行员的训练程度,还涉及到飞机的飞行品质及操纵性能等。因此,它是一个复杂的大系统,主要包括:机载雷达跟踪系统、火控系统、惯导及大气机、驾驶员一操纵系统和机载武器系统等,其原理结构图如图5所示。这些模型的差别很大,有较简单的相对几何模型,也有用微分方程(线性与非线性)所建立的模型。对这样一个复杂系统的各子系统模型进行有效的组织管理和测试,以及最后使之成为可靠运行的综合系统的模型,提高整个综合系统最基本的子模型的运算精度和运行速度不失为一种有效的方法。
具体融合过程为:1.检测融合
首先利用D-S进行证据合成,即
Figure A0213609800091
其中
Figure A0213609800092
它表达了两条证据间的冲突性信息。在得到基本概率分配函数的基础上,可以得到每一个命题的确信函数和可能函数。把此过程在时间和空间上反复使用便可以得到相应的时间和空间融合结果。2.状态融合
主动传感器采用“当前”统计模型及自适应算法对其量测x1=[RΛx1Λy1]进行滤波,得 x ^ 1 = [ R ^ Λ ^ x 1 Λ ^ y 1 ]
Figure A0213609800094
和被动传感器的量测x2=[Λx2Λy2]一起输给串联状态信息融合系统进行融合。具体而言:①构造距离通道残差 的滤波方程,从而对残差进行二次滤波以提高距离估计精度。②利用残差二次滤波后的距离通道值建立角通道的当前统计模型,采用自适应算法对x2进行滤波。通过令 x ^ 1 = [ Λ ^ x 1 Λ ^ y 1 ] 作为x2滤波的预测值,从而保证角通道滤波的精度和可靠度。所以,串联状态信息融合系统输出为:距离通道 角通道
Figure A0213609800098
x2。每个传感器分别处理其量测后并送给融合节点处理。融合节点融合处理后将结果反馈给每个传感器。
(1)距离通道采用串联状态信息融合的残差滤波算法。
(2)角通道采用下列状态信息融合算法。
根据JPDA,传感器i对目标t的估计为: x ^ k / k i , t = E { x k t | z i , k } = Σ j = 0 m k x ^ k / k , j i , t β k , j i , t . 其中: x ^ k / k , j i , t = x ^ k / k - 1 i , t + W k i , t ( z k , j i - H k i x ^ k / k - 1 i , t ) . = p k / k - 1 i , t k i , t H k i T [ H k i p k / k - 1 i , t H k i T + R k i ] - 1 . p k / k i , t = β k , 0 i , t p k / k - 1 i , t + Σ j = 0 m k β k , j i , t p k / k , j i , t + Σ j = 0 m k β k , j i , t [ x k / k , j i , t x k / k , j i , t T - x ^ k / k , j i , t x ^ k / k , j i , t T ] β k , j l , t = p { θ k , j i , t | z i , k } = 1 c Σ θ k l , t · · Σ θ k i , t · · Σ θ k s , t P { θ k l | Z l , k , Y l , k } · · P { θ k i | Z i , k , Y i , k } · · P { θ k s | Z s , k , Y s , k } γ ( θ k l · · θ k t · · θ k s ) P { θ k i | Z i , k , Y i , k } = 1 c 1 ( p 0 ) min ( n , m ) - m 0 Π j : w j , t = 1 p i j , t
ma为在此可行事件 中所检测到的目标数。
Figure A0213609800105
P 0 i , t = λ ( 1 - p D ) = P 0 其中λ为杂波密度,PD为检测概率。 γ ( θ k 1 , θ k 2 ) = Π j = 1 T { ( det P k / k - 1 t j ) 1 / 2 ( det S k t j ) 1 / 2 ( det P k 1 i , t j ) 1 / 2 ( det P k 2 , t j ) 1 / 2 exp ( - 1 2 ) [ x ^ k 1 , t j T P k 1 , t j - 1 x ^ k 1 , t j + x ^ k 2 , t j T P k 2 , t j - 1 x ^ k 2 , t j - x ^ k / k - 1 t j T P k / k - 1 t j - 1 x ^ k / k - 1 t j - x ^ k t j T S k t j - 1 x ^ k t j ] } S k t j = [ P k 1 , t j - 1 + P k 2 , t j - 1 - P k / k - 1 t j - 1 ] - 1 x ^ k t j = S k t j [ P k 1 , t j - 1 x ^ k 1 , t j + P k 2 , t j - 1 x ^ k 2 , t j - P k / k - 1 t j - 1 x ^ k / k - 1 t j ]
Figure A02136098001011
最后融合估计为: x ^ k / k t = Σ j = 0 m k 1 Σ l = 0 m k 2 x ^ k / k , j , l t β k , j , l t P k / k t = β k , 0,0 t P k / k - 1 t + Σ j = 0 l = 0 m k 1 Σ j = l ≠ 0 m k 2 β k , j , l t P k / k , j , l t + Σ j = 0 m k 1 Σ l = 0 m k 2 β k , j , l t [ x ^ k / k , j , l t x ^ k / k , j , l t T - x ^ k / k t x ^ k / k t T ] 融合估计的联合假设事件总数为: N = Π i = 1 S Π t = 1 T m k i
其中 为传感器的有效回波,i=0,1..,S为分布式系统的传感器个数,t=1,2,..,T为目标个数。3.特征融合
融合系统首先从环境传感器得到环境信息Xe=(x1,x2,…,xn),主要包括两项目标至传感器的距离和当时的天气状况。另外系统还要得到语言信息Xv=(x1,x2,…,xn),主要包括指挥员根据当时情况对每个传感器的信任程度。把两类信息组合在一起规一化后,便得到一新的向量XI=(x1,x2,x3),此向量即作为模糊神经网络的输入,网络把输入的各向量映射为各传感器的修正系数k1,k2,…,kn
另外,系统从多个量测传感器得到多个量测信息Is1,Is2,…,Isn,其中,任一量测信息Ii都由两部分组成:量测命题Si和量测命题Si的置信值mi。对量测信息Ii修正就是对量测命题Si的置信值mi的修正,可用 m i ′ = m i × k i 计算,然后,对M=(m1,m2,…,mn)一组传感器同时得到的信息进行规一化,就得到了修正后的量测信息
Figure A0213609800112
,进而采用D-S推理进行证据合成。随着递推步数的增加,某一命题A支持性概率Bel和可能性概率Pl满足下式时,系统便可做出特征融合决策。
                Bel(A)=Pls(A)>Pt式中Pt为决策门限。4.决策融合
首先建立系统效能,它是预期一个系统满足一组特定任务要求的程度的量度,是系统可用性、可信性与固有能力的函数。即系统效能为:E=A·D·C。其中分别代表系统效能、可用度向量、可信度矩阵和固有能力向量。
首先分析并列出决策融合的各影响因子,包括目标位置角评估因子、目标进入角评估因子以及距离评估因子的分析,并将其作为神经网络的输入,输出为态势的评估值。将该评估值纳入整个系统的效能评估中,以寻求最优的系统效能。此时的神经网络权值即为决策融合各影响因子的最优加权系数。仿真结果:
设攻击机p(pursuer)是一架装备有空空导弹的高推重比战斗机,敌机e(evader)是两架企图以高速低空突防的被攻击目标,两类飞机的基本结构参数如表1所示。并设综合系统各参数值为Vmax=555m/s,Kp=1,TN=2,TL=1,ts=0.5,α=0.1;ωr,ωx,ny,μ的值由火控模型计算而得,其中ωx、μ的计算模型在整个仿真时间内不变,ωr,ny的计算公式则按照讨论予以变化,以提高攻击性能,攻击机的操纵原则为矩心操纵。战术空空导弹的开火逻辑为:最大允许攻击范围d=20000m,最大允许瞄准误差δ=1°,最小锁定时间ΔT=5s。
模拟目标1的初始条件为:x=40000m,h=1000m,y=10000m,初速V0=300m/s,俯仰角γ=0°,方位角χ=180°。
模拟目标2的初始条件为:x=40000m,h=1000m,y=8000m,初速V0=300m/s,俯仰角γ=0°,方位角χ=180°
攻击机的初始条件为:x=400m,h=6000m,y=10000m,初速V0=260m/s,俯仰角γ=0°,方位角χ=0°
                表1攻击机和目标的性能参数
本发明针对多目标跟踪与攻击这一背景,按照大系统理论的原则和方法,从控制系统大回路的角度,以作战效能为基础对航空综合火控系统进行全面仿真分析。为了保证系统作战效能的提高,本发明的信息融合方法在综合系统设计、性能评定和产品定型中发挥十分重要的作用,既可对现有飞机的攻击能力作出评价,又可为新型航空综合火控系统的设计提出技术要求,为新一代航空电子综合火控系统及其子系统的顶层设计提供理论依据。

Claims (1)

1、一种多传感器多目标信息融合方法,其特征在于包括以下四个步骤:1)检测信息融合
在各个分布式传感器的局部检测中,由不同检测器对目标源检测并各自进行同类传感器之间的融合,除获得判决结果外,同时提供此次判决的置信度,共同组成判决数据结构,信息融合中心采用D-S推理算法对各类不同检测融合结果作进一步融合,并将上一个时刻融合中心的决策结果反馈给融合中心与下一时刻的局部检测结果进行时间和空间融合,实现不同传感器检测融合;2)状态信息融合
综合利用主动传感器对多目标的距离信息和被动传感器的高精度方位信息形成类主动被动式状态跟踪,多目标跟踪模块在对其跟踪处理后将滤波值传给信息融合中心,由信息融合中心基于神经网络和模糊神经网络分别进行分布多传感器融合方法对多目标状态信息进行融合;3)特征信息融合
采用了分布式时空融合结构,基于模糊神经网络对多传感器量测信息、环境信息和专家语言信息进行综合,其结果为特征信息融合各传感器判决结果的加权系数,依据各传感器的量测和加权系数首先进行时间序列上的特征融合,再根据各传感器的时间信息融合结果进行空间融合,实现特征信息的稳健融合;4)决策信息融合
根据系统效能建立系统的性能指标,针对某时刻各传感器所获得的信息,首先进行相关信息预处理,即根据先验信息选取与决策融合相关的集合,然后作为神经网络的输入,神经网络则根据其网络结构输出一个决策值,基于这个决策值,模拟任务平台的行为,内容涉及威胁判断、角色确定和机动控制等,同时计算系统效能,并反馈给神经网络,神经网络根据反馈进行网络训练,直至效能达到最大,得到的神经网络结构为最优决策准则。
CNB021360987A 2002-07-18 2002-07-18 多传感器多目标信息融合方法 Expired - Fee Related CN1166922C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB021360987A CN1166922C (zh) 2002-07-18 2002-07-18 多传感器多目标信息融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB021360987A CN1166922C (zh) 2002-07-18 2002-07-18 多传感器多目标信息融合方法

Publications (2)

Publication Number Publication Date
CN1389710A true CN1389710A (zh) 2003-01-08
CN1166922C CN1166922C (zh) 2004-09-15

Family

ID=4748493

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB021360987A Expired - Fee Related CN1166922C (zh) 2002-07-18 2002-07-18 多传感器多目标信息融合方法

Country Status (1)

Country Link
CN (1) CN1166922C (zh)

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100359336C (zh) * 2003-11-27 2008-01-02 上海交通大学 基于小波变换的双平台纯角度机动目标融合跟踪方法
CN100359532C (zh) * 2003-05-29 2008-01-02 上海交通大学 多目标图像的分层聚类方法
CN100466010C (zh) * 2007-02-08 2009-03-04 上海交通大学 异类交通信息实时融合方法
CN101110713B (zh) * 2007-09-05 2010-05-19 中国科学院上海微系统与信息技术研究所 基于无线传感器网络体系下的信息融合系统性能测试床系统
CN101394479B (zh) * 2008-09-25 2010-06-16 上海交通大学 基于运动检测结合多通道融合的教师运动跟踪方法
CN101074947B (zh) * 2007-06-27 2010-09-15 江苏大学 两类不同气体传感器阵列组合检测气味的方法和装置
CN101135564B (zh) * 2006-08-29 2010-09-29 国际商业机器公司 确定移动平台的位置的设备和方法
CN101094138B (zh) * 2007-06-15 2010-10-06 武汉大学 基于d-s算法的延长无线传感器网络生命周期的方法
CN101929823A (zh) * 2010-03-09 2010-12-29 成都市猎户座科技有限责任公司 一种空-地反雷达武器精确制导系统
CN101944142A (zh) * 2010-08-24 2011-01-12 中国人民解放军63796部队 航天器飞行参数多源信息最优融合确定方法
CN101968353A (zh) * 2010-09-29 2011-02-09 清华大学 基于激光探测和图像识别的无人直升机地形跟踪方法
WO2011079726A1 (zh) * 2009-12-29 2011-07-07 北京世纪高通科技有限公司 一种交通信息融合处理方法及系统
CN102136088A (zh) * 2011-03-10 2011-07-27 哈尔滨工程大学 一种基于模糊逻辑的同步定位与地图创建数据关联方法
CN102147468A (zh) * 2011-01-07 2011-08-10 西安电子科技大学 基于贝叶斯理论的多传感器检测跟踪联合处理方法
CN102254227A (zh) * 2011-07-06 2011-11-23 无锡泛太科技有限公司 一种物联网多传感器的基于粗糙集的bp神经网络融合的方法
CN102393881A (zh) * 2011-09-08 2012-03-28 杭州微松环境科技有限公司 一种实时多传感温度数据融合的高精度检测方法
CN102393912A (zh) * 2011-11-01 2012-03-28 中国电子科技集团公司第二十八研究所 一种基于不确定推理的目标综合识别方法
CN102411371A (zh) * 2011-11-18 2012-04-11 浙江大学 一种基于多传感器服务机器人跟随系统和方法
CN102589890A (zh) * 2012-03-01 2012-07-18 上海电力学院 基于cpn网络和d-s证据的汽轮机集成故障诊断方法
CN101576604B (zh) * 2009-01-04 2012-10-03 湖南大学 基于异类信息融合的模拟电路故障诊断方法
CN102697497A (zh) * 2010-12-22 2012-10-03 通用电气公司 用于校正软场层析成像中故障状况的系统和方法
CN102866630A (zh) * 2012-10-11 2013-01-09 西北工业大学 基于最大信息量在线辨识准则的飞行器建模方法
CN102867102A (zh) * 2012-10-11 2013-01-09 西北工业大学 基于最大信息量-可信度准则的飞行器建模方法
CN102880909A (zh) * 2011-07-11 2013-01-16 哈尔滨工业大学 高频地波雷达远端航迹起始方法和装置
CN103017771A (zh) * 2012-12-27 2013-04-03 杭州电子科技大学 一种静止传感器平台的多目标联合分配与跟踪方法
CN103557884A (zh) * 2013-09-27 2014-02-05 杭州银江智慧城市技术集团有限公司 一种输电线路杆塔监控的多传感器数据融合预警方法
CN103679746A (zh) * 2012-09-24 2014-03-26 中国航天科工集团第二研究院二O七所 一种基于多信息融合的目标跟踪方法
CN103940430A (zh) * 2014-03-14 2014-07-23 杭州电子科技大学 一种状态受限移动多传感器配置及多目标跟踪方法
CN104236615A (zh) * 2014-10-11 2014-12-24 广东轻工职业技术学院 一种智能传感器自校正方法
CN104616023A (zh) * 2015-02-06 2015-05-13 安徽大学 一种物体轮廓检测识别系统及轮廓识别方法
CN105116392A (zh) * 2015-09-09 2015-12-02 电子科技大学 一种针对ais与主动雷达航迹融合及识别的方法
CN105372087A (zh) * 2015-11-30 2016-03-02 南通大学 基于多传感器信号分析的故障诊断方法
CN105628024A (zh) * 2015-12-29 2016-06-01 中国电子科技集团公司第二十六研究所 基于多传感器融合的单人定位导航器和定位导航方法
CN105823511A (zh) * 2016-03-30 2016-08-03 成都纺织高等专科学校 一种纺织企业环境监测系统及方法
CN105975927A (zh) * 2016-04-29 2016-09-28 中国舰船研究设计中心 一种公务船目标识别系统与方法
CN107092548A (zh) * 2017-04-25 2017-08-25 上海德衡数据科技有限公司 一种基于多核处理器的运维预警防范系统架构
CN107134186A (zh) * 2016-02-29 2017-09-05 九江职业技术学院 带有多模成像功能的控管一体化智能教学终端
CN107271991A (zh) * 2017-05-25 2017-10-20 北京环境特性研究所 一种基于状态估计的光/电传感器目标关联方法
CN107263470A (zh) * 2017-05-26 2017-10-20 吉林大学 基于多传感器信息融合的软抓取机械手控制方法
CN107341087A (zh) * 2017-06-29 2017-11-10 上海德衡数据科技有限公司 一种基于多传感器信息融合的运维预警防范系统架构
CN108027759A (zh) * 2015-09-25 2018-05-11 英特尔公司 传感器生命周期管理系统
CN108052532A (zh) * 2017-11-14 2018-05-18 中国航空工业集团公司西安飞机设计研究所 一种基于fedi架构的分布式态势数据融合系统设计方法
CN108280442A (zh) * 2018-02-10 2018-07-13 西安交通大学 一种基于轨迹匹配的多源目标融合方法
WO2018148574A1 (en) * 2017-02-09 2018-08-16 Google Llc Agent navigation using visual inputs
CN108537278A (zh) * 2018-04-10 2018-09-14 中国人民解放军火箭军工程大学 一种多源信息融合单目标位置确定方法及系统
CN109116349A (zh) * 2018-07-26 2019-01-01 西南电子技术研究所(中国电子科技集团公司第十研究所) 多传感器协同跟踪联合优化决策方法
CN109214432A (zh) * 2018-08-16 2019-01-15 上海交通大学 一种多传感器多目标联合检测、跟踪与分类方法
CN109405827A (zh) * 2018-11-23 2019-03-01 安徽华米信息科技有限公司 终端定位方法及装置
CN109443108A (zh) * 2018-12-10 2019-03-08 哈尔滨工业大学 一种用于导弹打击移动目标的序贯实验设计方法
CN110221590A (zh) * 2019-05-17 2019-09-10 华中科技大学 一种基于判别分析的工业过程多故障诊断方法
CN110567324A (zh) * 2019-09-04 2019-12-13 深圳市唯特视科技有限公司 一种基于ds证据理论的多目标群威胁度预测装置及方法
CN110749322A (zh) * 2019-10-22 2020-02-04 北京航空航天大学 一种基于测速信息的目标跟踪方法
CN110955144A (zh) * 2019-11-27 2020-04-03 中国航空工业集团公司沈阳飞机设计研究所 一种基于时间序列分析的目标发射点预测方法
CN111353510A (zh) * 2018-12-20 2020-06-30 长沙智能驾驶研究院有限公司 多传感器目标检测方法、装置、计算机设备和存储介质
CN111948687A (zh) * 2020-08-07 2020-11-17 上海卫星工程研究所 一种适用于多星编队的分布式多源信息融合系统
CN111989631A (zh) * 2018-04-20 2020-11-24 本田技研工业株式会社 自身位置推定方法
CN112241763A (zh) * 2020-10-19 2021-01-19 中国科学技术大学 多源多模动态信息融合与认知方法及系统
CN113177428A (zh) * 2020-01-27 2021-07-27 通用汽车环球科技运作有限责任公司 用于物体跟踪的实时主动物体融合
CN113484866A (zh) * 2021-07-05 2021-10-08 哈尔滨工程大学 一种基于被动声呐方位历程图的多目标检测跟踪方法
CN114440706A (zh) * 2021-12-30 2022-05-06 中国人民解放军空军研究院系统工程研究所 多传感器分布式协同识别与制导动态规划方法
CN114608589A (zh) * 2022-03-04 2022-06-10 西安邮电大学 一种多传感器信息融合方法及系统
WO2023082255A1 (zh) * 2021-11-15 2023-05-19 深圳市大疆创新科技有限公司 无人飞行器的控制方法、无人飞行器及存储介质

Cited By (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100359532C (zh) * 2003-05-29 2008-01-02 上海交通大学 多目标图像的分层聚类方法
CN100359336C (zh) * 2003-11-27 2008-01-02 上海交通大学 基于小波变换的双平台纯角度机动目标融合跟踪方法
CN101135564B (zh) * 2006-08-29 2010-09-29 国际商业机器公司 确定移动平台的位置的设备和方法
CN100466010C (zh) * 2007-02-08 2009-03-04 上海交通大学 异类交通信息实时融合方法
CN101094138B (zh) * 2007-06-15 2010-10-06 武汉大学 基于d-s算法的延长无线传感器网络生命周期的方法
CN101074947B (zh) * 2007-06-27 2010-09-15 江苏大学 两类不同气体传感器阵列组合检测气味的方法和装置
CN101110713B (zh) * 2007-09-05 2010-05-19 中国科学院上海微系统与信息技术研究所 基于无线传感器网络体系下的信息融合系统性能测试床系统
CN101394479B (zh) * 2008-09-25 2010-06-16 上海交通大学 基于运动检测结合多通道融合的教师运动跟踪方法
CN101576604B (zh) * 2009-01-04 2012-10-03 湖南大学 基于异类信息融合的模拟电路故障诊断方法
WO2011079726A1 (zh) * 2009-12-29 2011-07-07 北京世纪高通科技有限公司 一种交通信息融合处理方法及系统
CN101929823A (zh) * 2010-03-09 2010-12-29 成都市猎户座科技有限责任公司 一种空-地反雷达武器精确制导系统
CN101929823B (zh) * 2010-03-09 2013-01-02 成都市猎户座科技有限责任公司 一种空-地反雷达武器精确制导系统
CN101944142A (zh) * 2010-08-24 2011-01-12 中国人民解放军63796部队 航天器飞行参数多源信息最优融合确定方法
CN101968353A (zh) * 2010-09-29 2011-02-09 清华大学 基于激光探测和图像识别的无人直升机地形跟踪方法
CN102697497A (zh) * 2010-12-22 2012-10-03 通用电气公司 用于校正软场层析成像中故障状况的系统和方法
CN102147468A (zh) * 2011-01-07 2011-08-10 西安电子科技大学 基于贝叶斯理论的多传感器检测跟踪联合处理方法
CN102147468B (zh) * 2011-01-07 2013-02-27 西安电子科技大学 基于贝叶斯理论的多传感器检测跟踪联合处理方法
CN102136088A (zh) * 2011-03-10 2011-07-27 哈尔滨工程大学 一种基于模糊逻辑的同步定位与地图创建数据关联方法
CN102136088B (zh) * 2011-03-10 2014-01-08 哈尔滨工程大学 一种基于模糊逻辑的同步定位与地图创建数据关联方法
CN102254227A (zh) * 2011-07-06 2011-11-23 无锡泛太科技有限公司 一种物联网多传感器的基于粗糙集的bp神经网络融合的方法
CN102880909A (zh) * 2011-07-11 2013-01-16 哈尔滨工业大学 高频地波雷达远端航迹起始方法和装置
CN102880909B (zh) * 2011-07-11 2015-11-25 哈尔滨工业大学 高频地波雷达远端航迹起始方法和装置
CN102393881A (zh) * 2011-09-08 2012-03-28 杭州微松环境科技有限公司 一种实时多传感温度数据融合的高精度检测方法
CN102393881B (zh) * 2011-09-08 2015-12-09 杭州微松环境科技有限公司 一种实时多传感温度数据融合的高精度检测方法
CN102393912B (zh) * 2011-11-01 2013-08-21 中国电子科技集团公司第二十八研究所 一种基于不确定推理的目标综合识别方法
CN102393912A (zh) * 2011-11-01 2012-03-28 中国电子科技集团公司第二十八研究所 一种基于不确定推理的目标综合识别方法
CN102411371A (zh) * 2011-11-18 2012-04-11 浙江大学 一种基于多传感器服务机器人跟随系统和方法
CN102589890A (zh) * 2012-03-01 2012-07-18 上海电力学院 基于cpn网络和d-s证据的汽轮机集成故障诊断方法
CN103679746A (zh) * 2012-09-24 2014-03-26 中国航天科工集团第二研究院二O七所 一种基于多信息融合的目标跟踪方法
CN103679746B (zh) * 2012-09-24 2016-08-31 中国航天科工集团第二研究院二O七所 一种基于多信息融合的目标跟踪方法
CN102866630B (zh) * 2012-10-11 2015-03-18 西北工业大学 基于最大信息量在线辨识准则的飞行器建模方法
CN102867102B (zh) * 2012-10-11 2014-08-20 西北工业大学 基于最大信息量-可信度准则的飞行器建模方法
CN102866630A (zh) * 2012-10-11 2013-01-09 西北工业大学 基于最大信息量在线辨识准则的飞行器建模方法
CN102867102A (zh) * 2012-10-11 2013-01-09 西北工业大学 基于最大信息量-可信度准则的飞行器建模方法
CN103017771B (zh) * 2012-12-27 2015-06-17 杭州电子科技大学 一种静止传感器平台的多目标联合分配与跟踪方法
CN103017771A (zh) * 2012-12-27 2013-04-03 杭州电子科技大学 一种静止传感器平台的多目标联合分配与跟踪方法
CN103557884B (zh) * 2013-09-27 2016-06-29 杭州银江智慧城市技术集团有限公司 一种输电线路杆塔监控的多传感器数据融合预警方法
CN103557884A (zh) * 2013-09-27 2014-02-05 杭州银江智慧城市技术集团有限公司 一种输电线路杆塔监控的多传感器数据融合预警方法
CN103940430A (zh) * 2014-03-14 2014-07-23 杭州电子科技大学 一种状态受限移动多传感器配置及多目标跟踪方法
CN104236615A (zh) * 2014-10-11 2014-12-24 广东轻工职业技术学院 一种智能传感器自校正方法
CN104616023A (zh) * 2015-02-06 2015-05-13 安徽大学 一种物体轮廓检测识别系统及轮廓识别方法
CN105116392A (zh) * 2015-09-09 2015-12-02 电子科技大学 一种针对ais与主动雷达航迹融合及识别的方法
CN108027759A (zh) * 2015-09-25 2018-05-11 英特尔公司 传感器生命周期管理系统
CN108027759B (zh) * 2015-09-25 2022-05-03 英特尔公司 传感器生命周期管理系统
CN105372087A (zh) * 2015-11-30 2016-03-02 南通大学 基于多传感器信号分析的故障诊断方法
CN105628024A (zh) * 2015-12-29 2016-06-01 中国电子科技集团公司第二十六研究所 基于多传感器融合的单人定位导航器和定位导航方法
CN105628024B (zh) * 2015-12-29 2018-09-04 中国电子科技集团公司第二十六研究所 基于多传感器融合的单人定位导航器和定位导航方法
CN107134186A (zh) * 2016-02-29 2017-09-05 九江职业技术学院 带有多模成像功能的控管一体化智能教学终端
CN105823511A (zh) * 2016-03-30 2016-08-03 成都纺织高等专科学校 一种纺织企业环境监测系统及方法
CN105975927A (zh) * 2016-04-29 2016-09-28 中国舰船研究设计中心 一种公务船目标识别系统与方法
US11010948B2 (en) 2017-02-09 2021-05-18 Google Llc Agent navigation using visual inputs
WO2018148574A1 (en) * 2017-02-09 2018-08-16 Google Llc Agent navigation using visual inputs
CN107092548A (zh) * 2017-04-25 2017-08-25 上海德衡数据科技有限公司 一种基于多核处理器的运维预警防范系统架构
CN107271991A (zh) * 2017-05-25 2017-10-20 北京环境特性研究所 一种基于状态估计的光/电传感器目标关联方法
CN107271991B (zh) * 2017-05-25 2019-05-24 北京环境特性研究所 一种基于状态估计的光/电传感器目标关联方法
CN107263470B (zh) * 2017-05-26 2019-10-01 吉林大学 基于多传感器信息融合的软抓取机械手控制方法
CN107263470A (zh) * 2017-05-26 2017-10-20 吉林大学 基于多传感器信息融合的软抓取机械手控制方法
CN107341087A (zh) * 2017-06-29 2017-11-10 上海德衡数据科技有限公司 一种基于多传感器信息融合的运维预警防范系统架构
CN108052532A (zh) * 2017-11-14 2018-05-18 中国航空工业集团公司西安飞机设计研究所 一种基于fedi架构的分布式态势数据融合系统设计方法
CN108052532B (zh) * 2017-11-14 2021-03-30 中国航空工业集团公司西安飞机设计研究所 一种基于fedi架构的分布式态势数据融合系统设计方法
CN108280442B (zh) * 2018-02-10 2020-07-28 西安交通大学 一种基于轨迹匹配的多源目标融合方法
CN108280442A (zh) * 2018-02-10 2018-07-13 西安交通大学 一种基于轨迹匹配的多源目标融合方法
CN108537278B (zh) * 2018-04-10 2019-07-16 中国人民解放军火箭军工程大学 一种多源信息融合单目标位置确定方法及系统
CN108537278A (zh) * 2018-04-10 2018-09-14 中国人民解放军火箭军工程大学 一种多源信息融合单目标位置确定方法及系统
CN111989631A (zh) * 2018-04-20 2020-11-24 本田技研工业株式会社 自身位置推定方法
CN109116349B (zh) * 2018-07-26 2022-12-13 西南电子技术研究所(中国电子科技集团公司第十研究所) 多传感器协同跟踪联合优化决策方法
CN109116349A (zh) * 2018-07-26 2019-01-01 西南电子技术研究所(中国电子科技集团公司第十研究所) 多传感器协同跟踪联合优化决策方法
CN109214432A (zh) * 2018-08-16 2019-01-15 上海交通大学 一种多传感器多目标联合检测、跟踪与分类方法
CN109405827A (zh) * 2018-11-23 2019-03-01 安徽华米信息科技有限公司 终端定位方法及装置
CN109443108A (zh) * 2018-12-10 2019-03-08 哈尔滨工业大学 一种用于导弹打击移动目标的序贯实验设计方法
CN111353510A (zh) * 2018-12-20 2020-06-30 长沙智能驾驶研究院有限公司 多传感器目标检测方法、装置、计算机设备和存储介质
CN110221590B (zh) * 2019-05-17 2021-06-11 华中科技大学 一种基于判别分析的工业过程多故障诊断方法
CN110221590A (zh) * 2019-05-17 2019-09-10 华中科技大学 一种基于判别分析的工业过程多故障诊断方法
CN110567324A (zh) * 2019-09-04 2019-12-13 深圳市唯特视科技有限公司 一种基于ds证据理论的多目标群威胁度预测装置及方法
CN110749322B (zh) * 2019-10-22 2021-05-14 北京航空航天大学 一种基于测速信息的目标跟踪方法
CN110749322A (zh) * 2019-10-22 2020-02-04 北京航空航天大学 一种基于测速信息的目标跟踪方法
CN110955144A (zh) * 2019-11-27 2020-04-03 中国航空工业集团公司沈阳飞机设计研究所 一种基于时间序列分析的目标发射点预测方法
CN110955144B (zh) * 2019-11-27 2022-10-28 中国航空工业集团公司沈阳飞机设计研究所 一种基于时间序列分析的目标发射点预测方法
CN113177428A (zh) * 2020-01-27 2021-07-27 通用汽车环球科技运作有限责任公司 用于物体跟踪的实时主动物体融合
CN111948687A (zh) * 2020-08-07 2020-11-17 上海卫星工程研究所 一种适用于多星编队的分布式多源信息融合系统
CN111948687B (zh) * 2020-08-07 2024-04-23 上海卫星工程研究所 一种适用于多星编队的分布式多源信息融合系统
CN112241763A (zh) * 2020-10-19 2021-01-19 中国科学技术大学 多源多模动态信息融合与认知方法及系统
CN113484866A (zh) * 2021-07-05 2021-10-08 哈尔滨工程大学 一种基于被动声呐方位历程图的多目标检测跟踪方法
CN113484866B (zh) * 2021-07-05 2022-04-29 哈尔滨工程大学 一种基于被动声呐方位历程图的多目标检测跟踪方法
WO2023082255A1 (zh) * 2021-11-15 2023-05-19 深圳市大疆创新科技有限公司 无人飞行器的控制方法、无人飞行器及存储介质
CN114440706A (zh) * 2021-12-30 2022-05-06 中国人民解放军空军研究院系统工程研究所 多传感器分布式协同识别与制导动态规划方法
CN114440706B (zh) * 2021-12-30 2024-06-04 中国人民解放军空军研究院系统工程研究所 多传感器分布式协同识别与制导动态规划方法
CN114608589A (zh) * 2022-03-04 2022-06-10 西安邮电大学 一种多传感器信息融合方法及系统

Also Published As

Publication number Publication date
CN1166922C (zh) 2004-09-15

Similar Documents

Publication Publication Date Title
CN1166922C (zh) 多传感器多目标信息融合方法
US12072705B2 (en) Intelligent decision-making method and system for unmanned surface vehicle
CN101697006B (zh) 基于机载雷达和红外成像传感器数据融合的目标识别方法
CN104007426B (zh) 一种基于lse(最小方差估计)的ads与雷达信息系统误差配准算法
CN109960148B (zh) 一种智能无人系统的自主性评估方法及系统
CN113505686B (zh) 一种无人机目标威胁评估方法及装置
CN101893441A (zh) 基于离差最大化及灰色关联分析的无人机航迹优选方法
CN102997911A (zh) 一种被动传感器组网探测多目标方法
CN107340514A (zh) 三维空间中高超声速弱目标rae‑ht‑tbd积累检测方法
CN103810382A (zh) 机载分布式多传感器两级数据融合策略选择方法
CN110826891B (zh) 一种基于船舶集群态势的相对碰撞危险度获取方法
Haiwen et al. Threat evaluation method of warships formation air defense based on AR (p)-DITOPSIS
CN104008403A (zh) 一种svm(矢量机)模式的多目标识别判定方法
Long et al. Object detection research of SAR image using improved faster region-based convolutional neural network
CN113702940B (zh) 基于多元特征信息分层融合空间集群目标分辨方法及应用
CN114740467B (zh) 基于幅度点迹的集群目标跟踪及数量、轮廓动态估计方法
CN116051960A (zh) 基于深度学习的无人机群飞行行为识别方法
Han et al. A unified anomaly detection methodology for lane-following of autonomous driving systems
Yang et al. Study on the trajectory positioning and prediction framework of unmanned aerial vehicle based on long short-term memory neural network
CN114636981A (zh) 基于雷达回波的在线深度学习台风中心定位系统
Ziyan et al. The research of electronic countermeasure intelligence correlation analysis based on machine learning
Ji et al. Research on simulation experiment of underwater cluster multi-source information fusion
Minghua et al. Rough Set Neural Network Evaluation Method for UAV Reconnaissance Effectiveness
CN118425992B (zh) 一种适于轨道交通列车的卫星导航欺骗干扰评估方法和系统
Sheng et al. Target Threat Assessment in Air Combat with BP Neural Network for UAV

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee