CN112305915B - Tsk迭代回归模型的标签多伯努利多目标跟踪方法及系统 - Google Patents

Tsk迭代回归模型的标签多伯努利多目标跟踪方法及系统 Download PDF

Info

Publication number
CN112305915B
CN112305915B CN202011176993.XA CN202011176993A CN112305915B CN 112305915 B CN112305915 B CN 112305915B CN 202011176993 A CN202011176993 A CN 202011176993A CN 112305915 B CN112305915 B CN 112305915B
Authority
CN
China
Prior art keywords
target
label
bernoulli
model
tsk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011176993.XA
Other languages
English (en)
Other versions
CN112305915A (zh
Inventor
李良群
王小梨
谢维信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011176993.XA priority Critical patent/CN112305915B/zh
Publication of CN112305915A publication Critical patent/CN112305915A/zh
Application granted granted Critical
Publication of CN112305915B publication Critical patent/CN112305915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/0275Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using fuzzy logic only
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12Target-seeking control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种TSK迭代回归模型的标签多伯努利多目标跟踪方法及系统,针对目标动态模型的不确定性建模问题,提出采用空间约束信息构建TSK模糊模型,其中空间特征信息用多个语义模糊集表示,得到了一个通用的TSK迭代回归模型框架,以较高的精度逼近动态模型,对目标的状态进行扩维引入模型信息,以此将多模型思想融入标签多伯努利办法的框架中,借助TSK迭代回归模型构建符合目标运动特性的精确模型,能够有效提高转弯率未知情况下目标状态滤波精度,解决了强机动多目标跟踪过程中目标数目估计有偏以及数据关联困难的问题。

Description

TSK迭代回归模型的标签多伯努利多目标跟踪方法及系统
技术领域
本发明涉及轨迹跟踪技术领域,具体涉及一种TSK迭代回归模型的标签多伯努利多目标跟踪方法及系统。
背景技术
传统的多目标跟踪算法主要是先通过数据关联技术对观测数据与目标进行配对,再通过相关的滤波技术对目标进行状态估计并实时跟踪。信息融合领域中典型的数据关联方法有最近邻(Nearest Neighbor,NN)、联合概率数据互联(Joint Probabilistic DataAssociation,JPDA)等方法,但这些相关方法通常的做法是假定目标的数目恒定且已知,而该条件在实际的应用系统中通常难以满足,另一种常用的数据关联算法是多假设跟踪(Multiple Hypothesis Tracking,MHT),但该方法在实际的应用中,要完成观测数据与目标之间的配对非常困难,可见采用数据关联技术应用于多目标跟踪中,其实际的效果并不理想。随着科学技术的飞速发展以及现代战争环境的日益复杂,运动目标的机动性能越发复杂多变,人们对机动目标的跟踪性能要求日益增高。传统的基于数据关联的多机动目标跟踪算法在实际应用中受到了阻碍。
近年来,已有文献提出了基于多模型算法和RFS滤波器的多机动目标跟踪算法,由于PHD/CPHD、MeMber/CBMeMber固有的局限性,此类算法在低信噪比探测环境下性能严重下降,这些算法均是假设目标机动情况已知且弱机动情况下执行的,且这些办法中模型数量是固定不变的,当目标的机动复杂多样且未知时,算法的性能将受到很大的影响,已存在的这些算法已无法满足机动性带来的需求。
发明内容
因此,本发明要解决的技术问题在于克服现有技术中强机动多目标跟踪过程中目标数目估计有偏以及数据关联困难的缺陷,从而提供一种TSK迭代回归模型的标签多伯努利多目标跟踪方法及系统。
为达到上述目的,本发明提供如下技术方案:
第一方面,本发明实施例提供一种TSK迭代回归模型的标签多伯努利多目标跟踪方法,包括如下步骤:
在预测阶段,建立TSK迭代回归模型的标签多伯努利多目标跟踪估计器,基于跟踪计器计算目标在预设规则下的预测状态及在该状态下对应的协方差;
根据预设时刻跟踪目标对应标签多伯努利随机集的概率参数和空间分布,计算其后验密度,并根据预设时刻跟踪目标对应标签多伯努利随机集的后验密度及预设规则下的预测状态的协方差得到预测后的后验密度;
在更新阶段,利用遗忘因子最小二乘估计得到对应模型下的后件估计结果,然后通过模糊期望最大化前件辨识方法得到前件参数对应的隶属度函数,再根据对应的隶属度函数得到每条模型的权重,最后根据得到的权重对后件估计结果进行加权融合;根据更新的后件估计结果,得到更新后的标签多伯努利的后验分布;
通过轨迹剪裁去掉存在概率小于预设阈值的假设事件,构成新的假设事件空间代替原假设事件空间;舍弃无用的轨迹标签后,得到新的近似的多伯努利后验概率密度函数;
根据更新后的目标假设事件中的关联对信息和标签信息提取相应的轨迹,实现对目标轨迹的管理。
在一实施例中,所述建立TSK迭代回归模型的标签多伯努利多目标跟踪估计器的过程,包括:
对目标状态进行扩展m=(x,l,n),其中x为原始目标的状态,l为目标的标签,n为目标的运动模型,扩展后的标签多伯努利分布π为:
π={(r(l),p(l)(x,n))}l∈L
其中p(l)(x,n)=p(l)(x|n)p(l)(n),p(l)(n)表示轨迹l在模型n情况下的概率,p(l)(x|n)表示在轨迹l在模型n情况下的空间分布函数,r(l)表示标签多伯努利随机集的概率参数;
标签多伯努利多目标跟踪估计器的预测标签多伯努利随机集表示如下:
Figure GDA0003813898160000031
其中:
Figure GDA0003813898160000041
Figure GDA0003813898160000042
Figure GDA0003813898160000043
包含TSK迭代回归模型信息的状态转移方程为:
Figure GDA0003813898160000044
其中,k表示时刻,j表示存在目标,B表示新生目标对应的空间集合,Lk为标签空间,p(nk+1|nk)为模型转移概率函数,
Figure GDA0003813898160000045
为状态转移函数,
Figure GDA0003813898160000046
表示目标的生存概率。
在一实施例中,目标j在规则i的状态m和协方差估计P如以下公式所示,其中
Figure GDA0003813898160000047
为状态转移矩阵,
Figure GDA0003813898160000048
为过程噪声协方差:
Figure GDA0003813898160000049
Figure GDA00038138981600000410
假设k时刻多目标的状态空间为Xk,标签空间为Lk,预测状态集Xk+1|k是由生存目标和新生目标组成,则预测标签空间为Lk+1|k=Lk∪Bk+1,Lk∩Bk+1≠Φ,若k时刻标签多伯努利随机集的概率参数和空间分布分别为
Figure GDA00038138981600000411
Figure GDA00038138981600000412
则它的后验密度为:
Figure GDA0003813898160000051
预测后的后验密度为:
Figure GDA0003813898160000052
其中:
Figure GDA0003813898160000053
Figure GDA0003813898160000054
Figure GDA0003813898160000055
Figure GDA0003813898160000056
对于k+1时刻的标签Ik+1∈L(X),其中L(X)是标签随机集X的标签集,则预测标签多伯努利的权重为:wj,k+1|k(Ik+1)=wj,k+1,B(Ik+1∩Bk+1)wj,k+1,s(Ik+1∩Lk),
其中:
Figure GDA0003813898160000057
Figure GDA0003813898160000058
在一实施例中,所述更新的后件估计结果为目标的状态以及协方差,分别通过以下公式表示为:
Figure GDA0003813898160000061
Figure GDA0003813898160000062
其中
Figure GDA0003813898160000063
分别为第i条TSK迭代回归模型状态估计,协方差估计和模型权重,
Figure GDA0003813898160000064
由模糊期望最大化的熵回归聚类算法计算得到;
Figure GDA0003813898160000065
由扩展遗忘因子最小二乘估计得到,其实现过程如下:
Figure GDA0003813898160000066
Figure GDA0003813898160000067
Figure GDA0003813898160000068
Figure GDA0003813898160000069
其中T,v分别为时间间隔和残差;
映射集合Θ表示一对一的映射θk+1:Lk+1→{0,1,...,|Zk+1|}集,Ik+1的映射子集为Θ(Ik+1),X的有限子集为F(X),关联匹配的历史空间表示为离散空间Ξ,更新后标签多伯努利的后验分布为:
Figure GDA00038138981600000610
其中:
Figure GDA00038138981600000611
Figure GDA0003813898160000071
Figure GDA0003813898160000072
Figure GDA0003813898160000073
Figure GDA0003813898160000074
Figure GDA0003813898160000075
Figure GDA0003813898160000076
Figure GDA0003813898160000077
其中
Figure GDA0003813898160000078
为轨迹l的检测概率,
Figure GDA0003813898160000079
为漏检概率,κ(·)为Poison噪声密度函数,
Figure GDA00038138981600000710
为目标的似然概率密度函数,
Figure GDA00038138981600000711
为一指导函数,它的定义如下所示:
Figure GDA00038138981600000712
在一实施例中,轨迹裁剪清除掉存在概率小于预设阈值的轨迹的过程,通过以下公式表示:
Figure GDA00038138981600000713
其中
Figure GDA00038138981600000714
如果一个轨迹的最大存在概率
Figure GDA00038138981600000715
大于上阈值
Figure GDA00038138981600000716
且当前的存在概率r(l)高于下阈值
Figure GDA0003813898160000081
一个磁滞现象被用来刺激输出:
Figure GDA0003813898160000082
第二方面,本发明实施例提供一种TSK迭代回归模型的标签多伯努利多目标跟踪系统,包括:
预测模块,用于在预测阶段,建立TSK迭代回归模型的标签多伯努利多目标跟踪估计器,基于跟踪计器计算目标在预设规则下的预测状态及在该状态下对应的协方差;根据预设时刻跟踪目标对应标签多伯努利随机集的概率参数和空间分布,计算其后验密度,并根据预设时刻跟踪目标对应标签多伯努利随机集的后验密度及预设规则下的预测状态的协方差得到预测后的后验密度;
更新模块,用于利用遗忘因子最小二乘估计得到对应模型下的后件估计结果,然后通过模糊期望最大化前件辨识方法得到前件参数对应的隶属度函数,再根据对应的隶属度函数得到每条模型的权重,最后根据得到的权重对后件估计结果进行加权融合,根据更新的后件估计结果,得到更新后的标签多伯努利的后验分布;
轨迹剪裁模块,用于通过轨迹剪裁去掉概率小于预设阈值的假设事件,构成新的假设事件空间代替原假设事件空间,舍弃无用的轨迹标签后,得到新的近似的多伯努利后验概率密度函数;
轨迹管理模块,用于根据更新后的目标假设事件中的关联对信息和标签信息提取相应的轨迹,实现对目标轨迹的管理。
第三方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行本发明实施例第一方面的TSK迭代回归模型的标签多伯努利多目标跟踪方法。
第四方面,本发明实施例提供一种计算机设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行本发明实施例第一方面的TSK迭代回归模型的标签多伯努利多目标跟踪方法。
本发明技术方案,具有如下优点:
本发明提供了一种TSK迭代回归模型的标签多伯努利多目标跟踪方法及系统,针对目标动态模型的不确定性建模问题,提出采用空间约束信息构建TSK模糊模型,其中空间特征信息用多个语义模糊集表示,得到了一个通用的TSK迭代回归模型框架,以较高的精度逼近动态模型,对目标的状态进行扩维引入模型信息,以此将多模型思想融入标签多伯努利办法的框架中,借助TSK迭代回归模型构建符合目标运动特性的精确模型,能够有效提高转弯率未知情况下目标状态滤波精度,解决了强机动多目标跟踪过程中目标数目估计有偏以及数据关联困难的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1本发明实施例中提供的TSK迭代回归模型的标签多伯努利多目标跟踪方法的一个具体示例的工作流程图;
图2为本发明实施例中提供的进行目标跟踪的流程框架图;
图3为本发明实施例中提供的TSK迭代回归模型的标签多伯努利多目标跟踪系统的一个具体示例的模块组成图;
图4为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
根据约束贝叶斯原理,在进行目标跟踪是采用非线性离散的系统模型:
xk=fk(xk-1)+ek-1 (1)
zk=hk(xk)+vk (2)
其中fk,hk
Figure GDA0003813898160000111
表示合适的非线性函数,xk是系统在k时刻状态矢量,zk是k时刻测量矢量,ek表示均值为0协方差为
Figure GDA0003813898160000112
的过程噪声,vk为测量噪声,且它们之间相互独立。
TSK模糊模型是由Takagi、Sugeno和Kang在1985年提出的一种描述复杂非线性系统和动力学系统的非线性数学模型,该模糊模型具有很好的非线性逼近能力,被广泛运用到系统辨识、模式识别、图像处理和数据挖掘等多个领域。该模型将一个多输入多输出系统看成是多个多输入单输出系统的组合,并且通过模糊逻辑推理来实现模型的规则库。TSK模糊模型不仅具有强大的逼近能力,而且简化了模糊模型的规则库,同时可以采用各种方法对TSK模糊模型进行辨识,这些优点给我们在系统建模和分析上带来了便利,因此该模型成为了解决各种实际问题的常用模型。
TSK模糊模型认为任何非线性系统可以用如下Nf个模糊线性模型表表示:
规则i:
Figure GDA0003813898160000113
Figure GDA0003813898160000114
Figure GDA0003813898160000115
其中
Figure GDA0003813898160000116
表示规则的前件参数,
Figure GDA0003813898160000117
表示规则i中第G个前件参数对应的模糊集,
Figure GDA0003813898160000118
Figure GDA0003813898160000119
分别表示状态转移矩阵和观测矩阵。后件部分是由扩展遗忘因子最小二乘算法迭代更新,全局模糊模型可以表示如下:
Figure GDA0003813898160000121
Figure GDA0003813898160000122
其中
Figure GDA0003813898160000123
表示xk属于第i个模糊线性模型的模糊隶属度,计算如下:
Figure GDA0003813898160000124
其中,
Figure GDA0003813898160000125
表示前件参数
Figure GDA0003813898160000126
属于模型集
Figure GDA0003813898160000127
的隶属度。
通常,模型集
Figure GDA0003813898160000128
模糊隶属度函数设计为如下的高斯型函数,
Figure GDA0003813898160000129
Figure GDA00038138981600001210
分别表示第i条规则中第m个前件参数的隶属度函数的均值和标准差,此次的均值和标准差由模糊期望最大化算法进行辨识:
Figure GDA00038138981600001211
标签多伯努利滤波器LMB为δ-广义标签多伯努利(GLMB)滤波器的有效近似,它继承了多伯努利滤波器和δ-GLMB滤波器的优点。广义多伯努利标签(GLMB)随机集是状态空间为X和标签空间为L的标签随机集,它的密度函数为:
Figure GDA00038138981600001212
其中C是离散的索引集,
Figure GDA00038138981600001213
∫p(c)(x,l)dx=1,
标签多伯努利随机集是一种特殊的广义标签多伯努利随机集,可通过以下公式表示:
p(c)(x,l)=p(l)(x) (10)
Figure GDA0003813898160000131
本发明实施例引入TSK迭代回归多模型算法,提供一种TSK迭代回归模型的标签多伯努利多目标跟踪方法,有效解决转弯率未知情况下的机动跟踪问题。如图1所示,该方法包括如下步骤:
步骤S1:在预测阶段,建立TSK迭代回归模型的标签多伯努利多目标跟踪估计器,基于跟踪计器计算目标在预设规则下的预测状态及在该状态下对应的协方差;根据预设时刻跟踪目标对应标签多伯努利随机集的概率参数和空间分布,计算其后验密度,并根据预设时刻跟踪目标对应标签多伯努利随机集的后验密度及预设规则下的预测状态的协方差得到预测后的后验密度。
本发明实施例为了得到TSK迭代回归多模型的标签多伯努利多目标跟踪估计器,首先对目标状态进行扩展m=(x,l,n),其中x为原始目标的状态,l为目标的标签,n为目标的运动模型,扩展后的标签多伯努利分布π为:
π={(r(l),p(l)(x,n))}l∈L (12)
其中p(l)(x,n)=p(l)(x|n)p(l)(n),p(l)(n)表示轨迹l在模型n情况下的概率,p(l)(x|n)表示在轨迹l在模型n情况下的空间分布函数,r(l)表示标签多伯努利随机集的概率参数;
标签多伯努利多目标跟踪估计器的预测标签多伯努利随机集表示如下:
Figure GDA0003813898160000141
其中:
Figure GDA0003813898160000142
Figure GDA0003813898160000143
Figure GDA0003813898160000144
包含TSK迭代回归模型信息的状态转移方程为:
Figure GDA0003813898160000145
p(nk+1|nk)为模型转移概率函数,
Figure GDA0003813898160000146
为状态转移函数,
Figure GDA0003813898160000147
表示目标的生存概率。
本发明实施例假设预测标签多伯努利随机集给定如下的参数表示形式:
Figure GDA0003813898160000148
多目标的后验概率标签多伯努利随机集表示如下:
Figure GDA0003813898160000149
Figure GDA0003813898160000151
Figure GDA0003813898160000152
其中
Figure GDA0003813898160000153
表示更新部分的权重函数,与传统的多模型滤波算法类似,TSK迭代回归多模型的标签多伯努利多目标跟踪算法在递推多目标状态的同时也对目标的运动模型进行自适应预测及修正,具体实现过程如下:目标j在规则i的状态和协方差估计如下,其中
Figure GDA0003813898160000154
为状态转移矩阵,
Figure GDA0003813898160000155
为过程噪声协方差:
Figure GDA0003813898160000156
Figure GDA0003813898160000157
本发明实施例,假设k时刻多目标的状态空间为Xk,标签空间为Lk,预测状态集Xk+1|k是由生存目标和新生目标组成,则预测标签空间为Lk+1|k=Lk∪Bk+1,Lk∩Bk+1≠Φ。若k时刻标签多伯努利随机集的概率参数和空间分布分别为
Figure GDA0003813898160000158
Figure GDA0003813898160000159
则它的后验密度为:
Figure GDA00038138981600001510
预测后的后验密度为:
Figure GDA00038138981600001511
其中,
Figure GDA0003813898160000161
Figure GDA0003813898160000162
Figure GDA0003813898160000163
Figure GDA0003813898160000164
对于k+1时刻的标签Ik+1∈L(X),其中L(X)是标签随机集X的标签集。则预测标签多伯努利的权重为:
wj,k+1|k(Ik+1)=wj,k+1,B(Ik+1∩Bk+1)wj,k+1,s(Ik+1∩Lk) (23)
其中:
Figure GDA0003813898160000165
Figure GDA0003813898160000166
步骤S2:在更新阶段,利用遗忘因子最小二乘估计得到对应模型下的后件估计结果,然后通过模糊期望最大化前件辨识方法得到前件参数对应的隶属度函数,再根据对应的隶属度函数得到每条模型的权重,最后根据得到的权重对后件估计结果进行加权融合。
更新后的状态以及协方差为:
Figure GDA0003813898160000167
Figure GDA0003813898160000168
其中
Figure GDA0003813898160000169
分别为第i条TSK模型状态估计,协方差估计和模型权重。如图2所示,
Figure GDA00038138981600001610
由模糊期望最大化的熵回归聚类算法计算得到,
Figure GDA00038138981600001611
由扩展遗忘因子最小二乘估计,实现过程如下:
Figure GDA0003813898160000171
Figure GDA0003813898160000172
Figure GDA0003813898160000173
Figure GDA0003813898160000174
其中T,v分别为时间间隔和残差。
假设Θ表示一对一的映射θk+1:Lk+1→{0,1,...,|Zk+1|}集,例如θk+1(e)=θk+1(e′)>0,则e=e′。Ik+1的映射子集为Θ(Ik+1),x的有限子集为F(X),关联匹配的历史空间表示为离散空间Ξ,更新后标签多伯努利的后验分布为:
Figure GDA0003813898160000175
其中:
Figure GDA0003813898160000176
Figure GDA0003813898160000177
Figure GDA0003813898160000178
Figure GDA0003813898160000179
Figure GDA00038138981600001710
Figure GDA00038138981600001711
Figure GDA00038138981600001712
其中,
Figure GDA0003813898160000181
为轨迹l的检测概率,
Figure GDA0003813898160000182
为漏检概率,κ(·)为Poison噪声密度函数,
Figure GDA0003813898160000183
为目标的似然概率密度函数,
Figure GDA0003813898160000184
为一个指导函数,它的定义如下所示:
Figure GDA0003813898160000185
步骤S3:通过轨迹剪裁去掉概率小于预设阈值的假设事件,构成新的假设事件空间代替原假设事件空间,舍弃无用的轨迹标签后,得到新的近似的多伯努利后验概率密度函数。
假设k时刻的假设目标为(ξ,I),k+1时刻的观测Zk+1={z1:M},幸存目标的标签I={l1:R},新生目标的标签Bk+1={lR+1:P}。对于所有的n∈{1:P},轨迹的存在概率
Figure GDA0003813898160000186
定义如下的表达式:
Figure GDA0003813898160000187
其中,m∈{-1:M}是观测与轨迹标签ln关联的索引,当m=0表示ln漏检,m=-1表示ln消失。最优管理的成本矩阵为:
Figure GDA0003813898160000188
管理矩阵S是一个P×(M+2P)的由0和1组成的矩阵,每行的和为1,每列的和不是0就是1,管理矩阵S是一个P×(M+2P)的由0和1组成的矩阵,每行的和为1,每列的和不是0就是1,它的成本为:
Figure GDA0003813898160000191
轨迹存在的概率越低,成本越高,将概率低成本高的轨迹删去,舍去无用的轨迹标签。
步骤S4:根据更新后的目标假设事件中的关联对信息和标签信息提取相应的轨迹,从而实现对目标轨迹的管理。
通过轨迹裁剪在舍弃一些无用的轨迹标签后,可得到新的近似的多伯努利后验概率密度函数,然后根据更新后的目标假设事件中的关联对信息和标签信息提取相应的轨迹。具体的,轨迹裁剪清除掉存在概率小于预设阈值的轨迹:
Figure GDA0003813898160000192
其中
Figure GDA0003813898160000193
如果选取一个高阈值
Figure GDA0003813898160000194
将会减少虚警的影响,同时也会造成新生目标轨迹起始的延迟。相反,如果选取低阈值
Figure GDA0003813898160000195
新生轨迹起始会马上形成,同时也会增加虚警的产生。为了解决这个问题,如果一个轨迹的最大存在概率
Figure GDA0003813898160000196
大于上阈值
Figure GDA0003813898160000197
且当前的存在概率r(l)高于下阈值
Figure GDA0003813898160000198
一个磁滞现象被用来刺激输出:
Figure GDA0003813898160000199
在实际应用中,在提取轨迹后通过其对应的势分布来评价轨迹跟踪的准确度,势分布计算如下:
Figure GDA0003813898160000201
本发明实施例提供的TSK迭代回归模型的标签多伯努利多目标跟踪方法,针对目标动态模型的不确定性建模问题,提出采用空间约束信息构建TSK模糊模型,其中空间特征信息用多个语义模糊集表示,得到了一个通用的TSK迭代回归模型框架,以较高的精度逼近动态模型,对目标的状态进行扩维引入模型信息,以此将多模型思想融入标签多伯努利办法的框架中,借助TSK迭代回归模型构建符合目标运动特性的精确模型,能够有效提高转弯率未知情况下目标状态滤波精度,解决了强机动多目标跟踪过程中目标数目估计有偏以及数据关联困难的问题。
实施例2
本发明实施例提供一种TSK迭代回归模型的标签多伯努利多目标跟踪系统,如图3所示,包括:
预测模块,用于在预测阶段,建立TSK迭代回归模型的标签多伯努利多目标跟踪估计器,基于跟踪计器计算目标在预设规则下的预测状态及在该状态下对应的协方差;根据预设时刻跟踪目标对应标签多伯努利随机集的概率参数和空间分布,计算其后验密度,并根据预设时刻跟踪目标对应标签多伯努利随机集的后验密度及预设规则下的预测状态的协方差得到预测后的后验密度;此模块执行实施例1中的步骤S1所描述的方法,在此不再赘述。
更新模块4,用于在更新阶段,利用遗忘因子最小二乘估计得到对应模型下的后件估计结果,然后通过模糊期望最大化前件辨识方法得到前件参数对应的隶属度函数,再根据对应的隶属度函数得到每条模型的权重,最后根据得到的权重对后件估计结果进行加权融合,根据更新的后件估计结果,得到更新后的标签多伯努利的后验分布;此模块执行实施例1中的步骤S2所描述的方法,在此不再赘述。
轨迹剪裁模块3,用于通过轨迹剪裁去掉概率小于预设阈值的假设事件,构成新的假设事件空间代替原假设事件空间,舍弃无用的轨迹标签后,得到新的近似的多伯努利后验概率密度函数。此模块执行实施例1中的步骤S3所描述的方法,在此不再赘述。
轨迹管理模块4,用于根据更新后的目标假设事件中的关联对信息和标签信息提取相应的轨迹,实现对目标轨迹的管理。此模块执行实施例1中的步骤S4所描述的方法,在此不再赘述。
本发明实施例提供的TSK迭代回归模型的标签多伯努利多目标跟踪系统,针对目标动态模型的不确定性建模问题,提出采用空间约束信息构建TSK模糊模型,其中空间特征信息用多个语义模糊集表示,得到了一个通用的TSK迭代回归模型框架,以较高的精度逼近动态模型,对目标的状态进行扩维引入模型信息,以此将多模型思想融入标签多伯努利办法的框架中,借助TSK迭代回归模型构建符合目标运动特性的精确模型,能够有效提高转弯率未知情况下目标状态滤波精度,解决了强机动多目标跟踪过程中目标数目估计有偏以及数据关联困难的问题。
实施例3
本发明实施例提供一种计算机设备,如图4所示,该设备可以包括处理器51和存储器52,其中处理器51和存储器52可以通过总线或者其他方式连接,图4以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit,CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例1中的TSK迭代回归模型的标签多伯努利多目标跟踪方法。
存储器52可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器51所创建的数据等。此外,存储器52可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器52可选包括相对于处理器51远程设置的存储器,这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、企业内网、移动通信网及其组合。
一个或者多个模块存储在存储器52中,当被处理器51执行时,执行实施例1中的TSK迭代回归模型的标签多伯努利多目标跟踪方法。
上述计算机设备具体细节可以对应参阅实施例1中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-StateDrive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种TSK迭代回归模型的标签多伯努利多目标跟踪方法,其特征在于,包括如下步骤:
在预测阶段,建立TSK迭代回归模型的标签多伯努利多目标跟踪估计器,基于跟踪估计器计算目标在预设规则下的预测状态及在该状态下对应的协方差;根据预设时刻跟踪目标对应标签多伯努利随机集的概率参数和空间分布,计算其后验密度,并根据预设时刻跟踪目标对应标签多伯努利随机集的后验密度及预设规则下的预测状态的协方差得到预测后的后验密度;
在更新阶段,利用遗忘因子最小二乘估计得到对应模型下的后件估计结果,然后通过模糊期望最大化前件辨识方法得到前件参数对应的隶属度函数,再根据对应的隶属度函数得到每条模型的权重,最后根据得到的权重对后件估计结果进行加权融合;根据更新的后件估计结果,得到更新后的标签多伯努利的后验分布;
通过轨迹剪裁去掉存在概率小于预设阈值的假设事件,构成新的假设事件空间代替原假设事件空间;舍弃无用的轨迹标签后,得到新的近似的多伯努利后验概率密度函数;
根据更新后的目标假设事件中的关联对信息和标签信息提取相应的轨迹,实现对目标轨迹的管理;
其中,所述建立TSK迭代回归模型的标签多伯努利多目标跟踪估计器的过程,包括:
对目标状态进行扩展m=(x,l,n),其中x为原始目标的状态,l为目标的标签,n为目标的运动模型,扩展后的标签多伯努利分布π为:
π={(r(l),p(l)x,n))}l∈L
其中p(l)(x,n)=p(l)(x|n)p(l)(n),p(l)(n)表示轨迹l在模型n情况下的概率,p(l)(x|n)表示在轨迹l在模型n情况下的空间分布函数,r(l)表示标签多伯努利随机集的概率参数;
标签多伯努利多目标跟踪估计器的预测标签多伯努利随机集表示如下:
Figure FDA0003895674010000021
其中:
Figure FDA0003895674010000022
Figure FDA0003895674010000023
Figure FDA0003895674010000024
包含TSK迭代回归模型信息的状态转移方程为:
Figure FDA0003895674010000025
其中,k表示时刻,j表示存在目标,B表示新生目标对应的空间集合,Lk为标签空间,p(nk+1|nk)为模型转移概率函数,
Figure FDA0003895674010000026
为状态转移函数,
Figure FDA0003895674010000031
表示目标的生存概率。
2.根据权利要求1所述的TSK迭代回归模型的标签多伯努利多目标跟踪方法,其特征在于,目标j在规则i的状态m和协方差估计P如以下公式所示,其中
Figure FDA0003895674010000032
为状态转移矩阵,
Figure FDA0003895674010000033
为过程噪声协方差:
Figure FDA0003895674010000034
Figure FDA0003895674010000035
假设k时刻多目标的状态空间为Xk,标签空间为Lk,预测状态集Xk+1|k是由生存目标和新生目标组成,则预测标签空间为Lk+1|k=Lk∪Bk+1,Lk∩Bk+1≠Φ,若k时刻标签多伯努利随机集的概率参数和空间分布分别为
Figure FDA0003895674010000036
Figure FDA0003895674010000037
则它的后验密度为:
Figure FDA0003895674010000038
预测后的后验密度为:
Figure FDA0003895674010000039
其中:
Figure FDA00038956740100000310
Figure FDA00038956740100000311
Figure FDA00038956740100000312
Figure FDA0003895674010000041
对于k+1时刻的标签Ik+1∈L(X),其中L(X)是标签随机集X的标签集,则预测标签多伯努利的权重为:wj,k+1|k(Ik+1)=wj,k+1,B(Ik+1∩Bk+1)wj,k+1,s(Ik+1∩Lk),
其中:
Figure FDA0003895674010000042
Figure FDA0003895674010000043
3.根据权利要求2所述的TSK迭代回归模型的标签多伯努利多目标跟踪方法,其特征在于,所述更新的后件估计结果为目标的状态以及协方差,分别通过以下公式表示为:
Figure FDA0003895674010000044
Figure FDA0003895674010000045
其中
Figure FDA0003895674010000046
分别为第i条TSK迭代回归模型状态估计,协方差估计和模型权重,
Figure FDA0003895674010000047
由模糊期望最大化的熵回归聚类算法计算得到;
Figure FDA0003895674010000048
由扩展遗忘因子最小二乘估计得到,其实现过程如下:
Figure FDA0003895674010000049
Figure FDA00038956740100000410
Figure FDA0003895674010000051
Figure FDA0003895674010000052
其中T,v分别为时间间隔和残差;
映射集合Θ表示一对一的映射θk+1:Lk+1→{0,1,...,|Zk+1|}集,Ik+1的映射子集为Θ(Ik+1),X的有限子集为F(X),关联匹配的历史空间表示为离散空间Ξ,更新后标签多伯努利的后验分布为:
Figure FDA0003895674010000053
其中:
Figure FDA0003895674010000054
Figure FDA0003895674010000055
Figure FDA0003895674010000056
Figure FDA0003895674010000057
Figure FDA0003895674010000058
Figure FDA0003895674010000061
Figure FDA0003895674010000062
其中
Figure FDA0003895674010000064
为轨迹l的检测概率,
Figure FDA0003895674010000065
为漏检概率,κ(·)为Poison噪声密度函数,
Figure FDA0003895674010000066
为目标的似然概率密度函数,
Figure FDA0003895674010000067
为一指导函数,它的定义如下所示:
Figure FDA0003895674010000068
4.根据权利要求3所述的TSK迭代回归模型的标签多伯努利多目标跟踪方法,其特征在于,轨迹裁剪清除掉存在概率小于预设阈值的轨迹的过程,通过以下公式表示:
Figure FDA0003895674010000069
其中
Figure FDA00038956740100000610
如果一个轨迹的最大存在概率
Figure FDA00038956740100000611
大于上阈值
Figure FDA00038956740100000612
且当前的存在概率r(l)高于下阈值
Figure FDA00038956740100000613
一个磁滞现象被用来刺激输出:
Figure FDA00038956740100000614
5.一种TSK迭代回归模型的标签多伯努利多目标跟踪系统,其特征在于,包括:
预测模块,用于在预测阶段,建立TSK迭代回归模型的标签多伯努利多目标跟踪估计器,基于跟踪估计器计算目标在预设规则下的预测状态及在该状态下对应的协方差;根据预设时刻跟踪目标对应标签多伯努利随机集的概率参数和空间分布,计算其后验密度,并根据预设时刻跟踪目标对应标签多伯努利随机集的后验密度及预设规则下的预测状态的协方差得到预测后的后验密度;
更新模块,用于在更新阶段,利用遗忘因子最小二乘估计得到对应模型下的后件估计结果,然后通过模糊期望最大化前件辨识方法得到前件参数对应的隶属度函数,再根据对应的隶属度函数得到每条模型的权重,最后根据得到的权重对后件估计结果进行加权融合,根据更新的后件估计结果,得到更新后的标签多伯努利的后验分布;
轨迹剪裁模块,用于通过轨迹剪裁去掉概率小于预设阈值的假设事件,构成新的假设事件空间代替原假设事件空间,舍弃无用的轨迹标签后,得到新的近似的多伯努利后验概率密度函数;
轨迹管理模块,用于根据更新后的目标假设事件中的关联对信息和标签信息提取相应的轨迹,实现对目标轨迹的管理;
其中,所述预测模块具体用于:
对目标状态进行扩展m=(x,l,n),其中x为原始目标的状态,l为目标的标签,n为目标的运动模型,扩展后的标签多伯努利分布π为:
π={(r(l),p(l)(x,n))}l∈L
其中p(l)(x,n)=p(l)(x|n)p(l)(n),p(l)(n)表示轨迹l在模型n情况下的概率,p(l)(x|n)表示在轨迹l在模型n情况下的空间分布函数,r(l)表示标签多伯努利随机集的概率参数;
标签多伯努利多目标跟踪估计器的预测标签多伯努利随机集表示如下:
Figure FDA0003895674010000081
其中:
Figure FDA0003895674010000082
Figure FDA0003895674010000083
Figure FDA0003895674010000084
包含TSK迭代回归模型信息的状态转移方程为:
Figure FDA0003895674010000085
其中,k表示时刻,j表示存在目标,B表示新生目标对应的空间集合,Lk为标签空间,p(nk+1|nk)为模型转移概率函数,
Figure FDA0003895674010000086
为状态转移函数,
Figure FDA0003895674010000087
表示目标的生存概率。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行如权利要求1-4任一项所述的TSK迭代回归模型的标签多伯努利多目标跟踪方法。
7.一种计算机设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如权利要求1-4任一项所述的TSK迭代回归模型的标签多伯努利多目标跟踪方法。
CN202011176993.XA 2020-10-28 2020-10-28 Tsk迭代回归模型的标签多伯努利多目标跟踪方法及系统 Active CN112305915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011176993.XA CN112305915B (zh) 2020-10-28 2020-10-28 Tsk迭代回归模型的标签多伯努利多目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011176993.XA CN112305915B (zh) 2020-10-28 2020-10-28 Tsk迭代回归模型的标签多伯努利多目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN112305915A CN112305915A (zh) 2021-02-02
CN112305915B true CN112305915B (zh) 2023-02-07

Family

ID=74330548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011176993.XA Active CN112305915B (zh) 2020-10-28 2020-10-28 Tsk迭代回归模型的标签多伯努利多目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN112305915B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115099343B (zh) * 2022-06-24 2024-03-29 江南大学 一种有限视野下分布式标签多伯努利融合跟踪方法
CN117933404B (zh) * 2024-03-25 2024-06-18 中国人民解放军国防科技大学 基于独立同分布与多伯努利分布的多目标跟踪方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766320B (zh) * 2015-04-02 2017-06-13 西安电子科技大学 阈值化量测下的多伯努利滤波弱目标检测与跟踪方法
CN104968048A (zh) * 2015-06-29 2015-10-07 华南理工大学 结合移动网络记录和视频监控数据的目标人物追踪方法
CN106408594B (zh) * 2016-09-28 2018-10-02 江南大学 基于多伯努利特征协方差的视频多目标跟踪方法
CN108876819A (zh) * 2018-06-11 2018-11-23 深圳市唯特视科技有限公司 一种基于泊松多伯努利滤波的三维多目标追踪算法
CN109508444B (zh) * 2018-12-18 2022-11-04 桂林电子科技大学 区间量测下交互式多模广义标签多伯努利的快速跟踪方法
CN110349187B (zh) * 2019-07-18 2023-04-14 深圳大学 基于tsk模糊分类器的目标跟踪方法、装置及存储介质
CN110347971B (zh) * 2019-07-18 2023-04-07 深圳大学 基于tsk模糊模型的粒子滤波方法、装置及存储介质
CN110532921B (zh) * 2019-08-21 2022-01-07 江南大学 基于ssd检测广义标签多伯努利视频多目标跟踪方法
CN110503071B (zh) * 2019-08-29 2021-11-23 电子科技大学 基于变分贝叶斯标签多伯努利叠加模型的多目标跟踪方法
CN110967690B (zh) * 2019-11-12 2023-06-16 江南大学 一种基于多伯努利分布式多传感器多目标跟踪方法

Also Published As

Publication number Publication date
CN112305915A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
Wang et al. Multi-sensor control for multi-object Bayes filters
CN111033509A (zh) 目标重新识别
Gostar et al. Multi-Bernoulli sensor-selection for multi-target tracking with unknown clutter and detection profiles
Niedfeldt et al. Multiple target tracking using recursive RANSAC
CN112305915B (zh) Tsk迭代回归模型的标签多伯努利多目标跟踪方法及系统
Vo et al. An implementation of the multi-sensor generalized labeled multi-Bernoulli filter via Gibbs sampling
Shen et al. DMM: Fast map matching for cellular data
CN110967690B (zh) 一种基于多伯努利分布式多传感器多目标跟踪方法
Liu et al. GNN-PMB: A simple but effective online 3D multi-object tracker without bells and whistles
Xia et al. Deciphering spatio-temporal graph forecasting: A causal lens and treatment
Wang et al. SPENT: A successive POI recommendation method using similarity-based POI embedding and recurrent neural network with temporal influence
Yang et al. Network flow labeling for extended target tracking PHD filters
Kim Visual multiple‐object tracking for unknown clutter rate
Firouznia et al. Adaptive chaotic sampling particle filter to handle occlusion and fast motion in visual object tracking
Li et al. Labeled multi-Bernoulli filter based group target tracking using SDE and graph theory
Do et al. Multi-target tracking with an adaptive δ− GLMB filter
KR101832805B1 (ko) 강건한 휴먼 컴퓨터 상호작용을 위한 capomdp를 이용한 눈 추적 장치
Hu et al. Reliability verification‐based convolutional neural networks for object tracking
Kästner et al. A bayesian approach to learning 3d representations of dynamic environments
Zhang et al. Online multi-target intelligent tracking using a deep long-short term memory network
Wan et al. Efficient data association in visual sensor networks with missing detection
CN112837351B (zh) 一种改进的标签多伯努利分布式优化融合跟踪方法
Prasanna Kumar et al. Harnessing feedback region proposals for multi‐object tracking
Shinde et al. Adaptive gaussian mixture-probability hypothesis density based multi sensor multi-target tracking
Wei et al. Distributed fusion of Labeled Multi-Bernoulli filters based on arithmetic average

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant