CN111601361A - 一种实时检测Ad hoc网络关键节点的方法及装置 - Google Patents
一种实时检测Ad hoc网络关键节点的方法及装置 Download PDFInfo
- Publication number
- CN111601361A CN111601361A CN202010438448.7A CN202010438448A CN111601361A CN 111601361 A CN111601361 A CN 111601361A CN 202010438448 A CN202010438448 A CN 202010438448A CN 111601361 A CN111601361 A CN 111601361A
- Authority
- CN
- China
- Prior art keywords
- node
- nodes
- track
- network
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004891 communication Methods 0.000 claims abstract description 53
- 238000012163 sequencing technique Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims description 153
- 239000011159 matrix material Substances 0.000 claims description 25
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 claims description 14
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 101100533306 Mus musculus Setx gene Proteins 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W40/00—Communication routing or communication path finding
- H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
- H04W40/248—Connectivity information update
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W40/00—Communication routing or communication path finding
- H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
- H04W40/246—Connectivity information discovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供一种实时检测Ad hoc网络关键节点的方法及装置,所述方法包括:获取无人机实时采集的航拍视频图像,根据预设的图像帧数参数数值,获取当前时刻ti对应的图像序列,识别和跟踪当前时刻的Ad hoc网络节点;基于当前时刻Ad hoc网络节点的位置和节点的有效通信距离信息,获取Ad hoc网络节点的物理连接关系,获得当前时刻的Ad hoc网络的网络拓扑快照;计算当前时刻各个节点的节点动态重要性,根据节点动态重要性进行排序,进而识别Ad hoc网络的关键节点。该方法受地理环境因素的影响小,可以及时掌所致Ad hoc网络的动态变化,并且适用性广泛。
Description
技术领域
本发明涉及Ad hoc网络领域,尤其涉及一种检测Ad hoc网络关键节点的方法及装置。
背景技术
Ad hoc网络是一种由若干带有通信收发装置的节点构成的、不依赖现有固定网设施支撑的、能够自组织的分布式网络。Ad hoc网络具有组网灵活、易于快速部署、机动性好、抗毁性强、支持“动中通”等特性,可以在任何时刻、任何地点不需要硬件基础网络设施的支持,快速构建一个通信网络。Ad hoc网络广泛应用于军事通信、紧急救援通信、偏远地区通信等需要快速部署、动态组网的通信场合。
在Ad hoc网络中,为了实现任意节点间的可靠数据传输,必需保证网络的全连通性,即网络在高动态环境下是一个连通的整体结构,不存在分割的子网或孤立的节点。
为了保证Ad hoc网络的全连通性,需要对网络中节点的情况进行实时监控,以便及时掌握网络节点间连通关系的动态变化,并找出影响网络连通性的关键节点。因此,需要对 Ad hoc网络的拓扑结构进行实时检测,判断当前网络的连通状况并检测出 Ad hoc网络的关键节点,以便维护人员随时调整节点间的位置关系,确保 Ad hoc网络的连通性。
网络拓扑信息是检测网络关键节点的基础,网络拓扑信息的获取方式直接影响着时变网络关键节点识别的准确性和时效性。目前获取 Ad hoc网络的拓扑结构的方法主要有基于协议的拓扑发现方法和基于目标网络信号的拓扑推断方法。基于协议的拓扑发现方法采用代理技术、利用网络中相关的协议,通过发送探测包获得目标网络中的节点及其连接关系。这种方法使用Ad hoc网络自身的传输通路传递网络监控信息,由于网络节点的性,存在网络中出现存在孤立节点或分割子网的可能,造成这些节点与管理中心节点之间传输通路的中断,从而无法得到全网连通状况的网络拓扑。由于Ad hoc网络的分布范围较大、网络节点的性以及网络使得环境复杂,造成在复杂地理环境下较难实现在目标区域合理部署多个侦收设备;网络中节点的,使得信号辐射源的精确定位变得非常困难,而且将信号辐射源与具体的网络节点关联起来也很不容易,从而造成获取的网络拓扑无法及时反映实际网络拓扑的动态变化,侦收设备无法合理部署,不能覆盖网络中所有的节点,无法检测网络中所有节点的连通关系。
发明内容
为解决上述技术问题,本发明提出了一种实时检测Ad hoc网络关键节点的方法及装置,所述方法及装置,用以解决现有技术中难于合理部署信息采集设备、Ad hoc网络拓扑结构更新时效性差、网络拓扑信息获取不全面的技术问题。
根据本发明的第一方面,提供一种实时检测Ad hoc网络关键节点的方法,所述方法包括以下步骤:
步骤S101:获取无人机实时采集的航拍视频图像,根据预设的图像帧数参数数值,获取当前时刻t i 对应的图像序列,根据所述当前时刻t i 对应的图像序列,识别和跟踪当前时刻的Ad hoc网络节点,获取各网络节点当前的位置信息;其中,0≤i≤n;
步骤S102:基于当前时刻Ad hoc网络节点的位置和节点的有效通信距离信息,获取Adhoc网络节点的物理连接关系,获得当前时刻的Ad hoc网络的网络拓扑快照;
步骤S103:基于所述网络拓扑快照,计算当前时刻各个节点的快照重要性,融合多个拓扑快照序列的快照重要性得到节点动态重要性,根据节点动态重要性进行排序,进而识别Ad hoc网络的关键节点,获得当前时刻Ad hoc网络的关键节点集。
进一步地,所述步骤S101:获取无人机实时采集的航拍视频图像,根据预设的图像帧数参数数值,获取当前时刻t i 对应的图像序列,根据所述当前时刻t i 对应的图像序列,识别和跟踪当前时刻的Ad hoc网络节点,获取各网络节点当前的位置信息,包括:
步骤S10101:获取无人机实时采集的航拍视频图像,根据图像格式和分辨率定义图像坐标系;
步骤S10102:根据预设的图像帧数参数数值k,获取当前时刻长度为k的图像序列;按照时间顺序对k个图像帧进行排序;令j=1;历史节点轨迹集置X为空;检测结果集Y置为空;
步骤S10103:从图像序列中获取第j个图像帧为当前图像帧;
步骤S10104:根据节点检测策略从当前图像帧获取网络节点的检测结果集Y,所述检测结果集的每个检测结果包括:网络节点的纹理特征和位置信息;
所述节点检测策略包括:提取网络节点训练样本集中样本的LBP特征向量,通过支持向量机SVM算法进行特征分类,得到网络节点检测器;采用局部二值模式LBP算子提取图像的纹理特征;用滑动窗口的方式遍历当前图像帧,进行网络节点的检测搜索,获得检测结果集,所述检测结果集为各网络节点状态的观测值,状态的观测值包括网络节点的外观纹理特征和在图像中的位置信息;
步骤S10105:若检测结果集为空,则将j赋值为j+1,进入步骤S10103;
步骤S10106:若历史节点轨迹集为空,则将检测结果集中的所有检测结果确定为新生节点,分别为其分配跟踪ID号,每个检测结果作为一条新轨迹加入历史节点轨迹集,将j赋值为j+1,进入步骤S10103;否则,对历史节点轨迹集中的每一条轨迹,基于节点匀速运动模型用Kalman滤波器预测该条轨迹对应节点在当前帧中的位置,并用预测值更新该条轨迹的位置信息;
步骤S10107:计算历史节点轨迹集中各条轨迹与当前检测结果集各检测结果的状态相似度,生成关联代价矩阵C n*m ,并基于关联代价矩阵运用匈牙利算法获取最优数据关联;
所述计算历史节点轨迹集中各条轨迹与当前检测结果集中各检测结果的状态相似度,包括:
X={x p |p=1,2,…,n}为当前时刻存在n个节点的历史节点轨迹集, Y={y q |q=1,2,…,m}为获得m个节点检测结果的检测结果集;历史节点轨迹集X中第p个节点的轨迹表示为x p = {θ p ,φ p },其中θ p 、φ p 分别表示节点p的外观特征和位置信息;检测结果集Y中第q个检测结果表示为y q ={a q ,b q },其中a q 、b q 分别表示检测结果q的外观特征和在图像中的位置;
计算外观相似度ρ A (x p ,y q ):获取历史节点轨迹集中节点p的外观特征θ p 与检测结果集中检测结果q的外观特征a q ,用欧氏距离D(θ p ,a q )计算特征向量θ p 、a q 之间的相似程度;ρ A (x p ,y q )=1/(1+ D(θ p ,a q )) ;
计算位置相似度ρ M (x p ,y q ):获取历史节点轨迹集中节点p的预测位置φ p 与检测结果集中检测结果q的观测位置b q ,用欧氏距离D(φ p ,b q )计算φ p 、b q 之间的近邻程度;ρ M (x p ,y q )=1/ (1+ D(φ p ,b q ));
计算状态相似度ρ(x p ,y q ):状态相似度为外观相似度ρ A (x p ,y q )与位置相似度ρ M (x p ,y q )的乘积,ρ(x p ,y q )= ρ A (x p ,y q ) ×ρ M (x p ,y q );
生成一个大小为n×m关联代价矩阵C n*m ,其矩阵元素c pq 表示轨迹x p 与检测结果y q 的关联代价, c pq =-log(ρ(x p ,y q ));
步骤S10108:按如下策略更新历史节点轨迹集,
1)对于历史节点轨迹集中的任一轨迹x p ,若轨迹x p 与某一个检测结果y q 相关联,若关联代价c pq 小于预设阈值-log(Ɛ),则用与之关联的检测结果y q 的观测值b q 更新历史节点轨迹集中的轨迹x p 的预测值φ p ;否则按照轨迹x p 未获得关联检测结果处理;
2) 对于历史节点轨迹集中的任一轨迹x p ,若轨迹x p 在当前帧中未获得与之关联的检测结果,则轨迹x p 的未获关联计数器加1;如果连续f c 帧没有获得关联的检测结果,则在历史节点轨迹集中删除该节点及其轨迹;其中,f c 为预设阈值;
步骤S10109:对未获得关联轨迹的检测结果,则确定其为新生节点,为其分配跟踪ID号,将检测结果y q ={a q ,b q }作为新轨迹加入历史节点轨迹集;
步骤S10110:判断j是否等于k;若是,方法结束;若否,根据历史节点轨迹集输出当前时刻网络节点的位置,将j赋值为j+1,进入步骤S10103。
进一步地,所述步骤S102:基于当前时刻Ad hoc网络节点的位置和节点的有效通信距离信息,获取Ad hoc网络节点的物理连接关系,获得当前时刻的Ad hoc网络的网络拓扑快照,包括:
步骤S1021:基于节点间物理链路存在性判定准则确定Ad hoc网络节点间的物理连接关系,所述节点间物理链路存在性判定准则包括:
网络类型为同质网络,所有节点都具有相同的最大通信距离;节点采用全向天线,每个节点的传输范围为以该节点为中心、以最大通信距离为半径的圆;当两个节点的欧氏距离小于或等于最大通信距离时,则这两个节点互为邻居,它们之间存在一条物理链路;
步骤S1022:使用圆盘图描述Ad hoc网络节点间的连接关系;
步骤S1023:优化单位圆盘图,包括:
按照平面性原则,即拓扑图中若没有两条边在顶点以外发生边交叉,则删除非顶点交叉的边;按照稀疏性原则,在保证拓扑图连通性的前提下,删除拓扑图中多余的边;
步骤S1024:用单位Delaunay三角剖分图表示单位圆盘图的优化结果,单位Delaunay三角剖分图中的点表示网络节点,连接点的边即表示网络节点间的物理链路;生成当前时刻节点间物理连接关系的拓扑快照;
所述步骤S1024,包括:
步骤S10241:确定Delaunay三角形的约束条件;所述约束条件包括:1)任意两个Delaunay三角形之间除端点外无交点,即Delaunay三角形之间是互不相交的;2)任意一个Delaunay三角形不包含其它Delaunay三角形,即Delaunay三角形之间是互不包含的;3)如果一个Delaunay三角形不包含区域边界的边,则该Delaunay三角形的三条边的长度都小于或等于节点的有效通信距离;
步骤S10242:根据节点当前的位置和节点的有效通信距离信息,基于Delaunay三角形的约束条件,使用基于欧氏最小生成树的三角剖分算法,构造单位Delaunay三角剖分图;
步骤S10243:根据最小角最大化准则,局部优化单位Delaunay三角剖分图,避免在拓扑快照中出现不合理边;
步骤S10244:删除单位Delaunay三角剖分图边缘超出节点有效通信距离的边,获得描述当前时刻节点间物理连接关系的拓扑快照。
进一步地,所述步骤S103:基于所述网络拓扑快照,计算当前时刻各个节点的快照重要性,融合多个拓扑快照序列的快照重要性得到节点动态重要性,根据节点动态重要性进行排序,进而识别Ad hoc网络的关键节点,获得当前时刻Ad hoc网络的关键节点集,包括:
步骤S1031:基于t i 时刻网络拓扑快照,获取其中一个未计算动态重要性的节点v j ;
步骤S1032:计算节点v j 在t i 时刻的快照重要性C i (v j ),
节点v j 的快照重要性C i (v j )为依照t i 时刻拓扑快照G i 得到的节点v j 的重要性度量,节点重要性度量指标是节点度数、介数、中心度中的一个或多个;
t i 时刻包含N个节点的拓扑快照G i 用邻接矩阵A=(a ij ) N*N 表示;其中a ii =0,若节点v i 、v j 之间存在边,则a ij =a ji =1,否则a ij =a ji =0;
步骤S1033:计算节点v j 在t i 时刻的动态重要性I i (v j ) ,
节点v j 在t i 时刻的动态重要性I i (v j )是在 [t i-Δω ,t i ]时间段内其所有的快照重要性度量的融合,
其中,α为一常数,用于表示衰减常数,0<α<0.5;M表示当前滑动窗口中元组的个数1≤M≤Δω,Δω表示滑动窗口大小,将每一时刻的拓扑快照作为一个单位数据,拓扑快照按时间戳的先后顺序进入滑动窗口,每当有一个新的拓扑快照到达,若M=Δω,窗口则向前滑动一个单位,使得窗口内的数据得到更新,若M<Δω,则窗口内元组个数M加1;基于窗口内更新后的数据计算节点v j 在t i 时刻的动态重要性I i (v j ) ;C i-M+1 (v j )、C i-M+2 (v j )分别表示节点v j 在t i-M+1 、t i-M+2 时刻的快照重要性;
步骤S1034:将节点v j 标记为已处理,判断当前时刻t i 的拓扑快照中,是否所有节点都被标记为已处理,若是,进入步骤S1035;若否,进入步骤S1031;
步骤S1035:对全部节点的动态重要性按从大到小进行排序,根据预设的关键节点数量num,选择排前num个节点作为关键节点,关键节点构成的集合为关键节点集。
根据本发明第二方面,提供一种实时检测Ad hoc网络关键节点的装置,所述装置包括:
网络节点识别跟踪模块:获取无人机实时采集的航拍视频图像,根据预设的图像帧数参数数值,获取当前时刻t i 对应的图像序列,根据所述当前时刻t i 对应的图像帧序列,识别和跟踪当前时刻的Ad hoc网络节点,获取各网络节点当前的位置信息;其中,0≤i≤n;
网络拓扑快照生成模块:基于当前时刻Ad hoc网络节点的位置和节点的有效通信距离信息,获取Ad hoc网络节点的物理连接关系,获得当前时刻的Ad hoc网络的网络拓扑快照;
网络关键节点识别模块:基于所述网络拓扑快照,计算当前时刻各个节点的快照重要性,融合多个拓扑快照序列的快照重要性得到节点动态重要性,根据节点动态重要性进行排序,进而识别Ad hoc网络的关键节点,获得当前时刻Ad hoc网络的关键节点集。
进一步地,所述网络节点识别跟踪模块,包括:
获取图像子模块:获取无人机实时采集的航拍视频图像,根据图像格式和分辨率定义图像坐标系;
获取轨迹子模块:根据预设的图像帧数参数数值k,获取当前时刻长度为k的图像序列;按照时间顺序对k个图像帧进行排序;令j=1;历史节点轨迹集置X为空;检测结果集Y置为空;
图像帧获取子模块:从图像序列中获取第j个图像帧为当前图像帧;
检测结果集生成子模块:根据节点检测策略从当前图像帧获取网络节点的检测结果集Y,所述检测结果集的每个检测结果包括:网络节点的纹理特征和位置信息;
所述节点检测策略包括:提取网络节点训练样本集中样本的LBP特征向量,通过支持向量机SVM算法进行特征分类,得到网络节点检测器;采用局部二值模式LBP算子提取图像的纹理特征;用滑动窗口的方式遍历当前图像帧,进行网络节点的检测搜索,获得检测结果集,所述检测结果集为各网络节点状态的观测值,状态的观测值包括网络节点的外观纹理特征和在图像中的位置信息;
第一判断子模块:若检测结果集为空,则将j赋值为j+1;
预测子模块:若历史节点轨迹集为空,则将检测结果集中的所有检测结果确定为新生节点,分别为其分配跟踪ID号,每个检测结果作为一条新轨迹加入历史节点轨迹集,将j赋值为j+1;否则,对历史节点轨迹集中的每一条轨迹,基于节点匀速运动模型用Kalman滤波器预测该条轨迹对应节点在当前帧中的位置,并用预测值更新该条轨迹的位置信息;
状态相似度计算子模块:计算历史节点轨迹集中各条轨迹与当前检测结果集各检测结果的状态相似度,生成关联代价矩阵C n*m ,并基于关联代价矩阵运用匈牙利算法获取最优数据关联;
所述计算历史节点轨迹集中各条轨迹与当前检测结果集中各检测结果的状态相似度,包括:
X={x p |p=1,2,…,n}为当前时刻存在n个节点的历史节点轨迹集, Y={y q |q=1,2,…,m}为获得m个节点检测结果的检测结果集;历史节点轨迹集X中第p个节点的轨迹表示为x p = {θ p ,φ p },其中θ p 、φ p 分别表示节点p的外观特征和位置信息;检测结果集Y中第q个检测结果表示为y q ={a q ,b q },其中a q 、b q 分别表示检测结果q的外观特征和在图像中的位置;
计算外观相似度ρ A (x p ,y q ):获取历史节点轨迹集中节点p的外观特征θ p 与检测结果集中检测结果q的外观特征a q ,用欧氏距离D(θ p ,a q )计算特征向量θ p 、a q 之间的相似程度;ρ A (x p ,y q )=1/(1+ D(θ p ,a q )) ;
计算位置相似度ρ M (x p ,y q ):获取历史节点轨迹集中节点p的预测位置φ p 与检测结果集中检测结果q的观测位置b q ,用欧氏距离D(φ p ,b q )计算φ p 、b q 之间的近邻程度;ρ M (x p ,y q )=1/ (1+ D(φ p ,b q ));
计算状态相似度ρ(x p ,y q ):状态相似度为外观相似度ρ A (x p ,y q )与位置相似度ρ M (x p ,y q )的乘积,ρ(x p ,y q )= ρ A (x p ,y q ) ×ρ M (x p ,y q );
生成一个大小为n×m关联代价矩阵C n*m ,其矩阵元素c pq 表示轨迹x p 与检测结果y q 的关联代价, c pq =-log(ρ(x p ,y q ))
历史节点轨迹更新子模块,按如下策略更新历史节点轨迹集,
1)对于历史节点轨迹集中的任一轨迹x p ,若轨迹x p 与某一个检测结果y q 相关联,若关联代价c pq 小于预设阈值-log(Ɛ),则用与之关联的检测结果y q 的观测值b q 更新历史节点轨迹集中的轨迹x p 的预测值φ p ;否则按照轨迹x p 未获得关联检测结果处理;
2) 对于历史节点轨迹集中的任一轨迹x p ,若轨迹x p 在当前帧中未获得与之关联的检测结果,则轨迹x p 的未获关联计数器加1;如果连续f c 帧没有获得关联的检测结果,则在历史节点轨迹集中删除该节点及其轨迹;其中,f c 为预设阈值;
历史节点轨迹集再次更新子模块,对未获得关联轨迹的检测结果,则确定其为新生节点,为其分配跟踪ID号,将检测结果y q ={a q ,b q }作为新轨迹加入历史节点轨迹集;
第二判断子模块:判断j是否等于k。
进一步地,所述网络拓扑快照生成模块,包括:
连接关系确定子模块:基于节点间物理链路存在性判定准则确定Ad hoc网络节点间的物理连接关系,所述节点间物理链路存在性判定准则包括:
网络类型为同质网络,所有节点都具有相同的最大通信距离;节点采用全向天线,每个节点的传输范围为以该节点为中心、以最大通信距离为半径的圆;当两个节点的欧氏距离小于或等于最大通信距离时,则这两个节点互为邻居,它们之间存在一条物理链路;
描述子模块:使用圆盘图描述Ad hoc网络节点间的连接关系;
优化子模块:优化单位圆盘图,包括:
按照平面性原则,即拓扑图中若没有两条边在顶点以外发生边交叉,则删除非顶点交叉的边;按照稀疏性原则,在保证拓扑图连通性的前提下,删除拓扑图中多余的边;
拓扑快照生成子模块:用单位Delaunay三角剖分图表示单位圆盘图的优化结果,单位Delaunay三角剖分图中的点表示网络节点,连接点的边即表示网络节点间的物理链路;生成当前时刻节点间物理连接关系的拓扑快照;
所述拓扑快照生成子模块,包括:
第一确定子模块:确定Delaunay三角形的约束条件;所述约束条件包括:1)任意两个Delaunay三角形之间除端点外无交点,即Delaunay三角形之间是互不相交的;2)任意一个Delaunay三角形不包含其它Delaunay三角形,即Delaunay三角形之间是互不包含的;3)如果一个Delaunay三角形不包含区域边界的边,则该Delaunay三角形的三条边的长度都小于或等于节点的有效通信距离;
第一构造子模块:根据节点当前的位置和节点的有效通信距离信息,基于Delaunay三角形的约束条件,使用基于欧氏最小生成树的三角剖分算法,构造单位Delaunay三角剖分图;
第一删除子模块:根据最小角最大化准则,局部优化单位Delaunay三角剖分图,避免在拓扑快照中出现不合理边;
第二删除子模块:删除单位Delaunay三角剖分图边缘超出节点有效通信距离的边,获得描述当前时刻节点间物理连接关系的拓扑快照。
进一步地,所述网络关键节点识别模块,包括:
获取节点子模块:基于t i 时刻网络拓扑快照,获取其中一个未计算动态重要性的节点v j ;
节点快照重要性计算模块:计算节点v j 在t i 时刻的快照重要性C i (v j ),
节点v j 的快照重要性C i (v j )为依照t i 时刻拓扑快照G i 得到的节点v j 的重要性度量,节点重要性度量指标是节点度数、介数、中心度中的一个或多个;
t i 时刻包含N个节点的拓扑快照G i 用邻接矩阵A=(a ij ) N*N 表示;其中a ii =0,若节点v i 、v j 之间存在边,则a ij =a ji =1,否则a ij =a ji =0;
节点动态重要性计算模块:计算节点v j 在t i 时刻的动态重要性I i (v j ) ,
节点v j 在t i 时刻的动态重要性I i (v j )是在 [t i-Δω ,t i ]时间段内其所有的快照重要性度量的融合,
其中,α为一常数,用于表示衰减常数,0<α<0.5;M表示当前滑动窗口中元组的个数1≤M≤Δω,Δω表示滑动窗口大小,将每一时刻的拓扑快照作为一个单位数据,拓扑快照按时间戳的先后顺序进入滑动窗口,每当有一个新的拓扑快照到达,若M=Δω,窗口则向前滑动一个单位,使得窗口内的数据得到更新,若M<Δω,则窗口内元组个数M加1;基于窗口内更新后的数据计算节点v j 在t i 时刻的动态重要性I i (v j ) ;C i-M+1 (v j )、C i-M+2 (v j )分别表示节点v j 在t i-M+1 、t i-M+2 时刻的快照重要性;
标记子模块:将节点v j 标记为已处理,判断当前时刻t i 的拓扑快照中,是否所有节点都被标记为已处理;
排序子模块:对全部节点的动态重要性按从大到小进行排序,根据预设的关键节点数量num,选择排前num个节点作为关键节点,关键节点构成的集合为关键节点集。
根据本发明第三方面,提供一种实时检测Ad hoc网络关键节点系统,包括:
处理器,用于执行多条指令;
存储器,用于存储多条指令;
其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行如前所述的实时检测Ad hoc网络关键节点的方法。
根据本发明第四方面,提供一种计算机可读存储介质,所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行如前所述的实时检测Ad hoc网络关键节点的方法。
根据本发明的上述方案,具有以下技术效果:(1)使用航拍无人机作为信息采集设备,受地理环境因素的影响小,指定航拍区域后,航拍无人机可以自动规划航拍路径,只需要一个位于目标区域内或附近的地面接收处理站。(2)可以及时更新Ad hoc网络的拓扑信息,只需无人机航拍的视频图像和Ad hoc网络节点的外观物理特征这些很少的信息,即可实现目标节点的定位和跟踪,并及时确定当前网络节点间连通关系的拓扑快照。由于无人机航拍的视频图像通过宽带数据链路可以近实时地传回地面接收处理站,可以实现及时更新Ad hoc网络的拓扑信息、及时获取Ad hoc网络拓扑的动态变化。(3)全面获取Ad hoc网络的拓扑信息。由于无人机空中航拍的视野开阔,可以在较短时间内覆盖整个目标区域,得到指定区域的全景视图,识别出Ad hoc网络的所有节点的当前位置,快速确定Ad hoc网络的所有节点间连通关系的拓扑快照。(4)适用性广泛。本方案适用于所有采用Ad hoc组网技术的网络,不需要在每个Ad hoc网络的节点安装定制的代理程序及节点定位装置,也不需要掌握目标网络的通信体制。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明提供如下附图进行说明。在附图中:
图1为本发明一个实施方式的实时检测Ad hoc网络关键节点的方法流程图;
图2为本发明一个实施方式的实时检测Ad hoc网络关键节点的装置结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先结合图1说明为本发明一个实施方式的实时检测Ad hoc网络关键节点的方法流程。如图1所示,所述方法包括以下步骤:
步骤S101:获取无人机实时采集的航拍视频图像,根据预设的图像帧数参数数值,获取当前时刻t i 对应的图像序列,根据所述当前时刻t i 对应的图像序列,识别和跟踪当前时刻的Ad hoc网络节点,获取各网络节点当前的位置信息;其中,0≤i≤n;
步骤S102:基于当前时刻Ad hoc网络节点的位置和节点的有效通信距离信息,获取Adhoc网络节点的物理连接关系,获得当前时刻的Ad hoc网络的网络拓扑快照;
所述步骤S103:基于所述网络拓扑快照,计算当前时刻各个节点的快照重要性,融合多个拓扑快照序列的快照重要性得到节点动态重要性,根据节点动态重要性进行排序,进而识别Ad hoc网络的关键节点,获得当前时刻Ad hoc网络的关键节点集。
步骤S101:获取无人机实时采集的航拍视频图像,根据预设的图像帧数参数数值,获取当前时刻t i 对应的图像序列,根据所述当前时刻t i 对应的图像帧序列,识别和跟踪当前时刻的Ad hoc网络节点,获取各网络节点当前的位置信息;
所述图像帧数参数,用以表示从无人机获取的视频中进行图像采集,所需采集的与当前时刻对应的图像帧数的数值。具体地,例如预设的图像帧数参数取值为k,则采集当前时刻这一时间点之前的连续k-1帧图像及当前时刻这一时间点的1帧图像,作为当前时刻对应的图像序列。
所述步骤S101,可以持续地对航拍的视频序列进行Ad hoc网络节点的检测、提取、跟踪,获得当前时刻Ad hoc网络中各节点的位置信息。
所述步骤S101,包括:
步骤S10101:获取无人机实时采集的航拍视频图像,根据图像格式和分辨率定义图像坐标系;
步骤S10102:根据预设的图像帧数参数数值k,获取当前时刻长度为k的图像序列;按照时间顺序对k个图像帧进行排序;令j=1;历史节点轨迹集置X为空;检测结果集Y置为空;
步骤S10103:从图像序列中获取第j个图像帧为当前图像帧;
步骤S10104:根据节点检测策略从当前图像帧获取网络节点的检测结果集Y,所述检测结果集的每个检测结果包括:网络节点的纹理特征和位置信息;
本实施例中,网络节点为车载形态的地面运动目标,与背景物相比,纹理特征比较显著,将符合外观纹理特征的图像区域确定为网络节点。
所述节点检测策略包括:提取网络节点训练样本集中样本的LBP特征向量,通过支持向量机SVM算法进行特征分类,得到网络节点检测器;采用局部二值模式LBP算子提取图像的纹理特征;用滑动窗口的方式遍历当前图像帧,进行网络节点的检测搜索,获得检测结果集,所述检测结果集为各网络节点状态的观测值,状态的观测值包括网络节点的外观纹理特征和在图像中的位置信息;
步骤S10105:若检测结果集为空,则将j赋值为j+1,进入步骤S10103;
步骤S10106:若历史节点轨迹集为空,则将检测结果集中的所有检测结果确定为新生节点,分别为其分配跟踪ID号,每个检测结果作为一条新轨迹加入历史节点轨迹集,将j赋值为j+1,进入步骤S10103;否则,对历史节点轨迹集中的每一条轨迹,基于节点匀速运动模型用Kalman滤波器预测该条轨迹对应节点在当前帧中的位置,并用预测值更新该条轨迹的位置信息;
所述节点匀速运动模型即为将网络节点的运动视为匀速运动的模型。由于相邻两帧图像的时间间隔很短,网络节点的位置变化不大,可以将相邻两帧之间的网络节点的运动视为匀速运动。
步骤S10107:计算历史节点轨迹集中各条轨迹与当前检测结果集各检测结果的状态相似度,生成关联代价矩阵C n*m ,并基于关联代价矩阵运用匈牙利算法获取最优数据关联;
所述计算历史节点轨迹集中各条轨迹与当前检测结果集中各检测结果的状态相似度,包括:
X={x p |p=1,2,…,n}为当前时刻存在n个节点的历史节点轨迹集, Y={y q |q=1,2,…,m}为获得m个节点检测结果的检测结果集;历史节点轨迹集X中第p个节点的轨迹表示为x p = {θ p ,φ p },其中θ p 、φ p 分别表示节点p的外观特征和位置信息;检测结果集Y中第q个检测结果表示为y q ={a q ,b q },其中a q 、b q 分别表示检测结果q的外观特征和在图像中的位置;
计算外观相似度ρ A (x p ,y q ):获取历史节点轨迹集中节点p的外观特征θ p 与检测结果集中检测结果q的外观特征a q ,用欧氏距离D(θ p ,a q )计算特征向量θ p 、a q 之间的相似程度;ρ A (x p ,y q )=1/(1+ D(θ p ,a q )) ;
计算位置相似度ρ M (x p ,y q ):获取历史节点轨迹集中节点p的预测位置φ p 与检测结果集中检测结果q的观测位置b q ,用欧氏距离D(φ p ,b q )计算φ p 、b q 之间的近邻程度;ρ M (x p ,y q )=1/ (1+ D(φ p ,b q ));
计算状态相似度ρ(x p ,y q ):状态相似度为外观相似度ρ A (x p ,y q )与位置相似度ρ M (x p ,y q )的乘积,ρ(x p ,y q )= ρ A (x p ,y q ) ×ρ M (x p ,y q );
生成一个大小为n×m关联代价矩阵C n*m ,其矩阵元素c pq 表示轨迹x p 与检测结果y q 的关联代价, c pq =-log(ρ(x p ,y q ));
步骤S10108:按如下策略更新历史节点轨迹集,
1)对于历史节点轨迹集中的任一轨迹x p ,若轨迹x p 与某一个检测结果y q 相关联,若关联代价c pq 小于预设阈值-log(Ɛ),则用与之关联的检测结果y q 的观测值b q 更新历史节点轨迹集中的轨迹x p 的预测值φ p ;否则按照轨迹x p 未获得关联检测结果处理;
2) 对于历史节点轨迹集中的任一轨迹x p ,若轨迹x p 在当前帧中未获得与之关联的检测结果,则轨迹x p 的未获关联计数器加1;如果连续f c 帧没有获得关联的检测结果,则在历史节点轨迹集中删除该节点及其轨迹;其中,f c 为预设阈值;
步骤S10109:对未获得关联轨迹的检测结果,则确定其为新生节点,为其分配跟踪ID号,将检测结果y q ={a q ,b q }作为新轨迹加入历史节点轨迹集;
步骤S10110:判断j是否等于k;若是,方法结束;若否,根据历史节点轨迹集输出当前时刻网络节点的位置,将j赋值为j+1,进入步骤S10103。
步骤S102:基于当前时刻Ad hoc网络节点的位置和节点的有效通信距离信息,获取Ad hoc网络节点的物理连接关系,获得当前时刻的Ad hoc网络的网络拓扑快照,包括:
步骤S1021:基于节点间物理链路存在性判定准则确定Ad hoc网络节点间的物理连接关系,所述节点间物理链路存在性判定准则包括:
网络类型为同质网络,所有节点都具有相同的最大通信距离;节点采用全向天线,每个节点的传输范围为以该节点为中心、以最大通信距离为半径的圆;当两个节点的欧氏距离小于或等于最大通信距离时,则这两个节点互为邻居,它们之间存在一条物理链路;
步骤S1022:使用圆盘图描述Ad hoc网络节点间的连接关系;
Ad hoc网络节点间具有连接关系是指Ad hoc网络节点间存在物理链路。
步骤S1023:优化单位圆盘图,包括:
按照平面性原则,即拓扑图中若没有两条边在顶点以外发生边交叉,则删除非顶点交叉的边;按照稀疏性原则,在保证拓扑图连通性的前提下,删除拓扑图中多余的边;
步骤S1024:用单位Delaunay三角剖分图表示单位圆盘图的优化结果,单位Delaunay三角剖分图中的点表示网络节点,连接点的边即表示网络节点间的物理链路;生成当前时刻节点间物理连接关系的拓扑快照;
所述步骤S1024,包括:
步骤S10241:确定Delaunay三角形的约束条件;所述约束条件包括:1)任意两个Delaunay三角形之间除端点外无交点,即Delaunay三角形之间是互不相交的;2)任意一个Delaunay三角形不包含其它Delaunay三角形,即Delaunay三角形之间是互不包含的;3)如果一个Delaunay三角形不包含区域边界的边,则该Delaunay三角形的三条边的长度都小于或等于节点的有效通信距离;
步骤S10242:根据节点当前的位置和节点的有效通信距离信息,基于Delaunay三角形的约束条件,使用基于欧氏最小生成树的三角剖分算法,构造单位Delaunay三角剖分图;
步骤S10243:根据最小角最大化准则,局部优化单位Delaunay三角剖分图,避免在拓扑快照中出现不合理边;
步骤S10244:删除单位Delaunay三角剖分图边缘超出节点有效通信距离的边,获得描述当前时刻节点间物理连接关系的拓扑快照。
所述步骤S103:基于所述网络拓扑快照,计算当前时刻各个节点的快照重要性,融合多个拓扑快照序列的快照重要性得到节点动态重要性,根据节点动态重要性进行排序,进而识别Ad hoc网络的关键节点,获得当前时刻Ad hoc网络的关键节点集,包括:
步骤S1031:基于所述t i 时刻网络拓扑快照,获取其中一个未计算动态重要性的节点v j ;
步骤S1032:计算节点v j 在t i 时刻的快照重要性C i (v j ),
节点v j 的快照重要性C i (v j )为依照t i 时刻拓扑快照G i 得到的节点v j 的重要性度量,节点重要性度量指标是节点度数、介数、中心度中的一个或多个;
本实施例中采用节点度数作为节点重要性度量指标。
t i 时刻包含N个节点的拓扑快照G i 用邻接矩阵A=(a ij ) N*N 表示;其中a ii =0,若节点v i 、v j 之间存在边,则a ij =a ji =1,否则a ij =a ji =0;
步骤S1033:计算节点v j 在t i 时刻的动态重要性I i (v j ) ,
节点v j 在t i 时刻的动态重要性I i (v j )是在 [t i-Δω ,t i ]时间段内其所有的快照重要性度量的融合,
其中,α为一常数,用于表示衰减常数,0<α<0.5;M表示当前滑动窗口中元组的个数1≤M≤Δω,Δω表示滑动窗口大小,将每一时刻的拓扑快照作为一个单位数据,拓扑快照按时间戳的先后顺序进入滑动窗口,每当有一个新的拓扑快照到达,若M=Δω,窗口则向前滑动一个单位,使得窗口内的数据得到更新,若M<Δω,则窗口内元组个数M加1;基于窗口内更新后的数据计算节点v j 在t i 时刻的动态重要性I i (v j ) ;C i-M+1 (v j )、C i-M+2 (v j )分别表示节点v j 在t i-M+1 、t i-M+2 时刻的快照重要性;
本实施例中,将滑动窗口中可以包含的元组的个数定义为窗口大小,Δω取值范围为4 <Δω<20。计算I i (v j ) 的公式反映了不同时刻节点的快照重要性对当前时刻动态重要性计算的影响大小,距离当前时刻越远的快照重要性影响就越小。
步骤S1034:将节点v j 标记为已处理,判断当前时刻t i 的拓扑快照中,是否所有节点都被标记为已处理,若是,进入步骤S1035;若否,进入步骤S1031;
步骤S1035:对全部节点的动态重要性按从大到小进行排序,根据预设的关键节点数量num,选择排前num个节点作为关键节点,关键节点构成的集合为关键节点集。
本发明实施例进一步给出一种实时检测Ad hoc网络关键节点的装置,如图2所示,所述装置包括:
网络节点识别跟踪模块:获取无人机实时采集的航拍视频图像,根据预设的图像帧数参数数值,获取当前时刻t i 对应的图像序列,根据所述当前时刻t i 对应的图像序列,识别和跟踪当前时刻的Ad hoc网络节点,获取各网络节点当前的位置信息;其中,0≤i≤n;
网络拓扑快照生成模块:基于当前时刻Ad hoc网络节点的位置和节点的有效通信距离信息,获取Ad hoc网络节点的物理连接关系,获得当前时刻的Ad hoc网络的网络拓扑快照;
网络关键节点识别模块:基于所述网络拓扑快照,计算当前时刻各个节点的快照重要性,融合多个拓扑快照序列的快照重要性得到节点动态重要性,根据节点动态重要性进行排序,进而识别Ad hoc网络的关键节点,获得当前时刻Ad hoc网络的关键节点集。
本发明实施例进一步给出一种实时检测Ad hoc网络关键节点系统,包括:
处理器,用于执行多条指令;
存储器,用于存储多条指令;
其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行如前所述的实时检测Ad hoc网络关键节点的方法。
本发明实施例进一步给出一种计算机可读存储介质,所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行如前所述的实时检测Ad hoc网络关键节点的方法。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,实体机服务器,或者网络云服务器等,需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (10)
1.一种实时检测Ad hoc网络关键节点的方法,其特征在于,包括以下步骤:
步骤S101:获取无人机实时采集的航拍视频图像,根据预设的图像帧数参数数值,获取当前时刻t i 对应的图像序列,根据所述当前时刻t i 对应的图像序列,识别和跟踪当前时刻的Ad hoc网络节点,获取各网络节点当前的位置信息;其中,0≤i≤n;
步骤S102:基于当前时刻Ad hoc网络节点的位置和节点的有效通信距离信息,获取Adhoc网络节点的物理连接关系,获得当前时刻的Ad hoc网络的网络拓扑快照;
步骤S103:基于所述网络拓扑快照,计算当前时刻各个节点的快照重要性,融合多个拓扑快照序列的快照重要性得到节点动态重要性,根据节点动态重要性进行排序,进而识别Ad hoc网络的关键节点,获得当前时刻Ad hoc网络的关键节点集。
2.如权利要求1所述的实时检测Ad hoc网络关键节点的方法,其特征在于,所述步骤S101:获取无人机实时采集的航拍视频图像,根据预设的图像帧数参数数值,获取当前时刻t i 对应的图像序列,根据所述当前时刻t i 对应的图像序列,识别和跟踪当前时刻的Ad hoc网络节点,获取各网络节点当前的位置信息,包括:
步骤S10101:获取无人机实时采集的航拍视频图像,根据图像格式和分辨率定义图像坐标系;
步骤S10102:根据预设的图像帧数参数数值k,获取当前时刻长度为k的图像序列;按照时间顺序对k个图像帧进行排序;令j=1;历史节点轨迹集置X为空;检测结果集Y置为空;
步骤S10103:从图像序列中获取第j个图像帧为当前图像帧;
步骤S10104:根据节点检测策略从当前图像帧获取网络节点的检测结果集Y,所述检测结果集的每个检测结果包括:网络节点的纹理特征和位置信息;
所述节点检测策略包括:提取网络节点训练样本集中样本的LBP特征向量,通过支持向量机SVM算法进行特征分类,得到网络节点检测器;采用局部二值模式LBP算子提取图像的纹理特征;用滑动窗口的方式遍历当前图像帧,进行网络节点的检测搜索,获得检测结果集,所述检测结果集为各网络节点状态的观测值,状态的观测值包括网络节点的外观纹理特征和在图像中的位置信息;
步骤S10105:若检测结果集为空,则将j赋值为j+1,进入步骤S10103;
步骤S10106:若历史节点轨迹集为空,则将检测结果集中的所有检测结果确定为新生节点,分别为其分配跟踪ID号,每个检测结果作为一条新轨迹加入历史节点轨迹集,将j赋值为j+1,进入步骤S10103;否则,对历史节点轨迹集中的每一条轨迹,基于节点匀速运动模型用Kalman滤波器预测该条轨迹对应节点在当前帧中的位置,并用预测值更新该条轨迹的位置信息;
步骤S10107:计算历史节点轨迹集中各条轨迹与当前检测结果集各检测结果的状态相似度,生成关联代价矩阵C n*m ,并基于关联代价矩阵运用匈牙利算法获取最优数据关联;
所述计算历史节点轨迹集中各条轨迹与当前检测结果集中各检测结果的状态相似度,包括:
X={x p |p=1,2,…,n}为当前时刻存在n个节点的历史节点轨迹集, Y={y q |q=1,2,…,m}为获得m个节点检测结果的检测结果集;历史节点轨迹集X中第p个节点的轨迹表示为x p = {θ p ,φ p },其中θ p 、φ p 分别表示节点p的外观特征和位置信息;检测结果集Y中第q个检测结果表示为y q ={a q ,b q },其中a q 、b q 分别表示检测结果q的外观特征和在图像中的位置;
计算外观相似度ρ A (x p ,y q ):获取历史节点轨迹集中节点p的外观特征θ p 与检测结果集中检测结果q的外观特征a q ,用欧氏距离D(θ p ,a q )计算特征向量θ p 、a q 之间的相似程度;ρ A (x p , y q )=1/(1+ D(θ p ,a q )) ;
计算位置相似度ρ M (x p ,y q ):获取历史节点轨迹集中节点p的预测位置φ p 与检测结果集中检测结果q的观测位置b q ,用欧氏距离D(φ p ,b q )计算φ p 、b q 之间的近邻程度;ρ M (x p ,y q )=1/ (1+ D(φ p ,b q ));
计算状态相似度ρ(x p ,y q ):状态相似度为外观相似度ρ A (x p ,y q )与位置相似度ρ M (x p ,y q )的乘积,ρ(x p ,y q )= ρ A (x p ,y q ) ×ρ M (x p ,y q );
生成一个大小为n×m关联代价矩阵C n*m ,其矩阵元素c pq 表示轨迹x p 与检测结果y q 的关联代价, c pq =-log(ρ(x p ,y q ));
步骤S10108:按如下策略更新历史节点轨迹集,
1)对于历史节点轨迹集中的任一轨迹x p ,若轨迹x p 与某一个检测结果y q 相关联,若关联代价c pq 小于预设阈值-log(Ɛ),则用与之关联的检测结果y q 的观测值b q 更新历史节点轨迹集中的轨迹x p 的预测值φ p ;否则按照轨迹x p 未获得关联检测结果处理;
2) 对于历史节点轨迹集中的任一轨迹x p ,若轨迹x p 在当前帧中未获得与之关联的检测结果,则轨迹x p 的未获关联计数器加1;如果连续f c 帧没有获得关联的检测结果,则在历史节点轨迹集中删除该节点及其轨迹;其中,f c 为预设阈值;
步骤S10109:对未获得关联轨迹的检测结果,则确定其为新生节点,为其分配跟踪ID号,将检测结果y q ={a q ,b q }作为新轨迹加入历史节点轨迹集;
步骤S10110:判断j是否等于k;若是,方法结束;若否,根据历史节点轨迹集输出当前时刻网络节点的位置,将j赋值为j+1,进入步骤S10103。
3.如权利要求1所述的实时检测Ad hoc网络关键节点的方法,其特征在于,所述步骤S102:基于当前时刻Ad hoc网络节点的位置和节点的有效通信距离信息,获取Ad hoc网络节点的物理连接关系,获得当前时刻的Ad hoc网络的网络拓扑快照,包括:
步骤S1021:基于节点间物理链路存在性判定准则确定Ad hoc网络节点间的物理连接关系,所述节点间物理链路存在性判定准则包括:
网络类型为同质网络,所有节点都具有相同的最大通信距离;节点采用全向天线,每个节点的传输范围为以该节点为中心、以最大通信距离为半径的圆;当两个节点的欧氏距离小于或等于最大通信距离时,则这两个节点互为邻居,它们之间存在一条物理链路;
步骤S1022:使用圆盘图描述Ad hoc网络节点间的连接关系;
步骤S1023:优化单位圆盘图,包括:
按照平面性原则,即拓扑图中若没有两条边在顶点以外发生边交叉,则删除非顶点交叉的边;按照稀疏性原则,在保证拓扑图连通性的前提下,删除拓扑图中多余的边;
步骤S1024:用单位Delaunay三角剖分图表示单位圆盘图的优化结果,单位Delaunay三角剖分图中的点表示网络节点,连接点的边即表示网络节点间的物理链路;生成当前时刻节点间物理连接关系的拓扑快照;
所述步骤S1024,具体包括:
步骤S10241:确定Delaunay三角形的约束条件;所述约束条件包括:1)任意两个Delaunay三角形之间除端点外无交点,即Delaunay三角形之间是互不相交的;2)任意一个Delaunay三角形不包含其它Delaunay三角形,即Delaunay三角形之间是互不包含的;3)如果一个Delaunay三角形不包含区域边界的边,则该Delaunay三角形的三条边的长度都小于或等于节点的有效通信距离;
步骤S10242:根据节点当前的位置和节点的有效通信距离信息,基于Delaunay三角形的约束条件,使用基于欧氏最小生成树的三角剖分算法,构造单位Delaunay三角剖分图;
步骤S10243:根据最小角最大化准则,局部优化单位Delaunay三角剖分图,避免在拓扑快照中出现不合理边;
步骤S10244:删除单位Delaunay三角剖分图边缘超出节点有效通信距离的边,获得描述当前时刻节点间物理连接关系的拓扑快照。
4.如权利要求1所述的实时检测Ad hoc网络关键节点的方法,其特征在于,所述步骤S103:基于所述网络拓扑快照,计算当前时刻各个节点的快照重要性,融合多个拓扑快照序列的快照重要性得到节点动态重要性,根据节点动态重要性进行排序,进而识别Ad hoc网络的关键节点,获得当前时刻Ad hoc网络的关键节点集,包括:
步骤S1031:基于t i 时刻网络拓扑快照,获取其中一个未计算动态重要性的节点v j ;
步骤S1032:计算节点v j 在t i 时刻的快照重要性C i (v j ),
节点v j 的快照重要性C i (v j )为依照t i 时刻拓扑快照G i 得到的节点v j 的重要性度量,节点重要性度量指标是节点度数、介数、中心度中的一个或多个;
t i 时刻包含N个节点的拓扑快照G i 用邻接矩阵A=(a ij ) N*N 表示;其中a ii =0,若节点v i 、v j 之间存在边,则a ij =a ji =1,否则a ij =a ji =0;
步骤S1033:计算节点v j 在t i 时刻的动态重要性I i (v j ) ,
节点v j 在t i 时刻的动态重要性I i (v j )是在 [t i-Δω ,t i ]时间段内其所有的快照重要性度量的融合,
其中,α为一常数,用于表示衰减常数,0<α<0.5;M表示当前滑动窗口中元组的个数1≤M≤Δω,Δω表示滑动窗口大小,将每一时刻的拓扑快照作为一个单位数据,拓扑快照按时间戳的先后顺序进入滑动窗口,每当有一个新的拓扑快照到达,若M=Δω,窗口则向前滑动一个单位,使得窗口内的数据得到更新,若M<Δω,则窗口内元组个数M加1;基于窗口内更新后的数据计算节点v j 在t i 时刻的动态重要性I i (v j ) ;C i-M+1 (v j )、C i-M+1+k (v j )分别表示节点v j 在t i-M+1 、t i-M+1+k 时刻的快照重要性;
步骤S1034:将节点v j 标记为已处理,判断当前时刻t i 的拓扑快照中,是否所有节点都被标记为已处理,若是,进入步骤S1035;若否,进入步骤S1031;
步骤S1035:对全部节点的动态重要性按从大到小进行排序,根据预设的关键节点数量num,选择排前num个节点作为关键节点,关键节点构成的集合为关键节点集。
5.一种实时检测Ad hoc网络关键节点的装置,其特征在于,所述装置包括:
网络节点识别跟踪模块:获取无人机实时采集的航拍视频图像,根据预设的图像帧数参数数值,获取当前时刻t i 对应的图像序列,根据所述当前时刻t i 对应的图像序列,识别和跟踪当前时刻的Ad hoc网络节点,获取各网络节点当前的位置信息;其中,0≤i≤n;
网络拓扑快照生成模块:基于当前时刻Ad hoc网络节点的位置和节点的有效通信距离信息,获取Ad hoc网络节点的物理连接关系,获得当前时刻的Ad hoc网络的网络拓扑快照;
网络关键节点识别模块:基于所述网络拓扑快照,计算当前时刻各个节点的快照重要性,融合多个拓扑快照序列的快照重要性得到节点动态重要性,根据节点动态重要性进行排序,进而识别Ad hoc网络的关键节点,获得当前时刻Ad hoc网络的关键节点集。
6.如权利要求5所述的实时检测Ad hoc网络关键节点的装置,其特征在于,所述网络节点识别跟踪模块,包括:
获取图像子模块:获取无人机实时采集的航拍视频图像,根据图像格式和分辨率定义图像坐标系;
获取轨迹子模块:根据预设的图像帧数参数数值k,获取当前时刻长度为k的图像序列;按照时间顺序对k个图像帧进行排序;令j=1;历史节点轨迹集置X为空;检测结果集Y置为空;
图像帧获取子模块:从图像序列中获取第j个图像帧为当前图像帧;
检测结果集生成子模块:根据节点检测策略从当前图像帧获取网络节点的检测结果集Y,所述检测结果集的每个检测结果包括:网络节点的纹理特征和位置信息;
所述节点检测策略包括:提取网络节点训练样本集中样本的LBP特征向量,通过支持向量机SVM算法进行特征分类,得到网络节点检测器;采用局部二值模式LBP算子提取图像的纹理特征;用滑动窗口的方式遍历当前图像帧,进行网络节点的检测搜索,获得检测结果集,所述检测结果集为各网络节点状态的观测值,状态的观测值包括网络节点的外观纹理特征和在图像中的位置信息;
第一判断子模块:若检测结果集为空,则将j赋值为j+1;
预测子模块:若历史节点轨迹集为空,则将检测结果集中的所有检测结果确定为新生节点,分别为其分配跟踪ID号,每个检测结果作为一条新轨迹加入历史节点轨迹集,将j赋值为j+1;否则,对历史节点轨迹集中的每一条轨迹,基于节点匀速运动模型用Kalman滤波器预测该条轨迹对应节点在当前帧中的位置,并用预测值更新该条轨迹的位置信息;
状态相似度计算子模块:计算历史节点轨迹集中各条轨迹与当前检测结果集各检测结果的状态相似度,生成关联代价矩阵C n*m ,并基于关联代价矩阵运用匈牙利算法获取最优数据关联;
所述计算历史节点轨迹集中各条轨迹与当前检测结果集中各检测结果的状态相似度,包括:
X={x p |p=1,2,…,n}为当前时刻存在n个节点的历史节点轨迹集, Y={y q |q=1,2,…,m}为获得m个节点检测结果的检测结果集;历史节点轨迹集X中第p个节点的轨迹表示为x p = {θ p ,φ p },其中θ p 、φ p 分别表示节点p的外观特征和位置信息;检测结果集Y中第q个检测结果表示为y q ={a q ,b q },其中a q 、b q 分别表示检测结果q的外观特征和在图像中的位置;
计算外观相似度ρ A (x p ,y q ):获取历史节点轨迹集中节点p的外观特征θ p 与检测结果集中检测结果q的外观特征a q ,用欧氏距离D(θ p ,a q )计算特征向量θ p 、a q 之间的相似程度;ρ A (x p , y q )=1/(1+ D(θ p ,a q )) ;
计算位置相似度ρ M (x p ,y q ):获取历史节点轨迹集中节点p的预测位置φ p 与检测结果集中检测结果q的观测位置b q ,用欧氏距离D(φ p ,b q )计算φ p 、b q 之间的近邻程度;ρ M (x p ,y q )=1/ (1+ D(φ p ,b q ));
计算状态相似度ρ(x p ,y q ):状态相似度为外观相似度ρ A (x p ,y q )与位置相似度ρ M (x p ,y q )的乘积,ρ(x p ,y q )= ρ A (x p ,y q ) ×ρ M (x p ,y q );
生成一个大小为n×m关联代价矩阵C n*m ,其矩阵元素c pq 表示轨迹x p 与检测结果y q 的关联代价, c pq =-log(ρ(x p ,y q ));
历史节点轨迹更新子模块,按如下策略更新历史节点轨迹集,
1)对于历史节点轨迹集中的任一轨迹x p ,若轨迹x p 与某一个检测结果y q 相关联,若关联代价c pq 小于预设阈值-log(Ɛ),则用与之关联的检测结果y q 的观测值b q 更新历史节点轨迹集中的轨迹x p 的预测值φ p ;否则按照轨迹x p 未获得关联检测结果处理;
2) 对于历史节点轨迹集中的任一轨迹x p ,若轨迹x p 在当前帧中未获得与之关联的检测结果,则轨迹x p 的未获关联计数器加1;如果连续f c 帧没有获得关联的检测结果,则在历史节点轨迹集中删除该节点及其轨迹;其中,f c 为预设阈值;
历史节点轨迹集再次更新子模块,对未获得关联轨迹的检测结果,则确定其为新生节点,为其分配跟踪ID号,将检测结果y q ={a q ,b q }作为新轨迹加入历史节点轨迹集;
第二判断子模块:判断j是否等于k。
7.如权利要求5所述的实时检测Ad hoc网络关键节点的装置,其特征在于,所述网络拓扑快照生成模块,包括:
连接关系确定子模块:基于节点间物理链路存在性判定准则确定Ad hoc网络节点间的物理连接关系,所述节点间物理链路存在性判定准则包括:
网络类型为同质网络,所有节点都具有相同的最大通信距离;节点采用全向天线,每个节点的传输范围为以该节点为中心、以最大通信距离为半径的圆;当两个节点的欧氏距离小于或等于最大通信距离时,则这两个节点互为邻居,它们之间存在一条物理链路;
描述子模块:使用圆盘图描述Ad hoc网络节点间的连接关系;
优化子模块:优化单位圆盘图,包括:
按照平面性原则,即拓扑图中若没有两条边在顶点以外发生边交叉,则删除非顶点交叉的边;按照稀疏性原则,在保证拓扑图连通性的前提下,删除拓扑图中多余的边;
拓扑快照生成子模块:用单位Delaunay三角剖分图表示单位圆盘图的优化结果,单位Delaunay三角剖分图中的点表示网络节点,连接点的边即表示网络节点间的物理链路;生成当前时刻节点间物理连接关系的拓扑快照;
所述拓扑快照生成子模块,包括:
第一确定子模块:确定Delaunay三角形的约束条件;所述约束条件包括:1)任意两个Delaunay三角形之间除端点外无交点,即Delaunay三角形之间是互不相交的;2)任意一个Delaunay三角形不包含其它Delaunay三角形,即Delaunay三角形之间是互不包含的;3)如果一个Delaunay三角形不包含区域边界的边,则该Delaunay三角形的三条边的长度都小于或等于节点的有效通信距离;
第一构造子模块:根据节点当前的位置和节点的有效通信距离信息,基于Delaunay三角形的约束条件,使用基于欧氏最小生成树的三角剖分算法,构造单位Delaunay三角剖分图;
第一删除子模块:根据最小角最大化准则,局部优化单位Delaunay三角剖分图,避免在拓扑快照中出现不合理边;
第二删除子模块:删除单位Delaunay三角剖分图边缘超出节点有效通信距离的边,获得描述当前时刻节点间物理连接关系的拓扑快照。
8.如权利要求5所述的实时检测Ad hoc网络关键节点的装置,其特征在于,所述网络关键节点识别模块,包括:
获取节点子模块:基于t i 时刻网络拓扑快照,获取其中一个未计算动态重要性的节点v j ;
节点快照重要性计算模块:计算节点v j 在t i 时刻的快照重要性C i (v j ),
节点v j 的快照重要性C i (v j )为依照t i 时刻拓扑快照G i 得到的节点v j 的重要性度量,节点重要性度量指标是节点度数、介数、中心度中的一个或多个;
t i 时刻包含N个节点的拓扑快照G i 用邻接矩阵A=(a ij ) N*N 表示;其中a ii =0,若节点v i 、v j 之间存在边,则a ij =a ji =1,否则a ij =a ji =0;
节点动态重要性计算模块:计算节点v j 在t i 时刻的动态重要性I i (v j ) ,
节点v j 在t i 时刻的动态重要性I i (v j )是在 [t i-Δω ,t i ]时间段内其所有的快照重要性度量的融合,
其中,其中,α为一常数,用于表示衰减常数,0<α<0.5;M表示当前滑动窗口中元组的个数1≤M≤Δω,Δω表示滑动窗口大小,将每一时刻的拓扑快照作为一个单位数据,拓扑快照按时间戳的先后顺序进入滑动窗口,每当有一个新的拓扑快照到达,若M=Δω,窗口则向前滑动一个单位,使得窗口内的数据得到更新,若M<Δω,则窗口内元组个数M加1;基于窗口内更新后的数据计算节点v j 在t i 时刻的动态重要性I i (v j ) ;C i-M+1 (v j )、C i-M+1+k (v j )分别表示节点v j 在t i-M+1 、t i-M+1+k 时刻的快照重要性;
标记子模块:将节点v j 标记为已处理,判断当前时刻t i 的拓扑快照中,是否所有节点都被标记为已处理;
排序子模块:对全部节点的动态重要性按从大到小进行排序,根据预设的关键节点数量num,选择排前num个节点作为关键节点,关键节点构成的集合为关键节点集。
9.一种实时检测Ad hoc网络关键节点系统,其特征在于,包括:
处理器,用于执行多条指令;
存储器,用于存储多条指令;
其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行如权利要求1-4之任一项所述的实时检测Ad hoc网络关键节点的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行如权利要求1-4之任一项所述的实时检测Ad hoc网络关键节点的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010438448.7A CN111601361B (zh) | 2020-05-22 | 2020-05-22 | 一种实时检测Ad hoc网络关键节点的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010438448.7A CN111601361B (zh) | 2020-05-22 | 2020-05-22 | 一种实时检测Ad hoc网络关键节点的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111601361A true CN111601361A (zh) | 2020-08-28 |
CN111601361B CN111601361B (zh) | 2021-11-16 |
Family
ID=72190534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010438448.7A Active CN111601361B (zh) | 2020-05-22 | 2020-05-22 | 一种实时检测Ad hoc网络关键节点的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111601361B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112100427A (zh) * | 2020-09-03 | 2020-12-18 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN113260012A (zh) * | 2021-05-31 | 2021-08-13 | 四川腾盾科技有限公司 | 一种基于位置轨迹预测的无人机群拓扑控制方法 |
CN113411197A (zh) * | 2021-04-28 | 2021-09-17 | 西安电子科技大学 | 一种无先验拓扑信息的非合作关键节点识别方法 |
CN114118375A (zh) * | 2021-11-29 | 2022-03-01 | 吉林大学 | 一种基于时序图Transformer的连续动态网络表征学习方法 |
CN114866354A (zh) * | 2022-07-06 | 2022-08-05 | 中国人民解放军国防科技大学 | 基于指纹元搜索与扩展识别的物联网终端设备识别方法 |
CN115038140A (zh) * | 2022-04-27 | 2022-09-09 | 东北大学 | 基于空地集群轨迹预测的组播路由方法 |
CN117097909A (zh) * | 2023-10-20 | 2023-11-21 | 深圳市星易美科技有限公司 | 一种分布式家用音视频处理方法及系统 |
CN118555214B (zh) * | 2024-07-29 | 2024-09-27 | 中国人民解放军国防科技大学 | 一种大规模通信网络关键节点识别方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1889467A (zh) * | 2006-07-28 | 2007-01-03 | 西安电子科技大学 | 分布式无线网络关键节点探测方法 |
US20070153707A1 (en) * | 2006-01-04 | 2007-07-05 | Pascal Thubert | Ad hoc network formation and management based on aggregation of ad hoc nodes according to an aggregation hierarchy |
CN106878067A (zh) * | 2017-01-24 | 2017-06-20 | 中国人民解放军电子工程学院 | 一种动态AdHoc网络关键节点识别方法 |
-
2020
- 2020-05-22 CN CN202010438448.7A patent/CN111601361B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070153707A1 (en) * | 2006-01-04 | 2007-07-05 | Pascal Thubert | Ad hoc network formation and management based on aggregation of ad hoc nodes according to an aggregation hierarchy |
CN1889467A (zh) * | 2006-07-28 | 2007-01-03 | 西安电子科技大学 | 分布式无线网络关键节点探测方法 |
CN106878067A (zh) * | 2017-01-24 | 2017-06-20 | 中国人民解放军电子工程学院 | 一种动态AdHoc网络关键节点识别方法 |
Non-Patent Citations (1)
Title |
---|
付世海: "基于社团结构的网络多传播源定位算法研究", 《中国优秀硕士论文全文数据库》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112100427A (zh) * | 2020-09-03 | 2020-12-18 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN113411197A (zh) * | 2021-04-28 | 2021-09-17 | 西安电子科技大学 | 一种无先验拓扑信息的非合作关键节点识别方法 |
CN113260012A (zh) * | 2021-05-31 | 2021-08-13 | 四川腾盾科技有限公司 | 一种基于位置轨迹预测的无人机群拓扑控制方法 |
CN113260012B (zh) * | 2021-05-31 | 2021-09-28 | 四川腾盾科技有限公司 | 一种基于位置轨迹预测的无人机群拓扑控制方法 |
CN114118375A (zh) * | 2021-11-29 | 2022-03-01 | 吉林大学 | 一种基于时序图Transformer的连续动态网络表征学习方法 |
CN114118375B (zh) * | 2021-11-29 | 2024-05-10 | 吉林大学 | 一种基于时序图Transformer的连续动态网络表征学习方法 |
CN115038140A (zh) * | 2022-04-27 | 2022-09-09 | 东北大学 | 基于空地集群轨迹预测的组播路由方法 |
CN114866354A (zh) * | 2022-07-06 | 2022-08-05 | 中国人民解放军国防科技大学 | 基于指纹元搜索与扩展识别的物联网终端设备识别方法 |
CN114866354B (zh) * | 2022-07-06 | 2022-10-11 | 中国人民解放军国防科技大学 | 基于指纹元搜索与扩展识别的物联网终端设备识别方法 |
CN117097909A (zh) * | 2023-10-20 | 2023-11-21 | 深圳市星易美科技有限公司 | 一种分布式家用音视频处理方法及系统 |
CN117097909B (zh) * | 2023-10-20 | 2024-02-02 | 深圳市星易美科技有限公司 | 一种分布式家用音视频处理方法及系统 |
CN118555214B (zh) * | 2024-07-29 | 2024-09-27 | 中国人民解放军国防科技大学 | 一种大规模通信网络关键节点识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111601361B (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111601361B (zh) | 一种实时检测Ad hoc网络关键节点的方法及装置 | |
US9942720B2 (en) | Location determination, mapping, and data management through crowdsourcing | |
CN108306756B (zh) | 一种基于电力数据网全息评估系统及其故障定位方法 | |
US9128959B2 (en) | Crowdsourced search and locate platform | |
US20200158810A1 (en) | Partial phase vectors as network sensors | |
US20190213285A1 (en) | Information fusion in multi-domain operational environment | |
US20190213263A1 (en) | Automated multi-domain operational services | |
CN109409238A (zh) | 一种障碍物检测方法、装置及终端设备 | |
CN113159283A (zh) | 一种基于联邦迁移学习的模型训练方法及计算节点 | |
CN111738221A (zh) | 人脸聚类的方法、装置和计算机可读存储介质 | |
CN116862012A (zh) | 机器学习模型训练方法、业务数据处理方法、装置及系统 | |
US20230283925A1 (en) | Object detection improvement based on autonomously selected training samples | |
CN110096979B (zh) | 模型的构建方法、人群密度估计方法、装置、设备和介质 | |
CN113763700A (zh) | 信息处理方法、装置、计算机设备及存储介质 | |
CN117221087A (zh) | 告警根因定位方法、装置及介质 | |
CN116528149A (zh) | 融合定位方法、系统、电子设备及存储介质 | |
US11222261B2 (en) | Supporting machine learning models distributed among multiple mobile node devices | |
JP2014169872A (ja) | センサ統合装置及びセンサ統合方法 | |
CN112769620B (zh) | 一种网络部署方法、设备和计算机可读存储介质 | |
CN111405484B (zh) | 一种网络位置挖掘方法、装置、设备及存储介质 | |
US11074710B2 (en) | Image-based framework for improving location estimate accuracy in indoor positioning systems | |
CN115187884A (zh) | 一种高空抛物识别方法、装置、电子设备及存储介质 | |
CN109409411B (zh) | 基于运维管理的问题定位方法、装置及存储介质 | |
CN113361392B (zh) | 无监督的基于相机和无线定位的多模态行人重识别方法 | |
Abdurrazaq et al. | Distributed intrusion detection system using cooperative agent based on ant colony clustering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |