CN115393681A - 一种目标融合方法、装置、电子设备及存储介质 - Google Patents
一种目标融合方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115393681A CN115393681A CN202210960915.1A CN202210960915A CN115393681A CN 115393681 A CN115393681 A CN 115393681A CN 202210960915 A CN202210960915 A CN 202210960915A CN 115393681 A CN115393681 A CN 115393681A
- Authority
- CN
- China
- Prior art keywords
- target
- video
- radar
- targets
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 28
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 230000000875 corresponding effect Effects 0.000 claims description 69
- 238000001514 detection method Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 31
- 230000002596 correlated effect Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 101100424383 Rattus norvegicus Taar4 gene Proteins 0.000 description 2
- 101150117538 Set2 gene Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 102100029768 Histone-lysine N-methyltransferase SETD1A Human genes 0.000 description 1
- 101000865038 Homo sapiens Histone-lysine N-methyltransferase SETD1A Proteins 0.000 description 1
- 101150055297 SET1 gene Proteins 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请公开了一种目标融合方法、装置、电子设备及存储介质，涉及数据融合技术领域。本申请中，基于雷达目标关联的第一属性集合，以及基于M个视频目标各自关联的第二属性集合；接着，从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合，从而获得，获得N个与雷达目标关联后的视频目标；进一步地，基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标；最终，对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。采用这种方式，提高了将雷达目标和视频目标进行融合的准确率。
Description
技术领域
本申请涉及数据融合技术领域，尤其涉及一种目标融合方法、装置、电子设备及存储介质。
背景技术
雷达与视频采集设备虽然都可以探测目标，但是两种设备的适用场景截然不同。
雷达可以准确地获取目标的空间位置信息和运动速度信息，且可以检测到远处的目标，不受光照等环境的影响，但无法获得高准确率的目标识别信息，且当目标处于静止状态时，无法准确地进行检测。
而视频采集设备可以获得高准确率的目标识别信息，且可以准确检测到中近距离内的所有目标，但不易准确地获得目标的空间位置信息和运动速度信息，对远处目标的检测效果差，且易受光照不良和大雾天气等环境影响。
鉴于上述雷达和视频采集设备各自的目标探测优势和局限，为了获得更高的目标识别准确率，出现了各种各样的将雷达和视频采集设备各自的探测数据进行有效融合的目标识别技术。
示例性的，如图1所示，左侧为视频监控场景，A、B、C、D分别表示4个视频目标，右侧是雷达监控场景，①、②、③、④表示4个聚类处理后的雷达目标，其中，实际目标应为6个，即D、C-④、B-③、A、②、①，能同时被视频和雷达检测到的目标只有C-④和B-③，视频目标D由于距离过近，只有视频能检测到，因此无对应的雷达目标可以关联，视频目标A由于遮挡，也无法被雷达检测到，因此无对应的雷达目标可以关联，雷达目标②和①因距离过远，只能被雷达检测到，因此无对应的视频目标可以关联。
显然，采用上述的雷达和视频融合的目标识别方法，可将视频目标C与雷达目标④关联，视频目标B与雷达目标③关联，然而，由于A与B的位置接近，若将A与③关联在一起，则属于关联错误的结果，会影响将视频目标和雷达目标进行融合的操作。
因此，采用上述方式，无法确保将雷达目标和视频目标进行融合的准确率。
发明内容
本申请实施例提供了一种目标融合方法、装置、电子设备及存储介质，用以提高将雷达目标和视频目标进行融合的准确率。
第一方面，本申请实施例提供了一种目标融合方法，所述方法包括：
分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与雷达目标满足预设的位置偏差条件的M个视频目标；其中，M为大于1的整数；
基于雷达目标的第一识别结果，获取关联的第一属性集合，以及基于M个视频目标各自的第二识别结果，分别获取M个视频目标各自关联的第二属性集合；
从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合，并分别将N个第二属性集合各自对应的视频目标，与雷达目标进行关联，获得N个关联后的视频目标；其中，N为大于0，且小于或等于M的整数；
基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标；
对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。
第二方面，本申请实施例还提供了一种目标融合装置，所述装置包括：
第一获取模块，用于分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与雷达目标满足预设的位置偏差条件的M个视频目标；其中，M为大于1的整数；
第二获取模块，用于基于雷达目标的第一识别结果，获取关联的第一属性集合，以及基于M个视频目标各自的第二识别结果，分别获取M个视频目标各自关联的第二属性集合；
目标关联模块，用于从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合，并分别将N个第二属性集合各自对应的视频目标，与雷达目标进行关联，获得N个关联后的视频目标；其中，N为大于0，且小于或等于M的整数；
目标筛选模块，用于基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标；
目标融合模块，用于对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。
在一种可能的实施例中，在分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与雷达目标满足预设的位置偏差条件的M个视频目标时，所述第一获取模块具体用于：
分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达点云数据和L个视频图像数据；其中，雷达点云数据用于指示：目标场景中各目标各自在雷达坐标参考系中的点云位置，L为大于或等于M的整数；
对雷达点云数据进行解析，获得雷达目标在标准坐标参考系中的第一坐标位置，以及对L个视频图像数据进行解析，获得L个视频目标各自在标准坐标参考系中的第二坐标位置；
基于获得的第一坐标位置和L个第二坐标位置，从L个视频目标中，筛选出满足位置偏差条件的M个视频目标。
在一种可能的实施例中，在对雷达点云数据进行解析，获得雷达目标在标准坐标参考系中的第一坐标位置时，所述第一获取模块具体用于：
从雷达点云数据中，获得雷达目标在雷达坐标参考系中的目标点云位置；
基于目标点云位置，获得雷达目标在标准坐标参考系中的第一坐标位置。
在一种可能的实施例中，在对L个视频图像数据进行解析，获得L个视频目标各自在标准坐标参考系中的第二坐标位置时，所述第一获取模块具体用于：
针对L个视频图像数据，分别执行以下操作：
从一个视频图像数据中，获得一个视频目标对应的目标检测框包含的各边界检测点，在视频坐标参考系中的各视频边界坐标位置；
确定各视频边界坐标位置，各自在标准坐标参考系中的标准边界坐标位置；
基于获得的各标准边界坐标位置，获得一个视频目标的第二坐标位置。
在一种可能的实施例中，采用如下方式之一，从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合：
针对M个第二属性集合，分别执行以下操作：
从一个视频图像数据中，确定目标检测框对应的目标覆盖范围，并获得目标覆盖范围对应的标准坐标位置集合；
若标准坐标位置集合包含第一坐标位置，则确定第一属性集合与一个视频目标的第二属性集合，满足属性相似度条件；或者
获取第一属性集合包含的雷达目标历史轨迹，以及获取一个视频目标的第二属性集合包含的视频目标历史轨迹；
当雷达目标历史轨迹与视频目标历史轨迹，满足预设的轨迹相似度条件时，确定第一属性集合与一个视频目标的第二属性集合，满足属性相似度条件。
在一种可能的实施例中，在获得N个关联后的视频目标之后，基于N个关联后的视频目标各自对应的关联可信度之前，所述目标关联模块还用于：
针对N个关联后的视频目标，分别执行以下操作：
从一个关联后的视频目标的第二属性集合中，获取在与设定时刻相邻的上一采样时刻，一个关联后的视频目标，与关联的历史雷达目标之间的历史关联可信度；
基于所述历史关联可信度，以及预设的可信度阈值，获得雷达目标与一个关联后的视频目标之间的实际关联可信度。
在一种可能的实施例中，在基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标时，所述目标筛选模块具体用于：
基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，获得N个关联后的视频目标各自对应的关联可信度排列顺序；
基于获得的N个关联可信度排列顺序，从N个关联后的视频目标中，筛选出满足关联可信度条件的目标关联视频目标。
在一种可能的实施例中，在基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标的过程中，所述目标筛选模块还用于：
针对N个关联后的视频目标，分别执行以下操作：
在确定第一属性集合，与一个关联后的视频目标的第二属性集合，若满足以下条件之一，则解除雷达目标和一个关联后的视频目标之间的关联：
第一属性集合包含的雷达目标的目标类型，与一个关联后的视频目标的第二属性集合包含的一个关联后的视频目标的目标类型不同；
第一属性集合包含的雷达目标所处的区域标识，与一个关联后的视频目标的第二属性集合包含的一个关联后的视频目标所处的区域标识不同。
在一种可能的实施例中，所述目标融合模块还用于：
若N等于1，则将关联后的视频目标作为目标关联视频目标，并对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。
第三方面，提出了一种电子设备，其包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述第一方面所述的目标融合方法的步骤。
第四方面，提出一种计算机可读存储介质，其包括程序代码，当所述程序代码在电子设备上运行时，所述程序代码用于使所述电子设备执行上述第一方面所述的目标融合方法的步骤。
第五方面，提供一种计算机程序产品，所述计算机程序产品在被计算机调用时，使得所述计算机执行如第一方面所述的目标融合方法步骤。
本申请有益效果如下：
在本申请实施例所提供的目标融合方法中，分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与雷达目标满足预设的位置偏差条件的M个视频目标；接着，基于雷达目标的第一识别结果，获取关联的第一属性集合，以及基于M个视频目标各自的第二识别结果，分别获取M个视频目标各自关联的第二属性集合；再者，从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合，并分别将N个第二属性集合各自对应的视频目标，与雷达目标进行关联，获得N个关联后的视频目标；进一步地，基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标；最终，对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。
采用这种方式，根据第一属性集合与第二属性集合之间的属性相似度和预设的属性相似度条件，以及，关联后的视频目标和雷达目标之间的实际关联可信度和预设的关联可信度条件，避免了传统技术中，因视频目标与雷达目标的错误关联，从而错误地将雷达目标与视频目标进行融合的技术弊端，故而，提高了将雷达目标和视频目标进行融合的准确率。
此外，本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示例性示出了本申请实施例提供的一种视频监控场景和雷达监控场景的具体应用场景示意图；
图2示例性示出了本申请实施例适用的系统架构的一个可选的示意图；
图3示例性示出了本申请实施例提供的一种目标融合方法的方法实施流程图；
图4示例性示出了本申请实施例提供的一种获取坐标位置的场景示意图；
图5示例性示出了本申请实施例提供的一种判断是否满足预设的属性相似度的逻辑示意图；
图6示例性示出了本申请实施例提供的另一种判断是否满足预设的属性相似度的逻辑示意图；
图7示例性示出了本申请实施例提供的两种解除雷达目标和视频目标之间的关联的逻辑示意图；
图8示例性示出了本申请实施例提供的一种获取视频目标的具体应用场景示意图；
图9示例性示出了本申请实施例提供的一种基于图3的具体应用场景示意图；
图10示例性示出了本申请实施例提供的一种目标融合装置的结构示意图；
图11示例性示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
需要说明的是，在本申请的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。A与B连接，可以表示：A与B直接连接和A与B通过C连接这两种情况。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
此外，本申请技术方案中，对数据的采集、传播、使用等，均符合国家相关法律法规要求。
在日常生活中，安防已逐渐受到公众地重视，因此，安防产品也层出不穷，安防应用领域也不断扩展，安防技术也迅速发展。基于雷达和视频的区域监视技术是最近的一大热点。传统的安防终端器材主要是可见光摄像机，用于获得目标的类别信息，但不易获得目标的运行信息。
例如，很容易识别目标类型，但却不易估计目标的速度和空间位置，且在较远距离、夜晚、雨雾天对目标的识别准确率相对于近距离目标准确率较低，即目标在监控区域内时间空间准确度不一致(甚至存在显著差别)，通常采集到地视频目标是在图像中的一个矩形区域。
然而，雷达主动发射电磁波并接受同频率信号，对移动物体或雷达反射面积较大的物体，有非常高的检测概率，且毫米波雷达可全天24小时工作，受天气影响较小，但对于静止物体有较低的检测概率(检测概率不为零)，需要说明的是，雷达检测的目标为一簇聚集区域，但是本文的产生式系统属于决策级融合方法，对于决策级目标融合来说，雷达目标只是一个经聚类处理后的点。
因此，二者相互结合，可取长补短，便可获得1+1大于2的效果：既进一步提高目标检测识别概率，还可获得目标距离、方位和速度信息，即通过视频获得目标类型，通过雷达获得目标空间位置和速度，从而将雷达目标和视频目标匹配/融合。
进一步地，在雷达目标和视频目标融合时，准确无误的融合结果是后续事件处理的基础。
有鉴于此，为提高将雷达目标和视频目标进行融合的准确率，本申请实施例提供了一种目标融合方法，具体包括：分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与雷达目标满足预设的位置偏差条件的M个视频目标；接着，基于雷达目标的第一识别结果，获取关联的第一属性集合，以及基于M个视频目标各自的第二识别结果，分别获取M个视频目标各自关联的第二属性集合；再者，从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合，并分别将N个第二属性集合各自对应的视频目标，与雷达目标进行关联，获得N个关联后的视频目标；进一步地，基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标；最终，对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。
特别地，以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。
参阅图2所示，其为本申请实施例提供的一种系统架构示意图，该系统架构包括：服务器201、终端设备202、视频采集设备203和雷达204。服务器201和终端设备202之间可通过通信网络进行信息交互，其中，通信网络采用的通信方式可包括：无线通信方式和有线通信方式，视频采集设备203和雷达204均可将采集到地数据或者信息传输给终端设备202。
示例性的，服务器201可通过蜂窝移动通信技术接入网络，与终端设备202进行通信，其中，所述蜂窝移动通信技术，比如，包括第五代移动通信(5th Generation MobileNetworks，5G)技术。
可选的，服务器201可通过短距离无线通信方式接入网络，与终端设备202进行通信，其中，所述短距离无线通信方式，比如，包括无线保真(Wireless Fidelity，Wi-Fi)技术。
服务器201可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
值得提出的是，在本申请实施例中，服务器201用于分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与雷达目标满足预设的位置偏差条件的M个视频目标；接着，基于雷达目标的第一识别结果，获取关联的第一属性集合，以及基于M个视频目标各自的第二识别结果，分别获取M个视频目标各自关联的第二属性集合；再者，从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合，并分别将N个第二属性集合各自对应的视频目标，与雷达目标进行关联，获得N个关联后的视频目标；进一步地，基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标；最终，对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。
还需说明的是，本申请实施例中，服务器在筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合，和基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标，依赖于产生式系统的产生式规则，其中，产生式系统是为解决某一问题或完成某一作业，而按一定层次联结组成的认知规则系统，由全局数据库、产生式规则和控制系统三部分组成，每一产生式规则由条件(即当前的状态或情境)和行动两部分组成,其基本规则是“若条件X，则实施行动Y”，即当一个产生式中的条件得到满足，则执行相应产生式规定的某个行动。
终端设备202是一种可以向用户提供语音和/或数据连通性的设备，包括：具有无线连接功能的手持式终端设备、车载终端设备等。
示例性的，终端设备202包括但不限于：手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(Mobile Internet Device，MID)、可穿戴设备，虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备、工业控制中的无线终端设备、无人驾驶中的无线终端设备、智能电网中的无线终端设备、运输安全中的无线终端设备、智慧城市中的无线终端设备，或智慧家庭中的无线终端设备等。
此外，终端设备202上可以安装有相关的客户端，该客户端可以是软件(例如，应用程序、浏览器、短视频软件等)，也可以是网页、小程序等。在本申请实施例中，获取的雷达目标和视频目标可由终端设备202发送至服务器201。
视频采集设备203把模拟视频转换成数字视频，并按数字视频文件的格式保存下来，所谓视频采集就是将模拟摄像机、录像机、镭射影碟(英文：Laserdisc，缩写：LD)视盘机、电视机输出的视频信号，通过专用的模拟、数字转换设备，转换为二进制数字信息的过程。
在视频采集的工作过程中，视频采集卡是主要设备，它分为专业和家用两个级别，专业级视频采集卡不仅可以进行视频采集，并且还可以实现硬件级的视频压缩和视频编辑，而家用级的视频采集卡只能做到视频采集和初步的硬件级压缩，而更为“低端”的电视卡，虽可进行视频的采集，但它通常都省却了硬件级的视频压缩功能。
雷达204是指无线电探测和测距，即用无线电的方法发现目标并测定其空间位置，因此，雷达也被称为“无线电定位”是利用电磁波探测目标的电子设备。雷达发射电磁波对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息。
示例性的，雷达包括毫米波雷达，毫米波雷达可获得目标的量测信息包括：距离、角度、径向速度、雷达反射面积，需注意的是，正常毫米波雷达检测的目标为一簇聚集区域，但是本文的产生式系统属于决策级融合方法，对于决策级目标融合来说，雷达目标只是一个经聚类处理后的点，视频目标是在图像中的一个矩形区域。
下面结合上述的系统架构，以及参考附图来描述本申请示例性实施方式提供的目标融合方法，需要注意的是，上述系统架构仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。
参阅图3所示，其为本申请实施例提供的一种目标融合方法的方法实施流程图，执行主体以服务器为例，该方法的具体实施流程如下：
S301：分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与雷达目标满足预设的位置偏差条件的M个视频目标。
其中，M为大于1的整数。
具体的，参阅图4所示，在执行步骤S301时，服务器获取雷达在设定时刻从目标场景中，采集到的雷达点云数据，以及视频采集设备在设定时刻从目标场景中，采集到的L个视频图像数据；其中，雷达点云数据用于指示：目标场景中各目标各自在雷达坐标参考系中的点云位置，L为大于或等于M的整数；进一步地，对雷达点云数据进行解析，获得雷达目标在标准坐标参考系中的第一坐标位置，以及对L个视频图像数据进行解析，获得L个视频目标各自在标准坐标参考系中的第二坐标位置。
示例性的，服务器从雷达点云数据中，获得雷达目标在雷达坐标系中的目标点云位置，再基于目标点云位置，中，雷达可检测和跟踪雷达目标的个数和雷达点云数据，可建立如下雷达目标序列和对应的雷达点云集合序列，假定以5个雷达目标为例，则各雷达目标及其各自对应的雷达点云集合如表1所示：
表1
| 雷达目标 | Rtrg1 | Rtrg2 | Rtrg3 | Rtrg4 | Rtrg5 |
| 雷达点云集合 | CatPtSet1 | CatPtSet2 | CatPtSet3 | CatPtSet4 | CatPtSet5 |
基于上述表格可知，服务器可获得雷达在设定时刻从目标场景中，采集到的各雷达目标及其各自对应的雷达点云集合，进而对相应的雷达目标进行后续的目标融合操作。
此外，服务器还可根据雷达点云数据，获得聚类的雷达目标个数及其各自的雷达点云位置，即输入雷达点云数据之后，便可获得雷达目标个数和各雷达目标的雷达点云位置，其中，各雷达点云位置以雷达坐标参考系为基准。
进一步地，服务器可将雷达坐标参考系下的雷达目标的目标点云位置，转换为标准坐标参考系下的第一坐标位置，其中，标准坐标参考系也称之为世界坐标参考系或绝对坐标参考系。
示例性的，经过聚类算法处理，雷达目标的位置在雷达坐标参考系和标准坐标参考系的位置映射关系如下：
Rloci＝H(CartSeti)
其中，Rloci表示雷达目标在标准坐标参考系的第一坐标位置，H(*)表示对雷达点云集合CartSeti(即雷达点云数据)进行处理的聚类算法。
同理，服务器针对获得的L个视频数据，分别执行以下操作：从一个视频图像数据中，获得上述一个视频目标对应的目标检测框包含的各边界检测点，在视频坐标参考系中的各视频边界坐标位置，再确定各视频边界坐标位置，各自在标准坐标参考系中的标准边界坐标位置，从而基于获得的各标准边界坐标位置，获得上述一个视频目标的第二坐标位置。
例如，视频采集设备根据视频跟踪算法可实时给出目标检测框及其包含的各边界检测点，可建立视频目标序列以及对应的目标检测框序列，假定以5个视频目标为例，则各视频目标及其各自对应的目标检测框序列如表2所示：
表2
| 视频目标 | Vtrg1 | Vtrg2 | Vtrg3 | Vtrg4 | Vtrg5 |
| 目标检测框 | BoxPt1 | BoxPt2 | BoxPt3 | BoxPt4 | BoxPt5 |
其中，假定以4个目标检测框的边界检测点为例，则上述目标检测框的位置信息可记为：
分别表示目标检测框BoxPti左上，右上，左下，右下四个点的像素坐标(视频边界坐标位置)，其中，各像素点坐标以视频参考坐标系为基准。
接着，服务器可将视频坐标参考系下的上述一个视频目标对应的目标检测框包含的各边界检测点，各自在视频坐标参考系中的各视频边界坐标位置，转换为标准坐标参考系下的标准边界坐标位置。
示例性的，经过标定算法处理，边界检测点的位置在雷达坐标参考系和标准坐标参考系的位置映射关系如下：
Rbi＝G(BoxPti)
其中，Rbi表示目标检测框BoxPti的边界检测点i在标准坐标参考系的标准边界坐标位置，G(*)表示对目标检测框BoxPti的边界检测点i进行处理的标定函数，标定函数所对应的标定算法可为相机内外参标定方法和四点标定方法等。
进一步地，可根据目标检测框BoxPti包含的4个像素点坐标，在标准坐标系下的标准边界坐标位置，去确定视频目标Vtrgi在标准坐标参考系下的第二坐标位置，其中，第二坐标位置的计算公式如下：
其中，Rbi表示边界检测点i的标准边界坐标位置，Vloci表示视频目标在标准坐标参考系的第二坐标位置。
可选的，服务器获得目标检测框BoxPti包含的各边界检测点，在视频坐标参考系中的各视频边界坐标位置，可预先计算出目标检测框BoxPti的中心点的视频坐标位置(U，V)，然后通过标定函数G(*)，将中心点的视频坐标位置(U，V)转化为第二坐标位置，其中，转换关系如下：
Vloci＝G(U，V)＝(X，Y)
需要说明的是，Vloci表示视频目标在标准坐标参考系的第二坐标位置，也可记作(X，Y)。
紧接着，服务器在获得雷达目标的第一坐标位置和L个视频目标各自的第二坐标位置之后，便可判定获得的第一坐标位置和L个第二坐标位置，是否满足预设的位置偏差条件，其中，位置偏差的计算公式具体如下：
其中，Db表示位置偏差，(X1，Y1)表示第一坐标位置的横纵坐标，(X2，Y2)表示第二坐标位置的横纵坐标。
进一步地，假定预设的位置偏差阈值Dy＝0.3m，若第一坐标位置和第二坐标位置的位置偏差Db＝0.8m，易知位置偏差Db＝0.8m大于预设的位置偏差阈值Dy＝0.3m，则可判断第一坐标位置和第二坐标位置，满足预设的位置偏差条件；若第一坐标位置和第二坐标位置的位置偏差Db＝0.25m，易知位置偏差Db＝0.25m小于预设的位置偏差阈值Dy＝0.3m，则可判断第一坐标位置和第二坐标位置，不满足预设的位置偏差条件。
由此可见，基于上述预设的位置偏差条件，可从获得的L个视频目标中，筛选出满足位置偏差条件的M个视频目标。
S302：基于雷达目标的第一识别结果，获取关联的第一属性集合，以及基于M个视频目标各自的第二识别结果，分别获取M个视频目标各自关联的第二属性集合。
具体的，在执行步骤S302时，服务器在获得雷达目标和M个视频目标之后，便可对雷达目标进行识别，获得相应的第一识别结果(包括雷达目标的ID属性)，以及分别对M个视频目标进行识别，获得M个视频目标各自对应的第二识别结果(视频目标的ID属性)，从而基于雷达目标的第一识别结果获取关联的第一属性集合，以及基于M个视频目标各自的第二识别结果，分别获取M个视频目标各自关联的第二属性集合，其中，第一属性集合和M个第二属性集合都可保存在综合数据库中。
需要说明的是，综合数据库是产生式系统基本结构之一，用于记录已知事实，推理的中间结果，和最终结论。每一帧的综合数据库都可用(Rtrg.c，Vtrg.c)表示，Rtrg.c表示在设定时刻的第一属性集合，Vtrg.c表示在设定时刻的第二属性集合。
例如，对于在设定时刻的雷达目标Rtrg，其第一属性集合包含如下属性：
其中，表示雷达目标的ID属性，
和
表示雷达目标的速度属性，
和
表示雷达目标的位置属性，即第一坐标位置，
表示雷达目标的目标类型(假定雷达目标为车辆，则可为大中小车)，
表示雷达目标所处的区域标识，
表示在设定时刻相邻的上一采样时刻，与雷达目标关联的历史视频目标，
表示在与设定时刻相邻的上一采样时刻，雷达目标与关联的历史视频目标之间的历史关联可信度，
表示雷达目标在设定时刻的实际关联目标，
表示雷达目标在设定时刻的当前关联可信度，
表示雷达目标的雷达目标历史轨迹。
需要说明的是，若雷达目标存在关联的历史视频目标时，可将关联的历史视频目标作为上述设定时刻的初始关联目标，以及将历史关联可信度作为上述设定时刻的初始关联可信度。
同理，对于在设定时刻的视频目标Vtrg，其第二属性集合包含如下属性：
其中，表示视频目标的ID属性，
表示视频目标对应目标检测框的位置属性，
和
表示视频目标的位置属性，即第二坐标位置，
表示视频目标的目标类型(假定视频目标为车辆，则可为大中小车)，
表示视频目标所处的区域标识，
表示在设定时刻相邻的上一采样时刻，与视频目标关联的历史雷达目标，
表示在与设定时刻相邻的上一采样时刻，视频目标与关联的历史雷达目标之间的历史关联可信度，
表示视频目标在设定时刻的实际关联目标，
表示视频目标在设定时刻的当前关联可信度，
表示视频目标的视频目标历史轨迹。
需要说明的是，若视频目标存在关联的历史雷达目标时，可将关联的历史雷达目标作为上述设定时刻的初始关联目标，以及将历史关联可信度作为上述设定时刻的初始关联可信度。
示例性的，可将上述的雷达目标存在关联的历史视频目标和雷达目标存在关联的历史视雷达目标作为一条产生式规则，需要说明的是，产生式规则是产生式系统基本结构之一，每条规则都是一个“条件-动作”的产生式，通过条件对综合数据库进行操作。以雷达目标为例，产生式规则的一般形式是：
Ri＝IF<条件>THEN<动作>
其中，Ri表示第i条产生式规则。
因此，上述关系可表示为：
S303：从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合，并分别将N个第二属性集合各自对应的视频目标，与雷达目标进行关联，获得N个关联后的视频目标。
其中，N为大于0，且小于或等于M的整数。
具体的，在执行步骤S303时，服务器在获得第一属性集合和M个第二属性集合之后，便可根据第一属性集合包含的各属性，以及M个第二属性集合各自包含的各属性，判断M个第二属性集合与第一属性集合，是否满足预设的属性相似度条件。
一种可能的实现方式中，针对上述的M个第二属性集合，分别执行以下操作：参阅图5所示，服务器从一个视频图像数据中，确定目标检测框对应的目标覆盖范围，并获得目标覆盖范围对应的标准坐标位置集合，若标准坐标位置集合包含第一坐标位置，则确定第一属性集合与相应的第二属性集合，满足属性相似度条件，若标准坐标位置集合不包含第一坐标位置，则确定第一属性集合与相应的第二属性集合，不满足属性相似度条件。
示例性的，上述关系可表示为：
其中，α表示可信度常数。
不难发现，服务器基于R2可将视频坐标参考系下的位置转换为标准坐标参考系下的位置，以便于与雷达目标对应的第一坐标位置在同一标准坐标参考系坐标下进行计算；基于R3表示雷达目标在目标检测框内时，将视频目标添加到雷达目标的实际关联目标中。
另一种可能的实现方式中，针对上述的M个第二属性集合，分别执行以下操作：参阅图6所示，服务器获取第一属性集合包含的雷达目标历史轨迹，以及获取一个第二属性集合包含的视频目标历史轨迹，当雷达目标历史轨迹与视频目标历史轨迹，满足预设的轨迹相似度条件时，确定第一属性集合与上述一个第二属性集合，满足属性相似度条件，当雷达目标历史轨迹与视频目标历史轨迹，不满足预设的轨迹相似度条件时，则确定第一属性集合与上述一个第二属性集合，不满足属性相似度条件。
示例性的，上述关系可表示为：
显然，服务器基于R4表示当雷达目标历史轨迹与视频目标历史轨迹相似时，将视频目标添加到雷达目标的实际关联目标中。
需要说明的是，轨迹相似性的判断可以用如下公式：
其中，
分别表示在雷达目标历史轨迹中，k时刻的横坐标位置和纵坐标位置；
分别表示在视频目标历史轨迹中，k时刻的横坐标位置和纵坐标位置。
不难发现，若γ越小，则可说明雷达目标历史轨迹
与视频目标历史轨迹
越相似；反之，若γ越大，则可说明雷达目标历史轨迹
与视频目标历史轨迹
越不相似。
基于上述的方法步骤(R1～R4)，服务器在从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合之后，便可分别将N个第二属性集合各自对应的视频目标，与雷达目标进行关联，获得N个关联后的视频目标，以使能够选出所有可能的关联后的视频目标。
可选的，服务器在获得N个关联后的视频目标之后，便可针对N个关联后的视频目标，分别执行以下操作，即：从一个关联后的视频目标的第二属性集合中，获取在与设定时刻相邻的上一采样时刻，一个关联后的视频目标，与关联的历史雷达目标之间的历史关联可信度；进一步地，基于历史关联可信度，以及预设的可信度阈值，获得雷达目标与一个关联后的视频目标之间的实际关联可信度，从而获得雷达目标和一个关联后的视频目标之间的实际关联可信度。
一种可能的实现方式中，服务器从第一属性集合中，获取在与设定时刻相邻的上一采样时刻，雷达目标与关联的历史视频目标之间的历史关联可信度，并基于雷达目标与关联的历史视频目标之间的历史关联可信度，以及预设的可信度阈值，获得雷达目标与视频目标之间的实际关联可信度，其中，实际关联可信度的计算公式具体如下：
其中，
表示在设定时刻，雷达目标与视频目标之间的实际关联可信度，
表示雷达目标与关联的历史视频目标之间的历史关联可信度，β表示预设的可信度阈值。
另一种可能的实现方式中，服务器从第二属性集合中，获取在上一采样时刻，视频目标与关联的历史雷达目标之间的历史关联可信度，并基于视频目标与关联的历史雷达目标之间的历史关联可信度，以及可信度阈值，获得雷达目标与视频目标之间的实际关联可信度，其中，实际关联可信度的计算公式具体如下：
其中，
表示在设定时刻，雷达目标与视频目标之间的实际关联可信度，
表示视频目标与关联的历史雷达目标之间的历史关联可信度，β表示预设的可信度阈值。
S304：基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标。
可选的，服务器在执行步骤S304的过程中，针对N个关联后的视频目标，分别执行以下操作：参阅图7所示，在确定第一属性集合，与一个关联后的视频目标的第二属性集合，若满足以下条件之一，则解除雷达目标和一个关联后的视频目标之间的关联：第一属性集合包含的所述雷达目标的目标类型，与一个关联后的视频目标的第二属性集合包含的一个关联后的视频目标的目标类型不同；第一属性集合包含的雷达目标所处的区域标识，与一个关联后的视频目标的第二属性集合包含的一个关联后的视频目标所处的区域标识不同。
示例性的，上述关系可表示为：
进一步地，在执行步骤S304时，服务器在获得N个关联后的视频目标之后，便可基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，获得N个关联后的视频目标各自对应的关联可信度排列顺序；进一步地，N个关联可信度排列顺序，从N个关联后的视频目标中，筛选出满足关联可信度条件的目标关联视频目标。
示例性的，参阅图8所示，其为本申请实施例提供的一种获取视频目标的具体应用场景示意图，视频采集设备在设定时刻(比如，2022.06.13 14:50:28)从目标场景Tra.Scence中，采集到四个视频目标(比如，Vid.Tar1、Vid.Tar2、Vid.Tar3和Vid.Tar4)，各自与雷达目标Rad.Tar的实际关联可信度，其中，各实际关联可信度依次为：Act.Asso.Re1、Act.Asso.Re2、Act.Asso.Re3和Act.Asso.Re4，假定各实际关联可信度依次为：65、98、76、85；接着，基于获得的各实际关联可信度，获得各视频目标各自对应的关联可信度排列顺序依次为：4、1、2、3；最终，将关联可信度排列顺序最高即为1的视频目标Vid.Tar2保留，以及丢弃其他视频目标，即Vid.Tar1、Vid.Tar3和Vid.Tar4。
示例性的，上述关系可表示为：
显然，服务器基于R7可保留满足预设的可信度排列顺序条件的视频目标，以及丢弃不满足预设的可信度排列顺序条件的视频目标。
S305：对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。
需要说明的是，融合目标，与雷达目标和视频目标之间的映射关系如下：
Ftrg＝W(Rtrg，Vtrg)
其中，Ftrg表示雷达目标Rtrg与视频目标Vtrg进行关联之后的融合目标，W(*)表示目标关联算法。
可选的，若从获得的M个第二属性集合中，仅筛选出一个与第一属性集合满足预设的属性相似度条件的第二属性集合，则将该第二属性集合对应的关联后的视频目标作为目标关联视频目标，并对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。
示例性的，假定预设的关联可信度条件为预设的关联可信度阈值为88。仍以上述的视频目标Vid.Tar2为例，易知视频目标Vid.Tar2对应的实际关联可信度为98，大于预设的关联可信度阈值88，则关联后的雷达目标Rad.Tar和视频目标Vid.Tar2，获得相应的融合目标Fus.Tar。
还需说明的是，若与雷达目标关联的视频目标仅有一个时，可将此关联结果作为最终关联结果输出，并将实际关联可信度提至最高。
示例性的，上述关系可表示为：
由此可见，服务器基于R8可将与雷达目标关联的唯一视频目标的实际关联可信度调整至100。
进一步地，值得提出的是，基于R5～R8的方法步骤，保证了目标关联的准确率，从而保证了后续目标融合的准确率。
基于上述的方法步骤，即产生式系统的产生式规则R1～R8，参阅图9所示，其为本申请实施例提供的一种目标融合方法的具体应用场景示意图，服务器在分别获取雷达Radio1和视频采集设备Video1，在设定时刻(比如，2022.06.13 14:23:26)从目标场景Tra.Scence中，采集到的雷达目标Rad.Tar，以及与雷达目标Rad.Tar满足预设的位置偏差条件Loca.Constraint的M个视频目标；接着，基于雷达目标Rad.Tar的第一识别结果Id.Result.No.1获取关联的第一属性集合Attri.Set1，以及基于M个视频目标Vid.Tar各自的第二识别结果Id.Result.No.2，分别获取M个视频目标Vid.Tar各自关联的第二属性集合Attri.Set2；再者，从获得的M个第二属性集合Attri.Set2中，筛选出与第一属性集合Attri.Set1满足预设的属性相似度条件Sim.Deg.Constraint的N个第二属性集合Attri.Set2，并分别将N个第二属性集合各自对应的视频目标Vid.Tar，与雷达目标Rad.Tar进行关联，获得N个关联后的视频目标Vid.Tar；进一步地，基于N个关联后的视频目标Vid.Tar，各自与雷达目标Rad.Tar的实际关联可信度，从N个关联后的视频目标Vid.Tar中，筛选出满足预设的关联可信度条件Cor.Rel.Condition的目标关联视频目标Vid.Tar2；最终，对雷达目标Rad.Tar和目标关联视频目标Vid.Tar2进行融合，获得相应的融合目标Fus.Tar。
综上所述，在本申请实施例所提供的目标融合方法中，分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与雷达目标满足预设的位置偏差条件的M个视频目标；接着，基于雷达目标的第一识别结果，获取关联的第一属性集合，以及基于M个视频目标各自的第二识别结果，分别获取M个视频目标各自关联的第二属性集合；再者，从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合，并分别将N个第二属性集合各自对应的视频目标，与雷达目标进行关联，获得N个关联后的视频目标；进一步地，基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标；最终，对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。
采用这种方式，根据第一属性集合与第二属性集合之间的属性相似度和预设的属性相似度条件，以及，关联后的视频目标和雷达目标之间的实际关联可信度和预设的关联可信度条件，避免了传统技术中，因视频目标与雷达目标的错误关联，从而错误地将雷达目标与视频目标进行融合的技术弊端，故而，提高了将雷达目标和视频目标进行融合的准确率。
进一步地，基于相同的技术构思，本申请实施例还提供了一种目标融合装置，该目标融合装置用以实现本申请实施例的上述的目标融合方法流程。参阅图10所示，该目标融合装置包括：第一获取模块1001、第二获取模块1002、目标关联模块1003、目标筛选模块1004以及目标融合模块1005，其中：
第一获取模块1001，用于分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与雷达目标满足预设的位置偏差条件的M个视频目标；其中，M为大于1的整数；
第二获取模块1002，用于基于雷达目标的第一识别结果，获取关联的第一属性集合，以及基于M个视频目标各自的第二识别结果，分别获取M个视频目标各自关联的第二属性集合；
目标关联模块1003，用于从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合，并分别将N个第二属性集合各自对应的视频目标，与雷达目标进行关联，获得N个关联后的视频目标；其中，N为大于0，且小于或等于M的整数；
目标筛选模块1004，用于基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标；
目标融合模块1005，用于对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。
在一种可能的实施例中，在分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与雷达目标满足预设的位置偏差条件的M个视频目标时，所述第一获取模块1001具体用于：
分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达点云数据和L个视频图像数据；其中，雷达点云数据用于指示：目标场景中各目标各自在雷达坐标参考系中的点云位置，L为大于或等于M的整数；
对雷达点云数据进行解析，获得雷达目标在标准坐标参考系中的第一坐标位置，以及对L个视频图像数据进行解析，获得L个视频目标各自在标准坐标参考系中的第二坐标位置；
基于获得的第一坐标位置和L个第二坐标位置，从L个视频目标中，筛选出满足位置偏差条件的M个视频目标。
在一种可能的实施例中，在对雷达点云数据进行解析，获得雷达目标在标准坐标参考系中的第一坐标位置时，所述第一获取模块1001具体用于：
从雷达点云数据中，获得雷达目标在雷达坐标参考系中的目标点云位置；
基于目标点云位置，获得雷达目标在标准坐标参考系中的第一坐标位置。
在一种可能的实施例中，在对L个视频图像数据进行解析，获得L个视频目标各自在标准坐标参考系中的第二坐标位置时，所述第一获取模块1001具体用于：
针对L个视频图像数据，分别执行以下操作：
从一个视频图像数据中，获得一个视频目标对应的目标检测框包含的各边界检测点，在视频坐标参考系中的各视频边界坐标位置；
确定各视频边界坐标位置，各自在标准坐标参考系中的标准边界坐标位置；
基于获得的各标准边界坐标位置，获得一个视频目标的第二坐标位置。
在一种可能的实施例中，采用如下方式之一，从获得的M个第二属性集合中，筛选出与第一属性集合满足预设的属性相似度条件的N个第二属性集合：
针对M个第二属性集合，分别执行以下操作：
从一个视频图像数据中，确定目标检测框对应的目标覆盖范围，并获得目标覆盖范围对应的标准坐标位置集合；
若标准坐标位置集合包含第一坐标位置，则确定第一属性集合与一个视频目标的第二属性集合，满足属性相似度条件；或者
获取第一属性集合包含的雷达目标历史轨迹，以及获取一个视频目标的第二属性集合包含的视频目标历史轨迹；
当雷达目标历史轨迹与视频目标历史轨迹，满足预设的轨迹相似度条件时，确定第一属性集合与一个视频目标的第二属性集合，满足属性相似度条件。
在一种可能的实施例中，在获得N个关联后的视频目标之后，基于N个关联后的视频目标各自对应的关联可信度之前，所述目标关联模块1003还用于：
针对N个关联后的视频目标，分别执行以下操作：
从一个关联后的视频目标的第二属性集合中，获取在与设定时刻相邻的上一采样时刻，一个关联后的视频目标，与关联的历史雷达目标之间的历史关联可信度；
基于所述历史关联可信度，以及预设的可信度阈值，获得雷达目标与一个关联后的视频目标之间的实际关联可信度。
在一种可能的实施例中，在基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标时，所述目标筛选模块1004具体用于：
基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，获得N个关联后的视频目标各自对应的关联可信度排列顺序；
基于获得的N个关联可信度排列顺序，从N个关联后的视频目标中，筛选出满足关联可信度条件的目标关联视频目标。
在一种可能的实施例中，在基于N个关联后的视频目标，各自与雷达目标的实际关联可信度，从N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标的过程中，所述目标筛选模块1004还用于：
针对N个关联后的视频目标，分别执行以下操作：
在确定第一属性集合，与一个关联后的视频目标的第二属性集合，若满足以下条件之一，则解除雷达目标和一个关联后的视频目标之间的关联：
第一属性集合包含的雷达目标的目标类型，与一个关联后的视频目标的第二属性集合包含的一个关联后的视频目标的目标类型不同；
第一属性集合包含的雷达目标所处的区域标识，与一个关联后的视频目标的第二属性集合包含的一个关联后的视频目标所处的区域标识不同。
在一种可能的实施例中，所述目标融合模块1005还用于：
若N等于1，则将关联后的视频目标作为目标关联视频目标，并对雷达目标和目标关联视频目标进行融合，获得相应的融合目标。
基于相同的技术构思，本申请实施例还提供了一种电子设备，该电子设备可实现本申请上述实施例提供的目标融合方法流程。在一种实施例中，该电子设备可以是服务器，也可以是终端设备或其他电子设备。如图11所示，该电子设备可包括：
至少一个处理器1101，以及与至少一个处理器1101连接的存储器1102，本申请实施例中不限定处理器1101与存储器1102之间的具体连接介质，图11中是以处理器1101和存储器1102之间通过总线1100连接为例。总线1100在图11中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1100可以分为地址总线、数据总线、控制总线等，为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器1101也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器1102存储有可被至少一个处理器1101执行的指令，至少一个处理器1101通过执行存储器1102存储的指令，可以执行前文论述的一种目标融合方法。处理器1101可以实现图10所示的装置中各个模块的功能。
其中，处理器1101是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器1102内的指令以及调用存储在存储器1102内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
在一种可能的设计中，处理器1101可包括一个或多个处理单元，处理器1101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1101中。在一些实施例中，处理器1101和存储器1102可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器1101可以是通用处理器，例如CPU、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的一种目标融合方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器1102作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1102可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器1102是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器1102还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器1101进行设计编程，可以将前述实施例中介绍的一种目标融合方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图3所示的实施例的一种目标融合方法的步骤。如何对处理器1101进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述的一种目标融合方法。
在一些可能的实施方式中，本申请提供一种目标融合方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种目标融合方法中的步骤。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (12)
1.一种目标融合方法，其特征在于，包括：
分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与所述雷达目标满足预设的位置偏差条件的M个视频目标；其中，所述M为大于1的整数；
基于所述雷达目标的第一识别结果，获取关联的第一属性集合，以及基于所述M个视频目标各自的第二识别结果，分别获取所述M个视频目标各自关联的第二属性集合；
从获得的M个第二属性集合中，筛选出与所述第一属性集合满足预设的属性相似度条件的N个第二属性集合，并分别将所述N个第二属性集合各自对应的视频目标，与所述雷达目标进行关联，获得N个关联后的视频目标；其中，所述N为大于0，且小于或等于所述M的整数；
基于所述N个关联后的视频目标，各自与所述雷达目标的实际关联可信度，从所述N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标；
对所述雷达目标和所述目标关联视频目标进行融合，获得相应的融合目标。
2.如权利要求1所述的方法，其特征在于，所述分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与所述雷达目标满足预设的位置偏差条件的M个视频目标，包括：
分别获取所述雷达和所述视频采集设备，在所述设定时刻从所述目标场景中，采集到的雷达点云数据和L个视频图像数据；其中，所述雷达点云数据用于指示：所述目标场景中各目标各自在雷达坐标参考系中的点云位置，所述L为大于或等于所述M的整数；
对所述雷达点云数据进行解析，获得所述雷达目标在标准坐标参考系中的第一坐标位置，以及对所述L个视频图像数据进行解析，获得所述L个视频目标各自在所述标准坐标参考系中的第二坐标位置；
基于获得的第一坐标位置和L个第二坐标位置，从所述L个视频目标中，筛选出满足所述位置偏差条件的M个视频目标。
3.如权利要求2所述的方法，其特征在于，所述对所述雷达点云数据进行解析，获得所述雷达目标在标准坐标参考系中的第一坐标位置，包括：
从所述雷达点云数据中，获得所述雷达目标在所述雷达坐标参考系中的目标点云位置；
基于所述目标点云位置，获得所述雷达目标在所述标准坐标参考系中的第一坐标位置。
4.如权利要求2所述的方法，其特征在于，所述对所述L个视频图像数据进行解析，获得所述L个视频目标各自在所述标准坐标参考系中的第二坐标位置，包括：
针对所述L个视频图像数据，分别执行以下操作：
从一个视频图像数据中，获得一个视频目标对应的目标检测框包含的各边界检测点，在视频坐标参考系中的各视频边界坐标位置；
确定所述各视频边界坐标位置，各自在所述标准坐标参考系中的标准边界坐标位置；
基于获得的各标准边界坐标位置，获得所述一个视频目标的第二坐标位置。
5.如权利要求4所述的方法，其特征在于，采用如下方式之一，从获得的M个第二属性集合中，筛选出与所述第一属性集合满足预设的属性相似度条件的N个第二属性集合：
针对所述M个第二属性集合，分别执行以下操作：
从所述一个视频图像数据中，确定所述目标检测框对应的目标覆盖范围，并获得所述目标覆盖范围对应的标准坐标位置集合；
若所述标准坐标位置集合包含所述第一坐标位置，则确定所述第一属性集合与所述一个视频目标的第二属性集合，满足所述属性相似度条件；或者
获取所述第一属性集合包含的雷达目标历史轨迹，以及获取所述一个视频目标的第二属性集合包含的视频目标历史轨迹；
当所述雷达目标历史轨迹与所述视频目标历史轨迹，满足预设的轨迹相似度条件时，确定所述第一属性集合与所述一个视频目标的第二属性集合，满足所述属性相似度条件。
6.如权利要求1所述的方法，其特征在于，所述获得N个关联后的视频目标之后，所述基于所述N个关联后的视频目标各自对应的关联可信度之前，还包括：
针对所述N个关联后的视频目标，分别执行以下操作：
从一个关联后的视频目标的第二属性集合中，获取在与所述设定时刻相邻的上一采样时刻，所述一个关联后的视频目标，与关联的历史雷达目标之间的历史关联可信度；
基于所述历史关联可信度，以及预设的可信度阈值，获得所述雷达目标与所述一个关联后的视频目标之间的实际关联可信度。
7.如权利要求1-6中任一项所述的方法，其特征在于，所述基于所述N个关联后的视频目标，各自与所述雷达目标的实际关联可信度，从所述N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标，包括：
基于所述N个关联后的视频目标，各自与所述雷达目标的实际关联可信度，获得所述N个关联后的视频目标各自对应的关联可信度排列顺序；
基于获得的N个关联可信度排列顺序，从所述N个关联后的视频目标中，筛选出满足所述关联可信度条件的目标关联视频目标。
8.如权利要求1-6中任一项所述的方法，其特征在于，所述基于所述N个关联后的视频目标各自对应的实际关联可信度，从所述N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标的过程中，还包括：
针对所述N个关联后的视频目标，分别执行以下操作：
在确定所述第一属性集合，与一个关联后的视频目标的第二属性集合，若满足以下条件之一，则解除所述雷达目标和所述一个关联后的视频目标之间的关联：
所述第一属性集合包含的所述雷达目标的目标类型，与所述一个关联后的视频目标的第二属性集合包含的所述一个关联后的视频目标的目标类型不同；
所述第一属性集合包含的所述雷达目标所处的区域标识，与所述一个关联后的视频目标的第二属性集合包含的所述一个关联后的视频目标所处的区域标识不同。
9.如权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
若所述N等于1，则将关联后的视频目标作为所述目标关联视频目标，并对所述雷达目标和所述目标关联视频目标进行融合，获得相应的融合目标。
10.一种目标融合装置，其特征在于，包括：
第一获取模块，用于分别获取雷达和视频采集设备，在设定时刻从目标场景中，采集到的雷达目标，以及与所述雷达目标满足预设的位置偏差条件的M个视频目标；其中，所述M为大于1的整数；
第二获取模块，用于基于所述雷达目标的第一识别结果，获取关联的第一属性集合，以及基于所述M个视频目标各自的第二识别结果，分别获取所述M个视频目标各自关联的第二属性集合；
目标关联模块，用于从获得的M个第二属性集合中，筛选出与所述第一属性集合满足预设的属性相似度条件的N个第二属性集合，并分别将所述N个第二属性集合各自对应的视频目标，与所述雷达目标进行关联，获得N个关联后的视频目标；其中，所述N为大于0，且小于或等于所述M的整数；
目标筛选模块，用于基于所述N个关联后的视频目标，各自与所述雷达目标的实际关联可信度，从所述N个关联后的视频目标中，筛选出满足预设的关联可信度条件的目标关联视频目标；
目标融合模块，用于对所述雷达目标和所述目标关联视频目标进行融合，获得相应的融合目标。
11.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210960915.1A CN115393681A (zh) | 2022-08-11 | 2022-08-11 | 一种目标融合方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210960915.1A CN115393681A (zh) | 2022-08-11 | 2022-08-11 | 一种目标融合方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115393681A true CN115393681A (zh) | 2022-11-25 |
Family
ID=84119114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210960915.1A Pending CN115393681A (zh) | 2022-08-11 | 2022-08-11 | 一种目标融合方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393681A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116148801A (zh) * | 2023-04-18 | 2023-05-23 | 深圳市佰誉达科技有限公司 | 一种基于毫米波雷达的目标检测方法及系统 |
| CN117454316A (zh) * | 2023-12-25 | 2024-01-26 | 安徽蔚来智驾科技有限公司 | 多传感器的数据融合方法、存储介质及智能设备 |
| CN117473456A (zh) * | 2023-12-28 | 2024-01-30 | 北京卓视智通科技有限责任公司 | 一种雷视智能融合的方法及系统 |
| CN118279677A (zh) * | 2024-06-03 | 2024-07-02 | 浙江大华技术股份有限公司 | 一种目标识别方法和相关装置 |
-
2022
- 2022-08-11 CN CN202210960915.1A patent/CN115393681A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116148801A (zh) * | 2023-04-18 | 2023-05-23 | 深圳市佰誉达科技有限公司 | 一种基于毫米波雷达的目标检测方法及系统 |
| CN117454316A (zh) * | 2023-12-25 | 2024-01-26 | 安徽蔚来智驾科技有限公司 | 多传感器的数据融合方法、存储介质及智能设备 |
| CN117454316B (zh) * | 2023-12-25 | 2024-04-26 | 安徽蔚来智驾科技有限公司 | 多传感器的数据融合方法、存储介质及智能设备 |
| CN117473456A (zh) * | 2023-12-28 | 2024-01-30 | 北京卓视智通科技有限责任公司 | 一种雷视智能融合的方法及系统 |
| CN117473456B (zh) * | 2023-12-28 | 2024-02-27 | 北京卓视智通科技有限责任公司 | 一种雷视智能融合的方法及系统 |
| CN118279677A (zh) * | 2024-06-03 | 2024-07-02 | 浙江大华技术股份有限公司 | 一种目标识别方法和相关装置 |
| CN118279677B (zh) * | 2024-06-03 | 2024-08-16 | 浙江大华技术股份有限公司 | 一种目标识别方法和相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115393681A (zh) | 一种目标融合方法、装置、电子设备及存储介质 | |
| US10776665B2 (en) | Systems and methods for object detection | |
| WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 | |
| US20200110173A1 (en) | Obstacle detection method and device | |
| US20200042657A1 (en) | Multi-dimensional event model generation | |
| CN105051754A (zh) | 用于通过监控系统检测人的方法和装置 | |
| CN111935820B (zh) | 基于无线网络的定位实现方法及相关设备 | |
| CN116027324B (zh) | 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备 | |
| CA3101737C (en) | Method, system and computer program product for intelligent tracking and data transformation between interconnected sensor devices of mixed type | |
| Abdulghafoor et al. | A novel real-time multiple objects detection and tracking framework for different challenges | |
| CN110049434B (zh) | 一种定位方法、装置、设备及存储介质 | |
| US20190325581A1 (en) | Cloud detection using images | |
| CN111899279A (zh) | 一种目标对象的运动速度检测方法及装置 | |
| JP2023156963A (ja) | オブジェクト追跡統合方法及び統合装置 | |
| CN114549873A (zh) | 一种图像档案的关联方法、装置、电子设备及存储介质 | |
| CN113326445A (zh) | 一种伴随关系发现方法及装置 | |
| CN116611977A (zh) | 失联人员路径溯源及救援方法和装置 | |
| WO2019188429A1 (ja) | 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム | |
| WO2023184197A1 (zh) | 目标跟踪方法、装置、系统及存储介质 | |
| CN112333182B (zh) | 档案处理方法、装置、服务器及存储介质 | |
| Poredi et al. | Enhance public safety surveillance in smart cities by fusing optical and thermal cameras | |
| CN113609317A (zh) | 一种图像库构建方法、装置及电子设备 | |
| CN115131691A (zh) | 对象匹配方法、装置、电子设备及计算机可读存储介质 | |
| CN115457592A (zh) | 行人识别的方法及装置 | |
| CN111339898A (zh) | 行为检测方法和装置、计算机可读存储介质、计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |