CN117454316B - 多传感器的数据融合方法、存储介质及智能设备 - Google Patents
多传感器的数据融合方法、存储介质及智能设备 Download PDFInfo
- Publication number
- CN117454316B CN117454316B CN202311790558.XA CN202311790558A CN117454316B CN 117454316 B CN117454316 B CN 117454316B CN 202311790558 A CN202311790558 A CN 202311790558A CN 117454316 B CN117454316 B CN 117454316B
- Authority
- CN
- China
- Prior art keywords
- sensor data
- attribute information
- target
- attribute
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims 2
- 230000005764 inhibitory process Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 9
- 238000012216 screening Methods 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 description 10
- 230000001629 suppression Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及自动驾驶技术领域，具体提供一种多传感器的数据融合方法、存储介质及智能设备，旨在解决提高多传感器数据融合效果的问题。为此目的，本申请提供的方法包括通过以下方式对多传感器进行一次数据融合：获取每一传感器得到的传感器数据，该数据包括一个或多个目标的目标信息，目标信息包括目标的一种或多种属性的属性信息及其置信度；针对每一目标的每一种属性，从所有传感器数据中获取全部属性信息并根据置信度进行筛选，以获取最终属性信息；根据所有目标的所有属性的最终属性信息及其置信度，获取数据融合结果。通过上述方法，只需要对多传感器进行一次数据融合，同时能够将每一个传感器的优势都发挥出来，显著提高了数据融合的效果。
Description
技术领域
本申请涉及自动驾驶技术领域，具体涉及一种多传感器的数据融合方法、存储介质及智能设备。
背景技术
在对车辆进行自动驾驶控制时通常会利用车辆上设置的多种传感器（如相机、激光雷达等）得到的传感器数据进行感知，以获取车辆周围的障碍物等目标，再根据感知结果规划车辆轨迹，控制车辆按照车辆轨迹行驶。其中，在利用上述多种传感器得到的传感器数据进行感知之前，通常要先对这些传感器数据进行融合，再对融合的数据进行感知。
目前，对于三种及以上传感器得到的传感器数据进行融合时，主要是分阶段融合。如图1所示，对于激光雷达Lidar、雷达Radar、相机Camera这三种传感器，可以分成两个阶段进行融合。在第一阶段，对Lidar和机Camera的数据进行融合，将融合结果输出至第二阶段；在第二阶段，对第一阶段得到的融合结果和Radar的数据进行融合。但是，这种方法存在以下缺点：在第一阶段中，由于没有Radar的数据，因此在Lidar或Camera出现异常时，无法使用Radar的数据进行校验优化；在第二阶段中，只能得到第一阶段的融合结果和Radar的数据的融合信息，无法得到Lidar和Camera的原始数据。基于上述原因，最终导致数据融合的效果较差，无法将每一种传感器的优势都发挥出来，如果对这种方法得到的融合结果进行感知，可能会降低感知的准确性，进而影响车辆行驶的安全与可靠性。
相应地，本领域需要一种新的技术方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决如何提高对三种及以上传感器的传感器数据进行融合的融合效果的技术问题的多传感器的数据融合方法、存储介质及智能设备。
在第一方面，提供一种多传感器的数据融合方法，包括通过以下方式对多传感器进行一次数据融合：
获取多传感器中每一传感器得到的传感器数据，所述传感器数据包括一个或多个目标的目标信息，所述目标信息包括目标的一种或多种属性的属性信息及所述属性信息的置信度；
针对每一目标的每一种属性，从所有传感器数据中获取所述属性的全部属性信息，并根据属性信息的置信度对所述全部属性信息进行筛选，以获取所述属性的最终属性信息；
根据所有目标的所有属性的最终属性信息及其置信度，获取所述多传感器的数据融合结果。
在上述多传感器的数据融合方法的一个技术方案中，所述对所述全部属性信息进行筛选，以获取所述属性的最终属性信息，包括：
获取所述全部属性信息中置信度最大的属性信息；
将所述置信度最大的属性信息，作为所述最终属性信息。
在上述多传感器的数据融合方法的一个技术方案中，所述对所述全部属性信息进行筛选，以获取所述属性的最终属性信息，还包括：
若所述全部属性信息只包含一个属性信息，则直接将所述属性信息作为所述最终属性信息。
在上述多传感器的数据融合方法的一个技术方案中，在所述从所有传感器数据中获取所述属性的全部属性信息之前，所述方法还包括：对所有传感器数据中属于同一目标的属性信息进行关联；
所述从所有传感器数据中获取所述属性的全部属性信息，包括：根据所述关联的结果分别获取每一目标的全部属性信息，根据每一目标的全部属性信息分别获取每一目标的每一种属性的全部属性信息。
在上述多传感器的数据融合方法的一个技术方案中，在所述对所有传感器数据中属于同一目标的属性信息进行关联之后，所述方法还包括：
对所述关联的结果进行误关联抑制处理，以避免将属于不同目标的属性信息关联到一起；
将完成所述误关联抑制处理的结果作为所述关联的最终结果。
在上述多传感器的数据融合方法的一个技术方案中，在所述获取多传感器中每一传感器得到的传感器数据之后，所述方法还包括：
对所有传感器得到的传感器数据进行有效性检查，获取有效的传感器数据，以能够根据所述有效的传感器数据，获取所述多传感器的数据融合结果。
在上述多传感器的数据融合方法的一个技术方案中，在所述获取多传感器中每一传感器得到的传感器数据之后，所述方法还包括：
对所有传感器得到的传感器数据的时间戳进行对齐处理，获取时间戳对齐的传感器数据，以能够根据所述时间戳对齐的传感器数据，获取所述多传感器的数据融合结果。
在上述多传感器的数据融合方法的一个技术方案中，在所述获取多传感器中每一传感器得到的传感器数据之后，所述方法还包括：
对所有传感器得到的传感器数据的空间坐标系进行对齐处理，获取空间坐标系对齐的传感器数据，以能够根据所述空间坐标系对齐的传感器数据，获取所述多传感器的数据融合结果。
在第二方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述多传感器的数据融合方法的技术方案中任一项技术方案所述的方法。
在第三方面，提供一种智能设备，该智能设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述多传感器的数据融合方法的技术方案中任一项技术方案所述的方法。
本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本申请提供的多传感器的数据融合方法的技术方案中，可以通过以下方式对多传感器进行一次数据融合：获取多传感器中每一传感器得到的传感器数据，传感器数据包括一个或多个目标的目标信息，目标信息包括目标的一种或多种属性的属性信息及所述属性信息的置信度；针对每一目标的每一种属性，从所有传感器数据中获取属性的全部属性信息，并根据属性信息的置信度对全部属性信息进行筛选，以获取属性的最终属性信息；根据所有目标的所有属性的最终属性信息及其置信度，获取多传感器的数据融合结果。基于上述实施方式，只需要对多传感器进行一次融合，并且在这一次融合中可以将每一个传感器的优势都发挥出来，提高了数据融合的效果，同时也提高了基于融合数据进行目标感知的准确性，进而提高了基于目标感知进行自动驾驶控制的可靠性和安全性，即提高了自动驾驶的性能。另外，由于只需要进行一次融合，相比于现有技术采用的分阶段融合方式，上述实施方式还能够显著地减小对硬件和软件资源的消耗。
附图说明
参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。其中：
图1是现有技术中对三个传感器的传感器数据进行两阶段融合的示意图；
图2是根据本申请的一个实施例的多传感器的数据融合方法的主要步骤流程示意图；
图3是根据本申请的一个实施例的对多传感器的传感器数据进行融合的示意图；
图4是根据本申请的一个实施例的获取一个属性的最终属性信息的方法的主要步骤流程示意图；
图5是根据本申请的另一个实施例的多传感器的数据融合方法的主要步骤流程示意图；
图6是根据本申请的一个实施例的智能设备的主要结构示意图。
附图标记列表：
11：存储器；12：处理器。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。
在本申请的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。
本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
下面对本申请提供的多传感器的数据融合方法的实施例进行说明。
参阅附图2，图2是根据本申请的一个实施例的多传感器的数据融合方法的主要步骤流程示意图。如图2所示，本申请实施例中的多传感器的数据融合方法可以通过下列步骤S101至步骤S103，对多传感器进行一次数据融合。
步骤S101：获取多传感器中每一传感器得到的传感器数据。
传感器数据包括一个或多个目标的目标信息，目标信息包括目标的一种或多种属性的属性信息及属性信息的置信度。
目标包括但不限于车辆、行人、非机动车等，目标的属性包括但不限于目标的位置、类别、速度、加速度、角度等。
以传感器是相机为例，对其输出的图像进行目标感知，可以得到图像中目标的目标信息，这些目标信息就可以构成相机的传感器数据。
步骤S102：针对每一目标的每一种属性，从所有传感器数据中获取属性的全部属性信息，并根据属性信息的置信度对全部属性信息进行筛选，以获取属性的最终属性信息。
置信度越高则表明属性信息的可信程度越高，反之则表明属性信息的可信程度越低。本实施例不对置信度的获取方法作具体限定，只要能够得到包含有置信度的传感器数据即可。
下面以表1所示的例子，对获取属性的最终属性信息进行简单说明。如下表1所示，Lidar的传感器数据包括目标A的位置、类别、速度三种属性的属性信息，相机的传感器数据包括目标A的位置、类别、速度、尺寸四种属性的属性信息，Radar的传感器数据包括目标A的位置、速度、加速度、角度四种属性的信息。位置的属性信息包括a1、b1、c1，分别根据a1、b1、c1的置信度，从三者中选出一个作为位置的最终属性信息。
表1
步骤S103：根据所有目标的所有属性的最终属性信息及其置信度，获取多传感器的数据融合结果。
具体地，可以将所有目标的所有属性的最终属性信息及其置信度直接作为数据融合结果。
继续参阅表1的例子，假设位置、类别、速度、尺寸、加速度、角度的最终属性信息分别是a1、a2、a3、b4、c5、c6，则直接将目标A的属性信息a1、a2、a3、b4、c5、c6作为目标A的数据融合结果。
基于上述步骤S101至步骤S103所述的方法，针对目标的每一种属性，都可以从所有传感器得到的传感器数据中进行筛选，这样可以将每一种传感器的优势都充分发挥出来，从而可以提高数据融合的效果。同时，基于上述方法只需要对多传感器进行一次融合，相比于现有技术采用的分阶段融合方式，能够显著地减小对硬件和/或软件资源的消耗。
下面结合附图1和附图3，对上述方法的技术效果再进行简单说明。参阅附图1，在现有技术中分两个阶段对激光雷达Lidar、相机、雷达Radar的数据进行融合。其中，第一阶段融合是对激光雷达Lidar、相机数据进行融合，第二阶段融合是对第一阶段融合的结果和雷达Radar进行融合。假设，第一阶段融合是对目标的速度进行融合，第二阶段融合是对目标的位置进行融合。通常来说，激光雷达Lidar、雷达Radar得到的速度的准确性都要高于相机数据得到的速度的准确性。因此，第一阶段融合的结果应该是将Lidar得到的速度作为目标的速度进行输出。但是，如果激光雷达Lidar出现异常，导致此时Lidar得到的速度的准确性低于相机数据得到的速度的准确性，那么第一阶段融合就会将相机数据得到的速度作为目标的速度进行融合。当进入到第二阶段之后，是对目标的类别进行融合，不再对速度进行融合。这样的话，虽然雷达Radar得到的速度的准确性要高于相机数据得到的速度的准确性，在第二阶段也无法发挥出雷达Radar的这个优势，从而导致在完成两阶段融合之后，相机数据得到的速度将作为目标的最终速度，降低了融合数据在速度这个属性的准确性。
参阅附图3，采用本申请的数据融合方法对激光雷达Lidar、相机、雷达Radar的数据进行一次融合，在这一次融合中是对目标的所有属性进行融合。如果激光雷达Lidar出现异常，导致此时Lidar得到的速度的准确性低于相机数据得到的速度的准确性，但仍然可以将雷达Radar得到的速度作为目标的最终速度，可以使雷达Radar发挥其在速度检测上的优势。
下面对上述步骤S102作进一步说明。
在上述步骤S102的一些实施方式中，可以通过图4所示的下列步骤S1021至步骤S1022，获取属性的最终属性信息。
步骤S1021：获取全部属性信息中置信度最大的属性信息。
步骤S1022：将置信度最大的属性信息，作为最终属性信息。
在一些实施方式中，若全部属性信息只包含一个属性信息，则直接将该属性信息作为最终属性信息。基于此，可以在全部属性信息只包含一个属性信息的情况下，还能够获取到最终属性信息。
在上述步骤S1021至步骤S1022所述的方法中，由于置信度越高则表明属性信息的可信程度越高，因此获取置信度最大的属性信息，可以最大程度地保证属性信息的准确性。
在根据本申请的一个实施例的多传感器的数据融合方法中，除了可以包括上述步骤S101至步骤S103，在执行步骤S102之前还包括一个数据关联的步骤。在此步骤中，可以对所有传感器数据中属于同一目标的属性信息进行关联。进而，在转至步骤S102，从所有传感器数据中获取属性的全部属性信息时，可以根据上述关联的结果分别获取每一目标的全部属性信息，根据每一目标的全部属性信息分别获取每一目标的每一种属性的全部属性信息。通过数据关联，可以快速且准确地获取到同一目标的所有属性信息，更加有利于快速且准确地获取到每一目标的每一种属性的全部属性信息。
在一些实施方式中，在上述数据关联的步骤中，在对所有传感器数据中属于同一目标的属性信息进行关联之后，还可以对关联的结果进行误关联抑制处理，以避免将属于不同目标的属性信息关联到一起，将完成误关联抑制处理的结果作为关联的最终结果。在本实施例中可以采用自动驾驶技术领域中常规的方法，对关联的结果进行误关联抑制处理，本实施例不对误关联抑制处理的方法作具体限定，只要能够对关联的结果进行误关联抑制处理，以避免将属于不同目标的属性信息关联到一起即可。例如，以行人为例，其位置信息通常不会发生突变，如果将相机和Lidar得到的位置关联在一起之后，检测出这两个位置的偏差比较大，则表明这两个位置可能不是同一个目标的位置，因此，不再对二者进行关联。
在根据本申请的一个实施例的多传感器的数据融合方法中，在执行步骤S102之前还可以包括一个数据预处理的步骤，在执行完这个数据预处理的步骤再执行步骤S102。下面对这个数据预处理的步骤进行说明。
在一些实施方式中，上述数据预处理的步骤可以包括对所有传感器得到的传感器数据进行有效性检查，获取有效的传感器数据，以能够根据有效的传感器数据，获取多传感器的数据融合结果。在本实施例中可以采用自动驾驶技术领域中常规的方法，对传感器数据进行有效性检查，只要能够获取到有效的传感器数据即可。例如，可以检测传感器是否发生异常，若是则判定由其得到的传感器数据不是有效数据。
在一些实施方式中，上述数据预处理的步骤还可以包括对所有传感器得到的传感器数据的时间戳进行对齐处理，获取时间戳对齐的传感器数据，以能够根据时间戳对齐的传感器数据，获取多传感器的数据融合结果。在本实施例中可以采用自动驾驶技术领域中常规的方法，对传感器数据的时间戳进行对齐处理，只要保证各传感器的传感器数据的时间戳对齐即可。例如，可以根据各传感器的传感器数据的时间戳，将各传感器的传感器数据同步到同一个时间轴上。
在一些实施方式中，上述数据预处理的步骤还可以包括对所有传感器得到的传感器数据的空间坐标系进行对齐处理，获取空间坐标系对齐的传感器数据，以能够根据空间坐标系对齐的传感器数据，获取多传感器的数据融合结果。在本实施例中可以采用自动驾驶技术领域中常规的方法，对传感器数据的空间坐标系进行对齐处理，只要保证各传感器的传感器数据的空间坐标系对齐即可。例如，可以通过坐标转换的方法，将各传感器的传感器数据由自身所在的空间坐标系，转换到同一个空间坐标系。比如，将车辆上的相机、激光雷达Lidar、雷达Radar分别由相机坐标系、Lidar坐标系、Radar坐标系，转换到车体坐标系。
在根据本申请的一个实施例的数据融合方法中，可以采用上述三种数据预处理的步骤中的任意一种、两种或全部三种。
以上是对数据预处理的步骤的说明。
进一步，在一些实施方式中，可以在上述步骤S101至步骤S103所述方法的基础上，同时结合上述数据预处理、数据关联的步骤，对多传感器的传感器数据进行数据融合。具体而言，在本实施方式中，可以通过图5所示的下列步骤S201至步骤S205，对传感器数据进行数据融合。
步骤S201：输入观测数据。
观测数据包括相机、激光雷达Lidar、雷达Radar的传感器数据，相机的传感器数据包括目标的位置、类别、速度这三个属性的属性信息以及这三个属性信息的置信度，激光雷达Lidar的传感器数据包括目标的尺寸、位置、类别、速度这四个属性的属性信息以及这四个属性信息的置信度，雷达Radar的传感器数据包括目标的位置、速度、角度、加速度这四个属性的属性信息以及这四个属性信息的置信度。
步骤S202：数据预处理。
具体地，可以对观测数据进行有效性检查、时间戳对齐、空间坐标系对齐。此外，还可以将观测数据转换成统一的数据格式。
步骤S203：数据关联。
以相机、Lidar、Radar设置在自动驾驶车辆上为例，通过这些传感器得到的目标可以包括车辆前方目标、车辆两侧目标、远距离目标。通过数据关联，可以分别得到这三种目标的全部属性信息。
步骤S204：属性滤波。
在此步骤中，可以采用前述步骤S102所述的方法进行属性滤波，得到每一目标的每一种属性的最终属性信息。
步骤S205：目标物报出。
在此步骤中，可以采用前述步骤S103所述的方法，得到所有目标的所有属性的最终属性信息及其置信度作为数据融合结果，根据数据融合结果输出每一目标的融合信息，即这个目标的每一种属性的最终属性信息。
基于上述步骤S201至步骤S205所述的方法，能够有效提高数据融合的融合效果，同时也提高了基于融合数据进行目标感知的准确性，进而提高了基于目标感知进行自动驾驶控制的可靠性和安全性，即提高了自动驾驶的性能。
在根据本申请实施例的一个应用场景中，可以在自动驾驶车辆上设置能够执行本申请实施例的数据融合方法的模块，在车辆自动驾驶的过程中，通过该模块获取车辆上多个传感器得到的传感器数据并进行数据融合，得到数据融合结果，将数据融合结果发送至规控模块。规控模块可以根据数据融合结果中每个目标的目标信息，规划车辆的行驶轨迹，控制车辆按照行驶轨迹自动行驶。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本申请中描述的技术方案属于等同技术方案，因此也将落入本申请的保护范围之内。
本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
本申请的另一方面还提供了一种计算机可读存储介质。
在根据本申请的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的多传感器的数据融合方法的程序，该程序可以由处理器加载并运行以实现上述多传感器的数据融合方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
本申请的另一方面还提供了一种智能设备。
在根据本申请的一个智能设备的实施例中，智能设备可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请所述的智能设备，可以包括驾驶设备、智能车、机器人等设备。参阅附图6，图6中示例性地示出了存储器11和处理器12通过总线通信连接。
在本申请的一些实施例中，智能设备还可以包括至少一个传感器，传感器用于感知信息。传感器与本申请提到的任何一种类型的处理器通信连接。可选地，智能设备还可以包括自动驾驶系统，自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶系统通信，用于完成上述任一实施例所述的方法。
至此，已经结合附图所示的一个实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。
Claims (6)
1.一种多传感器的数据融合方法，其特征在于，所述方法包括通过以下方式对多传感器进行一次数据融合：
获取多传感器中每一传感器得到的传感器数据，所述传感器数据包括一个或多个目标的目标信息，所述目标信息包括目标的一种或多种属性的属性信息及所述属性信息的置信度，所述方法对所述传感器输出的数据进行目标感知得到所述数据中目标的目标信息；
对所有传感器数据中属于同一目标的属性信息进行关联，对所述关联的结果进行误关联抑制处理，将完成所述误关联抑制处理的结果作为所述关联的最终结果；根据所述关联的最终结果分别获取每一目标的全部属性信息，根据每一目标的全部属性信息分别获取每一目标的每一种属性的全部属性信息；
针对每一目标的每一种属性，根据属性信息的置信度获取所述属性的全部属性信息中置信度最大的属性信息；将所述置信度最大的属性信息，作为所述属性的最终属性信息；若所述属性的全部属性信息只包含一个属性信息，则直接将所述属性信息作为所述属性的最终属性信息；
根据所有目标的所有属性的最终属性信息及其置信度，获取所述多传感器的数据融合结果。
2.根据权利要求1所述的方法，其特征在于，在所述获取多传感器中每一传感器得到的传感器数据之后，所述方法还包括：
对所有传感器得到的传感器数据进行有效性检查，获取有效的传感器数据，以能够根据所述有效的传感器数据，获取所述多传感器的数据融合结果。
3.根据权利要求1所述的方法，其特征在于，在所述获取多传感器中每一传感器得到的传感器数据之后，所述方法还包括：
对所有传感器得到的传感器数据的时间戳进行对齐处理，获取时间戳对齐的传感器数据，以能够根据所述时间戳对齐的传感器数据，获取所述多传感器的数据融合结果。
4.根据权利要求1所述的方法，其特征在于，在所述获取多传感器中每一传感器得到的传感器数据之后，所述方法还包括：
对所有传感器得到的传感器数据的空间坐标系进行对齐处理，获取空间坐标系对齐的传感器数据，以能够根据所述空间坐标系对齐的传感器数据，获取所述多传感器的数据融合结果。
5.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至4中任一项所述的多传感器的数据融合方法。
6.一种智能设备，其特征在于，包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求1至4中任一项所述的多传感器的数据融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311790558.XA CN117454316B (zh) | 2023-12-25 | 2023-12-25 | 多传感器的数据融合方法、存储介质及智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311790558.XA CN117454316B (zh) | 2023-12-25 | 2023-12-25 | 多传感器的数据融合方法、存储介质及智能设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117454316A CN117454316A (zh) | 2024-01-26 |
| CN117454316B true CN117454316B (zh) | 2024-04-26 |
Family
ID=89589616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311790558.XA Active CN117454316B (zh) | 2023-12-25 | 2023-12-25 | 多传感器的数据融合方法、存储介质及智能设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117454316B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102393912A (zh) * | 2011-11-01 | 2012-03-28 | 中国电子科技集团公司第二十八研究所 | 一种基于不确定推理的目标综合识别方法 |
| CN107273914A (zh) * | 2017-05-17 | 2017-10-20 | 西北工业大学 | 基于信源自适应动态选择的高效融合识别方法 |
| CN107784111A (zh) * | 2017-11-06 | 2018-03-09 | 北京锐安科技有限公司 | 数据挖掘方法、装置、设备及存储介质 |
| CN109472005A (zh) * | 2018-11-08 | 2019-03-15 | 北京锐安科技有限公司 | 数据可信度评估方法、装置、设备和存储介质 |
| CN110084289A (zh) * | 2019-04-11 | 2019-08-02 | 北京百度网讯科技有限公司 | 图像标注方法、装置、电子设备及存储介质 |
| CN111348046A (zh) * | 2018-12-24 | 2020-06-30 | 长城汽车股份有限公司 | 目标数据融合方法、系统及机器可读存储介质 |
| CN111928862A (zh) * | 2020-08-10 | 2020-11-13 | 廊坊和易生活网络科技股份有限公司 | 利用激光雷达和视觉传感器融合在线构建语义地图的方法 |
| CN113093255A (zh) * | 2021-05-07 | 2021-07-09 | 深圳市前海智车科技有限公司 | 一种多信号真融合定位计算方法、装置、设备及存储介质 |
| CN113537287A (zh) * | 2021-06-11 | 2021-10-22 | 北京汽车研究总院有限公司 | 多传感器信息融合方法与装置、存储介质、自动驾驶系统 |
| CN113627473A (zh) * | 2021-07-06 | 2021-11-09 | 哈尔滨工程大学 | 基于多模态传感器的水面无人艇环境信息融合感知方法 |
| CN113761705A (zh) * | 2021-07-19 | 2021-12-07 | 合肥工业大学 | 基于多维属性相关分析的多传感器融合方法及系统 |
| CN113844463A (zh) * | 2021-09-26 | 2021-12-28 | 国汽智控(北京)科技有限公司 | 基于自动驾驶系统的车辆控制方法、装置及车辆 |
| CN114999228A (zh) * | 2022-06-01 | 2022-09-02 | 北京易航远智科技有限公司 | 一种自动驾驶车在恶劣天气防碰撞方法 |
| CN115393681A (zh) * | 2022-08-11 | 2022-11-25 | 浙江大华技术股份有限公司 | 一种目标融合方法、装置、电子设备及存储介质 |
| CN115451968A (zh) * | 2022-09-02 | 2022-12-09 | 苏州挚途科技有限公司 | 智能驾驶的多传感器同步融合方法和装置 |
| CN115643094A (zh) * | 2022-10-27 | 2023-01-24 | 安天科技集团股份有限公司 | 一种威胁情报融合方法、装置、电子设备及存储介质 |
| CN116595314A (zh) * | 2023-04-06 | 2023-08-15 | 上海云骥跃动智能科技发展有限公司 | 一种数据标注方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10551838B2 (en) * | 2017-08-08 | 2020-02-04 | Nio Usa, Inc. | Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application |
-
2023
- 2023-12-25 CN CN202311790558.XA patent/CN117454316B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102393912A (zh) * | 2011-11-01 | 2012-03-28 | 中国电子科技集团公司第二十八研究所 | 一种基于不确定推理的目标综合识别方法 |
| CN107273914A (zh) * | 2017-05-17 | 2017-10-20 | 西北工业大学 | 基于信源自适应动态选择的高效融合识别方法 |
| CN107784111A (zh) * | 2017-11-06 | 2018-03-09 | 北京锐安科技有限公司 | 数据挖掘方法、装置、设备及存储介质 |
| CN109472005A (zh) * | 2018-11-08 | 2019-03-15 | 北京锐安科技有限公司 | 数据可信度评估方法、装置、设备和存储介质 |
| CN111348046A (zh) * | 2018-12-24 | 2020-06-30 | 长城汽车股份有限公司 | 目标数据融合方法、系统及机器可读存储介质 |
| CN110084289A (zh) * | 2019-04-11 | 2019-08-02 | 北京百度网讯科技有限公司 | 图像标注方法、装置、电子设备及存储介质 |
| CN111928862A (zh) * | 2020-08-10 | 2020-11-13 | 廊坊和易生活网络科技股份有限公司 | 利用激光雷达和视觉传感器融合在线构建语义地图的方法 |
| CN113093255A (zh) * | 2021-05-07 | 2021-07-09 | 深圳市前海智车科技有限公司 | 一种多信号真融合定位计算方法、装置、设备及存储介质 |
| CN113537287A (zh) * | 2021-06-11 | 2021-10-22 | 北京汽车研究总院有限公司 | 多传感器信息融合方法与装置、存储介质、自动驾驶系统 |
| CN113627473A (zh) * | 2021-07-06 | 2021-11-09 | 哈尔滨工程大学 | 基于多模态传感器的水面无人艇环境信息融合感知方法 |
| CN113761705A (zh) * | 2021-07-19 | 2021-12-07 | 合肥工业大学 | 基于多维属性相关分析的多传感器融合方法及系统 |
| CN113844463A (zh) * | 2021-09-26 | 2021-12-28 | 国汽智控(北京)科技有限公司 | 基于自动驾驶系统的车辆控制方法、装置及车辆 |
| CN114999228A (zh) * | 2022-06-01 | 2022-09-02 | 北京易航远智科技有限公司 | 一种自动驾驶车在恶劣天气防碰撞方法 |
| CN115393681A (zh) * | 2022-08-11 | 2022-11-25 | 浙江大华技术股份有限公司 | 一种目标融合方法、装置、电子设备及存储介质 |
| CN115451968A (zh) * | 2022-09-02 | 2022-12-09 | 苏州挚途科技有限公司 | 智能驾驶的多传感器同步融合方法和装置 |
| CN115643094A (zh) * | 2022-10-27 | 2023-01-24 | 安天科技集团股份有限公司 | 一种威胁情报融合方法、装置、电子设备及存储介质 |
| CN116595314A (zh) * | 2023-04-06 | 2023-08-15 | 上海云骥跃动智能科技发展有限公司 | 一种数据标注方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 一种多传感器数据融合系统方案研究;齐伟;杨风暴;周新宇;;通信技术;20101010(10);全文 * |
| 面向高级辅助驾驶雷达和视觉传感器信息融合算法的研究;杨鑫;刘威;林辉;;汽车实用技术;20180115(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117454316A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11599120B2 (en) | Obstacle detecting method, apparatus, device and computer storage medium | |
| JP7064572B2 (ja) | オブジェクト認識のための複数のセンサのデータの融合 | |
| US9592764B2 (en) | Redundant object detection for driver assistance systems | |
| US20210024083A1 (en) | Method and device for determining unmanned vehicle running scene | |
| US11738747B2 (en) | Server device and vehicle | |
| US20210086766A1 (en) | Method for executing a function of a motor vehicle | |
| CN109635861B (zh) | 一种数据融合方法、装置、电子设备及存储介质 | |
| US20100145618A1 (en) | Vehicle collision management systems and methods | |
| CN112540555A (zh) | 用于远程控制机动车的方法 | |
| CN110103932B (zh) | 故障检测方法、装置、设备和介质 | |
| CN117454316B (zh) | 多传感器的数据融合方法、存储介质及智能设备 | |
| US20210086765A1 (en) | Method for driving a motor vehicle safely in at least partially automated fashion | |
| US20210086788A1 (en) | Method for safely ascertaining infrastructure data | |
| CN110543818B (zh) | 基于权图匹配的红绿灯跟踪方法、装置、介质及设备 | |
| CN111986473A (zh) | 基于车型鉴别的大数据处理方法 | |
| CN117784798B (zh) | 目标跟踪方法、智能设备及计算机可读存储介质 | |
| CN117475092B (zh) | 位姿优化方法、设备、智能设备和介质 | |
| US11577753B2 (en) | Safety architecture for control of autonomous vehicle | |
| CN117173257B (zh) | 3d目标检测及其标定参数增强方法、电子设备、介质 | |
| CN117455901A (zh) | 一种地图质量检测方法、计算机可读存储介质及智能设备 | |
| US20230144073A1 (en) | Information processing system, information processing method, and storage medium | |
| CN117197631A (zh) | 多模态传感器融合感知方法、计算机设备、介质及车辆 | |
| CN115303280A (zh) | 冗余低延迟的车辆行驶道路的识别方法和装置 | |
| CN118097610A (zh) | 静态障碍物检测方法、存储介质及智能设备 | |
| CN115984328A (zh) | 用于自动驾驶的多阶段匹配方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |