CN111178215B - 一种传感器数据融合处理的方法和装置 - Google Patents

一种传感器数据融合处理的方法和装置 Download PDF

Info

Publication number
CN111178215B
CN111178215B CN201911338346.1A CN201911338346A CN111178215B CN 111178215 B CN111178215 B CN 111178215B CN 201911338346 A CN201911338346 A CN 201911338346A CN 111178215 B CN111178215 B CN 111178215B
Authority
CN
China
Prior art keywords
vehicle
area
radar
video image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911338346.1A
Other languages
English (en)
Other versions
CN111178215A (zh
Inventor
杨国道
嵇家刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chenggu Technology Co ltd
Original Assignee
Shenzhen Chenggu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chenggu Technology Co ltd filed Critical Shenzhen Chenggu Technology Co ltd
Priority to CN201911338346.1A priority Critical patent/CN111178215B/zh
Publication of CN111178215A publication Critical patent/CN111178215A/zh
Application granted granted Critical
Publication of CN111178215B publication Critical patent/CN111178215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种传感器数据融合处理的方法和装置，其中，所述方法包括：对路侧摄像装置采集的视频图像进行区域划分；当第一车辆驶入检测区域时，获取预设连续时间范围内的视频图像，并识别所述第一车辆在所述视频图像中的区域信息；基于路侧雷达装置获取所述预设连续时间范围内所述第一车辆的雷达坐标；根据在同一时刻下所述第一车辆的雷达坐标以及所述第一车辆在所述视频图像中的区域信息，构建所述雷达坐标与所述区域信息之间的映射关系；根据所述映射关系对后续驶入车辆进行定位和识别。采用本发明所述的方法，能够将不同类型的传感器的数据进行融合处理，提高对车辆进行定位和识别的效率和准确率，从而便于对自动驾驶车辆进行管控。

Description

一种传感器数据融合处理的方法和装置
技术领域
本发明实施例涉及人工智能数据处理领域，具体涉及一种传感器数据融合处理的方法和装置，另外还涉及一种电子设备和计算机可读存储介质。
背景技术
随着网络和科技的快速发展，车辆自动驾驶技术逐渐完善成熟。自动驾驶技术是指依靠人工智能、视觉计算、雷达、摄像装置以及全球定位系统协同合作，基于计算机实现的车辆控制技术，其可智能化操作机动车辆实现车辆自动驾驶。然而，随着自动驾驶车辆的普及，路侧设置的雷达、摄像装置等传感器也越来越多。目前，高速公路上的雷达、摄像装置等传感器通常都是独立工作，无法实现将各类传感器数据进行结合，比如：雷达设备通常只能用于获取车辆的位置坐标信息，而摄像装置往往只能用于获取车辆的图像信息，然后将各类传感器获取的数据进行独立的分析和处理，使得数据之间的关联性缺失无法进行有效的融合。
因此，未来如何实现对路侧传感器设备采集的数据进行融合处理，以及对车道上自动驾驶车辆的智能化和自动化识别、定位及管控已逐渐成为该领域发展的重点。
发明内容
为此，本发明实施例提供一种传感器数据融合处理的方法，以解决现有技术中存在的无法基于各类传感器所采集的数据进行综合分析，以及对自动驾驶车辆进行定位和识别的效率较低的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
第一方面，本发明实施例提供一种传感器数据融合处理的方法，包括：对路侧摄像装置采集的视频图像进行区域划分；当第一车辆驶入检测区域时，获取预设连续时间范围内的视频图像，并识别所述第一车辆在所述视频图像中的区域信息；基于路侧雷达装置获取所述预设连续时间范围内所述第一车辆的雷达坐标；根据在同一时刻下所述第一车辆的雷达坐标以及所述第一车辆在所述视频图像中的区域信息，构建所述雷达坐标与所述区域信息之间的映射关系；根据所述映射关系对后续驶入车辆进行定位和识别。
进一步的，所述的传感器数据融合处理的方法，还包括：当第二车辆驶入所述检测区域时，基于所述路侧雷达装置获取所述第二车辆的实时雷达坐标；其中，所述第二车辆驶入所述检测区域的时刻在所述第一车辆驶入所述检测区域的时刻之后；根据所述实时雷达坐标和所述映射关系，获得所述第二车辆在视频图像中所处的实时区域信息；根据所述实时区域信息对所述第二车辆进行识别。
进一步的，所述的传感器数据融合处理的方法，还包括：当第二车辆驶入所述检测区域时，基于所述路侧摄像装置获取所述第二车辆在视频图像中所处的实时区域信息；其中，所述第二车辆驶入所述检测区域的时刻在所述第一车辆驶入所述检测区域的时刻之后；根据所述实时区域信息和所述映射关系，获得所述第二车辆的实时雷达坐标；根据所述实时雷达坐标对所述第二车辆进行定位。
进一步的，所述的传感器数据融合处理的方法，还包括：若所述视频图像中存在第一区域未映射雷达坐标；根据所述第一区域的相邻区域的雷达坐标进行插值处理，获得所述第一区域的雷达坐标信息。
进一步的，所述对路侧摄像装置采集的视频图像进行区域划分，具体包括：识别所述视频图像中设置的车道线；基于所述车道线对路侧摄像装置采集的视频图像进行区域划分。
进一步的，述的传感器数据融合处理的方法，还包括：构建所述雷达坐标与所述区域信息之间的映射关系之后，对所述映射关系进行存储。
第二方面，本发明实施例还提供一种传感器数据融合处理的装置，包括：区域划分单元，用于对路侧摄像装置采集的视频图像进行区域划分；视频图像获取及识别单元，用于当第一车辆驶入检测区域时，获取预设连续时间范围内的视频图像，并识别所述第一车辆在所述视频图像中的区域信息；第一雷达坐标获取单元，用于基于路侧雷达装置获取所述预设连续时间范围内所述第一车辆的雷达坐标；构建单元，用于根据在同一时刻下所述第一车辆的雷达坐标以及所述第一车辆在所述视频图像中的区域信息，构建所述雷达坐标与所述区域信息之间的映射关系；定位及识别单元，用于根据所述映射关系对后续驶入车辆进行定位和识别。
进一步的，所述的传感器数据融合处理的装置，还包括：第二雷达坐标获取单元，用于当第二车辆驶入所述检测区域时，基于所述路侧雷达装置获取所述第二车辆的实时雷达坐标；其中，所述第二车辆驶入所述检测区域的时刻在所述第一车辆驶入所述检测区域的时刻之后；第一分析处理单元，用于根据所述实时雷达坐标和所述映射关系，获得所述第二车辆在视频图像中所处的实时区域信息；识别单元，用于根据所述实时区域信息对所述第二车辆进行识别。
进一步的，所述的传感器数据融合处理的装置，还包括：视频图像获取单元，用于当第二车辆驶入所述检测区域时，基于所述路侧摄像装置获取所述第二车辆在视频图像中所处的实时区域信息；其中，所述第二车辆驶入所述车道的时刻在所述第一车辆驶入所述检测区域的时刻之后；第二分析处理单元，用于根据所述实时区域信息和所述映射关系，获得所述第二车辆的实时雷达坐标；定位单元，用于根据所述实时雷达坐标对所述第二车辆进行定位。
进一步的，所述的传感器数据融合处理的装置，还包括：插值处理单元，用于若所述视频图像中存在第一区域未映射雷达坐标，则根据所述第一区域的相邻区域的雷达坐标进行插值处理，获得所述第一区域的雷达坐标信息。
进一步的，所述区域划分具体用于：识别所述视频图像中设置的车道线；基于所述车道线对路侧摄像装置采集的视频图像进行区域划分。
进一步的，述的传感器数据融合处理的装置，还包括：存储单元，用于构建所述雷达坐标与所述区域信息之间的映射关系之后，对所述映射关系进行存储。
第三方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；其中，所述存储器，用于存储传感器数据融合处理的方法的程序，该电子设备通电并通过所述处理器运行该传感器数据融合处理的方法的程序后，执行上述所述的任意一项所述的传感器数据融合处理的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被服务器执行上述传感器数据融合处理的方法中任一项所述的方法。
采用本发明所述的传感器数据融合处理的方法，采用本发明所述的方法，能够将不同类型的传感器所采集的数据进行融合处理和分析，提高了对车辆进行定位和识别的效率和精确性，从而便于对自动驾驶车辆进行管控。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
图1为本发明实施例提供的一种传感器数据融合处理的方法的流程图；
图2为本发明实施例提供的一种传感器数据融合处理的装置的示意图；
图3为本发明实施例提供的一种电子设备的示意图；
图4为本发明实施例提供的一种传感器数据融合处理的方法中区域划分的示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面基于本发明所述的传感器数据融合处理的方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的一种传感器数据融合处理的方法的流程图，具体实现过程包括以下步骤：
步骤S101：对路侧摄像装置采集的视频图像进行区域划分。
在本发明实施例中，可识别所述视频图像中道路上预先设置的车道线，并将所述车道线作为划分区域的边界标识对路侧摄像装置采集的视频图像中的道路进行区域划分。具体的，如图4所示，可将某一段或者几段的车道线作为左右两侧的区域边界，将所述车道线两侧端点之间的连线作为上下两侧区域两边，对道路进行区域划分，得到区域1、区域2、区域3、区域4以及区域5等若干个区域。其中，所述车道线可以是指道路上的导向车道线，即引导方向的车道标线，通常用来指示车辆的行驶路线或明确行车方向，避免偏离车道。
需要说明的是，虽然上文中已经用一般性说明及具体实施例对本发明中区域划分过程作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明原意的基础上所做的这些修改或改进，均属于本发明要求保护的范围。本发明实施例中所述的区域划分方式不限于上述所列举的情况，其可按照实际需要进行设定，在此不再一一赘述。
步骤S102：当第一车辆驶入检测区域时，获取预设连续时间范围内的视频图像，并识别所述第一车辆在所述视频图像中的区域信息。
在步骤S101中对路侧摄像装置采集的视频图像进行区域划分之后，在本步骤中可在车辆驶入检测区域时获取预设连续时间范围内的视频图像，并识别所述车辆在所述视频图像中的区域信息。
具体的，所述检测区域可以是指路侧设置的毫米波雷达、激光雷达以及摄像装置等传感器所能够检测到的特定道路区域范围。比如：所述检测区域可以包括如图4所示的区域1、区域2、区域3、区域4以及区域5等中的至少一个区域，在此不做具体限定。
当第一车辆驶入检测区域时，获取预设连续时间范围内的视频图像，并识别所述第一车辆在所述视频图像中的区域信息。例如：当检测到所述第一车辆在12点20分00秒驶入检测区域时，可获取预设连续时间范围12点20分00秒-12点20分50秒内摄像装置所采集到的所有视频图像帧，并识别每一视频图像帧所述第一车辆所处的区域信息，以及采集该视频图像帧所对应的时刻。其中，所述区域信息可以是指划分的不同区域的标识信息。
步骤S103：基于路侧雷达装置获取所述预设连续时间范围内所述第一车辆的雷达坐标。
具体的，在步骤S102中识别所述车辆在所述视频图像中的区域信息的同时，在本步骤中可基于路侧雷达装置获取所述预设连续时间范围内车辆的雷达坐标。其中，所述路侧雷达装置可以是指预先设置在路侧或者高速公路门架上的毫米波雷达或者激光雷达等，基于路侧雷达装置获取的所述雷达坐标可定位所述第一车辆在某一时刻的具体位置。
步骤S104：根据在同一时刻下所述第一车辆的雷达坐标以及所述第一车辆在所述视频图像中的区域信息，构建所述雷达坐标与所述区域信息之间的映射关系。
在本发明实施例中，预设连续时间范围内可包含多个不同的时刻，针对不同的时刻，可通过所述路侧雷达装置分别获取对应第一车辆的雷达坐标，同时可通过预设的路侧摄像装置分别获取对应第一车辆在所述视频图像中的区域信息，进而根据在同一时刻下所述第一车辆的雷达坐标以及所述第一车辆在所述视频图像中的区域信息构建映射关系。
进一步的，在构建所述雷达坐标与所述区域信息之间的映射关系之后，还可对所述映射关系进行存储，便于对后续驶入所述检测区域的车辆进行识别和定位时，调取该映射关系进行融合分析处理。
步骤S105：根据所述映射关系对后续驶入车辆进行定位和识别。
在步骤S104中构建所述雷达坐标与所述区域信息之间的映射关系之后，在本步骤中可根据所述映射关系对后续驶入车辆进行定位、识别及管控。
在后续具体实施过程中可包括：当第二车辆驶入所述检测区域时，基于所述路侧雷达装置获取所述第二车辆的实时雷达坐标；其中，所述第二车辆驶入所述检测区域的时刻在所述第一车辆驶入所述检测区域的时刻之后；根据所述实时雷达坐标和所述映射关系，获得所述第二车辆在视频图像中所处的实时区域信息；根据所述实时区域信息对所述第二车辆进行识别。
另外，还可包括：当第二车辆驶入所述检测区域时，基于所述路侧摄像装置获取所述第二车辆在视频图像中所处的实时区域信息；其中，所述第二车辆驶入所述车道的时刻在所述第一车辆驶入所述检测区域的时刻之后；根据所述实时区域信息和所述映射关系，获得所述第二车辆的实时雷达坐标；根据所述实时雷达坐标对所述第二车辆进行定位。
在实际实施过程中，若所述视频图像中存在第一区域未映射雷达坐标，则根据所述第一区域的相邻区域的雷达坐标进行插值处理，获得所述第一区域的雷达坐标信息。具体的，如图4所示，所述第一区域可以是指区域1、区域2、区域3、区域4以及区域5等中的任意一个区域。当第一区域是区域2时，根据所述第一区域的相邻区域的雷达坐标进行插值处理，获得所述第一区域的雷达坐标信息，具体实现过程可以包括：获得区域2的相邻区域的雷达坐标，即区域1的雷达坐标(X1，Y1)以及区域3的雷达坐标(X2，Y2)进行插值处理，获得所述第一区域的雷达坐标信息。
采用本发明所述的传感器数据融合处理的方法，采用本发明所述的方法，能够将不同类型的传感器所采集的数据进行融合处理和分析，提高了对车辆进行定位和识别的效率和精确性，从而便于对自动驾驶车辆进行管控。
与上述提供的一种传感器数据融合处理的方法相对应，本发明还提供一种传感器数据融合处理的装置。由于该装置的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的传感器数据融合处理的装置的实施例仅是示意性的。请参考图2所示，其为本发明实施例提供的一种传感器数据融合处理的装置的示意图。
本发明所述的一种传感器数据融合处理的装置包括如下部分：
区域划分单元201，用于对路侧摄像装置采集的视频图像进行区域划分。
在本发明实施例中，可识别所述视频图像中道路上预先设置的车道线，并将所述车道线作为划分区域的边界标识对路侧摄像装置采集的视频图像中的道路进行区域划分。具体的，如图4所示，可将某一段或者几段的车道线作为左右两侧的区域边界，将所述车道线两侧端点之间的连线作为上下两侧区域两边，对道路进行区域划分，得到区域1、区域2、区域3、区域4以及区域5等若干个区域。其中，所述车道线可以是指道路上的导向车道线，即引导方向的车道标线，通常用来指示车辆的行驶路线或明确行车方向，避免偏离车道。
视频图像获取及识别单元202，用于当第一车辆驶入检测区域时，获取预设连续时间范围内的视频图像，并识别所述第一车辆在所述视频图像中的区域信息。
在区域划分单元201中对路侧摄像装置采集的视频图像进行区域划分之后，在视频图像获取及识别单元202中可在车辆驶入检测区域时获取预设连续时间范围内的视频图像，并识别所述车辆在所述视频图像中的区域信息。
具体的，所述检测区域可以是指路侧设置的毫米波雷达、激光雷达以及摄像装置等传感器所能够检测到的特定道路区域范围。比如：所述检测区域可以包括如图4所示的区域1、区域2、区域3、区域4以及区域5等中的至少一个区域，在此不做具体限定。
第一雷达坐标获取单元203，用于基于路侧雷达装置获取所述预设连续时间范围内所述第一车辆的雷达坐标。
具体的，在视频图像获取及识别单元202中识别所述车辆在所述视频图像中的区域信息的同时，在第一雷达坐标获取单元203中可基于路侧雷达装置获取所述预设连续时间范围内车辆的雷达坐标。其中，所述路侧雷达装置可以是指预先设置在路侧或者高速公路门架上的毫米波雷达或者激光雷达等，基于路侧雷达装置获取的所述雷达坐标可定位所述第一车辆在某一时刻的具体位置。
构建单元204，用于根据在同一时刻下所述第一车辆的雷达坐标以及所述第一车辆在所述视频图像中的区域信息，构建所述雷达坐标与所述区域信息之间的映射关系。
在本发明实施例中，预设连续时间范围内可包含多个不同的时刻，针对不同的时刻，可通过所述路侧雷达装置分别获取对应第一车辆的雷达坐标，同时可通过预设的路侧摄像装置分别获取对应第一车辆在所述视频图像中的区域信息，进而根据在同一时刻下所述第一车辆的雷达坐标以及所述第一车辆在所述视频图像中的区域信息构建映射关系。进一步的，在构建所述雷达坐标与所述区域信息之间的映射关系之后，还可对所述映射关系进行存储，便于对后续驶入所述检测区域的车辆进行识别和定位时，调取该映射关系进行融合分析处理。
定位及识别单元205，用于根据所述映射关系对后续驶入车辆进行定位和识别。
在构建单元204中构建所述雷达坐标与所述区域信息之间的映射关系之后，在定位及识别单元205中可根据所述映射关系对后续驶入车辆进行定位、识别及管控。
采用本发明所述的传感器数据融合处理的装置，采用本发明所述的方法，能够将不同类型的传感器所采集的数据进行融合处理和分析，提高了对车辆进行定位和识别的效率和精确性，从而便于对自动驾驶车辆进行管控。
与上述提供的传感器数据融合处理的方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图3所示，其为本发明实施例提供的一种电子设备的示意图。
该电子设备具体包括：处理器301和存储器302；其中，存储器302用于运行一个或多个程序指令，用于存储传感器数据融合处理的方法的程序，该服务器通电并通过所述处理器301运行该传感器数据融合处理的方法的程序后，执行上述任意一项所述的传感器数据融合处理的方法。
与上述提供的一种传感器数据融合处理的方法相对应，本发明还提供一种计算机存储介质。由于该计算机存储介质的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的计算机存储介质仅是示意性的。
所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被服务器执行上述所述的传感器数据融合处理的方法。
在本发明实施例中，处理器或处理器模块可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(Direct Ram bus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (8)

1.一种传感器数据融合处理的方法，其特征在于，包括：
对路侧摄像装置采集的视频图像进行区域划分；具体是：识别所述视频图像中道路上预先设置的车道线，将多段的车道线作为左右两侧的区域边界，车道线两侧端点之间的连线作为上下两侧区域两边，对道路进行区域划分，依次得到第一区域、第二区域、第三区域、第四区域以及第五区域等若干个区域；
当第一车辆驶入检测区域时，获取预设连续时间范围内的视频图像，并识别所述第一车辆在所述视频图像中的区域信息，包括：识别预设连续时间范围内每一视频图像帧所述第一车辆所处的区域信息，以及采集该视频图像帧所对应的时刻；
基于路侧雷达装置获取所述预设连续时间范围内所述第一车辆的雷达坐标；
根据在同一时刻下所述第一车辆的雷达坐标以及所述第一车辆在所述视频图像中的区域信息，构建所述雷达坐标与所述区域信息之间的映射关系，对所述映射关系进行存储；
根据所述映射关系对后续驶入车辆进行定位和识别。
2.根据权利要求1所述的传感器数据融合处理的方法，其特征在于，所述根据所述映射关系对后续驶入车辆进行定位和识别，具体包括：
当第二车辆驶入所述检测区域时，基于所述路侧雷达装置获取所述第二车辆的实时雷达坐标；其中，所述第二车辆驶入所述检测区域的时刻在所述第一车辆驶入所述检测区域的时刻之后；
根据所述实时雷达坐标和所述映射关系，获得所述第二车辆在视频图像中所处的实时区域信息；
根据所述实时区域信息对所述第二车辆进行识别。
3.根据权利要求1所述的传感器数据融合处理的方法，其特征在于，所述根据所述映射关系对后续驶入车辆进行定位和识别，具体包括：
当第二车辆驶入所述检测区域时，基于所述路侧摄像装置获取所述第二车辆在视频图像中所处的实时区域信息；其中，所述第二车辆驶入所述检测区域的时刻在所述第一车辆驶入所述检测区域的时刻之后；
根据所述实时区域信息和所述映射关系，获得所述第二车辆的实时雷达坐标；
根据所述实时雷达坐标对所述第二车辆进行定位。
4.根据权利要求1所述的传感器数据融合处理的方法，其特征在于，还包括：
若所述视频图像中存在第一区域未映射雷达坐标，则根据所述第一区域的相邻区域的雷达坐标进行插值处理，获得所述第一区域的雷达坐标信息。
5.一种传感器数据融合处理的装置，其特征在于，包括：
区域划分单元，用于对路侧摄像装置采集的视频图像进行区域划分；具体是：识别所述视频图像中道路上预先设置的车道线，将多段的车道线作为左右两侧的区域边界，车道线两侧端点之间的连线作为上下两侧区域两边，对道路进行区域划分，依次得到第一区域、第二区域、第三区域、第四区域以及第五区域等若干个区域；
视频图像获取及识别单元，用于当第一车辆驶入检测区域时，获取预设连续时间范围内的视频图像，并识别所述第一车辆在所述视频图像中的区域信息，包括：识别预设连续时间范围内每一视频图像帧所述第一车辆所处的区域信息，以及采集该视频图像帧所对应的时刻；
第一雷达坐标获取单元，用于基于路侧雷达装置获取所述预设连续时间范围内所述第一车辆的雷达坐标；
构建单元，用于根据在同一时刻下所述第一车辆的雷达坐标以及所述第一车辆在所述视频图像中的区域信息，构建所述雷达坐标与所述区域信息之间的映射关系，对所述映射关系进行存储；
定位及识别单元，用于根据所述映射关系对后续驶入车辆进行定位和识别。
6.根据权利要求5所述的传感器数据融合处理的装置，其特征在于，还包括：
第二雷达坐标获取单元，用于当第二车辆驶入所述检测区域时，基于所述路侧雷达装置获取所述第二车辆的实时雷达坐标；其中，所述第二车辆驶入所述检测区域的时刻在所述第一车辆驶入所述检测区域的时刻之后；
第一分析处理单元，用于根据所述实时雷达坐标和所述映射关系，获得所述第二车辆在视频图像中所处的实时区域信息；
识别单元，用于根据所述实时区域信息对所述第二车辆进行识别。
7.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储传感器数据融合处理的方法的程序，该电子设备通电并通过所述处理器运行该传感器数据融合处理的方法的程序后，执行上述权利要求1-4任意一项所述的传感器数据融合处理的方法。
8.一种计算机可读存储介质，其特征在于，包含一个或多个程序指令，所述一个或多个程序指令用于被服务器执行如权利要求1-4任一项所述的传感器数据融合处理的方法。
CN201911338346.1A 2019-12-23 2019-12-23 一种传感器数据融合处理的方法和装置 Active CN111178215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911338346.1A CN111178215B (zh) 2019-12-23 2019-12-23 一种传感器数据融合处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911338346.1A CN111178215B (zh) 2019-12-23 2019-12-23 一种传感器数据融合处理的方法和装置

Publications (2)

Publication Number Publication Date
CN111178215A CN111178215A (zh) 2020-05-19
CN111178215B true CN111178215B (zh) 2024-03-08

Family

ID=70657457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911338346.1A Active CN111178215B (zh) 2019-12-23 2019-12-23 一种传感器数据融合处理的方法和装置

Country Status (1)

Country Link
CN (1) CN111178215B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085952B (zh) * 2020-09-07 2022-06-03 平安科技（深圳）有限公司 监控车辆数据方法、装置、计算机设备及存储介质
CN112508081A (zh) * 2020-12-02 2021-03-16 王刚 车辆识别方法、装置及计算机可读存储介质
CN112613381A (zh) * 2020-12-17 2021-04-06 浙江大华技术股份有限公司 一种图像映射方法、装置、存储介质及电子装置
CN113420805B (zh) * 2021-06-21 2022-11-29 车路通科技(成都)有限公司 视频和雷达的动态轨迹图像融合方法、装置、设备及介质
CN113160571B (zh) * 2021-06-28 2021-10-01 智道网联科技(北京)有限公司 基于车路协同的多数据源的数据融合处理方法和装置
CN113917450B (zh) * 2021-12-07 2022-03-11 深圳佑驾创新科技有限公司 一种多扩展目标雷达量测集划分方法和装置
CN114333347B (zh) * 2022-01-07 2024-03-01 深圳市金溢科技股份有限公司 车辆信息融合方法、装置、计算机设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825185A (zh) * 2016-03-15 2016-08-03 深圳市中天安驰有限责任公司 车辆防碰撞预警方法及装置
CN106373394A (zh) * 2016-09-12 2017-02-01 深圳尚桥交通技术有限公司 一种基于视频和雷达的车辆检测方法及系统
CN106710240A (zh) * 2017-03-02 2017-05-24 公安部交通管理科学研究所 融合多目标雷达与视频信息的通行车辆跟踪测速方法
CN106874863A (zh) * 2017-01-24 2017-06-20 南京大学 基于深度卷积神经网络的车辆违停逆行检测方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN108596081A (zh) * 2018-04-23 2018-09-28 吉林大学 一种基于雷达和摄像机融合的车辆行人探测方法
CN108615358A (zh) * 2018-05-02 2018-10-02 安徽大学 一种道路拥堵检测方法及装置
CN109033950A (zh) * 2018-06-12 2018-12-18 浙江工业大学 基于多特征融合级联深度模型的车辆违停检测方法
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测系统
CN109816702A (zh) * 2019-01-18 2019-05-28 苏州矽典微智能科技有限公司 一种多目标跟踪装置和方法
CN109919144A (zh) * 2019-05-15 2019-06-21 长沙智能驾驶研究院有限公司 可行驶区域检测方法、装置、计算机存储介质及路测视觉设备
CN109948523A (zh) * 2019-03-18 2019-06-28 中国汽车工程研究院股份有限公司 一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用
CN110008891A (zh) * 2019-03-29 2019-07-12 厦门金龙旅行车有限公司 一种行人检测定位方法、装置、车载计算设备及存储介质
CN110335488A (zh) * 2019-07-24 2019-10-15 深圳成谷科技有限公司 一种基于车路协同的车辆自动驾驶方法和装置
CN110443819A (zh) * 2018-05-03 2019-11-12 比亚迪股份有限公司 一种单轨列车的轨道检测方法和装置
WO2020103892A1 (zh) * 2018-11-21 2020-05-28 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116488A1 (en) * 2015-10-23 2017-04-27 MAGNETI MARELLI S.p.A. Method for identifying an incoming vehicle and corresponding system
JP2018173834A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825185A (zh) * 2016-03-15 2016-08-03 深圳市中天安驰有限责任公司 车辆防碰撞预警方法及装置
CN106373394A (zh) * 2016-09-12 2017-02-01 深圳尚桥交通技术有限公司 一种基于视频和雷达的车辆检测方法及系统
CN106874863A (zh) * 2017-01-24 2017-06-20 南京大学 基于深度卷积神经网络的车辆违停逆行检测方法
CN106710240A (zh) * 2017-03-02 2017-05-24 公安部交通管理科学研究所 融合多目标雷达与视频信息的通行车辆跟踪测速方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN108596081A (zh) * 2018-04-23 2018-09-28 吉林大学 一种基于雷达和摄像机融合的车辆行人探测方法
CN108615358A (zh) * 2018-05-02 2018-10-02 安徽大学 一种道路拥堵检测方法及装置
CN110443819A (zh) * 2018-05-03 2019-11-12 比亚迪股份有限公司 一种单轨列车的轨道检测方法和装置
CN109033950A (zh) * 2018-06-12 2018-12-18 浙江工业大学 基于多特征融合级联深度模型的车辆违停检测方法
WO2020103892A1 (zh) * 2018-11-21 2020-05-28 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及可读存储介质
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测系统
CN109816702A (zh) * 2019-01-18 2019-05-28 苏州矽典微智能科技有限公司 一种多目标跟踪装置和方法
CN109948523A (zh) * 2019-03-18 2019-06-28 中国汽车工程研究院股份有限公司 一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用
CN110008891A (zh) * 2019-03-29 2019-07-12 厦门金龙旅行车有限公司 一种行人检测定位方法、装置、车载计算设备及存储介质
CN109919144A (zh) * 2019-05-15 2019-06-21 长沙智能驾驶研究院有限公司 可行驶区域检测方法、装置、计算机存储介质及路测视觉设备
CN110335488A (zh) * 2019-07-24 2019-10-15 深圳成谷科技有限公司 一种基于车路协同的车辆自动驾驶方法和装置

Also Published As

Publication number Publication date
CN111178215A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111178215B (zh) 一种传感器数据融合处理的方法和装置
CN110758246B (zh) 一种自动泊车方法及装置
EP3836018A2 (en) Method and apparatus for determining road information data and computer storage medium
CN109901138B (zh) 激光雷达标定方法、装置、设备和存储介质
US11205284B2 (en) Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
CN108877269B (zh) 一种交叉路口车辆状态检测及v2x广播方法
WO2021155685A1 (zh) 一种更新地图的方法、装置和设备
CN112753038B (zh) 识别车辆变道趋势的方法和装置
CN111985300B (zh) 自动驾驶动态目标定位方法、装置、电子设备及存储介质
CN104167109A (zh) 车辆位置的检测方法和检测装置
CN112037249A (zh) 一种对摄像装置影像中物体进行跟踪的方法及装置
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN115962774A (zh) 点云地图更新方法、装置及电子设备、存储介质
CN114863096B (zh) 室内停车场的语义地图构建及定位方法和装置
CN115143952A (zh) 基于视觉辅助的自动驾驶车辆定位方法、装置
CN113450388B (zh) 一种目标跟踪方法、装置及电子设备
Xiong et al. Fast and robust approaches for lane detection using multi‐camera fusion in complex scenes
CN116664498A (zh) 车位检测模型的训练方法、车位检测方法、装置和设备
CN115731224A (zh) 一种车牌检测方法、装置、终端设备和存储介质
CN115719442A (zh) 一种基于单应性变换矩阵的交叉路口目标融合方法及系统
CN115620244A (zh) 基于车路协同的图像检测方法、装置、设备及存储介质
CN113591720A (zh) 车道偏离检测方法、装置及计算机存储介质
DE102011111856B4 (de) Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
CN114359766A (zh) 重叠区域的确定方法、目标检测方法、装置、设备和介质
CN112598314A (zh) 智能驾驶汽车的感知置信度确定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant