CN115331421A - 路侧多传感环境感知方法、装置及系统 - Google Patents

路侧多传感环境感知方法、装置及系统 Download PDF

Info

Publication number
CN115331421A
CN115331421A CN202110507044.3A CN202110507044A CN115331421A CN 115331421 A CN115331421 A CN 115331421A CN 202110507044 A CN202110507044 A CN 202110507044A CN 115331421 A CN115331421 A CN 115331421A
Authority
CN
China
Prior art keywords
sensing
data
result
detection
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110507044.3A
Other languages
English (en)
Inventor
束然
刘建超
王邓江
邓永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wanji Technology Co Ltd
Original Assignee
Beijing Wanji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wanji Technology Co Ltd filed Critical Beijing Wanji Technology Co Ltd
Priority to CN202110507044.3A priority Critical patent/CN115331421A/zh
Publication of CN115331421A publication Critical patent/CN115331421A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing

Abstract

本申请适用于智能交通技术领域，本申请公开了一种路侧多传感环境感知方法、装置及系统，在该方法中，获取检测范围内的多个传感数据，其中，每一传感数据分别是由相应类型的路侧传感模块来确定的；按照检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果；其中，单传感检测结果为对应的传感数据的目标检测结果；基于各场景区域的感知结果以及各场景区域在检测范围的空间位置输出检测范围的感知结果。由此，实现对路侧空间中不同位置的区域的精细化感知。

Description

路侧多传感环境感知方法、装置及系统
技术领域
本申请属于智能交通技术领域，尤其涉及一种路侧多传感环境感知方法、装置及系统。
背景技术
智能交通系统的发展和进步，为交通问题的解决提供了新的有效技术手段。利用先进的智能交通技术，进行基础交通信息感知与交通信息获取，已经成为当前智能交通发展的一大趋势。
当前，基础交通信息感知与获取方式主要是通过各种传感器，其中包括激光雷达、摄像头、雷达以及GPS等设备。不同类型的检测传感器存在各自的优势，但同样也存在一些弊端，例如毫米波雷达探测距离远但难以感知近处目标的细节，相机感知目标细节的能力较强但难以探测远处目标。尤其是，道路现场的环境千差万别，统一配置的路侧感知系统已经难以满足针对道路场景中不同区域的精细化感知需求。
针对上述问题，目前业界暂无较佳的解决方案。
发明内容
鉴于此，本申请实施例提供了一种路侧多传感环境感知方法、装置及系统，以至少解决现有技术中路侧感知系统无法对道路场景中的不同区域进行精细化感知的问题。
本申请实施例的第一方面提供了一种路侧多传感环境感知方法，所述方法包括：获取检测范围内的多个传感数据，其中，每一所述传感数据分别是由相应类型的路侧传感模块来确定的；按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果；其中，所述单传感检测结果为对应的传感数据的目标检测结果；若选用多种传感数据，则所述对应的数据处理包括数据级或特征级多传感数据融合；若选用多种单传感检测结果，则所述对应的数据处理包括结果级多传感数据融合；基于各场景区域的感知结果以及各所述场景区域在所述检测范围的空间位置输出所述检测范围的感知结果。
本申请实施例的第二方面提供了一种路侧多传感环境感知装置，所述装置包括：获取单元，被配置为获取检测范围内的多个传感数据，其中，每一所述传感数据分别是由相应类型的路侧传感模块来确定的；第一输出单元，被配置为按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果；其中，所述单传感检测结果为对应的传感数据的目标检测结果；若选用多种传感数据，则所述对应的数据处理包括数据级或特征级多传感数据融合；若选用多种单传感检测结果，则所述对应的数据处理包括结果级多传感数据融合；第二输出单元，被配置为基于各场景区域的感知结果以及各所述场景区域在所述检测范围的空间位置输出所述检测范围的感知结果。
本申请实施例的第三方面提供了一种路侧多传感环境感知系统，所述系统包括多个不同类型的路侧传感模块和控制器，其中，各个所述路侧传感模块分别被配置为采集在检测范围内的传感数据；所述控制器被配置为执行以下操作：获取检测范围内的多个传感数据，其中，每一所述传感数据分别是由相应类型的路侧传感模块来确定的；按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果；其中，所述单传感检测结果为对应的传感数据的目标检测结果；若选用多种传感数据，则所述对应的数据处理包括数据级或特征级多传感数据融合；若选用多种单传感检测结果，则所述对应的数据处理包括结果级多传感数据融合；基于各场景区域的感知结果以及各所述场景区域在所述检测范围的空间位置输出所述检测范围的感知结果。
本申请实施例的第四方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本申请实施例的第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
本申请实施例的第六方面提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备实现如上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
通过本申请实施例，利用不同类型的路侧传感模块来采集在检测范围中的传感数据，使得针对检测范围中的不同场景区域可以选用相应的至少一种传感数据或检测结果来进行数据处理，得到与各场景区域适配的感知结果，进而基于各场景区域的感知结果以及各场景区域在检测范围的空间位置输出检测范围的感知结果。由此，利用检测范围预先划分的场景区域，对道路场景中不同区域可以选用相应类型的传感数据来确定感知结果，例如对场景区域A可以使用传感数据a和b，而对场景区域B可以使用传感数据c和d，实现对路侧检测范围中不同空间位置的区域的精细化感知。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请实施例的路侧多传感环境感知方法的一示例的流程图；
图2示出了根据本申请实施例的智慧基站的一示例的结构框图；
图3示出了根据本申请实施例的智慧基站的配置和操作方法一示例的流程图；
图4示出了图3中步骤320的自动划分检测范围中的场景区域的一示例的流程图；
图5示出了图3中步骤330的利用多个传感数据进行路侧环境感知操作的一示例的流程图；
图6示出了图5中的步骤560的根据相对距离选取感知结果的一示例的流程图；
图7示出了根据本申请实施例的路侧多传感环境感知系统的一示例的结构示意图；
图8示出了根据本申请实施例的路侧多传感环境感知装置的一示例的结构框图；
图9是本申请实施例的电子设备的一示例的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
图1示出了根据本申请实施例的路侧多传感环境感知方法的一示例的流程图。
需要说明的是，本申请实施例方法的步骤可以被路端的路侧计算单元/终端/边缘服务器执行，还可以被云端服务器执行，甚至可以被云端以及路端的计算设备的组合系统执行，该方法中具体的任务分配可以基于需求灵活设置，本申请不做限定。
在本申请实施例中，路侧终端(或，路侧设备)中设置有多种路侧传感模块或传感器，由此构建成路侧融合感知系统(其可以被称为“智慧基站”或“路侧基站”)。应理解的是，通过本实施例方法，可以运行相关算法处理多种传感器采集的数据，实现环境感知，该算法包含但不限于对应传感器数据的目标检测算法，多传感融合感知算法等等。
如图1所示，在步骤110中，获取检测范围内的多个传感数据。这里，每一传感数据分别是由相应类型的路侧传感模块来确定的。
应理解的是，各个路侧传感模块所对应的传感类型可以是多样化的，例如路侧传感模块的理性可以是相机、毫米波雷达和激光雷达等等，在此应不加限制。此外，检测范围可以是与相应路侧传感模块的检测性能相适配，例如具有更高性能的路侧传感模块所对应的针对路侧环境的检测范围也更大。
在步骤120中，按照检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果。这里，单传感检测结果为对应的传感数据的目标检测结果。
需说明的是，某个路侧传感模块或传感器在进行传感检测的过程中所产生的检测数据会存在三个层级的数据转换，从底层向上的三个层级依次是数据级(即，传感数据)、特征级和结果级(即，单传感检测结果)。
在一些实施方式中，场景区域(或，区域的场景类型)可以是与相应类型的传感模块的检测数据相匹配，例如场景区域A与传感模块a和b的检测数据相匹配，而场景区域B与传感模块c和d的检测数据相匹配，并在单个场景类型与多个检测数据时可以进行数据融合操作。此外，数据融合操作所选用的检测数据可以是路侧传感模块在各个层级的数据，例如数据级、特征级或结果级，在此应不加限制。
具体地，如果对场景区域选用多种数据级的传感数据，则对应的数据处理可以是在数据级的传感数据进行数据级多传感数据融合，或者进行在数据级上层的特征级多传感数据融合，从而得到相应的感知结果。另外，如果对场景区域选用多种结果级的单传感检测结果，则对应的数据处理可以是结果级多传感数据融合，从而得到相应的感知结果。这里，相比于结果级多传感数据融合，数据级或特征级多传感数据融合能够实现更精细化的感知结果。
在步骤130中，基于各场景区域的感知结果以及各场景区域在检测范围的空间位置输出检测范围的感知结果。具体地，可以按照在检测范围内各场景区域的空间位置，拼接各场景区域的感知结果，以得到检测范围的感知结果。由此，结合各个场景区域在检测范围中的空间位置的感知结果，输出检测范围总体的结果，使得针对检测范围中的不同空间位置可以分别采用定制化的检测数据融合方案，实现精细化感知路侧环境。
关于上述步骤120的实施细节，在一些示例中，在选用数据进行数据处理之前，可以按照各场景区域对应的目标和与路侧传感模块之间的距离，设置场景区域与路侧传感模块的无序组合的对应关系。这里，各场景区域对应的目标可以是根据历史数据而确定的，并可以参照各种确定或跟踪区域中的目标的相关技术，在此便不赘述。
需说明的是，路侧传感模块a、b和c所对应的无序组合可以是无序全排列组合{[a],[b],[c],[a,b],[a,c],[b,c],[a,b,c]}中的一者，并可以为检测范围内的各个场景区域分别设置相应的路侧传感模块组合，使得针对各个场景区域能够选用适宜的一种或多种传感器数据。进而，在选用数据进行针对各场景区域的数据处理时，可以在确定目标所处的场景区域后，利用该对应关系来选用相应的传感数据。
通过本申请实施例，预先设置各个场景区域与路侧传感模块的无序组合的对应关系，使得在进行感知分析时，可以在确定目标所处的场景区域之后，利用对应关系来选用与该场景区域相适配的至少一种传感器数据，例如针对场景区域A可以从多个传感器数据{d1，d2，d3}选用相应的传感器数据d1和d2进行融合计算。
图2示出了根据本申请实施例的智慧基站的一示例的结构框图。
如图2所示，智慧基站200包括激光雷达210、相机220和毫米波雷达230。由此，通过各种不同类型的路测传感模块协同使用，利用相机获取的图像、激光雷达获取的点云数据以及毫米波雷达获取的点云数据进行融合输出检测结果，充分利用各自的优势互补，能够在各种场景下最大的感知精度，有助于实现智能交通。
在本申请实施例的一个示例中，智慧基站200中可以配置处理单元，以在智慧基站本地协同调用各种不同类型的路测传感模块。在本申请实施例的另一示例中，智慧基站200可以与计算终端交互各个类型的路侧传感数据，以在计算终端进行融合计算而得到检测范围的精细化感知结果，且都属于本申请实施例的实施范围内。
图3示出了根据本申请实施例的智慧基站的配置和操作方法一示例的流程图。在本实施例的示例中，智慧基站中可以设置有一个激光雷达、三个相机和三个毫米波雷达，并且每个毫米波雷达和相机一一对应。
如图3所示，在步骤310中，标定智慧基站中的各路测传感模块的坐标系。
结合应用场景来说，运营商可以在路边的不同位置分别搭设智慧基站，并可以对各个智慧基站分别进行标定操作。示例性地，可以获取多种路侧传感模块所采集的分别针对标定对象的标定传感数据。然后，基于各个标定传感数据，确定标定对象在各个相应路侧传感模块的坐标系中的标定对象坐标参数。进而，可以基于各个标定对象坐标参数，确定各个路侧传感模块的坐标系之间的坐标转换关系，使得在针对多种传感数据进行数据处理时使用坐标转换关系。
具体地，针对智慧基站中的各个传感模块相对于世界坐标系的外参分别进行检定，可以将相机坐标系转换到激光坐标系下，并求取转换过程的变换矩阵，利用激光数据生成三维模型。然后，根据相机坐标系与激光坐标系的相对位置关系，可以将某时刻由多个相机拍摄的一组有一定重叠度的影像根据相机成像模型映射至对应位置三维模型上，为点云附上灰度信息，生成着色点云。进而，根据几何拼接结果中着色点云重叠区域间的特征匹配程度优化相机外参，最终得到更精确的多相机在激光坐标系下的外参，实现多相机与激光雷达相对位置检校。
另外，将相机坐标系转换到对应毫米波坐标系下，并求取转换过程中的变换矩阵。然后，根据相机坐标系与对应毫米波坐标系的相对位置关系，将某时刻毫米波点云数据映射到相机对应位置上，生成目标区域。进而，根据目标区域的特征匹配程度优化相机外参，最终得到更精确的单相机在对饮毫米波坐标系下的外参，实现相机与对应毫米波雷达相对位置检校。
此外，将毫米波坐标系转换到激光坐标系下，并求取转换过程中的变换矩阵。然后，利用激光数据生成三维模型，根据毫米波坐标系与激光坐标系的相对位置关系，将某时刻毫米波点云数据映射至对应位置三维模型上，生成目标区域。进而，根据几何拼接结果中目标区域的特征匹配程度进行优化，最终得到更精确的毫米波雷达在激光坐标系下的转换矩阵。
示例性地，假设世界坐标系为XwYwZw，相机坐标系为XcYcZc，激光雷达坐标系为XlYlZl，毫米波雷达坐标系为XrYrZr，激光雷达转换到世界坐标系下的变换矩阵为[RlwTlw]，相机转换到世界坐标系下的变换矩阵为[RcwTcw]，毫米波雷达转换到世界坐标系下的变换矩阵为[RrwTrw]，其中R、W分别表示各坐标系转换到世界坐标系的旋转矩阵和平移向量，则有转换关系：
Figure BDA0003058826990000081
Figure BDA0003058826990000082
Figure BDA0003058826990000083
由此，可以得到相机坐标系变换到激光坐标系的变换矩阵[RclTcl]，相机坐标系变换到毫米波坐标系的变换矩阵[RcrTcr]，毫米波坐标系到激光坐标系的变换矩阵[RrlTrl]。
进一步地，可以基于以下变换关系来计算相应的转换矩阵：
Figure BDA0003058826990000084
Figure BDA0003058826990000085
Figure BDA0003058826990000086
由此，可以得到Rcl＝Rlw TRcw、Tcl＝Rlw T(Tcw-Tlw)、Rcr＝Rrw TRcw、Tcr＝Rrw T(Tcw-Trw)、Rrl＝Rlw TRrw和Trl＝Rlw T(Trw-Tlw)。
在步骤320中，设置智慧基站所对应的检测距离和场景区域。
具体地，可以针对不同的检测距离设置相应的路侧传感模块或路侧传感模块组合，以实现最好的效果。示例性地，对于远端距离，可以选择毫米波雷达的单输出；对于中长距离，选择毫米波雷达和相机组合，或者毫米波雷达、激光雷达和相机三者的融合结果输出；对于近端精细感知，选择激光雷达和相机融合结果输出。检测距离以毫米波雷达坐标系为基准设置。
在本实施例中，针对不同的场景区域，可以调用相应类型的路侧传感模块或路侧传感模块组合，以实现最佳的环境感知效果。具体地，对于人行道，可以选择单相机的输出；对于光线不好的区域例如隧道入口，选择毫米波和激光雷达融合的输出；对于弯道例如十字路口，选择激光雷达和相机融合的输出，可以实现不同场景下最佳的环境感知结果。
在本申请实施例的一个示例中，可以将照相机坐标系作为基准，设置检测区域中的各个场景区域。具体地，智慧基站可以通过应用程序接收用户交互操作指令(例如，从移动终端接收用户交互操作指令)，以在视频帧上绘制区域后进行转换至相机坐标系位置。参照4中的示例，检测范围中不同类型的场景区域可以分别用相应类型的标记(例如颜色、线条)进行区分，并且人行道和十字路口可以通过不同线条标记。
在本申请实施例的另一示例中，检测范围中的场景区域还可以是由智慧基站自动进行划分的。图4示出了图3中步骤320的自动划分检测范围中的场景区域的一示例的流程图。
如图4所示，在步骤410中，获取覆盖检测范围的传感器数据。示例性地，可以启用智慧基站中所有的传感器，以采集在检测范围内的各项传感器数据。
在步骤420中，对覆盖检测范围的传感器数据进行目标检测，生成目标结果集。这里，目标结果集中的目标结果的数量应当是足够的，例如可以是智慧基站在一段时间内所产生的，以满足后续目标数据分析的需求。
具体地，智慧基站可以利用目标检测算法检测目标，其中目标可以是交通参与对象，其可以表示所有与道路活动/交通活动相关的对象，例如，机动车辆、行人、路侧设备和非机动车辆等等。
在步骤430中，基于目标结果集中目标的类型和/或行为，按照目标所处的位置对检测范围进行划分，得到多个场景区域。示例性地，可以分析检测范围中各个位置的目标的类型和/或行为是否满足预设规则，并可以将满足预设规则的区域位置识别为相应的场景区域。
在一些实施方式中，智慧基站可以根据传感器数据识别目标特征，在检测范围中生成热图，从而自动化地在检测范围中划分场景区域。示例性地，如果某一区域的结果集中的目标的分类大多为行人，且目标分类为车辆的目标速度低于一定阈值或为0，则生成相应的热图区域，并将该区域设为人行道区域。另外，如果某一区域的结果集中的目标的航向角变化大，则生成相应的区域热图，并将该区域设为弯道区域。
进一步地，不同场景区域分别与相应的至少一种传感模块相对应。具体地，若确定场景区域为人行道，则至少选用相机图像作为选择的传感数据，进行对应的数据处理；另外，若确定场景区域为弯道路段，则至少选用激光雷达和相机图像作为选择的传感数据，进行对应的数据处理。由此，在完成对检测范围内的区域划分后，可以自动调用相应的传感器或传感器组合来进行感知融合，实现针对检测范围的精细化感知操作。
在步骤330中，智慧基站检测多个传感数据，并进行路侧环境感知操作。具体地，智慧基站可以在工作阶段对周围环境进行检测。
图5示出了图3中步骤330的利用多个传感数据进行路侧环境感知操作的一示例的流程图。
如图5所示，首先调用智慧基站中的各个路侧传感模块采集针对路侧环境的检测结果。
在步骤511中，基于毫米波雷达，采集单传感检测结果R。
在步骤513中，基于激光雷达，采集单传感检测结果L。
在步骤515中，基于相机，采集单传感检测结果C。
在步骤520中，获取融合结果集，包括毫米波相机融合结果RC、激光相机融合结果LC、毫米波激光融合结果RL和三者融合结果RLC。
这里，融合结果集可以包含各个单传感检测结果的无序全组合所对应的融合结果，例如融合结果集可以是{R、L、C、RC、LC、RL、RLC}。
在步骤530中，在相机坐标系下，检测目标是否位于至少一个传感检测模块所对应的检测区域内。
如果在步骤530中的检测结果指示目标位于至少一个传感检测模块所对应的检测区域中，则可以跳转至步骤540。
在步骤540中，根据目标所处的各个相应的检测区域，从融合结果集中选取感知结果。
具体地，当目标仅在相机检测区域A1内时，可以从融合结果集{R、L、C、RC、LC、RL、RLC}中选取C为感知结果；当目标仅在毫米波雷达检测区域A2内时，可以从融合结果集选取R为感知结果；当目标仅在激光雷达检测区域A3内时，可以从融合结果集选取L为感知结果。另外，当目标仅在A1和A2内时，可以从融合结果集中选取RC为感知结果；当目标仅在A1和A3内时，可以从融合结果集中选取LC为感知结果；当目标仅在A2和A3内时，可以从融合结果集中选取RL为感知结果。此外，当目标在A1、A2和A3内时，可以从融合结果集中选取RLC为感知结果。
如果在步骤530中的检测结果指示目标不位于各个传感检测模块所对应的检测区域中，则跳转至步骤550。在本申请实施例的一些示例中，各种路侧传感模块检测范围存在场景区域和非场景区域，亦即当目标处于检测范围中的非场景区域时，跳转至步骤550
在步骤550中，在毫米波坐标系下，确定与目标之间的相对距离。
在步骤560中，根据相对距离X，从融合结果集中选取感知结果。
图6示出了图5中的步骤560的实施过程的一示例的流程图。
如图6所示，在步骤610中，针对各非场景区域，从预设的多个检测距离区间中确定与非场景区域所对应的相对距离X相匹配的目标检测距离区间。这里，每一检测距离区间分别与至少一个路侧传感模块相对应，并且各非场景区域的范围基于路侧传感模块的感知范围以及与路侧传感模块之间的距离确定。
在步骤620中，按照与各非场景区域匹配的目标检测距离区间相对应的至少一个路侧传感模块，选用至少一种传感数据或单传感检测结果进行对应的数据处理，输出各非场景区域的感知结果。
示例性地，当非场景区域N所对应的相对距离X大于D1时，可以从融合结果集{R、L、C、RC、LC、RL、RLC}中选取R作为该非场景区域N的感知结果。另外，当非场景区域N所对应的相对距离X属于取值区间[D2,D1]时，可以从融合结果集中选取RLC作为该非场景区域N的感知结果。此外，当非场景区域N所对应的相对距离X小于D1时，可以从融合结果集中选取LC为该非场景区域N的感知结果。
在步骤340中，智慧基站输出检测范围的感知结果。
示例性地，在得到了各个检测范围中的场景区域和非场景区域所对应的感知结果之后，融合各个场景区域及非场景区域的区域位置和相应的感知结果，从而得到检测范围的感知结果。
通过本申请实施例，将智慧基站中的毫米波雷达、激光雷达和相机进行协同调用，在工作阶段同时生成不同传感器之间融合的四个检测结果，实现多传感器路侧智能精细感知效果。通过在智慧基站中设置检测区域，可以在不同区域调用不同设备或设备组合所对应的检测结果，实现最好的检测效果。另外，通过在智慧基站中设置检测距离，实现在不同距离调用不同的传感器设备或设备组合所对应的检测结果，实现最好的检测效果。
图7示出了根据本申请实施例的路侧多传感环境感知系统的一示例的结构示意图。
如图7所示，路侧多传感环境感知系统700包括路侧传感模块710和控制720。具体地，路侧传感模块710具有多种不同类型(即，711,712…71n)，并且各个路侧传感模块分别被配置为采集在检测范围内的传感数据。另外，控制器720被配置为执行以下操作：
获取检测范围内的多个传感数据，其中，每一所述传感数据分别是由相应类型的路侧传感模块来确定的；
按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果；其中，所述单传感检测结果为对应的传感数据的目标检测结果；若选用多种传感数据，则所述对应的数据处理包括数据级或特征级多传感数据融合；若选用多种单传感检测结果，则所述对应的数据处理包括结果级多传感数据融合；
基于各场景区域的感知结果以及各所述场景区域在所述检测范围的空间位置输出所述检测范围的感知结果。
在本申请实施例的一些示例中，路侧传感模块的类型包括相机、毫米波雷达和激光雷达。
图8示出了根据本申请实施例的路侧多传感环境感知装置的一示例的结构框图。
如图8所示，路侧多传感环境感知装置800包括获取单元810、第一输出单元820和第二输出单元830。
获取单元810被配置为获取检测范围内的多个传感数据，其中，每一所述传感数据分别是由相应类型的路侧传感模块来确定的。
第一输出单元820被配置为按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果；其中，所述单传感检测结果为对应的传感数据的目标检测结果；若选用多种传感数据，则所述对应的数据处理包括数据级或特征级多传感数据融合；若选用多种单传感检测结果，则所述对应的数据处理包括结果级多传感数据融合。
第二输出单元830被配置为基于各场景区域的感知结果以及各所述场景区域在所述检测范围的空间位置输出所述检测范围的感知结果。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图9是本申请实施例的电子设备的一示例的示意图。如图9所示，该实施例的电子设备900包括：处理器910、存储器920以及存储在所述存储器920中并可在所述处理器910上运行的计算机程序930。所述处理器910执行所述计算机程序930时实现上述路侧多传感环境感知方法实施例中的步骤，例如图1所示的步骤110至130。或者，所述处理器910执行所述计算机程序930时实现上述各装置实施例中各模块/单元的功能，例如图8所示单元810至830的功能。
示例性的，所述计算机程序930可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器920中，并由所述处理器910执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序930在所述电子设备900中的执行过程。例如，所述计算机程序930可以被分割成获取程序模块、第一输出程序模块和第二输出程序模块，各程序模块具体功能如下：
获取程序模块，被配置为获取检测范围内的多个传感数据，其中，每一所述传感数据分别是由相应类型的路侧传感模块来确定的；
第一输出程序模块，被配置为按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果；其中，所述单传感检测结果为对应的传感数据的目标检测结果；若选用多种传感数据，则所述对应的数据处理包括数据级或特征级多传感数据融合；若选用多种单传感检测结果，则所述对应的数据处理包括结果级多传感数据融合；
第二输出程序模块，被配置为基于各场景区域的感知结果以及各所述场景区域在所述检测范围的空间位置输出所述检测范围的感知结果。
所述电子设备900可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器910、存储器920。本领域技术人员可以理解，图9仅是电子设备900的示例，并不构成对电子设备900的限定，可以包括比图示更多或少的部件，或组合某些部件，或不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器910可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器920可以是所述电子设备900的内部存储单元，例如电子设备900的硬盘或内存。所述存储器920也可以是所述电子设备900的外部存储设备，例如所述电子设备900上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器920还可以既包括所述电子设备900的内部存储单元也包括外部存储设备。所述存储器920用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器920还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述单元既可以采用硬件的形式实现，也可以采用软件的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (12)

1.一种路侧多传感环境感知方法，其特征在于，所述方法包括：
获取检测范围内的多个传感数据，其中，每一所述传感数据分别是由相应类型的路侧传感模块来确定的；
按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果；其中，所述单传感检测结果为对应的传感数据的目标检测结果；若选用多种传感数据，则所述对应的数据处理包括数据级或特征级多传感数据融合；若选用多种单传感检测结果，则所述对应的数据处理包括结果级多传感数据融合；
基于各场景区域的感知结果以及各所述场景区域在所述检测范围的空间位置输出所述检测范围的感知结果。
2.根据权利要求1所述的方法，其特征在于，在按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果之前，所述方法还包括：
按照各所述场景区域对应的目标和与所述路侧传感模块之间的距离，设置所述场景区域与所述路侧传感模块的无序组合的对应关系，所述对应关系用于在确定所述场景区域后选用的传感数据，各所述场景区域对应的目标根据历史数据确定。
3.根据权利要求1所述的方法，其特征在于，在按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果进行对应的数据处理，输出各场景区域的感知结果之前，所述方法还包括：
获取覆盖所述检测范围的传感器数据；
对所述覆盖所述检测范围的传感器数据进行目标检测，生成目标结果集；
基于所述目标结果集中目标的类型和/或行为，按照所述目标所处的位置对所述检测范围进行划分，得到多个场景区域。
4.根据权利要求1所述的方法，其特征在于，按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果进行对应的数据处理，输出各场景区域的感知结果，包括：
若确定场景区域为人行道，则至少选用相机图像作为选择的传感数据，进行对应的数据处理；
若确定场景区域为弯道路段，则至少选用激光雷达和相机图像作为选择的传感数据，进行对应的数据处理。
5.如权利要求1所述的方法，其特征在于，至少一种所述检测范围还包括非场景区域，所述方法还包括：
针对各所述非场景区域，从预设的多个检测距离区间中确定与所述非场景区域所对应的相对距离相匹配的目标检测距离区间，其中每一所述检测距离区间分别与至少一个路侧传感模块相对应；各所述非场景区域的范围基于所述路侧传感模块的感知范围以及与所述路侧传感模块之间的距离确定；
按照与各所述非场景区域匹配的目标检测距离区间相对应的至少一个路侧传感模块，选用至少一种传感数据或单传感检测结果进行对应的数据处理，输出各所述非场景区域的感知结果。
6.如权利要求1所述的方法，其特征在于，在按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果进行对应的数据处理之前，所述方法还包括：
获取多种路侧传感模块所采集的分别针对标定对象的标定传感数据；
基于各个所述标定传感数据，确定所述标定对象在各个相应路侧传感模块的坐标系中的标定对象坐标参数；
基于各个所述标定对象坐标参数，确定各个所述路侧传感模块的坐标系之间的坐标转换关系，使得在针对多种传感数据进行数据处理时使用所述坐标转换关系。
7.如权利要求1所述的方法，其特征在于，所述基于各场景区域的感知结果以及各所述场景区域的在所述检测范围的空间位置输出所述检测范围的感知结果，包括：
按照在所述检测范围内各所述场景区域的空间位置，拼接所述各场景区域的感知结果，以得到所述检测范围的感知结果。
8.一种路侧多传感环境感知装置，其特征在于，所述装置包括：
获取单元，被配置为获取检测范围内的多个传感数据，其中，每一所述传感数据分别是由相应类型的路侧传感模块来确定的；
第一输出单元，被配置为按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果；其中，所述单传感检测结果为对应的传感数据的目标检测结果；若选用多种传感数据，则所述对应的数据处理包括数据级或特征级多传感数据融合；若选用多种单传感检测结果，则所述对应的数据处理包括结果级多传感数据融合；
第二输出单元，被配置为基于各场景区域的感知结果以及各所述场景区域在所述检测范围的空间位置输出所述检测范围的感知结果。
9.一种路侧多传感环境感知系统，其特征在于，所述系统包括多个不同类型的路侧传感模块和控制器，其中，
各个所述路侧传感模块分别被配置为采集在检测范围内的传感数据；
所述控制器被配置为执行以下操作：
获取检测范围内的多个传感数据，其中，每一所述传感数据分别是由相应类型的路侧传感模块来确定的；
按照所述检测范围预先划分的场景区域，选用至少一种传感数据或单传感检测结果对应的数据处理，输出各场景区域的感知结果；其中，所述单传感检测结果为对应的传感数据的目标检测结果；若选用多种传感数据，则所述对应的数据处理包括数据级或特征级多传感数据融合；若选用多种单传感检测结果，则所述对应的数据处理包括结果级多传感数据融合；
基于各场景区域的感知结果以及各所述场景区域在所述检测范围的空间位置输出所述检测范围的感知结果。
10.如权利要求9所述的系统，其特征在于，所述路侧传感模块的类型包括相机、毫米波雷达和激光雷达。
11.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如如权利要求1-7中任一项所述方法的步骤。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
CN202110507044.3A 2021-05-10 2021-05-10 路侧多传感环境感知方法、装置及系统 Pending CN115331421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110507044.3A CN115331421A (zh) 2021-05-10 2021-05-10 路侧多传感环境感知方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110507044.3A CN115331421A (zh) 2021-05-10 2021-05-10 路侧多传感环境感知方法、装置及系统

Publications (1)

Publication Number Publication Date
CN115331421A true CN115331421A (zh) 2022-11-11

Family

ID=83911905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110507044.3A Pending CN115331421A (zh) 2021-05-10 2021-05-10 路侧多传感环境感知方法、装置及系统

Country Status (1)

Country Link
CN (1) CN115331421A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5436652B1 (ja) * 2012-12-26 2014-03-05 三菱電機株式会社 車両の周辺監視装置及び車両の周辺監視方法
US10140855B1 (en) * 2018-08-24 2018-11-27 Iteris, Inc. Enhanced traffic detection by fusing multiple sensor data
CN110132290A (zh) * 2019-05-20 2019-08-16 北京百度网讯科技有限公司 感知信息融合处理方法、装置、设备和存储介质
CN110880235A (zh) * 2018-09-05 2020-03-13 阿里巴巴集团控股有限公司 路况信息处理系统中的路侧设备、处理方法及装置
CN111369796A (zh) * 2020-03-11 2020-07-03 北京百度网讯科技有限公司 路侧感知系统
CN112071063A (zh) * 2020-09-15 2020-12-11 苏州映赛智能科技有限公司 一种路侧感知系统
US20210012165A1 (en) * 2018-03-29 2021-01-14 Shanghai Zttvision Technologies Co.Ltd Data processing method and device based on multi-sensor fusion, and multi-sensor fusion method
CN112558023A (zh) * 2019-09-25 2021-03-26 华为技术有限公司 传感器的标定方法和装置
CN112562314A (zh) * 2020-11-02 2021-03-26 福瑞泰克智能系统有限公司 基于深度融合的路端感知方法、装置、路端设备和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5436652B1 (ja) * 2012-12-26 2014-03-05 三菱電機株式会社 車両の周辺監視装置及び車両の周辺監視方法
JP2014126970A (ja) * 2012-12-26 2014-07-07 Mitsubishi Electric Corp 車両の周辺監視装置及び車両の周辺監視方法
US20210012165A1 (en) * 2018-03-29 2021-01-14 Shanghai Zttvision Technologies Co.Ltd Data processing method and device based on multi-sensor fusion, and multi-sensor fusion method
US10140855B1 (en) * 2018-08-24 2018-11-27 Iteris, Inc. Enhanced traffic detection by fusing multiple sensor data
CN110880235A (zh) * 2018-09-05 2020-03-13 阿里巴巴集团控股有限公司 路况信息处理系统中的路侧设备、处理方法及装置
CN110132290A (zh) * 2019-05-20 2019-08-16 北京百度网讯科技有限公司 感知信息融合处理方法、装置、设备和存储介质
CN112558023A (zh) * 2019-09-25 2021-03-26 华为技术有限公司 传感器的标定方法和装置
CN111369796A (zh) * 2020-03-11 2020-07-03 北京百度网讯科技有限公司 路侧感知系统
CN112071063A (zh) * 2020-09-15 2020-12-11 苏州映赛智能科技有限公司 一种路侧感知系统
CN112562314A (zh) * 2020-11-02 2021-03-26 福瑞泰克智能系统有限公司 基于深度融合的路端感知方法、装置、路端设备和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王西;: "新基建背景下智慧高速多元融合感知技术应用浅谈", 中国交通信息化, no. 06 *

Similar Documents

Publication Publication Date Title
CN114282597B (zh) 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN109087510B (zh) 交通监测方法及装置
CN109840448A (zh) 用于无人驾驶车辆的信息输出方法和装置
Fleck et al. Towards large scale urban traffic reference data: Smart infrastructure in the test area autonomous driving baden-württemberg
CN113034586B (zh) 道路倾角检测方法和检测系统
CN116484971A (zh) 车辆的自动驾驶感知自学习方法、装置及电子设备
Wang et al. Lane detection algorithm based on temporal–spatial information matching and fusion
CN116189116B (zh) 一种交通状态感知方法及系统
CN114943941A (zh) 一种目标检测方法及装置
CN109683613B (zh) 一种用于确定车辆的辅助控制信息的方法与设备
CN115331421A (zh) 路侧多传感环境感知方法、装置及系统
CN116215520A (zh) 基于超声波和3d环视的车辆碰撞预警及处理方法、装置
Ahmed et al. Lane marking detection using LiDAR sensor
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN109657628B (zh) 一种用于确定车辆的可行驶区域的方法与设备
CN115909235A (zh) 识别道路豁口的方法、装置、计算机设备及存储介质
CN108416305B (zh) 连续型道路分割物的位姿估计方法、装置及终端
CN113470067A (zh) 数据处理方法、装置、存储介质和处理器
Blachut et al. Automotive Perception System Evaluation with Reference Data from a UAV’s Camera Using ArUco Markers and DCNN
Tu et al. Extrinsic Parameter Co-calibration of a Monocular Camera and a LiDAR Using Only a Chessboard
CN111542828A (zh) 线状物识别方法及装置、系统和计算机存储介质
CN115248040B (zh) 初始化定位方法、装置、终端及存储介质
CN115236696B (zh) 确定障碍物的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination