CN116597376A - 路侧设备感知范围确定方法、装置及路侧设备 - Google Patents

路侧设备感知范围确定方法、装置及路侧设备 Download PDF

Info

Publication number
CN116597376A
CN116597376A CN202310521022.1A CN202310521022A CN116597376A CN 116597376 A CN116597376 A CN 116597376A CN 202310521022 A CN202310521022 A CN 202310521022A CN 116597376 A CN116597376 A CN 116597376A
Authority
CN
China
Prior art keywords
detection result
lane
lane line
determining
road edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310521022.1A
Other languages
English (en)
Inventor
张上鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202310521022.1A priority Critical patent/CN116597376A/zh
Publication of CN116597376A publication Critical patent/CN116597376A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种路侧设备感知范围确定方法、装置及路侧设备，所述方法应用于路侧设备，所述路侧设备至少包括相机，所述方法包括：根据所述相机采集的图像信息，获取下方车道的车道线检测结果；确定所述下方车道的车辆行驶方向检测结果或路沿检测结果；基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围。通过本申请实现路侧设备中相机感知范围的自动化确定。

Description

路侧设备感知范围确定方法、装置及路侧设备
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种路侧设备感知范围确定方法、装置及路侧设备。
背景技术
路侧系统包括路侧设备，路侧设备一般在路口与路段中通过多杆多相机覆盖全场景。
对于双向车道，每个路侧设备中的相机只需要覆盖一个车流方向的车道，对向车道往往有别的相机负责。
由于相机视野比较宽，为了避免带来误检，会将另一方向的车流进行屏蔽，只检测相机杆下的车流。一般这个屏蔽过程是用人工标注出一个图像区域，根据区域范围来选择性进行感知检测。而一旦由于外界干扰(天气干扰)造成相机/杆发生变动，又需要人工重新再标注该区域的感知范围。
发明内容
本申请实施例提供了一种路侧设备感知范围确定方法、装置及路侧设备，以实现路侧设备中相机感知范围的自动化确定。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种路侧设备感知范围确定方法、装置及路侧设备，其中，应用于路侧设备，所述路侧设备至少包括相机，所述方法包括：
根据所述相机采集的图像信息，获取下方车道的车道线检测结果；
确定所述下方车道的车辆行驶方向检测结果或路沿检测结果；
基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围。
在一些实施例中，所述确定所述下方车道的车辆行驶方向检测结果或路沿检测结果，包括：
根据所述图像信息进行目标匹配跟踪，得到车辆行驶轨迹跟踪记录；
根据所述车辆行驶轨迹跟踪记录，确定所述下方车道的车辆行驶方向检测结果；
和/或，
根据所述图像信息进行目标检测，得到路沿检测结果，用以确定车道线检测结果中的左右车道线实线。
在一些实施例中，所述根据所述图像信息进行目标检测，得到路沿检测结果，用以确定车道线检测结果中的左右车道线实线，包括：
对所述图像信息进行目标检测，得到路沿检测结果；
将所述路沿检测结果与图像中的下底边接触的右边两条边作为左路沿和右路沿；
根据所述左路沿往右确定左车道线实线，根据所述右路沿往左确定右车道线实线。
在一些实施例中，所述根据所述车辆行驶轨迹跟踪记录，确定所述下方车道的车辆行驶方向检测结果，包括：
通过连续多帧的跟踪检测计算出车辆在图像中的行驶方向，所述车辆在图像中的行驶方向包括朝向图像上方车流、朝向图像下方车流、朝向图像横向车流；
将所述朝向图像横向车流滤除之后，根据所述朝向图像上方车流以及所述朝向图像下方车流，得到车辆在多帧图像中的轨迹跟踪记录；
将所述轨迹跟踪记录在图像中右边的车辆方向，作为所述下方车道的车辆行驶方向检测结果。
在一些实施例中，所述基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围，包括：
基于所述车道线检测结果中的左右车道线实线在图像上延伸的结果，得到贯穿图像中纵向的区域；
根据所述贯穿图像中纵向的区域，确定所述相机的感知范围。
在一些实施例中，基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围，包括：
对比所述车道线检测结果中的车道线实线包围区域与所述车辆行驶方向检测结果中满足预设车流方向的车辆位置；
如果所述车辆位置在所述车道线实线包围区域内则将该车道线实线包围区域作为所述相机的感知范围，所述相机的感知范围包括一个或多个实线范围。
在一些实施例中，基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围，包括：
如果所述车道线检测结果中未检测出车道线，则根据所述路沿检测结果在图像上延伸的结果，得到贯穿图像中纵向的区域；
如果在左路沿往右先找到的车道线是虚线，或者右路沿往左先找到的是虚线，则将所述路沿检测结果为准作为车道线实线；
如果左路沿往右找到的左车道线与右路沿往左找到的右车道线，右车道线在左车道线的左边，则将所述路沿检测结果为准作为车道线实线。
在一些实施例中，所述方法还包括：
按照预设周期更新并确定所述相机的感知范围，所述感知区域按照不同像素值划分。
第二方面，本申请实施例还提供一种路侧设备感知范围确定装置，其中，应用于路侧设备，所述路侧设备至少包括相机，所述装置包括：
获取模块，用于根据所述相机采集的图像信息，获取下方车道的车道线检测结果；
第一确定模块，用于确定所述下方车道的车辆行驶方向检测结果或路沿检测结果；
第二确定模块，用于基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围。
第三方面，本申请实施例还提供一种路侧设备，包括第二方面中所述的路侧设备感知范围确定装置。
第四方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法。
第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：首先根据相机采集的图像信息，获取下方车道的车道线检测结果，然后确定所述下方车道的车辆行驶方向检测结果或路沿检测结果，最后基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围。实现自动化地确定相机的感知范围，无需人工进行重新标定后再确定感知范围。不仅可利用车道线检测与车辆行驶方向来获取当前相机感兴趣的感知范围，或者也可以利用路沿检测与车道线检测来获取当前相机感兴趣的感知范围，从而提高了方法的适配性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中路侧设备感知范围确定方法流程示意图；
图2为本申请实施例中路侧设备感知范围确定装置结构示意图；
图3为本申请实施例中路侧设备感知范围确定方法中得到的相机感知范围示意图；
图4为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
发明人研究时发现，路侧设备的相机由于视野比较宽，为了避免带来误检，会将另一方向的车流进行屏蔽，只检测相机杆下的一个方向的车流。由于屏蔽过程是用人工标注出一个图像区域，根据区域范围来选择性进行感知检测，而一旦相机或所在杆的位置/姿态发生变动，则需要重新标定进行感知范围的确定。
针对上述不足，本申请的实施例中利用路侧相机对感知视野内的车道线和路沿或车辆进行检测，从而得出相机杆下的车流区域，自动生成感知范围，而不需要人工标注该范围。即使相机发生了变动也能自动调整合理的感知范围。节省了人工进行标注的时间。此外，对于检测路沿还是车辆行驶方向可以根据实际场景进行自适应选择，提高了本申请中的方法对不同场景的适配性。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种路侧设备感知范围确定方法，如图1所示，提供了本申请实施例中路侧设备感知范围确定方法流程示意图，所述方法至少包括如下的步骤S110至步骤S130：
步骤S110，根据所述相机采集的图像信息，获取下方车道的车道线检测结果。
路侧设备通常安装在路口或者路段中，进行不同区域的覆盖。对于路侧设备的相机也通常仅监控一个车流方向上的车道。根据所述相机采集的图像信息，可以获取得到相机下方车道的车道线检测结果。对于下方车道的检测范围与路侧设备的相机架设的杆位以及相机的姿态相关，在本申请中并不进行具体限定，只要符合路侧设备安装要求即可。
获取下方车道的车道线检测结果中包括对于车道线进行检测后，区分虚实线的结果。车道线的检测可以通过深度学习技术利用大量标注数据训练的模型进行检测。具体使用的深度卷积神经网络，在本申请的实施例中并不进行具体限定。
此时得到的车道线检测结果中并没有区分车流方向，而是将所有可采集到的图像信息中的车道线检测出来。
步骤S120，确定所述下方车道的车辆行驶方向检测结果或路沿检测结果。
路沿是指道路可行驶区域的边界。对路沿进行检测时路沿一般在两边车道线实线旁边。可以理解，路沿检测和车道线都是通过深度学习技术利用大量标注数据训练的模型进行检测。之所以检测路沿和车道线是兼顾没有车道线或者车道线模糊的情况，使用的路沿结果，其次在有车道线情况下，这个感知范围一般是路沿旁边的实线车道线延伸出来的，所以需要的借助路沿确定车道线实线位置。
对车辆进行检测主要为了对检测到的多帧图像中的车辆进行匹配跟踪，从而通过连续多帧的稳定跟踪计算其在图像上行驶方向。需要注意的是，如果在路段区域，由于相机安装时的朝向与车道方向相近，所以一般都只有两种车流方向即去向与来向，此外如果是在路口区域，则过滤掉图像中横向行驶的车辆，只保留来向与去向的车辆。
对于车辆行驶方向检测结果或路沿检测结果可以根据图像信息中可以检测的实际目标进行确定，比如，如果图像信息中可以检测出路沿，且置信度较高，则使用路沿检测结果。而图像信息中对于多帧图像中的车辆检测并不准确，置信度较低，则使用路沿检测结果。又比如，如果图像信息中对于多帧图像中的车辆检测并较为准确且置信度较高，则使用车辆行驶方向检测结果。当然，如果两种检测结果都可以使用，则选择其中一种即可。
步骤S130，基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围。
基于车道线检测结果中的车道线实线与车辆行驶方向检测结果或路沿检测结果结合，综合判断并确定出所述相机的感知范围。
示例性地，通常可以在左右车道线实线在图片上进行延伸，根据左右车道线延伸结果得到至少一个贯穿图片纵向的区域，这个区域就是感知范围。并保存该范围以便后续进行目标检测时使用。
示例性地，通常可以检测到的车道线实线在图片上进行延伸，根据左右车道线实线延伸结果得到多个贯穿图片纵向的包围区域。然后根据路侧设备的相机感知的车流方向，取符合该方向的车所在的图像位置，在于获取的车道线实线包围区域进行对比判断。
通过上述方法，可以实现自动化地确定相机的感知范围，无需人工进行重新标定后再确定感知范围。此外，上述方法针对每个相机可以批量操作并处理得到结果，有效节省人工根据每个相机标注特定范围的时间。
区别于相关技术中采用人工重新标定之后再确定相机感知范围的方法，上述方法中利用车道线检测与车辆行驶方向来获取当前相机感兴趣的感知范围，或者也可以利用路沿检测与车道线检测来获取当前相机感兴趣的感知范围。从而有效节省人工根据每个相机标注特定范围的时间。
区别于相关技术中采用人工被动式更新的方法，上述方法通过周期性地更新并确定感知范围，并且并不需要重新标定就可以实现主动式更新。并且可以在相机配置文件中生效，从而实现批量、自动化处理，更新路侧设备感知范围。
在本申请的一个实施例中，所述确定所述下方车道的车辆行驶方向检测结果或路沿检测结果，包括：根据所述图像信息进行目标匹配跟踪，得到车辆行驶轨迹跟踪记录；根据所述车辆行驶轨迹跟踪记录，确定所述下方车道的车辆行驶方向检测结果；和/或，根据所述图像信息进行目标检测，得到路沿检测结果，用以确定车道线检测结果中的左右车道线实线。
根据所述图像信息可以进行目标匹配跟踪，当跟踪目标为车辆时，即得到车辆行驶轨迹跟踪记录。可以理解车辆行驶轨迹跟踪记录中了车辆在图像上行驶方向，根据在图像上的行驶方向分为朝图像上方与图像下方两种车流，不在这两种车流方向的则去除。
进一步地，根据所述车辆行驶轨迹跟踪记录，确定所述下方车道的车辆行驶方向检测结果时如果在路段区域，由于相机安装时的朝向与车道方向相近，所以一般都只有两种车流方向即去向与来向。如果是在路口区域，则过滤掉图像中横向行驶的车辆，只保留来向与去向的车辆。这样可以滤除干扰同时减少之前的计算量。
根据所述图像信息可以进行目标检测，当检测目标是路沿时可以得到所述路沿检测结果。之所以需要检测路沿和车道线，是兼顾车道中没有车道线或者车道线模糊的情况，使用的路沿结果，其次在有车道线情况下，这个感知范围一般是路沿旁边的实线车道线延伸出来的，所以也需要的借助路沿确定车道线实线位置。
进一步地，路沿检测结果，用以确定车道线检测结果中的左右车道线实线。在根据路沿检测结果来确定车道线实线时，需要取路沿与图片(多个图像帧中连续检测结果)下底边接触的右边两条边。因为如果检测到双向车道的路沿，由于相机是架设在要感知的车道上方，所以取图像中右边两条路沿是包含了所要感知的范围。最后，根据路沿检测结果，左路沿往右确定左车道线实线，右路沿往左确定右车道线实线。对于路侧设备的相机下方单个车道时的检测效果较好。
可以理解，对于复杂场景下比如路口多车道，路段中多车道的场景，同样可以依照上述的方法进行判断。
在本申请的一个实施例中，所述根据所述图像信息进行目标检测，得到路沿检测结果，用以确定车道线检测结果中的左右车道线实线，包括：对所述图像信息进行目标检测，得到路沿检测结果；将所述路沿检测结果与图像中的下底边接触的右边两条边作为左路沿和右路沿；根据所述左路沿往右确定左车道线实线，根据所述右路沿往左确定右车道线实线。
具体实施时，根据路沿检测结果来确定车道线实线，取路沿与图片下底边接触的右边(按照车辆通常靠右行驶的惯例)两条线段。因为如果检测到双向车道的路沿，由于相机是架设在要感知的车道上方，所以取图像中右边两条边作为路沿是包含了所要感知的范围。
之后，根据路沿检测结果，以左路沿往右确定左车道线实线，右路沿往左确定右车道线实线。根据左右车道线实线在图片上进行延伸，根据左右车道线延伸结果得到一个贯穿图片纵向的区域，这个区域就是感知范围。并保存该范围以便后续进行目标检测时使用，如图3所示的非灰色区域。
可以理解，根据左右车道线实线在图片上进行延伸时采样车道线上的点进行拟合三次曲线方程，然后通过输入图片高度内的连续坐标得到三次曲线方程上所有横纵方向上x、y坐标，也就是得到车道线在图片上的所有坐标以及延伸的所有坐标。具体操作时只需要输入图片上的纵向坐标进行延伸即可。
在本申请的一个实施例中，所述根据所述车辆行驶轨迹跟踪记录，确定所述下方车道的车辆行驶方向检测结果，包括：通过连续多帧的跟踪检测计算出车辆在图像中的行驶方向，所述车辆在图像中的行驶方向包括朝向图像上方车流、朝向图像下方车流、朝向图像横向车流；将所述朝向图像横向车流滤除之后，根据所述朝向图像上方车流以及所述朝向图像下方车流，得到车辆在多帧图像中的轨迹跟踪记录；将所述轨迹跟踪记录在图像中右边的车辆方向，作为所述下方车道的车辆行驶方向检测结果。
通过连续多帧的稳定跟踪计算作为跟踪目标的车辆在图像上行驶方向，根据在图像上的车辆行驶方向分为朝图像上方与图像下方两种车流，如果不在这两种车流方向的则去除。如果在路段区域，由于相机安装时的朝向与车道方向相近，所以一般都只有两种车流方向即去向与来向，如果是在路口区域，则过滤掉图像中横向行驶的车辆，只保留来向与去向的车辆。
在本申请的一个实施例中，所述基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围，包括：基于所述车道线检测结果中的左右车道线实线在图像上延伸的结果，得到贯穿图像中纵向的区域；根据所述贯穿图像中纵向的区域，确定所述相机的感知范围。
基于所述车道线检测结果中的左右车道线实线在图像上延伸的结果，得到贯穿图像中纵向的区域。如果是根据左右车道线实线在图片上进行延伸，则根据左右车道线延伸结果得到一个贯穿图片纵向的区域。此时区域就是感知范围。而如果是根据检测到的车道线实线(多个图像帧的聚类结果)在图片上进行延伸，根据左右车道线实线延伸结果得到多个贯穿图片纵向的区域。还需要进一步确定多个贯穿图片纵向的区域中的车辆位置是否在车道线实线包围区域，如果车辆位置在车道线实线包围区域中则该车道线实线包围区域添加为该相机需要感知的范围。
在本申请的一个实施例中，基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围，包括：对比所述车道线检测结果中的车道线实线包围区域与所述车辆行驶方向检测结果中满足预设车流方向的车辆位置；如果所述车辆位置在所述车道线实线包围区域内则将该车道线实线包围区域作为所述相机的感知范围，所述相机的感知范围包括一个或多个实线范围。
具体实施时，根据来向与去向这两个方向的车辆在图像位置在多帧形成的轨迹记录下来，来向去向一般是方向分明在图像两边，取图像右边(车辆通常靠右行驶)的车辆方向为当前相机所需感知的车流方向。此时不需要横向车辆，只截取当前纵向的感知范围。
根据检测到的车道线实线(多个图像帧的聚类结果)在图片上进行延伸，根据左右车道线实线延伸结果得到多个贯穿图片纵向的区域。根据之前得到的相机感知的车流方向，取符合该方向的车所在的图像位置，与之前获取的车道线实线包围区域进行对比判断。最后如果车辆位置在车道线实线包围区域则该车道线实线包围区域添加为该路侧设备的相机需要感知的范围，路侧设备的相机感知范围可能是包含一个或多个实线范围。
在本申请的一个实施例中，基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围，包括：如果所述车道线检测结果中未检测出车道线，则根据所述路沿检测结果在图像上延伸的结果，得到贯穿图像中纵向的区域；如果在左路沿往右先找到的车道线是虚线，或者右路沿往左先找到的是虚线，则将所述路沿检测结果为准作为车道线实线；如果左路沿往右找到的左车道线与右路沿往左找到的右车道线，右车道线在左车道线的左边，则将所述路沿检测结果为准作为车道线实线。
如果无法检测出车道线，则取路沿检测结果进行延伸，即通过根据路沿检测结果得到一个贯穿图片纵向的区域。如果在左路沿往右先找到的车道线是虚线，或者右路沿往左先找到的是虚线，则以路沿为准。如果左路沿往右找到的左车道线与右路沿往左找到的右车道线，右车道线在左车道线在图片左边，则以路沿为准。即没有车道线，检测出路沿，根据路沿，因为路沿比较靠外面。
在本申请的一个实施例中，所述方法还包括：按照预设周期更新并确定所述相机的感知范围，所述感知区域按照不同像素值划分。
如图3所示，上述获取感知范围的过程只需要每天进行一次或者每隔多天执行一次，生成对应的感知范围如图3所示用图像的0或255像素值表示(分别对应灰色和白色)，使用该范围时只取非0区域(非灰色区域)，并进行进行图像感知处理，并更新路侧设备的相机的配置文件进行批量下发。
可以理解，上述获取感知范围的过程需要连续多帧并且持续一天进行，以便能保证所有范围能准确覆盖。
本申请实施例还提供了路侧设备感知范围确定装置200，如图2所示，提供了本申请实施例中路侧设备感知范围确定装置的结构示意图，所述路侧设备感知范围确定装置200至少包括：获取模块210、第一确定模块220、第二确定模块230，其中：
在本申请的一个实施例中，所述获取模块210具体用于：根据所述相机采集的图像信息，获取下方车道的车道线检测结果。
路侧设备通常安装在路口或者路段中，进行不同区域的覆盖。对于路侧设备的相机也通常仅监控一个车流方向上的车道。根据所述相机采集的图像信息，可以获取得到相机下方车道的车道线检测结果。对于下方车道的检测范围与路侧设备的相机架设的杆位以及相机的姿态相关，在本申请中并不进行具体限定，只要符合路侧设备安装要求即可。
获取下方车道的车道线检测结果中包括对于车道线进行检测后，区分虚实线的结果。车道线的检测可以通过深度学习技术利用大量标注数据训练的模型进行检测。具体使用的深度卷积神经网络，在本申请的实施例中并不进行具体限定。
此时得到的车道线检测结果中并没有区分车流方向，而是将所有可采集到的图像信息中的车道线检测出来。
在本申请的一个实施例中，所述第一确定模块220具体用于：确定所述下方车道的车辆行驶方向检测结果或路沿检测结果。
对路沿进行检测，路沿一般在两边实线旁边。可以理解，路沿检测和车道线都是通过深度学习技术利用大量标注数据训练的模型进行检测。之所以检测路沿和车道线是兼顾没有车道线或者车道线模糊的情况，使用的路沿结果，其次在有车道线情况下，这个感知范围一般是路沿旁边的实线车道线延伸出来的，所以需要的借助路沿确定车道线实线位置。
对车辆进行检测主要为了对检测到的多帧图像中的车辆进行匹配跟踪，从而通过连续多帧的稳定跟踪计算其在图像上行驶方向。需要注意的是，如果在路段区域，由于相机安装时的朝向与车道方向相近，所以一般都只有两种车流方向即去向与来向，此外如果是在路口区域，则过滤掉图像中横向行驶的车辆，只保留来向与去向的车辆。
对于车辆行驶方向检测结果或路沿检测结果可以根据图像信息中可以检测的实际目标进行确定，比如，如果图像信息中可以检测出路沿，且置信度较高，则使用路沿检测结果。而图像信息中对于多帧图像中的车辆检测并不准确，置信度较低，则使用路沿检测结果。又比如，如果图像信息中对于多帧图像中的车辆检测并较为准确且置信度较高，则使用车辆行驶方向检测结果。当然，如果两种检测结果都可以使用，则选择其中一种即可。
在本申请的一个实施例中，所述第二确定模块230具体用于：基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围。
基于车道线检测结果中的车道线实线与车辆行驶方向检测结果或路沿检测结果结合，综合判断并确定出所述相机的感知范围。
示例性地，通常可以在左右车道线实线在图片上进行延伸，根据左右车道线延伸结果得到至少一个贯穿图片纵向的区域，这个区域就是感知范围。并保存该范围以便后续进行目标检测时使用。
示例性地，通常可以检测到的车道线实线在图片上进行延伸，根据左右车道线实线延伸结果得到多个贯穿图片纵向的包围区域。然后根据路侧设备的相机感知的车流方向，取符合该方向的车所在的图像位置，在于获取的车道线实线包围区域进行对比判断。
能够理解，上述路侧设备感知范围确定装置，能够实现前述实施例中提供的路侧设备感知范围确定方法的各个步骤，关于路侧设备感知范围确定方法的相关阐释均适用于路侧设备感知范围确定装置，此处不再赘述。
图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成路侧设备感知范围确定装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
根据所述相机采集的图像信息，获取下方车道的车道线检测结果；
确定所述下方车道的车辆行驶方向检测结果或路沿检测结果；
基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围。
上述如本申请图1所示实施例揭示的路侧设备感知范围确定装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中路侧设备感知范围确定装置执行的方法，并实现路侧设备感知范围确定装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中路侧设备感知范围确定装置执行的方法，并具体用于执行：
根据所述相机采集的图像信息，获取下方车道的车道线检测结果；
确定所述下方车道的车辆行驶方向检测结果或路沿检测结果；
基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种路侧设备感知范围确定方法，其中，应用于路侧设备，所述路侧设备至少包括相机，所述方法包括：
根据所述相机采集的图像信息，获取下方车道的车道线检测结果；
确定所述下方车道的车辆行驶方向检测结果或路沿检测结果；
基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围。
2.如权利要求1所述方法，其中，所述确定所述下方车道的车辆行驶方向检测结果或路沿检测结果，包括：
根据所述图像信息进行目标匹配跟踪，得到车辆行驶轨迹跟踪记录；
根据所述车辆行驶轨迹跟踪记录，确定所述下方车道的车辆行驶方向检测结果；
和/或，
根据所述图像信息进行目标检测，得到路沿检测结果，用以确定车道线检测结果中的左右车道线实线。
3.如权利要求2所述方法，其中，所述根据所述图像信息进行目标检测，得到路沿检测结果，用以确定车道线检测结果中的左右车道线实线，包括：
对所述图像信息进行目标检测，得到路沿检测结果；
将所述路沿检测结果与图像中的下底边接触的右边两条边作为左路沿和右路沿；
根据所述左路沿往右确定左车道线实线，根据所述右路沿往左确定右车道线实线。
4.如权利要求2所述方法，其中，所述根据所述车辆行驶轨迹跟踪记录，确定所述下方车道的车辆行驶方向检测结果，包括：
通过连续多帧的跟踪检测计算出车辆在图像中的行驶方向，所述车辆在图像中的行驶方向包括朝向图像上方车流、朝向图像下方车流、朝向图像横向车流；
将所述朝向图像横向车流滤除之后，根据所述朝向图像上方车流以及所述朝向图像下方车流，得到车辆在多帧图像中的轨迹跟踪记录；
将所述轨迹跟踪记录在图像中右边的车辆方向，作为所述下方车道的车辆行驶方向检测结果。
5.如权利要求1所述方法，其中，所述基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围，包括：
基于所述车道线检测结果中的左右车道线实线在图像上延伸的结果，得到贯穿图像中纵向的区域；
根据所述贯穿图像中纵向的区域，确定所述相机的感知范围。
6.如权利要求4所述方法，其中，基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围，包括：
对比所述车道线检测结果中的车道线实线包围区域与所述车辆行驶方向检测结果中满足预设车流方向的车辆位置；
如果所述车辆位置在所述车道线实线包围区域内则将该车道线实线包围区域作为所述相机的感知范围，其中，所述相机的感知范围包括一个或多个实线范围。
7.如权利要求3所述方法，其中，基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围，包括：
如果所述车道线检测结果中未检测出车道线，则根据所述路沿检测结果在图像上延伸的结果，得到贯穿图像中纵向的区域；
如果在左路沿往右先找到的车道线是虚线，或者右路沿往左先找到的是虚线，则将所述路沿检测结果为准作为车道线实线；
如果在左路沿往右找到的左车道线与右路沿往左找到的右车道线之后，右车道线在左车道线的左边，则将所述路沿检测结果为准作为车道线实线。
8.如权利要求1至7任一项所述方法，其中，所述方法还包括：
按照预设周期更新并确定所述相机的感知范围，所述感知区域按照不同像素值划分。
9.一种路侧设备感知范围确定装置，其中，应用于路侧设备，所述路侧设备至少包括相机，所述装置包括：
获取模块，用于根据所述相机采集的图像信息，获取下方车道的车道线检测结果；
第一确定模块，用于确定所述下方车道的车辆行驶方向检测结果或路沿检测结果；
第二确定模块，用于基于所述车道线检测结果，结合所述下方车道的车辆行驶方向检测结果或路沿检测结果，确定所述相机的感知范围。
10.一种路侧设备，包括如权利要求9所述的路侧设备感知范围确定装置。
CN202310521022.1A 2023-05-10 2023-05-10 路侧设备感知范围确定方法、装置及路侧设备 Pending CN116597376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310521022.1A CN116597376A (zh) 2023-05-10 2023-05-10 路侧设备感知范围确定方法、装置及路侧设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310521022.1A CN116597376A (zh) 2023-05-10 2023-05-10 路侧设备感知范围确定方法、装置及路侧设备

Publications (1)

Publication Number Publication Date
CN116597376A true CN116597376A (zh) 2023-08-15

Family

ID=87598452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310521022.1A Pending CN116597376A (zh) 2023-05-10 2023-05-10 路侧设备感知范围确定方法、装置及路侧设备

Country Status (1)

Country Link
CN (1) CN116597376A (zh)

Similar Documents

Publication Publication Date Title
CN111311709B (zh) 一种生成高精地图的方法及装置
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN113807333B (zh) 用于检测车道线的数据处理方法及存储介质
CN114973198A (zh) 目标车辆的航向角预测方法、装置及电子设备、存储介质
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN115292435B (zh) 高精地图的更新方法和装置、电子设备和存储介质
CN112131914B (zh) 车道线属性检测方法、装置、电子设备及智能设备
US11519715B2 (en) Method, device, apparatus and storage medium for detecting a height of an obstacle
CN116164763A (zh) 目标航向角确定方法、装置及电子设备、存储介质
CN116740680A (zh) 一种车辆定位方法、装置及电子设备
CN116597376A (zh) 路侧设备感知范围确定方法、装置及路侧设备
CN114066958A (zh) 目标的深度信息预测方法和装置、电子设备和存储介质
CN112598314A (zh) 智能驾驶汽车的感知置信度确定方法、装置、设备及介质
CN116381698B (zh) 道路遗撒物的检测方法、装置及电子设备
CN116449347B (zh) 路侧激光雷达的标定方法、装置及电子设备
CN116610766A (zh) 地图更新方法、装置及电子设备、计算机可读存储介质
CN116994179A (zh) 一种目标跟踪方法、装置和电子设备
CN117037094A (zh) 车道划分方法、装置、电子设备
CN113205144B (zh) 一种模型训练的方法及装置
CN116129383A (zh) 一种可行驶区域检测方法、装置和电子设备、存储介质
CN116168087A (zh) 路侧相机标定结果的验证方法、装置及电子设备
CN116894834A (zh) 用于景区的路侧检测方法、装置及电子设备、存储介质
CN116543360A (zh) 路侧地图的构建方法、装置及电子设备
CN116895061A (zh) 车道线处理方法及装置
CN118149839A (zh) 高精地图渲染方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination