CN117495847A - 路口检测方法、可读存储介质及智能设备 - Google Patents

路口检测方法、可读存储介质及智能设备 Download PDF

Info

Publication number
CN117495847A
CN117495847A CN202311817527.9A CN202311817527A CN117495847A CN 117495847 A CN117495847 A CN 117495847A CN 202311817527 A CN202311817527 A CN 202311817527A CN 117495847 A CN117495847 A CN 117495847A
Authority
CN
China
Prior art keywords
sliding window
point cloud
detection result
intersection
aerial view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311817527.9A
Other languages
English (en)
Other versions
CN117495847B (zh
Inventor
肖中阳
孙立
袁弘渊
任少卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Weilai Zhijia Technology Co Ltd
Original Assignee
Anhui Weilai Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Weilai Zhijia Technology Co Ltd filed Critical Anhui Weilai Zhijia Technology Co Ltd
Priority to CN202311817527.9A priority Critical patent/CN117495847B/zh
Publication of CN117495847A publication Critical patent/CN117495847A/zh
Application granted granted Critical
Publication of CN117495847B publication Critical patent/CN117495847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及自动驾驶技术领域，具体提供一种路口检测方法、可读存储介质及智能设备，旨在解决在低速复杂场景下，如何对路口进行有效检测的问题。为此目的，本申请根据待检测区域的静态障碍物点云和停车位的矢量数据，获取待检测区域的二维点云数据，根据二维点云数据和待检测区域的历史行车轨迹，获取待检测区域的模态融合鸟瞰图，根据模态融合鸟瞰图，获取待检测区域的路口检测结果。由于模态融合鸟瞰图中融合了历史行车轨迹、静态障碍物点云和停车位等多种模态数据，因而获得的路口检测结果具有更高的准确性。在低速复杂场景下能够有效抵抗环境感知以及避障调头等轨迹噪声，实现更好的检测效果。

Description

路口检测方法、可读存储介质及智能设备
技术领域
本申请涉及自动驾驶技术领域，具体提供一种路口检测方法、可读存储介质及智能设备。
背景技术
在低速复杂场景下，如地下停车场、小区等，识别路口是形成路网拓扑数据的关键。传统城市道路路口识别方法多依赖于行车轨迹。但是，低速场景往往会更加复杂，路口分布往往密集且多样，行车轨迹也因避障或调头等导致很难行车标准的路口pattern（样式）。
相应地，本领域需要一种新的路口检测方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决在低速复杂场景下，如何对路口进行有效检测的问题。
在第一方面，本申请提供一种路口检测方法，所述方法包括：
根据待检测区域的静态障碍物点云和停车位的矢量数据，获取所述待检测区域的二维点云数据；
根据所述二维点云数据和所述待检测区域的历史行车轨迹，获取所述待检测区域的模态融合鸟瞰图；
根据所述模态融合鸟瞰图，获取所述待检测区域的路口检测结果。
在上述路口检测方法的一个技术方案中，所述根据所述模态融合鸟瞰图，获取所述待检测区域的路口检测结果，包括：
根据所述模态融合鸟瞰图，进行基于滑动窗口的滑动窗口检测，获得滑动窗口检测结果；
根据所述滑动窗口检测结果，获取所述路口检测结果。
在上述路口检测方法的一个技术方案中，所述滑动窗口包括第一滑动窗口和第二滑动窗口，所述第一滑动窗口和所述第二滑动窗口均以所述历史行车轨迹中相同的轨迹点为中心，所述第一滑动窗口的窗口尺寸大于所述第二滑动窗口的窗口尺寸；所述滑动窗口检测结果包括第一滑动窗口检测结果和第二滑动窗口检测结果；
所述据所述模态融合鸟瞰图，进行基于滑动窗口的滑动窗口检测，获得滑动窗口检测结果，包括：
根据所述模态融合鸟瞰图，进行所述第一滑动窗口检测，获得所述第一滑动窗口检测结果；
根据所述第一滑动窗口检测结果，进行所述第二滑动窗口检测，获得多个所述第二滑动窗口检测结果。
在上述路口检测方法的一个技术方案中，所述根据所述滑动窗口检测结果，获取所述路口检测结果，包括：
根据所述第一滑动窗口检测结果，获得第一滑窗特征；
根据所述第二滑动窗口检测结果，获得第二滑窗特征；
根据所述第一滑窗特征和所述第二滑窗特征，获取所述路口检测结果。
在上述路口检测方法的一个技术方案中，所述根据所述第二滑动窗口检测结果，获得第二滑窗特征，包括：
将所述第二滑动窗口检测结果进行尺寸调整，获得与所述第一滑动窗口检测结果尺寸相同的图像；
根据获取的所述图像，获取所述第二滑窗特征。
在上述路口检测方法的一个技术方案中，所述根据所述第一滑窗特征和所述第二滑窗特征，获取所述路口检测结果，包括：
将所述第一滑窗特征和所述第二滑窗特征进行特征融合，获得融合特征；
根据所述融合特征，获取所述第二滑窗检测结果对应的分类类别；
根据所述分类类别，获取所述路口检测结果。
在上述路口检测方法的一个技术方案中，所述根据待检测区域的静态障碍物点云和停车位的矢量数据，获取所述待检测区域的二维点云数据，包括：
根据所述静态障碍物点云，获得障碍物二维点云；
根据所述停车位矢量数据，获取停车位二维点云；
根据所述障碍物二维点云和所述停车位二维点云，获取所述待检测区域的二维点云数据。
在上述路口检测方法的一个技术方案中，所述根据所述静态障碍物点云，获得障碍物二维点云，包括：
对所述静态障碍物点云进行去除地面处理，获取无地面静态障碍物点云；
将所述无地面静态障碍物点云进行高度方向叠加，获得所述障碍物二维点云。
在上述路口检测方法的一个技术方案中，所述根据所述停车位矢量数据，获取停车位二维点云，包括：
根据所述停车位的矢量数据，获取二维停车位矢量数据；
针对所述二维停车位矢量数据对应的多边形，按照预设的采样间隔，对所述多边形的每一条边进行采集，获得所述停车位二维点云。
在上述路口检测方法的一个技术方案中，所述根据所述二维点云数据和所述待检测区域的历史行车轨迹，获取所述待检测区域的模态融合鸟瞰图，包括：
根据所述历史行车轨迹，在所述二维点云数据绘制所述历史行车轨迹对应的轨迹折线，以获得所述模态融合鸟瞰图。
在上述路口检测方法的一个技术方案中，所述根据所述二维点云数据和所述待检测区域的历史行车轨迹，获取所述待检测区域的模态融合鸟瞰图，包括：
当所述待检测区域为多层时，根据每层的所述二维点云数据和所述历史行车轨迹，获取每层的所述模态融合鸟瞰图。
在上述路口检测方法的一个技术方案中，所述根据所述模态融合鸟瞰图，获取所述待检测区域的路口检测结果，包括：
应用预设的训练好的深度学习模型，根据所述模态融合鸟瞰图，获取所述路口检测结果。
在上述路口检测方法的一个技术方案中，所述方法还包括根据以下步骤对所述深度学习模型进行训练：
对用于训练的鸟瞰图进行标注，获取标注数据集；
根据所述标注数据集，对所述深度学习模型进行训练，以获得训练好的深度学习模型。
在上述路口检测方法的一个技术方案中，所述对用于训练的鸟瞰图进行标注，获取标注数据集，包括：
在所述用于训练的鸟瞰图上标注路口对应的多边形真值；
在所述用于训练的鸟瞰图上随机生成不同尺寸的滑动窗口；
针对每个滑动窗口，计算所述滑动窗口与所述多边形真值之间的交并比；
当所述交并比大于预设值阈值时，将所述滑动窗口以及与所述滑动窗口同心的且尺寸大于所述滑动窗口的其他滑动窗口标注为正样本；
当所述交并比小于等于所述预设阈值时，将所述滑动窗口标注为负样本；
根据所述正样本和所述负样本，获取所述标注数据集。
在第二方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述路口检测方法的技术方案中任一项技术方案所述的路口检测方法。
在第三方面，一种智能设备，包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述路口检测方法的技术方案中任一项技术方案所述的路口检测方法。
本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本申请的技术方案中，本申请根据待检测区域的静态障碍物点云和停车位的矢量数据，获取待检测区域的二维点云数据，根据二维点云数据和待检测区域的历史行车轨迹，获取待检测区域的模态融合鸟瞰图，根据模态融合鸟瞰图，获取待检测区域的路口检测结果。通过上述配置方式，本申请中的模态融合鸟瞰图中融合了历史行车轨迹、静态障碍物点云和停车位等多种模态数据，因而基于模态融合鸟瞰图获得的路口检测结果具有更高的准确性。在低速复杂场景下（如地下停车场、小区内等）能够有效抵抗环境感知以及避障调头等轨迹噪声，实现更好的检测效果。
附图说明
参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。其中：
图1是根据本申请的一个实施例的路口检测方法的主要步骤流程示意图；
图2是根据本申请实施例的一个实施方式的路口检测方法的主要步骤流程示意图；
图3是根据本申请实施例的一个实施方式的模态融合鸟瞰图的示意图；
图4是根据本申请实施例的一个实施方式的应用深度学习模型获取路口检测结果的模型主要网络架构示意图；
图5是根据本申请的一个实施例的智能设备的存储器与处理器之间的连接关系示意图。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。
在本申请的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
术语定义：
自动驾驶系统(Automated Driving Systems，ADS)，其是指系统在自身的设计运行范围(Operational Domain Design，ODD)内将持续执行全部的动态驾驶任务(DynamicDriving Task，DDT)。即，在规定的适当驾驶场景条件下才允许机器系统全部承担车辆自动操控的任务，即车辆满足ODD条件时系统被激活，该系统代替人类驾驶员作为车辆的驾驶主体。其中，动态驾驶任务DDT是指对车辆进行持续的横向(左、右转向)和纵向运动控制(加速，减速，匀速)以及对车辆行驶环境中的目标和事件进行探测和响应。设计运行范围ODD是指自动驾驶系统可以安全运行的条件，其设置的条件可以包括地理位置、道路类型、速度范围、天气、时间、国家和地方性交通法律法规等。
参阅附图1，图1是根据本申请的一个实施例的路口检测方法的主要步骤流程示意图。如图1所示，本申请实施例中的路口检测方法主要包括下列步骤S101-步骤S103。
步骤S101：根据待检测区域的静态障碍物点云和停车位的矢量数据，获取待检测区域的二维点云数据。
在本实施例中，可以结合待检测区域的静态障碍物点云和停车位的矢量数据，生成待检测区域的二维点云数据。其中静态障碍物点云可以包括墙体、围栏等的点云数据。停车位的矢量数据是指基于计算合成图像生成的停车位数据。
一个实施方式中，可以通过栅格地图的占据图层，获取静态障碍物点云。
一个实施方式中，针对多层场景，如多层停车场等，可以基于每一层的静态障碍物点云和停车位的矢量数据，获取每一层的二维点云数据。
步骤S102：根据二维点云数据和待检测区域的历史行车轨迹，获取待检测区域的模态融合鸟瞰图。
在本实施例中，可以将二维点云数据和待检测区域的历史行车轨迹进行融合，获得待检测区域的模态融合鸟瞰图。
一个实施方式中，可以将二维点云数据和历史行车轨迹按照一定的比例尺，映射到同一张图片上，从而获得模态融合鸟瞰图。
一个实施方式中，当待检测区域为多层时，根据每层的二维点云数据和历史行车轨迹，获取每层的模态融合鸟瞰图。
步骤S103：根据模态融合鸟瞰图，获取待检测区域的路口检测结果。
在本实施例中，可以根据模态融合鸟瞰图，来进行待检测区域的路口检测，从而获得路口检测结果。
一个实施方式中，可以将模态融合鸟瞰图输入至基于深度学习的神经网络模型中进行路口检测，以获得路口检测结果。
基于上述步骤S101-步骤S103，本申请实施例根据待检测区域的静态障碍物点云和停车位的矢量数据，获取待检测区域的二维点云数据，根据二维点云数据和待检测区域的历史行车轨迹，获取待检测区域的模态融合鸟瞰图，根据模态融合鸟瞰图，获取待检测区域的路口检测结果。通过上述配置方式，本申请实施例中的模态融合鸟瞰图中融合了历史行车轨迹、静态障碍物点云和停车位等多种模态数据，因而基于模态融合鸟瞰图获得的路口检测结果具有更高的准确性。在低速复杂场景下（如地下停车场、小区内等）能够有效抵抗环境感知以及避障调头等轨迹噪声，实现更好的检测效果。
下面分别对步骤S101、步骤S102和步骤S103作进一步地说明。
在本申请实施例的一个实施方式中，步骤S101可以进一步包括以下步骤S1011至步骤S1013：
步骤S1011：根据静态障碍物点云，获得障碍物二维点云。
在本实施方式中，步骤S1011可以进一步包括以下步骤S10111和步骤S10112：
步骤S10111：对静态障碍物点云进行去除地面处理，获取无地面静态障碍物点云。
步骤S10112：将无地面静态障碍物点云进行高度方向叠加，获得障碍物二维点云。
在本实施方式中，静态障碍物点云是在某一局部三维坐标系中进行表达的，因而可以先对静态障碍物点云进行去除地面处理后，将无地面静态障碍物点云进行高度方向叠加，从而获得障碍物二维点云。
步骤S1012：根据停车位矢量数据，获取停车位二维点云。
在本实施方式中，步骤S1012可以进一步包括以下步骤S10121和步骤S10122：
步骤S10121：根据停车位的矢量数据，获取二维停车位矢量数据。
步骤S10122：针对二维停车位矢量数据对应的多边形，按照预设的采样间隔，对多边形的每一条边进行采集，获得停车位二维点云。
在本实施方式中，同样，停车位的矢量数据也是在某一局部三维坐标系中进行表达的，停车位的矢量数据为闭合的多边形，因而可以忽略z值，获得二维停车位矢量数据。沿二维停车矢量数据对应的多边形的每一条边，按照预设的采样间隔进行采样，获得一些二维点，作为停车位二维点云。本领域技术人员可以根据实际应用的需要对采样间隔进行设置。
步骤S1013：根据障碍物二维点云和停车位二维点云，获取待检测区域的二维点云数据。
在本实施方式中，可以将障碍物二维点云和停车位二维点云，作为待检测区域的二维点云数据。
在本申请实施例的一个实施方式中，步骤S102可以进一步被配置为：
根据历史行车轨迹，在二维点云数据绘制历史行车轨迹对应的轨迹折线，以获得模态融合鸟瞰图。
一个实施方式中，为了便于识别，模态融合鸟瞰图中的二维点云数据和轨迹折线可以用不同的颜色标识。
在本实施方式中，可以参阅附图3，图3是根据本申请实施例的一个实施方式的模态融合鸟瞰图的示意图。如图3所示，可以将二维点云数据和历史行车轨迹的轨迹折线融合进一张图中进行表达，即为模态融合鸟瞰图。为了有效区分多模态数据，可以以不同的颜色来标识二维点云数据和轨迹折线（图3中颜色未示出），如，可以以黑色表达二维点云数据，以红色表达轨迹折线。
在本申请实施例的一个实施方式中，步骤S103可以进一步包括以下步骤S1031和步骤S1032：
步骤S1031：根据模态融合鸟瞰图，进行基于滑动窗口的滑动窗口检测，获得滑动窗口检测结果。
在本实施方式中，滑动窗口包括第一滑动窗口和第二滑动窗口，第一滑动窗口和第二滑动窗口均以历史行车轨迹中相同的轨迹点为中心，第一滑动窗口的窗口尺寸大于第二滑动窗口的窗口尺寸；滑动窗口检测结果包括第一滑动窗口检测结果和第二滑动窗口检测结果。步骤S1031可以进一步包括以下步骤S10311和步骤S10312：
步骤S10311：根据模态融合鸟瞰图，进行第一滑动窗口检测，获得第一滑动窗口检测结果。
在本实施方式中，可以先以一个窗口尺寸较大的第一滑动窗口进行对模态融合鸟瞰图进行滑动窗口检测，获得第一滑动窗口检测结果。
一个实施方式中，第一滑动窗口的窗口尺寸可以为30m对应的像素个数。
步骤S10312：根据第一滑动窗口检测结果，进行第二滑动窗口检测，获得多个第二滑动窗口检测结果。
在本实施方式中，考虑到低速复杂场景下路口的大小各异，可以根据第一滑动窗口检测结果，再利用窗口尺寸较小的第二滑动窗口在第一滑动窗口检测结果的基础上，进行滑动窗口检测，从而获得第二滑动窗口检测结果。
一个实施方式中，第二滑动窗口的窗口尺寸可以为多个，如5m、7m、10m、15m、20m对应的像素个数。
步骤S1032：根据滑动窗口检测结果，获取路口检测结果。
在本实施方式中，步骤S1032可以进一步包括以下步骤S10321至步骤S10323：
步骤S10321：根据第一滑动窗口检测结果，获得第一滑窗特征。
在本实施方式中，可以分别对第一滑动窗口检测结果对应的图像，进行特征提取，获得第一滑窗特征。
步骤S10322：根据第二滑动窗口检测结果，获得第二滑窗特征。
在本实施方式中，步骤S10322可以进一步包括以下步骤S103221和步骤S103222：
步骤S103221：将第二滑动窗口检测结果进行尺寸调整，获得与第一滑动窗口检测结果尺寸相同的图像。
步骤S103222：根据获取的图像，获取第二滑窗特征。
在本实施方式中，可以将第二滑动窗口检测结果进行尺寸调整（resize），将其调整至与第一滑动窗口检测结果尺寸相同的图像。并基于调整后的图像进行特征提取，获取第二滑窗特征。
步骤S10323：根据第一滑窗特征和第二滑窗特征，获取路口检测结果。
在本实施方式中，步骤S10323可以进一步包括以下步骤S103231至步骤S103233：
步骤S103231：将第一滑窗特征和第二滑窗特征进行特征融合，获得融合特征。
步骤S103232：根据融合特征，获取第二滑窗检测结果对应的分类类别。
步骤S103233：根据分类类别，获取路口检测结果。
在本实施方式中，可以将第一滑窗特征和第二滑窗特征进行特征融合，根据获得的融合特征来对第二滑窗检测结果对应的分类类别进行识别，从而获得路口检测结果。即，如分类类别是路口，那么就将第二滑动窗口检测结果作为路口检测结果，也可以将第一滑动窗口检测结果路口检测结果；如分类类别不是路口，那么就忽略第二滑动窗口检测结果。采用大小不同的滑动窗口进行路口检测，能够适应低速复杂场景下路口大小各异的情况，同时也能够有效的保留路口上下文信息。
一个实施方式中，可以参阅附图4，图4是根据本申请实施例的一个实施方式的应用深度学习模型获取路口检测结果的模型主要网络架构示意图。如图4所示，可以应用训练好的深度学习模型来实现步骤S103，即根据模态融合鸟瞰图来获得路口识别结果的过程。其中，大滑窗（第一滑动窗口）为30×30，大滑窗获得第一滑动窗口检测结果通过backbone（骨干网络）1进行特征提取，获得第一滑窗特征；小滑窗（第二滑动窗口）在第一滑动窗口检测结果的基础上进行滑窗检测，获得第二滑动窗口检测结果，第二滑动窗口检测结果通过backbone2进行特征提取，获得第二滑窗特征。第一滑窗特征和第二滑窗特征进行特征融合，最终输出小滑窗的分类结果，从而获得路口检测结果。
一个实施方式中，可以对用于训练的鸟瞰图进行标注，以构建标注数据集，以应用标注数据集对深度学习模型进行训练，以获得训练好的深度学习模型。
一个实施方式中，可以根据以下步骤S201至步骤S206来获取标注数据集：
步骤S201：在用于训练的鸟瞰图上标注路口对应的多边形真值。
步骤S202：在用于训练的鸟瞰图上随机生成不同尺寸的滑动窗口。
步骤S203：针对每个滑动窗口，计算滑动窗口与多边形真值之间的交并比。
步骤S204：当交并比大于预设值阈值时，将滑动窗口以及与滑动窗口同心的且尺寸大于滑动窗口的其他滑动窗口标注为正样本。
步骤S205：当交并比小于等于预设阈值时，将滑动窗口标注为负样本。
步骤S206：根据正样本和负样本，获取标注数据集。
在本实施方式中，可以对用于训练的鸟瞰图进行路口真值标注，可以使用多边形进行标注，作为多边形真值。在用于训练的鸟瞰图上随机生成不同大小的滑动窗口，如果滑动窗口与多边形真值之间的交并比（IOU）大于预设阈值，则可以将该滑动窗口以及与其同心的尺寸大于该滑动窗口的其他滑动窗口作为正样本，即分类类别为“属于路口”。反之，如果交并比小于等于预设阈值，则将该滑动窗口标注为负样本，即分类类别为“不属于路口”。
一个实施方式中，可以参阅附图2，图2是根据本申请实施例的一个实施方式的路口检测方法的主要步骤流程示意图。如图2所示，在本实施方式中，路口检测方法的输入数据为历史行车轨迹、静态障碍物点云和停车位的矢量数据。基于静态障碍物点云和停车位的矢量数据生成二维点云数据。基于历史行车轨迹和二维点云数据生成模态融合鸟瞰图。基于模态融合鸟瞰图进行基于深度学习的滑动窗口检测，获得路口检测结果。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本申请的保护范围之内。
本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本申请还提供了一种计算机可读存储介质。在根据本申请的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的路口检测方法的程序，该程序可以由处理器加载并运行以实现上述路口检测方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，本申请还提供了一种智能设备，智能设备可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的路口检测方法。本申请的智能设备，可以包括驾驶设备、智能车、机器人等设备。参阅附图5，图5是根据本申请的一个实施例的智能设备的存储器与处理器之间的连接关系示意图。如图5所示，智能设备的存储器和处理器通过总线通信连接。
在本申请的一些实施例中，智能设备还包括至少一个传感器，传感器用于感知信息。传感器与本申请提到的任何一种类型的处理器通信连接。可选地，智能设备还包括自动驾驶系统，自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶系统通信，用于完成上述任一实施例所述的方法。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本申请的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本申请的原理，因此，拆分或合并之后的技术方案都将落入本申请的保护范围内。
本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
至此，已经结合附图所示的优选实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。

Claims (16)

1.一种路口检测方法，其特征在于，所述方法包括：
根据待检测区域的静态障碍物点云和停车位的矢量数据，获取所述待检测区域的二维点云数据；
根据所述二维点云数据和所述待检测区域的历史行车轨迹，获取所述待检测区域的模态融合鸟瞰图；
根据所述模态融合鸟瞰图，获取所述待检测区域的路口检测结果。
2.根据权利要求1所述的路口检测方法，其特征在于，
所述根据所述模态融合鸟瞰图，获取所述待检测区域的路口检测结果，包括：
根据所述模态融合鸟瞰图，进行基于滑动窗口的滑动窗口检测，获得滑动窗口检测结果；
根据所述滑动窗口检测结果，获取所述路口检测结果。
3.根据权利要求2所述的路口检测方法，其特征在于，所述滑动窗口包括第一滑动窗口和第二滑动窗口，所述第一滑动窗口和所述第二滑动窗口均以所述历史行车轨迹中相同的轨迹点为中心，所述第一滑动窗口的窗口尺寸大于所述第二滑动窗口的窗口尺寸；所述滑动窗口检测结果包括第一滑动窗口检测结果和第二滑动窗口检测结果；
所述据所述模态融合鸟瞰图，进行基于滑动窗口的滑动窗口检测，获得滑动窗口检测结果，包括：
根据所述模态融合鸟瞰图，进行所述第一滑动窗口检测，获得所述第一滑动窗口检测结果；
根据所述第一滑动窗口检测结果，进行所述第二滑动窗口检测，获得多个所述第二滑动窗口检测结果。
4.根据权利要求3所述的路口检测方法，其特征在于，
所述根据所述滑动窗口检测结果，获取所述路口检测结果，包括：
根据所述第一滑动窗口检测结果，获得第一滑窗特征；
根据所述第二滑动窗口检测结果，获得第二滑窗特征；
根据所述第一滑窗特征和所述第二滑窗特征，获取所述路口检测结果。
5.根据权利要求4所述的路口检测方法，其特征在于，
所述根据所述第二滑动窗口检测结果，获得第二滑窗特征，包括：
将所述第二滑动窗口检测结果进行尺寸调整，获得与所述第一滑动窗口检测结果尺寸相同的图像；
根据获取的所述图像，获取所述第二滑窗特征。
6.根据权利要求4所述的路口检测方法，其特征在于，
所述根据所述第一滑窗特征和所述第二滑窗特征，获取所述路口检测结果，包括：
将所述第一滑窗特征和所述第二滑窗特征进行特征融合，获得融合特征；
根据所述融合特征，获取所述第二滑窗检测结果对应的分类类别；
根据所述分类类别，获取所述路口检测结果。
7.根据权利要求1所述的路口检测方法，其特征在于，
所述根据待检测区域的静态障碍物点云和停车位的矢量数据，获取所述待检测区域的二维点云数据，包括：
根据所述静态障碍物点云，获得障碍物二维点云；
根据所述停车位矢量数据，获取停车位二维点云；
根据所述障碍物二维点云和所述停车位二维点云，获取所述待检测区域的二维点云数据。
8.根据权利要求7所述的路口检测方法，其特征在于，
所述根据所述静态障碍物点云，获得障碍物二维点云，包括：
对所述静态障碍物点云进行去除地面处理，获取无地面静态障碍物点云；
将所述无地面静态障碍物点云进行高度方向叠加，获得所述障碍物二维点云。
9.根据权利要求7所述的路口检测方法，其特征在于，
所述根据所述停车位矢量数据，获取停车位二维点云，包括：
根据所述停车位的矢量数据，获取二维停车位矢量数据；
针对所述二维停车位矢量数据对应的多边形，按照预设的采样间隔，对所述多边形的每一条边进行采集，获得所述停车位二维点云。
10.根据权利要求1所述的路口检测方法，其特征在于，
所述根据所述二维点云数据和所述待检测区域的历史行车轨迹，获取所述待检测区域的模态融合鸟瞰图，包括：
根据所述历史行车轨迹，在所述二维点云数据绘制所述历史行车轨迹对应的轨迹折线，以获得所述模态融合鸟瞰图。
11.根据权利要求1所述的路口检测方法，其特征在于，
所述根据所述二维点云数据和所述待检测区域的历史行车轨迹，获取所述待检测区域的模态融合鸟瞰图，包括：
当所述待检测区域为多层时，根据每层的所述二维点云数据和所述历史行车轨迹，获取每层的所述模态融合鸟瞰图。
12.根据权利要求1至11中任一项所述的路口检测方法，其特征在于，
所述根据所述模态融合鸟瞰图，获取所述待检测区域的路口检测结果，包括：
应用预设的训练好的深度学习模型，根据所述模态融合鸟瞰图，获取所述路口检测结果。
13.根据权利要求12所述的路口检测方法，其特征在于，
所述方法还包括根据以下步骤对所述深度学习模型进行训练：
对用于训练的鸟瞰图进行标注，获取标注数据集；
根据所述标注数据集，对所述深度学习模型进行训练，以获得训练好的深度学习模型。
14.根据权利要求13所述的路口检测方法，其特征在于，
所述对用于训练的鸟瞰图进行标注，获取标注数据集，包括：
在所述用于训练的鸟瞰图上标注路口对应的多边形真值；
在所述用于训练的鸟瞰图上随机生成不同尺寸的滑动窗口；
针对每个滑动窗口，计算所述滑动窗口与所述多边形真值之间的交并比；
当所述交并比大于预设值阈值时，将所述滑动窗口以及与所述滑动窗口同心的且尺寸大于所述滑动窗口的其他滑动窗口标注为正样本；
当所述交并比小于等于所述预设阈值时，将所述滑动窗口标注为负样本；
根据所述正样本和所述负样本，获取所述标注数据集。
15.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至14中任一项所述的路口检测方法。
16.一种智能设备，其特征在于，包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求1至14中任一项所述的路口检测方法。
CN202311817527.9A 2023-12-27 2023-12-27 路口检测方法、可读存储介质及智能设备 Active CN117495847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311817527.9A CN117495847B (zh) 2023-12-27 2023-12-27 路口检测方法、可读存储介质及智能设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311817527.9A CN117495847B (zh) 2023-12-27 2023-12-27 路口检测方法、可读存储介质及智能设备

Publications (2)

Publication Number Publication Date
CN117495847A true CN117495847A (zh) 2024-02-02
CN117495847B CN117495847B (zh) 2024-03-19

Family

ID=89676717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311817527.9A Active CN117495847B (zh) 2023-12-27 2023-12-27 路口检测方法、可读存储介质及智能设备

Country Status (1)

Country Link
CN (1) CN117495847B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088267A1 (ja) * 2017-11-02 2019-05-09 株式会社東芝 支障物検知装置
US20190147600A1 (en) * 2017-11-16 2019-05-16 Zoox, Inc. Pose determination from contact points
CN112270272A (zh) * 2020-10-31 2021-01-26 武汉中海庭数据技术有限公司 高精度地图制作中道路路口提取方法及系统
CN112950972A (zh) * 2021-01-25 2021-06-11 广州小鹏自动驾驶科技有限公司 一种停车场地图构建方法、装置、设备和介质
US20210201145A1 (en) * 2019-12-31 2021-07-01 Nvidia Corporation Three-dimensional intersection structure prediction for autonomous driving applications
WO2022165614A1 (zh) * 2021-02-08 2022-08-11 浙江吉利控股集团有限公司 一种路径构建方法、装置、终端及存储介质
CN116057577A (zh) * 2020-07-21 2023-05-02 交互数字Ce专利控股有限公司 用于增强现实的地图
CN116071399A (zh) * 2023-03-07 2023-05-05 北京京东乾石科技有限公司 轨迹预测方法及装置、模型训练方法及装置、电子设备
US20230316541A1 (en) * 2022-01-18 2023-10-05 Tencent Technology (Shenzhen) Company Limited Method and apparatus for capturing motion trajectory of to-be-rendered virtual object and electronic device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088267A1 (ja) * 2017-11-02 2019-05-09 株式会社東芝 支障物検知装置
US20190147600A1 (en) * 2017-11-16 2019-05-16 Zoox, Inc. Pose determination from contact points
US20210201145A1 (en) * 2019-12-31 2021-07-01 Nvidia Corporation Three-dimensional intersection structure prediction for autonomous driving applications
CN114902295A (zh) * 2019-12-31 2022-08-12 辉达公司 用于自主驾驶应用的三维路口结构预测
CN116057577A (zh) * 2020-07-21 2023-05-02 交互数字Ce专利控股有限公司 用于增强现实的地图
CN112270272A (zh) * 2020-10-31 2021-01-26 武汉中海庭数据技术有限公司 高精度地图制作中道路路口提取方法及系统
CN112950972A (zh) * 2021-01-25 2021-06-11 广州小鹏自动驾驶科技有限公司 一种停车场地图构建方法、装置、设备和介质
WO2022165614A1 (zh) * 2021-02-08 2022-08-11 浙江吉利控股集团有限公司 一种路径构建方法、装置、终端及存储介质
US20230316541A1 (en) * 2022-01-18 2023-10-05 Tencent Technology (Shenzhen) Company Limited Method and apparatus for capturing motion trajectory of to-be-rendered virtual object and electronic device
CN116071399A (zh) * 2023-03-07 2023-05-05 北京京东乾石科技有限公司 轨迹预测方法及装置、模型训练方法及装置、电子设备

Also Published As

Publication number Publication date
CN117495847B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
CN110494890B (zh) 卷积神经网络的迁移学习的系统、计算机实现方法、介质
CN109886210A (zh) 一种交通图像识别方法、装置、计算机设备和介质
CN108133484B (zh) 基于场景分割的自动驾驶处理方法及装置、计算设备
CN110832497B (zh) 用于自治系统的对象过滤和统一表示形式的系统和方法
CN112967283B (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN111667048A (zh) 机动车辆中用于对象检测和车道检测的卷积神经网络系统
CN111209780A (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
CN111209777A (zh) 车道线检测方法、装置、电子设备及可读存储介质
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
CN114972911A (zh) 自动驾驶感知算法模型的输出数据收集处理方法及设备
CN113034970A (zh) 安全性系统、自动化驾驶系统及其方法
CN114694115A (zh) 一种道路障碍物检测方法、装置、设备及存储介质
Alpar Corona segmentation for nighttime brake light detection
CN117495847B (zh) 路口检测方法、可读存储介质及智能设备
CN110727269B (zh) 车辆控制方法及相关产品
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
CN118043864A (zh) 障碍物识别方法、装置、存储介质及电子设备
CN117496476B (zh) 路网生成方法、可读存储介质及智能设备
CN117952978A (zh) 路口检测方法、计算机可读存储介质及智能设备
CN111754781A (zh) 一种车辆违章检测的方法、装置、系统及摄像机
US20220012506A1 (en) System and method of segmenting free space based on electromagnetic waves
CN115019206B (zh) 一种飞机起落环境安全检测方法及系统
CN117935173A (zh) 目标车辆的识别方法、场端服务器及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant