CN117011824A - 一种车道定位的方法以及相关装置 - Google Patents

一种车道定位的方法以及相关装置 Download PDF

Info

Publication number
CN117011824A
CN117011824A CN202211398316.1A CN202211398316A CN117011824A CN 117011824 A CN117011824 A CN 117011824A CN 202211398316 A CN202211398316 A CN 202211398316A CN 117011824 A CN117011824 A CN 117011824A
Authority
CN
China
Prior art keywords
lane
information
type
probability
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211398316.1A
Other languages
English (en)
Inventor
闫伟
储超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211398316.1A priority Critical patent/CN117011824A/zh
Publication of CN117011824A publication Critical patent/CN117011824A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种车道定位的方法以及相关装置,至少涉及人工智能等技术,可应用在车联网、自动驾驶、智慧交通等场景。该方法能够提升车道定位的准确度。上述方法包括:获取每种类型的视觉感知信息以及对应类型的道路语义信息,每种类型的视觉感知信息用于指示目标车辆在每个车道上行驶时感知到的每一类道路情况;基于每种类型的视觉感知信息以及对应类型的道路语义信息,确定对应类型下的每个车道的概率,对应类型下的每个车道的概率用于指示在对应的每类道路情况下,目标车辆在每个车道上行驶时的概率;对每种类型下的每个车道的概率中相同车道的概率进行融合处理,以得到每个车道的目标概率;基于每个车道的目标概率确定目标车道号。

Description

一种车道定位的方法以及相关装置
技术领域
本申请实施例涉及图像处理技术领域,具体涉及一种车道定位的方法以及相关装置。
背景技术
随着公路建设取得了瞩目的成绩,与此同时交通事故问题也日益严重。为应对交通安全的严峻形势,需深入探究车辆运行特征与规律,以此提高车道级定位的准确度和鲁棒性。
在相关方案中,通常是直接将视觉感知信息中的语义信息,例如车道线、地面标志(如导向箭头等)等信息分别与目标电子地图中的车道线、地面标志等信息进行匹配,以每个匹配的结果分别实现目标车辆的车道定位。但是,目标车辆能够采集到大量的视觉感知信息,而目前的定位方式仅仅从单一维度的视觉感知信息所匹配的结果来实现车道定位,例如仅匹配车道线、或者仅匹配地面标志等,难以充分利用大量的视觉感知信息来实现目标车辆的车道定位,从而导致车道定位的准确度较低。
发明内容
本申请实施例提供了一种车道定位的方法以及相关装置,能够提升车道定位的准确度。
第一方面,本申请实施例提供了一种车道定位的方法。该方法包括:获取每种类型的视觉感知信息以及对应类型的道路语义信息,所述每种类型的视觉感知信息用于指示目标车辆在每个车道上行驶时感知到的每一类道路情况,所述道路语义信息用于指示目标电子地图上所显示的所述每一类道路情况;基于每种类型的所述视觉感知信息以及所述对应类型的道路语义信息,确定对应类型下的每个所述车道的概率,所述对应类型下的每个车道的概率用于指示在对应的每类所述道路情况下,所述目标车辆在每个所述车道上行驶时的概率;对所述每种类型下的所述每个车道的概率中相同车道的概率进行融合处理,以得到每个所述车道的目标概率;基于所述每个车道的目标概率确定目标车道号,所述目标车道号用于指示所述目标车辆在所述目标车道号对应的车道上行驶。
第二方面,本申请实施例提供了一种车道定位装置。该车道定位装置包括获取单元和处理单元。其中,获取单元,用于获取每种类型的视觉感知信息以及对应类型的道路语义信息,所述每种类型的视觉感知信息用于指示目标车辆在每个车道上行驶时感知到的每一类道路情况,所述道路语义信息用于指示目标电子地图上所显示的所述每一类道路情况。处理单元,用于基于每种类型的所述视觉感知信息以及所述对应类型的道路语义信息,确定对应类型下的每个所述车道的概率,所述对应类型下的每个车道的概率用于指示在对应的每类所述道路情况下,所述目标车辆在每个所述车道上行驶时的概率。所述处理单元,用于对所述每种类型下的所述每个车道的概率中相同车道的概率进行融合处理,以得到每个所述车道的目标概率。所述处理单元,用于基于所述每个车道的目标概率确定目标车道号,所述目标车道号用于指示所述目标车辆在所述目标车道号对应的车道上行驶。
在一些可选的实施方式中,所述视觉感知信息包括第一车道线信息,所述道路语义信息包括第二车道线信息。处理单元用于:将每条所述车道的所述第一车道线信息与对应所述车道的所述第二车道线信息进行匹配,以确定每条所述车道的第一相似度,所述每条车道的第一相似度用于指示每条所述车道的第一车道线信息与对应所述车道的第二车道线信息之间的匹配程度;基于所述每条车道的第一相似度确定每个所述车道的概率。
在另一些可选的实施方式中,视觉感知信息包括第一路面导向标志信息;获取单元用于获取所述目标车辆的车辆位置、航向信息,以及路面导向标志相对于所述目标车辆时的相对位置。处理单元用于:根据所述车辆位置、所述航向信息以及所述相对位置,确定所述路面导向标志的绝对位置;基于所述路面导向标志的绝对位置以及所述目标电子地图中所述路面导向标志的位置信息确定所述第一路面导向标志信息,所述第一路面导向标志信息用于指示所述目标车辆在不同车道时所述路面导向标志所在车道的结果;将每条车道的所述第一路面导向标志信息与所述道路语义信息中的第二路面导向标志信息进行匹配,以确定每条所述车道的第二相似度;基于所述每条车道的第二相似度确定每个所述车道的概率。
在另一些可选的实施方式中,所述视觉感知信息包括交通标识信息;获取单元用于获取所述目标车辆的车辆位置、航向信息,以及交通标识相对于所述目标车辆时的相对位置。处理单元用于:根据所述车辆位置、所述航向信息以及所述相对位置,确定所述交通标识信息,所述交通标识信息包括所述交通标识的绝对位置、以及所述绝对位置的置信度与方差;基于所述交通标识的绝对位置、所述所述绝对位置的置信度与方差以及所述道路语义信息中的所述交通标识的实际位置,确定每个所述车道的概率。
在另一些可选的实施方式中,所述视觉感知信息包括每个所述车道上可移动物体的信息;获取单元用于获取所述目标车辆的车辆位置、航向信息,以及所述可移动物体相对于所述目标车辆时的相对位置。处理单元用于:根据所述车辆位置、所述航向信息以及所述相对位置,确定所述可移动物体的信息,所述可移动物体的信息包括所述可移动物体的绝对位置和位置方差;基于所述可移动物体的绝对位置、所述位置方差以及第一关系,确定每个所述车道的概率,所述第一关系用于指示所述可移动物体的绝对位置与所述道路语义信息中的道路之间的关系。
在另一些可选的实施方式中,所述视觉感知信息包括每个所述车道的车道号信息;处理单元用于:从每个所述车道的车道号信息中确定对应车道的车道号结果以及每个车道号的置信度;根据每个所述车道的车道号结果以及对应车道的所述车道号的置信度,确定每个所述车道的概率。
在另一些可选的实施方式中,处理单元还用于在对所述每个种类下的所述每个车道的概率中相同车道的概率进行融合处理,以得到每个所述车道的目标概率之前,基于所述每种类型的视觉感知信息的信息类型对所述每种类型的视觉感知信息进行分类,得到第一类型信息和第二类型信息。处理单元用于:将所述第一类型信息下的所述每个车道的概率中第一车道的概率进行求和处理,得到第一概率,以及所述第二类型信息下的所述每个车道的概率中第一车道的概率进行求积处理,得到第二概率,所述第一车道为所述每个车道中的一个;将所述第一概率与所述第二概率进行乘积处理,得到所述第一车道的目标概率。
在另一些可选的实施方式中,处理单元用于:从所述每个车道的目标概率中确定最大概率;将所述最大概率对应的车道确定为目标车道号。
在另一些可选的实施方式中,获取单元用于:获取第一图像,所述第一图像为所述目标车辆在所述车道上行驶时的道路图像。处理单元用于:基于预设识别模型对所述第一图像进行处理,以获取所述每种视觉感知信息。
在另一些可选的实施方式中,获取单元用于:获取所述目标电子地图的道路数据;基于所述目标电子地图的道路数据获取道路语义信息。
本申请实施例第三方面提供了一种车道定位装置,包括:存储器、输入/输出(I/O)接口和存储器。存储器用于存储程序指令。处理器用于执行存储器中的程序指令,以执行上述第一方面的实施方式对应的车道定位的方法。
本申请实施例第四方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行以执行上述第一方面的实施方式对应的方法。
本申请实施例第五方面提供了一种包含指令的计算机程序产品,当其在计算机或者处理器上运行时,使得计算机或者处理器执行上述以执行上述第一方面的实施方式对应的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,由于每种类型的视觉感知信息用于指示目标车辆在每个车道上行驶时感知到的每一类道路情况,以及道路语义信息用于指示目标电子地图上所显示的所述每一类道路情况,那么通过在获取到每种视觉感知信息以及对应种类的道路语义信息后,能够根据每种类型的视觉感知信息以及所述对应种类的道路语义信息,确定对应类型下的每个所述车道的概率,而且对应类型下的每个车道的概率用于指示在对应的每类所述道路情况下,所述目标车辆在每个所述车道上行驶时的概率。这样,进一步通过对所述每个种类下的所述每个车道的概率中相同车道的概率进行融合处理,以得到每个所述车道的目标概率,进而根据所述每个车道的目标概率确定目标车道号,所述目标车道号用于指示所述目标车辆在所述目标车道号对应的车道上行驶。通过上述方式,充分利用到各种视觉感知信息,从而在车道定位过程中考虑到多个维度的视觉感知信息与道路语义信息之间匹配的概率,进而将概率进行融合处理,以此通过所确定出的目标概率来确定出目标车道号,进而使得车道定位的准确度得以提升。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的系统架构示意图;
图2示出了本申请实施例提供的车道定位的方法的流程示意图;
图3示出了本申请实施例提供的一种道路示意图;
图4示出了本申请实施例提供的另一种道路示意图;
图5示出了本申请实施例提供的另一种道路示意图;
图6示出了本申请实施例提供的另一种道路示意图;
图7示出了本申请实施例提供的车道定位装置的结构示意图;
图8示出了本申请实施例提供的车道定位装置的硬件结构示意图。
具体实施方式
本申请实施例提供了一种车道定位的方法以及相关装置,能够提升车道定位的准确度。
可以理解的是,在本申请的具体实施方式中,涉及到用户信息、用户的个人数据等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供的车道定位的方法是基于人工智能(artificialintelligence,AI)实现的。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请实施例中,主要涉及的人工智能技术包括上述所提及的机器学习、自动驾驶、计算机视觉技术等方向。例如,可以涉及机器学习(machine learning,ML)中的深度学习(deep learning),包括人工神经网络等。也可以涉及自动驾驶中的环境感知,如涉及高精度地图等。还可以涉及计算机视觉(computer vision,CV)技术中的图像处理等。
本申请提供的车道定位的方法可以应用于具有数据处理能力的车道定位装置,如终端设备、服务器等。其中,终端设备可以包括但不限于智能手机、台式计算机、笔记本电脑、平板电脑、智能音箱、车载设备等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器等,本申请不做具体限定。另外,所提及的终端设备以及服务器可以通过有线通信或无线通信等方式进行直接连接或间接连接,本申请不做具体限定。
上述所提及的车道定位装置可以具备机器学习能力。机器学习(machinelearning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括神经网络等技术。
另外,上述所提及的车道定位装置还可以具备实施自动驾驶技术的能力。自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术,自定驾驶技术有着广泛的应用前景。
另外,上述所提及的车道定位装置还可以具备实施计算机视觉技术的能力。计算机视觉技术是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、轨迹追索和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。本申请实施例中车道定位装置通过该计算机视觉技术中的图像处理等对道路图像进行处理,以获取得到的车辆所感知到的各种视觉感知信息。
由于目标车辆能够采集到大量的视觉感知信息,而传统的车道定位方式仅仅从单一维度的视觉感知信息所匹配的结果来实现车道定位,例如仅匹配车道线、或者仅匹配地面标志等,难以充分利用大量的视觉感知信息来实现目标车辆的车道定位,从而导致车道定位的准确度较低。
因此,为了解决上述所描述的技术问题,本申请实施例提供了一种车道定位的方法。该方法可以应用在图1示出的系统框架中。如图1所示,车道定位装置可以在获取到道路图像后,通过预设识别模型对该道路图像进行识别处理,得到各种类型的视觉感知信息。车道定位装置还可以从高精度地图数据(如满足NDS格式的道路数据)解析并获取得到目标电子地图上的各类型的道路语义信息。然后,车道定位装置通过将每种类型的视觉感知信息以及对应种类的道路语义信息分别进行匹配等处理,进而将所有的匹配结果进行融合处理,以此确定出目标车道所在的目标车道号。通过上述方式,充分利用到各种视觉感知信息,从而在车道定位过程中考虑到多个维度的视觉感知信息与道路语义信息之间的匹配结果,并将所有的匹配结果进行行融合处理,以此通过最终的匹配结果来确定出目标车道号,进而使得车道定位的准确度得以提升。
需说明,所描述的视觉感知信息可以包括但不限于车道线信息、路面导向标志信息、交通标识信息、可移动物体的信息、车道号信息等等,本申请实施例中不做限定说明。另外,本申请实施例提供的车道定位的方法可以应用在自动驾驶领域、地图领域、交通领域、车载领域、车联网领域、智慧交通、辅助驾驶等各种场景中,具体本申请实施例中不做限定说明。
为了便于理解本申请的技术方案,下面结合附图对本申请实施例提供的一种车道定位的方法进行介绍。
图2示出了本申请实施例提供的车道定位的方法的一种流程图。如图2所示,该车道定位的方法可以包括如下步骤:
201、获取每种类型的视觉感知信息以及对应类型的道路语义信息,每种类型的视觉感知信息用于指示目标车辆在每个车道上行驶时感知到的每一类道路情况,道路语义信息用于指示目标电子地图上所显示的每一类道路情况。
该示例中,车道定位装置可以通过自身的摄像头对车辆行驶过程中的道路场景进行拍摄,以此获取得到第一图像。换句话说,该第一图像为目标车辆在车道上行驶时的道路图像。然后,车道定位装置在获取得到该第一图像后,进一步通过预设识别模型对该第一图像进行识别处理,以获取到每种类型的视觉感知信息。需说明,所描述的预设识别模型可以包括但不限于卷积神经网络(convolutional neural network,CNN)、YOLOv4模型等,本申请实施例中不做限定说明。
需说明,可以根据道路情况将视觉感知信息分成不同的类型。举例来说,通常可以将视觉感知信息分成以下几种类型,例如:车道线信息、路面导向标志信息、交通标识信息、可移动物体的信息、车道号信息等。
示例性地,车道线信息可以包括但不限于车道线类型、车道线颜色、车道线的置信度以及三次曲线的拟合结果等。车道线理解成道路上客观存在的线条,可以包括但不限于道路中心线、可变车道线、白色车道线、虚线、实线、公交线路专用车道线等。
路面导向标志信息可以包括路面标志的类型、路面标志相对于目标车辆的三维位置和置信度等。所描述的路面导向标志理解成道路路面上存在的道路元素。例如,路面导向标志可以包括但不限于斑马线、停止线、路面导向箭头等。
交通标识信息也可以包括但不限于交通标识的标志类型、交通标识相对于目标车辆的三维位置和置信度等。交通标识理解成道路上以标牌形式存在的元素,例如交通灯、标识牌、路灯等。
可移动物体的信息可以包括但不限于可移动物体的物体类型、可移动物体的运动状态、可移动物体的尺寸、以及可移动物体相对于目标车辆的三维位置、可移动物体相对于目标车辆的三维速度与置信度等信息。另外,可移动物体的运动状态可以包括但不限于运动或者静止等。可移动物体可以包括但不限于行人、车辆等。
车道号信息可以包括但不限于车道号结果以及车道号的置信度,例如从左侧算起的车道号结果与车道的置信度、从右侧算起的车道号结果与车道的置信度等。所描述的车道号结果可以理解成车辆所在的车道结果,例如车辆位于第3车道等。
另外,车道定位装置也可以通过获取目标电子地图中的道路数据,如符合NDS格式的道路数据,并通过对该目标电子地图中的道路数据进行道路特征的分析,以此获取得到相应的道路语义信息。所描述的道路语义信息可以包括但不限于目标电子地图中显示出的车道线、路面导向标志、交通标识等相关信息。所描述的目标电子地图可以包括但不限于高精度地图等。高精度地图,相较于传统二维导航地图而言,它的精度达到了分米级甚至是厘米级,而且还包括了各种各样的道路信息,例如车道类型、路面导向标志、交通标识、限速、道路倾斜、弯道形状等信息。
202、基于每种类型的视觉感知信息以及对应类型的道路语义信息,确定对应类型下的每个车道的概率,对应类型下的每个车道的概率用于指示对应的每类道路情况下,目标车辆在每个车道上行驶时的概率。
该示例中,车道定位装置在获取到每种类型的视觉感知信息以及对应类型的道路语义信息后,能够将各种类型的视觉感知信息与对应类型的道路语义信息进行匹配等处理,以此确定出各种类型情况下的每个车道的概率。举例来说,针对车道线这种类型的视觉感知信息,可以将车道线这种类型下的视觉感知信息与道路语义信息进行匹配处理,以此计算出该车道线类型下每条车道的概率。
需说明,对应类型下的每个车道的概率用于指示在对应的每类道路情况下目标车辆在每个车道上行驶时的概率。
示例性地,以前面提及的几种类型的视觉感知信息为例,详细地描述如何基于每种类型的视觉感知信息与对应类型的道路语义信息确定出对应类型下的每个车道的概率。
(1)车道线类型
示例性地,针对车道线类型的情况,对应的视觉感知信息包括第一车道线信息,道路语义信息包括第二车道线信息。此时,根据每种类型的视觉感知信息以及对应类型的道路语义信息确定对应类型下的每个车道的概率,可以采用如下方式来实现,即:首先,将每条车道的第一车道线信息与对应车道的第二车道线信息进行匹配,以确定出每条车道的第一相似度,每条车道的第一相似度用于指示每条车道的第一车道线信息与对应车道的第二车道线信息之间的匹配程度。然后,根据每条车道的第一相似度确定出各自对应车道的概率。
该示例中,车道定位装置通过摄像头拍摄到第一图像后,可以通过预设识别模型提取得到目标车辆当前位置和航向条件下观测到的所有车道线以及道路边缘信息,例如每条车道的第一车道线信息。另外,在NDS格式的目标电子地图中,由于每一条车道线以及道路边缘都可以通过位置点的经纬度进行描述,每连续两个位置点构成的线段都具有车道线的相关属性,例如该位置点处车道线的虚实情况、颜色、拓扑情况等。那么通过对道路内当前位置(如位置P)的目标车辆进行几何投影,能够得到该目标车辆在每条车道线上的投影点。此时,可以将每个投影点所处的车道线的虚实情况、颜色、距离等信息作为该目标电子地图中位置P处的车道线信息以及道路边缘信息,即作为道路语义信息中的第二车道线信息。而由于道路语义信息中的第二车道线信息是通过几何投影生成的,因此目标车辆在车道内的纵向位置相同的情况下,目标车辆在每条车道时,所对应的第二车道线信息都是相同的。
举例来说,图3示出了本申请实施例提供的一种道路示意图。如图3所示,A车与B车位于道路的同一横截面上,此时提取得到的最大车道线和道路边缘条数为4。以从左至右的线的虚实为例,针对位于车道1上的A车,以A车为中心,其对应的第一车道线信息为[无,边缘,虚线,虚线]。同样地,针对位于车道3处的B车,以B车为中心,其对应的第一车道线信息为[虚线,虚线,虚线,边缘]。而针对A车、B车,不论处于哪个车道,其车道对应的第二车道线信息均为[边缘,虚线,虚线,边缘]。
这样,以目标车辆为B车为例,假设B车处于车道1时,其车道1对应的第一车道线信息为[无,边缘,虚线,虚线],而且该车道1对应的第二车道线信息为[边缘,虚线,虚线,边缘]。这时候,通过计算车道1对应的第一车道线信息与车道1对应的第二车道线信息之间的第一相似度。同样地,假设B车处于车道3时,其车道3对应的第一车道线信息为[虚线,虚线,虚线,边缘],而且该车道3对应的第二车道线信息为[边缘,虚线,虚线,边缘]。这时候,通过计算车道3对应的第一车道线信息与车道3对应的第二车道线信息之间的第一相似度。类似地,B车处于车道2、车道4时所对应的第一相似度的计算过程,也可以参照B车处于车道1、车道3时的内容进行理解,此处不做赘述。
这样,在遍历计算出B车处于不同车道上时每个车道的第一相似度,便可以将每个车道的第一相似度确定为每个车道的概率。
需说明,上述所描述的第一相似度,其计算过程可以通过DTW算法、欧式距离算法、马氏距离算法、余弦相似度算法、互相关系数/卷积、蛋白质序列匹配算法等算法计算得到,具体采用哪种算法,本申请实施例中不做限定说明。
另外,上述仅以图3仅以车道线的虚实情况为例描述了目标车辆处于每个车道时所对应的第一车道线信息。在实际应用中,第一车道线信息还可以包括每个车道线的截距等几何参数、以及车道线的颜色等信息。因此,在获取第一车道线信息的过程中,也可以将车道线的几何参数、颜色等因素纳入考虑,与前述所描述的车道线的虚实情况进行融合处理,构建出多维向量。同样地,针对第二车道线信息也可以在车道线的虚实情况的基础上,将车道线的几何参数、颜色等因素纳入考虑。最后对这两者构建出的多维向量进行相似度计算。或者,也可以分别将第一车道线信息中的虚实情况、颜色、几何参数分别与第二车道线信息中的虚实情况、颜色、几何参数进行相似度计算,最后将每个计算得到的相似度结果进行融合,以此得到每个车道的概率。
另外,上述图3示出的道路示意图仅仅为一个示意性的描述,车道线的条数可以不限定于4条,具体可以根据实际需要确定。
(2)路面导向标志类型
示例性地,针对路面导向标志的情况,对应的视觉感知信息包括第一路面导向标志信息,道路语义信息包括第二路面导向标志信息。此时,在获取该种类型的视觉感知信息的过程中,可以由车道定位装置先获取目标车辆的车辆位置、航向信息以及路面导向标志相对于该目标车辆时的相对位置。然后,再根据车辆位置、航向信息以及相对位置确定出该路面导向标志的绝对位置,进而根据路面导向标志的绝对位置以及目标电子地图中该路面导向标志的位置信息确定第一路面导向标志信息。需说明,该第一路面导向标志信息能够用来指示目标车辆在不同车道时路面导向标志所在车道的结果。
这样,在根据每种类型的视觉感知信息以及对应类型的道路语义信息确定对应类型下的每个车道的概率,可以采用如下方式来实现,即:首先,将每条车道的第一路面导向标志信息与对应车道的第二路面导向标志信息进行匹配,以确定出每条车道的第二相似度。然后,根据每条车道的第二相似度确定出各自对应车道的概率。
该示例中,车道定位装置通过摄像头拍摄到第一图像后,可以通过预设识别模型提取得到目标车辆当前位置和航向条件下观测到的路面导向标志。然后,以目标车辆为原点,以目标车辆的前进方向为坐标轴构建坐标系,进而根据目标车辆与路面导向标志之间的距离,确定出路面导向标志相对于该目标车辆时的相对位置。并且,进一步基于相对位置、车辆位置以及航向信息确定出该路面导向标志的绝对位置,并结合目标电子地图中的位置信息确定出第一路面导向标志信息。需说明,所描述的第一路面导向标志信息可以理解成实际的路面导向标志所在的车道的结果。另外,在NDS格式的目标电子地图中,由于每个路面导向标志会通过中心点与范围进行描述,而中心点可近似表达出该该目标电子地图中的路面导向标志的位置信息。而当前位置的目标车辆处于纵向位置相同的不同车道时,目标电子地图中的各个车道上的路面导向标志基本不会改变。因此,目标车辆在车道内的纵向位置相同的情况下,目标车辆在每条车道时,所对应的第二路面导向标志信息都是相同的。需说明,所描述的第二路面导向标志信息可以理解成理论上的路面导向标志所在的车道的结果。
举例来说,图4示出了本申请实施例提供的另一种道路示意图。如图4所示,A车与B车位于道路的同一横截面上,此时提取得到的最大车道线和道路边缘条数为4。而且,在每辆车辆的最大观测距离内,每个车辆都可以观测到自车所在的车道以及相邻车道的路面导向标志。例如,A车可以观测到的路面导向标志的结果为右前方有直行箭头。B车可以观测到的路面导向标志的结果为左前方、正前方右直行箭头,右前方有右转箭头。而针对A车、B车,不论处于哪个车道,其车道对应的第二路面导向标志信息均为[无,直行,直行,右转]。
这样,以目标车辆为A车为例,假设A车处于车道1时,其观测到的路面导向标志位直行箭头,而根据该A车的车辆位置、航向信息以及与路面导向标志间的相对位置确定出该直行箭头的绝对位置后,并结合目标电子地图中的路面导向标志的位置信息,能够计算得到该直行箭头位于第2车道,即对应的第一路面导向标志信息表示为[*,直行,*,*],其中,*表示未知。而且,该车道1对应的第二路面导向标志信息为[无,直行,直行,右转]。这时候,通过计算车道1对应的第一路面导向标志信息与车道1对应的第二路面导向标志信息之间的第二相似度,即计算向量[*,直行,*,*]与向量[无,直行,直行,右转]之间的相似度,便可以确定出目标车辆位于车道1时的概率。同样地,假设A车处于车道3时,通过与车道1同样的计算方式,可以计算得到车道3对应的第一路面导向标志信息为[*,直行,直行,右转],而且该车道3对应的第二路面导向标志信息为[无,直行,直行,右转]。这时候,通过计算车道3对应的第一路面导向标志信息与车道3对应的第二路面导向标志信息之间的第二相似度。类似地,A车处于车道2、车道4时所对应的第二相似度的计算过程,也可以参照A车处于车道1、车道3时的内容进行理解,此处不做赘述。
这样,在遍历计算出A车处于不同车道上时每个车道的第二相似度,便可以将每个车道的第二相似度确定为目标车辆处于每个车道时的概率。
需说明,上述所描述的第二相似度,其计算过程可以通过DTW算法、欧式距离算法、马氏距离算法、余弦相似度算法、互相关系数/卷积、蛋白质序列匹配算法等算法计算得到,具体采用哪种算法,本申请实施例中不做限定说明。
另外,在一些示例中,由于目标车辆在不同行驶位置时,其航向信息会发生改变,航向误差会对确定出路面导向标志所处的车道产生影响。因此,在上述计算路面导向标志的绝对位置的过程中,还可以根据车辆位置、所述航向信息以及所述相对位置计算出该路面导向标志的绝对位置的置信度与方差。通过该置信度与方差描述出所计算得到的该路面导向标志的绝对位置的可信程度。这样,在计算出第一路面导向标志信息的过程中,可以将该路面导向标志的绝对位置的置信度与方差纳入考虑。需说明,航向误差越大,说明目标车辆与路面导向标志之间的相对距离越远,则该绝对位置的置信度越低,方差越大,那么在后续相似度计算过程中,对应车道的路面导向标志所起到的影响会越小;反之,航向误差越小,说明目标车辆与路面导向标志之间的相对距离越近,则该绝对位置的置信度越高,方差越小,那么在后续相似度计算过程中,对应车道的路面导向标志所起到的影响会越大。
(3)交通标识类型
示例性地,针对交通标识的情况,对应的视觉感知信息包括交通标识信息,道路语义信息包括交通标识的实际位置。此时,在获取该种类型的视觉感知信息的过程中,可以由车道定位装置先获取目标车辆的车辆位置、航向信息以及交通标识相对于该目标车辆时的相对位置。然后,再根据车辆位置、航向信息以及相对位置确定出该交通标识信息。需说明,该交通标识信息中包括该交通标识的绝对位置、以及该绝对位置的置信度与方差。需说明,通过该绝对位置的置信度与方差描述出所计算得到的该交通标识的绝对位置的可信程度。航向误差越大,说明目标车辆与交通标识之间的相对距离越远,则该绝对位置的置信度越低,方差越大,那么在后续计算每个车道的概率过程中,对应车道的交通标识所起到的影响会越小;反之,航向误差越小,说明目标车辆与交通标识之间的相对距离越近,则该绝对位置的置信度越高,方差越小,那么在后续每个车道的概率计算过程中,对应车道的交通标识所起到的影响会越大。
这样,在根据每种类型的视觉感知信息以及对应类型的道路语义信息确定对应类型下的每个车道的概率,可以采用如下方式来实现,即:根据交通标识的绝对位置、该绝对位置的置信度与方差以及道路语义信息中的交通标识的实际位置确定出每个车道的概率。示例性地,可以通过计算交通标识的绝对位置与实际位置之间的匹配程度,以此确定出每个车道的概率。
举例来说,图5示出了本申请实施例提供的另一种道路示意图。如图5所示,A车与B车位于道路的同一横截面上,此时提取得到的最大车道线和道路边缘条数为4。而且,该图5中还示出了一个交通标识M,例如路灯。在每辆车辆的最大观测距离内,每个车辆都可以观测到一定范围内的交通标识。例如,由于A车受到自车的摄像头观测角度和观测距离的限制,此时无法观测到该交通标识M。针对B车,可以观测到右前方存在该交通标识M。
这样,以目标车辆为B车为例,此时,根据该B车的车辆位置、航向信息以及与交通标识M的相对位置确定出该交通标识M的绝对位置、以及该绝对位置的置信度与方差。由于B车的航向信息、以及与交通标识M的相对位置是定值,因此B车在处于不同车道的情况下,其计算得到的该绝对位置的置信度与方差是保持不变的。因此,在B车处于不同的车道时,分别计算出该交通标识M的绝对位置后,可以结合该交通标识的实际位置,确定出每个车道的概率。需说明,所描述的交通标识的实际位置可以根据目标电子地图中该交通标识与道路的相对关系得到,例如交通标识M的实际位置位于道路内的第2车道、在道路外3m处等。
譬如,B车处于车道1时,若计算得到该交通标识M的绝对位置处于道路内的车道3,而从图5可以看出,该交通标识M的实际位置处于道路外。那么,结合该绝对位置的置信度与方差,通过计算该绝对位置与实际位置之间的相似度,以此计算得到车道1的概率,即理解成B车处于车道1时的概率。
同样地,针对B车处于车道2、车道3以及车道4时的概率,也可以参照车道1的概率的计算过程进行理解,此处不做赘述。
(4)可移动物体类型
示例性地,针对可移动物体的情况,对应的视觉感知信息包括可移动物体的信息。而且,由于可移动物体是可移动的,无法在目标电子地图中标识出来,因此需要利用可移动物体与目标车辆之间的相对位置信息来确定每个车道的概率。此时,在获取该种类型的视觉感知信息的过程中,可以由车道定位装置先获取目标车辆的车辆位置、航向信息以及可移动物体相对于该目标车辆时的相对位置。然后,再根据车辆位置、航向信息以及相对位置确定出该可移动物体的信息。需说明,该可移动物体的信息包括该可移动物体的绝对位置和位置方差。需说明,通过该绝对位置的位置方差描述出所计算得到的该可移动物体的绝对位置的可信程度。方差越大,说明目标车辆与可移动物体之间的相对距离越远,则该绝对位置的置信度越低,那么在后续计算每个车道的概率过程中,对应车道的可移动物体所起到的影响会越小。
这样,在根据每种类型的视觉感知信息以及对应类型的道路语义信息确定对应类型下的每个车道的概率,可以采用如下方式来实现,即:根据可移动物体的绝对位置、位置方差以及第一关系确定出每个车道的概率。需说明,所提及的第一关系能够指示出该可移动物体与道路语义信息中的道路之间的关系,例如,第一关系可以包括但不限于“车辆位于道路内”、“车辆位于道路外”、“车辆位于第1车道”等等,本申请实施例中不做限定说明。
举例来说,图6示出了本申请实施例提供的另一种道路示意图。如图6所示,在每辆车辆的最大观测距离内,每个车辆都可以观测到一定范围内的可移动物体。以C车为例,可以观测到左前方存在一辆车,如A车,以及右前方存在B车等。
由于车辆行驶在道路上,所观测到的可移动物体也大部分都存在于道路上,绝大多数场景下满足“车辆位于道路内”这一假设关系,因此通过预先设定该假设关系,能够快速地利用可移动物体实现车道定位。
以目标车辆为C车、可移动物体为A车为例,若当前的C车处于车道1,车道定位装置根据该C车的车辆位置、航向信息以及与A车的相对位置确定出该A车的绝对位置、以及位置方差。由于A车的航向信息并不是定值,因此通过计算第一关系,即确定出该A车与道路之间的关系,得知该A车位于道路外,即位于车道1的左侧。按照同样的方法,针对可移动物体为B车,可以确定出B车位于道路内,即位于该车道1相邻的车道2内。示例性地,第一关系的计算方式,可以通过对可移动物体进行投影,得到相应的投影点,然后基于点到直线的距离或者点在直线的哪一侧等系列方法,计算出该可移动物体(例如A车、B车)与道路之间的关系。
这样,通过第一关系与预先设定的假设关系可知,该A车的位置与假设关系中的信息矛盾,而B车的位置符合假设关系。因此,基于该B车的绝对位置、位置方差以及第一关系,能够确定出C车位于车道1的概率。
类似地,针对C车处于车道2、车道3以及车道4时的概率,也可以参照车道1的概率的计算过程进行理解,此处不做赘述。
需说明,在某些道路或高速路上,由于目标车辆的摄像头容易观测到对向车道的可移动物体,进而影响上述所提及的预先设定的假设关系的成立。因此,可以对可移动物体进行过滤,例如可以利用可移动物体的航向信息进行筛选,也可以通过对可移动物体的轨迹进行轨迹追索的方式进行过滤,此处不做限定说明。
(5)车道号类型
示例性地,针对车道号的情况,对应的视觉感知信息包括车道号信息。而且,车道号信息可以包括车道的车道号结果以及车道号的置信度。需说明,车道号结果可以理解成摄像头直接采集得到的目标车辆当前位于第几车道。车道号结果包括从左侧算起该目标车辆位于第几车道,以及从右侧算起该目标车辆位于第几车道。因此,可以从每个车道的车道号信息中确定出对应车道的车道号结果以及每个车道号的置信度,进而根据每个车道的车道号结果以及对应车道的车道号的置信度,确定出每个车道的概率。
举例来说,以前述图3示出的道路示意图为例,如图3所示,在每辆车辆的最大观测距离内,每个车辆都可以观测到一定范围内的车道号。以A车为例,可以观测到的车道号结果为左1(即从左侧起第1车道)和右3(即从右侧起第3车道),而且针对左1这一结果,其对应的置信度较高,针对右3这一结果,其对应的置信度则低一些,这主要是由于A车的观测视觉范围受限制的影响,无法观测到最右侧的位置。针对B车,可以观测到的车道号结果为左3(即从左侧起第3车道)和右2(即从右侧起第2车道),而且针对左3、右2这一结果,其对应的置信度都较高,这主要是由于B车的观测视觉范围可以较好的观测到最右侧的位置。而在目标电子地图中的道路语义信息中,针对A车的实际车道号结果应当为左1和右4,B车的实际车道号结果应当为左3和右2。很明显可知,A车观测到的车道号结果与实际车道号结果不一致,B车观测到的车道号结果与实际车道号结果一致。
这样,以目标车辆为A车为例,在A车处于车道1的时候,能够根据在该车道1处观测到的车道号结果,以及该车道1的置信度,确定出该车道1的概率。同样地,针对A车处于车道2、车道3以及车道4时的概率,也可以参照车道1的概率的计算过程进行理解,此处不做赘述。
需说明,上述(1)至(5)主要从5种类型的视觉感知信息进行说明如何确定出在各种类型的情况下,每个车道对应的概率。在实际应用中,视觉感知信息还可以包括其他类型的情况,此处不做限定说明。
203、对每种类型下的每个车道的概率中相同车道的概率进行融合处理,以得到每个车道的目标概率。
该示例中,车道定位装置在确定出不同类型下每个车道的概率后,能够将每种类型下的每个车道的概率中相同车道的概率进行融合处理,进而得到每个车道的目标概率。举例来说,针对车道线类型和车道号类型,可以将车道线类型种车道1的概率与车道号类型种车道1的概率进行融合,进而得到该车道1最终的目标概率。针对其他的车道,也可以参照此示例进行理解,此处不做赘述。
示例性地,针对不同类型的概率,可以采用不同的融合计算方式。因此,在对所述每种类型下的所述每个车道的概率中相同车道的概率进行融合处理的过程中,可以采用如下方式进行理解,即:先根据每种类型的视觉感知信息的信息类型对所述每种类型的视觉感知信息进行分类,得到第一类型信息和第二类型信息。然后,将所述第一类型信息下的所述每个车道的概率中第一车道的概率进行求和处理,得到第一概率,以及所述第二类型信息下的所述每个车道的概率中第一车道的概率进行求积处理,得到第二概率,所述第一车道为所述每个车道中的一个。最后,将所述第一概率与所述第二概率进行乘积处理,得到所述第一车道的目标概率。同样地,针对该道路中的其他车道,也可以参照该第一车道的概率融合过程进行理解,此处不做赘述。
举例来说,以前述步骤202中所描述的5种类型的视觉感知信息为例,由于车道线类型、车道号类型能够具备单独确定出目标车辆所处车道的能力,可以采用加性概率分布的方式进行加权求和处理。而对于路面导向标志类型、交通标识类型以及可移动物体类型,则无法单独地确定出目标车辆所处车道,此时需要采用乘性概率分布的方式进行乘积处理。因此,可以将车道线类型、车道号类型作为一类,即第一类型信息,以及将路面导向标志类型、交通标识类型以及可移动物体类型分成一类,即第二类型信息。
这样,在分类后,可以将所述第一类型信息下的每个车道的概率中相同车道的概率进行求和处理,得到对应车道的第一概率。例如,可以将车道线类型中车道1的概率与车道号类型种车道1的概率进行求和,以此得到该车道1的第一概率。同样地,也需要将车道线类型中车道2的概率与车道号类型种车道2的概率进行求和,以此得到该车道2的第一概率。针对车道其他车道的第一概率,也可以参照此处的车道1的第一概率、车道2的第一概率进行理解,此处不做赘述。
同样地,将第二类型信息下的所述每个车道的概率中相同车道的概率进行求积处理,得到对应车道的第二概率。举例来说,可以将路面导向标志类型中车道1的概率、交通标识类型种车道1的概率、以及可移动物体类型种车道1的概率进行乘积处理,以此得到该车道1的第二概率。同样地,也需要将路面导向标志类型中车道2的概率、交通标识类型种车道2的概率、以及可移动物体类型种车道2的概率进行乘积处理,以此得到该车道2的第二概率。针对其他车道的第二概率,也可以参照此处的车道1的第二概率、车道2的第二概率进行理解,此处不做赘述。
这样,在计算出每个车道的第一概率和第二概率后,再将所述第一概率与所述第二概率进行乘积处理,得到所述第一车道的目标概率。例如,将车道1的第一概率与车道1的第二概率进行乘积处理,进而得到该车道1的目标概率。同样地,针对其他车道的目标概率,也可以参照此处的车道1的目标概率进行理解,此处不做赘述。
需说明,上述主要从5种类型的视觉感知信息的角度描述了概率融合的过程,在实际应用中,也可以在存在至少两种类型的视觉感知信息的基础上,也能够执行如前面所描述概率融合的过程。譬如说,在观测到车道线类型、路面导向标志类型这两种类型的情况下,也可以执行同样的概率融合过程,此处不做具体限定。
204、基于每个车道的目标概率确定目标车道号,目标车道号用于指示目标车辆在目标车道号对应的车道上行驶。
该示例中,车道定位装置在确定出每个车道的目标概率后,可以从每个车道的目标概率中选取出最大的目标概率,进而将最大的目标概率所对应的车道确定为目标车道号。这样,在确定出目标车道号后,能够指示出目标车辆在该目标车道号对应的车道上行驶。
本申请实施例中,由于每种类型的视觉感知信息用于指示目标车辆在每个车道上行驶时感知到的每一类道路情况,以及道路语义信息用于指示目标电子地图上所显示的所述每一类道路情况,那么通过在获取到每种视觉感知信息以及对应种类的道路语义信息后,能够根据每种类型的视觉感知信息以及所述对应种类的道路语义信息,确定对应类型下的每个所述车道的概率,而且对应类型下的每个车道的概率用于指示在对应的每类所述道路情况下,所述目标车辆在每个所述车道上行驶时的概率。这样,进一步通过对所述每个种类下的所述每个车道的概率中相同车道的概率进行融合处理,以得到每个所述车道的目标概率,进而根据所述每个车道的目标概率确定目标车道号,所述目标车道号用于指示所述目标车辆在所述目标车道号对应的车道上行驶。通过上述方式,充分利用到各种视觉感知信息,从而在车道定位过程中考虑到多个维度的视觉感知信息与道路语义信息之间匹配的概率,进而将概率进行融合处理,以此通过所确定出的目标概率来确定出目标车道号,进而使得车道定位的准确度得以提升。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。可以理解的是为了实现上述功能,包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本申请中所公开的实施例描述的各示例的模块及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
下面对本申请实施例中的车道定位装置进行详细描述,图7为本申请实施例中提供的车道定位装置的一个实施例示意图。如图7所示,该车道定位装置可以包括获取单元701和处理单元702。
其中,获取单元701,用于获取每种类型的视觉感知信息以及对应类型的道路语义信息,所述每种类型的视觉感知信息用于指示目标车辆在每个车道上行驶时感知到的每一类道路情况,所述道路语义信息用于指示目标电子地图上所显示的所述每一类道路情况。处理单元702,用于基于每种类型的所述视觉感知信息以及所述对应类型的道路语义信息,确定对应类型下的每个所述车道的概率,所述对应类型下的每个车道的概率用于指示在对应的每类所述道路情况下,所述目标车辆在每个所述车道上行驶时的概率。所述处理单元702,用于对所述每种类型下的所述每个车道的概率中相同车道的概率进行融合处理,以得到每个所述车道的目标概率。所述处理单元702,用于基于所述每个车道的目标概率确定目标车道号,所述目标车道号用于指示所述目标车辆在所述目标车道号对应的车道上行驶。
在一些可选的实施方式中,所述视觉感知信息包括第一车道线信息,所述道路语义信息包括第二车道线信息。处理单元702用于:将每条所述车道的所述第一车道线信息与对应所述车道的所述第二车道线信息进行匹配,以确定每条所述车道的第一相似度,所述每条车道的第一相似度用于指示每条所述车道的第一车道线信息与对应所述车道的第二车道线信息之间的匹配程度;基于所述每条车道的第一相似度确定每个所述车道的概率。
在另一些可选的实施方式中,视觉感知信息包括第一路面导向标志信息;获取单元701用于获取所述目标车辆的车辆位置、航向信息,以及路面导向标志相对于所述目标车辆时的相对位置。处理单元702用于:根据所述车辆位置、所述航向信息以及所述相对位置,确定所述路面导向标志的绝对位置;基于所述路面导向标志的绝对位置以及所述目标电子地图中所述路面导向标志的位置信息确定所述第一路面导向标志信息,所述第一路面导向标志信息用于指示所述目标车辆在不同车道时所述路面导向标志所在车道的结果;将每条车道的所述第一路面导向标志信息与所述道路语义信息中的第二路面导向标志信息进行匹配,以确定每条所述车道的第二相似度;基于所述每条车道的第二相似度确定每个所述车道的概率。
在另一些可选的实施方式中,所述视觉感知信息包括交通标识信息;获取单元701用于获取所述目标车辆的车辆位置、航向信息,以及交通标识相对于所述目标车辆时的相对位置。处理单元702用于:根据所述车辆位置、所述航向信息以及所述相对位置,确定所述交通标识信息,所述交通标识信息包括所述交通标识的绝对位置、以及所述绝对位置的置信度与方差;基于所述交通标识的绝对位置、所述所述绝对位置的置信度与方差以及所述道路语义信息中的所述交通标识的实际位置,确定每个所述车道的概率。
在另一些可选的实施方式中,所述视觉感知信息包括每个所述车道上可移动物体的信息;获取单元701用于获取所述目标车辆的车辆位置、航向信息,以及所述可移动物体相对于所述目标车辆时的相对位置。处理单元702用于:根据所述车辆位置、所述航向信息以及所述相对位置,确定所述可移动物体的信息,所述可移动物体的信息包括所述可移动物体的绝对位置和位置方差;基于所述可移动物体的绝对位置、所述位置方差以及第一关系,确定每个所述车道的概率,所述第一关系用于指示所述可移动物体的绝对位置与所述道路语义信息中的道路之间的关系。
在另一些可选的实施方式中,所述视觉感知信息包括每个所述车道的车道号信息;处理单元702用于:从每个所述车道的车道号信息中确定对应车道的车道号结果以及每个车道号的置信度;根据每个所述车道的车道号结果以及对应车道的所述车道号的置信度,确定每个所述车道的概率。
在另一些可选的实施方式中,处理单元702还用于在对所述每个种类下的所述每个车道的概率中相同车道的概率进行融合处理,以得到每个所述车道的目标概率之前,基于所述每种类型的视觉感知信息的信息类型对所述每种类型的视觉感知信息进行分类,得到第一类型信息和第二类型信息。处理单元702用于:将所述第一类型信息下的所述每个车道的概率中第一车道的概率进行求和处理,得到第一概率,以及所述第二类型信息下的所述每个车道的概率中第一车道的概率进行求积处理,得到第二概率,所述第一车道为所述每个车道中的一个;将所述第一概率与所述第二概率进行乘积处理,得到所述第一车道的目标概率。
在另一些可选的实施方式中,处理单元702用于:从所述每个车道的目标概率中确定最大概率;将所述最大概率对应的车道确定为目标车道号。
在另一些可选的实施方式中,获取单元701用于:获取第一图像,所述第一图像为所述目标车辆在所述车道上行驶时的道路图像。处理单元702用于:基于预设识别模型对所述第一图像进行处理,以获取所述每种视觉感知信息。
在另一些可选的实施方式中,获取单元701用于:获取所述目标电子地图的道路数据;基于所述目标电子地图的道路数据获取道路语义信息。
上面从模块化功能实体的角度对本申请实施例中的车道定位装置进行描述,下面从硬件处理的角度对本申请实施例中的车道定位装置进行描述。图8是本申请实施例提供的车道定位装置的结构示意图。该车道定位装置可因配置或性能不同而产生比较大的差异。该车道定位装置可以至少一个处理器801,通信线路807,存储器803以及至少一个通信接口804。
处理器801可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,服务器IC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路807可包括一通路,在上述组件之间传送信息。
通信接口804,使用任何收发器一类的装置,用于与其他装置或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。
存储器803可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储装置,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储装置,存储器可以是独立存在,通过通信线路807与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器803用于存储执行本申请方案的计算机执行指令,并由处理器801来控制执行。处理器801用于执行存储器803中存储的计算机执行指令,从而实现本申请上述实施例提供的方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
在具体实现中,作为一种实施例,该车道定位装置可以包括多个处理器,例如图8中的处理器801和处理器802。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个装置、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,该车道定位装置还可以包括输出设备805和输入设备806。输出设备805和处理器801通信,可以以多种方式来显示信息。输入设备806和处理器801通信,可以以多种方式接收目标对象的输入。例如,输入设备806可以是鼠标、触摸屏装置或传感装置等。
上述的车道定位装置可以是一个通用装置或者是一个专用装置。在具体实现中,该车道定位装置可以是服务器、终端设备等或有图8中类似结构的装置。本申请实施例不限定该车道定位装置的类型。
需说明,图8中的处理器801可以通过调用存储器803中存储的计算机执行指令,使得车道定位装置执行如图2对应的方法实施例中的方法。
具体的,图7中的处理单元702的功能/实现过程可以通过图8中的处理器801调用存储器803中存储的计算机执行指令来实现。图7中的获取单元701的功能/实现过程可以通过图8中的通信接口804来实现。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种识车道定位的方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种车道定位的方法的部分或全部步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上述实施例,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现,当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如SSD))等。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种车道定位方法,其特征在于,包括:
获取每种类型的视觉感知信息以及对应类型的道路语义信息,所述每种类型的视觉感知信息用于指示目标车辆在每个车道上行驶时感知到的每一类道路情况,所述道路语义信息用于指示目标电子地图上所显示的所述每一类道路情况;
基于每种类型的所述视觉感知信息以及所述对应类型的道路语义信息,确定对应类型下的每个所述车道的概率,所述对应类型下的每个车道的概率用于指示在对应的每类所述道路情况下,所述目标车辆在每个所述车道上行驶时的概率;
对所述每种类型下的所述每个车道的概率中相同车道的概率进行融合处理,以得到每个所述车道的目标概率;
基于所述每个车道的目标概率确定目标车道号,所述目标车道号用于指示所述目标车辆在所述目标车道号对应的车道上行驶。
2.根据权利要求1所述的方法,其特征在于,所述视觉感知信息包括第一车道线信息,所述道路语义信息包括第二车道线信息;所述基于每种类型的视觉感知信息以及所述对应类型的道路语义信息,确定对应类型下的每个所述车道的概率,包括:
将每条所述车道的所述第一车道线信息与对应所述车道的所述第二车道线信息进行匹配,以确定每条所述车道的第一相似度,所述每条车道的第一相似度用于指示每条所述车道的第一车道线信息与对应所述车道的第二车道线信息之间的匹配程度;
基于所述每条车道的第一相似度确定每个所述车道的概率。
3.根据权利要求1所述的方法,其特征在于,所述视觉感知信息包括第一路面导向标志信息,所述获取每种类型的视觉感知信息,包括:
获取所述目标车辆的车辆位置、航向信息,以及路面导向标志相对于所述目标车辆时的相对位置;
根据所述车辆位置、所述航向信息以及所述相对位置,确定所述路面导向标志的绝对位置;
基于所述路面导向标志的绝对位置以及所述目标电子地图中所述路面导向标志的位置信息确定所述第一路面导向标志信息,所述第一路面导向标志信息用于指示所述目标车辆在不同车道时所述路面导向标志所在车道的结果;
所述基于每种类型的视觉感知信息以及所述对应类型的道路语义信息,确定对应类型下的每个所述车道的概率,包括:
将每条车道的所述第一路面导向标志信息与所述道路语义信息中的第二路面导向标志信息进行匹配,以确定每条所述车道的第二相似度;
基于所述每条车道的第二相似度确定每个所述车道的概率。
4.根据权利要求1所述的方法,其特征在于,所述视觉感知信息包括交通标识信息,所述获取每种类型的视觉感知信息,包括:
获取所述目标车辆的车辆位置、航向信息,以及交通标识相对于所述目标车辆时的相对位置;
根据所述车辆位置、所述航向信息以及所述相对位置,确定所述交通标识信息,所述交通标识信息包括所述交通标识的绝对位置、以及所述绝对位置的置信度与方差;
所述基于每种类型的视觉感知信息以及所述对应类型的道路语义信息,确定对应类型下的每个所述车道的概率,包括:
基于所述交通标识的绝对位置、所述所述绝对位置的置信度与方差以及所述道路语义信息中的所述交通标识的实际位置,确定每个所述车道的概率。
5.根据权利要求1所述的方法,其特征在于,所述视觉感知信息包括每个所述车道上可移动物体的信息,所述获取每种类型的视觉感知信息,包括:
获取所述目标车辆的车辆位置、航向信息,以及所述可移动物体相对于所述目标车辆时的相对位置;
根据所述车辆位置、所述航向信息以及所述相对位置,确定所述可移动物体的信息,所述可移动物体的信息包括所述可移动物体的绝对位置和位置方差;
所述基于每种类型的视觉感知信息以及所述对应类型的道路语义信息,确定对应类型下的每个所述车道的概率,包括:
基于所述可移动物体的绝对位置、所述位置方差以及第一关系,确定每个所述车道的概率,所述第一关系用于指示所述可移动物体的绝对位置与所述道路语义信息中的道路之间的关系。
6.根据权利要求1所述的方法,其特征在于,所述视觉感知信息包括每个所述车道的车道号信息,所述基于每种类型的视觉感知信息以及所述对应类型的道路语义信息,确定对应类型下的每个所述车道的概率,包括:
从每个所述车道的车道号信息中确定对应车道的车道号结果以及每个车道号的置信度;
根据每个所述车道的车道号结果以及对应车道的所述车道号的置信度,确定每个所述车道的概率。
7.根据权利要求1至6中任一项所述的方法,其特征在于,在对所述每个种类下的所述每个车道的概率中相同车道的概率进行融合处理,以得到每个所述车道的目标概率之前,所述方法还包括:
基于所述每种类型的视觉感知信息的信息类型对所述每种类型的视觉感知信息进行分类,得到第一类型信息和第二类型信息;
对所述每个种类下的所述每个车道的概率中相同车道的概率进行融合处理,以得到每个所述车道的目标概率,包括:
将所述第一类型信息下的所述每个车道的概率中第一车道的概率进行求和处理,得到第一概率,以及所述第二类型信息下的所述每个车道的概率中第一车道的概率进行求积处理,得到第二概率,所述第一车道为所述每个车道中的一个;
将所述第一概率与所述第二概率进行乘积处理,得到所述第一车道的目标概率。
8.根据权利要求1至6中任一项所述的方法,其特征在于,所述基于所述每个车道的目标概率确定目标车道号,包括:
从所述每个车道的目标概率中确定最大概率;
将所述最大概率对应的车道确定为目标车道号。
9.根据权利要求1至6中任一项所述的方法,其特征在于,所述获取每种视觉感知信息,包括:
获取第一图像,所述第一图像为所述目标车辆在所述车道上行驶时的道路图像;
基于预设识别模型对所述第一图像进行处理,以获取所述每种视觉感知信息。
10.根据权利要求1至6中任一项所述的方法,其特征在于,所述获取道路语义信息,包括:
获取所述目标电子地图的道路数据;
基于所述目标电子地图的道路数据获取道路语义信息。
11.一种车道定位装置,其特征在于,包括:
获取单元,用于获取每种类型的视觉感知信息以及对应类型的道路语义信息,所述每种类型的视觉感知信息用于指示目标车辆在每个车道上行驶时感知到的每一类道路情况,所述道路语义信息用于指示目标电子地图上所显示的所述每一类道路情况;
处理单元,用于基于每种类型的所述视觉感知信息以及所述对应类型的道路语义信息,确定对应类型下的每个所述车道的概率,所述对应类型下的每个车道的概率用于指示在对应的每类所述道路情况下,所述目标车辆在每个所述车道上行驶时的概率;
所述处理单元,用于对所述每种类型下的所述每个车道的概率中相同车道的概率进行融合处理,以得到每个所述车道的目标概率;
所述处理单元,用于基于所述每个车道的目标概率确定目标车道号,所述目标车道号用于指示所述目标车辆在所述目标车道号对应的车道上行驶。
12.一种车道定位装置,其特征在于,所述车道定位装置包括:输入/输出(I/O)接口、处理器和存储器,所述存储器中存储有程序指令;
所述处理器用于执行存储器中存储的程序指令,执行如权利要求1至10中任一所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括指令,当所述指令在计算机设备上运行时,使得所述计算机设备执行如权利要求1至10中任一项所述的方法。
14.一种计算机程序产品,其特征在于,所述计算机程序成品包括指令,当所述指令在计算机设备或者处理器上运行时,使得所述计算机设备或者所述处理器执行如权利要求1至10中任一项所述的方法。
CN202211398316.1A 2022-11-09 2022-11-09 一种车道定位的方法以及相关装置 Pending CN117011824A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211398316.1A CN117011824A (zh) 2022-11-09 2022-11-09 一种车道定位的方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211398316.1A CN117011824A (zh) 2022-11-09 2022-11-09 一种车道定位的方法以及相关装置

Publications (1)

Publication Number Publication Date
CN117011824A true CN117011824A (zh) 2023-11-07

Family

ID=88566149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211398316.1A Pending CN117011824A (zh) 2022-11-09 2022-11-09 一种车道定位的方法以及相关装置

Country Status (1)

Country Link
CN (1) CN117011824A (zh)

Similar Documents

Publication Publication Date Title
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
US10776951B2 (en) Method, apparatus, and system for an asymmetric evaluation of polygon similarity
CN114299464A (zh) 车道定位方法、装置及设备
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN117011413B (zh) 道路图像重建方法、装置、计算机设备和存储介质
CN110765224A (zh) 电子地图的处理方法、车辆视觉重定位的方法和车载设备
CN112732860B (zh) 道路提取方法、装置、可读存储介质及设备
CN116721229B (zh) 地图中道路隔离带的生成方法、装置、设备及存储介质
US20230159052A1 (en) Method for processing behavior data, method for controlling autonomous vehicle, and autonomous vehicle
CN115203352B (zh) 车道级定位方法、装置、计算机设备和存储介质
CN116737857A (zh) 道路数据处理方法、相关装置和介质
Bruno et al. A comparison of traffic signs detection methods in 2d and 3d images for the benefit of the navigation of autonomous vehicles
CN114067120B (zh) 基于增强现实的导航铺路方法、装置、计算机可读介质
CN117011824A (zh) 一种车道定位的方法以及相关装置
CN112529116B (zh) 场景元素融合处理方法、装置和设备及计算机存储介质
CN113762030A (zh) 数据处理方法、装置、计算机设备及存储介质
CN117115772B (zh) 一种图像处理的方法、装置、设备、存储介质及程序产品
CN116664873B (zh) 图像信息处理方法、装置及存储介质
CN116665157B (zh) 道路图像处理方法、装置、计算机设备和存储介质
CN117011692A (zh) 一种道路识别的方法以及相关装置
CN115661444A (zh) 图像处理方法、装置、设备、存储介质及产品
CN117011825A (zh) 交通信号灯的检测方法、装置、电子设备及存储介质
CN116958856A (zh) 路段图像的提供方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication