CN111160132A - 障碍物所在车道的确定方法、装置、电子设备和存储介质 - Google Patents

障碍物所在车道的确定方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111160132A
CN111160132A CN201911272583.2A CN201911272583A CN111160132A CN 111160132 A CN111160132 A CN 111160132A CN 201911272583 A CN201911272583 A CN 201911272583A CN 111160132 A CN111160132 A CN 111160132A
Authority
CN
China
Prior art keywords
image data
lane
determining
obstacle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911272583.2A
Other languages
English (en)
Other versions
CN111160132B (zh
Inventor
郑京森
崔迪潇
戚晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhijia Technology Co Ltd
Original Assignee
Suzhou Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhijia Technology Co Ltd filed Critical Suzhou Zhijia Technology Co Ltd
Priority to CN201911272583.2A priority Critical patent/CN111160132B/zh
Publication of CN111160132A publication Critical patent/CN111160132A/zh
Application granted granted Critical
Publication of CN111160132B publication Critical patent/CN111160132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种障碍物所在车道的确定方法、装置、电子设备和存储介质，其中，该方法包括：获取待测的范围区域的图像数据，和地图数据；在确定图像数据中存在障碍物的情况下，分别确定出图像数据中的车道线，和地图数据中的车道线；再根据图像数据中的车道线，和地图数据中的车道线，确定并利用投射转换参数将地图数据投射到图像数据中，得到投射处理后的图像数据；进而可以在图像域中，根据投射处理后的图像数据，确定出障碍物所在的车道，从而提高了确定障碍物所在车道的准确度，能够实现在较远的距离精准地确定出障碍物所在的车道。解决了现有方法中存在准确度差、误差大的技术问题。

Description

障碍物所在车道的确定方法、装置、电子设备和存储介质
技术领域
本申请涉及自动驾驶技术领域，特别涉及一种障碍物所在车道的确定方法、装置、电子设备和存储介质。
背景技术
车辆以自动驾驶模式在高速公路等环境中行驶时，通常会对行驶方向区域实时进行障碍物的检测识别，确定出障碍物所在车道，进而控制车辆绕开障碍物行驶。
但是，基于现有方法在确定障碍物所在车道时往往会存在所确定的障碍物所在车道的准确度差、误差大的技术问题。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种障碍物所在车道的确定方法、装置、电子设备和存储介质，以解决现有方法中存在的所确定的障碍物所在车道准确度差、误差大的技术问题，达到提高确定障碍物所在车道的准确度，能够实现在较远的距离精准地识别并确定出障碍物所在的车道的技术效果。
本申请实施例提供了一种障碍物所在车道的确定方法，包括：
获取待测的范围区域的图像数据，和地图数据；
对所述图像数据进行障碍物检测，并在确定所述图像数据中存在障碍物的情况下，分别确定出图像数据中的车道线，和地图数据中的车道线；
根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数；
根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据；
根据所述投射处理后的图像数据，确定出障碍物所在的车道。
在一个实施例中，对所述图像数据进行障碍物检测，包括：
通过预设的障碍物检测模型对所述图像数据进行障碍物检测，以确定出所述图像数据中是否存在障碍物。
在一个实施例中，确定出图像数据中的车道线，包括：
通过车道检测模型对所述图像数据进行处理，得到图像数据中表征车道线的多个像素单元；
对所述多个像素单元进行聚类处理，得到多个连通域，其中，所述多个连通域中的各个连通域中分别包含有一个或多个像素单元；
根据所述多个连通域，通过聚类处理，确定出对应的车道线实例，并将所述车道线实例确定为所述图像数据中的车道线。
在一个实施例中，根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数，包括：
从所述图像数据中的车道线，和所述地图数据中的车道线中，确定出相互对应的车道线，建立车道线组；
确定出车道线组中的车道线的图像坐标数据，和地图坐标数据；
根据所述车道线组中的车道线的图像坐标数据，和地图坐标数据，通过对车道线组中的车道线进行关联对齐处理，确定出地图数据对应到图像数据的投射转换参数。
在一个实施例中，根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据，包括：
根据以下公式，将所述地图数据投射到所述图像数据中：
Figure BDA0002314603190000021
其中，p表示为从地图数据中投射到图像数据中对应点的图像坐标数据，PW表示为地图数据中任意一点的地图坐标数据，
Figure BDA0002314603190000022
表示为投射转换参数，z表示为相机坐标系下的深度值，K表示为相机内参，
Figure BDA0002314603190000023
表示为世界坐标系到IMU坐标系的坐标转换参数，
Figure BDA0002314603190000024
表示为IMU坐标系到相机坐标系的坐标转换参数。
在一个实施例中，根据所述投射处理后的图像数据，确定出障碍物所在的车道，包括：
在所述投射处理后的图像数据中，确定出车道线，以及障碍物的包围框；
根据所述投射处理后的图像数据，确定出车道线的图像坐标数据，以及障碍物的包围框的底部中点的图像坐标数据；
根据所述车道线的图像坐标数据，以及障碍物的包围框的底部中点的图像坐标数据，确定出与所述障碍物的包围框的底部中点的距离最小的两条车道线分别作为左边界车道线和右边界车道线；
将所述左边界车道线和所述右边界车道线之间的区域，确定为障碍物所在的车道。
在一个实施例中，在根据所述投射处理后的图像数据，确定出障碍物所在的车道后，所述方法还包括：
根据所述投射处理后的图像数据，确定出障碍物的宽度；
根据所述障碍物的包围框的底部中点的图像坐标数据、所述障碍物的宽度，以及所述左边界车道线和所述右边界车道线，利用地图数据确定出障碍物与左边界车道线之间的左空隙间距，以及障碍物与右边界车道线之间的右空隙间距。
本申请实施例还提供了一种障碍物所在车道的确定装置，包括：
获取模块，用于获取待测的范围区域的图像数据，和地图数据；
第一确定模块，用于对所述图像数据进行障碍物检测，并在确定所述图像数据中存在障碍物的情况下，分别确定出图像数据中的车道线，和地图数据中的车道线；
第二确定模块，用于根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数；
投射模块，用于根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据；
第三确定模块，用于根据所述投射处理后的图像数据，确定出障碍物所在的车道。
本申请实施例还提供了一种电子设备，所述电子设备包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现获取待测的范围区域的图像数据，和地图数据；对所述图像数据进行障碍物检测，并在确定所述图像数据中存在障碍物的情况下，分别确定出图像数据中的车道线，和地图数据中的车道线；根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数；根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据；根据所述投射处理后的图像数据，确定出障碍物所在的车道。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现获取待测的范围区域的图像数据，和地图数据；对所述图像数据进行障碍物检测，并在确定所述图像数据中存在障碍物的情况下，分别确定出图像数据中的车道线，和地图数据中的车道线；根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数；根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据；根据所述投射处理后的图像数据，确定出障碍物所在的车道。
在本申请实施例中，通过针对待测的范围区域，同时获取环境信息丰富的图像数据，以及位置信息精准的地图数据；在通过检测确定图像数据中存在障碍物的情况下，分别确定并利用图像数据中的车道线，和地图数据中的车道线通过关联对齐，确定出地图数据对应于图像数据的投射转换参数；再利用该投射转换参数将三维的地图数据投射到二维的图像数据中，避免了将二维的图像数据投射到三维的地图数据中产生的误差，得到信息丰富、准确度高的投射处理后的图像数据；进而可以利用上述投射处理后的图像数据，在图像域中确定出障碍物所在的具体车道，从而能提高确定障碍物所在车道的准确度，实现了能在较远的距离精准地识别并确定出障碍物所在的车道，解决了现有方法中存在的所确定的障碍物所在车道准确度差、误差大的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的障碍物所在车道的确定方法的处理流程图；
图2是在一个场景示例中应用本申请实施例提供的障碍物所在车道的确定方法的一个实施例示意图；
图3是在一个场景示例中应用本申请实施例提供的障碍物所在车道的确定方法的一个实施例示意图；
图4是在一个场景示例中应用本申请实施例提供的障碍物所在车道的确定方法的一个实施例示意图；
图5是根据本申请实施例提供的障碍物所在车道的确定装置的组成结构图；
图6是基于本申请实施例提供的障碍物所在车道的确定方法的电子设备组成结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
考虑到在基于现有方法确定障碍物所在车道时，往往直接通过雷达获取的相关点云数据来确定障碍物所在的车道，没有考虑利用到其他不同类型数据的优势特点，导致在确定障碍物所在车道时存在准确度差、误差大的技术问题，无法精准地确定出障碍物所在的车道，尤其在远距离对障碍物所在车道进行确定时，上述问题更为严重。
针对现有方法存在的上述问题，本申请先仔细地研究分析了不同类型的数据在确定障碍物所在车道时的具体特点(包括使用时的优势和劣势)。首先分析了图像数据(例如，通过车辆的相机所拍摄的照片图像)的特点，发现了图像数据往往包含有较为丰富的环境信息，例如，行车道路上的标志线、前方的障碍物等信息。此外，图像数据本身获取成本相对较低，对于图像数据的处理检测方式相对较成熟，可以根据具体情况选择使用满足要求的多种方式高效实现。然而，另一方面，图像数据本身又是一种基于2D感知的二维数据，只能提供二维信息，缺少深度信息。导致图像数据中距离较近的位置处的数据信息通常较为准确、精度较高，而对于图像数据中距离较远的位置处的数据信息通常精度较低、不够准确。并且，基于上述原因，如果通过算法将图像数据从二维恢复到三维，或者将图像数据投射到三维的其他数据中，容易出现误差，或者将图像数据的误差引入到其他数据中，影响数据的整体精度。因此，如果基于现有方法在应用图像数据来对较远距离的障碍物所在车道进行确定时，误差会比较大，导致无法在远距离精准地对障碍物所在的车道进行确定的。
进一步，又分析了地图数据(例如，通过GPS天线获取的卫星定位地图)的特点。发现地图数据所包含的位置信息(或者称定位信息)相对较丰富、精确。同时，地图数据是一种三维数据，基于地图数据可以获取得到较远距离的精度较高的数据信息。但是，地图数据本身不能反映出车辆所在的真实环境中一些实时变化的信息数据。
综合上述两种不同类型的数据的具体特点，通过思考研究后，本申请实施例提出可以综合地利用上述两种不同类型数据各自的优势特点，通过针对行车环境中的待测的范围区域，同时获取环境信息丰富的图像数据，以及位置信息精准的地图数据；在通过检测确定图像数据中存在障碍物的情况下，分别确定并利用图像数据中的车道线，和地图数据中的车道线通过关联对齐，确定出地图数据对应于图像数据的投射转换参数；再利用该投射转换参数将三维的地图数据投射到二维的图像数据中，而不是将二维的图像数据投射到三维数据中，避免了将二维的图像数据投射到三维的地图数据中代入的误差，从而可以得到数据信息丰富、准确度高的投射处理后的图像数据。进而可以利用上述投射处理后的图像数据，在图像域中进行具体的处理，来最终确定出障碍物所在的具体车道。从而能综合利用两种不同类型数据的优势，有效提高确定障碍物所在车道的准确度，实现在较远的距离精准地识别并确定出障碍物所在的车道，解决了现有方法中存在的所确定的障碍物所在车道准确度差、误差大的技术问题。
基于上述思考思路，本申请实施例提供了一种障碍物所在车道的确定方法。具体请参阅图1所示的根据本申请实施例提供的障碍物所在车道的确定方法的处理流程图。本申请实施例提供的障碍物所在车道的确定方法，具体实施时，可以包括以下步骤。
S101：获取待测的范围区域的图像数据，和地图数据。
在本实施例中，上述方法具体可以应用于支持自动驾驶或辅助驾驶等智能驾驶模式的目标车辆中。具体的，当目标车辆按照预设的行车路线在道路上行驶时，可以通过该方法自动地检测并确定预设的行车路线前方是否存在障碍物，以及如果有障碍物，障碍物所在的具体车道等信息，以便可以根据上述信息，及时地调整预设的行车路线，绕开障碍物，安全行驶。
其中，上述障碍物具体可以其他车辆，也可以是道路上的石块、建筑等需要绕开的物体对象。当然，上述所列举的障碍物只是一种示意性说明。具体实施时，根据具体情况，还可以包含其他类型的障碍物。对此，本申请不作限定。
在一个实施例中，上述待测的范围区域具体可以包括沿预设的行车路线，位于目标车辆前方一定距离的范围区域。具体的，上述待测的范围区域可以是距离目标车辆较近的范围区域，也可以是距离目标车辆较远的范围区域。例如，目标车辆当前正根据预设的行车路线在A道路上朝东直线行驶，上述待测的范围区域可以是沿A道路朝东，距离目标车辆100米的范围区域。当然，上述所列举的待测的范围区域只是一种示意性说明。具体实施时，根据具体的应用场景，上述待测的范围区域还可以包括其他情况的范围区域。
在一个实施例中，上述待测的范围区域的图像数据，具体可以包括通过当前目标车辆上的相机拍摄的包含有待测的范围区域的照片，也可以包括从当前目标车辆上的相机所拍摄的视频中截取的包含有待测的范围区域的截图等等。具体的，上述图像数据中可以包含有待测的范围区域内的道路路面上的标识信息，例如，绘制在高速公路或者国道等道路上的标识线等，也可以包含有待测的范围区域内的道路路旁的标志牌的信息，例如，设置在道路两旁的限速标志牌等，还可以包含有待测的范围区域内的物体对象的信息，例如，位于道路上的其他车辆，或者位于道路两旁的建筑物等等。
在一个实施例中，上述待测的范围区域的地图数据，具体可以包括通过当前目标车辆上的GPS天线获取的目标车辆当前位置的卫星定位地图中所包含的关于待测的范围区域局部地图数据等。具体的，上述地图数据中可以包含有待测的范围区域内道路路面上车道线、路旁的标志牌等固定物的标识信息，也包含有待测的范围区域内各个位置点的精准的位置坐标(例如，基于世界坐标系的地图坐标)等。具体的，例如，上述地图数据中可以包含有待测的范围区域中车道线上点的位置坐标。
在一个实施例中，目标车辆在行驶的过程中，可以实时同时通过相机和GPS天线等设备获取上述待测的范围区域的图像数据，和地图数据。也可以每间隔预设时长(例如，每间隔30秒等)同时通过相机和GPS天线等设备获取上述待测的范围区域的图像数据，和地图数据。
S102：对所述图像数据进行障碍物检测，并在确定所述图像数据中存在障碍物的情况下，分别确定出图像数据中的车道线，和地图数据中的车道线。
在一个实施例中，上述对图像数据进行障碍物检测，具体实施时，可以包括以下内容：通过预设的障碍物检测模型对所述图像数据进行障碍物检测，以确定出所述图像数据中是否存在障碍物。
其中，上述预设的障碍物检测模型具体包括一种预先通过深度学习所建立的能够识别图像数据中的障碍物的模型。
具体实施时，可以将上述图像数据作为一种模型输入，输入至上述预设的障碍物检测模型中。运行上述预设的障碍物检测模型，得到对应的模型输出。根据上述模型输出可以确定该图像数据中是否存在障碍物。
在一个实施例中，上述预设的障碍物检测模型可以按照以下方式建立：获取多个与道路环境相关的照片作为样本图像；根据样本图像中是否存在障碍物对上述样本图像进行标注，得到标注后的样本图像；建立基于神经网络的模型作为初始模型，利用上述标注后的样本图像对初始模型进行学习训练，得到上述预设的障碍物检测模型。
在一个实施例中，具体实施时，可以参阅图2所示。在根据图像数据确定存在障碍物的情况下，会触发目标车辆分别对图像数据中待测的范围区域内的车道线，以及地图数据中待测的范围区域内的车道线进行检测和确定。
在一个实施例中，由于地图数据中本身就包含有待测的区域范围内关于车道线的标识信息，因此，可以通过对地图数据的读取解析，确定出地图数据中待测的区域范围内的车道线。进而还可以确定出，在地图数据中车道线上点的位置坐标(记为地图坐标)。
在一个实施例中，对于图像数据中的车道线，可以通过预先基于深度学习得到的车道检测模型来检测并确定出图像数据中的车道线。
在一个实施例中，具体实施时，目标车辆可以先通过车道检测模型对所述图像数据进行处理，得到图像数据中表征车道线的多个像素单元；对所述多个像素单元进行聚类处理，得到多个连通域，其中，所述多个连通域中的各个连通域中分别包含有一个或多个像素单元；根据所述多个连通域，通过聚类处理，确定出对应的车道线实例，并将所述车道线实例确定为所述图像数据中的车道线。
在一个实施例中，上述车道检测模型具体可以按照以下方式得到：获取多个针对道路路面的照片作为样本图像；对样本图像中的车道线进行标注，得到标注后的样本图像；建立基于神经网络的模型作为初始模型，利用上述标注后的样本图像对初始模型进行学习训练，得到上述车道检测模型。
在本实施例中，具体实施时，可以将图像数据作为模型输入，输入至上述预先训练好的车道检测模型中，并运行该车道检测模型，得到对应的模型输出。其中，上述模型输出包括一种针对所确定出的车道线像素分割后得到的二值化结果。具体的，上述模型输出包括通过车道检测模型识别确定出的为车道线的像素单元，例如，属于车道线的像素点，而不是完整的车道线。因此，进一步可以通过对模型输出所确定出属于车道线的多个像素单元进行聚类处理，来最终确定出图像数据中的车道线。
在一个实施例中，具体实施时，可以通过区域生成算法，对上述多个像素单元进行聚类处理，得到多个连通域。其中，上述多个连通域中的各个连通域分别包含有一个或多个被聚为一类的像素单元。再对上述多个连通区域分别进行曲线拟合，得到各个连通域所各自对应的曲线，即对应的车道线实例(可以记为instance)。进而可以将上述车道线实例作为图像数据中的车道线。
在一个实施例中，为了提高在图像数据中确定车道线的准确度，在得到多个连通域之后，可以先对多个连通域进行归并。具体的，可以按照各个连通域所包含的像素单元的数量，将多个连通域按照所包含的像素单元数量由大到小的顺序进行排序。从排序最高的连通域开始，对该连通域先进行曲线拟合，得到对应的曲线。再依次检测排序在该连通域后面的其他连通域是否也位于该曲线上。如果是，则将位于该曲线上排序较后的连通域归并到排序较高的连通域中。按照上述方式，可以先对多个连通域中对应同一条车道线的不同连通域进行归并。再根据归并后的连通域来确定图像数据中在待测的范围区域内的车道线。
在按照上述方式检测确定出在图像数据中的车道线后，进一步可以确定出在图像数据中车道线的位置坐标(记为图像坐标)。
S103：根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数。
在本实施例中，上述投射转换参数具体可以理解为一种将三维地图数据中的数据信息(包括位置信息等)对应投射到二维图像数据中的一种变换参数。
在一个实施例中，可以根据同一条车道线在图像数据中的图像坐标，和在地图数据中的地图坐标，来确定出上述投射变换参数。
在一个实施例中，上述根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数，具体实施时，可以包括以下内容：
S1：从所述图像数据中的车道线，和所述地图数据中的车道线中，确定出相互对应的车道线，建立车道线组。
在本实施例中，上述相互对应的车道线具体可以理解分别在地图数据中确定出的，与在图像数据中确定出指示同一条实际的车道线的车道线。例如，可以将地图数据中左边第一条车道线和图像数据中左边第一条车道线确定出相互对应的车道线，并将上述两条对应同一实际的车道线但由不同类型数据确定出的车道线作为一个车道线组。
S2：确定出车道线组中的车道线的图像坐标数据，和地图坐标数据。
在本实施例中，可以根据图像数据，确定出位于同一个车道线组中由图像数据所确定的车道线在图像中的图像坐标。同时，可以根据地图数据，确定出位于同一个车道线组中由地图数据所确定的车道线在地图中的地图坐标。
S3：根据所述车道线组中的车道线的图像坐标数据，和地图坐标数据，通过对车道线组中的车道线进行关联对齐处理，确定出地图数据对应到图像数据的投射转换参数。
在本实施例中，具体实施时，可以根据同一车道线组中对应同一条实际的车道线的图像坐标数据和地图坐标数据，将同一车道线组中由图像数据所确定出的车道线，与由地图数据所确定出的车道线进行关联对齐。再根据关联对齐的两条车道线来确定出对应的投射转换参数。可以参阅图3所示，图中同一位置处有两条车道线，一条是基于图像数据确定的(例如图中白色较粗的线)，一条是基于地图数据确定的(例如图中黑色较细的线)，但两条车道线指示的是同一条实际的车道线。
在一个实施例中，具体实施时，可以利用车道线组中的车道线的图像坐标数据，和地图坐标数据，对对应同一条实际车道线上同一个位置点的坐标进行关联对齐，得到初始的投射变换参数；再通过迭代优化算法对上述初始的投射变换参数进行多次的优化迭代，得到精度较高、效果较好的投射变换参数。
在本实施例中，需要说明的是，地图数据中的位置信息往往通过基于世界坐标系所确定的地图坐标来表征。图像数据中的位置信息往往通过基于IMU坐标系，以及获取图像数据的相机与IMU坐标系的位姿关系所共同确定的图像坐标来表征。
其中，上述IMU(Inertial measurement unit，检测加速度与旋转运动的高频传感器)坐标系和世界坐标系之间的坐标转换参数是已知的。而表征相机与IMU坐标系的位姿关系的IMU坐标系到相机坐标系的坐标转换参数是未知的。需要通过按照上述公式代入对应同一条实际的车道线的图像坐标和地图坐标，进行求解才能确定出IMU坐标系到相机坐标系的坐标转换参数，进而才能够最终得到上述地图数据对应到图像数据的投射转换参数。
S104：根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据。
在一个实施例中，可以根据地图数据中各个位置点的地图坐标，和投射转换参数，计算出地图数据中各个位置点投射到图像数据后所对应的投射点的图像坐标，从而可以将地图数据投射到图像数据中，得到投射处理后的图像数据。
在一个实施例中，可以按照以下公式，将地图数据投射到图像数据中，得到投射处理后的图像数据：
Figure BDA0002314603190000111
其中，p具体可以表示为从地图数据中投射到图像数据中对应点的图像坐标数据，PW具体可以表示为地图数据中任意一点的地图坐标数据，
Figure BDA0002314603190000112
具体可以表示为投射转换参数，z具体可以表示为相机坐标系下的深度值，K具体可以表示为相机内参，
Figure BDA0002314603190000113
具体可以表示为世界坐标系到IMU坐标系的坐标转换参数，
Figure BDA0002314603190000114
具体可以表示为IMU坐标系到相机坐标系的坐标转换参数。
由于投射处理后的图像数据，包含了地图数据中所包含的精度更高、距离更远的位置点的位置信息。因此，上述投射处理后的图像数据相对图像数据，能够较为精准地反映出较远距离的位置信息，相当于对原有的图像数据在距离上做了延拓。例如，基于原本的图像数据，可能只能确定出距离目标车辆50米内的车道线，而基于上述投射处理后的图像数据，则可以较为精准地确定出距离目标车辆200米的车道线。同时，又由于投射处理后的图像数据本身还是一种二维图像数据，对原本的二维图像数据中所包含的环境信息没有遗漏，并且也没有因为将二维的图像数据转换成三维数据引入误差，因此投射处理后的图像数据可以较为准确地反映出待测的范围区域内丰富、精细的环境信息。例如，障碍物的具体尺寸、形状，车道线的具体尺寸、形状等等。因此，上述投射处理后的图像数据综合了地图数据和图像数据两种不同类型数据的优势特点，同时由于投射过程中是将三维数据投射到二维数据，没有引入投射误差，因此具有较高的准确度。
S105：根据所述投射处理后的图像数据，确定出障碍物所在的车道。
在一个实施例中，具体实施时，可以根据上述投射处理后的图像数据，在图像域中进行相应的数据处理，以在图像域中确定出障碍物所在的具体车道。
在一个实施例中，上述根据所述投射处理后的图像数据，确定出障碍物所在的车道，具体实施时，可以包括以下内容。
首先，在所述投射处理后的图像数据中，分别确定出车道线，以及障碍物的包围框。可以参阅图4所示。其中，可以根据之前在图像数据中识别出的车道线找到投射处理后的图像数据中的车道线。根据之前在图像数据中确定的障碍物找到投射处理后的图像数据中的障碍物。进一步，可以在投射处理后的图像数据中，通过图像识别，确定出障碍物的具体形状，再根据障碍物的具体形状生成能够外接矩形作为上述障碍物的包围框。例如，可以参阅图4所示，按照上述方式，可以先确定出的三个障碍物所分别对应三个包围框，分别记为：Ob0、Ob1和Ob2。
接着，可以根据所述投射处理后的图像数据，在图像域中确定出车道线的图像坐标数据，以及障碍物的包围框的底部中点的图像坐标数据，例如，对于包围框Ob1的底部中点，可以记为p1(u1,v1)。进一步，可以根据坐标数据，计算该包围框的底部中点p1到各个车道线的距离，找到距离最短的两条车道线作为左边界车道线和右边界车道线。例如，按照上述方式可以在投射处理后的图像数据中从多条车道线中找到编号为2的车道线作为左边界车道线，编号为3的车道线作为右边界车道线。
最后，可以将所述左边界车道线和所述右边界车道线之间的区域，确定为障碍物所在的车道。例如，以图4中的包围框Ob1所以对应的障碍物为例，可以将编号为2的车道线和编号为3的车道线之间的区域确定为该障碍物所在的车道，记为：L1。进而可以提示目标车辆在编号为2的车道线和编号为3的车道之间的车道区域中存在障碍物。按照上述方式，还可以确定出包围框Ob0所对应的障碍物所在的车道为L2，包围框Ob2所对应的障碍物所在车道为L1。其中，包围框Ob1所以对应的障碍物和包围框Ob2所以对应的障碍物所在的车道相同。
进一步，还可以在投射处理后的图像数据中标识出各个障碍物所在车道标识。例如，参阅图4所示，分别在Ob0、Ob1、Ob2所对应的障碍物的包围框的左上角标识出上述障碍物分别所在的车道标识为L2、L1、L1。
在一个实施例中，在根据所述投射处理后的图像数据，确定出障碍物所在的车道后，所述方法具体实施时，还可以包括：根据所述障碍物所在的车道，调整预设的行车路线；根据调整后的预设的行车路线，控制目标车辆行驶，以绕开障碍物。
在本实施例中，具体实施时，可以根据所确定出的障碍物所在车道，对预设的行车路线进行调整。例如，将预设的行车路线中需要通过障碍物所在车道的路线修改为通过邻近空闲车道的路线。进而可以通过调整后的预设的行车路线，控制目标车辆行驶，安全地避开障碍物，保证车辆行驶安全。
在本申请实施例中，相较于现有方法，通过针对待测的范围区域，同时获取环境信息丰富的图像数据，以及位置信息精准的地图数据；在通过检测确定图像数据中存在障碍物的情况下，分别确定并利用图像数据中的车道线，和地图数据中的车道线通过关联对齐，确定出地图数据对应于图像数据的投射转换参数；再利用该投射转换参数将三维的地图数据投射到二维的图像数据中，避免了将二维的图像数据投射到三维的地图数据中产生的误差，得到信息丰富、准确度高的投射处理后的图像数据；进而可以利用上述投射处理后的图像数据，在图像域中确定出障碍物所在的具体车道，从而能提高确定障碍物所在车道的准确度，实现在较远的距离精准地识别并确定出障碍物所在的车道，解决了现有方法中存在的所确定的障碍物所在车道准确度差、误差大的技术问题。
在一个实施例中，对所述图像数据进行障碍物检测，具体实施时，可以包括以下内容：通过预设的障碍物检测模型对所述图像数据进行障碍物检测，以确定出所述图像数据中是否存在障碍物。
在一个实施例中，确定出图像数据中的车道线，具体实施时，可以包括以下内容：通过车道检测模型对所述图像数据进行处理，得到图像数据中表征车道线的多个像素单元；对所述多个像素单元进行聚类处理，得到多个连通域，其中，所述多个连通域中的各个连通域中分别包含有一个或多个像素单元；根据所述多个连通域，通过聚类处理，确定出对应的车道线实例，并将所述车道线实例确定为所述图像数据中的车道线。
在一个实施例中，上述根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数，具体实施时，可以包括以下内容：从所述图像数据中的车道线，和所述地图数据中的车道线中，确定出相互对应的车道线，建立车道线组；确定出车道线组中的车道线的图像坐标数据，和地图坐标数据；根据所述车道线组中的车道线的图像坐标数据，和地图坐标数据，通过对车道线组中的车道线进行关联对齐处理，确定出地图数据对应到图像数据的投射转换参数。
在一个实施例中，根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据，具体实施时，可以包括以下内容：
根据以下公式，将所述地图数据投射到所述图像数据中：
Figure BDA0002314603190000141
其中，p具体可以表示为从地图数据中投射到图像数据中对应点的图像坐标数据，PW具体可以表示为地图数据中任意一点的地图坐标数据，
Figure BDA0002314603190000142
具体可以表示为投射转换参数，z具体可以表示为相机坐标系下的深度值，K具体可以表示为相机内参，
Figure BDA0002314603190000143
具体可以表示为世界坐标系到IMU坐标系的坐标转换参数，
Figure BDA0002314603190000144
具体可以表示为IMU坐标系到相机坐标系的坐标转换参数。
在一个实施例中，根据所述投射处理后的图像数据，确定出障碍物所在的车道，具体实施时，可以包括以下内容：在所述投射处理后的图像数据中，确定出车道线，以及障碍物的包围框；根据所述投射处理后的图像数据，确定出车道线的图像坐标数据，以及障碍物的包围框的底部中点的图像坐标数据；根据所述车道线的图像坐标数据，以及障碍物的包围框的底部中点的图像坐标数据，确定出与所述障碍物的包围框的底部中点的距离最小的两条车道线分别作为左边界车道线和右边界车道线；将所述左边界车道线和所述右边界车道线之间的区域，确定为障碍物所在的车道。
在一个实施例中，在根据所述投射处理后的图像数据，确定出障碍物所在的车道后，所述方法具体实施时，还可以包括以下内容：根据所述投射处理后的图像数据，确定出障碍物的宽度；根据所述障碍物的包围框的底部中点的图像坐标数据、所述障碍物的宽度，以及所述左边界车道线和所述右边界车道线，利用地图数据确定出障碍物与左边界车道线之间的左空隙间距，以及障碍物与右边界车道线之间的右空隙间距。
在本实施例中，具体实施时，可以通过图像识别，确定出障碍物的包围框的宽度；再根据障碍物的包围框的宽度确定出障碍物的宽度。类似的，还可以通过图像识别，确定出左边界车道线和右边界车道线之间的垂直距离，得到左边界车道线和右边界车道线的间距。
在本实施例中，为了进一步确定障碍物与左边界车道线之间的左空隙间距，可以先确定出障碍物的包围框底部中点与左边界车道线之间的间距。具体的，可以从障碍物的包围框中点出发，作为到左边界车道线的垂线段，计算出该垂线段的长度；再将该垂线段的长度减去障碍物的宽度的一半得到差作为障碍物与左边界车道线之间的左空隙间距。类似的，可以先确定出障碍物的包围框底部中点与右边界车道线之间的间距。具体的，可以从障碍物的包围框中点出发，作为到右边界车道线的垂线段，计算出该垂下段的长度；再将该垂线段的长度减去障碍物的宽度的一半得到差作为障碍物与右边界车道线之间的右空隙间距
在一个实施例中，具体实施时，也可以通过障碍物的包围框的底部中点p1(u1,v1)作水平方向的平行线与左边界车道线交于左交点pl(ul,vl)，与右边界车道线交于右交点pr(ur,vr)。分别计算出中点p1(u1,v1)到左交点的左间距：dul＝|ul-u1|；计算中点到右交点的右间距：dur＝|ur-u1|。在投射处理后的图像数据中找到针对障碍物的左边界车道线和右边界车道线后，可以再返回地图数据，利用地图数据，在地图数据中进一步确定出左边界车道线和右边界车道线之间的间距，即障碍物所在的车道宽度为d。进而可以通过几何关系，根据上述左间距、右间距和车道宽度确定出障碍物与左边界车道线之间的左空隙间距，与右边界车道线之间的右空隙间距。例如，可以根据几何关系，按照以下公式计算出障碍物与左边界车道之间的左空隙间距：
Figure BDA0002314603190000151
类似的，计算出障碍物与右边界车道线之间的右空隙间距：
Figure BDA0002314603190000152
在一个实施例中，在根据所述投射处理后的图像数据，确定出障碍物所在的车道后，所述方法具体实施时，还可以包括以下内容：根据所述障碍物所在的车道，调整预设的行车路线；根据调整后的预设的行车路线，控制目标车辆行驶，以绕开障碍物。
在一个实施例中，在确定出障碍物与左边界车道线之间的左空隙间距，以及障碍物与右边界车道线之间的右空隙间距后，所述方法具体实施时，还可以包括以下内容：确定目标车辆的宽度；根据目标车辆的宽度、障碍物与左边界车道线之间的左空隙间距，以及障碍物与右边界车道线之间的右空隙间距，判断目标车辆能否从左空隙，或右空隙中通过，得到对应的判断结果；根据所述判断结果，调整预设的行车路线。
在本实施例中，具体实施时，如果根据判断结果，确定目标车辆的宽度小于左空隙间距，则可以判断目标车辆可以不用更改原本的预设的行车规划中所设定的障碍物所在的车道，可以继续在障碍物所在的车道上行驶，并控制目标车辆从左空隙通过，绕开障碍物，降低绕开障碍物的成本。如果根据判断结果，确定目标车辆的宽度大于左空隙间距，也大于右空隙间距，则判断目标车辆必须更改原本的预设的行车规划中所设定的障碍物所在的车道，控制目标车辆通过邻近的车道来绕开障碍物。
在一个实施例中，上述目标车辆具体可以包括重型卡车、大货车等车辆。其中，对于重型卡车这类车辆由于自重大、车速快，导致控制难度会相对更高，例如，所需要的刹车距离相对于普通车辆，例如，小型轿车，会更长。因此，对于重型卡车这类目标车辆，要求能够在较远的距离就能准确地识别，并确定出障碍物所在的车道，从而可以及时、尽早地对目标车辆进行控制，以顺利、安全地绕开障碍物。而本申请实施例提供的方法由于使用的是将地图数据投射到图像数据后得到的即包含有精准的位置信息，又包含丰富的环境信息的投射处理后的图像数据，因此，能在较远地距离就可以实现对障碍物的检测、障碍物所在车道的精准确定。所以本申请实施例提供的方法能够有效地适用于上述包括重型卡车、大货车在内的控制难度较高，要求能远距离障碍物定位的目标车辆。当然，对于普通类型的目标车辆，例如，小型轿车等，本申请实施例提供的方法也同样可以适用。
从以上的描述中，可以看出，本申请实施例提供的障碍物所在车道的确定方法，通过针对待测的范围区域，同时获取环境信息丰富的图像数据，以及位置信息精准的地图数据；在通过检测确定图像数据中存在障碍物的情况下，分别确定并利用图像数据中的车道线，和地图数据中的车道线通过关联对齐，确定出地图数据对应于图像数据的投射转换参数；再利用该投射转换参数将三维的地图数据投射到二维的图像数据中，避免了将二维的图像数据投射到三维的地图数据中产生的误差，得到信息丰富、准确度高的投射处理后的图像数据；进而可以利用上述投射处理后的图像数据，在图像域中确定出障碍物所在的具体车道，从而能提高确定障碍物所在车道的准确度，实现在较远的距离精准地识别并确定出障碍物所在的车道，解决了现有方法中存在的所确定的障碍物所在车道准确度差、误差大的技术问题。还通过在较远距离确定出障碍物所在车道后，根据所确定出的障碍物所在车道及时、尽早地对自动驾驶的预设的行车路线进行针对性的调整，进而可以根据调整后的预设的行车路线，控制目标车辆行驶，绕开障碍物，提高车辆的行驶安全。
基于同一发明构思，本申请实施例中还提供了一种障碍物所在车道的确定装置，如下面的实施例所述。由于障碍物所在车道的确定装置解决问题的原理与障碍物所在车道的确定方法相似，因此障碍物所在车道的确定装置的实施可以参见障碍物所在车道的确定方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的障碍物所在车道的确定装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。请参阅图5所示，是本申请实施例提供的障碍物所在车道的确定装置的一种组成结构图，该装置具体可以包括：获取模块501、第一确定模块502、第二确定模块503、投射模块504和第三确定模块505，下面对该结构进行具体说明。
获取模块501，具体可以用于获取待测的范围区域的图像数据，和地图数据；
第一确定模块502，具体可以用于对所述图像数据进行障碍物检测，并在确定所述图像数据中存在障碍物的情况下，分别确定出图像数据中的车道线，和地图数据中的车道线；
第二确定模块503，具体可以用于根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数；
投射模块504，具体可以用于根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据；
第三确定模块505，具体可以用于根据所述投射处理后的图像数据，确定出障碍物所在的车道。
在一个实施例中，具体实施时，所述第一确定模块502具体可以通过预设的障碍物检测模型对所述图像数据进行障碍物检测，以确定出所述图像数据中是否存在障碍物。
在一个实施例中，具体实施时，所述第一确定模块502具体可以通过车道检测模型对所述图像数据进行处理，得到图像数据中表征车道线的多个像素单元；对所述多个像素单元进行聚类处理，得到多个连通域，其中，所述多个连通域中的各个连通域中分别包含有一个或多个像素单元；根据所述多个连通域，通过聚类处理，确定出对应的车道线实例，并将所述车道线实例确定为所述图像数据中的车道线。
在一个实施例中，为了能够根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数，上述第二确定模块503具体可以包括以下结构单元：
第一确定单元，具体可以用于从所述图像数据中的车道线，和所述地图数据中的车道线中，确定出相互对应的车道线，建立车道线组；
第二确定单元，具体可以用于确定出车道线组中的车道线的图像坐标数据，和地图坐标数据；
第三确定单元，具体可以用于根据所述车道线组中的车道线的图像坐标数据，和地图坐标数据，通过对车道线组中的车道线进行关联对齐处理，确定出地图数据对应到图像数据的投射转换参数。
在一个实施例中，上述投射模块504具体实施时，可以根据以下公式，将所述地图数据投射到所述图像数据中：
Figure BDA0002314603190000181
其中，p具体可以表示为从地图数据中投射到图像数据中对应点的图像坐标数据，PW具体可以表示为地图数据中任意一点的地图坐标数据，
Figure BDA0002314603190000182
具体可以表示为投射转换参数，z具体可以表示为相机坐标系下的深度值，K具体可以表示为相机内参，
Figure BDA0002314603190000183
具体可以表示为世界坐标系到IMU坐标系的坐标转换参数，
Figure BDA0002314603190000184
具体可以表示为IMU坐标系到相机坐标系的坐标转换参数。
在一个实施例中，上述第三确定模块505，具体实施时，可以包括以下结构单元：
第四确定单元，具体可以用于在所述投射处理后的图像数据中，确定出车道线，以及障碍物的包围框；
第五确定单元，具体可以用于根据所述投射处理后的图像数据，确定出车道线的图像坐标数据，以及障碍物的包围框的底部中点的图像坐标数据；
第六确定单元，具体可以用于根据所述车道线的图像坐标数据，以及障碍物的包围框的底部中点的图像坐标数据，确定出与所述障碍物的包围框的底部中点的距离最小的两条车道线分别作为左边界车道线和右边界车道线；
第七确定单元，具体可以用于将所述左边界车道线和所述右边界车道线之间的区域，确定为障碍物所在的车道。
在一个实施例中，上述装置具体还可以包括第四确定模块，具体实施时，可以用于根据所述投射处理后的图像数据，确定出障碍物的宽度；根据所述障碍物的包围框的底部中点的图像坐标数据、所述障碍物的宽度，以及所述左边界车道线和所述右边界车道线，利用地图数据确定出障碍物与左边界车道线之间的左空隙间距，以及障碍物与右边界车道线之间的右空隙间距。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，在本说明书中，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
此外，在本说明书中，诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分，而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下，参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个，而可以是元素、部件、或步骤中的一个或多个等。
从以上的描述中，可以看出，本申请实施例提供的障碍物所在车道的确定装置，通过获取模块针对待测的范围区域，同时获取环境信息丰富的图像数据，以及位置信息精准的地图数据；在通过第一确定模块检测确定图像数据中存在障碍物的情况下，通过第二确定模块分别确定并利用图像数据中的车道线，和地图数据中的车道线通过关联对齐，确定出地图数据对应于图像数据的投射转换参数；再通过投射模块利用该投射转换参数将三维的地图数据投射到二维的图像数据中，避免了将二维的图像数据投射到三维的地图数据中产生的误差，得到信息丰富、准确度高的投射处理后的图像数据；进而可以通过第三确定模块利用上述投射处理后的图像数据，在图像域中确定出障碍物所在的具体车道，从而能提高确定障碍物所在车道的准确度，实现在较远的距离精准地识别并确定出障碍物所在的车道，解决了现有方法中存在的所确定的障碍物所在车道准确度差、误差大的技术问题。
本申请实施例还提供了一种电子设备，具体可以参阅图6所示的基于本申请实施例提供的用于实现行障碍物所在车道的确定方法的电子设备组成结构示意图，所述电子设备具体可以包括检测设备61、处理器62、存储器63。其中，所述检测设备61具体可以用于获取待测的范围区域的图像数据，和地图数据。所述处理器62具体可以用于对所述图像数据进行障碍物检测，并在确定所述图像数据中存在障碍物的情况下，分别确定出图像数据中的车道线，和地图数据中的车道线；根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数；根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据；根据所述投射处理后的图像数据，确定出障碍物所在的车道。所述存储器63具体可以用于存储相应的指令程序。
在本实施例中，所述检测设备具体可以包括相关测试仪、传感器、相机、GPS天线等相关仪器设备。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。
在本实施例中，该电子设备具体实现的功能和效果，可以与其它实施例对照解释，在此不再赘述。
本申请实施例还提供了一种基于障碍物所在车道的确定方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：获取待测的范围区域的图像数据，和地图数据；对所述图像数据进行障碍物检测，并在确定所述图像数据中存在障碍物的情况下，分别确定出图像数据中的车道线，和地图数据中的车道线；根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数；根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据；根据所述投射处理后的图像数据，确定出障碍物所在的车道。
在本实施例中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
在本实施例中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施例对照解释，在此不再赘述。
尽管本申请内容中提到不同的具体实施例，但是，本申请并不局限于必须是行业标准或实施例所描述的情况等，某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、处理、输出、判断方式等的实施例，仍然可以属于本申请的可选实施方案范围之内。
虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
上述实施例阐明的装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施例的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的实施例包括这些变形和变化而不脱离本申请。

Claims (10)

1.一种障碍物所在车道的确定方法，其特征在于，包括：
获取待测的范围区域的图像数据，和地图数据；
对所述图像数据进行障碍物检测，并在确定所述图像数据中存在障碍物的情况下，分别确定出图像数据中的车道线，和地图数据中的车道线；
根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数；
根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据；
根据所述投射处理后的图像数据，确定出障碍物所在的车道。
2.根据权利要求1所述的方法，其特征在于，对所述图像数据进行障碍物检测，包括：
通过预设的障碍物检测模型对所述图像数据进行障碍物检测，以确定出所述图像数据中是否存在障碍物。
3.根据权利要求1所述的方法，其特征在于，确定图像数据中的车道线，包括：
通过车道检测模型对所述图像数据进行处理，得到图像数据中表征车道线的多个像素单元；
对所述多个像素单元进行聚类处理，得到多个连通域，其中，所述多个连通域中的各个连通域中分别包含有一个或多个像素单元；
根据所述多个连通域，通过聚类处理，确定出对应的车道线实例，并将所述车道线实例确定为所述图像数据中的车道线。
4.根据权利要求1所述的方法，其特征在于，根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数，包括：
从所述图像数据中的车道线，和所述地图数据中的车道线中，确定出相互对应的车道线，建立车道线组；
确定出车道线组中的车道线的图像坐标数据，和地图坐标数据；
根据所述车道线组中的车道线的图像坐标数据，和地图坐标数据，通过对车道线组中的车道线进行关联对齐处理，确定出地图数据对应到图像数据的投射转换参数。
5.根据权利要求4所述的方法，其特征在于，根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据，包括：
根据以下公式，将所述地图数据投射到所述图像数据中：
Figure FDA0002314603180000021
其中，p表示为从地图数据中投射到图像数据中对应点的图像坐标数据，PW表示为地图数据中任意一点的地图坐标数据，
Figure FDA0002314603180000022
表示为投射转换参数，z表示为相机坐标系下的深度值，K表示为相机内参，
Figure FDA0002314603180000023
表示为世界坐标系到IMU坐标系的坐标转换参数，TI C表示为IMU坐标系到相机坐标系的坐标转换参数。
6.根据权利要求1所述的方法，其特征在于，根据所述投射处理后的图像数据，确定出障碍物所在的车道，包括：
在所述投射处理后的图像数据中，确定出车道线，以及障碍物的包围框；
根据所述投射处理后的图像数据，确定出车道线的图像坐标数据，以及障碍物的包围框的底部中点的图像坐标数据；
根据所述车道线的图像坐标数据，以及障碍物的包围框的底部中点的图像坐标数据，确定出与所述障碍物的包围框的底部中点的距离最小的两条车道线分别作为左边界车道线和右边界车道线；
将所述左边界车道线和所述右边界车道线之间的区域，确定为障碍物所在的车道。
7.根据权利要求6所述的方法，其特征在于，在根据所述投射处理后的图像数据，确定出障碍物所在的车道后，所述方法还包括：
根据所述投射处理后的图像数据，确定出障碍物的宽度；
根据所述障碍物的包围框的底部中点的图像坐标数据、所述障碍物的宽度，以及所述左边界车道线和所述右边界车道线，利用地图数据确定出障碍物与左边界车道线之间的左空隙间距，以及障碍物与右边界车道线之间的右空隙间距。
8.一种障碍物所在车道的确定装置，其特征在于，包括：
获取模块，用于获取待测的范围区域的图像数据，和地图数据；
第一确定模块，用于对所述图像数据进行障碍物检测，并在确定所述图像数据中存在障碍物的情况下，分别确定出图像数据中的车道线，和地图数据中的车道线；
第二确定模块，用于根据图像数据中的车道线，和地图数据中的车道线，确定出地图数据对应到图像数据的投射转换参数；
投射模块，用于根据所述投射转换参数，将所述地图数据投射到所述图像数据中，得到投射处理后的图像数据；
第三确定模块，用于根据所述投射处理后的图像数据，确定出障碍物所在的车道。
9.一种电子设备，其特征在于，所述电子设备包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现权利要求1至7中任一项所述方法的步骤。
CN201911272583.2A 2019-12-12 2019-12-12 障碍物所在车道的确定方法、装置、电子设备和存储介质 Active CN111160132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911272583.2A CN111160132B (zh) 2019-12-12 2019-12-12 障碍物所在车道的确定方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911272583.2A CN111160132B (zh) 2019-12-12 2019-12-12 障碍物所在车道的确定方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111160132A true CN111160132A (zh) 2020-05-15
CN111160132B CN111160132B (zh) 2022-08-19

Family

ID=70556823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911272583.2A Active CN111160132B (zh) 2019-12-12 2019-12-12 障碍物所在车道的确定方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111160132B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695489A (zh) * 2020-06-09 2020-09-22 北京百度网讯科技有限公司 建模路线的验证方法、装置、无人车及存储介质
CN112327864A (zh) * 2020-11-17 2021-02-05 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置
WO2022011808A1 (zh) * 2020-07-17 2022-01-20 南京慧尔视智能科技有限公司 基于雷达的弯道绘制方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109017570A (zh) * 2018-06-12 2018-12-18 智车优行科技（北京）有限公司 车辆周围场景呈现方法和装置、车辆
CN109300159A (zh) * 2018-09-07 2019-02-01 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆
CN109583280A (zh) * 2017-09-29 2019-04-05 比亚迪股份有限公司 车道线识别方法、装置、设备及存储介质
CN109883439A (zh) * 2019-03-22 2019-06-14 百度在线网络技术（北京）有限公司 一种车辆导航方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583280A (zh) * 2017-09-29 2019-04-05 比亚迪股份有限公司 车道线识别方法、装置、设备及存储介质
CN109017570A (zh) * 2018-06-12 2018-12-18 智车优行科技（北京）有限公司 车辆周围场景呈现方法和装置、车辆
CN109300159A (zh) * 2018-09-07 2019-02-01 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆
CN109883439A (zh) * 2019-03-22 2019-06-14 百度在线网络技术（北京）有限公司 一种车辆导航方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695489A (zh) * 2020-06-09 2020-09-22 北京百度网讯科技有限公司 建模路线的验证方法、装置、无人车及存储介质
US11619498B2 (en) 2020-06-09 2023-04-04 Beijing Baidu Netcom Science Technology Co., Ltd. Verification method and device for modeling route, unmanned vehicle, and storage medium
CN111695489B (zh) * 2020-06-09 2023-08-11 阿波罗智能技术(北京)有限公司 建模路线的验证方法、装置、无人车及存储介质
WO2022011808A1 (zh) * 2020-07-17 2022-01-20 南京慧尔视智能科技有限公司 基于雷达的弯道绘制方法、装置、电子设备和存储介质
CN112327864A (zh) * 2020-11-17 2021-02-05 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置

Also Published As

Publication number Publication date
CN111160132B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN108345822B (zh) 一种点云数据处理方法及装置
CN109470254B (zh) 地图车道线的生成方法、装置、系统及存储介质
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
Toulminet et al. Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
Negru et al. Image based fog detection and visibility estimation for driving assistance systems
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
CN111160132B (zh) 障碍物所在车道的确定方法、装置、电子设备和存储介质
US20120327188A1 (en) Vehicle-Mounted Environment Recognition Apparatus and Vehicle-Mounted Environment Recognition System
CN113421432B (zh) 交通限行信息检测方法、装置、电子设备和存储介质
CN110942038B (zh) 基于视觉的交通场景识别方法、装置、介质及电子设备
CN111179300A (zh) 障碍物检测的方法、装置、系统、设备以及存储介质
Fernández et al. Free space and speed humps detection using lidar and vision for urban autonomous navigation
CN112753038B (zh) 识别车辆变道趋势的方法和装置
Belaroussi et al. Impact of reduced visibility from fog on traffic sign detection
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
Yu et al. Traffic danger recognition with surveillance cameras without training data
CN110341621B (zh) 一种障碍物检测方法及装置
CN110751040A (zh) 一种三维物体的检测方法和装置、电子设备、存储介质
EP4250245A1 (en) System and method for determining a viewpoint of a traffic camera
CN115139303A (zh) 一种栅格井盖检测方法、装置、设备及存储介质
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
Fakhfakh et al. Weighted v-disparity approach for obstacles localization in highway environments
CN114596706B (zh) 路侧感知系统的检测方法及装置、电子设备和路侧设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant