CN113822299B - 地图构建方法、装置、设备和存储介质 - Google Patents

地图构建方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113822299B
CN113822299B CN202111173288.9A CN202111173288A CN113822299B CN 113822299 B CN113822299 B CN 113822299B CN 202111173288 A CN202111173288 A CN 202111173288A CN 113822299 B CN113822299 B CN 113822299B
Authority
CN
China
Prior art keywords
vehicle
charging pile
parking space
semantic
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111173288.9A
Other languages
English (en)
Other versions
CN113822299A (zh
Inventor
李雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yihang Yuanzhi Technology Co Ltd
Original Assignee
Beijing Yihang Yuanzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yihang Yuanzhi Technology Co Ltd filed Critical Beijing Yihang Yuanzhi Technology Co Ltd
Priority to CN202111173288.9A priority Critical patent/CN113822299B/zh
Priority to CN202210486328.3A priority patent/CN114821117A/zh
Publication of CN113822299A publication Critical patent/CN113822299A/zh
Application granted granted Critical
Publication of CN113822299B publication Critical patent/CN113822299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/60—Monitoring or controlling charging stations
    • B60L53/66—Data transfer between charging stations and vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/16—Information or communication technologies improving the operation of electric vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本申请的实施例提供了一种地图构建方法、装置、设备和存储介质，车辆定位方法包括：在车辆按照预设轨迹运动过程中，获取车辆周围环境图像和车辆轮速计数据，所述预设轨迹上具有一个或多个车位，至少部分车位具有充电桩；在车辆需要充电时，根据所述车辆周围环境图像、所述车辆轮速计数据以及预先构建的地图，控制车辆驶入具有充电桩且未被占用的车位并使得车辆充电口对准充电桩。本申请能够改善车辆寻找充电桩、充电口对准充电桩的准确性。

Description

地图构建方法、装置、设备和存储介质
技术领域
本申请的实施例涉及计算机视觉技术领域，尤其涉及一种地图构建方法、装置、设备和存储介质。
背景技术
随着近年来自动驾驶相关技术迅速发展，无人物流车在物流领域的应用也逐渐兴起。无人物流车的主要任务是自主装卸货物，同时需要不定期进行充电，在需要充电时，无人物流车驶入具有充电桩的停车位进行自主充电。但是，在无人物流车驶入具有充电桩的停车位后不能很好地使得车辆充电口对准充电桩，而且，无人物流车在驶入停车位时往往依赖单一特征来实现定位，导致定位准确度不高。
发明内容
为了解决上述至少一项技术问题，本申请的实施例提供了一种地图构建方法、装置、设备和存储介质。
第一方面，本申请的实施例提供了一种地图构建方法，包括：
获取车辆按照预设轨迹运动时的第一车辆周围环境图像；
对所述第一车辆周围环境图像进行ORB特征点提取，并基于提取到的ORB 特征点构建特征点地图；
根据所述第一车辆周围环境图像确定所述车位语义特征和充电桩对象特征，所述充电桩对象特征包括充电桩语义特征；
确定所述车位语义特征和所述充电桩对象特征在预设坐标系下的位置；
将所述车位语义特征、所述充电桩对象特征、所述车位语义特征在预设坐标系下的位置以及所述充电桩对象特征在预设坐标系下的位置融合至所述特征点地图形成地图。
在一种可能的实现方式中，所述基于提取到的ORB特征点构建特征点地图包括：
根据所述第一车辆周围环境图像的两帧图像生成初始化地图；
根据所述第一车辆周围环境图像的两帧图像中每一对匹配的所述ORB特征点，在所述初始化地图中生成新的特征点来形成所述特征点地图。
在一种可能的实现方式中，所述基于提取到的ORB特征点构建特征点地图还包括：
在所述第一车辆周围环境图像的当前帧图像与最后一个关键帧图像发生一段距离的移动时，将当前帧图像加入到所述初始化地图以更新所述特征点地图。
在一种可能的实现方式中，所述根据所述第一车辆周围环境图像确定所述车位语义特征和充电桩对象特征包括：
对所述第一车辆周围环境图像进行语义分割，使得所述第一车辆周围环境图像中每个像素均对应一个分类标签，所述分类标签包括所述车位线语义特征、所述角点语义特征、所述限位板语义特征以及所述充电桩语义特征；
将所述车位线语义特征对应的像素、所述角点语义特征对应的像素以及所述限位板语义特征对应的像素确定为所述车位语义特征；
根据所述充电桩语义特征对应的像素确定所述充电桩对象特征。
在一种可能的实现方式中，所述根据所述充电桩语义特征对应的像素确定所述充电桩对象特征包括：
将所述充电桩语义特征对应的像素的像素值设为1，将除去所述充电桩语义特征对应的像素，剩余的像素的像素值设为0；
将像素值为1且像素位置相邻的像素作为充电桩像素，形成所述充电桩对象特征。
在一种可能的实现方式中，所述确定所述车位语义特征在预设坐标系下的位置包括：
基于用于采集所述第一车辆周围环境图像的相机的参数和标定参数，根据所述第一车辆周围环境图像生成顶视图；
在所述顶视图的像素坐标系下，确定所述车位语义特征的坐标；
将所述车位语义特征的坐标转换为所述预设坐标系中的三维坐标，以所述预设坐标系中的三维坐标作为所述车位语义特征在所述预设坐标系下的位置。
在一种可能的实现方式中，所述确定所述充电桩对象特征在世界坐标系下的位置包括：
在所述第一车辆周围环境图像中，确定对应所述充电桩对象特征的ORB 特征点；
根据对应所述充电桩对象特征的ORB特征点的三维坐标确定充电桩的三维坐标；
将所述充电桩的三维坐标转换为预设坐标系中的三维坐标，以所述预设坐标系中的三维坐标作为所述充电桩对象特征在所述预设坐标系下的位置。
在一种可能的实现方式中，所述将所述车位语义特征、所述充电桩对象特征、所述车位语义特征在预设坐标系下的位置以及所述充电桩对象特征在预设坐标系下的位置融合至所述特征点地图形成地图之后，还包括：
若对应所述车位语义特征的车位不具有充电桩则进行标记；
若对应所述车位语义特征的车位具有充电桩则进行标记。
第二方面，本申请的实施例提供了一种车辆定位方法，包括：
在车辆按照预设轨迹运动过程中，获取第二车辆周围环境图像和车辆轮速计数据，所述预设轨迹上具有一个或多个车位，至少部分车位具有充电桩；
在车辆需要充电时，根据所述第二车辆周围环境图像、所述车辆轮速计数据以及预先构建的地图，控制车辆驶入具有充电桩且未被占用的车位并使得车辆充电口对准充电桩。
在一种可能的实现方式中，所述根据所述第二车辆周围环境图像、所述车辆轮速计数据以及预先构建的地图，控制车辆驶入具有充电桩且未被占用的车位并使得车辆充电口对准充电桩包括：
在车位具有充电桩且未被占用时，基于所述预先构建的地图中的车位语义特征和车位语义特征在世界坐标系下的位置，根据所述第二车辆周围环境图像和所述车辆轮速计数据控制车辆驶入具有充电桩且未被占用的车位；
基于所述预先构建的地图中的充电桩对象特征和充电桩对象特征在世界坐标系下的位置，根据所述第二车辆周围环境图像和所述车辆轮速计数据控制车辆使得车辆充电口对准充电桩。
在一种可能的实现方式中，所述基于所述预先构建的地图中的车位语义特征和车位语义特征在世界坐标系下的位置，根据所述第二车辆周围环境图像和所述车辆轮速计数据控制车辆驶入具有充电桩且未被占用的车位包括：
根据所述第二车辆周围环境图像检测识别车位、车位的车位线、车位的角点和车位的限位板；
根据所述车位的车位线、所述车位的角点、所述车位的限位板、所述车位语义特征、所述车位语义特征在世界坐标系下的位置对车辆进行定位，所述车位语义特征包括车位线语义特征、角点语义特征以及限位板语义特征；
基于车辆的定位，根据车辆轮速计数据控制车辆驶入具有充电桩且未被占用的车位。
在一种可能的实现方式中，所述基于所述预先构建的地图中的充电桩对象特征和充电桩对象特征在世界坐标系下的位置，根据所述第二车辆周围环境图像和所述车辆轮速计数据控制车辆使得车辆充电口对准充电桩包括：
根据所述第二车辆周围环境图像检测识别充电桩；
根据检测识别到的充电桩、所述充电桩对象特征以及所述充电桩对象特征在世界坐标系下的位置对车辆进行定位；
根据所述充电桩对象特征在世界坐标系下的位置生成虚拟充电车位，所述虚拟充电车位的尺寸大于或等于车辆车身尺寸；
基于车辆的定位，根据所述车辆轮速计数据控制车辆驶入所述虚拟充电车位使得车辆充电口对准所述虚拟充电车位的充电口。
在一种可能的实现方式中，构建地图的方法包括：
获取车辆按照预设轨迹运动时的第一车辆周围环境图像；
对所述第一车辆周围环境图像进行ORB特征点提取，并基于提取到的ORB 特征点构建特征点地图；
根据所述第一车辆周围环境图像确定所述车位语义特征和充电桩对象特征，所述充电桩对象特征包括充电桩语义特征；
确定所述车位语义特征和所述充电桩对象特征在预设坐标系下的位置；
将所述车位语义特征、所述充电桩对象特征、所述车位语义特征在预设坐标系下的位置以及所述充电桩对象特征在预设坐标系下的位置融合至所述特征点地图形成地图。
在一种可能的实现方式中，所述基于提取到的ORB特征点构建特征点地图包括：
根据所述第一车辆周围环境图像的两帧图像生成初始化地图；
根据所述第一车辆周围环境图像的两帧图像中每一对匹配的所述ORB特征点，在所述初始化地图中生成新的特征点来形成所述特征点地图。
在一种可能的实现方式中，所述基于提取到的ORB特征点构建特征点地图还包括：
在所述第一车辆周围环境图像的当前帧图像与最后一个关键帧图像发生一段距离的移动时，将当前帧图像加入到所述初始化地图以更新所述特征点地图。
在一种可能的实现方式中，所述根据所述第一车辆周围环境图像确定所述车位语义特征和充电桩对象特征包括：
对所述第一车辆周围环境图像进行语义分割，使得所述第一车辆周围环境图像中每个像素均对应一个分类标签，所述分类标签包括所述车位线语义特征、所述角点语义特征、所述限位板语义特征以及所述充电桩语义特征；
将所述车位线语义特征对应的像素、所述角点语义特征对应的像素以及所述限位板语义特征对应的像素确定为所述车位语义特征；
根据所述充电桩语义特征对应的像素确定所述充电桩对象特征。
在一种可能的实现方式中，所述根据所述充电桩语义特征对应的像素确定所述充电桩对象特征包括：
将所述充电桩语义特征对应的像素的像素值设为1，将除去所述充电桩语义特征对应的像素，剩余的像素的像素值设为0；
将像素值为1且像素位置相邻的像素作为充电桩像素，形成所述充电桩对象特征。
在一种可能的实现方式中，所述确定所述车位语义特征在世界坐标系下的位置包括：
基于用于采集所述第一车辆周围环境图像的相机的参数和标定参数，根据所述第一车辆周围环境图像生成顶视图；
在所述顶视图的像素坐标系下，确定所述车位语义特征的坐标；
将所述车位语义特征的坐标转换为所述预设坐标系中的三维坐标，以所述预设坐标系中的三维坐标作为所述车位语义特征在所述预设坐标系下的位置。
在一种可能的实现方式中，所述确定所述充电桩对象特征在世界坐标系下的位置包括：
在所述第一车辆周围环境图像中，确定对应所述充电桩对象特征的ORB 特征点；
根据对应所述充电桩对象特征的ORB特征点的三维坐标确定充电桩的三维坐标；
将所述充电桩的三维坐标转换为预设坐标系中的三维坐标，以所述预设坐标系中的三维坐标作为所述充电桩对象特征在所述预设坐标系下的位置。
在一种可能的实现方式中，所述将所述车位语义特征、所述充电桩对象特征、所述车位语义特征在世界坐标系下的位置以及所述充电桩对象特征在世界坐标系下的位置融合至所述特征点地图形成地图还包括：
若对应所述车位语义特征的车位不具有充电桩则进行标记；
若对应所述车位语义特征的车位具有充电桩则进行标记。
第三方面，本申请的实施例提供了一种地图构建装置，包括：
第一获取模块，用于获取车辆按照预设轨迹运动时的第一车辆周围环境图像；
地图构建模块，用于对所述第一车辆周围环境图像进行ORB特征点提取，并基于提取到的ORB特征点构建特征点地图；
特征确定模块，用于根据所述第一车辆周围环境图像确定所述车位语义特征和充电桩对象特征，所述充电桩对象特征包括充电桩语义特征；
位置确定模块，用于确定所述车位语义特征和所述充电桩对象特征在世界坐标系下的位置；
地图融合模块，用于将所述车位语义特征、所述充电桩对象特征、所述车位语义特征在世界坐标系下的位置以及所述充电桩对象特征在世界坐标系下的位置融合至所述特征点地图形成地图。
第四方面，本申请的实施例提供了一种车辆定位装置，包括：
第二获取模块，用于在车辆按照预设轨迹运动过程中，获取车辆周围环境图像，所述预设轨迹上具有一个或多个车位，至少部分车位具有充电桩；
第三获取模块，用于在车辆按照预设轨迹运动过程中，获取车辆轮速计数据；
车辆控制模块，用于在车辆需要充电时，根据所述车辆周围环境图像、所述车辆轮速计数据以及预先构建的地图，控制车辆驶入具有充电桩且未被占用的车位并使得车辆充电口对准充电桩。
第五方面，本申请的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法或第二方面任一项所述的方法。
第六方面，本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法或第二方面任一项所述的方法。
在本申请实施例提供的地图构建方法、车辆定位方法、装置、设备和存储介质中，获取车辆按照预设轨迹运动时的第一车辆周围环境图像；对第一车辆周围环境图像进行ORB特征点提取，并基于提取到的ORB特征点构建特征点地图；根据第一车辆周围环境图像确定车位语义特征和充电桩对象特征；确定车位语义特征和充电桩对象特征在世界坐标系下的位置；将车位语义特征、充电桩对象特征、车位语义特征在世界坐标系下的位置以及充电桩对象特征在世界坐标系下的位置融合至特征点地图形成地图，从而能够构建包括车位语义特征、充电桩对象特征的地图，不单一依赖某种特征，进而能够实现在多种环境下的精准定位。
进一步地，在地图构建完成后，在车辆按照预设轨迹运动过程中，获取车辆周围环境图像和车辆轮速计数据，在车辆需要充电时，根据车辆周围环境图像、车辆轮速计数据以及预先构建的地图，控制车辆驶入具有充电桩且未被占用的车位并使得车辆充电口对准充电桩，从而能够改善车辆寻找充电桩、充电口对准充电桩的准确性。
应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。
图1示出了本申请的实施例的车辆定位方法的应用场景示意图。
图2示出了本申请实施例的一种车辆定位方法的示意图。
图3示出了本申请实施例的一种电子设备的结构图。
图4示出了本申请实施例的地图构建方法的流程图。
图5示出了本申请实施例的地图构建过程中车辆行驶路线示意图。
图6示出了本申请实施例的另一种车辆定位方法的流程图。
图7示出了本申请实施例的车辆控制的示意图。
图8示出了本申请实施例的虚拟充电车位的示意图。
图9示出了本申请实施例的虚拟充电车位设置的示意图。
图10示出了本申请实施例的又一种车辆定位方法的流程图。
图11示出了本申请实施例的地图构建装置的方框图。
图12示出了本申请实施例的一种车辆定位装置的方框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
为了便于对本申请实施例的理解，首先对本申请实施例涉及的部分术语进行解释。
车辆周围环境图像，由布置于车辆上的鱼眼相机采集得到，包括但不限于车辆的前视图像、后视图像、左视图像以及右视图像，每张图像包括但不限于车辆前方图像和地面的图像。
车辆轮速计数据，由布置于车辆上的轮速计采集得到，包括但不限于方向盘转角和车辆前进速度。
接下来对本申请实施例所涉及的应用场景进行介绍。需要说明的是，本申请实施例描述的应用场景为无人物流车装卸货物过程中进行自主充电的场景，仅仅是为了更加清楚的说明本申请实施例的技术方案，并不构成对本申请实施例提供的技术方案的限定。本申请实施例提供的车辆定位方法在其他无人车辆需要充电的相似或类似的场景同样适用。
图1示出了本申请的实施例的车辆定位方法的应用场景示意图。在图1 所示的场景中，示意性地示出车辆装卸货物路线及该路线上经过的送货点和停车位，其中至少部分停车位具有充电桩。需要说明的是，在实际应用场景中，送货点的数量和停车位的数量可以为任意数量，停车位是否具有充电桩没有任何限制。在实际应用场景中，车辆沿装卸货物路线经过各送货点装卸货物过程中，若车辆需要充电，则需要控制车辆驶入具有充电桩的停车位并且使得车辆的充电口对准充电桩以进行充电操作。
本申请实施例中，车辆为能够实现自动驾驶车辆。在一些可选的实施方式中，由布置在车辆上的控制设备来控制车辆驶入具有充电桩的停车位并且使得车辆的充电口对准充电桩。在另一些可选的实施方式中，由远程控制设备来控制车辆驶入具有充电桩的停车位并且使得车辆的充电口对准充电桩。
图2示出了本申请实施例的一种车辆定位方法的流程图。
参见图2，图像采集装置采集车辆周围环境图像并将车辆周围环境图像传输至控制设备，轮速计采集车辆轮速计数据并将车辆轮速计数据传输至控制设备。一方面，控制设备能够基于车辆周围环境图像来构建地图。具体地，控制设备获取车辆按照装卸货物路线运动时的第一车辆周围环境图像，对第一车辆周围环境图像进行处理来构建包含车位语义特征、充电桩对象特征、车位语义特征在世界坐标系下的位置以及充电桩对象特征在世界坐标系下的位置的地图。另一方面，控制设备能够基于构建完成的地图、车辆周围环境图像和车辆轮速计数据来控制车辆驶入具有充电桩的停车位并且使得车辆的充电口对准充电桩。需要说明的是，地图的构建过程和车辆的控制过程请参见下文的介绍，此处不再赘述。
图3示出了本申请实施例的一种电子设备的结构图。在一些可选的实施方式中，图3所示的电子设备为布置在车辆上的控制设备或控制车辆的远程控制设备。
参见图3，电子设备300包括处理器301和存储器303。其中，处理器 301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC (Application SpecificIntegrated Circuit，专用集成电路)，FPGA (Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合， DSP和微处理器的组合等。
总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA (ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器303可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memor y，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Me mory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only M emory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器303用于存储执行本申请方案的应用程序代码，并由处理器301 来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现地图的构建或者控制车辆驶入具有充电桩的停车位并且使得车辆的充电口对准充电桩。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。需要说明的是，图3示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
图4示出了本申请实施例的地图构建方法的流程图，该方法应用于布置于车辆上的控制设备或控制车辆行驶的远程控制设备。参见图4，该方法包括如下步骤：
步骤401，获取车辆按照预设轨迹运动时第一车辆周围环境图像。
在本申请实施例中，可以通过布置在车辆上的图像采集装置来获取车辆周围环境图像，在车辆按照预设轨迹运动时，能够获取得到车辆按照预设轨迹运动时的车辆周围环境图像。
在一些可选的实施方式中，可以在车辆的前后保险杠分别布置一个鱼眼相机，在车辆的左右后视镜下边沿处分别布置一个鱼眼相机，在车辆按照预设轨迹运动时通过四个鱼眼相机采集第一车辆周围环境图像。
示例地，参见图5，由人工驾驶车辆沿路线1、路线2和路线3分别行驶，在行驶过程中，通过布置在车辆上的图像采集装置来采集第一车辆周围环境图像。其中，路线1为车辆进出各停车位和送货点的路线，路线2为车辆经过各送货点确定装卸货物的路线，路线3为车辆经过各车位确定泊车充电的路线。
步骤402，对第一车辆周围环境图像进行ORB特征点提取，并基于提取到的ORB特征点构建特征点地图。
在本申请实施例中，对第一车辆周围环境图像进行ORB特征点提取例如可以基于车辆周围环境图像中的前视图像，检测Oriented FAST关键点、计算BRIEF描述子，来提取ORB特征点。
在本申请实施例中，基于提取到的ORB特征点构建特征点地图时，首先根据第一车辆周围环境图像中的前视图像的两帧图像生成初始化地图，对于两帧图像中每一对匹配的ORB特征点，在地图中生成新的特征点来形成特征点地图，新生成的特征点的信息包括关键点位置和描述子属性。
进一步地，若形成的特征点地图需要优化，则在第一车辆周围环境图像中的前视图像的当前帧与最后一个关键帧图像发生一段距离的移动时，将当前帧图像加入到初始化地图来更新特征点地图。
需要说明的是，以第一车辆周围环境图像中的前视图像来构建特征点地图仅是示例性的，还可以采用第一车辆周围环境图像中左视图像、右视图像或后视图像来构建特征点地图，其具体构建方式与上述的方式相同，此处不再赘述。
步骤403，根据第一车辆周围环境图像确定车位语义特征和充电桩对象特征。
在本申请实施例中，车位语义特征包括但不限于车位线语义特征、角点语义特征、限位板语义特征，充电桩对象特征包括充电桩语义特征。确定车位语义特征和充电桩对象特征，即对第一车辆周围环境图像中的像素进行打标，将标记为相同标签的像素作为同一类特征。
具体地，对第一车辆周围环境图像进行语义分割，使得第一车辆周围环境图像中每个像素对应一个分类标签。在本申请实施例中，分类标签包括车位线语义特征、角点语义特征、限位板语义特征以及充电桩语义特征。将车位线语义特征对应的像素、角点语义特征对应的像素以及限位板语义特征对应的像素作为车位语义特征。
在一些可选的实施方式中，对第一车辆周围环境图像进行语义分割时，可以使用将传统卷积神经网络的全连接层替换成卷积层的全卷积神经网络 (FCN)、基于编码器-解码器结构的UNet网络、使用金字塔空洞池化和全连接条件随机场(CRF)的Deeplab网络的方法来实现图像语义分割。
确定充电桩对象特征的方式具体为，将充电桩语义特征对应的像素的像素值设为1，将除去充电桩语义特征对应的像素，剩余的像素的像素值设为 0 ，将像素值为1且像素位置相邻的像素作为充电桩像素，形成充电桩对象特征。
在一些可选的实施方式中，可以利用连同区域分析方法(CCA)将语义分割图像中的像素集合分成由相同标签且位置相邻的像素点组成的图像区域，来确定第一车辆周围环境图像中的充电桩对象。
在另一些可选的实施方式中，可以利用种子填充法来实现划分图像区域。具体地，将语义分割后的图像二值化，划分为充电桩像素和非充电桩像素，设B(充电桩像素)＝1，B(非充电桩像素)＝0，扫描图像，直到当前像素点 B为1，将该像素点作为种子，并设label为充电桩，根据连通区域的两个条件(像素值相同、位置相邻)，将与该像素相邻的所有像素合并到同一个像素集合中，最后得到该像素集合为一个连通区域。重复上述步骤直至扫描结束，即可得到图像中所有的充电桩区域。
在另一些可选的实施方式中，将语义分割后的图像进行二分类，分为充电桩像素和非充电桩像素，利用带噪空间基于密度的聚类方法(DBSCAN)算法将语义分割图像中的像素集合分成由相同标签的像素组成的两个类，由此确定图像中的充电桩对象特征。
需要说明的是，DBSCAN算法假定类别可以通过样本分布的紧密程度决定，统一类别的样本，他们之间应该是紧密相连的。通过将密度相连的样本划为一类，这样就得到了一个聚类类别。再将所有样本划为多个密度相连的不同类别，就得到了最终的聚类结果。输入样本集，从某个选定的核心点出发，不断像密度可达的区域扩张，从而得到一个包含核心点和边界点的最大化区域，区域中任意两点密度相连，当前聚类簇生成完毕，再在剩余核心点集合中选择核心点生成聚类簇，直至核心点集为空，输出簇划分。
步骤404，确定车位语义特征和充电桩对象特征在世界坐标系下的位置。
在一些实施例中，确定车位语义特征在世界坐标系下的位置，可以通过坐标系转换的方式来实现。基于用于采集第一车辆周围环境图像的相机的参数和标定参数，根据第一车辆周围环境图像生成顶视图，在顶视图的像素坐标系下，确定车位语义特征的坐标，将车位语义特征的坐标转换为预设坐标系中的三维坐标，以预设坐标系中的三维坐标作为车位语义特征在预设坐标系下的位置。
具体地，首先，确定车位语义特征在鱼眼相机坐标系下的位置；然后，将车位语义特征在鱼眼相机坐标下的位置转换为顶视图坐标系下的位置；然后，将车位语义特征在顶视图坐标系下的位置转换为虚拟相机坐标系下的位置；然后，将车位语义特征在虚拟相机坐标系下的位置转换为Base-link坐标系下的位置；最后，将车位语义特征在Base-link坐标系下的位置转换为世界坐标系下的位置。
下面结合具体的示例对涉及到的各坐标系进行介绍。需要说明的是，下文中所涉及到的各坐标系仅仅是为了更加清楚的说明本申请实施例的技术方案，并不构成对本申请实施例提供的技术方案的限定。
顶视图坐标系，坐标系位于车辆车底平面，以图像左上角为原点，u轴正方向为水平向右，v轴正方向为竖直向下。
鱼眼相机坐标系(以前视鱼眼相机为例)，以相机光心为原点，x轴与顶视图标系的u轴平行，y轴与顶视图坐标系的v轴平行，即x轴指向相机右方，y轴指向相机下方，z轴为相机光轴指向相机前方且与图像平面垂直。
虚拟相机坐标系(虚拟相机为假设在车辆中心上方俯视拍摄的相机)，以相机光心为原点，x轴指向车辆右方，y轴指向车辆后方，z轴指向车辆下方。
Base-link坐标系，以车辆后轴中心为原点，x轴指向车辆前方，y轴指向车辆左方，z轴指向车辆上方。
世界坐标系，以车辆初始位置的后轴中心为原点，x轴指向车辆前方，y 轴指向车辆左方，z轴指向车辆上方。
由鱼眼相机坐标系下的位置转换为顶视图坐标系下的位置：
在确定车位语义特征在鱼眼相机坐标系下的位置之前，需要明确鱼眼相机的参数和标定参数。鱼眼相机的参数为：分别对前视鱼眼相机、后视鱼眼相机、左视鱼眼相机以及右视鱼眼相机进行栅格化后各鱼眼相机的内参数。在介绍标定参数之前，需要引入顶视图的概念。顶视图，即某个时刻，车辆上多个鱼眼相机的观测通过逆透视投影生成的图像。
在本申请实施例中，标定参数的方法如下：
在标定时，车辆静止在平整路面上，采用标定板直接获取从鱼眼相机图像到顶视图坐标系的对应关系，计算生成各鱼眼相机的原始图像与顶视图像素的映射关系。
各鱼眼相机的原始图像与顶视图像素的映射关系可以表示如下：
Figure GDA0003630616900000181
其中，(xp,yp)表示顶视图的坐标，(xf,yf)表示鱼眼相机的坐标，f表示相机焦距。
由标定的4对特征点可以计算出8个未知参数，从而得到单应性矩阵
Figure GDA0003630616900000191
利用单应性矩阵完成俯视变换。
可知，通过鱼眼相机的参数能够确定车位语义特征在鱼眼相机坐标系下的位置，通过上述的俯视变换，能够将车位语义特征在鱼眼相机坐标系下的位置转换为车位语义特征在顶视图坐标系下的位置。
需要说明的是，将车位语义特征由顶视图坐标系下的位置转换为世界坐标系下的位置，可以采用已有的转换方法，本申请实施例对此不做限定。
在另一些实施例中，确定充电桩对象特征在世界坐标下的位置，也可以通过坐标系转换的方式来实现。在第一车辆周围环境图像中，确定对应充电桩对象特征的ORB特征点，根据对应充电桩对象特征的ORB特征点的三维坐标确定充电桩的三维坐标，将充电桩的三维坐标转换为预设坐标系中的三维坐标，以预设坐标系中的三维坐标作为充电桩对象特征在预设坐标系下的位置。
在顶视图坐标系下能够确定车位语义特征像素点的三维坐标位置，并通过语义约束的ICP算法对各点进行匹配跟踪，计算在各个图像之间的位置，其中车位线、角点和限位板均在地面上，其深度为0。
在一些可选的实施方式中，语义约束算法可以通过非线性优化的方式，对两幅第一车辆周围环境图像中的点云，求解旋转矩阵R和平移向量t使得包含语义约束的误差函数结果最小，通过高斯牛顿法优化最小误差，最终得到使得误差函数最小的旋转矩阵R和平移向量t。
需要说明的是，坐标系转换的方法与上述的转换方法相同。在本申请实施例中，预设坐标系为世界坐标系。
步骤405，将车位语义特征、充电桩对象特征、车位语义特征在预设坐标系下的位置以及充电桩对象特征在预设坐标系下的位置融合至特征点地图形成地图。
在一些实施例中，在将车位语义特征、充电桩对象特征、车位语义特征在世界坐标系下的位置以及充电桩对象特征在世界坐标系下的位置融合至特征点地图形成地图之后，若对应车位语义特征的车位不具有充电桩则进行标记；若对应车位语义特征的车位具有充电桩则进行标记。例如标记为该车位不具有充电桩、该车位具有充电桩。
需要说明的是，构建的地图可以为多层地图，不同层的地图之间的差异为路标不同。在本申请实施例中，路标为车位线、角点、限位板以及充电桩，路标包含其自身的描述信息和位置信息。例如，车位层地图，路标是车位特征；slam层地图，路标是orb特征点。
图6示出了本申请实施例的另一种车辆定位方法的流程图，该方法应用于布置于车辆上的控制设备或控制车辆行驶的远程控制设备。参见图6，该方法包括如下步骤：
步骤601，在车辆按照预设轨迹运动过程中，获取第二车辆周围环境图像和车辆轮速计数据，预设轨迹上具有一个或多个车位，至少部分车位具有充电桩。
在本申请实施例中，通过布置在车辆上的图像采集装置来获取车辆周围环境图像、布置在车辆上的轮速计来获取车辆轮速计数据。在一些可选的实施方式中，在车辆的前后保险杠分别布置一个鱼眼相机，在车辆的左右后视镜下边沿处分别布置一个鱼眼相机，通过四个鱼眼相机能够采集第二车辆周围环境图像。在一些可选的实施方式中，在车辆的四个车轮处分别布置一个轮速计来采集车辆轮速计数据。
需要说明的是，预设轨迹为车辆装卸货物的路线，可以预先布置在控制设备中，通过第二车辆周围环境图像和车辆轮速计数据来控制车辆按照装卸货物的路线来行驶。
继续参见图1，假设车辆位于入口处正向，根据相邻帧间的第二车辆周围环境图像估算车辆位姿，利用预先构建的地图进行实时定位。在车辆运动过程中通过提取到的第二车辆周围环境图像中的特征与预先构建的地图中的特征进行匹配，得到两种特征之间的差别，从而更新车辆的位姿来实现车辆的定位。
在一些可选的实施方式中，可以采用扩展卡尔曼滤波器方法来更新车辆的位姿来实现车辆的定位，具体地，首先根据车辆运动模型预测车辆的位姿，然后将采集到的车辆周围环境图像与预先构建的地图进行匹配，最后根据预测后的车辆位姿以及匹配的特征计算车辆应该观测到的图像，并利用应该观测到的图像与实际采集得到的第二车辆周围环境图像之间的差距来更新车辆的位姿。
在一些可选的实施方式中，建立车辆运动学模型，对于给定的装卸货物路线，用于参考车辆的运动轨迹描述，采用PID反馈控制来控制方向盘转角和前进速度，使车辆能够沿装卸货物路线进行行驶。
需要说明的是，若车辆不需要充电，则继续按照装卸货物路线进行行驶。若车辆需要充电，则执行步骤602。
步骤602，在车辆需要充电时，根据第二车辆周围环境图像、车辆轮速计数据以及预先构建的地图，控制车辆驶入具有充电桩且未被占用的车位并使得车辆充电口对准充电桩。
在本申请实施例中，若车辆需要充电，首先需要根据第二车辆周围环境图像和预先构建的地图来查询位于车辆行驶轨迹上的车位是否具有充电桩，在具有充电桩时需要检测车位是否被其他车辆占用。
在一些可选的实施方式中，利用Faster RCNN网络提取车辆周围环境图像的特征，结合语义、上下文信息、位置先验信息以及目标形状先验信息等，计算检测框的能量损失函数，提取精确的目标检测框，确定车位。
在确定出车位后查询地图并检测车位是否可进行充电。在一些实施例中，可以通过查询地图中的标记来确定车位是否具有充电桩，若车位具有充电桩则初步判断车位可用于充电，进一步检测车位是否被占用，若未被占用则说明该车位可用于充电。
在一些实施例中，根据第二车辆周围环境图像、车辆轮速计数据以及预先构建的地图，控制车辆驶入具有充电桩且未被占用的车位并使得车辆充电口对准充电桩包括以下步骤：
步骤6021，在车位具有充电桩且未被占用时，基于预先构建的地图中的车位语义特征和车位语义特征在世界坐标系下的位置，根据第二车辆周围环境图像和车辆轮速计数据控制车辆驶入具有充电桩且未被占用的车位。
在本申请实施例中，预先构建的地图中包含车位语义特征、充电桩对象特征、车位语义特征在世界坐标系下的位置以及充电桩对象特征在世界坐标系下的位置。车位语义特征包括车位线语义特征、角点语义特征以及限位板语义特征。
在本申请实施例中，控制车辆驶入具有充电桩且未被占用的车位。首先，根据车辆周围环境图像检测识别车位、车位的车位线、车位的角点和车位的限位板。
然后，根据车位的车位线、车位的角点、车位的限位板、车位语义特征、车位语义特征在世界坐标系下的位置对车辆进行定位。在一些可选的实施方式中，基于构建的地图，通过语义约束的ICP算法实现点云的配准，通过配准后的配对点云坐标位置变化提供相机位姿约束优化相机位姿估计，实现车辆定位，再基于地图上个点的语义和位置信息，进一步计算车辆相对于当前停车位的定位。
最后，基于车辆的定位，根据车辆轮速计数据控制车辆驶入具有充电桩且未被占用的车位。在一些可选的实施方式中，参见图7，可以采用RRT算法对车辆的路径进行规划，在环境中具有一个起始点，随机撒一个点，若该点在可行驶区域，则连接起始点和该点，两点之间的线段构成一颗最简单的树，继续重复在环境中撒点并判断添加到已经存在的树上，直到目标点被添加到树上，能够找到起始点到目标点的路径。具体地，可以基于PID反馈控制的控制器控制方向盘转角和前进速度，根据α和β的角度差和距离dx实现车辆横向控制，根据距离差dx实现车辆的纵向控制。
步骤6022，基于预先构建的地图中的充电桩对象特征和充电桩对象特征在世界坐标系下的位置，根据第二车辆周围环境图像和车辆轮速计数据控制车辆使得车辆充电口对准充电桩。
在本申请实施例中，控制车辆使得车辆充电口对准充电桩。首先，根据车辆周围环境图像检测识别充电桩。在一些可选的实施方式中，通过目标检测的方式确定充电桩。
然后，根据检测识别到的充电桩、充电桩对象特征以及充电桩对象特征在世界坐标系下的位置对车辆进行定位。在一些可选的实施方式中，检测相邻帧的充电桩图像的ORB特征，对相邻帧的充电桩图像的ORB特征进行匹配，根据相邻帧的充电桩图像间特征点的对应关系，计算车辆位姿变化，来实现车辆相对于充电桩的定位。
然后，根据充电桩对象特征在世界坐标系下的位置生成虚拟充电车位。在本申请实施例中，参见图8，虚拟充电车位的尺寸可以根据不同车型的车身尺寸来设定，大于或等于车身尺寸(最大尺寸每侧多于车身5cm)并且标定充电口所在位置，在生成虚拟充电车位时，将虚拟充电车位的充电口所在位置对准充电桩，并将虚拟充电车位与真实车位线保持平行。
在一些可选的实施方式中，假设车辆长度为l，宽度为w，在虚拟相机坐标系中充电桩坐标为(x,y,z)，车辆充电口距车辆后中心水平距离为Δx，充电设备最大可突出充电桩的距离为Δy，那么虚拟充电车位的大小为(l+10) *(w+10),虚拟充电车位的中心坐标为(x+Δx,y-Δy-l/2,0)，虚拟充电车位左下角角点坐标为(x+Δx-w/2,y-Δy,0)。示例地，生成的虚拟充电车位的设置方式如图9所示。
在一些可选的实施方式中，若充电桩较光滑，其上特征点较少，则需要对充电桩轮廓线进行采样，基于相机的运动对个采样点进行三角测量，通过在两处观察同一点的夹角而确定该点的深度。具体地，假设空间点Q，在相机运动过程中有图像I1经过变换矩阵T到图像I2，在I1中有特征点Q1， I2中有特征点Q2,两个特征点为三位空间中点Q的对应点，x1，x2为两个特征点的归一化坐标，s1，s2为两个特征点的深度。根据对极几何中的定义，有s1x1＝s2Rx2+t，对上式两侧左乘一个x1^，得s1x1^x1＝0＝s2x1^Rx2+x1^t，右侧可看成s2的一个方程，可直接求得s2，继而可得s1，得到两帧下点的深度，即可确定点Q的空间坐标。计算包含两侧边缘各个采样点的坐标平均值
Figure GDA0003630616900000241
取(X，Y，Z)为充电桩对象的几何中心，由此可得充电桩对象的空间点位置。
最后，基于车辆的定位，根据车辆轮速计数据控制车辆驶入虚拟充电车位使得车辆充电口对准虚拟充电车位的充电口。
根据本申请的实施例，在车辆按照预设轨迹运动过程中，获取第二车辆周围环境图像和车辆轮速计数据，在车辆需要充电时，根据第二车辆周围环境图像、车辆轮速计数据以及预先构建的地图，控制车辆驶入具有充电桩且未被占用的车位并使得车辆充电口对准充电桩，从而能够改善车辆充电口对准充电桩的准确性。
图10示出了本申请实施例的又一种车辆定位方法的流程图。参见图10，该方法包括以下步骤：
步骤1001，获取车辆按照预设轨迹运动时第一车辆周围环境图像。
步骤1002，对第一辆周围环境图像进行ORB特征点提取，并基于提取到的ORB特征点构建特征点地图。
步骤1003，根据第一车辆周围环境图像确定车位语义特征和充电桩对象特征，充电桩对象特征包括充电桩语义特征。
步骤1004，确定车位语义特征在世界坐标系下的位置和充电桩对象特征在世界坐标系下的位置。
步骤1005，将车位语义特征、充电桩对象特征、车位语义特征在世界坐标系下的位置以及充电桩对象特征在世界坐标系下的位置融合至特征点地图形成地图。
步骤1006，在车辆按照预设轨迹运动过程中，获取第二车辆周围环境图像和车辆轮速计数据，预设轨迹上具有一个或多个车位，至少部分车位具有充电桩。
步骤1007，在车辆需要充电时，根据第二车辆周围环境图像、车辆轮速计数据以及构建的地图，控制车辆驶入具有充电桩且未被占用的车位并使得车辆充电口对准充电桩。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图11示出了本申请实施例的地图构建装置的方块图，该装置应用于布置于车辆上的控制设备或控制车辆行驶的远程控制设备，或者可被实现为应用于布置于车辆上的控制设备或控制车辆行驶的远程控制设备。参见图11，该装置包括第一获取模块1101、地图构建模块1102、特征确定模块1103、位置确定模块1104以及地图融合模块1105。
第一获取模块1101，用于获取车辆按照预设轨迹运动时的第一车辆周围环境图像。
地图构建模块1102，用于对所述第一车辆周围环境图像进行ORB特征点提取，并基于提取到的ORB特征点构建特征点地图。
特征确定模块1103，用于根据所述第一车辆周围环境图像确定所述车位语义特征和充电桩对象特征，所述充电桩对象特征包括充电桩语义特征。
位置确定模块1104，用于确定所述车位语义特征和所述充电桩对象特征在世界坐标系下的位置。
地图融合模块1105，用于将所述车位语义特征、所述充电桩对象特征、所述车位语义特征在世界坐标系下的位置以及所述充电桩对象特征在世界坐标系下的位置融合至所述特征点地图形成地图。
图12示出了本申请实施例的一种车辆定位装置的方框图，该装置应用于布置于车辆上的控制设备或控制车辆行驶的远程控制设备，或者可被实现为应用于布置于车辆上的控制设备或控制车辆行驶的远程控制设备。参见图 12，该装置包括第二获取模块1201、第三获取模块1202和车辆控制模块1203。
第二获取模块1201，用于在车辆按照预设轨迹运动过程中，获取车辆周围环境图像，所述预设轨迹上具有一个或多个车位，至少部分车位具有充电桩。
第三获取模块1202，用于在车辆按照预设轨迹运动过程中，获取车辆轮速计数据。
车辆控制模块1203，用于在车辆需要充电时，根据所述车辆周围环境图像、所述车辆轮速计数据以及预先构建的地图，控制车辆驶入具有充电桩且未被占用的车位并使得车辆充电口对准充电桩。
在一些实施例中，车辆控制模块1102具体用于：
在车位具有充电桩且未被占用时，基于所述预先构建的地图中的车位语义特征和车位语义特征在世界坐标系下的位置，根据所述车辆周围环境图像和所述车辆轮速计数据控制车辆驶入具有充电桩且未被占用的车位；
基于所述预先构建的地图中的充电桩对象特征和充电桩对象特征在世界坐标系下的位置，根据所述车辆周围环境图像和所述车辆轮速计数据控制车辆使得车辆充电口对准充电桩。
在一些实施例中，车辆控制模块1102具体还用于：
根据所述车辆周围环境图像检测识别车位、车位的车位线、车位的角点和车位的限位板；
根据所述车位的车位线、所述车位的角点、所述车位的限位板、所述车位语义特征、所述车位语义特征在世界坐标系下的位置对车辆进行定位，所述车位语义特征包括车位线语义特征、角点语义特征以及限位板语义特征；
基于车辆的定位，根据车辆轮速计数据控制车辆驶入具有充电桩且未被占用的车位。
在一些实施例中，车辆控制模块1102具体还用于：
根据所述车辆周围环境图像检测识别充电桩；
根据检测识别到的充电桩、所述充电桩对象特征以及所述充电桩对象特征在世界坐标系下的位置对车辆进行定位；
根据所述充电桩对象特征在世界坐标系下的位置生成虚拟充电车位，所述虚拟充电车位具有充电口，且所述虚拟充电车位的充电口对准充电桩，且所述虚拟充电车位的尺寸大于或等于车辆车身尺寸；
基于车辆的定位，根据所述车辆轮速计数据控制车辆驶入所述虚拟充电车位使得车辆充电口对准所述虚拟充电车位的充电口。
在一些实施例中，该装置还包括地图构建模块，该地图构建模块具体用于：
获取车辆按照预设轨迹运动时的第一车辆周围环境图像；
对所述第一车辆周围环境图像进行ORB特征点提取，并基于提取到的ORB 特征点构建特征点地图；
根据所述第一车辆周围环境图像确定所述车位语义特征和充电桩对象特征，所述充电桩对象特征包括充电桩语义特征；
确定所述车位语义特征和所述充电桩对象特征在世界坐标系下的位置；
将所述车位语义特征、所述充电桩对象特征、所述车位语义特征在世界坐标系下的位置以及所述充电桩对象特征在世界坐标系下的位置融合至所述特征点地图形成地图。
在一些实施例中，地图构建模块具体还用于：
根据所述第一车辆周围环境图像的两帧图像生成初始化地图；
根据所述第一车辆周围环境图像的两帧图像中每一对匹配的所述ORB特征点，在所述初始化地图中生成新的特征点来形成所述特征点地图。
在一些实施例中，地图构建模块具体还用于：
在所述第一车辆周围环境图像的当前帧图像与最后一个关键帧图像发生一段距离的移动时，将当前帧图像加入到所述初始化地图以更新所述特征点地图。
在一些实施例中，地图构建模块具体还用于：
对所述第一车辆周围环境图像进行语义分割，使得所述第一车辆周围环境图像中每个像素均对应一个分类标签，所述分类标签包括所述车位线语义特征、所述角点语义特征、所述限位板语义特征以及所述充电桩语义特征；
将所述车位线语义特征对应的像素、所述角点语义特征对应的像素以及所述限位板语义特征对应的像素确定为所述车位语义特征；
根据所述充电桩语义特征对应的像素确定所述充电桩对象特征。
在一些实施例中，地图构建模块具体还用于：
将所述充电桩语义特征对应的像素的像素值设为1，将除去所述充电桩语义特征对应的像素，剩余的像素的像素值设为0；
将像素值为1且像素位置相邻的像素作为充电桩像素，形成所述充电桩对象特征。
在一些实施例中，地图构建模块具体还用于：
基于用于采集所述第一车辆周围环境图像的相机的参数和标定参数，根据所述第一车辆周围环境图像生成顶视图；
在所述顶视图的像素坐标系下，确定所述车位语义特征的坐标；
将所述车位语义特征的坐标转换为所述世界坐标系中的三维坐标，以所述世界坐标系中的三维坐标作为所述车位语义特征在所述世界坐标系下的位置。
在一些实施例中，地图构建模块具体还用于：
在所述第一车辆周围环境图像中，确定对应所述充电桩对象特征的ORB 特征点；
根据对应所述充电桩对象特征的ORB特征点的三维坐标确定充电桩的三维坐标；
将所述充电桩的三维坐标转换为世界坐标系中的三维坐标，以所述世界坐标系中的三维坐标作为所述充电桩对象特征在所述世界坐标系下的位置。
在一些实施例中，地图构建模块具体还用于：
若对应所述车位语义特征的车位不具有充电桩则进行标记；
若对应所述车位语义特征的车位具有充电桩则进行标记。
需要说明的是：上述实施例提供的道路容量的确定装置在确定道路容量时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的道路容量的确定装置与道路容量的确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(digital subscriber line，DSL))或无线(例如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(digital versatile disc，DVD))或半导体介质(例如：固态硬盘(solid state disk，SSD))等。值得注意的是，本申请实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
应当理解的是，本文提及的“至少一个”是指一个或多个，“多个”是指两个或两个以上。在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
以上所述为本申请提供的示例性实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种地图构建方法，其特征在于，包括：
获取车辆按照预设轨迹运动时的第一车辆周围环境图像；
对所述第一车辆周围环境图像进行ORB特征点提取，并基于提取到的ORB特征点构建特征点地图；
根据所述第一车辆周围环境图像确定车位语义特征和充电桩对象特征，所述充电桩对象特征包括充电桩语义特征；
确定所述车位语义特征和所述充电桩对象特征在预设坐标系下的位置；
将所述车位语义特征、所述充电桩对象特征、所述车位语义特征在预设坐标系下的位置以及所述充电桩对象特征在预设坐标系下的位置融合至所述特征点地图形成地图；
其中，所述根据所述第一车辆周围环境图像确定所述车位语义特征和充电桩对象特征包括：
对所述第一车辆周围环境图像进行语义分割，使得所述第一车辆周围环境图像中每个像素均对应一个分类标签，所述分类标签包括车位线语义特征、角点语义特征、限位板语义特征以及充电桩语义特征；
将所述车位线语义特征对应的像素、所述角点语义特征对应的像素以及所述限位板语义特征对应的像素确定为所述车位语义特征；
根据所述充电桩语义特征对应的像素确定所述充电桩对象特征。
2.根据权利要求1所述的方法，其特征在于，所述基于提取到的ORB特征点构建特征点地图包括：
根据所述第一车辆周围环境图像的两帧图像生成初始化地图；
根据所述第一车辆周围环境图像的两帧图像中每一对匹配的所述ORB特征点，在所述初始化地图中生成新的特征点来形成所述特征点地图。
3.根据权利要求2所述的方法，其特征在于，所述基于提取到的ORB特征点构建特征点地图还包括：
在所述第一车辆周围环境图像的当前帧图像与最后一个关键帧图像发生一段距离的移动时，将当前帧图像加入到所述初始化地图以更新所述特征点地图。
4.根据权利要求1所述的方法，其特征在于，所述根据所述充电桩语义特征对应的像素确定所述充电桩对象特征包括：
将所述充电桩语义特征对应的像素的像素值设为1，将除去所述充电桩语义特征对应的像素，剩余的像素的像素值设为0；
将像素值为1且像素位置相邻的像素作为充电桩像素，形成所述充电桩对象特征。
5.根据权利要求1所述的方法，其特征在于，所述确定所述车位语义特征在预设坐标系下的位置包括：
基于用于采集所述第一车辆周围环境图像的相机的参数，根据所述第一车辆周围环境图像生成顶视图；
在所述顶视图的像素坐标系下，确定所述车位语义特征的坐标；
将所述车位语义特征的坐标转换为所述预设坐标系中的三维坐标，以所述预设坐标系中的三维坐标作为所述车位语义特征在所述预设坐标系下的位置。
6.根据权利要求1所述的方法，其特征在于，确定所述充电桩对象特征在世界坐标系下的位置包括：
在所述第一车辆周围环境图像中，确定对应所述充电桩对象特征的ORB特征点；
根据对应所述充电桩对象特征的ORB特征点的三维坐标确定充电桩的三维坐标；
将所述充电桩的三维坐标转换为预设坐标系中的三维坐标，以所述预设坐标系中的三维坐标作为所述充电桩对象特征在所述预设坐标系下的位置。
7.根据权利要求1所述的方法，其特征在于，所述将所述车位语义特征、所述充电桩对象特征、所述车位语义特征在预设坐标系下的位置以及所述充电桩对象特征在预设坐标系下的位置融合至所述特征点地图形成地图之后，还包括：
若对应所述车位语义特征的车位不具有充电桩则进行标记，标记为该车位不具有充电桩；
若对应所述车位语义特征的车位具有充电桩则进行标记，标记为该车位具有充电桩。
8.一种地图构建装置，其特征在于，包括：
第一获取模块，用于获取车辆按照预设轨迹运动时的第一车辆周围环境图像；
地图构建模块，用于对所述第一车辆周围环境图像进行ORB特征点提取，并基于提取到的ORB特征点构建特征点地图；
特征确定模块，用于根据所述第一车辆周围环境图像确定车位语义特征和充电桩对象特征，所述充电桩对象特征包括充电桩语义特征；
位置确定模块，用于确定所述车位语义特征和所述充电桩对象特征在世界坐标系下的位置；
地图融合模块，用于将所述车位语义特征、所述充电桩对象特征、所述车位语义特征在世界坐标系下的位置以及所述充电桩对象特征在世界坐标系下的位置融合至所述特征点地图形成地图；
其中，所述特征确定模块具体用于：
对所述第一车辆周围环境图像进行语义分割，使得所述第一车辆周围环境图像中每个像素均对应一个分类标签，所述分类标签包括车位线语义特征、角点语义特征、限位板语义特征以及充电桩语义特征；
将所述车位线语义特征对应的像素、所述角点语义特征对应的像素以及所述限位板语义特征对应的像素确定为所述车位语义特征；
根据所述充电桩语义特征对应的像素确定所述充电桩对象特征。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7 任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7 任一项所述的方法。
CN202111173288.9A 2021-10-08 2021-10-08 地图构建方法、装置、设备和存储介质 Active CN113822299B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111173288.9A CN113822299B (zh) 2021-10-08 2021-10-08 地图构建方法、装置、设备和存储介质
CN202210486328.3A CN114821117A (zh) 2021-10-08 2021-10-08 车辆定位方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111173288.9A CN113822299B (zh) 2021-10-08 2021-10-08 地图构建方法、装置、设备和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210486328.3A Division CN114821117A (zh) 2021-10-08 2021-10-08 车辆定位方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113822299A CN113822299A (zh) 2021-12-21
CN113822299B true CN113822299B (zh) 2022-07-08

Family

ID=78919939

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210486328.3A Pending CN114821117A (zh) 2021-10-08 2021-10-08 车辆定位方法、装置、设备和存储介质
CN202111173288.9A Active CN113822299B (zh) 2021-10-08 2021-10-08 地图构建方法、装置、设备和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210486328.3A Pending CN114821117A (zh) 2021-10-08 2021-10-08 车辆定位方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (2) CN114821117A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355921B (zh) * 2021-12-28 2022-10-18 北京易航远智科技有限公司 车辆循迹轨迹生成方法、装置、电子设备及存储介质
CN114119759B (zh) * 2022-01-28 2022-06-14 杭州宏景智驾科技有限公司 多位置机动车定位方法和装置、电子设备和存储介质
CN114619908B (zh) * 2022-03-11 2023-09-26 国网陕西省电力有限公司电力科学研究院 一种充电桩监控设备、充电桩及充电桩监控方法
CN117091589B (zh) * 2023-10-20 2024-02-06 安徽蔚来智驾科技有限公司 高精地图中车位与充电桩匹配方法、装置及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109637177A (zh) * 2018-12-19 2019-04-16 斑马网络技术有限公司 车辆定位方法、装置、设备和存储介质
CN110738673A (zh) * 2019-10-21 2020-01-31 哈尔滨理工大学 基于实例分割的视觉slam方法
CN111679688A (zh) * 2020-06-18 2020-09-18 小狗电器互联网科技（北京）股份有限公司 一种自走机器人的充电方法、装置、可读介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734455B2 (en) * 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109637177A (zh) * 2018-12-19 2019-04-16 斑马网络技术有限公司 车辆定位方法、装置、设备和存储介质
CN110738673A (zh) * 2019-10-21 2020-01-31 哈尔滨理工大学 基于实例分割的视觉slam方法
CN111679688A (zh) * 2020-06-18 2020-09-18 小狗电器互联网科技（北京）股份有限公司 一种自走机器人的充电方法、装置、可读介质及电子设备

Also Published As

Publication number Publication date
CN114821117A (zh) 2022-07-29
CN113822299A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN113822299B (zh) 地图构建方法、装置、设备和存储介质
CN106599108B (zh) 一种三维环境中多模态环境地图构建方法
CN111797734B (zh) 车辆点云数据处理方法、装置、设备和存储介质
CN108027877B (zh) 用于非障碍区检测的系统和方法
US11417017B2 (en) Camera-only-localization in sparse 3D mapped environments
CN104833370B (zh) 用于映射、定位和位姿校正的系统和方法
WO2021046716A1 (zh) 目标对象的检测方法、系统、设备及存储介质
CN110807350A (zh) 用于面向扫描匹配的视觉slam的系统和方法
WO2018120040A1 (zh) 一种障碍物检测方法及装置
US9042639B2 (en) Method for representing surroundings
US11120280B2 (en) Geometry-aware instance segmentation in stereo image capture processes
Parra et al. Robust visual odometry for vehicle localization in urban environments
WO2020258297A1 (zh) 图像语义分割方法、可移动平台及存储介质
CN113865580A (zh) 构建地图的方法、装置、电子设备及计算机可读存储介质
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
Badino et al. Stereo-based free space computation in complex traffic scenarios
Zhang et al. Real-time obstacle detection based on stereo vision for automotive applications
CN113111787A (zh) 目标检测方法、装置、设备以及存储介质
Braillon et al. Occupancy grids from stereo and optical flow data
Jiang et al. Multilayer map construction and vision-only multi-scale localization for intelligent vehicles in underground parking
Barth et al. Vehicle tracking at urban intersections using dense stereo
WO2022141262A1 (en) Object detection
Min et al. Motion detection using binocular image flow in dynamic scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant