CN114812571B - 车辆定位方法、装置、车辆、存储介质及芯片 - Google Patents

车辆定位方法、装置、车辆、存储介质及芯片 Download PDF

Info

Publication number
CN114812571B
CN114812571B CN202210718878.3A CN202210718878A CN114812571B CN 114812571 B CN114812571 B CN 114812571B CN 202210718878 A CN202210718878 A CN 202210718878A CN 114812571 B CN114812571 B CN 114812571B
Authority
CN
China
Prior art keywords
target
vehicle
ellipsoid
frame
driving environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210718878.3A
Other languages
English (en)
Other versions
CN114812571A (zh
Inventor
李志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210718878.3A priority Critical patent/CN114812571B/zh
Publication of CN114812571A publication Critical patent/CN114812571A/zh
Application granted granted Critical
Publication of CN114812571B publication Critical patent/CN114812571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种车辆定位方法、装置、车辆、存储介质及芯片，该方法通过车载相机采集车辆行驶过程中的多帧行驶环境图像，所述行驶环境图像中包括同一个道路标识牌的图像；获取每帧所述行驶环境图像对应的车辆位姿信息；根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体；将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置。这样，能够根据该道路标识牌对应的目标椭球体实现车辆的高精度定位，能够在有效保证高精度定位结果准确性的同时，有效提升车辆的高精度定位效率。

Description

车辆定位方法、装置、车辆、存储介质及芯片
技术领域
本公开涉及自动驾驶领域，尤其涉及一种车辆定位方法、装置、车辆、存储介质及芯片。
背景技术
高精定位是自动驾驶实现的重要环节，准确的定位是自动驾驶车辆安全行驶的前提。目前的高精定位方法通常需要通过图像识别获取到车辆周边的各种道路元素信息（如车道线、停止线、道路标识牌、灯杆、红绿灯等），然后根据获取到的道路元素信息进行三维重建，最后根据三维重建结果得到车辆在高精地图下的位置。
然而，由于道路标识牌形状各异，且纹理相似度太高，因此三维重建难度较大，三维重建效率较低，重建结果准确性也不高，进而根据三维重建结果得到的车辆位置也会存在准确性较低、可靠性较差的问题。
发明内容
为克服相关技术中存在的问题，本公开提供一种车辆定位方法、装置、车辆、存储介质及芯片。
根据本公开实施例的第一方面，提供一种车辆定位方法，包括：
通过车载相机采集车辆行驶过程中的多帧行驶环境图像，所述行驶环境图像中包括同一个道路标识牌的图像；
获取每帧所述行驶环境图像对应的车辆位姿信息；
根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体；
将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置。
可选地，所述根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体，包括：
根据所述多帧行驶环境图像以及每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的初始椭球体；
根据所述初始椭球体确定所述道路标识牌对应的目标椭球体。
可选地，所述根据所述多帧行驶环境图像以及每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的初始椭球体，包括：
根据每帧所述行驶环境图像对应的所述车辆位姿信息确定该行驶环境图像对应的相机中心点；
获取每帧所述行驶环境图像中所述道路标识牌的位置检测框；
根据每帧行驶环境图像对应的所述位置检测框和所述相机中心点确定该行驶环境图像对应的多个目标切面，所述目标切面为所述相机中心点与所述位置检测框中每条边形成的平面；
根据所述多帧行驶环境图像对应的多个目标切面拟合所述初始椭球体。
可选地，所述根据所述初始椭球体确定所述道路标识牌对应的目标椭球体，包括：
获取所述初始椭球体在每帧行驶环境图像上的投影椭圆，以得到所述多帧行驶环境图像对应的多个投影椭圆；
获取每帧行驶环境图像上的投影椭圆与该行驶环境图像上的位置检测框的残差参数值，所述残差参数值用于表征所述位置检测框与所述投影椭圆对应的包围框之间的距离残差；
根据所述残差参数值对所述初始椭球体进行迭代更新，以得到更新后的所述目标椭球体。
可选地，所述获取每帧行驶环境图像上的投影椭圆与该行驶环境图像上的位置检测框的残差参数值，包括：
获取每帧行驶环境图像上的所述投影椭圆对应的包围框；
获取每帧行驶环境图像对应的所述包围框与该行驶环境图像上的所述位置检测框之间的位置差；
获取所述多帧行驶环境图像对应的多个所述位置差的标准差，以得到所述残差参数值。
可选地，所述车辆位姿信息包括车辆位置，所述方法还包括：
获取所述道路标识牌的目标属性，所述目标属性用于表征所述道路标识牌的类别；
相应地，所述将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置，包括：
根据所述车辆位姿信息中的所述车辆位置确定所述车辆在高精地图中的初始位置；
获取高精地图中所述目标道路标识牌与所述目标椭球体的贴合度，所述目标道路标识牌为所述高精地图中与所述初始位置距离最近的目标属性的标识牌；
根据所述贴合度调整所述车辆在高精地图中的初始位置，以得到所述目标位置。
可选地，所述获取高精地图中所述目标道路标识牌与所述目标椭球体的贴合度，包括：
获取高精地图中所述目标道路标识牌的中心点与所述目标椭球体的中心点之间的目标距离；
根据所述目标距离确定所述贴合度，所述目标距离与所述贴合度负相关。
可选地，所述根据所述贴合度调整所述车辆在高精地图中的初始位置，以得到所述目标位置，包括：
将所述贴合度最高时的所述初始位置作为所述车辆在高精地图中的所述目标位置。
根据本公开实施例的第二方面，提供一种车辆定位装置，包括：
第一获取模块，被配置为通过车载相机采集车辆行驶过程中的多帧行驶环境图像，所述行驶环境图像中包括同一个道路标识牌的图像；
第二获取模块，被配置为获取每帧所述行驶环境图像对应的车辆位姿信息；
椭球体构建模块，被配置为根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体；
确定模块，被配置为将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置。
可选地，所述椭球体构建模块，被配置为：
根据所述多帧行驶环境图像以及每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的初始椭球体；
根据所述初始椭球体确定所述道路标识牌对应的目标椭球体。
可选地，所述椭球体构建模块，被配置为：
根据每帧所述行驶环境图像对应的所述车辆位姿信息确定该行驶环境图像对应的相机中心点；
获取每帧所述行驶环境图像中所述道路标识牌的位置检测框；
根据每帧行驶环境图像对应的所述位置检测框和所述相机中心点确定该行驶环境图像对应的多个目标切面，所述目标切面为所述相机中心点与所述位置检测框中每条边形成的平面；
根据所述多帧行驶环境图像对应的多个目标切面拟合所述初始椭球体。
可选地，所述椭球体构建模块，被配置为：
获取所述初始椭球体在每帧行驶环境图像上的投影椭圆，以得到所述多帧行驶环境图像对应的多个投影椭圆；
获取每帧行驶环境图像上的投影椭圆与该行驶环境图像上的位置检测框的残差参数值，所述残差参数值用于表征所述位置检测框与所述投影椭圆对应的包围框之间的距离残差；
根据所述残差参数值对所述初始椭球体进行迭代更新，以得到更新后的所述目标椭球体。
可选地，所述椭球体构建模块，被配置为：
获取每帧行驶环境图像上的所述投影椭圆对应的包围框；
获取每帧行驶环境图像对应的所述包围框与该行驶环境图像上的所述位置检测框之间的位置差；
获取所述多帧行驶环境图像对应的多个所述位置差的标准差，以得到所述残差参数值。
可选地，所述车辆位姿信息包括车辆位置，所述装置还包括：
第三获取模块，被配置为获取所述道路标识牌的目标属性，所述目标属性用于表征所述道路标识牌的类别；
相应地，所述确定模块，被配置为：
根据所述车辆位姿信息中的所述车辆位置确定所述车辆在高精地图中的初始位置；
获取高精地图中所述目标道路标识牌与所述目标椭球体的贴合度，所述目标道路标识牌为所述高精地图中与所述初始位置距离最近的目标属性的标识牌；
根据所述贴合度调整所述车辆在高精地图中的初始位置，以得到所述目标位置。
可选地，所述确定模块，被配置为：
获取高精地图中所述目标道路标识牌的中心点与所述目标椭球体的中心点之间的目标距离；
根据所述目标距离确定所述贴合度，所述目标距离与所述贴合度负相关。
可选地，所述确定模块，被配置为：
将所述贴合度最高时的所述初始位置作为所述车辆在高精地图中的所述目标位置。
根据本公开实施例的第三方面，提供一种车辆，包括：
第一处理器；
用于存储处理器可执行指令的存储器；
其中，所述第一处理器被配置为：
通过车载相机采集车辆行驶过程中的多帧行驶环境图像，所述行驶环境图像中包括同一个道路标识牌的图像；
获取每帧所述行驶环境图像对应的车辆位姿信息；
根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体；
将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现以上第一方面所述方法的步骤。
根据本公开实施例的第五方面，提供一种芯片，包括第二处理器和接口；所述第二处理器用于读取指令以执行以上第一方面所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
能够通过车载相机采集车辆行驶过程中的多帧行驶环境图像，所述行驶环境图像中包括同一个道路标识牌的图像；获取每帧所述行驶环境图像对应的车辆位姿信息；根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体；将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置。这样，能够根据该道路标识牌对应的目标椭球体实现车辆的高精度定位，能够在有效保证高精度定位结果准确性的同时，提升车辆的高精度定位效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种车辆定位方法的流程图；
图2是本公开一示例性实施例中示出的一种车辆定位方法的流程图；
图3是本公开一示例性实施例示出的一种初始椭球体的示意图；
图4是本公开根据图2所示实施例示出的一种车辆定位方法的流程图；
图5是本公开一示例性实施例中示出的一种车辆定位方法的示意图；
图6是根据图1所示实施例示出的一种车辆定位方法的流程图；
图7是本公开另一示例性实施例示出的一种车辆定位方法的示意图；
图8是本公开一示例性实施例示出的一种车辆定位装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的一种车辆定位方法的流程图，如图1所示，该车辆定位方法可以用于车辆，尤其是自动驾驶车辆，该方法可以包括以下步骤。
在步骤101中，通过车载相机采集车辆行驶过程中的多帧行驶环境图像，该行驶环境图像中包括同一个道路标识牌的图像。
本步骤中，可以通过车载相机周期性采集车辆行驶过程中的行驶环境图像，不同的行驶环境图像由该车载相机在不同采集视角下采集得到。
需要说明的是，该车载相机的姿态相对于车辆可以保持不变，随着车辆的移动，该车载相机与环境中物体的角度发生变化，进而形成不同的采集视角。该行驶环境图像中可以包括道路标识牌、红绿灯、广告牌或者花草树木等。
在步骤102中，获取每帧该行驶环境图像对应的车辆位姿信息。
其中，该车辆位姿信息可以包括车辆位置和车辆姿态，该车辆姿态可以包括车辆在世界坐标系内与各个坐标轴的夹角，例如可以包括车辆中心轴围绕X轴旋转的角度（俯仰角），围绕Y轴旋转的角度（偏航角），围绕Z轴旋转的角度（翻滚角）。
本步骤中，可以通过车辆中的IMU（Inertial Measurement Unit，惯性测量单元）获取车辆位姿信息，通常一个IMU会包含三个单轴的加速度计和三个单轴的陀螺，加速度计用于检测物体在车辆坐标系统独立三轴的加速度信号，而陀螺用于检测车辆相对于导航坐标系（世界坐标系）的角速度信号，IMU可以通过测量车辆在三维空间中的角速度和加速度，并以测量结果计算出车辆的姿态。
在步骤103中，根据该多帧行驶环境图像和每帧该行驶环境图像对应的该车辆位姿信息构建该道路标识牌对应的目标椭球体。
其中，该多帧行驶环境图像可以至少包括三帧行驶环境图像，该多帧行驶环境图像中均包括同一个道路标识牌的图像，行驶环境图像的帧数越多，获取到的目标椭球体的准确性越高。
本步骤中，可以通过以下S1至S2该步骤实现：
S1，根据该多帧行驶环境图像以及每帧该行驶环境图像对应的该车辆位姿信息构建该道路标识牌对应的初始椭球体。
S2，根据该初始椭球体确定该道路标识牌对应的目标椭球体。
在步骤104中，将该目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定该车辆的目标位置。
其中，该目标道路标识牌可以是高精地图中与该车辆距离最近，且与该多帧行驶环境图像中道路标识牌的属性相同的标识牌，该属性用于表征道路标识牌的类别，该类别可以根据道路标识牌形状、颜色和提示内容划分，同一种属性对应的道路标识牌形状、颜色和提示内容均相同。多帧行驶环境图像中包含的所述道路标识牌的目标属性可以通过预先训练的属性识别模型识别得到，即将该行驶环境图像输入该属性识别模型，以使该属性识别模型输出该行驶环境图像中该道路标识牌的目标属性，该属性识别模型可以是基于神经网络算法的机器学习模型；该目标位置可以包括当前车辆在世界坐标系下的位置坐标。
本步骤中所示的位置匹配过程，可以是根据所述车辆位姿信息中的所述车辆位置确定所述车辆在高精地图中的初始位置；获取高精地图中所述目标道路标识牌与所述目标椭球体的贴合度，所述目标道路标识牌为所述高精地图中与所述初始位置距离最近的目标属性的标识牌；根据所述贴合度调整所述车辆在高精地图中的初始位置，以得到所述目标位置。
以上技术方案，能够根据该道路标识牌对应的目标椭球体实现车辆的高精度定位，能够避免在车辆高精度定位过程中进行道路标识牌的三维重建，能够有效保证高精度定位结果的准确性和可靠性。
图2是本公开一示例性实施例中示出的一种车辆定位方法的流程图；以上S1所述的根据该多帧行驶环境图像以及每帧该行驶环境图像对应的该车辆位姿信息构建该道路标识牌对应的初始椭球体，可以包括以下图2所示步骤，如图2所示：
在步骤S11中，根据每帧该行驶环境图像对应的该车辆位姿信息确定该行驶环境图像对应的相机中心点。
其中，在该车载相机的姿态相对于车辆保持不变的情况下，获取到该行驶环境图像对应的车辆位姿信息，可以根据预设的车载相机在车辆坐标系中的位置信息，确定该相机中心点在世界坐标系的位置坐标。
示例地，车辆位姿信息中包括车辆位置坐标（a，b，c），车载相机的相机中心点在车辆坐标系中的位置坐标为（x，y，z），则该相机中心点在世界坐标系的位置坐标可以是（a+x，b+y，c+z）。
在步骤S12中，获取每帧该行驶环境图像中该道路标识牌的位置检测框。
本步骤中，可以将该行驶环境图像输入预先训练的位置检测模型，以使该位置检测模型输出该行驶环境图像中该道路标识牌的位置检测框。
需要说明的是，该位置检测模型可以是深度神经网络模型，也可以是其他机器学习模型，在训练该位置检测模型时，可以通过训练数据对初始的深度神经网络模型进行训练，以得到该位置检测模型，该训练数据包括多个标注有道路标识牌位置的样本图像。
在步骤S13中，根据每帧行驶环境图像对应的该位置检测框和该相机中心点确定该行驶环境图像对应的多个目标切面。
其中，该目标切面为该相机中心点与该位置检测框中每条边形成的平面。
在步骤S14中，根据该多帧行驶环境图像对应的多个目标切面拟合该初始椭球体。
示例的，如图3所示，图3是本公开一示例性实施例示出的一种初始椭球体的示意图，第一帧行驶环境图像对应的相机中心点为P f ，该第一帧行驶环境图像上的道路标识牌对应位置检测框的内切椭圆为C if ，第二帧行驶环境图像对应的相机中心点为P f+1，该第二帧行驶环境图像上的道路标识牌对应位置检测框的内切椭圆为C i（f+1），第三帧行驶环境图像对应的相机中心点为P f+2，该第三帧行驶环境图像上的道路标识牌对应位置检测框的内切椭圆为C i（f+2），由该三帧行驶环境图像对应的3×4个目标切面可以拟合出该初始椭球体，其中每个位置检测框有4条边，每条边与对应的相机中心点形成一个目标切面，因此一个位置检测框能够形成4个目标切面，由三帧行驶环境图像对应的12个目标切面可以拟合出该初始椭球体的各个参数，该初始椭球体的参数可以包括：椭球体的中心点位置坐标（t 1，t 2，t 3），椭球体的长S 1，宽S 2，以及椭球体的朝向姿态（θ1，θ2，θ3），其中，θ1为椭球体的中心轴（长轴或者短轴）与世界坐标系中X轴的夹角，θ2为椭球体的中心轴（长轴或者短轴）与世界坐标系中Y轴的夹角，θ3为椭球体的中心轴（长轴或者短轴）与世界坐标系中Z轴的夹角。另外，由于在高精地图中，不计该道路标识牌的厚度，因此在构建初始椭球体时，该初始椭球体的厚度可以根据经验值进行预设。
需要说明的是，每帧行驶环境图像上检测得到的bounding box（包围盒）矩形框（即位置检测框），均为椭球体投影到该行驶环境图像上的椭圆的最小外接矩形，也就是说，相机中心点与位置检测框的每一条边组成的平面，均与该初始椭球体相切，可以通过很多个该目标切面拟合出该初始椭球体，由于目标切面的数量越多，拟合得到的初始椭球体越准确，但是较多的目标切面拟合过程所需的计算时间也会延长，因此，本公开可以兼顾准确性和计算时间选取构建初始椭球体的行驶环境图像数量。例如，可以基于对计算时间更少的需求，选取3帧行驶环境图像，也可以根据对准确性的需求选取10帧，20帧，50帧等。
通过以上步骤S11至S14，能够通过多个行驶环境图像中该道路标识牌的位置检测框生成该道路标识牌对应的初始椭球体，能够为车辆的高精度定位提供可靠的数据依据。
另外，以上S2所述的根据该初始椭球体确定该道路标识牌对应的目标椭球体，对应的一种可能的实施方式为：将该初始椭球体作为该目标椭球体。
另一种可能的实施方式可以包括以下图4（图4是本公开根据图2所示实施例示出的一种车辆定位方法的流程图；）所示步骤：
在步骤S21中，获取该初始椭球体在每帧行驶环境图像上的投影椭圆，以得到该多帧行驶环境图像对应的多个投影椭圆。
在步骤S22中，获取每帧行驶环境图像上的投影椭圆与该行驶环境图像上的位置检测框的残差参数值。
其中，该残差参数值用于表征该位置检测框与该投影椭圆对应的包围框之间的距离残差。
本步骤中，可以先获取每帧行驶环境图像上的该投影椭圆对应的包围框；然后获取每帧行驶环境图像对应的该包围框与该行驶环境图像上的该位置检测框之间的位置差；再获取该多帧行驶环境图像对应的多个该位置差的标准差，以得到该残差参数值。
需要说明的是，该投影椭圆对应的包围框即为该投影椭圆对应的最小外接矩形，可以获取每帧行驶环境图像中该最小外接矩阵对应的四个顶点与该位置检测框的四个顶点的距离之和，将该距离之和作为该位置差；也可以获取每帧行驶环境图像中该最小外接矩阵的中心点与该位置检测框的中心点之间的中心点距离，将该中心点距离作为该位置差。
在步骤S23中，根据该残差参数值对该初始椭球体进行迭代更新，以得到更新后的该目标椭球体。
本步骤中，在该残差参数值大于预设残差阈值的情况下，可以通过梯度下降法调整该初始椭球体的各个参数，以得到更新后的初始椭球体，获取该更新后的初始椭球体对应的残差参数值，并再次确定该残差参数值是否小于或者等于该预设残差阈值，在确定该残差参数值小于或者等于该预设残差参数阈值的情况下，将该更新后的初始椭球体作为该目标椭球体；在确定该残差参数值大于该预设残差参数阈值的情况下，再次执行通过梯度下降法调整该初始椭球体的各个参数，至确定该残差参数值是否小于或者等于该预设残差阈值的步骤，直至在确定该残差参数值小于或者等于该预设残差参数阈值的情况下，将更新后的初始椭球体作为该目标椭球体。
示例地，如图5所示，图5是本公开一示例性实施例中示出的一种车辆定位方法的示意图，在该图5中，小虚线框为初始椭球体在该行驶环境图像上的投影对应的最小外接矩形，落在该行驶环境图像中的部分，从图中可以看出，该最小外接矩形与该行驶环境图像中的位置检测框重合，此时的该残差参数值为零，该初始椭球体即为该目标椭球体。
通过以上步骤S21至S23，能够根据该残差参数值对该初始椭球体进行迭代更新，以得到更为准确的该目标椭球体，从而能够为车辆的高精度定位提供更为可靠的数据依据。
图6是根据图1所示实施例示出的一种车辆定位方法的流程图；如图6所示，以上步骤104中所述的将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置，可以包括以下步骤1041至步骤1043所示的实施步骤：
在步骤1041中，根据该车辆位姿信息中的该车辆位置确定该车辆在高精地图中的初始位置。
本步骤中，可以将按照时间先后顺序排列的多帧行驶环境图像中的最后一帧该行驶环境图像对应的车辆位置作为该初始位置。
在步骤1042中，获取高精地图中该目标道路标识牌与该目标椭球体的贴合度。
其中，该目标道路标识牌为所述高精地图中与所述初始位置距离最近，且与该多帧行驶环境图像中道路标识牌的属性相同的标识牌（即目标属性的标识牌）。
本步骤中，一种可能的实施方式为：获取高精地图中该目标道路标识牌的四个定点与该目标椭球体的外接矩形的四个顶点之间的指定距离；根据该指定距离调整确定该贴合度，该目标距离与该贴合度负相关，即该距离的绝对值越大，该贴合度越小。
另一种可能的实施方式为：可以获取高精地图中该目标道路标识牌的中心点与该目标椭球体的中心点之间的目标距离；根据该目标距离确定该贴合度，该目标距离与该贴合度负相关，即该距离的绝对值越大，该贴合度越小。
示例的，如图7所示，图7是本公开另一示例性实施例示出的一种车辆定位方法的示意图，在图7中右边的线为道路标识牌在高精地图中的侧视图，左边带点的线为按照本公开技术方案生成的目标椭球体的侧视图，很明显该目标椭球体与该道路标识牌之间存在较大的距离，两者的贴合度较小。
在步骤1043中，根据该贴合度调整该车辆在高精地图中的初始位置，以得到该目标位置。
一种可能的实施方式中，在贴合度较小时，可以调整该初始位置，以使该目标椭球体与高精地图中该目标道路标识牌的贴合度增大，直至该贴合度大于预设贴合度阈值时，将当前的初始位置作为该目标位置。
另一种可能的实施方式中，可以在调整该初始位置信息之后，重新获取该初始位置对应的新的目标椭球体，以及新的目标椭球体与高精地图中该目标道路标识牌的贴合度，如此获取预设数量个贴合度，然后将该贴合度最高时的该初始位置作为该车辆在高精地图中的该目标位置。
以上技术方案，能够根据该道路标识牌对应的目标椭球体实现车辆的高精度定位，能够有效保证高精度定位结果的准确性和可靠性。
图8是本公开一示例性实施例示出的一种车辆定位装置的框图；如图8所示，该车辆定位装置包括：
第一获取模块601，被配置为通过车载相机采集车辆行驶过程中的多帧行驶环境图像，所述行驶环境图像中包括同一个道路标识牌的图像；
第二获取模块602，被配置为获取每帧该行驶环境图像对应的车辆位姿信息；
椭球体构建模块603，被配置为根据该多帧行驶环境图像和每帧该行驶环境图像对应的该车辆位姿信息构建该道路标识牌对应的目标椭球体；
确定模块604，被配置为将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置。
以上技术方案，能够根据该道路标识牌对应的目标椭球体实现车辆的高精度定位，能够有效保证高精度定位结果的准确性和可靠性。
可选地，该椭球体构建模块603，被配置为：
根据该多帧行驶环境图像以及每帧该行驶环境图像对应的该车辆位姿信息构建该道路标识牌对应的初始椭球体；
根据该初始椭球体确定该道路标识牌对应的目标椭球体。
可选地，该椭球体构建模块603，被配置为：
根据每帧该行驶环境图像对应的该车辆位姿信息确定该行驶环境图像对应的相机中心点；
获取每帧该行驶环境图像中该道路标识牌的位置检测框；
根据每帧行驶环境图像对应的该位置检测框和该相机中心点确定该行驶环境图像对应的多个目标切面，该目标切面为该相机中心点与该位置检测框中每条边形成的平面；
根据该多帧行驶环境图像对应的多个目标切面拟合该初始椭球体。
可选地，该椭球体构建模块603，被配置为：
获取该初始椭球体在每帧行驶环境图像上的投影椭圆，以得到该多帧行驶环境图像对应的多个投影椭圆；
获取每帧行驶环境图像上的投影椭圆与该行驶环境图像上的位置检测框的残差参数值，该残差参数值用于表征该位置检测框与该投影椭圆对应的包围框之间的距离残差；
根据该残差参数值对该初始椭球体进行迭代更新，以得到更新后的该目标椭球体。
可选地，该椭球体构建模块603，被配置为：
获取每帧行驶环境图像上的该投影椭圆对应的包围框；
获取每帧行驶环境图像对应的该包围框与该行驶环境图像上的该位置检测框之间的位置差；
获取该多帧行驶环境图像对应的多个该位置差的标准差，以得到该残差参数值。
可选地，所述车辆位姿信息包括车辆位置，所述装置还包括：
第三获取模块，被配置为获取所述道路标识牌的目标属性，所述目标属性用于表征所述道路标识牌的类别；
相应地，所述确定模块604，被配置为：
根据所述车辆位姿信息中的所述车辆位置确定所述车辆在高精地图中的初始位置；
获取高精地图中所述目标道路标识牌与所述目标椭球体的贴合度，所述目标道路标识牌为所述高精地图中与所述初始位置距离最近的目标属性的标识牌；
根据所述贴合度调整所述车辆在高精地图中的初始位置，以得到所述目标位置。
可选地，该确定模块604，被配置为：
获取高精地图中该目标道路标识牌的中心点与该目标椭球体的中心点之间的目标距离；
根据该目标距离确定该贴合度，该目标距离与该贴合度负相关。
可选地，该确定模块604，被配置为：
将该贴合度最高时的该初始位置作为该车辆在高精地图中的该目标位置。
以上技术方案，能够根据该道路标识牌对应的目标椭球体实现车辆的高精度定位，能够有效保证高精度定位结果的准确性和可靠性。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开一示例性实施例中还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现以上图1、图2或图4中任一个所示的车辆定位方法的步骤。
本公开另一示例性实施例中提供一种车辆，该车辆包括：
第一处理器；
用于存储处理器可执行指令的存储器；
其中，该第一处理器被配置为：
通过车载相机采集车辆行驶过程中的多帧行驶环境图像，所述行驶环境图像中包括同一个道路标识牌的图像；
获取每帧所述行驶环境图像对应的车辆位姿信息；
根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体；
将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置。
在另一示例性实施例中，本公开还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的车辆定位方法的代码部分，该计算机程序产品可以是芯片。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种车辆定位方法，其特征在于，包括：
通过车载相机采集车辆行驶过程中的多帧行驶环境图像，所述行驶环境图像中包括同一个道路标识牌的图像；
获取每帧所述行驶环境图像对应的车辆位姿信息；
根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体；
将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置；
所述根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体，包括：
根据所述多帧行驶环境图像以及每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的初始椭球体；
根据所述初始椭球体确定所述道路标识牌对应的目标椭球体；
所述根据所述多帧行驶环境图像以及每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的初始椭球体，包括：
根据每帧所述行驶环境图像对应的所述车辆位姿信息确定该行驶环境图像对应的相机中心点；
获取每帧所述行驶环境图像中所述道路标识牌的位置检测框；
根据每帧行驶环境图像对应的所述位置检测框和所述相机中心点确定该行驶环境图像对应的多个目标切面，所述目标切面为所述相机中心点与所述位置检测框中每条边形成的平面；
根据所述多帧行驶环境图像对应的多个目标切面拟合所述初始椭球体。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始椭球体确定所述道路标识牌对应的目标椭球体，包括：
获取所述初始椭球体在每帧行驶环境图像上的投影椭圆，以得到所述多帧行驶环境图像对应的多个投影椭圆；
获取每帧行驶环境图像上的投影椭圆与该行驶环境图像上的位置检测框的残差参数值，所述残差参数值用于表征所述位置检测框与所述投影椭圆对应的包围框之间的距离残差；
根据所述残差参数值对所述初始椭球体进行迭代更新，以得到更新后的所述目标椭球体。
3.根据权利要求2所述的方法，其特征在于，所述获取每帧行驶环境图像上的投影椭圆与该行驶环境图像上的位置检测框的残差参数值，包括：
获取每帧行驶环境图像上的所述投影椭圆对应的包围框；
获取每帧行驶环境图像对应的所述包围框与该行驶环境图像上的所述位置检测框之间的位置差；
获取所述多帧行驶环境图像对应的多个所述位置差的标准差，以得到所述残差参数值。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述车辆位姿信息包括车辆位置，所述方法还包括：
获取所述道路标识牌的目标属性，所述目标属性用于表征所述道路标识牌的类别；
相应地，所述将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置，包括：
根据所述车辆位姿信息中的所述车辆位置确定所述车辆在高精地图中的初始位置；
获取高精地图中所述目标道路标识牌与所述目标椭球体的贴合度，所述目标道路标识牌为所述高精地图中与所述初始位置距离最近的目标属性的标识牌；
根据所述贴合度调整所述车辆在高精地图中的初始位置，以得到所述目标位置。
5.根据权利要求4所述的方法，其特征在于，所述获取高精地图中所述目标道路标识牌与所述目标椭球体的贴合度，包括：
获取高精地图中所述目标道路标识牌的中心点与所述目标椭球体的中心点之间的目标距离；
根据所述目标距离确定所述贴合度，所述目标距离与所述贴合度负相关。
6.根据权利要求4所述的方法，其特征在于，所述根据所述贴合度调整所述车辆在高精地图中的初始位置，以得到所述目标位置，包括：
将所述贴合度最高时的所述初始位置作为所述车辆在高精地图中的所述目标位置。
7.一种车辆定位装置，其特征在于，包括：
第一获取模块，被配置为通过车载相机采集车辆行驶过程中的多帧行驶环境图像，所述行驶环境图像中包括同一个道路标识牌的图像；
第二获取模块，被配置为获取每帧所述行驶环境图像对应的车辆位姿信息；
椭球体构建模块，被配置为根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体；
确定模块，被配置为将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置；
所述椭球体构建模块，被配置为：
根据所述多帧行驶环境图像以及每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的初始椭球体；
根据所述初始椭球体确定所述道路标识牌对应的目标椭球体；
所述椭球体构建模块，被配置为：
根据每帧所述行驶环境图像对应的所述车辆位姿信息确定该行驶环境图像对应的相机中心点；
获取每帧所述行驶环境图像中所述道路标识牌的位置检测框；
根据每帧行驶环境图像对应的所述位置检测框和所述相机中心点确定该行驶环境图像对应的多个目标切面，所述目标切面为所述相机中心点与所述位置检测框中每条边形成的平面；
根据所述多帧行驶环境图像对应的多个目标切面拟合所述初始椭球体。
8.一种车辆，其特征在于，包括：
第一处理器；
用于存储处理器可执行指令的存储器；
其中，所述第一处理器被配置为：
通过车载相机采集车辆行驶过程中的多帧行驶环境图像，所述行驶环境图像中包括同一个道路标识牌的图像；
获取每帧所述行驶环境图像对应的车辆位姿信息；
根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体；
将所述目标椭球体与高精地图中的目标道路标识牌进行位置匹配，以确定所述车辆的目标位置；
所述根据所述多帧行驶环境图像和每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的目标椭球体，包括：
根据所述多帧行驶环境图像以及每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的初始椭球体；
根据所述初始椭球体确定所述道路标识牌对应的目标椭球体；
所述根据所述多帧行驶环境图像以及每帧所述行驶环境图像对应的所述车辆位姿信息构建所述道路标识牌对应的初始椭球体，包括：
根据每帧所述行驶环境图像对应的所述车辆位姿信息确定该行驶环境图像对应的相机中心点；
获取每帧所述行驶环境图像中所述道路标识牌的位置检测框；
根据每帧行驶环境图像对应的所述位置检测框和所述相机中心点确定该行驶环境图像对应的多个目标切面，所述目标切面为所述相机中心点与所述位置检测框中每条边形成的平面；
根据所述多帧行驶环境图像对应的多个目标切面拟合所述初始椭球体。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
10.一种芯片，其特征在于，包括第二处理器和接口；所述第二处理器用于读取指令以执行权利要求1-6中任一项所述的方法。
CN202210718878.3A 2022-06-23 2022-06-23 车辆定位方法、装置、车辆、存储介质及芯片 Active CN114812571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210718878.3A CN114812571B (zh) 2022-06-23 2022-06-23 车辆定位方法、装置、车辆、存储介质及芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210718878.3A CN114812571B (zh) 2022-06-23 2022-06-23 车辆定位方法、装置、车辆、存储介质及芯片

Publications (2)

Publication Number Publication Date
CN114812571A CN114812571A (zh) 2022-07-29
CN114812571B true CN114812571B (zh) 2022-09-23

Family

ID=82521174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210718878.3A Active CN114812571B (zh) 2022-06-23 2022-06-23 车辆定位方法、装置、车辆、存储介质及芯片

Country Status (1)

Country Link
CN (1) CN114812571B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113282088A (zh) * 2021-05-21 2021-08-20 潍柴动力股份有限公司 工程车的无人驾驶方法、装置、设备、存储介质及工程车

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651953B (zh) * 2016-12-30 2019-10-18 山东大学 一种基于交通指示牌的车辆位姿估计方法
JP7179557B2 (ja) * 2018-09-27 2022-11-29 日立Astemo株式会社 道路標識認識装置
CN109597411A (zh) * 2018-11-29 2019-04-09 北京经纬恒润科技有限公司 车辆信息确定方法及装置
CN112562005A (zh) * 2019-09-26 2021-03-26 华为技术有限公司 一种空间标定方法和系统
US20210180958A1 (en) * 2019-12-16 2021-06-17 Automotive Research & Testing Center Graphic information positioning system for recognizing roadside features and method using the same
CN115004257A (zh) * 2020-05-14 2022-09-02 御眼视觉技术有限公司 用于涉及交通灯和交通标志的交通工具导航的系统和方法
CN113358125B (zh) * 2021-04-30 2023-04-28 西安交通大学 一种基于环境目标检测和环境目标地图的导航方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113282088A (zh) * 2021-05-21 2021-08-20 潍柴动力股份有限公司 工程车的无人驾驶方法、装置、设备、存储介质及工程车

Also Published As

Publication number Publication date
CN114812571A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US11900627B2 (en) Image annotation
EP3407294B1 (en) Information processing method, device, and terminal
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
JP7275280B2 (ja) 教師あり機械学習のための画像の自動ラベリングのためのシステムおよび方法
KR101445739B1 (ko) 도로표지판의 위치검출 방법
CN107741234A (zh) 一种基于视觉的离线地图构建及定位方法
CN111912416B (zh) 用于设备定位的方法、装置及设备
CN114415736B (zh) 一种无人机多阶段视觉精准降落方法和装置
CN112734841A (zh) 一种用轮式里程计-imu和单目相机实现定位的方法
CN110969592A (zh) 图像融合方法、自动驾驶控制方法、装置和设备
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN113705305A (zh) 导航信息展示方法、车道线追踪方法、装置及存储介质
CN114692720A (zh) 基于鸟瞰图的图像分类方法、装置、设备及存储介质
CN113189610A (zh) 地图增强的自动驾驶多目标追踪方法和相关设备
CN114812571B (zh) 车辆定位方法、装置、车辆、存储介质及芯片
CN116295463A (zh) 一种导航地图元素的自动标注方法
CN113139031B (zh) 用于自动驾驶的交通标识的生成方法及相关装置
CN115496873A (zh) 一种基于单目视觉的大场景车道建图方法及电子设备
CN113469045A (zh) 无人集卡的视觉定位方法、系统、电子设备和存储介质
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
CN114332174A (zh) 轨迹图像对齐方法、装置、计算机设备以及存储介质
CN114120701B (zh) 一种泊车定位方法及装置
CN115205828B (zh) 一种车辆定位方法、装置、整车控制器及可读存储介质
CN114531580B (zh) 图像处理方法及装置
CN115294186A (zh) 一种点云处理方法、电子设备及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant