CN110657812A - 车辆定位方法、装置及车辆 - Google Patents
车辆定位方法、装置及车辆 Download PDFInfo
- Publication number
- CN110657812A CN110657812A CN201810712873.3A CN201810712873A CN110657812A CN 110657812 A CN110657812 A CN 110657812A CN 201810712873 A CN201810712873 A CN 201810712873A CN 110657812 A CN110657812 A CN 110657812A
- Authority
- CN
- China
- Prior art keywords
- road
- vehicle
- image
- positioning
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
Abstract
本发明提出一种车辆定位方法、装置及车辆，其中方法包括：获取当前时间车辆摄像头采集的图像；对图像进行识别，获取道路特征；获取当前时间对应的特征窗口，特征窗口为当前时间车辆在导航地图上的定位区域，导航地图上设置有道路特征及其坐标信息；将图像中的道路特征与特征窗口进行匹配，在特征窗口中存在与道路特征对应的匹配道路特征时，根据匹配道路特征对应的坐标信息，确定车辆的定位信息，从而能够先根据车辆的卫星定位信息，在导航地图上确定一个定位区域，由于该定位区域较小，包括的道路特征也较少，从而能够在该定位区域上对车辆进行准确定位，避免对车道线进行改动，定位成本低，适用范围大，定位准确度高，提高用户的使用体验。
Description
技术领域
本发明涉及车辆技术领域，尤其涉及一种车辆定位方法、装置及车辆。
背景技术
目前的车辆定位方法，主要是采用车辆摄像头采集车道线上提前设置好的专用标记图像，然后将专用标记图像特征与预设地图上提前设置的各专用标记图像特征进行比对，确定车辆的定位信息。然而上述方案中，需要在不同的车道线，以及车道线的不同线路段上设置不同的专用标记，对车道线的改动太大，定位成本高，且上述方案的适用范围小，可行性低。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种车辆定位方法，用于解决现有技术中对车道线的改动太大，成本高，且适用范围小的问题。
本发明的第二个目的在于提出一种车辆定位装置。
本发明的第三个目的在于提出一种车辆。
本发明的第四个目的在于提出另一种车辆定位装置。
本发明的第五个目的在于提出一种非临时性计算机可读存储介质。
本发明的第六个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种车辆定位方法，包括：
获取当前时间车辆摄像头采集的图像；
对所述图像进行识别，获取所述图像中的道路特征；
获取所述当前时间对应的特征窗口；所述特征窗口为所述当前时间车辆在导航地图上的定位区域；所述导航地图上设置有道路特征以及对应的坐标信息；
将所述图像中的道路特征与所述特征窗口进行匹配，判断所述特征窗口中是否存在与所述道路特征对应的匹配道路特征；
在所述特征窗口中存在与所述道路特征对应的匹配道路特征时，根据所述匹配道路特征对应的坐标信息，确定所述车辆的定位信息。
进一步的，所述道路特征的类型可以包括以下类型中的任意一个或者多个：点特征、线段特征和特定目标识别特征，其中，所述特定目标识别特征包含车道线、导向箭头、停车线、人行道、红绿灯、电线杆、道路标识牌、马路牙中的一种或多种信息。
进一步的，所述对所述图像进行识别，获取所述图像中的道路特征，包括：
将所述图像输入区域划分模型，获取所述图像中的多个道路特征区域；
针对每个道路特征区域，对所述道路特征区域进行识别，获取所述道路特征区域中道路特征的类型；
根据所述道路特征区域中道路特征的类型，将所述道路特征区域输入对应的特征识别模型，获取所述道路特征区域中的道路特征。
进一步的，所述获取所述当前时间对应的特征窗口，包括：
获取所述当前时间所述车辆的卫星定位信息；
根据所述卫星定位信息查询所述导航地图，获取所述导航地图上与所述卫星定位信息对应的定位区域；
将所述定位区域，确定为所述车辆当前时间对应的特征窗口。
进一步的，所述根据所述匹配道路特征对应的坐标信息，确定所述车辆的定位信息之后，还包括：
对所述图像进行识别，获取所述车辆距离车道线的距离；
根据所述车辆距离车道线的距离，对所述车辆的定位信息进行调整，得到调整后的定位信息。
进一步的，所述的方法还包括：
在对所述图像进行识别时，若未获取到所述图像中的图像特征，则获取下一个待进行车辆定位的时间，将该时间作为当前时间，重新获取当前时间车辆摄像头采集的图像。
进一步的，所述车辆摄像头采集图像的周期，根据所述车辆的行驶速度进行确定。
本发明实施例的车辆定位方法，通过获取当前时间车辆摄像头采集的图像；对图像进行识别，获取图像中的道路特征；获取当前时间对应的特征窗口，特征窗口为当前时间车辆在导航地图上的定位区域，导航地图上设置有道路特征以及对应的坐标信息；将图像中的道路特征与特征窗口进行匹配，在特征窗口中存在与道路特征对应的匹配道路特征时，根据匹配道路特征对应的坐标信息，确定车辆的定位信息，从而能够先根据车辆的卫星定位信息，在导航地图上确定一个定位区域，由于该定位区域较小，包括的道路特征也较少，即使道路特征上未作标记，也能够在该定位区域上对车辆进行准确定位，从而避免对车道线等进行改动，定位成本低，适用范围大，确保定位的准确性，提高用户的使用体验。
为达上述目的，本发明第二方面实施例提出了一种车辆定位装置，包括：
获取模块，用于获取当前时间车辆摄像头采集的图像；
识别模块，用于对所述图像进行识别，获取所述图像中的道路特征；
所述获取模块，还用于获取所述当前时间对应的特征窗口；所述特征窗口为所述当前时间车辆在导航地图上的定位区域；所述导航地图上设置有道路特征以及对应的坐标信息；
匹配模块，用于将所述图像中的道路特征与所述特征窗口进行匹配，判断所述特征窗口中是否存在与所述道路特征对应的匹配道路特征；
确定模块，用于在所述特征窗口中存在与所述道路特征对应的匹配道路特征时，根据所述匹配道路特征对应的坐标信息，确定所述车辆的定位信息。
进一步的，所述道路特征的类型可以包括以下类型中的任意一个或者多个：车道线、道路标识牌和马路牙。
进一步的，所述识别模块具体用于，
将所述图像输入区域划分模型，获取所述图像中的多个道路特征区域；
针对每个道路特征区域，对所述道路特征区域进行识别，获取所述道路特征区域中道路特征的类型；
根据所述道路特征区域中道路特征的类型，将所述道路特征区域输入对应的特征识别模型，获取所述道路特征区域中的道路特征。
进一步的，所述获取模块具体用于，
获取所述当前时间所述车辆的卫星定位信息；
根据所述卫星定位信息查询所述导航地图，获取所述导航地图上与所述卫星定位信息对应的定位区域；
将所述定位区域，确定为所述车辆当前时间对应的特征窗口。
进一步的，所述的装置还包括：调整模块；
所述识别模块，还用于对所述图像进行识别，获取所述车辆距离车道线的距离；
所述调整模块，用于根据所述车辆距离车道线的距离，对所述车辆的定位信息进行调整，得到调整后的定位信息。
进一步的，所述获取模块，还用于在对所述图像进行识别时，若未获取到所述图像中的图像特征，则获取下一个待进行车辆定位的时间，将该时间作为当前时间，重新获取当前时间车辆摄像头采集的图像。
进一步的，所述车辆摄像头采集图像的周期，根据所述车辆的行驶速度进行确定。
本发明实施例的车辆定位装置，通过获取当前时间车辆摄像头采集的图像；对图像进行识别，获取图像中的道路特征；获取当前时间对应的特征窗口，特征窗口为当前时间车辆在导航地图上的定位区域，导航地图上设置有道路特征以及对应的坐标信息；将图像中的道路特征与特征窗口进行匹配，在特征窗口中存在与道路特征对应的匹配道路特征时，根据匹配道路特征对应的坐标信息，确定车辆的定位信息，从而能够先根据车辆的卫星定位信息，在导航地图上确定一个定位区域，由于该定位区域较小，包括的道路特征也较少，即使道路特征上未作标记，也能够在该定位区域上对车辆进行准确定位，从而避免对车道线等进行改动，定位成本低，适用范围大，确保定位的准确性，提高用户的使用体验。
为达上述目的，本发明第三方面实施例提出了一种车辆，包括：设置在车辆上的摄像头、卫星定位部件，以及如上所述的车辆定位装置。
为达上述目的，本发明第四方面实施例提出了另一种车辆定位装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的车辆定位方法。
为了实现上述目的，本发明第五方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令被处理器执行时，实现如上所述的方法。
为达上述目的，本发明第六方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上所述的方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的一种车辆定位方法的流程示意图；
图2为本发明实施例提供的另一种车辆定位方法的流程示意图；
图3为本发明实施例提供的一种车辆定位装置的结构示意图；
图4为本发明实施例提供的另一种车辆定位装置的结构示意图；
图5为本发明实施例提供的另一种车辆定位装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的车辆定位方法、装置及车辆。
图1为本发明实施例提供的一种车辆定位方法的流程示意图。如图1所示，该车辆定位方法包括以下步骤：
S101、获取当前时间车辆摄像头采集的图像。
本发明提供的车辆定位方法的执行主体为车辆定位装置，车辆定位装置具体可以为硬件设备或者软件设备。硬件设备例如车辆、车辆对应的后台服务器等。软件设备例如车辆或者后台服务器上安装的软件等。
本实施例中，当前时间可以为当前时间点或者当前时间段。车辆摄像头采集的图像的数量可以为一个或者多个。例如，在当前时间为当前时间段的情况下，车辆摄像头采集的图像可以为当前时间段车辆摄像头采集的视频数据流中的其中一个图像，或者，为当前时间段车辆摄像头采集的视频数据流。本实施例中，车辆定位装置可以预先设置摄像头采集图像的周期以及卫星定位周期，例如，每隔1分钟等。其中，摄像头采集图像的周期与卫星定位周期可以相同，或者摄像头采集图像的周期为卫星定位周期的整数倍数。
本实施例中，由于车辆前部的视野比较开阔，容易拍摄到车道线、道路标识牌、马路牙等，因此，车辆摄像头可以位于车辆前部，用于采集车辆前部的图像。另外，车辆摄像头也可以位于车辆的其他部位，用于采集车辆周围的包括道路特征的图像。因此，可以根据实际需要，确定摄像头的设置位置以及朝向。
本实施例中，车辆摄像头可以包括：镜头和视觉传感器。其中，视觉传感器可以由感光传感器sensor组成，根据不同的成像要求，sensor的规格不同。其中，根据不同的视觉覆盖范围，镜头的角度一般可以包括10°～90°范围；根据不同的识别范围要求，视觉传感器的sensor，一般可以包括640*320至1920*1080；以便于在不同范围不同角度上都能够准确提取到道路的路况特征。
本实施例中，车辆定位装置在执行步骤101之前，可以对涉及到的部件进行上电、初始化处理，例如车辆上设置的摄像头、卫星定位部件等，以便摄像头周期性采集图像，以及使得卫星定位部件周期性的进行卫星定位。
S102、对图像进行识别，获取图像中的道路特征。
本实施例中，车辆定位装置可以将图像输入预设的图像识别模型，获取所述图像识别模型输出的识别结果，其中，图像中的道路特征的类型可以包括以下类型中的任意一个或者多个：车道线、道路标识牌和马路牙等环境信息。对应的，图像中的道路特征可以包括以下特征中的任意一个或者多个：点特征、线段特征和特定目标识别特征，其中，所述特定目标识别特征包含车道线、导向箭头、停车线、人行道、红绿灯、电线杆、道路标识牌、马路牙中的一种或多种信息。
其中，针对点特征，可通过尺度不变特征变换匹配SURF算法对所述图像中的点特征进行识别与提取；由于SURF算法具有尺度不变的特性，所以可以充分利用该特性，实现当车辆与特征的距离、角度发生变化时，仍然可以进行特征匹配的效果。另外，由于SURF算法利用积分图像实现加速，通过计算图像中某矩形区域内所有像素点的和，进行快速计算，因此，通过SURF算法提取图像中的点特征，可以大大提高图像中点特征的提取效率。
针对线段特征，可通过边缘检测Canny算法对所述图像中的边缘特征进行识别与提取，并基于直线检测算法(如概率霍夫变换)对提取到的边缘特征进行识别，得到所述图像中的线段特征；也就是说，可通过Canny算法对所述图像进行边缘检测，由于Canny算法可对图像进行滤波和梯度运算之外的边缘细化和连接处理，所以可以使得边缘定位精度高。
为了减少噪声对图像边缘检测的影响，可选地，在对图像中的线段特征进行提取之前，可先通过高斯算子对图像平滑滤波，然后通过Canny算法计算去噪后的图像梯度幅值、方向和非极大值抑制，之后设定高低阈值去除假的边缘和连接真的边缘，得到图像中的边缘特征。在边缘特征提取后，可使用概率霍夫变换进行拟合识别。例如，可在参数空间的离散化网格中，利用“多对一”映射将各个像素点映射到参数空间，然后通过累加“投票”得到共线的像素点在参数空间的映射，进而获得线段霍夫变换后的线段特征。作为一种示例，提取的线段特征可包括但不限于：位置、斜率、起始点、断开点、终止点、线边缘梯度分布、线条颜色分布等。
进一步的，针对特定目标识别特征中的任意一种特征，本实施例中，步骤102之前，所述的方法还可以包括以下步骤：获取训练样本，训练样本中包括：多个图像，以及对应的道路特征；将所述多个图像以及对应的道路特征输入初始图像识别模型，对初始图像识别模型进行训练，得到预设的图像识别模型。
另外，为了确保图像识别模型识别的准确度，本实施例中，车辆定位装置还可以在车辆摄像头采集的图像较少时，根据车辆摄像头采集的图像以及对应的道路特征，对预设的图像识别模型进行再次训练，提高图像识别模型对道路特征进行识别的准确度。其中，车辆定位装置可以根据车辆的行驶速度确定车辆摄像头采集图像的周期，例如车辆行驶较快时，采集周期较短；又例如，车辆行驶较慢时，采集周期较长。因此，车辆在处于停止状态或者缓慢行驶时采集的图像数量，小于车辆快速行驶时采集的图像数量。
另外，在对图像进行识别时，若未获取到图像中的图像特征，则获取下一个待进行车辆定位的时间，将该时间作为当前时间，重新获取当前时间车辆摄像头采集的图像，重新对图像进行识别，也就是说，重新执行上述步骤101和步骤102，直至获取到图像中的图像特征。
进一步的，为了确保图像识别模型识别的准确度，本实施例中，步骤102之前，还可以先对图像进行预处理，例如图像增强、直方图均衡化等。
S103、获取当前时间对应的特征窗口；特征窗口为当前时间车辆在导航地图上的定位区域；导航地图上设置有道路特征以及对应的坐标信息。
本实施例中，由于普通导航地图上未设置道路特征以及对应的坐标信息，因此，可以通过在普通导航地图上叠加包括道路特征以及对应的坐标信息的图层，从而得到本实施例中的导航地图。
进一步的，本实施例中，车辆定位装置执行步骤103的过程具体可以为，获取当前时间车辆的卫星定位信息；根据卫星定位信息查询导航地图，获取导航地图上与卫星定位信息对应的定位区域；将定位区域，确定为车辆当前时间对应的特征窗口。本实施例中，由于卫星定位信息具有一定的定位精度，因此在导航地图上确定的定位区域的范围一般较小，例如直径为10米左右，而目前的道路的宽度一般都大于10米，宽度小于10米的道路较少，且该定位区域内的道路特征较少，基本上不存在重复的道路特征，因此，将图像中的道路特征与特征窗口进行匹配，确定得到的车辆的定位信息的精度较高。
S104、将图像中的道路特征与特征窗口进行匹配，判断特征窗口中是否存在与道路特征对应的匹配道路特征。
本实施例中，需要说明的是，车道线特征例如可以为车道线上的特征点；道路标识牌特征例如可以为道路标识牌上的特征点；马路牙特征例如可以为马路牙上的特征点。对应的，车辆定位装置执行步骤104的过程具体可以为，将图像中的特征点与特征窗口中的特征点进行匹配，确定特征窗口中与图像的相似度大于预设阈值的道路特征，将该道路特征确定为匹配道路特征。
S105、在特征窗口中存在与道路特征对应的匹配道路特征时，根据匹配道路特征对应的坐标信息，确定车辆的定位信息。
本实施例中，为了进一步提高横向方向上的定位精度，在上述实施例的基础上，所述的方法还可以包括以下步骤：对图像进行识别，提取图像中的车道线特征；根据图像中的车道线特征，获取车道线与车辆纵轴之间的横向距离信息，从而获取车辆距离车道线的距离；根据车辆距离车道线的距离，对车辆的定位信息进行调整，得到调整后的定位信息，从而能够将车辆在横向方向上的定位精度提高到亚米级别。
本发明实施例的车辆定位方法，通过获取当前时间车辆摄像头采集的图像；对图像进行识别，获取图像中的道路特征；获取当前时间对应的特征窗口，特征窗口为当前时间车辆在导航地图上的定位区域，导航地图上设置有道路特征以及对应的坐标信息；将图像中的道路特征与特征窗口进行匹配，在特征窗口中存在与道路特征对应的匹配道路特征时，根据匹配道路特征对应的坐标信息，确定车辆的定位信息，从而能够先根据车辆的卫星定位信息，在导航地图上确定一个定位区域，由于该定位区域较小，包括的道路特征也较少，即使道路特征上未作标记，也能够在该定位区域上对车辆进行准确定位，从而避免对车道线等进行改动，定位成本低，适用范围大，确保定位的准确性，且匹配难度降低，匹配速度提高，提高用户的使用体验。
图2为本发明实施例提供的另一种车辆定位方法的流程示意图，如图2所示，在图1所示实施例的基础上，步骤102具体可以包括以下步骤：
S1021、将图像输入区域划分模型，获取图像中的多个道路特征区域。
本实施例中，车辆定位装置可以预先获取划分样本；划分样本中包括：多个图像以及对应的区域划分结果；根据划分样本对初始的区域划分模型进行训练，得到所述区域划分模型。其中，对图像的划分，指的是将图像按照道路特征的类型进行划分，例如，若图像中包括车道线、道路标识牌和马路牙，则分别将车道线、道路标识牌和马路牙所在的区域划分出来作为一个道路特征区域。其中，划分得到的道路特征区域的数量，可以与图像中车道线、道路标识牌和马路牙的数量一致。
S1022、针对每个道路特征区域，对道路特征区域进行识别，获取道路特征区域中道路特征的类型。
本实施例中，车辆定位装置可以预先获取分类样本；分类样本中包括：多个道路特征区域以及对应的分类结果；根据分类样本对初始的分类模型进行训练，得到分类模型。然后将每个道路特征区域输入分类模型，获取道路特征区域中道路特征的类型。其中，区域划分模型和分类模型可以为卷积神经网络模型CNN。
S1023、根据道路特征区域中道路特征的类型，将道路特征区域输入对应的特征识别模型，获取道路特征区域中的道路特征。
本实施例中，针对道路特征的每个类型，可以建立相应的特征识别模型，并采用相同类型的道路特征区域，对特征识别模型进行训练。例如，采用类型为车道线的道路特征区域，对车道线特征识别模型进行训练；采用类型为道路标识牌的道路特征区域，对道路标识牌特征识别模型进行训练；采用类型为马路牙的道路特征区域，对马路牙特征识别模型进行训练。其中，车道线特征识别模型、道路标识牌特征识别模型和马路牙特征识别模型可以为卷积神经网络模型CNN。
本实施例中，通过先将图像划分为道路特征区域，识别道路特征区域中道路特征的类型，然后采用与类型对应的特征识别模型对道路特征区域进行识别，能够提高图像识别的准确度，从而进一步提高定位的准确度。
本发明实施例的车辆定位方法，通过获取当前时间车辆摄像头采集的图像；将图像输入区域划分模型，获取图像中的多个道路特征区域；针对每个道路特征区域，对道路特征区域进行识别，获取道路特征区域中道路特征的类型；根据道路特征区域中道路特征的类型，将道路特征区域输入对应的特征识别模型，获取道路特征区域中的道路特征；获取当前时间对应的特征窗口，特征窗口为当前时间车辆在导航地图上的定位区域，导航地图上设置有道路特征以及对应的坐标信息；将图像中的道路特征与特征窗口进行匹配，在特征窗口中存在与道路特征对应的匹配道路特征时，根据匹配道路特征对应的坐标信息，确定车辆的定位信息，从而能够先根据车辆的卫星定位信息，在导航地图上确定一个定位区域，由于该定位区域较小，包括的道路特征也较少，即使道路特征上未作标记，也能够在该定位区域上对车辆进行准确定位，从而避免对车道线等进行改动，定位成本低，适用范围大，确保定位的准确性，提高用户的使用体验。
图3为本发明实施例提供的一种车辆定位装置的结构示意图。如图3所示，包括：获取模块31、识别模块32、匹配模块33和确定模块34。
其中，获取模块31，用于获取当前时间车辆摄像头采集的图像；
识别模块32，用于对所述图像进行识别，获取所述图像中的道路特征；
所述获取模块31，还用于获取所述当前时间对应的特征窗口；所述特征窗口为所述当前时间车辆在导航地图上的定位区域；所述导航地图上设置有道路特征以及对应的坐标信息；
匹配模块33，用于将所述图像中的道路特征与所述特征窗口进行匹配，判断所述特征窗口中是否存在与所述道路特征对应的匹配道路特征；
确定模块34，用于在所述特征窗口中存在与所述道路特征对应的匹配道路特征时，根据所述匹配道路特征对应的坐标信息，确定所述车辆的定位信息。
本发明提供的车辆定位装置具体可以为硬件设备或者软件设备。硬件设备例如车辆、车辆对应的后台服务器等。软件设备例如车辆或者后台服务器上安装的软件等。
本实施例中，当前时间可以为当前时间点或者当前时间段。车辆摄像头采集的图像的数量可以为一个或者多个。例如，在当前时间为当前时间段的情况下，车辆摄像头采集的图像可以为当前时间段车辆摄像头采集的视频数据流中的其中一个图像，或者，为当前时间段车辆摄像头采集的视频数据流。本实施例中，车辆定位装置可以预先设置摄像头采集图像的周期以及卫星定位周期，例如，每隔1分钟等。其中，摄像头采集图像的周期与卫星定位周期可以相同，或者摄像头采集图像的周期为卫星定位周期的整数倍数。
本实施例中，由于车辆前部的视野比较开阔，容易拍摄到车道线、道路标识牌、马路牙等，因此，车辆摄像头可以位于车辆前部，用于采集车辆前部的图像。另外，车辆摄像头也可以位于车辆的其他部位，用于采集车辆周围的包括道路特征的图像。因此，可以根据实际需要，确定摄像头的设置位置以及朝向。
本实施例中，车辆摄像头可以包括：镜头和视觉传感器。其中，视觉传感器可以由感光传感器sensor组成，根据不同的成像要求，sensor的规格不同。其中，根据不同的视觉覆盖范围，镜头的角度一般可以包括10°～90°范围；根据不同的识别范围要求，视觉传感器的sensor，一般可以包括640*320至1920*1080；以便于在不同范围不同角度上都能够准确提取到道路的路况特征。
本实施例中，车辆定位装置可以将图像输入预设的图像识别模型，获取所述图像识别模型输出的识别结果，其中，图像中的道路特征的类型可以包括以下类型中的任意一个或者多个：车道线、道路标识牌和马路牙等环境信息。对应的，图像中的道路特征可以包括以下特征中的任意一个或者多个：车道线特征、道路标识牌特征、马路牙特征、导向箭头特征、停车线特征、人行道特征、红绿灯特征、电线杆特征等环境特征。其中，道路标识牌例如可以为标识牌、路灯杆、建筑等。
其中，针对点特征，可通过尺度不变特征变换匹配SURF算法对所述图像中的点特征进行识别与提取；由于SURF算法具有尺度不变的特性，所以可以充分利用该特性，实现当车辆与特征的距离、角度发生变化时，仍然可以进行特征匹配的效果。另外，由于SURF算法利用积分图像实现加速，通过计算图像中某矩形区域内所有像素点的和，进行快速计算，因此，通过SURF算法提取图像中的点特征，可以大大提高图像中点特征的提取效率。
针对线段特征，可通过边缘检测Canny算法对所述图像中的边缘特征进行识别与提取，并基于直线检测算法(如概率霍夫变换)对提取到的边缘特征进行识别，得到所述图像中的线段特征；也就是说，可通过Canny算法对所述图像进行边缘检测，由于Canny算法可对图像进行滤波和梯度运算之外的边缘细化和连接处理，所以可以使得边缘定位精度高。
为了减少噪声对图像边缘检测的影响，可选地，在对图像中的线段特征进行提取之前，可先通过高斯算子对图像平滑滤波，然后通过Canny算法计算去噪后的图像梯度幅值、方向和非极大值抑制，之后设定高低阈值去除假的边缘和连接真的边缘，得到图像中的边缘特征。在边缘特征提取后，可使用概率霍夫变换进行拟合识别。例如，可在参数空间的离散化网格中，利用“多对一”映射将各个像素点映射到参数空间，然后通过累加“投票”得到共线的像素点在参数空间的映射，进而获得线段霍夫变换后的线段特征。作为一种示例，提取的线段特征可包括但不限于：位置、斜率、起始点、断开点、终止点、线边缘梯度分布、线条颜色分布等。
进一步的，针对特定目标识别特征中的任意一种特征，在上述实施例的基础上，所述获取模块31具体可以用于，获取当前时间车辆的卫星定位信息；根据卫星定位信息查询导航地图，获取导航地图上与卫星定位信息对应的定位区域；将定位区域，确定为车辆当前时间对应的特征窗口。本实施例中，由于卫星定位信息具有一定的定位精度，因此在导航地图上确定的定位区域的范围一般较小，例如直径为10米左右，而目前的道路的宽度一般都大于10米，宽度小于10米的道路较少，且该定位区域内的道路特征较少，基本上不存在重复的道路特征，因此，将图像中的道路特征与特征窗口进行匹配，确定得到的车辆的定位信息的精度较高。
为了进一步提高横向方向上的定位精度，结合参考图4，在图3所示实施例的基础上，所述的装置还可以包括：调整模块35。
所述识别模块31，还用于对所述图像进行识别，获取所述车辆距离车道线的距离；
所述调整模块35，用于根据所述车辆距离车道线的距离，对所述车辆的定位信息进行调整，得到调整后的定位信息。
本发明实施例的车辆定位装置，通过获取当前时间车辆摄像头采集的图像；对图像进行识别，获取图像中的道路特征；获取当前时间对应的特征窗口，特征窗口为当前时间车辆在导航地图上的定位区域，导航地图上设置有道路特征以及对应的坐标信息；将图像中的道路特征与特征窗口进行匹配，在特征窗口中存在与道路特征对应的匹配道路特征时，根据匹配道路特征对应的坐标信息，确定车辆的定位信息，从而能够先根据车辆的卫星定位信息，在导航地图上确定一个定位区域，由于该定位区域较小，包括的道路特征也较少，即使道路特征上未作标记，也能够在该定位区域上对车辆进行准确定位，从而避免对车道线等进行改动，定位成本低，适用范围大，确保定位的准确性，且匹配难度降低，匹配速度提高，提高用户的使用体验。
进一步的，在上述实施例的基础上，所述识别模块32具体用于，
将所述图像输入区域划分模型，获取所述图像中的多个道路特征区域；
针对每个道路特征区域，对所述道路特征区域进行识别，获取所述道路特征区域中道路特征的类型；
根据所述道路特征区域中道路特征的类型，将所述道路特征区域输入对应的特征识别模型，获取所述道路特征区域中的道路特征。
本实施例中，车辆定位装置可以预先获取划分样本；划分样本中包括：多个图像以及对应的区域划分结果；根据划分样本对初始的区域划分模型进行训练，得到所述区域划分模型。其中，对图像的划分，指的是将图像按照道路特征的类型进行划分，例如，若图像中包括车道线、道路标识牌和马路牙，则分别将车道线、道路标识牌和马路牙所在的区域划分出来作为一个道路特征区域。其中，划分得到的道路特征区域的数量，可以与图像中车道线、道路标识牌和马路牙的数量一致。
本实施例中，车辆定位装置可以预先获取分类样本；分类样本中包括：多个道路特征区域以及对应的分类结果；根据分类样本对初始的分类模型进行训练，得到分类模型。然后将每个道路特征区域输入分类模型，获取道路特征区域中道路特征的类型。其中，区域划分模型和分类模型可以为卷积神经网络模型CNN。
本实施例中，针对道路特征的每个类型，可以建立相应的特征识别模型，并采用相同类型的道路特征区域，对特征识别模型进行训练。例如，采用类型为车道线的道路特征区域，对车道线特征识别模型进行训练；采用类型为道路标识牌的道路特征区域，对道路标识牌特征识别模型进行训练；采用类型为马路牙的道路特征区域，对马路牙特征识别模型进行训练。其中，车道线特征识别模型、道路标识牌特征识别模型和马路牙特征识别模型可以为卷积神经网络模型CNN。
本实施例中，通过先将图像划分为道路特征区域，识别道路特征区域中道路特征的类型，然后采用与类型对应的特征识别模型对道路特征区域进行识别，能够提高图像识别的准确度，从而进一步提高定位的准确度。
图5为本发明实施例提供的另一种车辆定位装置的结构示意图。该车辆定位装置包括：
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行所述程序时实现上述实施例中提供的车辆定位方法。
进一步地，车辆定位装置还包括：
通信接口1003，用于存储器1001和处理器1002之间的通信。
存储器1001，用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1002，用于执行所述程序时实现上述实施例所述的车辆定位方法。
如果存储器1001、处理器1002和通信接口1003独立实现，则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1001、处理器1002及通信接口1003，集成在一块芯片上实现，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
本实施例还提供一种车辆，包括：设置在车辆上的摄像头、卫星定位部件，以及如上所述的车辆定位装置。
本实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的车辆定位方法。
本实施例还提供一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上所述的车辆定位方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种车辆定位方法，其特征在于，包括：
获取当前时间车辆摄像头采集的图像；
对所述图像进行识别，获取所述图像中的道路特征；
获取所述当前时间对应的特征窗口；所述特征窗口为所述当前时间车辆在导航地图上的定位区域；所述导航地图上设置有道路特征以及对应的坐标信息；
将所述图像中的道路特征与所述特征窗口进行匹配，判断所述特征窗口中是否存在与所述道路特征对应的匹配道路特征；
在所述特征窗口中存在与所述道路特征对应的匹配道路特征时，根据所述匹配道路特征对应的坐标信息，确定所述车辆的定位信息。
2.根据权利要求1所述的方法，其特征在于，所述道路特征的类型可以包括以下类型中的任意一个或者多个：点特征、线段特征和特定目标识别特征，其中，所述特定目标识别特征包含车道线、导向箭头、停车线、人行道、红绿灯、电线杆、道路标识牌、马路牙中的一种或多种信息。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述图像进行识别，获取所述图像中的道路特征，包括：
将所述图像输入区域划分模型，获取所述图像中的多个道路特征区域；
针对每个道路特征区域，对所述道路特征区域进行识别，获取所述道路特征区域中道路特征的类型；
根据所述道路特征区域中道路特征的类型，将所述道路特征区域输入对应的特征识别模型，获取所述道路特征区域中的道路特征。
4.根据权利要求1所述的方法，其特征在于，所述获取所述当前时间对应的特征窗口，包括：
获取所述当前时间所述车辆的卫星定位信息；
根据所述卫星定位信息查询所述导航地图，获取所述导航地图上与所述卫星定位信息对应的定位区域；
将所述定位区域，确定为所述车辆当前时间对应的特征窗口。
5.根据权利要求1所述的方法，其特征在于，所述根据所述匹配道路特征对应的坐标信息，确定所述车辆的定位信息之后，还包括：
对所述图像进行识别，获取所述车辆距离车道线的距离；
根据所述车辆距离车道线的距离，对所述车辆的定位信息进行调整，得到调整后的定位信息。
6.根据权利要求1所述的方法，其特征在于，还包括：
在对所述图像进行识别时，若未获取到所述图像中的图像特征，则获取下一个待进行车辆定位的时间，将该时间作为当前时间，重新获取当前时间车辆摄像头采集的图像。
7.根据权利要求1所述的方法，其特征在于，
所述车辆摄像头采集图像的周期，根据所述车辆的行驶速度进行确定。
8.一种车辆定位装置，其特征在于，包括：
获取模块，用于获取当前时间车辆摄像头采集的图像；
识别模块，用于对所述图像进行识别，获取所述图像中的道路特征；
所述获取模块，还用于获取所述当前时间对应的特征窗口；所述特征窗口为所述当前时间车辆在导航地图上的定位区域；所述导航地图上设置有道路特征以及对应的坐标信息；
匹配模块，用于将所述图像中的道路特征与所述特征窗口进行匹配，判断所述特征窗口中是否存在与所述道路特征对应的匹配道路特征；
确定模块，用于在所述特征窗口中存在与所述道路特征对应的匹配道路特征时，根据所述匹配道路特征对应的坐标信息，确定所述车辆的定位信息。
9.一种车辆，其特征在于，包括：设置在车辆上的摄像头、卫星定位部件，以及如权利要求8所述的车辆定位装置。
10.一种车辆定位装置，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的车辆定位方法。
11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的车辆定位方法。
12.一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如权利要求1-7中任一所述的车辆定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810712873.3A CN110657812A (zh) | 2018-06-29 | 2018-06-29 | 车辆定位方法、装置及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810712873.3A CN110657812A (zh) | 2018-06-29 | 2018-06-29 | 车辆定位方法、装置及车辆 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110657812A true CN110657812A (zh) | 2020-01-07 |
Family
ID=69027117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810712873.3A Pending CN110657812A (zh) | 2018-06-29 | 2018-06-29 | 车辆定位方法、装置及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110657812A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112068171A (zh) * | 2020-09-08 | 2020-12-11 | 广州小鹏自动驾驶科技有限公司 | 一种车辆定位的方法及装置、车辆、存储介质 |
| CN112415552A (zh) * | 2020-11-17 | 2021-02-26 | 北京百度网讯科技有限公司 | 车辆位置的确定方法、装置及电子设备 |
| CN112507992A (zh) * | 2021-02-04 | 2021-03-16 | 腾讯科技（深圳）有限公司 | 道路图像之间的拍摄距离确定方法、装置、设备及介质 |
| CN112883058A (zh) * | 2021-03-23 | 2021-06-01 | 北京车和家信息技术有限公司 | 用于车辆定位的标定方法、装置、设备、车辆和介质 |
| CN113763716A (zh) * | 2021-08-24 | 2021-12-07 | 武汉光电工业技术研究院有限公司 | 针对卫星定位的动态坐标同步方法、装置及视频巡检车 |
| WO2022002149A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种初始定位方法、视觉导航设备、仓储系统 |
| WO2023019509A1 (zh) * | 2021-08-19 | 2023-02-23 | 浙江吉利控股集团有限公司 | 基于环境匹配的车辆定位方法、装置、车辆及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110243457A1 (en) * | 2010-03-31 | 2011-10-06 | Aisin Aw Co., Ltd. | Scene matching reference data generation system and position measurement system |
| CN103376110A (zh) * | 2012-04-13 | 2013-10-30 | 上海博泰悦臻电子设备制造有限公司 | 图片导航方法及对应的图片导航设备、图片导航系统 |
| CN107339996A (zh) * | 2017-06-30 | 2017-11-10 | 百度在线网络技术（北京）有限公司 | 车辆自定位方法、装置、设备及存储介质 |
| CN107850672A (zh) * | 2015-08-11 | 2018-03-27 | 大陆汽车有限责任公司 | 用于精确车辆定位的系统和方法 |
-
2018
- 2018-06-29 CN CN201810712873.3A patent/CN110657812A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110243457A1 (en) * | 2010-03-31 | 2011-10-06 | Aisin Aw Co., Ltd. | Scene matching reference data generation system and position measurement system |
| CN103376110A (zh) * | 2012-04-13 | 2013-10-30 | 上海博泰悦臻电子设备制造有限公司 | 图片导航方法及对应的图片导航设备、图片导航系统 |
| CN107850672A (zh) * | 2015-08-11 | 2018-03-27 | 大陆汽车有限责任公司 | 用于精确车辆定位的系统和方法 |
| CN107339996A (zh) * | 2017-06-30 | 2017-11-10 | 百度在线网络技术（北京）有限公司 | 车辆自定位方法、装置、设备及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022002149A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种初始定位方法、视觉导航设备、仓储系统 |
| CN112068171A (zh) * | 2020-09-08 | 2020-12-11 | 广州小鹏自动驾驶科技有限公司 | 一种车辆定位的方法及装置、车辆、存储介质 |
| CN112415552A (zh) * | 2020-11-17 | 2021-02-26 | 北京百度网讯科技有限公司 | 车辆位置的确定方法、装置及电子设备 |
| CN112507992A (zh) * | 2021-02-04 | 2021-03-16 | 腾讯科技（深圳）有限公司 | 道路图像之间的拍摄距离确定方法、装置、设备及介质 |
| CN112883058A (zh) * | 2021-03-23 | 2021-06-01 | 北京车和家信息技术有限公司 | 用于车辆定位的标定方法、装置、设备、车辆和介质 |
| WO2023019509A1 (zh) * | 2021-08-19 | 2023-02-23 | 浙江吉利控股集团有限公司 | 基于环境匹配的车辆定位方法、装置、车辆及存储介质 |
| CN113763716A (zh) * | 2021-08-24 | 2021-12-07 | 武汉光电工业技术研究院有限公司 | 针对卫星定位的动态坐标同步方法、装置及视频巡检车 |
| CN113763716B (zh) * | 2021-08-24 | 2022-11-29 | 武汉光电工业技术研究院有限公司 | 针对卫星定位的动态坐标同步方法、装置及视频巡检车 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110657812A (zh) | 车辆定位方法、装置及车辆 | |
| Marzougui et al. | A lane tracking method based on progressive probabilistic Hough transform | |
| JP6670071B2 (ja) | 車両用画像認識システム、及び対応法 | |
| JP6395759B2 (ja) | レーン検出 | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| CN109977776B (zh) | 一种车道线检测方法、装置及车载设备 | |
| CN110658539B (zh) | 车辆定位方法、装置、车辆和计算机可读存储介质 | |
| CN109703465B (zh) | 车载图像传感器的控制方法和装置 | |
| CN110858405A (zh) | 车载摄像头的姿态估计方法、装置和系统及电子设备 | |
| CN104615972B (zh) | 指针式仪表智能识别方法及其装置 | |
| JP2014009975A (ja) | ステレオカメラ | |
| WO2011039977A1 (ja) | 横断歩道標示検出方法および横断歩道標示検出装置 | |
| JP6483360B2 (ja) | 対象物認識装置 | |
| Gao et al. | A practical method of road detection for intelligent vehicle | |
| CN112598743B (zh) | 一种单目视觉图像的位姿估算方法及相关装置 | |
| Xuan et al. | Robust lane-mark extraction for autonomous driving under complex real conditions | |
| CN114543819A (zh) | 车辆定位方法、装置、电子设备及存储介质 | |
| JP2013134609A (ja) | 縁石検出装置及びプログラム | |
| CN116794650A (zh) | 一种毫米波雷达与摄像头数据融合的目标检测方法和装置 | |
| CN111428538A (zh) | 一种车道线提取方法、装置和设备 | |
| CN111126336B (zh) | 样本采集方法、装置及设备 | |
| CN114724119A (zh) | 车道线提取方法、检测设备及存储介质 | |
| CN114037969A (zh) | 基于雷达点云和图像融合的自动驾驶车道信息检测方法 | |
| CN110660113A (zh) | 特征地图的建立方法、装置、采集设备和存储介质 | |
| CN112699825A (zh) | 一种车道线识别方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200107 |