CN111583335B - 定位系统、定位方法和非易失性计算机可读存储介质 - Google Patents

定位系统、定位方法和非易失性计算机可读存储介质 Download PDF

Info

Publication number
CN111583335B
CN111583335B CN201910120248.4A CN201910120248A CN111583335B CN 111583335 B CN111583335 B CN 111583335B CN 201910120248 A CN201910120248 A CN 201910120248A CN 111583335 B CN111583335 B CN 111583335B
Authority
CN
China
Prior art keywords
current
data
positioning
map
around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910120248.4A
Other languages
English (en)
Other versions
CN111583335A (zh
Inventor
温加睿
蒋如意
段勃勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ofilm Intelligent Vehicle Co ltd
Original Assignee
Shanghai Ofilm Intelligent Vehicle Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ofilm Intelligent Vehicle Co ltd filed Critical Shanghai Ofilm Intelligent Vehicle Co ltd
Priority to CN201910120248.4A priority Critical patent/CN111583335B/zh
Publication of CN111583335A publication Critical patent/CN111583335A/zh
Application granted granted Critical
Publication of CN111583335B publication Critical patent/CN111583335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种定位系统和定位方法。本发明实施方式的定位系统包括一个或多个处理器,处理器被配置用于获取当前场景所采集的环视数据,根据定位算法处理采集的环视数据以生成虚拟地图;获取当前场景的当前环视数据,根据定位算法处理当前环视数据及虚拟地图以得到当前定位数据,及根据当前定位数据获取当前定位信息并输出当前定位信息。本发明实施方式的定位系统和定位方法无需依赖高精度地图提供商即可对当前场景主动建立高精度的虚拟地图,只需建立一次虚拟地图即可在当前场景永久实现定位,维持时间长,且使用所采集的环视数据实现定位,具有降低环境因素对定位的影响,提高定位精度,成本较低的优点。

Description

定位系统、定位方法和非易失性计算机可读存储介质
技术领域
本发明涉及定位技术领域,特别涉及一种定位系统、定位方法和非易失性计算机可读存储介质。
背景技术
目前,一般使用高精度惯导系统或者依赖高精度地图提供商提供高精度地图实现高精度定位,高精度惯导系统的维持时间短且成本较高,而高精度地图的维持时间虽然长但成本依旧很高。
发明内容
本发明的实施例提供了一种定位系统、定位方法和非易失性计算机可读存储介质。
本发明实施方式的定位系统包括一个或多个处理器,所述处理器被配置用于获取当前场景所采集的环视数据,根据定位算法处理所述采集的环视数据以生成虚拟地图;获取当前场景的当前环视数据,根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据,及根据所述当前定位数据获取当前定位信息并输出所述当前定位信息。
本发明实施方式的定位系统通过当前场景所采集的环视数据建立虚拟地图,然后根据定位算法处理当前环视数据和虚拟地图以得到当前定位数据,然后根据当前定位数据得到当前定位信息并输出,无需依赖高精度地图提供商即可对当前场景主动建立高精度的虚拟地图,只需建立一次虚拟地图即可在当前场景永久实现定位,维持时间长,且使用所采集的环视数据实现定位,具有降低环境因素对定位的影响,提高定位精度,成本较低的优点。
在某些实施方式中,所述定位系统还包括图像获取装置和传感器,所述定位系统应用于载体,所述图像获取装置用于采集当前场景的环视图像,所述传感器用于采集所述载体的运动数据;所述采集的环视数据包括采集的位置特征数据和采集的所述载体的运动数据,所述定位算法包括深度学习算法和位置识别算法,所述虚拟地图包括与所述位置识别算法对应的特征地图;所述处理器还用于获取当前场景所采集的环视图像和所述运动数据,根据基于所述深度学习算法的神经网络模型提取所述环视图像中的所述位置特征数据,根据所述位置识别算法处理所述位置特征数据和所述运动数据以生成所述特征地图。
定位系统通过神经网络模型提取采集的位置特征数据,提取精度较高,并通过位置识别算法处理位置特征数据和运动数据以生成特征地图,从而获取高精度的特征地图,且用户可通过定位系统对所需要的场景建立对应的特征地图,对不同场景的鲁棒性较好。
在某些实施方式中,所述当前环视数据包括当前位置特征数据,所述处理器还用于获取当前场景的所述当前环视图像,通过所述神经网络模型提取所述当前环视图像中的所述当前位置特征数据,根据所述位置识别算法匹配所述当前位置特征数据与所述特征地图以得到所述当前定位数据。
特征地图是基于当前场景的不同位置的位置特征数据和运动数据构建而成,匹配较为精准,可提高定位精度。
在某些实施方式中,所述定位系统还包括图像获取装置,所述图像获取装置还用于采集当前场景的环视图像;所述采集的环视数据包括点云特征数据,所述定位算法包括点云地图定位算法,所述虚拟地图包括与所述点云地图定位算法对应的点云地图;所述处理器还用于获取当前场景所采集的环视图像,提取所述环视图像中的所述点云特征数据,根据所述点云地图定位算法处理所述点云特征数据以生成所述点云地图。
定位系统通过点云地图定位算法处理点云特征数据以生成点云地图,可获取高精度的点云地图,且用户可通过定位系统对所需要的场景建立对应的点云地图,对不同场景的鲁棒性较好。
在某些实施方式中,所述当前环视数据包括当前点云特征数据,所述处理器还用于获取当前场景的当前环视图像、提取所述当前环视图像中的所述当前点云特征数据,根据所述点云地图定位算法匹配所述当前点云特征数据与所述点云地图以得到所述当前定位数据。
点云地图是基于当前场景的不同位置的点云特征数据构建而成,匹配较为精准,可提高定位精度。
在某些实施方式中,所述定位系统还包括图像获取装置,所述图像获取装置还用于采集当前场景的环视图像;所述采集的环视数据包括采集的语义特征数据,所述定位算法包括语义地图定位算法,所述虚拟地图包括与所述语义地图定位算法对应的语义地图;所述处理器还用于获取当前场景所采集的环视图像,提取所述环视图像中的所述语义特征数据,根据所述语义地图定位算法处理所述语义特征数据以生成语义地图。
定位系统通过语义地图定位算法处理语义特征数据以生成语义地图,可获取高精度的语义地图,且用户可通过定位系统对所需要的场景建立对应的语义地图,对不同场景的鲁棒性较好。
在某些实施方式中,所述处理器还用于根据所述语义地图定位算法识别所述语义特征数据中的障碍物信息,根据所述障碍物信息生成所述语义地图。
语义地图定位算法可识别障碍物,从而可排除障碍物对定位的影响,提升定位精度。
在某些实施方式中,所述当前环视数据包括当前语义特征数据,所述处理器还用于获取当前场景的当前环视图像,提取所述当前环视图像中的所述当前语义特征数据,根据所述语义地图定位算法匹配所述当前语义特征数据与所述语义地图以得到所述当前定位数据。
语义地图是基于当前场景的不同位置的语义特征数据构建而成,匹配较为精准,可提高定位精度。
在某些实施方式中,所述定位系统还包括图像获取装置和传感器,所述定位系统还包括图像获取装置和传感器,所述定位系统应用于载体,所述图像获取装置用于采集当前场景的环视图像,所述传感器用于采集所述载体的运动数据;所述采集的环视数据包括位置特征数据、点云特征数据、语义特征数据、和所述载体的运动数据,所述定位算法包括位置识别算法、点云地图定位算法和语义地图定位算法,所述虚拟地图包括与所述位置识别算法对应的特征地图、与所述点云地图定位算法对应的点云地图、和与所述语义地图定位算法对应的语义地图;所述处理器还用于获取当前场景所采集的环视图像和所述运动数据,提取所述环视图像中的所述位置特征数据、所述点云特征数据和所述语义特征数据,根据所述位置识别算法处理所述位置特征数据和所述运动数据以生成所述特征地图,根据所述点云地图定位算法处理所述点云特征数据以生成所述点云地图,根据所述语义地图定位算法处理所述语义特征数据以生成所述语义地图。
定位系统通过位置识别算法、点云地图定位算法和语义地图定位算法分别生成特征地图、点云地图和语义地图,通过多种算法建立多个虚拟地图,为后续定位提供冗余,可适应不同的定位环境,提高了定位系统的鲁棒性和安全性。
在某些实施方式中,所述当前环视数据包括当前位置特征数据、当前点云特征数据和当前语义特征数据,所述处理器还用于获取当前场景的当前环视图像,提取所述当前环视图像中的所述当前位置特征数据、所述当前点云特征数据和所述当前语义特征数据,根据所述位置识别算法匹配所述当前位置特征数据与所述特征地图以得到第一定位数据,根据所述点云地图定位算法匹配所述当前点云特征数据与所述点云地图以得到第二定位数据,根据所述语义地图定位算法匹配所述当前语义特征数据与所述语义地图以得到第三定位数据,根据融合滤波算法处理所述第一定位数据、所述第二定位数据和所述第三定位数据以获取所述当前定位信息,输出所述当前定位信息。
融合滤波算法可对多个定位数据实现自动适配,相互校正排除干扰,去除异常的信息,从而实现高精度定位。
在某些实施方式中,所述处理器还用于选择工作模式;及当所述工作模式为预处理模式时,获取当前场景所采集的环视数据。
用户可通过预处理模式建立指定场景的虚拟地图,鲁棒性强,且无需依赖高精度地图供应商提供高精度的虚拟地图,可节省成本。
在某些实施方式中,所述处理器还用于选择工作模式;及当所述工作模式为定位模式时,获取当前场景的当前环视数据。
用户手动选择工作模式或定位系统自动判断当前场景是否存在对应的虚拟地图以快速进入定位模式,而无需重新建立虚拟地图,提高定位效率。
本发明实施的定位方法包括获取当前场景所采集的环视数据;根据定位算法处理所述采集的环视数据以生成虚拟地图;获取当前场景的当前环视数据;根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据;及根据所述当前定位数据获取当前定位信息并输出所述当前定位信息。
本发明实施方式的定位方法通过当前场景所采集的环视数据建立虚拟地图,然后根据定位算法处理当前环视数据和虚拟地图以得到当前定位数据,然后根据当前定位数据得到当前定位信息并输出,无需依赖高精度地图提供商即可对当前场景主动建立高精度的虚拟地图,只需建立一次虚拟地图即可在当前场景永久实现定位,维持时间长,且使用所采集的环视数据实现定位,具有降低环境因素对定位的影响,提高定位精度,成本较低的优点。
在某些实施方式中,所述采集的环视数据包括采集的位置特征数据和采集的载体的运动数据,所述定位算法包括深度学习算法和位置识别算法,所述虚拟地图包括与所述位置识别算法对应的特征地图;所述获取当前场景所采集的环视数据,包括:获取当前场景所采集的环视图像和所述运动数据;根据基于所述深度学习算法的神经网络模型提取所述环视图像中的所述位置特征数据;所述根据定位算法处理所述环视数据以生成虚拟地图,包括:根据所述位置识别算法处理所述位置特征数据和所述运动数据以生成所述特征地图。
定位系统通过基于深度学习算法的神经网络模型提取位置特征数据,提取精度较高,并通过位置识别算法处理位置特征数据和运动数据以生成特征地图,从而获取高精度的特征地图,且用户可通过定位系统对所需要的场景建立对应的特征地图,对不同场景的鲁棒性较好。
在某些实施方式中,所述当前环视数据包括当前位置特征数据,所述获取当前场景的当前环视数据,包括:获取当前场景的当前环视图像;通过所述神经网络模型提取所述当前环视图像中的所述当前位置特征数据;所述根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据,包括:根据所述位置识别算法匹配所述当前位置特征数据与所述特征地图以得到所述当前定位数据。
特征地图是基于当前场景的不同位置的位置特征数据和运动数据构建而成,匹配较为精准,可提高定位精度。
在某些实施方式中,所述采集的环视数据包括采集的点云特征数据,所述定位算法包括点云地图定位算法,所述虚拟地图包括与所述点云地图定位算法对应的点云地图;所述获取当前场景所采集的环视数据,包括:获取当前场景所采集的环视图像;提取所述环视图像中的所述点云特征数据;所述根据定位算法处理所述采集的环视数据以生成虚拟地图,包括:根据所述点云地图定位算法处理所述点云特征数据以生成所述点云地图。
定位系统通过点云地图定位算法处理点云特征数据以生成点云地图,可获取高精度的点云地图,且用户可通过定位系统对所需要的场景建立对应的点云地图,对不同场景的鲁棒性较好。
在某些实施方式中,所述当前环视数据包括当前点云特征数据,所述获取当前场景的当前环视数据,包括:获取当前场景的当前环视图像;提取所述当前环视图像中的所述当前点云特征数据;所述根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据,包括:根据所述点云地图定位算法匹配所述当前点云特征数据与所述点云地图以得到所述当前定位数据。
点云地图是基于当前场景的不同位置的点云特征数据构建而成,匹配较为精准,可提高定位精度。
在某些实施方式中,所述采集的环视数据包括采集的语义特征数据,所述定位算法包括语义地图定位算法,所述虚拟地图包括与所述语义地图定位算法对应的语义地图;所述获取当前场景所采集的环视数据,包括:获取当前场景所采集的环视图像;提取所述环视图像中的所述语义特征数据;所述根据定位算法处理所述采集的环视数据以生成虚拟地图,包括:根据所述语义地图定位算法处理所述语义特征数据以生成语义地图。
定位系统通过语义地图定位算法处理语义特征数据以生成语义地图,可获取高精度的语义地图,且用户可通过定位系统对所需要的场景建立对应的语义地图,对不同场景的鲁棒性较好。
在某些实施方式中,所述根据所述语义地图定位算法处理所述语义特征数据以生成语义地图,包括:根据所述语义地图定位算法识别所述语义特征数据中的障碍物信息,根据所述障碍物信息生成所述语义地图。
语义地图定位算法可识别障碍物,从而可排除障碍物对定位的影响,提升定位精度。
在某些实施方式中,所述当前环视数据包括当前语义特征数据,所述获取当前场景的当前环视数据,包括:获取当前场景的当前环视图像;提取所述当前环视图像中的所述当前语义特征数据;所述根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据,包括:根据所述语义地图定位算法匹配所述当前语义特征数据与所述语义地图以得到所述当前定位数据。
语义地图是基于当前场景的不同位置的语义特征数据构建而成,匹配较为精准,可提高定位精度。
在某些实施方式中,所述采集的环视数据包括采集的位置特征数据、采集的点云特征数据、采集的语义特征数据、和采集的载体的运动数据,所述定位算法包括深度学习算法、位置识别算法、点云地图定位算法和语义地图定位算法,所述虚拟地图包括与所述位置识别算法对应的特征地图、与所述点云地图定位算法对应的点云地图、和与所述语义地图定位算法对应的语义地图;所述获取当前场景所采集的环视数据,包括:获取当前场景所采集的环视图像和所述运动数据;提取所述环视图像中的所述位置特征数据、所述点云特征数据和所述语义特征数据;所述根据定位算法处理所述采集的环视数据以生成虚拟地图,包括:根据所述位置识别算法处理所述位置特征数据和所述运动数据以生成所述特征地图;根据所述点云地图定位算法处理所述点云特征数据以生成所述点云地图;根据所述语义地图定位算法处理所述语义特征数据以生成所述语义地图。
定位系统通过位置识别算法、点云地图定位算法和语义地图定位算法分别生成特征地图、点云地图和语义地图,通过多种算法建立多个虚拟地图,为后续定位提供冗余,可适应不同的定位环境,提高了定位系统的鲁棒性和安全性。
在某些实施方式中,所述当前环视数据包括当前位置特征数据、当前点云特征数据和当前语义特征数据,所述获取当前场景的当前环视数据,包括:获取当前场景的当前环视图像;
提取所述当前环视图像中的所述当前位置特征数据、所述当前点云特征数据和所述当前语义特征数据;所述根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据,包括:根据所述位置识别算法匹配所述当前位置特征数据与所述特征地图以得到第一定位数据;根据所述点云地图定位算法匹配所述当前点云特征数据与所述点云地图以得到第二定位数据;根据所述语义地图定位算法匹配所述当前语义特征数据与所述语义地图以得到第三定位数据;所述根据所述当前定位数据获取当前定位信息并输出所述当前定位信息,包括:根据融合滤波算法处理所述第一定位数据、所述第二定位数据和所述第三定位数据以获取所述当前定位信息;及输出所述当前定位信息。
融合滤波算法可对多个定位数据实现自动适配,相互校正排除干扰,去除异常的信息,从而实现高精度定位。
在某些实施方式中,所述定位方法还包括:选择工作模式;及当所述工作模式为预处理模式时,进入所述获取当前场景所采集的环视数据的步骤。
用户可通过预处理模式建立指定场景的虚拟地图,鲁棒性强,且无需依赖高精度地图供应商提供高精度的虚拟地图,可节省成本。
在某些实施方式中,所述定位方法还包括:选择工作模式;及当所述工作模式为定位模式时,进入所述获取当前场景的当前环视数据的步骤。
用户手动选择工作模式或定位系统自动判断当前场景是否存在对应的虚拟地图以快速进入定位模式,而无需重新建立虚拟地图,提高定位效率。
本发明实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可读存储介质中存储的所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行上述任一实施方式所述的定位方法。
本发明实施方式的定位系统、定位方法和非易失性计算机可读存储介质通过当前场景所采集的环视数据建立虚拟地图,然后根据定位算法处理当前环视数据和虚拟地图以得到当前定位数据,然后根据当前定位数据得到当前定位信息并输出,无需依赖高精度地图提供商即可对当前场景主动建立高精度的虚拟地图,只需建立一次虚拟地图即可在当前场景永久实现定位,维持时间长,且使用所采集的环视数据实现定位,具有降低环境因素对定位的影响,提高定位精度,成本较低的优点。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明某些实施方式的定位方法的流程示意图;
图2是本发明某些实施方式的定位系统模块示意图;
图3是本发明某些实施方式的载体的结构示意图;
图4是本发明某些实施方式的定位方法的流程示意图;
图5和图6是本发明某些实施方式的定位方法的场景示意图;
图7至图11是本发明某些实施方式的定位方法的流程示意图。
图12是本发明某些实施方式的计算机可读存储介质与处理器的连接示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
请参阅图1和图2,本发明实施方式的定位方法包括:
010:获取当前场景所采集的环视数据;
020:根据定位算法处理采集的环视数据以生成虚拟地图;
030:获取当前场景的当前环视数据;
040:根据定位算法处理当前环视数据及虚拟地图以得到当前定位数据;及
050:根据当前定位数据获取当前定位信息并输出当前定位信息。
本发明实施方式的定位系统100包括一个或多个处理器10。处理器10被配置用于获取当前场景所采集的环视数据,根据定位算法处理采集的环视数据以生成虚拟地图,获取当前场景的当前环视数据,根据定位算法处理当前环视数据及虚拟地图以得到当前定位数据,及根据当前定位数据获取当前定位信息并输出当前定位信息。
也即是说,步骤010、步骤020、步骤030、步骤040、及步骤050可以由处理器10实现。
具体地,定位系统100首先获取当前场景所采集的环视数据以建立虚拟地图,其中,采集的环视数据包括定位系统100采集的当前场景的不同位置的环视数据,处理器10根据定位算法处理采集环视数据以生成虚拟地图,用户可通过定位系统100主动采集当前场景的环视数据以建立虚拟地图,无需依赖高精度地图提供商提供高精度地图,而是根据用户需要建立对应场景的高精度虚拟地图。在建立虚拟地图后,定位系统100实时采集当前环视数据,然后处理器10根据定位算法匹配当前环视数据和虚拟地图从而得到当前定位数据,处理器10再根据当前定位数据获取当前定位信息,最后定位系统100输出定位信息,例如通过音频设备输出音频定位信息(如,语音播报定位信息)、视频设备输出视频定位信息(如显示屏显示地图及当前所处位置信息)等,从而完成定位信息的输出以让用户了解到自身当前所在的位置,实现实时的、高精度的定位。
本发明实施方式的定位方法和定位系统100通过当前场景所采集的环视数据建立虚拟地图,然后根据定位算法处理当前环视数据和虚拟地图以得到当前定位数据,然后根据当前定位数据得到当前定位信息并输出,无需依赖高精度地图提供商即可对当前场景主动建立高精度的虚拟地图,只需建立一次虚拟地图即可在当前场景永久实现定位,维持时间长,且使用所采集的环视数据实现定位,具有降低环境因素对定位的影响,提高定位精度,成本较低的优点。
在某些实施方式中,请参阅图2和3,定位系统100包括处理器10、图像获取装置20和传感器30,定位系统100可应用于载体1000上,载体1000可以是汽车1000、轮船(尤其无人船)、飞机(尤其无人机)、机器人等任意可移动的装置、定位系统100甚至可为戴在人身上以在人移动时进行定位的穿戴设备,在此不做限制,本发明实施方式以定位系统100应用于汽车1000上为例进行说明。图像获取装置20用于采集当前场景的环视图像,传感器30用于采集载体1000的运动数据(如汽车1000方向盘信息、汽车1000移动速度信息等)。一个例子中,图像获取装置20包括六个摄像头22,分别安装在汽车1000车头两侧、车身两侧、及车尾两侧,多个摄像头22分别用于获取不同方位的图像,一方面能够提高图像获取效率,另一方面能够将多个方位的摄像头22获取的图像合成后得到当前帧的环视图像(全景图像),此处环视图像指的是视场角大于或等于180度,例如,环视图像可为180度、240度、360度、480度、720度等等,处理器10也安装在汽车1000的车身一侧并与六个摄像头22均通信连接。汽车1000可以带动图像获取装置20在道路上移动,构建行进路线上不同位置的环视图像。
请参阅图3和图4,在某些实施方式中,采集的环视数据包括采集的位置特征数据和采集的载体1000的运动数据,定位算法包括深度学习算法和位置识别算法,虚拟地图包括与位置识别算法对应的特征地图;步骤010包括:
011:获取当前场景所采集的环视图像和运动数据;
012:根据基于深度学习算法的神经网络模型提取环视图像中的位置特征数据;
步骤020包括:
021:根据位置识别算法处理位置特征数据和运动数据以生成特征地图。
在某些实施方式中,定位系统100还包括图像获取装置20和传感器30,定位系统100应用于载体1000,图像获取装置20用于采集当前场景的环视图像,传感器30用于采集载体1000的运动数据;处理器10还用于获取当前场景的所采集的环视图像和采集运动数据,根据基于深度学习算法的神经网络模型提取环视图像中的位置特征数据,根据位置识别算法处理位置特征数据和运动数据以生成特征地图。
也即是说,步骤011、步骤012和步骤021可以由处理器10实现。
具体地,定位系统100首先通过图像获取装置20采集当前场景的不同位置的环视图像,并通过传感器30采集汽车1000的运动数据,例如,通过角度传感器采集汽车的方向盘的角度数据;再例如,通过速度传感器采集汽车的行驶速度数据等。然后处理器10获取当前场景的所采集的环视图像和运动数据,其中,采集的环视图像包括汽车1000在当前场景的不同位置时图像获取装置20采集的环视图像,采集的运动数据包括汽车1000在当前场景的不同位置时传感器30采集的运动数据,可以理解,汽车1000在每一个位置均有一个环视图像和对应的运动数据,处理器10根据神经网络模型提取采集的环视图像中的位置特征数据(即,汽车1000在当前场景的不同位置的位置特征数据),在提取得到位置特征数据后,处理器10根据位置识别算法处理位置特征数据和运动数据以生成特征地图,生成特征地图可以是在定位系统100闲置时进行,从而不干扰定位系统100当前的采集工作,充分利用定位系统100的空闲资源,便于进行后续定位。定位系统100通过神经网络模型提取位置特征数据,提取精度较高,并通过位置识别算法处理位置特征数据和运动数据以生成特征地图,从而获取高精度的特征地图,且用户可通过定位系统100对所需要的场景建立对应的特征地图,对不同场景的鲁棒性较好。
请再次参阅图3和4,在某些实施方式中,当前环视数据包括当前位置特征数据,步骤030包括以下步骤:
031:获取当前场景的当前环视图像;
032:通过神经网络模型提取当前环视图像中的当前位置特征数据;
步骤040包括:
041:根据位置识别算法匹配当前位置特征数据与特征地图以得到当前定位数据。
在某些实施方式中,处理器10还用于获取当前场景的当前环视图像,通过神经网络模型提取当前环视图像中的当前位置特征数据,根据位置识别算法匹配当前位置特征数据与特征地图以得到当前定位数据。
也即是说,步骤031、步骤032和步骤041可以由处理器10实现。
具体地,在当前场景没有对应的虚拟地图时,定位系统100提示用户需建立虚拟地图(具体为特征地图),用户在定位系统100的提示下控制汽车1000在当前场景的不同位置移动以建立特征地图,在建立当前场景的特征地图后,处理器10获取当前场景的当前环视图像(即,汽车1000当前所处位置的环视图像),然后通过神经网络模型提取当前环视图像的当前位置特征数据,最后根据位置识别算法匹配当前位置特征数据和特征地图,从而得到汽车1000的当前定位数据,为后续根据定位数据输出定位信息做准备,由于特征地图是基于当前场景的不同位置的位置特征数据和运动数据构建而成,所以匹配较为精准,可提高定位精度。
在一个例子中,请参阅图5,在一个例子中,用户需要构建地下停车场的特征地图,定位系统100在用户操作下主动对用户需要定位的场景构建特征地图,用户控制汽车1000进入如图5所示的停车场时,用户在定位系统100的提示下控制汽车1000在地下停车场不同位置进行移动以对整个地下停车场构建特征地图,如用户控制汽车1000从入口进入后,经过通道时依次经过车位1至车位8,图像获取装置20持续采集当前场景的环视图像,传感器30持续采集汽车1000的运动数据,处理器10根据神经网络模型提取地下停车场的不同位置的环视图像(即,采集的环视图像)中的位置特征数据,处理器10处理位置特征数据和汽车1000在地下停车场的不同位置时的运动数据(即,采集的运动数据)构建整个地下停车场的特征地图,特征地图包括用户移动经过的不同位置(入口、通道、和车位1至车位8)的地图信息。如此,定位系统100可适应不同场景,根据用户需要构建对应场景的高精度的特征地图,鲁棒性较好。在构建完特征地图后,当用户再次进行地下停车场以进行停车时,图像获取装置20实时获取当前环视图像,然后调用对应的特征地图,处理器10提取当前环视图像的当前位置特征数据,并根据当前位置特征数据与特征地图进行匹配,例如,根据位置识别算法计算当前位置特征数据与特征地图中某个位置的位置特征数据的匹配度达到预定阈值(例如预定阈值为80%)即匹配成功,如当汽车1000位于车位8时,当前位置特征数据与图6所示M1中P1部分的位置特征数据匹配成功,在匹配成功后即可得到汽车1000的当前定位数据,从而根据当前定位数据得到定位信息并输出当前定位信息,因此当汽车1000位于车位8时,汽车1000的输出设备(如显示屏)可显示与图6对应的图像(即,输出当前定位信息),从而让用户知道汽车1000已经停靠完毕,让用户实时了解汽车1000所处的位置,从而实现高精度定位。
请参阅图3和图7,在某些实施方式中,采集的环视数据包括采集的点云特征数据,定位算法包括点云地图定位算法,虚拟地图包括与点云地图定位算法对应的点云地图;步骤010包括:
013:获取当前场景所采集的环视图像;
014:提取环视图像中的点云特征数据;
步骤020包括:
022:根据点云地图定位算法处理点云特征数据以生成点云地图。
在某些实施方式中,定位系统100还包括图像获取装置20,图像获取装置20还用于采集当前场景的环视图像;处理器10还用于获取当前场景所采集的环视图像,提取采集环视图像中的点云特征数据,根据点云地图定位算法处理点云特征数据以生成点云地图。
也即是说,步骤013、步骤014和步骤022可以由处理器10实现。
具体地,定位系统100首先通过图像获取装置20采集当前场景的环视图像,然后处理器10获取当前场景所采集的环视图像,其中,采集的环视图像包括汽车1000在当前场景的不同位置时图像获取装置20采集的环视图像,处理器10提取采集的环视图像中的点云特征数据(即,汽车1000在当前场景的不同位置的点云特征数据),在提取得到点云特征数据后,处理器10根据点云地图定位算法处理点云特征数据以生成特征地图,生成点云地图可以是在定位系统闲置时进行,从而不干扰定位系统当前的采集工作,充分利用定位系统的空闲资源,便于进行后续定位。定位系统100通过点云地图定位算法处理点云特征数据以生成点云地图,可获取高精度的点云地图,且用户可通过定位系统100对所需要的场景建立对应的点云地图,对不同场景的鲁棒性较好。
请再次参阅图3和7,在某些实施方式中,当前环视数据包括当前点云特征数据,步骤030包括以下步骤:
033:获取当前场景的当前环视图像;
034:提取当前环视图像中的当前点云特征数据;
步骤040包括:
042:根据点云地图定位算法匹配当前点云特征数据与点云地图以得到当前定位数据。
在某些实施方式中,处理器10还用于获取当前场景的当前环视图像、提取当前环视图像中的当前点云特征数据,根据点云地图定位算法匹配当前点云特征数据与点云地图以得到当前定位数据。
也即是说,步骤033、步骤034和步骤042可以由处理器10实现。
具体地,在当前场景没有对应的虚拟地图时,定位系统100提示用户需建立虚拟地图(具体为点云地图),用户在定位系统100的提示下控制汽车1000在当前场景的不同位置移动以建立点云地图,在建立当前场景的点云地图后,处理器10获取当前场景的当前环视图像(即,汽车1000当前所处位置的环视图像),然后提取当前环视图像的当前点云特征数据,最后根据点云地图定位算法匹配当前点云特征数据和点云地图,从而得到汽车1000的当前定位数据,为后续根据定位数据输出定位信息做准备,由于点云地图是基于当前场景的不同位置的点云特征数据构建而成,所以匹配较为精准,可提高定位精度。
在一个例子中,请再次参阅图5,在一个例子中,用户需要构建地下停车场的点云地图,定位系统100在用户操作下主动对用户需要定位的场景构建点云地图,用户控制汽车1000进入如图5所示的停车场时,用户在定位系统100的提示下控制汽车1000在地下停车场不同位置进行移动以对整个地下停车场构建点云地图,如用户控制汽车1000从入口进入后,经过通道时依次经过车位1至车位8,图像获取装置20持续采集当前场景的环视图像,处理器10提取地下停车场的不同位置的环视图像(即,采集的环视图像)中的点云特征数据,处理器10处理点云特征数据以构建整个地下停车场的点云地图,点云地图包括用户移动经过的不同位置(入口、通道、和车位1至车位8)的地图信息。如此,定位系统100可适应不同场景,根据用户需要构建对应场景的高精度的点云地图,鲁棒性较好。在构建完点云地图后,当用户再次进行地下停车场以进行停车时,图像获取装置20实时获取当前环视图像,然后调用对应的点云地图,处理器10提取当前环视图像的当前点云特征数据,并根据当前点云特征数据与点云地图进行匹配,例如,根据点云地图定位算法计算当前点云特征数据与点云地图中某个位置的点云特征数据的匹配度达到预定阈值(例如预定阈值为80%)即匹配成功,如当汽车1000位于车位8时,当前点云特征数据与图6所示M1中P1部分的点云特征数据匹配成功,在匹配成功后即可得到汽车1000的当前定位数据,从而根据当前定位数据得到定位信息并输出当前定位信息,因此当汽车1000位于车位8时,汽车1000的输出设备(如显示屏)可显示与图6对应的图像(即,输出当前定位信息),从而让用户知道汽车1000已经停靠完毕,让用户实时了解汽车1000所处的位置,从而实现高精度定位。
请参阅图3和图8,在某些实施方式中,采集的环视数据包括采集的语义特征数据,定位算法包括语义地图定位算法,虚拟地图包括与语义地图定位算法对应的语义地图;步骤010包括:
015:获取当前场景所采集的环视图像;
016:提取环视图像中的语义特征数据;
步骤020包括:
023:根据语义地图定位算法处理语义特征数据以生成语义地图。
在某些实施方式中,定位系统100还包括图像获取装置20,图像获取装置20还用于采集当前场景的环视图像;处理器10还用于获取当前场景所采集的环视图像,提取环视图像中的语义特征数据,根据语义地图定位算法处理语义特征数据以生成语义地图。
也即是说,步骤015、步骤016和步骤023可以由处理器10实现。
具体地,定位系统100首先通过图像获取装置20采集当前场景的环视图像,然后处理器10获取当前场景所采集的环视图像,其中,采集的环视图像包括汽车1000在当前场景的不同位置时图像获取装置20采集的环视图像,处理器10提取采集的环视图像中的语义特征数据(即,汽车1000在当前场景的不同位置的语义特征数据),在提取得到语义特征数据后,处理器10根据语义地图定位算法处理语义特征数据以生成语义地图,生成语义地图可以是在定位系统闲置时进行,从而不干扰定位系统当前的采集工作,充分利用定位系统的空闲资源,便于进行后续定位。定位系统100通过语义地图定位算法处理语义特征数据以生成语义地图,可获取高精度的语义地图,且用户可通过定位系统100对所需要的场景建立对应的语义地图,对不同场景的鲁棒性较好。
请参阅图3和图9,在某些实施方式中,步骤023包括:
027:根据语义地图定位算法识别语义特征数据中的障碍物信息;
028:根据障碍物信息生成语义地图。
在某些实施方式中,处理器10还用于根据语义地图定位算法识别语义特征数据中的障碍物信息,根据障碍物信息生成语义地图。
也即是说,步骤027和步骤028可由处理器10实现。
具体地,在生成语义地图时,处理器10根据语义地图识别算法识别语义特征数据中的障碍物信息,然后根据障碍物信息生成语义地图,从而使得语义地图包含障碍物信息,从而使得汽车1000在定位时排除障碍物的影响,提升定位精度。
请再次参阅图3和8,在某些实施方式中,当前环视数据包括当前语义特征数据,步骤030包括以下步骤:
035:获取当前场景的当前环视图像;
036:提取当前环视图像中的当前语义特征数据;
步骤040包括:
043:根据语义地图定位算法匹配当前语义特征数据与语义地图以得到当前定位数据。
在某些实施方式中,处理器10还用于获取当前场景的当前环视图像、提取当前环视图像中的当前语义特征数据,根据语义地图定位算法匹配当前语义特征数据与语义地图以得到当前定位数据。
也即是说,步骤035、步骤036和步骤043可以由处理器10实现。
具体地,在当前场景没有对应的虚拟地图时,定位系统100提示用户需建立虚拟地图(具体为语义地图),用户在定位系统100的提示下控制汽车1000在当前场景的不同位置移动以建立语义地图,在建立当前场景的语义地图后,处理器10获取当前场景的当前环视图像(即,汽车1000当前所处位置的环视图像),然后提取当前环视图像的当前语义特征数据,最后根据语义地图定位算法匹配当前语义特征数据和语义地图,从而得到汽车1000的当前定位数据,为后续根据定位数据输出定位信息做准备,由于语义地图是基于当前场景的不同位置的语义特征数据构建而成,所以匹配较为精准,可提高定位精度。
在一个例子中,请再次参阅图5,在一个例子中,用户需要构建地下停车场的语义地图,定位系统100在用户操作下主动对用户需要定位的场景构建语义地图,用户控制汽车1000进入如图5所示的停车场时,用户在定位系统100的提示下控制汽车1000在地下停车场不同位置进行移动以对整个地下停车场构建语义地图,如用户控制汽车1000从入口进入后,经过通道时依次经过车位1至车位8,图像获取装置20持续采集当前场景的环视图像,处理器10提取地下停车场的不同位置的环视图像(即,采集的环视图像)中的语义特征数据,处理器10处理语义特征数据以构建整个地下停车场的语义地图。如此,定位系统100可适应不同场景,根据用户需要构建对应场景的高精度的语义地图,鲁棒性较好。在构建完语义地图后,当用户再次进行地下停车场以进行停车时,图像获取装置20实时获取当前环视图像,然后调用对应的语义地图,处理器10提取当前环视图像的当前语义特征数据,并根据当前语义特征数据与语义地图进行匹配,例如,根据语义地图定位算法计算当前语义特征数据与语义地图中某个位置的语义特征数据的匹配度达到预定阈值(例如预定阈值为80%)即匹配成功,如当汽车1000位于车位8时,当前语义特征数据与图6所示M1中P1部分的语义特征数据匹配成功,在匹配成功后即可得到汽车1000的当前定位数据,从而根据当前定位数据得到定位信息并输出当前定位信息,因此当汽车1000位于车位8时,汽车1000的输出设备(如显示屏)可显示与图6对应的图像(即,输出当前定位信息),从而让用户知道汽车1000已经停靠完毕,让用户实时了解汽车1000所处的位置,从而实现高精度定位。
在某些实施方式中,定位系统100根据当前场景信息选取对应的虚拟地图进行匹配。
具体地,虚拟地图与场景信息是一一对应的,例如,当前场景可以是用户停车的地下停车场,而地下停车场可能有多个,如住宅区的地下停车场1,公司附近的地下停车场2,则当前场景为地下停车场1时,调用地下停车场1对应的虚拟地图1,而在当前场景为地下停车场2时,调用地下停车场2对应的虚拟地图2,虚拟地图与当前场景信息一一对应,在进行定位时无需将当前环视图像与所有虚拟地图都进行匹配,而只需根据当前环视图像调用对应的虚拟地图,然后再进行匹配以实现定位,可减少计算量,提高定位效率。
请参阅图3和图10,在某些实施方式中,采集的环视数据包括采集的位置特征数据、采集的点云特征数据、采集的语义特征数据、和采集的汽车1000的运动数据,定位算法包括位置识别算法、点云地图定位算法和语义地图定位算法,虚拟地图包括与位置识别算法对应的特征地图、与点云地图定位算法对应的点云地图、和与语义地图定位算法对应的语义地图;步骤010包括:
017:获取当前场景所采集的环视图像和运动数据;
018:提取环视图像中的位置特征数据、点云特征数据和语义特征数据;
步骤020包括:
024:根据位置识别算法处理位置特征数据和运动数据以生成特征地图;
025:根据点云地图定位算法处理点云特征数据以生成点云地图;
026:根据语义地图定位算法处理语义特征数据以生成语义地图。
在某些实施方式中,定位系统100还包括图像获取装置20和传感器30,定位系统100应用于载体1000,图像获取装置20用于采集当前场景的环视图像,传感器30用于采集载体1000的运动数据;处理器10还用于获取当前场景所采集的环视图像,提取环视图像中的位置特征数据、点云特征数据和语义特征数据,根据位置识别算法处理位置特征数据和运动数据以生成特征地图,根据点云地图定位算法处理点云特征数据以生成点云地图,根据语义地图定位算法处理语义特征数据以生成语义地图。
也即是说,步骤017、步骤018、步骤024、步骤025和步骤026可以由处理器10实现。
具体地,定位系统100首先通过图像获取装置20采集当前场景的环视图像,并通过传感器30采集汽车1000的运动数据,然后处理器10获取当前场景所采集的环视图像和运动数据,其中,采集的环视图像包括汽车1000在当前场景的不同位置时图像获取装置20采集的环视图像,采集的运动数据包括汽车1000在当前场景的不同位置时传感器30采集的运动数据,可以理解,汽车1000在每一个位置均有一个环视图像和对应的运动数据,处理器10提取采集的环视图像中的位置特征数据(即,汽车1000在当前场景的不同位置的位置特征数据)、点云特征数据(即,汽车1000在当前场景的不同位置的点云特征数据)和语义特征数据(即,汽车1000在当前场景的不同位置的语义特征数据),在提取得到位置特征数据、点云特征数据和语义特征数据后,处理器10根据位置识别算法处理位置特征数据和运动数据以生成特征地图,根据点云地图定位算法处理点云特征数据以生成点云地图,根据语义地图定位算法处理语义特征数据以生成语义地图。定位系统100通过位置识别算法、点云地图定位算法和语义地图定位算法分别生成特征地图、点云地图和语义地图,通过多种算法建立多个虚拟地图,为后续定位提供冗余,可适应不同的定位环境,提高了定位系统的鲁棒性和安全性。
请再次参阅图3和10,在某些实施方式中,当前环视数据包括当前位置特征数据、当前点云特征数据和当前语义特征数据,步骤030包括以下步骤:
037:获取当前场景的当前环视图像;
038:提取当前环视图像中的当前位置特征数据、当前点云特征数据和当前语义特征数据;
步骤040包括:
044:根据位置识别算法匹配当前位置特征数据与特征地图以得到第一定位数据;
045:根据点云地图定位算法匹配当前点云特征数据与点云地图以得到第二定位数据;
046:根据语义地图定位算法匹配当前语义特征数据与语义地图以得到第三定位数据;
步骤050包括:
051:根据融合滤波算法处理第一定位数据、第二定位数据和第三定位数据以获取当前定位信息;及
052:输出当前定位信息。
在某些实施方式中,处理器10还用于获取当前场景的当前环视图像,提取当前环视图像中的当前位置特征数据、当前点云特征数据和当前语义特征数据,根据位置识别算法匹配当前位置特征数据与特征地图以得到第一定位数据,根据点云地图定位算法匹配当前点云特征数据与点云地图以得到第二定位数据,根据语义地图定位算法匹配当前语义特征数据与语义地图以得到第三定位数据,根据融合滤波算法处理第一定位数据、第二定位数据和第三定位数据以获取当前定位信息,输出当前定位信息。
也即是说,步骤037、步骤038、步骤044、步骤045、步骤046、步骤051和步骤052可以由处理器10实现。
具体地,在当前场景没有对应的虚拟地图时,定位系统100提示用户需建立虚拟地图(具体为语义地图),用户在定位系统100的提示下控制汽车1000在当前场景的不同位置移动以建立特征地图、点云地图和语义地图,在建立当前场景的特征地图、点云地图和语义地图后,图像获取装置20实时获取当前环视图像,处理器10获取当前场景的当前环视图像(即,汽车1000当前所处位置的环视图像),然后提取当前环视图像的当前位置特征数据、当前点云特征数据和当前语义特征数据,最后根据位置识别算法、点云地图定位算法和语义地图定位算法分别匹配当前位置特征数据和特征地图、当前点云特征数据和点云地图、及当前语义特征数据和语义地图,从而分别得到汽车1000的第一定位数据、第二定位数据和第三定位数据,为后续根据第一定位数据、第二定位数据和第三定位数据输出定位信息做准备。然后处理器10根据融合滤波算法处理第一定位数据、第二定位数据和第三定位数据以获取当前定位信息,然后输出当前定位信息。通过融合滤波算法处理第一定位数据、第二定位数据和第三定位数据以获取当前定位信息,融合滤波算法可对多个定位数据实现自动适配,相互校正排除干扰,去除异常的信息,从而实现高精度定位。
在一个例子中,请再次参阅图5,在一个例子中,用户需要构建地下停车场的虚拟地图(包括特征、点云地图和语义地图),定位系统100在用户操作下主动对用户需要定位的场景构建虚拟地图(包括特征、点云地图和语义地图),用户控制汽车1000进入如图5所示的停车场时,用户在定位系统100的提示下控制汽车1000在地下停车场不同位置进行移动以对整个地下停车场构建虚拟地图(包括特征、点云地图和语义地图),如用户控制汽车1000从入口进入后,经过通道时依次经过车位1至车位8,图像获取装置20持续采集当前场景的环视图像,传感器30持续采集运动数据,处理器10提取地下停车场的不同位置的环视图像(即,采集的环视图像)中的位置特征数据、点云特征数据和语义特征数据,处理位置特征数据和汽车1000在地下停车场的不同位置时的运动数据(即,采集的运动数据)构建整个地下停车场的特征地图,处理点云特征数据构建整个地下停车场的点云地图,处理语义特征数据以构建整个地下停车场的语义地图。如此,定位系统100可适应不同场景,根据用户需要构建对应场景的高精度的虚拟地图(特征地图、点云地图和语义地图),鲁棒性较好。在构建完虚拟地图(特征地图、点云地图和语义地图)后,当用户再次进行地下停车场以进行停车时,图像获取装置20实时获取当前环视图像,然后调用对应的虚拟地图(特征地图、点云地图和语义地图),处理器10提取当前环视图像的当前位置特征数据、当前点云特征数据和当前语义特征数据,并根据位置识别算法、点云地图定位算法和语义地图定位算法分别匹配当前位置特征数据和特征地图、当前点云特征数据和点云地图、及当前语义特征数据和语义地图,例如,根据位置识别算法计算当前位置特征数据与特征地图中某个位置的位置特征数据的匹配度达到预定阈值(例如预定阈值为80%)即匹配成功,根据点云地图定位算法计算当前点云特征数据与点云地图中某个位置的点云特征数据的匹配度达到预定阈值(例如预定阈值为80%)即匹配成功,根据语义地图定位算法计算当前语义特征数据与语义地图中某个位置的语义特征数据的匹配度达到预定阈值(例如预定阈值为80%)即匹配成功。在定位系统100匹配成功后可获取定位数据,特征地图匹配成功后可得到第一定位数据,点云地图匹配成功后可得到第二定位数据,语义地图匹配成功后可得到第三定位数据,如当汽车1000位于车位8时,当前位置特征数据、当前点云特征数据、或当前语义特征数据与图6所示M1中P1部分对应的特征数据匹配成功,在匹配成功后即可得到汽车1000的当前定位数据(即第一定位数据、第二定位数据和第三定位数据),可以理解,当前场景的每个位置的特征数据不一定与特征地图、点云地图和语义地图均匹配成功,当前位置可以是与特征地图、点云地图或语义地图匹配成功;或者,当前位置与特征地图、点云地图和语义地图中任意两个匹配成功;再或者,当前位置与特征地图、点云地图和语义地图均匹配成功,显然的,匹配成功的虚拟地图越多,定位精度越高,本实施方式中,当前位置与特征地图、点云地图和语义地图均匹配成功才视为当前位置匹配成功,从而最大化提升定位精度。最后处理器10根据融合滤波算法处理第一定位数据、第二定位数据和第三定位数据以得到定位信息并输出当前定位信息,去除不同定位算法的异常和相互干扰,进一步保证当前定位信息的准确性。例如,当汽车1000位于车位8时,汽车1000的输出设备(如显示屏)可显示与图6对应的图像(即,输出当前定位信息),从而让用户知道汽车1000已经停靠完毕,让用户实时了解汽车1000所处的位置,从而实现高精度定位。
请参阅图3和图11,在某些实施方式中,定位方法还包括:
060:选择工作模式;
070:当所述工作模式为预处理模式时,进入步骤010。
在某些实施方式中,处理器10还用于选择工作模式;当所述工作模式为预处理模式时,获取当前场景所采集的环视数据。也即是说,步骤060和步骤070可以由处理器10实现。
具体地,在用户手动选择预处理模式或者定位系统100判断当前场景不存在对应的虚拟地图时进入预处理模式,在预处理模式下,用户在定位系统100的提示下在不同位置移动,定位系统100获取采集环视数据,然后根据采集环视数据来生成虚拟地图(特征地图、点云地图和语义地图)。如此,用户可通过预处理模式建立指定场景的虚拟地图,鲁棒性强,且无需依赖高精度地图供应商提供高精度的虚拟地图,可节省成本。
请再次参阅图3和图11,在某些实施方式中,定位方法还包括:
060:选择工作模式;
080:当所述工作模式为定位模式时,进入步骤030。
在某些实施方式中,处理器10还用于选择工作模式;当所述工作模式为定位模式时,获取当前场景的当前环视数据。也即是说,步骤060和步骤080可以由处理器10实现。
具体地,在用户手动选择定位模式或者定位系统100判断当前场景已存在对应的虚拟地图时进入定位模式以快速进入定位,而无需重新建立虚拟地图,提高定位效率。
在某些实施方式中,虚拟地图包括特征地图、点云地图和语义地图中任意两个。
具体地,虚拟地图包括特征地图、点云地图和语义地图中任意两个。例如,虚拟地图包括特征地图和点云地图,用户通过定位系统100构建特征地图和点云地图后,根据位置识别算法和点云地图定位算法分别进行匹配从而分别得到第一定位数据和第二定位数据,然后处理器10根据融合滤波算法处理第一定位数据和第二定位数据以得到当前定位信息;再例如,虚拟地图包括特征地图和语义地图,用户通过定位系统100构建特征地图和语义地图后,根据位置识别算法和语义地图定位算法分别进行匹配从而分别得到第一定位数据和第三定位数据,然后处理器10根据融合滤波算法处理第一定位数据和第三定位数据以得到当前定位信息;再例如,虚拟地图包括点云地图和语义地图,用户通过定位系统100构建点云地图和语义地图后,根据点云地图定位算法和语义地图定位算法分别进行匹配从而分别得到第二定位数据和第三定位数据,然后处理器10根据融合滤波算法处理第二定位数据和第三定位数据以得到当前定位信息;如此,根据当前位置的特征数据与特征地图、点云地图和语义地图中任意两个进行匹配,可去除不同定位算法的异常和相互干扰,提高定位精度。
请参阅图12,本发明实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质300,当计算机可读存储介质300中存储的计算机可执行指令302被一个或多个处理器10执行时,使得处理器10执行上述任一实施方式的定位方法。
例如,当计算机可执行指令302被处理器10执行时,处理器20执行以下步骤:
010:获取当前场景所采集的环视数据;
020:根据定位算法处理采集的环视数据以生成虚拟地图;
030:获取当前场景的当前环视数据;
040:根据定位算法处理当前环视数据及虚拟地图以得到当前定位数据;及
050:根据当前定位数据获取当前定位信息并输出当前定位信息。
又例如,当计算机可执行指令302被处理器20执行时,处理器20执行以下步骤:
011:获取当前场景所采集的环视图像和运动数据;
012:根据基于深度学习算法的神经网络模型提取环视图像中的位置特征数据;
021:根据位置识别算法处理位置特征数据和运动数据以生成特征地图。
再例如,当计算机可执行指令302被处理器20执行时,处理器20执行以下步骤:
031:获取当前场景的当前环视图像;
032:通过神经网络模型提取当前环视图像中的当前位置特征数据;
041:根据位置识别算法匹配当前位置特征数据与特征地图以得到当前定位数据。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于执行特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的执行,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于执行逻辑功能的可执行指令的定序列表,可以具体执行在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体地示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来执行。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来执行。例如,如果用硬件来执行,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来执行:具有用于对数据信号执行逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解执行上述实施方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式执行,也可以采用软件功能模块的形式执行。所述集成的模块如果以软件功能模块的形式执行并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (23)

1.一种定位系统,其特征在于,所述定位系统包括一个或多个处理器,所述处理器被配置用于获取当前场景所采集的环视数据,根据定位算法处理所述采集的环视数据以生成虚拟地图;获取当前场景的当前环视数据,根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据,及根据所述当前定位数据获取当前定位信息并输出所述当前定位信息;
所述定位系统还包括图像获取装置和传感器,所述定位系统应用于载体,所述图像获取装置用于采集当前场景的环视图像,所述传感器用于采集所述载体的运动数据;所述采集的环视数据包括采集的位置特征数据和采集的所述载体的运动数据,所述运动数据包括方向盘的角度数据,所述定位算法包括深度学习算法和位置识别算法,所述虚拟地图包括与所述位置识别算法对应的特征地图;所述处理器还用于获取当前场景所采集的环视图像和所述运动数据,根据基于所述深度学习算法的神经网络模型提取所述环视图像中的所述位置特征数据,根据所述位置识别算法处理所述位置特征数据和所述运动数据以生成所述特征地图。
2.根据权利要求1所述的定位系统,其特征在于,所述当前环视数据包括当前位置特征数据,所述处理器还用于获取当前场景的所述当前环视图像,通过所述神经网络模型提取所述当前环视图像中的所述当前位置特征数据,根据所述位置识别算法匹配所述当前位置特征数据与所述特征地图以得到所述当前定位数据。
3.根据权利要求1所述的定位系统,其特征在于,所述定位系统还包括图像获取装置,所述图像获取装置还用于采集当前场景的环视图像;所述采集的环视数据包括点云特征数据,所述定位算法包括点云地图定位算法,所述虚拟地图包括与所述点云地图定位算法对应的点云地图;所述处理器还用于获取当前场景所采集的环视图像,提取所述环视图像中的所述点云特征数据,根据所述点云地图定位算法处理所述点云特征数据以生成所述点云地图。
4.根据权利要求3所述的定位系统,其特征在于,所述当前环视数据包括当前点云特征数据,所述处理器还用于获取当前场景的当前环视图像、提取所述当前环视图像中的所述当前点云特征数据,根据所述点云地图定位算法匹配所述当前点云特征数据与所述点云地图以得到所述当前定位数据。
5.根据权利要求1所述的定位系统,其特征在于,所述定位系统还包括图像获取装置,所述图像获取装置还用于采集当前场景的环视图像;所述采集的环视数据包括采集的语义特征数据,所述定位算法包括语义地图定位算法,所述虚拟地图包括与所述语义地图定位算法对应的语义地图;所述处理器还用于获取当前场景所采集的环视图像,提取所述环视图像中的所述语义特征数据,根据所述语义地图定位算法处理所述语义特征数据以生成语义地图。
6.根据权利要求5所述的定位系统,其特征在于,所述处理器还用于根据所述语义地图定位算法识别所述语义特征数据中的障碍物信息,根据所述障碍物信息生成所述语义地图。
7.根据权利要求5所述的定位系统,其特征在于,所述当前环视数据包括当前语义特征数据,所述处理器还用于获取当前场景的当前环视图像,提取所述当前环视图像中的所述当前语义特征数据,根据所述语义地图定位算法匹配所述当前语义特征数据与所述语义地图以得到所述当前定位数据。
8.根据权利要求1所述的定位系统,其特征在于,所述定位系统还包括图像获取装置和传感器,所述定位系统应用于载体,所述图像获取装置用于采集当前场景的环视图像,所述传感器用于采集所述载体的运动数据;所述采集的环视数据包括位置特征数据、点云特征数据、语义特征数据、和所述载体的运动数据,所述定位算法包括位置识别算法、点云地图定位算法和语义地图定位算法,所述虚拟地图包括与所述位置识别算法对应的特征地图、与所述点云地图定位算法对应的点云地图、和与所述语义地图定位算法对应的语义地图;所述处理器还用于获取当前场景所采集的环视图像和所述运动数据,提取所述环视图像中的所述位置特征数据、所述点云特征数据和所述语义特征数据,根据所述位置识别算法处理所述位置特征数据和所述运动数据以生成所述特征地图,根据所述点云地图定位算法处理所述点云特征数据以生成所述点云地图,根据所述语义地图定位算法处理所述语义特征数据以生成所述语义地图。
9.根据权利要求8所述的定位系统,其特征在于,所述当前环视数据包括当前位置特征数据、当前点云特征数据和当前语义特征数据,所述处理器还用于获取当前场景的当前环视图像,提取所述当前环视图像中的所述当前位置特征数据、所述当前点云特征数据和所述当前语义特征数据,根据所述位置识别算法匹配所述当前位置特征数据与所述特征地图以得到第一定位数据,根据所述点云地图定位算法匹配所述当前点云特征数据与所述点云地图以得到第二定位数据,根据所述语义地图定位算法匹配所述当前语义特征数据与所述语义地图以得到第三定位数据,根据融合滤波算法处理所述第一定位数据、所述第二定位数据和所述第三定位数据以获取所述当前定位信息,输出所述当前定位信息。
10.根据权利要求1所述的定位系统,其特征在于,所述处理器还用于:
选择工作模式;及
当所述工作模式为预处理模式时,获取当前场景所采集的环视数据。
11.根据权利要求1所述的定位系统,其特征在于,所述处理器还用于:
选择工作模式;及
当所述工作模式为定位模式时,获取当前场景的当前环视数据。
12.一种定位方法,其特征在于,所述定位方法包括:
获取当前场景所采集的环视数据;
根据定位算法处理所述采集的环视数据以生成虚拟地图;
获取当前场景的当前环视数据;
根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据;及
根据所述当前定位数据获取当前定位信息并输出所述当前定位信息;
所述采集的环视数据包括采集的位置特征数据和采集的载体的运动数据,所述定位算法包括深度学习算法和位置识别算法,所述虚拟地图包括与所述位置识别算法对应的特征地图;所述获取当前场景所采集的环视数据,包括:
获取当前场景所采集的环视图像和所述运动数据,所述运动数据包括方向盘的角度数据;
根据基于所述深度学习算法的神经网络模型提取所述环视图像中的所述位置特征数据;
所述根据定位算法处理所述环视数据以生成虚拟地图,包括:
根据所述位置识别算法处理所述位置特征数据和所述运动数据以生成所述特征地图。
13.根据权利要求12所述的定位方法,其特征在于,所述当前环视数据包括当前位置特征数据,所述获取当前场景的当前环视数据,包括:
获取当前场景的当前环视图像;
通过所述神经网络模型提取所述当前环视图像中的所述当前位置特征数据;
所述根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据,包括:
根据所述位置识别算法匹配所述当前位置特征数据与所述特征地图以得到所述当前定位数据。
14.根据权利要求12所述的定位方法,其特征在于,所述采集的环视数据包括采集的点云特征数据,所述定位算法包括点云地图定位算法,所述虚拟地图包括与所述点云地图定位算法对应的点云地图;所述获取当前场景所采集的环视数据,包括:
获取当前场景所采集的环视图像;
提取所述环视图像中的所述点云特征数据;
所述根据定位算法处理所述采集的环视数据以生成虚拟地图,包括:
根据所述点云地图定位算法处理所述点云特征数据以生成所述点云地图。
15.根据权利要求14所述的定位方法,其特征在于,所述当前环视数据包括当前点云特征数据,所述获取当前场景的当前环视数据,包括:
获取当前场景的当前环视图像;
提取所述当前环视图像中的所述当前点云特征数据;
所述根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据,包括:
根据所述点云地图定位算法匹配所述当前点云特征数据与所述点云地图以得到所述当前定位数据。
16.根据权利要求12所述的定位方法,其特征在于,所述采集的环视数据包括采集的语义特征数据,所述定位算法包括语义地图定位算法,所述虚拟地图包括与所述语义地图定位算法对应的语义地图;所述获取当前场景所采集的环视数据,包括:
获取当前场景所采集的环视图像;
提取所述环视图像中的所述语义特征数据;
所述根据定位算法处理所述采集的环视数据以生成虚拟地图,包括:
根据所述语义地图定位算法处理所述语义特征数据以生成语义地图。
17.根据权利要求16所述的定位方法,其特征在于,所述根据所述语义地图定位算法处理所述语义特征数据以生成语义地图,包括:
根据所述语义地图定位算法识别所述语义特征数据中的障碍物信息;
根据所述障碍物信息生成所述语义地图。
18.根据权利要求16所述的定位方法,其特征在于,所述当前环视数据包括当前语义特征数据,所述获取当前场景的当前环视数据,包括:
获取当前场景的当前环视图像;
提取所述当前环视图像中的所述当前语义特征数据;
所述根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据,包括:
根据所述语义地图定位算法匹配所述当前语义特征数据与所述语义地图以得到所述当前定位数据。
19.根据权利要求12所述的定位方法,其特征在于,所述采集的环视数据包括采集的位置特征数据、采集的点云特征数据、采集的语义特征数据、和采集的载体的运动数据,所述定位算法包括深度学习算法、位置识别算法、点云地图定位算法和语义地图定位算法,所述虚拟地图包括与所述位置识别算法对应的特征地图、与所述点云地图定位算法对应的点云地图、和与所述语义地图定位算法对应的语义地图;
所述获取当前场景所采集的环视数据,包括:
获取当前场景所采集的环视图像和所述运动数据;
提取所述环视图像中的所述位置特征数据、所述点云特征数据和所述语义特征数据;
所述根据定位算法处理所述采集的环视数据以生成虚拟地图,包括:
根据所述位置识别算法处理所述位置特征数据和所述运动数据以生成所述特征地图;
根据所述点云地图定位算法处理所述点云特征数据以生成所述点云地图;
根据所述语义地图定位算法处理所述语义特征数据以生成所述语义地图。
20.根据权利要求19所述的定位方法,其特征在于,所述当前环视数据包括当前位置特征数据、当前点云特征数据和当前语义特征数据,所述获取当前场景的当前环视数据,包括:
获取当前场景的当前环视图像;
提取所述当前环视图像中的所述当前位置特征数据、所述当前点云特征数据和所述当前语义特征数据;
所述根据定位算法处理所述当前环视数据及所述虚拟地图以得到当前定位数据,包括:
根据所述位置识别算法匹配所述当前位置特征数据与所述特征地图以得到第一定位数据;
根据所述点云地图定位算法匹配所述当前点云特征数据与所述点云地图以得到第二定位数据;
根据所述语义地图定位算法匹配所述当前语义特征数据与所述语义地图以得到第三定位数据;
所述根据所述当前定位数据获取当前定位信息并输出所述当前定位信息,包括:
根据融合滤波算法处理所述第一定位数据、所述第二定位数据和所述第三定位数据以获取所述当前定位信息;及
输出所述当前定位信息。
21.根据权利要求12所述的定位方法,其特征在于,所述定位方法还包括:
选择工作模式;及
当所述工作模式为预处理模式时,进入所述获取当前场景所采集的环视数据的步骤。
22.根据权利要求12所述的定位方法,其特征在于,所述定位方法还包括:
选择工作模式;及
当所述工作模式为定位模式时,进入所述获取当前场景的当前环视数据的步骤。
23.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可读存储介质中存储的所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行权利要求12至22中任一项所述的定位方法。
CN201910120248.4A 2019-02-18 2019-02-18 定位系统、定位方法和非易失性计算机可读存储介质 Active CN111583335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910120248.4A CN111583335B (zh) 2019-02-18 2019-02-18 定位系统、定位方法和非易失性计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910120248.4A CN111583335B (zh) 2019-02-18 2019-02-18 定位系统、定位方法和非易失性计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111583335A CN111583335A (zh) 2020-08-25
CN111583335B true CN111583335B (zh) 2023-09-19

Family

ID=72112434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910120248.4A Active CN111583335B (zh) 2019-02-18 2019-02-18 定位系统、定位方法和非易失性计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111583335B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI768548B (zh) * 2020-11-19 2022-06-21 財團法人資訊工業策進會 定位用基礎資訊產生系統與方法以及自身定位判斷裝置
EP4270053A4 (en) * 2020-12-25 2024-06-05 Koito Manufacturing Co., Ltd. SENSOR SYSTEM
CN116136408A (zh) * 2021-11-18 2023-05-19 中兴通讯股份有限公司 室内导航方法、服务器、装置和终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105946853A (zh) * 2016-04-28 2016-09-21 中山大学 基于多传感器融合的长距离自动泊车的系统及方法
CN107600067A (zh) * 2017-09-08 2018-01-19 中山大学 一种基于多视觉惯导融合的自主泊车系统及方法
CN109186586A (zh) * 2018-08-23 2019-01-11 北京理工大学 一种面向动态泊车环境的同时定位及混合地图构建方法
CN109253731A (zh) * 2018-08-06 2019-01-22 百度在线网络技术(北京)有限公司 停车场地图生成方法、装置、设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105946853A (zh) * 2016-04-28 2016-09-21 中山大学 基于多传感器融合的长距离自动泊车的系统及方法
CN107600067A (zh) * 2017-09-08 2018-01-19 中山大学 一种基于多视觉惯导融合的自主泊车系统及方法
CN109253731A (zh) * 2018-08-06 2019-01-22 百度在线网络技术(北京)有限公司 停车场地图生成方法、装置、设备及可读存储介质
CN109186586A (zh) * 2018-08-23 2019-01-11 北京理工大学 一种面向动态泊车环境的同时定位及混合地图构建方法

Also Published As

Publication number Publication date
CN111583335A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN110045729B (zh) 一种车辆自动驾驶方法及装置
CN111583335B (zh) 定位系统、定位方法和非易失性计算机可读存储介质
EP2570993B1 (en) Egomotion estimation system and method
CN112417953B (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
KR101283792B1 (ko) 주차공간 인식 방법 및 장치
CN111081064A (zh) 一种车载以太网的自动泊车系统及自动代客泊车方法
CN111435538A (zh) 定位方法、定位系统和计算机可读存储介质
CN107667038A (zh) 车辆的自动停车方法及系统
EP3690728B1 (en) Method and device for detecting parking area using semantic segmentation in automatic parking system
CN109703465B (zh) 车载图像传感器的控制方法和装置
CN114511632A (zh) 车位地图的构建方法及装置
CN113537047A (zh) 障碍物检测方法、装置、交通工具及存储介质
CN111814773A (zh) 一种划线车位识别方法及系统
CN114495066A (zh) 一种辅助倒车的方法
CN111210411B (zh) 图像中灭点的检测方法、检测模型训练方法和电子设备
CN113435232A (zh) 一种物体的检测方法、装置、设备及存储介质
CN107292818B (zh) 一种基于环视相机的捕线器自动定位系统及方法
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
CN114998861A (zh) 车辆与障碍物的距离检测方法及装置
CN115342811A (zh) 一种路径规划方法、装置、设备及存储介质
KR101071061B1 (ko) 차량의 특징점을 이용한 운전 보조 장치 및 방법과 이에 사용되는 마이크로프로세서 및 기록매체
CN114610035A (zh) 回桩方法、装置及割草机器人
KR20140106126A (ko) 전방위 영상 기반 자동 주차 시스템 및 방법
US11037440B2 (en) Vehicle identification for smart patrolling
CN117173693B (zh) 3d目标检测方法、电子设备、介质以及驾驶设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant