CN113178006A - 导航地图生成方法、装置、计算机设备及存储介质 - Google Patents
导航地图生成方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113178006A CN113178006A CN202110447674.6A CN202110447674A CN113178006A CN 113178006 A CN113178006 A CN 113178006A CN 202110447674 A CN202110447674 A CN 202110447674A CN 113178006 A CN113178006 A CN 113178006A
- Authority
- CN
- China
- Prior art keywords
- scene
- image
- map
- navigation
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000005070 sampling Methods 0.000 claims description 21
- 230000001960 triggered effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000010813 municipal solid waste Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
Abstract
本公开提供了一种导航地图生成方法、装置、计算机设备及存储介质,其中,导航地图生成方法包括:获取通过图像获取设备对目标场景进行图像采集得到的场景图像;基于所述场景图像,生成场景地图;基于所述场景图像,确定所述图像获取设备在采集所述场景图像时在所述目标场景中的位置信息,并根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径;以及基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图。本公开实施例能够自动生成目标场景的导航地图,从而避免由于人工绘制路径信息造成的高成本、低效率的问题。
Description
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种导航地图生成方法、装置、计算机设备及存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界融合的技术,广泛运用了多媒体、三维建模等多种技术手段,将计算机生成的文字、图像、三维等虚拟信息模拟仿真后,应用于真实世界中向用户展示。随着AR技术的不断成熟,AR技术也在很多场景下得到广泛应用。AR导航作为AR技术应用的一个重要方面,需要预先生成导航地图,在导航时,基于导航地图进行导航;当前导航地图生成方法存在成本高、效率低的问题。
发明内容
本公开实施例至少提供一种导航地图生成方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种导航地图生成方法,包括:获取通过图像获取设备对目标场景进行图像采集得到的场景图像;基于所述场景图像,生成场景地图;基于所述场景图像,确定所述图像获取设备在采集所述场景图像时在所述目标场景中的位置信息,并根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径;以及基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图。
这样,利用图像获取设备采集目标场景时的移动路径、以及采集到的场景图像,自动生成目标场景地图的导航地图,从而避免由于人工绘制路径信息造成的高成本、低效率的问题。
一种可能的实施方式中,所述基于所述场景图像,生成场景地图,包括:利用所述场景图像,生成所述目标场景的三维点云地图;所述三维点云地图中包括:多个点云点分别在所述目标场景中的三维位置信息、以及所述点云点对应的语义信息;利用所述三维位置信息、以及所述语义信息,生成所述场景地图。
这样,可以自动生成场景地图,减少人工进行场景地图绘制所需要的时间,提升生成导航地图的效率,并减少时间成本。
一种可能的实施方式中,所述利用所述三维位置信息、以及所述语义信息,生成所述场景地图,基于多个所述点云点的三维位置信息,将多个所述点云点分别投影至预设平面,得到投影图像;基于所述投影图像、以及多个所述点云点分别对应的语义信息,生成所述场景地图。
这样,通过将三维点云地图中的点云点投影至预设平面,生成投影图像,并利用该投影图像生成场景地图,较之人工进行场景地图的绘制得到的场景地图精度更高。
一种可能的实施方式中,多个所述点云点分别对应的投影点,以及每个投影点在所述投影图像中的二维坐标值;所述基于所述投影图像、以及所述每个点云点的语义信息,生成所述场景地图,包括:基于多个所述点云点分别在所述投影图像中的投影点的二维坐标值、以及多个所述点云点分别对应的语义信息,对所述投影点进行聚类;基于对所述投影点的聚类结果,生成所述场景地图。
这样,采用对投影点进行聚类的方式,可以精准的生成场景地图,且场景地图中的各种对象更为精细和准确。
一种可能的实施方式中,所述根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径,包括:基于所述位置信息,将所述图像获取设备在采集所述场景图像时的采样位置投影至预设平面,得到多帧场景图像分别对应采样位置在所述预设平面的投影位置;基于多帧场景图像分别对应采样位置在所述预设平面的投影位置、以及每帧场景图像对应的时间戳,生成所述移动路径。
这样,通过将采样位置也投影到预设平面,得到投影位置,从而能够自动的生成移动路径。
一种可能的实施方式中,所述基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图,包括:基于所述场景地图中各个像素点的语义信息,确定多个区域;基于所述移动路径,确定每相邻的两个区域之间的可达性信息;基于所述每相邻的两个区域之间的可达性信息,生成所述目标场景的导航地图;所述每相邻的两个区域之间的可达性信息包括:所述每相邻的两个区域是否可达,以及在所述每相邻的两个区域之间可达时的可达路径。
这样,可以利用区域之间的可达性信息,基于导航地图规划导航路线,规划结果更为迅速和准确。
一种可能的实施方式中,还包括:获取用户通过增强现实AR设备触发的导航路线生成指令;所述导航路线生成指令中,携带有导航路线的终点位置信息;基于所述AR设备在所述目标场景中的当前位置信息、所述终点位置信息、以及所述导航地图,生成导航路线。
这样,通过获取AR设备触发的导航路线生成指令,基于导航路线生成指令中的携带的终点位置信息、AR设备的当前位置信息、以及基于本公开实施例提供的导航地图生成方法生成的导航路线,成本更低,且具有更高的导航精度。
一种可能的实施方式中,还包括:获取所述AR设备实时对所述目标场景进行图像采集得到的视频帧图像;基于所述视频帧图像、以及所述目标场景的三维点云地图,确定所述AR设备在所述目标场景下的当前位置信息。
一种可能的实施方式中,所述基于所述AR设备在目标场景中的当前位置信息、所述终点位置信息、以及所述导航地图,生成导航路线,包括:基于所述当前位置信息,确定导航起点所在的第一区域,以及基于所述终点位置信息,确定导航终点所在的第二区域;基于所述导航地图,确定所述第一区域和所述第二区域之间的目标路径,以及基于所述当前位置信息、所述终点位置信息、以及所述目标路径,生成所述导航路线。
这样,可以快速准确的生成的导航路线。
第二方面,本公开实施例还提供导航地图生成装置,包括:获取模块,用于获取通过图像获取设备对目标场景进行图像采集得到的场景图像;
第一生成模块,用于基于所述场景图像,生成场景地图;
第二生成模块,用于基于所述场景图像,确定所述图像获取设备在采集所述场景图像时在所述目标场景中的位置信息,并根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径;
第三生成模块,用于基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图。
一种可能的实施方式中,所述第一生成模块,在基于所述场景图像,生成场景地图时,用于:
利用所述场景图像,生成所述目标场景的三维点云地图;所述三维点云地图中包括:多个点云点分别在所述目标场景中的三维位置信息、以及所述点云点对应的语义信息;
利用所述三维位置信息、以及所述语义信息,生成所述场景地图。
一种可能的实施方式中,所述第一生成模块,在利用所述三维位置信息、以及所述语义信息,生成所述场景地图时,用于:
基于多个所述点云点的三维位置信息,将多个所述点云点分别投影至预设平面,得到投影图像;
基于所述投影图像、以及多个所述点云点分别对应的语义信息,生成所述场景地图。
一种可能的实施方式中,所述投影图像包括:多个所述点云点分别对应的投影点,以及每个投影点在所述投影图像中的二维坐标值;
所述第一生成模块,在基于所述投影图像、以及所述每个点云点的语义信息,生成所述场景地图时,用于:
基于多个所述点云点分别在所述投影图像中的投影点的二维坐标值、以及多个所述点云点分别对应的语义信息,对所述投影点进行聚类;
基于对所述投影点的聚类结果,生成所述场景地图。
一种可能的实施方式中,所述第二生成模块,在根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径时,用于:
基于所述位置信息,将所述图像获取设备在采集所述场景图像时的采样位置投影至预设平面,得到多帧场景图像分别对应采样位置在所述预设平面的投影位置;
基于多帧场景图像分别对应采样位置在所述预设平面的投影位置、以及每帧场景图像对应的时间戳,生成所述移动路径。
一种可能的实施方式中,所述第三生成模块,在基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图时,用于:
基于所述场景地图中各个像素点的语义信息,确定多个区域;
基于所述移动路径,确定每相邻的两个区域之间的可达性信息;
基于所述每相邻的两个区域之间的可达性信息,生成所述目标场景的导航地图;
所述每相邻的两个区域之间的可达性信息包括:所述每相邻的两个区域是否可达,以及在所述每相邻的两个区域之间可达时的可达路径。
一种可能的实施方式中,还包括:导航模块,用于:
获取用户通过增强现实AR设备触发的导航路线生成指令;所述导航路线生成指令中,携带有导航路线的终点位置信息;
基于所述AR设备在所述目标场景中的当前位置信息、所述终点位置信息、以及所述导航地图,生成导航路线。
一种可能的实施方式中,所述导航模块,还用于:
获取所述AR设备实时对所述目标场景进行图像采集得到的视频帧图像;
基于所述视频帧图像、以及所述目标场景的三维点云地图,确定所述AR设备在所述目标场景下的当前位置信息。
一种可能的实施方式中,所述导航模块,在基于所述AR设备在目标场景中的当前位置信息、所述终点位置信息、以及所述导航地图,生成导航路线时,用于:
基于所述当前位置信息,确定导航起点所在的第一区域,以及
基于所述终点位置信息,确定导航终点所在的第二区域;
基于所述导航地图,确定所述第一区域和所述第二区域之间的目标路径,以及基于所述当前位置信息、所述终点位置信息、以及所述目标路径,生成所述导航路线。
第三方面,本公开可选实现方式还提供一种计算机设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开可选实现方式还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述导航地图生成装置、计算机设备、及计算机可读存储介质的效果描述参见上述导航地图生成方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种导航地图生成方法的流程图;
图2示出了本公开实施例所提供的基于场景图像,生成场景地图的具体方法的流程图;
图3示出了本公开实施例所提供的一种生成目标场景的导航地图的具体方法的流程图;
图4示出了本公开实施例所提供的一种利用导航地图生成导航路线的具体方法的流程图;
图5示出了本公开实施例所提供的一种导航地图生成装置的示意图;
图6示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,AR导航利用视觉感知技术,对AR设备进行定位,然后结合全球定位系统(Global Positioning System,GPS),实现实景行车驾驶导航。然而在将AR导航应用于较小的场景,例如展览馆、游览景区、游乐场场景等,由于GPS的精度,很难做到利用GPS结合视觉感知技术实现这些场景的AR导航。当前针对这些较小的场景的AR导航,通常是先建立导航地图,然后利用AR设备拍摄的图像对AR设备在导航地图中的位置进行定位,并利用导航地图进行导航。当前的导航地图生成方式,需要利用人工绘制的方式绘制目标场景的场景地图,并利用人工绘制的场景地图人工规划出在场景内的路径信息;这种采用人工来辅助进行导航地图生成的方法,成本高且效率低。
基于上述研究,本公开提供了一种导航地图生成方法,利用图像获取设备采集目标场景时的移动路径、以及采集到的场景图像,自动生成目标场景地图的导航地图,从而避免由于人工绘制路径信息造成的高成本、低效率的问题。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种导航地图生成方法进行详细介绍,本公开实施例所提供的导航地图生成方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:AR设备或服务器或其它处理设备,AR设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该导航地图生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的导航地图生成方法加以说明。
参见图1所示,为本公开实施例提供的导航地图生成方法的流程图,所述方法包括步骤S101~S104,其中:
S101:获取通过图像获取设备对目标场景进行图像采集得到的场景图像;
S102:基于所述场景图像,生成场景地图;
S103:基于所述场景图像,确定所述图像获取设备在采集所述场景图像时在所述目标场景中的位置信息,并根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径;
S104:基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图。
其中,上述S102和S103并无执行的先后逻辑,可以同步执行,也可以异步执行。
本公开实施例获取图像获取设备采集目标场景得到的场景图像,并基于场景图像生成场景地图,并基于场景图像确定图像获取设备采集目标场景时的移动路径,然后基于场景地图和路径信息,生成目标场景的导航地图,该生成导航地图的过程不需要人为绘制目标场景内的路径,从而避免由于人工绘制路径信息造成的高成本、低效率的问题。
下面对上述S101~S104加以详细说明。
I:针对上述S101,图像获取设备例如包括深度摄像机、以及彩色相机。图像获取设备在采集目标场景时,能够获取多帧场景图像。多帧场景图像中,包括深度图像以及彩色图像。
示例性的,在利用图像获取设备采集目标场景时,可以控制深度摄像机和彩色相机同步对目标场景进行曝光,得到时间戳一致的一帧深度图像和一帧彩色图像。深度相机和彩色相机的拍摄视野一致或者接近,从而使得时间戳一致的深度图像和彩色图像中所包含的对象是一致或者接近的。
II:针对上述S102:
参见图2所示,本公开实施例还提供一种基于场景图像,生成场景地图的具体方法,包括:
S201:利用所述场景图像,生成所述目标场景的三维点云地图;所述三维点云地图中包括:多个点云点分别在所述目标场景中的三维位置信息、以及所述点云点对应的语义信息。
在具体实施中,(1):例如可以采用下述方法得到三维点云地图:
对场景图像进行关键点检测以及关键点匹配,并基于关键点匹配的结果,确定目标关键点,然后利用目标关键点对应的点云点在目标场景中的三维坐标值、目标关键点对应的点云点在场景图像对应的相机坐标系中的三维坐标值,得到目标场景中的其他点云点在在场景坐标系下的三维位置信息。
具体地,可以将图像获取设备在获取第一帧场景图像时,所对应的相机坐标系作为场景坐标系;并基于第一帧场景图像中的深度图像中各个点云点在相机坐标系中的坐标值,得到深度图像中各个点云点在场景坐标系中的坐标值。
此处,相机坐标系例如是利用图像获取设备的光心为坐标原点、以深度方向为z轴,以图像获取设备获取的图像所在的平面为x轴和y轴所在的平面,建立的三维坐标系。
在获取了第二帧场景图像后,将第二帧场景图像和第一帧场景图像中的彩色图像进行关键点检测以及关键点匹配,确定第一帧场景图像和第二帧场景图像中表征同一位置的目标关键点对,该目标关键点对中包括了位于第一帧场景图像中的第一关键点,和位于第二帧场景图像中的第二关键点,其中,第一关键点是目标场景中的点云点在第一帧场景图像中投影得到的,第二关键点是目标场景中的同一点云点在第二帧场景中投影得到的,因此,可第一关键点对应的点云点在场景坐标系中的三维位置信息,即为第二关键点对应的点云点在场景坐标系中的三维位置信息。然后,利用第二关键点对应的点云点在第二帧场景图像对应的相机坐标系中的三维位置信息,得到第二帧场景图像对应的相机坐标系与场景坐标系之间的转换关系信息,然后利用该转换关系信息,得到第二帧场景图像对应的所有点云点在场景坐标系中的三维位置信息。
然后,再针对图像获取设备获取的第三帧场景图像,基于该第三帧场景图像和第二帧场景图像,得到第三正场景图像中对应的所有点云点在场景坐标系下的三维位置信息。
通过上述过程的不断迭代,即能够生成三维点云地图。
(2):例如可以采用下述方式,得到目标场景中的点云点分别对应的语义信息:
对场景图像进行语义分割处理,得到场景图像中各个像素点分别对应的语义信息;然后利用目标场景中的点云点和场景图像中像素点之间的投影关系,得到目标场景中的点云点分别对应的语义信息。
在具体实施中,例如可以利用预先训练的语义分割模型,对场景图像进行语义分割处理;此处,通常是对彩色图像进行语义分割处理。在对场景图像进行语义分割处理后,能够得到彩色图像中各个像素点的语义分割结果,也即语义信息。
语义分割模型例如能够确定彩色图像中各个像素点的所属语义分类。此处,语义分类例如包括:目标场景中各个对象的名称;例如以对历史展馆进行三维建模时,在历史展馆内,会包括多个场馆,每个场馆包括了出入口、场馆内的展品、展馆的墙面等,在场馆内,还设置有垃圾桶、植物、摆设、储物柜等,可以将上述对象的语义分别设置为墙面、障碍物(包括除墙面等能够分割展馆内空间外的其他对象)。语义分割模型能够识别出墙面、和障碍物,标注出每一个像素点所属的语义类别。
承接上述S201,本公开实施例提供的基于场景图像,生成场景地图的方法还包括:
S202:利用所述三维位置信息、以及所述语义信息,生成所述场景地图。
在具体实施中,在利用三维位置信息以及语义信息,生成场景地图时,例如基于多个所述点云点的三维位置信息,将多个所述点云点分别投影至预设平面,得到投影图像;基于所述投影图像、以及多个所述点云点分别对应的语义信息,生成所述场景地图。
此处,在对点云点进行平面投影时的预设平面例如为水平面,或者基于目标场景的地面所确定的平面。
投影图像包括:多个点云点分别对应的投影点,以及每个投影点在所述投影图像中的二维坐标值。
本公开实施例以将水平面作为投影面为例,在对点云点投影至水平面时,即为在由场景坐标系的x轴和z轴所构成的平面上进行投影,若点云点在场景坐标系下的坐标值为:(w,e,r),则其在投影后,在投影图像中所形成的投影点的二维坐标值为:(w,r)。也即,在投影图像中x轴坐标值为w,y轴坐标值为r。
通过上述过程,将多个点云点分别投影至投影面上后,所有投影点的集合,构成投影图像。
在生成投影图像后,即能够采用下述方法利用投影图像,生成场景地图:
基于多个所述点云点分别在所述投影图像中的投影点的二维坐标值、以及多个所述点云点分别对应的语义信息,对所述投影点进行聚类;基于对所述投影点的聚类结果,生成所述场景地图。
此处,在基于投影图像中各个投影点的二维坐标值、以及每个点云点的语义信息进行聚类时,例如可以通过不同投影点的二维坐标值,计算不同投影点之间的距离,然后根据不同投影点之间的距离、以及分别对应的语义信息,确定各不同的投影点是否应当属于相同的类别,从而将所有的投影点进行分组。
在对所有投影点进行分组后,基于每一组投影点确定目标场景中对象在投影面的投影区域,进而根据投影区域,能够生成场景地图。
在根据投影区域生成场景地图时,例如还可以为各个投影区域添加对应的兴趣点(POI,Point of Interest)信息以及展示特效。例如,在目标场景为历史博物馆的情况下,会为不同的投影区域增加不同的展厅名称,如“汉代展馆”、“X星X文物展馆”等,并为对应的投影区域添加不同的颜色、历史标志物特效等。然后基于添加的展示特效以及POI信息,生成场景地图。
III:针对上述S103,图像获取设备采集目标场景时的移动路径,例如可以通过在图像获取设备中安装的惯导设备获取。惯导设备在图像获取设备采集目标场景时,会记录采集过程中的移动距离、以及移动方向;在移动起点确定的情况下,可以基于惯导设备所记录的移动距离和移动方向,确定图像获取设备的移动路径。
在另一种实施方式中,也可以基于图像获取设备在采集场景图像时的位姿,确定移动路径。图像获取设备的位姿获取方式还可以采用下述方式:
基于图像获取设备获取的第一帧场景图像建立相机坐标系,并将该坐标系作为场景坐标系。其中,该场景坐标系以图像获取设备在获取第一帧场景图像时的光轴为z轴,以图像获取设备在获取第一帧场景图像时光心所在位置为原点,此时,可以确定图像获取设备在获取第一帧场景图像时的位姿,也即,图像获取设备在获取第一帧场景图像时在场景坐标系下的位姿。
在图像获取设备获取第二帧场景图像后,将第一帧场景图像和第二帧场景图像进行特征提取和关键点匹配处理,并基于特征提取和关键点匹配处理的结果,能够确定图像获取设备在目标场景内的移动距离,以及转动角度,根据该移动距离、转动角度、以及图像获取设备在获取第一帧场景图像时,在场景坐标系下的位姿,即能够确定图像获取设备在获取第二帧场景图像时在场景坐标系下的位姿。
然后,再针对图像获取设备获取的第三帧场景图像,基于该第三帧场景图像相对于第二帧场景图像的图像获取设备移动距离和转动角度、以及第二帧场景图像对应的位姿,既能够确定图像获取设备在获取第三帧场景图像时在场景坐标系下的位置。
通过上述过程的不断迭代,即能够确定出所有场景图像分别对应的位姿。在确定所有场景图像分别对应的位姿后,基于其中表征场景图像在目标场景中位置的数据,得到移动路径。
示例性的,本公开实施例提供一种移动路径的具体方法,包括:基于所述位置信息,将所述图像获取设备在采集所述场景图像时的采样位置投影至预设平面,得到多帧场景图像分别对应采样位置在所述预设平面的投影位置;基于多帧场景图像分别对应采样位置在所述预设平面的投影位置、以及每帧场景图像对应的时间戳,生成所述移动路径。
IV:针对上述S104,在基于上述S101~S103得到场景地图和路径信息后,结合场景地图和路径信息,能够确定出场景地图中任意两个位置点之间是否可达。进而将场景地图和路径信息相结合,得到导航地图。
具体地,参见图3所示,本公开实施例提供一种基于移动路径、以及场景地图,生成目标场景的导航地图的具体方法,包括:
S301:基于所述场景地图中各个像素点的语义信息,确定多个区域。
在具体实施中,在基于场景地图中的各个像素点的语义信息,确定多个区域的时候,例如是从场景地图中各个像素点的语义信息中,确定语义信息为目标语义信息的目标像素点。
示例性的,在目标场景为展览馆的情况下,目标语义信息为:墙壁;基于不同展示场馆之间的墙壁,将场景地图划分为多个区域。
此处,所确定的每个区域,通常包括场景地图中的至少一个投影区域。
S302:基于所述移动路径,确定每相邻的两个区域之间的可达性信息。
此处,所述每相邻的两个区域之间的可达性信息包括:所述每相邻的两个区域是否可达,以及在所述每相邻的两个区域之间可达时的可达路径。
此处,若移动路径穿越了相邻的两个区域之间的区域间隔,则认为该相邻的两个区域可达,将穿越相邻两个区域之间间隔的路径,确定为两个区域之间的可达路径。
S303:基于所述每相邻的两个区域之间的可达性信息,生成所述目标场景的导航地图。
在生成导航地图后,基于导航地图进行导航时,对于在目标场景中的任一位置点,可以确定该位置点在导航地图中的第一区域;然后利用终点位置所在的导航地图中的第二区域,然后利用导航地图,生成导航路线。
示例性的,参见图4所示,本公开实施例还提供一种利用导航地图生成导航路线的具体方法,包括:
S401:获取用户通过增强现实AR设备触发的导航路线生成指令;所述导航路线生成指令中,携带有导航路线的终点位置信息;
S402:基于所述AR设备在目标场景中的当前位置信息、所述终点位置信息、以及预先生成的导航地图,生成导航路线。
本公开实施例通过获取AR设备触发的导航路线生成指令,基于导航路线生成指令中的携带的终点位置信息、AR设备的当前位置信息、以及基于本公开实施例提供的导航地图生成方法生成的导航路线,成本更低,且具有更高的导航精度。
下面对上述S401和S402加以详细描述。
在上述S401中,终点位置信息,例如可以表示为:在目标场景中的任一位置点、或者目标场景中对象的POI。在终点位置信息表示为POI的时候,在目标场景内的对象,都可以预先为其生成兴趣点(Point of Interest,POI)信息。
本公开实施例提供的导航地图生成方法既可以在AR设备中执行,又可以在服务器端执行。
示例性的,(1):针对本公开实施例提供的导航地图生成方法在AR设备中执行的情况,在AR设备的图形用户界面中能够为用户展示目标场景的目标场景地图;该目标场景地图可以为二维地图,也可以为三维地图;在目标场景为二维地图的情况下,其例如可以为上述实施例中的场景地图;在目标场景为三维地图的情况下,其例如可以为基于上述实施例得到的三维点云地图,其由目标场景中的点云点构成,通过为三维点云地图中不同语义信息的对象渲染不同的特效,能够为用户展示更为细致的目标场景。例如在目标场景中布置的垃圾桶、路灯等,均可以以特效的形式显示在三维点云地图中。AR设备响应用户对场景地图中任一位置的触发,基于用户触发的位置,为用户确定一终点位置信息,并基于终点位置信息,生成导航路线生成指令。
这里,示例性的,在基于用户触发的位置,为用户确定一终点位置的时候,例如可以基于本公开实施例中提供的导航地图,确定用户触发的位置是否可达;若可达,则将该位置确定为终点位置;若该位置不可达,则可以基于导航地图,将距离该位置最近的一个可达位置,确定为终点位置,或者基于该位置确定多个备选位置,并将多个备选位置通过图形用户界面展示给用户,以供用户从多个备选位置中选择一个作为终点位置。
另外,在确定用户触发的位置不可达的情况下,还可以通过AR设备向用户进行提示,提示用户重新输入其所要达到的目的地。
在另一实施例中,可以通过AR设备向用户展示信息输入框;用户通过该信息输入框输入目标场景内任一对象的POI,并基于用户输入的POI,生成导航路线生成指令。
或者,还可以将目标场景内的对象的POI以可触发控件的形式,在图形用户界面中展示出来;在用户触发其中任一POI后,基于用户触发的POI,生成导航路线生成指令。
(2):针对本公开实施例提供的导航路线生成方法在服务其中执行的情况,AR设备例如基于上述(1)中的过程生成导航路线生成指令,并将导航路线生成指令传输至服务器。
在上述S402中,基于所述AR设备在目标场景中的当前位置信息、所述终点位置信息、以及预先生成的导航地图,生成导航路线时,例如可以基于所述当前位置信息,确定导航起点所在的第一区域,以及基于所述终点位置信息,确定导航终点所在的第二区域;基于所述导航地图,确定所述第一区域和所述第二区域之间的目标路径,以及基于所述当前位置信息、所述终点位置信息、以及所述目标路径,生成所述导航路线。
AR设备在目标场景中的当前位置信息,例如可以采用下述方式获得:
获取AR设备实时采集目标场景得到的视频帧图像;
基于所述视频帧图像、以及所述目标场景的三维点云地图,确定所述AR设备在所述目标场景下的当前位置信息。
在具体实施中,针对本公开实施例提供的导航地图生成方法在服务器执行的情况,用户携带AR设备位于目标场景时,可以利用AR设备中的图像采集装置对目标场景进行拍摄,得到实时拍摄获取的视频帧图像;AR设备将实时拍摄得到的视频帧图像发送至服务器。服务器利用视频帧图像、以及预先构建的目标场景的三维点云地图,确定AR设备在目标场景下的当前位置信息。
示例性的,例如可以采用下述方式确定AR设备在目标场景下的当前位置信息:
对所述场景图像进行关键点识别,得到所述场景图像中的第一关键点。
基于所述第一关键点,从所述三维点云地图中的第二关键点中,确定与所述第一关键点匹配的目标第二关键点,并基于目标第二关键点在所述场景坐标系下的三维坐标值,确定所述AR设备在所述场景坐标系下的当前位置信息。
在确定了当前位置信息后,当前位置信息可以为AR设备在目标场景中的三维位置。可以将该三维位置投影至预设平面中,得到一二维位置,然后基于导航地图中区域的划分,得到导航起点所在的第一区域。同理,可以得到导航终点所在的第二区域。
其中,三维点云地图例如可以采用上述实施例中的方式生成,在此不再赘述。
然后利用利用导航地图中每两个相邻区域之间的可达路径,能够得到至少一条从第一区域到达第二区域的备选路径。
可以依据一定的筛选条件,从至少一条备选路径中确定目标路径,然后其中,目标路径例如可以与图像获取设备采集目标场景中移动路径重叠,并基于初始位置信息,确定一导航起点与移动路径的第一路线,并基于终点位置信息,确定一导航终点与移动路径的第二路线,结合目标路径、第一路线、以及第二路线,得到导航路线。
此处,筛选条件,例如包括:路线最短、经过的区域最多、经过某个特定的区域等,具体可以根据实际的需要进行设定。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与导航地图生成方法对应的导航地图生成装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述导航地图生成方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图5所示,为本公开实施例提供的一种导航地图生成装置的示意图,所述装置包括:获取模块51、第一生成模块52、第二生成模块53、以及第三生成模块54;其中,
获取模块51,用于获取通过图像获取设备对目标场景进行图像采集得到的场景图像;
第一生成模块52,用于基于所述场景图像,生成场景地图;
第二生成模块53,用于基于所述场景图像,确定所述图像获取设备在采集所述场景图像时在所述目标场景中的位置信息,并根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径;
第三生成模块54,用于基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图。
一种可能的实施方式中,所述第一生成模块52,在基于所述场景图像,生成场景地图时,用于:
利用所述场景图像,生成所述目标场景的三维点云地图;所述三维点云地图中包括:多个点云点分别在所述目标场景中的三维位置信息、以及所述点云点对应的语义信息;
利用所述三维位置信息、以及所述语义信息,生成所述场景地图。
一种可能的实施方式中,所述第一生成模块52,在利用所述三维位置信息、以及所述语义信息,生成所述场景地图时,用于:
基于多个所述点云点的三维位置信息,将多个所述点云点分别投影至预设平面,得到投影图像;
基于所述投影图像、以及多个所述点云点分别对应的语义信息,生成所述场景地图。
一种可能的实施方式中,所述投影图像包括:所多个所述点云点分别对应的投影点,以及每个投影点在所述投影图像中的二维坐标值;;
所述第一生成模块52,在基于所述投影图像、以及所述每个点云点的语义信息,生成所述场景地图时,用于:
基于多个所述点云点分别在所述投影图像中的投影点的二维坐标值、以及多个所述点云点分别对应的语义信息,对所述投影点进行聚类;
基于对所述投影点的聚类结果,生成所述场景地图。
一种可能的实施方式中,所述第二生成模块53,在根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径时,用于:
基于所述位置信息,将所述图像获取设备在采集所述场景图像时的采样位置投影至预设平面,得到多帧场景图像分别对应采样位置在所述预设平面的投影位置;
基于多帧场景图像分别对应采样位置在所述预设平面的投影位置、以及每帧场景图像对应的时间戳,生成所述移动路径。
一种可能的实施方式中,所述第三生成模块54,在基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图时,用于:
基于所述场景地图中各个像素点的语义信息,确定多个区域;
基于所述移动路径,确定每相邻的两个区域之间的可达性信息;
基于所述每相邻的两个区域之间的可达性信息,生成所述目标场景的导航地图;
所述每相邻的两个区域之间的可达性信息包括:所述每相邻的两个区域是否可达,以及在所述每相邻的两个区域之间可达时的可达路径。
一种可能的实施方式中,还包括:导航模块55,用于:
获取用户通过增强现实AR设备触发的导航路线生成指令;所述导航路线生成指令中,携带有导航路线的终点位置信息;
基于所述AR设备在所述目标场景中的当前位置信息、所述终点位置信息、以及所述导航地图,生成导航路线。
一种可能的实施方式中,所述导航模块55,还用于:
获取所述AR设备实时对所述目标场景进行图像采集得到的视频帧图像;
基于所述视频帧图像、以及所述目标场景的三维点云地图,确定所述AR设备在所述目标场景下的当前位置信息。
一种可能的实施方式中,所述导航模块55,在基于所述AR设备在目标场景中的当前位置信息、所述终点位置信息、以及所述导航地图,生成导航路线时,用于:
基于所述当前位置信息,确定导航起点所在的第一区域,以及
基于所述终点位置信息,确定导航终点所在的第二区域;
基于所述导航地图,确定所述第一区域和所述第二区域之间的目标路径,以及基于所述当前位置信息、所述终点位置信息、以及所述目标路径,生成所述导航路线。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例还提供了一种计算机设备,如图6所示,为本公开实施例提供的计算机设备结构示意图,包括:
处理器61和存储器62;所述存储器62存储有处理器61可执行的机器可读指令,处理器61用于执行存储器62中存储的机器可读指令,所述机器可读指令被处理器61执行时,处理器61执行下述步骤:
获取通过图像获取设备对目标场景进行图像采集得到的场景图像;
基于所述场景图像,生成场景地图;
基于所述场景图像,确定所述图像获取设备在采集所述场景图像时在所述目标场景中的位置信息,并根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径;以及
基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图。
上述存储器62包括内存621和外部存储器622;这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的导航地图生成方法方法的步骤,此处不再赘述。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的导航地图生成方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的导航地图生成方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种导航地图生成方法,其特征在于,包括:
获取通过图像获取设备对目标场景进行图像采集得到的场景图像;
基于所述场景图像,生成场景地图;
基于所述场景图像,确定所述图像获取设备在采集所述场景图像时在所述目标场景中的位置信息,并根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径;以及
基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图。
2.根据权利要求1所述的导航地图生成方法,其特征在于,所述基于所述场景图像,生成场景地图,包括:
利用所述场景图像,生成所述目标场景的三维点云地图;所述三维点云地图中包括:多个点云点分别在所述目标场景中的三维位置信息、以及所述点云点对应的语义信息;
利用所述三维位置信息、以及所述语义信息,生成所述场景地图。
3.根据权利要求2所述的导航地图生成方法,其特征在于,所述利用所述三维位置信息、以及所述语义信息,生成所述场景地图,包括:
基于多个所述点云点的三维位置信息,将多个所述点云点分别投影至预设平面,得到投影图像;
基于所述投影图像、以及多个所述点云点分别对应的语义信息,生成所述场景地图。
4.根据权利要求3所述的导航地图生成方法,其特征在于,所述投影图像包括:多个所述点云点分别对应的投影点,以及每个投影点在所述投影图像中的二维坐标值;
所述基于所述投影图像、以及所述每个点云点的语义信息,生成所述场景地图,包括:
基于多个所述点云点分别在所述投影图像中的投影点的二维坐标值、以及多个所述点云点分别对应的语义信息,对所述投影点进行聚类;
基于对所述投影点的聚类结果,生成所述场景地图。
5.根据权利要求1-4任一项所述的导航地图生成方法,其特征在于,所述根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径,包括:
基于所述位置信息,将所述图像获取设备在采集所述场景图像时的采样位置投影至预设平面,得到多帧场景图像分别对应采样位置在所述预设平面的投影位置;
基于多帧场景图像分别对应采样位置在所述预设平面的投影位置、以及每帧场景图像对应的时间戳,生成所述移动路径。
6.根据权利要求1-5任一项所述的导航地图生成方法,其特征在于,所述基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图,包括:
基于所述场景地图中各个像素点的语义信息,确定多个区域;
基于所述移动路径,确定每相邻的两个区域之间的可达性信息;
基于所述每相邻的两个区域之间的可达性信息,生成所述目标场景的导航地图;
所述每相邻的两个区域之间的可达性信息包括:所述每相邻的两个区域是否可达,以及在所述每相邻的两个区域之间可达时的可达路径。
7.根据权利要求1-6任一项所述的导航地图生成方法,其特征在于,还包括:
获取用户通过增强现实AR设备触发的导航路线生成指令;所述导航路线生成指令中,携带有导航路线的终点位置信息;
基于所述AR设备在所述目标场景中的当前位置信息、所述终点位置信息、以及所述导航地图,生成导航路线。
8.根据权利要求7所述的导航地图生成方法,其特征在于,还包括:
获取所述AR设备实时对所述目标场景进行图像采集得到的视频帧图像;
基于所述视频帧图像、以及所述目标场景的三维点云地图,确定所述AR设备在所述目标场景下的当前位置信息。
9.根据权利要求7或8所述的导航地图生成方法,其特征在于,所述基于所述AR设备在目标场景中的当前位置信息、所述终点位置信息、以及所述导航地图,生成导航路线,包括:
基于所述当前位置信息,确定导航起点所在的第一区域,以及
基于所述终点位置信息,确定导航终点所在的第二区域;
基于所述导航地图,确定所述第一区域和所述第二区域之间的目标路径,以及基于所述当前位置信息、所述终点位置信息、以及所述目标路径,生成所述导航路线。
10.一种导航地图生成装置,其特征在于,包括:
获取模块,用于获取通过图像获取设备对目标场景进行图像采集得到的场景图像;
第一生成模块,用于基于所述场景图像,生成场景地图;
第二生成模块,用于基于所述场景图像,确定所述图像获取设备在采集所述场景图像时在所述目标场景中的位置信息,并根据所述位置信息,确定所述图像获取设备在对所述目标场景进行图像采集时,在所述目标场景中的移动路径;
第三生成模块,用于基于所述移动路径、以及所述场景地图,生成所述目标场景的导航地图。
11.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至9任一项所述的导航地图生成方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时,所述计算机设备执行如权利要求1至9任一项所述的导航地图生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110447674.6A CN113178006A (zh) | 2021-04-25 | 2021-04-25 | 导航地图生成方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110447674.6A CN113178006A (zh) | 2021-04-25 | 2021-04-25 | 导航地图生成方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113178006A true CN113178006A (zh) | 2021-07-27 |
Family
ID=76925514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110447674.6A Pending CN113178006A (zh) | 2021-04-25 | 2021-04-25 | 导航地图生成方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113178006A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113776553A (zh) * | 2021-08-31 | 2021-12-10 | 深圳市慧鲤科技有限公司 | Ar数据展示方法、装置、电子设备及存储介质 |
CN113838193A (zh) * | 2021-09-29 | 2021-12-24 | 北京市商汤科技开发有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
WO2023020224A1 (zh) * | 2021-08-17 | 2023-02-23 | 腾讯科技(深圳)有限公司 | 导航视频生成、采集方法、装置、服务器、设备及介质 |
CN115752480A (zh) * | 2022-12-09 | 2023-03-07 | 佛山市稚蒙环境科技有限公司 | 一种基于物联网的采样装置管理系统及方法 |
CN115861576A (zh) * | 2022-12-09 | 2023-03-28 | 深圳市同立方科技有限公司 | 一种实现实景影像增强现实的方法、系统、设备及介质 |
WO2024021955A1 (zh) * | 2022-07-29 | 2024-02-01 | 网易(杭州)网络有限公司 | 三维指引地图生成方法、装置、存储介质和电子装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100305847A1 (en) * | 2005-06-21 | 2010-12-02 | Mappick Technologies, Llc | Navigation system and method |
CN108168567A (zh) * | 2017-11-22 | 2018-06-15 | 东南大学 | 一种基于电子地图实现高精度定位服务的方法 |
CN109781072A (zh) * | 2019-01-18 | 2019-05-21 | 上海扩博智能技术有限公司 | 基于增强现实的室内导航地图建立、导航方法及系统 |
CN111551188A (zh) * | 2020-06-07 | 2020-08-18 | 上海商汤智能科技有限公司 | 一种导航路线生成的方法及装置 |
-
2021
- 2021-04-25 CN CN202110447674.6A patent/CN113178006A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100305847A1 (en) * | 2005-06-21 | 2010-12-02 | Mappick Technologies, Llc | Navigation system and method |
CN108168567A (zh) * | 2017-11-22 | 2018-06-15 | 东南大学 | 一种基于电子地图实现高精度定位服务的方法 |
CN109781072A (zh) * | 2019-01-18 | 2019-05-21 | 上海扩博智能技术有限公司 | 基于增强现实的室内导航地图建立、导航方法及系统 |
CN111551188A (zh) * | 2020-06-07 | 2020-08-18 | 上海商汤智能科技有限公司 | 一种导航路线生成的方法及装置 |
Non-Patent Citations (2)
Title |
---|
XUYAN HOU ET AL.: "A Novel Mobile Robot Navigation Method Based on Hand-Drawn Paths", 《IEEE SENSORS JOURNAL》, vol. 20, no. 19, 25 May 2020 (2020-05-25), pages 11662 - 11671, XP011807446, DOI: 10.1109/JSEN.2020.2997055 * |
谢斯: "基于移动终端的信息化系统在高铁工务上线作业中的应用", 《科技创新与应用》, no. 15, 28 May 2017 (2017-05-28), pages 10 - 11 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023020224A1 (zh) * | 2021-08-17 | 2023-02-23 | 腾讯科技(深圳)有限公司 | 导航视频生成、采集方法、装置、服务器、设备及介质 |
CN113776553A (zh) * | 2021-08-31 | 2021-12-10 | 深圳市慧鲤科技有限公司 | Ar数据展示方法、装置、电子设备及存储介质 |
CN113838193A (zh) * | 2021-09-29 | 2021-12-24 | 北京市商汤科技开发有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
WO2024021955A1 (zh) * | 2022-07-29 | 2024-02-01 | 网易(杭州)网络有限公司 | 三维指引地图生成方法、装置、存储介质和电子装置 |
CN115752480A (zh) * | 2022-12-09 | 2023-03-07 | 佛山市稚蒙环境科技有限公司 | 一种基于物联网的采样装置管理系统及方法 |
CN115861576A (zh) * | 2022-12-09 | 2023-03-28 | 深圳市同立方科技有限公司 | 一种实现实景影像增强现实的方法、系统、设备及介质 |
CN115752480B (zh) * | 2022-12-09 | 2023-11-21 | 佛山市稚蒙环境科技有限公司 | 一种基于物联网的采样装置管理系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113178006A (zh) | 导航地图生成方法、装置、计算机设备及存储介质 | |
CN111551188B (zh) | 一种导航路线生成的方法及装置 | |
KR102417645B1 (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
US20220351473A1 (en) | Mobile augmented reality system | |
KR20210046592A (ko) | 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체 | |
CN112287928A (zh) | 一种提示方法、装置、电子设备及存储介质 | |
CN111638796A (zh) | 虚拟对象的展示方法、装置、计算机设备及存储介质 | |
CN103971589A (zh) | 将地图的兴趣点信息添加于街景图像中的处理方法及装置 | |
KR20160027735A (ko) | 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법 | |
CN111651050A (zh) | 城市虚拟沙盘的展示方法、装置、计算机设备及存储介质 | |
CN111623782A (zh) | 导航路线的展示方法、三维场景模型的生成方法及装置 | |
CN112950790A (zh) | 路线导航方法、装置、电子设备及存储介质 | |
CN110807431A (zh) | 对象定位方法、装置、电子设备及存储介质 | |
CN112861725A (zh) | 一种导航提示方法、装置、电子设备及存储介质 | |
CN111653175B (zh) | 一种虚拟沙盘展示方法及装置 | |
CN113282687A (zh) | 数据展示方法、装置、计算机设备及存储介质 | |
CN112907757A (zh) | 一种导航提示方法、装置、电子设备及存储介质 | |
CN113838193A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
KR20190047922A (ko) | 혼합현실을 이용한 정보 공유 시스템 | |
TW201126451A (en) | Augmented-reality system having initial orientation in space and time and method | |
CN108235764B (zh) | 信息处理方法、装置、云处理设备及计算机程序产品 | |
Bui et al. | Integrating videos with LIDAR scans for virtual reality | |
CN112817454A (zh) | 一种信息展示方法、装置、相关设备及存储介质 | |
US10878278B1 (en) | Geo-localization based on remotely sensed visual features | |
CN111882675A (zh) | 一种模型呈现方法、装置、电子设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |