CN117470246A - 路径规划方法、装置、存储介质及电子设备 - Google Patents
路径规划方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117470246A CN117470246A CN202311634391.8A CN202311634391A CN117470246A CN 117470246 A CN117470246 A CN 117470246A CN 202311634391 A CN202311634391 A CN 202311634391A CN 117470246 A CN117470246 A CN 117470246A
- Authority
- CN
- China
- Prior art keywords
- map
- shot
- grid
- area
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000011218 segmentation Effects 0.000 claims description 33
- 230000004888 barrier function Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 239000003550 marker Substances 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 abstract description 13
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种路径规划方法、装置、存储介质及电子设备,其中方法包括:获取目标拍摄工具的任务区域,以及任务区域在预先配置的多维网格地图中的地图区域;基于目标拍摄工具在地图区域中任务起始位置占用的网格、地图区域中障碍物占用的网格和地图区域中待拍摄物品占用的网格任意两两网格之间的位置关系,生成目标拍摄工具在任务区域内的移动路径;任务区域是基于如下方式确定的:基于多维网格地图中各个待拍摄物品之间的距离、多维网格地图中各个障碍物的位置和目标拍摄工具的续航时长将多维网格地图中的各个待拍摄物品进行聚类,得到多个任务区域。本申请提供的方法和装置,可以对拍摄工具进行路径规则,提高了待拍摄物品的监测效率。
Description
技术领域
本申请涉及计算机技术领域,具体而言,涉及一种路径规划方法、装置、存储介质及电子设备。
背景技术
目前金融机构多指派采用专员定期去不动产抵质押品所在地进行考察记录从而对不动产抵质押品进行监测。这种方式成本较高且考察频率较低,在监管期间若抵质押品状态发生变化则金融机构难以及时发现。使用无人机和无人车等拍摄工具可以对待拍摄物品进行拍摄监测。若要实现拍摄工具对待拍摄物品进行监测,首先需要对拍摄工具进行路径规划,因此路径规划是监测中关键的一环。
因此,如何对拍摄工具进行路径规则成为业界亟待解决的技术问题。
发明内容
本申请提供一种路径规划方法、装置、存储介质及电子设备,用以解决现有技术中如何对拍摄工具进行路径规则的技术问题。
第一方面,本申请提供了一种路径规划方法,包括:
获取目标拍摄工具的任务区域,以及所述任务区域在预先配置的多维网格地图中的地图区域,所述多维网格地图中包括多个待拍摄物品和影响所述目标拍摄工具移动的障碍物;
基于所述目标拍摄工具在所述地图区域中任务起始位置占用的网格、所述地图区域中障碍物占用的网格和所述地图区域中待拍摄物品占用的网格任意两两网格之间的位置关系,生成所述目标拍摄工具在所述任务区域内的移动路径;
其中,所述任务区域是基于如下方式确定的:
基于所述多维网格地图中各个待拍摄物品之间的距离、所述多维网格地图中各个障碍物的位置和所述目标拍摄工具的续航时长将所述多维网格地图中的各个待拍摄物品进行聚类,得到多个任务区域。
在一些实施例中,所述基于所述目标拍摄工具在所述地图区域中任务起始位置占用的网格、所述任务区域中障碍物占用的网格和所述任务区域中待拍摄物品占用的网格任意两两网格之间的位置关系,生成所述目标拍摄工具在所述任务区域内的移动路径,包括:
将所述任务起始位置占用的网格作为当前起始网格;
获取所述当前起始网格的相邻网格,并将未被所述障碍物占用的相邻网格,以及被所述障碍物占用但所述目标拍摄工具能够通过的相邻网格加入预先创建的优先队列中;
将所述目标拍摄工具在所述当前起始网格与所述优先队列中相邻网格之间的移动距离最小的相邻网格作为所述目标拍摄工具的下一起始网格,并将所述下一起始网格在所述优先队列中移除;
基于所述下一起始网格对所述当前起始网格进行更新,直至所述优先队列为空或者所述目标拍摄工具已到达所述任务区域中各个待拍摄物品占用的网格;
基于各个当前起始网格之间的位置关系,生成所述目标拍摄工具在所述任务区域内的移动路径。
在一些实施例中,所述基于所述多维网格地图中各个待拍摄物品之间的距离、所述多维网格地图中各个障碍物的位置和所述目标拍摄工具的续航时长将所述多维网格地图中的各个待拍摄物品进行聚类,得到多个任务区域,包括:
基于所述多维网格地图中各个待拍摄物品之间的距离,在所述待拍摄物品中确定各个初始聚类中心;
基于所述障碍物的位置确定所述目标拍摄工具从各个待拍摄物品至各个初始聚类中心之间的移动距离,并将各个待拍摄物品分配至所述移动距离最小的初始聚类中心所属的初始任务区域;
基于所述初始任务区域中各个待拍摄物品的拍摄需求确定所述初始任务区域的拍摄时长;
在任一初始任务区域的拍摄时长大于所述目标拍摄工具的续航时长的情况下,将所述任一初始任务区域的待拍摄物品划分至其他初始任务区域中重新进行聚类,并基于重新聚类的聚类结果对所述初始任务区域进行更新,直至各个初始任务区域的拍摄时长均小于或等于所述目标拍摄工具的续航时长,得到最终的各个任务区域。
在一些实施例中,所述多维网格地图是基于如下步骤构建的:
基于待拍摄物品的所处环境,确定所述待拍摄物品的目标拍摄工具,所述目标拍摄工具包括无人机和无人车中的至少一个;
基于多维重建技术构建各个待拍摄物品所在区域的多维实景地图;
将所述多维实景地图输入至语义分割模型中,得到所述语义分割模型输出的包括障碍物标签和待拍摄物品标签的多维实景标签地图;
将所述多维实景标签地图进行网格化处理,得到所述多维网格地图。
在一些实施例中,所述将所述多维实景标签地图进行网格化处理,得到所述多维网格地图,包括:
基于所述目标拍摄工具的大小,以及所述目标拍摄工具的偏航置信区间确定网格单元的大小;
基于所述网格单元将所述多维实景标签地图进行网格化处理,得到所述多维网格地图。
在一些实施例中,所述将所述多维实景标签地图进行网格化处理之前,还包括:
基于所述多维实景标签地图中各个标志物的位置关系,确定所述多维实景标签地图坐标系与大地坐标系之间的转换关系;
基于所述转换关系确定所述多维实景标签地图中各个点的大地坐标;
其中,所述标志物为所述多维实景标签地图中已知大地坐标的固定点。
在一些实施例中,所述语义分割模型是基于如下步骤生成包括障碍物标签和待拍摄物品标签的多维实景标签地图:
将所述多维实景地图进行预处理,并对所述多维实景地图进行编码,生成所述多维实景地图的特征层次结构;
对所述特征层次结构进行解码并使用分类器确定所述障碍物的标签和所述待拍摄物品的标签,生成包括所述障碍物标签和所述待拍摄物品标签的多维实景标签地图。
第二方面,本申请提供了一种路径规划装置,包括:
获取模块,用于获取目标拍摄工具的任务区域,以及所述任务区域在预先配置的多维网格地图中的地图区域,所述多维网格地图中包括多个待拍摄物品和影响所述目标拍摄工具移动的障碍物;
生成模块,用于基于所述目标拍摄工具在所述地图区域中任务起始位置占用的网格、所述地图区域中障碍物占用的网格和所述地图区域中待拍摄物品占用的网格任意两两网格之间的位置关系,生成所述目标拍摄工具在所述任务区域内的移动路径;
其中,所述任务区域是基于如下方式确定的:
基于所述多维网格地图中各个待拍摄物品之间的距离、所述多维网格地图中各个障碍物的位置和所述目标拍摄工具的续航时长将所述多维网格地图中的各个待拍摄物品进行聚类,得到多个任务区域。
第三方面,本申请提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的方法。
第四方面,本申请提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述程序时实现上述的方法。
本申请提供的路径规划方法、装置、存储介质及电子设备,通过各个待拍摄物品之间的距离、各个障碍物的位置和目标拍摄工具的续航时长划分目标拍摄工具的任务区域,使得目标拍摄工具可以在续航时间内完成任务区域的拍摄任务,提高了目标拍摄工具对待拍摄物品的拍摄效率;通过对地图进行网格化的划分,根据目标拍摄工具、障碍物和待拍摄物品对网格的占用情况,可以保证目标拍摄工具通过最短的距离移动至各个待拍摄物品,从而确定目标拍摄工具在任务区域内拍摄各个待拍摄物品的最短移动路径,提高了目标拍摄工具的拍摄效率,提高了待拍摄物品的监测效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的路径规划方法的流程示意图之一;
图2为本申请实施例提供的语义分割的流程示意图;
图3为本申请实施例提供的路径规划方法的流程示意图之二;
图4为本申请实施例提供的路径规划装置的结构示意图之一;
图5为本申请实施例提供的路径规划装置的结构示意图之二;
图6为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
本申请实施例提供的路径规划方法适用于终端,终端可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于服务器、智能手机、平板电脑、膝上型便携计算机和台式计算机等。
在本申请的技术方案中,所涉及的个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
图1为本申请实施例提供的路径规划方法的流程示意图之一,如图1所示,该方法包括步骤110和步骤120。该方法流程步骤仅仅作为本申请一个可能的实现方式。
步骤110、获取目标拍摄工具的任务区域,以及任务区域在预先配置的多维网格地图中的地图区域,多维网格地图中包括多个待拍摄物品和影响目标拍摄工具移动的障碍物。
具体地,本申请实施例提供的路径规划方法的执行主体为路径规划装置,该装置可以为终端中独立设置的硬件设备,也可以为运行在终端中的软件程序。例如,当终端为手机时,路径规划装置可以体现为手机中的路径规划软件等应用程序。
目标拍摄工具为准备拍摄监测待拍摄物品的自动驾驶交通工具。例如无人机和无人车。可以根据待拍摄物品所在的环境以及待拍摄物品的拍摄需求确定目标拍摄工具。例如待拍摄物品在室外,需要拍摄待拍摄物品的外观,则目标拍摄工具可以为无人机;待拍摄物品在室内,则目标拍摄工具可以为无人车;待拍摄物品在室外,需要拍摄待拍摄物品的外观和内部结构,则目标拍摄工具可以为无人车和无人机。
任务区域是目标拍摄工具执行拍摄任务的空间范围或区域。
多维网格地图是目标区域的实景地图,实景地图以网格的形式进行了划分。每个网格单元可以存储不同的属性或状态信息,例如障碍物标签和待拍摄物品标签等。目标区域为所有待拍摄物品所在的区域。多维网格地图可以为三维网格地图。
任务区域可能有多个,目标拍摄工具的所有任务区域构成了多维网格地图,即多维网格地图覆盖了每个任务区域的地图区域。
待拍摄物品为金融机构需要监测的不动产抵质押品。例如房屋和船舶等位置不变或变化较小的物品。
障碍物是指在目标拍摄工具移动路径上存在的物体或区域,它们可能会妨碍目标拍摄工具的正常移动。障碍物可以是实体物体,例如建筑、树木、路标和水池等,也可以是虚拟的边界或限制区域,例如禁止通行区域和危险区域等。
如果数据库中已经存储了多维网格地图,则直接获取任务区域在多维网格地图中的地图区域,从而得到任务区域的相关信息;若数据库中未存储多维网格地图,则需要创建多维网格地图。
可以通过目标拍摄工具对目标区域进行初步拍摄,使用多维重建技术构建目标区域的多维实景模型,多维实景模型就是多维实景地图,使用语义分割模型,在多维实景模型中分割出待拍摄物品、不同类型的障碍物信息,在此基础上结合先验矢量信息构建多维网格地图并在网格中标记障碍物和待拍摄物品。
先验矢量信息是指在进行多维实景模型处理或进行语义分割模型训练之前已经获取的关于障碍物和待拍摄物品的相关信息的先验知识或假设。
步骤120、基于目标拍摄工具在地图区域中任务起始位置占用的网格、地图区域中障碍物占用的网格和地图区域中待拍摄物品占用的网格任意两两网格之间的位置关系,生成目标拍摄工具在任务区域内的移动路径;其中,任务区域是基于如下方式确定的:基于多维网格地图中各个待拍摄物品之间的距离、多维网格地图中各个障碍物的位置和目标拍摄工具的续航时长将多维网格地图中的各个待拍摄物品进行聚类,得到多个任务区域。
具体地,确定了地图区域后,可以开始对目标拍摄工具在当前任务区域内的移动路径进行规划。
可以将网格化的地图和Dijkstra算法相结合,对Dijkstra算法进行优化,从而对目标拍摄工具的每一组任务进行路径规划,确定待拍摄物品的拍摄顺序和待拍摄物品间的航线。一组任务对应一个任务区域。
目标拍摄工具在地图区域中执行任务时,会有一个任务起始位置。任务起始位置是指在目标拍摄工具执行当前任务区域的任务,确定任务开始时目标拍摄工具所处的位置。本申请实施例的位置均指的是三维位置,即包括水平方向上的位置和高度。
因为目标拍摄工具拍摄待拍摄物品时可能是围绕其各个面进行拍摄,因此可以根据待拍摄物品的物品特点和目标拍摄装置的安全移动距离来确定目标拍摄装置第一次到达待拍摄物品的位置。例如根据待拍摄物品的物品特点和无人机绕飞的安全距离来确定无人机作业半径,从而确定目标拍摄装置第一次到达待拍摄物品的位置,并确定当前地图区域中待拍摄物品占用的网格。
获取当前地图区域中障碍物占用的网格之间的位置关系、任务起始位置占用的网格与待拍摄物品占用的网格之间的位置关系以及障碍物占用的网格与待拍摄物品占用的网格之间的位置关系,通过这些位置关系可以确定目标拍摄工具接下来移动至哪一个网格距离最短,从而确定目标拍摄工具在任务区域内的拍摄完各个待拍摄物品的最短移动距离。
若目标拍摄工具已经拍摄过待拍摄物品,只是根据设定的拍摄频率周期性地拍摄待拍摄物品,则任务区域一般是预先划分好的,可以直接获取任务区域。若目标拍摄工具是第一次拍摄待拍摄物品,数据库中没有存储划分的任务区域,则可能需要将目标区域进行划分,得到各个任务区域。
例如,对于待拍摄物品数量较多和/或待拍摄物品位置较分散的目标区域,可以使用迭代K-means聚类算法将目标区域内的待拍摄物品进行多次聚类分组,得到最终的任务区域。
在每一次聚类后,得到各个初始任务区域,根据初始任务区域中各个待拍摄物品之间的距离和各个障碍物的位置计算目标拍摄工具执行完该初始区域的拍摄任务的拍摄时长,将拍摄时长和目标拍摄工具的续航时长相对比,判断目标拍摄工具是否能在续航时长内一次完成该初始任务区域的拍摄任务。
若目标拍摄工具能在续航时长内一次完成任一初始任务区域,则将该初始任务区域作为最终的任务区域并存储在数据库中。
若目标拍摄工具不能在续航时长内一次完成任一初始任务区域,则重新聚类。
通过将各个待拍摄物品之间的距离、各个障碍物的位置和目标拍摄工具的续航时长为依据的进行聚类,可以确保任务区域中各个待拍摄物品距离较近且能够由目标拍摄工具在不需要充电的情况下完成当前任务区域的拍摄任务。
本申请实施例提供的路径规划方法,通过各个待拍摄物品之间的距离、各个障碍物的位置和目标拍摄工具的续航时长划分目标拍摄工具的任务区域,使得目标拍摄工具可以在续航时间内完成任务区域的拍摄任务,提高了目标拍摄工具对待拍摄物品的拍摄效率;通过对地图进行网格化的划分,根据目标拍摄工具、障碍物和待拍摄物品对网格的占用情况,可以保证目标拍摄工具通过最短的距离移动至各个待拍摄物品,从而确定目标拍摄工具在任务区域内拍摄各个待拍摄物品的最短移动路径,提高了目标拍摄工具的拍摄效率,提高了待拍摄物品的监测效率。
本方法使用航拍初拍、目标区域三维模型重建、语义分割标记目标和障碍物以及考虑无人机(或无人车)安全作业空间的地图网格化方法,使路径规划具有更精细的输入。
需要说明的是,本申请每一个实施方式可以自由组合、调换顺序或者单独执行,并不需要依靠或依赖固定的执行顺序。
在一些实施例中,步骤120包括:
将任务起始位置占用的网格作为当前起始网格;
获取当前起始网格的相邻网格,并将未被障碍物占用的相邻网格,以及被障碍物占用但目标拍摄工具能够通过的相邻网格加入预先创建的优先队列中;
将目标拍摄工具在当前起始网格与优先队列中相邻网格之间的移动距离最小的相邻网格作为目标拍摄工具的下一起始网格,并将下一起始网格在优先队列中移除;
基于下一起始网格对当前起始网格进行更新,直至优先队列为空或者目标拍摄工具已到达任务区域中各个待拍摄物品占用的网格;
基于各个当前起始网格之间的位置关系,生成目标拍摄工具在任务区域内的移动路径。
具体地,多维网格地图中标记了障碍物所占用的网格和待拍摄物品所占用的网格。
可以将任务起始位置占用的网格作为当前起始网格,并将当前起始网格的距离设置为0,其他网格的距离设置为无穷大。创建一个空的优先队列用于存储网格和网格距离。这里的距离指的是当前起始网格至其他网格的距离,目前的0和无穷大只是初始数据。
获取当前起始网格的所有相邻网格,选取目标拍摄工具能够到达的网格,即选取未被障碍物占用的相邻网格和被障碍物占用但目标拍摄工具能够通过的相邻网格,将这些网格加入到优先队列中,即不选择被障碍物占有且目标拍摄工具的相邻网格。因为有的网格虽然被障碍物占用,但障碍物占用区域较小或障碍物高度较低,则目标拍摄工具还是能够移动至该网格的,所以这样的相邻网格也可以加入到优先队列中。
确定了加入优先队列的相邻网格后,还需要确定目标拍摄工具从当前起始网格至这些相邻网格的移动距离,根据移动距离将初始值进行更新,并选取最小的移动距离作为下一个起始网格,并将其从优先队列中移除。
例如,当前起始网格与优先队列中的相邻网格之间没有障碍物,则相邻网格对应的移动距离为1;当前起始网格与相邻网格之间有障碍物,目标拍摄工具需要绕过障碍物才能到达相邻网格,则相邻网格对应的移动距离会大于1,需要绕过的距离越长,移动距离越大。
继续选择下一起始网格的相邻网格并重复上述选取最短移动距离的步骤,直至优先队列为空或者任务区域中没有需要到达的待拍摄物品。
在每次选取一个移动距离最小的相邻网格后,追踪其对应的起始网格,通过跟踪每个移动距离最小的相邻网格对应的起始网格,可以得到一条最优移动路径。
本申请实施例提供的路径规划方法,通过检查相邻网格是否被障碍物占有且目标拍摄工具是否可以通过来确定加入优先队列的相邻网格,可以使目标拍摄工具在移动时避开不可通过的障碍物,沿可达的路径进行移动;通过在每一步中选择移动距离最小的相邻网格作为下一起始网格,并反复迭代这个过程,可以找到整个移动距离最短的移动路径;通过将选定的相邻网格从优先队列中移除,可以免重复访问;可以确保每个网格只被访问一次,可以保证目标拍摄工具到达每个到达各个待拍摄物品一次。
在一些实施例中,步骤120包括:
基于多维网格地图中各个待拍摄物品之间的距离,在待拍摄物品中确定各个初始聚类中心;
基于障碍物的位置确定目标拍摄工具从各个待拍摄物品至各个初始聚类中心之间的移动距离,并将各个待拍摄物品分配至移动距离最小的初始聚类中心所属的初始任务区域;
基于初始任务区域中各个待拍摄物品的拍摄需求确定初始任务区域的拍摄时长;
在任一初始任务区域的拍摄时长大于目标拍摄工具的续航时长的情况下,将任一初始任务区域的待拍摄物品划分至其他初始任务区域中重新进行聚类,并基于重新聚类的聚类结果对初始任务区域进行更新,直至各个初始任务区域的拍摄时长均小于或等于目标拍摄工具的续航时长,得到最终的各个任务区域。
具体地,可以从多维网格地图中各个待拍摄物品中随机选取初始聚类中心,根据各个待拍摄物品间的距离迭代优化聚类中心,确保本步骤中选取的初始聚类中心在多维网格地图上均匀分布。
使用k-means算法对初始聚类中心进行迭代,优化聚类中心的位置,具体包括:
结合障碍物的信息计算各个待拍摄物品到每个初始聚类中心的距离,本申请实施例的距离并不是直线距离,而是预计的目标拍摄工具实际移动的距离。
可以根据对各个待拍摄物品的位置和障碍物的位置和高度,使用Dijkstra算法初步判定目标拍摄工具的移动路径,根据移动路径算出各个待拍摄物品到每个初始聚类中心的距离。
将各个待拍摄物品分配到其距离最近的初始聚类中心所属的聚类,得到初始任务区域。对于每个聚类,计算该聚类中所有待拍摄物品的平均位置,并将该位置作为新的聚类中心。重复本步骤,不断更新初始任务区域直到聚类中心不再变化或达到预定的迭代次数。
根据待拍摄物品的拍摄需求,计算当前初始任务区域的拍摄时长。将各个当前初始任务区域的拍摄时长分别与目标拍摄工具的续航时长进行对比。
若存在初始任务区域的拍摄时长大于目标拍摄工具的续航时长,则表明目标拍摄工具无法在不充电的情况下将该初始任务区域中的待拍摄物品全部访问并完成拍摄,则重新聚类,即划分该初始任务区域,将该初始任务区域中的待拍摄物品分到其他初始任务区域中,聚类完成后,重复本步骤,直至各个初始任务区域的拍摄时长均小于或等于目标拍摄工具的续航时长,则得到最终的各个任务区域。
其中,拍摄需求为根据待拍摄物品的属性确定的拍摄内容和拍摄要求等。
可选的,对无人机执行的任务和无人车执行的任务,可以分别用迭代K-means算法将待拍摄物品进行聚类。
本申请实施例提供的路径规划方法,通过对待拍摄物品进行聚类,可以保证目标拍摄工具一次完成任务区域内的所有拍摄任务;通过将改进的迭代k-means聚类方法与改进的Dijkstra路径规划算法结合,可以得到更安全更准确的规划路径。
在一些实施例中,多维网格地图是基于如下步骤构建的:
基于待拍摄物品的所处环境,确定待拍摄物品的目标拍摄工具,目标拍摄工具包括无人机和无人车中的至少一个;
基于多维重建技术构建各个待拍摄物品所在区域的多维实景地图;
将多维实景地图输入至语义分割模型中,得到语义分割模型输出的包括障碍物标签和待拍摄物品标签的多维实景标签地图;
将多维实景标签地图进行网格化处理,得到维网格地图。
将多维实景标签地图进行网格化处理,得到维网格地图,包括:
基于目标拍摄工具的大小,以及目标拍摄工具的偏航置信区间确定网格单元的大小;
基于网格单元将多维实景标签地图进行网格化处理,得到维网格地图。
多维实景标签地图进行网格化处理之前,还包括:
基于多维实景标签地图中各个标志物的位置关系,确定多维实景标签地图坐标系与大地坐标系之间的转换关系;
基于转换关系确定多维实景标签地图中各个点的大地坐标;
其中,标志物为多维实景标签地图中已知大地坐标的固定点。
具体地,待拍摄物品所在的环境会影响目标拍摄工具的选择。不同的待拍摄物品可能会有不同的拍摄需求。
例如:对变动频繁的待拍摄物品,拍摄需求包括设定频繁的拍摄频率。
可以根据多维重建技术构建各个待拍摄物品所在区域的多维实景地图。例如根据全球定位系统(Global Positioning System,GPS)、地图软件获取目标区域的相关信息,并选取一些已知大地坐标系位置的地面控制点作为标志物,再使用目标拍摄工具对目标区域进行全覆盖初步拍摄,获得高分辨率的图像。初步拍摄不需要非常高的细节级别。
若目标拍摄工具为无人机,可以根据目标区域大小选择较高的飞行高度,使用无人机航拍规划软件规划覆盖整个目标区域的航线和拍摄参数即可控制无人机完成初拍。
将初步拍摄的图像进行处理,重建多维实景模型,得到多维实景地图。例如将图像进行预处理(图像校正、去除畸变和色彩矫正等);使用图像处理技术提取图像中的特征点和描述子,通过匹配算法将不同视角的图像进行关联、拼接;根据匹配结果,计算每张图像的相机位置和姿态信息,确定它们的空间位置关系;利用多视图几何和三角测量的原理,根据特征点和相机参数,生成稠密的点云;将点云三角网格化形成平滑的表面模型再将图像的纹理映射到多维坐标上,得到多维实景地图。
得到多维实景地图后,可以通过预先训练好的语义分割模型,得到带有障碍物标签和待拍摄物品标签的多维实景标签地图。通过标签可以得到标签对象的类型,位置和高度等信息,在确定相邻网格使可以通过网格的标签确定目标拍摄工具是否能通过。语义分割模型为神经网络模型。
得到了多维实景标签地图后需要对其进行坐标转换和网格化处理,具体步骤如下所示:
通过各个标志物之间的位置关系,建立起多维实景标签地图坐标系与CGCS2000坐标系之间的转换关系,使用地理配准算法来计算多维实景标签地图中每个点的大地坐标,使用地理信息系统(Geographic Information System,GIS)对各个点进行投影,确定两个坐标系之间的位置转换关系,确保多维实景标签地图坐标与地理数据的一致性。根据坐标转换后的多维实景标签地图和地理坐标信息,可以生成带有每个点坐标信息的多维实景标签地图。这里的每个点可以为障碍物和待拍摄物品等。
多维实景标签地图进行坐标转换后,对其进行网格化处理。
可以根据语义分割模型分割出来的障碍物标签及障碍物的外轮廓二维投影,决定网格粒度,然后完成地图的网格化并在每个网格中标记是否有障碍物及障碍物的高度信息。
还可以根据目标拍摄工具的大小,以及目标拍摄工具的偏航置信区间确定网格单元的大小。网格单元大小可以等于目标拍摄工具自身大小加GPS定位导航下偏航(偏行)95%置信区间。保证目标拍摄工具在每个网格单元内有安全作业空间。
本申请实施例提供的路径规划方法,通过构建带有标签的多维网格地图,可以实现无人机或无人车对待拍摄物品进行拍摄监控,节约了人力成本,并且对于可能变动频繁的待拍摄物品可以进行频繁拍摄,提高了待拍摄物品的监测效率。
在一些实施例中,语义分割模型是基于如下步骤生成包括障碍物标签和待拍摄物品标签的多维实景标签地图:
将多维实景地图进行预处理,并对多维实景地图进行编码,生成多维实景地图的特征层次结构;
对特征层次结构进行解码并使用分类器确定障碍物的标签和待拍摄物品的标签,生成包括障碍物标签和待拍摄物品标签的多维实景标签地图。
具体地,若多维实景地图为三维实景地图,语义分割模型可以为三维视觉变换U型网络(3Dimensional Vision Transformer U-Network,3D VT U-Net)模型。3D VT U-Net模型是一种基于U-Net架构的Transformer神经网络模型,能够学习三维实景地图到语义标签的映射关系。
语义分割模型可以对构建好的多维实景地图进行语义分割。首先进行数据采集和标注,利用目标拍摄工具对多个区域进行多次拍摄,人工标注数据,为本申请需要识别出的不同类型的障碍物和待拍摄物品分配不同的语义标签。
图2为本申请实施例提供的语义分割的流程示意图;如图2所示,图2中的多维实景地图为三维实景地图。首先通过三维画面分割(3DPatching Partition)对三维实景地图做处理。图2中D、H、W和C是输入至语义分割模型的参数。D=H=W=8,C=72,D、H、W和C描述了一个三维数据的形状,其中D表示深度(Depth),H表示高度(Height),W表示宽度(Width),C表示通道数(Channels)。
D:表示数据的深度维度,通常是指数据中沿着垂直方向的层数或时间步数。在描述三维实景地图时,可能表示地图的深度,即不同层次或时间步的信息。
H:表示数据的垂直方向上的高度维度。对于图像或体积数据,这通常是指垂直方向上的像素或体素数。
W:表示数据的水平方向上的宽度维度。对于图像或体积数据,这通常是指水平方向上的像素或体素数。
C:表示数据的通道数,即数据的特征维度。在图像处理中,通道通常对应于颜色通道或特定特征的通道。
图2中P、M和K是网络中卷积核的参数。P=M=4,K=4。
P表示填充(Padding):表示在输入数据的周围添加的零值的层数。填充可以帮助保持输出大小与输入大小相匹配,防止特征图缩小过快。
M表示步幅(Stride):表示卷积核在输入数据上滑动的步长。步幅定义了卷积核每次移动的距离,影响输出特征图的空间分辨率。
K表示滤波器数量(Number of Filters):表示卷积操作中使用的滤波器或卷积核的数量。每个滤波器用于检测输入数据中的不同特征。
语义分割模型的编码器使用Transformer模块直接对三维实景地图进行分层处理将它分割成非重叠的3D块(Block),核函数(Kernel)使用P和M等参数,然后线性嵌入(Linear Embedding)核函数并通过多层VT编码器块(VT Econcoder Block)捕获局部和全局上下文信息。之后进行三维补丁合并(3D Patch Merging),在编码器中使用3D块合并生成多维实景地图的特征层次结构。这样的层次结构使得语义分割模型可以生成精细的输出细节。
3D块合并后,通过三维补丁扩展(3D Patch Expanding)恢复使得解码器与编码器具有相同空间的分辨率。通过瓶颈层(Bottleneck Layer)融合编码器和解码器之间的信息,以便在解码过程中保留全局上下文和细节信息。使用VT解码器块(VT Decoder Block)进行解码。解码器部分的设计与编码器对应,创建解码器的query和编码器的key之间的桥梁,通过交叉注意力和自注意力并行处理特征层次结构,在解码过程中保留全局上下文,恢复细节信息,并为每个像素预测对应的语义标签。在最后一层使用一个分类器,其中包括一个3D卷积层,将特征图的通道数压缩为与语义类别数量相同。通过分类器(Classifier)对每个像素进行分类,可以生成与输入模型尺寸相匹配的语义分割结果。完成识别后,由人工再根据待拍摄物品的拍摄需求,在识别出的建筑物上标记出是否是待拍摄物品,将非待拍摄物品的建筑物确定为障碍物,输出包括障碍物标签和待拍摄物品标签的多维实景标签地图。
在训练3D VT U-Net时,可以使用交叉熵损失函数来度量模型预测与真实标签之间的差异。通过反向传播和优化算法(如随机梯度下降),模型参数逐渐调整以最小化损失函数。VT的引入,可以通过全局视觉信息的融合,更好的处理处理大尺度数据和进行多尺度的特征融合,提高语义分割的准确性和细节保留能力。通过反复进行训练和优化,3D VT U-Net能够学习到三维模型与语义标签之间的映射关系,并且在推断阶段能够将新的多维实景地图映射上相应的语义标签。
本申请实施例提供的路径规划方法,通过使用3D VT U-Net网络语义分割标记障碍物和目标,相比较传统的基于卷积神经网络(Convolutional Neural Network,CNN)的3DU-Net,识别效果更精细可以在不同层级上有效地捕获多尺度特征,从而提高语义分割的准确性和细节保留能力。
图3为本申请实施例提供的路径规划方法的流程示意图之二,如图3所示,该方法包括:
步骤310、获取待拍摄物品的物品信息和拍摄需求。
步骤320、根据待拍摄物品的变化特性和所在环境确定目标拍摄拍摄工具和拍摄监控策略。
步骤330、对目标区域进行航拍初拍,使用三维重建技术构建三维实景地图。
步骤340、通过语义分割技术和拍摄监控策略确定的拍摄方式,从三维实景地图中识别出待拍摄物品和障碍物,并将地图网格化,得到多维网格地图。
步骤350、使用迭代K-means算法将待拍摄物品分组。
步骤360、使用改进的Dijkstra算法对每一组待拍摄物品进行路径规划。
步骤370、输出为每一组待拍摄物品规划的目标拍摄工具的移动路径。
本申请实施例提供的路径规划方法,可以得到目标拍摄工具的移动路径,提高了待拍摄物品的检测效率。
下面对本申请实施例提供的路径规划装置进行描述,下文描述的路径规划装置与上文描述的路径规划方法可相互对应参照。
图4为本申请实施例提供的路径规划装置的结构示意图之一,如图4所示,该装置包括获取模块410和生成模块420。
获取模块,用于获取目标拍摄工具的任务区域,以及任务区域在预先配置的多维网格地图中的地图区域,多维网格地图中包括多个待拍摄物品和影响目标拍摄工具移动的障碍物;
生成模块,用于基于目标拍摄工具在地图区域中任务起始位置占用的网格、地图区域中障碍物占用的网格和地图区域中待拍摄物品占用的网格任意两两网格之间的位置关系,生成目标拍摄工具在任务区域内的移动路径;
其中,任务区域是基于如下方式确定的:
基于多维网格地图中各个待拍摄物品之间的距离、多维网格地图中各个障碍物的位置和目标拍摄工具的续航时长将多维网格地图中的各个待拍摄物品进行聚类,得到多个任务区域。
具体地,根据本申请的实施例,获取模块和生成模块中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。
或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。
根据本申请的实施例,获取模块和生成模块中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。
或者,获取模块和生成模块中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
本申请实施例提供的路径规划装置,通过各个待拍摄物品之间的距离、各个障碍物的位置和目标拍摄工具的续航时长划分目标拍摄工具的任务区域,使得目标拍摄工具可以在续航时间内完成任务区域的拍摄任务,提高了目标拍摄工具对待拍摄物品的拍摄效率;通过对地图进行网格化的划分,根据目标拍摄工具、障碍物和待拍摄物品对网格的占用情况,可以保证目标拍摄工具通过最短的距离移动至各个待拍摄物品,从而确定目标拍摄工具在任务区域内拍摄各个待拍摄物品的最短移动路径,提高了目标拍摄工具的拍摄效率,提高了待拍摄物品的监测效率。
在一些实施例中,生成模块具体用于:
将任务起始位置占用的网格作为当前起始网格;
获取当前起始网格的相邻网格,并将未被障碍物占用的相邻网格,以及被障碍物占用但目标拍摄工具能够通过的相邻网格加入预先创建的优先队列中;
将目标拍摄工具在当前起始网格与优先队列中相邻网格之间的移动距离最小的相邻网格作为目标拍摄工具的下一起始网格,并将下一起始网格在优先队列中移除;
基于下一起始网格对当前起始网格进行更新,直至优先队列为空或者目标拍摄工具已到达任务区域中各个待拍摄物品占用的网格;
基于各个当前起始网格之间的位置关系,生成目标拍摄工具在任务区域内的移动路径。
在一些实施例中,路径规划装置还包括聚类模块,聚类模块用于:
基于多维网格地图中各个待拍摄物品之间的距离,在待拍摄物品中确定各个初始聚类中心;
基于障碍物的位置确定目标拍摄工具从各个待拍摄物品至各个初始聚类中心之间的移动距离,并将各个待拍摄物品分配至移动距离最小的初始聚类中心所属的初始任务区域;
基于初始任务区域中各个待拍摄物品的拍摄需求确定初始任务区域的拍摄时长;
在任一初始任务区域的拍摄时长大于目标拍摄工具的续航时长的情况下,将任一初始任务区域的待拍摄物品划分至其他初始任务区域中重新进行聚类,并基于重新聚类的聚类结果对初始任务区域进行更新,直至各个初始任务区域的拍摄时长均小于或等于目标拍摄工具的续航时长,得到最终的各个任务区域。
在一些实施例中,路径规划装置还包括构建模块,构建模块用于:
基于待拍摄物品的所处环境,确定待拍摄物品的目标拍摄工具,目标拍摄工具包括无人机和无人车中的至少一个;
基于多维重建技术构建各个待拍摄物品所在区域的多维实景地图;
将多维实景地图输入至语义分割模型中,得到语义分割模型输出的包括障碍物标签和待拍摄物品标签的多维实景标签地图;
将多维实景标签地图进行网格化处理,得到多维网格地图。
在一些实施例中,构建模块包括处理子模块,处理子模块具体用于:
基于目标拍摄工具的大小,以及目标拍摄工具的偏航置信区间确定网格单元的大小;
基于网格单元将多维实景标签地图进行网格化处理,得到多维网格地图。
在一些实施例中,构建模块还包括转换子模块,转换子模块具体用于:
基于多维实景标签地图中各个标志物的位置关系,确定多维实景标签地图坐标系与大地坐标系之间的转换关系;
基于转换关系确定多维实景标签地图中各个点的大地坐标;
其中,标志物为多维实景标签地图中已知大地坐标的固定点。
在一些实施例中,构建模块还包括分割子模块,分割子模块具体用于:
将多维实景地图进行预处理,并对多维实景地图进行编码,生成多维实景地图的特征层次结构;
对特征层次结构进行解码并使用分类器确定障碍物的标签和待拍摄物品的标签,生成包括障碍物标签和待拍摄物品标签的多维实景标签地图。
图5为本申请实施例提供的路径规划装置的结构示意图之二;如图5所示,路径规划装置包括抵质押品特性和环境分析模块、航拍初拍和三维重建模块、语义分割和地图构建模块、目标分组模块和路径规划模块。待拍摄物品为不动产抵质押品。
抵质押品特性和环境分析模块:该模块分析不动产抵质押品的变化特点和所处环境制定拍摄监控策略,包括确定待拍摄物品和待拍摄物品所在区域、拍摄频率和目标拍摄工具等。
航拍初拍和三维重建模块:该模块对目标区域进行航拍初拍,使用三维重建技术构建三维实景地图。
语义分割和地图构建模块:该模块通过语义分割技术分割出待拍摄物品、不同类型的可能影响目标拍摄工具移动的障碍物信息。该模块还用与对地图网格化,根据目标拍摄工具的大小和定位飞行误差确定网格单元大小,结合先验矢量信息构建网格化地图并在网格中标记障碍物和待拍摄物品。
目标分组模块:该模块将目标拍摄工具要执行的任务进行分组。用迭代K-means算法将待拍摄物品分组,将距离较近且在目标拍摄工具续航范围内的为一组。
路径规划模块:该模块负责使用改进的Dijkstra算法对每一组任务进行路径规划,确定待拍摄物品的拍摄顺序和待拍摄物品的移动路径。
在此需要说明的是,本申请实施例提供的路径规划装置,能够实现上述路径规划方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图6为本申请实施例提供的电子设备的结构示意图,如图6所示,该电子设备可以包括:处理器(Processor)610、通信接口(Communications Interface)620、存储器(Memory)630和通信总线(Communications Bus)640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑命令,以执行上述方法,该方法包括:
获取目标拍摄工具的任务区域,以及任务区域在预先配置的多维网格地图中的地图区域,多维网格地图中包括多个待拍摄物品和影响目标拍摄工具移动的障碍物;
基于目标拍摄工具在地图区域中任务起始位置占用的网格、地图区域中障碍物占用的网格和地图区域中待拍摄物品占用的网格任意两两网格之间的位置关系,生成目标拍摄工具在任务区域内的移动路径;
其中,任务区域是基于如下方式确定的:
基于多维网格地图中各个待拍摄物品之间的距离、多维网格地图中各个障碍物的位置和目标拍摄工具的续航时长将多维网格地图中的各个待拍摄物品进行聚类,得到多个任务区域。
此外,上述的存储器中的逻辑命令可以通过软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令,实现上述方法,其具体的实施方式与前述方法实施方式一致,且可以达到相同的有益效果,此处不再赘述。
本申请实施例还提供一种非暂态计算机可读的存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法。
其具体的实施方式与前述方法实施方式一致,且可以达到相同的有益效果,此处不再赘述。
本申请实施例提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如上述方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种路径规划方法,其特征在于,包括:
获取目标拍摄工具的任务区域,以及所述任务区域在预先配置的多维网格地图中的地图区域,所述多维网格地图中包括多个待拍摄物品和影响所述目标拍摄工具移动的障碍物;
基于所述目标拍摄工具在所述地图区域中任务起始位置占用的网格、所述地图区域中障碍物占用的网格和所述地图区域中待拍摄物品占用的网格任意两两网格之间的位置关系,生成所述目标拍摄工具在所述任务区域内的移动路径;
其中,所述任务区域是基于如下方式确定的:
基于所述多维网格地图中各个待拍摄物品之间的距离、所述多维网格地图中各个障碍物的位置和所述目标拍摄工具的续航时长将所述多维网格地图中的各个待拍摄物品进行聚类,得到多个任务区域。
2.根据权利要求1所述的路径规划方法,其特征在于,所述基于所述目标拍摄工具在所述地图区域中任务起始位置占用的网格、所述任务区域中障碍物占用的网格和所述任务区域中待拍摄物品占用的网格任意两两网格之间的位置关系,生成所述目标拍摄工具在所述任务区域内的移动路径,包括:
将所述任务起始位置占用的网格作为当前起始网格;
获取所述当前起始网格的相邻网格,并将未被所述障碍物占用的相邻网格,以及被所述障碍物占用但所述目标拍摄工具能够通过的相邻网格加入预先创建的优先队列中;
将所述目标拍摄工具在所述当前起始网格与所述优先队列中相邻网格之间的移动距离最小的相邻网格作为所述目标拍摄工具的下一起始网格,并将所述下一起始网格在所述优先队列中移除;
基于所述下一起始网格对所述当前起始网格进行更新,直至所述优先队列为空或者所述目标拍摄工具已到达所述任务区域中各个待拍摄物品占用的网格;
基于各个当前起始网格之间的位置关系,生成所述目标拍摄工具在所述任务区域内的移动路径。
3.根据权利要求1所述的路径规划方法,其特征在于,所述基于所述多维网格地图中各个待拍摄物品之间的距离、所述多维网格地图中各个障碍物的位置和所述目标拍摄工具的续航时长将所述多维网格地图中的各个待拍摄物品进行聚类,得到多个任务区域,包括:
基于所述多维网格地图中各个待拍摄物品之间的距离,在所述待拍摄物品中确定各个初始聚类中心;
基于所述障碍物的位置确定所述目标拍摄工具从各个待拍摄物品至各个初始聚类中心之间的移动距离,并将各个待拍摄物品分配至所述移动距离最小的初始聚类中心所属的初始任务区域;
基于所述初始任务区域中各个待拍摄物品的拍摄需求确定所述初始任务区域的拍摄时长;
在任一初始任务区域的拍摄时长大于所述目标拍摄工具的续航时长的情况下,将所述任一初始任务区域的待拍摄物品划分至其他初始任务区域中重新进行聚类,并基于重新聚类的聚类结果对所述初始任务区域进行更新,直至各个初始任务区域的拍摄时长均小于或等于所述目标拍摄工具的续航时长,得到最终的各个任务区域。
4.根据权利要求1所述的路径规划方法,其特征在于,所述多维网格地图是基于如下步骤构建的:
基于待拍摄物品的所处环境,确定所述待拍摄物品的目标拍摄工具,所述目标拍摄工具包括无人机和无人车中的至少一个;
基于多维重建技术构建各个待拍摄物品所在区域的多维实景地图;
将所述多维实景地图输入至语义分割模型中,得到所述语义分割模型输出的包括障碍物标签和待拍摄物品标签的多维实景标签地图;
将所述多维实景标签地图进行网格化处理,得到所述多维网格地图。
5.根据权利要求4所述的路径规划方法,其特征在于,所述将所述多维实景标签地图进行网格化处理,得到所述多维网格地图,包括:
基于所述目标拍摄工具的大小,以及所述目标拍摄工具的偏航置信区间确定网格单元的大小;
基于所述网格单元将所述多维实景标签地图进行网格化处理,得到所述多维网格地图。
6.根据权利要求4所述的路径规划方法,其特征在于,所述将所述多维实景标签地图进行网格化处理之前,还包括:
基于所述多维实景标签地图中各个标志物的位置关系,确定所述多维实景标签地图坐标系与大地坐标系之间的转换关系;
基于所述转换关系确定所述多维实景标签地图中各个点的大地坐标;
其中,所述标志物为所述多维实景标签地图中已知大地坐标的固定点。
7.根据权利要求4所述的路径规划方法,其特征在于,所述语义分割模型是基于如下步骤生成包括障碍物标签和待拍摄物品标签的多维实景标签地图:
将所述多维实景地图进行预处理,并对所述多维实景地图进行编码,生成所述多维实景地图的特征层次结构;
对所述特征层次结构进行解码并使用分类器确定所述障碍物的标签和所述待拍摄物品的标签,生成包括所述障碍物标签和所述待拍摄物品标签的多维实景标签地图。
8.一种路径规划装置,其特征在于,包括:
获取模块,用于获取目标拍摄工具的任务区域,以及所述任务区域在预先配置的多维网格地图中的地图区域,所述多维网格地图中包括多个待拍摄物品和影响所述目标拍摄工具移动的障碍物;
生成模块,用于基于所述目标拍摄工具在所述地图区域中任务起始位置占用的网格、所述地图区域中障碍物占用的网格和所述地图区域中待拍摄物品占用的网格任意两两网格之间的位置关系,生成所述目标拍摄工具在所述任务区域内的移动路径;
其中,所述任务区域是基于如下方式确定的:
基于所述多维网格地图中各个待拍摄物品之间的距离、所述多维网格地图中各个障碍物的位置和所述目标拍摄工具的续航时长将所述多维网格地图中的各个待拍摄物品进行聚类,得到多个任务区域。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的路径规划方法。
10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至7任一项所述的路径规划方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311634391.8A CN117470246A (zh) | 2023-11-30 | 2023-11-30 | 路径规划方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311634391.8A CN117470246A (zh) | 2023-11-30 | 2023-11-30 | 路径规划方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117470246A true CN117470246A (zh) | 2024-01-30 |
Family
ID=89633052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311634391.8A Pending CN117470246A (zh) | 2023-11-30 | 2023-11-30 | 路径规划方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117470246A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118175419A (zh) * | 2024-05-13 | 2024-06-11 | 深圳市市场监督管理局许可审查中心 | 餐饮服务场所的视频拍摄方法及其终端设备、存储介质 |
-
2023
- 2023-11-30 CN CN202311634391.8A patent/CN117470246A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118175419A (zh) * | 2024-05-13 | 2024-06-11 | 深圳市市场监督管理局许可审查中心 | 餐饮服务场所的视频拍摄方法及其终端设备、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220028163A1 (en) | Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images | |
Chen et al. | Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge | |
Qin et al. | 3D change detection–approaches and applications | |
US10078790B2 (en) | Systems for generating parking maps and methods thereof | |
CN112784873B (zh) | 一种语义地图的构建方法及设备 | |
Jiang et al. | Estimation of construction site elevations using drone-based orthoimagery and deep learning | |
US20160232420A1 (en) | Method and apparatus for processing signal data | |
Briechle et al. | Semantic labeling of ALS point clouds for tree species mapping using the deep neural network PointNet++ | |
CN117470246A (zh) | 路径规划方法、装置、存储介质及电子设备 | |
CN113902802A (zh) | 视觉定位方法及相关装置、电子设备和存储介质 | |
CN112836698A (zh) | 一种定位方法、装置、存储介质及电子设备 | |
US20240257501A1 (en) | Feature map generation method and apparatus, storage medium, and computer device | |
Han et al. | Fast-PGMED: Fast and dense elevation determination for earthwork using drone and deep learning | |
CN109785421B (zh) | 一种基于空地影像组合的纹理映射方法及系统 | |
JP2023508276A (ja) | 多重解像度ボクセルにおける共分散を含むマップ | |
CN115223146A (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
Guo et al. | Improved marching tetrahedra algorithm based on hierarchical signed distance field and multi-scale depth map fusion for 3D reconstruction | |
KR20230026916A (ko) | 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법 | |
Salah et al. | Summarizing large scale 3D mesh for urban navigation | |
CN117830991B (zh) | 一种基于多模融合的四足机器人复杂场景感知方法及系统 | |
EP4455875A1 (en) | Feature map generation method and apparatus, storage medium, and computer device | |
CN115311645A (zh) | 交通灯标注方法、装置、计算机设备和存储介质 | |
Han | Detail-preserving Urban-scale Mesh Simplification | |
do Rosário Vong | Digital Multispectral Map Reconstruction Using Aerial Imagery | |
Nilosek | Analysis and exploitation of automatically generated scene structure from aerial imagery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |