CN116700939B - 地图数据处理方法、装置、系统、电子设备及存储介质 - Google Patents
地图数据处理方法、装置、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116700939B CN116700939B CN202310987806.3A CN202310987806A CN116700939B CN 116700939 B CN116700939 B CN 116700939B CN 202310987806 A CN202310987806 A CN 202310987806A CN 116700939 B CN116700939 B CN 116700939B
- Authority
- CN
- China
- Prior art keywords
- task
- group
- target
- mining
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000003860 storage Methods 0.000 title claims abstract description 27
- 238000005065 mining Methods 0.000 claims abstract description 232
- 238000000034 method Methods 0.000 claims abstract description 185
- 230000008569 process Effects 0.000 claims abstract description 148
- 238000007418 data mining Methods 0.000 claims abstract description 55
- 230000004044 response Effects 0.000 claims abstract description 9
- 238000004140 cleaning Methods 0.000 claims description 125
- 238000009412 basement excavation Methods 0.000 claims description 79
- 238000004519 manufacturing process Methods 0.000 abstract description 25
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000005406 washing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/483—Multiproc
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了地图数据处理方法、装置、系统、电子设备及存储介质,该方法包括:任务流转服务接收资料池服务下发的分要素任务,该分要素任务携带有表征该分要素任务所属的目标任务组以及该目标任务组所包含的任务数量的任务组信息;执行所述分要素任务并响应于该分要素任务的执行完成,基于该分要素任务的任务组信息确定任务组信息所指示目标任务组的任务执行信息;在任务执行信息指示目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对目标任务组对应的待处理图幅进行挖掘任务处理。本申请在资料池服务与任务流转服务分离的应用场景中,任务流转服务仍能准确的判定是否进入挖掘任务处理阶段,提高了地图数据的制作效率和准确性。
Description
技术领域
本申请涉及地图数据处理技术领域,特别涉及一种地图数据处理方法、装置、系统、电子设备及存储介质。
背景技术
在地图数据的制作过程中,为了更好的管理作业周期,常常把一个待作业地图区域拆分成更细粒度的图幅来进行图幅范围作业,例如可以规则正方形图幅框的粒度进行细分作业。以图1所示的图幅范围粒度作业为例,地图数据制作流程可以分为三个阶段,第一个阶段是图幅范围的分要素作业,第二个阶段是图幅范围的挖掘作业,第三个阶段是待作业地图区域的清洗作业,且相邻阶段之间具有数据依赖关系,也即下一个阶段的作业需要依赖于上一个阶段作业的数据,通过该三个阶段可以得到待作业区域的地图数据。
相关技术中,任务流转服务在判定是否进入挖掘作业阶段时常采用固定任务数等待的流转方案,即在分要素作业阶段默认一个图幅一定有预设数量的分要素任务,比如常见的分要素任务为四个:车道线任务、地上OBJ(Object,对象)任务、地面OBJ任务和设施任务,在进入挖掘作业阶段之前,必须做完这四个分要素任务,也就是说这里必须做的等待就是要等这四个分要素任务做完。
然而,实际应用中一个图幅范围的地图资料聚合生成的任务数量可能并不确定。比如有时候就没有设施资料数据,那么就不会生成设施任务;有时候一个图幅范围内可能会有多条车道线的资料数据,那么就会生成多个车道线任务。从而基于固定任务数等待的流转方案只适用于资料聚合服务与任务流转服务相互耦合的系统,对于资料聚合服务与任务流转服务相互分离的应用场景,相关技术将无法准确判定分要素作业阶段是否完成,进而降低了地图数据的制作效率和制作准确性。
发明内容
为了解决现有技术的问题,本申请实施例提供了一种地图数据处理方法、装置、系统、电子设备及存储介质。所述技术方案如下:
一方面,提供了一种地图数据处理方法,所述方法包括:
接收资料池服务下发的分要素任务,所述分要素任务携带有任务组信息,所述任务组信息表征所述分要素任务在至少一个任务组中所属的目标任务组以及所述目标任务组所包含的任务数量;所述至少一个任务组是所述资料池服务基于至少一个待处理图幅的地图资料生成的各所述待处理图幅在分要素任务处理阶段分别对应的任务组,所述任务组信息包括所述目标任务组的组标识,所述组标识包括所述目标任务组所对应待处理图幅的图幅标识和图幅版本;
执行所述分要素任务,并响应于所述分要素任务的执行完成,基于所述分要素任务的任务组信息,确定所述任务组信息所指示目标任务组的任务执行信息;
在所述任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
另一方面,提供了一种地图数据处理装置,所述装置包括:
分要素任务接收模块,用于接收资料池服务下发的分要素任务,所述分要素任务携带有任务组信息,所述任务组信息表征所述分要素任务在至少一个任务组中所属的目标任务组以及所述目标任务组所包含的任务数量;所述至少一个任务组是所述资料池服务基于至少一个待处理图幅的地图资料生成的各所述待处理图幅在分要素任务处理阶段分别对应的任务组,所述任务组信息包括所述目标任务组的组标识,所述组标识包括所述目标任务组所对应待处理图幅的图幅标识和图幅版本;
任务执行信息确定模块,用于执行所述分要素任务,并响应于所述分要素任务的执行完成,基于所述分要素任务的任务组信息,确定所述任务组信息所指示目标任务组的任务执行信息;
挖掘服务调用模块,用于在所述任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
在一些可能的实施方式中,所述任务执行信息确定模块,包括:
记录生成模块,用于基于所述分要素任务的任务组信息,在任务记录集合中生成所述分要素任务对应的任务记录;所述任务记录用于记录所述分要素任务的任务组信息以及所述分要素任务的任务状态;
分要素任务执行模块,用于执行所述分要素任务,并基于所述分要素任务的执行情况更新所述分要素任务所对应任务记录中的任务状态;
查找模块,用于在所述分要素任务的所述任务状态指示执行完成时,基于所述分要素任务所对应任务记录中的任务组信息,从所述任务记录集合中查找目标任务记录;所述目标任务记录指示的任务组包括所述目标任务组;
第一确定模块,用于在查找的所述目标任务记录的数量与所述目标任务组所包含的任务数量相一致,且每个所述目标任务记录中的任务状态均指示执行完成时,确定所述任务组信息所指示目标任务组的任务执行信息为第一任务执行信息;所述第一任务执行信息表征所述目标任务组中的每个任务均执行完成。
在一些可能的实施方式中,所述挖掘服务调用模块,包括:
挖掘任务接收模块,用于接收所述资料池服务基于第一地图数据下发的至少一个挖掘任务,每个所述挖掘任务携带有用于标识地图数据挖掘服务中第一挖掘进程的第一挖掘进程标识;所述第一挖掘进程是指所述地图数据挖掘服务响应于对所述目标任务组对应的待处理图幅进行挖掘任务处理,开启的用于从地图数据库挖掘第一数据类型的所述第一地图数据的进程,所述目标任务组在所述挖掘任务处理阶段对应的目标数据类型包括所述第一数据类型;
挖掘任务执行模块,用于执行所述至少一个挖掘任务,并记录各所述挖掘任务的任务状态;
第一进度信息获取模块,用于从所述地图数据挖掘服务获取所述第一挖掘进程的进程进度信息,以及从所述资料池服务获取所述第一挖掘进程标识对应的挖掘任务下发进度信息;
挖掘任务状态获取模块,用于在所述进程进度信息指示所述第一挖掘进程结束,且所述挖掘任务下发进度信息指示全部下发的情况下,获取每个下发的所述挖掘任务的任务状态;
第二确定模块,用于在每个下发的所述挖掘任务的任务状态均指示执行完成时,确定完成对所述第一数据类型的挖掘任务处理。
在一些可能的实施方式中,所述挖掘服务调用模块,还包括:
挖掘进程触发模块,用于触发所述地图数据挖掘服务针对所述目标任务组对应的待处理图幅开启第二挖掘进程,所述第二挖掘进程用于从所述地图数据库挖掘第二数据类型的第二地图数据,所述第二数据类型的第二地图数据与所述第一数据类型的第一地图数据之间存在依赖关系;所述目标任务组在所述挖掘任务处理阶段对应的目标数据类型包括所述第二数据类型;以及将所述第二挖掘进程作为所述第一挖掘进程以及所述第二地图数据作为所述第一地图数据,执行对所述第一数据类型的挖掘任务处理是否完成的确定步骤。
在一些可能的实施方式中,所述挖掘服务调用模块,还包括:
挖掘任务完成状态获取模块,用于获取每个所述目标数据类型的挖掘任务处理的完成状态信息;
第三确定模块,用于在每个所述目标数据类型的挖掘任务处理的完成状态信息均指示完成时,确定完成对所述目标任务组对应的待处理图幅的挖掘任务处理。
在一些可能的实施方式中,所述至少一个待处理图幅基于对待作业地图区域的划分处理得到;所述装置还包括:
图幅挖掘任务状态获取模块,用于获取所述至少一个待处理图幅中每个待处理图幅的挖掘任务处理的任务处理状态;
清洗处理模块,用于在每个所述待处理图幅的挖掘任务处理的任务处理状态均指示任务完成的情况下,对所述待作业地图区域进行地图数据清洗任务处理。
在一些可能的实施方式中,所述清洗处理模块,包括:
清洗任务接收模块,用于接收资料池服务针对待处理图幅下发的至少一个清洗任务,每个所述清洗任务携带有清洗标识,所述清洗标识用于标识对所述待处理图幅的清洗任务处理;
清洗任务执行模块,用于执行所述至少一个清洗任务,并记录各所述清洗任务的任务状态;
第二进度信息获取模块,用于从所述资料池服务获取所述清洗标识对应的清洗任务下发进度信息;
清洗任务状态获取模块,用于在所述清洗任务下发进度信息指示全部下发的情况下,获取每个下发的所述清洗任务的任务状态;
第四确定模块,用于在每个下发的所述清洗任务的任务状态均指示完成时,确定完成对所述清洗标识对应的待处理图幅的清洗任务处理。
另一方面,还提供了一种地图数据处理方法,所述方法包括:
资料池服务基于至少一个待处理图幅的地图资料,生成各所述待处理图幅在分要素任务处理阶段分别对应的任务组,并向任务流转服务下发所述任务组中的分要素任务;每个所述任务组包括至少一个分要素任务,每个所述分要素任务携带有任务组信息,所述任务组信息表征相应分要素任务在至少一个所述任务组中所属的目标任务组以及所述目标任务组所包含的任务数量,所述任务组信息包括所述目标任务组的组标识,所述组标识包括所述目标任务组所对应待处理图幅的图幅标识和图幅版本;
任务流转服务接收并执行所述资料池服务下发的分要素任务,响应于所述分要素任务的执行完成,基于所述分要素任务的任务组信息,确定所述任务组信息所指示目标任务组的任务执行信息;
所述任务流转服务在所述目标任务组的任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
另一方面,还提供了一种地图数据处理系统,所述系统包括:
资料池服务,用于基于至少一个待处理图幅的地图资料,生成各所述待处理图幅在分要素任务处理阶段分别对应的任务组,并向任务流转服务下发所述任务组中的分要素任务;每个所述任务组包括至少一个分要素任务,每个所述分要素任务携带有任务组信息,所述任务组信息表征相应分要素任务在至少一个所述任务组中所属的目标任务组以及所述目标任务组所包含的任务数量,所述任务组信息包括所述目标任务组的组标识,所述组标识包括所述目标任务组所对应待处理图幅的图幅标识和图幅版本;
任务流转服务,用于接收并执行所述资料池服务下发的分要素任务,响应于所述分要素任务的执行完成,基于所述分要素任务的任务组信息,确定所述任务组信息所指示目标任务组的任务执行信息;
所述任务流转服务,还用于在所述目标任务组的任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
另一方面,提供了一种电子设备,包括处理器和存储器,所述存储器中存储有至少一条指令或者至少一段程序,所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述任一方面的地图数据处理方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或者至少一段程序,所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如上述任一方面的地图数据处理方法。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述任一方面的地图数据处理方法。
本申请实施例在分要素任务处理阶段,由资料池服务下发给任务流转服务的分要素任务携带有任务组信息,该任务组信息表征相应分要素任务在至少一个任务组中所属的目标任务组以及该目标任务组所包含的任务数量,具体的该任务组信息包括目标任务组的组标识,且该组标识包括目标任务组所对应待处理图幅的图幅标识和图幅版本,从而任务流转服务在执行资料池服务下发的分要素任务后,可以响应于分要素任务的执行完成,基于该分要素任务的任务组信息确定出该任务组信息所指示目标任务组的任务执行信息,并在该任务执行信息指示目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对该目标任务组对应的待处理图幅进行挖掘任务处理。由于每个下发的分要素任务均携带了任务组信息,同一任务组中的分要素任务所携带的任务组信息都能指向该任务组,从而可以确保在资料池服务与任务流转服务分离的应用场景中,任务流转服务仍能准确的判定一个分要素任务属于哪个任务组以及该任务组中的所有任务是否已经做完并进入下一阶段即挖掘任务处理阶段,进而大大提高了地图数据的制作效率和制作准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是以图幅范围粒度进行地图数据制作流程的示例;
图2是本申请实施例提供的一种应用场景的示意图;
图3是本申请实施例提供的一种地图数据处理方法的流程示意图;
图4是本申请实施例提供的另一种地图数据处理方法的流程示意图;
图5是本申请实施例提供的另一种地图数据处理方法的流程示意图;
图6是本申请实施例提供的另一种地图数据处理方法的流程示意图;
图7是本申请实施例提供的另一种地图数据处理方法的流程示意图;
图8是本申请实施例提供的另一种地图数据处理方法的流程示意图;
图9是本申请实施例提供的另一种地图数据处理方法的流程示意图;
图10是本申请实施例提供的另一种地图数据处理方法的流程示意图;
图11是本申请实施例提供的另一种地图数据处理方法的流程示意图;
图12是本申请实施例提供的一种地图数据处理装置的结构框图;
图13是本申请实施例提供的一种电子设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解的是,在本申请的具体实施方式中,涉及到用户信息等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
相关技术在地图数据的制作流程中,常基于固定任务数等待的流转方案进行分要素作业阶段与挖掘作业阶段的串接,然而基于固定任务数等待的流转方案使用范围是比较局限的,它只适用于资料池服务与任务流转服务相互耦合的系统,如果资料池服务与任务流转服务相互分离,由于一个图幅范围的资料聚合生成的任务数量可能会不确定,从而任务流转服务系统将无法准确判定分要素作业阶段是否完成,进而降低了地图数据的制作效率和制作准确性。
鉴于此,本申请实施例提供一种地图数据处理方法,在本申请的技术方案中由资料池服务下发的每个分要素任务均携带有任务组信息,该任务组信息表征相应分要素任务在至少一个任务组中所属的目标任务组以及该目标任务组所包含的任务数量,具体的该任务组信息包括目标任务组的组标识,且该组标识包括目标任务组所对应待处理图幅的图幅标识和图幅版本,从而同一任务组中的分要素任务所携带的任务组信息都能指向该任务组,可以确保在资料池服务与任务流转服务分离的应用场景中,任务流转服务仍能准确的判定一个分要素任务属于哪个任务组以及该任务组中的所有任务是否已经做完并进入下一阶段即挖掘任务处理阶段,进而大大提高了地图数据的制作效率和制作准确性。
请参阅图2,其所示为本申请实施例提供的一种应用场景的示意图,该应用场景包括分布于不同计算节点上的资料池服务210、任务流转服务220和地图数据挖掘服务230,进而资料池服务210、任务流转服务220和地图数据挖掘服务230三个服务之间相互独立。
其中,资料池服务210用于在地图数据制作过程中,将资料按照预设的规则策略聚合生成任务并下发给任务流转服务220。
任务流转服务220用于在地图数据制作过程中,执行资料池服务210下发的任务以及提供具有数据依赖作业流程之间的串接服务。
地图数据挖掘服务230用于在地图数据制作过程中,根据获取的资料信息从地图母库中挖掘出需要作业的数据,并将该需要作业的数据下发给资料池服务210。
需要说明的是,本申请实施例中的计算节点可以是服务器,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
请参阅图3,其所示为本申请实施例提供的一种地图数据处理方法的流程示意图,该方法可以应用于图2所示的应用场景。需要说明的是,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图3所示,该方法可以包括:
S301,资料池服务基于至少一个待处理图幅的地图资料,生成各待处理图幅在分要素任务处理阶段分别对应的任务组,并向任务流转服务下发任务组中的分要素任务。
其中,每个任务组包括至少一个分要素任务,每个分要素任务携带有任务组信息,该任务组信息表征相应分要素任务在至少一个任务组中所属的目标任务组以及该目标任务组所包含的任务数量。
其中,每个待处理图幅的地图资料可以是通过采集车辆、摄像头、点云设备等采集的该待处理图幅范围内的资料。
其中,至少一个待处理图幅通常是对待作业地图区域进行划分得到的,具体的实施中可以按照规则正方形对待作业地图区域进行划分,从而可以得到规则正方形图幅的粒度细分作业,相比于其他划分方式,图幅粒度的划分更加清晰,便于作业管理。本申请实施例中的图幅也可以称之为瓦片即Tile。
在一个示例性的实施方式中,如图4所示,上述步骤S301在实施时可以包括:
S401,资料池服务基于至少一个待处理图幅的地图资料,生成至少一个未携带任务组信息的分要素任务。
S403,资料池服务基于上述至少一个未携带任务组信息的分要素任务,生成每个待处理图幅对应的任务组。
需要说明的是,资料池服务在生成每个待处理图幅对应的任务组时,一个分要素任务可能会跨资料组包,也就是可能会出现某个分要素任务被分配到不同的任务组中。
S405,资料池服务基于每个待处理图幅的图幅标识和图幅版本,生成每个待处理图幅所对应任务组的组标识。
其中,图幅标识用于唯一标识一个待处理图幅。
在一些示例中,为了解决相同资料版本多次下发而无法区分的问题,在生成每个待处理图幅所对应任务组的组标识时还可以考虑下发批次,也即可以拼接图幅标识、图幅版本和下发批次以得到相应的组标识。
S407,资料池服务对于每个分要素任务,基于该分要素任务所属任务组的组标识以及所属任务组中的任务数量,生成该分要素任务的任务组信息。
可以理解的,对于某个分要素任务被分配到不同的任务组的情形,该分要素任务可以携带所有的任务组信息,每个任务组信息表征一个目标任务组以及该目标任务组所包含的任务数量。
具体的实施中,可以定义一套分要素任务生成协议,例如该分要素任务生成协议可以包括任务号(task_number)字段、产线编码(taskclasscode)字段、扩展信息(exts)字段和组信息(group_info)字段。其中,group_info包含在扩展信息exts中,group_info中包含该分要素任务的所有任务组信息,每个任务组信息可以包括相应任务组的组标识(group_id)、相应任务组中的任务数量(group_size),具体可以参见以下的示例:
{
“task_number”: “2022053119350416297958”,
“taskclasscode”: “P_0313”,
“exts”:
{
“group_info”:
[
{
“group_type”: 1,
“group_id”: “557467373_2022120714354655_11111_3”,
“target_pcode”: “P_0404, P_0407”,
“group_size”: 4
}
{
“group_type”: 2,
“group_id”: “557467373_2022120714354655_11111_3”,
“target_pcode”: “P_0404, P_0407”,
“group_size”: 4
}
]
“xx”: “yy”
}
}
其中,“产线”是地图数据制作抽象的流水线定义,如P_0403代表做车道线类型的数据产线,每个产线对应了一个制作流程。
实际应用中,每个任务组信息除了包括组标识和任务数量之外,还可以基于需要包括其他维度的一些信息,例如每个任务组信息可以包括四个维度的信息即组类型(group_type):指示是哪种类型的任务组,例如主要有批量分要素组、增量分要素组和高精修形任务组,且该组类型可以根据业务需求进行扩展;组标识(group_id):指示唯一的一个任务组,可以是由相应的待处理图幅的图幅标识、图幅版本、下发批次拼接而成,当然,还可以在group_id中拼接进组类型,具体可以根据实际需要设定;目标产线(target_pcode):指示目标产线,即该任务组完成以后需要触发哪类挖掘产线的任务;组大小(group_size),指示该任务组中一共有多少个任务。
上述实施方式中,由于资料池服务在分要素任务处理阶段是任务的发起端,因此资料池服务是完全知道一个待处理图幅对应任务组中的任务数量,进而资料池服务通过生成携带任务组信息的分要素任务进行下发,有利于分离的任务流转服务根据任务组信息准确判定每一个任务组的完成情况。
S303,任务流转服务接收并执行资料池服务下发的分要素任务,响应于分要素任务的执行完成,基于该分要素任务的任务组信息,确定该任务组信息所指示目标任务组的任务执行信息。
其中,目标任务组的任务执行信息表征该目标任务组中所有任务的完成情况。
在一些可能的实施方式中,如图5所示,任务流转服务在执行上述步骤S303时可以包括:
S501,任务流转服务基于分要素任务的任务组信息,在任务记录集合中生成分要素任务对应的任务记录。
其中,任务记录用于记录所述分要素任务的任务组信息以及所述分要素任务的任务状态。
具体的,任务流转服务每接收到一个下发的分要素任务,可以提取该分要素任务的任务组信息,并基于该分要素任务的任务组信息在任务记录集合中生成一条对应的任务记录,该任务记录用于记录对应的分要素任务的任务组信息和该分要素任务的任务状态,其中任务状态可以在该分要素任务的执行过程中进行更新,以表征该分要素任务的执行状态,例如可以包括待执行、执行中和执行完成等。
S503,任务流转服务执行所述分要素任务,并基于所述分要素任务的执行情况更新所述分要素任务所对应任务记录中的任务状态。
S505,任务流转服务在所述分要素任务的所述任务状态指示执行完成时,基于所述分要素任务所对应任务记录中的任务组信息,从所述任务记录集合中查找目标任务记录。
其中,所述目标任务记录指示的任务组包括所述分要素任务所对应任务记录中的任务组信息所指示的目标任务组。
具体的实施中,任务流转服务可以在任一分要素任务执行完成时,从该分要素任务所对应任务记录的任务组信息中提取组标识group_id和该group_id对应的任务数量group_size,然后通过该组标识group_id在任务记录集合中查找包含该组标识group_id的目标任务记录。
S505,任务流转服务在查找的所述目标任务记录的数量与所述目标任务组所包含的任务数量相一致,且每个所述目标任务记录中的任务状态均指示执行完成,则确定所述任务组信息所指示目标任务组的任务执行信息为第一任务执行信息。
其中,所述第一任务执行信息表征所述目标任务组中的每个任务均执行完成。
具体的实施中,任务流转服务可以统计查找到的目标任务记录的数量,然后将该查找到的目标任务记录的数量与前述提取的group_size进行比对,若二者相等,则表明前述group_id所对应任务组内的所有任务均已下发,此时任务流转服务可以进一步获取每个目标任务记录中的任务状态,若每个目标任务记录中的任务状态均指示执行完成,则表明前述group_id所对应任务组内的所有任务均已执行完成即可以生成第一任务执行信息。
在一些示例中,为了能通过group_id高效的查找到所有的目标任务记录,各任务记录中的group_id可以存储在PostgreSQL(Structured Query Language,结构化查询语言)数据库表的jsonb字段中,多个值使用jsonb的数组存储。那么,在通过group_id从任务记录集合中查找目标任务记录时,可以使用jsonb的 @>操作符,进而能够快速查找出对应的目标任务记录。
具体的实施中,可以将各任务记录中的group_id存储到jsonb的数组数据结构中,然后将jsonb的数组创建索引CREATE INDEX t_mining_record_group_id ON public.t_mining_record USING gin (group_id)。那么在具体查找一个group_id时,例如group_id为:
"557040109_2023052608248438_2023052811350911065335_0"
通过含@>的操作命令:select * from t_mining_record where group_id @>'["557040109_2023052608248438_2023052811350911065335_0"]',能够快速命中索引,加快查询速度。
上述实施方式中,任务流转服务通过在任务记录集合中生成每个分要素任务对应的任务记录,从而可以对每个任务组的任务执行情况进行快速且准确的判定。
S305,任务流转服务在所述目标任务组的任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
具体的,若目标任务组的任务执行信息指示目标任务组中的每个任务均执行完成,则表明该目标任务组对应的待处理图幅的分要素阶段任务处理阶段完成,可以进入下一阶段即对该待处理图幅的挖掘任务处理阶段。
本申请实施例的技术方案由于每个下发的分要素任务均携带了任务组信息,同一任务组中的分要素任务所携带的任务组信息都能指向该任务组,从而可以确保在资料池服务与任务流转服务分离的应用场景中,任务流转服务仍能准确的判定一个分要素任务属于哪个任务组以及该任务组中的所有任务是否已经做完并进入下一阶段即挖掘任务处理阶段,进而大大提高了地图数据的制作效率和制作准确性。
在一些可能的实施方式中,如图6所示,上述步骤S305在实施时可以包括:
S601,任务流转服务向地图数据挖掘服务发送服务调用请求。
其中,该服务调用请求用于请求对所述目标任务组对应的待处理图幅进行挖掘任务处理。
S603,地图数据挖掘服务响应于所述服务调用请求,确定所述目标任务组在所述挖掘任务处理阶段对应的目标数据类型,基于所述目标数据类型开启第一挖掘进程并生成所述第一挖掘进程的第一挖掘进程标识。
其中,第一挖掘进程用于从地图数据库挖掘第一数据类型的第一地图数据,所述目标数据类型包括所述第一数据类型。
其中,数据类型可以预先进行设定,例如可以包括路口类型、接边类型、关联自动化类型以及关联人工挖掘类型等等。各数据类型之间可以有数据依赖关系,也可以没有数据依赖关系,具体需要基于实际应用需求来设定,例如,关联自动化类型与关联人工挖掘类型之间具有数据依赖关系即关联自动化产线任务全部完成以后才能触发关联人工挖掘产线的挖掘。
具体的实施中,考虑到不同的组类型在挖掘任务处理阶段对应的数据类型可能不同,例如组类型为批量分要素组在挖掘任务处理阶段所对应的数据类型为路口类型、接边类型、关联自动化类型以及关联人工挖掘类型,而组类型为增量分要素组在挖掘任务处理阶段所对应的数据类型为关联自动化类型以及关联人工挖掘类型。因此,任务流转服务可以基于目标任务组的组类型来向地图数据挖掘服务发送上述服务调用请求,进而地图数据挖掘服务响应于该服务调用请求,可以基于该服务调用请求中的组类型确定该目标任务组在挖掘任务处理阶段对应的目标数据类型。
例如,若服务调用请求中的组类型为批量分要素组时,可以确定目标任务组在挖掘任务处理阶段对应的目标数据类型为路口类型、接边类型、关联自动化类型以及关联人工挖掘类型;若服务调用请求中的组类型为增量分要素组时,可以确定目标任务组在挖掘任务处理阶段对应的目标数据类型为关联自动化类型以及关联人工挖掘类型。
其中,第一挖掘进程标识用于唯一标识第一挖掘进程,第一数据类型是目标数据类型中不依赖于其他数据类型的数据类型。以目标数据类型为路口类型、接边类型、关联自动化类型以及关联人工挖掘类型为例,由于关联人工挖掘类型需要依赖于关联自动化类型的数据,因此第一数据类型可以是路口类型、接边类型和关联自动化类型中的任意一个,具体可以针对路口类型、接边类型和关联自动化类型分别开启一个第一挖掘进程,也即开启三个并行实施的第一挖掘进程,每个第一挖掘进程生成相应的第一挖掘进程标识,每个第一挖掘进程用于从地图数据库挖掘相应数据类型的地图数据。
具体的实施中,第一挖掘进程在从地图数据库中挖掘到第一数据类型的第一地图数据时,地图数据挖掘服务会将该第一数据类型的第一地图数据发送给资料池服务,其中发送的该第一地图数据携带有相应第一挖掘进程的第一挖掘进程标识。需要说明的是,地图数据挖掘服务会在第一挖掘进程运行过程中不断的向资料池服务发送挖掘的数据。
S605,资料池服务接收所述地图数据挖掘服务发送的所述第一地图数据,基于所述第一地图数据以及所述第一地图数据对应的第一挖掘进程标识,生成至少一个挖掘任务,并将所述至少一个挖掘任务下发给任务流转服务。
其中,每个所述挖掘任务携带有所述第一挖掘进程标识。
具体的实施中,资料池服务可以针对第一挖掘进程标识记录对应的挖掘任务下发进度信息,该挖掘任务下发进度信息用于指示资料池服务所生成的携带第一挖掘进程标识的挖掘任务的下发进度。
S607,任务流转服务执行所述至少一个挖掘任务,并记录所述至少一个挖掘任务的任务状态。
具体的实施中,任务流转服务每接收到资料池服务下发的一个挖掘任务,就可以建立对应的挖掘任务记录,该挖掘任务记录包括该挖掘任务对应的第一挖掘进程标识以及任务状态,该任务状态可以在挖掘任务的执行过程中进行更新。
S609,任务流转服务从所述地图数据挖掘服务获取所述第一挖掘进程的进程进度信息,以及从所述资料池服务获取所述第一挖掘进程标识对应的挖掘任务下发进度信息;在所述进程进度信息指示所述第一挖掘进程结束,且所述挖掘任务下发进度信息指示全部下发的情况下,获取每个下发的所述挖掘任务的任务状态;在每个下发的所述挖掘任务的任务状态均指示执行完成时,确定完成对所述第一数据类型的挖掘任务处理。
具体的实施中,任务流转服务可以按照预设时间间隔基于第一挖掘进程标识从地图数据挖掘服务获取第一挖掘进程的进程进度信息,以及从资料池服务获取该第一挖掘进程标识对应的挖掘任务下发进度信息,该预设时间间隔可以通过定时设置来实现。其中,预设时间间隔可以基于实际需要进行设定,可以是分钟级的,也可以是秒级的。
任务流转服务在进程进度信息指示所述第一挖掘进程结束,且挖掘任务下发进度信息指示全部下发的情况下,进一步获取每个下发的携带第一挖掘进程标识的挖掘任务的任务状态,并在每个下发的携带第一挖掘进程标识的挖掘任务的任务状态均指示执行完成时,确定完成对所述第一数据类型的挖掘任务处理。
具体的实施中,任务流转服务可以通过第一挖掘进程标识从挖掘任务记录集合中查找包含该第一挖掘进程标识的目标挖掘任务记录,进而获取各目标挖掘任务记录中的任务状态,若各目标挖掘任务记录中的任务状态均指示执行完成,则可以确定针对第一挖掘进程标识下发的挖掘任务全部执行完成,也就是说此时,地图数据挖掘服务的第一挖掘进程已经挖掘结束,且资料池服务针对第一挖掘进程标识生成的挖掘任务也都全部下发至任务流转服务,且下发至任务流程服务的该第一挖掘进程标识的挖掘任务也都全部执行完成,进而可以确定对第一数据类型的挖掘任务处理已完成。
在一些示例中,为了能通过挖掘进程标识高效的查找到所有的目标挖掘任务记录,各挖掘任务记录中的挖掘进程标识可以存储在PostgreSQL数据库表的jsonb字段中,多个值使用jsonb的数组存储。那么,在通过挖掘进程标识从挖掘任务记录集合中查找目标挖掘任务记录时,可以使用jsonb的 @>操作符,进而能够快速查找出对应的目标挖掘任务记录。具体的实施方式可以参见前述关于使用jsonb的 @>操作符的相关说明,在此不再赘述。
在一些示例性的实施方式中,上述步骤S601中任务流转服务在向地图数据挖掘服务发送服务调用请求时,若检测到对地图数据挖掘服务调用失败,则可以通过后台接口调用手动发起对待处理图幅的挖掘任务处理,从而提高了地图数据制作的灵活性。
上述实施方式中,通过挖掘进程标识来进行相应挖掘任务处理的检测,可以准确的判定相应挖掘任务处理何时完成。
另外,上述实施方式在确定图幅的分要素作业阶段完成以后触发该图幅的挖掘作业,从而将挖掘触发从分要素作业阶段中独立出来,相较于现有技术将挖掘触发耦合在分要素作业阶段的流程之中,本申请实施例可以避免由于脏数据无法触发完成判定导致不能进入挖掘作业阶段的问题,提高了地图数据制作的效率。
在一些可能的实施方式中,考虑到挖掘任务处理阶段,有些产线流程之间存在依赖关系,如前述关联人工挖掘类型的产线流程需要依赖于关联自动化类型的产线流程,因此如图7所示,任务流转服务在确定完成对第一数据类型的挖掘任务处理之后,该方法还可以包括:
S701,任务流转服务触发地图数据挖掘服务针对目标任务组对应的待处理图幅开启第二挖掘进程。
其中,第二挖掘进程用于从地图数据库挖掘第二数据类型的第二地图数据,该第二数据类型的第二地图数据与前述第一数据类型的第一地图数据之间存在依赖关系,且目标任务组在挖掘任务处理阶段对应的目标数据类型包括该第二数据类型。
S703,将第二挖掘进程作为前述第一挖掘进程以及第二地图数据作为前述第一地图数据,执行对第一数据类型的挖掘任务处理是否完成的确定步骤。
以前述第一数据类型为关联自动化类型为例,第二数据类型即为关联人工挖掘类型。也就是说,在完成对关联自动化类型的挖掘任务处理之后,自动触发对关联人工挖掘类型的挖掘任务处理,而对关联人工挖掘类型的挖掘任务处理与对关联自动化类型的挖掘任务处理过程类似,可以参见前述图6所示的方法实施例。
在一些可能的实施方式中,如图8所示,任务流转服务在确定完成对第一数据类型的挖掘任务处理之后,该方法还可以包括:
S801,任务流转服务获取每个目标数据类型的挖掘任务处理的完成状态信息。
其中,每个目标数据类型的挖掘任务处理的完成状态信息指示该挖掘任务处理是否完成。
具体的实施中,任务流转服务在确定目标任务组在挖掘任务处理阶段对应的任一目标数据类型的挖掘任务处理完成时,可以生成对应该目标数据类型的第一完成状态信息,该第一完成状态信息指示该目标数据类型的挖掘任务处理已完成。
S803,任务流转服务在每个目标数据类型的挖掘任务处理的完成状态信息均指示完成时,确定完成对目标任务组对应的待处理图幅的挖掘任务处理。
具体的,任务流转服务若查找到目标任务组在挖掘任务处理阶段对应的每个目标数据类型的挖掘任务处理均具有第一完成状态信息,则可以确定完成该目标任务组对应的待处理图幅的挖掘任务处理,也即该待处理图幅的挖掘任务处理阶段完成。
可以理解的,若任务流转服务查找到目标任务组在挖掘任务处理阶段对应的任一目标数据类型的挖掘任务处理不具有第一完成状态信息,也即处于未完成状态,则表明该目标任务组对应的待处理图幅的挖掘任务处理尚未完成,需要继续等待。
在一些可能的实施方式中,至少一个待处理图幅是基于对待作业地图区域的划分处理得到的,那么如图9所示,任务流转服务在确定完成对所述目标任务组对应的待处理图幅的挖掘任务处理之后,该方法还可以包括:
S901,任务流转服务获取至少一个待处理图幅中每个待处理图幅的挖掘任务处理的任务处理状态。
其中,每个待处理图幅的挖掘任务处理的任务处理状态指示该待处理图幅的挖掘任务处理是否完成。
S903,任务流转服务在每个所述待处理图幅的挖掘任务处理的任务处理状态均指示任务完成的情况下,对所述待作业地图区域进行地图数据清洗任务处理。
具体的,任务流转服务在确定待作业地图区域对应的每个待处理图幅的挖掘任务处理均完成时,可以进入对该待作业地图区域的地图数据清洗任务处理。
在一些可能的实施方式中,如图10所示,任务流转服务对所述待作业地图区域进行地图数据清洗任务处理,可以包括:
S1010,任务流转服务接收资料池服务针对待处理图幅下发的至少一个清洗任务,每个清洗任务携带有清洗标识。
其中,清洗标识用于标识对待处理图幅的清洗任务处理。
具体的实施中,在清洗作业阶段,资料池服务可以接收针对待处理图幅输入的资料数据,并基于输入的该待处理图幅的资料数据生成至少一个清洗任务,并为本次清洗生成清洗标识,从而上述至少一个清洗任务中的每个清洗任务均携带该清洗标识,然后资料池服务将携带该清洗标识的至少一个清洗任务下发至任务流转服务。
需要说明的是,在清洗阶段,针对待处理图幅输入的资料数据由业务人员一次性输入,因此资料池服务针对该待处理图幅可以确定生成的清洗任务的数量。
本申请实施例中,资料池服务可以针对清洗标识记录对应的清洗任务下发进度信息,该清洗任务下发进度信息用于指示资料池服务所生成的携带对应清洗标识的清洗任务的下发进度。
S1020,任务流转服务执行所述至少一个清洗任务,并记录各所述清洗任务的任务状态。
具体的实施中,任务流转服务每接收到资料池服务下发的一个清洗任务,就可以建立对应的清洗任务记录,该清洗任务记录包括该清洗任务对应的清洗标识以及任务状态,该任务状态可以在清洗任务的执行过程中进行更新。
S1030,任务流转服务从资料池服务获取所述清洗标识对应的清洗任务下发进度信息。
具体的实施中,任务流转服务可以按照预设时间间隔基于清洗标识从资料池服务获取该清洗标识对应的清洗任务下发进度信息,该预设时间间隔可以通过定时设置来实现。其中,预设时间间隔可以基于实际需要进行设定,可以是分钟级的,也可以是秒级的。
S1040,任务流转服务在所述清洗任务下发进度信息指示全部下发的情况下,获取每个下发的所述清洗任务的任务状态。
具体的,若任务流转服务获取的清洗标识对应的清洗任务下发进度信息指示全部下发,则表明该清洗标识对应的清洗任务已由资料池服务全部下发,也即不存在该清洗标识对应的清洗任务卡住未下发的情形,此时任务流转服务可以进一步获取每个下发的该清洗标识的清洗任务的任务状态。
S1050,任务流转服务在每个下发的所述清洗任务的任务状态均指示完成时,确定完成对所述清洗标识对应的待处理图幅的清洗任务处理。
具体的实施中,任务流转服务可以通过清洗标识从清洗任务记录集合中查找包含该清洗标识的目标清洗任务记录,进而获取各目标清洗任务记录中的任务状态,若各目标清洗任务记录中的任务状态均指示执行完成,则可以确定针对该清洗标识下发的清洗任务全部执行完成,进而也就可以确定完成对该清洗标识对应的待处理图幅的清洗任务处理。
在一些示例中,为了能通过清洗标识高效的查找到所有的目标清洗任务记录,各清洗任务记录中的清洗标识可以存储在PostgreSQL数据库表的jsonb字段中,多个值使用jsonb的数组存储。那么,在通过清洗标识从清洗任务记录集合中查找目标清洗任务记录时,可以使用jsonb的 @>操作符,进而能够快速查找出对应的目标清洗任务记录。具体的实施方式可以参见前述关于使用jsonb的 @>操作符的相关说明,在此不再赘述。
当待作业地图区域对应的所有待处理图幅的清洗任务处理均确定完成时,可以确定待作业地图区域的清洗作业阶段完成,进而完成了对待作业地图区域的地图数据制作。
在一些示例中,为了方便业务人员决定清洗多少轮,资料池服务在生成携带清洗标识的至少一个清洗任务时,还可以让该至少一个清洗任务中的每个清洗任务携带清洗批次,进而业务人员可以根据清洗批次决定清洗多少轮。
上述实施方式中,通过清洗标识来进行相应清洗任务处理的检测,可以准确的判定相应清洗任务处理何时完成。
下面以任务流转服务为执行主体来说明本申请实施例的地图数据处理方法,具体的可以参见图11,该地图数据处理方法可以包括:
S1110,接收资料池服务下发的分要素任务。
其中,分要素任务携带有任务组信息,该任务组信息表征该分要素任务在至少一个任务组中所属的目标任务组以及所述目标任务组所包含的任务数量,该至少一个任务组是资料池服务基于至少一个待处理图幅的地图资料生成的各待处理图幅在分要素任务处理阶段分别对应的任务组,具体的该任务组信息包括目标任务组的组标识,该目标任务组的组标识包括该目标任务组所对应待处理图幅的图幅标识和图幅版本。
S1120,执行所述分要素任务,并响应于所述分要素任务的执行完成,基于所述分要素任务的任务组信息,确定所述任务组信息所指示目标任务组的任务执行信息。
S1130,在所述任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
在一些可能的实施方式中,上述步骤S1120在实施时可以包括:
基于所述分要素任务的任务组信息,在任务记录集合中生成所述分要素任务对应的任务记录;所述任务记录用于记录所述分要素任务的任务组信息以及所述分要素任务的任务状态;
执行所述分要素任务,并基于所述分要素任务的执行情况更新所述分要素任务所对应任务记录中的任务状态;
在所述分要素任务的所述任务状态指示执行完成时,基于所述分要素任务所对应任务记录中的任务组信息,从所述任务记录集合中查找目标任务记录;所述目标任务记录指示的任务组包括所述目标任务组;
若查找的所述目标任务记录的数量与所述目标任务组所包含的任务数量相一致,且每个所述目标任务记录中的任务状态均指示执行完成,则确定所述任务组信息所指示目标任务组的任务执行信息为第一任务执行信息;所述第一任务执行信息表征所述目标任务组中的每个任务均执行完成
在一些可能的实施方式中,上述步骤S1130在实施时可以包括:
接收所述资料池服务基于第一地图数据下发的至少一个挖掘任务,每个所述挖掘任务携带有用于标识地图数据挖掘服务中第一挖掘进程的第一挖掘进程标识;所述第一挖掘进程是指所述地图数据挖掘服务响应于对所述目标任务组对应的待处理图幅进行挖掘任务处理,开启的用于从地图数据库挖掘第一数据类型的所述第一地图数据的进程,所述目标任务组在所述挖掘任务处理阶段对应的目标数据类型包括所述第一数据类型;
执行所述至少一个挖掘任务,并记录各所述挖掘任务的任务状态;
从所述地图数据挖掘服务获取所述第一挖掘进程的进程进度信息,以及从所述资料池服务获取所述第一挖掘进程标识对应的挖掘任务下发进度信息;
在所述进程进度信息指示所述第一挖掘进程结束,且所述挖掘任务下发进度信息指示全部下发的情况下,获取每个下发的所述挖掘任务的任务状态;
在每个下发的所述挖掘任务的任务状态均指示执行完成时,确定完成对所述第一数据类型的挖掘任务处理。
具体的,上述步骤S1110至步骤S1130的具体实施方式可以参见本申请实施例的前述图3至图10所示方法实施例中的相关描述,在此不再赘述。
与上述几种实施例提供的地图数据处理方法相对应,本申请实施例还提供一种地图数据处理装置,由于本申请实施例提供的地图数据处理装置与上述几种实施例提供的地图数据处理方法相对应,因此前述地图数据处理方法的实施方式也适用于本实施例提供的地图数据处理装置,在本实施例中不再详细描述。
请参阅图12,其所示为本申请实施例提供的一种地图数据处理装置的结构示意图,该装置具有实现上述方法实施例中任务流转服务侧的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。如图12所示,该地图数据处理装置1200可以包括:
分要素任务接收模块1210,用于接收资料池服务下发的分要素任务,所述分要素任务携带有任务组信息,所述任务组信息表征所述分要素任务在至少一个任务组中所属的目标任务组以及所述目标任务组所包含的任务数量;所述至少一个任务组是所述资料池服务基于至少一个待处理图幅的地图资料生成的各所述待处理图幅在分要素任务处理阶段分别对应的任务组,所述任务组信息包括所述目标任务组的组标识,所述组标识包括所述目标任务组所对应待处理图幅的图幅标识和图幅版本;
任务执行信息确定模块1220,用于执行所述分要素任务,并响应于所述分要素任务的执行完成,基于所述分要素任务的任务组信息,确定所述任务组信息所指示目标任务组的任务执行信息;
挖掘服务调用模块1230,用于在所述任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
在一些可能的实施方式中,所述任务执行信息确定模块1220,包括:
记录生成模块,用于基于所述分要素任务的任务组信息,在任务记录集合中生成所述分要素任务对应的任务记录;所述任务记录用于记录所述分要素任务的任务组信息以及所述分要素任务的任务状态;
分要素任务执行模块,用于执行所述分要素任务,并基于所述分要素任务的执行情况更新所述分要素任务所对应任务记录中的任务状态;
查找模块,用于在所述分要素任务的所述任务状态指示执行完成时,基于所述分要素任务所对应任务记录中的任务组信息,从所述任务记录集合中查找目标任务记录;所述目标任务记录指示的任务组包括所述目标任务组;
第一确定模块,用于在查找的所述目标任务记录的数量与所述目标任务组所包含的任务数量相一致,且每个所述目标任务记录中的任务状态均指示执行完成时,确定所述任务组信息所指示目标任务组的任务执行信息为第一任务执行信息;所述第一任务执行信息表征所述目标任务组中的每个任务均执行完成。
在一些可能的实施方式中,所述挖掘服务调用模块1230,包括:
挖掘任务接收模块,用于接收所述资料池服务基于第一地图数据下发的至少一个挖掘任务,每个所述挖掘任务携带有用于标识地图数据挖掘服务中第一挖掘进程的第一挖掘进程标识;所述第一挖掘进程是指所述地图数据挖掘服务响应于对所述目标任务组对应的待处理图幅进行挖掘任务处理,开启的用于从地图数据库挖掘第一数据类型的所述第一地图数据的进程,所述目标任务组在所述挖掘任务处理阶段对应的目标数据类型包括所述第一数据类型;
挖掘任务执行模块,用于执行所述至少一个挖掘任务,并记录各所述挖掘任务的任务状态;
第一进度信息获取模块,用于从所述地图数据挖掘服务获取所述第一挖掘进程的进程进度信息,以及从所述资料池服务获取所述第一挖掘进程标识对应的挖掘任务下发进度信息;
挖掘任务状态获取模块,用于在所述进程进度信息指示所述第一挖掘进程结束,且所述挖掘任务下发进度信息指示全部下发的情况下,获取每个下发的所述挖掘任务的任务状态;
第二确定模块,用于在每个下发的所述挖掘任务的任务状态均指示执行完成时,确定完成对所述第一数据类型的挖掘任务处理。
在一些可能的实施方式中,所述挖掘服务调用模块1230,还包括:
挖掘进程触发模块,用于触发所述地图数据挖掘服务针对所述目标任务组对应的待处理图幅开启第二挖掘进程,所述第二挖掘进程用于从所述地图数据库挖掘第二数据类型的第二地图数据,所述第二数据类型的第二地图数据与所述第一数据类型的第一地图数据之间存在依赖关系;所述目标任务组在所述挖掘任务处理阶段对应的目标数据类型包括所述第二数据类型;以及将所述第二挖掘进程作为所述第一挖掘进程以及所述第二地图数据作为所述第一地图数据,执行对所述第一数据类型的挖掘任务处理是否完成的确定步骤。
在一些可能的实施方式中,所述挖掘服务调用模块1230,还包括:
挖掘任务完成状态获取模块,用于获取每个所述目标数据类型的挖掘任务处理的完成状态信息;
第三确定模块,用于在每个所述目标数据类型的挖掘任务处理的完成状态信息均指示完成时,确定完成对所述目标任务组对应的待处理图幅的挖掘任务处理。
在一些可能的实施方式中,所述至少一个待处理图幅基于对待作业地图区域的划分处理得到;所述装置1200还包括:
图幅挖掘任务状态获取模块,用于获取所述至少一个待处理图幅中每个待处理图幅的挖掘任务处理的任务处理状态;
清洗处理模块,用于在每个所述待处理图幅的挖掘任务处理的任务处理状态均指示任务完成的情况下,对所述待作业地图区域进行地图数据清洗任务处理。
在一些可能的实施方式中,所述清洗处理模块,包括:
清洗任务接收模块,用于接收资料池服务针对待处理图幅下发的至少一个清洗任务,每个所述清洗任务携带有清洗标识,所述清洗标识用于标识对所述待处理图幅的清洗任务处理;
清洗任务执行模块,用于执行所述至少一个清洗任务,并记录各所述清洗任务的任务状态;
第二进度信息获取模块,用于从所述资料池服务获取所述清洗标识对应的清洗任务下发进度信息;
清洗任务状态获取模块,用于在所述清洗任务下发进度信息指示全部下发的情况下,获取每个下发的所述清洗任务的任务状态;
第四确定模块,用于在每个下发的所述清洗任务的任务状态均指示完成时,确定完成对所述清洗标识对应的待处理图幅的清洗任务处理。
本申请实施例还提供了一种地图数据处理系统,该系统具有实现上述方法实施例中地图数据处理方法的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该系统包括:
资料池服务,用于基于至少一个待处理图幅的地图资料,生成各所述待处理图幅在分要素任务处理阶段分别对应的任务组,并向任务流转服务下发所述任务组中的分要素任务;每个所述任务组包括至少一个分要素任务,每个所述分要素任务携带有任务组信息,所述任务组信息表征相应分要素任务在至少一个所述任务组中所属的目标任务组以及所述目标任务组所包含的任务数量,所述任务组信息包括所述目标任务组的组标识,所述组标识包括所述目标任务组所对应待处理图幅的图幅标识和图幅版本;
任务流转服务,用于接收并执行所述资料池服务下发的分要素任务,响应于所述分要素任务的执行完成,基于所述分要素任务的任务组信息,确定所述任务组信息所指示目标任务组的任务执行信息;
所述任务流转服务,还用于在所述目标任务组的任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
在一些可能的实施方式中,资料池服务在基于至少一个待处理图幅的地图资料,生成各所述待处理图幅在分要素任务处理阶段分别对应的任务组时,具体用于:基于至少一个待处理图幅的地图资料,生成至少一个未携带任务组信息的分要素任务;基于所述至少一个未携带任务组信息的分要素任务,生成每个所述待处理图幅对应的任务组;基于每个所述待处理图幅的图幅标识和图幅版本,生成每个所述待处理图幅所对应任务组的组标识;对于每个所述分要素任务,基于所述分要素任务所属任务组的组标识以及所属任务组中的任务数量,生成所述分要素任务的任务组信息。
在一些可能的实施方式中,任务流转服务在调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理时,具体用于:向所述地图数据挖掘服务发送服务调用请求;所述服务调用请求用于请求对所述目标任务组对应的待处理图幅进行挖掘任务处理;
地图数据挖掘服务,还用于:响应于所述服务调用请求,确定所述目标任务组在所述挖掘任务处理阶段对应的目标数据类型,基于所述目标数据类型开启第一挖掘进程并生成所述第一挖掘进程的第一挖掘进程标识;所述第一挖掘进程用于从地图数据库挖掘第一数据类型的第一地图数据,所述目标数据类型包括所述第一数据类型;
所述资料池服务,还用于接收所述地图数据挖掘服务发送的所述第一地图数据,基于所述第一地图数据以及所述第一地图数据对应的第一挖掘进程标识,生成至少一个挖掘任务,并将所述至少一个挖掘任务下发给任务流转服务;每个所述挖掘任务携带有所述第一挖掘进程标识;
所述任务流转服务,还用于执行所述至少一个挖掘任务,并记录所述至少一个挖掘任务的任务状态;从所述地图数据挖掘服务获取所述第一挖掘进程的进程进度信息,以及从所述资料池服务获取所述第一挖掘进程标识对应的挖掘任务下发进度信息;在所述进程进度信息指示所述第一挖掘进程结束,且所述挖掘任务下发进度信息指示全部下发的情况下,获取每个下发的所述挖掘任务的任务状态;在每个下发的所述挖掘任务的任务状态均指示执行完成时,确定完成对所述第一数据类型的挖掘任务处理。
需要说明的是,上述实施例提供的装置和系统,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置和系统与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,该存储器中存储有至少一条指令或者至少一段程序,该至少一条指令或者该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的任意一种地图数据处理方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行,即上述电子设备可以包括计算机终端、服务器或者类似的运算装置。图13是本申请实施例提供的运行一种地图数据处理方法的电子设备的硬件结构框图,如图13所示,该服务器1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)1310(处理器1310可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1330,一个或一个以上存储应用程序1323或数据1322的存储介质1320(例如一个或一个以上海量存储设备)。其中,存储器1330和存储介质1320可以是短暂存储或持久存储。存储在存储介质1320的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1310可以设置为与存储介质1320通信,在服务器1300上执行存储介质1320中的一系列指令操作。服务器1300还可以包括一个或一个以上电源1360,一个或一个以上有线或无线网络接口1350,一个或一个以上输入输出接口1340,和/或,一个或一个以上操作系统1321,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM等等。
输入输出接口1340可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1300的通信供应商提供的无线网络。在一个实例中,输入输出接口1340包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口1340可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图13所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器1300还可包括比图13中所示更多或者更少的组件,或者具有与图13所示不同的配置。
本申请的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质可设置于电子设备之中以保存用于实现一种地图数据处理方法相关的至少一条指令或者至少一段程序,该至少一条指令或者该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的任意一种地图数据处理方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述方法实施例提供的任意一种地图数据处理方法。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (13)
1.一种地图数据处理方法,其特征在于,应用于任务流转服务,所述方法包括:
接收资料池服务下发的分要素任务,所述分要素任务携带有任务组信息,所述任务组信息表征所述分要素任务在至少一个任务组中所属的目标任务组以及所述目标任务组所包含的任务数量;所述至少一个任务组与至少一个待处理图幅一一对应,每个所述任务组中的分要素任务是所述资料池服务基于所述至少一个待处理图幅的地图资料生成的,每个所述分要素任务对应至少一个所述任务组;所述任务组信息包括所述目标任务组的组标识,所述组标识包括所述目标任务组所对应待处理图幅的图幅标识和图幅版本;
基于下发的所述分要素任务的任务组信息,在任务记录集合中生成所述分要素任务对应的任务记录;所述任务记录用于记录所述分要素任务的任务组信息以及所述分要素任务的任务状态;
执行下发的所述分要素任务,并基于所述分要素任务的执行情况更新所述分要素任务所对应任务记录中的任务状态;在所述分要素任务的所述任务状态指示执行完成时,基于所述分要素任务所对应任务记录中的任务组信息,从所述任务记录集合中查找目标任务记录;所述目标任务记录指示的任务组包括所述目标任务组;
若查找的所述目标任务记录的数量与所述目标任务组所包含的任务数量相一致,且每个所述目标任务记录中的任务状态均指示执行完成,则确定所述任务组信息所指示目标任务组的任务执行信息为第一任务执行信息;所述第一任务执行信息表征所述目标任务组中的每个任务均执行完成;
在所述任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
2.根据权利要求1所述的方法,其特征在于,所述调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理,包括:
接收所述资料池服务基于第一地图数据下发的至少一个挖掘任务,每个所述挖掘任务携带有用于标识地图数据挖掘服务中第一挖掘进程的第一挖掘进程标识;所述第一挖掘进程是指所述地图数据挖掘服务响应于对所述目标任务组对应的待处理图幅进行挖掘任务处理,开启的用于从地图数据库挖掘第一数据类型的所述第一地图数据的进程,所述目标任务组在所述挖掘任务处理阶段对应的目标数据类型包括所述第一数据类型;
执行所述至少一个挖掘任务,并记录各所述挖掘任务的任务状态;
从所述地图数据挖掘服务获取所述第一挖掘进程的进程进度信息,以及从所述资料池服务获取所述第一挖掘进程标识对应的挖掘任务下发进度信息;
在所述进程进度信息指示所述第一挖掘进程结束,且所述挖掘任务下发进度信息指示全部下发的情况下,获取每个下发的所述挖掘任务的任务状态;
在每个下发的所述挖掘任务的任务状态均指示执行完成时,确定完成对所述第一数据类型的挖掘任务处理。
3.根据权利要求2所述的方法,其特征在于,在确定完成对所述第一数据类型的挖掘任务处理之后,所述方法还包括:
触发所述地图数据挖掘服务针对所述目标任务组对应的待处理图幅开启第二挖掘进程,所述第二挖掘进程用于从所述地图数据库挖掘第二数据类型的第二地图数据,所述第二数据类型的第二地图数据与所述第一数据类型的第一地图数据之间存在依赖关系;所述目标任务组在所述挖掘任务处理阶段对应的目标数据类型包括所述第二数据类型;
将所述第二挖掘进程作为所述第一挖掘进程以及所述第二地图数据作为所述第一地图数据,执行对所述第一数据类型的挖掘任务处理是否完成的确定步骤。
4.根据权利要求2所述的方法,其特征在于,在所述确定完成对所述第一数据类型的挖掘任务处理之后,所述方法还包括:
获取每个所述目标数据类型的挖掘任务处理的完成状态信息;
若每个所述目标数据类型的挖掘任务处理的完成状态信息均指示完成,则确定完成对所述目标任务组对应的待处理图幅的挖掘任务处理。
5.根据权利要求4所述的方法,其特征在于,所述至少一个待处理图幅基于对待作业地图区域的划分处理得到;在所述确定完成对所述目标任务组对应的待处理图幅的挖掘任务处理之后,所述方法还包括:
获取所述至少一个待处理图幅中每个待处理图幅的挖掘任务处理的任务处理状态;
在每个所述待处理图幅的挖掘任务处理的任务处理状态均指示任务完成的情况下,对所述待作业地图区域进行地图数据清洗任务处理。
6.根据权利要求5所述的方法,其特征在于,所述对所述待作业地图区域进行地图数据清洗任务处理,包括:
接收资料池服务针对待处理图幅下发的至少一个清洗任务,每个所述清洗任务携带有清洗标识,所述清洗标识用于标识对所述待处理图幅的清洗任务处理;
执行所述至少一个清洗任务,并记录各所述清洗任务的任务状态;
从所述资料池服务获取所述清洗标识对应的清洗任务下发进度信息;
在所述清洗任务下发进度信息指示全部下发的情况下,获取每个下发的所述清洗任务的任务状态;
在每个下发的所述清洗任务的任务状态均指示完成时,确定完成对所述清洗标识对应的待处理图幅的清洗任务处理。
7.一种地图数据处理方法,其特征在于,所述方法包括:
资料池服务基于至少一个待处理图幅的地图资料,生成至少一个任务组中的分要素任务,所述至少一个任务组与所述至少一个待处理图幅一一对应,每个所述分要素任务对应至少一个所述任务组;向所述任务流转服务下发所述任务组中的分要素任务;每个所述分要素任务携带有任务组信息,所述任务组信息表征相应分要素任务在至少一个所述任务组中所属的目标任务组以及所述目标任务组所包含的任务数量,所述任务组信息包括所述目标任务组的组标识,所述组标识包括所述目标任务组所对应待处理图幅的图幅标识和图幅版本;
任务流转服务基于下发的所述分要素任务的任务组信息,在任务记录集合中生成所述分要素任务对应的任务记录;所述任务记录用于记录所述分要素任务的任务组信息以及所述分要素任务的任务状态;执行下发的所述分要素任务,并基于所述分要素任务的执行情况更新所述分要素任务所对应任务记录中的任务状态;在所述分要素任务的所述任务状态指示执行完成时,基于所述分要素任务所对应任务记录中的任务组信息,从所述任务记录集合中查找目标任务记录;所述目标任务记录指示的任务组包括所述目标任务组;若查找的所述目标任务记录的数量与所述目标任务组所包含的任务数量相一致,且每个所述目标任务记录中的任务状态均指示执行完成,则确定所述任务组信息所指示目标任务组的任务执行信息为第一任务执行信息;所述第一任务执行信息表征所述目标任务组中的每个任务均执行完成;
所述任务流转服务在所述目标任务组的任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
8.根据权利要求7所述的方法,其特征在于,所述资料池服务基于至少一个待处理图幅的地图资料,生成至少一个任务组中的分要素任务,包括:
所述资料池服务基于至少一个待处理图幅的地图资料,生成至少一个未携带任务组信息的分要素任务;
所述资料池服务基于所述至少一个未携带任务组信息的分要素任务,生成每个所述待处理图幅对应的任务组;
所述资料池服务基于每个所述待处理图幅的图幅标识和图幅版本,生成每个所述待处理图幅所对应任务组的组标识;
所述资料池服务对于每个所述分要素任务,基于所述分要素任务所属任务组的组标识以及所属任务组中的任务数量,生成所述分要素任务的任务组信息。
9.根据权利要求7所述的方法,其特征在于,所述任务流转服务调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理,包括:
所述任务流转服务向所述地图数据挖掘服务发送服务调用请求;所述服务调用请求用于请求对所述目标任务组对应的待处理图幅进行挖掘任务处理;
所述地图数据挖掘服务响应于所述服务调用请求,确定所述目标任务组在所述挖掘任务处理阶段对应的目标数据类型,基于所述目标数据类型开启第一挖掘进程并生成所述第一挖掘进程的第一挖掘进程标识;所述第一挖掘进程用于从地图数据库挖掘第一数据类型的第一地图数据,所述目标数据类型包括所述第一数据类型;
所述资料池服务接收所述地图数据挖掘服务发送的所述第一地图数据,基于所述第一地图数据以及所述第一地图数据对应的第一挖掘进程标识,生成至少一个挖掘任务,并将所述至少一个挖掘任务下发给任务流转服务;每个所述挖掘任务携带有所述第一挖掘进程标识;
所述任务流转服务执行所述至少一个挖掘任务,并记录所述至少一个挖掘任务的任务状态;从所述地图数据挖掘服务获取所述第一挖掘进程的进程进度信息,以及从所述资料池服务获取所述第一挖掘进程标识对应的挖掘任务下发进度信息;在所述进程进度信息指示所述第一挖掘进程结束,且所述挖掘任务下发进度信息指示全部下发的情况下,获取每个下发的所述挖掘任务的任务状态;在每个下发的所述挖掘任务的任务状态均指示执行完成时,确定完成对所述第一数据类型的挖掘任务处理。
10.一种地图数据处理装置,其特征在于,配置于任务流转服务,所述装置包括:
分要素任务接收模块,用于接收资料池服务下发的分要素任务,所述分要素任务携带有任务组信息,所述任务组信息表征所述分要素任务在至少一个任务组中所属的目标任务组以及所述目标任务组所包含的任务数量;所述至少一个任务组与至少一个待处理图幅一一对应,每个所述任务组中的分要素任务是所述资料池服务基于所述至少一个待处理图幅的地图资料生成的,每个所述分要素任务对应至少一个所述任务组;所述任务组信息包括所述目标任务组的组标识,所述组标识包括所述目标任务组所对应待处理图幅的图幅标识和图幅版本;
任务执行信息确定模块,用于基于下发的所述分要素任务的任务组信息,在任务记录集合中生成所述分要素任务对应的任务记录;所述任务记录用于记录所述分要素任务的任务组信息以及所述分要素任务的任务状态;执行下发的所述分要素任务,并基于所述分要素任务的执行情况更新所述分要素任务所对应任务记录中的任务状态;在所述分要素任务的所述任务状态指示执行完成时,基于所述分要素任务所对应任务记录中的任务组信息,从所述任务记录集合中查找目标任务记录;所述目标任务记录指示的任务组包括所述目标任务组;若查找的所述目标任务记录的数量与所述目标任务组所包含的任务数量相一致,且每个所述目标任务记录中的任务状态均指示执行完成,则确定所述任务组信息所指示目标任务组的任务执行信息为第一任务执行信息;所述第一任务执行信息表征所述目标任务组中的每个任务均执行完成;
挖掘服务调用模块,用于在所述任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
11.一种地图数据处理系统,其特征在于,所述系统包括:
资料池服务,用于基于至少一个待处理图幅的地图资料,生成至少一个任务组中的分要素任务,所述至少一个任务组与所述至少一个待处理图幅一一对应,每个所述分要素任务对应至少一个所述任务组;向所述任务流转服务下发所述任务组中的分要素任务;每个所述分要素任务携带有任务组信息,所述任务组信息表征相应分要素任务在至少一个所述任务组中所属的目标任务组以及所述目标任务组所包含的任务数量,所述任务组信息包括所述目标任务组的组标识,所述组标识包括所述目标任务组所对应待处理图幅的图幅标识和图幅版本;
任务流转服务,用于基于下发的所述分要素任务的任务组信息,在任务记录集合中生成所述分要素任务对应的任务记录;所述任务记录用于记录所述分要素任务的任务组信息以及所述分要素任务的任务状态;执行下发的所述分要素任务,并基于所述分要素任务的执行情况更新所述分要素任务所对应任务记录中的任务状态;在所述分要素任务的所述任务状态指示执行完成时,基于所述分要素任务所对应任务记录中的任务组信息,从所述任务记录集合中查找目标任务记录;所述目标任务记录指示的任务组包括所述目标任务组;若查找的所述目标任务记录的数量与所述目标任务组所包含的任务数量相一致,且每个所述目标任务记录中的任务状态均指示执行完成,则确定所述任务组信息所指示目标任务组的任务执行信息为第一任务执行信息;所述第一任务执行信息表征所述目标任务组中的每个任务均执行完成;
所述任务流转服务,还用于在所述目标任务组的任务执行信息指示所述目标任务组中的每个任务均执行完成的情况下,调用地图数据挖掘服务对所述目标任务组对应的待处理图幅进行挖掘任务处理。
12.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有至少一条指令或者至少一段程序,所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现如权利要求1~9中任一项所述的地图数据处理方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令或者至少一段程序,所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如权利要求1~9任一项所述的地图数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310987806.3A CN116700939B (zh) | 2023-08-08 | 2023-08-08 | 地图数据处理方法、装置、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310987806.3A CN116700939B (zh) | 2023-08-08 | 2023-08-08 | 地图数据处理方法、装置、系统、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116700939A CN116700939A (zh) | 2023-09-05 |
CN116700939B true CN116700939B (zh) | 2024-03-15 |
Family
ID=87841941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310987806.3A Active CN116700939B (zh) | 2023-08-08 | 2023-08-08 | 地图数据处理方法、装置、系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116700939B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101694667A (zh) * | 2009-10-19 | 2010-04-14 | 东北电力大学 | 一种智能电网海量数据流的分布式数据挖掘方法 |
CN107977922A (zh) * | 2016-10-25 | 2018-05-01 | 杭州海康威视数字技术股份有限公司 | 一种图像分析方法、装置及系统 |
CN108536829A (zh) * | 2018-04-11 | 2018-09-14 | 中国中医科学院中药研究所 | 一种提高无人机航测数据生成瓦片地图效率的方法 |
WO2022048329A1 (zh) * | 2020-09-01 | 2022-03-10 | 北京达佳互联信息技术有限公司 | 菜单显示方法和装置 |
CN114528448A (zh) * | 2022-02-25 | 2022-05-24 | 南京苏维博欣信息技术有限公司 | 一种全球外贸客户客户画像精准分析系统 |
CN115451943A (zh) * | 2022-11-11 | 2022-12-09 | 阿里巴巴(中国)有限公司 | 电子地图处理、导航方法、装置、设备及存储介质 |
-
2023
- 2023-08-08 CN CN202310987806.3A patent/CN116700939B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101694667A (zh) * | 2009-10-19 | 2010-04-14 | 东北电力大学 | 一种智能电网海量数据流的分布式数据挖掘方法 |
CN107977922A (zh) * | 2016-10-25 | 2018-05-01 | 杭州海康威视数字技术股份有限公司 | 一种图像分析方法、装置及系统 |
CN108536829A (zh) * | 2018-04-11 | 2018-09-14 | 中国中医科学院中药研究所 | 一种提高无人机航测数据生成瓦片地图效率的方法 |
WO2022048329A1 (zh) * | 2020-09-01 | 2022-03-10 | 北京达佳互联信息技术有限公司 | 菜单显示方法和装置 |
CN114528448A (zh) * | 2022-02-25 | 2022-05-24 | 南京苏维博欣信息技术有限公司 | 一种全球外贸客户客户画像精准分析系统 |
CN115451943A (zh) * | 2022-11-11 | 2022-12-09 | 阿里巴巴(中国)有限公司 | 电子地图处理、导航方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116700939A (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10700947B2 (en) | Life cycle management method and device for network service | |
EP3274875B1 (en) | System and method for querying data sources | |
CN108121511B (zh) | 一种分布式边缘存储系统中的数据处理方法、装置及设备 | |
CN107992537B (zh) | 业务属性传递方法、装置、计算机设备及存储介质 | |
CN105049268A (zh) | 分布式计算资源分配系统和任务处理方法 | |
EP3373158B1 (en) | Data storage method and coordinator node | |
CN106598992A (zh) | 数据库的操作方法及装置 | |
CN111930770A (zh) | 数据查询方法、装置及电子设备 | |
EP3438847A1 (en) | Method and device for duplicating database in distributed system | |
CN112685175A (zh) | 一种服务拓扑图的构建方法、装置和计算机可读存储介质 | |
CN110362585B (zh) | 数据分析方法、装置,存储介质及电子设备 | |
CN116700939B (zh) | 地图数据处理方法、装置、系统、电子设备及存储介质 | |
CN114817190A (zh) | 日志同步的方法、装置、系统、设备及存储介质 | |
WO2016078326A1 (zh) | 一种虚拟机名称展示的方法、装置及系统 | |
CN112905306A (zh) | 多集群容器管理方法、装置、电子设备和存储介质 | |
CN106453213A (zh) | 一种系统间调用方法及装置 | |
CN106453592B (zh) | 异步调用处理方法、设备及分布式系统 | |
CN113448980A (zh) | 用于生成sql语句的方法及装置、电子设备 | |
CN107124293B (zh) | 一种分布式网络系统的协议管理方法及系统 | |
CN107463374B (zh) | 一种基于继承和关联自动推演的子集模型抽取方法及系统 | |
CN110399512B (zh) | 一种图谱存储管理方法及装置 | |
CN114884987B (zh) | 获取设备状态信息的方法、装置及存储介质 | |
CN111221847A (zh) | 监控数据存储方法、装置及计算机可读存储介质 | |
WO2024065778A1 (en) | Method, apparatus, device, and medium for building knowledge graph and executing workflow | |
CN107766233B (zh) | 测试认证的管理方法、智能终端和具有存储功能的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |