CN111367649B - 高精地图数据并行处理方法和装置 - Google Patents

高精地图数据并行处理方法和装置 Download PDF

Info

Publication number
CN111367649B
CN111367649B CN201811596666.2A CN201811596666A CN111367649B CN 111367649 B CN111367649 B CN 111367649B CN 201811596666 A CN201811596666 A CN 201811596666A CN 111367649 B CN111367649 B CN 111367649B
Authority
CN
China
Prior art keywords
data
picture
layer partition
starting
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811596666.2A
Other languages
English (en)
Other versions
CN111367649A (zh
Inventor
余洪涛
韦鸿鹰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN201811596666.2A priority Critical patent/CN111367649B/zh
Publication of CN111367649A publication Critical patent/CN111367649A/zh
Application granted granted Critical
Publication of CN111367649B publication Critical patent/CN111367649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种高精地图数据并行处理方法和装置。该方法包括：获取高精地图的图幅数据；对所述图幅数据进行分区处理，得到M个目标分区数据，其中，M大于等于1；将所述M个目标分区数据分配到M个处理节点进行并行处理。极大地提高了数据处理的效率。

Description

高精地图数据并行处理方法和装置
技术领域
本发明涉及电子地图技术领域，尤其涉及一种高精地图数据并行处理方法和装置。
背景技术
高精地图需要格式化存储交通场景中的各种交通要素，包括传统地图的道路网数据、车道网络数据、车道线以及交通标志等数据。高精地图的数据量极其庞大，如何提高高精地图数据处理效率是目前亟待解决的问题。
现有技术中，高精地图的所有数据都存储在关系数据库中，由单一服务器完成对全量数据的统一处理，单一服务器计算能力有限，如果采用单一服务器完成全部数据的处理无疑会造成业务处理效率低下。
发明内容
本发明提供一种高精地图数据并行处理方法和装置，用以提高数据处理效率。
第一方面，本发明提供一种高精地图数据并行处理方法，包括：
获取高精地图的图幅数据；
对所述图幅数据进行分区处理，得到M个目标分区数据，其中，M大于等于1；
将所述M个目标分区数据分配到M个处理节点进行并行处理。
第二方面，本发明提供一种高精地图数据并行处理装置，包括：
获取模块，用于获取高精地图的图幅数据；
处理模块，用于对所述图幅数据进行分区处理，得到M个目标分区数据，其中，M大于等于1；
调配模块，用于将所述M个目标分区数据分配到M个处理节点进行并行处理。
第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述高精地图数据并行处理方法。
第四方面，本发明提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来实现上述高精地图数据并行处理方法。
本发明提供的高精地图数据并行处理方法和装置，首先获取高精地图的图幅数据，然后对图幅数据进行分区处理，得到N个目标分区数据，最后将该N个目标分区数据分配到至少两个处理节点进行并行处理，极大地提高了数据处理的效率。
附图说明
图1为本发明提供的高精地图数据并行处理方法的应用场景图；
图2为本发明提供的高精地图数据并行处理方法的实施例一的流程示意图；
图3为本发明提供的图幅示意图；
图4为本发明提供的高精地图数据并行处理方法的实施例二的流程示意图；
图5为本发明提供的经过第一层分区处理得到的两个图幅集合的示意；
图6为本发明提供的高精地图数据并行处理方法的实施例三的流程示意图；
图7为本发明提供的扩展图幅示意图；
图8为本发明提供的分区计算流程图；
图9为本发明提供的高精地图数据并行处理装置的结构示意图；
图10为本发明提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
现有技术中，由单一服务器完成对全量数据的统一处理，单一服务器处理能力有限，如果采用单一服务器完成全部数据的处理无疑会造成业务处理效率低下。
基于上述技术问题，本发明提供一种高精地图数据并行处理方法，通过对高精地图的图幅数据进行分区处理，得到若干个分区数据，然后将该若干个分区数据调配在不同处理节点上进行并行处理，极大地提高了处理效率。
图1为本发明提供的高精地图数据并行处理方法的应用场景图，图1所述场景图中包含的模块有：数据库、数据分区模块、调度模块、计算资源以及结果库。
其中，数据库用于存储图幅数据，数据分区模块可从该数据库中获取该图幅数据，并对该图幅数据进行分区处理，以得到若干个分区数据。数据分区模块进一步将得到的若干个分区数据发送给调度模块，以使调度模块根据实际计算资源将若干个分区数据分发到不同的工作节点并行处理。不同工作节点得到对应的处理结果后，将各自的处理结果写入结果库。
可选的，数据分区模块可以集成在调度模块中，集成后的调度模块可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。下面的实施例以集成后的调度模块为执行主体对本发明提供的并行处理方法进行说明。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明提供的高精地图数据并行处理方法的实施例一的流程示意图。如图2所示，本实施例提供的高精地图数据并行处理方法，包括：
S201、获取高精地图的图幅数据。
具体的，图幅数据可以是图幅格网按导航数据标准(Navigation Data Standard，简称NDS)的13级格网进行划分形成的图幅数据，如图3所示，图3为本发明提供的高精地图按照上述划分方式形成的图幅示意图。
示例性的，图3中示意的图幅仅是对高精地图的一部分区域进行划分得到的图幅，该部分区域包含的图幅有8个，图幅编号依次为：20,169,175；20,169,858；20,169,859；20,169,173；20,169,856；20,169,857；20,169,087；20,169,770；20,169,771。
S202、对所述图幅数据进行分区处理，得到M个目标分区数据。其中，M大于等于1。
一种可实现的方式中，可根据图幅数据的邻接关系，对图幅数据进行分区处理，将得到的M个分区数据直接作为M个目标分区数据。
另一种可实现的方式中，先根据图幅数据的邻接关系，对图幅数据进行第一层分区处理，得到N个第一层分区数据；然后对该N个第一层分区数据进行第二层分区处理，将得到的M个第二层分区数据作为N个目标分区数据，其中，M大于等于N。
下面对上述第二种可实现方式进行举例说明：
假设在S201获取到图幅数据后，根据图幅数据的邻接关系对图幅数据进行第一层分区处理得到了1000个第一层分区数据，然后，对这1000个第一层分区数据中的每个第一层分区数据再进行第二层分区处理，得到每个第一层分区数据对应的Mi个目标分区数据，Mi大于等于1，所有第一层分区数据对应的目标分区数据便构成了M＝(M1+M2+…Mi…+M1000)个目标分区数据。
S203、将所述N个目标分区数据分配到M个处理节点进行并行处理。
可选的，上述处理节点可以为服务器或者其他具备计算能力的处理设备。由于本实施例中采用多个处理节点对M个目标分区数据并行处理，加快了数据处理速度，提高了数据处理效率。
本实施例提供的高精地图数据并行处理方法，首先获取高精地图的图幅数据，然后对图幅数据进行分区处理，得到M个目标分区数据，最后将该M个目标分区数据分配到M个处理节点进行并行处理，极大地提高了数据处理的效率。
下面结合具体的实施例对上述实施例S202中：根据图幅数据的邻接关系，对图幅数据进行第一层分区处理，得到N个第一层分区数据的可实现方式进行详细的描述。
图4为本发明提供的高精地图数据并行处理方法的实施例二的流程示意图。如图4所示，本实施例提供的高精地图数据并行处理方法，包括：
S401、获取高精地图的图幅数据。
其中，S401的实现方式可参见上述实施例S201，本发明在此不再赘述。
S402、从所述图幅数据中确定第一起始图幅。
其中，可采用随机的方式从图幅数据中选取一个图幅作为第一起始图幅。
S403、根据所述第一起始图幅，确定所述第一起始图幅的周边图幅。
其中，第一起始图幅的周边图幅指的是：与第一起始图幅具有邻接关系的图幅。参见图3所示，举例来说，选取编号为20,169,858的图幅作为第一起始图幅，其周围编号为20,169,175；20,169,856；20,169,859；20,169,173；20,169,857的图幅均与其有邻接关系，则编号为20,169,175；20,169,856；20,169,859；20,169,173；20,169,857的图幅均为编号为20,169,858的图幅的周边图幅。
S404、判断所述第一起始图幅的周边图幅在所述图幅数据中是否存在。
S405、若存在，则将所述第一起始图幅的周边图幅编号和所述第一起始图幅编号添加至第一层分区列表，并以所述第一起始图幅的周边图幅作为新的第一起始图幅，重复S403-S405的步骤，直至所述图幅数据中找不到周边图幅为止。
下面继续以S403中的例子对S404-S405的过程进行说明：
编号为20,169,858的图幅为第一起始图幅，其周边图幅为20,169,175；20,169,856；20,169,859；20,169,173；20,169,857。
针对编号为20,169,175的图幅，假设经过比对，该图幅在S401中的图幅数据中是存在的，则将该编号为20,169,175的图幅编号添加至第一层分区列表中。
针对编号为20,169,856的图幅，假设经过比对，该图幅在S401中的图幅数据中不存在，则将该编号为20,169,856的图幅舍弃。
针对编号20,169,859、20,169,173和20,169,857的图幅，假设经过比对，这三个图幅和编号为20,169,175的图幅情况一致，则将编号为20,169,859、20,169,173和20,169,857的图幅编号添加至第一层分区列表中。
经过上述处理，第一层分区列表中包含的图幅数据有：编号为20,169,175、20,169,858、20,169,859、20,169,173和20,169,857的图幅。
进一步的，继续以第一层分区列表中除第一起始图幅20,169,858以外的其他图幅为新的第一起始图重复上述S403-S405的步骤，直至所述图幅数据中找不到周边图幅为止。
S406、根据所述第一层分区列表，确定对应的N个第一层分区数据。
具体的，上述S403-S405的循环结束后，便可得到一个第一层分区列表，该第一层分区列表所包含的图幅编号所对应的图幅数据即为对应的第一层分区数据。这时如果S401的图幅数据中还有剩余的图幅，则对剩余的图幅进行S403-S406同样的处理，从而得到N个第一层分区数据，直到图幅数据没有剩余的图幅为止。
通过上述第一层分区处理后，每个第一层分区数据都对应一个空间连续的图幅集合，上述得到的N个第一层分区数据表现为1到N个相互间无联通关系的数据孤岛。图5为经过第一层分区处理得到的两个图幅集合的示意图，其中内圈和外圈各代表一个图幅集合，内圈图幅和外圈图幅相互不相邻。
S407、对所述N个第一层分区数据进行第二层分区处理，得到所述M个目标分区数据。
其中，第二层分区处理的可实现方式为：根据平衡二叉树算法和预设图幅数，对所述N个第一层分区数据进行第二层分区处理，得到所述M个目标分区数据，所述M个目标分区数据中每个目标分区数据包含的图幅数量小于或者等于所述预设图幅数。
S408、将所述M个目标分区数据分配到M个处理节点进行并行处理。
其中，S408的实现方式可参见上述实施例中的S203，本发明在此不再赘述。
本实施例提供的高精地图数据并行处理方法，描述了根据图幅数据的邻接关系，对图幅数据进行第一层分区处理，得到N个第一层分区数据的可实现方式，通过该方式可将图幅数据进行分区，为后续并行处理提供了任务划分依据。
下面结合具体的实施例对上述实施例S407中：根据平衡二叉树算法和预设图幅数，对所述N个第一层分区数据进行第二层分区处理，得到所述M个目标分区数据的可实现方式进行详细的描述。
图6为本发明提供的高精地图数据并行处理方法的实施例三的流程示意图。如图6所示，本实施例提供的高精地图数据并行处理方法，包括：
S601、获取高精地图的图幅数据。
S602、从所述图幅数据中确定第一起始图幅。
S603、根据所述第一起始图幅，确定所述第一起始图幅的周边图幅。
S604、判断所述第一起始图幅的周边图幅在所述图幅数据中是否存。
S605、若存在，则将所述第一起始图幅的周边图幅编号和所述第一起始图幅编号添加至第一层分区列表，并以所述第一起始图幅的周边图幅作为新的第一起始图幅，重复S603-S605的步骤，直至所述图幅数据中找不到周边图幅为止。
S606、根据所述第一层分区列表，确定对应的N个第一层分区数据。
其中，上述S601-S606的实现方式可参见上述实施例，本发明对此不再赘述。
具体的，第一层分区数据所包含的图幅为空间连续的图幅集合。针对每个第一层分区数据来说，其所包含的图幅数量都是非常巨大的，为了将每个第一层分区数据包含的图幅数量进行压缩，可采用下面的方式对每个第一层分区数据进行第二次分区处理。
下面对上述得到的N个第一层分区数据中任一个第一层分区数据的第二分区处理过程进行描述：
S607、从第一层分区数据中确定第二起始图幅。
S608、根据所述第二起始图幅，采用所述平衡二叉树算法确定所述第二起始图幅的周边图幅。
其中，参见上文的描述，第二起始图幅的周边图幅为：与第二起始附图具有邻接关系的图幅。
本实施例中采用平衡二叉树算法确定第二起始图幅的周边图幅可以防止本实施例后续生成的第二层分区列表分裂严重。
S609、判断所述第二起始图幅的周边图幅在所述第一层分区数据中是否存在。
S6010、若存在，则将所述第二起始图幅的周边图幅编号和所述第二起始图幅编号添加至第二层分区列表，并以所述第二起始图幅的周边图幅作为新的第二起始图幅，重复S608-S6010的步骤，直至所述第二层分区列表中包含的图幅数量达到预设图幅数量为止。
需要说明的是：S6010中判断结果为存在的情况下，还需要将第二起始图幅编号，以及第二起始图幅的周边图幅编号从S607中的第一层分区列表中删除，以免根据第一分区列表进行第二层分区处理时，有些图幅会重复被分到两个甚至多个第二层分区列表中。
其中，第二层分区列表的生成方式和上述实施例中第一层分区列表的生成方式类似，不同点在于，第一层分区列表对图幅的数量没有限制，而本实施例在第二层分区列表的生成过程中，当第二层分区列表中包含的图幅数达到预设图幅数量时，便中止向第二层分区列表中添加图幅。
可选的，可根据实际计算资源来设定上述预设图幅数量的大小，使得第二层分区列表中包含的图幅数和计算资源是匹配的，从而可提高计算资源的处理效率。
S6011、根据所述第二层分区列表，确定对应的M个目标分区数据。
具体的，上述S608-S6010执行结束后，便可得到一个第二层分区列表，这时如果S607中第一层分区数据中还有剩余的图幅，则对剩余的图幅进行S608-S6010同样的处理，从而将S607中的第一层分区数据包含的图幅划分至一定数量的第二层分区列表中，该一定数量的第二层分区列表所包含的图幅编号所对应的图幅数据即为：S607中第一层分区数据进行第二次分区处理后得到的一定数量的目标分区数据。采用同样的方法对所有第一层分区数据进行处理便可得到M个目标分区数据。
可选的，在得到第二层分区列表后，可对第二层分区列表中的最外围图幅进行扩展处理，得到外围缓冲区，该外围缓冲区和第二层分区列表共同构成对应目标分区数据。相应的，将M个目标分区数据分配到M个处理节点后，各处理节点以目标分区数据中的外围缓冲区作为参考对第二层分区列表中的图幅进行处理，提高了处理结果的准确度。
参见图7所示，由白色填充的网格代表上述生成的第二层分区列表里面的图幅。由灰色填充的图幅代表由第二层分区列表里面的图幅扩展出来的图幅。由于高精地图数据记录的是现实中道路和地表要素的空间位置关系，由于数据量巨大为了便于生产与作业，我们人为的将一些关联的要素进行切分和分层，这样就造成任何一个独立的图幅都不能完整的表达它当前的拓扑关系，它总有部分信息是要参考它邻接的图幅才能表达完整。因此，上述对所述第二层分区列表进行扩展处理得到的扩展图幅可以让实际处理的图幅空间属性保证完整。
上述第一次分区处理和第二次分区处理的原理可以用图8表示，图8为本发明提供的分区计算流程图。如图8所示，在获取到图幅数据后，根据图幅的邻接关系，将图幅数据分成1至N个第一层分区数据，然后针对N个第一层分区数据中的每个第一层分区数据进行第二层分区处理，得到第二层分区列表，对该第二层分区列表中的图幅进行扩展处理，进而得到M个目标分区数据。
S6012、将所述M个目标分区数据分配到M个处理节点进行并行处理。
其中，S6012的可实现方式参见上述实施例，本发明在此不再赘述。
本实施例提供的高精地图数据并行处理方法，描述了根据平衡二叉树算法和预设图幅数，对所述N个第一层分区数据进行第二层分区处理的可实现方式，由此得到的目标分区数据包含的图幅数有限，提高了并行处理效率。而且在确定第二起始图幅的周边图幅的过程中采用平衡二叉树算法和缓冲区的做法可以有效防止第二层分区数据的分裂严重。
图9为本发明提供的高精地图数据并行处理装置的结构示意图，该装置可以为图1中调度模块和数据分区模块集成后对应的实体装置，如图9所示，本实施例提供的高精地图数据并行处理装置，包括：
获取模块901，用于获取高精地图的图幅数据；
处理模块902，用于对所述图幅数据进行分区处理，得到M个目标分区数据，其中，M大于等于1；
调配模块903，用于将所述M个目标分区数据分配到M个处理节点进行并行处理。
可选的，所述处理模块902，具体用于：
根据所述图幅数据的邻接关系，对所述图幅数据进行第一层分区处理，得到N个第一层分区数据；
对所述N个第一层分区数据进行第二层分区处理，得到所述M个目标分区数据，其中，M大于等于N。
可选的，所述处理模块902，具体用于：
步骤A、从所述图幅数据中确定第一起始图幅；
步骤B、根据所述第一起始图幅，确定所述第一起始图幅的周边图幅；
步骤C、判断所述第一起始图幅的周边图幅在所述图幅数据中是否存在；
步骤D、若存在，则将所述第一起始图幅的周边图幅编号和所述第一起始图幅编号添加至第一层分区列表，并以所述第一起始图幅的周边图幅作为新的第一起始图幅，重复步骤A-步骤D的步骤，直至所述图幅数据中找不到周边图幅为止；
步骤E、根据所述第一层分区列表，确定对应的N个第一层分区数据。
可选的，所述处理模块902，具体用于：
根据平衡二叉树算法和预设图幅数，对所述N个第一层分区数据进行第二层分区处理，得到所述M个目标分区数据，所述M个目标分区数据中每个目标分区数据包含的图幅数量小于或者等于所述预设图幅数。
可选的，所述处理模块902，具体用于：
步骤A、从第一层分区数据中确定第二起始图幅，所述第一层分区数据为所述N个第一层分区数据中任一个；
步骤B、根据所述第二起始图幅，采用所述平衡二叉树算法确定所述第二起始图幅的周边图幅；
步骤C、判断所述第二起始图幅的周边图幅在所述第一层分区数据中是否存在；
步骤D、若存在，则将所述第二起始图幅的周边图幅编号和所述第二起始图幅编号添加至第二层分区列表，并以所述第二起始图幅的周边图幅作为新的第二起始图幅，重复步骤A-步骤D的步骤，直至所述第二层分区列表中包含的图幅数量达到预设图幅数量为止；
步骤E、根据所述第二层分区列表，确定对应的M个目标分区数据。
可选的，所述处理模块902，具体用于：
根据所述第一层分区数据，对所述第二层分区列表中的最外围图幅进行扩展处理，得到外围缓冲区；
根据所述第二层分区列表和所述外围缓冲区，确定对应的M个目标分区数据。
可选的，所述处理模块902，还用于：
若所述第一层分区数据中存在所述第二起始图幅的周边图幅，则将所述第二起始图幅的周边图幅编号和所述第二起始图幅编号从所述第一层分区列表删除。
本实施例提供的高精地图数据并行处理装置，可用于上述任一方法实施例中的步骤，其实现原理和技术效果类似，在此不再赘述。
图10为本发明提供的电子设备的硬件结构示意图。如图10所示，本实施例的电子设备可以包括：
存储器1001，用于存储程序指令。
处理器1002，用于在所述程序指令被执行时实现上述任一实施例描述的高精地图数据并行处理方法，具体实现原理可参见上述实施例，本实施例此处不再赘述。
本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例描述的高精地图数据并行处理方法。
本发明还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备实施上述任一实施例描述的高精地图数据并行处理方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述网络设备或者终端设备的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种高精地图数据并行处理方法，其特征在于，包括：
获取高精地图的图幅数据；
对所述图幅数据进行分区处理，得到M个目标分区数据，其中，M大于等于1；
将所述M个目标分区数据分配到M个处理节点进行并行处理；
所述对所述图幅数据进行分区处理，得到M个目标分区数据，包括：
根据所述图幅数据的邻接关系，对所述图幅数据进行第一层分区处理，得到N个第一层分区数据；
对所述N个第一层分区数据进行第二层分区处理，得到所述M个目标分区数据，其中，M大于等于N；
所述根据所述图幅数据的邻接关系，对所述图幅数据进行第一层分区处理，得到N个第一层分区数据，包括：
从所述图幅数据中确定第一起始图幅；
根据所述第一起始图幅，确定所述第一起始图幅的周边图幅；
判断所述第一起始图幅的周边图幅在所述图幅数据中是否存在；
若存在，则将所述第一起始图幅的周边图幅编号和所述第一起始图幅编号添加至第一层分区列表，并以所述第一起始图幅的周边图幅作为新的第一起始图幅，直至所述图幅数据中找不到周边图幅为止；
根据所述第一层分区列表，确定对应的N个第一层分区数据。
2.根据权利要求1所述的方法，其特征在于，所述对所述N个第一层分区数据进行第二层分区处理，得到所述M个目标分区数据，包括：
根据平衡二叉树算法和预设图幅数，对所述N个第一层分区数据进行第二层分区处理，得到所述M个目标分区数据，所述M个目标分区数据中每个目标分区数据包含的图幅数量小于或者等于所述预设图幅数。
3.根据权利要求2所述的方法，其特征在于，所述根据平衡二叉树算法和预设图幅数，对所述N个第一层分区数据进行第二层分区处理，包括：
从第一层分区数据中确定第二起始图幅；
根据所述第二起始图幅，采用所述平衡二叉树算法确定所述第二起始图幅的周边图幅；
判断所述第二起始图幅的周边图幅在所述第一层分区数据中是否存在；
若存在，则将所述第二起始图幅的周边图幅编号和所述第二起始图幅编号添加至第二层分区列表，并以所述第二起始图幅的周边图幅作为新的第二起始图幅，直至所述第二层分区列表中包含的图幅数量达到预设图幅数量为止；
根据所述第二层分区列表，确定对应的M个目标分区数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第二层分区列表，确定对应的M个目标分区数据，包括：
根据所述第一层分区数据，对所述第二层分区列表中的最外围图幅进行扩展处理，得到外围缓冲区；
根据所述第二层分区列表和所述外围缓冲区，确定对应的M个目标分区数据。
5.根据权利要求3所述的方法，其特征在于，还包括：
若所述第一层分区数据中存在所述第二起始图幅的周边图幅，则将所述第二起始图幅的周边图幅编号和所述第二起始图幅编号从所述第一层分区列表删除。
6.高精地图数据并行处理装置，其特征在于，包括：
获取模块，用于获取高精地图的图幅数据；
处理模块，用于对所述图幅数据进行分区处理，得到M个目标分区数据，其中，M大于等于1；
调配模块，用于将所述M个目标分区数据分配到M个处理节点进行并行处理；
所述处理模块，具体用于根据所述图幅数据的邻接关系，对所述图幅数据进行第一层分区处理，得到N个第一层分区数据；
对所述N个第一层分区数据进行第二层分区处理，得到所述M个目标分区数据，其中，M大于等于N；
所述处理模块，具体用于从所述图幅数据中确定第一起始图幅；
根据所述第一起始图幅，确定所述第一起始图幅的周边图幅；
判断所述第一起始图幅的周边图幅在所述图幅数据中是否存在；
若存在，则将所述第一起始图幅的周边图幅编号和所述第一起始图幅编号添加至第一层分区列表，并以所述第一起始图幅的周边图幅作为新的第一起始图幅，直至所述图幅数据中找不到周边图幅为止；
根据所述第一层分区列表，确定对应的N个第一层分区数据。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法。
8.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来实现权利要求1-5任一项所述的方法。
CN201811596666.2A 2018-12-26 2018-12-26 高精地图数据并行处理方法和装置 Active CN111367649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811596666.2A CN111367649B (zh) 2018-12-26 2018-12-26 高精地图数据并行处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811596666.2A CN111367649B (zh) 2018-12-26 2018-12-26 高精地图数据并行处理方法和装置

Publications (2)

Publication Number Publication Date
CN111367649A CN111367649A (zh) 2020-07-03
CN111367649B true CN111367649B (zh) 2024-03-01

Family

ID=71206074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811596666.2A Active CN111367649B (zh) 2018-12-26 2018-12-26 高精地图数据并行处理方法和装置

Country Status (1)

Country Link
CN (1) CN111367649B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918666A (zh) * 2020-07-09 2022-01-11 北京四维图新科技股份有限公司 地图数据的处理方法、装置、系统及存储介质
CN112269840B (zh) * 2020-11-27 2024-06-07 阿拉拇 一种基于分布式计算的区块链大数据处理方法
CN112685530B (zh) * 2021-01-08 2022-04-05 腾讯科技（深圳）有限公司 确定电子地图中孤立道路的方法、相关设备及存储介质
CN112883136B (zh) * 2021-02-19 2022-06-10 北京三快在线科技有限公司 一种用于制作高精地图的任务生成的方法
CN114880423B (zh) * 2022-07-08 2022-09-30 高德软件有限公司 高精资料数据的切分方法、装置、设备及产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1959429A (zh) * 2006-10-16 2007-05-09 同济大学 分布式地图匹配方法以及系统
CN101319912A (zh) * 2008-07-03 2008-12-10 凯立德欣技术（深圳）有限公司 导航系统的客户端、服务端、及其进行地图更新的方法
CN102252685A (zh) * 2010-05-21 2011-11-23 科菱航睿空间信息技术有限公司 导航电子地图数据处理方法及基于该处理方法的存储方法
CN102298873A (zh) * 2010-06-24 2011-12-28 科菱航睿空间信息技术有限公司 导航电子地图数据存储方法及基于该存储方法的显示方法
CN103455624A (zh) * 2013-09-16 2013-12-18 湖北文理学院 一种轻量级全球多维遥感影像网络地图服务实现方法
CN103714184A (zh) * 2014-01-13 2014-04-09 许昌学院 一种遥感影像快速并行处理方法及装置
CN103914334A (zh) * 2012-12-31 2014-07-09 北京百度网讯科技有限公司 地图的标注方法和系统
CN106960029A (zh) * 2017-03-21 2017-07-18 刘博宇 一种提取跨图幅地理范围分幅栅格数据的方法
CN108965361A (zh) * 2017-05-19 2018-12-07 腾讯科技（深圳）有限公司 一种电子地图的图幅数据处理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1959429A (zh) * 2006-10-16 2007-05-09 同济大学 分布式地图匹配方法以及系统
CN101319912A (zh) * 2008-07-03 2008-12-10 凯立德欣技术（深圳）有限公司 导航系统的客户端、服务端、及其进行地图更新的方法
CN102252685A (zh) * 2010-05-21 2011-11-23 科菱航睿空间信息技术有限公司 导航电子地图数据处理方法及基于该处理方法的存储方法
CN102298873A (zh) * 2010-06-24 2011-12-28 科菱航睿空间信息技术有限公司 导航电子地图数据存储方法及基于该存储方法的显示方法
CN103914334A (zh) * 2012-12-31 2014-07-09 北京百度网讯科技有限公司 地图的标注方法和系统
CN103455624A (zh) * 2013-09-16 2013-12-18 湖北文理学院 一种轻量级全球多维遥感影像网络地图服务实现方法
CN103714184A (zh) * 2014-01-13 2014-04-09 许昌学院 一种遥感影像快速并行处理方法及装置
CN106960029A (zh) * 2017-03-21 2017-07-18 刘博宇 一种提取跨图幅地理范围分幅栅格数据的方法
CN108965361A (zh) * 2017-05-19 2018-12-07 腾讯科技（深圳）有限公司 一种电子地图的图幅数据处理方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Design and Implementation of Dynamic Update System for Geographical Names and Addresses;Yang Liu et al.;《ISPRS International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences》;第379-381页 *
多尺度空间数据索引方法研究;赵芳芳等;《测绘工程》;第17卷(第2期);正文第28页 *
李瀚等.面向矢量瓦片的海量空间数据并行处理技术.《计算机与现代化》.2018,(第277期), *
网格环境下缓冲区分析的并行计算;姚艺强等;《地理空间信息》;第5卷(第1期);第100-101页 *
面向矢量瓦片的海量空间数据并行处理技术;李瀚等;《计算机与现代化》(第277期);第33页1.2节 *

Also Published As

Publication number Publication date
CN111367649A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111367649B (zh) 高精地图数据并行处理方法和装置
CN107832407B (zh) 用于生成知识图谱的信息处理方法、装置和可读存储介质
CN109408590B (zh) 分布式数据库的扩容方法、装置、设备及存储介质
WO2021232278A1 (zh) 地图获取方法、装置、计算机设备和存储介质
US11860846B2 (en) Methods, systems and apparatus to improve spatial-temporal data management
EP3079077A1 (en) Graph data query method and device
US11486714B2 (en) Matching algorithm for data with different scales based on global road network features
CN111258978A (zh) 一种数据存储的方法
CN111090712A (zh) 一种数据处理方法、装置、设备及计算机存储介质
CN112559165A (zh) 内存管理方法、装置、电子设备及计算机可读存储介质
CN107391033B (zh) 数据迁移方法及装置、计算设备、计算机存储介质
CN109684425A (zh) 保单用户地址匹配方法及装置
CN116681857A (zh) 一种空间碰撞检测方法、装置及电子设备
US9135749B2 (en) Method and apparatus for processing three-dimensional model data
CN114020750A (zh) 一种基于分布式存储的海量数据读写系统与方法
CN116595025B (zh) 矢量瓦片的动态更新方法、终端和介质
WO2021027745A1 (zh) 一种图重构方法及装置
US12061784B2 (en) Generating aggregate data geospatial grid cells for encoding in vector tiles
CN111475277A (zh) 一种资源分配方法、系统、设备及机器可读存储介质
CN112883239B (zh) 一种资源分配方法、装置、计算机设备及存储介质
CN114596420A (zh) 一种应用于城市大脑的激光点云建模方法和系统
CN113051264B (zh) 数据存储及查询方法、装置、电子设备及存储介质
CN112489177A (zh) 一种点云数据渲染展示方法及系统
CN111870954A (zh) 一种高度图生成方法、装置、设备及存储介质
CN117011352B (zh) 标准脑图谱构建方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant