CN111639342A - 一种地图瓦片数据空白漏洞快速检测及修复方法 - Google Patents
一种地图瓦片数据空白漏洞快速检测及修复方法 Download PDFInfo
- Publication number
- CN111639342A CN111639342A CN202010458736.9A CN202010458736A CN111639342A CN 111639342 A CN111639342 A CN 111639342A CN 202010458736 A CN202010458736 A CN 202010458736A CN 111639342 A CN111639342 A CN 111639342A
- Authority
- CN
- China
- Prior art keywords
- tile
- data
- tile data
- blank
- slicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
- G06F21/577—Assessing vulnerabilities and evaluating computer system security
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种地图瓦片数据空白漏洞快速检测及修复方法。将待检测瓦片大小与预设阈值比较,若较小,则认为瓦片可能有问题,根据该瓦片的行列号,计算瓦片坐标范围,通过WMS服务请求切片服务器对应坐标范围数据,若新瓦片数据比原始瓦片数据大,说明确实存在切片空白漏洞问题,若设置自动更新功能,则将新获取的瓦片数据替换原来的瓦片数据,替换保存相应数据,若未设置自动更新功能或若新瓦片数据与原始瓦片数据一致或更小,则根据瓦片编号,调取瓦片数据及其周边九宫格的瓦片数据与对应切片服务器的数据进行比较,若确认是切片问题,进行更新,记录更新日志,若是瓦片数据本身有问题,修正数据后再进行更新;而后进行人工核查。
Description
技术领域
本发明属于地图瓦片更新技术领域,具体涉及一种地图瓦片数据空白漏洞快速检测及修复方法。
背景技术
地图瓦片,是一种改善地图浏览用户体验的优化策略。目前流行的在线地图服务,例如天地图、百度地图等,对地图浏览速度和并发性要求都比较高,均采用使用地图瓦片技术的方式满足快速访问地图的需求。地图瓦片是包含了一系列比例尺、一定地图范围内的地图切片文件。地图瓦片按照金字塔结构组织,每张瓦片都可通过级别、行列号唯一标记。在平移、缩放地图时,浏览器根据金字塔规则,计算出所需的瓦片,从瓦片服务器获取并拼接。
随着测绘技术的发展,地图数据的体量越来越大,更新越来越频繁,一般情况下,地图生成地图瓦片少则需要几天,多则一个月乃至更长时间,地图切图任务完成后,对瓦片数据进行结果检测,是必不可少的步骤,经常会发现有空白图漏洞出现,这严重影响了地图的完整性,而为了文件管理方便,一般都采用紧凑型缓存方式,将128*128张图片打包到一个文件中,要检查出空白图、纯色图片,人工的检查是无法有效检测并修复的。
地图切片出现空白漏洞,一般由以下几个方面引起:
1、使用了数据库的数据源,数据库服务器不稳定,或数据库软件负荷重,或网络不稳定,会造成切片空白;
2、ArcGIS Server发布了过多的地图服务,导致服务延时严重。一般来说ArcGISServer对应的地图实例数为一个核对应两个实例,如果服务数量太多,就会出现问题;
3、切图服务器在切图过程中受到干扰太多,如文件读写、CPU运算、内存占用等;
4、数据存在问题,这些问题一般存在线和面的数据中,如八字形环状数据、非闭合的环等。
以上因素可以通过配置,数据几何检查修复等一些设置尽量减少空白漏洞的发生,但无法完全避免空白漏洞的发生,因此需要通过其他方法对已经切图完成的数据进行检测、修复。
发明内容
本发明的目的在于提供一种地图瓦片数据空白漏洞快速检测及修复方法,能够提升地图瓦片数据检测的效率,且能够快速定位数据问题,并提供自动进行修复数据及人工审核,发现具体数据问题修改后再修复瓦片功能,大大提高工作效率,确保瓦片数据的完整性。
为实现上述目的,本发明的技术方案是:一种地图瓦片数据空白漏洞快速检测及修复方法,包括如下步骤:
步骤S1、将待测瓦片数据中每一瓦片的大小与设定的空白图片、纯色图片的阀值进行比较,若瓦片大小比阀值小,则认为瓦片可能有问题,执行步骤S2;
步骤S2、根据判断可能有问题的瓦片的行列号,计算瓦片坐标范围,通过WMS服务请求切片服务器对应坐标范围数据,执行步骤S3;
瓦片坐标计算公式:
Y = 原点Y -(128 * (行号 / 128)) * (精度 * 图片垂直大小)
X = (128 * (列号 / 128)) * (精度 * 图片水平大小) + 原点X
其中,切图原点为左上角;
步骤S3、若切片服务器获得的新瓦片数据比原始瓦片数据大,说明确实存在切片空白漏洞问题,若设置自动更新功能,则执行步骤S4,若未设置自动更新功能,则记录位置,执行步骤S5;若切片服务器获得的新瓦片数据与原始瓦片数据一致或更小,则执行步骤S5;
步骤S4、将新获取的瓦片数据替换原始瓦片数据,写入瓦片文件包中,同时调整新获取的瓦片数据索引文件对应瓦片的偏移量及该索引文件中在其之后所有瓦片的偏移量,然后记录更新日志,同时保存变更前后的瓦片数据,以便需要人工进行核查时可以进行核对;
步骤S5、根据瓦片编号,调取瓦片数据及其周边九宫格的瓦片数据与对应切片服务器的数据进行比较,若确认是切片空白漏洞问题,进行更新,记录更新日志;若是瓦片数据本身有问题,修正数据后再进行更新;更新后的瓦片数据,通过人工核查,进行查看再确认。
在本发明一实施例中,步骤S1之前,还包括一步骤,即:选择待检测瓦片数据,读取瓦片切片参数,而后通过瓦片切片参数中的比例尺搜索瓦片路径,遍历所有瓦片索引文件,根据瓦片索引文件遍历所有瓦片的大小。
在本发明一实施例中,对于ArcGIS,其瓦片数据包含bundlx索引文件和bundle图片文件,bundlx图片文件中索引的只包括瓦片数据的偏移量,由5个字节表示,而bundle图片文件中每个瓦片数据的前4个字节是以低位到高位的方式标示后续这个切片数据的长度,因此可通过bundlx索引文件首先找到bundle图片文件中切片内容的偏移,然后从bundle图片文件中取出4个字节的长度数据,随后根据这个长度数据读取真实的切片数据。
在本发明一实施例中,所述瓦片切片参数,包括切图原点、每英寸像素点、图片格式、分块大小、比例尺、精度、提供瓦片缓存的服务地址。
相较于现有技术,本发明具有以下有益效果:
1、检测速度快:地图瓦片生成缓存过程,由于数据问题、数据源、切图服务器的IO、CPU、内存等因素的干扰,无法避免的可能会出现瓦片空白漏洞,所以切图完成,对瓦片进行结果检查,是必不可少的步骤,传统的人工检查效率低下且无法有效完整的进行检测,本发明提供遍历切片数据索引文件,提取每个瓦片数据的大小,与设定的空白图片文件的阀值进行比较,快速的定位出可能存在问题的瓦片数据。支持同时开启多个任务进行瓦片结果检测,提升地图瓦片数据检测的效率;
2、提供自动修复及人工审核修复功能:传统的瓦片数据,如果发现数据存在空白漏洞或纯色瓦片数据问题,需要进行数据的补切或全部重切,需要花费大量的人力及时间,效率低且无法确保新的数据没有问题,本方法能快速定位数据问题,并提供自动进行修复数据及人工审核,发现具体数据问题修改后再修复瓦片功能,大大提高工作效率,确保瓦片数据的完整性。
附图说明
图1为本发明地图瓦片数据空白漏洞快速检测及修复方法流程图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明提供了一种地图瓦片数据空白漏洞快速检测及修复方法,包括如下步骤:
步骤S1、将待测瓦片数据中每一瓦片的大小与设定的空白图片、纯色图片的阀值进行比较,若瓦片大小比阀值小,则认为瓦片可能有问题,执行步骤S2;
步骤S2、根据判断可能有问题的瓦片的行列号,计算瓦片坐标范围,通过WMS服务请求切片服务器对应坐标范围数据,执行步骤S3;
瓦片坐标计算公式:
Y = 原点Y -(128 * (行号 / 128)) * (精度 * 图片垂直大小)
X = (128 * (列号 / 128)) * (精度 * 图片水平大小) + 原点X
其中,切图原点为左上角;
步骤S3、若切片服务器获得的新瓦片数据比原始瓦片数据大,说明确实存在切片空白漏洞问题,若设置自动更新功能,则执行步骤S4,若未设置自动更新功能,则记录位置,执行步骤S5;若切片服务器获得的新瓦片数据与原始瓦片数据一致或更小,则执行步骤S5;
步骤S4、将新获取的瓦片数据替换原始瓦片数据,写入瓦片文件包中,同时调整新获取的瓦片数据索引文件对应瓦片的偏移量及该索引文件中在其之后所有瓦片的偏移量,然后记录更新日志,同时保存变更前后的瓦片数据,以便需要人工进行核查时可以进行核对;
步骤S5、根据瓦片编号,调取瓦片数据及其周边九宫格的瓦片数据与对应切片服务器的数据进行比较,若确认是切片空白漏洞问题,进行更新,记录更新日志;若是瓦片数据本身有问题,修正数据后再进行更新;更新后的瓦片数据,通过人工核查,进行查看再确认。
以下为本发明的具体实现过程。
如图1所示,本发明一种地图瓦片数据空白漏洞快速检测及修复方法,具体为一种地图瓦片数据空白漏洞、纯色瓦片数据快速检测及修复的方法,实现如下:
步骤S1、选择需要检测的瓦片数据,读取瓦片切片参数,包括切图原点、每英寸像素点、图片格式、分块大小、比例尺、精度、提供瓦片缓存的服务地址等。
步骤S2、按比例尺瓦片路径,遍历所有瓦片索引文件,根据瓦片索引文件遍历所有瓦片的大小。
ArcGIS的瓦片数据包含bundlx索引文件和bundle图片文件,bundlx文件中索引的只包括瓦片数据的偏移量,由5个字节表示,而bundle文件中每个瓦片数据的前4个字节是以低位到高位的方式标示了后续这个切片数据的长度,因此就可以通过bundlx首先找到bundle中切片内容的偏移,然后从bundle文件中取出4个字节的长度数据,再随后根据这个长度读取真实的切片数据。
步骤S3、根据提取每张瓦片的大小与设定的空白图片、纯色图片文件的阀值(不同瓦片切片参数,设置参数不同),判断瓦片是否可能有问题,如果比阀值小,进行步骤S4。
步骤S4、根据判断可能有问题的瓦片数据的行列号,计算瓦片坐标范围,通过WMS服务请求切片服务器对应坐标范围数据,进行步骤S5。
坐标计算公式(切图原点为左上角):
Y = 原点Y -(128 * (行号 / 128)) * (精度 * 图片垂直大小)
X = (128 * (列号 / 128)) * (精度 * 图片水平大小) + 原点X
步骤S5、如果获得的切片服务器新的数据比原始瓦片的数据大,说明确实存在切片空白漏洞问题,若设置了自动更新功能,则进行步骤S6自动更新,如果未设置自动更新,则记录位置,进行步骤S7;如果数据与瓦片数据一致或更小,则进行步骤S7。
步骤S6、需要自动更新数据时,将新获取的瓦片数据替换原来的瓦片数据,写入瓦片文件包中,同时还需要调整该瓦片数据索引文件对应瓦片的偏移量及该索引文件中在其之后所有瓦片的偏移量,然后记录更新日志,同时保存变更前后的瓦片数据,以便需要人工进行核查时可以进行核对。
步骤S7、对于需要进行人工核查的数据、未自动更新的数据,根据瓦片编号,调取该瓦片及其周边九宫格的瓦片数据以及对应切片服务器的数据进行比较,如果是确认是切片问题,可以进行更新,记录更新日志,如果是数据本身有问题,需要修正数据后再进行更新;对于已经进行自动更新瓦片数据,也同人工核查功能,可以进行查看再确认。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (4)
1.一种地图瓦片数据空白漏洞快速检测及修复方法,其特征在于,包括如下步骤:
步骤S1、将待测瓦片数据中每一瓦片的大小与设定的空白图片、纯色图片的阀值进行比较,若瓦片大小比阀值小,则认为瓦片可能有问题,执行步骤S2;
步骤S2、根据判断可能有问题的瓦片的行列号,计算瓦片坐标范围,通过WMS服务请求切片服务器对应坐标范围数据,执行步骤S3;
瓦片坐标计算公式:
Y = 原点Y -(128 * (行号 / 128)) * (精度 * 图片垂直大小)
X = (128 * (列号 / 128)) * (精度 * 图片水平大小) + 原点X
其中,切图原点为左上角;
步骤S3、若切片服务器获得的新瓦片数据比原始瓦片数据大,说明确实存在切片空白漏洞问题,若设置自动更新功能,则执行步骤S4,若未设置自动更新功能,则记录位置,执行步骤S5;若切片服务器获得的新瓦片数据与原始瓦片数据一致或更小,则执行步骤S5;
步骤S4、将新获取的瓦片数据替换原始瓦片数据,写入瓦片文件包中,同时调整新获取的瓦片数据索引文件对应瓦片的偏移量及该索引文件中在其之后所有瓦片的偏移量,然后记录更新日志,同时保存变更前后的瓦片数据,以便需要人工进行核查时可以进行核对;
步骤S5、根据瓦片编号,调取瓦片数据及其周边九宫格的瓦片数据与对应切片服务器的数据进行比较,若确认是切片空白漏洞问题,进行更新,记录更新日志;若是瓦片数据本身有问题,修正数据后再进行更新;更新后的瓦片数据,通过人工核查,进行查看再确认。
2.根据权利要求1所述的一种地图瓦片数据空白漏洞快速检测及修复方法,其特征在于,步骤S1之前,还包括一步骤,即:选择待检测瓦片数据,读取瓦片切片参数,而后通过瓦片切片参数中的比例尺搜索瓦片路径,遍历所有瓦片索引文件,根据瓦片索引文件遍历所有瓦片的大小。
3.根据权利要求2所述的一种地图瓦片数据空白漏洞快速检测及修复方法,其特征在于,对于ArcGIS,其瓦片数据包含bundlx索引文件和bundle图片文件,bundlx图片文件中索引的只包括瓦片数据的偏移量,由5个字节表示,而bundle图片文件中每个瓦片数据的前4个字节是以低位到高位的方式标示后续这个切片数据的长度,因此可通过bundlx索引文件首先找到bundle图片文件中切片内容的偏移,然后从bundle图片文件中取出4个字节的长度数据,随后根据这个长度数据读取真实的切片数据。
4.根据权利要求2所述的一种地图瓦片数据空白漏洞快速检测及修复方法,其特征在于,所述瓦片切片参数,包括切图原点、每英寸像素点、图片格式、分块大小、比例尺、精度、提供瓦片缓存的服务地址。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010458736.9A CN111639342B (zh) | 2020-05-27 | 2020-05-27 | 一种地图瓦片数据空白漏洞快速检测及修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010458736.9A CN111639342B (zh) | 2020-05-27 | 2020-05-27 | 一种地图瓦片数据空白漏洞快速检测及修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111639342A true CN111639342A (zh) | 2020-09-08 |
CN111639342B CN111639342B (zh) | 2022-07-08 |
Family
ID=72330983
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010458736.9A Active CN111639342B (zh) | 2020-05-27 | 2020-05-27 | 一种地图瓦片数据空白漏洞快速检测及修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111639342B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016116045A1 (zh) * | 2015-01-21 | 2016-07-28 | 高德软件有限公司 | 电子地图的数字地面模型数据生成方法和装置 |
CN107577705A (zh) * | 2017-07-28 | 2018-01-12 | 武汉市测绘研究院 | 一种dwg数据自动创建地图瓦片服务及服务局部更新方法 |
CN108052642A (zh) * | 2017-12-22 | 2018-05-18 | 重庆邮电大学 | 基于瓦片技术的电子海图显示方法 |
CN110838153A (zh) * | 2019-10-31 | 2020-02-25 | 河南省交通规划设计研究院股份有限公司 | 基于ArcGIS体系的现代内河电子航道图制作方法及应用 |
-
2020
- 2020-05-27 CN CN202010458736.9A patent/CN111639342B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016116045A1 (zh) * | 2015-01-21 | 2016-07-28 | 高德软件有限公司 | 电子地图的数字地面模型数据生成方法和装置 |
CN107577705A (zh) * | 2017-07-28 | 2018-01-12 | 武汉市测绘研究院 | 一种dwg数据自动创建地图瓦片服务及服务局部更新方法 |
CN108052642A (zh) * | 2017-12-22 | 2018-05-18 | 重庆邮电大学 | 基于瓦片技术的电子海图显示方法 |
CN110838153A (zh) * | 2019-10-31 | 2020-02-25 | 河南省交通规划设计研究院股份有限公司 | 基于ArcGIS体系的现代内河电子航道图制作方法及应用 |
Non-Patent Citations (1)
Title |
---|
余洁: ""遥感大数据存储管理方法及交互可视化实现研究"", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/DETAIL.ASPX?FILENAME=1018827242.NH&DBNAME=CMFD2019》 * |
Also Published As
Publication number | Publication date |
---|---|
CN111639342B (zh) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107239392B (zh) | 一种测试方法、装置、终端及存储介质 | |
CN107301214B (zh) | 在hive中数据迁移方法、装置及终端设备 | |
CN108388509B (zh) | 一种软件测试方法、计算机可读存储介质及终端设备 | |
CN110879780A (zh) | 页面异常检测方法、装置、电子设备及可读存储介质 | |
US20170091082A1 (en) | Test db data generation apparatus | |
CN113590432A (zh) | 数据库的巡检方法与装置 | |
CN108121648B (zh) | 一种界面错误监控方法 | |
CN111639342B (zh) | 一种地图瓦片数据空白漏洞快速检测及修复方法 | |
CN112153375B (zh) | 基于视频信息的前端性能测试方法、装置、设备及介质 | |
CN111127616B (zh) | 一种渲染校验方法及装置 | |
CN110704773A (zh) | 基于频繁行为序列模式的异常行为检测方法及系统 | |
CN110909085A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN107273293B (zh) | 大数据系统性能测试方法、装置及电子设备 | |
CN114331135A (zh) | 一种工艺流程管理方法、装置、设备及存储介质 | |
US20160232187A1 (en) | Dump analysis method, apparatus and non-transitory computer readable storage medium | |
CN106443732B (zh) | 一种基于gps的路径图绘制方法和系统 | |
CN112527757A (zh) | 基于大规模芯片测试结果的快速检索方法 | |
CN114124708B (zh) | 分光器的端口资源校准方法及装置 | |
CN115904980B (zh) | 软件架构腐蚀修复成本预估方法、装置、设备和存储介质 | |
CN116644703B (zh) | 一种位图文件的生成方法及装置 | |
CN110096555B (zh) | 一种分布式系统的表匹配处理方法及装置 | |
CN116737457B (zh) | 一种基于分布式存储的数据校验方法 | |
CN116991829A (zh) | 一种计算机网络工程数据筛选方法 | |
US20120310577A1 (en) | Electronic device and method for updating coordinate systems during editing of a measuremnt program | |
CN116450629A (zh) | 数据筛选方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 350000 No. 1, Gaoxin Avenue, high tech Zone, Fuzhou, Fujian Applicant after: Fuzhou Survey Institute Co.,Ltd. Address before: No. 188, Hudong Road, Gulou District, Gulou District, Fuzhou, Fujian 350003 Applicant before: Fu Zhoushikanceyuan |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |