CN111507080A - 数据质检方法、装置、电子设备及存储介质 - Google Patents
数据质检方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111507080A CN111507080A CN202010192534.4A CN202010192534A CN111507080A CN 111507080 A CN111507080 A CN 111507080A CN 202010192534 A CN202010192534 A CN 202010192534A CN 111507080 A CN111507080 A CN 111507080A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- compiled
- quality inspection
- compiling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000008859 change Effects 0.000 claims abstract description 26
- 238000012795 verification Methods 0.000 claims abstract description 22
- 238000010200 validation analysis Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000004807 localization Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 6
- 238000013502 data validation Methods 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 claims 1
- 101150117538 Set2 gene Proteins 0.000 description 21
- 101150055297 SET1 gene Proteins 0.000 description 13
- 101100042371 Caenorhabditis elegans set-3 gene Proteins 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 101150104646 SET4 gene Proteins 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000008689 wuhua Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了数据质检方法、装置、电子设备及存储介质，涉及数据处理领域，其中的方法可包括：获取待质检的第一导航交规数据；对第一导航交规数据进行编译，得到第一编译产出数据；对第一编译产出数据中的二进制数据进行解析，得到第一编译解析数据；根据第一编译产出数据及第一编译解析数据，从数据变化、编译校验及服务生效中的至少两个维度对第一导航交规数据进行质检。应用本申请所述方案，可提升质检结果的准确性等。
Description
技术领域
本申请涉及计算机应用技术，特别涉及数据处理领域的数据质检方法、装置、电子设备及存储介质。
背景技术
导航交规数据是指包含交规信息、道路阻断信息以及道路预上线信息等的数据文件。在导航路线规划中，需要准确避开限行、道路不可通行等情况的发生。在实际应用中，每天变化的导航交规数据可能有上万条，为保证导航的准确率与稳定性等，导航交规数据需要天级上线，相应地，则需要天级质检。
目前，通常采用文件大小差异(diff)方式进行导航交规数据的质检，即将待质检的导航交规数据与最新一次上线(如前一天上线)的导航交规数据进行对比，若待质检的导航交规数据比最新一次上线的导航交规数据增加48％或减少6％，则可认为数据突增或突减异常，从而确定质检不通过。但这种方式会漏检很多问题，准确性较差。
发明内容
本申请提供了数据质检方法、装置、电子设备及存储介质。
一种数据质检方法，包括：
获取待质检的第一导航交规数据；
对所述第一导航交规数据进行编译，得到第一编译产出数据；
对所述第一编译产出数据中的二进制数据进行解析，得到第一编译解析数据；
根据所述第一编译产出数据及所述第一编译解析数据，从数据变化、编译校验及服务生效中的至少两个维度对所述第一导航交规数据进行质检。
一种数据质检装置，包括：获取模块、编译模块、解析模块以及质检模块；
所述获取模块，用于获取待质检的第一导航交规数据；
所述编译模块，用于对所述第一导航交规数据进行编译，得到第一编译产出数据；
所述解析模块，用于对所述第一编译产出数据中的二进制数据进行解析，得到第一编译解析数据；
所述质检模块，用于根据所述第一编译产出数据及所述第一编译解析数据，从数据变化、编译校验及服务生效中的至少两个维度对所述第一导航交规数据进行质检。
一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如以上所述的方法。
上述申请中的一个实施例具有如下优点或有益效果：针对待质检的导航交规数据，可分别获取对应的编译产出数据及编译解析数据，进而可基于得到的编译产出数据及编译解析数据，从数据变化、编译校验及服务生效中的至少两个维度对导航交规数据进行质检，从而实现了多维度、全方位的质检，可及时发现各种问题，进而提升了质检结果的准确性等。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请所述数据质检方法实施例的流程图；
图2为本申请所述数据质检方法的总体实现过程示意图；
图3为本申请所述数据质检装置30实施例的组成结构示意图；
图4为根据本申请实施例所述方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本申请所述数据质检方法实施例的流程图。如图1所示，包括以下具体实现方式。
在101中，获取待质检的第一导航交规数据。
在102中，对第一导航交规数据进行编译，得到第一编译产出数据。
在103中，对第一编译产出数据中的二进制数据进行解析，得到第一编译解析数据。
在104中，根据第一编译产出数据及第一编译解析数据，从数据变化、编译校验及服务生效中的至少两个维度对第一导航交规数据进行质检。
以天级上线为例，道路数据方根据每日变化、新增的数据等生成待质检的导航交规数据，为与后续出现的其它导航交规数据进行区别，将待质检的导航交规数据称为第一导航交规数据。道路数据方将第一导航交规数据推送给导航业务线，导航业务线对第一导航交规数据进行质检，质检通过后将数据传输到线上，重启服务，加载新数据。
需要质检的导航交规数据通常包括四种：本地化数据、分时段数据、跨路口数据以及预上线数据，各自的名称及含义分别如表一所示。
| 数据种类 | 数据名称 | 数据含义 |
| 本地化 | topo_r_lcr_intervene_bin.bdnav | 车牌限行信息 |
| 跨路口 | topo_traffic_diffcross_bin.bdnav | 跨路口限行信息 |
| 分时段 | topo_cr_intervene_bin.bdnav | 分时段限行信息 |
| 预上线 | pre_launch.txt | 预上线限行信息 |
表一 四种数据的名称及含义
如表一所述，本地化数据中包括车牌限行信息，分时段数据中包括分时线限行信息，跨路口数据中包括跨路口限行信息，预上线限行信息中包括预上线限行信息。
其中，车牌限行可以是指“北京二环路外地车牌全天限行”等。跨路口限行可以是指不能从安庆路左转进入阜阳路等。分时段限行可以是指“武侯祠大街7:30-9:00禁止小客车通行”等。预上线限行可以是指“**道路正在修建中，尚未通车”等。
针对待质检的第一导航交规数据，可首先按照现有方式对其进行编译，从而得到编译产出数据，为与后续出现的其它编译产出数据进行区别，将第一导航交规数据对应的编译产出数据称为第一编译产出数据。第一编译产出数据中包括三个二进制文件以及一个文本格式(txt)文件，分别为：对应于第一导航交规数据中的本地化数据的二进制格式的本地化文件(topo_r_lcr_intervene_bin.bdnav)、对应于第一导航交规数据中的分时段数据的二进制格式的分时段文件(topo_cr_intervene_bin.bdnav)、对应于第一导航交规数据中的跨路口数据的二进制格式的跨路口文件(topo_traffic_diffcross_bin.bdnav)以及对应于第一导航交规数据中的预上线数据的文本格式的预上线文件(pre_launch.txt)。
进一步地，可对第一编译产出数据中的二进制数据进行解析，从而得到第一编译解析数据。具体地，可分别对本地化文件、分时段文件及跨路口文件进行解析，从而分别得到本地化编译解析文件、分时段编译解析文件及跨路口编译解析文件。
其中，本地化文件的数据结构可如表二所示：
| int32 | int32 | char[128] | int32 | uint64 | uint64 | char[128] | int32 | uint64 | uint64 | |||
| version | info_count | info_id | id_count | sw_id | … | sw_id | … | info_id | id_count | sw_id | … | sw_id |
表二 本地化文件的数据结构
各字段的含义如下：
version:版本号；
info_count:交规数量；
info_id:交规id；
id_count:交规对应道路(siwei_link)数量；
sw_id:siwei_link的id。
解析后得到的数据如下：
info_id sw_id
“x15”； 1555131274，1583617838，1555131289
“x32”； 153374375 1，1584751377，1576864145
分时段文件的数据结构可如表三所示：
表三 分时段文件的数据结构
各字段的含义如下：
cr_cnt：数据条数；
siwei_link_count：一条交规的道路(link)数量；
siwei_link_t：link id；
period_cnt：时间段数量；
cr_period:时间段(限行时间段)。
解析后得到的数据如下：
sw_id period
1522209836； 7:00-9:00
1522232833； 7:00-8:00,17:00-18:00
跨路口文件的数据结构可如表四所示：
表四 跨路口文件的数据结构
各字段的含义如下：
siwei_link_count：一条交规的link数量；
siwei_link_t：link id；
cr_flag：时间段标志位(取值为0或1)；
period_cnt：时间段数量；
cr_period：时间段(与分时段文件的时间格式相同)；
si_cnt：数据条数。
解析后得到的数据如下：
sw_id flag period
1542091757； 1； 7:00-9:00
1526750644； 1； 17:30-19:30
在分别获取到第一编译产出数据以及第一编译解析数据之后，可从数据变化、编译校验及服务生效中的至少两个维度对第一导航交规数据进行质检。优选地，可从数据变化、编译校验及服务生效三个维度对第一导航交规数据进行质检，实现立体式覆盖，全方位检查数据的正确性。
以下分别对三个维度的质检的具体实现进行说明。
1)数据变化：
在从数据变化维度对第一导航交规数据进行质检时，可采用以下方式：a)将第一编译解析数据与第二导航交规数据对应的第二编译解析数据进行差异(diff)对比，第二导航交规数据为最新一次上线的导航交规数据，以天级上线为例，第二导航交规数据则指前一天上线的导航交规数据；和/或，b)将第一编译解析数据与第一导航交规数据进行匹配检查。即可以仅采用方式a)，也可以仅采用方式b)，还可以同时采用方式a)和b)，优选地，可同时采用方式a)和b)，以提升检查的全面性，进而提升质检结果的准确性。
方式a)：
方式a)主要适用于本地化数据和分时段数据，在实际应用中，可以仅针对本地化数据按照方式a)进行处理，也可以仅针对分时段数据按照方式a)进行处理，还可以同时针对本地化数据及分时段数据按照方式a)进行处理，优选地，可以针对本地化数据及分时段数据均按照方式a)进行处理，以提升检查的全面性，进而提升质检结果的准确性。
针对本地化数据，可获取第一编译解析数据中的本地化编译解析文件(lcr.txt)与第二编译解析数据中的本地化编译解析文件的大小diff，得到第一diff，并获取第一导航交规数据中的本地化专属数据文件(R_LCR_mid)与第二导航交规数据中的R_LCR_mid的大小diff，得到第二diff，本地化文件通过R_LCR_mid编译而来，若第一diff没有位于以第二diff为中心的预定取值范围内，则可确定质检不通过。
如何获取第一diff和第二diff为现有技术。由于topo_r_lcr_intervene_bin.bdnav由R_LCR.mid编译而来，因此link数量的变化幅度应与R_LCR.mid一致。优选地，第一diff需要在第二diff上下10％以内，否则说明编译错误导致数据异常增多或减少，如第二diff为0.05，则第一diff需要在0.045～0.055之间。
针对本地化数据，可获取第一编译解析数据中的分时段编译解析文件(cr.txt)与第二编译解析数据中的分时段编译解析文件的大小diff，得到第三diff，并获取第一导航交规数据中的分时段专属数据文件(R_limitinfo.mid)与第二导航交规数据中的R_limitinfo.mid的大小diff，得到第四diff，分时段文件通过R_limitinfo.mid编译而来，若第三diff没有位于以第四diff为中心的预定取值范围内，则可确定质检不通过。
由于topo_cr_intervene_bin.bdnav由R_limitinfo.mid编译而来，因此link数量的变化幅度应与R_limitinfo.mid一致。优选地，第三diff需要在第四diff上下10％以内，否则说明编译错误导致数据异常增多或减少，如第四diff为0.05，则第三diff需要在0.045～0.055之间。
方式b)：
方式b)主要适用于本地化数据、分时段数据和跨路口数据，在实际应用中，可以仅针对其中的一种数据按照方式b)进行处理，也可以仅针对其中的两种数据按照方式b)进行处理，还可以同时针对这三种数据按照方式b)进行处理，优选地，可以同时针对这三种数据按照方式b)进行处理，以提升检查的全面性，进而提升质检结果的准确性。
针对本地化数据，可提取出第一编译解析数据中的本地化编译解析文件中的所有link id，若提取出的任一link id未存在于第一导航交规数据中的R_LCR.mid中，则可确定质检不通过。优选地，可提取出本地化编译解析文件中的所有link id，通过集合减法检查这些link id是否均在R_LCR.mid中存在，若存在说明是由R_LCR.mid转换而来，否则说明中途转换错误，质检不通过。比如，可将从本地化编译解析文件中提取出的所有link id放入集合1(set1)，并提取出R_LCR.mid中的所有link id，放入set2，若set1减去set2为空(set1中的数据均被set2包含)，说明正常，否则质检不通过。
对于分时段数据，可提取出第一编译解析数据中的分时段编译解析文件中的所有link id，若提取出的任一link id未存在于第一导航交规数据中的R_limitinfo.mid中，则可确定质检不通过。优选地，可提取出分时段编译解析文件中的所有link id，通过集合减法检查这些link id是否均在R_limitinfo.mid中存在，若存在说明是由R_limitinfo.mid转换而来，否则说明中途转换错误，质检不通过。比如，可将从分时段编译解析文件中提取出的所有link id放入set1，并提取出R_limitinfo.mid中的所有link id，放入set2，若set1减去set2为空，说明正常，否则质检不通过。
针对跨路口数据，可提取出第一编译解析数据中的跨路口编译解析文件(diffcross.txt)中的所有link id，若提取出的任一link id未存在于第一导航交规数据中的跨路口专属数据文件(CNL.mid)中，则可确定质检不通过。优选地，可提取出跨路口编译解析文件中的所有link id，通过集合减法检查这些link id是否均在CNL.mid中存在，若存在说明是由CNL.mid转换而来，否则说明中途转换错误，质检不通过。比如，可将从跨路口编译解析文件中提取出的所有link id放入set1，并提取出CNL.mid中的所有link id，放入set2，若set1减去set2为空，说明正常，否则质检不通过。
通过数据变化维度的质检，可发现数据异常增多或减少以及中途转换错误等问题。
2)编译校验：
在从编译校验维度对第一导航交规数据进行质检时，可采用以下方式：a)对第一编译解析数据进行内容正确性校验；和/或，b)根据第二导航交规数据对应的第二编译解析数据，对第一编译解析数据进行数据变化校验，第二导航交规数据为最新一次上线的导航交规数据。即可以仅采用方式a)，也可以仅采用方式b)，还可以同时采用方式a)和b)，优选地，可同时采用方式a)和b)，以提升检查的全面性，进而提升质检结果的准确性。
方式a)：
方式a)可适用于本地化数据、分时段数据、跨路口数据以及预上线数据，在实际应用中，可以仅针对其中的一种数据按照方式a)进行处理，也可以仅针对其中的两种数据按照方式a)进行处理，还可以针对其中的三种数据按照方式a)进行处理，还可以同时针对这四种数据按照方式a)进行处理，优选地，可以同时针对这四种数据按照方式a)进行处理，以提升检查的全面性，进而提升质检结果的准确性。
针对本地化编译解析文件、分时段编译解析文件、跨路口编译解析文件及预上线文件中的至少一种文件，可分别进行以下处理：确定头文件名称是否符合预定规则、确定每一行是否符合预定规则、确定行数是否位于预定取值范围内(行数范围检查)以及确定文件大小是否位于预定取值范围内(文件大小范围检查)，若任一确定结果为否，则可确定质检不通过。
优选地，对于本地化编译解析文件，可进行以下处理：
1、确定头文件名称是否匹配info_id和sw_id；
2、确定对于每一行，第一列是否匹配info_id(字母+数字)，第二列是否匹配sw_id(十位)；
3、确定行数是否位于预定取值范围内，如是否位于2000-5000行之间；
4、确定文件大小是否位于预定取值范围内，如是否位于100000000-400000000字节(byte)之间。
对于分时段编译解析文件，可进行以下处理：
1、确定头文件名称是否匹配sw_id和period；
2、确定每一行是否匹配sw_id和时间段period；
3、确定行数是否位于预定取值范围内，如是否位于30000-5000000行之间；
4、确定文件大小是否位于预定取值范围内，如是否位于1500000-900000000byte之间。
对于有时间段限制的跨路口编译解析文件，可进行以下处理：
1、确定头文件名称是否匹配sw_id、flag、period；
2、确定对于每一行，第一列是否匹配sw_id，第二列是否匹配1，第三列是否匹配时间段period；
3、确定行数是否位于预定取值范围内，如是否位于25-50行之间；
4、确定文件大小是否位于预定取值范围内，如是否位于2000-4000byte之间。
对于无时间段限制的跨路口编译解析文件，可进行以下处理：
1、确定头文件名称是否匹配sw_id、flag；
2、确定对于每一行，第一列是否匹配sw_id，第二列是否匹配0；
3、确定行数是否位于预定取值范围内，如是否位于1000-3000行之间；
4、确定文件大小是否位于预定取值范围内，如是否位于80000-150000byte之间。
预上线文件可如下所示：
#sw_id pre_launch
1625605857； B6532-1五华111号路_20170503
1626552319； 2911大永高速_20170411
对于预上线文件，可进行以下处理：
1、确定头文件名称是否匹配sw_id和pre_launch；
2、确定对于每一行，第一列是否匹配sw_id；
3、确定行数是否位于预定取值范围内，如是否位于100000-200000行之间；
4、确定文件大小是否位于预定取值范围内，如是否位于4000000-8000000byte之间。
方式b)：
方式b)可适用于本地化数据、分时段数据、跨路口数据以及预上线数据，在实际应用中，可以仅针对其中的一种数据按照方式b)进行处理，也可以仅针对其中的两种数据按照方式b)进行处理，还可以针对其中的三种数据按照方式b)进行处理，还可以同时针对这四种数据按照方式b)进行处理，优选地，可以同时针对这四种数据按照方式b)进行处理，以提升检查的全面性，进而提升质检结果的准确性。
针对本地化数据，可将第一编译解析数据中的本地化编译解析文件中的所有数据放入第一集合，将第二导航交规数据对应的第二编译解析数据中的本地化编译解析文件中的所有数据放入第二集合，计算第一集合与第二集合的交集，得到第三集合，若第三集合中的数据量少于第二集合中的数据量，且第三集合中的数据量与第二集合中的数据量的比值小于预定阈值，则可确定质检不通过，若第一集合中的数据量小于第二集合中的数据量，且第一集合中的数据量与第二集合中的数据量的差值绝对值与第二集合中的数据量的比值大于预定阈值，则可确定质检不通过。
如可将第一编译解析数据中的本地化编译解析文件中的所有数据放入set1，将第二编译解析数据中的本地化编译解析文件中的所有数据放入set2，并对set1和set2求交集，得到set3，若set3中的数据量少于set2中的数据量的85％，则可确定质检不通过，另外，若set1中的数据量相比于set2中的数据量的减少量大于10％，也可确定质检不通过。
另外，针对第一编译解析数据中的本地化编译解析文件，还可对其中的预定关键本地化数据进行检查，若存在缺失，则可确定质检不通过，哪些数据为关键本地化数据可根据实际需要而定。
针对分时段编译解析文件、跨路口编译解析文件及预上线文件中的任一文件，可分别进行以下处理：将文件中的所有数据放入第四集合，将第二导航交规数据对应的对应文件中的所有数据放入第五集合，计算第四集合与第五集合的交集，得到第六集合，计算第四集合与第六集合的差集，得到第七集合，计算第五集合与第六集合的差集，得到第八集合，若第六集合中的数据量少于第五集合中的数据量，且第六集合中的数据量与第五集合中的数据量的比值小于预定阈值，则可确定质检不通过，若第七集合中的数据量与第五集合中的数据量的比值大于预定阈值，则可确定质检不通过，若第八集合中的数据量与第五集合中的数据量的比值大于预定阈值，则可确定质检不通过。
比如，可将第一编译解析数据中的分时段编译解析文件中的所有数据放入set1，将第二编译解析数据中的分时段编译解析文件中的所有数据放入set2，并对set1和set2求交集，得到set3，同时计算set1-set3以及set2-set3，分别得到set4和set5，分别为新增的数据和减少的数据，若set3中的数据量少于set2中的数据量的85％，则可确定质检不通过，若set4中的数据量大于set2中的数据量的20％，也可确定质检不通过，若set5中的数据量大于set2中的数据量的10％，也可确定质检不通过。
再比如，可将第一编译解析数据中的跨路口编译解析文件中的所有数据放入set1，将第二编译解析数据中的跨路口编译解析文件中的所有数据放入set2，并对set1和set2求交集，得到set3，同时计算set1-set3以及set2-set3，分别得到set4和set5，若set3中的数据量少于set2中的数据量的95％，则可确定质检不通过，若set4中的数据量大于set2中的数据量的5％，也可确定质检不通过，若set5中的数据量大于set2中的数据量的5％，也可确定质检不通过。
再比如，可将第一编译产出数据中的预上线文件中的所有数据放入set1，将第二编译产出数据中的预上线文件中的所有数据放入set2，并对set1和set2求交集，得到set3，同时计算set1-set3以及set2-set3，分别得到set4和set5，若set3中的数据量少于set2中的数据量的95％，则可确定质检不通过，若set4中的数据量大于set2中的数据量的5％，也可确定质检不通过，若set5中的数据量大于set2中的数据量的5％，也可确定质检不通过。
上述各阈值的具体取值可根据实际需要而定，不限于以上所示。可将各阈值写入配置文件，每次质检时拉取配置文件进行检查，可实现动态阈值设置。
通过编译校验维度的质检，可发现批量字段错误、数据异常增多或减少及部分关键数据缺失等问题。
3)服务生效
在从服务生效维度对第一导航交规数据进行质检时，可搭建干预服务，利用干预服务对本地化编译解析文件、分时段编译解析文件、跨路口编译解析文件及预上线文件中的至少一种进行数据生效性验证。如何搭建干预(intervene)服务为现有技术。
作为举例，干预服务的请求输入参数可包括：
道路link(如1555131274)；
车辆类型(如1表示小汽车)；
车牌号(如沪C12345)；
数据版本号(与每一版本数据相匹配，如20200315144407SW1-0-58-30154TP1-0-32-30868TS20200315182102_1040.0)；
接口请求示例如下：
http_request(request,"http://％s/RouteInterveneService/get_route_intervene_info"％ip_port)；
其中，request为请求输入参数，get_route_intervene_info为获取交规信息的接口，ip_port为服务所在地址；
未命中交规时，返回的干预类型intervene_type字段可为0，命中本地化时可为1，命中预上线时可为2，命中分时段时可为3，命中跨路口时可为4，即不同交规返回intervene_type类型不同，通过判断该值可确定命中哪种类型的交规。
比如，可从本地化编译解析文件中选取一条(如第一条)x1 link(北京二环路外地车牌全天限行)，上海车牌命中本地化则通过(pass)，否则不通过(fail)。
比如，从分时段编译解析文件中选取一条全天生效的分时段link，若干预服务命中分时段限行交规则pass，否则fail。
再比如，从预上线文件中选取一条link，若干预服务命中预上线交规则pass，否则fail。
再比如，从跨路口编译解析文件中选取一条link，若干预服务命中跨路口交规则pass，否则fail。
通过服务生效维度的质检，可对数据生效性进行验证，从而发现服务无法加载新数据等问题。
综合上述介绍，图2为本申请所述数据质检方法的总体实现过程示意图，如图2所示，优选地，可针对待质检的导航交规数据，分别从数据变化、编译校验及服务生效等维度对其进行质检，从而实现了多维度、全方位的质检，可及时发现各种问题，进而提升了质检结果的准确性等。具体实现请参照前述相关说明，不再赘述。
需要说明的是，对于前述的方法实施例，为了简单描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图3为本申请所述数据质检装置30实施例的组成结构示意图。如图3所示，包括：获取模块301、编译模块302、解析模块303以及质检模块304。
获取模块301，用于获取待质检的第一导航交规数据。
编译模块302，用于对第一导航交规数据进行编译，得到第一编译产出数据。
解析模块303，用于对第一编译产出数据中的二进制数据进行解析，得到第一编译解析数据。
质检模块304，用于根据第一编译产出数据及第一编译解析数据，从数据变化、编译校验及服务生效中的至少两个维度对第一导航交规数据进行质检。
第一编译产出数据中可包括：对应于第一导航交规数据中的本地化数据的本地化文件、对应于第一导航交规数据中的分时段数据的分时段文件、对应于第一导航交规数据中的跨路口数据的跨路口文件以及对应于第一导航交规数据中的预上线数据的预上线文件；本地化文件、分时段文件以及跨路口文件均为二进制格式，预上线文件为文本格式。
其中，本地化数据中包括车牌限行信息，分时段数据中包括分时线限行信息，跨路口数据中包括跨路口限行信息，预上线限行信息中包括预上线限行信息。
相应地，解析模块303可分别对本地化文件、分时段文件及跨路口文件进行解析，得到本地化编译解析文件、分时段编译解析文件及跨路口编译解析文件。
质检模块304中可包括：第一质检单元3041，用于将第一编译解析数据与第二导航交规数据对应的第二编译解析数据进行差异diff对比，第二导航交规数据为最新一次上线的导航交规数据，和/或，将第一编译解析数据与第一导航交规数据进行匹配检查。
在将第一编译解析数据与第二导航交规数据对应的第二编译解析数据进行diff对比时，第一质检单元3041可获取第一编译解析数据中的本地化编译解析文件与第二编译解析数据中的本地化编译解析文件的大小diff，得到第一diff，获取第一导航交规数据中的本地化专属数据文件与第二导航交规数据中的本地化专属数据文件的大小diff，得到第二diff，本地化文件通过本地化专属数据文件编译而来，若第一diff没有位于以第二diff为中心的预定取值范围内，则确定质检不通过，和/或，第一质检单元3041获取第一编译解析数据中的分时段编译解析文件与第二编译解析数据中的分时段编译解析文件的大小diff，得到第三diff，获取第一导航交规数据中的分时段专属数据文件与第二导航交规数据中的分时段专属数据文件的大小diff，得到第四diff，分时段文件通过分时段专属数据文件编译而来，若第三diff没有位于以第四diff为中心的预定取值范围内，则确定质检不通过。
在将第一编译解析数据与第一导航交规数据进行匹配检查时，第一质检单元3041可提取出第一编译解析数据中的本地化编译解析文件中的所有link id，若提取出的任一link id未存在于第一导航交规数据中的本地化专属数据文件中，则确定质检不通过，和/或，第一质检单元3041可提取出第一编译解析数据中的分时段编译解析文件中的所有linkid，若提取出的任一link id未存在于第一导航交规数据中的分时段专属数据文件中，则确定质检不通过，和/或，第一质检单元3041可提取出第一编译解析数据中的跨路口编译解析文件中的所有link id，若提取出的任一link id未存在于第一导航交规数据中的跨路口专属数据文件中，则确定质检不通过。
质检模块304中还可包括：第二质检单元3042，用于对第一编译解析数据进行内容正确性校验，和/或，根据第二导航交规数据对应的第二编译解析数据，对第一编译解析数据进行数据变化校验，第二导航交规数据为最新一次上线的导航交规数据。
在对第一编译解析数据进行内容正确性校验时，第二质检单元3042可针对本地化编译解析文件、分时段编译解析文件、跨路口编译解析文件及预上线文件中的至少一种文件，分别进行以下处理：确定头文件名称是否符合预定规则、确定每一行是否符合预定规则、确定行数是否位于预定取值范围内以及确定文件大小是否位于预定取值范围内，若任一确定结果为否，则确定质检不通过。
在根据第二导航交规数据对应的第二编译解析数据，对第一编译解析数据进行数据变化校验时，第二质检单元3042可将第一编译解析数据中的本地化编译解析文件中的所有数据放入第一集合，将第二导航交规数据对应的第二编译解析数据中的本地化编译解析文件中的所有数据放入第二集合，计算第一集合与第二集合的交集，得到第三集合，若第三集合中的数据量少于第二集合中的数据量，且第三集合中的数据量与第二集合中的数据量的比值小于预定阈值，则确定质检不通过，若第一集合中的数据量小于第二集合中的数据量，且第一集合中的数据量与第二集合中的数据量的差值绝对值与第二集合中的数据量的比值大于预定阈值，则确定质检不通过，和/或，第二质检单元3042可针对分时段编译解析文件、跨路口编译解析文件及预上线文件中的至少一种文件，分别进行以下处理：将文件中的所有数据放入第四集合，将第二导航交规数据对应的对应文件中的所有数据放入第五集合，计算第四集合与第五集合的交集，得到第六集合，计算第四集合与第六集合的差集，得到第七集合，计算第五集合与第六集合的差集，得到第八集合，若第六集合中的数据量少于第五集合中的数据量，且第六集合中的数据量与第五集合中的数据量的比值小于预定阈值，则确定质检不通过，若第七集合中的数据量与第五集合中的数据量的比值大于预定阈值，则确定质检不通过，若第八集合中的数据量与第五集合中的数据量的比值大于预定阈值，则确定质检不通过。
针对第一编译解析数据中的本地化编译解析文件，第二质检单元3042还可对其中的预定关键本地化数据进行检查，若存在缺失，则确定质检不通过。
质检模块304中还可包括：第三质检单元3043，用于搭建干预服务，利用干预服务对本地化编译解析文件、分时段编译解析文件、跨路口编译解析文件及预上线文件中的至少一种进行数据生效性验证。
图3所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。
总之，采用本实施例所述方案，可分别从数据变化、编译校验及服务生效等维度对导航交规数据进行质检，从而实现了多维度、全方位的质检，可及时发现各种问题，进而提升了质检结果的准确性等。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图4所示，是根据本申请实施例所述方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，该电子设备包括：一个或多个处理器Y01、存储器Y02，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器Y01为例。
存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的方法。
存储器Y02作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器Y02可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器Y02可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器Y02可选包括相对于处理器Y01远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、区块链网络、局域网、移动通信网及其组合。
电子设备还可以包括：输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接，图4中以通过总线连接为例。
输入装置Y03可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器、发光二极管显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，阴极射线管或者液晶显示器监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网、广域网、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (22)
1.一种数据质检方法，其特征在于，包括：
获取待质检的第一导航交规数据；
对所述第一导航交规数据进行编译，得到第一编译产出数据；
对所述第一编译产出数据中的二进制数据进行解析，得到第一编译解析数据；
根据所述第一编译产出数据及所述第一编译解析数据，从数据变化、编译校验及服务生效中的至少两个维度对所述第一导航交规数据进行质检。
2.根据权利要求1所述的方法，其特征在于，
所述第一编译产出数据中包括：对应于所述第一导航交规数据中的本地化数据的本地化文件、对应于所述第一导航交规数据中的分时段数据的分时段文件、对应于所述第一导航交规数据中的跨路口数据的跨路口文件以及对应于所述第一导航交规数据中的预上线数据的预上线文件；所述本地化文件、所述分时段文件以及所述跨路口文件均为二进制格式，所述预上线文件为文本格式；
所述对所述第一编译产出数据中的二进制数据进行解析，得到第一编译解析数据包括：分别对所述本地化文件、所述分时段文件及所述跨路口文件进行解析，得到本地化编译解析文件、分时段编译解析文件及跨路口编译解析文件。
3.根据权利要求2所述的方法，其特征在于，
从所述数据变化维度对所述第一导航交规数据进行质检包括：
将所述第一编译解析数据与第二导航交规数据对应的第二编译解析数据进行差异diff对比，所述第二导航交规数据为最新一次上线的导航交规数据；
和/或，将所述第一编译解析数据与所述第一导航交规数据进行匹配检查。
4.根据权利要求3所述的方法，其特征在于，
所述将所述第一编译解析数据与第二导航交规数据对应的第二编译解析数据进行diff对比包括：
获取所述第一编译解析数据中的本地化编译解析文件与所述第二编译解析数据中的本地化编译解析文件的大小diff，得到第一diff，获取所述第一导航交规数据中的本地化专属数据文件与所述第二导航交规数据中的本地化专属数据文件的大小diff，得到第二diff，所述本地化文件通过所述本地化专属数据文件编译而来，若所述第一diff没有位于以所述第二diff为中心的预定取值范围内，则确定质检不通过；
和/或，获取所述第一编译解析数据中的分时段编译解析文件与所述第二编译解析数据中的分时段编译解析文件的大小diff，得到第三diff，获取所述第一导航交规数据中的分时段专属数据文件与所述第二导航交规数据中的分时段专属数据文件的大小diff，得到第四diff，所述分时段文件通过所述分时段专属数据文件编译而来，若所述第三diff没有位于以所述第四diff为中心的预定取值范围内，则确定质检不通过。
5.根据权利要求3所述的方法，其特征在于，
所述将所述第一编译解析数据与所述第一导航交规数据进行匹配检查包括：
提取出所述第一编译解析数据中的本地化编译解析文件中的所有道路标识link id，若提取出的任一link id未存在于所述第一导航交规数据中的本地化专属数据文件中，则确定质检不通过；
和/或，提取出所述第一编译解析数据中的分时段编译解析文件中的所有link id，若提取出的任一link id未存在于所述第一导航交规数据中的分时段专属数据文件中，则确定质检不通过；
和/或，提取出所述第一编译解析数据中的跨路口编译解析文件中的所有link id，若提取出的任一link id未存在于所述第一导航交规数据中的跨路口专属数据文件中，则确定质检不通过。
6.根据权利要求2所述的方法，其特征在于，
从所述编译校验维度对所述第一导航交规数据进行质检包括：
对所述第一编译解析数据进行内容正确性校验；
和/或，根据第二导航交规数据对应的第二编译解析数据，对所述第一编译解析数据进行数据变化校验，所述第二导航交规数据为最新一次上线的导航交规数据。
7.根据权利要求6所述的方法，其特征在于，
所述对所述第一编译解析数据进行内容正确性校验包括：
针对所述本地化编译解析文件、所述分时段编译解析文件、所述跨路口编译解析文件及所述预上线文件中的至少一种文件，分别进行以下处理：确定头文件名称是否符合预定规则、确定每一行是否符合预定规则、确定行数是否位于预定取值范围内以及确定文件大小是否位于预定取值范围内，若任一确定结果为否，则确定质检不通过。
8.根据权利要求6所述的方法，其特征在于，
所述根据第二导航交规数据对应的第二编译解析数据，对所述第一编译解析数据进行数据变化校验包括：
将所述第一编译解析数据中的本地化编译解析文件中的所有数据放入第一集合，将所述第二导航交规数据对应的第二编译解析数据中的本地化编译解析文件中的所有数据放入第二集合，计算所述第一集合与所述第二集合的交集，得到第三集合，若所述第三集合中的数据量少于所述第二集合中的数据量，且所述第三集合中的数据量与所述第二集合中的数据量的比值小于预定阈值，则确定质检不通过，若所述第一集合中的数据量小于所述第二集合中的数据量，且所述第一集合中的数据量与所述第二集合中的数据量的差值绝对值与所述第二集合中的数据量的比值大于预定阈值，则确定质检不通过；
和/或，针对所述分时段编译解析文件、所述跨路口编译解析文件及所述预上线文件中的至少一种文件，分别进行以下处理：将所述文件中的所有数据放入第四集合，将所述第二导航交规数据对应的对应文件中的所有数据放入第五集合，计算所述第四集合与所述第五集合的交集，得到第六集合，计算所述第四集合与所述第六集合的差集，得到第七集合，计算所述第五集合与所述第六集合的差集，得到第八集合，若所述第六集合中的数据量少于所述第五集合中的数据量，且所述第六集合中的数据量与所述第五集合中的数据量的比值小于预定阈值，则确定质检不通过，若所述第七集合中的数据量与所述第五集合中的数据量的比值大于预定阈值，则确定质检不通过，若所述第八集合中的数据量与所述第五集合中的数据量的比值大于预定阈值，则确定质检不通过。
9.根据权利要求8所述的方法，其特征在于，
该方法进一步包括：针对所述第一编译解析数据中的本地化编译解析文件，对其中的预定关键本地化数据进行检查，若存在缺失，则确定质检不通过。
10.根据权利要求2所述的方法，其特征在于，
从所述服务生效维度对所述第一导航交规数据进行质检包括：
搭建干预服务，利用所述干预服务对所述本地化编译解析文件、所述分时段编译解析文件、所述跨路口编译解析文件及所述预上线文件中的至少一种进行数据生效性验证。
11.一种数据质检装置，其特征在于，包括：获取模块、编译模块、解析模块以及质检模块；
所述获取模块，用于获取待质检的第一导航交规数据；
所述编译模块，用于对所述第一导航交规数据进行编译，得到第一编译产出数据；
所述解析模块，用于对所述第一编译产出数据中的二进制数据进行解析，得到第一编译解析数据；
所述质检模块，用于根据所述第一编译产出数据及所述第一编译解析数据，从数据变化、编译校验及服务生效中的至少两个维度对所述第一导航交规数据进行质检。
12.根据权利要求11所述的装置，其特征在于，
所述第一编译产出数据中包括：对应于所述第一导航交规数据中的本地化数据的本地化文件、对应于所述第一导航交规数据中的分时段数据的分时段文件、对应于所述第一导航交规数据中的跨路口数据的跨路口文件以及对应于所述第一导航交规数据中的预上线数据的预上线文件；所述本地化文件、所述分时段文件以及所述跨路口文件均为二进制格式，所述预上线文件为文本格式；
所述解析模块分别对所述本地化文件、所述分时段文件及所述跨路口文件进行解析，得到本地化编译解析文件、分时段编译解析文件及跨路口编译解析文件。
13.根据权利要求12所述的装置，其特征在于，
所述质检模块中包括：第一质检单元，用于将所述第一编译解析数据与第二导航交规数据对应的第二编译解析数据进行差异diff对比，所述第二导航交规数据为最新一次上线的导航交规数据，和/或，将所述第一编译解析数据与所述第一导航交规数据进行匹配检查。
14.根据权利要求13所述的装置，其特征在于，
所述第一质检单元获取所述第一编译解析数据中的本地化编译解析文件与所述第二编译解析数据中的本地化编译解析文件的大小diff，得到第一diff，获取所述第一导航交规数据中的本地化专属数据文件与所述第二导航交规数据中的本地化专属数据文件的大小diff，得到第二diff，所述本地化文件通过所述本地化专属数据文件编译而来，若所述第一diff没有位于以所述第二diff为中心的预定取值范围内，则确定质检不通过；
和/或，所述第一质检单元获取所述第一编译解析数据中的分时段编译解析文件与所述第二编译解析数据中的分时段编译解析文件的大小diff，得到第三diff，获取所述第一导航交规数据中的分时段专属数据文件与所述第二导航交规数据中的分时段专属数据文件的大小diff，得到第四diff，所述分时段文件通过所述分时段专属数据文件编译而来，若所述第三diff没有位于以所述第四diff为中心的预定取值范围内，则确定质检不通过。
15.根据权利要求13所述的装置，其特征在于，
所述第一质检单元提取出所述第一编译解析数据中的本地化编译解析文件中的所有道路标识link id，若提取出的任一link id未存在于所述第一导航交规数据中的本地化专属数据文件中，则确定质检不通过；
和/或，所述第一质检单元提取出所述第一编译解析数据中的分时段编译解析文件中的所有link id，若提取出的任一link id未存在于所述第一导航交规数据中的分时段专属数据文件中，则确定质检不通过；
和/或，所述第一质检单元提取出所述第一编译解析数据中的跨路口编译解析文件中的所有link id，若提取出的任一link id未存在于所述第一导航交规数据中的跨路口专属数据文件中，则确定质检不通过。
16.根据权利要求12所述的装置，其特征在于，
所述质检模块中包括：第二质检单元，用于对所述第一编译解析数据进行内容正确性校验，和/或，根据第二导航交规数据对应的第二编译解析数据，对所述第一编译解析数据进行数据变化校验，所述第二导航交规数据为最新一次上线的导航交规数据。
17.根据权利要求16所述的装置，其特征在于，
所述第二质检单元针对所述本地化编译解析文件、所述分时段编译解析文件、所述跨路口编译解析文件及所述预上线文件中的至少一种文件，分别进行以下处理：确定头文件名称是否符合预定规则、确定每一行是否符合预定规则、确定行数是否位于预定取值范围内以及确定文件大小是否位于预定取值范围内，若任一确定结果为否，则确定质检不通过。
18.根据权利要求16所述的装置，其特征在于，
所述第二质检单元将所述第一编译解析数据中的本地化编译解析文件中的所有数据放入第一集合，将所述第二导航交规数据对应的第二编译解析数据中的本地化编译解析文件中的所有数据放入第二集合，计算所述第一集合与所述第二集合的交集，得到第三集合，若所述第三集合中的数据量少于所述第二集合中的数据量，且所述第三集合中的数据量与所述第二集合中的数据量的比值小于预定阈值，则确定质检不通过，若所述第一集合中的数据量小于所述第二集合中的数据量，且所述第一集合中的数据量与所述第二集合中的数据量的差值绝对值与所述第二集合中的数据量的比值大于预定阈值，则确定质检不通过；
和/或，所述第二质检单元针对所述分时段编译解析文件、所述跨路口编译解析文件及所述预上线文件中的至少一种文件，分别进行以下处理：将所述文件中的所有数据放入第四集合，将所述第二导航交规数据对应的对应文件中的所有数据放入第五集合，计算所述第四集合与所述第五集合的交集，得到第六集合，计算所述第四集合与所述第六集合的差集，得到第七集合，计算所述第五集合与所述第六集合的差集，得到第八集合，若所述第六集合中的数据量少于所述第五集合中的数据量，且所述第六集合中的数据量与所述第五集合中的数据量的比值小于预定阈值，则确定质检不通过，若所述第七集合中的数据量与所述第五集合中的数据量的比值大于预定阈值，则确定质检不通过，若所述第八集合中的数据量与所述第五集合中的数据量的比值大于预定阈值，则确定质检不通过。
19.根据权利要求18所述的装置，其特征在于，
所述第二质检单元进一步用于，针对所述第一编译解析数据中的本地化编译解析文件，对其中的预定关键本地化数据进行检查，若存在缺失，则确定质检不通过。
20.根据权利要求12所述的装置，其特征在于，
所述质检模块中包括：第三质检单元，用于搭建干预服务，利用所述干预服务对所述本地化编译解析文件、所述分时段编译解析文件、所述跨路口编译解析文件及所述预上线文件中的至少一种进行数据生效性验证。
21.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010192534.4A CN111507080B (zh) | 2020-03-18 | 2020-03-18 | 数据质检方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010192534.4A CN111507080B (zh) | 2020-03-18 | 2020-03-18 | 数据质检方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111507080A true CN111507080A (zh) | 2020-08-07 |
| CN111507080B CN111507080B (zh) | 2023-06-23 |
Family
ID=71877781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010192534.4A Active CN111507080B (zh) | 2020-03-18 | 2020-03-18 | 数据质检方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507080B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597755A (zh) * | 2020-12-29 | 2021-04-02 | 杭州拼便宜网络科技有限公司 | 一种地理位置信息生成方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101136031A (zh) * | 2006-08-29 | 2008-03-05 | 爱信艾达株式会社 | 数据管理系统、更新用文件生成系统以及数据更新方法 |
| CN102116639A (zh) * | 2009-12-31 | 2011-07-06 | 北京四维图新科技股份有限公司 | 一种对电子地图的交通限制信息自动校验的方法与装置 |
| CN102930049A (zh) * | 2012-11-16 | 2013-02-13 | 沈阳美行科技有限公司 | 一种支持增量更新的嵌入式用户兴趣点数据编译方法 |
| CN104376002A (zh) * | 2013-08-13 | 2015-02-25 | 北京四维图新科技股份有限公司 | 一种检测导航电子地图的数据质量的查找方法和数据库 |
| CN107895023A (zh) * | 2017-11-16 | 2018-04-10 | 百度在线网络技术（北京）有限公司 | 一种图像数据质检方法、装置、服务器和存储介质 |
| CN108446223A (zh) * | 2018-03-06 | 2018-08-24 | 吉旗（成都）科技有限公司 | 一种基于动态编译的业务场景自动化测试方法 |
| CN109542664A (zh) * | 2018-12-13 | 2019-03-29 | 平安科技（深圳）有限公司 | 基于人工智能的文件校验方法、装置及计算机设备 |
| CN109669997A (zh) * | 2018-10-31 | 2019-04-23 | 百度在线网络技术（北京）有限公司 | 电子地图处理方法、设备及计算机可读存储介质 |
| CN109814870A (zh) * | 2018-12-26 | 2019-05-28 | 东软集团股份有限公司 | 数据解析方法、装置、存储介质及电子设备 |
-
2020
- 2020-03-18 CN CN202010192534.4A patent/CN111507080B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101136031A (zh) * | 2006-08-29 | 2008-03-05 | 爱信艾达株式会社 | 数据管理系统、更新用文件生成系统以及数据更新方法 |
| CN102116639A (zh) * | 2009-12-31 | 2011-07-06 | 北京四维图新科技股份有限公司 | 一种对电子地图的交通限制信息自动校验的方法与装置 |
| CN102930049A (zh) * | 2012-11-16 | 2013-02-13 | 沈阳美行科技有限公司 | 一种支持增量更新的嵌入式用户兴趣点数据编译方法 |
| CN104376002A (zh) * | 2013-08-13 | 2015-02-25 | 北京四维图新科技股份有限公司 | 一种检测导航电子地图的数据质量的查找方法和数据库 |
| CN107895023A (zh) * | 2017-11-16 | 2018-04-10 | 百度在线网络技术（北京）有限公司 | 一种图像数据质检方法、装置、服务器和存储介质 |
| CN108446223A (zh) * | 2018-03-06 | 2018-08-24 | 吉旗（成都）科技有限公司 | 一种基于动态编译的业务场景自动化测试方法 |
| CN109669997A (zh) * | 2018-10-31 | 2019-04-23 | 百度在线网络技术（北京）有限公司 | 电子地图处理方法、设备及计算机可读存储介质 |
| CN109542664A (zh) * | 2018-12-13 | 2019-03-29 | 平安科技（深圳）有限公司 | 基于人工智能的文件校验方法、装置及计算机设备 |
| CN109814870A (zh) * | 2018-12-26 | 2019-05-28 | 东软集团股份有限公司 | 数据解析方法、装置、存储介质及电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| HAINAN CHEN 等: "Quality Inspection And Quality Improvement By Map Fusion" * |
| 崔铁军;李宏利;郭鹏;郭继发;刘鹏;张斌;汪永红;郭黎;: "导航电子地图增量更新服务及关键技术研究" * |
| 王建丽: "地理空间框架数据的联动更新技术研究与实现" * |
| 贾继鹏 等: "高精度导航一张图建设的一体化生产研究" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597755A (zh) * | 2020-12-29 | 2021-04-02 | 杭州拼便宜网络科技有限公司 | 一种地理位置信息生成方法、装置、电子设备及存储介质 |
| CN112597755B (zh) * | 2020-12-29 | 2024-06-11 | 杭州拼便宜网络科技有限公司 | 一种地理位置信息生成方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111507080B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106796585B (zh) | 条件验证规则 | |
| KR102237167B1 (ko) | 변환 생성용 시스템 | |
| CN111260336A (zh) | 基于规则引擎的业务核对方法、装置及设备 | |
| CN104408020A (zh) | 一种公式解析计算系统及方法 | |
| CN113051171A (zh) | 接口测试方法、装置、设备及存储介质 | |
| CN111507080A (zh) | 数据质检方法、装置、电子设备及存储介质 | |
| CN104574179A (zh) | 银行卡资金清算平台的复核验证系统和复核验证方法 | |
| CN111639028B (zh) | 一种对账规则脚本测试方法、装置、引擎及存储介质 | |
| CN116661758B (zh) | 一种优化日志框架配置的方法、装置、电子设备及介质 | |
| CN117827923A (zh) | 一种查询需求的处理方法、装置、计算机设备及存储介质 | |
| CN112612674A (zh) | 监控埋点数据的方法、装置、设备和计算机可读存储介质 | |
| CN110032513B (zh) | 一种数据校验的方法、装置及电子设备 | |
| CN111399843B (zh) | 将sql运行信息映射到sql文件的方法、系统及电子设备 | |
| CN113392024B (zh) | 存储过程的测试方法、装置、设备及介质 | |
| CN115033489A (zh) | 代码资源检测方法、装置、电子设备及存储介质 | |
| CN111741046B (zh) | 数据上报方法、获取方法、装置、设备及介质 | |
| CN112951355B (zh) | 一种海量医疗数据入库的质检功能方法及装置 | |
| CN111784521B (zh) | 基于现金流测试的数据处理方法、装置、设备及系统 | |
| CN112307088A (zh) | 流程节点状态查询方法、装置、设备及存储介质 | |
| CN113901094A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN113656314A (zh) | 压力测试处理方法及装置 | |
| CN113568915A (zh) | 报表生成方法及装置 | |
| CN113238940A (zh) | 一种接口测试结果的比对方法、装置、设备和存储介质 | |
| CN111767222A (zh) | 数据模型的验证方法、装置、电子设备、存储介质 | |
| CN110674491A (zh) | 用于安卓应用的实时取证的方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |