CN110956491B - 一种业务文件的切片方法和装置 - Google Patents
一种业务文件的切片方法和装置 Download PDFInfo
- Publication number
- CN110956491B CN110956491B CN201911102490.5A CN201911102490A CN110956491B CN 110956491 B CN110956491 B CN 110956491B CN 201911102490 A CN201911102490 A CN 201911102490A CN 110956491 B CN110956491 B CN 110956491B
- Authority
- CN
- China
- Prior art keywords
- city
- configuration file
- cell data
- file
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0261—Targeted advertisements based on user location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种业务文件的切片方法及装置，通过获取各个预设城市的小区数据，以及与所述城市对应的城市等级，接着确定针对所述小区数据的切割线程，然后通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识，从而实现了按照城市等级对所有小区数据进行切片，并生成与城市对应的配置文件，大大减少了文件的数据量，有利于对数据进行同步与维护，同时通过多个线程进行数据切片处理，进一步增加了数据处理的效率。
Description
技术领域
本发明涉及数据技术领域，特别是涉及一种业务文件的切片方法和一种业务文件的切片装置。
背景技术
服务提供方可以通过各个广告平台进行内容投放，为了更精确的获得用户和流量，需要以信息流的方式将服务信息展示给用户。例如，对于租房服务中的小区租房，需要将小区的信息进行展示。
当前，采用是的遍历每个小区数据，然后按照小区ID尾号进行取模，散列在多个切片中，全量读取一次数据需要6-8个小时。并且，按照一个切片一个文件的规则进行生成切片文件，则文件数量大，数据更新困难，且很容易同步失败，进而影响内容投放。
发明内容
鉴于上述问题，提出了本发明实施例提供一种业务文件的切片方法，以解决现有技术中数据庞大、同步困难且不容易进行维护的问题。
相应的，本发明实施例还提供了一种业务文件的切片装置，用以保证上述方法的实现及应用。
为了解决上述问题，本发明实施例公开了一种业务文件的切片方法，包括：
获取各个预设城市的小区数据，以及与所述城市对应的城市等级；
确定针对所述小区数据的切割线程；
通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识。
可选地，所述配置文件包括多个切片文件以及所述切片文件的切片文件标识，所述方法还包括：
将所述配置文件发送至预设客户端，所述客户端用于采用所述配置文件标识与所述切片文件标识，展示与所述切片文件对应的小区数据。
可选地，所述通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识，包括：
获取与所述城市等级对应的步长；
通过多个所述切割线程按照所述步长，并行对各个所述小区数据进行切片，生成与各个所述城市对应的配置文件；
并为所述配置文件生成唯一的配置文件标识；
其中，不同城市等级对应不同的步长。
可选地，所述通过多个所述切割线程按照所述步长，并行对各个所述小区数据进行切片，生成与各个所述城市对应的配置文件，包括：
按照预设数量对所述小区数据进行切片，生成与所述小区数据对应的若干切片文件，并为每个切片文件生成唯一的切片文件标识；
采用同一小区数据对应的若干切片文件，生成与所述城市对应的配置文件；
其中，当切割后剩余的小区数据中小区数量小于预设数量时，将所述剩余的小区数据作为一个切片文件。
可选地，还包括：
获取针对所述配置文件的检测进程；
当所述检测进程检测到所述配置文件中不存在小区数据时，则将所述配置文件删除。
可选地，还包括：
获取所述小区数据的数据变化量；
当所述数据变化量大于预设阈值时，则进行警报提示；
其中，不同的城市等级对应不同的预设阈值。
本发明实施例还公开了一种业务文件的切片装置，包括：
数据获取模块，用于获取各个预设城市的小区数据，以及与所述城市对应的城市等级；
线程确定模块，用于确定针对所述小区数据的切割线程；
文件生成模块，用于通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识。
可选地，所述配置文件包括多个切片文件以及所述切片文件的切片文件标识，所述装置还包括：
文件发送模块，用于将所述配置文件发送至预设客户端，所述客户端用于采用所述配置文件标识与所述切片文件标识，展示与所述切片文件对应的小区数据。
可选地，所述文件生成模块包括：
步长获取子模块，用于获取与所述城市等级对应的步长；
文件生成子模块，用于通过多个所述切割线程按照所述步长，并行对各个所述小区数据进行切片，生成与各个所述城市对应的配置文件；
标识生成子模块，用于为所述配置文件生成唯一的配置文件标识；
其中，不同城市等级对应不同的步长。
可选地，所述文件生成子模块具体用于：
按照预设数量对所述小区数据进行切片，生成与所述小区数据对应的若干切片文件，并为每个切片文件生成唯一的切片文件标识；
采用同一小区数据对应的若干切片文件，生成与所述城市对应的配置文件；
其中，当切割后剩余的小区数据中小区数量小于预设数量时，将所述剩余的小区数据作为一个切片文件。
可选地，还包括：
检测进程获取模块，用于获取针对所述配置文件的检测进程；
文件删除模块，用于当所述检测进程检测到所述配置文件中不存在小区数据时，则将所述配置文件删除。
可选地，还包括：
数据量获取模块，用于获取所述小区数据的数据变化量；
警报提示模块，用于当所述数据变化量大于预设阈值时，则进行警报提示；
其中，不同的城市等级对应不同的预设阈值。
本发明实施例还公开了一种装置，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如上所述的一个或多个的方法。
本发明实施例还公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如上所述的一个或多个的方法。
本发明实施例包括以下优点：
在本发明实施例中，通过获取各个预设城市的小区数据，以及与所述城市对应的城市等级，接着确定针对所述小区数据的切割线程，然后通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识，从而实现了按照城市等级对所有小区数据进行切片，并生成与城市对应的配置文件，大大减少了文件的数据量，有利于对数据进行同步与维护，同时通过多个线程进行数据切片处理，进一步增加了数据处理的效率。
附图说明
图1是本发明的一种业务文件的切片方法实施例的步骤流程图；
图2是本发明的一种业务文件的切片装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种业务文件的切片方法实施例的步骤流程图。
在本发明实施例中，服务提供方的可以在广告平台进行内容投放，同时为了更精确的获得用户与流量，可以以信息流的方式将投放内容展示给用户。例如，在租房服务的小区租房中，可以将包含小区图片、租房均价、小区经纬度，以及平台的落地页地址等小区数据发送至广告平台，进行小区信息的展示。
若以城市维度去遍历每个小区数据，按照小区ID尾号进行取模，并散列在多个切片文件里，全量跑一次数据需要6-8小时。并且若按照一个切片ID对应一个xml文件的规则去生成，则目前全国共有380多个城市，300分片*380多个城市，一共约有11万个文件。即便是采用一定的屏蔽规则进行屏蔽后，依旧有好几万个文件，如可以对没有均价小区进行屏蔽，对于小区图片低于5张进行屏蔽。由于还需要将生成的文件需要推送到广告平台的线上服务器上，很容易由于文件碎片太多，导致同步失败，进而影响广告平台进行收据的收录与内容投放。通过本发明实施例中的业务文件的切片方法可以有效解决上述问题，具体可以包括如下步骤：
步骤101，获取各个预设城市的小区数据，以及与所述城市对应的城市等级；
在本发明实施例中，不同的城市可以包括不同的小区数据，则工作人员在对小区数据进行处理之前，可以先获取各个城市对应的小区数据，并获取城市对应的城市等级。
在具体实现中，可以按照城市中小区的数量对城市等级进行划分，如当城市中小区的数量大于或等于第一阈值时，则将该城市作为一级城市；当城市中小区的数量小于第一阈值且大于或等于第二阈值时，则将该城市作为二级城市；当城市中小区的数量小于第二阈值时，则将该城市作为三级城市等，从而实现城市的等级划分。
在本发明实施例的一种示例中，第一阈值可以为300，第二阈值可以为100，则当小区数量大于或等于300时，则将该城市定为一级城市；当小区数量在100至300之间，则将该城市定为二级城市；当小区数量小于100，则将该城市定为三级城市等。
需要说明的是，本发明实施例包括但不限于上述示例，可以理解的是，本领域技术人员在本发明实施例的思想指导下，还可以根据实际情况进行设置，本发明对此不作限制。
步骤102，确定针对所述小区数据的切割线程；
在具体实现中，不同城市等级的城市对应的小区数量不同，则可以根据城市等级，设置多个切割线程，对小区数据进行数据切片数据。
在本发明实施例的一种示例中，可以按照城市维度对切割线程进行设置，如一级城市可以以每5个城市为一个线程，二级城市可以以每20个城市为一个线程，三级城市可以以每100个城市为一个线程，从而保证数据的平均性，使得每个线程处理的数据基本平衡，提高数据切割的效率。
步骤103，通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识。
在本发明实施例中，可以通过多个切割线程根据城市等级，对小区数据进行数据切片处理，从而生成与各个城市对应的配置文件，并为每个配置文件生成唯一的配置文件标识，从而全国有多少个城市，则生成多少个配置文件，大大减少了文件的数据量，有利于对小区数据进行更新与同步。
在本发明实施例的一种可选实施例中，可以按照城市维度进行array_slice，通过设置不同的步长，对小区数据进行数据切片处理，则步骤103可以包括如下子步骤：
子步骤S11，获取与所述城市等级对应的步长；
子步骤S12，通过多个所述切割线程按照所述步长，并行对各个所述小区数据进行切片，生成与各个所述城市对应的配置文件；
子步骤S13，并为所述配置文件生成唯一的配置文件标识。
在具体实现中，步长可以为切割线程执行的次数，一个步长表示切割线程执行一次，即对一个城市的小区数据进行切割，生成配置文件，例如切割线程的步长为2，即该切割线程需要完成两个城市小区数据的数据切割；若步长为5，即该切割线程需要完成5个城市小区数据的数据切割。则可以通过按照城市等级，设置不同的执行步长，然后通过多个切割线程按照该步长，并行对各个小区数据进行切片。具体的，可以按照预设数量对小区数据进行切片，生成与小区数据对应的若干切片文件，并为每个切片文件生成唯一的切片文件标识，采用同一小区数据对应的若干切片文件，生成与城市对应的配置文件。其中，当切割后剩余的小区数据中小区数量小于预设数量时，将剩余的小区数据作为一个切片文件。
具体的，可以按照城市等级对配置文件标识进行顺序递增，以及对切片文件标识进行顺序递增，实现文件的规范性管理，有利于对数据进行管理与更新。则可以通过多个切割线程对所有小区数据并行进行切割，并生成各个城市对应的配置文件，一个城市可以对应一个XML文件，同时将该城市下所有切片文件以Append的方式，写入配置文件，严格控制了文件碎片数量，提高了文件管理的有效性，以及数据同步的成功率。
在本发明实施例的一种示例中，可以将城市等级划分为一级城市、二级城市以及三级城市，并以每100个小区为一个合集，生成一个切片的切片规则，进行小区数据的数据切片处理。其中，不足100个小区的按1个切片进行计算。假设全国共有380个城市，则可以以每5个一级城市作为一个线程(对应5个步长)，每20个二级城市作为一个线程(对应20个步长)，每100个三级城市作为一个线程(对应100个步长)，设置15个切割线程对小区数据进行数据切片处理。
具体的，可以将前4个切割线程作为处理一级城市小区数据的线程一，则每个线程一的执行步长为5，即线程一对第一个一级城市的小区数据切割完毕后，接着对第二个一级城市的小区数据进行切割，并以此类推，4个线程全部执行完毕，一共生成与一线城市对应的20个配置文件；可以将第5至13个线程作为处理二级城市小区数据的线程二，则每个线程二的执行步长为20，切割过程与线程一相同，在此不再赘述；可以将第14与第15个线程作为处理三级城市小区数据的线程三，则每个线程三的执行步长为100，切割过程与线程一相同，在此不再赘述，从而生成380个配置文件，每个配置文件包括配置文件标识、多个切片文件以及切片文件标识，则配置文件与切片文件之间的关系可以如表1所示：
表1
则全国有多少个城市则生成多少个配置文件，严格控制了文件碎片与文件的数量，有利于对数据进行同步与维护，同时通过多个线程进行数据切片处理，进一步增加了数据处理的效率。
需要说明的是，本发明实施例包括但不限于上述示例，可以理解的是，本领域技术人员在本发明实施例的思想指导下，还可以根据实际情况进行设置，本发明对此不作限制。
在本发明实施例的一种可选实施例中，可以获取针对所述配置文件的检测进程，当所述检测进程检测到所述配置文件中不存在小区数据时，则将所述配置文件删除。
在具体实现中，当各个切割线程对小区数据切片完毕后，可以单独再执行一个检测进程，对每个配置文件进行检测，查看是否每个城市均对应一个配置文件，以及每个配置文件中是否存在小区数据，当缺少配置文件时，则生成对应的配置文件；当配置文件中不存在小区数据时，即配置文件为空数据，则将该配置文件删除，以实现从配置文件的总索引中将该城市链接节点删除，确保每个链接节点均有效，且可以存在对应的小区数据。
在本发明实施例的另一种可选实施例中，可以获取所述小区数据的数据变化量，当所述数据变化量大于预设阈值时，则进行警报提示。
在具体实现中，可以通过统计每天每个城市符合规则的小区数量，以及总城市XML文件个数，总小区个数等，实现对小区数据的统计监测。并根据城市等级，制定合理报警机制。如一线城市某天数据同比下降超过5％，二线城市报警阀值为10％，三级城市报警阀值为20％。从而通过设置警报机制，排查进程执行日志，是否出现异常，保证了数据的稳定性。
在本发明实施例的一种可选实施例中，配置文件中包括多个切片以及切片文件的切片文件标识，则可以将配置文件发送至预设客户端，所述客户端可以用于采用所述配置文件标识与所述切片文件标识，展示与所述切片文件对应的小区数据。
在具体实现中，当对小区数据进行切片完毕，生成配置文件后，可以将包含配置文件标识、多个切片文件以及切片文件的切片文件标识的配置文件，发送至客户端，使客户端根据配置文件标识与切片文件标识，展示与切片文件对应的小区数据。
具体的，客户端可以为广告平台，则广告平台接收到小区数据后，可以根据配置文件标识，确定当前的地域信息，然后从配置文件中读取与该地域信息对应的切片文件，进而展示该切片文件对应的小区数据，如展示小区图片，租房均价，小区经纬度等等。
在本发明实施例中，通过获取各个预设城市的小区数据，以及与所述城市对应的城市等级，接着确定针对所述小区数据的切割线程，然后通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识，从而实现了按照城市等级对所有小区数据进行切片，并生成与城市对应的配置文件，大大减少了文件的数据量，有利于对数据进行同步与维护，同时通过多个线程进行数据切片处理，进一步增加了数据处理的效率。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图2，示出了本发明的一种业务文件的切片装置实施例的结构框图，具体可以包括如下模块：
数据获取模块201，用于获取各个预设城市的小区数据，以及与所述城市对应的城市等级；
线程确定模块202，用于确定针对所述小区数据的切割线程；
文件生成模块203，用于通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识。
在本发明实施例的一种可选实施例中，所述配置文件包括多个切片文件以及所述切片文件的切片文件标识，所述装置还包括：
文件发送模块，用于将所述配置文件发送至预设客户端，所述客户端用于采用所述配置文件标识与所述切片文件标识，展示与所述切片文件对应的小区数据。
在本发明实施例的一种可选实施例中，所述文件生成模块203包括：
步长获取子模块，用于获取与所述城市等级对应的步长；
文件生成子模块，用于通过多个所述切割线程按照所述步长，并行对各个所述小区数据进行切片，生成与各个所述城市对应的配置文件；
标识生成子模块，用于为所述配置文件生成唯一的配置文件标识；
其中，不同城市等级对应不同的步长。
在本发明实施例的一种可选实施例中，所述文件生成子模块具体用于：
按照预设数量对所述小区数据进行切片，生成与所述小区数据对应的若干切片文件，并为每个切片文件生成唯一的切片文件标识；
采用同一小区数据对应的若干切片文件，生成与所述城市对应的配置文件；
其中，当切割后剩余的小区数据中小区数量小于预设数量时，将所述剩余的小区数据作为一个切片文件。
在本发明实施例的一种可选实施例中，还包括：
检测进程获取模块，用于获取针对所述配置文件的检测进程；
文件删除模块，用于当所述检测进程检测到所述配置文件中不存在小区数据时，则将所述配置文件删除。
在本发明实施例的一种可选实施例中，还包括：
数据量获取模块，用于获取所述小区数据的数据变化量；
警报提示模块，用于当所述数据变化量大于预设阈值时，则进行警报提示；
其中，不同的城市等级对应不同的预设阈值。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种装置，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行本发明实施例所述的方法。
本发明实施例还提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行本发明实施例所述的方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器、EEPROM、Flash以及eMMC等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种业务文件的切片方法和一种业务文件的切片装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种业务文件的切片方法，其特征在于，包括：
获取各个预设城市的小区数据，以及与所述城市对应的城市等级；
确定针对所述小区数据的切割线程；
通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识；
其中，所述通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识，包括：
获取与所述城市等级对应的步长；
通过多个所述切割线程按照所述步长，并行对各个所述小区数据进行切片，生成与各个所述城市对应的配置文件；
并为所述配置文件生成唯一的配置文件标识；
其中，不同城市等级对应不同的步长；
其中，所述通过多个所述切割线程按照所述步长，并行对各个所述小区数据进行切片，生成与各个所述城市对应的配置文件，包括：
按照预设数量对所述小区数据进行切片，生成与所述小区数据对应的若干切片文件，并为每个切片文件生成唯一的切片文件标识；
采用同一小区数据对应的若干切片文件，生成与所述城市对应的配置文件；
其中，当切割后剩余的小区数据中小区数量小于预设数量时，将所述剩余的小区数据作为一个切片文件。
2.根据权利要求1所述的方法，其特征在于，所述配置文件包括多个切片文件以及所述切片文件的切片文件标识，所述方法还包括：
将所述配置文件发送至预设客户端，所述客户端用于采用所述配置文件标识与所述切片文件标识，展示与所述切片文件对应的小区数据。
3.根据权利要求1所述的方法，其特征在于，还包括：
获取针对所述配置文件的检测进程；
当所述检测进程检测到所述配置文件中不存在小区数据时，则将所述配置文件删除。
4.根据权利要求1所述的方法，其特征在于，还包括：
获取所述小区数据的数据变化量；
当所述数据变化量大于预设阈值时，则进行警报提示；
其中，不同的城市等级对应不同的预设阈值。
5.一种业务文件的切片装置，其特征在于，包括：
数据获取模块，用于获取各个预设城市的小区数据，以及与所述城市对应的城市等级；
线程确定模块，用于确定针对所述小区数据的切割线程；
文件生成模块，用于通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识；
其中，所述文件生成模块包括：
步长获取子模块，用于获取与所述城市等级对应的步长；
文件生成子模块，用于通过多个所述切割线程按照所述步长，并行对各个所述小区数据进行切片，生成与各个所述城市对应的配置文件；
标识生成子模块，用于为所述配置文件生成唯一的配置文件标识；
其中，不同城市等级对应不同的步长；
其中，所述文件生成子模块具体用于：
按照预设数量对所述小区数据进行切片，生成与所述小区数据对应的若干切片文件，并为每个切片文件生成唯一的切片文件标识；
采用同一小区数据对应的若干切片文件，生成与所述城市对应的配置文件；
其中，当切割后剩余的小区数据中小区数量小于预设数量时，将所述剩余的小区数据作为一个切片文件。
6.根据权利要求5所述的装置，其特征在于，所述配置文件包括多个切片文件以及所述切片文件的切片文件标识，所述装置还包括：
文件发送模块，用于将所述配置文件发送至预设客户端，所述客户端用于采用所述配置文件标识与所述切片文件标识，展示与所述切片文件对应的小区数据。
7.根据权利要求5所述的装置，其特征在于，还包括：
检测进程获取模块，用于获取针对所述配置文件的检测进程；
文件删除模块，用于当所述检测进程检测到所述配置文件中不存在小区数据时，则将所述配置文件删除。
8.根据权利要求5所述的装置，其特征在于，还包括：
数据量获取模块，用于获取所述小区数据的数据变化量；
警报提示模块，用于当所述数据变化量大于预设阈值时，则进行警报提示；
其中，不同的城市等级对应不同的预设阈值。
9.一种装置，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1-4所述的一个或多个的方法。
10.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如权利要求1-4所述的一个或多个的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911102490.5A CN110956491B (zh) | 2019-11-12 | 2019-11-12 | 一种业务文件的切片方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911102490.5A CN110956491B (zh) | 2019-11-12 | 2019-11-12 | 一种业务文件的切片方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110956491A CN110956491A (zh) | 2020-04-03 |
| CN110956491B true CN110956491B (zh) | 2021-01-29 |
Family
ID=69977431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911102490.5A Active CN110956491B (zh) | 2019-11-12 | 2019-11-12 | 一种业务文件的切片方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110956491B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109246230A (zh) * | 2018-09-29 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 信息推送方法及装置 |
| CN109636334A (zh) * | 2018-12-07 | 2019-04-16 | 深圳市汇鑫科技股份有限公司 | 一种物业智慧社区服务系统及方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077360A (zh) * | 2014-06-09 | 2014-10-01 | 中国建设银行股份有限公司 | 基于gis进行房产估值的数据处理系统及方法 |
| US10387252B2 (en) * | 2014-12-31 | 2019-08-20 | Pure Storage, Inc. | Synchronously storing data in a plurality of dispersed storage networks |
| US10956449B2 (en) * | 2015-04-22 | 2021-03-23 | International Business Machines Corporation | OLAP engine workload distribution using cost based algorithms |
| CN109543076A (zh) * | 2018-10-12 | 2019-03-29 | 中国平安人寿保险股份有限公司 | 用户明细信息生成方法及装置、电子设备、存储介质 |
| CN110321374B (zh) * | 2018-10-23 | 2022-03-25 | 开采夫(杭州)科技有限公司 | 基于分布式网络的标准文件io操作系统及方法 |
-
2019
- 2019-11-12 CN CN201911102490.5A patent/CN110956491B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109246230A (zh) * | 2018-09-29 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 信息推送方法及装置 |
| CN109636334A (zh) * | 2018-12-07 | 2019-04-16 | 深圳市汇鑫科技股份有限公司 | 一种物业智慧社区服务系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 移动边缘计算任务迁移与资源管理研究;吕昕晨;《中国博士学位论文全文数据库 信息科技辑》;20190815;第I136-99页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110956491A (zh) | 2020-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107454103B (zh) | 基于时间线的网络安全事件过程分析方法及系统 | |
| US20140074884A1 (en) | Determining word information entropies | |
| CN111078513B (zh) | 日志处理方法、装置、设备、存储介质及日志告警系统 | |
| CN106815254B (zh) | 一种数据处理方法和装置 | |
| WO2019062079A1 (zh) | 基于标签库的业务对象的切分方法、电子装置及存储介质 | |
| US9355250B2 (en) | Method and system for rapidly scanning files | |
| CN110781372B (zh) | 一种优化网站的方法、装置、计算机设备及存储介质 | |
| US20200089723A1 (en) | Method and system for detecting graph based event in social networks | |
| CN109241043B (zh) | 一种数据质量检测方法及装置 | |
| CN113591824B (zh) | 交通违法数据录入异常检测方法和装置 | |
| US20180181871A1 (en) | Apparatus and method for detecting abnormal event using statistics | |
| US11797413B2 (en) | Anomaly detection method, system, and program | |
| CN110956491B (zh) | 一种业务文件的切片方法和装置 | |
| CN112104687B (zh) | 物流路由服务的监控方法、装置、电子设备及存储介质 | |
| CN116032725B (zh) | 故障根因定位模型的生成方法及装置 | |
| CN112416974A (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| WO2016188682A1 (en) | A method for determining a topology of a computer cloud at an event date | |
| CN111881170B (zh) | 时效性查询内容字段挖掘方法、装置、设备和存储介质 | |
| CN110213055B (zh) | 情报更新方法、装置、计算机设备及计算机可读存储介质 | |
| KR20210086833A (ko) | Sns 데이터를 이용한 재난 정보 제공 시스템 및 그 방법 | |
| CN112398695A (zh) | 一种大规模终端设备管控方法、系统、设备及存储介质 | |
| CN109508318B (zh) | 一种存储量统计方法、装置、电子设备和可读存储介质 | |
| US20140136487A1 (en) | Content management targeted rollback | |
| CN115757049B (zh) | 多业务模块日志记录方法、系统、电子设备及存储介质 | |
| CN112486935B (zh) | 日志记录处理方法、装置、设备及机器可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |