CN106980636A - 保单数据处理方法和装置 - Google Patents
保单数据处理方法和装置 Download PDFInfo
- Publication number
- CN106980636A CN106980636A CN201610585256.2A CN201610585256A CN106980636A CN 106980636 A CN106980636 A CN 106980636A CN 201610585256 A CN201610585256 A CN 201610585256A CN 106980636 A CN106980636 A CN 106980636A
- Authority
- CN
- China
- Prior art keywords
- task
- target database
- fractionation
- data
- declaration form
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 82
- 241001269238 Data Species 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000005194 fractionation Methods 0.000 claims description 85
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005192 partition Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种保单数据处理方法和装置，所述方法包括：当到达同步时间时，判断多个源数据库内的批处理是否完成；若是，则触发源数据库与目标数据库的同步操作，将多个源数据库中的保单数据写入目标数据库中，在所述目标数据库中得到保单数据对应的数据总表；在所述目标数据库中将所述数据总表拆分为多个维度的分区；接收终端发送的数据查询指令，所述查询指令中携带了维度信息；根据所述维度信息在对应的分区中进行查询，得到查询结果，并将查询结果返回至终端，以使得终端根据所述查询结果进行月结处理。采用本方法在进行保单月结处理时能够快速准确的提供保单统计数据。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种保单数据处理方法和装置。
背景技术
随着社会的发展，保险已经深入到人们的生活。保险的类型也是越来越多。每个类型的保险对数据准确性的要求都非常高，因此在后台处理的计算逻辑都会很复杂。对于需要进行月结处理的保单来说，由于保单数量较多，月结处理中处理的数据量非常庞大。统计保单数据会耗费较多时间。在进行月结处理时如何快速准确的提供保单统计数据成为目前需要解决的一个技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够快速准确的提供保单统计数据的保单数据处理方法和装置。
一种保单数据处理方法，所述方法包括：
当到达同步时间时，判断多个源数据库内的批处理是否完成；
若是，则触发源数据库与目标数据库的同步操作，将多个源数据库中的保单数据写入目标数据库中，在所述目标数据库中得到保单数据对应的数据总表；
在所述目标数据库中将所述数据总表拆分为多个维度的分区；
接收终端发送的数据查询指令，所述查询指令中携带了维度信息；
根据所述维度信息在对应的分区中进行查询，得到查询结果，并将查询结果返回至终端，以使得终端根据所述查询结果进行月结处理。
在其中一个实施例中，所述判断多个数据库内的批处理是否完成包括：
启动job，利用job获取批处理对应的日志；
利用job检查批处理对应的日志，根据日志中记录的内容判断批处理是否完成。
在其中一个实施例中，在所述触发源数据库与目标数据库的同步操作之后，还包括：
记录同步操作日志；
经过估计时间段后，利用job检查所述同步操作日志，根据所述同步操作日志中记录的内容来判断同步操作是否完成；
若是，则生成同步操作完成的提示信息，并将所述提示信息发送至终端。
在其中一个实施例中，所述在所述目标数据库中将所述数据总表拆分为多个维度的分区包括：
在目标数据库中运行多个线程对所述数据总表并发执行拆分任务；
记录拆分任务的拆分日志；
当多个线程从所述目标数据库中退出后再次执行拆分任务时，根据所述拆分日志查找多个线程在退出时对应的断点任务，多个线程从断点任务开始继续并发执行拆分任务，直至将所述数据总表拆分为多个维度的分区。
在其中一个实施例中，所述在目标数据库中运行多个线程对所述数据表并发执行拆分任务包括：
在所述目标数据库中获取拆分任务标识，根据拆分任务标识对拆分任务进行分组，得到多个任务组；
对任务组分配对应的线程；
通过多个线程对任务组并发执行拆分任务。
一种保单数据处理装置，述装置包括：
判断模块，用于当到达同步时间时，判断多个源数据库内的批处理是否完成；
同步模块，用于若多个源数据库内的批处理完成，则触发源数据库与目标数据库的同步操作，将多个源数据库中的保单数据写入目标数据库中，在所述目标数据库中得到保单数据对应的数据总表；
拆分模块，用于在所述目标数据库中将所述数据总表拆分为多个维度的分区；
接收模块，用于接收终端发送的数据查询指令，所述查询指令中携带了维度信息；
查询模块，用于根据所述维度信息在对应的分区中进行查询，得到查询结果；
发送模块，用于并将查询结果返回至终端，以使得终端根据所述查询结果进行月结处理。
在其中一个实施例中，所述判断模块还用于启动job，利用job获取批处理对应的日志；利用job检查批处理对应的日志，根据日志中记录的内容判断批处理是否完成。
在其中一个实施例中，所述装置还包括：
记录模块，用于记录同步操作日志；
所述判断模块还用于经过估计时间段后，利用job检查所述同步操作日志，根据所述同步操作日志中记录的内容来判断同步操作是否完成；若是，则生成同步操作完成的提示信息；
所述发送模块还用于将所述提示信息发送至终端。
在其中一个实施例中，所述拆分模块还用于在目标数据库中运行多个线程对所述数据总表并发执行拆分任务；记录拆分任务的拆分日志；当多个线程从所述目标数据库中退出后再次执行拆分任务时，根据所述拆分日志查找多个线程在退出时对应的断点任务，多个线程从断点任务开始继续并发执行拆分任务，直至将所述数据总表拆分为多个维度的分区。
在其中一个实施例中，所述拆分模块还用于在所述目标数据库中获取拆分任务标识，根据拆分任务标识对拆分任务进行分组，得到多个任务组；对任务组分配对应的线程；通过多个线程对任务组并发执行拆分任务。
上述保单数据处理方法和装置，当到达同步时间时，如果多个源数据库内的批处理已完成；则触发源数据库与目标数据库的同步操作。由此将多个源数据库中的保单数据写入至目标数据库中，在目标数据库中得到保单数据对应的数据总表。通过多个源数据库与目标数据库的同步操作将海量的保单数据写入目标数据库中，由此确保了保单统计数据的准确性。通过在目标数据库中将数据总表拆分为多个维度的分区。在接收到终端发送的数据查询指令，能够根据查询指令中携带的维度信息快速在分区中进行查询，由此能够使得终端根据查询结果进行保单月结处理。从而在进行保单月结处理时能够快速准确的提供保单统计数据。
附图说明
图1为一个实施例中保单数据处理方法的应用环境图；
图2为一个实施例中保单数据处理方法的流程图；
图3为一个实施例中服务器的结构示意图；
图4为一个实施例中保单数据处理装置的结构示意图；
图5为另一个实施例中保单数据处理装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例中提供的保单数据处理方法可以应用于如图1所示的应用环境中。终端102与服务器104通过网络连接。服务器104运行了job和kettle。job被配置同步时间，当到达同步时间是，启动job并且利用job判断多个源数据库内的批处理是否完成，若已完成，则触发kettle执行源数据库与目标数据库的同步操作，通过kettle将多个源数据库中的保单数据写入目标数据库中，在目标数据库中得到保单数据对应的数据总表。服务器104在目标数据库中将数据总表拆分为多个维度的分区。终端102向服务器104发送数据查询指令，服务器104接收数据查询指令，根据查询指令中携带的维度信息在对应的分区中进行查询，得到查询结果，并将查询结果返回至终端102。终端102根据查询结果进行月结处理。由此实现了在进行保单月结处理时快速准确的提供保单统计数据。
在一个实施例中，如图2所示，提供了一种保单数据处理方法，以该方法应用于服务器为例进行说明，具体包括以下步骤：
步骤202，当到达同步时间时，判断多个源数据库内的批处理是否完成；若是，则执行步骤204，否则，等待批处理完成。
服务器上运行了job和kettle，其中，kettle依托kettle平台进行工作。同步时间是根据保单进行月结处理的需要来设定的时间。例如，每个月1号的20:00。同步时间可以是工作时间，也可以是非工作时间。job被配置了同步时间。
服务器上部署了多个数据库，包括源数据库和目标数据库。其中，源数据库中存储机构的保单数据。源数据库可以与机构的数量相同，每个机构都配置了对应的源数据库。服务器可以是独立服务器，也可以是集群服务。
在其中一个实施例中，判断多个数据库内的批处理是否完成包括：启动job，利用job获取批处理对应的日志；利用job检查批处理对应的日志，根据日志中记录的内容判断批处理是否完成。
批处理是指保单保全结算和保单月结快照刷新等。在多个源数据库中进行批处理操作，并记录批处理对应的日志。日志中记录了批处理执行的进度状况。当到达同步时间时，启动job，利用job获取批处理对应的日志，并查看日志记录的内容，根据日志记录的内容来检查批处理是否完成。如果批处理未完成，则等待预设时间，例如，等待5分钟，再次利用job获取批处理对应的日志，日志中记录了批处理的执行状况，由此利用job根据日志中记录的内容来检查批处理是否完成。循环执行，直至job确定多个源数据库中的批处理完成。
步骤204，触发源数据库与目标数据库的同步操作，将多个源数据库中的保单数据写入目标数据库中，在目标数据库中得到保单数据对应的数据总表。
源数据库中的保单数据可以以数据表的形式进行存储。多个源数据库中的数据表可以采用相同的格式。数据表中包括保单号、被保险人和保费等。当job确定多个源数据库中的批处理完成时，触发kettle执行多个源数据库与目标数据库的同步操作。具体的，利用kettle删除目标数据库中已经存在的数据，新建转换，获取源数据库中需要同步的数据表，在开始节点后依次设置多个节点。节点数量可以与源数据库的数量相同。对每个节点配置对应的线程，每个线程负责执行一个源数据库的文件输出至目标数据库。利用多个线程将多个源数据库中的数据表导入目标数据库中。对保单数据采用merger处理，在目标数据库中进行全量插入同步操作，由此在目标数据库中快速得到保单数据对应的数据总表。通过多个线程并发执行同步操作，有效提高了多个源数据库中保单数据的同步效率。
通过增加job检查源数据库中批处理的执行状况，在源数据库中的批处理完成时，由job触发kettle执行源数据库与目标数据之间的同步操作。从而有效降低了同步操作与kettle平台之间的耦合度，提高了海量保单数据的同步效率。
步骤206，在目标数据库中将数据总表拆分为多个维度的分区。
由于数据总表中的数据量通常是百万级以及千万级，数据总表过于庞大。在数据总表中进行数据查询的耗时过长，也使得目标数据库的性能下降，导致月结处理受到不利影响。
为了便于月结处理，在目标数据库中将数据总表拆分为多个维度的分区。分区是指将数据总表拆分为数据总表中的保单数据还分在多个位置存放。分区后数据总表的保单数据散列到数据库中的多个位置。
服务器在目标数据库中获取维度字段，根据维度字段将数据总表拆分为多个分区。维度字段包括时间和机构等。其中，时间可以是一天、一周或一个月等。机构可以是机构所在地的标识。服务器还可以为分区的数据量配置分区阈值。例如，阈值为1万条。服务器在根据维度字段和分区阈值将数据总表拆分为多个分区。对于不足阈值的某个维度的保单数据，可以单独构成一个分区。进一步的，服务器还可以将分区划分为多个子分区。例如，服务器根据险种和保费等对分区划分为子分区。通过分区可以有效减少目标数据库的负担，提高目标数据库的性能。
步骤208，接收终端发送的数据查询指令，查询指令中携带了维度信息。
步骤210，根据维度信息在对应的分区中进行查询，得到查询结果，并将查询结果返回至终端，以使得终端根据查询结果进行月结处理。
终端向服务器发送数据查询指令，查询指令中携带了维度信息。维度信息中可以包括一个或多个维度字段，例如，时间和机构等。服务器接收数据查询指令，根据维度信息在对应的分区中进行查询，得到查询结果。服务器不需要在数据总表中进行查询，能够有效提高查询效率。服务器将查询结果返回至终端，终端根据查询结果进行保单月结处理。
对于保单月结处理中不需要的分区，终端可以向服务器发送删除指令，服务器根据删除指令将相应的分区删掉。传统的方式中，如果是删除数据总表中的数据，需要逐行删除，如果删除的数据较多，则会耗费较多时间。本实施例中，服务器可以直接获取分区的地址，将相应的分区整个删掉，操作简单快捷。
进一步的，终端还可以将保单月结处理所需的分区一并从目标数据库中导出，不需要在多个源数据库中逐个导出保单数据，进一步提高了保单月结处理的工作效率。终端对导出的保单数据还可以进行数据清洗和数据压缩。数据清洗时指对保单数据进行审核和校验，删除重复的保单数据以及无效的保单数据等。数据压缩是指将同险种的保单数据进行合并压缩处理。
本实施例中，当到达同步时间时，如果多个源数据库内的批处理已完成；则触发源数据库与目标数据库的同步操作。由此将多个源数据库中的保单数据写入至目标数据库中，在目标数据库中得到保单数据对应的数据总表。通过多个源数据库与目标数据库的同步操作将海量的保单数据写入目标数据库中，由此确保了保单统计数据的准确性。通过在目标数据库中将数据总表拆分为多个维度的分区。在接收到终端发送的数据查询指令，能够根据查询指令中携带的维度信息快速在分区中进行查询，由此能够使得终端根据查询结果进行保单月结处理。从而在进行保单月结处理时能够快速准确的提供保单统计数据。
在一个实施例中，在触发源数据库与目标数据库的同步操作的步骤之后，还包括：记录同步操作日志；经过估计时间段后，利用job检查同步操作日志，根据同步操作日志中记录的内容来判断同步操作是否完成；若是，则生成同步操作完成的提示信息，并将提示信息发送至终端。
本实施例中，在kettle执行多个源数据库与目标数据库同步操作的同时，服务器记录同步操作日志。同步操作日志中记录了同步操作的执行状况。经过预估时间后，服务器利用job检查同步操作日志，以判断同步操作是否完成。估计时间是指根据历史数据估计出的执行同步操作所需的时间，是一个经验值。例如，估计时间可以是1个小时。
在触发同步操作后，经过预估时间，如果job判定同步操作未完成，则等待预设时间，再次获取同步操作日志，检查同步操作是否完成，循环执行，直至同步操作完成。当job判定同步操作完成，则服务器生成同步操作完成的提示信息，并将提示信息发送至终端。由此对同步操作进行实时监控，并且为终端及时了解同步操作执行状况提供了方便。
在一个实施例中，在目标数据库中将数据总表拆分为多个维度的分区的步骤包括：在目标数据库中运行多个线程对数据总表并发执行拆分任务；记录拆分任务的拆分日志；当多个线程从目标数据库中退出后再次执行拆分任务时，根据拆分日志查找多个线程在退出时对应的断点任务，多个线程从断点任务开始继续并发执行拆分任务，直至将数据总表拆分为多个维度的分区。
本实施例中，由于数据总表的保单数据过于庞大，服务器在目标数据库中运行多个线程并发执行对数据总表的拆分任务。服务器可以根据维度字段来生成拆分任务。不同线程执行不同维度字段的拆分任务，线程数量少于拆分任务的数量。多个线程按照预设的逻辑并发执行拆分任务，能够有效提高数据总表的拆分效率。
服务器对数据总表拆分过程记录拆分日志，通过拆分日志记录数据总表的拆分的状况，由此对拆分过程进行监控。一旦在数据总表的拆分过程中出错，服务器可以通过调用拆分日志快速定位到出错的位置。
当多个线程在某个时刻从目标数据库中退出时，可能还没有对所有的拆分任务执行完毕。需要再一次运行线程对尚未执行的拆分任务继续进行并发操作。具体的，当多个线程再次运行时，根据拆分日志中记录的任务的执行状况查找出多个线程从目标数据库中退出时对应的断点任务。从断点任务开始，多个线程再次继续执行并发操作，按照预设的逻辑对保单进行处理。
本实施例中，在目标数据库中运行多个线程对数据总表并发执行拆分任务，并且记录相应的拆分日志。当多个线程在目标数据库中退出后再次运行执行拆分任务时，不需要对所有的拆分任务重新执行。可以根据拆分任务的执行状况查找多个线程在退出时对应的断点任务，使得多个线程从断点任务开始继续执行并发操作。由此省去了对拆分任务进行全量补执行的时间，而且通过查找断点任务，在断点任务开始继续执行，有效防止拆分任务的漏执行和误执行等，有效提高了保单数据的处理效率。
在一个实施例中，在目标数据库中运行多个线程对数据表并发执行拆分任务的步骤包括：在目标数据库中获取拆分任务标识，根据拆分任务标识对拆分任务进行分组，得到多个任务组；对任务组分配对应的线程；通过多个线程对任务组并发执行拆分任务。
本实施例中，每个拆分任务都具有唯一的拆分任务标识。服务器获取拆分任务标识，根据拆分任务标识对拆分任务进行分组，得到多个任务组。
在一个实施例中，服务器获取拆分任务标识，根据预设的任务组数量按照拆分任务标识的顺序对拆分任务进行分组，得到多个任务组。例如，目标数据库中的拆分任务总共有100个。每个拆分任务都具有对应的拆分任务标识。预设的任务组为10个。根据拆分任务标识的顺序将每10个任务分为一组，由此得到10个任务组。
在一个实施例中，拆分任务标识可以是任务编号，服务器获取拆分任务，根据任务编号获取编号尾数相同的任务，将编号尾数相同的拆分任务分为一个任务组，得到多个任务组。例如，数据库中的任务总共有100个。每个任务都具有对应的任务编号，如任务1、任务2……任务100。将任务编号尾数相同的任务分为一组。如，将任务1、任务11、任务21……任务91分为一组，由此得到10个任务组。
服务器对每个任务组分配对应的线程。也就是说，每个线程会固定执行对应的任务组中的任务。例如，总共有10个任务组，每个任务组中有10个任务，服务器上运行了5个线程，服务器将线程1分配给任务组1和任务组3，则线程1将固定执行任务组1中的10个任务，直至任务组1中的任务执行完毕。线程1在执行完任务组1之后，再去执行任务组3。多个线程根据对应的任务组执行并发操作，对保单进行处理。由于线程固定执行某个任务标识对应的任务，因此容易发现任务执行过程中出现的异常，维护成本较低。
在一个实施例中，通过多个线程对任务组并发执行拆分任务的步骤包括：多个线程随机获取拆分任务，执行并发操作；在拆分任务执行完之后，线程随机获取下一个拆分任务进行对应操作。
本实施例中，线程不会固定执行某个拆分任务，可以随机获取拆分任务来执行。多个线程可以同时获取多个拆分任务并发执行操作，对数据总表进行拆分处理。在线程处理完一个拆分任务后，可以自行随机获取下一个拆分任务来执行。由于不需要线程固定执行某个拆分任务，因此能够有效缩短执行拆分任务的耗时。
在一个实施例中，如图3所示，提供了一种服务器，包括通过系统总线连接的处理器、内存储器、非易失性存储介质和网络接口。其中，该服务器的非易失性存储介质中存储有操作系统和保单数据处理装置，保单数据处理装置用于实现在进行月结处理时快速准确的提供保单统计数据。服务器的处理器用于提供计算和控制能力，被配置为执行一种保单数据处理方法。
在一个实施例中，如图4所示，提供了一种保单数据处理装置，包括：判断模块402、同步模块404、拆分模块406、接收模块408、查询模块410和发送模块412，其中：
判断模块402，用于当到达同步时间时，判断多个源数据库内的批处理是否完成。
同步模块404，用于若多个源数据库内的批处理完成，则触发源数据库与目标数据库的同步操作，将多个源数据库中的保单数据写入目标数据库中，在目标数据库中得到保单数据对应的数据总表。
拆分模块406，用于在目标数据库中将数据总表拆分为多个维度的分区。
接收模块408，用于接收终端发送的数据查询指令，查询指令中携带了维度信息。
查询模块410，用于根据维度信息在对应的分区中进行查询，得到查询结果。
发送模块412，用于并将查询结果返回至终端，以使得终端根据查询结果进行月结处理。
在一个实施例中，判断模块402还用于启动job，利用job获取批处理对应的日志；利用job检查批处理对应的日志，根据日志中记录的内容判断批处理是否完成。
在一个实施例中，如图5所示，该装置还包括：记录模块414，用于记录同步操作日志；判断模块402还用于经过估计时间段后，利用job检查同步操作日志，根据同步操作日志中记录的内容来判断同步操作是否完成；若是，则生成同步操作完成的提示信息；发送模块412还用于将提示信息发送至终端。
在一个实施例中，拆分模块406还用于在目标数据库中运行多个线程对数据总表并发执行拆分任务；记录拆分任务的拆分日志；当多个线程从目标数据库中退出后再次执行拆分任务时，根据拆分日志查找多个线程在退出时对应的断点任务，多个线程从断点任务开始继续并发执行拆分任务，直至将数据总表拆分为多个维度的分区。
在一个实施例中，拆分模块406还用于在目标数据库中获取拆分任务标识，根据拆分任务标识对拆分任务进行分组，得到多个任务组；对任务组分配对应的线程；通过多个线程对任务组并发执行拆分任务。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种保单数据处理方法，所述方法包括：
当到达同步时间时，判断多个源数据库内的批处理是否完成；
若是，则触发源数据库与目标数据库的同步操作，将多个源数据库中的保单数据写入目标数据库中，在所述目标数据库中得到保单数据对应的数据总表；
在所述目标数据库中将所述数据总表拆分为多个维度的分区；
接收终端发送的数据查询指令，所述查询指令中携带了维度信息；
根据所述维度信息在对应的分区中进行查询，得到查询结果，并将查询结果返回至终端，以使得终端根据所述查询结果进行月结处理。
2.根据权利要求1所述的方法，其特征在于，所述判断多个数据库内的批处理是否完成包括：
启动job，利用job获取批处理对应的日志；
利用job检查批处理对应的日志，根据日志中记录的内容判断批处理是否完成。
3.根据权利要求1所述的方法，其特征在于，在所述触发源数据库与目标数据库的同步操作之后，还包括：
记录同步操作日志；
经过估计时间段后，利用job检查所述同步操作日志，根据所述同步操作日志中记录的内容来判断同步操作是否完成；
若是，则生成同步操作完成的提示信息，并将所述提示信息发送至终端。
4.根据权利要求1所述的方法，其特征在于，所述在所述目标数据库中将所述数据总表拆分为多个维度的分区包括：
在目标数据库中运行多个线程对所述数据总表并发执行拆分任务；
记录拆分任务的拆分日志；
当多个线程从所述目标数据库中退出后再次执行拆分任务时，根据所述拆分日志查找多个线程在退出时对应的断点任务，多个线程从断点任务开始继续并发执行拆分任务，直至将所述数据总表拆分为多个维度的分区。
5.根据权利要求4所述的方法，其特征在于，所述在目标数据库中运行多个线程对所述数据表并发执行拆分任务包括：
在所述目标数据库中获取拆分任务标识，根据拆分任务标识对拆分任务进行分组，得到多个任务组；
对任务组分配对应的线程；
通过多个线程对任务组并发执行拆分任务。
6.一种保单数据处理装置，其特征在于，所述装置包括：
判断模块，用于当到达同步时间时，判断多个源数据库内的批处理是否完成；
同步模块，用于若多个源数据库内的批处理完成，则触发源数据库与目标数据库的同步操作，将多个源数据库中的保单数据写入目标数据库中，在所述目标数据库中得到保单数据对应的数据总表；
拆分模块，用于在所述目标数据库中将所述数据总表拆分为多个维度的分区；
接收模块，用于接收终端发送的数据查询指令，所述查询指令中携带了维度信息；
查询模块，用于根据所述维度信息在对应的分区中进行查询，得到查询结果；
发送模块，用于并将查询结果返回至终端，以使得终端根据所述查询结果进行月结处理。
7.根据权利要求6所述的装置，其特征在于，所述判断模块还用于启动job，利用job获取批处理对应的日志；利用job检查批处理对应的日志，根据日志中记录的内容判断批处理是否完成。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
记录模块，用于记录同步操作日志；
所述判断模块还用于经过估计时间段后，利用job检查所述同步操作日志，根据所述同步操作日志中记录的内容来判断同步操作是否完成；若是，则生成同步操作完成的提示信息；
所述发送模块还用于将所述提示信息发送至终端。
9.根据权利要求6所述的装置，其特征在于，所述拆分模块还用于在目标数据库中运行多个线程对所述数据总表并发执行拆分任务；记录拆分任务的拆分日志；当多个线程从所述目标数据库中退出后再次执行拆分任务时，根据所述拆分日志查找多个线程在退出时对应的断点任务，多个线程从断点任务开始继续并发执行拆分任务，直至将所述数据总表拆分为多个维度的分区。
10.根据权利要求9所述的装置，其特征在于，所述拆分模块还用于在所述目标数据库中获取拆分任务标识，根据拆分任务标识对拆分任务进行分组，得到多个任务组；对任务组分配对应的线程；通过多个线程对任务组并发执行拆分任务。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610585256.2A CN106980636B (zh) | 2016-07-22 | 2016-07-22 | 保单数据处理方法和装置 |
| PCT/CN2017/078356 WO2018014582A1 (zh) | 2016-07-22 | 2017-03-28 | 保单数据处理方法、装置、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610585256.2A CN106980636B (zh) | 2016-07-22 | 2016-07-22 | 保单数据处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106980636A true CN106980636A (zh) | 2017-07-25 |
| CN106980636B CN106980636B (zh) | 2020-04-03 |
Family
ID=59340373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610585256.2A Active CN106980636B (zh) | 2016-07-22 | 2016-07-22 | 保单数据处理方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106980636B (zh) |
| WO (1) | WO2018014582A1 (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107391758A (zh) * | 2017-08-24 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 数据库切换方法、装置及设备 |
| CN108509478A (zh) * | 2017-11-23 | 2018-09-07 | 平安科技（深圳）有限公司 | 规则引擎文件的拆分调用方法、电子装置及存储介质 |
| CN108629699A (zh) * | 2018-05-15 | 2018-10-09 | 中国平安人寿保险股份有限公司 | 数据上传方法、数据上传设备、存储介质及装置 |
| CN109213768A (zh) * | 2018-09-25 | 2019-01-15 | 中国平安人寿保险股份有限公司 | 电子装置、基于多个临时数据表的数据查询方法及存储介质 |
| WO2019056769A1 (zh) * | 2017-09-25 | 2019-03-28 | 平安科技（深圳）有限公司 | 基于关联交易数据处理的优化方法、装置和计算机设备 |
| CN109583829A (zh) * | 2018-10-19 | 2019-04-05 | 中国平安人寿保险股份有限公司 | 基于新产品开发的月结信息处理方法、电子装置及可读存储介质 |
| CN109801174A (zh) * | 2018-12-26 | 2019-05-24 | 平安科技（深圳）有限公司 | 理赔数据处理方法、装置、设备及计算机可读存储介质 |
| CN110196880A (zh) * | 2018-06-08 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 异构数据库数据同步方法和装置、存储介质及电子装置 |
| CN110659328A (zh) * | 2019-08-30 | 2020-01-07 | 中国人民财产保险股份有限公司 | 数据查询方法、装置、设备及计算机可读存储介质 |
| CN110851533A (zh) * | 2019-11-13 | 2020-02-28 | 泰康保险集团股份有限公司 | 跨异构数据库的数据同步方法、装置、介质及电子设备 |
| CN110928947A (zh) * | 2019-10-16 | 2020-03-27 | 中国平安财产保险股份有限公司 | 基于kettle的数据同步方法、装置及相关设备 |
| CN111078510A (zh) * | 2018-10-18 | 2020-04-28 | 北京国双科技有限公司 | 一种任务处理进度的记录方法及装置 |
| CN111126935A (zh) * | 2019-11-19 | 2020-05-08 | 泰康保险集团股份有限公司 | 保全数据的处理方法、装置、电子设备和存储介质 |
| CN112100219A (zh) * | 2020-09-22 | 2020-12-18 | 平安养老保险股份有限公司 | 基于数据库查询处理的报表生成方法、装置、设备和介质 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064295A (zh) * | 2018-09-05 | 2018-12-21 | 中国平安财产保险股份有限公司 | 投保报价的计算方法、装置、计算机设备和存储介质 |
| CN110895488B (zh) * | 2018-09-12 | 2023-10-20 | 三六零科技集团有限公司 | 任务调度方法及装置 |
| CN110134512B (zh) * | 2019-04-15 | 2024-02-13 | 平安科技（深圳）有限公司 | 集群服务器执行任务的方法、装置、设备及存储介质 |
| CN110308980A (zh) * | 2019-06-27 | 2019-10-08 | 深圳前海微众银行股份有限公司 | 数据的批量处理方法、装置、设备及存储介质 |
| CN110489275B (zh) * | 2019-07-23 | 2023-06-02 | 中国平安财产保险股份有限公司 | 一种单据信息的处理方法及相关设备 |
| CN112306949B (zh) * | 2019-07-31 | 2022-11-01 | 中科寒武纪科技股份有限公司 | 数据处理方法及装置以及相关产品 |
| CN110599354B (zh) * | 2019-08-15 | 2023-11-21 | 中国平安财产保险股份有限公司 | 线上对账方法、系统、计算机设备和计算机可读存储介质 |
| CN110825953B (zh) * | 2019-11-12 | 2024-03-22 | 上海德启信息科技有限公司 | 数据查询方法、装置和设备 |
| CN111475554B (zh) * | 2020-04-30 | 2024-03-01 | 上海东普信息科技有限公司 | 基于快递状态的数据展示方法、装置、设备及存储介质 |
| CN112581295B (zh) * | 2020-12-15 | 2023-09-26 | 平安养老保险股份有限公司 | 基于字段拆分的产品数据处理方法、装置、设备和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104111957A (zh) * | 2013-04-22 | 2014-10-22 | 阿里巴巴集团控股有限公司 | 一种分布式事务同步的方法及系统 |
| US20150019488A1 (en) * | 2013-07-09 | 2015-01-15 | Oracle International Corporation | Automated database migration architecture |
| CN105138615A (zh) * | 2015-08-10 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种构建大数据分布式日志的方法和系统 |
| CN105320676A (zh) * | 2014-07-04 | 2016-02-10 | 中国移动通信集团黑龙江有限公司 | 一种客户数据查询服务方法及装置 |
| CN105760485A (zh) * | 2016-02-17 | 2016-07-13 | 上海携程商务有限公司 | 财务数据抽取方法及系统 |
-
2016
- 2016-07-22 CN CN201610585256.2A patent/CN106980636B/zh active Active
-
2017
- 2017-03-28 WO PCT/CN2017/078356 patent/WO2018014582A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104111957A (zh) * | 2013-04-22 | 2014-10-22 | 阿里巴巴集团控股有限公司 | 一种分布式事务同步的方法及系统 |
| US20150019488A1 (en) * | 2013-07-09 | 2015-01-15 | Oracle International Corporation | Automated database migration architecture |
| CN105320676A (zh) * | 2014-07-04 | 2016-02-10 | 中国移动通信集团黑龙江有限公司 | 一种客户数据查询服务方法及装置 |
| CN105138615A (zh) * | 2015-08-10 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种构建大数据分布式日志的方法和系统 |
| CN105760485A (zh) * | 2016-02-17 | 2016-07-13 | 上海携程商务有限公司 | 财务数据抽取方法及系统 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107391758A (zh) * | 2017-08-24 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 数据库切换方法、装置及设备 |
| WO2019056769A1 (zh) * | 2017-09-25 | 2019-03-28 | 平安科技（深圳）有限公司 | 基于关联交易数据处理的优化方法、装置和计算机设备 |
| CN108509478A (zh) * | 2017-11-23 | 2018-09-07 | 平安科技（深圳）有限公司 | 规则引擎文件的拆分调用方法、电子装置及存储介质 |
| CN108629699A (zh) * | 2018-05-15 | 2018-10-09 | 中国平安人寿保险股份有限公司 | 数据上传方法、数据上传设备、存储介质及装置 |
| CN108629699B (zh) * | 2018-05-15 | 2023-04-18 | 中国平安人寿保险股份有限公司 | 数据上传方法、数据上传设备、存储介质及装置 |
| CN110196880A (zh) * | 2018-06-08 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 异构数据库数据同步方法和装置、存储介质及电子装置 |
| CN110196880B (zh) * | 2018-06-08 | 2023-05-12 | 腾讯科技（深圳）有限公司 | 异构数据库数据同步方法和装置、存储介质及电子装置 |
| CN109213768A (zh) * | 2018-09-25 | 2019-01-15 | 中国平安人寿保险股份有限公司 | 电子装置、基于多个临时数据表的数据查询方法及存储介质 |
| CN111078510A (zh) * | 2018-10-18 | 2020-04-28 | 北京国双科技有限公司 | 一种任务处理进度的记录方法及装置 |
| CN111078510B (zh) * | 2018-10-18 | 2023-05-16 | 北京国双科技有限公司 | 一种任务处理进度的记录方法及装置 |
| CN109583829A (zh) * | 2018-10-19 | 2019-04-05 | 中国平安人寿保险股份有限公司 | 基于新产品开发的月结信息处理方法、电子装置及可读存储介质 |
| CN109583829B (zh) * | 2018-10-19 | 2024-03-15 | 中国平安人寿保险股份有限公司 | 基于新产品开发的月结信息处理方法、电子装置及可读存储介质 |
| CN109801174A (zh) * | 2018-12-26 | 2019-05-24 | 平安科技（深圳）有限公司 | 理赔数据处理方法、装置、设备及计算机可读存储介质 |
| CN109801174B (zh) * | 2018-12-26 | 2023-11-17 | 平安科技（深圳）有限公司 | 理赔数据处理方法、装置、设备及计算机可读存储介质 |
| CN110659328B (zh) * | 2019-08-30 | 2022-04-29 | 中国人民财产保险股份有限公司 | 数据查询方法、装置、设备及计算机可读存储介质 |
| CN110659328A (zh) * | 2019-08-30 | 2020-01-07 | 中国人民财产保险股份有限公司 | 数据查询方法、装置、设备及计算机可读存储介质 |
| CN110928947A (zh) * | 2019-10-16 | 2020-03-27 | 中国平安财产保险股份有限公司 | 基于kettle的数据同步方法、装置及相关设备 |
| CN110851533A (zh) * | 2019-11-13 | 2020-02-28 | 泰康保险集团股份有限公司 | 跨异构数据库的数据同步方法、装置、介质及电子设备 |
| CN111126935A (zh) * | 2019-11-19 | 2020-05-08 | 泰康保险集团股份有限公司 | 保全数据的处理方法、装置、电子设备和存储介质 |
| CN112100219A (zh) * | 2020-09-22 | 2020-12-18 | 平安养老保险股份有限公司 | 基于数据库查询处理的报表生成方法、装置、设备和介质 |
| CN112100219B (zh) * | 2020-09-22 | 2024-01-30 | 平安养老保险股份有限公司 | 基于数据库查询处理的报表生成方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018014582A1 (zh) | 2018-01-25 |
| CN106980636B (zh) | 2020-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106980636A (zh) | 保单数据处理方法和装置 | |
| CN109033123A (zh) | 基于大数据的查询方法、装置、计算机设备和存储介质 | |
| JP2012533796A5 (zh) | ||
| CN107766101A (zh) | App启动事件的处理方法、装置和设备 | |
| CN104391787B (zh) | 一种针对目标方法的监控、热切入方法及装置 | |
| CN109951547A (zh) | 事务请求并行处理方法、装置、设备和介质 | |
| KR102024005B1 (ko) | 블록체인을 이용한 트랜잭션 처리 방법 및 이를 이용한 트랜잭션 서버 | |
| CN105045632A (zh) | 一种多核环境下实现免锁队列的方法和设备 | |
| CN104503912A (zh) | 一种服务响应过程的监测方法及装置 | |
| CN106598874A (zh) | 一种软件自动化测试方法及装置 | |
| US9183122B2 (en) | Automated program testing to facilitate recreation of test failure | |
| CN107783829A (zh) | 任务处理方法、装置、存储介质和计算机设备 | |
| CN107315586A (zh) | 应用打包的方法、装置和系统 | |
| CN110083533A (zh) | 基于Mock服务的数据处理方法及装置 | |
| CN107644041A (zh) | 保单结算处理方法和装置 | |
| CN107644382A (zh) | 保单信息统计方法和装置 | |
| Weber et al. | CCaaS: Online Conformance Checking as a Service. | |
| US20120221579A1 (en) | Self-monitoring object-oriented applications | |
| CN107704369A (zh) | 一种操作日志的记录方法、电子设备、存储介质、系统 | |
| CN103092955B (zh) | 检查点操作方法、装置及系统 | |
| CN105760283B (zh) | 一种日志输出方法和装置 | |
| CN105447012B (zh) | 一种用于数据库的写入互斥方法及装置 | |
| CN103530742B (zh) | 提高排程运算速度的方法及装置 | |
| CN103488549B (zh) | 多镜像数据的回滚处理系统和回滚处理方法 | |
| CN110706108A (zh) | 在区块链中并发执行交易的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |