CN109408587A - 数据的同步方法及终端设备 - Google Patents

数据的同步方法及终端设备 Download PDF

Info

Publication number
CN109408587A
CN109408587A CN201811020170.0A CN201811020170A CN109408587A CN 109408587 A CN109408587 A CN 109408587A CN 201811020170 A CN201811020170 A CN 201811020170A CN 109408587 A CN109408587 A CN 109408587A
Authority
CN
China
Prior art keywords
data
list
terminal device
grade
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811020170.0A
Other languages
English (en)
Inventor
郑晓雾
许进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN201811020170.0A priority Critical patent/CN109408587A/zh
Publication of CN109408587A publication Critical patent/CN109408587A/zh
Withdrawn legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于数据处理技术领域,提供了一种数据的同步方法及终端设备,通过根据终端设备发送的同步请求包含的用户信息,判断是否允许终端设备同步终端设备发送的搜索等级对应的数据,若允许同步搜索等级对应的数据,则从搜索等级对应的全部数据库中调用所述目标数据类型对应的表单,并整合同步请求包含的目标数据类型对应的表单,生成表单集合,将表单集合发送至所述终端设备,并在所述数据库中的表单的数据出现更新时,确定表单中出现数据更新的表单单元,根据表单处理线程对存储于终端设备的所述表单集合中的所述数据更新单元进行数据更新,以提高数据同步的及时性,避免用户的因数据过时而出现分析错误。

Description

数据的同步方法及终端设备
技术领域
本发明属于数据处理技术领域,尤其涉及一种数据的同步方法及终端设备。
背景技术
当前,一个大型的金融机构往往采用管理信息系统(Management InformationSystem,MIS)对各类数据进行统计和管理,而数据报表往往是存储于各个部门以及各个科室的分布式数据库中,当工作人员需要使用一批数据时,需要通过MIS从各个分布式数据库中进行数据调用。
然而,由于各类数据的重要性或来源不同,如果所有工作人员所使用的终端设备均能对所有数据进行调用,显然会存在数据安全的问题。另外,如果在终端设备调用数据之后,分布式数据库中有些已经被调用的数据项出现了数据更新,则工作人员在终端设备中再利用这些数据项进行业务分析,就会因为数据已经过时,导致分析错误。
发明内容
有鉴于此,本发明实施例提供了一种数据的同步方法及终端设备,以解决现有技术存在的安全性低以及数据过时的问题。
本发明实施例的第一方面提供了一种数据的同步方法,包括:
接收终端设备发送的同步请求,所述同步请求包括用户信息、目标数据类别以及搜索等级;
根据所述用户信息,判断是否允许所述终端设备同步所述搜索等级对应的数据;
若允许所述终端设备同步所述搜索等级对应的数据,则从所述搜索等级对应的全部数据库中调用所述目标数据类型对应的表单,并将所述目标数据类型对应的表单进行整合,生成表单集合;
将所述表单集合发送至所述终端设备,并在所述数据库中的表单的数据出现更新时,确定所述表单中出现数据更新的表单单元,作为数据更新单元,并根据所述表单的生成时间调用表单处理线程,通过所述表单处理线程对存储于所述终端设备的所述表单集合中的所述数据更新单元进行数据更新。
本发明实施例的第二方面提供了一种终端设备,包括存储器以及处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如下步骤:
接收终端设备发送的同步请求,所述同步请求包括用户信息、目标数据类别以及搜索等级;
根据所述用户信息,判断是否允许所述终端设备同步所述搜索等级对应的数据;
若允许所述终端设备同步所述搜索等级对应的数据,则从所述搜索等级对应的全部数据库中调用所述目标数据类型对应的表单,并将所述目标数据类型对应的表单进行整合,生成表单集合;
将所述表单集合发送至所述终端设备,并在所述数据库中的表单的数据出现更新时,确定所述表单中出现数据更新的表单单元,作为数据更新单元,并根据所述表单的生成时间调用表单处理线程,通过所述表单处理线程对存储于所述终端设备的所述表单集合中的所述数据更新单元进行数据更新。
本发明实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
接收终端设备发送的同步请求,所述同步请求包括用户信息、目标数据类别以及搜索等级;根据所述用户信息,判断是否允许所述终端设备同步所述搜索等级对应的数据;若允许所述终端设备同步所述搜索等级对应的数据,则从所述搜索等级对应的全部数据库中调用所述目标数据类型对应的表单,并将所述目标数据类型对应的表单进行整合,生成表单集合;将所述表单集合发送至所述终端设备,并在所述数据库中的表单的数据出现更新时,确定所述表单中出现数据更新的表单单元,作为数据更新单元,并根据所述表单的生成时间调用表单处理线程,通过所述表单处理线程对存储于所述终端设备的所述表单集合中的所述数据更新单元进行数据更新。
可选地,所述用户信息包括用户等级以及异常操作的出现时刻;
所述根据所述用户信息,判断是否允许所述终端设备同步所述搜索等级对应的数据,包括:
若所述用户等级不小于预设的等级阈值,且所述用户等级不小于所述搜索等级,则判定允许所述终端设备同步所述搜索等级对应的数据;若所述用户信息包含的用户等级小于预设的等级阈值,则通过公式: 计算所述用户信息对应的特征等级,其中,所述class2为所述用户信息对应的特征等级,所述C为预设的常数,所述timei为异常操作i的出现时刻距当前时刻的时间差,所述class1为所述用户等级,所述n为所述异常操作的总和;若所述特征等级不小于所述搜索等级,则判定允许所述终端设备同步所述搜索等级对应的数据。
可选地,所述从所述搜索等级对应的全部数据库中调用所述目标数据类型对应的表单,包括:
根据预设的等级与数据库地址的对应关系,向所述搜索等级对应的数据库发送第一请求报文以建立与所述数据库的连接;调取所述目标数据类型对应的SQL查询语句;将所述SQL查询语句添加进第二请求报文;向所述搜索等级对应的数据库发送第二请求报文,以调用所述目标数据类型对应的表单。
可选地,所述将所述目标数据类型对应的表单进行整合,生成表单集合,包括:
解析出所述表单的一个以上的表单标签,并根据预设的表单标签与标签等级的对应关系,基于所述表单标签的标签等级由低到高的顺序,依次将所述表单标签相同的表单进行合并,生成各个表单标签对应的表单子集合;将全部的所述表单子集合进行合并,生成表单集合。
可选地,所述根据所述表单的生成时间调用表单处理线程,通过所述表单处理线程对存储于所述终端设备的所述表单集合中的所述数据更新单元进行数据更新,包括:若所述表单的生成时间早于第一预设时间,则调用第一表单处理线程,并通过所述第一表单处理线程控制所述终端设备对表单集合中的所述数据更新单元进行实时更新;若所述表单的生成时间不早于所述第一预设时间,但早于第二预设时间,则调用第二表单处理线程,若在预设的第一时间间隔后,同一所述数据更新单元没有出现新的数据更新,则通过所述第二表单处理线程控制所述终端设备对表单集合中的所述数据更新单元进行更新,所述第一预设时间早于所述第二预设时间;若所述表单的生成时间不早于所述第二预设时间,则调用第三表单处理线程,通过所述第三表单处理线程计算所述数据更新单元在当前时刻之前进行数据更新的次数,若所述数据更新的次数不大于预设的次数阈值,且在预设的第二时间间隔后,同一所述数据更新单元没有出现新的数据更新,则通过所述第三表单处理线程控制所述终端设备对表单集合中的所述数据更新单元进行更新。
在本发明实施例中,通过根据终端设备发送的同步请求包含的用户信息,判断是否允许终端设备同步终端设备发送的搜索等级对应的数据,若允许同步搜索等级对应的数据,则从搜索等级对应的全部数据库中调用所述目标数据类型对应的表单,并整合同步请求包含的目标数据类型对应的表单,生成表单集合,将表单集合发送至所述终端设备,并在所述数据库中的表单的数据出现更新时,确定表单中出现数据更新的表单单元,根据表单处理线程对存储于终端设备的所述表单集合中的所述数据更新单元进行数据更新,以提高数据同步的及时性,避免用户的因数据过时而出现分析错误。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的数据的同步方法的实现流程图;
图2是本发明实施例提供的数据的同步方法S104的具体实现流程图;
图3是本发明实施例提供的数据的同步方法S105的具体实现流程图;
图4是本发明实施例提供的数据的同步装置的结构框图;
图5是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的数据的同步方法的实现流程,该方法流程包括步骤S101至S105。各步骤的具体实现原理如下。
S101:接收终端设备发送的同步请求,所述同步请求包括用户信息、目标数据类别以及搜索等级。
在本发明实施例中,所涉及的方法是在服务器端进行执行。服务器端可以调用各个分布式数据库中的数据,并且可以通过分布式数据库向服务器端发送的通知,及时获知在分布式数据库中有哪些数据出现了变动。此外,服务器还可以控制终端设备修改某些存储于终端设备的数据。
可以理解地,本发明实施例的流程是由终端设备发起的,当终端设备的用户希望分析某类表单的数据时,就会向服务器端发送同步请求。
在本发明实施例中,服务器端在接收到同步请求后,会对同步请求进行解析,同步请求中至少包括三类参数:用户信息、目标数据类别以及搜索等级,其中,用户信息用于描述发送所述同步请求的用户的信息,在本发明实施例中,可以通过矩阵的形式描述用户信息;目标数据类型用于描述终端设备的用户希望获取什么类型的数据,例如:目标数据类型可以是寿险销售数据、员工晋升情况或者员工工资情况等;搜索等级用于描述终端设备的用户请求搜索什么级别的数据,在本发明实施例中,搜索等级是一个具体的数值,搜索等级越高的数据要求用户信息中的用户等级也越高,可以理解地,在企业运营过程中,较低级别的用户不能搜索和调用较高级别的数据。
S102:根据所述用户信息,判断是否允许所述终端设备同步所述搜索等级对应的数据。
在本发明实施例中,如上文所述,搜索等级是一个具体的数值,而且所述用户信息包括用户等级以及异常操作的出现时刻,其中,用户等级也是一个具体的数值,异常操作为终端设备的用户在当前时刻之前做出的被服务器认定为异常的操作,例如:非法越权请求,第一单位时间内多次请求记为依次异常操作、用户在终端设备登录时,第二单位时间内出现多次登录错误记为一次异常操作。
作为本发明的一个实施例,如图2所示,上述S102包括:
S1021:判断用户等级是否小于预设的等级阈值。
可以理解地,如上文所述,用户等级是一个具体的数值,而等级阈值也是一个预设的数值,所以可以将两个数据进行比较。
S1022:若用户等级不小于预设的等级阈值,则判断所述用户等级是否小于所述搜索等级,若所述用户等级不小于所述搜索等级,则判定允许所述终端设备同步所述搜索等级对应的数据。
在本发明实施例中,一旦出现用户等级不小于预设的等级阈值这一情况,则进入第二个判别
S105:获取所述第一受理组内保险单位的操作记录,所述操作记录用于记载所述保险单位已处理的保单的保单信息。
在本发明实施例中,可以通过爬虫技术自动抓取与第一受理组内保险单位相关的操作记录,以为后续对保险单位的分析提供较为全面的数据保障。
作为本发明的一个实施例,如图3所示,上述S105包括:
S1051,获取预设的网页数据库,确定在所述预设的网页数据库中各个网页与所述保险单位的相关度。
在本发明实施例中,预先设有一个网页数据库,在这个网页数据库中存储有海量的网页,这些网页中的内容包括对一个保险单位处理的保单的信息进行介绍,也包括保险单位处理各个保单的处理数据,例如:处理时长、处理时间以及处理所遇问题等信息。可以理解地,通过这些网页可以了解不同保险单位对不同的保单进行处理的情况。
可选地,确定在所述预设的网页数据库中各个网页与所述保险单位的相关度,可以根据如下步骤进行:
首先,对所述预设的网页数据库中的各个网页的内容进行分词处理,生成各个网页对应的词语集合。在本发明实施例中,网页数据库中的各个网页的内容都是由多个词语组成的,所以需要首先对各个网页的内容进行分词处理,以生成各个网页对应的词语集合。
值得注意地,一个词语集合中可以包括重复出现的相同的词语,例如在一个甲网页中出现了5个“保险单位A”,那么在甲网页对应的词语集合中就存在5个“保险单位A”,即在甲网页对应的词语集合中“保险单位A”会反复出现5次,而并不会将5个“保险单位A”合并成一个词语。
随后,通过公式:计算某个保险单位在各个网页中的概率参数,其中,所述Yi为保险单位在网页i中的概率参数,所述ni为保险单位在网页i对应的所述词语集合中的出现次数,ki为网页i对应的词语集合中含有的词语总和,所述h为所述网页数据库中包含的网页的数量总和,所述b为所述网页数据库中包含所述保险单位的网页的数量。可以理解地,概率参数并不是简单的保险单位在各个网页中的概率,而是结合保险单位在网页i对应的所述词语集合中的出现次数、网页i对应的词语集合中含有的词语总和、网页数据库中包含的网页的数量总和以及网页数据库中包含所述保险单位的数量这4个重要参数,计算出的反应保险单位与一个网页贴近程度的参数。
最后,根据预设的概率参数区间与相关度的对应关系,确定所述保险单位与各个网页的相关度。
在本发明实施例中,保险单位与各个网页的概率参数并不是最后的与各个网页的相关度,而是需要调用预设的概率参数区间与相关度的对应关系,计算上一步骤中的概率参数对应的相关度,作为保险单位与各个网页的相关度。
S1052,抓取与所述保险单位的相关度大于或等于预设相关度阈值的网页中的内容,生成内容数据库,采用深度优先顺序在所述内容数据库中搜索保险单位的操作记录。
在本发明实施例中,设计一个通过网络爬虫以自动提取网页的程序,它可以从预设的网页数据库中提取并下载符合要求的网页。可选地,网络爬虫从一个或多个初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足网络爬虫抓取的停止条件。
在本发明实施例中,从与保险单位的相关度最高的网页开始抓取,逐渐按照与保险单位的相关度由高到低依次抓取网页,停止条件为:当与保险单位小于预设相关度阈值即停止抓取。所有被网络爬虫抓取的网页中的内容将会被系统存贮,生成内容数据库。可以理解地,内容数据库中包含多个网页的内容,而且这些网页的内容都是与各个保险单位有较高关联的内容。如上文介绍,内容数据库中的各个网页的内容中可能包含对于保险单位处理过的保单的介绍以及对于保险单位处理各个保单的处理情况的介绍。
可选地,在本发明实施例中,采用深度优先顺序在所述内容数据库中搜索各个保险单位的操作记录。可以理解地,在本发明中,深度优先主要指在获取一个保险单位的名称后,会在网络中抓取该保险单位的名称对应的最新的操作记录,随后抓取该保险单位的名称对应的第二新的操作记录,依次类推,将一个保险单位的名称在一个时间段内的全部操作记录抓取完成后,在抓取另一个保险单位的名称对应的操作记录。可以理解地,由于本申请需要获取的信息的性质,所以直接采用深度优先的搜索方式,有利于提高搜索以及抓取操作记录的效率。
S106,判断所述第一受理组内是否存在处理过所述待分配保单的保单类别的保险单位。
可以理解地,由于每个保险单位都有其处理过和没有处理过的保单类别,所以根据各个保险单位的操作记录,可以自动分别判断出各个保险单位是否处理过该待分配保单的保单类别。
S107,若根据所述操作记录,所述第一受理组内存在处理过所述待分配保单的保单类别的保险单位,则基于所述操作记录计算所述第一受理组内各个保险单位的处理评分,并将所述待分配保单分配至所述处理评分最高的保险单位。
可选地,在本发明实施例中,如果第一受理组内存在处理过所述待分配保单的保单类别的保险单位,则通过以下方式具体确定各个保险单位的处理评分:
首先,对于在第一受理组内,未处理过所述待分配保单的保单类别的保险单位,直接将该保险单位的处理评分设定为0;
其次,对于在第一受理组内,处理过所述待分配保单的保单类别的保险单位,通过公式:S=1-(t÷T)-(e+p)计算所述保险单位的处理评分,所述S为保险单位的处理评分,所述t为所述操作记录包含的所述保险单位的保单处理时间,所述T为根据所述操作记录计算出的第三预设数量的保险单位的保单处理平均时间,所述e为所述操作记录包含的所述保险单位的处理差错率,所述p为所述操作记录包含的所述保险单位的转处理概率。
可以理解地,由于在之前的步骤已经判断出待分配保单所属的保单类别,所以在本步骤中,当计算出各个保险单位处理各保单类别的处理评分后,可以将待分配保单分配至第一受理组内处理该待分配保单所属保单类别的处理评分最高的保险单位。
S108,若所述第一受理组内不存在处理过所述待分配保单的保单类别的保险单位,则将所述第二受理组内处理过所述待分配保单的保单类别的保险单位作为候选单位,并将所述待分配保单分配至所述候选单位中放款比例最低的一个保险单位。
在本发明实施例中,如上文所述,第一受理组的保单分配方式和第二受理组的保单分配方式不同。
可以理解地,由于在第二受理组内,都是一些放款比例达到警戒位置的保险单位,所以针对第二受理组内的保险单位,不适用通过处理评分进行分配,而是通过放款比例进行分配,自动地将待分配保单分配至所述候选单位中放款比例最低的一个保险单位,这样既可以兼顾用户体验,又可以最大限度的保证保险单位有能力处理该保单。
值得注意地,本发明实施例所涉及的保单分配方式都可以通过设计的程序自动执行,不需要人工介入。
在本发明实施例中,获取待分配保单的保单信息以及各个保险单位的放款阈值;计算各个保险单位在预设时间段内的累计放款量与放款阈值的比值,作为放款比例;将放款比例小于预设比例阈值的保险单位归入第一受理组,反之,则将保险单位归入第二受理组;根据保单信息,确定待分配保单的保单类别;若第一受理组内不存在处理过待分配保单的保单类别的保险单位,则将第二受理组内处理过待分配保单的保单类别的保险单位作为候选单位,并将待分配保单分配至候选单位中放款比例最低的一个保险单位,以提高保单分配的合理程度和自动化程度。
对应于上文实施例所述的数据的同步方法,图4示出了本发明实施例提供的数据的同步装置的结构框图,为了便于说明,仅示出了与本发明实施例相关的部分。
参照图4,该装置包括:
获取模块401,用于获取待分配保单的保单信息以及各个保险单位的放款阈值;
计算模块402,用于计算各个所述保险单位在预设时间段内的累计放款量与所述放款阈值的比值,作为放款比例;
分组模块403,用于将所述放款比例小于预设比例阈值的保险单位归入第一受理组,将所述放款比例大于或等于所述比例阈值的保险单位归入第二受理组;
识别模块404,用于根据所述保单信息,通过K最近邻算法确定所述待分配保单的保单类别;
记录获取模块405,用于获取所述第一受理组内保险单位的操作记录;
第一分配模块406,用于若根据所述操作记录,所述第一受理组内存在处理过所述待分配保单的保单类别的保险单位,则基于所述操作记录计算所述第一受理组内各个保险单位的处理评分,并将所述待分配保单分配至所述处理评分最高的保险单位;
第二分配模块407,用于若所述第一受理组内不存在处理过所述待分配保单的保单类别的保险单位,则将所述第二受理组内处理过所述待分配保单的保单类别的保险单位作为候选单位,并将所述待分配保单分配至所述候选单位中放款比例最低的一个保险单位。
可选地,所述装置还包括:
设定模块,用于将第一预设数量的保险单位从累计放款量清零开始到所述放款比例达到所述比例阈值所需的平均时长,作为所述预设时间段。
可选地,所述识别模块404包括:
样本获取子模块,用于获取多个样本保单的保单信息以及所述样本保单对应的类别标签。
关系建立子模块,用于将所述待分配保单的保单信息转换为测试矩阵,并将所述样本保单的保单信息转换为训练矩阵,并基于所述样本保单对应的类别标签,建立训练矩阵与类别标签的对应关系;
距离计算子模块,用于计算所述测试矩阵到各个训练矩阵的曼哈顿距离;
类别确定子模块,用于将第二预设数量的与所述测试矩阵的曼哈顿距离最小的训练矩阵对应的类别标签作为候选类别,并将出现比例最高的所述候选类别作为所述待分配保单的保单类别。
可选地,所述记录获取模块405包括:
相关度计算子模块,用于获取预设的网页数据库,确定在所述预设的网页数据库中各个网页与所述保险单位的相关度。
抓取子模块,用于抓取与所述保险单位的相关度大于或等于预设相关度阈值的网页中的内容,生成内容数据库,采用深度优先顺序在所述内容数据库中搜索保险单位的操作记录。
可选地,所述第一分配模块,包括:
第一评分子模块,用于若所述保险单位未处理过所述待分配保单的保单类别,则将所述保险单位的处理评分设定为0;
第二评分子模块,用于若所述保险单位处理过所述待分配保单的保单类别,则通过公式:S=1-(t÷T)-(e+p)计算所述保险单位的处理评分,所述S为保险单位的处理评分,所述t为所述操作记录包含的所述保险单位的保单处理时间,所述T为根据所述操作记录计算出的第三预设数量的保险单位的保单处理平均时间,所述e为所述操作记录包含的所述保险单位的处理差错率,所述p为所述操作记录包含的所述保险单位的转处理概率。
在本发明实施例中,通过获取待分配保单的保单信息以及各个保险单位的放款阈值;计算各个保险单位在预设时间段内的累计放款量与放款阈值的比值,作为放款比例;将放款比例小于预设比例阈值的保险单位归入第一受理组,反之,则将保险单位归入第二受理组;根据保单信息,确定待分配保单的保单类别;若第一受理组内不存在处理过待分配保单的保单类别的保险单位,则将第二受理组内处理过待分配保单的保单类别的保险单位作为候选单位,并将待分配保单分配至候选单位中放款比例最低的一个保险单位,以提高保单分配的合理程度和自动化程度。
图5是本发明一实施例提供的终端设备的示意图。如图5所示,该实施例的终端设备5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52,例如数据的同步程序。所述处理器50执行所述计算机程序52时实现上述各个数据的同步方法实施例中的步骤,例如图1所示的步骤101至108。或者,所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能,例如图4所示单元401至407的功能。
示例性的,所述计算机程序52可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器51中,并由所述处理器50执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序52在所述终端设备5中的执行过程。
所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器50、存储器51。本领域技术人员可以理解,图5仅仅是终端设备5的示例,并不构成对终端设备5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端设备5的内部存储单元,例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备,例如所述终端设备5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据的同步方法,其特征在于,包括:
接收终端设备发送的同步请求,所述同步请求包括用户信息、目标数据类别以及搜索等级;
根据所述用户信息,判断是否允许所述终端设备同步所述搜索等级对应的数据;
若允许所述终端设备同步所述搜索等级对应的数据,则从所述搜索等级对应的全部数据库中调用所述目标数据类型对应的表单,并将所述目标数据类型对应的表单进行整合,生成表单集合;
将所述表单集合发送至所述终端设备,并在所述数据库中的表单的数据出现更新时,确定所述表单中出现数据更新的表单单元,作为数据更新单元,并根据所述表单的生成时间调用表单处理线程,通过所述表单处理线程对存储于所述终端设备的所述表单集合中的所述数据更新单元进行数据更新。
2.如权利要求1所述的数据的同步方法,其特征在于,所述用户信息包括用户等级以及异常操作的出现时刻;
所述根据所述用户信息,判断是否允许所述终端设备同步所述搜索等级对应的数据,包括:
若所述用户等级不小于预设的等级阈值,且所述用户等级不小于所述搜索等级,则判定允许所述终端设备同步所述搜索等级对应的数据;
若所述用户信息包含的用户等级小于预设的等级阈值,则通过公式:计算所述用户信息对应的特征等级,其中,所述class2为所述用户信息对应的特征等级,所述C为预设的常数,所述timei为异常操作i的出现时刻距当前时刻的时间差,所述class1为所述用户等级,所述n为所述异常操作的总和;
若所述特征等级不小于所述搜索等级,则判定允许所述终端设备同步所述搜索等级对应的数据。
3.如权利要求1所述的数据的同步方法,其特征在于,所述从所述搜索等级对应的全部数据库中调用所述目标数据类型对应的表单,包括:
根据预设的等级与数据库地址的对应关系,向所述搜索等级对应的数据库发送第一请求报文以建立与所述数据库的连接;
调取所述目标数据类型对应的SQL查询语句;
将所述SQL查询语句添加进第二请求报文;
向所述搜索等级对应的数据库发送第二请求报文,以调用所述目标数据类型对应的表单。
4.如权利要求1所述的数据的同步方法,其特征在于,所述将所述目标数据类型对应的表单进行整合,生成表单集合,包括:
解析出所述表单的一个以上的表单标签,并根据预设的表单标签与标签等级的对应关系,基于所述表单标签的标签等级由低到高的顺序,依次将所述表单标签相同的表单进行合并,生成各个表单标签对应的表单子集合;
将全部的所述表单子集合进行合并,生成表单集合。
5.如权利要求1所述的数据的同步方法,其特征在于,所述根据所述表单的生成时间调用表单处理线程,通过所述表单处理线程对存储于所述终端设备的所述表单集合中的所述数据更新单元进行数据更新,包括:
若所述表单的生成时间早于第一预设时间,则调用第一表单处理线程,并通过所述第一表单处理线程控制所述终端设备对表单集合中的所述数据更新单元进行实时更新;
若所述表单的生成时间不早于所述第一预设时间,但早于第二预设时间,则调用第二表单处理线程,若在预设的第一时间间隔后,同一所述数据更新单元没有出现新的数据更新,则通过所述第二表单处理线程控制所述终端设备对表单集合中的所述数据更新单元进行更新,所述第一预设时间早于所述第二预设时间;
若所述表单的生成时间不早于所述第二预设时间,则调用第三表单处理线程,通过所述第三表单处理线程计算所述数据更新单元在当前时刻之前进行数据更新的次数,若所述数据更新的次数不大于预设的次数阈值,且在预设的第二时间间隔后,同一所述数据更新单元没有出现新的数据更新,则通过所述第三表单处理线程控制所述终端设备对表单集合中的所述数据更新单元进行更新。
6.一种终端设备,包括存储器以及处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如下步骤:
接收终端设备发送的同步请求,所述同步请求包括用户信息、目标数据类别以及搜索等级;
根据所述用户信息,判断是否允许所述终端设备同步所述搜索等级对应的数据;
若允许所述终端设备同步所述搜索等级对应的数据,则从所述搜索等级对应的全部数据库中调用所述目标数据类型对应的表单,并将所述目标数据类型对应的表单进行整合,生成表单集合;
将所述表单集合发送至所述终端设备,并在所述数据库中的表单的数据出现更新时,确定所述表单中出现数据更新的表单单元,作为数据更新单元,并根据所述表单的生成时间调用表单处理线程,通过所述表单处理线程对存储于所述终端设备的所述表单集合中的所述数据更新单元进行数据更新。
7.如权利要求6所述的终端设备,其特征在于,所述用户信息包括用户等级以及异常操作的出现时刻;
所述根据所述用户信息,判断是否允许所述终端设备同步所述搜索等级对应的数据,包括:
若所述用户等级不小于预设的等级阈值,且所述用户等级不小于所述搜索等级,则判定允许所述终端设备同步所述搜索等级对应的数据;
若所述用户信息包含的用户等级小于预设的等级阈值,则通过公式:计算所述用户信息对应的特征等级,其中,所述class2为所述用户信息对应的特征等级,所述C为预设的常数,所述timei为异常操作i的出现时刻距当前时刻的时间差,所述class1为所述用户等级,所述n为所述异常操作的总和;
若所述特征等级不小于所述搜索等级,则判定允许所述终端设备同步所述搜索等级对应的数据。
8.如权利要求6所述的终端设备,其特征在于,所述从所述搜索等级对应的全部数据库中调用所述目标数据类型对应的表单,包括:
根据预设的等级与数据库地址的对应关系,向所述搜索等级对应的数据库发送第一请求报文以建立与所述数据库的连接;
调取所述目标数据类型对应的SQL查询语句;
将所述SQL查询语句添加进第二请求报文;
向所述搜索等级对应的数据库发送第二请求报文,以调用所述目标数据类型对应的表单。
9.如权利要求6所述的终端设备,其特征在于,所述根据所述表单的生成时间调用表单处理线程,通过所述表单处理线程对存储于所述终端设备的所述表单集合中的所述数据更新单元进行数据更新,包括:
若所述表单的生成时间早于第一预设时间,则调用第一表单处理线程,并通过所述第一表单处理线程控制所述终端设备对表单集合中的所述数据更新单元进行实时更新;
若所述表单的生成时间不早于所述第一预设时间,但早于第二预设时间,则调用第二表单处理线程,若在预设的第一时间间隔后,同一所述数据更新单元没有出现新的数据更新,则通过所述第二表单处理线程控制所述终端设备对表单集合中的所述数据更新单元进行更新,所述第一预设时间早于所述第二预设时间;
若所述表单的生成时间不早于所述第二预设时间,则调用第三表单处理线程,通过所述第三表单处理线程计算所述数据更新单元在当前时刻之前进行数据更新的次数,若所述数据更新的次数不大于预设的次数阈值,且在预设的第二时间间隔后,同一所述数据更新单元没有出现新的数据更新,则通过所述第三表单处理线程控制所述终端设备对表单集合中的所述数据更新单元进行更新。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201811020170.0A 2018-09-03 2018-09-03 数据的同步方法及终端设备 Withdrawn CN109408587A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811020170.0A CN109408587A (zh) 2018-09-03 2018-09-03 数据的同步方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811020170.0A CN109408587A (zh) 2018-09-03 2018-09-03 数据的同步方法及终端设备

Publications (1)

Publication Number Publication Date
CN109408587A true CN109408587A (zh) 2019-03-01

Family

ID=65463893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811020170.0A Withdrawn CN109408587A (zh) 2018-09-03 2018-09-03 数据的同步方法及终端设备

Country Status (1)

Country Link
CN (1) CN109408587A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855275A (zh) * 2012-07-18 2013-01-02 公安部第一研究所 一种无网络环境下基于知识库的移动数据库同步方法及系统
CN103226578A (zh) * 2013-04-02 2013-07-31 浙江大学 面向医学领域的网站识别和网页细分类的方法
WO2013177925A1 (zh) * 2012-05-28 2013-12-05 腾讯科技(深圳)有限公司 数据同步方法、系统及设备
US20140229435A1 (en) * 2013-01-27 2014-08-14 Travel Holdings, Inc. In-memory real-time synchronized database system and method
CN107291950A (zh) * 2017-07-21 2017-10-24 东软集团股份有限公司 表单数据更新方法、装置及计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013177925A1 (zh) * 2012-05-28 2013-12-05 腾讯科技(深圳)有限公司 数据同步方法、系统及设备
CN102855275A (zh) * 2012-07-18 2013-01-02 公安部第一研究所 一种无网络环境下基于知识库的移动数据库同步方法及系统
US20140229435A1 (en) * 2013-01-27 2014-08-14 Travel Holdings, Inc. In-memory real-time synchronized database system and method
CN103226578A (zh) * 2013-04-02 2013-07-31 浙江大学 面向医学领域的网站识别和网页细分类的方法
CN107291950A (zh) * 2017-07-21 2017-10-24 东软集团股份有限公司 表单数据更新方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
US20180357255A1 (en) Data transformations with metadata
US11190562B2 (en) Generic event stream processing for machine learning
EP3161635B1 (en) Machine learning service
US11956272B2 (en) Identifying legitimate websites to remove false positives from domain discovery analysis
US20130332490A1 (en) Method, Controller, Program and Data Storage System for Performing Reconciliation Processing
CN110134800A (zh) 一种文档关系可视化处理方法及装置
CN110008259A (zh) 可视化数据分析的方法及终端设备
CN105354251B (zh) 电力系统中基于Hadoop的电力云数据管理索引方法
CN109669931A (zh) 历史数据异常分析方法、系统、设备及存储介质
CN107783985A (zh) 一种分布式数据库查询方法、装置及管理系统
CN113836131A (zh) 一种大数据清洗方法、装置、计算机设备及存储介质
CN112507098B (zh) 问题处理方法、装置、电子设备、存储介质及程序产品
CN105320711B (zh) 巨量数据存取方法以及使用该方法的系统
CN109542657A (zh) 系统异常的处理方法及服务器
CN109558887A (zh) 一种预测行为的方法和装置
CN108509259A (zh) 获取多方数据源的方法以及风控系统
CN116739605A (zh) 交易数据检测方法、装置、设备及存储介质
CN109408587A (zh) 数据的同步方法及终端设备
CN109086438A (zh) 用于查询信息的方法和装置
CN104636422A (zh) 用于挖掘数据集中的模式的方法和系统
Máximo et al. Intensification, learning and diversification in a hybrid metaheuristic: an efficient unification
CN108734590A (zh) 保单的分配方法及终端设备
Zeng The development and application of data mining based on cloud computing
CN112035486B (zh) 分区表的分区建立方法、装置和设备
CN108449376A (zh) 一种服务于企业的大数据计算节点的负载均衡方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190301