CN112214505A - 数据同步方法、装置、计算机可读存储介质及电子设备 - Google Patents

数据同步方法、装置、计算机可读存储介质及电子设备 Download PDF

Info

Publication number
CN112214505A
CN112214505A CN202011135373.1A CN202011135373A CN112214505A CN 112214505 A CN112214505 A CN 112214505A CN 202011135373 A CN202011135373 A CN 202011135373A CN 112214505 A CN112214505 A CN 112214505A
Authority
CN
China
Prior art keywords
data
fusion processing
processing result
target
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011135373.1A
Other languages
English (en)
Other versions
CN112214505B (zh
Inventor
鲁良
李天与
黄文瀚
柳超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jindi Credit Service Co ltd
Original Assignee
Beijing Jindi Credit Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jindi Credit Service Co ltd filed Critical Beijing Jindi Credit Service Co ltd
Priority to CN202011135373.1A priority Critical patent/CN112214505B/zh
Publication of CN112214505A publication Critical patent/CN112214505A/zh
Application granted granted Critical
Publication of CN112214505B publication Critical patent/CN112214505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例公开了一种数据同步方法、装置、计算机可读存储介质及电子设备。该方法包括:获取与目标搜索对象标识关联的第一对象数据;获取与目标搜索对象标识的历史搜索对象标识关联的第二对象数据;根据目标搜索对象标识,确定第一对象类型,以及根据历史搜索对象标识,确定第二对象类型;根据第一对象类型和第二对象类型,对第一对象数据和第二对象数据进行融合处理,以得到目标融合处理结果;根据目标融合处理结果,更新数据库。本公开的实施例能够较好地解决相关技术中提供给用户的数据非常冗余的问题,从而能够提高用户的使用体验。

Description

数据同步方法、装置、计算机可读存储介质及电子设备
技术领域
本公开涉及数据库技术领域,尤其涉及一种数据同步方法、装置、计算机可读存储介质及电子设备。
背景技术
目前,业务数据库的应用非常广泛,业务数据库可以根据用户的搜索请求,为用户提供所需的数据,例如为用户提供其感兴趣的企业的相关数据。然而,业务数据库提供给用户的数据往往非常冗杂,不利于用户查看,这样会大大降低用户的使用体验。
发明内容
为了解决上述技术问题,提出了本公开。本公开的实施例提供了一种数据同步方法、装置、计算机可读存储介质及电子设备。
根据本公开实施例的一个方面,提供了一种数据同步方法,包括:
获取与目标搜索对象标识关联的第一对象数据;
获取与所述目标搜索对象标识的历史搜索对象标识关联的第二对象数据;
根据所述目标搜索对象标识,确定第一对象类型,以及根据所述历史搜索对象标识,确定第二对象类型;
根据所述第一对象类型和所述第二对象类型,对所述第一对象数据和所述第二对象数据进行融合处理,以得到目标融合处理结果;
根据所述目标融合处理结果,更新数据库。
在一个可选示例中,所述根据所述第一对象类型和所述第二对象类型,对所述第一对象数据和所述第二对象数据进行融合处理,包括:
根据所述第一对象类型和所述第二对象类型,确定对象类型变化信息;
在所述对象类型变化信息表征由第一类型变化为第二类型的情况下,以第一预设融合处理方式,对所述第一对象数据和所述第二对象数据进行融合处理;
在所述对象类型变化信息表征保持为第一类型或者保持为第二类型的情况下,以第二预设融合处理方式,对所述第一对象数据和所述第二对象数据进行融合处理。
在一个可选示例中,所述第一对象数据中包括属于第一维度的第一数据,所述第二对象数据中包括属于所述第一维度的第二数据,所述第一数据中的特征值个数为P,所述第二数据中的特征值个数为Q,所述目标融合处理结果中包括所述第一数据和所述第二数据的融合处理结果;
以所述第一预设融合处理方式进行融合处理时:
若Q为1,则所述第二数据中的一个特征值作为所述第一数据和所述第二数据的融合处理结果;
若Q为0,P为1,则所述第一数据中的一个特征值作为所述第一数据和所述第二数据的融合处理结果;
若P和Q均大于或等于2,则所述第一数据中的各个特征值与所述第二数据中的各个特征值一并进行去重处理后得到的去重处理结果作为第一数据和所述第二数据的融合处理结果。
在一个可选示例中,所述第一对象数据中包括属于第一维度的第一数据,所述第二对象数据中包括属于所述第一维度的第二数据,所述第一数据中的特征值个数为P,所述第二数据中的特征值个数为Q,所述目标融合处理结果中包括所述第一数据和所述第二数据的融合处理结果;
以所述第二预设融合处理方式进行融合处理时:
若P大于或等于1,则所述第一数据中的所有特征值作为所述第一数据和所述第二数据的融合处理结果。
在一个可选示例中,所述根据所述第一对象类型和所述第二对象类型,对所述第一对象数据和所述第二对象数据进行融合处理,以得到目标融合处理结果,包括:
将所述第一对象数据划分为属于第一数据维度分组的第一组数据和属于第二数据维度分组的第二组数据;
将所述第二对象数据划分为属于所述第一数据维度分组的第三组数据和属于所述第二数据维度分组的第四组数据;
以第三预设融合处理方式,对所述第一组数据和所述第三组数据进行融合处理,以得到第一融合处理结果;
根据所述第一对象类型和所述第二对象类型,对所述第二组数据和所述第四组数据进行融合处理,以得到第二融合处理结果;
获得目标融合处理结果;其中,所述目标融合处理结果中包括所述第一融合处理结果和所述第二融合处理结果。
在一个可选示例中,所述第一组数据中包括属于第二维度的第三数据,所述第三组数据中包括属于所述第二维度的第四数据,所述第三数据中的特征值个数为R,所述第四数据中的特征值个数为S,所述第一融合处理结果中包括所述第三数据和所述第四数据的融合处理结果;
以所述第三预设融合处理方式进行融合处理时:
若R为1,则所述第三数据中的一个特征值作为所述第三数据和所述第四数据的融合处理结果;
若R为0,S为1,则所述第四数据中的一个特征值作为所述第三数据和所述第四数据的融合处理结果;
若R和S均大于或等于2,则所述第三数据中的各个特征值与所述第四数据中的各个特征值一并进行去重处理后得到的去重处理结果作为第三数据和所述第四数据的融合处理结果。
在一个可选示例中,所述方法还包括:
在监测到用于获取对象数据的主数据表中的第一字段发生变化的情况下,确定与所述第一字段关联的搜索对象标识,并对所述数据库中与所确定的搜索对象标识关联的对象数据整体进行更新;
在监测到用于获取对象数据的非主数据表中的第二字段发生变化的情况下,确定与所述第二字段关联的搜索对象标识,并对所述数据库中与所确定的搜索对象标识关联的对象数据中的相应字段进行更新。
在一个可选示例中,所述方法还包括:
在监测到知识产权库发生变化的情况下,确定所述知识产权库的变化信息;
确定与所述变化信息关联的搜索对象标识;
从所述数据库中获取所确定的搜索对象标识的知识产权维度的第五数据;
将所述第五数据与所述变化信息进行比对,并根据比对结果,更新所述数据库中的所述第五数据。
在一个可选示例中,所述数据库为非关系型数据库,所述目标搜索对象标识的数量为多个;
所述根据所述目标融合处理结果,更新数据库,包括:
调用多个线程,利用多个所述目标搜索对象标识对应的多个所述目标融合处理结果,更新数据库。
根据本公开实施例的另一个方面,提供了一种数据同步装置,包括:
第一获取模块,用于获取与目标搜索对象标识关联的第一对象数据;
第二获取模块,用于获取与所述目标搜索对象标识的历史搜索对象标识关联的第二对象数据;
第一确定模块,用于根据所述目标搜索对象标识,确定第一对象类型,以及根据所述历史搜索对象标识,确定第二对象类型;
第一处理模块,用于根据所述第一对象类型和所述第二对象类型,对所述第一对象数据和所述第二对象数据进行融合处理,以得到目标融合处理结果;
更新模块,用于根据所述目标融合处理结果,更新数据库。
在一个可选示例中,所述第一处理模块,包括:
确定子模块,用于根据所述第一对象类型和所述第二对象类型,确定对象类型变化信息;
第一处理子模块,用于在所述对象类型变化信息表征由第一类型变化为第二类型的情况下,以第一预设融合处理方式,对所述第一对象数据和所述第二对象数据进行融合处理;
第二处理子模块,用于在所述对象类型变化信息表征保持为第一类型或者保持为第二类型的情况下,以第二预设融合处理方式,对所述第一对象数据和所述第二对象数据进行融合处理。
在一个可选示例中,所述第一对象数据中包括属于第一维度的第一数据,所述第二对象数据中包括属于所述第一维度的第二数据,所述第一数据中的特征值个数为P,所述第二数据中的特征值个数为Q,所述目标融合处理结果中包括所述第一数据和所述第二数据的融合处理结果;
以所述第一预设融合处理方式进行融合处理时:
若Q为1,则所述第二数据中的一个特征值作为所述第一数据和所述第二数据的融合处理结果;
若Q为0,P为1,则所述第一数据中的一个特征值作为所述第一数据和所述第二数据的融合处理结果;
若P和Q均大于或等于2,则所述第一数据中的各个特征值与所述第二数据中的各个特征值一并进行去重处理后得到的去重处理结果作为第一数据和所述第二数据的融合处理结果。
在一个可选示例中,所述第一对象数据中包括属于第一维度的第一数据,所述第二对象数据中包括属于所述第一维度的第二数据,所述第一数据中的特征值个数为P,所述第二数据中的特征值个数为Q,所述目标融合处理结果中包括所述第一数据和所述第二数据的融合处理结果;
以所述第二预设融合处理方式进行融合处理时:
若P大于或等于1,则所述第一数据中的所有特征值作为所述第一数据和所述第二数据的融合处理结果。
在一个可选示例中,所述第一处理模块,包括:
第一划分子模块,用于将所述第一对象数据划分为属于第一数据维度分组的第一组数据和属于第二数据维度分组的第二组数据;
第二划分子模块,用于将所述第二对象数据划分为属于所述第一数据维度分组的第三组数据和属于所述第二数据维度分组的第四组数据;
第三处理子模块,用于以第三预设融合处理方式,对所述第一组数据和所述第三组数据进行融合处理,以得到第一融合处理结果;
第四处理子模块,用于根据所述第一对象类型和所述第二对象类型,对所述第二组数据和所述第四组数据进行融合处理,以得到第二融合处理结果;
获取子模块,用于获得目标融合处理结果;其中,所述目标融合处理结果中包括所述第一融合处理结果和所述第二融合处理结果。
在一个可选示例中,所述第一组数据中包括属于第二维度的第三数据,所述第三组数据中包括属于所述第二维度的第四数据,所述第三数据中的特征值个数为R,所述第四数据中的特征值个数为S,所述第一融合处理结果中包括所述第三数据和所述第四数据的融合处理结果;
以所述第三预设融合处理方式进行融合处理时:
若R为1,则所述第三数据中的一个特征值作为所述第三数据和所述第四数据的融合处理结果;
若R为0,S为1,则所述第四数据中的一个特征值作为所述第三数据和所述第四数据的融合处理结果;
若R和S均大于或等于2,则所述第三数据中的各个特征值与所述第四数据中的各个特征值一并进行去重处理后得到的去重处理结果作为第三数据和所述第四数据的融合处理结果。
在一个可选示例中,所述装置还包括:
第二处理模块,用于在监测到用于获取对象数据的主数据表中的第一字段发生变化的情况下,确定与所述第一字段关联的搜索对象标识,并对所述数据库中与所确定的搜索对象标识关联的对象数据整体进行更新;
第三处理模块,用于在监测到用于获取对象数据的非主数据表中的第二字段发生变化的情况下,确定与所述第二字段关联的搜索对象标识,并对所述数据库中与所确定的搜索对象标识关联的对象数据中的相应字段进行更新。
在一个可选示例中,所述装置还包括:
第二确定模块,用于在监测到知识产权库发生变化的情况下,确定所述知识产权库的变化信息;
第三确定模块,用于确定与所述变化信息关联的搜索对象标识;
第三获取模块,用于从所述数据库中获取所确定的搜索对象标识的知识产权维度的第五数据;
第四处理模块,用于将所述第五数据与所述变化信息进行比对,并根据比对结果,更新所述数据库中的所述第五数据。
在一个可选示例中,所述数据库为非关系型数据库,所述目标搜索对象标识的数量为多个;
所述更新模块,具体用于:
调用多个线程,利用多个所述目标搜索对象标识对应的多个所述目标融合处理结果,更新数据库。
根据本公开实施例的再一个方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述数据同步方法。
根据本公开实施例的又一个方面,提供了一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述数据同步方法。
本公开的实施例中,在获取与目标搜索对象标识关联的第一对象数据,以及从获取与目标搜索对象标识的历史搜索对象标识关联的第二对象数据之后,可以根据目标搜索对象标识,确定第一对象类型,以及根据历史搜索对象标识,确定第二对象类型。接下来,可以根据第一对象类型和第二对象类型,以合适的融合处理方式,对第一对象数据和第二对象数据进行融合处理,从而得到准确可靠精简的目标融合处理结果。之后,可以根据目标融合处理结果,更新数据库,具体地,可以根据目标融合处理结果,更新用于向业务数据库同步对象数据的中台数据库,以便实现业务数据库的更新,这样,业务数据库中存储的也会是准确可靠精简的数据,根据用户的搜索请求,业务数据库能够向用户提供准确可靠精简的数据,从而能够较好地解决相关技术中提供给用户的数据非常冗余的问题,进而能够提高用户的使用体验。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本公开一示例性实施例提供的数据同步方法的流程示意图。
图2是本公开的实施例中源数据库、中台数据库和业务数据库组成的系统的架构图。
图3是本公开另一示例性实施例提供的数据同步方法的流程示意图。
图4是本公开再一示例性实施例提供的数据同步方法的流程示意图。
图5是本公开一示例性实施例提供的数据同步装置的结构示意图。
图6是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和特征值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性方法
图1是本公开一示例性实施例提供的数据同步方法的流程示意图。图1所示的方法包括步骤101、步骤102、步骤103、步骤104和步骤105,下面对各步骤分别进行说明。
步骤101,获取与目标搜索对象标识关联的第一对象数据。
这里,可以从源数据库中获取与目标搜索对象标识关联的第一对象数据;其中,源数据库可以为关系型数据库,例如为Topic Mysql数据库。
这里,可以预先设置有第一信息表,第一信息表中可以记载有多个搜索对象标识,搜索对象标识可以理解为搜索对象的标识,搜索对象包括但不限于组织机构(例如以盈利为目的组建的企业,或者以非盈利为目的组建的事业单位、基金会等)、人物等,标识包括但不限于id(其全称为Identity Document)、名称等,为了便于理解,本公开的实施例中均以搜索对象为组织机构的情况为例进行说明。
需要说明的是,第一信息表中的任一搜索对象标识均可作为步骤101中的目标搜索对象标识。在执行步骤101时,可以将目标搜索对象标识作为索引信息,在源数据库中搜索相关的对象数据,并对搜索到的对象数据进行数据预处理,之后可以将经数据预处理后的对象数据作为第一对象数据;其中,数据预处理可以包括对表征时间、注册资金、位置坐标等的数据的清洗转换处理。
可选地,第一对象数据中可以包括多个数据维度的数据,不同数据维度的数据可以使用lambda表达式进行划分,多个数据维度包括但不限于基本信息维度、上市信息维度、知识产权信息维度、失信信息维度等;其中,基本信息维度可以进一步细分为工商信息维度、对外投资维度等;上市信息维度可以进一步细分为股票维度、上市状态维度等;知识产权信息维度可以进一步细分为专利维度、软件著作权维度、作品著作权维度、商标维度等。
步骤102,获取与目标搜索对象标识的历史搜索对象标识关联的第二对象数据。
这里,可以从源数据库中获取与目标搜索对象标识的历史搜索对象标识关联的第二对象数据。
需要说明的是,对于同一搜索对象而言,其在不同时期采用的搜索对象标识可能是不同的,例如,对于同一企业,其在不同时期可能具有不同的企业名称,例如当前使用的企业名称为XXXX有限公司,而一年前使用的企业名称为XXXX有限责任公司。有鉴于此,还可以预先设置有第二信息表,第二信息表中可以记载有多个搜索对象中的每个搜索对象在不同时期采用的搜索对象标识,这样,依据第二信息表,能够便捷可靠地查询出目标搜索对象标识的历史搜索对象标识,例如,通过查询可以确定,XXXX有限公司这个目标搜索对象标识的历史搜索对象标识为XXXX有限责任公司。
在查询出目标搜索对象标识的历史搜索对象标识之后,可以将历史搜索对象标识作为索引信息,在源数据库中搜索相关的对象数据,并对搜索到的对象数据进行数据预处理,之后可以将经数据预处理后的对象数据作为第二对象数据。需要指出的是,与第一对象数据类似,第二对象数据中也可以包括多个数据维度的数据,对数据维度的说明参照对步骤101的介绍即可,在此不再赘述。
步骤103,根据目标搜索对象标识,确定第一对象类型,以及根据历史搜索对象标识,确定第二对象类型。
这里,第一对象数据中可以包括基本信息维度的数据,从第一对象数据中的基本信息维度的数据中,可以获取第一对象类型,第一对象类型可以用于表征具有目标搜索对象标识的搜索对象是工商类型还是非工商类型;其中,在具有目标搜索对象标识的搜索对象是大陆企业的情况下,第一对象类型可以用于表征具有目标搜索对象标识的搜索对象是工商类型;在具有目标搜索对象标识的搜索对象是社会组织、律所、事业单位、基金会、香港企业、台湾企业的情况下,第一对象类型可以用于表征具有目标搜索对象标识的搜索对象是非工商类型。
需要说明的是,确定第二对象类型的方式与确定第一对象类型的方式类似,在此不再赘述。
步骤104,根据第一对象类型和第二对象类型,对第一对象数据和第二对象数据进行融合处理,以得到目标融合处理结果。
这里,根据第一对象类型和第二对象类型,可以为第一对象数据和第二对象数据确定合适的融合处理方式,之后可以依据确定出的融合处理方式,对第一对象数据和第二对象数据进行融合处理,以得到目标融合处理结果,目标融合处理结果可以认为与目标搜索对象标识对应。
步骤105,根据目标融合处理结果,更新数据库。
这里,根据目标融合处理结果,可以更新用于向业务数据库同步对象数据的中台数据库,也即,步骤105中涉及的数据库为中台数据库。具体实施时,源数据库、中台数据库和业务数据库之间的设置方式可以如图2所示,即中台数据库分别与源数据库和业务数据库进行连接。这样,通过中台数据库与源数据库之间的连接,基于源数据库得到的目标融合处理结果可以提供给中台数据库,以便利用目标融合处理结果替换中台数据库中的相应对象数据,从而实现中台数据库的更新;通过中台数据库与业务数据库之间的连接,中台数据库可以向业务数据库同步对象数据,以实现业务数据库的更新。
可选地,在得到目标融合处理结果之后,可以对目标融合处理结果中的特定数据进行清洗处理,并根据经清洗处理后的目标融合处理结果更新中台数据库。
需要指出的是,本公开的实施例中也可以不设置中台数据库,这样,可以直接根据目标融合处理结果,更新业务数据库,这时,步骤105中涉及的数据库为业务数据库。为了便于理解,后续实施例中均以设置有中台数据库的情况为例进行说明。
本公开的实施例中,在获取与目标搜索对象标识关联的第一对象数据,以及从获取与目标搜索对象标识的历史搜索对象标识关联的第二对象数据之后,可以根据目标搜索对象标识,确定第一对象类型,以及根据历史搜索对象标识,确定第二对象类型。接下来,可以根据第一对象类型和第二对象类型,以合适的融合处理方式,对第一对象数据和第二对象数据进行融合处理,从而得到准确可靠精简的目标融合处理结果。之后,可以根据目标融合处理结果,更新数据库,具体地,可以根据目标融合处理结果,更新用于向业务数据库同步对象数据的中台数据库,以便实现业务数据库的更新,这样,业务数据库中存储的也会是准确可靠精简的数据,根据用户的搜索请求,业务数据库能够向用户提供准确可靠精简的数据,从而能够较好地解决相关技术中提供给用户的数据非常冗余的问题,进而能够提高用户的使用体验。
在图1所示实施例的基础上,如图3所示,步骤104中的根据第一对象类型和第二对象类型,对第一对象数据和第二对象数据进行融合处理,可以包括:
步骤1041,根据第一对象类型和第二对象类型,确定对象类型变化信息;
步骤1042,在对象类型变化信息表征由第一类型变化为第二类型的情况下,以第一预设融合处理方式,对第一对象数据和第二对象数据进行融合处理;
步骤1043,在对象类型变化信息表征保持为第一类型或者保持为第二类型的情况下,以第二预设融合处理方式,对第一对象数据和第二对象数据进行融合处理。
这里,第一类型可以为非工商类型,第二类型可以为工商类型。
这里,第一预设融合处理方式和第二预设融合处理方式可以为不同的融合处理方式。
本公开的实施例中,可以先根据第一对象类型和第二对象类型,确定对象类型变化信息,对象类型变化信息可以有以下三种情况:
情况一:第一对象类型为工商类型,第二对象类型为非工商类型,此时对象类型变化信息表征由第一类型变化为第二类型(即由非工商类型变化为工商类型);
情况二:第一对象类型和第二对象类型均为非工商类型,此时对象类型变化信息表征保持为第一类型(即保持为非工商类型);
情况三:第一对象类型和第二对象类型均为工商类型,此时对象类型变化信息表征保持为第二类型(即保持为工商类型)。
针对上述的情况一,可以采用第一预设融合处理方式,对第一对象数据和第二对象数据进行融合处理。在一种具体实施方式中,第一对象数据中包括属于第一维度的第一数据,第二对象数据中包括属于第一维度的第二数据,第一数据中的特征值个数为P,第二数据中的特征值个数为Q,目标融合处理结果中包括第一数据和第二数据的融合处理结果;
以第一预设融合处理方式进行融合处理时:
若Q为1,则第二数据中的一个特征值作为第一数据和第二数据的融合处理结果;
若Q为0,P为1,则第一数据中的一个特征值作为第一数据和第二数据的融合处理结果;
若P和Q均大于或等于2,则第一数据中的各个特征值与第二数据中的各个特征值一并进行去重处理后得到的去重处理结果作为第一数据和第二数据的融合处理结果。
假设第一维度为数据只能有一个取值的维度(例如注册时间维度),那么,第一数据中至多只有1个特征值,第二数据中至多也只有1个特征值,也即,P和Q均要么为0,要么为1。这时,只要第二数据中存在1个特征值,无论第一数据中是存在1个特征值,还是根本不存在特征值,都将第二数据中的这个特征值作为第一数据和第二数据的融合处理结果;如果第二数据中不存在特征值,而第一数据中存在1个特征值,则将第一数据中的这个特征值作为第一数据和第二数据的融合处理结果。
假设第一维度为数据允许有多个取值的维度(例如邮箱维度),那么,第一数据和第二数据中均可以有多个特征值,也即,P和Q均大于或等于2。这时,可以对第一数据中的各个特征值和第二数据中的各个特征值一并进行去重处理,若第一数据中的多个特征值为邮箱1、邮箱2、邮箱3,第二数据中的多个特征值为邮箱1、邮箱2、邮箱4、邮箱5,则可以将包括邮箱1、邮箱2、邮箱3、邮箱4、邮箱5的去重处理结果作为第一数据和第二数据的融合处理结果。
这种实施方式中,如果第一对象数据和第二对象数据中相同维度的数据具体为旧数据单值对新数据单值(对应上文中的P和Q均要么为0,要么为1),则可以优先取旧数据单值作为融合处理结果,如果第一对象数据和第二对象数据中相同维度的数据具体为旧数据多值对新数据多值(对应上文中的P和Q均大于或等于2),则可以将旧数据多值和新数据多值一并去重以得到融合处理结果,这样,按照第一预设融合处理方式,能够非常便捷地实现第一对象数据和第二对象数据的融合处理。
针对上述的情况二和情况三,可以采用第二预设融合处理方式,对第一对象数据和第二对象数据进行融合处理。在一种具体实施方式中,第一对象数据中包括属于第一维度的第一数据,第二对象数据中包括属于第一维度的第二数据,第一数据中的特征值个数为P,第二数据中的特征值个数为Q,目标融合处理结果中包括第一数据和第二数据的融合处理结果;
以第二预设融合处理方式进行融合处理时:
若P大于或等于1,则第一数据中的所有特征值作为第一数据和第二数据的融合处理结果。
这里,不管第一维度为数据只能有一个取值的维度还是数据允许有多个取值的维度,只要第一数据中存在至少1个特征值,无论第二数据中是否存在特征值,均将第一数据中的所有特征值作为第一数据和第二数据的融合处理结果;只要第一数据中不存在特征值,则无论第二数据中是否存在特征值,均将空值作为第一数据和第二数据的融合处理结果。
这种实施方式中,如果第一对象数据和第二对象数据中相同维度的数据具体为旧数据单值对新数据单值,则只取新数据单值作为融合处理结果,如果第一对象数据和第二对象数据中相同维度的数据具体为旧数据多值对新数据多值,则只取新数据多值作为融合处理结果,无需考虑旧数据单值和旧数据多值,这样,按照第二预设融合处理方式,能够非常便捷地实现第一对象数据和第二对象数据的融合处理。
本公开的实施例中,不管根据第一对象类型和第二对象类型确定的对象类型变化信息为何种情况,均可以采用合适的融合处理方式,对第一对象数据和第二对象数据进行融合处理,以保证融合效果和融合结果的可靠性。
需要指出的是,上述实施例中,对于对象类型变化信息可能的三种情况,针对情况二和情况三采用的是相同的融合处理方式,具体实施时,也可以针对这三种情况,对应采用三种不同的融合处理方式,这也是可行的。
在图1所示实施例的基础上,如图4所示,步骤104,可以包括:
步骤1044,将第一对象数据划分为属于第一数据维度分组的第一组数据和属于第二数据维度分组的第二组数据;
步骤1045,将第二对象数据划分为属于第一数据维度分组的第三组数据和属于第二数据维度分组的第四组数据;
步骤1046,以第三预设融合处理方式,对第一组数据和第三组数据进行融合处理,以得到第一融合处理结果;
步骤1047,根据第一对象类型和第二对象类型,对第二组数据和第四组数据进行融合处理,以得到第二融合处理结果;
步骤1048,获得目标融合处理结果;其中,目标融合处理结果中包括第一融合处理结果和第二融合处理结果。
这里,在得到第一对象数据和第二对象数据之后,可以按照预先设定的划分规则,将第一对象数据划分为属于第一数据维度分组的第一组数据和属于第二数据维度分组的第二组数据,并将第二对象数据划分为属于第一数据维度分组的第三组数据和属于第二数据维度分组的第四组数据;其中,第一数据维度分组可以包括以下至少一项:失信信息维度、联系电话维度、商标维度;第二数据维度分组可以包括以下至少一项:基本信息维度、注册信息维度、网站维度、邮箱维度。
接下来,可以采用第三预设融合处理方式,对第一组数据和第三组数据进行融合处理,以得到第一融合处理结果。在一种具体实施方式中,第一组数据中包括属于第二维度的第三数据,第三组数据中包括属于第二维度的第四数据,第三数据中的特征值个数为R,第四数据中的特征值个数为S,第一融合处理结果中包括第三数据和第四数据的融合处理结果;
以第三预设融合处理方式进行融合处理时:
若R为1,则第三数据中的一个特征值作为第三数据和第四数据的融合处理结果;
若R为0,S为1,则第四数据中的一个特征值作为第三数据和第四数据的融合处理结果;
若R和S均大于或等于2,则第三数据中的各个特征值与第四数据中的各个特征值一并进行去重处理后得到的去重处理结果作为第三数据和第四数据的融合处理结果。
假设第二维度为数据只能有一个取值的维度,那么,R和S均要么为0,要么为1,这时,只要第三数据中存在1个特征值,无论第四数据中是存在1个特征值,还是根本不存在特征值,都将第三数据中的这个特征值作为第三数据和第四数据的融合处理结果;如果第三数据中不存在特征值,而第四数据中存在1个特征值,则将第四数据中的这个特征值作为第三数据和第四数据的融合处理结果。
假设第二维度为数据允许有多个取值的维度(例如联系电话维度),那么,第三数据和第四数据中均可以有多个特征值,也即,R和S均大于或等于2。这时,可以对第三数据中的各个特征值和第四数据中的各个特征值一并进行去重处理,若第三数据中的多个特征值为联系电话1、联系电话2、联系电话3,第四数据中的多个特征值为联系电话3、联系电话4、联系电话5,则可以将包括联系电话1、联系电话2、联系电话3、联系电话4、联系电话5的去重处理结果作为第三数据和第四数据的融合处理结果。
这种实施方式中,如果第一组数据和第三组数据中相同维度的数据具体为旧数据单值对新数据单值(对应上文中的R和S均要么为0,要么为1),则可以优先取新数据单值作为融合处理结果,如果第一组数据和第三组数据中相同维度的数据具体为旧数据多值对新数据多值(对应上文中的R和S均大于或等于2),则可以将旧数据多值和新数据多值一并去重以得到融合处理结果,这样,按照第三预设融合处理方式,能够非常便捷地实现第一组数据和第三组数据的融合处理,以得到第一融合处理结果。
另外,还可以根据第一对象类型和第二对象类型,对第二组数据和第四组数据进行融合处理,以得到第二融合处理结果。具体地,可以根据第一对象类型和第二对象类型,确定对象类型变化信息,并根据对象类型变化信息,以合适的融合处理方式,对第二组数据和第四组数据进行融合处理,具体过程参照上文中根据对象类型变化信息,以合适的融合处理方式,对第一对象数据和第二对象数据进行融合处理的过程的说明即可,在此不再赘述。
在得到第一融合处理结果和第二融合处理结果之后,可以得到包括第一融合处理结果和第二融合处理结果的目标融合处理结果。
本公开的实施例中,通过分别对第一对象数据和第二对象数据进行划分,可以将第一对象数据和第二对象数据中同属于第一数据维度分组的数据以合适的融合处理方式进行融合,并将第一对象数据和第二对象数据中同属于第二数据维度分组的数据以合适的融合处理方式进行融合,这样能够较好地保证融合效果和融合结果的可靠性。
在一个可选示例中,数据库(其可以为上文中的中台数据库)为非关系型数据库,目标搜索对象标识的数量为多个;
根据第一对象数据和第二对象数据的融合处理结果,更新数据库,包括:
调用多个线程,利用多个目标搜索对象标识对应的多个目标融合处理结果,更新数据库。
这里,中台数据库可以为非关系型数据库,具体地,中台数据库可以为表格存储(即Table Store)数据库。可以理解的是,Table Store数据库具有以下特性:可支持高并发,高吞吐,PB级别存储,性能好,稳定,可扩展性好;其中,PB是数据存储容量的单位。
本公开的实施例中,可以将第一信息表中的多个搜索对象标识中的每个搜索对象标识分别作为目标搜索对象标识并执行上述的步骤101至步骤103,以得到多个目标搜索对象标识对应的多个目标融合处理结果,之后,可以同步并发调用多个线程,以通过多个线程,利用多个目标融合处理结果分别替换中台数据库中的相应对象数据,从而实现中台数据库的更新,进而实现业务数据库的更新,可见,本公开的实施例能够快速准确地实现中台数据库的全量更新。另外,由于源数据库并未直接与业务数据库连接,而是通过中台数据库与业务数据库连接,且中台数据库用于向业务数据库同步业务数据,即便业务数据库发生数据丢失,也能够非常便捷地从业务数据库中获取到相应数据,这样能够保证业务数据库给用户提供的服务的稳定性。
在一个可选示例中,该方法还包括:
在监测到用于获取对象数据的主数据表中的第一字段发生变化的情况下,确定与第一字段关联的搜索对象标识,并对数据库中与所确定的搜索对象标识关联的对象数据整体进行更新;
在监测到用于获取对象数据的非主数据表中的第二字段发生变化的情况下,确定与第二字段关联的搜索对象标识,并对数据库中与所确定的搜索对象标识关联的对象数据中的相应字段进行更新。
这里,源数据库中可以包括多张数据表,多张数据表中的每张数据表分别具有唯一的id,多张数据表可以分为主数据表和非主数据表,主数据表和非主数据表的数量均可以为1张或者多张,另外,主数据表和非主数据库中均可以记载有大量的对象数据,在执行上述的步骤101和步骤102时,可以根据实际情况,从主数据库和/或非主数据库表中获取所需的对象数据。需要说明的是,多张数据表中的哪些数据表属于主数据表,哪些数据库属于非主数据表可以由开发人员指定。
本公开的实施例中,可以使用阿波罗(即apollo)配置中心,针对主数据表和非主数据表,分别配置对应的监听工具;其中,监听工具可以为消息中间件卡夫卡(即kafka)。
在通过主数据库对应的监听工具,监测到主数据表中的任一字段(例如第一字段)发生变化的情况下,可以对主数据表中第一字段相关的信息进行搜索,并据此确定与第一字段关联的搜索对象标识,接下来,可以根据第一字段发生变化后的源数据库,对中台数据库中与所确定的搜索对象标识关联的对象数据整体进行更新。可选地,可以将所确定的搜索对象标识作为目标搜索对象标识,并基于第一字段发生变化后的源数据库,执行上述的步骤101至步骤104,以得到相应的目标融合处理结果,并利用得到的目标融合处理结果,整体替换中台数据库中与所确定的搜索对象标识关联的对象数据,从而实现中台数据库中与所确定的搜索对象标识关联的对象数据的整体更新。
在通过非主数据表对应的监听工具,监测到非主数据表中的任一字段(例如第二字段)发生变化的情况下,可以对非主数据表中第二字段相关的信息进行搜索,并据此确定与第二字段关联的搜索对象标识,接下来,可以根据变化后的第二字段,对中台数据库中与所确定的搜索对象标识关联的对象数据中的相应字段进行更新。举例而言,若通过非主数据表对应的监听工具,监测到表示企业法人的字段发生了变化,具体为企业法人由张三变为了李四,则可以对中台数据库中与所确定的搜索对象标识关联的对象数据中表示企业法人的字段进行同步变化,以使变化后的该字段表示企业法人为李四。
本公开的实施例中,对于主数据表发生字段变化的情况,可以对中台数据库中相应搜索对象标识关联的对象数据进行全字段更新,这样实现了中台数据库的增量同步,从而能够保证中台数据库中的数据保持在较新的状态;对于非主数据库发生字段变化的情况,可以仅对中台数据库中相应搜索对象标识关联的对象数据进行单字段更新,这样实现了中台数据库的增量同步,且能够有效地节省数据流量,同时也不影响其他字段。
在一个可选示例中,该方法还包括:
在监测到知识产权库发生变化的情况下,确定知识产权库的变化信息;
确定与变化信息关联的搜索对象标识;
从数据库(其可以为上文中的中台数据库)中获取所确定的搜索对象标识的知识产权维度的第五数据;
将第五数据与变化信息进行比对,并根据比对结果,更新数据库中的第五数据。
这里,源数据库中可以包括知识产权库,知识产权库中可以包括海量的专利、软件著作权等,为了便于理解,这里以知识产权库中仅包括海量的专利的情况为例进行说明。
本公开的实施例中,可以使用apollo配置中心,针对知识产权库配置对应的监听工具;其中,监听工具可以为消息中间件kafka。
在通过知识产权库对应的监听工具,监听到知识产权库发生变化的情况下,可以确定知识产权库的变化信息,变化信息可以用于表征知识产权库具体是发生了新增、删减还是变更,且变化涉及的具体是哪些专利。
接下来,可以确定与变化信息关联的搜索对象标识。一般而言,任一专利文件中的特定位置都会记载有本专利文件的申请人,这样,通过对变化涉及的具体专利文件的特定位置进行文字识别,可以确定出相应的申请人,确定出的申请人可以作为搜索对象,该搜索对象的搜索对象标识即可作为与变化信息关联的搜索对象标识,为了便于理解,后续将与变化信息关联的搜索对象标识简称为搜索对象标识D。
之后,可以将搜索对象标识D作为索引,在中台数据库中搜索相关的对象数据,并从搜索到的对象数据中筛选出知识产权维度的数据,该数据即可作为第五数据。
再之后,可以将第五数据与变化信息进行比对。假设第五数据表示具有搜索对象标识D的搜索对象申请了1000篇专利,且第五数据中还包括这1000篇专利的详细信息,而变化信息表征向知识产权库中新增了200篇专利,变化信息中还包括这200篇专利的详细信息,变化信息还表征这200篇专利中的50篇专利中的申请人存在具有搜索对象标识D的搜索对象,则可以将这50篇专利一一地与第五数据涉及的1000篇专利进行比对,如果通过比对,确定出这50篇专利均不包含于第五数据涉及的1000篇专利中,则可以将这50篇专利的详细信息合并至第五数据中,以实现第五数据的更新;如果通过比对,确定出这50篇专利中仅10篇包含于第五数据涉及的1000篇专利中,则可以将这50篇专利和这1000篇专利的详细信息进行去重合并,并将第五数据更新为得到的去重合并结果。
本公开的实施例中,对于知识产权库发生变化的情况,可以确定知识产权库的变化信息,并确定与变化信息关联的搜索对象标识(即搜索对象标识D),之后可以据此对中台数据库中搜索对象标识D的知识产权维度的第五数据进行反查,以便进行第五数据的更新,这样实现了中台数据库的增量同步,从而最终使中台数据库中的数据保持在较新的状态。
综上,本公开的实施例中,通过搭建中台数据库,并通过中台数据库为业务数据库同步对象数据,能够较好地保证业务数据库给用户提供的服务的质量,并且可支持高吞吐,高并发,可扩展性高,性能好。
本公开的实施例提供的任一种数据同步方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本公开实施例提供的任一种数据同步方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种数据同步方法。下文不再赘述。
示例性装置
图5是本公开一示例性实施例提供的数据同步装置的结构示意图,图5所示的装置包括第一获取模块501、第二获取模块502、第一确定模块503、第一处理模块504和更新模块504。
第一获取模块501,用于获取与目标搜索对象标识关联的第一对象数据;
第二获取模块502,用于获取与目标搜索对象标识的历史搜索对象标识关联的第二对象数据;
第一确定模块503,用于根据目标搜索对象标识,确定第一对象类型,以及根据历史搜索对象标识,确定第二对象类型;
第一处理模块504,用于根据第一对象类型和第二对象类型,对第一对象数据和第二对象数据进行融合处理,以得到目标融合处理结果;
更新模块505,用于根据目标融合处理结果,更新数据库。
在一个可选示例中,第一处理模块504,包括:
确定子模块,用于根据第一对象类型和第二对象类型,确定对象类型变化信息;
第一处理子模块,用于在对象类型变化信息表征由第一类型变化为第二类型的情况下,以第一预设融合处理方式,对第一对象数据和第二对象数据进行融合处理;
第二处理子模块,用于在对象类型变化信息表征保持为第一类型或者保持为第二类型的情况下,以第二预设融合处理方式,对第一对象数据和第二对象数据进行融合处理。
在一个可选示例中,第一对象数据中包括属于第一维度的第一数据,第二对象数据中包括属于第一维度的第二数据,第一数据中的特征值个数为P,第二数据中的特征值个数为Q,目标融合处理结果中包括第一数据和第二数据的融合处理结果;
以第一预设融合处理方式进行融合处理时:
若Q为1,则第二数据中的一个特征值作为第一数据和第二数据的融合处理结果;
若Q为0,P为1,则第一数据中的一个特征值作为第一数据和第二数据的融合处理结果;
若P和Q均大于或等于2,则第一数据中的各个特征值与第二数据中的各个特征值一并进行去重处理后得到的去重处理结果作为第一数据和第二数据的融合处理结果。
在一个可选示例中,第一对象数据中包括属于第一维度的第一数据,第二对象数据中包括属于第一维度的第二数据,第一数据中的特征值个数为P,第二数据中的特征值个数为Q,目标融合处理结果中包括第一数据和第二数据的融合处理结果;
以第二预设融合处理方式进行融合处理时:
若P大于或等于1,则第一数据中的所有特征值作为第一数据和第二数据的融合处理结果。
在一个可选示例中,第一处理模块504,包括:
第一划分子模块,用于将第一对象数据划分为属于第一数据维度分组的第一组数据和属于第二数据维度分组的第二组数据;
第二划分子模块,用于将第二对象数据划分为属于第一数据维度分组的第三组数据和属于第二数据维度分组的第四组数据;
第三处理子模块,用于以第三预设融合处理方式,对第一组数据和第三组数据进行融合处理,以得到第一融合处理结果;
第四处理子模块,用于根据第一对象类型和第二对象类型,对第二组数据和第四组数据进行融合处理,以得到第二融合处理结果;
获取子模块,用于获得目标融合处理结果;其中,目标融合处理结果中包括第一融合处理结果和第二融合处理结果。
在一个可选示例中,第一组数据中包括属于第二维度的第三数据,第三组数据中包括属于第二维度的第四数据,第三数据中的特征值个数为R,第四数据中的特征值个数为S,第一融合处理结果中包括第三数据和第四数据的融合处理结果;
以第三预设融合处理方式进行融合处理时:
若R为1,则第三数据中的一个特征值作为第三数据和第四数据的融合处理结果;
若R为0,S为1,则第四数据中的一个特征值作为第三数据和第四数据的融合处理结果;
若R和S均大于或等于2,则第三数据中的各个特征值与第四数据中的各个特征值一并进行去重处理后得到的去重处理结果作为第三数据和第四数据的融合处理结果。
在一个可选示例中,该装置还包括:
第二处理模块,用于在监测到用于获取对象数据的主数据表中的第一字段发生变化的情况下,确定与第一字段关联的搜索对象标识,并对数据库中与所确定的搜索对象标识关联的对象数据整体进行更新;
第三处理模块,用于在监测到用于获取对象数据的非主数据表中的第二字段发生变化的情况下,确定与第二字段关联的搜索对象标识,并对数据库中与所确定的搜索对象标识关联的对象数据中的相应字段进行更新。
在一个可选示例中,该装置还包括:
第二确定模块,用于在监测到知识产权库发生变化的情况下,确定知识产权库的变化信息;
第三确定模块,用于确定与变化信息关联的搜索对象标识;
第三获取模块,用于从数据库中获取所确定的搜索对象标识的知识产权维度的第五数据;
第四处理模块,用于将第五数据与变化信息进行比对,并根据比对结果,更新数据库中的第五数据。
在一个可选示例中,数据库为非关系型数据库,目标搜索对象标识的数量为多个;
更新模块505,具体用于:
调用多个线程,利用多个目标搜索对象标识对应的多个目标融合处理结果,更新数据库。
示例性电子设备
下面,参考图6来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
图6图示了根据本公开实施例的电子设备600的框图。
如图6所示,电子设备600包括一个或多个处理器601和存储器602。
处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备600中的其他组件以执行期望的功能。
存储器602可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器601可以运行所述程序指令,以实现上文所述的本公开的各个实施例的数据同步方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备600还可以包括:输入装置603和输出装置604,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如,在电子设备600是第一设备或第二设备时,该输入装置603可以是麦克风或麦克风阵列。在电子设备600是单机设备时,该输入装置603可以是通信网络连接器,用于从第一设备和第二设备接收所采集的输入信号。
此外,该输入装置603还可以包括例如键盘、鼠标等等。
该输出装置604可以向外部输出各种信息。该输出装置604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。
当然,为了简化,图6中仅示出了该电子设备600中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备600还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的数据同步方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的数据同步方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种数据同步方法,其特征在于,包括:
获取与目标搜索对象标识关联的第一对象数据;
获取与所述目标搜索对象标识的历史搜索对象标识关联的第二对象数据;
根据所述目标搜索对象标识,确定第一对象类型,以及根据所述历史搜索对象标识,确定第二对象类型;
根据所述第一对象类型和所述第二对象类型,对所述第一对象数据和所述第二对象数据进行融合处理,以得到目标融合处理结果;
根据所述目标融合处理结果,更新数据库。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一对象类型和所述第二对象类型,对所述第一对象数据和所述第二对象数据进行融合处理,包括:
根据所述第一对象类型和所述第二对象类型,确定对象类型变化信息;
在所述对象类型变化信息表征由第一类型变化为第二类型的情况下,以第一预设融合处理方式,对所述第一对象数据和所述第二对象数据进行融合处理;
在所述对象类型变化信息表征保持为第一类型或者保持为第二类型的情况下,以第二预设融合处理方式,对所述第一对象数据和所述第二对象数据进行融合处理。
3.根据权利要求2所述的方法,其特征在于,所述第一对象数据中包括属于第一维度的第一数据,所述第二对象数据中包括属于所述第一维度的第二数据,所述第一数据中的特征值个数为P,所述第二数据中的特征值个数为Q,所述目标融合处理结果中包括所述第一数据和所述第二数据的融合处理结果;
以所述第一预设融合处理方式进行融合处理时:
若Q为1,则所述第二数据中的一个特征值作为所述第一数据和所述第二数据的融合处理结果;
若Q为0,P为1,则所述第一数据中的一个特征值作为所述第一数据和所述第二数据的融合处理结果;
若P和Q均大于或等于2,则所述第一数据中的各个特征值与所述第二数据中的各个特征值一并进行去重处理后得到的去重处理结果作为第一数据和所述第二数据的融合处理结果。
4.根据权利要求2所述的方法,其特征在于,所述第一对象数据中包括属于第一维度的第一数据,所述第二对象数据中包括属于所述第一维度的第二数据,所述第一数据中的特征值个数为P,所述第二数据中的特征值个数为Q,所述目标融合处理结果中包括所述第一数据和所述第二数据的融合处理结果;
以所述第二预设融合处理方式进行融合处理时:
若P大于或等于1,则所述第一数据中的所有特征值作为所述第一数据和所述第二数据的融合处理结果。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一对象类型和所述第二对象类型,对所述第一对象数据和所述第二对象数据进行融合处理,以得到目标融合处理结果,包括:
将所述第一对象数据划分为属于第一数据维度分组的第一组数据和属于第二数据维度分组的第二组数据;
将所述第二对象数据划分为属于所述第一数据维度分组的第三组数据和属于所述第二数据维度分组的第四组数据;
以第三预设融合处理方式,对所述第一组数据和所述第三组数据进行融合处理,以得到第一融合处理结果;
根据所述第一对象类型和所述第二对象类型,对所述第二组数据和所述第四组数据进行融合处理,以得到第二融合处理结果;
获得目标融合处理结果;其中,所述目标融合处理结果中包括所述第一融合处理结果和所述第二融合处理结果。
6.根据权利要求5所述的方法,其特征在于,所述第一组数据中包括属于第二维度的第三数据,所述第三组数据中包括属于所述第二维度的第四数据,所述第三数据中的特征值个数为R,所述第四数据中的特征值个数为S,所述第一融合处理结果中包括所述第三数据和所述第四数据的融合处理结果;
以所述第三预设融合处理方式进行融合处理时:
若R为1,则所述第三数据中的一个特征值作为所述第三数据和所述第四数据的融合处理结果;
若R为0,S为1,则所述第四数据中的一个特征值作为所述第三数据和所述第四数据的融合处理结果;
若R和S均大于或等于2,则所述第三数据中的各个特征值与所述第四数据中的各个特征值一并进行去重处理后得到的去重处理结果作为第三数据和所述第四数据的融合处理结果。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在监测到用于获取对象数据的主数据表中的第一字段发生变化的情况下,确定与所述第一字段关联的搜索对象标识,并对所述数据库中与所确定的搜索对象标识关联的对象数据整体进行更新;
在监测到用于获取对象数据的非主数据表中的第二字段发生变化的情况下,确定与所述第二字段关联的搜索对象标识,并对所述数据库中与所确定的搜索对象标识关联的对象数据中的相应字段进行更新。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在监测到知识产权库发生变化的情况下,确定所述知识产权库的变化信息;
确定与所述变化信息关联的搜索对象标识;
从所述数据库中获取所确定的搜索对象标识的知识产权维度的第五数据;
将所述第五数据与所述变化信息进行比对,并根据比对结果,更新所述数据库中的所述第五数据。
9.根据权利要求1所述的方法,其特征在于,所述数据库为非关系型数据库,所述目标搜索对象标识的数量为多个;
所述根据所述目标融合处理结果,更新数据库,包括:
调用多个线程,利用多个所述目标搜索对象标识对应的多个所述目标融合处理结果,更新数据库。
10.一种数据同步装置,其特征在于,包括:
第一获取模块,用于获取与目标搜索对象标识关联的第一对象数据;
第二获取模块,用于获取与所述目标搜索对象标识的历史搜索对象标识关联的第二对象数据;
第一确定模块,用于根据所述目标搜索对象标识,确定第一对象类型,以及根据所述历史搜索对象标识,确定第二对象类型;
第一处理模块,用于根据所述第一对象类型和所述第二对象类型,对所述第一对象数据和所述第二对象数据进行融合处理,以得到目标融合处理结果;
更新模块,用于根据所述目标融合处理结果,更新数据库。
11.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序用于执行上述权利要求1至9中任一项所述的数据同步方法。
12.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1至9中任一项所述的数据同步方法。
CN202011135373.1A 2020-10-21 2020-10-21 数据同步方法、装置、计算机可读存储介质及电子设备 Active CN112214505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011135373.1A CN112214505B (zh) 2020-10-21 2020-10-21 数据同步方法、装置、计算机可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011135373.1A CN112214505B (zh) 2020-10-21 2020-10-21 数据同步方法、装置、计算机可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112214505A true CN112214505A (zh) 2021-01-12
CN112214505B CN112214505B (zh) 2024-06-18

Family

ID=74056356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011135373.1A Active CN112214505B (zh) 2020-10-21 2020-10-21 数据同步方法、装置、计算机可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112214505B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760930A (zh) * 2021-07-30 2021-12-07 北京沃东天骏信息技术有限公司 业务系统中运行数据的确定方法、装置、设备及存储介质
CN113886723A (zh) * 2021-09-09 2022-01-04 盐城金堤科技有限公司 确定排序稳定性的方法和装置、以及存储介质和电子设备
CN114297216A (zh) * 2021-12-30 2022-04-08 北京金堤科技有限公司 数据同步方法及其装置、计算机存储介质、电子设备
CN115189994A (zh) * 2022-07-08 2022-10-14 中国联合网络通信集团有限公司 数据同步方法及装置、计算机可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469580A (zh) * 2010-11-18 2012-05-23 上海启电信息科技有限公司 一种基于无线传感技术的移动定位服务系统
CN103246726A (zh) * 2013-05-09 2013-08-14 北京奇虎科技有限公司 一种网络信息的搜索方法、装置和系统
US20140236953A1 (en) * 2009-02-11 2014-08-21 Jeffrey A. Rapaport Methods using social topical adaptive networking system
CN105338661A (zh) * 2015-07-13 2016-02-17 安徽农业大学 以云端运算为架构使用数据融合演算设计的环境监控方法及装置
CN106547855A (zh) * 2016-10-19 2017-03-29 北京交通大学 基于电子地图和io驱采信息的数据库自动生成方法及装置
CN106874279A (zh) * 2015-12-11 2017-06-20 腾讯科技(深圳)有限公司 生成应用类别标签的方法及装置
CN108280562A (zh) * 2017-12-06 2018-07-13 国网浙江省电力有限公司 一种规范电力企业数据资源的方法
CN108427759A (zh) * 2018-03-19 2018-08-21 四川意高汇智科技有限公司 用于海量数据处理的实时数据计算方法
CN110335057A (zh) * 2019-04-30 2019-10-15 广发证券股份有限公司 一种机器学习与人工规则融合的基金精准营销方法
KR20190129474A (ko) * 2018-05-11 2019-11-20 삼성에스디에스 주식회사 데이터 검색 장치 및 방법
CN111581245A (zh) * 2020-03-26 2020-08-25 口口相传(北京)网络技术有限公司 一种数据搜索方法以及装置
CN111611490A (zh) * 2020-05-25 2020-09-01 北京达佳互联信息技术有限公司 资源搜索方法、装置、设备及存储介质
CN111739293A (zh) * 2020-06-10 2020-10-02 广东世纪高通科技有限公司 一种数据融合方法及装置
CN111797261A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 特征提取方法、装置、存储介质及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140236953A1 (en) * 2009-02-11 2014-08-21 Jeffrey A. Rapaport Methods using social topical adaptive networking system
CN102469580A (zh) * 2010-11-18 2012-05-23 上海启电信息科技有限公司 一种基于无线传感技术的移动定位服务系统
CN103246726A (zh) * 2013-05-09 2013-08-14 北京奇虎科技有限公司 一种网络信息的搜索方法、装置和系统
CN105338661A (zh) * 2015-07-13 2016-02-17 安徽农业大学 以云端运算为架构使用数据融合演算设计的环境监控方法及装置
CN106874279A (zh) * 2015-12-11 2017-06-20 腾讯科技(深圳)有限公司 生成应用类别标签的方法及装置
CN106547855A (zh) * 2016-10-19 2017-03-29 北京交通大学 基于电子地图和io驱采信息的数据库自动生成方法及装置
CN108280562A (zh) * 2017-12-06 2018-07-13 国网浙江省电力有限公司 一种规范电力企业数据资源的方法
CN108427759A (zh) * 2018-03-19 2018-08-21 四川意高汇智科技有限公司 用于海量数据处理的实时数据计算方法
KR20190129474A (ko) * 2018-05-11 2019-11-20 삼성에스디에스 주식회사 데이터 검색 장치 및 방법
CN111797261A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 特征提取方法、装置、存储介质及电子设备
CN110335057A (zh) * 2019-04-30 2019-10-15 广发证券股份有限公司 一种机器学习与人工规则融合的基金精准营销方法
CN111581245A (zh) * 2020-03-26 2020-08-25 口口相传(北京)网络技术有限公司 一种数据搜索方法以及装置
CN111611490A (zh) * 2020-05-25 2020-09-01 北京达佳互联信息技术有限公司 资源搜索方法、装置、设备及存储介质
CN111739293A (zh) * 2020-06-10 2020-10-02 广东世纪高通科技有限公司 一种数据融合方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760930A (zh) * 2021-07-30 2021-12-07 北京沃东天骏信息技术有限公司 业务系统中运行数据的确定方法、装置、设备及存储介质
CN113886723A (zh) * 2021-09-09 2022-01-04 盐城金堤科技有限公司 确定排序稳定性的方法和装置、以及存储介质和电子设备
CN113886723B (zh) * 2021-09-09 2024-04-12 盐城天眼察微科技有限公司 确定排序稳定性的方法和装置、以及存储介质和电子设备
CN114297216A (zh) * 2021-12-30 2022-04-08 北京金堤科技有限公司 数据同步方法及其装置、计算机存储介质、电子设备
CN114297216B (zh) * 2021-12-30 2022-09-02 北京金堤科技有限公司 数据同步方法及其装置、计算机存储介质、电子设备
CN115189994A (zh) * 2022-07-08 2022-10-14 中国联合网络通信集团有限公司 数据同步方法及装置、计算机可读存储介质

Also Published As

Publication number Publication date
CN112214505B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN112199366B (zh) 数据表处理方法、装置及设备
US10915528B2 (en) Pluggable storage system for parallel query engines
CN112214505B (zh) 数据同步方法、装置、计算机可读存储介质及电子设备
US9582594B2 (en) Method and system for centralized issue tracking
CN109388657B (zh) 数据处理方法、装置、计算机设备及存储介质
US20130097134A1 (en) System and method for subject identification from free format data sources
CN111506559A (zh) 数据存储方法、装置、电子设备及存储介质
US11100152B2 (en) Data portal
US11366821B2 (en) Epsilon-closure for frequent pattern analysis
CN114741392A (zh) 数据查询方法、装置、电子设备及存储介质
CN111753019A (zh) 一种应用于数据仓库的数据分区方法和装置
US9092338B1 (en) Multi-level caching event lookup
US11531706B2 (en) Graph search using index vertices
CN112579673A (zh) 一种多源数据处理方法及装置
CN106649584A (zh) 一种主从式数据库系统中的索引处理方法和装置
CN114925145B (zh) 数据存储方法、装置以及存储介质和电子设备
CN113515504B (zh) 数据管理方法、装置、电子设备以及存储介质
US20220191104A1 (en) Access management for a multi-endpoint data store
CN110019162B (zh) 实现属性归一的方法和装置
CN113901125B (zh) 数据展示方法和装置、及存储介质和电子设备
US11928125B2 (en) Cleaning and organizing schemaless semi-structured data for extract, transform, and load processing
CN114637736B (zh) 一种数据库拆分方法和装置
CN113111120B (zh) 业务数据校验的方法和装置
US12019631B1 (en) Systems and methods for reducing computational resource usage in a query-based data access system via a repeated query results repository
CN118394846A (zh) 一种数据同步方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant