CN115982179A - 一种企业名片更新方法及装置 - Google Patents

Abstract

本申请涉及数据处理技术领域，特别涉及一种企业名片更新方法及装置。该方法包括：收集用户通过开票系统上传的目标企业的开票信息，其中，所述开票信息包括所述目标企业的名片数据；将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据；将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据。

Description

一种企业名片更新方法及装置

技术领域

本申请涉及数据处理技术领域，特别涉及一种企业名片更新方法及装置。

背景技术

随着经济的日益发展，每天都会新增很多企业，同时，国家税务总局大力推行电子发票，企业开票系统中的企业开票信息需要实时进行更新和补充，以保证用户开票时可以准确找到需要的企业信息。传统的数据更新方式是开票系统的维护人员定期获取工商数据，通过和本地数据库中的数据进行比对，通过时间的远近进行筛选，再对数据进行更新和补充。由于数据变更速度快、数量大，传统的更新方式非常低效，浪费大量人员成本。

相关技术中，往往都是通过网络爬虫等技术从互联网获取企业新数据，借助关系数据库或非关系数据库实现数据的比对，通过获取时间判断新老数据，完成本地数据的更新。比对分析大都是使用SQL语句进行实现，这种方式响应较慢且并发低，对于大批量的更新数据，无法完成快速更新。因此，亟需一种简单、高效的企业名片更新系统来帮助系统维护人员完成企业名片更新任务。

发明内容

本申请提供了一种企业名片更新方法及装置，用以解决现有技术中存在的无法快速高效地对大批量企业数据进行并发更新的问题。

第一方面，本申请提供了一种企业名片更新方法，所述方法包括：

收集用户通过开票系统上传的目标企业的开票信息，其中，所述开票信息包括所述目标企业的名片数据；

将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据；

将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据。

可选地，收集用户通过开票系统上传的目标企业的开票信息的步骤包括：

基于Mysql数据库对用户通过开票系统上传的目标企业的开票信息进行收集，其中，当用户通过开票系统对目标企业进行开票时，若没有查找到目标企业的开票信息，或者，查找到的目标企业的开票信息错误时，用户通过开票系统上传目标企业的开票信息。

可选地，将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据的步骤包括：

基于数据传输工具Sqoop将用户上传到Mysql数据库中的目标企业的开票信息发送至分布式数据仓库Hive中；

基于数据计算组件Spark，采用预设分类规则对所述目标企业的开票信息中的所有字段进行分类处理，输出规则的第一名片数据，其中，一个字段为一类企业名片信息。

可选地，将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据的步骤包括：

基于分布式计算组件Spark，采用MapReduce的方式对所述第一名片数据和所述第二名片数据进行比对；

针对所述第一名片数据和所述第二名片数据均包括的字段，将时间戳最近的字段作为所述目标企业的名片数据；

针对仅所述第一名片数据/所述第二名片数据包括的字段，将该一段作为所述目标企业的名片数据。

可选地，所述方法还包括：

将所述目标企业最新的名片数据存储在所述分布式数据仓库中，并基于预设规则将所述目标企业最新的名片数据同步至开票系统中。

第二方面，本申请提供了一种企业名片更新装置，所述装置包括：

收集单元，用于收集用户通过开票系统上传的目标企业的开票信息，其中，所述开票信息包括所述目标企业的名片数据；

预处理单元，用于将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据；

更新单元，用于将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据。

可选地，收集用户通过开票系统上传的目标企业的开票信息时，所述收集单元具体用于：

基于Mysql数据库对用户通过开票系统上传的目标企业的开票信息进行收集，其中，当用户通过开票系统对目标企业进行开票时，若没有查找到目标企业的开票信息，或者，查找到的目标企业的开票信息错误时，用户通过开票系统上传目标企业的开票信息。

可选地，将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据时，所述预处理单元具体用于：

基于数据传输工具Sqoop将用户上传到Mysql数据库中的目标企业的开票信息发送至分布式数据仓库Hive中；

基于数据计算组件Spark，采用预设分类规则对所述目标企业的开票信息中的所有字段进行分类处理，输出规则的第一名片数据，其中，一个字段为一类企业名片信息。

可选地，将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据时，所述更新单元具体用于：

基于分布式计算组件Spark，采用MapReduce的方式对所述第一名片数据和所述第二名片数据进行比对；

针对所述第一名片数据和所述第二名片数据均包括的字段，将时间戳最近的字段作为所述目标企业的名片数据；

针对仅所述第一名片数据/所述第二名片数据包括的字段，将该一段作为所述目标企业的名片数据。

可选地，所述装置还包括：

同步单元，用于将所述目标企业最新的名片数据存储在所述分布式数据仓库中，并基于预设规则将所述目标企业最新的名片数据同步至开票系统中。

第三方面，本申请提供了一种企业名片更新装置，该装置包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如上述第一方面中任一项所述的方法的步骤。

第六方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如上述第一方面中任一项所述方法的步骤。

综上可知，本申请实施例提供的企业名片更新方法，收集用户通过开票系统上传的目标企业的开票信息，其中，所述开票信息包括所述目标企业的名片数据；将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据；将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据。

采用本申请实施例提供的企业名片更新方法，通过用户自主反馈企业开票信息，采用自动化定时脚本每日自动完成数据的收集、预处理、融合与更新，保障了企业名片信息时效性，提高了企业名片信息更新效率。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。

图1为本申请实施例提供的一种企业名片更新方法的详细流程图；

图2为本申请实施例提供的一种企业名片更新过程示意图；

图3为本申请实施例提供的一种企业名片更新装置的结构示意图；

图4为本申请实施例提供的另一种企业名片更新装置的结构示意图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

示例性的，参阅图1所示，为本申请实施例提供的一种企业名片更新方法的详细流程图，该方法包括以下步骤：

步骤100：收集用户通过开票系统上传的目标企业的开票信息，其中，所述开票信息包括所述目标企业的名片数据。

本申请实施例中，在收集用户通过开票系统上传的目标企业的开票信息的时，一种较佳地实现方式为：基于Mysql数据库对用户通过开票系统上传的目标企业的开票信息进行收集。

实际应用中，当用户通过开票系统对目标企业进行开票时，若没有查找到目标企业的开票信息，或者，查找到的目标企业的开票信息错误时，用户通过开票系统上传目标企业的开票信息。

例如，用户通过开票系统，针对企业1进行开票时，输入企业1的开票信息，其中，一个企业的开票信息至少包括公司名称，纳税识别号，开户行和账号等信息。若在开票系统中未查找到企业1的开票信息/或查找到的企业1的开票信息中存在错误信息，则用户可以通过开票系统的数据上传接口上传企业1正确的开票信息，实现新增/修改/补充。实际应用中，系统后台可以采用Mysql数据库对用户上传的企业开票信息进行收集。

步骤110：将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据。

本申请实施例中，在将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据时，一种较佳地实现方式为：基于数据传输工具Sqoop将用户上传到Mysql数据库中的目标企业的开票信息发送至分布式数据仓库Hive中；基于数据计算组件Spark，采用预设分类规则对所述目标企业的开票信息中的所有字段进行分类处理，输出规则的第一名片数据，其中，一个字段为一类企业名片信息。

本申请实施例中，基于Hive和Spark的大数据分析及存储组件，能够更高效的进行数据处理和数据更新，同时提升了数据存储的安全性。

步骤120：将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据。

本申请实施例中，将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据时，一种较佳地实现方式为：基于分布式计算组件Spark，采用MapReduce的方式对所述第一名片数据和所述第二名片数据进行比对；针对所述第一名片数据和所述第二名片数据均包括的字段，将时间戳最近的字段作为所述目标企业的名片数据；针对仅所述第一名片数据/所述第二名片数据包括的字段，将该一段作为所述目标企业的名片数据。

具体地，基于分布式计算组件Spark，采用MapReduce的方式对新老数据进行高效比对，通过时间戳对每个字段进行更新，优先选择时间较近的数据信息，最终输出融合后的企业名片数据。

例如，假设基于用户上传的企业1的开票信息得到的企业1的第一名片数据包括名片数据1(t₁)，名片数据2(t₁)和名片数据3(t₁)，分布式数据仓库中已存储的企业1的第二名片数据包括名片数据2(t₀)和名片数据4(t₀)，其中，时间t₁为离当前时间更近的时间点，那么，其一名片数据和第二名片数据均包括名片数据2，基于2个名片数据2的时间戳信息，丢弃名片数据2(t₀)，将时间最近的第一名片数据包括的名片数据2(t₁)，名片数据1(t₁)，名片数据3(t₁)和名片数据4(t₀)作为企业1最新的名片数据。

进一步地，本申请实施例中，上述企业名片更新方法还可以包括以下步骤：

将所述目标企业最新的名片数据存储在所述分布式数据仓库中，并基于预设规则将所述目标企业最新的名片数据同步至开票系统中。

即，将更新后的数据存储在分布式数据仓库Hive中，再接入到用户开票系统。

本申请实施例中，可以采用定时Shell脚本的方式，将整个更新流程实现自动化，每日凌晨系统自动获取当天用户反馈的数据，并完成数据更新，保证企业名片数据的实时性和准确性。

下面，结合具体的应用场景对本申请实施例提供的企业名片更新过程进行示意说明。示例性的，参阅图2所示，为本申请提供的一种企业名片更新过程示意图。用户通过开票系统上传企业的准确企业名片数据，系统获取用户通过开票系统上传的企业的准确企业名片数据，并进行数据预处理，以及将与处理后得到的企业名片数据与数据库中已存储的该企业的企业名片数据进行融合更新处理，得到该企业最新的企业名片数据，最后麻将该企业最新的企业名片数据同步至开票系统中，以供用户开票使用。

基于与上述方法实施例同样的发明构思，示例性的，参阅图3所示，为本申请实施例提供的一种企业名片更新装置的结构示意图，该装置包括：

收集单元30，用于收集用户通过开票系统上传的目标企业的开票信息，其中，所述开票信息包括所述目标企业的名片数据；

预处理单元31，用于将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据；

更新单元32，用于将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据。

可选地，收集用户通过开票系统上传的目标企业的开票信息时，所述收集单元30具体用于：

基于Mysql数据库对用户通过开票系统上传的目标企业的开票信息进行收集，其中，当用户通过开票系统对目标企业进行开票时，若没有查找到目标企业的开票信息，或者，查找到的目标企业的开票信息错误时，用户通过开票系统上传目标企业的开票信息。

可选地，将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据时，所述预处理单元31具体用于：

基于数据传输工具Sqoop将用户上传到Mysql数据库中的目标企业的开票信息发送至分布式数据仓库Hive中；

基于数据计算组件Spark，采用预设分类规则对所述目标企业的开票信息中的所有字段进行分类处理，输出规则的第一名片数据，其中，一个字段为一类企业名片信息。

可选地，将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据时，所述更新单元32具体用于：

基于分布式计算组件Spark，采用MapReduce的方式对所述第一名片数据和所述第二名片数据进行比对；

针对所述第一名片数据和所述第二名片数据均包括的字段，将时间戳最近的字段作为所述目标企业的名片数据；

针对仅所述第一名片数据/所述第二名片数据包括的字段，将该一段作为所述目标企业的名片数据。

可选地，所述装置还包括：

同步单元，用于将所述目标企业最新的名片数据存储在所述分布式数据仓库中，并基于预设规则将所述目标企业最新的名片数据同步至开票系统中。

以上这些单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个单元通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

综上可知，本申请实施例提供的企业名片更新方法，收集用户通过开票系统上传的目标企业的开票信息，其中，所述开票信息包括所述目标企业的名片数据；将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据；将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据。

采用本申请实施例提供的企业名片更新方法，通过用户自主反馈企业开票信息，采用自动化定时脚本每日自动完成数据的收集、预处理、融合与更新，保障了企业名片信息时效性，提高了企业名片信息更新效率。

进一步地，本申请实施例提供的企业名片更新装置，从硬件层面而言，所述企业名片更新装置的硬件架构示意图可以参见图4所示，所述企业名片更新装置可以包括：存储器40和处理器41，

存储器40用于存储程序指令；处理器41调用存储器40中存储的程序指令，按照获得的程序指令执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本申请还提供一种企业名片更新装置，包括用于执行上述方法实施例的至少一个处理元件(或芯片)。

可选地，本申请还提供一种程序产品，例如计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使该计算机执行上述方法实施例。

这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种企业名片更新方法，其特征在于，所述方法包括：

收集用户通过开票系统上传的目标企业的开票信息，其中，所述开票信息包括所述目标企业的名片数据；

将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据；

将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据。

2.如权利要求1所述的方法，其特征在于，收集用户通过开票系统上传的目标企业的开票信息的步骤包括：

基于Mysql数据库对用户通过开票系统上传的目标企业的开票信息进行收集，其中，当用户通过开票系统对目标企业进行开票时，若没有查找到目标企业的开票信息，或者，查找到的目标企业的开票信息错误时，用户通过开票系统上传目标企业的开票信息。

3.如权利要求2所述的方法，其特征在于，将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据的步骤包括：

基于数据传输工具Sqoop将用户上传到Mysql数据库中的目标企业的开票信息发送至分布式数据仓库Hive中；

基于数据计算组件Spark，采用预设分类规则对所述目标企业的开票信息中的所有字段进行分类处理，输出规则的第一名片数据，其中，一个字段为一类企业名片信息。

4.如权利要求3所述的方法，其特征在于，将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据的步骤包括：

基于分布式计算组件Spark，采用MapReduce的方式对所述第一名片数据和所述第二名片数据进行比对；

针对所述第一名片数据和所述第二名片数据均包括的字段，将时间戳最近的字段作为所述目标企业的名片数据；

针对仅所述第一名片数据/所述第二名片数据包括的字段，将该一段作为所述目标企业的名片数据。

5.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

将所述目标企业最新的名片数据存储在所述分布式数据仓库中，并基于预设规则将所述目标企业最新的名片数据同步至开票系统中。

6.一种企业名片更新装置，其特征在于，所述装置包括：

收集单元，用于收集用户通过开票系统上传的目标企业的开票信息，其中，所述开票信息包括所述目标企业的名片数据；

预处理单元，用于将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据；

更新单元，用于将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据。

7.如权利要求6所述的装置，其特征在于，收集用户通过开票系统上传的目标企业的开票信息时，所述收集单元具体用于：

基于Mysql数据库对用户通过开票系统上传的目标企业的开票信息进行收集，其中，当用户通过开票系统对目标企业进行开票时，若没有查找到目标企业的开票信息，或者，查找到的目标企业的开票信息错误时，用户通过开票系统上传目标企业的开票信息。

8.如权利要求7所述的装置，其特征在于，将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据时，所述预处理单元具体用于：

基于数据传输工具Sqoop将用户上传到Mysql数据库中的目标企业的开票信息发送至分布式数据仓库Hive中；

基于数据计算组件Spark，采用预设分类规则对所述目标企业的开票信息中的所有字段进行分类处理，输出规则的第一名片数据，其中，一个字段为一类企业名片信息。

9.如权利要求8所述的装置，其特征在于，将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据时，所述更新单元具体用于：

基于分布式计算组件Spark，采用MapReduce的方式对所述第一名片数据和所述第二名片数据进行比对；

针对所述第一名片数据和所述第二名片数据均包括的字段，将时间戳最近的字段作为所述目标企业的名片数据；

针对仅所述第一名片数据/所述第二名片数据包括的字段，将该一段作为所述目标企业的名片数据。

10.如权利要求6-9任一项所述的装置，其特征在于，所述装置还包括：

同步单元，用于将所述目标企业最新的名片数据存储在所述分布式数据仓库中，并基于预设规则将所述目标企业最新的名片数据同步至开票系统中。

Images