CN110321541A - 分布式文档生成方法、装置、计算机设备和可读存储介质 - Google Patents

Abstract

本发明公开了一种分布式文档生成方法、装置、计算机设备和可读存储介质，其中，方法包括：获取当前文档的生成凭证；在拥有生成凭证后，按照预设顺序从多个社会实体中确定目标社会实体，获取目标社会实体的身份标识，并根据身份标识提取目标社会实体的实体信息；将实体信息与文档模板进行匹配，将匹配后的信息与文档模板生成目标社会实体的信息文档，并释放生成凭证。由此，实现了避免文档冗余的目的，解决了现有技术中在文档分布式生成时，由于文档的生成为可重复且生成时间较长，导致出现文档冗余，从而文档生成效率较低，无法满足使用需求的技术问题。

Description

分布式文档生成方法、装置、计算机设备和可读存储介质

技术领域

本发明涉及计算机技术领域，特别涉及一种分布式文档生成方法、装置、计算机设备和可读存储介质。

背景技术

目前，随着文档的需求量不断增加，对文档的生成效率也在不断提出更高要求。相关技术中，为了提高文档的生成效率，将后端服务进行了分布式部署，即部署一台主服务器和多台从服务器，以通过分布式服务提高文档的生成效率。

然而，由于社会实体的数量十分巨大，虽然后端服务做了分布式部署，但是单一文档的生成为可重复的且并生成的时间较长，易出现文档冗余，无法满足文档的唯一性要求，且生成效率较低，无法满足使用需求，降低使用体验，亟待改进。

发明内容

本发明提出一种分布式文档生成方法、装置、计算机设备和可读存储介质，以解决现有技术中在文档分布式生成时，由于文档的生成为可重复且生成时间较长，导致出现文档冗余，从而文档生成效率较低，无法满足使用需求的技术问题。

本发明第一方面实施例提出了一种分布式文档生成方法，包括：获取当前文档的生成凭证；在拥有所述生成凭证后，按照预设顺序从多个社会实体中确定目标社会实体，获取所述目标社会实体的身份标识，并根据所述身份标识提取所述目标社会实体的实体信息；将所述实体信息与文档模板进行匹配，将匹配后的信息与所述文档模板生成所述目标社会实体的信息文档，并释放所述生成凭证。

本发明实施例的分布式文档生成方法，对每一个社会实体只生成一份信息文档，不会生成重复文档，避免出现文档冗余，从而提高文档生成效率，有效满足使用需求，实现了避免文档冗余的目的，解决了现有技术中在文档分布式生成时，由于文档的生成为可重复且生成时间较长，导致出现文档冗余，从而文档生成效率较低，无法满足使用需求的技术问题。

本发明第二发明实施例提出了一种分布式文档生成装置，包括：获取模块，用于获取当前文档的生成凭证；提取模块，用于在拥有所述生成凭证后，按照预设顺序从多个社会实体中确定目标社会实体，获取所述目标社会实体的身份标识，并根据所述身份标识提取所述目标社会实体的实体信息；生成模块，用于将所述实体信息与文档模板进行匹配，将匹配后的信息与所述文档模板生成所述目标社会实体的信息文档，并释放所述生成凭证。

本发明实施例的分布式文档生成装置，对每一个社会实体只生成一份信息文档，不会生成重复文档，避免出现文档冗余，从而提高文档生成效率，有效满足使用需求，实现了避免文档冗余的目的，解决了现有技术中在文档分布式生成时，由于文档的生成为可重复且生成时间较长，导致出现文档冗余，从而文档生成效率较低，无法满足使用需求的技术问题。

本发明第三方面实施例提出了一种计算机设备，包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述一方面实施例所述的分布式文档生成方法。

本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述一方面实施例所述的分布式文档生成方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种分布式文档生成方法的流程示意图；

图2为本发明实施例所提供的一种分布式文档生成方法的应用场景示意图；以及

图3为本发明实施例所提供的一种分布式文档生成装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的分布式文档生成方法、装置、计算机设备和可读存储介质，首先将参照附图描述根据本发明实施例提出的分布式文档生成方法。

对于上述背景技术中，提到的后端服务做了分布式部署，但是单一文档的生成为可重复的且并生成的时间较长，易出现文档冗余，无法满足文档的唯一性要求，且生成效率较低，无法满足使用需求，降低使用体验，所以本发明提出一种可以对每一个社会实体只生成一份信息文档，不会生成重复文档，避免出现文档冗余的分布式文档生成方法。

图1为本发明实施例所提供的一种分布式文档生成方法的流程示意图。

如图1所示，本发明实施例的分布式文档生成方法，包括：

在步骤S101中，获取当前文档的生成凭证。

需要说明的是，生成凭证相当于文档的生成权限。可以理解的是，本发明实施例为了能够在给定的时间内完成上亿文档的生成，从而将文档生成服务部署成分布式的微服务，而微服务可以分成生产者和消费者，其中，消费者负责获取社会实体的身份标识，生产者负责文档生成服务，即生成社会实体的信息文档。因此，每个消费者可以先获取生成凭证，而生成凭证的实现方式可以有很多种，如通过线程获得锁的方式，下面会进行详细介绍。

在本发明的实施例中，通过获取生成凭证的方式，有效保证多台机器获取社会实体的身份标识的唯一性，进而解决了现有技术中在文档分布式生成时，由于文档的生成为可重复且生成时间较长，导致出现文档冗余，从而文档生成效率较低，无法满足使用需求的技术问题。

在步骤S102中，在拥有生成凭证后，按照预设顺序从多个社会实体中确定目标社会实体，获取目标社会实体的身份标识，并根据身份标识提取目标社会实体的实体信息。

可以理解的是，消费者获取生成凭证之后，拥有生成文档的权限，即拥有权限的情况下，获取社会实体的实体信息。例如，多个社会实体可以按照一定循序排列，从而为每个社会实体生成文档，预设顺序可以由本领域技术人员根据实际情况进行设置，消费者可以在确定待生成文档的社会实体之后，可以从网络爬取其相关信息，在此不作具体限制。

进一步地，在本发明的一个实施例中，身份标识为实体主键，按照预设顺序从多个社会实体中确定目标社会实体，获取目标社会实体的身份标识，包括：查询存储有多个社会实体的实体主键的数据库，以确定数据库的社会实体主键队列；根据社会实体主键队列确定目标社会实体，并得到目标社会实体的实体主键。

具体地，如图2所示，首先，将全量的社会实体的实体主键放在一个数据库中，以备消费者取用，其中，数据库指一个中间件，如可以使用Redis，将所有的实体主键存放在一个List数据类型的value中，其次，构造消费者线程，每个消费者线程可以按照一定的业务规则生成用于存放文档的路径，如可以将消费者的IP地址、当前的时间、线程的编号等聚合在一起，从而便于定位任何一个文档的生成是由哪个消费者发起的。需要说明的是，本发明实施例可以借鉴与通过任务池控制任务工单，从而借助线程池控制这些线程。

进一步地，在本发明的一个实施例中，方法还包括：检测生成凭证的拥有时间；如果拥有时间大于预设时间，则释放生成凭证，以使其他设备获取凭证。

在本发明的以下部分将对通过线程获得锁的方式进行详细介绍。虽然以下实施例以抢占锁为例，但是本领域技术人员应当理解的是，对于图2中的任何机器都可以通过以下类似的方式进行配置，即通过抢占锁的凭证生成方式仅是示意性的，本发明并不仅限于这一种生成方式。

举例而言，每个消费者线程尝试获取社会实体的社会实体主键。作为一种可能的实现方式，本发明实施例可以借助Redis分布式锁，实现同一时刻内，多台机器的多个线程获取社会实体的实体主键的唯一性。

具体而言，如图2所示，由于无法控制多个机器的多个线程间共享资源的情形，本发明实施例可以借助一种中间商形式，这个中间商作为逻辑意义上的锁，从而控制分布式环境下，多线程的资源共享。需要说明的是，每个消费者线程只有拿到这个锁之后，才有资格获取一个社会实体的实体主键。

首先，在构造Redis分布式锁的数据结构的过程中，消费者可以尝试在Redis中设置一个String类型的键值对，其中，String的键可以自定义起名为redis_doc_distributed_lock，value的值可以自定义，如定义为一个UUID(Universally UniqueIdentifier，通用唯一识别码)，以保证value的唯一性，从而可以标记这个锁是由哪个消费者存放的。

其次，为了实现在拥有时间大于一定时间时，主动释放生成凭证，本发明实施例可以为上述String类型的key设置一个过期时间TTL，过期时间TTL的大小高于消费者执行整体行为的时间，以防止消费者意外崩溃或者处理事情的时间太长，导致的死锁和饥饿，提高文档生成的可靠性，更加智能化。

进一步地，每个消费者在同一时刻内，可以同时尝试在Redis中放入这样的一个key，若果存在这个key，则继续尝试获取，直到它发现Redis中不存在这个key时，它可以成功地在Redis中放入这样的key，而每个消费者拿到这个key之后，开始它的行为，如List中取出一个社会实体的实体主键，进而向生产者发起服务调用。

在步骤S103中，将实体信息与文档模板进行匹配，将匹配后的信息与文档模板生成目标社会实体的信息文档，并释放生成凭证。

可以理解的是，实体信息可以包括企业的电话、网址、邮箱、地址、工商信息等与企业相关的信息，从而将与企业相关的信息写入文档模板中，生成需要的信息文档。

进一步地，在本发明的一个实施例中，本发明实施例的方法还包括：在获取生成凭证之前，确定是否接收到结束指令，以在接收到结束指令后，结束生成文档，否则继续获取生成凭证。

需要说明的是，每个消费者在执行完自己的行为后，需要先获取这key，判断是否是自己放置的锁，然后再删除key。由于涉及到非原子性操作，且由于分布式的原因，各机器的消费者发送给Redis的命令达到Redis的顺序会乱序，所以截止redis的事务将获取key和删除key的操作包裹起来。

具体地，在配置生产者的过程中，可以借助Spring Cloud来实现生产者服务(生产报告的服务)的分布式，将各个子服务加到网关中，消费者可以通过对网关的调用，是先生产者调用的负载均衡，平均生产者的负载压力，并且可以借助JVM(Java Virtual Machine，Java虚拟机)的小工具，jstat、jmap、jstack等观察线程的情况和GC(Garbage Collection，垃圾回收)的情况，优化JVM参数，从而减少服务的GC时间，提高单机单一线程生成文档的效率，实现生产者调优的目的。

也就是说，本发明实施例可以通过上述的获取凭证-获取实体主键-生成文档-释放主键的过程不断循环，使得单日单台机器可以生成一定数量的信息文档，且信息文档不重复，每份报告的内容可以由本领域技术人员根据实际需求进行设置，解决了现有技术中在文档分布式生成时，由于文档的生成为可重复且生成时间较长，导致出现文档冗余，从而文档生成效率较低，无法满足使用需求的技术问题。

另外，在本发明的一个实施例中，方法还包括：接收终端发送的操作命令；根据操作命令匹配文档模板，或者根据操作命令生成文档模板。

也就是说，文档模板可以由本领域技术人员自行设置或者从数据库中匹配得到，有效满足使用需求，更加灵活、多样化。

下面将以一个具体实施例对本发明实施例的分布式文档生成方法进行详细描述。

如图2所示，本发明实施例包括：

步骤S1：线程A预先将所有社会实体主键存放在Redis。

也就是说，将每个社会实体的实体主键均存储至数据库中。

步骤S2：各机器的各个线程不断地抢占锁。需要说明的是，同一时刻，只有一个线程可以获得锁，其中，锁是一个String类型，value是一个UUID值，同时它具有500毫秒的生命周期。

步骤S3：抢占锁成功。

即言，可以理解的是，借助Redis分布式锁，实现同一时刻内，多台机器的多个线程获取社会实体的实体主键的唯一性。

步骤S4：获取社会实体主键。

具体地，线程获取这个锁后，可以去社会实体主键队列获取一个主键，执行自己的业务逻辑。如果在给定的时间内执行完操作，则主动释放锁。若超出500ms，锁自动释，未获得锁的线程，不断尝试，如此循环往复。

步骤S5：生成报告。

在得到实体主键之后，根据实体主键对应的社会实体的实体信息生成信息文档，并根据存放文档的路径对信息文档进行存储。

步骤S6：释放锁。

也就是说，在消费者执行完业务逻辑后，主动释放锁，并重新抢占锁，不断循环，从而对每一个社会实体只生成一份信息文档，不会生成重复文档，避免出现文档冗余，有效满足使用需求。

根据本发明实施例提出的分布式文档生成方法，对每一个社会实体只生成一份信息文档，不会生成重复文档，避免出现文档冗余，从而提高文档生成效率，有效满足使用需求，实现了避免文档冗余的目的，解决了现有技术中在文档分布式生成时，由于文档的生成为可重复且生成时间较长，导致出现文档冗余，从而文档生成效率较低，无法满足使用需求的技术问题。

其次参照附图描述根据本发明实施例提出的分布式文档生成装置。

图3为本发明实施例所提供的一种分布式文档生成装置的结构示意图。

如图3所示，该分布式文档生成装置10包括：获取模块100、提取模块200和生成模块300。

其中，获取模块100用于获取当前文档的生成凭证。提取模块200用于在拥有生成凭证后，按照预设顺序从多个社会实体中确定目标社会实体，获取目标社会实体的身份标识，并根据身份标识提取目标社会实体的实体信息。生成模块300用于将实体信息与文档模板进行匹配，将匹配后的信息与文档模板生成目标社会实体的信息文档，并释放生成凭证。根据本发明实施例的生成装置10可以对每一个社会实体只生成一份信息文档，不会生成重复文档，避免出现文档冗余，从而提高文档生成效率，有效满足使用需求。

进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：检测模块。其中，检测模块用于在获取生成凭证之前，确定是否接收到结束指令，以在接收到结束指令后，结束生成文档，否则继续获取生成凭证。

进一步地，在本发明的一个实施例中，身份标识为实体主键，提取模块200包括：查询单元和提取单元。其中，查询单元用于查询存储有多个社会实体的实体主键的数据库，以确定数据库的社会实体主键队列。提取单元用于根据社会实体主键队列确定目标社会实体，并得到目标社会实体的实体主键。

进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：检测模块和释放模块。其中，检测模块用于检测生成凭证的拥有时间。释放模块用于在拥有时间大于预设时间时，释放生成凭证，以使其他设备获取凭证。

进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：接收模块和操作模块。其中，接收模块用于接收终端发送的操作命令。操作模块用于根据操作命令匹配文档模板，或者根据操作命令生成文档模板。

需要说明的是，前述对分布式文档生成方法实施例的解释说明也适用于该实施例的分布式文档生成装置，此处不再赘述。

根据本发明实施例提出的分布式文档生成装置，对每一个社会实体只生成一份信息文档，不会生成重复文档，避免出现文档冗余，从而提高文档生成效率，有效满足使用需求，实现了避免文档冗余的目的，解决了现有技术中在文档分布式生成时，由于文档的生成为可重复且生成时间较长，导致出现文档冗余，从而文档生成效率较低，无法满足使用需求的技术问题。

为了实现上述实施例，本发明实施例还提出一种计算机设备，包括处理器和存储器；其中，处理器通过读取存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述实施例所述的分布式文档生成方法。

为了实现上述实施例，本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所述的分布式文档生成方法。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种分布式文档生成方法，其特征在于，包括：

获取当前文档的生成凭证；

在拥有所述生成凭证后，按照预设顺序从多个社会实体中确定目标社会实体，获取所述目标社会实体的身份标识，并根据所述身份标识提取所述目标社会实体的实体信息；以及

将所述实体信息与文档模板进行匹配，将匹配后的信息与所述文档模板生成所述目标社会实体的信息文档，并释放所述生成凭证。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在获取所述生成凭证之前，确定是否接收到结束指令，以在接收到所述结束指令后，结束生成文档，否则继续获取所述生成凭证。

3.根据权利要求1所述的方法，其特征在于，所述身份标识为实体主键，所述按照预设顺序从多个社会实体中确定目标社会实体，获取目标社会实体的身份标识，包括：

查询存储有所述多个社会实体的实体主键的数据库，以确定所述数据库的社会实体主键队列；

根据所述社会实体主键队列确定所述目标社会实体，并得到所述目标社会实体的实体主键。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

检测所述生成凭证的拥有时间；

如果所述拥有时间大于预设时间，则释放所述生成凭证，以使其他设备获取所述凭证。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收终端发送的操作命令；

根据所述操作命令匹配所述文档模板，或者根据所述操作命令生成所述文档模板。

6.一种分布式文档生成装置，其特征在于，包括：

获取模块，用于获取当前文档的生成凭证；

提取模块，用于在拥有所述生成凭证后，按照预设顺序从多个社会实体中确定目标社会实体，获取所述目标社会实体的身份标识，并根据所述身份标识提取所述目标社会实体的实体信息；以及

生成模块，用于将所述实体信息与文档模板进行匹配，将匹配后的信息与所述文档模板生成所述目标社会实体的信息文档，并释放所述生成凭证。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

检测模块，用于在获取所述生成凭证之前，确定是否接收到结束指令，以在接收到所述结束指令后，结束生成文档，否则继续获取所述生成凭证。

8.根据权利要求6所述的装置，其特征在于，所述身份标识为实体主键，所述提取模块包括：

查询单元，用于查询存储有所述多个社会实体的实体主键的数据库，以确定所述数据库的社会实体主键队列；

提取单元，用于根据所述社会实体主键队列确定所述目标社会实体，并得到所述目标社会实体的实体主键。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

检测模块，用于检测所述生成凭证的拥有时间；

释放模块，用于在所述拥有时间大于预设时间时，释放所述生成凭证，以使其他设备获取所述凭证。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

接收模块，用于接收终端发送的操作命令；

操作模块，用于根据所述操作命令匹配所述文档模板，或者根据所述操作命令生成所述文档模板。

11.一种计算机设备，其特征在于，包括处理器和存储器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-5中任一所述的分布式文档生成方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的分布式文档生成方法。