CN115065671B - 可动态扩展的错字检测服务实现方法及系统 - Google Patents

Abstract

本发明属于分布式服务以及自然语言处理技术领域，特别涉及一种可动态扩展的错字检测服务实现方法及系统，该方法包括首先grpc网关接收http错字识别请求；然后grpc网关选取一个已经注册的服务地址；其次grpc网关和已经选取的错字识别服务建立连接；错字识别服务调用错字识别算法对内容进行错字检测，向网关返回错字识别结果；最后网关把错字识别结果返回给用户。本发明在错字识别的基础上，提供一种互联网服务，而且随着业务需求的增长能够快速、无缝的扩容从而满足用户方便、快捷、简单的错字识别需求。

Description

可动态扩展的错字检测服务实现方法及系统

技术领域

本发明属于分布式服务以及自然语言处理技术领域，特别涉及一种可动态扩展的错字检测服务实现方法及系统。

背景技术

随着互联网技术以及新媒体技术的发展，互联网每天产生的内容越来越多。很多门户网站在内容发布前，都需要对内容进行严格的审核，因为一旦出现错字错词，不但会对网站造成不好的影响，同时也对网站拥有者的形象也造成了极大的破坏。

因此人们需要对文章的错字进行严格的审核，但是人的精力是有限的，在大量的文件面前，人们审核的速度和精度会随着时间的增长而降低，所以需要一种快速准确的技术来辅助人们来进行错字审核。

对于现有的错字识别服务来说，有的需要安装软件，限制了用户需求的时间、地点的同时，也会给用户带来经常需要升级的麻烦；有的仅支持文本，而且速度也不高，在用户需要快速完成审核时，不能很好的满足用户的要求。

发明内容

针对现有技术中存在的问题，本发明提出一种可动态扩展的错字检测服务实现方法及系统，在错字识别的基础上，提供一种互联网服务，而且随着业务需求的增长能够快速、无缝的扩容从而满足用户方便、快捷、简单的错字识别需求。

为了实现上述目的，本发明采用以下的技术方案：

本发明提供了一种可动态扩展的错字检测服务实现方法，包含以下步骤：

grpc网关接收http错字识别请求；

grpc网关选取一个已经注册的服务地址；

grpc网关和已经选取的错字识别服务建立连接；

错字识别服务调用错字识别算法对内容进行错字检测，向网关返回错字识别结果；

网关把错字识别结果返回给用户。

进一步地，所述grpc网关接收http错字识别请求之前还包括：

错字识别服务从本地文件中读取配置文件；

根据读取的信息向etcd集群中注册自己提供的服务；

启动grpc网关服务；

grpc网关程序、本地错字识别程序分别启动监听服务。

进一步地，所述配置文件包括本机IP地址、端口号和服务名字。

进一步地，所述根据读取的信息向etcd集群中注册自己提供的服务，注册形式为key/value，其中key的形式为：前缀/服务名字/本机IP地址:端口，value的形式为：本机IP地址:端口。

进一步地，所述grpc网关和已经选取的错字识别服务建立连接之后还包括：

错字识别服务接收请求，检查请求类型是文本检测还是URL错字检测；

如果是URL错字检测，则对URL页面进行下载，如果URL页面下载成功，则提取该页面内容，错字识别服务调用错字识别算法对内容进行错字检测，否则向网关返回下载错误结果；

如果是文本检测，则错字识别服务调用错字识别算法对内容进行错字检测。

进一步地，所述错字识别算法包含以下步骤：

加载主要词库，建立双tire数组；

加载错字词库；

对http错字识别请求的文本内容进行读取；

根据主要词库对文本内容进行分词；

根据错字词库对分词的结果进行错字匹配；

如果匹配成功，对该结果进行存储；

如果该文本内容检测完成，则返回该文本内容的所有检测结果。

进一步地，还包括对错字识别服务进行动态扩展，通过如下两种方法实现：

添加新的硬件服务器，然后启动错字识别服务；或者，在已有的服务器上，增加错字识别服务中配置文件的端口，然后启动错字识别服务。

本发明还提供了一种可动态扩展的错字检测服务实现系统，包括：

请求接收模块，用于grpc网关接收http错字识别请求；

服务地址选取模块，用于grpc网关选取一个已经注册的服务地址；

连接建立模块，用于grpc网关和已经选取的错字识别服务建立连接；

错字检测模块，用于错字识别服务调用错字识别算法对内容进行错字检测，向网关返回错字识别结果；

结果反馈模块，用于网关把错字识别结果返回给用户。

与现有技术相比，本发明具有以下优点：

本发明在错字识别算法的基础上，实现了一种基于http协议的错字识别服务，用户不仅能够通过该服务进行文本识别，而且还可以提交URL连接，能够对该URL的内容进行错字检查；同时能够对该服务能力进行动态扩展，不仅免去了用户安装、升级的麻烦，也很好的满足了用户需要快速检测大量文本的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的可动态扩展的错字检测服务实现方法的流程示意图；

图2是本发明实施例的可动态扩展的错字检测服务实现方法的整体架构图；

图3是本发明实施例的错字识别算法的流程示意图；

图4是本发明实施例的三台服务器作为http服务网关和etcd服务器的部署图；

图5是本发明实施例的一台服务器上http服务网关启动后的部署图；

图6是本发明实施例的错字识别服务启动后的部署图；

图7是本发明实施例的向http服务网关发送http错字识别请求的部署图；

图8是本发明实施例的http服务网关连接错字识别服务地址的部署图；

图9是本发明实施例的错字识别请求结果部署图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，本实施例的可动态扩展的错字检测服务实现方法，包含以下步骤：

步骤S11，错字识别服务从本地文件中读取配置文件，配置文件包括本机IP地址、端口号和服务名字，服务名字代表了能够唯一标识错字识别服务的名字。

步骤S12，根据读取的信息向etcd集群中注册自己提供的服务，注册形式为key/value，其中key的形式为：前缀/服务名字/本机IP地址:端口，value的形式为：本机IP地址:端口。

步骤S13，启动grpc网关服务。

步骤S14，grpc网关程序、本地错字识别程序分别启动监听服务。

步骤S15，grpc网关接收http错字识别请求。

步骤S16，grpc网关从etcd服务器上随机选取一个已经注册的grpc服务地址（根据负载均衡策略随机选取）。

步骤S17，grpc网关和已经选取的错字识别服务建立连接，具体为：grpc网关连接上该grpc服务地址，然后调用该地址的错字识别服务。

步骤S18，错字识别服务接收请求，检查请求类型是文本检测还是URL错字检测，如果是URL错字检测，则转步骤S19，如果是文本检测，则转步骤S22 。

步骤S19，对URL页面进行下载；

步骤S20，判断URL页面是否下载成功，如果下载成功，转步骤S21，如果下载失败，则向网关返回下载错误结果，然后跳转至步骤S23。

步骤S21，提取该页面内容。

步骤S22，错字识别服务调用错字识别算法对内容进行错字检测。

步骤S23，向网关返回错字识别结果。

步骤S24，网关把错字识别结果返回给用户。

本实施例的错字识别算法包含以下步骤，如图3所示：

步骤S31，加载主要词库，建立双tire数组；

双tire数组结合了数组形式的转换表和链表形式的转换表的有点，不仅查询速度快，而且使用内存紧凑，主要步骤如下：

步骤S311，定义根节点。

为根节点分配下标0，初始化base[0]=1;check[0]=0;以根节点为最初的父节点开始深度优先遍历，每一层的兄弟节点按照字符的散列值升序排列。

步骤S312，从父节点定义子节点的check数组。在定义check数组之前，要先检查check数组的下标是否被占用，即check[i]==0,如果被占用，则将调整父节点base数组对应的值，使得check[ base[b] + c] 为空，其中base[b]为父节点base数组对应的值，所以，在这里我们要自己定义base[b]的值，使得check[ base[b] + c]为空。c为子节点对应hash值。通过这一步，我们可以确定子节点的下表，子节点在check表中的定义，父节点的base[b]值（注意，下标b不是在这里定义的，父节点的b是通过父父节点生成check时定义的，继续看步骤S313可以明白）。通过check表，可以确定子与父之间的多对一的关系。

步骤S313，检查每个子节点，是否有孩子节点；如果没有孩子节点：则将它的base值设为负值，存储他所对应单词的字典顺序。如它有孩子节点：则跳转到步骤S312，确定当前节点在base数组中的值，以保证孩子节点在check数组中为空。

步骤S32，加载错字词库。

步骤S33，从http错字识别请求的文本中读取一行内容。

步骤S34，根据主要词库对文本内容进行分词。

步骤S35，根据错字词库对分词的结果进行错字匹配，如果匹配成功，转步骤S36，如果匹配失败，转步骤S37。

步骤S36，对该结果进行存储。

步骤S37，判断该文本内容是否检测完成，如果检测完成，则转步骤S38，否则，转步骤S33。

步骤S38，返回该文本内容的所有检测结果。

如果对错字识别服务进行动态扩展，可以通过如下两种方法实现：

（1）添加新的硬件服务器，然后启动错字识别服务。

通过增加服务器的数量，错字识别服务进程启动以后，向etcd服务器注册自己的地址和端口号，从而让网关发现更多的错字识别服务地址，提升服务能力。

（2）在已有的服务器上，增加错字识别服务中配置文件的端口，然后启动错字识别服务。

在已有的错字识别服务器上增加服务端口，错字识别服务进程启动以后，向etcd服务器注册自己的地址和端口号，从而让网关发现更多的错字识别服务地址，提升服务能力。

下面举一个具体的实例以便更好的说明本发明。

应用场景：在网站内容发布系统中，需要在内容发布前对发布的内容进行错字识别，以便发布之后如果出现错别字的话对客户网站造成不良的影响，因此我们开发了一种错字识别服务，对错字文本进行快速、准确的检测。

应用步骤具体如下：

1、五台服务器作为错字识别服务，供http服务网关进行调用。

2、三台服务器作为http服务网关和etcd服务器，如图4所示，etcd服务器作为服务注册的服务器，错字识别服务启动之后，会在这上面注册，同时这三台服务器也分别启动了http网关服务程序，如图5所示。

3、错字识别服务启动之后，在etcd服务器注册自己的服务，如图6所示，在图6中一共出现了十条数据，每两行为一组，第一行为服务的键值，第二是提供grpc服务的地址，http服务网关根据键值找到一系列的服务地址，然后随机选择一个服务地址进行连接。

4、我们先发送一个http错字识别请求（如图7所示），http服务网关在接收服务之后，随机连接一个错字识别服务（如图8所示，其中标号1是网关地址，标号2是错字识别服务地址），并返回结果（如图9所示）。

与上述可动态扩展的错字检测服务实现方法相应地，本实施例还提供一种可动态扩展的错字检测服务实现方系统，包括：

请求接收模块，用于grpc网关接收http错字识别请求；

服务地址选取模块，用于grpc网关选取一个已经注册的服务地址；

连接建立模块，用于grpc网关和已经选取的错字识别服务建立连接；

错字检测模块，用于错字识别服务调用错字识别算法对内容进行错字检测，向网关返回错字识别结果；

结果反馈模块，用于网关把错字识别结果返回给用户。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (5)

1.一种可动态扩展的错字检测服务实现方法，其特征在于，该错字检测服务是使用golang写的，包含以下步骤：

错字识别服务从本地文件中读取配置文件；

根据读取的信息向etcd集群中注册自己提供的服务；

启动grpc网关服务；

grpc网关程序、本地错字识别程序分别启动监听服务；

grpc网关接收http错字识别请求；

grpc网关选取一个已经注册的服务地址；

grpc网关和已经选取的错字识别服务建立连接；

错字识别服务调用错字识别算法对内容进行错字检测，向网关返回错字识别结果；

网关把错字识别结果返回给用户；

对错字识别服务进行动态扩展，通过如下两种方法实现：

添加新的硬件服务器，然后启动错字识别服务；或者，在已有的服务器上，增加错字识别服务中配置文件的端口，然后启动错字识别服务；

所述错字识别算法包含以下步骤：

加载主要词库，建立双tire数组；

加载错字词库；

对http错字识别请求的文本内容进行读取；

根据主要词库对文本内容进行分词；

根据错字词库对分词的结果进行错字匹配；

如果匹配成功，对该结果进行存储；

如果该文本内容检测完成，则返回该文本内容的所有检测结果。

2.根据权利要求1所述的可动态扩展的错字检测服务实现方法，其特征在于，所述配置文件包括本机IP地址、端口号和服务名字。

3.根据权利要求2所述的可动态扩展的错字检测服务实现方法，其特征在于，所述根据读取的信息向etcd集群中注册自己提供的服务，注册形式为key/value，其中key的形式为：前缀/服务名字/本机IP地址:端口，value的形式为：本机IP地址:端口。

4.根据权利要求1所述的可动态扩展的错字检测服务实现方法，其特征在于，所述grpc网关和已经选取的错字识别服务建立连接之后还包括：

错字识别服务接收请求，检查请求类型是文本检测还是URL错字检测；

如果是URL错字检测，则对URL页面进行下载，如果URL页面下载成功，则提取该页面内容，错字识别服务调用错字识别算法对内容进行错字检测，否则向网关返回下载错误结果；

如果是文本检测，则错字识别服务调用错字识别算法对内容进行错字检测。

5.一种可动态扩展的错字检测服务实现系统，其特征在于，用于实现如权利要求1至4任一项所述的可动态扩展的错字检测服务实现方法，该系统包括：

请求接收模块，用于grpc网关接收http错字识别请求；

服务地址选取模块，用于grpc网关选取一个已经注册的服务地址；

连接建立模块，用于grpc网关和已经选取的错字识别服务建立连接；

错字检测模块，用于错字识别服务调用错字识别算法对内容进行错字检测，向网关返回错字识别结果；

结果反馈模块，用于网关把错字识别结果返回给用户。