CN111462750A

CN111462750A - 语义与知识增强的端到端任务型对话系统及方法

Info

Publication number: CN111462750A
Application number: CN202010200644.0A
Authority: CN
Inventors: 鄂海红; 宋美娜; 张文静
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2020-03-20
Filing date: 2020-03-20
Publication date: 2020-07-28
Anticipated expiration: 2040-03-20
Also published as: CN111462750B

Abstract

本发明公开了一种语义与知识增强的端到端任务型对话系统及方法，其中，系统包括：对话历史语义信息编码模块，用于将对话历史信息进行句子级别语义信息处理与对话级别语义信息处理，以解码生成回复；外部数据库访问模块，用于确定外部数据库中访问的数据库，并确定访问的数据库中的属性条目；对话回复解码模块，用于在解码过程中，使用copy机制和门控机制，回复结构综合考虑对话历史、数据库、回复生成，完成对话。该系统通过结合外部知识库信息、设计高效快速的端到端对话信息编码模型，直接实现历史文本到回复生成映射的过程，具有迁移性强的，训练速度快的、检索知识库准确性高的优点。

Description

语义与知识增强的端到端任务型对话系统及方法

技术领域

本发明涉及语音识别技术领域，特别涉及一种语义与知识增强的端到端任务型对话系统及方法。

背景技术

相关技术，(1)一种涉及客服系统领域的电网任务型对话系统，对话系统包括命令解析服务，对话管理服务，模型训练服务，前端服务等模块，命令解析服务提供开发者完成系统开发、模型训练管理和命令解析接口功能；对话管理服务提供调用任务型对话机器人系统的服务接口；模型训练服务主要用来训练命令解析算法模型；前端服务通过交互方式，为任务型对话系统定义支持的意图、添加词表、定义语义槽参数、标注语料以及管理模型训练任务。(2)一种端到端任务型对话系统，包括：预处理模块，用于将用户输入数据转换为词向量，并给所述词向量嵌入位置信息；命名体抽取模块，用于标识用户输入数据中的命名体；编译模块，用于接收所述预处理模块和所述命名体抽取模块传输的数据，并输出概率分布；对话历史编码器模块，用于将对话历史输入所述编译模块；解码输出模块，用于输出自然语言句子作为系统对用户输入的回复。

然而，现有的任务型对话系统仍采用主流的流水线方式构建，流水线方法存在误差传播和人力耗费等问题。端到端方法虽然可以解决流水线方法存在的问题，但由于其结构简单，技术不成熟，对话历史信息不能充分利用，存在回复无意义、缺乏外部领域知识信息和逻辑推理能力等问题，对用户对话交互体验存在极大影响。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种语义与知识增强的端到端任务型对话系统，该系统通过结合外部知识库信息、设计高效快速的端到端对话信息编码模型，直接实现历史文本到回复生成映射的过程，具有迁移性强的，训练速度快的、检索知识库准确性高的优点。

本发明的另一个目的在于提出一种语义与知识增强的端到端任务型对话方法。

为达到上述目的，本发明一方面实施例提出了一种语义与知识增强的端到端任务型对话系统，包括：对话历史语义信息编码模块，用于将对话历史信息进行句子级别语义信息处理与对话级别语义信息处理，以解码生成回复；外部数据库访问模块，用于确定外部数据库中访问的数据库，并确定所述访问的数据库中的属性条目；对话回复解码模块，用于在解码过程中，使用copy机制和门控机制，回复结构综合考虑对话历史、数据库、回复生成，完成对话。

本发明实施例的语义与知识增强的端到端任务型对话系统，采用transformer加双向GRU(Gate Recurrent Unit)的双层语义信息编码结构，即能充分提取对话历史中语义信息，也能抽取对话序列中的位置信息，丰富信息抽取能力，有利于减少无意义回复的生成；并提出一种基于注意力机制的层级知识库检索机制，将知识可微融入端到端对话系统中；采用知识库条目-知识库属性的层级结构，更准确的定位实体位置，增强对话的推理能力；在公开数据集上进行测试验证，实验结果达到了目前最优效果，大幅超过了已有工作。

另外，根据本发明上述实施例的语义与知识增强的端到端任务型对话系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对话历史语义信息编码模块进一步用于：提取所述对话历史信息的语义信息，并得到句子向量；将所述句子向量输入预设的GRU网络中，得到整个对话级别的语义信息。

进一步地，在本发明的一个实施例中，所述外部数据库的访问形式是双层检索结构，其中，第一层检索结构为数据库级别检索，第二层检索结构为数据库条目级别检索。

进一步地，在本发明的一个实施例中，外部知识存储以单个数据库为单位，每个数据库的属性与槽值存储在键值对记忆网络中。

进一步地，在本发明的一个实施例中，所述对话回复解码模块进一步用于利用GRU结构逐词生成回复，其中，缓解生成中存在的OOV问题的计算公式为：

P_copy(y_t＝μ)＝gate₁*P_content(x_m，n＝μ)+(1-gate₁)*P_kb(v_i，j＝μ)

P(y_t＝μ)＝gate₂*P_copy(y＝μ)+(1-gate₂)*P_gen(y＝μ)，

其中，t代表解码的第t时刻，y_t为解码器第t时刻输入，

为解码器第t时刻通过GRU得到的隐状态，

为解码器的第t-1时刻隐状态，P_gen(y_t)为第t时刻从词表中生成的概率，W₀、b₀为生成P_gen的映射层参数，P_content与P_kb分别是注意力方法计算而来的对话历史与知识库上的概率分布值，x_m,n代表对话历史中第m个句子中的第n个词，

为编码器中第m个句子的第n个词的隐向量，gate₁为复制源门控单元，控制复制源是从对话历史中复制还是知识库中复制，W₁、b₁为生成gate₁的映射层参数，gate₂为最终生成的门控单元，控制生成是从复制源中选择还是词表中选择，W₂、b₂为生成gate₂的映射层参数，v_i,j代表第i个知识库的第j个属性实体，P_copy(y_t＝μ)是结合对话历史与知识库的复制概率分布，P(y_t＝μ)为结合复制概率与词表生成概率的最终概率分布，μ为t时刻的目标单词。

为达到上述目的，本发明另一方面实施例提出了一种语义与知识增强的端到端任务型对话方法，包括以下步骤：将对话历史信息进行句子级别语义信息处理与对话级别语义信息处理，以解码生成回复；确定外部数据库中访问的数据库，并确定所述访问的数据库中的属性条目；在解码过程中，使用copy机制和门控机制，回复结构综合考虑对话历史、数据库、回复生成，完成对话。

本发明实施例的语义与知识增强的端到端任务型对话方法，采用transformer加双向GRU的双层语义信息编码结构，即能充分提取对话历史中语义信息，也能抽取对话序列中的位置信息，丰富信息抽取能力，有利于减少无意义回复的生成；并提出一种基于注意力机制的层级知识库检索机制，将知识可微融入端到端对话系统中；采用知识库条目-知识库属性的层级结构，更准确的定位实体位置，增强对话的推理能力；在公开数据集上进行测试验证，实验结果达到了目前最优效果，大幅超过了已有工作。

另外，根据本发明上述实施例的语义与知识增强的端到端任务型对话方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述将对话历史信息进行句子级别语义信息处理与对话级别语义信息处理，以解码生成回复进一步包括：提取所述对话历史信息的语义信息，并得到句子向量；将所述句子向量输入预设的GRU网络中，得到整个对话级别的语义信息。

进一步地，在本发明的一个实施例中，所述在解码过程中，使用copy机制和门控机制，回复结构综合考虑对话历史、数据库、回复生成，完成对话进一步包括：利用GRU结构逐词生成回复，其中，缓解生成中存在的OOV问题的计算公式为：

P(y_t＝μ)＝gate₂*P_copy(y＝μ)+(1-gate₂)*P_gen(y＝μ)，

其中，t代表解码的第t时刻，y_t为解码器第t时刻输入，

为解码器第t时刻通过GRU得到的隐状态，

为解码器的第t-1时刻隐状态，P_gen(y_t)为第t时刻从词表中生成的概率，W₀、b₀为生成P_gen的映射层参数，P_content与P_kb分别是注意力方法计算而来的对话历史与知识库上的概率分布值，x_m，n代表对话历史中第m个句子中的第n个词，

为编码器中第m个句子的第n个词的隐向量，gate₁为复制源门控单元，控制复制源是从对话历史中复制还是知识库中复制，W₁、b₁为生成gate₁的映射层参数，gate₂为最终生成的门控单元，控制生成是从复制源中选择还是词表中选择，W₂、b₂为生成gate₂的映射层参数，v_i，j代表第i个知识库的第j个属性实体，P_copy(y_t＝μ)是结合对话历史与知识库的复制概率分布，P(y_t＝μ)为结合复制概率与词表生成概率的最终概率分布，μ为t时刻的目标单词。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的语义与知识增强的端到端任务型对话系统的结构示意图；

图2为根据本发明实施例的对话系统构建流程；

图3为根据本发明一个实施例的语义与知识增强的端到端任务型对话系统结构示意图；

图4为根据本发明实施例的编码器双层语义抽取结构示意图；

图5为根据本发明实施例的外部数据库访问模块流程图；

图6为根据本发明实施例的语义与知识增强的端到端任务型对话方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本申请是基于发明人对以下问题的认识和发现做出的：

对话系统随着其智能性的增加，在工业界与学术界受到了广泛关注。传统的流水线型对话系统由三个主要模块构成：语言理解、状态管理与语言生成。流水线结构仅生成模块输出对话回复，其他模块的输出结果都是对话中间状态。每个模块存在一个或多个模型，每个模型分开训练。每个模块训练得到的结果作为下一个模块的输入，传入下一个模块中。流水线对话系统虽然结构成熟，但模块间的级联结构会存在误差累计传播的问题，同时若进行领域迁移或模块更新时，一个模块的改变可能会使其下游模块结果变得次优，需大量人力进行错误分析。因此如何简化对话模型，减少人力参与是当今对话系统的一个研究热点。

端到端方法是近些年的新兴方法，兴起于闲聊型对话系统中。端到端是指模型的输入是用户的原始对话，输出则直接是对话回复结果，而不是对话中间状态。但同时由于端到端结构简单，缺乏外部知识库支撑，因此缺乏推理能力，在任务型对话中存在回复无意义或回复错误等问题。

针对上述端到端对话系统中存在的不足，本发明实施例提出一种语义和知识增强的端到端任务型对话系统及方法，其中语义理解模型更全面的抽取语义信息，有效防止因未抽取到对话信息而生成无用回复问题，知识检索模块通过在回复中增加数据库检索功能，为对话回复增添推理能力，实现一个高效智能的任务型对话系统。

下面参照附图描述根据本发明实施例提出的语义与知识增强的端到端任务型对话系统及方法，首先将参照附图描述根据本发明实施例提出的语义与知识增强的端到端任务型对话系统。

图1是本发明一个实施例的语义与知识增强的端到端任务型对话系统的结构示意图。

如图1所示，该语义与知识增强的端到端任务型对话系统10包括：对话历史语义信息编码模块100、外部数据库访问模块200和对话回复解码模块300。

其中，对话历史语义信息编码模块100用于将对话历史信息进行句子级别语义信息处理与对话级别语义信息处理，以解码生成回复；外部数据库访问模块200用于确定外部数据库中访问的数据库，并确定访问的数据库中的属性条目；对话回复解码模块300用于在解码过程中，使用copy机制和门控机制，回复结构综合考虑对话历史、数据库、回复生成，完成对话。本发明实施例的系统10通过结合外部知识库信息、设计高效快速的端到端对话信息编码模型，直接实现历史文本到回复生成映射的过程，具有迁移性强的，训练速度快的、检索知识库准确性高的优点。

可以理解的是，已存在的端到端任务型对话现今语义编码结构大多采用基于lstm的时序性编码结构，处理长序列文本时存在信息损失与偏差问题，且大多还无法支持可微性访问知识库，因而缺乏外部数据库支持，存在回复可采用率低、逻辑推理能力差等问题。因此，为了解决上述问题，本发明实施例在现今端到端系统的基础上，提出一种语义丰富且精准检索外部知识库的对话系统。本发明实施例设计一种双层语义编码器抽取轮级和对话级别语义信息，增强语义抽取能力，并设计一个可微的知识库层级检索器，将知识准确的融入对话生成中，增强对话系统的推理能力。

具体而言，本发明实施例通过结合外部知识库信息、设计高效快速的端到端对话信息编码模型，直接实现历史文本到回复生成映射的过程，目标是完成一个迁移性强的，训练速度快的、检索知识库准确性高的实用任务型对话系统。本发明实施例设计的端到端系统10由功能划分可分为三大模块：对话历史语义信息编码模块100、外部数据库访问模块200和对话回复解码模块300。与传统流水线方法各模块间分开训练不同的是，这里的三个模块共同训练组成一个完整的对话模型，直接实现原始对话历史信息到文本回复的映射。如图2所示，将端到端对话系统构建流程概括如下，圆框中为已实现技术点，方框中为将来可实施的技术优化点。

如图3所示，系统三大模块分别定义如下：

对话历史语义信息编码模块100：将对话历史信息处理过程分为两层，第一层为句子级别语义信息处理，第二层是对话级别语义信息处理。句子级别用transformer提取语义信息，得到句子向量表示。将句子向量表示作为第二层双向GRU的输入放入GRU网络中，得到整个对话级别的语义信息，用于解码生成回复。

外部数据库访问模块200：外部数据库的访问形式是双层检索结构，第一层是数据库级别检索，用以确定访问的数据库；第二层是数据库条目级别检索，用以确定访问的数据库中具体的属性条目。外部知识存储是以单个数据库为单位，每个数据库的属性与槽值存储在键值对记忆网络中。

对话回复解码模块300：对话解码过程，在解码过程中使用copy机制和门控机制，回复结构综合考虑对话历史、数据库、回复生成，精确融合知识库检索结果并有效减缓OOV(Out of Vocabulary)问题。

进一步而言，对话任务是通过前t-1轮的对话信息与第t轮的用户语句得到第t轮的系统回复。本发明实施例的系统10，增强语义抽取器语义抽取能力，将外部知识库准确且可微融入对话生成过程中，从用户文本输入到回复生成一共分为三个模块。下面将分别对每个模块进行详细的阐述。

(一)对话历史语义信息编码模块100

该模块是将原始多轮对话信息映射为分布式向量表示，抽取对话语义信息，用于回复生成。对话历史信息包含前t-1轮的对话信息与第t轮的用户语句，每轮信息可能包含用户一系列意图或需求，作为当前系统回复所考虑的条件与限制。因此如何充分抽取对话历史中的语义信息将极大影响对话系统回复能力。传统的模块采用基于RNN(RecurrentNeural Network，循环神经网络)时序结构的语义编码模型，这类模型虽可以有效抽取到对话历史的时序信息，但因多轮对话历史一般为长文本，在时序传播过程中会存在信息偏差与损失问题。本发明实施例的模型在传统模型的基础上，采用transformer+双向GRU的层级结构抽取对话历史语义信息。Transformer抽取句子内部语义信息，双向GRU抽取句子间语义信息。编码器结构如图4所示。

对话历史信息U可以表示为(U₁，U₂，…，U_n)，U_i表示对话历史中第i个句子，U_i是句子分词后的一组(w₁，w₂，…，w_m)组成，为了充分考虑句子中的位置信息与轮级信息，本发明实施例将单词的分布式向量表示成这个词的词向量、位置向量与轮级向量之和，如公式1所示：

e_i，j＝wordembedding(w_i，j)+posembedding(w_i，j)+turnembedding(w_i，j)，(1)

将每个句子中词语对应的分布式向量输入到各自句子对应的Transformer结构中，经过transformer结构中的多头自注意力部件直接构建两个词语间的语义关系，相较于RNN的时序传播过程损失信息而言，此结构更能准确直观且快捷的抽取句子间词语的语义信息，tranformer的自注意力与多头结构分别如公式2、3所示：

MultiHead(Q，K，V)＝Concat(head₁，…，head_h)W^o

wherehead_i＝Attention{QW_i ^Q，KW_i ^K，VW_i ^V，)，(3)

得到句子内词语间语义信息后，本发明实施例用一个前向网络，引入两层线性变换与ReLU非线性变换，如公式4所示：

FFN(x)＝max(0，xW₁+b₁)W₂+b₂，(4)

经过非线性变换后，对向量进行加和平均可以得到当前句子U_i的向量表示u_i，将u_i作为双向GRU的输入进行句子间语义抽取模型的训练。GRU在构建短序列文本信息上具有不错的效果，且可以弥补Transformer在位置信息抽取方面的不足，双向结构更能更智能的理解句子间语义信息，公式如5所示：

(二)外部数据库访问模块200

该模块为层级记忆网络结构，对数据库进行双层检索，第一层检索出数据库条目，即具体是哪一组实体属性集合，第二层是属性检索，检索出具体的访问实体。本发明实施例采用软注意力机制给数据库及其条目分配注意力权重，将其可微的融入端到端对话系统，维护对话系统端到端特性。具体结构如图5所示，其中，对话生成器中A所指的线条表示从知识库中检索生成，除了该线条以外的对话生成器中的黑线表示从词表中生成。

外部数据库访问结构分为数据库条目与属性检索两层结构。

数据库条目检索：首先将每个知识库条目中属性向量相加，作为当前知识库条目的向量表示m，将每个知识库向量表示与当前解码器的隐状态做相似度得分计算，将得分进行归一化计算，得到每个知识库被选中的概率权重α_i，过程如公式6所示：

属性检索：本发明实施例用键值对记忆网络存储每个知识库里的属性与属性值，记忆网络中Key网络存储数据库属性的向量表示，Value网络存储属性值的向量表示。计算每个数据库条目与当前隐状态得分，将当前得分归一化，得到当前条目的概率权重，过程如公式7所示：

k_i,j表示第i个数据库的第j个属性向量表示，v_i,j表示第i个数据库的第j个属性值向量表示，β_i,j表示第i个数据库上第j个属性值的概率权重，因此，α_i*β_i,j就是当前第i个数据库的第j个属性被选择的概率P_kb(v_i,j)。

(三)对话回复解码模块300

该模块利用GRU结构逐词生成回复。为了缓解生成中存在的OOV(out ofvocabulary)问题，本发明实施例采用一种copy+门控的机制，将对话历史和数据库中的词有效端到端对话生成中。回复解码模块300包含两个门控开关，一个控制是否从对话历史或数据库中复制的开关；另一个是已知复制的条件下，控制复制的来源，即从对话历史复制还是数据库复制。过程如公式7所示。P_content与P_kb分别是注意力方法计算而来的对话历史与知识库上的概率分布值。

P(y_t＝μ)＝gate₂*P_copy(y＝μ)+(1-gate₂)*P_gen(y＝μ)，(7)

最终的P(y_t＝μ)是结合对话历史与知识库的对话生成概率分布。

综上，本发明实施例的系统为一种基于结构化外部知识库的语义增强的端到端任务型对话系统，首次将Transformer与GRU结合，提出一种层级语义编码结构；并首次认证层级结构在编解码模块中都存在优越性：编码模块的Transformer+BIGRU，解码模块的层级键值对记忆网络两层检索机制。另外，本发明实施例将图结构引入知识库的存储中处理非结构化知识库情况，把相关知识三元组看作一个图，基于与其相邻实体和它们之间的关系，更好解读所研究实体的语义；将对话状态加入端到端系统中，用对话状态表示辅助知识库的检索；且加深记忆网络层数，利用多跳机制增强记忆网络的推理能力。

根据本发明实施例提出的语义与知识增强的端到端任务型对话系统，采用transformer加双向GRU的双层语义信息编码结构，即能充分提取对话历史中语义信息，也能抽取对话序列中的位置信息，丰富信息抽取能力，有利于减少无意义回复的生成；并提出一种基于注意力机制的层级知识库检索机制，将知识可微融入端到端对话系统中；采用知识库条目-知识库属性的层级结构，更准确的定位实体位置，增强对话的推理能力；在公开数据集上进行测试验证，实验结果达到了目前最优效果，大幅超过了已有工作。

其次参照附图描述根据本发明实施例提出的语义与知识增强的端到端任务型对话方法。

图6是本发明一个实施例的语义与知识增强的端到端任务型对话方法的流程图。

如图6所示，该语义与知识增强的端到端任务型对话方法包括以下步骤：

在步骤S601中，将对话历史信息进行句子级别语义信息处理与对话级别语义信息处理，以解码生成回复；

在步骤S602中，确定外部数据库中访问的数据库，并确定访问的数据库中的属性条目；

在步骤S603中，在解码过程中，使用copy机制和门控机制，回复结构综合考虑对话历史、数据库、回复生成，完成对话。

进一步地，在本发明的一个实施例中，将对话历史信息进行句子级别语义信息处理与对话级别语义信息处理，以解码生成回复进一步包括：提取对话历史信息的语义信息，并得到句子向量；将句子向量输入预设的GRU网络中，得到整个对话级别的语义信息。

进一步地，在本发明的一个实施例中，外部数据库的访问形式是双层检索结构，其中，第一层检索结构为数据库级别检索，第二层检索结构为数据库条目级别检索。

进一步地，在本发明的一个实施例中，在解码过程中，使用copy机制和门控机制，回复结构综合考虑对话历史、数据库、回复生成，完成对话进一步包括：利用GRU结构逐词生成回复，其中，缓解生成中存在的OOV问题的计算公式为：

P(y_t＝μ)＝gate₂*P_copy(y＝μ)+(1-gate₂)*P_gen(y＝μ)，

其中，t代表解码的第t时刻，y_t为解码器第t时刻输入，

为解码器第t时刻通过GRU得到的隐状态，

需要说明的是，前述对语义与知识增强的端到端任务型对话系统实施例的解释说明也适用于该实施例的语义与知识增强的端到端任务型对话方法，此处不再赘述。

根据本发明实施例提出的语义与知识增强的端到端任务型对话方法，采用transformer加双向GRU的双层语义信息编码结构，即能充分提取对话历史中语义信息，也能抽取对话序列中的位置信息，丰富信息抽取能力，有利于减少无意义回复的生成；并提出一种基于注意力机制的层级知识库检索机制，将知识可微融入端到端对话系统中；采用知识库条目-知识库属性的层级结构，更准确的定位实体位置，增强对话的推理能力；在公开数据集上进行测试验证，实验结果达到了目前最优效果，大幅超过了已有工作。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。