CN111694826A - 基于人工智能的数据增强方法、装置、电子设备及介质 - Google Patents

基于人工智能的数据增强方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111694826A
CN111694826A CN202010476774.7A CN202010476774A CN111694826A CN 111694826 A CN111694826 A CN 111694826A CN 202010476774 A CN202010476774 A CN 202010476774A CN 111694826 A CN111694826 A CN 111694826A
Authority
CN
China
Prior art keywords
text
matrix
target
original text
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010476774.7A
Other languages
English (en)
Other versions
CN111694826B (zh
Inventor
邓悦
郑立颖
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010476774.7A priority Critical patent/CN111694826B/zh
Publication of CN111694826A publication Critical patent/CN111694826A/zh
Priority to PCT/CN2020/118920 priority patent/WO2021151299A1/zh
Application granted granted Critical
Publication of CN111694826B publication Critical patent/CN111694826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及人工智能，提供一种基于人工智能的数据增强方法、装置、电子设备及介质。该方法能够提取原始文本并翻译成预设语言对应的翻译文本，处理原始文本，得到第一矩阵，处理翻译文本，得到第二矩阵，根据第一矩阵及第二矩阵确定目标矩阵并解码目标矩阵，得到中间文本，对中间文本进行编码处理，得到编码结果并解码，得到目标文本，确定原始文本及目标文本对应的类型，当原始文本的类型与目标文本的类型相同时，确定目标文本所属的异常类别，当异常类别为预设类别时，融合原始文本及目标文本，得到训练文本，确保训练文本中的目标文本的语义与原始文本的语义相同。此外，本发明还涉及区块链技术，所述训练文本可存储于区块链中。

Description

基于人工智能的数据增强方法、装置、电子设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于人工智能的数据增强方法、装置、电子设备及介质。
背景技术
目前，通过用户反馈的舆情文本训练到的分类网络帮助运营人员快速确定应用程序的异常类别，为了提高分类网络的鲁棒性和泛化能力，往往需要利用大规模的舆情文本对分类网络进行训练。然而，由于用反馈的舆情文本的数据量太少导致训练数据不足，为此，数据增强技术也随之产生。
在传统的数据增强技术中，通过位置互换、同义词替换等方式对原始文本数据进行处理，进而生成新的文本数据，然而，这种方式生成的文本数据与原始文本数据的语义不相同，从而导致异常检测不准确。
发明内容
鉴于以上内容，有必要提供一种基于人工智能的数据增强方法、装置、电子设备及介质，能够确保训练文本中的目标文本的语义与原始文本的语义相同，以提高异常检测的准确性。
一种基于人工智能的数据增强方法，所述基于人工智能的数据增强方法包括：
当接收到数据增强请求时，从所述数据增强请求中提取原始文本；
将所述原始文本翻译成预设语言对应的翻译文本；
处理所述原始文本，得到第一矩阵，并处理所述翻译文本，得到第二矩阵；
根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵；
对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本；
对所述中间文本进行编码处理，得到编码结果，并对所述编码结果进行解码处理，得到与所述原始文本对应的目标文本；
将所述原始文本及所述目标文本输入至预先训练的判断网络模型中，得到所述原始文本对应的类型及所述目标文本对应的类型；
当所述原始文本对应的类型与所述目标文本对应的类型相同时，确定所述目标文本所属的异常类别；
当所述异常类别为预设类别时，融合所述目标文本及所述原始文本，得到训练文本。
根据本发明优选实施例，所述从所述数据增强请求中提取原始文本包括：
从预先建立的线程连接池中获取闲置线程；
利用所述闲置线程解析所述数据增强请求中的方法体，得到所述数据增强请求中携带的所有信息；
获取预设标签，并从所述所有信息中获取与所述预设标签对应的信息，作为所述原始文本。
根据本发明优选实施例，所述处理所述原始文本，得到第一矩阵包括：
过滤所述原始文本中的预设字符，得到过滤后的原始文本；
获取预设的自定义词典，所述自定义词典中包括多个自定义词及每个自定义词对应的权值；
根据所述自定义词典中的多个自定义词对所述过滤后的原始文本进行切分，得到切分位置；
根据所述切分位置，构建至少一个有向无环图；
根据所述自定义词典中自定义词对应的权值计算每个有向无环图的概率；
将概率最大的有向无环图对应的切分位置确定为目标切分位置；
根据所述目标切分位置切分所述过滤后的原始文本，得到多个分词；
确定所述原始文本所属的目标领域，根据所述目标领域确定向量映射文本；
根据所述向量映射文本确定所述多个分词对应的向量；
组合所述多个向量，得到所述第一矩阵。
根据本发明优选实施例，在将所述原始文本及所述目标文本输入至预先训练的判断网络模型中之前，所述基于人工智能的数据增强方法还包括：
根据所述目标领域获取历史语料；
将所述历史语料输入至遗忘门层进行遗忘处理，得到训练数据；
采用交叉验证法将所述训练数据划分为训练集及验证集；
将所述训练集中的数据输入至输入门层进行训练，得到学习器；
根据所述验证集中的数据，调整所述学习器中的参数，得到所述判断网络模型。
根据本发明优选实施例，所述根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵包括：
对所述第一矩阵进行矩阵转置处理，得到第三矩阵；
将所述第二矩阵乘以所述第三矩阵，得到第一运算结果；
确定所述第一矩阵的维度，并将所述第一运算结果除以所述维度的平方根，得到所述第一矩阵与所述第二矩阵的相似度；
对所述相似度进行归一化处理，得到第二运算结果，并将所述第二运算结果乘以所述第一矩阵，得到所述原始文本的输出矩阵，所述输出矩阵包括多个行向量；
从每个行向量中提取预设字段的向量，得到每个行向量对应的子向量；
按照每个行向量在所述输出矩阵中的顺序拼接每个子向量，得到第三运算结果，并将所述第三运算结果乘以预设矩阵，得到所述目标矩阵。
根据本发明优选实施例，所述对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本包括：
对所述目标矩阵进行线性变换处理，并根据所述预设字段对线性变换处理后的目标矩阵进行拆解，得到多个元向量；
确定与所述数据增强请求对应的编码仓库，并从所述编码仓库中获取与所述元向量对应的元数据及编码规约；
根据所述元数据及所述编码规约，生成与所述元向量对应的文本片段；
确定生成所述第三运算结果的拼接顺序；
根据所述拼接顺序对所述文本片段进行排序，得到所述中间文本。
根据本发明优选实施例，所述确定所述目标文本所属的异常类别包括：
获取配置库中的所有标签文本；
计算所述目标文本与每个标签文本的距离相似度，并将距离相似度最小的标签文本确定为目标标签文本；
确定所述目标标签文本所属的目标类别，并将所述目标类别确定为所述异常类别。
一种基于人工智能的数据增强装置，所述基于人工智能的数据增强装置包括：
所述基于人工智能的数据增强装置包括：
提取单元，用于当接收到数据增强请求时，从所述数据增强请求中提取原始文本；
翻译单元，用于将所述原始文本翻译成预设语言对应的翻译文本；
处理单元，用于处理所述原始文本，得到第一矩阵，并处理所述翻译文本，得到第二矩阵；
确定单元，用于根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵；
所述处理单元，还用于对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本；
所述处理单元，还用于对所述中间文本进行编码处理，得到编码结果，并对所述编码结果进行解码处理，得到与所述原始文本对应的目标文本；
输入单元，用于将所述原始文本及所述目标文本输入至预先训练的判断网络模型中，得到所述原始文本对应的类型及所述目标文本对应的类型；
所述确定单元，还用于当所述原始文本对应的类型与所述目标文本对应的类型相同时，确定所述目标文本所属的异常类别；
融合单元，用于当所述异常类别为预设类别时，融合所述目标文本及所述原始文本，得到训练文本。
根据本发明优选实施例，所述提取单元具体用于：
从预先建立的线程连接池中获取闲置线程；
利用所述闲置线程解析所述数据增强请求中的方法体，得到所述数据增强请求中携带的所有信息；
获取预设标签，并从所述所有信息中获取与所述预设标签对应的信息，作为所述原始文本。
根据本发明优选实施例，所述处理单元处理所述原始文本，得到第一矩阵包括：
过滤所述原始文本中的预设字符，得到过滤后的原始文本；
获取预设的自定义词典，所述自定义词典中包括多个自定义词及每个自定义词对应的权值；
根据所述自定义词典中的多个自定义词对所述过滤后的原始文本进行切分，得到切分位置；
根据所述切分位置，构建至少一个有向无环图；
根据所述自定义词典中自定义词对应的权值计算每个有向无环图的概率；
将概率最大的有向无环图对应的切分位置确定为目标切分位置；
根据所述目标切分位置切分所述过滤后的原始文本，得到多个分词；
确定所述原始文本所属的目标领域，根据所述目标领域确定向量映射文本；
根据所述向量映射文本确定所述多个分词对应的向量；
组合所述多个向量，得到所述第一矩阵。
根据本发明优选实施例，所述装置还包括：
获取单元，用于在将所述原始文本及所述目标文本输入至预先训练的判断网络模型中之前，根据所述目标领域获取历史语料；
所述输入单元，还用于将所述历史语料输入至遗忘门层进行遗忘处理，得到训练数据；
划分单元，用于采用交叉验证法将所述训练数据划分为训练集及验证集；
所述输入单元，还用于将所述训练集中的数据输入至输入门层进行训练，得到学习器；
调整单元，用于根据所述验证集中的数据，调整所述学习器中的参数，得到所述判断网络模型。
根据本发明优选实施例，所述确定单元根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵包括：
对所述第一矩阵进行矩阵转置处理，得到第三矩阵；
将所述第二矩阵乘以所述第三矩阵，得到第一运算结果；
确定所述第一矩阵的维度，并将所述第一运算结果除以所述维度的平方根，得到所述第一矩阵与所述第二矩阵的相似度；
对所述相似度进行归一化处理，得到第二运算结果，并将所述第二运算结果乘以所述第一矩阵，得到所述原始文本的输出矩阵，所述输出矩阵包括多个行向量；
从每个行向量中提取预设字段的向量，得到每个行向量对应的子向量；
按照每个行向量在所述输出矩阵中的顺序拼接每个子向量，得到第三运算结果，并将所述第三运算结果乘以预设矩阵，得到所述目标矩阵。
根据本发明优选实施例，所述处理单元对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本包括：
对所述目标矩阵进行线性变换处理，并根据所述预设字段对线性变换处理后的目标矩阵进行拆解，得到多个元向量；
确定与所述数据增强请求对应的编码仓库，并从所述编码仓库中获取与所述元向量对应的元数据及编码规约；
根据所述元数据及所述编码规约，生成与所述元向量对应的文本片段；
确定生成所述第三运算结果的拼接顺序；
根据所述拼接顺序对所述文本片段进行排序，得到所述中间文本。
根据本发明优选实施例，所述确定单元确定所述目标文本所属的异常类别包括：
获取配置库中的所有标签文本；
计算所述目标文本与每个标签文本的距离相似度，并将距离相似度最小的标签文本确定为目标标签文本；
确定所述目标标签文本所属的目标类别，并将所述目标类别确定为所述异常类别。
一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，获取所述存储器中存储的指令以实现所述基于人工智能的数据增强方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器获取以实现所述基于人工智能的数据增强方法。
由以上技术方案可以看出，本发明通过数据增强请求中提取原始文本，能够准确确定需要进行数据增强的处理对象；根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵，能够使生成的目标矩阵与所述原始文本对应的第一矩阵相似；通过对目标矩阵进行解码处理，能够快速生成中间文本；通过判断网络模型确定原始文本及目标文本的类型，进而检测原始文本与目标文本的类型是否相同，确保生成的目标文本的语义与原始文本的语义相同；通过融合异常类别属于预设类别的目标文本及原始文本，作为训练文本，能够确保用于训练分类网络的数据符合应用程序的异常检测场景，进而提高了异常检测的准确性。
附图说明
图1是本发明基于人工智能的数据增强方法的较佳实施例的流程图。
图2是本发明基于人工智能的数据增强装置的较佳实施例的功能模块图。
图3是本发明实现基于人工智能的数据增强方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
如图1所示，是本发明基于人工智能的数据增强方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
所述基于人工智能的数据增强方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(DigitalSignal Processor，DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
在本发明的至少一个实施例中，本发明应用于人工智能领域。
S10，当接收到数据增强请求时，从所述数据增强请求中提取原始文本。
在本发明的至少一个实施例中，所述数据增强请求可以由负责应用程序的异常检测的运营人员触发。
在本发明的至少一个实施例中，所述数据增强请求中携带的信息包括，但不限于：所述原始文本、及所述原始文本所属的领域。
其中，所述领域可以是应用程序的异常检测，本发明对此不作限制。
在本发明的至少一个实施例中，所述电子设备从所述数据增强请求中提取原始文本包括：
所述电子设备从预先建立的线程连接池中获取闲置线程，并利用所述闲置线程解析所述数据增强请求中的方法体，得到所述数据增强请求中携带的所有信息，进一步地，所述电子设备获取预设标签，更进一步地，所述电子设备从所述所有信息中获取与所述预设标签对应的信息，作为所述原始文本。
其中，所述预设标签是指预先定义好的标签，例如：name。
通过从线程连接池中直接获取闲置线程，无需通过创建线程即可解析所述数据增强请求，节省了创建线程的时间，提高了解析速度，进而通过预设标签与原始文本的映射关系，能够准确确定所述原始文本。
S11，将所述原始文本翻译成预设语言对应的翻译文本。
在本发明的至少一个实施例中，所述预设语言是指与所述原始文本的语言类型不同的语言，所述预设语言可以是英语、法语等，具体的语言本发明不作限制。
在本发明的至少一个实施例中，所述电子设备将所述原始文本翻译成预设语言对应的翻译文本包括：
所述电子设备确定所述原始文本所属的目标语言，进一步地，所述电子设备根据所述目标语言及所述预设语言确定目标翻译模块，进一步地，所述电子设备通过所述目标翻译模块将所述原始文本翻译成所述翻译文本。
例如，若原始文本所属的目标语言为中文，预设语言为英语，所述电子设备根据所述目标语言及所述预设语言确定目标翻译模块为中译英模块。
其中，所述目标翻译模块将所述原始文本翻译成所述翻译文本的方式属于现有技术，本发明对此不再赘述。
S12，处理所述原始文本，得到第一矩阵，并处理所述翻译文本，得到第二矩阵。
在本发明的至少一个实施例中，所述第一矩阵是指对所述原始文本进行预处理并编码后得到的矩阵，所述第一矩阵中的每个行向量表示所述原始文本中每个分词对应的向量；所述第二矩阵是指对所述翻译文本进行预处理并编码后得到的矩阵，所述第二矩阵中的每个行向量表示所述翻译文本中每个分词对应的向量。
在本发明的至少一个实施例中，所述电子设备处理所述原始文本，得到第一矩阵包括：
所述电子设备过滤所述原始文本中的预设字符，得到过滤后的原始文本，所述电子设备获取预设的自定义词典，所述自定义词典中包括多个自定义词及每个自定义词对应的权值，进一步地，所述电子设备根据所述自定义词典中的多个自定义词对所述过滤后的原始文本进行切分，得到切分位置，所述电子设备根据所述切分位置，构建至少一个有向无环图，所述电子设备根据所述自定义词典中自定义词对应的权值计算每个有向无环图的概率，所述电子设备将概率最大的有向无环图对应的切分位置确定为目标切分位置，进一步地，所述电子设备根据所述目标切分位置切分所述过滤后的原始文本，得到多个分词，更进一步地，所述电子设备确定所述原始文本所属的目标领域，根据所述目标领域确定向量映射文本，所述电子设备根据所述向量映射文本确定所述多个分词对应的向量，所述电子设备组合所述多个向量，得到所述第一矩阵。
其中，所述预设字符包括，但不限于：表情符合、符号图案等。
通过所述自定义词典切分所述过滤后的原始文本，能够根据需求切分所述原始文本，以得到多个分词，进而通过所述目标领域，能够准确确定所述第一矩阵。
在本发明的至少一个实施例中，所述电子设备处理所述翻译文本，得到第二矩阵的方式与所述电子设备处理所述原始文本，得到第一矩阵的方式相同，本发明对此不再赘述。
S13，根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵。
在本发明的至少一个实施例中，所述目标矩阵是指对所述第一矩阵与所述第二矩阵进行自注意力分析及多头注意力分析后得到的矩阵。
在本发明的至少一个实施例中，所述电子设备根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵包括：
所述电子设备对所述第一矩阵进行矩阵转置处理，得到第三矩阵，所述电子设备将所述第二矩阵乘以所述第三矩阵，得到第一运算结果，所述电子设备确定所述第一矩阵的维度，并将所述第一运算结果除以所述维度的平方根，得到所述第一矩阵与所述第二矩阵的相似度，进一步地，所述电子设备对所述相似度进行归一化处理，得到第二运算结果，并将所述第二运算结果乘以所述第一矩阵，得到所述原始文本的输出矩阵，所述输出矩阵包括多个行向量，所述电子设备从每个行向量中提取预设字段的向量，得到每个行向量对应的子向量，更进一步地，所述电子设备按照每个行向量在所述输出矩阵中的顺序拼接每个子向量，得到第三运算结果，并将所述第三运算结果乘以预设矩阵，得到所述目标矩阵。
通过对所述第一矩阵与所述第二矩阵进行自注意力分析及多头注意力分析，能够使生成的目标矩阵与所述原始文本对应的第一矩阵相似。
S14，对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本。
在本发明的至少一个实施例中，所述电子设备对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本包括：
所述电子设备对所述目标矩阵进行线性变换处理，并根据所述预设字段对线性变换处理后的目标矩阵进行拆解，得到多个元向量，进一步地，所述电子设备确定与所述数据增强请求对应的编码仓库，并从所述编码仓库中获取与所述元向量对应的元数据及编码规约，所述电子设备根据所述元数据及所述编码规约，生成与所述元向量对应的文本片段，更进一步地，所述电子设备确定生成所述第三运算结果的拼接顺序，所述电子设备根据所述拼接顺序对所述文本片段进行排序，得到所述中间文本。
通过上述实施方式，能够快速生成中间文本。
在其他实施例中，所述电子设备可以利用预先训练的解码器对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本，所述解码器的训练方式，在发明中不作阐述。
S15，对所述中间文本进行编码处理，得到编码结果，并对所述编码结果进行解码处理，得到与所述原始文本对应的目标文本。
在本发明的至少一个实施例中，所述电子设备对所述中间文本进行编码处理的方式与所述电子设备将所述原始文本翻译成预设语言对应的翻译文本，及处理所述原始文本，得到第一矩阵，并处理所述翻译文本，得到第二矩阵，及根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵的方式相同，本发明不再赘述。
进一步地，所述电子设备对所述编码结果进行解码处理的方式与所述电子设备对所述目标矩阵进行解码处理的方式相同，本发明不再赘述。
S16，将所述原始文本及所述目标文本输入至预先训练的判断网络模型中，得到所述原始文本对应的类型及所述目标文本对应的类型。
在本发明的至少一个实施例中，所述类型包括第一类型及第二类型，所述第一类型是指该文本是从所述数据增强请求中提取的文本，所述第二类型是指该文本不是从所述数据增强请求中提取的文本，即，该文本是新生成的文本。
在本发明的至少一个实施例中，在将所述原始文本及所述目标文本输入至预先训练的判断网络模型中之前，所述方法还包括：
所述电子设备根据所述目标领域获取历史语料，所述电子设备将所述历史语料输入至遗忘门层进行遗忘处理，得到训练数据，进一步地，所述电子设备采用交叉验证法将所述训练数据划分为训练集及验证集，更进一步地，所述电子设备将所述训练集中的数据输入至输入门层进行训练，得到学习器，所述电子设备根据所述验证集中的数据，调整所述学习器中的参数，得到所述判断网络模型。
通过上述实施方式，能够提高所述判断网络模型的准确度。
具体地，所述电子设备采用交叉验证法将所述训练数据划分为训练集及验证集包括：
将所述训练数据按照预设比例随机划分为至少一个数据包，将所述至少一个数据包中的任意一个数据包确定为所述验证集，其余的数据包确定为所述训练集，重复上述步骤，直至所有的数据包全都依次被用作为所述验证集。
其中，所述预设比例可以自定义设置，本发明不作限制。
通过上述实施方式，使所述训练数据中的每个数据均参与训练及验证，由此，提高训练所述判断网络模型的拟合度。
在本发明的至少一个实施例中，当所述原始文本对应的类型与所述目标文本对应的类型不同时，调整所述预设字段及所述预设矩阵的取值。
在本发明的至少一个实施例中，通过判断网络模型确定原始文本及目标文本的类型，进而检测原始文本与目标文本的类型是否相同，确保生成的目标文本的语义与原始文本的语义相同。
S17，当所述原始文本对应的类型与所述目标文本对应的类型相同时，确定所述目标文本所属的异常类别。
在本发明的至少一个实施例中，所述异常类别包括CPU故障、硬盘故障、内存故障、网络故障等。进一步地，所述预设类别是根据场景需求设定的类别。
在本发明的至少一个实施例中，所述电子设备确定所述目标文本所属的异常类别包括：
所述电子设备获取配置库中的所有标签文本，所述电子设备计算所述目标文本与每个标签文本的距离相似度，并将距离相似度最小的标签文本确定为目标标签文本，所述电子设备确定所述目标标签文本所属的目标类别，并将所述目标类别确定为所述异常类别。
其中，所述配置库中存储多个标签文本及每个标签文本所属的类别，所属类别可以是标签文本中的特征词。每个标签文本中的特征词不相同。
通过计算目标文本与标签文本的相似度，能够准确地确定出与目标文本最贴近的异常类别。
S18，当所述异常类别为预设类别时，融合所述目标文本及所述原始文本，得到训练文本。
需要强调的是，为进一步保证上述训练文本的私密和安全性，上述训练文本还可以存储于一区块链的节点中。
在本发明的至少一个实施例中，所述训练文本中的数据包括异常类别属于预设类别的目标文本及所述原始文本。
通过融合异常类别属于预设类别的目标文本及原始文本，作为训练文本，能够确保用于训练分类网络的数据符合应用程序的异常检测场景，进而提高了分类的准确性。
由以上技术方案可以看出，本发明通过数据增强请求中提取原始文本，能够准确确定需要进行数据增强的处理对象；根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵，能够使生成的目标矩阵与所述原始文本对应的第一矩阵相似；通过对目标矩阵进行解码处理，能够快速生成中间文本；通过判断网络模型确定原始文本及目标文本的类型，进而检测原始文本与目标文本的类型是否相同，确保生成的目标文本的语义与原始文本的语义相同；通过融合异常类别属于预设类别的目标文本及原始文本，作为训练文本，能够确保用于训练分类网络的数据符合应用程序的异常检测场景，进而提高了异常检测的准确性。
如图2所示，是本发明基于人工智能的数据增强装置的较佳实施例的功能模块图。所述基于人工智能的数据增强装置11包括提取单元110、翻译单元111、处理单元112、确定单元113、输入单元114、融合单元115、获取单元116、划分单元117及调整单元118。本发明所称的模块/单元是指一种能够被处理器13所获取，并且能够完成固定功能的一系列计算机程序段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
当接收到数据增强请求时，提取单元110从所述数据增强请求中提取原始文本。
在本发明的至少一个实施例中，所述数据增强请求可以由负责应用程序的异常检测的运营人员触发。
在本发明的至少一个实施例中，所述数据增强请求中携带的信息包括，但不限于：所述原始文本、及所述原始文本所属的领域。
其中，所述领域可以是应用程序的异常检测，本发明对此不作限制。
在本发明的至少一个实施例中，所述提取单元110从所述数据增强请求中提取原始文本包括：
所述提取单元110从预先建立的线程连接池中获取闲置线程，并利用所述闲置线程解析所述数据增强请求中的方法体，得到所述数据增强请求中携带的所有信息，进一步地，所述提取单元110获取预设标签，更进一步地，所述提取单元110从所述所有信息中获取与所述预设标签对应的信息，作为所述原始文本。
其中，所述预设标签是指预先定义好的标签，例如：name。
通过从线程连接池中直接获取闲置线程，无需通过创建线程即可解析所述数据增强请求，节省了创建线程的时间，提高了解析速度，进而通过预设标签与原始文本的映射关系，能够准确确定所述原始文本。
翻译单元111将所述原始文本翻译成预设语言对应的翻译文本。
在本发明的至少一个实施例中，所述预设语言是指与所述原始文本的语言类型不同的语言，所述预设语言可以是英语、法语等，具体的语言本发明不作限制。
在本发明的至少一个实施例中，所述翻译单元111将所述原始文本翻译成预设语言对应的翻译文本包括：
所述翻译单元111确定所述原始文本所属的目标语言，进一步地，所述翻译单元111根据所述目标语言及所述预设语言确定目标翻译模块，进一步地，所述翻译单元111通过所述目标翻译模块将所述原始文本翻译成所述翻译文本。
例如，若原始文本所属的目标语言为中文，预设语言为英语，所述翻译单元111根据所述目标语言及所述预设语言确定目标翻译模块为中译英模块。
其中，所述目标翻译模块将所述原始文本翻译成所述翻译文本的方式属于现有技术，本发明对此不再赘述。
处理单元112处理所述原始文本，得到第一矩阵，并处理所述翻译文本，得到第二矩阵。
在本发明的至少一个实施例中，所述第一矩阵是指对所述原始文本进行预处理并编码后得到的矩阵，所述第一矩阵中的每个行向量表示所述原始文本中每个分词对应的向量；所述第二矩阵是指对所述翻译文本进行预处理并编码后得到的矩阵，所述第二矩阵中的每个行向量表示所述翻译文本中每个分词对应的向量。
在本发明的至少一个实施例中，所述处理单元112处理所述原始文本，得到第一矩阵包括：
所述处理单元112过滤所述原始文本中的预设字符，得到过滤后的原始文本，所述处理单元112获取预设的自定义词典，所述自定义词典中包括多个自定义词及每个自定义词对应的权值，进一步地，所述处理单元112根据所述自定义词典中的多个自定义词对所述过滤后的原始文本进行切分，得到切分位置，所述处理单元112根据所述切分位置，构建至少一个有向无环图，所述处理单元112根据所述自定义词典中自定义词对应的权值计算每个有向无环图的概率，所述处理单元112将概率最大的有向无环图对应的切分位置确定为目标切分位置，进一步地，所述处理单元112根据所述目标切分位置切分所述过滤后的原始文本，得到多个分词，更进一步地，所述处理单元112确定所述原始文本所属的目标领域，根据所述目标领域确定向量映射文本，所述处理单元112根据所述向量映射文本确定所述多个分词对应的向量，所述处理单元112组合所述多个向量，得到所述第一矩阵。
其中，所述预设字符包括，但不限于：表情符合、符号图案等。
通过所述自定义词典切分所述过滤后的原始文本，能够根据需求切分所述原始文本，以得到多个分词，进而通过所述目标领域，能够准确确定所述第一矩阵。
在本发明的至少一个实施例中，所述处理单元112处理所述翻译文本，得到第二矩阵的方式与所述处理单元112处理所述原始文本，得到第一矩阵的方式相同，本发明对此不再赘述。
确定单元113根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵。
在本发明的至少一个实施例中，所述目标矩阵是指对所述第一矩阵与所述第二矩阵进行自注意力分析及多头注意力分析后得到的矩阵。
在本发明的至少一个实施例中，所述确定单元113根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵包括：
所述确定单元113对所述第一矩阵进行矩阵转置处理，得到第三矩阵，所述确定单元113将所述第二矩阵乘以所述第三矩阵，得到第一运算结果，所述确定单元113确定所述第一矩阵的维度，并将所述第一运算结果除以所述维度的平方根，得到所述第一矩阵与所述第二矩阵的相似度，进一步地，所述确定单元113对所述相似度进行归一化处理，得到第二运算结果，并将所述第二运算结果乘以所述第一矩阵，得到所述原始文本的输出矩阵，所述输出矩阵包括多个行向量，所述确定单元113从每个行向量中提取预设字段的向量，得到每个行向量对应的子向量，更进一步地，所述确定单元113按照每个行向量在所述输出矩阵中的顺序拼接每个子向量，得到第三运算结果，并将所述第三运算结果乘以预设矩阵，得到所述目标矩阵。
通过对所述第一矩阵与所述第二矩阵进行自注意力分析及多头注意力分析，能够使生成的目标矩阵与所述原始文本对应的第一矩阵相似。
所述处理单元112对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本。
在本发明的至少一个实施例中，所述处理单元112对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本包括：
所述处理单元112对所述目标矩阵进行线性变换处理，并根据所述预设字段对线性变换处理后的目标矩阵进行拆解，得到多个元向量，进一步地，所述处理单元112确定与所述数据增强请求对应的编码仓库，并从所述编码仓库中获取与所述元向量对应的元数据及编码规约，所述处理单元112根据所述元数据及所述编码规约，生成与所述元向量对应的文本片段，更进一步地，所述处理单元112确定生成所述第三运算结果的拼接顺序，所述处理单元112根据所述拼接顺序对所述文本片段进行排序，得到所述中间文本。
通过上述实施方式，能够快速生成中间文本。
在其他实施例中，所述处理单元112可以利用预先训练的解码器对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本，所述解码器的训练方式，在发明中不作阐述。
所述处理单元112对所述中间文本进行编码处理，得到编码结果，并对所述编码结果进行解码处理，得到与所述原始文本对应的目标文本。
在本发明的至少一个实施例中，所述处理单元112对所述中间文本进行编码处理的方式与将所述原始文本翻译成预设语言对应的翻译文本，及处理所述原始文本，得到第一矩阵，并处理所述翻译文本，得到第二矩阵，及根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵的方式相同，本发明不再赘述。
进一步地，所述处理单元112对所述编码结果进行解码处理的方式与所述处理单元112对所述目标矩阵进行解码处理的方式相同，本发明不再赘述。
输入单元114将所述原始文本及所述目标文本输入至预先训练的判断网络模型中，得到所述原始文本对应的类型及所述目标文本对应的类型。
在本发明的至少一个实施例中，所述类型包括第一类型及第二类型，所述第一类型是指该文本是从所述数据增强请求中提取的文本，所述第二类型是指该文本不是从所述数据增强请求中提取的文本，即，该文本是新生成的文本。
在本发明的至少一个实施例中，在将所述原始文本及所述目标文本输入至预先训练的判断网络模型中之前，获取单元116根据所述目标领域获取历史语料，所述输入单元114将所述历史语料输入至遗忘门层进行遗忘处理，得到训练数据，进一步地，划分单元117采用交叉验证法将所述训练数据划分为训练集及验证集，更进一步地，所述输入单元114将所述训练集中的数据输入至输入门层进行训练，得到学习器，调整单元118根据所述验证集中的数据，调整所述学习器中的参数，得到所述判断网络模型。
通过上述实施方式，能够提高所述判断网络模型的准确度。
具体地，所述划分单元117采用交叉验证法将所述训练数据划分为训练集及验证集包括：
所述划分单元117将所述训练数据按照预设比例随机划分为至少一个数据包，并将所述至少一个数据包中的任意一个数据包确定为所述验证集，其余的数据包确定为所述训练集，重复上述步骤，直至所有的数据包全都依次被用作为所述验证集。
其中，所述预设比例可以自定义设置，本发明不作限制。
通过上述实施方式，使所述训练数据中的每个数据均参与训练及验证，由此，提高训练所述判断网络模型的拟合度。
在本发明的至少一个实施例中，当所述原始文本对应的类型与所述目标文本对应的类型不同时，所述调整单元118调整所述预设字段及所述预设矩阵的取值。
在本发明的至少一个实施例中，通过判断网络模型确定原始文本及目标文本的类型，进而检测原始文本与目标文本的类型是否相同，确保生成的目标文本的语义与原始文本的语义相同。
当所述原始文本对应的类型与所述目标文本对应的类型相同时，所述确定单元113确定所述目标文本所属的异常类别。
在本发明的至少一个实施例中，所述异常类别包括CPU故障、硬盘故障、内存故障、网络故障等。进一步地，所述预设类别是根据场景需求设定的类别。
在本发明的至少一个实施例中，所述确定单元113确定所述目标文本所属的异常类别包括：
所述确定单元113获取配置库中的所有标签文本，所述确定单元113计算所述目标文本与每个标签文本的距离相似度，并将距离相似度最小的标签文本确定为目标标签文本，所述确定单元113确定所述目标标签文本所属的目标类别，并将所述目标类别确定为所述异常类别。
其中，所述配置库中存储多个标签文本及每个标签文本所属的类别，所属类别可以是标签文本中的特征词。每个标签文本中的特征词不相同。
通过计算目标文本与标签文本的相似度，能够准确地确定出与目标文本最贴近的异常类别。
当所述异常类别为预设类别时，融合单元115融合所述目标文本及所述原始文本，得到训练文本。
需要强调的是，为进一步保证上述训练文本的私密和安全性，上述训练文本还可以存储于一区块链的节点中。
在本发明的至少一个实施例中，所述训练文本中的数据包括异常类别属于预设类别的目标文本及所述原始文本。
通过融合异常类别属于预设类别的目标文本及原始文本，作为训练文本，能够确保用于训练分类网络的数据符合应用程序的异常检测场景，进而提高了分类的准确性。
由以上技术方案可以看出，本发明通过数据增强请求中提取原始文本，能够准确确定需要进行数据增强的处理对象；根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵，能够使生成的目标矩阵与所述原始文本对应的第一矩阵相似；通过对目标矩阵进行解码处理，能够快速生成中间文本；通过判断网络模型确定原始文本及目标文本的类型，进而检测原始文本与目标文本的类型是否相同，确保生成的目标文本的语义与原始文本的语义相同；通过融合异常类别属于预设类别的目标文本及原始文本，作为训练文本，能够确保用于训练分类网络的数据符合应用程序的异常检测场景，进而提高了异常检测的准确性。
如图3所示，是本发明实现基于人工智能的数据增强方法的较佳实施例的电子设备的结构示意图。
在本发明的一个实施例中，所述电子设备1包括，但不限于，存储器12、处理器13，以及存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如基于人工智能的数据增强程序。
本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
所述处理器13可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器13是所述电子设备1的运算核心和控制中心，利用各种接口和线路连接整个电子设备1的各个部分，及获取所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
所述处理器13获取所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13获取所述应用程序以实现上述各个基于人工智能的数据增强方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13获取，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备1中的获取过程。例如，所述计算机程序可以被分割成提取单元110、翻译单元111、处理单元112、确定单元113、输入单元114、融合单元115、获取单元116、划分单元117及调整单元118。
所述存储器12可用于存储所述计算机程序和/或模块，所述处理器13通过运行或获取存储在所述存储器12内的计算机程序和/或模块，以及调用存储在存储器12内的数据，实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器12可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地，所述存储器12可以是具有实物形式的存储器，如内存条、TF卡(Trans-flash Card)等等。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器获取时，可实现上述各个方法实施例的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可获取文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
结合图1，所述电子设备1中的所述存储器12存储多个指令以实现一种基于人工智能的数据增强方法，所述处理器13可获取所述多个指令从而实现：当接收到数据增强请求时，从所述数据增强请求中提取原始文本；将所述原始文本翻译成预设语言对应的翻译文本；处理所述原始文本，得到第一矩阵，并处理所述翻译文本，得到第二矩阵；根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵；对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本；对所述中间文本进行编码处理，得到编码结果，并对所述编码结果进行解码处理，得到与所述原始文本对应的目标文本；将所述原始文本及所述目标文本输入至预先训练的判断网络模型中，得到所述原始文本对应的类型及所述目标文本对应的类型；当所述原始文本对应的类型与所述目标文本对应的类型相同时，确定所述目标文本所属的异常类别；当所述异常类别为预设类别时，融合所述目标文本及所述原始文本，得到训练文本。
具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于人工智能的数据增强方法，其特征在于，所述基于人工智能的数据增强方法包括：
当接收到数据增强请求时，从所述数据增强请求中提取原始文本；
将所述原始文本翻译成预设语言对应的翻译文本；
处理所述原始文本，得到第一矩阵，并处理所述翻译文本，得到第二矩阵；
根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵；
对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本；
对所述中间文本进行编码处理，得到编码结果，并对所述编码结果进行解码处理，得到与所述原始文本对应的目标文本；
将所述原始文本及所述目标文本输入至预先训练的判断网络模型中，得到所述原始文本对应的类型及所述目标文本对应的类型；
当所述原始文本对应的类型与所述目标文本对应的类型相同时，确定所述目标文本所属的异常类别；
当所述异常类别为预设类别时，融合所述目标文本及所述原始文本，得到训练文本。
2.如权利要求1所述的基于人工智能的数据增强方法，其特征在于，所述从所述数据增强请求中提取原始文本包括：
从预先建立的线程连接池中获取闲置线程；
利用所述闲置线程解析所述数据增强请求中的方法体，得到所述数据增强请求中携带的所有信息；
获取预设标签，并从所述所有信息中获取与所述预设标签对应的信息，作为所述原始文本。
3.如权利要求1所述的基于人工智能的数据增强方法，其特征在于，所述处理所述原始文本，得到第一矩阵包括：
过滤所述原始文本中的预设字符，得到过滤后的原始文本；
获取预设的自定义词典，所述自定义词典中包括多个自定义词及每个自定义词对应的权值；
根据所述自定义词典中的多个自定义词对所述过滤后的原始文本进行切分，得到切分位置；
根据所述切分位置，构建至少一个有向无环图；
根据所述自定义词典中自定义词对应的权值计算每个有向无环图的概率；
将概率最大的有向无环图对应的切分位置确定为目标切分位置；
根据所述目标切分位置切分所述过滤后的原始文本，得到多个分词；
确定所述原始文本所属的目标领域，根据所述目标领域确定向量映射文本；
根据所述向量映射文本确定所述多个分词对应的向量；
组合所述多个向量，得到所述第一矩阵。
4.如权利要求3所述的基于人工智能的数据增强方法，其特征在于，在将所述原始文本及所述目标文本输入至预先训练的判断网络模型中之前，所述基于人工智能的数据增强方法还包括：
根据所述目标领域获取历史语料；
将所述历史语料输入至遗忘门层进行遗忘处理，得到训练数据；
采用交叉验证法将所述训练数据划分为训练集及验证集；
将所述训练集中的数据输入至输入门层进行训练，得到学习器；
根据所述验证集中的数据，调整所述学习器中的参数，得到所述判断网络模型。
5.如权利要求1所述的基于人工智能的数据增强方法，其特征在于，所述根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵包括：
对所述第一矩阵进行矩阵转置处理，得到第三矩阵；
将所述第二矩阵乘以所述第三矩阵，得到第一运算结果；
确定所述第一矩阵的维度，并将所述第一运算结果除以所述维度的平方根，得到所述第一矩阵与所述第二矩阵的相似度；
对所述相似度进行归一化处理，得到第二运算结果，并将所述第二运算结果乘以所述第一矩阵，得到所述原始文本的输出矩阵，所述输出矩阵包括多个行向量；
从每个行向量中提取预设字段的向量，得到每个行向量对应的子向量；
按照每个行向量在所述输出矩阵中的顺序拼接每个子向量，得到第三运算结果，并将所述第三运算结果乘以预设矩阵，得到所述目标矩阵。
6.如权利要求5所述的基于人工智能的数据增强方法，其特征在于，所述对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本包括：
对所述目标矩阵进行线性变换处理，并根据所述预设字段对线性变换处理后的目标矩阵进行拆解，得到多个元向量；
确定与所述数据增强请求对应的编码仓库，并从所述编码仓库中获取与所述元向量对应的元数据及编码规约；
根据所述元数据及所述编码规约，生成与所述元向量对应的文本片段；
确定生成所述第三运算结果的拼接顺序；
根据所述拼接顺序对所述文本片段进行排序，得到所述中间文本。
7.如权利要求1所述的基于人工智能的数据增强方法，其特征在于，所述确定所述目标文本所属的异常类别包括：
获取配置库中的所有标签文本；
计算所述目标文本与每个标签文本的距离相似度，并将距离相似度最小的标签文本确定为目标标签文本；
确定所述目标标签文本所属的目标类别，并将所述目标类别确定为所述异常类别。
8.一种基于人工智能的数据增强装置，其特征在于，所述基于人工智能的数据增强装置包括：
提取单元，用于当接收到数据增强请求时，从所述数据增强请求中提取原始文本；
翻译单元，用于将所述原始文本翻译成预设语言对应的翻译文本；
处理单元，用于处理所述原始文本，得到第一矩阵，并处理所述翻译文本，得到第二矩阵；
确定单元，用于根据所述第一矩阵及所述第二矩阵确定所述原始文本的目标矩阵；
所述处理单元，还用于对所述目标矩阵进行解码处理，得到与所述原始文本对应的中间文本；
所述处理单元，还用于对所述中间文本进行编码处理，得到编码结果，并对所述编码结果进行解码处理，得到与所述原始文本对应的目标文本；
输入单元，用于将所述原始文本及所述目标文本输入至预先训练的判断网络模型中，得到所述原始文本对应的类型及所述目标文本对应的类型；
所述确定单元，还用于当所述原始文本对应的类型与所述目标文本对应的类型相同时，确定所述目标文本所属的异常类别；
融合单元，用于当所述异常类别为预设类别时，融合所述目标文本及所述原始文本，得到训练文本。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，获取所述存储器中存储的指令以实现如权利要求1至7中任意一项所述的基于人工智能的数据增强方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器获取以实现如权利要求1至7中任意一项所述的基于人工智能的数据增强方法。
CN202010476774.7A 2020-05-29 2020-05-29 基于人工智能的数据增强方法、装置、电子设备及介质 Active CN111694826B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010476774.7A CN111694826B (zh) 2020-05-29 2020-05-29 基于人工智能的数据增强方法、装置、电子设备及介质
PCT/CN2020/118920 WO2021151299A1 (zh) 2020-05-29 2020-09-29 基于人工智能的数据增强方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010476774.7A CN111694826B (zh) 2020-05-29 2020-05-29 基于人工智能的数据增强方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN111694826A true CN111694826A (zh) 2020-09-22
CN111694826B CN111694826B (zh) 2024-03-19

Family

ID=72478902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010476774.7A Active CN111694826B (zh) 2020-05-29 2020-05-29 基于人工智能的数据增强方法、装置、电子设备及介质

Country Status (2)

Country Link
CN (1) CN111694826B (zh)
WO (1) WO2021151299A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021151299A1 (zh) * 2020-05-29 2021-08-05 平安科技（深圳）有限公司 基于人工智能的数据增强方法、装置、电子设备及介质
CN113886438A (zh) * 2021-12-08 2022-01-04 济宁景泽信息科技有限公司 一种基于人工智能的成果转移转化数据筛选方法
CN117493886A (zh) * 2023-11-16 2024-02-02 重庆邮电大学 基于文本的变压器故障智能识别模型的训练方法及装置
CN117746214A (zh) * 2024-02-07 2024-03-22 青岛海尔科技有限公司 基于大模型生成图像的文本调整方法、装置、存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836929A (zh) * 2021-09-28 2021-12-24 平安科技（深圳）有限公司 命名实体识别方法、装置、设备及存储介质
CN114615088A (zh) * 2022-04-25 2022-06-10 国网冀北电力有限公司信息通信分公司 一种终端业务流量异常检测模型建立方法及异常检测方法
CN116061189B (zh) * 2023-03-08 2023-06-27 国网瑞嘉(天津)智能机器人有限公司 一种机器人作业数据处理系统、方法、装置、设备及介质
CN116678162B (zh) * 2023-08-02 2023-09-26 八爪鱼人工智能科技(常熟)有限公司 基于人工智能的冷库运行信息管理方法、系统及存储介质
CN116743636B (zh) * 2023-08-14 2023-10-31 中国电信股份有限公司 异常数据的检测方法、装置、电子设备及计算机可读介质
CN117527449A (zh) * 2024-01-05 2024-02-06 之江实验室 一种入侵检测方法、装置、电子设备以及存储介质
CN117708601B (zh) * 2024-02-06 2024-04-26 智慧眼科技股份有限公司 一种相似度计算模型训练方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020077805A1 (en) * 2000-12-18 2002-06-20 Hecht David L. System and method for distributing multilingual documents
CN109726285A (zh) * 2018-12-18 2019-05-07 广州多益网络股份有限公司 一种文本分类方法、装置、存储介质及终端设备
CN110895559A (zh) * 2018-09-12 2020-03-20 阿里巴巴集团控股有限公司 模型训练、文本处理方法、装置以及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664656B2 (en) * 2018-06-20 2020-05-26 Vade Secure Inc. Methods, devices and systems for data augmentation to improve fraud detection
CN109346063B (zh) * 2018-10-12 2022-10-14 电子科技大学 一种语音数据增强方法
CN110222707A (zh) * 2019-04-28 2019-09-10 平安科技（深圳）有限公司 一种文本数据增强方法及装置、电子设备
CN111694826B (zh) * 2020-05-29 2024-03-19 平安科技（深圳）有限公司 基于人工智能的数据增强方法、装置、电子设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020077805A1 (en) * 2000-12-18 2002-06-20 Hecht David L. System and method for distributing multilingual documents
CN110895559A (zh) * 2018-09-12 2020-03-20 阿里巴巴集团控股有限公司 模型训练、文本处理方法、装置以及设备
CN109726285A (zh) * 2018-12-18 2019-05-07 广州多益网络股份有限公司 一种文本分类方法、装置、存储介质及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡亚楠;舒佳根;钱龙华;朱巧明;: "基于机器翻译的跨语言关系抽取", 中文信息学报, no. 05, 15 September 2013 (2013-09-15), pages 195 - 201 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021151299A1 (zh) * 2020-05-29 2021-08-05 平安科技（深圳）有限公司 基于人工智能的数据增强方法、装置、电子设备及介质
CN113886438A (zh) * 2021-12-08 2022-01-04 济宁景泽信息科技有限公司 一种基于人工智能的成果转移转化数据筛选方法
CN117493886A (zh) * 2023-11-16 2024-02-02 重庆邮电大学 基于文本的变压器故障智能识别模型的训练方法及装置
CN117746214A (zh) * 2024-02-07 2024-03-22 青岛海尔科技有限公司 基于大模型生成图像的文本调整方法、装置、存储介质
CN117746214B (zh) * 2024-02-07 2024-05-24 青岛海尔科技有限公司 基于大模型生成图像的文本调整方法、装置、存储介质

Also Published As

Publication number Publication date
CN111694826B (zh) 2024-03-19
WO2021151299A1 (zh) 2021-08-05

Similar Documents

Publication Publication Date Title
CN111694826B (zh) 基于人工智能的数据增强方法、装置、电子设备及介质
WO2022105122A1 (zh) 基于人工智能的答案生成方法、装置、计算机设备及介质
CN110532353B (zh) 基于深度学习的文本实体匹配方法、系统、装置
CN111695033A (zh) 企业舆情分析方法、装置、电子设备及介质
CN112686036B (zh) 风险文本识别方法、装置、计算机设备及存储介质
CN113032528B (zh) 案件分析方法、装置、设备及存储介质
CN113656547B (zh) 文本匹配方法、装置、设备及存储介质
CN111639487A (zh) 基于分类模型的字段抽取方法、装置、电子设备及介质
CN113094478B (zh) 表情回复方法、装置、设备及存储介质
CN113064973A (zh) 文本分类方法、装置、设备及存储介质
CN113536770B (zh) 基于人工智能的文本解析方法、装置、设备及存储介质
CN112989829B (zh) 一种命名实体识别方法、装置、设备及存储介质
CN114037545A (zh) 客户推荐方法、装置、设备及存储介质
CN113268597A (zh) 文本分类方法、装置、设备及存储介质
CN113486680B (zh) 文本翻译方法、装置、设备及存储介质
CN113420143B (zh) 文书摘要生成方法、装置、设备及存储介质
CN113627186B (zh) 基于人工智能的实体关系检测方法及相关设备
CN113408265B (zh) 基于人机交互的语义解析方法、装置、设备及存储介质
CN113326365A (zh) 回复语句生成方法、装置、设备及存储介质
CN113420545A (zh) 摘要生成方法、装置、设备及存储介质
CN112989820A (zh) 法律文书定位方法、装置、设备及存储介质
CN113468334B (zh) 密文情感分类方法、装置、设备及存储介质
CN113268562B (zh) 文本情感识别方法、装置、设备及存储介质
CN113434895B (zh) 文本解密方法、装置、设备及存储介质
CN113421575B (zh) 声纹识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40029437

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant