CN114722208B - 一种健康医疗文本自动分类和安全等级自动分级方法 - Google Patents
一种健康医疗文本自动分类和安全等级自动分级方法 Download PDFInfo
- Publication number
- CN114722208B CN114722208B CN202210638765.2A CN202210638765A CN114722208B CN 114722208 B CN114722208 B CN 114722208B CN 202210638765 A CN202210638765 A CN 202210638765A CN 114722208 B CN114722208 B CN 114722208B
- Authority
- CN
- China
- Prior art keywords
- text
- med
- training
- medical field
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明提供一种健康医疗文本自动分类和安全等级自动分级方法，包括：分别基于albert神经网络模型、RoBERTa神经网络模型和ERNIE‑Doc神经网络模型构造不同尺度文本语义特征理解的预训练模型；对预训练模型进行两次预训练得到针对健康医疗领域的预训练语言模型；通过人工标注制作含有不同尺度文本语义的数据集；针对下游分类任务对预训练语言模型进行改造，并利用数据集进行训练，得到融合不同尺度文本语义特征理解的文本类别分类器和文本安全等级分类器；利用文本类别分类器和文本安全等级分类器进行自动分类和安全等级自动分级。本发明能够解决目前基于单一的深度学习技术的自动分类、自动分级的效果不好的问题。
Description
技术领域
本发明涉及健康医疗文本处理技术领域，具体而言，涉及一种健康医疗文本自动分类和安全等级自动分级方法。
背景技术
健康医疗大数据正成为我国重要的基础性战略资源，但在医疗健康领域，目前针对海量健康医疗文本数据的自动分类和自动分级尚没有高效、准确的方法。(1)健康医疗文本自动分类：健康医疗文本自动分类技术可以为不同的文本打上各类标签(1个到若干个)，为海量医疗健康文本快速高效的类别分类、相似电子病例检索、机器人辅助诊断、医院智能导诊和医疗机器人智能问答等智慧健康医疗领域提供必要的数据理解技术。(2)健康医疗文本自动分级：健康医疗文本安全分级的目的是为了对数据采取更合理的安全管理和保护，对不同安全级别的数据进行自动标记区分，明确不同级别数据的访问人员和访问方式，采取的安全保护措施。准确清晰的健康医疗数据分级技术，将为建立完善的健康医疗数据生命周期保护框架奠定基础，从而规范和推动健康医疗数据的融合共享、开放应用。
近些年来，大型互联网科技公司普遍使用机器学习、深度学习、预训练模型等技术来进行海量文本自动分类，以满足其系统在文本分类和内容分发、商品推荐、搜索引擎、智能问答、内容理解和内容安全防护等应用场景的需求。在基于人工智能技术的文本自动分类领域，文本特征抽取技术和将文本语义表示再进行分类的技术是重难点，目前对健康医疗文本的自动分类、分级技术还不够成熟，尤其是对健康医疗文本的安全等级自动分级技术还较少，同时，对健康医疗文本的特征抽取及语义理解还不够充分，在特定领域的文本分类上主要的技术路线是对文本全文进行特征抽取和语义理解，然后将固定维度的特征向量输入含有softmax神经网络的全连接层进行文本分类，目前的分类效果还有待提高，所以需要在特征抽取和分类方法上进行改进和提高，从而提高健康医疗文本自动分类的准确性。
传统的技术方案具体为：传统的机器学习方法主要利用自然语言处理领域中的基于统计语言模型中n-gram思想对文本进行特征提取，利用词频-逆文档频率对n-gram特征进行计算和语义表示，然后将提取到的文本特征输入到逻辑回归、朴素贝叶斯等分类器中进行训练，最终得到文本分类模型。但是，上述基于词频-逆文档频率的特征提取方法可能存在特征数据稀疏和向量维度爆炸等问题，这对以上分类器来说是灾难性的，并使得训练的机器学习模型泛化能力有限。
在深度学习技术兴起之后，基于卷积神经网络CNN、循环神经网络RNN、长短期记忆人工神经网络LSTM等神经网络的特征抽取器使得文本分类技术的效果有所提高，近几年BERT、GPT、XLNet等基于大规模预料进行无监督学习的预训练语言模型的出现，使得利用少量标注数据进行模型微调训练就能实现譬如文本分类、命名实体识别、文本对匹配等具体任务，但是对这些预训练模型进行下游任务的微调时由于其预训练使用的数据与下游任务中的具体领域数据语义特征分布并不一定相匹配，因此会影响预训练模型的性能，导致下游任务无法达到很好的效果。
再者，目前的文本分类技术主要是单独使用基于Transfomer类形成的语义特征抽取模型对文本全文进行特征抽取和语义信息理解，但是文本全文本身存在一定的冗余信息，这种方法就存在一定的局限性，无法对同一篇含有不同尺度文本语义信息(微观、较宏观、宏观)进行特征提取和融合，同时模型对文本核心信息和关键信息的重视度和注意力较低，导致不能充分地理解一篇文章的整体语义信息。此外，在最终的分类上主要是通过含有softmax神经网络分类层的方法，最终分类结果的可解释性较弱，文本分类效果还有待提高。而且，通过Transformer模型(如Bert、GPT-2模型内部的特征抽取器)抽取后的向量表达会产生各向异性，表现状态就是向量会不均匀分布，且充斥在一个狭窄的锥形空间下，低频词离原点远，分布稀疏，高频词向量离原点近，分布紧密，这都是仅使用BERT类模型特征抽取器中最后一层的[cls]向量表达(解释：在BERT输入的每一个序列开头都插入特定的分类token([CLS])，该分类token对应的最后一个Transformer层输出被用来起到聚集整个序列表征信息的作用)，导致最终文本分类效果不好的原因。
综上所述，传统的技术方案存在如下问题：在基于人工智能技术的文本自动分类领域，文本特征抽取和通过文本语义表示后进行分类是重难点，目前对健康医疗文本的自动分类、安全分级技术还不够成熟，尤其是对健康医疗文本的自动安全分级技术还较少，同时，由于健康医疗文本中领域性专有名词较多，目前基于全文文本的自然语言理解模型技术对健康医疗文本的特征抽取及核心语义理解还不够充分，在特定领域的文本分类上主要的技术路线是对文本全文进行特征抽取和语义理解，然后将固定维度的特征向量输入含有softmax神经网络的全连接层进行文本分类，目前的分类效果还有待提高，所以需要在特征抽取和语义理解方法和最终的分类方法上进行改进和提高，从而提高健康医疗文本自动分类、安全等级自动分级的准确性。
发明内容
本发明旨在提供一种健康医疗文本自动分类和安全等级自动分级方法，以解决现有技术中使用单一的深度学习算法对健康医疗文本的语义理解不充分，同时由于健康医疗文本中领域性专有名词较多，导致目前基于深度学习技术的自动分类、自动分级的效果不好的技术问题，同时可以结合传统机器学习的文本分类技术技术使得分类模型的可解释性更好，最终提高健康医疗文本自动分类、安全等级自动分级的准确性。
本发明提供的一种健康医疗文本自动分类和安全等级自动分级方法，包括如下步骤：
S100，分别基于albert神经网络模型、RoBERTa神经网络模型和ERNIE-Doc神经网络模型构造不同尺度文本语义特征理解的预训练模型；
S200，对构造的预训练模型分别进行两次预训练，得到针对健康医疗领域的预训练语言模型；
S300，通过对实际健康医疗业务中所用的健康医疗文本进行人工标注得到含有不同尺度文本语义的文本数据集；
S400，针对下游分类任务对预训练语言模型进行改造，并利用含有不同尺度文本语义的数据集进行训练，得到融合不同尺度文本语义特征理解的文本类别分类器和文本安全等级分类器；
S500，利用融合不同尺度文本语义特征理解的文本类别分类器和文本安全等级分类器对健康医疗文本进行自动分类和安全等级自动分级。
进一步的，步骤S100中分别基于albert神经网络模型、RoBERTa神经网络模型和ERNIE-Doc神经网络模型构造不同尺度文本语义特征理解的预训练模型的方法包括：
分别通过对albert神经网络模型、RoBERTa神经网络模型和ERNIE-Doc神经网络模型的特征抽取层进行改造，得到不同尺度文本语义特征理解的预训练模型：通过对albert神经网络模型的特征抽取层进行改造，得到3个不同尺度的预训练模型，分别为第一微型预训练模型albert-small、第一中型预训练模型albert-middle和第一大型预训练模型albert-big；通过对RoBERTa神经网络模型的特征抽取层进行改造，得到3个不同尺度的预训练模型，分别为第二微型预训练模型RoBERTa-small、第二中型预训练模型RoBERTa-middle和第二大型预训练模型RoBERTa-big；通过对ERNIE-Doc神经网络模型的特征抽取层进行改造，得到3个不同尺度的预训练模型，分别为第三微型预训练模型ERNIE-Doc-small、第三中型预训练模型ERNIE-Doc-middle和第三大型预训练模型ERNIE-Doc-big。
进一步的，所述第一微型预训练模型albert-small、第一中型预训练模型albert-middle和第一大型预训练模型albert-big含有不同数量的特征抽取层；所述第二微型预训练模型RoBERTa-small、第二中型预训练模型RoBERTa-middle和第二大型预训练模型RoBERTa-big含有不同数量的特征抽取层；所述第三微型预训练模型ERNIE-Doc-small、第三中型预训练模型ERNIE-Doc-middle和第三大型预训练模型ERNIE-Doc-big含有不同数量的特征抽取层；所述第一微型预训练模型albert-small、第二微型预训练模型RoBERTa-small和第三微型预训练模型ERNIE-Doc-small含有相同数量的特征抽取层，所述第一中型预训练模型albert-small、第二中型预训练模型RoBERTa-small和第三中型预训练模型ERNIE-Doc-small含有相同数量的特征抽取层，所述第一大型预训练模型albert-small、第二大型预训练模型RoBERTa-small和第三大型预训练模型ERNIE-Doc-small含有相同数量的特征抽取层。
进一步的，步骤S200中对构造的预训练模型分别进行两次预训练，得到针对健康医疗领域的预训练语言模型的方法包括：
S201，使用大规模通用语料对不同尺度的预训练模型分别进行第一次无监督学习预训练，训练任务为在每一句话中随机遮住一定比例的字然后让预训练模型对遮住的字进行预测，从而让各个预训练模型学习通用语料知识和语义关系；
S202，使用大规模健康医疗文本，并采用第一次无监督学习预训练的方法，对各个预训练模型进行第二次无监督学习预训练，得到9个预训练语言模型，分别命名为健康医疗领域第一微型预训练语言模型albert-small-med、健康医疗领域第一中型预训练语言模型albert-middle-med、健康医疗领域第一大型预训练语言模型albert-big-med，健康医疗领域第二微型预训练语言模型RoBERTa-small-med、健康医疗领域第二中型预训练语言模型RoBERTa-middle-med、健康医疗领域第二大型预训练语言模型RoBERTa-big-med，健康医疗领域第三微型预训练语言模型ERNIE-Doc-small-med、健康医疗领域第三中型预训练语言模型ERNIE-Doc-middle-med、健康医疗领域第三大型预训练语言模型ERNIE-Doc-big-med。
进一步的，在第二次无监督学习预训练的过程中，需要通过正则化和降低学习率的方法，避免预训练的过程中产生知识灾难遗忘的情况。
进一步的，步骤S300中通过对实际健康医疗业务中所用的健康医疗文本进行人工标注得到含有不同尺度文本语义的数据集的方法包括：
S301，收集实际健康医疗业务中所用的健康医疗文本，记为1号健康医疗文本；对1号健康医疗文本进行分类和安全等级的人工标注，将1号健康医疗文本和标注的分类和安全等级标签存储为第三尺度数据集；
S302，对1号健康医疗文本全文进行摘要抽取，将抽取的摘要作为记为2号健康医疗文本；对2号健康医疗文本全文进行分类和安全等级的人工标注，将2号健康医疗文本和标注的分类和安全等级标签存储为第二尺度数据集；
S303，对2号健康医疗文本进行进行关键词提取，将提取的关键词作为3号健康医疗文本；对3号健康医疗文本进行分类和安全等级的人工标注，将3号健康医疗文本和标注的分类和安全等级标签存储为第一尺度数据集。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明基于深度学习、预训练模型技术（基于albert神经网络模型、RoBERTa神经网络模型和ERNIE-Doc神经网络模型），针对要构造对含有不同尺度文本语义的文本语义理解的模型特征抽取层进行重新设计，生成9个新的深度神经网络模型，从而对含有不同尺度文本语义的文本特征进行更好地语义理解和特征抽取，同时可以增强模型对文本核心信息和关键信息的重视程度和注意力，从而充分地理解一篇文章的整体语义信息，可以更好地进行文本分类、文本安全等级分级的下游任务。
2、本发明通过大规模通用文本语料和健康医疗文本语料的两次预训练，使9个预训练模型对通用知识、医疗健康知识和各种语义信息进行充分学习，形成了针对健康医疗领域文本的预训练语言模型，为健康医疗领域下游任务的再训练和预测提供了坚实的文本特征抽取基础。
3、本发明通过9个训练好的针对不同尺度文本语义特征提取的文本特征抽取器，可以对字词级、摘要级、篇章级的文本进行各类文本特征的抽取，同时将经过每一个特征抽取器的第一层和最后一层所有字的向量表示求平均后得到文本的语义表示，通过叠加融合宏微观不同尺度文本语义抽取后的语义向量，可以更加充分地对文本进行语义理解和语义特征表示，还可以增强特征抽取模型对文本核心信息的重视程度，降低模型对文本冗余信息的关注度。
4、本发明使用集成学习的思想对最终融合语义的特征向量进行文本分类模型的训练，可以更好地关注医疗健康领域文本的专有名词并通过提取重要的内容特征进行类别分类，同时增强文本分类的可解释性，从而提高健康医疗文本分类的准确性。
5、本发明使用传统机器学习的思想对最终融合语义的特征向量进行文本安全等级分类器的训练，从而提高医疗健康文本分级的准确性和可解释性。
附图说明
图1为本发明实施例中健康医疗文本自动分类和安全等级自动分级方法的流程图。
图2a为本发明实施例中第一微型预训练语言模型albert-small的特征抽取层的结构示意图。
图2b为本发明实施例中第一微型预训练语言模型albert-small的多头注意力机制示意图。
图3a为本发明实施例中健康医疗文本自动分类时，对构造的预训练模型分别进行两次预训练，得到针对健康医疗领域的预训练语言模型的技术路线图。
图3b为本发明实施例中健康医疗文本自动分类时，基于健康医疗领域的预训练语言模型和深度学习的方法分别训练针对不同尺度文本的特征抽取器的技术路线图。
图3c为本发明实施例中健康医疗文本自动分类时，基于传统机器学习的方法训练叠加融合的文本高维语义向量和对应标签，从而得到融合不同尺度文本语义特征理解的文本类别分类器的技术路线图。
图4a为本发明实施例中健康医疗文本安全等级自动分级时，对构造的预训练模型分别进行两次预训练，得到针对健康医疗领域的预训练语言模型的技术路线图。
图4b为本发明实施例中健康医疗文本安全等级自动分级时，基于健康医疗领域的预训练语言模型和深度学习的方法分别训练针对不同尺度文本的特征抽取器的技术路线图。
图4c为本发明实施例中健康医疗文本安全等级自动分级时，基于传统机器学习的方法训练叠加融合的文本高维语义向量和对应标签，从而得到融合不同尺度文本语义特征理解的文本安全等级分类器的技术路线图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本实施例提出一种健康医疗文本自动分类和安全等级自动分级方法，包括如下步骤：
S100，分别基于albert神经网络模型、RoBERTa神经网络模型和ERNIE-Doc神经网络模型构造不同尺度文本语义特征理解的预训练模型；
S200，对构造的预训练模型分别进行两次预训练，得到针对健康医疗领域的预训练语言模型；
S300，通过对实际健康医疗业务中所用的健康医疗文本进行人工标注得到含有不同尺度文本语义的数据集；
S400，针对下游分类任务对预训练语言模型进行改造，并利用含有不同尺度文本语义的数据集进行训练，得到融合不同尺度文本语义特征理解的文本类别分类器和文本安全等级分类器；
S500，利用融合不同尺度文本语义特征理解的文本类别分类器和文本安全等级分类器对健康医疗文本进行自动分类和安全等级自动分级。
由此，本发明是一种基于深度学习、预训练模型技术（基于albert神经网络模型、RoBERTa神经网络模型和ERNIE-Doc神经网络模型设计和改造）与传统机器学习（CatBoost模型或者LightGBM模型）相结合的健康医疗文本自动分类和安全等级自动分级方法，能够解决现有技术中使用单一的深度学习算法对健康医疗文本的语义理解不充分，同时解决由于健康医疗文本中领域性专有名词较多，导致目前基于深度学习技术的自动分类、安全等级自动分级效果不好的技术问题，同时结合传统机器学习的文本分类技术技术可以使得分类模型的可解释性更好。
具体地：
S100，分别基于albert神经网络模型、RoBERTa神经网络模型和ERNIE-Doc神经网络模型构造不同尺度文本语义特征理解的预训练模型：
分别通过对albert神经网络模型、RoBERTa神经网络模型和ERNIE-Doc神经网络模型的特征抽取层进行改造，得到不同尺度文本语义特征理解的预训练模型：通过对albert神经网络模型的特征抽取层进行改造，得到3个不同尺度的预训练模型，分别为第一微型预训练模型albert-small、第一中型预训练模型albert-middle和第一大型预训练模型albert-big；通过对RoBERTa神经网络模型的特征抽取层进行改造，得到3个不同尺度的预训练模型，分别为第二微型预训练模型RoBERTa-small、第二中型预训练模型RoBERTa-middle和第二大型预训练模型RoBERTa-big；通过对ERNIE-Doc神经网络模型的特征抽取层进行改造，得到3个不同尺度的预训练模型，分别为第三微型预训练模型ERNIE-Doc-small、第三中型预训练模型ERNIE-Doc-middle和第三大型预训练模型ERNIE-Doc-big。
在本实施例中，所述第一微型预训练模型albert-small、第一中型预训练模型albert-middle和第一大型预训练模型albert-big含有不同数量的特征抽取层；所述第二微型预训练模型RoBERTa-small、第二中型预训练模型RoBERTa-middle和第二大型预训练模型RoBERTa-big含有不同数量的特征抽取层；所述第三微型预训练模型ERNIE-Doc-small、第三中型预训练模型ERNIE-Doc-middle和第三大型预训练模型ERNIE-Doc-big含有不同数量的特征抽取层；所述第一微型预训练模型albert-small、第二微型预训练模型RoBERTa-small和第三微型预训练模型ERNIE-Doc-small含有相同数量的特征抽取层，所述第一中型预训练模型albert-small、第二中型预训练模型RoBERTa-small和第三中型预训练模型ERNIE-Doc-small含有相同数量的特征抽取层，所述第一大型预训练模型albert-small、第二大型预训练模型RoBERTa-small和第三大型预训练模型ERNIE-Doc-small含有相同数量的特征抽取层。
示例：
如图2a、图2b所示，第一微型预训练模型albert-small包括4层特征抽取层（每层特征抽取层为一个神经网络Transformer-encoder编码器），768个隐藏单元和4个自注意力头；图中参数矩阵Q、参数矩阵K、参数矩阵V分别表示模型训练得到的权值矩阵。第一中型预训练模型albert-middle包括8层特征抽取层，768个隐藏单元和8个自注意力头；第一大型预训练模型albert-big包括16层特征抽取层，768个隐藏单元和16个自注意力头。
同理，第二微型预训练模型RoBERTa-small包括4层特征抽取层，768个隐藏单元和4个自注意力头；第二中型预训练模型RoBERTa-middle包括8层特征抽取层，768个隐藏单元和8个自注意力头；第二大型预训练模型RoBERTa-big包括16层特征抽取层，768个隐藏单元和16个自注意力头。
同理，第三小型预训练模型ERNIE-Doc-small为包括4层特征抽取层，768个隐藏单元和4个自注意力头；第三中型预训练模型ERNIE-Doc-middle包括8层特征抽取层，768个隐藏单元和8个自注意力头；第三大型预训练模型ERNIE-Doc-big包括16层特征抽取层，768个隐藏单元和16个自注意力头。
S200，如图3a、4a所示，对构造的预训练模型分别进行两次预训练，得到针对健康医疗领域的预训练语言模型：
S201，使用大规模通用语料（中文维基百科、百度百科）对不同尺度的预训练模型分别进行第一次无监督学习预训练，训练任务为在每一句话中随机遮住一定比例（根据需要进行设定，一般可设置为10%）的字然后让预训练模型对遮住的字进行预测，从而让各个预训练模型学习通用语料知识和语义关系；
S202，使用大规模健康医疗文本，并采用第一次无监督学习预训练的方法，对各个预训练模型进行第二次无监督学习预训练，得到9个预训练语言模型，分别命名为健康医疗领域第一微型预训练语言模型albert-small-med、健康医疗领域第一中型预训练语言模型albert-middle-med、健康医疗领域第一大型预训练语言模型albert-big-med，健康医疗领域第二微型预训练语言模型RoBERTa-small-med、健康医疗领域第二中型预训练语言模型RoBERTa-middle-med、健康医疗领域第二大型预训练语言模型RoBERTa-big-med，健康医疗领域第三微型预训练语言模型ERNIE-Doc-small-med、健康医疗领域第三中型预训练语言模型ERNIE-Doc-middle-med、健康医疗领域第三大型预训练语言模型ERNIE-Doc-big-med。进一步地，在第二次无监督学习预训练的过程中，需要通过正则化和降低学习率的方法，避免预训练的过程中产生知识灾难遗忘的情况。
S300，通过对实际健康医疗业务中所用的健康医疗文本进行人工标注得到含有不同尺度文本语义的数据集：
S301，收集实际健康医疗业务中所用的健康医疗文本，记为1号健康医疗文本；对1号健康医疗文本进行分类和安全等级的人工标注，将1号健康医疗文本和标注的分类和安全等级标签存储为第三尺度数据集；
S302，对1号健康医疗文本全文进行摘要抽取（可以采用基于图的排序算法TextRank算法，或pyhanlp第三方工具等），将抽取的摘要作为记为2号健康医疗文本；对2号健康医疗文本全文进行分类和安全等级的人工标注，将2号健康医疗文本和标注的分类和安全等级标签存储为第二尺度数据集；
S303，对2号健康医疗文本进行进行关键词提取（可以采用基于图的排序算法TextRank算法，或pyhanlp第三方工具等），将提取的关键词作为3号健康医疗文本；对3号健康医疗文本进行分类和安全等级的人工标注，将3号健康医疗文本和标注的分类和安全等级标签存储为第一尺度数据集。
本实施例中，文本分类类别通常分为6类，分别是个人基本信息、卫生综合信息、卫生费用、公共卫生数据、卫生管理数据和物联网数据（也可以是根据实际健康医疗业务再制定其他类别）。文本安全等级分级通常分为5级，分别为1级、2级、3级、4级、5级（也可以是根据实际健康医疗业务再制定更多的等级划分）。进一步地，在标注分类和安全等级标签时，应将中每个文本类别、每个安全等级的数据尽量保持均衡。还需要说明的是，第一尺度数据集、第二尺度数据集和第三尺度数据集均可分为训练集、验证集和测试集，对于训练集、验证集和测试集在训练过程中的使用为常规技术，在此不再赘述。
示例：
1号健康医疗文本（文本全文）：
标注的文本分类类别：公共卫生。
标注的文本安全等级：1级。
1号健康医疗文本全文如下：
骨质疏松可以通过下列方法进行预防：
1、合理日照，科学健身，选择适当的锻炼方法，进行适应不同年龄者的承重运动。
2、培养和坚持良好的生活习惯，合理配膳，均衡营养，增加钙的足够摄入，控制体重、减少肥胖。
3、戒烟，限酒，养成良好的生活习惯。
4、积极预防继发性骨质疏松，除正确防治原发性疾病外，如需使用能引起骨质疏松等副作用的药物时（如糖皮质激素、肝素、抗癫痫类药等）应谨遵医嘱，同时应采取相应措施，防止骨质疏松等并发症的发生。
5、在饮食上宜选择以下食物，有利于预防骨质疏松：牛奶、乳酪等奶制品，海带、海鱼、虾皮、紫菜等海产品，韭菜、芹菜、苋菜、小白菜等新鲜绿色蔬菜。
6、适当的进行体育锻炼、注意补充富含钙和维生素D的饮食，可以强健骨骼；但锻炼时应注意选择合适的锻炼方法，以免受伤。
7、适当进行运动锻炼，提高肌肉质量、稳定关节，比如快步走、慢跑、骑自行车等。
8、使用骨健康基本补充剂，如钙剂或维生素D。
2号健康医疗文本（文本摘要）：
骨质疏松可以通过下列方法进行预防：
1、合理日照，科学健身，选择适当的锻炼方法，进行适应不同年龄者的承重运动。
2、积极预防继发性骨质疏松，除正确防治原发性疾病外，如需使用能引起骨质疏松等副作用的药物时（如糖皮质激素、肝素、抗癫痫类药等）应谨遵医嘱。
3、在饮食上宜选择以下食物，有利于预防骨质疏松：牛奶、乳酪等奶制品，海带、海鱼、虾皮、紫菜等海产品，韭菜、芹菜、苋菜、小白菜等新鲜绿色蔬菜。
3号健康医疗文本（关键词）：
骨质疏松、合理日照、健身、锻炼、营养、预防、健康、药物、维生素、绿色蔬菜。
S400，针对下游分类任务对预训练语言模型进行改造，并利用含有不同尺度文本语义的数据集进行训练，得到融合不同尺度文本语义特征理解的文本类别分类器和文本安全等级分类器：
（1）文本分类
如图3b、3c所示，针对下游分类任务对预训练语言模型进行改造，并利用不同尺度的数据集进行训练，得到融合不同尺度文本语义特征理解的文本类别分类器的方法包括：
S4110，对于第一微型预训练语言模型albert-small-med、健康医疗领域第一中型预训练语言模型albert-middle-med、健康医疗领域第一大型预训练语言模型albert-big-med：
S4111，在第一微型预训练语言模型albert-small-med、健康医疗领域第一中型预训练语言模型albert-middle-med、健康医疗领域第一大型预训练语言模型albert-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第一微型文本分类模型albert-small-med-cls、健康医疗领域第一中型文本分类模型albert-middle-med-cls和健康医疗领域第一大型文本分类模型albert-big-med-cls；
S4112，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的分类标签分别送入健康医疗领域第一微型文本分类模型albert-small-med-cls、健康医疗领域第一中型文本分类模型albert-middle-med-cls和健康医疗领域第一大型文本分类模型albert-big-med-cls进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第一文本特征抽取器，分别为健康医疗领域第一微型文本特征抽取器albert-small-med-cls-extractor、健康医疗领域第一中型文本特征抽取器albert-middle-med-cls-extractor和健康医疗领域第一大型文本特征抽取器albert-big-med-cls-extractor；
S4113，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第一微型文本特征抽取器albert-small-med-cls-extractor、健康医疗领域第一中型文本特征抽取器albert-middle-med-cls-extractor、健康医疗领域第一大型文本特征抽取器albert-big-med-cls-extractor，经过每一个第一文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第一文本高维语义向量，分别为第一微型文本高维语义向量albert-small-med-cls-first-last-layer-average-pooling-embedding、第一中型文本高维语义向量albert-middle-med-cls-first-last-layer-average-pooling-embedding、第一大型文本高维语义向量albert-big-med-cls-first-last-layer-average-pooling-embedding；然后将3个第一文本高维语义向量进行叠加融合为健康医疗领域第一文本特征融合向量albert-med-cls-fuse-embedding；
S4114，基于CatBoost模型或者lightbgm模型建立第一集成学习分类器，将大量健康医疗领域第一文本特征融合向量albert-med-cls-fuse-embedding以及对应的分类标签送入第一集成学习分类器进行训练，训练完成后得到第一融合不同尺度文本语义特征理解的文本类别分类器albert-med-fuse-cls；
S4120，对于健康医疗领域第二微型预训练语言模型RoBERTa-small-med、健康医疗领域第二中型预训练语言模型RoBERTa-middle-med、健康医疗领域第二大型预训练语言模型RoBERTa-big-med：
S4121，在健康医疗领域第二微型预训练语言模型RoBERTa-small-med、健康医疗领域第二中型预训练语言模型RoBERTa-middle-med、健康医疗领域第二大型预训练语言模型RoBERTa-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第二微型文本分类模型RoBERTa-small-med-cls、健康医疗领域第二中型文本分类模型RoBERTa-middle-med-cls和健康医疗领域第二大型文本分类模型RoBERTa-big-med-cls；
S4122，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的分类标签分别送入健康医疗领域第二微型文本分类模型RoBERTa-small-med-cls、健康医疗领域第二中型文本分类模型RoBERTa-middle-med-cls和健康医疗领域第二大型文本分类模型RoBERTa-big-med-cls进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第二文本特征抽取器，分别为健康医疗领域第二微型文本特征抽取器RoBERTa-small-med-cls-extractor、健康医疗领域第二中型文本特征抽取器RoBERTa-middle-med-cls-extractor和健康医疗领域第二大型文本特征抽取器RoBERTa-big-med-cls-extractor；
S4123，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第二微型文本特征抽取器RoBERTa-small-med-cls-extractor、健康医疗领域第二中型文本特征抽取器RoBERTa-middle-med-cls-extractor和健康医疗领域第二大型文本特征抽取器RoBERTa-big-med-cls-extractor，经过每一个第二文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第二文本高维语义向量，分别为第二微型文本高维语义向量RoBERTa-small-med-cls-first-last-layer-average-pooling-embedding、第二中型文本高维语义向量RoBERTa-middle-med-cls-first-last-layer-average-pooling-embedding、第二大型文本高维语义向量RoBERTa-big-med-cls-first-last-layer-average-pooling-embedding；然后将3个第二文本高维语义向量进行叠加融合为健康医疗领域第二文本特征融合向量RoBERTa-med-cls-fuse-embedding；
S4124，基于CatBoost模型或者lightbgm模型建立第二集成学习分类器，将大量健康医疗领域第二文本特征融合向量RoBERTa-med-cls-fuse-embedding以及对应的分类标签送入第二集成学习分类器进行训练，训练完成后得到第二融合不同尺度文本语义特征理解的文本类别分类器RoBERTa-med-fuse-cls；
S4130，对于健康医疗领域第三微型预训练语言模型ERNIE-Doc-small-med、健康医疗领域第三中型预训练语言模型ERNIE-Doc-middle-med、健康医疗领域第三大型预训练语言模型ERNIE-Doc-big-med：
S4131，在健康医疗领域第三微型预训练语言模型ERNIE-Doc-small-med、健康医疗领域第三中型预训练语言模型ERNIE-Doc-middle-med、健康医疗领域第三大型预训练语言模型ERNIE-Doc-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第三微型文本分类模型ERNIE-Doc-small-med-cls、健康医疗领域第三中型文本分类模型ERNIE-Doc-middle-med-cls和健康医疗领域第三大型文本分类模型ERNIE-Doc-big-med-cls；
S4132，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的分类标签分别送入健康医疗领域第三微型文本分类模型ERNIE-Doc-small-med-cls、健康医疗领域第三中型文本分类模型ERNIE-Doc-middle-med-cls和健康医疗领域第三大型文本分类模型ERNIE-Doc-big-med-cls进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第三文本特征抽取器，分别为健康医疗领域第三微型文本特征抽取器ERNIE-Doc-small-med-cls-extractor、健康医疗领域第三中型文本特征抽取器ERNIE-Doc-middle-med-cls-extractor和健康医疗领域第三大型文本特征抽取器ERNIE-Doc-big-med-cls-extractor；
S4133，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第三微型文本特征抽取器ERNIE-Doc-small-med-cls-extractor、健康医疗领域第三中型文本特征抽取器ERNIE-Doc-middle-med-cls-extractor和健康医疗领域第三大型文本特征抽取器ERNIE-Doc-big-med-cls-extractor，经过每一个第三文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第三文本高维语义向量，分别为第三微型文本高维语义向量ERNIE-Doc-small-med-cls-first-last-layer-average-pooling-embedding、第三中型文本高维语义向量ERNIE-Doc-middle-med-cls-first-last-layer-average-pooling-embedding、第三大型文本高维语义向量ERNIE-Doc-big-med-cls-first-last-layer-average-pooling-embedding；然后将3个第三文本高维语义向量进行叠加融合为健康医疗领域第三文本特征融合向量ERNIE-Doc-med-cls-fuse-embedding；
S4134，基于CatBoost模型或者lightbgm模型建立第三集成学习分类器，将大量健康医疗领域第三文本特征融合向量ERNIE-Doc-med-cls-fuse-embedding以及对应的分类标签送入第三集成学习分类器进行训练，训练完成后得到第三融合不同尺度文本语义特征理解的文本类别分类器ERNIE-Doc-med-fuse-cls。
（2）安全等级分级
如图4b、4c所示，针对下游分类任务对语言模型进行改造，并利用不同尺度的数据集进行训练，得到融合不同尺度文本语义特征理解的文本安全等级分类器的方法包括：
S4210，对于第一微型预训练语言模型albert-small-med、健康医疗领域第一中型预训练语言模型albert-middle-med、健康医疗领域第一大型预训练语言模型albert-big-med：
S4211，在第一微型预训练语言模型albert-small-med、健康医疗领域第一中型预训练语言模型albert-middle-med、健康医疗领域第一大型预训练语言模型albert-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第一微型文本安全分级模型albert-small-med-level、健康医疗领域第一中型文本安全分级模型albert-middle-med-level和健康医疗领域第一大型文本安全分级模型albert-big-med-level；
S4212，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的安全等级标签分别送入健康医疗领域第一微型文本分类模型albert-small-med-cls、健康医疗领域第一中型文本分类模型albert-middle-med-cls和健康医疗领域第一大型文本分类模型albert-big-med-cls进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第一文本特征抽取器，分别为健康医疗领域第一微型文本特征抽取器albert-small-med-level-extractor、健康医疗领域第一中型文本特征抽取器albert-middle-med-level-extractor和健康医疗领域第一大型文本特征抽取器albert-big-med-level-extractor；
S4213，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第一微型文本特征抽取器albert-small-med-level-extractor、健康医疗领域第一中型文本特征抽取器albert-middle-med-level-extractor和健康医疗领域第一大型文本特征抽取器albert-big-med-level-extractor，经过每一个第一文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第一文本高维语义向量，分别为第一微型文本高维语义向量albert-small-med-level-first-last-layer-average-pooling-embedding、第一中型文本高维语义向量albert-middle-med-level-first-last-layer-average-pooling-embedding和第一大型文本高维语义向量albert-big-med-level-first-last-layer-average-pooling-embedding；然后将3个第一文本高维语义向量进行叠加融合为健康医疗领域第一文本特征融合向量albert-med-level-fuse-embedding；
S4214，建立第一支持向量机模型，将大量健康医疗领域第一文本特征融合向量albert-med-level-fuse-embedding以及对应的安全等级标签送入第一支持向量机模型进行训练，训练完成后得到第一融合不同尺度文本语义特征理解的文本安全等级分类器albert-med-fuse-level；
S4220，对于健康医疗领域第二微型预训练语言模型RoBERTa-small-med、健康医疗领域第二中型预训练语言模型RoBERTa-middle-med、健康医疗领域第二大型预训练语言模型RoBERTa-big-med：
S4221，在健康医疗领域第二微型预训练语言模型RoBERTa-small-med、健康医疗领域第二中型预训练语言模型RoBERTa-middle-med、健康医疗领域第二大型预训练语言模型RoBERTa-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第一微型文本安全分级模型RoBERTa-small-med-level、健康医疗领域第二中型文本安全分级模型RoBERTa-middle-med-level和健康医疗领域第二大型文本安全分级模型RoBERTa-big-med-level；
S4222，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的安全等级标签分别送入健康医疗领域第一微型文本安全分级模型RoBERTa-small-med-level、健康医疗领域第二中型文本安全分级模型RoBERTa-middle-med-level和健康医疗领域第二大型文本安全分级模型RoBERTa-big-med-level进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第二文本特征抽取器，分别为健康医疗领域第二微型文本特征抽取器RoBERTa-small-med-level-extractor、健康医疗领域第二中型文本特征抽取器RoBERTa-middle-med-level-extractor和健康医疗领域第二大型文本特征抽取器RoBERTa-big-med-level-extractor；
S4223，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第二微型文本特征抽取器RoBERTa-small-med-level-extractor、健康医疗领域第二中型文本特征抽取器RoBERTa-middle-med-level-extractor和健康医疗领域第二大型文本特征抽取器RoBERTa-big-med-level-extractor，经过每一个第二文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第二文本高维语义向量，分别为第二微型文本高维语义向量RoBERTa-small-med-level-first-last-layer-average-pooling-embedding、第二中型文本高维语义向量RoBERTa-middle-med-level-first-last-layer-average-pooling-embedding和第二大型文本高维语义向量RoBERTa-big-med-level-first-last-layer-average-pooling-embedding；然后将3个第二文本高维语义向量进行叠加融合为健康医疗领域第二文本特征融合向量RoBERTa-med-level-fuse-embedding；
S4224，建立第二支持向量机模型，将大量健康医疗领域第二文本特征融合向量RoBERTa-med-level-fuse-embedding以及对应的安全等级标签送入第二支持向量机模型进行训练，训练完成后得到第二融合不同尺度文本语义特征理解的文本安全等级分类器RoBERTa-med-fuse-level；
S4230，对于健康医疗领域第三微型预训练语言模型ERNIE-Doc-small-med、健康医疗领域第三中型预训练语言模型ERNIE-Doc-middle-med、健康医疗领域第三大型预训练语言模型ERNIE-Doc-big-med：
S4231，在健康医疗领域第三微型预训练语言模型ERNIE-Doc-small-med、健康医疗领域第三中型预训练语言模型ERNIE-Doc-middle-med、健康医疗领域第三大型预训练语言模型ERNIE-Doc-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第三微型文本安全分级模型ERNIE-Doc-small-med-level、健康医疗领域第三中型文本安全分级模型ERNIE-Doc-middle-med-level和健康医疗领域第三大型文本安全分级模型ERNIE-Doc-big-med-level；
S4232，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的安全等级标签分别送入健康医疗领域第三微型文本安全分级模型ERNIE-Doc-small-med-level、健康医疗领域第三中型文本安全分级模型ERNIE-Doc-middle-med-level和健康医疗领域第三大型文本安全分级模型ERNIE-Doc-big-med-level进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第三文本特征抽取器，分别为健康医疗领域第三微型文本特征抽取器ERNIE-Doc-small-med-level-extractor、健康医疗领域第三中型文本特征抽取器ERNIE-Doc-middle-med-level-extractor和健康医疗领域第三大型文本特征抽取器ERNIE-Doc-big-med-level-extractor；
S4233，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第三微型文本特征抽取器ERNIE-Doc-small-med-level-extractor、健康医疗领域第三中型文本特征抽取器ERNIE-Doc-middle-med-level-extractor和健康医疗领域第三大型文本特征抽取器ERNIE-Doc-big-med-level-extractor，经过每一个第三文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第三文本高维语义向量，分别为第三微型文本高维语义向量ERNIE-Doc-small-med-level-first-last-layer-average-pooling-embedding、第三中型文本高维语义向量ERNIE-Doc-middle-med-level-first-last-layer-average-pooling-embedding、第三大型文本高维语义向量ERNIE-Doc-big-med-level-first-last-layer-average-pooling-embedding；然后将3个第三文本高维语义向量进行叠加融合为健康医疗领域第三文本特征融合向量ERNIE-Doc-med-level-fuse-embedding；
S4234，建立第三支持向量机模型，将大量健康医疗领域第三文本特征融合向量ERNIE-Doc-med-level-fuse-embedding以及对应的安全等级标签送入第三支持向量机模型进行训练，训练完成后得到第三融合不同尺度文本语义特征理解的文本安全等级分类器ERNIE-Doc-med-fuse-level。
S500，利用融合不同尺度文本语义特征理解的文本类别分类器和文本安全等级分类器对健康医疗文本进行自动分类和安全等级自动分级：
（1）文本分类
步骤S500中利用融合不同尺度文本语义特征理解的文类别分类器对健康医疗文本进行自动分类的方法包括：
S511，对第一融合不同尺度文本语义特征理解的文本类别分类器albert-med-fuse-cls、第二融合不同尺度文本语义特征理解的文本类别分类器RoBERTa-med-fuse-cls和第三融合不同尺度文本语义特征理解的文本类别分类器ERNIE-Doc-med-fuse-cls均设置权重为1/3；
S512，将待识别健康医疗文本抽取文本摘要和关键词，然后将关键词、文本摘要和文本全文均送入第一融合不同尺度文本语义特征理解的文本类别分类器albert-med-fuse-cls、第二融合不同尺度文本语义特征理解的文本类别分类器RoBERTa-med-fuse-cls和第三融合不同尺度文本语义特征理解的文本类别分类器ERNIE-Doc-med-fuse-cls，对待识别健康医疗文本进行自动分类，得到3个文本类别分类器的分类结果；
S513，如果3个文本类别分类器的分类结果一致，则认为该待识别健康医疗文本的分类结果为文本类别分类器的分类结果；如果有两个文本类别分类器的分类结果一致，则认为该健康医疗文本的分类结果为这两个文本类别分类器的分类结果；如果三个文本类别分类器识别的分类结果均不一致，则以3个文本类别分类器的分类结果中概率值最高的分类结果为该健康医疗文本的分类结果。
（2）安全等级分级
步骤S500中利用融合不同尺度文本语义特征理解的文本安全等级分类器对健康医疗文本进行安全等级自动分级的方法包括：
S521，对第一融合不同尺度文本语义特征理解的文本安全等级分类器albert-med-fuse-level、第二融合不同尺度文本语义特征理解的文本安全等级分类器RoBERTa-med-fuse-level和第三融合不同尺度文本语义特征理解的文本安全等级分类器ERNIE-Doc-med-fuse-level均设置权重为1/3；
S522，将待识别健康医疗文本抽取文本摘要和关键词，然后将关键词、文本摘要和文本全文均送入第一融合不同尺度文本语义特征理解的文本安全等级分类器albert-med-fuse-level、第二融合不同尺度文本语义特征理解的文本安全等级分类器RoBERTa-med-fuse-level和第三融合不同尺度文本语义特征理解的文本安全等级分类器ERNIE-Doc-med-fuse-level，对待识别健康医疗文本进行安全等级自动分级，得到3个文本安全等级分类器的安全等级分级结果；
S523，如果3个文本安全等级分类器的安全等级分级结果一致，则认为该待识别健康医疗文本的安全等级分级结果为文本安全等级分类器的安全等级分级结果；如果有两个文本安全等级分类器的安全等级分级结果一致，则认为该健康医疗文本的安全等级分级结果为这两个文本安全等级分类器的安全等级分级结果；如果三个文本安全等级分类器识别的安全等级分级结果均不一致，则以3个文本安全等级分类器的安全等级分级结果中概率值最高的安全等级分级结果为该健康医疗文本的安全等级分级结果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种健康医疗文本自动分类和安全等级自动分级方法，其特征在于，包括如下步骤：
S100，分别基于albert神经网络模型、RoBERTa神经网络模型和ERNIE-Doc神经网络模型构造不同尺度文本语义特征理解的预训练模型；
S200，对构造的预训练模型分别进行两次预训练，得到针对健康医疗领域的预训练语言模型；
S300，通过对实际健康医疗业务中所用的健康医疗文本进行人工标注得到含有不同尺度文本语义的数据集；
S400，针对下游分类任务对预训练语言模型进行改造，并利用含有不同尺度文本语义的数据集进行训练，得到融合不同尺度文本语义特征理解的文本类别分类器和文本安全等级分类器；
S500，利用融合不同尺度文本语义特征理解的文本类别分类器和文本安全等级分类器对健康医疗文本进行自动分类和安全等级自动分级；
步骤S100中分别基于albert神经网络模型、RoBERTa神经网络模型和ERNIE-Doc神经网络模型构造不同尺度文本语义特征理解的预训练模型的方法包括：
分别通过对albert神经网络模型、RoBERTa神经网络模型和ERNIE-Doc神经网络模型的特征抽取层进行改造，得到不同尺度文本语义特征理解的预训练模型：通过对albert神经网络模型的特征抽取层进行改造，得到3个不同尺度的预训练模型，分别为第一微型预训练模型albert-small、第一中型预训练模型albert-middle和第一大型预训练模型albert-big；通过对RoBERTa神经网络模型的特征抽取层进行改造，得到3个不同尺度的预训练模型，分别为第二微型预训练模型RoBERTa-small、第二中型预训练模型RoBERTa-middle和第二大型预训练模型RoBERTa-big；通过对ERNIE-Doc神经网络模型的特征抽取层进行改造，得到3个不同尺度的预训练模型，分别为第三微型预训练模型ERNIE-Doc-small、第三中型预训练模型ERNIE-Doc-middle和第三大型预训练模型ERNIE-Doc-big；
所述第一微型预训练模型albert-small、第一中型预训练模型albert-middle和第一大型预训练模型albert-big含有不同数量的特征抽取层和自注意力头；所述第二微型预训练模型RoBERTa-small、第二中型预训练模型RoBERTa-middle和第二大型预训练模型RoBERTa-big含有不同数量的特征抽取层和自注意力头；所述第三微型预训练模型ERNIE-Doc-small、第三中型预训练模型ERNIE-Doc-middle和第三大型预训练模型ERNIE-Doc-big含有不同数量的特征抽取层和自注意力头；所述第一微型预训练模型albert-small、第二微型预训练模型RoBERTa-small和第三微型预训练模型ERNIE-Doc-small含有相同数量的特征抽取层，所述第一中型预训练模型albert-small、第二中型预训练模型RoBERTa-small和第三中型预训练模型ERNIE-Doc-small含有相同数量的特征抽取层，所述第一大型预训练模型albert-small、第二大型预训练模型RoBERTa-small和第三大型预训练模型ERNIE-Doc-small含有相同数量的特征抽取层；
步骤S200中对构造的预训练模型分别进行两次预训练，得到针对健康医疗领域的预训练语言模型的方法包括：
S201，使用大规模通用语料对不同尺度文本语义特征理解的预训练模型分别进行第一次无监督学习预训练，训练任务为在每一句话中随机遮住一定比例的字然后让预训练模型对遮住的字进行预测，从而让各个预训练模型学习通用语料知识和语义关系；
S202，使用大规模健康医疗文本，并采用第一次无监督学习预训练的方法，对各个预训练模型进行第二次无监督学习预训练，得到9个训练好的预训练语言模型，分别命名为健康医疗领域第一微型预训练语言模型albert-small-med、健康医疗领域第一中型预训练语言模型albert-middle-med、健康医疗领域第一大型预训练语言模型albert-big-med，健康医疗领域第二微型预训练语言模型RoBERTa-small-med、健康医疗领域第二中型预训练语言模型RoBERTa-middle-med、健康医疗领域第二大型预训练语言模型RoBERTa-big-med，健康医疗领域第三微型预训练语言模型ERNIE-Doc-small-med、健康医疗领域第三中型预训练语言模型ERNIE-Doc-middle-med、健康医疗领域第三大型预训练语言模型ERNIE-Doc-big-med；
S400中针对下游分类任务对预训练语言模型进行改造，并利用含有不同尺度文本语义的数据集进行训练，得到融合不同尺度文本语义特征理解的文本类别分类器的方法包括：
S4110，对于第一微型预训练语言模型albert-small-med、健康医疗领域第一中型预训练语言模型albert-middle-med、健康医疗领域第一大型预训练语言模型albert-big-med：
S4111，在第一微型预训练语言模型albert-small-med、健康医疗领域第一中型预训练语言模型albert-middle-med、健康医疗领域第一大型预训练语言模型albert-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第一微型文本分类模型albert-small-med-cls、健康医疗领域第一中型文本分类模型albert-middle-med-cls和健康医疗领域第一大型文本分类模型albert-big-med-cls；
S4112，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的分类标签分别送入健康医疗领域第一微型文本分类模型albert-small-med-cls、健康医疗领域第一中型文本分类模型albert-middle-med-cls和健康医疗领域第一大型文本分类模型albert-big-med-cls进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第一文本特征抽取器，分别为健康医疗领域第一微型文本特征抽取器albert-small-med-cls-extractor、健康医疗领域第一中型文本特征抽取器albert-middle-med-cls-extractor和健康医疗领域第一大型文本特征抽取器albert-big-med-cls-extractor；
S4113，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第一微型文本特征抽取器albert-small-med-cls-extractor、健康医疗领域第一中型文本特征抽取器albert-middle-med-cls-extractor、健康医疗领域第一大型文本特征抽取器albert-big-med-cls-extractor，经过每一个第一文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第一文本高维语义向量，分别为第一微型文本高维语义向量albert-small-med-cls-first-last-layer-average-pooling-embedding、第一中型文本高维语义向量albert-middle-med-cls-first-last-layer-average-pooling-embedding、第一大型文本高维语义向量albert-big-med-cls-first-last-layer-average-pooling-embedding；然后将3个第一文本高维语义向量进行叠加融合为健康医疗领域第一文本特征融合向量albert-med-cls-fuse-embedding；
S4114，基于CatBoost模型或者lightbgm模型建立第一集成学习分类器，将大量健康医疗领域第一文本特征融合向量albert-med-cls-fuse-embedding以及对应的分类标签送入第一集成学习分类器进行训练，训练完成后得到第一融合不同尺度文本语义特征理解的文本类别分类器albert-med-fuse-cls；
S4120，对于健康医疗领域第二微型预训练语言模型RoBERTa-small-med、健康医疗领域第二中型预训练语言模型RoBERTa-middle-med、健康医疗领域第二大型预训练语言模型RoBERTa-big-med：
S4121，在健康医疗领域第二微型预训练语言模型RoBERTa-small-med、健康医疗领域第二中型预训练语言模型RoBERTa-middle-med、健康医疗领域第二大型预训练语言模型RoBERTa-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第二微型文本分类模型RoBERTa-small-med-cls、健康医疗领域第二中型文本分类模型RoBERTa-middle-med-cls和健康医疗领域第二大型文本分类模型RoBERTa-big-med-cls；
S4122，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的分类标签分别送入健康医疗领域第二微型文本分类模型RoBERTa-small-med-cls、健康医疗领域第二中型文本分类模型RoBERTa-middle-med-cls和健康医疗领域第二大型文本分类模型RoBERTa-big-med-cls进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第二文本特征抽取器，分别为健康医疗领域第二微型文本特征抽取器RoBERTa-small-med-cls-extractor、健康医疗领域第二中型文本特征抽取器RoBERTa-middle-med-cls-extractor和健康医疗领域第二大型文本特征抽取器RoBERTa-big-med-cls-extractor；
S4123，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第二微型文本特征抽取器RoBERTa-small-med-cls-extractor、健康医疗领域第二中型文本特征抽取器RoBERTa-middle-med-cls-extractor和健康医疗领域第二大型文本特征抽取器RoBERTa-big-med-cls-extractor，经过每一个第二文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第二文本高维语义向量，分别为第二微型文本高维语义向量RoBERTa-small-med-cls-first-last-layer-average-pooling-embedding、第二中型文本高维语义向量RoBERTa-middle-med-cls-first-last-layer-average-pooling-embedding、第二大型文本高维语义向量RoBERTa-big-med-cls-first-last-layer-average-pooling-embedding；然后将3个第二文本高维语义向量进行叠加融合为健康医疗领域第二文本特征融合向量RoBERTa-med-cls-fuse-embedding；
S4124，基于CatBoost模型或者lightbgm模型建立第二集成学习分类器，将大量健康医疗领域第二文本特征融合向量RoBERTa-med-cls-fuse-embedding以及对应的分类标签送入第二集成学习分类器进行训练，训练完成后得到第二融合不同尺度文本语义特征理解的文本类别分类器RoBERTa-med-fuse-cls；
S4130，对于健康医疗领域第三微型预训练语言模型ERNIE-Doc-small-med、健康医疗领域第三中型预训练语言模型ERNIE-Doc-middle-med、健康医疗领域第三大型预训练语言模型ERNIE-Doc-big-med：
S4131，在健康医疗领域第三微型预训练语言模型ERNIE-Doc-small-med、健康医疗领域第三中型预训练语言模型ERNIE-Doc-middle-med、健康医疗领域第三大型预训练语言模型ERNIE-Doc-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第三微型文本分类模型ERNIE-Doc-small-med-cls、健康医疗领域第三中型文本分类模型ERNIE-Doc-middle-med-cls和健康医疗领域第三大型文本分类模型ERNIE-Doc-big-med-cls；
S4132，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的分类标签分别送入健康医疗领域第三微型文本分类模型ERNIE-Doc-small-med-cls、健康医疗领域第三中型文本分类模型ERNIE-Doc-middle-med-cls和健康医疗领域第三大型文本分类模型ERNIE-Doc-big-med-cls进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第三文本特征抽取器，分别为健康医疗领域第三微型文本特征抽取器ERNIE-Doc-small-med-cls-extractor、健康医疗领域第三中型文本特征抽取器ERNIE-Doc-middle-med-cls-extractor和健康医疗领域第三大型文本特征抽取器ERNIE-Doc-big-med-cls-extractor；
S4133，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第三微型文本特征抽取器ERNIE-Doc-small-med-cls-extractor、健康医疗领域第三中型文本特征抽取器ERNIE-Doc-middle-med-cls-extractor和健康医疗领域第三大型文本特征抽取器ERNIE-Doc-big-med-cls-extractor，经过每一个第三文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第三文本高维语义向量，分别为第三微型文本高维语义向量ERNIE-Doc-small-med-cls-first-last-layer-average-pooling-embedding、第三中型文本高维语义向量ERNIE-Doc-middle-med-cls-first-last-layer-average-pooling-embedding、第三大型文本高维语义向量ERNIE-Doc-big-med-cls-first-last-layer-average-pooling-embedding；然后将3个第三文本高维语义向量进行叠加融合为健康医疗领域第三文本特征融合向量ERNIE-Doc-med-cls-fuse-embedding；
S4134，基于CatBoost模型或者lightbgm模型建立第三集成学习分类器，将大量健康医疗领域第三文本特征融合向量ERNIE-Doc-med-cls-fuse-embedding以及对应的分类标签送入第三集成学习分类器进行训练，训练完成后得到第三融合不同尺度文本语义特征理解的文本类别分类器ERNIE-Doc-med-fuse-cls。
2.根据权利要求1所述的健康医疗文本自动分类和安全等级自动分级方法，其特征在于，在第二次无监督学习预训练的过程中，需要通过正则化和降低学习率的方法，避免预训练的过程中产生知识灾难遗忘的情况。
3.根据权利要求2所述的健康医疗文本自动分类和安全等级自动分级方法，其特征在于，步骤S300中通过对实际健康医疗业务中所用的健康医疗文本进行人工标注得到含有不同尺度文本语义的数据集的方法包括：
S301，收集实际健康医疗业务中所用的健康医疗文本，记为1号健康医疗文本；对1号健康医疗文本进行分类和安全等级的人工标注，将1号健康医疗文本和标注的分类和安全等级标签存储为第三尺度数据集；
S302，对1号健康医疗文本全文进行摘要抽取，将抽取的摘要作为记为2号健康医疗文本；对2号健康医疗文本全文进行分类和安全等级的人工标注，将2号健康医疗文本和标注的分类和安全等级标签存储为第二尺度数据集；
S303，对2号健康医疗文本进行关键词提取，将提取的关键词作为3号健康医疗文本；对3号健康医疗文本进行分类和安全等级的人工标注，将3号健康医疗文本和标注的分类和安全等级标签存储为第一尺度数据集。
4.根据权利要求3所述的健康医疗文本自动分类和安全等级自动分级方法，其特征在于，步骤S500中利用融合不同尺度文本语义特征理解的文类别分类器对健康医疗文本进行自动分类的方法包括：
S511，对第一融合不同尺度文本语义特征理解的文本类别分类器albert-med-fuse-cls、第二融合不同尺度文本语义特征理解的文本类别分类器RoBERTa-med-fuse-cls和第三融合不同尺度文本语义特征理解的文本类别分类器ERNIE-Doc-med-fuse-cls均设置权重为1/3；
S512，将待识别健康医疗文本抽取文本摘要和关键词，然后将关键词、文本摘要和文本全文均送入第一融合不同尺度文本语义特征理解的文本类别分类器albert-med-fuse-cls、第二融合不同尺度文本语义特征理解的文本类别分类器RoBERTa-med-fuse-cls和第三融合不同尺度文本语义特征理解的文本类别分类器ERNIE-Doc-med-fuse-cls，对待识别健康医疗文本进行自动分类，得到3个文本类别分类器的分类结果；
S513，如果3个文本类别分类器的分类结果一致，则认为该待识别健康医疗文本的分类结果为文本类别分类器的分类结果；如果有两个文本类别分类器的分类结果一致，则认为该健康医疗文本的分类结果为这两个文本类别分类器的分类结果；如果三个文本类别分类器识别的分类结果均不一致，则以3个文本类别分类器的分类结果中概率值最高的分类结果为该健康医疗文本的分类结果。
5.根据权利要求3所述的健康医疗文本自动分类和安全等级自动分级方法，其特征在于，S400中针对下游分类任务对预训练语言模型进行改造，并利用含有不同尺度文本语义的数据集进行训练，得到融合不同尺度文本语义特征理解的文本安全等级分类器的方法包括：
S4210，对于第一微型预训练语言模型albert-small-med、健康医疗领域第一中型预训练语言模型albert-middle-med、健康医疗领域第一大型预训练语言模型albert-big-med：
S4211，在第一微型预训练语言模型albert-small-med、健康医疗领域第一中型预训练语言模型albert-middle-med、健康医疗领域第一大型预训练语言模型albert-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第一微型文本安全分级模型albert-small-med-level、健康医疗领域第一中型文本安全分级模型albert-middle-med-level和健康医疗领域第一大型文本安全分级模型albert-big-med-level；
S4212，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的安全等级标签分别送入健康医疗领域第一微型文本分类模型albert-small-med-cls、健康医疗领域第一中型文本分类模型albert-middle-med-cls和健康医疗领域第一大型文本分类模型albert-big-med-cls进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第一文本特征抽取器，分别为健康医疗领域第一微型文本特征抽取器albert-small-med-level-extractor、健康医疗领域第一中型文本特征抽取器albert-middle-med-level-extractor和健康医疗领域第一大型文本特征抽取器albert-big-med-level-extractor；
S4213，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第一微型文本特征抽取器albert-small-med-level-extractor、健康医疗领域第一中型文本特征抽取器albert-middle-med-level-extractor和健康医疗领域第一大型文本特征抽取器albert-big-med-level-extractor，经过每一个第一文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第一文本高维语义向量，分别为第一微型文本高维语义向量albert-small-med-level-first-last-layer-average-pooling-embedding、第一中型文本高维语义向量albert-middle-med-level-first-last-layer-average-pooling-embedding和第一大型文本高维语义向量albert-big-med-level-first-last-layer-average-pooling-embedding；然后将3个第一文本高维语义向量进行叠加融合为健康医疗领域第一文本特征融合向量albert-med-level-fuse-embedding；
S4214，建立第一支持向量机模型，将大量健康医疗领域第一文本特征融合向量albert-med-level-fuse-embedding以及对应的安全等级标签送入第一支持向量机模型进行训练，训练完成后得到第一融合不同尺度文本语义特征理解的文本安全等级分类器albert-med-fuse-level；
S4220，对于健康医疗领域第二微型预训练语言模型RoBERTa-small-med、健康医疗领域第二中型预训练语言模型RoBERTa-middle-med、健康医疗领域第二大型预训练语言模型RoBERTa-big-med：
S4221，在健康医疗领域第二微型预训练语言模型RoBERTa-small-med、健康医疗领域第二中型预训练语言模型RoBERTa-middle-med、健康医疗领域第二大型预训练语言模型RoBERTa-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第一微型文本安全分级模型RoBERTa-small-med-level、健康医疗领域第二中型文本安全分级模型RoBERTa-middle-med-level和健康医疗领域第二大型文本安全分级模型RoBERTa-big-med-level；
S4222，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的安全等级标签分别送入健康医疗领域第一微型文本安全分级模型RoBERTa-small-med-level、健康医疗领域第二中型文本安全分级模型RoBERTa-middle-med-level和健康医疗领域第二大型文本安全分级模型RoBERTa-big-med-level进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第二文本特征抽取器，分别为健康医疗领域第二微型文本特征抽取器RoBERTa-small-med-level-extractor、健康医疗领域第二中型文本特征抽取器RoBERTa-middle-med-level-extractor和健康医疗领域第二大型文本特征抽取器RoBERTa-big-med-level-extractor；
S4223，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第二微型文本特征抽取器RoBERTa-small-med-level-extractor、健康医疗领域第二中型文本特征抽取器RoBERTa-middle-med-level-extractor和健康医疗领域第二大型文本特征抽取器RoBERTa-big-med-level-extractor，经过每一个第二文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第二文本高维语义向量，分别为第二微型文本高维语义向量RoBERTa-small-med-level-first-last-layer-average-pooling-embedding、第二中型文本高维语义向量RoBERTa-middle-med-level-first-last-layer-average-pooling-embedding和第二大型文本高维语义向量RoBERTa-big-med-level-first-last-layer-average-pooling-embedding；然后将3个第二文本高维语义向量进行叠加融合为健康医疗领域第二文本特征融合向量RoBERTa-med-level-fuse-embedding；
S4224，建立第二支持向量机模型，将大量健康医疗领域第二文本特征融合向量RoBERTa-med-level-fuse-embedding以及对应的安全等级标签送入第二支持向量机模型进行训练，训练完成后得到第二融合不同尺度文本语义特征理解的文本安全等级分类器RoBERTa-med-fuse-level；
S4230，对于健康医疗领域第三微型预训练语言模型ERNIE-Doc-small-med、健康医疗领域第三中型预训练语言模型ERNIE-Doc-middle-med、健康医疗领域第三大型预训练语言模型ERNIE-Doc-big-med：
S4231，在健康医疗领域第三微型预训练语言模型ERNIE-Doc-small-med、健康医疗领域第三中型预训练语言模型ERNIE-Doc-middle-med、健康医疗领域第三大型预训练语言模型ERNIE-Doc-big-med的最后一层分别接入softmax神经网络层，分别得到健康医疗领域第三微型文本安全分级模型ERNIE-Doc-small-med-level、健康医疗领域第三中型文本安全分级模型ERNIE-Doc-middle-med-level和健康医疗领域第三大型文本安全分级模型ERNIE-Doc-big-med-level；
S4232，将第一尺度数据集、第二尺度数据集和第三尺度数据集中的文本和对应的安全等级标签分别送入健康医疗领域第三微型文本安全分级模型ERNIE-Doc-small-med-level、健康医疗领域第三中型文本安全分级模型ERNIE-Doc-middle-med-level和健康医疗领域第三大型文本安全分级模型ERNIE-Doc-big-med-level进行训练，当训练完成后去除三个模型最后一层的softmax神经网络层，得到3个第三文本特征抽取器，分别为健康医疗领域第三微型文本特征抽取器ERNIE-Doc-small-med-level-extractor、健康医疗领域第三中型文本特征抽取器ERNIE-Doc-middle-med-level-extractor和健康医疗领域第三大型文本特征抽取器ERNIE-Doc-big-med-level-extractor；
S4233，将第一尺度数据集、第二尺度数据集和第三尺度数据集中来自同一篇健康医疗文本的三篇文本分别送入健康医疗领域第三微型文本特征抽取器ERNIE-Doc-small-med-level-extractor、健康医疗领域第三中型文本特征抽取器ERNIE-Doc-middle-med-level-extractor和健康医疗领域第三大型文本特征抽取器ERNIE-Doc-big-med-level-extractor，经过每一个第三文本特征抽取器的第一层和最后一层所有字的向量表示求平均，得到3个第三文本高维语义向量，分别为第三微型文本高维语义向量ERNIE-Doc-small-med-level-first-last-layer-average-pooling-embedding、第三中型文本高维语义向量ERNIE-Doc-middle-med-level-first-last-layer-average-pooling-embedding、第三大型文本高维语义向量ERNIE-Doc-big-med-level-first-last-layer-average-pooling-embedding；然后将3个第三文本高维语义向量进行叠加融合为健康医疗领域第三文本特征融合向量ERNIE-Doc-med-level-fuse-embedding；
S4234，建立第三支持向量机模型，将大量健康医疗领域第三文本特征融合向量ERNIE-Doc-med-level-fuse-embedding以及对应的安全等级标签送入第三支持向量机模型进行训练，训练完成后得到第三融合不同尺度文本语义特征理解的文本安全等级分类器ERNIE-Doc-med-fuse-level。
6.根据权利要求5所述的健康医疗文本自动分类和安全等级自动分级方法，其特征在于，步骤S500中利用融合不同尺度文本语义特征理解的文本安全等级分类器对健康医疗文本进行安全等级自动分级的方法包括：
S521，对第一融合不同尺度文本语义特征理解的文本安全等级分类器albert-med-fuse-level、第二融合不同尺度文本语义特征理解的文本安全等级分类器RoBERTa-med-fuse-level和第三融合不同尺度文本语义特征理解的文本安全等级分类器ERNIE-Doc-med-fuse-level均设置权重为1/3；
S522，将待识别健康医疗文本抽取文本摘要和关键词，然后将关键词、文本摘要和文本全文均送入第一融合不同尺度文本语义特征理解的文本安全等级分类器albert-med-fuse-level、第二融合不同尺度文本语义特征理解的文本安全等级分类器RoBERTa-med-fuse-level和第三融合不同尺度文本语义特征理解的文本安全等级分类器ERNIE-Doc-med-fuse-level，对待识别健康医疗文本进行安全等级自动分级，得到3个文本安全等级分类器的安全等级分级结果；
S523，如果3个文本安全等级分类器的安全等级分级结果一致，则认为该待识别健康医疗文本的安全等级分级结果为文本安全等级分类器的安全等级分级结果；如果有两个文本安全等级分类器的安全等级分级结果一致，则认为该健康医疗文本的安全等级分级结果为这两个文本安全等级分类器的安全等级分级结果；如果三个文本安全等级分类器识别的安全等级分级结果均不一致，则以3个文本安全等级分类器的安全等级分级结果中概率值最高的安全等级分级结果为该健康医疗文本的安全等级分级结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210638765.2A CN114722208B (zh) | 2022-06-08 | 2022-06-08 | 一种健康医疗文本自动分类和安全等级自动分级方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210638765.2A CN114722208B (zh) | 2022-06-08 | 2022-06-08 | 一种健康医疗文本自动分类和安全等级自动分级方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114722208A CN114722208A (zh) | 2022-07-08 |
| CN114722208B true CN114722208B (zh) | 2022-11-01 |
Family
ID=82232687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210638765.2A Active CN114722208B (zh) | 2022-06-08 | 2022-06-08 | 一种健康医疗文本自动分类和安全等级自动分级方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114722208B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115129826B (zh) * | 2022-09-01 | 2022-11-22 | 国网智能电网研究院有限公司 | 电力领域模型预训练方法、精调方法、装置及设备 |
| CN116484262B (zh) * | 2023-05-06 | 2023-12-08 | 南通大学 | 一种基于文本分类对纺织设备故障辅助处理方法 |
| CN117763607A (zh) * | 2023-12-20 | 2024-03-26 | 北京汉勃科技有限公司 | 基于大模型的文件安全定级方法、系统、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6233365B1 (en) * | 1996-05-27 | 2001-05-15 | Sharp Kabushiki Kaisha | Image-processing method |
| CN105894088A (zh) * | 2016-03-25 | 2016-08-24 | 苏州赫博特医疗信息科技有限公司 | 基于深度学习及分布式语义特征医学信息抽取系统及方法 |
| CN106127255A (zh) * | 2016-06-29 | 2016-11-16 | 深圳先进技术研究院 | 一种癌症数字病理细胞图像的分类方法及系统 |
| US10007865B1 (en) * | 2017-10-16 | 2018-06-26 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same |
| CN108304573A (zh) * | 2018-02-24 | 2018-07-20 | 江苏测联空间大数据应用研究中心有限公司 | 基于卷积神经网络和监督核哈希的目标检索方法 |
| CN108460089A (zh) * | 2018-01-23 | 2018-08-28 | 哈尔滨理工大学 | 基于Attention神经网络的多元特征融合中文文本分类方法 |
| CN113780423A (zh) * | 2021-09-13 | 2021-12-10 | 天津科技大学 | 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 |
| CN113920395A (zh) * | 2021-09-30 | 2022-01-11 | 北京熵简科技有限公司 | 一种面向少样本领域的轻量级半监督模型框架 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11914674B2 (en) * | 2011-09-24 | 2024-02-27 | Z Advanced Computing, Inc. | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
| CN109062901B (zh) * | 2018-08-14 | 2019-10-11 | 第四范式（北京）技术有限公司 | 神经网络训练方法和装置及命名实体识别方法和装置 |
| US11526808B2 (en) * | 2019-05-29 | 2022-12-13 | The Board Of Trustees Of The Leland Stanford Junior University | Machine learning based generation of ontology for structural and functional mapping |
| CN110298391B (zh) * | 2019-06-12 | 2023-05-02 | 同济大学 | 一种基于小样本的迭代式增量对话意图类别识别方法 |
| US20210279577A1 (en) * | 2020-03-04 | 2021-09-09 | Seva Development, LLC | Testing of Computing Processes Using Artificial Intelligence |
| CN111612081B (zh) * | 2020-05-25 | 2024-04-02 | 深圳前海微众银行股份有限公司 | 识别模型的训练方法、装置、设备及存储介质 |
| CN112102177B (zh) * | 2020-07-27 | 2022-06-21 | 中山大学 | 基于压缩与激励机制神经网络的图像去模糊方法 |
| CN112214599B (zh) * | 2020-10-20 | 2022-06-24 | 电子科技大学 | 基于统计学和预训练语言模型的多标签文本分类方法 |
-
2022
- 2022-06-08 CN CN202210638765.2A patent/CN114722208B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6233365B1 (en) * | 1996-05-27 | 2001-05-15 | Sharp Kabushiki Kaisha | Image-processing method |
| CN105894088A (zh) * | 2016-03-25 | 2016-08-24 | 苏州赫博特医疗信息科技有限公司 | 基于深度学习及分布式语义特征医学信息抽取系统及方法 |
| CN106127255A (zh) * | 2016-06-29 | 2016-11-16 | 深圳先进技术研究院 | 一种癌症数字病理细胞图像的分类方法及系统 |
| US10007865B1 (en) * | 2017-10-16 | 2018-06-26 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same |
| CN108460089A (zh) * | 2018-01-23 | 2018-08-28 | 哈尔滨理工大学 | 基于Attention神经网络的多元特征融合中文文本分类方法 |
| CN108304573A (zh) * | 2018-02-24 | 2018-07-20 | 江苏测联空间大数据应用研究中心有限公司 | 基于卷积神经网络和监督核哈希的目标检索方法 |
| CN113780423A (zh) * | 2021-09-13 | 2021-12-10 | 天津科技大学 | 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 |
| CN113920395A (zh) * | 2021-09-30 | 2022-01-11 | 北京熵简科技有限公司 | 一种面向少样本领域的轻量级半监督模型框架 |
Non-Patent Citations (2)
| Title |
|---|
| A Survey on Text Classification Algorithms: From Text to Predictions;Andrea Gasparetto等;《Information》;20220211;第13卷(第2期);66-72页 * |
| IVOCT图像易损斑块自动检测方法研究;张艳珍;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20210115;E060-222 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114722208A (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114722208B (zh) | 一种健康医疗文本自动分类和安全等级自动分级方法 | |
| Nastase et al. | Semantic relations between nominals | |
| Zhou et al. | Fuzzy deep belief networks for semi-supervised sentiment classification | |
| Feng et al. | Enhanced sentiment labeling and implicit aspect identification by integration of deep convolution neural network and sequential algorithm | |
| Liu et al. | A new method for knowledge and information management domain ontology graph model | |
| Dima et al. | Automatic noun compound interpretation using deep neural networks and word embeddings | |
| Liu et al. | Concept placement using BERT trained by transforming and summarizing biomedical ontology structure | |
| da Silva Júnior et al. | A roadmap toward the automatic composition of systematic literature reviews | |
| Verkijk et al. | MedRoBERTa. nl: a language model for Dutch electronic health records | |
| Frermann et al. | Incremental bayesian category learning from natural language | |
| Hosseini et al. | Deep text clustering using stacked AutoEncoder | |
| Shrestha | Development of a language model for medical domain | |
| CN116383430A (zh) | 知识图谱构建方法、装置、设备及存储介质 | |
| Budi et al. | Understanding the meanings of citations using sentiment, role, and citation function classifications | |
| Arslan et al. | Semantic taxonomy enrichment to improve business text classification for dynamic environments | |
| Melnikov et al. | On usage of machine learning for natural language processing tasks as illustrated by educational content mining | |
| Shi et al. | Attention-based ingredient phrase parser | |
| Surkova et al. | Word embedding and cognitive linguistic models in text classification tasks | |
| Montenegro et al. | The hope model architecture: a novel approach to pregnancy information retrieval based on conversational agents | |
| Ma et al. | Event extraction of Chinese electronic medical records based on BiGRU-CRF | |
| Tang et al. | Construction of machine learning model based on text mining and ranking of meituan merchants | |
| Zhang et al. | Categorizing emails using machine learning with textual features | |
| Polpinij | Ontology-based knowledge discovery from unstructured and semi-structured text | |
| Manna et al. | Question-answering and recommendation system on cooking recipes | |
| Dessi | Knowledge extraction from textual resources through semantic web tools and advanced machine learning algorithms for applications in various domains |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |