CN113312481A - 基于区块链的文本分类方法、装置、设备以及存储介质 - Google Patents
基于区块链的文本分类方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN113312481A CN113312481A CN202110587693.9A CN202110587693A CN113312481A CN 113312481 A CN113312481 A CN 113312481A CN 202110587693 A CN202110587693 A CN 202110587693A CN 113312481 A CN113312481 A CN 113312481A
- Authority
- CN
- China
- Prior art keywords
- category
- text
- classified
- block chain
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012216 screening Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 59
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000001174 ascending effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于区块链的文本分类方法、装置、设备以及存储介质，所述方法包括：通过分类区块链节点接收待分类文本；提取所述待分类文本中的关键词；根据所述关键词，从多个所述类别区块链节点中筛选出多个目标类别区块链节点；通过所述分类区块链节点从每个所述目标类别区块链节点抽取至少一个类别样本；其中，每个所述类别区块链节点保存有对应类别的多个类别样本；计算所述类别样本和所述待分类文本的相似度；将相似度最高的目标类别样本所在的类别作为所述待分类文本的目标类别。本发明的有益效果：不需要其他的额外的类别区块链节点的数据，可以极大的减小区块链的量，使文本分类更快，且更加合理。
Description
技术领域
本发明涉及人工智能领域，特别涉及一种基于区块链的文本分类方法、装置、设备以及存储介质。
背景技术
目前，对待分类文本进行分类的方式，一般都是通过模型对待分类文本进行分类，但是随着时间的发展，各种网络词汇的快速普及，会赋予相同的词以不同的含义，而模型不断地训练迭代更新，模型对于文本中的词汇与类别之间的耦联度会不断地增大，因此，很难纠正模型中的参数，通过文本识别模型对待分类文本识别具有一定的局限性。
发明内容
本发明的主要目的为提供一种基于区块链的文本分类方法、装置、设备以及存储介质，旨在解决现有的文本识别模型对待分类文本识别具有一定的局限性的问题。
本发明提供了一种基于区块链的文本分类方法，所述区块链包括分类区块链节点和类别区块链节点，所述方法包括：
通过分类区块链节点接收待分类文本；
提取所述待分类文本中的关键词；
根据所述关键词，从多个所述类别区块链节点中筛选出多个目标类别区块链节点；
通过所述分类区块链节点从每个所述目标类别区块链节点抽取至少一个类别样本；其中，每个所述类别区块链节点保存有对应类别的多个类别样本；
计算所述类别样本和所述待分类文本的相似度；
将相似度最高的目标类别样本所在的类别作为所述待分类文本的目标类别。
本发明还提供了一种基于区块链的文本分类装置，所述区块链包括分类区块链节点和类别区块链节点，所述装置包括：
接收模块，用于通过分类区块链节点接收待分类文本；
提取模块，用于提取所述待分类文本中的关键词；
筛选模块，用于根据所述关键词，从多个所述类别区块链节点中筛选出多个目标类别区块链节点；
抽取模块，用于通过所述分类区块链节点从每个所述目标类别区块链节点抽取至少一个类别样本；其中，每个所述类别区块链节点保存有对应类别的多个类别样本；
计算模块，用于计算所述类别样本和所述待分类文本的相似度；
类别确定模块，用于将相似度最高的目标类别样本所在的类别作为所述待分类文本的目标类别。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本发明的有益效果：通过设置区块链对各个类别样本进行抽取的方式，使文本与类别之间的耦连度不会一直增大，并且根据提取的关键词从多个类别区块链节点中筛选出多个目标类别区块链节点，即不需要其他的额外的类别区块链节点的数据，可以极大的减小区块链的量，使文本分类更快，且更加合理。
附图说明
图1是本发明一实施例的一种基于区块链的文本分类方法的流程示意图；
图2是本发明一实施例的一种基于区块链的文本分类装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后等)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变，所述的连接可以是直接连接，也可以是间接连接。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图1，本发明提出一种基于区块链的文本分类方法，包括：
S1：通过分类区块链节点接收待分类文本；
S2：提取所述待分类文本中的关键词；
S3：根据所述关键词在所述区块链中，从多个类别区块链节点中筛选出多个目标类别区块链节点；其中，所述接收区块链节点和所述类别区块链节点均为所述区块链中的区块链节点；
S4：通过所述分类区块链节点从每个所述目标类别区块链节点抽取至少一个类别样本；其中，每个所述类别区块链节点保存有对应类别的多个类别样本；
S5：计算所述类别样本和所述待分类文本的相似度；
S6：将相似度最高的目标类别样本所在的类别作为所述待分类文本的目标类别。
如上述步骤S1所述，通过分类区块链节点接收待分类文本。其中，分类区块链节点是区块链中的一个节点，可以与外部设备进行数据连接，以接收外部设备传输的待分类文本。另外，接收后的待分类文本，应当保存在区块链中，以便于后续再进行提取验算。
如上述步骤S2所述，提取所述待分类文本中的关键词，其中，关键词为一个文本中能够体现出文本类别的词，因此，可以先将关键词进行提取，对类别进行初步的甄别。另外，提取关键词的方式可以是基于统计特征的关键词提取、基于词图模型的关键词提取、基于主题模型的关键词提取，三者提取方式的任意一种，也可以是其他的关键词提取方式。
如上述步骤S3所述，根据所述关键词在所述区块链中，从多个类别区块链节点中筛选出多个目标类别区块链节点。其中，所述接收区块链节点和所述类别区块链节点均为所述区块链中的区块链节点；需要说明的是，各个类别区块链节点中保存有对应类别的类别样本，各个区块链节点中的类别样本也可以进行实时更新。其中，筛选的方式，可以是检测关键词在各个类别区块链节点中个类别样本中出现的次数，也可以是直接检测关键词与各个类别中的相关程度，该相关程度可以根据文本模型训练得到，即文本模型训练各个关键词与类别之间的相关程度，后续只需将关键词输入至该文本模型中，即可得到。
如上述步骤S4所述，通过所述分类区块链节点从每个所述目标类别区块链节点抽取至少一个类别样本。其中，每个所述类别区块链节点保存有对应类别的多个类别样本。为了使结果更加精确，可以抽取多个类别样本进行计算，但是抽取多个类别样本进行计算的方式会增加区块链的工作量，因此，优选抽取2-3个类别样本进行计算。另外，进行分类的载体是分类区块链节点，因此通过分类区块链节点获取相应的类别样本以便于进行数据的集中计算，并且待分类文本也存储在分类区块链节点中。当然在一些实施例中，也可以是待分类区块链节点将待分类文本传递给对应的各个目标类别区块链节点，由各个目标类别区块链节点进行计算相似度后，再回传给分类区块链节点。
如上述步骤S5所述，计算所述类别样本和所述待分类文本的相似度。通过关键词进行事先认定后，可以抽取对应的类别样本再次进行精确的核对，即计算类别样本和待分类文本之间的相似度，其中，计算相似度的方式后续有详细说明，此处不再赘述。
如上述步骤S6所述，将相似度最高的目标类别样本所在的类别作为所述待分类文本的目标类别。根据计算的结果，可以选取相似度最高的目标类别样本所在的类别作为待分类文本的类别，从而实现对待分类文本的分类。
在一个实施例中，所述计算所述类别样本和所述待分类文本的相似度的步骤S5，包括：
S501：将所述待分类文本进行向量化处理，得到对应的文本向量，以及将各个所述类别样本进行向量化处理，得到各个所述目标类别区块链节点各自对应的类别向量；
S502：根据预设的相似度计算公式计算各个类别向量与所述文本向量的向量相似度，并将所述向量相似度记为所述类别样本和所述待分类文本的相似度。
如上述步骤S501-S502所述，实现了对相似度的计算，其中，将所述待分类文本进行向量化处理，可以得到对应的文本向量，以及将各个所述类别样本进行向量化处理，得到各个所述目标类别区块链节点各自对应的类别向量。其中，向量化处理的方式可以是将待分类文本以及各个文本向量输入至预设的向量机中，例如支持向量机。从而得到对应的文本向量和类别向量，然后根据预设的相似度计算公式计算各个类别向量与文本向量之间的相似度。其中，需要说明的是，类别向量的维度与文本向量的维度需要保持一致，以便于计算相似度。其中，计算相似度的方式不做限定，例如可以通过余弦相似度计算公式进行计算。
在一个实施例中，所述根据预设的相似度计算公式计算各个类别向量与所述文本向量的向量相似度，并将所述向量相似度记为所述类别样本和所述待分类文本的相似度的步骤S502之前，还包括：
S5011：检测各类别向量的维度与所述文本向量的维度是否一致；
S5012：将维度不一致的所述类别向量进行降维处理或升维处理，使维度不一致的所述类别向量与所述文本向量的维度保持一致。
如上述步骤S5011-S5012所述，实现了对类别向量的处理，以后续便于计算相似度，其中，可以先对各个类别向量的维度进行检测，将维度大的类别向量进行降维处理，将维度小的类别向量进行升维处理，使维度不一致的类别向量和文本向量的维度保持一致。其中，升维和降维方式可以是映射的方式，例如升维可以通过交互式特征升维、多项式特征升维，而降维可以通过缺失值比率、低方差滤波、高相关滤波、随机森林/组合树等。
在一个实施例中，所述计算所述类别样本和所述待分类文本的相似度的步骤S5，包括：
S511：将抽取的所述类别样本按照对应的类别，输入至相似度比较模型中进行训练，得到训练后的相似度比较模型；
S512：将所述待分类文本输入至所述相似度比较模型中，得到所述待分类文本与各个类别的所述相似度。
如上述步骤S511-S512所述，实现了对相似度的计算，其中，相似度比较模型包括Encoder(编码部分)、Induction(一个开源的、高性能的Java MVC Web开发框架)以及Relation(计算待分类文本与各个类别的相似度)。其中，对相似度比较模型训练的具体方式为，现将抽取的类别样本按照对应的类别，输入至Encoder中，得到各个类别样本对应的向量表示，即类别向量，然后从各个类别区块链节点中获取各个类别样本与对应类别的相关程度，其中，该相关程度事先保存在各个类别区块链节点中，各个类别区块链节点在录入类别样本时，同时也会记录与该类别样本的相关程度。若一个类别中提取了多个类别样本，此时可以对类别样本的相关程度进行转化，可以根据dij＝softmax(bij)，其中bij表示第i个类别第j个类别样本对应的相关程度，dij表示相关程度对应的权重，同时Encoder对各个类别样本进行向量化，得到对应的eij，表示第i个类别第j个类别样本对应的类别样本向量，根据公式
其中，W_s是所有类别共享参数转换矩阵，根据公式
以及公式
从而得到模型参数ci，将模型参数ci输入至相似度比较模型(Relation部分)中，然后再将待分类文本输入模型中，即可得到待分类文本与各个类别之间的相似度。
在一个实施例中，所述提取所述待分类文本中的关键词的步骤S2，包括：
S201：将所述待分类文本输入至预设的分词工具中，得到各个分词词语以及各个所述分词词语对应的个数；
S202：根据所述分词词语以及所述分词词语所对应的个数，通过词频计算公式计算各个所述分词词语的词频；
S203：根据公式
计算各个所述分词词语对应的逆向文件频率；其中，D为所述待分类文本中的句子总数，{j：ti∈dj}表示所述待分类文本中包含所述分词词语ti的句子数量，IDF表示所述逆向文件频率；
S204：根据公式W＝IDF*TF计算各个分词词语的权重；其中TF表示所述词频；
S205：选取所述权重最大的所述分词词语作为所述关键词。
如上述步骤S201所述，将待分类文本输入至预设的分词工具中，得到各个分词词语以及各个所述分词词语对应的个数。其中，预设的分词工具可以是jieba、SnowNLP、THULAC、NLPIR中的任意一种，将待分类文本输入，即可得到对应的分词词语，然后再将各个分词词语进行统计，即得到各个分词词语所对应的个数。
如上述步骤S202所述，可以根据词频计算公式计算各个分词词语的词频。其中词频计算公式为
其中，f(xi)表示第i个词所对应的个数，m表示待分类文档的词的总个数，F(xi)表示第i个词对应的词频。
如上述步骤S203-S205所述，然后根据公式计算各个分词词语对应的逆向文本频率，其中逆向文本频率为考虑到单词区别不同类别的能力，一般认为一个单词出现的文本频数越小，其区别不同类别文本的能力越大，即其逆向文本频率也越大，因此，通过引入IDF，来计算各个分词词语的权重，并选取权重最大的分词词语作为关键词，从而可以提高自动选取关键词的准确性，使文本分析更加的顺畅。
在一个实施例中，所述根据所述关键词在所述区块链中，从多个类别区块链节点中筛选出多个目标类别区块链节点的步骤S3，包括：
S301：将所述关键词发送至各个所述类别区块链节点中进行关联度检测；
S302：接收各个所述类别区块链节点基于所述关键词反馈的关联度值；
S303：根据各所述关联度值选取预设个数的所述目标类别区块链节点。
如上述步骤S301-S303所述，实现了对目标类别区块链节点的筛选。为了避免分类区块链节点的运算量过大，可以将关键词发送给各个类别区块链节点，即将关键词传入至区块链网络中，各个类别区块链节点计算与该关键词的关联度值，其中，计算的方式可以是通过模型得到，例如直接检测关键词与各个类别中的相关程度，该相关程度可以根据文本模型训练得到，即文本模型训练各个关键词与类别之间的相关程度，后续只需将关键词输入至各个类别区块链节点中对应的文本模型中，即可得到对应的关联度值。
在一个实施例中，所述通过分类区块链节点接收待分类文本的步骤S1之前，还包括：
S001：与用户终端建立数据连接，并接收用户终端发送的文本分类协议；
S002：判断所述文本分类协议是否满足预设的协议要求；
S003：若满足所述协议要求，则所述分类区块链节点根据所述文本分类协议生成智能合约并同步到所述区块链。
如上述步骤S001-S003所述，实现了从各个区块链节点中调取对应的类别样本。即用户需要发送一个文本分类协议，该文本分类协议中包含了用户终端需要进行文本分类的信息，当分类区块链节点确认文本分类协议无误后，并生成对应的智能合约存入至区块链中，各个类别区块链节点根据该智能合约配合分类区块链节点对待分类文本进行分类，该智能合约一方面可以对待分类文本进行记录，另外也可以实现分类区块链节点从其他类别区块链节点中获取数据，避免区块链中没有此项功能而导致的无法获取数据。
参照图2，本发明还提供了一种基于区块链的文本分类装置，所述区块链包括分类区块链节点和类别区块链节点，所述装置包括：
接收模块10，用于通过分类区块链节点接收待分类文本；
提取模块20，用于提取所述待分类文本中的关键词；
筛选模块30，用于根据所述关键词，从多个所述类别区块链节点中筛选出多个目标类别区块链节点；
抽取模块40，用于通过所述分类区块链节点从每个所述目标类别区块链节点抽取至少一个类别样本；其中，每个所述类别区块链节点保存有对应类别的多个类别样本；
计算模块50，用于计算所述类别样本和所述待分类文本的相似度；
类别确定模块60，用于将相似度最高的目标类别样本所在的类别作为所述待分类文本的目标类别。
在一个实施例中，所述计算模块50，包括：
向量化处理子模块，用于将所述待分类文本进行向量化处理，得到对应的文本向量，以及将各个所述类别样本进行向量化处理，得到各个所述目标类别区块链节点各自对应的类别向量；
相似度计算子模块，用于根据预设的相似度计算公式计算各个类别向量与所述文本向量的向量相似度，并将所述向量相似度记为所述类别样本和所述待分类文本的相似度。
本发明的有益效果：通过设置区块链对各个类别样本进行抽取的方式，使文本与类别之间的耦连度不会一直增大，并且根据提取的关键词从多个类别区块链节点中筛选出多个目标类别区块链节点，即不需要其他的额外的类别区块链节点的数据，可以极大的减小区块链的量，使文本分类更快，且更加合理。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各种类别样本等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现上述任一实施例所述的基于区块链的文本分类方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一实施例所述的基于区块链的文本分类方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM一多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种基于区块链的文本分类方法，其特征在于，所述区块链包括分类区块链节点和类别区块链节点，所述方法包括：
通过分类区块链节点接收待分类文本；
提取所述待分类文本中的关键词；
根据所述关键词，从多个所述类别区块链节点中筛选出多个目标类别区块链节点；
通过所述分类区块链节点从每个所述目标类别区块链节点抽取至少一个类别样本；其中，每个所述类别区块链节点保存有对应类别的多个类别样本；
计算所述类别样本和所述待分类文本的相似度；
将相似度最高的目标类别样本所在的类别作为所述待分类文本的目标类别。
2.如权利要求1所述的基于区块链的文本分类方法，其特征在于，所述计算所述类别样本和所述待分类文本的相似度的步骤，包括：
将所述待分类文本进行向量化处理，得到对应的文本向量，以及将各个所述类别样本进行向量化处理，得到各个所述目标类别区块链节点各自对应的类别向量；
根据预设的相似度计算公式计算各个类别向量与所述文本向量的向量相似度，并将所述向量相似度记为所述类别样本和所述待分类文本的相似度。
3.如权利要求2所述的基于区块链的文本分类方法，其特征在于，所述根据预设的相似度计算公式计算各个类别向量与所述文本向量的向量相似度，并将所述向量相似度记为所述类别样本和所述待分类文本的相似度的步骤之前，还包括：
检测各类别向量的维度与所述文本向量的维度是否一致；
将维度不一致的所述类别向量进行降维处理或升维处理，使维度不一致的所述类别向量与所述文本向量的维度保持一致。
4.如权利要求1所述的基于区块链的文本分类方法，其特征在于，所述提取所述待分类文本中的关键词的步骤，包括：
将所述待分类文本输入至预设的分词工具中，得到各个分词词语以及各个所述分词词语对应的个数；
根据所述分词词语以及所述分词词语所对应的个数，通过词频计算公式计算各个所述分词词语的词频；
根据公式
计算各个所述分词词语对应的逆向文件频率；其中，D为所述待分类文本中的句子总数，{j：ti∈dj}表示所述待分类文本中包含所述分词词语ti的句子数量，IDF表示所述逆向文件频率，ti表示第i个分词词语，dj为第j个具有ti的句子；
根据公式W＝IDF*TF计算各个分词词语的权重；其中TF表示所述词频；
选取所述权重最大的所述分词词语作为所述关键词。
5.如权利要求1所述的基于区块链的文本分类方法，其特征在于，所述根据所述关键词在所述区块链中，从多个类别区块链节点中筛选出多个目标类别区块链节点的步骤，包括：
将所述关键词发送至各个所述类别区块链节点中进行关联度检测；
接收各个所述类别区块链节点基于所述关键词反馈的关联度值；
根据各所述关联度值选取预设个数的所述目标类别区块链节点。
6.如权利要求1所述的基于区块链的文本分类方法，其特征在于，所述通过分类区块链节点接收待分类文本的步骤之前，还包括：
与用户终端建立数据连接，并接收用户终端发送的文本分类协议；
判断所述文本分类协议是否满足预设的协议要求；
若满足所述协议要求，则所述分类区块链节点根据所述文本分类协议生成智能合约并同步到所述区块链。
7.一种基于区块链的文本分类装置，其特征在于，所述区块链包括分类区块链节点和类别区块链节点，所述装置包括：
接收模块，用于通过分类区块链节点接收待分类文本；
提取模块，用于提取所述待分类文本中的关键词；
筛选模块，用于根据所述关键词，从多个所述类别区块链节点中筛选出多个目标类别区块链节点；
抽取模块，用于通过所述分类区块链节点从每个所述目标类别区块链节点抽取至少一个类别样本；其中，每个所述类别区块链节点保存有对应类别的多个类别样本；
计算模块，用于计算所述类别样本和所述待分类文本的相似度；
类别确定模块，用于将相似度最高的目标类别样本所在的类别作为所述待分类文本的目标类别。
8.如权利要求7所述的基于区块链的文本分类装置，其特征在于，所述计算模块，包括：
向量化处理子模块，用于将所述待分类文本进行向量化处理，得到对应的文本向量，以及将各个所述类别样本进行向量化处理，得到各个所述目标类别区块链节点各自对应的类别向量；
相似度计算子模块，用于根据预设的相似度计算公式计算各个类别向量与所述文本向量的向量相似度，并将所述向量相似度记为所述类别样本和所述待分类文本的相似度。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110587693.9A CN113312481A (zh) | 2021-05-27 | 2021-05-27 | 基于区块链的文本分类方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110587693.9A CN113312481A (zh) | 2021-05-27 | 2021-05-27 | 基于区块链的文本分类方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113312481A true CN113312481A (zh) | 2021-08-27 |
Family
ID=77375637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110587693.9A Pending CN113312481A (zh) | 2021-05-27 | 2021-05-27 | 基于区块链的文本分类方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113312481A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114401117A (zh) * | 2021-12-27 | 2022-04-26 | 浙江数秦科技有限公司 | 基于区块链的账户登录验证系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019080863A1 (zh) * | 2017-10-26 | 2019-05-02 | 福建亿榕信息技术有限公司 | 文本情感分类方法、存储介质及计算机 |
| CN110019782A (zh) * | 2017-09-26 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 用于输出文本类别的方法和装置 |
| CN110427404A (zh) * | 2019-08-01 | 2019-11-08 | 上海计算机软件技术开发中心 | 一种区块链跨链数据检索系统 |
| WO2020107835A1 (zh) * | 2018-11-26 | 2020-06-04 | 平安科技（深圳）有限公司 | 一种样本数据处理方法及装置 |
| CN111753079A (zh) * | 2019-03-11 | 2020-10-09 | 阿里巴巴集团控股有限公司 | 文本分类方法、装置、电子设备以及计算机可读存储介质 |
| CN112579781A (zh) * | 2020-12-28 | 2021-03-30 | 平安银行股份有限公司 | 文本归类方法、装置、电子设备及介质 |
-
2021
- 2021-05-27 CN CN202110587693.9A patent/CN113312481A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110019782A (zh) * | 2017-09-26 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 用于输出文本类别的方法和装置 |
| WO2019080863A1 (zh) * | 2017-10-26 | 2019-05-02 | 福建亿榕信息技术有限公司 | 文本情感分类方法、存储介质及计算机 |
| WO2020107835A1 (zh) * | 2018-11-26 | 2020-06-04 | 平安科技（深圳）有限公司 | 一种样本数据处理方法及装置 |
| CN111753079A (zh) * | 2019-03-11 | 2020-10-09 | 阿里巴巴集团控股有限公司 | 文本分类方法、装置、电子设备以及计算机可读存储介质 |
| CN110427404A (zh) * | 2019-08-01 | 2019-11-08 | 上海计算机软件技术开发中心 | 一种区块链跨链数据检索系统 |
| CN112579781A (zh) * | 2020-12-28 | 2021-03-30 | 平安银行股份有限公司 | 文本归类方法、装置、电子设备及介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114401117A (zh) * | 2021-12-27 | 2022-04-26 | 浙江数秦科技有限公司 | 基于区块链的账户登录验证系统 |
| CN114401117B (zh) * | 2021-12-27 | 2024-03-19 | 浙江数秦科技有限公司 | 基于区块链的账户登录验证系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111506722B (zh) | 基于深度学习技术的知识图谱问答方法、装置及设备 | |
| CN111897673B (zh) | 运维故障根因识别方法、装置、计算机设备和存储介质 | |
| CN112612894B (zh) | 意图识别模型的训练方法、装置、计算机设备和存储介质 | |
| CN112016279B (zh) | 电子病历结构化方法、装置、计算机设备和存储介质 | |
| CN112464117A (zh) | 请求处理方法、装置、计算机设备和存储介质 | |
| CN112836061A (zh) | 智能推荐的方法、装置以及计算机设备 | |
| CN113688221A (zh) | 基于模型的话术推荐方法、装置、计算机设备和存储介质 | |
| CN111506710A (zh) | 基于谣言预测模型的信息发送方法、装置和计算机设备 | |
| CN112163131A (zh) | 业务数据查询平台的配置方法、装置、计算机设备及介质 | |
| CN111901554A (zh) | 基于语义聚类的通话通道构建方法、装置和计算机设备 | |
| CN113672654B (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
| CN113177109A (zh) | 文本的弱标注方法、装置、设备以及存储介质 | |
| CN113435517B (zh) | 异常数据点输出方法、装置、计算机设备和存储介质 | |
| CN113312481A (zh) | 基于区块链的文本分类方法、装置、设备以及存储介质 | |
| CN113051372A (zh) | 材料数据的处理方法、装置、计算机设备和存储介质 | |
| CN113204619A (zh) | 基于自然语言处理的语句补全方法、装置、设备及介质 | |
| CN112685502A (zh) | 基于物联网的数据获取方法、装置、设备以及存储介质 | |
| CN112364136A (zh) | 关键词生成方法、装置、设备及存储介质 | |
| CN112036151A (zh) | 基因疾病关系知识库构建方法、装置和计算机设备 | |
| CN114416875B (zh) | 基于区块链的任务处理方法、装置、设备以及存储介质 | |
| CN113064997B (zh) | 基于bert模型的意图分析方法、装置、设备及介质 | |
| CN113360644B (zh) | 文本模型再训练的方法、装置、设备及存储介质 | |
| CN113177396B (zh) | 报表生成方法、装置、计算机设备和存储介质 | |
| CN114398183A (zh) | 基于区块链的任务分配方法、装置、设备以及存储介质 | |
| CN113077185B (zh) | 工作量评估方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |