CN116522908A - 指挥控制系统消息管理方法及装置 - Google Patents
指挥控制系统消息管理方法及装置 Download PDFInfo
- Publication number
- CN116522908A CN116522908A CN202310806723.XA CN202310806723A CN116522908A CN 116522908 A CN116522908 A CN 116522908A CN 202310806723 A CN202310806723 A CN 202310806723A CN 116522908 A CN116522908 A CN 116522908A
- Authority
- CN
- China
- Prior art keywords
- word
- sentence
- learning model
- subset
- structured text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 24
- 238000012216 screening Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000013439 planning Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本申请公开了一种指挥控制系统消息管理方法及装置,该方法包括:将清洗后的文本数据转换为结构化文本,并对结构化文本迭代执行模型训练步骤直至学习模型的评估结果满足预设阈值;将满足预设阈值的学习模型集成于指挥控制系统内;模型训练步骤包括:将结构化文本进行分词并生成词句合集;统计词句合集中各词句子集的出现频次,并根据出现频次筛选词句子集以保留强词句子集;根据强词句子集的出现频次构建多维向量;将多维向量作为训练样本训练学习模型,并对训练后的学习模型进行评估。本申请能够对整个系统的评价指标中的文本数据进行规范化与专业化地管理,还能够提高系统评估的可信性、真实性与科学性。
Description
技术领域
本申请涉及无人机集群规划技术领域,尤其涉及一种指挥控制系统消息管理方法及装置。
背景技术
无人机在航拍、农业植保、快递运输、灾难救援、地理测绘、资源勘探、电力巡检、军事作战等领域发挥着无可替代的作用。由于单个无人机的作业能力有限,人们已经不再满足于使用单一的无人机,开始关注于无人机集群的协同应用。无人机集群是以集群智能控制算法、协同感知、协同任务规划及地面指挥系统构成的以群控制为特征的整体群组。无人机集群具有成本低、环境自适应能力强与抗毁性高的特点,可执行复杂多样的任务。无人机集群在执行任务中依靠数据链与地面指挥控制系统和其他无人机建立通信,并以此传输业务数据和任务信息,维持无人机集群组织架构和整体任务执行。
在无人机集群规划中,文本数据处理对无人机集群的性能评估发挥着决定性的作用。现有技术研究的关注点主要在于无人机集群整体的性能指标评估,从全局的角度查找问题、分析问题、建立评估指标,但忽略了无人机集群中各个组成要素对整个系统评估指标的影响。
发明内容
本申请实施例通过提供一种指挥控制系统消息管理方法,解决了现有技术中对无人机集群的性能评估主要集中在无人机集群整体的性能指标,忽略了无人机集群中各个组成要素对整个系统评估指标的影响的问题。实现了将无人机集群各组成要素之间的文本数据进行规范化处理,并以此提高无人机集群与指挥控制系统的可靠性。
第一方面,本申请实施例提供了一种指挥控制系统消息管理方法,包括:将清洗后的文本数据转换为结构化文本,并对所述结构化文本迭代执行模型训练步骤直至学习模型的评估结果满足预设阈值;将满足所述预设阈值的所述学习模型集成于指挥控制系统内;所述模型训练步骤包括:将所述结构化文本进行分词并生成词句合集;统计所述词句合集中各词句子集的出现频次,并根据所述出现频次筛选所述词句子集以保留强词句子集;根据所述强词句子集的所述出现频次构建多维向量;将所述多维向量作为训练样本训练所述学习模型,并对训练后的所述学习模型进行评估。
结合第一方面,在第一种可能的实现方式中,所述将所述结构化文本进行分词并生成词句合集,包括:根据所述结构化文本构建前缀词典,根据所述前缀词典将所述结构化文本转换为树形结构生成文本树;根据所述文本树构建所述结构化文本的有向无环图,并计算所述有向无环图中各条路径的联合分布概率;将所述联合分布概率最大的路径作为最终的分词结果,并为所述分词结果匹配词性生成词句合集。
结合第一方面,在第二种可能的实现方式中,所述将所述结构化文本进行分词并生成词句合集,包括:迭代执行匹配词句步骤直至所述结构化文本的长度为零;所述匹配词句步骤包括:将所述结构化文本与对应的专业词典进行匹配;若匹配成功,则将匹配词性后的所述结构化文本作为所述词句合集中的所述词句子集,并去掉所述结构化文本末尾的一个字;若匹配不成功,则去掉所述结构化文本末尾的一个字。
结合第一方面的第一种或第二种可能的实现方式,在第三种可能的实现方式中,在将所述结构化文本进行分词并生成词句合集后,还包括:去除所述词句合集中的虚词。
结合第一方面,在第四种可能的实现方式中,所述根据所述出现频次筛选所述词句子集以保留强词句子集,包括:迭代执行评分步骤直至所述词句合集为空;所述评分步骤包括:提取所述词句合集中的任一所述词句子集与所有所述强词句子集作为评分样本加入所述学习模型;对所述学习模型进行评分,并判断所述评分是否满足预设标准线;若所述学习模型的所述评分满足所述预设标准线,则将所述评分样本中最后加入的所述词句子集作为所述强词句子集;若所述学习模型的所述评分不满足所述预设标准线,则舍弃所述评分样本中最后加入的所述词句子集。
结合第一方面,在第五种可能的实现方式中,所述根据所述强词句子集的所述出现频次构建多维向量,通过以下公式实现:
;式中,T代表所述多维向量,代表所述词句合集的
第n个所述强词句子集,代表第n个所述强词句子集的词性。
结合第一方面,在第六种可能的实现方式中,所述对训练后的所述学习模型进行评估,包括:计算所述学习模型的准确率与精确率,并将所述准确率与所述精确率作为所述评估结果;判断所述评估结果是否满足所述预设阈值。
第二方面,本申请实施例提供了一种指挥控制系统消息管理装置,包括:转换模块,用于将清洗后的文本数据转换为结构化文本,并对所述结构化文本迭代执行模型训练步骤直至学习模型的评估结果满足预设阈值;集成模块,用于将满足所述预设阈值的所述学习模型集成于指挥控制系统内;词句合集模块,用于将所述结构化文本进行分词并生成词句合集;统计模块,用于统计所述词句合集中各词句子集的出现频次,并根据所述出现频次筛选所述词句子集以保留强词句子集;构建模块,用于根据所述强词句子集的所述出现频次构建多维向量;评估模块,用于将所述多维向量作为训练样本训练所述学习模型,并对训练后的所述学习模型进行评估。
结合第二方面,在第一种可能的实现方式中,所述将所述结构化文本进行分词并生成词句合集,包括:根据所述结构化文本构建前缀词典,根据所述前缀词典将所述结构化文本转换为树形结构生成文本树;根据所述文本树构建所述结构化文本的有向无环图,并计算所述有向无环图中各条路径的联合分布概率;将所述联合分布概率最大的路径作为最终的分词结果,并为所述分词结果匹配词性生成词句合集。
结合第二方面,在第二种可能的实现方式中,所述将所述结构化文本进行分词并生成词句合集,包括:迭代执行匹配词句步骤直至所述结构化文本的长度为零;所述匹配词句步骤包括:将所述结构化文本与对应的专业词典进行匹配;若匹配成功,则将匹配词性后的所述结构化文本作为所述词句合集中的所述词句子集,并去掉所述结构化文本末尾的一个字;若匹配不成功,则去掉所述结构化文本末尾的一个字。
结合第二方面的第一种或第二种可能的实现方式,在第三种可能的实现方式中,在将所述结构化文本进行分词并生成词句合集后,还包括:去除所述词句合集中的虚词。
结合第二方面,在第四种可能的实现方式中,所述根据所述出现频次筛选所述词句子集以保留强词句子集,包括:迭代执行评分步骤直至所述词句合集为空;所述评分步骤包括:提取所述词句合集中的任一所述词句子集与所有所述强词句子集作为评分样本加入所述学习模型;对所述学习模型进行评分,并判断所述评分是否满足预设标准线;若所述学习模型的所述评分满足所述预设标准线,则将所述评分样本中最后加入的所述词句子集作为所述强词句子集;若所述学习模型的所述评分不满足所述预设标准线,则舍弃所述评分样本中最后加入的所述词句子集。
结合第二方面,在第五种可能的实现方式中,所述根据所述强词句子集的所述出现频次构建多维向量,通过以下公式实现:
;式中,T代表所述多维向量,代表所述词句合集的
第n个所述强词句子集,代表第n个所述强词句子集的词性。
结合第一方面,在第六种可能的实现方式中,所述对训练后的所述学习模型进行评估,包括:计算所述学习模型的准确率与精确率,并将所述准确率与所述精确率作为所述评估结果;判断所述评估结果是否满足所述预设阈值。
第三方面,本申请实施例提供了一种设备,所述设备包括:处理器;用于存储处理器可执行指令的存储器;所述处理器执行所述可执行指令时,实现如第一方面或第一方面任一种可能实现的方式所述的方法。
第四方面,本申请实施例提供了一种非易失性计算机可读存储介质,所述非易失性计算机可读存储介质包括用于存储计算机程序或指令,当该计算机程序或指令被执行时,使如第一方面或第一方面任一种可能实现的方式所述的方法被实现。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请实施例通过清洗文本数据并将其转换为结构化文本,能够将杂乱、不标准的文本数据处理为规范的结构化文本;通过对词句子集进行筛选保留强词句子集,能够减少无效信息的干扰,提高学习模型的训练效率;通过学习模型对文本数据进行规范化管理。有效解决了现有技术书中对无人机集群的评估是基于无人机集群整体的性能指标进行评估,而忽略了无人机集群中各个组成要素对整个系统评估指标的影响的问题。进而实现了一种指挥控制系统消息管理方法,能够对整个系统的评价指标中的文本数据进行规范化与专业化地管理,还能够提高系统评估的可信性、真实性与科学性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的指挥控制系统消息管理方法的流程图;
图2为本申请实施例提供的将结构化文本进行分词并生成词句合集的一种实施方式的流程图;
图3为本申请实施例提供的将结构化文本进行分词并生成词句合集的另一种实施方式的流程图;
图4为本申请实施例提供的根据出现频次筛选词句子集以保留强词句子集的流程图;
图5为本申请实施例提供的指挥控制系统消息管理装置的结构示意图;
图6为本申请实施例提供的一种文本树的实例图;
图7为本申请实施例提供的一种有向无环图的实例图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下对本申请实施例涉及的部分技术做出说明,以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了部分对公知功能和结构的描述。
图1是本申请实施例提供的指挥控制系统消息管理方法的流程图,包括步骤101至步骤107。其中,图1仅为本申请实施例示出的一种执行顺序,并不代表指挥控制系统消息管理方法的唯一执行顺序,在可实现最终结果的情况下,图1所示出的步骤可以被并列或颠倒执行。
步骤101:将清洗后的文本数据转换为结构化文本。具体地,获取文本数据,并对文本数据进行清洗。去除文本数据中的杂质、无序文本、非标准术语、无意义文本与噪音,并去除文本数据中的标点符号,生成规范、标准的结构化文本。在本申请实施例中,分别从无人机集群的各个组成要素中获取文本数据,并挖掘无人机集群规划领域相关的文本数据,去除其中的噪音与标点符号。此外,在获取文本数据时,选取与指挥控制系统相关的语料库,语料库的丰富度决定了文本数据的完成性。
步骤102:将结构化文本进行分词并生成词句合集。具体地,对步骤101获取的结构化文本进行分词,生成多个词语与短句,并为词语与短句匹配词性后作为词句子集,进而构成词句合集。
步骤102的一种实施方式如图2所示,包括步骤201至步骤203,具体如下。
步骤201:根据结构化文本构建前缀词典,根据前缀词典将结构化文本转换为树形结构生成文本树。具体如图6所示,根据结构化文本逐字构建前缀词典,分别以不同的第一个前缀词为根节点,后续词为子节点构建文本树。在本申请实施例中,为文本树的每条路径增加叶子节点。叶子节点中依次填充数字“1、2、3、4、5”。将所有以前缀词为根节点的文本树连接在同一个根节点“Root”上,生成一个包含所有前缀词与后续词的文本树。叶子节点“1、2、3、4、5”与根节点“Root”没有实际作用,是仅为了便于理解文本树而设置的节点,在实际应用中可以去掉各数字对应的叶子节点或根节点。文本树的每条路径上的子节点都能构成一个词语或短句。
步骤202:根据文本树构建结构化文本的有向无环图,并计算有向无环图中各条路径的联合分布概率。具体如图7所示,以文本树的根节点与叶子节点以外的每一个节点为一条边,并在每条边的两侧各添加一个序号点,相邻的边共享同一个序号点。序号点的编号从零开始,依次递增,并将文本树中每条路径的节点在有向无环图中对应的边的左右两侧的序号点依次用曲线连接,构成有向无环图作为结构化文本的切分图。在本申请实施例中,通过上述步骤生成的有向无环图最终获得两条路径,每条路径对应不同的切分方案。路径1:0-2-3-5-7-9-11,对应切分方案:组成/人/字形/编队/进行/巡航。路径2:0-2-5-7-9-11,对应切分方案:组成/人字形/编队/进行/巡航。分别计算步骤202中两条路径的联合分布概率。路径1:P(组成,人,字形,编队,进行,巡航)=P(组成)P(人|组成)P(字形|人)P(编队|字形)P(进行|编队)P(巡航|进行)。路径2:P(组成,人字形,编队,进行,巡航)=P(组成)P(人字形|组成)P(编队|人字形)P(进行|编队)P(巡航|进行)。
步骤203:将联合分布概率最大的路径作为最终的分词结果,并为分词结果匹配词性生成词句合集。具体地,根据步骤202的计算结果确定最终的路径,该路径上的每条连接曲线的序号点之间的边构成一个分词结果,为每个分词结果匹配词性后作为词句子集,生成词句合集。
步骤102的另一种实施方式如图3所示,包括步骤301至步骤305,具体如下。
步骤301:将结构化文本与对应的专业词典进行匹配。具体地,从左向右取结构化文本的m个字符作为匹配字段,m为专业词典中最长词条的长度。在本申请实施例中,结构化文本的长度小于专业词典中最长词条的长度,取整个结构化文本作为匹配字段,将其与无人机集群规划领域对应的专业词典进行匹配。其中,专业词典是一种收集某一领域所有相关词语与短句的词句库。
步骤302:判断结构化文本是否匹配成功。具体地,根据步骤301中的匹配结果判断结构化文本是否在专业词典中找到对应的词语或短句。若能在专业词典中找到对应的词句,则匹配成功,执行步骤303至步骤305。若不能在专业词典中找到对应的词句,则匹配不成功,执行步骤304至步骤305。
步骤303:将结构化文本作为词句合集中的词句子集。具体地,若匹配成功则将该结构化文本作为一个分词结果切分出来,并为其匹配词性,将包含词性的分词结果作为词句子集。
步骤304:去掉结构化文本末尾的一个字。具体地,去掉上一次匹配使用的结构化文本末尾的最后一个字,生成新的结构化文本作为匹配字段。
步骤305:判断结构化文本的长度是否为零。具体地,判断步骤304中去掉最后一个字的结构化文本的长度是否为零。在本申请实施例中,结构化文本的长度表示结构化文本中的字符数或字数。若当前结构化文本的长度为零,即结构化文本的字符数或字数为零,则结束匹配,得到最终的词句合集。若此时结构化文本的长度不为零,即结构化文本的字符数或字数不为零,则继续执行步骤301。
在本申请实施例中,使用结构化感知机作为上述分词结果的词性匹配工具。本领域技术人员亦可使用隐马尔可夫模型与CRFs相结合的方式进行词性标注。本领域技术人员亦可使用其他词性标注工具与方法,此处不作为对本申请保护范围的限制。
此外,在一种实施方式中,在获取词句合集后还可以去除词句合集中的虚词。例如,助词“的”、副词“甚至”、语气词“吧”、连词“以及”等。
步骤103:统计词句合集中各词句子集的出现频次,并根据出现频次筛选词句子集以保留强词句子集。具体地,根据词句合集中各个词语或短句的出现次数获取各词句子集的出现频次。根据出现频次筛选词句子集以保留强词句子集的具体实现步骤如图4所示,包括步骤401至步骤406,具体如下。
步骤401:提取词句合集中的任一词句子集与所有强词句子集作为评分样本加入学习模型。具体地,获取词句合集中的一个词句子集及其出现频次,将其与所有的强词句子集作为评分样本加入学习模型中进行训练。在首次执行此步骤时,评分样本仅有一个词句子集。
需要注意的是,本申请中的学习模型使用深度学习模型。此处仅作为本申请的一个实施例,不作为对本申请保护范围的限制。本领域技术人员亦可根据实际需求更换为隐马尔可夫模型、条件随机场模型、朴素贝叶斯模型、支持向量机模型等。
步骤402:对学习模型进行评分。具体地,根据评分样本与训练结果对学习模型进行评分。
步骤403:判断评分是否满足预设标准线。具体地,判断学习模型的评分是否满足预设标准线。在本申请实施例中,预设标准线为90%。只有学习模型的评分大于90%,才能满足预设标准线。若学习模型的评分满足预设标准线则执行步骤404至步骤406。若学习模型的评分不满足预设标准线则执行步骤405至步骤406。
步骤404:将评分样本中最后加入的词句子集作为强词句子集。具体地,保留评分样本中最后加入的词句子集作为强词句子集。其中,强词句子集为特征突出,表达能力强以及信息表达完整的词句子集。
步骤405:舍弃评分样本中最后加入的词句子集。具体地,舍弃步骤404中最新加入的词句子集。在本申请实施例中,被舍弃的词句子集可以为满足预设标准线的词句子集,也可以为不满足预设标准线的词句子集。
步骤406:判断词句合集是否为空。具体地,判断此时的词句合集是否为空。若词句合集为空则结束循环,获得词句合集中的所有强词句子集。若词句合集不为空,则执行步骤401进行循环判断。
步骤104:根据强词句子集的出现频次构建多维向量。具体地,根据强词句子集的出现频次构建多维向量通过以下公式实现:
。式中,T代表多维向量,代表词句合集的第n个强
词句子集,代表第n个强词句子集的词性。通过此步骤将强词句子集转化为计算机能够识
别的语句类型。
步骤105:将多维向量作为训练样本训练学习模型,并对训练后的学习模型进行评估。具体地,将步骤104得到的所有多维向量作为训练样本加入学习模型进行训练。并在训练过程中对学习模型进行微调。通过以下计算公式对学习模型进行评估。计算公式如下:
,。式中,代表学习模型的准确率,代表学习模型的
精确率,TP代表训练样本为正,预测模型的预测结果为正,FP代表训练样本为负,预测模型
的预测结果为正,TN代表训练样本为负,预测模型的预测结果为负,FN代表训练样本为正,
预测模型的预测结果为负。
步骤106:判断学习模型的评估结果是否满足预设阈值。具体地,根据步骤105中的评估结果判断其是否满足预设阈值。在本申请实施例中,示例性地将预设阈值设为(90%,90%),即准确率达到90%的同时精确率也达到90%,才能满足预设阈值。若评估结果满足预设阈值,则执行步骤107。若评估结果不满足预设阈值,则再次执行步骤102至步骤106。
步骤107:将满足预设阈值的学习模型集成于指挥控制系统内。具体地,根据上述步骤将满足预设阈值的学习模型集成于指挥控制系统内,以提高指挥控制系统评估的可信性、真实性与科学性。
虽然本申请提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。本实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照本实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
如图5所示,本申请实施例还提供一种指挥控制系统消息管理装置500。该装置包括:转换模块501、词句合集模块5011、统计模块5012、构建模块5013、评估模块5014与集成模块502,具体如下。
转换模块501用于将清洗后的文本数据转换为结构化文本,并对结构化文本迭代执行模型训练步骤直至学习模型的评估结果满足预设阈值。转换模块501具体用于,获取文本数据,并对文本数据进行清洗。去除文本数据中的杂质、无序文本、非标准术语、无意义文本与噪音,并去除文本数据中的标点符号,生成规范标准的结构化文本。在本申请实施例中,分别从无人机集群的各个组成要素中获取文本数据,并挖掘无人机集群规划领域相关的文本数据,去除其中的噪音与标点符号。此外,在获取文本数据时,选取与指挥控制系统相关的语料库,语料库的丰富度决定了文本数据的完成性。
词句合集模块5011至评估模块5014用于执行转换模块501中的模型训练步骤,具体如下。
词句合集模块5011用于将结构化文本进行分词并生成词句合集。词句合集模块5011具体用于,根据结构化文本构建前缀词典,根据前缀词典将结构化文本转换为树形结构生成文本树。根据文本树构建结构化文本的有向无环图,并计算有向无环图中各条路径的联合分布概率。将联合分布概率最大的路径作为最终的分词结果,并为分词结果匹配词性生成词句合集。词句合集模块5011还可以用于,迭代执行匹配词句步骤直至结构化文本的长度为零。匹配词句步骤包括:将结构化文本与对应的专业词典进行匹配。若匹配成功,则将匹配词性后的结构化文本作为词句合集中的词句子集,并去掉结构化文本末尾的一个字。若匹配不成功,则去掉结构化文本末尾的一个字。此外,词句合集模块5011还可以去除词句合集中的虚词。
统计模块5012用于统计词句合集中各词句子集的出现频次,并根据出现频次筛选词句子集以保留强词句子集。统计模块5012具体用于,迭代执行评分步骤直至词句合集为空。评分步骤包括:提取词句合集中的任一词句子集与所有强词句子集作为评分样本加入学习模型。对学习模型进行评分,并判断评分是否满足预设标准线。若学习模型的评分满足预设标准线,则将评分样本中最后加入的词句子集作为强词句子集。若学习模型的评分不满足预设标准线,则舍弃评分样本中最后加入的词句子集。
构建模块5013用于根据强词句子集的出现频次构建多维向量。构建模块5013具体用于,通过以下公式实现:
。式中,T代表多维向量,代表词句合集
的第n个强词句子集,代表第n个强词句子集的词性。
评估模块5014用于将多维向量作为训练样本训练学习模型,并对训练后的学习模型进行评估。评估模块5014具体用于,计算学习模型的准确率与精确率,并将准确率与精确率作为评估结果。判断评估结果是否满足预设阈值。
集成模块502用于将满足预设阈值的学习模型集成于指挥控制系统内。集成模块502具体用于,根据上述模块将满足预设阈值的学习模型集成于指挥控制系统内,以提高指挥控制系统评估的可信性、真实性与科学性。
本申请所述装置中的部分模块可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述申请实施例阐明的装置或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。为了描述方便,描述以上装置时以功能分为各种模块分别描述。在实施本申请实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然,也可以将实现某功能的模块由多个子模块或子单元组合实现。
本申请中所述的方法、装置或模块可以以计算机可读程序代码方式实现控制器按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(英文:Application Specific Integrated Circuit;简称:ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请实施例还提供了一种设备,所述设备包括:处理器;用于存储处理器可执行指令的存储器;所述处理器执行所述可执行指令时,实现如本申请实施例所述的方法。
本申请实施例还提供了一种非易失性计算机可读存储介质,其上存储有计算机程序或指令,当该计算机程序或指令被执行时,使如本申请实施例中所述的方法被实现。
此外,在本发明的各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独存在,也可以两个或两个以上模块集成在一个模块中。
上述存储介质包括但不限于随机存取存储器(英文:Random Access Memory;简称:RAM)、只读存储器(英文:Read-Only Memory;简称:ROM)、缓存(英文:Cache)、硬盘(英文:Hard Disk Drive;简称:HDD)或者存储卡(英文:Memory Card)。所述存储器可以用于存储计算机程序指令。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,也可以通过数据迁移的实施过程中体现出来。该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,移动终端,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施方式采用递进的方式描述,各个实施方式之间相同或相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。本申请的全部或者部分可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器系统、基于微处理器的系统、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
以上实施例仅用以说明本申请的技术方案,而非对本申请限制;尽管参照前述实施例对本申请进行了详细的说明,本领域普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请技术方案的范围。
Claims (10)
1.一种指挥控制系统消息管理方法,其特征在于,包括:
将清洗后的文本数据转换为结构化文本,并对所述结构化文本迭代执行模型训练步骤直至学习模型的评估结果满足预设阈值;
将满足所述预设阈值的所述学习模型集成于指挥控制系统内;
所述模型训练步骤包括:
将所述结构化文本进行分词并生成词句合集;
统计所述词句合集中各词句子集的出现频次,并根据所述出现频次筛选所述词句子集以保留强词句子集;
根据所述强词句子集的所述出现频次构建多维向量;
将所述多维向量作为训练样本训练所述学习模型,并对训练后的所述学习模型进行评估。
2.根据权利要求1所述的方法,其特征在于,所述将所述结构化文本进行分词并生成词句合集,包括:
根据所述结构化文本构建前缀词典,根据所述前缀词典将所述结构化文本转换为树形结构生成文本树;
根据所述文本树构建所述结构化文本的有向无环图,并计算所述有向无环图中各条路径的联合分布概率;
将所述联合分布概率最大的路径作为最终的分词结果,并为所述分词结果匹配词性生成所述词句合集。
3.根据权利要求1所述的方法,其特征在于,所述将所述结构化文本进行分词并生成词句合集,包括:
迭代执行匹配词句步骤直至所述结构化文本的长度为零;所述匹配词句步骤包括:
将所述结构化文本与对应的专业词典进行匹配;
若匹配成功,则将匹配词性后的所述结构化文本作为所述词句合集中的所述词句子集,并去掉所述结构化文本末尾的一个字;
若匹配不成功,则去掉所述结构化文本末尾的一个字。
4.根据权利要求2或3所述的方法,其特征在于,在将所述结构化文本进行分词并生成词句合集后,还包括:
去除所述词句合集中的虚词。
5.根据权利要求1所述的方法,其特征在于,所述根据所述出现频次筛选所述词句子集以保留强词句子集,包括:
迭代执行评分步骤直至所述词句合集为空;所述评分步骤包括:
提取所述词句合集中的任一所述词句子集与所有所述强词句子集作为评分样本加入所述学习模型;
对所述学习模型进行评分,并判断所述评分是否满足预设标准线;
若所述学习模型的所述评分满足所述预设标准线,则将所述评分样本中最后加入的所述词句子集作为所述强词句子集;
若所述学习模型的所述评分不满足所述预设标准线,则舍弃所述评分样本中最后加入的所述词句子集。
6.根据权利要求1所述的方法,其特征在于,所述根据所述强词句子集的所述出现频次构建多维向量,通过以下公式实现:
;式中,T代表所述多维向量,/>代表所述词句合集的第n个所述强词句子集,/>代表第n个所述强词句子集的词性。
7.根据权利要求1所述的方法,其特征在于,所述对训练后的所述学习模型进行评估,包括:
计算所述学习模型的准确率与精确率,并将所述准确率与所述精确率作为所述评估结果;
判断所述评估结果是否满足所述预设阈值。
8.一种指挥控制系统消息管理装置,其特征在于,包括:
转换模块,用于将清洗后的文本数据转换为结构化文本,并对所述结构化文本迭代执行模型训练步骤直至学习模型的评估结果满足预设阈值;
集成模块,用于将满足所述预设阈值的所述学习模型集成于指挥控制系统内;
词句合集模块,用于将所述结构化文本进行分词并生成词句合集;
统计模块,用于统计所述词句合集中各词句子集的出现频次,并根据所述出现频次筛选所述词句子集以保留强词句子集;
构建模块,用于根据所述强词句子集的所述出现频次构建多维向量;
评估模块,用于将所述多维向量作为训练样本训练所述学习模型,并对训练后的所述学习模型进行评估。
9.一种用于执行指挥控制系统消息管理方法的设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
所述处理器执行所述可执行指令时,实现如权利要求1至7中任意一项所述的方法。
10.一种非易失性计算机可读存储介质,其特征在于,包括用于存储计算机程序或指令,当该计算机程序或指令被执行时,使如权利要求1至7中任一项所述的方法被实现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310806723.XA CN116522908B (zh) | 2023-07-04 | 2023-07-04 | 指挥控制系统消息管理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310806723.XA CN116522908B (zh) | 2023-07-04 | 2023-07-04 | 指挥控制系统消息管理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116522908A true CN116522908A (zh) | 2023-08-01 |
CN116522908B CN116522908B (zh) | 2023-12-05 |
Family
ID=87401565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310806723.XA Active CN116522908B (zh) | 2023-07-04 | 2023-07-04 | 指挥控制系统消息管理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116522908B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975454A (zh) * | 2016-04-21 | 2016-09-28 | 广州精点计算机科技有限公司 | 一种网页文本的中文分词方法和装置 |
CN107908621A (zh) * | 2017-11-16 | 2018-04-13 | 东华大学 | 基于超声检查报告文本数据的乳腺肿瘤风险性评估系统 |
CN109657064A (zh) * | 2019-02-28 | 2019-04-19 | 广东电网有限责任公司 | 一种文本分类方法及装置 |
WO2019214149A1 (zh) * | 2018-05-11 | 2019-11-14 | 平安科技(深圳)有限公司 | 文本关键信息的识别方法、电子装置及可读存储介质 |
CN110472115A (zh) * | 2019-08-08 | 2019-11-19 | 东北大学 | 一种基于深度学习的社交网络文本情感细粒度分类方法 |
CN111274801A (zh) * | 2020-02-25 | 2020-06-12 | 苏州跃盟信息科技有限公司 | 分词方法及装置 |
CN111932583A (zh) * | 2020-06-05 | 2020-11-13 | 西安羚控电子科技有限公司 | 一种基于复杂背景下的时空信息一体化智能跟踪方法 |
CN112579775A (zh) * | 2020-12-21 | 2021-03-30 | 国网福建省电力有限公司经济技术研究院 | 非结构化文本的分类方法及计算机可读存储介质 |
CN112906392A (zh) * | 2021-03-23 | 2021-06-04 | 北京天融信网络安全技术有限公司 | 一种文本增强方法、文本分类方法及相关装置 |
CN115185539A (zh) * | 2022-09-06 | 2022-10-14 | 西安羚控电子科技有限公司 | 一种生成可执行动态链接库文件方法、装置及存储介质 |
CN116151220A (zh) * | 2022-08-01 | 2023-05-23 | 马上消费金融股份有限公司 | 分词模型训练方法、分词处理方法和装置 |
-
2023
- 2023-07-04 CN CN202310806723.XA patent/CN116522908B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975454A (zh) * | 2016-04-21 | 2016-09-28 | 广州精点计算机科技有限公司 | 一种网页文本的中文分词方法和装置 |
CN107908621A (zh) * | 2017-11-16 | 2018-04-13 | 东华大学 | 基于超声检查报告文本数据的乳腺肿瘤风险性评估系统 |
WO2019214149A1 (zh) * | 2018-05-11 | 2019-11-14 | 平安科技(深圳)有限公司 | 文本关键信息的识别方法、电子装置及可读存储介质 |
CN109657064A (zh) * | 2019-02-28 | 2019-04-19 | 广东电网有限责任公司 | 一种文本分类方法及装置 |
CN110472115A (zh) * | 2019-08-08 | 2019-11-19 | 东北大学 | 一种基于深度学习的社交网络文本情感细粒度分类方法 |
CN111274801A (zh) * | 2020-02-25 | 2020-06-12 | 苏州跃盟信息科技有限公司 | 分词方法及装置 |
CN111932583A (zh) * | 2020-06-05 | 2020-11-13 | 西安羚控电子科技有限公司 | 一种基于复杂背景下的时空信息一体化智能跟踪方法 |
CN112579775A (zh) * | 2020-12-21 | 2021-03-30 | 国网福建省电力有限公司经济技术研究院 | 非结构化文本的分类方法及计算机可读存储介质 |
CN112906392A (zh) * | 2021-03-23 | 2021-06-04 | 北京天融信网络安全技术有限公司 | 一种文本增强方法、文本分类方法及相关装置 |
CN116151220A (zh) * | 2022-08-01 | 2023-05-23 | 马上消费金融股份有限公司 | 分词模型训练方法、分词处理方法和装置 |
CN115185539A (zh) * | 2022-09-06 | 2022-10-14 | 西安羚控电子科技有限公司 | 一种生成可执行动态链接库文件方法、装置及存储介质 |
Non-Patent Citations (2)
Title |
---|
MOHAMMED JAVED等: "A direct approach for word and character segmentation in run-length compressed documents with an application to word spotting", 《2015 13TH INTERNATIONAL CONFERENCE ON DOCUMENT ANALYSIS AND RECOGNITION (ICDAR)》 * |
吴江等: "基于本体的多无人机系统语义互操作方法", 《上海交通大学学报》, no. 02 * |
Also Published As
Publication number | Publication date |
---|---|
CN116522908B (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109815336B (zh) | 一种文本聚合方法及系统 | |
CN109657053B (zh) | 多文本摘要生成方法、装置、服务器及存储介质 | |
US11113470B2 (en) | Preserving and processing ambiguity in natural language | |
CN111444330A (zh) | 提取短文本关键词的方法、装置、设备及存储介质 | |
CN108885623A (zh) | 基于知识图谱的语意分析系统及方法 | |
CN111460083A (zh) | 文档标题树的构建方法、装置、电子设备及存储介质 | |
CN110968684A (zh) | 一种信息处理方法、装置、设备及存储介质 | |
CN111177375B (zh) | 一种电子文档分类方法及装置 | |
CN112784009B (zh) | 一种主题词挖掘方法、装置、电子设备及存储介质 | |
Rahman et al. | Email spam detection using bidirectional long short term memory with convolutional neural network | |
CN113449084A (zh) | 基于图卷积的关系抽取方法 | |
CN114936277A (zh) | 相似问题匹配方法和户相似问题匹配系统 | |
CN113935314A (zh) | 基于异构图网络的摘要抽取方法、装置、终端设备及介质 | |
CN111091001B (zh) | 一种词语的词向量的生成方法、装置及设备 | |
US20190095525A1 (en) | Extraction of expression for natural language processing | |
CN117057349A (zh) | 新闻文本关键词抽取方法、装置、计算机设备和存储介质 | |
CN116522908B (zh) | 指挥控制系统消息管理方法及装置 | |
CN115577109A (zh) | 文本分类方法、装置、电子设备及存储介质 | |
CN115329173A (zh) | 一种基于舆情监控的企业信用确定方法及装置 | |
Triapitsyn et al. | Designing of a classifier for the unstructured text formalization model based on word embedding | |
CN112528653B (zh) | 短文本实体识别方法和系统 | |
Gapanyuk et al. | Architecture and Implementation of an Intelligent News Analysis System. | |
Ogutu et al. | Target sentiment analysis model with naïve Bayes and support vector machine for product review classification | |
CN113128224B (zh) | 一种中文纠错方法、装置、设备以及可读存储介质 | |
CN113127607A (zh) | 文本数据标注方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |