CN117725402B - 一种基于设备运行音频的设备异常状态确定方法及系统 - Google Patents
一种基于设备运行音频的设备异常状态确定方法及系统 Download PDFInfo
- Publication number
- CN117725402B CN117725402B CN202311768743.9A CN202311768743A CN117725402B CN 117725402 B CN117725402 B CN 117725402B CN 202311768743 A CN202311768743 A CN 202311768743A CN 117725402 B CN117725402 B CN 117725402B
- Authority
- CN
- China
- Prior art keywords
- audio
- equipment
- training
- feature
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000005856 abnormality Effects 0.000 claims abstract description 98
- 230000010354 integration Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 184
- 239000013598 vector Substances 0.000 claims description 178
- 239000011159 matrix material Substances 0.000 claims description 75
- 238000012545 processing Methods 0.000 claims description 27
- 238000012795 verification Methods 0.000 claims description 23
- 230000009191 jumping Effects 0.000 claims description 14
- 230000007704 transition Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于设备运行音频的设备异常状态确定方法及系统,包括:首先获取待识别设备运行音频及相关信息,并进行特征选择以确定音频和设备信息特征。接着整合这些特征,形成第一多源特征。并获取预设设备异常图结构中与各设备异常类型匹配的异常相关性特征。然后,将第一多源特征与各属性特征整合,得到与多个设备异常类型匹配的第二多源特征。最后,根据第二多源特征,确定待识别设备运行音频对应的目标设备异常类型,表征设备异常状态。如此设计,通过音频特征和设备信息特征的整合,以及与异常相关性特征的匹配,有效地确定待识别设备运行音频对应的设备异常类型,从而提高设备异常状态的识别准确度。
Description
技术领域
本发明涉及设备维护技术领域,具体而言,涉及一种基于设备运行音频的设备异常状态确定方法及系统。
背景技术
在众多领域中,设备的正常运行至关重要。然而,设备可能会遭受各种异常状态,比如机械故障、电气故障等。为了及时发现和处理这些异常,需要进行设备状态监测。传统的设备状态监测方法通常依赖于设备的物理参数,例如温度、压力等,但这些方法可能无法全面反映设备的运行状况。因此,研究人员开始尝试利用设备的运行音频进行异常状态监测。然而,如何有效地从音频中提取特征,并准确地判断设备的异常状态,仍然是一个挑战。
发明内容
本发明的目的在于提供一种基于设备运行音频的设备异常状态确定方法及系统。
第一方面,本发明实施例提供一种基于设备运行音频的设备异常状态确定方法,所述方法包括:
获取待识别设备运行音频和所述待识别设备运行音频的待识别设备信息,并对所述待识别设备运行音频和所述待识别设备信息分别执行特征选择操作,确定音频特征和设备信息特征;
对所述音频特征和所述设备信息特征执行整合操作,确定第一多源特征;
获取异常相关性特征;所述异常相关性特征,包括预先设置的设备异常图结构中多个设备异常类型一一匹配的属性特征;所述多个设备异常类型指示设备异常情况下的多个详细分类情况;针对各个所述设备异常类型,所针对设备异常类型的属性特征,包括所针对设备异常类型的类别信息,还包括所述设备异常图结构中与所述所针对设备异常类型相连接设备异常类型的类别信息;
将所述第一多源特征分别与所述异常相关性特征中的各属性特征执行整合操作,确定所述多个设备异常类型一一匹配的第二多源特征;
根据所述多个设备异常类型一一匹配的第二多源特征,从所述多个设备异常类型中,确定与所述待识别设备运行音频对应的目标设备异常类型;所述目标设备异常类型用于表征所述待识别设备运行音频中的设备异常状态。
第二方面,本发明实施例提供一种服务器系统,包括服务器,所述服务器用于执行第一方面所述的方法。
相比现有技术,本发明提供的有益效果包括:采用本发明公开的一种基于设备运行音频的设备异常状态确定方法及系统,通过获取待识别设备运行音频及相关信息,并进行特征选择以确定音频和设备信息特征。接着整合这些特征,形成第一多源特征。并获取预设设备异常图结构中与各设备异常类型匹配的异常相关性特征。然后,将第一多源特征与各属性特征整合,得到与多个设备异常类型匹配的第二多源特征。最后,根据第二多源特征,确定待识别设备运行音频对应的目标设备异常类型,表征设备异常状态。如此设计,通过音频特征和设备信息特征的整合,以及与异常相关性特征的匹配,有效地确定待识别设备运行音频对应的设备异常类型,从而提高设备异常状态的识别准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的基于设备运行音频的设备异常状态确定方法步骤流程示意框图;
图2为本发明实施例提供的计算机设备的结构示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
为了解决前述背景技术中的技术问题,图1为本公开实施例提供的基于设备运行音频的设备异常状态确定方法的流程示意图,下面对该基于设备运行音频的设备异常状态确定方法进行详细介绍。
步骤S201,获取待识别设备运行音频和所述待识别设备运行音频的待识别设备信息,并对所述待识别设备运行音频和所述待识别设备信息分别执行特征选择操作,确定音频特征和设备信息特征;
步骤S202,对所述音频特征和所述设备信息特征执行整合操作,确定第一多源特征;
步骤S203,获取异常相关性特征;所述异常相关性特征,包括预先设置的设备异常图结构中多个设备异常类型一一匹配的属性特征;所述多个设备异常类型指示设备异常情况下的多个详细分类情况;针对各个所述设备异常类型,所针对设备异常类型的属性特征,包括所针对设备异常类型的类别信息,还包括所述设备异常图结构中与所述所针对设备异常类型相连接设备异常类型的类别信息;
步骤S204,将所述第一多源特征分别与所述异常相关性特征中的各属性特征执行整合操作,确定所述多个设备异常类型一一匹配的第二多源特征;
步骤S205,根据所述多个设备异常类型一一匹配的第二多源特征,从所述多个设备异常类型中,确定与所述待识别设备运行音频对应的目标设备异常类型;所述目标设备异常类型用于表征所述待识别设备运行音频中的设备异常状态。
在本发明实施例中,示例性的,假设我们有一个工业生产线,其中包括多台设备,例如机器人、传送带和激光切割机。我们需要对这些设备进行异常检测。收集每个设备在正常运行状态下的音频数据。例如,记录机器人工作时的电机声音、传送带运行时的摩擦噪音和激光切割机工作时的切割声音。收集与每个设备相关的信息,如设备型号、制造商、安装位置等。对收集到的音频数据和设备信息进行分析,筛选出能够有效区分设备正常与异常状态的关键特征。例如,通过频谱分析找到音频信号中的主要频率成分,或者通过机器学习算法从设备信息中提取重要的参数。将从音频数据中提取的特征和从设备信息中提取的特征进行组合或加权求和,得到一个综合的特征表示。例如,可以将音频信号的频谱特征与设备的工作温度信息相结合,形成一个综合特征向量。事先根据领域知识或经验,建立一个设备异常模型或图结构,描述了各种可能的设备异常类型以及它们之间的关联关系。针对每种设备异常类型,在设备异常图结构中定义了相应的属性特征。例如,对于机器人来说,可以定义电机故障、传感器失效等异常类型,并为每个异常类型定义相应的属性特征,如电压波动、传感器输出不稳定等。通过组合或加权求和将第一多源特征与异常图结构中定义的属性特征进行整合,得到一个更全面、更准确的特征向量。示例性的,提供模型经过训练,学习到了不同设备异常类型的特征表示和关联关系。当我们输入一个待识别设备运行音频时,模型会根据第二多源特征与已有的设备异常类型进行比较。例如,如果待识别设备运行音频的特征与机器人电机故障的属性特征相似度最高,那么模型将判断该音频对应的目标设备异常类型为机器人电机故障。目标设备异常类型的确定用于表征待识别设备运行音频中的设备异常状态,帮助进行后续的处理和决策,如报警、维修等。
如此设计,利用设备运行音频和设备信息作为输入,通过特征选择、整合操作以及异常相关性特征的获取和整合操作,最终确定待识别设备运行音频的异常状态。每个步骤都具有其特定的场景应用和操作过程,通过组合各个步骤,可以实现对工业设备异常的准确识别和状态确定。
在一种可能的实施方式中,在执行前述步骤S203之前,本发明实施例还提供以下示例。
(1)获取设备异常图结构;所述设备异常图结构包括多个设备异常类型,且相互影响的设备异常类型之间基于关系边连接;
(2)根据所述设备异常图结构构建关系连接向量和数字表示向量;所述数字表示向量包括所述多个设备异常类型一一匹配的数字表示;所述关系连接向量用于指示所述多个设备异常类型之间的关联性;
(3)将所述关系连接向量与数字表示向量执行整合操作,确定初始阶段的数据合并向量;
(4)从初始阶段之后阶段中的现行阶段中,将上一阶段生成的数据合并向量与所述关系连接向量执行整合操作,确定现行阶段生成的数据合并向量;
(5)将后一阶段作为现行阶段,并返回至将上一阶段生成的数据合并向量与所述关系连接向量执行整合操作的步骤重复执行,直到满足第一预置终止规则时终止操作;
(6)根据最终阶段生成的数据合并向量,确定异常相关性特征。
在本发明实施例中,示例性的,可以根据专业知识、经验或领域专家的建议,构建一个图结构,其中包含多个设备异常类型,并用关系边连接相互影响的设备异常类型。例如,对于工业生产线中的设备,我们可以将电机故障、传感器失效、供电异常等异常类型作为节点,而它们之间的影响关系可以表示为边。如果电机故障可能导致传感器失效,则两者之间会有一条关系边连接。通过设备异常图结构构建关系连接向量和数字表示向量,以表示设备异常类型之间的关联性,根据设备异常图结构中的关系边,构建一个向量,用于指示不同设备异常类型之间的关联性。例如,如果两个设备异常类型之间有关系边连接,则对应位置的值为1,否则为0。为每个设备异常类型构建一个数字表示,用于表示该异常类型的特征。这个数字表示可以是根据设备异常类型的属性特征、历史数据等得出的数值。例如,对于电机故障异常类型,可以设置一个数字表示为1。将关系连接向量与数字表示向量进行整合操作,得到一个初始阶段的数据合并向量。可以通过向量的拼接、加权求和等方式将关系连接向量和数字表示向量进行整合,形成一组综合的数据合并向量。例如,如果关系连接向量长度为N,数字表示向量长度为M,则初始阶段的数据合并向量长度为N+M。将上一阶段生成的数据合并向量与关系连接向量进行整合操作,得到下一阶段(即现行阶段)生成的数据合并向量。通过将上一阶段生成的数据合并向量与关系连接向量进行整合操作,得到一个新的数据合并向量,用于表示现行阶段的特征。这个过程可以迭代多次,在每一次迭代中,使用前一阶段生成的数据合并向量与关系连接向量进行整合操作,形成新的数据合并向量。根据具体场景和需求,设定一个终止条件,当满足该条件时结束迭代过程。例如,可以设置一个迭代次数的上限作为终止条件,或者设定当数据合并向量的变化小于某个阈值时停止迭代。经过多次迭代后,在满足第一预置终止规则的情况下,得到一个最终的数据合并向量,它包含了从初始阶段到最终阶段所有阶段中特征的整合信息。根据最终阶段生成的数据合并向量,可以提取其中的关键特征,用于表示设备异常类型之间的相关性。这些特征可以通过分析数据合并向量的不同分量、统计特征等方法来确定。
如此设计,可以获取设备异常图结构,构建关系连接向量和数字表示向量,并将它们整合操作得到初始阶段的数据合并向量。然后,通过多次迭代,将前一阶段生成的数据合并向量与关系连接向量进行整合操作,得到下一阶段生成的数据合并向量。重复执行这个过程直到满足第一预置终止规则,并根据最终阶段生成的数据合并向量确定异常相关性特征。这些步骤帮助我们建立了设备异常之间的关联关系,并提取了相关性特征,为后续的异常识别和处理提供了基础。
在一种可能的实施方式中,所述数字表示向量中的数字表示位置信息与设备异常类型满足双射关系,所述关系连接向量中的关系连接位置信息与设备异常类型满足双射关系;在所述数字表示向量和所述关系连接向量中,位置信息一致的数字表示位置信息和关系连接位置信息所对应的设备异常类型一致;
前述将所述关系连接向量与数字表示向量执行整合操作,确定初始阶段的数据合并向量的步骤,可以通过以下示例执行实施。
(1)将所述关系连接向量与所述数字表示向量进行向量内积,确定内积向量;
(2)将所述内积向量与所述数字表示向量进行合并,确定合并向量;
(3)对所述合并向量执行标准化操作,确定初始阶段的数据合并向量。
在本发明实施例中,示例性的,数字表示向量中的数字表示位置信息与设备异常类型、关系连接向量中的关系连接位置信息与设备异常类型之间满足双射关系。双射关系指在两个集合之间存在一对一对应的关系。每个数字表示位置信息对应唯一的设备异常类型,每个关系连接位置信息也对应唯一的设备异常类型。例如,对于数字表示向量中的第一个位置信息,可能对应着电机故障异常类型;而关系连接向量中的第一个位置信息可能对应着与电机故障相关的其他异常类型。将关系连接向量与数字表示向量进行整合操作,得到一个初始阶段的数据合并向量。向量内积为对关系连接向量和数字表示向量进行向量内积计算。向量内积是指对应位置上的元素相乘后求和的操作。例如,如果关系连接向量为[0,1,0,1],数字表示向量为[0.5,0.3,0.7,0.9],那么它们的向量内积为0*0.5+1*0.3+0*0.7+1*0.9=1.2。合并操作为将向量内积得到的结果与数字表示向量进行合并,形成一个新的合并向量。例如,假设向量内积得到的结果为1.2,数字表示向量为[0.5,0.3,0.7,0.9],那么合并后的数据合并向量为[1.2,0.5,0.3,0.7,0.9]。对合并向量进行标准化操作,得到最终的初始阶段的数据合并向量。标准化操作为对合并向量中的每个元素进行标准化处理,使得合并向量的各个元素都落在相同的尺度上。例如,可以使用均值和标准差的方法进行标准化,将合并向量中的每个元素减去均值,然后除以标准差。标准化后的合并向量为经过标准化操作后,得到一个最终的初始阶段的数据合并向量,其中各个元素已经处于相同的尺度上。
如此设计,可以确保数字表示位置信息与设备异常类型、关系连接位置信息与设备异常类型之间满足双射关系。然后,通过将关系连接向量与数字表示向量进行内积计算和合并操作,得到初始阶段的数据合并向量。最后,对合并向量执行标准化操作,使得合并向量中的元素处于相同的尺度上。这些步骤保证了数据的一致性和可比性,为后续的异常相关性特征提取和处理提供了基础。
在一种可能的实施方式中,所述待识别设备运行音频的特征选择可以通过以下方式实现。
(1)确定音频特征选择模型;所述音频特征选择模型包括多个连续的跳跃连接块;
(2)通过所述音频特征选择模型中的首个跳跃连接块对所述待识别设备运行音频执行特征选择操作,确定最终音频特征;
(3)从初始阶段之后阶段中的现行阶段中,确定所述音频特征选择模型中与所述现行阶段匹配的现行跳跃连接块;
(4)通过所述现行跳跃连接块对前序跳跃连接块生成的最终音频特征执行特征选择操作,确定过渡音频特征;
(5)将所述前序跳跃连接块生成的最终音频特征与所述过渡音频特征执行特征组合操作,确定所述现行跳跃连接块生成的最终音频特征;
(6)将后一阶段作为现行阶段,返回确定所述音频特征选择模型中与所述现行阶段匹配的现行跳跃连接块的步骤重复执行,直到满足第二预置终止规则时终止操作;
(7)根据最终阶段生成的最终音频特征,确定所述待识别设备运行音频的音频特征。
在本发明实施例中,示例性的,确定用于音频特征选择的模型,该模型由多个连续的跳跃连接块组成。跳跃连接块指具有跳跃连接结构的模块,允许网络在不同层之间跳过某些层,以获取更全面和有效的特征表示。例如,一个音频特征选择模型可以包含3个跳跃连接块,每个块由卷积层、批归一化层和激活函数等组成。使用音频特征选择模型中的首个跳跃连接块对待识别设备运行音频进行特征选择操作,从而确定最终的音频特征。通过首个跳跃连接块,将待识别设备运行音频输入模型,经过卷积层、批归一化层、激活函数等处理后,输出所选出的最终音频特征。例如,将待识别设备的运行音频输入到模型中,经过第一个跳跃连接块的处理,得到所选出的最终音频特征作为输出。从当前的现行阶段中确定与音频特征选择模型中当前阶段匹配的现行跳跃连接块。现行跳跃连接块指与当前阶段对应的音频特征选择模型中的跳跃连接块。例如,如果当前的现行阶段是第2个跳跃连接块,那么我们需要确定音频特征选择模型中与第2个跳跃连接块匹配的现行跳跃连接块。使用现行跳跃连接块对前序跳跃连接块生成的最终音频特征进行特征选择操作,以确定过渡音频特征。通过现行跳跃连接块,将前序跳跃连接块生成的最终音频特征输入模型,经过卷积层、批归一化层、激活函数等处理后,输出所选出的过渡音频特征。例如,将前序跳跃连接块生成的最终音频特征输入到现行跳跃连接块中,经过处理后得到所选出的过渡音频特征。将前序跳跃连接块生成的最终音频特征与过渡音频特征进行特征组合操作,以确定当前阶段生成的最终音频特征。特征组合操作可以采用加权求和、拼接等方式将前序跳跃连接块生成的最终音频特征与过渡音频特征进行组合,得到当前阶段生成的最终音频特征。例如,可以将前序跳跃连接块生成的最终音频特征与过渡音频特征进行拼接或加权求和,得到当前阶段生成的最终音频特征。将当前阶段作为现行阶段,并重复执行确定与现行阶段匹配的现行跳跃连接块的步骤,直到满足第二预置终止规则为止。第二预置终止规则表示根据具体场景和需求,设定一个终止条件,当满足该条件时结束迭代过程。例如,可以设置最大迭代次数或者当当前阶段生成的最终音频特征与前一阶段的特征之间的差异小于某个阈值时停止迭代。根据最终阶段生成的最终音频特征,确定待识别设备运行音频的音频特征。最终阶段生成的最终音频特征为经过多次迭代后,在满足第二预置终止规则的情况下,得到一个最终的音频特征,它包含了从初始阶段到最终阶段所有阶段中特征选择的信息。音频特征为表示待识别设备运行音频的关键特征,可用于后续的音频识别和处理任务。
如此设计,使用音频特征选择模型中的首个跳跃连接块对待识别设备运行音频执行特征选择操作,确定最终音频特征。然后,通过现行跳跃连接块对前序跳跃连接块生成的最终音频特征执行特征选择操作,确定过渡音频特征。将前序跳跃连接块生成的最终音频特征与过渡音频特征进行特征组合操作,确定现行跳跃连接块生成的最终音频特征。将当前阶段作为现行阶段,重复执行确定与现行阶段匹配的现行跳跃连接块的步骤,直到满足第二预置终止规则时终止操作。最终根据最终阶段生成的最终音频特征确定待识别设备运行音频的音频特征。这些步骤保证了音频特征的选择和组合,为后续的音频识别提供了基础。
在一种可能的实施方式中,所述待识别设备信息的特征选择可以通过以下步骤执行实施。
(1)对于所述待识别设备信息中的各个设备描述内容,对当前设备描述内容的指示符进行数字转换,确定与所述当前设备描述内容对应的设备描述内容矢量;
(2)对于所述当前设备描述内容中的每个描述属性,确定当前描述属性在所述当前设备描述内容中的排序信息,并对所述排序信息进行数字转换,确定与所述当前描述属性对应的位置属性矢量;
(3)对所述当前描述属性进行描述表述学习,确定与所述当前描述属性对应的描述属性矢量,并根据与所述当前设备描述内容对应的设备描述内容矢量和与所述当前描述属性对应的位置属性矢量和描述属性矢量,确定与所述当前描述属性对应的数字表示;
(4)根据所述待识别设备信息中各描述属性一一匹配的数字表示,确定所述待识别设备信息的设备信息特征。
在本发明实施例中,示例性的,对待识别设备信息中的每个设备描述内容的指示符进行数字转换,以确定与当前设备描述内容对应的设备描述内容矢量。设备描述内容为指待识别设备信息中的各个描述设备的属性、特征或信息。指示符为表示某个设备描述内容的标志或指示物,可以是文本、符号、编码等形式。数字转换为将指示符转换为数值表示的过程,使得不同的设备描述内容可以用数值矢量进行表达。对于待识别设备信息中的一个设备描述内容,如"具体设备型号",可以使用数字转换将其转换为对应的设备描述内容矢量,例如[0,1,0,0],其中矢量中的每个元素表示该描述内容的存在与否或重要程度等信息。对于当前设备描述内容中的每个描述属性,确定该描述属性在当前设备描述内容中的排序信息,并进行数字转换,以确定与当前描述属性对应的位置属性矢量。描述属性为指描述设备特征或属性的具体项,例如"屏幕大小"、"处理器型号"等。排序信息为表示描述属性在设备描述内容中的相对位置或顺序关系,可以是数字、顺序编码等形式。位置属性矢量为用于表示描述属性在设备描述内容中的位置特征的数值矢量。对于当前设备描述内容中的一个描述属性,如"屏幕大小",根据其在设备描述内容中的排序信息,如第一项,可以进行数字转换得到与该描述属性对应的位置属性矢量,例如[1,0,0,0],其中矢量中的每个元素表示该位置是否包含该描述属性。对当前描述属性进行描述表述学习,以确定与当前描述属性对应的描述属性矢量。然后,根据设备描述内容矢量、位置属性矢量和描述属性矢量,确定与当前描述属性对应的数字表示。描述表述学习为通过机器学习或深度学习等技术,将描述属性转化为数值特征,以便后续处理和分析。描述属性矢量为用于表示描述属性的数值矢量,提取了描述属性的重要特征信息。数字表示为根据设备描述内容矢量、位置属性矢量和描述属性矢量,综合考虑这些特征,得到与当前描述属性对应的数字表示。对于当前描述属性"具体设备型号",进行描述表述学习后可以得到对应的描述属性矢量,例如[0.8,0.6,0.9]。然后,根据设备描述内容矢量、位置属性矢量和描述属性矢量,确定与当前描述属性对应的数字表示。假设待识别设备信息中有一个描述属性为"具体设备型号",对应的设备描述内容矢量为[0,1,0,0],位置属性矢量为[1,0,0,0],描述属性矢量为[0.8,0.6,0.9]。通过综合考虑这些特征,可以得到与当前描述属性对应的数字表示,例如0.8。根据各描述属性一一匹配的数字表示,确定待识别设备信息的设备信息特征。描述属性的数字表示为经过前面步骤计算得到的与每个描述属性对应的数字表示。设备信息特征为由所有描述属性的数字表示组成的数值特征,用于表示待识别设备的信息。根据前面的步骤计算得到各个描述属性的数字表示,如"屏幕大小"对应的数字表示为0.7,"处理器型号"对应的数字表示为0.6等。将这些数字表示整合起来,即可得到待识别设备信息的设备信息特征,例如[0.7,0.6,...]。
如此设计,首先将当前设备描述内容的指示符进行数字转换得到设备描述内容矢量,然后对当前描述属性的排序信息进行数字转换得到位置属性矢量。接下来,通过描述表述学习确定描述属性矢量,并根据设备描述内容矢量、位置属性矢量和描述属性矢量确定当前描述属性的数字表示。最后,根据各描述属性一一匹配的数字表示,确定待识别设备信息的设备信息特征。这些步骤通过数字转换、描述表述学习和综合考虑多个特征,实现了待识别设备信息的特征选择,提取重要的设备信息特征。
在一种可能的实施方式中,前述步骤S202可以通过以下方式执行实施。
(1)获取与所述音频特征对应的参数组和与所述设备信息特征对应的参数组;每个所述参数组为对预置对应的参数矩阵进行矩阵简化确定的简化参数矩阵的数据集;
(2)将与所述音频特征对应的参数组中的每个简化参数矩阵,分别与所述音频特征执行整合操作,确定多个赋权音频特征;
(3)将与所述设备信息特征对应的参数组中的每个简化参数矩阵,分别与所述设备信息特征执行整合操作,确定多个赋权设备信息特征;
(4)对所述多个赋权音频特征和所述多个赋权设备信息特征执行整合操作,确定第一多源特征。
在本发明实施例中,示例性的,音频特征可以表示音频信号的各种特性,如频率、能量等。设备信息特征可以表示设备的各种属性或特征,如屏幕大小、处理器型号等。参数组可以包含一组参数的集合,用于描述音频特征或设备信息特征。预置参数矩阵可以为事先定义好的参数矩阵,用于简化操作。假设有一个音频特征对应的参数组包含了3个参数,并且有一个设备信息特征对应的参数组包含了4个参数。那么在这个步骤中,将获取到这两个参数组,其中音频特征参数组包括[参数1,参数2,参数3],设备信息特征参数组包括[参数A,参数B,参数C,参数D]。简化参数矩阵为通过对预置参数矩阵进行简化得到的参数矩阵。整合操作为对音频特征和简化参数矩阵进行某种运算或组合操作,以得到新的赋权音频特征。假设音频特征参数组中有两个简化参数矩阵,分别为矩阵A和矩阵B。在这一步骤中,针对每个简化参数矩阵,将其与音频特征进行整合操作,得到多个赋权音频特征。对于简化参数矩阵A,可以将其与音频特征进行加权相乘操作,得到赋权音频特征A。对于简化参数矩阵B,可以将其与音频特征进行加权相加操作,得到赋权音频特征B。化参数矩阵为通过对预置参数矩阵进行简化得到的参数矩阵。整合操作为对设备信息特征和简化参数矩阵进行某种运算或组合操作,以得到新的赋权设备信息特征。假设设备信息特征参数组中有两个简化参数矩阵,分别为矩阵X和矩阵Y。在这一步骤中,针对每个简化参数矩阵,将其与设备信息特征进行整合操作,得到多个赋权设备信息特征。对于简化参数矩阵X,可以将其与设备信息特征进行加权相乘操作,得到赋权设备信息特征X。对于简化参数矩阵Y,可以将其与设备信息特征进行加权相加操作,得到赋权设备信息特征Y。整合操作为对多个赋权音频特征和赋权设备信息特征进行某种运算或组合操作,以得到第一多源特征。假设有两个赋权音频特征,分别为赋权音频特征A和赋权音频特征B,以及两个赋权设备信息特征,分别为赋权设备信息特征X和赋权设备信息特征Y。在这一步骤中,可以将赋权音频特征和赋权设备信息特征进行加权相加操作,得到第一多源特征。第一多源特征=赋权音频特征A+赋权音频特征B+赋权设备信息特征X+赋权设备信息特征Y。
如此设计,获取与音频特征对应的参数组和与设备信息特征对应的参数组。然后,分别将音频特征参数组中的每个简化参数矩阵与音频特征执行整合操作,确定多个赋权音频特征;将设备信息特征参数组中的每个简化参数矩阵与设备信息特征执行整合操作,确定多个赋权设备信息特征。最后,对多个赋权音频特征和多个赋权设备信息特征执行整合操作,确定第一多源特征。这些步骤通过整合操作和赋权处理,将音频特征和设备信息特征综合起来,得到了第一多源特征,从而实现了对音频特征和设备信息特征的整合和融合。
在一种可能的实施方式中,所述与所述音频特征对应的参数组是通过以下方式得到的。
(1)获取与所述音频特征相应的预置参数矩阵;
(2)确定与所述音频特征相应的预置参数矩阵的等级;所述与所述音频特征相应的预置参数矩阵的等级,指示与所述音频特征相应的预置参数矩阵的尺寸;
(3)将与所述音频特征相应的预置参数矩阵解构为多个等级表征为一阶矩阵的简化参数矩阵;解构确定的简化参数矩阵的数目,与所述音频特征所相应的预置参数矩阵的等级相同。
在本发明实施例中,示例性的,预置参数矩阵可以为在先前的环节中事先定义好的用于对音频特征进行处理和分析的参数矩阵。假设我们正在开发一个语音识别系统。在该系统中,预置参数矩阵被设计用于对音频特征进行提取和处理。这些预置参数矩阵可能包含一些滤波器系数、频谱分析窗函数等。确定与音频特征相应的预置参数矩阵的等级,该等级指示了预置参数矩阵的尺寸。等级表示预置参数矩阵的尺寸或维度。假设我们的语音识别系统中使用了一个预置参数矩阵,其等级为3。这意味着该预置参数矩阵是一个三维矩阵,具有一定的尺寸。简化参数矩阵为通过将预置参数矩阵解构为一阶矩阵得到的参数矩阵。数目表示简化参数矩阵的数量。假设我们的语音识别系统中使用的预置参数矩阵是一个3维矩阵(等级为3)。在这一步骤中,我们将该预置参数矩阵解构为三个一阶矩阵,分别表示不同的级别或尺度。这样就得到了三个简化参数矩阵。
如此设计,通过获取与音频特征相应的预置参数矩阵。然后,在这个步骤中,确定与音频特征相应的预置参数矩阵的等级,以指示其尺寸。接下来,将预置参数矩阵解构为多个等级表征为一阶矩阵的简化参数矩阵,其中简化参数矩阵的数目与音频特征相应的预置参数矩阵的等级相同。这些步骤通过解构和简化操作,将预置参数矩阵转换为一组简化参数矩阵,以便在后续步骤中使用。这样可以方便地对不同一级别的音频特征进行处理和分析,实现对音频特征的灵活控制和调整。
在一种可能的实施方式中,所述目标设备异常类型是通过异常设备识别模型输出确定;所述异常设备识别模型是通过以下方式获取的:
(1)获取样本数据集;所述样本数据集包括多个训练设备运行音频、所述多个训练设备运行音频一一匹配的训练设备信息和预置异常设备类别;
(2)针对所述多个训练设备运行音频中的各个训练设备运行音频,对所针对的训练设备运行音频和相应训练设备信息分别执行特征选择操作,确定预期音频特征和预期设备信息特征;
(3)对所述预期音频特征和预期设备信息特征执行整合操作,确定第一多源预期特征;
(4)获取训练异常相关性特征;所述训练异常相关性特征,包括训练设备异常图结构中多个训练设备异常类型一一匹配的样本属性特征;针对各个所述训练设备异常类型,所针对训练设备异常类型的样本属性特征,包括所针对训练设备异常类型的类别信息,还包括所述训练设备异常图结构中与所述所针对训练设备异常类型相连接的训练设备异常类型的类别信息;
(5)将所述第一多源预期特征分别与所述训练异常相关性特征中各样本属性特征执行整合操作,确定所述多个训练设备异常类型一一匹配的第二多源预期特征;
(6)根据所述多个训练设备异常类型一一匹配的第二多源预期特征,确定所述多个训练设备异常类型中与所述针对的训练设备运行音频对应的预期设备异常类型,并根据所述预期设备异常类型和与所述所针对的训练设备运行音频匹配的预置异常设备类别之间的偏差,优化所述异常设备识别模型的模型结构因子。
在本发明实施例中,示例性的,样本数据集为包含多个训练设备运行音频、与这些音频一一匹配的训练设备信息和预置异常设备类别的数据集。假设我们正在开发一个智能家居系统。在该系统中,我们需要识别各种设备的异常情况。为了构建异常设备识别模型,我们收集了一系列训练设备运行音频,同时记录了这些音频对应的训练设备信息(例如设备类型、设备状态等)以及预先定义的异常设备类别。预期音频特征为通过对训练设备运行音频进行特征选择操作得到的音频特征。预期设备信息特征为通过对相应训练设备信息进行特征选择操作得到的设备信息特征。假设我们的智能家居系统中有多个设备,包括灯光、温度传感器和门锁等。对于每个训练设备运行音频,我们可以对其进行特征选择操作,提取与声音频谱、频率分布等相关的音频特征。同时,对相应的训练设备信息也进行特征选择操作,提取与设备类型、设备状态等相关的设备信息特征。第一多源预期特征为由预期音频特征和预期设备信息特征进行整合操作得到的特征。对于每个训练设备运行音频,我们可以将其预期音频特征和预期设备信息特征进行整合操作,得到一个综合的特征向量,表示该音频所对应的设备运行情况。这个综合的特征向量就是第一多源预期特征。训练异常相关性特征包含与训练设备异常类型相连接的样本属性特征的特征集合。假设我们正在建立一个网络设备故障诊断系统。通过分析大量的训练数据,我们可以得到一个训练设备异常图结构,其中各个训练设备异常类型之间通过连接边相互关联。在这个图结构中,与每个训练设备异常类型相连接的样本属性特征可以被提取出来作为训练异常相关性特征。第二多源预期特征为由第一多源预期特征和训练异常相关性特征中的样本属性特征进行整合操作得到的特征。对于每个训练设备异常类型,我们可以将第一多源预期特征和与其相连的样本属性特征进行整合操作,得到一个包含更加丰富信息的特征向量,表示该设备异常类型的特征。这个特征向量就是第二多源预期特征。对于每个针对的训练设备运行音频,根据第二多源预期特征,我们可以通过比较其特征向量与各个训练设备异常类型之间的相似程度,确定与训练设备运行音频对应的预期设备异常类型。然后,通过分析预期设备异常类型与预置异常设备类别之间的偏差,我们可以优化异常设备识别模型的模型结构因子,从而提高异常设备识别的准确性和可靠性。
如此设计,通过获取样本数据集,包括训练设备运行音频、训练设备信息和预置异常设备类别。然后,对每个训练设备运行音频和相应的训练设备信息执行特征选择操作,确定预期音频特征和预期设备信息特征。接下来,将预期音频特征和预期设备信息特征进行整合操作,得到第一多源预期特征。然后,获取训练异常相关性特征,包括与训练设备异常类型相连接的样本属性特征。将第一多源预期特征与训练异常相关性特征中的样本属性特征执行整合操作,确定多个训练设备异常类型一一匹配的第二多源预期特征。最后,根据第二多源预期特征,确定与针对的训练设备运行音频匹配的预期设备异常类型,并通过优化异常设备识别模型的模型结构因子。
在一种可能的实施方式中,所述异常设备识别模型包括音频特征选择模型;对所述样本数据集中的训练设备运行音频执行特征选择操作之前,所述方法还包括:
(1)确定所述样本数据集的数据量和所述多个训练设备异常类型的种类数目;
(2)基于所述多个训练设备异常类型的种类数目,确定跨领域训练任务的复杂度;
(3)获取原始音频特征选择模型,基于所述样本数据集的数据量和所述跨领域训练任务的复杂度,确定所述原始音频特征选择模型中的可训练层;
(4)通过所述样本数据集对所述原始音频特征选择模型进行跨领域训练,以优化所述原始音频特征选择模型中可训练层的模型结构因子,确定跨领域训练的音频特征选择模型;
其中,所述跨领域训练的音频特征选择模型,用于对所述样本数据集中的训练设备运行音频进行特征选择。
在本发明实施例中,示例性的,需要确定样本数据集中的数据量以及多个训练设备异常类型的种类数目。数据量是指训练数据的数量,例如,例如,样本数据集包含1000条训练设备运行音频。针对训练设备异常类型的种类数目,例如,训练设备异常类型共有5种。针对跨领域训练任务的复杂度,例如,由于有5种不同的训练设备异常类型,因此跨领域训练任务的复杂度被认为是高的。例如,我们使用卷积神经网络(CNN)作为原始音频特征选择模型。根据样本数据集的数据量和跨领域训练任务的复杂度,确定在CNN中的某些层是可训练的。例如,将智能家居系统的训练设备运行音频数据应用于CNN的训练过程中。通过跨领域训练确定跨领域训练的音频特征选择模型,即优化模型结构因子。经过跨领域训练后的CNN模型可以用于对样本数据集中的训练设备运行音频进行特征选择。通过音频特征选择模型,从训练设备运行音频中提取出与异常设备识别相关的最重要特征。
如此设计,需要确定样本数据集的数据量和多个训练设备异常类型的种类数目。然后,基于多个训练设备异常类型的种类数目,确定跨领域训练任务的复杂度。接下来,获取原始音频特征选择模型,并根据样本数据集的数据量和跨领域训练任务的复杂度,确定其中的可训练层。通过样本数据集进行跨领域训练,优化原始音频特征选择模型中的可训练层的模型结构因子,得到跨领域训练的音频特征选择模型。最后,使用跨领域训练的音频特征选择模型对样本数据集中的训练设备运行音频进行特征选择,提取出与异常设备识别相关的最重要特征。
在一种可能的实施方式中,前述通过所述样本数据集对所述原始音频特征选择模型进行跨领域训练的步骤,可以通过以下示例执行实施。
(1)对所述样本数据集中的各个训练设备运行音频分别执行重采样操作,确定音频长度一致的多个训练设备运行音频;
(2)对音频长度一致的多个训练设备运行音频分别执行随机采样处理,确定多个随机采样音频;
(3)通过所述多个随机采样音频对所述原始音频特征选择模型进行跨领域训练。
在本发明实施例中,示例性的,需要对样本数据集中的每个训练设备运行音频进行重采样操作,以确保它们具有相同的音频长度。例如,将不同采样率的训练设备运行音频统一为相同的采样率。例如,将所有训练设备运行音频调整为10秒的长度。例如,从每个训练设备运行音频中随机选择片段作为采样音频。例如,从每个训练设备运行音频中随机选择5个片段,得到5个随机采样音频用于后续步骤。例如,将这些随机采样音频作为训练数据,与原始音频特征选择模型进行训练。通过将随机采样音频输入原始音频特征选择模型,调整模型的权重和参数,提高模型在跨领域场景中的准确性和鲁棒性。
如此设计,对样本数据集中的训练设备运行音频执行重采样操作,确保它们具有相同的音频长度。然后,对具有相同音频长度的训练设备运行音频进行随机采样处理,得到多个随机采样音频。最后,使用这些随机采样音频对原始音频特征选择模型进行跨领域训练,以优化模型的性能。
在一种可能的实施方式中,前述通过所述样本数据集对所述原始音频特征选择模型进行跨领域训练的步骤,可以通过以下示例执行实施。
(1)针对所述样本数据集中的各个训练设备运行音频,确定所针对的训练设备运行音频的预置异常设备类别;所述所针对的训练设备运行音频的预置异常设备类别为音频样本集的模式;所述音频样本集中的每个音频样本分别对应于一个训练设备异常类型,且指示所述所针对的训练设备运行音频是否与对应的训练设备异常类型相互映射;
(2)基于所述音频样本集中每个音频样本的长度,确定每个音频样本一一匹配的音频处理策略;
(3)按照每个音频样本一一匹配的音频处理策略,对所述音频样本集中每个音频样本进行处理,确定处理后的预置异常设备类别;
(4)基于所述样本数据集中各个训练设备运行音频一一匹配的处理后的预置异常设备类别,对所述原始音频特征选择模型进行跨领域训练。
在本发明实施例中,示例性的,需要为样本数据集中的每个训练设备运行音频确定其预置异常设备类别。例如,将每个训练设备运行音频与已知的训练设备异常类型进行匹配,确定其所属的异常设备类别。需要确定音频样本集中每个音频样本的长度,并为每个音频样本确定相应的音频处理策略。例如,对每个音频样本计算其时长,以确定其长度。根据每个音频样本的长度,选择合适的音频处理策略,如短时傅里叶变换(STFT)或小波变换。需要根据每个音频样本对应的音频处理策略,对音频样本集中的每个音频样本进行相应的处理,以得到处理后的预置异常设备类别。如,对于使用STFT作为音频处理策略的音频样本,将其转换为频谱图。根据处理后的音频样本,重新确定其所属的预置异常设备类别。根据每个训练设备运行音频匹配到的处理后的预置异常设备类别,对原始音频特征选择模型进行跨领域训练。使用样本数据集中的各个训练设备运行音频所匹配到的处理后的预置异常设备类别作为标签,对原始音频特征选择模型进行训练。比如,将处理后的预置异常设备类别作为训练数据的标签,用于指导模型的学习和优化。通过输入训练设备运行音频及其匹配到的处理后的预置异常设备类别,调整原始音频特征选择模型的参数和权重,以提高模型在跨领域场景中的准确性和泛化能力。
如此设计,首先,针对样本数据集中的每个训练设备运行音频,确定其预置异常设备类别。然后,根据音频样本集中每个音频样本的长度,确定每个音频样本对应的音频处理策略,并对音频样本集中的每个音频样本进行处理,得到处理后的预置异常设备类别。最后,基于样本数据集中各个训练设备运行音频匹配到的处理后的预置异常设备类别,对原始音频特征选择模型进行跨领域训练,以提高模型的性能和泛化能力。
在一种可能的实施方式中,在所述优化所述异常设备识别模型的模型结构因子之后,本发明实施例还提供以下示例。
(1)获取验证数据集,并通过模型结构因子优化后的异常设备识别模型对所述验证数据集中的验证设备运行音频进行设备异常类型的预期,确定预期结果;
(2)当所述预期结果的期望精度未达到预置期望精度标准时,对所述样本数据集中的训练设备信息和所述验证数据集中的验证设备信息进行频繁属性分析,确定多个频繁出现的描述字符;每个所述频繁出现的描述字符,为在所述样本数据集和所述验证数据集中出现频率满足预置频繁出现标准的描述字符;
(3)确定多个预先设置的设备运行音频提供方,并从多个设备运行音频提供方中获取所述多个频繁出现的描述字符一一匹配的设备运行音频,确定多个辅助训练设备运行音频;
(4)基于所述样本数据集和所述多个辅助训练设备运行音频,对优化所述模型结构因子后的异常设备识别模型执行二次训练操作。
在本发明实施例中,示例性的,需要使用经过模型结构因子优化后的异常设备识别模型对验证数据集中的验证设备运行音频进行预测,以确定其设备异常类型的预期结果。例如,从真实环境中收集的一组包含各种设备运行音频的数据集。通过将验证数据集中的验证设备运行音频输入到已优化的异常设备识别模型中,预测每个音频所对应的设备异常类型。根据模型的预测结果,确定每个验证设备运行音频的设备异常类型的预期结果。当预期结果的期望精度不满足预置期望精度标准时,对样本数据集中的训练设备信息和验证数据集中的验证设备信息进行频繁属性分析,以确定多个频繁出现的描述字符。例如,对样本数据集和验证数据集中的设备信息进行统计和分析,识别出经常出现的设备属性描述字符。根据频繁属性分析的结果,确定在样本数据集和验证数据集中频繁出现且满足预置频繁出现标准的设备属性描述字符。需要确定多个预先设置的设备运行音频提供方,并从这些提供方中获取与多个频繁出现的描述字符一一匹配的设备运行音频,以确定多个辅助训练设备运行音频。例如,预先选择了几个可靠的设备运行音频供应商或数据来源。根据前面步骤的分析结果,确定了多个在样本数据集和验证数据集中频繁出现的描述字符。从多个设备运行音频提供方中,找到与每个频繁出现的描述字符相匹配的设备运行音频样本。通过匹配的设备运行音频,得到多个用于辅助训练的设备运行音频样本。利用样本数据集中的训练设备信息、验证数据集中的验证设备信息以及多个辅助训练设备运行音频,对优化后的异常设备识别模型进行二次训练。通过前面步骤3获取到的多个辅助训练设备运行音频样本。使用样本数据集和多个辅助训练设备运行音频,对已经经过模型结构因子优化的异常设备识别模型进行再次训练,以进一步提高模型性能和精度。
如此设计,在优化异常设备识别模型的模型结构因子之后,进一步进行了验证数据集的预期结果确定、频繁属性分析、辅助训练设备运行音频的获取,并将这些信息用于二次训练操作,从而提高异常设备识别模型的准确性和泛化能力。
本发明实施例提供一种计算机设备100,计算机设备100包括处理器及存储有计算机指令的非易失性存储器,计算机指令被处理器执行时,计算机设备100执行前述的基于设备运行音频的设备异常状态确定方法。如图2所示,图2为本发明实施例提供的计算机设备100的结构框图。计算机设备100包括存储器111、处理器112及通信单元113。为实现数据的传输或交互,存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接。例如,可通过一条或多条通讯总线或信号线实现这些元件相互之间电性连接。
出于说明目的,前面的描述是参考具体实施例而进行的。但是,上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导,众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用,从而使本领域技术人员最佳地利用本公开,并利用具有不同修改的各种实施例以适于预期的特定应用。出于说明目的,前面的描述是参考具体实施例而进行的。但是,上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导,众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用,从而使本领域技术人员最佳地利用本公开,并利用具有不同修改的各种实施例以适于预期的特定应用。
Claims (9)
1.一种基于设备运行音频的设备异常状态确定方法,其特征在于,所述方法包括:
获取待识别设备运行音频和所述待识别设备运行音频的待识别设备信息,并对所述待识别设备运行音频和所述待识别设备信息分别执行特征选择操作,确定音频特征和设备信息特征;
对所述音频特征和所述设备信息特征执行整合操作,确定第一多源特征;
获取异常相关性特征;所述异常相关性特征,包括预先设置的设备异常图结构中多个设备异常类型一一匹配的属性特征;所述多个设备异常类型指示设备异常情况下的多个详细分类情况;针对各个所述设备异常类型,所针对设备异常类型的属性特征,包括所针对设备异常类型的类别信息,还包括所述设备异常图结构中与所述所针对设备异常类型相连接设备异常类型的类别信息;
将所述第一多源特征分别与所述异常相关性特征中的各属性特征执行整合操作,确定所述多个设备异常类型一一匹配的第二多源特征;
根据所述多个设备异常类型一一匹配的第二多源特征,从所述多个设备异常类型中,确定与所述待识别设备运行音频对应的目标设备异常类型;所述目标设备异常类型用于表征所述待识别设备运行音频中的设备异常状态;
所述目标设备异常类型是通过异常设备识别模型输出确定;所述异常设备识别模型是通过以下方式获取的:
获取样本数据集;所述样本数据集包括多个训练设备运行音频、所述多个训练设备运行音频一一匹配的训练设备信息和预置异常设备类别;
针对所述多个训练设备运行音频中的各个训练设备运行音频,对所针对的训练设备运行音频和相应训练设备信息分别执行特征选择操作,确定预期音频特征和预期设备信息特征;
对所述预期音频特征和预期设备信息特征执行整合操作,确定第一多源预期特征;
获取训练异常相关性特征;所述训练异常相关性特征,包括训练设备异常图结构中多个训练设备异常类型一一匹配的样本属性特征;针对各个所述训练设备异常类型,所针对训练设备异常类型的样本属性特征,包括所针对训练设备异常类型的类别信息,还包括所述训练设备异常图结构中与所述所针对训练设备异常类型相连接的训练设备异常类型的类别信息;
将所述第一多源预期特征分别与所述训练异常相关性特征中各样本属性特征执行整合操作,确定所述多个训练设备异常类型一一匹配的第二多源预期特征;
根据所述多个训练设备异常类型一一匹配的第二多源预期特征,确定所述多个训练设备异常类型中与所述针对的训练设备运行音频对应的预期设备异常类型,并根据所述预期设备异常类型和与所述所针对的训练设备运行音频匹配的预置异常设备类别之间的偏差,优化所述异常设备识别模型的模型结构因子;
获取验证数据集,并通过模型结构因子优化后的异常设备识别模型对所述验证数据集中的验证设备运行音频进行设备异常类型的预期,确定预期结果;
当所述预期结果的期望精度未达到预置期望精度标准时,对所述样本数据集中的训练设备信息和所述验证数据集中的验证设备信息进行频繁属性分析,确定多个频繁出现的描述字符;每个所述频繁出现的描述字符,为在所述样本数据集和所述验证数据集中出现频率满足预置频繁出现标准的描述字符;
确定多个预先设置的设备运行音频提供方,并从多个设备运行音频提供方中获取所述多个频繁出现的描述字符一一匹配的设备运行音频,确定多个辅助训练设备运行音频;
基于所述样本数据集和所述多个辅助训练设备运行音频,对优化所述模型结构因子后的异常设备识别模型执行二次训练操作。
2.根据权利要求1所述的方法,其特征在于,所述异常设备识别模型包括音频特征选择模型;对所述样本数据集中的训练设备运行音频执行特征选择操作之前,所述方法还包括:
确定所述样本数据集的数据量和所述多个训练设备异常类型的种类数目;
基于所述多个训练设备异常类型的种类数目,确定跨领域训练任务的复杂度;
获取原始音频特征选择模型,基于所述样本数据集的数据量和所述跨领域训练任务的复杂度,确定所述原始音频特征选择模型中的可训练层;
通过所述样本数据集对所述原始音频特征选择模型进行跨领域训练,以优化所述原始音频特征选择模型中可训练层的模型结构因子,确定跨领域训练的音频特征选择模型;
其中,所述跨领域训练的音频特征选择模型,用于对所述样本数据集中的训练设备运行音频进行特征选择。
3.根据权利要求2所述的方法,其特征在于,所述通过所述样本数据集对所述原始音频特征选择模型进行跨领域训练,包括:
对所述样本数据集中的各个训练设备运行音频分别执行重采样操作,确定音频长度一致的多个训练设备运行音频;
对音频长度一致的多个训练设备运行音频分别执行随机采样处理,确定多个随机采样音频;
通过所述多个随机采样音频对所述原始音频特征选择模型进行跨领域训练;
所述通过所述样本数据集对所述原始音频特征选择模型进行跨领域训练,还包括:
针对所述样本数据集中的各个训练设备运行音频,确定所针对的训练设备运行音频的预置异常设备类别;所述所针对的训练设备运行音频的预置异常设备类别为音频样本集的模式;所述音频样本集中的每个音频样本分别对应于一个训练设备异常类型,且指示所述所针对的训练设备运行音频是否与对应的训练设备异常类型相互映射;
基于所述音频样本集中每个音频样本的长度,确定每个音频样本一一匹配的音频处理策略;
按照每个音频样本一一匹配的音频处理策略,对所述音频样本集中每个音频样本进行处理,确定处理后的预置异常设备类别;
基于所述样本数据集中各个训练设备运行音频一一匹配的处理后的预置异常设备类别,对所述原始音频特征选择模型进行跨领域训练。
4.根据权利要求1所述的方法,其特征在于,在所述获取异常相关性特征之前,所述方法还包括:
获取设备异常图结构;所述设备异常图结构包括多个设备异常类型,且相互影响的设备异常类型之间基于关系边连接;
根据所述设备异常图结构构建关系连接向量和数字表示向量;所述数字表示向量包括所述多个设备异常类型一一匹配的数字表示;所述关系连接向量用于指示所述多个设备异常类型之间的关联性;
将所述关系连接向量与数字表示向量执行整合操作,确定初始阶段的数据合并向量;
从初始阶段之后阶段中的现行阶段中,将上一阶段生成的数据合并向量与所述关系连接向量执行整合操作,确定现行阶段生成的数据合并向量;
将后一阶段作为现行阶段,并返回至将上一阶段生成的数据合并向量与所述关系连接向量执行整合操作的步骤重复执行,直到满足第一预置终止规则时终止操作;
根据最终阶段生成的数据合并向量,确定异常相关性特征。
5.根据权利要求4所述的方法,其特征在于,所述数字表示向量中的数字表示位置信息与设备异常类型满足双射关系,所述关系连接向量中的关系连接位置信息与设备异常类型满足双射关系;在所述数字表示向量和所述关系连接向量中,位置信息一致的数字表示位置信息和关系连接位置信息所对应的设备异常类型一致;
所述将所述关系连接向量与数字表示向量执行整合操作,确定初始阶段的数据合并向量,包括:
将所述关系连接向量与所述数字表示向量进行向量内积,确定内积向量;
将所述内积向量与所述数字表示向量进行合并,确定合并向量;
对所述合并向量执行标准化操作,确定初始阶段的数据合并向量。
6.根据权利要求1所述的方法,其特征在于,所述待识别设备运行音频的特征选择步骤包括:
确定音频特征选择模型;所述音频特征选择模型包括多个连续的跳跃连接块;
通过所述音频特征选择模型中的首个跳跃连接块对所述待识别设备运行音频执行特征选择操作,确定最终音频特征;
从初始阶段之后阶段中的现行阶段中,确定所述音频特征选择模型中与所述现行阶段匹配的现行跳跃连接块;
通过所述现行跳跃连接块对前序跳跃连接块生成的最终音频特征执行特征选择操作,确定过渡音频特征;
将所述前序跳跃连接块生成的最终音频特征与所述过渡音频特征执行特征组合操作,确定所述现行跳跃连接块生成的最终音频特征;
将后一阶段作为现行阶段,返回确定所述音频特征选择模型中与所述现行阶段匹配的现行跳跃连接块的步骤重复执行,直到满足第二预置终止规则时终止操作;
根据最终阶段生成的最终音频特征,确定所述待识别设备运行音频的音频特征。
7.根据权利要求1所述的方法,其特征在于,所述待识别设备信息的特征选择步骤包括:
对于所述待识别设备信息中的各个设备描述内容,对当前设备描述内容的指示符进行数字转换,确定与所述当前设备描述内容对应的设备描述内容矢量;
对于所述当前设备描述内容中的每个描述属性,确定当前描述属性在所述当前设备描述内容中的排序信息,并对所述排序信息进行数字转换,确定与所述当前描述属性对应的位置属性矢量;
对所述当前描述属性进行描述表述学习,确定与所述当前描述属性对应的描述属性矢量,并根据与所述当前设备描述内容对应的设备描述内容矢量和与所述当前描述属性对应的位置属性矢量和描述属性矢量,确定与所述当前描述属性对应的数字表示;
根据所述待识别设备信息中各描述属性一一匹配的数字表示,确定所述待识别设备信息的设备信息特征。
8.根据权利要求1所述的方法,其特征在于,所述对所述音频特征和所述设备信息特征执行整合操作,确定第一多源特征,包括:
获取与所述音频特征对应的参数组和与所述设备信息特征对应的参数组;每个所述参数组为对预置对应的参数矩阵进行矩阵简化确定的简化参数矩阵的数据集;
将与所述音频特征对应的参数组中的每个简化参数矩阵,分别与所述音频特征执行整合操作,确定多个赋权音频特征;
将与所述设备信息特征对应的参数组中的每个简化参数矩阵,分别与所述设备信息特征执行整合操作,确定多个赋权设备信息特征;
对所述多个赋权音频特征和所述多个赋权设备信息特征执行整合操作,确定第一多源特征;
所述与所述音频特征对应的参数组是通过以下方式得到的:
获取与所述音频特征相应的预置参数矩阵;
确定与所述音频特征相应的预置参数矩阵的等级;所述与所述音频特征相应的预置参数矩阵的等级,指示与所述音频特征相应的预置参数矩阵的尺寸;
将与所述音频特征相应的预置参数矩阵解构为多个等级表征为一阶矩阵的简化参数矩阵;解构确定的简化参数矩阵的数目,与所述音频特征所相应的预置参数矩阵的等级相同。
9.一种服务器系统,其特征在于,包括服务器,所述服务器用于执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311768743.9A CN117725402B (zh) | 2023-12-21 | 2023-12-21 | 一种基于设备运行音频的设备异常状态确定方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311768743.9A CN117725402B (zh) | 2023-12-21 | 2023-12-21 | 一种基于设备运行音频的设备异常状态确定方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117725402A CN117725402A (zh) | 2024-03-19 |
CN117725402B true CN117725402B (zh) | 2024-05-28 |
Family
ID=90203299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311768743.9A Active CN117725402B (zh) | 2023-12-21 | 2023-12-21 | 一种基于设备运行音频的设备异常状态确定方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117725402B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115101052A (zh) * | 2022-06-23 | 2022-09-23 | 腾讯音乐娱乐科技(深圳)有限公司 | 音频识别方法及计算机设备 |
JP7240691B1 (ja) * | 2021-09-08 | 2023-03-16 | 山東大学 | データドライブの能動配電網異常状態検知方法及びシステム |
CN115935344A (zh) * | 2022-12-26 | 2023-04-07 | 北京奇艺世纪科技有限公司 | 一种异常设备的识别方法、装置及电子设备 |
-
2023
- 2023-12-21 CN CN202311768743.9A patent/CN117725402B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7240691B1 (ja) * | 2021-09-08 | 2023-03-16 | 山東大学 | データドライブの能動配電網異常状態検知方法及びシステム |
CN115101052A (zh) * | 2022-06-23 | 2022-09-23 | 腾讯音乐娱乐科技(深圳)有限公司 | 音频识别方法及计算机设备 |
CN115935344A (zh) * | 2022-12-26 | 2023-04-07 | 北京奇艺世纪科技有限公司 | 一种异常设备的识别方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117725402A (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111914873B (zh) | 一种两阶段云服务器无监督异常预测方法 | |
CN112785016B (zh) | 基于机器学习的新能源汽车保养维护与故障监测诊断方法 | |
CN111325095B (zh) | 基于声波信号的设备健康状态智能检测方法和系统 | |
CN110995475B (zh) | 一种基于迁移学习的电力通信网故障检测方法 | |
Cabrera et al. | Automatic feature extraction of time-series applied to fault severity assessment of helical gearbox in stationary and non-stationary speed operation | |
CN111368890A (zh) | 故障检测方法及装置、信息物理融合系统 | |
CN109633369B (zh) | 一种基于多维数据相似性匹配的电网故障诊断方法 | |
KR102361423B1 (ko) | 인공지능 기반의 정비 수요 예측 시스템 및 방법 | |
CN113919540B (zh) | 一种生产过程运行状态的监测方法及相关设备 | |
US20230376398A1 (en) | System and method for predicting remaining useful life of a machine component | |
Kefalas et al. | Automated machine learning for remaining useful life estimation of aircraft engines | |
CN116414990A (zh) | 一种车辆故障诊断与预防方法 | |
CN115238785A (zh) | 基于图像融合和集成网络的旋转机械故障诊断方法和系统 | |
CN113438114A (zh) | 互联网系统的运行状态监控方法、装置、设备及存储介质 | |
CN117473411A (zh) | 基于改进Transformer模型的轴承寿命预测方法 | |
CN118193274A (zh) | 分布式系统的异常处理方法、装置、设备及可读介质 | |
CN117707902A (zh) | 基于机器学习的自动化日志解析方法、系统、电子装置和存储介质 | |
CN117933531A (zh) | 一种分布式光伏发电功率预测系统及方法 | |
CN117474529A (zh) | 一种电网智慧运维系统 | |
CN117725402B (zh) | 一种基于设备运行音频的设备异常状态确定方法及系统 | |
CN117409890A (zh) | 一种基于双向长短时记忆的变压器故障自辨识方法及系统 | |
CN117218405A (zh) | 一种电池生产设备故障数字诊断方法 | |
CN116720095A (zh) | 一种基于遗传算法优化模糊c均值的电特性信号聚类方法 | |
US20220177154A1 (en) | Testing system and method for detecting anomalous events in complex electro-mechanical test subjects | |
EP3816805A1 (en) | Analysis of anomalies in a facility |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |