CN115574932A - 检测方法、装置、存储介质及检测设备 - Google Patents

Abstract

一种检测方法、装置、存储介质及检测设备。该方法包括：获取待检测对象的对象音频，对象音频在待检测对象受激振动时采集得到；获取松动检测模型，松动检测模型根据正样本对象音频和负样本对象音频训练得到，正样本对象音频在零部件未松动的正样本对象受激振动时采集得到，负样本对象音频在零部件松动的负样本对象受激振动时采集得到；根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果。本申请能够提高对待检测对象的零部件进行检测的效率。

Description

检测方法、装置、存储介质及检测设备

技术领域

本申请涉及设施检测技术领域，具体涉及一种检测方法、装置、存储介质及检测设备。

背景技术

塔架作为各类线路的支撑结构，在各类线路的搭建与使用过程中具有重要作用。

但大多数塔架因设于室外而长期遭受环境侵蚀，比如，风力、地震等环境因素诱发塔架振动。塔架的振动会致使其上的零部件松动，进而容易引发塔架坍塌，影响各类线路的正常使用。

一般地，会由工作人员活动塔架的零部件，以检测该零部件是否松动。由于塔架体积较大，其上分布的零部件较多，通过人工检测零部件是否松动的方式会导致检测效率低下。

发明内容

本申请提供了一种检测方法、装置、存储介质及检测设备，能够提高对零部件的检测效率。

本申请提供的检测方法，方法包括：

获取待检测对象的对象音频，对象音频在待检测对象受激振动时采集得到；

获取松动检测模型，松动检测模型根据正样本对象音频和负样本对象音频训练得到，正样本对象音频在零部件未松动的正样本对象受激振动时采集得到，负样本对象音频在零部件松动的负样本对象受激振动时采集得到；

根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果。

本申请提供的检测装置，包括：

音频获取模块，用于获取待检测对象的对象音频，对象音频在待检测对象受激振动时采集得到；

模型获取模块，用于获取松动检测模型，松动检测模型根据正样本对象音频和负样本对象音频训练得到，正样本对象音频在零部件未松动的正样本对象受激振动时采集得到，负样本对象音频在零部件松动的负样本对象受激振动时采集得到；

松动检测模块，用于根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果。

本申请提供的存储介质，其上存储有计算机程序，当计算机程序被处理器加载时执行如本申请提供的检测方法中的步骤。

本申请提供的检测设备，包括处理器和存储器，存储器存有计算机程序，处理器通过加载计算机程序，用于执行本申请提供的检测方法中的步骤。

本申请中，根据待检测对象在受激振动时的对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果。其中，待检测对象振动会带动其上的零部件产生振动，根据对象音频能够分析出零部件产生振动时的音频特征。另外，松动检测模型是通过正样本对象音频和负样本对象音频训练得到的，正样本对象音频是在零部件未松动的正样本对象受激振动时采集得到，负样本对象音频是在零部件松动的负样本对象受激振动时采集得到，故而，通过松动检测模型进行松动检测，能够得到待检测对象的零部件松动或未松动的检测结果。相比于现有技术而言，本申请方案并不需要工作人员手动活动零部件逐一检测每个零部件是否松动，提高了对零部件的检测效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的检测方法的应用场景示意图。

图2为本申请实施例提供的检测方法的流程示意图。

图3为检测方法中根据俯仰角和方位角确定声源之间的位置差异的示意图。

图4为检测方法中根据检测设备与待检测对象之间的位置关系确定预设检测区域的示意图。

图5为检测方法中检测设备移动时的示意图。

图6为检测方法中在外部设备显示检测图像的示意图。

图7为检测方法中在外部设备显示检测图像的示意图。

图8为检测方法中外部设备与检测设备进行交互的示意图。

图9为本申请实施例提供的检测方法的细节流程示意图。

图10是本申请实施例提供的检测装置的结构框图。

图11是本申请实施例提供的检测设备的结构框图。

具体实施方式

需要说明的是，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其他具体实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请以下实施例中所涉及的诸如第一和第二等关系术语仅用于将一个对象或者操作与另一个对象或者操作区分开来，并不用于限定这些对象或操作之间存在着实际的顺序关系。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能、感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括机器学习(Machine Learning,ML)技术，其中，深度学习(Deep Learning，DL)是机器学习中一个新的研究方向，它被引入机器学习以使其更接近于最初的目标，即人工智能。目前，深度学习主要应用在计算机视觉、自然语言处理等领域。

深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。

为了解决相关技术中的不足，本申请引入了基于深度学习的松动检测模型，以根据待检测对象的对象音频对待检测对象的零部件进行松动检测，从而提高了对待检测对象的零部件进行检测的效率。

其中，待检测对象包括但不限于各类会因外力作用而产生振动的设施或设备，或者，各类在运转过程中会产生振动的设施或设备。其中，因外力作用而产生振动的设施或设备可包括各类输电线路的铁塔(也称输电塔)、风力发电塔、各类通讯线路的铁塔(也称通讯塔)等各类包括塔架的设施，也可包括路灯、桥梁、广告牌、基站等户外设施。受外力作用可比如为风力作用、地震、雷雨等。其中，在运转过程中会产生振动的设施或设备可包括各类通过电机驱动的设备，比如，印刷机、造纸机、搅拌机等。

其中，待检测对象上的零部件包括但不限于具有联接作用的联接件(如采用螺纹联接、螺栓连接、楔联接、销联接、键联接、花键联接、过盈配合联接、弹性环联接等联接方式的零部件)、具有能量传动作用的传动部件(如齿轮传动、键传动、螺旋传动等所采用的零部件)等，由于不同的设施或设备上设置的零部件不同，且不同的零部件在不同的设施或设备上所起的作用也不同，故而，此处不再逐一列举零部件，只需说明的是，零部件在待检测对象上，且待检测对象振动时零部件有可能会发生松动，可以理解地，凡是符合该条件的零部件均可应用于本申请实施例提供的方案中，且设置有此类零部件的设备或设施也均可称为本申请实施例中提及的待检测对象。

在以下实施例中，以待检测对象为处于户外的设施或设备，零部件为联接件为例介绍本申请实施例提供的方案。其中，处于户外的设施或设备会长期处于动态的风荷载中，容易诱发其上的零部件因振动而产生松动，一旦设施或设备上的任意零部件产生松动，会致使零部件从设施或设备上脱落，或者零部件对设施或设备上其他部件的连接作用失效，最终致使设施或设备坍塌或不能正常使用。

基于此，本申请实施例提供了一种检测方法、装置、存储介质及设备，以对待检测对象上的零部件进行松动检测，其中，检测方法的执行主体为本申请实施提供的检测装置，或者集成了该检测装置的检测设备。其中，该检测装置可以采用硬件或软件的方式实现。检测设备可以是各类电子设备，如电脑、平板等，也可以是各类具有麦克风阵列的检测仪器，如声像仪、声音检测仪等，还可以是各种智能设备，如无人机、机器人等。

首先，请参阅图1，图1为本申请实施例提供的检测方法的应用场景示意图，在该应用场景中，将输电塔作为待检测对象，将输电塔上的螺栓作为零部件，将声音检测仪作为检测设备。在检测输电塔上的螺栓时，将声音检测仪靠近输电塔，以在输电塔受激振动时采集输电塔振动的音频。之后，声音检测仪对输电塔振动的音频进行分析，以分析输电塔上的螺栓是否松动。

其中，声音检测仪也可仅采集输电塔振动的音频，然后将音频传送至外部设备进行分析，以通过外部设备分析输电塔上的螺栓是否松动。具体的实施方式此处并不进行限定，可根据实际需求选用。

具体地，请参照图2，图2为本申请实施例提供的检测方法的流程示意图。如图2所示，本申请实施例提供的检测方法的流程可以如下：

在S110中，获取待检测对象的对象音频，对象音频在待检测对象受激振动时采集得到。

其中，检测设备可从外部设备获取其采集的待检测对象受激振动时的对象音频，外部设备可以包括麦克风阵列、音频传感器、声音检测仪等。当然地，检测设备还可通过其自带的音频采集功能采集待检测对象受激振动时的对象音频。具体实施方式可根据检测设备所具有的功能或构造选用。

示例性地，还可在待检测对象上设置振动源，该振动源可以包括振动电机，更具体地，该振动电机可为回转式振动电机。通过启动振动源以带动待检测对象振动，其中，启动振动源可以是通过检测设备向振动源发送启动信号，以使得振动源启动。当然地，若检测对象上具有自带的振动源，也可以启动其自带的振动源，使得待检测对象振动。

在待检测对象振动时，通过采集该待检测对象振动的音频，将采集的该音频称为对象音频，其中，对象音频能够描述待检测对象在受激振动时所产生的声音。

示例性地，可通过调整振动源的转速，以持续增大振动源的振动频率，直至振动频率最大后关停振动源，并通过反复启动或关停振动源，以不断对待检测对象施加振动外力，使得待检测对象受激振动，且受激振动的频率不断调整，以采集待检测对象在不同频率振动时的对象音频。

其中，通过采集待检测对象在不同频率振动时的对象音频，能够通过对不同的对象音频进行对比分析，以准确地识别出待检测对象上松动的零部件，提高了松动检测的准确性。

在S120中，获取松动检测模型，松动检测模型根据正样本对象音频和负样本对象音频训练得到，正样本对象音频在零部件未松动的正样本对象受激振动时采集得到，负样本对象音频在零部件松动的负样本对象受激振动时采集得到。

本实施例中，基于深度学习构建了一个初始检测模型，并基于正样本对象音频和负样本对象音频对初始检测模型进行训练，使得初始检测模型学习正样本对象音频与零部件未松动的检测结果之间的映射关系，以及学习负样本对象音频与零部件松动的检测结果之间的映射关系，以完成对初始检测模型的训练。其中，训练好的初始检测模型能够对待检测对象的对象音频进行松动检测，以检测出零部件是否松动，而该能够检测零部件是否松动的初始检测模型称为本实施例提供的松动检测模型。

示例性地，初始检测模型可包括但不限于卷积神经网络(CNN)、深度神经网络(Deep Neural Networks，简称DNN)、循环神经网络(RNN)、长短时记忆网络(LongShortTerm Memory，简称LSTM)等。

其中，正样本对象音频可以在零部件未振动的正样本对象受激振动时采集得到，该正样本对象可以为仿照待检测对象搭建的实验模型，还可为与待检测对象相同或相似的另一实体的设施或设备，在具体实现时可根据实际需求选择。在正样本对象上的零部件未松动时，通过使得正样本对象受激振动产生声音，并对正样本对象振动的声音进行采集，以得到正样本对象音频。其中，正样本对象音频还具有标签，该标签指示零部件未松动。

相应地，在负样本对象上的零部件松动时，通过使得负样本对象受激振动产生声音，并对负样本对象振动的声音进行采集，以得到负样本对象音频。其中，负样本对象音频还具有标签，该标签指示零部件松动。该负样本对象也可为实验模型或另一实体的设施或设备，或者，在对正样本对象上的零部件采取松动措施以得到其松动之后，该正样本对象可转换为负样本对象，由于实施方式有多种，可根据实际需求选用。

在S130中，根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果。

通过将对象音频输入松动检测模型中提取音频特征，以根据音频特征预测该对象音频为零部件松动时待检测对象受激振动所产生的声音，还是零部件未松动时待检测对象受激振动所产生的声音，即检测结果为零部件松动和零部件未松动的其中之一。

当检测结果描述的是待检测对象上的零部件未松动，说明待检测对象可以正常使用，可不做处理。当检测结果描述的是待检测对象上的零部件松动，说明待检测对象存在坍塌或不能正常使用的风险，针对此种情况可采取相应的措施以应对此类情况，避免待检测对象坍塌或不能正常使用。

其中，应对措施可比如为由检测设备发出信息提示，以提醒工作人员及时对松动的零部件进行更换或修理等。而发出信息提示的方式也有多种，比如发出警报以提醒工作人员，向工作人员的手机发送提示信息，向待处理对象对应的服务器发送信号以将该信号传递到对待处理对象进行监控的外部设备等。

本实施例提供的方案，通过获取待检测对象在受激振动时所采集的对象音频，并根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，以得到待检测对象上存在松动的零部件，或者不存在松动的零部件的检测结果，以便于工作人员根据该检测结果采取相应的应对措施，从而降低待检测对象坍塌或不能正常使用的风险。且通过对对象音频进行分析，能够实现同时对待检测对象上的至少一个零部件的松动检测，实现了一次性地检测多个零部件，且并不需要工作人员操作零部件进行检测，一方面提高了对零部件进行松动检测的效率，另一方面保障了工作人员的人身安全。再者，相关技术中通过人工对零部件进行松动检测，受人工主观判断的影响，还不可避免地存在对零部件的漏检或错检等情况，本实施例通过获取待检测对象的对象音频能够更加全面地覆盖待检测对象上各个零部件振动的情况，在实现对多个零部件进行松动检测的同时，还能够更加全面地对待检测对象上的零部件进行检测，且得到的检测结果更加准确。

在一些实施例中，获取松动检测模型之前，还包括：

获取正样本对象音频和多类负样本对象音频，每一类负样本对象音频对应零部件不同的松动程度；

根据正样本对象音频和多类负样本对象音频进行模型训练，直至满足预设停止条件，得到松动检测模型。

在本实施例中还提供了另一种对初始检测模型进行训练的方式。

具体地，用于对初始检测模型进行训练的负样本对象音频有多类，每一类负样本对象音频是负样本对象上的零部件在某一个松动程度时，通过使得负样本对象受激振动产生声音，并对负样本对象的声音进行采集，以得到该松动程度对应的一类负样本对象音频，而不同类别的负样本对象音频对应的零部件的松动程度是不同的。

其中，负样本对象音频的类别数量可按照预设规则进行划分，比如，划分为松动程度高的负样本对象音频和松动程度低的负样本对象音频。还比如，划分为轻微松动的负样本对象音频、中度松动的负样本对象音频以及重度松动的负样本对象音频。由于可划分方式有多种，还可将其划分为更多的类别，比如4种类别、5种类别等，此处并不进行限定，只要能够描述零部件的松动程度之间的差异即可。

在基于正样本对象音频和多类负样本对象音频对初始检测模型进行训练之后，将训练好的初始检测模型称为本实施例提供的松动检测模型。通过将对象音频输入该松动检测模型中提取音频特征，以根据音频特征预测待检测对象的零部件的检测结果，其中，检测结果描述的是零部件未松动，或者零部件松动时对应的松动程度。

示例性地，在根据正样本对象音频和多类负样本对象音频对初始检测模型进行训练之前，还可以先设定一个预设停止条件以控制模型的训练程度或训练次数，其中，该预设停止条件可包括模型收敛，模型的训练次数达到指定训练次数，模型的验证结果通过等其中的一种或多种，具体可根据实际需求选用。

本实施例通过松动检测模型对待检测对象的零部件进行松动检测，以在零部件松动时还能够预测出零部件的松动程度，更进一步地提高了对零部件进行松动检测的精确度。且便于针对零部件的松动程度采取相应的措施以应对不同的松动情况，其中，不同的松动程度对应的应对措施可不相同，此种方式更能够适应实际需求，使得应对方式更加灵活。

在根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测时，还引入了声源定位技术，以定位出待检测对象的声源，其中，若待检测对象的零部件能够因振动发出响动，即可将其称之为待检测对象的声源。

声源定位，通过麦克风阵列对不同位置点的声源进行测量，由于声信号到达不同麦克风的时间有不同程度的延迟(也被称为时延)，利用算法对测量得到的声信号进行处理，由此获得声源相对于麦克风的到达方向(包括方位角，俯仰角)和距离等。

本实施例中，可在检测设备上集成麦克风阵列以检测待检测对象的声源，从而定位出声源的位置。

在一些实施例中，根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果，包括：

确定待检测对象的声源；

从对象音频中提取声源的声源音频；

将声源音频输入松动检测模型，得到检测结果，检测结果用于描述声源对应的零部件未松动，或者描述声源对应的零部件的松动程度。

其中，通过检测设备上麦克风阵列定位待检测对象在受激振动时其的声源分布，以得到每一声源的位置，其中，一个声源的位置可以指示待检测对象受激振动时在待检测对象上或周围有一个发出响动的物件，该物件可能为待检测对象的零部件，也可能为非零部件的干扰物件，具体可通过松动检测模型进一步对其进行辨别。

示例性地，可从对象音频中提取声源的声源音频，而提取出的声源音频的数量可根据声源的数量而定，当有一个声源时，可直接将对象音频输入松动检测模型进行松动检测，得到一个松动检测结果，该一个松动检测结果能够指示该声源对应的零部件的松动情况，即该声源对应的零部件未松动，或者该声源对应的零部件的松动程度。

当有多个声源时，从对象音频中分别提取出每一个声源的声源音频，并将每一声源的声源音频逐一输入松动检测模型中对该声源对应的零部件进行松动检测，得到该声源对应的零部件的检测结果。

其中，在对每一声源对应的零部件进行松动检测，得到每一声源对应的零部件的检测结果之后，根据检测结果还可确定出待检测对象中出现松动的零部件的数量，以及每一松动的零部件的松动程度及其在待检测对象上的位置。

作为一种示例，还可在确定出待检测对象中出现松动的零部件的数量之后，根据该待检测对象上零部件的总数量确定出松动的零部件在总数量中的比例，进而根据该比例预估待检测对象出现坍塌或不能正常使用的概率。比如，在比例高时，待检测对象出现坍塌的可能性很高，或者不能正常使用的概率很高。在比例低时，待检测对象出现坍塌的可能性较低，或者不能正常使用的概率较低。更进一步地，还可根据对待检测对象的预估情况发出对应的提示，比如，在预估待检测对象出现坍塌的可能性很高时，发出紧急预警，提示待检测对象周围的人群紧急撤离，或者发出预警信息提供工作人员及时采取应急措施等。

作为另一种示例，还可在确定出每一松动的零部件的松动程度之后，确定零部件中是否存在松动程度大于预设阈值的目标松动程度，若是，则采取对应的应急措施。其中，可针对不同的松动程度采取不同的提示方式，以使得工作人员采取不同的应对措施，比如，针对松动程度较高的零部件，可提示工作人员立刻去对待检测对象周围的人物进行疏散，或者，以辅助设备支撑待检测对象延缓待检测对象的坍塌事件的发生。针对松动程度较低的零部件，可提示工作人员去对零部件进行复位，并将零部件的位置提示给工作人员。

作为又一种示例，在确定出松动的零部件的位置之后，在工作人员对待检测对象上的零部件进行检修时，还可直接根据零部件的位置快速定位出现松动的零部件，避免了需要工作人员对所有零部件进行逐一查看，提高了对零部件进行检修的效率，且避免了对零部件进行漏检，能够极大程度地降低因零部件松动造成待检测对象坍塌或不能正常使用的风险。

示例性地，在针对某一声源的声源音频进行提取时，还可采用波束形成算法根据该声源的位置对从此位置发出的声音进行加强，从而得到该声源的声源音频。

具体地，将需要提取声源音频对应的声源称为目标声源，通过波束形成算法增强目标声源所在方向的声音信号，抑制除目标声源所在方向之外的声音信号。其中，波束形成算法通过调整麦克风阵列的基本单元参数，使得某些角度的信号获得相长干涉，而另一些角度的信号获得相消干涉。对麦克风阵列的各个阵元输出信号加权求和、滤波，最终输出目标声源所在方向的声音信号，相当于形成一个“波束”，该目标声源所在方向的声音信号即为目标声源对应的声源音频。

本实施例中，通过定位待检测对象的声源，以初步根据声源的数量和位置确定出待检测对象中可能存在松动的零部件的数量和位置。进一步地，还通过从对象音频中提取声源的声源音频，以逐一通过松动检测模型对声源音频进行松动检测，得到每一声源对应的检测结果，进而判断出每一声源对应的零部件是否松动，以及在其松动时的松动程度，从而实现精准地分析零部件的位置和松动情况。其次，本实施例通过提取每一声源对应的声源音频，能够排除其它声源的混音干扰，能够提高对该声源对应的零部件进行松动检测的准确度。

在一些实施例中，确定待检测对象的声源，包括：

从对象音频中截取至少两个音频分段，根据各音频分段进行声源定位，得到各音频分段对应声源的位置；

将位置差异小于预设阈值的声源确定为同一声源。

本实施例中，为避免对声源数量的误判，还通过对对象音频进行处理，以确定出通过声源定位识别出的声源是否为同一个声源，在不为同一个声源时，则对其进行区分处理。

具体地，通过对对象音频进行分段，得到至少两个音频分段，其中，每两个相邻音频分段可为连续的音频，也可为不连续的音频。每一音频分段中均包含声源，通过对每一音频分段对应声源的位置进行分析，从而得到每两个声源之间的位置差异，并通过将位置差异小于预设阈值的声源确定为同一声源。

其中，在存在位置差异不小于预设阈值的两个声源时，说明对象音频中存在多个声源，而多个声源的数量和位置差异不小于预设阈值的两个声源的对数相同。

示例性地，可通过声源之间的俯仰角和方位角的差异确定每两个声源之间的位置差异。具体地，请参阅图3，图3为检测方法中根据俯仰角和方位角确定声源之间的位置差异的示意图，该图中以检测设备的视角显示了两个音频分段中声源所处的位置，一个音频分段中的声源为A，另一个音频分段中的声源为B，声源A的俯仰角A和方位角A如图所示，声源B的俯仰角B和方位角B如图所示，通过将声源A的俯仰角A和声源B的俯仰角B进行对比，将声源A的方位角A和声源B的方位角B进行对比，以确定出俯仰角差值和方位角差值(图中显示了声源A和声源B的俯仰角不同，但方位角相同)，以将两者与预设阈值进行对比，当两者小于预设阈值时，确定声源A和声源B为同一个声源，否则，声源A和声源B为两个声源。比如，若俯仰角差值小于预设阈值，则判定声源A和声源B为同一个声源，若俯仰角差值不小于预设阈值，则判定声源A和声源B为不为同一个声源。

本实施例中通过对同一声源进行判定，能够避免将同一声源误判成两个声源所造成的检测结果不准确的问题，还能够当判定出两个声源是以对两个声源进行区别检测，避免了对声源对应的零部件的漏检。

在一些实施例中，获取待检测对象的对象音频之前，还包括：

获取当前场景的场景音频，场景音频在当前场景中的待检测对象受激振动时采集得到；

滤除场景音频中在预设检测区域之外的声源的声源音频，得到对象音频。

本实施例中，在待检测对象受激振动发出的声音经过在当前场景中传播以到达检测设备之后，通过检测设备对该声音进行采集以得到场景音频。

如上述实施例中提及的内容，可通过识别场景音频确定当前场景中声源的位置，进而通过分析该声源的位置以确定声源是否处于预设检测区域。其中，预设检测区域可以包括以检测设备视角所能够观看到的待检测对象的区域，本实施例中，视处于预设检测区域之外的当前环境中不存在待检测对象，通过对该处于预设检测区域之外的声源的声源音频进行滤除，能够排除非待检测对象上的零部件所发出的声音，实现了对处于预设检测区域之内的对象音频的噪声滤除，提高了对对象音频的检测准确度。

其中，检测设备可以为声像仪，或者集成声像仪的功能。此种情形下，预设检测区域可以为检测设备的成像范围，通过滤除成像范围之外的声源的声源音频，将剩余的音频作为对象音频。

声成像(acoustic imaging)是基于传声器阵列测量技术，通过测量一定空间内的声波到达各传声器的信号相位差异，依据相控阵原理确定声源的位置，测量声源的幅值，并以图像的方式显示声源在空间的分布，即取得空间声场分布云图-声像图，其中以图像的颜色和亮度代表强弱。

示例性地，还可对待检测对象进行声成像，以得到待检测对象的声像图，以声像图展示处于成像范围内的声源，其中，处于成像范围内的声源是可以显示在声像图上的，而处于成像范围之外的声源是未显示在声像图上的。基于声像图可以排除场景音频中处于成像范围之外的声源的声源音频，以得到对象音频。

可以理解地，预设检测区域与待检测对象之间的位置关系是相对的，预设检测区域中包含的待检测对象的部分元素是和检测设备的设置位置和设置视角相关的。具体地，请参阅图4，图4为检测方法中根据检测设备与待检测对象之间的位置关系确定预设检测区域的示意图。图4(a)展示了检测设备与待检测对象之间的位置关系是固定时的情形。比如，若检测设备的位置和视角固定时，该预设检测区域中待检测对象的部分元素或全部元素是固定的，具体依检测设备拍摄待检测对象的全景图或局部图像判定，比如，若拍摄待检测对象的全景图，则预设检测区域内显示了一个完整的输电塔(以输电塔作为待检测对象)，具体如图4(a)展示的方式。若拍摄输电塔的局部图像，则局部图像中显示了输电塔的部分塔身(图中未示出)。图4(b)展示了检测设备与待检测对象之间的位置关系是变化时的情形。比如，检测设备在第一时刻拍摄待检测对象的区域a，在第二时刻拍摄待检测对象的区域b，检测设备通过移动可拍摄待检测对象上不同的区域。

在一些实施例中，检测设备可通过用户手动移动或转动，以灵活地靠近或远离待检测对象进行拍摄，以变更成像区域。当然地，还可将检测设备设于一轨道上进行周期性往返移动，以顺序地对待检测对象进行声成像。具体地，请参阅图5，图5为检测方法中检测设备移动时的示意图。图5左侧显示了输电塔，右侧显示了检测设备，其中，检测设备设于一个竖杆上，该竖杆上设置有用于驱动检测设备沿竖直方向运动的轨道，其中，检测设备通过电机驱动以在轨道上进行往返运动，运动方向如图中箭头所示方向，当检测设备在轨道上的位置发生变更时，其能够对输电塔上相对应的部分区域进行成像。此种设置能够通过对输电塔进行局部检测，提高了对输电塔上声源的检测精确度。

在一些实施例中，滤除场景音频中在预设检测区域之外的声源的声源音频，得到对象音频之前，还包括：

对场景音频进行降噪处理。

本实施例中，通过预先对场景音频进行降噪处理，能够排除环境中的干扰声源，以此提高对待检测对象的零部件的检测准确度。

在一些实施例中，根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果之后，还包括：

若根据检测结果确定待检测对象存在松动的零部件，则获取待检测对象的声像图和视觉图像；

融合声像图和视觉图像，得到待检测对象的检测图像。

其中，在通过松动检测模型得到每一声源对应的零部件的检测结果之后，即可以获知待检测对象上松动的零部件的数量和位置，在待检测对象上不存在松动的零部件时，可不做动作。在待检测对象上存在松动的零部件时，可通过检测设备对对象音频进行声成像处理，得到待检测对象的声像图。且获取待检测对象的视觉图像，其中，视觉图像可通过检测设备拍摄得到，也可通过外置的图像检测设备拍摄得到，视觉图像可为图片也可为视频，具体的展示方式此处并不进行限定。

在得到待检测对象的声像图和视觉图像之后，可以对两者进行融合，以得到检测图像，其中，检测图像可以既显示待检测对象的图像内容，也可以显示其上零部件对应声源的幅值。

示例性地，还可将检测图像发送至外部设备进行显示。具体地，请参阅图6，图6为检测方法中在外部设备显示检测图像的示意图，图6中左侧显示了待检测对象及其上零部件的实体图，以及检测设备所在位置，图6右侧显示了外部设备接收到检测图像之后所显示的电子图。比如，检测设备将检测图像发送至手机进行显示，手机上能够展示通信塔的图像，以及通信塔上发生松动的零部件的热力图。

进一步地，检测设备还可将提示信息发送至外部设备以对工作人员进行提示。具体提示的方式可参照上述提及的内容，此处不再赘述。

在一些实施例中，根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果之后，还包括：

若根据检测结果确定待检测对象存在松动的零部件，则获取待检测对象的视觉图像；

对视觉图像中松动的零部件的松动程度进行标识，得到标识后的视觉图像。

在本实施例中，也可仅将待检测对象的视觉图像发送至外部设备进行显示，具体地，可针对发送松动的零部件的位置以其对应的松动程度进行标识，该松动程度也可文字标识、数值标识或者颜色标识等，只要能够区分显示出各零部件不同的松动程度即可。

此处，还提供了一个示意图，如图7，图7为检测方法中在外部设备显示检测图像的示意图，图7中左侧显示了待检测对象及其上零部件的实体图，以及检测设备所在位置，图7右侧显示了外部设备接收到视觉图像之后所显示的电子图。比如，检测设备将检测图像发送至手机进行显示，手机上能够展示通信塔的图像，以及在通信塔上标识的松动程度的标签，其中，每一个标签能够指示一个松动的零部件所处的位置，该标签以文字形式展示了零部件对应的松动程度。

进一步地，检测设备还可将提示信息发送至外部设备以对工作人员进行提示。具体提示的方式可参照上述提及的内容，此处不再赘述。

在一些实施例中，该方法还包括：接收外部设备发送的成像指令，基于该成像指令对待检测对象进行声成像和/或视觉成像，得到待检测对象的声像图和/或视觉图像；

将声像图和/或视觉图像发送至外部设备；或者，

当成像得到声像图和视觉图像之后，融合声像图和视觉图像得到待检测对象的检测图像，将检测图像发送至外部设备。

当然地，在检测设备可以基于轨道移动时，工作人员还可基于外部设备向检测设备发送移动指令，以使得检测设备在轨道上移动指定次数，或者移动至指定位置。

工作人员还可基于外部设备向检测设备发送启动或关闭指令，以使得检测设备启动或关闭。

可以理解地，外部设备与检测设备交互的方式有多种，此处不再列举，只要能够通过外部设备发送控制指令至检测设备的交互方式均可称为用户操作，而检测设备能够在接收到此类控制指令之后执行对应的用户操作。具体地，请参阅图8，图8为检测方法中外部设备与检测设备进行交互的示意图。图8中，外部设备可发送控制指令至检测设备，此类控制指令包括成像指令、移动指令以及启动或关闭指令等，而检测设备接收到此类控制执行之后对其进行响应。实现了通过外部设备对检测设备的远程控制，方便了工作人员操作检测设备，使得以更高的灵活性对待检测对象的零部件进行松动检测。

如上，根据上述实施例提及的内容，此处还提供一个细节流程图以详细介绍本申请实施例提供的方案，具体请参阅图9，图9为本申请实施例提供的检测方法的细节流程示意图。

S210、获取当前场景的场景音频；

S220、除场景音频中在预设检测区域之外的声源的声源音频，得到对象音频；

S230、获取松动检测模型；

S240、确定待检测对象的声源；

S250、从对象音频中提取声源的声源音频；

S260、将声源音频输入松动检测模型，得到检测结果，检测结果用于描述声源对应的零部件未松动，或者描述声源对应的零部件的松动程度；

S270、若根据检测结果确定待检测对象存在松动的零部件，则获取待检测对象的声像图和视觉图像；

S280、融合声像图和视觉图像，得到待检测对象的检测图像；

S290、将检测图像发送至外部设备进行显示。

本申请实施例提供的检测方法，一方面能够实现检测设备自主在当前场景中通过寻找异常声音的声源以进行移动，提高了巡检的灵活性、全面性、有效性以及巡检效率。另一方面，还通过设置成像参数、移动路径等，以优化检测设备的移动路径，提高巡检效率的同时，还能够得到质量更高的声源巡检图像，便于对声源进行异常分析，提高了对声源异常原因确定的准确度，且通过优化巡检路径提高了对声源进行应急处理的效率。

请参照图10，为更好的执行本申请所提供的检测方法，本申请进一步提供一种检测装置，如图10所示，该检测装置300包括：

音频获取模块310，用于获取待检测对象的对象音频，对象音频在待检测对象受激振动时采集得到；

模型获取模块320，用于获取松动检测模型，松动检测模型根据正样本对象音频和负样本对象音频训练得到，正样本对象音频在零部件未松动的正样本对象受激振动时采集得到，负样本对象音频在零部件松动的负样本对象受激振动时采集得到；

松动检测模块330，用于根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果。

在一可选的实施例中，获取松动检测模型之前，模型获取模块320还用于：

获取正样本对象音频和多类负样本对象音频，每一类负样本对象音频对应零部件不同的松动程度；

根据正样本对象音频和多类负样本对象音频进行模型训练，直至满足预设停止条件，得到松动检测模型。

在一可选的实施例中，松动检测模块330还用于：

确定待检测对象的声源；

从对象音频中提取声源的声源音频；

将声源音频输入松动检测模型，得到检测结果，检测结果用于描述声源对应的零部件未松动，或者描述声源对应的零部件的松动程度。

在一可选的实施例中，松动检测模块330还用于：

从对象音频中截取至少两个音频分段，根据各音频分段进行声源定位，得到各音频分段对应声源的位置；

将位置差异小于预设阈值的声源确定为同一声源。

在一可选的实施例中，获取待检测对象的对象音频之前，音频获取模块310还用于：

获取当前场景的场景音频，场景音频在当前场景中的待检测对象受激振动时采集得到；

滤除场景音频中在预设检测区域之外的声源的声源音频，得到对象音频在一可选的实施例中，根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果之后，松动检测模块330还用于：

若根据检测结果确定待检测对象存在松动的零部件，则获取待检测对象的声像图和视觉图像；

融合声像图和视觉图像，得到待检测对象的检测图像。

在一可选的实施例中，根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果之后，松动检测模块330还用于：

若根据检测结果确定待检测对象存在松动的零部件，则获取待检测对象的视觉图像；

对视觉图像中松动的零部件的松动程度进行标识，得到标识后的视觉图像。

应当说明的是，本申请实施例提供的检测装置300与上文实施例中的检测方法属于同一构思，其具体实现过程详见以上相关实施例，此处不再赘述。

本申请实施例还提供一种检测设备，包括存储器和处理器，其中处理器通过调用存储器中存储的计算机程序，用于执行本实施例提供的检测方法中的步骤。其中，该检测设备可以是各类电子设备，如电脑、平板等，也可以是各类具有麦克风阵列的检测仪器，如声像仪、声音检测仪等，还可以是各种智能设备，如无人机、机器人等。

请参照图11，图11为本申请实施例提供的检测设备400的结构示意图。

该检测设备400可以包括网络接口410、存储器420、处理器430以及屏幕组件等部件。本领域技术人员可以理解，图10中示出的检测设备400结构并不构成对检测设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

网络接口410可以用于进行设备之间的网络连接。

存储器420可用于存储计算机程序和数据。存储器420存储的计算机程序中包含有可执行代码。计算机程序可以划分为各种功能模块。处理器430通过运行存储在存储器420的计算机程序，从而执行各种功能应用以及数据处理。

处理器430是检测设备400的控制中心，利用各种接口和线路连接整个检测设备400的各个部分，通过运行或执行存储在存储器420内的计算机程序，以及调用存储在存储器420内的数据，执行检测设备400的各种功能和处理数据，从而对检测设备400进行整体控制。

在本申请实施例中，检测设备400中的处理器430会按照如下的指令，将一个或一个以上的计算机程序对应的可执行代码加载到存储器420中，并由处理器430来执行本申请提供的检测方法中的步骤，比如：

获取待检测对象的对象音频，对象音频在待检测对象受激振动时采集得到；

获取松动检测模型，松动检测模型根据正样本对象音频和负样本对象音频训练得到，正样本对象音频在零部件未松动的正样本对象受激振动时采集得到，负样本对象音频在零部件松动的负样本对象受激振动时采集得到；

根据对象音频，通过松动检测模型对待检测对象的零部件进行松动检测，得到检测结果。

尽管图11中未示出，检测设备400还可以包括摄像头，摄像头用于对待检测对象进行拍摄，或者进行场景识别。

检测设备400还可以包括麦克风阵列，麦克风阵列用于采集待检测对象的对象音频。

检测设备400还可以包括摄像头，以采集待检测对象的视觉图像。

检测设备400还可以包括传感器、定位模块、通信模块等，在此不再赘述。

其中，检测设备400还可以由用户控制移动，或者将其设置在一个竖杆上，该竖杆上设置有用于驱动检测设备400沿竖直方向运动的轨道，其中，检测设备400通过电机驱动以在轨道上进行往返运动。

其中，检测设备400还可与外部设备通信连接，以向外部设备发送对象音频，或者声像图、视觉图像以及检测图像等。

检测设备400还可根据检测结果生成提示信息发送至外部设备，以便于工作人员采取应对措施。具体可参照上述提及内容，此处不再赘述。

应当说明的是，本申请实施例提供的检测设备400与上文实施例中的检测方法属于同一构思，其具体实现过程详见以上相关实施例，此处不再赘述。

本申请还提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在本申请实施例提供的检测设备的处理器上执行时，使得检测设备的处理器执行以上任一适于检测设备的检测方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)或者随机存取器(Random Access Memory，RAM)等。

以上对本申请所提供的一种检测方法、装置、存储介质及检测设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种检测方法，其特征在于，所述方法包括：

获取待检测对象的对象音频，所述对象音频在所述待检测对象受激振动时采集得到；

获取松动检测模型，所述松动检测模型根据正样本对象音频和负样本对象音频训练得到，所述正样本对象音频在零部件未松动的正样本对象受激振动时采集得到，所述负样本对象音频在零部件松动的负样本对象受激振动时采集得到；

根据所述对象音频，通过所述松动检测模型对所述待检测对象的零部件进行松动检测，得到检测结果。

2.根据权利要求1所述的方法，其特征在于，所述获取松动检测模型之前，还包括：

获取所述正样本对象音频和多类所述负样本对象音频，每一类所述负样本对象音频对应零部件不同的松动程度；

根据所述正样本对象音频和多类所述负样本对象音频进行模型训练，直至满足预设停止条件，得到所述松动检测模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述对象音频，通过所述松动检测模型对所述待检测对象的零部件进行松动检测，得到检测结果，包括：

确定所述待检测对象的声源；

从所述对象音频中提取所述声源的声源音频；

将所述声源音频输入所述松动检测模型，得到所述检测结果，所述检测结果用于描述所述声源对应的零部件未松动，或者描述所述声源对应的零部件的松动程度。

4.根据权利要求3所述的方法，其特征在于，所述确定所述待检测对象的声源，包括：

从所述对象音频中截取至少两个音频分段，根据各音频分段进行声源定位，得到各音频分段对应声源的位置；

将位置差异小于预设阈值的声源确定为同一声源。

5.根据权利要求1所述的方法，其特征在于，所述获取待检测对象的对象音频之前，还包括：

获取当前场景的场景音频，所述场景音频在所述当前场景中的所述待检测对象受激振动时采集得到；

滤除所述场景音频中在预设检测区域之外的声源的声源音频，得到所述对象音频。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述待检测对象包括输电塔、风力发电塔、通讯塔中的至少一个，所述零部件包括螺栓。

7.根据权利要求6所述的方法，其特征在于，所述根据所述对象音频，通过所述松动检测模型对所述待检测对象的零部件进行松动检测，得到检测结果之后，还包括：

若根据所述检测结果确定所述待检测对象存在松动的零部件，则获取所述待检测对象的声像图和视觉图像；

融合所述声像图和所述视觉图像，得到所述待检测对象的检测图像。

8.根据权利要求6所述的方法，其特征在于，所述根据所述对象音频，通过所述松动检测模型对所述待检测对象的零部件进行松动检测，得到检测结果之后，还包括：

若根据所述检测结果确定所述待检测对象存在松动的零部件，则获取所述待检测对象的视觉图像；

对所述视觉图像中松动的零部件的松动程度进行标识，得到标识后的视觉图像。

9.一种检测装置，其特征在于，包括：

音频获取模块，用于获取待检测对象的对象音频，所述对象音频在所述待检测对象受激振动时采集得到；

模型获取模块，用于获取松动检测模型，所述松动检测模型根据正样本对象音频和负样本对象音频训练得到，所述正样本对象音频在零部件未松动的正样本对象受激振动时采集得到，所述负样本对象音频在零部件松动的负样本对象受激振动时采集得到；

松动检测模块，用于根据所述对象音频，通过所述松动检测模型对所述待检测对象的零部件进行松动检测，得到检测结果。

10.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器加载时执行如权利要求1-8任一项所述的检测方法中的步骤。

11.一种检测设备，包括处理器和存储器，所述存储器储存有计算机程序，其特征在于，所述处理器通过加载所述计算机程序，用于执行如权利要求1至8任一项所述的检测方法中的步骤。

Images