CN115327480A - 声源定位方法与系统 - Google Patents
声源定位方法与系统 Download PDFInfo
- Publication number
- CN115327480A CN115327480A CN202210952635.6A CN202210952635A CN115327480A CN 115327480 A CN115327480 A CN 115327480A CN 202210952635 A CN202210952635 A CN 202210952635A CN 115327480 A CN115327480 A CN 115327480A
- Authority
- CN
- China
- Prior art keywords
- sound source
- audio
- acoustic imager
- position coordinates
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000004807 localization Effects 0.000 claims description 32
- 238000009432 framing Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 13
- 238000003860 storage Methods 0.000 abstract description 7
- 238000011161 development Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000007689 inspection Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/20—Position of source determined by a plurality of spaced direction-finders
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
- F17D—PIPE-LINE SYSTEMS; PIPE-LINES
- F17D5/00—Protection or supervision of installations
- F17D5/02—Preventing, monitoring, or locating loss
- F17D5/06—Preventing, monitoring, or locating loss using electric or acoustic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
- G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
- G01M3/24—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using infrasonic, sonic, or ultrasonic vibrations
- G01M3/243—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using infrasonic, sonic, or ultrasonic vibrations for pipes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明提供一种声源定位方法与系统，其中方法应用于声学成像仪，包括：获取目标对象的音频；对所述音频进行声源定位，得到所述音频的声源相对于所述声学成像仪的相对位置；基于所述声源的相对位置，以及所述声学成像仪的位置坐标，确定所述声源的位置坐标；控制展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标。本发明提供的方法、装置、系统、电子设备与存储介质，实现提升设备声源定位的实时性和准确性，方便巡检人员能够直观查看到声源的具体位置，有助于后续故障处理工作的开展，提升设备故障处理的效率，同时节省了人力成本。
Description
技术领域
本发明涉及工业检测技术领域，尤其涉及一种声源定位方法与系统。
背景技术
在工业生产过程中，如果工业设备出现故障，不及时进行处理，会导致工业设备非计划停机，对生产单位造成严重损失。
目前，主要由巡检人员采用声学成像仪，对设备进行故障声音定位。然而，声学成像仪只能提供声源在图像中的大概位置，导致设备的声源位置不够精准，影响后续的故障排查进度。
发明内容
本发明提供一种声源定位方法与系统，用以解决现有技术中设备声源定位的准确性较差的缺陷。
本发明提供一种声源定位方法，所述方法应用于声学成像仪，所述方法包括：
获取目标对象的音频；
对所述音频进行声源定位，得到所述音频的声源相对于所述声学成像仪的相对位置；
基于所述声源的相对位置，以及所述声学成像仪的位置坐标，确定所述声源的位置坐标；
控制展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标。
根据本发明提供的一种声源定位方法，所述基于所述声源的相对位置，以及所述声学成像仪的位置坐标，确定所述声源的位置坐标，包括：
基于所述声源的相对位置中的俯仰角和方位角，所述声源与所述声学成像仪之间的距离，以及所述声学成像仪的位置坐标，确定所述声源的位置坐标。
根据本发明提供的一种声源定位方法，所述声源与所述声学成像仪之间的距离是基于双目摄像头确定的，所述声学成像仪的位置坐标是基于定位设备确定的；
所述双目摄像头和所述定位设备设置于所述声学成像仪上。
根据本发明提供的一种声源定位方法，所述对所述音频进行声源定位，得到所述音频的声源相对于所述声学成像仪的相对位置，包括：
对所述音频进行分帧，得到所述音频的各音频帧；
对所述各音频帧进行声源定位，得到所述各音频帧对应的声源相对于所述声学成像仪的相对位置；
基于所述各音频帧对应的声源的相对位置，确定所述音频的声源相对于所述声学成像仪的相对位置。
根据本发明提供的一种声源定位方法，所述基于所述各音频帧对应的声源的相对位置，确定所述音频的声源相对于所述声学成像仪的相对位置，包括：
基于所述各音频帧对应的声源的相对位置中声源俯仰角之间的差距以及声源方位角之间的差距，确定所述声源相对于所述声学成像仪的相对位置。
根据本发明提供的一种声源定位方法，所述基于所述各音频帧对应的声源的相对位置中声源俯仰角之间的差距以及声源方位角之间的差距，确定所述声源相对于所述声学成像仪的相对位置，包括：
在第一预设数量个连续的音频帧对应的声源俯仰角之间的差距小于第一差距阈值，以及声源方位角之间的差距小于第二差距阈值的情况下，基于所述声源俯仰角以及声源方位角确定所述声源的相对位置；
在每隔第二预设数量个音频帧对应的声源俯仰角之间的差距小于第一差距阈值，以及声源方位角之间的差距小于第二差距阈值的情况下，基于所述声源俯仰角以及声源方位角确定所述声源的相对位置。
根据本发明提供的一种声源定位方法，所述控制展示设备展示所述目标对象的虚拟仿真模型，包括：
控制所述展示设备对所述虚拟仿真模型和对应的真实场景画面进行分屏展示。
根据本发明提供的一种声源定位方法，所述在所述虚拟仿真模型中标注所述声源的位置坐标，之后还包括：
响应于用户输入的控制指令，对所述目标对象进行控制。
根据本发明提供的一种声源定位方法，所述控制展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标，包括：
控制所述展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标，所述展示设备设置于所述声学成像仪上；
或者，向所述展示设备发送所述声源的位置坐标，以供所述展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标，所述展示设备与所述声学成像仪独立设置。
本发明还提供一种声源定位系统，包括声学成像仪和展示设备，所述声学成像仪用于执行如上述任一种所述声源定位方法。
本发明提供的声源定位方法与系统，通过获取目标对象的音频，应用声源定位得到声源相对于声学成像仪的相对位置，并结合声学成像仪的位置坐标，确定声源的位置坐标，从而提升设备声源定位的实时性和准确性，并且，在目标对象的虚拟仿真模型中标注声源的位置坐标，方便巡检人员能够直观查看到声源的具体位置，有助于后续故障处理工作的开展，提升设备故障处理的效率，同时节省了人力成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的声源定位方法的流程示意图之一；
图2是本发明提供的声源定位方法的应用场景示意图；
图3是本发明提供的声源定位方法的流程示意图之二；
图4是本发明提供的故障定位方法的流程示意图；
图5是本发明提供的声源定位装置的结构示意图；
图6是本发明提供的声学成像仪的结构示意图之一；
图7是本发明提供的声学成像仪的结构示意图之二；
图8是本发明提供的声源定位系统的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种声源定位方法。图1是本发明提供的声源定位方法的流程示意图之一，如图1所示，该方法的执行主体是声学成像仪，该方法包括：
步骤110，获取目标对象的音频。
此处，目标对象即需要进行声源定位的对象，例如可以是变压器，阻抗器，燃气管道，机械设备等。在目标对象的运行过程中，声学成像仪可以通过内置的麦克风或麦克风阵列等音频采集设备对目标对象进行音频采集，获取到目标对象的音频。
目标对象的音频可以是音频采集设备原始采集得到的，也可以是对音频采集设备采集得到的音频进行去噪等预处理后得到的，本发明实施例对此不作具体限定。
步骤120，对音频进行声源定位，得到音频的声源相对于声学成像仪的相对位置；
步骤130，基于声源的相对位置，以及声学成像仪的位置坐标，确定声源的位置坐标；
步骤140，控制展示设备展示目标对象的虚拟仿真模型，并在虚拟仿真模型中标注声源的位置坐标。
具体地，在获取到目标对象的音频之后，声学成像仪可以对音频进行声源定位，得到音频的声源相对于声学成像仪的相对位置，在此基础上，即可结合声源相对于声学成像仪的相对位置，以及声学成像仪的位置坐标，计算得到准确的声源的位置坐标。
需要说明的是，此处的音频可以是目标对象正常运行发出的声音，也可以是目标对象故障发出的声音，本发明实施例对此不作具体限定。
在确定声源的位置坐标之后，声学成像仪可以控制展示设备展示目标对象的虚拟仿真模型，并在虚拟仿真模型中标注声源的位置坐标，从而对目标对象中的声源及其所在的场景进行可视化展示，方便巡检人员能够直观查看到声源的具体位置，更有助于后续的故障排查工作。
需要说明的是，此处的展示设备可以是声学成像仪内置的，也可以是中控室电脑、用户终端等其他设备上设置的，本发明实施例对此不作具体限定。
进一步地，在得到声源的位置坐标之后，可以将声源的位置坐标与虚拟仿真模型内置的三维地图中的位置坐标进行匹配，即可实现在虚拟仿真模型中标注出声源的位置坐标，例如，目标对象为管道，声源为气体泄漏点，通过位置坐标匹配，即可获知气体泄漏点具体为哪个管道哪个阀门。
以虚拟仿真模型为数字孪生模型为例，图2是本发明提供的声源定位方法的应用场景示意图，如图2所示，巡检人员拿着声学成像仪对目标对象进行巡检，声学成像仪会将目标对象所在场景的数字孪生模型展示出来，并且，在确定出目标对象中声源的位置坐标之后，也会在数字孪生模型中标注出声源的位置坐标，以方便巡检人员进行查看。
本发明实施例提供的方法，通过获取目标对象的音频，应用声源定位得到声源相对于声学成像仪的相对位置，并结合声学成像仪的位置坐标，确定声源的位置坐标，从而提升设备声源定位的实时性和准确性，并且，在目标对象的虚拟仿真模型中标注声源的位置坐标，方便巡检人员能够直观查看到声源的具体位置，有助于后续故障处理工作的开展，提升设备故障处理的效率，同时节省了人力成本。
基于上述实施例，步骤130包括：
基于声源的相对位置中的俯仰角和方位角，声源与声学成像仪之间的距离，以及声学成像仪的位置坐标，确定声源的位置坐标。
具体地，为了进一步提升声源的位置坐标的精确性，本发明实施例通过声源定位获取声源相对于声学成像仪的角度信息，即相对位置中的俯仰角和方位角，再结合测量得到的声源与声学成像仪之间的距离，以及声学成像仪的位置坐标，计算声源的位置坐标。
此处，声源与声学成像仪之间的距离可以是通过双目测距、激光测距等方式实现，本发明实施例对此不作具体限定。
基于上述任一实施例，声源与声学成像仪之间的距离是基于双目摄像头确定的，声学成像仪的位置坐标是基于定位设备确定的；
双目摄像头和定位设备设置于声学成像仪上。
具体地，考虑到双目测距适用于近距离的高精度测量，并且成本低，安全便捷，对此，本发明实施例中声源与声学成像仪之间的距离可以通过应用双目摄像头进行双目测距得到。在声学成像仪通过声源定位得到声源的相对位置之后，可以将声源的相对位置叠加在目标对象对应的声学成像图上，随即，双目摄像头即可获取到声源与声学成像仪之间的距离。
另外，声学成像仪的位置坐标可以通过基站定位设备、蓝牙定位器、GPS定位传感器等定位设备得到。此处，位置坐标可以是世界坐标系下的坐标，即绝对坐标，例如，定位设备为GPS定位传感器，声学成像仪的位置坐标即为声学成像仪的经纬度坐标，基于此即可换算得到高精度的声源的经纬度坐标。
可以理解的是，双目摄像头和定位设备可以均设置于声学成像仪上，在此种情况下，声学成像仪可以直接根据声源相对于声学成像仪的俯仰角和方位角，双目摄像头得到的声源与声学成像仪之间的距离，以及定位设备得到的声学成像仪的位置坐标，确定声源的位置坐标。
本发明实施例提供的方法，利用设备音频的声源定位结果，并配合双目摄像头和定位设备，准确判断目标对象中声源的位置坐标，进而可以提升通过声音精准定位故障的效果。
基于上述任一实施例，图3是本发明提供的声源定位方法的流程示意图之二，如图3所示，步骤120包括：
步骤121，对音频进行分帧，得到音频的各音频帧；
步骤122，对各音频帧进行声源定位，得到各音频帧对应的声源相对于声学成像仪的相对位置；
步骤123，基于各音频帧对应的声源的相对位置，确定音频的声源相对于声学成像仪的相对位置。
具体地，考虑到无论是设备正常运行发出的声音，还是设备故障发出的声音，应具有连续性或者周期性的规律，而噪声通常是偶然出现、没有规律的。对此，本发明实施例可以首先对音频进行分帧，得到音频的各音频帧，再利用声源定位算法，对每个音频帧进行声源定位处理，得到每个音频帧对应的声源相对于声学成像仪的相对位置，最后通过分析各音频帧对应的声源的相对位置之间的规律，确定目标对象的音频的声源相对于声学成像仪的相对位置。
进一步地，当需要定位的声源为目标对象的故障声源时，在对各音频帧进行声源定位之前，还可以利用目标对象的故障声音的特点，初步滤除音频帧中的环境噪声、设备运行的背景噪声等噪声。例如，考虑到气体泄漏发出的声音和其他环境声音的频率范围不同，管道存在气体泄漏时，会产生超声波，因此可以设置声音频率范围20KHz-40KHz去捕捉音频帧中气体泄漏的声音，又例如，考虑到变压器正常运行时，整体会发出强度较低的背景噪声，而如果某一处存在放电，则会出现较为明显的放电声音，因此可以设置声音强度阈值去滤除音频帧中的背景噪声，保留放电的声音。
基于上述任一实施例，步骤123包括：
基于各音频帧对应的声源的相对位置中声源俯仰角之间的差距以及声源方位角之间的差距，确定声源相对于声学成像仪的相对位置。
具体地，为了进一步提升声源定位的准确性，本发明实施例根据各音频帧对应的声源的相对位置中的声源相对于声学成像仪的俯仰角即声源俯仰角，以及声源相对于声学成像仪的方位角即声源方位角，判断各音频帧对应的声源俯仰角之间的差距，以及各音频帧对应的声源方位角之间的差距是否在预设范围内，确定是否在多帧中规律性地出现相同声源，如果出现，则可以将其作为需要定位的声源，并由此确定该声源相对于声学成像仪的相对位置。
此处，判断方式具体可以是判断任意两个音频帧对应的声源俯仰角之间的差距以及声源方位角之间的差距，也可以是判断相邻两个音频帧对应的声源俯仰角之间的差距以及声源方位角之间的差距，还可以是其他的判断方式，本发明实施例对此不作具体限定。
基于上述任一实施例，基于各音频帧对应的声源的相对位置中声源俯仰角之间的差距以及声源方位角之间的差距，确定声源相对于声学成像仪的相对位置，包括：
在第一预设数量个连续的音频帧对应的声源俯仰角之间的差距小于第一差距阈值，以及声源方位角之间的差距小于第二差距阈值的情况下，基于声源俯仰角以及声源方位角确定声源的相对位置；
在每隔第二预设数量个音频帧对应的声源俯仰角之间的差距小于第一差距阈值，以及声源方位角之间的差距小于第二差距阈值的情况下，基于声源俯仰角以及声源方位角确定声源的相对位置。
具体地，可以按照目标对象的音频的各音频帧的原始顺序进行判断，具体过程可以是，从第2个音频帧开始，判断当前音频帧对应的声源俯仰角与上一个音频帧对应的声源俯仰角之间的差距是否小于第一差距阈值，以及当前音频帧对应的声源方位角与上一个音频帧对应的声源方位角之间的差距是否小于第二差距阈值，连续执行上述步骤，直至完成第一预设数量n个连续的音频帧的判断。此处，第一预设数量n可以根据实际应用需求进行任意设定，本发明实施例对此不作具体限定。
在n个连续的音频帧对应的声源俯仰角之间的差距小于第一差距阈值，以及n个连续的音频帧对应的声源方位角之间的差距小于第二差距阈值的情况下，说明在n个连续的音频帧中均出现同一个声源，即可将其作为需要定位的声源。在此基础上，即可根据符合上述情况的声源俯仰角以及声源方位角，确定该声源的相对位置。此处，声源的相对位置具体可以是分别对符合上述条件的n个连续的音频帧对应的声源俯仰角以及声源方位角取平均值得到，也可以是选取其中一个音频帧对应的声源俯仰角以及声源方位角得到，本发明实施例对此不作具体限定。
另外，还可以每隔第二预设数量m个音频帧进行一次判断，例如，判断第m+1个音频帧对应的声源俯仰角与第1个音频帧对应的声源俯仰角之间的差距是否小于第一差距阈值，以及第m+1个音频帧对应的声源方位角与第1个音频帧对应的声源方位角之间的差距是否小于第二差距阈值，连续执行上述步骤，直至后面不存在相隔m个音频帧的音频帧。
在每隔m个音频帧对应的声源俯仰角之间的差距小于第一差距阈值，以及每隔m个音频帧对应的声源方位角之间的差距小于第二差距阈值的情况下，说明每隔m个音频帧周期性地出现同一个声源，即可将其作为需要定位的声源。在此基础上，即可根据符合上述情况的声源俯仰角以及声源方位角，确定该声源的相对位置。
可以理解的是，若上述两种情况均不满足，则说明既没有连续多帧地出现同一个声源，也没有周期性地出现同一个声源，所出现的不稳定的声源应为偶然出现且毫无规律的噪声的声源，此时可以不需要定位声源相对于声学成像仪的相对位置。
另外，当存在多个声源俯仰角以及声源方位角满足上述两种情况时，则说明目标对象存在多个需要定位的声源，后续可以定位出多个声源的位置坐标。
基于上述任一实施例，步骤140中，控制展示设备展示目标对象的虚拟仿真模型，包括：
控制展示设备对虚拟仿真模型和对应的真实场景画面进行分屏展示。
具体地，声学成像仪可以控制展示设备对虚拟仿真模型和对应的真实场景画面进行分屏展示。例如，虚拟仿真模型是数字孪生模型，展示设备的屏幕的左边部分可以展示数字孪生模型，右边可以展示对应的真实场景画面。
本发明实施例提供的方法，通过构建虚拟环境与真实环境一一映射，并在虚拟仿真模型中标注出声源的位置坐标，从而通过虚拟环境展示真实的声源的经纬度坐标，便于故障的定位。
基于上述任一实施例，步骤140中，在虚拟仿真模型中标注声源的位置坐标，之后还包括：
响应于用户输入的控制指令，对目标对象进行控制。
具体地，当展示设备在虚拟仿真模型中标注出声源的位置坐标之后，用户可以通过直接在展示设备上进行点击操作，或者发出语音指令等方式，向声学成像仪输入控制指令，在此基础上，声学成像仪对控制指令进行响应，即对目标对象进行控制，以实现故障的处理，例如，声源的位置坐标为管道中的气体泄漏点的位置坐标，用户可以输入关闭该气体泄漏点附近的气体阀门的控制指令。
此处，对目标对象进行控制的方式具体可以是声学成像仪直接控制目标对象，也可以是声学成像仪通过联动中控室进行目标对象的控制，本发明实施例对此不作具体限定。
基于上述任一实施例，步骤140包括：
控制展示设备展示目标对象的虚拟仿真模型，并在虚拟仿真模型中标注声源的位置坐标，展示设备设置于声学成像仪上；
或者，向展示设备发送声源的位置坐标，以供展示设备展示目标对象的虚拟仿真模型，并在虚拟仿真模型中标注声源的位置坐标，展示设备与声学成像仪独立设置。
具体地，展示设备可以设置在声学成像仪上，声学成像仪可以直接控制展示设备展示目标对象的虚拟仿真模型，并在虚拟仿真模型中标注出声源的位置坐标。
另外，展示设备也可以不设置在声学成像仪上，例如可以设置在中控室电脑、用户终端等其他设备上，在声学成像仪获取到声源的位置坐标之后，声学成像仪可以向展示设备发送声源的位置坐标，以供展示设备展示目标对象的虚拟仿真模型，并在虚拟仿真模型中标注出声源的位置坐标。
基于上述任一实施例，在工业设备巡检领域，目前主要由巡检人员采用固定式声学成像仪进行故障声音定位，但是声学成像仪对于远处的设备，只能给出故障声源在图像中的大概位置，无法准确给出具体的故障坐标信息，导致设备的故障位置不够精准，影响故障的处理进度。巡检人员在户外施工时，无法通过声学成像仪的设备检查，给远端提供准确的故障的GPS位置信息，影响远端的故障诊断控制等工作开展，例如，对于较高的设备，无法提供故障的GPS位置信息，则无法准确计算出现的路程及需要携带的辅助设备的要求。
对此，本发明提供一种故障定位方法，通过声学成像技术利用麦克风阵列确定声源位置，与摄像头结合，通过声学成像图的方式展示声源的分布状态，并以颜色和亮度表示声音的强弱，从而帮助巡检人员快速定位发声位置，解决人耳定位声音能力有限的问题。同时，结合双目摄像头和GPS定位传感器，帮助巡检人员提供准确的故障的GPS坐标信息，并联合数字孪生系统，实时定位展示故障的具体位置等相关信息，便于控制台进行精准的故障判断和处理。
图4是本发明提供的故障定位方法的流程示意图，如图4所示，以音频采集设备为麦克风阵列，定位设备为GPS定位传感器为例，该方法的具体流程如下：
S1、利用声学成像仪的麦克风阵列对目标对象进行音频采集，得到音频，对音频进行分帧，得到音频的各音频帧，通过声源定位算法针对每个音频帧进行声源定位，得到每个音频帧对应的声源相对于声学成像仪的相对位置，并记录每个音频帧对应全部声源的相对位置，包括声源相对于声学成像仪的俯仰角即声源俯仰角，以及声源相对于声学成像仪的方位角即声源方位角。
根据音频的各音频帧可以确定各音频帧中声音的强度信息，以及声源的相对位置信息，生成各音频帧对应的声强分布图，以不同的颜色和亮度表示不同的声音强度，再将声强分布图与目标对象的可见光图像进行融合，得到各音频帧对应的声学成像图并展示，方便巡检人员直观地查看到声源在图像上的位置。
S2、考虑到可见光图像采集时容易出现角度偏移，进而会影响声源在声学成像图上的像素坐标的准确性，如果基于连续n个音频帧的声学成像图上的像素坐标之间的差距，检测目标对象是否存在故障，会导致检测结果不准确。
针对这一问题，本发明实施例根据连续n个音频帧对应的声源俯仰角之间的差距，以及声源方位角之间的差距，判断连续n个音频帧是否存在相同的声源位置或差距小于预设差距阈值的声源位置。
如果存在，则说明音频中存在故障声音，即目标对象存在故障，可以根据符合上述条件的声源俯仰角以及声源方位角，确定故障声音的声源即故障声源相对于声学成像仪的俯仰角和方位角。
S3、根据声源定位算法得到的故障声源相对于声学成像仪的俯仰角和方位角，并使用双目摄像头进行测距，得到故障声源到声学成像仪之间的距离，基于声学成像仪自带的GPS模块，获取声学成像仪的GPS坐标信息，在此基础上，即可依据当前的方位角、俯仰角、距离及声学成像仪的GPS坐标信息，计算故障声源即目标对象中故障点的GPS坐标信息，即经纬度坐标信息，从而实现故障的精准定位。
S4、在声学成像仪中，自动打开数字孪生系统，根据故障点的GPS坐标信息，在目标对象的数字孪生模型中对故障点进行定位并展示，方便巡检人员直观查看目标对象中故障点的具体位置等相关信息，供巡检人员进一步开展故障分析和故障处理工作。
数字孪生模型的展示可以采用双屏交互的方式，左边是数字孪生模型，右边是对应的真实场景画面。数字孪生系统也可以采用与真实系统融合展示的方式，将数字孪生系统与真实系统进行部分偏移映射，可以对比分析系统中的故障信息。
以气体管道设备为例，本发明实施例提供的方法可以实现基于声音检测的管道气体泄漏定位，通过利用声学成像仪，配合双目摄像头和GPS定位传感器，准确判断管道泄漏点的位置，提升通过声音精准定位管道泄漏点的效果，并联合数字孪生系统，帮助现场人员进行精准故障定位，辅助进行故障预判。
下面对本发明提供的声源定位装置进行描述，下文描述的声源定位装置与上文描述的声源定位方法可相互对应参照。
基于上述任一实施例，本发明提供一种声源定位装置。图5是本发明提供的声源定位装置的结构示意图，如图5所示，该装置包括：
音频获取单元510，用于获取目标对象的音频；
位置确定单元520，用于对音频进行声源定位，得到音频的声源相对于声学成像仪的相对位置；
坐标确定单元530，用于基于声源的相对位置，以及声学成像仪的位置坐标，确定声源的位置坐标；
坐标展示单元540，用于控制展示设备展示目标对象的虚拟仿真模型，并在虚拟仿真模型中标注声源的位置坐标。
本发明实施例提供的装置，通过获取目标对象的音频，应用声源定位得到声源相对于声学成像仪的相对位置，并结合声学成像仪的位置坐标，确定声源的位置坐标，从而提升设备声源定位的实时性和准确性，并且，在目标对象的虚拟仿真模型中标注声源的位置坐标，方便巡检人员能够直观查看到声源的具体位置，有助于后续故障处理工作的开展，提升设备故障处理的效率，同时节省了人力成本。
基于上述任一实施例，坐标确定单元530具体用于：
基于声源的相对位置中的俯仰角和方位角，声源与声学成像仪之间的距离，以及声学成像仪的位置坐标，确定声源的位置坐标。
基于上述任一实施例，声源与声学成像仪之间的距离是基于双目摄像头确定的，声学成像仪的位置坐标是基于定位设备确定的；
双目摄像头和定位设备设置于声学成像仪上。
基于上述任一实施例，位置确定单元520包括：
分帧子单元，用于对音频进行分帧，得到音频的各音频帧；
定位子单元，用于对各音频帧进行声源定位，得到各音频帧对应的声源相对于声学成像仪的相对位置；
确定子单元，用于基于各音频帧对应的声源的相对位置，确定音频的声源相对于声学成像仪的相对位置。
基于上述任一实施例，确定子单元用于：
基于各音频帧对应的声源的相对位置中声源俯仰角之间的差距以及声源方位角之间的差距，确定声源相对于声学成像仪的相对位置。
基于上述任一实施例，基于各音频帧对应的声源的相对位置中声源俯仰角之间的差距以及声源方位角之间的差距，确定声源相对于声学成像仪的相对位置，包括：
在第一预设数量个连续的音频帧对应的声源俯仰角之间的差距小于第一差距阈值，以及声源方位角之间的差距小于第二差距阈值的情况下，基于声源俯仰角以及声源方位角确定声源的相对位置；
在每隔第二预设数量个音频帧对应的声源俯仰角之间的差距小于第一差距阈值，以及声源方位角之间的差距小于第二差距阈值的情况下，基于声源俯仰角以及声源方位角确定声源的相对位置。
基于上述任一实施例，控制展示设备展示目标对象的虚拟仿真模型，包括：
控制展示设备对虚拟仿真模型和对应的真实场景画面进行分屏展示。
基于上述任一实施例，在虚拟仿真模型中标注声源的位置坐标，之后还包括：
响应于用户输入的控制指令，对目标对象进行控制。
基于上述任一实施例，坐标展示单元540具体用于：
控制展示设备展示目标对象的虚拟仿真模型，并在虚拟仿真模型中标注声源的位置坐标，展示设备设置于声学成像仪上；
或者，向展示设备发送声源的位置坐标，以供展示设备展示目标对象的虚拟仿真模型，并在虚拟仿真模型中标注声源的位置坐标，展示设备与声学成像仪独立设置。
基于上述任一实施例，本发明提供一种声学成像仪。图6是本发明提供的声学成像仪的结构示意图之一，如图6所示，声学成像仪包括双目摄像头610，音频采集设备620，定位设备630，以及如上述各实施例提供的声源定位装置640。
本发明实施例提供的声学成像仪，通过获取目标对象的音频，应用声源定位得到声源相对于声学成像仪的相对位置，并结合声学成像仪的位置坐标，确定声源的位置坐标，从而提升设备声源定位的实时性和准确性，并且，在目标对象的虚拟仿真模型中标注声源的位置坐标，方便巡检人员能够直观查看到声源的具体位置，有助于后续故障处理工作的开展，提升设备故障处理的效率，同时节省了人力成本。
基于上述任一实施例，图7是本发明提供的声学成像仪的结构示意图之二，如图7所示，声学成像仪的前壳部分配置双目摄像头，一个摄像头作为主摄像头放置于外壳的正中央，周边布设音频采集设备即麦克风阵列，该摄像头主要用来采集声学成像仪对应的图像信息，展示的图像信息与声学成像仪的角度成90°，图像画面角度较好。另外一个摄像头可放置于外壳的4个拐角处(左上角、左下角、右上角、右下角)中的任意一处，主要用于辅助定位。
声学成像仪的后壳部分配置展示设备即显示屏，可以直接显示主摄像头的画面，也可以直接显示辅助摄像头的画面，对于高光反射等情况，还可以显示两个图像融合后的画面，以尽量恢复现场的真实图像。当麦克风阵列采集到目标对象的音频之后，音频对应的声源的方位信息也会显示在画面上，再结合双目摄像头以及定位设备就可以得到声源的位置坐标。
另外，声学成像仪还可以控制显示屏进行分屏展示，左边是数字孪生模型，右边是对应的真实场景画面，或者，左边是真实场景画面，右边是数字孪生模型。随即，在数字孪生模型中会标注出声源的位置坐标，例如，管道中气体泄漏点的位置坐标。
另外，显示屏还可以提供触摸功能，对于管道中出现的气体泄漏点，可以直接在显示屏上对其进行关闭处理。在关闭处理之后，还可以通过声学成像仪再一次采集目标对象的音频，检测音频中的故障声音信号是否减弱或消除，验证故障处理是否操作完成。
本发明实施例提供的声学成像仪，可以方便巡检人员通过声学成像仪直观查看到目标对象的实际情况以及对应的虚拟三维场景图，进行后续的故障管理，极大地提升了故障管理的效率。
基于上述任一实施例，本发明提供一种声源定位系统。图8是本发明提供的声源定位系统的结构示意图，如图8所示，该系统包括声学成像仪810和展示设备820，声学成像仪810用于执行如上述各实施例提供的声源定位方法。
此处，展示设备820可以是声学成像仪内置的，也可以是中控室电脑、用户终端等其他设备上设置的，本发明实施例对此不作具体限定。
本发明实施例提供的声源定位系统，通过获取目标对象的音频，应用声源定位得到声源相对于声学成像仪的相对位置，并结合声学成像仪的位置坐标，确定声源的位置坐标，从而提升设备声源定位的实时性和准确性，并且，在目标对象的虚拟仿真模型中标注声源的位置坐标，方便巡检人员能够直观查看到声源的具体位置，有助于后续故障处理工作的开展，提升设备故障处理的效率，同时节省了人力成本。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行声源定位方法，该方法应用于声学成像仪，该方法包括：获取目标对象的音频；对所述音频进行声源定位，得到所述音频的声源相对于所述声学成像仪的相对位置；基于所述声源的相对位置，以及所述声学成像仪的位置坐标，确定所述声源的位置坐标；控制展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的声源定位方法，该方法应用于声学成像仪，该方法包括：获取目标对象的音频；对所述音频进行声源定位，得到所述音频的声源相对于所述声学成像仪的相对位置；基于所述声源的相对位置，以及所述声学成像仪的位置坐标，确定所述声源的位置坐标；控制展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的声源定位方法，该方法应用于声学成像仪，该方法包括：获取目标对象的音频；对所述音频进行声源定位，得到所述音频的声源相对于所述声学成像仪的相对位置；基于所述声源的相对位置，以及所述声学成像仪的位置坐标，确定所述声源的位置坐标；控制展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种声源定位方法，其特征在于，所述方法应用于声学成像仪，所述方法包括：
获取目标对象的音频；
对所述音频进行声源定位，得到所述音频的声源相对于所述声学成像仪的相对位置；
基于所述声源的相对位置，以及所述声学成像仪的位置坐标，确定所述声源的位置坐标；
控制展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标。
2.根据权利要求1所述的声源定位方法，其特征在于，所述基于所述声源的相对位置，以及所述声学成像仪的位置坐标，确定所述声源的位置坐标，包括：
基于所述声源的相对位置中的俯仰角和方位角，所述声源与所述声学成像仪之间的距离，以及所述声学成像仪的位置坐标，确定所述声源的位置坐标。
3.根据权利要求2所述的声源定位方法，其特征在于，所述声源与所述声学成像仪之间的距离是基于双目摄像头确定的，所述声学成像仪的位置坐标是基于定位设备确定的；
所述双目摄像头和所述定位设备设置于所述声学成像仪上。
4.根据权利要求1所述的声源定位方法，其特征在于，所述对所述音频进行声源定位，得到所述音频的声源相对于所述声学成像仪的相对位置，包括：
对所述音频进行分帧，得到所述音频的各音频帧；
对所述各音频帧进行声源定位，得到所述各音频帧对应的声源相对于所述声学成像仪的相对位置；
基于所述各音频帧对应的声源的相对位置，确定所述音频的声源相对于所述声学成像仪的相对位置。
5.根据权利要求4所述的声源定位方法，其特征在于，所述基于所述各音频帧对应的声源的相对位置，确定所述音频的声源相对于所述声学成像仪的相对位置，包括：
基于所述各音频帧对应的声源的相对位置中声源俯仰角之间的差距以及声源方位角之间的差距，确定所述声源相对于所述声学成像仪的相对位置。
6.根据权利要求5所述的声源定位方法，其特征在于，所述基于所述各音频帧对应的声源的相对位置中声源俯仰角之间的差距以及声源方位角之间的差距，确定所述声源相对于所述声学成像仪的相对位置，包括：
在第一预设数量个连续的音频帧对应的声源俯仰角之间的差距小于第一差距阈值，以及声源方位角之间的差距小于第二差距阈值的情况下，基于所述声源俯仰角以及声源方位角确定所述声源的相对位置；
在每隔第二预设数量个音频帧对应的声源俯仰角之间的差距小于第一差距阈值，以及声源方位角之间的差距小于第二差距阈值的情况下，基于所述声源俯仰角以及声源方位角确定所述声源的相对位置。
7.根据权利要求1至6中任一项所述的声源定位方法，其特征在于，所述控制展示设备展示所述目标对象的虚拟仿真模型，包括：
控制所述展示设备对所述虚拟仿真模型和对应的真实场景画面进行分屏展示。
8.根据权利要求1至6中任一项所述的声源定位方法，其特征在于，所述在所述虚拟仿真模型中标注所述声源的位置坐标，之后还包括：
响应于用户输入的控制指令，对所述目标对象进行控制。
9.根据权利要求1至6中任一项所述的声源定位方法，其特征在于，所述控制展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标，包括：
控制所述展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标，所述展示设备设置于所述声学成像仪上；
或者，向所述展示设备发送所述声源的位置坐标，以供所述展示设备展示所述目标对象的虚拟仿真模型，并在所述虚拟仿真模型中标注所述声源的位置坐标，所述展示设备与所述声学成像仪独立设置。
10.一种声源定位系统，其特征在于，包括声学成像仪和展示设备，所述声学成像仪用于执行如权利要求1至9任一项所述声源定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210952635.6A CN115327480A (zh) | 2022-08-09 | 2022-08-09 | 声源定位方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210952635.6A CN115327480A (zh) | 2022-08-09 | 2022-08-09 | 声源定位方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115327480A true CN115327480A (zh) | 2022-11-11 |
Family
ID=83921328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210952635.6A Pending CN115327480A (zh) | 2022-08-09 | 2022-08-09 | 声源定位方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115327480A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115662083A (zh) * | 2022-12-12 | 2023-01-31 | 杭州兆华电子股份有限公司 | 一种基于声学成像的无人巡检式报警系统及方法 |
-
2022
- 2022-08-09 CN CN202210952635.6A patent/CN115327480A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115662083A (zh) * | 2022-12-12 | 2023-01-31 | 杭州兆华电子股份有限公司 | 一种基于声学成像的无人巡检式报警系统及方法 |
| CN115662083B (zh) * | 2022-12-12 | 2023-04-07 | 杭州兆华电子股份有限公司 | 一种基于声学成像的无人巡检式报警系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427917B (zh) | 用于检测关键点的方法和装置 | |
| CN111383285B (zh) | 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 | |
| US20050151963A1 (en) | Transprojection of geometry data | |
| WO2023093217A1 (zh) | 数据标注方法、装置、计算机设备、存储介质和程序 | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| US11989827B2 (en) | Method, apparatus and system for generating a three-dimensional model of a scene | |
| CN109472829B (zh) | 一种物体定位方法、装置、设备和存储介质 | |
| CN108510528B (zh) | 一种可见光和红外图像配准融合的方法及装置 | |
| JP2000350239A (ja) | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ | |
| US7377650B2 (en) | Projection of synthetic information | |
| CN111627073B (zh) | 一种基于人机交互的标定方法、标定装置和存储介质 | |
| CN109986172A (zh) | 一种焊缝定位方法、设备及系统 | |
| CN110232676A (zh) | 飞机线缆支架的安装状态检测方法、装置、设备及系统 | |
| CN115327480A (zh) | 声源定位方法与系统 | |
| JP2010217984A (ja) | 像検出装置及び像検出方法 | |
| CN118035595A (zh) | 具有温度信息的点云图生成方法、装置、设备及存储介质 | |
| KR19990042072A (ko) | 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법 | |
| CN116228974A (zh) | 三维模型构建方法、装置、计算机设备以及存储介质 | |
| CN215770120U (zh) | 特高压gis设备检测培训临境交互系统 | |
| JP2003510568A (ja) | パターン比較によるｌｃｄ検査方法およびｌｃｄ検査装置 | |
| JP2008203991A (ja) | 画像処理装置 | |
| KR102039902B1 (ko) | 원격 기자재 정도 검사 시스템 및 방법 | |
| KR101964227B1 (ko) | 군사 작전 통제 장치 및 방법 | |
| CN111145095B (zh) | 一种带尺度测量的vr图生成方法及数据采集装置 | |
| CN113793414B (zh) | 建立工业现场环境三维视图的方法、处理器及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |