CN112985583A - 结合短时脉冲检测的声学成像方法和系统 - Google Patents

结合短时脉冲检测的声学成像方法和系统 Download PDF

Info

Publication number
CN112985583A
CN112985583A CN202110549419.2A CN202110549419A CN112985583A CN 112985583 A CN112985583 A CN 112985583A CN 202110549419 A CN202110549419 A CN 202110549419A CN 112985583 A CN112985583 A CN 112985583A
Authority
CN
China
Prior art keywords
audio data
pulse
audio
frame
buffer area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110549419.2A
Other languages
English (en)
Other versions
CN112985583B (zh
Inventor
曹祖杨
崔二朋
黄明
罗洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Crysound Electronics Co Ltd
Original Assignee
Cry Sound Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cry Sound Co ltd filed Critical Cry Sound Co ltd
Priority to CN202110549419.2A priority Critical patent/CN112985583B/zh
Publication of CN112985583A publication Critical patent/CN112985583A/zh
Application granted granted Critical
Publication of CN112985583B publication Critical patent/CN112985583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms
    • G06F17/142Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm

Landscapes

  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种结合短时脉冲检测的声学成像方法和系统,可以捕获到所有脉冲音频信号,在一个较低的云图计算频率下显示所有有价值的音频云图,在不损失连续计算云图效果的同时,做到了CPU降级、功耗降低等优点。其技术方案为:通过音频预处理将最有价值的音频提取出来进行运算,可以增加声学定位的准确性,减少漏检率。此外,通过本发明通过在检测音频数据是否有脉冲的处理中通过只采集一路音频进行计算来节约CPU消耗,由此可以采用性价比更高的CPU,节约成本,降低功耗。另外,可以根据不同的环境噪音,调节脉冲检测中的参数值,来适应不同的测试环境。

Description

结合短时脉冲检测的声学成像方法和系统
技术领域
本发明涉及一种声学成像技术,具体涉及一种结合了对短时脉冲检测流程的声学成像方法和系统。
背景技术
在声学成像中,包括对多路音频连续进行计算的场景,这种处理需要很高的算力要求。因此,该计算场景对CPU的性能要求很高,同时又会带来散热等问题。传统的做法是对音频采样进行云图算法,但是这样会丢失一些短时脉冲信号。
除了上述的声学成像中的音频处理之外,对于其他需要大量算力需求的音频处理的预处理场景,也有上述类似的问题。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览,并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明的目的在于解决上述问题,提供了一种结合短时脉冲检测的声学成像方法和系统,可以捕获到所有脉冲音频信号,在一个较低的云图计算频率下显示所有有价值的音频云图,在不损失连续计算云图效果的同时,做到了CPU降级、功耗降低等优点。
本发明的技术方案为:本发明揭示了一种结合短时脉冲检测的声学成像方法,方法包括:
步骤1:将采集到的多路连续音频,按照设定长度为一帧存储于缓冲区中,然后转到步骤9进行处理;
步骤2:按照云图显示频率设置定时器并基于定时器的时间间隔发放条件变量;
步骤3:以阻塞模式获取条件变量,若无条件变量则进入阻塞,并释放CPU资源,直到步骤2中释放出一个条件变量后才从阻塞中恢复,继续执行程序;
步骤4:读取一帧摄像头的图片;
步骤5:判断脉冲音频缓冲区中是否有脉冲音频数据,若无脉冲音频数据则执行步骤6,若有脉冲音频数据则执行步骤7;
步骤6:从缓冲区中抽取出最新一帧的音频数据,接着执行步骤8;
步骤7:从脉冲音频缓冲区中提取脉冲音频数据;
步骤8:基于步骤6或7的数据进行云图计算并显示,计算完成后返回步骤3进行处理;
步骤9:从缓冲区中依次读取一帧音频数据;
步骤10:判断步骤9读取到的音频数据中是否有脉冲,如有脉冲则执行步骤11,如无脉冲则返回步骤9进行处理;
步骤11:将步骤9中从缓冲区读取到的音频数据放入脉冲音频缓冲区。
根据本发明的结合短时脉冲检测的声学成像方法的一实施例,步骤9中是连续读取音频数据,不发生丢帧或漏帧。
根据本发明的结合短时脉冲检测的声学成像方法的一实施例,步骤10进一步包括:
步骤101:对步骤9中读取到的一帧音频数据中任取一路进行FFT计算,得到FFT计算结果;
步骤102:取出FFT计算结果的实部部分并求实部的绝对值;
步骤103:对实部的绝对值求和;
步骤104:将实部的绝对值的求和值做N次方运算,获得该帧音频数据的能量的表征值;
步骤105:将步骤104中的本次计算的表征值与上次计算的表征值比较,比较对象是本次能量表征值减去上次能量表征值的差值;
步骤106:如果两次表征值的差值大于设置的阈值,则判定该音频数据为有脉冲的音频数据。
本发明还揭示了一种结合短时脉冲检测的声学成像系统,系统包括:
缓冲区存储模块,用于将采集到的多路连续音频,按照设定长度为一帧存储于缓冲区中;
定时器模块,按照云图显示频率设置定时器并基于定时器的时间间隔发放条件变量;
条件变量处理模块,以阻塞模式获取条件变量,若无条件变量则进入阻塞,并释放CPU资源,直到定时器模块释放出一个条件变量后才从阻塞中恢复,继续执行程序;
图片读取模块,读取一帧摄像头的图片;
云图计算模块,判断脉冲音频缓冲区中是否有脉冲音频数据,若无脉冲音频数据则从缓冲区中抽取出最新一帧的音频数据,若有脉冲音频数据则从脉冲音频缓冲区中提取脉冲音频数据;基于缓冲区中的音频数据或脉冲缓冲区中脉冲音频数据进行云图计算并显示;
音频数据读取模块,从缓冲区中依次读取一帧音频数据;
脉冲检测模块,判断读取到的音频数据中是否有脉冲,如有脉冲则将从缓冲区读取到的音频数据放入脉冲音频缓冲区。
根据本发明的结合短时脉冲检测的声学成像系统的一实施例,音频数据读取模块是连续读取音频数据,不发生丢帧或漏帧。
根据本发明的结合短时脉冲检测的声学成像系统的一实施例,脉冲检测模块配置为执行以下的处理:
对音频数据读取模块读取到的一帧音频数据中任取一路进行FFT计算,得到FFT计算结果;
取出FFT计算结果的实部部分并求实部的绝对值;
对实部的绝对值求和;
将实部的绝对值的求和值做N次方运算,获得该帧音频数据的能量的表征值;
将的本次计算的表征值与上次计算的表征值比较,比较对象是本次能量表征值减去上次能量表征值的差值;
如果两次表征值的差值大于设置的阈值,则判定该音频数据为有脉冲的音频数据,将其放入脉冲音频缓冲区。
本发明还揭示了一种结合短时脉冲检测的声学成像系统,包括:
处理器;以及
存储器,所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据,
其中,当所述一系列计算机可执行的指令被所述处理器执行时,使得所述处理器进行如上所述的方法。
本发明还揭示了一种非临时性计算机可读存储介质,所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令,当所述一系列可执行的指令被计算装置执行时,使得计算装置进行如上所述的方法。
本发明对比现有技术有如下的有益效果:本发明的主要设计思路包括通过音频预处理将最有价值的音频提取出来进行运算,可以增加声学定位的准确性,减少漏检率。此外,通过本发明通过在检测音频数据中是否有脉冲的处理中只采集一路音频进行计算来节约CPU消耗,由此可以采用性价比更高的CPU,节约成本,降低功耗。另外,可以根据不同的环境噪音,调节脉冲检测中的参数值(M,N的值),用来适应不同的测试环境,实际测试,当N=3,M=60时,可以100%捕捉到静电枪的静电声音脉冲。其中,N为粗调,M为细调;N的取值建议2~5,N值越小,灵敏度越低;M取值>0, M取值越小,灵敏度越高。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后,能够更好地理解本发明的上述特征和优点。在附图中,各组件不一定是按比例绘制,并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了本发明的结合短时脉冲检测的声学成像方法的一实施例的流程图。
图2示出了图1所示的方法实施例的局部步骤的细化流程图。
图3示出了本发明的结合短时脉冲检测的声学成像系统的一实施例的原理图。
图4示出了本发明的结合短时脉冲检测的声学成像系统的一实施例的原理图。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意,以下结合附图和具体实施例描述的诸方面仅是示例性的,而不应被理解为对本发明的保护范围进行任何限制。
图1示出了本发明的结合短时脉冲检测的声学成像方法的一实施例的流程。请参见图1,其实施步骤详述如下。
步骤1:将采集到的多路连续音频,按照设定长度为一帧存储于缓冲区中。然后转到步骤9进行处理。
示例中,将连续读取的128路音频按照1204*2bit的长度(音频数据是uint16_t格式的,每个采样需要两个字节存储)存在可容纳20个音频数据的缓冲区(Buffer)中,循环覆盖。
步骤2:按照云图显示频率设置定时器并基于定时器的时间间隔发放条件变量。
示例中,按照例如25hz的云图显示频率设置定时器,定时器时间间隔到则释放一个条件变量。步骤2和3的条件变量在本实施例中是一种同步机制,执行的条件就是等待条件变量的发放。
步骤3:以阻塞模式获取条件变量,若无条件变量则进入阻塞,并释放CPU资源,直到步骤2中释放出一个条件变量后才从阻塞中恢复,继续执行程序。
阻塞模式是一种等待同步机制,与步骤2的条件变量配合达到某一流程未满足执行条件时自动释放CPU降低功耗的效果。
步骤4:读取一帧摄像头的图片,一般是摄像头采集的图片中最新的一张。
摄像头按照云图显示频率(例如示例中的25hz的频率)进行刷新,永远保留最新一张图片。
步骤5:判断脉冲音频缓冲区中是否有脉冲音频数据。若无脉冲音频数据则执行步骤6,若有脉冲音频数据则执行步骤7。
步骤6:从缓冲区中抽取出最新一帧的音频数据,接着执行步骤8。
步骤7:从脉冲音频缓冲区中提取脉冲音频数据。脉冲音频数据相比无脉冲的音频数据具有更丰富的云图特征。
步骤8:基于步骤6或7的数据进行云图计算并显示。计算完成后返回步骤3进行处理。
示例中,生成云图按照25hz频率进行,当周期时间到时,主流程(即图1所示左边的声学成像的流程,而图2所示的脉冲检测的流程是辅流程)中判断脉冲检测流程在该周期内是否检测到有脉冲数据,若有,则从脉冲bufferpulse中提取128路音频数据(筛选出来的含脉冲的音频数据),否则,主流程直接从存储普通音频的缓冲区中读取最新的128路音频(时间上最新的普通音频数据),并联合摄像头所保留的最新的图片,用来生成定位云图。
步骤9:从缓冲区中依次读取一帧音频数据。
在本步骤中,需要连续读取,不能发生丢帧、漏帧。
步骤10:判断步骤9读取到的音频数据中是否有脉冲。如有脉冲则执行步骤11,如无脉冲则返回步骤9进行处理。
检测音频数据中是否有脉冲的具体处理请参见图2。
步骤101:对一帧音频数据进行FFT(快速傅立叶变换,Fast Fourier Transform)计算,得到计算结果FFT_Out。
通常,一帧数据是1024*2bit长度且包含128路,在示例中,是抽取128路数据中的任意一路(比如第一路),按时间顺序依次连续检测该路数据是否有脉冲,在步骤101中对该路数据进行FFT计算,获得FFT_Out。
步骤102:取出FFT_Out的实部部分并求实部的绝对值。
步骤103:对实部的绝对值求和,获得FFT_Real_Sum。
步骤104:将实部的绝对值的求和的值FFT_Real_Sum做N次方运算,获得该音频数据的能量的一个表征值。
其中N默认为3。
步骤105:将步骤104中的本次计算的表征值与上次计算的表征值比较。
比较对象是本次能量表征值减去上次能量表征值的差值Dif_energy_value。
步骤106:如果差值Dif_energy_value大于设置的阈值M,则该音频数据为有脉冲的音频数据。
在本实施例中,可以根据不同的环境噪音,调节脉冲检测中的参数值(阈值M,N次方运算中的N值),用来适应不同的测试环境,当N=3,M=60时,可以100%捕捉到静电枪的静电声音脉冲。其中,N为粗调,M为细调;N的取值建议2~5,N值越小,灵敏度越低;M取值>0, M值越小,灵敏度越高。
步骤11:将步骤9中从缓冲区读取到的音频数据放入脉冲音频缓冲区。
步骤10和11的处理时间要少于音频采集时间。比如,一帧音频的采集时间为10ms,则判断是否有脉冲并且把音频数据存进脉冲音频缓冲区的时间要少于10ms,否则,就有概率丢掉一些短时脉冲音频,无法捕获到云图显示。
图3示出了本发明的结合短时脉冲检测的声学成像系统的一实施例的原理。请参见图3,本实施例的系统以声学成像为例进行说明,系统包括如下的模块:缓冲区存储模块、定时器模块、条件变量处理模块、图片读取模块、云图计算模块、音频数据读取模块、脉冲检测模块。
缓冲区存储模块,用于将采集到的多路连续音频,按照设定长度为一帧存储于缓冲区中。
示例中,将连续读取的128路音频按照1204*2bit的长度(音频数据是uint16_t格式的,每个采样需要两个字节存储)存在可容纳20个音频数据的缓冲区(Buffer)中,循环覆盖。
定时器模块,按照云图显示频率设置定时器并基于定时器的时间间隔发放条件变量。
示例中,按照例如25hz的云图显示频率设置定时器,定时器时间间隔到则释放一个条件变量。
条件变量处理模块,以阻塞模式获取条件变量,若无条件变量则进入阻塞,并释放CPU资源,直定时器模块释放出一个条件变量后才从阻塞中恢复,继续执行程序。
图片读取模块,读取一帧摄像头的图片。
一般是摄像头采集的图片中最新的一张。摄像头按照云图显示频率(例如示例中的25hz的频率)进行刷新,永远保留最新一张图片。
云图计算模块,判断脉冲音频缓冲区中是否有脉冲音频数据,若无脉冲音频数据则从缓冲区中抽取出最新一帧的音频数据,若有脉冲音频数据则从脉冲音频缓冲区中提取脉冲音频数据,脉冲音频数据相比无脉冲的音频数据具有更丰富的云图特征;再基于缓冲区中的音频数据或脉冲缓冲区中脉冲音频数据进行云图计算并显示。
音频数据读取模块,从缓冲区中依次读取一帧音频数据;需要连续读取,不能发生丢帧、漏帧。
脉冲检测模块,判断读取到的音频数据中是否有脉冲,如有脉冲则将从缓冲区读取到的音频数据放入脉冲音频缓冲区。
脉冲检测模块的检测音频数据中是否有脉冲的具体处理请参见图2。
步骤101:对音频数据读取模块所读取到的一帧音频数据中任取一路进行FFT(快速傅立叶变换,Fast Fourier Transform)计算,得到计算结果FFT_Out。
通常,一帧数据是1024*2bit长度且包含128路,对所选取的其中一路数据进行FFT计算,获得FFT_Out。
步骤102:取出FFT_Out的实部部分并求实部的绝对值。
步骤103:对实部的绝对值求和,获得FFT_Real_Sum。
步骤104:将实部的绝对值的求和的值FFT_Real_Sum做N次方运算,获得该音频数据的能量的一个表征值。
其中N默认为3。
步骤105:将步骤104中的本次计算的表征值与上次计算的表征值比较。
比较对象是本次能量表征值减去上次能量表征值的差值Dif_energy_value。
步骤106:如果差值Dif_energy_value大于设置的阈值M,则该音频数据为有脉冲的音频数据,将其放入脉冲音频缓冲区。
在本实施例中,可以根据不同的环境噪音,调节脉冲检测中的参数值(阈值M,N次方运算中的N值),用来适应不同的测试环境,当N=3,M=60时,可以100%捕捉到静电枪的静电声音脉冲。其中,N为粗调,M为细调;N的取值建议2~5,N值越小,灵敏度越低;M取值>0, M值越小,灵敏度越高。
此外,参见图4,本发明公开了结合短时脉冲检测的声学成像系统的一个实施例,包括处理器以及存储器。
存储器被配置为存储一系列计算机可执行的指令以及与这一系列计算机可执行的指令相关联的计算机可访问的数据。
当这一系列计算机可执行的指令被处理器执行时,使得处理器进行如图1-图2所示的方法。
由于方法的具体实现已经在前述实施例中详细描述,此处不再赘述。
此外,本发明还公开了一种非临时性计算机可读存储介质,非临时性计算机可读存储介质上存储有一系列计算机可执行的指令,当这一系列可执行的指令被计算装置执行时,使得计算装置进行如图1至图2所示的方法。
由于方法的具体实现已经在前述实施例中详细描述,此处不再赘述。
尽管为使解释简单化将上述方法图示并描述为一系列动作,但是应理解并领会,这些方法不受动作的次序所限,因为根据一个或多个实施例,一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将进一步领会,结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性,各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性,但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器,但在替换方案中,该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合,例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中,存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中,处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中,所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品,则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者,其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如,如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来,则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟,其中盘(disk)往往以磁的方式再现数据,而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的,且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此,本公开并非旨在被限定于本文中所描述的示例和设计,而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (8)

1.一种结合短时脉冲检测的声学成像方法,其特征在于,方法包括:
步骤1:将采集到的多路连续音频,按照设定长度为一帧存储于缓冲区中,然后转到步骤9进行处理;
步骤2:按照云图显示频率设置定时器并基于定时器的时间间隔发放条件变量;
步骤3:以阻塞模式获取条件变量,若无条件变量则进入阻塞,并释放CPU资源,直到步骤2中释放出一个条件变量后才从阻塞中恢复,继续执行程序;
步骤4:读取一帧摄像头的图片;
步骤5:判断脉冲音频缓冲区中是否有脉冲音频数据,若无脉冲音频数据则执行步骤6,若有脉冲音频数据则执行步骤7;
步骤6:从缓冲区中抽取出最新一帧的音频数据,接着执行步骤8;
步骤7:从脉冲音频缓冲区中提取脉冲音频数据;
步骤8:基于步骤6或7的数据进行云图计算并显示,计算完成后返回步骤3进行处理;
步骤9:从缓冲区中依次读取一帧音频数据;
步骤10:判断步骤9读取到的音频数据中是否有脉冲,如有脉冲则执行步骤11,如无脉冲则返回步骤9进行处理;
步骤11:将步骤9中从缓冲区读取到的音频数据放入脉冲音频缓冲区。
2.根据权利要求1所述的结合短时脉冲检测的声学成像方法,其特征在于,步骤9中是连续读取音频数据,不发生丢帧或漏帧。
3.根据权利要求1所述的结合短时脉冲检测的声学成像方法,其特征在于,步骤10进一步包括:
步骤101:对步骤9中读取到的一帧音频数据中任取一路进行FFT计算,得到FFT计算结果;
步骤102:取出FFT计算结果的实部部分并求实部的绝对值;
步骤103:对实部的绝对值求和;
步骤104:将实部的绝对值的求和值做N次方运算,获得该帧音频数据的能量的表征值;
步骤105:将步骤104中的本次计算的表征值与上次计算的表征值比较,比较对象是本次能量表征值减去上次能量表征值的差值;
步骤106:如果两次表征值的差值大于设置的阈值,则判定该音频数据为有脉冲的音频数据。
4.一种结合短时脉冲检测的声学成像系统,其特征在于,系统包括:
缓冲区存储模块,用于将采集到的多路连续音频,按照设定长度为一帧存储于缓冲区中;
定时器模块,按照云图显示频率设置定时器并基于定时器的时间间隔发放条件变量;
条件变量处理模块,以阻塞模式获取条件变量,若无条件变量则进入阻塞,并释放CPU资源,直到定时器模块释放出一个条件变量后才从阻塞中恢复,继续执行程序;
图片读取模块,读取一帧摄像头的图片;
云图计算模块,判断脉冲音频缓冲区中是否有脉冲音频数据,若无脉冲音频数据则从缓冲区中抽取出最新一帧的音频数据,若有脉冲音频数据则从脉冲音频缓冲区中提取脉冲音频数据;基于缓冲区中的音频数据或脉冲缓冲区中脉冲音频数据进行云图计算并显示;
音频数据读取模块,从缓冲区中依次读取一帧音频数据;
脉冲检测模块,判断读取到的音频数据中是否有脉冲,如有脉冲则将从缓冲区读取到的音频数据放入脉冲音频缓冲区。
5.根据权利要求4所述的结合短时脉冲检测的声学成像系统,其特征在于,音频数据读取模块是连续读取音频数据,不发生丢帧或漏帧。
6.根据权利要求4所述的结合短时脉冲检测的声学成像系统,其特征在于,脉冲检测模块配置为执行以下的处理:
对音频数据读取模块读取到的一帧音频数据中任取一路进行FFT计算,得到FFT计算结果;
取出FFT计算结果的实部部分并求实部的绝对值;
对实部的绝对值求和;
将实部的绝对值的求和值做N次方运算,获得该帧音频数据的能量的表征值;
将的本次计算的表征值与上次计算的表征值比较,比较对象是本次能量表征值减去上次能量表征值的差值;
如果两次表征值的差值大于设置的阈值,则判定该音频数据为有脉冲的音频数据,将其放入脉冲音频缓冲区。
7.一种结合短时脉冲检测的声学成像系统,其特征在于,包括:
处理器;以及
存储器,所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据,
其中,当所述一系列计算机可执行的指令被所述处理器执行时,使得所述处理器进行如权利要求1至3中任一项所述的方法。
8.一种非临时性计算机可读存储介质,其特征在于,所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令,当所述一系列可执行的指令被计算装置执行时,使得计算装置进行如权利要求1至3中任一项所述的方法。
CN202110549419.2A 2021-05-20 2021-05-20 结合短时脉冲检测的声学成像方法和系统 Active CN112985583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110549419.2A CN112985583B (zh) 2021-05-20 2021-05-20 结合短时脉冲检测的声学成像方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110549419.2A CN112985583B (zh) 2021-05-20 2021-05-20 结合短时脉冲检测的声学成像方法和系统

Publications (2)

Publication Number Publication Date
CN112985583A true CN112985583A (zh) 2021-06-18
CN112985583B CN112985583B (zh) 2021-08-03

Family

ID=76337025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110549419.2A Active CN112985583B (zh) 2021-05-20 2021-05-20 结合短时脉冲检测的声学成像方法和系统

Country Status (1)

Country Link
CN (1) CN112985583B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259691B1 (en) * 1998-07-24 2001-07-10 3Com Corporation System and method for efficiently transporting dual-tone multi-frequency/multiple frequency (DTMF/MF) tones in a telephone connection on a network-based telephone system
US20060015348A1 (en) * 1994-10-12 2006-01-19 Pixel Instruments Corp. Television program transmission, storage and recovery with audio and video synchronization
CN101106724A (zh) * 2006-07-12 2008-01-16 联发科技股份有限公司 将视频数据及音频数据同步的方法及系统
CN101290774A (zh) * 2007-01-31 2008-10-22 广州广晟数码技术有限公司 音频编码和解码系统
CN101530332A (zh) * 2008-03-14 2009-09-16 深圳迈瑞生物医疗电子股份有限公司 超声诊断设备中图像与声音的实时同步方法及其系统
CN102074239A (zh) * 2010-12-23 2011-05-25 福建星网视易信息系统有限公司 一种实现声音变速的方法
US20130336412A1 (en) * 2012-06-13 2013-12-19 Divx, Llc System and Methods for Encoding Live Multimedia Content with Synchronized Audio Data
CN106559706A (zh) * 2015-09-28 2017-04-05 青岛海信电器股份有限公司 一种音频数据的处理方法、装置和系统
CN110062277A (zh) * 2019-03-13 2019-07-26 北京河马能量体育科技有限公司 一种音视频自动同步方法及同步系统
CN111385498A (zh) * 2018-12-27 2020-07-07 天津大学青岛海洋技术研究院 一种基于高速相机的音频信号采集方法
CN112235597A (zh) * 2020-09-17 2021-01-15 深圳市捷视飞通科技股份有限公司 流媒体直播音视频同步保护方法、装置、计算机设备
CN112560822A (zh) * 2021-02-23 2021-03-26 江苏聆世科技有限公司 一种基于卷积神经网络的道路声信号分类方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060015348A1 (en) * 1994-10-12 2006-01-19 Pixel Instruments Corp. Television program transmission, storage and recovery with audio and video synchronization
US6259691B1 (en) * 1998-07-24 2001-07-10 3Com Corporation System and method for efficiently transporting dual-tone multi-frequency/multiple frequency (DTMF/MF) tones in a telephone connection on a network-based telephone system
CN101106724A (zh) * 2006-07-12 2008-01-16 联发科技股份有限公司 将视频数据及音频数据同步的方法及系统
CN101290774A (zh) * 2007-01-31 2008-10-22 广州广晟数码技术有限公司 音频编码和解码系统
CN101530332A (zh) * 2008-03-14 2009-09-16 深圳迈瑞生物医疗电子股份有限公司 超声诊断设备中图像与声音的实时同步方法及其系统
CN102074239A (zh) * 2010-12-23 2011-05-25 福建星网视易信息系统有限公司 一种实现声音变速的方法
US20130336412A1 (en) * 2012-06-13 2013-12-19 Divx, Llc System and Methods for Encoding Live Multimedia Content with Synchronized Audio Data
CN106559706A (zh) * 2015-09-28 2017-04-05 青岛海信电器股份有限公司 一种音频数据的处理方法、装置和系统
CN111385498A (zh) * 2018-12-27 2020-07-07 天津大学青岛海洋技术研究院 一种基于高速相机的音频信号采集方法
CN110062277A (zh) * 2019-03-13 2019-07-26 北京河马能量体育科技有限公司 一种音视频自动同步方法及同步系统
CN112235597A (zh) * 2020-09-17 2021-01-15 深圳市捷视飞通科技股份有限公司 流媒体直播音视频同步保护方法、装置、计算机设备
CN112560822A (zh) * 2021-02-23 2021-03-26 江苏聆世科技有限公司 一种基于卷积神经网络的道路声信号分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏龙 等: "气动声源定位成像方法研究进展", 《强度与环境》 *

Also Published As

Publication number Publication date
CN112985583B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN107068161B (zh) 基于人工智能的语音降噪方法、装置和计算机设备
CN110704683A (zh) 音视频信息处理方法及装置、电子设备和存储介质
CN112001856A (zh) 去噪模型的训练方法及去除图像噪声方法、相关装置
CN110970051A (zh) 语音数据采集方法、终端及可读存储介质
CN111436005A (zh) 用于显示图像的方法和装置
CN112907628A (zh) 视频目标追踪方法、装置、存储介质及电子设备
JP2022520772A (ja) イベントベース光センサのピクセル配列から非同期的に受信された一連のイベントを処理する方法
CN113228622A (zh) 图像采集方法、装置及存储介质
US11694700B2 (en) Method, apparatus and device for processing sound signal
CN112985583B (zh) 结合短时脉冲检测的声学成像方法和系统
US20170358316A1 (en) Noise detection and removal systems, and related methods
US10748554B2 (en) Audio source identification
CN111783632A (zh) 针对视频流的人脸检测方法、装置、电子设备及存储介质
CN108960130B (zh) 视频文件智能处理方法和装置
CN113689847A (zh) 语音交互方法、装置及语音芯片模组
CN111355995A (zh) 蓝牙设备声音延迟时长的确定方法、装置及终端设备
CN111145770B (zh) 音频处理方法和装置
CN112562712A (zh) 一种录音数据处理方法、系统、电子设备及存储介质
CN111144312B (zh) 图像处理方法、装置、设备和介质
US20190005623A1 (en) Noise estimation using bracketed image capture
CN117011924B (zh) 一种基于语音和图像的说话人数目估计方法和系统
WO2022188467A1 (zh) 干扰检测方法、装置、设备和存储介质
CN111062337B (zh) 人流方向检测方法及装置、存储介质和电子设备
US12015855B2 (en) System and method for synthesizing low-light images
KR20110001880A (ko) 이미지 프로세싱 디바이스, 이미지 프로세싱 방법 및 이미지 프로세싱 프로그램을 기록한 비일시적 컴퓨터 판독가능 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 311121 building 3, No.10 Xianqiao Road, Zhongtai street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Zhaohua Electronics Co.,Ltd.

Address before: 31-1 Xianxing Road, Xianlin Industrial Park, Yuhang District, Hangzhou City, Zhejiang Province

Patentee before: CRY SOUND CO.,LTD.