CN113312971A - 麦克风阵列的参数标定方法、装置、终端设备及存储介质 - Google Patents

麦克风阵列的参数标定方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN113312971A
CN113312971A CN202110452116.9A CN202110452116A CN113312971A CN 113312971 A CN113312971 A CN 113312971A CN 202110452116 A CN202110452116 A CN 202110452116A CN 113312971 A CN113312971 A CN 113312971A
Authority
CN
China
Prior art keywords
microphone array
output signals
sound
classification result
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110452116.9A
Other languages
English (en)
Other versions
CN113312971B (zh
Inventor
陈英博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pulian International Co ltd
Original Assignee
Pulian International Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pulian International Co ltd filed Critical Pulian International Co ltd
Priority to CN202110452116.9A priority Critical patent/CN113312971B/zh
Publication of CN113312971A publication Critical patent/CN113312971A/zh
Application granted granted Critical
Publication of CN113312971B publication Critical patent/CN113312971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明涉及声源定位技术领域，公开了一种麦克风阵列的参数标定方法、装置、终端设备及存储介质，该方法包括：获取多个麦克风阵列的输出信号；对所述输出信号进行分类，得到分类结果；根据所述分类结果构建代价函数；对所述代价函数进行求解，得到每个麦克风阵列相对于世界坐标系的空间变换矩阵。本发明无需辅助设备即可实现麦克风阵列的参数标定，有效解决了相机标定法的局限，灵活方便。

Description

麦克风阵列的参数标定方法、装置、终端设备及存储介质
技术领域
本发明涉及声源定位技术领域，尤其涉及一种麦克风阵列的参数标定方法、装置、终端设备及存储介质。
背景技术
在声源定位技术领域中，普遍采用多个麦克风阵列对多声源进行定位。在定位过程中，每个麦克风阵列都会采集到多路声源的输出信号，但这些输出信号都处于自身麦克风阵列的阵列坐标系中，因此，需要一个统一的世界坐标系，将所有的输出信号都转换到世界坐标系中，才能将输出信号整合起来。而在统一坐标系过程中，计算出每个麦克风阵列到世界坐标系的空间变换矩阵是比较关键的一步。
现有技术中，对于计算麦克风阵列的空间变换矩阵等参数标定，一般是借鉴于相机标定技术，即预先在空间中不同位置放置若干个棋盘格，每个棋盘格上有若干个角点，每个角点相当于一个声源，通过这些棋盘格对空间各个相机进行空间变换矩阵的求解。该方法需要借助于辅助工具——相机和棋盘格才能完成参数标定，使用上会有局限，不够灵活。
发明内容
本发明实施例的目的是提出一种麦克风阵列的参数标定方法、装置、终端设备及存储介质，无需辅助设备即可实现麦克风阵列的参数标定，有效解决了相机标定法的局限，灵活方便。
为实现上述目的，本发明一实施例提供了一种麦克风阵列的参数标定方法，包括：
获取多个麦克风阵列的输出信号；
对所述输出信号进行分类，得到分类结果；
根据所述分类结果构建代价函数；
对所述代价函数进行求解，得到每个麦克风阵列相对于世界坐标系的空间变换矩阵。
优选地，所述对所述输出信号进行分类，得到分类结果，具体包括：
根据任一麦克风阵列的输出信号得到初始分类结果；
计算其它麦克风阵列的任一输出信号与所述初始分类结果中的所有类别之间的相似度，并获取最大相似度；
当所述最大相似度大于预设阈值时，将所述任一输出信号归入最大相似度对应的初始分类结果的类别中；
当所述最大相似度小于预设阈值时，根据所述任一输出信号更新所述初始分类结果。
优选地，所述代价函数为
Figure BDA0003036909220000021
其中，
Figure BDA0003036909220000022
Figure BDA0003036909220000023
Figure BDA0003036909220000024
为输出信号
Figure BDA0003036909220000025
所指向的直线，
Figure BDA0003036909220000026
为第n个类别中对应于从第m个麦克风阵列得到的输出信号，
Figure BDA0003036909220000027
为俯仰角，θm，n为方位角，am，n为示性函数，表示第m个麦克风阵列是否监听到了第n个类别，M为麦克风阵列的总数，N为所述分类结果中的类别总数；Hm为第m个麦克风阵列相对于世界坐标系的空间变换矩阵，Pn为第n个类别对应的声源P在所述世界坐标系下的坐标；dm,n为输出信号
Figure BDA0003036909220000028
与声源P之间的距离。
优选地，采用网格搜索法、梯度下降法、牛顿法或LM算法对所述代价函数进行求解。
优选地，在所述获取多个麦克风阵列的输出信号之前，还包括：
在预设的空间范围内预设多个声源同时发声，并控制多个麦克风阵列在声源发声时进行声音采集。
优选地，在所述获取多个麦克风阵列的输出信号之前，还包括：
控制一个发声声源在预设的空间范围内进行移动发声，并控制多个麦克风阵列在声源发声时进行声音采集。
本发明另一实施例提供一种麦克风阵列的参数标定装置，包括：
信号获取模块，用于获取多个麦克风阵列的输出信号；
分类模块，用于对所述输出信号进行分类，得到分类结果；
函数构建模块，用于根据所述分类结果构建代价函数；
求解模块，用于对所述代价函数进行求解，得到每个麦克风阵列相对于世界坐标系的空间变换矩阵。
本发明另一实施例提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的麦克风阵列的参数标定方法。
本发明另一实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一项所述的麦克风阵列的参数标定方法。
与现有技术相比，本发明实施例所提供的一种麦克风阵列的参数标定方法、装置、终端设备及存储介质，通过计算多个麦克风阵列所有的输出信号的相似度，根据相似度对输出信号进行分类，从而根据分类结果构建代价函数，求解得到所有麦克风阵列相对于世界坐标系的空间变换矩阵和每个类别对应的声源的空间位置。本发明无需辅助设备即可实现麦克风阵列的空间变换矩阵的标定，有效解决了相机标定法的局限，实现麦克风阵列参数的灵活标定。
附图说明
图1是本发明一实施例提供的一种麦克风阵列的参数标定方法的流程示意图；
图2是本发明一实施例提供的一种麦克风阵列的参数标定装置的结构示意图；
图3是本发明一实施例提供的一种终端设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明该实施例提供的一种麦克风阵列的参数标定方法的流程示意图，所述方法包括步骤S1至步骤S4：
S1、获取多个麦克风阵列的输出信号；
S2、对所述输出信号进行分类，得到分类结果；
S3、根据所述分类结果构建代价函数；
S4、对所述代价函数进行求解，得到每个麦克风阵列相对于世界坐标系的空间变换矩阵。
需要说明的是，麦克风阵列的参数标定指的是外参标定，作用是将所有麦克风阵列所在的坐标系到世界坐标系的空间变换矩阵计算出来。本发明无需借助额外设备或器材，仅通过麦克风阵列自身即能完成外参标定。
具体地，在一个多声源的空间中，控制多个麦克风阵列对多声源进行监听，然后获取多个麦克风阵列的输出信号。一般地，每个麦克风阵列会输出N个输出信号，每个输出信号对应一个声源，每个输出信号包括俯仰角、方位角和音频信号。若空间中的声源数目为W，则N≤W，因为有的声源可能离某个麦克风阵列较远，则无法监听到，也就无法输出对应的信号。
因为同一个麦克风阵列的各个输出信号对应为不同声源，为了方便参数标定，需要将同一声源对应的输出信号进行归类，所以先对所有的输出信号进行分类，得到分类结果，每一类别对应一个声源。
根据分类结果构建代价函数，即构建一个总的代价函数，将每个类别的输出信号均代入进行求解。
对代价函数进行求解，得到每个麦克风阵列相对于世界坐标系的空间变换矩阵。值得注意的是，在求解代价函数的过程中，除了得到每个麦克风阵列相对于世界坐标系的空间变换矩阵，还能得到每个类别对应声源的位置信息。一般地，世界坐标系为预设的任一麦克风阵列的阵列坐标系。
本发明该实施例通过提供一种麦克风阵列的参数标定方法，无需辅助设备即可实现麦克风阵列的参数标定，有效解决了相机标定法的局限，灵活方便。
作为上述方案的改进，所述对所述输出信号进行分类，得到分类结果，具体包括：
根据任一麦克风阵列的输出信号得到初始分类结果；
计算其它麦克风阵列的任一输出信号与所述初始分类结果中的所有类别之间的相似度，并获取最大相似度；
当所述最大相似度大于预设阈值时，将所述任一输出信号归入最大相似度对应的初始分类结果的类别中；
当所述最大相似度小于预设阈值时，根据所述任一输出信号更新所述初始分类结果。
具体地，根据任一麦克风阵列的输出信号得到初始分类结果。例如第一个麦克风阵列有K个输出信号，则将每个输出信号作为一个类别，初始分类结果则有K类。
计算其它麦克风阵列的任一输出信号与初始分类结果中的所有类别之间的相似度，并获取最大相似度。值得注意的是，在计算其它麦克风阵列的输出信号与初始分类结果的所有类别的相似度时，计算的也是其它麦克风阵列的输出信号与每个类别中各个输出信号的相似度。值得注意的是，在计算相似度时，一般是利用输出信号中的音频信号进行计算，因为同一声源的音频会相似。
当最大相似度大于预设阈值时，将任一输出信号归入最大相似度对应的初始分类结果的类别中，此时表明计算的输出信号与对应的类别是同类，对应同一声源，所以需要归入同一类。
当最大相似度小于预设阈值时，即表明计算的输出信号与现有的初始分类结果均不是同类，需要根据任一输出信号更新初始分类结果，将对应计算的输出信号单独作为一个新类别，加入到初始分类结果中，在后续其他输出信号的相似度计算中，也要计算与该新类别的相似度。
为了加深对本发明该实施例的理解，下面以一个例子进行说明。例如第一个麦克风阵列有3个输出信号，先对应建立3个集合，分别为C1＝{O(1,1)}，C2＝{O(1,2)}，C3＝{O(1,3)}。对于第二个麦克风阵列的第1个输出信号O(2,1)，计算O(2,1)与现有每个集合中每个元素的相似度，假如计算O(2,1)与C1，C2，C3中各元素的相似度都小于阈值T，则为O(2,1)新建一个集合C4＝{O(2,1)}。对于第二个麦克风阵列的第2个输出信号O(2,2)，计算得到O(2,2)与O(1,1)的相似度大于阈值T，则就把O(2,2)也加入到O(1,1)对应的集合C1中。至此，我们能得到4个集合，C1＝{O(1,1),O(2,2)}，C2＝{O(1,2)}，C3＝{O(1,3)}，C4＝{O(2,1)}。同理，对于其他麦克风阵列的输出信号，也是按照类似的方法计算，在此不赘述。
此外，本发明该实施例还提供了两种相似度的计算方法，当然，还有其他的方法，这两种方法不构成对本发明的限定。
第一，根据互相关函数计算相似度，也就是说利用互相关函数计算任一输出信号与每个类别中各个输出信号的互相关值，将最大的互相关值作为对应两个输出信号之间的相似度。
第二，将需要计算相似度的两个输出信号先通过快速傅里叶变换转换到频域，得到对应的频域信号，然后根据公式
Figure BDA0003036909220000061
计算对应两个输出信号的相似度r，其中，Si表示初始分类结果中的任一类别对应的输出信号的第i个频域信号，1≤i≤I/2，I为初始分类结果中的任一类别对应的输出信号的音频长度，即长度为I个点，
Figure BDA0003036909220000062
表示表示初始分类结果中的任一类别对应的输出信号的所有频域信号的平均值，Tj表示其它麦克风阵列的任一输出信号的第j个频域信号，1≤j≤J/2，J为其它麦克风阵列的任一输出信号的音频长度，即长度为J个点，
Figure BDA0003036909220000071
表示其它麦克风阵列的任一输出信号的所有频域信号的平均值，0≤r≤1，r越大，说明两个输出信号越相似。
作为上述方案的改进，所述代价函数为
Figure BDA0003036909220000072
其中，
Figure BDA0003036909220000073
Figure BDA0003036909220000074
Figure BDA0003036909220000075
为输出信号
Figure BDA0003036909220000076
所指向的直线，
Figure BDA0003036909220000077
为第n个类别中对应于从第m个麦克风阵列得到的输出信号，
Figure BDA0003036909220000078
为俯仰角，θm，n为方位角，am，n为示性函数，表示第m个麦克风阵列是否监听到了第n个类别，M为麦克风阵列的总数，N为所述分类结果中的类别总数；Hm为第m个麦克风阵列相对于世界坐标系的空间变换矩阵，Pn为第n个类别对应的声源P在所述世界坐标系下的坐标；dm,n为输出信号
Figure BDA0003036909220000079
与声源P之间的距离。
具体地，根据分类结果构建的代价函数为
Figure BDA00030369092200000710
其中，
Figure BDA00030369092200000711
Figure BDA00030369092200000712
Figure BDA00030369092200000713
为输出信号
Figure BDA00030369092200000714
所指向的直线，
Figure BDA00030369092200000715
为第n个类别中对应于从第m个麦克风阵列得到的输出信号，
Figure BDA00030369092200000716
为俯仰角，θm，n为方位角，am，n为示性函数，表示第m个麦克风阵列是否监听到了第n个类别(第n个声源)，每个类别对应一个声源，若监听到，即
Figure BDA00030369092200000717
真实存在，则am，n＝1，否则am，n＝0。当第n个声源距离第m个麦克风阵列较远，则可能监听不到，此时am，n＝0。1≤m≤M，M为麦克风阵列的总数，1≤n≤N，N为分类结果中的类别总数；Hm为第m个麦克风阵列相对于世界坐标系的空间变换矩阵，Hm为H1～HM中的第m个，Pn为第n个类别对应的声源P在世界坐标系下的坐标，即Pn＝(xn，yn，zn)，Pn为P1～PN中的第n个；dm,n为输出信号
Figure BDA0003036909220000081
与声源P之间的距离。Pm,n＝HmPn，Pm，n表示的是将世界坐标系下的点Pn利用Hm投影到第m个麦克风阵列的阵列坐标系中得到的点坐标。
值得注意的是，世界坐标系为预设的任一麦克风阵列的阵列坐标系。例如预设第一个麦克风阵列的阵列坐标系为世界坐标系，则H1＝[R＝E|t＝0]，E表示主对角线上元素均为1的单位矩阵，此时需要求解的是其他麦克风阵列的空间变换矩阵H2…HM，同时还能得到每个声源的坐标P1…PN。另外，需要提醒的是，P1…PN所在的坐标系为世界坐标系，
Figure BDA0003036909220000082
所在的坐标系为第m个麦克风阵列的阵列坐标系。
作为上述方案的改进，采用网格搜索法、梯度下降法、牛顿法或LM算法对所述代价函数进行求解。
具体地，采用网格搜索法、梯度下降法、牛顿法或LM算法对代价函数进行求解。对于代价函数
Figure BDA0003036909220000083
当采用网格搜索法进行求解时，是将参数空间H1～HM，P1～PN中的所有变量进行网格搜索，找出某一种组合变量使总代价函数达到最小，这一组变量就是对应的解。当采用LM(Levenberg-Marquarelt)算法时，优选介于一阶与二阶之间的LM算法。
作为上述方案的改进，在所述获取多个麦克风阵列的输出信号之前，还包括：
在预设的空间范围内预设多个声源同时发声，并控制多个麦克风阵列在声源发声时进行声音采集。
具体地，在预设的空间范围内预设多个声源同时发声，并控制多个麦克风阵列在声源发声时进行声音采集。也就是说，在预设空间中不同位置摆放一定数量的声源，从而进行多声源发声，同时令多个麦克风阵列进行声音采集，得到输出信号。该实施例对应的是空间中存在多个声源，同时发声的情况。
作为上述方案的改进，在所述获取多个麦克风阵列的输出信号之前，还包括：
控制一个发声声源在预设的空间范围内进行移动发声，并控制多个麦克风阵列在声源发声时进行声音采集。
具体地，控制一个发声声源在预设的空间范围内进行移动发声，并控制多个麦克风阵列在声源发声时进行声音采集。该实施例对应的是空间中只存在一个声源的情况，此时需要控制该声源进行移动并发声，以模拟多声源发声。例如控制手机在房间中各个角落移动并发声，控制多个麦克风阵列在t1、t2……tn的N个时刻分别进行声音采集，然后得到输出信号。
参见图2，是本发明该实施例提供的一种麦克风阵列的参数标定装置的结构示意图，所述装置包括：
信号获取模块11，用于获取多个麦克风阵列的输出信号；
分类模块12，用于对所述输出信号进行分类，得到分类结果；
函数构建模块13，用于根据所述分类结果构建代价函数；
求解模块14，用于对所述代价函数进行求解，得到每个麦克风阵列相对于世界坐标系的空间变换矩阵。
优选地，所述分类模块12具体包括：
初始分类单元，用于根据任一麦克风阵列的输出信号得到初始分类结果；
计算单元，用于计算其它麦克风阵列的任一输出信号与所述初始分类结果中的所有类别之间的相似度，并获取最大相似度；
划分单元，用于当所述最大相似度大于预设阈值时，将所述任一输出信号归入最大相似度对应的初始分类结果的类别中；
更新单元，用于当所述最大相似度小于预设阈值时，根据所述任一输出信号更新所述初始分类结果。
优选地，所述代价函数为
Figure BDA0003036909220000091
其中，
Figure BDA0003036909220000101
Figure BDA0003036909220000102
Figure BDA0003036909220000103
为输出信号
Figure BDA0003036909220000104
所指向的直线，
Figure BDA0003036909220000105
为第n个类别中对应于从第m个麦克风阵列得到的输出信号，
Figure BDA0003036909220000106
为俯仰角，θm，n为方位角，am，n为示性函数，表示第m个麦克风阵列是否监听到了第n个类别，M为麦克风阵列的总数，N为所述分类结果中的类别总数；Hm为第m个麦克风阵列相对于世界坐标系的空间变换矩阵，Pn为第n个类别对应的声源P在所述世界坐标系下的坐标；dm,n为输出信号
Figure BDA0003036909220000107
与声源P之间的距离。
优选地，采用网格搜索法、梯度下降法、牛顿法或LM算法对所述代价函数进行求解。
优选地，所述装置还包括：
第一声源采集模块，用于在预设的空间范围内预设多个声源同时发声，并控制多个麦克风阵列在声源发声时进行声音采集。
优选地，所述装置还包括：
第二声源采集模块，用于控制一个发声声源在预设的空间范围内进行移动发声，并控制多个麦克风阵列在声源发声时进行声音采集。
本发明实施例所提供的一种麦克风阵列的参数标定装置能够实现上述任一实施例所述的麦克风阵列的参数标定方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的麦克风阵列的参数标定方法的作用以及实现的技术效果对应相同，这里不再赘述。
参见图3，是本发明该实施例提供的一种终端设备的示意图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10执行所述计算机程序时实现上述任一实施例所述的麦克风阵列的参数标定方法。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器20中，并由处理器10执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在一种麦克风阵列的参数标定中的执行过程。例如，计算机程序可以被分割成信号获取模块、分类模块、函数构建模块和求解模块，各模块具体功能如下：
信号获取模块11，用于获取多个麦克风阵列的输出信号；
分类模块12，用于对所述输出信号进行分类，得到分类结果；
函数构建模块13，用于根据所述分类结果构建代价函数；
求解模块14，用于对所述代价函数进行求解，得到每个麦克风阵列相对于世界坐标系的空间变换矩阵。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图3仅仅是一种终端设备的示例，并不构成对所述终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者处理器10也可以是任何常规的处理器等，处理器10是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
存储器20可用于存储所述计算机程序和/或模块，处理器10通过运行或执行存储在存储器20内的计算机程序和/或模块，以及调用存储在存储器20内的数据，实现所述终端设备的各种功能。存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一实施例所述的麦克风阵列的参数标定方法。
综上，本发明实施例所提供的一种麦克风阵列的参数标定方法、装置、终端设备及存储介质，通过计算多个麦克风阵列所有的输出信号的相似度，根据相似度对输出信号进行分类，从而根据分类结果构建代价函数，求解得到所有麦克风阵列相对于世界坐标系的空间变换矩阵和每个类别对应的声源的空间位置。本发明无需辅助设备即可实现麦克风阵列的空间变换矩阵的标定，有效解决了相机标定法的局限，实现麦克风阵列参数的灵活标定。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种麦克风阵列的参数标定方法，其特征在于，包括：
获取多个麦克风阵列的输出信号；
对所述输出信号进行分类，得到分类结果；
根据所述分类结果构建代价函数；
对所述代价函数进行求解，得到每个麦克风阵列相对于世界坐标系的空间变换矩阵。
2.如权利要求1所述的麦克风阵列的参数标定方法，其特征在于，所述对所述输出信号进行分类，得到分类结果，具体包括：
根据任一麦克风阵列的输出信号得到初始分类结果；
计算其它麦克风阵列的任一输出信号与所述初始分类结果中的所有类别之间的相似度，并获取最大相似度；
当所述最大相似度大于预设阈值时，将所述任一输出信号归入最大相似度对应的初始分类结果的类别中；
当所述最大相似度小于预设阈值时，根据所述任一输出信号更新所述初始分类结果。
3.如权利要求1所述的麦克风阵列的参数标定方法，其特征在于，所述代价函数为
Figure FDA0003036909210000011
其中，
Figure FDA0003036909210000012
Figure FDA0003036909210000013
Figure FDA0003036909210000014
为输出信号
Figure FDA0003036909210000015
所指向的直线，
Figure FDA0003036909210000016
为第n个类别中对应于从第m个麦克风阵列得到的输出信号，
Figure FDA0003036909210000017
为俯仰角，θm，n为方位角，am，n为示性函数，表示第m个麦克风阵列是否监听到了第n个类别，M为麦克风阵列的总数，N为所述分类结果中的类别总数；Hm为第m个麦克风阵列相对于世界坐标系的空间变换矩阵，Pn为第n个类别对应的声源P在所述世界坐标系下的坐标；dm,n为输出信号
Figure FDA0003036909210000021
与声源P之间的距离。
4.如权利要求3所述的麦克风阵列的参数标定方法，其特征在于，采用网格搜索法、梯度下降法、牛顿法或LM算法对所述代价函数进行求解。
5.如权利要求1至4任一项所述的麦克风阵列的参数标定方法，其特征在于，在所述获取多个麦克风阵列的输出信号之前，还包括：
在预设的空间范围内预设多个声源同时发声，并控制多个麦克风阵列在声源发声时进行声音采集。
6.如权利要求1至4任一项所述的麦克风阵列的参数标定方法，其特征在于，在所述获取多个麦克风阵列的输出信号之前，还包括：
控制一个发声声源在预设的空间范围内进行移动发声，并控制多个麦克风阵列在声源发声时进行声音采集。
7.一种麦克风阵列的参数标定装置，其特征在于，包括：
信号获取模块，用于获取多个麦克风阵列的输出信号；
分类模块，用于对所述输出信号进行分类，得到分类结果；
函数构建模块，用于根据所述分类结果构建代价函数；
求解模块，用于对所述代价函数进行求解，得到每个麦克风阵列相对于世界坐标系的空间变换矩阵。
8.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的麦克风阵列的参数标定方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的麦克风阵列的参数标定方法。
CN202110452116.9A 2021-04-25 2021-04-25 麦克风阵列的参数标定方法、装置、终端设备及存储介质 Active CN113312971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110452116.9A CN113312971B (zh) 2021-04-25 2021-04-25 麦克风阵列的参数标定方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110452116.9A CN113312971B (zh) 2021-04-25 2021-04-25 麦克风阵列的参数标定方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN113312971A true CN113312971A (zh) 2021-08-27
CN113312971B CN113312971B (zh) 2024-09-06

Family

ID=77371148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110452116.9A Active CN113312971B (zh) 2021-04-25 2021-04-25 麦克风阵列的参数标定方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113312971B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR647501A0 (en) * 2001-07-19 2001-08-09 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
AU2002325063B2 (en) * 2001-07-19 2007-11-01 Personal Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
US20140270248A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Detecting and Controlling the Orientation of a Virtual Microphone
WO2015054835A1 (en) * 2013-10-16 2015-04-23 Nokia Technologies Oy Methods, apparatuses and computer program products for calibration of antenna array
CN106653041A (zh) * 2017-01-17 2017-05-10 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
CN109087648A (zh) * 2018-08-21 2018-12-25 平安科技（深圳）有限公司 柜台语音监控方法、装置、计算机设备及存储介质
CN109254266A (zh) * 2018-11-07 2019-01-22 苏州科达科技股份有限公司 基于麦克风阵列的声源定位方法、装置及存储介质
CN109932689A (zh) * 2019-02-24 2019-06-25 华东交通大学 一种适用于特定定位场景的任意阵列优化方法
CN111060872A (zh) * 2020-03-17 2020-04-24 深圳市友杰智新科技有限公司 基于麦克风阵列的声源定位方法、装置和计算机设备
CN112153548A (zh) * 2020-09-15 2020-12-29 科大讯飞股份有限公司 一种麦克风阵列一致性检测方法及检测装置
CN112261361A (zh) * 2020-09-25 2021-01-22 江苏聆世科技有限公司 一种麦克风阵列与球机联动的异常声源监控方法和系统
CN112581978A (zh) * 2020-12-11 2021-03-30 平安科技（深圳）有限公司 声音事件检测与定位方法、装置、设备及可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR647501A0 (en) * 2001-07-19 2001-08-09 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
AU2002325063B2 (en) * 2001-07-19 2007-11-01 Personal Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
US20140270248A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Detecting and Controlling the Orientation of a Virtual Microphone
WO2015054835A1 (en) * 2013-10-16 2015-04-23 Nokia Technologies Oy Methods, apparatuses and computer program products for calibration of antenna array
CN106653041A (zh) * 2017-01-17 2017-05-10 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
CN109087648A (zh) * 2018-08-21 2018-12-25 平安科技（深圳）有限公司 柜台语音监控方法、装置、计算机设备及存储介质
CN109254266A (zh) * 2018-11-07 2019-01-22 苏州科达科技股份有限公司 基于麦克风阵列的声源定位方法、装置及存储介质
CN109932689A (zh) * 2019-02-24 2019-06-25 华东交通大学 一种适用于特定定位场景的任意阵列优化方法
CN111060872A (zh) * 2020-03-17 2020-04-24 深圳市友杰智新科技有限公司 基于麦克风阵列的声源定位方法、装置和计算机设备
CN112153548A (zh) * 2020-09-15 2020-12-29 科大讯飞股份有限公司 一种麦克风阵列一致性检测方法及检测装置
CN112261361A (zh) * 2020-09-25 2021-01-22 江苏聆世科技有限公司 一种麦克风阵列与球机联动的异常声源监控方法和系统
CN112581978A (zh) * 2020-12-11 2021-03-30 平安科技（深圳）有限公司 声音事件检测与定位方法、装置、设备及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TAGHIZADEH, M. J等: "Ad-hoc microphone array calibration from partial distance measurements", 《2014 4TH JOINT WORKSHOP ON HANDS-FREE SPEECH COMMUNICATION AND MICROPHONE ARRAYS (HSCMA)》, 31 May 2014 (2014-05-31), pages 1 - 5, XP032610739, DOI: 10.1109/HSCMA.2014.6843239 *
温俊杰等: "声场可视化系统中声像阵列空间关系标定研究", 《仪器仪表学报》, vol. 38, no. 6, 30 June 2017 (2017-06-30), pages 1540 - 1546 *
王昊: "基于声达时间差的移动机器人声源定位方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, 15 January 2021 (2021-01-15), pages 140 - 1003 *

Also Published As

Publication number Publication date
CN113312971B (zh) 2024-09-06

Similar Documents

Publication Publication Date Title
CN108960090B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN109829432B (zh) 用于生成信息的方法和装置
CN109545072A (zh) 地图构建的位姿计算方法、装置、存储介质和系统
CN114491399A (zh) 数据处理方法、装置、终端设备及计算机可读存储介质
EP4447008A1 (en) Facial recognition method and apparatus
CN113314138B (zh) 基于麦克风阵列的声源监听分离方法、装置及存储介质
CN109697083B (zh) 数据的定点化加速方法、装置、电子设备及存储介质
CN113311390A (zh) 基于分布式麦阵的声源定位方法、装置、设备及存储介质
CN111291450A (zh) 一种确定发动机罩回弹三维模型的方法、装置及设备
CN115035017A (zh) 细胞密度分群方法、装置、电子设备及存储介质
CN113312971A (zh) 麦克风阵列的参数标定方法、装置、终端设备及存储介质
CN115457202B (zh) 一种三维模型更新的方法、装置及存储介质
CN117132950A (zh) 一种车辆追踪方法、系统、设备及存储介质
CN113311391A (zh) 基于麦克风阵列的声源定位方法、装置、设备及存储介质
US12002272B2 (en) Method and device for classifing densities of cells, electronic device using method, and storage medium
CN113780555B (zh) 基于数据增强的模型训练方法、装置、设备及存储介质
CN110134813B (zh) 图像检索方法、图像检索装置及终端设备
CN113139617B (zh) 一种输电线路自主定位方法、装置及终端设备
CN115115709A (zh) 车内场景构建方法、终端设备及计算机可读存储介质
CN112816959B (zh) 用于车辆的聚类方法、装置、设备和存储介质
CN113160942A (zh) 影像数据质量评估方法、装置、终端设备及可读存储介质
CN113627460A (zh) 一种基于时间切片卷积神经网络的目标识别系统与方法
CN109286798B (zh) 一种投影屏幕的边框位置识别方法、系统及终端设备
CN110969674A (zh) 一种生成绕线画的方法、装置、终端设备及可读存储介质
CN110852767A (zh) 客流量聚类方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant