CN101013155A - 声学定位和增强 - Google Patents
声学定位和增强 Download PDFInfo
- Publication number
- CN101013155A CN101013155A CNA2007100879413A CN200710087941A CN101013155A CN 101013155 A CN101013155 A CN 101013155A CN A2007100879413 A CNA2007100879413 A CN A2007100879413A CN 200710087941 A CN200710087941 A CN 200710087941A CN 101013155 A CN101013155 A CN 101013155A
- Authority
- CN
- China
- Prior art keywords
- acoustic receiver
- sampling
- sound source
- time
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005070 sampling Methods 0.000 claims abstract description 221
- 238000000034 method Methods 0.000 claims abstract description 93
- 230000004044 response Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 95
- 230000001360 synchronised effect Effects 0.000 claims description 51
- 230000004807 localization Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 239000012120 mounting media Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 2
- 230000002708 enhancing effect Effects 0.000 description 16
- 238000013508 migration Methods 0.000 description 15
- 230000005012 migration Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 101100283411 Arabidopsis thaliana GMII gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002609 medium Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/28—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves by co-ordinating position lines of different shape, e.g. hyperbolic, circular, elliptical or radial
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
- G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
- G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0658—Clock or time synchronisation among packet nodes
- H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
- H04J3/0667—Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0685—Clock or time synchronisation in a node; Intranode synchronisation
- H04J3/0697—Synchronisation in a packet node
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S367/00—Communications, electrical: acoustic wave systems and devices
- Y10S367/906—Airborne shock-wave detection
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Abstract
一种定位声源的方法,该方法包括在多个具有不同位置的声接收机处对所述声源进行采样,每个声接收机使用系统时间为各自接收的声采样标记时间戳,每个声接收机发送所述标记了时间戳的采样到中央控制器,该中央控制器响应于从多个接收机接收标记了时间戳的声音源采样而确定声源的位置。
Description
技术领域
本发明涉及利用具有诸如麦克风这样的声换能器(acoustictransducer)的多个声接收机(acoustic receiver)的声源(acoustic source)或音频源(audio source)定位和声信号(acoustic signal)增强。
背景技术
基于枪声到达多个麦克风的时间来定位枪击的系统利用诸如电话线这样的开放模拟线路将声音传递到中央控制器。然后该中央控制器能够利用各个麦克风处的相对到达时间来确定枪声源相对于麦克风位置的位置。麦克风通常位于电话线杆上,并且这些系统能够定位城区大小范围内的枪击。通过使用更多的麦克风、计算和通信线路资源,可以获得更高的精度。然而,这些系统不能很好地扩展,因为它们需要具有很好延迟特性的开放模拟线路以准确地确定声源的位置。
在其他声学定位系统中,声信号在多个麦克风处被采样和存储。给定时间范围内的采样被中央控制器所请求,以便通过使用来自每个所请求的麦克风的到达时间信息来计算声源位置。针对每个麦克风所请求的时间范围被根据它们的位置和它们各自的本地时钟之间的相对定时差而偏移。然而该系统是处理器和存储器密集型的。
在另一个声学定位系统中,通过预先知道声信号将被发射的时间,声传感器能够确定它们各自与声信号源的测程(range)(知道声音的速度)并且然后使用三角测量来确定声源的位置。
从具有已确定位置的声源接收的声信号的增强可以通过使用定向麦克风而实现。其他解决方案尝试从接收的信号中去除噪声。
发明内容
总体来说,在一方面中,提供了声接收机或音频接收机阵列,其包括通过比如网络这样的通信路径耦合到中央控制器或处理器的音频换能器,比如麦克风或声音传感器。声接收机被布置为对来自比如枪击或会堂中的发言人这样的声源或音频源的声信号进行采样,并在各个声接收机处使用共同或系统时间给这些采样标记时间戳。系统时间是声接收机和中央控制器与之同步的共同时间,在一个实施例中系统时间是通过使用在IEEE标准1588-2002,“IEEE Standard for a Precision Clock SynchronizationProtocol for Networked Measurement and Control Systems”、IEEE,NcwYork,2002中定义的精确时间协议(PTP)同步的各个本地时钟来实现的;以下将该协议称为PTP。然后来自每个声接收机的标记有时间戳的声采样通过通信路径被发送到中央控制器,该中央控制器可以与一个声接收机相集成,也可能不与声接收机相集成。在一个实施例中,该通信路径包括具有非特性延迟的数字通信路径,比如以太网局域网,或具有非特性延迟的其他路径。非特性延迟是未知的信号传播延迟。知道声接收机位置的中央控制器使用在每个声接收机处的对共同声学特征或事件的接收(时间戳)之间的相对时间差来计算声源的位置。
其他实施例可利用不同的系统时间同步方法,并且在一些低精度应用中,甚至可以采用比如在因特网上普遍使用的网络时间协议(NTP)这样的低精度同步方法。
具有特性延迟的通信路径可以用在声接收机和中央控制器之间,例如,已知长度的模拟同轴电缆。类似地,各种具有非特性延迟的通信路径也可被使用,包括任何分组交换数字网络,比如因特网,以及比如IEEE802.11协议标准所规定的无线LAN。
采样的声信号在被标记时间戳之前可被数字化,或以模拟格式记录。在一个实施例中,仅响应于检测到预定的声学样式或事件(比如枪击)而执行采样。然而,声接收机也可以对声信号进行连续的采样。类似地,标记了时间戳的声采样可以被存储在各声接收机处直到被中央控制器所请求,或者,标记了时间戳的采样可以被自动发送到中央控制器。
中央控制器可以利用使用来自多个声接收机的标记有时间戳的采样来计算声源位置的各种方法。在一个实施例中,双曲线系统被用于利用在各声接收机处接收共同声学事件(例如枪击的开始)的时间差来确定从每个声接收机到声源的距离。可以解双曲线方程组,以确定从每个声接收机到声源的测程。这种用来确定距离的双曲线系统的一个已知应用被使用在长程导航(LORAN)系统中,如在http://en.wikipedia.org/wiki/LORAN中所描述的。然后使用相交测程圆系统的三角测量可以被用来确定声源相对于声接收机的位置。知道了声接收机的位置也就使得能够固定声源的位置。在给定已知位置处到达时间差的情况下计算声音源位置的各种其他方法对本领域技术人员来说也是可以使用的。
一旦确定了声源的位置,所接收的声采样可以被相干地组合,也就是在时间对齐并且相加起来,以便产生增强的声信号,例如放大和/或减小声信号的噪声;例如原始枪声。
类似地,中央控制器可以依据所确定出的其各自与声源的距离指令声接收机在各自的声接收机时间对声源进行采样。然后所采样的声信号可以被发送到已为了相干组合而被对齐的中央控制器以产生增强的声信号。换句话说,在每个声接收机处相应的采样捕捉在不同的位置的相同的声学特征。然后这些采样以使得它们各自的采样时间被布置为捕捉相同的声学特征的方式被对齐。这例如可以应用于讨论会设置中,即听众中的发言人可以使用麦克风阵列来定位,然后这些麦克风被定时为以合适的间隔对该发言人进行采样以获得对发言人语音的增强接收。
另一方面提供了一种定位声源的方法,该方法包括:在多个声接收机处对所述声源进行采样;每个声接收机使用系统时间为各自接收的声采样标记时间戳;每个声接收机发送所述标记了时间戳的声采样到中央控制器;中央控制器响应于从多个接收机接收标记了时间戳的声音源采样而确定声源的位置。
另一方面提供了一种用于定位声源的系统,该系统包括:多个声接收机,布置为对声源进行采样;每个声接收机具有时钟和处理器,其被布置为为声采样标记时间戳,本地时钟被与系统时间同步;每个声接收机具有通信接口,其被布置为将所述标记了时间戳的采样发送到中央控制器;中央控制器被布置为接收标记了时间戳的采样并使用来自多个接收机的所述标记了时间戳的采样确定声源的位置。
另一方面提供了一种声接收机,包括:声换能器,用于转换从声源接收的声信号;本地时钟,布置为与外部系统时间同步;通信接口,布置为与通信路径进行接口;以及处理器,布置为对已转换的从声源接收的声信号进行采样,并发射所述采样到所述通信路径上。
另一方面提供了一种声接收机,包括:声换能器,用于转换从声源接收的声信号;本地时钟,布置为与外部系统时间同步;通信接口,布置为与通信路径进行接口;以及处理器,布置为对已转换的从声源接收的声信号进行采样,使用本地时钟为所述采样标记时间戳,并发射所述标记了时间戳的采样到所述通信路径上。
在一个实施例中,可以通过将每个采样与各自的时间戳一起发送到中央控制器来完成对标记了时间戳的采样的发射或发送。或者,在另一个实施例中,可以通过将标记了时间戳的采样的序列中的第一个标记了时间戳的采样与相应的时间戳以及时间戳间隔一起发送,然后仅发送序列中剩余的标记了时间戳的采样而不发送它们各自的时间戳,来实现对标记了时间戳的采样的发送。通过获知第一时间戳以及时间戳或采样时间间隔,接收标记了时间戳的采样的序列的中央控制器能够从该第一采样时间戳、采样时间间隔以及它们在采样序列中的接收顺序来确定它们的合适的采样时间。这样就可以不考虑非特性通信路径上的延迟,并假设标记了时间戳的采样被发射或发送的顺序与它们被中央控制器所接收的顺序相同。这种假设在LAN或许多其它类型的基于数字网络的通信路径上是有效的,但它有可能不能被应用到较大网络中,例如因特网,因为其中分组可能不按顺序到达。
另一方面提供了一种对声源进行采样的方法,该方法包括:转换从声源接收的声信号;使用外部系统时间对所转换的声信号进行采样;使用系统时间为采样的声信号标记时间戳;发射标记了时间戳的采样的声信号到通信路径上。
另一方面提供了一种中央控制器,其包括:通信接口,布置为通过通信路径从多个声接收机接收标记了时间戳的声采样;和处理器,布置为使用标记了时间戳的声采样确定声源的位置。
另一方面提供了一种确定声源的位置的方法,该方法包括:通过通信路径从多个声接收机接收声源的标记了时间戳的采样;基于所接收的标记了时间戳的声采样确定声源的位置。
可以使用已知的声接收机的位置和共同的声学特征或样式的相对接收时间(如它们各自的时间戳所指示的)来确定位置。
在一个实施例中,中央控制器识别从多个声接收机接收的标记了时间戳的采样中的共同声学特征,并使用各自的时间戳确定所识别的共同声学特征的接收时间的时间偏移或差。
在一个实施例中,通信路径具有非特性延迟,例如LAN;通信接口适合于与该具有非特性延迟的通信路径进行接口。或者,通信路径延迟可以是特性延迟,例如已知长度的模拟同轴路径。
在一个实施例中,每一个声接收机的时钟都使用精确时间协议与外部或系统时间同步。这可以通过结合在接收机中的PTP硬件来实现,其恢复(复制)所有经过相关声接收机处的PHY和MAC层接口的PTP同步分组并为其标记时间戳。对于不同实施例,也可以设想其他布置,例如对来自不同时间同步协议的同步分组进行硬件时间戳标记,或者甚至是在不同接口“监听”同步分组,这些同步分组例如直接来自PHY或MAC层,或甚至直接来自通信路径。
类似地,不同的同步协议可与不同的同步消息一起使用。
一旦确定了声源的位置,所接收的声采样可以被相干组合,也就是共同声学特征被对齐和相加,以产生增强的声信号,例如放大和/或减小声信号的噪声;例如原始枪声。
总体来说,另一方面提供了声接收机阵列,其包括声换能器,比如通过比如网络这样的通信路径连接到中央控制器的麦克风或声传感器。声接收机被布置为使用系统时间在各自的声接收机采样时间对来自比如枪击或会堂中的发言人这样的声源或音频源的声信号进行采样。系统时间是由所有声接收机所使用的共同时间,并且在一个实施例中是由通过使用PTP时间同步协议而同步的各个本地时钟来实现的。各个声接收机采样时间被确定并由中央控制器发送到各个声接收机,并且依赖于声源相对于各个声接收机的位置。例如,声源到声接收机的距离越远,与较近的声接收机相比,该声接收机的相应声接收机采样时间就越晚。然后,被适当定时的声采样通过通信路径被发送到中央控制器,该中央控制器可以与一个声接收机集成,也可以不与声接收机集成。在一个实施例中,通信路径包括比如以太网局域网这样的具有非特性延迟的数字通信网络或其他非特性延迟路径。然后中央控制器对采样的声信号进行相干的相加或其他处理,以产生代表声源的增强的声信号;例如放大的和/或噪声较低的声信号。
从声接收机发送到中央控制器的声采样可以按同步的本地时间被标记以时间戳,也可以不按同步的本地时间被标记以时间戳。在一些实施例中不需要标记时间戳,因为声采样是在中央控制器所确定的各个声接收机采样时间被捕捉的,并且这些采样可以通过除标记时间戳之外的其他机制与该采样时间相关联。例如每个采样可以在特性延迟通信路径上被发送以使得中央控制器能够确定其采样时间和对其进行采样的声接收机。或者,每一组采样(对于每个声接收机,有一组来自它)可以被适当地标记。然而在其他实施例中,可以使用时间戳标记以使得只有来自于每个声接收机的对应于该声接收机的相应采样时间的标记了时间戳的采样被中央控制器组合。声采样可以被数字采样,也可以不被数字采样。
其他实施例可利用不同的系统时间同步方法,例如在一些低精度应用中,可以使用比如在因特网上普遍使用的网络时间协议(NTP)这样的低精度同步方法。特性延迟通信路径可以用在声接收机和中央控制器之间,例如,模拟同轴电缆。类似地,各种非特性延迟通信路径也可被使用,包括任何分组交换数字网络,比如因特网,以及比如IEEE802.11协议标准所规定的无线LAN。
声源的位置可以通过先前列出的本发明的方面来确定,然而也可以使用其他定位方法。例如声源位置可对应于会堂的建筑平面图上的一个点,其可被观察者很容易地手工识别,或被合适的系统自动识别。在另一个例子中,站在指挥台上的发言人的位置可以被确定,其中从建筑图中可以知道指挥台的位置并且可以假定发言人的高度。在另一种情况中(例如,放电影),通过利用台架(gantry)或自动装置跟踪沿着已知轨道移动的声音源,就可以通过轨道和时间来确定声音源的位置。
另一方面提供了一种从声源接收采样的方法,该方法包括:在具有不同位置的多个声接收机处在各声接收机采样时间对所述声源进行采样,所述声接收机已经与系统时间同步;每个声接收机发送所述声采样到中央控制器;该中央控制器处理从多个声接收机接收的声采样。
另一方面提供了一种从声源接收采样的系统,该系统包括:多个声接收机,用于在不同位置在各声接收机采样时间对所述声源进行采样;每个声接收机与系统时间同步并被布置为发送所述声采样到中央控制器;该中央控制器被布置为处理从多个声接收机所接收的声采样。
各声接收机采样时间可以依赖于到声源的距离,从而依赖于共同声学特征或样式在每个接收机处的期望到达时间,以便它们在不同的位置被采样。然后这些来自不同声源的采样记录共同声学事件并由中央控制器组合。
另一方面提供了一种中央控制器,包括:处理器,布置为确定多个声接收机中每一个相对于系统时间各自的声接收机采样时间;通信接口,布置为接收来自声接收机的响应于指令声接收机在它们各自的接收机采样时间进行采样的指令通过通信路径并对应于采样时间的声采样;该处理器进一步布置为组合所接收的采样。
另一方面提供了一种中央控制器,包括:本地时钟,与系统时间同步;处理器,布置为确定多个声接收机中每一个相对于系统时间各自的声接收机采样时间;通信接口,布置为从声接收机接收声采样;该处理器进一步布置为将来自各声接收机的对应于所确定的各自的声接收机采样时间的接收采样相组合。
在一个实施例中,标记有时间戳的声采样可以从声接收机接收,并且中央控制器被布置为仅对那些对应于各声接收机采样时间的采样进行组合。
另一方面提供了一种增强来自声源的声信号的方法,该方法包括:确定多个声接收机中每一个相对于系统时间各自的声接收机采样时间;通过通信路径指令声接收机在它们各自的接收机采样时间进行采样;通过该通信路径从声接收机接收相应的声采样;组合所接收的声采样。
另一方面提供了一种增强来自声源的声信号的方法,该方法包括:确定多个声接收机中每一个相对于系统时间各自的声接收机采样时间;通过通信路径从声接收机接收声采样;组合所接收的对应于所确定的声接收机采样时间的声采样。
各声接收机采样时间可以依赖于每个声接收机和声源之间的距离。控制器可以处理所接收的采样,例如通过相干地组合所接收的采样来增强该声信号。
另一方面提供了一种声接收机,包括:声换能器,用于转换从声源接收的声信号;本地时钟,与外部系统时间同步;通信接口,布置为与通信路径进行接口;以及处理器,布置为接收各自的声接收机采样时间并且在所述各自的声接收机采样时间对接收自声源的声信号进行采样,以及发射所述采样到所述通信路径上。
另一方面提供了一种对声源进行采样的方法,该方法包括:与系统时间同步;接收各自的声接收机采样时间;转换从声源接收的声信号;在所述各自的声接收机采样时间对转换的声信号进行采样;发射采样的声信号到通信路径上。
在一个实施例中,各自的声接收机采样时间可对应于在每个声接收机处各自的时间偏移,以使得声源被每个声接收机周期性地采样,但是每个接收机各自进行采样的时间偏移却依赖于其到声源的距离。这样可为每个采样周期生成一个采样集合或采样群组,对于每个声接收机,有一个采样集合或采样群组来自它。在控制器处,在采用特性延迟通信路径的情况下可通过接收时间区分来自一个集合的采样和来自另一集合的采样,或者可通过合适的标识符或标签来区分,或者通过在声接收机处应用的时间戳来区分,中央控制器可诉诸该时间戳来识别特定时间范围内的所有采样。
总体来说,另一方面还提供了一种定位声接收机的方法,这种声接收机例如是这种接收机阵列中的麦克风或声传感器。这可以通过使用对这些声接收机中至少两个的位置、声源的位置和定时以及声音的速度的计算和知识来实现。通过这些信息,可以确定其他声接收机中的每一个的相对和实际位置。声源可以来自与这些声接收机之一相关联的声音源,例如蜂鸣器或扬声器,其在预定的时间发射声音。或者,也可以使用独立声源。这种方法可被用于校准上述定位和增强系统以准确地定位声接收机阵列。
该阵列的声接收机被使用通信路径耦合到一起。在一个实施例中,该通信路径包括非特性延迟数字通信路径,比如以太网局域网,或其他非特性延迟路径。然而也可以使用特性延迟路径。
每个声接收机(以及中央处理器(如果使用了的话))都被与系统时间同步。在一个实施例中,这是通过使用IEEE 1588时间同步协议而同步的各本地时钟来实现的。
在一方面,提供了一种定位未知位置声接收机的方法,该方法包括:确定声信号在所述未知位置声接收机和两个已知位置声接收机处的到达时间,该声接收机信号是在已知时间从已知位置声源发射的;依据声接收机之间的到达时间差来确定未知位置声接收机的位置。
该方法可被重复以固定多个未知位置声接收机的位置。
在一个实施例中,确定未知位置接收机的位置的步骤包括确定声接收机之间声信号到达时间差,其中接收的声信号对应于共同声学事件;基于所述到达时间差计算从声源到每个声接收机的相对距离;使用所述相对距离和已知位置声接收机的位置来确定未知位置声接收机的位置。
在一个实施例中,该声源可以是已知位置声接收机之一,其结合有比如扬声器这样的发声器。
另一方面提供了一种声接收机,包括:声换能器,用于转换从声源所接收的声信号;本地时钟,布置为与外部系统时间同步;通信接口,布置为与通信路径进行接口;处理器,布置为对已转换的从该声源接收的声信号进行采样,以及发射所述采样到所述通信路径上;一个声学发声器。
另一方面提供了一种声接收机,包括:声换能器,用于转换从声源所接收的声信号;本地时钟,布置为与外部系统时间同步;通信接口,布置为与通信路径进行接口;处理器,布置为对已转换的从该声源接收的声信号进行采样,使用本地时钟为所述采样标记时间戳,并且发射所述标记了时间戳的采样到所述通信路径上;以及一个声学发声器。
另一方面提供了一种声接收机,包括:声换能器,用于转换从声源所接收的声信号;本地时钟,与外部系统时间同步;通信接口,布置为与通信路径进行接口;处理器,布置为接收各自的声接收机采样时间并对在所述各自的声接收机采样时间从声源接收的声信号进行采样,并且发射所述采样到所述通信路径上;以及一个声学发声器。
每个所列出的方法都可以通过软件或一些其他方式实现。
附图说明
现在将参考以下附图以示例方式而非限制方式描述实施例,附图中:
图1示出了根据一个实施例的声接收机系统;
图2图示了根据一个实施例的声接收机;
图3图示了根据一个实施例在声接收机处对声源进行采样的方法;
图4a图示了根据IEEE 1588协议同步时钟的方法;
图4b图示了在声接收机或中央控制器处的IEEE 1588硬件和软件接口;
图5图示了根据一个实施例的中央处理器;
图6图示了通过从多个声接收机接收的标记了时间戳的采样来确定声源位置的方法;
图7a-7c图示了从图1中三个声接收机接收的声采样;
图8a-8d图示了两个时间位移了的声信号的偏移确定和组合。
图9a用图表图示了显示来自两个声接收机的声源的可能相关性的双曲线;
图9b图示了三个声接收机的可能相对位置或相对距离双曲线;
图9c图示了使用图9b中双曲线的交点确定到每个声接收机的相对距离的过程;
图9d用图表图示了使测程圆相交以确定声源相对于图9c中的声接收机的位置的方法;
图10图示了根据一个实施例确定声源位置的方法;
图11图示了增强来自声源的声信号的方法;
图12图示了根据一个实施例在声接收机处进行采样的方法;
图13图示了根据一个实施例使用在中央控制器接收的采样增强来自声源的声信号的方法;
图14图示了根据一个实施例确定声接收机的位置的方法;以及
图15图示了根据一个实施例的声接收机。
具体实施方式
图1图示了根据一个实施例的用于确定声源或声音源的位置的系统。该系统100包括声接收机105a-105f的阵列,这些声接收机通常具有麦克风或其他声换能器,并且通过网络120耦合到中央控制器125。该中央控制器可与声接收机105之一集成,或者它也可以为单独的实体,如所示的那样。麦克风或声接收机105的位置是已知的,并且通常它们被布置为“包围”一个包含未知位置声源的区域。然而也可以使用声接收机或麦克风的各种其他布置或位置布局,包括例如平面阵列或分布阵列,在分布阵列中麦克风被分布在整个所关心的区域中,而不是例如仅仅位于其外围。
声源110的位置最初不知道,从声源110到每个声接收机105的声发射或声音的相对“行程时间”由线115示意性地图示。因此相同的声发射将在不同时间到达不同声接收机。因为没有假定来自声源的声发射时间,所以至少需要三个声接收机105以便使用这些不同的到达时间计算声源的位置或方位,如在以下更详细描述的。
网络120可以是局域网(LAN),无线LAN或甚至例如是因特网,并且包括非特性延迟通信路径(non characterized delay communicationpath)。该非特性通信路径具有延迟,该延迟不是固定的或能够可靠地预计的。通常,该非特性延迟通信路径是用数字分组交换连接来实现的。使用非特性延迟通信路径意味着该系统并不依赖于通信路径的延迟来估计声源的位置,因此,可以使用更便宜的通信路径。例如,单缆环路可被用于网络,而特性延迟通信路径需要已知长度的专用高质量电缆。然而,或者也可以在一些实施例中使用特性延迟通信路径,比如模拟同轴电缆或电话线。
适于使用在图1的系统中的声接收机的示意图如图2所示。声接收机205包括比如麦克风这样的声换能器230,处理器232,比如以太网LAN接口这样的通信路径接口234,比如PTP硬件实现这样的系统时间同步元件236,以及本地振荡器239。PTP硬件236包括本地时钟,其与通过位于中央控制器125中或其他地方的主时钟所提供的外部或系统时间同步。该主时钟也可以位于多个声接收机之一中。
可以使用基于硬件的PTP同步设备236以同步声接收机和中央控制器的各个本地时钟,使它们相互之间的差异在微秒之内。然而软件实现的PTP同步可以被利用在不太需要位置精度的实施例中。下面参考图4a和4b给出了PTP方法和硬件的操作的综述,然而该系统的细节对技术人员来说是很容易获得的。在其他实施例中可以使用其他同步机制,比如网络时间协议(NTP)。所使用的同步的类型例如可以依赖于所需要的声源定位精度或成本。
通信路径接口234被耦合到非特性延迟通信路径220,比如以太网LAN。时间同步接口236也被耦合到非特性延迟通信路径220,尽管可以使用单独的同步路由。当使用PTP同步时,可以经由通信路径接口234耦合到通信路径,如参考图4b详细描述的那样。
参考图3描述图2的声接收机的操作方法。该方法(300)从声源接收声信号或声音(305),这些被声换能器230转换。可选地,声接收机205可以确定所接收的信号是否对应于预定的声学样式或声学事件(310),比如枪声、脚步声或人的语音。这些例如可以通过由处理器232将所接收的声信号的帧与存储在本地存储器(未示出)上的声信号样式相比较来实现。如果没有检测到这种样式(310N),那么该方法(300)继续监视传入的声信号。如果检测到了预定的样式(310Y)或者如果没有使用该选项,那么所接收的和转换的声信号被采样和数字化(315)。该操作通常可由通用处理器232来执行。
声采样然后被处理器232使用系统时间标记上时间戳(320),结合在PTP硬件236中的本地时钟与该系统时间同步。这在图中由平行同步过程(330)所表示。如上指出的,在该实施例中,本地时钟通过PTP接口236与外部系统时间同步。标记了时间戳的采样然后经过非特性延迟通信路径(325)被传输到中央控制器125。每个标记了时间戳的采样可作为一个分组被发送,该分组例如具有对应于采样值的数字和对应于时间戳的数字,尽管本领域技术人员可以获得用于传输标记了时间戳的采样的各种机制。例如,在一些实施例中,具有恒定采样周期的标记了时间戳的采样的序列可以这样被发送,其中只有该序列中的第一个采样包括其时间戳数字或值以及采样时间间隔。然后接收机可以利用第一采样的时间戳值和采样时间间隔来恢复序列中第一采样之后的采样的时间戳。无论那种方式,标记了时间戳的采样都可被连续发送,或者它们可被本地存储在本地存储器上并在被例如中央控制器125请求时发送。
图4a图示了PTP(用于网络测量和控制系统的精确时钟同步协议)时间同步协议的一个版本的操作,该协议通常被用在测量传感器和具有高精度定时要求但不需要通信技术中确定性的等待时间的控制网络中-换句话说,非特性延迟通信路径或具有非特性延迟的通信路径可以被使用。通过使用合适的硬件,可以在局域网上实现亚微秒范围的定时精度。在本实施例的应用中,应注意到在这个时间段中,声音传播小于1mm,这使得对声源的精确定位成为可能。
PTP系统利用主时钟538和多个从时钟238,在这个实施例中它们通过声接收机所使用的通行路径连接在一起,尽管也可以使用单独的路径。在其他实施例中,主时钟分离于中央控制器和声接收机,或者也可以位于声接收机之一中。在图4a中,在主时钟和从时钟之间具有定时偏移(To),并且在经过通信路径(例如LAN)的每个方向上有传播延迟(Tp)。主时钟发射sync消息,其包括它从主时钟的估计发射时间(estTS1)。第二个follow-up消息可以依据PTP系统的实现细节被晚一些发送,其包括第一个sync消息的准确发射时间(TS1),这由关联于主时钟的PTP硬件(图5中的536)标记时间戳。所估计的和实际的发射时间可能不同,这是因为例如所使用的以太网介质上的冲突和/或争用延迟,尤其是软件栈中延迟的变化。
与从时钟相关联的接收机中的PTP硬件236使用声接收机的本地或从时钟来确定sync消息的到达时间(TS2)。一旦接收到了follow-up消息,M2S延迟就能够被确定为ExpAve(TS2-TS1),其包括时间偏移(To)和传播延迟(Tp)。然后从时钟在反方向上发布delay_request消息到主时钟。接收机PTP硬件记录delay_request消息(TS3)的射时间。该delay_request消息由记录到达时间(TS4)的主时钟PTP硬件接收。delay_responce消息和delay_request消息的到达时间(TS4)被从主时钟发送到从时钟。一旦从时钟接收到消息,其确定S2M延迟为ExpAve(TS4-TS3),其也包括了时间偏移(To)和传播延迟(Tp)。从时钟现在具有四个时间戳,它们被用于同时解出时钟之间的偏移(To)和消息传播时间。知道了其时钟相对于主时钟的偏移(To),从时钟就能够适当地加快或减慢。
通过以恒定间隔执行这些步骤,从时钟可以跟踪主时钟的时间。这些步骤中的变化对本领域技术人员来说是熟知的,例如在一些PTP的实施例中,从时钟在接收到sync消息后不发送delay_request消息-其发送该消息的频率没那么高,而且是在随机选择的时间。
图4b图示了PTP硬件和软件与图2中接收机的交互。PTP硬件236包括PTP时钟438和通常实现为伺服器的速率和偏移调整功能模块437。PTP硬件236监听(侦听)在以太网LAN PHY(物理)层234(通常为100Base_T编码器)和通常实现在处理器232中的相应MAC(媒体访问控制)层之间传递的分组。PHY和MAC层之间的接口233通常是已定义的接口,例如MII(媒体独立接口)或GMII(吉比特MII)。PTP硬件236识别PTP分组,并使用本地PTP时钟438为其标记时间戳。这样避免了与较高级别软件栈(即MAC及以上)相关联的软件抖动。这样上述同步消息的到达/离开时间被精确地确定。该定时信息被路由到微处理器以与在那里实现的PTP软件进行交互,并用于通过使用伺服器437来引导时钟。
在其他实施例中,可以使用不同的时间同步技术,例如使用硬件时间戳标记但是使用不同于参考图4a所描述的同步消息序列。在另一个替换方案中,PTP硬件可以与不同级别(例如在MAC层或可能更高)的通信协议栈进行接口。在一些实施例中,相应的硬件可以直接监听LAN或其他通信线路,例如额外识别去往/来自与其相关联的接收机的分组。在其他实施例中可使用的其他时间同步协议包括网络时间协议(NTP)。
适合使用在图1系统中的中央控制器的示意图被显示在图5中。中央控制器525包括比如以太网LAN接口这样的通信路径接口534、比如PTP时间同步芯片这样的时间同步接口236、处理器532和本地存储器540,以及输出542,比如用于显示声源位置或用于与其他设备进行接口以使用该信息的图形用户界面(GUI)。在下面描述的另一个实施例中,一旦确定了声源的位置,声接收机就能够被用来依据它们与该声源的相对位置不时地对其采样并因此提供增强的声信号。
用于声接收机系统的主时钟538也被显示,并且便于说明,其被示为作为中央控制器的一部分而实现,然而其也可与系统的其他部分相分离,或位于声接收机之一之内。类似地为了便于说明,中央控制器被示为具有时间同步功能(536),然而这对于本实施例来说并不是必要的,因为用来定位声源的是在声接收机处声信号到达时间的时间偏移或差。
通信路径接口534被耦合到具有非特性延迟520的通信路径,比如以太网LAN。时间同步接口536与图2和4b中描述的PTP硬件236类似。控制器525和声接收机205的本地时钟438利用PTP协议与PTP主时钟538同步,如参考图4a所描述的。
参考图6描述图5的中央控制器的操作方法。该方法(600)从多个声接收机接收标记了时间戳的声采样(605)。它们是经由通信路径接口534从通信路径或网络520接收的。如上所述,这通常是一个非特性延迟网络,比如以太网LAN。该方法(600)确定是否接收到了来自足够多声接收机的采样(610)。如上所述,当不知道声源的位置和定时时,最少需要来自三个不同已知位置的采样。
然后方法(600)根据它们相应的标记了时间戳的声采样确定声源和每个声接收机之间的对应声信号的相对到达时间或时间偏移(615)。声源和声接收机之间的行程时间是声音从源传播(以声音的速度)到接收机的时间,并且由图1中的线115的长度来表示。因为不知道声源的位置和声音被发射的时间,所以也不知道各个声接收机的实际行程时间。然而到达时间差或时间偏移可以被确定并且被用于计算每个声接收机和声源之间的测程或距离。
图7a-7c图示了由三个不同声接收机所接收的声音或声学样式的到达时间差或定时偏移。可以看出声学样式在第二(图7b)和第三(图7c)声接收机的接收要晚于在第一(图7a)声接收机的接收。这样第一声接收机一定比其他两个离源近。通过确定这些声学样式在各个声接收机处的接收之间的相对定时(615),并且知道这些声接收机的实际位置(或至少相对位置),这个信息就可被用于确定这些声接收机中的每一个与声源之间的距离。
共同声学特征或信号的到达时间差可以通过使用互相关来确定,正如本领域技术人员将会理解的那样。也可以使用其他方法,例如样式匹配和峰值匹配。图8a-8c图示了由于在两个与声源相距不同距离的两个不同声接收机处被接收而在时间上被位移的同一声信号。图8a图示了由声源发射的、在每个声接收机处被完美接收的原始信号(sin(x)/x),尽管每个接收的拷贝(X和Y)都在时间上位移了。图8b图示了添加了白高斯噪声的这些接收信号(Xn和Yn)。图8c图示了用来确定两个声接收机之间的时间偏移(dT)的互相关。互相关使得时间偏移或相对时间差(dT)让步于(yield to)最近的采样。更复杂的和精确的方法可以被用来以采样周期的某个分数的精度提取时间偏移。例如对于语音,这通常低于5kHz,所以可以使用100微秒的采样周期。
图9a-9d用图表图示了一种方法,通过该方法,可以在确定了各个声接收机之间的到达时间差或时间偏移(dT)之后得到声接收机和声源之间的相对距离。
图9a图示了对应于线907ad上的声接收机905a和905d所接收的声源的可能位置的双曲线906ad。如本领域技术人员所理解的,该双曲线可用等式ra-rd=dT*Vs来表示,其中双曲线上任何点和两个声接收机之间的距离(ra-rd)总是等于它们接收到各个声信号(dT)的时间差乘以声音的速度(Vs)。这样代表由两个接收机接收的声源的可能位置的双曲线可以通过每个接收机(dT)接收到相应声信号的时间差来定义。
通过在较大系统中定义一对声接收机905,对应于每个这种对的双曲线可以如图9b中所示的那样被定义。双曲线将在共同声源910的位置相交,以及在图中所示的其他位置相交。这样至少需要三个声接收机来定义涉及所有双曲线的唯一交叉点。如本领域技术人员所理解的,这个图示通常可以使用联立双曲线方程并利用标准计算方法针对每个声接收机并针对到声源的任何距离r进行求解来实现,如图9c中所图示的那样。
一旦确定了从每个声接收机到源的距离或测程,就可以使用例如三角测量来确定声源相对于声接收机的位置,如图9d中通过相交圆而图示的以及本领域技术人员所理解的。每个圆代表各个声接收机和声源之间的测程。声源910的位置就是每个声接收机905的测程908的交点。同样,如本领域技术人员将会理解的,这通常将通过使用已知计算技术求解方程组来执行,这些已知技术例如是求根解答、Newton Paphson方法和数学家和计算机科学家已知的许多其他方法。
返回到图6的方法(600),对共同声学特征的识别和确定每对声接收机205的时间偏移(dT)是通过使用从相应接收机(615)接收的采样的时间戳和应用到所接收采样的互相关函数(图8c)来实现的。然后每个声接收机和声源之间的距离可以使用上面描述的联立双曲线方程来确定(620)。最后声源相对于声接收机的位置可以使用对应于图9d的相交圆的联立方程来确定(625)。知道了声接收机的位置,就能确定声源的实际位置(630)。
中央控制器525可被配置为从声接收机连续地接收标记时间戳的采样,或其可指令声接收机在特定时段或期间内发射标记时间戳的采样。
中央控制器可被配置为例如使用嵌入在网络分组头部中的相应网络地址来区别来自不同声接收机的采样。或者,可以使用声接收机系统标识符。又或者,在每个声接收机和中央控制器之间可以使用单独的通信路径。
图10图示了图1中整个系统100的操作方法。这可以被有用与下面参考图1和11所描述的另一个实施例相结合,以便定位和增强从声源所接收的信号。图10的方法(1000)的步骤对应于图3和图6分别示出的单独的声接收机205和中央控制器525的方法(300)和(600)中的步骤。每个声接收机205从声源(1005)接收声信号。所接收的声信号被采样并且采样被数字化(1010),然后数字化的声采样被使用系统时间标记上时间戳(1015),所有的声接收机都与该系统时间同步。然后来自各个声接收机205的标记了时间戳的采样通过具有非特性延迟的通信路径被发送到中央控制器525(1020)。这些步骤分别对应于步骤(305)、(315)、(320)和(325),并且在上面参考图3被详细说明。然后被发送的采样在中央控制器525处被接收(1025)。该中央控制器识别共同声学特征并且确定这些特征在不同声接收机处的接收时间之间的时间偏移(1030)。然后就可以确定声接收机205和声源之间的距离(1035)。然后中央控制器计算声源相对于声接收机的位置(1040),并由此计算声源的实际位置(1045)。该中央控制器步骤分别对应于图6中的步骤(605)、(615)、(620)、(625)和(630),并且在上面参考该附图被详细说明。
一旦确定了声源的位置,就可以确定它与每个声接收机的距离,从而利用声音的速度确定对于每个声接收机声信号的时延、偏移或到达时间。然后所接收的信号被重新处理以使用它们各自的时间偏移来将采样相干地加在一起。然后就可以获得来自声源(例如枪击)的增强的声信号。这也是参照图8a-8c以及8d而图示的。图8d示出了使用从图8c中所示的互相关而获得的时间偏移而被时间对齐的图8b的两个波形(Xn和Yn)。这两个经时间对齐的信号已经被取平均(Z),然而也可以使用其它组合方法。从图8d中可以看出,与这两个单独信号的组合噪声相比较(如图8b所示),相对于平均声信号(Z)的噪声级别已经被减半。进一步与来自两个以上的声接收机的信号进行平均将进一步减小噪声并提高增强信号的信噪比。
根据另一个实施例的用于从声源接收信号的系统在图10和图1中图示。声接收机阵列105被用来在相对于共同或系统时间的各自的声接收机采样时间从声源110采样声信号。这些采样时间通常由中央控制器125确定,中央控制器125相应地使用通信路径或网络120来指令声接收机。这些采样被返回到中央控制器以被相干地相加或组合。每个声接收机各自的声采样时间依赖于从各个接收机到声源的距离。这样相同的声信号或特征在每个声接收机处被采样。然后这些采样信号被加在一起以产生具有更强信号功率和/或更低信噪比的增强信号。
因为声接收机全部与相同的系统时间同步,所以控制器不需要维护接收机之间相对时间偏移的列表,也不需要相应地移动各个接收机的采样时间或所接收的采样。这节省了可观的处理功率,这样就可以换来例如用于中央控制器的更宽松的规格和/或更廉价的处理器。
图11示出了根据该实施例的图1中系统的操作方法。该方法(1100)包括确定声源的位置(1105)。该声源的位置可以根据前述实施例确定,或者使用一些其他机制来确定,比如手工确定。
然后中央控制器125确定每个声接收机和声源之间的相对距离(1110),这些声接收机具有已知位置。然后中央控制器125确定每个声接收机相对于系统时间的各自的声接收机采样时间(1115)。这基于之前确定的相对距离和声音的速度的。然后来自声源110的声信号被声接收机阵列105相干地采样。因为声接收机全部被时间同步了,所以该控制器不需要执行进一步计算来考虑各种声接收机偏移。中央控制器125然后指令声接收机在它们的各自的接收机时间进行采样(1120)。这可以是个一次性指令,例如在从特定系统时间开始的给定期间内的进行采样,或者可以是在相对于定期系统时间标记(例如每100微秒)的给定时间偏移周期性地采样。在后一种情况中,将产生采样群组或采样集合,对于相对于群组系统时间标记偏移其各自的声接收机采样时间的每个声接收机有一个采样群组或采样集合。
声接收机105接收它们各自的声接收机采样时间或偏移(1125),并在这些偏移对声源信号进行采样(1130)。这些偏移或各自的接收机时间都根据系统时间来确定。这可以通过使用与中央控制器中的主时钟同步的本地时钟来实现,例如使用上面描述的PTP系统。然后来自每个声接收机的采样通过通信路径或网络被转发到中央控制器125(1135)。
该通信路径可以是非特性延迟通信路径,例如以太网LAN,或者也可以是特性延迟通信路径,比如已知长度的模拟同轴电缆。尽管声接收机采样可以如上述那样被标记时间戳,但是这也不是必须的,因为这些采样已经在由中央控制器所确定和指令的已知定时偏移被取得。
中央控制器125然后从各个声接收机接收采样(1140)。因为这些采样已经在依据声源和各声接收机之间的距离的定时偏移被取得,所以它们已经被有效地进行了时间对齐,因此这些采样具有相同的声学现象或发射自声源的声音。然后声采样被组合以得到来自声源的增强的声信号(1145)。该增强的信号可具有更大的信号功率和/或更低的信噪比,因为每个采样上的噪声是不相关的。组合这些采样可以仅包括将他们相加在一起,或将它们平均。也可以预计更复杂的组合这些采样的方法,例如依据它们各自的信噪使一些采样的权重比其他采样更重。
该方法也可以通过参考图7a-7c来说明,这些图示出了声信号在三个不同位置的声接收机处的相对到达时间。通过设置合适的采样时间延迟或偏移,这三个声信号的“拷贝”可以被分别地采样,以实现冗余和/或分集以及增强的信号接收。
参照图2描述的声接收机205适用于本实施例。根据本实施例操作其的方法被图示在图12中。每个声接收机205从中央控制器接收各自的声接收机采样时间或偏移(1205)。这是根据所有声接收机所使用的系统时间来确定的。用于各个声接收机的声接收机采样时间依赖于该接收机和其要采样的声源之间的距离。各个声接收机采样时间可以是单个(系统)时间,或者其可以是相对于定期(系统)时间标记的偏移,例如每100微秒偏移10微秒量级,这当然依赖于应用和所涉及的距离。
然后每个声接收机在它们各自的声接收机采样时间对所接收的声信号进行采样(1210)。这些采样可能发生在预定期间中,例如50微秒。声接收机205然后通过通信路径发送这些采样到中央控制器(1215)。当发生定期采样时,该方法(1200)返回到采样步骤(1210)。
这些采样不需要时间戳标记,因为每个采样的时间预先被中央控制器确定了。然而这些采样也可以被标记时间戳以依据系统设计而辅助系统操作,例如为了很容易地从各个采样群组识别合适的采样。
参考图5描述的中央控制器525适用于当前实施例。根据当前实施例操作其的方法在图13中图示。中央控制器125实现的该方法(1300)确定声源的位置(1305)。这可以通过前述声源定位实施例来完成。或者,声源位置可以被手工确定或近似并通过图形用户界面(GUI)方式输入到中央控制器中。例如在涉及会堂的应用中,希望增强观众中发言人的语音,该发言人的位置可以通过他们的座位位置、会堂的建筑平面图、或使用上述定位实施例来确定。或者,也可以定义会堂内的有限数目的发言人位置,例如一行座位的尾端,从这里观众成员可以问问题。在这些位置之一检测到人声可以被用来触发对该位置的确定的开关。
知道了这些声接收机的位置,例如在会堂中的各个位置,以及声源的位置,那么中央控制器方法(1300)就确定每个声接收机和声源之间的相对距离(1310)。然后,通过使用这些相对距离和声音的距离,确定了每个声接收机各自相对于定期或周期系统时间标记的声接收机采样时间或偏移。该方法(1300)然后例如使用网络520和适当寻址的分组或消息来通知每个声接收机205其各自的声接收机采样时间或偏移(1320)。
各个声接收机采样时间或偏移是通过使用系统时间确定的,该系统时间也被声接收机所使用。在一个实施例中,上述PTP系统被用来使声接收机上的本地时钟与主时钟同步。
在声接收机进行采样之后,中央控制器从声接收机接收在各个接收机时间采样的声采样(1325)。假定所有采样都来自于相同的群组,那么这些采样然后被组合以产生增强的声信号(1330)。该相同的群组或集合是指各个声接收机采样时间或偏移的相同的声学特征或群组。在一些实施例中,声接收机在各自相对于系统标记时间的偏移时间重复采样该声源,并且每个采样群组都参考系统标记时间。
在另一个实施例中,中央控制器525可以使用确定的各个声接收机采样时间来选择从声接收机所接收的某些标记了时间戳的采样以便组合。在该实施例中,声接收机不被指令在特定采样时间或偏移进行采样,而是连续地采样并对采样标记时间戳。这些标记了时间戳的采样被发送到中央控制器,该控制器仅选择出那些对应于之前确定的每个接收机各自的声接收机采样时间或偏移的标记了时间戳的采样。从不同声接收机中适当选择的采样然后被相干地组合;例如在每个与系统时间标记相关联的采样时间群组中选一个,如上所述。该实施例与之前描述的用于声源定位的实施例相比,不需要声接收机中有任何额外功能。然而与上述实施例相比,中央控制器中需要额外的处理能力。
图14示出了另一个实施例,其中声接收机的位置基于声源的已知位置和已知声发射时间和至少两个声接收机的已知位置来确定。为了寻找新的声接收机的位置,需要两个已知声接收机位置(X1,Y1)和(X2,Y2)。知道了声源发射的时间(Te),就能够通过确定在接收机对发射的接收时间(T3)来给出从已知声接收机或麦克风到声音源的半径(R3)或距离-R1=(Te-T3)/Vs,其中Vs=声音的速度。这可以用来提供(下一个)未知位置声接收机相对于前两个已知位置声接收机的相对位置(X3,Y3)。本领域技术人员可以使用各种可用的数学方法来确定该位置,例如上面描述的相交双曲线(图9a-9c)和相交圆(图9d)联立方程。同样由于任意三点确定一个平面,所以可以找到所有后续的声接收机,它们的X坐标在上述平面内,Y点是相对于通过前三点的平面的高度(或深度);这三个点是最初两个已知声接收机位置和在那之后第一个确定的那个。
更详细地参考图14的方法,声音源和两个或更多声接收机的位置例如可以手工确定(1405)。声音源在预定时间发射预定声音或波形(1410)。然后“待确定”的或未知位置的声接收机和两个已知位置的声接收机之间的相对距离可以用接收声音之间的相对时间偏移来确定。这可以通过使用上面参照图8描述的互相关方法和上面参照图9描述的双曲线方程方法而实现。这样,三个声接收机和声音源之间的相对距离就能够被确定(1420)。然后这些测程可被用来利用图9d中所示的相交圆方法来定位第三声接收机(1425),其中声音源和两个声接收机的实际位置是已知的。然后该方法被重复用于每个未知位置声接收机(1430N)。
该方法在使用在图10的定位实施例和/或图11的声信号增强方法中之前,可被用来校准图1的系统100。所使用的声音源可以是已知位置声接收机之一,其使用合适的声音源,比如图15中所示的蜂鸣器或扬声器。该图示出了图2中已示出的具有类似组件的声接收机,但是具有额外的蜂鸣器1570。
图10的定位实施例和/或图11的声信号增强实施例可被用于各种应用。例如,它们可被用于定位和增强声接收机阵列周围的枪声。在另一个实施例中,声接收机阵列可以被使用在会堂中以定位发言人并增强其语音以便例如通过扬声器系统重现。这些实施例可以被使用在安全应用中,例如来定位脚步声或表示未授权移动或存在的其它声音的位置。该系统还可被用于在麦克风阵列周围放大语音,例如用于监视目的。
技术人员应认识到上述装置和方法可被实现为例如载体介质上的处理器控制代码,所述载体介质例如是盘、CD-ROM或DVD-ROM,比如只读存储器这样的编程的存储器(固件),或者可被实现为例如数据载波上的处理器控制代码,所述数据载波例如是光或电信号载波。对于许多应用,本发明的实施例将被实现在DSP(数字信号处理器)、ASIC(专用集成电路)或FPGA(现场可编程门阵列)上。从而,该代码可以包括传统的程序代码或微代码,例如用于设置或控制ASIC或FPGA的代码。该代码还可包括用于动态配置比如重编程逻辑门阵列这样的可重配置装置的代码。类似地,该代码可包括用于比如VerilogTM或VDHL(超高速集成电路硬件描述语言)之类的硬件描述语言的代码。如技术人员将理解的,该代码可分布在多个互相通信的耦合的组件之间。在合适时,这些实施例还可使用运行在现场可(重)编程模拟阵列或类似设备上的代码来实现,以配置模拟硬件。
总体上通过上述教导,技术人员还将理解各种实施例和根据他们所描述地特定特征可被自由地与其它实施例或它们具体描述的特征相组合。技术人员还将认识到在不脱离所附权利要求的范围的情况下,可以对所描述的特定示例做出各种更改和修改。
Claims (19)
1.一种定位声源的方法,该方法包括:
在多个声接收机处对所述声源进行采样;
每个声接收机使用系统时间为各自接收的声采样标记时间戳;
每个声接收机发送所述标记了时间戳的采样到中央控制器;
所述中央控制器响应于从所述多个接收机接收所述标记了时间戳的声采样而确定所述声源的位置。
2.如权利要求1所述的方法,其中每个声接收机使用精确时间协议与所述系统时间同步。
3.如权利要求1所述的方法,其中所述标记了时间戳的声采样通过具有非特性延迟的通信路径被发送。
4.如权利要求1所述的方法,其中对所述声源进行采样的步骤是响应于检测到预定的声学样式而进行的。
5.如权利要求1所述的方法,其中确定所述声源的位置的步骤包括:
确定所述多个声接收机之间声信号的到达时间差;
基于所述到达时间差计算从所述声源到每个声接收机的相对距离;
使用所述相对距离确定所述声源的位置。
6.如权利要求1所述的方法,还包括根据接收到的声采样各自时间戳和所述声源的位置来相干地组合所述接收到的声采样以产生增强的声源信号。
7.如权利要求1所述的方法,还包括:
在所述声接收机处以各自的声接收机采样时间来对所述声源进行采样;
每个声接收机发送所述声采样到所述中央控制器;
所述中央控制器组合所接收的声采样以产生增强的声源信号。
8.如权利要求7所述的方法,还包括:
所述中央控制器基于所确定的声源位置确定每个声接收机和所述声源之间的相对距离;
依赖于从所述声源到各个声接收机的距离计算各个接收机时间;以及
发送各个声接收机时间到各个声接收机。
9.一种承载计算机程序的载体介质,该程序在计算机上执行时被布置为执行权利要求1的方法。
10.一种从声源接收采样的方法,该方法包括:
在多个具有不同位置的声接收机处并且在各自的声接收机采样时间对所述声源进行采样,所述声接收机已经被与共同的系统时间同步;
每个声接收机发送所述声采样到中央控制器;
所述中央控制器相干地组合从所述多个声接收机所接收的声采样。
11.如权利要求10所述的方法,其中所述各自的声接收机采样时间依赖于从所述声源到各个声接收机的距离。
12.如权利要求10所述的方法,其中所述声接收机使用精确时间协议与所述系统时间同步。
13.如权利要求10所述的方法,其中组合所述声采样的步骤包括相干地平均所述采样。
14.如权利要求10所述的方法,其中所述声采样通过具有非特性延迟的数字通信路径被发送。
15.一种承载计算机程序的载体介质,该程序在计算机上执行时被布置为执行权利要求10的方法。
16.一种声接收机,包括:
声换能器,用于转换从声源所接收的声信号;
本地时钟,其与外部系统时间同步;
通信接口,其被布置为与具有非特性延迟的通信路径进行接口;以及
处理器,其被布置为对从所述声源所接收的声信号进行采样,并发射所述采样到所述具有非特性延迟的通信路径上。
17.如权利要求16所述的声接收机,其中本地时钟使用精确时间协议与外部系统时间同步。
18.如权利要求16所述的声接收机,其中处理器还被布置为使用所述本地时钟为所述采样标记时间戳,并且其中所发射的采样被标记了时间戳。
19.如权利要求16所述的声接收机,其中处理器还被布置为响应于接收相应的指令而在各自的声接收机采样时间对所接收的声信号进行采样。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/326,342 | 2006-01-06 | ||
US11/326,342 US7558156B2 (en) | 2006-01-06 | 2006-01-06 | Acoustic location and enhancement |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101013155A true CN101013155A (zh) | 2007-08-08 |
Family
ID=37907264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2007100879413A Pending CN101013155A (zh) | 2006-01-06 | 2007-01-08 | 声学定位和增强 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7558156B2 (zh) |
EP (1) | EP1806952A3 (zh) |
JP (1) | JP2007192817A (zh) |
KR (1) | KR20070074501A (zh) |
CN (1) | CN101013155A (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102196353A (zh) * | 2010-03-12 | 2011-09-21 | 索尼公司 | 发送设备和发送方法 |
CN102411139A (zh) * | 2011-07-19 | 2012-04-11 | 中山大学深圳研究院 | 一种室内声源智能定位方法 |
CN101592727B (zh) * | 2008-05-29 | 2013-05-01 | 日电(中国)有限公司 | 自治超声波室内定位系统、装置和方法 |
CN103189758A (zh) * | 2010-08-30 | 2013-07-03 | 高通股份有限公司 | 基于音频的环境感知 |
CN103839553A (zh) * | 2014-03-15 | 2014-06-04 | 王岩泽 | 定点录音系统 |
CN102804808B (zh) * | 2009-06-30 | 2015-05-27 | 诺基亚公司 | 用于呈现空间音频的方法及装置 |
CN104884911A (zh) * | 2013-10-10 | 2015-09-02 | A.P.M.自动化解决方案公司 | 测量仓储装置内的物料量的可移动系统 |
US9500761B2 (en) | 2008-12-17 | 2016-11-22 | Westerngeco L. L. C. | Method for optimizing acoustic source array performance |
CN106603878A (zh) * | 2016-12-09 | 2017-04-26 | 奇酷互联网络科技(深圳)有限公司 | 语音定位方法、装置和系统 |
WO2017076357A1 (zh) * | 2015-11-06 | 2017-05-11 | 华为技术有限公司 | 数据处理方法及装置 |
CN108387873A (zh) * | 2018-03-29 | 2018-08-10 | 广州视源电子科技股份有限公司 | 音源定位方法和系统、音箱系统定位方法和音箱系统 |
CN108603925A (zh) * | 2016-02-12 | 2018-09-28 | 索尼移动通讯有限公司 | 由终端使用声音记录对对象进行的基于声学测距的定位 |
CN109743525A (zh) * | 2018-12-03 | 2019-05-10 | 视联动力信息技术股份有限公司 | 一种数据采集方法及装置 |
US11122364B1 (en) | 2020-08-31 | 2021-09-14 | Nanning Fugui Precision Industrial Co., Ltd. | Footsteps tracking method and system thereof |
TWI757856B (zh) * | 2020-08-31 | 2022-03-11 | 新加坡商鴻運科股份有限公司 | 行跡追蹤方法及其系統 |
Families Citing this family (88)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8055454B2 (en) * | 2005-08-12 | 2011-11-08 | The Invention Science Fund I, Llc | Facilitating mote network configuration and layout using mechanical disturbances |
US7558156B2 (en) * | 2006-01-06 | 2009-07-07 | Agilent Technologies, Inc. | Acoustic location and enhancement |
GB0712936D0 (en) * | 2007-07-05 | 2007-08-15 | Airbus Uk Ltd | A Method, apparatus or software for determining the location of an acoustic emission emitted in a structure |
WO2009046359A2 (en) * | 2007-10-03 | 2009-04-09 | University Of Southern California | Detection and classification of running vehicles based on acoustic signatures |
US8077036B2 (en) * | 2007-10-03 | 2011-12-13 | University Of Southern California | Systems and methods for security breach detection |
US8090972B2 (en) * | 2007-11-26 | 2012-01-03 | Vestas Wind Systems A/S | Method and system for registering events in wind turbines of a wind power system |
US8195731B1 (en) * | 2007-12-11 | 2012-06-05 | Nvidia Corporation | System, method, and computer program product for determining at least one root of an n-dimensional function utilizing triangulation |
TWI403126B (zh) * | 2008-10-21 | 2013-07-21 | Ind Tech Res Inst | 網路連線設備與應用其之通訊系統與方法 |
US20100102512A1 (en) * | 2008-10-28 | 2010-04-29 | Barak Dar | Automatic Shooting Sequence Controller |
US8369184B2 (en) * | 2009-01-26 | 2013-02-05 | Shotspotter, Inc. | Systems and methods with improved three-dimensional source location processing including constraint of location solutions to a two-dimensional plane |
US20100260011A1 (en) * | 2009-04-08 | 2010-10-14 | University Of Southern California | Cadence analysis of temporal gait patterns for seismic discrimination |
US8615476B2 (en) * | 2009-04-15 | 2013-12-24 | University Of Southern California | Protecting military perimeters from approaching human and vehicle using biologically realistic neural network |
US20110172954A1 (en) * | 2009-04-20 | 2011-07-14 | University Of Southern California | Fence intrusion detection |
CN101644978A (zh) * | 2009-05-27 | 2010-02-10 | 北京中星微电子有限公司 | 一种触摸屏检测方法及装置 |
KR20110012584A (ko) * | 2009-07-31 | 2011-02-09 | 삼성전자주식회사 | 초음파 기반 3차원 위치 추정 장치 및 방법 |
TWI411277B (zh) * | 2009-12-23 | 2013-10-01 | Ind Tech Res Inst | 網路從節點與網路系統精確時間同步之方法 |
US8855101B2 (en) | 2010-03-09 | 2014-10-07 | The Nielsen Company (Us), Llc | Methods, systems, and apparatus to synchronize actions of audio source monitors |
US8988970B2 (en) * | 2010-03-12 | 2015-03-24 | University Of Maryland | Method and system for dereverberation of signals propagating in reverberative environments |
US8478319B2 (en) | 2010-05-12 | 2013-07-02 | Information System Technologies, Inc. | Feature extraction and data compression system and method for distributed sensor networks |
TW201208335A (en) * | 2010-08-10 | 2012-02-16 | Hon Hai Prec Ind Co Ltd | Electronic device |
US9516391B2 (en) | 2010-08-27 | 2016-12-06 | Intel Corporation | Techniques for object based operations |
CN102455421B (zh) * | 2010-10-27 | 2014-03-26 | 清华大学 | 无需时间同步的声音定位系统及方法 |
US9316717B2 (en) * | 2010-11-24 | 2016-04-19 | Samsung Electronics Co., Ltd. | Position determination of devices using stereo audio |
CN102103200B (zh) * | 2010-11-29 | 2012-12-05 | 清华大学 | 一种分布式非同步声传感器的声源空间定位方法 |
US20120230153A1 (en) * | 2011-03-07 | 2012-09-13 | Raytheon Bbn Technologies Corp. | Systems and methods for distributed sensor clusters |
RU2476898C1 (ru) * | 2011-06-16 | 2013-02-27 | Федеральное государственное унитарное предприятие "Научно-производственная корпорация "ГОИ им. С.И. Вавилова" | Устройство определения направления на источник звука |
RU2478220C1 (ru) * | 2011-08-22 | 2013-03-27 | Открытое акционерное общество "Государственный оптический институт им. С.И. Вавилова" | Устройство определения направления на источник звука |
US20130107668A1 (en) * | 2011-10-28 | 2013-05-02 | Raytheon Company | Convoy-based systems and methods for locating an acoustic source |
US9146301B2 (en) * | 2012-01-25 | 2015-09-29 | Fuji Xerox Co., Ltd. | Localization using modulated ambient sounds |
US9471092B2 (en) * | 2012-02-03 | 2016-10-18 | MCube Inc. | Distributed MEMS devices time synchronization methods and system |
WO2013142641A1 (en) | 2012-03-23 | 2013-09-26 | Dolby Laboratories Licensing Corporation | Placement of sound signals in a 2d or 3d audio conference |
US9749473B2 (en) | 2012-03-23 | 2017-08-29 | Dolby Laboratories Licensing Corporation | Placement of talkers in 2D or 3D conference scene |
DE102012012972A1 (de) * | 2012-06-29 | 2014-04-17 | Airbus Operations Gmbh | Lokalisierung von Geräten mittels Audiosignalen unter Verwendung eines deterministischen Datenkanals |
KR101483513B1 (ko) | 2013-02-28 | 2015-01-19 | 재단법인 포항산업과학연구원 | 음원위치추적장치 및 음원위치추적방법 |
US20140269199A1 (en) * | 2013-03-14 | 2014-09-18 | Supervene LLC | System and method for detecting and responding to indoor shooters |
EP2981844B1 (en) * | 2013-03-31 | 2021-04-21 | Shotspotter, Inc. | Systems and methods associated with detection of indoor gunfire |
US20150043309A1 (en) * | 2013-08-09 | 2015-02-12 | Symbol Technologies, Inc. | Ultrasonic locationing using flight time calculated from counter offsets |
US9910419B2 (en) * | 2013-09-09 | 2018-03-06 | Harnischfeger Technologies, Inc. | System and method of synchronizing time between multiple systems |
US9952084B2 (en) * | 2013-10-10 | 2018-04-24 | Apm Automation Solutions Ltd | Increasing signal to noise ratio of acoustic echoes by a group of spaced apart acoustic transceiver arrays |
US9952318B2 (en) * | 2013-10-10 | 2018-04-24 | Apm Automation Solutions Ltd | Group of spaced apart acoustic transceiver arrays and a method for measuring a content of a bin |
US9875643B1 (en) | 2013-11-11 | 2018-01-23 | Shotspotter, Inc. | Systems and methods of emergency management involving location-based features and/or other aspects |
WO2015140521A1 (en) * | 2014-03-17 | 2015-09-24 | Bae Systems Plc | Sonar arrays |
WO2015148274A1 (en) * | 2014-03-28 | 2015-10-01 | Electronic Warfare Associates, Inc. | Systems and methods for sensor synchronization |
US9451361B2 (en) * | 2014-07-08 | 2016-09-20 | Intel IP Corporation | Apparatus, method and system of communicating acoustic information of a distributed microphone array between mobile devices |
CN104515972B (zh) * | 2014-12-31 | 2017-04-05 | 苏州触达信息技术有限公司 | 基于声波的多媒体设备群对新增设备的免同步定位方法 |
US10764026B2 (en) * | 2015-07-20 | 2020-09-01 | Lattice Semiconductor Corporation | Acoustic gesture recognition systems and methods |
CN107851081B (zh) * | 2015-07-20 | 2021-01-15 | 美国莱迪思半导体公司 | 低速总线时间戳记方法和电路 |
KR101868691B1 (ko) * | 2016-09-07 | 2018-07-23 | 한국해양대학교 산학협력단 | 음원계측장치 및 이를 포함하는 음원 거리 계측 시스템 |
CN106501775A (zh) * | 2016-10-10 | 2017-03-15 | 南京威卡尔软件有限公司 | 用于嵌入式平台的连续快速人声声源定位方法 |
US10598635B2 (en) | 2017-03-31 | 2020-03-24 | Hexagon Technology As | Systems and methods of capturing transient elastic vibrations in bodies using arrays of transducers for increased signal to noise ratio and source directionality |
WO2018185723A1 (en) * | 2017-04-07 | 2018-10-11 | Tyco Fire & Security Gmbh | System and method for identifying and locating sensed events |
US10334360B2 (en) * | 2017-06-12 | 2019-06-25 | Revolabs, Inc | Method for accurately calculating the direction of arrival of sound at a microphone array |
US11316865B2 (en) | 2017-08-10 | 2022-04-26 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
US10978187B2 (en) | 2017-08-10 | 2021-04-13 | Nuance Communications, Inc. | Automated clinical documentation system and method |
US11565365B2 (en) * | 2017-11-13 | 2023-01-31 | Taiwan Semiconductor Manufacturing Co., Ltd. | System and method for monitoring chemical mechanical polishing |
US11545012B2 (en) | 2018-02-15 | 2023-01-03 | Johnson Controls Fire Protection LP | Gunshot detection system with building management system integration |
EP3762805A4 (en) | 2018-03-05 | 2022-04-27 | Nuance Communications, Inc. | SYSTEM AND PROCEDURE FOR VERIFICATION OF AUTOMATED CLINICAL DOCUMENTATION |
US11515020B2 (en) | 2018-03-05 | 2022-11-29 | Nuance Communications, Inc. | Automated clinical documentation system and method |
US11250383B2 (en) | 2018-03-05 | 2022-02-15 | Nuance Communications, Inc. | Automated clinical documentation system and method |
US10509116B2 (en) | 2018-04-26 | 2019-12-17 | DecaWave, Ltd. | Method and apparatus for determining location using phase difference of arrival |
US11483127B2 (en) | 2018-11-18 | 2022-10-25 | Mellanox Technologies, Ltd. | Clock synchronization |
US11283454B2 (en) | 2018-11-26 | 2022-03-22 | Mellanox Technologies, Ltd. | Synthesized clock synchronization between network devices |
US20220026518A1 (en) * | 2018-12-17 | 2022-01-27 | Bss Aps | System for localization of sound sources |
US11422220B2 (en) * | 2020-06-17 | 2022-08-23 | Qorvo Us, Inc. | Method and apparatus for determining the angle of departure |
US11128342B2 (en) | 2019-02-02 | 2021-09-21 | DecaWave, Ltd. | Method and apparatus for determining the angle of departure |
US11250653B2 (en) * | 2019-02-13 | 2022-02-15 | Brunswick Corporation | Configurable remote control system and method for a marine vessel |
WO2020236607A1 (en) * | 2019-05-18 | 2020-11-26 | Battelle Memorial Institute | Firearm discharge location systems and methods |
US11227679B2 (en) | 2019-06-14 | 2022-01-18 | Nuance Communications, Inc. | Ambient clinical intelligence system and method |
US11216480B2 (en) | 2019-06-14 | 2022-01-04 | Nuance Communications, Inc. | System and method for querying data points from graph data structures |
US11043207B2 (en) | 2019-06-14 | 2021-06-22 | Nuance Communications, Inc. | System and method for array data simulation and customized acoustic modeling for ambient ASR |
US11531807B2 (en) | 2019-06-28 | 2022-12-20 | Nuance Communications, Inc. | System and method for customized text macros |
US11958183B2 (en) | 2019-09-19 | 2024-04-16 | The Research Foundation For The State University Of New York | Negotiation-based human-robot collaboration via augmented reality |
US11670408B2 (en) | 2019-09-30 | 2023-06-06 | Nuance Communications, Inc. | System and method for review of automated clinical documentation |
US11543852B2 (en) * | 2019-11-07 | 2023-01-03 | Mellanox Technologies, Ltd. | Multihost clock synchronization |
CN110992972B (zh) * | 2019-11-20 | 2023-11-14 | 佳禾智能科技股份有限公司 | 基于多麦克风耳机的声源降噪方法、电子设备、计算机可读存储介质 |
US11552871B2 (en) | 2020-06-14 | 2023-01-10 | Mellanox Technologies, Ltd. | Receive-side timestamp accuracy |
US11222103B1 (en) | 2020-10-29 | 2022-01-11 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
US11606427B2 (en) | 2020-12-14 | 2023-03-14 | Mellanox Technologies, Ltd. | Software-controlled clock synchronization of network devices |
US11588609B2 (en) * | 2021-01-14 | 2023-02-21 | Mellanox Technologies, Ltd. | Hardware clock with built-in accuracy check |
US11133023B1 (en) | 2021-03-10 | 2021-09-28 | V5 Systems, Inc. | Robust detection of impulsive acoustic event onsets in an audio stream |
US11127273B1 (en) * | 2021-03-15 | 2021-09-21 | V5 Systems, Inc. | Acoustic event detection using coordinated data dissemination, retrieval, and fusion for a distributed array of sensors |
CN113484825B (zh) * | 2021-06-15 | 2023-03-28 | 长江大学 | 一种声源定位系统及方法 |
US11907754B2 (en) | 2021-12-14 | 2024-02-20 | Mellanox Technologies, Ltd. | System to trigger time-dependent action |
US11835999B2 (en) | 2022-01-18 | 2023-12-05 | Mellanox Technologies, Ltd. | Controller which adjusts clock frequency based on received symbol rate |
US11706014B1 (en) | 2022-01-20 | 2023-07-18 | Mellanox Technologies, Ltd. | Clock synchronization loop |
US11917045B2 (en) | 2022-07-24 | 2024-02-27 | Mellanox Technologies, Ltd. | Scalable synchronization of network devices |
CN116990754B (zh) * | 2023-09-22 | 2023-12-22 | 海宁市微纳感知计算技术有限公司 | 一种鸣笛声源定位方法、装置、电子设备及可读存储介质 |
CN116990755A (zh) * | 2023-09-22 | 2023-11-03 | 海宁市微纳感知计算技术有限公司 | 一种鸣笛声源定位方法、系统、电子设备及可读存储介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6178141B1 (en) * | 1996-11-20 | 2001-01-23 | Gte Internetworking Incorporated | Acoustic counter-sniper system |
USH1916H (en) * | 1997-06-27 | 2000-11-07 | The United States Of America As Represented By The Secretary Of The Navy | Hostile weapon locator system |
US5973998A (en) * | 1997-08-01 | 1999-10-26 | Trilon Technology, Llc. | Automatic real-time gunshot locator and display system |
US6201499B1 (en) * | 1998-02-03 | 2001-03-13 | Consair Communications | Time difference of arrival measurement system |
US6690618B2 (en) * | 2001-04-03 | 2004-02-10 | Canesta, Inc. | Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device |
US6898235B1 (en) * | 1999-12-10 | 2005-05-24 | Argon St Incorporated | Wideband communication intercept and direction finding device using hyperchannelization |
US6847587B2 (en) * | 2002-08-07 | 2005-01-25 | Frank K. Patterson | System and method for identifying and locating an acoustic event |
US7428000B2 (en) * | 2003-06-26 | 2008-09-23 | Microsoft Corp. | System and method for distributed meetings |
US7139222B1 (en) * | 2004-01-20 | 2006-11-21 | Kevin Baxter | System and method for protecting the location of an acoustic event detector |
US20050180582A1 (en) * | 2004-02-17 | 2005-08-18 | Guedalia Isaac D. | A System and Method for Utilizing Disjoint Audio Devices |
US7630501B2 (en) * | 2004-05-14 | 2009-12-08 | Microsoft Corporation | System and method for calibration of an acoustic system |
US7411865B2 (en) * | 2004-12-23 | 2008-08-12 | Shotspotter, Inc. | System and method for archiving data from a sensor array |
WO2006110630A2 (en) * | 2005-04-07 | 2006-10-19 | Safety Dynamics, Inc. | Real time acoustic event location and classification system with camera display |
US7633870B2 (en) * | 2005-04-18 | 2009-12-15 | Symmetricom, Inc. | Network forwarding device and method that forward timing packets through the device with a constant delay |
US7558156B2 (en) * | 2006-01-06 | 2009-07-07 | Agilent Technologies, Inc. | Acoustic location and enhancement |
-
2006
- 2006-01-06 US US11/326,342 patent/US7558156B2/en not_active Expired - Fee Related
-
2007
- 2007-01-08 EP EP07250060A patent/EP1806952A3/en not_active Withdrawn
- 2007-01-08 CN CNA2007100879413A patent/CN101013155A/zh active Pending
- 2007-01-08 KR KR1020070002217A patent/KR20070074501A/ko not_active Application Discontinuation
- 2007-01-09 JP JP2007001744A patent/JP2007192817A/ja active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101592727B (zh) * | 2008-05-29 | 2013-05-01 | 日电(中国)有限公司 | 自治超声波室内定位系统、装置和方法 |
US9500761B2 (en) | 2008-12-17 | 2016-11-22 | Westerngeco L. L. C. | Method for optimizing acoustic source array performance |
CN103926624B (zh) * | 2008-12-17 | 2017-04-12 | 格库技术有限公司 | 用于优化声源阵列的性能的方法 |
CN102804808B (zh) * | 2009-06-30 | 2015-05-27 | 诺基亚公司 | 用于呈现空间音频的方法及装置 |
US9351070B2 (en) | 2009-06-30 | 2016-05-24 | Nokia Technologies Oy | Positional disambiguation in spatial audio |
CN102196353A (zh) * | 2010-03-12 | 2011-09-21 | 索尼公司 | 发送设备和发送方法 |
CN103189758B (zh) * | 2010-08-30 | 2016-04-06 | 高通股份有限公司 | 基于音频的环境感知 |
CN103189758A (zh) * | 2010-08-30 | 2013-07-03 | 高通股份有限公司 | 基于音频的环境感知 |
CN102411139A (zh) * | 2011-07-19 | 2012-04-11 | 中山大学深圳研究院 | 一种室内声源智能定位方法 |
CN104884911A (zh) * | 2013-10-10 | 2015-09-02 | A.P.M.自动化解决方案公司 | 测量仓储装置内的物料量的可移动系统 |
CN104884911B (zh) * | 2013-10-10 | 2019-08-30 | A.P.M.自动化解决方案公司 | 测量仓储装置内的物料量的可移动系统 |
CN103839553A (zh) * | 2014-03-15 | 2014-06-04 | 王岩泽 | 定点录音系统 |
WO2017076357A1 (zh) * | 2015-11-06 | 2017-05-11 | 华为技术有限公司 | 数据处理方法及装置 |
CN106686523A (zh) * | 2015-11-06 | 2017-05-17 | 华为终端(东莞)有限公司 | 数据处理方法及装置 |
CN108603925A (zh) * | 2016-02-12 | 2018-09-28 | 索尼移动通讯有限公司 | 由终端使用声音记录对对象进行的基于声学测距的定位 |
CN106603878A (zh) * | 2016-12-09 | 2017-04-26 | 奇酷互联网络科技(深圳)有限公司 | 语音定位方法、装置和系统 |
CN108387873A (zh) * | 2018-03-29 | 2018-08-10 | 广州视源电子科技股份有限公司 | 音源定位方法和系统、音箱系统定位方法和音箱系统 |
CN109743525A (zh) * | 2018-12-03 | 2019-05-10 | 视联动力信息技术股份有限公司 | 一种数据采集方法及装置 |
US11122364B1 (en) | 2020-08-31 | 2021-09-14 | Nanning Fugui Precision Industrial Co., Ltd. | Footsteps tracking method and system thereof |
TWI757856B (zh) * | 2020-08-31 | 2022-03-11 | 新加坡商鴻運科股份有限公司 | 行跡追蹤方法及其系統 |
Also Published As
Publication number | Publication date |
---|---|
US7558156B2 (en) | 2009-07-07 |
KR20070074501A (ko) | 2007-07-12 |
EP1806952A2 (en) | 2007-07-11 |
JP2007192817A (ja) | 2007-08-02 |
EP1806952A3 (en) | 2009-03-11 |
US20070159924A1 (en) | 2007-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101013155A (zh) | 声学定位和增强 | |
JP2009186466A (ja) | 単一装置上の位置決定(pod)ならびにpodを利用する自律型超音波位置決定システムおよびその方法 | |
Lazik et al. | Ultrasonic time synchronization and ranging on smartphones | |
US7411937B2 (en) | Time synchronization system and method for synchronizing locating units within a communication system using a known external signal | |
US8203910B2 (en) | Autonomous ultrasonic indoor location system, apparatus and method | |
Jin et al. | Tracko: Ad-hoc mobile 3d tracking using bluetooth low energy and inaudible signals for cross-device interaction | |
JP5080202B2 (ja) | 時刻同期処理システム、時刻情報配信装置、時刻同期処理装置、時刻情報配信プログラム、および時刻同期処理プログラム | |
MX2019005183A (es) | Posicionamiento de informacion de soporte para la estimacion de tiempo de llegada (toa) en posibles condiciones de propagacion de trayectorias multiples. | |
EP3451707B1 (en) | Measurement and calibration of a networked loudspeaker system | |
US20080085098A1 (en) | Method Of And System For Synchronizing Playback Of Audio/Video Signals | |
EP2265971A1 (en) | Inserting time of departure information in frames to support multi-channel location techniques | |
US20190110153A1 (en) | Environment discovery via time-synchronized networked loudspeakers | |
KR20140126788A (ko) | 은닉된 시간 동기화 신호를 이용한 위치 측정 시스템 및 이를 이용한 위치 측정 방법 | |
Akiyama et al. | Time-of-arrival-based indoor smartphone localization using light-synchronized acoustic waves | |
JP2017181783A (ja) | 音場制御システム、解析装置、音響装置、音場制御システムの制御方法、解析装置の制御方法、音響装置の制御方法、プログラム、記録媒体 | |
CN104515972B (zh) | 基于声波的多媒体设备群对新增设备的免同步定位方法 | |
Mangas et al. | FLASH: Fine-grained localization in wireless sensor networks using acoustic sound transmissions and high precision clock synchronization | |
Benndorf et al. | Time synchronization on android devices for mobile construction assessment | |
Kebkal et al. | Propagation time estimation between underwater acoustic modems during data exchange via synchronous instant messages | |
CN106211308B (zh) | 多媒体同步系统与方法 | |
KR101607134B1 (ko) | Gps tod polling을 이용한 수집시각 동기화 방법 | |
Kowalski et al. | Implementation and testing of a low-overhead network synchronization protocol | |
US7352189B2 (en) | Time aligned bussed triggering using synchronized time-stamps and programmable delays | |
Fotouhi | Toward an Accurate Acoustic Localization System | |
JP6570283B2 (ja) | 同期装置、同期システム、同期方法および同期プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |