CN107210044B - 无人机推进系统噪声的建模和降低 - Google Patents

无人机推进系统噪声的建模和降低 Download PDF

Info

Publication number
CN107210044B
CN107210044B CN201680006444.3A CN201680006444A CN107210044B CN 107210044 B CN107210044 B CN 107210044B CN 201680006444 A CN201680006444 A CN 201680006444A CN 107210044 B CN107210044 B CN 107210044B
Authority
CN
China
Prior art keywords
noise
drone
propulsion system
voltage
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680006444.3A
Other languages
English (en)
Other versions
CN107210044A (zh
Inventor
N·R·茨恩高斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN107210044A publication Critical patent/CN107210044A/zh
Application granted granted Critical
Publication of CN107210044B publication Critical patent/CN107210044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C2220/00—Active noise reduction systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02085—Periodic noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

在一些实施例中，用于使用由无人机的推进系统组发出的噪声的模型来从由无人机捕获的音频信号降低噪声(例如，从音频信号消除无人机的噪声特征)的方法、装置和计算机程序，其中，推进系统组包括一个或多个推进系统，每个推进系统包括电马达，并且其中，响应于电压数据来执行噪声降低，所述电压数据指示供应给推进系统组的每个电马达的瞬时电压。在一些其它实施例中，用于通过基于与至少一个推进系统对应的噪声信号的数据库确定至少一个无人机的噪声特征来产生噪声模型、并且基于噪声模型来消除音频信号中的无人机的噪声特征的方法、装置和计算机程序。

Description

无人机推进系统噪声的建模和降低
相关申请的交叉引用
本申请要求2015年1月20日提交的美国临时专利申请No.62/105,643的优先权，该专利申请的内容特此通过引用并入。
技术领域
本公开总体上涉及由无人机推进系统发出的噪声的建模以及使用得到的建模噪声对由无人机上的一个或多个麦克风捕获的音频信号执行噪声降低。一些实施例与由无人机推进系统(包括电马达)发出的、随着供应给马达的电压而变化的噪声的建模以及使用得到的建模噪声对由无人机上的一个或多个麦克风捕获的音频信号(例如，这样的信号的记录版本)执行噪声降低有关。
背景技术
无人机和无人航空载具(UAV)或无人航空系统(UAS)(以下统称为“无人机”)在电影、电视的制作以及其它多媒体制作中的使用正变得广泛。在某种程度上，这个增长的使用由于联邦航空管理局最近对于电影和电视行业决定允许操作无人机以用于有剧本的封闭式场景的影片拍摄的目的而发生。也许可以申请解除FAA的管制以允许在记录或实时流传输体育赛事时使用无人机。其它国家也可能需要政府批准无人机的使用。
无人机常用于记录视频，但是由于它们的推进系统(例如，马达和推进器)产生的噪声水平高，所以记录音频一般是不实际的。从各种无人机平台记录音频的能力可以为对话记录或多通道可重配置麦克风阵列提供提高的灵活性。
还设想，无人机可以在将来的某个时刻被用在各种零售店以及工作场所(诸如仓库和厂房)中。在这样的环境中，无人机可能被要求具有接收控制无人载具的语音命令的能力。例如，作为安全特点(例如，生杀开关(kill switch))，可能需要语音命令。由无人机的推进系统产生的高噪声水平有可能淹没任何语音命令。
因此，需要降低(例如，消除)从无人机的推进系统发射出的并且在音频记录、实时流传输事件或其它音频输入的捕获期间被机载麦克风组(例如，一个机载麦克风)捕获的噪声的方法、装置和计算机系统。
发明内容
本文中所公开的示例实施例描述了用于对由具有推进系统组和麦克风组的无人机捕获的音频执行噪声降低的一种或多种方法。所述推进系统组可以包括至少一个推进系统，其中，每个推进系统包括电马达，并且麦克风组包括至少一个麦克风。所述方法可以包括以下步骤：(a)提供电压数据，所述电压数据指示供应给推进系统组的每个电马达的瞬时电压；和(b)响应于电压数据，使用建模噪声来对由无人机的麦克风组捕获的音频信号执行噪声降低，其中，所述建模噪声通过由推进系统组发出的、随着供应给推进系统组的每个马达的瞬时电压而变化的噪声的模型来确定。在一些示例实施例中，所述方法包括以下步骤：提供(例如，产生和记录)噪声数据，其中，所述噪声数据指示由包括电马达的至少一个无人机推进系统发出的、随着供应给所述电马达的电压而变化的噪声；和响应于所述噪声数据来产生噪声的模型。在一些示例实施例中，步骤(a)包括以下步骤：在处理系统处接收指示所述电压数据的至少一个信号(例如，其中，所述至少一个信号已经由无线链路从无人机发送到处理系统)，并且对所述至少一个信号进行解析以识别所述电压数据。
通常，无人机被配置为发送由麦克风组捕获的音频信号(例如，指示感兴趣的音频和推进系统噪声的有噪音频信号)和指示电压数据的推进电压信号(例如，包括被配置为将音频信号和推进电压信号发送到远程定位的处理系统的无线发送子系统)，所述电压数据指示瞬时正被供应给推进系统组的每个马达的电压。所述处理系统被配置为响应于推进电压信号来使用预定的噪声模型对音频信号执行噪声降低。在一些示例实施例中，推进电压信号是多通道信号的一个通道，该多通道信号包括指示音频信号的至少一个其它通道。
在一些示例实施例中，无人机包括噪声降低子系统，并且被配置为产生由麦克风组捕获的音频信号和产生(并且向噪声降低子系统提供)电压数据，所述电压数据指示瞬时正被供应给推进系统组的每个马达的电压。所述噪声降低子系统被配置为响应于所述电压数据来使用预定的噪声模型对音频信号执行噪声降低，从而产生噪声降低的音频信号。无人机被配置为将噪声降低的音频信号发送到远程定位的接收器。
一些示例实施例产生噪声的参数化模型，包括通过以下来产生噪声的参数化模型：(a)提供(例如，产生和记录)噪声数据，所述噪声数据指示由包括电马达的至少一个无人机推进系统发出的、随着供应给所述电马达的电压而变化的噪声(马达加推进器噪声)；和(b)响应于所述噪声数据来产生噪声的参数化模型，使得所述参数化模型指示由每个无人机推进系统发出的、随着供应给无人机推进系统的电马达的电压而变化的噪声。在一些这样的实施例中，噪声数据指示从至少一个无人机推进系统(包括马达和至少一个推进器)、通常从若干个不同的无人机推进系统(例如，不同型号的无人机推进系统)中的每一个发出的噪声信号(例如，噪声数据是指示这些噪声信号的记录的数据库)。在一些实施例中，噪声数据指示从无人机推进系统发出的一组噪声信号，其中，噪声信号中的每一个指示在推进系统的马达被一组电压(例如，横跨在无人机操作期间可以被供应给马达以驱动马达的整个电压范围的一组电压)中的不同电压驱动时从推进系统发出的噪声，并且噪声信号中的至少一个对应于该组中的电压中的每一个。在步骤(b)中产生的参数化噪声模型可以包括噪声信号中的每一个的参数化模型，并且可以指示噪声信号中的每一个的模型的谐波谱分量(并且可选地还有非谐波谱分量的表达)。
附图说明
附图与下面的具体实施方式一起被合并在本说明书中且形成本说明书的一部分，并且用于进一步示出本文中所公开的示例实施例和解释这些实施例的各种原理和优点，在附图中，同样的附图标记贯穿单独的视图指代相同的或功能上类似的元素。
图1示出根据一些示例实施例的用于对从无人机的推进系统(例如，马达和推进器)发射出的噪声进行建模并且对由无人机捕获的音频执行噪声降低(例如，以消除噪声)的系统；
图1A示出根据一些示例实施例的用于对从无人机的推进系统(例如，马达和推进器)发射出的噪声进行建模并且对由无人机捕获的音频执行噪声降低(例如，以消除噪声)的系统；
图2是根据本发明的一些示例实施例的对噪声进行建模并且消除噪声的方法的流程图；
图3是适合于实现本文中所描述的示例实施例的示例计算机系统的简化框图；以及
图4是根据示例实施例的被配置为捕获音频并且对捕获的音频执行噪声降低的无人机的简化框图。
技术人员将意识到，附图中的元素是为了简化和清晰而示出的，而没有一定按比例绘制。例如，附图中的一些元素的尺寸可能相对于其它元素扩大以帮助提高示例实施例的理解。
所述装置和方法组成部分在附图中在适当的地方已通过常规的符号表示，仅示出了与理解本发明的实施例有关的那些特定细节，以便不因对于受益于本文中的描述的本领域技术人员将容易清楚的细节模糊本公开。
具体实施方式
公开了方法、装置和计算机程序，该方法、装置和计算机程序用于通过基于由推进系统发出的并且被至少一个麦克风捕获的噪声的数据库确定无人机的至少一个无人机推进系统(例如，所有的无人机推进系统)的噪声特征(signature)来产生噪声模型，并且使用得到的建模噪声来对由无人机上的一个或多个麦克风捕获的有噪音频信号(例如，这样的信号的记录版本)执行噪声降低(例如，噪声消除)。通常，噪声模型是或包括由无人机的每个推进系统在被电压范围中的每个电压驱动时发出的噪声的模型，并且使用噪声模型并响应于指示瞬时正被供应给无人机的推进系统的马达的电压的数据来执行噪声降低。在一些实施例中，噪声降低导致从由无人机捕获的有噪音频信号至少基本上消除无人机的推进系统噪声特征。
图1是根据一些示例实施例的系统(100)的示图，该系统(100)用于对从无人机的推进系统组(包括至少一个推进系统，每个推进系统包括推进器以及响应于供应的电压驱动推进器的电马达)发射出的噪声进行建模，并且使用得到的建模噪声来从由无人机捕获的音频信号降低(例如，消除)推进系统噪声。在典型的实现中，无人机的推进系统组包括四个推进系统(在图1中由附图标记1、2、3和4标识)。每个推进系统包括电马达和推进器，该电马达可以是、但不需要是无刷马达，该推进器被耦合到马达并且配置为被马达独立地驱动。无人机还包括子系统90(在本文中有时被称为无人机控制器)，该子系统90实现(包括)麦克风组91(包括一个或多个麦克风)以及无线发送系统92。无线发送系统92被耦合和配置为产生并且发送由麦克风组91捕获的音频信号以及至少一个推进电压信号(例如，在图1中被标识为“电压1..4”的信号)，该至少一个推进电压信号指示瞬时正被供应给推进系统组的每个马达的电压。在一些实施例中，推进电压信号是多通道信号的一个通道，该多通道信号包括指示音频信号的至少一个其它的通道。
由图1的系统100实现的技术利用与无人机的每个推进系统对应的实时电力(施加的电压)分布来驱动噪声建模(例如，确定建模的无人机推进系统噪声的数据库，该数据库包括响应于施加到推进系统的马达的若干个不同的电压中的每一个而从每个推进系统发出的噪声的建模版本)以及从由无人机捕获并且从无人机发送的音频信号降低(部分或至少基本上完全消除)无人机噪声(马达加推进器噪声)。
更具体地说，图1的处理系统101(其在图1的无人机的外部，并且通常远离图1的无人机而定位)包括无线接收器102。无线接收器102耦合(通常，远程地耦合)到无人机的无人机控制器90的无线发送系统92。无线接收器102被配置为：接收由无人机发送的音频信号以及每个所述推进电压信号，并且对接收的信号进行解析以识别：电压数据，其指示瞬时正被供应给无人机的推进系统组的每个马达的电压；以及音频数据，其指示由无人机发送的音频信号。通常，音频信号是由无人机发送的多通道信号的(一个或多个通道的)通道组(使得该通道组指示音频数据)，并且推进电压信号是该多通道信号的指示电压数据的另一个通道。
在本发明的各种实施例中，由图1的处理系统101执行的处理可以在产生经历噪声降低的音频信号的无人机上、或者在远程服务器处、或者在另一个无人机上执行。在处理在远程服务器上或者在另一个无人机上无线执行的部署情景中，本领域技术人员将意识到，无线接收器102可以是收发器、通用异步接收器/发送器(UART)或任何其它的射频收发器。
此外，无线接收器102被耦合和配置为向系统101的噪声降低子系统104断言(assert)音频数据，并且向系统101的噪声建模子系统103断言电压数据。噪声建模子系统103实现由无人机的每个推进系统在被电压范围中的每个电压驱动时发出的噪声的模型。在一些示例实施例中，噪声建模子系统103可以是或包括有形的非暂时性存储器，该有形的非暂时性存储器实现实现噪声模型的数据的非暂时性存储，并且子系统103还被配置为响应于由无线接收器102断言的每组电压数据来向子系统104断言控制数据。在这样的典型的实现中，子系统103存储建模的无人机推进系统噪声的数据库，该数据库包括响应于施加到推进系统的马达的若干个不同的电压中的每一个而从每个推进系统发出的噪声的建模版本。
在一些示例实现中，子系统103存储建模的无人机推进系统噪声(实现对应的噪声模型的随着电压而变化的建模噪声)的数据库。该数据库可以被预先编程或预先存储，并且包括其噪声将被降低的特定的推进系统组的(随着电压而变化的)建模噪声，但是它可以包括与除了感兴趣的特定的无人机(其捕获音频将经历噪声降低)中所包括的那些之外的类型的推进系统有关的、以及还与感兴趣的无人机中所包括的推进系统的类型有关的、随着电压而变化的建模噪声。在操作中，子系统103将被配置(例如，被初始化)为将(感兴趣的无人机的推进系统中的一个的)电压数据的每个流与存储在子系统103中的整个数据库的建模噪声数据的对应子集相关。如果整个数据库还包括感兴趣的无人机的推进系统组中不包括的类型的推进系统的附加建模噪声数据，则这样的附加建模噪声数据不被用于对由感兴趣的无人机捕获的音频执行噪声降低。
在操作中，子系统104使用由子系统103响应于电压数据(根据由子系统103实现的噪声模型)产生的控制数据来对音频数据执行噪声降低。更具体地说，响应于指示供应给无人机的推进系统组的每个马达的瞬时电压的电压数据的每个子集，子系统103(根据噪声模型)产生并且(向子系统104)断言指示将由子系统104对音频信号的对应段(例如，对指示由无人机响应于瞬时电压在推进系统组的操作期间捕获的有噪音频的音频数据)执行的噪声降低的控制数据，以从音频信号的该段降低(例如，消除)推进系统噪声，从而产生干净的音频数据(例如，指示捕获的音频信号的该段的噪声降低版本的干净的音频数据)。通常，噪声降低根据噪声模型从音频内容(其由音频数据指示)降低(部分地或至少基本上完全地消除)推进系统噪声的谐波(音调)分量。可选地，噪声降低还从音频内容降低(部分地或至少基本上完全地消除)残留噪声(其中，残留噪声是通过推进系统噪声的非谐波谱分量的噪声模型确定的表达)和/或从音频内容降低其它噪声。
在一些实施例中，如下确定噪声模型。产生并且记录噪声数据，其中，噪声数据指示由包括电马达的至少一个无人机推进系统发出的、随着供应给电马达的电压而变化的噪声。噪声数据指示(由被设想用在无人机上以被用于捕获感兴趣的音频的每种类型的推进系统)发出的并且由(被设想用在无人机上以被用于捕获音频的每种类型的)麦克风或麦克风组捕获的、随着(在音频捕获期间预期被供应给每个推进系统的电马达的电压范围中的)电压而变化的推进系统噪声。噪声数据被提供给编程的处理器(例如，由处理系统101实现的处理器)，并且处理器响应于噪声数据(例如，以下面将描述的方式)产生噪声的模型。
在典型的实现中，图1的系统101通过以下方式来实现噪声降低：(在子系统104中)使用建模噪声的预定数据库(其被存储在子系统103中)以及瞬时正被供应给其噪声被建模的无人机的每个推进系统的电压的知识(其由来自无人机的电压数据指示，其中，电压数据经由无线接收器102被断言到子系统103)来从在无线接收器102处(从无人机)接收的有噪音频信号去除建模噪声(例如，从有噪音频信号减去建模噪声，或者将从建模噪声确定的消除信号应用到有噪音频信号)。在一些示例实施例中，由图1的系统100实现的技术可以包括或利用附加的噪声降低或消除技术或设备。这样的附加的噪声降低或消除技术或设备的示例包括(但不限于)麦克风阵列波束成形(以及来自用于实现麦克风阵列的一组两个或更多个无人机中的每个无人机的噪声的消除)或风噪声降低技术或设备。
对由无人机上的一个或多个麦克风捕获的有噪音频信号的(根据本发明的实施例的)噪声降低的执行可以在无人机(例如，如图4中那样配置的无人机)上发生(在这种情况下，从无人机发送干净的麦克风馈送)，或者在远程位置处发生(例如，如图1实施例中那样)。在一些示例实施例中，为了消除来自几个无人机的噪声，噪声消除可以由聚合数据(其指示由几个无人机中的每一个的推进系统发出的噪声的组合或聚合)所导致。
图1A是根据本文中所公开的示例实施例的被配置为捕获音频并且对捕获的音频执行噪声降低的无人机的框图。图1A的无人机与图1的系统100的无人机相同(并且图1A的与图1的对应元件相同的每个元件通过图1和图1A中相同的附图标记标识)，除了以下方面之外：
图1A的无人机的子系统101A与图1的处理系统101相同，除了子系统101A缺少无线接收器之外；
图1A的无人机的子系统90A与图1的无人机的子系统90相同，除了子系统90A缺少无线发送器并且子系统90A包括推进电压信号产生子系统92A之外，所述推进电压信号产生子系统92A被配置为产生指示电压数据的至少一个推进电压信号(例如，在图1A中被标识为“电压1..4”的信号)，其中，电压数据指示瞬时正被供应给无人机的推进系统组的每个马达的电压。每个推进电压信号从子系统92A被供应给子系统103，并且子系统103被配置为响应于由此指示的电压数据来进行操作；以及
由麦克风组91捕获的音频信号从系统91被供应给子系统104。子系统104被配置为对由音频信号指示的有噪音频数据执行噪声降低。
图1A的无人机通常还包括图1A中未示出的其它元件(例如，壳体以及被配置为发送指示子系统104的输出的音频信号的无线发送子系统)。
图4是根据本文中所公开的示例实施例的被配置为捕获音频并且对捕获的音频执行噪声降低的无人机的框图。图4的无人机包括如所示的那样耦合的推进系统组190(包括一个或多个推进系统，每个推进系统包括电马达)、麦克风组191(包括一个或多个麦克风)、噪声降低子系统194以及无线发送子系统195，并且通常还包括图4中未示出的其它元件(例如，壳体)。
推进系统组190被配置为产生(并且向子系统194断言)电压数据，该电压数据指示瞬时正被供应给推进系统组的每个马达的电压。麦克风组191被配置为产生(并且向子系统194断言)音频数据，该音频数据指示捕获的音频信号，该捕获的音频信号又指示在推进系统组190的操作期间捕获的感兴趣的音频。子系统194包括噪声模型子系统193和噪声消除子系统193A。子系统193实现由组190的每个推进系统在被电压范围中的每个电压驱动时发出的噪声的模型(其根据本发明的实施例预先确定)，并且可以如图1的子系统103那样被配置。
子系统193被配置为实现噪声的模型(“噪声模型”)并且响应于从推进系统组190接收的每组电压数据(根据噪声模型)产生(并且向子系统194的子系统193A断言)控制数据。在操作中，子系统193A使用控制数据来对由麦克风组191产生的音频数据执行噪声降低。更具体地说，响应于指示被供应给推进系统组190的每个马达的瞬时电压的电压数据的每个子集，子系统193(根据噪声模型)产生并且向子系统193A断言控制数据，该控制数据确定将由子系统193A对捕获的音频信号的对应段(即，响应于瞬时电压在推进系统组190的操作期间捕获的音频数据)执行的噪声降低。响应于控制数据，子系统193A从音频信号的所述段降低(至少部分地消除)推进系统噪声，从而产生干净的音频数据。由子系统193A响应于控制数据产生的干净的音频数据指示捕获的音频信号的每个对应段的噪声降低版本。干净的音频数据从子系统194被断言到无线发送子系统195。
无线发送子系统195被耦合和配置为(响应于在子系统194中产生的干净的音频数据)产生由麦克风组191捕获的音频信号的噪声降低版本并且发送音频信号的噪声降低版本。
根据一类实施例的噪声建模包括以下过程。第一步骤是记录噪声信号(马达加推进器噪声)的数据库，这些噪声信号从至少一个无人机推进系统(包括马达和至少一个推进器)、通常从若干个不同的无人机推进系统(即，不同型号的无人机推进系统)中的每一个发射到至少一个麦克风、通常发射到若干个不同的麦克风(例如，其在无人机中的使用被设想的不同型号的麦克风)中的每一个。优选地，对于无人机推进系统和捕获由推进系统发出的声音的麦克风的每个组合，噪声信号在无人机马达被一组电压(其横跨在无人机操作期间可以被供应给无人机马达以驱动马达的整个电压范围)中的每个电压驱动时被记录，使得针对该组中的每个驱动电压(V)记录一个噪声信号。该第一步骤通常在受控的声学环境(诸如例如消音室)中进行。第二步骤是或包括产生随着供应给相关的推进系统的电压而变化的(例如，随着在无人机操作期间可以被供应给推进系统的马达的整个电压范围中的电压而变化的)每个记录的噪声信号(每个对应于由特定电压驱动的不同的麦克风/推进系统对)的参数化模型。
例如，对于可安装在无人机上的M个推进系统的推进系统组(其中，M是正整数，该组的每个推进系统包括马达和由马达驱动的推进器)以及用于捕获由推进系统组的每个推进系统发出的声音(被称为噪声)的麦克风组(例如，一个麦克风)，由推进系统组(其由供应给推进系统组的每个马达的特定电压驱动)发出的并且被麦克风组捕获的噪声如下面等式1中所示：
N(v1,…,vM)＝Sum_props Ni(vi) (等式1)
在等式1中，噪声Ni(vi)是由该组的第“i”推进系统在被正供应给其马达的电压vi驱动时发出的(并且被麦克风组捕获的)声音，并且和是该组的所有M个推进系统上的和。因此，噪声N(v1,…,vM)是由该组的M个推进系统在该组的马达被电压vi驱动(即，该组的第“i”推进系统的马达被电压vi驱动)时发出的捕获的声音之和。通常，供应给推进系统组的每个马达的电压中的每一个在其范围上变化，并且针对供应给推进系统组的马达的电压的每个组合记录噪声值N(v1,…,vM)。
在典型的实现中，(对于该组的每个推进系统并且对于供应给每个这样的推进系统的马达的每个驱动电压)产生等式2中所示的类型的参数化模型以对由该组的推进系统在被电压驱动时发出的噪声进行建模。更具体地说，每个参数化模型是由该组的第“i”推进系统在被电压vi驱动时发出的、随着时间t而变化的噪声Ni的、等式2中所示的类型的模型。
Ni(vi,t)＝[Sum_k(gik*sin(2π(k+1)*fi0*t+θi)]+ni(t) (等式2)
在等式2中，频率fi0是由该组的被电压vi驱动的第“i”推进系统发出的声音的谐波分量的基本(或基础)频率，相位θi是这样的声音的相位，k是索引，该索引的范围被确定为使得频率范围2πfi0至2π(k+1)fi0足以使括号中的和表征声音的谐波分量的频域表示，ni(t)是残留噪声。更具体地说，残留噪声ni(t)是由推进系统发出的声音的非谐波谱分量的表达。在一些实现中，从参数化模型省略残留噪声项ni(t)。
如果如等式2中所示那样被建模，则由第“i”推进系统(在被电压vi驱动时)在时间t发出的噪声Ni(vi,t)是残留噪声ni(t)与谐波谱分量(每个谐波谱分量具有作为基本频率fi0的倍数的频率和相位θi)(在索引k的值范围上，并且被用于索引k的每个值的增益gik加权)之和的和。
用于在从由无人机捕获的音频消除非谐波推进系统噪声中使用的建模的残留噪声ni(t)可以使用本领域的普通技术人员在考虑本公开的情况下将清楚的类型的技术(例如，常规的谱相减技术)来确定。例如，在一些情况下，可能合适的是使用如Y.Ephraim和D.Malah在IEEE Trans.on Acoustics,Speech and Signal、1984年12月第6期第ASSP-32卷第1109-1121页上的论文“Speech Enhancement Using a Minimum Mean-Square ErrorShort-Time Spectral Amplitude Estimator”中所描述的谱相减技术来确定残留噪声ni(t)，该论文的内容全文通过引用并入本文。在一些示例实施例中，目标噪声谱随着时间相关的电压信息而改变。
等式2的建模的谐波推进系统噪声(即，[Sum_k(gik*sin(2π(k+1)*fi0*t+θi)])用于在从由无人机捕获的音频消除推进系统噪声的谐波分量(例如，通过减去由无人机的第i推进系统(在被电压vi驱动时)在时间t发出的、随着供应给这样的推进系统的时间相关电压而变化的、具有基础频率fi0(及其谐波)的噪声)中使用。
用于确定建模的谐波推进系统噪声的方法的示例实现如下优化循环来改善等式2中所示的形式的初始确定的谐波推进系统噪声模型(即，[Sum_k(gik*sin(2π(k+1)*fi0*t+θi)])。在该示例中，“源信号”(“s(t)”)是由第“i”推进系统(在被电压vi驱动时)在时间t发出的噪声信号，该噪声信号通常是通过访问噪声数据库可获得的预先记录的信号。优化根据以下伪代码执行：
将源信号s(t)变换到频域中(例如，使用快速傅立叶变换)以产生频率分量S(f)；
从频率分量S(f)确定fi0、θi和gi0的初始选择；
对于从1至K*fi0(其中，K是源信号的音频带宽除以fi0)的区间中的整数索引k的每个值，重复以下步骤以确定初始确定的频率(k+1)*fi0中的每一个的优化值fk：
{
在预期的谐波频率(k+1)*fi0周围的给定窗口(例如，+/-10Hz)中定位谱最大值M(fk)，其中，fk是与索引k的局部极大值对应的频率；
使S’(f)＝S(f)–||M(fk)||*sin(2*π*fk/SR+Phi)在相移Phi的量化范围(例如，等同于+/-300个采样)上的能量最小，其中，SR是音频采样速率。另一个选择是，使用在该过程的产生噪声数据库的第一步骤期间在受控条件下测量的对应谐波(k+1)*fi0的增益gik作为等式2中的每个增益gik的值；
S(f)＝S’(f)
}
根据上述伪代码，优化值||M(fk)||被选择为等式2中的增益gik的优化值。可替代地，等式2中的增益gik的值可以被选择为噪声数据库中原始存在的gik值，或者原始的gik值可以通过识别相移和增益两者的范围(在来自噪声数据库的原始gik值的周围)上的最优噪声消除信号来进行优化。
在一些实施例中，(从推进系统发出的、随着供应给推进系统的马达的电压而变化的实际被捕获和记录的噪声的)谐波谱噪声通过确定导致被捕获和记录的噪声中的谐波分量的最大消除(例如，通过从谐波分量减去建模的谐波谱噪声)的一组频率、增益和相移来进行建模(例如，通过等式2中指示的谐波噪声模型的优化版本)。产生谐波谱噪声的模型的优化可以使用噪声(例如，以上等式1中所示的类型的噪声N(v1,…,vM))的预先记录的数据库来执行，其中，该预先记录的数据库指示由(安装在或将被安装在感兴趣的无人机中的类型的)每个推进系统在一组电压中的每个电压正被供应给推进系统的马达时发出的噪声。
建模的谐波谱噪声(对应于具有特定的无人机推进系统组和麦克风组的无人机的每个推进系统)可以从感兴趣的有噪信号(其在无人机的操作期间被捕获)去除以消除感兴趣的有噪信号的谐波谱噪声。通常，噪声的一系列建模版本被从感兴趣的有噪信号的一系列段去除，其中，从有噪信号的一个段去除的噪声的每个建模版本对应于瞬时正被供应给其噪声被建模(例如，如等式2中所指示的那样被建模)的无人机的推进系统组的马达的一组电压。
应用到由无人机的麦克风组(例如，一个麦克风)捕获的感兴趣的有噪音频信号的噪声降低(例如，噪声消除)可以使用针对瞬时供应给无人机的马达的一系列多组电压中的每一组而预先存储在数据库(例如，其被实现为存储的表格)中的模型值(例如，如等式2中所指示的fi0和gik)来执行，假定知道供应给无人机的每个马达的瞬时电压的话。
噪声降低(例如，噪声消除)过程可以在无人机上实现，或者在远程位置处通过例如无线立体声音频发送等以同步的方式使用送回到接收器(例如，在远程位置处)的信息(包括电压信息)实现。例如，从无人机发送到远程位置的一个通道(例如，左通道)可以被指定为“污染的(dirty)麦克风馈送”(其指示存在将被消除的推进系统噪声的感兴趣的音频信号)，并且从无人机发送到远程位置的另一个通道(例如，右通道)可以被指定为包含指示对于每个无人机马达的电压馈送的复用数字信号(其本身指示将被从污染的麦克风馈送消除的噪声，假定知道无人机的推进系统组的类型和麦克风组的类型的话)。
消除来自多个无人机的噪声的技术可以例如包括对多个路径多次应用(例如，上述类型的)噪声消除过程(例如，噪声消除的每次应用被执行以消除来自无人机中的不同的一个的噪声)。所需要的时间对准也可以被估计，包括通过例如使用基于照相机的跟踪系统、GPS跟踪系统等估计无人机的相对位置。
在一些实施例(例如，本文中所描述的特定示例实施例的实现)中，一组无人机可以被操作为远程多通道麦克风阵列。无人机中的每一个用作麦克风阵列的不同的麦克风，并且对由无人机中的每一个捕获的有噪音频信号执行根据示例实施例的噪声降低或消除。在一些这样的示例实施例中，可以基于无人机中的一个或多个的运动跟踪来动态地重配置麦克风阵列(或其无人机中的一个或多个)。例如，无人机可以被跟踪(例如，使用红外线光学照相机和反射目标)。
一些实施例(例如，本文中所描述的特定示例实施例的实现)可以提供照相机和演员知晓(aware)的对话记录。即，照相机的平移/变焦/视场(FOV)信息可以与无人机的跟踪信息组合以在使无人机位置保持在照相机视域(view frustum)外部的同时对无人机位置进行优化以用于记录例如电影、电视场景以及其它有剧本的或无剧本的多媒体制作(例如，体育赛事)上的对话。
其它示例实施例包括图2的方法200的步骤。方法200包括基于与每个无人机的至少一个推进系统和至少一个麦克风对应的推进系统噪声信号的数据库来产生噪声模型的步骤(步骤201)，噪声模型指示随着供应给每个无人机的推进系统组的电压而变化的、至少一个无人机的噪声特征(即，每个无人机的推进系统组的噪声特征)。方法200还包括使用在步骤201中产生的噪声模型以通过基于噪声模型至少部分地消除无人机的噪声特征来降低(例如，消除)在(例如，其噪声特征用噪声模型建模的类型的)无人机处捕获的音频信号中的噪声的步骤(步骤202)。
图3描绘了适合于实现本发明的实施例的示例计算机系统300的框图。如所示的，计算机系统300包括中央处理单元(CPU)301，其能够根据存储在只读存储器(ROM)302中的程序或从存储子系统(部分)308加载到随机存取存储器(RAM)303的程序来执行各种过程。在RAM 303(有形的、非暂时性的、计算机可读的存储介质)中，当CPU 301执行各种过程时所需的数据等也根据需要被存储(以有形的、非暂时性的形式)。例如，用于实现根据本发明的实施例的噪声降低或消除的计算机代码可以通过使用指示(以有形的、非暂时性的形式)存储在ROM 302中和/或存储子系统308中的建模的无人机噪声数据库的数据而被(以有形的、非暂时性的形式)存储在RAM 303中。CPU 301、ROM 302和RAM 303经由总线304相互连接。输入/输出(I/O)接口305也连接到总线304。以下组件连接到I/O接口305：输入部分306，其包括键盘、鼠标等；输出部分307，其包括显示器(例如，阴极射线管(CRT)或液晶显示器(LCD))，并且可选地还有扬声器等；存储部分308，其包括至少一个硬盘或其它有形存储介质；以及通信部分309，其包括网络接口卡(例如，LAN卡)和调制解调器等。通信部分309被配置为经由网络执行通信过程。网络可以例如是全球移动通信系统无线电接入网络(GERAN)、全球移动通信系统(GSM)、增强数据速率GSM演进(EDGE)、GSM EDGE(GERAN)、通用地面无线电接入网络(UTRAN)、演进的通用地面无线电接入(eUTRAN)(例如，长期演进(LTE)、LTE-Advanced(LTE-A、LTE-Beyond(LTE-B)或4G/5G网络))、第一响应者网络管理局(FirstNet)宽带网络或利用宽带码分多址(WCDMA)的其它蜂窝网络、高速分组接入(HSPA)、车辆自组织网络、其它无线电技术(诸如IEEE 802.16(例如，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)等)。
图3中还示出了驱动器310，其也根据需要连接到I/O接口305。可移动介质311(磁盘、光盘、磁光盘、半导体存储器或其它有形存储介质)根据需要被安装在驱动器310上，使得从其读取的计算机程序(和/或建模的无人机噪声数据库)根据需要被安装到存储部分308中。
具体地说，根据本发明的实施例，以上参照图1(或图2)描述的过程可以实现为计算机软件程序或者使用计算机软件程序来实现。例如，本发明的实施例包括计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序(并且可选地还有建模的噪声数据库)，该计算机程序包括用于执行方法200或由系统100执行的方法的程序代码(并且可选地还有建模的噪声数据库)。在这样的实施例中，计算机程序可以经由通信部分309从网络下载和安装，和/或从可移动介质311安装。
一般来讲，本发明的各种示例实施例可以以硬件或专用电路、软件、逻辑或它们的任何组合来实现。一些方面可以以硬件来实现，而其它方面可以以可以被控制器、微处理器或其它计算设备执行的固件或软件来实现。尽管本发明的示例实施例的各方面被作为框图、流程图或者使用某种其它的图形表示示出和描述，但是将意识到，作为非限制性示例，本文中所描述的方框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备、或它们的某个组合来实现。
另外，流程图中所示的各方框可以被视为方法步骤，和/或被视为由计算机程序代码的操作导致的操作，和/或被视为构造为执行相关联的功能的多个耦合的逻辑电路元件。例如，本发明的实施例包括计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，该计算机程序包含被配置为执行如上所述的方法的程序代码。
在本公开的上下文中，机器可读介质可以是可包含或存储供指令执行系统、装置或设备使用的或者与指令执行系统、装置或设备有关的程序的任何有形介质。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子、磁性、光学、电磁、红外线或半导体系统、装置或设备、或前述的任何合适组合。机器可读存储介质的更特定的示例将包括具有一个或多个电线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备、或前述的任何合适组合。
用于执行本发明的方法的计算机程序代码可以以一种或多种编程语言的任何组合来编写。这些计算机程序代码可以被提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，使得程序代码在被计算机或其它可编程数据处理装置的处理器执行时使流程图和/或框图中指定的功能/操作被实现。程序代码可以完全在计算机上执行、部分在计算机上执行、作为独立的软件包执行、部分在计算机上且部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。程序代码可以分布在专门被编程的设备上，这些设备在本文中一般可以被称为“模块”。模块的软件组件部分可以以任何计算机语言编写，并且可以是庞大的代码库的一部分，或者可以以更离散的代码部分被开发，诸如通常以面向对象的计算机语言被开发。另外，模块可以跨多个计算机平台、服务器、终端、移动设备等分布。给定模块甚至可以被实现为使得所描述的功能由单独的处理器和/或计算硬件平台执行。
如本申请中所使用的，术语“电路”是指以下中的全部：(a)仅硬件电路实现(诸如仅模拟和/或数字电路的实现)；(b)电路和软件(和/或固件)的组合，诸如(如果适用的话)：(i)处理器的组合；或(ii)处理器/软件的部分(包括一起工作以使装置(诸如移动电话或服务器)执行各种功能的数字信号处理器、软件和存储器)；以及(c)即使软件或固件物理上不存在、也需要软件或固件进行操作的电路，诸如微处理器或微处理器的一部分。此外，技术人员众所周知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或调制数据信号(诸如载波或其它传输机制)中的其它数据，并且包括任何信息递送介质。
此外，尽管操作是以特定的次序描绘的，但是这不应当被理解为要求这样的操作以所示的特定的次序或以顺序的次序执行或者所有示出的操作都被执行以实现期望的结果。在某些情形下，多任务处理和并行处理可能是有利的。同样地，尽管几个特定的实现细节包含在以上讨论中，但是这些不应当被解释为对任何发明或可以要求保护的内容的范围的限制，而是应当被理解为可以特定于特定发明的特定实施例的特点的描述。在本说明书中在单独的实施例的上下文中描述的某些特点也可以组合地在单个实施例中实现。相反，在单个实施例的上下文中描述的各特点也可以分开在多个实施例中实现，或者以任何合适的子组合实现。
当前面的描述被与附图相结合地阅读时，本发明的前述示例实施例的各种修改和改动鉴于前面的描述对于相关领域的技术人员可以变得清楚。任何一个和所有的修改仍将落在本发明的非限制性示例实施例的范围内。此外，本文中所述的发明类别的其它实施例将被本发明的这些实施例有关的领域的、受益于前面的描述和附图中呈现的教导的技术人员想到。
因此，本发明可以以本文中所描述的形式中的任何一种体现。例如，以下枚举的实例实施例(EEE)描述了本发明的一些方面的一些结构、特点和功能。
EEE1.一种方法，包括以下步骤：产生噪声模型，包括通过基于与至少一个推进系统和至少一个麦克风对应的噪声信号的数据库确定具有推进系统组的至少一个无人机的、随着供应给所述推进系统组的电压而变化的噪声特征来产生噪声模型；和基于所述噪声模型来消除音频信号中的所述无人机的噪声特征。
EEE2.根据EEE1所述的方法，其中，产生噪声模型的步骤包括以下步骤：记录噪声信号的数据库，所述噪声信号中的每一个表示由至少一个电马达和耦合到所述电马达的至少一个推进器在电压被供应给所述电马达时发出的噪声，其中，与每个所述电马达对应的噪声信号包括表示在一组电压中的每个电压(V)被供应给所述电马达时发出的噪声的噪声信号，所述一组电压跨越电压范围；和产生随着V而变化的噪声的参数化模型。
EEE3.根据EEE1所述的方法，进一步包括麦克风阵列波束成形和风噪声降低的步骤。
EEE4.根据EEE1所述的方法，其中，噪声消除在无人机上发生，导致干净的麦克风馈送被发送到远程位置以用于进一步的处理。
EEE5.根据EEE1所述的方法，其中，噪声消除在远程位置处使用从无人机发送到所述远程位置的电压信息发生。
EEE6.根据EEE5所述的方法，其中，从无人机发送的一个通道被指定为污染的麦克风馈送通道，并且从无人机发送的另一个通道被指定为包括用于与每个无人机推进系统相关的电压馈送中的每一个的复用数字信号。
EEE7.根据EEE5所述的方法，其中，所述远程位置对数据进行聚合以便消除来自多个无人机的噪声。
EEE8.根据EEE5、6或7所述的方法，其中，信息(例如，包括电压信息)在无线同步过程中从无人机发送回所述远程位置。
EEE9.根据EEE8所述的方法，其中，对于多个路径重复所述无线同步过程，并且包括通过使用基于照相机的跟踪系统或全球定位卫星跟踪系统估计所述多个无人机的相对位置来实现时间对准方案。
EEE10.根据EEE9所述的方法，其中，所述无人机或多个无人机基于运动跟踪被动态地重配置并且通过使用反射目标(通常还有照相机，例如，红外线光学照相机)被跟踪。
EEE11.根据EEE8、9或10所述的方法，其中，照相机和演员知晓的对话记录被用于将照相机的平移/变焦/视场信息与无人机跟踪进行组合以优化记录照相机视域外部的位置以用于记录电影、电视或多媒体场景上的对话。
EEE12.根据EEE8、9或10所述的方法，其中，灵活的环绕麦克风阵列被创建。
EEE13.根据EEE1所述的方法，其中，所述推进系统组的每个推进系统包括至少一个电马达和至少一个推进器。
EEE14.一种用于对由具有推进系统组和麦克风组的无人机捕获的音频执行噪声降低的方法，所述推进系统组包括至少一个推进系统，每个所述推进系统包括电马达，并且所述麦克风组包括至少一个麦克风，所述方法包括以下步骤：
(a)提供电压数据，所述电压数据指示供应给所述推进系统组的每个电马达的瞬时电压；和
(b)响应于所述电压数据，使用建模噪声来对由所述无人机的麦克风组捕获的音频信号执行噪声降低，其中，所述建模噪声通过由所述推进系统组发出的、随着供应给所述推进系统组的所述每个马达的瞬时电压而变化的噪声的模型来确定。
EEE15.根据EEE14所述的方法，其中，步骤(a)包括以下步骤：在处理系统处接收指示所述电压数据的至少一个信号；和对所述至少一个信号进行解析以识别所述电压数据。
EEE16.根据EEE14所述的方法，还包括以下步骤：在处理系统处接收发送的音频信号和发送的推进电压信号，所述发送的音频信号指示由所述麦克风组捕获的推进系统噪声和音频内容，所述发送的推进电压信号指示所述电压数据，并且其中，步骤(b)包括以下步骤：在所述处理系统处，使用所述建模噪声和所述电压数据来对所述音频信号执行噪声降低以消除所述推进系统噪声中的至少一些。
EEE17.根据EEE16所述的方法，其中，所述发送的音频信号是多通道信号，所述推进电压信号是所述多通道信号的一个通道，并且所述多通道信号的至少一个其它通道指示所述音频内容和推进系统噪声。
EEE18.根据EEE14所述的方法，其中，所述电压数据由所述无人机的子系统产生，并且其中，步骤(b)由所述无人机的另一个子系统执行，从而产生噪声降低的音频信号，并且还包括以下步骤：将所述噪声降低的音频信号发送到远程定位的接收器。
EEE19.根据EEE14、15、16、17或18所述的方法，还包括以下步骤：提供噪声数据，所述噪声数据指示由包括电马达的至少一个无人机推进系统发出的、随着供应给所述电马达的电压而变化的噪声；和响应于所述噪声数据来产生噪声的模型。
EEE20.根据EEE14、15、16、17或18所述的方法，还包括以下步骤：(c)记录噪声信号，所述噪声信号指示由包括电马达的至少一个无人机推进系统发出的、随着供应给所述电马达的电压而变化的噪声；和(d)响应于所述噪声信号来产生噪声的模型，使得所述噪声的模型是指示由每个所述无人机推进系统发出的、随着供应给所述无人机推进系统的电马达的电压而变化的噪声的参数化模型。
EEE21.根据EEE20所述的方法，其中，在步骤(d)中产生的参数化模型包括所述噪声信号中的每一个的参数化模型，并且指示所述噪声信号中的所述每一个的模型的谐波谱分量。
EEE22.根据EEE21所述的方法，其中，所述噪声信号中的每一个的参数化模型还包括所述噪声信号中的所述每一个的非谐波谱分量的表达。
EEE23.一种被配置为对由无人机捕获的音频内容执行噪声降低的噪声降低系统，所述无人机具有推进系统组和麦克风组，所述推进系统组包括至少一个推进系统，每个所述推进系统包括电马达，并且所述麦克风组包括至少一个麦克风，所述噪声降低系统包括：噪声模型子系统，所述噪声模型子系统被耦合和配置为应用由所述推进系统发出的、随着供应给所述推进系统组的所述每个马达的瞬时电压而变化的噪声的模型，以响应于电压数据来产生噪声降低控制数据，所述电压数据指示供应给所述推进系统组的每个电马达的瞬时电压；和噪声降低子系统，所述噪声降低子系统被耦合和配置为响应于所述噪声降低控制数据来对指示由所述无人机捕获的音频内容的音频数据执行噪声降低，从而产生噪声降低的音频信号，所述噪声降低的音频信号指示已从其至少部分地消除无人机推进系统噪声的音频内容的版本。
EEE24.根据EEE23所述的噪声降低系统，包括：处理子系统，所述处理子系统被耦合以接收指示所述电压数据的至少一个信号，并且被配置为对所述至少一个信号进行解析以识别所述电压数据。
EEE25.根据EEE23所述的噪声降低系统，包括：处理子系统，所述处理子系统被耦合和配置为接收从所述无人机发送的至少一个信号，其中，所述至少一个信号指示所述音频内容和电压数据，其中，所述处理子系统被配置为对所述至少一个信号进行解析以识别所述电压数据。
EEE26.根据EEE25所述的噪声降低系统，其中，从所述无人机发送的所述至少一个信号是多通道信号，所述多通道信号的一个通道。

Claims (20)

1.一种方法，包括以下步骤：
基于与至少一个推进系统和至少一个麦克风对应的噪声信号的数据库产生噪声模型，其中该噪声模型指示具有包括至少一个马达的推进系统组的至少一个无人机的、随着供应给所述推进系统组的电压而变化的噪声特征；和
响应于指示被提供给推进系统组中的每个马达的瞬时电压的电压数据，基于所述噪声模型来消除音频信号中的所述无人机的噪声特征。
2.根据权利要求1所述的方法，其中，产生噪声模型的步骤包括以下步骤：
记录噪声信号的数据库，所述噪声信号中的每一个表示由至少一个电马达和耦合到所述电马达的至少一个推进器在电压被供应给所述电马达时发出的噪声，其中，与每个所述电马达对应的噪声信号包括表示在一组电压中的每个电压(V)被供应给所述电马达时发出的噪声的噪声信号，所述一组电压跨越电压范围；和
产生随着电压(V)而变化的噪声的参数化模型。
3.根据权利要求1所述的方法，进一步包括以下步骤：
麦克风阵列波束成形和风噪声降低。
4.根据权利要求1所述的方法，其中，噪声消除在无人机上发生，导致干净的麦克风馈送被发送到远程位置以用于进一步的处理。
5.根据权利要求1所述的方法，其中，噪声消除在远程位置处使用从无人机发送到所述远程位置的电压信息发生。
6.根据权利要求5所述的方法，其中，从无人机发送的一个通道被指定为污染的麦克风馈送通道，并且从无人机发送的另一个通道被指定为包括用于与每个无人机推进系统相关的电压馈送中的每一个的复用数字信号。
7.根据权利要求5所述的方法，其中，所述远程位置对数据进行聚合以便消除来自多个无人机的噪声。
8.根据权利要求5所述的方法，其中，在无线同步过程中将信息从无人机发送回所述远程位置。
9.根据权利要求8所述的方法，其中，对于多个路径重复所述无线同步过程，并且包括通过使用基于照相机的跟踪系统或全球定位卫星跟踪系统估计所述多个无人机的相对位置来实现时间对准方案。
10.根据权利要求9所述的方法，其中，所述无人机或多个无人机基于运动跟踪被动态地重配置并且通过使用反射目标被跟踪。
11.根据权利要求8所述的方法，其中，灵活的环绕麦克风阵列被创建。
12.根据权利要求8所述的方法，其中，照相机和演员知晓的对话记录被用于将照相机的平移/变焦/视场信息与无人机跟踪进行组合以优化记录照相机视域外部的位置以用于记录电影、电视或多媒体场景上的对话。
13.根据权利要求1所述的方法，其中，所述推进系统组的每个推进系统包括至少一个电马达和至少一个推进器。
14.一种装置，包括：
至少一个处理器；和
至少一个存储器，所述至少一个存储器是非暂时性介质，并且在所述至少一个存储器上存储计算机程序，
其中，具有计算机程序的所述至少一个存储器利用所述至少一个处理器被配置为使所述装置至少：
基于与至少一个推进系统和至少一个麦克风对应的噪声信号的数据库产生至少一个无人机的噪声模型，其中该噪声模型指示由至少一个无人机的推进系统组发射的、随着供应给所述推进系统组的电压而变化的噪声，其中所述推进系统组包括至少一个马达；和
响应于被提供给处理器的指示被提供给所述推进系统组中的每个马达的瞬时电压的电压数据，基于所述噪声模型来消除音频信号中的所述无人机的噪声特征。
15.根据权利要求14所述的装置，其中，所述推进系统包括至少一个电马达和至少一个推进器。
16.一种用于在至少一个用户装备中使用的装置，包括：
电路，所述电路适于使所述装置至少：
基于与至少一个推进系统和至少一个麦克风对应的噪声信号的数据库产生至少一个无人机的噪声模型，其中该噪声模型指示由至少一个无人机的推进系统组发射的、随着供应给所述推进系统组的电压而变化的噪声，其中所述推进系统组包括至少一个马达；和
响应于指示被提供给所述推进系统组中的每个马达的瞬时电压的电压数据，基于所述噪声模型来消除音频信号中的所述无人机的噪声特征。
17.根据权利要求16所述的装置，其中，所述推进系统包括至少一个电马达和至少一个推进器。
18.一种用于对由具有推进系统组和麦克风组的无人机捕获的音频执行噪声降低的方法，所述推进系统组包括至少一个推进系统，每个所述推进系统包括电马达，并且所述麦克风组包括至少一个麦克风，所述方法包括以下步骤：
提供电压数据，所述电压数据指示供应给所述推进系统组的每个电马达的瞬时电压；和
响应于所述电压数据，使用建模噪声来对由所述无人机的麦克风组捕获的音频信号执行噪声降低，其中，所述建模噪声通过由所述推进系统组发出的、随着供应给所述推进系统组的所述每个马达的瞬时电压而变化的噪声的模型来确定。
19.根据权利要求18所述的方法，其中，所述方法还包括以下步骤：
在处理系统处接收指示所述电压数据的至少一个信号；和
对所述至少一个信号进行解析以识别所述电压数据。
20.一种计算机可读介质，所述计算机可读介质上存储有指令，所述指令由处理器执行以使得处理器执行根据权利要求1-13以及18-19中任一项所述的方法。
CN201680006444.3A 2015-01-20 2016-01-20 无人机推进系统噪声的建模和降低 Active CN107210044B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562105643P 2015-01-20 2015-01-20
US62/105,643 2015-01-20
PCT/US2016/014127 WO2016118626A1 (en) 2015-01-20 2016-01-20 Modeling and reduction of drone propulsion system noise

Publications (2)

Publication Number Publication Date
CN107210044A CN107210044A (zh) 2017-09-26
CN107210044B true CN107210044B (zh) 2020-12-15

Family

ID=55398416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680006444.3A Active CN107210044B (zh) 2015-01-20 2016-01-20 无人机推进系统噪声的建模和降低

Country Status (5)

Country Link
US (2) US10522166B2 (zh)
EP (1) EP3248191B1 (zh)
JP (1) JP6851310B2 (zh)
CN (1) CN107210044B (zh)
WO (1) WO2016118626A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10921610B2 (en) * 2015-10-23 2021-02-16 SZ DJI Technology Co., Ltd. Imaging system
US9984672B2 (en) 2016-09-15 2018-05-29 Gopro, Inc. Noise cancellation for aerial vehicle
CN109319115A (zh) * 2017-08-01 2019-02-12 松下电器（美国）知识产权公司 无人飞行器
ES2905264T3 (es) * 2017-08-15 2022-04-07 Saronikos Trading & Services Unipessoal Lda Aeronave multirrotor controlada de manera remota mediante voz humana
CN109637517B (zh) * 2017-10-06 2023-05-26 松下电器（美国）知识产权公司 控制装置、控制系统以及控制方法
US10899465B2 (en) * 2018-01-05 2021-01-26 Gopro, Inc. Motor control optimizations for unmanned aerial vehicles
US10909961B2 (en) * 2018-02-21 2021-02-02 Gopro, Inc. Reduction of microphone audio noise from gimbal motor
KR102025302B1 (ko) * 2018-07-03 2019-11-04 성균관대학교산학협력단 드론 오디오 데이터의 소음 처리 방법
US11226315B2 (en) * 2019-04-09 2022-01-18 The Boeing Company Passive noise-cancellation for ultrasonic evaluation
WO2022011034A2 (en) * 2020-07-07 2022-01-13 Invictus Medical Inc. Infant incubator
CN112735457B (zh) * 2020-12-11 2022-05-17 中国汽车技术研究中心有限公司 语音去噪方法和系统
US12002492B2 (en) 2021-11-04 2024-06-04 Gopro, Inc. Apparatus and method of removing selective sounds from a video
US20230281335A1 (en) * 2022-03-03 2023-09-07 Lenovo (Singapore) Pte. Ltd Privacy system for an electronic device
US20240034481A1 (en) * 2022-07-29 2024-02-01 Pratt & Whitney Canada Corp. Active sound attenuation for aircraft electrical system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN86105565A (zh) * 1985-08-09 1987-02-04 通用电气公司 降低飞机螺旋桨噪声的方法
CN2306187Y (zh) * 1997-09-15 1999-02-03 北方工业大学 太阳能电动游艇
US6438513B1 (en) * 1997-07-04 2002-08-20 Sextant Avionique Process for searching for a noise model in noisy audio signals
CN101386341A (zh) * 2008-01-10 2009-03-18 涂汉华 船舶使用钻水螺旋轮推进新方法
CN101989423A (zh) * 2009-07-30 2011-03-23 Nxp股份有限公司 利用感知掩蔽的有源降噪方法
CN102447993A (zh) * 2010-09-30 2012-05-09 Nxp股份有限公司 声音场景操纵
CN103238182A (zh) * 2010-12-15 2013-08-07 皇家飞利浦电子股份有限公司 具有远程噪声检测器的降噪系统
US8657226B1 (en) * 2007-01-12 2014-02-25 John William McGinnis Efficient control and stall prevention in advanced configuration aircraft
WO2014167165A1 (en) * 2013-04-08 2014-10-16 Nokia Corporation Audio apparatus
CN104185866A (zh) * 2012-03-30 2014-12-03 苹果公司 用于有源噪声消除自适应滤波器的预成形串联滤波器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5375174A (en) * 1993-07-28 1994-12-20 Noise Cancellation Technologies, Inc. Remote siren headset
US20030179888A1 (en) * 2002-03-05 2003-09-25 Burnett Gregory C. Voice activity detection (VAD) devices and methods for use with noise suppression systems
WO2005125267A2 (en) * 2004-05-05 2005-12-29 Southwest Research Institute Airborne collection of acoustic data using an unmanned aerial vehicle
US7510142B2 (en) * 2006-02-24 2009-03-31 Stealth Robotics Aerial robot
US8116482B2 (en) * 2006-08-28 2012-02-14 Southwest Research Institute Low noise microphone for use in windy environments and/or in the presence of engine noise
US7970532B2 (en) 2007-05-24 2011-06-28 Honeywell International Inc. Flight path planning to reduce detection of an unmanned aerial vehicle
US20140365212A1 (en) * 2010-11-20 2014-12-11 Alon Konchitsky Receiver Intelligibility Enhancement System
US9337949B2 (en) * 2011-08-31 2016-05-10 Cablecam, Llc Control system for an aerially moved payload
US10469790B2 (en) * 2011-08-31 2019-11-05 Cablecam, Llc Control system and method for an aerially moved payload system
US9190071B2 (en) 2012-09-14 2015-11-17 Sikorsky Aircraft Corporation Noise suppression device, system, and method
US9311909B2 (en) 2012-09-28 2016-04-12 Microsoft Technology Licensing, Llc Sensed sound level based fan speed adjustment
US9118987B2 (en) 2013-03-12 2015-08-25 Bose Corporation Motor vehicle active noise reduction
US9338551B2 (en) 2013-03-15 2016-05-10 Broadcom Corporation Multi-microphone source tracking and noise suppression
CN104143341B (zh) * 2013-05-23 2015-10-21 腾讯科技（深圳）有限公司 爆音检测方法和装置
KR101363066B1 (ko) * 2013-12-31 2014-02-17 (주)엑스오코리아 무인비행체를 이용한 우범지역 감시시스템
US9489937B1 (en) * 2014-03-07 2016-11-08 Trace Live Network Inc. Real-time noise reduction system for dynamic motor frequencies aboard an unmanned aerial vehicle (UAV)
JP6167425B2 (ja) * 2014-08-29 2017-07-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機、及び無人航空機を用いた音声データ収集方法
US9764837B2 (en) * 2014-11-14 2017-09-19 Top Flight Technologies, Inc. Micro hybrid generator system drone

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN86105565A (zh) * 1985-08-09 1987-02-04 通用电气公司 降低飞机螺旋桨噪声的方法
US6438513B1 (en) * 1997-07-04 2002-08-20 Sextant Avionique Process for searching for a noise model in noisy audio signals
CN2306187Y (zh) * 1997-09-15 1999-02-03 北方工业大学 太阳能电动游艇
US8657226B1 (en) * 2007-01-12 2014-02-25 John William McGinnis Efficient control and stall prevention in advanced configuration aircraft
CN101386341A (zh) * 2008-01-10 2009-03-18 涂汉华 船舶使用钻水螺旋轮推进新方法
CN101989423A (zh) * 2009-07-30 2011-03-23 Nxp股份有限公司 利用感知掩蔽的有源降噪方法
CN101989423B (zh) * 2009-07-30 2012-05-23 Nxp股份有限公司 利用感知掩蔽的有源降噪方法
CN102447993A (zh) * 2010-09-30 2012-05-09 Nxp股份有限公司 声音场景操纵
CN103238182A (zh) * 2010-12-15 2013-08-07 皇家飞利浦电子股份有限公司 具有远程噪声检测器的降噪系统
CN104185866A (zh) * 2012-03-30 2014-12-03 苹果公司 用于有源噪声消除自适应滤波器的预成形串联滤波器
WO2014167165A1 (en) * 2013-04-08 2014-10-16 Nokia Corporation Audio apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Advanced Sound Capturing Method with Adaptive Noise Reduction System for Broadcasting Multicopters";Yoon;《2015 IEEE International Conference on Consumer Electronics ICCE》;20150109;第26-29页 *
"开式叶轮气动噪声信号离析方法和运用";万剑峰;《流体机械》;20131130;第6-11页 *

Also Published As

Publication number Publication date
US20200013424A1 (en) 2020-01-09
JP2018510369A (ja) 2018-04-12
CN107210044A (zh) 2017-09-26
EP3248191B1 (en) 2021-09-29
US10522166B2 (en) 2019-12-31
JP6851310B2 (ja) 2021-03-31
WO2016118626A1 (en) 2016-07-28
US20180005643A1 (en) 2018-01-04
US10909998B2 (en) 2021-02-02
EP3248191A1 (en) 2017-11-29

Similar Documents

Publication Publication Date Title
CN107210044B (zh) 无人机推进系统噪声的建模和降低
US10511908B1 (en) Audio denoising and normalization using image transforming neural network
US10313789B2 (en) Electronic device, echo signal cancelling method thereof and non-transitory computer readable recording medium
US20190208317A1 (en) Direction of arrival estimation for multiple audio content streams
EP3039675B1 (en) Parametric speech enhancement
US9866792B2 (en) Display apparatus and echo cancellation method thereof
US20140126746A1 (en) Signal-separation system using a directional microphone array and method for providing same
US20140198923A1 (en) Real time audio echo and background noise reduction for a mobile device
EP2612322A1 (en) Method and apparatus for encoding/decoding multichannel audio signal
US11393488B2 (en) Systems and methods for enhancing audio signals
CN115335900A (zh) 使用自适应网络来对全景声系数进行变换
WO2018118943A1 (en) Echo cancellation for keyword spotting
JP2010103875A (ja) エコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム、記録媒体
US20230403505A1 (en) Techniques for unified acoustic echo suppression using a recurrent neural network
US11120814B2 (en) Multi-microphone signal enhancement
US11640830B2 (en) Multi-microphone signal enhancement
US20220392462A1 (en) Multichannel audio encode and decode using directional metadata
KR102025302B1 (ko) 드론 오디오 데이터의 소음 처리 방법
US12051427B2 (en) Determining corrections to be applied to a multichannel audio signal, associated coding and decoding
EP3029671A1 (en) Method and apparatus for enhancing sound sources
CN111145776B (zh) 音频处理方法和装置
WO2024006671A1 (en) Separation and rendering of height objects
CN112309412A (zh) 用于处理待处理信号的方法、装置和信号处理系统
CN116092510A (zh) 信号处理方法、装置、存储介质及系统
CN111145793A (zh) 音频处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant