JP2019505047A - ドローン飛行制御 - Google Patents

ドローン飛行制御 Download PDF

Info

Publication number
JP2019505047A
JP2019505047A JP2018538734A JP2018538734A JP2019505047A JP 2019505047 A JP2019505047 A JP 2019505047A JP 2018538734 A JP2018538734 A JP 2018538734A JP 2018538734 A JP2018538734 A JP 2018538734A JP 2019505047 A JP2019505047 A JP 2019505047A
Authority
JP
Japan
Prior art keywords
audio signal
drone
interest
audio
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018538734A
Other languages
English (en)
Other versions
JP2019505047A5 (ja
Inventor
エリック・ヴィッサー
レ−フン・キム
リカルド・デ・ヘスス・ベルナル・カスティージョ
シュフア・ジャン
ラグヴィール・ペリ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2019505047A publication Critical patent/JP2019505047A/ja
Publication of JP2019505047A5 publication Critical patent/JP2019505047A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/02—Non-electrical signal transmission systems, e.g. optical systems using infrasonic, sonic or ultrasonic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/24—Structural combinations of separate transducers or of two parts of the same transducer and responsive respectively to two or more frequency ranges
    • H04R1/245—Structural combinations of separate transducers or of two parts of the same transducer and responsive respectively to two or more frequency ranges of microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)

Abstract

ドローンシステムおよび方法が開示される。オーディオ信号が、ドローン上のロケーションに対して位置付けられた1つまたは複数のマイクロフォンを介して受信され、オーディオ信号のうちの1つまたは複数が、関心対象であるものとして識別される。次いで、ドローンの飛行特性が、関心対象であるオーディオ信号に基づいて制御される。

Description

本出願は、その内容全体が参照により本明細書に組み込まれる、2016年1月28日に出願された米国仮特許出願第62/288,351号の利益を主張するものである。
本開示は、ドローンを制御するための技法に関する。
ドローンと呼ばれることがある無人航空機は、ますます価格が手頃で能力が高くなり、ドローンの使用は急拡大している。ドローンは、包装容器の配送、環境監視、および交通管制における使用がうたわれているが、それらは主に、ビデオまたは静止画像を捕捉するために使用される。今日まで、オーディオ信号をドローンで捕捉することは、非常に困難であった。その理由の一部は、ドローンが典型的には音ソースからかなり遠くで動作することにある。加えて、ドローンによって捕捉される任意のオーディオ信号は、モータおよびロータからのノイズによって、ならびに風の乱気流によって劣化する。1つの解決策は、(たとえば、リモコン上の)別個のマイクロフォンを介してオーディオ信号を捕捉し、次いで、ドローンによって捕捉されたビデオに捕捉されたオーディオ信号を加えることである。しかしながら、ドローンとマイクロフォンとの間のレイテンシ問題によって、オーディオ信号とビデオを同期させることは困難である。
いくつかの例では、本開示は、オーディオソースから受信されたオーディオ信号を介してドローンの飛行特性を制御するための技法を説明する。
一例では、方法は、ドローン上のロケーションに対して位置付けられた1つまたは複数のマイクロフォンを介してオーディオ信号を受信するステップと、関心対象であるオーディオ信号を識別するステップと、関心対象であるオーディオ信号に基づいてドローンの飛行特性を制御するステップとを含む。
別の例では、不揮発性コンピュータ可読記憶媒体が命令を記憶し、その命令は、実行されたとき、1つまたは複数のプロセッサに、ドローン上のロケーションに対して位置付けられた1つまたは複数のマイクロフォンを介してオーディオ信号を受信することと、関心対象であるオーディオ信号を識別することと、関心対象であるオーディオ信号に基づいてドローンの飛行特性を制御することとを行わせる。
別の例では、ドローンリモコンは、少なくとも1つのプロセッサと、レシーバと、トランスミッタと、命令を記憶する不揮発性コンピュータ可読記憶媒体とを含み、その命令は、ドローンによって受信されたオーディオ信号を表すオーディオ信号情報を受信することと、関心対象である1つまたは複数のオーディオ信号をオーディオ信号情報に基づいて識別することと、関心対象であるオーディオ信号に基づいてドローンの飛行特性を制御することとを行うために少なくとも1つのプロセッサによって実行可能である。
さらに別の例では、ドローンは、プロセッサと、複数のマイクロフォンと、レシーバと、トランスミッタと、命令を記憶する不揮発性コンピュータ可読記憶媒体とを含み、その命令は、マイクロフォンを介してオーディオ信号を受信することと、関心対象であるオーディオ信号を識別することと、関心対象であるオーディオ信号に基づいてドローンの飛行特性を制御することとを行うためにプロセッサによって実行可能である。
1つまたは複数の例の詳細が、添付図面および以下の説明において記載される。他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。
本開示の1つまたは複数の技法による、ドローンの飛行特性を制御するドローン飛行制御システムを示す図である。 本開示の1つまたは複数の技法による、ドローンの飛行特性を制御するための技法を示すフローチャートである。 本開示の1つまたは複数の技法による、図1のドローンに対する例示的一手法に対する概念図である。 本開示の1つまたは複数の技法による、図1のドローンリモコンに対する例示的一手法に対する概念図である。 本開示の1つまたは複数の技法による、図1のドローンに対する別の例示的手法に対する概念図である。 本開示の1つまたは複数の技法による、オーディオソースから受信されたオーディオ信号の品質を向上させるためにドローンの飛行特性を制御するための技法を示すフローチャートである。 本開示の1つまたは複数の技法による、受信されたオーディオ信号内のノイズソースの寄与を低減するためにドローンの飛行特性を制御するための技法を示すフローチャートである。 本開示の1つまたは複数の技法による、左および右のチャネルを有するドローンオーディオ信号のステレオ録音を示す例示的なスペクトログラムである。 本開示の1つまたは複数の技法による、オーディオ信号のドローンによるステレオ録音の左チャネルと右チャネルとの間の例示的な位相差プロットを示す図である。 本開示の1つまたは複数の技法による、非定常高調波干渉としてロータノイズを示すスペクトログラムである。 本開示の1つまたは複数の技法による、ロータノイズの影響を低減するための技法を示すフローチャートである。 本開示の1つまたは複数の技法による、図10のオーディオスペクトルをワープすることを示すスペクトログラムである。 本開示の1つまたは複数の技法による、図11の技法を適用した後の図10のオーディオスペクトルを示すスペクトログラムである。 本開示の1つまたは複数の技法による、追跡されているターゲットによって生成されたオーディオ信号の信号品質を高めるための技法を示すフローチャートである。 本開示の1つまたは複数の技法による、図1のドローンにマイクロフォンを追加するための例示的一手法の概念図である。 本開示の1つまたは複数の技法による、ロータおよびカメラに対するドローン上のマイクロフォンの配置を示す概念図である。 本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。 本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。 本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。 本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。 本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。 本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。 本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。 本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。 本開示の1つまたは複数の技法による、マルチチャネルオーディオ信号出力および共有された低周波数チャネルを有する多焦点ネスト化放物線構造600を示す図である。 本開示の1つまたは複数の技法による、マルチチャネルオーディオ信号出力および共有された低周波数チャネルを有する多焦点ネスト化放物線構造600を示す図である。 本開示の1つまたは複数の技法による、マルチマイクロフォンオーディオ信号捕捉のための六角形放物線反射面700を示す図である。 本開示の1つまたは複数の技法による、マルチマイクロフォンオーディオ信号捕捉のための六角形放物線反射面700を示す図である。
ドローンに対する飛行制御は、双方向テレメトリリンクを介して流される全地球測位衛星(GPS)対応オートパイロットシステムからリモコンに反応する基本的安定化システムまであらゆる範囲にわたる。本開示は、ドローン近傍で受信されたオーディオ信号に基づいてドローンの飛行特性を制御するためのシステムおよび方法を説明する。各オーディオ信号は、1つまたは複数のオーディオソースによって生成される場合がある。ドローンは、ロータノイズから風ノイズに及ぶいくつかの自己生成ノイズソースを有する。本開示では、自己生成ノイズの影響を低減するためおよび関心対象のオーディオ信号の信号対ノイズ比を向上させるための、いくつかの方法が説明される。たとえば、1つまたは複数のマイクロフォンを有するドローンは、自己生成ノイズに鑑みて特定のオーディオソースからのオーディオ信号品質を高めるように位置付けられてもよい。別の例では、ドローン上のマイクロフォンは、自己生成ノイズに対してオーディオ信号品質を高めるようにドローン上のノイズソースに対して位置付けられる。
またさらに、ドローン近傍で受信されたオーディオ信号のオーディオ信号品質を高めるようにマイクロフォンを位置付けるためのシステムおよび方法が説明される。例示的一手法では、オーディオソースが識別され、そのオーディオソースから受信されたオーディオ信号が、ドローンの一部の上の自己生成ノイズに鑑みてそのオーディオソースからのオーディオ信号のオーディオ信号品質を高めるように修正される。そのような例示的一手法では、オーディオソースから発出するオーディオ信号に対する到来方向(DOA)が判定され、ビーム形成が、オーディオソースから捕捉されたオーディオ信号を高めるために使用される。いくつかの例示的手法では、位相差プロットが、オーディオソースの選択をユーザに提示するために使用され、ユーザは、位相差プロットからのオーディオソースを関心対象のターゲットとして選択する。いくつかのそのような例示的手法では、ドローンは、ターゲットからのオーディオ信号をドローンの自己生成ノイズから分離するために、関心対象のターゲットに対するドローンの向きまたは位置を変更するように指示される。位相差プロットは、関心対象の信号の到来方向を表示するための一方法である。他の時間領域または周波数領域の手法が、同様に、自己生成ノイズの存在下でオーディオ信号のDOAを判定して表示するために使用されてもよい。
図1は、本開示の1つまたは複数の技法による、ドローンの飛行特性を制御するドローン飛行制御システムを示す。図1の例示的手法では、ドローン飛行制御システム10は、通信リンク16を介してドローンリモコン14に通信可能に接続されたドローン12を含む。例示的一手法では、通信リンク16は、ワイヤレス通信リンクである。
図1の例示的手法では、ドローン12は、1つまたは複数のロータ20と、1つまたは複数のマイクロフォン22と、1つまたは複数のカメラ24とを含む。そのような例示的一手法では、カメラ24およびマイクロフォン22によって捕捉された画像、ビデオおよびオーディオは、画像、ビデオおよびオーディオをドローンリモコン14において見ることおよび聞くことができるように、リンク16を介してドローンリモコン14に送信されてもよい。例示的一手法では、ドローンリモコン14は、ディスプレイ30と、スピーカー32と、入出力(I/O)インターフェース34とを含む。そのような例示的一手法では、ディスプレイ30はタッチスクリーンディスプレイである。
例示的一手法では、マラソンを走るランナーは、彼のレースのビデオを欲する。ランナー(すなわち、図1の関心対象のターゲット(ターゲット18))は、周期的に叫ぶことによるかまたは周期的にビープ音を発するビーパーなど、音を生成するデバイスを活性化することによって、オーディオ信号を発出する。例示的一手法では、オーディオ信号は、ドローン12によって捕捉されかつ追跡される。そのような例示的一手法では、ターゲット18によってまたはターゲット18の近傍で発出されたオーディオ信号19は、ドローン12によって受信され、ドローン12の飛行特性を制御するために処理されかつ使用される。いくつかの例では、ランナーに対応するオーディオ信号が識別され、捕捉されているオーディオ信号の品質を改善して関心対象のオーディオ信号への周囲ノイズの影響を低減するために、ドローン上のマイクロフォンが、ランナーに対して位置付けられる。
別のそのような例では、ターゲット18によってまたはターゲット18の近傍で発出されたオーディオ信号19は、ドローン12によって受信され、処理され、かつリンク16を介してドローンリモコン14に送信される。次いで、ドローンリモコン14は、ドローン12の飛行特性を制御するために使用されるコマンドを策定するために受信されたオーディオ信号を使用する。いくつかのそのような例では、ユーザは捕捉されたオーディオ信号の表現の中で関心対象のオーディオ信号を識別し、ドローン上のマイクロフォンが、オーディオ信号の品質を改善するためまたは関心対象の信号への周囲ノイズの影響を低減するために、関心対象の信号の生成元に対して位置付けられる。
例示的一手法では、マイクロフォン22はロータ20の下方に設置され、直接的なロータノイズを遮り、遮断することによって保護される。別の例示的手法では、マイクロフォン22は、カメラ24に隣接して置かれる。さらに別の例示的手法では、マイクロフォン22は、ドローン12の本体の下に設置され、防音材料および遮蔽によって保護される。さらに別の例示的手法では、カメラ24が、関心対象のターゲットを指しているときにマイクロフォン22がドローン12のノイズソース(ロータ20など)から最大に分離するように位置付けられるように、カメラ24がマイクロフォン22に対して置かれる。
例示的一手法では、カメラ24のうちの1つまたは複数がスイベルに接続され、ドローン本体とは無関係に回転することができる。そのような例示的一手法では、1つまたは複数のマイクロフォン22が1つまたは複数のカメラ24の各々に取り付けられ、カメラ24とともに回転する。
例示的一手法では、3つ以上のマイクロフォン22が、3次元においてオーディオソースを判別するように位置付けられる。そのような例示的一実施形態では、マイクロフォン22は、マイクロフォン22のうちの1つまたは複数がドローン本体に対する位置を変更することができるように位置付けられる。
通信リンク16は、ドローン12からドローンリモコン14に、受信されたオーディオ信号データを移動することが可能な任意のタイプの媒体またはデバイスを備えてもよい。一例では、リンク16は、ソースデバイス12がリアルタイムでドローンリモコン14に受信されたオーディオ信号データを直接送信することを可能にする通信媒体を備えてもよい。受信されたオーディオ信号データは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、ドローンリモコン14に送信されてもよい。通信媒体は、無線周波数(RF)スペクトル、または1つもしくは複数の物理伝送線路など、任意のワイヤレス通信媒体またはワイヤード通信媒体を備えてもよい。一手法では、通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成してもよい。通信媒体は、ルータ、スイッチ、基地局、またはドローン12とドローンリモコン14との間の通信を容易にするために有用であることがある任意の他の機器を含んでもよい。
図2は、本開示の1つまたは複数の技法による、ドローンの飛行特性を制御するための技法を示すフローチャートである。図2のフローチャートでは、オーディオ信号が受信され、いくつかの例では、オーディオ記録デバイスによって記録される(100)。受信されたオーディオ信号は分析され、受信されたオーディオ信号のうちの1つまたは複数は、関心対象であるオーディオ信号として識別される(102)。次いで、ドローン12の飛行特性は、関心対象であるオーディオ信号を介して制御される(104)。いくつかの例示的手法では、オーディオ記録デバイスはドローン12であり、受信されるオーディオ信号はマイクロフォン22によって捕捉される。他の例示的手法では、オーディオ記録デバイスはドローンリモコン14であり、受信されるオーディオ信号はドローンリモコン14に接続されたマイクロフォンを介して捕捉される。さらに他の例示的手法では、オーディオ信号は、ドローン12またはドローンリモコン14のいずれかから離れたマイクロフォンによって捕捉され、ドローン12またはドローンリモコン14のいずれかによって記録される。
例示的一手法では、ドローン12は周期的にマイクロフォン22を動かし、それにより、マイクロフォン22に到達する音がその到来方向を変える(106)。例示的一手法では、マイクロフォンのロケーションは、ドローンの本体に対してマイクロフォン22を回転させることによって変更される。他の例示的手法では、オーディオソースに対するマイクロフォンのロケーションは、ドローン12を空中で動かすことによって、またはドローン12を回転させることによって変更される。関心対象のオーディオ信号が存在するかどうかを判定するために、108において検査が行われ、存在する場合、制御は102に移動し、102において、受信されたオーディオ信号が分析され、受信されたオーディオ信号のうちの1つまたは複数が、関心対象であるオーディオ信号として識別される。
図3は、本開示の1つまたは複数の技法による、図1のドローンに対する例示的一手法に対する概念図である。図3の例示的手法では、ドローン12は、メモリ42に接続された1つまたは複数のプロセッサ40と、1つまたは複数のマイクロフォン22と、レシーバ44と、トランスミッタ46とを含む。そのような例示的一手法では、ドローン12は、リンク16上でレシーバ44およびトランスミッタ46を介してドローンリモコン14と通信する。例示的一手法では、マイクロフォン22は、ドローンの本体に接続される。他の例示的手法では、マイクロフォン22はドローン12とは別のロケーションに置かれ、ワイヤードまたはワイヤレス通信リンク48を介してドローン12に、受信されたオーディオ信号を表す信号を送信する。
図4は、本開示の1つまたは複数の技法による、図1のドローンリモコンに対する例示的一手法に対する概念図である。図4の例示的手法では、ドローンリモコン14は、ディスプレイ30に接続された1つまたは複数のプロセッサ50と、1つまたは複数のスピーカー32と、入出力インターフェース34と、メモリ52と、レシーバ54と、トランスミッタ56とを含む。そのような例示的一手法では、ドローンリモコン14はまた、ワイヤードまたはワイヤレスリンクを介して1つまたは複数マイクロフォン58に取り付けられる。そのような例示的一手法では、ドローン12は、リンク16上でレシーバ54およびトランスミッタ56を介してドローンリモコン14と通信する。例示的一手法では、マイクロフォン58は、ドローンリモコン14の本体に接続される。他の例示的手法では、マイクロフォン58はドローンリモコン14とは別のロケーションに置かれ、ワイヤードまたはワイヤレス通信リンク60を介してドローンリモコン14に受信されたオーディオ信号を表す信号を送信する。
例示的一手法では、マイクロフォン22はターゲット18からオーディオ信号を受信し、プロセッサ40のうちの1つまたは複数は、受信されたオーディオ信号を表すデータをメモリ42に記憶する。そのような例示的一手法では、メモリ42に記憶されているデータが分析され、強化されて、強化されたデータを表すデータがドローンリモコン14に送信される。そのような例示的一手法では、プロセッサ50はオーディオ信号データを受信し、受信されたオーディオ信号データをメモリ52に記憶する。次いで、プロセッサ50は、強化されたオーディオ信号データを表すデータをディスプレイ30上に表示し、関心対象のオーディオ信号を選択するユーザ入力をユーザインターフェース(たとえば、I/Oインターフェース34)を介して受信し、選択された関心対象のオーディオ信号の表示をドローン12に送信する。別のそのような例示的手法では、ディスプレイ30はタッチスクリーンディスプレイである。ドローンリモコン14は、強化されたオーディオ信号データを表すデータをタッチスクリーンディスプレイ30内に表示し、関心対象のオーディオ信号を選択するユーザ入力をタッチスクリーンディスプレイ30を介して受信し、選択された関心対象のオーディオ信号の表示をドローン12に送信する。
別の例示的手法では、ドローン12のプロセッサ40のうちの1つまたは複数が、受信されたオーディオ信号の全部または一部をリンク16を介してドローンリモコン14に転送する。ドローンリモコン14のプロセッサ50は受信されたオーディオ信号をメモリ52に記憶し、分析してデータをディスプレイ30に表示する前にデータを強化する。そのような例示的一手法では、ドローンリモコン14は、強化されたオーディオ信号データを表すデータをディスプレイ30内に表示し、関心対象のオーディオ信号を選択するユーザ入力をユーザインターフェース(たとえば、I/Oインターフェース34)を介して受信し、選択された関心対象のオーディオ信号の表示をドローン12に送信する。別のそのような例示的手法では、上述のように、ディスプレイ30はタッチスクリーンディスプレイである。ドローンリモコン14は、強化されたオーディオ信号データを表すデータをタッチスクリーンディスプレイ30内に表示し、関心対象のオーディオ信号を選択するユーザ入力をタッチスクリーンディスプレイ30を介して受信し、かつ選択された関心対象のオーディオ信号の表示をドローン12に送信する。
さらに別の例示的手法では、マイクロフォン22において受信されたオーディオ信号を表すデータは、マイクロフォン58において受信されたオーディオ信号と組み合わされて、システム10のオーディオ環境を表すオーディオ信号に到達する。そのような例示的一手法では、ドローンリモコン14のプロセッサ50のうちの1つまたは複数は、マイクロフォン22によって受信されたオーディオ信号を表すデータとマイクロフォン58によって受信されたオーディオ信号を表すデータとを受信かつ処理してメモリ52に記憶する。そのような例示的一手法では、ドローンリモコン14は、組み合わされたオーディオ信号を表すデータをディスプレイ30内に表示し、関心対象のオーディオ信号を選択するユーザ入力をユーザインターフェース(たとえば、I/Oインターフェース34)を介して受信し、選択された関心対象のオーディオ信号の表示をドローン12に送信する。別のそのような例示的手法では、上述のように、ディスプレイ30はタッチスクリーンディスプレイである。そのような一手法では、ドローンリモコン14は組み合わされたオーディオ信号を表すデータをタッチスクリーンディスプレイ30内に表示し、関心対象のオーディオ信号をタッチスクリーンディスプレイ30上で選択するユーザ入力をタッチスクリーンディスプレイ30を介して受信し、選択された関心対象のオーディオ信号の表示をドローン12に送信する。
図5は、本開示の1つまたは複数の技法による、図1のドローンに対する別の例示的手法に対する概念図である。図5の例示的手法では、ドローン12は、メモリ42と、1つまたは複数のマイクロフォン22と、1つまたは複数のカメラ24と、レシーバ44と、トランスミッタ46とに接続された1つまたは複数のプロセッサ40を含む。そのような例示的一手法では、ドローン12は、リンク16上でレシーバ44およびトランスミッタ46を介してドローンリモコン14と通信する。例示的一手法では、マイクロフォン22は、ドローン12の本体に接続される。他の例示的手法では、マイクロフォン22はドローン12とは別のロケーションに置かれ、ワイヤードまたはワイヤレス通信リンク48を介してドローン12に受信されたオーディオ信号を表す信号を送信する。さらに別の例示的手法では、マイクロフォン22はカメラ24に固定して搭載され、いくつかのそのような手法では、ドローン12に関連するオーディオソースに対するマイクロフォン22の配置を変更するために、マイクロフォン22およびカメラ24がドローン12の本体に対して回転する。
図2の説明において上述したように、システム10は、ドローン12、ドローンリモコン14および/または他の音捕捉デバイスによって受信されたオーディオ信号の関数としてドローン12の飛行特性を制御してもよい。図6は、本開示の1つまたは複数の技法による、オーディオソースから受信されたオーディオ信号の品質を向上させるためにドローンの飛行特性を制御するための技法を示すフローチャートである。例示的一手法では、これは、ノイズソースからのオーディオ信号の存在下で関心対象のターゲットからのオーディオ信号をより良く捕捉するために、任意のノイズソースおよび関心対象のターゲットに対してドローンを位置付けることを伴う。
図6のフローチャートでは、ドローンリモコン14のプロセッサ50は、受信されたオーディオ信号の到来方向(DOA)プロットをディスプレイ30上に表示する(120)。ユーザは、所望のオーディオソースから受信されたオーディオ信号に関連するDOAプロット上のオーディオ信号を識別し(122)、所望のオーディオソースから受信されたオーディオ信号の品質を向上させるようにドローン12を方向付けるようにシステム10に指示する(124)。そのような例示的一手法では、ドローンリモコン14のプロセッサ50は、所望のオーディオソースから受信されたオーディオ信号の信号対ノイズ比を向上させるようにドローン12を方向付ける。別の例示的手法では、ドローンリモコン14のプロセッサ50は、所望のオーディオソースから受信されたオーディオ信号の振幅を増大させるように、またはDOAがノイズソースのDOA領域内に入ることを回避するように、ドローン12を方向付ける。品質の他の測定器が、同様に、ドローン12を方向付けるために使用され得る。例示的一手法では、ドローンリモコン14のプロセッサ50は、所望のオーディオソースからのオーディオ信号の品質を向上させるようにドローン12のプロセッサ40に指示し、プロセッサ40は、ドローン12の適切な向きを決定する。
例示的一手法では、マイクロフォン22は、ドローン12上の一点に対してドローン12がマイクロフォンを動かすことを可能にするメカニズムを介してドローン12に搭載される。一手法では、マイクロフォンは、ロータ20を通して描かれた平面にほぼ平行な円盤上に設置される。そのような一手法では、円盤は、ドローン12上の点に対するマイクロフォン22の向きを変えるために回転され得る。そのような一手法では、カメラ24もまた円盤に搭載され、ドローン12の向き、姿勢またはロケーションを変えることなく回転され得る。そのような一手法では、システム10は、ドローン12の運動およびドローン12の下の円盤に取り付けられたマイクロフォン22の運動を介してオーディオソースに対してドローン12を方向付ける。
例示的一手法では、マイクロフォン22および/またはカメラ24は、ドローン12の本体に対する複数の次元における運動を可能にする、ドローン12の下に吊るされたメカニズムに搭載される。そのような一手法では、システム10は、ドローン12の運動およびドローン12の下に吊るされたマイクロフォン22の運動を介してオーディオソースに対してドローン12を方向付ける。
図7は、本開示の1つまたは複数の技法による、受信されたオーディオ信号に対するノイズソースの寄与を低減するためにドローンの飛行特性を制御するための技法を示すフローチャートである。図7のフローチャートでは、ドローンリモコン14のプロセッサ50は、受信されたオーディオ信号の到来方向(DOA)プロットをディスプレイ30上に表示する(140)。システム10(ユーザからの入力を有するかまたは有さない)は、ノイズソースからのDOAプロット上の受信されたオーディオ信号のうちの1つまたは複数を識別し(142)、関心対象の物体から受信されたオーディオ信号に対する、ノイズソースの影響を最小にするようにドローン自体を方向付けるようにドローン12に指示する(144)。例示的一手法では、プロセッサ40および/または50は、共通のノイズソース(たとえば、ロータノイズおよび風ノイズ)からオーディオ信号の寄与を識別し、1つまたは複数の他のオーディオソースを所望のオーディオソースとして取り扱う。次いで、ドローン12は、所望のオーディオソースから受信されたオーディオ信号を強化するように方向付けられる。そのような例示的一手法では、システム10は、所望の信号として最も高く強化された非ノイズソースに注目する。別の例示的手法では、所望のオーディオソースからのオーディオ信号は、所望のオーディオソースとしてオーディオソースを識別するために使用され得る特性を有し、システム10はその特性を有するオーディオ信号をモニタする。そのような例示的一手法では、関心対象のオーディオ信号のデータ辞書が、関心対象のターゲットからのオーディオ信号を識別するために使用される。図6に関して説明したような技法は、受信されたオーディオ信号に対して選択されたノイズソースの寄与を低減するのに有効である。
図8は、本開示の1つまたは複数の技法による、左および右のチャネルを有するドローンオーディオ信号のステレオ録音を示す例示的なスペクトログラムである。図8に示す例では、スペクトログラム200は、左チャネル202と右チャネル204とを含む。ロータノイズ(典型的なドローン12内の総ノイズに対する大きな原因)は、スペクトログラム200において比較的経時的に変化しないように見える。風ノイズは、スペクトログラムにおいて一貫した低周波数の存在である。関心対象のオーディオ信号は、図8内の列として示されるオーディオ信号である傾向がある。
図9は、本開示の1つまたは複数の技法による、オーディオ信号のドローンによるステレオ録音の左チャネルと右チャネルとの間の例示的な位相差プロットを示す。図9に示す例では、位相差プロット220は、3つのロータ20からのロータノイズ寄与222と音声の例の寄与224とを含む。例示的一手法では、ロータノイズ寄与222をフィルタで除去するために、ヌルフィルタリングが使用される場合がある。特定の音声の寄与224は位相差プロット220内で丸で囲まれている。
図8のスペクトログラム200および図9の位相差プロット220を考慮すれば、全体的に捕捉されるオーディオ信号から関心対象のオーディオ信号を分離することは可能である。図8および図9に示す例では、少なくとも2つのマイクロフォン22またはマイクロフォン58を用いて、一貫したDOA範囲および連続的な時間的活性化を有する時間および周波数の点が識別される。これらの連続的な部分が追跡されてゼロに設定され、ドローン12は他のすべてを記録する。図8および図9に示す例では、たとえば、ドローンのロータ20のロータノイズ寄与222がフィルタで除去され、残りの記録された音声224が捕捉されてもよい。そのような例示的一手法では、ノイズソースに対応する領域の外に、関心対象の信号を動かすために、マイクロフォンの位置付けが変更されてもよい。
図10は、本開示の1つまたは複数の技法による、非定常高調波干渉としてロータノイズを示すスペクトログラムである。図10に示す例では、スペクトログラム300は、時間に対する周波数の関数としてオーディオ信号を表示する。図10に示す例では、ロータノイズは周波数f0を有する(図10の黒い線302で示す)。例示的一手法では、システム10は、f0周辺のスペクトルをワープし、得られたノイズ寄与をフィルタリングすることによってロータノイズの影響を低減する。
図11は、本開示の1つまたは複数の技法による、ロータノイズの影響を低減するための技法を示すフローチャートである。図10に示すように、この例では、ロータノイズは周波数f0の周りに中心を置く(図10の黒い線302で示す)。システム10は、各フレームにおいてロータノイズに対する周波数f0を決定する(400)。例示的一手法では、システム10は、(周波数f0はロータ速度の関数であるので)ロータ速度からロータノイズの周波数f0を決定する。別の例示的手法では、システム10は、スペクトル分析を使用して周波数f0を決定する。すなわち、ロータノイズの連続的スペクトルピークの間の周波数ギャップを発見することによって。大部分の手法において、これは、ロータ速度が容易に利用できない場合にのみ行われる。
次いで、システム10は、周波数f0に従ってオーディオ信号のスペクトルをワープする(402)。例示的一手法では、システム10は、ドローンの典型的なロータ速度に対応してもよい公称周波数
を規定し、スケール
によって振幅スペクトルを再サンプリングすることによってスペクトルをワープし、それにより、フレームにおけるスペクトルの長さが(N/2+1)から
に変化し、ここでNは高速フーリエ変換(FFT)のサイズである。例示的一手法では、再サンプリングは、たとえば2次補間によって行われる。ワープ周波数領域において、システム10はロータノイズの寄与を識別して除去し(404)、スペクトルをアンワープする(406)。例示的一手法では、システム10は、ワープスペクトルをスケール
によって再サンプリングすることによってスペクトルをアンワープする。
図12は、本開示の1つまたは複数の技法による、図10のオーディオスペクトルをワープすることを示すスペクトログラムである。図12に示す例では、オーディオスペクトル300は、周波数f0(302)および公称周波数
の関数としてワープされる。
図13は、本開示の1つまたは複数の技法による、図11の技法を適用した後の、図10のオーディオスペクトルを示すスペクトログラムである。図13に示す例では、システム10は、ロータノイズを低減または除去するために図12のオーディオスペクトル340を修正する。次いで、システム10は、上記の図11の記述において説明されるように、周波数f0(302)および公称周波数
の関数として、得られたフィルタリングされたワープスペクトルをアンワープする。図13のスペクトログラム360は、システム10がフィルタリングされ、かつワープオーディオスペクトル340をアンワープした後のオーディオ信号のスペクトルを示す。
再び図9を参照すると、ターゲット18をその音響放射によって追跡しようとするとき、ロータノイズDOA領域を回避することが望ましい。所望のオーディオ信号はロータノイズDOA領域内に交差する場合があるので、ドローン12またはドローンリモコン14がドローン12を自動的に位置付けることが有用であり、それゆえ、追跡されるターゲット18から捕捉されたオーディオ信号は、ロータノイズDOA線の外側に留まる。一手法では、ユーザは、DOAプロット220内で関心対象のオーディオ信号を選択する。たとえば、図9に示す例では、最も右の音声成分224(丸の内部)を追跡することが望ましい場合がある。
例示的一手法では、ユーザは、追跡されるべき特定のオーディオ信号成分を識別する。そのような一手法では、ユーザは、スマートフォンのタッチスクリーン(図9に示す)上の関心対象のオーディオ信号成分を丸で囲む。例示的一手法では、ドローン12はこの情報を受信し、そのオーディオソースに対する信号対ノイズ比などの品質メトリックを最大にするようにドローンを位置付ける。いくつかの手法では、これは、ロータ20に対する特定の向きにそのマイクロフォン22を置くようにドローンが回転することを必要とする場合がある。他の例示的手法では、ドローン12は、ターゲット18のより近くに移動すること、またはターゲット18とドローン12との間の物体を回避するためにその高さを変更することを必要とする場合がある。例示的一手法では、ドローン12は、所望の1つまたは複数のオーディオ信号がロータDOA線によって占められる位相差プロットの領域と交差することを避ける、向き、姿勢および物体18からの距離を維持しようとする。例示的一手法では、システム10は、ロータDOA領域など、一定の位相差プロット領域の外側に、所望の1つまたは複数のオーディオ信号のDOAピックアップ領域を保つことによって、受信されたオーディオ信号品質を最大にする。そのような例示的一手法では、ドローン12は、関心対象のターゲットから受信されたオーディオ信号のうちの1つの振幅を測定することと、最近の所定の時間期間にわたって測定された振幅に基づいて平均振幅を判定することと、平均振幅を値のある範囲内に保つように関心対象の物体に対する位置を維持することとによって関心対象のターゲットを追尾する。そのような一手法では、ドローンは、関心対象のターゲットからのオーディオ信号および他のオーディオソースからのオーディオ信号のDOAにおける分離を維持しながらこれを行う。例示的一手法では、ドローンリモコンは、計算の一部または全部を実行し、位置および向きに変化をもたらすためにドローン12によって使用されるコマンドを送信する。
図14は、本開示の1つまたは複数の技法による、追跡されているターゲットによって生成されたオーディオ信号の信号品質を高めるための技法を示すフローチャートである。図14の例示的手法では、ターゲット18は、たとえば、話すこともしくは叫ぶことによって、またはノイズソースを使用することによって、オーディオ信号を生成する(500)。生成されたオーディオ信号に対応するDOA信号は、ドローンリモコン14のディスプレイ30上に表示され、ユーザは、ターゲットによって生成されたオーディオ信号に対応するDOA信号領域を選択する(502)。次いで、ドローンリモコン14は、選択されたDOA領域をノイズソースのDOA領域から遠ざけておくことになる位置および向きを維持するようにドローンに指示する(504)。例示的一手法では、ドローン12はターゲット18を追尾し、ターゲット18によって生成されるオーディオ信号の平均振幅に一致する距離を保つ。
例示的一手法では、生成されるオーディオ信号は、人間に聞こえる範囲の外部にある。そのような一手法では、20Hzより低いオーディオ信号が、ドローン12によって追尾される。別のそのような手法では、20kHzより高いオーディオ信号が、ドローン12によって追尾される。
例示的一手法では、ドローン12は、カメラ24によって捕捉された画像とマイクロフォン22によって捕捉されたオーディオ信号の両方を使用してターゲット18を追跡する。そのような一手法では、ターゲット18に対する距離、向きおよび姿勢を判定するために、カルマンフィルタなど、センサ寄与を組み合わせるための技法が使用される。
例示的一手法では、各ドローン12は、関心対象のオーディオソースの辞書を維持する。ドローン12によって受信されたオーディオ信号は、いずれかのソースが識別されているかどうかを判定するために、オーディオソースの辞書に照らして分析される。そのような例示的一手法では、1つまたは複数のオーディオソースが識別されたならば、それらのDOAが、ドローンリモコン14に送られるメッセージ内で強調される。別のそのような手法では、各オーディオソースに優先度が割り当てられ、ドローン12は、上記で説明した技法を使用して検出された最高の優先度のオーディオソースからのオーディオ信号を自動的に強化して強調する。例示的一手法では、ユーザは、テンプレートを介して新しい代表的オーディオソースを追加することができる。
図15は、本開示の1つまたは複数の技法による、図1のドローンにマイクロフォンを追加するための例示的一手法の概念図である。図15の例示的手法では、本開示の1つまたは複数の技法に従って、ロータ20の乱気流27を回避するために、マイクロフォン22はドローン12の本体の下に搭載される。
図16は、ロータ20およびカメラ24に対するドローン上のマイクロフォンの固定配置を示す概念図である。例示的一手法では、マイクロフォン22は、本開示の1つまたは複数の技法に従って、ロータ20との相互作用を低減するように置かれる。
図17A〜図17C、図18A〜図18C、図19Aおよび図19Bは、本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す。図17Aは、ターゲットに面する固定位置カメラ24を有する図16のドローンなどのドローン12の位置付けを示す。点線は、ターゲットからドローン12の各マイクロフォン22への音の直接経路を示す。ノイズは、ターゲット音と重複する。図17Bは図17Aのドローン12の位置付けを示し、そのカメラ24は、ターゲットに対してある角度をなすが、図17Aのドローンと同じ位置にある。もう一度、点線は、ターゲットからドローン12の各マイクロフォン22への音の直接経路を示す。図17Bのドローン12の回転は、ターゲット音をロータノイズから最大に分離することを確実にするが、ターゲットがカメラの視野の外に移動するという犠牲を払う。図17Cは、図17Aのドローン12がターゲットに対して回転して移動した後のドローン12の位置付けを示す。再び、点線は、ターゲットからドローン12の各マイクロフォン22への音の直接経路を示す。図17Cのドローン12の回転は、ターゲット音をロータノイズから最大に分離することを確実にし、ドローン12の移動は、ターゲットがカメラの視野内に留まることを確実にする。
図18A〜図18Cの例示的手法では、カメラ24および2つのマイクロフォン22が、ドローンの下方で補助デバイス800上に吊るされる。例示的一手法では、補助デバイス800は、ドローン本体とは無関係に回転する。そのような例示的一手法では、2つのマイクロフォン22が補助デバイス800の両側に取り付けられ、デバイスとともに回転する。図18Aは、ターゲットに面するカメラ24を有するドローン12の位置付けを示す。点線は、ターゲットからドローン12の各マイクロフォン22への音の直接経路を示す。ノイズは、ターゲット音と重複する。図18Bは図18Aのドローン12の位置付けを示し、そのカメラ24は、ターゲットに対してある角度をなすが、図18Aのドローンと同じ位置にある。図18Bのドローン12の回転は、ターゲット音をロータノイズから最大に分離することを確実にするが、ターゲットがカメラの視野の外に移動するという犠牲を払う。図18Cは、図18Aのドローン12がターゲットに対して回転して移動した後のドローン12の位置付けを示す。図18Cのドローン12の回転は、ターゲット音をロータノイズから最大に分離することを確実にし、ドローン12の移動は、ターゲットがカメラの視野内に留まることを確実にする。
図19Aの例示的手法では、カメラ24および2つのマイクロフォン22が、図16のドローン12におけるように位置付けられるが、カメラ24はドローン12の本体周りに異なる位置に移動する。そのような一手法では、カメラ24は、ドローン12の本体の全部または一部の周りの円弧内を回転する。図19Aは、ターゲットに面するカメラ24を有するドローン12の位置付けを示す。点線は、ターゲットからドローン12の各マイクロフォン22への音の直接経路を示す。ノイズは、ターゲット音と重複する。図19Bは、ターゲット音をロータノイズから最大に分離することと、ターゲットの視野を維持するためにカメラ24を再び位置付けることとを確実にするための図19Aのドローン12の位置付けを示す。図19Bのドローン12の回転は、ターゲット音をロータノイズから最大に分離することを確実にし、ドローン12の本体上のカメラ24の動きは、ターゲットがカメラの視野内に留まることを確実にする。
例示的一手法では、ドローン12は、他のソースからおよび自己生成ノイズからの干渉を最小にするように、存在するオーディオソースに対してマイクロフォンを位置付ける。次いで、ドローン12は、選択されたオーディオソースからのオーディオ信号をさらに高めるために、ビームフォーミング技術を使用する。
いくつかの状況では、関心対象のオーディオソースからのオーディオ信号は、それが偶然に、自己生成ノイズソースのDOA内に入ったならば失われる場合がある。これに対処するために、いくつかの例示的手法では、ドローン12は、マイクロフォン22を自己生成ノイズソースに対して周期的に回転させてもよい。自己生成ノイズソースに対して人がマイクロフォン22を動かせない状況では、ドローン12は、マイクロフォン22の向きを変えるため、または関心対象のオーディオソースへの複数の経路をもたらすために、ドローン自体を周期的に回転させることもしくはロケーションを変更すること、またはその両方を行う場合がある。
図20Aおよび図20Bは、本開示の1つまたは複数の技法による、マルチチャネルオーディオ信号出力および共有された低周波数チャネルを有する多焦点ネスト化放物線構造600を示す。放物線構造600は、マルチチャネルマイクロフォンをドローン12からのノイズから遮蔽するために使用される遮蔽物602を含む。いくつかの例示的手法では、放物線構造600および遮蔽物602は、上記で説明したドローン12の設計のいずれかにおいて、マイクロフォン22として効果的に使用される。他の例示的手法では、放物線構造600は、上記で説明したドローン12の設計のいずれかにおいて、マイクロフォン22として遮蔽物602なしに効果的に使用される。
図21Aおよび図21Bは、本開示の1つまたは複数の技法による、マルチマイクロフォンオーディオ信号捕捉のための六角形放物線反射表面700を示す。1つまたは複数のターゲット18は、反射表面700によって追跡される。例示的一手法では、表面700は、共有される低周波数チャネル702を含む。いくつかの例示的手法では、各マイクロフォン22は、マルチマイクロフォンオーディオ信号捕捉のために使用される放物線反射表面700を含む。
例によっては、本明細書において説明された技法のうちのいずれかのいくつかの行為またはイベントが、異なるシーケンスで実行されてよく、追加され、統合され、または完全に除外されてよい(たとえば、説明されたすべての行為またはイベントが技法の実践にとって必要であるとは限らない)ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて並行して実行されてよい。
1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてもよい。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベース処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含んでもよい。このように、コンピュータ可読媒体は、一般に、(1)非一時的な有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応する場合がある。データ記憶媒体は、本開示で説明された技法の実装のための命令、コード、および/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得るとともにコンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、または他の等価な集積論理回路もしくは個別論理回路などの、1つまたは複数のプロセッサによって実行されてもよい。したがって、本明細書において使用される「プロセッサ」という用語は、上記の構造、または本明細書において説明される技法の実装に適した任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書において説明される機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび/もしくはソフトウェアモジュール内で与えられることがあり、または複合コーデックに組み込まれることがある。また、技法は、1つまたは複数の回路または論理要素において完全に実装される可能性がある。
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装される場合がある。開示された技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが本開示に記載されているが、それらは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上述されたように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わされるか、または適切なソフトウェアおよび/もしくはファームウェアとともに、上述された1つもしくは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供される場合がある。
様々な例が記載されている。これらおよび他の例は、以下の特許請求の範囲内に入る。
10 ドローン飛行制御システム
12 ドローン
14 ドローンリモコン
16 通信リンク
18 ターゲット
19 オーディオ信号
20 ロータ
22 マイクロフォン
24 カメラ
27 乱気流
30 ディスプレイ、タッチスクリーンディスプレイ
32 スピーカー
34 入出力(I/O)インターフェース
40 プロセッサ
42 メモリ
44 レシーバ
46 トランスミッタ
48 ワイヤードまたはワイヤレス通信リンク
50 プロセッサ
52 メモリ
54 レシーバ
56 トランスミッタ
58 マイクロフォン
60 ワイヤードまたはワイヤレス通信リンク
200 スペクトログラム
202 左チャネル
204 右チャネル
220 位相差プロット、DOAプロット
222 ロータノイズ寄与
224 音声の寄与、音声成分
300 スペクトログラム
302 黒い線
340 オーディオスペクトル
360 スペクトログラム
600 多焦点ネスト化放物線構造
602 遮蔽物
700 六角形放物線反射表面
702 共有される低周波数チャネル
800 補助デバイス

Claims (30)

  1. ドローン上のロケーションに対して位置付けられた複数のマイクロフォンを介してオーディオ信号を受信するステップと、
    関心対象であるオーディオ信号を識別するステップと、
    関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御するステップと
    を含む、方法。
  2. 関心対象であるオーディオ信号を識別するステップが、関心対象のターゲットから受信されたオーディオ信号を選択するステップを含む、請求項1に記載の方法。
  3. 前記オーディオ信号が、1つまたは複数のノイズソースから受信されたオーディオ信号を含み、
    前記ドローンの飛行特性を制御するステップが、前記1つまたは複数のノイズソースからの前記オーディオ信号の存在下で関心対象の前記ターゲットからのオーディオ信号をより良く捕捉するために、前記ノイズソースおよび関心対象の前記ターゲットに対して前記ドローンを位置付けるステップを含む、請求項2に記載の方法。
  4. 前記選択されたオーディオ信号が、追跡されている物体から受信されたオーディオ信号であり、
    前記ドローンの飛行特性を制御するステップが、前記選択されたオーディオ信号のうちの1つまたは複数の到来方向(DOA)を判定するステップと、前記1つまたは複数の選択されたオーディオ信号の前記DOAに基づいて前記ドローンを位置付けるステップとを含む、請求項2に記載の方法。
  5. 前記オーディオ信号が、1つまたは複数のノイズソースから受信されたオーディオ信号を含み、
    前記選択されたオーディオ信号が、追跡されている物体から受信されたオーディオ信号であり、
    前記ドローンの飛行特性を制御するステップが、追跡されている前記物体からの前記オーディオ信号の到来方向(DOA)を前記1つまたは複数のノイズソースからの前記オーディオ信号の前記DOAから分離するために、前記選択されたオーディオ信号のうちの1つまたは複数の前記DOAを判定するステップと、前記ノイズソースおよび関心対象の前記ターゲットに対して前記ドローンを位置付けるステップとを含む、
    請求項2に記載の方法。
  6. 前記ドローンが前記ノイズソースのうちの1つまたは複数を含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ドローンのノイズソースに対して位置付けられ、前記ドローンを位置付けるステップが前記マイクロフォンおよび前記ドローンのノイズソースを前記選択されたオーディオ信号の前記DOAに対して方向付けるステップを含む、請求項5に記載の方法。
  7. 前記ドローンが1つまたは複数のノイズソースを含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ノイズソースに対して位置付けられ、前記ドローンを位置付けるステップが前記マイクロフォンを前記ドローンのノイズソースに対して動かすステップを含む、請求項5に記載の方法。
  8. 前記ドローンが1つまたは複数のノイズソースを含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ドローンのノイズソースに対して位置付けられ、前記ドローンを位置付けるステップが前記選択されたオーディオ信号の捕捉をビームフォーミングを介して強化するステップを含む、請求項5に記載の方法。
  9. 前記選択されたオーディオ信号が、追跡されている物体から受信されたオーディオ信号であり、
    前記ドローンの飛行特性を制御するステップが、前記選択されたオーディオ信号に基づいて追跡されている前記物体を追尾するステップを含む、請求項2に記載の方法。
  10. オーディオ信号を受信するステップが、前記選択されたオーディオ信号上でビームフォーミングを実行するために前記複数のマイクロフォンのうちの2つ以上を位置付けるステップを含む、請求項2に記載の方法。
  11. 前記ドローンの飛行特性を制御するステップが、前記選択されたオーディオ信号に基づいて前記関心対象の物体を追尾するステップを含む、請求項10に記載の方法。
  12. 関心対象の前記ターゲットを追尾するステップが、
    前記選択されたオーディオ信号のうちの1つの振幅を測定するステップと、
    最近の所定の時間期間にわたって測定された前記振幅に基づいて平均振幅を判定するステップと、
    前記平均振幅を値の範囲内に保つために前記関心対象の物体に対する位置を維持するステップと
    を含む、請求項11に記載の方法。
  13. 前記オーディオ信号が、関心対象の物体から受信された1つまたは複数のオーディオ信号を含み、
    関心対象であるオーディオ信号を識別するステップが、前記受信されたオーディオ信号のうちの1つまたは複数を表すデータを前記ドローンのトランスミッタを介して送信するステップを含み、
    前記ドローンの飛行特性を制御するステップが、
    飛行制御コマンドを前記ドローンのレシーバにおいて受信するステップであって、前記飛行制御コマンドが、前記関心対象の物体から受信された前記オーディオ信号のうちの1つまたは複数を選択し、かつ前記選択されたオーディオ信号に基づいて前記関心対象の物体を追跡するように前記ドローンに指示する、ステップを含む、
    請求項1に記載の方法。
  14. 前記関心対象の物体を追跡するステップが、
    前記関心対象の物体から受信された前記選択されたオーディオ信号のうちの1つの振幅を測定するステップと、
    最近の所定の時間期間にわたって測定された前記振幅に基づいて平均振幅を判定するステップと、
    前記平均振幅を値の範囲内に保つために前記関心対象の物体に対する位置を維持するステップと
    を含む、請求項13に記載の方法。
  15. 飛行制御コマンドを受信するステップが、前記ノイズソースからの前記オーディオ信号の存在下で前記関心対象の物体からのオーディオ信号をより良く捕捉するために、ノイズソースおよび前記関心対象の物体に対して前記ドローンを位置付ける飛行コマンドを受信するステップを含む、請求項13に記載の方法。
  16. 前記受信されたオーディオ信号が、1つまたは複数のノイズソースから受信されたオーディオ信号を含み、
    飛行制御コマンドを受信するステップが、前記選択されたオーディオ信号のDOAを前記1つまたは複数のノイズソースから受信されたオーディオ信号のDOAから分離するために必要なドローンの動きを識別するコマンドを受信するステップを含む、
    請求項13に記載の方法。
  17. 前記ドローンが前記ノイズソースのうちの1つまたは複数を含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ドローンのノイズソースに対して位置付けられ、飛行制御コマンドを受信するステップが前記マイクロフォンおよび前記ドローンのノイズソースを前記選択されたオーディオ信号の前記DOAに対して方向付けるコマンドを受信するステップを含む、請求項16に記載の方法。
  18. 前記ドローンが1つまたは複数のノイズソースを含み、飛行制御コマンドを受信するステップが、前記ドローンのノイズソースに対して前記マイクロフォンを動かすコマンドを受信するステップを含む、請求項16に記載の方法。
  19. 関心対象であるオーディオ信号を識別するステップが、
    ノイズソースでない1つまたは複数のオーディオソースをプロセッサ内で判定するステップと、
    ノイズソースでない前記1つまたは複数のオーディオソースからオーディオソースを選択するステップと、
    前記選択されたオーディオソースからの前記オーディオ信号を識別するステップと
    を含む、請求項1に記載の方法。
  20. 前記選択されたオーディオソースが追跡されている物体であり、
    前記ドローンの飛行特性を制御するステップが、追跡されている前記物体からのオーディオ信号のDOAをノイズソースからのオーディオ信号のDOAから遠ざけておくように前記ドローンを位置付けるステップを含む、
    請求項19に記載の方法。
  21. 追跡されている前記物体を追尾するように前記ドローンを位置付けるステップが、
    前記物体からのオーディオ信号の振幅を測定するステップと、
    最近の所定の時間期間にわたって測定された前記物体からの前記オーディオ信号の振幅の関数として前記物体からの前記オーディオ信号の平均振幅を判定するステップと、
    前記平均振幅をほぼ一定に保つように追跡されている前記物体に対する位置を維持するステップと
    を含む、請求項20に記載の方法。
  22. 関心対象であるオーディオ信号を識別するステップが、
    関心対象のターゲットを表すオーディオ信号シグネチャを記憶するステップと、
    前記受信されたオーディオ信号を前記記憶されたオーディオ信号シグネチャと比較するステップと、
    前記記憶されたオーディオ信号シグネチャと一致するオーディオ信号を有するオーディオソースを識別するステップと
    を含む、請求項1に記載の方法。
  23. 命令を記憶する不揮発性コンピュータ可読記憶媒体であって、前記命令が実行されたとき、1つまたは複数のプロセッサに、
    ドローン上のロケーションに対して位置付けられた1つまたは複数のマイクロフォンを介してオーディオ信号を受信することと、
    関心対象であるオーディオ信号を識別することと、
    関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御することと
    を行わせる、不揮発性コンピュータ可読記憶媒体。
  24. 実行されたとき、前記1つまたは複数のプロセッサに、関心対象であるオーディオ信号を識別させる前記命令が、実行されたとき、1つまたは複数のプロセッサに、
    関心対象のターゲットを表すオーディオ信号シグネチャを記憶することと、
    前記受信されたオーディオ信号を前記記憶されたオーディオ信号シグネチャと比較することと、
    前記記憶されたオーディオ信号シグネチャと一致するオーディオ信号を有するオーディオソースを識別することと
    を行わせる命令を含む、請求項23に記載の不揮発性コンピュータ可読記憶媒体。
  25. 少なくとも1つのプロセッサと、
    レシーバと、
    トランスミッタと、
    命令を記憶する不揮発性コンピュータ可読記憶媒体であって、前記命令が、
    ドローンによって受信されたオーディオ信号を表すオーディオ信号情報を受信することと、
    前記オーディオ信号情報に基づいて関心対象である1つまたは複数のオーディオ信号を識別することと、
    関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御することと
    を行うために前記少なくとも1つのプロセッサによって実行可能である、不揮発性コンピュータ可読記憶媒体と
    を備える、ドローンリモコン。
  26. 前記ドローンリモコンがディスプレイおよび入力インターフェースをさらに備え、前記命令が、前記受信されたオーディオ信号情報に対応する位相差プロットを前記ディスプレイ上に表示することと、関心対象の1つまたは複数のオーディオ信号の表示を前記入力インターフェースを介して受信することとを行うために少なくとも1つのプロセッサによって実行可能である命令をさらに含む、請求項25に記載のドローンリモコン。
  27. 前記オーディオ信号情報が、関心対象のターゲットから前記ドローンによって受信されたオーディオ信号および1つまたは複数のノイズソースから受信されたオーディオ信号を表すターゲットオーディオ信号情報を含み、前記ドローンリモコンがディスプレイおよび入力インターフェースをさらに備え、前記命令が、前記オーディオ信号情報の態様を表す画像を前記ディスプレイ上に表示するために少なくとも1つのプロセッサによって実行可能である命令をさらに含み、
    関心対象である1つまたは複数のオーディオ信号を前記オーディオ信号情報に基づいて識別するために前記少なくとも1つのプロセッサによって実行可能である前記命令が、関心対象の前記ターゲットから前記ドローンによって受信された前記オーディオ信号のうちの1つまたは複数の表現を含む前記画像の一部を識別する入力を前記入力インターフェースを介して受信するための命令を含み、
    関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御するために前記少なくとも1つのプロセッサによって実行可能である前記命令が、飛行コマンドを形成するための命令を含み、前記飛行コマンドが、ドローンによって受信されるときに、前記1つまたは複数のノイズソースからの前記オーディオ信号の存在下で関心対象の前記ターゲットからオーディオ信号をより良く捕捉するために、前記ノイズソースおよび関心対象の前記ターゲットに対して前記ドローンを方向付けるように前記ドローンに指示する、請求項25に記載のドローンリモコン。
  28. ドローンであって、
    プロセッサと、
    複数のマイクロフォンと、
    レシーバと、
    トランスミッタと、
    命令を記憶する不揮発性コンピュータ可読記憶媒体であって、前記命令が、
    前記マイクロフォンを介してオーディオ信号を受信することと、
    関心対象であるオーディオ信号を識別することと、
    関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御することと
    を行うために前記プロセッサによって実行可能である、不揮発性コンピュータ可読記憶媒体と
    を備える、ドローン。
  29. 前記マイクロフォンのうちの1つまたは複数が、前記プロセッサの制御の下で前記ドローンの周辺で移動可能である、請求項28に記載のドローン。
  30. 前記ドローンがカメラをさらに備え、前記カメラが関心対象のターゲットを指しているとき、前記ドローンのノイズソースからほぼ最大に分離するために、前記マイクロフォンが、前記カメラに対しておよび前記ドローン上の前記ノイズソースに対して位置付けられる、請求項28に記載のドローン。
JP2018538734A 2016-01-28 2016-11-21 ドローン飛行制御 Pending JP2019505047A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662288351P 2016-01-28 2016-01-28
US62/288,351 2016-01-28
US15/186,215 2016-06-17
US15/186,215 US10379534B2 (en) 2016-01-28 2016-06-17 Drone flight control
PCT/US2016/063157 WO2017131845A1 (en) 2016-01-28 2016-11-21 Drone flight control

Publications (2)

Publication Number Publication Date
JP2019505047A true JP2019505047A (ja) 2019-02-21
JP2019505047A5 JP2019505047A5 (ja) 2020-07-09

Family

ID=59385498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018538734A Pending JP2019505047A (ja) 2016-01-28 2016-11-21 ドローン飛行制御

Country Status (7)

Country Link
US (1) US10379534B2 (ja)
EP (1) EP3408722A1 (ja)
JP (1) JP2019505047A (ja)
KR (1) KR102244175B1 (ja)
CN (1) CN108496128A (ja)
BR (1) BR112018015337A2 (ja)
WO (1) WO2017131845A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020202621A1 (ja) * 2019-03-29 2020-10-08
WO2020213198A1 (ja) * 2019-04-18 2020-10-22 パナソニックＩｐマネジメント株式会社 無人飛行体、制御方法及びプログラム
WO2020230377A1 (ja) * 2019-05-15 2020-11-19 パナソニックＩｐマネジメント株式会社 情報処理方法、無人飛行体及び無人飛行体制御システム
WO2021014805A1 (ja) * 2019-07-23 2021-01-28 パナソニックＩｐマネジメント株式会社 無人飛行体および情報処理方法
JP2023508612A (ja) * 2019-12-31 2023-03-02 ジップライン インターナショナル インク． 航空機の相関動作及び検知
WO2023053847A1 (ja) * 2021-09-30 2023-04-06 Ｊｆｅアドバンテック株式会社 音波受信装置及び音源方位標定装置並びに音源方位標定方法
JP7296554B2 (ja) 2019-02-19 2023-06-23 パナソニックＩｐマネジメント株式会社 無人飛行体、情報処理方法およびプログラム

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362392B2 (en) * 2016-05-18 2019-07-23 Georgia Tech Research Corporation Aerial acoustic sensing, acoustic sensing payload and aerial vehicle including the same
US9836055B1 (en) 2016-06-03 2017-12-05 Internaitonal Business Machines Corporation Mobile audio input device controller
US10979613B2 (en) * 2016-10-17 2021-04-13 Dolby Laboratories Licensing Corporation Audio capture for aerial devices
CN206894795U (zh) * 2017-05-23 2018-01-16 深圳市道通智能航空技术有限公司 一种实现图像处理的遥控器及无人飞行系统
US11659322B1 (en) 2017-06-26 2023-05-23 Wing Aviation Llc Audio based aircraft detection
JP2020531351A (ja) * 2017-08-15 2020-11-05 オッテンハイマーズ インコーポレイテッド 遠隔物体の捕捉
CN115016530A (zh) * 2017-08-30 2022-09-06 深圳市大疆创新科技有限公司 无人机的控制方法、装置、无人机和机器可读存储介质
KR20200133224A (ko) * 2018-03-19 2020-11-26 세븐 벨 게엠베하 음원들을 공간적으로 위치시키기 위한 장치, 시스템 및 방법
EP3547059B1 (de) 2018-03-29 2023-11-22 Alberto De la Rúa Lope Verfahren zur steuerung unbemannter fahrzeuge
AU2019271730A1 (en) 2018-05-16 2020-12-24 Dotterel Technologies Limited Systems and methods for audio capture
JP7126143B2 (ja) * 2018-07-18 2022-08-26 パナソニックＩｐマネジメント株式会社 無人飛行体、情報処理方法およびプログラム
KR102098890B1 (ko) * 2018-08-07 2020-04-08 하성배 음계 구동 드론
CN111213365A (zh) 2018-08-17 2020-05-29 深圳市大疆创新科技有限公司 拍摄控制方法及控制器
CN109302263A (zh) * 2018-10-29 2019-02-01 天津大学 一种基于音频识别的全空域无人机干扰机系统
KR102177354B1 (ko) 2019-01-07 2020-11-11 주식회사 호그린에어 무인 항공기 지상 제어 장치
WO2020166178A1 (ja) * 2019-02-15 2020-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法およびプログラム
CN112912309A (zh) * 2019-02-19 2021-06-04 松下知识产权经营株式会社 无人飞行体、信息处理方法以及程序
GB2584986B (en) * 2019-03-19 2023-07-26 Sony Interactive Entertainment Inc System and camera device for capturing images
US10939203B2 (en) * 2019-06-28 2021-03-02 International Business Machines Corporation Forecasting sound in a live performance to determine microphone position
KR102241000B1 (ko) * 2019-08-29 2021-04-19 경상국립대학교산학협력단 무인 비행체의 실시간 군집비행 제어시스템 및 그 방법
KR102163514B1 (ko) * 2019-11-25 2020-10-12 추혜성 드론에 의한 양방향 멀티미디어 통신 시스템 및 그 운용방법
WO2021108991A1 (zh) * 2019-12-03 2021-06-10 深圳市大疆创新科技有限公司 控制方法、装置和可移动平台
JP7406655B2 (ja) * 2019-12-31 2023-12-27 ジップライン インターナショナル インク． 航空機の音響ベースの検知及び回避
EP4047939A1 (en) * 2021-02-19 2022-08-24 Nokia Technologies Oy Audio capture in presence of noise
US20240160206A1 (en) * 2022-11-10 2024-05-16 Vay Technology Gmbh Systems and methods to increase environment awareness associated with remote driving applications
US20240160205A1 (en) * 2022-11-10 2024-05-16 Vay Technology Gmbh Systems and methods to ensure safe driving behaviors associated with remote driving applications
CN117891268A (zh) * 2024-03-11 2024-04-16 成都凯天电子股份有限公司 自降噪的旋翼无人机声探测控制方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05323013A (ja) * 1992-05-20 1993-12-07 Oki Shisutetsuku Tokai:Kk 音源位置標定装置
JPH07160273A (ja) * 1993-12-03 1995-06-23 Fuji Heavy Ind Ltd ヘリコプターのアクティブノイズコントロール装置
JP2006167838A (ja) * 2004-12-14 2006-06-29 Honda Motor Co Ltd 自律移動ロボット
JP2006181651A (ja) * 2004-12-24 2006-07-13 Toshiba Corp 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
DE102004059228B3 (de) * 2004-12-08 2006-08-17 Eads Deutschland Gmbh Akustische Richtungspeil- und Abhör-Einrichtung sowie System zur Objektsuche und Objekterkennung
JP2008126329A (ja) * 2006-11-17 2008-06-05 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
JP2010095246A (ja) * 2008-10-20 2010-04-30 Honeywell Internatl Inc 無人航空機のナビゲーションのためのシステム及び方法
WO2014167700A1 (ja) * 2013-04-12 2014-10-16 株式会社日立製作所 移動ロボット、及び、音源位置推定システム
WO2015163012A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび撮像システム
JP2017502568A (ja) * 2014-08-29 2017-01-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機、及び無人航空機を用いた音声データ収集方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3964694A (en) 1967-02-14 1976-06-22 The United States Of America As Represented By The Secretary Of The Army Aerial acoustic target seeker
GB2309301A (en) 1996-01-16 1997-07-23 Roke Manor Research Vehicle mounted acoustics sensor systems
KR20010083059A (ko) * 1999-04-20 2001-08-31 김인광 음원의 방향을 검출하여 음원의 위치로 이동하기 위한로봇 및 그 동작방법
WO2005125267A2 (en) 2004-05-05 2005-12-29 Southwest Research Institute Airborne collection of acoustic data using an unmanned aerial vehicle
DK1989546T3 (en) * 2006-02-28 2016-11-21 Centre Léon Bérard SCREENING FOR ANTI-CANCER CONNECTIONS USING netrin-1 ACTIVITY
CN101732873B (zh) * 2009-12-31 2014-12-10 马宇尘 一种用以响应用户需求的飞行器型手持终端
FR2957690A1 (fr) 2010-03-18 2011-09-23 Flyway Media Systeme et procede destines a capturer une sequence video portant sur un sujet cible en mouvement a partir notamment d'un aeronef autonome ou semi autonome.
US9204478B2 (en) * 2013-05-10 2015-12-01 Elwha Llc Dynamic point to point mobile network including intermediate user interface aspects system and method
DE102011000580A1 (de) * 2011-02-09 2012-08-09 Rothenberger Ag Haltevorrichtung für ein Bördelgerät sowie Bördelgerät zum Bördeln von Rohrenden
US9800091B2 (en) * 2011-06-09 2017-10-24 Lasermotive, Inc. Aerial platform powered via an optical transmission element
CN202345914U (zh) 2011-10-25 2012-07-25 北京智能佳科技有限公司 一种可以追踪声源的智能充氦扑翼飞行器
CN202383520U (zh) 2011-12-22 2012-08-15 湖南城市学院 声音定位导航装置
US9934780B2 (en) * 2012-01-17 2018-04-03 GM Global Technology Operations LLC Method and system for using sound related vehicle information to enhance spoken dialogue by modifying dialogue's prompt pitch
US10107887B2 (en) 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
US9146295B2 (en) 2012-05-24 2015-09-29 The Boeing Company Acoustic ranging system using atmospheric dispersion
US20150350614A1 (en) 2012-08-31 2015-12-03 Brain Corporation Apparatus and methods for tracking using aerial video
GB201218963D0 (en) 2012-10-22 2012-12-05 Bcb Int Ltd Micro unmanned aerial vehicle and method of control therefor
US8909391B1 (en) * 2012-12-28 2014-12-09 Google Inc. Responsive navigation of an unmanned aerial vehicle to a remedial facility
KR20130086192A (ko) * 2013-06-18 2013-07-31 이상윤 스마트안경을 이용한 무인항공기 제어와 조종시스템
US9634722B2 (en) * 2013-07-03 2017-04-25 Viavi Solutions Inc. Cable network spectral measurement during upstream packet transmission
US20150097951A1 (en) * 2013-07-17 2015-04-09 Geoffrey Louis Barrows Apparatus for Vision in Low Light Environments
CN103955227A (zh) * 2014-04-29 2014-07-30 上海理工大学 无人机精准降落的控制方法
US9335764B2 (en) 2014-05-27 2016-05-10 Recreational Drone Event Systems, Llc Virtual and augmented reality cockpit and operational control systems
CN104076331B (zh) * 2014-06-18 2016-04-13 南京信息工程大学 一种七元麦克风阵列的声源定位方法
KR101866609B1 (ko) * 2014-07-28 2018-06-12 두산중공업 주식회사 지능형 소음감시장치 및 이를 이용한 소음감시방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05323013A (ja) * 1992-05-20 1993-12-07 Oki Shisutetsuku Tokai:Kk 音源位置標定装置
JPH07160273A (ja) * 1993-12-03 1995-06-23 Fuji Heavy Ind Ltd ヘリコプターのアクティブノイズコントロール装置
DE102004059228B3 (de) * 2004-12-08 2006-08-17 Eads Deutschland Gmbh Akustische Richtungspeil- und Abhör-Einrichtung sowie System zur Objektsuche und Objekterkennung
JP2006167838A (ja) * 2004-12-14 2006-06-29 Honda Motor Co Ltd 自律移動ロボット
JP2006181651A (ja) * 2004-12-24 2006-07-13 Toshiba Corp 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
JP2008126329A (ja) * 2006-11-17 2008-06-05 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
JP2010095246A (ja) * 2008-10-20 2010-04-30 Honeywell Internatl Inc 無人航空機のナビゲーションのためのシステム及び方法
WO2014167700A1 (ja) * 2013-04-12 2014-10-16 株式会社日立製作所 移動ロボット、及び、音源位置推定システム
WO2015163012A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび撮像システム
JP2017502568A (ja) * 2014-08-29 2017-01-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機、及び無人航空機を用いた音声データ収集方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7296554B2 (ja) 2019-02-19 2023-06-23 パナソニックＩｐマネジメント株式会社 無人飛行体、情報処理方法およびプログラム
JPWO2020202621A1 (ja) * 2019-03-29 2020-10-08
WO2020202621A1 (ja) * 2019-03-29 2020-10-08 パナソニックＩｐマネジメント株式会社 無人移動体及び情報処理方法
EP3950498A4 (en) * 2019-03-29 2022-04-27 Panasonic Intellectual Property Management Co., Ltd. MOBILE BODY WITHOUT PILOT AND INFORMATION PROCESSING METHOD
WO2020213198A1 (ja) * 2019-04-18 2020-10-22 パナソニックＩｐマネジメント株式会社 無人飛行体、制御方法及びプログラム
WO2020230377A1 (ja) * 2019-05-15 2020-11-19 パナソニックＩｐマネジメント株式会社 情報処理方法、無人飛行体及び無人飛行体制御システム
JP7457949B2 (ja) 2019-05-15 2024-03-29 パナソニックＩｐマネジメント株式会社 情報処理方法、無人飛行体及び無人飛行体制御システム
WO2021014805A1 (ja) * 2019-07-23 2021-01-28 パナソニックＩｐマネジメント株式会社 無人飛行体および情報処理方法
US11741932B2 (en) 2019-07-23 2023-08-29 Panasonic Intellectual Property Management Co., Ltd. Unmanned aircraft and information processing method
JP2023508612A (ja) * 2019-12-31 2023-03-02 ジップライン インターナショナル インク． 航空機の相関動作及び検知
WO2023053847A1 (ja) * 2021-09-30 2023-04-06 Ｊｆｅアドバンテック株式会社 音波受信装置及び音源方位標定装置並びに音源方位標定方法
JP7336621B1 (ja) * 2021-09-30 2023-08-31 Ｊｆｅアドバンテック株式会社 音波受信装置及び音源方位標定装置並びに音源方位標定方法

Also Published As

Publication number Publication date
EP3408722A1 (en) 2018-12-05
KR102244175B1 (ko) 2021-04-23
BR112018015337A2 (pt) 2018-12-18
KR20180108618A (ko) 2018-10-04
US20170220036A1 (en) 2017-08-03
WO2017131845A1 (en) 2017-08-03
US10379534B2 (en) 2019-08-13
CN108496128A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
JP2019505047A (ja) ドローン飛行制御
CN109804559B (zh) 空间音频系统中的增益控制
EP2633699B1 (en) Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
CN109565629B (zh) 用于控制音频信号的处理的方法和装置
US9913027B2 (en) Audio signal beam forming
US20180203663A1 (en) Distributed Audio Capture and Mixing Control
US9554227B2 (en) Method and apparatus for processing audio signal
JP2019505047A5 (ja)
US10542368B2 (en) Audio content modification for playback audio
CN106659936A (zh) 用于确定增强现实应用中音频上下文的系统和方法
KR20150021508A (ko) 원신호 분리 시스템 및 방법
US20160165338A1 (en) Directional audio recording system
US20200265860A1 (en) Mobile audio beamforming using sensor fusion
US20150312690A1 (en) Audio Processing Apparatus and Audio Processing Method
KR101793942B1 (ko) 음향 수신부를 이용한 음원 추적 장치 및 방법
Ding et al. Drone detection and tracking system based on fused acoustical and optical approaches
EP3661233B1 (en) Wearable beamforming speaker array
WO2021226574A1 (en) System and method for multi-microphone automated clinical documentation
JP2008070372A (ja) 物体追跡装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200522

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200522

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210510