CN110871807B - 用于使用检测到的声音操作移动式机器的系统和方法 - Google Patents

用于使用检测到的声音操作移动式机器的系统和方法 Download PDF

Info

Publication number
CN110871807B
CN110871807B CN201910758489.1A CN201910758489A CN110871807B CN 110871807 B CN110871807 B CN 110871807B CN 201910758489 A CN201910758489 A CN 201910758489A CN 110871807 B CN110871807 B CN 110871807B
Authority
CN
China
Prior art keywords
machine
audio
sensor
sound
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910758489.1A
Other languages
English (en)
Other versions
CN110871807A (zh
Inventor
T·M·奥唐内尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caterpillar Paving Products Inc
Original Assignee
Caterpillar Paving Products Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caterpillar Paving Products Inc filed Critical Caterpillar Paving Products Inc
Publication of CN110871807A publication Critical patent/CN110871807A/zh
Application granted granted Critical
Publication of CN110871807B publication Critical patent/CN110871807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/12—Trucks; Load vehicles
    • B60W2300/125—Heavy duty trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Abstract

在一个方面，一种用于操作移动机器的方法可以包括：从联接到机器的至少一个音频传感器接收音频输入；确定音频输入是否对应于非环境声音；确定非环境声音源与机器之间的方向；以及基于所确定的方向对非环境声音作出反应。

Description

用于使用检测到的声音操作移动式机器的系统和方法
技术领域
本发明总体上涉及一种移动式机器，并且更具体地涉及用于使用检测到的声音来操作移动式机器的系统和方法。
背景技术
移动式机器经常在工地使用。这些机器可以执行各种各样的任务。机器必须在了解机器环境，包括工地的其他居住者的情况下操作。工地可被包括人、机器、建筑物和其它物体的许多静止和移动元件占据。当机器由机器驾驶室中的人员操作时，操作者可以在评估工地环境时使用多种感觉。例如，操作者除了使用视线来评估环境之外，还可以利用声音和感觉来评估他或她的周围环境。
工地变得愈发自动化。机器可以自动操作或由远程操作者操作，而不是由机器驾驶室中的操作者来操作。在自动化工地中，对于机器来说，重要的是在了解他们周围的人和物体的情况下进行操作。例如，可能希望机器与比如材料堆的物体接合。然而，相同的机器不应该在物理上遇到人或其它机器。机器可具有碰撞避免系统，其利用激光或其它机构来评估机器的周围环境。然而，这样的系统可能具有有限的范围，并且在检测不在机器的视线内的障碍物时可能不太合适。例如，这种系统可能无法评估角落周围、另一物体后面或山坡上方的障碍物。
由Komatsu Ltd.提交并于2002年1月31日公开的日本发明号JP2002030699A描述了一种用于包括麦克风和控制器的移动机器的系统。控制器可以存储已知的声音模式，并且可以将麦克风接收到的声音与存储的声音模式进行比较。如果麦克风检测到与参考图案匹配的声音，则可以停止机器的移动。然而，JP2002030699A的系统缺乏评估不是编程库的一部分的声音的能力。依赖于编程库可能是有限的，因为系统不能检测和响应不是编程库的一部分的声音。本发明的系统可以解决上述的一个或多个问题和/或本领域中的其他问题。然而，本发明的范围由所附权利要求限定，而不是由解决任何具体问题的能力限定。
发明内容
在一个方面，一种用于操作移动机器的方法可以包括：从联接到所述机器的至少一个音频传感器接收音频输入；确定音频输入是否对应于非环境声音；确定非环境声音源与机器之间的方向；以及基于所确定的方向对非环境声音作出反应。
在另一方面，一种用于操作移动机器的系统可以包括：联接到机器的至少一个音频传感器；以及控制器，被配置为：从联接到机器的至少一个音频传感器接收音频输入；确定音频输入是否反映非环境声音；确定非环境声音源与机器之间的方向；以及基于所确定的方向对非环境声音作出反应。
在又一个方面中。一种用于操作移动机器的方法可以包括：从联接到机器的至少一个音频传感器接收音频输入；表征音频输入；基于所表征的音频输入，聚焦一个或多个防撞传感器；以及对所表征的音频输入作出反应。
附图说明
图1A-1C是示例性机器的示意性俯视图。
图2是用于图1A-1C的机器的示例性控制系统的框图；以及
图3是示出使用图2的示例性控制系统来评估环境声音的示例性控制序列的流程图。
具体实施方式
前面的一般描述和下面的详细描述都仅仅是示例性和解释性的，而不是对所要求保护的特征的限制。如在此所使用的，术语“包含(comprises)”、“包含(comprising)”、“具有”、“包括”或其其他变体旨在覆盖非排他性的包括，使得包括一系列元件的过程、方法、物品或装置不仅包括那些元件，而且可以包括未明确列出的或这种过程、方法、物品或装置固有的其他元件。
在本发明中，相对术语，例如“约”、“基本上”和“近似”用于表示所述值中±10％的可能变化。尽管参照拖运机器描述了本发明的某些方面，但这仅仅是示例性的。一般来说，本发明可应用于任何机器，例如任何类型的卡车、装载机、铲运机、拖拉机、装载机、挖沟机、挖掘机、平地机、反铲挖土机、推土机、装载-拖运-倾倒机器、叉车、起重机、辊子等。虽然本发明参考了传感器的示例性放置，但是这种传感器可以放置在与本发明一致的其他适当位置。
图1A-1C示出了示例性机器10的俯视图。机器10可包括前部12和后部14。前部12可包括驾驶室16，该驾驶室16可安装在发动机外壳上方。操作员驾驶室16可包括具有多个输入和显示器的控制系统。后部14可以包括倾倒体18，该倾倒体18可枢转地安装到机器10的框架上。机器10可由车轮20支撑在地面上。机器10的元件和布局仅仅是示例性的。本发明的原理可以应用于任何类型的机器，包括缺少上述部件或拥有不同部件的机器。
机器10可以包括一个或多个音频传感器30。音频传感器30可以是例如麦克风、地震检波器、水听器、地震计、声音定位器、系带传感器和/或本领域已知的任何其它类型的音频传感器。虽然这里可以使用术语麦克风，但是也可以使用任何其它合适类型的传感器。音频传感器30可以被配置为接收来自环境的噪声并且响应于这种噪声产生模拟或数字信号。来自音频传感器30的信号可以指示由音频传感器30检测到的噪声的各种质量。例如，音频传感器30的信号可以包括比如检测到的波形的幅度、频率、波长和/或周期的信息。
音频传感器30可以安装或以其他方式定位在机器10上的任何适当位置。当多个音频传感器30位于机器10上时，可以比较和/或组合从音频传感器30获得的信号，以便获得关于由音频传感器30检测到的声音的进一步信息。位于第一位置的音频传感器30可以收集指示检测到的声音的某些特性(例如，振幅、频率、波长和/或周期)的数据。位于第二位置的音频传感器30还可以收集指示相同检测到的声音的某些特性(比如上述特性)的数据。由音频传感器30在第一位置和第二位置处收集的数据可以在一个或多个特性上不同。例如，来自第一位置处的音频传感器30的信号可以反射振幅大于来自第二位置处的音频传感器30的信号的声波。这样的信息可以暗示检测到的声音的源比第二位置更靠近第一位置。来自音频传感器30的信号随时间的变化还可以指示声源的位置或位置的变化。例如，可以在不同时间将来自音频传感器30的信号与来自音频传感器30的信号进行比较，以便识别声音是例如更接近还是更远离。来自多个音频传感器30的数据可以被组合以进一步表征声音随时间的变化。来自不同位置处的音频传感器30的信号可以以各种方式变化以指示例如不同频率、不同振幅、不同波分量等，来自不同位置处的音频传感器30的信号之间的差异和相似性可以指示类型声源、距声源的距离、声源的移动等。
可以定位音频传感器30以便提供比如上述关于声源的信息。音频传感器30可以定位在机器10上并且彼此间隔开。图1A描绘了一个示例性配置。如图1A所示，音频传感器30可以放置在机器10的每一侧上。在替代方案中，音频传感器30可以放置在机器10的侧面的子集上。例如，音频传感器30可以放置在机器10的三个侧面上。在替代方案中，音频传感器30可以放置在机器10的两个相邻或相对侧上，或者一个音频传感器30可以放置在机器10的一侧上。图1B描绘音频传感器30的替代配置。如图1B所示，音频传感器30可以放置在机器10的每个拐角上，或者放置在机器10的拐角子组上。可替代地，音频传感器30可以放置在机器10的拐角处和机器10的侧面上。可以在机器10上使用侧面和/或拐角音频传感器30的任何组合。
图1C描绘在机器10上使用一个音频传感器30的替代配置。单个音频传感器30可以被配置为在没有从其他音频传感器30获得的信息的情况下确定声音的定向源。例如，音频传感器30可以是定向麦克风。可以仅使用被配置为确定声音方向的一个音频传感器30，或者可以使用多个这样的音频传感器30。可替代地，被配置为确定声音方向的一个或多个音频传感器30可以与未被如此配置的音频传感器30结合使用。在使用定向音频传感器30的情况下，这种音频传感器30可以放置在机器10的任何适当部分上。例如，音频传感器30可以放置在机器10的中心部分上，例如机器10的顶部中心部分。
如图1A-1C所示，机器10还可以包括一个或多个碰撞避免传感器40。碰撞避免传感器40可以包括碰撞避免系统。虽然图1A-1C将碰撞避免传感器40描绘为定位在机器10的侧面上，但是这样的配置仅仅是示例性的。可以使用任何数量和配置的碰撞避免传感器40。碰撞避免传感器40可以是任何适当类型的传感器。例如，碰撞避免传感器可以是光检测和测距(LIDAR)传感器、雷达传感器、超声传感器、基于相机的系统(例如，单目或立体相机)、传统(单束)激光器和/或热传感器。或者，可以使用任何其它合适类型的传感器。传感器40能够沿特定方向聚焦。碰撞避免传感器40可用于确定传感器40与机器10附近的物体之间的距离。因此，碰撞避免传感器40可配置成辅助机器10避免与另一物体碰撞。
图2示出了用于机器10的示例性控制系统100。控制系统100可以包括控制器110。控制器110可体现为单个微处理器或多个微处理器，其可包括用于监视机器10的操作，向机器10的组件发出指令和/或与外部装置通信的装置。例如，控制器110可以包括存储器、辅助存储设备、时钟和处理器，比如中央处理单元或用于完成根据本发明的任务的任何其他装置。与控制器110相关联的存储器或辅助存储设备可以存储可以帮助控制器110执行其功能的数据和/或软件例程。此外，与控制器110相关联的存储器或存储设备还可以存储从与作业机械10相关联的各种输入接收的数据。许多市场上可买到的微处理器可以被配置成执行控制器110的功能。应当理解，控制器110可以容易地体现为能够控制许多其它机器功能的通用机器控制器。各种其他已知的电路可以与控制器110相关联，包括信号调节电路、通信电路、液压或其他致动电路，以及其他适当的电路。
控制器110可以从包括音频传感器30和碰撞避免传感器40的输入接收信息。音频传感器30可以具有上述任何特性。音频传感器30可以向控制器110提供与来自机器10附近的噪声有关的信息。来自音频传感器30的信号可以是数字信号或模拟信号。来自音频传感器30的信号可以包括来自一个或多个音频传感器30的一个或多个信号。碰撞避免传感器40可以具有上述任何特性。碰撞避免传感器40可向控制器30和/或机器10提供关于是否有任何物体接近碰撞避免传感器40的信息。
控制器110或另一部件可以被配置为使用来自音频传感器30的信号来确定由音频传感器30检测到的声音的位置。例如，控制器110可以确定发出声音的方向。由控制器确定的方向可以是例如机器10的象限或其它扇区(例如，前扇区、后扇区、左扇区、右扇区、右前象限、左前象限等)。控制器110可以通过比较和/或组合来自多个音频传感器30的信号来确定位置信息。在使用定向麦克风或其它定向音频传感器30的情况下，来自一个音频传感器30的信号可以指示声源的位置。控制器110还可以使用来自音频传感器30的输入来近似或确定机器10和噪声源之间的距离。控制器110还可以使用来自音频传感器30的输入来确定对象的相对角位置。以下方向可以相对于机器10的驾驶室中的面向前方的操作者来限定：0度可以被限定为前方，90度可以被限定为向右方向，180度可以被限定为向后方向，并且270度可以被限定为向左方向。上述四个方向都可以彼此成直角。控制器110可以使用来自音频传感器30的输入，以便使用上述坐标系分配从0度到360度的方向值。这种测量的精度可以在大约+/-30度之内。
控制器110还能够基于由一个或多个音频传感器30测量的波形来辨别特定声音。控制器110可以被配置为将检测到的音频与库112进行比较，并且基于类型对检测到的声音进行分类。库112可以存储在控制器110上和/或可以由控制器110远程访问。例如，控制器110可以被配置为检测比如单词的音频命令(例如，“停止”)或确定检测到的音频是否是机器、人或环境声音的结果。环境声音可以是正常的、典型的或其它类型的背景噪声的声音，其不表示附近的物体，例如机器或人。例如，环境声音可能来自风、交通、机器10自身的操作声音或其它类型的背景声音。环境声音可能取决于环境。例如，在公路附近的工地中，交通噪声可以是环境声音的一部分。在繁忙的行人过道附近的工地中，某些级别的声音可能是环境声音的一部分。非环境声音可以是不是机器10运行的正常背景的一部分的任何声音。环境声音可以涉及不在工地本身上发生和/或不暗示附近障碍物的声音。相反，非环境声音可以是不是机器10运行的正常背景的一部分的声音。例如，非环境声音可以是指示工地本身上的人和/或机器的声音。环境声音可以由分贝水平或声音幅度的其它指示符来表征。附加地或可选地，环境声音可以由工地环境的特定波特征来表征。可以通过与存储的关于工地中的环境声音的数据进行比较来识别非环境声音。例如，非环境声音可以具有比环境声音更高的分贝水平或幅度和/或不同的波特征。控制器110能够确定哪种类型的源正在产生声音。控制器110还可以具有机器学习能力，从而随着时间的推移，控制器110可以获得区分声音源的能力。控制器110可以学习与特定工作环境相关联的声音。可以从多个控制器110编译信息，以便可以开发声音库(比如库112)。
控制器110可以被配置成基于来自音频传感器30和/或碰撞避免传感器40的输入来输出反应120。例如，控制器110可以被配置成向操作员提供警报、停止机器10、反转机器10、减慢机器10、改变机器10的方向，和/或以其他方式改变机器10的行为。这些可能的反应120将参考图3进一步详细讨论。
图3示出了用于评估环境声音并适当响应的示例性方法200。方法200可以集成从音频传感器30和/或碰撞避免传感器40获得的数据。在执行方法200的步骤时，机器10可以在有或没有操作者帮助的情况下操作。机器10可以是自动的，从而不需要操作员驾驶室16和/或坐在操作员驾驶室16中的操作员。机器10可以在包括各种环境声音的各种工作场所操作。在操作中，机器10可以在人、其他机器和其他物体附近工作。可能希望机器10遇到这些物体中的一些。例如，机器10可能遇到一堆待挖掘和/或重新定位的材料。另一方面，应当避免与其它物体或人的碰撞。
在步骤210中，可以校准比如控制系统100的系统。例如，可以基于周围环境校准系统100，并且音频传感器30可以测量周围环境，“零”或基线值。当机器10运行时，由音频传感器30检测到的声音可以与基线、环境值进行比较。每次在新工地使用机器10时，每天早晨、每周或以任何其它合适的时间间隔测量环境噪声水平。这种校准可以自动或手动完成。远程操作员可周期性地评估工地并执行校准或调零读数。例如，当工地的一个方面改变时，可以执行重新校准。例如，如果工地周围的交通模式改变或者如果声音环境改变，则可以在给定日期间的不同时间执行校准。附加地或可选地，可以在系统100、控制器110或机器10的制造期间执行校准。例如，系统100可以被制造成具有一个或多个预设环境噪声水平。在系统100被制造成具有多于一个预设环境噪声水平的情况下，用户可以在步骤210中选择适当的环境噪声水平。
在步骤230中，系统100的部件比如控制器110可以从机器10周围的环境接收音频输入。例如，控制器110可以经由音频传感器30接收音频输入。接收到的音频输入可以从上述的任何音频传感器30配置或者从音频传感器30的任何替换配置获得。
在步骤240中，比如控制器110的系统100的组件可以过滤在步骤230中接收的音频。可以使用任何合适的过滤方法或机制。例如，控制器110可以利用在步骤210中校准的环境噪声电平来过滤音频。控制器110可以滤除来自步骤230的音频输入，以便通过例如将来自步骤230的音频输入与在步骤210中校准的环境噪声电平进行比较来识别不是由环境噪声产生的音频输入的部分。这种过滤可以使控制器110识别不是工作环境的正常背景噪声的声音。在步骤250中，系统100的组件(例如控制器110)可确定是否已识别出非环境声音。附加地或可替代地，控制器110可以将过滤后的音频与声音库(比如上面关于图2描述的库112)进行比较，以便确定是否已经识别出与该库匹配的声音。例如，控制器110可以确定是否已经向机器10给出了命令(例如，“停止”)。如果在步骤250中没有识别出这种非环境或匹配的声音，则机器可以在步骤260中继续其操作而无需控制器110的干预。
如果在步骤250中识别出非环境或匹配的声音，则控制器110可以在步骤270中诊断音频和/或执行后续步骤。例如，控制器110可以尝试使用音频传感器30和/或其他传感器来识别声音的类型和/或源。控制器110可以依赖于来自音频传感器30和/或其他传感器的数据，以及预编程的声库或从机器学习构建的声库(比如库112)，以便确定声源(例如，机器、人等)、声音的方向和/或距声音的距离。如以上关于图2所讨论的，组合来自多个音频传感器30的数据可以在确定声源时起到三角测量作用。当机器移动时，来自一个或多个音频传感器30的音量变化可以指示声音的方向和/或距离。例如，随着机器10向前移动而增加的声音的音量可以指示声源大致设置在机器10的前方。如上所述，控制器110可以使用来自音频传感器30的输入，以便使用上述坐标系分配从0度到360度的方向值。这种测量的精度可以在大约+/-30度之内。这种测量的精度也可以更高。
控制器110还可以接合机器10的其他系统，以便获得关于声源的进一步信息。例如，控制器110可以利用碰撞避免传感器40来进一步评估声源。使用音频传感器30，控制器110可以确定发出声音的方向。基于该信息，控制器110可以将碰撞避免传感器40聚焦在该方向上。例如，控制器110可以指示碰撞避免传感器40瞄准或聚焦在该方向上。另外地或可选地，控制器110可以通过将控制器110的处理能力沿检测到的声音的方向引导至碰撞避免传感器40的操作来聚焦碰撞避免系统(包括碰撞避免传感器40)。处理能力的这种增加可以导致来自那些碰撞避免传感器40的增加的检测能力。例如，控制器110可以指示来自碰撞避免传感器40的增加的采样率，或者控制器110可以更深入地分析由碰撞避免传感器40收集的数据。碰撞避免传感器40可以提供关于机器10周围的物体的位置的附加信息，包括在步骤250中识别的声源。例如，碰撞避免传感器40可以提供关于物体的更精确位置和/或关于物体与机器10之间的距离的信息。碰撞避免传感器40可以与音频传感器30结合使用，以便评估潜在障碍物。可以向操作者提供视频或其他类型的视觉显示(例如示意性显示)，以反映在观察到的声音的方向上的设置。例如，视频或其它可视显示可以在观察到的声音的方向上示出对象，并且可以提供关于附近障碍物的进一步信息。附加地或可选地，自动视频和/或其他视觉诊断可以由控制器110基于对视频或其他视觉显示器中的对象的自动识别来执行。例如，如果碰撞避免传感器40检测到物体但该物体不产生可由音频传感器30检测到的噪声，则控制器110可执行物体的进一步评估。例如，诊断(比如上述视频诊断或来自碰撞避免传感器40的信息)可以确定检测到的对象是人、不可操作的机器、建筑物或应该避免的其他结构。可替代地，来自音频传感器30、碰撞避免传感器40和/或其他源(例如视频)的数据可以评估该物体是机器10应该接合的堆或其他物体。不同类型的传感器系统的组合，比如音频传感器系统和碰撞避免传感器系统，可以允许复杂的多层方法来检测自动化环境中的障碍物。
在步骤270中诊断音频和/或执行后续步骤之后，系统100的组件(例如控制器110)可以对步骤280中的诊断做出反应。例如，控制器110可以向机器10的驾驶室内或远程操作员发出警报。另外或可替代地，控制器110可以停止机器10、让机器10反向、改变机器10的方向、让机器10减速或以其他方式改变机器10的运动。如果在步骤250和/或270中声音与机器命令库(例如，“停止”命令)相匹配，则控制器110可以指示机器10执行该给定命令。
工业实用性
在此描述的系统100的公开的方面可以用于评估障碍物是否接近机器10。例如，系统100可以确定对象是否在机器10的路径中。特别地，系统100可用于机器的自动化和自主操作领域。尽管驾驶室内操作员具有收听他们周围的工地并听觉地评估障碍物的能力，但是当前的自动或自主机器10可能缺乏分析障碍物的音频维度。音频信息可以提供经由现有冲突避免系统不可用的细节。例如，碰撞避免系统可能不能评估角落周围、山坡上或另一物体后面的障碍物。相反，音频传感器30能够检测这样的对象。系统100可以在繁忙或拥挤的工地的情况下具有特定的效用，其中许多机器在工作，其中在工地存在人员，或者其中存在要避免的其他障碍。
对于本领域技术人员显而易见的是，在不脱离本发明的范围的情况下，可以对所公开的系统进行各种修改和变化。通过考虑在此公开的机器的说明书和实践，该系统的其他实施例对于本领域技术人员将是显而易见的。本说明书和实施例仅被认为是示例性的，本发明的真实范围由所附权利要求及其等效物来指示。

Claims (9)

1.一种用于操作移动式机器的方法，包含：
接收来自联接到所述机器的至少一个音频传感器的音频输入；
检测所述机器的环境中的环境声级；
利用测得的环境声级对在先前时间存储的环境噪声电平进行校准；
通过将所述音频输入与校准的所述环境噪声电平进行比较来确定所述音频输入是否对应于非环境声音；
确定所述非环境声音源与所述机器之间的方向；以及
基于所确定的方向对非环境声音作出反应。
2.如权利要求1所述的方法，其中所述至少一个音频传感器包括多个音频传感器，并且其中确定所述方向包括编辑来自所述多个音频传感器的音频输入。
3.如权利要求2所述的方法，其中所述多个音频传感器联接到所述机器的不同侧面和/或不同拐角。
4.如权利要求1至3中任一项所述的方法，其中所述至少一个音频传感器包括定向麦克风。
5.如权利要求1至3中任一项所述的方法，进一步包含：
接收来自碰撞避免传感器的输入；以及
使用来自所述碰撞避免传感器的输入，确定所述非环境声音源相对于所述机器的位置。
6.如权利要求5所述的方法，进一步包含基于所述所确定的方向聚焦所述碰撞避免传感器。
7.如权利要求1至3中任一项所述的方法，进一步包含将所述音频输入与已知声音库进行比较。
8.如权利要求1至3中任一项所述的方法，其中起作用包括停止所述机器、改变所述机器的速度、改变所述机器的方向，或向所述机器的操作员提供警报中的至少一个。
9.如权利要求1至3中任一项所述的方法，进一步包含将所述音频输入与在先前时间接收的第二音频输入进行比较。
CN201910758489.1A 2018-09-04 2019-08-16 用于使用检测到的声音操作移动式机器的系统和方法 Active CN110871807B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/120,913 2018-09-04
US16/120,913 US10800409B2 (en) 2018-09-04 2018-09-04 Systems and methods for operating a mobile machine using detected sounds

Publications (2)

Publication Number Publication Date
CN110871807A CN110871807A (zh) 2020-03-10
CN110871807B true CN110871807B (zh) 2023-11-14

Family

ID=69526911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910758489.1A Active CN110871807B (zh) 2018-09-04 2019-08-16 用于使用检测到的声音操作移动式机器的系统和方法

Country Status (3)

Country Link
US (1) US10800409B2 (zh)
CN (1) CN110871807B (zh)
DE (1) DE102019123122A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10920401B2 (en) * 2018-07-26 2021-02-16 Caterpillar Paving Products Inc. Managing work area reservations for autonomous vehicles
US11467273B2 (en) * 2019-12-31 2022-10-11 Gm Cruise Holdings Llc Sensors for determining object location
US11851049B1 (en) * 2020-02-28 2023-12-26 Zoox, Inc. System to detect impacts

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4380004A (en) * 1981-03-19 1983-04-12 Coats Montgomery R Emergency sound detector device
JP2002030699A (ja) * 2000-07-17 2002-01-31 Komatsu Ltd 作業用移動機械
CN102318325A (zh) * 2009-02-11 2012-01-11 Nxp股份有限公司 使音频设备的行为适配当前声学环境条件的控制
CN102632887A (zh) * 2011-02-08 2012-08-15 沃尔沃汽车公司 车载感知系统、防撞系统、车辆、物体状态改变评价方法
JP2014056513A (ja) * 2012-09-13 2014-03-27 Toyota Motor Corp 運転支援装置及び運転支援方法
CN104136685A (zh) * 2012-02-24 2014-11-05 卡特彼勒路面机械公司 用于瞄准沥青材料馈送传感器的系统和方法
US9201421B1 (en) * 2013-11-27 2015-12-01 Google Inc. Assisted perception for autonomous vehicles
CN105489063A (zh) * 2016-01-13 2016-04-13 吉林航盛电子有限公司 一种具有主动预警功能的新能源汽车行人声音警示装置
US9517767B1 (en) * 2015-11-04 2016-12-13 Zoox, Inc. Internal safety systems for robotic vehicles
CN106560365A (zh) * 2015-10-06 2017-04-12 福特全球技术公司 使用经地图数据增强的听觉数据的碰撞避免
CN107031622A (zh) * 2016-01-26 2017-08-11 福特全球技术公司 用于碰撞避免的训练算法
CN107031628A (zh) * 2015-10-27 2017-08-11 福特全球技术公司 使用听觉数据的碰撞规避
CN107458383A (zh) * 2016-06-03 2017-12-12 法拉第未来公司 使用音频信号的车辆故障自动检测
JP2018055371A (ja) * 2016-09-28 2018-04-05 アイシン精機株式会社 走行環境予測装置
CN107918781A (zh) * 2016-10-11 2018-04-17 三星电子株式会社 移动传感器平台
CN108058663A (zh) * 2016-11-08 2018-05-22 哈曼贝克自动系统股份有限公司 车辆声音处理系统
CN108401427A (zh) * 2018-02-28 2018-08-14 深圳市元征软件开发有限公司 一种车辆周边环境分析方法、装置及车载设备

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3026276B2 (ja) 1992-05-22 2000-03-27 本田技研工業株式会社 脚式移動ロボットの非常停止制御装置
US8364136B2 (en) * 1999-02-01 2013-01-29 Steven M Hoffberg Mobile system, a method of operating mobile system and a non-transitory computer readable medium for a programmable control of a mobile system
WO2001033134A1 (de) 1999-11-02 2001-05-10 Helmut Ehrlich Verfahren und vorrichtung zum erkennen von gefahrensituationen
US20030216228A1 (en) * 2002-05-18 2003-11-20 Rast Rodger H. Systems and methods of sports training using specific biofeedback
US9341485B1 (en) * 2003-06-19 2016-05-17 Here Global B.V. Method and apparatus for representing road intersections
US8892356B1 (en) * 2003-06-19 2014-11-18 Here Global B.V. Method and system for representing traffic signals in a road network database
US7333618B2 (en) * 2003-09-24 2008-02-19 Harman International Industries, Incorporated Ambient noise sound level compensation
JP3913771B2 (ja) * 2004-07-23 2007-05-09 松下電器産業株式会社 音声識別装置、音声識別方法、及びプログラム
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
US8108092B2 (en) * 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US20080027599A1 (en) * 2006-07-28 2008-01-31 James Logan Autonomous vehicle and systems and methods for the operation thereof
US7933420B2 (en) * 2006-12-28 2011-04-26 Caterpillar Inc. Methods and systems for determining the effectiveness of active noise cancellation
EP2210427B1 (en) * 2007-09-26 2015-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for extracting an ambient signal
JP4872871B2 (ja) * 2007-09-27 2012-02-08 ソニー株式会社 音源方向検出装置、音源方向検出方法及び音源方向検出カメラ
US8472654B2 (en) * 2007-10-30 2013-06-25 Cochlear Limited Observer-based cancellation system for implantable hearing instruments
CA2617976A1 (en) * 2008-01-11 2009-07-11 John Dasilva Personnel safety system utilizing time variable frequencies
US9121716B2 (en) * 2008-05-30 2015-09-01 Here Global B.V. Data mining in a digital map database to identify insufficient superelevation along roads and enabling precautionary actions in a vehicle
WO2009155948A1 (en) 2008-06-26 2009-12-30 Abb Ag System for safety protection of human beings against hazardous incidents with robots
US9253560B2 (en) * 2008-09-16 2016-02-02 Personics Holdings, Llc Sound library and method
US8817092B2 (en) * 2008-11-25 2014-08-26 Stuart Leslie Wilkinson Method and apparatus for generating and viewing combined images
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9015093B1 (en) * 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
TW201245931A (en) * 2011-05-09 2012-11-16 Asustek Comp Inc Robotic device
US9155660B2 (en) * 2011-07-21 2015-10-13 Cochlear Limited Optical microphone for implantable hearing instrument
US9253753B2 (en) * 2012-04-24 2016-02-02 Zetta Research And Development Llc-Forc Series Vehicle-to-vehicle safety transceiver using time slots
US20130278441A1 (en) * 2012-04-24 2013-10-24 Zetta Research and Development, LLC - ForC Series Vehicle proxying
US9026300B2 (en) * 2012-11-06 2015-05-05 Google Inc. Methods and systems to aid autonomous vehicles driving through a lane merge
US8818609B1 (en) * 2012-11-15 2014-08-26 Google Inc. Using geometric features and history information to detect features such as car exhaust in point maps
US9008890B1 (en) * 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
EP3042174B1 (en) * 2013-09-05 2020-01-15 Crown Equipment Corporation Dynamic operator behavior analyzer
US20150165895A1 (en) * 2013-12-17 2015-06-18 Roambotics, Inc. Systems and methods for personal robotics
US9329597B2 (en) * 2014-01-17 2016-05-03 Knightscope, Inc. Autonomous data machines and systems
US9579060B1 (en) * 2014-02-18 2017-02-28 Orbitol Research Inc. Head-mounted physiological signal monitoring system, devices and methods
US20190099009A1 (en) * 2014-05-09 2019-04-04 Sleepnea Llc Wearable Technology for Sleep Environment Modification
KR102051142B1 (ko) * 2014-06-13 2019-12-02 현대모비스 주식회사 차량용 운전자 위험 지수 관리 시스템 및 그 방법
US20160217689A1 (en) * 2015-01-26 2016-07-28 Autoliv Asp, Inc. Supplemental automotive safety method and system
US10336353B2 (en) * 2016-03-23 2019-07-02 Metrom Rail, Llc Worker protection system
US10111044B2 (en) * 2015-05-29 2018-10-23 Verity Studios Ag Methods and systems for scheduling the transmission of localization signals and operating self-localizing apparatus
US10339958B2 (en) * 2015-09-09 2019-07-02 Arris Enterprises Llc In-home legacy device onboarding and privacy enhanced monitoring
US10248119B2 (en) * 2015-11-04 2019-04-02 Zoox, Inc. Interactive autonomous vehicle command controller
US10515521B2 (en) * 2015-11-16 2019-12-24 W.W. Grainger, Inc. Methods and apparatus for securing a tracking beacon to personal protection equipment
US9829888B2 (en) * 2015-11-17 2017-11-28 Ford Global Technologies, Llc Distinguishing lane markings for a vehicle to follow
CN107925745B (zh) * 2015-11-30 2020-09-08 住友重机械工业株式会社 施工机械用周边监视系统
EP3190021A1 (en) * 2016-01-08 2017-07-12 Harman Becker Automotive Systems GmbH System and method for collision warning
US10026317B2 (en) * 2016-02-25 2018-07-17 Ford Global Technologies, Llc Autonomous probability control
AU2017203411A1 (en) * 2016-06-01 2017-12-21 Strata Products Worldwide, Llc Method and apparatus for identifying when an idividual is in proximity to an object
AU2017281901B2 (en) * 2016-06-24 2023-05-11 Crown Equipment Corporation Electronic badge to authenticate and track industrial vehicle operator
CN109313829B (zh) * 2016-06-24 2021-08-20 克朗设备公司 间接电子徽章跟踪
JP6778872B2 (ja) * 2016-06-28 2020-11-04 パナソニックＩｐマネジメント株式会社 運転支援装置及び運転支援方法
EP3736537A1 (en) * 2016-10-11 2020-11-11 Mobileye Vision Technologies Ltd. Navigating a vehicle based on a detected vehicle
US10386792B2 (en) * 2016-10-19 2019-08-20 Ants Technology (Hk) Limited Sensory systems for autonomous devices
US10466061B2 (en) * 2016-12-30 2019-11-05 Nio Usa, Inc. Autonomous override safety
US10296795B2 (en) * 2017-06-26 2019-05-21 Here Global B.V. Method, apparatus, and system for estimating a quality of lane features of a roadway
US10979649B2 (en) * 2018-01-29 2021-04-13 Don Atkinson Auxiliary apparatus for a digital imaging device

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4380004A (en) * 1981-03-19 1983-04-12 Coats Montgomery R Emergency sound detector device
JP2002030699A (ja) * 2000-07-17 2002-01-31 Komatsu Ltd 作業用移動機械
CN102318325A (zh) * 2009-02-11 2012-01-11 Nxp股份有限公司 使音频设备的行为适配当前声学环境条件的控制
CN102632887A (zh) * 2011-02-08 2012-08-15 沃尔沃汽车公司 车载感知系统、防撞系统、车辆、物体状态改变评价方法
CN104136685A (zh) * 2012-02-24 2014-11-05 卡特彼勒路面机械公司 用于瞄准沥青材料馈送传感器的系统和方法
JP2014056513A (ja) * 2012-09-13 2014-03-27 Toyota Motor Corp 運転支援装置及び運転支援方法
US9201421B1 (en) * 2013-11-27 2015-12-01 Google Inc. Assisted perception for autonomous vehicles
CN106560365A (zh) * 2015-10-06 2017-04-12 福特全球技术公司 使用经地图数据增强的听觉数据的碰撞避免
CN107031628A (zh) * 2015-10-27 2017-08-11 福特全球技术公司 使用听觉数据的碰撞规避
US9517767B1 (en) * 2015-11-04 2016-12-13 Zoox, Inc. Internal safety systems for robotic vehicles
CN105489063A (zh) * 2016-01-13 2016-04-13 吉林航盛电子有限公司 一种具有主动预警功能的新能源汽车行人声音警示装置
CN107031622A (zh) * 2016-01-26 2017-08-11 福特全球技术公司 用于碰撞避免的训练算法
CN107458383A (zh) * 2016-06-03 2017-12-12 法拉第未来公司 使用音频信号的车辆故障自动检测
JP2018055371A (ja) * 2016-09-28 2018-04-05 アイシン精機株式会社 走行環境予測装置
CN107918781A (zh) * 2016-10-11 2018-04-17 三星电子株式会社 移动传感器平台
CN108058663A (zh) * 2016-11-08 2018-05-22 哈曼贝克自动系统股份有限公司 车辆声音处理系统
CN108401427A (zh) * 2018-02-28 2018-08-14 深圳市元征软件开发有限公司 一种车辆周边环境分析方法、装置及车载设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于音频带通滤波的排险机器人导航方法;岳大为;东楷涵;刘作军;王德峰;;河北工业大学学报(02);8-12 *
高噪声背景下的孤立词语音识别方法研究及系统实现;王承发, 徐近需, 扬子云, 韩纪庆, 任为民, 吕成国;声学学报(中文版)(03);257-265 *
麦克风阵列及其消噪性能研究;杨毅;杨宇;余达太;;计算机工程(02);197-199 *

Also Published As

Publication number Publication date
US10800409B2 (en) 2020-10-13
CN110871807A (zh) 2020-03-10
US20200070816A1 (en) 2020-03-05
DE102019123122A1 (de) 2020-03-05

Similar Documents

Publication Publication Date Title
CN110871807B (zh) 用于使用检测到的声音操作移动式机器的系统和方法
AU2015283942B2 (en) Machine safety dome
EP1717660B1 (en) Position calculation system for mobile robot and charging-stand return system and method using the same
EP2808455B1 (en) Operational stability enhancing device for construction machinery
US20040158358A1 (en) Method of teaching traveling path to robot and robot having function of learning traveling path
US20200233061A1 (en) Method and system for creating an inverse sensor model and method for detecting obstacles
CN106003043A (zh) 机械臂的避障方法及避障系统
CN202689566U (zh) 一种用于臂架的避障系统及包括该系统的工程机械设备
AU2007201110A1 (en) Systems and methods for determining threshold warning distances for collision avoidance
CN102858611A (zh) 集成的物体检测和报警系统
KR20190101244A (ko) 중장비 공사 현장의 안전감시시스템
KR20190052212A (ko) 차량 및 차량의 제어방법
CN110481420A (zh) 车外报告装置
KR20230103002A (ko) 산업 현장의 안전 관리 시스템
Yeom et al. 3D surround local sensing system H/W for intelligent excavation robot (IES)
US11421402B2 (en) Operation-based object detection for a work machine
CN111390909B (zh) 工业机器人的避障方法和系统
JP2023181369A (ja) 建設機械の障害物検出装置
CN109229015B (zh) 基于超声波传感器实现车辆360度障碍物报警提示的方法
US20120249342A1 (en) Machine display system
JP2981943B2 (ja) 作業機械の警報システム
CN115113189A (zh) 障碍物检测系统标定方法、装置、设备及存储介质
KR20220140297A (ko) 건설기계를 위한 센서 퓨전 시스템 및 센싱 방법
AU2011264358B2 (en) Method and control unit for controlling a display
CN112240996A (zh) 用于环境噪声的方向识别的方法，控制设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant