CN108297108A - 一种球形跟随机器人及其跟随控制方法 - Google Patents

一种球形跟随机器人及其跟随控制方法 Download PDF

Info

Publication number
CN108297108A
CN108297108A CN201810117741.6A CN201810117741A CN108297108A CN 108297108 A CN108297108 A CN 108297108A CN 201810117741 A CN201810117741 A CN 201810117741A CN 108297108 A CN108297108 A CN 108297108A
Authority
CN
China
Prior art keywords
module
sound
robot
signal
ball shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810117741.6A
Other languages
English (en)
Other versions
CN108297108B (zh
Inventor
赵帆
赵一帆
唐文达
侯林早
李悦颖
张恩浩
盛鑫军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810117741.6A priority Critical patent/CN108297108B/zh
Publication of CN108297108A publication Critical patent/CN108297108A/zh
Application granted granted Critical
Publication of CN108297108B publication Critical patent/CN108297108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种球形跟随机器人及其跟随控制方法,涉及信号处理及人机交互领域,球形跟随机器人是基于TDOA声源定位方法实现控制的球形机器人,包括多麦环形阵列模块、声音信号处理及位置解析模块、控制驱动模块和球形机器人本体,多麦环形阵列模块兼顾声源的采集与信号的传输;声音信号处理及位置解析模块负责对采集到的声音进行前置处理,并解算得到声源位置的坐标信息;控制驱动模块实现球形机器人的驱动,并完成旋转、滚动等一系列动作;球形机器人本体包括球形机器人驱动车底座、供电模块和球形外壳。该发明实时跟随的效果好,具有响应快,精度高的优点,便于应用,可以广泛应用于安防、婴儿及老年陪护等领域。

Description

一种球形跟随机器人及其跟随控制方法
技术领域
本发明涉及信号处理及人机交互领域,尤其涉及一种球形跟随机器人及其跟随控制方法。
背景技术
家用机器人的发展关系着机器人的普及,是机器人未来发展的一片蓝海。在家用机器人的研制和使用过程中,如何实现定位跟随,如何实现更加友好的人机交互,是当今的家用球形机器人领域的重要命题。
球形运动机器人是一种以球形或近似球形为外壳的独立运动体。球形机器人有许多传统机器人所不具备的优势。从运动控制方面,当机器人从高台坠落时,球形装置可迅速进行自平衡,重新调整运行状态,进行连续工作;在家用场景或复杂地形中,当球形机器人与障碍物或其他的运动机构发生碰撞时,球形结构能够更快恢复原有运动状态。此外,由于球体滚动的阻力相对滑动或轮式装置的运动阻力小很多,所以球形机器人具有更低的能耗和更高的效率。此外,球形机器人在转向时具有独特的优势,比其他运动方式能更灵活地转向。
当今球形机器人的实现可以分为四类:电机控制配重位置的球形机器人,利用陀螺特性的球形机器人,利用摆的特性的球形机器人,内置小车球形机器人。前三种方法均存在无法精确控制运动轨迹以及控制过于复杂的弊端,第四种“内置小车”方法的优点是便于驱动和算法的设计。
当今机器人的跟随功能多以机器视觉进行实现。比如,通过摄像头的视觉识别进行物体跟踪。但是,机器视觉在机器人领域中存在诸多局限性。比如,机器人在低光照环境或夜间则无法实现物体跟随,同时,对于恶劣环境如地震、雾霾、火灾现场,基于机器视觉的机器人则无法进行准确定位,此时,声源定位的价值则尤为凸显。
声源定位技术是一项利用麦克风阵列来计算目标人群方位,实现对目标人群跟踪以及后续语音定向拾取的技术,是人机交互、音视频会议等领域非常重要的前处理方法。麦克风阵列技术不限制目标人群的运动,不需要移动位置以改变其接收方向,具有灵活的波束控制、较高的空间分辨率、高的信号增益与较强的抗干扰能力等特点,因而成为智能语音处理系统中捕捉说话人语音的重要手段。
现有的声源定位技术基本上可以分为3类,首先是基于最大输出功率的可控波束形成技术,它的基本思想就是将各阵元采集来的信号进行加权求和形成波束,通过搜索声源的可能位置来引导该波束,修改权值使得传声器阵列的输出信号功率量最大;其次是高分辨率谱估计技术,这类的声源定位技术基于高分辨率的谱估计算法,其中包括了自回归AR模型、最小方差谱估计(MV)和特征值分解(如Music算法)等。然而这几种声源定位方法都存在空间距离短,抗干扰能力弱的限制。此外,还有通过两麦模拟人耳定位的方法,该方法对于三维空间定位也存在局限性。
因此,本领域的技术人员致力于开发一种球形跟随机器人及其跟随控制方法,采用基于TDOA(Time Difference Of Arrival)的声源定位原理,即用安装在机器人上的麦克风阵列接收麦克风信号,通过测量时间差来计算声源相对机器人位置,该球形跟随机器人及其跟随控制方法的时间和空间复杂度均能够在优化后达到实时跟随的效果,具有响应快,精度高,便于应用的特点,可以克服现有技术方案的缺陷。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是克服普通机器人结构上的劣势和视觉识别的局限性,提供一种基于圆形麦克风阵列的定位算法,运用TDOA实现声源定位原理,包括前期降噪处理、声纹识别、根据声音信号进行定位、开发平台和麦克风阵列之间的数据通信,控制机器人实现跟随,进而实现语音交互等后续功能,并能够根据以上跟随算法设计一种具有新型结构的球形机器人。
为实现上述目的,本发明提供了一种球形跟随机器人,所述球形跟随机器人是基于TDOA声源定位方法的球形机器人,包括多麦环形阵列模块、声音信号处理及位置解析模块、控制驱动模块和球形机器人本体;
所述多麦环形阵列模块包括麦克风模块、供电电极、信号传输模块,所述多麦环形阵列模块采集多通道声音信号,并安装于所述球形机器人本体的上方,所述信号传输模块通过USB数据接口(USB streamer)与所述声音处理与位置解析模块相连;
所述声音信号处理及位置解析模块利用所述多麦环形阵列模块采样得到多通道声音数据,并对声音进行采前置处理,所述声音信号处理及位置解析模块解算得到的坐标位置信息,以无线方式传输到所述驱动控制模块;
所述驱动控制模块根据接收和解算得到的位置坐标信息,控制电机驱动所述球形机器人本体的驱动车底座,使球形机器人能够旋转和滚动,并追踪声源,所述驱动控制模块具有声源控制和手动坐标数据传输两种控制模式;
所述球形机器人本体包括驱动车底座、供电模块和球形外壳,所述球形外壳位于所述驱动车底座上部,所述供电模块位于所述球形外壳内部,并与所述驱动车底座连接。
进一步地,所述声音信号处理及位置解析模块设置有CPU和MCU两个模块,并分别运行Linux操作系统和RTOS实时操作系统,Linux操作系统运行前置信号处理和声纹识别模块,通过傅里叶逆变换和信号白处理,对去噪后的语音信号多通道数据进行优化,计算互相关度,使得计算复杂度控制在Linux操作系统运行位置解析模块,解算声源位置;MCU模块进行无线通信及位置信号传输,该模块在解析声音信号位置的同时进行数据传输,并实时校准。
进一步地,所述声音信号处理及位置解析模块分为前置信号处理和声纹识别两部分,所述前置信号处理包括低通滤波模块和去混响模块,所述声纹识别模块通过提取MFCC参数特征,运用K-means聚类和GMM方法实现声纹识别。
进一步地,所述驱动模块控制小车底座运动,将解析好的运动角度,速度数据传入电机,通过小车带动球形机器人,使球形机器人精确运动。
本发明还提供了一种球形机器人跟随控制方法,包括以下步骤:
S1、对多麦环形阵列模块进行校准;
S2、获取多通道声音信号并传输至声音信号处理及位置解析模块;
S3、对原始信号进行预处理,所述原始信号预处理的具体步骤包括:
S3-1、低通滤波、去混响;
S3-2、傅里叶逆变换和信号白处理;
S4、进行声纹识别和位置解析,识别匹配声音和声源位置,所述声纹识别和位置解析具体步骤包括:
S4-1、数据分割,进行分窗处理;
S4-2、对分窗数据进行特征提取,并进行特征降维;
S4-3、分类器训练与测试;
S4-4、输出声纹识别结果;
S4-5、计算互相关度,计算声源坐标;
S5、建立球形机器人驱动车底座各电机转速与声源位置的关系模型,输出运动控制量;
S6、驱动球形机器人运动。
进一步地,在所述步骤S1中,用户需要在安静室内环境中说特定词,对所述多麦环形阵列的位置和方向进行校准,便于精确声源定位。
进一步地,在所述步骤S2中,所述多麦环形阵列模块对采集的语言信号进行A/D转换并进行数字采样,数字量信息通过USB数据接口(USB streamer)传入所述声音信号处理与解析模块。
进一步地,在所述步骤S3中,对原始信号进行预处理,主要包括对原始信号进行低通滤波,通频带为20-300Hz,然后去混响;通过傅里叶变换和信号白处理转为频谱数据;在所述步骤S3中,对于两段离散时间信号和,其互相关函数定义如下:
其中,采样点数量N为信号长度t与采样率s之积,即N=s×t。
进一步地,在所述步骤S4中,首先需要按照设定的唤醒声纹对声音数据进行训练,得到分类器模型,待训练完成之后,再利用训练得到的分类器对新的声音信号进行模式分类,识别不同声纹;对于模式匹配的声音数据,通过互相关度计算可以得到各个麦克风的声音信号关联,并通过白处理算法精确计算出偏差最大对应时间差,用最小二乘法改善多个麦克风数据的定位精度,通过时间差计算声音角度,从而间接地反映声源的位置。
进一步地,在所述步骤S5中,根据声源坐标,计算出各个电机转动角度和速度的对应与声源位置的关系模型,控制机械结构转动的控制量;在运动模式下,同时运行声音接收和处理模块,在所述步骤S4中计算得到的新声源位置的变化用于修正映射到球形机械结构的运动控制。
本发明是声源定位方法(Sound Location)及球形机器人控制方法(SphericalRobot Control)在家用球形跟随机器人中的应用,所提出的一种基于TDOA声源定位方法的家用球形跟随机器人,可以通过声音指令控制机器人的运动,该机器人通过麦克风阵列进行声音信号的采集,利用TDOA声源定位算法解算各个麦克风的声音信号时间差,获取声音信号的角度,通过建立电机转动转速-声源位置关系模型,控制球形机器人移动至声源处。本发明所提供的球形机器人跟随控制方法是机电一体化技术在机器人控制领域的应用。声音信号是一种常用的可以表征用户特性的测量单元,其测量数据包括强度、频率、时间、声纹等特征,可以解算用户的空间位置及用户的语音信息。将两者结合,作为一种人机交互接口的数据来源,可以解算用户的位置信息,为家用机器人的人机交互提供一种更加自然的途径。
本发明所提供的球形跟随机器人及其跟随控制方法,其时间和空间复杂度均能够在优化后达到实时跟随的效果,具有响应快,精度高,便于应用的特点,可以应用于类似语音交互机器人、救灾机器人、安防机器人等的应用场景,更可广泛应用于安防、婴儿及老年陪护等领域,为智能机器人的人机交互方式提供一种新的途径。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的球形跟随机器人具体实施方案示意图;
图2是本发明的一个较佳实施例的信号预处理流程图;
图3是本发明的一个较佳实施例的球形跟随机器人跟随控制方法流程图;
图4是本发明的一个较佳实施例的麦克风阵列识别信号处理流程图;
图5是本发明的一个较佳实施例的机器人运动控制示意图;
其中,1-多麦环形阵列模块,2-声音信号处理及位置解析模块,3-控制驱动模块,4-球形机器人本体。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例,使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现,本发明的保护范围并非仅限于文中提到的实施例。
在附图中,结构相同的部件以相同数字标号表示,各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的,本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰,附图中有些地方适当夸大了部件的厚度。
如图1所示,本发明揭示了一种家用球形跟随机器人,该机器人包括四个模块,分别是多麦环形阵列模块1、声音信号处理及位置解析模块2、控制驱动模块3以及球形机器人本体4。
多麦环形阵列模块1兼顾声源的采集与信号的传输,包括麦克风模块、供电电极、信号传输模块。采集得到的多通道(通常为10通道)声音信号,可以为后续声源定位和运动规划解析提供数据来源。多麦环形阵列模块1安装于球形机器人本体4的上方,信号传输模块通过USB数据接口(USB streamer)与声音处理与位置解析模块相连,在使用时须经过位置校准。
声音信号处理及位置解析模块2利用所述多麦环形阵列模块1采样得到多通道声音数据,对声音进行采前置处理,所解算得到的坐标位置信息,通过无线蓝牙模块传输到驱动控制模块3。声音信号处理及位置解析模块2可以提供两个比较独立的内核及两个操作系统。一个内核作为CPU使用,运行Linux操作系统;另一个作为MCU使用,运行RTOS(实时操作系统)。Linux操作系统运行包括前置信号处理和声纹识别。通过傅里叶逆变换和信号白处理,对去噪后的语音信号多通道数据进行优化,计算互相关度,使得计算复杂度控制在限制最大峰值宽度。Linux操作系统同时运行位置解析模块,精确解算声源位置。MCU模块进行无线通信及位置信号传输,该模块可以在解析声音信号位置的同时进行数据传输,并在运动时实现实时校准。
声音信号处理及位置解析模块2中的声音信号处理分为两部分,一部分是前置信号处理,另一部分是声纹识别。所述前置信号处理包括低通滤波、去混响。声纹识别方法通过提取MFCC参数特征,运用K-means聚类和GMM方法实现声纹识别。无线通讯模块用于位置解析模块和控制驱动模块3的数据传输,将解析好的位置数据传输到控制驱动模块3。
控制驱动模块3根据解算得到的位置坐标信息结果,控制电机驱动球形机器人本体4上的驱动车底座,将解析好的运动角度,速度数据传入电机,通过小车带动球形机器人本体4,保证球形机器人本体4的精确运动,从而完成球形机器人旋转、滚动等一系列动作,进而完成追踪声源的任务。驱动控制模块3具有声源控制和手动坐标数据传输两种控制模式,可以在不同场景下完成具体的运动跟随任务。
球形机器人本体4包括球形机器人驱动车底座、供电模块、球形外壳等部分,球形外壳位于驱动车底座上部,供电模块位于球形外壳内部,并与驱动车底座连接。
该机器人的工作过程描述如下:用户在安静的室内环境说出特定唤醒词,控制机器人移动至声源处。多麦环形阵列模块1获取用户发出的声音信号,通过USB数据接口(USBstreamer)传送至声音处理及位置解析模块2与控制驱动模块3。声音处理及位置解析模块2一方面利用训练得到的分类器对用户的声音进行判断,确定其为与文本有关或无关声纹;另一方面,利用TDOA声源定位算法计算出各个麦克风的声音信号之间的时间差,继而计算出声音角度,间接反映用户的位置。与此同时,控制驱动模块3根据声音角度信息,实时计算得到各个电机的转动角度与速度,将用户的声音信号参数转化为机器人的机械运动参数,控制球形机器人本体4的运动。此外,声源定位还支持手动坐标输入模式,方便机器人更好地完成用户下达的运动跟随任务。
尽管互相关算法理论上在微扰下表现良好,通过运用一些简单易行的降噪方法和数值方法等优化,可以进一步降低输入信号的噪声,提高算法稳定性,同时可以有效降低控制部分的复杂度。
如图2所示,声音信号的预处理过程如下:将采集到的多通道音频流信号进行定长分割,时间间隔为t,然后进行低通滤波和去混响,再对信号进行傅里叶逆变换和信号白处理,包括信号白化和TDOA处理,最后得到输出的角度值。
信号白化是一个常见的信号处理方法,即所谓信号去相关(decorrelation),部分文献也称信号白化法(signal whitening)。该方法通过归一化给定信号各个频段的强度,使其功率谱更接近于白噪声,从而达到减小信号在非零处自相关(auto-correlation)的目的。理想状态下的信号经过该处理后自相关函数是一个delta函数δ(t)的若干倍,因此在求互相关时,信号自身的特性对互相关函数在非零处的影响可以忽略不计,从而达到了减小误差的目的。
如图3所示,本发明提出了一种基于TDOA声源定位方法的球形机器人跟随控制方法,包括以下步骤:
S1、校准声源信号采集装置。
用户需要在安静室内环境中说特定词,对麦克风阵列在使用前需要进行位置和方向的校准,以便后续的精确声源定位。
S2、获取多通道声音信号并传输信号。
经过S1校准后,用户在室内环境中说出任意词语,以保证采集语言信号的质量,进行A/D转换并进行数字采样。多麦环形阵列实时采集用户的声音信息并经由USB数据接口(USB streamer)传送至声音信号处理与解析模块2。在整个过程中应保持室内环境安静且用户须在一定的空间范围内说话,避免采集声音信号过程中出现过多噪音干扰。
S3、原始信号预处理。
声音信号处理与解析模块2主要包括对原始信号在S3-1步骤进行低通滤波,通频带为20-300Hz,去混响,然后在S3-2步骤进行傅里叶变换和信号白处理,将原始信号转化为频谱数据。具体操作流程由下述公式给出:
其中,采样点数量为信号长度与采样率之积:N=s×t。采样率受到硬件采样能力(上限)和分辨率要求(下限)的制约,还受到通用音频格式的限制而只能取一些特定值。由于声源角度是最终输出物理量,角度的误差一定大于角度分辨率,因此角度分辨率应在合理范围内尽可能地小;实测在声源距离3-5米范围内,为使角度分辨率达到1°,两个音频信号的时间差至少在3μs时应仍能够加以区分,否则被视为是不同的信号。另一方面,Intel麦克风阵列解决方案所能提供的采样率上限是96kHz。因此,一个在合理区间内且较低的采样率是44.1kHz。
另一方面,信号长度是人为确定的采样周期,应该尽可能接近声源一般的信号持续时间。一个方案是在TDOA的输入阶段就进行优化,将一段长输入信号切割成较短的段,每段交由声纹识别确认是否有特征声,最终只留下有特征声的部分,以有效地缩短输入信号的时长,并通过降低噪声含量提高结果的准确度。考虑到声纹识别是一系列更加计算密集的算法,算法复杂度的阶接近线性,将长音频分割成短音频不仅不会降低开销,而且会因为频繁请求和通讯极大地增加时间代价。鉴于本产品定位为家用球形跟随机器人,因此可以估测用户的口令时长应为0~100秒,且更加接近1秒,因此信号长度定为1s。后续测试表明1s比0.2s和5s都具有更加优秀的表现。
由此可知,在本算法中N≈44100,而N2≈109。虽然由于算法较为简单,可以预计其常数较小,但是考虑到嵌入式设备性能有限,每秒钟只能执行108条指令或更少,TDOA运算自然难以跟上音频采集。该方法实现了一个简单易行的优化,能将算法复杂度降低到并且由于在频域上进行,有利于前述一系列降噪及其他优化的实施。
互相关函数的形式类似于两个离散信号的卷积:
容易想到互相关函数具有频域计算式:
其中是f的离散傅里叶变换在频率k的值。c*是c的共轭复数,i是虚数单位。因此,对于长为N的输入信号f,g,只需要计算其傅里叶变换,按照以上公式计算,再计算结果的傅里叶逆变换,即可得到互相关函数。这个算法的时间复杂度受制于傅里叶变换的时间,而快速傅里叶变换可以在内完成,并且常数小,数值稳定性高,性能随输入数据的统计特征也没有明显变化。
大量的噪声抑制算法都是在频域信号上进行的,这是由于噪声与信号在频域上一般有较为不同的特点,而在时域上则不然。基于前述时域转频域的过程,现在可以实现一些简单的降噪算法,这些算法基于噪声的统计特征,计算代价较低的同时,在一般情况下可以达到较好的效果,而且只需要对互相关公式做一些调整即可实现。
首先如前所述,信号白化(whitening)的基本思路是将信号各个频段的强度归一化,故可以通过非常直观的手段来实现这一算法,即将互相关函数改写为:
S4、识别与匹配用户声纹,解算声源位置。
如图4所示,在步骤S4中,首先在S4-1步骤中,对采集的声音数据分割,进行分窗处理,然后通过S4-步骤,对分窗数据进行特征提取,并进行特征降维;对于唤醒词的识别,整个过程分为训练和使用两个过程。在S4-3中,对于声音数据,需要按照设定的唤醒声纹训练得到分类器模型,待训练完成之后,在S4-4步骤中,便可以利用训练得到的分类器对新的声音信号进行模式分类,识别不同声纹,输出声纹结果。在S4-5步骤中,对于模式匹配的声音数据,通过互相关度计算可以得到各个麦克风的声音信号关联,并通过白处理算法精确计算出偏差最大对应时间差,多个麦克风数据可以提供最小二乘法改善定位精度,通过时间差计算声音角度,从而间接地反映声源的位置。在使用过程中,用户说出任意词语,分类器通过识别划分为文本有关或无关声纹。当用户声纹与唤醒词匹配时,机器人激活。
对于模式匹配的声纹,声音信号处理与解析模块2将S3步骤中获取的频谱数据利用TDOA声源定位算法进行演算,得到各个麦克风的声音信号时间差,继而计算出声音角度。算法的最后一个阶段涉及到声源位置的求解,可以描述为如下数学问题:
给定一组点x1,…,以及这些点到某个定点p的一组距离差:
|x1-p|-|xi-p|,i∈2,…,n-1
求点的位置,以及能唯一确定p的前提条件。
显然,给定几组距离差,这将转化为求双曲面交点的问题;在理想状况下,需要n=4才能将p的可能个数限制到有限个。然而由于声速可以认为是处处相同的,双曲线的曲率实际上也是相同的,并且能够获得距离差的正负号信息,故可以证明n=4时p可以有唯一确定的解。
这是一组二次方程,可以手动求解并将解硬编码到程序中,也可以将视为6个未知变量,则方程变为一组线性方程,可以通过线性代数的手段求解。
实现中面临的一个实际问题是,由于输入信号的扰动,距离信息不可避免地有误差,因此实际上p无解的情况远多于有解的情况;麦克风阵列内置8个麦克风,因此方程数量又有冗余,本发明利用多余的信息来中和输入信号随机扰动的影响。
数学上,矩阵的广义逆(也称摩尔-彭若斯广义逆,Moore–Penroseinverse)是指每一个n×m矩阵A相对应的一个m×n逆矩阵A+,使得对于Ax=b,||b-AA+b||(即解x0:=A+b的误差)最小。直观来说,广义逆是最小二乘法的延拓。使用广义逆的前提是方程可以表示成线性方程组的形式,因此前述两个方法中第二种是可用的。
然而在实际操作过程中,将二次的几何方程重写为线性之后,矩阵的数值性质严重劣化,甚至在有距离差为0的情况下个别值变为而无法求解,因此考虑用一种新的方式来建立矩阵方程。
由于麦克风阵列的麦克风之间相隔仅5-10cm,而一般情况下声源距离机器人1m以上,可以应用远场假设:相对于各个麦克风,声源方向是相同的。具体来说,令一个单位向量u表示从麦克风阵列中心0:=(0,0,0)到声源的方向,则各个麦克风到声源的方向向量也为u,并且各个麦克风之间方向向量xi-xj到声源的方向向量也是u。这样可以如下建立待求解方程组:
这个方法的缺点在于不能求解声源的距离,由于声源距离已经被假定成无穷远。实际操作中,可以改写前述数值特性较差的方法,使其只提供距离,新的方法只提供角度,即可获得更好的声源位置估计。
S5、建立电机转速-声源位置关系模型,输出运动控制量。
如图5所示,在步骤S5中,根据声源坐标,可以利用IntelEdison建立各个电机转动角度和速度与声源位置的关系模型,控制机械结构转动的控制量,实现机器人的运动与转向;在运动过程中,同时运行声音接收和处理模块,通过步骤S4实时计算出新的声源位置的变化,及时调整球形机械结构的运动控制。
S6、驱动球形机器人运动。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种球形跟随机器人,其特征在于,所述球形跟随机器人是基于声源定位方法控制的球形机器人,包括多麦环形阵列模块、声音信号处理及位置解析模块、控制驱动模块和球形机器人本体;
所述多麦环形阵列模块包括麦克风模块、供电电极、信号传输模块,所述多麦环形阵列模块采集多通道声音信号,并安装于所述球形机器人本体的上方,所述信号传输模块通过USB数据接口与所述声音处理与位置解析模块相连;
所述声音信号处理及位置解析模块利用所述多麦环形阵列模块采样得到多通道声音数据,并对声音进行采前置处理,所述声音信号处理及位置解析模块解算得到的坐标位置信息,以无线方式传输到所述驱动控制模块;
所述驱动控制模块根据接收和解算得到的位置坐标信息,控制电机驱动所述球形机器人本体的驱动车底座,使球形机器人能够旋转和滚动,并追踪声源,所述驱动控制模块具有声源控制和手动坐标数据传输两种控制模式;
所述球形机器人本体包括驱动车底座、供电模块和球形外壳,所述球形外壳位于所述驱动车底座上部,所述供电模块位于所述球形外壳内部,并与所述驱动车底座连接。
2.如权利要求1所述球形跟随机器人,其特征在于,所述声音信号处理及位置解析模块设置有CPU和MCU两个模块,并分别运行Linux操作系统和RTOS实时操作系统,Linux操作系统运行前置信号处理和声纹识别模块,通过傅里叶逆变换和信号白处理,对去噪后的语音信号多通道数据进行优化,计算互相关度,使得计算复杂度控制在O(N log N);Linux操作系统运行位置解析模块,解算声源位置;MCU模块进行无线通信及位置信号传输,该模块在解析声音信号位置的同时进行数据传输,并实时校准。
3.如权利要求1所述球形跟随机器人,其特征在于,所述声音信号处理及位置解析模块分为前置信号处理和声纹识别两部分,所述前置信号处理包括低通滤波模块和去混响模块,所述声纹识别模块通过提取MFCC参数特征,运用K-means聚类和GMM方法实现声纹识别。
4.如权利要求1所述球形跟随机器人,其特征在于,所述驱动模块控制小车底座运动,将解析好的运动角度,速度数据传入电机,通过小车带动球形机器人,使球形机器人精确运动。
5.一种球形机器人跟随控制方法,其特征在于,包括以下步骤:
S1、对多麦环形阵列模块进行校准;
S2、获取多通道声音信号并传输至声音信号处理及位置解析模块;
S3、对原始信号进行预处理,所述原始信号预处理的具体步骤包括:
S3-1、低通滤波、去混响;
S3-2、傅里叶逆变换和信号白处理;
S4、进行声纹识别和位置解析,识别匹配声音和声源位置,所述声纹识别和位置解析具体步骤包括:
S4-1、数据分割,进行分窗处理;
S4-2、对分窗数据进行特征提取,并进行特征降维;
S4-3、分类器训练与测试;
S4-4、输出声纹识别结果;
S4-5、计算互相关度,计算声源坐标;
S5、建立球形机器人驱动车底座各电机转速与声源位置的关系模型,输出运动控制量;
S6、驱动球形机器人运动。
6.如权利要求5所述球形机器人跟随控制方法,其特征在于,在所述步骤S1中,用户需要在安静室内环境中说特定词,对所述多麦环形阵列的位置和方向进行校准,便于精确声源定位。
7.如权利要求5所述球形机器人跟随控制方法,其特征在于,在所述步骤S2中,所述多麦环形阵列模块对采集的语言信号进行A/D转换并进行数字采样,数字量信息通过USB数据接口传入所述声音信号处理与解析模块。
8.如权利要求5所述球形机器人跟随控制方法,其特征在于,在所述步骤S3中,对原始信号进行预处理,主要包括对原始信号进行低通滤波,通频带为20-300Hz,然后去混响;通过傅里叶变换和信号白处理转为频谱数据;
在所述步骤S3中,对于两段离散时间信号和,其互相关函数定义如下:
其中,采样点数量N为信号长度t与采样率s之积,即N=s×t。
9.如权利要求5所述球形机器人跟随控制方法,其特征在于,在所述步骤S4中,首先需要按照设定的唤醒声纹对声音数据进行训练,得到分类器模型,待训练完成之后,再利用训练得到的分类器对新的声音信号进行模式分类,识别不同声纹;对于模式匹配的声音数据,通过互相关度计算可以得到各个麦克风的声音信号关联,并通过白处理算法精确计算出偏差最大对应时间差,用最小二乘法改善多个麦克风数据的定位精度,通过时间差计算声音角度,从而间接地反映声源的位置。
10.如权利要求5所述球形机器人跟随控制方法,其特征在于,在所述步骤S5中,根据声源坐标,计算出各个电机转动角度和速度的对应与声源位置的关系模型,控制机械结构转动的控制量;在运动模式下,同时运行声音接收和处理模块,在所述步骤S4中计算得到的新声源位置的变化用于修正映射到球形机械结构的运动控制。
CN201810117741.6A 2018-02-06 2018-02-06 一种球形跟随机器人及其跟随控制方法 Active CN108297108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810117741.6A CN108297108B (zh) 2018-02-06 2018-02-06 一种球形跟随机器人及其跟随控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810117741.6A CN108297108B (zh) 2018-02-06 2018-02-06 一种球形跟随机器人及其跟随控制方法

Publications (2)

Publication Number Publication Date
CN108297108A true CN108297108A (zh) 2018-07-20
CN108297108B CN108297108B (zh) 2021-02-09

Family

ID=62864324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810117741.6A Active CN108297108B (zh) 2018-02-06 2018-02-06 一种球形跟随机器人及其跟随控制方法

Country Status (1)

Country Link
CN (1) CN108297108B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109243465A (zh) * 2018-12-06 2019-01-18 平安科技(深圳)有限公司 声纹认证方法、装置、计算机设备以及存储介质
CN109471430A (zh) * 2018-09-29 2019-03-15 广东工业大学 一种基于rtos的汽车自动行驶模拟系统及其方法
CN110979499A (zh) * 2019-11-19 2020-04-10 贵州电网有限责任公司 一种球形机器人组群自动跟随系统及其跟随方法
CN113126600A (zh) * 2019-12-26 2021-07-16 沈阳新松机器人自动化股份有限公司 基于uwb的跟随系统及物品运送车
CN113858216A (zh) * 2021-12-01 2021-12-31 南开大学 一种机器人跟随方法、装置及系统
CN116189679A (zh) * 2023-05-04 2023-05-30 北京水晶石数字科技股份有限公司 一种具有环境音降噪的语音交互装置
CN116390008A (zh) * 2023-05-31 2023-07-04 泉州市音符算子科技有限公司 一种实现特定区域内免提式的无感扩音系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105116920A (zh) * 2015-07-07 2015-12-02 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人追踪方法、装置及智能机器人
CN205969125U (zh) * 2016-08-30 2017-02-22 吉林省盛创科技有限公司 一种基于硬件实现听觉视觉触觉的机器人
CN106970356A (zh) * 2016-01-14 2017-07-21 芋头科技(杭州)有限公司 一种复杂环境下声源定位跟踪方法
CN107336245A (zh) * 2017-05-27 2017-11-10 芜湖星途机器人科技有限公司 头部主动跟随机器人
US20180024561A1 (en) * 2016-07-20 2018-01-25 Singapore University Of Technology And Design Robot and method for localizing a robot

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105116920A (zh) * 2015-07-07 2015-12-02 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人追踪方法、装置及智能机器人
CN106970356A (zh) * 2016-01-14 2017-07-21 芋头科技(杭州)有限公司 一种复杂环境下声源定位跟踪方法
US20180024561A1 (en) * 2016-07-20 2018-01-25 Singapore University Of Technology And Design Robot and method for localizing a robot
CN205969125U (zh) * 2016-08-30 2017-02-22 吉林省盛创科技有限公司 一种基于硬件实现听觉视觉触觉的机器人
CN107336245A (zh) * 2017-05-27 2017-11-10 芜湖星途机器人科技有限公司 头部主动跟随机器人

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471430A (zh) * 2018-09-29 2019-03-15 广东工业大学 一种基于rtos的汽车自动行驶模拟系统及其方法
CN109243465A (zh) * 2018-12-06 2019-01-18 平安科技(深圳)有限公司 声纹认证方法、装置、计算机设备以及存储介质
CN110979499A (zh) * 2019-11-19 2020-04-10 贵州电网有限责任公司 一种球形机器人组群自动跟随系统及其跟随方法
CN110979499B (zh) * 2019-11-19 2024-04-09 贵州电网有限责任公司 一种球形机器人组群自动跟随系统及其跟随方法
CN113126600A (zh) * 2019-12-26 2021-07-16 沈阳新松机器人自动化股份有限公司 基于uwb的跟随系统及物品运送车
CN113858216A (zh) * 2021-12-01 2021-12-31 南开大学 一种机器人跟随方法、装置及系统
CN113858216B (zh) * 2021-12-01 2022-02-22 南开大学 一种机器人跟随方法、装置及系统
CN116189679A (zh) * 2023-05-04 2023-05-30 北京水晶石数字科技股份有限公司 一种具有环境音降噪的语音交互装置
CN116189679B (zh) * 2023-05-04 2023-09-26 北京水晶石数字科技股份有限公司 一种具有环境音降噪的语音交互装置
CN116390008A (zh) * 2023-05-31 2023-07-04 泉州市音符算子科技有限公司 一种实现特定区域内免提式的无感扩音系统
CN116390008B (zh) * 2023-05-31 2023-09-01 泉州市音符算子科技有限公司 一种实现特定区域内免提式的无感扩音系统

Also Published As

Publication number Publication date
CN108297108B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN108297108A (zh) 一种球形跟随机器人及其跟随控制方法
EP3923273B1 (en) Voice recognition method and device, storage medium, and air conditioner
US11620983B2 (en) Speech recognition method, device, and computer-readable storage medium
WO2020143652A1 (zh) 一种关键词的检测方法以及相关装置
Liu et al. Wavoice: A noise-resistant multi-modal speech recognition system fusing mmwave and audio signals
Valin et al. Robust sound source localization using a microphone array on a mobile robot
Pak et al. Sound localization based on phase difference enhancement using deep neural networks
CN106782563B (zh) 一种智能家居语音交互系统
CN111239687B (zh) 一种基于深度神经网络的声源定位方法及系统
CN110875060A (zh) 语音信号处理方法、装置、系统、设备和存储介质
Liu et al. Continuous sound source localization based on microphone array for mobile robots
Nakadai et al. Improvement of recognition of simultaneous speech signals using av integration and scattering theory for humanoid robots
CN111025233A (zh) 一种声源方向定位方法和装置、语音设备和系统
Mumolo et al. Algorithms for acoustic localization based on microphone array in service robotics
CN106325142A (zh) 一种机器人系统及其控制方法
US11222652B2 (en) Learning-based distance estimation
CN110333484B (zh) 基于环境背景声感知与分析的室内区域级定位方法
CN112180318B (zh) 声源波达方向估计模型训练和声源波达方向估计方法
CN108680902A (zh) 一种基于多麦克风阵列的声源定位系统
KR20190059381A (ko) 자동 음성/제스처 인식 기반 멀티미디어 편집 방법
Zhu et al. Speaker localization based on audio-visual bimodal fusion
CN112799016B (zh) 声源定位方法、装置、计算机可读存储介质和电子设备
Hu et al. A generalized network based on multi-scale densely connection and residual attention for sound source localization and detection
Jiang et al. Incorporating lip features into audio-visual multi-speaker doa estimation by gated fusion
Deleforge et al. Audio-motor integration for robot audition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant