CN105283775B - 移动机器人以及音源位置推定系统 - Google Patents

Abstract

本发明涉及一种使用安装于在空间内移动的机器人上的麦克风高精度地推定存在于空间内的音源的位置的方法。移动机器人具备：自己位置推定部，其推定移动机器人的自己位置；音源信息取得部，其取得所观测到的音源的方向信息；以及音源位置推定部，其根据上述推定出的自己位置和上述音源的方向信息推定音源的位置。

Description

移动机器人以及音源位置推定系统

技术领域

本发明涉及一种使用安装于在空间内移动的机器人上的麦克风高精度地推定存在于空间内的音源的位置的方法。

背景技术

近年来，正在广泛地开发存在于与人相同的空间中，一边移动一边提供各种服务的服务机器人。在这样的机器人中，作为与人的交流手段而安装有麦克风，也有时能够使用声音识别技术等进行对话。另外，还正在推进在建筑物内巡视，如果检测出异常，则通过所安装的摄像头、麦克风立即进行报告的警备用途的机器人等。并且，还考虑了以下类型的机器人：在一台机器人中具备服务功能和警备功能，通过在白天进行服务并在夜间进行警备，能够进行多目的并且高效的灵活应用。

具有警备功能的机器人应该检测的异常的种类要求与人的警备员同等以上的种类。因此，当然也希望在警备中检测所产生的异常音。为了检测声音的异常，判断所观测的声音是否为异常的功能和传递声音的种类、产生声音的时刻以及声音的位置的功能是2种是不可欠缺的功能。

作为传递声音的位置的技术，正在开发根据由具备麦克风的移动机器人观测到的声音波形来确定音源的位置的技术。

在专利文献1中公开了使用三角测量的原理来准确地测量音源的位置的方法。

现有技术文献

专利文献

专利文献1：日本特开2011-149782

发明内容

发明要解决的课题

然而，为了使用三角测量的原理准确地测量音源的位置，需要准确地测量机器人自身的位置和从机器人看到的音源到来方向。推定机器人自身的位置的方法可以考虑组合测程法(odometry)和扫描匹配而得的方法等。但是，存在由于高速地移动而受到车轮滑动的误差等干扰的影响而无法准确地得到测程信息的情况或缺乏周边的环境信息而与地图的匹配不成功的情况等无法准确地推定机器人的位置的情况。

如果想要这样通过移动机器人准确地测量音源的位置，则即使准确地得到了音源到来方向，也存在如果无法准确地推定机器人的自己位置则音源位置不准确的问题。

另外，在没有充分取得机器人的自己位置的观测和音源到来方向的观测的同步的情况下，也无法准确地推定音源位置。

解决问题的方案

为了解决上述问题，移动机器人的特征在于，具备：自己位置推定部，其推定机器人的自己位置；音源信息取得部，其取得所观测到的音源的方向信息；以及音源位置推定部，其根据上述推定出的自己位置和上述音源的方向信息推定音源的位置。

发明效果

根据本发明，能够通过移动机器人准确地测量音源的位置。并且，能够提高机器人的自己位置的推定精度。

附图说明

图1是实施例1的音源位置推定机器人的结构图的例子。

图2是表示实施例1的存储在存储装置130中的自己位置推定程序131的运行的流程图。

图3是表示实施例1的存储在存储装置130中的音源信息取得程序132的运行的流程图。

图4是表示实施例1的存储在存储装置130中的音源位置推定程序133的运行的流程图。

图5是实施例2的音源位置推定系统的结构图。

图6是实施例2的音源位置推定机器人11的结构图。

图7是表示实施例2的存储在存储装置130中的音源信息取得程序132的运行的流程图。

图8是表示实施例2的存储在存储装置130中的传感器数据接收程序135的运行的流程图。

图9是实施例2的传感器21的结构图。

图10是实施例2的平板终端31的结构图。

图11是实施例2的平板终端31的触摸屏321的显示例子。

图12是说明实施例1的音源位置推定程序的算法的图。

图13是说明实施例1的音源位置推定程序的算法的图。

具体实施方式

以下，使用附图说明实施例。

实施例1

在本实施例中，说明音源位置推定机器人11的例子。

图1是本实施例的音源位置推定机器人的结构图的例子。

音源位置推定机器人1由总线110、CPU120、麦克风121、LIDAR122、移动装置123、存储装置130构成。

总线110将CPU120、麦克风121、LIDAR122、移动装置123、存储装置130相互连接并中继数据信号，可以使用在通用的PC中所使用的规格(PCI等)。

CPU120依照程序向麦克风121、LIDAR122、移动装置123、存储装置130发送控制指令，可以使用通用的CPU(例如SH-4处理器)或芯片控制器。

麦克风121收录机器人周边的声音，例如可以使用市场销售的电容麦克风和A/D变换器。

LIDAR122是发射可视光线等电磁波并测量其反射波，由此测定观测平面上的到各方向的障碍物的距离的装置。在本实施例中，观测平面与地面平行，方向分辨率为1度，但本发明并不限于该规格。

存储装置130存储程序或数据，例如可以使用市场销售的DRAM或HDD。存储装置130存储自己位置推定程序131、音源信息取得程序132、音源位置推定程序133、移动控制程序134、自己位置缓冲区141、音源信息缓冲区142、地图数据143、音源位置缓冲区144以及路径数据146。

图2是表示存储在存储装置130中的自己位置推定程序131的运行的流程图。

在利用本系统时始终使自己位置推定程序131运行(S101)。

首先，自己位置推定程序131从LIDAR122取得表示观测平面上的到各方向的障碍物的距离的数据L----_t(θ)(S102)。接着，从移动装置130取得测程数据O_t＝(O_xt，O_yt，O_θt)(S103)。接着，使用所取得的距离数据、里程数据、记录在自己位置缓冲区141中的过去的自己位置数据P_t-1、地图数据143M(x，y)，推定当前的自己位置(S104)。

作为使用了测程信息的基于扫描匹配的自己位置推定方式，推定方法可以使用已知的方法。在假定了自己位置P时，使用表示距离数据L所示的观测地形与地图数据M的自己位置P处的地形的一致度的函数F(P|M，L)，以P_t-1+O_t为中心按照一定的x，y，θ的宽度搜索P来决定推定自己位置P_t＝argmax_pF(P|M，L_t(θ))。

将这样推定出的推定自己位置P_t存储在自己位置缓冲区141中。

图3是表示存储在存储装置130中的音源信息取得程序132的运行的流程图。

在利用本系统时始终使音源信息取得程序132运行(S201)。首先，音源信息取得程序132从麦克风121取得声音数据w_t(c)(S202)。接着，分析所取得的声音数据w_t(c)，取得音源方向A_t(S203)。声音数据w_t(c)是在时刻t从麦克风通道c接收到的波形的样品集合。A_t是认为音源存在的方向的集合。为了根据声音数据w_t(c)求出认为音源存在的方向的集合A_t，可以使用根据麦克风阵列推定音源方向的已知的音源方向推定方法。例如，使用波束成形，由下述所示的公式1求出。

[公式1]

A_t＝{θ|∑|w_t(c)*a(θ)|²＞T}

其中，a(θ)是表示来自预先测定的方向θ的声音的传递函数的向量，*是卷积运算符号，T是判定为音源存在的功率阈值。将这样推定出的音源方向A_t存储在音源信息缓冲区142中(S204)。

图4是表示存储在存储装置130中的音源位置推定程序133的运行的流程图。

在利用本系统时始终使音源位置推定程序133运行(S301)。首先，音源位置推定程序133决定进行音源位置推定的区间[t₁，t₂]，从自己位置缓冲区、音源信息缓冲区分别取得区间[t₁，t₂]的自己位置数据P_t1、……、P_t2和音源方向A_t1、……、A_t2(S302)。例如，在使用从当前时刻t到10帧前的信息的情况下，[t₁，t₂]＝[t-10，t]。

接着，音源位置推定程序133恰当地决定预先决定的机器人的移动模型的参数Θ，执行以下的处理(S303)。首先，根据自己位置数据P_t1、……、P_t2和音源方向A_t1、……、A_t2求出参数Θ的音源位置S(Θ)(S304)。表示求出音源位置的具体例子。在此，参数Θ是将自己位置数据P_t1、……、P_t2和音源方向A_t1、……、A_t2的观测时刻的偏差修正为t^p＝αt^A+β的参数α、β。使用事先确定的时间间隔δ，生成观测数据列D_i＝(Q_i，B_i)(i＝1、……、N)。在此，Q_i＝P_αiσ+β、B_i＝A_iδ。在P、A的下标不作为数据存在的情况下，使用根据临近的数据进行线性插补而得的值。如果对集合Bi的各要素b_i，m，将坐标(Q_i ^x，Q_i ^y)作为起点，考虑向方向Q_i ^θ+b_i，m延伸的半直线，则观测数据Di表示这些半直线的集合。接着，求出与所求出的观测数据列的任意组合D_i，D_j对应的交点集合，汇总其整体而生成交点集合T＝{T₁，……，T_N}。根据交点集合T的平均，由下述所示的公式2推定音源位置S(Θ)。

[公式2]

关于推定方法，例如可以假定混合高斯分布来进行推定，将各高斯分布的平均值视为音源位置。

接着，计算从音源位置的推定误差得到的得分R(Θ)(S305)。具体地说，使用上述交点整体T的方差×-1，由下述所示的公式3求出从音源位置的推定误差得到的得分R(Θ)。

[公式3]

R(θ)＝-∑|T_n-S(θ)|²

本发明并不限于此处定义的得分计算方法，可以使用从音源位置的推定误差得到的任意的得分。例如，有多个音源位置的情况下，可以考虑来自各个交点所属的音源位置的方差的和。最后，如果还剩有应该搜索的Θ，则返回到S303(S306)。如果针对应该搜索的全部Θ，结束了音源位置S(Θ)、从音源位置的推定误差得到的得分R(Θ)的计算，则将得分R(Θ)最大的Θ^所给出的音源位置S(Θ^)推定为最准确的音源位置，将推定出的音源位置S(Θ^)存储在音源位置缓冲区144中(S307)。通过针对参数Θ的音源位置S(Θ)，将参数Θ(即α、β)修正为参数Θ^而能够得到音源位置S(Θ^)。

作为例子，在图12、图13中分别表示参数Θ＝(α＝1，β＝0)时和参数Θ＝(α＝1，β＝1)时的观测数据列D_i＝(Q_i，B_i)、交点集合T＝{T₁，……，T_N}。如果根据T的方差来比较得分R(Θ)，则成为R(α＝1，β＝1)>R(α＝1，β＝0)。

最后，根据从音源位置的推定误差得到的得分最大的Θ^、得分最大的Θ^所给出的音源位置S(Θ^)计算修正自己位置P^，用修正自己位置P^替换在S105中存储的自己位置缓冲区141的区间[t₁，t₂]的自己位置P(S308)。这相当于将空间内的音源位置假定为不变来修正当前位置。

说明存储在存储装置130中的移动控制程序134的运行。在利用本系统时始终使移动控制程序134运行，依照路径数据145的内容，向移动装置123发送移动指令，由此使机器人11整体移动。本发明并不限于使用此处定义的路径数据145的方法，例如也可以是在机器人11中另外设置通信单元，依照来自外部的指示向移动装置123发送移动指令的方法。

另外，也可以使用在S308中推定出的修正自己位置P^，在自己位置的修正量收敛为一定内之前再次执行S301以后的处理。这时，计算量增加，但通过交替地重复推定音源位置和自己位置，有时能够改善各个的精度。

如果按照以上说明的内容构成音源位置推定机器人11，则能够通过移动机器人准确地测量音源的位置，能够进一步提高自己位置的推定精度。

实施例2

在本实施例中，说明音源位置推定系统1的例子。

图5是本实施例的音源位置推定系统的结构图的例子。

音源位置推定系统1由网络2、机器人11、传感器21、22、23、平板终端31构成。机器人11、传感器21、22、23、平板终端31分别与作为TCP/IP网的网络2连接，被分配IP地址，处于能够相互通信的状态。本发明并不限于此处定义的网络结构或传感器数量，能够通过任意的通信网络或传感器数量来实现。

图6是本实施例的音源位置推定机器人11的结构图的例子。

音源位置推定机器人1除了具备实施例1所示的结构以外，还具备摄像头124、NIF125、传感器设置装置126，分别与总线120连接。摄像头1254被安装成能够拍摄机器人11的前方，如果接收到摄影指令则向CPU220发送拍摄到的图像数据。NIF125与网络2直接连接，负责与网络2的其他设备的通信。传感器设置装置126具备传感器21、22、23，是用于在环境内设置的装置。存储在存储装置130中的自己位置推定程序131、移动控制程序134的运行与实施例1相同，因此省略详细的说明。

图7是表示存储在存储装置130中的音源信息取得程序132的运行的流程图。

在利用本系统时始终使音源信息取得程序132运行(S201)。首先，音源信息取得程序132从麦克风121取得声音数据w_t(c)(S202)。接着，分析所取得的声音数据w_t(c)，取得音源方向A_t(S203)。声音数据w_t(c)是在时刻t从麦克风通道c接收到的波形的样品集合。A_t是认为音源存在的方向的集合。为了根据声音数据w_t(c)求出认为音源存在的方向的集合A_t，可以使用从麦克风阵列推定音源方向的已知的音源方向推定方法。例如，使用波束成形，由下述所示的公式4来求出。

[公式4]

A_t＝{θ|∑|w_t(c)*a(θ)|²＞T}

其中，a(θ)是表示来自预先测定的方向θ的声音的传递函数的向量，*是卷积运算符号，T是判定为音源存在的功率阈值。

并且，音源信息取得程序132仅取得来自音源方向θ的声音作作为音源方向声音数据(S204)。为此，可以使用已知的多通道音源分离方法。另外，为了取得相当于音源方向θ的位置的图像数据，向摄像头发送摄影指令，从摄像头接收图像数据(S205)。根据摄像头的视角计算接收图像数据的切出范围并进行修整是容易的。在音源方向θ位于摄像头的死角的情况下，忽略与图像数据有关的以下的处理。

接着，音源信息取得程序132使用这样取得的音源方向声音数据和图像数据，与音源种类判别数据库的条目进行比较，推定音源种类(S206)。音源种类判别数据库由多个条目构成。各条目表示代表性的音源，登录有对该音源发出的声音数据进行统计模型化而得的音源波形模型、将该音源的外观保存为模板而得的音源图像模板、表示音源种类的音源种类标识符、表示音源可移动还是不可移动的音源移动信息。音源信息取得程序132计算音源方向声音数据与音源波形模型的一致度以及图像数据与音源图像模板的一致度，选择一致度最大的条目所示的音源种类标识符、音源移动信息。例如可以通过使用了HMM的已知的声音匹配方法来计算音源方向声音数据与音源波形模型的一致度。另外，例如可以通过使用了图像特征量的匹配方法来计算图像数据与音源图像模板的一致度。

音源信息取得程序132将这样推定出的音源方向A_t、音源种类标识符、音源移动信息存储在音源信息缓冲区142中(S207)。并且，在检测出新音源的情况下，向传感器设置装置发送在其近旁设置传感器的指示。音源信息取得程序132参照音源位置缓冲区，在音源位置缓冲区中没有存储有推定出的音源位置的情况下，判断为检测出新音源。

说明存储在存储装置130中的音源位置推定程序133的运行。

音源位置推定程序133的运行与实施例1大致相同，但实施例2的音源位置推定程序133在S304中限定为记录为音源信息的数据的音源移动信息不动，而进行音源位置的推定。由此，能够防止将推定为移动的音源的位置假定为不动来进行推定而进行错误的音源位置推定从而自己位置推定错乱的情况。

图8是表示存储在存储装置130中的传感器数据接收程序135的运行的流程图。

在利用本系统时始终使传感器数据接收程序135运行(S501)。首先，传感器数据接收程序135将接收到的传感器数据内的声音数据与音源种类判别数据库的各条目进行比较，推定音源种类标识符、音源移动信息(S502)。该方法可以利用与在音源信息取得程序132的S206中说明的方法相同的方法。接着，将推定出的音源种类标识符、音源移动信息作为音源信息存储在音源信息缓冲区中(S503)。

由此，使用设置在音源的传感器的声音信息，即使在机器人远离音源的情况下也能够持续地更新音源信息缓冲区的音源种类标识符、音源移动信息。

说明存储在存储装置130中的音源信息发送程序136的运行。音源信息发送程序136经由网络2向平板终端31发送通过音源位置推定程序133推定出的与音源位置有关的信息。音源信息发送程序136也可以将推定出的音源种类标识符、音源移动信息、根据交点集合的分布方差确定的推定位置范围、音源图像数据、音源的观测时刻以及观测到的声音数据作为音源信息与音源位置有关的信息一起同时发送。另外，音源信息发送程序136也可以将地图数据143或路径数据146作为音源信息与音源位置有关的信息一起同时发送。地图数据或路径数据也可以仅发送推定出的音源位置附近的数据。

图9是本实施例的传感器21的结构图的例子。此外，传感器22、传感器23的结构与传感器21相同。

传感器21由总线210、CPU220、麦克风221、NIF222、存储装置230构成。总线210将CPU220、麦克风221、NIF222、存储装置230相互连接并中继数据信号，可以使用在通用的PC中使用的规格(PCI等)。CPU220依照程序向麦克风221、NIF222、存储装置230发送控制指令，可以使用通用的CPU(例如SH-4处理器)或芯片控制器。麦克风221收录传感器周边的声音，例如可以使用市场销售的电容麦克风和A/D变换器。NIF222与网络2无线连接，负责与网络2的其他设备的通信。本发明并不限于此处定义的基于无线的连接，也可以通过有线实现。存储装置230存储程序或数据，例如可以使用市场销售的DRAM或HDD。

说明存储在存储装置230中的声音取得发送程序231的运行。

声音取得发送程序231在设置了传感器21后立即运行，通过NIF222向机器人11发送通过麦克风221观测到的声音数据。

图10是本实施例的平板终端31的结构图的例子。

平板终端31由总线310、CPU320、触摸屏321、NIF322、存储装置330构成。总线310将CPU320、触摸屏321、NIF322、存储装置330相互连接并中继数据信号，可以使用在通用的PC中使用的规格(PCI等)。CPU320依照程序向触摸屏321、NIF322、存储装置330发送控制指令，可以使用通用的CPU(例如SH-4处理器)或芯片控制器。触摸屏321依照来自CPU320的显示指令向使用者显示视觉信息，并且检测出使用者的触摸并向CPU320传送其位置。NIF322与网络2直接连接，负责与网络2的其他设备的通信。存储装置330存储程序或数据，例如可以使用市场销售的DRAM或HDD。

说明存储在存储装置330中的用户/界面程序331的运行。

用户/界面程序331在平板终端31的启动中始终运行，如果从机器人11接收到音源信息，则显示在触摸屏321中。另外，检测出使用者对触摸屏321的触摸，如果从触摸屏321接收到触摸信息，则从信息缓冲区332取得与在该位置显示的符号对应的声音，发送到扬声器323并再生。

图11是本实施例的平板终端31的触摸屏321的显示例子。

显示环境地图710，在其上与每个音源重叠地显示音源信息。音源信息在音源的位置显示表示音源的音源种类标识符的符号图像720、721、722，显示根据交点集合的分布方差确定的推定位置范围730、731、音源种类标识符和音源图像数据740。另外，在时间轴700上显示音源的观测时刻701、702、703。

如果按照以上说明的内容构成音源位置推定系统1，则能够通过移动机器人准确地测量音源的位置，能够进一步提高自己位置的推定精度。并且，使用者能够使用平板终端容易地访问通过机器人取得的与音源有关的信息。

符号说明

11：机器人；21：传感器；22：传感器；23：传感器；31：平板终端；120：CPU；121：麦克风；122：LIDAR；123：移动装置；125：NIF；126：传感器设置装置；130：存储装置；220：CPU；221：麦克风；222：NIF；230：存储装置；320：CPU；321：触摸屏；322：NIF；323：扬声器；330：存储装置。

Claims (10)

1.一种移动机器人，其特征在于，具备：

自己位置推定部，其推定机器人的自己位置；

音源信息取得部，其取得所观测到的音源的种类和方向信息，并根据上述音源的种类，推定上述音源能够移动还是不动；以及

音源位置推定部，其对上述音源为不动的音源的位置进行推定，并将推定出的音源的位置存储在音源位置缓冲器中，

上述自己位置推定部根据上述音源位置推定部推定出的音源位置修正自己位置，上述音源位置推定部根据上述修正后的自己位置和上述音源的方向信息推定音源的位置。

2.根据权利要求1所述的移动机器人，其特征在于，

具备对每个音源种类保存音源波形模型的音源种类判别数据库，

上述音源信息取得部将上述观测到的音源与上述音源种类判别数据库的音源波形模型的一致度最大的源波形模型的音源种类推定为上述观测到的音源的音源种类。

3.根据权利要求2所述的移动机器人，其特征在于，

该移动机器人具备摄像头，

上述音源种类判别数据库还对每个上述音源波形模型保存音源图像模板，

上述音源信息取得部根据通过上述摄像头拍摄到的图像与上述音源图像模板的图像特征量的一致度，来确定上述音源的音源种类。

4.根据权利要求1所述的移动机器人，其特征在于，

具备将传感器装置设置在空间内的传感器设置部，

上述音源位置推定部在检测出新的音源位置时，向上述传感器设置部发送将传感器装置设置在该音源近旁的指示。

5.根据权利要求1所述的移动机器人，其特征在于，

上述音源位置推定部推定根据多个上述音源的观测数据和多个自己位置推定结果推定出的多个音源位置，将该推定出的音源位置的方差最小的位置推定为音源位置。

6.一种音源位置推定系统，其包括移动机器人和在终端上运行的程序，该音源位置推定系统的特征在于，

上述移动机器人具备：

自己位置推定部，其推定机器人的自己位置；

音源信息取得部，其取得所观测到的音源的种类和方向信息，并根据上述音源的种类，推定上述音源能够移动还是不动；

音源位置推定部，其对上述音源为不动的音源的位置进行推定，并将推定出的音源的位置存储在音源位置缓冲器中；以及

音源信息发送部，其发送上述推定出的音源位置，

上述在终端上运行的程序将上述音源位置与地图数据一起显示在该终端上，

上述自己位置推定部根据上述音源位置推定部推定出的音源位置修正自己位置，上述音源位置推定部根据上述修正后的自己位置和上述音源的方向信息推定音源的位置。

7.根据权利要求6所述的音源位置推定系统，其特征在于，

上述音源信息发送部将音源的种类与推定出的音源位置一起发送，

上述程序将上述音源位置与上述音源的种类一起显示在该终端上。

8.根据权利要求6所述的音源位置推定系统，其特征在于，

上述音源信息发送部发送表示音源的存在可能性高的区域的推定位置范围，

上述程序使该终端显示上述推定位置范围。

9.根据权利要求8所述的音源位置推定系统，其特征在于，

上述音源信息发送部发送上述推定出的音源位置的音源的音源种类标识符，

上述程序使与上述音源种类标识符对应的符号图像显示在上述音源位置。

10.根据权利要求6所述的音源位置推定系统，其特征在于，

上述音源信息发送部发送观测到的音源的声音数据和拍摄到的图像数据，

上述程序使上述音源的声音数据从该终端输出，或使上述终端显示上述图像。