CN107290975A - 一种家居智能机器人 - Google Patents

一种家居智能机器人 Download PDF

Info

Publication number
CN107290975A
CN107290975A CN201710725579.1A CN201710725579A CN107290975A CN 107290975 A CN107290975 A CN 107290975A CN 201710725579 A CN201710725579 A CN 201710725579A CN 107290975 A CN107290975 A CN 107290975A
Authority
CN
China
Prior art keywords
mrow
msub
msup
prime
msubsup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710725579.1A
Other languages
English (en)
Inventor
樊清涛
郑光胜
张毅
张文强
张睿
陈辰
郑晓庆
路红
白建松
黄进凯
赖坤
王善芳
李浩澜
徐林
陈绘名
杨正川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Rui Nada Automation Technology Co Ltd
Original Assignee
Chongqing Rui Nada Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Rui Nada Automation Technology Co Ltd filed Critical Chongqing Rui Nada Automation Technology Co Ltd
Priority to CN201710725579.1A priority Critical patent/CN107290975A/zh
Publication of CN107290975A publication Critical patent/CN107290975A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

本发明公开了一种家居智能机器人，包括命令收集系统，命令识别系统，命令执行等人机交互系统，安防系统，远程通信系统以及存储系统；所述命令收集系统包括语音收集模块，触摸屏指令收集模块，无线网络指令收集系模块；所述命令执行系统包括运动模块，目标跟随处理模块，导航模块，地图建立模块，智能红外遥控模块，业务功能模块；所述安防系统包括报警模块，报警信息触发模块，报警信息发送模块。本发明提供的一种家居智能机器人，结合红外、超声波的避障措施，有效提高了机器人导航定位的准确度和运动安全性。

Description

一种家居智能机器人
技术领域
本发明涉及一种自动控制领域，特别是涉及一种家居智能机器人。
背景技术
近年来，随着计算机技术与人工智能科学的飞速发展，智能机器人技术逐渐成为现代机器人研发领域的热点，智能机器人正在从科幻逐渐走进人们的生活中。而随着人们物质生活水平的提高，将智能机器人应用于家庭服务领域，也是近年来机器人研发的重要目标。
机器人技术作为战略高科技技术，深受世界各国的重视，而服务性机器人作为前沿高科技研究最活跃的一个领域，更是备受关注，现在市场上家用服务类机器人功能比较单一，主要是一些清洁型机器人和儿童陪伴机器人，并不能满足用户对于实用性和多样性的需求。
而通过市场调查，当前家有独居老人或少年儿童的家庭，普遍存在对家人的安全和陪伴的担忧，对能够满足对父母和家中小孩的安全与陪护，同时解决使用障碍、家庭通讯监控和家庭远程教育等多种用途的家用服务机器人，有非常大的市场需求。
因此本领域技术人员致力于开发一种智能机器人，具体是一种基于家庭场景，能够在多种模式下自行导航行走、自主充电、智能程度高、使用寿命长、应用范围广、操作简洁便利、功能多样，能够满足用户当面语音语句指令操作、远程遥控和通过液晶屏手动操作的家用服务智能机器人。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种设计合理、智能程度高、成本低廉、结实耐用、安全可靠、应用范围广、功能多样，且操作简洁便利的家用智能服务机器人。
为实现上述目的，本发明提供了一种家居智能机器人，所述家居智能机器人包括命令收集系统，命令识别系统，命令执行系统，安防系统，远程通信系统以及存储系统；
所述命令收集系统包括语音收集模块，触摸屏指令收集模块，无线网络指令收集系模块；
所述命令执行系统包括运动模块、用于声源定位的声源定位模块、用于对特定目标跟随处理的目标跟随模块，导航模块，智能红外遥控模块；
所述安防系统包括报警器，报警信息触发模块，报警信息发送模块。
所述命令收集系统包括六麦克风阵列装置，触摸屏装置，以及用于通过无线网络进行命令接收的装置；
用于判断是否收到无线网络指令命令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到触摸屏特定指令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到开启语音命令接收的装置；
其中，如果不是，则用于返回到初始状态的装置；
如果是，则用于启动语音命令接收的装置；
用于接收语音命令的装置；
用于识别命令的装置。
所述命令识别系统，包括用于判断接受到的命令是否为文字信息的装置；
如果不是，则用于连接网络将语音信息转化为文字信息的装置；
如果是，则用于判断该信息能否从予以解析库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理系统的装置；
如果不是，则用于判断是否能从网络数据库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理系统的装置；
如果不是，则用于返回至开始状态的装置。
所述语义解析库训练模块，包括：用于收集大量语句的装置；
用于将语句进行分类的装置；
用于将语句通过条件随机场分词器进行分词以及词位标注的装置；
用于通过训练予以解析模型，实现对语句语义理解的装置。
所述命令处理系统，包括：
用于判断命令是否调用导航模块的装置；
如果是，则用于调用导航系统并规划运动路径的装置；
如果不是，则用于判断命令是否需要调用目标跟随模块的装置；
其中，如果不是，则用于进入判断命令是否需要调用声源定位模块的装置。
如果是，则用于自身定位和建图的装置；
用于检测运动帧和运动区域的装置；
用于在运动帧的运动区域进行视觉目标检测的装置；
用于视觉目标追踪的装置；
其中，用于进入判断命令是否需要调用声源定位模块的装置；
如果不是，则用于传输运动信息至运动模块的装置；
如果是，则用于按照下列方法计算声源地位置的装置；
(51)将六麦克风阵列依次设置为第一至第六麦克风；
(52)以所述第一麦克风与第四麦克风的连线为x轴，作为第一坐标系，按照下列公式计算声源地位置：
其中，D为所述第一麦克风与第四麦克风之间的距离；
c为声音传播速度；
t12为所述第二麦克风与第一麦克风之间接收到声音信号的时间差；
t13为所述第三麦克风与第一麦克风之间接收到声音信号的时间差；
t14为所述第四麦克风与第一麦克风之间接收到声音信号的时间差；
t15为所述第五麦克风与第一麦克风之间接收到声音信号的时间差；
t16为所述第六麦克风与第一麦克风之间接收到声音信号的时间差；
x0为在第一坐标系中声源地的x轴坐标；
y0为在第一坐标系中声源地的y轴坐标；
z0为第一坐标系中声源地的z轴坐标；
r0为声源地距离第一麦克风与第四麦克风的中点的距离；
x1、x2、x3为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1、y2为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r0。
(53)以第二麦克风与第五麦克风的连线为x轴的第二坐标系，按照下列公式计算在第二坐标系中声源地位置：
其中，D为所述第二麦克风与第五麦克风之间的距离；
c为声音传播速度；
t23为所述第三麦克风与第二麦克风之间接收到声音信号的时间差；
t24为所述第四麦克风与第二麦克风之间接收到声音信号的时间差；
t25为所述第五麦克风与第二麦克风之间接收到声音信号的时间差；
t26为所述第六麦克风与第二麦克风之间接收到声音信号的时间差；
t21为所述第一麦克风与第二麦克风之间接收到声音信号的时间差；
x'为在所述第二坐标系中声源地的x轴坐标；
y'为在所述第二坐标系中声源地的y轴坐标；
z'为在所述第二坐标系中声源地的z轴坐标；
r'为声源地距离所述第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1'、x2'、x3'为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1'、y2'为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
(54)以所述第六麦克风与第三麦克风的连线为x轴的第三坐标系，按照下列计算声源地位置；
其中，D为第三麦克风与第六麦克风之间的距离；
c为声音传播速度；
t61为所述第一麦克风与第六麦克风之间接收到声音信号的时间差；
t62为所述第二麦克风与第六麦克风之间接收到声音信号的时间差；
t63为所述第三麦克风与第六麦克风之间接收到声音信号的时间差；
t64为所述第四麦克风与第六麦克风之间接收到声音信号的时间差；
t65为所述第五麦克风与第六麦克风之间接收到声音信号的时间差；
x″为在所述第三坐标系中声源地的x轴坐标；
y″为在所述第三坐标系中声源地的y轴坐标；
z″为在所述第三坐标系中声源地的z轴坐标；
r″为声源地距离第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1″、x2″、x3″为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1″、y2″为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1″为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r″；
(55)按照下列公式将x'、y'分别换算为第一坐标系中的值：
其中，x0'为将所述第二坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0'为将所述第二坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(56)按照下列公式将x″、y″分别换算为第一坐标系中的值：
其中，x0″为将所述第三坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0″为所述第三坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(57)用于按照下列公式进行声源地计算：
其中，x为第一坐标系中的声源地x轴最终坐标；
y为第一坐标系中的声源地y轴最终坐标；
z为第一坐标系中的声源地z轴最终坐标；
用于按照以下公式计算声源地的球坐标值的装置：
其中，为最终输出的所述声源地位置的方位角；
θ为最终输出的声源地位置的俯仰角；
r为最终输出的声源地位置距离原点的距离。
xb为第一坐标系中的声源地x轴最终坐标；
yb为第一坐标系中的声源地y轴最终坐标；
zb为第一坐标系中的声源地z轴最终坐标。
所述用于运动帧与运动区域检测的装置，包括：用于采样机器人运动过程中所经过的关键场景的装置；
用于在采样关键场景前后位置图像及关键帧图像进行超像素分割的装置；
用于按照下列公式和算法在HSI空间中对超像素的HS通道信息进行聚类，建立场景模型的装置：
使用meanshift聚类算法对特征池进行聚类，得到n个聚类；每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
用于在获取到新的图像帧之后，按照下列方法选取场景模型来分析该帧是否包含运动区域的装置：
(61)选取该图像帧采集时机器人位置最为相似的关键场景，获取对应场景下的场景模型；
(62)将该图像帧进行超像素分割，得到N个超像素。每个超像素sp(r)(r＝1，...，N)由一个特征向量fr来表示；
(63)计算该帧中的超像素sp(r)和对应场景下场景模型的超像素点sp(t，r)之间的距离，选取距离最近的点所在的聚类为该帧中超像素sp(r)的类别。距离计算公式如下：
(64)依据超像素和对应的聚类中心之间的距离来计算该每个超像素属于变化区域的概率,概率计算公式如下：
超像素r属于聚类i
其中参数rc(i)代表了clst(i)在特征空间中的聚类半径，λd是一个归一化项(在实验中设置为2)。综合考虑超像素sp(r)所属于的聚类，以及和对应的聚类中心之间的距离，得出该超像素的目标置信度值由于实际取样过程中，作为超像素取样的样本足够大，因此置信度值与该超像素属于变化区域的概率差异可以忽略不计，因此将每个超像素所对应的像素位置属于变化区域的概率设置为得到概率图。如果则认为该超像素为变化区域；
(65)分析概率图中联通的属于变化区域的尺寸大小，如果大于阈值则认为该区域为潜在目标人区域，选取周围的部分为潜在目标人位置。
所述用于视觉目标检测的装置，包括：
用于按照下列方法将每个初始帧进行超像素分割，聚类，得到目标人表观模型的装置：
(71)将第t帧中的目标周围区域进行超像素分割，得到Nt个超像素。每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(72)使用meanshift聚类算法对特征池进行聚类，得到n个聚类。每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(73)每个clst(i)对应于训练帧中的图像区域S(i),对每个clst(i)计算两个得分，S+(i),S-(i)。前一个分数表示聚类面积S(i)和目标区域的交集大小，后面一个分数表示聚类面积S(i)在目标区域外的大小。S+(i)/S-(i)的值越大，在训练帧中区域S(i)属于目标的可能性越大。给每个聚类一个介于[1,-1]之间的打分来代表每个聚类的前景-背景置信度，记为其中特征表示使用归一化的HSI颜色空间直方图。sp代表super pixel(超像素),clst代表cluster(聚类)；
用于按照下列方法对新的图像帧使用表观模型和地图点信息得到目标位置的装置:
(74)当新的图像帧到达的时候，首先在前一帧的目标区域周围提取一个搜索区域，并且分割为Nt个超像素；
(75)聚类到目标人表观模型，依据所属于的聚类中心属性进行打分，得到置信度图，公式如下；
其中w(r，i)表示基于特征(第t帧中第r个超像素sp(t，r)的特征)和fc(i)(sp(t，r)属于的聚类的特征中心)的权重。参数rc(i)表示clst(i)在特征空间中的聚类半径，λd是一个归一化项(在试验中设置为2)。综合考虑超像素sp(t，r)所属于的聚类，以及和对应的聚类中心之间的聚类，得出该超像素的置信度值
对于整个图像帧，通过以下步骤得到每个像素的置信值。对于搜索区域内每个属于超像素sp(t，r)的像素打分为对于搜索领域之外的像素打分为-1；
(76)地图点打分，公式如下：
如果sp(t,r)和地图点k相邻
n(t，k)代表图像帧t中地图点k的共见次数；
(77)表观模型的得分和地图点的得分通过求均值的方式进行融合，融合的位置仅限地图点周围的超像素，没有地图点的超像素的打分仅由表观模型决定，公式如下：
(78)选择属于目标的得分最高的区域为目标位置。图6为追踪结果；
(79)调整将地图点所在超像素属于目标人的概率，以备表观模型更新；
用于每追踪一定数量的图像帧之后，更新表观模型的装置。
所述用于视觉目标跟随的装置，包括：
用于计算根据权利要求7所述目标位置的水平中心位置的装置；
用于控制机器人移动，使得目标人位于机器人采集的图像水平中心位置的装置。
所述安防系统包括：
用于判断报警器是否接收到报警信息的装置；
如果不是，则用于返回至初始状态的装置；
如果是，则用于控制报警器蜂鸣装置发出报警信号的装置；
用于控制机器人显示器显示报警信息的装置；
用于控制手机终端软件发出报警信息的装置；
用于控制向用户手机发送报警短信的装置。
所述远程通信模块包括用于向网络数据库进行数据下载的装置；
所述运动模块包括红外避障装置、超声波避障装置以及紧急制动装置；
所述安防系统包括用于与所述报警器进行匹配的装置；
所述智能红外遥控模块包括连接网络进行红外遥控代码进行下载的装置。
本发明的有益效果是：本发明提供的一种家居智能机器人，结合红外、超声波的避障措施，有效提高了机器人导航定位的准确度和运动安全性。设置有红外收发模块，可控制家庭内使用的各种家用电器。高灵敏度并有降噪功能的麦克风阵列模块，并有效提高用户语音的声波的有效接收与识别；结合语义解析数据库的不断提高与拓展，有效提高用户语音语句信息的有效识别与指令执行。三个通道的人机交互控制方法，保证了可以随时随地控制机器人。同时，该发明通过数据通讯单元，可实现连接互联网，进行多媒体信号源的交互和集成，同时还可以通过无线网络进行视频语音通话。本发明将机器人与物联网技术相结合，增加了机器人的服务性；而且通过视觉模块和音频采集模块使得机器人更加智能化和人性化。另外，增加了机器人紧急制动装置，以在任何情况下优先保证用户的安全。
附图说明
图1是本发明主框架流程示意图。
图2是图1中命令接收系统的流程示意图。
图3是图1中命令识别系统的流程示意图。
图4是图3中语义解析库训练流程示意图。
图5是命令处理系统流程示意图。
图6是图5中声源定位模块的流程示意图。
图7是图5中目标跟随模块流程示意图。
图8是图6中判断目标是否属于跟随目标的流程示意图。
图9是图6中目标确定后目标跟随的示意图。
图10是安防系统流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明：
如图1至图9所示，所述家居智能机器人包括命令收集系统，命令识别系统，命令执行系统，安防系统，远程通信系统以及存储系统；
所述命令收集系统包括语音收集模块，触摸屏指令收集模块，无线网络指令收集系模块；
所述命令执行系统包括运动模块、用于声源定位的声源定位模块、用于对特定目标跟随处理的目标跟随模块，导航模块，智能红外遥控模块；
所述安防系统包括报警器，报警信息触发模块，报警信息发送模块。
所述命令收集系统包括六麦克风阵列装置，触摸屏装置，以及用于通过无线网络进行命令接收的装置；
用于判断是否收到无线网络指令命令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到触摸屏特定指令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到开启语音命令接收的装置；
其中，如果不是，则用于返回到初始状态的装置；
如果是，则用于启动语音命令接收的装置；
用于接收语音命令的装置；
用于识别命令的装置。
所述命令识别系统，包括用于判断接受到的命令是否为文字信息的装置；
如果不是，则用于连接网络将语音信息转化为文字信息的装置；
如果是，则用于判断该信息能否从予以解析库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理系统的装置；
如果不是，则用于判断是否能从网络数据库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理系统的装置；
如果不是，则用于返回至开始状态的装置。
所述语义解析库训练模块，包括：用于收集大量语句的装置；
用于将语句进行分类的装置；
用于将语句通过条件随机场分词器进行分词以及词位标注的装置；
用于通过训练予以解析模型，实现对语句语义理解的装置。
所述命令处理系统，包括：
用于判断命令是否调用导航模块的装置；
如果是，则用于调用导航系统并规划运动路径的装置；
如果不是，则用于判断命令是否需要调用目标跟随模块的装置；
其中，如果不是，则用于进入判断命令是否需要调用声源定位模块的装置。
如果是，则用于自身定位和建图的装置；
用于检测运动帧和运动区域的装置；
用于在运动帧的运动区域进行视觉目标检测的装置；
用于视觉目标追踪的装置；
其中，用于进入判断命令是否需要调用声源定位模块的装置；
如果不是，则用于传输运动信息至运动模块的装置；
如果是，则用于按照下列方法计算声源地位置的装置；
(51)将六麦克风阵列依次设置为第一至第六麦克风；
(52)以所述第一麦克风与第四麦克风的连线为x轴，作为第一坐标系，按照下列公式计算声源地位置：
其中，D为所述第一麦克风与第四麦克风之间的距离；
c为声音传播速度；
t12为所述第二麦克风与第一麦克风之间接收到声音信号的时间差；
t13为所述第三麦克风与第一麦克风之间接收到声音信号的时间差；
t14为所述第四麦克风与第一麦克风之间接收到声音信号的时间差；
t15为所述第五麦克风与第一麦克风之间接收到声音信号的时间差；
t16为所述第六麦克风与第一麦克风之间接收到声音信号的时间差；
x0为在第一坐标系中声源地的x轴坐标；
y0为在第一坐标系中声源地的y轴坐标；
z0为第一坐标系中声源地的z轴坐标；
r0为声源地距离第一麦克风与第四麦克风的中点的距离；
x1、x2、x3为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1、y2为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r0。
(53)以第二麦克风与第五麦克风的连线为x轴的第二坐标系，按照下列公式计算在第二坐标系中声源地位置：
其中，D为所述第二麦克风与第五麦克风之间的距离；
c为声音传播速度；
t23为所述第三麦克风与第二麦克风之间接收到声音信号的时间差；
t24为所述第四麦克风与第二麦克风之间接收到声音信号的时间差；
t25为所述第五麦克风与第二麦克风之间接收到声音信号的时间差；
t26为所述第六麦克风与第二麦克风之间接收到声音信号的时间差；
t21为所述第一麦克风与第二麦克风之间接收到声音信号的时间差；
x'为在所述第二坐标系中声源地的x轴坐标；
y'为在所述第二坐标系中声源地的y轴坐标；
z'为在所述第二坐标系中声源地的z轴坐标；
r'为声源地距离所述第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1'、x2'、x3'为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1'、y2'为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
(54)以所述第六麦克风与第三麦克风的连线为x轴的第三坐标系，按照下列计算声源地位置；
其中，D为第三麦克风与第六麦克风之间的距离；
c为声音传播速度；
t61为所述第一麦克风与第六麦克风之间接收到声音信号的时间差；
t62为所述第二麦克风与第六麦克风之间接收到声音信号的时间差；
t63为所述第三麦克风与第六麦克风之间接收到声音信号的时间差；
t64为所述第四麦克风与第六麦克风之间接收到声音信号的时间差；
t65为所述第五麦克风与第六麦克风之间接收到声音信号的时间差；
x″为在所述第三坐标系中声源地的x轴坐标；
y″为在所述第三坐标系中声源地的y轴坐标；
z″为在所述第三坐标系中声源地的z轴坐标；
r″为声源地距离第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1″、x2″、x3″为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1″、y2″为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1″为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r″；
(55)按照下列公式将x'、y'分别换算为第一坐标系中的值：
其中，x0'为将所述第二坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0'为将所述第二坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(56)按照下列公式将x″、y″分别换算为第一坐标系中的值：
其中，x0″为将所述第三坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0″为所述第三坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(57)用于按照下列公式进行声源地计算：
其中，x为第一坐标系中的声源地x轴最终坐标；
y为第一坐标系中的声源地y轴最终坐标；
z为第一坐标系中的声源地z轴最终坐标；
用于按照以下公式计算声源地的球坐标值的装置：
其中，为最终输出的所述声源地位置的方位角；
θ为最终输出的声源地位置的俯仰角；
r为最终输出的声源地位置距离原点的距离。
xb为第一坐标系中的声源地x轴最终坐标；
yb为第一坐标系中的声源地y轴最终坐标；
zb为第一坐标系中的声源地z轴最终坐标。
所述用于运动帧与运动区域检测的装置，包括：用于采样机器人运动过程中所经过的关键场景的装置；
用于在采样关键场景前后位置图像及关键帧图像进行超像素分割的装置；
用于按照下列公式和算法在HSI空间中对超像素的HS通道信息进行聚类，建立场景模型的装置：
使用meanshift聚类算法对特征池进行聚类，得到n个聚类；每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
用于在获取到新的图像帧之后，按照下列方法选取场景模型来分析该帧是否包含运动区域的装置：
(61)选取该图像帧采集时机器人位置最为相似的关键场景，获取对应场景下的场景模型；
(62)将该图像帧进行超像素分割，得到N个超像素。每个超像素sp(r)(r＝1，...，N)由一个特征向量fr来表示；
(63)计算该帧中的超像素sp(r)和对应场景下场景模型的超像素点sp(t，r)之间的距离，选取距离最近的点所在的聚类为该帧中超像素sp(r)的类别。距离计算公式如下：
(64)依据超像素和对应的聚类中心之间的距离来计算该每个超像素属于变化区域的概率,概率计算公式如下：
超像素r属于聚类i
其中参数rc(i)代表了clst(i)在特征空间中的聚类半径，λd是一个归一化项(在实验中设置为2)。综合考虑超像素sp(r)所属于的聚类，以及和对应的聚类中心之间的距离，得出该超像素的目标置信度值于实际取样过程中，作为超像素取样的样本足够大，因此置信度值与该超像素属于变化区域的概率差异可以忽略不计，因此将每个超像素所对应的像素位置属于变化区域的概率设置为 将每个超像素所对应的像素位置属于变化区域的概率设置为得到概率图。如果则认为该超像素为变化区域；
(65)分析概率图中联通的属于变化区域的尺寸大小，如果大于阈值则认为该区域为潜在目标人区域，选取周围的部分为潜在目标人位置。
所述用于视觉目标检测的装置，包括：
用于按照下列方法将每个初始帧进行超像素分割，聚类，得到目标人表观模型的装置：
(71)将第t帧中的目标周围区域进行超像素分割，得到Nt个超像素。每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(72)使用meanshift聚类算法对特征池进行聚类，得到n个聚类。每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(73)每个clst(i)对应于训练帧中的图像区域S(i),对每个clst(i)计算两个得分，S+(i),S-(i)。前一个分数表示聚类面积S(i)和目标区域的交集大小，后面一个分数表示聚类面积S(i)在目标区域外的大小。S+(i)/S-(i)的值越大，在训练帧中区域S(i)属于目标的可能性越大。给每个聚类一个介于[1,-1]之间的打分来代表每个聚类的前景-背景置信度，记为其中特征表示使用归一化的HSI颜色空间直方图。sp代表super pixel(超像素),clst代表cluster(聚类)；
用于按照下列方法对新的图像帧使用表观模型和地图点信息得到目标位置的装置:
(74)当新的图像帧到达的时候，首先在前一帧的目标区域周围提取一个搜索区域，并且分割为Nt个超像素；
(75)聚类到目标人表观模型，依据所属于的聚类中心属性进行打分，得到置信度图，公式如下；
其中w(r，i)表示基于特征(第t帧中第r个超像素sp(t，r)的特征)和fc(i)(sp(t，r)属于的聚类的特征中心)的权重。参数rc(i)表示clst(i)在特征空间中的聚类半径，λd是一个归一化项(在试验中设置为2)。综合考虑超像素sp(t，r)所属于的聚类，以及和对应的聚类中心之间的聚类，得出该超像素的置信度值
对于整个图像帧，通过以下步骤得到每个像素的置信值。对于搜索区域内每个属于超像素sp(t，r)的像素打分为对于搜索领域之外的像素打分为-1；
(76)地图点打分，公式如下：
如果sp(t,r)和地图点k相邻
n(t，k)代表图像帧t中地图点k的共见次数；
(77)表观模型的得分和地图点的得分通过求均值的方式进行融合，融合的位置仅限地图点周围的超像素，没有地图点的超像素的打分仅由表观模型决定，公式如下：
(78)选择属于目标的得分最高的区域为目标位置。图6为追踪结果；
(79)调整将地图点所在超像素属于目标人的概率，以备表观模型更新；
用于每追踪一定数量的图像帧之后，更新表观模型的装置。
所述用于视觉目标跟随的装置，包括：
用于计算根据权利要求7所述目标位置的水平中心位置的装置；
用于控制机器人移动，使得目标人位于机器人采集的图像水平中心位置的装置。
所述安防系统包括：
用于判断报警器是否接收到报警信息的装置；
如果不是，则用于返回至初始状态的装置；
如果是，则用于控制报警器蜂鸣装置发出报警信号的装置；
用于控制机器人显示器显示报警信息的装置；
用于控制手机终端软件发出报警信息的装置；
用于控制向用户手机发送报警短信的装置。
所述远程通信模块包括用于向网络数据库进行数据下载的装置；
所述运动模块包括红外避障装置、超声波避障装置以及紧急制动装置；
所述安防系统包括用于与所述报警器进行匹配的装置；
所述智能红外遥控模块包括连接网络进行红外遥控代码进行下载的装置。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种家居智能机器人，其特征是：所述家居智能机器人包括命令收集系统，命令识别系统，命令执行系统，安防系统，远程通信系统以及存储系统；
所述命令收集系统包括语音收集模块，触摸屏指令收集模块，无线网络指令收集系模块；
所述命令执行系统包括运动模块、用于声源定位的声源定位模块、用于对特定目标跟随处理的目标跟随模块，导航模块，智能红外遥控模块；
所述安防系统包括报警器，报警信息触发模块，报警信息发送模块。
2.如权利要求1所述的家居智能机器人，其特征是，所述命令收集系统包括六麦克风阵列装置，触摸屏装置，以及用于通过无线网络进行命令接收的装置；
用于判断是否收到无线网络指令命令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到触摸屏特定指令的装置；
其中，如果是，则用于识别命令的装置；
如果不是，则用于判断是否收到开启语音命令接收的装置；
其中，如果不是，则用于返回到初始状态的装置；
如果是，则用于启动语音命令接收的装置；
用于接收语音命令的装置；
用于识别命令的装置。
3.如权利要求2所述的家居智能机器人，其特征是：所述命令识别系统，包括用于判断接受到的命令是否为文字信息的装置；
如果不是，则用于连接网络将语音信息转化为文字信息的装置；
如果是，则用于判断该信息能否从予以解析库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理系统的装置；
如果不是，则用于判断是否能从网络数据库中查找到信息的装置；
其中，如果是，则用于识别信息并将信息传输至命令处理系统的装置；
如果不是，则用于返回至开始状态的装置。
4.如权利要求3所述的家居智能机器人，其特征是：所述语义解析库训练模块，包括：用于收集大量语句的装置；
用于将语句进行分类的装置；
用于将语句通过条件随机场分词器进行分词以及词位标注的装置；
用于通过训练予以解析模型，实现对语句语义理解的装置。
5.如权利要求1所述的家居智能机器人，其特征是：所述命令处理系统，包括：
用于判断命令是否调用导航模块的装置；
如果是，则用于调用导航系统并规划运动路径的装置；
如果不是，则用于判断命令是否需要调用目标跟随模块的装置；
其中，如果不是，则用于进入判断命令是否需要调用声源定位模块的装置。
如果是，则用于自身定位和建图的装置；
用于检测运动帧和运动区域的装置；
用于在运动帧的运动区域进行视觉目标检测的装置；
用于视觉目标追踪的装置；
其中，用于进入判断命令是否需要调用声源定位模块的装置；
如果不是，则用于传输运动信息至运动模块的装置；
如果是，则用于按照下列方法计算声源地位置的装置；
(51)将六麦克风阵列依次设置为第一至第六麦克风；
(52)以所述第一麦克风与第四麦克风的连线为x轴，作为第一坐标系，按照下列公式计算声源地位置：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>=</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <mn>2</mn> <msubsup> <mi>t</mi> <mn>12</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mn>2</mn> <msubsup> <mi>t</mi> <mn>16</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>14</mn> <mn>2</mn> </msubsup> </mrow> <mrow> <mn>2</mn> <msub> <mi>t</mi> <mn>14</mn> </msub> <mo>-</mo> <mn>4</mn> <msub> <mi>t</mi> <mn>12</mn> </msub> <mo>-</mo> <mn>4</mn> <msub> <mi>t</mi> <mn>16</mn> </msub> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>t</mi> <mn>14</mn> </msub> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>t</mi> <mn>14</mn> <mn>2</mn> </msubsup> </mrow> <mrow> <mn>2</mn> <mi>D</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>13</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>12</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>13</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>12</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mi>D</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>15</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>16</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>15</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>16</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mi>D</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>16</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>12</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>16</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>12</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mn>3</mn> </msqrt> <mi>D</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>15</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>13</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>15</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>13</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mn>3</mn> </msqrt> <mi>D</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>+</mo> <msub> <mi>x</mi> <mn>3</mn> </msub> </mrow> <mn>3</mn> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>y</mi> <mn>2</mn> </msub> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>r</mi> <mn>0</mn> </msub> <mo>=</mo> <msqrt> <mrow> <msubsup> <mi>x</mi> <mn>0</mn> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>r</mi> <mn>1</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>-</mo> <mfrac> <mi>D</mi> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>z</mi> <mn>0</mn> </msub> <mo>=</mo> <msqrt> <mrow> <msubsup> <mi>r</mi> <mn>0</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>x</mi> <mn>0</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>y</mi> <mn>0</mn> <mn>2</mn> </msubsup> </mrow> </msqrt> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，D为所述第一麦克风与第四麦克风之间的距离；
c为声音在空气中的传播速度；
t12为所述第二麦克风与第一麦克风之间接收到声音信号的时间差；
t13为所述第三麦克风与第一麦克风之间接收到声音信号的时间差；
t14为所述第四麦克风与第一麦克风之间接收到声音信号的时间差；
t15为所述第五麦克风与第一麦克风之间接收到声音信号的时间差；
t16为所述第六麦克风与第一麦克风之间接收到声音信号的时间差；
x0为在第一坐标系中声源地的x轴坐标；
y0为在第一坐标系中声源地的y轴坐标；
z0为第一坐标系中声源地的z轴坐标；
r0为声源地距离第一麦克风与第四麦克风的中点的距离；
x1、x2、x3为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1、y2为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r0。
(53)以第二麦克风与第五麦克风的连线为x轴的第二坐标系，按照下列公式计算在第二坐标系中声源地位置：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <mn>2</mn> <msubsup> <mi>t</mi> <mn>23</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mn>2</mn> <msubsup> <mi>t</mi> <mn>21</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>25</mn> <mn>2</mn> </msubsup> </mrow> <mrow> <mn>2</mn> <msub> <mi>t</mi> <mn>25</mn> </msub> <mo>-</mo> <mn>4</mn> <msub> <mi>t</mi> <mn>23</mn> </msub> <mo>-</mo> <mn>4</mn> <msub> <mi>t</mi> <mn>21</mn> </msub> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>t</mi> <mn>25</mn> </msub> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>t</mi> <mn>25</mn> <mn>2</mn> </msubsup> </mrow> <mrow> <mn>2</mn> <mi>D</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>24</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>23</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>24</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>23</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mi>D</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <msub> <mi>x</mi> <mn>3</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>26</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>21</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>26</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>21</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mi>D</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>21</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>23</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>21</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>23</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mn>3</mn> </msqrt> <mi>D</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <msub> <mi>y</mi> <mn>2</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>26</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>24</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>26</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>24</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mn>3</mn> </msqrt> <mi>D</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <msup> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <msup> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <msup> <msub> <mi>x</mi> <mn>3</mn> </msub> <mo>&amp;prime;</mo> </msup> </mrow> <mn>3</mn> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <msup> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <msup> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>&amp;prime;</mo> </msup> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>r</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <msqrt> <mrow> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mn>2</mn> </mrow> </msup> <mo>+</mo> <msup> <msub> <mi>r</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mn>2</mn> </mrow> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <mfrac> <mi>D</mi> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>z</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <msqrt> <mrow> <msup> <mi>r</mi> <mrow> <mo>&amp;prime;</mo> <mn>2</mn> </mrow> </msup> <mo>-</mo> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mn>2</mn> </mrow> </msup> <mo>-</mo> <msup> <mi>y</mi> <mrow> <mo>&amp;prime;</mo> <mn>2</mn> </mrow> </msup> </mrow> </msqrt> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，D为所述第二麦克风与第五麦克风之间的距离；
c为声音在空气中的传播速度；
t23为所述第三麦克风与第二麦克风之间接收到声音信号的时间差；
t24为所述第四麦克风与第二麦克风之间接收到声音信号的时间差；
t25为所述第五麦克风与第二麦克风之间接收到声音信号的时间差；
t26为所述第六麦克风与第二麦克风之间接收到声音信号的时间差；
t21为所述第一麦克风与第二麦克风之间接收到声音信号的时间差；
x'为在所述第二坐标系中声源地的x轴坐标；
y'为在所述第二坐标系中声源地的y轴坐标；
z'为在所述第二坐标系中声源地的z轴坐标；
r'为声源地距离所述第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1'、x2'、x3'为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1'、y2'为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
(54)以所述第六麦克风与第三麦克风的连线为x轴的第三坐标系，按照下列计算声源地位置；
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <msub> <mi>r</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <mn>2</mn> <msubsup> <mi>t</mi> <mn>61</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mn>2</mn> <msubsup> <mi>t</mi> <mn>65</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>63</mn> <mn>2</mn> </msubsup> </mrow> <mrow> <mn>2</mn> <msub> <mi>t</mi> <mn>63</mn> </msub> <mo>-</mo> <mn>4</mn> <msub> <mi>t</mi> <mn>61</mn> </msub> <mo>-</mo> <mn>4</mn> <msub> <mi>t</mi> <mn>65</mn> </msub> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <msub> <mi>x</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msup> <msub> <mi>r</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>t</mi> <mn>63</mn> </msub> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <msubsup> <mi>t</mi> <mn>63</mn> <mn>2</mn> </msubsup> </mrow> <mrow> <mn>2</mn> <mi>D</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <msub> <mi>x</mi> <mn>2</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msup> <msub> <mi>r</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>62</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>61</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>62</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>61</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mi>D</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <msub> <mi>x</mi> <mn>3</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mo>&amp;CenterDot;</mo> <msup> <msub> <mi>r</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>64</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>65</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>64</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>65</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mi>D</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <msub> <mi>y</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mo>&amp;CenterDot;</mo> <msup> <msub> <mi>r</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>64</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>62</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>64</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>62</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mn>3</mn> </msqrt> <mi>D</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <msub> <mi>y</mi> <mn>2</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mo>&amp;CenterDot;</mo> <msup> <msub> <mi>r</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>&amp;CenterDot;</mo> <mi>c</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mn>64</mn> </msub> <mo>-</mo> <msub> <mi>t</mi> <mn>62</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mn>64</mn> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>t</mi> <mn>62</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mn>3</mn> </msqrt> <mi>D</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <msup> <msub> <mi>x</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>+</mo> <msup> <msub> <mi>x</mi> <mn>2</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>+</mo> <msup> <msub> <mi>x</mi> <mn>3</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> </mrow> <mn>3</mn> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>y</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <msup> <msub> <mi>y</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>+</mo> <msup> <msub> <mi>y</mi> <mn>2</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> </mrow> <mn>2</mn> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>r</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <msqrt> <mrow> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> <mn>2</mn> </mrow> </msup> <mo>+</mo> <msup> <msub> <mi>r</mi> <mn>1</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> <mn>2</mn> </mrow> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>-</mo> <mfrac> <mi>D</mi> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>z</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <msqrt> <mrow> <msup> <mi>r</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> <mn>2</mn> </mrow> </msup> <mo>-</mo> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> <mn>2</mn> </mrow> </msup> <mo>-</mo> <msup> <mi>y</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> <mn>2</mn> </mrow> </msup> </mrow> </msqrt> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，D为第三麦克风与第六麦克风之间的距离；
c为声音在空气中的传播速度；
t61为所述第一麦克风与第六麦克风之间接收到声音信号的时间差；
t62为所述第二麦克风与第六麦克风之间接收到声音信号的时间差；
t63为所述第三麦克风与第六麦克风之间接收到声音信号的时间差；
t64为所述第四麦克风与第六麦克风之间接收到声音信号的时间差；
t65为所述第五麦克风与第六麦克风之间接收到声音信号的时间差；
x”为在所述第三坐标系中声源地的x轴坐标；
y”为在所述第三坐标系中声源地的y轴坐标；
z”为在所述第三坐标系中声源地的z轴坐标；
r”为声源地距离第一麦克风与第四麦克风的中点的距离，即声源地的球坐标值；
x1”、x2”、x3”为计算过程产生的中间变量，根据该变量值以及上述公式能够计算出声源地的坐标值x0；
y1”、y2”为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值y0；
r1”为计算过程产生的中间变量，根据上述公式能够计算出声源地的球坐标值r”；
(55)按照下列公式将x'、y'分别换算为第一坐标系中的值：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msup> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <msqrt> <mn>3</mn> </msqrt> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mn>2</mn> </mfrac> </mtd> </mtr> <mtr> <mtd> <msup> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <msqrt> <mn>3</mn> </msqrt> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mn>2</mn> </mfrac> </mtd> </mtr> </mtable> </mfenced> 4
其中，x0'为将所述第二坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0'为将所述第二坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(56)按照下列公式将x”、y”分别换算为第一坐标系中的值：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msup> <msub> <mi>x</mi> <mn>0</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>+</mo> <msqrt> <mn>3</mn> </msqrt> <msup> <mi>y</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> </mrow> <mn>2</mn> </mfrac> </mtd> </mtr> <mtr> <mtd> <msup> <msub> <mi>y</mi> <mn>0</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <mo>-</mo> <msqrt> <mn>3</mn> </msqrt> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>+</mo> <msup> <mi>y</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> </mrow> <mn>2</mn> </mfrac> </mtd> </mtr> </mtable> </mfenced>
其中，x0”为将所述第三坐标系中声源地的x轴坐标在第一坐标系中换算后声源地位置的x轴坐标；
y0”为所述第三坐标系中声源地的y轴坐标在第一坐标系中换算后声源地位置的y轴坐标；
(57)用于按照下列公式进行声源地计算：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <msup> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <msup> <msub> <mi>x</mi> <mn>0</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>+</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> </mrow> <mn>3</mn> </mfrac> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> <mo>=</mo> <mfrac> <mrow> <msup> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>+</mo> <msup> <msub> <mi>y</mi> <mn>0</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>+</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> </mrow> <mn>3</mn> </mfrac> </mtd> </mtr> <mtr> <mtd> <mi>z</mi> <mo>=</mo> <msup> <msub> <mi>z</mi> <mn>0</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <msup> <msub> <mi>z</mi> <mn>0</mn> </msub> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mo>=</mo> <msub> <mi>z</mi> <mn>0</mn> </msub> </mtd> </mtr> </mtable> </mfenced>
其中，x为第一坐标系中的声源地x轴最终坐标；
y为第一坐标系中的声源地y轴最终坐标；
z为第一坐标系中的声源地z轴最终坐标；
用于按照以下公式计算声源地的球坐标值的装置：
其中，为最终输出的所述声源地位置的方位角；
θ为最终输出的声源地位置的俯仰角；
r为最终输出的声源地位置距离原点的距离。
xb为第一坐标系中的声源地x轴最终坐标；
yb为第一坐标系中的声源地y轴最终坐标；
zb为第一坐标系中的声源地z轴最终坐标。
6.如权利要求5所述的家居智能机器人，其特征是：所述用于运动帧与运动区域检测的装置，包括：用于采样机器人运动过程中所经过的关键场景的装置；
用于在采样关键场景前后位置图像及关键帧图像进行超像素分割的装置；
用于按照下列公式和算法在HSI空间中对超像素的HS通道信息进行聚类，建立场景模型的装置：
使用meanshift聚类算法对特征池进行聚类，得到n个聚类；每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
用于在获取到新的图像帧之后，按照下列方法选取场景模型来分析该帧是否包含运动区域的装置：
(61)选取该图像帧采集时机器人位置最为相似的关键场景，获取对应场景下的场景模型；
(62)将该图像帧进行超像素分割，得到N个超像素。每个超像素sp(r)(r＝1，...，N)由一个特征向量fr来表示；
(63)计算该帧中的超像素sp(r)和对应场景下场景模型的超像素点sp(t，r)之间的距离，选取距离最近的点所在的聚类为该帧中超像素sp(r)的类别。距离计算公式如下：
<mrow> <mi>d</mi> <mo>=</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>f</mi> <mi>r</mi> </msup> <mo>-</mo> <msubsup> <mi>f</mi> <mi>t</mi> <mi>r</mi> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
(64)依据超像素和对应的聚类中心之间的距离来计算该每个超像素属于变化区域的概率,概率计算公式如下：
超像素r属于聚类i
其中参数rc(i)代表了clst(i)在特征空间中的聚类半径，λd是一个归一化项(在实验中设置为2)。综合考虑超像素sp(r)所属于的聚类，以及和对应的聚类中心之间的距离，得出该超像素的目标置信度值将每个超像素所对应的像素位置属于变化区域的概率设置为由于取样样本数量足够大，因此可以认为得到概率图。如果则认为该超像素为变化区域；
(65)分析概率图中联通的属于变化区域的尺寸大小，如果大于阈值则认为该区域为潜在目标人区域，选取周围的部分为潜在目标人位置。
7.如权利要求5所述的家居智能机器人，其特征是：所述用于视觉目标检测的装置，包括：
用于按照下列方法将每个初始帧进行超像素分割，聚类，得到目标人表观模型的装置：
(71)将第t帧中的目标周围区域进行超像素分割，得到Nt个超像素。每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(72)使用meanshift聚类算法对特征池进行聚类，得到n个聚类。每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(73)每个clst(i)对应于训练帧中的图像区域S(i),对每个clst(i)计算两个得分，S+(i),S-(i)。前一个分数表示聚类面积S(i)和目标区域的交集大小，后面一个分数表示聚类面积S(i)在目标区域外的大小。S+(i)/S-(i)的值越大，在训练帧中区域S(i)属于目标的可能性越大。给每个聚类一个介于[1,-1]之间的打分来代表每个聚类的前景-背景置信度，记为其中特征表示使用归一化的HSI颜色空间直方图。sp代表super pixel(超像素),clst代表cluster(聚类)；
用于按照下列方法对新的图像帧使用表观模型和地图点信息得到目标位置的装置:
(74)当新的图像帧到达的时候，首先在前一帧的目标区域周围提取一个搜索区域，并且分割为Nt个超像素；
(75)聚类到目标人表观模型，依据所属于的聚类中心属性进行打分，得到置信度图，公式如下；
<mrow> <mi>w</mi> <mrow> <mo>(</mo> <mi>r</mi> <mo>,</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <msub> <mi>&amp;lambda;</mi> <mi>d</mi> </msub> <mo>&amp;times;</mo> <mfrac> <mrow> <mo>|</mo> <mo>|</mo> <msubsup> <mi>f</mi> <mi>t</mi> <mi>r</mi> </msubsup> <mo>-</mo> <msub> <mi>f</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow> <mrow> <msub> <mi>r</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>r</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>N</mi> <mi>t</mi> </msub> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mi>n</mi> </mrow>
<mrow> <msubsup> <mi>C</mi> <mi>r</mi> <mi>s</mi> </msubsup> <mo>=</mo> <mi>w</mi> <mrow> <mo>(</mo> <mi>r</mi> <mo>,</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <msubsup> <mi>C</mi> <mi>i</mi> <mi>c</mi> </msubsup> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>r</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>N</mi> <mi>t</mi> </msub> </mrow>
其中w(r，i)表示基于特征(第t帧中第r个超像素sp(t，r)的特征)和fc(i)(sp(t，r)属于的聚类的特征中心)的权重。参数rc(i)表示clst(i)在特征空间中的聚类半径，λd是一个归一化项(在试验中设置为2)。综合考虑超像素sp(t，r)所属于的聚类，以及和对应的聚类中心之间的聚类，得出该超像素的置信度值
对于整个图像帧，通过以下步骤得到每个像素的置信值。对于搜索区域内每个属于超像素sp(t，r)的像素打分为对于搜索领域之外的像素打分为-1；
(76)地图点打分，公式如下：
<mrow> <msubsup> <mi>C</mi> <mi>r</mi> <mi>m</mi> </msubsup> <mo>=</mo> <mo>-</mo> <mn>2</mn> <mo>*</mo> <mrow> <mo>(</mo> <mi>s</mi> <mi>i</mi> <mi>g</mi> <mi>m</mi> <mi>o</mi> <mi>i</mi> <mi>d</mi> <mo>(</mo> <mrow> <mi>n</mi> <mrow> <mo>(</mo> <mrow> <mi>r</mi> <mo>,</mo> <mi>k</mi> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <mn>10</mn> </mrow> <mo>)</mo> <mo>-</mo> <mn>0.5</mn> <mo>)</mo> </mrow> </mrow>
如果sp(t,r)和地图点k相邻
n(t，k)代表图像帧t中地图点k的共见次数；
(77)表观模型的得分和地图点的得分通过求均值的方式进行融合，融合的位置仅限地图点周围的超像素，没有地图点的超像素的打分仅由表观模型决定，公式如下：
(78)选择属于目标的得分最高的区域为目标位置；
(79)调整将地图点所在超像素属于目标人的概率，以备表观模型更新；
用于每追踪一定数量的图像帧之后，更新表观模型的装置。
8.如权利要求5所述的家居智能机器人，其特征是：所述用于视觉目标跟随的装置，包括：
用于计算根据权利要求7所述目标位置的水平中心位置的装置；
用于控制机器人移动，使得目标人位于机器人采集的图像水平中心位置的装置。
9.如权利要求1所述的家居智能机器人，其特征是：所述安防系统包括：
用于判断报警器是否接收到报警信息的装置；
如果不是，则用于返回至初始状态的装置；
如果是，则用于控制报警器蜂鸣装置发出报警信号的装置；
用于控制机器人显示器显示报警信息的装置；
用于控制手机终端软件发出报警信息的装置；
用于控制向用户手机发送报警短信的装置。
10.如权利要求1所述的家居智能机器人，其特征是：所述远程通信模块包括用于向网络数据库进行数据下载的装置；
所述运动模块包括红外避障装置、超声波避障装置以及紧急制动装置；
所述安防系统包括用于与所述报警器进行匹配的装置。
CN201710725579.1A 2017-08-22 2017-08-22 一种家居智能机器人 Pending CN107290975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710725579.1A CN107290975A (zh) 2017-08-22 2017-08-22 一种家居智能机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710725579.1A CN107290975A (zh) 2017-08-22 2017-08-22 一种家居智能机器人

Publications (1)

Publication Number Publication Date
CN107290975A true CN107290975A (zh) 2017-10-24

Family

ID=60107129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710725579.1A Pending CN107290975A (zh) 2017-08-22 2017-08-22 一种家居智能机器人

Country Status (1)

Country Link
CN (1) CN107290975A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108279410A (zh) * 2018-01-22 2018-07-13 成都清轻信息技术有限公司 基于声场运动和距离检测的智能锁开锁时机判定方法与系统
CN109528092A (zh) * 2018-12-20 2019-03-29 珠海市微半导体有限公司 一种清洁机器人对湿滑区域进行警示的方法
CN109885104A (zh) * 2017-12-06 2019-06-14 湘潭宏远电子科技有限公司 一种终端跟踪系统
CN110830597A (zh) * 2018-08-07 2020-02-21 深圳市玖胜云智联科技有限公司 机器人及其基于Linux系统实现AI多媒体交互的方法
CN110824939A (zh) * 2019-11-06 2020-02-21 创维集团有限公司 智能人居控制中心
CN110958416A (zh) * 2019-12-06 2020-04-03 佳讯飞鸿（北京）智能科技研究院有限公司 目标跟踪系统和远程跟踪系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965426A (zh) * 2015-06-24 2015-10-07 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制系统、方法和装置
CN105034002A (zh) * 2015-08-04 2015-11-11 北京进化者机器人科技有限公司 一种多功能家庭服务机器人
CN205281720U (zh) * 2015-12-09 2016-06-01 深圳市智安物联科技有限公司 一种智能家居安防服务机器人系统
CN106346487A (zh) * 2016-08-25 2017-01-25 威仔软件科技（苏州）有限公司 交互式vr沙盘展示机器人
CN107030691A (zh) * 2017-03-24 2017-08-11 华为技术有限公司 一种看护机器人的数据处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965426A (zh) * 2015-06-24 2015-10-07 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制系统、方法和装置
CN105034002A (zh) * 2015-08-04 2015-11-11 北京进化者机器人科技有限公司 一种多功能家庭服务机器人
CN205281720U (zh) * 2015-12-09 2016-06-01 深圳市智安物联科技有限公司 一种智能家居安防服务机器人系统
CN106346487A (zh) * 2016-08-25 2017-01-25 威仔软件科技（苏州）有限公司 交互式vr沙盘展示机器人
CN107030691A (zh) * 2017-03-24 2017-08-11 华为技术有限公司 一种看护机器人的数据处理方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885104A (zh) * 2017-12-06 2019-06-14 湘潭宏远电子科技有限公司 一种终端跟踪系统
CN108279410A (zh) * 2018-01-22 2018-07-13 成都清轻信息技术有限公司 基于声场运动和距离检测的智能锁开锁时机判定方法与系统
CN110830597A (zh) * 2018-08-07 2020-02-21 深圳市玖胜云智联科技有限公司 机器人及其基于Linux系统实现AI多媒体交互的方法
CN109528092A (zh) * 2018-12-20 2019-03-29 珠海市微半导体有限公司 一种清洁机器人对湿滑区域进行警示的方法
CN109528092B (zh) * 2018-12-20 2021-04-30 珠海市一微半导体有限公司 一种智能家用清洁机器人对湿滑区域进行警示的方法
CN110824939A (zh) * 2019-11-06 2020-02-21 创维集团有限公司 智能人居控制中心
CN110958416A (zh) * 2019-12-06 2020-04-03 佳讯飞鸿（北京）智能科技研究院有限公司 目标跟踪系统和远程跟踪系统

Similar Documents

Publication Publication Date Title
CN107290975A (zh) 一种家居智能机器人
WO2020083110A1 (zh) 一种语音识别、及语音识别模型训练方法及装置
WO2020052319A1 (zh) 目标跟踪方法、装置、介质以及设备
CN108388882B (zh) 基于全局-局部rgb-d多模态的手势识别方法
US6804396B2 (en) Gesture recognition system
WO2021103868A1 (zh) 一种行人结构化方法、装置、设备和存储介质
CN109571499A (zh) 一种智能导航引领机器人及其实现方法
CN113807276A (zh) 基于优化的YOLOv4模型的吸烟行为识别方法
WO2022041830A1 (zh) 行人重识别方法和装置
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN110135476A (zh) 一种个人安全装备的检测方法、装置、设备及系统
WO2018108176A1 (zh) 机器人视频通话控制方法、装置及终端
CN103105924B (zh) 人机交互方法和装置
US20210201478A1 (en) Image processing methods, electronic devices, and storage media
US20240169687A1 (en) Model training method, scene recognition method, and related device
WO2023231211A1 (zh) 语音识别方法、装置、电子设备、存储介质及产品
CN111738100B (zh) 一种基于口型的语音识别方法及终端设备
CN116824533A (zh) 一种基于注意力机制的远小目标点云数据特征增强方法
CN116312512A (zh) 面向多人场景的视听融合唤醒词识别方法及装置
CN113239716B (zh) 一种基于机器视觉的聋哑人手语识别语音输出方法
WO2024139874A1 (zh) 一种佩戴设备的定位方法、系统与存储介质
CN114246767B (zh) 基于云端计算的盲人智能导航眼镜系统及装置
CN116229049A (zh) 图标检测识别方法、装置、机器人及存储介质
CN117541770A (zh) 数据增强方法、装置及电子设备
WO2022063189A1 (zh) 显著性元素识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171024

RJ01 Rejection of invention patent application after publication