CN110434859A - 一种面向商业办公环境的智能服务机器人系统及其操作方法 - Google Patents

一种面向商业办公环境的智能服务机器人系统及其操作方法 Download PDF

Info

Publication number
CN110434859A
CN110434859A CN201910460829.2A CN201910460829A CN110434859A CN 110434859 A CN110434859 A CN 110434859A CN 201910460829 A CN201910460829 A CN 201910460829A CN 110434859 A CN110434859 A CN 110434859A
Authority
CN
China
Prior art keywords
primary processor
face
module
target point
intelligent sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910460829.2A
Other languages
English (en)
Other versions
CN110434859B (zh
Inventor
王俊杰
金坤
何永义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910460829.2A priority Critical patent/CN110434859B/zh
Publication of CN110434859A publication Critical patent/CN110434859A/zh
Application granted granted Critical
Publication of CN110434859B publication Critical patent/CN110434859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks

Abstract

本发明涉及一种面向商业办公环境的智能服务机器人系统及其操作方法。通过双目相机采集图像数据并传入主处理器,主处理器调用视觉身份识别程序处理图像数据,实现对用户身份识别的功能,通过主处理器发送触发信号给智能语音模块;主处理器调用智能语音程序处理语音信号,实现智能地理解用户发布的任务并且匹配任务执行的目标点功能,将目标点通过主处理器发送给自主导航模块;自主导航模块将激光雷达、移动平台与主处理器连接,通过激光雷达采集环境数据并传入主处理器,主处理器调用自主导航程序处理激光数据和目标点,将处理后的速度控制指令转换成报文格式发送给移动平台,实现机器人自主运动到目标点的功能。

Description

一种面向商业办公环境的智能服务机器人系统及其操作方法
技术领域
本发明属于机器人领域,涉及一种面向商业办公环境的智能服务机器人系统及其操作方法。
背景技术
近年来,随着人们生活水平的提高以及服务业人力成本的提升,服务机器人产业大受追捧,原本的人力资源可以通过服务机器人来代替,如医护、清洁等。但是,如今多数服务机器人还存在功能单一、动作迟缓以及交互不畅等问题,其智能化程度尚属初级水平。因此,如何让服务机器人更加智能化是服务机器人商业化的瓶颈所在。服务机器人是一个涉及多领域技术的复杂系统,其模块化以及计算资源的合理分配是服务机器人智能化的重要基础。
发明内容
针对上述问题,本发明的目的是提供一种面向商业办公环境的智能服务机器人系统及其操作方法,该系统包括主处理器、双目相机、语音采集设备、音箱、激光雷达和移动平台等硬件,通过各硬件之间的协调来实现对于系统的操作,所述操作包括视觉身份识别、智能语音交互以及自主导航。
为了实现上述目的,本发明采取以下技术方案:
一种面向商业办公环境的智能服务机器人系统,包括视觉身份识别模块、智能语音模块以及自主导航模块,其特征在于:所述视觉身份识别模块包括一个主处理器和一个双目相机,智能语音模块包括一个主处理器、一个语音采集设备和一个音箱,自主导航模块包括一个主处理器、一个激光雷达和一个移动平台;所述视觉身份识别模块将双目相机与主处理器连接,通过双目相机采集图像数据,并将图像数据传入主处理器进行处理;所述智能语音模块将语音采集设备、音箱与主处理器连接,通过语音采集设备获取用户语音,将语音数据传入主处理器进行处理,将处理后的音频信号通过音箱播放;所述自主导航模块将激光雷达、移动平台与主处理器连接,通过激光雷达获取环境数据,将激光数据传入主处理器进行处理,将处理后的数据发送到移动平台,控制其运动。
所述视觉身份识别模块中的双目相机和主处理器通过USB接口有线连接;
所述视觉身份识别模块将所述双目相机采集的图像数据传入所述主处理器后,主处理器调用视觉身份识别程序处理图像数据,实现对用户身份识别,当识别成功后,通过主处理器发送触发信号给智能语音模块。
所述智能语音模块中的语音采集设备通过AUX接口与主处理器有线连接,音箱通过蓝牙与主处理器无线连接;
所述智能语音模块接收到所述视觉身份识别模块的触发信号后,通过所述语音采集设备获取语音信号并传输至所述主处理器,主处理器调用智能语音程序处理语音信号,实现智能地理解用户发布的任务并且匹配任务执行的目标点,将目标点通过主处理器发送给自主导航模块。
所述自主导航模块中的激光雷达通过USB接口与主处理器有线连接,移动平台使用串口线与主处理器有线连接,并通过CAN总线挂载了该移动平台中的超声驱动板、电机驱动器、机械里程计和运动控制器;
所述超声驱动板通过屏蔽信号线与超声传感器有线连接,通过超声传感器感知障碍物,并将感知信息传输到超声驱动板,超声驱动板根据感知信息,在危险状况下控制所述运动控制器紧急停止;
所述电机驱动器通过驱动线和编码器线与伺服电机有线连接,电机驱动器根据电机速度控制指令控制伺服电机的转速;
所述机械里程计通过串口线与所述主处理器连接,机械里程计采集电机编码器脉冲,根据脉冲与电机分辨率计算电机速度,并根据电机速度推算机器人的位姿,将位姿信息传输给主处理器;
所述运动控制器通过串口线与所述主处理器连接,运动控制器接受主处理器发送的控制报文,并将控制报文转化为电机速度控制指令,将电机速度控制指令传输至所述电机驱动器;
所述自主导航模块接收到所述智能语音模块发送的目标点后,通过所述激光雷达采集环境数据并传入所述主处理器,所述主处理器调用自主导航程序处理激光数据和目标点,将处理后的速度控制指令转换成报文格式发送给所述移动平台,实现机器人自主运动到目标点的功能。
一种面向商业办公环境的智能服务机器人系统的操作方法,采用上述系统进行操作,其特征在于操作步骤如下:
第一步骤,通过视觉身份识别程序对用户身份进行识别,在确认用户身份之后,将触发信号发送给智能语音程序;
第二步骤,智能语音程序接收到触发信号后,对用户通过语音发布的任务进行理解,并且匹配任务执行的目标点,将目标点发送到自主导航程序;
第三步骤,自主导航程序接收到目标点后,对机器人进行定位并规划一条可行路径,控制机器人自主地移动到目标位置。
所述面向商业办公环境的智能服务机器人系统的操作方法,其特征在于所述第一步骤的具体步骤为:
(1-1)人脸检测
提出了漏斗式级联结构的人脸检测方法,具备多角度的人脸检测能力;该方法分为三层,第一层利用LAB特征估计人脸的大致位置,并对每一种姿态使用对应的LAB检测器进行检测;第二层为粗糙多层感知器MLP,使用SURF特征作为MLP的输入,进一步缩小包含人脸的像素范围;第三层为精细的多层感知器,网络深度与使用的SURF特征数比第二层感知器多,并对不同姿态的人脸统一检测,对最终检测出的人脸使用矩形框标注;
(1-2)人脸对齐
使用一种由粗到精的自编码器网络,通过层层递进的方法优化人脸检测的结果,识别出人脸的五个关键特征点——两眼中心、鼻尖和两个嘴角;
(1-3)身份识别
在完成人脸检测和人脸对齐后通过人脸特征进行识别:将五个关键特征点作为输入,提取人脸的识别码,通过比对提取的识别码与数据库中的识别码之间的距离,即可判断识别的人脸与数据库中人脸的相似程度,以此确认用户身份。
所述面向商业办公环境的智能服务机器人系统的操作方法,其特征在于所述第二步骤的具体步骤为:
(2-1)语音识别
语音识别将用户语音中的内容转换为计算机可识别的输入;将语音采集设备获取的音频信号进行傅里叶变换生成语音频谱图,并将其作为卷积神经网络的输入,卷积神经网络通过卷积层和池化层对音频进行建模,通过训练卷积神经网络将识别结果输出;
(2-2)语义理解
语义理解使计算机不仅能理解语音识别的结果,还能通过自然语言文本表达给定的意图和思想;将语音识别结果中的词组通过词嵌入方法映射成一个向量,使用循环神经网络对该向量重新编码生成一个具有语义的向量,根据注意力机制给向量赋予不同的权重,最终通过全连接神经网络将该向量解码成一段文字;
(2-3)语音合成
语音合成的目的是将语义理解生成的文字转换成音频信号;将语义理解生成的文字转换成one-hot向量,根据注意力机制获取声谱图,最终重构语音信号的相位信息,从而将输入文字转换成音频信号。所述面向商业办公环境的智能服务机器人系统的操作方法,其特征在于所述第三步骤的具体步骤为:
(3-1)定位
根据机械里程计传输的机器人位姿以及激光雷达传输的激光数据,完成机器人对所处环境的识别与定位,定位过程包括预测和更新两步:
预测步骤,根据机器人相对于上一时刻的位姿和机械里程计传输的机器人相对位姿ut,预测
其在当前时刻的全局位姿
更新步骤,通过激光雷达传输的激光数据zt,对预测的全局位姿进行更新,得到更新之后的全局位姿
(3-2)路径规划
根据智能语音程序发送的目标点以及定位步骤计算的机器人全局位姿,智能地规划从当前位置到目标位置的可行路径;
(3-3)运动控制
通过模型预测控制方法预测机器人在未来一个时间段内的运动,通过不断优化参数来拟合这一运动,并且生成机器人的速度控制指令,将速度控制指令发送到移动平台,控制移动平台运动到指定目标位置。
本发明与现有技术相比较,具有如下显而易见的突出实质性特点和显著技术进步:提供了一种面向商业办公环境的智能服务机器人系统,它能够识别用户身份,通过语音接受用户任务,并且在复杂的动态环境中实现自主导航,使得用户与机器人的交互更为方便。
附图说明
图1为本发明的智能服务机器人系统示意图;
图2为本发明的机器人系统操作方法示意图;
图3为本发明的视觉身份识别程序示意图;
图4为本发明的智能语音程序示意图;
图5为本发明的自主导航程序示意图。
具体实施方式
结合以下优选实施例和附图对本发明作进一步描述。
实施例一:参见图1,本面向商业办公环境的智能服务机器人系统,包括视觉身份识别模块M1、智能语音模块M2以及自主导航模块M3,其特征在于:所述视觉身份识别模块M1包括一个主处理器1和一个双目相机2,智能语音模块M2包括一个主处理器1、一个语音采集设备3和一个音箱4,自主导航模块M3包括一个主处理器1、一个激光雷达5和一个移动平台6;所述视觉身份识别模块M1将双目相机2与主处理器1连接,通过双目相机2采集图像数据,并将图像数据传入主处理器1进行处理;所述智能语音模块M2将语音采集设备3、音箱4与主处理器1连接,通过语音采集设备3获取用户语音,将语音数据传入主处理器1进行处理,将处理后的音频信号通过音箱4播放;所述自主导航模块M3将激光雷达5、移动平台6与主处理器1连接,通过激光雷达5获取环境数据,将激光数据传入主处理器1进行处理,将处理后的数据发送到移动平台6,控制其运动。
实施例二:本实施例与实施例一基本相同,其特别之处如下:
所述视觉身份识别模块M1中的双目相机2和主处理器1通过USB接口有线连接;所述视觉身份识别模块M1将所述双目相机2采集的图像数据传入所述主处理器1后,主处理器1调用视觉身份识别程序处理图像数据,实现对用户身份识别,当识别成功后,通过主处理器1发送触发信号给智能语音模块M2;
所述智能语音模块M2中的语音采集设备3通过AUX接口与主处理器1有线连接,音箱4通过蓝牙与主处理器1无线连接;所述智能语音模块M2接收到所述视觉身份识别模块M1的触发信号后,通过所述语音采集设备3获取语音信号并传输至所述主处理器1,主处理器1调用智能语音程序处理语音信号,实现智能地理解用户发布的任务并且匹配任务执行的目标点,将目标点通过主处理器1发送给自主导航模块M3;
所述自主导航模块M3中的激光雷达5通过USB接口与主处理器1有线连接,移动平台6使用串口线与主处理器1有线连接,并通过CAN总线挂载了该移动平台6中的超声驱动板61、电机驱动器62、机械里程计63和运动控制器64;
所述超声驱动板61通过屏蔽信号线与超声传感器65有线连接,通过超声传感器65感知障碍物,并将感知信息传输到超声驱动板61,超声驱动板61根据感知信息,在危险状况下控制所述运动控制器64紧急停止;
所述电机驱动器62通过驱动线和编码器线与伺服电机66有线连接,电机驱动器62根据电机速度控制指令控制伺服电机66的转速;
所述机械里程计63通过串口线与所述主处理器1连接,机械里程计63采集电机编码器脉冲,根据脉冲与电机分辨率计算电机速度,并根据电机速度推算机器人的位姿,将位姿信息传输给主处理器1;
所述运动控制器64通过串口线与所述主处理器1连接,运动控制器64接受主处理器1发送的控制报文,并将控制报文转化为电机速度控制指令,将电机速度控制指令传输至所述电机驱动器62;
所述自主导航模块M3接收到所述智能语音模块M2发送的目标点后,通过所述激光雷达5采集环境数据,所述主处理器1调用自主导航程序处理激光数据和目标点,将处理后的速度控制指令转换成报文格式发送给所述移动平台6,实现机器人自主运动到目标点的功能。
实施例三:参见图2,本面向商业办公环境的智能服务机器人系统的操作方法,采用上述系统进行操作,其特征在于操作步骤具体如下:
第一步骤,通过视觉身份识别程序S1对用户身份进行识别,在确认用户身份之后,将触发信号发送给智能语音程序S2;
第二步骤,智能语音程序S2接收到触发信号后,对用户通过语音发布的任务进行理解,并且匹配任务执行的目标点,将目标点发送到自主导航程序S3;
第三步骤,自主导航程序S3接收到目标点后,对机器人进行定位并规划一条可行路径,控制机器人自主地移动到目标位置。
实施例四:参见图1,本面向商业办公环境的智能服务机器人系统,包括视觉身份识别模块M1、智能语音模块M2和自主导航模块M3,所述视觉身份识别模块M1将双目相机2与主处理器1连接,通过双目相机2采集图像数据,并将图像数据传入主处理器1进行处理;所述智能语音模块M2将语音采集设备3、音箱4与主处理器1连接,通过语音采集设备3获取用户语音,将语音数据传入主处理器1进行处理,将处理后的音频信号通过音箱4播放;所述自主导航模块M3将激光雷达5、移动平台6与主处理器1连接,通过激光雷达5获取环境数据,将激光数据传入主处理器1进行处理,将处理后的数据发送到移动平台6,控制其运动。
所述视觉身份识别模块M1包括主处理器1和双目相机2;
所述主处理器1采用嵌入式工控主板MIO-5272U,它搭载了Intel i7 6600U双核处理器,并且包含串口、USB2.0、USB3.0以及MiniPCIe等传输接口,由于它功耗低、可靠性高和计算能力强等优点,使得系统在保证计算能力的条件下可以很好地兼顾稳定性;
所述双目相机2采用MYNTEYE相机,它可以适应室外强光环境,识别距离达到15米,其图像分辨率为480x752,帧率为20赫兹,双目基线距离为120毫米,可以提供实时稳定的图像源;
所述嵌入式工控主板MIO-5272U和MYNTEYE相机通过USB3.0接口有线连接;
所述视觉身份识别模块M1将MYNTEYE相机采集的图像数据传入嵌入式工控主板MIO-5272U,嵌入式工控主板MIO-5272U调用视觉身份识别程序处理图像数据,实现对用户身份识别的功能,当识别成功后,通过MIO-5272U发送触发信号给智能语音模块M2。
所述智能语音模块M2包括语音采集设备3、音箱4和嵌入式工控主板MIO-5272U;
所述语音采集设备3采用六麦环形阵列,它可以实现声源定位和噪声抑制,声源定位通过一组环形均匀分布的六个麦克风对整个语音识别区域进行搜索,对麦克风中各个接收器所接收信号进行累加形成波束,然后通过人为的控制波束方向进行搜索,波束能量最大的位置就是声源,噪声抑制通过削减除声源方向以外的噪声,保证采集的声源信号品质;
所述六麦环形阵列通过AUX接口与嵌入式工控主板MIO-5272U有线连接;
所述音箱4采用索尼的SRS-XB10音箱,它的优点是小巧便携,并且通过被动振膜和单声道扬声器改善了低音表现;
所述SRS-XB10音箱通过蓝牙与嵌入式工控主板MIO-5272U无线连接;
所述智能语音模块M2接收到所述视觉身份识别模块M1的触发信号后,通过六麦环形阵列获取语音信号并传输至嵌入式工控主板MIO-5272U,MIO-5272U调用智能语音程序处理语音信号,实现智能地理解用户发布的任务并且匹配任务执行的目标点等功能,最终将目标点通过MIO-5272U发送给自主导航模块M3。
所述自主导航模块M3包括激光雷达5、移动平台6和嵌入式工控主板MIO-5272U;
所述激光雷达5选用RPLIDAR A2,它能够对周围环境进行360度扫描,其测距范围为0.15-16米,角分辨率为0.9度,扫描频率为10赫兹,具备较高测量精度和抗干扰能力,具有很高的性价比;
所述RPLIDAR A2通过USB2.0接口与嵌入式工控主板MIO-5272U有线连接;
所述移动平台6通过CAN总线挂载了超声驱动板61、电机驱动器62、机械里程计63和运动控制器64,超声驱动板61通过屏蔽线号线与超声传感器65连接,电机驱动器62通过驱动线和编码器线与伺服电机66连接;
所述超声驱动板61采用STM32F407作为处理核心,通过ADC数模转换通道采集超声传感器65的信号,在危险状况下控制所述运动控制器64紧急停止;
所述电机驱动器62采用SA3L06B伺服驱动器,根据电机速度控制指令控制伺服电机66的转速;
所述机械里程计63采用STM32F429处理器作为处理核心,使用IO接口接收伺服电机66的编码器脉冲,并推算机器人相对位姿变化;
所述运动控制器64采用STM32F67处理器,接受嵌入式工控主板MIO-5272U发送的控制报文,并将控制报文转化为电机速度控制指令,将电机速度控制指令传输至SA3L06B伺服驱动器;
所述超声传感器65采用CUM18-M1EV型传感器,采用24V电压供电,输出0-10V模拟量信号,其作用是感知一定范围内的障碍物信息,并将感知信息传输到超声驱动板61;
所述伺服电机66采用SM 80-024-30LFB型伺服电机,额定功率为750W;
所述自主导航模块M3接收到所述智能语音模块M2发送的目标点后,通过RPLIDARA2采集环境数据并传入所述嵌入式工控主板MIO-5272U,MIO-5272U调用自主导航程序处理激光数据和目标点,将处理后的速度控制指令转换成报文格式发送给所述移动平台6,实现机器人自主运动到目标点的功能。
参见图2,本面向商业办公环境的智能服务机器人系统的操作方法,采用上述系统进行操作,其特征在于操作步骤如下:
第一步骤,通过视觉身份识别程序S1对用户身份进行识别,在确认用户身份之后,将触发信号发送给智能语音程序S2;
第二步骤,智能语音程序S2接收到触发信号后,对用户通过语音发布的任务进行理解,并且匹配任务执行的目标点,将目标点发送到自主导航程序S3;
第三步骤,自主导航程序S3接收到目标点后,对机器人进行定位并规划一条可行路径,控制机器人自主地移动到目标位置。
参见图3,所述智能服务机器人系统的操作方法,其特征在于所述第一步骤,视觉身份识别程序S1首先通过人脸检测子程序S11检测出人脸所在区域,然后运行人脸对齐子程序S12在人脸所在区域检测关键特征,最后通过身份识别子程序S13验证用户身份,如果验证成功,则向智能语音程序S2发送触发信号,其具体步骤为:
(1-1)人脸检测子程序S11
人脸检测子程序S11使用漏斗式级联结构的人脸检测方法,具备多角度的人脸检测能力;该方法分为三层,第一层利用LAB特征估计人脸的大致位置,并对每一种姿态使用对应的LAB检测器进行检测;第二层为粗糙多层感知器MLP,使用SURF特征作为MLP的输入,进一步缩小包含人脸的像素范围;第三层为精细的多层感知器,网络深度与使用的SURF特征数比第二层感知器多,并对不同姿态的人脸统一检测,对最终检测出的人脸使用矩形框标注;
(1-2)人脸对齐子程序S12
人脸对齐子程序S12使用一种由粗到精的自编码器网络,通过层层递进的方法优化人脸检测的结果,识别出人脸的五个关键特征点——两眼中心、鼻尖和两个嘴角,并将这五个关键特征点输出;
(1-3)身份识别子程序S13
身份识别子程序S13将五个关键特征点作为输入,提取人脸的识别码,通过比对提取的识别码与数据库中的识别码之间的距离,即可判断识别的人脸与数据库中人脸的相似程度,以此确认用户身份。
参见图4,所述智能服务机器人系统的操作方法,其特征在于所述第二步骤,智能语音程序S2首先通过语音识别子程序S21将用户语音转化为计算机可识别的文本,然后通过语义理解子程序S22理解文本内容并匹配任务执行的目标点,最后运行语音合成子程序S23将目标信息转化为音频信号,并且将目标信息发送给自主导航程序S3,其具体步骤为:
(2-1)语音识别子程序S21
语音识别子程序S21将六麦环形阵列采集的音频信号进行傅里叶变换生成语音频谱图,并将其作为卷积神经网络的输入,卷积神经网络通过卷积层和池化层对音频进行建模,通过训练卷积神经网络将识别出的本文输出;
(2-2)语义理解子程序S22
语义理解子程序S22将语音识别得到的文本中的词组通过词嵌入方法映射成一个向量,使用循环神经网络对该向量重新编码生成一个具有语义的向量,根据注意力机制给向量赋予不同的权重,最终通过全连接神经网络将该向量解码成目标信息;
(2-3)语音合成子程序S23
语音合成子程序S23将语义理解生成的目标信息转换成one-hot向量,根据注意力机制获取声谱图,最终重构语音信号的相位信息,从而将输入的目标信息转换成音频信号。
参见图5,所述智能服务机器人系统的操作方法,其特征在于所述第三步骤,自主导航程序S3首先通过定位子程序S31获取机器人当前的全局位姿,然后将机器人全局位姿和目标点作为路径规划子程序S32的输入,运行路径规划子程序S32获取机器人可行路径,最后通过运动控制子程序S33向移动平台6发送控制报文,其具体步骤为:
(3-1)定位子程序S31
定位子程序S31将机械里程计63传输的机器人位姿和激光雷达5传输的激光数据作为输入,完成机器人对所处环境的识别与定位,定位过程包括预测和更新两步:
预测步骤,根据机器人相对于上一时刻的位姿和机械里程计63传输的机器人相对位姿ut,预测其在当前时刻的全局位姿
更新步骤,通过激光雷达5传输的激光数据zt,对预测的全局位姿进行更新,得到更新之后的全局位姿
将更新后的机器人当前全局位姿输出;
(3-2)路径规划子程序S32
路径规划子程序S32将目标位置和定位子程序S31输出的当前全局位姿作为输入,智能地规划从当前全局位姿到目标位置的可行路径,从当前位置开始按照整体代价最优的策略不断搜索路径,直到搜索到目标位置,从而获得一条最优的可行路径并输出;
(3-3)运动控制子程序S33
运动控制子程序S33将路径规划子程序S32规划的可行路径作为输入,通过模型预测控制方法预测机器人在未来一个时间段内的运动,通过不断优化参数来拟合这一运动,并且生成机器人的速度控制指令,将速度控制指令发送到移动平台6,控制移动平台6运动到指定目标位置。

Claims (8)

1.一种面向商业办公环境的智能服务机器人系统,包括视觉身份识别模块(M1)、智能语音模块(M2)以及自主导航模块(M3),其特征在于:所述视觉身份识别模块(M1)包括一个主处理器(1)和一个双目相机(2),智能语音模块(M2)包括一个主处理器(1)、一个语音采集设备(3)和一个音箱(4),自主导航模块(M3)包括一个主处理器(1)、一个激光雷达(5)和一个移动平台(6);所述视觉身份识别模块(M1)将双目相机(2)与主处理器(1)连接,通过双目相机(2)采集图像数据,并将图像数据传入主处理器(1)进行处理;所述智能语音模块(M2)将语音采集设备(3)、音箱(4)与主处理器(1)连接,通过语音采集设备(3)获取用户语音,将语音数据传入主处理器(1)进行处理,将处理后的音频信号通过音箱(4)播放;所述自主导航模块(M3)将激光雷达(5)、移动平台(6)与主处理器(1)连接,通过激光雷达(5)获取环境数据,将激光数据传入主处理器(1)进行处理,将处理后的数据发送到移动平台(6),控制其运动。
2.根据权利要求1所述的面向商业办公环境的智能服务机器人系统,其特征在于:所述视觉身份识别模块(M1)中的双目相机(2)和主处理器(1)通过USB接口有线连接;
所述视觉身份识别模块(M1)将所述双目相机(2)采集的图像数据传入所述主处理器(1)后,主处理器(1)调用视觉身份识别程序处理图像数据,实现对用户身份识别,当识别成功后,通过主处理器(1)发送触发信号给智能语音模块(M2)。
3.根据权利要求1所述的面向商业办公环境的智能服务机器人系统,其特征在于:所述智能语音模块(M2)中的语音采集设备(3)通过AUX接口与主处理器(1)有线连接,音箱(4)通过蓝牙与主处理器(1)无线连接;
所述智能语音模块(M2)接收到所述视觉身份识别模块(M1)的触发信号后,通过所述语音采集设备(3)获取语音信号并传输至所述主处理器(1),主处理器(1)调用智能语音程序处理语音信号,实现智能地理解用户发布的任务并且匹配任务执行的目标点,将目标点通过主处理器(1)发送给自主导航模块(M3)。
4.根据权利要求1所述的面向商业办公环境的智能服务机器人系统,其特征在于:所述自主导航模块(M3)中的激光雷达(5)通过USB接口与主处理器(1)有线连接,移动平台(6)使用串口线与主处理器(1)有线连接,并通过CAN总线挂载了该移动平台(6)中的超声驱动板(61)、电机驱动器(62)、机械里程计(63)和运动控制器(64);
所述超声驱动板(61)通过屏蔽信号线与超声传感器(65)有线连接,通过超声传感器(65)感知障碍物,并将感知信息传输到超声驱动板(61),超声驱动板(61)根据感知信息,在危险状况下控制所述运动控制器(64)紧急停止;
所述电机驱动器(62)通过驱动线和编码器线与伺服电机(66)有线连接,电机驱动器(62)根据电机速度控制指令控制伺服电机(66)的转速;
所述机械里程计(63)通过串口线与所述主处理器(1)连接,机械里程计(63)采集电机编码器脉冲,根据脉冲与电机分辨率计算电机速度,并根据电机速度推算机器人的位姿,将位姿信息传输给主处理器(1);
所述运动控制器(64)通过串口线与所述主处理器(1)连接,运动控制器(64)接受主处理器(1)发送的控制报文,并将控制报文转化为电机速度控制指令,将电机速度控制指令传输至所述电机驱动器(62);
所述自主导航模块(M3)接收到所述智能语音模块(M2)发送的目标点后,通过所述激光雷达(5)采集环境数据并传入所述主处理器(1),所述主处理器(1)调用自主导航程序处理激光数据和目标点,将处理后的速度控制指令转换成报文格式发送给所述移动平台(6),实现机器人自主运动到目标点的功能。
5.一种面向商业办公环境的智能服务机器人系统的操作方法,采用根据权利要求1的面向商业办公环境的智能服务机器人系统进行操作,其特征在于操作步骤如下:
第一步骤,通过视觉身份识别程序对用户身份进行识别,在确认用户身份之后,将触发信号发送给智能语音程序;
第二步骤,智能语音程序接收到触发信号后,对用户通过语音发布的任务进行理解,并且匹配任务执行的目标点,将目标点发送到自主导航程序;
第三步骤,自主导航程序接收到目标点后,对机器人进行定位并规划一条可行路径,控制机器人自主地移动到目标位置。
6.根据权利要求5所述的面向商业办公环境的智能服务机器人系统的操作方法,其特征在于所述第一步骤的具体步骤为:
(1-1)人脸检测
提出了漏斗式级联结构的人脸检测方法,具备多角度的人脸检测能力;该方法分为三层,第一层利用LAB特征估计人脸的大致位置,并对每一种姿态使用对应的LAB检测器进行检测;第二层为粗糙多层感知器MLP,使用SURF特征作为MLP的输入,进一步缩小包含人脸的像素范围;第三层为精细的多层感知器,网络深度与使用的SURF特征数比第二层感知器多,并对不同姿态的人脸统一检测,对最终检测出的人脸使用矩形框标注;
(1-2)人脸对齐
使用一种由粗到精的自编码器网络,通过层层递进的方法优化人脸检测的结果,识别出人脸的五个关键特征点——两眼中心、鼻尖和两个嘴角;
(1-3)身份识别
在完成人脸检测和人脸对齐后通过人脸特征进行识别:将五个关键特征点作为输入,提取人脸的识别码,通过比对提取的识别码与数据库中的识别码之间的距离,即可判断识别的人脸与数据库中人脸的相似程度,以此确认用户身份。
7.根据权利要求5所述的面向商业办公环境的智能服务机器人系统的操作方法,其特征在于所述第二步骤的具体步骤为:
(2-1)语音识别
语音识别将用户语音中的内容转换为计算机可识别的输入;将语音采集设备获取的音频信号进行傅里叶变换生成语音频谱图,并将其作为卷积神经网络的输入,卷积神经网络通过卷积层和池化层对音频进行建模,通过训练卷积神经网络将识别结果输出;
(2-2)语义理解
语义理解使计算机不仅能理解语音识别的结果,还能通过自然语言文本表达给定的意图和思想;将语音识别结果中的词组通过词嵌入方法映射成一个向量,使用循环神经网络对该向量重新编码生成一个具有语义的向量,根据注意力机制给向量赋予不同的权重,最终通过全连接神经网络将该向量解码成一段文字;
(2-3)语音合成
语音合成的目的是将语义理解生成的文字转换成音频信号;将语义理解生成的文字转换成one-hot向量,根据注意力机制获取声谱图,最终重构语音信号的相位信息,从而将输入文字转换成音频信号。
8.根据权利要求5所述的面向商业办公环境的智能服务机器人系统的操作方法,其特征在于所述第三步骤的具体步骤为:
(3-1)定位
根据机械里程计传输的机器人位姿以及激光雷达传输的激光数据,完成机器人对所处环境的识别与定位,定位过程包括预测和更新两步:
预测步骤,根据机器人相对于上一时刻的位姿和机械里程计传输的机器人相对位姿ut,预测其在当前时刻的全局位姿
更新步骤,通过激光雷达传输的激光数据zt,对预测的全局位姿进行更新,得到更新之后的全局位姿
(3-2)路径规划
根据智能语音程序发送的目标点以及定位步骤计算的机器人全局位姿,智能地规划从当前位置到目标位置的可行路径;
(3-3)运动控制
通过模型预测控制方法预测机器人在未来一个时间段内的运动,通过不断优化参数来拟合这一运动,并且生成机器人的速度控制指令,将速度控制指令发送到移动平台,控制移动平台运动到指定目标位置。
CN201910460829.2A 2019-05-30 2019-05-30 一种面向商业办公环境的智能服务机器人系统及其操作方法 Active CN110434859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910460829.2A CN110434859B (zh) 2019-05-30 2019-05-30 一种面向商业办公环境的智能服务机器人系统及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910460829.2A CN110434859B (zh) 2019-05-30 2019-05-30 一种面向商业办公环境的智能服务机器人系统及其操作方法

Publications (2)

Publication Number Publication Date
CN110434859A true CN110434859A (zh) 2019-11-12
CN110434859B CN110434859B (zh) 2022-11-08

Family

ID=68429207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910460829.2A Active CN110434859B (zh) 2019-05-30 2019-05-30 一种面向商业办公环境的智能服务机器人系统及其操作方法

Country Status (1)

Country Link
CN (1) CN110434859B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111906785A (zh) * 2020-07-23 2020-11-10 谈斯聪 多模式综合信息识别移动式双臂机器人装置系统及方法
CN115795278A (zh) * 2022-12-02 2023-03-14 广东元一科技实业有限公司 一种智能铺布机控制方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060089764A1 (en) * 2004-10-22 2006-04-27 Misha Filippov System and method for terrain feature tracking
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法
CN106529494A (zh) * 2016-11-24 2017-03-22 深圳市永达电子信息股份有限公司 一种基于多摄像头机型的人脸识别方法
CN108245384A (zh) * 2017-12-12 2018-07-06 清华大学苏州汽车研究院(吴江) 基于增强学习的双目视觉导盲仪
CN108564049A (zh) * 2018-04-22 2018-09-21 北京工业大学 一种基于深度学习的快速人脸检测识别方法
CN108818569A (zh) * 2018-07-30 2018-11-16 浙江工业大学 面向公共服务场景的智能机器人系统
CN108955679A (zh) * 2018-08-16 2018-12-07 电子科技大学 一种变电站智能巡检机器人高精度定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060089764A1 (en) * 2004-10-22 2006-04-27 Misha Filippov System and method for terrain feature tracking
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法
CN106529494A (zh) * 2016-11-24 2017-03-22 深圳市永达电子信息股份有限公司 一种基于多摄像头机型的人脸识别方法
CN108245384A (zh) * 2017-12-12 2018-07-06 清华大学苏州汽车研究院(吴江) 基于增强学习的双目视觉导盲仪
CN108564049A (zh) * 2018-04-22 2018-09-21 北京工业大学 一种基于深度学习的快速人脸检测识别方法
CN108818569A (zh) * 2018-07-30 2018-11-16 浙江工业大学 面向公共服务场景的智能机器人系统
CN108955679A (zh) * 2018-08-16 2018-12-07 电子科技大学 一种变电站智能巡检机器人高精度定位方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111906785A (zh) * 2020-07-23 2020-11-10 谈斯聪 多模式综合信息识别移动式双臂机器人装置系统及方法
WO2022016826A1 (zh) * 2020-07-23 2022-01-27 谈斯聪 多模式综合信息识别移动式双臂机器人装置、系统及方法
CN115795278A (zh) * 2022-12-02 2023-03-14 广东元一科技实业有限公司 一种智能铺布机控制方法、装置及电子设备
CN115795278B (zh) * 2022-12-02 2023-08-04 广东元一科技实业有限公司 一种智能铺布机控制方法、装置及电子设备

Also Published As

Publication number Publication date
CN110434859B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN111432989B (zh) 人工增强基于云的机器人智能框架及相关方法
US11056096B2 (en) Artificial intelligence (AI)-based voice sampling apparatus and method for providing speech style in heterogeneous label
CN109767769B (zh) 一种语音识别方法、装置、存储介质及空调
CN102023703B (zh) 组合唇读与语音识别的多模式界面系统
US7801332B2 (en) Controlling a system based on user behavioral signals detected from a 3D captured image stream
CN103730116B (zh) 在智能手表上实现智能家居设备控制的系统及其方法
US8588464B2 (en) Assisting a vision-impaired user with navigation based on a 3D captured image stream
CN106182027B (zh) 一种开放式服务机器人系统
KR102281602B1 (ko) 사용자의 발화 음성을 인식하는 인공 지능 장치 및 그 방법
KR20190096307A (ko) 음성 인식 서비스를 제공하는 인공 지능 장치 및 그의 동작 방법
KR102306393B1 (ko) 음성 처리 장치 및 음성 처리 방법
CN108297108B (zh) 一种球形跟随机器人及其跟随控制方法
CN110434859A (zh) 一种面向商业办公环境的智能服务机器人系统及其操作方法
KR20190113693A (ko) 단어 사용 빈도를 고려하여 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
KR20190104263A (ko) 인공지능 기반의 음성 인식 서비스 제공 장치 및 방법
CN109557920A (zh) 一种自动导航建图机器人及控制方法
Kuriakose et al. DeepNAVI: A deep learning based smartphone navigation assistant for people with visual impairments
KR20190094304A (ko) 음성 인식 기능을 제공하는 인공 지능 로봇 및 그의 동작 방법
KR20190118539A (ko) 발화 스타일을 고려하여 음성을 인식하는 인공 지능 장치 및 그 방법
CN108500988A (zh) 一种智能机器人
Nguyen et al. Web-based object detection and sound feedback system for visually impaired people
KR20210066328A (ko) 자연어 이해 모델을 학습시키기 위한 인공 지능 장치
CN204972148U (zh) 一种基于深度体感摄影机的导盲杖
US11322134B2 (en) Artificial intelligence device and operating method thereof
CN107309883A (zh) 智能机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant