CN107563886A - 基于银行导览系统的智能服务机器人系统 - Google Patents

基于银行导览系统的智能服务机器人系统 Download PDF

Info

Publication number
CN107563886A
CN107563886A CN201710678553.6A CN201710678553A CN107563886A CN 107563886 A CN107563886 A CN 107563886A CN 201710678553 A CN201710678553 A CN 201710678553A CN 107563886 A CN107563886 A CN 107563886A
Authority
CN
China
Prior art keywords
module
robot
bank
client
service system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710678553.6A
Other languages
English (en)
Inventor
禹鑫燚
汪涛
欧林林
杨帆
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201710678553.6A priority Critical patent/CN107563886A/zh
Publication of CN107563886A publication Critical patent/CN107563886A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)

Abstract

一种基于银行导览系统的智能服务机器人系统,模块主要划分为数据采集层、算法处理层、执行控制层三个部分,数据采集层包括传感器模块;算法处理层包括语音模块、人脸识别模块、避障模块;执行控制层包括底盘移动模块、前端业务系统模块等。软件系统采用了B/S通信架构,模块与模块之间基于ROS消息发布/订阅通信机制,数据采集层采集传感器信息,数据作为输入传给算法处理层进行处理,处理完的输出传给执行控制层去达到控制的效果;前端业务系统模块采用html进行开发,银行客户可以在前端业务系统模块中完成转账、现金存款等自助业务,如果为人工业务,客户也能通过前端业务系统模块的界面上的区域分布图选择相应业务点,由服务机器人导航引导到该业务点;该系统通过友好的人机交互过程,实现了对银行客户办理业务过程的智能引导。

Description

基于银行导览系统的智能服务机器人系统
技术领域
本发明涉及一种银行智能服务机器人系统,适用于银行环境中的业务办理以及智能引导;满足银行客户的业务办理需求。
背景技术
机器人诞生于20世纪60年代初期,美国、英国、苏联等国家在该领域大力发展,竞争世界霸主的地位。60年代以后,苏联和美国两个超级大国为了争夺世界地位,相继自主研发了机器人。机器人技术的演变进程大致可以分为三代。
第一代是示教再现型机器人,世界上最早的两种示教再现型机器人被应用于工业领域,它们是“尤尼梅特”和“沃尔萨特蓝”服务机器人。需要服务机器人完成的动作,由人类操纵机械手臂或者向控制器发送相关指令,让机械手臂自动运动,以这样的两种方式进行示范,在动作启动再到停下来的过程中,服务机器人会把机械手臂动作从头至尾储存在记忆装置中。机器人可以把人类教给他的动作再现,并能够保存重复相同的执行状态。但是该类型的服务机器人很难适应环境的改变,面临外界信息几乎不具有反馈能力。
第二代是具有感知能力的机器人,这类机器人可以有选择性地具有触觉、视觉、听觉等功能,一定程度上,可以较好地对外界环境进行感知。机器人在工作状态下,自身的工作状态可以根据传感器感知的环境信息的改变而做出灵活调整。即使是陌生的环境,也能很快适应并且顺利完成工作。
第三代是智能服务机器人,它依靠安装在机器人身上的不同类别的传感器,实时获取周围的环境信息,然后利用人工智能技术进行独立思维、学习、识别、推理,并作出判断和决策,具备自主运行能力强、智能化程序较高等优点。能够顺利、准确的完成既定任务,属于高级机器人。
目前,应用到银行营业厅场景下的智能服务机器人还不是很多,主要原因有银行的业务体系流程比较繁琐复杂,并且在银行环境下人流量较大,对于银行机器人的智能引导是一个考验。
复旦大学的林剑峰、白昊昱提出了一种开放智能计算机架构的家用多功能小型服务机器人(林剑峰,白昊昱:中国,CN200710040031[X].2007-04-26),其详细介绍了一种小型的具有高度智能的家用服务型机器人,使机器人具备机器视觉、听觉、高度智能规划和功能扩展的能力,但其声音采集模块是通过采集声源数据,并对其进行加工和编码,再通过无线传输单元传送给智能计算模块,这种声音识别方式可能导致识别精度不够高,并且该发明除了语音交互没有接触式交互的方式,所以在人机交互这方面用户体验可能会有所欠缺。
弗徕威数码科技(上海)有限公司的万伯涛、敬国喜提出了一种用于酒店及病房的智能服务机器人(万伯涛,敬国喜:中国,CN201320575176[0].2013-09-16),其详细介绍了一种用于酒店及病房的智能服务机器人,引导所述智能服务机器人对外部固定物体的位置识别以找到物体配送目标,同时实现服务机器人自定位,以规划运行路径,该发明可用于酒店传菜、病房配送药品。该发明对外部固定物体的识别通过指定物体的颜色、形状以及属性来达到识别的效果,这种识别方式不够智能,在实际应用中很有可能会出现偏差。
如今,银行网点依然是银行的重要收入来源,银行纷纷进行网点转型以实现降低成本、增加收入的目的。很多银行网点在转型中选择了智慧银行,以更好地吸引和稳定客户,很大程度上解决了银行网点客户大量流失的难题。智慧银行对客户互联网预约、到达网点后的主动接待、排队流程、服务流程、营销流程、沟通互动流程、交叉销售流程等进行了整合优化,实现了全行集中、统一、立体的网点智能化服务体系,帮助银行打造新一代、全功能、全智能模式的新型金融服务体系。
智能引导功能作为智慧银行的一个组成部分,起到举足轻重的作用,它能便捷快速的为客户业务引导以及排队取票,提升客户满意度以及客户的体验度。为了进一步提升服务质量,本发明提出基于银行导览系统的智能服务机器人系统研发。
发明内容
为克服现有技术的上述缺点,本发明提出一种基于银行导览系统的智能服务机器人系统。
首先,该系统中的前端业务系统模块具有人性化的操作界面,让客户能够直观的了解银行整个业务流程,并显示出银行网点的区域分布图,其次前端业务系统模块与银行系统能够通过WiFi连接,银行系统服务器端能够对整个业务流程进行监控;其次采用智能语音识别技术对客户提出的问题做出回答,让客户的体验更好,采用身份证读卡设备、银行卡读卡设备、人脸识别技术对银行客户的身份进行多重验证,保证了银行系统的安全性;并且该系统的避障模块引入了动态窗口法,进行局部路径规划,使得银行服务机器人具有智能引导的功能。
本发明为解决以上业务需求所采用的技术方案是:
前端业务系统模块,前端业务系统模块安装在银行服务机器人的主控机上,与银行服务机器人外部的身份证读卡设备,银行卡读卡设备通过串口连接,其输入为客户的信息,银行客户通过在身份证、银行卡读卡设备上刷卡,进入前端业务系统模块,同时前端业务系统模块向银行系统服务器端发送Http请求,通过Servlet处理Http请求,再由银行系统服务器端向银行业务系统模块返回应答,用于客户对整个业务系统进行操作,完成客户需要办理的自助业务,前端业务系统模块还与后台运行的语音模块和底盘移动模块通过JavaScript脚本文件连接,前端业务系统模块接收到客户请求后,通过脚本文件,向语音模块发布文本数据;向底盘移动模块发布移动指令;
避障模块,该模块与传感器模块、底盘移动模块相连接,与传感器模块连接部分,其输入为距离传感器获取到的障碍物的最短距离值,与底盘移动模块连接部分,其输入为银行服务机器人当前的速度与方向角,该模块通过局部控制器完成对服务机器人进行安全平稳的移动控制,使其从一个航点运动到下一个航点并最终到达任务的目标位置;局部控制器经过模块内部局部路径规划算法处理,输出机器人应当在下一段时间运动的方向角和速度给底盘移动模块,模块内部转换为运动指令并由底盘移动模块执行,底盘移动模块驱动电机和轮子,让机器人规划出合理且安全的轨迹;
语音模块,该模块与传感器模块和前端业务系统模块连接,与传感器模块连接部分,其输入为声音采集获取到的客户的语音输入,该模块获取到客户的音频数据后,利用音频解码技术对音频数据进行解码,模块内部包含BNF语法文件,语法文件解析后,会编译成一个离线语法识别网络,音频解码后能够在该语法网络中进行匹配,获取到匹配的文本数据后,由模块的TTS功能转换为音频数据,最后通过发音模块输出对应的语音;与前端业务系统模块连接部分,通过前端业务系统模块的Http请求,由银行系统服务器端处理后,会通过JavaScript脚本文件向语音模块输入文本数据,再由模块中的TTS功能转换为音频数据,最后再由发音模块输出语音;
人脸识别模块,该模块与传感器模块和前端业务系统模块相连接,与传感器模块连接部分,其输入为视觉传感器获取到的客户人脸图像,前端业务系统模块向人脸识别模块发送识别请求后,通过opencv获取到服务机器人摄像头前的一帧图像,用于对银行客户的身份认证,模块内部创建检测句柄检测到人脸,再创建识别句柄从人脸中提取特征,计算出特征向量;同理,在银行系统服务器端的客户人脸库中也提取出特征,再通过特征比对接口进行相似度对比,该接口返回一个相似度分数,通过对该相似度分数进行评估,以此对银行客户进行身份认证;最后将识别结果返回给前端业务系统模块;
传感器模块,该模块与避障模块、语音模块、人脸识别模块相连接,其输入为外界环境信息,包括声音信息、障碍物信息和图像信息,该模块为整个银行服务机器人系统的数据采集部分,使用拾音器获取语音输入,将音频数据输出到语音模块;使用视觉传感器获取图像信息输入,将图像数据输出到人脸识别模块;使用距离传感器获取银行环境中的障碍物距离信息输入,将障碍物信息输出到避障模块;
底盘移动模块,该模块连接到避障模块和前端业务系统模块,该模块接收前端业务系统模块的移动指令,与避障模块协同完成路径规划,底盘移动模块向避障模块输出机器人当前时刻运动的速度和方向角;经过避障模块内部局部路径规划处理后,将下一段时间内机器人应当运行的速度、方向角返回给底盘移动模块,底盘移动模块内部转换为移动指令驱动电机和轮子工作;
本发明的优点和积极效果是:
本发明采用了B/S通信架构,即浏览器和服务器架构,降低了客户端主控机负荷量,减轻了系统维护和升级的成本和工作量,具有通用的基于ROS消息发布/订阅通信规则,便于进行模块划分。通过节点管理器对模块进行配置管理,模块具有分层结构,模块与模块之间可以互相通信,通过消息发布/订阅机制,可以将传感器获取的数据,以及算法层处理的结果数据发送给其他模块。前端业务系统模块可以与银行客户通过触摸屏、语音方式进行人机交互,用户体验良好,整个操作过程快捷方便,界面上显示出了银行网点的整体分布图,让银行客户能够直观地了解整个银行网点的各个业务办理点分布,并且该系统能够对业务办理点进行智能引导,通过服务机器人自定位与导航技术达到引导客户的功能。同时,对银行客户的身份验证提供了身份证、银行卡、人脸识别多重验证方式,确保了银行系统的安全性问题。本发明的业务流程方式有效地缩短了业务流程时间,通过智能化导航的方式,为客户办理业务过程提供直观的指引。
附图说明
图1为本发明的系统控制关系。
图2为本发明的软件系统架构。
图3为本发明的前端业务系统模块界面。
图4为本发明的业务流程。
图5为本发明的银行服务机器人展示。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
该发明所用的智能银行服务机器人为futureRobot系列服务机器人Furo-D所开发而成,该服务机器人具有拟人化的外观,机器人头部具有液晶显示屏(分辨率为768×1024),用于显示服务机器人人物形象表情,机器人颈部具有kinect深度视觉传感器,用来获取深度图像信息,机器人身体部分是一台主控机,外部具有一个触摸屏(分辨率为1080×1920),用于显示前端业务系统模块界面,是与银行客户进行人机交互的重要部分,机器人底盘采用圆形设计,运动机构采用双主动轮差速驱动,并配有两个起支撑作用的万向轮的底盘结构形式,底盘周围有六个超声波传感器用获取周围障碍物的信息,以上部分介绍了银行服务机器人的硬件组成。
该发明设计了一种基于银行导览系统的智能服务机器人系统,如图1所示,平台组成部分主要包括前端业务系统模块、银行系统服务器端、语音模块、传感器模块、人脸识别模块、底盘移动模块和避障模块。其中前端业务系统模块、语音模块、传感器模块、人脸识别模块、底盘移动模块、避障模块都安装在银行服务机器人的Windows主控机上,便于客户进行各种业务操作,也可以显示银行区域分布图和路线图;前端业务系统模块和银行系统服务器端通过WiFi通信,前端业务系统模块接收到客户的操作请求后,向服务器端发送Http请求,通过Servlet返回响应给前端业务系统模块;前端业务系统模块与语音模块之间通过JavaScript脚本文件进行通信,从前端业务系统模块中接收到文本数据,根据语音模块的TTS功能转换为音频数据发送给发音模块;也能由传感器模块采集客户声音经过语音识别输出对应的语音;人脸识别模块接收前端业务系统模块传递来的识别请求,同时由视觉传感器读取客户人脸图像,经过人脸识别模块内部算法处理返回识别结果给业务系统;同时底盘移动模块能够接收前端业务系统模块传来的移动指令,并且与避障模块协同完成局部路径规划,避障模块通过接收服务机器人距离障碍物的最短距离和当前速度和方向角进行算法处理再将运动指令发送给底盘移动模块执行。
银行服务机器人的软件架构如图2所示:软件平台组成包括业务选择1(SelectRobot Service),机器人形象选择2(Select RobotAvatar),功能模块3(Program List),监管管理4(Administrator)。业务选择部分用来选择在银行服务机器人身体部分的液晶显示屏显示的前端业务系统模块界面,该部分链接到软件系统的HTML文件夹;机器人形象选择部分用来选择在机器人头部的液晶显示屏的机器人人物形象以及表情,该部分链接到软件系统的Character文件夹,该文件夹下包含uniity3D文件以及html文件,以UnityObject2.js脚本文件中间桥梁,完成二者之间的通讯;功能模块中包含了通过C#开发的各个后台模块,模块与模块之间根据ROS消息发布/订阅通信规则互相通信,有的模块负责通过传感器环境采集外部环境信息,有的模块负责对采集到的信息进行处理,有的模块负责驱动银行服务机器人执行机构;监管管理部分负责对各个模块的运行进行监管与测试,可以在后台查看模块运行的状态。
Furo-D的模块划分采用分层结构,分为数据采集层、算法处理层和执行控制层。具体模块如表1所示。
表1模块分层以及具体模块
结合图3,本发明的前端业务系统模块原理如下:
1)前端业务系统模块:前端业务系统模块由业务管理、HTML文件、SWF文件、图片文件、视频文件和声音文件等等组成。前端业务系统模块通过与发送命令和数据给机器人层,或者接收机器人层的命令和数据,以此达到与机器人层的通讯。前端业务系统模块中包含了WebBrowser控件能在form窗体中添加HTML网页内容。WebBrowser是一个.NET控件类,在.Net Framwork 2.0版中新增,WebBrowser类可以在窗体应用中实现对网页的导航,该网页资源可以是本地的,也可以是远程的,远程的网页资源需要在网络状态可用的情况下才能使用。在HTML业务界面中通过引入BaseCommand.js和BaseEvent.js脚本,通过这两个脚本文件实现HTML前端业务系统模块的界面与机器人软件系统接收和发送命令,达到通讯的目的。如图业务界面中1为客户身份认证选择,2为返回上一页面,起到链接几个HTML文件的作用,3为银行网点的区域分布图,使银行客户对银行环境有一个直观的了解,4为银行区域地点选择,银行服务机器人能够引导银行客户到达这些银行区域中的地点。
结合图4,本发明的业务流程如下:
银行客户通过在服务机器人连接的外部设备读卡器上刷身份证或者银行卡进行客户身份验证,服务机器人通过后台运行的人脸识别模块将读卡器获取到的信息与银行系统数据库中的信息进行比对,以此对银行客户的身份进行验证,进入前端业务系统模块后,此时显示前端业务系统模块的主页面,服务机器人通过后台运行的语音模块播放欢迎客户语音,并且对业务办理过程进行提示。系统判断该客户需要办理的业务是属于自助业务还是人工业务,如果是自助业务,客户就在该服务机器人设备上继续办理银行业务直到业务完成,如果客户需要办理的业务不能在前端业务系统模块中办理,系统判断该业务为人工业务,人工业务不能在服务机器人上办理,需要到银行网点柜台处办理,系统判断银行网点是否有该业务办理的空闲资源,如果有空闲资源,前端业务系统模块中以直观的方式展示从当前位置到达业务办理点的路径,并且引导客户到达指定业务办理点;如果没有空闲资源,则银行服务机器人上外接的打印机打印出挂号单,并且带客户去指定休息区等候。
2)避障模块:银行服务机器人避障模块采用了动态窗口法,动态窗口法的基本思想在于设置一个合理的速度配置空间,采用一定的性能评价来确定最优的运动速度,以实现朝向目标的安全且快速的运动。
在速度(v,w)的二维空间中,存在无穷多组速度;但是根据机器人本身的限制和环境限制可以将采样速度控制在一定范围内,在当前速度配置处以固定的时间间隔隔开一个速度窗口空间;v表示平动速度,w表示转动速度,假设(va,vb)表示当前的速度配置,vmax,avmax表示平动最大速度和转动最大加速度,Δt是指定的时间间隔,Vd表示当前的动态窗口,Vs表示运动的约束窗口,那么当前速度的窗口可表示为:
Vd={(v,w)|v∈[vl,vh]∧w∈[wl,wh]}
vl=max(-vmax,va-avmax×Δt)
vh=min(vmax,va+avmax×Δt)
wl=max(-wmax,wa-awmax×Δt)
wh=max(wmax,wa-awmax×Δt)
Vs={(v,w)|v∈[-vmax,vmax]∧w∈[-wmax,wmax]}
考虑可行的速度,固定的大小的速度配置(vi,wi)表示一条以为半径的圆弧,可行的速度配置被定义为是否能够在接近该圆弧上的障碍物点之前进行急刹而不会碰撞,假设dist(v,w)表示在该圆弧上的最近障碍物距离,Va表示允许的速度空间,则
实际的评价空间取三者的并集
Vr=Vd∩Vs∩Va
确定了搜索空间,再对其中的每一个速度配置点进行评估,评估主要考察三个方面:一是保证机器人朝向目标点运动heading(v,w);二是保证机器人避开障碍物,完全不碰撞dist(v,w);三是保证机器人以最大速度运动velocity(v,w);三者需要归一化至[0,1],并且分配对应的权值[α,β,γ]使
evaluation(v,w)=α·heading(v,w)+β·dist(v,w)+γ·velocity(v,w)
α+β+γ=1(α≥0,β≥0,γ≥0)
3)语音模块:在银行客户的办理业务过程当中,前端业务系统模块当中具有语音提示与语音对话的功能。这是由于在前端业务系统模块当中,在后台运行的语音模块提供了textto speech和speech to text两种功能,语音模块基于科大讯飞MSP开发,讯飞语音平台提供了语音合成、语音听写、语音识别、声纹识别等服务,通过导入讯飞语音SDK,可以登录讯飞语音云,发起语音转文字和文字转语音的会话,文字转语音时文本由前端业务系统模块中客户操作响应传来,会话在接收文本数据后,交给科大讯飞语音云处理,返回音频,再调用API方法进行播放;语音转文字时通过银行服务机器人拾音器获取到客户说的话,转化为音频文件,再发送给会话通过讯飞语音云解码模块解析为文本文件,模块内部会将本地讯飞语音库解析到语法网络当中,将解析的文本文件与语法网络当中的对话进行匹配,即可以得到返回的对应的文本,再通过tts的功能进行播放,以此达到了与银行客户进行语音对话的功能。
4)人脸识别模块:本发明专利的人脸识别模块的原理如下,该模块基于云从科技人脸识别SDK开发,模块中运行着两个线程,一个线程负责处理银行客户的人脸检测以及特征提取,通过opencv定义一个视频捕捉器去提取摄像头中的一帧图像,然后创建检测句柄和识别句柄进行关键点提取和特征提取,另一个线程负责从银行系统VIP客户人脸库中提取图像,同样也创建检测句柄和识别句柄进行特征提取,最后使用云从科技的接口cwComputeMatchScore接口进行人脸特征比对,计算n个特征与m个特征的相似度,该方法用于比较的特征,必须一种是用来检索的特征,一种是用来注册的特征,不能同种类型的特征进行比较,需要传入的参数有用于检索的人脸特征,特征长度,特征数量,以及用于注册的人脸特征,特征长度和特征数量,该接口返回了一个相似度分数数组,再对相似度分数进行评估,判断服务机器人摄像头前的客户是否是银行系统中人脸库中的VIP客户。
5)传感器模块:银行服务机器人采用颈部的kinect深度视觉传感器获取深度信息,网络摄像头获取彩色图像信息,将图像信息通过ROS中消息发布/订阅方式传给人脸识别模块;底盘周围六个超声波传感器获取服务机器人周围障碍物信息,将障碍物最短距离通过ROS中消息发布/订阅方式传给避障模块;通过拾音器获取客户输入的语音信息,再由语音模块识别后输出语法文件中对应的语音。
6)底盘移动模块,服务机器人需要合适的运动机构,使机器人能够在银行环境中无约束的运动;服务机器人采用了轮式移动机构,底盘形状采用圆形设计,运动机构采用双主动轮差速驱动,并配有两个起支撑作用的万向轮的底盘结构形式,双轮差速驱动保证了机器人在行进、转弯过程中有足够的灵活度,实现服务机器人以任意角度移动;前后万向轮都配有减震弹簧,平衡了机器人本体的重量分布,并能对机器人运动过程中产生的冲击起到较好的缓冲作用,确保服务机器人在银行环境下更加平稳和安全的移动。
结合图5,本发明的整体展示效果如图所示。
要强调的是,本发明说述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的类似的其他实施方式,同样属于本发明的保护范围。

Claims (3)

1.一种基于银行导览系统的智能服务机器人系统,其特征在于:系统的软件安装在银行服务机器人的Windows主控机上,基于银行导览系统的智能服务机器人系统的前端业务系统模块与银行系统服务器端通过WiFi无线连接,此外前端业务系统模块还与语音模块、人脸识别模块、底盘移动模块进行连接;
所述系统的客户端部分包括依次连接的前端业务系统模块、身份证读卡设备、银行卡读卡设备,通过银行服务机器人外部连接的身份证、银行卡读卡设备将客户的信息进行读取,前端业务系统模块又与银行系统服务器端通过WiFi进行无线连接,通过Http请求将客户信息传入银行系统中进行比对,由银行系统服务端通过Servlet返回响应,身份认证成功后,进入前端业务系统模块,完成客户的自助业务办理,与此同时,前端业务系统模块通过脚本与语音模块通信,向语音模块发送文本数据,语音模块将其转换为音频数据发送给发音模块,播放音频,并且能够从传感器模块中采集客户声音,经过语音模块进行语音识别返回对应的音频数据;前端业务系统模块与人脸识别模块也通过脚本通信,能够向人脸识别模块发出识别请求,人脸识别模块通过opencv读取视频流的方式的从传感器模块中获取到客户图像,进行人脸识别,将识别结果返回给前端业务系统模块;前端业务系统模块还能够给底盘移动模块发送移动指令,底盘移动模块需要与避障模块协同完成路径规划,它们之间通过ROS进行通信,避障模块一方面从传感器模块接收障碍物最短距离,另一方面从底盘移动模块接收机器人当前速度、方向角,经过避障模块内部算法处理后,返回机器人的下一段时间速度、方向角交给底盘移动模块去执行;
各模块的具体构成是:
前端业务系统模块,前端业务系统模块安装在银行服务机器人的主控机上,与银行服务机器人外部的身份证读卡设备,银行卡读卡设备通过串口连接,其输入为客户的信息,银行客户通过在身份证、银行卡读卡设备上刷卡,进入前端业务系统模块,同时前端业务系统模块向银行系统服务器端发送Http请求,通过Servlet处理Http请求,再由银行系统服务器端向前端业务系统模块返回应答,用于客户对整个前端业务系统模块进行操作,完成客户需要办理的自助业务,前端业务系统模块还与后台运行的语音模块和底盘移动模块通过JavaScript脚本文件连接,前端业务系统模块接收到客户请求后,通过脚本文件,向语音模块发布文本数据;向底盘移动模块发布移动指令;
避障模块,该模块与传感器模块、底盘移动模块相连接,与传感器模块连接部分,其输入为距离传感器获取到的障碍物的最短距离值,与底盘移动模块连接部分,其输入为银行服务机器人当前的速度与方向角,该模块通过局部控制器完成对服务机器人进行安全平稳的移动控制,使其从一个航点运动到下一个航点并最终到达任务的目标位置;局部控制器经过模块内部局部路径规划算法处理,输出机器人应当在下一段时间运动的方向角和速度给底盘运动模块,模块内部转换为运动指令并由底盘移动模块执行,底盘移动模块驱动电机和轮子,让机器人规划出合理且安全的轨迹;
语音模块,该模块与传感器模块和前端业务系统模块连接,与传感器模块连接部分,其输入为声音采集获取到的客户的语音输入,该模块获取到客户的音频数据后,利用音频解码技术对音频数据进行解码,模块内部包含BNF语法文件,语法文件解析后,会编译成一个离线语法识别网络,音频解码后能够在该语法网络中进行匹配,获取到匹配的文本数据后,由模块的TTS功能转换为音频数据,最后通过发音模块输出对应的语音;与前端业务系统模块连接部分,通过前端业务系统的Http请求,由银行系统服务器端处理后,会通过JavaScript脚本文件向语音模块输入文本数据,再由模块中的TTS功能转换为音频数据,最后再由发音模块输出语音;
人脸识别模块,该模块与传感器模块和前端业务系统模块相连接,与传感器模块连接部分,其输入为视觉传感器获取到的客户人脸图像,前端业务系统模块向人脸识别模块发送识别请求后,通过opencv获取到服务机器人摄像头前的一帧图像,用于对银行客户的身份认证,模块内部创建检测句柄检测到人脸,再创建识别句柄从人脸中提取特征,计算出特征向量;同理,在银行系统服务器端的客户人脸库中也提取出特征,再通过特征比对接口进行相似度对比,该接口返回一个相似度分数,通过对该相似度分数进行评估,以此对银行客户进行身份认证;最后将识别结果返回给前端业务系统模块;
传感器模块,该模块与避障模块、语音模块、人脸识别模块相连接,其输入为外界环境信息,包括声音信息、障碍物信息和图像信息,该模块为整个银行服务机器人系统的数据采集部分,使用拾音器获取语音输入,将音频数据输出到语音模块;使用视觉传感器获取图像信息输入,将图像数据输出到人脸识别模块;使用距离传感器获取银行环境中的障碍物距离信息输入,将障碍物信息输出到避障模块;
底盘移动模块,该模块连接到避障模块和前端业务系统模块,该模块接收前端业务系统模块的移动指令,与避障模块协同完成路径规划,底盘移动模块向避障模块输出机器人当前时刻运动的速度和方向角;经过避障模块内部局部路径规划处理后,将下一段时间内机器人应当运行的速度、方向角返回给底盘移动模块,底盘移动模块内部转换为移动指令驱动电机和轮子工作。
2.根据权利要求1所述的基于银行导览系统的智能服务机器人系统的避障模块,其特征在于:所述的局部避障模块从服务机器人底盘的超声波传感器接收到距离障碍物直线距离后,结合了动态窗口法设置一个合理的速度配置空间,采用一定的性能评价来确定最优的运动速度,以实现朝向目标的安全且快速的运动,所述的动态窗口法如下:
动态窗口法主要是在速度(v,w)空间中采样多组速度,并模拟机器人在这些速度下一定时间内的轨迹;在得到多组轨迹以后,对这些轨迹进行评价,选取最优轨迹所对应的速度来驱动机器人运动;该算法突出在于动态窗口这个名词,它的含义是依据移动机器人的加减速性能限定速度采样空间在一个可行的动态范围内;动态窗口法主要分为三个步骤,一是轨迹模拟,二是速度采样,三是对采样速度进行评价;
2.1在动态窗口法中,要模拟机器人的轨迹,需要知道机器人的运动模型;它采用的是假设两轮移动机器人的轨迹是一段一段的圆弧或者直线(旋转速度为0时),一个(vt,wt)就代表一个圆弧轨迹;
模型:首先假设机器人不是全向移动的,即不能纵向移动,只能前进和旋转(vt,wt);计算机器人轨迹时,先考虑两个相邻时刻,由于机器人相邻时刻(一般码盘采样周期ms计)内,运动距离短,因此可以将两相邻点之间的运动轨迹看成直线,即沿机器人坐标系x轴移动vt*Δt;只需将该段距离分别投影在世界坐标x轴和y轴上就能得到t+1时刻相对于t时刻机器人在世界坐标系中坐标移动的位移Δx和Δy;
Δx=vΔt cos(θt)
Δy=vΔt sin(θt)
以此类推,可以推算出一段时间内的轨迹,只需要将这段时间的位移增量累计求和;
x=x+vΔt cos(θt)
y=y+vΔt sin(θt)
θt=θt+wΔt
2.2得到机器人的轨迹运动模型以后,根据速度推算出轨迹,需要采样很多速度,推算轨迹;速度如何采样是动态窗口法的第二个核心:在速度(v,w)的二维空间中,存在无穷多组速度;但是根据机器人本身的限制和环境限制可以将采样速度控制在一定范围内,在当前速度配置处以固定的时间间隔隔开一个速度窗口空间;v表示平动速度,w表示转动速度,假设(va,vb)表示当前的速度配置,vmax,avmax表示平动最大速度和转动最大加速度,Δt是指定的时间间隔,Vd表示当前的动态窗口,Vs表示运动的约束窗口,那么当前速度的窗口可表示为:
Vd={(v,w)|v∈[vl,vh]∧w∈[wl,wh]}
vl=max(-vmax,va-avmax×Δt)
vh=min(vmax,va+avmax×Δt)
wl=max(-wmax,wa-awmax×Δt)
wh=max(wmax,wa-awmax×Δt)
Vs={(v,w)|v∈[-vmax,vmax]∧w∈[-wmax,wmax]}
考虑可行的速度,固定的大小的速度配置(vi,wi)表示一条以为半径的圆弧,可行的速度配置被定义为是否能够在接近该圆弧上的障碍物点之前进行急刹而不会碰撞,假设dist(v,w)表示在该圆弧上的最近障碍物距离,Va表示允许的速度空间,则
实际的评价空间Vr取三者的并集
Vr=Vd∩Vs∩Va
确定了搜索空间,再对其中的每一个速度配置点进行评估,评估主要考察三个方面:一是保证机器人朝向目标点运动heading(v,w);二是保证机器人避开障碍物,完全不碰撞dist(v,w);三是保证机器人以最大速度运动velocity(v,w);三者需要归一化至[0,1],并且分配对应的权值[α,β,γ]使
evaluation(v,w)=α·heading(v,w)+β·dist(v,w)+γ·velocity(v,w)
α+β+γ=1(α≥0,β≥0,γ≥0) 。
3.根据权利要求1所述的基于银行导览系统的智能服务机器人系统的前端业务系统模块,其特征在于:所述的前端业务系统模块与银行系统服务器端之间的架构采用了B/S架构,即浏览器和服务器架构,用户的工作界面主要是在Web浏览器,浏览器通过Web Server同数据库进行数据交互,降低了客户端主控机载荷,减轻了系统维护和升级的成本和工作量;其数据传输方式采用了Http通信协议,通过Servlet处理银行客户在前端业务系统模块的操作请求,前端业务系统模块通过WebBrowser控件在窗体中导航网页,将前端业务系统模块在窗体应用中显示给客户,底盘移动模块和避障模块之间采用采用ROS发布/订阅消息通信机制,每个模块以ROS中节点的形式中存在,将传递的数据以消息的形式发布到相应的主题上,其他的功能模块通过订阅该主题获取到消息,以此达到模块之间的数据传输。
CN201710678553.6A 2017-08-10 2017-08-10 基于银行导览系统的智能服务机器人系统 Pending CN107563886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710678553.6A CN107563886A (zh) 2017-08-10 2017-08-10 基于银行导览系统的智能服务机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710678553.6A CN107563886A (zh) 2017-08-10 2017-08-10 基于银行导览系统的智能服务机器人系统

Publications (1)

Publication Number Publication Date
CN107563886A true CN107563886A (zh) 2018-01-09

Family

ID=60975279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710678553.6A Pending CN107563886A (zh) 2017-08-10 2017-08-10 基于银行导览系统的智能服务机器人系统

Country Status (1)

Country Link
CN (1) CN107563886A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108445877A (zh) * 2018-02-06 2018-08-24 武汉理工大学 基于移动3g/4g网络环境下的仿生运动控制系统与控制方法
CN108490948A (zh) * 2018-04-19 2018-09-04 安徽省科普产品工程研究中心有限责任公司 一种科技馆智能导览系统
CN108733417A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的工作模式选择方法和装置
CN108818569A (zh) * 2018-07-30 2018-11-16 浙江工业大学 面向公共服务场景的智能机器人系统
CN109376221A (zh) * 2018-09-27 2019-02-22 浪潮软件集团有限公司 一种基于人脸检测的税务服务机器人智能值班方法
CN109902876A (zh) * 2019-03-01 2019-06-18 腾讯科技(深圳)有限公司 一种确定智能设备移动方向的方法、装置及路径规划系统
CN110125931A (zh) * 2019-04-30 2019-08-16 厦门大学 一种导览机器人任务调度方法、装置、机器人和存储介质
CN110297429A (zh) * 2019-07-02 2019-10-01 南京奥拓电子科技有限公司 一种机器人与银行网点厅堂设备互联互通的方法及系统
CN111353874A (zh) * 2020-02-19 2020-06-30 山东建银科技有限责任公司 一种银行网点智慧服务系统
CN111429263A (zh) * 2019-12-11 2020-07-17 南京奥拓电子科技有限公司 一种机器人的信息交互方法、装置、服务器及系统
CN111488433A (zh) * 2020-06-28 2020-08-04 南京银行股份有限公司 一种适用于银行的提升现场体验感的人工智能交互系统
CN111687850A (zh) * 2020-06-02 2020-09-22 徐韵佳 一种非接触银行业务服务站
CN111805550A (zh) * 2019-04-11 2020-10-23 广东鼎义互联科技股份有限公司 用于行政服务大厅办事咨询、排队取号的机器人系统
CN112183417A (zh) * 2020-09-30 2021-01-05 重庆天智慧启科技有限公司 一种置业顾问服务能力评价系统及方法
CN112207795A (zh) * 2020-10-27 2021-01-12 江苏财经职业技术学院 金融银行机构智能服务机器人
CN112232536A (zh) * 2020-10-19 2021-01-15 合肥市嘉辉电子科技有限公司 一种银行用人脸识别引导系统
CN112363789A (zh) * 2020-11-11 2021-02-12 上海擎朗智能科技有限公司 页面交互方法、装置、终端和存储介质
CN112606829A (zh) * 2020-12-16 2021-04-06 广州市车智连电子有限公司 一种基于全景拼接数据映射的辅助泊车系统
CN114971593A (zh) * 2022-07-28 2022-08-30 国网天津市电力公司营销服务中心 一种基于云平台的电力营业厅服务系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226047A1 (en) * 2008-03-04 2009-09-10 Chi-Chang Yu Apparatus and Method of Processing Image and Human Face Detection System using the smae
CN105955273A (zh) * 2016-05-25 2016-09-21 速感科技(北京)有限公司 室内机器人导航系统及方法
CN106406320A (zh) * 2016-11-29 2017-02-15 重庆重智机器人研究院有限公司 机器人路径规划方法及规划路线的机器人
CN107009343A (zh) * 2017-05-03 2017-08-04 山东大学 一种基于多生物识别信息的银行业务助理机器人
CN107024210A (zh) * 2017-03-09 2017-08-08 深圳市朗空亿科科技有限公司 一种室内机器人避障方法、装置及导航系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226047A1 (en) * 2008-03-04 2009-09-10 Chi-Chang Yu Apparatus and Method of Processing Image and Human Face Detection System using the smae
CN105955273A (zh) * 2016-05-25 2016-09-21 速感科技(北京)有限公司 室内机器人导航系统及方法
CN106406320A (zh) * 2016-11-29 2017-02-15 重庆重智机器人研究院有限公司 机器人路径规划方法及规划路线的机器人
CN107024210A (zh) * 2017-03-09 2017-08-08 深圳市朗空亿科科技有限公司 一种室内机器人避障方法、装置及导航系统
CN107009343A (zh) * 2017-05-03 2017-08-04 山东大学 一种基于多生物识别信息的银行业务助理机器人

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108445877A (zh) * 2018-02-06 2018-08-24 武汉理工大学 基于移动3g/4g网络环境下的仿生运动控制系统与控制方法
CN108733417A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的工作模式选择方法和装置
CN108490948A (zh) * 2018-04-19 2018-09-04 安徽省科普产品工程研究中心有限责任公司 一种科技馆智能导览系统
CN108490948B (zh) * 2018-04-19 2021-01-29 安徽省科普产品工程研究中心有限责任公司 一种科技馆智能导览系统
CN108818569A (zh) * 2018-07-30 2018-11-16 浙江工业大学 面向公共服务场景的智能机器人系统
CN109376221A (zh) * 2018-09-27 2019-02-22 浪潮软件集团有限公司 一种基于人脸检测的税务服务机器人智能值班方法
CN109902876A (zh) * 2019-03-01 2019-06-18 腾讯科技(深圳)有限公司 一种确定智能设备移动方向的方法、装置及路径规划系统
CN111805550A (zh) * 2019-04-11 2020-10-23 广东鼎义互联科技股份有限公司 用于行政服务大厅办事咨询、排队取号的机器人系统
CN110125931A (zh) * 2019-04-30 2019-08-16 厦门大学 一种导览机器人任务调度方法、装置、机器人和存储介质
CN110297429B (zh) * 2019-07-02 2022-06-07 南京奥拓电子科技有限公司 一种机器人与银行网点厅堂设备互联互通的方法及系统
CN110297429A (zh) * 2019-07-02 2019-10-01 南京奥拓电子科技有限公司 一种机器人与银行网点厅堂设备互联互通的方法及系统
CN111429263A (zh) * 2019-12-11 2020-07-17 南京奥拓电子科技有限公司 一种机器人的信息交互方法、装置、服务器及系统
CN111429263B (zh) * 2019-12-11 2024-04-26 南京奥拓电子科技有限公司 一种机器人的信息交互方法、装置、服务器及系统
CN111353874B (zh) * 2020-02-19 2021-03-02 山东建银科技有限责任公司 一种银行网点智慧服务系统
CN111353874A (zh) * 2020-02-19 2020-06-30 山东建银科技有限责任公司 一种银行网点智慧服务系统
CN111687850A (zh) * 2020-06-02 2020-09-22 徐韵佳 一种非接触银行业务服务站
CN111488433A (zh) * 2020-06-28 2020-08-04 南京银行股份有限公司 一种适用于银行的提升现场体验感的人工智能交互系统
CN111488433B (zh) * 2020-06-28 2021-04-23 南京银行股份有限公司 一种适用于银行的提升现场体验感的人工智能交互系统
CN112183417A (zh) * 2020-09-30 2021-01-05 重庆天智慧启科技有限公司 一种置业顾问服务能力评价系统及方法
CN112183417B (zh) * 2020-09-30 2023-12-05 重庆天智慧启科技有限公司 一种置业顾问服务能力评价系统及方法
CN112232536A (zh) * 2020-10-19 2021-01-15 合肥市嘉辉电子科技有限公司 一种银行用人脸识别引导系统
CN112207795A (zh) * 2020-10-27 2021-01-12 江苏财经职业技术学院 金融银行机构智能服务机器人
CN112363789A (zh) * 2020-11-11 2021-02-12 上海擎朗智能科技有限公司 页面交互方法、装置、终端和存储介质
CN112363789B (zh) * 2020-11-11 2024-06-04 上海擎朗智能科技有限公司 页面交互方法、装置、终端和存储介质
CN112606829A (zh) * 2020-12-16 2021-04-06 广州市车智连电子有限公司 一种基于全景拼接数据映射的辅助泊车系统
CN114971593A (zh) * 2022-07-28 2022-08-30 国网天津市电力公司营销服务中心 一种基于云平台的电力营业厅服务系统

Similar Documents

Publication Publication Date Title
CN107563886A (zh) 基于银行导览系统的智能服务机器人系统
CN111432989B (zh) 人工增强基于云的机器人智能框架及相关方法
Zhang et al. Empowering things with intelligence: a survey of the progress, challenges, and opportunities in artificial intelligence of things
Ji et al. A survey of human action analysis in HRI applications
CN107300970A (zh) 虚拟现实交互方法和装置
Wang et al. Visual human–computer interactions for intelligent vehicles and intelligent transportation systems: The state of the art and future directions
CN106182027B (zh) 一种开放式服务机器人系统
CN108818569A (zh) 面向公共服务场景的智能机器人系统
CN108297098A (zh) 人工智能驱动的机器人控制系统及方法
CN108983636B (zh) 人机智能共生平台系统
CN109703607A (zh) 一种智能行李车
CN106997235A (zh) 用于实现增强现实交互和展示的方法、设备
Ryumin et al. A multimodal user interface for an assistive robotic shopping cart
CN108874126A (zh) 基于虚拟现实设备的交互方法及系统
CN110116414A (zh) 一种4s店智能综合服务机器人及其系统
Avelino et al. Break the ice: a survey on socially aware engagement for human–robot first encounters
Oh et al. Integrated intelligence for human-robot teams
Banerjee et al. The RobotSlang benchmark: Dialog-guided robot localization and navigation
CN206216705U (zh) 一种银行智能业务机器人
CN110421575A (zh) 一种银行机器人的外设组件的控制系统
CN113759901A (zh) 一种基于深度强化学习的移动机器人自主避障方法
CN109101018A (zh) 面向Windows环境的服务机器人运行控制系统
Chandarana et al. 'Fly Like This': Natural Language Interface for UAV Mission Planning
Pang et al. BR-GAN: A pedestrian trajectory prediction model combined with behavior recognition
KR20210066328A (ko) 자연어 이해 모델을 학습시키기 위한 인공 지능 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180109