CN108153169A - 导览模式切换方法、系统和导览机器人 - Google Patents
导览模式切换方法、系统和导览机器人 Download PDFInfo
- Publication number
- CN108153169A CN108153169A CN201711282813.4A CN201711282813A CN108153169A CN 108153169 A CN108153169 A CN 108153169A CN 201711282813 A CN201711282813 A CN 201711282813A CN 108153169 A CN108153169 A CN 108153169A
- Authority
- CN
- China
- Prior art keywords
- user
- guide
- visitors
- age
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种导览机器人导览模式选择方法,包括:感测到用户接近;判断用户是否属于注册用户,如果是则根据用户注册信息选择导览模式,如果否则创建并记录用户注册信息;判断用户的年龄;根据用户的年龄选择导览模式;以及根据用户的情绪修正导览模式。依照本发明的导览模式选择方法、系统以及使用该方法和/或系统的导览机器人,根据用户年龄来选择不同的导览模式并分析用户的情绪变化修正导览模式,从而增强了导览的多样性和吸引力,提高了用户体验。
Description
技术领域
本发明涉及智能机器人领域,特别是涉及一种能自动判定用户年龄并根据用户情绪从而选择不同导览模式的方法、导览模式选择系统以及使用该方法和/或系统的导览机器人。
背景技术
随着机器人技术的发展,机器人被应用于各个领域,现有的机器人分为两类,即工业机器人和特种机器人。所谓工业机器人就是面向工业领域的多关节机械手或多自由度机器人。而特种机器人则是除工业机器人之外的、用于非制造业并服务于人类的各种先进机器人,包括:、水下机器人、娱乐机器人、军用机器人、农业机器人、机器人化机器等。而服务机器人常常用于在银行、商场、酒楼、售房部、酒店等场合迎宾接待、导游服务以及广告宣传等服务性行业,该种服务机器人可以设定迎宾、问询、送餐、结账、娱乐等工作模式,服务机器人具有智能替代人力的特点,此外,具有与人互动的功能,相比生活中的服务员,服务机器人能够更好地取悦和吸引顾客或者客户等,并且能给顾客或者客户带来全新的服务体验,同时服务机器人可以节省商家的人工成本;可以满足长时间工作的同时还能够保证优质服务,避免了人工服务由于长时间工作产生疲倦导致顾客或者客户的满意度下降的情况,大大提高了工作效率。
服务机器人的一个重要应用是在博物馆、展销会场、培训机构等需要实时与用户交互特别是向其提供导览内容的场景。在现有的导览机器人中,通常只能提供默认的中文或英文讲解,对于使用不同语言的用户无法提供针对性服务。另外,现有的导览机器人仅能利用预存内置的导览讲解稿以固定的人声(青年女性或男性)提供讲解,内容和语音模式仅能出厂设置,无法针对不同的用户进行个性化服务。因此,现有的导览场景中,用户对于讲解内容往往关注度有限,导览提供方的商业或教育目的往往难以全部实现。
发明内容
因此,本发明的目的在于自动地判定用户年龄、情绪从而选择不同的导览模式,从而有效地提高用户体验。
本发明提供了一种导览机器人导览模式选择方法,包括:感测到用户接近;判断用户是否属于注册用户,如果是则根据用户注册信息选择导览模式,如果否则创建并记录用户注册信息;判断用户的年龄;根据用户的年龄选择导览模式;以及根据用户的情绪修正导览模式。
其中,基于导览机器人所处环境的背景噪声的音量,根据用户与导览机器人之间的距离、用户的年龄而设置默认的音量、语速。
其中,导览模式依次包括默认模式、儿童模式、少年模式、青年模式、中年模式、老年模式、专家模式。
其中,所述判断用户的年龄步骤进一步包括,根据用户面部特征预测用户年龄的第一范围,和/或根据用户生理特征产生第二范围,和/或根据用户辅助属性产生第三范围,和/或根据用户语音特征产生第四范围;将第一、第二、第三、第四范围重叠的部分作为用户年龄的最终范围。
其中,根据用户的情绪修正导览模式的步骤进一步包括,根据用户目光停留位置和时间修正导览模式,根据用户面部微变化和/或语音修正导览模式,以及在用户注册信息中记录导览模式与用户情绪的相关性。
其中,根据用户目光停留位置和时间判断当前导览内容是否是用户不感兴趣、感兴趣、或非常感兴趣的内容,如果当前内容是用户感兴趣的内容则提升用户年龄对应的导览模式,如果当前内容是用户特别感兴趣的内容则采用专家模式。
其中,根据用户面部微变化和/或语音判断用户的情绪是否为正面反馈,如果检测到用户的正面反馈则提升用户年龄对应的导览模式,如果检测到负面反馈则降低用户年龄对应的导览模式。
其中,用户注册信息包括用户的人脸识别信息、用户的身份信息、用户的语种信息、用户的年龄信息、用户的知识结构信息、用户情绪与导览内容的相关性记录。
本发明也提供了一种导览机器人导览模式选择系统,用于执行根据之前任一项所述的方法,包括:用户接近感测模块,用于感测到用户接近;用户信息注册模块,用于记录用户注册信息;用户年龄识别模块,用于判断用户的年龄;用户情绪识别模块,用于识别用户的情绪;处理器,用于:判断用户是否属于注册用户,如果是则根据用户注册信息选择导览模式,如果否则在用户信息注册模块中创建并记录用户注册信息;根据用户的年龄选择导览模式;以及根据用户的情绪修正导览模式。
本发明还提供了一种接待机器人,采用根据之前任一项所述的方法选择导览模式。
依照本发明的导览模式选择方法、系统以及使用该方法和/或系统的导览机器人,根据用户年龄来选择不同的导览模式并分析用户的情绪变化修正导览模式,从而增强了导览的多样性和吸引力,提高了用户体验。
本发明所述目的,以及在此未列出的其他目的,在本申请独立权利要求的范围内得以满足。本发明的实施例限定在独立权利要求中,具体特征限定在其从属权利要求中。
附图说明
以下参照附图来详细说明本发明的技术方案,其中:
图1 显示了根据本发明实施例的导览机器人系统的示意图;
图2 显示了根据本发明实施例的导览机器人交互模式选择方法的流程图;
图3 显示了根据本发明实施例的图2所示流程图中判断用户年龄的具体步骤的流程图;以及
图4 显示了根据本发明实施例的导览机器人交互模式选择系统的方框图。
具体实施方式
以下参照附图并结合示意性的实施例来详细说明本发明技术方案的特征及其技术效果,公开了可有效提高用户体验的导览模式选择方法、系统以及使用该方法和/或系统的导览机器人。需要指出的是,类似的附图标记表示类似的结构,本申请中所用的术语“第一”、“第二”、“上”、“下”等等可用于修饰各种系统部件或方法步骤。这些修饰除非特别说明并非暗示所修饰系统部件或方法步骤的空间、次序或层级关系。
如图1所示,根据本发明实施例的导览机器人包括:位于头顶的高灵敏度麦克风1,用于采集或接收周围环境声音信息或人员语音信息;位于额部的高清摄像头2,用于采集或接收人员面部的拓扑结构信息(例如骨骼轮廓);位于眼部的表情传感器3A和3B,用于捕获人员的面部细节(例如虹膜,视网膜,眉毛或眼角的动态变化,嘴唇或牙齿反映的微笑程度,耳朵或鼻尖的轻微抽动)从而反映人员的生物信息或情绪信息;位于机器人各个部分触摸传感器,包括下巴触摸传感器4、腹部触摸传感器7、头顶触摸传感器10、左耳/右耳触摸传感器12A/12B、后脑触摸传感器13、左肩/右肩触摸传感器15A/15B、臀部触摸传感器17,这些触摸传感器用于识别与用户的触感互动,从而提高对于用户身份或情绪识别的精确度,并且提供与用户肢体接触的应力信息以反馈、修改机器人躯体的移动/转动参数;位于脖颈部的3D深度摄像头5,用于采集周围场景的景深信息;位于胸部的触摸显示屏6,用于显示心跳或肤色变化的拟生信息从而提高机器人的仿真度,或者增宽至横贯整个胸部(未示出)而向用户显示接待/查询信息或其他视频信息;位于下腹部的2D激光雷达8,用于测量用户或场景中其他移动物体与机器人的距离,辅助判定对象的高度、移动速度、肢体静止/行走姿态等;位于足部的全向移动轮9,用于驱动整个机器人沿预存或者实时判定选择的路径移动;位于耳部的扬声器11A/11B,用于向用户传递语音、音频信息;位于后背部的急停开关14,用于紧急停止机器人的移动或动作,便于提高安全性;位于后腰部的开机按钮16,用于人工启动导览机器人的操作系统以提供接待、咨询服务;位于手部的手部生物传感器18,用于采集用户的指纹、测量用户的皮肤含水量(电阻率)或粗糙度、测量与用户握手的应力、测量用户脉搏或毛细血管的含氧量等;位于腿侧面的充电接口19,以及位于腿背面的电源开关。
图2显示了根据本发明实施例的导览机器人的导览模式选择方法的流程图,图4则显示了该实施例所采用的导览机器人的导览模式选择系统的方框图。
首先,由用户接近感测模块来感测到用户接近。例如,通过高灵敏度麦克风1、高清摄像头2、3D深度摄像头5、或者2D激光雷达8或者其他临近传感器(未示出,例如包括生物电场传感器、磁场传感器、化学气体传感器、机械振动传感器)接收传感器信息,如果传感器信息大于预设的阈值(根据大批量试验数据获得并预存在选择系统所包含的存储装置(未示出)中)则判定机器人附近一定距离或有效范围内(例如5米)存在向导览机器人移动的人员或用户。如果存在接近的用户,则唤醒导览机器人系统。如果判定不存在,则导览机器人继续保持待机或休眠状态,如此可以节省电能,提高导览机器人的续航能力。
然后,由用户信息注册模块判断用户是否属于注册用户,如果是则根据用户注册信息选择接待所用的导览模式,如果否则创建并记录用户注册信息并存储在导览机器人的存储器(未示出)中。
用户注册信息包括用户的人脸识别信息,主要包括面部骨骼轮廓(拓扑)结构、虹膜/视网膜特征信息、面部表层特征信息(例如眉毛分布、睫毛长度/弯曲度、色斑/痣的形状/位置等),这些人脸识别信息由导览机器人在首次识别到该用户的情况下创建并记录。用户注册信息还包括用户的身份信息,主要包含姓名、性别、身高、籍贯/国籍、职业等,这些用户身份信息由用户在后续反馈过程中主动提供或者根据在场馆、商场、酒店等所消费的记录而自动记录。用户注册信息还包括用户的语种信息,包含用户的母语、第一外语、第二外语、方言等,导览机器人首次识别到用户时根据用户的主动输入或者系统自动识别而记录,并可以在后续反馈过程中修改、或者利用消费记录而自动修正。用户注册信息进一步包括用户的年龄信息,例如包括用户手动输入或者利用消费记录等录入的用户的准确年龄,或者导览机器人根据用户的面部特征、语音频谱、生理特征、以及其他辅助属性预测的用户的年龄范围。用户注册信息进一步包括用户的知识结构信息,通过用户手动输入或者利用第三方app扫码从用户的社交信息例如知乎、百度百科、维基百科、facebook、微博等获得用户的知识结构信息,包括学历、工作、经常浏览的内容等等,用于预判用户可能感兴趣的导览内容。优选地,用户注册信息还包括用户情绪与导览内容的相关性记录。
导览模式包括:
1)默认模式,根据统计数据反映的人群感兴趣内容的平均值或者预存的默认导览内容来提供讲解
2)儿童模式,如果判定用户的年龄低于导览机器人应用场所所在国家或地区对于儿童的法律定义,例如8岁、10岁、12岁、或14岁,在导览过程中所采用的交互语言中采用儿童口头语、例如增用叠词或卡通人物拟声,并且优选青年女性的声音作为交互语音,同时降低音量、减缓语速以保护幼儿听力;
3)少年模式,如果判断用户年龄在12~18岁(例如符合初中、高中年龄段),在导览过程中结合中学知识点、特别是涉及历史、地理、物理、化学、生物等学科的考点,细化加深对于知识点的详细讲解,利于用户提升学业水平;
4)青年模式,如果判断用户的年龄在19~40岁之间,在导览内容上针对年轻人社交、新闻关注热点进行扩展,采用新媒体例如网络用语,增加导览内容的广度,贴近社会热点;
5)中年模式,如果判断用户的年龄在41~60岁之间,在导览内容上针对传统媒体(广播、电视、报纸)关注热点进行扩展,增加导览内容的深度,贴近社会现实;
6)老年模式,如果判定用户的年龄高于导览机器人应用场所所在国家或地区对于老年的定义,例如60岁或65岁,提高音量、减缓语速以便于听力衰退的老人能够清楚、及时获取信息;
7)专家模式,根据用户的知识结构信息判断,如果用户的学历、工作经历、经常浏览的内容等与所导览内容匹配程度较高(例如高于预设的某一阈值,或者高于人群平均值的30%),则扩展加深导览内容,添加更多的专业术语、简化对于一般性原理的描述而注重对于细节的介绍;如果用户的知识结构信息与导览内容匹配程度较低(例如低于上述阈值,或者低于人群平均值30%)或中等(为该阈值或者平均值),则简化导览内容,减少专业术语、缩减细节,而更多提供宏观性或直观性描述;
优选地,基于导览机器人所处环境的背景噪声的音量,根据用户与导览机器人之间的距离(距离越大音量越大)、用户的年龄(默认20~60岁,年龄越大语速越慢)而设置默认的音量(例如高于背景噪声10~20dB)、语速(例如对应于新闻播报语速的70~120%)。优选地,基于人群的统计分析结果来设置各个年龄段的默认知识结构信息。
具体地,在本发明一个优选实施例中,由高清摄像头2、表情传感器3A/3B收集用户的面部信息,提供给系统的处理器(未示出)进行人脸识别,与系统存储器中用户信息注册模块所预先存储的用户注册信息中的人脸识别信息作比较。
在本发明的其他优选实施例中,由生物电场传感器、化学气体传感器、或者上述手部生物传感器18来识别用户的身份(特殊的生物电场,或者独特的气味,或者手部相关的上述其他生物特征),或者由射频标签读取器(未示出)识别携带了身份标签的用户的身份。
如果比较的结果确定用户属于已注册用户,则从系统存储器中提取用户注册信息,根据用户注册信息中已经记录的用户使用语言信息来决定导览机器人针对该用户采用相应的语种、导览模式。
如果比较的结果确定用户不属于已注册用户,则创建用户注册信息的记录,包括人脸识别信息、身份信息、语种信息、年龄信息、知识结构信息、以及用户情绪与导览内容的相关性记录。
接着,判断用户的年龄。在本发明一个实施例中,以用户的面部特征为基准利用生理特征来修正用户年龄,根据用户年龄来选择不同的导览模式。
首先,根据用户面部特征预测用户年龄的第一范围。例如,采用位于导览机器人额部的高清摄像头2,基于柔性模型(Flexible Models)、Snake 的主动轮廓线模型(ActiveContour Model,ACM)、主动形状模型(Active Shaper Model,ASM)、主动表观模型(AAM)等方法提取用户脸部的轮廓信息。这里可以利用二维Gabor小波进行图像多尺度分析,精确地提取图像局部区域内多个图像块方向特征进行整体特征提取,再利用柔性模型进行局部特征精准提取。接着,对于高清摄像头2获得的图像或视频进行肤色特征提取,从视频中获取一帧图像进行检测,可以定时获取图像或是已经检测到场景中有人物时定时获取单帖图像进行处理;图像预处理,因为肤色提取与人脸提取不一样,所以需要进行预处理分析,将不属于皮肤的区域去掉;肤色特征获取,通过肤色分割模型,将最接近人体的肤色特征进行识别。其方法有简单的颜色和位置聚类算法、颜色和位置聚类优先的Graph-Cut算法等,颜色和位置聚类优先的Graph-Cut算法效果较好。然后,采用位于眼部的表情传感器3A和3B,获取用户面部的细节特征,例如眼角、额头皱纹分布和数目,脸部皮肤光滑度/反光度,嘴角、眼睑下垂程度,颧骨附近皮肤松弛程度等等。
根据以上获得的用户脸部轮廓、皮肤色彩、面部细节为基准,与网络获取的大数据或者预存的数据库进行比对分析,预判用户年龄的第一范围。例如,用户为黄色人种且皮肤松弛程度/皱纹分布密度超过平均值的50%则判定年龄段为60岁以上,用户为白色人种且皮肤松弛程度/皱纹分布密度超过平均值30%则判定年龄段为60岁以上,用户为白色人种且皮肤松弛程度/皱纹分布密度低于平均值40%则判定年龄段为18岁以下,用户为黑色人种且皮肤松弛度/皱纹分布密度低于平均值30%判定年龄段18岁以下等等。
如果导览机器人并未识别到附近有用户说话(包括用户并未发声,或者距离较远、声音较低而无法准确识别),则处理器根据用户生理特征产生第二范围以修正用户年龄的第一范围。
具体地,导览机器人主动吸引用户触摸位于手部的手部生物传感器18,用于采集用户的指纹、测量用户的皮肤含水量(电阻率)或粗糙度、测量与用户握手的应力、测量用户脉搏或毛细血管的含氧量等等。吸引的方式可以是语音提示、显示屏字幕显示、互动舞蹈等等。生物传感器18优选是皮肤纹理检测器,用来检测使用者手部的皮肤纹理,以判断相对应的年龄区间。检测皮肤纹理的方式可藉由硅晶(固态)辨识器达成,其是利用微小的电容器来感测皮肤的纹理皱折;或是光学扫描器,例如使用许多电荷耦合元件(CCD)组成的阵列来采集皮肤的数位影像,也可利用发光二极管(LED)光源照射皮肤后反射的影像来分析皮肤纹理。目前的研究发现皮肤纹理,如粗糙程度、皱纹深度、皮丘(或皮脊,指皮肤表面的凸起部位)与皮沟(皮肤表面的凹陷部位)间的距离,可大致反映出不同的年龄层。因此,可根据皮肤粗糙程度、沟纹深度,即生理特征,判断使用者的年龄区间。例如,如果用户的皮肤粗糙度低于第一阈值则判定用户为儿童例如小于12岁,皮肤粗糙度高于第一阈值但是低于第二阈值则判定为青少年例如13~25岁,皮肤粗糙度高于第二阈值且低于第三阈值则判定为中年例如26~40岁,皮肤粗糙度高于第三阈值且低于第四阈值则判定为中老年例如41~60岁,皮肤粗糙度高于第四阈值则判定为老年例如61~80岁等等。
在本发明另一个优选实施例中,手部生物传感器18中还包括集成的蛋白质微传感器,用于检测皮肤上具有组织、细胞或亚细胞特异性的蛋白质以间接反映用户的年龄。例如,微传感器包括由氧化物半导体基底上相对两个石墨烯构成的检测电极,当特异性蛋白质穿过检测电极之间时由于蛋白质大分子不同的电极性和旋转对称性,电极之间亚阈值电流会发生相应的改变从而对应于不同蛋白质类型。该微传感器专用于检测水通道蛋白质,属于水-甘油通道蛋白亚族,除了对于水分子具有高透过性之外还对于甘油和尿素等中性小分子具有高透过性。水通道蛋白参与人体的多种生理、病理过程,与尿液的浓缩、气道表面的液体平衡均有密切关系。而这种水通道蛋白的缺失可导致皮肤干燥、角质层水合作用下降、皮肤弹性下降等,反映了皮肤衰老的过程。特别地,采用本申请的微蛋白质传感器检测用户皮肤组织中水通道蛋白质的表达量和mRNA表达水平,依照大批量测试集来选择不同阈值以反映不同年龄段,例如对于mRNA表达水平选择阈值Tm1为0.31、Tm2为0.55、Tm3为0.67、Tm4为0.74,对于水通道蛋白质表达量选择阈值Ta1为2.03、Ta2为1.95、Ta3为1.88、Ta4为1.21,儿童组(小于12岁)为Tm2~Tm3且小于Ta1,青少年组(13~25岁)为Tm3~Tm4且Ta1~Ta2,中年组(26~40岁)为大于Tm4且Ta2~Ta3,中老年组(41~60岁)为Tm2~Tm1且Ta3~Ta4,老年组(60岁以上)为小于Tm1且大于Ta4。
在本发明的又一优选实施例中,采用皮肤的端粒DNA来检测用户的年龄。与识别上述特异性蛋白类似的,采用集成微传感器中石墨烯配对电极来分析DNA大分子穿过电极之间引起的电流变化从而反应不同的属性,例如DNA片段长度(检测到电流脉冲宽度或半高宽)。一般的,DNA片段长度随着年龄的增加而逐渐缩短,并且在青少年时期缩短的速率较快而成年后缩短速率较慢。本申请的一个优选实施例中,根据预存数据集得到的用户年龄Y(岁)与皮肤端粒DNA片段长度值X(Kb)之间的关系为Y=7.89/X2+55.419/X+5.047,因此可以实时地根据接待机器人手部的微传感器测量反应的X值来推导得出用户的实际年龄。
在本发明其他优选实施例中,利用皮脂、水分、pH值等其他皮肤参数来表征用户的年龄。皮脂的测量是基于光度计原理,水分含量采用电容法,而pH值测量是基于H离子穿过半透膜引起的电压差。随着年龄的增加(在相同BMI值范围内),皮肤的缓冲能力逐渐下降,皮脂、水分含量逐渐下降,而pH值逐渐升高至接近中性,因此可以类似的根据对照组测得的各个参数与年龄之间的相关性设定不同阈值从而判定当前用户的年龄分布。
当根据用户生理特征判定的年龄范围(第二范围)与前述第一范围重叠或部分重叠时,将重叠的范围作为正确的年龄范围。如果不重叠,将第一范围与根据用户生理特征判定的年龄第二范围记录在寄存器中留待后续处理。
在本发明优选实施例中,根据用户辅助属性产生第三范围以修正第一/第二范围。如前所述,辅助属性同样由高清摄像头2、表情传感器3A/3B、3D深度摄像头5、以及RFID读卡器(未示出)等联合获得。辅助属性包括用户的衣着风格(例如中式唐装/旗袍、日式和服、阿拉伯罩袍、苏格兰裙、少数民族特色服装等等)、用户携带行李或衣物上的身份标识(例如旅行团团旗、团服或箱包上的团名)、用户便携式装置(手机、笔记本电脑、平板电脑等)操作界面上的语言、或者用户便携式装置的蓝牙ID/设备名称对应的语言等等。此外,用于修正第一、第二范围的用户辅助属性还进一步包括,能反映用户年龄的配饰、妆容(例如耳环/耳钉/领带夹款式、唇彩流行色、携带的卡通人物形象,与数据库记录的用户年龄分布作比较),能反映用户收入/消费水平的物品标签(例如西服、风衣、鞋帽的品牌,与数据库记录的用户年龄-收入相关性交叉比较)等等。如果根据用户辅助属性判定的用户年龄(第三范围)落入第二范围,则采用该用户年龄作为最终年龄范围。如果第一/第二范围两两不重叠,则采用根据用户辅助属性判定的用户年龄第三范围与第一/第二范围任一项重叠的部分作为用户最终年龄范围。
优选地,在判断用户年龄的过程中,如果在迎宾、接待过程中采集到用户语音,则可以采用语音识别来辅助判断用户的年龄。具体地,由导览机器人头顶的高灵敏度麦克风1采集或接收接近机器人一定或预设范围内(例如2米,该范围小于判断用户接近所用的距离范围)的用户主动发出的语音信息,由用户语音识别模块根据语音信息识别分析用户所操语言,例如中文、日文、韩文、英语、法语、西班牙语、阿拉伯语等等,并且导览机器人语音选择系统将采用识别到的用户所操语言稍后与用户交互、向用户主动问询、答复咨询项目等等。
在根据用户语音选择语种的同时或者之后,导览机器人的处理器对于经由位于头顶的高灵敏度麦克风1所采集或接收的人员语音信息进行分析以获得频谱。具体地,对声音信号作短时傅里叶变换,得到它的功率谱图;从它的功率谱图中找出具有代表性的一些波峰所对应的频率,用这些特征频率值作成一个特征向量;用某个特定人声音也即参考声音(例如导览机器人交互用的预存的青年女性或男性的声音,或者新闻广播员的声音)的特征向量为标准向量F,定义待测声音的特征向量G与F之间的距离函数D,依照数据库预存的不同用户对应的D与其年龄之间的相关性设置多个(至少两个)阈值P1、P2、P3……PN。当D小于等于P1时,判定用户为儿童,例如小于12岁;当D大于P1且小于等于P2时,判定用户为少年,例如13至18岁;当D大于P2且小于等于P3时,判定用户为青年,例如19至40岁;当D大于P3且小于等于P4时,判定用户为中年,例如41~60岁;当D大于P4且小于等于P5时,判定用户为老年,例如61~80岁;当D大于P5时,判定用户为高龄老人,例如超过80岁,等等。
在此过程中,如果根据音频判定的第四范围落入根据面部特征判定的第一范围/根据生理特征判定的第二范围/根据用户辅助属性判定的第三范围的任一项或多项内或者部分重叠,则将重叠的范围认定作为正确的年龄范围。如果第四范围与第一/第二/第三范围完全不重合,则将之前的第一/第二/第三范围中两两重合的部分作为用户的最终年龄范围。
如此,获得了用户的年龄,然后根据用户的年龄选择导览内容和模式。例如,如果识别到用户的年龄小于等于第一阈值(例如或12岁)则判断用户为儿童,选择儿童模式;如果识别到用户年龄大于第一阈值且小于等于第二阈值(例如18岁)选择少年模式;如果用户年龄大于第二阈值且小于等于第三阈值(例如40岁)选择青年模式;如果用户年龄大于第三阈值且小于等于第四阈值(例如60岁)选择中年模式;如果用户年龄大于第四阈值则选择老年模式。如果用户最终年龄范围跨越多个阈值,则优选采用年龄范围的最小值来判定用户年龄所落入的区间。例如,如果采用前述面部识别、生物识别和辅助属性识别判定用户年龄为25~45岁,则采用25岁作为用户年龄从而判定用户属于青年。
因此,在用户并未正式开始接收导览机器人的讲解服务之前,根据用户年龄进行预判用户可能感兴趣的内容并针对性的进行了扩展或深化,有利于提高讲解的效率,并提高用户的关注度。
接着,在用户正在接收导览机器人讲解服务时,由图4所示的用户情绪识别模块根据用户的情绪信息及时、实时地修正导览内容和模式,具体流程如图3所示。
在某一特定导览内容讲解开始前,根据用户目光停留位置和时间来修正导览模式。利用导览机器人眼部的表情传感器3A和3B来测量用户眼球转动的空间角,并利用位于额部的高清摄像头2、位于脖颈部的3D深度摄像头5以及位于下腹部的2D激光雷达8来测量用户眼球、接待机器人、导览展板的空间距离/高度,从而根据空间角和空间距离/高度测算用户眼球关注的导览展板上的区域位置,进而判定用户目光正在关注的导览内容。处理器计算用户目光停留在导览内容上的次数、时间(单次持续时间、累计持续时间等),从而判断用户对于该导览内容的感兴趣程度。例如用户目光停留次数小于等于第一阈值(例如2次)则判断用户不感兴趣,停留次数大于等于第一阈值且停留时间小于等于第二阈值(例如5秒)则判断用户感兴趣,停留次数大于等于第一阈值且停留时间大于第二阈值则判断用户非常感兴趣。
检索用户注册信息中的知识结构信息,基于导览机器人系统中预存的导览内容与知识结构信息的相关性统计分析结果(例如某次展览内容与工作/学历之间的相关性,展览内容与用户浏览历史数据的相关性等等),对于用户感兴趣的导览内容进行深化扩展、加入用户可能感兴趣的关键词(例如暂时提升用户的年龄模式(也即增加年龄模式序号)直至下一个导览内容开始讲解,例如从少年模式提升至青年、或者从青年模式提升至中年),对于用户非常感兴趣的导览内容进行专业化扩展也即进入专家模式。
接着,根据用户情绪特征参数(例如面部微变化和/或语音)的变化实时修正导览内容和模式。由位于眼部的表情传感器3A和3B捕获用户的面部微变化,例如瞳孔扩张,眉毛或眼角的动态变化,嘴唇或牙齿反映的微笑程度,耳朵或鼻尖的轻微抽动。此外,由位于头顶的高灵敏度麦克风1采集或接收用户语音信息,分析用户语音频率、音量的变化。这些用户面部的微变化和/或语音能够反映用户的情绪,例如瞳孔扩张、眉毛/眼角上扬表示惊讶或感兴趣程度增加(也即正面反馈),微笑或者耳朵/鼻尖轻微抽动并且发出惊呼或称赞的声音表示感兴趣程度增加等正面反馈,而皱眉、偏头或发出嘘声表示负面反馈。当检测到正面反馈时,提升用户年龄模式直至专家模式(例如从少年模式切换至青年模式,也即增加用户年龄模式的序号);当检测到负面反馈时,降低用户年龄模式直至少年模式(如果用户为儿童则不再降低模式)。
在本发明另一优选实施例中,导览机器人与用户的智能可穿戴设备例如智能手环、智能手表配对或无线通信,利用可穿戴设备中的压电或光电传感器来检测用户脉搏变化,从而反映用户的情绪。例如,智能可穿戴设备在用户日常使用阶段就预先记录了N(例如500~800)个点的脉搏主波间期序列,以用户在不同情绪状态下的脉搏主波间期序列作为原始数据,通过基于代替数据法的混沌识别算法分别计算显著度值X和拒绝虚假设的最大概率P值。对于参考值(平静状态)、正面情绪(正面反馈,包括快乐、振奋、放松等)、负面情绪(负面反馈,包括悲伤、愤怒、烦躁等),正面情绪的P值大于参考值,而负面情绪的P值小于参考值,由此给用户的日常情绪分类。当导览机器人讲解特定导览内容时,通过实时监测、分析用户当前的P值并与历史数据比对则能够反映出用户当前情绪,从而与前述类似的改变导览讲解的年龄模式。
最后,在用户注册信息中记录该导览内容和模式与用户情绪之间的相关性,以便于下一个相近或相似导览内容、或者与类似分组的其他用户所使用。
依照本发明的导览模式选择方法、系统以及使用该方法和/或系统的导览机器人,根据用户年龄来选择不同的导览模式并分析用户的情绪变化修正导览模式,从而增强了导览的多样性和吸引力,提高了用户体验。
尽管已参照一个或多个示例性实施例说明本发明,本领域技术人员可以知晓无需脱离本发明范围而对系统、方法做出各种合适的改变和等价方式。此外,由所公开的教导可做出许多可能适于特定情形或材料的修改而不脱离本发明范围。因此,本发明的目的不在于限定在作为用于实现本发明的最佳实施方式而公开的特定实施例,而所公开的系统和方法将包括落入本发明范围内的所有实施例。
Claims (10)
1.一种导览机器人导览模式选择方法,包括:
感测到用户接近;
判断用户是否属于注册用户,如果是则根据用户注册信息选择导览模式,如果否则创建并记录用户注册信息;
判断用户的年龄;
根据用户的年龄选择导览模式;以及
根据用户的情绪修正导览模式。
2.根据权利要求1所述的方法,其中,基于导览机器人所处环境的背景噪声的音量,根据用户与导览机器人之间的距离、用户的年龄而设置默认的音量、语速。
3.根据权利要求1所述的方法,其中,导览模式依次包括默认模式、儿童模式、少年模式、青年模式、中年模式、老年模式、专家模式。
4.根据权利要求1所述的方法,其中,所述判断用户的年龄步骤进一步包括,根据用户面部特征预测用户年龄的第一范围,和/或根据用户生理特征产生第二范围,和/或根据用户辅助属性产生第三范围,和/或根据用户语音特征产生第四范围;将第一、第二、第三、第四范围重叠的部分作为用户年龄的最终范围。
5.根据权利要求1所述的方法,其中,根据用户的情绪修正导览模式的步骤进一步包括,根据用户目光停留位置和时间修正导览模式,根据用户面部微变化和/或语音修正导览模式,以及在用户注册信息中记录导览模式与用户情绪的相关性。
6.根据权利要求5所述的方法,其中,根据用户目光停留位置和时间判断当前导览内容是否是用户不感兴趣、感兴趣、或非常感兴趣的内容,如果当前内容是用户感兴趣的内容则提升用户年龄对应的导览模式,如果当前内容是用户特别感兴趣的内容则采用专家模式。
7.根据权利要求5所述的方法,其中,根据用户面部微变化和/或语音判断用户的情绪是否为正面反馈,如果检测到用户的正面反馈则提升用户年龄对应的导览模式,如果检测到负面反馈则降低用户年龄对应的导览模式。
8.根据权利要求1所述的方法,其中,用户注册信息包括用户的人脸识别信息、用户的身份信息、用户的语种信息、用户的年龄信息、用户的知识结构信息、用户情绪与导览内容的相关性记录。
9.一种导览机器人导览模式选择系统,用于执行根据权利要求1至8任一项所述的方法,包括:
用户接近感测模块,用于感测到用户接近;
用户信息注册模块,用于记录用户注册信息;
用户年龄识别模块,用于判断用户的年龄;
用户情绪识别模块,用于识别用户的情绪;
处理器,用于:
判断用户是否属于注册用户,如果是则根据用户注册信息选择导览模式,如果否则在用户信息注册模块中创建并记录用户注册信息;
根据用户的年龄选择导览模式;以及
根据用户的情绪修正导览模式。
10.一种接待机器人,采用根据权利要求1至8任一项所述的方法选择导览模式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711282813.4A CN108153169A (zh) | 2017-12-07 | 2017-12-07 | 导览模式切换方法、系统和导览机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711282813.4A CN108153169A (zh) | 2017-12-07 | 2017-12-07 | 导览模式切换方法、系统和导览机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108153169A true CN108153169A (zh) | 2018-06-12 |
Family
ID=62466664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711282813.4A Pending CN108153169A (zh) | 2017-12-07 | 2017-12-07 | 导览模式切换方法、系统和导览机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108153169A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109093631A (zh) * | 2018-09-10 | 2018-12-28 | 中国科学技术大学 | 一种服务机器人唤醒方法及装置 |
CN109543578A (zh) * | 2018-11-13 | 2019-03-29 | 北京猎户星空科技有限公司 | 智能设备控制方法、装置和存储介质 |
CN109670030A (zh) * | 2018-12-30 | 2019-04-23 | 联想(北京)有限公司 | 问答交互方法及装置 |
CN109976703A (zh) * | 2019-04-04 | 2019-07-05 | 广东美的厨房电器制造有限公司 | 指引说明方法、计算机可读存储介质和烹饪设备 |
CN110324742A (zh) * | 2019-07-01 | 2019-10-11 | Oppo广东移动通信有限公司 | 控制方法、耳机及存储介质 |
CN110427462A (zh) * | 2019-08-06 | 2019-11-08 | 北京云迹科技有限公司 | 与用户互动的方法、装置、存储介质及服务机器人 |
CN110634091A (zh) * | 2019-09-24 | 2019-12-31 | 重庆有趣体育文化推广有限公司 | 一种综合性儿童活动中心管理方法、系统及其商业模式 |
CN110958349A (zh) * | 2018-09-27 | 2020-04-03 | 仁宝电脑工业股份有限公司 | 交互式电子装置及其互动方法 |
CN114511336A (zh) * | 2020-10-28 | 2022-05-17 | 中移(上海)信息通信科技有限公司 | 用户标签确定的方法、装置、设备及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1716273A (zh) * | 2004-06-28 | 2006-01-04 | 李剑华 | 商用迎宾机器人的外形构造及识别方法 |
CN102144201A (zh) * | 2008-09-03 | 2011-08-03 | 皇家飞利浦电子股份有限公司 | 在用户与交互式显示系统之间执行基于目光的交互的方法 |
CN102298709A (zh) * | 2011-09-07 | 2011-12-28 | 江西财经大学 | 复杂环境下多特征融合的节能型智能识别数字标牌 |
CN102930454A (zh) * | 2012-10-07 | 2013-02-13 | 乐配(天津)科技有限公司 | 基于多感知技术的智能3d广告推荐方法 |
CN103533438A (zh) * | 2013-03-19 | 2014-01-22 | Tcl集团股份有限公司 | 一种基于智能电视的服饰推送方法及系统 |
CN103546777A (zh) * | 2012-07-13 | 2014-01-29 | 珠海扬智电子科技有限公司 | 提供多媒体服务的方法、遥控装置、机顶盒以及多媒体系统 |
CN104091153A (zh) * | 2014-07-03 | 2014-10-08 | 苏州工业职业技术学院 | 应用于聊天机器人的情绪判断方法 |
CN104823147A (zh) * | 2012-10-12 | 2015-08-05 | 微软技术许可有限责任公司 | 作为与应用的交互的多模式用户表达和用户力度 |
CN105058393A (zh) * | 2015-08-17 | 2015-11-18 | 李泉生 | 一种迎宾机器人 |
CN106408335A (zh) * | 2016-09-05 | 2017-02-15 | 江苏宾奥机器人科技有限公司 | 基于物联网的移动机器人信息推送系统 |
CN106965196A (zh) * | 2017-04-24 | 2017-07-21 | 黄国彬 | 一种服务机器人 |
CN107065863A (zh) * | 2017-03-13 | 2017-08-18 | 山东大学 | 一种基于人脸识别技术的导览解说机器人及方法 |
CN107168320A (zh) * | 2017-06-05 | 2017-09-15 | 游尔(北京)机器人科技股份有限公司 | 一种导游服务机器人 |
-
2017
- 2017-12-07 CN CN201711282813.4A patent/CN108153169A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1716273A (zh) * | 2004-06-28 | 2006-01-04 | 李剑华 | 商用迎宾机器人的外形构造及识别方法 |
CN102144201A (zh) * | 2008-09-03 | 2011-08-03 | 皇家飞利浦电子股份有限公司 | 在用户与交互式显示系统之间执行基于目光的交互的方法 |
CN102298709A (zh) * | 2011-09-07 | 2011-12-28 | 江西财经大学 | 复杂环境下多特征融合的节能型智能识别数字标牌 |
CN103546777A (zh) * | 2012-07-13 | 2014-01-29 | 珠海扬智电子科技有限公司 | 提供多媒体服务的方法、遥控装置、机顶盒以及多媒体系统 |
CN102930454A (zh) * | 2012-10-07 | 2013-02-13 | 乐配(天津)科技有限公司 | 基于多感知技术的智能3d广告推荐方法 |
CN104823147A (zh) * | 2012-10-12 | 2015-08-05 | 微软技术许可有限责任公司 | 作为与应用的交互的多模式用户表达和用户力度 |
CN103533438A (zh) * | 2013-03-19 | 2014-01-22 | Tcl集团股份有限公司 | 一种基于智能电视的服饰推送方法及系统 |
CN104091153A (zh) * | 2014-07-03 | 2014-10-08 | 苏州工业职业技术学院 | 应用于聊天机器人的情绪判断方法 |
CN105058393A (zh) * | 2015-08-17 | 2015-11-18 | 李泉生 | 一种迎宾机器人 |
CN106408335A (zh) * | 2016-09-05 | 2017-02-15 | 江苏宾奥机器人科技有限公司 | 基于物联网的移动机器人信息推送系统 |
CN107065863A (zh) * | 2017-03-13 | 2017-08-18 | 山东大学 | 一种基于人脸识别技术的导览解说机器人及方法 |
CN106965196A (zh) * | 2017-04-24 | 2017-07-21 | 黄国彬 | 一种服务机器人 |
CN107168320A (zh) * | 2017-06-05 | 2017-09-15 | 游尔(北京)机器人科技股份有限公司 | 一种导游服务机器人 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109093631A (zh) * | 2018-09-10 | 2018-12-28 | 中国科学技术大学 | 一种服务机器人唤醒方法及装置 |
CN110958349A (zh) * | 2018-09-27 | 2020-04-03 | 仁宝电脑工业股份有限公司 | 交互式电子装置及其互动方法 |
CN109543578A (zh) * | 2018-11-13 | 2019-03-29 | 北京猎户星空科技有限公司 | 智能设备控制方法、装置和存储介质 |
US11247342B2 (en) | 2018-11-13 | 2022-02-15 | Beijing Orion Star Technology Co., Ltd. | Smart device control method and apparatus, and storage medium |
CN109670030A (zh) * | 2018-12-30 | 2019-04-23 | 联想(北京)有限公司 | 问答交互方法及装置 |
CN109670030B (zh) * | 2018-12-30 | 2022-06-28 | 联想(北京)有限公司 | 问答交互方法及装置 |
CN109976703A (zh) * | 2019-04-04 | 2019-07-05 | 广东美的厨房电器制造有限公司 | 指引说明方法、计算机可读存储介质和烹饪设备 |
CN110324742A (zh) * | 2019-07-01 | 2019-10-11 | Oppo广东移动通信有限公司 | 控制方法、耳机及存储介质 |
CN110427462A (zh) * | 2019-08-06 | 2019-11-08 | 北京云迹科技有限公司 | 与用户互动的方法、装置、存储介质及服务机器人 |
CN110634091A (zh) * | 2019-09-24 | 2019-12-31 | 重庆有趣体育文化推广有限公司 | 一种综合性儿童活动中心管理方法、系统及其商业模式 |
CN114511336A (zh) * | 2020-10-28 | 2022-05-17 | 中移(上海)信息通信科技有限公司 | 用户标签确定的方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108153169A (zh) | 导览模式切换方法、系统和导览机器人 | |
CN108161933A (zh) | 交互模式选择方法、系统及接待机器人 | |
CN105426850B (zh) | 一种基于人脸识别的关联信息推送设备及方法 | |
US10517521B2 (en) | Mental state mood analysis using heart rate collection based on video imagery | |
Bruce et al. | Sex discrimination: how do we tell the difference between male and female faces? | |
US10799010B2 (en) | Makeup application assist device and makeup application assist method | |
US11113511B2 (en) | Makeup evaluation system and operating method thereof | |
KR20160012902A (ko) | 시청자 사이의 연관 정보에 근거하여 광고를 재생하기 위한 방법 및 장치 | |
CN106909896A (zh) | 基于人物性格与人际关系识别的人机交互系统及工作方法 | |
CN111291604A (zh) | 面部属性识别方法、装置、存储介质及处理器 | |
EP3579176A1 (en) | Makeup evaluation system and operation method thereof | |
CN108182098A (zh) | 接待语言选择方法、系统及接待机器人 | |
KR102316723B1 (ko) | 인공지능을 이용한 신체 맞춤형 코디 시스템 | |
JPWO2007043712A1 (ja) | 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム | |
US20200388374A1 (en) | Method for Generating User Feedback Information From a Product Use Event and User Profile Data to Enhance Product Use Results | |
CN112016367A (zh) | 一种情绪识别系统、方法及电子设备 | |
CN111967324A (zh) | 一种具有智能识别的穿衣系统及其识别方法 | |
Tham et al. | Automatic identification of drinking activities at home using depth data from RGB-D camera | |
Wang et al. | Accurate face alignment and adaptive patch selection for heart rate estimation from videos under realistic scenarios | |
Shu et al. | Computational face reader based on facial attribute estimation | |
KR102285482B1 (ko) | 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 | |
WO2020175969A1 (ko) | 감정 인식 장치 및 감정 인식 방법 | |
CN111652014A (zh) | 一种眼神识别方法 | |
Yang | Facial expression recognition and expression intensity estimation | |
US20240177406A1 (en) | Interactive wearable electronic device with facial expression and face recognition and prompting functions and processing method for interactive wearable electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180612 |
|
WD01 | Invention patent application deemed withdrawn after publication |