CN110427462A - 与用户互动的方法、装置、存储介质及服务机器人 - Google Patents
与用户互动的方法、装置、存储介质及服务机器人 Download PDFInfo
- Publication number
- CN110427462A CN110427462A CN201910723626.8A CN201910723626A CN110427462A CN 110427462 A CN110427462 A CN 110427462A CN 201910723626 A CN201910723626 A CN 201910723626A CN 110427462 A CN110427462 A CN 110427462A
- Authority
- CN
- China
- Prior art keywords
- target user
- user
- image
- target
- service robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003993 interaction Effects 0.000 title claims abstract description 29
- 230000002452 interceptive effect Effects 0.000 claims abstract description 57
- 230000006854 communication Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 238000013439 planning Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 7
- 230000005055 memory storage Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000012384 transportation and delivery Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Human Computer Interaction (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本申请提供一种与用户互动的方法、装置、存储介质及服务机器人，其中，该方法应用于酒店内的服务机器人，包括如下步骤：当检测到第一预设区域内有用户靠近时进行图像采集，获得包含有目标用户的图像；利用分类模型对所述图像中的目标用户进行分类，以获得所述目标用户的身份类别；根据所述身份类别获得对应的交互模式，并利用所述交互模式与所述目标用户互动。本申请实施例通过对目标用户的图像进行用户身份类别的分类，从而服务机器人能够根据其身份类别对交互模式做出智能化调整，使用户在互动过程中体验更好。
Description
技术领域
本申请涉及人工智能技术领域，具体而言，涉及一种与用户互动的方法、装置、存储介质及服务机器人。
背景技术
随着科技以及智能化技术的发展，机器人的应用领域正不断从工业制造向家用、娱乐、用户服务等方向扩展延伸，如今，机器人作为一种辅助终端已经逐渐进入到酒店当中，酒店通过机器人可以为入住用户提供物品运送、疑问解答等功能，但机器人与用户之间只能基于简单的预置语音进行沟通，在面对不同类型的用户时，机器人难以准确获得用户的对话意图并采取用户所期望的交互模式与其进行语音互动，交互模式不够灵活。
发明内容
本申请实施例的目的在于提供一种与用户互动的方法、装置、存储介质及服务机器人，使得机器人能够智能化选择与用户身份类别相匹配的交互模式进行互动，从而改善上述技术问题。
第一方面，本申请实施例提供一种与用户互动的方法，应用于酒店内的服务机器人，所述方法包括：当检测到第一预设区域内有用户靠近时进行图像采集，获得包含有目标用户的图像；利用分类模型对所述图像中的目标用户进行分类，以获得所述目标用户的身份类别；根据所述身份类别获得对应的交互模式，并利用所述交互模式与所述目标用户互动。
当服务机器人在酒店内来回巡视时，能够主动发现第一预设区域内出现的目标用户，并根据目标用户的身份类别对交互模式作出智能化的选择，实现灵活调整，使用户在互动过程中体验更好。
在一种可能的实施方式中，在利用分类模型对所述图像中的目标用户进行分类之前，所述方法还包括：利用检测模型对所述图像进行行人检测，获得至少一个行人框；确定所述至少一个行人框中面积最大的目标行人框；从所述图像中提取所述目标行人框；利用分类模型对所述图像中的目标用户进行分类，包括：利用分类模型对所述目标行人框中的目标用户进行分类。
通过行人检测能够快速确定服务机器人将主动进行互动的目标用户，提取出的仅包含目标用户的目标行人框可以避免图像中其余无关用户对分类模型的分类结果的影响，同时能够提高分类效率。
在一种可能的实施方式中，所述利用所述交互模式与所述目标用户互动，包括：获取所述目标用户的语音信息；利用语义识别模型从所述语音信息中提取至少一个对话关键词，并在语音库中查询与所述至少一个对话关键词相匹配的反馈信息；根据所述交互模式所对应的语音音色将所述反馈信息合成为语音，并向所述目标用户播放所述语音。
服务机器人与用户语音沟通的音色是根据目标用户的身份类别确定，因此，在沟通过程中服务机器人的语音音色能够更加贴合目标用户的偏好，符合目标用户的身份特点，从而能够增强用户的沟通欲望，使得语音沟通过程更加自然、愉悦。
在一种可能的实施方式中，所述方法还包括：响应所述目标用户的选择操作，所述选择操作是目标用户根据显示模块上展示的多种交互模式作出的；切换至所述目标用户选择的交互模式与所述目标用户互动。
用户可以自由的在服务机器人上选择交互模式，使服务机器人按照不同的目标音色进行语音互动，实现语音的趣味性，丰富用户的语音交互体验，形成良好的沟通氛围。
在一种可能的实施方式中，在利用语义识别模型从所述语音信息中提取至少一个对话关键词之后，所述方法还包括：当所述至少一个对话关键词中包括预设关键词时，对所述目标用户进行面部图像采集，获得包括所述目标用户面部信息的人脸图像；根据所述人脸图像向服务器发起数据查询请求，以获得与所述目标用户匹配的入住信息，所述入住信息包括所述目标用户的入住房间地址；根据所述入住房间地址规划从目标用户的当前位置到达入住房间的行走路径，并根据所述行走路径引导所述目标用户前往所述入住房间。
服务机器人在与目标用户语音沟通的过程中，能够快速识别用户的对话意图，例如，至少一个对话关键词中包括有表征用户入住意图的预设关键词，则服务机器人可以自动查询到该目标用户的入住房间地址，并实现自动引路，解决用户的入住问题。
在一种可能的实施方式中，在根据所述入住房间地址规划从目标用户的当前位置到达入住房间的行走路径之后，所述方法还包括：接收对外部环境的感知信息；根据所述感知信息确定处于所述服务机器人前方第二预设区域内的障碍物体，并根据所述障碍物体重新规划当前的行走路径。
在一种可能的实施方式中，所述方法还包括：获取多个训练样本，每一训练样本包括训练对象以及所述训练对象对应的标签，所述标签用于表征所述训练对象的身份类别；利用所述训练对象和所述标签对神经网络模型进行训练，获得所述分类模型。
第二方面，本申请实施例提供一种与用户互动的装置，所述装置包括：图像采集模块，用于在检测到第一预设区域内有用户靠近时进行图像采集，获得包含有目标用户的图像；分类模块，用于利用分类模型对所述图像中的目标用户进行分类，以获得所述目标用户的身份类别；互动模块，用于根据所述身份类别获得对应的交互模式，并利用所述交互模式与所述目标用户互动。
第三方面，本申请实施例提供一种存储介质，所述存储介质上存储有程序，所述程序被处理器运行时执行如第一方面或者第一方面中任一种可能的实施方式所述的方法。
第四方面，本申请实施例提供一种服务机器人，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述服务机器人运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面或者第一方面中任一种可能的实施方式所述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的与用户互动的方法的流程图；
图2为本申请实施例中与用户语音互动的流程图；
图3为本申请实施例中与用户互动的方法的另一流程图；
图4为本申请实施例中与用户互动的方法的另一流程图；
图5为本申请实施例提供的与用户互动的装置的示意图；
图6为本申请实施例提供的服务机器人的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请以酒店内的服务机器人为例介绍一种与用户互动的方法，使得该服务机器人可以准确识别用户的身份类别，并智能采用与该身份类别匹配的交互模式与用户互动，最终与用户形成良好的互动氛围。请参照图1，该方法包括如下步骤：
步骤101：当检测到第一预设区域内有用户靠近时进行图像采集，获得包含有目标用户的图像。
目标用户是指服务机器人从图像内的至少一个用户中所确定的与其进行互动的用户，上述靠近服务机器人的用户跟目标用户可能是同一个人，也可能是不同的人。服务机器人上设置有能够感应用户靠近的传感器，例如激光测距传感器、红外感应传感器、双目活体检测摄像头等，其中，第一预设区域是指该传感器能够感应到用户靠近的区域。
服务机器人可以布设在酒店大堂或者走廊等场所，可以以主动或者被动的方式为用户提供服务，包括但不限于通过语音沟通与用户进行顺畅的对话交流，解答用户在入住酒店过程中的各种疑问，或者引领用户前往入住的房间或用户想要前去的指定地点等。该服务机器人在非互动情况下可以在酒店内进行来回巡视，在巡视过程中，比如，通过设置红外感应传感器能够感应第一预设区域内的红外变化，因此当有用户出现在该区域内，基于人体发出的红外辐射使其能够及时检测到用户的靠近，从而触发摄像头启动图像采集，获得包含有用户面部以及穿着特征的图像，该图像可以用于定位目标用户的身份类别。
步骤102：利用分类模型对该图像中的目标用户进行分类，以获得目标用户的身份类别。
身份类别包括但不限于目标用户的性别、年龄类别和/或穿着偏好类别等，分类的目的是考虑到不同类别的用户对交互模式的需求不同，根据用户的类别对交互模式作出适应性的调整，可以使用户在互动过程中体验更佳。其中，交互模式是指服务机器人在与用户互动过程中呈现出的外在表现，包括但不限于语音交流时的语气、语调、合成电子音的语音音色以及表现出的性格特点。例如，当面对一个偏好商务穿着的男士，服务机器人可以选择相对比较沉稳的大叔音与其进行对话，对话风格更加贴近商务人士的交流习惯，而当面对一个年龄较小的小朋友时，则可以将一些比较高级的词汇转换为小朋友较常使用的理解词汇和表达词汇，在语音沟通时合成电子音的语音音色可以选择比较可爱的萝莉音或者动画人物的模拟音色，同时在显示模块上显示一些便于理解的图画和文字，帮助小朋友快速理解机器人表达的含义。此外，目标用户的身份类别也能够帮助服务机器人作出更加正确的应答，例如，当目标用户询问卫生间的位置，服务机器人可以根据目标用户的性别将其带领到正确的门口，避免出现带路错误的问题，使服务机器人更加智能化。
具体的，上述分类模型可以采用神经网络模型，在进行分类应用之前，首先获取多个训练样本，每一训练样本中包括训练对象(即包含有用户的图像)以及与训练对象对应的标签(该标签能够表征该用户实际的身份类别)，然后将训练对象输入到神经网络模型中，使该神经网络模型输出该训练对象对应的预测结果，然后利用每一训练对象的标签以及对应的预测结果计算获得神经网络模型损失函数的损失值，并利用该损失值对神经网络模型中的参数进行优化。进一步的，采用不同的训练对象及标签迭代上述流程一定次数，或者当计算的损失值低于预设阈值时可以结束上述训练过程，从而获得最终用于对目标用户分类的分类模型。
步骤103：根据身份类别获得对应的交互模式，并利用该交互模式与目标用户互动。
在确定目标用户的身份类别以后，服务机器人利用与该身份类别相匹配的交互模式与目标用户进行语音互动、画面互动和肢体互动中的一种或多种。当服务机器人在酒店内来回巡视时，能够主动发现第一预设区域内出现的目标用户，并智能化选择对应的交互模式主动向该目标用户打招呼，询问是否需要帮助，同时，若用户未出现在第一预设区域内或者用户并非服务机器人确定的目标用户，服务机器人也能够接收该用户的语音信息，并根据该语音信息与此用户语音互动。
具体的，参照图2，与用户语音互动的过程包括如下步骤：
步骤1031：获取目标用户的语音信息。
服务机器人通过拾音器采集用户的语音信息，该语音信息可以是目标用户在接收到服务机器人的主动询问后回复的语音，也可以是用户主动向服务机器人发起沟通的语音。
步骤1032：利用语义识别模型从语音信息中提取至少一个对话关键词，并在语音库中查询与至少一个对话关键词相匹配的反馈信息。
语音库中预置有用户可能询问的大量对话场景以及回复内容，语义识别模型能够对该语音信息进行快速语义解析，获得至少一个对话关键词，并从语音库中查找到对应的反馈信息，从而对用户进行语音回复，因此服务机器人在与用户语音沟通的过程中，能够快速识别互动用户的对话意图并及时给予反馈，实现自然、顺畅的沟通交流。
例如，其中一个对话场景为用户入住场景，上述至少一个关键词中包括有表征用户入住意图的预设关键词，例如，“入住”、“房间”等，服务机器人与酒店后台服务器通信连接，在检测到预设关键词后，参照图3，该方法还包括如下步骤：
步骤201：启动摄像头对目标用户进行面部图像采集，获得包括该目标用户面部信息的人脸图像。
步骤202：根据人脸图像向服务器发起数据查询请求，以获得与目标用户匹配的入住信息，该入住信息包括目标用户的入住房间地址。
步骤203：根据入住房间地址规划从目标用户的当前位置到达入住房间的行走路径，并根据行走路径引导目标用户前往入住房间。
上述人脸图像用于与酒店服务器中入住人员的人脸信息进行对比。由于每位入住人员在酒店办理入住手续时，需要登记本人身份信息，因此服务器存储的入住信息中包括用户身份证上的证件图像，服务器在接收到该人脸图像后，可以利用人脸识别算法与入住人员的证件图像进行逐一比对，查找到对应的入住人员，并将其入住信息返回至服务机器人。服务机器人可以根据该目标用户入住信息中的入住房间地址进行路径规划，并沿设定的路径引导目标用户到达入住房间。在引导过程中，服务机器人能够通过传感器实时接收外部环境的感知信息，并根据该感知信息确定前方第二预设区域内是否存在障碍物体，例如，服务机器人设置有多个激光测距传感器，该多个激光测距传感器用于检测不同方向上的外部物体与服务机器人的当前距离，若某一测光测距传感器测得的当前距离低于阈值，则确定该方向上存在障碍物体(比如人群或者酒店固定设施等)，那么可以根据该障碍物体的位置重新规划当前的行走路径，从而实现引导避障的效果。
又例如，其中一个对话场景为常规聊天场景，服务机器人能够根据目标用户的语音信息识别出该用户当前是想要进行疑问解答还是仅仅是常规聊天，在该对话场景中，该方法还包括以下步骤：识别该语音信息中目标用户的情绪特征；根据该情绪特征与用户进行互动。比如，当用户的语音信息中包含明显的笑声、哭声等情绪，服务机器人可以根据对话关键词从语音库中查找对应的回复语段，例如，向目标用户讲述语音库中预置的笑话段子，或者，播放一些安慰的暖心语句或者显示某一视频片段，从而实现机器人与目标用户间的高自由度互动，互动方式更加智能。
需要指出的是，上述语义识别模型可以直接采用现有技术实施(例如为科大讯飞公开的语音识别技术)，在此不对其进行过多赘述。
可选的，服务机器人在获取到目标用户的语音信息后，可以将该语音信息上传至云端识别平台，由该云端识别平台对语音信息进行语义识别，并从云端语音库中查找到对应的反馈信息，云端识别平台能够存储和管理庞大的语音信息和云端语音库，能够快速为目标用户的问题找到合适的答复，缩短服务机器人交流的反应时间，提高沟通效率。
在步骤1032之后，执行步骤1033：根据交互模式所对应的语音音色将反馈信息合成为语音，并向目标用户播放语音。
服务机器人主动向目标用户打招呼时，所选择的交互模式为根据目标用户的身份类别智能化确定的交互模式，然后按照该交互模式所对应的语音音色将反馈信息按照一定的语调合成为电子音进行播放，如此一来，沟通过程中服务机器人的语音音色能够更加贴合目标用户的偏好，符合目标用户的身份特点，从而能够增强用户的沟通欲望，使得语音沟通过程更加自然、愉悦。此外，目标用户若对当前的交互模式不满意，想要更换至另外的交互模式，也可以通过服务机器人显示模块上展示的多种交互模式进行手动更改，因此该方法还包括以下步骤：响应目标用户的选择操作；切换至目标用户选择的交互模式与目标用户互动。用户可以自由的在服务机器人上选择不同年龄段、不同风格、不同类型的目标音色，例如大叔音、萝莉音、正常音等，实现语音的趣味性，丰富用户的语音交互体验，形成良好的沟通氛围。
上述技术方案使得服务机器人能够具备能听会说的基本能力，能够轻松实现引领用户前往入住房间、播放音视频资源、智能疑问解答和聊天等功能，真正实现与用户的智能互动，酒店内放置多个服务机器人，能够为员工分担大部分的带路、解疑等工作，可以有效缓解酒店员工的工作压力。
可选的，由于酒店内人员来往比较频繁，比如酒店大堂内的人群一般较为密集，服务机器人所拍摄的图像中除了所需的目标用户的图像部分以外，往往还包括有较多不需要进行互动的用户，因此在进行分类之前，该方法还包括如下步骤，请参照图4：
步骤301：利用检测模型对图像进行行人检测，获得至少一个行人框。
行人框用于指示该图像中可能包括行人的区域，每个行人框与图像中的行人一一对应，获得行人框的目的在于从图像中的至少一个行人中确定出服务机器人需要进行互动的目标用户。其中，检测模型可以为现有技术中任意一种行人检测模型，用于从酒店内密集人群中准确识别每一位用户。
步骤302：确定至少一个行人框中面积最大的目标行人框。
行人框的面积能够反映其中行人在图像中所占像素的大小，间接反映用户距离服务机器人的远近，例如，用户距离服务机器人越近，那么拍摄获得的图像中该用户将会形成更大的行人框，用户距离服务机器人越远，行人框的面积也将会越小。服务机器人可以选择距离最近的用户作为目标用户，并主动向前提供帮助。
步骤303：从该图像中提取目标行人框。
在步骤101之后，执行上述步骤301-303，并在提取出目标行人框后，将提取出的表征目标用户的目标行人框所含图像输入至分类模型中，得到目标用户的身份类别，进而利用与该身份类别匹配的交互模式与目标用户互动。由于服务机器人是选择距离最近的用户上前互动，能够减少服务机器人的移动时间，更快为用户提供帮助，同时，分类模型的输入仅为目标用户的图像，可以避免图像中其余无关人员对分类结果的影响，并提高分类效率。
可以理解，如果步骤302中仅获得一个行人框，那么也可以省略步骤302，直接将该行人框作为目标行人框，服务机器人直接与图像中唯一一位用户进行互动。
可选的，目标用户的图像还能够用于获得目标用户的身份信息，例如，假设目标用户的身份包括酒店管理者、普通员工或者入住人员，服务机器人可以根据该目标用户的图像从酒店后台服务器的员工信息库或者入住信息库中查找到对应的身份信息，从而服务机器人在上前打招呼时可以增加对目标用户的身份称谓，例如，“王经理，您好”；若目标用户是首次到达该酒店，并未在入住信息库中查询到对应的身份信息，那么可以基于步骤102得到的身份类别增加默认的身份称谓，例如“先生”、“女士”、“小朋友”或者“爷爷”等。在打招呼或者沟通过程中增加对目标用户的称谓，能够使当前的目标用户感到更加的亲切和自然。
本实施例利用以上技术方案，使服务机器人在酒店巡视过程中，能够主动发现待互动的目标用户，并采用与目标用户身份类别相匹配的交互模式主动为其提供帮助，能够与目标用户进行引领带路、语音对话等智能化互动，缓解酒店的工作压力，同时，当用户遇到任何困难，也可以第一时间通过服务机器人得到及时解决，进而提高用户体验。
基于同一发明构思，本申请实施例还提供一种与用户互动的装置，参照图5，该装置包括：
图像采集模块401，用于在检测到第一预设区域内有用户靠近时进行图像采集，获得包含有目标用户的图像；
分类模块402，用于利用分类模型对所述图像中的目标用户进行分类，以获得所述目标用户的身份类别；
互动模块403，用于根据所述身份类别获得对应的交互模式，并利用所述交互模式与所述目标用户互动。
可选的，该装置还包括：行人检测模块，用于利用检测模型对所述图像进行行人检测，获得至少一个行人框；确定所述至少一个行人框中面积最大的目标行人框；从所述图像中提取所述目标行人框；分类模块402具体用于：利用分类模型对所述目标行人框中的目标用户进行分类。
可选的，互动模块403具体用于：获取所述目标用户的语音信息；利用语义识别模型从所述语音信息中提取至少一个对话关键词，并在语音库中查询与所述至少一个对话关键词相匹配的反馈信息；根据所述交互模式所对应的语音音色将所述反馈信息合成为语音，并向所述目标用户播放所述语音。
可选的，互动模块403还用于：响应所述目标用户的选择操作，所述选择操作是目标用户根据显示模块上展示的多种交互模式作出的；切换至所述目标用户选择的交互模式与所述目标用户互动。
可选的，该装置还包括：路径规划模块，用于当所述至少一个对话关键词中包括预设关键词时，对所述目标用户进行面部图像采集，获得包括所述目标用户面部信息的人脸图像；根据所述人脸图像向服务器发起数据查询请求，以获得与所述目标用户匹配的入住信息，所述入住信息包括所述目标用户的入住房间地址；根据所述入住房间地址规划从目标用户的当前位置到达入住房间的行走路径，并根据所述行走路径引导所述目标用户前往所述入住房间。
可选的，路径规划模块还用于：接收对外部环境的感知信息；根据所述感知信息确定处于所述服务机器人前方第二预设区域内的障碍物体，并根据所述障碍物体重新规划当前的行走路径。
可选的，分类模块402还用于：获取多个训练样本，每一训练样本包括训练对象以及所述训练对象对应的标签，所述标签用于表征所述训练对象的身份类别；利用所述训练对象和所述标签对神经网络模型进行训练，获得所述分类模型。
上述提供的与用户互动的装置与前一方法实施例的基本原理及产生的技术效果相同，为简要描述，本实施例部分未提及之处，可参考上述的方法实施例中的相应内容，在此不做赘述。
本申请实施例还提供一种存储介质，该存储介质上存储有程序，当该程序被处理器运行时执行如本申请上述实施例提供的与用户互动的方法的步骤。
请参阅图6，本实施例提供一种服务机器人500，包括处理器501和存储器502，存储器502中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器501加载并执行以实现上述实施例提供的与用户互动的方法。服务机器人500还可以包括通信总线503，其中，处理器501和存储器502通过通信总线503完成相互间的通信。存储器502可以包括高速随机存取存储器(作为缓存)，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。通信总线503是连接所描述的元素的电路并且在这些元素之间实现传输。例如，处理器501通过通信总线503从其它元素接收到命令，解码接收到的命令，根据解码的命令执行计算或数据处理。
当服务机器人500在酒店内来回巡视时，能够主动发现第一预设区域内出现的目标用户，并根据目标用户的身份类别对交互模式作出智能化的选择，实现灵活调整，使用户在互动过程中体验更好。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种与用户互动的方法，其特征在于，应用于酒店内的服务机器人，所述方法包括：
当检测到第一预设区域内有用户靠近时进行图像采集，获得包含有目标用户的图像；
利用分类模型对所述图像中的目标用户进行分类，以获得所述目标用户的身份类别；
根据所述身份类别获得对应的交互模式，并利用所述交互模式与所述目标用户互动。
2.根据权利要求1所述的方法，其特征在于，在利用分类模型对所述图像中的目标用户进行分类之前，所述方法还包括：
利用检测模型对所述图像进行行人检测，获得至少一个行人框；
确定所述至少一个行人框中面积最大的目标行人框；
从所述图像中提取所述目标行人框；
利用分类模型对所述图像中的目标用户进行分类，包括：利用分类模型对所述目标行人框中的目标用户进行分类。
3.根据权利要求1所述的方法，其特征在于，所述利用所述交互模式与所述目标用户互动，包括：
获取所述目标用户的语音信息；
利用语义识别模型从所述语音信息中提取至少一个对话关键词，并在语音库中查询与所述至少一个对话关键词相匹配的反馈信息；
根据所述交互模式所对应的语音音色将所述反馈信息合成为语音，并向所述目标用户播放所述语音。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应所述目标用户的选择操作，所述选择操作是目标用户根据显示模块上展示的多种交互模式作出的；
切换至所述目标用户选择的交互模式与所述目标用户互动。
5.根据权利要求3所述的方法，其特征在于，在利用语义识别模型从所述语音信息中提取至少一个对话关键词之后，所述方法还包括：
当所述至少一个对话关键词中包括预设关键词时，对所述目标用户进行面部图像采集，获得包括所述目标用户面部信息的人脸图像；
根据所述人脸图像向服务器发起数据查询请求，以获得与所述目标用户匹配的入住信息，所述入住信息包括所述目标用户的入住房间地址；
根据所述入住房间地址规划从目标用户的当前位置到达入住房间的行走路径，并根据所述行走路径引导所述目标用户前往所述入住房间。
6.根据权利要求5所述的方法，其特征在于，在根据所述入住房间地址规划从目标用户的当前位置到达入住房间的行走路径之后，所述方法还包括：
接收对外部环境的感知信息；
根据所述感知信息确定处于所述服务机器人前方第二预设区域内的障碍物体，并根据所述障碍物体重新规划当前的行走路径。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取多个训练样本，每一训练样本包括训练对象以及所述训练对象对应的标签，所述标签用于表征所述训练对象的身份类别；
利用所述训练对象和所述标签对神经网络模型进行训练，获得所述分类模型。
8.一种与用户互动的装置，其特征在于，所述装置包括：
图像采集模块，用于在检测到第一预设区域内有用户靠近时进行图像采集，获得包含有目标用户的图像；
分类模块，用于利用分类模型对所述图像中的目标用户进行分类，以获得所述目标用户的身份类别；
互动模块，用于根据所述身份类别获得对应的交互模式，并利用所述交互模式与所述目标用户互动。
9.一种存储介质，其特征在于，所述存储介质上存储有程序，所述程序被处理器运行时执行如权利要求1-7任一项所述的方法。
10.一种服务机器人，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述服务机器人运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910723626.8A CN110427462A (zh) | 2019-08-06 | 2019-08-06 | 与用户互动的方法、装置、存储介质及服务机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910723626.8A CN110427462A (zh) | 2019-08-06 | 2019-08-06 | 与用户互动的方法、装置、存储介质及服务机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110427462A true CN110427462A (zh) | 2019-11-08 |
Family
ID=68412914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910723626.8A Pending CN110427462A (zh) | 2019-08-06 | 2019-08-06 | 与用户互动的方法、装置、存储介质及服务机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110427462A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110955263A (zh) * | 2019-12-31 | 2020-04-03 | 中国电子科技集团公司信息科学研究院 | 移动机器人的主动感知与自主趋近方法及移动机器人系统 |
| CN110968853A (zh) * | 2019-12-20 | 2020-04-07 | 上海思依暄机器人科技股份有限公司 | 一种身份状态的转换方法、装置和家用机器人 |
| CN110990599A (zh) * | 2019-12-04 | 2020-04-10 | 广东小天才科技有限公司 | 一种交互方法、装置、家教机、计算机设备和存储介质 |
| CN111274489A (zh) * | 2020-03-25 | 2020-06-12 | 北京百度网讯科技有限公司 | 信息处理方法、装置、设备及存储介质 |
| CN111429907A (zh) * | 2020-03-25 | 2020-07-17 | 北京百度网讯科技有限公司 | 语音服务模式切换方法、装置、设备及存储介质 |
| CN111444322A (zh) * | 2020-01-08 | 2020-07-24 | 北京小米松果电子有限公司 | 处理语音数据的方法、处理语音数据的装置及存储介质 |
| CN111694353A (zh) * | 2020-05-14 | 2020-09-22 | 特斯联科技集团有限公司 | 一种导引控制方法、装置、存储介质及服务机器人 |
| CN112016938A (zh) * | 2020-09-01 | 2020-12-01 | 中国银行股份有限公司 | 机器人的交互方法、装置、电子设备及计算机存储介质 |
| CN112200292A (zh) * | 2020-09-30 | 2021-01-08 | 江苏迪迪隆机器人科技发展有限公司 | 一种基于户外巡游机器人的互动信息处理方法和装置 |
| CN112528822A (zh) * | 2020-12-04 | 2021-03-19 | 湖北工业大学 | 一种基于人脸识别技术的老弱人群寻路导识装置及方法 |
| CN113126765A (zh) * | 2021-04-22 | 2021-07-16 | 北京云迹科技有限公司 | 一种多模态输入交互方法、装置、机器人和存储介质 |
| CN113377938A (zh) * | 2021-06-24 | 2021-09-10 | 北京小米移动软件有限公司 | 一种对话处理方法及装置 |
| CN113478485A (zh) * | 2021-07-06 | 2021-10-08 | 上海商汤智能科技有限公司 | 机器人及其控制方法、装置、电子设备、存储介质 |
| CN113724454A (zh) * | 2021-08-25 | 2021-11-30 | 上海擎朗智能科技有限公司 | 移动设备的互动方法、移动设备、装置及存储介质 |
| CN113834497A (zh) * | 2021-09-24 | 2021-12-24 | 合众新能源汽车有限公司 | 自动驾驶的路线规划方法及装置 |
| CN113934825A (zh) * | 2021-12-21 | 2022-01-14 | 北京云迹科技有限公司 | 一种问题回答方法、装置和电子设备 |
| CN114399529A (zh) * | 2021-12-09 | 2022-04-26 | 国网安徽省电力有限公司 | 一种用于机器人交互的目标选择模型和机器人交互系统 |
| CN114428506A (zh) * | 2022-04-06 | 2022-05-03 | 北京云迹科技股份有限公司 | 服务机器人的控制方法及装置 |
| CN114523476A (zh) * | 2022-03-02 | 2022-05-24 | 北京云迹科技股份有限公司 | 服务机器人的控制方法及装置 |
| CN116304160A (zh) * | 2023-02-22 | 2023-06-23 | 深圳市明源云科技有限公司 | 基于用户特征的客服形象生成方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108153169A (zh) * | 2017-12-07 | 2018-06-12 | 北京康力优蓝机器人科技有限公司 | 导览模式切换方法、系统和导览机器人 |
| CN108161933A (zh) * | 2017-12-07 | 2018-06-15 | 北京康力优蓝机器人科技有限公司 | 交互模式选择方法、系统及接待机器人 |
| US20190036887A1 (en) * | 2017-03-17 | 2019-01-31 | Labyrinth Research Llc | Unified control of privacy-impacting devices |
| CN109623848A (zh) * | 2019-02-26 | 2019-04-16 | 江苏艾萨克机器人股份有限公司 | 一种酒店服务机器人 |
-
2019
- 2019-08-06 CN CN201910723626.8A patent/CN110427462A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190036887A1 (en) * | 2017-03-17 | 2019-01-31 | Labyrinth Research Llc | Unified control of privacy-impacting devices |
| US20190108362A1 (en) * | 2017-03-17 | 2019-04-11 | Labyrinth Research Llc | Unified control of privacy-impacting devices |
| CN108153169A (zh) * | 2017-12-07 | 2018-06-12 | 北京康力优蓝机器人科技有限公司 | 导览模式切换方法、系统和导览机器人 |
| CN108161933A (zh) * | 2017-12-07 | 2018-06-15 | 北京康力优蓝机器人科技有限公司 | 交互模式选择方法、系统及接待机器人 |
| CN109623848A (zh) * | 2019-02-26 | 2019-04-16 | 江苏艾萨克机器人股份有限公司 | 一种酒店服务机器人 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110990599A (zh) * | 2019-12-04 | 2020-04-10 | 广东小天才科技有限公司 | 一种交互方法、装置、家教机、计算机设备和存储介质 |
| CN110968853A (zh) * | 2019-12-20 | 2020-04-07 | 上海思依暄机器人科技股份有限公司 | 一种身份状态的转换方法、装置和家用机器人 |
| CN110955263A (zh) * | 2019-12-31 | 2020-04-03 | 中国电子科技集团公司信息科学研究院 | 移动机器人的主动感知与自主趋近方法及移动机器人系统 |
| CN111444322A (zh) * | 2020-01-08 | 2020-07-24 | 北京小米松果电子有限公司 | 处理语音数据的方法、处理语音数据的装置及存储介质 |
| CN111444322B (zh) * | 2020-01-08 | 2023-10-13 | 北京小米松果电子有限公司 | 处理语音数据的方法、处理语音数据的装置及存储介质 |
| CN111429907A (zh) * | 2020-03-25 | 2020-07-17 | 北京百度网讯科技有限公司 | 语音服务模式切换方法、装置、设备及存储介质 |
| CN111274489A (zh) * | 2020-03-25 | 2020-06-12 | 北京百度网讯科技有限公司 | 信息处理方法、装置、设备及存储介质 |
| CN111274489B (zh) * | 2020-03-25 | 2023-12-15 | 北京百度网讯科技有限公司 | 信息处理方法、装置、设备及存储介质 |
| CN111429907B (zh) * | 2020-03-25 | 2023-10-20 | 北京百度网讯科技有限公司 | 语音服务模式切换方法、装置、设备及存储介质 |
| CN111694353A (zh) * | 2020-05-14 | 2020-09-22 | 特斯联科技集团有限公司 | 一种导引控制方法、装置、存储介质及服务机器人 |
| CN112016938A (zh) * | 2020-09-01 | 2020-12-01 | 中国银行股份有限公司 | 机器人的交互方法、装置、电子设备及计算机存储介质 |
| CN112200292A (zh) * | 2020-09-30 | 2021-01-08 | 江苏迪迪隆机器人科技发展有限公司 | 一种基于户外巡游机器人的互动信息处理方法和装置 |
| CN112528822A (zh) * | 2020-12-04 | 2021-03-19 | 湖北工业大学 | 一种基于人脸识别技术的老弱人群寻路导识装置及方法 |
| CN112528822B (zh) * | 2020-12-04 | 2021-10-08 | 湖北工业大学 | 一种基于人脸识别技术的老弱人群寻路导识装置及方法 |
| CN113126765A (zh) * | 2021-04-22 | 2021-07-16 | 北京云迹科技有限公司 | 一种多模态输入交互方法、装置、机器人和存储介质 |
| CN113377938A (zh) * | 2021-06-24 | 2021-09-10 | 北京小米移动软件有限公司 | 一种对话处理方法及装置 |
| CN113478485A (zh) * | 2021-07-06 | 2021-10-08 | 上海商汤智能科技有限公司 | 机器人及其控制方法、装置、电子设备、存储介质 |
| CN113724454A (zh) * | 2021-08-25 | 2021-11-30 | 上海擎朗智能科技有限公司 | 移动设备的互动方法、移动设备、装置及存储介质 |
| CN113834497A (zh) * | 2021-09-24 | 2021-12-24 | 合众新能源汽车有限公司 | 自动驾驶的路线规划方法及装置 |
| CN114399529A (zh) * | 2021-12-09 | 2022-04-26 | 国网安徽省电力有限公司 | 一种用于机器人交互的目标选择模型和机器人交互系统 |
| CN113934825A (zh) * | 2021-12-21 | 2022-01-14 | 北京云迹科技有限公司 | 一种问题回答方法、装置和电子设备 |
| CN114523476A (zh) * | 2022-03-02 | 2022-05-24 | 北京云迹科技股份有限公司 | 服务机器人的控制方法及装置 |
| CN114523476B (zh) * | 2022-03-02 | 2024-02-20 | 北京云迹科技股份有限公司 | 服务机器人的控制方法及装置 |
| CN114428506A (zh) * | 2022-04-06 | 2022-05-03 | 北京云迹科技股份有限公司 | 服务机器人的控制方法及装置 |
| CN116304160A (zh) * | 2023-02-22 | 2023-06-23 | 深圳市明源云科技有限公司 | 基于用户特征的客服形象生成方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427462A (zh) | 与用户互动的方法、装置、存储介质及服务机器人 | |
| US11210836B2 (en) | Applying artificial intelligence to generate motion information | |
| US11107456B2 (en) | Artificial intelligence (AI)-based voice sampling apparatus and method for providing speech style | |
| KR102263245B1 (ko) | 이종 레이블 간 발화 스타일 부여를 위한 인공지능 기반의 음성 샘플링 장치 및 방법 | |
| CN103680497B (zh) | 基于视频的语音识别系统及方法 | |
| CN110313154A (zh) | 具有基于意图的信息辨析的智能助理 | |
| US11017551B2 (en) | System and method for identifying a point of interest based on intersecting visual trajectories | |
| CN108235697B (zh) | 一种机器人动态学习方法、系统、机器人以及云端服务器 | |
| CN109176535A (zh) | 基于智能机器人的交互方法及系统 | |
| CN112204564A (zh) | 经由基于集成音频和视觉的语音识别进行语音理解的系统和方法 | |
| CN107507612A (zh) | 一种声纹识别方法及装置 | |
| US10785489B2 (en) | System and method for visual rendering based on sparse samples with predicted motion | |
| US11308312B2 (en) | System and method for reconstructing unoccupied 3D space | |
| CN106575504A (zh) | 在机器人上执行软件应用 | |
| US20190259384A1 (en) | Systems and methods for universal always-on multimodal identification of people and things | |
| CN112204565A (zh) | 用于基于视觉背景无关语法模型推断场景的系统和方法 | |
| KR101738142B1 (ko) | 감성 기반의 대화가 가능한 디지털 생명체 생성 시스템 및 그 제어방법 | |
| US20220301251A1 (en) | Ai avatar-based interaction service method and apparatus | |
| CN107363862B (zh) | 基于机器人的社交系统 | |
| CN113689633B (zh) | 一种景区人机交互方法、装置及系统 | |
| CN115222857A (zh) | 生成虚拟形象的方法、装置、电子设备和计算机可读介质 | |
| EP3950236A1 (en) | Information processing device, information processing method, and program | |
| Guillaume et al. | Hri in an ecological dynamic experiment: The gee corpus based approach for the emox robot | |
| EP4102353A1 (en) | Situationally aware social agent | |
| JP2018073151A (ja) | 学習装置、回答装置、学習情報の生産方法、回答方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 201, building 4, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing Applicant after: Beijing Yunji Technology Co.,Ltd. Address before: Room 201, building 4, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing Applicant before: BEIJING YUNJI TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191108 |
|
| RJ01 | Rejection of invention patent application after publication |