CN114387643A - 机器人控制方法、系统、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种机器人控制方法、系统、计算机设备及存储介质。方法包括：通过物理机器人采集目标客户的人脸图像；对人脸图像进行识别，得到人脸识别结果；根据人脸识别结果判断预设的客户资料库中是否存在与人脸识别结果对应的目标人脸图像；若是，则根据客户资料库中与目标人脸图像对应的用户画像生成第一服务模式；通过物理机器人根据第一服务模式与目标客户进行交互，得到第一交互结果；根据第一交互结果、数字孪生环境以及虚拟孪生机器人生成物理机器人的第一服务指令；根据第一服务指令控制物理机器人。本方案中的机器人在对客户进行服务之前，会先进行新老客户的判断，然后根据判断结果生成对应的服务模式，提高了机器人的灵活性。

Description

机器人控制方法、系统、计算机设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种机器人控制方法、系统、计 算机设备及存储介质。

背景技术

随着人们生活水平的提升，咖啡店等为客户提供服务的店在人们的生活中 随处可见，为了体现店铺的科技性，以吸引更多的顾客，有些店铺提供了机器 人服务员，用机器人为顾客服务，但是现有的机器人面对新老顾客都是使用固 定的话术获取顾客的需求，对话时不会考虑老顾客之前的需求，机器人的灵活 性较差。

发明内容

本申请实施例提供了一种机器人控制方法、系统、计算机设备及存储介质， 可以提高机器人的灵活性。

第一方面，本申请实施例提供了一种机器人控制方法，该方法应用于机器 人控制系统，所述机器人控制系统中预设有物理机器人的数字孪生环境以及所 述物理机器人的虚拟孪生机器人，所述方法包括：

通过所述物理机器人采集目标客户的人脸图像；

对所述人脸图像进行识别，得到人脸识别结果；

根据所述人脸识别结果判断预设的客户资料库中是否存在与所述人脸识别 结果对应的目标人脸图像；

若所述客户资料库中存在与所述人脸识别结果对应的目标人脸图像，则根 据所述客户资料库中与所述目标人脸图像对应的用户画像生成第一服务模式；

通过所述物理机器人根据所述第一服务模式与所述目标客户进行交互，得 到第一交互结果；

根据所述第一交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成 所述物理机器人的第一服务指令；

根据所述第一服务指令控制所述物理机器人。

第二方面，本申请实施例还提供了一种机器人控制系统，所述机器人控制 系统中预设有物理机器人的数字孪生环境以及所述物理机器人的虚拟孪生机器 人，所述机器人控制系统包括：

采集单元，用于通过所述物理机器人采集目标客户的人脸图像；

处理单元，用于对所述人脸图像进行识别，得到人脸识别结果；根据所述 人脸识别结果判断预设的客户资料库中是否存在与所述人脸识别结果对应的目 标人脸图像；若所述客户资料库中存在与所述人脸识别结果对应的目标人脸图 像，则根据所述客户资料库中与所述目标人脸图像对应的用户画像生成第一服 务模式；通过所述物理机器人根据所述第一服务模式与所述目标客户进行交互， 得到第一交互结果；根据所述第一交互结果、所述数字孪生环境以及所述虚拟 孪生机器人生成所述物理机器人的第一服务指令；根据所述第一服务指令控制 所述物理机器人。

第三方面，本申请实施例还提供了一种计算机设备，其包括存储器及处理 器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现 上述方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介 质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理 器执行时可实现上述方法。

本申请实施例提供了一种机器人控制方法、系统、计算机设备及存储介质。 其中，该方法应用于机器人控制系统，所述机器人控制系统中预设有物理机器 人的数字孪生环境以及所述物理机器人的虚拟孪生机器人，所述方法包括：通 过所述物理机器人采集目标客户的人脸图像；对所述人脸图像进行识别，得到 人脸识别结果；根据所述人脸识别结果判断预设的客户资料库中是否存在与所 述人脸识别结果对应的目标人脸图像；若所述客户资料库中存在与所述人脸识 别结果对应的目标人脸图像，则根据所述客户资料库中与所述目标人脸图像对 应的用户画像生成第一服务模式；通过所述物理机器人根据所述第一服务模式 与所述目标客户进行交互，得到第一交互结果；根据所述第一交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成所述物理机器人的第一服务指令； 根据所述第一服务指令控制所述物理机器人。本方案中的机器人在对客户进行 服务之前，会根据客户的人脸图像判断客户资料库中是否存在对应的人脸图像， 如果存在即确定该客户为老客户，然后根据该老顾客对应的用户画像生成对应 的服务模式，提高了机器人的灵活性。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。

图1为本申请实施例提供的机器人控制方法的应用场景示意图；

图2为本申请实施例提供的机器人控制方法的流程示意图；

图3为本申请实施例提供的机器人控制系统的示意性框图；

图4为本申请实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部 的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳 动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含” 指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个 或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施 例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使 用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该” 意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包 括这些组合。

本申请实施例提供了一种机器人控制方法、系统、计算机设备及存储介质。

该机器人控制方法的执行主体可以是本申请实施例提供的机器人控制系 统，或者集成了该机器人控制系统的计算机设备，其中，该机器人控制系统可 以采用硬件或者软件的方式实现，该计算机设备可以为云端服务器。

请参阅图1，图1为本申请实施例提供的机器人控制方法的应用场景示意图。 该机器人控制方法应用于图1中的机器人控制系统10中，该机器人控制系统10 中预设有物理机器人20的数字孪生环境以及物理机器人20的虚拟孪生机器人， 该方法包括：通过物理机器人20采集目标客户的人脸图像；对人脸图像进行识 别，得到人脸识别结果；根据人脸识别结果判断预设的客户资料库中是否存在 与人脸识别结果对应的目标人脸图像；若客户资料库中存在与人脸识别结果对 应的目标人脸图像，则根据客户资料库中与目标人脸图像对应的用户画像生成 第一服务模式；通过物理机器人20根据第一服务模式与目标客户进行交互，得 到第一交互结果；根据第一交互结果、数字孪生环境以及虚拟孪生机器人生成物理机器人20的第一服务指令；根据第一服务指令控制物理机器人20。

其中，本实施例中的机器人控制系统可设置于云端。

图2是本申请实施例提供的机器人控制方法的流程示意图。如图2所示， 该方法包括以下步骤S110-1120。

S110、通过所述物理机器人采集目标客户的人脸图像。

例如，当目标客户站在点餐区时，物理机器人采集该目标客户的人脸图像， 然后将采集到的人脸图像上传至机器人控制系统。

其中，所述通过所述物理机器人采集目标客户的人脸图像之前，所述方法 还包括：通过所述物理机器人的传感器对所述物理机器人的工作环境进行三维 重建，得到所述数字孪生环境；对所述物理机器人进行数字孪生体重建，得到 所述虚拟孪生机器人。

S120、对所述人脸图像进行识别，得到人脸识别结果。

机器人控制系统接收到该人脸图像之后，对该人脸图像进行识别，得到人 脸图像识别结果。

S130、根据所述人脸识别结果判断预设的客户资料库中是否存在与所述人 脸识别结果对应的目标人脸图像，若是，则执行步骤S140-S170，若否，则执行 步骤S180-S1120。

当机器人控制系统得到目标客户的人脸识别结果之后，将会在客户资料库 中进行人脸图像的比对，具体地，判断客户资料库中是否存在与该人脸识别结 果对应的人脸图像数据，如果存在，则确定该客户为老客户，如果不存在，则 确定该客户为新客户，其中，客户资料库中存储有历史人脸图像以及该历史人 脸图像对应的用户画像，该历史人脸图像为历史服务过的客户的人脸图像。

S140、根据所述客户资料库中与所述目标人脸图像对应的用户画像生成第 一服务模式。

本实施例中，如果客户资料库中存在对应的人脸图像，那么从客户资料库 中提取该人脸图像对应的用户画像，然后根据该用户画像生成第一服务模式， 该第一服务模式为熟客服务模式，进入该模式之后，后续交互将结合该客户的 历史点单情况进行交互，提高点单效率。

其中，该用户画像包括客户身份信息(例如张先生)以及历史客户需求(例 如拿铁，少奶，多糖)。

S150、通过所述物理机器人根据所述第一服务模式与所述目标客户进行交 互，得到第一交互结果。

具体地，步骤S150包括：基于所述第一服务模式从所述用户画像中提取所 述目标人脸图像对应的客户身份信息以及历史客户需求；根据所述客户身份信 息以及历史客户需求以及预设的语音合成模型生成第一询问语句；通过所述物 理机器人播放所述第一询问语句；通过所述物理机器人接收所述目标客户的第 一回答语句；根据预设的语音识别模型以及预设的自然语言理解模型分析所述 第一回答语句，得到所述第一交互结果。

例如，生成的第一询问语句为：“张先生，欢迎您再次光临xx咖啡店，您 还是点中杯，淡卡拿铁，少奶少糖？”通过物理机器人播放该第一询问语句之 后，将继续监听该目标客户的回答，例如，当监听到目标客户回答“是”时， 将根据用户画像中的历史客户需求作为新的客户需求，如果听到客户的否定回 答时，此时，将预设的语义槽与目标客户进行对话，获取用户的需求信息。

S160、根据所述第一交互结果、所述数字孪生环境以及所述虚拟孪生机器 人生成所述物理机器人的第一服务指令。

具体地，步骤S160包括：根据所述第一交互结果，控制所述虚拟孪生机器 人在所述数字孪生环境中进行仿真工作，得到仿真数据；根据所述仿真数据生 成所述物理机器人的第一服务器指令。

本实施例中的机器人控制系统支持对虚拟孪生机器人在数字孪生环境中实 时运行和仿真，例如，让虚拟孪生机器人在数字孪生环境中完成整个制作咖啡 的过程(机器人蓝图表示)；包括视觉识别客户人脸、空咖啡杯、咖啡机按钮、 取咖啡杯/接咖啡杯/放咖啡杯的位置等，以及仿真与客户进行自然语言的对话， 机器人自主移动和各种抓、按、放动作等多模态交互过程。

S170、根据所述第一服务指令控制所述物理机器人。

例如，在物理机器人中运行上述过程蓝图，实现同步控制物理机器人完成 制作咖啡的整个服务过程。

具体地，在一些实施例中，所述物理机器人为咖啡制作机器人，所述根据 所述第一服务指令控制所述物理机器人，包括：控制所述物理机器人的底盘万 向轮，将所述物理机器人移动至空咖啡杯放置点；控制所述物理机器人的机器 手从所述空咖啡杯放置点中拿取咖啡杯；控制所述底盘万向轮所述物理机器人 移动至咖啡机前方，并控制所述机器手将所述咖啡杯放置在预设的接咖啡位置； 控制所述机器手点击与所述第一服务器指令对应的按钮；当咖啡制作完毕后， 通过所述机器手将所述咖啡杯放置于预设的咖啡拿取地点。其中，所述物理机 器人具有定位与导航功能。

S180、根据预设的语义槽生成第二服务器模式。

其中，如果所述客户资料库中不存在与所述人脸识别结果对应的目标人脸 图像，则此时将该目标客户确定为新客户，启动新客户模式(即第二服务模式)。 其中，预设的语义槽需要获取的信息包括客户的身份信息以及客户的需求信息。

S190、通过所述物理机器人根据所述第二服务模式与所述目标客户进行交 互，得到第二交互结果。

例如，询问客户的身份信息以及需求信息，并将获取到的身份信息以及需 求信息填入语义槽中，得到第二交互结果。

具体地，步骤S190包括：基于所述第二服务器模式，根据所述语义槽以及 预设的语音合成模型生成第二询问语句；通过所述物理机器播放所述第二询问 语句；通过所述物理机器人接收所述目标客户的第二回答语句；根据预设的语 音识别模型以及预设的自然语言理解模型分析所述第二回答语句，得到分析结 果；根据所述分析结果对所述语义槽进行填充处理，得到填充后语义槽；根据 所述填充后语义槽生成所述第二交互结果。

S1100、根据所述第二交互结果、所述数字孪生环境以及所述虚拟孪生机器 人生成所述物理机器人的第二服务指令。

具体地，根据所述第二交互结果，控制所述虚拟孪生机器人在所述数字孪 生环境中进行仿真工作，得到仿真数据；根据所述仿真数据生成所述物理机器 人的第二服务器指令。

S1110、根据所述第二服务指令控制所述物理机器人。

例如，通过物理机器人根据第二服务器指令中的需求信息为客户制作与该 需求信息相应的咖啡。

S1120、根据所述第二交互结果生成所述目标人脸图像对应的用户画像，在 所述客户资料库中保存所述目标人脸图像对应的用户画像。

本实施例中，当获取到目标客户的第二交互结果之后，将会根据该第二交 互结果生成该目标客户的用户画像，使得机器人在下次再对该目标客户进行服 务时，可以根据对应的用户画像生成对应的熟客服务模式，提高用户体验以及 点单效率。

才外，本方案中的机器人控制系统还包括人工增强服务模块，该模块用于 远程人工监控与辅助，例如，发现服务过程中出现特例或异常情况，针对这种 情况可以人工在虚拟数字孪生环境中进行辅助操作，如对客户说句抱歉/稍等， 或连续给客户做两杯咖啡等可以更好为客户完成制作咖啡服务等行为。

需要说明的是，本实施例物理机器人身体多关节协同转动实现拟人动作， 具备以下特点：

1、物理机器人基于底盘进行万向轮进行水平移动；

2、物理机器人身体自然转身，支持头、脖子、腰、膝处的关节在各自的方 向上同时转动一定角度(每个关节角度方向和转动角度不一定相同)，形成一个 类似人的动作。最终来实现让机器人抓取到目标物体；这样会让机器人执行动 作时，以最快速获得目标姿态。

为了进一步加深对本方案的理解，下面再结合具体的应用场景对本方案中 的机器人控制方法进行描述：

一、本申请中的物理机器人基于云端的机器人控制系统中的虚拟孪生机器 人进行同步控制：

1、预先对咖啡服务台或是咖啡店通过物理机器人自身传感器或第三方设备 对环境进行完整的三维重建，形成一个虚拟的数字孪生环境；

2、对云端机器人进行数字孪生体的建模，形成和物理机器人相同的组成和 物理属性，包括关节运行和传感器参数模型等；

3、支持对数字孪生机器人再虚拟数字孪生环境中的实时运行和仿真，让数 字孪生机器人在虚拟数字孪生环境中完成整个制作咖啡的过程(机器人蓝图表 示)；包括视觉识别客户人脸、空咖啡杯、咖啡机按钮、取咖啡杯/接咖啡杯/放 咖啡杯的位置等，以及仿真与客户进行自然语言的对话，机器人自主移动和各 种抓、按、放动作等多模态交互过程；

4、在物理机器人控制服务中运行上述过程蓝图，实现同步控制物理机器人 完成制作咖啡的整个服务过程；

5、基于物理机器人数字孪生的控制服务支持通过远程人工监控与辅助，即， 后台人员可以通过可视化界面完整的看到虚拟的数字孪生环境和机器人数字孪 生体整个服务过程，以及物理机器人传感器上报感知的真实环境的可视化，以 便发现服务过程中出现特例或异常情况，针对这种情况在虚拟数字孪生环境中 进行辅助操作，如对客户说句抱歉/稍等，或连续给客户做两杯咖啡等可以更好 为客户完成制作咖啡服务等行为。

二、机器人制作咖啡的完整过程：

1、当顾客来到服务台前时，物理机器人基于自身相机(RGB)传感器获得 面前的人脸，进行人脸识别，并开始进行自然语言对话交互，如果识别出是新 客户，则使用新客模式进行交互，例如：欢迎你来到XX咖啡点，我将为您提 供咖啡服务，请问您要哪种咖啡，拿铁，摩卡，美式等；如果识别出来是已认 过的人，则会在云端根据该人的ID标识，查找获得该人用户画像信息，包括但 不限于性别，年龄，喜欢喝咖啡或茶，咖啡是否加奶，大杯/中杯/小杯，浓咖， 淡咖，牛奶多或牛奶少或不加奶，多糖或少糖或其他等；如果无法查找获得上 述客户喜好时，则需要通过进行多轮自然语言对话，不断追问到上述选项，直 到都问到答案，并基于用户ID标识进行云端数据库保存；机器人说：请你稍等， 我们马上为您制作你需要咖啡。

机器人底盘将基于SLAM定位和自主导航移动到放置空咖啡杯子A点前的 导航点停下来，机器人伸出右手/左手，从A点处拿取抓取一个空咖啡杯；

机器人再自动移动到咖啡机前方，机器人就像人类一样，同时转动脖子、 腰和底盘等关节，使得机器人朝向咖啡机的面板正面，机器人将(左/右)手中 空咖啡杯放置在咖啡机预先指定的接咖啡处即B点；

机器人根据客户语音对话所做出的选择，识别咖啡机上的对应按钮，通过 转动身体(脖子/腰和底盘等)，并伸出左手或右手手指(不限于哪根手指)，按 下咖啡机上选择的咖啡类型对应的按钮，根据咖啡机提示，机器人进入等待状 态(类似人类)；

咖啡机开始制作咖啡，机器人则通过传感器“观察”咖啡是否已经制作完 毕；

当咖啡制作完毕后，机器人则伸(左/右)手去抓取已慢慢抓起已经盛好的 咖啡杯，慢慢转身并移动到服务台前，并将咖啡杯放置在服务台指定区域，或 者从机器人手中递送给客户手中去，同时跟客户说“这是您要的咖啡，请慢用” (可以是类似话术，提醒客户拿走他要的咖啡)；

完成一个咖啡服务后，机器人回到初始待服务的状态，准备迎接下一个客 户的咖啡服务。

综上所述，本实施例通过所述物理机器人采集目标客户的人脸图像；对所 述人脸图像进行识别，得到人脸识别结果；根据所述人脸识别结果判断预设的 客户资料库中是否存在与所述人脸识别结果对应的目标人脸图像；若所述客户 资料库中存在与所述人脸识别结果对应的目标人脸图像，则根据所述客户资料 库中与所述目标人脸图像对应的用户画像生成第一服务模式；通过所述物理机 器人根据所述第一服务模式与所述目标客户进行交互，得到第一交互结果；根 据所述第一交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成所述物 理机器人的第一服务指令；根据所述第一服务指令控制所述物理机器人。本方 案中的机器人在对客户进行服务之前，会根据客户的人脸图像判断客户资料库中是否存在对应的人脸图像，如果存在即确定该客户为老客户，然后根据该老 顾客对应的用户画像生成对应的服务模式，提高了机器人的灵活性。

此外，本方案还有以下优势：

1、机器人控制系统控制物理机器人，通过视觉感知识别、自然语言对话、 自主移动、身体的转动、两只手的抓取、手指按按钮等操作方式，基本替代咖 啡店服务员的咖啡服务操作过程，提升了效率，减少了人工成本；

2、物理机器人在咖啡店的服务场景下，机器人控制系统通过物理机器人与 客户进行的视觉识别、自然语言对话、机器人自主移动和身体的行为动作，以 及基于用户画像先验知识等实现的物理机器人的多模态交互和控制；

3、物理机器人在服务客户，操作抓取等行为动作控制通过机器人控制系统 来完成的，因此一套机器人控制系统支持多个物理机器人进行同时服务；

4、基于机器人控制系统，保存了用户画像信息，因此再为同一客户提供服 务时，会带来更加优化的用户体验。

图3是本申请实施例提供的一种机器人控制系统的示意性框图。如图3所 示，对应于以上机器人控制方法，本申请还提供一种机器人控制系统。该机器 人控制系统包括用于执行上述机器人控制方法的单元。具体地，请参阅图3，该 机器人控制系统包括采集单元401以及处理单元402，其中：

采集单元401，用于通过所述物理机器人采集目标客户的人脸图像；

处理单元402，用于对所述人脸图像进行识别，得到人脸识别结果；根据所 述人脸识别结果判断预设的客户资料库中是否存在与所述人脸识别结果对应的 目标人脸图像；若所述客户资料库中存在与所述人脸识别结果对应的目标人脸 图像，则根据所述客户资料库中与所述目标人脸图像对应的用户画像生成第一 服务模式；通过所述物理机器人根据所述第一服务模式与所述目标客户进行交 互，得到第一交互结果；根据所述第一交互结果、所述数字孪生环境以及所述 虚拟孪生机器人生成所述物理机器人的第一服务指令；根据所述第一服务指令 控制所述物理机器人。

在一些实施例中，所述处理单元402在实现所述通过所述物理机器人根据 所述第一服务模式与所述目标客户进行交互，得到第一交互结果步骤时，具体 还用于：

基于所述第一服务模式从所述用户画像中提取所述目标人脸图像对应的客 户身份信息以及历史客户需求；

根据所述客户身份信息以及历史客户需求以及预设的语音合成模型生成第 一询问语句；

通过所述物理机器人播放所述第一询问语句；

通过所述物理机器人接收所述目标客户的第一回答语句；

根据预设的语音识别模型以及预设的自然语言理解模型分析所述第一回答 语句，得到所述第一交互结果。

在一些实施例中，所述处理单元402在实现根据所述人脸识别结果判断预 设的客户资料库中是否存在与所述人脸识别结果对应的目标人脸图像之后，还 用于：

若所述客户资料库中不存在与所述人脸识别结果对应的目标人脸图像，则 根据预设的语义槽生成第二服务器模式；

通过所述物理机器人根据所述第二服务模式与所述目标客户进行交互，得 到第二交互结果；

根据所述第二交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成 所述物理机器人的第二服务指令；

根据所述第二服务指令控制所述物理机器人；

根据所述第二交互结果生成所述目标人脸图像对应的用户画像，在所述客 户资料库中保存所述目标人脸图像对应的用户画像。

在一些实施例中，所述处理单元402在实现通过所述物理机器人根据所述 第二服务模式与所述目标客户进行交互，得到第二交互结果，具体用于：

基于所述第二服务器模式，根据所述语义槽以及预设的语音合成模型生成 第二询问语句；

通过所述物理机器播放所述第二询问语句；

通过所述物理机器人接收所述目标客户的第二回答语句；

根据预设的语音识别模型以及预设的自然语言理解模型分析所述第二回答 语句，得到分析结果；

根据所述分析结果对所述语义槽进行填充处理，得到填充后语义槽；

根据所述填充后语义槽生成所述第二交互结果。

在一些实施例中，所述处理单元402在实现所述根据所述第一交互结果、 所述数字孪生环境以及所述虚拟孪生机器人生成所述物理机器人的第一服务指 令，具体用于：

根据所述第一交互结果，控制所述虚拟孪生机器人在所述数字孪生环境中 进行仿真工作，得到仿真数据；

根据所述仿真数据生成所述物理机器人的第一服务器指令。

在一些实施例中，所述处理单元402在实现所述物理机器人为咖啡制作机 器人，所述根据所述第一服务指令控制所述物理机器人，具体用于：

控制所述物理机器人的底盘万向轮，将所述物理机器人移动至空咖啡杯放 置点；

控制所述物理机器人的机器手从所述空咖啡杯放置点中拿取咖啡杯；

控制所述底盘万向轮所述物理机器人移动至咖啡机前方，并控制所述机器 手将所述咖啡杯放置在预设的接咖啡位置；

控制所述机器手点击与所述第一服务器指令对应的按钮；

当咖啡制作完毕后，通过所述机器手将所述咖啡杯放置于预设的咖啡拿取 地点。

在一些实施例中，所述处理单元402在实现所述通过所述物理机器人采集 目标客户的人脸图像之前，还用于：

通过所述物理机器人的传感器对所述物理机器人的工作环境进行三维重 建，得到所述数字孪生环境；

对所述物理机器人进行数字孪生体重建，得到所述虚拟孪生机器人。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述机器人控制 系统和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了 描述的方便和简洁，在此不再赘述。

上述机器人控制系统可以实现为一种计算机程序的形式，该计算机程序可 以在如图4所示的计算机设备上运行。

请参阅图4，图4是本申请实施例提供的一种计算机设备的示意性框图。该 计算机设备500可以是服务器，其中，该计算机设备500中集成有机器人控制 系统，所述机器人控制系统中预设有物理机器人的数字孪生环境以及所述物理 机器人的虚拟孪生机器人。

参阅图4，该计算机设备500包括通过系统总线501连接的处理器502、存 储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器 504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算 机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种 机器人控制方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运 行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供 环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种机 器人控制方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解， 图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对 本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可 以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部 件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实 现如下步骤：

通过所述物理机器人采集目标客户的人脸图像；

对所述人脸图像进行识别，得到人脸识别结果；

根据所述人脸识别结果判断预设的客户资料库中是否存在与所述人脸识别 结果对应的目标人脸图像；

若所述客户资料库中存在与所述人脸识别结果对应的目标人脸图像，则根 据所述客户资料库中与所述目标人脸图像对应的用户画像生成第一服务模式；

通过所述物理机器人根据所述第一服务模式与所述目标客户进行交互，得 到第一交互结果；

根据所述第一交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成 所述物理机器人的第一服务指令；

根据所述第一服务指令控制所述物理机器人。

在一些实施例中，处理器502在实现所述通过所述物理机器人根据所述第 一服务模式与所述目标客户进行交互，得到第一交互结果步骤时，具体实现如 下步骤：

基于所述第一服务模式从所述用户画像中提取所述目标人脸图像对应的客 户身份信息以及历史客户需求；

根据所述客户身份信息以及历史客户需求以及预设的语音合成模型生成第 一询问语句；

通过所述物理机器人播放所述第一询问语句；

通过所述物理机器人接收所述目标客户的第一回答语句；

根据预设的语音识别模型以及预设的自然语言理解模型分析所述第一回答 语句，得到所述第一交互结果。

在一些实施例中，处理器502在实现所述根据所述人脸识别结果判断预设 的客户资料库中是否存在与所述人脸识别结果对应的目标人脸图像步骤之后， 还实现如下步骤：

若所述客户资料库中不存在与所述人脸识别结果对应的目标人脸图像，则 根据预设的语义槽生成第二服务器模式；

通过所述物理机器人根据所述第二服务模式与所述目标客户进行交互，得 到第二交互结果；

根据所述第二交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成 所述物理机器人的第二服务指令；

根据所述第二服务指令控制所述物理机器人；

根据所述第二交互结果生成所述目标人脸图像对应的用户画像，在所述客 户资料库中保存所述目标人脸图像对应的用户画像。

在一些实施例中，处理器502在实现所述通过所述物理机器人根据所述第 二服务模式与所述目标客户进行交互，得到第二交互结果步骤时，具体实现如 下步骤：

基于所述第二服务器模式，根据所述语义槽以及预设的语音合成模型生成 第二询问语句；

通过所述物理机器播放所述第二询问语句；

通过所述物理机器人接收所述目标客户的第二回答语句；

根据预设的语音识别模型以及预设的自然语言理解模型分析所述第二回答 语句，得到分析结果；

根据所述分析结果对所述语义槽进行填充处理，得到填充后语义槽；

根据所述填充后语义槽生成所述第二交互结果。

在一些实施例中，处理器502在实现所述根据所述第一交互结果、所述数 字孪生环境以及所述虚拟孪生机器人生成所述物理机器人的第一服务指令步骤 时，具体实现如下步骤：

根据所述第一交互结果，控制所述虚拟孪生机器人在所述数字孪生环境中 进行仿真工作，得到仿真数据；

根据所述仿真数据生成所述物理机器人的第一服务器指令。

在一些实施例中，处理器502在实现所述物理机器人为咖啡制作机器人， 所述根据所述第一服务指令控制所述物理机器人步骤时，具体实现如下步骤：

控制所述物理机器人的底盘万向轮，将所述物理机器人移动至空咖啡杯放 置点；

控制所述物理机器人的机器手从所述空咖啡杯放置点中拿取咖啡杯；

控制所述底盘万向轮所述物理机器人移动至咖啡机前方，并控制所述机器 手将所述咖啡杯放置在预设的接咖啡位置；

控制所述机器手点击与所述第一服务器指令对应的按钮；

当咖啡制作完毕后，通过所述机器手将所述咖啡杯放置于预设的咖啡拿取 地点。

在一些实施例中，处理器502在实现所述通过所述物理机器人采集目标客 户的人脸图像步骤之前，还实现如下步骤：

通过所述物理机器人的传感器对所述物理机器人的工作环境进行三维重 建，得到所述数字孪生环境；

对所述物理机器人进行数字孪生体重建，得到所述虚拟孪生机器人。

应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理 器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或 者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中， 通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分 流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程 序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介 质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的 实施例的流程步骤。

因此，本申请还提供一种存储介质。该存储介质可以为计算机可读存储介 质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指 令被处理器执行时使处理器执行如下步骤：

通过所述物理机器人采集目标客户的人脸图像；

对所述人脸图像进行识别，得到人脸识别结果；

根据所述人脸识别结果判断预设的客户资料库中是否存在与所述人脸识别 结果对应的目标人脸图像；

若所述客户资料库中存在与所述人脸识别结果对应的目标人脸图像，则根 据所述客户资料库中与所述目标人脸图像对应的用户画像生成第一服务模式；

通过所述物理机器人根据所述第一服务模式与所述目标客户进行交互，得 到第一交互结果；

根据所述第一交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成 所述物理机器人的第一服务指令；

根据所述第一服务指令控制所述物理机器人。

在一些实施例中，所述处理器在执行所述程序指令而实现所述通过所述物 理机器人根据所述第一服务模式与所述目标客户进行交互，得到第一交互结果 步骤时，具体实现如下步骤：

基于所述第一服务模式从所述用户画像中提取所述目标人脸图像对应的客 户身份信息以及历史客户需求；

根据所述客户身份信息以及历史客户需求以及预设的语音合成模型生成第 一询问语句；

通过所述物理机器人播放所述第一询问语句；

通过所述物理机器人接收所述目标客户的第一回答语句；

根据预设的语音识别模型以及预设的自然语言理解模型分析所述第一回答 语句，得到所述第一交互结果。

在一些实施例中，所述处理器在执行所述程序指令而实现所述根据所述人 脸识别结果判断预设的客户资料库中是否存在与所述人脸识别结果对应的目标 人脸图像步骤之后，还实现如下步骤：

若所述客户资料库中不存在与所述人脸识别结果对应的目标人脸图像，则 根据预设的语义槽生成第二服务器模式；

通过所述物理机器人根据所述第二服务模式与所述目标客户进行交互，得 到第二交互结果；

根据所述第二交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成 所述物理机器人的第二服务指令；

根据所述第二服务指令控制所述物理机器人；

根据所述第二交互结果生成所述目标人脸图像对应的用户画像，在所述客 户资料库中保存所述目标人脸图像对应的用户画像。

在一些实施例中，所述处理器在执行所述程序指令而实现所述通过所述物 理机器人根据所述第二服务模式与所述目标客户进行交互，得到第二交互结果 步骤时，具体实现如下步骤：

基于所述第二服务器模式，根据所述语义槽以及预设的语音合成模型生成 第二询问语句；

通过所述物理机器播放所述第二询问语句；

通过所述物理机器人接收所述目标客户的第二回答语句；

根据预设的语音识别模型以及预设的自然语言理解模型分析所述第二回答 语句，得到分析结果；

根据所述分析结果对所述语义槽进行填充处理，得到填充后语义槽；

根据所述填充后语义槽生成所述第二交互结果。

在一些实施例中，所述处理器在执行所述程序指令而实现所述根据所述第 一交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成所述物理机器人 的第一服务指令步骤时，具体实现如下步骤：

根据所述第一交互结果，控制所述虚拟孪生机器人在所述数字孪生环境中 进行仿真工作，得到仿真数据；

根据所述仿真数据生成所述物理机器人的第一服务器指令。

在一些实施例中，所述处理器在执行所述程序指令而实现所述物理机器人 为咖啡制作机器人，所述根据所述第一服务指令控制所述物理机器人步骤时， 具体实现如下步骤：

控制所述物理机器人的底盘万向轮，将所述物理机器人移动至空咖啡杯放 置点；

控制所述物理机器人的机器手从所述空咖啡杯放置点中拿取咖啡杯；

控制所述底盘万向轮所述物理机器人移动至咖啡机前方，并控制所述机器 手将所述咖啡杯放置在预设的接咖啡位置；

控制所述机器手点击与所述第一服务器指令对应的按钮；

当咖啡制作完毕后，通过所述机器手将所述咖啡杯放置于预设的咖啡拿取 地点。

在一些实施例中，所述处理器在执行所述程序指令而实现所述通过所述物 理机器人采集目标客户的人脸图像步骤之前，还实现如下步骤：

通过所述物理机器人的传感器对所述物理机器人的工作环境进行三维重 建，得到所述数字孪生环境；

对所述物理机器人进行数字孪生体重建，得到所述虚拟孪生机器人。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现， 为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地 描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决 于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用 来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范 围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可 以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的。例 如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划 分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特 征可以忽略，或不执行。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。 本申请实施例系统中的单元可以根据实际需要进行合并、划分和删减。另外， 在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各 个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使 用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质 上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软 件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干 指令用以使得一台计算机设备执行本申请各个实施例所述方法的全部或部分步 骤。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到 各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。 因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种机器人控制方法，其特征在于，应用于机器人控制系统，所述机器人控制系统中预设有物理机器人的数字孪生环境以及所述物理机器人的虚拟孪生机器人，所述方法包括：

通过所述物理机器人采集目标客户的人脸图像；

对所述人脸图像进行识别，得到人脸识别结果；

根据所述人脸识别结果判断预设的客户资料库中是否存在与所述人脸识别结果对应的目标人脸图像；

若所述客户资料库中存在与所述人脸识别结果对应的目标人脸图像，则根据所述客户资料库中与所述目标人脸图像对应的用户画像生成第一服务模式；

通过所述物理机器人根据所述第一服务模式与所述目标客户进行交互，得到第一交互结果；

根据所述第一交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成所述物理机器人的第一服务指令；

根据所述第一服务指令控制所述物理机器人。

2.根据权利要求1所述的方法，其特征在于，所述通过所述物理机器人根据所述第一服务模式与所述目标客户进行交互，得到第一交互结果，包括：

基于所述第一服务模式从所述用户画像中提取所述目标人脸图像对应的客户身份信息以及历史客户需求；

根据所述客户身份信息以及历史客户需求以及预设的语音合成模型生成第一询问语句；

通过所述物理机器人播放所述第一询问语句；

通过所述物理机器人接收所述目标客户的第一回答语句；

根据预设的语音识别模型以及预设的自然语言理解模型分析所述第一回答语句，得到所述第一交互结果。

3.根据权利要求1所述的方法，其特征在于，所述根据所述人脸识别结果判断预设的客户资料库中是否存在与所述人脸识别结果对应的目标人脸图像之后，所述方法还包括：

若所述客户资料库中不存在与所述人脸识别结果对应的目标人脸图像，则根据预设的语义槽生成第二服务器模式；

通过所述物理机器人根据所述第二服务模式与所述目标客户进行交互，得到第二交互结果；

根据所述第二交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成所述物理机器人的第二服务指令；

根据所述第二服务指令控制所述物理机器人；

根据所述第二交互结果生成所述目标人脸图像对应的用户画像，在所述客户资料库中保存所述目标人脸图像对应的用户画像。

4.根据权利要求3所述的方法，其特征在于，所述通过所述物理机器人根据所述第二服务模式与所述目标客户进行交互，得到第二交互结果，包括：

基于所述第二服务器模式，根据所述语义槽以及预设的语音合成模型生成第二询问语句；

通过所述物理机器播放所述第二询问语句；

通过所述物理机器人接收所述目标客户的第二回答语句；

根据预设的语音识别模型以及预设的自然语言理解模型分析所述第二回答语句，得到分析结果；

根据所述分析结果对所述语义槽进行填充处理，得到填充后语义槽；

根据所述填充后语义槽生成所述第二交互结果。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成所述物理机器人的第一服务指令，包括：

根据所述第一交互结果，控制所述虚拟孪生机器人在所述数字孪生环境中进行仿真工作，得到仿真数据；

根据所述仿真数据生成所述物理机器人的第一服务器指令。

6.根据权利要求1所述的方法，其特征在于，所述物理机器人为咖啡制作机器人，所述根据所述第一服务指令控制所述物理机器人，包括：

控制所述物理机器人的底盘万向轮，将所述物理机器人移动至空咖啡杯放置点；

控制所述物理机器人的机器手从所述空咖啡杯放置点中拿取咖啡杯；

控制所述底盘万向轮所述物理机器人移动至咖啡机前方，并控制所述机器手将所述咖啡杯放置在预设的接咖啡位置；

控制所述机器手点击与所述第一服务器指令对应的按钮；

当咖啡制作完毕后，通过所述机器手将所述咖啡杯放置于预设的咖啡拿取地点。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述通过所述物理机器人采集目标客户的人脸图像之前，所述方法还包括：

通过所述物理机器人的传感器对所述物理机器人的工作环境进行三维重建，得到所述数字孪生环境；

对所述物理机器人进行数字孪生体重建，得到所述虚拟孪生机器人。

8.一种机器人控制系统，其特征在于，所述机器人控制系统中预设有物理机器人的数字孪生环境以及所述物理机器人的虚拟孪生机器人，所述机器人控制系统包括：

采集单元，用于通过所述物理机器人采集目标客户的人脸图像；

处理单元，用于对所述人脸图像进行识别，得到人脸识别结果；根据所述人脸识别结果判断预设的客户资料库中是否存在与所述人脸识别结果对应的目标人脸图像；若所述客户资料库中存在与所述人脸识别结果对应的目标人脸图像，则根据所述客户资料库中与所述目标人脸图像对应的用户画像生成第一服务模式；通过所述物理机器人根据所述第一服务模式与所述目标客户进行交互，得到第一交互结果；根据所述第一交互结果、所述数字孪生环境以及所述虚拟孪生机器人生成所述物理机器人的第一服务指令；根据所述第一服务指令控制所述物理机器人。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的方法。

Images