CN112667793A

CN112667793A - 一种基于dnn的人机交互方法、装置、系统、电子设备和存储介质

Info

Publication number: CN112667793A
Application number: CN202011620048.4A
Authority: CN
Inventors: 徐波; 方明
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-12-31
Filing date: 2020-12-31
Publication date: 2021-04-16
Anticipated expiration: 2040-12-31
Also published as: CN112667793B

Abstract

本发明涉及人工智能领域，具体涉及一种基于DNN的人机交互方法、装置、系统、电子设备和存储介质；本发明的基于DNN的人机交互方法借助生物物联网、大数据分析、云计算、边缘计算和深度学习等技术，能够基于独特的逻辑设计，针对历史数据和当前信息经过深度学习和分析之后，可实现针对预测需求主动发起交互以及个性化交互的功能，可用于人机交互机器人领域，具有较高的实用价值和广泛的应用前景。

Description

一种基于DNN的人机交互方法、装置、系统、电子设备和存储介质

技术领域

本发明涉及人工智能领域，具体涉及一种基于DNN的人机交互方法、装置、系统、电子设备和存储介质。

背景技术

DNN，即为深度神经网络算法，近几年在工业界和学术界新型的一个机器学习领域的流行话题。DNN算法成功的将以往的识别率提高了一个显著的档次。

人工神经网络起源于上世纪40年代，第一个神经元模型是1943年McCulloch和Pitts提出的，称为threshold logic，它可以实现一些逻辑运算的功能。自此以后，神经网络的研究分化为两个方向，一个专注于生物信息处理的过程，称为生物神经网络；一个专注于工程应用，称为人工神经网络。

随着世界经济和科技的发展，智能交互机器人市场的消费需求正在快速增长。具备人机交互功能的机器人可以应用在教育、医疗、儿童玩具、养老、陪护、接待、旅游、安防、交通、物流等众多行业，未来发展空间广阔。

目前市场上已有的交互机器人分为两大类：一类是被动交互，需要由人类发起唤醒操作后，如按键、说出唤醒词或者点击触屏，再进行交互；一类是感应式交互，机器人通过传感器(如红外线或超声波)感知到一定范围内有人活动或经过，然后按照预设程序发起交互。客观来看，无论是收到人类的交互指令后启动交互程序，还是收到传感器信号后启动交互程序，这两种都不是主动智能交互，更谈不上个性化交互。为了提供更为自然和有价值的人机交互解决方案，在现有的技术架构基础上，创新提供一种主动智能个性化交互的人机交互方法以解决上述问题实为必要。

发明内容

针对现有技术的不足，本发明提供一种基于DNN的人机交互方法、装置、系统、电子设备和存储介质，该方法借助生物物联网、大数据分析、云计算、边缘计算和深度学习等技术，能够基于独特的逻辑设计，针对历史数据和当前信息经过深度学习和分析之后，可实现针对预测需求主动发起交互以及个性化交互的功能。

本发明解决技术问题采用如下技术方案：

本发明提供一种基于DNN的人机交互方法，在多轮深度学习规则的基础上，增加驱动主动交互的步骤，包括：

a、设置SDO3作为专用DNN学习结果的输出，用于将学习结果实时输出给机器人本体中的边缘计算单元；

b、在边缘计算单元中增设专用DNN单元SDA、随机发生器RAD1和处理单元CPU2；

c、设置EC2作为生物传感器网络获得的实时数据在前端经过边缘计算之后的输出；

d、将EC2和SDO3数据持续送入SDA中处理，并将SDA的输出结果和RAD1的实时结果共同送入CPU2，同步的，云端的执行控制单元ECU的输出也送入CPU2；

e、CPU2输出结果同时包含以下内容：

对机器人和特定主体的相关历史交互信息数据的深度学习处理；

结合了当前实时环境信息数据进行学习和推理之后的未来趋势信息；

基于随机数的对信息进行反馈处理的规则的不确定性信息；

f、针对CPU2输出结果进行非确定的主动交互反馈处理，提供具有个性化的主动交互服务。

本发明还提供一种基于DNN的人机交互装置，包括驱动主动交互模块；

所述驱动主动交互模块用于设置SDO3作为专用DNN学习结果的输出SDO，用于将学习结果实时输出给机器人本体中的边缘计算单元，同时在边缘计算单元中增设专用DNN单元SDA、随机发生器RAD1和处理单元CPU2，设置EC2作为生物传感器网络获得的实时数据在前端经过边缘计算之后的输出，将EC2和SDO3数据持续送入SDA中处理，并将SDA的输出结果和RAD1的实时结果同时送给CPU2；

其中CPU2输出结果同时包含以下内容：

对机器人和特定主体的相关历史交互信息数据；

基于随机数的对信息进行反馈处理的规则的不确定性信息；

针对CPU2输出结果进行非确定的主动交互反馈处理，提供具有个性化的主动交互服务。

本发明还提供一种基于DNN的人机交互系统，其特征在于，包括：

多个终端；

云计算中心；

云控制中心；

多轮深度学习模块；

如前述的驱动主动交互模块。

本发明还提供一种电子设备，所述电子设备包括：

处理器；

存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如前述的驱动主动交互的步骤。

本发明还提供一种存储介质，所述所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如前述的驱动主动交互的步骤。

与现有技术相比，本发明具有如下的有益效果：

提供更为自然和有价值的人机交互解决方案，在现有的技术架构基础上，创新提供一种可基于历史数据和当前信息经过逻辑分析之后，针对预测需求主动发起交互的人机交互方法；

本发明借助生物物联网、大数据分析、云计算、边缘计算和深度学习等技术，能够基于独特的逻辑设计，针对历史数据和当前信息经过深度学习和分析之后，可实现针对预测需求主动发起交互以及个性化交互的功能，具有较高的实用价值和广泛的应用前景。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的一种基于DNN的人机交互方法原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例的一种基于DNN的人机交互方法，建立在以下多轮深度学习规则：机器人通过高速通信网络，和后台具备海量信息存储和处理能力的后台人工智能服务云平台(以下简称云平台CP)实时联网；机器人和特定主体的相关历史交互信息数据存储在云平台上，送给唯一的专用DNN(SD1)进行学习；与此同时，由机器人本体上的各种传感器和环境传感器组成的生物物联网获得的实时数据在前端经过边缘计算之后，实时送给SD1进行学习；当前DNN的学习结果作为输入，同时输出给执行机构控制单元ECU和聚类DNN(CD)；执行机构控制单元根据输入信息、预置刚性约束条件和生物物联网实时数据综合处理后，输出控制结果给执行机构；聚类DNN将众多专用DNN(SD1,SD2,...SDn)的输入进行学习后，输出给规则控制单元RCU，在这里和同样进行深度学习迭代的规则指令集合进行结合，然后将优化后的学习结果再输出给SD1-n进行下一轮的深化学习。

在以上的多轮深度学习规则的基础上，设计驱动主动交互的算法规则如下：

增加一个专用DNN学习结果的输出SDO3，将学习结果通过高速通信网络，实时输出给机器人本体中的边缘计算单元；

在边缘计算单元中增设专用DNN单元SDA、随机发生器RAD1和处理单元CPU2；

增加一个生物传感器网络获得的实时数据在前端经过边缘计算之后的输出EC2；

给SDA同时喂养SDO3和EC2，将SDA的输出结果和RAD1的实时结果同时送给CPU2，CPU2的处理规则预先设定多种从弱到强的主动交互发起环节，根据RAD1的值对应调用；这样，CPU2的输出结果同时包含了如下信息：

基于专用DNN对机器人和特定主体的相关历史交互信息数据，并且结合了当前实时环境信息数据进行学习和推理之后的未来趋势信息；

基于随机数的对信息进行反馈处理的规则的不确定性。

综合以上内容，通过增设基于历史和现实数据混合输入的特定算法的深度学习环节，对趋势信息进行预测，同时针对预测结果进行非确定的主动交互反馈处理，从而可以提供具有个性化的主动交互功能。

如图1所示，本实施例的人机交互方法实际应用的系统分为边缘计算和云计算两个部分，边缘计算能力和资源部署在机器人本体内，云计算能力和资源部署在后台的数据中心，两者通过通信云进行连接，连接方式包括且不限于4G/5G、WiFi、蓝牙、窄带物联网和ZIGBEE。边缘计算部分包括边缘存储器、边缘处理单元EPU和多个执行机构1-n，其中边缘处理单元又包括生物传感器处理单元Sensor1-n、专用DNN单元SDA、随机发生器RAD1和处理器CPU2。边缘处理单元可被设计封装成专用AI芯片，事实上，通过对I/O接口的归一化定义，该单元可被标准化成通用AI芯片。相比较而言，云计算部分的计算能力、处理速度和存储容量则要大的多，计算规则也要复杂的多。该部分包括多个专用深度学习模块DNN(SD1-SDn)、一个专门用于将DNN(SD1-SDn)的输出进行聚类处理的专用DNN聚类模块CD、用于存储经过深度学习迭代的规则指令集的规则库、用于计算处理专用聚类模块CD的输出和规则指令集的规则控制单元RCU、可人工定义的刚性约束库，以及用于计算处理专用深度学习模块DNN(SD1-SDn)的输出数据、边缘处理单元的输出数据和刚约库规则的的执行控制单元ECU。

以上基于DNN的人机交互方法的应用场景举例说明如下:

例一：

主人下班回到家之后，家中的服务机器人会根据生物互联网的图像识别传感器或脚步声识别传感器感知和识别到家的具体人员，同时读取主人的智能手环信息，然后主动打招呼：

“尊敬的男主人您好，欢迎您下班回家。您今天走了1.2万步，一定很辛苦，经检测您的电解质有轻度混乱，请稍等我给您拿一杯功能饮料。”

例二：

情侣逛商场，柜台的导购机器人会根据生物互联网的图像识别传感器、人脸和表情识别传感器感知、识别和分析情侣的年龄、身高、体型、体重、衣着档次和消费能力，从而进行精准导购：

“这位先生您好，您的女朋友身高168公分，体重48公斤，是标准的模特身材，气质优越，颜值98分，超过了99.9％的女生。我们店有一件衣服特别适合她，今天做活动打七折只要4999元，建议请美女试一下好吗？”

本实施例还提供一种基于DNN的人机交互装置，包括驱动主动交互模块；

其中CPU2输出结果同时包含以下内容：

对机器人和特定主体的相关历史交互信息数据；

基于随机数的对信息进行反馈处理的规则的不确定性信息；

实施例2

本实施例提供一种基于DNN的人机交互系统，包括：

多个终端；

云计算中心；

云控制中心；

多轮深度学习模块；

如前述的驱动主动交互模块。

实施例3

本实施例还提供一种电子设备，所述电子设备包括：

处理器；

实施例4

本实施例提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如前述的驱动主动交互的步骤。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.一种基于DNN的人机交互方法，其特征在于，在多轮深度学习规则的基础上，增加驱动主动交互及个性化交互的步骤，包括：

e、CPU2输出结果同时包含以下内容：

基于随机数的对信息进行反馈处理的规则的不确定性信息；

2.根据权利要求1所述的一种基于DNN的人机交互方法，其特征在于，CPU2按照RAD1的值对应调用预先设定的参数，执行多种从弱到强的主动交互发起环节，所述预先设定的参数包括机器人的表情、声音、灯光和肢体语言的夸张程度。

3.根据权利要求1所述的一种基于DNN的人机交互方法，其特征在于，所述多轮深度学习规则具体包括：

机器人通过高速通信网络，和人工智能服务云平台实时联网，所述人工智能服务云平台具有海量存储和处理能力；

机器人和特定主体的相关历史交互信息数据由CPU2存储在边缘存储器上，通过高速通信网络送入云平台上的专用DNN进行学习；

由机器人本体上的各种传感器和环境传感器组成的生物物联网获得的实时数据在前端经过边缘计算之后，实时送入云平台上的专用DNN进行学习；

当前专用DNN的学习结果同时输出给执行控制单元ECU和聚类DNN；执行控制单元ECU对此输入信息、预置刚性约束条件和生物物联网实时数据进行综合处理后，输出控制结果给CPU2；

聚类DNN将若干专用DNN的输入进行学习后进行聚类，再将聚类结果送入规则控制单元RCU与规则指令集合进行比对并进行逻辑处理，然后将优化后的学习结果再输出给专用DNN进行下一轮的深化学习。

4.根据权利要求1所述的一种基于DNN的人机交互方法，其特征在于，所述步骤a中学习结果通过高速通信网络，实时输出给机器人本体中的边缘计算单元。

5.一种基于DNN的人机交互装置，其特征在于，包括驱动主动交互模块；

其中CPU2输出结果同时包含以下内容：

对机器人和特定主体的相关历史交互信息数据；

基于随机数的对信息进行反馈处理的规则的不确定性信息；

6.一种基于DNN的人机交互系统，其特征在于，包括：

多个终端；

云计算中心；

云控制中心；

多轮深度学习模块；

如权利要求5所述的驱动主动交互模块。

7.一种电子设备，其特征在于，所述电子设备包括：

处理器；

存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至4任一项所述的步骤。

8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4任一项所述的步骤。