CN110780956A - 一种智能远程协助方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种智能远程协助方法，应用于智能设备技术领域，用于解决如何主动为用户发起远程协助请求的问题。本发明提供的方法包括：获取由传感器采集的用户行为信息；对用户行为信息进行向量化处理，得到各个目标行为向量；分别计算各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个相似度值，远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；针对每个目标行为向量，判断每个目标行为向量对应的最大相似度值是否超过预设阈值；若存在至少一个每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。本发明还提供智能远程协助装置、计算机设备及存储介质。

Description

一种智能远程协助方法、装置、计算机设备及存储介质

技术领域

本发明涉及智能设备技术领域，尤其涉及一种智能远程协助方法、装置、计算机设备及存储介质。

背景技术

随着科技的进步和技术的发展，各种智能移动终端已经在社会相当普及了，特别是智能手机。这些移动终端拥有着强大的功能，结合各种应用软件极大地方便了我们的生活，但是随着智能移动终端产品功能的强大，其操作也日趋纷繁复杂，导致很多年纪比较大的老人在使用过程中会遇到各种各样的麻烦而不知道该怎么处理，通常是需要主动打电话给其他用户或者请求他人提供帮助，又或是打开特定的软件请求远程协助，但这种沟通方式需要用户进行一定的操作，当遇到紧急情况时，往往不能很好的帮助用户解决相关问题。

因此，寻找一种能在用户需要帮助时自动请求远程协助的方法成为本技术领域亟需解决的问题。

发明内容

本发明实施例提供一种智能远程协助方法、装置、计算机设备及存储介质，以解决如何主动为用户发起远程协助请求的问题。

一种智能远程协助方法，包括：

获取由传感器采集的用户行为信息；

对所述用户行为信息进行向量化处理，得到各个目标行为向量；

分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；

针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；

若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。

一种智能远程协助装置，包括：

行为信息获取模块，用于获取由传感器采集的用户行为信息；

第一向量化模块，用于对所述用户行为信息进行向量化处理，得到各个目标行为向量；

相似度计算模块，用于分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；

相似度判断模块，用于针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；

请求发起模块，用于若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述智能远程协助方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述智能远程协助方法的步骤。

上述智能远程协助方法、装置、计算机设备及存储介质，首先，获取由传感器采集的用户行为信息；然后，对所述用户行为信息进行向量化处理，得到各个目标行为向量；接着，分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；再之，针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。可见，本发明可以通过计算用户行为对应的向量与预设的远程唤醒向量之间的相似度来主动判断用户是否需要协助，当用户需要协助时，为用户发起远程协助请求，无需用户进行复杂的操作，提高了请求协助的便利性和效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中智能远程协助方法的一应用环境示意图；

图2是本发明一实施例中智能远程协助方法的一流程图；

图3是本发明一实施例中智能远程协助方法在一个应用场景下生成远程协助唤醒向量的流程示意图；

图4是本发明一实施例中智能远程协助方法步骤105在一个应用场景下的流程示意图；

图5是本发明一实施例中智能远程协助方法步骤403在一个应用场景下的流程示意图；

图6是本发明一实施例中智能远程协助装置在第一个应用场景下的结构示意图；

图7是本发明一实施例中相似度计算模块603的结构示意图；

图8是本发明一实施例中智能远程协助装置在第二个应用场景下的结构示意图；

图9是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的智能远程协助方法，可应用在如图1的应用环境中，其中，终端设备通过网络与服务器进行通信。其中，终端设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种智能远程协助方法，以该方法应用在图1中的终端设备为例进行说明，包括如下步骤：

101、获取由传感器采集的用户行为信息；

本实施例中，该终端设备上可以安装有多个传感器，这些传感器包括声音传感器、图像传感器、重力感应传感器等，这些传感器可以采集到佩戴或携带该终端设备的用户的行为信息，从而将这些用户行为信息提交给终端设备进行处理。

其中，所述用户行为信息包括用户的语音信息、面部表情信息和肢体动作信息，比如，该终端设备可以外置声音传感器和图像传感器来采集用户的语音和面部表情图像，从而得到语音信息和面部表情信息；另外，可以要求用户佩戴贴身的动作捕捉传感器在身体的主要关节，通过传感器采集到该用户的肢体动作信息。

102、对所述用户行为信息进行向量化处理，得到各个目标行为向量；

可以理解的是，终端设备在获取到这些用户行为信息之后，为了便于后续数据分析和处理，应当将这些用户行为信息进行向量化处理，得到各个向量化后的数据矩阵，也即各个目标行为向量。

需要说明的是，所述用户行为信息可以包括用户的语音信息、面部表情信息和肢体动作信息，因此，对其进行向量化后，相应可以得到语音特征向量、面部特征向量和肢体动作向量。可知，本实施例中，该目标行为向量可以分为语音特征向量、面部特征向量和肢体动作向量。对这些目标行为向量的处理将在后续步骤的内容中详细描述。

103、分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；

本实施例中，该终端设备上可以预先设置有多个远程协助唤醒向量，这些远程协助唤醒向量来自于预先收集的多个用户在需要协助时的行为信息作为样本预先生成，可以理解的是，由于远程协助唤醒向量均采集来自用户在需要协助时的行为信息，比如语音信息、、面部表情信息和肢体动作信息，可知，当当前采集到的用户行为信息转化得到的目标行为向量与任意一个远程协助唤醒向量相似度足够高时，可以认为当前的用户也遭遇到了需要远程协助的情形。因此，本发明可以通过计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，来最终判定该用户当前是否处于需要远程协助的状态。

由上述内容可知，所述目标行为向量为语音特征向量、面部特征向量或肢体动作向量。可知，在计算目标行为向量的相似度时，需要分别对语音特征向量与远程协助唤醒向量之间的相似度、面部特征向量与远程协助唤醒向量之间的相似度、肢体动作向量与远程协助唤醒向量之间的相似度。因此，上述步骤103具体可以包括：

201、当所述目标行为向量为语音特征向量时，利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值；

202、当所述目标行为向量为面部特征向量时，利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值；

203、当所述目标行为向量为肢体动作向量时，利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。

对于步骤201，可以理解的是，当所述目标行为向量为语音特征向量时，可以利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值。具体地，由于远程协助唤醒向量的来源各不相同，该远程协助唤醒向量也可以分为语音唤醒向量、面部特征唤醒向量和动作唤醒向量，在针对语音特征向量计算相似度时，可以仅计算该语音特征向量与各个语音唤醒向量之间的相似度。

其中，simhash算法为一种文本相似度算法，其可以使用向量空间模型(VSM)，即先对文本分词，提取特征，根据特征建立文本向量，把文本之间相似度的计算转化为特征向量距离的计算，从而可以计算出语音特征向量与各个语音唤醒向量之间的相似度。

对于上述步骤202，可以理解的是，当所述目标行为向量为面部特征向量时，可以利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值。具体地，由于远程协助唤醒向量的来源各不相同，该远程协助唤醒向量也可以分为语音唤醒向量、面部特征唤醒向量和动作唤醒向量，在针对面部特征向量计算相似度时，可以仅计算该面部特征向量与各个面部特征唤醒向量之间的相似度。

其中，余弦相似度算法可适用于人脸特征的相似度计算，用向量空间中的两个向量夹角的余弦值作为衡量两个个体间差异大小的度量，值越接近1，就说明夹角角度越接近0°，也就是两个向量越相似，本实施例中即面部表情特征越相近似。可以理解的是，人在遭遇突发情况时，其面部表情的反应和变化是存在诸多近似之处的，比如在遭受惊吓时，人的瞳孔会收缩、眼睛睁大、嘴巴张大等等。因此，本实施例通过判断面部特征对应的向量与预设的面部特征唤醒向量之间是否足够相似，可以作为判定当前用户是否遭遇需要协助情形的依据之一。

对于步骤203，可以理解的是，当所述目标行为向量为肢体动作向量时，可以利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。具体地，由于远程协助唤醒向量的来源各不相同，该远程协助唤醒向量也可以分为语音唤醒向量、面部特征唤醒向量和动作唤醒向量，在针对肢体动作向量计算相似度时，可以仅计算该肢体动作向量与各个动作唤醒向量之间的相似度。

其中，Jaccard系数又称为Jaccard相似系数(Jaccard similarity coefficient)用于比较有限样本集之间的相似性与差异性。Jaccard系数值越大，样本相似度越高。其计算公式为J(A,B)＝|A∩B|/|A∪B|＝|A∩B|/|A|+|B|-|A∩B|其中，A表示存储用户特征向量的数组，B表示存储远程协助唤醒信息的数组，J(A,B)的取值范围为[0,1]且表明了A和B之间的相似度，可以理解的是，当得到的相似度值越接近1，相似度越高，表示两者越匹配，得到的相似度值越接近0，相似度越低，表示两者越不匹配。

可以理解的是，本实施例中的远程协助唤醒向量相当于判断用户是否进入了需要协助情形的参考标准，因此，所述远程协助唤醒向量的设定至关重要。下面将对如何进行远程协助唤醒向量进行详细描述。需要说明的是，本实施例中，所述远程协助唤醒向量可以包括语音唤醒向量、面部特征唤醒向量和动作唤醒向量。如图3所示，这些远程协助唤醒向量具体可以通过以下步骤预先生成：

301、收集多个用户在需要协助时的行为信息，所述行为信息包括语音信息、面部表情信息和肢体动作信息；

302、对所述语音信息进行语音识别，得到语音文本；

303、提取所述语音文本中的关键词；

304、对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量；

305、对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征；

306、对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量；

307、对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征；

308、对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。

对于步骤301，在实际操作中，可以邀请多名自愿者参加模拟实验，让这些自愿者遭遇需要请求协助的情形，并记录各个自愿者的行为信息，从而收集到大量的行为信息作为样本。

对于步骤302-304，可以理解的是，针对行为信息中的语音信息，可以先对所述语音信息进行语音识别，得到语音文本，然后提取所述语音文本中的关键词，最后对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量。

对于步骤305-306，可以理解的是，针对行为信息中的面部表情信息，可以先对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征，然后对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量。

对于步骤307-308，可以理解的是，针对行为信息中的肢体动作信息，可以先对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征，然后对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。

需要说明的是，上述步骤302-304、步骤305-306以及步骤307-308之间没有严格的先后顺序之分，可以先执行步骤305-306，可以先执行步骤307-308，也可以先执行步骤302-304，甚至可以三个部分同时执行，比如采用多线程的方式并行处理，对此本实施例不作具体限定。

104、针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；

本实施例中，预先设置有所述预设阈值，只有当目标行为向量与与远程协助唤醒向量之间的相似度值达到所述预设阈值时，才能认为该用户的行为足够被认定为该用户正处于需要远程协助的情形。因此，该终端设备可以判断各个目标行为向量各自对应的最大相似度值是否超过预设阈值，若达到，则执行步骤105，否则，则认为该用户尚不需要远程协助，无需理会即可。

105、若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。

可以理解的是，若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，说明该用户至少存在一个行为特征满足需要协助的条件，可以认定该用户需要远程协助，此时终端设备可以向服务器发起远程协助请求，由服务器根据该远程协助请求向协助方发送消息，比如可以向该用户的亲人或好友发送请求消息，便于用户的亲人或好友第一时间得知该用户的状况并及时给予援助。

考虑到可能存在两个以上的目标行为向量对应的最大相似度值超过预设阈值，这说明该用户可能存在多项协助需求，为了满足用户的需求和增加方案的实用性，可以针对用户的各项协助需求分别处理。如图4所示，具体地，上述步骤105具体可以包括：

401、确定各个达标向量的最大相似度值所对应的远程协助唤醒向量，作为匹配向量，所述达标向量是指最大相似度值超过预设阈值的目标行为向量；

402、根据预设的行为请求对应关系确定出与所述各个匹配向量对应的各个请求操作，所述行为请求对应关系记录了各个远程协助唤醒向量与预设的各个请求操作之间的对应关系；

403、执行确定出的各个请求操作。

对于步骤401，在判断得知哪些目标行为向量为达标向量之后，可以确定出各个达标向量的最大相似度值所对应的远程协助唤醒向量，从而确定出用户当前需要协助的行为是哪些行为。

对于步骤402，本实施例中，预先设定了各个远程协助唤醒向量与预设的各个请求操作之间的对应关系，这些对应关系记录在所述行为请求对应关系中，可以以表格的形式存储起来，也可以存在数据库中。为便于理解，远程协助唤醒向量与请求操作之间的对应关系比如可以为：“求救”语音与拨打110电话对应、表征“呼吸急促”的向量与拨打120电话对应、表征“眼睛闭合+嘴巴张开”的向量与声光报警对应，等等。可见，预先将这些远程协助唤醒向量与各个请求操作对应起来，可以高效地应对用户的不同突发状况，且可以同时针对用户的多项协助需求进行相应的处理。

对于步骤403，在步骤402确定出各个请求操作之后，这里确定出的请求操作可以是一个、两个或多个，该终端设备执行步骤403时对确定出的各个请求操作分别执行即可。

优选地，考虑到不同的请求操作之间可能存在重复执行的可能，比如步骤402确定出的请求操作有包括了拨打110电话和拨打120电话，一般来说一个终端设备发起一个拨打电话的操作即可，因此面对这种情况可以选取其中优先级更高的请求操作执行，舍弃其它次要的请求操作，一定程度上提升用户的使用体验。如图5所示，具体地，所述步骤403可以包括：

501、获取确定出的所述各个请求操作的预设优先级；

502、提取所述各个请求操作中预设优先级最高的请求操作作为目标请求操作；

503、执行所述目标请求操作。

对于步骤501，本实施例中预设的各个请求操作可以对应设置有优先级，比如拨打120电话优先于拨打110电话，发出声光报警优先于向预设联系人发送信息，等等。具体地，这些请求操作的预设优先级可以设置为高、中、低三档，也可以设置为1-10级，具体可以根据实际使用情况确定，本实施例不作限定。

对于步骤502，可以理解的是，各个请求操作中可以存在多个优先级最高的请求操作，比如，假设预设优先级分为高中低三档，确定出的请求操作中存在3个高优先级的请求操作，则这3个高优先级的请求操作均被提取为目标请求操作。

对于步骤503，可知，在提取得到目标请求操作之后，该终端设备可以执行所述目标请求操作。

本发明实施例中，首先，获取由传感器采集的用户行为信息；然后，对所述用户行为信息进行向量化处理，得到各个目标行为向量；接着，分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；再之，针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。可见，本发明可以通过计算用户行为对应的向量与预设的远程唤醒向量之间的相似度来主动判断用户是否需要协助，当用户需要协助时，为用户发起远程协助请求，无需用户进行复杂的操作，提高了请求协助的便利性和效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种智能远程协助装置，该智能远程协助装置与上述实施例中智能远程协助方法一一对应。如图6所示，该智能远程协助装置包括行为信息获取模块601、第一向量化模块602、相似度计算模块603、相似度判断模块604和请求发起模块605。各功能模块详细说明如下：

行为信息获取模块601，用于获取由传感器采集的用户行为信息；

第一向量化模块602，用于对所述用户行为信息进行向量化处理，得到各个目标行为向量；

相似度计算模块603，用于分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；

相似度判断模块604，用于针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；

请求发起模块605，用于若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。

进一步地，所述目标行为向量可以为语音特征向量、面部特征向量或肢体动作向量；

如图7所示，所述相似度计算模块603可以包括：

语音相似度计算单元6031，用于当所述目标行为向量为语音特征向量时，利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值；

面部相似度计算单元6032，用于当所述目标行为向量为面部特征向量时，利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值；

动作相似度计算单元6033，用于当所述目标行为向量为肢体动作向量时，利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。

进一步地，所述远程协助唤醒向量可以包括语音唤醒向量、面部特征唤醒向量和动作唤醒向量；

如图8所示，所述各个远程协助唤醒向量可以通过以下模块预先生成：

行为信息收集模块606，用于收集多个用户在需要协助时的行为信息，所述行为信息包括语音信息、面部表情信息和肢体动作信息；

语音识别模块607，用于对所述语音信息进行语音识别，得到语音文本；

关键词提取模块608，用于提取所述语音文本中的关键词；

关键词向量化模块609，用于对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量；

面部特征识别模块610，用于对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征；

面部特征向量化模块611，用于对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量；

动作识别模块612，用于对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征；

动作特征向量化模块613，用于对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。

进一步地，所述请求发起模块可以包括：

匹配向量确定单元，用于确定各个达标向量的最大相似度值所对应的远程协助唤醒向量，作为匹配向量，所述达标向量是指最大相似度值超过预设阈值的目标行为向量；

请求操作确定单元，用于根据预设的行为请求对应关系确定出与所述各个匹配向量对应的各个请求操作，所述行为请求对应关系记录了各个远程协助唤醒向量与预设的各个请求操作之间的对应关系；

操作执行单元，用于执行确定出的各个请求操作。

进一步地，所述操作执行单元可以包括：

优先级获取子单元，用于获取确定出的所述各个请求操作的预设优先级；

操作提取子单元，用于提取所述各个请求操作中预设优先级最高的请求操作作为目标请求操作；

操作执行子单元，用于执行所述目标请求操作。

关于智能远程协助装置的具体限定可以参见上文中对于智能远程协助方法的限定，在此不再赘述。上述智能远程协助装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、传感器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种智能远程协助方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中智能远程协助方法的步骤，例如图2所示的步骤101至步骤105。或者，处理器执行计算机程序时实现上述实施例中智能远程协助装置的各模块/单元的功能，例如图6所示模块601至模块605的功能。为避免重复，这里不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中智能远程协助方法的步骤，例如图2所示的步骤101至步骤105。或者，计算机程序被处理器执行时实现上述实施例中智能远程协助装置的各模块/单元的功能，例如图6所示模块601至模块605的功能。为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智能远程协助方法，其特征在于，包括：

获取由传感器采集的用户行为信息；

对所述用户行为信息进行向量化处理，得到各个目标行为向量；

分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；

针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；

若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。

2.根据权利要求1所述的智能远程协助方法，其特征在于，所述目标行为向量为语音特征向量、面部特征向量或肢体动作向量；

所述分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值包括：

当所述目标行为向量为语音特征向量时，利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值；

当所述目标行为向量为面部特征向量时，利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值；

当所述目标行为向量为肢体动作向量时，利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。

3.根据权利要求1所述的智能远程协助方法，其特征在于，所述远程协助唤醒向量包括语音唤醒向量、面部特征唤醒向量和动作唤醒向量；

所述各个远程协助唤醒向量通过以下步骤预先生成：

收集多个用户在需要协助时的行为信息，所述行为信息包括语音信息、面部表情信息和肢体动作信息；

对所述语音信息进行语音识别，得到语音文本；

提取所述语音文本中的关键词；

对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量；

对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征；

对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量；

对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征；

对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。

4.根据权利要求1至3中任一项所述的智能远程协助方法，其特征在于，所述发起远程协助请求包括：

确定各个达标向量的最大相似度值所对应的远程协助唤醒向量，作为匹配向量，所述达标向量是指最大相似度值超过预设阈值的目标行为向量；

根据预设的行为请求对应关系确定出与所述各个匹配向量对应的各个请求操作，所述行为请求对应关系记录了各个远程协助唤醒向量与预设的各个请求操作之间的对应关系；

执行确定出的各个请求操作。

5.根据权利要求4所述的智能远程协助方法，其特征在于，所述执行确定出的各个请求操作包括：

获取确定出的所述各个请求操作的预设优先级；

提取所述各个请求操作中预设优先级最高的请求操作作为目标请求操作；

执行所述目标请求操作。

6.一种智能远程协助装置，其特征在于，包括：

行为信息获取模块，用于获取由传感器采集的用户行为信息；

第一向量化模块，用于对所述用户行为信息进行向量化处理，得到各个目标行为向量；

相似度计算模块，用于分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；

相似度判断模块，用于针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；

请求发起模块，用于若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。

7.根据权利要求6所述的智能远程协助装置，其特征在于，所述目标行为向量为语音特征向量、面部特征向量或肢体动作向量；

所述相似度计算模块包括：

语音相似度计算单元，用于当所述目标行为向量为语音特征向量时，利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值；

面部相似度计算单元，用于当所述目标行为向量为面部特征向量时，利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值；

动作相似度计算单元，用于当所述目标行为向量为肢体动作向量时，利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。

8.根据权利要求6或7所述的智能远程协助装置，其特征在于，所述远程协助唤醒向量包括语音唤醒向量、面部特征唤醒向量和动作唤醒向量；

所述各个远程协助唤醒向量通过以下模块预先生成：

行为信息收集模块，用于收集多个用户在需要协助时的行为信息，所述行为信息包括语音信息、面部表情信息和肢体动作信息；

语音识别模块，用于对所述语音信息进行语音识别，得到语音文本；

关键词提取模块，用于提取所述语音文本中的关键词；

关键词向量化模块，用于对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量；

面部特征识别模块，用于对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征；

面部特征向量化模块，用于对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量；

动作识别模块，用于对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征；

动作特征向量化模块，用于对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述智能远程协助方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述智能远程协助方法。

Images