CN111028339B - 一种行为动作建模方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供一种行为动作建模方法、装置、电子设备和存储介质，行为动作建模方法包括：建立虚拟场景空间；获取待测目标在虚拟场景空间中的定位数据；根据定位数据建立识别模型库。用以实现将人体行为识别，结合具体的培训应用场景，量化分析运维人员的学习情况和培训情况。

Description

一种行为动作建模方法、装置、电子设备和存储介质

技术领域

本申请涉及虚拟现实技术领域，具体而言，涉及一种行为动作建模方法、装置、电子设备和存储介质。

背景技术

在目前人体行为识别技术是人体运动分析的重要研究方向，其涉及到的领域宽广，包括模式识别、机器学习、人体行为识别和分析是计算机视觉领域的研究热点，考虑到环境的复杂性和人体行为的多样性，行为识别在处理速度、识别准确率等方面还有很大的提升空间。近年来，深度学习技术的发展和在人工智能领域的成功应用,为人体行为识别提供了全新的解决方法。将人体行为识别，结合具体的培训应用场景，对量化分析运维人员的学习情况和培训情况具有重要的现实意义。

发明内容

本申请实施例的目的在于提供一种行为动作建模方法、动作识别装置、电子设备和非暂态电子设备可读存储介质，用以将人体行为识别，结合具体的培训应用场景，量化分析运维人员的学习情况和培训情况。

第一方面，实施例提供一种行为动作建模方法，包括：建立虚拟场景空间；获取待测目标在虚拟场景空间中的定位数据；根据定位数据建立识别模型库。

在可选的实施方式中，定位数据包括：空间坐标数据、各坐标轴的位移数据和各坐标轴的旋转数据；获取待测目标的定位数据，包括：获取待测目标在虚拟场景空间中的空间坐标数据；获取预设采集部位在虚拟场景空间中的各坐标轴的位移数据和各坐标轴的旋转数据。

在可选的实施方式中，根据定位数据建立识别模型库，包括：根据各坐标轴的位移数据和各坐标轴的旋转数据，建立特征点集合；根据空间坐标数据和特征点集合，生成标准点集合；根据标准点集合，生成识别模型库。

在可选的实施方式中，根据空间坐标数据和特征点集合，生成标准点集合，包括：获取特征点集合的自由度数据；根据空间坐标数据，生成特征向量；根据自由度数据，判断特征向量的偏差值；筛选出符合预设偏差值范围的空间坐标数据，生成标准点集合。

第二方面，实施例提供一种动作识别装置，包括：建场模块，用于建立虚拟场景空间；获取模块，用于获取待测目标在虚拟场景空间中的定位数据；建库模块，用于根据定位数据建立识别模型库。

在可选的实施方式中，定位数据包括：空间坐标数据、各坐标轴的位移数据和各坐标轴的旋转数据；获取模块用于：获取待测目标在虚拟场景空间中的空间坐标数据；获取预设采集部位在虚拟场景空间中的各坐标轴的位移数据和各坐标轴的旋转数据。

在可选的实施方式中，建库模块用于：根据各坐标轴的位移数据和各坐标轴的旋转数据，建立特征点集合；根据空间坐标数据和特征点集合，生成标准点集合；根据标准点集合，生成识别模型库。

在可选的实施方式中，建库模块还用于：获取特征点集合的自由度数据；根据空间坐标数据，生成特征向量；根据自由度数据，判断特征向量的偏差值；筛选出符合预设偏差值范围的空间坐标数据，生成标准点集合。

第三方面，实施例提供一种电子设备，包括：存储器，用以存储计算机程序；处理器，用以执行如前述实施方式中任一项的方法。

第四方面，实施例提供一种非暂态电子设备可读存储介质，包括：程序，当其藉由电子设备运行时，使得电子设备执行前述实施方式中任一项的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种电子设备的结构示意图；

图2为本申请实施例提供的一种终端与服务器的交互示意场景图；

图3为本申请实施例提供的一种行为动作建模方法的流程图；

图4为本申请实施例提供的另一种行为动作建模方法的流程图；

图5为本申请实施例提供的另一种行为动作建模方法的流程图；

图6为本申请实施例提供的一种行为动作建模装置的结构示意图。

图标：电子设备1，存储器2，处理器3，总线4，系统10，装置20，服务器100，终端200，建场模块300，获取模块400，建库模块500。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器3和存储器2，图1中以一个处理器3为例。处理器3和存储器2通过总线4连接，存储器2存储有可以被处理器3执行的指令，指令被处理器3执行。

于一实施例中，电子设备1可以是服务器100，服务器100接收终端200发送的采集数据，并根据采集的原始数据建立标准模型，然后再根据实时的采集数据与原始数据好的标准建模进行比对，以对待测对象的行为动作进行量化分析。

如图2所示，其为本实施例中终端200与服务器100的交互示意场景，系统10包括服务器100和终端200，终端200可以是虚拟现实设备。服务器100存储有可用于进行数据建模的应用程序、数据库、数据资源等数据信息。服务器100根据应用程序、数据库、数据资源等数据信息，生成虚拟场景空间以及在载入虚拟模型后，接收来自终端200采集并发送来的数据，数据可以由虚拟现实设备采集，服务器100接收数据后，在本地建立用于量化行为动作的标准模型。

请参看图3，其为本实施例提供的行为动作建模方法，该方法可由图1所示的电子设备作为服务器100来执行，并用于图2所示的交互场景中，该方法包括如下步骤：

步骤301：建立虚拟场景空间。

在本步骤中，服务器100建立一个虚拟场景空间供终端200使用，终端200可以是VR(Virtual Reality，虚拟现实)设备、MR(Mediated Reality，介导现实)设备。

于一实施例中，终端200的设备可以由头部显示装置、手部识别传感器、全身动作捕捉传感器和空间定位设备组成。头部显示装置由待测目标佩戴在头部，可以用于现实虚拟场景空间中的画面。手部识别传感器由交互对象手持，感应待测目标手部的动作，收集动作数据并上传至服务器100。全身动作捕捉传感器设置在交互对象的躯干上，感应待测目标的躯干动作，收集动作数据并上传至服务器100。空间定位设备设置在现实空间中，至少设置3个，用于构建虚拟场景空间的三维坐标，上传至服务器100，服务器100根据上述设备收集的动作数据映射至该虚拟场景空间中，识别待测目标的行为动作。

于一实施例中，终端200还可以增加设置多个移动设备，在移动设备上安装有客户端应用程序，客户端应用程序可以具有客户端协同功能。客户端协同功能用于A客户端向服务器100发送创建空间请求，当收到服务器100“允许”指令后，建立一个虚拟空间，服务器100向外广播该虚拟空间被创建消息给其他在线客户端，当B客户端想加入时，向服务器100发送申请，服务器100转发B客户端的申请消息给A客户端，当A客户端同意后服务器100将B客户端加入到A创建的虚拟空间中，A和B进行同一虚拟场景空间中协同工作。

于一实施例中，客户端应用程序还可以具有直播教学功能。直播教学功能是用户使用客户端、移动端、便携式AR设备等终端200对教学过程进行观看，在进行视频教学功能时，首先终端200向服务器100发送建立空间申请，服务器100“允许”建立空间后，建立直播空间并向其他客户端设备推送空间被建立的消息，然后用户可以通过客户端、移动端、便携式AR设备的直播列表中查看开设的直播空间，点击选择直播空间后，进入直播间进行学习。

步骤302：获取待测目标在虚拟场景空间中的定位数据。

在本步骤中，服务器100可以获取由本地存储器预先存储的定位数据，也可以藉由通信网络接收外部存储器发送的定位数据。在本实施例中，定位数据是由终端200获取的，定位数据来自待测对象的各部位映射在虚拟场景空间中的相对位置。

于一实施例中，待测对象穿戴好设备，手持手部识别传感器上传待测对象手部的定位数据，全身动作捕捉传感器上传待测对象的躯干部位的定位数据。

步骤303：根据定位数据建立识别模型库。

在本步骤中，初始的定位数据上传至服务器100后，服务器100根据定位数据中的特征进行提取，然后进行建模。特征提取是对初始数据中提取出有效的特征向量，有效特征向量是初始数据在原始时域加速度信号中直接抽取的特征向量，然后进行均值、方差、峰度、偏度等运算模型进行建模，建模完成后生成用于识别行为动作的识别模型库。

请参看图4，其为本申请实施例提供的行为动作建模方法，该方法可由图1所示的电子设备作为服务器100来执行，并用于图2所示的交互场景中，该方法包括如下步骤：

步骤401：建立虚拟场景空间。详细参见上述实施例中对步骤301的描述。

步骤402：获取待测目标在虚拟场景空间中的空间坐标数据。

在本步骤中，作为待测目标设备使用者，不论是手持的手部识别传感器还是全身动作捕捉传感器，都会将传感器本身采集的相关动作数据上传，例如手部识别传感器可以采集待测对象操作手部识别传感器的移动数据。移动数据是指手部识别传感器自身发生的旋转和移动，这些动作可以由手部识别传感器中的检测设备检测到，检测设备如陀螺仪、水平仪等。手部识别传感器被待测对象手持并进行移动时，空间定位设备则可以检测手部识别传感器的相对位置发生改变，并将本次改变以多个空间坐标数据的形式记录下来，上传至服务器100。

步骤403：获取预设采集部位在虚拟场景空间中的各坐标轴的位移数据和各坐标轴的旋转数据。

在本步骤中，除了获取待测对象手部的数据外，还要获取待测对象其他部位的数据。在本实施例中，待测目标是人类，则预设采集部位可以是小臂、大臂、上身躯干、大腿、小腿、双足等。用于感应人体动作的全身动作捕捉传感器设置于人体上，根据预设采集部位布置在相关关节处。每两个全身动作捕捉传感器之间即可确定一条活动轴，由于活动轴映射在坐标系中，可以视为坐标点的集合，则预设采集部位的移动即可由该坐标点的集合在虚拟场景空间中的移动来体现。

于一实施例中，当待测对象为两个或多个时，每个待测对象分别位于各自所在场地，并通过网络通信进入同一个虚拟场景空间，在其中一个待测对象的头部显示装置中，需要显示对方的全部虚拟躯体，该虚拟躯体由对方的终端200设备进行采集数据，并上传至服务器100，服务器100将采集的数据在虚拟场景空间中映射出来，以此来实现多个待测对象于同一虚拟场景空间的信息交互。

步骤404：根据各坐标轴的位移数据和各坐标轴的旋转数据，建立特征点集合。

在本步骤中，每个预设采集部位中采集的活动轴，可以视为该采集部位的对应的坐标轴。活动轴又可视为坐标点的集合在虚拟场景空间中的移动来体现，依据这些坐标点的集合则可以建立针对预设采集部位的特征点集合。

步骤405：根据空间坐标数据和特征点集合，生成标准点集合。

在本步骤中，空间坐标数据是待测目标的各预设采集部位在虚拟场景空间中映射的三维坐标数据。特征点集合是预设采集部位按照作为坐标轴的活动轴进行活动时，虚拟场景空间中所有可以被采集的坐标点的集合，坐标点集合可以用于验证空间坐标数据是否符合被采集的条件。例如，人类的肘部关节在正常情况下不会出现反关节的现象，所以就可以得到手腕关节至肘部关节之间的活动轴，定义为活动的范围，意味着空间坐标数据的取值范围只会在手腕关节至肘部关节之间的活动轴的活动范围之内。将不在该范围之内的空间坐标数据剔除，即可获取代表人体行为动作的定位数据。

步骤406：根据标准点集合，生成识别模型库。

在本步骤中，标准点集合中的各个被采集的特征点，在同一时域下是具有加速度方向的，针对初始的定位数据，提取初始时域加速度信号中的特征向量，进行均值、方差、标准差、轴间关系、峰度、偏度、能量、平均绝对偏差、均方根、四分位间距等运算方程进行对应的模型建立，然后将建好的模型存储作为识别模型库。识别模型库中的各个模型可以针对待测对象的不同位置——如手部、躯干等采集部位的行为动作进行识别，将符合识别模型的数据记录下来并使用。

于一实施例中，在整个电子设备开始运行时，终端200实时获取待测对象的定位数据，为了识别其中的有效数据，调取识别模型库中的模型，对定位数据进行筛选，以提高识别行为动作的精度。

请参看图5，其为本申请实施例提供的行为动作建模方法，该方法可由图1所示的电子设备作为服务器100来执行，并用于图2所示的交互场景中，该方法包括如下步骤：

步骤501：建立虚拟场景空间。详细参见上述实施例中对步骤301的描述。

步骤502：获取待测目标在虚拟场景空间中的空间坐标数据。详细参见上述实施例中对步骤402的描述。

步骤503：获取预设采集部位在虚拟场景空间中的各坐标轴的位移数据和各坐标轴的旋转数据。详细参见上述实施例中对步骤403的描述。

步骤504：根据各坐标轴的位移数据和各坐标轴的旋转数据，建立特征点集合。详细参见上述实施例中对步骤404的描述。

步骤505：获取特征点集合的自由度数据。

在本步骤中，由虚拟场景空间坐标系，将待测对象的定位数据映射在坐标系中，可以得到坐标变量x，y，z。由于作为预设采集部位的人体个部位是可以旋转的，则获取旋转度数X、Y、Z，X、Y、Z分别是对应采集部位的三个互相垂直的坐标轴，将其中一个坐标轴重合于两关节处传感器确定的活动轴。当预设采集部位进行动作时，作为采集目标的各个特征点沿着X轴方向移动、Y轴方向移动、Z轴方向移动或以X轴为轴心转动、以Y轴为轴心转动、以Z轴为轴心转动，从而服务器100获得人体各部位得的六个自由度数据。

步骤506：根据空间坐标数据，生成特征向量。

在本步骤中，空间坐标数据是待测对象在虚拟场景空间中的定位数据。由于各个被采集的特征点，在同一时域下是具有加速度方向的，提取空间坐标数据此时刻下的时域加速度信号中的特征向量，作为用于判断空间坐标数据是否有效的参数。

步骤507：根据自由度数据，判断特征向量的偏差值。

在本步骤中，空间坐标数据是待测目标的各预设采集部位在虚拟场景空间中映射的三维坐标数据，特征点集合是预设采集部位按照作为坐标轴的活动轴进行活动时，虚拟场景空间中所有可以被的扫过的坐标点的集合。

于一实施例中，人类的肘部关节在正常情况下不会出现反关节的现象，所以就可以得到手腕关节至肘部关节之间的活动轴可以进行活动的范围，意味着空间坐标数据的取值范围只会在手腕关节至肘部关节之间的活动轴的活动范围之内。将不在该范围之内的空间坐标数据剔除，即可获取可以用于识别人体行为的标准点集合。

步骤508：筛选出符合预设偏差值范围的空间坐标数据，生成标准点集合。

在本步骤中，超出偏差值范围的空间坐标数据代表着无效数据，为了保证动作识别的有效性，选出在偏差值范围内的空间坐标数据作为标准点集合。

步骤509：根据标准点集合，生成识别模型库。详细参见上述实施例中对步骤406的描述。

请参看图6，其为本申请实施例提供的行为动作建模装置，该装置20应用于图1所示的电子设备，并用于图2所示的交互场景中，装置20包括：建场模块300、获取模块400以及建库模块500，各个模块的原理关系如下：

建场模块300，用于建立虚拟场景空间。详细参见上述实施例中对步骤301的描述。

获取模块400，用于获取待测目标在虚拟场景空间中的定位数据。详细参见上述实施例中对步骤302的描述。

建库模块500，用于根据定位数据建立识别模型库。详细参见上述实施例中对步骤303的描述。

于一实施例中，定位数据包括：空间坐标数据、各坐标轴的位移数据和各坐标轴的旋转数据；获取模块400用于：获取待测目标在虚拟场景空间中的空间坐标数据；获取预设采集部位在虚拟场景空间中的各坐标轴的位移数据和各坐标轴的旋转数据。详细参见上述实施例中对步骤403的描述。

于一实施例中，建库模块500用于：根据各坐标轴的位移数据和各坐标轴的旋转数据，建立特征点集合；根据空间坐标数据和特征点集合，生成标准点集合；根据标准点集合，生成识别模型库。详细参见上述实施例中对步骤404-405的描述。

于一实施例中，建库模块500还用于：获取特征点集合的自由度数据；根据空间坐标数据，生成特征向量；根据自由度数据，判断特征向量的偏差值；筛选出符合预设偏差值范围的空间坐标数据，生成标准点集合。详细参见上述实施例中对步骤505-507的描述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (4)

1.一种行为动作建模方法，其特征在于，包括：

建立虚拟场景空间；

获取待测目标在所述虚拟场景空间中的定位数据；

根据所述定位数据建立识别模型库；

所述定位数据包括：空间坐标数据、各坐标轴的位移数据和各坐标轴的旋转数据；所述获取待测目标在所述虚拟场景空间中的定位数据，包括：

获取所述待测目标在所述虚拟场景空间中的空间坐标数据；以及

获取预设采集部位在所述虚拟场景空间中的所述各坐标轴的位移数据和所述各坐标轴的旋转数据；

所述根据所述定位数据建立识别模型库，包括：

根据所述各坐标轴的位移数据和所述各坐标轴的旋转数据，建立特征点集合；

根据所述空间坐标数据和所述特征点集合，生成标准点集合；

根据所述标准点集合，生成所述识别模型库；

所述根据所述空间坐标数据和所述特征点集合，生成标准点集合，包括：

获取所述特征点集合的自由度数据；

根据所述空间坐标数据，生成特征向量；

根据所述自由度数据，判断所述特征向量的偏差值；

筛选出符合预设偏差值范围的所述空间坐标数据，生成所述标准点集合。

2.一种行为动作建模装置，其特征在于，包括：

建场模块，用于建立虚拟场景空间；

获取模块，用于获取待测目标在所述虚拟场景空间中的定位数据；

建库模块，用于根据所述定位数据建立识别模型库；

所述获取模块用于：

获取所述待测目标在所述虚拟场景空间中的空间坐标数据；

获取预设采集部位在所述虚拟场景空间中的所述各坐标轴的位移数据和所述各坐标轴的旋转数据；其中，所述定位数据包括：空间坐标数据、各坐标轴的位移数据和各坐标轴的旋转数据；

所述建库模块用于：

根据所述各坐标轴的位移数据和所述各坐标轴的旋转数据，建立特征点集合；

根据所述空间坐标数据和所述特征点集合，生成标准点集合；

根据所述标准点集合，生成所述识别模型库；

所述建库模块还用于：

获取所述特征点集合的自由度数据；

根据所述空间坐标数据，生成特征向量；

根据所述自由度数据，判断所述特征向量的偏差值；

筛选出符合预设偏差值范围的所述空间坐标数据，生成标准点集合。

3.一种电子设备，其特征在于，包括：

存储器，用以存储计算机程序；

处理器，用以执行如权利要求1所述的方法。

4.一种非暂态电子设备可读存储介质，其特征在于，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行权利要求1所述的方法。