CN109979265A

CN109979265A - 一种动作捕捉智能识别方法及教学系统

Info

Publication number: CN109979265A
Application number: CN201910351071.9A
Authority: CN
Inventors: 李俊
Original assignee: Guangzhou Shixiang Education Technology Co Ltd
Current assignee: Guangzhou Shixiang Education Technology Co Ltd
Priority date: 2019-04-28
Filing date: 2019-04-28
Publication date: 2019-07-05
Anticipated expiration: 2039-04-28
Also published as: CN109979265B

Abstract

本发明提供了一种动作捕捉智能识别方法，包括：S1、建立规范化特征码；其包括：S11、采集视频数据，在连续视频数据中，撷取声音流码和动作影像；S12、对步骤S11中撷取的动作影像进行点阵画像；S13、对点阵画像标配空间和时间坐标，时间坐标以声音流码为参照，计算出48位空间数组值，形成规范化特征码，存储；S2、动作捕捉采集，将捕捉到的动作影像与规范化特征码配比识别；S3、输出识别结果。本发明通过建立具有空间和时间坐标的48位空间数组值，并利用声音流码的特性，以声音流码为参照撷取时间点，撷取动作影像进行配比识别；提高动作影像的撷取速度和配比识别结果的准确度。相应地提供了一种教学系统，用于教学指导，提高教学效率和教学质量。

Description

一种动作捕捉智能识别方法及教学系统

技术领域

本发明涉及人工智能领域，计算机图形图像领域；具体涉及一种动作捕捉智能识别方法及教学系统。

背景技术

目前，现有的例如，声乐教学中，均由老师进行指导和纠正教学；但是，在老师的纠正过程中，学员难以准确地记住每一个需要纠正的动作，而老师也很难对一次练习中的每一个错误动作进行全面纠正；导致学员对相应的动作是否纠正以及如何纠正存在疑问或者误解；另一方面，老师的时间成本有限，而学员需要多次的练习才能熟练掌握技巧，老师难以做到对每次的练习做到全面的指导；这就导致了学员的学习效率不高，也很容易导致学员很难了解自己的动作是否标准和准确，加上老师的主观沟通，部分学员会产生理解上的偏差，严重影响教学质量和教学效率。

随着人工智能技术的快速发展，越来越多的领域使用了人工智能的技术，其将人的行为动作，以及习惯，分解成标准化的参数，通过标准化的参数数据去引导，指导即将发生的不成熟的动作习惯以标准化，使得大量的人工作业转变成机器自动识别并操作；既快速又精准地完成了很多重复性的工作，大大的节约了人力成本，提高了工作效率和工作质量。

因此，如何提供一种能够自动识别动作规范与否、并能给出纠正指导的动作捕捉智能识别方法及教学系统成为了业界需要解决的问题。

发明内容

针对现有技术的缺点，本发明的目的之一是，提供一种动作捕捉智能识别方法，其将捕捉到的具有空间和时间维度的动作视频数据，与同样具有空间和时间维度的规范化特征码进行配比识别，对应识别出每一个时间点上，动作的位差值；输出位差值和对应时间点上的规范特征码，给出纠正指导；本发明的目的之二是，提供一种教学系统，利用上述的动作捕捉智能识别方法，设计一套相应的教学系统，用于在声乐教学中，对学员的动作进行智能地动作捕捉识别和指导，提高教学效率和教学质量。

为了实现上述目的，本发明，一方面，提供了一种动作捕捉智能识别方法，其包括如下步骤：

S1、建立规范化特征码；规范化特征码的建立包括以下步骤：S11、采集视频数据，在连续视频数据中，撷取声音流码和动作影像；S12、对步骤S11中撷取的动作影像进行点阵画像；S13、对点阵画像标配空间和时间坐标，时间坐标以声音流码为参照，计算出48位空间数组值，形成规范化特征码，存储；

S2、动作捕捉采集，将捕捉到的动作影像与规范化特征码配比识别；

S3、输出识别结果。

本发明中，通过建立具有空间和时间坐标的48位空间数组值，形成规范化特征码，与采集到的视频动作数据进行一一对比识别；时间点以采集到的声音流码为参照对象，声音流码为一种电子波形图，其频率稳定，容易抓取到拐点值，便于撷取对应节点上的动作影像进行配比识别；提高动作影像的撷取速度和配比识别结果的准确度。

根据跟发明另一具体实施方式，步骤S13中还包括过滤步骤：

S131、对点阵画像值进行同比缩放，得到具有规范形体的规范轮廓画像；

S132、对规范轮廓画像标配空间和时间坐标，编列出数组序列，对数组序列进行过滤，保留轮廓数组序列；

S133、将轮廓数组序列进行还原画像，将轮廓画像值存储，建立对应的ID编号；将ID编号发送至数据库用于查询。

将规范化特征码转换为具有标准化轮廓形状的动作画像，并存储；便于不同轮廓大小的用户，采集到动作视频数据后，进行相应的同比缩放后，在同一个标准化轮廓下进行配比识别，提高识别效率和识别准确度，进一步确保识别结果准确。

根据跟发明另一具体实施方式，步骤S2中，包括以下步骤：

S21、将采集到的声音流码与规范化特征码中的声音流码进行配比识别；

S22、以声音流码为参照，撷取动作捕捉配比的时间点，将对应时间点的动作影像与规范化特征码的画像值进行配比识别。

以声音流码作为参照，设定动作画像识别的起始点，便于时间点对应，撷取用于配比是别的动作画像对应准确；提高配比识别结果的准确度。

根据跟发明另一具体实施方式，步骤S2中的配比识别过程为：首先进行步骤S21声音流码的配比识别；在声音配比不合格的情况下，再进行对应声音流码的时间坐标，启动步骤S22动作捕捉的配比识别。由于声音流码的配比识别为简单的波形图配比比对，其比对过程简单、快速；而动作画像的配比较复杂、处理速度慢；通过在声音配比不合格的情况下，再进行对应声音流码的时间坐标，启动步骤S22动作捕捉的配比识别的步骤，可在不影响动作配比结果输出的情况下，减少动作画像配比识别的处理，提高配比识别的处理效率和结果传输速度。

根据跟发明另一具体实施方式，步骤S2之前还包括：个体轮廓存储步骤S201：对首次使用动作捕捉的用户，进行动作捕捉采集后进行轮廓画像，并存储。对首次使用动作捕捉的用户进行轮廓画像存储，便于同比缩放；首次存储之后，通过识别对应，对后续捕捉的动作画像进行同等系数的同比缩放，提高识别效率。

根据跟发明另一具体实施方式，步骤S2之前还包括：自动识别调用步骤S202：包括人脸识别和声线识别；通过人脸识别自动调用相应个体轮廓的轮廓画像；通过声线识别自动调用相匹配的规范特征码。

根据跟发明另一具体实施方式，步骤S3中，输出的识别结果包括摩尔位差值和特征码值，便于用户了解情况和进行动作纠正，起到指导作用。

本发明中的一维48焦点矩阵公式如下：

SET OUTALT1＝{[W1,H1],[W2,H2],[W3,H3],[W4,H4],[W5,H5],[W6,H6],[W7,H7],[W8,H8],[W9,H9],[W10,H10],[W11,H11],[W12,H12],[W13,H13],[W14,H14],[W15,H15],[W16,H16],[W17,H17],[W18,H18],[W19,H19],[W20,H20],[W21,H21],[W22,H22],[W23,H23],[W24,H24],[W25,H25],[W26,H26],[W27,H27],[W28,H28],[W29,H29],[W30,H30],[W31,H31],[W32,H32],[W33,H33],[W34,H34],[W35,H35],[W36,H36],[W37,H37],[W38,H38],[W39,H39],[W40,H40],[W41,H41],[W42,H42],[W43,H43],[W44,H44],[W45,H45],[W46,H46],[W47,H47],[W48,H48]，SESSION:”TOKKEN”,USERID:”FACE-TOKKEN”,SOUND:”SOUND-TOKKEN”}

其中：SESSION:个体轮廓画像值，USERID:个体轮廓画像值的ID编号，FACE-TOKKEN:规范化特征码值，SOUND:规范化特征码的声音流码。

二维48焦点矩阵公式，在一维基础上增加方位坐标函数，公式如下：

SET OUTALT2＝{([W1,H1],F1),[W2,H2],F2),([W3,H3],F3),([W4,H4],F4),([W5,H5],F5),([W6,H6],F6),([W7,H7],F7),([W8,H8],F8),([W9,H9],F9),([W10,H10],F10),([W11,H11],F11),{[W12,H12],F12},([W13,H13],F13),([W14,H14],F14),([W15,H15],F15),([W16,H16],F16),([W17,H17],F17),([W18,H18],F18),([W19,H19],F19),([W20,H20],F20),([W21,H21],F21),([W22,H22],F22),([W23,H23],F23),([W24,H24],F24),([W25,H25],F25),([W26,H26],F26),([W27,H27],F27),([W28,H28],F28),([W29,H29],F29),([W30,H30],F30),([W31,H31],F31),([W32,H32],F32),([W33,H33],F33),([W34,H34],F34),([W35,H35],F35),([W36,H36],F36),([W37,H37],F37),([W38,H38],F38),([W39,H39],F39),([W40,H40],F40),([W41,H41],F41),([W42,H42],F42),([W43,H43],F43),([W44,H44],F44),([W45,H45],F45),([W46,H46],F46),([W47,H47],F47),([W48,H48],F48)，SESSION:”TOKKEN”,USERID:”FACE-TOKKEN”,SOUND:”SOUND-TOKKEN”,AIR:”AIR-TOKKEN”,AIR-NUM:N0}

其中：AIR:为方位坐标系数，AIR-NUM:为方位坐标系数值

三维48焦点矩阵公式，在二维基础上增加时间坐标函数，公式如下：

SET OUTALT3＝{[([W1,H1],F1),T1],[([W2,H2],F2),T2],[([W3,H3],F3),T3],[([W4,H4],F4),T4],[([W5,H5],F5),T5],[([W6,H6],F6),T6],[([W7,H7],F7),T7],[([W8,H8],F8),T8],[([W9,H9],F9),T9],[([W10,H10],F10),T10],[([W11,H11],F11),T11],[{[W12,H12],F12},T12],[([W13,H13],F13),T13],[([W14,H14],F14),T14],[([W15,H15],F15),T15],[([W16,H16],F16),T16],[([W17,H17],F17),T17],[([W18,H18],F18),T18],[([W19,H19],F19),T19],[([W20,H20],F20),T20],[([W21,H21],F21),T21],[([W22,H22],F22),T22],[([W23,H23],F23),T23],[([W24,H24],F24),T24],[([W25,H25],F25),T25],[([W26,H26],F26),T26],[([W27,H27],F27),T27],[([W28,H28],F28),T28],[([W29,H29],F29),T29],[([W30,H30],F30),T30],[([W31,H31],F31),T31],[([W32,H32],F32),T32],[([W33,H33],F33),T33],[([W34,H34],F34),T34],[([W35,H35],F35),T35],[([W36,H36],F36),T36],[([W37,H37],F37),T37],[([W38,H38],F38),T38],[([W39,H39],F39),T39],[([W40,H40],F40),T40],[([W41,H41],F41),T41],[([W42,H42],F42),T42],[([W43,H43],F43),T43],[([W44,H44],F44),T44],[([W45,H45],F45),T45],[([W46,H46],F46),T46],[([W47,H47],F47),T47],[([W48,H48],F48),T48],SESSION:”TOKKEN”,USERID:”FACE-TOKKEN”,SOUND:”SOUND-TOKKEN”,MOER:”M-TOOOEN”,M1:N1；M2:N2；M3:N3；M4:N4；M5:N5；M6:N6}

其中：MOER为摩尔输出，M1维摩尔一阶，N1摩尔一阶偏移值。

本发明的另一方面，还提供了一种教学系统，其包括：

视频采集客户端，视频采集客户端用于采集视频信息，并将视频信息发送到服务端；

服务端，服务端用于处理动作捕捉的识别处理；其包括：数据接收模块，接收从视频采集客户端发送来的视频信息；数据解析与存储模块，对视频信息进行解析处理；数据配比识别模块，调用解析后的动作影像与相应的规范特征码进行配比识别分析；数据发布模块，用于对识别后的结果进行存储并等待发布请求；

数据接收客户端；数据接收客户端用于向服务端请求识别结果接收并进一步对识别结果进行展示或分析处理。

本发明，对应上述动作捕捉智能识别方法，提供一种教学系统，用于例如，声乐教学中应用，通过视频采集客户端采集学员在声乐联系中的动作视频信息；利用动作捕捉智能识别方法，将采集到的动作视频信息与规范化特征码(即例如老师进行动作演示时采集的动作视频信息，处理成规范化动作画像，)进行配比识别；识别的结果(摩尔位差值与特征码值)通过数据接收客户端进行接收和展示，便于学员了解自己的练习结果以及哪个动作的不规范和正确动作的纠正指导；有利于学员精确、准确的了解自己的练习情况，提高练习质量和学习效率。

根据本发明的另一具体实施方式，服务端包括云服务器端和存储服务器端；云服务端用于处理核心的数据解析和存储、数据配比识别；存储服务器端用于处理数据接收和数据发布；节省服务器的存储空间；提高处理效率和传输速率；确保用户使用顺畅，提高用户体验。

根据本发明的另一具体实施方式，服务端还包括存储服务器端还包括用户信息存储模块；用户信息存储模块用于存储用户的轮廓画像信息，便于后续直接调用。

下面结合附图对本发明作进一步的详细说明。

附图说明

图1是实施例1的动作捕捉智能识别方法的流程图。

具体实施方式

实施例1

本实施例，一方面提供了一种动作捕捉智能识别方法，如图1所示，其包括如下步骤：

其中，步骤S13中包括过滤步骤：

在服务端内存储有相应的规范化特征码时，进行相应的声乐练习时，采集和捕捉声乐练习的动作视频，将采集到的动作视频与规范化特征码及逆行配比识别，分析得出配比识别结果；用于学员了解练习情况。

S2、动作捕捉采集，将捕捉到的动作影像与规范化特征码配比识别；在配比识别之前，还需要进行以下步骤的操作：个体轮廓存储步骤S201：对首次使用动作捕捉的用户，进行动作捕捉采集后进行轮廓画像，并存储。对首次使用动作捕捉的用户进行轮廓画像存储，便于同比缩放；首次存储之后，通过识别对应，对后续捕捉的动作画像进行同等系数的同比缩放，提高识别效率。

自动识别调用步骤S202：包括人脸识别和声线识别；通过人脸识别自动调用相应个体轮廓的轮廓画像；通过声线识别自动调用相匹配的规范特征码。

其配比识别过程包括以下步骤：

步骤S2中的配比识别过程为：首先进行步骤S21声音流码的配比识别；在声音配比不合格的情况下，再进行对应声音流码的时间坐标，启动步骤S22动作捕捉的配比识别。由于声音流码的配比识别为简单的波形图配比比对，其比对过程简单、快速；而动作画像的配比较复杂、处理速度慢；通过在声音配比不合格的情况下，再进行对应声音流码的时间坐标，启动步骤S22动作捕捉的配比识别的步骤，可在不影响动作配比结果输出的情况下，减少动作画像配比识别的处理，提高配比识别的处理效率和结果传输速度。

本实施例中，48位空间数组值的生成，与48位点阵焦点值的画像与还原工作逻辑模块，在动作捕捉时，进行同比缩放，快速解析出关键形体部位的关键点阵值，分别根据高度，宽度，左边距，右边距，上边距，下边距，等8个方位的点阵坐标，生成序列数组值，在识别空间坐标模块状态时，会自动等比放大或者缩小点阵序列在坐标上面的序列值，画像出标准方格内的点阵图，并生成标准格式的三维数组序列，由三维数组序列识别关键焦点，可以任意还原与生成。

S3、输出识别结果。

步骤S3中，输出的识别结果包括摩尔位差值和特征码值，便于用户了解情况和进行动作纠正，起到指导作用。本实施例中，采用摩尔位差值进行分值定义，可包括20摩尔，50摩尔，60摩尔，80摩尔，95摩尔等五项输出配对，对输出的配对值，触发五项释义模块，每一释义模块分别对应该配对值做出相应的明文解释，输出解释功能模型。便于学员具体地了解自己的练习结果。特征码值为对应摩尔位差值的时间节点上规范化特征码的动作影像，以便学员了解对应的正确和规划的动作操作，引导学员进行动作纠正；进一步提高教学效果。

本实施例中，通过建立具有空间和时间坐标的48位空间数组值，形成规范化特征码，与采集到的视频动作数据进行一一对比识别；时间点以采集到的声音流码为参照对象，声音流码为一种电子波形图，其频率稳定，容易抓取到拐点值，便于撷取对应节点上的动作影像进行配比识别；提高动作影像的撷取速度和配比识别结果的准确度。

本实施例的另一方面，提供了一种教学系统，其包括：视频采集客户端、服务端、和数据接收客户端。本实施例中的教学系统，以声乐教学为示例，其并不表示局限于声乐教学的应用，其可应用于任意带有声音和动作指导的教学环境中。

视频采集客户端用于采集视频信息，并将视频信息发送到服务端；常规的视频采集卡，摄像头，手机摄像头，等常规摄像头即可，启动教学系统终端，需要确认摄像头是否链接成功，为了便于数据的快速传输，需要链接符合4G或者5G网络协议的互联网络。

服务端用于处理动作捕捉的识别处理；其包括：数据接收模块，接收从视频采集客户端发送来的视频信息；数据解析与存储模块，对视频信息进行解析处理；数据配比识别模块，调用解析后的动作影像与相应的规范特征码进行配比识别分析；数据发布模块，用于对识别后的结果进行存储并等待发布请求；服务端包括云服务器端和存储服务器端；云服务端用于处理核心的数据解析和存储、数据配比识别；存储服务器端用于处理数据接收和数据发布；节省服务器的存储空间；提高处理效率和传输速率；确保用户使用顺畅，提高用户体验。服务端还包括存储服务器端还包括用户信息存储模块；用户信息存储模块用于存储用户的轮廓画像信息，便于后续直接调用。

数据接收客户端用于向服务端请求识别结果接收并进一步对识别结果进行展示或分析处理；其可为电脑或者手机等。

虽然本发明以较佳实施例揭露如上，但并非用以限定本发明实施的范围。任何本领域的普通技术人员，在不脱离本发明的发明范围内，当可作些许的改进，即凡是依照本发明所做的同等改进，应为本发明的范围所涵盖。

Claims

1.一种动作捕捉智能识别方法，其特征在于，所述方法包括如下步骤：

S1、建立规范化特征码；所述规范化特征码的建立包括以下步骤：S11、采集视频数据，在连续视频数据中，撷取声音流码和动作影像；S12、对步骤S11中撷取的动作影像进行点阵画像；S13、对点阵画像标配空间和时间坐标，所述时间坐标以声音流码为参照，计算出48位空间数组值，形成规范化特征码，存储；

S3、输出识别结果。

2.如权利要求1所述的动作捕捉智能识别方法，其特征在于，所述步骤S13中还包括过滤步骤：

3.如权利要求1所述的动作捕捉智能识别方法，其特征在于，所述步骤S2中，包括以下步骤：

4.如权利要求3所述的动作捕捉智能识别方法，其特征在于，所述步骤S2中的配比识别过程为：首先进行所述步骤S21声音流码的配比识别；在声音配比不合格的情况下，再进行对应声音流码的时间坐标，启动所述步骤S22动作捕捉的配比识别。

5.如权利要求1所述的动作捕捉智能识别方法，其特征在于，所述步骤S2之前还包括：个体轮廓存储步骤S201：对首次使用动作捕捉的用户，进行动作捕捉采集后进行轮廓画像，并存储。

6.如权利要求5所述的动作捕捉智能识别方法，其特征在于，所述步骤S2之前还包括：自动识别调用步骤S202：包括人脸识别和声线识别；通过人脸识别自动调用相应个体轮廓的轮廓画像；通过声线识别自动调用相匹配的规范特征码。

7.如权利要求1所述的动作捕捉智能识别方法，其特征在于，所述步骤S3中，输出的识别结果包括摩尔位差值和特征码值。

8.一种教学系统，其特征在于，所述教学系统包括：

视频采集客户端，所述视频采集客户端用于采集视频信息，并将视频信息发送到服务端；

服务端，所述服务端用于处理动作捕捉的识别处理；其包括：数据接收模块，接收从所述视频采集客户端发送来的视频信息；数据解析与存储模块，对视频信息进行解析处理；数据配比识别模块，调用解析后的动作影像与相应的规范特征码进行配比识别分析；数据发布模块，用于对识别后的结果进行存储并等待发布请求；

9.如权利要求8所述的教学系统，其特征在于，所述服务端包括云服务器端和存储服务器端。

10.如权利要求9所述的教学系统，其特征在于，所述服务端还包括所述存储服务器端还包括用户信息存储模块；所述用户信息存储模块用于存储用户的轮廓画像信息。