CN117707746B - 一种互动全息数据的调度方法和系统 - Google Patents

一种互动全息数据的调度方法和系统 Download PDF

Info

Publication number
CN117707746B
CN117707746B CN202410164011.7A CN202410164011A CN117707746B CN 117707746 B CN117707746 B CN 117707746B CN 202410164011 A CN202410164011 A CN 202410164011A CN 117707746 B CN117707746 B CN 117707746B
Authority
CN
China
Prior art keywords
gesture
user
value
standard
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410164011.7A
Other languages
English (en)
Other versions
CN117707746A (zh
Inventor
易洁
袁梁
罗翼鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Wutong Technology Co ltd
Original Assignee
Sichuan Wutong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Wutong Technology Co ltd filed Critical Sichuan Wutong Technology Co ltd
Priority to CN202410164011.7A priority Critical patent/CN117707746B/zh
Publication of CN117707746A publication Critical patent/CN117707746A/zh
Application granted granted Critical
Publication of CN117707746B publication Critical patent/CN117707746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种互动全息数据的调度方法和系统，涉及互动数据调度技术领域，用于解决现有互动全息数据调度过程中存在用户手势动作识别精度普遍不高，导致交互体验受限的问题，本发明包括；本发明包括以下步骤：S1：首先通过传感器捕捉用户的手势动作，并根据用户手势动作参数及传感器参数分析该手势动作的级别值；通过对互动全息数据中用户的手势动作进行精准识别，并根据执行指令后用户的反馈情况，精准判断用户的手势动作与用户想要执行的指令是否一致，并根据用户个人习惯的手势动作上传至数据库进行储存，作为下次用户手势动作的评价标准，大大提高了不同用户手势动作的识别精度和速度。

Description

一种互动全息数据的调度方法和系统
技术领域
本发明涉及互动数据调度技术领域，具体为一种互动全息数据的调度方法和系统。
背景技术
随着科技的不断进步，互动全息数据在虚拟现实、增强现实和交互式游戏等领域中得到了广泛应用。其中，通过用户手势动作进行交互已成为一种重要的方式。然而，目前存在一个问题：用户手势动作识别精度普遍不高，导致交互体验受限。
传统的用户手势动作识别方法主要基于图像或深度摄像头捕捉到的视频流数据进行处理。然而，这些方法在实践中往往受到光照条件、背景干扰以及手势多样性等因素的影响，导致识别准确度不高。此外，传统方法在处理复杂动作、快速动作或遮挡场景时也存在一定的局限性。
为了解决上述缺陷，现提供一种技术方案。
发明内容
本发明的目的在于解决现有互动全息数据调度过程中存在用户手势动作识别精度普遍不高，导致交互体验受限的问题，而提出一种互动全息数据的调度方法和系统。
本发明的目的可以通过以下技术方案实现：
一种互动全息数据的调度方法，包括以下步骤：
S1：首先通过传感器捕捉用户的手势动作，并根据用户手势动作参数及传感器参数分析该手势动作的级别值；
S2：根据用户手势动作的级别值与预设级别隔离值进行比对，当达到级别隔离值时则对用户的手势动作进行精准识别优化，当未达到级别隔离值时，则将该手势动作转换为电子信号；
S3：对转换的电子信号进行分析，并根据该电子信号执行相对应的命令；
S4：再根据执行命令后用户的反馈判断根据手势动作执行的指令是否为误判指令；
S5：对无线误判指令的次数进行记录，分析出现误判指令的频率，当出现误判指令的频率超过预设频率阈值时，执行矫正模式；矫正模式具体执行步骤如下：
S501：首先在确定用户输入的指令为误判指令后，采集用户重新输入手势动作或指令；
S502：当用户二次输入的为指令时，确定该指令相对应的存储在数据库中的标准手势动作并与用户第一次输入的手势动作进行比对，当相似度高于相似度阈值时，则对用户第一次输入的手势动作进行记录，并上传至数据库中存储至与该指令相对应的标准手势动作中，作为用户习惯手势动作同时标记为用户一习惯手势动作并添加该指令的编号进行储存；
S503：当相似度低于相似度阈值时，则将该指令相对应的标准手势动作通过交互模块配合语音向用户进行提示；
S504：当用户二次输入的为手势动作时，将该手势动作与存储在数据库中的不同标准手势动作进行比对，通过图像分析方法分别对数据库中不同标准手势动作与用户二次输入的手势动作形成的相似度，将不同标准手势动作相对应的相似度进行按照大小进行排序，得到最大的预设数量的标准手势动作，并将得到的预设数量的标准手势动作及相对应的指令通过交互模块向用户进行展示并寻求用户确定；
S505：当用户通过交互模块确定某一个标准手势动作时，则将该用户输入的二次手势动作存储至该标准手势动作中，并统计该手势动作输入次数，当次数达到预设次数时，则将用户二次输入的手势动作作为该指令执行的第二标准，建立该指令的用户习惯手势动作；
S506：再对用户后续输入的手势动作进行增强识别，通过对不同用户的所有手势动作数据进行存储，包括不同光照条件、不同角度及不同速度变化的手势动作，扩大系统的训练集。
一种互动全息数据的调度系统，包括：
感应模块，用于通过传感器捕捉用户的手势动作，并分析手势动作的级别值，将符合标准的手势动作转化为电子信号；
分析手势动作的级别值具体过程如下：
在捕捉用户的手势动作时获取捕捉手势动作的复杂度、展示速度、展示角度、传感器精度及传感器噪音；通过对手势动作复杂度进行分析得到衡量复杂度标准的杂度值FD，通过对手势动作展示速度进行分析得到衡量展示速度标准的展速值ZS，通过对展示角度进行分析得到衡量展示角度标准的偏移角度PY；再对传感器精度及噪音分别进行测试以分别得到衡量传感器精度标准的精评值CP及衡量传感器噪音标准的信噪值XZ；
再将得到的杂度值FD、展速值ZS、偏移角度PY、精评值CP及信噪值XZ归一化处理后代入以下公式：以得到该手势动作的级别值JBZ，式中/>分别为杂度值FD的预设权重系数、展速值ZS的预设权重系数、偏移角度PY的预设权重系数及传感器参数的预设权重系数；
再将得到的该手势动作的级别值与预设的级别隔离值进行比对，当计算得到的级别值大于或等于预设的级别隔离值，则生成优化信令并执行优化操作，当计算得到的级别值小于预设的级别隔离值，则判断该手势动作级别值符合标准，并转化为电子信号向处理模块中传输；
处理模块，用于接收感应模块传输的电子信号并根据该电子信号执行相对应的命令；
处理模块根据执行命令后用户的反馈判断根据手势动作执行的指令是否为误判指令的具体过程如下：
在执行命令后的监测时间范围内，监测用户的输入指令，当在监测时间范围内检测到用户输入的指令为纠正型指令时，其中纠正型指令包括返回、撤销、删除、重输、取消、清空或退出，再对用户完成纠正型指令执行后重新输入手势动作或指令进行采集，对新输入的手势动作与前一次输入的手势动作进行比对，通过图像分析的方式分析两次手势动作的相似度，当相似度超过预设的相似度阈值时，则判断前一次指令为误判指令；
将出现误判指令的次数进行记录，并分析出现误判指令的频率，当得到的出现误判指令频率超过预设的频率阈值时，则生成矫正信令并执行矫正模式；
交互模块，用于对用户的需求及系统的反馈进行交互。
进一步的，所述感应模块执行优化操作的具体操作步骤如下：
首先采用滤波技术配合均值滤波、中值滤波或卡尔曼滤波的滤波方法对传感器数据进行处理，去除噪声和干扰；
再选择备用的手势动作识别算法，包括机器学习算法中支持向量机、随机森林或深度学习算法中卷积神经网络及循环神经网络，对优化算法的进行更替选择和参数调整；最后增加传感器的分辨率和采样率。
进一步的，所述交互模块对用户的需求及系统的反馈进行交互的具体操作步骤如下：
当接收到处理模块传输的标准手势动作时，直接向用户进行展示，并生成做出该标准手势动作的动图通过显示屏向用户进行展示，同时捕捉用户的眼球，并分析用户眼球与显示屏的偏移角度，当偏移角度超过预设角度时，则结合该手势动作做出的语音对用户进行提示，提醒用户查看显示屏；
当接收到处理模块传输的供用户选择的若干个标准手势动作时，则将若干个标准手势动作等距的通过显示屏向用户进行展示并等待用户点击反馈。
进一步的，所述感应模块中对用户手势动作复杂度分析的具体操作步骤如下：
针对用户手势动作的复杂度通过该手势动作的运动路径、关键点数量、空间维度及时间序列特征进行评价，分析手势动作的运动路径中的手势路径曲线长度、轨迹变化率及特征改变速度，归一化处理后通过将路径曲线长度为球形体直径建立球形体，并以球形体球形位置为圆锥体的顶点，轨迹变化率与路径曲线长度之和为高，特征改变速度为圆锥底圆半径建立圆锥体，将球形体与圆锥体形成的异形体体积作为衡量手势动作运动路径的标准；
关键点数量包括手势动作中手指的弯曲角度、手掌的位置的数量；空间维度包括手势动作的运动范围及方向改变速度并求和得到空维值；时间序列特征为手势动作的持续时间、加速度的变化、手指的运动速度进行求和以得到时列值；
将得到的异形体体积、关键点数量、空维值及时列值进行求和计算以得到杂度值FD。
进一步的，所述感应模块中对用户手势动作展示速度及展示角度分析的具体操作步骤如下：
用户手势动作的展示速度通过该手势动作的持续时间、改变频率及动作加速度进行评价，其中手势动作的持续时间为该手势动作势开始和结束的时间戳，改变频率为该手势动作在进行展示的过程中每帧改变的特征点数量，动作加速度为该手势动作的加速度变化率，将得到的手势动作持续时间、改变频率及动作加速度归一化处理后，将改变频率与动作持续时间相乘加上动作加速度的二次方再加上常数0.239以得到展速值ZS，并将展速值作为衡量该手势动作的展示速度的标准；用户手势动作的展示角度为该手势动作的偏移角度并标定为PY。
进一步的，所述感应模块对传感器精度及噪音进行测试的具体操作步骤如下：
首先通过将传感器输出值与已知准确值进行比对，计算得到的差异即为绝对误差，再将绝对误差除以准确值，得到的比值即为相对误差，再将若干个测量值计算其平均值，并计算每个测量值和平均值之间的差异，然后计算这些差异的平均值的平方根，得到标准差，将相对误差与标准差进行求和，以得到精评值CP；再计算信号的最大可能功率与信号中包含的噪声功率之间的比值，并标定为信噪值XZ。
与现有技术相比，本发明的有益效果是：
本发明，通过对互动全息数据中用户的手势动作进行精准识别，并对用户的手势动作进行初步预处理判断是否符合系统标准，对不符合的手势动作进行优化，将符合系统标准的手势动作转换为电子信号并执行相对应的指令；
本发明，根据执行指令后用户的反馈情况，精准判断用户的手势动作与用户想要执行的指令是否一致，并根据用户个人习惯的手势动作上传至数据库进行储存，作为下次用户手势动作的评价标准，大大提高了不同用户手势动作的识别精度和速度。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明；
图1为本发明中的系统总框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
应当理解，本披露的说明书和权利要求书中使用的术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如图1所示，一种互动全息数据的调度系统，包括感应模块、处理模块及交互模块；
感应模块用于通过传感器捕捉用户的手势动作，并转化为电子信号；
在捕捉用户的手势动作时获取捕捉手势动作的复杂度、展示速度、展示角度、传感器精度及传感器噪音；
针对用户手势动作的复杂度通过该手势动作的运动路径、关键点数量、空间维度及时间序列特征进行评价，分析手势动作的运动路径中的手势路径曲线长度、轨迹变化率及特征改变速度，归一化处理后通过将路径曲线长度为球形体直径建立球形体，并以球形体球形位置为圆锥体的顶点，轨迹变化率与路径曲线长度之和为高，特征改变速度为圆锥底圆半径建立圆锥体，将球形体与圆锥体形成的异形体体积作为衡量手势动作运动路径的标准；关键点数量包括手势动作中手指的弯曲角度、手掌的位置的数量；空间维度包括手势动作的运动范围及方向改变速度并求和得到空维值；时间序列特征为手势动作的持续时间、加速度的变化、手指的运动速度进行求和以得到时列值；将得到的异形体体积、关键点数量、空维值及时列值进行求和计算以得到杂度值FD，并将杂度值FD作为衡量手势动作复杂度的标准；
用户手势动作的展示速度通过该手势动作的持续时间、改变频率及动作加速度进行评价，其中手势动作的持续时间为该手势动作势开始和结束的时间戳，改变频率为该手势动作在进行展示的过程中每帧改变的特征点数量，动作加速度为该手势动作的加速度变化率，将得到的手势动作持续时间、改变频率及动作加速度归一化处理后，将改变频率与动作持续时间相乘加上动作加速度的二次方再加上常数0.239以得到展速值ZS，并将展速值作为衡量该手势动作的展示速度的标准；用户手势动作的展示角度为该手势动作的偏移角度并标定为PY，当偏移角度越高时，则该手势动作越不标准，反之，则该手势动作越标准；
传感器精度及噪音通过测试进行获取，具体步骤如下：
首先通过将传感器输出值与已知准确值进行比对，计算得到的差异即为绝对误差，再将绝对误差除以准确值，得到的比值即为相对误差，再将一系列测量值计算其平均值，并计算每个测量值和平均值之间的差异，然后计算这些差异的平均值的平方根，即为标准差，将相对误差与标准差进行求和，以得到精评值CP，以此精评值为衡量传感器精度标准；
再计算信号的最大可能功率与信号中包含的噪声功率之间的比值，并标定为信噪值XZ，以此信噪值为衡量该传感器的噪音标准；
再将得到的杂度值FD、展速值ZS、偏移角度PY、精评值CP及信噪值XZ归一化处理后代入以下公式：以得到该手势动作的级别值JBZ，式中/>分别为杂度值FD的预设权重系数、展速值ZS的预设权重系数、偏移角度PY的预设权重系数及传感器参数的预设权重系数，并分别取值为1.221、0.936、0.994及1.254；
再将得到的该手势动作的级别值JBZ与预设的级别隔离值进行比对，当计算得到的级别值JBZ大于或等于预设的级别隔离值，则生成优化信令并执行优化操作，当计算得到的级别值JBZ小于预设的级别隔离值，则判断该手势动作级别值符合标准，并转化为电子信号向处理模块中传输；
其中优化操作的具体包括以下步骤：
首先采用滤波技术配合均值滤波、中值滤波或卡尔曼滤波的滤波方法对传感器数据进行处理，去除噪声和干扰，提高信号质量；再选择备用的手势动作识别算法，如机器学习算法中支持向量机、随机森林或深度学习算法中卷积神经网络及循环神经网络，对优化算法的进行更替选择和参数调整，以提高手势动作识别的准确度和鲁棒性；最后增加传感器的分辨率和采样率，提高对用户手势动作中细节的捕捉能力，高分辨率和高采样率的传感器可以更精细地捕捉手势动作的细微变化，提高准确度。
处理模块用于接收感应模块传输的电子信号并进行分析；
获取手势动作转化的电子信号，并根据电子信号执行相对应的命令；
在执行命令后的监测时间范围内，监测用户的输入指令，监测时间可以设置为10s、20s或1min之内，当在监测时间范围内检测到用户输入的指令为纠正型指令时，其中纠正型指令包括返回、撤销、删除、重输、取消、清空或退出，再对用户完成纠正型指令执行后重新输入手势动作或指令进行采集，对新输入的手势动作与前一次输入的手势动作进行比对，通过图像分析的方式分析两次手势动作的相似度，当相似度超过预设的相似度阈值时，则判断前一次指令为误判指令；
将出现误判指令的次数进行记录，并分析出现误判指令的频率，频率可按照单位天、星期或月进行统计，当得到的出现误判指令频率超过预设的频率阈值时，则生成矫正信令；
当生成矫正信令后执行矫正模式，具体的包括以下步骤：
在确定用户输入的指令为误判指令后，采集用户重新输入手势动作或指令，当用户二次输入的为指令时，确定该指令相对应的存储在数据库中的标准手势动作与用户第一次输入的手势动作进行比对，当相似度高于相似度阈值时，则对用户第一次输入的手势动作进行记录，并上传至数据库中存储至与该指令相对应的标准手势动作中，作为用户习惯手势动作同时标记为用户一习惯手势动作并添加该指令的编号进行储存；当相似度低于相似度阈值时，则将该指令相对应的标准手势动作通过交互模块配合语音向用户进行提示；
当用户二次输入的手势动作时，将该手势动作与存储在数据库中的不同标准手势动作进行比对，通过图像分析方法分别对数据库中不同标准手势动作与用户二次输入的手势动作形成的相似度，将不同标准手势动作相对应的相似度进行按照大小进行排序，得到最大的预设数量的标准手势动作，预设数量可以为2个、3个或5个，按照用户的需求进行设定，并将得到的预设数量的标准手势动作及相对应的指令通过交互模块向用户进行展示并寻求用户确定，当用户确定某一个标准手势动作时，则将该用户输入的二次手势动作存储至该标准手势动作中，并统计该手势动作输入次数，当次数达到预设次数时，则将用户二次输入的手势动作作为该指令执行的第二标准，建立该指令的用户习惯手势动作；
再对用户后续输入的手势动作进行增强识别，通过对不同用户的所有手势动作数据进行存储，包括不同光照条件、不同角度及不同速度变化的手势动作，扩大系统的训练集，提高模型的泛化能力和鲁棒性，减少对用户输入的手势动作的误判。
交互模块用于对用户的需求及系统的反馈进行交互；
当接收到处理模块传输的标准手势动作时，直接向用户进行展示，并生成做出该标准手势动作的动图通过显示屏向用户进行展示，同时捕捉用户的眼球，并分析用户眼球与显示屏的偏移角度，当偏移角度超过预设角度时，则结合该手势动作做出的语音对用户进行提示，提醒用户查看显示屏；
当接收到处理模块传输的供用户选择的若干个标准手势动作时，则将若干个标准手势动作等距的通过显示屏向用户进行展示并等待用户点击反馈。
一种互动全息数据的调度方法，包括以下步骤：
首先通过传感器捕捉用户的手势动作，并根据用户手势动作参数及传感器参数分析该手势动作的级别值；
根据用户手势动作的级别值与预设级别隔离值进行比对，当达到级别隔离值时则对用户的手势动作进行精准识别优化，当未达到级别隔离值时，则将该手势动作转换为电子信号；
对转换的电子信号进行分析，并根据该电子信号执行相对应的命令；
再根据执行命令后用户的反馈判断根据手势动作执行的指令是否为误判指令；
对无线误判指令的次数进行记录，分析出现误判指令的频率，当出现误判指令的频率超过预设频率阈值时，执行矫正模式；矫正模式具体执行步骤如下：
首先在确定用户输入的指令为误判指令后，采集用户重新输入手势动作或指令；
当用户二次输入的为指令时，确定该指令相对应的存储在数据库中的标准手势动作并与用户第一次输入的手势动作进行比对，当相似度高于相似度阈值时，则对用户第一次输入的手势动作进行记录，并上传至数据库中存储至与该指令相对应的标准手势动作中，作为用户习惯手势动作同时标记为用户一习惯手势动作并添加该指令的编号进行储存；
当相似度低于相似度阈值时，则将该指令相对应的标准手势动作通过交互模块配合语音向用户进行提示；
当用户二次输入的为手势动作时，将该手势动作与存储在数据库中的不同标准手势动作进行比对，通过图像分析方法分别对数据库中不同标准手势动作与用户二次输入的手势动作形成的相似度，将不同标准手势动作相对应的相似度进行按照大小进行排序，得到最大的预设数量的标准手势动作，并将得到的预设数量的标准手势动作及相对应的指令通过交互模块向用户进行展示并寻求用户确定；
当用户通过交互模块确定某一个标准手势动作时，则将该用户输入的二次手势动作存储至该标准手势动作中，并统计该手势动作输入次数，当次数达到预设次数时，则将用户二次输入的手势动作作为该指令执行的第二标准，建立该指令的用户习惯手势动作；
再对用户后续输入的手势动作进行增强识别，通过对不同用户的所有手势动作数据进行存储，包括不同光照条件、不同角度及不同速度变化的手势动作，扩大系统的训练集。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种互动全息数据的调度方法，其特征在于，包括以下步骤：
S1：首先通过传感器捕捉用户的手势动作，并根据用户手势动作参数及传感器参数分析该手势动作的级别值；分析手势动作的级别值具体过程如下：
在捕捉用户的手势动作时获取捕捉手势动作的复杂度、展示速度、展示角度、传感器精度及传感器噪音；通过对手势动作复杂度进行分析得到衡量复杂度标准的杂度值FD，通过对手势动作展示速度进行分析得到衡量展示速度标准的展速值ZS，通过对展示角度进行分析得到衡量展示角度标准的偏移角度PY；再对传感器精度及噪音分别进行测试以分别得到衡量传感器精度标准的精评值CP及衡量传感器噪音标准的信噪值XZ；
再将得到的杂度值FD、展速值ZS、偏移角度PY、精评值CP及信噪值XZ归一化处理后代入以下公式：以得到该手势动作的级别值JBZ，式中/>分别为杂度值的预设权重系数、展速值的预设权重系数、偏移角度的预设权重系数及传感器参数的预设权重系数；
S2：根据用户手势动作的级别值与预设级别隔离值进行比对，当达到级别隔离值时则对用户的手势动作进行精准识别优化，当未达到级别隔离值时，则将该手势动作转换为电子信号；
S3：对转换的电子信号进行分析，并根据该电子信号执行相对应的命令；
S4：再根据执行命令后用户的反馈判断根据手势动作执行的指令是否为误判指令；
S5：对无线误判指令的次数进行记录，分析出现误判指令的频率，当出现误判指令的频率超过预设频率阈值时，执行矫正模式；矫正模式具体执行步骤如下：
S501：首先在确定用户输入的指令为误判指令后，采集用户重新输入手势动作或指令；
S502：当用户二次输入的为指令时，确定该指令相对应的存储在数据库中的标准手势动作并与用户第一次输入的手势动作进行比对，当相似度高于相似度阈值时，则对用户第一次输入的手势动作进行记录，并上传至数据库中存储至与该指令相对应的标准手势动作中，作为用户习惯手势动作同时标记为用户一习惯手势动作并添加该指令的编号进行储存；
S503：当相似度低于相似度阈值时，则将该指令相对应的标准手势动作通过交互模块配合语音向用户进行提示；
S504：当用户二次输入的为手势动作时，将该手势动作与存储在数据库中的不同标准手势动作进行比对，通过图像分析方法分别对数据库中不同标准手势动作与用户二次输入的手势动作形成的相似度，将不同标准手势动作相对应的相似度进行按照大小进行排序，得到最大的预设数量的标准手势动作，并将得到的预设数量的标准手势动作及相对应的指令通过交互模块向用户进行展示并寻求用户确定；
S505：当用户通过交互模块确定某一个标准手势动作时，则将该用户输入的二次手势动作存储至该标准手势动作中，并统计该手势动作输入次数，当次数达到预设次数时，则将用户二次输入的手势动作作为该指令执行的第二标准，建立该指令的用户习惯手势动作；
S506：再对用户后续输入的手势动作进行增强识别，通过对不同用户的所有手势动作数据进行存储，包括不同光照条件、不同角度及不同速度变化的手势动作，扩大系统的训练集。
2.一种互动全息数据的调度系统，其特征在于，包括：
感应模块，用于通过传感器捕捉用户的手势动作，并分析手势动作的级别值，将符合标准的手势动作转化为电子信号；
分析手势动作的级别值具体过程如下：
在捕捉用户的手势动作时获取捕捉手势动作的复杂度、展示速度、展示角度、传感器精度及传感器噪音；通过对手势动作复杂度进行分析得到衡量复杂度标准的杂度值FD，通过对手势动作展示速度进行分析得到衡量展示速度标准的展速值ZS，通过对展示角度进行分析得到衡量展示角度标准的偏移角度PY；再对传感器精度及噪音分别进行测试以分别得到衡量传感器精度标准的精评值CP及衡量传感器噪音标准的信噪值XZ；
再将得到的杂度值FD、展速值ZS、偏移角度PY、精评值CP及信噪值XZ归一化处理后代入以下公式：以得到该手势动作的级别值JBZ，式中/>分别为杂度值的预设权重系数、展速值的预设权重系数、偏移角度的预设权重系数及传感器参数的预设权重系数；
再将得到的该手势动作的级别值与预设的级别隔离值进行比对，当计算得到的级别值大于或等于预设的级别隔离值，则生成优化信令并执行优化操作，当计算得到的级别值小于预设的级别隔离值，则判断该手势动作级别值符合标准，并转化为电子信号向处理模块中传输；
处理模块，用于接收感应模块传输的电子信号并根据该电子信号执行相对应的命令；
处理模块根据执行命令后用户的反馈判断根据手势动作执行的指令是否为误判指令的具体过程如下：
在执行命令后的监测时间范围内，监测用户的输入指令，当在监测时间范围内检测到用户输入的指令为纠正型指令时，其中纠正型指令包括返回、撤销、删除、重输、取消、清空或退出，再对用户完成纠正型指令执行后重新输入手势动作或指令进行采集，对新输入的手势动作与前一次输入的手势动作进行比对，通过图像分析的方式分析两次手势动作的相似度，当相似度超过预设的相似度阈值时，则判断前一次指令为误判指令；
将出现误判指令的次数进行记录，并分析出现误判指令的频率，当得到的出现误判指令频率超过预设的频率阈值时，则生成矫正信令并执行矫正模式；矫正模式具体执行步骤如下：
首先在确定用户输入的指令为误判指令后，采集用户重新输入手势动作或指令；
当用户二次输入的为指令时，确定该指令相对应的存储在数据库中的标准手势动作并与用户第一次输入的手势动作进行比对，当相似度高于相似度阈值时，则对用户第一次输入的手势动作进行记录，并上传至数据库中存储至与该指令相对应的标准手势动作中，作为用户习惯手势动作同时标记为用户一习惯手势动作并添加该指令的编号进行储存；
当相似度低于相似度阈值时，则将该指令相对应的标准手势动作通过交互模块配合语音向用户进行提示；
当用户二次输入的为手势动作时，将该手势动作与存储在数据库中的不同标准手势动作进行比对，通过图像分析方法分别对数据库中不同标准手势动作与用户二次输入的手势动作形成的相似度，将不同标准手势动作相对应的相似度进行按照大小进行排序，得到最大的预设数量的标准手势动作，并将得到的预设数量的标准手势动作及相对应的指令通过交互模块向用户进行展示并寻求用户确定；
当用户通过交互模块确定某一个标准手势动作时，则将该用户输入的二次手势动作存储至该标准手势动作中，并统计该手势动作输入次数，当次数达到预设次数时，则将用户二次输入的手势动作作为该指令执行的第二标准，建立该指令的用户习惯手势动作；
再对用户后续输入的手势动作进行增强识别，通过对不同用户的所有手势动作数据进行存储，包括不同光照条件、不同角度及不同速度变化的手势动作，扩大系统的训练集；
交互模块，用于对用户的需求及系统的反馈进行交互。
3.根据权利要求2所述的一种互动全息数据的调度系统，其特征在于，所述感应模块执行优化操作的具体操作步骤如下：
首先采用滤波技术配合均值滤波、中值滤波或卡尔曼滤波的滤波方法对传感器数据进行处理，去除噪声和干扰；
再选择备用的手势动作识别算法，包括机器学习算法中支持向量机、随机森林或深度学习算法中卷积神经网络及循环神经网络，对优化算法的进行更替选择和参数调整；最后增加传感器的分辨率和采样率。
4.根据权利要求2所述的一种互动全息数据的调度系统，其特征在于，所述交互模块对用户的需求及系统的反馈进行交互的具体操作步骤如下：
当接收到处理模块传输的标准手势动作时，直接向用户进行展示，并生成做出该标准手势动作的动图通过显示屏向用户进行展示，同时捕捉用户的眼球，并分析用户眼球与显示屏的偏移角度，当偏移角度超过预设角度时，则结合该手势动作做出的语音对用户进行提示，提醒用户查看显示屏；
当接收到处理模块传输的供用户选择的若干个标准手势动作时，则将若干个标准手势动作等距的通过显示屏向用户进行展示并等待用户点击反馈。
5.根据权利要求2所述的一种互动全息数据的调度系统，其特征在于，所述感应模块中对用户手势动作复杂度分析的具体操作步骤如下：
针对用户手势动作的复杂度通过该手势动作的运动路径、关键点数量、空间维度及时间序列特征进行评价，分析手势动作的运动路径中的手势路径曲线长度、轨迹变化率及特征改变速度，归一化处理后通过将路径曲线长度为球形体直径建立球形体，并以球形体球形位置为圆锥体的顶点，轨迹变化率与路径曲线长度之和为高，特征改变速度为圆锥底圆半径建立圆锥体，将球形体与圆锥体形成的异形体体积作为衡量手势动作运动路径的标准；
关键点数量包括手势动作中手指的弯曲角度、手掌的位置的数量；空间维度包括手势动作的运动范围及方向改变速度并求和得到空维值；时间序列特征为手势动作的持续时间、加速度的变化、手指的运动速度进行求和以得到时列值；
将得到的异形体体积、关键点数量、空维值及时列值进行求和计算以得到杂度值。
6.根据权利要求2所述的一种互动全息数据的调度系统，其特征在于，所述感应模块中对用户手势动作展示速度及展示角度分析的具体操作步骤如下：
用户手势动作的展示速度通过该手势动作的持续时间、改变频率及动作加速度进行评价，其中手势动作的持续时间为该手势动作势开始和结束的时间戳，改变频率为该手势动作在进行展示的过程中每帧改变的特征点数量，动作加速度为该手势动作的加速度变化率，将得到的手势动作持续时间、改变频率及动作加速度归一化处理后，将改变频率与动作持续时间相乘加上动作加速度的二次方再加上常数0.239以得到展速值，并将展速值作为衡量该手势动作的展示速度的标准；用户手势动作的展示角度为该手势动作的偏移角度并标定为PY。
7.根据权利要求2所述的一种互动全息数据的调度系统，其特征在于，所述感应模块对传感器精度及噪音进行测试的具体操作步骤如下：
首先通过将传感器输出值与已知准确值进行比对，计算得到的差异即为绝对误差，再将绝对误差除以准确值，得到的比值即为相对误差，再将若干个测量值计算其平均值，并计算每个测量值和平均值之间的差异，然后计算这些差异的平均值的平方根，得到标准差，将相对误差与标准差进行求和，以得到精评值；再计算信号的最大可能功率与信号中包含的噪声功率之间的比值，并标定为信噪值。
CN202410164011.7A 2024-02-05 2024-02-05 一种互动全息数据的调度方法和系统 Active CN117707746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410164011.7A CN117707746B (zh) 2024-02-05 2024-02-05 一种互动全息数据的调度方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410164011.7A CN117707746B (zh) 2024-02-05 2024-02-05 一种互动全息数据的调度方法和系统

Publications (2)

Publication Number Publication Date
CN117707746A CN117707746A (zh) 2024-03-15
CN117707746B true CN117707746B (zh) 2024-04-16

Family

ID=90152015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410164011.7A Active CN117707746B (zh) 2024-02-05 2024-02-05 一种互动全息数据的调度方法和系统

Country Status (1)

Country Link
CN (1) CN117707746B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115525140A (zh) * 2021-06-25 2022-12-27 北京小米移动软件有限公司 手势识别方法、手势识别装置及存储介质
CN117008491A (zh) * 2023-08-14 2023-11-07 陕西英冠网络科技有限公司 一种智能手势控制系统及方法
CN117093076A (zh) * 2023-08-23 2023-11-21 力方数字科技集团有限公司 基于Leap Motion的多屏显示人机交互方法及系统
CN117173677A (zh) * 2023-09-13 2023-12-05 阿维塔科技(重庆)有限公司 手势识别方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN114661142B (zh) * 2020-12-22 2024-08-27 华为技术有限公司 一种手势识别方法以及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115525140A (zh) * 2021-06-25 2022-12-27 北京小米移动软件有限公司 手势识别方法、手势识别装置及存储介质
CN117008491A (zh) * 2023-08-14 2023-11-07 陕西英冠网络科技有限公司 一种智能手势控制系统及方法
CN117093076A (zh) * 2023-08-23 2023-11-21 力方数字科技集团有限公司 基于Leap Motion的多屏显示人机交互方法及系统
CN117173677A (zh) * 2023-09-13 2023-12-05 阿维塔科技(重庆)有限公司 手势识别方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dynamic Gesture Recognition Based on Three-Stream Coordinate Attention Network and Knowledge Distillation;Shanshan Wan等;《Digital Object Identifier 10.1109/ACCESS.2023.3278100》;20230519;1-13 *
基于手势识别的交互式全息显示研究;王国庆;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210415;I135-44 *

Also Published As

Publication number Publication date
CN117707746A (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
US10737158B2 (en) Method and device for recognizing movement of tennis racket
CN109737952B (zh) 跳绳数据处理方法、装置及可穿戴设备
JP6064280B2 (ja) ジェスチャを認識するためのシステムおよび方法
CN102346859A (zh) 文字识别装置
CN102075682A (zh) 图像捕获装置、图像处理装置、及其控制方法和程序
CN111288986B (zh) 一种运动识别方法及运动识别装置
CN107832736B (zh) 实时人体动作的识别方法和实时人体动作的识别装置
CN116226691A (zh) 用于手势姿态感知的智能戒指数据处理方法
KR20180020123A (ko) 비동기 신호 처리 방법
CN112784786A (zh) 人体姿态识别方法及装置
CN116958584A (zh) 关键点检测方法、回归模型的训练方法、装置及电子设备
CN116226727A (zh) 一种基于ai的运动识别系统
CN106406507B (zh) 图像处理方法以及电子设备
WO2024140268A1 (zh) 手指交互轨迹获取方法、系统及存储介质
KR20130101728A (ko) 모션 인식을 통한 인터페이스 장치 및 이의 제어방법
CN117707746B (zh) 一种互动全息数据的调度方法和系统
CN109382827A (zh) 一种机器人系统及其智能记忆识别方法
US20170343577A1 (en) Determination of a mobility context for a user carrying a device fitted with inertial sensors
CN112507955A (zh) 一种婴儿手部精细动作识别方法及系统
CN114846513A (zh) 动作分析系统和动作分析程序
CN112949587B (zh) 基于关键点的手部握姿矫正方法、系统及计算机可读介质
CN114327045B (zh) 基于类别不平衡信号的跌倒检测方法及系统
CN110909687A (zh) 动作特征有效性判定方法、计算机存储介质和电子装置
JP7316134B2 (ja) 位置姿勢特定装置、位置姿勢特定方法及び位置姿勢特定プログラム
CN111444771B (zh) 一种基于循环神经网络的手势前置实时识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant