CN117994856A - 一种用于vr电子玩具的姿态识别方法 - Google Patents
一种用于vr电子玩具的姿态识别方法 Download PDFInfo
- Publication number
- CN117994856A CN117994856A CN202410256177.1A CN202410256177A CN117994856A CN 117994856 A CN117994856 A CN 117994856A CN 202410256177 A CN202410256177 A CN 202410256177A CN 117994856 A CN117994856 A CN 117994856A
- Authority
- CN
- China
- Prior art keywords
- image
- predictable
- gray level
- historical scene
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000005259 measurement Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，具体涉及一种用于VR电子玩具的姿态识别方法，包括：采集VR电子玩具的若干帧VR历史场景灰度图像；根据相邻VR历史场景灰度图像之间虚拟场景区域的变化相似情况，将所有VR历史场景灰度图像划分为若干可预测VR历史场景灰度图像序列；根据可预测VR历史场景灰度图像序列中相邻VR历史场景灰度图像之间局部特征的偏移方向以及距离的分布差异情况，得到每个关键点的综合姿态偏移程度；根据综合姿态偏移程度，从所有关键点中筛选出若干预测关键点；根据预测关键点进行姿态识别。本发明提高了识别行为姿态的响应效率，提高了用户的游戏体验。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种用于VR电子玩具的姿态识别方法。
背景技术
VR电子玩具是一款可以进行虚拟游戏的电子产品，用户可以在VR电子玩具模拟的虚拟环境内进行各种虚拟交互的行为姿态。而VR电子玩具通常利用SIFT(Scale InvariantFeature Transform)尺度不变特征变换算法来识别用户的行为姿态。
为了使用户有良好的游戏体验，VR电子玩具需要快速识别用户行为姿态，以保证用于虚拟交互行为姿态的流畅性，但由于虚拟环境中存在大量复杂的场景特征，导致传统的SIFT尺度不变特征变换算法需要花费大量时间来获取有效的描述子，降低了描述子的获取速度，降低了识别行为姿态的响应效率，从而降低了用户的游戏体验。
发明内容
本发明提供一种用于VR电子玩具的姿态识别方法，以解决现有的问题：VR电子玩具构建的虚拟环境中存在大量复杂的场景特征，传统的SIFT尺度不变特征变换算法需要花费大量时间来获取有效的描述子，降低了识别行为姿态的响应效率。
本发明的一种用于VR电子玩具的姿态识别方法采用如下技术方案：
包括以下步骤：
采集VR电子玩具的若干帧VR历史场景灰度图像，所述VR历史场景灰度图像包含多个关键点；
根据相邻VR历史场景灰度图像之间虚拟场景区域的变化相似情况，将所有VR历史场景灰度图像划分为若干可预测VR历史场景灰度图像序列；
根据可预测VR历史场景灰度图像序列中相邻VR历史场景灰度图像之间局部特征的偏移方向以及距离的分布差异情况，得到每个关键点的综合姿态偏移程度；根据综合姿态偏移程度，从所有关键点中筛选出若干预测关键点；
根据预测关键点进行姿态识别。
优选的，所述根据相邻VR历史场景灰度图像之间虚拟场景区域的变化相似情况，将所有VR历史场景灰度图像划分为若干可预测VR历史场景灰度图像序列，包括的具体方法为：
对于任意两个相邻的VR历史场景灰度图像，使用SIFT尺度不变特征变换算法获取这两帧VR历史场景灰度图像的若干极值点；在这两帧VR历史场景灰度图像中，将第一帧VR历史场景灰度图像记为前置VR灰度影响图像，将第二帧VR历史场景灰度图像记为目标VR历史场景灰度图像；
将前置VR灰度影响图像中任意一个极值点记为前置极值点，获取前置极值点的对照像素点以及照极值点；
根据前置VR灰度影响图像中所有极值点与目标VR历史场景灰度图像中对照像素点之间的灰度差异，以及前置VR灰度影响图像中所有极值点与目标VR历史场景灰度图像中对照极值点之间的距离差异，得到目标VR历史场景灰度图像的连续相似因子；
获取所有VR历史场景灰度图像的连续相似因子，将所有连续相似因子进行线性归一化，将归一化后的每个连续相似因子记为连续相似度；预设一个连续相似度阈值T1，将连续相似度大于T1的VR历史场景灰度图像记为差异VR历史场景灰度图像，获取所有差异VR历史场景灰度图像；将任意相邻两帧差异VR历史场景灰度图像之间所有VR历史场景灰度图像构成的序列记为可预测VR历史场景灰度图像序列。
优选的，所述获取前置极值点的对照像素点以及照极值点，包括的具体方法为：
将目标VR历史场景灰度图像中与前置极值点位置相同的像素点记为前置极值点的对照像素点，将目标VR历史场景灰度图像中与对照像素点之间欧式距离最小的极值点记为前置极值点的对照极值点。
优选的，所述根据前置VR灰度影响图像中所有极值点与目标VR历史场景灰度图像中对照像素点之间的灰度差异，以及前置VR灰度影响图像中所有极值点与目标VR历史场景灰度图像中对照极值点之间的距离差异，得到目标VR历史场景灰度图像的连续相似因子，包括的具体方法为：
将前置VR灰度影响图像中第m个极值点的灰度值记为第m个极值点的第一灰度值，将前置VR灰度影响图像中第m个极值点的对照像素点的灰度值记为第m个极值点的第二灰度值，将所述第一灰度值与所述第二灰度值的差值的绝对值记为第m个极值点的第一绝对值；将前置VR灰度影响图像中第m个极值点的对照极值点与第m个极值点的欧式距离，与所述第一绝对值的乘积的反比例值记为第m个极值点的第一反比例值；将前置VR灰度影响图像中所有极值点的第一反比例值的累加和记为目标VR历史场景灰度图像的连续相似因子。
优选的，所述根据可预测VR历史场景灰度图像序列中相邻VR历史场景灰度图像之间局部特征的偏移方向以及距离的分布差异情况，得到每个关键点的综合姿态偏移程度，包括的具体方法为：
对于任意一个可预测VR历史场景灰度图像序列，将所述可预测VR历史场景灰度图像序列中任意一帧VR历史场景灰度图像记为目标可预测VR图像，将除目标可预测VR图像以外的每帧VR历史场景灰度图像记为参考可预测VR图像；
对于任意一帧参考可预测VR图像，将目标可预测VR图像中任意一个关键点记为目标关键点，将参考可预测VR图像中与目标关键点位置相同的像素点记为目标关键点的对照关键像素点，将参考可预测VR图像中与对照关键像素点之间欧式距离最小的关键点记为目标关键点的对照关键点；
根据目标可预测VR图像中第n个关键点与参考可预测VR图像中对照关键点之间的灰度差异，以及目标可预测VR图像中第n个关键点与参考可预测VR图像中对照关键点之间的距离差异，得到目标可预测VR图像中第n个关键点与每个参考可预测VR图像的姿态偏移因子；
根据目标可预测VR图像中第n个关键点与每个参考可预测VR图像的姿态偏移因子，得到每帧VR历史场景灰度图像中每个关键点的姿态偏移系数；
将可预测VR历史场景灰度图像序列中任意一帧可预测VR历史场景灰度图像记为第一目标可预测VR图像；对于第一目标可预测VR图像的任意一帧参考可预测VR图像，在参考可预测VR图像中，将第z个关键点的对照关键像素点与第z个关键点的对照关键点之间所形成的线段记为第z个关键点的第一线段，将第z个关键点的第一线段与水平方向之间的夹角度数记为第一目标可预测VR图像中第z个关键点与参考可预测VR图像的偏移度数；获取第一目标可预测VR图像中第z个关键点与所有参考可预测VR图像的偏移度数；
根据第一目标可预测VR图像中第z个关键点与所有参考可预测VR图像的偏移度数，得到每帧VR历史场景灰度图像中每个关键点的姿态方向偏移系数；
对于可预测VR历史场景灰度图像序列中任意一帧可预测VR历史场景灰度图像，在可预测VR历史场景灰度图像中，将第z1个关键点的姿态偏移系数与第z1个关键点的姿态方向偏移系数的和，记为第z1个关键点的综合姿态偏移程度。
优选的，所述根据目标可预测VR图像中第n个关键点与参考可预测VR图像中对照关键点之间的灰度差异，以及目标可预测VR图像中第n个关键点与参考可预测VR图像中对照关键点之间的距离差异，得到目标可预测VR图像中第n个关键点与每个参考可预测VR图像的姿态偏移因子，包括的具体方法为：
将目标可预测VR图像中第n个关键点的对照关键点的灰度值与目标可预测VR图像中第n个关键点的灰度值的差值的绝对值，记为第n个关键点的第二绝对值；将目标可预测VR图像中所有关键点的第二绝对值的累加和记为第一累加和；将第n个关键点的第二绝对值与第一累加和的比值记为第n个关键点的第一比值；将目标可预测VR图像中第n个关键点的对照关键点与第n个关键点的欧式距离，与第n个关键点的第一比值的乘积记为目标可预测VR图像中第n个关键点与参考可预测VR图像的姿态偏移因子。
优选的，所述根据目标可预测VR图像中第n个关键点与每个参考可预测VR图像的姿态偏移因子，得到每帧VR历史场景灰度图像中每个关键点的姿态偏移系数，包括的具体方法为：
将所有姿态偏移因子的均值记为目标可预测VR图像中第n个关键点的姿态偏移程度，获取目标可预测VR图像中所有关键点的姿态偏移程度，获取所有VR历史场景灰度图像中所有关键点的姿态偏移程度的姿态偏移程度；将所有VR历史场景灰度图像中所有关键点的姿态偏移程度进行线性归一化，将归一化后的每个姿态偏移程度记为姿态偏移系数。
优选的，所述根据第一目标可预测VR图像中第z个关键点与所有参考可预测VR图像的偏移度数，得到每帧VR历史场景灰度图像中每个关键点的姿态方向偏移系数，包括的具体方法为：
将所有偏移度数的均值记为目标可预测VR图像中第z个关键点的偏移度量值，获取目标可预测VR图像中所有关键点的偏移度量值，将所有偏移度量值进行线性归一化，将归一化后的每个偏移度量值记为姿态方向偏移系数。
优选的，所述根据综合姿态偏移程度，从所有关键点中筛选出若干预测关键点，包括的具体方法为：
对于任意一个可预测VR历史场景灰度图像序列中任意一帧可预测VR历史场景灰度图像的第z1个关键点；预设一个综合姿态偏移程度阈值T2，若第z1个关键点的综合姿态偏移程度小于T2，将第z1个关键点记为可预测VR历史场景灰度图像序列的预测关键点。
优选的，所述根据预测关键点进行姿态识别，包括的具体方法为：
使用SIFT尺度不变特征变换算法获取所有可预测VR历史场景灰度图像序列中所有预测关键点的描述子，将所有可预测VR历史场景灰度图像序列中所有预测关键点的描述子输入训练好的神经网络中获取下一帧图像的姿态预测结果。
本发明的技术方案的有益效果是：本发明通过结合相邻VR历史场景灰度图像之间虚拟场景区域以及对应局部特征的变化偏移情况，自适应选取预测关键点，从而根据预测关键点进行有效地姿态识别；其中首先根据相邻VR历史场景灰度图像之间虚拟场景区域的变化相似情况，获取的可预测VR历史场景灰度图像序列，用于反映不同用户不同的行为姿态对应的图像帧序列，提高了行为姿态识别的效率；然后根据可预测VR历史场景灰度图像序列中相邻VR历史场景灰度图像之间局部特征的偏移方向以及距离的分布差异情况，得到关键点的综合姿态偏移程度，用于反映关键点在同一类型的行为姿态下存在偏差的程度，使获取的用于预测的关键点更加精准；最后根据综合姿态偏移程度筛选出若干预测关键点，并进行姿态识别；本发明结合相邻VR历史场景灰度图像之间局部特征的偏移方向与偏移大小的变化差异情况，自适应筛选出合适的关键点来预测下一帧图像的姿势识别结果，提高了有效关键点的描述子的获取速度，提高了识别行为姿态的响应效率，提高了用户的游戏体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种用于VR电子玩具的姿态识别方法的步骤流程图；
图2为本发明的一种用于VR电子玩具的姿态识别方法的特征关系流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于VR电子玩具的姿态识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种用于VR电子玩具的姿态识别方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种用于VR电子玩具的姿态识别方法的步骤流程图，该方法包括以下步骤：
步骤S001：采集VR电子玩具若干的VR历史场景灰度图像。
需要说明的是，为了使用户有良好的游戏体验，VR电子玩具需要快速识别用户行为姿态，以保证用于虚拟交互行为姿态的流畅性，但由于虚拟环境中存在大量复杂的场景特征，导致传统的SIFT尺度不变特征变换算法需要花费大量时间来获取有效的描述子，降低了描述子的获取速度，降低了识别行为姿态的响应效率，从而降低了用户的游戏体验。请参阅图2，其示出了用于VR电子玩具的姿态识别方法的特征关系流程图。
具体的，首先需要采集VR场景灰度图像，具体过程为：在VR电子玩具的图像数据库中，获取近一个月的VR历史场景图像；将每帧VR历史场景图像进行灰度化处理，得到若干帧VR历史场景灰度图像。其中本实施例默认所有历史场景灰度图像按照对应记录时间从小到大的顺序进行排序，另外灰度化处理是公知技术，本实施例不再赘述。另外需要说明的是，本实施例不对VR电子玩具的类型以及VR历史场景图像的获取时间进行限定，其中VR电子玩具的类型以及VR历史场景图像的获取时间可根据具体实施情况而定。
至此，通过上述方法得到所有VR历史场景灰度图像。
步骤S002：根据相邻VR历史场景灰度图像之间虚拟场景区域的变化相似情况，将所有VR历史场景灰度图像划分为若干可预测VR历史场景灰度图像序列。
需要说明的是，在VR电子玩具模拟的虚拟环境中，虚拟人物会响应用户的行为姿态从而做出对应的行为姿态，而用户的行为姿态通常会随着时间的推移而不断发生变化，并且在不同时间范围内用户的行为姿态存在不同的变化规律；为了提高识别行为姿态的响应效率，本实施例通过分析相邻VR历史场景灰度图像之间对应特征区域的变化情况，划分历史场景灰度图像，得到若干图像序列，以便后续预测分析处理。
具体的，以任意两个相邻的VR历史场景灰度图像为例，使用SIFT尺度不变特征变换算法获取这两帧VR历史场景灰度图像的若干极值点。在这两帧VR历史场景灰度图像中，将第一帧VR历史场景灰度图像记为前置VR灰度影响图像，将第二帧VR历史场景灰度图像记为目标VR历史场景灰度图像。
进一步的，将前置VR灰度影响图像中任意一个极值点记为前置极值点，将目标VR历史场景灰度图像中与前置极值点位置相同的像素点记为前置极值点的对照像素点，将目标VR历史场景灰度图像中与对照像素点之间欧式距离最小的极值点记为前置极值点的对照极值点。其中每张历史场景灰度图像包含多个极值点；另外欧式距离的获取是公知技术，获取图像中极值点的过程是SIFT尺度不变特征变换算法的公知内容，本实施例均不再赘述。
进一步的，根据前置VR灰度影响图像中所有极值点与目标VR历史场景灰度图像中对照像素点之间的灰度差异，以及前置VR灰度影响图像中所有极值点与目标VR历史场景灰度图像中对照极值点之间的距离差异，得到目标VR历史场景灰度图像的连续相似因子。作为一种示例，可通过如下公式计算目标VR历史场景灰度图像的连续相似因子：
式中，S表示目标VR历史场景灰度图像的连续相似因子；M表示前置VR灰度影响图像中所有极值点的数量；h1m表示前置VR灰度影响图像中第m个极值点的灰度值；h2m表示前置VR灰度影响图像中第m个极值点的对照像素点的灰度值；dm表示前置VR灰度影响图像中第m个极值点的对照极值点与第m个极值点的欧式距离；exp()表示以自然常数为底的指数函数，实施例采用exp(-x)模型来呈现反比例关系，x为模型的输入，实施者可根据实际情况选择反比例函数。其中若目标VR历史场景灰度图像的连续相似因子越大，说明前置VR灰度影响图像与目标VR历史场景灰度图像之间极值点分布越相似，反映前置VR灰度影响图像与目标VR历史场景灰度图像之间动作姿态区域分布越相似。获取所有VR历史场景灰度图像的连续相似因子，将所有连续相似因子进行线性归一化，将归一化后的每个连续相似因子记为连续相似度。
进一步的，预设一个连续相似度阈值T1，其中本实施例以T1＝0.65为例进行叙述，本实施例不进行具体限定，其中T1可根据具体实施情况而定；将连续相似度大于T1的VR历史场景灰度图像记为差异VR历史场景灰度图像，获取所有差异VR历史场景灰度图像；将任意相邻两帧差异VR历史场景灰度图像之间所有VR历史场景灰度图像构成的序列记为可预测VR历史场景灰度图像序列，获取所有可预测VR历史场景灰度图像序列。需要说明的是，本实施例不考虑第一个VR历史场景灰度图像的连续相似度。
至此，通过上述方法得到所有可预测VR历史场景灰度图像序列。
步骤S003：根据可预测VR历史场景灰度图像序列中相邻VR历史场景灰度图像之间局部特征的偏移方向以及距离的分布差异情况，得到每个关键点的综合姿态偏移程度；根据综合姿态偏移程度，从所有关键点中筛选出若干预测关键点。
需要说明的是，对于任意一个可预测VR历史场景灰度图像序列而言，该序列中所包含的若干帧VR历史场景灰度图像之间动作姿态分布的区域较为相似且接近，并且这些VR历史场景灰度图像中的动作姿态沿一定方向进行一定规律的变化；为了提高识别行为姿态的响应效率，本实施例通过分析可预测VR历史场景灰度图像序列中相邻帧VR历史场景灰度图像之间姿态特征的偏移情况，来预测未来下一帧图像中的关键点，从而提高获取有效关键点的描述子的效率，以便后续姿态识别的快速响应。
具体的，以任意一个可预测VR历史场景灰度图像序列为例，使用SIFT尺度不变特征变换算法获取该可预测VR历史场景灰度图像序列中所有VR历史场景灰度图像的若干关键点；将任意一帧VR历史场景灰度图像记为目标可预测VR图像，将除目标可预测VR图像以外的每帧VR历史场景灰度图像记为参考可预测VR图像。
进一步的，以任意一帧参考可预测VR图像为例，将目标可预测VR图像中任意一个关键点记为目标关键点，将参考可预测VR图像中与目标关键点位置相同的像素点记为目标关键点的对照关键像素点，将参考可预测VR图像中与对照关键像素点之间欧式距离最小的关键点记为目标关键点的对照关键点。其中每张历史场景灰度图像包含多个关键点；另外获取图像中关键点的过程是SIFT尺度不变特征变换算法的公知内容，本实施例不再赘述。
进一步的，根据目标可预测VR图像中第n个关键点与参考可预测VR图像中对照关键点之间的灰度差异，以及目标可预测VR图像中第n个关键点与参考可预测VR图像中对照关键点之间的距离差异，得到目标可预测VR图像中第n个关键点的姿态偏移因子。作为一种示例，可通过如下公式计算目标可预测VR图像中第n个关键点与参考可预测VR图像的姿态偏移因子：
式中，pn表示目标可预测VR图像中第n个关键点与参考可预测VR图像的姿态偏移因子；dn表示目标可预测VR图像中第n个关键点的对照关键点与第n个关键点的欧式距离；h3n表示目标可预测VR图像中第n个关键点的灰度值；h4n表示目标可预测VR图像中第n个关键点的对照关键点的灰度值；γ表示预设的超参数，用于防止分母为0；N表示目标可预测VR图像中所有关键点的数量；h3n1表示目标可预测VR图像中第n1个关键点的灰度值；h4n1表示目标可预测VR图像中第n1个关键点的对照关键点的灰度值。其中若目标可预测VR图像的姿态偏移因子越大，说明参考可预测VR图像与目标可预测VR图像之间动作姿态变化幅度越大。
进一步的，获取目标可预测VR图像中第n个关键点与所有参考可预测VR图像的姿态偏移因子，将所有姿态偏移因子的均值记为目标可预测VR图像中第n个关键点的姿态偏移程度，获取目标可预测VR图像中所有关键点的姿态偏移程度，获取所有VR历史场景灰度图像中所有关键点的姿态偏移程度的姿态偏移程度；将所有VR历史场景灰度图像中所有关键点的姿态偏移程度进行线性归一化，将归一化后的每个姿态偏移程度记为姿态偏移系数。
进一步的，将该可预测VR历史场景灰度图像序列中任意一帧可预测VR历史场景灰度图像记为第一目标可预测VR图像；以第一目标可预测VR图像的任意一帧参考可预测VR图像为例，在参考可预测VR图像中，将第z个关键点的对照关键像素点与第z个关键点的对照关键点之间所形成的线段记为第z个关键点的第一线段，将第z个关键点的第一线段与水平方向之间的夹角度数记为第一目标可预测VR图像中第z个关键点与参考可预测VR图像的偏移度数；获取第一目标可预测VR图像中第z个关键点与所有参考可预测VR图像的偏移度数；将所有偏移度数的均值记为目标可预测VR图像中第z个关键点的偏移度量值，获取目标可预测VR图像中所有关键点的偏移度量值，将所有偏移度量值进行线性归一化，将归一化后的每个偏移度量值记为姿态方向偏移系数。
进一步的，以该可预测VR历史场景灰度图像序列中任意一帧可预测VR历史场景灰度图像为例，在可预测VR历史场景灰度图像中，将第z1个关键点的姿态偏移系数与第z1个关键点的姿态方向偏移系数的和，记为第z1个关键点的综合姿态偏移程度。预设一个综合姿态偏移程度阈值T2，其中本实施例以T2＝0.5为例进行叙述，本实施例不进行具体限定，其中T2可根据具体实施情况而定；若第z1个关键点的综合姿态偏移程度小于T2，将第z1个关键点记为该可预测VR历史场景灰度图像序列的预测关键点，获取该可预测VR历史场景灰度图像序列中所有预测关键点；获取所有可预测VR历史场景灰度图像序列中所有预测关键点。
至此，通过上述方法得到所有可预测VR历史场景灰度图像序列中所有预测关键点。
步骤S004：根据预测关键点进行姿态识别。
具体的，使用SIFT尺度不变特征变换算法获取所有可预测VR历史场景灰度图像序列中所有预测关键点的描述子，将所有可预测VR历史场景灰度图像序列中所有预测关键点的描述子输入训练好的神经网络中获取未来下一帧图像中的姿态预测结果；其中本实施例使用的神经网络为Resnet50，训练该神经网络的数据集的获取方法为：采集大量可预测VR历史场景灰度图像序列中所有预测关键点的描述子，人为地根据描述子标记出预测关键点，将标记结果记为预测关键点的标签；采集大量的预测关键点以及其对应的标签构成数据集；利用该数据集训练该神经网络，训练过程中使用的损失函数为交叉熵损失函数；其中具体的训练过程是神经网络的公知内容，本实施例不再赘述具体的训练过程。另外关键点的描述子的获取过程是SIFT尺度不变特征变换算法的公知内容，本实施例不再赘述。
至此，本实施例完成。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于VR电子玩具的姿态识别方法，其特征在于，该方法包括以下步骤：
采集VR电子玩具的若干帧VR历史场景灰度图像，所述VR历史场景灰度图像包含多个关键点；
根据相邻VR历史场景灰度图像之间虚拟场景区域的变化相似情况，将所有VR历史场景灰度图像划分为若干可预测VR历史场景灰度图像序列；
根据可预测VR历史场景灰度图像序列中相邻VR历史场景灰度图像之间局部特征的偏移方向以及距离的分布差异情况，得到每个关键点的综合姿态偏移程度；根据综合姿态偏移程度，从所有关键点中筛选出若干预测关键点；
根据预测关键点进行姿态识别。
2.根据权利要求1所述一种用于VR电子玩具的姿态识别方法，其特征在于，所述根据相邻VR历史场景灰度图像之间虚拟场景区域的变化相似情况，将所有VR历史场景灰度图像划分为若干可预测VR历史场景灰度图像序列，包括的具体方法为：
对于任意两个相邻的VR历史场景灰度图像，使用SIFT尺度不变特征变换算法获取这两帧VR历史场景灰度图像的若干极值点；在这两帧VR历史场景灰度图像中，将第一帧VR历史场景灰度图像记为前置VR灰度影响图像，将第二帧VR历史场景灰度图像记为目标VR历史场景灰度图像；
将前置VR灰度影响图像中任意一个极值点记为前置极值点，获取前置极值点的对照像素点以及照极值点；
根据前置VR灰度影响图像中所有极值点与目标VR历史场景灰度图像中对照像素点之间的灰度差异，以及前置VR灰度影响图像中所有极值点与目标VR历史场景灰度图像中对照极值点之间的距离差异，得到目标VR历史场景灰度图像的连续相似因子；
获取所有VR历史场景灰度图像的连续相似因子，将所有连续相似因子进行线性归一化，将归一化后的每个连续相似因子记为连续相似度；预设一个连续相似度阈值T1，将连续相似度大于T1的VR历史场景灰度图像记为差异VR历史场景灰度图像，获取所有差异VR历史场景灰度图像；将任意相邻两帧差异VR历史场景灰度图像之间所有VR历史场景灰度图像构成的序列记为可预测VR历史场景灰度图像序列。
3.根据权利要求2所述一种用于VR电子玩具的姿态识别方法，其特征在于，所述获取前置极值点的对照像素点以及照极值点，包括的具体方法为：
将目标VR历史场景灰度图像中与前置极值点位置相同的像素点记为前置极值点的对照像素点，将目标VR历史场景灰度图像中与对照像素点之间欧式距离最小的极值点记为前置极值点的对照极值点。
4.根据权利要求2所述一种用于VR电子玩具的姿态识别方法，其特征在于，所述根据前置VR灰度影响图像中所有极值点与目标VR历史场景灰度图像中对照像素点之间的灰度差异，以及前置VR灰度影响图像中所有极值点与目标VR历史场景灰度图像中对照极值点之间的距离差异，得到目标VR历史场景灰度图像的连续相似因子，包括的具体方法为：
将前置VR灰度影响图像中第m个极值点的灰度值记为第m个极值点的第一灰度值，将前置VR灰度影响图像中第m个极值点的对照像素点的灰度值记为第m个极值点的第二灰度值，将所述第一灰度值与所述第二灰度值的差值的绝对值记为第m个极值点的第一绝对值；将前置VR灰度影响图像中第m个极值点的对照极值点与第m个极值点的欧式距离，与所述第一绝对值的乘积的反比例值记为第m个极值点的第一反比例值；将前置VR灰度影响图像中所有极值点的第一反比例值的累加和记为目标VR历史场景灰度图像的连续相似因子。
5.根据权利要求1所述一种用于VR电子玩具的姿态识别方法，其特征在于，所述根据可预测VR历史场景灰度图像序列中相邻VR历史场景灰度图像之间局部特征的偏移方向以及距离的分布差异情况，得到每个关键点的综合姿态偏移程度，包括的具体方法为：
对于任意一个可预测VR历史场景灰度图像序列，将所述可预测VR历史场景灰度图像序列中任意一帧VR历史场景灰度图像记为目标可预测VR图像，将除目标可预测VR图像以外的每帧VR历史场景灰度图像记为参考可预测VR图像；
对于任意一帧参考可预测VR图像，将目标可预测VR图像中任意一个关键点记为目标关键点，将参考可预测VR图像中与目标关键点位置相同的像素点记为目标关键点的对照关键像素点，将参考可预测VR图像中与对照关键像素点之间欧式距离最小的关键点记为目标关键点的对照关键点；
根据目标可预测VR图像中第n个关键点与参考可预测VR图像中对照关键点之间的灰度差异，以及目标可预测VR图像中第n个关键点与参考可预测VR图像中对照关键点之间的距离差异，得到目标可预测VR图像中第n个关键点与每个参考可预测VR图像的姿态偏移因子；
根据目标可预测VR图像中第n个关键点与每个参考可预测VR图像的姿态偏移因子，得到每帧VR历史场景灰度图像中每个关键点的姿态偏移系数；
将可预测VR历史场景灰度图像序列中任意一帧可预测VR历史场景灰度图像记为第一目标可预测VR图像；对于第一目标可预测VR图像的任意一帧参考可预测VR图像，在参考可预测VR图像中，将第z个关键点的对照关键像素点与第z个关键点的对照关键点之间所形成的线段记为第z个关键点的第一线段，将第z个关键点的第一线段与水平方向之间的夹角度数记为第一目标可预测VR图像中第z个关键点与参考可预测VR图像的偏移度数；获取第一目标可预测VR图像中第z个关键点与所有参考可预测VR图像的偏移度数；
根据第一目标可预测VR图像中第z个关键点与所有参考可预测VR图像的偏移度数，得到每帧VR历史场景灰度图像中每个关键点的姿态方向偏移系数；
对于可预测VR历史场景灰度图像序列中任意一帧可预测VR历史场景灰度图像，在可预测VR历史场景灰度图像中，将第z1个关键点的姿态偏移系数与第z1个关键点的姿态方向偏移系数的和，记为第z1个关键点的综合姿态偏移程度。
6.根据权利要求5所述一种用于VR电子玩具的姿态识别方法，其特征在于，所述根据目标可预测VR图像中第n个关键点与参考可预测VR图像中对照关键点之间的灰度差异，以及目标可预测VR图像中第n个关键点与参考可预测VR图像中对照关键点之间的距离差异，得到目标可预测VR图像中第n个关键点与每个参考可预测VR图像的姿态偏移因子，包括的具体方法为：
将目标可预测VR图像中第n个关键点的对照关键点的灰度值与目标可预测VR图像中第n个关键点的灰度值的差值的绝对值，记为第n个关键点的第二绝对值；将目标可预测VR图像中所有关键点的第二绝对值的累加和记为第一累加和；将第n个关键点的第二绝对值与第一累加和的比值记为第n个关键点的第一比值；将目标可预测VR图像中第n个关键点的对照关键点与第n个关键点的欧式距离，与第n个关键点的第一比值的乘积记为目标可预测VR图像中第n个关键点与参考可预测VR图像的姿态偏移因子。
7.根据权利要求5所述一种用于VR电子玩具的姿态识别方法，其特征在于，所述根据目标可预测VR图像中第n个关键点与每个参考可预测VR图像的姿态偏移因子，得到每帧VR历史场景灰度图像中每个关键点的姿态偏移系数，包括的具体方法为：
将所有姿态偏移因子的均值记为目标可预测VR图像中第n个关键点的姿态偏移程度，获取目标可预测VR图像中所有关键点的姿态偏移程度，获取所有VR历史场景灰度图像中所有关键点的姿态偏移程度的姿态偏移程度；将所有VR历史场景灰度图像中所有关键点的姿态偏移程度进行线性归一化，将归一化后的每个姿态偏移程度记为姿态偏移系数。
8.根据权利要求5所述一种用于VR电子玩具的姿态识别方法，其特征在于，所述根据第一目标可预测VR图像中第z个关键点与所有参考可预测VR图像的偏移度数，得到每帧VR历史场景灰度图像中每个关键点的姿态方向偏移系数，包括的具体方法为：
将所有偏移度数的均值记为目标可预测VR图像中第z个关键点的偏移度量值，获取目标可预测VR图像中所有关键点的偏移度量值，将所有偏移度量值进行线性归一化，将归一化后的每个偏移度量值记为姿态方向偏移系数。
9.根据权利要求5所述一种用于VR电子玩具的姿态识别方法，其特征在于，所述根据综合姿态偏移程度，从所有关键点中筛选出若干预测关键点，包括的具体方法为：
对于任意一个可预测VR历史场景灰度图像序列中任意一帧可预测VR历史场景灰度图像的第z1个关键点；预设一个综合姿态偏移程度阈值T2，若第z1个关键点的综合姿态偏移程度小于T2，将第z1个关键点记为可预测VR历史场景灰度图像序列的预测关键点。
10.根据权利要求1所述一种用于VR电子玩具的姿态识别方法，其特征在于，所述根据预测关键点进行姿态识别，包括的具体方法为：
使用SIFT尺度不变特征变换算法获取所有可预测VR历史场景灰度图像序列中所有预测关键点的描述子，将所有可预测VR历史场景灰度图像序列中所有预测关键点的描述子输入训练好的神经网络中获取下一帧图像的姿态预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410256177.1A CN117994856A (zh) | 2024-03-06 | 2024-03-06 | 一种用于vr电子玩具的姿态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410256177.1A CN117994856A (zh) | 2024-03-06 | 2024-03-06 | 一种用于vr电子玩具的姿态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117994856A true CN117994856A (zh) | 2024-05-07 |
Family
ID=90895954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410256177.1A Pending CN117994856A (zh) | 2024-03-06 | 2024-03-06 | 一种用于vr电子玩具的姿态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117994856A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593850A (zh) * | 2013-11-26 | 2014-02-19 | 北京航空航天大学深圳研究院 | 一种在cuda平台上基于递归高斯滤波的sift并行化系统及方法 |
| US20210304438A1 (en) * | 2020-09-25 | 2021-09-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Object pose obtaining method, and electronic device |
| CN113822102A (zh) * | 2020-06-19 | 2021-12-21 | 北京达佳互联信息技术有限公司 | 一种姿态估计方法、装置、电子设备及存储介质 |
| KR20220043847A (ko) * | 2020-09-29 | 2022-04-05 | 삼성전자주식회사 | 객체 포즈 추정 방법, 장치, 전자 장치 및 저장 매체 |
| CN115100325A (zh) * | 2022-07-12 | 2022-09-23 | 平安科技（深圳）有限公司 | 视频生成方法、装置、计算机设备及存储介质 |
| CN116469175A (zh) * | 2023-06-20 | 2023-07-21 | 青岛黄海学院 | 一种幼儿教育可视化互动方法及系统 |
| CN117593493A (zh) * | 2023-09-27 | 2024-02-23 | 书行科技(北京)有限公司 | 三维脸部拟合方法、装置、电子设备及存储介质 |
-
2024
- 2024-03-06 CN CN202410256177.1A patent/CN117994856A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593850A (zh) * | 2013-11-26 | 2014-02-19 | 北京航空航天大学深圳研究院 | 一种在cuda平台上基于递归高斯滤波的sift并行化系统及方法 |
| CN113822102A (zh) * | 2020-06-19 | 2021-12-21 | 北京达佳互联信息技术有限公司 | 一种姿态估计方法、装置、电子设备及存储介质 |
| US20210304438A1 (en) * | 2020-09-25 | 2021-09-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Object pose obtaining method, and electronic device |
| KR20220043847A (ko) * | 2020-09-29 | 2022-04-05 | 삼성전자주식회사 | 객체 포즈 추정 방법, 장치, 전자 장치 및 저장 매체 |
| CN115100325A (zh) * | 2022-07-12 | 2022-09-23 | 平安科技（深圳）有限公司 | 视频生成方法、装置、计算机设备及存储介质 |
| CN116469175A (zh) * | 2023-06-20 | 2023-07-21 | 青岛黄海学院 | 一种幼儿教育可视化互动方法及系统 |
| CN117593493A (zh) * | 2023-09-27 | 2024-02-23 | 书行科技(北京)有限公司 | 三维脸部拟合方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778854B (zh) | 基于轨迹和卷积神经网络特征提取的行为识别方法 | |
| CN110619355B (zh) | 基于深度学习的钢铁材料微观组织自动识别方法 | |
| Hu et al. | A multiscale fusion convolutional neural network for plant leaf recognition | |
| CN107341452B (zh) | 基于四元数时空卷积神经网络的人体行为识别方法 | |
| CN108509839A (zh) | 一种基于区域卷积神经网络高效的手势检测识别方法 | |
| CN109325440B (zh) | 人体动作识别方法及系统 | |
| CN112784763A (zh) | 基于局部与整体特征自适应融合的表情识别方法及系统 | |
| CN110991274B (zh) | 一种基于混合高斯模型和神经网络的行人摔倒检测方法 | |
| CN110889865B (zh) | 一种基于局部加权稀疏特征选择的视频目标跟踪方法 | |
| CN109919055B (zh) | 一种基于AdaBoost-KNN的动态人脸情感识别方法 | |
| CN107169117A (zh) | 一种基于自动编码器和dtw的手绘图人体运动检索方法 | |
| CN111401374A (zh) | 基于多任务的模型训练方法、字符识别方法及装置 | |
| CN109934272B (zh) | 一种基于全卷积网络的图像匹配方法 | |
| CN110781962B (zh) | 基于轻量级卷积神经网络的目标检测方法 | |
| CN107358172B (zh) | 一种基于人脸朝向分类的人脸特征点初始化方法 | |
| CN111931630B (zh) | 一种基于人脸特征点数据增强的动态表情识别方法 | |
| CN110008899B (zh) | 一种可见光遥感图像候选目标提取与分类方法 | |
| Flórez et al. | Hand gesture recognition following the dynamics of a topology-preserving network | |
| Gollapudi et al. | Deep learning for computer vision | |
| CN114360067A (zh) | 一种基于深度学习的动态手势识别方法 | |
| CN110633004A (zh) | 基于人体姿态估计的交互方法、装置和系统 | |
| CN114419151A (zh) | 一种基于对比学习的多目标跟踪方法 | |
| CN110503090B (zh) | 基于受限注意力模型的字符检测网络训练方法、字符检测方法和字符检测器 | |
| CN109948662B (zh) | 一种基于K-means和MMD的人脸图像深度聚类方法 | |
| CN111291713A (zh) | 一种基于骨架的手势识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |