CN118051126B - 一种基于虚拟现实的产品页面展示方法及系统 - Google Patents

一种基于虚拟现实的产品页面展示方法及系统

Info

Publication number
CN118051126B
CN118051126B CN202410451876.1A CN202410451876A CN118051126B CN 118051126 B CN118051126 B CN 118051126B CN 202410451876 A CN202410451876 A CN 202410451876A CN 118051126 B CN118051126 B CN 118051126B
Authority
CN
China
Prior art keywords
gesture
preset
static
ges
operable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410451876.1A
Other languages
English (en)
Other versions
CN118051126A (zh
Inventor
刘鹏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Academy of Fine Arts
Original Assignee
Guangzhou Academy of Fine Arts
Filing date
Publication date
Application filed by Guangzhou Academy of Fine Arts filed Critical Guangzhou Academy of Fine Arts
Priority to CN202410451876.1A priority Critical patent/CN118051126B/zh
Publication of CN118051126A publication Critical patent/CN118051126A/zh
Application granted granted Critical
Publication of CN118051126B publication Critical patent/CN118051126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及虚拟现实交互技术领域，具体公开了一种基于虚拟现实的产品页面展示方法及系统，其中方法先为目标产品展示页面中每个可操作模块匹配一个预设静态手势，然后使虚拟现实设备仅检测静态手势，只有在用户执行了相应的预设静态手势时，才开始进行动态手势的检测，进而对目标产品展示页面进行展示变换操作。相比于现有技术，本发明提高了检测手势动作的复杂性，极大概率地避免了将用户无意义的动作错识别为操作动作的情况发生。并且，本发明中在进行静态手势的分配时，遵循两个可操作模块距离越近，二者对应的两个预设静态手势的差别越大的原则，进一步提高了手势识别的准确性，完美地解决了现有技术无法准确判断用户手势动作的问题。

Description

一种基于虚拟现实的产品页面展示方法及系统
技术领域
本发明涉及虚拟现实交互技术领域，具体涉及一种基于虚拟现实的产品页面展示方法及系统。
背景技术
虚拟现实设备是一种技术装置，通过头戴式显示器等设备模拟出虚拟环境，使用户能够沉浸其中并与虚拟环境进行交互。这种设备能够将用户带入虚拟世界，让他们感觉好像身临其境般参与其中，从而为用户带来全新的体验。与传统的二维页面相比，虚拟现实能够提供更加沉浸式的体验，让用户更加直观地了解产品，帮助用户更好地理解产品的特点和优势。此外，虚拟现实还能够为产品展示增添互动性，用户可以通过手势、眼神等方式与产品进行交互，使展示更加生动和具有参与感。
手势识别技术在虚拟现实设备的产品页面展示中扮演着重要的角色。通过手势识别技术，用户可以直接通过手势在虚拟环境中操作产品页面，例如通过手势放大缩小产品图片、滑动手势浏览产品信息等。这种方式不仅增强了用户的参与感和互动性，还使得用户可以更加直观地与产品进行交互，提升了用户体验。同时，手势识别技术还可以使虚拟现实设备更加易于使用，降低了用户的学习成本，促进了虚拟现实技术在产品展示领域的应用和推广。
然而，目前虚拟现实设备中的手势识别技术过于死板，很容易将用户无意义的动作（例如用户调整姿势、整理衣物时产生的手部动作）错认为操作动作，为用户带来困扰。
发明内容
本发明的目的在于提供一种基于虚拟现实的产品页面展示方法及系统，解决以下技术问题：
现有技术无法准确判断用户手势动作的问题。
本发明的目的可以通过以下技术方案实现：
一种基于虚拟现实的产品页面展示方法，包括以下步骤：
获取目标产品展示页面，并提取出目标产品展示页面中的可操作模块；
获取包括多种预设静态手势的预设手势库，基于预设手势库为每个可操作模块匹配一个预设静态手势，并将预设静态手势展示于目标产品页面中；
基于虚拟现实设备持续检测用户执行的静态手势；
若检测到用户执行的静态手势为多个预设静态手势之一，则基于虚拟现实设备开始检测用户执行的动态手势；
根据用户执行的静态手势和用户执行的动态手势，对目标产品展示页面进行展示变换操作；
其中，与可操作模块匹配的预设静态手势满足如下条件：
；
式中，i和j分别表示不同的可操作模块，Gesi和Gesj分别代表可操作模块i匹配的预设静态手势和可操作模块j匹配的预设静态手势，argmax()为求自变量最大值函数，f(Gesi,Gesj)表示预设静态手势Gesi和预设静态手势Gesj的差异，d(i,j)表示可操作模块i和可操作模块j在产品展示页面中的距离。
作为本发明进一步的方案：预设静态手势的数量大于或等于可操作模块的数量；所述获取包括多种预设静态手势的预设手势库，基于预设手势库为每个可操作模块匹配一个预设静态手势，并将预设静态手势展示于目标产品页面中，包括：
获取预设手势库，并根据预设手势库得到每个预设静态手势的特征数据；
获取每个可操作模块在目标产品展示页面中的位置坐标；
根据每个预设静态手势的特征数据及每个可操作模块的位置坐标，以可操作模块和预设静态手势的匹配方式作为粒子，基于粒子群算法得到可操作模块和预设静态手势的最优匹配结果；
根据最优匹配结果，为每个可操作模块匹配对应的预设静态手势并将匹配的预设静态手势显示于目标产品展示页面中。
作为本发明进一步的方案：所述根据每个预设静态手势的特征数据及每个可操作模块的位置坐标，以可操作模块和预设静态手势的匹配方式作为粒子，基于粒子群算法得到可操作模块和预设静态手势的最优匹配结果，包括：
随机生成多组可操作模块和预设静态手势的匹配关系，建立多个粒子，得到初始粒子群；
基于预设适应度函数，采用粒子群算法根据初始粒子群得到最优粒子，并根据最优粒子得到可操作模块和预设静态手势的最优匹配结果；
其中，预设适应度函数为：
；
；
；
其中，F表示一个粒子的适应度，F值越大代表粒子适应度越好，n为可操作模块的总数量，A为非0实数。
作为本发明进一步的方案：所述基于虚拟现实设备持续检测用户执行的静态手势，包括：
基于虚拟现实设备，获取目标静态图像；
对目标静态图像进行关键点提取，得到多个手势关键点；
基于多个手势关键点在图像中的位置坐标，建立关键点坐标序列，作为目标静态图像的目标特征向量；
将目标特征向量和多个预设的静态手势特征向量模板进行匹配，得到匹配结果；
根据匹配结果，得到用户执行的静态手势。
作为本发明进一步的方案：所述f(Gesi,Gesj)具体为：
；
其中，s为预设特征向量中关键点的编号，m为预设特征向量中关键点的总数，Cs(Gesi)表示预设静态手势Gesi对应的预设特征向量中第s个关键点的坐标,Cs(Gesj)表示预设静态手势Gesj对应的预设特征向量中第s个关键点的坐标,dist(Cs(Gesi),Cs(Gesj))表示坐标Cs(Gesi)和坐标Cs(Gesj)之间的欧氏距离。
作为本发明进一步的方案：所述基于虚拟现实设备开始检测用户执行的动态手势，包括：
基于虚拟现实设备，获取多个目标图像，得到目标图像序列；
对目标图像进行特征提取，得到每个目标图像中的手势特征数据；
根据目标图像序列中每个目标图像的手势特征数据的变化关系，得到目标图像序列的动态手势特征数据；
将目标特征向量和多个预设的动态手势特征向量模板进行匹配，得到匹配结果。
作为本发明进一步的方案：所述根据用户执行的静态手势和用户执行的动态手势，对目标产品展示页面进行展示变换操作，包括：
根据用户执行的静态手势，得到目标可操作模块；
根据用户执行的动态手势，得到目标可操作模块的操作种类和操作幅度；
基于目标可操作模块的操作种类和操作幅度,对目标产品展示页面进行展示变换操作。
本发明还提供一种基于虚拟现实的产品页面展示系统，包括：
预处理模块，用于获取目标产品展示页面，并提取出目标产品展示页面中的可操作模块；
静态手势分配模块，用于获取包括多种预设静态手势的预设手势库，基于预设手势库为每个可操作模块匹配一个预设静态手势，并将预设静态手势展示于目标产品页面中；
静态手势检测模块，用于基于虚拟现实设备持续检测用户执行的静态手势；
动态手势检测模块，用于若检测到用户执行的静态手势为多个预设静态手势之一，则基于虚拟现实设备开始检测用户执行的动态手势；
页面展示变换模块，用于根据用户执行的静态手势和用户执行的动态手势，对目标产品展示页面进行展示变换操作；
其中，与可操作模块匹配的预设静态手势满足如下条件：
；
式中，i和j分别表示不同的可操作模块，Gesi和Gesj分别代表可操作模块i匹配的预设静态手势和可操作模块j匹配的预设静态手势，argmax()为求自变量最大值函数，f(Gesi,Gesj)表示预设静态手势Gesi和预设静态手势Gesj的差异，d(i,j)表示可操作模块i和可操作模块j在产品展示页面中的距离。
本发明的有益效果：
本发明提供一种基于虚拟现实的产品页面展示方法及系统，其中方法先为目标产品展示页面中每个可操作模块匹配一个预设静态手势，然后使虚拟现实设备仅检测静态手势，只有在用户执行了相应的预设静态手势时，才开始进行动态手势的检测，进而对目标产品展示页面进行展示变换操作。
相比于现有技术，本发明通过先检测静态手势，再检测动态手势的方法提高了检测手势动作的复杂性，即仅有在用户有意做出静态手势时，才会开始进行动态手势的检测，从而极大概率地避免了将用户无意义的动作错识别为操作动作的情况发生。并且，本发明中在进行静态手势的分配时，遵循两个可操作模块距离越近，二者对应的两个预设静态手势的差别越大的原则，进一步提高了手势识别的准确性，完美地解决了现有技术无法准确判断用户手势动作的问题。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明基于虚拟现实的产品页面展示方法的方法流程图；
图2是图1中步骤S102的方法流程图；
图3为图1中步骤S103的方法流程图；
图4为本发明基于虚拟现实的产品页面展示系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种基于虚拟现实的产品页面展示方法，包括以下步骤：
S101、获取目标产品展示页面，并提取出目标产品展示页面中的可操作模块；
S102、获取包括多种预设静态手势的预设手势库，基于预设手势库为每个可操作模块匹配一个预设静态手势，并将预设静态手势展示于目标产品页面中；
S103、基于虚拟现实设备持续检测用户执行的静态手势；
S104、若检测到用户执行的静态手势为多个预设静态手势之一，则基于虚拟现实设备开始检测用户执行的动态手势；
S105、根据用户执行的静态手势和用户执行的动态手势，对目标产品展示页面进行展示变换操作；
其中，与可操作模块匹配的预设静态手势满足如下条件：
；
式中，i和j分别表示不同的可操作模块，Gesi和Gesj分别代表可操作模块i匹配的预设静态手势和可操作模块j匹配的预设静态手势，argmax()为求自变量最大值函数，f(Gesi,Gesj)表示预设静态手势Gesi和预设静态手势Gesj的差异，d(i,j)表示可操作模块i和可操作模块j在产品展示页面中的距离。
上述公式的意义在于，约束预设静态手势的分配，使两个可操作模块距离越近，二者对应的两个预设静态手势的差别越大，从而使得后续的动态手势可区分性越高（即发现错误的能力越强），以保证手势识别的准确性。
需要说明的是，本发明中可操作模块是指产品展示页面中的一些可操作的功能模块，其具体为页面中的可见的实体模块，例如某一个视窗，某一个按钮、产品图片、产品模型等。静态手势是指人手维持某一特定姿势的状态，例如竖起大拇指，比数字，握拳等姿势状态。而动态手势则是指人手进行的动作，例如挥手、摆动等动作。
本发明提供一种基于虚拟现实的产品页面展示方法及系统，其中方法先为目标产品展示页面中每个可操作模块匹配一个预设静态手势，然后使虚拟现实设备仅检测静态手势，只有在用户执行了相应的预设静态手势时，才开始进行动态手势的检测，进而对目标产品展示页面进行展示变换操作。
相比于现有技术，本发明通过先检测静态手势，再检测动态手势的方法提高了检测手势动作的复杂性，即仅有在用户有意做出静态手势时，才会开始进行动态手势的检测，从而极大概率地避免了将用户无意义的动作错识别为操作动作的情况发生。并且，本发明中在进行静态手势的分配时，遵循两个可操作模块距离越远，二者对应的两个预设静态手势的差别越大的原则，进一步提高了手势识别的准确性，完美地解决了现有技术无法准确判断用户手势动作的问题。
进一步地结合图2所示，在一个优选的实施例中，预设静态手势的数量大于或等于可操作模块的数量；上述步骤S102、获取包括多种预设静态手势的预设手势库，基于预设手势库为每个可操作模块匹配一个预设静态手势，并将预设静态手势展示于目标产品页面中，具体包括：
S201、获取预设手势库，并根据预设手势库得到每个预设静态手势的特征数据；
S202、获取每个可操作模块在目标产品展示页面中的位置坐标；
S203、根据每个预设静态手势的特征数据及每个可操作模块的位置坐标，以可操作模块和预设静态手势的匹配方式作为粒子，基于粒子群算法得到可操作模块和预设静态手势的最优匹配结果；
S204、根据最优匹配结果，为每个可操作模块匹配对应的预设静态手势并将匹配的预设静态手势显示于目标产品展示页面中。
预设静态手势可能众多，并且受两个可操作模块距离越近，二者对应的两个预设静态手势的差别越大这个约束，所以可以看出，本发明分配预设静态手势这一过程为典型的具备高度非线性、高维度和复杂搜索空间的寻优问题，因此特别适合采用粒子群算法，达到兼顾效率和准确性的效果。实际中也可以采用其他现有方式进行元素和静态手势的分配，如穷举法。可以理解的是，粒子群算法以及相关的粒子、适应度等术语均为本领域技术人员能够理解的现有技术，因此本文对此不做过多说明。
进一步的，在一个优选的实施例中，上述步骤S203、根据每个预设静态手势的特征数据及每个可操作模块的位置坐标，以可操作模块和预设静态手势的匹配方式作为粒子，基于粒子群算法得到可操作模块和预设静态手势的最优匹配结果，具体包括：
随机生成多组可操作模块和预设静态手势的匹配关系，建立多个粒子，得到初始粒子群；
基于预设适应度函数，采用粒子群算法根据初始粒子群得到最优粒子，并根据最优粒子得到可操作模块和预设静态手势的最优匹配结果；
其中，预设适应度函数为：
；
；
；
其中，F表示一个粒子的适应度，F值越大代表粒子适应度越好，n为可操作模块的总数量，A为非0实数。
上述适应度函数和前文中约束预设静态手势分配的公式极为相似，并且完美符合该约束要求，具备很好的可解释性，方便构建程序等实施过程。
进一步的，结合图3所示，在一个优选的实施例中，上述步骤S103、基于虚拟现实设备持续检测用户执行的静态手势，具体包括：
S301、基于虚拟现实设备，获取目标静态图像；
S302、对目标静态图像进行关键点提取，得到多个手势关键点；
S303、基于多个手势关键点在图像中的位置坐标，建立关键点坐标序列，作为目标静态图像的目标特征向量；
S304、将目标特征向量和多个预设的静态手势特征向量模板进行匹配，得到匹配结果；
S305、根据匹配结果，得到用户执行的静态手势。
上述过程中，手势关键点指的是指尖、关节等能够识别的人手上的特征点位。以手势关键点在目标静态图像位置为描述静态手势的目标特征向量，精准性确保了对手势姿态和动作的准确捕捉，为后续的分析和识别提供了可靠的基础。
进一步地，在一个优选的实施例中，基于上述目标特征向量的编码方式，所述函数f(Gesi,Gesj)的具体形式为：
；
其中，s为预设特征向量中关键点的编号，m为预设特征向量中关键点的总数，Cs(Gesi)表示预设静态手势Gesi对应的预设特征向量中第s个关键点的坐标,Cs(Gesj)表示预设静态手势Gesj对应的预设特征向量中第s个关键点的坐标,dist(Cs(Gesi),Cs(Gesj))表示坐标Cs(Gesi)和坐标Cs(Gesj)之间的欧氏距离。
上式为基于上述目标特征向量编码方式的一种优选的计算静态手势差异的表达方式，此种方式最为科学准确，并且在完成静态手势识别后进一步利用目标特征向量本身进行差异分析，实现数据复用，减少额外的处理步骤，提高效率。实际中，两个静态手势的差异也可以通过该手势在图像中的像素占比等其他指标体现。
进一步的，在一个优选的实施例中，所述基于虚拟现实设备开始检测用户执行的动态手势，具体包括：
基于虚拟现实设备，获取多个目标图像，得到目标图像序列；
对目标图像进行特征提取，得到每个目标图像中的手势特征数据；
根据目标图像序列中每个目标图像的手势特征数据的变化关系，得到目标图像序列的动态手势特征数据；
将目标特征向量和多个预设的动态手势特征向量模板进行匹配，得到匹配结果。
进一步的，在一个优选的实施例中，所述根据用户执行的静态手势和用户执行的动态手势，对目标产品展示页面进行展示变换操作，具体包括：
根据用户执行的静态手势，得到目标可操作模块；
根据用户执行的动态手势，得到目标可操作模块的操作种类和操作幅度；
基于目标可操作模块的操作种类和操作幅度,对目标产品展示页面进行展示变换操作。
结合图4所示，本发明还提供一种基于虚拟现实的产品页面展示系统，包括：
预处理模块410，用于获取目标产品展示页面，并提取出目标产品展示页面中的可操作模块；
静态手势分配模块420，用于获取包括多种预设静态手势的预设手势库，基于预设手势库为每个可操作模块匹配一个预设静态手势，并将预设静态手势展示于目标产品页面中；
静态手势检测模块430，用于基于虚拟现实设备持续检测用户执行的静态手势；
动态手势检测模块440，用于若检测到用户执行的静态手势为多个预设静态手势之一，则基于虚拟现实设备开始检测用户执行的动态手势；
页面展示变换模块450，用于根据用户执行的静态手势和用户执行的动态手势，对目标产品展示页面进行展示变换操作；
其中，与可操作模块匹配的预设静态手势满足如下条件：
；
式中，i和j分别表示不同的可操作模块，Gesi和Gesj分别代表可操作模块i匹配的预设静态手势和可操作模块j匹配的预设静态手势，argmax()为求自变量最大值函数，f(Gesi,Gesj)表示预设静态手势Gesi和预设静态手势Gesj的差异，d(i,j)表示可操作模块i和可操作模块j在产品展示页面中的距离。
本发明提供一种基于虚拟现实的产品页面展示方法及系统，其中方法先为目标产品展示页面中每个可操作模块匹配一个预设静态手势，然后使虚拟现实设备仅检测静态手势，只有在用户执行了相应的预设静态手势时，才开始进行动态手势的检测，进而对目标产品展示页面进行展示变换操作。相比于现有技术，本发明通过先检测静态手势，再检测动态手势的方法提高了检测手势动作的复杂性，即仅有在用户有意做出静态手势时，才会开始进行动态手势的检测，从而极大概率地避免了将用户无意义的动作错识别为操作动作的情况发生。并且，本发明中在进行静态手势的分配时，遵循两个可操作模块距离越近，二者对应的两个预设静态手势的差别越大的原则，进一步提高了手势识别的准确性，完美地解决了现有技术无法准确判断用户手势动作的问题。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (5)

1.一种基于虚拟现实的产品页面展示方法，其特征在于，包括以下步骤：
获取目标产品展示页面，并提取出目标产品展示页面中的可操作模块；
获取包括多种预设静态手势的预设手势库，基于预设手势库为每个可操作模块匹配一个预设静态手势，并将预设静态手势展示于目标产品页面中；
基于虚拟现实设备持续检测用户执行的静态手势；
若检测到用户执行的静态手势为多个预设静态手势之一，则基于虚拟现实设备开始检测用户执行的动态手势；
根据用户执行的静态手势和用户执行的动态手势，对目标产品展示页面进行展示变换操作；
其中，与可操作模块匹配的预设静态手势满足如下条件：
；
式中，i和j分别表示不同的可操作模块，Gesi和Gesj分别代表可操作模块i匹配的预设静态手势和可操作模块j匹配的预设静态手势，argmax()为求自变量最大值函数，f(Gesi,Gesj)表示预设静态手势Gesi和预设静态手势Gesj的差异，d(i,j)表示可操作模块i和可操作模块j在产品展示页面中的距离；
其中，预设静态手势的数量大于或等于可操作模块的数量；
其中，获取包括多种预设静态手势的预设手势库，基于预设手势库为每个可操作模块匹配一个预设静态手势，并将预设静态手势展示于目标产品页面中，包括：
获取预设手势库，并根据预设手势库得到每个预设静态手势的特征数据；
获取每个可操作模块在目标产品展示页面中的位置坐标；
根据每个预设静态手势的特征数据及每个可操作模块的位置坐标，以可操作模块和预设静态手势的匹配方式作为粒子，基于粒子群算法得到可操作模块和预设静态手势的最优匹配结果；
根据最优匹配结果，为每个可操作模块匹配对应的预设静态手势并将匹配的预设静态手势显示于目标产品展示页面中；
其中，根据每个预设静态手势的特征数据及每个可操作模块的位置坐标，以可操作模块和预设静态手势的匹配方式作为粒子，基于粒子群算法得到可操作模块和预设静态手势的最优匹配结果，包括：
随机生成多组可操作模块和预设静态手势的匹配关系，建立多个粒子，得到初始粒子群；
基于预设适应度函数，采用粒子群算法根据初始粒子群得到最优粒子，并根据最优粒子得到可操作模块和预设静态手势的最优匹配结果；
其中，预设适应度函数为：
；
；
；
其中，F表示一个粒子的适应度，F值越大代表粒子适应度越好，n为可操作模块的总数量，A为非0实数；
所述f(Gesi,Gesj)具体为：
；
其中，s为预设特征向量中关键点的编号，m为预设特征向量中关键点的总数，Cs(Gesi)表示预设静态手势Gesi对应的预设特征向量中第s个关键点的坐标,Cs(Gesj)表示预设静态手势Gesj对应的预设特征向量中第s个关键点的坐标,dist(Cs(Gesi),Cs(Gesj))表示坐标Cs(Gesi)和坐标Cs(Gesj)之间的欧氏距离。
2.根据权利要求1所述的基于虚拟现实的产品页面展示方法，其特征在于，所述基于虚拟现实设备持续检测用户执行的静态手势，包括：
基于虚拟现实设备，获取目标静态图像；
对目标静态图像进行关键点提取，得到多个手势关键点；
基于多个手势关键点在图像中的位置坐标，建立关键点坐标序列，作为目标静态图像的目标特征向量；
将目标特征向量和多个预设的静态手势特征向量模板进行匹配，得到匹配结果；
根据匹配结果，得到用户执行的静态手势。
3.根据权利要求1所述的基于虚拟现实的产品页面展示方法，其特征在于，所述基于虚拟现实设备开始检测用户执行的动态手势，包括：
基于虚拟现实设备，获取多个目标图像，得到目标图像序列；
对目标图像进行特征提取，得到每个目标图像中的手势特征数据；
根据目标图像序列中每个目标图像的手势特征数据的变化关系，得到目标图像序列的动态手势特征数据；
将目标特征向量和多个预设的动态手势特征向量模板进行匹配，得到匹配结果。
4.根据权利要求3所述的基于虚拟现实的产品页面展示方法，其特征在于，所述根据用户执行的静态手势和用户执行的动态手势，对目标产品展示页面进行展示变换操作，包括：
根据用户执行的静态手势，得到目标可操作模块；
根据用户执行的动态手势，得到目标可操作模块的操作种类和操作幅度；
基于目标可操作模块的操作种类和操作幅度,对目标产品展示页面进行展示变换操作。
5.一种基于虚拟现实的产品页面展示系统，其特征在于，包括：
预处理模块，用于获取目标产品展示页面，并提取出目标产品展示页面中的可操作模块；
静态手势分配模块，用于获取包括多种预设静态手势的预设手势库，基于预设手势库为每个可操作模块匹配一个预设静态手势，并将预设静态手势展示于目标产品页面中；
静态手势检测模块，用于基于虚拟现实设备持续检测用户执行的静态手势；
动态手势检测模块，用于若检测到用户执行的静态手势为多个预设静态手势之一，则基于虚拟现实设备开始检测用户执行的动态手势；
页面展示变换模块，用于根据用户执行的静态手势和用户执行的动态手势，对目标产品展示页面进行展示变换操作；
其中，与可操作模块匹配的预设静态手势满足如下条件：
；
式中，i和j分别表示不同的可操作模块，Gesi和Gesj分别代表可操作模块i匹配的预设静态手势和可操作模块j匹配的预设静态手势，argmax()为求自变量最大值函数，f(Gesi,Gesj)表示预设静态手势Gesi和预设静态手势Gesj的差异，d(i,j)表示可操作模块i和可操作模块j在产品展示页面中的距离；
其中，预设静态手势的数量大于或等于可操作模块的数量；
其中，获取包括多种预设静态手势的预设手势库，基于预设手势库为每个可操作模块匹配一个预设静态手势，并将预设静态手势展示于目标产品页面中，包括：
获取预设手势库，并根据预设手势库得到每个预设静态手势的特征数据；
获取每个可操作模块在目标产品展示页面中的位置坐标；
根据每个预设静态手势的特征数据及每个可操作模块的位置坐标，以可操作模块和预设静态手势的匹配方式作为粒子，基于粒子群算法得到可操作模块和预设静态手势的最优匹配结果；
根据最优匹配结果，为每个可操作模块匹配对应的预设静态手势并将匹配的预设静态手势显示于目标产品展示页面中；
其中，根据每个预设静态手势的特征数据及每个可操作模块的位置坐标，以可操作模块和预设静态手势的匹配方式作为粒子，基于粒子群算法得到可操作模块和预设静态手势的最优匹配结果，包括：
随机生成多组可操作模块和预设静态手势的匹配关系，建立多个粒子，得到初始粒子群；
基于预设适应度函数，采用粒子群算法根据初始粒子群得到最优粒子，并根据最优粒子得到可操作模块和预设静态手势的最优匹配结果；
其中，预设适应度函数为：
；
；
；
其中，F表示一个粒子的适应度，F值越大代表粒子适应度越好，n为可操作模块的总数量，A为非0实数；
所述f(Gesi,Gesj)具体为：
；
其中，s为预设特征向量中关键点的编号，m为预设特征向量中关键点的总数，Cs(Gesi)表示预设静态手势Gesi对应的预设特征向量中第s个关键点的坐标,Cs(Gesj)表示预设静态手势Gesj对应的预设特征向量中第s个关键点的坐标,dist(Cs(Gesi),Cs(Gesj))表示坐标Cs(Gesi)和坐标Cs(Gesj)之间的欧氏距离。
CN202410451876.1A 2024-04-16 一种基于虚拟现实的产品页面展示方法及系统 Active CN118051126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410451876.1A CN118051126B (zh) 2024-04-16 一种基于虚拟现实的产品页面展示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410451876.1A CN118051126B (zh) 2024-04-16 一种基于虚拟现实的产品页面展示方法及系统

Publications (2)

Publication Number Publication Date
CN118051126A CN118051126A (zh) 2024-05-17
CN118051126B true CN118051126B (zh) 2024-07-12

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408760A (zh) * 2014-10-28 2015-03-11 燕山大学 一种基于双目视觉的高精度虚拟装配系统算法
CN114463839A (zh) * 2021-12-30 2022-05-10 浙江大华技术股份有限公司 一种手势识别的方法、装置、电子装置和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408760A (zh) * 2014-10-28 2015-03-11 燕山大学 一种基于双目视觉的高精度虚拟装配系统算法
CN114463839A (zh) * 2021-12-30 2022-05-10 浙江大华技术股份有限公司 一种手势识别的方法、装置、电子装置和存储介质

Similar Documents

Publication Publication Date Title
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
US10394334B2 (en) Gesture-based control system
Dominio et al. Combining multiple depth-based descriptors for hand gesture recognition
Sun et al. Magichand: Interact with iot devices in augmented reality environment
US9122353B2 (en) Kind of multi-touch input device
US20140132515A1 (en) System and method for inputting user commands to a processor
CN108304762B (zh) 一种人体姿态匹配方法及其设备、存储介质、终端
WO2018000519A1 (zh) 一种基于投影的用户交互图标的交互控制方法及系统
Yin et al. Toward natural interaction in the real world: Real-time gesture recognition
JP2020067999A (ja) ジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法および関係した装置
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
Xu et al. Hand action detection from ego-centric depth sequences with error-correcting Hough transform
CN114170407B (zh) 输入设备的模型映射方法、装置、设备和存储介质
CN105094344B (zh) 固定终端控制方法及装置
WO2021258862A1 (zh) 打字方法及装置、设备、存储介质
CN118051126B (zh) 一种基于虚拟现实的产品页面展示方法及系统
Abdallah et al. An overview of gesture recognition
CN115061577B (zh) 手部投影交互方法、系统及存储介质
WO2020124442A1 (zh) 推送方法及相关产品
CN118051126A (zh) 一种基于虚拟现实的产品页面展示方法及系统
Annachhatre et al. Virtual Mouse Using Hand Gesture Recognition-A Systematic Literature Review
CN115713808A (zh) 一种基于深度学习的手势识别系统
Maleki et al. Intelligent visual mouse system based on hand pose trajectory recognition in video sequences
Kumar et al. Real Time Air-Written Mathematical Expression Recognition for Children’s Enhanced Learning
KR20190024309A (ko) 가상공간을 위한 비접촉식 손가락 입력 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant