CN220795804U - 一种用于辅助vr或ar的手势识别交互设备 - Google Patents

一种用于辅助vr或ar的手势识别交互设备 Download PDF

Info

Publication number
CN220795804U
CN220795804U CN202322648972.9U CN202322648972U CN220795804U CN 220795804 U CN220795804 U CN 220795804U CN 202322648972 U CN202322648972 U CN 202322648972U CN 220795804 U CN220795804 U CN 220795804U
Authority
CN
China
Prior art keywords
module
voltage
resistor
processor
chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202322648972.9U
Other languages
English (en)
Inventor
程艳
姚宇肖
姚楠楠
何慧娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Normal University
Original Assignee
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Normal University filed Critical Jiangxi Normal University
Priority to CN202322648972.9U priority Critical patent/CN220795804U/zh
Application granted granted Critical
Publication of CN220795804U publication Critical patent/CN220795804U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本实用新型公开了一种用于辅助VR或AR的手势识别交互设备,包括处理器模块、供电模块、RGB摄像头、通信模块和提示模块;处理器模块分别和供电模块、RGB摄像头、通信模块和提示模块电连接;其中RGB摄像头与处理器模块采用扩展USB口连接,通信模块和提示模块与处理器模块直连连接。本实用新型的有益效果是:该设备可以辅助VR/AR设备识别用户的手势,使用户能够通过手势进行与虚拟现实和增强现实内容的交互。这种交互方式可以更加自然和直观地与虚拟世界进行互动,用户可以避免使用传统的控制器或键盘来操作虚拟场景,这将大大增强用户在VR/AR环境中的沉浸感和体验,使其更加身临其境。

Description

一种用于辅助VR或AR的手势识别交互设备
技术领域
本实用新型涉及人机交互技术领域,具体是一种用于辅助VR或AR的手势识别交互设备。
背景技术
随着虚拟现实技术(VR)和增强现实技术(AR)的快速发展,人们对于更自然、智能的交互方式提出了更高的期望。然而,传统的VR/AR设备存在一些限制和问题。人们通过键盘,鼠标进行操作大大限制了人机交互的灵活性和准确性。随着技术的发展,手势识别作为一种直接、自然、沉浸式的交互方式,越来越受到人们的关注。特别是在VR/AR中实现手势交互,人们可以通过自己的手势去达到一定的简洁操作,但是目前VR/AR设备实现手势交互精确度有待上升,并且多样性手势不够,所以本技术旨在结合RGB摄像机和集成芯片,实现更加准确的手势识别,辅助VR/AR设备实现高精度和多样化的手势识别与交互,该设备可以实现更加自然、直观的手部交互,使用户能够在虚拟环境中自由操作和交互,通过自己的裸手进行交互,提高使用者的沉浸性。
本技术提出是为了优化VR/AR设备的一些缺陷,对于利用手套或手持控制器进行手势识别的VR/AR设备来说,由于受手套或手持控制器中传感器精度和算法复杂性的限制,手势识别的精度很难往上提升,我们提出了一种用于辅助VR或AR的手势识别交互设备可以为此类VR/AR设备提供基于摄像头手部姿态识别的信息,以提升手势识别的准确性。
由于传统的基于摄像头的手势识别设备更加注重对于数据的处理和分析,忽略了数据采集过程中,设备对环境的抗干扰能力,有些设备也过于复杂,操作起来也很繁琐,并不适合直接作用于VR/AR设备,而传统的对于辅助手势识别VR/AR设备,设备体积和功能过于庞大,而且最关键的是,并没有综合考虑两种信息,即来自手套或手持控制器的以及来自摄像头设备的手势识别数据,本质上来看还是对单一一种信息的处理。
关于中国专利号CN206224383,其缺陷为:第一当作用于VR/AR设备时,利用摄像头采集的数据对光线比较敏感,当环境光线突然变暗时,该技术没有任何处理措施,第二,该技术通过串口的方式输出数据,在辅助VR/AR设备的场景下,需要外接USB接口式的通讯设备与VR/AR设备连接,即外接USB无线网卡或者其他无线设备来通信,在与VR/AR设备的通信的情境下,必然受到一些限制如性能受限、延迟、连接稳定性和安全性等问题;第三,在辅助VR/AR设备,使用者难免双手会离开摄像头的检测范围,该技术未采取任何措施。
关于中国专利号CN207924626U,其缺陷为:当辅助于VR/AR设备时,该技术过于庞大和复杂,成本过于昂贵,体积限制,所能使用的空间也受到限制。
实用新型内容
本实用新型的目的在于提供一种用于辅助VR或AR的手势识别交互设备,该手势识别交互设备的设计注重在辅助VR/AR场景中提供精准的手势识别,并能够预测用户的交互意图,从而优化用户体验。通过此设备,用户能够更加自然地与虚拟环境进行互动,从而实现更加沉浸式的VR/AR体验。
本实用新型采用的技术方案如下:一种用于辅助VR或AR的手势识别交互设备,包括处理器模块、供电模块、RGB摄像头、通信模块、提示模块和自动补光模块;处理器模块分别和供电模块、RGB摄像头、通信模块、提示模块和自动补光模块电连接;
其中RGB摄像头与处理器模块采用扩展USB口连接,通信模块、提示模块和自动补光模块与处理器模块直连连接;
处理器模块分为处理器芯片和电源管理部分,处理器芯片采用BCM2835芯片,电源管理部分分为12V电压转3V3电压和12V电压转5V电压,其中12V电压转3V3电压给处理器模块的BCM2835芯片和通信模块供电,12V电压转5V电压给RGB摄像头和提示模块供电;
RGB摄像头与处理器模块采用扩展USB口连接的具体连接关系是:12V电压转5V电压和RGB摄像头连接,RGB摄像头的发送信号线连接电阻R1,电阻R1连接电容C1,电容C1连接USB转串口芯片,其中电阻R1与地连接,电容C1与12V电压转3V3电压连接,RGB摄像头的接收信号线直接与USB转串口芯片连接;
USB转串口芯片的发送信号线与电阻R2连接,电阻R2分别与12V电压转3V3电压和处理器芯片连接,USB转串口芯片的接收信号线连接电阻R3,电阻R3分别与12V电压转3V3电压和处理器芯片连接。
进一步的,供电模块为12v直流电源,供电模块与处理器模块采用直流电源供电。
进一步的,RGB摄像头采用型号为WHEELTEC RGB相机C100。
进一步的,通信模块的型号为ESP32,通信模块与VR/VR设备通过WIFI连接。
进一步的,通信模块和处理器模块直连连接,具体连接关系是:处理器芯片的发送信号线与电阻R6连接,电阻R6分别与12V电压转3V3电压和通信模块连接,处理器芯片的接收信号线连接电阻R7,电阻R7与12V电压转3V3电压和通信模块连接。
进一步的,提示模块包括一个蜂鸣器和三个LED灯,LED灯分别为LED0、LED1和LED2;提示模块与处理器模块直连连接,具体连接关系是:
处理器芯片连接电阻R4,电阻R4连接第二三极管NPN2,第二三极管NPN2分别与12V电压转5V电压和蜂鸣器连接;
处理器芯片连接电阻R5,电阻R5连接第三三极管NPN3,第三三极管NPN3分别与12V电压转5V电压和LED灯的LED2连接;
在USB转串口芯片与处理器芯片连接的发送信号线处引出一条支路,支路连接第一三极管NPN1,第一三极管NPN1分别与12V电压转5V电压和LED灯的LED0连接;
在处理器芯片与通信模块连接的发送信号线处引出一条支路,支路连接第四三极管NPN4,第四三极管NPN4分别与12V电压转5V电压和LED灯的LED1连接。
进一步的,自动补光模块包括可变电阻RH,光敏电阻LDR,放大器AD8226,第四三极管NPN4及补光模块,补光模块为若干LED灯,自动补光模块和处理器模块直连连接,具体连接关系是:
12V电压转5V电压与可变电阻RH一端连接,可变电阻RH一端与放大器AD8226的正极连接,放大器AD8226的正极连接光敏电阻LDR一端,光敏电阻LDR另一端连接放大器AD8226的负极,放大器AD8226的负极接地;放大器AD8226的输出端与第四三极管NPN4连接,第四三极管NPN4分别与12V电压转5V电压和补光模块连接。由于采用的是无线WIFI通信,与VR/AR设备在物理上是相互独立的,在辅助VR/AR设备的过程中,并不会给VR/AR设备增加过多格外的负担。
本实用新型的有益效果是:
(1)该设备可以辅助VR/AR设备识别用户的手势,使用户能够通过手势进行与虚拟现实和增强现实内容的交互。这种交互方式可以更加自然和直观地与虚拟世界进行互动,用户可以避免使用传统的控制器或键盘来操作虚拟场景,这将大大增强用户在VR/AR环境中的沉浸感和体验,使其更加身临其境。
(2)传统的VR/AR设备可能需要使用控制器或其他外部设备来进行操作,而这种手势识别交互设备使用户无需额外设备,只需通过简单的手势即可进行操作,解放双手,使用户更加自由的移动和交互,简化了设备,降低了设备的制造成本,从而提升了操作的便捷性和舒适性,该设备适用于多样化的应用场景。
(3)相比于CN206224383,本技术会通过自动补光模块,补充光照,用来抵抗环境的突然变化,通过LED以及蜂鸣器来提醒使用者,以解决这种处境;相比于CN207924626U,本技术采用无线WIFI通信,与VR/AR设备在物理上是相互独立的,在辅助VR/AR设备的过程中,并不会给VR/AR设备增加过多格外的负担。
附图说明
图1是本实用新型的结构示意图;
图2是本实用新型的电源管理部分中12V转3V3电路图;
图3是本实用新型的电源管理部分中12V转5V电路图;
图4是本实用新型的连接电路示意图。
在图中,1为处理器模块,2为供电模块,3为RGB摄像头,4为通信模块,5为提示模块,6为自动补光模块。
具体实施方式
下面结合附图1-图4来说明本实用新型,本实用新型提供了一种用于辅助VR或AR的手势识别交互设备,包括处理器模块1、供电模块2、RGB摄像头3、通信模块4、提示模块5和自动补光模块6;处理器模块1分别和供电模块2、RGB摄像头3、通信模块4、提示模块5和自动补光模块6电连接;其中RGB摄像头3与处理器模块1采用扩展USB口连接,通信模块4、提示模块5和自动补光模块6与处理器模块1直连连接;通过以上模块的连接可以组成一种用于辅助VR或AR的手势识别交互设备。
本实用新型的处理器模块中的处理器芯片采用BCM2835芯片,BCM2835芯片采用ARM1176JZF-S核心和ARM-cotexA53架构,BCM2835具有适中的计算能力,适用于轻量级的计算任务和多媒体应用;BCM2835芯片内集成了一个Broadcom VideoCore IV GPU,用于图形渲染和加速图像处理,BCM2835芯片支持多种多媒体格式和编解码器,可以处理音频和视频数据;在应用方面,BCM2835芯片可以用于其他嵌入式系统的设计中,支持多种接口,同时还支持多种音频、视频和图像处理功能。
进一步的,处理器模块中电源管理部分负责为各个模块提供合适的电压,分为两块,一块是将12V转为3.3V,12V直流电源供电将12V电压转3.3V电压是将直流带能源转换为与BCM2835处理器模块处理器适配的直流电源,具体见图2,我们通过图2可以引出标号为VCC3V3的标准3V3供电电压,一块是将12V电压转为5V电压,12V直流电源供电将12V电压转5V电压是将直流带能源转换为5V电压,具体见图3,我们通过图3可以引出标号为VCC5V的标准5V供电电压。
进一步的,处理器模块主要实时接收RGB摄像头采集的使用者的手部图像,通过现有公开算法对图像数据实时处理,进行分析和手势识别,同时将处理完的数据信息通过通信模块和VR/AR设备进行通信传输,辅助其他设备进行更加精确的手势识别。
进一步,RGB摄像头与处理器模块扩展USB连接,RGB摄像头采用型号为WHEELTECRGB相机C100,用于采集使用者真实世界的双手运动图像,在一定空间内对人的双手进行拍摄,通过USB口传输图像给处理器模块。
进一步,通信模块与处理器模块扩展USB口连接,用于接受处理器处理完的数据,并回传到上位机或者VR/AR设备进行辅助手势识别。
进一步,所述提示模块包括一个蜂鸣器和三个LED灯,其中蜂鸣器和用于提示双手放置在RGB摄像头范围内的LED灯先要接入电阻降压,之后再接入NPN型三极管,由NPN型三极管激活这两种工作电路,用于提示数据发送状态的LED灯,直接接入NPN型三极管,由NPN型三极管实现对这两个LED灯的控制,用于显示手势识别交互设备的运行流程,以及对于使用者手部不在RGB摄像头拍摄范围内进行提示,通过蜂鸣器提示用户的手要放置在RGB摄像头范围内。
进一步,如图4所示,RGB摄像头先连接USB转串口芯片,RGB摄像头是5V供电,USB转串口芯片是3V3供电,加入电阻R1和电容C1去适当降压,以保障数据传输的稳定,在一具体的实施例中,RGB摄像头采用型号为WHEELTEC RGB相机C100,能够高清成像,分辨率为1080P,帧率为25fps,用于采集使用者真实世界的双手运动图像,在一定空间内对人的双手进行拍摄,USB转串口芯片型号为CP2102,由USB转串口芯片将适配后的数据发送给处理器模块,电阻R2,电阻R3起到上拉电压的作用,另外在接收信号处并联第一三极管NPN1,由第一三极管NPN1控制LED0的开关,实现的效果即为,当摄像头的数据经由USB转串口芯片发送到处理器模块时,LED0会亮起,提示现在处理器模块正在接收数据。之后处理器模块经过对数据的分析和处理后会将数据发送到通信模块,最后由通信模块完成数据的输出,电阻R6和电阻R7用于上拉电压,在数据发送处并联第四三极管NPN4,用来控制LED1,实现的效果即为,当处理器模块开始发送数据时,LED1亮起表明处理器模块正在发送数据。处理器模块通过连接电阻R4降压之后,再通过第二三极管NPN2控制蜂鸣器的工作状态,同样的,对于LED2来说,处理器模块也是先通过电阻R5降压之后,再连接第三三极管NPN3用以控制LED2的工作状态,实现的效果即为,当处理器模块检测到使用者的双手离开RGB摄像机捕捉范围内时,激活以上两条电路,蜂鸣器鸣响,LED2红灯闪烁。
本实用新型自动补光模块包括可变电阻RH,光敏电阻LDR,放大器AD8226,第四三极管NPN4及补光模块,补光模块为若干LED灯,自动补光模块和处理器模块直连连接,具体连接关系是:12V电压转5V电压与可变电阻RH一端连接,可变电阻RH一端与放大器AD8226的正极连接,放大器AD8226的正极连接光敏电阻LDR一端,光敏电阻LDR另一端连接放大器AD8226的负极,放大器AD8226的负极接地;放大器AD8226的输出端与第四三极管NPN4连接,第四三极管NPN4分别与12V电压转5V电压和补光模块连接。
本实用新型首先通过可变电阻RH来调节阈值,其次,当光照强度低于一定程度,光敏电阻LDR阻值变大,放大器AD8226两端的电压差变大,当电压差大于某一阈值的时候,补光模块开始工作,用于补充光照,一定程度上提高设备的抗干扰性。
本实用新型将所有器件组装好后,首先通过WIFI连接到VR/AR设备,采集的RGB摄像头数据经过处理器芯片处理后,由处理器芯片发送至通信模块,由通信模块发送到VR/AR设备;VR/AR设备收到这些数据后用以辅助由手套或者手持控制器采集的手势识别数据,从而提升手势识别的精度。另一方面,当处理器芯片检测到使用者双手不在RGB摄像头检测范围内时,会有蜂鸣器及LED提示使用者,除此之外,提示模块也会提示数据的处理流程。当光线突然变暗,本实用新型自动补光模块会工作,用来应对这一突发状况,保障RGB摄像头对于手势数据平稳采集。以上对本实用新型及其实施方式进行了描述,这种描述没有限制性,附图中所示的也只是本实用新型的实施方式之一,实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示,在不脱离本实用新型创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本实用新型的保护范围。本实用新型专利的保护范围不包括对软件和算法的改进。

Claims (7)

1.一种用于辅助VR或AR的手势识别交互设备,其特征在于:包括处理器模块、供电模块、RGB摄像头、通信模块、提示模块和自动补光模块;处理器模块分别和供电模块、RGB摄像头、通信模块、提示模块和自动补光模块电连接;
其中RGB摄像头与处理器模块采用扩展USB口连接,通信模块、提示模块和自动补光模块与处理器模块直连连接;
处理器模块分为处理器芯片和电源管理部分,处理器芯片采用BCM2835芯片,电源管理部分分为12V电压转3V3电压和12V电压转5V电压,其中12V电压转3V3电压给处理器模块的BCM2835芯片和通信模块供电,12V电压转5V电压给RGB摄像头和提示模块供电;
RGB摄像头与处理器模块采用扩展USB口连接的具体连接关系是:12V电压转5V电压和RGB摄像头连接,RGB摄像头的发送信号线连接电阻R1,电阻R1连接电容C1,电容C1连接USB转串口芯片,其中电阻R1与地连接,电容C1与12V电压转3V3电压连接,RGB摄像头的接收信号线直接与USB转串口芯片连接;
USB转串口芯片的发送信号线与电阻R2连接,电阻R2分别与12V电压转3V3电压和处理器芯片连接,USB转串口芯片的接收信号线连接电阻R3,电阻R3分别与12V电压转3V3电压和处理器芯片连接。
2.根据权利要求1所述的一种用于辅助VR或AR的手势识别交互设备,其特征在于:供电模块为12v直流电源,供电模块与处理器模块采用直流电源供电。
3.根据权利要求2所述的一种用于辅助VR或AR的手势识别交互设备,其特征在于:RGB摄像头采用型号为WHEELTEC RGB相机C100。
4.根据权利要求3所述的一种用于辅助VR或AR的手势识别交互设备,其特征在于:通信模块的型号为ESP32,通信模块与VR/VR设备通过WIFI连接。
5.根据权利要求4所述的一种用于辅助VR或AR的手势识别交互设备,其特征在于:
通信模块和处理器模块直连连接,具体连接关系是:处理器芯片的发送信号线与电阻R6连接,电阻R6分别与12V电压转3V3电压和通信模块连接,处理器芯片的接收信号线连接电阻R7,电阻R7与12V电压转3V3电压和通信模块连接。
6.根据权利要求5所述的一种用于辅助VR或AR的手势识别交互设备,其特征在于:
提示模块包括一个蜂鸣器和三个LED灯,LED灯分别为LED0、LED1和LED2;提示模块与处理器模块直连连接,具体连接关系是:
处理器芯片连接电阻R4,电阻R4连接第二三极管NPN2,第二三极管NPN2分别与12V电压转5V电压和蜂鸣器连接;
处理器芯片连接电阻R5,电阻R5连接第三三极管NPN3,第三三极管NPN3分别与12V电压转5V电压和LED灯的LED2连接;
在USB转串口芯片与处理器芯片连接的发送信号线处引出一条支路,支路连接第一三极管NPN1,第一三极管NPN1分别与12V电压转5V电压和LED灯的LED0连接;
在处理器芯片与通信模块连接的发送信号线处引出一条支路,支路连接第四三极管NPN4,第四三极管NPN4分别与12V电压转5V电压和LED灯的LED1连接。
7.根据权利要求6所述的一种用于辅助VR或AR的手势识别交互设备,其特征在于:
自动补光模块包括可变电阻RH,光敏电阻LDR,放大器AD8226,第四三极管NPN4及补光模块,补光模块为若干LED灯,自动补光模块和处理器模块直连连接,具体连接关系是:
12V电压转5V电压与可变电阻RH一端连接,可变电阻RH一端与放大器AD8226的正极连接,放大器AD8226的正极连接光敏电阻LDR一端,光敏电阻LDR另一端连接放大器AD8226的负极,放大器AD8226的负极接地;放大器AD8226的输出端与第四三极管NPN4连接,第四三极管NPN4分别与12V电压转5V电压和补光模块连接。
CN202322648972.9U 2023-09-28 2023-09-28 一种用于辅助vr或ar的手势识别交互设备 Active CN220795804U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202322648972.9U CN220795804U (zh) 2023-09-28 2023-09-28 一种用于辅助vr或ar的手势识别交互设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202322648972.9U CN220795804U (zh) 2023-09-28 2023-09-28 一种用于辅助vr或ar的手势识别交互设备

Publications (1)

Publication Number Publication Date
CN220795804U true CN220795804U (zh) 2024-04-16

Family

ID=90661425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202322648972.9U Active CN220795804U (zh) 2023-09-28 2023-09-28 一种用于辅助vr或ar的手势识别交互设备

Country Status (1)

Country Link
CN (1) CN220795804U (zh)

Similar Documents

Publication Publication Date Title
CN106774868B (zh) 一种无线演示装置
CN110347266B (zh) 一种基于机器视觉的空间手势控制装置
US20220044043A1 (en) Integrated circuit and sensor data processing method
CN207139820U (zh) 一种智能机器人
CN106707512B (zh) 一种低功耗智能ar系统及智能ar眼镜
CN110569737A (zh) 一种人脸识别深度学习方法及加速人脸识别摄像机
CN107527025A (zh) 一种人脸识别智能监控系统
CN106027860B (zh) 一种用于微型摄像头接口的重映射电路及应用方法
CN106375638A (zh) 一种视觉追踪监控与自动照明控制系统
CN220795804U (zh) 一种用于辅助vr或ar的手势识别交互设备
CN113160260B (zh) 一种头眼双通道智能人机交互系统及运行方法
WO2021078145A1 (zh) 基于活体感应运动趋势检测的无线传感人脸识别装置
CN110069101A (zh) 一种穿戴式计算设备和一种人机交互方法
CN210573822U (zh) 一种人脸识别模组
CN206023934U (zh) 一种移动终端的全景拍摄系统
CN211180764U (zh) 头戴式风格迁移设备
CN106535046A (zh) 一种手柄
CN215642742U (zh) 多模态生物识别模块与多模态生物识别设备
CN107081769A (zh) 一种机器人
CN218099788U (zh) 显示装置以及显示系统
CN206212381U (zh) 基于虚拟现实设备使用状态的室内照明控制系统
CN112764349A (zh) 晾衣架控制方法、晾衣架、系统及存储介质
CN215814080U (zh) 一种头眼双通道智能人机交互系统
CN203070205U (zh) 一种基于手势识别的输入设备
CN206365014U (zh) 一种手柄

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant