CN117055740A - 一种空中无感交互技术的数字屏幕眼镜及其使用方法 - Google Patents
一种空中无感交互技术的数字屏幕眼镜及其使用方法 Download PDFInfo
- Publication number
- CN117055740A CN117055740A CN202311323527.3A CN202311323527A CN117055740A CN 117055740 A CN117055740 A CN 117055740A CN 202311323527 A CN202311323527 A CN 202311323527A CN 117055740 A CN117055740 A CN 117055740A
- Authority
- CN
- China
- Prior art keywords
- glasses
- digital screen
- camera
- gesture
- screen glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 39
- 230000003993 interaction Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000005516 engineering process Methods 0.000 title claims abstract description 11
- 230000001939 inductive effect Effects 0.000 title claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 241000203475 Neopanax arboreus Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种空中无感交互技术的数字屏幕眼镜及其使用方法，属于人机交互技术领域，其结构包括眼镜主体、摄像头，摄像头位于所述眼镜主体上，所述眼镜主体内腔设有运算芯片，所述摄像头与所述运算芯片连接，所述运算芯片包括运算模块与残差模块，所述运算模块包括卷积运算、批标准化以及激活函数，在进行静态基础手势识别时，通过运算模块进行运算的同时，还融入了通道注意力模块与空间注意力模块，在保持轻量化和高速性的基础上，大幅提高了识别精度，动态手势识别时，通过IOU交并比计算法进行运算的同时进行区域大小的划分，在进行动态识别的同时，保证了手势动作的扩展性。
Description
技术领域
本发明是一种空中无感交互技术的数字屏幕眼镜及其使用方法，属于人机交互技术领域。
背景技术
无感交互即人机交互、人机互动，是指人与计算机之间使用某种对话语言，以一定的交互方式，无感交互可应用于手机、电脑、眼镜、头盔等一系列设备上，其中以数字眼镜最为常见，现有的数字眼镜大多只能进行简单的人机交互，并且在进行动态识别时效果较差，精准度不够，因此针对上述情况，提出一种空中无感交互技术的数字屏幕眼镜。
发明内容
针对现有技术存在的不足，本发明目的是提供一种空中无感交互技术的数字屏幕眼镜及其使用方法，以解决现有的问题。
为了实现上述目的，本发明是通过如下的技术方案来实现：一种空中无感交互技术的数字屏幕眼镜，其结构包括眼镜主体、摄像头，摄像头位于所述眼镜主体上，所述眼镜主体内腔设有运算芯片，所述摄像头与所述运算芯片连接，所述运算芯片包括运算模块与残差模块，所述运算模块包括卷积运算、批标准化以及激活函数，所述运算芯片通过IOU交并比计算法进行手势移动的计算，移动区域的大小公式表达为：，其中选框的宽度为/>，移动区域的宽度和高度分别为Wm和Hm，眼镜镜片区域的宽度和高度分别为Wsc和Hsc，摄像头捕捉区域的宽度和高度分别为/>和/>，Dm和Dca分别为移动区域覆盖的大小位置和摄像头区域覆盖的大小位置，/>为Dm和Dca的比例因子，其计算公式为：，所述残差模块包括第一残差与第二残差，所述第二残差上设有用于提高特征提取效果的通道注意力模块与空间注意力模块。
进一步地，所述卷积运算用于提取目标特征，所述卷积运算的运算公式为：，其中i与j带表卷积核的两个位置参数，/>表示位置上原图像内的数据，/>表示卷积核内的数据，/>代表该位置的权重，m代表卷积核大小，卷积层通过多次运算进一步获得更加丰富的特征信息，得到更加优化的特征图。
进一步地，所述批标准化用于保证模型的非线性表达能力，所述批标准化的运算公式为：，其中E[q]是每一批训练数据神经元q的平均值，/>是每一批训练数据神经元q一个标准差。
进一步地，所述激活函数为所述批标准化上运行的函数，其表达式为：，其中/>为算式的参数，t为神经元输入，f(t)为神经元输出，批标准化本质上就是利用优化方差大小和均值位置，使得新的分布更切合数据的真实分布，保证模型的非线性表达能力。
还提供一种空中无感交互技术的数字屏幕眼镜的使用方法：
S1、通过事先在运算芯片内录入交互的手势；
S2、戴上眼镜主体，并在对应的区域内与摄像头前比划出对应的手势；
S3、摄像头对做出的手势进行拍摄，并由运算芯片进行特征的提取与运算；
S4、运算芯片将运算出的结果进行输出并与录入的交互手势进行对应，从而实现对应的交互动作；
S5、如采用眼镜主体进行阅读时，通过提前录入手势为由右向左平移的手势为翻到下一页效果，这时通过做出此手势可实现翻页效果。
本发明的有益效果是：
在进行静态基础手势识别时，通过运算模块进行运算的同时，还融入了通道注意力模块与空间注意力模块，在保持轻量化和高速性的基础上，大幅提高了识别精度；
动态手势识别时，通过IOU交并比计算法进行运算的同时进行区域大小的划分，在进行动态识别的同时，保证了手势动作的扩展性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一种空中无感交互技术的数字屏幕眼镜及其使用方法的主体结构示意图；
图2为本发明一种空中无感交互技术的数字屏幕眼镜及其使用方法的运算芯片结构示意图；
图3为本发明一种空中无感交互技术的数字屏幕眼镜及其使用方法的残差模块结构示意图。
图中：眼镜主体1、摄像头2。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
请参阅图1-图3，本发明提供一种空中无感交互技术的数字屏幕眼镜技术方案：其结构包括眼镜主体1、摄像头2，摄像头2位于所述眼镜主体1上，所述眼镜主体1内腔设有运算芯片，所述摄像头2与所述运算芯片连接，所述运算芯片包括运算模块与残差模块，所述运算模块包括卷积运算、批标准化以及激活函数，所述卷积运算用于提取目标特征，所述卷积运算的运算公式为：，所述批标准化用于保证模型的非线性表达能力，所述批标准化的运算公式为：/>，所述激活函数为所述批标准化上运行的函数，其表达式为：/>，所述残差模块包括第一残差与第二残差，所述第二残差上设有用于提高特征提取效果的通道注意力模块与空间注意力模块，所述运算芯片通过IOU交并比计算法进行手势移动的计算，移动区域的大小公式表达为：，/>为Dm和Dca的比例因子，其计算公式为：/>。
例如，戴上眼镜主体1，并在对应的区域内与摄像头2前比划出对应的手势，摄像头2对做出的手势进行拍摄，并由运算芯片进行特征的提取与运算，运算芯片将运算出的结果进行输出并与录入的交互手势进行对应，从而实现对应的交互动作；
如：将展开的五指手势，记为，将一种手势第一次在画面中出现记为/>，将手部进行水平移动记为/>，将预换页动作记为/>，将换页动作记为/>，则换页公式表达为：，换页动作的判定条件为：当五指手势的选框/>中心与初始的五指手势选框A相对角度/>小于30°，位移距离/>大于选框A宽度/>的0.6倍，当A和A1中心横坐标/>时为上一页动作，反之小于0时为下一页动作。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (5)
1.一种空中无感交互技术的数字屏幕眼镜，其结构包括眼镜主体（1）、摄像头（2），摄像头（2）位于所述眼镜主体（1）上，其特征在于：所述眼镜主体（1）内腔设有运算芯片，所述摄像头（2）与所述运算芯片连接，所述运算芯片包括运算模块与残差模块，所述运算模块包括卷积运算、批标准化以及激活函数，所述运算芯片通过IOU交并比计算法进行手势移动的计算，移动区域的大小公式表达为：，其中选框的宽度为/>，移动区域的宽度和高度分别为Wm和Hm，眼镜镜片区域的宽度和高度分别为Wsc和Hsc，摄像头捕捉区域的宽度和高度分别为/>和/>，Dm和Dca分别为移动区域覆盖的大小位置和摄像头区域覆盖的大小位置，/>为Dm和Dca的比例因子，其计算公式为：/>，所述残差模块包括第一残差与第二残差，所述第二残差上设有用于提高特征提取效果的通道注意力模块与空间注意力模块。
2.根据权利要求1所述的一种空中无感交互技术的数字屏幕眼镜，其特征在于：所述卷积运算用于提取目标特征，所述卷积运算的运算公式为：，其中i与j带表卷积核的两个位置参数，/>表示位置上原图像内的数据，/>表示卷积核内的数据，代表该位置的权重，m代表卷积核大小。
3.根据权利要求1所述的一种空中无感交互技术的数字屏幕眼镜，其特征在于：所述批标准化用于保证模型的非线性表达能力，所述批标准化的运算公式为：，其中E[q]是每一批训练数据神经元q的平均值，/>是每一批训练数据神经元q一个标准差。
4.根据权利要求1所述的一种空中无感交互技术的数字屏幕眼镜，其特征在于：所述激活函数为所述批标准化上运行的函数，其表达式为：，其中/>为算式的参数，t为神经元输入，f(t)为神经元输出。
5.一种空中无感交互技术的数字屏幕眼镜的使用方法，其特征在于：使用如权利要求1-4任一所述的一种空中无感交互技术的数字屏幕眼镜，包括如下步骤：
S1、通过事先在运算芯片内录入交互的手势；
S2、戴上眼镜主体（1），并在对应的区域内与摄像头（2）前比划出对应的手势；
S3、摄像头（2）对做出的手势进行拍摄，并由运算芯片进行特征的提取与运算；
S4、运算芯片将运算出的结果进行输出并与录入的交互手势进行对应，从而实现对应的交互动作；
S5、如采用眼镜主体（1）进行阅读时，通过提前录入手势为由右向左平移的手势为翻到下一页效果，这时通过做出此手势实现翻页效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311323527.3A CN117055740A (zh) | 2023-10-13 | 2023-10-13 | 一种空中无感交互技术的数字屏幕眼镜及其使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311323527.3A CN117055740A (zh) | 2023-10-13 | 2023-10-13 | 一种空中无感交互技术的数字屏幕眼镜及其使用方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117055740A true CN117055740A (zh) | 2023-11-14 |
Family
ID=88669633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311323527.3A Pending CN117055740A (zh) | 2023-10-13 | 2023-10-13 | 一种空中无感交互技术的数字屏幕眼镜及其使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117055740A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226443A (zh) * | 2013-04-02 | 2013-07-31 | 百度在线网络技术（北京）有限公司 | 智能眼镜的控制方法、装置和智能眼镜 |
| WO2023185243A1 (zh) * | 2022-03-29 | 2023-10-05 | 河南工业大学 | 基于注意力调制上下文空间信息的表情识别方法 |
-
2023
- 2023-10-13 CN CN202311323527.3A patent/CN117055740A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226443A (zh) * | 2013-04-02 | 2013-07-31 | 百度在线网络技术（北京）有限公司 | 智能眼镜的控制方法、装置和智能眼镜 |
| WO2023185243A1 (zh) * | 2022-03-29 | 2023-10-05 | 河南工业大学 | 基于注意力调制上下文空间信息的表情识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 丛玉华等: "基于计算机视觉手势识别的人机交互技术研究", 《兵器装备工程学报》, vol. 43, no. 1, pages 153 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 | |
| CN105389539B (zh) | 一种基于深度数据的三维手势姿态估计方法及系统 | |
| CN102662476B (zh) | 一种视线估计方法 | |
| CN102332095B (zh) | 一种人脸运动跟踪方法和系统以及一种增强现实方法 | |
| CN107831900B (zh) | 一种眼控鼠标的人机交互方法及系统 | |
| CN106056092A (zh) | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 | |
| CN107958479A (zh) | 一种移动端3d人脸增强现实实现方法 | |
| CN110163806A (zh) | 一种图像处理方法、装置以及存储介质 | |
| CN113160285B (zh) | 一种基于局部深度图像关键性的点云匹配方法 | |
| Fang et al. | A novel video-based system for in-air signature verification | |
| Yang et al. | MGC-VSLAM: A meshing-based and geometric constraint VSLAM for dynamic indoor environments | |
| CN106204658A (zh) | 运动图像跟踪方法及装置 | |
| CN108305321B (zh) | 一种基于双目彩色成像系统的立体人手3d骨架模型实时重建方法和装置 | |
| CN110458001A (zh) | 一种基于注意力机制的卷积神经网络视线估计方法及系统 | |
| CN111209811A (zh) | 一种实时检测眼球注意力位置的方法及系统 | |
| CN109859299A (zh) | 人像图片处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107403167A (zh) | 手势识别方法及装置 | |
| CN111950514A (zh) | 一种基于深度摄像头的空中手写识别系统及方法 | |
| CN111860142A (zh) | 一种面向投影增强的基于机器视觉的手势交互方法 | |
| Perra et al. | Adaptive eye-camera calibration for head-worn devices | |
| CN108629301A (zh) | 一种基于运动边界稠密采样和运动梯度直方图的人体动作识别方法 | |
| CN115760893A (zh) | 一种基于核相关滤波算法的单雾滴粒径和速度测量方法 | |
| CN108268858A (zh) | 一种高鲁棒的实时视线检测方法 | |
| Geetha et al. | Dynamic gesture recognition of Indian sign language considering local motion of hand using spatial location of Key Maximum Curvature Points | |
| CN113643329B (zh) | 一种基于孪生注意力网络的在线更新目标跟踪方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |