CN106598211A - 一种基于多摄像头的可穿戴式头盔的手势交互系统及识别方法 - Google Patents
一种基于多摄像头的可穿戴式头盔的手势交互系统及识别方法 Download PDFInfo
- Publication number
- CN106598211A CN106598211A CN201610861302.7A CN201610861302A CN106598211A CN 106598211 A CN106598211 A CN 106598211A CN 201610861302 A CN201610861302 A CN 201610861302A CN 106598211 A CN106598211 A CN 106598211A
- Authority
- CN
- China
- Prior art keywords
- photographic head
- gesture
- processor
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000009471 action Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 claims abstract description 4
- 230000002452 interceptive effect Effects 0.000 claims description 31
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种基于多摄像头的可穿戴式头盔的手势交互系统，包括穿戴头盔，还包括：信号采集发送模块，所述信号采集发送模块设在所述穿戴头盔上，包括多个摄像头和无线发送模块，所述多个摄像头分别采集图像，所述摄像头与所述无线发送模块连接；处理器，所述无线发送模块与所述处理器通讯连接，所述处理器处理图像得到手势动作信息；交互模块，所述交互模块与所述处理器连接，所述交互模块学习不同手势动作，并内联不同动作。本发明交互系统通过信号采集发送模块、处理器和交互模块分别用于原始照片的采集、图像处理与手势信息形成、手势的交互，具有用户手势识别的准确度高的优点，大大提高用户的体验感。
Description
技术领域
本发明涉及虚拟现实的手势交互的技术领域，尤其涉及一种基于多摄像头的可穿戴式头盔的手势交互系统及识别方法。
背景技术
手势交互是利用计算机图形学等技术识别人的肢体语言，并转化为命令来操作机器设备。手势交互是继鼠标、键盘和触屏之后新的人机交互方式。近些年，研究人员一直在研究基于肢体语言的交互系统，主要以手势识别为主。随着计算机图形学等科学的发展，手势识别率得到提升，可以实时捕捉手臂和手指的运动轨迹，技术推动了人机交互的发展。早期的手势交互技术主要为穿戴手套，由于此类穿戴手套融合了诸多功能，导致佩戴不适、累赘。之后出现了采用摄像头作为输入设备，使得分析手势的3D运动轨迹成为可能。
中国专利申请号为201521066563.7，公开了一种显示设备，该显示设备包括：基于虚拟现实技术的显示部件。其中，所述显示部件包括分镜盒子，左眼摄像头和右眼摄像头，设置于所述显示部件中背向显示方向的一侧。其中所述左眼摄像头与所述右眼摄像头的间距为人体双眼间距。使得在基于VR技术的显示部件中添加了仿照人眼间距放置的左眼摄像头与所述右眼摄像头，从而可以通过添加的摄像头获取到现实场景，为实现增强现实技术与虚拟现实技术的结合提供了基础。此文献仅仅提供了一项采用摄像头采集图像的技术案，不同的技术方案，后续形成的手势轨迹存在较大差异。因此，如何对采集到的图像进行处理，获取准确率高、实时性更好的手势动作信息，是VR技术需要攻克的难点之一。
发明内容
本发明的目的在于克服现有技术的缺点，提供一种基于多摄像头的可穿戴式头盔的手势交互系统。
解决现有技术中手势运动轨迹提取准确度不高，而导致用户体验感不强的问题。
为解决上述技术问题，本发明采用了以下技术措施：
一种基于多摄像头的可穿戴式头盔的手势交互系统，包括穿戴头盔，还包括：
信号采集发送模块，所述信号采集发送模块设在所述穿戴头盔上，包括多个摄像头和无线发送模块，所述多个摄像头分别采集图像，所述摄像头与所述无线发送模块连接；
处理器，所述无线发送模块与所述处理器通讯连接，所述处理器处理图像并形成手势运动轨迹；
交互模块，所述交互模块与所述处理器连接，所述交互模块学习不同手势动作，并内联不同动作。
还通过以下技术措施进一步完善：
作为进一步改进，所述多个摄像头间隔设置，所述多个摄像头位于同一平面内。
作为进一步改进，所述摄像头可转动或可移动的设在所述穿戴头盔上。
作为进一步改进，包括三个摄像头，所述三个摄像头呈等腰三角形分布，其中两个摄像头位于同一水平线上，另一个摄像头位于所述水平线上方。
另外，还提供了一种基于多摄像头的可穿戴式头盔的手势识别方法，使用上述中的交互系统，所述交互系统包括两个摄像头，包括步骤：
S1，获取摄像头各自的内部参数及畸变参数，以及摄像头之间的三维平移参数与旋转参数；
S2，所述摄像头拍摄照片，并通过无线发送模块将照片发送至处理器；
S3，所述处理器去除照片中噪声信号，获得图像后做增强处理；
S4，对图像进行分割与特征点的提取；
S5，所述处理器通过多个图像进行立体校正与立体匹配；
S6，所述处理器获取深度信息和三维信息；
S7，所述交互模块进行手势识别与学习。
还通过以下技术措施进一步完善：
作为进一步改进，步骤5中，对两个摄像头所对应的图像的畸变进行校正，使得两幅图像的对极线恰好在同一水平线上，再进行图像之间的对应像点的匹配。
作为进一步改进，步骤6中，经过立体匹配后，建立投影模型，重新获得步骤4中图像的深度信息和三维信息。
作为进一步改进，步骤7中，所述交互模块通过识别算法对不同手势的信息进行处理，建立手势数据库，然后所述交互模块通过学习算法，最后所述交互模块将手势与虚拟情景建立内联。
与现有技术相比较，本发明具有以下优点：
1、通过多个摄像头来采集用户的手势动作，为手势三维信息的提取提供足够的图片信息，对后续手势动作的识别准确度提供保证。同时，采用无线防模块来发送原始照片，省去线缆传送的累赘，与VR体验设备的简化需求相匹配。
2、交互系统通过信号采集发送模块、处理器和交互模块分别用于原始照片的采集、图像处理与手势信息形成、手势的交互，具有用户手势识别的准确度高的优点，大大提高用户的体验感。
3、交互方法中，通过处理器去除照片中噪声信息，有效踢出与用户手势动作无关的特征，减少干扰信息，有助于提高手势动作信息的准确度。
附图说明
附图1是用户体验手势交互设备的示意图；
附图2是附图1中穿戴头盔的示意图。
具体实施方式
下面结合附图1和附图2，与具体实施方式对本发明作进一步详细描述。
一种基于多摄像头11的可穿戴式头盔的手势交互系统，包括穿戴头盔1、信号采集发送模块、处理器2和交互模块，所述信号采集发送模块设在所述穿戴头盔1上。
所述信号采集发送模块包括多个摄像头11和无线发送模块，所述多个摄像头11分别采集图像。采用摄像头11作为输入设备，用户的手不需要和实体设备接触，增强体验的舒适性。通过多个摄像头11来采集用户的手势动作，为手势三维信息的提取提供足够的图片信息，对后续手势动作的识别准确度提供保证。所述摄像头11与所述无线发送模块连接，省去线缆传送的累赘，与VR体验设备的简化需求相匹配。
处理器2，所述无线发送模块与所述处理器2通讯连接，所述处理器2处理图像并形成手势运动轨迹，所述处理器2是用户手势动作信息提取的关键部件。交互模块，所述交互模块与所述处理器2连接，所述交互模块学习不同手势动作，并内联不同动作。
优选的，所述多个摄像头11间隔设置，所述多个摄像头11位于同一平面内，由于用户的手势动作主要位于用户面部前方，因此将多个摄像头11分布一个平面上，足已获取所需的照片，具有便于分布设置摄像头11的优点。所述摄像头11可转动或可移动的设在所述穿戴头盔1上，能够采集不同角度的照片，当然也可以根据不同的体验场景，将摄像头11调节至相应合适的角度与位置。
更优选的，包括三个摄像头11，所述三个摄像头11呈等腰三角形分布，其中两个摄像头11位于同一水平线上，这两个摄像头11能够分布采集左右两侧区域的照片，使得采集到的照片所覆盖的宽度足够宽。另一个摄像头11位于所述水平线上方，将其中一个摄像头11的高度拉高，使得采集的照片的维度与其它两个摄像头11的维度绝对不雷同，提供更多的手势动作信息。
另外，还提供了一种基于多摄像头11的可穿戴式头盔的手势识别方法，使用上述中的交互系统，所述交互系统包括两个摄像头11，包括步骤：
S1，获取摄像头各自的内部参数及畸变参数，以及摄像头之间的三维平移参数与旋转参数；
S2，所述摄像头拍摄照片，并通过无线发送模块将照片发送至处理器；
S3，所述处理器去除照片中噪声信号，获得图像后做增强处理；
S4，对图像进行分割与特征点的提取；
S5，所述处理器通过多个图像进行立体校正与立体匹配；
S6，所述处理器获取深度信息和三维信息；
S7，所述交互模块进行手势识别与学习。
步骤2中，所述两个摄像头11需同时触发，保证两个摄像头11采集的是同一个手势动作的照片。
步骤3，所述处理器2需要将一些背景或五官肢体的图像特征剔除，如采用颜色、形状等特征加以判定并自动剔除。获得相关度较强的图像后，对图像的清晰度等进行增强处理，便于后续的特征提取。
步骤4中，如可以提取手肘、手臂、手掌以及各个手指的特征点，可根据不同的体验场景提取最有意义的特征点。
步骤5中，对两个摄像头11所对应的图像的畸变进行校正，使得两幅图像的对极线恰好在同一水平线上，在进行图像之间的对应像点的匹配。
步骤6中，经过立体匹配后，建立投影模型，重新获得步骤4中图像的深度信息和三维信息。
步骤7中，所述交互模块通过识别算法对不同手势的信息进行处理，建立手势数据库。然后所述交互模块通过学习算法，提高手势识别的准确度。最后所述交互模块将手势与虚拟情景建立内联，提高相似动作的识别度。
并将上述方法应用到对应的交互操作软件设计中，开发更准确、更丰富的手势交互设备。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (8)
1.一种基于多摄像头的可穿戴式头盔的手势交互系统，包括穿戴头盔，其特征在于，还包括：
信号采集发送模块，所述信号采集发送模块设在所述穿戴头盔上，包括多个摄像头和无线发送模块，所述多个摄像头分别采集图像，所述摄像头与所述无线发送模块连接；
处理器，所述无线发送模块与所述处理器通讯连接，所述处理器处理图像得到手势动作信息；
交互模块，所述交互模块与所述处理器连接，所述交互模块学习不同手势动作，并内联不同动作。
2.根据权利要求1所述的基于多摄像头的可穿戴式头盔的手势交互系统，其特征在于，所述多个摄像头间隔设置，所述多个摄像头位于同一平面内。
3.根据权利要求1所述的基于多摄像头的可穿戴式头盔的手势交互系统，其特征在于，所述摄像头可转动或可移动的设在所述穿戴头盔上。
4.根据权利要求3所述的基于多摄像头的可穿戴式头盔的手势交互系统，其特征在于，包括三个摄像头，所述三个摄像头呈等腰三角形分布，其中两个摄像头位于同一水平线上，另一个摄像头位于所述水平线上方。
5.一种基于多摄像头的可穿戴式头盔的手势识别方法，其特征在于，使用权利要求1中的交互系统，所述交互系统包括两个摄像头，包括步骤：
S1，获取摄像头各自的内部参数及畸变参数，以及摄像头之间的三维平移参数与旋转参数；
S2，所述摄像头拍摄照片，并通过无线发送模块将照片发送至处理器；
S3，所述处理器去除照片中噪声信号，获得图像后做增强处理；
S4，对图像进行分割与特征点的提取；
S5，所述处理器通过多个图像进行立体校正与立体匹配；
S6，所述处理器获取深度信息和三维信息；
S7，所述交互模块进行手势识别与学习。
6.根据权利要求5所述的基于多摄像头的可穿戴式头盔的手势识别方法，其特征在于，步骤5中，对两个摄像头所对应的图像的畸变进行校正，使得两幅图像的对极线恰好在同一水平线上，再进行图像之间的对应像点的匹配。
7.根据权利要求5所述的基于多摄像头的可穿戴式头盔的手势识别方法，其特征在于，步骤6中，经过立体匹配后，建立投影模型，重新获得步骤4中图像的深度信息和三维信息。
8.根据权利要求5所述的基于多摄像头的可穿戴式头盔的手势识别方法，其特征在于，步骤7中，所述交互模块通过识别算法对不同手势的信息进行处理，建立手势数据库，然后所述交互模块通过学习算法，最后所述交互模块将手势与虚拟情景建立内联。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610861302.7A CN106598211A (zh) | 2016-09-29 | 2016-09-29 | 一种基于多摄像头的可穿戴式头盔的手势交互系统及识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610861302.7A CN106598211A (zh) | 2016-09-29 | 2016-09-29 | 一种基于多摄像头的可穿戴式头盔的手势交互系统及识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106598211A true CN106598211A (zh) | 2017-04-26 |
Family
ID=58556176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610861302.7A Pending CN106598211A (zh) | 2016-09-29 | 2016-09-29 | 一种基于多摄像头的可穿戴式头盔的手势交互系统及识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106598211A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107101632A (zh) * | 2017-06-19 | 2017-08-29 | 北京视境技术有限公司 | 基于多摄像头与多标识物的空间定位装置及方法 |
| WO2019018992A1 (zh) * | 2017-07-24 | 2019-01-31 | 深圳市柔宇科技有限公司 | 手势识别方法、头部可穿戴设备和手势识别装置 |
| CN110007466A (zh) * | 2019-04-30 | 2019-07-12 | 歌尔科技有限公司 | 一种ar眼镜及人机交互方法、系统、设备、计算机介质 |
| CN111399656A (zh) * | 2020-03-31 | 2020-07-10 | 兰州城市学院 | 一种可穿戴式计算机 |
| CN112130661A (zh) * | 2020-08-21 | 2020-12-25 | 浙江大丰实业股份有限公司 | 一种可旋转花开树互动系统及互动方法 |
| CN113946220A (zh) * | 2021-10-26 | 2022-01-18 | 合肥工业大学 | 一种穿戴式手势交互系统 |
| WO2022199264A1 (en) * | 2021-03-22 | 2022-09-29 | International Business Machines Corporation | Multi-user interactive ad shopping using wearable device gestures |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102681651A (zh) * | 2011-03-07 | 2012-09-19 | 刘广松 | 一种用户交互系统和方法 |
| CN102812417A (zh) * | 2010-02-02 | 2012-12-05 | 寇平公司 | 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器 |
| CN105045398A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
| CN105068649A (zh) * | 2015-08-12 | 2015-11-18 | 深圳市埃微信息技术有限公司 | 基于虚拟现实头盔的双目手势识别装置及方法 |
-
2016
- 2016-09-29 CN CN201610861302.7A patent/CN106598211A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102812417A (zh) * | 2010-02-02 | 2012-12-05 | 寇平公司 | 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器 |
| CN102681651A (zh) * | 2011-03-07 | 2012-09-19 | 刘广松 | 一种用户交互系统和方法 |
| CN105068649A (zh) * | 2015-08-12 | 2015-11-18 | 深圳市埃微信息技术有限公司 | 基于虚拟现实头盔的双目手势识别装置及方法 |
| CN105045398A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107101632A (zh) * | 2017-06-19 | 2017-08-29 | 北京视境技术有限公司 | 基于多摄像头与多标识物的空间定位装置及方法 |
| WO2019018992A1 (zh) * | 2017-07-24 | 2019-01-31 | 深圳市柔宇科技有限公司 | 手势识别方法、头部可穿戴设备和手势识别装置 |
| CN110007466A (zh) * | 2019-04-30 | 2019-07-12 | 歌尔科技有限公司 | 一种ar眼镜及人机交互方法、系统、设备、计算机介质 |
| CN111399656A (zh) * | 2020-03-31 | 2020-07-10 | 兰州城市学院 | 一种可穿戴式计算机 |
| CN112130661A (zh) * | 2020-08-21 | 2020-12-25 | 浙江大丰实业股份有限公司 | 一种可旋转花开树互动系统及互动方法 |
| WO2022199264A1 (en) * | 2021-03-22 | 2022-09-29 | International Business Machines Corporation | Multi-user interactive ad shopping using wearable device gestures |
| US11769134B2 (en) | 2021-03-22 | 2023-09-26 | International Business Machines Corporation | Multi-user interactive ad shopping using wearable device gestures |
| CN113946220A (zh) * | 2021-10-26 | 2022-01-18 | 合肥工业大学 | 一种穿戴式手势交互系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106598211A (zh) | 一种基于多摄像头的可穿戴式头盔的手势交互系统及识别方法 | |
| US11749025B2 (en) | Eye pose identification using eye features | |
| CN107688391B (zh) | 一种基于单目视觉的手势识别方法和装置 | |
| US11398044B2 (en) | Method for face modeling and related products | |
| CN104699247B (zh) | 一种基于机器视觉的虚拟现实交互系统及方法 | |
| CN110555412B (zh) | 基于rgb和点云相结合的端到端人体姿态识别方法 | |
| US20120237114A1 (en) | Method and apparatus for feature-based stereo matching | |
| CN106896925A (zh) | 一种虚拟现实与真实场景融合的装置 | |
| CN109359514B (zh) | 一种面向deskVR的手势跟踪识别联合策略方法 | |
| CN106997618A (zh) | 一种虚拟现实与真实场景融合的方法 | |
| CN103578135A (zh) | 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法 | |
| DE102018103572A1 (de) | Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium | |
| WO2017147748A1 (zh) | 一种可穿戴式系统的手势控制方法以及可穿戴式系统 | |
| CN105306819B (zh) | 一种基于手势控制拍照的方法及装置 | |
| CN114119739A (zh) | 一种基于双目视觉的手部关键点空间坐标获取方法 | |
| WO2017099500A1 (ko) | 애니메이션 생성 방법 및 애니메이션 생성 장치 | |
| KR101256046B1 (ko) | 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 | |
| CN108932060A (zh) | 手势立体互动投影技术 | |
| CN203630822U (zh) | 虚拟影像与真实场景相结合的舞台交互集成系统 | |
| CN105867595A (zh) | 联合语音信息与手势信息的人机交互方式以及实施装置 | |
| CN107016730A (zh) | 一种虚拟现实与真实场景融合的装置 | |
| CN109395375A (zh) | 一种基于增强现实与移动交互的三维游戏接口设计方法 | |
| JPWO2018146922A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| WO2017113674A1 (zh) | 基于智能设备实现体感控制的方法、系统以及智能设备 | |
| CN106981100A (zh) | 一种虚拟现实与真实场景融合的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190118 Address after: 518004 Tailing Building 903, 5022 Fifth Avenue, Bantian Street, Longgang District, Shenzhen City, Guangdong Province Applicant after: Cimnet Department (Shenzhen) Electronic Technology Co. Ltd. Address before: Room A, 13th floor, No. 2 Building, 1888 Hongxiang West Road, Xiamen City, Fujian Province, 361000 Applicant before: Mo Bing |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170426 |
|
| RJ01 | Rejection of invention patent application after publication |