CN103941857A - 基于手势交互中人体骨骼提取的自适应界面生成方法 - Google Patents
基于手势交互中人体骨骼提取的自适应界面生成方法 Download PDFInfo
- Publication number
- CN103941857A CN103941857A CN201410062425.5A CN201410062425A CN103941857A CN 103941857 A CN103941857 A CN 103941857A CN 201410062425 A CN201410062425 A CN 201410062425A CN 103941857 A CN103941857 A CN 103941857A
- Authority
- CN
- China
- Prior art keywords
- user
- mutual
- human body
- shoulder joint
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于手势交互中人体骨骼提取的自适应界面生成方法。使用者进入由红外发射器和红外接收器组成的深度传感器视野时，传感器内置程序捕捉人体深度数据并依此提取人体多个关节点位置信息；选择肩关节点为圆心，臂长为活动半径划定圆形区域作为手势活动区域；并以肩关节点正上方圆形边界线上点为0°角，选择0°-150°扇形区域生成交互舒适区；最终将显示界面上的交互控件集中显示在扇形区域内，生成自适应的控件排布。本发明使使用者在手势交互环境中从被动适应显示界面转变为由显示界面主动适应用户操作，即使界面上需要用户操作的控件都自适应分布在手势操作的舒适区内，方便触及，且提高操作的正确率，增强用户体验。
Description
技术领域
本发明涉及一种自适应用户界面的生成方法，尤其涉及一种基于手势交互中人体骨骼提取的自适应界面生成方法。
背景技术
体感手势交互已经在越来越多的领域得到应用，从沉浸式体感游戏到体感交互技术在视频会议上的应用，手势作为一种更直观、更自然地表达用户操作意图的方式被看作是人机交互的重要手段。但是不同于鼠标指针在显示界面上的交互，手势交互是将人手的移动轨迹映射到显示界面上从而对界面控件进行操作的一种方式，因此这种方式受限于手臂的移动范围，因此在手势交互中，显示界面上的边缘角落都是操作的死角，而且很多区域对于用户手势来说，都需要将手臂伸到不舒适的位置和角度，用户体验差。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于手势交互中人体骨骼提取的自适应界面生成方法。
本发明所采用的技术方案是：
一种基于手势交互中人体骨骼提取的自适应界面生成方法，步骤如下：
步骤S01：使用者进入深度传感器视野，所述的深度传感器包括红外发射器和红外接收器的组合，在手势交互环境中，深度传感器置于显示屏幕正下方或正上方，面对使用者，通过红外测距得到人体深度数据；
步骤S02：传感器内置程序通过步骤S01中得到的人体深度数据提取人体20个关节点位置信息，包括人体肩关节点位置信息；
步骤S03：使用者通过挥动手臂来驱动屏幕上的映射点移动，深度传感器通过步骤S02中获得的关节点信息截取移动的手臂上的关节点信息，进而判断参与交互的手臂相对人体的方位，最终判断使用者是用左手交互还是右手交互；
步骤S04：依据步骤S03中的判断，选择相应的肩关节点，并以该肩关节点为圆心，臂长为活动半径划定圆形区域作为手势活动区域；以肩关节点正上方圆形边界线上点为0°角，右手交互时顺时针方向或左手交互时逆时针方向选择0°- 150°扇形区域为交互舒适区；
步骤S05：依据步骤S04中划分的交互舒适区，将显示屏幕上的交互控件集中显示在扇形区域内，所述的操作控件集中显示的扇形区域为自适应界面；
步骤S06：根据设定的时间间隔，重新依据步骤S01－S05生成交互舒适区和所述的自适应界面。
所述的步骤S06，进一步设定肩关节点的位移参数，当所述的肩关节点位移超过设定的位移参数，执行步骤S01－S05。
所述的交互控件是用户界面中需要使用者定位、选择、点击操作的元素，包括按钮、复选框、输入框。
所述的交互控件在扇形交互舒适区内呈逻辑顺序排列。
与现有技术相比，本发明的有益效果是使使用者在手势交互环境中从被动适应显示界面转变为由显示界面主动适应用户操作，即使界面上需要用户操作的控件都自适应分布在手势操作的舒适区内，方便触及，且提高操作的正确率，增强用户体验。
附图说明
图1为本发明一种基于手势交互中人体骨骼提取的自适应界面生成方法的流程图；
图2为本发明实现效果的结构示意图；
图3为本发明操作效果示意图。
具体实施方式
下面结合附图对本发明进一步说明。
参照图1，本申请提供的基于手势交互中人体骨骼提取的自适应界面生成方法的实现流程图，包括：
步骤S01：使用者进入深度传感器视野。此处的深度传感器是指红外发射器和红外接收器的组合，如Microsoft Kinect。在手势交互环境中，深度传感器一般置于显示屏幕正下方或正上方，面对使用者，通过红外测距得到人体深度数据；
步骤S02：传感器内置程序通过步骤S01中得到的人体深度数据提取人体多个关节点位置信息（一般为２０个），包括人体肩关节点位置信息；
步骤S03：使用者在交互中通过挥动手臂来驱动屏幕上的映射点移动。深度传感器通过步骤S02中获得的关节点信息截取移动的手臂上的关节点信息，进而判断参与交互的手臂相对人体的方位，最终判断使用者是用左手交互还是右手交互；
步骤S04：依据步骤S03中的判断，选择相应的肩关节点，并以此为圆心，臂长为活动半径划定圆形区域作为手势活动区域。以肩关节点（圆心）正上方圆形边界线上点为0°角，顺时针方向（右手交互）或逆时针方向（左手交互）选择0°- 150°扇形区域为交互舒适区；
步骤S05：依据步骤S04中划分的扇形交互舒适区，将显示界面上的操作控件集中显示在扇形区域内；
步骤S06：依据步骤S05中的实现方式，深度感应器程序跟踪关节点位置，在任意显示界面中生成自适应的空间排布。
参照图2、图3可以看出本发明的实现结构和操作效果：一种基于手势交互中人体骨骼提取的自适应界面生成方法，包括显示界面1，提取的关节点2，肩关节点4，扇形交互舒适区3，自适应排列的交互控件5。所述的交互控件5位于扇形交互舒适区3内部。
所述的扇形交互舒适区3是以提取的肩关节点4为圆心，并以手臂关节连线长度（臂长）为半径，展开角度为150°的扇形区域。
所述的扇形交互舒适区3根据使用者不同手的交互而位于不同位置。当使用者使用左手交互时，扇形交互舒适区3位于使用者左侧，以肩关节点（圆心）正上方圆形边界线上点为0°角，相对使用者逆时针旋转150°形成的扇形区域；当使用者使用右手交互时，扇形交互舒适区3位于使用者右侧，以肩关节点（圆心）正上方圆形边界线上点为0°角，相对使用者顺时针旋转150°形成的扇形区域。
所述的肩关节点4随着使用者在交互过程中不断地变换位置而移动位置信息；所述的扇形交互舒适区3随之不断改变。
所述的交互控件5是用户界面中需要用户定位、选择、点击等操作的元素，包括按钮、复选框、输入框以及其他一切可能出现在用户界面上的交互对象。
所述的交互控件5自适应显示在扇形交互舒适区3内部，并呈一定逻辑顺序排列。
Claims (4)
1.一种基于手势交互中人体骨骼提取的自适应界面生成方法，其特征在于，
步骤如下：
步骤S01：使用者进入深度传感器视野，所述的深度传感器包括红外发射器和红外接收器的组合，在手势交互环境中，深度传感器置于显示屏幕正下方或正上方，面对使用者，深度传感器通过红外测距得到人体深度数据；
步骤S02：传感器内置程序通过步骤S01中得到的人体深度数据提取人体多个关节点位置信息，包括人体肩关节点位置信息；
步骤S03：使用者通过挥动手臂来驱动屏幕上的映射点移动，深度传感器通过步骤S02中获得的关节点信息截取移动的手臂上的关节点信息，进而判断参与交互的手臂相对人体的方位，最终判断使用者是用左手交互还是右手交互；
步骤S04：依据步骤S03中的判断，选择相应的肩关节点，并以该肩关节点为圆心，臂长为活动半径划定圆形区域作为手势活动区域；以肩关节点正上方圆形边界线上点为0°角，右手交互时顺时针方向或左手交互时逆时针方向选择0°- 150°扇形区域为交互舒适区；
步骤S05：依据步骤S04中划分的交互舒适区，将显示屏幕上的交互控件集中显示在扇形区域内，所述的操作控件集中显示的扇形区域为自适应界面；
步骤S06：根据设定的时间间隔，重新依据步骤S01－S05生成交互舒适区和所述的自适应界面。
2.根据权利要求1所述的自适应界面生成方法，其特征在于，所述的步骤S06，进一步设定肩关节点的位移参数，当所述的肩关节点位移超过设定的位移参数，执行步骤S01－S05。
3.根据权利要求1所述的自适应界面生成方法，其特征在于，所述的交互控件是用户界面中需要使用者定位、选择、点击操作的元素，包括按钮、复选框、输入框。
4.根据权利要求３所述的自适应界面生成方法，其特征在于，所述的交互控件在扇形交互舒适区内呈逻辑顺序排列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410062425.5A CN103941857A (zh) | 2014-02-22 | 2014-02-22 | 基于手势交互中人体骨骼提取的自适应界面生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410062425.5A CN103941857A (zh) | 2014-02-22 | 2014-02-22 | 基于手势交互中人体骨骼提取的自适应界面生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103941857A true CN103941857A (zh) | 2014-07-23 |
Family
ID=51189553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410062425.5A Pending CN103941857A (zh) | 2014-02-22 | 2014-02-22 | 基于手势交互中人体骨骼提取的自适应界面生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103941857A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106201540A (zh) * | 2016-07-15 | 2016-12-07 | 深圳奥比中光科技有限公司 | 体感交互界面的设置方法以及设置装置 |
| CN107729797A (zh) * | 2016-08-10 | 2018-02-23 | 塔塔咨询服务有限公司 | 基于传感器数据分析识别身体关节位置的系统和方法 |
| CN110215711A (zh) * | 2019-04-30 | 2019-09-10 | 网易（杭州）网络有限公司 | 游戏中的信息处理方法、装置及存储介质 |
| CN117572984A (zh) * | 2024-01-15 | 2024-02-20 | 南京极域信息科技有限公司 | 一种用于触控大屏的操作窗定位方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930286A (zh) * | 2009-06-22 | 2010-12-29 | 索尼公司 | 操作控制装置、操作控制方法和计算机可读的记录介质 |
| CN102033706A (zh) * | 2010-12-14 | 2011-04-27 | 广东威创视讯科技股份有限公司 | 一种自动调整菜单方法及自动调整菜单系统 |
| CN102193624A (zh) * | 2010-02-09 | 2011-09-21 | 微软公司 | 用于基于姿势的用户界面的物理交互区 |
-
2014
- 2014-02-22 CN CN201410062425.5A patent/CN103941857A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930286A (zh) * | 2009-06-22 | 2010-12-29 | 索尼公司 | 操作控制装置、操作控制方法和计算机可读的记录介质 |
| CN102193624A (zh) * | 2010-02-09 | 2011-09-21 | 微软公司 | 用于基于姿势的用户界面的物理交互区 |
| CN102033706A (zh) * | 2010-12-14 | 2011-04-27 | 广东威创视讯科技股份有限公司 | 一种自动调整菜单方法及自动调整菜单系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106201540A (zh) * | 2016-07-15 | 2016-12-07 | 深圳奥比中光科技有限公司 | 体感交互界面的设置方法以及设置装置 |
| CN107729797A (zh) * | 2016-08-10 | 2018-02-23 | 塔塔咨询服务有限公司 | 基于传感器数据分析识别身体关节位置的系统和方法 |
| CN107729797B (zh) * | 2016-08-10 | 2021-04-09 | 塔塔咨询服务有限公司 | 基于传感器数据分析识别身体关节位置的系统和方法 |
| CN110215711A (zh) * | 2019-04-30 | 2019-09-10 | 网易（杭州）网络有限公司 | 游戏中的信息处理方法、装置及存储介质 |
| CN117572984A (zh) * | 2024-01-15 | 2024-02-20 | 南京极域信息科技有限公司 | 一种用于触控大屏的操作窗定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11360558B2 (en) | Computer systems with finger devices | |
| US11112856B2 (en) | Transition between virtual and augmented reality | |
| US20210382555A1 (en) | User Interface Control of Responsive Devices | |
| CN103793060B (zh) | 一种用户交互系统和方法 | |
| US9921660B2 (en) | Radar-based gesture recognition | |
| CN102789313B (zh) | 一种用户交互系统和方法 | |
| Gannon et al. | Tactum: a skin-centric approach to digital design and fabrication | |
| CN109074217A (zh) | 用于多点触摸输入检测的应用 | |
| US11163158B2 (en) | Skin-based approach to virtual modeling | |
| Song et al. | GaFinC: Gaze and Finger Control interface for 3D model manipulation in CAD application | |
| CN110168475A (zh) | 将用户接口装置导入虚拟现实/增强现实的系统 | |
| CN103246351A (zh) | 一种用户交互系统和方法 | |
| CN105765490A (zh) | 用于用户界面控制的系统和技术 | |
| CN103941857A (zh) | 基于手势交互中人体骨骼提取的自适应界面生成方法 | |
| CN106468917B (zh) | 一种可触摸现场实时视频图像的远程呈现交互方法和系统 | |
| US20170031452A1 (en) | Manipulation determination apparatus, manipulation determination method, and, program | |
| CN104460967A (zh) | 一种人体上肢骨骼手势识别方法 | |
| CN106663365A (zh) | 基于用户输入获得控制系统的手势区域定义数据的方法 | |
| KR20150040580A (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
| US20230113991A1 (en) | Biopotential-Based Gesture Interpretation With Machine Labeling | |
| WO2014010670A1 (ja) | 要素選択装置、要素選択方法、および、プログラム | |
| Chattopadhyay et al. | Touchless circular menus: toward an intuitive UI for touchless interactions with large displays | |
| CN105404384A (zh) | 手势操作方法、利用手势定位屏幕光标的方法及手势系统 | |
| CN106774938A (zh) | 基于体感设备的人机交互集成装置 | |
| TWI721317B (zh) | 一種控制指令輸入方法和輸入裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140723 |