CN113552996A - 一种根据人体姿态自动调节界面布局的方法及触控屏设备 - Google Patents

一种根据人体姿态自动调节界面布局的方法及触控屏设备 Download PDF

Info

Publication number
CN113552996A
CN113552996A CN202111104522.2A CN202111104522A CN113552996A CN 113552996 A CN113552996 A CN 113552996A CN 202111104522 A CN202111104522 A CN 202111104522A CN 113552996 A CN113552996 A CN 113552996A
Authority
CN
China
Prior art keywords
user
touch screen
area
toolbar
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111104522.2A
Other languages
English (en)
Other versions
CN113552996B (zh
Inventor
王军锋
李嘉琳
董世裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Technology University
Original Assignee
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Technology University filed Critical Shenzhen Technology University
Priority to CN202111104522.2A priority Critical patent/CN113552996B/zh
Publication of CN113552996A publication Critical patent/CN113552996A/zh
Application granted granted Critical
Publication of CN113552996B publication Critical patent/CN113552996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了触控屏技术领域中的一种根据人体姿态自动调节界面布局的方法及触控屏设备，该触控屏设备包括捕获模块、处理模块以及显示模块，在触控屏设备进行调节的过程中，分别获取用户可在触控屏上操作的范围、用户在触控屏上的视野范围区域以及两者重叠的目标区域，再将工具栏移动至目标区域内，使得工具栏的中心与目标区域的中心重合。本发明将用户的手臂可达域和视野区域纳入触控屏的交互之中，屏幕工具栏时刻处于用户容易接触到和看到的位置，方便用户使用，且不会增加设备额外的调节设备。

Description

一种根据人体姿态自动调节界面布局的方法及触控屏设备
技术领域
本发明涉及触控屏技术领域，具体的说，是涉及一种根据人体姿态自动调节界面布局的方法及触控屏设备。
背景技术
随着科技的发展，触控屏在会议、教学等各种场合的应用越来越多。在触控屏中，工具栏集成了多种功能（如画笔、滑板、截图等），其为用户带来了很大的便利。但是目前的触控屏均是固定安装，其高度固定，并且在触控屏中工具栏多为在屏幕侧边的长条形分布，其在整个触控屏的界面中的布局是固定的，其只能适应一部分人的身高，对于其他身高的用户并不友好，这类用户在使用过程中需要频繁的弯腰或踮脚，使用非常不便。
为了解决用户操作不便的问题，现有的解决方案包括：在触控屏设备上增加调节支架、增加触控屏的升降导轨以及手动设置工具栏的高度等等。这些方案均操作麻烦，且不能够经常进行调节，有的还需要增加额外的机械设备，增加了产品成本；有的只能在竖直方向上进行调整。这些均没有解决触控屏使用过程中工具栏对部分用户不友好的问题。
上述缺陷，值得解决。
发明内容
为了克服现有的技术的不足，本发明提供一种根据人体姿态自动调节界面布局的方法及触控屏设备。
本发明技术方案如下所述：
一方面，一种根据人体姿态自动调节界面布局的方法，其特征在于，实时或定时将触控屏上的工具栏移动至适合用户操作的位置，具体包括以下步骤：
首先，获取用户可在触控屏上操作的范围；
其次，获取用户在触控屏上的视野范围区域；
再次，对用户可在触控屏上操作的范围和用户在触控屏上的视野范围区域进行叠加，获得两者的重合区域，即获得目标区域；
最后，将工具栏移动至目标区域内，使得工具栏的中心与目标区域的指定位置重合。
根据上述方案的本发明，其特征在于，在获取用户可在触控屏上操作的范围的过程中，具体包括：
（1）获取用户距离触控屏的水平距离、用户的肩高、用户的臂长及用户的肩膀位置；
（2）以用户的肩膀位置为顶点、用户的臂长为母线、用户距离触控屏的水平距离为高，建立圆锥体系，该圆锥体系的底面即为用户可在触控屏上操作的范围。
根据上述方案的本发明，其特征在于，在获取用户在触控屏上的视野范围区域的过程中，具体包括：
（1）识别用户的眼睛位置及面部朝向；
（2）以用户的眼睛位置为定点、视平线方向为基准建立用户向前看的视锥区域；
（3）计算触控屏截取视锥区域的切面，形成用户在触控屏上的完整的视野范围区域。
根据上述方案的本发明，其特征在于，在移动工具栏前，还包括计算得到目标区域中指定位置的步骤。
进一步的，具体包括：
（1）将目标区域分割形成若干个目标区域单元；
（2）分别计算获得每个目标区域单元的中心坐标；
（3）综合所有目标区域单元的中心坐标，计算获得整个目标区域的指定位置的坐标。
根据上述方案的本发明，其特征在于，还包括调整工具栏排列方式的步骤。
另一方面，一种根据人体姿态自动调节界面布局的触控屏设备，其特征在于，包括：
捕获模块，用于获取用户的相对空间数据及身体数据；
处理模块，用于根据所述捕获模块获得的用户的相对空间数据及身体数据，计算得到用户可在触控屏上操作的范围和用户在触控屏上的视野范围区域，并将工具栏的中心移动至用户可在触控屏上操作的范围和用户在触控屏上的视野范围区域的重合区域的指定位置；
显示模块，用于工具栏及工作空间的显示。
根据上述方案的本发明，其特征在于，所述捕获模块获取的数据包括用户距离触控屏的水平距离、用户的肩高、用户的臂长、用户的肩膀位置、用户的眼睛位置以及用户的面部朝向。
根据上述方案的本发明，其特征在于，所述捕获模块为摄像头。
根据上述方案的本发明，其特征在于，所述捕获模块获取用户数据时，选取距离触控屏距离最近的用户作为目标对象。
根据上述方案的本发明，其有益效果在于，本发明可以在用户使用时对用户的身高及位置、面部朝向进行识别，计算用户的手臂可达域及视野范围，两者重合区域为目标区域，将包含触控屏常用交互功能的工具栏调整至该区域内，并根据目标区域的形状对工具栏的形状进行调整，使长条形的工具栏变成适应目标区域的形状，方便用户操作，同时本发明不会增加系统额外的调节设备，减少设备占用的体积及设备投入。
附图说明
图1为本发明的系统结构图；
图2为人体位于触控屏前时的各个尺寸标记图；
图3为一个实施例中计算手臂可达区域范围、视野范围的示意图；
图4为另一个实施例中计算手臂可达区域范围、视野范围的示意图；
图5为一个实施例中移动工具栏的示意图；
图6为另一个实施例中移动工具栏的示意图；
图7为建立系统坐标的示意图；
图8为本发明调整工具栏至边缘位置的示意图。
具体实施方式
下面结合附图以及实施方式对本发明进行进一步的描述：
如图1所示，一种根据人体姿态自动调节界面布局的触控屏设备，包括捕获模块、处理模块以及显示模块，其中捕获模块用于获取根据姿态调节界面中工具栏布局的基本信息，处理模块用于根据捕获模块获得的相关信息进行数据处理，显示模块用于根据处理模块的处理结果进行信息显示。
本发明整个设备的实现基于用户与触控屏的人机交互以及捕获模块的成像技术，两项技术在现有技术中以及较为成熟。例如：
专利申请公布号为CN112363626A的发明专利申请《基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法》，其将人体姿态视觉引入到大屏幕的交互过程中，其通过识别判断用户眼睛及手部的位置，判断用户想要操作的的大屏幕的位置，并通过手势姿态识别进行交互。该项技术仅适用于较大屏幕，而不适用于会议及教学等场景中常见的触控屏，并且该方案进行交互时视线与手部方向必须高度一致，否则难以实现交互，不适合需要长时间与屏幕进行交互操作的场景；该方案并未解决用户在触控屏中人机工程学方面的问题，用户使用过程需要一直仰头，使用体验不佳。
在本发明中，捕获模块用于获取用户的相对空间数据及身体数据。捕获模块获取的数据包括用户距离触控屏的水平距离、用户的肩高、用户的臂长、用户的肩膀位置、用户的眼睛位置以及用户的面部朝向。
对于计算能力和测量水平有限的触控屏，可仅采集用户的身高数据，而用户的臂长及肩高等数据与用户的身高成正比，根据对应的比例关系确定用户的肩高、用户的臂长以及用户的肩膀位置等参数。如设定用户的臂长（肩膀到指尖指尖的距离）为身高的0.35-0.5倍，具体可选用0.441倍的比例范围，当然比例系数可以根据具体应用人群进行适当调整，此处不做详细扩述。
优选的，捕获模块为摄像头，通过摄像头捕捉用户的相关参数数据，并将获取的数据发送至处理模块进行数据处理，其系统设置更为简单。
在本发明中，处理模块用于根据捕获模块获得的用户的相对空间数据及身体数据，计算得到用户可在触控屏上操作的范围和用户在触控屏上的视野范围区域，并将工具栏的中心移动至用户可在触控屏上操作的范围和用户在触控屏上的视野范围区域的重合区域的指定位置。
该指定位置可以为重合区域的中心（或重心），更加有利于用户进行观看和操作；也可以为该重合区域的边缘位置，以便不遮挡用户实现，也不会影响用户进行操作。
优选的，在捕获模块获取用户数据时，如遇到多人在触控屏前，则选取距离触控屏距离最近的用户作为目标对象，以便最接近触控屏的用户进行操作。当然，本发明还可以根据具体情况需要选定其他特定人群作为目标对象，此处不做详细描述。
在本发明中，显示模块用于工具栏及工作空间的显示。优选的，该显示模块为显示屏及驱动显示屏显示的驱动系统等，其可用于进行常规内容的显示，并展示调整后的工具栏信息。
如图1至图8所示，本发明还基于上述根据人体姿态自动调节界面布局的触控屏设备，提供一种根据人体姿态自动调节界面布局的方法，其用于实时或定时将触控屏上的工具栏移动至适合用户操作的位置。本发明可设定每经过一固定时间后进行界面布局的调整，还可以根据需要实时进行调整。当需要进行定时调整时，该触控屏设备内部还设置定时模块，用于在每隔一固定时间后驱动捕获模块进行数据捕捉、处理模块进行数据处理及显示模块进行调整后界面的显示。
在进行工具栏移动的过程中，具体包括以下步骤：首先，获取用户可在触控屏上操作的范围；其次，获取用户在触控屏上的视野范围区域；再次，对用户可在触控屏上操作的范围和用户在触控屏上的视野范围区域进行叠加，获得两者的重合区域，即获得目标区域；最后，将工具栏移动至目标区域内，使得工具栏的中心与目标区域的指定位置（中心）重合。
基于上述过程，本发明将待调整的工具栏移动至目标区域的指定位置，使得移动后的工具栏能够更加方便用于进行查看和操作。
1、获取用户可在触控屏上操作的范围
（1）首先，触控屏设备先通过捕获模块获取用户（优选为最接近的用户）距离触控屏的水平距离、用户的肩高、用户的臂长及用户的肩膀位置，捕获模块记录用户距离触控屏的水平距离d、用户的肩高h、用户的臂长（即用户手臂的功能长度l）及用户的肩膀位置M，并将上述信息发送至处理模块进行数据处理。
优选的，用户的肩膀位置通常为右侧肩膀，当用户使用左手操作时，识别到用户的左肩；另外，若用户双手同时在触控屏上操作，则识别左肩和右肩中较近的肩膀作为用户的肩膀位置M。
（2）其次，触控屏设备通过处理模块进行数据处理：以用户的肩膀位置M为顶点、用户的臂长l0为母线、用户距离触控屏的水平距离d为高，建立圆锥体系，该圆锥体系的底面即为用户可在触控屏上操作的范围即图中区域SB。
由于人体的手部需要进行点击、书写等操作，因此在计算过程中，用户手臂的功能长度l小于用户手臂的功能长度l0，取值l=kl0来计算用户手臂的功能长度，k为常数，选值范围为0.85-0.93，优选为0.9。
在一个具体实施例中，触控屏设备无法识别精准的用户臂长等数据时，可采集用户的身高h0，并设定用户手臂的功能长度l为用户的身高h0的k’倍，即l=k’h0。优选k’=0.441。该k’的值可根据需要自行设定。
在建立圆锥体系过程中，圆锥体的定点为用户的肩膀位置M，其高为用户距离触控屏的水平距离d，其锥体底面的半径为
Figure 341244DEST_PATH_IMAGE002
，该圆锥体的底面即为用户可在触控屏上操作的范围SB，且该区域为以B点（用户的肩膀位置M在触控屏的正投影点，捕获模块识别）为圆心、
Figure 421195DEST_PATH_IMAGE003
为半径的圆形，且该圆形的高度为h，即可以得到手臂可达域的函数表达式。
2、获取用户在触控屏上的视野范围区域
（1）首先，触控屏设备先通过捕获模块获取用户（优选为最接近的用户）的眼睛位置及面部朝向，捕获模块记录用户的眼睛位置N及面部朝向（轴线NA，即视平线），并将上述信息发送至处理模块进行数据处理。
（2）其次，触控屏设备通过处理模块进行数据处理。在水平视野范围内，双眼视距大约在视平线（NA）左右α1以内的区域，在垂直平面内，最大视野区为视平线以上α2和视平线以下α3。根据角度，在视平线以上部分和视平线以下部分分别用不同的椭圆锥对视野区域进行拟合。具体的：
a）以用户眼睛所在处N为顶点、视平线为NA锥体的高线、眼睛左右两侧最大视角（∠HNA、∠JNA）之和（∠HNA+∠JNA）为较大锥角、眼睛向上最大视角（∠INA）的两倍为较小锥角进行椭圆锥拟合，取视平线以上部分建立上半视锥；
b）以用户眼睛所在处N为顶点、视平线为NA锥体的高线、眼睛左右两侧最大视角（∠HNA、∠JNA）之和（∠HNA+∠JNA）为较大锥角、眼睛向下最大视角（∠KNA）的两倍为较小锥角进行椭圆锥拟合，取视平线以下部分建立下半视锥；
c）拟合上半视锥、下半视锥两半圆锥合起来为完整视锥区域（锥形N-HIJK），用触控屏所在平面对视锥区域截取、切割，所得切面即为用户在触控屏上的完整的视野范围区域SHIJK。
如图3、图4所示，H、I、J、K是视野区在触控屏平面上的四个顶点，A是视平线NA与触控屏的交点，∠HNA=∠JNA=α1，∠INA=α2，∠KNA=α3。因此，对于视平线以上部分，以N为顶点，NH、NI、NJ为母线进行椭圆锥拟合，对于视平线以下部分，以N为顶点，NI、NJ、NK为母线进行椭圆锥拟合，延长拟合后的椭圆锥，可得到与触控屏所在平面相交的区域SHIJK。
在该区域的函数获得过程中，已知∠HNA、∠JNA、∠INA、∠KNA以及用户距离触控屏的水平距离d，根据三角函数tanα=对边（直角边）/临边（直角边），计算得到AH、AI、AJ、AK的长度，进而得到H、I、J、K几点的坐标。已知上下两个半椭圆的圆心、长轴、短轴长度，可以确认视野区域的函数表达式。
优选的，α1=60°，α2=50°，α3=70°，符合人体工程学。该角度选择还可以根据需要进行具体设定。
在上述方法实现的过程中，获取用户可在触控屏上操作的范围和获取用户在触控屏上的视野范围区域的步骤顺序可调，各个数据获取可同步进行，也可穿插进行，本发明不对该两个步骤的顺序做限定。
3、获得目标区域
如图3、图4所示，将上述步骤得到的用户可在触控屏上操作的范围SB和用户在触控屏上的视野范围区域SHIJK进行叠加，两者在触控屏上的重合区域即为目标区域S。即通过上述步骤得到用户可在触控屏上操作的范围SB和用户在触控屏上的视野范围区域SHIJK，并且已知触控屏所在区域的函数表达式，计算三者的重合部分即可得到目标区域S。
如图7所示，在移动工具栏前，还包括计算得到工具栏移动后的目标中心位置。首先在触控屏所在屏幕暗选择一个固定点为坐标原点，以该坐标原点建立在触控屏所在平面建立平面坐标系。在本实施例中，选择触控屏所在面与地面的交线为x轴、以面对触控屏时触控屏做边框所在直线为y轴，两者交点为坐标原先W。在一个实施例中，该目标中心位置可以为上述目标区域S的几何中心位置，也可以根据需要选择为目标区域S侧边区域的中心位置。
实施例1：移动后目标中心位置为目标区域几何中心
如图5、图6所示，该实施例中机选获得目标区域几何中心的步骤包括：
（1）将目标区域分割形成若干个目标区域单元，包括X1、X2、……Xn。
（2）分别计算获得每个目标区域单元的中心坐标：第i个目标区域单元Xi的中心（重心）为Oi（xi，yi），其面积为Si。
不同形状的目标区域单元的中心（重心）计算方式不同，但触控屏设备的计算系统均可以进行自动识别及计算，此为常规算法，此处不做详细限定。
（3）综合所有目标区域单元的中心坐标，计算获得整个目标区域的中心坐标。目标区域的中心坐标O（xO,yO）为：
Figure 509237DEST_PATH_IMAGE005
其中，xi为第i个目标区域单元的横坐标，yi为第i个目标区域单元的纵坐标，Si为第i个目标区域单元的面积。
同理也可以得到触控屏中工具栏的中心C（xc，yc）。
实施例2：移动后目标中心位置为目标区域的侧边区域的中心位置
如图8所示，为了不遮挡重要的显示信息，且不会影响用户的操作，本实施例中设置工具栏呈现在目标区域内，并且靠近边缘的位置。具体的：
获得目标区域S后，预设工具栏停靠方向（上、下、左、右）或根据用户实际使用情况，选择离视野区域中心点A较远，离手臂可达域中心点B较近的边缘作为停靠边缘。在距离停靠边缘侧边X厘米处拟合形成停靠中心线，该停靠中心线平行于该侧边，且该停靠中心线与目标区域S的脚垫为R、S，线段RS的中心点O即为工具栏移动后的中心位置，其坐标为O（xO,yO）。
在本实施例中，选取距离目标区域S下边缘X厘米处做停靠中心线（图中上侧横线），该停靠中心线与目标区域S的焦点为R、T，线圈RT的中点O即为指定位置的中心。优选的距离X厘米可以根据工具栏大小及用户使用的触控屏的大小进行设定，例如选定0-10cm作为停靠中心线与目标区域S边缘的间距。
4、移动工具栏
如图5、图6所示，工具栏的中心C（xc，yc），移动后目标位置的坐标为O（xO,yO），则根据两个坐标将工具栏沿着x轴正向移动（xO-xc），沿着y轴正向移动（yO-yc），移动后的工具栏的中心与目标位置的中心重合。
5、调整工具栏排布方式
优选的，本发明在调整工具栏的过程中，还包括调整工具栏排列方式的步骤，以便获取最佳展示效果的工具栏，同时方便用户进行操作。根据具体应用场合的不同，本发明中的工具栏的排列方式包括竖条形、矩形、横条形、矩阵形、圆形、环形等，并且上述排列方式按照优先级进行排序。
在调整工具栏排布方式时，按照预设的优先级分别计算不同排列方式下工具栏整体落在目标区域的面积占比，占比为100%时停止，并将对应的排列方式的工具栏显示在触控屏上；若各个排列方式下的工具栏整体落在目标区域的面积占比均不足100%，则选择占比最大的排列方式并显示在触控屏上，且该工具栏的中心C位于目标位置的中心O处。
具体的，先验证移动后的竖条形的工具栏在目标区域S内的面积占比是否为100%，若是则停止匹配，并将竖条形的工具栏显示在触控屏上，若不是则进行下一排列方式的工具栏的匹配；验证矩形的工具栏在目标区域S内的面积占比是否为100%，若是则停止匹配，并将矩形的工具栏显示在触控屏上，若不是则进行下一排列方式的工具栏的匹配；以此类推，直至完成左右一种排列方式的工具栏的匹配。
若上述匹配过程中，各个排列方式的工具栏在目标区域S内的面积占比均不够100%，则选取上述各个排列方式中工具栏在目标区域S内面积占比最大的一种，并将该中排列方式的工具栏显示在触控屏上，且该工具栏的中心C位于目标位置的中心O处。
设置完成后的工具栏，其位置和排列方式均确定完毕，呈现在触控屏上的工具栏满足用户对工具栏的查看和点击的需求，方便用户使用。
本发明的整个调节过程均在触控屏设备的内部系统完成，仅通过捕获模块进行相关参数的获取，其未增加整个触控屏设备体积及相应设备的成本，有利于会议、教学等多种场合的操作。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
上面结合附图对本发明专利进行了示例性的描述，显然本发明专利的实现并不受上述方式的限制，只要采用了本发明专利的方法构思和技术方案进行的各种改进，或未经改进将本发明专利的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (10)

1.一种根据人体姿态自动调节界面布局的方法，其特征在于，实时或定时将触控屏上的工具栏移动至适合用户操作的位置，具体包括以下步骤：
首先，获取用户可在触控屏上操作的范围；
其次，获取用户在触控屏上的视野范围区域；
再次，对用户可在触控屏上操作的范围和用户在触控屏上的视野范围区域进行叠加，获得两者的重合区域，即获得目标区域；
最后，将工具栏移动至目标区域内，使得工具栏的中心与目标区域的指定位置重合。
2.根据权利要求1所述的根据人体姿态自动调节界面布局的方法，其特征在于，在获取用户可在触控屏上操作的范围的过程中，具体包括：
（1）获取用户距离触控屏的水平距离、用户的肩高、用户的臂长及用户的肩膀位置；
（2）以用户的肩膀位置为顶点、用户的臂长为母线、用户距离触控屏的水平距离为高，建立圆锥体系，该圆锥体系的底面即为用户可在触控屏上操作的范围。
3.根据权利要求1所述的根据人体姿态自动调节界面布局的方法，其特征在于，在获取用户在触控屏上的视野范围区域的过程中，具体包括：
（1）识别用户的眼睛位置及面部朝向；
（2）以用户的眼睛位置为定点、视平线方向为基准建立用户向前看的视锥区域；
（3）计算触控屏截取视锥区域的切面，形成用户在触控屏上的完整的视野范围区域。
4.根据权利要求1所述的根据人体姿态自动调节界面布局的方法，其特征在于，在移动工具栏前，还包括计算得到目标区域指定位置的步骤。
5.根据权利要求4所述的根据人体姿态自动调节界面布局的方法，其特征在于，具体包括：
（1）将目标区域分割形成若干个目标区域单元；
（2）分别计算获得每个目标区域单元的中心坐标；
（3）综合所有目标区域单元的中心坐标，计算获得整个目标区域的指定位置的坐标。
6.根据权利要求1所述的根据人体姿态自动调节界面布局的方法，其特征在于，还包括调整工具栏排列方式的步骤。
7.一种根据人体姿态自动调节界面布局的触控屏设备，其特征在于，包括：
捕获模块，用于获取用户的相对空间数据及身体数据；
处理模块，用于根据所述捕获模块获得的用户的相对空间数据及身体数据，计算得到用户可在触控屏上操作的范围和用户在触控屏上的视野范围区域，并将工具栏的中心移动至用户可在触控屏上操作的范围和用户在触控屏上的视野范围区域的重合区域的指定位置；
显示模块，用于工具栏及工作空间的显示。
8.根据权利要求7所述的根据人体姿态自动调节界面布局的触控屏设备，其特征在于，所述捕获模块获取的数据包括用户距离触控屏的水平距离、用户的肩高、用户的臂长、用户的肩膀位置、用户的眼睛位置以及用户的面部朝向。
9.根据权利要求7或8所述的根据人体姿态自动调节界面布局的触控屏设备，其特征在于，所述捕获模块为摄像头。
10.根据权利要求7所述的根据人体姿态自动调节界面布局的触控屏设备，其特征在于，所述捕获模块获取用户数据时，选取距离触控屏距离最近的用户作为目标对象。
CN202111104522.2A 2021-09-22 2021-09-22 一种根据人体姿态自动调节界面布局的方法及触控屏设备 Active CN113552996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111104522.2A CN113552996B (zh) 2021-09-22 2021-09-22 一种根据人体姿态自动调节界面布局的方法及触控屏设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111104522.2A CN113552996B (zh) 2021-09-22 2021-09-22 一种根据人体姿态自动调节界面布局的方法及触控屏设备

Publications (2)

Publication Number Publication Date
CN113552996A true CN113552996A (zh) 2021-10-26
CN113552996B CN113552996B (zh) 2022-03-25

Family

ID=78106462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111104522.2A Active CN113552996B (zh) 2021-09-22 2021-09-22 一种根据人体姿态自动调节界面布局的方法及触控屏设备

Country Status (1)

Country Link
CN (1) CN113552996B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843371A (zh) * 2015-01-13 2016-08-10 上海速盟信息技术有限公司 人机隔空交互方法及系统
CN107219915A (zh) * 2016-03-21 2017-09-29 现代自动车株式会社 车辆和用于控制该车辆的方法
US10146423B1 (en) * 2011-04-07 2018-12-04 Wells Fargo Bank, N.A. System and method for generating a position based user interface
CN111309183A (zh) * 2020-02-26 2020-06-19 京东方科技集团股份有限公司 触控显示系统及其控制方法
CN111901646A (zh) * 2020-07-23 2020-11-06 海信视像科技股份有限公司 一种显示设备及触控菜单显示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10146423B1 (en) * 2011-04-07 2018-12-04 Wells Fargo Bank, N.A. System and method for generating a position based user interface
CN105843371A (zh) * 2015-01-13 2016-08-10 上海速盟信息技术有限公司 人机隔空交互方法及系统
CN107219915A (zh) * 2016-03-21 2017-09-29 现代自动车株式会社 车辆和用于控制该车辆的方法
CN111309183A (zh) * 2020-02-26 2020-06-19 京东方科技集团股份有限公司 触控显示系统及其控制方法
CN111901646A (zh) * 2020-07-23 2020-11-06 海信视像科技股份有限公司 一种显示设备及触控菜单显示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KI-UK KYUNG: "Precise manipulation of GUI on a touch screen with haptic cues", 《WORLD HAPTICS 2009 - THIRD JOINT EUROHAPTICS CONFERENCE AND SYMPOSIUM ON HAPTIC INTERFACES FOR VIRTUAL ENVIRONMENT AND TELEOPERATOR SYSTEMS》 *
乔瓦尼: "《绘画透视基础》", 30 June 2016 *

Also Published As

Publication number Publication date
CN113552996B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN102830797A (zh) 一种基于视线判断的人机交互方法及系统
CN102081503B (zh) 基于视线追踪自动翻页的电子阅读器及其方法
KR101851264B1 (ko) 가상 멀티터치 마우스와 스타일러스 장치를 위한 시스템 및 그 방법
EP1292877B1 (en) Apparatus and method for indicating a target by image processing without three-dimensional modeling
CN109690553A (zh) 执行眼睛注视跟踪的系统和方法
CN107609516B (zh) 自适应眼动追踪方法
US9122353B2 (en) Kind of multi-touch input device
CN103472916A (zh) 一种基于人体手势识别的人机交互方法
CN102508578B (zh) 投影定位装置及方法、交互系统和交互方法
CN109388233B (zh) 透明显示装置及其控制方法
CN110859630A (zh) 一种基于ar技术的姿态矫正器及其矫正方法
CN105393281A (zh) 手势判定装置和方法、手势操作装置、程序以及记录介质
Mulder et al. The personal space station: Bringing interaction within reach
CN103207709A (zh) 一种多点触摸系统及方法
CN107179876B (zh) 基于虚拟现实系统的人机交互装置
WO2012142869A1 (zh) 自动调节终端界面显示的方法及装置
CN109145802A (zh) 基于Kinect的多人手势人机交互方法及装置
CN102426509A (zh) 一种手写输入的显示方法、装置及系统
CN107861625A (zh) 基于3d空间模型的视线跟踪系统及方法
CN110865704A (zh) 一种用于360°悬浮光场三维显示系统的手势交互装置和方法
CN105988566A (zh) 一种信息处理方法及电子设备
CN110286754A (zh) 基于眼球追踪的投射方法及相关设备
CN113552996B (zh) 一种根据人体姿态自动调节界面布局的方法及触控屏设备
CN103761011B (zh) 一种虚拟触摸屏的方法、系统及计算设备
CN104199549B (zh) 一种虚拟鼠标操作装置、系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant