CN118159929A - 虚拟输入设备的基于人体工程学的重新配置 - Google Patents

虚拟输入设备的基于人体工程学的重新配置 Download PDF

Info

Publication number
CN118159929A
CN118159929A CN202180103792.3A CN202180103792A CN118159929A CN 118159929 A CN118159929 A CN 118159929A CN 202180103792 A CN202180103792 A CN 202180103792A CN 118159929 A CN118159929 A CN 118159929A
Authority
CN
China
Prior art keywords
user
control device
ergonomic
input device
virtual input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180103792.3A
Other languages
English (en)
Inventor
A·克里斯滕松
P·奥克维斯特
T·阿恩格伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN118159929A publication Critical patent/CN118159929A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1664—Arrangements for ergonomically adjusting the disposition of keys of the integrated keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0279—Improving the user comfort or ergonomics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/54—Details of telephonic subscriber devices including functional features of a projector or beamer module assembly

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于虚拟输入设备的基于人体工程学的重新配置的机制。一种方法由控制设备执行。该方法包括在用户正在虚拟环境中与虚拟输入设备交互时，从传感器获得用户的姿势和/或运动的信息。该方法包括通过将用户的姿势和/或运动与参考人体工程学数据进行比较，确定用户的姿势和/或运动是否满足人体工程学标准。该方法包括当用户的姿势和/或运动未能满足人体工程学标准时，重新配置虚拟输入设备的至少一个设置。

Description

虚拟输入设备的基于人体工程学的重新配置
技术领域
本文中提出的实施例涉及用于虚拟输入设备的基于人体工程学的重新配置的控制设备、方法、计算机程序和计算机程序产品。
背景技术
诸如光学虚拟键盘之类的虚拟输入设备允许在虚拟现实(VR)或增强现实(AR)环境中输入字符，而不需要物理键。与虚拟键盘的人机交互主要经由触摸屏接口发生，但是也可以在VR或AR环境中以不同的形式发生。在这方面，光学虚拟键盘是VR或AR中的用户接口的示例，其被配置为光学地检测和分析人类手和手指运动，并将其解释为对物理上不存在的输入设备(诸如具有绘画或投影的键的表面)的操作。以这种方式，光学虚拟键盘可以模拟无限类型的手动操作输入设备(诸如鼠标、键盘和其它设备)。此外，光学虚拟键盘的另一示例是投影键盘，投影键盘是借此将虚拟键盘的图像投影到表面上的一种形式的计算机输入设备。当用户触摸由键的图像覆盖的表面时，输入设备记录相应的击键。此外，一些光学虚拟键盘基于激光和触觉传感器的组合，其中考虑了投影区域上的手指与微振动检测的组合。例如，与敲击致使的振动同时地检测到的投影的手指敲击被指示为击键。由此机械输入单元可以被这样的虚拟输入设备替换，该虚拟输入设备潜在地针对特定应用以及针对用户的生理学被优化，从而保持手动数据输入的速度、简单性和明确性。
然而，对于用户来说，找到虚拟输入设备的正确设置使得虚拟输入设备确实针对特定应用以及针对用户的生理学被优化可能是繁琐的。如果用户难以找到这样的正确设置，则用户可能会避免做任何设置，或者甚至避免使用虚拟输入设备。
因此，虚拟输入设备的用户仍然可能会导致用户的人体工程学问题。因此，仍然需要具有改善的人体工程学的虚拟输入设备。
发明内容
本文描述的实施例的目的是解决上述问题，并提供在与虚拟输入设备交互期间改善用户的人体工程学的技术。
根据第一方面，通过提供用于虚拟输入设备的基于人体工程学的重新配置的控制设备来解决该目的。控制设备包括处理电路。处理电路被配置为在用户正在虚拟环境中与虚拟输入设备交互时，从传感器获得用户的姿势和/或运动的信息。处理电路被配置为使控制设备通过将用户的姿势和/或运动与参考人体工程学数据进行比较，确定用户的姿势和/或运动是否满足人体工程学标准。处理电路被配置为使控制设备在用户的姿势和/或运动未能满足人体工程学标准时，重新配置虚拟输入设备的至少一个设置。根据用户的姿势和/或运动以及参考人体工程学数据来重新配置至少一个设置，以建议用户将姿势和/或运动改变为更接近满足人体工程学标准。
根据第二方面，通过提供用于虚拟输入设备的基于人体工程学的重新配置的方法来解决该目的。该方法由控制设备执行。该方法包括在用户正在虚拟环境中与虚拟输入设备交互时，从传感器获得关于用户的姿势和/或运动的信息。该方法包括通过将用户的姿势和/或运动与参考人体工程学数据进行比较，确定用户的姿势和/或运动是否满足人体工程学标准。该方法包括当用户的姿势和/或运动未能满足人体工程学标准时，重新配置虚拟输入设备的至少一个设置。根据用户的姿势和/或运动以及参考人体工程学数据来重新配置至少一个设置，以建议用户将姿势和/或运动改变为更接近满足人体工程学标准。
根据第三方面，通过提供用于虚拟输入设备的基于人体工程学的重新配置的计算机程序来解决该目的，该计算机程序包括当在控制设备上运行时使控制设备执行根据第二方面的方法的计算机程序代码。
根据第四方面，通过提供计算机程序产品来解决该目的，该计算机程序产品包括根据第四方面的计算机程序和在其上存储该计算机程序的计算机可读存储介质。计算机可读存储介质可以是非暂时性计算机可读存储介质。
根据第四方面，通过提供包括根据第一方面的控制设备、以及用户接口设备的系统来解决该目的。用户接口设备包括投影模块，用于使虚拟输入设备在表面上可见。用户接口设备还包括传感器，用于感测用户与虚拟输入设备的用户交互。
有利地，这些方面使虚拟输入设备的形状、大小、形式和/或物理放置能够适应用户的个体物理特征。以这种方式，促使用户相对于虚拟输入设备采取更符合人体工程学的姿势，从而避免、减少或至少减轻由与虚拟输入设备交互引起的人体工程学问题。
在一些实施例中，用户的姿势和/或运动由定义用户的数字孪生(digital twin)的用户模型表示，并且当确定用户的姿势和/或运动是否满足人体工程学标准时，将数字孪生与参考人体工程学数据进行比较。
在一些实施例中，数字孪生表示用户的手臂、手部、腿、脚、颈部、头部和躯干中的任何一个或者其任何组合，其相对尺寸从用户的数字表示中提取。
在一些实施例中，阈值取决于根据用户的数字表示导出的用户的手臂、手部、头部和/或躯干的相对尺寸。
在一些实施例中，参考人体工程学数据表示将由用户使用的姿势和/或运动，其中当用户的姿势和/或运动从参考人体工程学数据偏离大于第一阈值时，用户的姿势和/或运动未能满足人体工程学标准，并且由此建议用户将姿势和/或运动改变为更接近参考人体工程学数据。
在一些实施例中，参考人体工程学数据表示将由用户避免的姿势和/或运动，其中当用户的姿势和/或运动从参考人体工程学数据偏离小于第二阈值时，用户的姿势和/或运动未能满足人体工程学标准，并且由此建议用户将姿势和/或运动改变为进一步远离参考人体工程学数据。
在一些实施例中，处理电路进一步被配置为使控制设备：检索表示用户的先前姿势和/或运动的历史数据，并且其中确定用户的姿势和/或运动是否满足人体工程学标准进一步是根据历史数据进行的。
在一些实施例中，处理电路进一步被配置为使控制设备：随时间的推移聚合用户的被跟踪的姿势和/或运动；以及根据用户的被跟踪的姿势和/或运动来构建用户模型。
在一些实施例中，用户的姿势和/或运动由至少一个传感器跟踪，该至少一个传感器被配置为记录表示用户的数字表示的传感器数据，并且其中分析用户的数字表示以跟踪用户在虚拟环境中相对于用户输入设备的姿势和/或运动。
在一些实施例中，用户的数字表示涉及下述中的至少一个：用户的手部位置和/或运动，用户的手臂位置和/或运动，用户的头部位置和/或运动，用户的颈部位置和/或运动，以及用户的躯干位置和/或运动。
在一些实施例中，重新配置虚拟输入设备的至少一个设置由其中部署有虚拟输入设备的物理环境的至少一个特性约束。
在一些实施例中，约束由控制设备根据控制设备接收的物理环境的信息导出。
在一些实施例中，至少一个设置涉及虚拟输入设备上的按钮和/或键的布局，并且其中通过在虚拟输入设备上改变按钮和/或键的布局来重新配置至少一个设置。
在一些实施例中，至少一个设置涉及虚拟输入设备上的按钮和/或键的大小和/或形状，以及通过在虚拟输入设备上改变按钮和/或键的大小和/或形状来重新配置至少一个设置。
在一些实施例中，至少一个设置涉及虚拟输入设备的大小和/或形状，以及通过改变虚拟输入设备的大小和/或形状来重新配置至少一个设置。
在一些实施例中，至少一个设置涉及虚拟输入设备的空间位置，以及通过改变虚拟输入设备的空间位置来重新配置至少一个设置。
在一些实施例中，虚拟输入设备的至少一个设置经由至少一个中间设置从初始设置逐步地被重新配置为最终设置。
在一些实施例中，虚拟输入设备是虚拟键盘、虚拟计算机鼠标、虚拟遥控器、虚拟游戏控制器中的任何一个。
在一些实施例中，虚拟环境是扩展现实(XR)虚拟环境。
在一些实施例中，虚拟环境是增强现实(AR)虚拟环境、虚拟现实(VR)虚拟环境、或混合现实(MR)虚拟环境。
在一些实施例中，控制设备是通信设备的一部分或与通信设备集成。
根据以下详细公开、所附从属权利要求以及附图，所附实施例的其它目的、特征和优点将变得明显。
通常，权利要求中使用的所有术语应根据其在技术领域中的普通含义进行解释，除非本文另有明确定义。除非另有明确说明，否则对“一个/该元件、装置、组件、手段、模块、步骤等”的所有提及应被开放地解释为指代元件、装置、组件、手段、模块、步骤等的至少一个实例。除非明确说明，否则本文公开的任何方法的步骤不必以所公开的确切顺序执行。
此外，跟随有技术特征或方法步骤的陈述的术语“包括”应被理解为不排除所附权利要求中未陈述的方法步骤的其它技术特征的存在。
附图说明
现在参考附图通过示例的方式描述发明构思，在附图中：
图1是示出根据实施例的系统的示意图；
图2示意性地示出根据实施例的与用户接口设备交互的用户；
图3示意性地示出根据实施例的投影虚拟输入设备的用户接口设备；
图4和图5是根据实施例的方法的流程图；
图6是示出根据实施例的控制设备的功能单元的示意图；
图7是示出根据实施例的控制设备的功能模块的示意图；以及
图8示出根据一个实施例的包括计算机可读存储介质的计算机程序产品的一个示例。
具体实施方式
现在将在下文中参考附图更充分地描述发明构思，在附图中示出了发明构思的某些实施例。然而，该发明构思可以以许多不同的形式体现，并且不应被解释为限于本文所阐述的实施例；而是，这些实施例是通过示例的方式提供的，使得本公开将是彻底和完整的，并且将向本领域技术人员充分传达发明构思的范围。在整个描述中，相似的数字指代相似的元件。通过虚线示出的任何步骤或特征应被视为可选的。
图1是系统100的示意图。系统100包括用户接口设备110和控制设备600。用户接口设备110和控制设备600可操作地彼此连接。
在一些实现中，控制设备600是用户接口设备110的一部分或与用户接口设备110集成。在一些实现中，控制设备600是诸如移动电话、平板电脑、计算机等之类的通信设备的一部分或与通信设备集成。
用户接口设备110包括投影模块114，用于使虚拟输入设备120在表面上可见。在图1中，虚拟输入设备120被示意性地示为虚拟键盘。在其它非限制性示例中，虚拟输入设备120是虚拟计算机鼠标、虚拟遥控器、虚拟游戏控制器中的任何一个。
用户接口设备110还包括传感器112，用于感测用户在沿着表面的坐标处与虚拟输入设备120的用户交互。传感器112还被配置为跟踪用户的姿势和/或运动。用户的姿势和/或运动可以由至少一个传感器112跟踪，该至少一个传感器112被配置为记录表示用户的数字表示的传感器数据。可以分析用户210a、210b的数字表示以跟踪用户在虚拟环境中相对于用户输入设备120的姿势和/或运动。在一些非限制性示例中，用户210a、210b的数字表示涉及下述中的至少一个：用户210a、210b的手部位置和/或运动，用户210a、210b的手臂位置和/或者运动，用户210a、210b的头部位置和/或运动，用户210a、210b的颈部位置和/或运动，以及用户210a、210b的躯干位置和/或运动。传感器112可以是雷达模块、激光雷达模块、相机模块等。在一些示例中，传感器112是惯性测量单元(IMU)，并且设置在用户佩戴的手套上。因此，用户接口设备110的功能可能在至少两个物理设备之间划分。此外，不同类型的传感器112的组合也是可能的。
在图1中，用户示意性地由两只手130a、130b表示。软件转换坐标以识别由用户输入的动作或字符。虚拟输入设备120是虚拟环境的一部分。可以存在不同类型的虚拟环境。在一些非限制性示例中，虚拟环境是扩展现实(XR)虚拟环境。在另外的非限制性示例中，虚拟环境是增强现实(AR)虚拟环境、虚拟现实(VR)虚拟环境或混合现实(MR)虚拟环境。因此，尽管图1中的用户接口设备110被示为独立设备，但是用户接口设备110可以是头戴式耳机(诸如VR头戴式耳机)或可佩戴计算机眼镜(诸如AR眼镜或智能眼镜)的一部分。
如上所述，仍然需要具有改善的人体工程学的虚拟输入设备120。为了进一步说明这一点，参考图2。图2示意性地示出与用具有第一布局230a的虚拟键盘表示的用户接口设备120交互的第一用户120a、以及与用具有第二布局230b的虚拟键盘表示的用户接口设备120交互的第二用户120b。根据第一用户模型220a对第一用户210a进行建模，并且根据第二用户模型220b对第二用户210b进行建模。假设第一用户210a和第二用户120b彼此相同。如果与其中用户的手臂和手应该一起遵循直线、并且肩部之间的假想线应该相对于该直线接近90度的标准人体工程学模型相比，第一布局230a在第一用户120a的肩部和手腕上引起应力。第二布局230b更接近标准人体工程学模型。因此，从第一用户模型220a和第二用户模型220b可以推断出，第二布局230b为用户提供了比第一布局230a在人体工程学方面更良好的虚拟键盘。因此，与用具有第一布局230a的虚拟键盘表示的用户接口设备120交互可能会导致第一用户210a的人体工程学问题。
因此，本文公开的实施例涉及用于虚拟输入设备的基于人体工程学的重新配置的机制。为了获得这样的机制，提供了一种控制设备、由控制设备执行的方法、计算机程序产品，该计算机程序产品包括例如计算机程序形式的代码，当在控制设备上运行时，该代码使控制设备执行该方法。
接下来将并行地参考图3和图4，以用于公开虚拟输入设备120的基于人体工程学的重新配置。
图3示意性地示出投影虚拟键盘的形式的虚拟输入设备120的用户接口设备110，该虚拟键盘可在第一设置410a(例如，默认键盘配置)和第二设置410b之间变化，第二设置410b与针对当前用户210a、210b的在人体工程学上更有利的键盘位置和布局相对应。第一设置410a和第二设置410b之间的变化通过箭头420示意性地示出。如下面将进一步公开的，控制设备600被配置为基于用户210a、210b的当前姿势和/或运动与参考人体工程学数据的比较，在第一设置410a和第二设置410b之间自适应地改变虚拟输入设备120。
图4是示出用于虚拟输入设备120的基于人体工程学的重新配置的方法的实施例的流程图。这些方法由控制设备600执行。这些方法有利地被提供为计算机程序320。
S102：在用户210a、210b正在虚拟环境中与虚拟输入设备120交互时，控制设备600从传感器112获得用户210a、210b的姿势和/或运动的信息。
S110：控制设备600通过将用户210a、210b的姿势和/或运动与参考人体工程学数据进行比较，来确定用户210a、210b的姿势和/或运动是否满足人体工程学标准。
S112：当用户210a、210b的姿势和/或运动未能满足人体工程学标准时，控制设备600重新配置虚拟输入设备120的至少一个设置410a、410b。
至少一个设置410a、410b建议用户210a、210b在姿势和/或运动方面如何在虚拟环境中与虚拟输入设备120交互。设置的示例将在下面提供。根据用户210a、210b的姿势和/或运动以及参考人体工程学数据，来重新配置至少一个设置410a、410b。
重新配置虚拟输入设备120的至少一个设置410a、410b向用户210a、210b建议将姿势和/或运动改变为更接近满足人体工程学标准。
返回来参考图2，通过在用户210a、210b正在虚拟环境中与虚拟输入设备120交互时跟踪用户210a、210b的姿势和/或运动，控制设备600可以取决于用户210a、210b的姿势和/或运动，自适应地在第一布局230a和第二布局230b之间改变虚拟键盘，从而帮助用户210a、210b避免人体工程学问题，或者至少针对用户210a、210b产生更少的人体工程学问题。
现在将公开涉及由控制设备600执行的虚拟输入设备120的基于人体工程学的重新配置的进一步细节的实施例。
在一些方面中，通过用户模型220a、220b来跟踪用户210a、210b的姿势和/或运动。特别地，在一些实施例中，用户210a、210b的姿势和/或运动由被存储为用户210a、210b的数字孪生的用户模型220a、220b表示。当确定用户210a、210b的姿势和/或运动是否满足人体工程学标准时，于是将数字孪生与参考人体工程学数据进行比较。因此，可以创建由用户210a、210b的数字孪生定义的整体模型，其中可以数字地重新创建用户210a、210b的每个肢体，使得控制设备600可以计算当前用户姿势和肢体放置以及手、手臂和手指相对于彼此的放置和运动的表示。这允许控制设备600不仅获得当前人体工程学状况的快照，而且建立对随时间的推移的人体工程学状况的理解。
在一些方面中，考虑用户210a、210b的肢体的比例的相对长度以避免使用导致个体用户210a、210b的较差人体工程学姿势的虚拟输入设备120的设置410a、410b。特别地，在一些非限制性示例中，数字孪生表示用户210a、210b的手臂、手部、腿、脚、颈部、头部和躯干中的任何一个或者其任何组合，其相对尺寸从用户210a、210b的数字表示中提取。类似地，在一些非限制性示例中，阈值取决于根据用户210a、210b的数字表示导出的用户210a、210b的手臂、手部、头部和/或躯干的相对尺寸。
在一些方面中，将用户模型220a、220b与在人体工程学方面良好且优选的姿势和肢体放置的现有预定义模型、和/或应该避免的一组已识别的明显较差的星座(constellation)(诸如尖锐的肢体角度、距躯干的短距离导致前伸头姿势/书呆子脖子等)进行比较。如果检测到与现有预定义模型的偏差，则人体工程学问题被视为得到了识别，从而决定用户210a、210b的姿势和/或运动是否满足人体工程学标准。
在一些方面中，将用户模型220a、220b与在人体工程学方面良好且应该被使用的姿势和/或运动的预定义模型进行比较。特别地，在一些实施例中，参考人体工程学数据表示将由用户210a、210b使用的姿势和/或运动。当用户210a、210b的姿势和/或运动从参考人体工程学数据偏离大于第一阈值时，用户210a、210b的姿势和/或运动于是未能满足人体工程学标准。由此建议用户210a、210b将姿势和/或运动改变为更接近参考人体工程学数据。
在一些方面中，将用户模型220a、220b与人体工程学较差且应该被避免的姿势和/或运动的预定义模型进行比较。特别地，在一些实施例中，参考人体工程学数据表示将由用户210a、210b避免的姿势和/或运动。当用户210a、210b的姿势和/或运动从参考人体工程学数据偏离小于第二阈值时，用户210a、210b的姿势和/或运动于是未能满足人体工程学标准。由此建议用户210a、210b将姿势和/或运动改变为进一步远离参考人体工程学数据。
在一些方面中，空间和时间历史数据都可以被用作输入；例如，对于用户而言可能没问题的是使用不太优化的姿势和肢体放置少于5分钟，如果它不随时间的推移以某种模式重复的话。特别地，在一些实施例中，控制设备600被配置为执行(可选的)步骤S104：
S104：控制设备600检索表示用户210a、210b的先前姿势和/或运动的历史数据。确定用户210a、210b的姿势和/或运动是否满足人体工程学标准进一步根据历史数据进行。
在一些方面中，控制设备600随时间的推移聚合位置和/或运动，以建立对随时间的推移的人体工程学状况的理解。特别地，在一些实施例中，控制设备600被配置为执行(可选的)步骤S106和步骤S108：
S106：控制设备600随时间的推移聚合用户210a、210b的被跟踪的姿势和/或运动。
S108：控制设备600根据用户210a、210b的被跟踪的姿势和/或运动来构建用户模型220a、220b。
相应的头部、躯干、手臂、手和手指等的相对定位由此可能随时间的推移而被聚合，以使控制设备600不仅检测间歇性使用的较差人体工程学星座，而且考虑其长期(聚合的)使用。
在一些方面中，重新配置由其中部署有虚拟输入设备120的物理环境约束。例如，如果虚拟输入设备120被部署在受限的物理空间中，诸如当用户正在使用公共交通工具旅行时，则与虚拟输入设备120被部署在专门设计成用于与虚拟输入设备120交互的私人环境或工作环境中的情况相比，可能存在更少的可用空间。特别地，在一些实施例中，虚拟输入设备120被部署在物理环境中，并且重新配置虚拟输入设备120的至少一个设置410a、410b由物理环境的至少一个特性约束。特别地，在一些实施例中，约束由控制设备600根据控制设备600接收的物理环境的信息导出。物理环境的至少一个特性可能由传感器112感测。例如，传感器112可能被配置为测量或估计与物理环境中的物体的接近度，并将测量或估计作为信息提供给控制设备600。
在一些方面中，虚拟输入设备120可以在布局、大小、形状、形式或位置方面被改变。这与虚拟输入设备120是虚拟键盘、虚拟计算机鼠标、虚拟遥控器还是虚拟游戏控制器无关。因此，虚拟输入设备120可以被重新配置为在所确定的良好位置范围内改变虚拟输入设备120相对于用户使用的其它输入设备的物理位置，以帮助用户避免关节、颈部等的静态负载。
根据第一示例，改变涉及虚拟输入设备120的各个单独的按钮和/或键的大小或形状。特别地，在一些实施例中，至少一个设置410a、410b涉及虚拟输入设备120上的按钮和/或键的大小和/或形状。于是通过在虚拟输入设备120上改变按钮和/或键的大小和/或形状来重新配置至少一个设置410a、410b。
根据第二示例，改变涉及虚拟输入设备120的总体尺寸或形状。特别地，在一些实施例中，至少一个设置410a、410b涉及虚拟输入设备120的大小和/或形状。于是通过改变虚拟输入设备120的大小和/或形状来重新配置至少一个设置410a、410b。
根据第三示例，改变涉及虚拟输入设备120的空间位置。特别地，在一些实施例中，至少一个设置410a、410b涉及虚拟输入设备120的空间位置。于是通过改变虚拟输入设备120的空间位置来重新配置至少一个设置410a、410b。
在一些方面中，虚拟输入设备120被逐步地重新配置。特别地，在一些实施例中，虚拟输入设备120的至少一个设置410a、410b经由至少一个中间设置从初始设置被逐步地重新配置为最终设置。因此，可以在一段时间内逐渐执行重新配置，以便在输入会话期间不干扰用户。这意味着例如虚拟键盘可以从一个键盘布局缓慢且逐渐地形状转换到另一个键盘布局。
在一些方面中，在已经确定用户210a、210b的姿势和/或运动未能满足人体工程学标准，但是在重新配置虚拟输入设备120的至少一个设置410a、410b之前，控制设备600可以向用户210a、210b提供指示，以使用户210a、210b意识到用户210a、210b的姿势和/或运动未能满足人体工程学标准。可能地，该指示伴随有指令，以便给予用户210a、210b取消或同意所提出的解决方案的机会。同意所提出的解决方案也可以被允许加速虚拟输入设备120的形状转换，甚至直接进入例如新的键盘布局而不需要任何中间键盘布局。
图5是根据本文公开的实施例、方面和示例中的至少一些，由控制设备600执行的虚拟输入设备120的基于人体工程学的重新配置的方法的流程图。
S201：控制设备600检测到用户意图启动与虚拟输入设备120的会话。
S202：控制设备600指示用户接口设备110使虚拟输入设备120可见。
S203：在用户210a、210b正在与虚拟输入设备120交互时，控制设备600跟踪用户210a、210b的姿势和/或运动。
S204：控制设备600通过将用户210a、210b的姿势和/或运动与参考人体工程学数据进行比较，来确定用户210a、210b的姿势和/或运动是否满足人体工程学标准。
S205：用户210a、210b的姿势和/或运动未能满足人体工程学标准。控制设备600重新配置虚拟输入设备的至少一个设置410a、410b。
S206：控制设备600检测到用户不再与虚拟输入设备120交互，并确定结束在S201中启动的会话。
S207：控制设备600指示用户接口设备110停止使虚拟输入设备120可见。
图6以多个功能单元的形式示意性地示出根据一个实施例的控制设备600的组件。处理电路610使用能够执行存储在例如存储介质630的形式的计算机程序产品810(如图8所示)中的软件指令的适合的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)等中的一个或多个的任意组合来提供。处理电路610还可以被提供为至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)。
特别地，处理电路610被配置为使控制设备600执行如上文所公开的一组操作或步骤。例如，存储介质630可以存储该组操作，并且处理电路610可以被配置为从存储介质630检索该组操作以使控制设备600执行该组操作。该组操作可以作为一组可执行指令来提供。
因此，处理电路610由此被布置为执行本文公开的方法。存储介质630还可以包括持久存储装置，其例如可以是磁存储器、光存储器、固态存储器或者甚至远程定位的存储器中的任何一个或组合。控制设备600还可以包括通信接口620，其至少被配置用于与其它实体、功能、节点和设备进行通信。这样，通信接口620可以包括一个或多个发送器和接收器，包括模拟和数字组件。处理电路610例如通过向通信接口620和存储介质630发送数据和控制信号、通过从通信接口620接收数据和报告以及通过从存储介质630检索数据和指令来控制控制设备600的一般操作。省略了控制设备600的其它组件以及相关功能，以便不会模糊本文中提出的构思。
图7以多个功能模块的形式示意性地示出根据一个实施例的控制设备600的组件。图7的控制设备600包括多个功能模块；被配置为执行步骤S102的获得模块710，被配置为执行步骤S110的确定模块750，以及被配置为执行步骤S112的重新配置模块760。图7的控制设备600还可以包括多个可选的功能模块，诸如被配置为执行步骤S104的检索模块720、被配置为执行步骤S106的聚合模块730和被配置为执行步骤S108的构建模块740中的任何一个。一般来说，每个功能模块710:760在一个实施例中可以仅在硬件中实现，而在另一实施例中可以在软件的帮助下实现，即，后一实施例具有存储在存储介质630上的计算机程序指令，当在处理电路上运行时，计算机程序指令使控制设备600执行上面结合图7提到的相应步骤。还应该提到的是，即使模块对应于计算机程序的部分，它们也不需要是其中的单独模块，但是它们在软件中实现的方式取决于所使用的编程语言。优选地，一个或多个或所有功能模块710:760可以由处理电路610实现，可能与通信接口620和/或存储介质630合作。因此，处理电路610可以被配置为从存储介质630取回由功能模块710:760提供的指令，并执行这些指令，从而执行本文公开的任何步骤。
由控制设备600执行的指令的第一部分可以在第一设备中执行，并且由控制设备600执行的指令中的第二部分可以在第二设备中执行。本文公开的实施例不限于可以在其上执行由控制设备600执行的指令的设备的任何特定数量。因此，根据本文公开的实施例的方法适合于由驻留在云计算环境中的控制设备600执行。因此，尽管图6中示出了单个处理电路610，但是处理电路610可以分布在多个设备或节点之间。这同样适用于图7的功能模块710:760和图8的计算机程序820。
图8示出包括计算机可读存储介质830的计算机程序产品810的一个示例。在该计算机可读存储介质830上，可以存储计算机程序820，该计算机程序820可以使处理电路610以及可操作地耦合到其上的实体和设备(诸如通信接口620和存储介质630)执行根据本文描述的实施例的方法。计算机程序820和/或计算机程序产品810因此可以提供用于执行本文公开的任何步骤的装置。
在图8的示例中，计算机程序产品810被示为光盘，诸如CD(压缩盘)或DVD(数字多功能盘)或蓝光盘。计算机程序产品810还可以体现为存储器，诸如随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM)或电可擦可编程只读存储器(EEPROM)，并且更具体地体现为外部存储器中的设备的非易失性存储介质，外部存储器诸如是USB(通用串行总线)存储器或闪存存储器(诸如紧凑型闪存存储器)。因此，尽管计算机程序820在这里被示意性地示为所描绘的光盘上的轨道，但是计算机程序820可以以适合于计算机程序产品810的任何方式被存储。
发明构思主要已经在上面参考一些实施例进行了描述。然而，如本领域技术人员容易理解的，在所附专利权利要求所限定的发明构思的范围内，除了上述公开的实施例之外的其它实施例也是同样可能的。

Claims (25)

1.一种用于虚拟输入设备(120)的基于人体工程学的重新配置的控制设备(600)，所述控制设备(600)包括处理电路(610)，所述处理电路(610)被配置为使所述控制设备(600)：
在用户(210a、210b)正在虚拟环境中与所述虚拟输入设备(120)交互时，从传感器(112)获得用户(210a、210b)的姿势和/或运动的信息；
通过将所述用户(210a、210b)的所述姿势和/或运动与参考人体工程学数据进行比较，确定所述用户(210a、210b)的所述姿势和/或运动是否满足人体工程学标准；以及
当所述用户(210a、210b)的所述姿势和/或运动未能满足所述人体工程学标准时，根据所述用户(210a、210b)的所述姿势和/或运动以及所述参考人体工程学数据来重新配置所述虚拟输入设备(120)的至少一个设置(410a、410b)，以建议所述用户(210a、210b)将所述姿势和/或运动改变为更接近满足所述人体工程学标准。
2.根据权利要求1所述的控制设备(600)，其中，所述用户(210a、210b)的所述姿势和/或运动由定义所述用户(210a、210b)的数字孪生的用户模型(220a、220b)表示，以及其中，当确定所述用户(210a、210b)的所述姿势和/或运动是否满足所述人体工程学标准时，将所述数字孪生与所述参考人体工程学数据进行比较。
3.根据权利要求2所述的控制设备(600)，其中，所述数字孪生表示所述用户(210a、210b)的手臂、手部、腿、脚、颈部、头部和躯干中的任何一个或者其任何组合，其相对尺寸从所述用户(210a、210b)的数字表示中提取。
4.根据前述权利要求中任一项所述的控制设备(600)，其中，所述阈值取决于根据所述用户(210a、210b)的数字表示导出的所述用户(210a、210b)的手臂、手部、头部和/或躯干的相对尺寸。
5.根据前述权利要求中任一项所述的控制设备(600)，其中，所述参考人体工程学数据表示将由所述用户(210a、210b)使用的姿势和/或运动，其中，当所述用户(210a、210b)的所述姿势和/或运动从所述参考人体工程学数据偏离大于第一阈值时，所述用户(210a、210b)的所述姿势和/或运动未能满足所述人体工程学标准，并且由此建议所述用户(210a、210b)将所述姿势和/或运动改变为更接近所述参考人体工程学数据。
6.根据前述权利要求中任一项所述的控制设备(600)，其中，所述参考人体工程学数据表示将由所述用户(210a、210b)避免的姿势和/或运动，其中，当所述用户(210a、210b)的姿势和/或运动从所述参考人体工程学数据偏离小于第二阈值时，所述用户(210a、210b)的所述姿势和/或运动未能满足所述人体工程学标准，并且由此建议所述用户(210a、210b)将所述姿势和/或运动改变为进一步远离所述参考人体工程学数据。
7.根据前述权利要求中任一项所述的控制设备(600)，其中，所述处理电路(610)还被配置为使所述控制设备(600a)：
检索表示所述用户(210a、210b)的先前姿势和/或运动的历史数据，以及其中，确定所述用户(210a、210b)的所述姿势和/或运动是否满足所述人体工程学标准进一步是根据所述历史数据进行的。
8.根据前述权利要求中任一项所述的控制设备(600)，其中，所述处理电路(610)还被配置为使所述控制设备(600)：
随时间的推移聚合所述用户(210a、210b)的被跟踪的姿势和/或运动；以及
根据所述用户(210a、210b)的被跟踪的姿势和/或运动来构建用户模型(220a、220b)。
9.根据前述权利要求中任一项所述的控制设备(600)，其中，所述用户(210a、210b)的所述姿势和/或运动由至少一个传感器(112)跟踪，所述至少一个传感器(112)被配置为记录表示所述用户(210a、210b)的数字表示的传感器数据，以及其中，分析所述用户(210a、210b)的数字表示以跟踪所述用户(210a、210b)在所述虚拟环境中相对于所述用户输入设备的姿势和/或运动。
10.根据权利要求9所述的控制设备(600)，其中，所述用户(210a、210b)的所述数字表示涉及下述中的至少一个：所述用户(210a、210b)的手部位置和/或运动，所述用户(210a、210b)的手臂位置和/或运动，所述用户(210a、210b)的头部位置和/或运动，所述用户(210a、210b)的颈部位置和/或运动，以及所述用户(210a、210b)的躯干位置和/或运动。
11.根据前述权利要求中任一项所述的控制设备(600)，其中，重新配置所述虚拟输入设备(120)的所述至少一个设置(410a、410b)由其中部署有所述虚拟输入设备(120)的物理环境的至少一个特性约束。
12.根据权利要求11所述的控制设备(600)，其中，所述约束由所述控制设备(600)根据所述控制设备(600)接收的所述物理环境的信息导出。
13.根据前述权利要求中任一项所述的控制设备(600)，其中，所述至少一个设置(410a、410b)涉及所述虚拟输入设备(120)上的按钮和/或键的布局，以及其中，通过在所述虚拟输入设备(120)上改变所述按钮和/或键的布局来重新配置所述至少一个设置(410a、410b)。
14.根据前述权利要求中任一项所述的控制设备(600)，其中，所述至少一个设置(410a、410b)涉及所述虚拟输入设备(120)上的按钮和/或键的大小和/或形状，以及其中，通过在所述虚拟输入设备(120)上改变所述按钮和/或键的大小和/或形状来重新配置所述至少一个设置(410a、410b)。
15.根据前述权利要求中任一项所述的控制设备(600)，其中，所述至少一个设置(410a、410b)涉及所述虚拟输入设备(120)的大小和/或形状，以及其中，通过改变所述虚拟输入设备(120)的大小和/或形状来重新配置所述至少一个设置(410a、410b)。
16.根据前述权利要求中任一项所述的控制设备(600)，其中，所述至少一个设置(410a、410b)涉及所述虚拟输入设备(120)的空间位置，以及其中，通过改变所述虚拟输入设备(120)的空间位置来重新配置所述至少一个设置(410a、410b)。
17.根据前述权利要求中任一项所述的控制设备(600)，其中，所述虚拟输入设备(120)的所述至少一个设置(410a、410b)经由至少一个中间设置从初始设置逐步地被重新配置为最终设置。
18.根据前述权利要求中任一项所述的控制设备(600)，其中，所述虚拟输入设备(120)是虚拟键盘、虚拟计算机鼠标、虚拟遥控器、虚拟游戏控制器中的任何一个。
19.根据前述权利要求中任一项所述的控制设备(600)，其中，所述虚拟环境是扩展现实XR虚拟环境。
20.根据前述权利要求中任一项所述的控制设备(600)，其中，所述虚拟环境是增强现实AR虚拟环境、虚拟现实VR虚拟环境、或混合现实MR虚拟环境。
21.根据前述权利要求中任一项所述的控制设备(600)，其中，所述控制设备(600)是通信设备的一部分或与通信设备集成。
22.一种系统(100)，包括根据前述权利要求中任一项所述的控制设备(600)和用户接口设备(110)，其中，所述用户接口设备(110)包括用于使虚拟输入设备(120)在表面上可见的投影模块(114)，以及用于感测所述用户(210a、210b)与所述虚拟输入设备(120)的用户交互的传感器(112)。
23.一种用于虚拟输入设备(120)的基于人体工程学的重新配置的方法，所述方法由控制设备(600)执行，所述方法包括：
在用户(210a、210b)正在虚拟环境中与所述虚拟输入设备(120)交互时，从传感器(112)获得(S102)用户(210a、210b)的姿势和/或运动的信息；
通过将所述用户(210a、210b)的所述姿势和/或运动与参考人体工程学数据进行比较，确定(S110)所述用户(210a、210b)的所述姿势和/或运动是否满足人体工程学标准；以及
当所述用户(210a、210b)的所述姿势和/或运动未能满足所述人体工程学标准时，根据所述用户(210a、210b)的所述姿势和/或运动以及所述参考人体工程学数据来重新配置所述虚拟输入设备(120)的至少一个设置(410a、410b)，以建议所述用户(210a、210b)将所述姿势和/或运动改变为更接近满足所述人体工程学标准。
24.一种用于虚拟输入设备(120)的基于人体工程学的重新配置的计算机程序(820)，所述计算机程序包括计算机代码，当在控制设备(600)的处理电路(610)上运行时所述计算机代码使所述控制设备(600)：
在用户(210a、210b)正在虚拟环境中与所述虚拟输入设备(120)交互时，从传感器(112)获得(S102)用户(210a、210b)的姿势和/或运动的信息；
通过将所述用户(210a、210b)的所述姿势和/或运动与参考人体工程学数据进行比较，确定(S110)所述用户(210a、210b)的所述姿势和/或运动是否满足人体工程学标准；以及
当所述用户(210a、210b)的所述姿势和/或运动未能满足所述人体工程学标准时，根据所述用户(210a、210b)的所述姿势和/或运动以及所述参考人体工程学数据来重新配置所述虚拟输入设备(120)的至少一个设置(410a、410b)，以建议所述用户(210a、210b)将所述姿势和/或运动改变为更接近满足所述人体工程学标准。
25.一种计算机程序产品(810)，包括根据权利要求24所述的计算机程序(820)，以及在其上存储所述计算机程序的计算机可读存储介质(830)。
CN202180103792.3A 2021-10-29 2021-10-29 虚拟输入设备的基于人体工程学的重新配置 Pending CN118159929A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2021/080160 WO2023072404A1 (en) 2021-10-29 2021-10-29 Ergonomic based reconfiguration of virtual input device

Publications (1)

Publication Number Publication Date
CN118159929A true CN118159929A (zh) 2024-06-07

Family

ID=78536177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180103792.3A Pending CN118159929A (zh) 2021-10-29 2021-10-29 虚拟输入设备的基于人体工程学的重新配置

Country Status (2)

Country Link
CN (1) CN118159929A (zh)
WO (1) WO2023072404A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9746928B2 (en) * 2011-04-19 2017-08-29 Lg Electronics Inc. Display device and control method thereof
US9548012B1 (en) * 2012-08-29 2017-01-17 Amazon Technologies, Inc. Adaptive ergonomic keyboard
US10694017B2 (en) * 2018-06-14 2020-06-23 International Business Machines Corporation Ergonomic position detector
US11366514B2 (en) * 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position

Also Published As

Publication number Publication date
WO2023072404A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
US10013143B2 (en) Interfacing with a computing application using a multi-digit sensor
KR101877823B1 (ko) 정보 처리를 위한 방법, 장치, 및 디바이스
CN101520702B (zh) 一种模拟多点输入的系统及方法
US9041651B2 (en) Multi-touch mouse
KR101930225B1 (ko) 터치스크린 동작모드의 제어방법 및 제어장치
US20170090749A1 (en) Systems and Methods for Disambiguating Intended User Input at an Onscreen Keyboard Using Dual Strike Zones
US20130120282A1 (en) System and Method for Evaluating Gesture Usability
US20120133587A1 (en) Sensor-augmented, gesture-enabled keyboard and associted apparatus and computer-readable storage medium
EP3007441A1 (en) Interactive displaying method, control method and system for achieving displaying of a holographic image
EP2776905B1 (en) Interaction models for indirect interaction devices
US20130106707A1 (en) Method and device for gesture determination
US20110248946A1 (en) Multi-mode prosthetic device to facilitate multi-state touch screen detection
US11301128B2 (en) Intended input to a user interface from detected gesture positions
Matulic et al. Hand contact shape recognition for posture-based tabletop widgets and interaction
US20140298275A1 (en) Method for recognizing input gestures
CN105474164A (zh) 间接输入的歧义消除
US10860120B2 (en) Method and system to automatically map physical objects into input devices in real time
CN109254672A (zh) 游标控制方法及游标控制系统
CN103348307B (zh) 用户接口
CN118159929A (zh) 虚拟输入设备的基于人体工程学的重新配置
CN107037874A (zh) 重压和移动手势
KR20240090894A (ko) 가상 입력 장치의 인체공학 기반 재구성
US11204662B2 (en) Input device with touch sensitive surface that assigns an action to an object located thereon
TWI425397B (zh) 觸控模組及其控制方法
WO2023072406A1 (en) Layout change of a virtual input device

Legal Events

Date Code Title Description
PB01 Publication