CN114077307A - 具有输入界面的模拟系统与方法 - Google Patents

具有输入界面的模拟系统与方法 Download PDF

Info

Publication number
CN114077307A
CN114077307A CN202110326472.6A CN202110326472A CN114077307A CN 114077307 A CN114077307 A CN 114077307A CN 202110326472 A CN202110326472 A CN 202110326472A CN 114077307 A CN114077307 A CN 114077307A
Authority
CN
China
Prior art keywords
image
input interface
simulation system
hand
thumb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110326472.6A
Other languages
English (en)
Inventor
李忠儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Technologies Ltd
Original Assignee
Himax Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Technologies Ltd filed Critical Himax Technologies Ltd
Publication of CN114077307A publication Critical patent/CN114077307A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

一种具有输入界面的模拟系统，包含影像撷取装置，撷取使用者的手部影像；影像产生装置，产生包含多个键的键盘的电脑生成影像；叠加装置，叠加电脑生成影像与撷取影像；及追踪装置，根据多张叠加影像以追踪手的拇指的动作，以决定拇指是否击键。

Description

具有输入界面的模拟系统与方法
技术领域
本发明是有关一种扩增实境(augmented reality)装置，特别是关于一种扩增实境装置的输入机制。
背景技术
扩增实境(augmented reality)技术将电脑生成(computer-generated)影像叠加至使用者的真实世界的视野(view)，以提供合成(composite)视野。扩增实境容许真实世界环境的互动经验，使得真实世界的物件受到电脑生成感知信息的提升。换句话说，扩增实境是真实世界与虚拟世界的结合，可促进即时的互动。虚拟实境(virtual reality)是类似于真实世界的模拟(simulated)经验。
电脑键盘是电脑或可携式电子装置(例如智能型手机)的重要元件，用以输入指令或本文(text)。键盘不便于配置在扩增实境装置，因此通常使用语音识别(speechrecognition)以翻译使用者所说的话，或者姿势识别(gesture recognition)，借由视觉侦测或设于周边装置的感测器以诠释使用者的身体动作。然而，这些技术通常不够精确或过于复杂。
因此亟需提出一种新颖机制，以提供扩增实境装置一种简单且精确的输入界面。
发明内容
鉴于上述，本发明实施例的目的之一在于提出一种模拟系统或方法，例如扩增实境或虚拟实境，以提供虚拟键盘，作为本文输入的界面。
根据本发明实施例，具有输入界面的模拟系统包含影像撷取装置、影像产生装置、叠加装置及追踪装置。影像撷取装置撷取使用者的手部影像，以产生撷取影像。影像产生装置产生键盘的电脑生成影像，该键盘包含多个键。叠加装置叠加电脑生成影像与撷取影像，以产生叠加影像。追踪装置根据多张叠加影像以追踪手的拇指的动作，以决定拇指是否击键。
较佳地，根据该撷取影像，以产生手的虚拟影像。
较佳地，该电脑生成影像叠加至虚拟影像，以产生该叠加影像。
较佳地，该影像产生装置产生三维点云，其包含扫描手外表的多个点所形成的资料点集合。
较佳地，该叠加装置将该电脑生成影像的键对准于该撷取影像的食指、中指、无名指或小指。
较佳地，使用该撷取影像的深度资讯，根据指骨部分与指间关节以分割手指，用以安排键在手指上。
较佳地，更包含：显示器，显示该叠加影像给使用者。
较佳地，该显示器包含智能型眼镜的透明透镜。
较佳地，该显示器包含视网膜投影机，将该叠加影像直接显示于使用者的眼睛的视网膜。
较佳地，当拇指移至键，接着离开该键，则判定为击键。
根据本发明实施例，一种具有输入界面的模拟方法，包含：撷取使用者的手部影像，以产生撷取影像；产生键盘的电脑生成影像，该键盘包含多个键；叠加该电脑生成影像与该撷取影像，以产生叠加影像；及根据多张叠加影像以追踪手的拇指的动作，以决定拇指是否击键。
较佳地，根据该撷取影像，以产生手的虚拟影像。
较佳地，该电脑生成影像叠加至虚拟影像，以产生该叠加影像。
较佳地，产生三维点云，其包含扫描手外表的多个点所形成的资料点集合。
较佳地，该电脑生成影像的键对准于该撷取影像的食指、中指、无名指或小指。
较佳地，使用该撷取影像的深度资讯，根据指骨部分与指间关节以分割手指，用以安排键在手指上。
较佳地，更包含：显示该叠加影像给使用者。
较佳地，该叠加影像的显示借由智能型眼镜的透明透镜。
较佳地，该叠加影像的显示借由视网膜投影机，将该叠加影像直接显示于使用者的眼睛的视网膜。
较佳地，当拇指移至键，接着离开该键，则判定为击键。
借由上述技术方案，本发明至少具有以下优点效果：本发明具有输入界面的模拟系统与方法能够扩增实境或虚拟实境，以提供虚拟键盘，作为本文输入的界面，而该界面简单且精确。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1显示本发明实施例的扩增实境系统的方框图。
图2显示本发明实施例的扩增实境方法的流程图。
图3例示叠加影像，键分别对准于食指、中指、无名指及小指。
图4A显示智能型眼镜的显示器与撷取手部影像的影像撷取装置的示意图。
图4B例示通过显示器的使用者的视场。
图5A至图5C显示左手的拇指击键的例子。
图6例示连续的击键与相应输出的键。
【主要元件符号说明】
100：扩增实境系统 11：影像撷取装置
12：处理器 121：影像产生装置
122：叠加装置 123：追踪装置
13：显示器 200：扩增实境方法
21：撷取手部影像 22：产生键盘的电脑生成影像
23：叠加电脑生成影像至撷取影像 24：显示叠加影像
25：拇指是否有动作？ 26：击键？
27：输出键
具体实施方式
图1显示本发明实施例的扩增实境(augmented reality)系统100的方框图，图2显示本发明实施例的扩增实境方法200的流程图。扩增实境系统100的方框与扩增实境方法200的步骤可由硬件、软件或其组合来实施，例如数字影像处理器(digital imageprocessor)。在一实施例中，扩增实境系统100可设于穿戴式(wearable)装置，例如头戴式(head-mounted)显示器或智能型眼镜(smart glasses)。虽然本实施例以扩增实境系统100或扩增实境方法200作为例子，然而本发明也可适用于虚拟实境(virtual reality)系统或方法。一般来说，本发明可适用于模拟(simulated)系统或方法，例如扩增实境或虚拟实境。
在本实施例中，扩增实境系统100可包含影像撷取装置11，例如二维(2D)相机、三维(3D)相机或两者。本实施例的影像撷取装置11用以撷取使用者的手部影像，因而产生使用者的视场(field of view)的撷取影像(步骤21)。在本实施例中，影像撷取装置11可依据固定时间间隔以重复或周期撷取影像。在虚拟实境系统或方法中，可根据撷取影像以产生使用者的手部虚拟影像。
本实施例的扩增实境系统100可包含(处理器12当中的)影像产生装置121，用以(在步骤22)产生(电脑)键盘的电脑生成影像(computer-generated image)，其包含多个键(例如字母、数字及标点符号)。这些键的布局(或排列)可为标准布局(例如QWERTY布局)或特定(或使用者定义)布局。在本实施例中，影像产生装置121可产生三维点云(3D pointcloud)，其包含扫描手外表的多个点所形成的资料点集合(set)。
在本实施例中，扩增实境系统100可包含(处理器12当中的)叠加(superimposing)装置122，用以叠加(来自影像产生装置11的)电脑生成影像与(来自影像撷取装置11的)撷取影像，因而产生叠加影像(步骤23)。在虚拟系统或方法当中，(键盘的)电脑生成影像可叠加至手部虚拟影像。
在本实施例中，叠加装置122可使用人工智能引擎(artificial intelligenceengine)，用以将电脑生成影像的键(例如字母、数字及标点符号)对准于手部撷取影像的手指(特别是食指、中指、无名指及小指)。图3例示叠加影像，键分别对准于食指、中指、无名指及小指。
在一实施例中，可使用三维影像的深度资讯，根据(平坦的)指骨部分(phalangealpart)与(谷状的)指间关节(interphalangeal joint)以提供明显的影像特征区别以分割手指，用以安排键在手指上，以利后续步骤的侦测与追踪。如果使用更多的深度资讯，则可安排更多的键于手指上。
本实施例的扩增实境系统100可包含显示器13，用以显示(来自叠加装置122的)叠加影像给使用者(步骤24)。显示器13可为智能型眼镜的透明透镜。图4A显示智能型眼镜的显示器13与撷取手部影像的影像撷取装置11的示意图。图4B例示通过显示器13的使用者的视场。在另一实施例中，显示器13可包含视网膜(retinal)显示器或投影机，其将叠加影像直接显示于使用者的眼睛的视网膜。
在本实施例中，扩增实境系统100可包含(处理器12当中的)追踪装置123，借由动作撷取并根据多张叠加影像以追踪手的拇指的动作(步骤25)。如果拇指经追踪没有动作，则流程回到步骤21。否则，追踪装置123于步骤26决定拇指是否击键(key stroke)。
当拇指移至键，接着离开该键，则判定为击键。图5A至图5C显示左手的拇指击键的例子。如图5A所示，拇指移往键“4”(图5B)，接着拇指离开键“4”(图5C)。因此，判定拇指击键。值得注意的是，可同时使用二个拇指以击键。例如，当右拇指击键“SHIFT”且左拇指击键“a”，则判定击键“A”。为便于使用者的操作，可使用(影像产生装置121所产生的)指标(pointer，例如亮点)来标示拇指的指尖，且将靠近拇指的键的亮度提高。当追踪装置123决定了击键，则在步骤27输出相应的键(例如字母、数字及标点符号)。图6例示连续的击键与相应输出的键。
以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (20)

1.一种具有输入界面的模拟系统，其特征在于，包含：
影像撷取装置，撷取使用者的手部影像，以产生撷取影像；
影像产生装置，产生键盘的电脑生成影像，该键盘包含多个键；
叠加装置，叠加该电脑生成影像与该撷取影像，以产生叠加影像；及
追踪装置，根据多张叠加影像以追踪手的拇指的动作，以决定拇指是否击键。
2.根据权利要求1所述的具有输入界面的模拟系统，其特征在于，根据该撷取影像，以产生手的虚拟影像。
3.根据权利要求2所述的具有输入界面的模拟系统，其特征在于，该电脑生成影像叠加至虚拟影像，以产生该叠加影像。
4.根据权利要求1所述的具有输入界面的模拟系统，其特征在于，该影像产生装置产生三维点云，其包含扫描手外表的多个点所形成的资料点集合。
5.根据权利要求1所述的具有输入界面的模拟系统，其特征在于，该叠加装置将该电脑生成影像的键对准于该撷取影像的食指、中指、无名指或小指。
6.根据权利要求5所述的具有输入界面的模拟系统，其特征在于，使用该撷取影像的深度资讯，根据指骨部分与指间关节以分割手指，用以安排键在手指上。
7.根据权利要求1所述的具有输入界面的模拟系统，其特征在于，更包含：显示器，显示该叠加影像给使用者。
8.根据权利要求7所述的具有输入界面的模拟系统，其特征在于，该显示器包含智能型眼镜的透明透镜。
9.根据权利要求7所述的具有输入界面的模拟系统，其特征在于，该显示器包含视网膜投影机，将该叠加影像直接显示于使用者的眼睛的视网膜。
10.根据权利要求1所述的具有输入界面的模拟系统，其特征在于，当拇指移至键，接着离开该键，则判定为击键。
11.一种具有输入界面的模拟方法，其特征在于，包含：
撷取使用者的手部影像，以产生撷取影像；
产生键盘的电脑生成影像，该键盘包含多个键；
叠加该电脑生成影像与该撷取影像，以产生叠加影像；及
根据多张叠加影像以追踪手的拇指的动作，以决定拇指是否击键。
12.根据权利要求11所述的具有输入界面的模拟方法，其特征在于，根据该撷取影像，以产生手的虚拟影像。
13.根据权利要求12所述的具有输入界面的模拟方法，其特征在于，该电脑生成影像叠加至虚拟影像，以产生该叠加影像。
14.根据权利要求11所述的具有输入界面的模拟方法，其特征在于，产生三维点云，其包含扫描手外表的多个点所形成的资料点集合。
15.根据权利要求11所述的具有输入界面的模拟方法，其特征在于，该电脑生成影像的键对准于该撷取影像的食指、中指、无名指或小指。
16.根据权利要求15所述的具有输入界面的模拟方法，其特征在于，使用该撷取影像的深度资讯，根据指骨部分与指间关节以分割手指，用以安排键在手指上。
17.根据权利要求11所述的具有输入界面的模拟方法，其特征在于，更包含：显示该叠加影像给使用者。
18.根据权利要求17所述的具有输入界面的模拟方法，其特征在于，该叠加影像的显示借由智能型眼镜的透明透镜。
19.根据权利要求17所述的具有输入界面的模拟方法，其特征在于，该叠加影像的显示借由视网膜投影机，将该叠加影像直接显示于使用者的眼睛的视网膜。
20.根据权利要求11所述的具有输入界面的模拟方法，其特征在于，当拇指移至键，接着离开该键，则判定为击键。
CN202110326472.6A 2020-08-12 2021-03-26 具有输入界面的模拟系统与方法 Pending CN114077307A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/991,657 US20220050527A1 (en) 2020-08-12 2020-08-12 Simulated system and method with an input interface
US16/991,657 2020-08-12

Publications (1)

Publication Number Publication Date
CN114077307A true CN114077307A (zh) 2022-02-22

Family

ID=80224108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110326472.6A Pending CN114077307A (zh) 2020-08-12 2021-03-26 具有输入界面的模拟系统与方法

Country Status (2)

Country Link
US (1) US20220050527A1 (zh)
CN (1) CN114077307A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240077936A1 (en) * 2022-09-07 2024-03-07 Snap Inc. Selecting ar buttons on a hand

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
GB201423328D0 (en) * 2014-12-30 2015-02-11 Nokia Corp User interface for augmented reality
CN108230383A (zh) * 2017-03-29 2018-06-29 北京市商汤科技开发有限公司 手部三维数据确定方法、装置及电子设备
CN110914786A (zh) * 2017-05-29 2020-03-24 爱威愿景有限公司 用于在外部场景与虚拟图像之间配准的方法和系统
US20200117282A1 (en) * 2017-06-26 2020-04-16 Seoul National University R&Db Foundation Keyboard input system and keyboard input method using finger gesture recognition

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4239456A1 (en) * 2014-03-21 2023-09-06 Samsung Electronics Co., Ltd. Method and glasses type wearable device for providing a virtual input interface
US20180329209A1 (en) * 2016-11-24 2018-11-15 Rohildev Nattukallingal Methods and systems of smart eyeglasses
SG11202005537XA (en) * 2017-12-22 2020-07-29 Ultrahaptics Ip Ltd Human interactions with mid-air haptic systems
US10955929B2 (en) * 2019-06-07 2021-03-23 Facebook Technologies, Llc Artificial reality system having a digit-mapped self-haptic input method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
GB201423328D0 (en) * 2014-12-30 2015-02-11 Nokia Corp User interface for augmented reality
CN108230383A (zh) * 2017-03-29 2018-06-29 北京市商汤科技开发有限公司 手部三维数据确定方法、装置及电子设备
CN110914786A (zh) * 2017-05-29 2020-03-24 爱威愿景有限公司 用于在外部场景与虚拟图像之间配准的方法和系统
US20200117282A1 (en) * 2017-06-26 2020-04-16 Seoul National University R&Db Foundation Keyboard input system and keyboard input method using finger gesture recognition

Also Published As

Publication number Publication date
US20220050527A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
US10261595B1 (en) High resolution tracking and response to hand gestures through three dimensions
US11747618B2 (en) Systems and methods for sign language recognition
US9927881B2 (en) Hand tracker for device with display
KR101652535B1 (ko) 차량 인터페이스를 위한 제스처 기반 제어 시스템
US8199115B2 (en) System and method for inputing user commands to a processor
US20090322671A1 (en) Touch screen augmented reality system and method
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
US20100177035A1 (en) Mobile Computing Device With A Virtual Keyboard
CN116097209A (zh) 人工现实交互模式的整合
CN107357434A (zh) 一种虚拟现实环境下的信息输入设备、系统及方法
CN114077307A (zh) 具有输入界面的模拟系统与方法
Abdallah et al. An overview of gesture recognition
CN106991398B (zh) 一种基于图像识别配合图形手套的手势识别方法
Raees et al. Thumb inclination-based manipulation and exploration, a machine learning based interaction technique for virtual environments
Jiang et al. A brief analysis of gesture recognition in VR
Annachhatre et al. Virtual Mouse Using Hand Gesture Recognition-A Systematic Literature Review
JP2021009552A (ja) 情報処理装置、情報処理方法およびプログラム
Chansri et al. Low cost hand gesture control in complex environment using raspberry pi
CN117492560A (zh) 基于增强现实的输入法的实现方法及其应用和实现系统
Verma et al. 7 Machine vision for human–machine interaction using hand gesture recognition
Dudas et al. Hand signal classification system for sign language communication in Virtual Reality
Hsieh et al. Robust visual mouse by motion history image
CN116403280A (zh) 基于关键点检测的单目摄像头增强现实手势交互方法
He et al. Computer vision-based augmented reality system for assembly interaction
CN115953375A (zh) 多方法融合的手部穴位定位方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination