CN107077229A - 人机接口装置和系统 - Google Patents

人机接口装置和系统 Download PDF

Info

Publication number
CN107077229A
CN107077229A CN201580057202.2A CN201580057202A CN107077229A CN 107077229 A CN107077229 A CN 107077229A CN 201580057202 A CN201580057202 A CN 201580057202A CN 107077229 A CN107077229 A CN 107077229A
Authority
CN
China
Prior art keywords
touch
screen
robot
joint element
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580057202.2A
Other languages
English (en)
Other versions
CN107077229B (zh
Inventor
大卫·汉森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spring Power Holdings Ltd
Original Assignee
Spring Power Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spring Power Holdings Ltd filed Critical Spring Power Holdings Ltd
Publication of CN107077229A publication Critical patent/CN107077229A/zh
Application granted granted Critical
Publication of CN107077229B publication Critical patent/CN107077229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Abstract

一种用于计算机化系统的接口装置，所述接口装置包含经配置以用于与所述计算机化系统的触摸屏上的区域可操作的接合的接合元件，以实现经由所述触摸屏与所述计算机化系统介接，其中所述接合元件包含查看表面，所述查看表面经配置以允许显示于所述触摸屏上的所述区域处的内容的表示通过所述查看表面可见，所述接合元件与所述触摸屏可操作地接合。

Description

人机接口装置和系统
技术领域
本发明涉及用于在与计算机化系统介接过程中使用的装置和系统，且特定来说，是经由计算机化系统的触摸屏接口进行介接。
背景技术
术语“人机接口”(Human Computer Interface；HCI)常用以指用户可以凭其与计算机化系统交互的构件。HCI的实例包含例如监视器屏幕或打印机的输出装置，以及例如键盘、触摸屏、输入板、扫描器和/或鼠标的输入装置。
与触摸屏型HCI相关联的一个问题为当用户正通过使手指或触控笔接触触摸屏而与触摸屏交互时，用户对触摸屏上显示的内容的查看往往会由用户的手指或触控笔挡住。这些现有触摸屏HCI并不具有对用户手指或触控笔下面所挡住的内容进行补偿的能力。
发明内容
本发明力图减轻上文所描述问题中的至少一个。
本发明可以涉及若干广泛形式。本发明的实施例可以包含本文中所描述的不同广泛形式中的一个或任何组合。
在第一广泛形式中，本发明提供一种用于计算机化系统的接口装置，接口装置包含经配置以用于与计算机化系统的触摸屏上的区域可操作的接合的接合元件，以实现经由触摸屏与计算机化系统介接，其中接合元件包含查看表面，所述查看表面经配置以允许显示于触摸屏的区域处的内容的表示通过查看表面可见，接合元件与触摸屏可操作地接合。
优选地，接合元件可以包含鼠标和触控笔中的至少一个。
优选地，查看表面可以基本透明。
优选地，查看表面可以经塑形以表示游戏块和角色中的至少一个。
优选地，查看表面可以包含镜片。
优选地，显示于触摸屏上的区域处的内容可以包含静态图像和视频流中的至少一个。
优选地，显示于触摸屏的区域处的内容的表示可以包含动画。
优选地，内容的表示可以包含拟人角色。
优选地，查看表面可以经配置以使得通过查看表面可见的显示于触摸屏的区域上的内容的表示是以三维形式表示。
优选地，本发明可以经配置以使得接合元件的操作特性能够由计算机化系统感测，且借以计算机化系统可以经配置以响应于接合元件的所感测的操作特性，控制通过查看表面可见的在触摸屏的区域处的内容的表示的输出特性。
优选地，接合元件的操作特性可以包含接合元件的类型、接合元件相对于触摸屏的二维位置/定向、接合元件相对于触摸屏的三维位置/定向和接合元件相对于触摸屏的移动模式或手势中的至少一个。
优选地，本发明可以包含触摸信令阵列，其中接合元件的操作特性可以由计算机化系统参考触摸信令阵列感测。
在第二广泛形式中，本发明提供一种人机接口系统，其包含：
触摸屏，其经配置以用于与计算机化系统可操作的通信；和
接合元件，其经配置以使得在人的控制下，接合元件可与触摸屏上的区域可操作地接合，以使得人能够经由触摸屏与计算机化系统介接；
其中接合元件包含查看表面，所述查看表面经配置以允许显示于触摸屏上的区域处的内容的表示通过查看表面可见，接合元件与触摸屏可操作地接合。
优选地，接合元件可以包含鼠标和触控笔中的至少一个。
优选地，查看表面可以基本透明。
优选地，查看表面可以经塑形以表示游戏块和角色中的至少一个。
优选地，查看表面可以包含镜片。
优选地，显示于触摸屏上的区域处的内容的表示可以包含静态图像和视频流中的至少一个。
优选地，内容的表示可以包含动画。
优选地，内容的表示可以包含拟人角色。
优选地，查看表面可以经配置以使得通过查看表面可见的显示于触摸屏的区域上的内容的表示可以三维形式表示。
优选地，本发明可以经配置以使得接合元件的操作特性可以通过触摸屏感测，且借以触摸屏经配置以响应于接合元件的所感测的操作特性，控制通过查看表面可见的在触摸屏的区域处的内容的表示的输出特性。
优选地，接合元件的操作特性可以包含接合元件的类型、接合元件相对于触摸屏的二维位置/定向、接合元件相对于触摸屏的三维位置/定向和接合元件相对于触摸屏的移动模式或手势中的至少一个。
优选地，本发明可以包含触摸信令阵列，其中接合元件的操作特性可以由触摸屏参考触摸信令阵列感测。
优选地，本发明可以经配置以用作人的自动助理、广告媒体、治疗工具、教育媒体、玩具、娱乐媒体和游戏媒体中的至少一个。
在第三广泛形式中，本发明提供一种用于与计算机化系统的触摸屏一起使用的机器人，所述机器人包含：
定位机构，其经配置以用于在触摸屏的区域处定位机器人；
接合元件，其经配置以与触摸屏可操作地接合，机器人的操作特性经配置以用于在接合元件与触摸屏可操作地接合时由计算机化系统的传感器感测；和
处理模块；
其中响应于机器人的所感测的操作特性，处理模块经配置以执行以下各项中的至少一个：
(a)参考机器人的所感测的操作特性来控制机器人执行动作；和
(b)参考机器人的所感测的操作特性在触摸屏上显示预定内容。
优选地，机器人可以包含例如宠物狗或国际象棋棋子的角色表示。
优选地，机器人的操作特性可以包含机器人的类型和机器人相对于触摸屏的位置/定向中的至少一个。
优选地，处理模块可以包含智能电话和触摸屏中的至少一个。
优选地，机器人可以包含查看表面，经由所述查看表面，显示于触摸屏的区域处的内容的表示通过查看表面可见，机器人与触摸屏可操作地接合。
优选地，本发明可以包含用于参考安置于机器人上的电容性触摸板来感测机器人的操作特性的传感器，所述触摸板经配置以与触摸屏的触摸传感器阵列可操作地接合。
优选地，计算机化系统可以经配置以控制机器人的动作，并在触摸屏上显示可以模拟机器人与显示于触摸屏上的内容之间的交互的内容。
优选地，计算机化系统可以经配置以感测人类用户的位置/定向，并响应于人类用户的所感测位置/定向，控制机器人朝向人类用户移动和/或执行问候。
在第四广泛形式中，本发明提供一种人机接口系统，其包括：
(a)至少一个可分离镜片，其可操作以将光从触摸屏透射通过所述镜片，
(b)附接到所述镜片的至少一个特征，其可操作以通过触摸屏感测。
优选地，本发明可以包含：
(a)第一组软件指令，其可操作以接收并处理来自附接到所述镜片的至少一个特征的输入以估计所述镜片的至少一些状态，
(b)第二组软件指令，其可操作以确定对所述第一组软件指令的输出的响应。
优选地，所述响应的至少一些部分可为可操作的以控制触摸屏上的至少一个图像的动画。
优选地，动画的至少一些部分可以透射通过镜片。
优选地，本发明可以包含可操作以控制类似至少一些人非语言通信的动画的软件。
优选地，本发明可以进一步包含附接到或可附接到TLM的至少一个触控笔。
优选地，本发明可以进一步包含至少一个镜片的形式，其可操作以将三维形状提供到透射通过镜片的图像。
优选地，本发明可以进一步包含一组可操作以检测TLM中的至少一个模式的软件指令，且由此识别或估计以下各者中的至少一个：特定TLM或TLM类型、TLM的定向、TLM的3D位置、TLM的其它特定状态和/或TLM的用户的状态。
优选地，本发明可以进一步包含塑形成游戏块的镜片。
优选地，镜片可以塑形成角色。
优选地，本发明可以进一步包含可操作以检测TLM的特定手势动作的构件。
通常，本发明可以充当至少一个人与至少一个计算机之间的接口。
通常，本发明可以充当至少一个人与至少一个计算机网络之间的接口。
通常，本发明可以充当人的自动助理。
通常，本发明可以充当广告媒体。
通常，本发明可以充当治疗工具。
通常，本发明可以充当教育工具。
通常，本发明可以充当玩具。
通常，本发明可以充当娱乐媒体。
通常，本发明可以充当游戏媒体。
在第五广泛形式中，本发明提供一种用于人机接口的机器，其包含：
(a)可分离镜片，其具有可操作以将输入发送到触摸屏的特征，
(b)动画，其可操作以对所述特征的动作作出响应。
优选地，所述动画的至少一些部分可以类似拟人角色的至少一些部分。
优选地，本发明可以进一步包含可操作以将动画透射通过镜片的元件。
优选地，动画可以表示信息或数据。
通常，本发明可以充当广告媒体。
通常，本发明可以充当教育工具。
通常，本发明可以充当玩具。
通常，本发明可以充当娱乐媒体。
优选地，本发明可以进一步包含塑形成游戏块的镜片。
优选地，本发明可以进一步包含塑形成角色的镜片。
优选地，本发明可以进一步包含可操作为显示器的镜片。
在本发明的另一广泛形式中，提供一种人机接口系统，其包含可操作以触摸于屏幕上并通过触摸屏感测的可分离镜片硬件，和可操作以在计算系统的控制下登记镜片硬件的位置的传感器。所述系统可以包括可操作以响应于镜片确定所述镜片在屏幕显示器上的位置和定向，接收并处理来自传感器的输入的第一组软件指令。所述系统还可以包括可操作以确定对镜片位置的响应的第二组软件指令，借以计算系统将输出对应于响应的信号，使得在至少一些情况中，输出信号控制镜片下的图像的动画。
本发明可以辅助提供若干重要的技术优势。在不脱离本发明的范围的情况下，本发明的实施例可以没有，或具有这些技术优势中的一些或全部。本发明可以提供用于人们与各种电子装置交互的更自然的机制。通过将透明镜片提供为触控笔或鼠标，本发明促进了鼠标下的图像显示，在其它情况下所述图像显示可能被鼠标挡住。另一重要的技术优势是本发明可以辅助在镜片下的图像中向计算机正交互的人显示改变的信息，以更好地促进计算机与人之间的交互。
附图说明
从以下结合附图所描述的对本发明的优选但非限制性实施例的详细描述将变得更充分地理解本发明，其中：
图1说明作为“触摸式镜片鼠标”(touch lens mouse；TLM)的本发明的一个实施例；
图2说明结合触摸屏的TLM实施例的使用实例；
图3说明TLM展示为具有十字线的鼠标以展示位置和点击方法的本发明的另一实施例；
图4为说明可用以使用TLM达成控制的控制系统配置的一个实施例的框图；
图5为说明用以访问、导览或修改呈现于计算机网络上的信息的TLM形式的实施例的框图。
具体实施方式
本文中现将参看图式的图1到5描述本发明的优选实施例和其优势，类似数字用于各种图式的类似和对应部分。
本发明的一个方面为称为触摸式镜片鼠标(TLM)的HCI系统，其包括具有当触摸或靠近触摸屏时产生多点触摸信号的特征的基本透明的镜片，以便产生可比先前HCI系统更令人感到愉快、更易于理解和/或更具信息性的人机交互。用于通过触摸屏感测TLM的一种可能手段可以包含触摸信令阵列(Touch Signaling Array；TSA)，其包括用以用受控触摸点集合向触摸检测器进行信号表示的元件集合，所述触摸点集合由嵌入于镜片或鼠标状物件内或以其它方式附接到镜片或鼠标状物件的任何合适材料(例如，橡胶和/或金属)构成，所述镜片或鼠标状物件可操作以透射信号到触摸检测表面和/或范围；此TSA可以可相互区别的签名配置进行布置，以便相对于另一TSA识别给定TSA并用信号表示TSA的定向以及位置。
在一个实施例中，TLM包括用于TLM传输至少一些手势性非语言人类通信信号的设备和/或软件，用于TLM决定对所感觉感知的有意义响应的设备和/或软件，和用于TLM使用TLM显示人输入响应的设备和/或软件。为感测并感知自然人类通信信号，TLM可以利用(非限制性地)触摸跟踪、多点触摸感测和模式辨识。也可以使用其它硬件和/或软件系统。为决定对所感觉感知的有意义响应，TLM可以使用专家知识系统、逻辑推理系统和/或统计推理系统中的任一个、全部或不使用。也可以使用其它有关系统。为显示通信输出，TLM可以利用在TLM镜片下且向上透射通过TLM镜片以影响经由TLM镜片的3维显示的动画，例如(但不限于)外观似人的面部动画、面部表情和/或手势。
可以通过除了TLM中的所述动画角色或其它显示之外的其它显示(或其它输出)技术的经协调整合来发展TLM。在一些实施例中，此额外输出技术可以用常规计算机图形和文本、声音等补充自然通信。也可以使用产生各种气味的技术。也可以使用产生触觉感觉的技术。也可以使用产生身体手势和/或运动的技术。
下文的描述呈现可与本发明的TLM相关联的许多其它选项。下文的描述还呈现许多其它结构、方法、物质组成等，其中的每一者可以构成单独的发明。
在更详细描述图式之前，以下描述将提供关于本文中所揭示的本发明的各种实施例和各方面的一些额外综述信息。下文的描述论述TLM的各种方面和其使用的各种选项。本文中的内容并不意图是本发明必不可少的或以基于此描述的任何所发布专利的权利要求书中未指定的某种方式限制本发明。
可以通过使用用TLM系统所展示的任何合适的动画变型在TLM系统中模拟生物体、角色、机器人和/或其它生物；在此处和下文中，“动画”将指包含(但不限于)皮肤、毛皮、肉体、羽毛和/或类似者的生物的可见行为的动画仿真。任何合适的显示技术(例如(但不限于)：lcd、tft、等离子、led、oled、全息照相和/或背投)可以用于本专利中描述显示器的任何位置处，和TLM系统中使用显示器的任何位置处。在本专利中的使用中所描述的全部显示器可以是触摸屏，但其不是必须如此。
本发明还可以包含用于经由镜片或鼠标状物件达成传导性多点触摸的机械系统，且下文将称为“触摸信令阵列”。触摸信令阵列或TSA包括用以用受控触摸点集合向触摸检测器进行信号表示的元件集合，所述触摸点集合由嵌入于镜片或鼠标状物件内或以其它方式附接到镜片或鼠标状物件的任何合适材料(例如，橡胶和/或金属)构成，所述镜片或鼠标状物件可操作以透射信号到触摸检测表面和/或范围。
本发明还涉及实现特定多点触摸手势的触摸信令阵列的若干实施例。触摸信令阵列的一个实施例可以仿真多个人类手指的动态图案的外观，从而模拟类似于人多点触摸输入的动作的动作以控制到计算系统的信息输入。
本发明的另一方面可以包含触摸式镜片鼠标的实施例，例如，可以用于或可不用于包含(但不限于)棋盘游戏、虚拟角色的显示和控制、车辆控制系统、环境控制和/或机器人控制的应用中。
本发明的另一方面可以包含触摸式镜片鼠标的实施例，例如，可以用作或可不用作用于浏览、导览和/或修改计算机和/或计算机网络(例如(但不限于)：网页、云、企业内部网络和/或蜂窝网络)上的信息的通用构件，使得与TLM系统的交互可以提供比一些替代性HCI更具吸引性且更高带宽的信息交换。在这些情况下，TLM可以用于以下操作中的一个、一些、全部或不用于：(a)通过TLM镜片显示信息，(b)允许使用TLM的视觉和手势方面操纵由图标、符号和/或角色表示的信息，(c)通过手势、TLM操纵、触觉感测和/或访问用户相关数据从人类用户获得数据，并将这些数据整合成用户的认知、感情和/或社会状态的模型，(d)通过使用专家系统数据库、大数据分析和/或可以基于或可不基于认知和心理学的标准知识的推理系统执行对用户数据的诊断和评估，(e)使用通过TLM和同步言语表达的自然显示以传递手势、知识、信息、娱乐、教育、广告和/或帮助，(f)帮助评估用户的行为、发育表现和目标进展，(g)执行信息或角色的任何其它显示，或允许对当前由其它HCI和/或相关计算系统执行或可以由TLM系统以其它方式服务的信息的任何其它操纵。
TLM的实施例可以用作例如教育播放物件、教育玩具或播放装置和/或发育治疗装置的发育培养工具，使得与所述工具的交互可以为儿童提供健康发育益处和/或娱乐益处。在这些情况下，TLM可以用于以下操作中的一个、一些、全部或不用于：(a)经由TLM镜片下显示的角色提供与儿童的培养、教育和/或娱乐交互，(b)通过可以包含游戏、照顾通过TLM显示的虚拟宠物或其它角色和/或讲故事的不同手段维持儿童对自然显示和言语表达的注意力，以向儿童传递知识、鼓励、指派和/或行为改变的命令/建议，(c)通过手势、视觉检查、触觉感测和/或访问儿童相关数据从儿童获得数据，(d)通过使用专家系统数据库、大数据分析和可以基于或可不基于教育学和发育心理学的标准知识的推理系统执行对儿童数据的诊断和评估，(e)用交互、言语和/或手势在治疗上和/或教育上影响儿童和/或使儿童合群，(f)向父母亲、医务人员和/或教育者提供对儿童的行为、发育表现和进步的评估，(g)执行信息或角色的任何其它显示，或允许对当前由其它HCI、玩具和/或有关计算系统执行或可以由TLM系统以其它方式服务的信息的任何其它操纵。
TLM的实施例可以用作(例如)游戏玩具、游戏块、活动人物、玩偶、新奇产品、模拟动物和/或视频游戏的显示装置。在这些情况下，TLM可以用于以下操作中的一个、一些、全部或不用于：(a)通过可以包含游戏、交互对话、与虚拟宠物或通过TLM显示的其它角色的交互和/或讲故事的不同手段和言语表达维持用户的注意力，以向用户传递知识、鼓励、指派和/或行为改变的命令/建议，(c)通过手势、TLM输入、视觉检查、触觉感测、访问用户相关数据或任何其它手段从用户获得数据，(d)通过使用专家系统数据库、大数据分析、智能系统和/或任何其它手段执行对用户数据的诊断和评估，(e)用交互、言语和/或手势影响用户，(f)编译并呈现对用户状态、行为、发育表现和进展的评估，且进展到(g)以执行信息或角色的任何其它显示，或允许对当前由其它HCI、玩具和/或相关计算系统执行或可以由TLM系统以其它方式服务的信息的任何其它操纵，(h)连接到计算机网络以用于多用户游戏和/或访问额外知识和/或数据以用于增强型有趣功能。
TLM的实施例可以用作艺术控制，包含(但不限于)数字雕塑输入、CAD控制、音乐制作、电影编辑、自动剧院控制和/或自动架构空间。在这些情况下，TLM可以用于以下操作中的一个、一些、全部或不用于：(a)为艺术家提供美学、文化和/或叙述表达，(b)通过可以包含游戏、语言交互、表现、自动环境改变和/或讲故事的不同手段维持查看者的注意力，(c)通过TLM交互从个人或人们获得数据，(d)以某种手段评估所述数据，(e)确定响应，(f)使用自然显示、言语表达和自动环境改变来以文化或心理作用影响为目标向查看者传递感觉印象，(f)提供人们对艺术品响应的记录和评估以用于艺术品补充、用于后世历史和/或用于科学评估，(g)执行可以自动化的当前由鼠标或触控笔或显示器或角色或艺术形式执行的内容的任何其它服务。
虽然上文描述已提供用于实施TLM的各种选项和TLM的各种应用，但在不脱离本发明的范围的情况下，所描述TLM可以省略所描述应用和/或机械、电子、机电、软件和其它系统中的一些或全部。其它系统可以取代所揭示的那些系统。其它应用可以取代所揭示的那些应用。虽然已经描述TLM的各种应用，但在不脱离本发明的范围的情况下TLM可以用于其它应用。虽然TLM可以具有执行本文中所描述的全部应用的能力，但在不脱离本发明的范围的情况下其也可以不执行功能、执行一些功能或执行其它功能。所属领域的技术人员将进一步理解，上文对机械系统的描述可以包含电子、机电和生物组件。此类系统也可以涉及计算机软件。
图1说明触摸式镜片鼠标的一个实施例，其包含一起充当TSA的传导元件8、光可透射镜片9和绝缘元件10。
图2说明触摸式镜片鼠标的一个实施例，其中人类用户11将TLM 12放置于具有所显示成像13的触摸屏上，从而通过TLM镜片12展示触摸屏成像，并展示由TLM将成像操纵到新位置14(如图4中所展示)。
图3说明触摸式镜片鼠标的一个实施例，其中TLM具有允许TLM充当触控笔的手柄15，和允许用户更准确地在触摸屏显示环境中瞄准对象的标记于TLM镜片上的十字线16。
图4为说明可以用以说明一个实施例的TLM系统配置的一个实施例的框图，其包含触摸屏60上的TLM鼠标和电子控制系统88，所述电子控制系统管控各种机构的操作，以便使用TLM TSA达成到计算机的至少一些输入来影响计算机中的数据控制，并达成从控制系统的受控输出，例如，触摸屏上的成像改变。可以由任何合适的通信媒体将数据从TLM传感器发送到计算机，所述通信媒体包含(但不限于)线缆和/或无线链路。相同或单独的通信链路可以用于输入和输出两者，且可以在不脱离本发明的范围的情况下使用多个通信链路。传感器数据可被转送到计算系统88，所述系统在所述图中包括计算机和各种软件，但可以存在于微控制器、计算机网络、蜂窝电话、输入板或任何其它计算硬件和/或软件内。由计算系统88执行的功能也可以完全或部分由专用硬件执行。尽管图4中将计算系统88描绘为存在于TLM外部，但在不脱离本发明的范围的情况下，计算系统88可以替代地部分或完全封闭于TLM内。自动语音辨识(Automatic Speech Recognition；ASR)89可以处理有关音频数据以检测语音并提取词语和低级语言含义。计算机视觉90可以使用视频数据执行各种视觉感知任务中的任一个，例如，检测人情绪或TLM鼠标运动。决定过程91可以基于所接收输入确定适当通信响应和其它行为。特殊程序92可用以增强系统的功能性。特定程序93是由TLM访问的其它软件。数据存储器94实现长期存储，构建知识，并存储软件。语音或其它听觉响应可由任何合适的语音合成软件95产生并使用音频换能器使其变得可听到。任何合适的视频控制器96可以用于控制动画以实现在TLM中显示动作，例如(但不限于)角色动画。可以在不脱离本发明的范围的情况下省略计算系统88的组件中的一些或全部或添加其它组件。关于软件模块，图5更具体地展示每一个进行的操作，且描述每一者的市售现成选项。虽然在所描述的实施例中传感器被描述为放置于TLM系统内，但TLM装置并不要求将传感元件(其可以包含以下各者中的任一个、全部、不包含或其它：摄像机、麦克风、嗅觉传感器、触摸传感器、速度传感器、加速计和/或定位传感器)中的任一个整合到TLM中。在不改变本发明的范围的情况下，任何和/或全部传感器可以放置于TLM外部的其它位置中(或TLM内不同于本文中描述的其它位置中)。另外，可以按需要利用或可不利用其它传感器，例如，条形码扫描器、红外传感器、超声传感器、回声定位传感器、触摸传感器、速度传感器、加速计、定位传感器、指纹扫描器、视网膜扫描器、血压计、脉冲检测器、EEG检测器、兆赫成像装置、磁共振成像装置、探地雷达、皮肤电流检测器和/或任何合适的其它感测、感知或数据收集和分析仪表和技术。TLM还可以或可不经由任何合适的数据传输构件(例如，计算网络)从外部传感器访问数据，所述传感器可能包含其它装置(例如，气象站、汽车传感器、“智能灰尘”传感器、机器人和/或其它TLM装置)内含有的传感器。
图5为说明可用以仿真至少一些人机接口和TLM系统中的任选人-人通信的控制系统配置的一个实施例的框图。在所描绘的实施例中，TLM接口13中具有触摸屏的输入板60、视频传感器和音频传感器67响应人类用户移动TSA 12而将触摸数据和(任选的)相关视频和音频数据传输到计算系统88。称为自动语音辨识(ASR)89的一组运行于计算空间中的软件和/或嵌入式硬件处理程序处理音频数据以检测语音并提取词语和低级语言含义。任何合适的软件可以用于实现ASR，包含(例如)来自卡内基梅隆大学的Sphinx或Nuance Dragon的各种可用系统。称为计算机视觉90的另一组软件和/或嵌入式硬件处理程序可以使用视频数据执行各种视觉感知任务中的任一个。此类视觉感知任务可以包含使用任何合适的软件检测和跟踪人们的面部，所述软件可以包含(例如)英特尔的开放计算机视觉库或微软的Kinect SDK的各种可用软件。其它视觉感知过程还可以包含跟踪人们的面部上的面部特征或表情，且任何合适的软件可以用于此任务，例如，谷歌的面部感知软件。决定过程91可用以确定适当通信响应和其它行为，且任何合适的软件可以用于此目的，例如，游戏引擎(例如，JMonkey或Unreal)或会话引擎(例如，公用或市售“聊天机器人”软件中的任一个，如“Eliza”和“Alice”)。替代地，所属领域的技术人员可以创建特定针对于上文所描述应用的软件以实施所主张的本发明。称为特殊程序92的其它过程可以是可以与TLM绑定的任何现成或定制软件，所述软件包含标准软件中未包含的针对特定应用增强TLM的功能，例如，监视患者的生命机能的软件、检测化学危险的存在的软件和/或引起火灾警报或防盗警报的软件。称为特定程序93的其它过程可用以以其它方式增强系统的功能性。这些特定程序93可以是可以由TLM访问的任何现成软件，其中TLM变成用户通过其与特定程序交互的层；此软件可以包含以下各者中的任一个、全部或不包含：电子表格软件、网页浏览软件、电子邮件程序、文字处理软件、电子书、专家系统、人工智能软件、数学软件、地理定位软件和/或游戏软件。数据存储器94可用以实现长期存储、构建知识并存储软件。语音响应可以由任何合适的语音合成软件95(例如，开源软件“Festival”)合成以使用音频换能器70变得可听到。任何合适的视频控制器96可以用于实现TLM 12中的非语言表达。非语言响应可以独立于语音操作(在一个实施例中，通过直接模仿)，或与所合成语音的内容同步操作。
以下章节通过TLM控制系统的一个实施例论述数据流。TLM 13中的触摸屏60可以响应TSA 12的手势动作而将信号发送到计算空间88，所述计算空间估计TSA 12的状态，例如，位置、定向、轨迹、接近度和/或触摸屏上的压力。关于此TSA的状态数据可以被发送到决定过程91上，所述决定过程可以基于管控TLM系统决策的变量决定对TSA信号作出反应。如果TLM决定对所感知的人作出反应，则可以将关于在人员控制下的TLM的预期位置的数据发送到视频控制器96。视频控制信号可以行进到TLM接口13中控制动画位置和其它变量的触摸屏60以使动画跟踪所感知TSA，从而使得动画可以看起来为TLM的部分，且使得当TLM接近触摸屏时动画可以出现，且在TLM远离触摸屏抬起时消失，由此产生动画实际上产生于镜片内的错觉。决定过程91还可以将信号发送到视频控制器96以实现问候笑容；视频控制器96可以产生并发送适当信号到动画以模拟进食或战斗或其它角色行为。决定过程91还可以将信号发送到语音合成95以发出问候。语音合成95可以产生对应的语音问候信号，并将此信号发送到TLM中的音频换能器70以使人员可听到所述信号。在这些问候手势之后，人员可以返回问候，且接着请求是否已为人员发送任何新电子邮件消息。TLM中的麦克风可以检测到语音数据，将数据传输到ASR 89，所述ASR可以破译词语且可以破译一些语言内容。所得语言分析将被转送到决定过程，所述决定过程可以进一步破译语言内容以理解人员的请求。决定过程可以唤起用于个人助理功能的特殊程序92以将电子邮件请求转译成适当网页浏览功能。特殊程序92接着可以将信号发送到特定程序93，所述特定程序经由网络97打开因特网上的适当服务器和URL以打开人员的电子邮件账户。特殊程序92接着解密消息的超文本以确定什么电子邮件消息是新的并将此数据返回到决定过程91，所述决定过程将信息转成转送到语音合成95的自然语言，所述语音合成接着产生转送到TLM中的音频换能器70的语音信号。此可听到信号的传输完成了控制环路。在所描述事务期间，可以将全部数据从决定过程、特殊程序和特定程序转送到数据存储器94，在所述数据存储器处可以按需要记录所述数据以用于未来参考。数据存储器94还可以用以存储未被主动使用的软件以按需要将其召入到执行任务(active duty)中来节省处理资源。
本文中，触摸式镜片鼠标也可用以访问、导览或修改呈现于计算机网络97上的信息，其中所述计算机以某种方式连接到计算机网络97以使得所述计算机可以访问其它计算机中呈现的数据；此数据接着被转译成仿真自然动画以用于通过触摸屏60传输。TLM可以通过以下操作充当到虚拟个人助理的接口：通过镜片显示此助理，并响应于来自用户的自然对话和TSA手势而执行有帮助的功能。TLM可以充当智能动画角色、“聊天机器人”或虚拟形象的各种计算机产生角色的替代性显示器(如与显示屏上的“虚拟”成像相反，TLM是三维的且在TLM镜片内强调)。在一个此实施例中，TLM可以充当到视频游戏的接口，使得TLM表示视频游戏角色的控制器和3D显示器，且在如此操作时，角色显得存在于游戏外部、存在于实体地体现的世界中，因此增强视频游戏用户的体验并打开视频游戏设计中的许多新的可能性。
在本发明的替代性实施例中，提供包括触摸屏(例如，输入板或IPAD)和机器人(例如，双马达机器人)的计算机化系统，所述机器人经合适地大小设定和尺寸设定以在远程无线控制下可操作地与触摸屏的表面接合并跨越所述表面移动。相机可操作地连接到触摸屏，且能够参考由相机捕获的图像来确定人类用户相对于触摸屏的位置。
机器人包含经配置以允许跨越触摸屏的表面定位机器人的定位机构。定位机构可以包含车轮组合件、牵引机接合机构、滑动接合机构等等。
机器人包含安置于下侧表面上的电容性触摸板，其经配置以在机器人可操作地接合触摸屏时由安置于触摸屏上的传感器阵列感测，以便在任何给定时间处提供机器人相对于触摸屏表面的位置/定向信息。电容性触摸板还提供指示通过触摸屏感测的机器人的操作特性的其它信息。举例来说，电容性触摸板图案可以特定且唯一的图案制造于机器人上，所述图案指示与触摸屏交互的机器人的特定类型或身份标识。在通过使用检测算法感测每一特定且唯一电容性阵列图案并辨识机器人的特定类型或身份标识之后，触摸屏经配置以启动匹配机器人的身份标识的特定响应或响应序列。特定且唯一的图案可用以区分经塑形和制作以类似于不同类型的国际象棋棋子、不同类型的动物、不同类型的宠物等的机器人。举例来说，一个机器人可以具有布置成具有长度为3mm、3mm和5mm的边的三角形图案的3个电容性触摸板，但另一机器人可以具有布置成具有长度为4mm、4mm和3mm的边的三角形图案的3个电容性触摸板。
在一个实例中，响应于机器人和人类用户的所感测位置/定向，触摸屏可以经配置以将无线控制信号传输到机器人以指导机器人朝向人类用户的位置移动，并将又一无线控制信号传输到机器人以使其执行针对人类用户的问候。替代地，智能电话或其它计算装置可以用于将控制信号无线地传输到机器人以控制机器人的移动和操作特性。在又一实例中，机器人可以表示宠物狗，借以响应于宠物狗机器人和人类用户的所感测位置/定向，触摸屏可以经配置以在触摸屏上显示内容和/或将移动控制信号无线地传输到机器人，所述信号使机器人与触摸屏上的内容和/或人类用户交互。举例来说，在将机器人识别为“宠物狗”之后，触摸屏可以产生表示厨房场景中的狗盘的内容。触摸屏经配置以接着将控制信号无线地传输到宠物狗机器人，借此机器人发出呜呜声、朝向狗盘移动、在狗盘处抓挠并转向注视人类用户的位置以乞求狗粮。触摸屏进一步经配置以经由触摸屏接收并处理人类用户手指手势，此可以使在触摸屏上显示狗粮袋子的表示，人类用户接着可以用他/她的指尖朝向狗盘的图像拖动袋子以装盛狗盘。触摸屏可以进一步经配置以使得当狗粮袋子的图像触摸狗盘的图像时，出现狗粮从袋子倒入狗盘的视频。此后，触摸屏经配置以将控制信号传输到机器狗，所述信号使其在吃狗粮之前欢快地跳起舞，同时发出欢快的声音并转向为感激地注视人类用户的位置。
在另一实例中，响应于机器狗的所感测定位/定向信息或其它所感测的操作特性，触摸屏可以经配置以产生表示玩具的内容，且借此触摸屏经配置以将控制信号传输到宠物狗机器人，从而使宠物狗机器人模拟跨越触摸屏表面朝向人类用户拖曳玩具表示的移动。触摸屏进一步经配置以接收并处理呈经由触摸屏键入的手指手势形式的人类用户指令，借此玩具能够与来自宠物狗机器人的玩具扭成一团并使显示于触摸屏上的玩具图像看起来像被跨越触摸屏“抛掷”。响应于玩具图像被跨越触摸屏“抛掷”，触摸屏经配置以将控制信号传输到宠物狗机器人以使其以指示宠物狗机器人拾取玩具并将玩具返回给人类用户的方式移动跨越触摸屏。
在本发明的某些实施例中，机器人还包含TLM型镜片，使得显示于触摸屏上的内容的表示能够向上通过TLM型镜片以三维形式投射。
本发明的实施例可能能够提供实体地体现的计算机动画。即，以动画形式显示于触摸屏上的内容可以由可操作地与触摸屏接合的机器人表示，所述机器人能够绕触摸屏实体地移动并实体地体现表示显示于触摸屏上的动画内容的面部表情。通过使用具有专用计算的机器人且通过从(机器人)外部通用计算(例如，手机、PC或云)无线地控制机器人来减少在实施实体地体现的动画过程中的成本。有利的是，使用曲面或柔性屏幕显示器以及此机器人可能辅助显示面部表情或其它成像。
在某些实施例中，用于这些实施例中的机器人的部分(例如，身体、头部和腿部)可单独地出售并由用户模块化组装，此情况的优势为提供更个性化用户体验。
尽管已经详细地描述本发明，但应理解可以在不脱离如由所附权利要求书定义的本发明的领域和范围的情况下在此作出各种改变、取代和更改。
所属领域的技术人员将了解，本文中所描述的本发明在不脱离本发明的范围的情况下易受除具体描述的变化和修改以外的变化和修改。对所属领域的技术人员变得显而易见的全部此类变化和修改应视为属于本发明的如上文广泛描述的精神和范围。应理解，本发明包含全部此类变化和修改。本发明还包含说明书中个别或共同地参考或指示的全部步骤和特征，和所述步骤或特征中的任两者或两者以上的任何和全部组合。
本说明书中对任何现有技术的参考不是并且不应被看作对现有技术形成常识的部分的承认或任何形式的建议。
为辅助专利局和关于本申请所发布的任何专利的任何读者解释在此所附的权利要求书，申请人希望注意到，其并不打算所附权利要求书中的任一个援引在本申请的申请日时存在的美国专利法第112条(35U.S.C.§112)第6段，除非“用于…的构件”或“用于…的步骤”用于特定权利要求中。

Claims (33)

1.一种用于计算机化系统的接口装置，所述接口装置包含经配置以用于与所述计算机化系统的触摸屏上的区域可操作的接合的接合元件，以实现经由所述触摸屏与所述计算机化系统介接，其中所述接合元件包含查看表面，所述查看表面经配置以允许显示于所述触摸屏上的所述区域处的内容的表示通过所述查看表面可见，所述接合元件与所述触摸屏可操作地接合。
2.根据权利要求1所述的接口装置，其中所述接合元件包含鼠标和触控笔中的至少一个。
3.根据权利要求1或2所述的接口装置，其中所述查看表面基本透明。
4.根据前述权利要求中任一权利要求所述的接口装置，其中所述查看表面经塑形以表示游戏块和角色中的至少一个。
5.根据前述权利要求中任一权利要求所述的接口装置，其中所述查看表面包含镜片。
6.根据前述权利要求中任一权利要求所述的接口装置，其中显示于所述触摸屏上的所述区域处的所述内容的表示包含静态图像和视频流中的至少一个。
7.根据前述权利要求中任一权利要求所述的接口装置，其中显示于所述触摸屏的所述区域处的所述内容的表示包含动画。
8.根据前述权利要求中任一权利要求所述的接口装置，其中所述内容的表示包含拟人角色。
9.根据前述权利要求中任一权利要求所述的接口装置，其中所述查看表面经配置以使得通过所述查看表面可见的显示于所述触摸屏的所述区域上的内容的表示是以三维形式表示。
10.根据前述权利要求中任一权利要求所述的接口装置，其经配置以使得所述接合元件的操作特性能够由所述计算机化系统感测，且借此所述计算机化系统经配置以响应于所述接合元件的所述所感测的操作特性，控制通过所述查看表面可见的内容的所述表示在所述触摸屏上的所述区域处的输出特性。
11.根据权利要求10所述的接口装置，其中所述接合元件的所述操作特性包含所述接合元件的类型、所述接合元件相对于所述触摸屏的二维位置/定向、所述接合元件相对于所述触摸屏的三维位置/定向和所述接合元件相对于所述触摸屏的移动模式或手势中的至少一个。
12.根据权利要求10或11所述的接口装置，其包含触摸信令阵列，其中所述接合元件的所述操作特性能够由所述计算机化系统参考所述触摸信令阵列感测。
13.一种人机接口系统，其包含：
触摸屏，其经配置以用于与计算机化系统可操作的通信；以及
接合元件，其经配置以使得在人的控制下，所述接合元件与所述触摸屏上的区域可操作地接合，以实现人经由所述触摸屏与所述计算机化系统的介接；
其中所述接合元件包含查看表面，所述查看表面经配置以允许显示于所述触摸屏上的所述区域处的内容的表示通过所述查看表面可见，所述接合元件与所述触摸屏可操作地接合。
14.根据权利要求13所述的人机接口系统，其中所述接合元件包含鼠标和触控笔中的至少一个。
15.根据权利要求13或14所述的人机接口系统，其中所述查看表面基本透明。
16.根据权利要求13到15中任一权利要求所述的人机接口系统，其中所述查看表面经塑形以表示游戏块和角色中的至少一个。
17.根据权利要求13到16中任一权利要求所述的人机接口系统，其中所述查看表面包含镜片。
18.根据权利要求13到17中任一权利要求所述的人机接口系统，其中显示于所述触摸屏上的所述区域处的内容的所述表示包含静态图像和视频流中的至少一个。
19.根据权利要求13到18中任一权利要求所述的人机接口系统，其中内容的所述表示包含动画。
20.根据权利要求13到19中任一权利要求所述的人机接口系统，其中内容的所述表示包含拟人角色。
21.根据权利要求13到20中任一权利要求所述的人机接口系统，其中所述查看表面经配置以使得通过所述查看表面可见的显示于所述触摸屏的所述区域上的所述内容的表示是以三维形式表示。
22.根据权利要求13到21中任一权利要求所述的人机接口系统，其经配置以使得所述接合元件的操作特性能够由所述触摸屏感测，且借此所述触摸屏经配置以响应于所述接合元件的所述所感测的操作特性，控制通过所述查看表面可见的在所述触摸屏的所述区域处的内容的所述表示的输出特性。
23.根据权利要求22所述的人机接口系统，其中所述接合元件的所述操作特性包含所述接合元件的类型、所述接合元件相对于所述触摸屏的二维位置/定向、所述接合元件相对于所述触摸屏的三维位置/定向和所述接合元件相对于所述触摸屏的移动模式或手势中的至少一个。
24.根据权利要求22或23所述的人机接口系统，其包含触摸信令阵列，其中所述接合元件的所述操作特性能够由所述触摸屏参考所述触摸信令阵列感测。
25.一种人机接口系统，其中所述系统经配置以用作人的自动助理、广告媒体、治疗工具、教育媒体、玩具、娱乐媒体和游戏媒体中的至少一个。
26.一种用于与计算机化系统的触摸屏一起使用的机器人，所述机器人包含：
定位机构，其经配置以用于在所述触摸屏的区域处定位所述机器人；
接合元件，其经配置以与所述触摸屏可操作地接合，所述机器人的操作特性经配置以用于在所述接合元件与所述触摸屏可操作地接合时由所述计算机化系统的传感器感测；和
处理模块；
其中响应于所述机器人的所述所感测的操作特性，所述处理模块经配置以执行以下各者中的至少一个：
(c)参考所述机器人的所述所感测的操作特性来控制所述机器人执行动作；以及
(d)参考所述机器人的所述所感测的操作特性在所述触摸屏上显示预定内容。
27.根据权利要求26所述的系统，其中所述机器人包含例如宠物狗或国际象棋棋子的角色表示。
28.根据权利要求26或27所述的系统，其中所述操作特性包含所述机器人的类型和所述机器人的位置/定向中的至少一个。
29.根据权利要求26到28中任一权利要求所述的系统，其中所述处理模块包含智能电话和所述触摸屏中的至少一个。
30.根据权利要求26到29中任一权利要求所述的系统，其中所述机器人包含查看表面，经由所述查看表面，显示于所述触摸屏的区域处的内容的表示通过所述查看表面可见，所述机器人与所述触摸屏可操作地接合。
31.根据权利要求26到30中任一权利要求所述的系统，其包含用于参考安置于所述机器人上的电容性触摸板来感测所述机器人的所述操作特性的传感器，所述触摸板经配置以与所述触摸屏的触摸传感器阵列可操作地接合。
32.根据权利要求26到31中任一权利要求所述的系统，其中所述计算机经配置以控制所述机器人的动作，并在所述触摸屏上显示模拟所述机器人与显示于所述触摸屏上的所述内容之间的交互的内容。
33.根据权利要求26到32中任一权利要求所述的系统，其中所述计算机化系统经配置以感测人类用户的位置/定向，并响应于所述人类用户的所述所感测位置/定向，控制所述机器人朝向所述人类用户移动和/或执行问候。
CN201580057202.2A 2014-09-02 2015-07-31 人机接口装置和系统 Active CN107077229B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
HK14108917 2014-09-02
HK14108917.7 2014-09-02
PCT/CN2015/085784 WO2016034026A1 (en) 2014-09-02 2015-07-31 A human-computer interface device and system

Publications (2)

Publication Number Publication Date
CN107077229A true CN107077229A (zh) 2017-08-18
CN107077229B CN107077229B (zh) 2021-01-01

Family

ID=55082668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580057202.2A Active CN107077229B (zh) 2014-09-02 2015-07-31 人机接口装置和系统

Country Status (5)

Country Link
US (2) US10216300B2 (zh)
EP (1) EP3189404B1 (zh)
CN (1) CN107077229B (zh)
HK (1) HK1207248A2 (zh)
WO (1) WO2016034026A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9557885B2 (en) 2011-08-09 2017-01-31 Gopro, Inc. Digital media editing
US10237058B2 (en) * 2015-11-12 2019-03-19 International Business Machines Corporation Identification of artificail object and artifical object used therein
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
US9812175B2 (en) 2016-02-04 2017-11-07 Gopro, Inc. Systems and methods for annotating a video
USD890754S1 (en) * 2016-10-14 2020-07-21 Microsoft Corporation Electronic input device
USD827645S1 (en) * 2016-12-13 2018-09-04 Microsoft Corporation Combined electronic input device and display
TWI657812B (zh) * 2017-11-14 2019-05-01 緯創資通股份有限公司 助行裝置
USD884077S1 (en) * 2017-11-14 2020-05-12 Apem Inc. Thumbstick controller having a nut
CA3044587C (en) * 2019-05-28 2023-04-25 Square Enix Ltd. Control of player character with enhanced motion functionality
US11517812B2 (en) 2021-02-19 2022-12-06 Blok Party, Inc. Application of RFID gamepieces for a gaming console
CN115512017B (zh) * 2022-10-19 2023-11-28 邝文武 一种基于人物特征的动漫形象生成系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004110A1 (en) * 2004-09-21 2008-01-03 Koninklijke Philips Electronics, N.V. Game Board, Pawn and System for Playing Board Games
CN101533399A (zh) * 2007-05-21 2009-09-16 创新管理科学有限公司 显示及选择接口装置
US20110148824A1 (en) * 2009-07-24 2011-06-23 Seiko Epson Corporation Optical pen
CN202058320U (zh) * 2011-04-28 2011-11-30 北京银盘电子技术有限公司 一种带显示屏的点读笔
US20120062490A1 (en) * 2010-07-08 2012-03-15 Disney Enterprises, Inc. Game Pieces for Use with Touch Screen Devices and Related Methods
CN102763073A (zh) * 2010-01-06 2012-10-31 苹果公司 具有交互式弹出视图的装置、方法和图形用户接口
CN103218148A (zh) * 2011-12-29 2013-07-24 苹果公司 用于配置与用户接口的受约束的交互的装置、方法和图形用户接口

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6158665A (ja) * 1984-08-30 1986-03-25 株式会社　日本メデイカル・サプライ 輸液ポンプ
US7576725B2 (en) 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
CN201392543Y (zh) * 2008-11-20 2010-01-27 福建鑫地文化产业开发有限公司 点读笔
US20140024287A1 (en) 2011-02-09 2014-01-23 Jean Etienne Mineur Figurine that interacts with a capacitive screen in an illuminated manner
CN102750012A (zh) * 2011-04-18 2012-10-24 深圳富泰宏精密工业有限公司 手写笔
CN202159441U (zh) * 2011-08-05 2012-03-07 孙涛 视频动漫点读笔
CN202472687U (zh) * 2011-11-04 2012-10-03 刘建生 多功能数码笔
US9517559B2 (en) * 2013-09-27 2016-12-13 Honda Motor Co., Ltd. Robot control system, robot control method and output control method
JP6158665B2 (ja) * 2013-09-27 2017-07-05 本田技研工業株式会社 ロボット、ロボット制御方法、およびロボット制御プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004110A1 (en) * 2004-09-21 2008-01-03 Koninklijke Philips Electronics, N.V. Game Board, Pawn and System for Playing Board Games
CN101533399A (zh) * 2007-05-21 2009-09-16 创新管理科学有限公司 显示及选择接口装置
US20110148824A1 (en) * 2009-07-24 2011-06-23 Seiko Epson Corporation Optical pen
CN102763073A (zh) * 2010-01-06 2012-10-31 苹果公司 具有交互式弹出视图的装置、方法和图形用户接口
US20120062490A1 (en) * 2010-07-08 2012-03-15 Disney Enterprises, Inc. Game Pieces for Use with Touch Screen Devices and Related Methods
CN202058320U (zh) * 2011-04-28 2011-11-30 北京银盘电子技术有限公司 一种带显示屏的点读笔
CN103218148A (zh) * 2011-12-29 2013-07-24 苹果公司 用于配置与用户接口的受约束的交互的装置、方法和图形用户接口

Also Published As

Publication number Publication date
EP3189404A1 (en) 2017-07-12
US10216300B2 (en) 2019-02-26
CN107077229B (zh) 2021-01-01
US10444876B2 (en) 2019-10-15
US20190171310A1 (en) 2019-06-06
HK1207248A2 (zh) 2016-01-22
WO2016034026A1 (en) 2016-03-10
US20170242504A1 (en) 2017-08-24
EP3189404B1 (en) 2019-09-04
EP3189404A4 (en) 2018-01-31

Similar Documents

Publication Publication Date Title
US10444876B2 (en) Human-computer interface device and system
LaViola Jr et al. 3D user interfaces: theory and practice
Eid et al. Affective haptics: Current research and future directions
Goodrich et al. Teleoperation and beyond for assistive humanoid robots
Schuemie et al. Research on presence in virtual reality: A survey
Kosmadoudi et al. Engineering design using game-enhanced CAD: The potential to augment the user experience with game elements
El Saddik et al. Haptics technologies: Bringing touch to multimedia
US8594839B2 (en) Human emulation robot system
Korn et al. Assistive systems for the workplace: Towards context-aware assistance
Tacgin Virtual and augmented reality: an educational handbook
Garner et al. Everyday Virtual Reality
Kouroupetroglou Enhancing the human experience through assistive technologies and e-accessibility
Ensslin Future modes: How ‘new’new media transforms communicative meaning and negotiates relationships
Gonçalves et al. Human-driven multi-robot design process for social interactions with children on complex environments
Doma EEG as an input for virtual reality
Wang et al. Construction of a somatosensory interactive system based on computer vision and augmented reality techniques using the kinect device for food and agricultural education
Tung GEC-HR: Gamification exercise companion for home robot with IoT
Köse Towards dynamic modeling in immersive environments with assessment of user experiences
Argelaguet Sanz et al. Complexity and scientific challenges
Feuchtner Designing for Hand Ownership in Interaction with Virtual and Augmented Reality
Abtahi From Haptic Illusions To Beyond-Real Interactions In Virtual Reality
Brizolara et al. The Interactive Sphere for Three-Dimensional Control in Games and Virtual Reality
Borst et al. Networked Virtual Reality and Enhanced Sensing for Remote Classes and Presentations
Rietzler Physical and virtual worlds: towards interaction in distinct realities.
Eichhorn et al. Shopping in between Realities-Using an Augmented Virtuality Smartphone in a Virtual Supermarket

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1237444

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant