CN1278211C - 计算机化便携式手持装置及其方法 - Google Patents

计算机化便携式手持装置及其方法 Download PDF

Info

Publication number
CN1278211C
CN1278211C CNB028161645A CN02816164A CN1278211C CN 1278211 C CN1278211 C CN 1278211C CN B028161645 A CNB028161645 A CN B028161645A CN 02816164 A CN02816164 A CN 02816164A CN 1278211 C CN1278211 C CN 1278211C
Authority
CN
China
Prior art keywords
hand
operating means
held device
screen
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028161645A
Other languages
English (en)
Other versions
CN1543599A (zh
Inventor
托莫·沙利特
安德斯·赫基斯塔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TOMER SHALIT AB
Original Assignee
TOMER SHALIT AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TOMER SHALIT AB filed Critical TOMER SHALIT AB
Publication of CN1543599A publication Critical patent/CN1543599A/zh
Application granted granted Critical
Publication of CN1278211C publication Critical patent/CN1278211C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及带屏幕(16)的计算机化便携式手持装置(10)及其方法，用于显示被操作的对象。它有两种类型操作装置，一个操作装置是手持装置，另一个操作装置放置在另一个表面上。在操作对象(19)时，触觉提供装置给握住指示装置(20)的手提供触觉反馈。因此，至少利用视觉和触觉的两种感觉，可以增强现有对象(19)的浏览。

Description

计算机化便携式手持装置及其方法
技术领域
本发明涉及带屏幕的计算机化便携式手持装置，用于显示被操作的对象，其中操作对象提供到子对象的链路或操作要完成的功能。本发明还提供一种方法。在一个具体实施例中，它提供三维显示被操作对象的立体屏幕。
背景技术
便携式计算机化手持装置，例如，掌上型计算机，PDA(个人数字助理)和蜂窝式电话，由于相对小的显示屏幕，它们在显示对象方面存在缺点。这意味着，这种装置的用户必须按压或激活多个按钮，为的是浏览全部现有的菜单，使它成为用户方便使用的手持装置。因此，浏览这些菜单非常耗费时间，从而大大限制快速显示多种菜单选择的可能性。
当前便携式手持装置的另一个缺点涉及操作屏幕上工具时的触觉反馈，例如，当它放置在手掌以外的表面上时，为了操作屏幕上的工具，实际上不能完成倾斜这种装置。因此，在操作一个工具时，至少需要两个过程；一个过程用于装置握住在手掌中时，而另一个过程用于装置放置在另一个表面上时。
此外，应当知道，可以验证菜单的选择，因此给手持计算机化装置的用户提供选择的指示。
Files等人的专利文件US-A-5,657,054公开一种利用压电指示元件确定二维显示设备上的输入笔位置，例如，计算机屏幕。
Kobayasi等人的专利文件US-A-5,500,492公开一种坐标输入设备，用于检测来自振动笔的输入振动。仅仅确定二维空间的坐标。
在Korth的US专利文件US-A-5,818,424中，描述一种空间数据采集的棒状装置。利用光学系统确定该装置在三维空间中的位置。
Romein的专利文件US-A-4,246,439描述一种包含输入笔的声写入组合，它有相关的数据图形输入板。输入笔配置发射脉冲信号的超声源，脉冲信号是由输入板上安排的至少两个微音器采集，用于确定二维空间中输入笔的位置。
本发明实施例及其优点的描述是通过所附的独立权利要求。其他实施例和优点的描述是通过所附的从属权利要求。
发明内容
本发明的目的是提供一种带立体屏幕的计算机化便携式手持装置，利用两个操作装置作2D和/或3D浏览和操作；一个操作装置是握住在手掌中时使用，例如，散步时，另一个操作装置放置在另一个表面上，例如，桌面。
为了实现本发明的目的和主题，本发明提供一种带能够显示被操作对象的2D或3D图像的立体屏幕的计算机化便携式手持装置，其中对象操作连接链路到子对象或要完成的功能，包括：
所述对象的第一操作装置，通过手握住所述操作装置的运动，控制所述对象的操作，该第一操作装置包括回转仪，用于检测手持装置的倾斜或位移，从而确定光标在2D或3D空间中的位置，来控制所述对象的操作；
所述对象的第二操作装置，在它放置在手以外的另一个表面上时，由指示装置控制所述对象的操作，该第二操作装置包括位置检测装置，用于确定指示装置在2D或3D空间中的位置，从而指示装置的运动被转移到被操作的对象，来控制所述对象的操作；和
一个装置，对于所述对象每次成功的可能操作，提供触觉反馈给所述手，从而提供对象的无按钮操作和操作的感觉，因此，通过至少涉及视觉和触觉的两种感觉，提高操作速度，并提供根据所述第一操作装置和第二操作装置而操作屏幕上的对象的至少两个功能。
另一个实施例包括，装置携带者的一致性动作提供操作的零基，不管提供所述动作时它保持什么方向或角度。
在一个实施例中，便携式手持装置在垂直平面上相对于其长度轴的倾斜确定对象的操作程度，而便携式手持装置围绕该轴的转动确定操作的认可。
在本发明的另一个实施例中，用于3D确定所述指示装置输入笔在空间中位置的位置检测装置是超声接收器/发射器装置。
在另一个实施例中，位置检测装置是小型化摄像机装置。
在另一个实施例中，3D图像提供带菜单的表层。在提供触觉反馈以后，第一和第二操作装置锁定到表层，从而操作装置用于表层面上的浏览，因而防止滑入到相邻的表层。
本发明的另一个实施例包括：所述手持装置是蜂窝式电话。
另一个实施例包括：所述手持装置是掌上型计算机等。
另一个实施例包括：屏幕是自动立体型。
本发明还提供一种带能够显示2D或3D图像的立体屏幕的计算机化便携式手持装置的方法，用于显示被操作对象的图像，其中对象操作连接链路到子对象或要完成的功能，包括以下的步骤：
通过手握住第一操作装置的运动，控制所述对象的操作，其中，由回转仪检测手持装置的倾斜或位移，从而确定光标在2D或3D空间中的位置，来控制所述对象的操作；
在第二操作装置放置在手以外的另一个表面上时，由指示装置控制所述对象的操作，其中，由位置检测装置确定指示装置在2D或3D空间中的位置，从而指示装置的运动被转移到被操作的对象，来控制所述对象的操作；和
对于所述对象每次成功的可能操作，用于触觉反馈给所述手，从而提供对象的无按钮操作和操作的感觉，因此，通过至少涉及视觉和触觉的两种感觉，提高操作速度，并提供根据所述第一操作装置和第二操作装置而操作屏幕上的对象的至少两个功能。
本发明的方法能够完成与便携式手持装置实施例相关的实施例，特别是根据所附的方法子权利要求组。
附图说明
以下参照附图及其所附正文，可以更好地理解有实施例和例子的本发明。
图1是按照本发明利用指示器装置操作便携式手持装置屏幕上显示对象的示意图；和
图2是按照本发明利用手持装置沿所示箭头方向倾斜工具操作装置的示意图。
具体实施方式
需要解决涉及在诸如掌上型设备的相对小电子装置上显示数据的问题，例如，蜂窝式电话，个人数字助理(PDA)，或任何带屏幕的任何手持装置。因此，本发明提供一种便携式手持装置，它在屏幕上或屏幕之上引入二维(2D)和/或三维(3D)空间，用于操作，浏览或滚动通过屏幕上给出图形的计算机软件，便于对象，功能或其他特征的选择/操作。在计算机术语中，屏幕上显示的那些图形通常称之为工具。
本发明引入的优点特征涉及上述便携式手持装置，当它放置在表面上时，例如，桌面或手掌以外的任何其他静止区域，具有利用指示装置操作工具，菜单等的功能，而当它握住在手掌中时，通过手持装置的倾斜完成操作。
本发明的另一个目的是，当利用指示装置操作或选择屏幕上显示的对象时，例如，笔状指示器的输入笔或任何其他合适的指示装置，提供触觉反馈给手持装置的用户，用于它与便携式手持装置之间的通信。
在一个实施例中，可以利用自动立体技术建立按照本发明的3D空间。立体屏幕给人的左眼和右眼提供相同对象的不同图像，其中图像观察者把它看成是3D图像。立体屏幕通常是借助于红绿眼镜或偏振型眼镜或具有光阀的眼镜。
图1是具有功能或输入键12和屏幕16的PDA 10等装置的示意图。这些输入键12可以是市场上现有的任何类型，例如，触摸垫片，屏幕触摸垫片技术键，等等。在图1中，按照本发明说明便携式手持装置放置在平表面上时利用指示装置20的功能示意图。在利用手持装置10时，它提供一个主要的优点。手持装置10可以用于放置在手掌以外的表面上，例如，桌面。在图2中，描述操作手掌中握住的工具19的功能，它是本发明的第二个优点。
因此，有两种情况或功能，我们描述如何由本发明操作工具或浏览菜单。一种情况是按照图1，装置10放置在桌面上，另一种情况是装置10握住在手掌中，例如，散步，站立，坐下时，等等，如图2所示。不排除利用其他的操作装置，例如，触摸垫片等。
图1中的标记14是微音器，发射超声的接收器，用于接收从超声发射器(未画出)发射的超声，如在现有技术中和以下详细所描述的。微音器接收从指示装置20输入笔反射的声波，精确地指出输入笔在3D空间中的位置。通过发射和收集反射光的光装置或甚至是利用CCD的摄像机，其他的已知装置可以完成3D空间中的定位。
图1中的箭头表示按照本发明一个实施例利用指示装置20操作便携式手持装置10屏幕16上显示的工具19，此处为圆柱体。图1中所示的箭头说明计算机指示装置19在屏幕之上建立的3D空间中运动。因此，这个运动转移到工具19，它是按照现有技术软件原理或技术根据指示装置20的运动进行操作。
在本发明的一个实施例中，指示装置的输入笔是用屏幕16上的虚拟投影表示，例如，光标。
一种在屏幕16上完成3D环境的方法是通过自动立体屏幕。图1中的自动立体屏幕18是用虚线表示。不利用任何的眼镜，自动立体屏幕给人的左眼和右眼传递相同对象/工具的不同图片。Cambridge自动立体显示器允许观察者看到真正的三维图片。观察者的每个眼睛看到显示景物的不同图像，如同真实生活一样，观察者可以移动他的头以“环顾”或掌握景物中对象的外形和细节。这就产生自动立体视觉，它是完全自然的，因为不需要任何特殊眼镜或其他头戴装置。
多视图自动立体显示器要求从不同的观察位置观看对象的多个不同图片。这些多个图片是一个接一个非常快速地闪现在阴极射线管(CRT)上。在显示一个图片的时刻，一组液晶光阀中的一个光阀被打开，使该图片在显示器前方的部分区域是可见的。光阀确定观察者在何处可以观看每个图片。这个过程是非常快速地重复进行，每秒60次。因此，观察者的每个眼睛观看一个图片中一系列非常短促和非常明亮的图像。眼睛把这些短促图片进行整合，给出连续显示的图片效果。因为每个眼睛观看到不同的图片，观察者接收重要的3D深度信息中的一个信息：立体视差。此外，因为观察者在移动头时观看到不同的图片，提供另一个重要的3D深度信息：运动视差。这两个深度信息的组合提供3D成像系统中有效的真实深度幻觉。
在另一个实施例中，考虑基于直视液晶显示器(LCD)和全息光学元件(HOE)的相对新自动立体显示系统。该显示系统利用复合HOE以控制常规LCD的像素可见度。我们描述的一种装置利用LCD上显示的水平线交叉空间复用立体图像，便于观看自动立体(即，无眼镜的真实3D)显示。它可以与现有的眼镜基立体系统相容，该系统利用所谓的场顺序法与光阀系统(例如，LCD光阀眼镜)的结合。
本发明还提供用于确定计算机指示装置在3D空间中位置的已知装置。这样的一种装置提供超声定位。按照本发明，该指示装置配备微音器，用于收集从多个超声发射器发射的声脉冲，这些超声发射器固定到便携式计算机装置的不同位置。根据现有的技术，飞行时间，利用来自至少三个扩音器的声脉冲距离的三角形法完成超声定位。
此外，位置检测装置可以是小型化摄像机装置，如现有技术中所描述的。
本发明的优点是在显示器上操作对象时具有触觉反馈特征，它在便携式手持计算机屏幕上显示诸如工具，菜单等的3D对象。例如，触觉反馈可以由压电传动装置或产生振动或推力，脉冲的类似传动装置提供。工具至少是计算机图像的专业人员频繁使用的术语，它是指利用计算机指示或选择装置可以操作的任何类型对象，例如，按钮，图标，和其他的设计图形。
在一个实施例中，本发明提供的触觉反馈是从手持装置本身和/或从指示器装置20传递的振动或脉冲，例如，与PDA或蜂窝式/移动电话结合使用的输入笔，见图1。
在本发明一个实施例中，将屏幕16固定到弹簧或弹性运动装置，还使触觉反馈是人眼可见的，其中当触觉反馈被激励时，屏幕16伸出或振动。现有技术中已知这种弹簧运动的屏幕。
图2是与图1所示相同手持装置10的示意图，根据图2中实心箭头所示，它有六个可能倾斜维数。实心箭头指出按照本发明装置10的可能倾斜程度。在本发明的一个实施例中，每个倾斜程度之后是触觉反馈。此处，便携式手持装置10本身的作用是指示装置，即，手持装置10的倾斜或位移确定光标在2D或3D空间中的位置。
图2中屏幕16上非实心的空白箭头指出工具19的可能操作。
作为例子，利用指示装置20变化产生的倾斜可以安排成通过下压式按钮12。倾斜时的选择可以通过另一个下压式按钮12或现有技术中已知的任何其他方式。
在本发明的一个实施例中，手持装置10的低或缓慢倾斜，以缓慢和均匀步调完成浏览或操作速度。这有助于PDA 10的用户在滚动周期结束时作出选择。
倾斜功能的应用例子是下拉式菜单，在菜单左方作标记，标记菜单的范围是通过手持装置10的水平倾斜所指出，如图2中两个水平箭头所示。为了激活或标记新的菜单，手持装置10是沿垂直方向倾斜，如图2中装置短边的两个箭头所示。
另一个应用例子涉及电话簿，其中倾斜功能可用于快速浏览电话号码表，建立的电话号码表像一个虚拟轮子，“轮子”的转动直接与手持装置10的倾斜相联系。
如上所述，按照本发明的计算机化便携式手持装置有屏幕16，用于产生操作对象的立体3D图像。对象的操作连接链路到子对象或要完成的功能。作为功能的一个例子，它可以是转动任何类型的3D对象和计算机辅助设计(CAD)中任何的已知操作。子对象可以是连接到主对象的新对象，例如，按下连接到新对象的工具19，例如，按钮，它可以是用于浏览和选择功能的菜单。这同样适用于屏幕16上的2D投影。
因此，本发明的便携式手持装置10配置2D或3D对象的操作装置，其中通过手握住操作装置的运动，控制这些对象的操作。在一个实施例中，操作装置是手持装置的外壳，例如，PDA，移动电话等。在这个实施例中，手持装置配置用于确定回转仪信息的装置，例如，它设计成控制触觉反馈提供装置的软件，如在以上所描述的。在一个实施例中，在操作对象时，每次给出回转仪信息的预定程度，可以提供触觉反馈。在手持装置的运动使对象显示从一个对象改变成另一个对象时，例如，在菜单之间变化时，也可以给出触觉反馈。
按照本发明，便携式手持装置10也有操作装置，它是计算机指示装置，例如，手持装置10放置在手掌以外的表面上时使用的笔状指示/操作装置。
因此，本发明的手持装置能够提供对象的无按钮操作和操作的感觉。在判定中涉及的感觉越多，可以完成的判定越快。在大多数情况下，至少在判定是操作工具19的情况下，这是完全正确的。因此，通过至少涉及视觉和触觉的两种感觉，本发明可以提高操作速度。
声音的产生也可以增强触觉反馈，例如，提供反馈时的卡嗒声，从而引入听力的第三种感觉。
在一个实施例中，当便携式手持装置配置回转仪(压电，水银开关等)时，该装置的倾斜程度构成给操作装置的输入信号，它控制对象的操作程度。为了建立回转仪的零基，装置携带者的一致性动作提供操作的零基，不管提供该动作时它保持什么方向或角度。这种动作可以通过按压完成，例如，按压下压式/触摸式按钮的工具。在一个实施例中，它在垂直面上相对于其长度轴的倾斜确定对象的操作程度，而它围绕该轴的转动确定操作的认可。根据本发明的范围，还可以提供其他类似的倾斜动作。
本发明的优点实施例说明，3D图像是由表层方式的菜单构成。在计算机图形显示中，表层提供菜单的堆栈/堆积，其中屏幕上的3D空间可以提供几乎无限的菜单堆积，它仅受3D表示的分辨率限制。在一个实施例中，在提供触觉反馈或/和其他一致性动作之后，操作装置锁定到表层，其中操作装置用于表层面上的浏览，从而防止滑入到相邻的表层。
本发明的描述是通过几个实施例和例子，不应当把这些实施例和例子看成是对本发明范围的限制。所附的权利要求书是对本领域专业人员描述的本发明范围。

Claims (20)

1.一种带能够显示被操作对象(19)的2D或3D图像的立体屏幕(16)的计算机化便携式手持装置(10)，其中对象的操作连接链路到子对象或要完成的功能，包括：
所述对象的第一操作装置，通过手握住所述第一操作装置的运动，控制所述对象的操作，该第一操作装置包括回转仪，用于检测手持装置的倾斜或位移，从而确定光标在2D或3D空间中的位置，来控制所述对象的操作；
所述对象的第二操作装置，当第二操作装置放置在手以外的另一个表面上时，由指示装置(20)控制所述对象的操作，该第二操作装置包括位置检测装置，用于确定指示装置(20)在2D或3D空间中的位置，从而指示装置的运动被转移到被操作的对象，来控制所述对象的操作；
一个装置，对于所述对象的每次成功的可能操作，用于提供触觉反馈给所述手，从而提供对象的无按钮操作和操作的感觉，因此，通过至少涉及视觉和触觉的两种感觉，提高操作的速度，并提供根据所述第一操作装置和第二操作装置而操作屏幕上的对象(19)的至少两个功能。
2.按照权利要求1的手持装置，其中手持装置携带者的一致性动作提供操作的零基，不管提供所述动作时手持装置保持什么方向或角度。
3.按照权利要求1的手持装置，其中手持装置在垂直平面上相对于长度轴的倾斜确定对象的操作程度，而手持装置围绕该轴的转动确定操作的认可。
4.按照权利要求1的手持装置，其中用于3D确定空间中所述指示装置(20)输入笔位置的所述位置检测装置是超声接收器/发射器装置(14)。
5.按照权利要求1的手持装置，其中用于3D确定空间中所述指示装置(20)输入笔位置的所述位置检测装置是小型化摄像机装置。
6.按照权利要求1的手持装置，其中3D图像提供带菜单的表层。
7.按照权利要求6的手持装置，其中在提供触觉反馈之后，所述第一操作装置和第二操作装置锁定到表层，从而所述第一和第二操作装置用于表层面上浏览，因而防止滑入到相邻的表层。
8.按照权利要求1-7的任何一个的手持装置，其中该手持装置是蜂窝式电话。
9.按照权利要求1-7的任何一个的手持装置，其中该手持装置是掌上型计算机。
10.按照权利要求1-7的任何一个的手持装置，其中所述屏幕是自动立体型。
11.一种用于带能够显示2D或3D图像的立体屏幕(16)的计算机化便携式手持装置(10)的方法，其中对象的操作连接链路到子对象或要完成的功能，该方法包括以下步骤：
通过手握住第一操作装置的运动，控制所述对象的操作，其中，由回转仪检测手持装置的倾斜或位移，从而确定光标在2D或3D空间中的位置，来控制所述对象的操作；
当第二操作装置放置在手以外的另一个表面上时，由指示装置(20)控制所述对象的操作，其中，由位置检测装置确定指示装置(20)在2D或3D空间中的位置，从而指示装置的运动被转移到被操作的对象，来控制所述对象的操作；和
对于所述对象的每次成功的可能操作，给所述手提供触觉反馈，从而提供对象的无按钮操作和操作的感觉，因此，通过至少涉及视觉和触觉的两种感觉，提高操作速度，并提供根据所述第一操作装置和第二操作装置而操作屏幕上的对象的至少两个功能。
12.按照权利要求11的方法，其中手持装置携带者的一致性动作提供操作的零基，不管提供所述动作时手持装置保持什么方向或角度。
13.按照权利要求11的方法，其中手持装置在垂直平面上相对于长度轴的倾斜确定对象的操作程度，而手持装置围绕该轴的转动确定操作的认可。
14.按照权利要求11的方法，其中用于3D确定空间中所述指示装置(20)输入笔位置的位置检测装置是超声接收器/发射器装置(14)。
15.按照权利要求11的方法，其中用于3D确定空间中所述指示装置(20)输入笔位置的位置检测装置是小型化摄像机装置。
16.按照权利要求11的方法，其中3D图像提供带菜单的表层。
17.按照权利要求16的方法，其中在提供触觉反馈之后，所述第一操作装置和第二操作装置锁定到表层，从而所述第一和第二操作装置用于表层面上浏览，因而防止滑入到相邻的表层。
18.按照权利要求11-17的任何一个的方法，其中手持装置是蜂窝式电话。
19.按照权利要求11-17的任何一个的方法，其中手持装置是掌上型计算机。
20.按照权利要求11-17的任何一个的方法，其中所述屏幕是自动立体型。
CNB028161645A 2001-07-22 2002-07-03 计算机化便携式手持装置及其方法 Expired - Fee Related CN1278211C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE01025832 2001-07-22
SE0102583A SE523636C2 (sv) 2001-07-22 2001-07-22 Portabelt datoriserat handhållet organ och förfarande för hantering av ett på en skärm visat objekt

Publications (2)

Publication Number Publication Date
CN1543599A CN1543599A (zh) 2004-11-03
CN1278211C true CN1278211C (zh) 2006-10-04

Family

ID=20284913

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028161645A Expired - Fee Related CN1278211C (zh) 2001-07-22 2002-07-03 计算机化便携式手持装置及其方法

Country Status (6)

Country Link
US (1) US20050083314A1 (zh)
EP (1) EP1417562A1 (zh)
JP (1) JP4058406B2 (zh)
CN (1) CN1278211C (zh)
SE (1) SE523636C2 (zh)
WO (1) WO2003010653A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003252388A1 (en) * 2002-08-27 2004-03-19 Sharp Kabushiki Kaisha Content reproduction device capable of reproducing a content in optimal reproduction mode
US9229474B2 (en) 2010-10-01 2016-01-05 Z124 Window stack modification in response to orientation change
US9182937B2 (en) 2010-10-01 2015-11-10 Z124 Desktop reveal by moving a logical display stack with gestures
KR100415161B1 (ko) * 2003-07-01 2004-01-13 (주)두모션 기울기 센서를 이용한 3차원 이미지 조망 기능을 갖는핸드헬드 장치 및 이를 이용한 3차원 이미지 디스플레이시스템
US7600201B2 (en) * 2004-04-07 2009-10-06 Sony Corporation Methods and apparatuses for viewing choices and making selections
US7787009B2 (en) * 2004-05-10 2010-08-31 University Of Southern California Three dimensional interaction with autostereoscopic displays
KR100641182B1 (ko) * 2004-12-30 2006-11-02 엘지전자 주식회사 휴대단말기에서의 가상화면 이동장치 및 방법
JP2006295272A (ja) * 2005-04-06 2006-10-26 Sony Corp 撮像装置
US8279168B2 (en) * 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
US20080012822A1 (en) * 2006-07-11 2008-01-17 Ketul Sakhpara Motion Browser
WO2008041234A2 (en) * 2006-10-05 2008-04-10 Pegasus Technologies Ltd. Digital pen system, transmitter devices, receiving devices, and methods of manufacturing and using the same
KR101145921B1 (ko) * 2006-12-13 2012-05-15 엘지전자 주식회사 이동 단말기, 이동통신 단말기 및 이를 이용한 사용자인터페이스 제공 방법
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
KR20100041006A (ko) 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
KR20100050103A (ko) 2008-11-05 2010-05-13 엘지전자 주식회사 맵 상에서의 3차원 개체 제어방법과 이를 이용한 이동 단말기
CN101872277A (zh) 2009-04-22 2010-10-27 介面光电股份有限公司 一种立体成像的触控装置
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US20100309228A1 (en) * 2009-06-04 2010-12-09 Camilo Mattos Displaying Multi-Dimensional Data Using a Rotatable Object
US8271898B1 (en) 2009-06-04 2012-09-18 Mellmo Inc. Predictive scrolling
CN101615447B (zh) * 2009-07-27 2011-01-05 天津维达维宏电缆科技有限公司 电磁增效综合控制电缆网
US9542010B2 (en) * 2009-09-15 2017-01-10 Palo Alto Research Center Incorporated System for interacting with objects in a virtual environment
KR101627214B1 (ko) * 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
US20110115751A1 (en) * 2009-11-19 2011-05-19 Sony Ericsson Mobile Communications Ab Hand-held input device, system comprising the input device and an electronic device and method for controlling the same
BR112012026354A8 (pt) 2010-04-13 2018-05-08 Nokia Corp aparelho, método, programa de computador e interface de usuário
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US9405444B2 (en) 2010-10-01 2016-08-02 Z124 User interface with independent drawer control
US8564535B2 (en) * 2010-10-05 2013-10-22 Immersion Corporation Physical model based gesture recognition
JP5924802B2 (ja) * 2011-01-26 2016-05-25 日本電気株式会社 入力装置
US9417696B2 (en) * 2011-01-27 2016-08-16 Blackberry Limited Portable electronic device and method therefor
EP2482164B1 (en) * 2011-01-27 2013-05-22 Research In Motion Limited Portable electronic device and method therefor
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
EP2515201A1 (en) * 2011-04-18 2012-10-24 Research In Motion Limited Portable electronic device and method of controlling the same
JP5840427B2 (ja) * 2011-09-09 2016-01-06 アルプス電気株式会社 振動発生装置
KR101830966B1 (ko) 2011-09-21 2018-02-22 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 생성 방법
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
EP2687950A1 (en) * 2012-07-20 2014-01-22 BlackBerry Limited Orientation sensing stylus
USD753657S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
USD752048S1 (en) 2013-01-29 2016-03-22 Aquifi, Inc. Display device with cameras
USD753655S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc Display device with cameras
USD753658S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
USD752585S1 (en) 2013-01-29 2016-03-29 Aquifi, Inc. Display device with cameras
USD753656S1 (en) 2013-01-29 2016-04-12 Aquifi, Inc. Display device with cameras
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
CA2945675C (en) * 2013-04-10 2018-10-23 Jeremy BERRYMAN Multitasking and screen sharing on portable computing devices
US9817489B2 (en) * 2014-01-27 2017-11-14 Apple Inc. Texture capture stylus and method
US9635069B2 (en) * 2014-08-06 2017-04-25 Verizon Patent And Licensing Inc. User feedback systems and methods
KR101601951B1 (ko) * 2014-09-29 2016-03-09 주식회사 토비스 공간 터치 입력이 수행되는 곡면디스플레이 장치
US9400570B2 (en) 2014-11-14 2016-07-26 Apple Inc. Stylus with inertial sensor
US9575573B2 (en) 2014-12-18 2017-02-21 Apple Inc. Stylus with touch sensor
CN108268056B (zh) * 2016-12-30 2020-12-15 昊翔电能运动科技(昆山)有限公司 手持云台校准方法、装置和系统
US10528159B2 (en) * 2017-01-19 2020-01-07 Hewlett-Packard Development Company, L.P. Input pen gesture-based display control
WO2020247256A1 (en) 2019-06-01 2020-12-10 Apple Inc. Device, method, and graphical user interface for manipulating 3d objects on a 2d screen

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL7803764A (nl) * 1978-04-10 1979-10-12 Philips Nv Akoestische schrijfcombinatie, bevattende een schrijf- instrument met een bijbehorend schrijftablet.
IL92220A (en) * 1989-11-06 1993-02-21 Ibm Israel Three-dimensional computer input device
US5296871A (en) * 1992-07-27 1994-03-22 Paley W Bradford Three-dimensional mouse with tactile feedback
US5657054A (en) * 1995-04-26 1997-08-12 Texas Instruments Incorporated Determination of pen location on display apparatus using piezoelectric point elements
US5818424A (en) * 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US6115028A (en) * 1996-08-22 2000-09-05 Silicon Graphics, Inc. Three dimensional input system using tilt
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6268857B1 (en) * 1997-08-29 2001-07-31 Xerox Corporation Computer user interface using a physical manipulatory grammar
US6297838B1 (en) * 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US5916181A (en) * 1997-10-24 1999-06-29 Creative Sports Designs, Inc. Head gear for detecting head motion and providing an indication of head movement
US6414673B1 (en) * 1998-11-10 2002-07-02 Tidenet, Inc. Transmitter pen location system
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
US6466198B1 (en) * 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US6834249B2 (en) * 2001-03-29 2004-12-21 Arraycomm, Inc. Method and apparatus for controlling a computing system
US6727891B2 (en) * 2001-07-03 2004-04-27 Netmor, Ltd. Input device for personal digital assistants
US6961912B2 (en) * 2001-07-18 2005-11-01 Xerox Corporation Feedback mechanism for use with visual selection methods
US20040095317A1 (en) * 2002-11-20 2004-05-20 Jingxi Zhang Method and apparatus of universal remote pointing control for home entertainment system and computer

Also Published As

Publication number Publication date
EP1417562A1 (en) 2004-05-12
SE0102583D0 (sv) 2001-07-22
JP4058406B2 (ja) 2008-03-12
JP2004537118A (ja) 2004-12-09
WO2003010653A1 (en) 2003-02-06
SE0102583L (sv) 2003-01-23
SE523636C2 (sv) 2004-05-04
US20050083314A1 (en) 2005-04-21
CN1543599A (zh) 2004-11-03

Similar Documents

Publication Publication Date Title
CN1278211C (zh) 计算机化便携式手持装置及其方法
US10521951B2 (en) 3D digital painting
US20200166967A1 (en) Flexible Display for a Mobile Computing Device
Zeleznik et al. Unicam—2D gestural camera controls for 3D environments
US20110292042A1 (en) 3d digital painting
US10922870B2 (en) 3D digital painting
EP1443385A1 (en) Image information displaying device
US9734622B2 (en) 3D digital painting
WO2011121375A1 (en) Apparatuses, methods and computer programs for a virtual stylus
US9440484B2 (en) 3D digital painting
KR20040007571A (ko) 디스플레이 장치에서의 정보 브라우징 방법 및 장치
Steinicke et al. Multi-touching 3D data: Towards direct interaction in stereoscopic display environments coupled with mobile devices
CN101065783A (zh) 水平透视显示
CN1659551A (zh) 人机接口技术领域中使触觉与可视图像相一致
US20070182730A1 (en) Stereoscopic image display apparatus and program
Gigante Virtual reality: Enabling technologies
US20060055678A1 (en) Handheld device with a display screen
KR101539087B1 (ko) 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법
Gotsch et al. Holoflex: A flexible light-field smartphone with a microlens array and a p-oled touchscreen
WO1996041311A2 (en) Stereoscopic interactive painting
Alcañiz et al. Technological background of VR
JP2007529794A (ja) 画像の配信および対話型操作を可能にするシステム
EP1720090B1 (en) Computerized method and computer system for positioning a pointer
JP2005332231A (ja) ポインティング方法およびポインティング装置、ならびにポインティングプログラム
WO2004114108A1 (ja) 立体画像表示方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061004

Termination date: 20100703