CN101006414A - 电子设备和用于控制电子设备功能的方法，以及实现该方法的程序产品 - Google Patents

电子设备和用于控制电子设备功能的方法，以及实现该方法的程序产品 Download PDF

Info

Publication number
CN101006414A
CN101006414A CNA2005800279146A CN200580027914A CN101006414A CN 101006414 A CN101006414 A CN 101006414A CN A2005800279146 A CNA2005800279146 A CN A2005800279146A CN 200580027914 A CN200580027914 A CN 200580027914A CN 101006414 A CN101006414 A CN 101006414A
Authority
CN
China
Prior art keywords
image
equipment
variation
picture frame
fixity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800279146A
Other languages
English (en)
Other versions
CN100478857C (zh
Inventor
M·布洛姆奎斯特
T·莱内
M·翁卡洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Inc
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101006414A publication Critical patent/CN101006414A/zh
Application granted granted Critical
Publication of CN100478857C publication Critical patent/CN100478857C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种电子设备(10)，其包括显示组件(11)和摄像装置(14、15)，在所述显示组件中配置有至少一个整体可视的可控元件(13)，对所述元件(13)的控制基于这样的基础，即确定相对于至少一个所选固定点(19.1－19.3)的、与所述设备(10)的姿态或位置相关的变化(M)；所述摄像装置(14、15)被配置为形成图像帧(图像1、图像2)，并且，在所述电子设备中，为了控制所述设备(10)的功能，例如控制所述元件(13)，使用光学数据流算法(17.2)，从所述摄像装置形成的图像帧中确定所述变化，其中以设定的方式对所述图像帧进行相互比较，并基于所述比较确定所述变化。以所选的方式对所述图像帧进行分割，由此从分割成的图段中的至少某些(图段1、图段2)中，确定至少一个定义所述变化的运动矢量(SR，SL，SUp，SDown)。

Description

电子设备和用于控制电子设备功能的方法，以及实现该方法的程序产品
技术领域
本发明涉及一种电子设备，包括，
-显示组件，其中配置有至少一个整体可视的可控元件，对所述元件的控制被配置为基于这样的基础，即确定相对于至少一个所选固定点的、与所述设备的姿态或位置相关的变化，以及
-摄像装置，用于形成图像帧，
并且，在所述电子设备中，为了控制所述设备的功能，例如控制所述元件，通过使用光学数据流算法，从所述摄像装置形成的图像帧确定所述变化，其中，对所述图像帧以设定的方式进行相互比较，并且基于所述比较，来确定所述改变。此外，本发明还涉及相应的方法，和用于在电子设备中实现所述方法的程序产品。
背景技术
如今，获知高度发展的用户界面概念已经可见于电子手持设备，例如移动台、PDA(个人数字助理)设备和数字摄像。设备显示器上的可视用户界面用于控制所述设备的功能，并且通过所述用户界面还可以输入或检查在应用中呈现的信息。根据现有技术，用户界面的最简单实现方式是，例如，分级菜单方案。
例如以各种图标型方案表现的各种图形用户界面(GUI，图形用户界面)已经见于一些更为高度发展的电子设备。通常，设备的显示组件用于向用户展示用户界面，所述显示组件如今可以以彩色方式实现。
在一些现有设备中，或至少在未来打算推向市场的设备中，各种三维显示和/或3D用户界面/应用环境将变得普遍。这些显示可以应用于，例如游戏应用中。
用于控制设备的用户界面和应用、以及处理信息的现有技术，由各种可移动指示器型方案来表现。所述方案的一些例子是指针光标和菜单选择器。在所述方案的最基本形式中，可以通过把当前的有效选项与其它选项区分开，来显示所述当前的有效选项。在图形用户界面中，指针光标可以利用例如一些图形元件显示于显示组件中，其位置和移动的方向可以几乎是任意的。因此，例如，当选择所期望的选项时，可以使用用户界面的控制装置，在所期望的选项上面移动指针光标，并且确定选择。
在这种情况下，通常可以将控制装置理解为各种数据输入装置，从而使得除了移动指针光标外，所述控制装置可以用于，例如，对菜单进行导航、控制游戏应用中的角色行为、在设备中输入诸如文本的信息、进行选择、激活应用，以及一般而言控制设备的运行。
已知用于移动指针光标的多种不同控制装置方案，通过所述控制装置方案还可以在设备中输入数据。所述控制装置方案的一些例子是键盘、位于所述键盘组件中的特殊按键(例如，导航键)，以及操纵杆控制器。它们的操作原理通常基于矢量，所述矢量的方向由用户通过所述控制装置来定义。
除上述之外，还可以提到各种触摸屏，通过触摸所述触摸屏可以允许指针光标在用户界面中移动。还已知一些设备，在这些设备中根本不存在真实的数据输入机制，一个参考例子是使用麦克风实现的声音控制。
一种特殊的用户面板可以见于WO公开专利文件02/093880A2，通过使用所述面板可以在用户界面中控制可视的指针光标，并且所述面板可以设置在便携设备背面，即与所述显示组件相反的一侧。这也是触摸感应板的一种情况，用户可以在所述触摸感应板上移动他们的手指，同时用同一只手握持所述设备。
尽管这样的设备把另外一只手解放出来用于其他工作，但它相对不实用，例如，从用户的观点来看。装配在设备背面的、特别用于控制指针光标的触摸感应面板增加了设备的制造成本，同时也很有容易受到碰撞。此外，当把设备握持于一只手中而用同一只手的手指控制指针光标时，手和手指的操作位置是不符合人机工程学的，而当手指在面板上移动时，手指受到相当大的压力。当该解决方案被应用在小型设备中时，这个缺陷越发加剧。
作为一种数据输入/控制方法，还可以参考加速传感器的使用，所述加速传感器用于确定影响设备的运动，从而移动所述元件。在这种情况下，传感器可以确定影响设备的运动或者在相对于固定点的位置上的变化，由此可以形成方向矢量，随后根据所述方向矢量在用户界面中对所述元件进行控制。在这种使用场合，例如，当期望导航至在右边的下一个主题时，用户可以轻微向右转动设备，并随后将其转动回与其本身相对的位置。
然而，上述主要以一种或另一种方式涉及手指使用的数据输入解决方案难以控制，例如，当戴着手套时。由于它们的尺寸小，因而其按键超出了手套的分辨力，且按键错误总是不可避免。当这种情况出现时，对于用户来说是非常不愉快的，因为其示出了在设备的平滑使用过程中的明显缺陷。
现有技术中还有一种用于控制设备功能的解决方案，即应用摄像装置所形成的图像信息。当改变摄像装置的瞄准方向时，可以从顺序拍摄的镜头确定方向矢量，根据所述方向矢量可以控制设备的功能。在瑞典的专利公开文献9902562-9(Telefonaktiebolaget L M Ericsson)和英国专利公开文献GB 2387755(NEC公司)中披露了这样的解决方案。在US专利公开文献2004/0012566A1，US专利6288704B1，WO公开文献2004/066615，以及US专利公开文献2004/0085455A1中披露了一些其他的解决方案。
上述仅仅“手指解放式”的用户界面控制和数据输入方法是设备语音控制和对加速传感器及摄像装置所形成的信息的应用。然而，由于设备功能的多样性、用户界面的复杂性以及甚至其三维性，这样的控制形式根本不(至少还不)容易实现可用性。在上述实现形式中，如果不使用手指，则不(或者根本不)能平滑地向设备输入信息，以激活设备功能，或者以控制更复杂的应用。此外，加速/方向传感器的使用可能不但使得设备更加复杂，而且还会引发硬件级别上的问题。摄像装置的应用还可能降低光标指示的精确度。
发明内容
本发明旨在创造一种新型的电子设备和一种用在所述设备中以控制所述电子设备的功能的相应方法。根据本发明的设备的特性声明于随附的权利要求1中，其方法声明于权利要求7中。此外，本发明还涉及一种程序产品，其特性声明于权利要求13中。
根据本发明，可以通过新的和不同寻常的方式来控制设备的功能。根据本发明的设备中的控制装置包括摄像装置。根据所述方法，可以通过瞄准相对于至少一个所选固定点的所述设备的姿态或位置变化，来控制所述设备的功能。所述变化可以从使用摄像装置形成的图像帧确定。基于如此确定的所瞄准的设备姿态或位置变化，瞄准整体示于显示组件上的至少一个元件的设置控制操作，或者，更为一般地讲，控制设备的功能。
根据一些实施例，可以例如使用图像识别算法和/或光学数据流算法，对设备的姿态或位置变化进行定义。因此，可以按期望的方式对图像帧进行分割。随后，可以从分割成的图段中的至少某些，来确定用于定义至少一个变化的运动矢量，根据所述运动矢量可以控制显示器中的元件。
从相对于至少一个所选固定点的所述设备的姿态或位置变化，可以确定许多参数，其中根据本发明，所述变化甚至可以是在几个方向上以不同寻常的方式进行的。某些变化例子是在方向上的、幅度上的和/或甚至速度上的。
适合于本发明的摄像装置可以是那些用于例如静态和视频成像的设备中已知的。在特定的情况下，甚至还可能使用更低要求的摄像装置。根据一个实施例，摄像装置可以包括至少两个图像传感器。所述图像传感器可以朝向设备的不同侧。这样使得除了别的以外还可能提高控制精确度。
本发明的使用将达到几个显著优点。第一个优点是设备的“手指解放式”菜单导航，以及基于设备运动和/或设备的(或更特别地，其摄像装置的)姿态/位置变化进行的选择。可以提及的第二个优点是不同寻常地在设备中的无指信息输入，例如，文本输入。可以提及的第三个优点是更为自然的握持，例如，当控制游戏应用时。
本发明的方法可以通过使用甚至现存的摄像装置，实现于电子设备中。本发明允许实现完全没有手指操作的控制装置的设备。此外，本发明提高了，例如键盘组件的鲁棒性，同时还减少了制作键盘引起的成本，在所述键盘中，特制操纵杆的实现通常是成本的主要部分。通过用根据本发明的光学解决方案替代随时间而磨损的机械控制装置，设备的运行寿命还将延长。
实现的最重要的优点之一是提高了设备的操作舒适度。由于当检验用户界面或使用应用时，设备握持在手中，因此可以通过手的微小移动来调用所期望的功能，并且在另一方面还激活所述功能，从而非常容易地控制可以在显示器上移动的元件或可以被激活的项目。
本发明的方法可以被非常简单地集成在现存电子设备中和那些仍在设计阶段的设备中。根据本发明的方法不会将设备的复杂度增加到其成为(例如，对于设备的处理能耗和内存使用的)重要缺陷的程度。根据一个实施例，甚至可以作为纯粹的程序级实现的可行方法，可以被非常容易地集成在包括摄像装置或相似的功能单元的设备中。
根据一些实施例，可以调整摄像装置的运行状态，以控制设备的功能，例如从而适合目前运行情况。例如，因此，可能调整摄像装置的图像信息形成频率，或者执行用于确定设备姿态或位置变化的应用的频率。然而，原则上，例如，可以从实时视频信息形成成像信息，从成像信息中的变化可以确定相对于至少一个所选固定点的所述设备姿态或位置中的相应变化。另一方面，不必使用来自实时图像流的全部帧。
由所附的权利要求，本发明的其他特性将变得显而易见，同时，所达到的额外优点在说明部分中逐条列记。
附图说明
本发明并不局限于以下所描述的实施例，参考以下附图对本发明作更为详细的解释，其中，
图1a和1b示出用户界面的例子；
图2示出根据本发明的设备和程序产品的基本单元的大致示意图；
图3示出根据本发明的方法的一个实施例的流程描述；
图4示出当使用设备时根据本发明的方法的一个例子的透视图；
图5示出改变设备姿态或位置的可能方向的一个例子；
图6a-6c示出当在本发明中应用光学数据流算法时确定设备姿态或位置变化的一个例子；
图7示出当使用根据本发明的解决方案时文本输入的例子和用户界面布局；
图8示出当应用两个摄像单元时根据本发明的设备的第二个例子；
图9示出当应用两个摄像单元时根据本发明的方法的一个例子的透视图；以及
图10示出在结合有两个摄像单元的实施例的情况下，确定对设备姿态有影响的变化的例子。
具体实施方式
如今，许多电子设备10包括图形操作系统(GUI，图形用户界面)。在本发明的情况下，电子设备10可以被理解为，例如移动台，或“智能通讯器”形式的PDA(个人数字助理)设备或掌上型设备。设备10还可以被理解为数字摄像设备，便携式游戏控制台，或一般而言的配备或可以配备数字成像功能单元的电子设备。因此，可以非常宽泛地理解“电子设备”概念。以下，作为例子，结合配备摄像装置的移动台10阐明本发明。
图1a和1b图示了呈现于设备10的显示器11上的用户界面GUI的一个例子，根据所述用户界面GUI，可以控制设备10的操作系统，以及从而控制设备10的功能。通常，在设备10的显示组件上，将用户界面GUI和可以使用设备10执行的应用12、20精确显示给用户。
在显示组件11上，至少一个可控元件13是用户可视的。在用户界面GUI的情况下，这可以是可控指示元件13，图示为光标13。此外，元件13的特征在于可以整体显示于显示器11上。在这种情况下，问题不仅有关光标类型的应用，而且还有关各种类型的数据输入/选择(随后给出例子)，或游戏中的角色。
更进一步地，设备10还包括控制装置14、15，用户通过使用所述控制装置可以控制至少一个元件13。在本发明中，控制装置以不同寻常的方式由摄像装置14、15构成。
通过使用控制装置14、15，有可能确定影响设备10的运动，以及更具体地说，确定相对于一个或多个固定点的设备10的姿态或位置变化M。由控制装置14、15形成的控制数据被传递给属于设备10的处理器装置16，通过所述处理器装置，可以处理和实现对显示器11上的元件13进行影响的控制操作，其中所述控制操作至少部分地从设备10的姿态或位置变化M确定。设备10还可以包括可能的键盘18。
在根据本实施例的情况下，用户可以通过使用装配于设备10中的控制装置14，在用户界面GUI中移动指针光标13。在这种情况下，指针光标13可以被表示为，例如一些图形目标(例如，箭头或星标)，如图1a和1b所示。在图1a中，指针光标13可以被设在显示器11上的缺省位置上，例如，当设备10接通时自动在该位置处显示指针光标13。这种缺省位置的一个例子是在用户界面GUI中心附近。
在图1b中，用户已经将指针光标13移动至用户界面GUI中的期望点，例如，以便选择用户所期望的功能12.1。可能选择的点(例如，功能、将被激活的资源等)可以在用户界面中以不同方式显示。它们可以显示为，例如，图标12、12.1、将被显现的应用、或输入装置20或文本域23(图7)，可以在其上面移动指针光标13。用户界面可以被理解为与操作系统GUI对等的术语。在此之后，以某些设定的方式，例如通过按压键盘的选择按键，确定/激活所述选择。
在根据本发明的情况下，在以下更详细描述的实施例中，可以非常宽泛地理解所述至少一个可控元件13。一方面，所述可控元件可以被理解为现存的更为高级的操作系统中的图形指示元件，其可以在显示组件11上非常随意地多(二)维移动，正如图1a和1b中所示。
另一方面，还可以按较传统设备的用户界面中的已知方式，理解所述指示元件，在所述用户界面中，例如，可以浏览目前可用的选项的一维菜单列表。可以在任意时间预先选择所述选项中一个，从而使得该选项与例如图形化显示(菜单选择器)的其他选项不同。一个例子可以是在所选选项周围突出加亮或形成阴影，于是还可以将其理解为指示元件型的功能单元(未示出)。
通常，当使用指示元件(光标或菜单选择器)时，在当前所期望的选项上面移动所述指示元件，之后用户可以按设定的方式激活/选择/确定相关选项。相应类型的功能单元也可以例如从PC计算机的图形用户界面获知。
上述在设备10的用户界面参考帧中的指示光标13的移动，通常可以扩展至对设备10的应用的控制，例如向设备10输入文本(图7)、浏览图像相册，或者在游戏应用中控制游戏角色的行为——例如移动、旋转或甚至更为复杂的操作(例如，踢)。为了准许控制所述功能，变化M可以针对甚至在三维方向上的、相对于至少一个所选固定点的、设备10的姿态或位置，不但包括已知的水平-垂直(在坐标系中的方向4)运动，而且不同寻常地包括，旋转运动——即顺时针和逆时针方向上的(设备10绕着通过传感器14的虚轴的旋转)设备10的姿态变化(在坐标系中的方向5)，以及设备10位置上的变化——即移近或远离用户(在深度方面的设备10运动，坐标系中的方向6)。图5示出与可能的方向相关的相应坐标系。
图2示出一个设备10的功能的大致示意性例子，其中所述设备支持根据本发明的方法。设备10可以包括传统的运转组件，如图2所示，其中用于实现根据本发明的设备10的最基本元件是摄像装置14、15。在根据本发明的解决方案中，不同寻常地，是由这些摄像装置14、15来形成对于显示组件11上的至少一个可控元件13的控制装置。根据本方法，摄像装置14、15可以用于形成图像信息“图像1”、“图像2”，从所述图像信息中，可以确定相对于至少一个所选固定点的对设备10姿态或位置有影响的变化M，从而还确定在显示器11上的所期望的元件13的移动，或设备10的一些其他管理/控制操作。
摄像传感器单元14以及与其连接的图像处理链15可以是例如已知的(CCD，CMOS)，通过它们，有可能拍摄和处理静止和/或运动图像。通用术语“摄像装置”指的是具有其外围电子设备的至少一个传感器单元、相关联的成像链15，以及实现数字成像链通常所需的一切。另一方面，根据本发明，甚至可以考虑所具有的特性不足以达到上述目的的最低级的传感器/处理器单元，这是因为创建根据本发明的功能单元并不是必需非常苛求的图像信息检测功能单元。摄像单元14可以永久地位于设备10中，或者也可以可拆卸地附装于设备10上，这样，将通过使用摄像装置14、15，相应地记录影响设备姿态或位置的变化，或者另一方面，还可以记录发生在摄像14前(例如，手)的姿态/位置的变化。
图3以流程图示出根据本发明的方法的一个例子，同时还涉及图1a和1b、4和6a-6c。当以根据本发明的方式移动用户界面GUI中的指示光标13时，必须在设备10中激活根据本发明的特定摄像控制模式(301、302)，其中指示光标13在设备10的显示组件11上是活动的。如果所述模式未被激活，则可以通过一些其他合适的方式控制(310)光标13。为了减少本方法引起的能耗，可以仅当设备10的用户界面GUI开启时才执行确定设备10的姿态或位置的功能和图像拍摄。此外，如果在设置的时间内，没有对用户界面进行操作，则可以将摄像控制模式变为被动的，或者可以充分降低至少摄像装置14的检测频率。当重新检测到运动时，可以将摄像装置14、15的检测频率再次提高到为其设置的级别，以定义光标13的移动。当应用本发明时，这种特性可以被用于减少设备10的能耗。
根据一个第一实施例，摄像控制模式的特征在于：利用与设备10连接的摄像单元14，来移动或通常控制显示于用户界面GUI中的指示光标13或其他相似可控元件。指针光标13的移动是根据从摄像装置14所检测的连续静止或视频图像信息采样确定的视图变化来进行的，所述视图变化对应于与一个或多个所选固定点相对的、影响设备10的姿态/位置变化。
根据一个实施例，使用摄像装置14、15形成的图像信息包括连续的图像帧，例如，至少两个图像帧，取景器镜头“图像1”、“图像2”。它们可以基本上是连续的，或者是根据设置原则至少接近连续的，所述设置原则取决于例如操作模式(视频成像/取景器成像)或为摄像装置14、15设置的检测频率。以设定的方式并在设置的部分中，对镜头“图像1”、“图像2”进行相互比较。基于从所述比较中获取的结果，可以确定影响设备10的运动M，或甚至更具体地说，可以确定设备10相对于所选固定点的姿态或位置变化M。
应注意，为了移动指针光标13，设备10还可以在其键盘组件18中具有传统的操纵杆/导航型按键，例如以合适的方式配置的箭头按键。因而，基于摄像装置14的操作模式和基于传统导航按键实现的操作模式可以是二选一的，或者甚至是同时并存的。
如果在图形用户界面GUI中的指针光标13示于显示器11上，并且基于摄像装置14的指针光标13控制模式是激活的，那么摄像单元14将检测当前在终端10前的视图，以从中形成连续图像信息“图像1”、“图像2”。在这个实施例中，摄像单元14位于设备10的背面，即位于与显示器11相反的一侧。根据一个实施例，传感器14例如从大体上实时和连续的视频信息数据流(303)，检测和获取第一取景器镜头“图像1”。在图像处理链15中以设定的方式对所述第一取景器镜头“图像1”进行分析，从而使得可以从中寻找至少一个或甚至几个固定点，例如，可以从中确定取景器镜头“图像1”中的固定点19.1及其位置[X1，Y1](304)。
可以相对自由地选择和定义固定点。可以提及的一个例子是，例如，如果对于从哪个方向拍摄随后的镜头“图像2”以确定设备10的姿态或位置变化仍没有明确的信息，那么从镜头“图像1”的中心点附近定义固定点。
也可以相对自由地选择实际的固定点。所述实际的固定点可以是单独的目标、形状或可以与其它目标区分的部件。在根据图4的实施例中，用户把设备10瞄准桌子，从而使得可以从镜头“图像1”中识别几个对象。在这种情况下，纸张19的左下角19.1被选择为固定点。
接下来，当用户希望在显示器11上，将指针光标13从根据图1a的点移动至根据图1b的点，即从用户界面GUI的中心至图标12.1的上面时，用户例如通过在垂直-水平方向上旋转终端设备10来移动瞄准，从而使得在摄像装置14所检测的大体上实时的视频图像信息中发生变化，所述变化可以从图像信息“图像1”、“图像2”确定。可以在例如希望在显示器11上移动指针光标13的方向上，进行旋转，或者更精确地说，进行摄像装置14的瞄准。摄像装置14以设定的成像频率检测作为旋转结果而改变的视图，并且从所述视图捕获第二镜头“图像2”(305)。接下来，从第二取景器镜头“图像2”寻找所选的固定点19.1，并且在镜头“图像2”中确定其位置[X2，Y2]。
接下来，执行计算，其中，可以确定在取景器镜头“图像1”、“图像2”之间的、所选固定点19.1的运动S的方向和幅度。它定义了元件13的运动矢量S′。
通常，可能把获取的第一和第二取景器镜头“图像1”、“图像2”存储在终端设备10的存储装置MEM中，并把它们作为配置在处理器16中的、对于计算指针光标13运动的功能单元17的输入。功能单元17对镜头“图像1”、“图像2”进行相互比较，以确定在不同的镜头“图像1”、“图像2”之间的、所选的一个或几个固定点19.1的位置变化S，其中所述功能单元17是由配置于存储装置MEM中的程序代码形成的。由此，或者通过使用一些配置于设备10中的更高级的图像比较算法，可以确定设备10的姿态或位置变化M。因此，比较操作可以被宽泛地考虑，并可以通过多种不同方式执行，而决不局限于以下实施例所披露的。在取景器镜头“图像1”，“图像2”之间的运动S还可以被直接缩放为用户界面GUI中的运动矢量S′。
根据第一实施例，所述比较可以通过使用一个或几个图像识别算法17.1来执行。根据第二实施例，也可以应用光学算法17.2来确定影响设备10的姿态或位置的变化M。当然，还可以结合不同类型的算法。
在说明书部分末尾的参考文献列表中列出了所述更高级图像和光学数据流分析算法17.1、17.2的一些例子。在参考文献[1]中，描述了图像特征跟踪方法(例如，边缘搜索)的例子，在参考文献[2]描述于了色点定义算法，以及在参考文献[3]中描述了基于群集的时间聚焦颜色分割算法。在参考文献[4]和[5]中，描述了一些通过计算局部强度分布的时空梯度来评估图像数据流的算法。对于所属领域技术人员而言，非常容易实现所述算法和方法，以应用于本发明中。事实上，上述基于图像比较的固定点方法只是实现根据本发明的功能单元的一个可能实施例。
图6a-6c示出了对基于光学数据流分析算法17.2的本发明解决方案的应用。为了比较，附图示出在相同图像帧中的两个目标元件，在此其表示为月牙状。两个目标元件的两个固定点19.2、19.3已示出，根据所述固定点，可以在每种情况下都容易地察觉出运动矢量的方向。在附图中，实线月牙状是在影响设备10的姿态或位置变化之前的目标元件，而虚线绘出的月牙状是影响设备10的姿态或位置变化之后的目标元件。
在基于光学数据流算法17.2的解决方案中，可以按所选的方式，将从大体上实时图像期间选出的镜头“图像1”、“图像2”都分割为设定尺寸和形状的图段“图段1”、“图段2”(步骤303和305)。在根据图6a-6c的情况中的分割必须被理解为只是粗略的例子，在所述分割之后，可以从来自镜头“图像1”、“图像2”的至少某些所选图段中确定运动矢量SR、SL、SUp、SDown中的一个或几个(步骤307)，其中，所述运动矢量与影响设备10的姿态或位置变化M成比例，并且因视图变化而产生。可以通过合并所述图段的所定义的运动矢量SR、SL、SUp、SDown中的所有或至少某些，来确定在设备10的姿态或位置中的总变化M。
依据上述内容，在图6a中，设备10已经向右旋转。结果，所定义图段的所有运动矢量SR、SL指向右。运动矢量SR、SL的幅度取决于变化——即在图像帧“图像1′”、“图像′”中的固定点/图段19.2、19.3的变化，的速度，。
以上所描述的对设备10的用户界面GUI和应用的控制涉及二维实施例(图5中的方向4)。在这种情况中，设备10不仅仅可以向右和向左转动，还可以在上下方向转动，或者是在这些方向的合并方向上转动。
根据示于图5的坐标系中的方向定义5，设备10还可以绕着围绕其旋转的虚轴逆时针翻转。参考应用光学数据流算法的图6b，从镜头“图像1′”、“图像2′”的右边缘定义的运动矢量SR、SL在图像帧中指向上，从上边缘定义的运动矢量SR指向左边，从下边缘定义的运动矢量SL指向右边。对此的稍微简化的第二实施例，使用摄像传感器14来识别在成像目标的方向上的变化，例如，从景观/水平方向到人物/垂直方向。
更进一步地，根据示于图5中的第三方向定义6，设备10可以被推离用户O，或被拉近用户O。示于图6c中的影响设备10的姿态或位置的变化M现可以从运动矢量SUp、SDown中来检测，相应地，所述运动矢量SUp、SDown或者指向背离图像帧中心点——当设备10被推近用户时，或者指向接近图像帧中心点——当设备10被推离用户时，如图6c中所出现的情况。另外，对此的较简单的实施例是，使用在与用户和显示器11相反的设备10背面上的摄像传感器14，来识别图像信息“图像1′”、“图像2′”中的成像目标的放大或缩小，其中所述放大或缩小是由设备10朝接近或远离用户的相应运动引起的。
还可以按设定的方式，使用运动矢量SR、SL、SUp、SDown中的至少某些来定义均值。例如，当在摄像传感器14检测到的视图中有运动目标(例如，人物或车辆)时，这具有优势。这可能会引起运动矢量定义中的轻微误差。然而，可以通过选择和/或平均运动矢量，以及在另一方面，通过运动目标经常仅位于图像信息“图像1”、“图像2”的一些有限区域内的因素，来消除所述误差。另一方面，运动矢量的平均还将提高在显示器11中对元件13的位置控制的精确度，于是元件13整体显示在显示器11上。当元件13充当光标或游戏角色时，其控制将要求特别的精确度，例如，至少与本发明被应用于控制具有丰富内容且不适合在显示器11上一次显示完全(例如，浏览地图或站点)的目标的应用相比较。
上述所涉及的方法在其算法方面可以进行很多改变。
在步骤307中，将定义于处理器功能单元16中的运动S及其速度调整为适合于显示组件11和用户界面GUI，同时考虑了所选的控制形式和计算运动S’的方式，于是据此，以设定的方式，将指针光标13在显示器11上移动至相应的程度(步骤309)。接下来，可以循环返回步骤302。
在用户想要的单独运动间隔期间，可以在第一和第二取景器镜头“图像1”、“图像2”之间进行多个这样的处理和比较，以及因此定义指针光标13的移动S’。这将创建光标13的实时平滑移动，从而使得在设备10的姿态或位置变化期间，用户可以控制光标13移动至用户界面GUI中的用户所期望的点，并且在此基础上可以执行影响设备10的运动量和方向的可能的校正运动。此外，应理解，可以从例如先前图像信息比较对的第二取景器镜头“图像2”中，选择随后的图像比较对固定点19.1。因此，在某些方面，先前的和随后的比较对可以稍微相互重叠。这还允许预测固定点的位置。
图7示出来在根据本发明的设备10中配置用户界面GUI的一个例子，其中将应用图标12配置在显示器11上所示的用户界面GUI的边缘或角上。于是，用户可以在将允许用户激活其所期望的应用的图标12的方向上，旋转设备10。在概况级别上，这对应于影响设备10姿态的变化。在概念级别上，该操作对应于例如使用操纵杆按键对光标13进行的控制。
根据一个实施例，应用的激活、功能的选择和/或确定、或者例如在3D游戏中的游戏角色的移动，也可以通过改变设备10的姿态或位置来执行。例如，可以通过用户把设备10推离用户(图5，方向6)，来进行上述操作。设备10相对于穿过摄像传感器14的旋转虚轴的旋转还可以被解释为触发应用的操作，或影响游戏特征的转动(图5，方向5)。从图像信息“图像1”、 “图像2”定义的触发灵敏度，即影响设备10的姿态或位置变化所需的幅度和速度，可以例如通过用户从用户界面设置，来设置。
图7还示出可以使用本发明的另一应用。还可以使用本发明输入文本。在这种情况下，字符集合，例如为设备10的显示器11配置的虚拟QWERTY键盘20，可以整体显示在显示器11上。可以在键盘20上移动光标13，从而使得光标13的当前位置处的字符将是活动的。可以例如通过不同的可视外观来示出字符活动的事实，所述可视外观的例子是字符的加框，或不同于其他字符的加亮效果。
当书写文本时，用户可以按照根据本发明的方式，将光标13移动到他们所期望的字符上面，并且以上述方式，例如通过把设备10推离用户本身，来选择该字符。这将导致该字符出现在，例如编辑窗口23中或希望将该字符输入的相应应用中。
设备10的位置变化(图5，方向6)还可以应用于菜单浏览。在这种情况下，例如可以将设备10推离用户，以向上移动菜单，并且相应地，可以将设备10拉近用户，以进行向下移动。本发明具有宽泛的可能性。
在根据本发明的方法中，摄像装置14被用于检测以识别图像信息中的变化，所述图像信息例如来自视频图像信息流的连续或至少接近连续的视图，其检测频率可以对应于例如传统的视频/取景器成像操作的频率。另一方面，还可以调整检测或处理频率，从而使得其可以不同于传统视频成像操作。例如，如果例如正在检测的视图和设备10的姿态或位置变化的速度允许，那么可以将频率调整得更慢一些。因此，摄像装置14、15可以按照与传统图像信息形成频率(例如，1-5帧/秒，但少于15-30帧/秒)相比较更低的频率，来形成图像信息“图像1”、“图像2”。在图像处理算法中，本实施例不必要求如此大的处理能力。
频率的降低是可能的，例如，假设在设备10的瞄准方向上的或通常其姿态或位置上以相当低的速率发生改变，并且从而导致在图像信息中的很低的变化。
在这种情况下，还必须对取景器镜头“图像1”、“图像2”、“图像1′”、“图像2′”进行处理和比较，并且还可以在第一和第二取景器镜头“图像1”、“图像2”、“图像1′”、“图像2′”中找到当前所选的固定点19.1-19.3。另一方面，为了能够在用户界面GUI中跟踪指针光标13，也可以相当期待在设备10的姿态或位置方面的如此慢速率的变化，这是因为，在快速进行的设备10的姿态或位置的大幅度变化中，用户未必能够观察发生于相当小的显示器11中的指针光标13移动，更不用说显示于显示器11中的其他事件了。此外，在仅有检测是使用摄像装置14执行的情况下和计算从取景器镜头“图像1”、“图像2”中确定的运动S’的情况下，取景器镜头“图像1”、“图像2”的如此不频繁的检测频率，达到了节约能耗的额外优点。
更进一步地，如此不频繁的检测频率还使得用于检测设备10的姿态或位置变化的传感器14不必需求例如高质量数字成像特性，相反其性能甚至可以是低质量的。图像处理链15还可以具有发光的性能。
如果当控制用户界面GUI时设备10的姿态或位置忽然间发生改变，例如当用户步行时，那么根据摄像传感器14所检测到的视图的相应变化，指针光标13也可能在显示组件11上不受控地移动。所述情况的一些例子是，例如，当传感器14所检测到的视图随着景观的改变而改变时，光标13随着步行节奏在显示器11上从一侧晃动到另一侧，和/或当向前步行时在上下方向上晃动。为了解决这样的运行环境，在设备10中还可以具有这样的功能单元，其用于仅在期望的时刻，从摄像传感器14前方所检测到的图像信息确定对指针光标13有影响的运动S’。
实现该方案的一个可选方法可以是，当期望移动光标13时，按压并保持按下合理配置在键盘18中的某些按键，直到光标13被移动到所期望的点。这个子步骤可以在图3所示流程图的块(302)和(303)之间，其中，可能核查在该时刻是否期望移动光标13。所述按键的一个例子可以是选择/确定按键(YES)或相似的。当按键被持续按下时，光标13在显示器11上进行与摄像传感器14所检测到的变化相关联的移动，其中所述变化是在变化的图像信息中的、因设备10的姿态或位置变化而引起的结果。当光标13到达用户界面GUI中的期望位置时，释放对按键的压力，因此同时确定了选择。此外，当检测频率还可以被提升以相应于快速运动状态时，还可以从取景器镜头“图像1”、“图像2”检测到设备/视图的快速运动状态。
然而，调整成像或处理频率的另一个准则可以是在当时设备10的电量，在这种情况下，当电量受限时可以减小频率。随后，可以在用户界面GUI中通知用户：有理由要稍微地并以受控的运动来改变设备10的姿态或位置。
根据一个实施例，也可以通过这样的方式在视图中选择固定点19.1-19.3(或更一般地说，元件19)，即，从取景器镜头“图像1”选择多个固定点，例如，从“图像1”的不同侧或其边角。随后，当设备10的姿态或位置改变时，与如果仅选择一个单独的固定点和/或使用降低的检测频率的情况相比，更不容易丢失所选的固定点19.1-19.3。
此外，更进一步地，也可以将从连续取景器镜头“图像1”、“图像2”确定的关于设备10运动方向的数据，用于选择固定点19。于是，之后的图像信息比较对的固定点19.1-19.3可以从取景器镜头“图像1”的方向中来选择，所述方向为设备10转向的方向，或用户例如运动的方向。这将更进一步减少丢失固定点19的风险。
以上披露的应用的例子观察的是，相对于至少一个所设置的固定点的、由影响设备10的姿态或位置变化引起的、成像信息中的变化。另一方面，还可以静止握持设备10，并且可以观察到在其前面运动的受控变化的视图，以形成元件运动。在这种情况下，用户可以握持设备10，例如在一只手上，而改变其另一只手的姿态或位置，以在设备10和摄像传感器14前面形成他们期望的功能。在这种情况下，可以使用一些合适的算法以检测设备10相对于固定点(即，手)的姿态或位置变化，并且在此基础上控制元件13的操作。
然而，图8至10示出了本发明的另一实施例。图8示出与此相关的设备应用，其中的参考数字和组件描述主要与图2中的情况相应。然而，在此设备10中至少有两个摄像单元14、24。除了摄像单元14指向设备10的背面外，在所述设备中还有指向其正面的摄像单元24。这个摄像单元24传统地被用于视频会议应用中，但在此，根据本发明，它可以被不同寻常地使用在设备10的功能控制中。瞄准设备10的用户的摄像单元24在数据传输上与成像链15相连接，在这种情况下，为了简明起见成像链15为设想单元14、24所共用。作为本方法的子步骤，参考以上的图3，其还可以被直接适合于两个摄像14、24。
图9示出摄像单元14、24都被使用的实施例。此时，当设备10被重新瞄准时，在正面摄像单元24形成的图像帧“图像1″”、“图像2″”之间，图像中的用户位置发生改变。箭头S’描述了所述改变，S’的方向与背面摄像单元14所检测到的位置中的变化S的方向相反。应理解，在这种关联中，图像“图像1”、“图像2”、“图像1″”、“图像2″”仅作为例子。当设备10的姿态或位置改变时，图像帧中的视图变化可以按不同于图9所示的方式而进行。
图10示出从正面形成的图像帧“图像1″”、“图像2″”的非常粗略的例子。该应用类似于例如图6a所示的分割例子，此时图6a可以表示如果向左旋转设备10那么从设备10背面同时形成的图像信息。用户的实线轮廓示出图像“图像1″”中的图像目标，而用户的虚线轮廓示出图像“图像2″”中的图像目标。然而，此时，图段“图段1′”、“图段2′”的方向箭头S′Up、S′Down与从背面形成的视图中的方向箭头方向相反。根据本发明的功能可以被配置为程序代码17中的代码单元17.3，其被用于解释正面和背面的方向箭头的方向和幅度，以及以设定的方式计算合并的效果，从而定义所期望的控制效果。因为视频会议侧的摄像单元24的成像特性和配置于设备10背面的摄像单元14的成像特性通常相互不同，例如，在它们的透镜组/成像区域方面，所以在不同侧形成的运动矢量的幅度也变得不同。然而，幅度的比率是已知的，由此可能使用代码单元17.3来定义和按比例调整例如为光标控制设置的移动。在这种情况下，在视频会议摄像单元24的视图中的用户头部的顶端及其脖子的右边缘可以作为固定点19.2’、19.3’。
基于本实施例，通过同时使用摄像单元14、24，以不同寻常的方式改进了方法的精确度，从而使得一个摄像单元24的运动矢量S’指向另一个摄像单元14的相反方向。更进一步的，摄像单元14、24特性的可能不同(双精确度)，这对精确度带来了额外的改进。基于此，可以充分地改进本方法的功能，所述改进很重要，例如，对于在小显示器上可见的元件的精确控制。
显示于显示器11上的目标13的、在图5所示的基本方向变化(4、5、6)上的运动可以从图5所示的基本方向(4、5、6)的位移分量来确定，所述位移分量被合并以形成与设备10的姿态或位置相应的最终运动矢量。
本发明允许对设备10的功能进行无指控制，因此，这比之前更加容易使用设备10，甚至是戴着手套时。在游戏应用中，基于设备10的姿态或位置变化的控制将使得游戏效果更易于掌控。此外，不再需要用于控制设备10的硬件级别配置，例如，加速传感器或姿态传感器，从而使得简化了设备10的构造并降低了制造成本。
通过设备10的多维运动，可以实现控制设备10操作的非常舒适且扣人心弦的体验。最近的甚至具有三维的用户界面观念可以通过使用影响所述设备的姿态或位置的变化，可以很容易地控制最新的用户界面概念，甚至是具有三维的用户界面概念。此外，高级的传感器技术和图像分析算法使得本发明以其多元化控制可能性而变得不同寻常。
本发明还用于实现所述方法的程序产品30，所述程序产品包括将被执行的代码17、17.1、17.2、17.3(例如，将以设定的顺序连续执行的命令)，以在电子设备10中实现根据所述方法的功能。
必须认识到，以上描述和相关附图仅为了描述本发明。特别地，元件13控制操作定义和图像比较方法可以通过多种不同方式来选择和执行。因此，本发明不仅仅局限于所披露的实施例或在权利要求中的声明，而在定义于随附权利要求中的发明性思想的范围内，本发明的许多不同变化和调整，对于所属领域技术人员而言都是显而易见的。
参考文献：
[1] G.L.Foresti and V.Murino.Moving object reconition form animage sequence for autonomous friving.In V.Capellini，editor，TVIPMOR4th Internation Workshop 1994，pages 380-390，Florence，Italy，1994，Elsevier Science Amsterdam.
[2]B.Heisele and W.Ritter.Obstacle detection based on color blobflow.In proc.Intelligent Vehicles Symposium，pages 282-286，Detroit，1995.
[3]H.Heisele，U.Kressel，and W.Ritter.Tracking non-rigid movingobjects based on color cluster flow.In Proc.Computer Vision and PatternRecognition，pages 253-257，San Juan，1997.
[4]B.Heisele.Motion-Based Object Detection and Tracking in Color图像Sequences.MIT，Cambridge.
[5]B.K.P.Horn and B.G.Schunck.Determining optical flow.ArtificalIntelligence，17：185-203，1981.

Claims (17)

1.一种电子设备(10)，包括，
-显示组件(11)，其中配置有至少一个整体可视的可控元件(13)，对所述元件(13)的控制被配置为基于这样的基础，即确定相对于至少一个所选固定点(19.1-19.3)的、与所述设备(10)的姿态或位置相关的变化(M)，以及
-摄像装置(14、15、24)，其被配置为形成图像帧(图像1、图像2)，
并且，在所述电子设备中，为了控制设备(10)的功能，例如控制所述元件(13)，使用光学数据流算法(17.2)，从所述摄像装置(14、15、24)所形成的图像帧(图像1、图像2)确定所述变化(M)，其中对所述图像帧(图像1、图像2)以设定的方式进行相互比较，并且基于所述比较来确定所述变化(M)，其特征在于，以选定的方式对所述图像帧(图像1、图像2)进行分割，从分割成的图段中的至少某些(图段1、图段2)中，确定用于定义所述变化(M)的至少一个运动矢量(SR，SL，SUp，SDown)。
2.如权利要求1中所述的设备(10)，其特征在于，所述摄像装置包括至少两个摄像单元(14、24)，所述至少两个摄像单元(14、24)被配置在设备(10)的相反两侧。
3.如权利要求1或2中所述的设备(10)，其特征在于，从图像帧(图像1、图像2)确定至少一个固定点(19.1-19.3)，对于所述固定点，从确定自所述图像帧(图像1、图像2)的位置变化(S，SR，SL，SUp，SDown)，来确定所述变化(M)。
4.如权利要求1至3中任一项所述的设备(10)，其特征在于，使用所述运动矢量(SR，SL，SUp，SDown)中的至少某些，确定其均值。
5.如权利要求1至4中任一项所述的设备(10)，其特征在于，所述变化(M)的确定频率/所述摄像装置(14、15、24)的成像频率被配置为，是根据所述设备(10)的当前运行情况可调的。
6.如权利要求1至5中任一项所述的设备(10)，其特征在于，所述摄像装置(14、15、24)被配置为与传统形成频率相比，基本上不频繁地形成图像帧(图像1、图像2)。
7.一种用于控制电子设备(10)的操作的方法，其中，设备(10)的操作，例如控制在显示组件(11)上的整体可视和受控的至少一个元件(13)，是以确定相对于至少一个所选固定点(19.1-19.3)的、与所述设备(10)的姿态或位置相关的变化(M)为基础的，并且在所述方法中，使用摄像装置(14、15、24)来形成图像帧(图像1、图像2)，以通过使用光学流算法(17.2)来确定所述变化(M)，其中，以设定的方式对所述图像帧(图像1、图像2)进行相互比较，并基于所述比较来确定所述变化(M)，其特征在于，以设定的方式对所述图像帧(图像1、图像2)进行分割，从分割成的图段中的至少某些(图段1、图段2)中，确定用于定义所述变化(M)的至少一个运动矢量(SR，SL，SUp，SDown)。
8.如权利要求7中所述的方法，其特征在于，通过使用所述摄像装置来形成所述图像帧(图像1、图像2)，所述摄像装置包括配置在设备(10)的相反两侧的至少两个摄像单元(14、15)。
9.如权利要求7或8中所述的方法，其特征在于，从所述图像帧(图像1、图像2)定义至少一个固定点(19.1-19.3)，对于所述固定点，基于从图像帧(图像1、图像2)确定的位置变化(S，SR，SL，SUp，SDown)，来确定所述变化(M)。
10.如权利要求7至9中任一项所述的方法，其特征在于，使用所述运动矢量(SR，SL，SUp，SDown)中的至少某些，确定其均值。
11.如权利要求7至10中任一项所述的方法，其特征在于，根据设备(10)的当前操作情况，调整所述变化(M)的确定频率/所述摄像装置(14、15、24)的成像频率被配置为。
12.如权利要求7至11中任一项所述的方法，其特征在于，以与传统形成频率相比，基本上不频繁地形成图像帧(图像1、图像2)。
13.一种在根据本发明的电子设备(10)中实现根据本发明的方法的程序产品(30)，所述程序产品(30)包括存储介质(MEM)，以及将使用处理器(16)来执行并写在所述存储介质(MEM)上的程序代码(17)，其中所述程序代码(17)被配置为，在确定相对于至少一个所选固定点(19.1-19.3)的、有关所述设备(10)姿态或位置的变化(M)的基础上，控制所述设备(10)的功能，例如，配置在显示组件(11)上的整体可视并受控的至少一个元件(13)，并且其中，所述程序代码(17)包括，
-代码单元(17.2)，其被配置为使用光学数据流算法(17.2)，从摄像装置(14、15、24)形成的图像帧(图像1、图像2)，确定所述变化(M)，并且
其中，所述程序代码(17)被配置为以设定的方式对所述图像帧(图像1、图像2)进行相互比较，并且程序代码(17)被配置为基于所述比较，确定相对于从所述图像帧(图像1、图像2)中选择的至少一个固定点(19.1-19.3)的、所述设备(10)的姿态或位置中的变化(M)，其特征在于，所述程序代码(17)还包括代码单元(17.2)，所述代码单元(17.2)被配置为以所选的方式对所述图像帧(图像1、图像2)进行分割，从分割成的图段中至少某些(图段1、图段2)中，确定相对于所述所选固定点的有关所述设备(10)姿态或位置的变化(M)，作为至少一个运动矢量(S，SR，SL，SUp，SDown)。
14.如权利要求13中所述的程序产品(30)，其特征在于，所述程序代码(17)包括被配置为分析在设备(10)的相反两侧形成的图像帧(图像1、图像2、图像1″、图像2″)的代码单元(17.3)。
15.如权利要求13或14中所述的程序产品(30)，其特征在于，所述程序代码(17)包括被配置为从所述图像帧(图像1、图像2)中确定至少一个固定点(19.1-19.3)的代码单元，对于所述固定点(19.1-19.3)，从确定自所述图像帧(图像1、图像2)的位置变化(S，SR，SL，SUp，SDown)中，确定相对于至少一个所选固定点的、与设备(10)姿态或位置相关的所述变化(M)。
16.如权利要求13至15中任一项所述的程序产品(30)，其特征在于，所述代码单元(17)被配置为使用所述运动矢量(SR，SL，SUp，SDown)中的至少某些来确定均值。
17.如权利要求13至16中任一项所述的程序产品(30)，其特征在于，所述程序代码(17)包括用于根据所述设备(10)的当前操作情况，来调整所述变化(M)的确定频率/所述摄像装置(14、15、24)的成像频率的代码单元。
CNB2005800279146A 2004-08-17 2005-08-16 电子设备和用于控制电子设备功能的方法，以及实现该方法的程序产品 Expired - Fee Related CN100478857C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20045300A FI20045300A (fi) 2004-08-17 2004-08-17 Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
FI20045300 2004-08-17

Publications (2)

Publication Number Publication Date
CN101006414A true CN101006414A (zh) 2007-07-25
CN100478857C CN100478857C (zh) 2009-04-15

Family

ID=32922164

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800279146A Expired - Fee Related CN100478857C (zh) 2004-08-17 2005-08-16 电子设备和用于控制电子设备功能的方法，以及实现该方法的程序产品

Country Status (6)

Country Link
US (3) US8970490B2 (zh)
EP (2) EP2650759A3 (zh)
KR (1) KR100899610B1 (zh)
CN (1) CN100478857C (zh)
FI (1) FI20045300A (zh)
WO (1) WO2006018482A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102089738A (zh) * 2008-06-11 2011-06-08 诺基亚公司 用于用户界面控制的相机姿态
CN102915219A (zh) * 2011-08-01 2013-02-06 联咏科技股份有限公司 动态检测方法及显示装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129249A2 (en) * 2005-05-31 2006-12-07 Philips Intellectual Property & Standards Gmbh Method for control of a device
US7697827B2 (en) * 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
FR2898007B1 (fr) * 2006-02-27 2008-09-19 Sagem Comm Procede d'adaptation de l'interface homme/machine d'un telephone et telephone selon le procede
US8004493B2 (en) * 2007-06-08 2011-08-23 Apple Inc. Methods and systems for providing sensory information to devices and peripherals
US8669938B2 (en) * 2007-11-20 2014-03-11 Naturalpoint, Inc. Approach for offset motion-based control of a computer
KR101417808B1 (ko) * 2007-12-06 2014-07-09 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8760269B2 (en) * 2010-09-14 2014-06-24 Crestron Electronics Inc. Control system for augmenting a portable touch screen device
EP2499964B1 (en) * 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
CN103105854B (zh) * 2012-01-19 2015-08-05 河南工业大学 基于隐性控件的云台操控系统及方法
GB2507963A (en) * 2012-11-14 2014-05-21 Renergy Sarl Controlling a Graphical User Interface
KR101509869B1 (ko) * 2012-12-31 2015-04-07 현대자동차주식회사 디스플레이 연동 시스템 및 방법
US10013710B2 (en) * 2014-04-17 2018-07-03 Ebay Inc. Fashion preference analysis
JP2016045874A (ja) * 2014-08-26 2016-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10643373B2 (en) * 2017-06-19 2020-05-05 Apple Inc. Augmented reality interface for interacting with displayed maps
JP2019057840A (ja) * 2017-09-21 2019-04-11 トヨタ自動車株式会社 撮像装置
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5786804A (en) 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
US6298144B1 (en) * 1998-05-20 2001-10-02 The United States Of America As Represented By The National Security Agency Device for and method of detecting motion in an image
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
US6738041B2 (en) * 1999-10-29 2004-05-18 Intel Corporation Using video information to control cursor position
US6654483B1 (en) 1999-12-22 2003-11-25 Intel Corporation Motion detection using normal optical flow
US7187412B1 (en) 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
JP3603737B2 (ja) 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
DE60238109D1 (de) * 2001-02-19 2010-12-09 Honda Motor Co Ltd Automatisches Zielerkennen mittels Vorlagenvergleich
US6798429B2 (en) 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
EP1257111A1 (de) 2001-05-08 2002-11-13 Siemens Schweiz AG Mobiles Terminal mit rückseitig angeordnetem Bedienfeld
US6765555B2 (en) * 2001-11-07 2004-07-20 Omnivision Technologies, Inc. Passive optical mouse using image sensor with optional dual mode capability
JP2003288161A (ja) * 2002-03-28 2003-10-10 Nec Corp 携帯機器
US7177445B2 (en) * 2002-04-16 2007-02-13 Koninklijke Philips Electronics N.V. Discriminating between changes in lighting and movement of objects in a series of images using different methods depending on optically detectable surface characteristics
JP2004021870A (ja) 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 視線入力機能付携帯電話
JP3851601B2 (ja) * 2002-09-27 2006-11-29 富士写真フイルム株式会社 携帯端末装置
US6995748B2 (en) 2003-01-07 2006-02-07 Agilent Technologies, Inc. Apparatus for controlling a screen pointer with a frame rate based on velocity
WO2004066615A1 (en) 2003-01-22 2004-08-05 Nokia Corporation Image control
US7359713B1 (en) * 2003-02-28 2008-04-15 Trimble Navigation Limited Battery consumption optimization for mobile users
US7267942B2 (en) 2003-03-24 2007-09-11 The University Of Hong Kong Diagnostic assay for the human virus causing severe acute respiratory syndrome (SARS)
US7671916B2 (en) * 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
BRPI0606477A2 (pt) * 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102089738A (zh) * 2008-06-11 2011-06-08 诺基亚公司 用于用户界面控制的相机姿态
CN102089738B (zh) * 2008-06-11 2013-05-08 诺基亚公司 用于用户界面控制的相机姿态
CN102915219A (zh) * 2011-08-01 2013-02-06 联咏科技股份有限公司 动态检测方法及显示装置

Also Published As

Publication number Publication date
US20080297474A1 (en) 2008-12-04
US20150138090A1 (en) 2015-05-21
US10126834B2 (en) 2018-11-13
EP1779227B1 (en) 2013-07-03
KR20070035082A (ko) 2007-03-29
FI20045300A (fi) 2006-02-18
EP2650759A2 (en) 2013-10-16
CN100478857C (zh) 2009-04-15
EP1779227A1 (en) 2007-05-02
WO2006018482A1 (en) 2006-02-23
US10768714B2 (en) 2020-09-08
FI20045300A0 (fi) 2004-08-17
US8970490B2 (en) 2015-03-03
EP2650759A3 (en) 2014-01-29
US20190121448A1 (en) 2019-04-25
KR100899610B1 (ko) 2009-05-27
EP1779227A4 (en) 2011-06-22

Similar Documents

Publication Publication Date Title
CN100478857C (zh) 电子设备和用于控制电子设备功能的方法，以及实现该方法的程序产品
US10318017B2 (en) Viewing images with tilt control on a hand-held device
EP2593848B1 (en) Methods and systems for interacting with projected user interface
US8854433B1 (en) Method and system enabling natural user interface gestures with an electronic system
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
RU2541852C2 (ru) Устройство и способ для управления пользовательским интерфейсом на основе движений
CN106200899A (zh) 根据用户头部动作控制虚拟现实交互的方法及系统
US20130176202A1 (en) Menu selection using tangible interaction with mobile devices
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US20170371432A1 (en) Integrated free space and surface input device
JP6100497B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および画像表示方法
KR101338958B1 (ko) 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법
JP6801138B1 (ja) 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
US8970491B2 (en) Computer system, computer system control method, program, and information storage medium
WO2017217375A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
TW201523347A (zh) 手持式指向裝置以及其游標定位方法
JP7317895B2 (ja) プログラム
CN111273773A (zh) 一种头戴式vr环境的人机交互方法及系统
Rasakatla et al. Optical flow based head tracking for camera mouse, immersive 3D and gaming

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NOKIA 2011 PATENT ASSETS TRUSTS CORPORATION

Free format text: FORMER OWNER: NOKIA OY

Effective date: 20120203

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee

Owner name: 2011 INTELLECTUAL PROPERTY ASSETS TRUST CORPORATIO

Free format text: FORMER NAME: NOKIA 2011 PATENT ASSETS TRUSTS CORPORATION

CP01 Change in the name or title of a patent holder

Address after: Delaware

Patentee after: 2011 Intellectual Property Asset Trust

Address before: Delaware

Patentee before: NOKIA 2011 patent trust

TR01 Transfer of patent right

Effective date of registration: 20120203

Address after: Delaware

Patentee after: NOKIA 2011 patent trust

Address before: Espoo, Finland

Patentee before: NOKIA Corp.

ASS Succession or assignment of patent right

Owner name: CORE WIRELESS LICENSING S.A.R.L.

Free format text: FORMER OWNER: 2011 INTELLECTUAL PROPERTY ASSET TRUST CORPORATION

Effective date: 20120425

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120425

Address after: Luxemburg Luxemburg

Patentee after: NOKIA Inc.

Address before: Delaware

Patentee before: 2011 Intellectual Property Asset Trust

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090415

Termination date: 20210816