CN101213507B - 用于控制信息显示器的控制装置及相应的系统、方法和设备 - Google Patents

用于控制信息显示器的控制装置及相应的系统、方法和设备 Download PDF

Info

Publication number
CN101213507B
CN101213507B CN2006800241139A CN200680024113A CN101213507B CN 101213507 B CN101213507 B CN 101213507B CN 2006800241139 A CN2006800241139 A CN 2006800241139A CN 200680024113 A CN200680024113 A CN 200680024113A CN 101213507 B CN101213507 B CN 101213507B
Authority
CN
China
Prior art keywords
information
control
control device
information display
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800241139A
Other languages
English (en)
Other versions
CN101213507A (zh
Inventor
P·法尔蒂埃宁
S·钱德
K·拉默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101213507A publication Critical patent/CN101213507A/zh
Application granted granted Critical
Publication of CN101213507B publication Critical patent/CN101213507B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及一种对于信息显示器(13，13’)的控制装置(10，10.1-10.8)，包括用于接收图像信息(50)的视频传感器(52)，用于确定位于所述图像信息(50)中的控制信息(15，16)的处理器(51)，其中在所述控制装置(10，10.1-10.8)与所述信息显示器(13，13’)之间的后续数据传输取决于由控制信息(15，16)确定的所接收图像信息(50)的原点。此外，系统、方法和程序产品也是本发明的目标。

Description

用于控制信息显示器的控制装置及相应的系统、方法和设备
技术领域
本发明涉及信息系统领域，尤其是用于信息的控制装置。此外，本发明还涉及用于实现本发明的相应系统、方法和程序产品。 
背景技术
通常，通过准备好的架空幻灯片演示文稿(例如，PowerPoint)来在洽谈室中的洽谈参与者之间发布信息。倘若在洽谈场所安装有专用智能白板，还可以使用该专用智能白板。 
在特定应用中，尤其是在数字白板的情况下，通过使用信息设备在信息表面上呈现信息，可以在信息表面上有效地操作可视信息。然而，由于数字白板系统通常相当昂贵，其使用受到限制。为此，不必向每个洽谈室提供数字白板系统。 
如果洽谈方希望在洽谈期间相互发布信息，例如，在洽谈期间提出的电子附加信息，这是很难实现的。依照本领域现状，通常仅能在事后发布信息。因此可以以这样一种方式解决问题，例如，通过电子邮件将相关的信息发送给需要该信息的每个洽谈方。如果期望发布已经在洽谈情形中的电子信息，则每个感兴趣的人必须把他的装置(通常是膝上型电脑)连接到呈现设备系统从而向他的装置传送该信息。为了信息的显现或发布，还必须建立用于从个人装置向呈现设备传输信息的相应连接。 
信息系统领域现状的另一缺点是：在这些系统中，每次仅一个参与者可以控制信息设备。因此，在该思想产生或自由讨论团队中的其他参与者 变得被动，并且最多仅仅可以对提交人显现在呈现设备上的内容进行注释。 
关于本领域的现状，洽谈室的呈现设备是由分立的装置表示的，这使得有可能要么仅仅显示信息(例如，连接到计算机的数据投影仪)，要么还编辑信息以及产生新的信息。这种更尖端的装置是，例如，配置有嵌入软件的各种集成的触摸屏/用笔操作的数字白板。一个例子是智能板系统。另一例子是ANOTO--数字笔，以及第三个例子是Ebeam。在Ebeam中，传感器连接到手控白板的一角。容器帽发射由传感器测量的信号。然而，当放置在新的位置时，该装置需要校准。 
可以从国际PCT专利公开WO02/03316A1中清楚智能板的解决方案的一个例子。在那里，信息表面的角部包括照相机。该照相机用于形成信息表面的图像信息。根据该图像信息，可以在每个时刻识别出控制装置与信息表面接触的位置。在控制装置的接触点处指示预期的动作。 
然而，这种白板式的数字装置是昂贵的专用设备。这就限制了把它们用在每个洽谈场所的可能性。此外，仅通过专用笔或者通过等同的输入装置才可以正常的控制它们。此外，它们已经被限定为在一个时刻仅用于两个人来呈现/编辑信息，并且这两个人必须紧靠白板的附近。 
已知又一现有技术，其中应用了移动照相装置和排列在信息表面上的控制信息。然而，该“斑点编码”(“Spotcode”)概念〔1〕并不适合于例如会议室实现方式，而是适合离散的呈现系统，在离散的呈现系统中受控对象的位置被固定到信息表面的特定位置。而且，难以确定移动照相装置的当前取向的事实还引起了一些问题，由于该问题，该系统难以运行在例如3D空间中。在斑点编码(SpotCode)概念中，仅可以沿着一个轴检测在背景前的装置旋转。 
发明内容
本发明的目的是提供一种控制信息装置组合体——具体来说是信息显示器——的方式。通过本发明，获得了一种控制现有呈现、编辑和/或创建新的信息，和/或把信息发布到其他用户的方式，从一个终端用户甚至多个终端用户的角度来看该方式都很容易。
在本发明中，例如，装配有视频传感器以及可能的显示器的电子装置可以令人惊讶地被用作对于信息显示器的控制装置。在本发明中，在控制装置和信息显示器之间的后续数据传输取决于由控制信息确定的所接收图像信息的原点。因此，控制装置可以以令人惊讶的方式不接触地操作信息显示器。移动台设备可以作为控制装置的一个例子，可以为移动台设备提供必要的功能从而依照本发明的方式控制信息显示器。 
依照一个实施例，利用装配有视频传感器的智能装置，可以在信息显示器上直接或非直接地指向目标位置而不需要与信息显示器接触，并且可以确定相关位置的地点。目标位置的地点可以从视频传感器接收的图像信息中确定。当已经确定位置时，可以在相关的位置处指示预期动作。所述位置可以被自由地选择。 
可以在本发明的背景中广义地理解所述动作。除了传统数字呈现装置中已知的用于控制和创建信息的动作外，还可以把信息从信息设备，例如，从表面上的该指向位置传送到控制装置。还可以从控制装置向信息设备，例如向在信息显示器上所指向的目标位置传送信息。本发明事实上提供了各种可替代动作，该动作可以被理解为在控制装置和信息显示器之间的后续数据传输，并且它们中没有一个在基本发明思想的范围内相互排斥。 
例如，为了确定由装配有视频传感器的装置指向的在信息表面上的位置，可以在相同的或者甚至某些其他信息显示器或表面上呈现专用控制信息。所述控制信息可以形成精确并可控的、甚至动态的排列。例如，如果在相同信息显示器上，信息将要被呈现而控制信息已经被呈现，则基本上不会对将被该呈现装置呈现的实际信息的可解释性引起任何损害。控制信息以这样的方式被排列在信息显示器上，从而使得允许控制整个信息表面区域而不限定于某些特殊位置，甚至信息显示器的外部区域。 
依照一个实施例，基于控制装置所接收的图像信息连续流，该装置可以用于确定图像信息中涉及控制信息的地点和尺寸的数据。例如，该数据或以既定的方式从中计算和确定的数据可以与图像信息的尺寸一起被至少部分地传送给信息设备，以用于确定在信息显示器上的所指位置。还可以仅仅向信息设备传输图像数据。使用该信息设备，可以执行对操作位置的最后确定。利用特定意义上作为两个步骤之一的该确定步骤，获得了对于控制装置的功能的分散，另一方面还获得了对操作位置的更加精确的确定。 
控制装置和信息设备可以相互通信，例如通过应用无线局域网。因此，有关它们之间的连接设置的设置信息也可以被呈现在信息显示器上。根据设置信息，可以解码用于执行装置之间的通信的连接设置数据，并且这从视频传感器形成的图像信息中可以容易地识别出来。通过该方式，尤其获得这样的优点，也就是用户现在不需要在他的装置中例如手动地设置连接设置数据，手动地设置连接设置数据在实际中很困难并且比较麻烦。这还加速了系统的启动以及到系统的连接，并且此外，使得还可以由多个控制装置控制该呈现。 
本发明允许几种应用程序，通过该应用程序，可以获得关于信息控制、呈现、创作、编辑、发布和接收的多个优点。除了传统的2D控制外，对呈现信息的3D控制现在也是可能的。 
本发明还涉及借助于投影到或者印刷到表面或者绘制到显示器的数据模式，在准确的3D定位中使用至少一个视频传感器的概念。 
本发明的其他特征出现在从属权利要求中，并且在说明书中列出了可获得的更多优点。 
附图说明
本发明并不限定于下面提出的实施例，现将参考附图详细说明本发明，其中： 
图1是依照本发明的系统的例子的粗略示意图； 
图2显示了依照本发明的控制装置的基本应用例子的框图； 
图3显示了依照本发明的信息装置组合体的基本应用例子的框图； 
图4显示了呈现在信息表面的控制信息的应用例子； 
图5显示了控制装置的取景器中的视图的应用例子； 
图6显示了通过本发明可能实现的某些实施例的例子； 
图7显示了涉及控制信息的第一更先进的实施例； 
图8显示了涉及控制信息的另一更先进的实施例； 
图9a显示了依照本发明的方法的简化流程图； 
图9b显示了依照本发明的方法的例子的流程图； 
图10是依照本发明的系统的例子的另一粗略示意图； 
图11显示了依照本发明的控制装置的第二基本应用例子； 
图12显示了在图11中显示的控制装置的可能的取向变化； 
图13a-14b显示了头戴式控制装置的某些应用例子； 
图15显示了用于排列控制信息的另一应用例子； 
图16显示了涉及可佩戴控制装置的另一应用的例子；以及 
图17显示了涉及倾斜的控制装置所获取的图像信息的应用例子。 
具体实施方式
本发明涉及一个或多个装置10、10.1-10.8的使用，该装置配备有至少一个照相机52——更一般的说即用于接收图像信息的至少一个视频传感器，并且配备有能够呈现和/或形成信息INFO的必要功能——更一般的说即用于其控制的必要功能。本发明的性能差别被呈现在参考图9a和9b所示流程图的说明书的合适位置。 
总体来说并参考说明书的所有图1-17，对于信息显示器13，13’的控制装置10、10.1-10.8包括：用于接收图像信息50(图9a的阶段1100)的视频传感器52以及用于确定图像信息50中的控制信息15，16(图9a的阶段1200)的处理器51。在装置10、10.1-10.8中，以及在依照本发明的系统和方法中，在控制装置10，10.1-10.8和信息显示器13、13’之间的后续数据传输取决于由控制信息15、16确定的所接收图像信息50的原点(图  9a，阶段1300)。可以从上面提及的基本特征以及从下面呈现的应用例子的描述，隐含地导出该方法、相应的系统和程序产品。 
本发明提供了几个实施例。第一种可能的情况是，例如，用户通过控制装置10指向信息装置11-13的表面13。根据所指的位置，用户可以从信息装置11-13向控制装置10下载数据。所下载的数据可以是，例如，PPT幻灯片的一部分或者全部PPT幻灯片。第二种可能的情况是，例如，用户通过控制装置10指向信息装置11-13的表面13。根据所指的位置(通过使用从图像数据50中形成的控制信息15，16)，用户可以把数据从控制装置10发射到信息显示器13。第三种可能的情况是用户通过控制装置10指向信息装置11-13的表面13。根据所指的位置，用户此刻可以重新排列在信息装置11-13的表面13上的数据。在各个实施例中执行在控制装置10和信息显示器13之间的后续数据传输。所指位置无需必须位于信息显示器13的边界内，而是可以位于信息显示器13外部的某个位置。 
在本发明的背景中限定术语“原点”。图像信息50的每个点可以对应于信息显示器13的特定点。信息显示器13的点(或者在同一平面上的信息显示器13的外部)可以被称为图像信息50中的点的“原点”或者“源点”。 
因此，“原点”意味着在照相机51获取的位图图像的坐标和信息显示器13的平面上的坐标之间的映射。因此，对于位图图像中的每个点，可以找到信息显示器13上的原点(即，源点，或者“起始点”)。结合本发明，坐标系统的原点意味着固定点(0，0)并且一般可以从坐标系统中清楚其含义。 
图1是依照本发明的系统的例子的粗略示意图。从图1中可以看出，本发明的基本思想提供了对几种不同类型的动作和情况的应用。因此，将在下文中作为例子呈现的动作和应用情况不能被理解为以任何方式限定本发明的可能的应用领域。 
依照本发明的系统包括至少一个服务器11、连接到服务器11以用于数据通信的至少一个呈现装置12以及至少一个控制装置10，作为主要部  件。服务器11和呈现装置12也可以合起来构成信息装置组合体11、12或者它们还可以相互分离。控制装置10和服务器11还可以是完整的固体装置单元，例如“智能手机”，并且在该实施例中，可以仅存在由“智能手机”指示的外部显示器或者投影仪单元12。 
与智能板类型的高昂花费系统不同，本发明可以使用标准办公设备。一种应用的例子是配备有处理器的、通用的、通常所说的信息装置11，其中设备11可以连接到呈现装置12。 
服务器可以是例如计算机装置或者等同物，例如PC装置11。呈现装置可以，例如是数据投影仪12(视频投影仪)或者仅仅是简单的显示单元。除了呈现装置12外，系统还可以包括至少一个投影屏12’，其中投影屏12’具有至少一个信息表面13。在信息表面13上可以至少呈现信息INFO或者对其的引用FILE，该信息被从服务器11所控制的数据投影仪12显现在信息表面13上。信息表面13的整个范围都可以被用于这些目的。 
另一方面，服务器11、呈现装置12和信息表面13还可以形成一个紧凑的实体。由此，服务器功能甚至可以集成在呈现装置12本身中，或者反之亦然。呈现装置12还可以，例如是LCD类型的显示器。因此，在其自身中已经具有用于至少呈现信息INFO的信息表面13。依照又一实施例，服务器甚至可以仅仅是一件移动设备，其可以连接到外部显示器或者数据投影仪。服务器还可以有多种选择，并且当然决不受本发明的基本原理的限定。因此，通常，可以独立于实现该显示器所需的单元11-13的数量来谈论“信息显示器”。 
图2显示了依照本发明用于控制信息设备11的控制装置10的框图例子。如之前所述，控制装置可以例如是已知类型的移动设备(ME)10，该设备具有至少一个已知类型的照相机52以及用于对信息表面13进行操作的图像处理系列IC。此外，装置10还可以包括显示器，例如，照相机52的取景器VF。然而，应当注意在控制装置中显示器是可选的。除了移动设备外，也可以使用具有照相机的各种便携装置，例如，PAD(个人数字助理)装置，网络照相机或者甚至是数码相机。一般来讲，便携计算机  或者便携传输装置可以包括依照本发明的控制装置。 
由于照相机52属于装置10，有可能通过控制装置10，通过不接触信息表面13的目的位置21的操作，来执行信息设备11的控制。因此装置10或者其照相机52从一定距离瞄准信息表面13以及其中的预期位置21。可以以既定的方式来安排在图像信息50中的目标位置21的地点，例如，在其中心。 
在本发明的背景中，信息表面13的操作可以理解为通过控制装置10的照相机52瞄准它或者指向信息表面13。该瞄准或者指向可以对着信息表面13上的任何位置的特定点。因此，本发明允许对可以从信息表面13自由选择的特定位置进行指向。通过使用照相机52连续且直接地指向信息表面13，由照相机52从信息表面13形成图像信息50，从图像信息50可以连续地确定由控制装置10指出的在信息表面13上的位置21的连续流，从而执行控制动作，即，向信息设备11指示的操作。一般来讲，这也被称为在控制装置10、10.1-10.8和信息显示器13、13’之间执行的后续数据传输。这使得甚至可以从到呈现表面13一定距离处来容易地对呈现进行控制。 
信息表面13的连续指向过程有助于追踪指向位置21的移动，从而控制整个信息表面13的特定点。连续指向使得能够进行交互，例如“拖”或者“点击”或者“放置”。从这个意义上说，如果用户可以移动(“拖”)在显示器13上的“激活”的对象而不是仅仅“瞄准&发射”(单个机会)，则可以更准确地放置。如果在“瞄准&发射”的情况下用户进行了错误的瞄准，则这会引起用户需要重新瞄准和重新发射。这对用户并不友好。 
此外，控制装置10包括处理器51。它们用于以已知方式控制并执行装置10的功能。除了装置10的基本功能(例如，移动通信)外，处理器51还可以用于从照相机52形成的图像信息50中，确定控制装置10每次在信息表面13上指向的至少部分位置21，以及将在位置21上执行的动作(图5)，或者一般地说，对信息显示器13、13’执行的动作。另一方面，还可以仅仅通过装置10形成图像信息50。因此，服务器11可以执行用于  确定所指向的位置21所需要的主要动作。 
图6显示了在应用情况下的信息表面13的例子。依照第一实施例，在信息表面13的被自由选择的指向位置中，可以仅仅具有虚拟桌面，可以通过控制装置10向虚拟桌面增加信息。另一方面，在信息表面13的相关特定位置中，还可以存在已经由设备11、12呈现的信息INFO，据此指示对其的动作。通常可以自由地选择信息INFO的位置或者所操作的位置。这使得本发明尤其适用于这样一种应用，在该应用中例如可以结合会议来创建或编辑信息INFO。因此，在本发明中，不需要为了对其控制而将特定信息放置在预定位置。信息INFO可以被完全自由的放置在表面13上。如果某些信息18、19、20已经被呈现在表面13的某个相关位置处，则当然可以编辑这些信息，或者可以对该相关的特定位置执行其它动作。此外，可以作为在相关位置处的信息，来呈现对某些文件FILE或者等同电子信息实体的引用。例如通过指向相关的文件图标FILE和/或通过选择下载功能或者相应的手势，可以将引用的内容从服务器11下载到控制装置10。在本发明的背景中，可以以各种不同的方式理解“信息”概念。 
除了负责控制装置10的功能的处理器51外，移动设备10或者控制装置10通常还配备有合适的通信协议装置22。相应的数据传输单元24还属于图3的框图中所示的服务器11的设备。数据传输单元22、24可以用于使用所选通信路径来执行在控制装置10和受控制的信息设备11之间的数据传输。数据传输包括数据(x1、y1、hei、wid)或者(TL、TR、BL、BR)以及至少与照相机52从信息表面13形成的图像信息50相关的gx、gy。这将在后面的说明书中进行更详细的描述。 
依照一个实施例，数据传输单元22、24可以基于无线局域网手段。一个例子是蓝牙通信协议BT。另一例子可以是WLAN(无线局域网)。当然，也可以使用能用于本地数据传输的其它协议。 
图3显示了依照本发明的服务器11的例子。服务器11也具有一个通信模块24或者其等同物。使用该模块可以执行至少与一个或者多个控制装置10的数据传输。此外，服务器11具有数据传输接口33，通过该接口可  以控制信息呈现装置——例如上面作为例子提及的数据投影仪12。应当注意，除了无线连接外，当然还可以在服务器11和移动设备10或相应物之间应用有线线路通信。照相机装置CAM的应用决不妨碍控制服务器11的或呈现装置12的功能。尽管系统可能由此会变得笨拙，在用户友好方面无线控制可以是更合适的方式。 
依照一个实施例，依照本发明的实现方式可以是程序实现或者程序和硬件层功能的适当结合。以下通过例子描述程序产品30.1、30.2，该程序产品被配置用于的移动设备10和服务器11——该程序产品将在其中运行。 
首先，图3所示的服务器11可以具有已知类型的呈现软件34。一启动服务器11并激活应用程序34(步骤900’)，呈现软件34就可以用于从呈现应用程序中呈现已知的数据信息INFO。这些最常见的例子是图像、演示文稿、附图和文本。呈现软件34可以，例如通过虚拟桌面、通过与其相关的菜单并通过虚拟工具，来形成。 
属于服务器11的基本设备在这里不再进行详细的描述，因为对于本领域的技术人员来说该基本设备和其各种功能是显而易见的。原则上，如同在传统鼠标操作用户接口中或者在智能板类型的更加成熟的方案中那样，至少所有的相应功能都可能用于本发明中的实现方式。甚至一般地，在服务器11的情况下可以称为共享白板软件34。 
除了已知类型的呈现软件(可以例如是MS PowerPoint 34)或者与服务器集成在一起的呈现软件外，在此，服务器11——一般而言计算机(或者软件)被提供有一个或多个代码单元32.3、32.4，通过该代码单元，数据投影仪12可以被命令以产生并在信息表面13上呈现被编码的屏幕表面位置15、16.x。通过利用这些代码单元，可以确定控制装置10所选择的在信息表面13上的特定位置21(步骤901’)。在图1中显示了这样的例子。程序代码调用32.3可以产生并临时存储被编码的数据项目的阵列，以及它们的像素尺寸和在屏幕上的位置。例如，该阵列可以具有以下形式： 
Array(GENERATED)＝{ 
      {datamatrix_1，bounding_box_of_dadamatrix_1}， 
       ...， 
      {datamatrix_(N-1)，bounding_box_of_datamatrix_(N-1)}， 
      {datamatrix_(N)，bounding_box_of_datamatrix_(N)} 
} 
一般的，在本发明的环境中，可以说控制信息15、16.x被产生并呈现在信息表面13上，控制信息大体上地但稀少地覆盖信息表面13，当执行控制测量以及观看位于其上的信息INFO时并不会引起很大不便。信息设备11可以把控制信息15、16.x与显现在信息表面13上的信息INFO结合在一起(代码单元32.8)。由此，由信息设备11显现的信息INFO和控制信息15、16.x可以被显现在公共且相同的信息表面上(代码单元32.9)。在这此方案中，在表面13上呈现的信息INFO可以位于控制信息16.1、16.2之上(图8)。 
另一方面，还可以通过比服务器11更合适的其它装置把控制信息15、16呈现在信息表面13上，利用该其它装置显示呈现软件34的视图。控制信息15、16.x还可以呈现在某些其它信息表面上(没有显示)。其它表面可以是与呈现服务器11的信息INFO的信息表面13不同的信息表面。 
依照一个实施例，屏幕表面位置15、16.x可以是在视觉上可检测的控制信息15、16.x。依照另一实施例，它们还可以是人眼检测不到的或者能非常微弱地检测的类型(代码单元32.11)。控制信息15、16.x可以由视觉编码控制元素15形成，对视觉编码控制元素15的检测以取向为基础(代码单元32.4)。它们可以形成在信息表面13上的控制元素组16.1、16.2。在信息表面13上，控制元素组16.1、16.2可以形成以既定的方式排列的控制模式实体14。根据排列在信息表面13的已知位置上的控制信息15、16.x，有可能当执行信息INFO和呈现软件34的控制时，可以确定控制装置10所操作的和所指的信息表面13的位置21的连续流。 
下面，参考图4，图4显示了在依照一个实施例的情况下的控制信息。在该控制信息的情况下，在所呈现的实施例中，可以论及字形15，或者更具体地，论及由单个字形15形成的阵列或者类矩阵字形组16.1、16.2。属  于单个组16.1、16.2的字形15自身可以形成包含4个字形的最小矩阵——字形组16.1、16.2。字形组16.1，16.2可以在信息表面13上形成以既定的方式排列的控制模式实体14。在这种情况下，控制模式实体14形成以类矩阵方式排列的集合。由此集合14可以确定控制装置10每次在信息表面13上指向的准确位置。而且，由于产生较小数量的较小字形组16.1、16.2，并且还通过稀疏地放置它们，可以覆盖较大的区域而没有较大的干扰。 
字形组之间的最大距离和字形组16.1、16.2的尺寸取决于：1)照相机52的覆盖范围和2)照相图像50的分辨率(照相机的属性)。照相机52的覆盖范围与在照相机52和信息表面13之间的预期距离有关。照相图像50的分辨率以及字形组16.1、16.2的尺寸以这样一种方式相关：在照相机52获取的图像50中必须能够检测并识别字形组16.1、16.2。在具有较低分辨率(160×120像素)照相图像的实施例实现方式中，字形组16.1、16.2以这样的方式间隔，该方式使得能够在全部范围的信息表面区域13中进行指向而字形组16.1、16.2仅仅占用了3.5％的可视区域。在这种情况下，当应用移动电话照相机52的低分辨率图像流时，照相机52和表面13之间的合适的距离可以是，例如，0.5-5m(甚至是10m或者更远)。例如，通过利用数字变焦也有可能增加距离。而且，屏幕13的尺寸影响了该距离特征。用于估计(能够稍微稳定地指向位置或者目标的)距离的一个例子是至少具有上述字形15、16.1、16.2设置的信息表面13的宽度的0.3-2倍。 
一般的，字形组16.1、16.2在信息表面13上占的覆盖部分可以例如是1-30％。然而，例如，如果使用红色字符或者其它颜色，则较大的覆盖将很麻烦。另一方面，可以使用隐藏技术(后面结合图7进行描述)，使得即使检测错误率较大也能起作用。而且，可以使用30％覆盖率(甚至更大)，例如与隐藏特征一起，对连接细节17与散布于整个表面13上的位置信息16.1、16.2进行编码，从而可以实现无缝控制连接。 
依照一个示例性实施例，字形15的大小可以是16×16像素，并且两个字形15之间的间隔可以是8像素。如果每个像素15的75％区域被着以单个颜色，则该版本将使用该单个颜色来对屏幕13的一半像素着色(覆盖  率＝0.75*(16/(16+8))＝0.5)(如果使用该间隔设置来以字形15覆盖整个屏幕区域13)。如果通过使用隐藏技术动态选择单个颜色，则这种方案是可以应用的，例如图8所呈现的。 
在该实施例中所呈现的更详细的240×192像素的refGrid包含一个40×40像素的字形组，因此覆盖区域是(40*40)/(240*192)＝0.03472(这仅包括2×2字形矩阵，而不是连接模式17)。 
字形组集合14可以覆盖整个较大信息表面13，该表面例如以规则的间隔分割。每个码团块16.1、16.2可以被设定为对应于信息表面13上的特定位置。根据用于协助指向识别的每个码组16.1、16.2，因此可以精确地确定恰在信息表面13上的位置21，其中控制装置10在该位置处进行特别的指向/瞄准，并且该位置被试图作为预期动作的目标。这使得可以在表面13上自由选择指向位置，并且可以利用表面13的整个范围区域。在例如会议室实施例中是非常重要的，在会议室实施例中依照本发明的系统可以用于，例如在精确的自由选择的位置上创建新的信息INFO或者操作在表面13的零星位置上已经存在的信息。 
服务器11可以用于设置信息表面13上的控制元素，并且设置与连接设置17’相关的信息17(代码单元32.5，步骤901’)。一般的，该系统可以被配置为，使得数据矩阵17中的每一个或某些可以包含到计算装置11的连接细节17’，其中计算装置11正在产生与数据矩阵17相关的显示12’。由于该原因，该系统可以用于直接连接以及直接操作在多个装置的屏幕上显示的数据。当配备有依照本发明的装置10、10.1-10.2的几个参会者想要参与集体讨论时，这些特征很重要。 
如果配置与多个服务器相关的多个显示器表面，则服务器之间的切换被配置为无缝的。在这种实施例中，电话10可以首先连接到产生显示器D(A)的服务器S(A)。然后，用户可能打算指向连接到另一服务器S(B)的显示器D(B)。(例如在用户的装置10上的)系统可以从显示器D(B)的数据中自动地解码连接信息17’，并自动地连接到该特定服务器S(B)。由于该特征，指向事件被直接发送到服务器S(B)而不是服务器S(A)。因此，还可  以从连接细节信息17的连续流中动态地确定连接细节17’。仅仅指向具有连接细节17的新表面并利用照相机52对该新表面进行成像，就足以对该特定表面以及连接到该表面的可能的服务器进行控制。这对用户是非常友好的。 
在信息表面13上，涉及连接设置信息的数据矩阵17可以形成由相应类型的字形形成的集合17。可以从中解码出例如涉及在服务器11和控制装置10之间的会话协议和设置的内容。这些内容的某些例子是在通信中所用的蓝牙地址和端口17’。基于该内容可以在移动设备10中推断这些连接设置，于是依照该连接设置与服务器11建立数据传输会话(代码单元31.5，步骤903)，其中通过移动设备10可以持续地指向信息表面13并且移动设备10的照相机52用于形成其图像信息50(步骤902)。 
如果在信息表面13上以人眼可视的波长范围形成字形15，则如果不需要字形15并且/或者字形15在某些方面干扰了将在表面13上执行的信息呈现18-20，那么例如可以由用户至少部分地使字形15淡化。 
因此，从在信息表面13上提供控制元素15、16.x的装置，例如从服务器11，确定控制元素15、16.x淡化功能(代码单元32.10)。随后，元素15、16.x不再被映射到呈现表面13上或者至少不位于其一部分上，而是仅仅服务器11所呈现的信息18-20被映射到表面13上。 
应当注意依照一个实施例，控制元素15、16.x还可以是非可视类型的。因此，可以通过使用例如合适的波长范围将数据矩阵16.x、17显现在信息表面13上，该数据矩阵可以是人眼或多或少甚至是完全不可视的控制元素(代码单元32.11)。然而，根据移动设备10所形成的图像信息50，设备10仍然每次都可以识别照相机52中的的整个字形组16.1，并且从字形组中确定装置10在屏幕表面13上所指的位置21或会话协议数据17’。 
该非可视控制元素15、16的一个例子是人眼不可视的红外标签，但该红外标签仍然可以被照相机52检测到。呈现设备12可以由此需要附加设备，使用该附加设备实现把红外标签呈现在表面13上。此外，如果使用与呈现装置12分立的装置来把标签呈现在表面13上，则该实施例还需要校  准动作以便对准位置在屏幕表面13上的标签。 
服务器11还可以具有程序模块或者等同功能单元(代码单元32.1)，通过该模块可以确定移动设备10所指的信息表面13的位置21的流(步骤909’)。服务器11可以至少一部分地利用与在步骤908’中从控制装置10接收的以及从图像信息50中确定的控制信息15、16.x相关的数据x1、y1、wid、gx、gy，来确定位置21或者它们的流。因此，涉及确定动作功能的至少一部分还可以通过出乎意料的方式被配置在移动设备10中(代码单元31.1，31.4，31.7)。 
通过位于服务器11和控制装置10、10.1、10.2之间的分散化确定，获得了多个优点。第一，其降低了将由服务器11执行的处理，从而可以有效地服务于更多的控制装置10、10.1、10.2。另一方面，通过这种类型的分散化实现方式，还可以在确定目标位置21或位置流的准确性方面获得优点，其中目标位置21或者位置流是在控制操作期间通过移动控制设备10、10.1、10.2获得的。如果控制装置10仅仅发送哪个字形组16.1，16.2可视的信息(通过使用位于装置10、10.1、10.2中的字形数据23来确定)，而不发送在取景器VF中字形组16.1、16.2的位置和尺寸，则服务器11并不能准确的计算用户所指向的位置21或者位置21的流。现在，通过控制装置10执行的确定，其中该确定基于具有已知特征的照相机52所形成的图像信息50，可以从该小比例确定中获得优点。于是，该确定所产生的解码字形数据gx、gy和/或数据x1、y1、hei、wid可以被发送到服务器11，以用于最终计算实际的操作屏幕位置21(代码单元31.3，31.7)。服务器11在其阵列(即，array_generated)中查询，并且继续进行该处理以发现实际的屏幕位置21。后面将在说明书中考虑实现确定的一种方式。通过仅仅向服务器11传送由控制装置10从图像50中连续确定的解码字形数据gx、gy和数据x1、y1、hei、wid，可以避免传输较大数量的全部图像数据，传输较大数量的全部的图像数据将使系统操作非常慢。 
依照另一实施例，客户装置10可以发送位于框((x1，y1)，(wid，hei))中的实际剪修的比特位图图像，并且检测可以在服务器11上执行。然而，  即使不进行识别过程(即，寻找字形16.1，16.2位于图像50中的何处)，这也引起了非常多的流量，并且客户装置10需要“检测”字形16.1，16.2。 
然而，依照一个实施例，客户装置10可以已经接收了用于把字形数据23映射到位置的阵列(array_generated)，并且通过自身执行计算(与服务器的代码单元32.1和32.7相似)，并且把关于屏幕坐标(x，y)以及相对距离的结果发送给服务器11。因此，甚至可以有几种可选方案来执行该过程。 
照相电话10还可以用于运行以上已经部分描述的并且允许依照本发明的实现的程序31。在该程序31中，可以有程序模块或者等同功能单元，处理器单元51使用该程序模块对照相机52从信息表面13形成的图像信息50中的可视编码信息15、16.x、17进行解码，该可视编码信息例如与呈现在信息表面13上的会话细节17’以及位置字形15、16.x相关。根据控制信息15、16.x，可以确定控制装置10每次所操作的信息表面13的精确位置21。根据设置信息17，可以形成连接设置数据17’以执行在信息设备11和控制装置10之间的通信(步骤902，903)。此外，照相电话10具有用于连接数据传输会话的程序模块，用于执行到服务器11的以及从服务器11返回的数据传输，所传输的数据除了关于图像信息50的或者从中确定的上述数据x1、y1、hei、wid、gx、gy外，还包括例如上传的应用数据(例如，向服务器11上传的文件FILE)以及下载的应用数据(例如，从服务器11向移动设备10下载的文件FILE)(代码单元31.6)。通常，可以从移动电话10向电话10所指的特定瞄准位置传送应用数据，并且可以从电话10所指的信息表面13的特定位置接收应用数据。该实施例通过使用较宽的信息表面13而不是移动设备10的较小显示器VF，提供了对应用特定数据的可视呈现。在信息设备11中还可以具有等同模块(代码单元32.6)。 
如上所述，在本发明中可以在信息表面13上呈现较小的可视编码元素，“字形”15。通过字形15或者从字形15在照相机52所形成的图像信息50中的位置，可以确定利用控制装置10的照相机52所指向的信息表面13的位置或者位置流。通过控制装置10的照相机52，以既定的方式形成  恒定图像流，以便计算由照相机52持续指向的当前信息表面位置21(步骤905)。 
例如以诺基亚6600，使用大约每秒十个图像帧作为成像频率可以形成连续的图像帧50。由于本发明，甚至采用低于例如在视频或者取景器成像中所使用的传统成像频率(例如，15-30图像帧/秒)的图像频率，也有可能对付。当使用较低成像频率时，可以降低控制装置10的功率损耗。 
当希望以控制装置10参与在信息表面13上呈现的信息INFO时，建立在移动设备10和服务器11之间的连接。因此，控制装置10用于对信息表面13的一个位置处所呈现的特定元素模式(字形模式)进行成像(步骤902)。这些被用于对连接的细节——例如蓝牙地址和服务器端口17’——进行编码。利用移动设备10的取景器VF，容易注意到在图像信息50中的包含连接设置17’的字形组17的出现。当字形组17完全位于取景器VF中时，可以确认该字形组从而执行连接设置解码。从所形成的图像信息50中识别出控制元素组17并且从中解码出连接设置数据17’，以便形成在信息设备11和控制装置10之间的通信连接(步骤903)。的确，甚至在没有来自用户的与字形组17在取景器VF上的出现相关的任何确认的情况下，装置10还可以自发地识别相关的字形组17并执行解码。一旦连接已经建立，就不再需要关心连接，并且可以正常的执行通信。 
就在建立在控制装置10和服务器11之间的连接后，控制装置10可以宣布其身份。因此，每个人在所有时间都清楚谁在特定位置操作表面13上的信息。 
在步骤904、904’已经建立了在控制装置10和服务器11之间的数据传输连接后，具有照相机52的装置10可以开始对控制装置10在每一时刻所指的目标信息表面区域50进行采样(步骤905)。采样过程可以由用户控制，因此照相机52将不会不断地成像。 
例如，依照本发明的方案还可以被扩大为以这样的方式支持具有照相机52的更多控制装置10、10.1、10.2，在这种方式中参加会议的几个代表可以同时在屏幕12’上工作，例如相互发布数据FILE、INFO并画出概念  图。每个参与者可以下载在屏幕12’上呈现的所有内容INFO、FILE中他自己的复制本或者仅仅是内容的单个部分。由于这个方面，可视连接的显示器12’还变成共享存储空间的一部分，其中主管显示器12’的初始装置11可以提供到其它用户的接入，从而保持该共享数据的复制本或者仅仅在可视交互和信息创建期间观察数据。 
依照本发明的方案还可以被扩大为支持把用户的手势作为在用户接口中的交互方法。手势是通常已知特定类型的交互机制，例如敲击，或者通常，装置10指向屏幕13的特定运动，在这种情况下由移动电话10、10.1、10.2来执行该特定运动，并且该特定运动被用于执行之前所定义的动作。一个例子是把电话10朝着或者远离屏幕12’移动的手势，通过使用该手势，移动可以被激活为在特定位置处从可视交互屏幕12’复制的意图，或者从特定位置向可视交互屏幕12’粘贴的意图。依照第二例子，用户可以从屏幕13 “拖拉”对象，从而把对象下载到他的装置10。交互可以如下：1)指向表面13上的对象FILE；2)按压移动设备10上的按钮；3)从表面13向后拖移动设备10；4)释放按钮。手势的其它例子可以是拖&降、双击、把一组对象拖到“橡皮圈”，等等。而且，其它2D或者3D的手势也是可能的。此外，也可以结合控制来确定电话10的当前速度。这可以从标签16.1、16.2位置和尺寸的改变速率中推出。可以结合本发明把手势理解为由控制装置进行的操作。 
下面将稍微详细地并通过在屏幕12’上呈现的元素15的例子，来进行说明，从元素15可以计算每次移动设备10所指的信息表面13的位置。在相关的实施例中，通过L形对象15形成编码，L形对象15也被称为字形。其它形状也是可能的，例如，U形。 
现在，字形15可以具有4个不同的取向。一个L形字形15可以编码2个比特。因此，对于8个比特，需要4个字形，其构成字形组16。而且，控制元素的数量可以改变，并且在该连接中4仅仅作为一个例子。通常，字形组可以包括多个控制元素。在组16.1中，可以具有2个字形15来表达X坐标以及两个字形15来表达Y坐标。因此可以把字形15排列为图1  和图4-8所示的集合16，16.1，16.2。每个集合16，16.1，16.2以既定的方式定义屏幕位置。通过字形组16，16.1，16.2，可以大约完全覆盖屏幕表面13。因此，字形组16，16.1，16.2可以在屏幕表面13上以规则的间隔呈现为矩阵网格，其中它们之间的距离，例如在水平和垂直方向上是固定的。 
L  L 
L  L 
每个字形组16自身意味着例如通过数据投影仪12提供在屏幕12’上的字形组网格14中的特定坐标。这些字形组坐标可以例如通过变量gx、gy命名(图4)。坐标可以从信息表面13的左上角开始，在该位置的字形组坐标(gx，gy)被设定为(0，0)。从(0，0)开始，坐标以已知的方式开始增长，行和列结束于位于屏幕12’右下角的字形组的坐标。对这种字形15、15’、15”的利用提供了一种智能的方式来编码具有较小数据量的数据矩阵16.1、16.2。 
参考图4和5，更详细的显示了如何计算由控制装置10的照相机52在屏幕表面13上所指的位置21的例子。令人吃惊地，在本发明中，所指位置21的确定可以通过应用几种坐标系统来执行。在本实施例中使用两个坐标系统(或者3个，这取决于一个系统可以在屏幕坐标(x，y)上的解释)。可以把坐标系统想象为相互包含。通过该实施例尤其可以获得这样的优点，即与仅使用单个坐标系统覆盖整个信息表面13相比，可以更加精确地确定位置21的所指流。而且，这使得可以控制整个表面13。 
向信息表面13呈现字形组16、16.1、16.2的、作为控制视频投影仪12的服务器11的一方，现在清楚用于确定目标位置21的至少某些变量。这些变量可以被称为，例如，编码的粗略的大比例变量。它们形成粗略的主要坐标系统，该坐标系统对应于整个大信息表面13以及呈现在信息表面13上的字形组16、16.1、16.2。例如，在字形组16、16.1、16.2被呈现在整个范围的屏幕部分12’上(步骤901’)的阶段确定这些变量。 
图4所示的变量refGridHei和refGridWid意味着彼此紧邻着地被呈  现在屏幕部分12’上的字形组16的相互距离。更具体的，例如可以以这样的方式确定该距离，在该方式中，该距离是字形组16的左上角的字形15’、15”之间的距离。变量refGridHei意味着在屏幕部分12’的Y方向上(也就是高度方向上)的距离。变量refGridWid意味着X方向(也就是屏幕部分12’的宽度方向)上的距离。在图4所示的例子中，这些变量值可以被设定为，例如，refGridHei＝240以及refGridWid＝192。适合变量refGridHei和refGridWid的值可以取决于，例如从多远的距离指向屏幕部分12’或者照相机52的分辨率。 
然而，服务器11还已知的第三变量是每个字形组16.1的高度和宽度(sqSize)。换言之，sqSize意味着字形组16.1侧面的长度，例如，在最远离左边的顶角和最远离右边的顶角之间的长度以及在最远离左边的顶角和远离左边的底角之间的长度。在图4所示的应用例子中，变量sqSize的值被设定为40。 
参考图5，从控制装置10的角度呈现了一种情形，在该情形中，确定照相机52所指的位置21。在此使用图像信息50，图像信息50由照相机52形成并且被呈现在照相装置10的显示器VF上。在显示器VF上，例如在其中心呈现一个较小的辅助图形，该辅助图形例如是一个点。信息表面13的预期位置21或者在信息表面13上呈现的信息INFO应当每次都被放置在该点。通过辅助图形，可以获得预期位置21的准确确定。因此，后面将提出的用于计算目标位置21的实施例精确地得出在信息表面13上的位置，即辅助图形位于图像信息50中的位置。根据图像信息50，可以利用装置10的处理器51来确定与控制装置10每次所操作的信息表面13的精确位置21相关的数据x1，y1，x2，y2，hei，wid(代码单元31.1)。程序代码31可以接收由控制装置10从信息表面13形成的图像信息50作为输入。照相装置10通过照相机10/取景器VF检测可以“看到”(即，检测和识别)的数据矩阵16.1、16.2的阵列。代码调用可以具有“array(VISIBLE)：(datamatrixDataV1，locationV1，sizeV1)...(dmDVm，locVm，szVm)”这样的形式。通过比较这两个阵列(GENERATED和  VISIBLE)，并基于该比较，可以计算1)照相机/取景器10指向的准确位置和2)与背景13的相对距离。 
此外，处理器51还可以识别在位置21处指示的动作或者相应的激活/确认命令(代码单元31.2)，然后依照所识别的内容，服务器11将执行相关的动作(代码单元32.2)。在最简单的形式中，鼠标控制装置用已知的方式较长或较短时间地按压装置10的功能键35就足够了。要执行的动作可以取决于例如在该时间处于激活的工具(例如将被拖的对象或者将被拉的对象)。 
于是，控制装置10的数据传输单元22向信息设备11传送与控制装置10所操作的信息表面13的位置21相关的数据x1，y1，x2，y2，hei，wid以及在相关位置21处指示的动作协议命令。应当明白，在执行连续控制时，其中例如某些目标对象FILE在表面13上移动(照相机52的瞄准位置一直改变)，该成像和位置确定过程是连续的。在控制装置10的情况下，取景器图像50可以理解为一种小比例的坐标系统，该坐标系统溶入服务器11在呈现表面13上呈现的大比例字形组坐标系统14。 
控制装置10本身还可以用于选择功能。因此，可用功能选择可以被呈现例如在电话10的显示器VF上。电话10的键区35还可以用于选择功能。这样，可以避免例如经历呈现软件34中的不同菜单。 
用作取景器VF的显示器/照相机52分辨率在照相装置10中是已知的。可以在相应的宽度和高度方向上设定对应于该分辨率的变量vf_wid和vf_hei。依照一个实施例，变量vf_wid的值可以被固定到例如160，并且变量vf_hei的值可以被固定到例如120。在具有用于快速输入的symbian操作系统的很多照相机52中可以使用该值。 
在上述实施例的情况下，控制装置10从图像信息50中确定的数据包括关于控制信息的位置x1、y1、x2、y2以及大小hei、wid的信息，也就是，图像信息50中的字形组16.1、16.2。此外，该数据还包括解码的/识别的控制信息。也就是例如2×2字形组的解码的字节值(gx，gy)。这可以由代码单元31.7阐明，代码单元31.7可以作为代码单元31.1的子模块。  所确定的信息和图像信息50的尺寸vf_wid和vf_hei可以被发送到信息设备11，以便确定控制装置10所操作的信息表面13的位置21(代码单元31.3)。为了把图像信息50的尺寸vf_hei，vf_wid给服务器11，来自每个装置10、10.1、10.2的一个传输是足够的。从取景器50，可以确定目标图像信息50中的字形组16.1的位置和尺寸。这可以理解为在小比例坐标系统中发生的动作，其中根据字形15的位置x1、y1、x2、y2以及尺寸hei和wid确定所指位置21的准确位置和变焦。 
由照相机52和附加到其的计算装置51在步骤906中从图像信息50中检测和识别的字形组16.1(即，VISIBLE数据矩阵)在取景器图像50中的位置可以表示为坐标(x1，y1)，(x2，y2)。这里坐标(x1，y1)意味着在取景器图像50中字形组16.1左上角的位置。相应的，坐标(x2，y2)意味着在取景器图像50中字形组16.1右下角的位置。字形组16.1的尺寸，也就是变焦，可以表示为高度(hei)和宽度(wid)。在图5所示的实施例中，呈现在取景器图像50中并且完全可见的字形组16.1的位置和尺寸可以被粗略地估计为：x1＝40，y1＝20，x2＝54，y2＝35。当然，可以从中获得取景器图像50中字形组16.1的高度hei和宽度wid，wid＝x2-x1＝54-40＝14，以及hei＝y2-y1＝35-20＝15。可以在步骤907由代码单元31.7从图像信息50中明了所有内容。 
除了取景器图像50中字形组16.1的位置和大小外，照相装置10可以用于确定在字形网格14中，也就是由呈现装置12呈现的大比例坐标系统中的有关字形组16.1的位置(gx，gy)。可以通过识别位于字形组正方形16.1中的集合以及通过搜索位于装置10的查询表23以查找对应于所识别的有关集合的坐标，来找出位置(gx，gy)。装置10因此可以具有包含用于查询的查询表23的存储器MEM。通过使用查询表中的数据23，可以把字形组16.1、16.2解码到信息表面13的坐标(gx，gy)。代替查询固定在控制装置10中的查询表23，还可以使用每次从装置10下载的查询表。这可以例如在步骤904执行。这可以是一个选项，例如在这种情况下，由于取决于程序提供者的环境，呈现字形组16的方式在每个会议中是不同的。  在依照该实施例的情况中，如在屏幕13上看到的，在取景器图像50中的字形组16.1的网格坐标是gx＝1以及gy＝1。 
当考虑上述实施例的一般实现方式时，从图像50中确定的数据(x1，y1，x2，y2，hei，wid)仅仅描述了照相机52所拍摄的字形16.1、16.2的位置和尺寸。所述实现方式在客户装置10、10.1、10.2上对所有4个字形15进行解码，并把表示他们的字节(整数0...255)与(x1，y1，wid，hei)一起发送到服务器11，以便确定所操作的屏幕13的“粗略”部分。服务器11恰好知道其使用均匀平铺的字形网格14。服务器11把字节分成两个整数(gx和gy，范围0...15)并且继续计算refGridWid和refGridHei。如果字形组16.1、16.2均匀分布，则网格坐标(gx和gy)可以被认为是传统理解的坐标系统。如果字形组16.1、16.2以随意的方式被放置在屏幕13上，则使用另一映射(GridNum→屏幕坐标)，而不是把网格坐标(gx，gy)映射到屏幕坐标(x，y)。 
当更精确地考虑“粗略”部分确定时，依照一个实施例的编码(从对于4字形的1字节＝8比特)可以如下进行：第一字节被分成2比特部分(A B C D)→在此AB(拼接)(4比特)是gx以及CD(4比特)是gy，然后对于每一部分(值0...3)如下产生L形字形：0＝L，1＝
Figure 2006800241139_0
，2＝
Figure 2006800241139_1
 以及3＝
Figure 2006800241139_2
。 
这些部分如下地显示在屏幕上： 
A  C 
B  D 
控制装置10几乎把该过程反转——从字形图像到2比特部分(a，b，c，d)——发现结构→如果是2×2字形，则构成8比特字节abcd——把其分成gx和gy。 
服务器11现在可以计算：gx＝1，gy＝2并且字形组的左上坐标现在是：x＝refGrid_wid*1；y＝refgrid_hei*2。 
如上所述，还有一种在服务器11中使用array_generated的可能性，服务器11包含映射(字形组ID→屏幕位置或字形组的边框)。这里字形  组ID将是全字节。 
依照另一实施例，array generated还可以被传送到客户装置10，从而使得客户装置10将能够执行全部的位置计算并输出所指位置的屏幕坐标。 
为了计算照相机52所指的位置21，在照相机52形成的图像信息50中每次具有完整的至少一个字形元素组16是足够的。在组16中，两个字形15可以表示字形组16的X坐标并且两个字形15可以表示字形组16的Y坐标。 
依照一个实施例，照相装置10可以向服务器11发送，例如从取景器图像50中识别的字形组16.1的左上(x1，y1)坐标以及还可能右下(x2，y2)坐标(步骤908)。当照相装置10的取景器VF的宽度和高度是已知的(vf_wid，vf_hei)并且与之对应于的数据已经在步骤908’由服务器11接收到时，可以计算屏幕表面13的最终瞄准位置21。 
由服务器11的处理器CPU2执行的程序代码32把与控制装置10从信息表面13形成的图像信息50相关的数据x1、y1、wid、hei、gx、gy作为输入接收(代码单元32.7)。服务器11通过使用例如控制装置的BT地址(端口)来识别执行控制的每个控制装置10、10.1、10.2。这使得服务器11可以利用可视交互屏幕来对连接到相同显示器12’的多个装置进行服务，从而例如在洽谈情形中以合作的方式共享和操作数据。由照相装置10指向的屏幕位置21的屏幕坐标，可以由代码单元32.1，通过使用以上提出的并从控制装置10接收的变量值x1，y1，wid，hei，gx，gy，按下述方式来计算(步骤909’)： 
x＝gx*refGridWid+(sqSize*((vf_wid/2)-x1)/wid)； 
(x＝＝1*240+(40*(160/2)-40/15)＝＝347) 
y＝gy*refGridHei+(sqSize*((vf_hei/2)-y1)/hei)； 
(y＝＝1*192+(40*((160/2)-20)/15)＝＝299) 
基于此，取景器图像50的中心位置21被指示为瞄准屏幕区域13所确定的坐标系统中的位置(347，299)。每个时刻激活的鼠标指针、对象或  者控制动作现在可以被指示到该屏幕位置21(步骤910’)。如果接收到最终确认或者终止相关动作的相应指示，则相关的动作序列在步骤911’结束。必须理解，步骤905-910’构成连续循环，以执行对信息设备11的控制。因此，这意味着移动电话10持续地指向信息表面13，而不需要瞄准除了所操作的信息表面13之外的任何对象。对此，已经在结合照相机52的拍摄频率的说明书中进行了说明。 
用于例如信息的3D控制(稍后将描述)的以及为了确定装置10距离标签16.1、16.2有多远所需要的比例变量取决于在照相装置10和屏幕表面13之间的距离。变量比例可以控制例如信息的呈现尺寸。可以依照下式确定变量比例，其中从显示器VF上和表面13中的标签16.1、16.2的尺寸推断出变量比例： 
比例＝(wid+hei)/2.0/sqSize； 
应当理解，通过使用照相装置10来确定在屏幕表面13上呈现的位置21的上述方式仅仅是一个应用例子。这里提出的基本实施例并不考虑例如照相装置10相对于屏幕表面13的可能的取向角。为了以理想方式执行对预期的所指位置21的确定，在这种情况下控制装置10相对于屏幕表面13的校准必须是既定的类型。在这种配置中，呈现信息INFO的屏幕表面13必须直接位于大体在相同平面中的照相装置的前部。然而可以允许装置10相对于所指向的屏幕表面13有数十度的偏离角度，即使这样也可以确定所指的位置21(例如，10-15度是可以的)。利用适用于计算的附加编码，可以考虑照相装置10的转动和倾斜。这可以从标签16.1、16.2的取向中并且利用对标签的特定类型“编码”来推出。在后面的说明中将更加准确地描述这种实现方式。而且可以确定装置10、10.1-10.2的角速度。这可以从标签16.1、16.2的取向变化速度中推出。还可以通过编码(例如通过校验和)来恢复并处理在这种类型的光学识别中可能发生的识别错误。当使用更加先进的照相光学、分辨率以及变焦时，可以增加与信息表面13的控制距离。 
可以以几种不同的方式改变上面提出的方法。与例如在二维方向上在  背景13上产生的数据矩阵不同，字形15还可以动态地位于整个范围的屏幕表面13上。因此把它们随机地放置在表面13上是可能的。在这种情况中，可以通过一个号码(字节)对字形模式编码，并且查询表23可以用于字形组16号码和字形组16的左上坐标之间的转换。 
甚至有可能在没有查询表23的情况下在上面提出的实施例中进行管理。因此，gx*refGridWid和gy*refGridHei公式可以用于把编码的字形数据转换成相关字形组16的左上屏幕坐标x1，y1。“字形数据”因此可以简化为gx*16+gy。 
字形15或者字形组16的颜色也可以改变。在图8中呈现了一个例子。依照一个实施例，可以使控制信息15、16的表达适应照相机52的检测特征(代码单元32.12)。可以通过例如把照相传感器52的某些基本信号颜色用作字形15的颜色，来改进识别字形组16.x的能力。通过已知的RGB传感器(Bayer)，字形15的颜色可以是，例如红色、绿色或者蓝色。通过使用单个颜色，可以容易地在屏幕表面13上识别字形组16.1、16.2，并且可以进一步确定预期的位置。红色字形组16是一个例子，并且它们相对白色屏幕13的背景而被呈现。 
本发明提供了一种装置，该装置在可视交互显示器12’上提供将被可视地呈现并且位于数据网格16.1、16.2之上的应用特定数据。控制和/或设置信息15、16、17的表达方式，以及在屏幕表面13上呈现的信息INFO的表达方式和/或屏幕表面13的背景还可以相互比较(代码单元32.13)。在它们之间的差异(例如关于颜色)并不满足标准设置的情况下，可以改变控制和/或设置信息15、16的表达，也就是在这种情况下的颜色，从而获得差异。当然，还可以改变呈现在表面13上的信息INFO的颜色和/或呈现软件34的桌面的背景颜色。 
例如当已经利用红色来呈现字形15、17时，可能发生这种情况。如果参会者使用红色在呈现表面13上进行注释，则红色字形15、17将不必从屏幕表面13上所示的实际呈现信息INFO中突出出来。因此，注意到在控制和/或设置信息15、16、17的颜色以及将被呈现的信息INFO的颜色之  间的相似性，并且调整控制和/或设置信息15，16，17的颜色，从而使得可以更好地从所呈现的信息INFO中区分出它们。该调整过程可以由服务器11自动执行。 
参考图7，还可以同时调整字形15的几种颜色。在该方式中，可以增加字形15的数据密度。例如，密度可以增加到每个字形15中8个比特，而不是使用每个字形15中2个比特的密度——其中以上所呈现的每个字形组16.1、16.2具有8个比特。除了增加颜色外，还可以通过使用不同形状的字形来增加数据密度。通过使用例如5种颜色以及4种不同形状，可选替代的数量是20*4。因此可以获得每个字形6个比特的数据密度。在图7的底部显示了对应于每个虚线的RGB值。 
图8显示了与字形15的表达相关的又一实施例。在左边呈现没有字形的信息表面，并且在右边呈现具有与连接设置字形17相关的字形。在此，为了降低干扰也可以使用多种颜色，例如采用隐写方式。因此可以为数据编码预留特定颜色。因此，用于数据编码的颜色可以取决于例如屏幕部分12’的背景颜色。可以提出一个例子，在绛红呈现背景BG上的用于字形15的红色。这种类型的颜色组合可以被照相电话10清楚地读取，尽管人眼不可能区分。因此，呈现在屏幕表面13上的字形15.1并不很干扰将被呈现在表面13上的实际信息INFO。在图8的底部显示了对应于每个虚线(的RGB值。 
通常，如果在屏幕13上用户可视的内容INFO中具有一个或多个照相传感器52的信号颜色特征，则可以对内容INFO的颜色进行某些较小的调整。即使内容INFO的颜色中的较小改变也足够产生控制信息15，该控制信息是人眼不能区分的或者是人眼从内容INFO/背景中最低程度地可视的，但是照相传感器52可以区分该控制信息。在白色屏幕背景上使用黄色的字形组可以作为另一个例子(例如，在LCD显示器的情况下)。 
除了信息INFO的呈现和编辑外，本发明还使得可以在服务器11和移动装置10之间传输信息INFO、FILE。使用控制装置10，可以通过数据传输模块22向信息设备11发送打算显现或者发布的信息FILE18。另一  方面，控制装置10还可以用于从信息设备11接收信息FILE18，该信息被设置用于由此显示和/或发布。 
与在屏幕表面13上显现的信息INFO的控制、创建和编辑相似，通过两个装置10、11中数据传输单元22、24以及连接设置17’可以进行发射和接收动作，依照本发明，连接设置17’还可以从信息表面13上所呈现的连接设置信息17中确定。为此，例如洽谈中的参与者将立即以电子形式获得在会议呈现的或在会议期间形成的信息。由于本发明，不再需要例如通过邮件事后传递信息，众所周知，事后传递的方式容易忘记。代替或者除了装置10、10.1、10.2从服务器11接收的应用特定数据外，在可视交互显示器12’上呈现的信息INFO也可以为其它移动设备的显示器VF所用。在这种情况下，该信息可以被存储为移动电话所拍摄的图像。还可以本地存储信息以供将来参考。 
图2和3显示了依照本发明的程序产品30.1，30.2的某些应用例子的粗略示意图。依照本发明用于控制信息设备11的程序产品30.1、30.2可以由存储器MEM1、MEM2形成并且由程序代码31、32形成，存储器MEM1、MEM2可以结合控制装置10和服务器11被安装，程序代码31、32可以被处理器51、CPU2执行并且被写入存储器MEM1、MEM2中。用于程序代码31、32的存储装置MEM1、MEM2可以是，例如，可以安装在便携设备中的存储卡、可以结合PC环境安装的CD介质、或者是装置10、11的静态或者动态应用存储器，应用存储器可以被直接地集成在或安装在该装置中。在服务器11的情况下，程序产品还可以集成在呈现软件34中。 
配置在依照本发明的装置10和装置11中的程序代码31，32，可以包含多个代码单元31.1-31.7，32.1-32.13，代码单元可以被处理器51、CPU2执行。它们的功能可以适合于以上结合其参考标号所介绍的应用程序说明。代码单元31.1-31.7，32.1-32.13可以由一组处理器命令形成，该处理器命令可以被逐个执行，并且可以用于导致本发明中依照本发明的装置10、11的预期功能。 
信息设备复合体或者信息装置组合体11、12的功能，通常可以不仅被  一个用户还可以被几个用户控制。由于每一参会者都可以利用其自己的移动设备10、10.1、10.2，甚至从自身位置，参与控制信息装置组合体11、12，这允许非常有效率的合作。此外，呈现系统11、12可以容易地从会议场所移动到其它会议场所，并且还可以快速建立。该系统不需要专门的校准动作，而是可以在其启动后立即被使用。这种方案允许各种交互方法(指向和点击等)。即使电话10没有分立的指向装置，例如指示笔(笔)或者鼠标，也进行指向。电话10自身的用户接口UI可以用作信息输入装置。 
对桌面的各种指向是本发明允许的动作的例子。在信息表面13上呈现的鼠标指针21或者信息INFO可以被随心所欲地传输或编辑。令人吃惊的，本发明还允许三维信息控制。例如，可以在信息表面13上改变信息INFO的大小。例如如果期望改变信息表面13上所显示的图像18的尺寸，则控制装置10因此可以更加靠近信息表面13(减小)或者更加远离信息表面13(增大)。甚至可以移动信息18并且同时改变其尺寸。这可以如前所述通过应用变量比例来实现。 
本发明还允许，例如通过蓝牙连接BT，从公共屏幕13下载或向公共屏幕13上传文件FILE。因此，移动设备10的用户可以从设备10的存储器MEM向服务器11上传文件FILE(Concert_video.3gp)，在这种情况下将在屏幕表面13上呈现文件FILE的下载图标。其它移动设备10.1、10.2的用户可以把存储在有关服务器11的数据存储器MEM’中的视频文件FILE下载到它们自身的装置10.1，10.2。还可以对图像18(Concert.jpg)实行相应的过程。图像18可以如此或者作为相应的文件引用被呈现在表面13上。 
这种方案还可以用于向屏幕13发送文本单元，并且还通常用于书写文本20。除了编辑现有信息INFO外，用户还可以绘制出或者徒手画出预定的形状(例如，单元之间的箭头，矩形，圆等)，一般这产生新信息19。一般来讲，至少如在传统虚拟呈现环境中那样的相应动作是可能的。并且还避免本发明与基于接触的传统白板并行使用。这意味着概念“表面13”不应仅仅被理解为例如信息被投影于其上的表面的二维平面，还应被理解  为其上呈现信息的电子结构(例如LCD显示器)。 
如之前所述，还可以考虑照相装置10的旋转和倾斜。这可以从标签16.1，16.2的取向中并且利用对标签的特定类型“编码”来推出。 
处于如之前所述的基本取向的4个L形字形的基本组16.1，16.2将编码网格ID(0)。如果用户把照相机52旋转90、180和270度，则他将获得相同字形组的其它ID(分别在十进的85，170和255)。依照一个实施例，可能使用编码，通过使用编码可以确定照相装置10、10.1-10.2的取向。 
对此进行处理的一种方式是对4个网格的组仅仅编码值0-63(通过仔细选择的方式，从而使得没有一个编码是另一个的旋转：例如根据上面的情况，如果使用ID(0)，则不可能使用ID 85，170和255——如同当前编码中所做的这将使用限定为使用0-63，(但是这将导致L中的一个位于固定位置)。其它方式将使用4个字形的当前组，并且为了能检测旋转而放置一个外部标记(例如，第五字形或者单个方形之类)。一个例子可以是字形组： 
L  L  L 
L  L 
或者另一例子 
O  L  L 
L    L 
在该替代方案中，O可以是L大小的红色填充方形或者宽度和高度是L的宽度的1/2的方形)。后一替代方案可以看上去如下，当然，点位置还可以不同 
L  L 
.  L    L 
或者(对于值0-63)     
O  L 
L  L 
或者(对于值0-63) 
.  L 
L  L 
上述两种方式都将允许检测照相电话装置10、10.1-10.2的“基本”取向(旋转0，90，180和270度)。此外，还可能需要处理“两者之间”的取向，例如从而使得可以具有110度旋转的图像并且可以将其解释为旋转90+20度的图像并且分别进行计算。 
尽管已经作为一个应用对本发明进行了一定程度的描述，其中从图像信息50中确定的数据x1、y1并且相关的控制信息15、16被发送到服务器11，但还可以把图像数据50全部发送到服务器11。因此，与目标位置21相关的所有确定都在服务器11上执行，而控制装置10仅仅被用于执行图像信息50的拍摄。 
特别地，还可以在控制装置10中执行所有位置确定和与其相关的计算。在这种情况下，控制装置10可以向服务器11或者甚至直接向数据投影仪或者播放装置12仅仅发送最后的屏幕坐标y和x、变量比例的值，以及指示将被执行的动作的编码，或者仅仅是控制命令，从而控制直接控制数据投影仪或者显示装置12。在这种情况下，服务器11可以向控制装置10发送进行确定所需的数据。也因此，通常，阵列(GENERATED/VISIBLE)的比较/计算可以发生在不同位置：1)已经生成所产生的数据矩阵的阵列的计算装置11，2)附连到照相机52的计算装置51，3)在某些设置中，1+2可以是相同的计算装置，例如可以是移动电话10.1。 
在第一种可能的情况中，服务器11清楚每个控制信息的位置，客户10进行计算并向服务器11发送低带宽数据以执行全部计算。在第二种可能的情况中，控制信息的位置被发送到客户10(数据库23)，从而客户10可以计算实际的指向位置。在第三实施例中，客户10和服务器11位于相同的装置10中。在这种情况下，客户10自身控制指向。 
依照本发明的方法和装置10适用于例如具有至少两个参与者的团体事件。这种情况的一些例子是谈判事件、想法产生事件和自由讨论事件。本发明还可以用于在大众事件中有效地发布信息，例如展览会。 
因此，例如，在展览会的入口大厅中，可以有依照本发明的服务器11、呈现装置12和信息表面13。由此，信息表面13可以用于呈现例如依照本发明的控制和设置信息，以及例如与具有设定形式的格式的内容有关的文件下载图标(引用)。可以在装置10中下载的文件可以包含，例如，有关展览会的细节(例如，时间表和展出者的信息)。 
当进入时，展览会参观者可以依照本发明的方式与服务器11建立会话并且选择向其便携装置10下载相关的文件，便携装置10具有照相机52。通过这种方式，本发明允许向多个人有效地发布信息，而不需要涉及任何信息呈现或者产生。该信息在装置10中是电子形式的便于展览会的访问者观看。 
依照又一实施例，控制装置10和信息设备可以是相同的统一设备，并且仅仅具有外部显示器。甚至使用现有硬件也可行的真实案例可以是，例如运行在诺基亚9500通信者或者相应“智能装置”上的具有两个功能(照相部分和字形产生部分)的软件。该装置可以通过蓝牙或者WLAN直接连接(连接的模块)到数据投影仪12。 
在“智能投影仪”的实施例中，编码位置元素的产生功能以及编码位置元素的隐藏功能被嵌入一个显示装置(可能嵌入到先前已知的位置)。 
用作服务器的单个控制装置10还可以作为鼠标的替代被连接到智能投影仪，同时不需要在PC上安装任何软件。智能投影仪可以连接到PC(没有“服务器”功能)。相同的类推可以应用到作为到PC的鼠标而连接的、某些当前投影仪远程控制的“虚拟”鼠标连接。 
图10呈现了具有多个照相机的控制装置被应用在准确的3D定位中的实施例。这是通过投影在或者印刷在表面41上或者绘制到显示器或者屏幕13的数据模式的帮助而执行的。该实施例可以用于，例如检测手持品的运动(例如，在3D空间中移动虚拟品)或者检测头部运动。 
在该实施例中使用多个照相机52和固定点来确定准确的位置，例如，所指向的位置以及控制装置10.3-10.8相对于表面的取向，或者更一般的说，相对于至少一个参考点的取向。因此，除了所指向的位置21外，还可以基  于由控制信息15、16确定的所接收图像信息50的原点，来确定控制装置10，10.1-10.8的取向。 
照相机52被安装在手持或者头盔装置10.3-10.8上。照相装置10.3-10.8可以例如与具有显示器13、13’的系统10.6无线地通信。通过这些方式，照相装置可以用于操纵和操作3D环境。上述装置10.3-10.8还可以用于，例如检测并发射虚拟会议中的运动。 
第一实施例仅仅需要装配有编码位置信息14的单个平面。照相机52中的一个一直指向具有坐标数据16.1的平面。这取决于照相机镜头的属性。如果用户靠近平面13、41从而使得显示角度足够小，则很难发现坐标数据。可以应用变焦来解决与此相关的问题。 
图11显示了应用在该实施例中的控制装置10.3的一个例子。现在装置10.3具有6个照相机52。装置10.3仅仅需要一个“加标签”的墙从而执行依照所述实施例的3D-指向。被加标签的表面13、41可以具有不同的形式，例如，其可以是桌子表面、印好的T恤41(例如移动3D游戏的思想)或者投影墙13.1-13.3(图15)。因此所接收的图像信息50的原点可以是信息表面13的外部。 
在装置10.3中，在装置10的上端的5个侧面都有照相机52。例如，这一端可以具有立方体形状。一侧被固定把手42。其它侧包括照相机52。把手42可以具有按钮等(没有呈现)。而且，在具有5个照相机的上端的相反的对端具有一个照相机52。 
该实施例每次使用至少一个照相机52。在上面描述的方法还可以部分地应用到连接中。然而，这或多或少地假设照相机52稍微指向背景13、13.1-13.3，并且因此需要多一些照相机。下面呈现用于寻找控制装置10.3-10.8的位置和取向的3D指向实现的伪码描述。 
循环执行： 
IF 
当前照相机发现数据矩阵，THEN 
1.计算当前current_camera的位置和取向， 
2.考虑current_camera的定位和取向，并得到控制装置的3D 
位置(x，y，z)和3D方向(α，β，γ)作为结果 
ELSE 
3.寻找发现数据矩阵的照相机并继续 
END IF 
在步骤1中，相对于背景坐标系统，又名世界坐标系统(Worldcoordiante system)，计算照相机的位置和取向。步骤2的实现方式对于本领域技术人员是微不足道的，并且其基本上涉及从照相机的坐标和方向到控制装置的坐标(x，y，z)和方向(α，β，γ)的变换(移动)和旋转。而且，步骤3也是微不足道的并且不再对其进行详细描述。 
下面描述实现步骤1和2的应用例子，世界坐标系统可以如下定义。假设坐标系统的原点(0，0，0)是在表面13、13.1上具有参考点(字形)16.1、16.2的平面13、13.1的中间点，并且Z轴位于表面的正表面(即，观察者的方向)。因此表面13、13.1是(x，y，0)，其中x和y是变量。 
算法的输入是具有位置和取向已知的参考元素16.1、16.2的照相图像50，所有这些参考元素位于平面13、13.1上。算法的输出是控制装置相对于原点的坐标(x，y，z)以及取向(α，β，γ)。位置(x，y，z)和取向(α，β，γ)是足够的。 
为此，可以应用例如反向透视变换(关于上述步骤1)。用于反向透视转换的一种可能的方法是，例如，单应性变换。单应性意味着两个图形之间的关系，也就是一个图形中的任何点与另一图形中的一个且仅一个点相对应，反之亦然。 
姿势估计可以是计算控制装置相对于表面13、13.1的位置的一种可能过程。这给出了表示在真实世界坐标Xi和图像坐标xi之间的映射的3×4单应性矩阵。关系可以写为： 
xi＝λP Xi    其中xi和Xi具有单应性形式。 
一旦发现矩阵P，则矩阵P可以用于寻找照相机的位置和照相机的取向。根据一对点，可以找到照相机在上述世界坐标系统中的方向向量(＝  照相图像的向上、向左、和向外)。 
步骤2是关于把current_camera的方向向量和位置映射到控制装置的方向向量和位置。假设对于控制装置，原点和方向是议定的(从控制装置的角度知道哪里是“上”、“右”、“向外”)。从照相机位置+取向到装置位置+取向的转换是微不足道的，基本上仅仅是已知角度的转换(＝移动)和旋转，并且这些伴随着简单的矩阵乘法。 
在图13a-14b中呈现某些替代控制装置10.5-10.8。在图13a、13b中，照相机52被配置到头戴式定位装置10.6。照相机52可以被包括在(或附连到)图13c中呈现的头戴式显示装置10.5中。通常，如果照相机可以“看到”参考点，则可以通过使用附连到一个人的头顶的一个或多个照相机52来追踪头部的运动。显示器13’可以基于现有的头戴式显示技术。还可以有其它位于背面用于自由旋转的附加照相机52(如图13b中所示)。如果照相机52仅仅位于前面，则旋转并不自由。头戴式装置10.6的一个例子可以是3D眼镜的现有形式或者是太阳镜的形式。 
另一个例子是呈现在图16中的照相机手套40。通常，除了头戴式和手持式以外，还可以是任何可以穿的衣服。而且，仅仅具有两个照相机52的装置也是可能的。例如，具有两个照相机的照相手机也是该实施例的一种可能的装置。 
头戴式的、独立的显示器也是可能的。其可以具有将被附连到额头的带子/皮带的形状。这种装置可以是，例如用于夜间定向的前额灯。外部照相机52还可以被附连到眼镜的某部分，而非分立的带子。 
在图15中呈现了手持装置10.3’的又一个例子。现在其配备有至少两个照相机。其可以形成为另一端上具有照相机的把手。使用两个照相机，可以检测3墙空间13.1-13.3(地面或者天花板+2个墙)的前方的自由运动——任何一个照相机将一直指向具有编码数据的墙。仅使用两个墙13.1、13.2，可以以有限的旋转可能性进行工作。该实施例对于具有两个照相机的照相电话也是可行的。 
图15呈现了对于两个照相机装置10.3的使用设置的例子。存在两个  投影墙13.1、13.2，或者其它较大的显示器，或者具有关于编码位置信息15、16.1、16.2的标签的墙。用户处于空间43中并且具有手持装置10.3’，在空间43中的自由旋转由用户掌握。如果应用并不需要绝对自由的移动，则可以不考虑某些表面，例如地面13.3。在6个照相机装置的情况下，可以只有一个墙13.1被配置有控制信息16.1、16.2。 
图16中呈现了手套实施例。与手持装置不同，照相机可以安装于手套40上。照相机52的位置可以是，例如，一个位于手套的两个侧面，以及一个在例如进行指向的手指上。 
通过图10-16所呈现的实施例可以获得多个优点。其使得能够进行真实空间中的准确的3维定位。通过使用例如依照现有技术的移动传感器，定位并不准确。通过在手里持有装置10.3、10.3’、10.4，可以容易地估算运动。手持装置可以被造得较轻。解决方案也比较简单。仅仅需要一定数量的照相机以及贴于墙13.1-13.3上的一对标签或者印好的纸单(或者印好的T恤41)。手持装置可以与头戴式显示器、大屏幕等一起使用。代替需要有数据标签的表面，还可以识别作为固定点的利用角检测的对象。因此，除非必要并不需要特别地对表面13.1-13.3加标签。 
对于头戴式3D定位，可以容易地发现几个应用。某些应用，例如是CAD/52、3D游戏和虚拟会议。在这些应用中，头戴式装置可以检测用户的头部运动。这些检测的运动可以被显示给会议的其它参与者。实施例还可以用作“看我看到的”3D系统。通常，可以通过使用身体的运动来谈论指向。 
此外，已经在上述不同关系中呈现的数据(x1，y1，hei，wid，gx，gy)工作在基本的2D情况中，但是在3D版本中，可以通过使用字形组16.1，16.2(或者更多字形组)的角点来计算映射。因此，与x1，y1，wid，hei(表示非旋转的矩形)不同，可以应用例如4个不同参考点的XY坐标：字形组16.1的左上TL，右上TR，左下BL，右下BR(加上gx，gy)。根据这些“伸展”的字形角点，可以确定控制装置10的旋转角。 
图17呈现了关于控制装置10的取向相对于3个旋转轴(X，Y，Z)  旋转的一个例子。对于3D的情况，控制信息项目16.1、16.2在照相图像50中并不是矩形。通常，对于3D取向和位置，例如，需要多个控制信息中的至少6个参考点。 
该信息可以用于计算装置10、10.1-10.8相对于参考表面13，41或者可以展现的其它相应参考目标的取向和位置。 
应当明白，上述说明和相关的图形仅仅用于对本发明进行举例说明。因此，本发明决仅局限于上述或者权利要求中限定的实施例，而是对于本领域专业人员来说，在所附的权利要求限定的发明思想的范围内可能的本发明的多种不同变形和修改是显而易见的。 
参考文献： 
〔1〕 
http:∥www.cl.cam.ac.uk/Research/SRG/netos/uid/spotcode.html(至少2005年6月27日可获得) 

Claims (33)

1.一种用于控制信息显示器的控制装置，包括：
-视频传感器，用于接收图像信息，
-处理器，用于确定所述图像信息内的控制信息，
其中在所述控制装置和所述信息显示器之间的后续数据传输取决于由所述控制信息确定的所接收图像信息在所述信息显示器上的源点。
2.依照权利要求1的控制装置，其特征在于，在所述控制装置和所述信息显示器之间的所述后续数据传输包括从所述信息显示器到所述控制装置的数据传输。
3.依照权利要求1或2的控制装置，其特征在于，在所述控制装置和所述信息显示器之间的后续数据传输包括从所述控制装置到所述信息显示器的数据传输。
4.依照权利要求1的控制装置，其特征在于，在所述控制装置和所述信息显示器之间的后续数据传输包括涉及所述信息显示器的控制命令的数据传输。
5.依照权利要求1的控制装置，其特征在于，所述控制装置适用于从所述控制信息中连续地确定数据，以便确定在所述信息显示器上的位置的连续流。
6.依照权利要求1的控制装置，其特征在于，所述处理器适用于从所述图像信息中识别设置信息，其中将从所述设置信息中形成所述信息显示器的连接设置数据以用于在所述控制装置和所述信息显示器之间的所述后续数据传输。
7.依照权利要求5的控制装置，其特征在于，所述控制装置的特定运动被配置为用作与所述信息显示器的交互方法，其中从位置的连续流中确定所述特定运动。
8.依照权利要求1的控制装置，其特征在于，除了所接收图像信息的源点外，在所述控制装置和所述信息显示器之间的后续数据传输取决于从所接收图像信息的控制信息中确定的所述控制装置的取向。
9.依照权利要求1的控制装置，其特征在于，所述控制装置包括至少两个视频传感器，所述至少两个视频传感器以这样的方式被配置到所述控制装置，从而使得无论所述控制装置的姿势如何，至少一个视频传感器所接收的图像信息包括控制信息。
10.一种便携计算机，包括依照权利要求1到9中任意一项的控制装置。
11.一种便携传输装置，包括依照权利要求1到9中任意一项的控制装置。
12.一种信息显示系统，包括：
-信息装置组合体，包括至少一个信息显示器以及
-用于控制所述信息装置组合体的至少一个控制装置，包括用于接收图像信息的视频传感器以及用于确定所述图像信息中的控制信息的处理器，
其中在所述控制装置和所述信息装置组合体之间的后续数据传输取决于由所述控制信息确定的所接收图像信息在所述信息显示器上的源点。
13.依照权利要求12的信息显示系统，其特征在于，在所述系统中，从所述控制信息中连续地确定数据，以便确定在所述信息显示器上的位置的连续流。
14.依照权利要求12或13的信息显示系统，其特征在于，在所述控制装置和所述信息显示器之间的后续数据传输取决于从所接收图像信息中确定的所述控制装置相对于所述控制信息的取向。
15.依照权利要求14的信息显示系统，其特征在于，所述控制信息由可视编码控制元素形成，对所述可视编码控制元素的检测以所述取向为基础。
16.依照权利要求15的信息显示系统，其特征在于，所述可视编码控制元素适用于形成控制元素组，每一个所述控制元素组包括多个控制元素，并且所述控制元素组被排列为形成以设定方式排列的控制模式实体，从所述控制模式实体中能够确定所述图像信息的源点。
17.依照权利要求12的信息显示系统，其特征在于，所接收图像信息包括关于所接收图像信息中的所述控制信息的地点和尺寸的信息，其中所述地点和尺寸的信息和所述图像信息的尺寸适用于被至少部分地发送到所述信息装置组合体，以便控制所述信息装置组合体。
18.依照权利要求12的信息显示系统，其特征在于，所接收图像信息包括所述控制信息的参考点的信息，通过使用所述参考点的信息将确定所述控制装置相对于为其设定的参考取向的取向。
19.依照权利要求12的信息显示系统，其特征在于，所述信息显示器提供信息表面，并且所接收图像信息的所述源点位于所述信息表面的外部。
20.依照权利要求12的信息显示系统，其特征在于，所述信息显示器提供公共信息表面，并且所述控制信息以及所述信息装置组合体所显现的信息适用于在所述公共信息表面上的显现。
21.依照权利要求20的信息显示系统，其特征在于，所述控制信息适用于被所述信息装置组合体结合到适用于在所述公共信息表面上显现的所述信息中。
22.依照权利要求20或21的信息显示系统，其特征在于，所述控制信息能够被从所述公共信息表面弱化。
23.依照权利要求20的信息显示系统，其特征在于，所述控制信息适用于通过使用人眼不可视的波长范围显示在所述公共信息表面上。
24.依照权利要求12的信息显示系统，其特征在于，所述控制信息的表达适用于所述视频传感器的检测特征。
25.依照权利要求20的信息显示系统，其特征在于，所述控制信息的表达适用于与呈现在所述公共信息表面上的信息的表达和所述信息表面的背景的表达中的至少一个进行比较，并且如果它们之间的差异并不满足依照设置的标准，则改变预定的表达以便引起差异。
26.一种被配置为由控制装置控制的信息显示装置，其中所述控制装置包括用于接收图像信息的视频传感器和用于确定所述图像信息内的控制信息的处理器，其特征在于，通过使用所述控制装置来控制所述信息显示装置，其中所述控制取决于由所述控制信息确定的所接收图像信息的源点。
27.一种通过控制装置来控制信息显示器的方法，其中通过所述控制装置
-接收图像信息，
-确定在所述图像信息中的控制信息，
并且其中，在所述控制装置和所述信息显示器之间的后续数据传输取决于由所述控制信息确定的所接收图像信息在所述信息显示器上的源点。
28.依照权利要求27的方法，其特征在于，所述控制信息由可视编码控制元素形成，对所述可视编码控制元素的检测以从所接收图像信息的控制信息中确定的所述控制装置的取向为基础。
29.依照权利要求28的方法，其特征在于，所述可视编码控制元素形成控制元素组，每一个所述控制元素组包括多个控制元素，并且所述控制元素组形成以设定方式排列的控制模式实体，从所述控制模式实体能够确定所述图像信息的源点。
30.依照权利要求27到29中任意一项的方法，其特征在于，将从所述图像信息中确定设置信息，从所述设置信息中形成所述信息显示器的连接设置信息，以便执行在所述控制装置和所述信息显示器之间的后续数据传输。
31.依照权利要求27的方法，其特征在于，所述信息显示器提供公共信息表面，并且所述控制信息以及由所述信息显示器呈现的信息被显现在公共信息表面上。
32.依照权利要求31的方法，其特征在于，所述控制信息被结合进将由所述信息显示器显现的所述信息中。
33.一种用于控制信息显示器的设备，其中对所述信息显示器的控制适于被控制装置执行，其特征在于，所述装置包括：
适用于接收包括控制信息的图像信息作为输入的装置，所述图像信息是由所述控制装置的至少一个视频传感器形成的；以及
被配置为执行在所述控制装置和所述信息显示器之间的后续数据传输的装置，所述后续数据传输取决于由所述控制信息确定的所接收图像信息在所述信息显示器上的源点。
CN2006800241139A 2005-06-30 2006-06-30 用于控制信息显示器的控制装置及相应的系统、方法和设备 Expired - Fee Related CN101213507B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FIPCT/FI2005/050263 2005-06-30
PCT/FI2005/050263 WO2007003682A1 (en) 2005-06-30 2005-06-30 Camera control means to allow operating of a destined location of the information surface of a presentation and information system
PCT/FI2006/050306 WO2007003712A1 (en) 2005-06-30 2006-06-30 Control device for information display, corresponding system, method and program product

Publications (2)

Publication Number Publication Date
CN101213507A CN101213507A (zh) 2008-07-02
CN101213507B true CN101213507B (zh) 2012-07-18

Family

ID=37604108

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2005800509487A Expired - Fee Related CN101213550B (zh) 2005-06-30 2005-06-30 允许对呈现和信息系统的信息表面的目标位置进行操作的照相机控制装置
CN2006800241139A Expired - Fee Related CN101213507B (zh) 2005-06-30 2006-06-30 用于控制信息显示器的控制装置及相应的系统、方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2005800509487A Expired - Fee Related CN101213550B (zh) 2005-06-30 2005-06-30 允许对呈现和信息系统的信息表面的目标位置进行操作的照相机控制装置

Country Status (4)

Country Link
US (5) US8164640B2 (zh)
EP (2) EP1897010A1 (zh)
CN (2) CN101213550B (zh)
WO (2) WO2007003682A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425270A (zh) * 2012-05-17 2013-12-04 瑞轩科技股份有限公司 光标控制系统

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI117488B (fi) * 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
US20090305727A1 (en) * 2005-03-04 2009-12-10 Heikki Pylkko Mobile device with wide range-angle optics and a radiation sensor
US20090297062A1 (en) * 2005-03-04 2009-12-03 Molne Anders L Mobile device with wide-angle optics and a radiation sensor
US7970870B2 (en) * 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface
US20070177806A1 (en) * 2006-02-01 2007-08-02 Nokia Corporation System, device, method and computer program product for using a mobile camera for controlling a computer
EP1879098A1 (en) 2006-07-12 2008-01-16 STMicroelectronics (Research & Development) Limited Control device
US10437459B2 (en) * 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
US8994644B2 (en) * 2007-01-26 2015-03-31 Apple Inc. Viewing images with tilt control on a hand-held device
JP4687773B2 (ja) * 2008-11-17 2011-05-25 セイコーエプソン株式会社 プロジェクションシステム
KR101520746B1 (ko) * 2009-01-07 2015-05-15 삼성전자주식회사 입력 장치 및 디스플레이 장치
KR101508272B1 (ko) 2009-01-16 2015-04-08 삼성전자주식회사 단말기, 디스플레이 장치 및 이에 적용되는 데이터 송수신 방법
US8334902B2 (en) * 2009-03-31 2012-12-18 Fuji Xerox Co., Ltd. System and method for facilitating the use of whiteboards
WO2010144429A1 (en) * 2009-06-08 2010-12-16 Swakker Llc Methods and apparatus for processing related images of an object based on directives
US8286084B2 (en) 2009-06-08 2012-10-09 Swakker Llc Methods and apparatus for remote interaction using a partitioned display
US8818274B2 (en) 2009-07-17 2014-08-26 Qualcomm Incorporated Automatic interfacing between a master device and object device
US8566713B2 (en) * 2009-08-20 2013-10-22 Samsung Electronics Co., Ltd. Data transfer method and system
CN102055925A (zh) * 2009-11-06 2011-05-11 康佳集团股份有限公司 支持手势遥控的电视机及其使用方法
US20110205370A1 (en) * 2010-02-19 2011-08-25 Research In Motion Limited Method, device and system for image capture, processing and storage
GB2480602A (en) * 2010-05-24 2011-11-30 Shahar Nitzan Orientation surfaces and uses thereof
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
US9033253B2 (en) * 2010-07-28 2015-05-19 Hewlett-Packard Development Company, L.P. Designer-adaptive visual codes
US8446364B2 (en) * 2011-03-04 2013-05-21 Interphase Corporation Visual pairing in an interactive display system
US8791901B2 (en) 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
CN103365572B (zh) * 2012-03-26 2018-07-03 联想(北京)有限公司 一种电子设备的远程操控方法及电子设备
US9373302B2 (en) * 2012-08-10 2016-06-21 Blackberry Limited Stacked device position identification
JP5928286B2 (ja) * 2012-10-05 2016-06-01 富士ゼロックス株式会社 情報処理装置及びプログラム
US10139925B2 (en) 2013-03-04 2018-11-27 Microsoft Technology Licensing, Llc Causing specific location of an object provided to a device
US8965269B2 (en) * 2013-06-06 2015-02-24 Apple Inc. Conference room mode of a media device
CN104679695B (zh) * 2013-11-28 2018-03-27 联想(北京)有限公司 一种信息处理方法及电子设备
JP6398248B2 (ja) 2014-01-21 2018-10-03 セイコーエプソン株式会社 位置検出システム、及び、位置検出システムの制御方法
DE102014002599B3 (de) * 2014-02-24 2015-08-20 Mobotix Ag Kameraanordnung
EP3829185B1 (en) * 2014-10-10 2024-04-10 Sony Group Corporation Encoding device and method, reproduction device and method, and program
US10073263B2 (en) * 2015-03-04 2018-09-11 Oculus Vr, Llc Sparse projection for a virtual reality system
JP6682864B2 (ja) * 2016-01-14 2020-04-15 富士ゼロックス株式会社 透過部材、照射装置及び電子ペン
CN105929941B (zh) * 2016-04-13 2021-02-05 Oppo广东移动通信有限公司 信息处理方法、装置和终端设备
US10347002B2 (en) * 2016-07-01 2019-07-09 Guangdong Virtual Reality Technology Co., Ltd. Electronic tracking device, electronic tracking system and electronic tracking method
CN106899829B (zh) * 2017-02-07 2018-06-29 深圳云天励飞技术有限公司 一种视频处理方法及装置
NL2020405B1 (en) * 2018-02-08 2019-08-19 Fugro N V Method of and apparatus for analyzing images
KR102629412B1 (ko) 2019-01-04 2024-01-26 삼성전자주식회사 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법
CN110059224B (zh) * 2019-03-11 2020-08-07 深圳市橙子数字科技有限公司 投影仪设备的视频检索方法、装置、设备及存储介质
CN112540739B (zh) * 2019-09-21 2023-11-03 华为技术有限公司 一种投屏方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239373A (en) * 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
CN2472270Y (zh) * 2000-12-27 2002-01-16 白月 一种显示器信息接收控制装置
CN1523474A (zh) * 2003-02-20 2004-08-25 联想(北京)有限公司 用于投影仪和扩展模块间的扩展接口系统及控制方法
CN1568451A (zh) * 2000-10-17 2005-01-19 月光无线有限公司 通过无线投影机进行远程视频显示的方法和系统

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5712658A (en) 1993-12-28 1998-01-27 Hitachi, Ltd. Information presentation apparatus and information display apparatus
US6133951A (en) * 1994-05-10 2000-10-17 Asahi Kogaku Kogyo Kabushiki Kaisha Still-video camera with function setting operation
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
JPH08242417A (ja) * 1995-03-01 1996-09-17 Olympus Optical Co Ltd 情報再生システム及び情報記録媒体
JP3507270B2 (ja) * 1997-02-20 2004-03-15 株式会社日立製作所 ネットワーク管理システム、ネットワーク機器、ネットワーク管理方法およびネットワーク管理ツール
JP3142820B2 (ja) * 1998-08-27 2001-03-07 株式会社エヌ・ティ・ティ・ドコモ プッシュ型情報配信方法およびその中継装置
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US20010030668A1 (en) 2000-01-10 2001-10-18 Gamze Erten Method and system for interacting with a display
GB2364416B (en) 2000-06-30 2004-10-27 Post Office Image processing for clustering related text objects
DE60124549T2 (de) 2000-07-05 2007-09-06 Smart Technologies Inc., Calgary Kamerabasiertes beruehrungssystem
NO311740B1 (no) 2000-09-11 2002-01-14 Tormod Njoelstad Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid
US7610331B1 (en) 2000-09-13 2009-10-27 Lightsurf Technologies, Inc. System and method for dynamic uploading and execution of applications and drivers between devices
US20020163511A1 (en) 2000-11-29 2002-11-07 Sekendur Oral Faith Optical position determination on any surface
FI114878B (fi) 2001-01-15 2005-01-14 Ismo Rakkolainen Menetelmä ja laitteisto projektiopinnan muodostamiseksi
US6731330B2 (en) 2001-01-30 2004-05-04 Hewlett-Packard Development Company, L.P. Method for robust determination of visible points of a controllable display within a camera view
GB2372656A (en) * 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
GB2374663A (en) 2001-04-18 2002-10-23 Nokia Corp Presentation of images
US20040255034A1 (en) * 2001-06-18 2004-12-16 Choi Jong Hyuk Method and apparatus for obtaining personal access information and delivering information in electronic form using the obtained personal access information
JP4637417B2 (ja) * 2001-09-14 2011-02-23 富士機械製造株式会社 基準マーク部検索用標準線設定方法および基準マーク部検索方法
US7224903B2 (en) * 2001-12-28 2007-05-29 Koninklijke Philips Electronics N. V. Universal remote control unit with automatic appliance identification and programming
JP2003271052A (ja) * 2002-03-15 2003-09-25 Denso Corp 地点特定コード提供方法
JP2003288161A (ja) 2002-03-28 2003-10-10 Nec Corp 携帯機器
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7171622B2 (en) 2002-07-18 2007-01-30 International Business Machines Corporation Method, apparatus and computer program product for projecting objects in a display unit
PT2093650E (pt) 2002-11-20 2013-07-25 Koninkl Philips Electronics Nv Sistema de interface para utilizador com base num dispositivo apontador
EP1609075A4 (en) * 2003-02-10 2006-11-02 Raindance Comm Inc METHOD AND DEVICES FOR AUTOMATICALLY ADDING A MEDIA COMPONENT TO A MULTIMEDIA COLLABORATION SESSION MADE
KR20030028525A (ko) 2003-03-12 2003-04-08 김정아 광마우스 기능이 장착된 카메라폰
JP2004328318A (ja) 2003-04-24 2004-11-18 Spike Co Ltd カメラ付携帯端末用の画像合成システム
US7757186B2 (en) 2003-07-07 2010-07-13 Apple Inc. Automatic mapping of pointing devices to multiple displays
US7245483B2 (en) 2003-07-18 2007-07-17 Satori Labs, Inc. Integrated personal information management system
JP2005043966A (ja) * 2003-07-22 2005-02-17 Pioneer Electronic Corp データ検索装置及び方法、ナビゲーション装置及び方法、データ検索用のデータセット並びにコンピュータプログラム
US8046701B2 (en) 2003-08-07 2011-10-25 Fuji Xerox Co., Ltd. Peer to peer gesture based modular presentation system
US7164789B2 (en) * 2003-08-11 2007-01-16 Palo Alto Research Center Incorporated Three-dimensional active vision with glyph address carpet
JP3947873B2 (ja) * 2003-10-10 2007-07-25 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタ並びにプロジェクタの付属装置
US7348969B2 (en) * 2003-12-30 2008-03-25 3M Innovative Properties Company Passive light stylus and user input device using same
US7136054B2 (en) * 2004-01-06 2006-11-14 Microsoft Corporation Camera-pen-tip mapping and calibration
JP2007532994A (ja) 2004-04-08 2007-11-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 移動できる投影可能なｇｕｉ
NO323926B1 (no) 2004-11-12 2007-07-23 New Index As Visuelt system samt styringsobjekt og apparat til bruk i systemet.
US7623274B1 (en) * 2004-12-22 2009-11-24 Google Inc. Three-dimensional calibration using orientation and position sensitive calibration pattern

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239373A (en) * 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
CN1568451A (zh) * 2000-10-17 2005-01-19 月光无线有限公司 通过无线投影机进行远程视频显示的方法和系统
CN2472270Y (zh) * 2000-12-27 2002-01-16 白月 一种显示器信息接收控制装置
CN1523474A (zh) * 2003-02-20 2004-08-25 联想(北京)有限公司 用于投影仪和扩展模块间的扩展接口系统及控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425270A (zh) * 2012-05-17 2013-12-04 瑞轩科技股份有限公司 光标控制系统
CN103425270B (zh) * 2012-05-17 2016-08-03 瑞轩科技股份有限公司 光标控制系统

Also Published As

Publication number Publication date
US20090086042A1 (en) 2009-04-02
CN101213550A (zh) 2008-07-02
EP1897010A1 (en) 2008-03-12
US20170230616A1 (en) 2017-08-10
EP1899793A1 (en) 2008-03-19
US8164640B2 (en) 2012-04-24
CN101213550B (zh) 2011-09-28
WO2007003682A1 (en) 2007-01-11
EP1899793B1 (en) 2017-08-23
US20120200759A1 (en) 2012-08-09
US9641750B2 (en) 2017-05-02
US20090231270A1 (en) 2009-09-17
WO2007003712A1 (en) 2007-01-11
US20150244933A1 (en) 2015-08-27
US8970715B2 (en) 2015-03-03
CN101213507A (zh) 2008-07-02
EP1899793A4 (en) 2012-06-13

Similar Documents

Publication Publication Date Title
CN101213507B (zh) 用于控制信息显示器的控制装置及相应的系统、方法和设备
US10579134B2 (en) Improving advertisement relevance
KR101461353B1 (ko) 대화형 디스플레이 시스템에서의 시각적 페어링
KR101637990B1 (ko) 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링
US20140152869A1 (en) Methods and Systems for Social Overlay Visualization
CN102695032A (zh) 信息处理装置、信息共享方法、程序以及终端设备
CN102414697A (zh) 指示在街道级图像之间转换的系统和方法
JP6686547B2 (ja) 画像処理システム、プログラム、画像処理方法
JP2017182681A (ja) 画像処理システム、情報処理装置、プログラム
Fan et al. HiFi: hi de and fi nd digital content associated with physical objects via coded light
US10997410B2 (en) Information processing device and information processing system
Vartiainen et al. Mobile visual interaction: enhancing local communication and collaboration with visual interactions
CA2488491C (en) System, method and computer program for enabling signings and dedications on a remote basis
Lee Projector-based location discovery and tracking
US20240323310A1 (en) Communication terminal, communication system, display method, and non-transitory recording medium
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20240185546A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
Patnaik et al. VisTorch: Interacting with Situated Visualizations using Handheld Projectors
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039885A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023205145A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
Boring Interacting" through the display": a new model for interacting on and across external displays
Abdul Malek AUGMENTED REALITY BASED INDOOR POSITIONING NAVIGATION TOOL.
KR20120048233A (ko) 디스플레이 제어 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120718

Termination date: 20130630