CN102150116A - 远程控制指示 - Google Patents
远程控制指示 Download PDFInfo
- Publication number
- CN102150116A CN102150116A CN2008801296890A CN200880129689A CN102150116A CN 102150116 A CN102150116 A CN 102150116A CN 2008801296890 A CN2008801296890 A CN 2008801296890A CN 200880129689 A CN200880129689 A CN 200880129689A CN 102150116 A CN102150116 A CN 102150116A
- Authority
- CN
- China
- Prior art keywords
- light beam
- projection
- plane
- image
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 52
- 230000008859 change Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000001105 regulatory effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000008676 import Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000005039 memory span Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- Selective Calling Equipment (AREA)
- Projection Apparatus (AREA)
Abstract
一种远程控制的指示系统（32）包括投影仪（36）、图像传感器（34）和控制器（38）。投影仪（36）将光束（45）从投影平面（46）中的位置投影到场景（18）上。图像传感器（34）在捕获平面（50）中捕获场景（18）的图像（54）。控制器（38）执行包括以下的操作：向远程目的地（14）发送捕获的图像（54）；从远程目的地（14）接收捕获平面（50）中的目标光束位置（44）；确定光束（45）在捕获平面（50）中的位置；并且基于确定的光束位置和目标光束位置（44）来改变投影平面（46）中的从其投影光束（45）的位置。
Description
背景技术
光束指示器（pointer）（例如激光指示器）在多种不同应用（例如幻灯片演示以及教育和用户辅助应用）中用来突出显示场景的特定部分或者将观看者的注意力引向这些部分。已提出多种远程控制指示器系统。在一种这样的系统中，确定激光指示器斑在呈现于远程位置处的显示屏上的视图上的位置。从远程位置向接收位置发送激光斑的位置。在接收位置，微计算机调节激光指示器以指向呈现于显示屏上的等同视图上的相同位置。在另一种提出的远程控制指示器系统中，用户在计算机监视器的设置区（或者控制网格）内移动计算机鼠标，向包括如下计算机的远程操作者地点发送计算机鼠标在设置区内的坐标：该计算机基于接收的计算机鼠标坐标在远程操作者地点控制激光指示器的投影方向。在另一种远程控制指示器系统中，比较对象的图像与存储的对象图像，并且与存储的图像中的匹配图像关联的信息用来控制如何将光束引向成像的对象。
发明内容
在一个方面中，本发明的特征在于一种包括投影仪、图像传感器和控制器的装置。该投影仪将光束从投影平面中的位置投影到场景上。图像传感器在捕获平面中捕获场景的图像。控制器进行包括如下的操作：向远程目的地发送捕获的图像、从远程目的地接收捕获平面中的目标光束位置、确定光束在捕获平面中的位置并且基于确定的光束位置和目标光束位置来改变投影平面中的从其投影光束的位置。
在一个方面中，本发明的特征在于一种方法，根据该方法，将光束从投影平面中的位置投影到场景上。在捕获平面中捕获场景的图像。向远程目的地发送捕获的图像。从远程目的地接收捕获平面中的目标光束位置。确定光束在捕获平面中的位置。基于确定的光束位置和目标光束位置来改变投影平面中的从其投影光束的位置。
本发明的特征也在于一种存储计算机可读指令的计算机可读介质，这些指令使计算机实施上述方法。
本发明的其它特征和优点将根据包括附图和权利要求的以下描述而变得清楚。
附图说明
图1是包括远程控制指示器和远程控制器的指示系统（pointing system）的一个实施例的示意图。
图2是图1中所示的远程控制指示器的一个实施例的框图。
图3是远程控制指示方法的一个实施例的流程图。
图4是确定光束在捕获平面中的位置的方法的一个实施例的流程图。
图5示出了根据图4的方法的信息流图。
图6是改变投影平面中的从其投影光束的位置的方法的一个实施例的流程图。
图7示出了根据图6的方法的信息流图。
图8是图1中所示的指示系统的控制器的一个实施例的框图。
图9A示出了其中从围绕目标位置的邻域投影光的投影平面的示意图。
图9B示出了从其投影方形光束的投影平面的一部分的示意图。
图9C示出了从其投影菱形光束的投影平面的一部分的示意图。
图10A和10B示出了在不同时间从投影平面投影的光束的不同实施例。
图11是远程控制指示方法的一个实施例的流程图。
图12A是图1中所示的远程控制指示器的一个实施例的示意正视图。
图12B是图12A中所示的远程控制指示器的部件的框图。
图13是远程控制指示方法的一个实施例的流程图。
图14是图1中所示的远程控制器系统的一个实施例的示意图。
具体实施方式
在以下描述中，相似标号用来标识相似元件。而且，附图旨在以示意方式图示示例性实施例的主要特征。附图并不打算描绘实际实施例的每个特征和所示元件的相对尺度，并且未按比例绘制。
1．引言
本文详细描述的实施例能够以无需例如使用参考图案（例如投影的结构化光图案）进行与场景有关的校准的方式提供远程控制指示。这些实施例中的一些实施例由于它们高效使用处理和存储器资源而可以用具有适度处理能力和适度存储器容量的相对小型和廉价部件来实施。结果，这些实施例非常适合于并入具有显著的尺寸、处理和存储器约束的紧凑设备环境中，这些设备环境包括但不限于手持电子设备（例如移动电话、无绳电话、显微投影仪、个人数字助理（PDA）、多媒体播放器、游戏控制器、寻呼机、静止图像相机和摄影机）、便携式计算机以及其它嵌入式数据处理环境。
II．术语定义
术语“光的射束”和“光束”在本文中被同义地用来指光线或者光柱。
术语“斑（spot）”是指（i）场景中的由光束照射的对象或者其它元素的区域或者（ii）从被照射区域反射的光所照射的图像传感器的捕获平面中的区域，而不管它的形状或者尺寸如何。
术语“图像形成单元”是指图像的可寻址区。在一些实施例中，图像形成单元对应于像素，所述像素是图像的最小可寻址单位。每个图像形成单元具有由一位或者多位表示的至少一个相应值。例如，在RGB色空间中的图像形成单元包括用于红色、绿色和蓝色这些颜色中的每个颜色的相应值，其中每个值可以由一位或者多位表示。
“计算机”是根据暂时或者持久地存储于机器可读介质上的机器可读指令（例如软件）来处理数据的机器。执行特定任务的这样的指令集被称为程序或者软件程序。
术语“机器可读介质”是指能够承载可由机器（例如计算机）读取的信息的任何介质。适合于有形地体现这些指令和数据的存储设备包括但不限于所有形式的非易失性计算机可读存储器，其例如包括半导体存储器设备（比如EPROM、EEPROM和闪存设备）、磁盘（比如内部硬盘和可拆卸硬盘）、磁光盘、DVD-ROM/RAM和CD-ROM/RAM。
“节点”是网络中的结点或者连接点。示例性节点包括但不限于计算机和网络交换机。
III．指示系统的实施例的概况
图1示出指示系统10的一个实施例，该指示系统包括通过网络16（例如互联网）相互通信的远程控制指示器12和远程控制器14。远程控制指示器12包括用于捕获场景18的图像的图像传感器和用于将光束20投影到场景18中的斑（例如在对象23上的被照射斑21）上的投影仪。远程控制器14包括用于呈现由远程控制指示器12捕获的场景18的图像的显示器22。远程控制器14也提供用户接口24和用户输入25，该用户接口和该用户输入允许用户指定呈现于显示器22上的图像中的目标位置（例如使用光标，比如虚拟指示器26）。
在操作中，远程控制指示器12捕获场景18的图像并且向远程控制器14发送捕获的图像。远程控制器14向远程控制指示器12发送用户指定的目标位置（例如虚拟指示器26表明的位置）的坐标。远程控制指示器12将接收的目标位置坐标转换成投影仪的坐标系中的新投影坐标并且将光束20从新确定的投影坐标投影到新位置（例如在对象30上的被照射斑28）。场景18通常包含由远程控制指示器12照射和成像的一个或者多个三维对象或者元素。然而在一些实施方式中，场景18包含由远程控制指示器12照射和成像的平面表面。
远程控制指示器12可以并入广泛多种设备环境中，所述设备环境包括那些具有显著的尺寸、处理和存储器约束的设备环境。例如在一些实施例中，远程控制指示器12由个人可以容易携带的任一类设备实施，该设备包括移动电话、无绳电话、显微投影仪、PDA、多媒体播放器、游戏控制器、寻呼机、静止图像相机、摄影机、便携式（例如膝上型和笔记本）计算机以及其它嵌入式数据处理设备。
远程控制器14也可以并入广泛多种设备环境中，所述设备环境包括但不限于计算机（例如台式、膝上型和笔记本计算机）、手持电子设备以及其它数据处理环境。在一些实施例中，用户输入25和显示器22集成到单个一体设备比如便携式（例如手持）电子设备中。在其它实施例中，用户输入25和显示器22被实施为单独分立设备，比如单独指示设备和单独基于显示器的系统。一般而言，基于显示器的系统可以是接收用户输入的任一类基于显示器的器具，包括通用计算机系统、专用计算机系统和视频游戏系统。可以通过有线通信链路（例如串行通信链路，比如RS-232串行端口、通用串行总线或者PS/2端口）或者无线通信链路（例如红外（IR）无线链路或者射频（RF）无线链路）向基于显示器的系统发送显示器控制信号。远程控制器14提供的用户接口24通常由在远程控制器14上运行的本地软件应用生成。在一些实施例中，用户接口24由web浏览器18生成，所述web浏览器18在远程控制器14上运行并且从与远程控制指示器12和远程控制器14通信的中间网络节点访问数据（例如由远程控制指示器12捕获的图像以及用户接口规范）。
网络16通常包括支持多种不同媒体格式（例如互联网和无线格式）的多个不同计算平台和传送设施，包括语音网络、无线网络和计算机网络（例如互联网）。以这一方式，网络16使得用户能够使用远程控制器14的广泛多种不同实施方式（比如个人计算机和无线设备（例如无线PDA和蜂窝电话））对远程控制指示器12进行远程控制。
IV．远程控制指示器的示例性实施例
A．概况
图2示出包括图像传感器34、投影仪36和控制器38的远程控制指示器12（见图1）的一个实施例32。控制器38包括图像发送器模块39、斑检测模块40和光束调节器模块42。图像发送器模块39通常压缩由图像传感器34捕获的数据并且通过网络16向远程控制器14发送压缩的图像或者视频。斑检测模块40确定光束在图像传感器34捕获的图像中的位置。光束调节器模块42响应于从远程控制器14接收到指定的目标位置44来改变光束的投影方向。
图像传感器34可以由能够捕获场景的一维或者二维图像的任一类成像设备实施。图像传感器34通常包括具有相应光感测有效区域的至少一个图像感测部件。示例性图像感测部件包括电荷耦合器件（CCD）和互补金属氧化物半导体（CMOS）器件。图像传感器34可以包括用于引导来自场景18的传入光（例如对传入光进行成形、聚焦或者改变该传入光的传播路径）的一个或者多个光学元件。
投影仪36可以由能够在不同方向上投影光束以便能够照射场景18的不同部分的任一类发光设备实施。示例性光源包括具有竖直狭缝滤波器的强有色白炽灯投影仪、具有转镜（spinning mirror）或者全息图的激光束装置和计算机控制的光投影仪（例如，基于LCD的投影仪或者基于DLP的投影仪）。通常投影光束以便用大得足以让在对象的指定观看距离内的观察者可见的光束斑照射与远程控制12指示器32的距离在指定的照射距离内的对象。投影仪36的投影场通常小于图像传感器34的视场。投影的光束可以是发散光束或者准直光束。投影的光束的轴向横截面可以具有广泛多种不同形状中的任何形状，包括但不限于圆形、椭圆形、卵形和矩形。
控制器38可以由不限于任何特定硬件、固件或者软件配置的一个或者多个分立模块（或者数据处理部件）实施。控制器38的实施例的模块化保证在对它的相应功能进行改进时可以应用更新而不会不利地影响性能。在所示的实施例中，图像发送器模块39、斑检测模块40和光束调节器模块42可以被实施于任何计算或者数据处理环境中，包括实施于数字电子电路（例如专用集成电路，比如数字信号处理器（DSP））中或者实施于计算机硬件、固件、设备驱动器或者软件中。在一些实施例中，模块39、40和42中的多个模块的功能被组合到单个处理部件中。在一些实施例中，模块39、40和42中的一个或者多个模块中的各模块的相应功能由多个处理部件的相应集合执行。在一些实施例中，控制器38执行的用于实施所述方法的计算机过程指令以及它生成的数据被存储于一个或者多个机器可读介质中。在其它实施例中，斑检测模块40和光束调节器模块42可以被实施于远程环境（比如网络中的其它计算机）上。
图3示出由控制器38实施的方法的一个实施例。根据这一方法，在光束调节器模块42的控制之下，投影仪36将光束45从投影平面46中的位置 
投影到场景18上（图3，块48）。图像传感器34在捕获平面50中捕获场景18的图像（图3，块52）。图像发送器模块39压缩捕获的图像54并且向通常位于远程控制器14处的远程控制器14发送压缩的图像55（图3，块56）。控制器38从远程目的地接收捕获平面50中的目标光束位置
（图3，块58）。斑检测模块40确定光束45的反射部分59在捕获平面50中的位置
（图3，块60）。光束调节器模块42基于确定的光束位置
和目标光束位置来改变投影平面中的从其投影光束45的位置（图3，块62）。在块56-62中描述的过程可以按照图3中所示的顺序或者按照不同顺序出现。
以下章节描述由斑检测模块40和光束调节器模块42执行的过程的实施例。
B．确定光束在捕获平面中的位置
斑检测模块40可以用多种不同方式确定光束45的反射部分59在捕获平面50中的位置
（图3，块60）。
在一些实施例中，斑检测模块40通过确定在捕获的图像中的每个图像形成单元的颜色是否大于预定义的经验确定的阈值来执行实时图像形成单元阈值化。在这些实施例中的一些实施例中，投影仪36将白光束投影到场景18上，并且用于阈值化的图像形成单元值对应于图像形成单元颜色值到对应灰度值的映射。等式（1）和（2）给出这样的灰度映射（G1 n(x,y) 和G2 n(x,y)）的两个例子：
其中rn、gn和bn是第n个图像的每个图像形成单元(x,y)的红色、绿色和蓝色分量值。在第一灰度映射（等式（1））中，图像形成单元强度由红色、绿色和蓝色分量值的未加权和表示，而在第二灰度映射（等式（2））中，图像形成单元强度由与图像形成单元的亮度值对应的红色、绿色和蓝色分量值的加权和表示。在其它实施例中，图像形成单元强度可以对应于单个颜色的值（例如在图像形成单元的红-绿-蓝色表示中的绿色值）或者基于图像形成单元颜色而计算的函数（例如l2范数）。对于每个捕获的图像，斑检测模块40对灰度值在阈值以上的图像形成单元的位置（即坐标）进行平均以标识光束在每个捕获的图像中的质心位置。质心位置用来表示光束在每个图像中的位置。在一些实施方式中，在计算质心坐标之前向坐标数据应用一个或者多个降噪滤波器。
在一些实施例中，控制器38引导投影仪36将光束45间歇地投影到场景18上，并且斑检测模块40基于对图像传感器34捕获的场景的图像集合的分析来确定光束在捕获平面50中的位置。图4示出斑检测模块40用来分析捕获的图像集合的方法的一个实施例。
根据图4的方法，斑检测模块40对根据集合中的捕获图像中的若干捕获图像导出的图像形成单元值进行空间滤波（图4，块64）。在一些实施例中，斑检测模块40对根据上述灰度映射之一导出的每个图像的相应强度图像进行空间平滑操作。在这些实施例中的一些实施例中，用线性内核
执行空间平滑操作，如下所示：
其中
是强度图像中图像形成单元(x,y)的空间平滑值并且。
一旦强度图像被平滑（图4，块64），斑检测模块40标识捕获平面中的一个或者多个如下位置：在空间滤波的图像之间的差值在这些位置满足检测阈值判定（图4，块66）。在一些实施例中，进行以下阈值化操作以揭示在过去两帧内已改变的图像形成单元：
其中K是经验确定的常数值。
接着，斑检测模块40确立捕获平面中的如下中心点：标识的位置分布于该中心点周围（图4，块68）。在一些实施例中，中心点对应于的表示为(,)并且根据等式（5）和（6）计算的质心：
等式（7）和（8）然后给出光束45的反射部分59在捕获平面50中的位置：
其中是线性时间平滑滤波器内核。这一滤波帮助减少光束调节器的行为中的抖动。如果具有延伸的时间支持，则光束调节器将更平滑、但是也更慢地移动。
图5示出根据图4的方法的信息流图。
C．改变投影平面中的从其投影光束的位置
光束调节器模块42可以用多种不同方式基于确定的光束位置
和目标光束位置
来改变投影平面中的从其投影光束45的位置（图3，块62）。
光束调节器模块42通常被设计成改变光束的投影点
使得确定的光束位置
与目标光束位置
重合。就这一点而言，确定的光束位置依赖于光束的投影点。也就是说，
其中
和
分别是将x投影和y投影映射到和
的函数。
在一些实施例中，光束调节器模块42通过求解下面的等式（11）和（12）来确定投影点
：
图6示出用于求解等式（11）和（12）的另一方法的一个实施例。根据这一方法，光束调节器模块42增量式调节投影平面中的从其投影光束的位置
（图6，块70）。如果在确定的光束位置
与目标光束位置
之间的差值满足调节阈值判定（图6，块72），则终止该过程（图6，块74）；否则重复该过程（图6，块70）。
在这些实施例中的一些实施例中，使用寻根过程（例如牛顿方法）来求解等式（11）和（12）。然而这样的过程通常依赖于
和
满足正则条件的假设，由于以下原因而情况并非总是如此：（1）斑检测模块40引入的不准确性（即在确定的光束位置
与实际光束位置之间的时变差值）；以及（2）捕获的场景的三维几何形状可能造成
和
的不连续，如果有任何边缘存在情况尤其如此。
在其它实施例中，针对x投影和y投影使用梯度下降型更新来求解等式（11）和（12）。在这些实施例中，光束调节器模块42如下计算投影平面中的要从其投影光束的新位置（（，）：
其中
是投影平面中的当前从其投影光束的位置，
是确定的光束位置，
是当前目标光束位置，并且α是调节因子。如果α太小，则该算法通常将迫近希望解、但是缓慢地迫近。如果α太大，则该算法通常将更快地收敛、但是将在希望解周围振荡。在一些实施例中，基于试探法来动态地调节α使得它与
与
之间的距离成反比。在这些实施例中的一些实施例中，由等式（15）给出调节因子α(t)：
(15)
其中L是常数。在一些实施例中，对α(t)的值进行限幅以防止不稳定行为。在一些实施例中，另外，例如通过在查找表中存储关系
和
来优化光束调节器模块42以更快收敛。
图7示出根据图6的方法的信息流图。
D．形成投影光束
在一些实施例中，投影仪36仅具体地在投影位置投影光束。在其它实施例中，投影仪36在投影平面中的每个位置(x,y)投影不同颜色。在这些实施例中，控制器71包括精确确定将在投影平面中的每个位置(x,y)投影什么值的附加光束形成模块。
图8示出控制器38的一个实施例71，该控制器包括光束形成模块73，该光束形成模块73确定投影仪36显示的光束的性质。在一些实施方式中，光束形成模块73引导投影仪36通过在
的邻域中的所有位置投影亮色而在所有其它位置不投影颜色来形成光束。表示邻域几何形状的形状包括但不限于方形、矩形、圆形和椭圆形。邻域的尺寸可以由条件确定，所述条件比如在投影环境中的照明、在系统中的投影仪36的类型或者在系统中的图像传感器34的类型。图9A示出其中从围绕投影位置
的5×5邻域投影光的投影平面的示意图。图9B示出从其投影方形光束的投影平面的一部分的示意图。图9C示出从其投影菱形光束的投影平面的一部分的示意图。
在一些实施例中，投影的光束随时间变化。变化的模式包括但不限于改变光束的颜色、改变光束的形状、改变光束的尺寸或者甚至在投影光束与不投影信号（实际上禁用投影仪）之间交替。图10A示出其中图9B的光束尺寸在时间t1所示的尺寸与在时间t2所示的尺寸之间交替的实施例。图10B示出其中投影仪在如在时间t1所示的投影围绕图9C的光束的背景区与如在时间t2所示的投影图9C的光束之间交替的实施例。使用来自图像传感器的定时信息，光束形成模块73可以修改光束以在场景中人为地引入改变，所述改变出现如此之快以至于它们无法为人类观察者肉眼所见。这样的人为快速改变可以提高斑检测模块40的性能。
E．远程控制指示器的示例性异步模块化实施例
在一些实施例中，远程控制指示器12的模块异步地执行它们的相应功能。例如，如图11中示意地所示，远程控制指示器38（见图2）的模块的功能在第一过程循环中执行发送过程和接收过程并且在第二过程循环中执行确定过程和改变过程。在这一实施例中，在从远程控制器14接收连接（图11，块76）之后，作为异步事件执行图像捕获（图11，块78）、图像压缩和发送（图11，块80）、接收目标光束位置（图11，块82）、点检测（图1，块84）和光束调节（图11，块86）。
图11中所示的实施例的异步设计以多种方式有益于远程控制指示器12的性能。例如，这一设计：（1）防止连接性问题干扰光束的操作；并且（2）在图像捕获/光束调节中的事件之间没有假定时间关系。由于关于远程控制指示器38与远程控制器14的连接的不确定性而出现第一问题。异步设计尝试补偿损失的数据、在向输出缓存器写入网络数据时与实际发送它时之间的不确定性、通信延迟、繁重的网络业务等。这一设计的附带益处在于：在斑检测器40被实施于与图像传感器34相同的系统中的情况下，随着相机帧捕获速率增加，光束调节过程的收敛速度将继续提高，无论可用于发送捕获的场景的带宽如何。第二问题之所以重要是因为除了因果关系之外不能推断在（i）修改投影坐标的时间、（ii）投影仪显示修改光束的时间、（iii）图像传感器34捕获具有修改光束的图像的时间和（iv）斑检测模块40检测到修改光束的位置的时间之间的关系。为了保证远程控制指示器38对于相机帧捕获速率、可用计算能力和投影仪刷新率的变化是鲁棒的，在图11中所示的实施例中顾及这些假设。
F．远程控制指示器的示例性手持实施例
参照图12A，在一个实施例中，远程控制指示器12可以被实施为手持电子设备110。手持电子设备110包括显示用户接口24的显示器22，该用户接口也可以呈现用于控制手持电子设备110的操作的一个或者多个用户选项。此外，手持设备110包括：图像感测端口100，图像传感器34通过该图像感测端口捕获场景18的图像；以及投影端口102，投影仪26通过该投影端口将光束20投影到场景18上。手持电子设备110也包括各种用户控制件（包括控制按钮114、116、118、120、扬声器119和麦克风121）。手持电子设备110具有用于连接到音频输出设备（例如头戴式受话器）的输入插孔的输出端口124和用于连接到计算机或者其它硬件系统的线缆端口126。手持电子设备110还包括无线通信端口128，例如IrDA（红外数据协会）端口，手持电子设备110通过该端口可以与其它类似配置的设备无线通信。取代无线通信端口128或者除此之外，一些实施例还可以包括RF天线130。
如图12B中所示，手持电子设备110具有通信子系统，该通信子系统包括：网络适配器132，其被配置成通过线缆端口126进行通信；以及收发器134，其被配置成通过无线通信端口128（或者天线130）进行通信。手持电子设备110也可以具有包括音频适配器136和显示器适配器140的数字内容再现子系统。音频适配器136被配置成向扬声器119发送数字音频数据信号并且处理从麦克风121接收的信号。显示器适配器140被配置成向显示屏22发送图像数据信号。处理单元142被配置成编排手持电子设备110的操作。手持电子设备110也具有通常包括随机存取存储器（RAM）和只读存储器（ROM）的存储器144。在一些实施例中，可以使用包括内部硬盘驱动器和可拆卸存储设备（例如可拆卸硬盘驱动器、存储卡或者盘）的一个或者多个其它存储技术。电池电源146供应操作手持电子设备110所需要的电功率。
G．远程控制指示器的示例性分布式实施例
在一些实施例中，控制器38的一个或者多个模块分布在一个或者多个其它设备上。例如在一些实施例中，斑检测模块40、光束调节器模块42和图像发送器模块39中的每个模块位于不同的相应设备上。在这些实施例中，模块39、40和42可以如图13中所示的那样异步地执行它们的相应功能。
其它变化是可能的。例如，在一些实施例中，光束调节器模块42和图像发送器模块39位于相同设备上，而斑检测模块40位于不同设备上。在一些实施例中，斑检测模块40和图像发送器模块39位于该设备上，而光束调节器模块42位于不同设备上。在一些实施例中，斑检测模块40和光束调节器模块42位于相同设备上，而图像发送器模块39位于不同设备上。用于这些其它变化的事件流对应于图11中所示的非分布式实施例的元素与图13中所示的全分布式实施例的元素的相应组合。
V．远程控制器的示例性实施例
远程控制器14（见图1）可以由一个或者多个分立模块（或者数据处理部件）实施，所述模块可以被实施在任何计算或者数据处理环境中，包括实施于数字电子电路（例如专用集成电路，比如数字信号处理器（DSP））中或者实施于计算机硬件、固件、设备驱动器或者软件中。在一些实施方式中，远程控制器14执行的用于实施方法的计算机过程指令以及它生成的数据被存储于一个或者多个机器可读介质中。
图14示出远程控制器14的实施例150，其中远程控制功能由并入计算机系统154中的远程控制器处理系统151执行且显示器22由受计算机154中的显示控制器控制的计算机显示监视器156实施。
计算机系统154包括处理单元（CPU）155、系统存储器157和将处理单元耦合到计算机系统的各种部件的系统总线。处理单元155通常包括一个或者多个处理器，每个处理器可以是以各种商业上可用处理器中的任何一种处理器为形式。系统总线可以是存储器总线、外围总线或者局部总线，并且可以与包括PCI、VESA、微通道、ISA和EISA的多种总线协议中的任何总线协议兼容。计算机系统154也包括持久储存存储器（例如硬盘驱动器、软盘驱动器、CD ROM驱动器、磁带驱动器、闪存设备和数字视频盘），所述持久储存存储器连接到系统总线并且包含为数据、数据结构和计算机可执行指令提供非易失性或者持久存储的一个或者多个计算机可读介质盘。
系统存储器157通常包括只读存储器（ROM）和随机存取存储器（RAM），该ROM存储包含用于计算机系统的启动例程的基本输入/输出系统（BIOS）。系统存储器157也存储远程控制器处理系统151的实施例、GUI驱动器、输入数据、输出数据、中间处理数据和其它数据。用户可以使用一个或者多个输入设备25（例如键盘158、计算机鼠标160、麦克风、操纵杆和触板）来与计算机系统154交互（例如输入命令或者数据）。计算机系统154也通常包括外围输出设备，比如扬声器和打印机。计算机系统154可以通过网络接口卡（NIC）连接到远程控制指示器12。可以通过在计算机显示监视器156上向用户显示的图形用户接口（GUI）24呈现信息。GUI 24通常集成到远程控制器处理系统中。在一些实施例中，远程控制器处理系统151与GUI驱动器和用户输入25对接以控制远程控制指示器12。
VI．结论
本文详细描述的实施例能够以无需例如使用参考图案（例如投影的结构化光图案）进行与场景有关的校准的方式提供远程控制指示。这些实施例中的一些实施例由于它们高效使用处理和存储器资源而可以用具有适度处理能力和适度存储器容量的相对小型和廉价部件来实施。结果，这些实施例非常适合于并入具有显著的尺寸、处理和存储器约束的紧凑设备环境中。
其它实施例在权利要求的范围内。
Claims (22)
1. 一种装置（34），包括：
投影仪（36），其在操作中用以将光束（45）从投影平面（46）中的位置投影到场景（18）上；
图像传感器（34），其在操作中用以在捕获平面（50）中捕获所述场景（18）的图像（54）；
控制器（38），其在操作中用以执行包括以下的操作：向远程目的地（14）发送捕获的图像（54）；从所述远程目的地（14）接收所述捕获平面（50）中的目标光束位置（44）；确定所述光束（45）在所述捕获平面（50）中的位置；并且基于确定的光束位置和所述目标光束位置（44）来改变所述投影平面（46）中的从其投影所述光束（45）的位置。
2. 根据权利要求1所述的装置，其中所述控制器另外在操作中用以引导所述投影仪（36）将所述光束（45）间歇地投影到所述场景（18）上，并且在所述确定中所述控制器（38）在操作中用以基于对由所述图像传感器（34）捕获的所述场景的图像集合的分析来确定所述光束（45）在所述捕获平面（50）中的位置。
3. 根据权利要求2所述的装置，其中在确定所述光束（45）在所述捕获平面（50）中的位置中，所述控制器（38）执行包括以下的操作：对所述集合中的所述图像进行空间滤波；标识所述捕获平面（50）中的一个或者多个位置，其中所述空间滤波的图像之间的差值在所述一个或者多个位置处满足检测阈值判定；并且确立所述捕获平面（50）中的中心点，其中标识的位置分布于所述中心点周围。
4. 根据权利要求3所述的装置，其中在确定所述光束（45）在所述捕获平面（50）中的位置中，所述控制器（38）针对由所述图像传感器（34）捕获的所述场景（18）的一个或者多个附加图像集合重复所述滤波、所述标识、以及所述确立；并且所述控制器（38）基于确立的中心点的时间滤波来确定所述光束（45）在所述捕获平面（50）中的位置。
5. 根据权利要求1所述的装置，其中在所述改变中所述控制器（38）响应于在确定的光束位置与所述目标光束位置（44）之间的差值来改变所述投影平面（46）中的从其投影所述光束（45）的位置。
6. 根据权利要求1所述的装置，其中在所述改变中所述控制器（38）执行包括以下的操作：增量式调节所述投影平面（46）中的从其投影所述光束（45）的位置直至在确定的光束位置与所述目标光束位置（44）之间的差值满足调节阈值判定为止。
7. 根据权利要求6所述的装置，其中在所述调节中所述控制器（38）如下计算所述投影平面（46）中的要从其投影所述光束（45）的新位置 ：
其中
是所述投影平面（46）中的当前从其投影所述光束（45）的位置，是确定的光束位置，
是所述目标光束位置（44），并且α是调节因子。
8. 根据权利要求7所述的装置，其中所述调节因子α(t)如下给出：
其中L是常数。
9. 根据权利要求1所述的装置，其中所述控制器（38）在第一过程循环中执行所述发送和所述接收，并且所述控制器在第二过程循环中执行所述确定和所述改变。
10. 根据权利要求9所述的装置，其中所述控制器（38）将所述发送、所述接收、所述确定和所述改变执行为异步事件。
11. 根据权利要求1所述的装置，其中所述图像传感器（34）、所述投影仪（36）和所述控制器（38）包含于手持设备体中。
12. 一种机器实施的方法，包括：
将光束（45）从投影平面（46）中的位置投影到场景（18）上；
在捕获平面（50）中捕获所述场景（18）的图像（54）；
向远程目的地（14）发送捕获的图像（54）；
从所述远程目的地（14）接收所述捕获平面（50）中的目标光束位置（44）；
确定所述光束（45）在所述捕获平面（50）中的位置；并且
基于确定的光束位置和所述目标光束位置（44）来改变所述投影平面（46）中的从其投影所述光束（45）的位置。
13. 根据权利要求12所述的方法，还包括将所述光束（45）间歇地投影到所述场景（18）上，并且其中所述确定包括基于对由所述图像传感器（34）捕获的所述场景（18）的图像集合的分析来确定所述光束（45）在所述捕获平面（50）中的位置。
14. 根据权利要求13所述的方法，其中所述确定包括：对所述集合中的所述图像进行空间滤波；标识所述捕获平面（50）中的一个或者多个位置，其中所述空间滤波的图像之间的差值在所述一个或者多个位置处满足检测阈值判定；并且确立所述捕获平面（50）中的中心点，其中所标识的位置分布于所述中心点周围。
15. 根据权利要求14所述的方法，其中所述确定包括针对由所述图像传感器（34）捕获的所述场景（18）的一个或者多个附加图像集合重复所述滤波、所述标识、以及所述确立；并且所述确定还包括基于确立的中心点的时间滤波来确定所述光束（45）在所述捕获平面（50）中的位置。
16. 根据权利要求12所述的方法，其中所述改变包括响应于在确定的光束位置与所述目标光束位置（44）之间的差值来改变所述投影平面（46）中的从其投影所述光束（45）的位置。
17. 根据权利要求12所述的方法，其中所述改变包括增量式调节所述投影平面（46）中的从其投影所述光束（45）的位置直至在确定的光束位置与所述目标光束位置（44）之间的差值满足调节阈值判定为止。
18. 根据权利要求17所述的方法，其中所述调节包括如下计算所述投影平面（46）中的要从其投影所述光束（45）的新位置：
其中
是所述投影平面（46）中的当前从其投影所述光束（45）的位置，
是确定的光束位置，
是所述目标光束位置（44），并且α是调节因子。
19. 根据权利要求18所述的方法，其中所述改变包括动态地确定所述调节因子α(t)的值。
20. 根据权利要求12所述的方法，还包括在第一过程循环中执行所述发送和所述接收并且在第二过程循环中执行所述确定和所述改变。
21. 根据权利要求20所述的方法，其中作为异步事件执行所述发送、所述接收、所述确定和所述改变。
22. 一种存储计算机可读指令的计算机可读介质（157），所述计算机可读指令使计算机（154）执行包括以下的操作：
将光束（45）从投影平面（46）中的位置投影到场景（18）上；
在捕获平面（50）中捕获所述场景（18）的图像（54）；
向远程目的地（14）发送捕获的图像（54）；
从所述远程目的地（14）接收所述捕获平面（50）中的目标光束位置（44）；
确定所述光束（45）在所述捕获平面（50）中的位置；并且
基于确定的光束位置和所述目标光束位置（44）来改变所述投影平面（46）中的从其投影所述光束（45）的位置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2008/004668 WO2009126125A1 (en) | 2008-04-09 | 2008-04-09 | Remote-controlled pointing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102150116A true CN102150116A (zh) | 2011-08-10 |
| CN102150116B CN102150116B (zh) | 2014-03-12 |
Family
ID=41162113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200880129689.0A Expired - Fee Related CN102150116B (zh) | 2008-04-09 | 2008-04-09 | 远程控制指示器、远程控制指示方法及设备 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9563293B2 (zh) |
| JP (1) | JP2011523728A (zh) |
| CN (1) | CN102150116B (zh) |
| DE (1) | DE112008003807T5 (zh) |
| GB (1) | GB2471628B (zh) |
| WO (1) | WO2009126125A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8397168B2 (en) | 2008-04-05 | 2013-03-12 | Social Communications Company | Interfacing with a spatial virtual communication environment |
| US9288242B2 (en) | 2009-01-15 | 2016-03-15 | Social Communications Company | Bridging physical and virtual spaces |
| JP5598232B2 (ja) | 2010-10-04 | 2014-10-01 | ソニー株式会社 | 情報処理装置、情報処理システムおよび情報処理方法 |
| WO2013016161A1 (en) | 2011-07-22 | 2013-01-31 | Social Communications Company | Communicating between a virtual area and a physical space |
| RU2573242C2 (ru) * | 2013-02-05 | 2016-01-20 | Общество С Ограниченной Ответственностью "Лаборатория Эландис" | Способ переноса файлов между устройствами с использованием 3d маркера |
| CN111417916B (zh) * | 2017-10-26 | 2023-12-22 | 耶达研究及发展有限公司 | 多层查看系统和方法 |
| RU2740159C1 (ru) * | 2019-10-14 | 2021-01-12 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Российский государственный университет физической культуры, спорта, молодежи и туризма (ГЦОЛИФК)" (РГУФКСМиТ) | Способ копирования или перемещения иерархически структурированных данных с устройства-носителя информации на устройство-потребитель информации |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1289086A (zh) * | 1999-09-21 | 2001-03-28 | 精工爱普生株式会社 | 交互显示系统 |
| JP2003037840A (ja) * | 2001-07-24 | 2003-02-07 | Nippon Telegr & Teleph Corp <Ntt> | レーザポインタの方向制御方法およびその装置 |
| US7268802B2 (en) * | 2003-08-20 | 2007-09-11 | Hewlett-Packard Development Company, L.P. | Photography system with remote control subject designation and digital framing |
| JP2007248710A (ja) * | 2006-03-15 | 2007-09-27 | Funai Electric Co Ltd | プロジェクタ |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6020876A (en) * | 1997-04-14 | 2000-02-01 | Immersion Corporation | Force feedback interface with selective disturbance filter |
| JP2004128916A (ja) * | 2002-10-03 | 2004-04-22 | Y E Data Inc | 遠隔操作プレゼンテーションシステム |
| KR100849309B1 (ko) * | 2005-12-29 | 2008-07-29 | 삼성전자주식회사 | 영상 투사기의 투사 화면 조절 방법 및 그 장치 |
| US7862179B2 (en) * | 2007-11-07 | 2011-01-04 | Omnivision Technologies, Inc. | Dual-mode projection apparatus and method for locating a light spot in a projected image |
| US8203603B2 (en) * | 2008-01-23 | 2012-06-19 | Georgia Tech Research Corporation | Augmented reality industrial overline systems and methods |
-
2008
- 2008-04-09 JP JP2011503950A patent/JP2011523728A/ja active Pending
- 2008-04-09 CN CN200880129689.0A patent/CN102150116B/zh not_active Expired - Fee Related
- 2008-04-09 WO PCT/US2008/004668 patent/WO2009126125A1/en active Application Filing
- 2008-04-09 US US12/936,899 patent/US9563293B2/en active Active
- 2008-04-09 DE DE112008003807T patent/DE112008003807T5/de not_active Withdrawn
- 2008-04-09 GB GB1018865.4A patent/GB2471628B/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1289086A (zh) * | 1999-09-21 | 2001-03-28 | 精工爱普生株式会社 | 交互显示系统 |
| JP2003037840A (ja) * | 2001-07-24 | 2003-02-07 | Nippon Telegr & Teleph Corp <Ntt> | レーザポインタの方向制御方法およびその装置 |
| US7268802B2 (en) * | 2003-08-20 | 2007-09-11 | Hewlett-Packard Development Company, L.P. | Photography system with remote control subject designation and digital framing |
| JP2007248710A (ja) * | 2006-03-15 | 2007-09-27 | Funai Electric Co Ltd | プロジェクタ |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2471628A (en) | 2011-01-05 |
| US9563293B2 (en) | 2017-02-07 |
| US20110032354A1 (en) | 2011-02-10 |
| JP2011523728A (ja) | 2011-08-18 |
| GB2471628B (en) | 2012-09-19 |
| CN102150116B (zh) | 2014-03-12 |
| WO2009126125A1 (en) | 2009-10-15 |
| GB201018865D0 (en) | 2010-12-22 |
| DE112008003807T5 (de) | 2011-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102150116B (zh) | 远程控制指示器、远程控制指示方法及设备 | |
| CN103092432B (zh) | 人机交互操作指令的触发控制方法和系统及激光发射装置 | |
| CN106062862B (zh) | 用于沉浸式和交互式多媒体生成的系统和方法 | |
| CN106897688B (zh) | 交互式投影装置、控制交互式投影的方法和可读存储介质 | |
| US20220319139A1 (en) | Multi-endpoint mixed-reality meetings | |
| CN114402589B (zh) | 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入 | |
| EP4198694A1 (en) | Positioning and tracking method and platform, head-mounted display system, and computer-readable storage medium | |
| US11579904B2 (en) | Learning data collection device, learning data collection system, and learning data collection method | |
| US11520399B2 (en) | Interactive augmented reality experiences using positional tracking | |
| WO2015200406A1 (en) | Digital action in response to object interaction | |
| CN102033702A (zh) | 影像显示装置及其显示控制方法 | |
| US20190073029A1 (en) | System and method for receiving user commands via contactless user interface | |
| US10565436B2 (en) | Information processing device and information processing method | |
| US9501810B2 (en) | Creating a virtual environment for touchless interaction | |
| CN105380591A (zh) | 视力检测装置、系统及方法 | |
| CN111309203B (zh) | 一种鼠标光标的定位信息的获取方法及装置 | |
| CN111527468A (zh) | 一种隔空交互方法、装置和设备 | |
| JP7286208B2 (ja) | 生体顔検出方法、生体顔検出装置、電子機器、及びコンピュータプログラム | |
| CN110489027A (zh) | 手持输入设备及其指示图标的显示位置控制方法和装置 | |
| WO2015159547A1 (ja) | 情報処理システム、制御方法、及びプログラム記録媒体 | |
| CN109815854A (zh) | 一种用于在用户设备上呈现图标的关联信息的方法与设备 | |
| US20240004197A1 (en) | Dynamic sensor selection for visual inertial odometry systems | |
| KR20110136040A (ko) | 사용자 시선 기반 증강현실 기능이 구비된 단말 | |
| CN108499102B (zh) | 信息界面展示方法及装置、存储介质、电子设备 | |
| CN111819841B (zh) | 信息处理装置、信息处理方法和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140312 |