CN107656635A - 视觉系统及控制视觉系统的方法 - Google Patents

视觉系统及控制视觉系统的方法 Download PDF

Info

Publication number
CN107656635A
CN107656635A CN201710909391.2A CN201710909391A CN107656635A CN 107656635 A CN107656635 A CN 107656635A CN 201710909391 A CN201710909391 A CN 201710909391A CN 107656635 A CN107656635 A CN 107656635A
Authority
CN
China
Prior art keywords
pulse
light source
interactive
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710909391.2A
Other languages
English (en)
Other versions
CN107656635B (zh
Inventor
托尔莫德·恩乔尔斯塔德
厄于斯泰因·达姆豪格
哈尔瓦德·内斯
卡罗尔·马尔辛·帕夫拉克
斯维勒·戴尔·摩恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Epson Norway Research and Development AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Epson Norway Research and Development AS filed Critical Epson Norway Research and Development AS
Publication of CN107656635A publication Critical patent/CN107656635A/zh
Application granted granted Critical
Publication of CN107656635B publication Critical patent/CN107656635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Abstract

本发明涉及视觉系统及控制视觉系统的方法，该系统的优点在于，同步与不频发的、短的重复的脉冲串一起建立。由于脉冲串是不频发的，即具有低的重复率，该系统允许无线远程控制器单元和无线远程控制接收器在大部分时间工作，并因此它们不会被同步系统显著地干扰。此外，该系统的优点在于，只要它们的信号在长度和重复率上不同于同步的脉冲串，可任选地在编码上不同于同步的脉冲串，那么该同步系统本身不会被其他远程控制发射器显著地影响。

Description

视觉系统及控制视觉系统的方法
技术领域
本发明基本涉及一种用于视觉系统同步的系统和方法，尤其是交互式数码投影机同步的系统和方法，其中该同步还包括用于被并入笔、相机以及触摸式输入装置中的识别和跟踪的系统和方法，以使这样的视觉系统不干扰或扰乱一般的远程控制器或接收器，并且进一步地，这样的两个或更多的视觉系统对于彼此来说是同步的，并且可以相互协作。
背景技术
交互式数据投影机创建了如物理交互式白板和交互式平面屏幕中的交互式表面，但是坐标数据甚至用户激活信息(触摸，触摸离开，尖端按压，尖端释放)通过在投影机处使用摄像技术从图像中提取，而不是使用嵌入到表面本身的电磁、光学或声学方法。适于投影机的基于相机的交互式技术的例子被本发明的发明人与申请人通过在WO2001NO00369/US7083100B2和/或WO2006135241A1/US2009040195A1中使用带有能通过相机和图像识别系统进行跟踪的光学图像的笔而公开。其他系统有：JP3257585：(视觉科学实验室1996年3月29日提出的Tokuganhei的08-075950文件)中，公开了具有红外线发射器的相机以及具有反射器的指点装置(pointing device)，其中该相机检测红外线并能查出该指点装置的位置，但是相机和指点装置之间任何的同步尚未被公开。在JP4728540：(理光，2001年9月20日提出的Tokugan 2001-287901)中，公开了一种在反射器上具有某图像的指点装置，以及一种能够检测带有指点装置编码图像的光并找出控制信息的相机。在JP4037822(NEC装置解决方案株式会社，2003年12月5日提出的Tokugan 2003-407884)中，公开了能够从相机接收光信号的指点装置，以及发出光以回应相机发出的光信号的指点装置。在US6529189(IBM，2000年2月8日提出的US09/500194)中，公开了一种指点装置，具有红外线元件且发出包括控制信息的光，相机接收该光。
发明内容
本发明的一个方面，提供了一种视觉和交互式视觉系统的系统和方法，包括像投影机或显示器、相机单元以及与其特别相关的光输入装置，用于多个这样的单元在通过投影机或显示器或可佩戴的显示眼镜的图像和视频输出内容方面上的同步；在通过相机捕获的图像和视频方面的输入内容；在可见光和/或红外光方面的照明功能上同步；以及在位置跟踪和输入交互工具的输入控制功能方面的用户的交互功能上的同步，输入交互工具例如笔、指点棒、手指等；所有的都由相同的同步控制脉冲串控制，使得该单元能够成为合作式，包括交互式输出事件能够及时并同时地被发起，并且交互式输入事件能够连贯地被解译。
本发明的另一方面，该同步系统的干扰和扰动是微不足道的，即该同步脉冲串发生得很少以致它们不会明显地干扰，也不会被通常被包括在AV-设备中的远程控制接收器和远程控制发射器明显地干扰。
相机技术虽然简单，但准确、非常快速和可靠，也容易集成到数码投影机或显示器。相机技术在分辨率、灵敏度、尺寸和性能方面快速发展。市售的图像传感器能够捕获到带有例如可编程的速率、分辨率、大小、增益和曝光时间的静止图像和视频图像。
在本发明的进一步描述中，相机被理解为包括图像传感器和适于捕捉图像的镜头，并包括通信装置，以将所捕获的图像作为输入传送到计算机，进一步地相机还可以包括图像处理装置，以执行特征提取、目标识别和目标跟踪，以便检测和跟踪具有特殊特征的某些信息，进一步地还通过将他们与一些指定的交互式对象的数据模型进行比较和匹配，并且将该结果映射到交互式表面或交互式空间坐标来解释这些信息以确定交互式对象的位置和方向，并且进一步地该相机可包括在一系列捕获的图像中的某些信息的强度水平的解译，以提取交互式对象的识别和用户交互式操作，如按压尖端开关、释放尖端开关、按压按钮、释放按钮、手指触摸或手指不触摸等，并进一步地相机可包括通信装置，以将检测到的交互式对象的识别、位置、方向和用户交互的操作作为输入传送到计算机。
本发明的多方面涉及一种基于相机的交互式投影机，其中，利用近红外光(NIR)照明、跟踪和识别，并进一步公开了如何有效地利用红外线传输或射频传输使笔和投影机同步。本发明的方法的多方面包括笔和交互式投影机的相机单元如何被同步，以降低功耗并延长笔中电池的寿命；进一步地被同步以冻结动作并提高信噪比，以及进一步地在一个空间内属于多台交互式投影机的若干笔和相机单元如何被同步，以进一步在多台投影机和笔之间提供互操作性，而未引入对用于其他目的的远程控制器的不可容忍的干扰。此外，同步的相同原理可以任选地用于：同步多台投影机的投影图像；同步多个平板显示器的图像；同步多媒体眼镜的显示板；同步3D护目镜的主动式3D快门，以及同步在一个空间内多个相机的曝光，-在几微秒的精度范围内，由于这种同步需要低通信量，不会干扰同一空间内的其他远程控制器的功能。同步原理可以利用标准近红外接收器和发射器，这是服务器控件(consumer)和专业电子设备中的远程控制功能的低成本组件。同步可任选地利用标准的低成本的射频接收器和发射器，这是在服务器控件和专业的电子设备中的远程控制功能的低成本的组件。
本发明的另一方面，是为可视和/或近红外光源调节最有效的功率预算，为笔和其他主动式交互式装置中的近红外发光二极管(IRED)调节最有效的功率预算。限制加热和增加照明光源和近红外发光二极管组件的使用寿命，降低功率控制电路和电源供给的成本和尺寸，并最小化电池操作设备的功耗以最大化电池寿命，这对确保有效的功率预算是非常重要的。
本发明的另一方面，是调节相机单元捕获的图像和视频的最佳的信噪比，通过光源闪烁与相机全局快门的精确同步以及笔和其他主动式交互式装置中的近红外发光二极管的闪烁与相机全局快门的精确同步。
本发明的另一方面，由于场景中对象的快速动作造成漏光，通过上述闪烁与相机全局快门紧密地同步来有效地减少漏光现象。
本发明的另一方面，数码投影机或平板显示器与3D快门眼镜同步，或任选地通过两个或更多的投影机或显示器与3D快门眼镜同步提供更大和/或更宽的3D显示器。与投影机一起使用的主动式3D快门眼镜的例子在美国专利US2012033057(A1)(光电装置和立体视觉显示装置，精工爱普生公司的掘口宽定，日本，2012年2月9日公开)中描述。在日本索尼公司的专利WO2012/005968(A1)中，描述了基于射频和红外信号组合的快门眼镜中继器系统的一个例子，但其依赖于使用适于电视远程控制单元而做不同类型的转化和中继功能，以扩大范围并实现他们提出的同步方案。在本发明中所提出的听和重复(Listen andRepeat)的方案将简化信号需求并消除对远程控制单元的需求以实现同步的功能。创新的听和重复的原理的一个优势意味着用于单元同步的短脉冲串通过单元本身遍布空间。
本发明的另一方面，是可佩戴的半透明显示眼镜(多媒体眼镜)与一种或多种其他上述单元同步，以提供新的交互功能，例如带有同步交互功能的作为笔或“手指触摸”支持的可佩戴显示器。
本发明的另一方面，是同步可佩戴半透明显示眼镜或带有一种或多种上述单元的3D快门眼镜，以提供3D或增强现实的功能，这样用户感知的场景是由于同步投影机和/或显示器的输出内容，如通过同步半透明显示眼镜与其相关的输出内容所见，或通过同步3D快门眼镜所见，并且任选地被可佩戴的同步相机、同步的照明和/或同步的交互式对象控制。
根据本发明的第一方面，提供了一种视觉系统，包括一个或多个单元，其中所述单元是数码投影机或显示器，或者是视频相机，或二者的组合，其中所述数码投影机和显示器能够从计算机上以一图像输出率显示图像和图形输出；并且视频相机能够在场景中以一图像输入率捕获目标图像；并且其中上述单元具有接收器。所述单元具有发射器，如果在一个给定的时间内接收器没有接收到不频发的、短的重复的脉冲串，所述发射器启动发射一连串这样的脉冲串；否则该单元通过发射器发射与不频发的、短的重复的脉冲串同步的延迟短脉冲串，以使视觉系统中的所有单元彼此同步，而不频发的、短的重复的脉冲串不会干扰，也不会被用于其他目的的远程控制器的一般使用干扰。
该系统的优点在于，同步与不频发的、短的重复的脉冲串一起建立。由于脉冲串是不频发的，即具有低的重复率，该系统允许无线远程控制器单元和无线远程控制接收器在大部分时间工作，并因此它们不会被同步系统显著地干扰。此外，该系统的优点在于，只要它们的信号在长度和重复率上不同于同步的脉冲串，可任选地在编码上不同于同步的脉冲串，那么该同步系统本身不会被其他远程控制发射器显著地影响。
所提出的同步的系统和方法可应用于采用了NIR/IR接收器和发射器或RF接收器和发射器的无线设施，但相同的同步原理也可以是有线的解决方案，例如，通过一对电导线或一个光纤。然后，信号可以是已调制脉冲串或者是未调制数字，例如，采用连接到开漏输出和输入的上拉单线，以产生单一的双向信号。在本发明的一些配置中，无线同步和有线同步的组合可能是优选的，例如，在大教室里，交互式投影机设置在讲台上或指挥台上，而一些用于拍摄演讲的视频相机设置在房间的后方，以致无线传输质量太差以至于不能仅通过无线传输执行同步。同样地，根据本发明，如果两个或更多的由一个或多个单元组成视觉或交互式视觉系统，被一个大的物理距离分开，它们可能具有不同的同步，使得系统互相干扰，那么无线同步和有线同步的组合可被用来使系统跨越大的物理距离而同步。
根据本发明的第二方面，提供了一种利用包括一个或多个单元的视觉系统的方法。该单元是数码投影机或显示器，或者是视频相机，或者是两者的结合，其中数码投影机和显示器能以一定的速率显示来自计算机的图像和图形输出。该视频相机能以一定的速率捕获在场景中的目标的图像，其中上述单元具有接收器。该单元具有一个发射器。该方法包括，如果在给定的时间内不频发的、短的重复的脉冲串没有被接收器接收到，则通过发射器启动发射不频发的、短的重复的脉冲串；否则通过接收器接收短的重复的脉冲串，并在预定的时间后由发射器重复发射类似的脉冲串，以便使视觉系统中的所有单元彼此同步，而该脉冲串既不干扰，也不会被用于其它目的的远程控制器的一般使用干扰。
本发明的多方面提供了一种视觉系统，其中所涉及的单元被彼此同步。
这些单元的同步，意味着，输出率和投影图像和/或显示图像的输出的准确时间被精确地调节至一个内部同步信号，并且内部同步信号基于估值，即上述不频发的、短脉冲串序列中的每个脉冲的起始时间的时间序列的平均值。
相应地，这些单元的同步，意味着，相机的图像捕获的输入率准确时间；相关的曝光控制；以及任选的闪烁光源被精确地调节并相联系到内部同步信号，并且内部同步信号是基于估值，即在上述不频发的、短脉冲串序列中的每个脉冲的起始时间的时间序列的平均值。
相应地，这些单元的同步，意味着，被包括在主动式交互式对象中的至少一个近红外发光二极管(IRED)的闪烁序列的时间被调节以适应不频发的、短脉冲串中的至少一个脉冲，使得序列中的闪烁事件能在相机曝光快门活跃时的同时被激活，从而提供了相机非常好的曝光，减少了由于场景中运动的物体而产生的漏光现象，并降低了交互式装置的功耗。用包含在交互式装置中的基于的精确局部晶体的定时器，即使在几秒内没有检测到新的脉冲串，闪烁事件可以被正确地定时到相机曝光的快门。
相应地，这些单元的同步，意味着，包含在可佩戴的主动式3D快门眼镜中的快门序列的定时，被调节到至少一种不频发的、短脉冲串，使得左快门和右快门在与同步的投影机或显示器图像开始呈现时相关联的适当时刻改变快门状态。用包含在3D快门眼镜中的基于精确的局部晶体的定时器，即使在几秒内没有检测到新的脉冲串，序列事件可以被正确地定时到同步的视频相机或显示单元。
相应地，这些单元的同步，意味着，可佩戴的并且可任选地半透明的显示眼镜的定时和更新速率可以调节以适应至少一种不频发的、短脉冲串，以使得输出图像在与例如当同步的投影机或显示器的图像开始呈现的相关联的适当的时刻更新。用包含在可佩戴的显示眼镜中的基于精确的局部晶体的定时器，即使在几秒内没有检测到新的脉冲串，图像更新可以被正确地定时到同步的单元。
输入图像的更新速率、输出图像的更新速率、光源的闪烁速率、主动式交互式装置的闪烁速率、3D快门眼镜的快门速率；以及可佩戴的显示眼镜的更新速率，可以选择不同的速率，但是在所有情况下，可以来自相同无线不频发的、短脉冲串。
有利地，本发明的多方面包括的优点，例如，无线不频发的、短脉冲串根据听和重复方案由每个单元发射，使得无线不频发的、短脉冲串发被分配到空间的每一个角落。
有利地，本发明的多方面包括的优点，例如，上述听和重复方案是利用用于脉冲重复延迟的简单随机化功能，这意味着每个单元使何时听其他单元的脉冲串以及何时发射自身的同步的脉冲串随机化。通过这些有益的机制，由于这里的所有单元能够有助于同步的脉冲串的传播，对系统中专用的主单元的典型的需求被去除。
附图说明
通过实施例并结合附图，在此对本发明的各方面进行描述，其中：
图1是本发明的一个实施例配置的示意图，其中，视觉系统包括两个同步的交互式投影机；
图2A-2H是本发明的具有随机延迟同步原理的听和重复的示意图；
图3是本发明的具有随机延迟同步原理的听和重复的示意图，还包括同步单元(例如：相机、投影机、显示器)内的接收信号和内信号，以及同步的相关设备(例如：交互式对象、3D快门)；
图4是本发明的用于具有随机延迟同步原理的听和重复的同步电路原理图的一个实施例的示意图，还包括同步单元(例如：相机)；
图5A是本发明的用于具有随机延迟同步原理的听和重复的同步算法的一个实施例的示意图，并使符号时间和超时参数T1-T11参数化；
图5B是用于如本发明的图5A所示的具有随机延迟同步原理的听和重复的同步算法的一个实施例的示意图，进一步描述符号时间和超时参数T1-T11以及它们与状态转换的关系，包括实施例配置的可能的数值；
图6是基于晶体的具有脉冲宽度调制输入(PWM)的时钟合成器以调节如同图4的同步电路原理的频率的一个实施例的示意图；
图7说明了基于晶体的具有脉冲宽度调制输入(PWM)的时钟合成器是如何调节如同图4的同步电路原理的频率(偏差以单位ppm给出)，其中频率偏差4表示为PWM信号的占空比的函数；
图8通过示波器曲线图说明，三个投影机PJ3、PJ2和PJ1一个接一个地被同步，其中PJ1的脉冲宽度调制输入(PWM)被包括在曲线图中，并且在此例中当前的PJ1的PWM值已变成39.82％，与815/2048的占空比C1/C2一致；
图9通过一系列的实验说明重力作用是如何有助于避免随着每次新单元被关闭和再开启XVCO被越来越多地偏移，因为重力作用会轻微地将XVCO朝其中心值偏移；
图10是通过一系列的实验说明弹簧作用是如何有助于避免随着每次新单元被关闭和再开启XVCO被越来越多地偏移，由于弹簧作用会轻微地将XVCO朝其中心值偏移，以及如果离中心值有较大的偏差，会将其偏移较大步幅；
图11是本发明的具有随机延迟同步原理的听和重复的示意图，其中所述单元是与交互式对象同步的相机；
图12说明了相机单元和主动式交互式对象是如何凭借两个连续的脉冲串进行同步的，使得相机中的全局快门曝光控制GS事件和近红外脉冲序列在时间上对准；
图13说明了用于发送其识别(ID1与ID2)信号以及尖端开关状态(按压与释放)信号的交互式对象的脉冲序列；
图14说明了用于发送其识别(ID1与ID2)信号以及尖端开关状态(按压与释放)信号的主动式交互式对象的脉冲序列的原理和光学元件；
图15说明了用于利用被动式交互式对象中逆反射光信息的原理和光学元件；
图16说明了用于半被动式交互式对象的原理和光学元件，所述半被动式交互式对象包括主动式发送其识别(ID1与ID2)信号和尖端开关状态(按压与释放)信号的脉冲序列以及用于跟踪的脉冲序列，和用于跟踪、识别和可选地检测尖端开关状态等等的反射和/或逆反射光的信息；
图17说明了相机单元和主动式交互式对象是如何凭借两个连续的脉冲串进行同步的，使得相机中的全局快门曝光控制GS事件和近红外脉冲序列在时间上对准，并且说明反射和/或逆反射光的照明信息是如何通过未调节脉冲执行的；
图18是本发明的一个实施例配置的示意图，其中，所述视觉系统包括两个同步的交互式投影机和一对3D快门眼镜；
图19是本发明的一个实施例配置的示意图，其中，所述视觉系统包括两个同步的交互式投影机和一个同步的视频相机；
图20是本发明的一个实施例配置的示意图，其中，所述视觉系统包括两个同步的相机，所述相机捕获和跟踪交互式表面为平板显示器的交互式对象；
图21是本发明的一个实施例配置的示意图，其中，所述视觉系统包括两个同步的相机，其中所述相机朝向交互式表面，并在交互式表面上捕获和跟踪交互式对象的位置和状态；
图22是本发明的一个实施例配置的示意图，其中，所述视觉系统包括两个同步的相机和两个同步的平板显示器，其中所述相机朝向交互式表面和同步的平板显示器，并在交互式表面上捕获和跟踪的交互式对象的位置和状态，所述交互式表面是平板显示器；
图23是本发明的一个实施例配置的示意图，其中，所述视觉系统包括一个是一种交互式投影机的单元，和一个是一对带有虚拟交互帧的交互式半透明的同步的视频眼镜的单元；
图24是本发明的一个实施例配置的示意图，其中，所述视觉系统包括一个同步的交互式投影机和一个基于同步的交互式相机的单元，该单元是在一个标准投影机旁边对准的单元。
具体实施方式
本发明的各方面涉及用于视觉和交互视觉系统的同步的系统和方法。
在详细描述本发明至少一个实施例的实施与操作之前，应当理解的是，本发明并不限于在以下描述或或附图中说明的组件构造和布置的细节的应用，本发明能够被实施在其他的实施例中或以各种方式被实践或执行。而且，应当理解的是，本文使用的措辞和术语是用于描述的目的，而不应被视为限制。
根据本发明的各方面，参照附图和随附的描述，同步系统和方法的原理和操作能被更好地理解。
首先，对所述视觉系统的原理及其单元的同步进行说明。此后，对一些优选实施例的详细描述连同其详细的系统的操作原理进行描述。
所述视觉系统及其单位同步的操作原理通过参考图1、图18、图19、图20、图21、图22、图23和图24所给出的示例性配置进行描述。图中示意性地说明一个优选实施例的硬件配置。
图1中，所述硬件配置包括交互式视觉系统22，所述交互式视觉系统22包括两个或多个单元1，这里用PJ1和PJ2表示，每一个单元包括显示装置，即投射输出图像到投影和交互式表面47的投影机2，捕获投影的相机9，以及交互式表面47，所述交互式表面带有可选择的照明所述投影和交互式表面47的光源3，还包括无线接收器11，无线发射器12，计算和数据收集装置10例如微控制器或特定应用数字电路，以及交互式对象4。所述交互式对象4可包括至少一个无源光信息5或一个有源光信息6，适于通过相机9检测。所述交互式装置4可包括所有种类的无源信息5和有源信息6的组合。在此种交互式视觉系统22中，所述相机9彼此同步，而来自投影机2的图像更新可选地被同步，但通常不需要为该交互功能进行同步。如果交互式对象4是有源的，那么它们被同步到所述相机9，并且可选的光源3可被同步到所述相机9。
图1中，对于大多数下面所描述的其他示例性配置，所述硬件配置包括一个交互式视觉系统22，所述交互式视觉系统22包括两个或多个单元1。然而，在所有情况下，相机9、可选的光源3、来自从投影机2的图像更新之间的同步，以及所述相机9与交互式对象4之间的单元到设备的同步，它们的同步原理是相同的，即使仅有一个单一单元1存在或仅有一个单一单元1开启。而且，单元到单元的同步原理，将处理仅有一个单元存在的情况，或处理仅有一个单元启动的情况，或处理一个或数个单元依次被开启和关闭的场合，也处理两个或数个单元在同一空间内开启的场合。
以下，我们将参照PJ1和PJ2(以及第三个PJ3)作为交互式投影机。
参照图2A-2H，说明了本发明的几乎与图1相似的示例性配置的同步原理，但其中有三个单元1代替两个单元1，所述三个单元1是交互式投影机PJ1、PJ2和PJ3。所说明的相同的同步原理可应用于所有其他本发明的配置中，例如，图18-24描述的示例性配置。同步原理将通过投影机PJ1、PJ2和PJ3如何一个接一个开启以及它们如何同步到已经运行中的投影机进行说明，即基于单元到单元的同步原理进行说明。
此外，根据本发明的示例性配置在下文中将考虑用于同步系统的无线NIR(或IR)接收器和无线NIR(或IR)发射器，而同样有利的性能用适于发送短射频(RF)脉冲的无线射频(RF)发射器和射频接收器进行描述。电的有线解决方案或光学有线解决方案代替上述无线解决方案，也可用于本同步原理。
通过利用基于NIR(或IR)的所提出同步方案的接收器和发射器，NIR(或IR)的其他使用，例如用于基于IR的远程控制器会受到影响和干扰，如果所述脉冲串持续时间太长，或者脉冲串过于频繁。因此，在本发明的一个优选实施例中，在2个(或3个)短脉冲串后，有数个相似的时间间隔的中断未调节NIR(或IR)。在这期间，其他基于NIR/IR的装置和系统可通信不中断，例如，以使一个人能通过其各自的远程控制器完美地控制投影机本身或其他视听设备。
而相机到笔的同步(更一般地，单元到装置的同步)需要至少两个连续的短脉冲串，如交互式对象/装置的图11-17中有更详细地描述，第3个短脉冲为一个空间内的所有交互式投影机(单元)的相机到相机的同步(一般地，单元到单元的同步)保留。需要两个同步机制，以确保一个空间内的所有单元是同步的，并确保简单设备(如笔和其它交互式对象、3D快门眼镜等)同步到同步单元。在交互式投影机和笔的特殊情况下，一个空间内的所有相机和可选的嵌入到交互式投影机中的投影机是同步的，以使它们在同一时间情况下发送短脉冲串，并且在此空间内的所有笔基于这些脉冲都被同步，即所述笔基于这些短脉冲串的时序闪烁其IR-LEDs，并能够由相机来检测，正如以下涉及图11-17中更详细地描述。
为所述单元到单元的同步所提出的原理被表示为听和重复原理(Listen andRepeat principle)，与众所周知的主-从原理(Master-Slave principle)相比，被认为是有利的。根据本发明的独创性，所述听和重复原理包括隐含的“中继器”功能，一旦单元本身被同步，确保每个交互式投影机(或一般地，每个单元)有助于空间内短的同步脉冲串的进一步分配。此特征有助于从一个单元1增强和传播脉冲到另一个单元1。另外，相反地，在空间内如果没有同步脉冲串，经过一段等待时间，所述单元将开始发送短脉冲串以开始同步过程。
对同步方案进行如下说明：
当第一单元1，所述交互式投影机PJ1，被启动并且正在进入接收模式时，我们首先假设没有短的同步脉冲串出现在空间内，参照图2A的左侧部分。在PJ1已经处于接收模式的一段时间后，并且PJ1未检测到短的、重复的脉冲串，那么PJ1将决定开始发射两个短脉冲串MA.1和MA.2，以及任选地，短的同步脉冲SA，参照图2A。一般来说，一个单元将输出两个短脉冲串MA.1和MA.2以及MB.1和MB.2，并在位置SA或位置SB输出同步脉冲，分别参照图2A-2B和图2C。在这些2个至3个短脉冲串(MA.1、MA.2和任选的SA)之后，在示例性配置中，将有一个停顿，没有任何来自投影机的脉冲串，参照图2B-2D，在接下来的2个至3个脉冲串(MB.1、MB.2和任选的SB)之前，随后在示例性配置中，将有另一停顿，没有任何来自投影机的脉冲串，参照图2B-2D，在序列再次重复进行之前。
MA.1和MA.2以及MB.1和MB.2的主要目的，分别是用于单元到装置的同步，因为交互式装置4至少需要具有正确的宽度和距离分开的连续脉冲串，以开始它的笔闪烁序列。
脉冲SA和SB的主要目的，分别是用于单元到单元的同步，并且这些单元到单元的同步脉冲串SA或SB的平均起始时间分别用于每个单元以定义一个非常精确的内部同步信号。当然，SA和SB的脉冲串的发生也用于单元到装置的同步，因为作为单位到装置的同步脉冲串，它们具有与前一个脉冲相同的主要宽度和距离，但是不能保证SA和SB的发生，所以所述单元到装置的同步不应该依赖于SA和SB的存在。
在图2F-2H所描述的一个示例性方案中，将有重复的16个短脉冲串周期B1-B16的典型序列，使得在B1-B16的序列后，同样的B1-B16被再次重复。每个同步单元在16个脉冲期间的时间内将一直输出确切的5个这种短的脉冲，但是，参照图2F和图2G，是否选择在SA或SB的“位置”输出其同步脉冲分别由伪随机函数来决定。
如上所述，先假定没有短的同步脉冲串出现在空间内，参照图2E的左侧部分。在PJ1已经处于接收模式的一段时间后(见状态S2-图5中无声测试)，并且PJ1未检测到短的、重复的脉冲串，那么PJ1将进入S6状态-主状态(参照图5)，并且开始发射两个短脉冲串MA.1和MA.2，以及任选地，短的同步脉冲SA，参照图2E。一般来说，一个单元将输出两个短脉冲串MA.1和MA.2以及MB.1和MB.2，并在位置SA或位置SB输出同步脉冲，分别参照图2F和图2G。在这些2个至3个短脉冲串(MA.1、MA.2和任选的SA)之后，在示例性配置中，这种情况下将会有一个6个短脉冲串或可选的5个短脉冲的时间的停顿，没有任何来自投影机的脉冲串，参照图2F-2H，在接下来的2个至3个脉冲串(MB.1、MB.2和任选的SB)之前，随后在示例性配置中，将有另一个典型的6个短脉冲或可选的5个短脉冲的时间的停顿，没有任何来自投影机的脉冲串，参照图2F-2H，序列再次重复进行之前。
进一步地，当PJ1被打开时，由于PJ1没有发现任何脉冲串，或者因为PJ1在T1A或T1B中的测试期间，随机选择，在进入S3-同步状态后，没有发现来自其他单元(即序列MA.1、MA.2，可选的SA、MB.1、MB.2或可选的SB)的其他的短的、重复的脉冲串，其进入了一个临时的“主要”的角色，S6状态-主状态，参考图5A的流程图。即使在该临时的“主要”模式下，它会在时间T10或T11(随机选择)内检查是否有未同步到其本身的其他脉冲，并且PJ1甚至关掉其自身的脉冲串以检查S8状态-有效的脉冲检测，而不为没有被PJ1自身发送的脉冲串干扰的其他单元发送脉冲串。如果检测到其他单元的有效脉冲串，那么PJ1就需要进入S1状态-初始化以可能通过S3状态同步到这些有效脉冲串-图5A中的同步。
在这种情况下，PJ1是一个临时的“主要”模式，除了它会定期检查空间内是否有其他单元或一些其他脉冲噪声以外，PJ1不会尝试去适应或同步到其他单元。在下文中，我们看到，当引入第二单元时，第二单元将适应并同步到PJ1现存的信号，最后，我们描述一种所有投影机PJ1、PJ2、PJ3适于与彼此同步的情况，而没有任何临时的“主要”模式，由于临时的“主要”模式的第一个PJ1被关闭和重新打开。
所以假设，如上所述，即PJ1是处于S6状态-主状态，另一个单元1即交互式投影机PJ2被打开。只要PJ2检测到T6超时时间内的同步脉冲串，PJ2将进入S3-同步状态，并将很快进入S4-保持同步状态。
只要单元1如PJ2处于在S4-保持同步状态，PJ2将发送MA.1、MA.2，可选的SA、MB.1、MB.2和可选的SB，但是，参照图2B和图2C(或图2F和图2G)，选择是否在SA或SB的“位置”输出同步脉冲分别由伪随机函数来决定,并且，SA或SB的“位置”在不同于所述发送自身的同步脉冲的单元的位置，基于在SA或SB的“位置”所检测的同步脉冲的起始时间平均值，所述单元将一直更新其内部的同步信号估算值，使得如果所述单元1在SA“位置”发送其同步脉冲，它将检测并测量在SB“位置”的同步脉冲的起始时间，反之亦然。通过该原理，表示了听和重复，单元到单元同步的准确性不会受到单元1自身的脉冲传输的干扰。
再次假设PJ1处于S6状态-主状态，PJ2是处于S4-保持同步状态，以及第三单元1，即交互式投影仪PJ3被打开。只要PJ3检测到T6超时时间内的同步脉冲串，PJ3将进入S3-同步状态，并将很快进入S4-保持同步状态。
只要单元1如PJ3处于S4-保持同步状态，PJ3将发送MA.1、MA.2，可选的SA、MB.1、MB.2和可选的SB，但是，参照图2B和图2C(或图2F和图2G)，选择是否在SA或SB的“位置”输出同步脉冲，分别依旧由伪随机函数来选择,并且SA或SB的“位置”在不同于发送自身的同步脉冲的其他位置，基于SA或SB的“位置”所检测的同步脉冲的起始时间平均值，所述单元将一直更新其内部的同步信号估算值，使得如果所述单元1在SA“位置”发送其同步脉冲，它将检测并测量在SB“位置”的同步脉冲的起始时间，反之亦然。通过这个原理，表示了听和重复，单元到单元同步的准确性不会受到单元1自身的脉冲传输的干扰，并且同步脉冲从一个单元1到另一单元1分布，并且由另一单元1选择的传输时间是基于所检测的同步脉冲起始时间的平均值，其中这些起始时间不被单元1自身脉冲传输所干扰。伪随机选择可以基于伪随机发生器如简单的线性反馈移位寄存器以及使用该运行图像帧数作为种子。
假设第一单元1，PJ1是被打开的，现在被关闭和重新打开。在这种情况下，PJ1将很快同步到PJ2和PJ3，并将处于S4-保持同步状态，所以在这种情况下没有单位1为临时“主要”状态。
所有单元1被锁相到其他的短同步脉冲串的平均起始时间。
图4所示为适于基于相机方案的同步硬件的优选实施例，包括接收器11，带有接收检测信号BURST_RX；发射器12，带有脉冲传输信号BURST_TX；可选的光源3，用于通过信号NIR_ILLUM控制的NIR光源；相机9，包括CMOS图像传感器27，由时钟信号CLK2和输出帧有效信号FV、行有效信号的LV、像素数据PDATA、像素时钟PCLK，以及曝光定时信号GS(全局快门)计时；可选的定时发生器25，基于所述GS信号且由时钟信号CLK2计时，产生一个内部同步信号INT.SYNC；计算和数据收集装置10，可以捕获接收到的脉冲信号的开始时间事件，并可以作出平均估算及通过估算可以控制脉冲宽度调制信号PWM的占空比，使得所述时钟合成器28电路产生系统时钟CLK1和衍生的相机时钟CLK2引发GS信号或具有频率尽可能与估算的脉冲频率平均值相同的衍生INT.SYNC信号。
在同步硬件的优选实施例中，参照图6，脉冲宽度调制信号PWM通过低通滤波(LP)滤波器过滤，例如无源RC-滤波器，在时钟合成器块28以产生被连接到基于电压控制晶体的时钟合成器26的VXVCO电压信号，所述时钟合成器26可在在频率为±M(ppm)的范围内调节时钟CLK1到CLKN的输出时钟，其中M通常是在±20至±150的范围，取决于所选择晶体XTAL的牵引范围特征。在图7中，当由占空比0.0％至99.95％的PWM信号控制，使用范围为0至2047/2048的PWM计数器，对应低通滤波的电压VXVCO值为0V至1.799V时，对可能的晶体所达到的牵引范围是-43ppm到+48ppm。
由于所有单元1被锁相到其他的短同步脉冲串的平均起始时间，并且单元1将一直调整其定时和相位以保持同步，基于其他单元1同步脉冲串的起始时间平均估算值，由于一些参数不对称或干扰，有一个风险是这种系统可能在一个方向上漂移。为了使得到的系统稳定，通过由表示重力作用的提出策略的定量，每个单元中频率的调整将定期被指向其中心频率。另一种建议的策略已经被应用并表示弹簧作用，其中，如果距离中心频率的偏差较大，指向其中心频率的调整将更强。这种稳定功能，如重力作用或弹簧作用，活动在一些示例性配置中的S4-保持同步状态中，以促进没有单元处于S6状态-主状态的系统倾向于保持同步频率接近于所述单元的典型中心频率。
在这种情况下，没有暂时的“主状态”，例如，当所述单元被关闭和开启一次或几次时，如果没有应用上述那样的重力或弹簧作用，调整后的时钟频率会漂移。图8中，3个单元1同步，如通过它们的对准的表示PJ1频闪，PJ2频闪和PJ3频闪的脉冲信号看到的，但PJ1的频率调整信号PJ1PWM占空比C1/C2，在这个瞬间被捕获到，低于40％(即39.82％)，而如果没有漂移发生并且单元和系统是理想的，可期望接近50％。典型地，将有信号噪声，代码执行错误和不同部件的公差，这将导致不对称和随机行为，而迫使所述单元开始向某些方向漂移，例如，图8所示。
图9中，通过实验说明重力作用的影响，其中两个单元1，PJ1和PJ5，按照表格说明重复关闭和开启，并且当PJ15关闭和开启时，频率通过PJ1向下漂移，当PJ1关闭和开启时，PJ5向上提拉频率。
图10中，通过实验结果说明弹簧作用的影响，其中两个单元1，PJ1和PJ2，按照表格说明重复关闭和开启，尽管在系统中没有“主”状态，但是频率非常稳定，如在测试周期1-4(序号1-8)所示40分钟的长时间间隔，和在测试周期4-10(序列号9-21)5分钟的较短时间间隔中所示。
在一个优选实施例中，内部同步信号与估算脉冲同步信号之间的相位差为0，所述内部同步信号通过定时脉冲发生器25信号来源于相机GS。如上所述，这可以通过改变时钟频率实现，但(最初)较大的相位差可以通过其编程总线编程相机来减少，以改变在一个或多个帧数中的垂直消隐期直到相位差小到足以开始通过PWM(和VXVCO)信号调整时钟频率，参照图5A，其中(1)垂直消隐时间编程用来“粗调”，在S3-同步状态的相位，(2)PWM占空比控制用于进一步的精细的调整，涉及到S3-同步状态和S4-保持同步状态。
根据本发明的一个优选实施例，正如上述说明的那样，所述听和重复原理使得数个单元1被同步，只要它们被开启并已接收到S3-同步状态的足够的脉冲串以估算和调整时钟频率和内部同步信号，并且对用于定义主从角色等的手动或半自动配置没有要求：当单元被引入时，所述单元能被自动同步，仅是“即插即用”。但是简单的外围设备也能被同步，如图3所示。所述一个或多个单元1产生如上所述的MA脉冲串和SA或SB脉冲串，那么图4中的BURST_RX信号将有，一个(稍微延迟)低电平脉冲30的信号，在检测MA脉冲29的图3中；和一个低电平脉冲45，如果单位1中的一个实际上(通过它们的伪随机函数)在SA“位置”输出同步脉冲串43；和/或一个低电平脉冲46，如果单元1中的一个实际上(通过伪随机函数)在SB“位置”输出同步脉冲串44。在所述单元中可以有不同的局域同步信号，如由信号事件35，36，37和38表示的序列，例如，相机的GS(全局快门)信号以同步内部程序和曝光。在本发明的一些优选实施例中，如图14中的简单的外围设备将包括图14中的接收器20，或图18中的接收器11，其可以检测到MA、MB、SA和SB脉冲串如29，39，43和/或44(参照图11)，作为接收器的输出PD信号的低电平脉冲30和/或45和/或46，使得所述外围设备能合成自身的适于控制不同功能的内部同步信号相位31，32，33，分别地，例如参照图14,交互式装置中的IRED 6的闪烁，以及例如参照图18，控制在可佩戴的3D快门眼镜的左/右快门23改变。
创新的听和重复原理的一个优势意味着所述单元1同步的短脉冲串通过所述单元本身遍布所述空间。
此外，该原理具有的优点是无需确定哪个单元是主，哪个单元是从。
参照图12，对本发明的一个优选实施例进行说明，其中一个或多个单元1，在这种情况下至少交互式投影机PJ1通过采用近红外光传输来发射脉冲串信号29和39。
交互式投影机PJ1发送至少两个短脉冲串，参照图12中的信号CT，在这种情况下，在近红外(NIR)波长范围内的调制脉冲序列(M)，同步到相机的曝光控制，即快门宽度GS。这两个短脉冲29和39由于其典型的脉冲宽度和其典型的重复时间间隔(29和39之间的时间)通过交互式对象4被识别，在这种情况下交互式对象被称为笔，并且在被称为相机的曝光控制的适当的时间，交互式对象4通过其红外发光二极管IRED 6将输出一个或多个其非调制NIR脉冲31，32和33，分别地，使得每个NIR脉冲是在相机的快门宽度36，37和38内。笔的NIR脉冲的同步使得每个传输NIR脉冲的最佳相机曝光通过形成相机快门宽度、确定曝光积分时间来抑制来自其他NIR和IR来源的噪声，只是比预期的NIR脉冲略大。
因此，由于该同步意味着具有适于NIR脉冲长度的快门宽度的良好的曝光时间控制，只是增加了小的边限，以允许晶体频率漂移和同步抖动，如果我们定义NIR脉冲和快门窗口恰好重叠作为最佳状态的情况下，已实现的信噪比将接近最佳状态。较高的信噪比意味着可能减少输出的NIR LED强度，并以此降低笔的功耗从而增加笔的电池寿命。
现有的不同步的解决方案，无法将笔的NIR发射脉冲安排到相机的曝光快门。如果曝光快门太久，由于笔的运动，可能会发生漏光现象，这会降低所捕获图像的质量，从而限制了图像信号处理和图像特征提取，以及降低了跟踪性能和速度。这种现有的不同步的解决方案要求笔需要不断地输出NIR信号以被相机检测，此外，所述相机的快门宽度必须被限制，以避免漏光现象。由于需要检测连续的NIR发射，这种系统不可避免地需要笔中更多的功耗。
在所提出系统的一个示例性配置中，笔可以传输在320μs的快门窗口内的160μs长度NIR脉冲，由于笔尖状态和笔识别的信号，通常2-3脉冲(平均约2.5)需要每个笔26.6Hz的坐标更新，参照图13。为获得相同的信噪比，连续不断地发射的笔需要瞬时功率Y*160μs/320μs＝0.5*Y，如果Y是所提出的系统的脉冲中的瞬时功率。如果被要求是在相同的信噪比的状态下，在此示例性配置中，与未同步的笔的平均功耗相比，所提出的同步的笔的NIR发射平均功耗将减少2.1％(Y*2.5*160μs*26.6/(0.5*Y*1000000μs≈2.1％)。
此外，与所提出的系统相反，这种不同步的NIR发射笔，不能发出其标识和/或尖端开关状态信息的信号以被相机检测，而在同一时间被相机连续地跟踪。
图13中，根据本发明的一个优选实施例，笔所发信号包括标识(ID1，ID2)和尖端状态(尖端按压，尖端释放)根据在连续的笔相中笔的一些简单闪烁序列，即相1、相2和相3，在最前面的图中分别表示为31，32，33。笔的闪烁序列在接收如上述图12中说明的典型宽度和时间间隔的两个短脉冲串29和39之后启动。即使在一段时间内(例如，在接下来的0.3秒或更长时间)没有来自单元的另外的短脉冲串，笔将继续输出新的闪烁序列如40，41和42，其具有相同的内部时间关系如31，32，33，闪烁序列的时间间隔几乎与短脉冲串29和39之间的时间间隔相同，等，由于笔中基于精确的内部晶体的时间估算，这些闪烁序列中的每个闪烁脉冲将被定位在全局快门(GS)的积分时间内，使得笔的脉冲事件将非常精确地被相机帧捕获，即使经过最后同步脉冲29和39被接收后的0.3秒或更长时间。对所捕获的相机帧的序列进行分析，并且相机包括特征提取装置，可以找到笔的IRED 6的位置和笔的IRED 6的闪烁序列。从分析IRED 6的闪烁序列中得知，能够识别笔的ID(ID1与ID2)和笔的尖端状态，即“尖端按压”或“尖端释放”。
在图13的顶部，所示带有ID1的笔的IRED 6典型闪烁序列，其中，四个相的每个短序列，开始于一个初始相(显示为阴影线的方形(在笔的相1的左侧用31表示)，这是预留给可选的用于检测笔的无源逆反射或反射信息5的相机光源3的闪烁，参照图15。接下来的三个相是三个笔相，即相1、相2和相3，在图13的顶部分别用31、32、33表示。需要三个这样的短序列，以发出笔的标识ID1和笔尖的当前状态的信号。在图13上部的表格中描述了ID1序列中的每个短序列1、2和3，假如在尖端是“按压”以及尖端是“释放”的情况下，笔将如何在笔相1、相2和相中3闪烁。
在图13的顶部的正下面，所示带有ID2的笔的IRED 6典型闪烁序列，其中，四个相的每个短序列，开始于一个初始相(显示为阴影线的方形(在笔的相1的左侧用31表示)，这是预留给可选的用于检测笔的无源逆反射或反射信息5的相机光源3的闪烁，参照图15。接下来的三个相是三个笔相，即相1、相2和相3，在图13的顶部分别用31、32、33表示。需要四个这样的短序列，以发出笔的特性ID2和笔尖的当前状态的信号。在图13底部的表格中描述了ID2序列中的每个短序列1、2、3和4，假如在尖端是“按压”以及尖端是“释放”的情况下，笔将如何在笔相1、相2和相中3闪烁。
如图14所示，本发明的一个优选实施例是交互式装置4，在这里形成为笔，包括尖端16，取决于波长的滤波器或涂层19，计算装置17，如微控制器，一个或多个接收器20，一个或多个电池单元18，向不同方向发射NIR光或射线13的尖端IRED 6，其中的一些射线将碰撞相机9，并可以通过一个可选的取决于波长的滤波器21。
如图15所示，本发明的另一个优选实施例是交互式装置4，在这里形成为笔，包括尖端16，取决于波长的滤波器或涂层19，一个或多个逆反射或反射信息5，一个光源3，其中来自光源15A的射线通过5被反射回去，使得一些射线15B将碰撞相机9，并可以通过一个可选的取决于波长的滤波器21。
如图16所示，本发明的另一个优选实施例是交互式装置4，在这里形成为笔，结合图14和图15的原理，包括一个尖端16，取决于波长的滤波器或涂层19，一个或多个逆反射或反射信息5，一个光源3，其中来自光源15A的射线通过5被反射回去，使得一些射线15B将碰撞相机9，并可以通过一个可选的取决于波长的滤波器21，计算装置17如微控制器，一个或多个接收器20，一个或多个电池单元18，向不同方向发射NIR光或射线13的尖端IRED 6，其中的一些射线将碰撞相机9，并可以通过一个可选的取决于波长的滤波器21。
图17中，说明了本发明的一个优选实施例，其中，每个单元1发送同步(可选地照明)脉冲串29、39以及光源发送未调制的闪烁脉冲34。交互式装置4也可以具有由闪烁脉冲34照明和在曝光快门间隔35内由相机捕获的逆反射或反射信息，而主动闪烁IRED脉冲被传输如31、32、33等，并且相机在各自的曝光快门间隔36、37、38内进行捕获。未调制的闪烁脉冲34不会干扰脉冲接收器。
视觉系统的操作原理及其单元的同步已通过参照给出的图1的示例性的硬件配置进行描述。在图18、图19、图20、图21、图22、图23和图24中，对优选实施例的其他硬件配置进行示意性地说明。
图18中，硬件配置包括交互式视觉系统22，所述交互式视觉系统22包括如图1所描述的两个单元1，来自投影机2的图像的更新同步，并且还包括可佩戴的3D快门眼镜23，通过计算和数据收集控制装置10如微控制器或专用数字电路和无线接收器11、以及可选的无线发射器12控制，使得该3D快门眼镜与图像的更新同步。
图19中，硬件配置包括交互式视觉系统22，包括三个单元1，其中例如在图1所描述的两个单元1，一个带有视频相机9的单元1，所述摄像机9通过计算和数据收集控制装置10如微控制器或专用数字电路和无线接收器11、以及可选的无线发射器12控制，使得由视频相机9捕获的图像与数码投影机2的图像更新同步，使得视频记录可以是无闪烁的。
图20中，硬件配置包括交互式视觉系统22，所述交互式视觉系统22包括两个单元1，是基于相机的输入装置，每一单元包括相机9，相机9捕获交互式表面和平板显示器表面7，带有可选的光源3照射交互式表面和平板显示器表面7，每一单元还包括接收器11、发射器12、计算和数据收集装置10如微控制器或专用数字电路，以及交互式对象4。交互式对象4可包括至少一个无源信息6或一个有源信息6，适于可通过相机9检测。交互式对象4可包括所有种类的无源信息5和有源信息6的组合。在这样的交互式视觉系统22中，相机9彼此同步，而通过两个平板显示器7的图像更新不同步到相机9。
如果交互式对象4是有源的，它们被同步到相机9，并且可选的光源3可被同步到相机9。
图21中，硬件配置包括交互式视觉系统22，所述交互式视觉系统22包括两个单元1，这两个单元是输入装置，其中每个单元包括捕获交互式表面48的相机9，带有可选的光源3照射交互式表面48，每个单元还包括接收器11、发射器12、计算和数据收集装置10如微控制器或专用数字电路，和交互式对象4。交互式对象4可包括至少一个无源光信息5或一个有源光信息6，适于可通过相机9检测。交互式对象4可包括所有种类的无源信息5和有源信息6的组合。在这样的交互式视觉系统22中，相机9被彼此同步。如果交互式对象4是有源的，它们被同步到相机9，并且可选的光源3可被同步到相机9。
图22中，硬件配置包括交互式视觉系统22，所述交互式视觉系统22包括包括平板显示器7的两个单元1，和包括捕获交互式表面的相机9的两个单元1，交互式表面是带有光源3的平板显示器7表面，光源3照射交互式表面和平板显示器表面7。每个单元1进一步包括接收器11、发射器12、计算和数据收集装置10如微控制器或专用数字电路，和交互式对象4。交互式对象4可包括至少一个无源光信息5或一个有源光信息6，适于可通过相机9检测。交互式对象4可包括所有种类的无源信息5和有源信息6的组合。在这样的交互式视觉系统22中，相机9可彼此同步。如果交互式对象4是有源的，它们被同步到相机9，并且可选的光源3可被同步到相机9。所有的单元1可被同步。
图23中，硬件配置包括交互式视觉系统22，所述交互式视觉系统22包括两个单元1，一个单元是交互式投影机，这里用PJ1表示，该单元包括显示装置，即投影机2将输出图像投影到投影和交互式表面47上，另一个单元是可佩戴的交互式眼镜，包括半透明的显示眼镜24，将输出图像显示到虚拟显示器和交互式表面47，每个单元还包括相机9，捕获投影和交互式表面47，带有可选的光源3，光源3照射投影和交互式表面47，每个单元还包括接收器11、发射器12、计算和数据收集装置10如微控制器或专用数字电路，和交互式对象4。交互式对象4可包括至少一个无源光信息5或一个有源光信息6，适于可通过相机9检测。交互式对象4可包括所有种类的无源信息5和有源信息6的组合。在这样的交互式视觉系统22中，相机9彼此同步，而投影机2所投影的图像的更新和半透明眼镜24的虚拟显示的更新可选地能被同步，用于3D和虚拟现实的功能，但是在其它方面不需要进行同步。如果交互式对象4是有源的，它们被同步到相机9，并且可选的光源3可被同步到相机9。
图24中，硬件配置包括交互式视觉系统22，所述交互式视觉系统22包括两个或多个单元1，所述单元包括相机9，捕获投影和交互式表面47，带有可选的光源3，光源3照射投影和交互式表面47，所述单元还包括无线接收器11，无线发射器12，计算和数据收集装置10如微控制器或专用数字电路，和交互式对象4。单元1可包括数码投影机2，将输出图像投影到投影和交互式表面47，如PJ1中，或单元1也可以从数码投影仪2分离，将输出图像投影到投影和交互式表面47，如P2。交互式对象4可包括至少一个无源光信息5或一个有源光信息6，适于被相机9所捕获。交互式对象4可包括所有种类的无源信息5和有源信息6的组合。在这样的交互式视觉系统22中，相机9彼此同步。如果交互式对象4是有源的，它们被同步到相机9，并且可选的光源3可被同步到相机9。
根据本发明的不同的实施例，以及本发明的优点基于通用的“即插即用”同步原理被清楚地说明，“即插即用”表示为听和重复原理，可在有线和无线配置中使用，并能使用标准的低成本装置，如NIR接收器和典型地存在于远程控制器中的NIR LEDs以及存在于远程控制器中的基于脉冲RF的接收器和传送器。示例性的配置将只以时间的3/8*500μs/37500μs≈0.5％发送，从而IR/NIR远程控制器的使用将不会受到影响。基于脉冲串的RF发射器和接收器也可以被使用，并且通常需要只以时间的1/8*60μs/37500μs≈0.02％传送。这意味着基于RF的远程遥控器也不会被此同步影响。
在一个优选实施例中的同步可以利用不频发的短脉冲串在至少30ms间隔，并具有4Hz平均脉冲串频率，以及NIR/IR脉冲长度可低至500μs。
本发明非常适合于低成本的交互式装置，适合于高品质和带有可低成本的微控制器以及可编程装置的精确的曝光控制器。本发明也非常适合于利用可编程的低成本CMOS成像传感器。在CMOS成像传感器中使用可编程功能的发明方案，通过临时改变垂直消隐期很快调整信号相，结合用于精细同步的基于XVCO控制晶体的时钟合成器，提供非常快速、可靠和低成本的同步。

Claims (8)

1.一种视觉系统，包括：
交互式对象，具有光源，所述光源以闪烁序列发射光，所述闪烁序列表示所述交互式对象的身份(ID)信息；
视觉单元，配置为检测从所述光源发出的光的位置，并分析所述闪烁序列从而识别所述身份信息。
2.根据权利要求1所述的视觉系统，其特征在于：
所述交互式对象具有尖端开关，
所述闪烁序列表示所述身份信息和尖端开关状态，
所述视觉单元分析所述闪烁序列从而识别所述身份信息和所述尖端开关状态。
3.根据权利要求2所述的视觉系统，其特征在于：
所述闪烁序列包括多个子序列，
所述闪烁序列在每个子序列中以预定次数表示所述尖端开关状态，所述预定表示次数取决于所述交互式对象的身份而设置为不同的值，
所述视觉单元基于所述闪烁序列而识别所述尖端开关状态，并且基于在每一子序列中的所述预定表示次数而识别所述身份信息。
4.根据权利要求2所述的视觉系统，其特征在于：
所述闪烁序列包括多个子序列，每个子序列具有第一阶段、第二阶段和第三阶段，
所述第三阶段的光源闪烁状态等于所述第一阶段的光源闪烁状态，所述第二阶段的光源闪烁状态根据所述交互式对象的尖端开关状态而变化，在每个子序列中所述第二阶段处于所述第一阶段与所述第二阶段之间。
5.根据权利要求1所述的视觉系统，其特征在于：
所述视觉单元包括：
发射器，配置为发射脉冲；以及
摄像头，配置为以与所述脉冲同步的方式捕捉从所述光源发出的光，
所述交互式对象包括接收器，配置为接收从所述发射器发射的脉冲，
所述光源以与所述接收器接收到的脉冲同步的方式发射光。
6.一种视觉系统，包括：
交互式对象，具有光源和尖端开关，所述光源以闪烁序列发射光，所述闪烁序列表示尖端开关状态；
视觉单元，配置为检测从所述光源发出的光的位置，并分析所述闪烁序列从而识别所述尖端开关状态。
7.一种控制视觉系统的方法，所述视觉系统包括交互式对象和视觉单元，所述交互式对象具有光源，所述视觉单元配置为检测从所述光源发出的光的位置，所述方法包括：
通过所述交互式对象从光源以闪烁序列发射光，所述闪烁序列表示所述交互式对象的身份(ID)信息；以及
通过所述视觉单元分析所述闪烁序列从而识别所述身份信息。
8.一种控制视觉系统的方法，所述视觉系统包括交互式对象和视觉单元，所述交互式对象具有光源和尖端开关，所述视觉单元配置为检测从所述光源发出的光的位置，所述方法包括：
通过所述交互式对象从光源以闪烁序列发射光，所述闪烁序列表示所述交互式对象的尖端开关状态；以及
通过所述视觉单元分析所述闪烁序列从而识别所述尖端开关状态。
CN201710909391.2A 2012-01-09 2013-01-03 视觉系统及控制视觉系统的方法 Active CN107656635B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261584620P 2012-01-09 2012-01-09
US61/584,620 2012-01-09
US201261601414P 2012-02-21 2012-02-21
US61/601,414 2012-02-21
CN201380013062.XA CN104321720B (zh) 2012-01-09 2013-01-03 用于同步、识别及跟踪视觉交互式系统的低干扰系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380013062.XA Division CN104321720B (zh) 2012-01-09 2013-01-03 用于同步、识别及跟踪视觉交互式系统的低干扰系统和方法

Publications (2)

Publication Number Publication Date
CN107656635A true CN107656635A (zh) 2018-02-02
CN107656635B CN107656635B (zh) 2020-10-27

Family

ID=47846083

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380013062.XA Active CN104321720B (zh) 2012-01-09 2013-01-03 用于同步、识别及跟踪视觉交互式系统的低干扰系统和方法
CN201710909391.2A Active CN107656635B (zh) 2012-01-09 2013-01-03 视觉系统及控制视觉系统的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380013062.XA Active CN104321720B (zh) 2012-01-09 2013-01-03 用于同步、识别及跟踪视觉交互式系统的低干扰系统和方法

Country Status (6)

Country Link
US (2) US9652029B2 (zh)
EP (2) EP3318961B1 (zh)
JP (2) JP6057098B2 (zh)
CN (2) CN104321720B (zh)
TW (1) TWI635420B (zh)
WO (1) WO2013104988A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6060581B2 (ja) * 2012-09-18 2017-01-18 セイコーエプソン株式会社 インタラクティブシステム、インタラクティブシステムの制御方法、およびプロジェクター
WO2014145279A1 (en) 2013-03-15 2014-09-18 Leap Motion, Inc. Determining the relative locations of multiple motion-tracking devices
US9348419B2 (en) * 2014-01-24 2016-05-24 Leap Motion, Inc. Method for synchronizing operation of systems
US9389069B2 (en) * 2014-03-26 2016-07-12 Alces Technology, Inc. Compact 3D depth capture systems
US9733731B2 (en) * 2014-05-12 2017-08-15 Atmel Corporation Timing synchronization of active stylus and touch sensor
CN105430308B (zh) * 2014-09-17 2020-04-03 索尼公司 交互式投影装置及其曝光值自动调整方法
US9924143B2 (en) * 2014-09-23 2018-03-20 Intel Corporation Wearable mediated reality system and method
JP6503828B2 (ja) * 2015-03-27 2019-04-24 セイコーエプソン株式会社 インタラクティブプロジェクションシステム，指示体，およびインタラクティブプロジェクションシステムの制御方法
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
US10532277B2 (en) * 2015-06-11 2020-01-14 Facebook Technologies, Llc Hand-held controllers with light-emitting diodes synchronized to an external camera
TWI601423B (zh) 2016-04-08 2017-10-01 晶睿通訊股份有限公司 攝影系統及其同步方法
CN107305692B (zh) * 2016-04-14 2021-01-26 上海乐相科技有限公司 一种确定待测对象的运动信息的方法及装置
CN105931272B (zh) * 2016-05-06 2019-04-05 上海乐相科技有限公司 一种运动对象追踪方法及系统
CN106028001B (zh) * 2016-07-20 2019-01-04 上海乐相科技有限公司 一种光学定位方法及装置
TWI607365B (zh) * 2016-10-07 2017-12-01 Handwriting interactive display device and handwriting interactive reading device
CN106506076A (zh) * 2016-10-14 2017-03-15 乐视控股（北京）有限公司 一种虚拟现实系统及其信息传输的方法、装置
CN108366250B (zh) * 2018-02-06 2020-03-17 深圳市鹰硕技术有限公司 影像显示系统、方法以及数字眼镜
FR3078851B1 (fr) * 2018-03-07 2020-02-14 Teledyne E2V Semiconductors Sas Camera de vision a mesure de temps de vol optimisee pour environnement multi-cameras
JP7014009B2 (ja) * 2018-03-29 2022-02-01 セイコーエプソン株式会社 操作デバイス、位置検出システム及び操作デバイスの制御方法
TWI744589B (zh) 2018-12-28 2021-11-01 宏正自動科技股份有限公司 視訊互動系統
US11068701B2 (en) * 2019-06-13 2021-07-20 XMotors.ai Inc. Apparatus and method for vehicle driver recognition and applications of same
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法
TWI712978B (zh) * 2019-09-18 2020-12-11 玉山商業銀行股份有限公司 動態影像檢核方法、服務系統及電腦程式產品
US11683450B2 (en) * 2020-06-04 2023-06-20 FLIR Unmanned Aerial Systems AS Shutter and light signal synchronization systems and methods
US20220132042A1 (en) * 2020-10-26 2022-04-28 Htc Corporation Method for tracking movable object, tracking device, and method for controlling shooting parameters of camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815127A (en) * 1993-11-22 1998-09-29 Timex Corporation Method and apparatus for downloading information from a controllable light source to a portable information device
EP1132852A1 (en) * 2000-03-06 2001-09-12 Ricoh Company Optical coordinate input/detection device with optical-unit positioning error correcting function
US20010050672A1 (en) * 2000-04-07 2001-12-13 Kiwamu Kobayashi Coordinate input apparatus and method, coordinate input pointing device, storage medium, and computer program
US20110148758A1 (en) * 2009-12-18 2011-06-23 Canon Kabushiki Kaisha Coordinate input apparatus, control method, and storage medium
CN102109909A (zh) * 2009-12-25 2011-06-29 旭丽电子(广州)有限公司 简报指示装置及其控制方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730129B2 (en) * 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
JP3257585B2 (ja) 1996-03-29 2002-02-18 株式会社ビジュアルサイエンス研究所 空間マウスを用いた映像化装置
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
JP2001022520A (ja) * 1999-07-07 2001-01-26 Canon Inc 座標入力装置
JP3670896B2 (ja) * 1999-08-06 2005-07-13 日立ソフトウエアエンジニアリング株式会社 電子ボードシステム
JP2001075736A (ja) * 1999-09-06 2001-03-23 Canon Inc 座標入力装置
CN101071351A (zh) * 1999-10-27 2007-11-14 数字墨水公司 跟踪一书写工具位置的设备
US6529189B1 (en) 2000-02-08 2003-03-04 International Business Machines Corporation Touch screen stylus with IR-coupled selection buttons
JP2001287901A (ja) 2000-04-03 2001-10-16 Hiroshi Ito メタノールの分解ガス化方法
NO311740B1 (no) 2000-09-11 2002-01-14 Tormod Njoelstad Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid
GB2401764B (en) * 2001-01-03 2005-06-29 Vtech Communications Ltd System clock synchronisation using phase-locked loop
GB0100094D0 (en) * 2001-01-03 2001-02-14 Vtech Communications Ltd System clock synchronisation using phased-lock loop
JP3685731B2 (ja) * 2001-03-28 2005-08-24 任天堂株式会社 ゲーム装置及びそのプログラム
JP2002351612A (ja) * 2001-05-28 2002-12-06 Canon Inc 座標入力装置及びその制御方法、プログラム
US7636931B2 (en) * 2001-08-17 2009-12-22 Igt Interactive television devices and systems
JP4728540B2 (ja) 2001-09-20 2011-07-20 株式会社リコー 会議等支援用画像投影装置
US7559656B2 (en) * 2003-03-03 2009-07-14 Panasonic Corporation Projector system
WO2005026930A2 (en) * 2003-09-12 2005-03-24 O-Pen Aps A system and method of determining a position of a radiation emitting element
JP2005135081A (ja) * 2003-10-29 2005-05-26 Nec Viewtechnology Ltd ライトペンとこれを用いた電子黒板
JP4037822B2 (ja) 2003-12-05 2008-01-23 Ｎｅｃディスプレイソリューションズ株式会社 電子ペンの位置検出方法／電子ペン／プロジェクタ／電子黒板システム
NO323926B1 (no) 2004-11-12 2007-07-23 New Index As Visuelt system samt styringsobjekt og apparat til bruk i systemet.
JP3888558B2 (ja) * 2004-11-18 2007-03-07 任天堂株式会社 無線ネットワークシステムおよび無線通信プログラム
JP2007072502A (ja) * 2005-09-02 2007-03-22 Canon Inc 座標入力装置つき表示装置
JP2007072548A (ja) * 2005-09-05 2007-03-22 Matsushita Electric Ind Co Ltd 対象物指示特定システム、情報端末、操作対象機器および対象物指示特定方法
US9430059B2 (en) * 2006-08-02 2016-08-30 Benoit Maison Multi-user pointing apparaus and method
US20080169132A1 (en) * 2007-01-03 2008-07-17 Yao Ding Multiple styli annotation system
JP4932554B2 (ja) * 2007-03-20 2012-05-16 Ｎｅｃアクセステクニカ株式会社 文字入力システム、文字入力装置、文字入力方法、及びプログラム
JP4511611B2 (ja) 2008-05-29 2010-07-28 株式会社エヌ・ティ・ティ・ドコモ 無線リソース選択方法、無線基地局及び移動局
JP4954143B2 (ja) * 2008-06-02 2012-06-13 三菱電機株式会社 位置検出装置
JP5094566B2 (ja) * 2008-06-02 2012-12-12 三菱電機株式会社 映像表示システム
FR2933511A1 (fr) * 2008-07-04 2010-01-08 Optinnova Dispositif et procede de visualisation interactif utilisant une camera de detection et un pointeur optique
US8519984B2 (en) * 2009-08-20 2013-08-27 Acer Incorporated Input device and display system having the same
US9179136B2 (en) * 2009-11-20 2015-11-03 Broadcom Corporation Method and system for synchronizing 3D shutter glasses to a television refresh rate
US20110134231A1 (en) * 2009-11-20 2011-06-09 Hulvey Robert W Method And System For Synchronizing Shutter Glasses To A Display Device Refresh Rate
US20110169736A1 (en) * 2010-01-13 2011-07-14 Smart Technologies Ulc Interactive input system and tool tray therefor
US8610764B2 (en) 2010-07-09 2013-12-17 Sony Corporation Shutter glasses repeater
US9354718B2 (en) * 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
CN102135842B (zh) * 2011-04-06 2013-02-27 南京方瑞科技有限公司 同步光笔电子白板系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815127A (en) * 1993-11-22 1998-09-29 Timex Corporation Method and apparatus for downloading information from a controllable light source to a portable information device
EP1132852A1 (en) * 2000-03-06 2001-09-12 Ricoh Company Optical coordinate input/detection device with optical-unit positioning error correcting function
US20010050672A1 (en) * 2000-04-07 2001-12-13 Kiwamu Kobayashi Coordinate input apparatus and method, coordinate input pointing device, storage medium, and computer program
US20110148758A1 (en) * 2009-12-18 2011-06-23 Canon Kabushiki Kaisha Coordinate input apparatus, control method, and storage medium
CN102109909A (zh) * 2009-12-25 2011-06-29 旭丽电子(广州)有限公司 简报指示装置及其控制方法

Also Published As

Publication number Publication date
US10296078B2 (en) 2019-05-21
US20150015482A1 (en) 2015-01-15
EP2802973A1 (en) 2014-11-19
EP3318961A1 (en) 2018-05-09
CN104321720A (zh) 2015-01-28
CN107656635B (zh) 2020-10-27
JP6304842B2 (ja) 2018-04-04
JP6057098B2 (ja) 2017-01-11
JP2017084373A (ja) 2017-05-18
WO2013104988A1 (en) 2013-07-18
TW201403398A (zh) 2014-01-16
CN104321720B (zh) 2017-11-07
US9652029B2 (en) 2017-05-16
JP2015504217A (ja) 2015-02-05
US20170205906A1 (en) 2017-07-20
EP3318961B1 (en) 2020-09-02
TWI635420B (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN104321720B (zh) 用于同步、识别及跟踪视觉交互式系统的低干扰系统和方法
CN106104300B (zh) 深度感测设备中的定时脉冲
US10027898B2 (en) TOF illumination system and TOF camera and method for operating, with control means for driving electronic devices located in the scene
EP2823751B1 (en) Eye gaze imaging
WO2018208465A1 (en) Calibration of stereo cameras and handheld object
KR101565451B1 (ko) 동기식 레이저 포인트 전자 화이트 보드 시스템
CN105740936A (zh) 一种光标签和识别光标签的方法及设备
CN103827920A (zh) 根据图像的对象距离确定
CN102822848A (zh) 对用于立体视觉的眼镜进行识别的设备和方法以及控制立体视觉视频流的显示的相关方法
KR102647637B1 (ko) 사용자 인증을 위한 방법 및 그 전자 장치
JPWO2016031359A1 (ja) 制御装置、制御方法、及びプログラム
KR100773905B1 (ko) 이미지 센서를 이용한 원격 포인팅 장치 및 방법
CN105446580B (zh) 一种控制方法及便携式电子设备
CN104601900B (zh) 用于智能交互微投设备的图像数据采集方法
US20200241296A1 (en) Synchronized Shared Mixed Reality for Co-Located Participants, Apparatus, System and Method
KR101164193B1 (ko) 복수 개의 적외선 신호 좌표를 구별하여 추적하는 방법 및 시스템
TW201523335A (zh) 光學式物件追蹤方法及其相關光學式追蹤系統
KR20160094077A (ko) 이미지를 캡쳐하는 전자 장치 및 방법
KR20150043679A (ko) 가상 사격 시스템 및 그 구동 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180223

Address after: Tokyo, Japan, Japan

Applicant after: Seiko Epson Corp.

Address before: Norway Trondheim Silaben No. 1288 mailbox

Applicant before: EPSON NORWAY RESEARCH AND DEVELOPMENT AS

GR01 Patent grant
GR01 Patent grant