CN114930116A - 发光二极管(led)阵列的事件驱动型传感器(eds)跟踪 - Google Patents

发光二极管(led)阵列的事件驱动型传感器(eds)跟踪 Download PDF

Info

Publication number
CN114930116A
CN114930116A CN202180008248.0A CN202180008248A CN114930116A CN 114930116 A CN114930116 A CN 114930116A CN 202180008248 A CN202180008248 A CN 202180008248A CN 114930116 A CN114930116 A CN 114930116A
Authority
CN
China
Prior art keywords
eds
frame
led
slam
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180008248.0A
Other languages
English (en)
Inventor
S.巴什基罗夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN114930116A publication Critical patent/CN114930116A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703—Details
    • G01S1/7032—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

一种事件驱动型传感器(EDS)(202、300、302、400、500、600)用于同时定位与地图构建(SLAM)，并且确切来说用于与发光二极管(LED)的集群(208、306、402、502、602)结合使用以在空间中同时定位所有的LED并跟踪EDS姿势。所述EDS可以是静止的(500)或可移动(400、600)并且可跟踪作为刚性体的可移动LED集群。使用最少的计算资源(不进行图像处理)以高速率将每一个别LED区分开。因此，替代相机和图像处理，将所述EDS检测到的迅速地脉冲式LED用于特征点，以使得EDS事件一次仅与一个LED相关。

Description

发光二极管(LED)阵列的事件驱动型传感器(EDS)跟踪
技术领域
本申请大体来说涉及必须根植于计算机技术并且产生实在的技术改进的技术创新性的非常规解决方案。
背景技术
同时定位与地图构建(SLAM)地图可用于帮助自主机器人在房间或建筑物内导航，并且也帮助用户在佩戴增强现实(AR)头戴式显示器(HMD)时在房间或建筑物内导航。举例来说并且如本文中所理解，为了在HMD上适当地呈现虚拟现实(VR)图像且出于其他原因，ARHMD系统必须通常使用SLAM原理来跟踪HMD的姿势、佩戴者的手和其他真实世界目标等。
这是处理密集型的并且消耗HMD中的大量电池电力和计算资源。此外，传统SLAM技术必须考虑到特征点识别并不绝对的事实。因此，可能出现特征不匹配。因此，使用各种技术来防止跟踪失败。举例来说，这些包括RANSAC异常值剔除、在优化时使用损失函数和多步帧匹配验证。
发明内容
为了解决本文中所述的挑战，本发明原理使用依据EDS原理检测运动的事件驱动型传感器(EDS)感测单元。EDS使用由一个或多个像素感测到的光强度的改变来作为运动的指示。因此，符合本公开的EDS提供指示由感光阵列的至少一个像素感测到的光强度的改变的输出。举例来说，如果由像素感测到的光正在减小，则EDS的输出可以是-1；如果由像素感测到的光正在增大，则EDS的输出可以是+1。输出二进制信号0可指示低于某一阈值的光强度的没有改变。
使用将脉冲式发光二极管(LED)与通过EDS检测脉冲组合的本发明技术，只需非常少的计算电力来检测特征点并且无需防止跟踪失败，原因在于每一LED在精确获悉的时间发出脉冲。通过对事件时间与LED闪烁时间进行比较，可确定事件与哪一LED相关。可使用EDS的输出、使用一步优化(诸如卡尔曼滤波器)来执行SLAM算法，从而减小功耗。
LED被布置成阵列且一次短暂地(例如，在几微秒内)激活一个LED。EDS事件阈值足够高以仅检测LED所致的“+”事件或“-“事件。由于一次仅激活并撤销激活一个LED并且由于EDS提供准确的事件时间戳，因此能直接分辨哪一事件对应于哪一LED。LED阵列可以是静止的且EDS是移动的，或EDS可以是静止的且LED阵列是移动的。
由于EDS仅检测强度改变，因此可使用非常短的脉冲以极高的频率一次跟踪(并且分辨哪一LED是哪一个)大数目个LED，例如每秒对每一LED进行大于一千次检测。
就可移动的EDS实施方式而言，提供如SLAM一样的实例性解决方案。在此种情形中，所有的“特征”是相异的并且不需要进行图像处理和特征比较或实施损失函数。就可移动的LED实施方式而言，提供HMD姿势跟踪解决方案实例。
因此，在第一方面，一种系统包括至少一个发光二极管(LED)组合件，所述至少一个发光二极管组合件被配置成使得所述组合件中的个别LED一次一个LED地发射光。所述系统也包括至少一个事件驱动型传感器(EDS)，所述至少一个事件驱动型传感器被配置成响应于LED发射而输出表示照明强度的改变的信号。所述系统还包括至少一个处理器，所述至少一个处理器被配置成依据指令至少部分地基于来自所述EDS的所述信号来生成同时定位与地图构建(SLAM)信息。
在一些实施方式中，所述EDS是可移动的，并且所述LED组合件是静止的。在其他实施方式中，所述EDS是不可移动的，并且所述LED组合件是可移动的。在其他实施方式中，所述EDS和所述LED组合件两者皆可移动。
在实例性实施方案中，所述EDS是第一EDS并且所述系统包括第二EDS以便于所述处理器确定立体SLAM。在其他实施方案中，所述EDS是第一EDS并且所述处理器仅从所述第一EDS而不从其他EDS接收信息以确定单眼SLAM。在后一种情形中，所述处理器可被配置成依据指令至少部分地通过以下操作来确定初始三角测量和姿势估计：从所述EDS至少接收第一帧和第二帧，所述第一帧和所述第二帧是使用来自不同LED的多个事件生成；从所述第一帧和所述第二帧确定基本矩阵；从所述基本矩阵计算本质矩阵；以及将所述本质矩阵分解成四个运动假设；基于所述四个运动假设中的第一运动假设不具有异常值而选择所述第一运动假设；以及使用所述第一运动假设，通过使用所述第一运动假设作为参考来三角测量新的LED方位而执行SLAM。
在另一方面，一种方法包括：一次一个地为多个灯供能；以及使用事件检测器传感器(EDS)来检测由为所述灯供能所产生的事件。所述方法包括：使用所述EDS的输出来在增强现实(AR)环境中生成同时定位与地图构建(SLAM)信息。
在另一方面，一种系统包括至少一个头戴式显示器(HMD)，所述至少一个头戴式显示器被配置成呈现虚拟现实(VR)图像，同时准许所述HMD的佩戴者通过所述HMD观察至少第一真实世界目标。所述系统还包括可个别供能灯的至少一个集群和至少一个事件驱动型传感器(EDS)，所述至少一个事件驱动型传感器被配置成生成表示由所述灯的激活产生的事件的信号，以确定所述HMD的至少一个姿势和/或所述第一真实世界目标的位置。
参考附图可最好地理解本申请在其结构和操作上的细节，在附图中相似的参考编号指代相似的部分，并且在附图中：
附图说明
图1是包括根据本发明原理的实例的实例性系统的框图；
图2是实例性单眼SLAM系统的框图；
图2是实例性立体SLAM系统的框图；
图4是EDS可移动并且LED静止的系统的示意图；
图5是EDS静止并且LED可移动的系统的示意图；
图6是EDS和LED皆可移动的系统的示意图；
图7图解说明一次一个地激活LED；
图8是符合本发明原理的实例性逻辑的流程图；
图9是符合本发明原理的实例性单眼SLAM初始化逻辑的流程图；
图10是单眼SLAM初始化的示意性图解说明；并且
图11示意性地图解说明将惯性测量单元(IMU)与EDS协作使用以改进跟踪。
具体实施方式
本公开大体来说涉及包括消费型电子(CE)装置网络的各方面的计算机生态系统，诸如但不限于计算机模拟网络，诸如计算机游戏网络以及独立计算机模拟系统。本文中的装置和组件可在网络中使用所谓的“5G”来进行通信且因此本文中的一个或多个收发器可以是5G收发器。5G是一种数字蜂窝通信技术，其能够在每秒数百兆位到千兆位的范围内进行无线数据通信。与先前技术相比，5G具有更高的数据吞吐量、更低的功耗并且不易出错。由于可使用5G将极大量的数据从终端用户装置无线地传达到云服务器，因此本发明原理认识到，可将现在对本地装置执行的更多计算卸载到比以前所实践的更快更强大的云服务器，包括计算机游戏的处理在内。目前国际电信联盟IMT-2020标准以及行业标准团体3GPP所提出的5G新无线电(5G NR)对5G进行了描述。电气电子工程师(IEEE)1914系列中也描述了5G的各方面。
本文中的系统可包括服务器和客户端组件，所述服务器和客户端组件经由网络连接以使得可在客户端与服务器组件之间交换数据。客户端组件可包括一个或多个计算装置，包括诸如Sony
Figure BDA0003730091720000052
等游戏控制台或由Microsoft或Nintendo或者虚拟现实(VR)头戴机、增强现实(AR)头戴机、便携式电视(例如智能TV、能联网TV)、便携式计算机(诸如，膝上型计算机和平板计算机)以及其他移动装置(包括智能电话和下文所论述的额外实例)的其他制造商制作的游戏控制台。这些客户端装置可在各种操作环境中操作。举例来说，客户端计算机中的一些客户端计算机可采用例如Linux操作系统、来自Microsoft的操作系统或Unix操作系统或由Apple Computer或Google生产的操作系统。这些操作环境可用于执行一个或多个浏览程序，诸如由Microsoft或Google或Mozilla制作的浏览器、或可访问由下文所论述的因特网服务器托管的网站的其他浏览器程序。此外，根据本发明原理的操作环境可用于执行一个或多个计算机游戏程序。
服务器和/或网关可包括执行指令的一个或多个处理器，所述指令将服务器配置成经由网络(诸如因特网)接收和传输数据。或者，客户端与服务器可经由局域内联网或虚拟专用网连接。服务器或控制器可具现化为游戏控制台，诸如Sony
Figure BDA0003730091720000051
个人计算机等。
可经由网络在客户端与服务器之间交换信息。为此并且出于安全起见，服务器和/或客户端可包括防火墙、负载平衡器、暂时性存储器件和代理以及用于可靠性和安全的其他网络基础设施。一个或多个服务器可形成实施向网络成员提供安全社区(诸如，在线社交网站)的方法的设备。
如本文中所使用，指令指代用于在系统中处理信息的计算机实施步骤。指令可以软件、固件或硬件来实施并且包括由系统的组件实行的任何类型的经过编程的步骤。
处理器可以是任何传统通用单芯片或多芯片处理器，所述处理器可通过各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器来执行逻辑。
本文中通过流程图和用户界面描述的软件模块可包括各种子例程、过程等。在不限制本公开的情况下，被陈述为由特定模块执行的逻辑可重新分布到其他软件模块和/或一起组合在单个模块中和/或可在可共享库中获取。
可将本文中所述的本发明原理实施为硬件、软件、固件或其组合；因此，在功能方面对说明性组件、块、模块、电路和步骤加以阐述。
除了上文提及的内容之外，下文所述的逻辑块、模块和电路可通过通用处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其他可编程逻辑装置(诸如专用集成电路(ASIC)、离散门或晶体管逻辑、离散硬件组件或被设计成执行本文中所述的功能的其任何组合)来实施或执行。处理器可由控制器或状态机或者由计算装置的组合来实施。
下文所述的功能和方法在被实施为软件时可以适当的语言(诸如但不限于Java、C#或C++)来撰写，并且可存储在计算机可读存储介质(诸如，随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、高密度盘只读存储器(CD-ROM)或其他光盘存储器件，诸如数字多功能盘(DVD)、磁盘存储器件或其他磁性存储装置，包括可移除拇指驱动器等)上或通过所述计算机可读存储介质传输。连接可确立计算机可读介质。所述连接可包括例如硬连线缆线，包括光纤和同轴线以及数字用户线(DSL)和双绞线。所述连接可包括无线通信连接，包括红外线和无线电。
一个实施方案中所包括的组件可以任何适当的组合用于其他实施方案中。举例来说，本文中所述和/或图中所绘示的各种组件中的任一者可被组合、互换或从其他实施方案排除。
“具有A、B和C中的至少一者的系统”(同样地“具有A、B或C中的至少一者的系统”以及“具有A、B、C中的至少一者的系统”)包括仅具有A、仅具有B、仅具有C、具有A和B，具有A和C、具有B和C、和/或具有A、B和C等的系统。
现在参考图1具体阐述，示出实例性系统10，所述实例性系统10可包括根据本发明原理的上文提及且下文进一步描述的实例性装置中的一者或多者。系统10中所包括的实例性装置中的第一装置是消费型电子(CE)装置，诸如音频视频装置(AVD)12，诸如但不限于具有TV调谐器的能联网的TV(相当于控制TV的机顶盒)。然而，另一选择为AVD 12可以是电器或家用物品，例如计算机化的能联网的冰箱、洗衣机或烘干机。AVD 12或者也可能是计算机化的能联网(“智能”)电话、平板计算机、笔记本计算机、可穿戴计算机化装置，例如计算机化能联网手表、计算机化能联网手环、其他计算机化能联网装置、计算机化能联网音乐播放器、计算机化能联网耳机、计算机化能联网可植入装置，诸如可植入皮肤装置等。无论如何，应理解，AVD12被配置成实行本发明原理(例如，与其他CE装置通信以实行本发明原理，执行本文中所述的逻辑以及执行本文中所述的任何其他功能和/或操作)。
因此，为了实行所述原理，AVD 12可通过图1中所示的组件中的一些或全部来确立。举例来说，AVD 12可包括一个或多个显示器14，所述一个或多个显示器14可由高清晰度或超高清晰度“4K”或更高的平面屏幕来实施并且可能够触摸以经由在显示器上触摸来接收用户输入信号。AVD 12可包括根据本发明原理的用于输出音频的一个或多个扬声器16以及用于例如将可听命令输入到AVD 12以控制AVD 12的至少一个额外输入装置18，例如音频接收器/传声器。实例性AVD 12也可包括一个或多个网络接口20，所述一个或多个网络接口20用于经由至少一个网络22(诸如，因特网、WAN、LAN等)在一个或多个处理器24的控制下进行通信。还可包括图形处理器24A。因此，接口20可以是但不限于Wi-Fi收发器，所述Wi-Fi收发器是无线计算机网络接口的实例，诸如但不限于网状网络收发器。应理解，处理器24控制AVD 12实行本发明原理，包括控制本文中所述的AVD12的其他元件，例如控制显示器14在上面呈现图像和从所述显示器14接收输入。此外，注意网络接口20可以是例如有线或无线调制解调器或路由器或其他适当接口，例如无线电话收发器或上文所提及的Wi-Fi收发器等。
除前述内容之外，AVD 12还可包括实体地连接(例如使用有线连接)到另一CE装置的一个或多个输入端口26(例如高清晰度多媒体接口(HDMI)端口或USB端口)、和/或将耳机连接到AVD 12以通过耳机向用户呈现来自AVD 12的音频的耳机端口。举例来说，输入端口26可有线地或无线地连接到音频视频内容的缆线或卫星源26a。因此，源26a可以是例如单独的或集成的机顶盒或卫星接收器。或者，源26a可以是游戏控制台或磁盘播放器，其含有被用户视为最喜欢的内容以达到下文进一步描述的通道分配目的。源26a在被实施为游戏控制台时可包括下文参照CE装置44所述的组件中的一些或全部。
AVD 12还可包括一个或多个计算机存储器28，诸如并非暂时性信号的磁盘式或固态存储器件，在一些情形中所述计算机存储器28作为独立装置包括在AVD的底盘中、或者作为在AVD的底盘内部或外部的个人视频记录装置(PVR)或视频磁盘播放器以用于播放AV程序、或作为可移除存储器介质。此外，在一些实施方案中，AVD 12可包括方位或位置接收器，诸如但不限于蜂窝电话接收器、GPS接收器和/或测高仪30，所述方位或位置接收器被配置成例如从至少一个卫星或蜂窝电话塔接收地理方位信息并且将所述信息提供到处理器24和/或与处理器24相结合确定AVD 12所安置的海拔。然而，应理解，根据本发明原理可使用除了蜂窝电话接收器、GPS接收器和/或测高仪之外的另一适合的方位接收器以例如在例如所有三个维度上确定AVD 12的位置。
继续描述AVD 12，在一些实施方案中，根据本发明原理，AVD 12可包括一个或多个相机32，所述一个或多个相机32可以是例如热成像相机、数字相机(诸如，网络摄像机)和/或集成到AVD 12中且可由处理器24控制以收集图片/图像和/或视频的相机。AVD 12上还可包括蓝牙收发器34和其他近场通信(NFC)元件36以分别使用蓝牙和/或NFC技术来与其他装置进行通信。实例性NFC元件可以是射频识别(RFID)元件。
此外，AVD 12可包括将输入提供到处理器24的一个或多个辅助传感器37(例如运动传感器，诸如加速度计、陀螺仪、记转器或磁性传感器、红外线(IR)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令等)。AVD 12可包括用于接收将输入提供到处理器24的OTATV广播的空中TV广播端口38。除前述内容之外，注意AVD 12还可包括红外线(IR)传输器和/或IR接收器和/或IR收发器42，诸如IR数据关联(IRDA)装置。可提供电池(未示出)以为AVD 12供电。
仍参考图1，除AVD 12之外，系统10还可包括一个或多个其他的CE装置类型。在一个实例中，第一CE装置44可用于经由直接发送到AVD 12的命令和/或通过下文所述的服务器将计算机游戏音频和视频发送到AVD 12，而第二CE装置46可包括与第一CE装置44类似的组件。在所示的实例中，第二CE装置46可被配置为由所示的播放器47携载的AR头戴式显示器(HMD)。在所示的实例中，仅示出两个CE装置44、46，应理解可使用更少或更多的装置。
在所示的实例中，为了图解说明本发明原理，所有的三个装置12、44、46被视为例如在家中的娱乐网络的成员或至少在位置(诸如房子)上彼此靠近地存在。然而，除非另有明确要求，否则本发明原理不限于虚线48所图解说明的特定位置。
实例性非限制性第一CE装置44可由上述装置(例如，便携式无线膝上型计算机或笔记本计算机或游戏控制器)中的任一者确立，并且因此可具有下文所述的组件中的一者或多者。第一CE装置44可以是用于如将AV播放和暂停命令发出到AVD 12的远程控制件(RC)，或其可以是经由有线或无线链路与AVD 12和/或游戏控制台、个人计算机、无线电话等通信的更复杂装置，诸如平板计算机、游戏控制器。
因此，第一CE装置44可包括可能够触摸的一个或多个显示器50，所述一个或多个显示器50用于经由在显示器上触摸接收用户输入信号。第一CE装置44可包括根据本发明原理的用于输出音频的一个或多个扬声器52以及用于例如将可听命令输入到第一CE装置44以控制装置44的至少一个额外输入装置54，例如音频接收器/传声器。实例性第一CE装置44还可包括一个或多个网络接口56，所述一个或多个网络接口56用于经由网络22在一个或多个CE装置处理器58的控制下通信。也可包括图形处理器58A。因此，接口56可以是但不限于Wi-Fi收发器，所述Wi-Fi收发器是无线计算机网络接口的实例，包括网状网络接口。应理解，处理器58控制第一CE装置44(包括本文中所述的第一CE装置44的其他元件)实行本发明原理，例如控制显示器50在上面呈现图像和从显示器50接收输入。此外，注意网络接口56可以是例如有线或无线调制解调器或路由器或其他适当接口，例如无线电话收发器或上文所提及的Wi-Fi收发器等。
除前述内容之外，第一CE装置44还可包括其实体地连接(例如，使用有线连接)到另一CE装置的一个或多个输入端口60(例如，HDMI端口或USB端口)；和/或将耳机连接到第一CE装置44以通过所述耳机向用户呈现来自第一CE装置44的音频的耳机端口。第一CE装置44还可包括一个或多个有形计算机可读存储介质62，诸如磁盘式或固态存储器件。此外，在一些实施方案中，第一CE装置44可包括方位或位置接收器，诸如但不限于蜂窝电话和/或GPS接收器和/或测高仪64，所述方位或位置接收器被配置成例如使用三角测量从至少一个卫星和/或单元塔接收地理方位信息，并且将所述信息提供到CE装置处理器58和/或结合CE装置处理器58确定第一CE装置44所安置的海拔。然而，应理解，根据本发明原理可使用除了蜂窝电话和/或GPS接收器和/或测高仪之外的另一适合的方位接收器以例如在例如所有三个维度上确定第一CE装置44的位置。
继续描述第一CE装置44，在一些实施方案中，根据本发明原理，第一CE装置44可包括一个或多个相机66，所述一个或多个相机66可以是例如热成像相机、数字相机(诸如网络摄像机)和/或集成到第一CE装置44中且可由CE装置处理器58控制以收集图片/图像和/或视频的相机。第一CE装置44上还可包括蓝牙收发器68和其他近场通信(NFC)元件70，以用于分别使用蓝牙和/或NFC技术与其他装置进行通信。实例性NFC元件可以是射频识别(RFID)元件。
此外，第一CE装置44可包括将输入提供到CE装置处理器58的一个或多个辅助传感器72(例如运动传感器，诸如加速度计、陀螺仪、记转器或磁性传感器、红外线(IR)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。第一CE装置44可包括其他传感器，例如一个或多个气候传感器74(例如，气压计、湿度传感器、风传感器、光传感器、温度传感器等)和/或将输入提供到CE装置处理器58的一个或多个生物测定传感器76。除前述内容之外，注意在一些实施方案中，第一CE装置44还可包括红外线(IR)传输器和/或IR接收器和/或IR收发器78，诸如IR数据关联(IRDA)装置。可提供电池(未示出)以为第一CE装置44供电。CE装置44可通过上述通信模式和相关组件中的任一者与AVD 12进行通信。
第二CE装置46可包括CE装置44的所示组件中的一些或全部。任一个或两个CE装置可由一个或多个电池供电。
现在参考前述至少一个服务器80，服务器80包括至少一个服务器处理器82、至少一个有形计算机可读存储介质84(诸如，磁盘式或固态存储器件)以及至少一个网络接口86，所述至少一个网络接口86在服务器处理器82的控制下允许经由网络22与图1的其他装置通信，并且实际上可便于服务器与客户端装置之间根据本发明原理进行通信。注意，网络接口86可以是例如有线或无线调制解调器或路由器、Wi-Fi收发器或其他适当接口，例如无线电话收发器。
因此，在一些实施方案中，服务器80可以是因特网服务器或整个服务器“群”，并且可包括并执行“云”功能以使得系统10的装置可在实例性实施方案中经由服务器80访问“云”环境，以用于例如网络游戏应用。或者，服务器80可由在与图1中所示的其他装置相同的房间中或在附近的一个或多个游戏控制台或其他计算机实施。
本文中的方法可被实施为由处理器、经过适合配置的专用集成电路(ASIC)或现场可编程门阵列(FPGA)模块或本领域的技术人员将了解的任何其他方便的方式来执行的软件指令。在采用时，软件指令可包含在非暂时性装置中，诸如CD ROM或快闪驱动器。另一选择为，软件代码指令可体现为暂时性布置，诸如无线电或光学信号或经由在因特网上下载。
现在参考图2，在第一实例中，示出单眼同时定位与地图构建(SLAM)布置200，其中具有感测像素204矩阵的一个且仅一个EDS202安装在平台206(诸如，图1中所示的HMD 46)上，以检测由激活和撤销激活灯的阵列或集群208中的个别灯所产生的事件。灯可以是发光二极管(LED)并且阵列或集群208可安装在真实世界目标210上或者以其他方式与真实世界目标210接合。如图2中所示，额外灯阵列或集群212可类似地与额外目标214相关联。真实世界目标210可以是但不限于HMD 46的佩戴者的手、HMD的佩戴者操控的游戏控制器或其他真实世界目标，包括在例如AR计算机模拟中的其他人。因此，灯阵列或集群的配置可依照其所接合的特定目标而定，例如依照手的每一指关节或人的身体关节处的LED而定。如果需要，则惯性监测单元(IMU)216可与EDS 202相关联以达到本文中别处所论述的目的。IMU 216可包括(仅举例来说)陀螺仪、加速度计、磁力仪中的一者或多者。
通过此布置，EDS的输出信号用于在空间中同时定位所有的LED并且跟踪EDS姿势。在下文进一步论述的静止EDS和可移动LED集群的情形中，LED的相对方位被认为是预先确定的并且将整个集群208作为刚性体来跟踪。
图3图解说明通过使用第一EDS 300和第二EDS 302的组合输出提供立体SLAM的替代实施方案，所述第一EDS 300和第二EDS302可耦合到同一平台304以在需要时检测来自LED 306的关于目标308的事件。在立体SLAM的情形中，不需要进行下文所述的初始化。使用立体视差来三角测量三个维度上的LED方位。立体SLAM的一个益处是由于立体视差用于此目的，因此能够在不存在EDS移动的情况下在三个维度上确定相对LED方位。
图4图解说明含有耦合到平台(诸如HMD 46)的EDS的EDS组合件400。在此种情形中，EDS是可移动的，而LED 404的集群402与非移动目标固定地接合。相比之下，在图5中，EDS 500静止地安装在例如壁或其他表面上，而LED 504的集群502安装在可移动目标506(诸如，显示器508的手持式控制器或远程控制装置)上。注意，除了通过安装在可移动目标506上来可移动之外，集群502可自身可移动地安装在目标506上，例如可旋转地安装。
图6在另一方面图解说明其中EDS 600在真实世界参考系中可移动(例如，通过耦合到HMD 46)且LED 604的集群602同样地可通过耦合到可移动目标606来可移动的实施方案。如果在EDS参考系中正在发生跟踪，不必要求EDS是固定的。
在任何情形中，跟踪本身是下文进一步公开的一种应用，其描述在耗费非常少甚至不耗费任何计算资源(不进行图像处理)来在图像平面上确定哪一个LED是哪一个的情况下以极高的速率区分每一个别LED的技术。如本文中所述，跟踪可能如SLAM一样(具有EDS的HMD 46是可移动的，LED是静止的但位置是未知的)或如控制器一样(在EDS参考系中跟踪LED集群)。可能存在这两者的混合，诸如相对于头戴机的HMD姿势跟踪加上控制器位置跟踪、或在预先绘图(LED方位是已知的)环境中的HMD姿势跟踪。所有的这些跟踪实例有一个共同之处。必须识别环境中的特征点并可靠地获悉哪一个特征点是哪一个以实现跟踪。本发明技术省略了相机和图像处理，而是使用迅速脉冲式LED来获取特征点，从而使用EDS来检测这些脉冲。应注意，EDS不具有帧的形式概念，其报告事件方位和事件发生的时间，但总体来说来自一轮LED供能或激活的事件报告可被视为“帧”。
更具体来说，EDS连续地监测每一个别像素的光强度，并且如果随时间而变的此强度改变速率高于阈值，则EDS生成与所述特定像素X、Y坐标相关的事件。可在一些时间窗内收集事件并据此生成伪“帧”。
图7图解说明。如时间交错脉冲700中指示，一次仅接通或关断一个LED 702。这些脉冲的时序和每次哪一个LED发射是提前确立的且因此是已知的。EDS 703从每一脉冲700的前缘704检测到正事件，即在激活LED时；而EDS从每一脉冲700的后缘706检测到负事件，即在撤销激活LED时。如所示，脉冲700的前缘在时间上晚于仅前面的脉冲的后缘。EDS阈值被设定得足够高以仅检测这些LED的瞬时强度改变。由于对脉冲700进行了时间分离，因此分辨哪一事件对应于哪一LED得以简化。由于EDS速度极高，因此可快速地跟踪大数目个LED。
针对由EDS检测到的每一事件，获得事件检测时间和与所述事件对应的在EDS像素阵列中的x与y坐标。由于每一LED的接通/关断时间是已知的，因此确定哪一LED产生了每一特定事件。
图8图解说明实例性逻辑。在方框800处开始，将EDS的事件检测阈值确立得足够高以忽视相对小的事件(即相对小的光强度改变)，同时足以检测由激活和撤销激活LED所产生的相对大的光强度改变。
移动到方框802，针对任何特定LEDN，例如首先针对LED1，检测至少一个且通常两个事件(+和-)并且EDS据此生成事件检测信号。在方框804处，针对每一事件，记录由EDS像素阵列感测到的事件检测时间和事件的x-y位置。
状态806和808仅指示此过程重复直至已检测到事件的整个“帧”为止，例如直至已检测到来自所有已知LED的一轮事件为止。如果否，已在决策方块806处检测了所有的LED，方框808指示通过设定N＝N+1来监测下一LED(在概念上使用流程图格式)且接着返回到方框802。一旦已检测并记录足够的事件，则逻辑可移动到方框810以输出事件的伪“帧”，可在方框812处将所述伪“帧”发送到处理器以基于所述事件来确定目标(诸如HMD 46和其他真实世界目标)的SLAM姿势/跟踪，这与基于相机图像执行SLAM姿势/跟踪类似。换句话说，在所有LEDS闪烁一次的时间间隔期间积累事件。在跟踪时，使用由EDS检测到的事件。
现在参考图9和图10，即单眼SLAM初始三角测量和姿势估计的情形。在方框900处，使用来自不同LED的在时间上接近的几个事件来生成几个连续的如视频一样的“帧”(例如，两个)。移动到图9中的方框902，基于“帧”之间的LED对应性来计算基本矩阵1000(图10)。在此种情形中，由于已知哪一个LED是哪一个，因此不需要异常值剔除。
继续进行到图9中的方框904，将基本矩阵1000转换成本质矩阵。将所述本质矩阵分解成四个运动假设。此可使用本质矩阵1002来完成，本质矩阵1002被定义为：
本质矩阵E＝KTFK，其中K是固有参数矩阵并且F是基本矩阵。计算出所述本质矩阵的奇异值分解是E：U，V＝svd(E)。由此，导出(图9中的方框904)两个平移假设1004(图10中示出)以及两个旋转假设1006，所述两个平移假设1004由：T1，2＝+/-U0，2，2(U的最后一列)给出，所述两个旋转假设1006由R1＝U*W*VT，R2＝U*WT*VT给出，其中
Figure BDA0003730091720000161
使用四个假设的每一组合1008来三角测量在三个维度上的LED方位并将所述LED方位投射回到图像平面上。在四个假设1008中，将仅有一个假设(在图10中的1010处指示)没有异常值。此假设在图9中的方框906处选择并用作真假设，在方框908处指示两个帧之间的初始相对姿势。在此初始化之后，在方框910处，当新的LED方位出现在至少两个所生成的“帧”上时，SLAM可常规地通过三角测量所述新的LED方位来起作用。通过使用具有已知姿势的LED的投射来确定“帧”姿势。可使用捆绑优化来改善LED 3d方位和EDS姿势。
图11图解说明将IMU与EDS结合使用来改进跟踪，这类似于使用IMU来基于相机图像改进SLAM跟踪。在帧之间对IMU读数求积分并使用所述IMU读数来改善真实世界实体目标的总体比例和当前速度。针对单眼SLAM和立体SLAM，使用IMU来确定相对于垂线的真定向。在连续帧之间对加速度和角速度求积分。角速度组成部分表示对定向改变的估计。图11中的符号1100表示IMU信号的组成部分。加速度的第一组成部分表示速度改变加自由落体重力。加速度计的第二组成部分表示方位改变加自由落体重力组成部分。这些(IMU组成部分)是改善移动的额外约束。
类似设置可用于跟踪具有固定EDS的可移动LED。LED集群可用于此目的。鉴于EDS图像平面上的二维LED投射，可在三个维度上确定集群姿势。在使用之前，需要校准LED集群以确定准确的LED相对方位。
同样地，可另外使用IMU以在有遮挡的情形中且针对同时可观测到不到三个LED的情形来改进跟踪。针对此特定跟踪类型，可使用如同卡尔曼滤波器一样的一步优化方法。可使用Levenberg-Marquardt来实现SLAM。
存在3d姿势复原方法，所述方法使用二维点到三维点的对应来实现刚性体跟踪。通常，从2d点到3d点的对应所获得的解决方案用于起始基于卡尔曼滤波器的跟踪。卡尔曼滤波器跟踪需要初始化，原因在于卡尔曼滤波器是一步求精梯度方法且在初始近似值太远的情况下无法收敛为真正解决方案。一旦可获取任何观测值，立即通过卡尔曼滤波器馈送。卡尔曼滤波器进行两个步骤：预测步骤和校正步骤。预测步骤对系统模型进行演进直至观测时间，而校正步骤调整先前步骤的结果(系统状态)以使得观测的概率更大。鉴于大数目个观测值持续地到来，此会连续地改善系统状态并且使其接近真状态。
可一次对所有应用非线性优化。输入是地标观测值和惯性观测值，且输出是EDS连续姿势和地标三维方位。
将了解，虽然已参考一些实例性实施方案描述了本发明原理，但这些不旨在具限制性，并且各种替代性布置可用于实施本文中所主张的主题。

Claims (20)

1.一种系统，所述系统包括：
至少一个发光二极管(LED)组合件，所述至少一个发光二极管组合件被配置成使得所述组合件中的个别LED一次一个LED地发射光；
至少一个事件驱动型传感器(EDS)，所述至少一个事件驱动型传感器被配置成响应于LED发射而输出表示照明强度的改变的信号；以及
至少一个处理器，所述至少一个处理器被配置成依据指令至少部分地基于来自所述EDS的所述信号来生成目标方位和/或定向信息。
2.如权利要求1所述的系统，其中所述EDS是可移动的，并且所述LED组合件是静止的。
3.如权利要求1所述的系统，其中所述EDS是不可移动的，并且所述LED组合件是可移动的。
4.如权利要求1所述的系统，其中所述EDS和所述LED组合件两者皆可移动。
5.如权利要求1所述的系统，其中所述EDS是第一EDS，并且所述系统包括第二EDS以便于所述处理器确定立体同时定位与地图构建(SLAM)。
6.如权利要求1所述的系统，其中所述EDS是第一EDS，并且所述处理器仅从所述第一EDS而不从其他EDS接收信息以确定单眼同时定位与地图构建(SLAM)。
7.如权利要求6所述的系统，其中所述处理器被配置成依据指令以：
至少部分地通过以下操作来确定初始三角测量和姿势估计：
从所述EDS至少接收第一帧和第二帧，所述第一帧和所述第二帧是使用来自不同LED的多个事件生成；
从所述第一帧和所述第二帧确定基本矩阵；
从所述基本矩阵计算本质矩阵；
将所述本质矩阵分解成四个运动假设；
基于所述四个运动假设中的第一运动假设不具有异常值来选择所述第一运动假设；以及
使用所述第一运动假设，通过使用所述第一运动假设作为参考来三角测量新的LED方位而执行SLAM。
8.一种方法，所述方法包括：
一次一个地为多个灯供能；
使用事件检测器传感器(EDS)检测由为所述灯供能所产生的事件；以及
使用所述EDS的输出在增强现实(AR)环境中生成同时定位与地图构建(SLAM)信息。
9.如权利要求8所述的方法，所述方法包括可移动地安装所述灯。
10.如权利要求8所述的方法，所述方法包括可移动地安装所述EDS。
11.如权利要求8所述的方法，所述方法包括可移动地安装所述EDS和所述灯。
12.如权利要求8所述的方法，其中所述灯包括发光二极管(LED)。
13.如权利要求8所述的方法，其中所述EDS是第一EDS并且所述方法包括使用第二EDS来检测由用于确定立体SLAM的所述LED生成的事件。
14.如权利要求8所述的方法，其中所述EDS是第一EDS并且所述方法包括使用仅来自所述第一EDS而不来自其他EDS的信息来确定单眼SLAM。
15.如权利要求14所述的方法，所述方法包括：
至少部分地通过以下操作确定初始三角测量和姿势估计：
从所述EDS至少接收第一帧和第二帧，所述第一帧和所述第二帧是使用来自不同LED的多个事件生成；
从所述第一帧和所述第二帧确定基本矩阵；
从所述基本矩阵计算本质矩阵；
将所述本质矩阵分解成四个运动假设；
基于所述四个运动假设中的第一运动假设不具有异常值来选择所述第一运动假设；以及
使用所述第一运动假设，通过使用所述第一运动假设作为参考来三角测量新的LED方位而执行SLAM。
16.一种系统，所述系统包括：
至少一个头戴式显示器(HMD)，所述至少一个头戴式显示器被配置成呈现虚拟现实(VR)图像，同时准许所述HMD的佩戴者通过所述HMD观看至少第一真实世界目标；
可个别供能灯的至少一个集群；以及
至少一个事件驱动型传感器(EDS)，所述至少一个事件驱动型传感器被配置成生成表示由所述灯的激活所造成的事件的信号，以确定所述HMD的至少一个姿势和/或所述第一真实世界目标的位置。
17.如权利要求16所述的系统，所述系统包括至少一个处理器，所述至少一个处理器耦合到所述EDS并且被配置成依据指令至少部分地基于来自所述EDS的所述信号来确定所述HMD的至少一个姿势。
18.如权利要求16所述的系统，所述系统包括至少一个处理器，所述至少一个处理器耦合到所述EDS并且被配置成依据指令至少部分地基于来自所述EDS的所述信号来确定所述第一真实世界目标的位置。
19.如权利要求16所述的系统，所述系统包括至少一个处理器，所述至少一个处理器耦合到所述EDS并且被配置成依据指令至少部分地通过以下操作来确定初始三角测量和姿势估计：
从所述EDS至少接收第一帧和第二帧，所述第一帧和所述第二帧是使用来自不同灯的多个事件生成；
从所述第一帧和所述第二帧确定基本矩阵；
从所述基本矩阵计算本质矩阵；
将所述本质矩阵分解成四个运动假设；
基于所述四个运动假设中的第一运动假设不具有异常值来选择所述第一运动假设；以及
使用所述第一运动假设，通过使用所述第一运动假设作为参考来三角测量新的灯方位而执行同时定位与地图构建(SLAM)。
20.如权利要求16所述的系统，其中所述灯包括发光二极管。
CN202180008248.0A 2020-01-13 2021-01-08 发光二极管(led)阵列的事件驱动型传感器(eds)跟踪 Pending CN114930116A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/741,051 2020-01-13
US16/741,051 US11340696B2 (en) 2020-01-13 2020-01-13 Event driven sensor (EDS) tracking of light emitting diode (LED) array
PCT/US2021/012760 WO2021146117A1 (en) 2020-01-13 2021-01-08 Event driven sensor (eds) tracking of light emitting diode (led) array

Publications (1)

Publication Number Publication Date
CN114930116A true CN114930116A (zh) 2022-08-19

Family

ID=76760500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180008248.0A Pending CN114930116A (zh) 2020-01-13 2021-01-08 发光二极管(led)阵列的事件驱动型传感器(eds)跟踪

Country Status (5)

Country Link
US (3) US11340696B2 (zh)
EP (1) EP4090910A4 (zh)
JP (1) JP7499860B2 (zh)
CN (1) CN114930116A (zh)
WO (1) WO2021146117A1 (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140126769A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Fast initialization for monocular visual slam
US20140320593A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Monocular visual slam with general and panorama camera movements
CN105869136A (zh) * 2015-01-22 2016-08-17 北京雷动云合智能技术有限公司 一种基于多摄像机的协作式视觉slam方法
US20170147088A1 (en) * 2015-11-25 2017-05-25 Honeywell International Inc. High speed, high precision six degree-of-freedom optical tracker system and method
WO2017117675A1 (en) * 2016-01-08 2017-07-13 Sulon Technologies Inc. Head mounted device for augmented reality
US20170205903A1 (en) * 2015-03-05 2017-07-20 Magic Leap, Inc. Systems and methods for augmented reality
US20170292841A1 (en) * 2014-10-17 2017-10-12 Sony Corporation Device, method, and program
US20180275242A1 (en) * 2017-03-24 2018-09-27 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
CN109477966A (zh) * 2016-02-18 2019-03-15 苹果公司 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
CN110352364A (zh) * 2017-03-01 2019-10-18 微软技术许可有限责任公司 用于头部跟踪、姿势识别和空间映射的多光谱照射和传感器模块
US20190355138A1 (en) * 2018-05-21 2019-11-21 Facebook Technologies, Llc Dynamic structured light for depth sensing systems
US20190356849A1 (en) * 2018-05-18 2019-11-21 Samsung Electronics Co., Ltd. Cmos-assisted inside-out dynamic vision sensor tracking for low power mobile platforms

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1627358A4 (en) 2003-03-11 2011-08-24 Sarnoff Corp METHOD AND DEVICE FOR DETERMINING CAMERAPOSIS FROM POINT CORRESPONDENCES
JP2007071782A (ja) * 2005-09-08 2007-03-22 Canon Inc 位置姿勢計測システム及びその計測方法、並びに制御プログラム
JP2008026236A (ja) * 2006-07-24 2008-02-07 Olympus Corp 位置姿勢測定装置および位置姿勢測定方法
JP2008070343A (ja) 2006-09-15 2008-03-27 Fuji Xerox Co Ltd 位置計測システム
CA2687913A1 (en) * 2009-03-10 2010-09-10 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Estimation of image relations from point correspondences between images
JP5750238B2 (ja) 2010-05-25 2015-07-15 株式会社タイトー 位置指示装置、ゲーム装置
JP2014086149A (ja) 2012-10-19 2014-05-12 Toshiba Corp 同定装置、方法及びプログラム
US10254118B2 (en) * 2013-02-21 2019-04-09 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
WO2016050290A1 (en) * 2014-10-01 2016-04-07 Metaio Gmbh Method and system for determining at least one property related to at least part of a real environment
US9947111B2 (en) * 2015-10-28 2018-04-17 Sony Corporation Method of multiple camera positioning utilizing camera ordering
CN106127739B (zh) * 2016-06-16 2021-04-27 华东交通大学 一种结合单目视觉的rgb-d slam方法
US20200158517A1 (en) * 2017-01-19 2020-05-21 Mindmaze Holding Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping
US10740613B1 (en) * 2017-04-20 2020-08-11 Digimarc Corporation Hybrid feature point/watermark-based augmented reality
US20190073825A1 (en) * 2017-09-01 2019-03-07 Vangogh Imaging, Inc. Enhancing depth sensor-based 3d geometry reconstruction with photogrammetry
US10545506B2 (en) * 2018-02-14 2020-01-28 Ford Global Technologies, Llc Methods and apparatus to perform visual odometry using a vehicle camera system
US11164325B2 (en) * 2020-02-06 2021-11-02 Tianzhi Yang Generating and evaluating mappings between spatial point sets

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140126769A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Fast initialization for monocular visual slam
US20140320593A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Monocular visual slam with general and panorama camera movements
US20170292841A1 (en) * 2014-10-17 2017-10-12 Sony Corporation Device, method, and program
CN105869136A (zh) * 2015-01-22 2016-08-17 北京雷动云合智能技术有限公司 一种基于多摄像机的协作式视觉slam方法
US20170205903A1 (en) * 2015-03-05 2017-07-20 Magic Leap, Inc. Systems and methods for augmented reality
US20170147088A1 (en) * 2015-11-25 2017-05-25 Honeywell International Inc. High speed, high precision six degree-of-freedom optical tracker system and method
WO2017117675A1 (en) * 2016-01-08 2017-07-13 Sulon Technologies Inc. Head mounted device for augmented reality
CN109477966A (zh) * 2016-02-18 2019-03-15 苹果公司 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
CN110352364A (zh) * 2017-03-01 2019-10-18 微软技术许可有限责任公司 用于头部跟踪、姿势识别和空间映射的多光谱照射和传感器模块
US20180275242A1 (en) * 2017-03-24 2018-09-27 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
US20190356849A1 (en) * 2018-05-18 2019-11-21 Samsung Electronics Co., Ltd. Cmos-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
US20190355138A1 (en) * 2018-05-21 2019-11-21 Facebook Technologies, Llc Dynamic structured light for depth sensing systems

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREA CENSI等: ""Low-latency localization by Active LED Markers tracking using a Dynamic Vision Sensor"", 《2013 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》, 7 November 2013 (2013-11-07), pages 891 - 898, XP055920189, DOI: 10.1109/IROS.2013.6696456 *
ANDREW J. DAVISON等: ""MonoSLAM: Real-Time Single Camera SLAM"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 29, no. 6, 30 June 2007 (2007-06-30), pages 1052 - 1067, XP011179664, DOI: 10.1109/TPAMI.2007.1049 *

Also Published As

Publication number Publication date
US20210216136A1 (en) 2021-07-15
US11340696B2 (en) 2022-05-24
WO2021146117A1 (en) 2021-07-22
EP4090910A4 (en) 2024-03-20
EP4090910A1 (en) 2022-11-23
US20220057859A1 (en) 2022-02-24
US20240160279A1 (en) 2024-05-16
US11797082B2 (en) 2023-10-24
JP2023509454A (ja) 2023-03-08
JP7499860B2 (ja) 2024-06-14

Similar Documents

Publication Publication Date Title
CN111133473B (zh) 相机姿态确定和跟踪
US10600252B2 (en) Coarse relocalization using signal fingerprints
US10740924B2 (en) Tracking pose of handheld object
US10529074B2 (en) Camera pose and plane estimation using active markers and a dynamic vision sensor
US10007349B2 (en) Multiple sensor gesture recognition
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
US9628843B2 (en) Methods for controlling electronic devices using gestures
US10444845B2 (en) Display of separate computer vision based pose and inertial sensor based pose
CN112334969B (zh) 多点slam捕获
AU2015275198B2 (en) Methods and systems for calibrating sensors using recognized objects
US20220139084A1 (en) Tracking using sensors
US20190325600A1 (en) Determining a pose of a handheld object
US11797082B2 (en) Event driven sensor (EDS) tracking of light emitting diode (LED) array
KR20150049535A (ko) 전자장치 및 그 이용방법
US11448884B2 (en) Image based finger tracking plus controller tracking
US20230035360A1 (en) Mapping networked devices
US11157079B2 (en) Multi-player calibration of various stand-alone capture systems
US20240073317A1 (en) Presenting Content Based on a State Change
US10698109B2 (en) Using direction of arrival with unique audio signature for object location detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination