CN108701363B - 使用多相机识别和追踪对象的方法、设备和系统 - Google Patents

使用多相机识别和追踪对象的方法、设备和系统 Download PDF

Info

Publication number
CN108701363B
CN108701363B CN201780006174.0A CN201780006174A CN108701363B CN 108701363 B CN108701363 B CN 108701363B CN 201780006174 A CN201780006174 A CN 201780006174A CN 108701363 B CN108701363 B CN 108701363B
Authority
CN
China
Prior art keywords
image
information
light
original image
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780006174.0A
Other languages
English (en)
Other versions
CN108701363A (zh
Inventor
戴景文
胡永涛
贺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Publication of CN108701363A publication Critical patent/CN108701363A/zh
Application granted granted Critical
Publication of CN108701363B publication Critical patent/CN108701363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明包括一种识别和追踪对象的设备，包括：用于获取对象的第一原始图像的第一图像获取装置，该对象包括发射第一波长的光的第一光源和发射第二波长的光的第二光源；用于获取对象的第二原始图像的第二图像获取装置；接收第一原始图像并且从第一原始图像提取与从对象发射的第一波长的光相关联的第一组信息的第一处理器；用于接收第二原始图像并且从第二原始图像提取与从对象发射的第二波长的光相关联的第二组信息的第二处理器；用于处理第一组信息和第二组信息以获得第三组信息的后处理器。

Description

使用多相机识别和追踪对象的方法、设备和系统
技术领域
本公开涉及识别和追踪对象的领域。更具体而言，且非限制性地，所公开的实施例涉及用于使用多个相机来识别和追踪发光物体的方法、设备和系统，所述多个相机可响应于信号源，例如光源的不同波长范围。
背景技术
虚拟现实(VR)系统和/或应用通常通过可佩戴式耳机为用户创建虚拟环境，并人为地将用户浸入或模拟用户在虚拟环境中的存在。为了进一步允许用户与虚拟环境交互，正在开发技术以允许用户与虚拟环境中的对象进行交互。希望检测用户的位置信息并将其输入到VR系统和/或应用程序中。例如，位置追踪方法可以用于通过追踪附属用户身体的一部分的可追踪设备(利用诸如光源的信号源等)来追踪用户的位置和/或移动。例如，可追踪设备可以是握持在用户手中的控制器，其具有可被信号检测器检测到的信号源。在这种情况下，可以检测、识别和/或追踪一个或多个控制器。
可追踪设备包括信号源。追踪设备可以检测并获取由信号源发射的信号，并且可以相应地基于信号源的位置追踪可追踪设备的移动。信号源的种类繁多，如可见光源，红外光源，紫外光源，毫米波源等。每种光源都有自己的特点，既有优点也有弱点。例如，可追踪设备可能暴露于环境光线满足的环境中。如果选择可见光源作为单一光源，则可能会受到环境光线(如日光，荧光灯或LED灯)的混淆，这可能会影响设备的准确检测和/或追踪。此外，如果环境中存在环境光并且环境光与可追踪设备发出的光具有相同的颜色，则相机可能难以区分可追踪设备与背景环境。因此，可追踪设备的检测和位置可能变得不准确。如果选择红外光源，当在同一场景中应用多个设备时，则很难识别每个设备。一些解决方案使用多个以预定模式闪烁的红外LED组，因此每个组都具有能够被识别的特定模式。然而，形成闪烁模式需要额外的时间并增加总处理时间，这会产生时间延迟并损害用户体验。
发明内容
本公开的实施例包括允许对一个或多个对象进行位置追踪和识别的追踪设备、系统和方法。有利地，本公开的示例性系统经由两个图像获取装置接收表示可追踪对象的两个不同视图的第一图像和第二图像，检测第一图像中的对象的第一像素位置，基于第一图像中的对象的第一像素位置计算第二图像中的候选像素区，在第二图像中的候选像素区中搜索同一对象，然后确定第二图像中的对象的第二像素位置。在一些实施例中，两个图像可以与不同波长的光信号相关联，并且这两个图像获取装置根据光信号的不同波长具有不同的波长响应。利用这些配置，由于与两个不同波长组合的环境光的存在的可能性较小，因此从第一图像和第二图像检测对象以及确定像素位置可以较不易受到背景环境中环境光信号的干扰。因此，从图像中识别和追踪对象可以更加准确和稳健。
本公开还包括一种识别和追踪对象的设备，包括：第一图像获取装置，用于获取可追踪对象的第一原始图像，其中可追踪对象包括发射第一波长的光的第一光源和发射第二波长的光的第二光源；第二图像获取装置，获取所述可追踪对象的第二原始图像；第一处理器，与所述第一图像获取装置耦合，用于接收所述第一原始图像并从所述第一原始图像提取第一组信息，其中所述第一原始图像与从所述可追踪对象发射的所述第一波长的光相关联；第二处理器，与所述第二图像获取装置耦合，以接收所述第二原始图像并从所述第二原始图像提取第二组信息，其中所述第二原始图像与从所述可追踪对象发射的所述第二波长的光相关联；后处理器，与第一处理器和第二处理器耦合，用于处理第一组信息和第二组信息以获得第三组信息。
本公开还包括一种识别和追踪对象的方法，包括：将至少两个不同波长的光元件组合在一起以在可追踪对象内形成光源，其中所述第一光源发射第一波长的光，所述第二光源发射第二波长的光；将光源放置在VR系统感兴趣的现实世界中的地方；使用至少两个图像传感器和两个带通滤光片来构建图像获取系统，其中第一带通滤光片允许第一波长的光通过，并且第二带通滤光片允许第二波长的光通过；通过图像获取系统获取一对原始图像，通过所述第一带通滤光片获得第一原始图像，并通过所述第二带通滤光片获得第二原始图像获取；处理第一原始图像以获得第一组信息；处理第二原始图像以获得第二组信息；以及处理第一组信息和第二组信息以获得可追踪对象的第三组信息。
以下和附图阐述了本文公开的主题的一个或多个变型的细节。根据下面的详细描述和附图以及权利要求，本文公开的主题的其它特征和优点将显而易见。
鉴于本文的公开，进一步的修改和替代实施例对于本领域的普通技术人员将是显而易见的。例如，为了操作的清楚起见，系统和方法可以包括从图和描述中省略的附加组件或步骤。因此，下面的详细描述仅被解释为说明性的，并且用于教导本领域技术人员实施本公开的一般方式。应该理解的是，这里公开的各种实施例将被视为是示例性的。这些元素和结构，以及这些元素和结构的排列可以代替本文所示和所公开的那些元素和结构，对象和过程可以颠倒，并且可以独立地利用本教导的某些特征，这些对于本领域技术人员而言在得益于本文公开内容后将是显而易见的。
附图的简要说明
结合在本说明书中并构成其一部分的附图示出了本公开的示例性实施例，并且与说明书一起用于解释本公开的原理。
图1示出了根据本公开的实施例的用于识别和追踪对象的示例性系统的示意图；
图2示出了根据本公开的一些实施例的光源的示例性结构；
图3示出了根据本公开的一些实施例的成像设备的示例性结构；
图4A和4B示出了对极几何的原理；
图5示出了根据本公开的一些实施例的另一光源的示例性结构；
图6图示了根据本公开的一些实施例的用于确定VR系统中的对象的身份和位置的方法的流程图。
优选实施例的详细描述
说明示例性实施例的描述和附图不应被视为限制。在不脱离本说明书和权利要求书的范围的情况下可以做出各种机械，结构，电气和操作变化，包括等同物。在一些情况下，众所周知的结构和技术未被详细示出或描述，以免混淆本公开。两个或更多图中的类似参考数字表示相同或相似的元件。此外，参考一个实施例详细公开的元件及其相关特征可以在任何实际情况下被包括在未具体示出或描述的其他实施例中。例如，如果参考一个实施例详细描述了元件并且未参考第二实施例描述该元件，然而该元件可以被包括在第二实施例中。
所公开的实施例涉及用于在虚拟现实(VR)系统的应用中识别和/或自动追踪对象(例如，标记或控制器)的系统和方法。本公开的实施例可以在VR系统中实现，提供用于用户与虚拟现实环境中的对象和/或人交互的手段。例如，用户持有交互设备，其可以在虚拟现实环境中显示为控制台，并且用户可以操作控制台来移动和/或抓取VR世界中的对象，和/或将其指向一个在VR世界中的人并与他/她交谈。对于这些应用，VR系统需要根据其在真实环境中的位置将交互设备从现实世界投影到VR世界。因此，VR系统需要精确地识别和追踪交互设备，具有抗干扰能力和低延迟。
现在将详细参考本公开的实施例和方面，其示例在附图中示出。在可能的情况下，在整个附图中将使用相同的附图标记来指代相同或相似的部分。鉴于本文的公开，本领域的普通技术人员将认识到，可以选择性地组合或替代地使用本公开中描述的一个或多个实施例的特征。
图1示了根据本公开的实施例的用于识别和追踪对象的示例性VR系统100的示意图。如图1所示，系统100可以包括一个或多个光源101，成像设备103，第一处理器105，第二处理器107和后处理器109。成像设备103可以包括相机1031和相机1033，形成可以连续获取一组帧的立体相机。例如，在一组帧中的一个帧中，一对图像包括分别由相机1031和1033获取的图像211和212，并且可以同时获取图像211和212。
为了达到VR系统的上述要求，可能有必要提供一个独特的信号源来产生在我们日常生活中很少见到的光信号。图2图示了根据本公开的一些实施例的光源101的示例性结构。
光源101可以包括至少两个光元件。该至少两个光元件可以产生具有不同波长的光。例如，在系统100的操作期间，两个/所有的光元件都被打开并且发光。光元件可以包括LED或白炽灯泡。如图所示。如图2所示，光源101包括两个光元件201和203。第一光元件201可以产生第一波长的光，并且第二光元件203可以产生第二波长的光。第一波长的光可以是不可见光，第二波长的光可以是可见光。在一些实施例中，第一光元件201是红外光源，因此第一波长在760纳米到1毫米的范围内，第二光元件203是可见光源，因此第二波长在390纳米到760纳米的范围内。在一个实施例中，光元件(例如，光元件201和203)被预定形状的扩散罩覆盖。扩散罩可以被配置为例如在所有方向上均匀地散射由光元件产生的光。利用这样的构造，包括光元件201和203的光源101可以看起来具有均匀的光强度和特定的形状。
在一些实施例中，可以在VR系统中识别和追踪光源101。基于真实世界中的光源101的身份和位置，可以在VR环境中生成用户的表示。在一些实施例中，光源101可以连接到现实世界中的任何地方。
在一些实施例中，光源101同时生成不可见光(例如，红外光)和可见光(例如，彩色可见光)，其中可见光用于区分光源101的身份，并且不可见光和可见光用于确定光源101的位置。为此目的，需要提供成像设备103以获取不可见光和可见光。图3图示了根据本公开的一些实施例的成像设备103的示例性结构。
如图3所示，根据本公开的一些实施例，成像设备103被配置成获取由光源101(图3中未示出)产生的光。例如，两个相机1031和1033可以分别设置在成像设备103的两端。相机1031和1033可分别包括配置为将获取的光信号转换成电信号的传感器阵列。例如，传感器阵列可以包括电荷耦合器件(CCD)传感器，互补金属氧化物半导体(CMOS)传感器等。相机1031和相机1033中包括的传感器阵列可以包括光敏图像传感器。
相机1031可以被配置成获取不可见光(例如，红外光)。例如，相机1031可以仅获取760纳米至1毫米的波长范围的光。并且，相机1033可以被配置为获取可见光(例如，RGB可见光)。
在一些其他实施例中，相机1031和1033可以设置有滤光片以仅获取特定的光。如图3所示，成像设备103可以包括相机1031和1033，并且每个相机分别具有安装在相机的镜头前方的带通滤光片。例如，在相机1031的镜头前方安装滤光片301，允许波长范围从760纳米到1毫米的光(例如，红外光)通过。并且在相机1033的镜头前安装有滤光片303，从而允许波长范围从390纳米到760纳米的光(例如可见光)通过。在这种情况下，即使当光源101包括用于产生红外光和可见光的两个光元件时，相机1031也仅接收从光源101产生的红外光，并且相机1033仅接收从光源101产生的可见光。
在一些实施例中，相机1031和1033的光敏图像传感器可能对所有种类的光或某些特定光(例如不可见光或可见光)敏感。例如，相机1031可以包括不可见光光敏图像传感器，相机1033可以包括可见光光敏图像传感器，使得即使没有滤光片，相机1031和1033也可以分别获取特定的光。
应该理解，特定的滤光片或传感器仅仅是用于相机的示例性组件，以仅获取特定的光，也可以采用其他组件。
当相机1031和1033暴露在具有光源101的环境中时，可以分别生成图像211和212。图像211和212中的每一个可以包括对应于光源的一组像素。分别地，图像211被发送到第一处理器105，并且图像212被发送到第二处理器107用于进一步处理。
在一些实施例中，在第一处理器105中，处理图像211并且从图像211中提取第一组信息。例如，图像211可以被过滤并二值化以提取第一组信息。在一些实施例中，第一组信息
包含图像211的二值化图像。如上所述，相机1031仅可以获取波长范围从760纳米到1毫米的光。因此，在图像211中，仅红外光成像。
通常，第一光元件201的红外光强度远大于周围红外光的强度。因此，可以根据第一光元件201的红外光强度来确定阈值，并且基于该阈值来过滤环境红外光。阈值可以与图像211中的像素的像素值进行比较。如果像素的像素值大于阈值，则像素值可以被更新为“1”；否则，可以将像素值更新为“0”。因此，可以过滤从环境红外光产生的干扰，并且图像211可以被二值化。其他方法也可以应用于预处理图像211以进行过滤和二值化。
从图像211的预处理图像(例如，二值化图像)，可以提取更多信息以识别和追踪光源101。
在一些实施例中，可以提供多个光源101，并且因此对应于光源101的多组像素可以被包括在图像211和对应的预处理图像中。第一处理器105可以遍历预处理图像中的所有像素，并且确定与多组像素相关联的一些连通域，其对应于光源101的光元件201。根据确定的连通域，可以在图像211中确定光元件201的位置。预处理图像中的连通域对应于原始图像(例如，图像211)中的候选像素区。
在确定光源的连通域之后，可以由第一处理器105计算每个连通域的中心。在一个实施例中，基于预处理图像(例如，二值化图像)，可以确定连通域的形状中心。在另一个实施例中，基于预处理图像中连通域的像素坐标和原始图像211中与连通域对应区域的像素值，可以确定连通域的加权平均中心。可以采用其他方法来计算连通域的中心。
在一些实施例中，第一组信息还可以包含在图像212中对应于光源101的候选区域。如图3所示，RGB可见光可以通过滤光片303并被相机1033获取以生成图像212。因为光源101的光元件201生成可见光信号并且周围环境也可以提供无所不在的可见光，所以很难确定图像212中的光。因此，可以利用从红外图像211提取的信息来帮助系统确定图像212的哪个部分对应于光源101。
光源101在图像211和212中的位置可以根据对极几何关联，对极几何定义了对象(例如，光源101)的两个视图之间的内在投影几何。现在参考图4A和图4B，图4A和4B说明对极几何的原理。在图4A中，点X指示真实世界中的光源101，点C指示相机1031的中心，点C'指示相机1033的中心。点X分别在图像211中的点x处成像，并且在图像212中的点x'处成像。如图4A所示，点x和x'，点X以及相机中心C和C'是共面的，由这些点定义的平面称为对极平面。如图4B所示，对极平面与图像212的图像平面的交线l'是点x的极线，并且图像212中的X的图像必须位于线l'上。如图4A所示，图像212中的点x'对应于图像211中的点x，点x'必须位于极线l'上。因此，图像211中的点x可以被映射到极线l'。也就是说，一幅图像中的一个点可能被映射到另一幅图像中的相应极线。这种映射可能是一个奇异的相关性，可以由一个基本矩阵[F]表示。
对于沿着线CX的每个点，可以基于下面的示例性表达式来确定图像212中沿着图像线l'的成像点的位置：
l′＝[F][x] (表达式1)
这里，[F]是3×3矩阵，[x]是表示线CX中点的物理位置的向量，并且I'表示图像212上其成像点的位置。基本矩阵[F]可以表示将沿着线CX的点的位置转换为沿着图像线l'的对应图像位置的投影几何形状。
[F]的矩阵值可取决于例如相机1031和1033的内部参数(例如，焦距，折射率，屈光度等)及其相对位置。在一些实施例中，在照相机被用于获取光源101的图像之前，可以在校准过程中确定[F]的矩阵值。例如，可以应用相机1031和1033以获取标记(例如，光源101)的第一图像和第二图像，并且基础矩阵可以基于第一图像和第二图像中的标记的像素位置来确定。
在一些实施例中，[F]的矩阵值还可以在相机开始获取成对的光源101的第一图像和第二图像之后在实时校准过程(OTFC)中被确定。然后可基于光源101的形状、尺寸、颜色等从一对第一图像和第二图像中识别对应于光源101的候选像素区域。该系统然后可以基于该对第一和第二图像中的候选像素区域来确定基础矩阵的候选值，然后基于其他对第一和第二图像中的其他识别的候选像素区域来验证(或调整)基本矩阵。
当已经找出与图像211中的光源101的成像相关联的候选像素区域时，可以根据该像素区域、[F]的值和表达式1计算图像212中与光源101对应的一组极线。也就是说，光源101的成像必须位于由该组极线形成的候选区域中。因此，它只需要搜索所述候选区域中的光源101的成像。
在一个实施例中，在获得图像212的候选区域之后，第二处理器107可以使用候选区域的信息来对图像212进行操作。在一些实施例中，第二处理器107从图像212中提取第二组信息。在一个实施例中，第二组信息包含图像212的去马赛克图像，去马赛克的方法是基于第二带通滤光片阵列的模式。在一些实施例中，相机1033的滤光片阵列可以是特定模式的彩色滤镜阵列，可以是红-绿-蓝(RGB)，色调-饱和度-亮度(HSL)，YCbCr，YUV，LAB等。根据滤光片阵列的模式，图像212可以从灰度图像去马赛克到彩色图像(在图4A和图4B中未示出)。去马赛克方法可以是与滤光片阵列的模式对应的插值算法。在一个实施例中，滤光片阵列可以是RGB样式。在这种情况下，在去马赛克之后，彩色图像的每个像素具有R值、G值和B值。
在一个实施例中，第二组信息还可以包含彩色图像中与光源101相关联的候选像素区域。由于光源101的光元件203的颜色是预定的，所以可以将与光元件203的颜色对应的R、G、B值的预定范围组作为参考范围。第二处理器107可以遍历彩色图像的候选区域中的像素，并将每个像素的R、G、B值与参考值范围进行比较。例如，如果像素的R、G、B值落入参考范围内，则意味着该像素对应于光源101。因此，第二处理器107可以将该像素确定为图像212中光源101的成像的候选像素区的一部分。在其他实施例中，还可以应用其他方法来确定哪个像素对应于光源101。
在一个实施例中，第二组信息还可以包含彩色图像中与光源101相关联的候选像素区域的中心的坐标。在确定光源101的候选像素区域之后，可以由第二处理器107计算每个区域的中心。例如，可以根据预处理图像确定形状中心，可以根据彩色图像中的光源101的候选区域中的像素的坐标和原始图像212中的对应区域的像素值确定加权平均中心，并且可以将任何其他计算出的中心识别为该区域的中心，换句话说，光源101的中心在图像212中成像。
因此，找到两个图像211和212中的光源101的中心，作为第一和第二组信息的一部分。第二组信息可以被进一步发送到后处理器109。在一个实施例中，后处理器109还从第一组信息和第二组信息中提取第三组信息。在一些实施例中，第三组信息可以包含现实世界中的光源101的3D位置。由于成像设备103是立体相机设备，所以可以基于形成立体相机设备的一对视图的图像211和图像212进行深度估计。通过深度估计，后处理器109可以获得光源101的3D坐标。在一个实施例中，第三组信息可以进一步包含每个光源101的身份。由于光源101的身份可以根据光源101的颜色来确定，后处理器109可以利用候选像素区域的颜色范围以及光源101的中心坐标来使得光源101的位置和身份一一对应。
在其他实施例中，第三组信息可以进一步包含其他有用的内容。例如，如果在现实世界中将具有不同颜色的三个或更多个光源绑定在一个对象上，则可以进一步确定对象的方位。图5示出了根据本公开的一些实施例的光源500的示例性结构。
如图所示，在图5中，光源500包括三个光元件501，503和505。例如，光元件501发射红光，光元件503发射绿光，并且发光元件505发射蓝光。如上所述，可以确定三个灯元件501，503和505的位置。因此，可以进一步确定三个光元件501，503和505之间的相对位置关系。例如，光元件501可以被确定为位于光元件503和505之上。并且当光源500顺时针旋转通过90度，可以确定光元件501位于光元件503和505的右侧。因此，可以确定物体(例如，光源500)的方位。
在其他实施例中，识别和追踪系统可以用于其它目的，而没有特别的限制，因此第三组信息可以进一步包含与这些目的对应的其他内容。
根据本发明的一个实施例，本公开还可以包括用于识别和追踪对象的方法。图6示出了根据本公开的一些实施例的用于确定VR系统中的感兴趣对象的身份和位置的方法的流程图。该方法可以由上述系统100执行，并且包括步骤601-607。
在步骤601中，将第一波长的第一光元件和第二波长的第二光元件组合在一起以形成光(信号)源，其中第一光元件发射所述第一波长的光，并且将第二光元件发射所述第二波长的光。在一些实施例中，如上所述，第一波长不同于第二波长。在一个实施例中，第一波长的范围不与第二波长的范围重叠。例如，第一光元件是红外光源，因此第一波长在760纳米到1毫米的范围内，第二光元件是可见光源，因此第二波长在390纳米到760纳米的范围内。
在步骤602中，将组合光源布置到VR系统对其位置和/或移动感兴趣的现实世界中的地方。现实世界中的地方可能包括用户的手，用户身体的一部分或其他类似的地方。在一个实施例中，光源可以连接到游戏控制器，并且用户抓住控制器在VR环境中移动和播放，控制器的位置和/或移动被用作VR系统的输入。
在步骤603中，提供图像获取系统以获取VR环境中的光源，其中光源被布置在图像获取系统的视场中。在一些实施例中，图像获取系统包括第一相机和第二相机，其可以分别响应于不同的光波长。在一个实施例中，第一和第二相机中的每一个包括带通滤光片。用于第一相机的第一滤光片可以被配置为获取不可见光(例如，红外光)，其允许波长在760纳米至1毫米范围内的光通过，并且用于第二相机的第二滤光片可以被配置为获取可见光(例如，RGB可见光)，其允许390纳米至760纳米范围内的波长的光通过。
步骤601、602和603是整个方法的准备工作。
在这些准备完成之后，在步骤604中，通过图像获取系统获取一对原始图像。原始图像包括第一原始图像211和第二原始图像212。在一个实施例中，在一个实施例中，由于光源的两个光元件的波长的范围与两个带通滤光片的波长的响应范围相同，它使第一光元件201(产生IR信号)仅在图像211中而不是在图像212中成像。类似地，第二光元件203(产生RGB信号)仅在图像212中而不是在图像211中成像。如上所述，根据对极几何关系，与光源相关联的图像211中的像素的位置对应于与相同光源相关联的图像212中的像素的位置。
在步骤605中，处理第一原始图像以获得第一组信息。在一些实施例中，第一组信息可以包括基于第一原始图像的预处理的第一图像，在第一原始图像与至少一个可追踪对象(例如，光源)相关联的第一候选像素区域，所述第一原始图像中所述至少一个可追踪对象的中心的第一坐标以及在所述第二原始图像中所述至少一个可追踪对象的候选像素区。在一个实施例中，第一原始图像可以通过滤光片来细化。例如，可以遍历整个第一原始图像中的像素，使得像素的每个像素值可以与预定阈值进行比较。如果像素值大于阈值，则可以将像素值更新为“1”；否则，可以将像素值更新为“0”。在一些实施例中，应用其他滤光片算法来过滤第一原始图像中的噪声信号。在一个实施例中，预处理图像可以用于确定图像中的连通域。连通域是在第一原始图像中成像的光源的表示。在一个实施例中，连通域，原始图像和预处理图像可以用于确定图像中光源中心的位置。在一个实施例中，形状中心可以被计算为光源的中心。在另一个实施例中，加权平均中心可以被计算作为光源的中心。连通域中的像素值可用于计算加权平均中心。在一些实施例中，也可以应用其他方法来获得第一原始图像中光源中心的位置。在一个实施例中，该方法可以使用上面介绍的对极几何来计算第二原始图像中的所述至少一个可追踪对象的候选像素区。
在步骤606中，该方法可以处理第二原始图像以获得第二组信息。在一个实施例中，该方法基于在步骤605中获得的第一组信息来处理第二原始图像。在一些实施例中，第二组信息包括基于所述第二原始图像的预处理的第二图像，与所述第二原始图像中的所述至少一个可追踪对象相关联的第二候选像素区域，与所述第二原始图像中的所述至少一个可追踪对象相关联的所述第二候选像素区域中的像素的中心的第二坐标以及所述可追踪对象的身份。在一些实施例中，可以基于第二滤光片的模式对第二原始图像进行预处理。在一个实施例中，第二滤光片的图案处于拜耳RGB滤镜模式中，并且第二原始图像可以通过插值算法重建。插值之后，可以获得彩色图像，并且该彩色图像中的每个像素具有三个像素值(R，G，B)。在其他实施例中，滤光片还可以包括其他特定图案的一种颜色滤光片阵列，其可以是色相-饱和度-亮度(HSL)，YCbCr，YUV，LAB，没有特别的限制。在一些实施例中，该方法在候选像素区中搜索在步骤605中获得的第二彩色图像中的所述至少一个可追踪对象。由于颜色表示光源的标识，以及R，G和B颜色的值是已知的，则可以遍历整个彩色图像以将每个像素的RGB值与已知的RGB值进行比较以确定该像素是否与光源相关联。可以记录与光源相关联的像素。在一些实施例中，这些像素的连通域可以被进一步记录。在一些实施例中，连通域的中心可以被确定为在第二图像中成像的光源的中心。例如，可以根据预处理图像将形状中心确定为域的中心，并且可以根据候选像素区域的像素的坐标确定加权平均中心作为域的中心与预处理图像中的光源和彩色图像中的像素值相关联。其他类型的计算中心可以被认为是域的中心。
在步骤607中，可以使用第一组信息和第二组信息来获得第三组信息。在一些实施例中，第三组信息包括空间中至少一个可追踪对象的中心的3D坐标，至少一个可追踪对象的身份，至少可追踪对象在空间中的朝向，至少可追踪对象在空间中的轨迹，至少一个可追踪对象在空间中的速度和/或加速度。
前面的描述是为了说明的目的而呈现的。这不是穷尽的，并且不限于所公开的精确形式或实施例。考虑到所公开的实施例的说明和实践，实施例的修改和改变将变得显而易见。例如，所描述的实施方式包括硬件和软件，但是与本公开一致的系统和方法可以被单独实现为硬件或软件。另外，虽然某些部件已经被描述为彼此耦合或可操作地连接，但是这些部件可以彼此集成或以任何合适的方式分布。
此外，虽然本文已经描述了说明性实施例，但是范围包括具有基于本公开的等同元件，修改，省略，组合(例如，跨越各种实施例的方面)的组合，修改和/或更改的任何和所有实施例。权利要求中的要素将基于权利要求中使用的语言进行广泛地解释，而不限于本说明书中描述的或在本申请的起诉期间描述的示例，这些示例被解释为非排他性的。此外，所公开的方法的步骤可以以任何方式进行修改，包括重新排序步骤和/或插入或删除步骤。
由计算机可读介质存储的指令或操作步骤可以是计算机程序，程序模块或代码的形式。如本文所述，基于本说明书的书面描述的计算机程序，程序模块和代码(诸如由处理器和后处理器使用的那些)很容易在软件开发者的范围内。计算机程序，程序模块或代码可以使用各种编程技术来创建。例如，它们可以通过Java，C，C++，汇编语言或任何此类编程语言进行设计。一个或多个这样的程序，模块或代码可以被集成到设备系统或现有的通信软件中。程序，模块或代码也可以作为固件，FPGA代码或电路逻辑来实现或复制。
根据详细说明书，本公开的特征和优点是显而易见的，因此，所附权利要求旨在覆盖落入本公开的真实精神和范围内的所有系统和方法。如本文所使用的，不定冠词“一”和“一个”表示“一个或多个”。类似地，复数术语的使用不一定表示复数，除非在给定的上下文中是明确的。除非特别指出，否则诸如“和”或“或”的词意味着“和/或”。此外，由于通过研究本公开内容将容易发生许多修改和变化，因此不希望将本公开限制为所图示和描述的确切构造和操作，并且因此可以采取所有合适的修改和等同物落入披露的范围。
为了详细说明书和所附权利要求书的目的，除非另外指明，否则在说明书和权利要求书中使用的所有表示数量，百分比或比例的数字以及其他数值应理解为在所有情况下都被修改为术语“约”，只要它们尚未被如此修改。因此，除非有相反指示，否则在下面的说明书和所附权利要求书中提出的数值参数是近似值，其可以根据试图获得的期望性质而变化。
在一些方面，与公开的实施例一致的方法可以排除所公开的方法步骤，或者可以改变所公开的方法步骤的顺序或公开的方法步骤之间的分离程度。例如，方法步骤可以根据需要被省略，重复或组合，以实现相同或相似的目标。在各个方面，非临时性计算机可读介质可以存储用于执行与所公开的实施例一致的方法的指令，所述方法排除所公开的方法步骤，或者改变所公开的方法步骤的顺序或所公开的方法步骤之间的分离程度。例如，非暂时性计算机可读介质可以存储用于执行与所公开的实施例一致的方法的指令，该方法根据需要省略，重复或组合用于实现相同或类似目标的方法步骤。在某些方面，系统不一定包括每个公开的部分，并且可以包括其他未公开的部分。例如，系统可以根据需要省略，重复或组合以实现相同或类似的目标。
考虑到本文公开的实施例的说明和实践，其他实施例将变得显而易见。意图是说明书和示例仅被视为示例，所公开的实施例的真实范围和精神由以下权利要求书指示。

Claims (19)

1.一种识别和追踪对象的设备，包括：
第一图像获取装置，用于获取可追踪对象的第一原始图像，其中所述可追踪对象包括发射第一波长的光的第一光源和发射第二波长的光的第二光源；
第二图像获取装置，用于获取所述可追踪对象的第二原始图像；
第一处理器，与所述第一图像获取装置耦合，用于接收所述第一原始图像并从所述第一原始图像提取第一组信息，其中所述第一原始图像与从所述可追踪对象发射的所述第一波长的光相关联，所述第一组信息至少包括在所述第一原始图像中与所述可追踪对象相关联的第一候选像素区域；
第二处理器，与所述第二图像获取装置耦合，用于接收所述第二原始图像并基于所述第一组信息从所述第二原始图像提取第二组信息，其中所述第二原始图像与从所述可追踪对象发射的所述第二波长的光相关联，所述第二组信息至少包括与所述第二原始图像中的所述可追踪对象相关联的第二候选像素区域；和
后处理器，与所述第一处理器和所述第二处理器耦合，用于处理所述第一组信息和所述第二组信息以获得第三组信息，所述第三组信息至少包括所述可追踪对象的中心在空间的三维坐标。
2.根据权利要求1所述的识别和追踪对象的设备，其中：
所述第一图像获取装置包括允许第一波长的光通过的第一带通滤光片；以及
所述第二图像获取装置包括允许第二波长的光穿过的第二带通滤光片。
3.根据权利要求2所述的识别和追踪对象的设备，其中，所述第一带通滤光片的带宽和所述第二带通滤光片的带宽彼此不重叠。
4.根据权利要求3所述的识别和追踪对象的设备，其中，所述第一波长在760纳米至1毫米的范围内，所述第二波长在390纳米至760纳米的范围内。
5.根据权利要求2所述的识别和追踪对象的设备，其中，所述第二带通滤光片包括彩色滤镜。
6.根据权利要求5所述的识别和追踪对象的设备，其中，所述彩色滤镜阵列为拜耳RGB滤镜模式。
7.根据权利要求1所述的识别和追踪对象的设备，其中，所述第一组信息还包括：
基于所述第一原始图像的预处理的第一图像；
在所述第一原始图像中所述可追踪对象的中心的第一坐标；和
在所述第二原始图像中所述可追踪对象的候选像素区。
8.根据权利要求7所述的识别和追踪对象的设备，其中，所述预处理的第一图像是所述第一原始图像的二值化图像。
9.根据权利要求7所述的识别和追踪对象的设备，其中，所述第一原始图像中的所述可追踪对象的中心的所述第一坐标由所述第一原始图像和预处理图像两者来确定。
10.根据权利要求7所述的识别和追踪对象的设备，其中，所述可追踪对象的中心的第一坐标被计算作为所述第一原始图像中与所述可追踪对象相关联的第一候选像素区域的形状中心。
11.根据权利要求7所述的识别和追踪对象的设备，其中，所述可追踪对象的中心的第一坐标被计算作为与所述第一原始图像中的所述可追踪对象成像相关联的所述第一候选像素区域中的像素的加权平均中心。
12.根据权利要求7所述的识别和追踪对象的设备，其中所述第二原始图像中所述可追踪对象的候选像素区根据对极几何来获得并且使用所述设备的基本矩阵来计算。
13.根据权利要求12所述的识别和追踪对象的设备，其中，所述设备的基本矩阵通过在启动所述设备之前校准所述设备预先确定，或者在启动所述设备之后实时校准。
14.根据权利要求4所述的识别和追踪对象的设备，其中，所述第二组信息还包括以下中的至少一个：
基于所述第二原始图像的预处理的第二图像；
在与所述第二原始图像中的所述可追踪对象相关联的第二候选像素区域中的像素中心的第二坐标；或者
所述可追踪对象的身份。
15.根据权利要求14所述的识别和追踪对象的设备，其中，所述预处理的第二图像是基于所述第二带通滤光片的彩色滤镜阵列的模式从所述第二原始图像生成的去马赛克图像。
16.根据权利要求14所述的识别和追踪对象的设备，其中，所述可追踪对象的中心的所述第二坐标被计算作为与所述第二原始图像中的所述可追踪对象相关联的所述第二候选像素区域中的像素的形状中心。
17.根据权利要求14所述的识别和追踪对象的设备，其中，所述第三组信息还包括以下中的至少一个：
所述可追踪对象的身份；
所述可追踪对象在空间中的朝向；
所述可追踪对象在空间中的轨迹；或者
所述可追踪对象在空间中的速度和/或加速度。
18.一种识别和追踪对象的系统，包括：
至少一个可追踪对象，包括暴露在所述至少一个可追踪对象内的至少两个光源，其中第一光源发射第一波长的光，第二光源发射第二波长的光；
第一图像获取装置，包括允许第一波长的光通过的第一带通滤光片和获取穿过所述第一带通滤光片的光的第一相机；
第二图像获取装置，包括允许第二波长的光通过的第二带通滤光片和获取穿过所述第二带通滤光片的光的第二相机；
与所述第一图像获取装置耦合的第一处理器，用于指示所述第一图像获取装置获取包括所述至少一个可追踪对象的第一原始图像，并且从所述第一原始图像提取第一组信息，所述第一组信息至少包括在所述第一原始图像中与所述可追踪对象相关联的第一候选像素区域；
与所述第二图像获取装置耦合的第二处理器，用于指示所述第二图像获取装置获取包括所述至少一个可追踪对象的第二原始图像，并且基于所述第一组信息从所述第二原始图像提取第二组信息，所述第二组信息至少包括与所述第二原始图像中的所述可追踪对象相关联的第二候选像素区域；
与所述第一处理器和所述第二处理器耦合的后处理器，用于处理所述第一组信息和所述第二组信息以获得第三组信息，所述第三组信息至少包括所述可追踪对象的中心在空间的三维坐标。
19.一种识别和追踪对象的方法，包括：
将至少两个不同波长的光元件组合在一起以在可追踪对象内部形成光源，其中第一光源发射第一波长的光，第二光源发射第二波长的光；
将所述光源放置在VR系统感兴趣的现实世界中的地方；
使用至少两个图像传感器和两个带通滤光片构建图像获取系统，其中第一带通滤光片允许所述第一波长的光通过，并且第二带通滤光片允许所述第二波长的光通过；
通过所述图像获取系统获取一对原始图像，通过所述第一带通滤光片获得第一原始图像并通过所述第二带通滤光片获得第二原始图像；
处理所述第一原始图像以获得第一组信息，所述第一组信息至少包括在所述第一原始图像中与所述可追踪对象相关联的第一候选像素区域；
基于所述第一组信息处理所述第二原始图像以获得第二组信息，所述第二组信息至少包括与所述第二原始图像中的所述可追踪对象相关联的第二候选像素区域；和
处理所述第一组信息和所述第二组信息以获得所述可追踪对象的第三组信息，所述第三组信息至少包括所述可追踪对象的中心在空间的三维坐标。
CN201780006174.0A 2017-07-07 2017-07-07 使用多相机识别和追踪对象的方法、设备和系统 Active CN108701363B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/092155 WO2019006735A1 (en) 2017-07-07 2017-07-07 METHODS, DEVICES AND SYSTEMS FOR IDENTIFYING AND FOLLOWING AN OBJECT USING MULTIPLE CAMERAS

Publications (2)

Publication Number Publication Date
CN108701363A CN108701363A (zh) 2018-10-23
CN108701363B true CN108701363B (zh) 2021-06-29

Family

ID=63844104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780006174.0A Active CN108701363B (zh) 2017-07-07 2017-07-07 使用多相机识别和追踪对象的方法、设备和系统

Country Status (3)

Country Link
US (1) US10319100B2 (zh)
CN (1) CN108701363B (zh)
WO (1) WO2019006735A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402988B2 (en) * 2017-11-30 2019-09-03 Guangdong Virtual Reality Technology Co., Ltd. Image processing apparatuses and methods
DE102018218475B4 (de) * 2018-10-29 2022-03-10 Carl Zeiss Optotechnik GmbH Trackingsystem und optisches Messsystem zur Bestimmung mindestens einer räumlichen Position und Orientierung mindestens eines Messobjekts
CN109645956B (zh) * 2018-12-25 2021-08-06 重庆远视科技有限公司 眼睛屈光度测量装置
CN109671037B (zh) * 2018-12-27 2022-09-06 中国科学技术大学 一种面向可见光通信的光源识别方法及系统
WO2021121419A1 (en) 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Interaction between adaptive color transform and quantization parameters
KR20220115965A (ko) 2020-01-05 2022-08-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 일반적인 제약 정보
CN114946187A (zh) * 2020-01-08 2022-08-26 抖音视界(北京)有限公司 色度残差的联合编解码和自适应颜色变换
CN115176470A (zh) 2020-01-18 2022-10-11 抖音视界有限公司 图像/视频编解码中的自适应颜色变换
CN112165629B (zh) * 2020-09-30 2022-05-13 中国联合网络通信集团有限公司 智能直播方法、可穿戴设备及智能直播系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477617A (zh) * 2008-01-03 2009-07-08 北京威亚视讯科技有限公司 一种光学跟踪方法、装置及其系统
CN105431864A (zh) * 2013-05-17 2016-03-23 国际电子机械公司 区域中的操作监视
CN105991990A (zh) * 2015-01-23 2016-10-05 江苏南大五维电子科技有限公司 3d信息获取设备、3d信息获取方法、成像设备及电子设备
CN106548600A (zh) * 2016-12-06 2017-03-29 张家港全智电子科技有限公司 实时瞳孔追踪系统和疲劳状态监测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2426816B (en) * 2004-01-09 2007-06-20 Customvis Plc Limbal-based eye tracking
US8066375B2 (en) * 2005-10-10 2011-11-29 Tobii Technology Ab Eye tracker having an extended span of operating distances
JP5354767B2 (ja) * 2007-10-17 2013-11-27 株式会社日立国際電気 物体検知装置
US9001030B2 (en) * 2012-02-15 2015-04-07 Google Inc. Heads up display
US20140028861A1 (en) * 2012-07-26 2014-01-30 David Holz Object detection and tracking
WO2015034801A2 (en) * 2013-09-06 2015-03-12 3M Innovative Properties Company Head mounted display with eye tracking
US9360935B2 (en) * 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
US9693040B2 (en) * 2014-09-10 2017-06-27 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
EP3062142B1 (en) * 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
JP2018518709A (ja) * 2015-05-28 2018-07-12 サルミック ラブス インコーポレイテッド 視標追跡及び走査レーザ投影をウェアラブルヘッドアップディスプレイに統合するシステム、デバイス、及び方法
US10152121B2 (en) * 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
US10303246B2 (en) * 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US11134848B2 (en) * 2016-04-25 2021-10-05 Samsung Electronics Co., Ltd. Mobile hyperspectral camera system and human skin monitoring using a mobile hyperspectral camera system
US10027954B2 (en) * 2016-05-23 2018-07-17 Microsoft Technology Licensing, Llc Registering cameras in a multi-camera imager
CA3045192A1 (en) * 2016-11-30 2018-06-07 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10338675B2 (en) * 2017-02-14 2019-07-02 Facebook Technologies, Llc Selective color sensing for motion tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477617A (zh) * 2008-01-03 2009-07-08 北京威亚视讯科技有限公司 一种光学跟踪方法、装置及其系统
CN105431864A (zh) * 2013-05-17 2016-03-23 国际电子机械公司 区域中的操作监视
CN105991990A (zh) * 2015-01-23 2016-10-05 江苏南大五维电子科技有限公司 3d信息获取设备、3d信息获取方法、成像设备及电子设备
CN106548600A (zh) * 2016-12-06 2017-03-29 张家港全智电子科技有限公司 实时瞳孔追踪系统和疲劳状态监测方法

Also Published As

Publication number Publication date
US20190012795A1 (en) 2019-01-10
WO2019006735A1 (en) 2019-01-10
CN108701363A (zh) 2018-10-23
US10319100B2 (en) 2019-06-11

Similar Documents

Publication Publication Date Title
CN108701363B (zh) 使用多相机识别和追踪对象的方法、设备和系统
US10002463B2 (en) Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color
US9690984B2 (en) Two-dimensional infrared depth sensing
CN110036258B (zh) 信息处理装置和信息处理方法
US10936900B2 (en) Color identification using infrared imaging
US7682026B2 (en) Eye location and gaze detection system and method
CN109716268A (zh) 眼部和头部跟踪
EP2748797B1 (en) Object distance determination from image
KR102021152B1 (ko) 원적외선 카메라 기반 야간 보행자 인식 방법
WO2019036751A1 (en) ENHANCED VIDEO-BASED DRIVER MONITORING USING PHASE DETECTION SENSORS
KR20180134280A (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
CN107609475B (zh) 基于光场相机的行人检测误检提出方法
JP2018156408A (ja) 画像認識撮像装置
CA3150469A1 (en) SPORTS TIMING BASED ON A CAMERA SYSTEM
CN110213491A (zh) 一种焦距调整方法、装置及存储介质
WO2015027289A1 (en) Method and apparatus for eye detection from glints
CN113424522A (zh) 使用半球形或球形可见光深度图像进行三维跟踪
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
CN111866490A (zh) 深度图像成像系统和方法
KR20220045862A (ko) 동적 크로스토크를 측정하는 방법 및 장치
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
Imanullah et al. A novel approach in low-cost motion capture system using color descriptor and stereo webcam
Lichtenauer et al. Monocular omnidirectional head motion capture in the visible light spectrum
US20240267632A1 (en) Adaptive algorithm for power efficient eye tracking
KR101957417B1 (ko) 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant