CN113316755B - 使用基于事件的视觉传感器的环境模型保持 - Google Patents

使用基于事件的视觉传感器的环境模型保持 Download PDF

Info

Publication number
CN113316755B
CN113316755B CN202080009520.2A CN202080009520A CN113316755B CN 113316755 B CN113316755 B CN 113316755B CN 202080009520 A CN202080009520 A CN 202080009520A CN 113316755 B CN113316755 B CN 113316755B
Authority
CN
China
Prior art keywords
event
computing device
depth
environmental model
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080009520.2A
Other languages
English (en)
Other versions
CN113316755A (zh
Inventor
克里斯蒂安·布伦德利
詹姆斯·G·刘易斯
斯特凡·艾斯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Advanced Visual Sensing AG
Original Assignee
Sony Advanced Visual Sensing AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Advanced Visual Sensing AG filed Critical Sony Advanced Visual Sensing AG
Publication of CN113316755A publication Critical patent/CN113316755A/zh
Application granted granted Critical
Publication of CN113316755B publication Critical patent/CN113316755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

一种方法和系统，包括用于监测环境的一个或多个基于事件的视觉传感器和监测环境的一个或多个深度传感器以及用于监测环境的潜在额外传感器，例如，惯性测量单元和图像传感器。作为处理器组件的装置然后将监测基于事件的视觉传感器和深度传感器以及其他传感器，并根据基于事件的视觉传感器的响应来确定是否调整深度传感器的控制方案，例如，激活，以获取环境的深度信息。这种方法利用基于事件的传感器的优势来降低功耗，但仍然通过连续测量与应用中最小容许延迟直接相关的间隔来对这种变化做出快速反应，深度测量或推断数据用于该应用。

Description

使用基于事件的视觉传感器的环境模型保持
相关申请
根据35USC 119(e)，本申请要求2019年1月25日提交的美国临时申请号62/796,742的权益，其全部内容通过引用结合于此。
背景技术
深度传感器和机器视觉和相机(例如，CMOS图像传感器)是许多计算装置的常见组件。特别地，移动计算装置(例如，智能手机和平板装置)使用这两种感测类型中的一种或组合来进行面部识别和姿势跟踪。深度传感器也有助于更普遍地跟踪环境，因此装置可以知道用户何时接近物体或到物体的距离是多少，而相机允许估计这些物体的反射率和/或发光发射率属性。此外，SLAM(同步定位和绘图)方法经常用来估计该设备在空间中的位置。SLAM方法根据惯性测量单元(IMU)、相机和其他传感器读数不断估计设备姿态(位置和定向)。深度传感器的深度图有助于增强这一功能。
深度和图像传感器也使装置能够创建其周围环境的模型。例如，这样的模型有助于在计算装置上执行的增强现实(AR)应用程序(app)。其他示例包括自主机器人在其环境中导航和/或与其环境交互。
发明内容
对这些计算装置来说，操作深度传感器在许多方面都很昂贵。大多数深度传感器消耗高功率。结构光深度传感器和飞行时间(ToF)深度传感器是必须照亮环境的有源装置，通常采用红外线。例如，使用神经网络(例如，卷积)的无源深度感测方法(例如，立体相机或来自先验的深度推断)计算成本高，因此功率密集。此外，操作深度传感器在计算上也很昂贵。必须解释来自深度传感器的信息，并且必须基于新的深度信息重新计算环境模型。
对于这些计算装置来说，操作传统的图像传感器(相机)也是昂贵的。虽然与深度传感器相比，其功耗较低，但其功耗仍然相当可观，尤其是在高频率和/或分辨率运行时。此外，其操作会产生大量必须存储、移动和处理的数据，导致对电力和内存的高需求。
另一方面，基于事件的视觉传感器提供了许多优势，主要是通过本质上压缩数据流，从而减少处理单元需要处理的数据量。它们也比传统的照明传感器(相机)使用更少的电力。此外，基于事件的视觉传感器像素以高频率(高达数千赫兹(kHz))连续感测场景中的视觉变化，并以非常低的延迟报告视觉变化。这使得基于事件的视觉传感器成为监测装置环境、智能传感器控制或辅助传感模式的数据增强等持续任务的理想传感器。
本方法利用基于事件的传感器的优势来降低功耗。传统的运动感测组件通常可以由传统的机器视觉相机和一个或多个惯性测量单元(IMU)组成，该机器视觉相机可以用于从入射光推断信息，该惯性测量单元可以用于推断关于加速度和旋转速度以及装置方位的信息。根据入射光，可以推断出关于装置自身运动的信息以及关于装置周围的运动和变化的信息，这些运动和变化可能是由移动物体或照明变化引起的。根据IMU测量结果，只能推断出装置自身的运动。如果装置处于非静态环境中，IMU可能无法检测到周围环境的变化，需要测量照明或必须触发深度测量。为了对这种变化做出快速反应，必须以与应用中最小容许延迟直接相关的间隔连续测量周围环境，其中，深度测量或推断数据用于该应用，并且仍然不能避免延迟。这种要求和延迟可能使得不可能达到所涉及的传感器的最佳控制方案，例如，对于任何给定的应用，理论上需要最小数量的深度测量，这将导致最低的功耗。图像捕获(其是不必要的)会增加电力需求，并进一步限制电力需求的可实现增益。增加基于事件的传感循环可以解决这些问题。传统的照明传感器(相机)比基于事件的传感器需要更多的电力，并且具有低得多的采样频率(与多个kHz相比，通常为几十Hz)。与利用基于事件的传感器的测量相比，照明测量(图像)捕获需要更长时间，并且延迟更长。包括基于事件的传感器使得能够非常快速地检测环境中的变化，因此允许深度测量触发时间推导、面积或其他控制参数更接近理论最佳值，同时需要比传统运动感测组件更少的电力。此外，基于事件的视觉传感器的高时间分辨率允许对物体的动态状态进行更精确的估计，从而更精确的预测它们在未来时间点的状态。
一般而言，基于事件的感测循环可以包括针对对应于意外和/或不可预测的变化的事件，分析基于事件的传感器的平截头体中的传入测量照明变化(事件)流。在该搜索成功的情况下，即，已经基于所分析的事件识别了环境的变化，该算法可以相应地为诸如深度感测组件或CMOS相机等组件调整控制方案。适配的控制可以包括除触发时间和面积之外的属性，例如，对于基于投影的深度传感器如何调制投影光，或者对于CMOS相机如何调制曝光时间和增益。所有组件都可以异步触发，因为其控制方案随着时间的推移而不断调整，以优化诸如电力和其他测量等目标，一个示例是由处理所获取的传感器数据的算法估计的状态变量的准确性。
一般而言，根据一个方面，本发明的特征在于一种用于保持环境模型的方法。该方法包括用一个或多个基于事件的视觉传感器监测环境，并且根据基于事件的视觉传感器的监测，确定是否调整(例如，激活)深度传感器或其他感测模态(例如，相机)的控制方案，以从环境获取更多信息。然后，可以基于收集的传感器读数来更新环境模型。
在实施例中，该方法还包括从惯性测量单元和/或相机获取运动信息，并且基于该运动信息以及所测量的事件，确定是否激活深度传感器，以获取环境的深度信息。
同样在实施例中，事件和潜在的IMU数据用于推断环境模型是否必须更新，这是基于是否必须获取额外的数据来执行这种更新来决定的。额外的数据可以包括来自深度感测组件、相机或不以总是开启的方式操作的其他传感器的测量值。
此外，该方法还可以包括仅在基于事件的视觉传感器检测到的事件与使用环境模型预测的事件不充分匹配的情况下更新环境模型。对环境模型的更新可以总是基于传感器测量的任何组合，并且更新决定通常与关于必须进行哪些额外测量的决定相结合，例如，深度传感器读数。
该方法可以进一步将从惯性测量单元获取的运动信息与来自传统照明传感器(相机)和/或深度传感器和/或基于事件的传感器的测量相结合，以计算装置的姿态(坐标和定向)以及其他估计，例如，平移速度。可以使用一类被称为即时定位和地图构建(SLAM)的算法的现有技术实现来计算估计。
在实施例中，装置的估计姿态与环境模型一起用于预测基于事件的传感器的预期测量值，然后其用于决定是否应该调整用于非始终开启的传感器的控制方案。
一般而言，根据另一方面，本发明的特征在于计算装置。该装置包括用于监测环境的一个或多个基于事件的视觉传感器、用于产生环境的图像数据的相机以及用于监测环境的深度传感器组件。该装置的处理器组件监测基于事件的视觉传感器、相机和深度传感器组件。处理器组件确定是否调整深度传感器组件的控制方案，以根据基于事件的视觉传感器的响应，获取深度信息和/或相机获取环境的图像信息。
在一个示例中，调整相机和/或深度传感器的控制方案包括简单地激活深度传感器组件和/或相机。其他具体示例包括触发深度感测组件和/或相机单次或几次测量。在另一示例中，根据各个传感器的能力，通过调整更多的参数来调整控制方案。示例包括深度感测组件的投影仪的光如何调制和/或其光被瞄准的区域和/或相机获取图像数据的曝光时间和增益。
现在将参照附图更具体地描述本发明的上述和其他特征，包括各种新颖的构造细节和部件组合以及其他优点，并在权利要求中指出。应当理解，体现本发明的特定方法和装置是以说明的方式示出的，而不是对本发明的限制。在不脱离本发明的范围的情况下，本发明的原理和特征可以用于各种各样的实施例中。
附图说明
在附图中，不同视图中的附图标记指的是相同的部分。附图不一定按比例绘制；相反，重点放在说明本发明的原理上。在图中：
图1是示出利用深度感测组件和运动感测组件监测和跟踪环境的用户计算装置的示意图；
图2是示出计算装置以及深度感测组件和运动感测组件的更多细节的示意图；
图3是示出具有深度感测组件和运动感测组件的移动计算装置(智能手机)的示意图；
图4是示出具有深度感测组件和运动感测组件的电视计算装置的示意图；
图5是示出具有深度感测组件和运动感测组件的AR/VR头戴式计算装置的示意图；
图6是示出计算装置的操作及其使用来自基于事件的视觉传感器的信息来推断是否必须执行环境模型的更新的流程图，如果是，则使用哪种模态和哪种控制方案；
图7是示出计算装置的操作及其使用来自基于事件的视觉传感器的信息来调整控制方案以从非始终开启的传感器(例如，深度感测组件)获取数据的流程图；
图8是示出根据另一实施例的计算装置的操作及其使用来自基于事件的视觉传感器的信息来调整控制方案以从不总是开启的传感器(例如，深度感测组件)获取数据的流程图；
图9是示出根据另一实施例的计算装置的操作及其使用来自基于事件的视觉传感器的信息来调整控制方案以从不总是开启的传感器(例如，深度感测组件)获取数据的流程图；
图10是示出用于基于事件的视觉传感器的像素电路的组件和连接的电路图；以及
图11是示出基于事件的视觉传感器的布局的示意图，其中，像素以行和列的二维事件像素阵列排列。
具体实施方式
现在将在下文中参考附图更全面地描述本发明，其中，示出了本发明的说明性实施例。然而，本发明可以以许多不同的形式实施，并且不应该被解释为局限于本文阐述的实施例；相反，提供这些实施例是为了使本公开彻底和完整，并将本发明的范围完全传达给本领域技术人员。
如本文所用，术语“和/或”包括一个或多个相关列出项目的任何和所有组合。此外，单数形式和冠词“一”、“一个”和“该”也旨在包括复数形式，除非另有明确说明。将进一步理解的是，当在本说明书中使用时，术语“包含”、“包括”、“具有”和/或“含有”指定了所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。此外，应当理解，当包括组件或子系统的元件被称为和/或被示为连接或耦合到另一元件时，可以直接连接或耦合到另一元件，或者可以存在中间元件。
除非另有定义，本文使用的所有术语(包括技术和科学术语)与本发明所属领域的普通技术人员通常理解的含义相同。还应当理解，例如，在常用词典中定义的术语应当被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且除非在本文明确定义，否则不会以理想化或过于正式的意义来解释。
图1描绘了用户装置10监测包含诸如用户的手和其他事物等物体的环境的典型场景。用户装置可以是移动计算装置，例如，智能手机或平板计算装置。其他装置包括电视、物联网(IOT)装置、增强现实(AR)或虚拟现实(VR)装置、光场显示器、全息显示器、立体显示器(两个渲染点)和汽车平视显示系统等，仅举几例。
众所周知，用户计算设备10具有深度感测组件120和运动感测组件130。深度感测组件120和运动感测组件130具有相应的视场128、138。这些视场128、138的特征在于包含在这些传感器组件120、130中的每一个中的各种传感器和发射器的视场。在许多情况下，这些组件的各个传感器可以具有各自更宽或更窄的视场。然而，出于以下描述的目的，视场被共同对待，并且通常彼此同延。
典型示例中的用户装置10执行一个或多个应用或应用程序。这些正在执行的应用程序利用来自深度感测组件120和运动感测组件130的信息，以创建并可以更新环境模型。该模型包含关于设备10的环境的信息，例如，在装置的视场128、138内检测到的物体116-1、116-2、116-3以及检测到的这些物体的运动。
处理器组件150可以执行AI应用，该应用有时可以用于基于训练的先验推断深度，由此，该算法可以在专用应用处理器、多个中央处理单元、存储器、视觉处理单元、图形处理单元、人工智能处理单元或其他专用组件上运行。
图2示出了用户装置10的额外细节。在图示的示例中，深度感测组件120包括深度图像传感器122和点投影仪124。这是一种深度传感器实现方式，通常被称为结构光深度传感器。在这样的装置中，投影仪124将已知的光图案投射到场景上，特别是场景内的物体上，并且深度图像传感器122是红外图像传感器，其检测场景和投射的红外图案，并且使用该信息来处理并因此解析场景内各种物体的深度。
深度传感技术还有其他示例。例如，飞行时间(ToF)传感器用调制的红外光源照亮场景和场景内的物体。ToF传感器是一种快速图像传感器，它可以解析进入以及来自场景内物体的光的飞行时间。深度传感器的其他示例包括立体图像传感器，其使用双目效应来解决场景中物体的距离。
示例性运动感测组件130具有单独的传感器。具体而言，图示的示例具有惯性测量单元(IMU)136、诸如CMOS图像传感器134等相机以及一个或多个基于事件的视觉传感器132。
IMU 136通常包括磁力计、加速计和陀螺仪。这些用于通过确定用户装置10在地球重力场和磁场中的方位以及旋转和平移运动来确定用户装置10的姿态。
深度感测组件120和运动感测组件130由处理器组件150控制。在图示的示例中，该处理器组件150可能驱动显示器110，例如，触摸屏显示器。此外，处理器组件通常具有在处理器组件150上执行的一个或多个应用，以通过跟踪装置周围环境中的物体来保持和更新环境模型152。
处理器组件150包括中央处理单元和可能的图形处理单元以及可能的其他专用处理单元，例如，神经网络处理器。此外，处理器组件可以包括随机存取存储器以及程序存储器，程序存储器包含在处理器组件上执行的一个或多个应用。
如图3所示，在一些示例中，用户装置10是移动计算装置。在图示的示例中，智能手机用户装置包括触摸屏显示器110。深度传感器组件120和运动传感器组件130面向后、或者面向前、或者面向前和面向后。结果，用户装置10通过控制这些组件，可以保持覆盖装置前方区域和装置后方区域的环境模型。
如图4所示，在其他示例中，用户装置10是智能电视。在此处，深度传感器组件120和运动感测组件130跟踪智能电视10前面的环境中的物体，以便识别观众的存在，并且还可能解析那些观众的姿势，来控制智能电视。
图5示出了用户装置的又一示例。在此处，用户装置是AR/VR平视显示器，例如，眼镜。这通常佩戴在用户的头部。两个显示器110由用户眼睛前方区域中的框架定位，并且对于增强现实(AR)显示装置来说可以是透射的。再次，在此处，深度感测组件120和运动感测组件130位于装置框架12上的透明显示器110上方，以检测用户前方的物体。
图6是示出在处理器组件150上执行的应用程序115的操作的流程图，以保持环境模型152和/或控制何时以及如何从深度感测组件120或相机134收集数据。
总体目标是降低装置消耗的电力，同时保持系统输出的质量，例如，用户应用程序(例如，增强现实应用程序)使用的姿势和环境模型。这可以例如通过减少由深度感测组件测量的区域中触发的测量次数或者通过从相机获取更少的图像来实现。深度感测组件通常对电力要求很高，例如，可能会降低移动装置的电池寿命。此外，可以减小深度组件测量的面积，并且可以控制其他参数，以便优化每次深度测量所需的电力，或者更一般地，保持系统输出的质量高于定义的系统规格。传感器测量可用于推断额外信息，示例包括计算装置的轨迹和运动状态、周围环境的环境地图或周围物体的类型和状态的分割和分析。可以分析该额外信息以及关于感测组件的知识，并用于推断和预测是否、何时以及何地需要从深度感测组件收集新的测量值。
具体地，在步骤616，处理器组件150从运动传感器组件130获取运动信息。该信息包括来自基于事件的视觉传感器132以及潜在地来自IMU136以及可能还来自相机134的数据。该数据用于监测和分析设备10相对于环境的移动或者该环境中的物体116相对于设备10的移动。例如，在一种情况下，处理器组件150分析来自相机的图像传感器的图像数据，并基于该图像数据在连续帧之间如何变化，确定装置的运动信息。在另一种情况下，处理器组件150将来自相机134的数据与来自基于事件的视觉传感器的基于事件的数据相结合，以确定装置的运动信息。
在步骤620中，在处理器组件150上执行的应用程序115基于所获取的数据并通过将其与环境模型152进行比较来分析所获取的数据。确定是否应该更新环境模型152。
如果在步骤620中确定环境模型不需要更新，则流程重复自身。优点是处理来自运动传感器组件(特别是来自基于事件的视觉传感器)的信息是相对低电力的过程。结果，设备10能够保持其环境模型152，而不会过度使用电力。
类似地，如果足够的话，可以仅使用来自基于事件的视觉传感器和IMU的数据来执行对环境模型152的更新，以便节省获取昂贵的深度和图像数据的电力，因此，作为示例，增加设备10的电池寿命。
在另一种情况下，如果环境模型152如步骤620中所确定的那样需要更新，并且如步骤622中所确定的那样需要额外的数据，则只有在步骤630中，深度感测组件120和/或相机传感器134的控制方案被处理器组件150调整，以获取例如视场内的环境的深度信息和图像数据。
控制方案可以通过多种方式进行调整。在一个示例中，控制方案适于仅需要触发深度感测组件120和/或相机传感器134的单次或几次测量。在另一示例中，根据相应传感器的能力，通过调整更多的参数来调整控制方案。示例包括深度感测组件120的投影仪124的光如何调制和/或其光被瞄准的区域和/或相机获取图像数据的曝光时间和增益。
然后在步骤632中，来自深度感测组件120和相机传感器134的信息用于处理和更新环境地图。
一般而言，不排除其他解决方案，环境模型152可以被表示为一个或多个网格、运动学或动力学模型、骨架、点云、体积网格、表面、相对于用设备10固定的某个坐标框架的深度图、与物体表示连接的多个坐标框架之间的变换、或者关于可以测试测量的环境的假设的集合等。不同的模型类型可以组合。该模型可用于推断何时何地必须从深度感测组件120和相机传感器134接收新的测量值以及优化其他参数以实现最小的电力需求。触发一个或几个新的这种测量的原因可能是需要扩展模型、细化模型、更新模型或检查模型是否仍然与测量(即，装置的周围环境)相匹配。
在一个示例中，在步骤620和622中执行的分析涉及环境模型152，其中，使用其几何形状的表示(例如，网格)、表面属性(例如，使用纹理或其他查找表)及其运动状态(包括对位置、定向、速度和加速度的估计)对设备10周围的每个物体进行建模。确定从基于事件的传感器132捕获的事件与设备10的运动、物体116的运动或光源的调制或其组合相关联。使用联合优化或其他方法来解析该关联，可能涉及对所涉及的物体和光源的运动和调制的推断，例如，使用在相应的现有技术方法中找到的对比度作为目标函数，或者可能是概率性的更简单的方法，例如，最近邻搜索。如果在关联期间尚未执行，则每个事件都可以用于更新与其关联的物体的状态。
在一个示例中，在步骤620中，一些目标函数的误差(例如，在表示时空变化的空间中的事件到环境模型152的当前状态的距离)用于决定是否应该更新环境模型。
在另一示例中，环境模型152的二维投影用于将基于事件的视觉传感器132检测到的事件的位置和时间与当前估计的物体位置进行比较，并在步骤620中使用该距离来决定是否应该更新环境模型152。
基于事件的视觉传感器132的两个优点是其高时间分辨率和低数据速率。这允许环境模型152的快速且廉价的更新。作为环境模型152的一部分的估计值作为高时间分辨率的结论可能更准确，尤其是在非常动态的环境或运动场景中。这也允许在步骤620和622中使用更精确的基于预测的控制方案。
在一个示例中，不仅触发深度感测组件120和相机134，即，决定何时应该收集测量结果，而且也调整其他控制参数。可以基于事件活动来控制深度感测组件120的投影仪照亮特定区域，或者可以控制光的调制。对于相机134，可能根据物体116和设备10之间的相对速度的基于事件的估计来调整曝光时间。
图7是示出根据另一实施例的在处理器组件150上执行以保持环境模型152或控制何时以及如何从深度感测组件120或相机134收集数据的应用程序115的操作的流程图。
这个示例有许多类似于前一个示例的步骤，这些步骤被共同编号。
在该示例中，处理器组件150在步骤722中使用环境模型来预测事件发生。然后，在步骤720，评估那些预测事件是否与测量事件匹配。
在目标是找到深度感测组件120或相机134的控制方案而不是保持环境模型152的示例中，环境模型152可以是一组固定的假设。一个假设可能是设备10没有移动，并且所有测量到的事件是由移动物体116或者调制光源引起的。可以在额外步骤中滤除调制光源。该预测可以基于预期的事件数量，例如，基于预期的噪声。然后，步骤620将仅包括将测量事件的数量与预测事件的数量进行比较。
在另一示例中，环境模型152包括关于非移动物体116到设备10的相对距离和外观的假设以及对设备10的典型速度的估计。可以使用来自相机134的测量来估计其外观。使用由IMU 136测量的旋转速度和由相机134测量的估计外观，例如，环境的纹理，步骤722仅估计由设备10的旋转运动引起的事件的数量，并且通过从步骤616中测量事件的数量中减去，在步骤620中获得由设备10的平移运动或由物体116的运动引起的事件的数量的估计。然后，通过仅平移设备10，将该数量与从环境模型152假设导出的预期事件数量进行比较。在其他示例中，由完整的三维模型代替假设，共同估计值，并且可以针对基于事件的传感器132的视场的不同区域来执行所呈现的方法。
通常，如果接收的测量值和预测的测量值之间有足够大的不匹配，则应用程序115可以相应地改变深度感测组件控制方案。对深度感测组件控制方案的这种改变可能涉及触发更多或更少的测量、被测量区域的调整或其他深度感测组件参数的变化，例如，投影的强度，或者更一般地，如何调制照明强度。还可以改变相机134的控制方案。
除此之外，处理与前面的示例相似。具体地，如果在步骤620中事件与预期匹配，或者在步骤622中确定不需要额外的数据来更新环境模型152，则该过程重复，而不激活深度感测组件120。
图8是示出根据另一实施例的在处理器组件150上执行以保持环境模型152或控制何时以及如何从深度感测组件120或相机134收集数据的应用程序115的操作的流程图。
该示例再次共享类似于前面示例的步骤，并且这些步骤被共同编号。
在该实施例中，设备10包括姿态估计方法840，其在任何给定时间点为设备10提供位置和定向。姿态估计方法可以与图8中描述的过程并行运行。将变化的姿态与环境模型(例如，纹理网格)结合在一起，允许预测事件的发生。使用该姿态，可以确定哪些事件是由装置自身的运动引起的，因此可以执行与基于事件的传感器132的视场中的动态物体116引起的事件的分离。通过从关于物体116的运动的那些事件中执行(可能隐含的)推断，它们用于决定物体116的运动是否需要在步骤720和622中从诸如深度感测组件120等额外源获取数据以及是否必须在步骤630中调整控制方案。
在一个实施例中，环境和对当前照明源的分析以及环境的反射特性(例如，由其结构和表面纹理构成的反射特性)连同从步骤840中的姿态估计方法获得的姿态可以用于预测事件的数量，并且可以由校正噪声之后预测的事件数量和测量的事件数量之间的差异来表示失配。在其他情况下，可以预测基于事件的传感器的每个像素或一组像素的事件数量，并且可以分别评估每个像素或一组像素的失配。因此，在这样的实施例中，在步骤630中，可以根据深度感测组件及其部件的投影和感测部分的不同视图定向(或每个视图定向)来调整深度组件控制方案。
图9是示出根据另一实施例的在处理器组件150上执行以保持环境模型152或控制何时以及如何从深度感测组件120或相机134收集数据的应用程序115的操作的流程图。该示例再次共享类似于前面示例的步骤，并且这些步骤被共同编号。
该实施例使用在步骤616中获取的来自基于事件的传感器132的信息来在步骤820中计算光流。在步骤824中确定预测的光流。然后，在步骤822，确定测量的光流是否与预测的相匹配。如果与预测流匹配，则可以不激活深度感测组件120。光流是根据事件计算的中间测量表示的一个示例，然后用于通过误差分析(失配)来推断是否将激活深度感测组件120。其他可能的中间表示可以包括搜索和分析数据中存在的几何形状及其位置、基于事件的跟踪器，该跟踪器的位置随着在其附近或其他地方测量的每个事件而更新。一般原理是在步骤824中为中间表示公式化期望，在步骤820中计算基于测量的中间表示，并且在步骤822中比较基于测量的表示和预测的表示。
如果光流指示环境中的意外变化，即基于事件的流与预期不匹配，则可以在步骤630中激活深度感测组件，并且可以调整控制方案。同样的决定适用于相机134。
在该实施例中，光流还用于抑制深度感测组件或相机触发器，如在步骤822中执行的，并用于在步骤622中确定是否需要额外数据。光流表示关于环境中的物体相对于设备10移动多快的信息，如装置的传感器所感知的。许多传感器(包括深度传感器和常规照明传感器(相机))的测量受到这种相对速度的影响，这种影响被本领域技术人员称为运动模糊。测量质量通常会随着相对速度的增加而降低。因此，如果预期测量质量不足，则在步骤826中，测量的光流可用于阻挡深度感测组件或相机触发器。允许推断相对速度的任何中间表示都可以用于操作这种抑制块826。
在此处，应用程序115不直接预测和分析由基于事件的传感器测量的照明变化，而是计算中间数据表示。基于测量的照明变化计算光流，或者基于测量的照明变化和世界模型计算光流。在这两种情况下，世界的环境模型以及对装置自身运动的估计可以用于预测预期的光流。预测的光流和测量的光流可用于调整深度感测组件控制方案，例如，通过触发新的测量。
作为背景，图10示出了基于事件的视觉传感器132的一个可能的像素电路的组件。
下面列举像素电路100的主要组件。
1.感光器模块。如图所示，像素电路包含光电二极管PD或其他光电传感器，用于测量入射光9并将光强转换为电流Iphoto；感光器电路PRC，用于产生根据光强的感光器信号Vpr；以及存储电容器C1，用于记忆过去感光器信号。光电传感器PD和感光器电路PRC构成感光器模块PR。
2.存储电容器C1：接收感光器信号Vpr，使得电容器的第一极板携带响应感光器信号Vpr从而由光电传感器PD接收的光的电荷。存储电容器C1的第二极板连接到A1的比较器节点(反相输入)。因此，比较器节点Vdiff的电压随着感光器信号Vpr的改变而变化。
3.比较器A1：其是将当前感光器信号Vpr和过去感光器信号之间的差异与阈值进行比较的装置。该比较器A1可以在每个像素中，或者在像素的子集(例如，一列)之间共享。在优选实施例中，比较器将集成到像素中，每个像素具有专用的比较器A1。
4.存储器：存储器50存储基于来自控制器60的采样信号的比较器输出。存储器可以是采样电路(例如，开关和寄生或显式电容器)或数字存储电路(锁存器或触发器)。在一个实施例中，存储器将是采样电路，并且每个像素将具有两个存储器。
5.条件复位电路R1：复位的条件是存储的比较器输出的状态和由控制器施加的复位信号的组合。
6.外围电路组件：比较器A1和存储器50可以位于像素中或外围电路中(像素电路之外)。
外围电路包含控制器60，该控制器60向比较器A1施加阈值信号，向存储器50发送控制信号，并选择条件复位电路R1变为有效的时间。
外围电路还可以包含读出电路RO，该读出电路读取存储器50的内容，确定给定像素的光强是否已经增加、减少或保持不变，并将(根据当前存储器值计算的)输出发送到处理器。
通常，关闭事件是给定像素的光强度的离散降低。另一方面，打开事件是给定像素的光强度的离散增加。
更详细地说，比较器告诉光是否增加/减少。对于关闭事件：如果Vdiff低于(在Vb上)阈值Voff，则比较器输出为高，该电平存储在存储器中。这意味着检测到减少。如果Vdiff不低于阈值，则比较器输出为低：未检测到减少。
唯一的困难是，对于打开事件，低比较器输出意味着增加，而高意味着没有变化；但是对于关闭事件，高比较器输出意味着减小，而低表示没有变化。
因此，读出必须知道存储器内容和应用了哪个阈值。或者，如在优选实施例中，存在用于打开的反相器，使得存储器极性对于打开和关闭都是相同的。
在本发明的像素电路100的一个优选实施例中，每个像素电路100仅包含一个比较器，该比较器依次首先作为打开事件的比较器，然后作为关闭事件的比较器(反之亦然)。
像素电路100和控制器60如下操作。
光电传感器PD接收到的光强变化将转化为感光器信号Vpr的变化。当复位电路R1不导通时，Vpr的变化也将反映在比较器A1的反相输入端(-)的比较器节点处的电压Vdiff中。这是因为存储电容器C1两端的电压保持恒定。
在由控制器60选择的时间，比较器A1将存储电容器C1的第二端子处的比较器节点处的电压(Vdiff)与(来自控制器)施加到比较器A1的非反相输入端(+)的阈值电压Vb进行比较。
控制器60操作存储器50，存储比较器输出Vcomp。如所示，存储器50通常被实现为像素电路100的一部分。然而，在其他实施例中，存储器50被实现为列逻辑电路(外围电路，像素阵列的每列一个)的一部分。
如果保存在存储器50中的存储的比较器输出的状态指示光强的变化AND来自控制器60的全局复位信号GlobalReset信号有效，则条件复位电路R1导通。在此处，“AND”表示逻辑“AND(与)”运算符。当条件复位电路R1处于导通状态时，比较器A1的反相输入端的比较器节点处的电压(Vdiff)被复位到已知电平。因此，将当前感光器信号Vpr存储在存储电容器C1上。
图11示出了示例性的基于事件的视觉传感器132，包括像素100-1至100-6的二维阵列。图示的传感器只显示了两行和三列，以避免混淆示图。实际上，传感器8将包括m行(通常比2大得多)和n列(通常比3大得多)像素。二维阵列中的像素可以通过其地址来识别，该地址是像素的行号和列号。例如，像素100-6具有行2(从顶部计数)和列3(从左侧计数)，作为其地址。
控制器60控制像素100和其他组件，例如，行选择电路40、读出电路42以及从阵列到处理器46的数据传输。
在图示的示例中，行选择电路40被示为控制器60的一部分。该行选择电路40选择一个或多个行子集。当选择一行像素100时，所选行中像素的比较器输出被传送到读出电路42。
读出电路42从像素阵列读取数据(存储的比较器输出)。通常，读出电路42在传输到某种接收器(通常是一种形式的处理器)之前会进一步将该数据编码成更有效的表示，该接收器可以在传感器芯片外部，例如，处理器46。
读出电路42被分成若干列逻辑电路44-1至44-n，其中，有n列，读出电路42从读取比较器输出确定对应像素的光强是否已经增加、减少或保持不变。
虽然已经参照本发明的优选实施例具体示出和描述了本发明，但是本领域的技术人员将理解，在不脱离所附权利要求所包含的本发明的范围的情况下，可以在形式和细节上进行各种改变。

Claims (18)

1.一种用于保持计算装置的环境模型的方法，包括
利用所述计算装置的一个或多个基于事件的视觉传感器来监测环境；
根据所述基于事件的视觉传感器的监测，确定是否激活所述计算装置的深度传感器组件，以获取深度信息，并且基于来自所述深度传感器组件的深度信息，更新由所述计算装置保持的所述环境模型；和/或
根据所述基于事件的视觉传感器的监测，确定是否激活所述计算装置的相机，以获取所述环境的图像信息，并且基于来自所述相机的图像信息，更新由所述计算装置保持的所述环境模型。
2.根据权利要求1所述的方法，还包括：
从所述计算装置的所述相机和/或惯性测量单元获取运动信息；并且
基于所述运动信息，确定是否激活所述深度传感器组件，以获取所述环境的深度信息。
3.根据权利要求1至2中任一项所述的方法，还包括：使用所述环境模型来确定是否激活所述深度传感器组件，以预测事件发生。
4.根据权利要求1至2中任一项所述的方法，还包括：使用所述环境模型的预测光流来确定是否激活所述深度传感器组件。
5.根据权利要求1至2中任一项所述的方法，进一步使用所述计算装置的估计姿态来确定是否更新所述环境模型。
6.根据权利要求1至2中任一项所述的方法，还包括：如果所述环境模型未预测到由所述基于事件的视觉传感器检测到的事件，则仅更新所述环境模型。
7.根据权利要求1至2中任一项所述的方法，其中，对于所述基于事件的视觉传感器的像素，所述基于事件的视觉传感器将关闭事件检测为光强的离散降低和/或将打开事件检测为光强的离散增加。
8.根据权利要求7所述的方法，其中，所述基于事件的视觉传感器包括比较器，所述比较器将感光器信号和过去的感光器信号之间的差异与阈值进行比较，以确定所述关闭事件和/或打开事件。
9.根据权利要求1至2中任一项所述的方法，其中，所述计算装置是移动计算装置。
10.一种计算装置，包括：
一个或多个基于事件的视觉传感器，用于监测环境；
相机，用于产生所述环境的图像信息；
深度传感器组件，用于监测所述环境；以及
处理器组件，所述处理器组件监测所述基于事件的视觉传感器、相机和所述深度传感器组件，并且所述处理器组件根据所述基于事件的视觉传感器的响应来确定是否激活所述深度传感器组件以获取深度信息并且基于来自所述深度传感器组件的深度信息，更新由所述计算装置保持的所述环境模型，和/或确定是否激活所述相机，以获取所述环境的图像信息，并且基于来自所述相机的图像信息，更新由所述计算装置保持的所述环境模型。
11.根据权利要求10所述的计算装置，其中，所述处理器组件还从惯性测量单元获取运动信息或所述计算装置的相机的图像信息，并且所述处理器组件基于所述运动信息或图像信息，确定是否激活所述深度传感器组件以获取所述深度信息，或激活所述相机以获取所述环境的图像信息。
12.根据权利要求10或11所述的计算装置，其中，所述处理器组件使用环境模型来确定是否激活所述深度传感器组件以预测事件发生。
13.根据权利要求10或11所述的计算装置，其中，所述处理器组件使用所述环境模型的预测光流来确定是否激活所述深度传感器组件。
14.根据权利要求10或11所述的计算装置，其中，所述处理器组件使用所述计算装置的估计姿态来确定是否更新所述环境模型。
15.根据权利要求10或11所述的计算装置，其中，所述处理器组件仅在所述环境模型未预测到由所述基于事件的视觉传感器检测到的事件的情况下更新所述环境模型。
16.根据权利要求10或11所述的计算装置，其中，对于所述基于事件的视觉传感器的像素，所述基于事件的视觉传感器将关闭事件检测为光强度的离散降低和/或将打开事件检测为光强度的离散增加。
17.根据权利要求16所述的计算装置，其中，所述基于事件的视觉传感器包括比较器，所述比较器将感光器信号和过去的感光器信号之间的差异与阈值进行比较，以确定所述关闭事件和/或打开事件。
18.根据权利要求10或11所述的计算装置，其中，所述计算装置是移动计算装置。
CN202080009520.2A 2019-01-25 2020-01-25 使用基于事件的视觉传感器的环境模型保持 Active CN113316755B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962796742P 2019-01-25 2019-01-25
US62/796,742 2019-01-25
PCT/IB2020/050588 WO2020152655A1 (en) 2019-01-25 2020-01-25 Environmental model maintenance using event-based vision sensors

Publications (2)

Publication Number Publication Date
CN113316755A CN113316755A (zh) 2021-08-27
CN113316755B true CN113316755B (zh) 2024-04-23

Family

ID=69423359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080009520.2A Active CN113316755B (zh) 2019-01-25 2020-01-25 使用基于事件的视觉传感器的环境模型保持

Country Status (5)

Country Link
US (1) US20220060622A1 (zh)
EP (1) EP3914995A1 (zh)
KR (1) KR20210117289A (zh)
CN (1) CN113316755B (zh)
WO (1) WO2020152655A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11588987B2 (en) * 2019-10-02 2023-02-21 Sensors Unlimited, Inc. Neuromorphic vision with frame-rate imaging for target detection and tracking
CA3166706A1 (en) * 2020-02-07 2021-08-12 Telefonaktiebolaget Lm Ericsson (Publ) Monocular camera activation for localization based on data from depth sensor
US20220108000A1 (en) * 2020-10-05 2022-04-07 Lenovo (Singapore) Pte. Ltd. Permitting device use based on location recognized from camera input
CN112505661A (zh) * 2020-11-23 2021-03-16 Oppo（重庆）智能科技有限公司 像素控制方法、像素模组、装置、终端及存储介质
WO2023175890A1 (ja) * 2022-03-18 2023-09-21 株式会社ソニー・インタラクティブエンタテインメント センサシステムおよびセンシング方法
WO2024058471A1 (ko) * 2022-09-15 2024-03-21 삼성전자 주식회사 단일의 디스플레이 모듈 또는 복수의 디스플레이 모듈들을 이용하여 가상 객체를 표시하는 웨어러블 장치 및 그 제어 방법
CN117451030B (zh) * 2023-10-25 2024-06-14 哈尔滨工业大学 一种基于场景自适应的多模态融合slam方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160072477A (ko) * 2014-12-15 2016-06-23 전자부품연구원 주변 환경 모델링 방법 및 이를 수행하는 장치
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
DE102016225915A1 (de) * 2016-12-21 2018-06-21 Robert Bosch Gmbh System und Verfahren zur Umfelderfassung eines Fahrzeugs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160072477A (ko) * 2014-12-15 2016-06-23 전자부품연구원 주변 환경 모델링 방법 및 이를 수행하는 장치
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法

Also Published As

Publication number Publication date
EP3914995A1 (en) 2021-12-01
KR20210117289A (ko) 2021-09-28
CN113316755A (zh) 2021-08-27
WO2020152655A1 (en) 2020-07-30
US20220060622A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
CN113316755B (zh) 使用基于事件的视觉传感器的环境模型保持
US10242454B2 (en) System for depth data filtering based on amplitude energy values
CN109076145B (zh) 用于主动式照明深度相机的自动范围控制
US8175336B2 (en) Target tracker
US8803978B2 (en) Computer vision-based object tracking system
US10302810B2 (en) Use of thermopiles to detect human location
TW201939940A (zh) 具有使用多階段讀出的數位像素陣列之影像感測器以及執行影像處理作業的方法
US9530051B2 (en) Pupil detection device
US20140037135A1 (en) Context-driven adjustment of camera parameters
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
US10255683B1 (en) Discontinuity detection in video data
CN109903324B (zh) 一种深度图像获取方法及装置
KR20120045667A (ko) 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법
KR20240024277A (ko) 시선 분류
US9313376B1 (en) Dynamic depth power equalization
CN115088244A (zh) 用于基于来自单目相机的数据进行定位的深度传感器激活
US10521964B1 (en) Switching among disparate simultaneous localization and mapping (SLAM) methods in virtual, augmented, and mixed reality (xR) applications
US10540809B2 (en) Methods and apparatus for tracking a light source in an environment surrounding a device
US11886637B2 (en) Transparent smartphone
US11682368B1 (en) Method of operating a mobile device
CN110908500B (zh) 目标物信息的预载显示方法及装置
US20210302587A1 (en) Power-efficient hand tracking with time-of-flight sensor
US20190383615A1 (en) SCALABALE SIMULTANEOUS LOCALIZATION AND MAPPING (SLAM) IN VIRTUAL, AUGMENTED, AND MIXED REALITY (xR) APPLICATIONS
CN118119966A (zh) 用于获得暗电流图像的系统和方法
US20230171492A1 (en) Autofocus imaging circuitry, autofocus imaging apparatus, and autofocus imaging method for an event camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant