CN110785728B - 使用电磁辐射的对象检测和运动识别 - Google Patents

使用电磁辐射的对象检测和运动识别 Download PDF

Info

Publication number
CN110785728B
CN110785728B CN201880041600.9A CN201880041600A CN110785728B CN 110785728 B CN110785728 B CN 110785728B CN 201880041600 A CN201880041600 A CN 201880041600A CN 110785728 B CN110785728 B CN 110785728B
Authority
CN
China
Prior art keywords
electromagnetic radiation
power level
receivers
emitters
logic unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880041600.9A
Other languages
English (en)
Other versions
CN110785728A (zh
Inventor
胡安·巴勃罗·福雷罗·科尔特斯
圣地亚哥·奥尔特加·阿维拉
赛义德·萨迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110785728A publication Critical patent/CN110785728A/zh
Application granted granted Critical
Publication of CN110785728B publication Critical patent/CN110785728B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

在一个实施例中,一个或多个系统可以包括多个电磁辐射发射器和接收器。每个发射器和每个接收器可以分别对应于不同的视场。一个或多个系统可以根据照明模式来激活发射器中的至少一些。然后,一个或多个接收器可以检测从对象反射的电磁辐射的至少一部分。一个或多个系统可以至少基于照明模式和一个或多个接收器检测到的电磁辐射,在至少一个接收器的视场中进一步检测对象的存在或对象的运动。

Description

使用电磁辐射的对象检测和运动识别
技术领域
本公开总体上涉及对象的电子检测。
背景技术
智能设备和电子系统可以监视用户的健康状况、日常活动、活动、习惯、喜好等。可以通过与智能设备和电子系统的交互来实现监视。出于多种考虑(例如卫生、安全性、便利性、增加功能等),这种交互可以是非触摸式的。因此,可能需要在不触摸任何控制器的情况下进行空中手交互以实现人与智能设备和电子系统之间的有效交互。空中手交互可能具有多种优势,包括在用户与设备或系统之间提供更大的交互空间,在交互期间为用户提供更大的自由度,消除了无需触摸的卫生问题,便利性,隐私保护,直观性等。空中交互可能需要有效地检测和定位对象,对对象进行运动跟踪以及对对象进行运动识别。用于上述任务的现有解决方案主要使用传感器的不同组合,包括超声、激光、磁场、相机、非聚焦光接收器和雷达。然而,这些解决方案相对昂贵,需要许多计算和处理资源,并且能量效率相对较差。
附图说明
图1示出了在多个使用情况下的非触摸感测的示例场景。
图2示出了非触摸感测系统的示例原型。
图3示出了非触摸感测系统的另一示例原型。
图4示出了检测对象并识别运动的非触摸感测系统的示例结构。
图5示出了非触摸感测系统的示例后端流程图。
图6示出了低等级逻辑单元的操作的示例功能图。
图7示出了高等级逻辑单元的操作的示例功能图。
图8示出了高等级逻辑单元确定动作的示例流程图。
图9示出了高等级逻辑单元计算能量分布的示例流程图。
图10示出了高等级逻辑单元计算对象稳定性的示例流程图。
图11示出了用于基于电磁辐射感测对象的示例方法。
图12示出了示例计算机系统。
具体实施方式
本文描述的非触摸感测系统的特定实施例可以允许用户使用空中手交互与非触摸感测系统交互。为了实现该目标,非触摸感测系统可以使用电磁辐射(例如,近红外光)通过跟踪手的运动并检测在三维(3D)交互空间中执行的手势来以低成本和低计算负载感测空中手交互。在特定实施例中,非触摸感测系统可以使用一个或多个红外LED(发光二极管)和一个或多个光电二极管来感测空中手交互。因此,对应于交互的所获取的数据可以更紧凑并且更容易处理,这更加经济。在一些实施例中,数据的帧可以仅包含几个字节的长度,这可以允许使用有效的计算技术的组合解决方案来重构和处理数据。在一些实施例中,非触摸感测系统可以使用由具有单个核的微控制器和一组传感器执行的一组算法来分析数据并获得空中交互的准确检测。
本文描述的非触摸感测系统的特定实施例可以具有相对较高的感测分辨率,尤其是在与相对最小的处理和能量需求相比时。非触摸感测系统的特定实施例可以采取小型且可调适的形式,因此可以根据应用需求在必要时嵌入。非触摸感测系统的特定实施例可以包括有效的算法,以最小的计算成本实时处理由传感器实时获取的数据,这可以使得空中交互可以应用于更广泛的设备和系统。尽管本公开描述并示出了用于检测、跟踪和识别空中对象和运动的特定的非触摸感测系统,但是本公开以任何合适的方式设想了用于检测、跟踪和识别空中对象和运动的任何合适的非触摸感测系统。
图1示出了在各种使用情况下的示例非触摸感测系统。作为示例而非限制,非触摸感测系统可以检测到对象(例如手)在其视场中,例如非触摸感测系统的一个或多个LED或光电二极管的视场。作为另一示例而非限制,非触摸感测系统可以进一步使用随机(概率)方法来估计是否存在检测到的对象和/或是否正在移动。非触摸感测系统可以另外使用一种或多种算法来识别所检测到的对象的运动(例如,手势)。因此,可以检测和识别来自用户的空中交互,这可以进一步用作用于不同应用的命令(例如,用于VR拳击游戏的猛击命令)。非触摸感测系统可以包括基于具有简单结构、低成本和低功耗的多个组件的多个感测模块。例如,这些组件可以包括LED和光电二极管。使用简单、便宜且省电的组件和随机方法可以使非触摸感测系统具有一个或多个优点。一个优点可以包括在电池和计算方面节省功率。另一个优点可以包括不需要计算对象的弹射的飞行时间。另一优点可以包括由于使用多个感测模块而无需相机,其中每个感测模块对应于一个像素。另一个优点可以包括不需要机器学习算法来检测、跟踪和识别空中对象和运动。相反,非触摸感测系统可以使用相对简单的数学计算。本文描述的非触摸感测系统的特定实施例也可以是小型的、可调适的、便宜的且计算有效的。非触摸感测系统可以与用于多个使用情况的多个设备和系统集成在一起。例如,如图1中所示,非触摸感测系统可以与智能手表、汽车系统、智能电话、公共显示器、笔记本电脑、医疗设备、家用电器和/或智能电视集成。尽管本公开示出了涉及与非触摸感测系统进行空中交互的特定场景和多个特定使用情况,但是本公开以任何合适的方式设想了涉及与任何合适的非触摸感测系统进行空中交互的任何合适的场景以及任何合适的使用情况。
图2示出了非触摸感测系统200的示例原型。在特定实施例中,非触摸感测系统200可以包括多个电磁辐射发射器202。作为示例而非限制,电磁辐射可以包括近红外(NIR)光。每个发射器202可以包括一个或多个发光二极管(LED),并且可以对应于不同的视场。例如,每个发射器202可以指引向或指向不同的视场。在特定实施例中,非触摸感测系统200还可以包括多个电磁辐射接收器203。每个接收器203可以包括一个或多个光电二极管,并且可以对应于不同的视场。在特定实施例中,非触摸感测系统200还可以包括一个或多个具体实现指令的非暂时性存储介质。在特定实施例中,非触摸感测系统200可以另外包括一个或多个处理器。一个或多个处理器可操作于执行指令而根据照明模式激活发射器202中的至少一些。一个或多个处理器另外可操作于执行指令,以至少基于照明模式和一个或多个接收器203接收或检测到的电磁辐射而在至少一个接收器203的对应视场中检测对象的存在或对象的运动。
在特定实施例中,非触摸感测系统200可以包括多个感测模块201。多个感测模块201中的每一个可以包括多个电磁辐射发射器202中的一个或多个发射器202。同一感测模块201中的每个发射器202可以具有相同的视场或不同的视场。多个感测模块201中的每一个还可以包括多个电磁辐射接收器203中的一个或多个接收器203。多个感测模块201中的每一个可以另外包括一个或多个微控制器。在特定实施例中,多个感测模块201中的每一个的一个或多个微控制器可以被配置成与控制板205通信。多个感测模块201中的每一个的一个或多个微控制器可以被配置成还调制对应的感测模块201的一个或多个发射器202发射的电磁辐射。多个感测模块201中的每一个的一个或多个微控制器可以被配置成另外调节对应的感测的一个或多个发射器202的发射功率。多个感测模块201中的每一个的一个或多个微控制器可以被配置成进一步处理对应的感测模块201的一个或多个接收器203接收的电磁辐射。尽管本公开描述了感测模块中的传感器、接收器以及微控制器的各个方面,但本公开设想了那些组件可以与感测模块分开地在非触摸感测系统中实现,感测模块可以仅包括那些组件中的一些,和/或感测模块可以包括非触摸感测系统的附加组件。
在特定实施例中,非触摸感测系统200还可以包括一个或多个控制模块204。非触摸感测系统200可以是模块化设计,这可以允许非触摸感测系统200中感测模块201的不同物理分布和不同数量的感测模块201。模块化设计还可以允许非触摸感测系统200的更好的可扩展性。作为示例而非限制,如图2中所示,非触摸感测系统200可以包括八个感测模块201、一个控制模块204以及跨非触摸感测系统200表面的一个控制板205。控制模块204可以位于控制板205的中心。八个感测模块201中的四个可以位于控制板205的角部处,并且向外成特定角度、预设角度或预定角度。其余四个感测模块201可以位于控制板205的边缘处并且是面向前的。尽管本公开示出了非触摸感测系统的特定原型,但是本公开以任何合适的方式设想了非触摸感测系统的任何合适的原型。作为示例而非限制,图3示出了非触摸感测系统200的另一示例原型。非触摸感测系统200可以包括五个感测模块201、一个控制模块204和一个控制板205。四个感测模块201可以位于控制板205的角部处,而其余一个可以位于控制板205的中心。
在特定实施例中,非触摸感测系统200可以基于不同的任务而不同地对多个感测模块201设置优先级。作为示例而非限制,如果非触摸感测系统200正在识别对象的运动(例如,手势),则非触摸感测系统的边缘处的感测模块(例如控制板205的拐角处的感测模块201)的优先级可以高于其他感测模块201。作为另一示例而非限制,如果非触摸感测系统200正在确定对象的位置,则多个感测模块201中的每一个可以具有相同的优先级。作为另一示例而非限制,如果非触摸感测系统200正在跟踪对象的运动,则非触摸感测系统200可以使用前述两种策略对多个感测模块201设置优先级。在特定实施例中,非触摸感测系统200可以以不同模式(例如,照明模式)激活多个感测模块201中的发射器。作为示例而非限制,非触摸感测系统200可以按顺序激活图2中的示例原型的多个感测模块201中的发射器。更具体而言,在一些实施例中,非触摸感测系统200可以一次(例如,同时)激活一个感测模块201中的发射器,并且在激活这一个感测模块中的发射器之后,激活所有感测模块的所有接收器。当一个感测模块201的发射器被激活时,其他感测模块201保持不活动。非触摸感测系统200可以以此方式继续激活其他感测模块201中的发射器,直到所有感测模块201都已经被激活。作为另一示例而非限制,非触摸感测系统200可以以下列方式激活图3中的示例原型的多个感测模块201中的发射器。非触摸感测系统200可以首先激活控制板205的角部处的感测模块201中的发射器,然后激活位于控制板205中心的感测模块201中的发射器。非触摸感测系统200然后还可以如先前示例中所示顺序地激活所有感测模块201的发射器。如该示例所示,非触摸感测系统可以顺序地实现多个不同的照明模式。尽管本公开说明了激活各种感测模块的发射器的特定方式,但是本公开设想了以任何合适的方式来激活感测模块的任何合适的途径。
在特定实施例中,非触摸感测系统200可以被配置有关于不同组件的特定参数。作为示例而非限制,多个感测模块201中的两个之间的距离可以是特定值。例如,该距离可以是2cm或更小。作为另一示例而非限制,多个感测模块201的隔离壁的高度可以是特定值。例如,该高度可以是4mm。作为另一示例而非限制,多个感测模块201的隔离壁的材料可以是特定类型的材料。例如,该材料可以是光敏树脂RS-F2-GPBK-04。作为另一示例而非限制,由多个感测模块201的发射器使用的功率可以处于特定等级。例如,每个感测模块201可以以1200μs的脉冲串发射2.6mW的电磁辐射。每个感测模块201可以在一秒内激活约100ms。如图2中所示的非触摸感测系统200的示例原型可以具有八个感测模块201。因此,所有八个感测模块201可以每秒消耗大约2mW。作为另一示例而非限制,多个感测模块201的接收器的视场可以是特定范围。例如,视场可能为150度(即相对于传感器法线方向为-75°~+75°)。如果发射器以小于-75°的角度放置,则接收器接收的功率可以是该发射器功率的一半或小于一半。尽管本公开示出了非触摸感测系统的特定参数,但是本公开以任何合适的方式设想了非触摸感测系统的任何合适的参数。
在特定实施例中,非触摸感测系统200可以以57.6KHz调制发射的NIR光,并以短脉冲串发送以减少诸如日光或室内荧光灯等环境噪声。在特定实施例中,接收器203的光电二极管可以具有在940nm处的波长灵敏度峰值、带通滤波器和自动增益控制模块。在特定实施例中,接收器203可以检测NIR光的包络并且动态地调整增益以补偿不同的环境光。在特定实施例中,非触摸感测系统200可以使用数字电位计通过对应的微控制器来完全控制每个感测模块201的每个发射器202的发射功率。因此,非触摸感测系统200可以精确地管理每个感测模块201辐射的总能量。在特定实施例中,控制板205可以包括微控制器、电源管理部分和蓝牙收发器。控制板205可以同步到所有感测模块201。在特定实施例中,控制板205可以为非触摸感测系统200提供稳定的电源,协调所有感测模块201,聚类从接收器203收集的所有原始数据采样,并用处理和建模来自接收器203的原始数据采样的实体有效地处理诸如蓝牙通信等通信。
感测模块201的物理分布可能直接影响由X轴和Y轴测量的2D空间中的空间分辨率,并影响非触摸感测系统200的视场。作为示例而非限制,图2中所示的感测模块201的物理分布可以支持沿X轴和Y轴的两厘米的空间分辨率和沿Z轴的五十厘米深度范围的分辨率。此外,非触摸感测系统200可以调整发射器202的发射功率,这可以使得非触摸感测系统能够确定对象的深度。例如,接收器203可以从位于较大距离处的对象感知较少的反射NIR光。尽管本公开示出了非触摸感测系统的特定工作机制,但是本公开以任何合适的方式设想了非触摸感测系统的任何合适的工作机制。
图4示出了检测对象和/或识别运动的非触摸感测系统200的示例结构。在特定实施例中,非触摸感测系统200可以包括硬件和软件两者。硬件可以包括一个或多个控制模块204和多个感测模块201。硬件可以感测一个或多个发射器发射的NIR光。软件可以包括低等级逻辑单元600和高等级逻辑单元700。低等级逻辑单元600可以控制包括控制模块204和感测模块201两者的硬件。低等级逻辑单元600可以生成多个照明模式,调制和控制发射器202的发射功率,从多个接收器203获取原始数据采样,并基于获取的原始数据采样来构造原始数据帧。高等级逻辑单元700可以重构原始数据帧,对其进行解释并针对多个任务对其进行处理。任务可以包括确定对象的存在,确定对象相对于X轴和Y轴的位置(例如,与发射器分布的平面平行的平面),确定对象的运动角度,并识别对象在XY平面(例如,手势)上以及沿Z轴的运动(例如,推动动作)。尽管本公开示出了非触摸感测系统的特定结构,但是本公开以任何合适的方式设想了非触摸感测系统的任何合适的结构。
图5示出了非触摸感测系统200的示例后端流程图。在特定实施例中,非触摸感测系统200可以从步骤510开始。在步骤510处,非触摸感测系统200可以执行对视场中是否存在对象的预检测。作为示例而非限制,非触摸感测系统200的一个感测模块201可以以预定间隔(例如每秒)发射NIR光,以检测对象的存在并开始低等级处理。基于预检测结果,非触摸感测系统200可以确定是否实现一个或多个后续步骤。在特定实施例中,一个或多个后续步骤可以包括实现低等级逻辑单元600和实现高等级逻辑单元700。在步骤520处,非触摸感测系统200可以执行初始化以识别在步骤510检测到的对象的类型。作为示例而非限制,对象的类型可以包括手、手套或金属。非触摸感测系统200可以进一步基于对象的类型来调整发射器202相对于NIR光的功率等级。在步骤530处,非触摸感测系统200可以实现低等级逻辑单元600。在步骤540处,非触摸感测系统200可以实现高等级逻辑单元700。尽管本公开示出了非触摸感测系统的特定后端流程图,但是本公开以任何合适的方式设想了非触摸感测系统的任何合适的后端流程图。
图6示出了对应于图2中示出的非触摸感测系统200的示例原型的低等级逻辑单元600的操作的示例功能图。在特定实施例中,低等级逻辑单元600可以控制非触摸感测系统200的硬件。硬件可以包括控制模块204和感测模块201两者。图6中的低等级逻辑单元600可以包括在不同微处理器中运行的主逻辑单元601和从逻辑单元602。在特定实施例中,低等级逻辑单元600可以被嵌入在单个微控制器单元(MCU)中。在特定实施例中,低等级逻辑单元600可以包括定制的串行通信协议。因此,低等级逻辑单元600的所有模块之间的通信时间可以小于阈值时间量。在特定实施例中,低等级逻辑单元600可以另外包括额外信道,用于字节检测和原始数据矢量的同步以及固定的一组广播命令。尽管本公开示出了低等级逻辑单元的操作的特定功能图,但是本公开以任何合适的方式设想了低等级逻辑单元的操作的任何合适的功能图。
在特定实施例中,低等级逻辑单元600可以首先在步骤603处初始化不同的模块。在特定实施例中,低等级逻辑单元600可以生成多个照明模式。基于多个照明模式中的一个或多个,在步骤604处,主逻辑单元601可以为多个电磁辐射发射器202确定从多个预定义功率等级中选择的功率等级。主逻辑单元601可以在步骤608处将对应的命令发送到从逻辑单元602。从逻辑单元602可以在步骤609处接收这样的命令并运行该命令。主逻辑单元601还可以在步骤605处指示多个电磁辐射发射器202以选择的功率等级发射电磁辐射。类似地,主逻辑单元601可以在步骤608处将对应的命令发送到从逻辑单元602。从逻辑单元602可以在步骤609处接收该命令并运行该命令。作为示例而非限制,预定义的功率等级可以包括低能量、中能量和高能量。每个功率等级可以确定不同的相位。在每个阶段中,低等级逻辑单元600可以以下方式控制多个发射器202和多个接收器203。在特定实施例中,低等级逻辑单元600可以顺序地激活多个感测模块201中的每一个的一个或多个发射器202以确定的功率等级发射电磁辐射,使得一次仅一个感测模块201的发射器202是活动的。在激活任何感测模块201的一个或多个发射器202中的任何一个之后,非触摸感测系统200可以进行到感测原始数据采样的步骤606。主逻辑单元601还可以在步骤608处将对应的命令发送到从逻辑单元602。从逻辑单元602可以在步骤609处接收该命令并运行该命令。在步骤606处,非触摸感测系统200可以在每次针对多个感测模块201中的每一个激活一个或多个发射器202之后,在多个接收器203中的一个或多个处接收对应于确定的功率等级的反射电磁辐射。可以基于反射的电磁辐射是否到达多个接收器203中的一个或多个来选择多个接收器203中的一个或多个。
非触摸感测系统200可以顺序地激活多个感测模块201的一个或多个发射器202,感测原始数据采样,并且重复该过程,直到所有感测模块201都已经被激活。例如,如果非触摸感测系统200包括八个感测模块201,则该过程可以重复八次,如图2中所示。在所有发射器202已经被激活之后,低等级逻辑单元600可以确定另一功率等级并相应地开始另一阶段。低等级逻辑单元600可以继续确定功率等级,激活发射器202并在接收器203处接收反射的电磁辐射的循环,直到已经选择了所有预定的功率等级。例如,该循环可以对应于三个功率等级重复三次,如图6中所示。在特定实施例中,可以以30Hz的速率连续重复该循环。主逻辑单元601可以收集从接收器203接收的原始数据采样。主逻辑单元601然后可以在步骤607处编译原始数据采样。主逻辑单元601可以进一步将编译后的原始数据采样作为原始数据矢量610提供给在高等级逻辑单元700。在特定实施例中,低等级逻辑单元600可以生成包括多个字节的原始数据矢量。多个字节中的每一个基于:关于多个感测模块201中的每一个接收到的与多个预定义功率等级中的每一个相对应的电磁辐射。例如,如图6中所示,低等级逻辑单元可以输出24个字节的原始数据,其中每个字节表示感测模块以功率等级接收到的电磁辐射的功率。在特定实施例中,当感测模块包括多个接收器时,字节可以表示该感测模块的接收器接收的电磁辐射的平均功率。尽管本公开示出了基于特定照明模式来感测数据采样的特定方式,但是本公开以任何合适的方式设想了基于任何合适的照明模式来感测数据采样的任何合适途径。
在特定实施例中,低等级逻辑单元600可以使用与上述不同的照明模式来激活多个发射器202。作为示例而非限制,低等级逻辑单元600可以如下激活图3所示的非触摸感测系统200的示例原型的多个发射器202。低等级逻辑单元600可以首先激活在控制板205的角部处的多个感测模块201中的每一个的一个或多个发射器202,使其以确定的功率等级发射电磁辐射,使得在角部处的所有感测模块201的发射器202同时处于活动状态。然后,低等级逻辑单元600可以激活在控制板205中心的感测模块201的一个或多个发射器202,使其以确定的功率等级发射电磁辐射。低等级逻辑单元600可以进一步顺序地激活多个感测模块201中的每一个的一个或多个发射器202使其以确定的功率等级发射电磁辐射,使得一次仅一个感测模块201的发射器202处于活动状态。尽管本公开示出了激活用于非触摸感测系统的特定原型的发射器的特定方式,但是本公开以任何合适的方式设想了激活用于非触摸感测系统的任何合适的原型的发射器的任何合适的方式。
图7示出了高等级逻辑单元700的操作的示例功能图。在特定实施例中,高等级逻辑单元700可以被嵌入在单个MCU中。例如,高等级逻辑单元700可以通过180MHz 512KB闪存和128KB RAM微处理器实现每个数据帧1.5毫秒的处理速率。在特定实施例中,高等级逻辑单元700可以从低等级逻辑单元600接收诸如原始数据矢量等原始数据。原始数据矢量可以包括多个字节,每个字节对应于处于一个功率等级的一个感测模块201的接收器。作为示例而非限制,如果将三个功率等级与八个感测模块一起使用,则对应于图2的示例原型的原始数据矢量610可以包括二十四个字节。在特定实施例中,高等级逻辑单元700可以包括多个模块。作为示例而非限制,图7中示出的高等级逻辑单元700包括映射矩阵701和传感器原始702。利用映射矩阵701的模块,高等级逻辑单元700可以基于原始数据矢量610分别生成对应于多个预定义功率等级的多个数据矩阵。多个数据矩阵可以将感测模块201接收的总能量映射到虚拟物理空间中。例如,每个矩阵703、704和705可以表示非触摸感测系统的视场中的X-Y空间的区域。如图7中所示,X-Y空间的区域划分为28个单元(或区域)。每个区域对应于物理空间中的一组X-Y坐标。虽然由矩阵703、704和705表示的虚拟物理空间被划分为以特定几何配置布置的28个矩形区域,但是本公开设想了将非触摸感测系统的视场中的空间的XY区域划分为任何合适数量的以任何合适的几何形状布置的区域。
以图2的示例原型继续,高等级逻辑单元700可以生成分别对应于低能量、中能量和高能量的功率等级的三个数据矩阵,包括低能量矩阵703、中能量矩阵704和高能量矩阵705。每个数据矩阵可以包括对应于二十八个不同区域的二十八个字节。在特定实施例中,区域的数量、虚拟物理空间中区域的位置或两者都可以取决于所使用的感测模块的数量和那些传感器的物理配置。这二十八个区域中的每一个都是虚拟物理空间位置的表示。每个感测模块201可以在非触摸感测系统200中具有固定的物理位置。因此,每个感测模块201可以与特定区域或区域数量相关联。利用传感器原始模块702,在步骤715处,高等级逻辑单元700可以确定分别对应于多个预定义功率等级中的每一个的激活的发射器202的数量。尽管图7示出了高等级逻辑单元的操作的特定功能图,但是本公开以任何合适的方式设想了高等级逻辑单元的操作的任何合适的功能图。
在特定实施例中,高等级逻辑单元700可以基于多个步骤来确定对象的位置。对象可以悬停在非触摸感测系统200的视场内。作为示例而非限制,多个步骤可以包括补偿矩阵712、计算位置713和滤波原始位置714,如图7中所示。在特定实施例中,高等级逻辑单元700可以以下方式实现补偿矩阵712。高等级逻辑单元700可以首先对高能量矩阵705进行过滤,以从接收器203接收的原始数据采样中消除噪声信息。作为示例而非限制,原始数据采样可以包含与一个人的手和手臂相关的信息。但是与手臂相关的信息可能会带来不稳定和嘈杂的信息,这可能会对确定对象(例如,手)的位置和运动产生负面影响。因此,可能有必要消除与手臂相关的噪声信息。基于手臂可能总是从非触摸式感应系统200的视场的底部或侧面出现的假设,如果能量存在于高能量矩阵705的上部区域中,则高等级逻辑单元700可以从高能量矩阵705的下部区域减去能量。高能量矩阵705的上部区域可以被归一化和平均化,并且高能量矩阵705的下部区域可以相应地减小。尽管本公开示出了从数据采样中消除噪声信息的特定方式,但是本公开以任何合适的方式设想了从任何合适的数据采样中消除噪声信息的任何合适的途径。
在特定实施例中,在补偿高能量矩阵705之后,高等级逻辑单元700可以执行计算位置713。多个能量区域中的每一个可以在虚拟物理空间中具有能量和相关联的位置。因此,高等级逻辑单元700可以基于在该点处接收到的能量在一组X-Y坐标中对每个点加权。加权点可能有噪声。因此,高等级逻辑单元700可以通过实现多个滤波器来执行滤波器原始位置706。作为示例而非限制,多个滤波器可以包括两个滤波器,一个用于X轴上的坐标,另一个用于Y轴上的坐标。作为另一示例而非限制,多个滤波器可以是1欧滤波器。1欧滤波器是自适应低通滤波器。这些滤波器的益处可以包括有效地清除对象的原始位置,这可以进一步补偿对象的缓慢和快速运动。在特定实施例中,高等级逻辑单元700可以将滤波后的坐标作为对象的确定位置。尽管本公开示出了确定特定对象的位置的特定方式,但是本公开以任何合适的方式设想了确定任何合适的对象的位置的任何合适的途径。
在特定实施例中,在步骤706处,高等级逻辑单元700可以基于每个相邻感测模块201感知到的NIR光的功率量,来计算能量分布以估计每个区域所接收的能量量。该计算可以导致对应于多个预定义功率等级的多个能量分布。作为示例而非限制,可以获得分别对应于低能量、中能量和高能量的功率等级的三种能量分布,包括低级能量707、中级能量708和高级能量709。在特定实施例中,高等级逻辑单元700可以在步骤710处进一步计算对象的稳定性,以基于能量分布在步骤711处确定沿Z轴的运动。作为示例而非限制,高等级逻辑单元700可以在步骤710处计算手的稳定性以在步骤711处确定推动作。例如,可以通过分析在一个或多个能量矩阵的一个或多个区域中检测到的能量的时间变化来确定对象的稳定性。在特定实施例中,高等级逻辑单元700可以在步骤716处基于所确定的激活的发射器202的数量和所确定的对象的位置来确定在X-Y平面上的动作。作为示例而非限制,在步骤716处确定动作可以包括识别手势,确定手势的角度以及跟踪对象的位置。尽管本公开示出了能量分布和稳定性计算的特定关系,但是本公开以任何合适的方式设想了能量分布和稳定性计算的任何合适的关系。
图8示出了高等级逻辑单元700确定动作的示例流程图。作为示例而非限制,确定如图8所示的动作可以包括手跟踪802、手势识别803以及被分类为未定义动作804。在特定实施例中,高等级逻辑单元700可以首先在步骤801处评估激活的发射器202的数量是否大于阈值数量。在满足该标准之后,高等级逻辑单元700可以前进到后续步骤。在特定实施例中,如果超过阈值数量的发射器202被激活超过阈值的时间量,则高等级逻辑单元700可以基于所生成的数据矩阵(例如,低能量矩阵703、中能量矩阵704和高能量矩阵705)和所确定的激活的发射器202的数量来跟踪对象的运动(例如,手跟踪)。作为示例而非限制,阈值时间量可以是一秒。在特定实施例中,如果在预定义的时间范围内的持续时间内激活了多于阈值数量的发射器202,则高等级逻辑单元700可以基于所生成的数据矩阵(例如,低能量矩阵703、中能量矩阵704和高能量矩阵705)和所确定的激活的发射器202的数量来识别对象的运动(例如,手势识别)。作为示例而非限制,预定义的时间范围可以大于一百毫秒且小于一秒。在特定实施例中,如果多于阈值数量的发射器202被激活少于阈值时间量,则高等级逻辑单元700可以将对象的运动分类为未定义动作。作为示例而非限制,阈值时间可以是一百毫秒。在特定实施例中,高等级逻辑单元700可以以下方式执行运动识别(例如,手势识别)。在步骤805处,高等级逻辑单元700可以首先将关于X轴和Y轴的所有数据采样归一化。然后在步骤806处,高等级逻辑单元700可以计算沿X轴的轨迹和沿Y轴的轨迹。然后,高等级逻辑单元700可以在步骤807处使用反正切计算指示两个坐标之间关系的角度。作为示例而非限制,如果该角度小于45°,则高等级逻辑单元700可以将运动识别为横向滑动808;否则,高等级逻辑单元700可以将动作识别为垂直滑动810。如果运动是横向滑动808,则高等级逻辑单元700可以在步骤809处执行线性回归以找到最适合所有数据点的线的方程。因此,可以校正异常值,并且可以实现更准确的手势识别803。如果运动是垂直滑动810,则高等级逻辑单元700可以在步骤811处对收集了第一采样的第一点与随后的所有点之间的所有角度求和。高等级逻辑单元700可以进一步计算加和的角度的平均值作为手势的最终角度。因此,如本文所述,高等级逻辑单元700可以通过分析关于图7描述的能量矩阵的一个或多个能量区域的能量的时间变化来确定特定手势。尽管本公开示出了高等级逻辑单元确定动作的特定流程图,但本公开以任何合适的方式设想了高等级逻辑单元确定任何合适的动作的任何合适的流程图。
在特定实施例中,多个预定义功率等级可以对应于关于非触摸感测系统200的多个预定义深度。因此,高等级逻辑单元700可以基于接收器203接收到的能量的可变性来识别对象沿Z轴的运动(例如,用户的推动动作)。作为示例而非限制,以三个功率等级发射的NIR光(即,低能量、中能量和高能量)可以对应于三个最大感测距离,例如10cm、20cm和50cm。该距离可以基于反射NIR光的对象的表面而改变。因此,在特定实施例中,与特定能量级相关联的距离可以取决于上述初始化过程的结果。
在一些实施例中,发射的NIR光的功率与感测距离之间的相关性对于确定沿Z轴的动作可以是有用的。在一些实施例中,由于以下原因,这种相关性可能需要附加的处理或步骤来确定动作。首先,跨过对应于不同能量级的不同感测距离的手可以不必要地指示用户正在沿Z轴执行动作。取而代之,用户可能只是在非触摸式感应系统200上移动他/她的手。第二,用户可以执行推动动作而无需跨过对应于不同能量级的不同感测距离。第三,沿Z轴跨过对应于不同能量级的不同感测距离的推动动作的模式可以类似于沿X轴和Y轴的运动的模式。最后,在接收器203处相对于Z轴接收的数据采样的噪声可能非常大。至少部分地为了克服上述问题,高等级逻辑单元700可以基于包括计算能量分布706、计算稳定性710和确定推动711的多个步骤来确定推动动作。
图9示出了高等级逻辑单元700计算能量分布的示例流程图。在特定实施例中,高等级逻辑单元700可以首先分别使用掩蔽概率901来掩蔽中能量矩阵704和高能量矩阵705。掩蔽概率901可以分别包含对应于多个区域中的每个区域的多个概率。作为示例而非限制,该概率可以指示从手而不是手臂反射在对应区域处检测到的能量的概率。在特定实施例中,然后高等级逻辑单元700可以单独地处理掩蔽的中能量矩阵902和掩蔽的高能量矩阵903。关于掩蔽的高能量矩阵903,在步骤904处,高等级逻辑单元700可以选择具有最高能量的四个区域,并在这四个区域周围绘制一个区域。然后,在步骤906之后,高等级逻辑单元700可以为屏蔽的高能量矩阵903生成影响区域定义的高能量分布矩阵908。因此,所有高能量可以集中在特定区域中。在特定实施例中,高等级逻辑单元700可以另外使用掩蔽的中能量矩阵902来校正和缓和影响区域定义的高能量分布矩阵908。关于掩蔽的中能量矩阵902,高等级逻辑单元700可以首先在步骤904处选择具有最高概率的两个区域。然后,高逻辑单元700可以在步骤905处使用高斯分布来对具有两个最高概率的被掩蔽的中能量矩阵902进行掩蔽。用于被掩蔽的中能量矩阵902的中能量分布矩阵907可以相应地生成,并且两个最高概率可以指示两个高斯分布的峰值。在特定实施例中,高等级逻辑单元700然后可以基于矩阵907和矩阵908创建具有明显能量峰值和适当分布的影响区域的能量簇。所创建的能量簇还可以具有低噪声、低延迟和低漂移。所创建的能量簇可以另外软化由所有轴上的手运动引起的能量峰值。在特定实施例中,高等级逻辑单元700可以在步骤909处进一步将矩阵908的总能量和矩阵907的总能量进行求和,这可以导致高级能量709。在特定实施例中,高等级逻辑单元700还可以在步骤909处对矩阵907的总能量进行求和,这可以导致中级能量708。尽管本公开示出了高等级逻辑单元计算能量分布的特定流程图,但是本公开以任何合适的方式设想了高等级逻辑单元计算任何合适的能量分布的任何合适的流程图。
图10示出了高等级逻辑单元700计算对象的稳定性的示例流程图。作为示例而非限制,高等级逻辑单元700可以检测用户是否在非常短的时间内使他/她的手保持稳定。在特定实施例中,高等级逻辑单元700可以使用例如1欧滤波器1001来对中级能量708进行滤波。高等级逻辑单元700可以进一步对滤波后的中级能量进行矢量化,这可以导致矢量MLE(中级能量)1002。在特定实施例中,高等级逻辑单元700可以使用1欧滤波器1001对高级能量709进行滤波。高等级逻辑单元700可以进一步对滤波后的高级能量进行矢量化,这可以获得矢量HLE(高级能量)1003。高等级逻辑单元700可以将矢量MLE 1002和矢量HLE 1003存储在两个不同的列表中。在特定实施例中,高等级逻辑单元700还可以对高能量矩阵705进行矢量化,这可以导致矢量矩阵1004。高等级逻辑单元700可以将矢量矩阵1004存储在另一个列表中。在特定实施例中,在步骤1005处,高等级逻辑单元700可以计算包括矢量MLE1002、矢量HLE 1003和矢量矩阵1004的所有矢量化矩阵的相关性。所计算的相关性值可以指示这些矢量化矩阵之间的相似度。在特定实施例中,如果相关值非零,则高等级逻辑单元700可以将相关值用作动态阈值截断算法1007的输入。在特定实施例中,如果相关值为零,则高等级逻辑单元700可以将由随机数发生器生成的随机数用作动态阈值截断算法1007的输入。在特定实施例中,动态阈值截断算法1007可以基于对应于对象的运动的数据的标准偏差,生成指示关于对象的运动的信息正在改变多少的可变性指数。在特定实施例中,如果可变性指数在阈值时间段内低于阈值,则动态阈值截断算法1007可以进一步确定对象是稳定的。尽管本公开示出了高等级逻辑单元计算对象的稳定性的特定流程图,但是本公开以任何合适的方式设想了高等级逻辑单元计算任何合适的对象的任何合适的稳定性的任何合适的流程图。
在特定实施例中,如果通过动态阈值截断算法1007确定对象是稳定的,则可以触发沿Z轴的运动识别。作为示例而非限制,如果确定用户的手是稳定的,则可以触发确定推动711。在特定实施例中,然后高等级逻辑单元700可以分析能量级并计算每个能量级的数据采样之间的导数以找到数据采样的趋势。在特定实施例中,高等级逻辑单元700可以进一步加权中级能量708和高级能量709的趋势,从而获得独有值。如果独有值是负的,则高等级逻辑单元700可以确定该动作是推动。尽管本公开示出了确定推动动作的特定方式,但是本公开以任何合适的方式设想了确定推动动作的任何合适的途径。
在特定实施例中,非触摸感测系统200可以在非触摸感测系统200的前面创建半径大约为五十厘米的3D交互空间。作为示例而非限制,非触摸感测系统200可以确定进入感测空间的手的位置并识别在视场中执行的手势。手势可以包括横向滑动、垂直滑动和推动。非触摸感测系统200可以通过以不同方式对3D交互空间建模,改变感测模块201的物理分布,改变感测模块201的数量和/或改变照明模式来另外识别其他手势。非触摸感测系统200的优点可以包括需要很少的感测元件信息、低的计算负载和低成本。因此,非触摸感测系统200可以与用于多种应用的多个设备和系统集成在一起。作为示例而非限制,非触摸感测系统200可以与可穿戴设备集成在一起,该可穿戴设备包括智能手表、虚拟现实耳机、健身腕带、耳机、智能手套等。作为另一示例而非限制,非触摸感测系统100可以与便携式设备集成在一起,该便携式设备包括电子阅读器、平板计算机、智能手机、数码相机、运动相机、笔记本电脑、音乐系统、便携式游戏设备等。作为另一示例而非限制,非触摸感测系统200可以与家用电器和设备集成在一起,这些家用电器和设备包括智能电视、计算机、电视遥控器、游戏系统控制器、DJ混音器、键盘等。作为另一个示例而非限制,由于空中交互是高度卫生的,因此非触摸式感应系统200可以与医疗设备集成和/或在无菌环境中集成在一起,例如与监视器、床、药品架、透析机、实验室设备等结合使用。作为另一示例而非限制,由于非触摸感测系统200提供直观且无缝的交互,因此非触摸感测系统200可以被集成到汽车中以控制汽车娱乐系统、空调等。作为另一示例而非限制,由于卫生和直观的交互,因此非触摸感测系统200可以与公共空间系统集成在一起,该公共空间系统包括公共显示器、电梯、ATM机、商店橱窗、售票机等。作为另一示例而非限制,由于空中交互不留下物理痕迹,因此非触摸感测系统200可以与可能潜在危害用户安全和隐私的设备集成在一起,该设备包括ATM机、密码锁、保险箱、公共键盘等。尽管本公开示出了非触摸感测系统的特定应用,但是本公开以任何合适的方式预期了非触摸感测系统的任何合适的应用。
图11示出了用于基于电磁辐射感测对象的示例性方法1100。在步骤1101处,可以根据照明模式来激活发射器202中的至少一些。例如,可以基于低能量的功率等级来生成照明模式。该方法可以通过指示这些发射器202以低能量的功率等级发射电磁辐射而基于该特定的照明模式来激活发射器202中的至少一些。在步骤1102处,该方法可以至少基于照明模式和一个或多个接收器203检测到的电磁辐射,在至少一个接收器203的视场中检测对象的存在或对象的运动,其中一个或多个接收器203检测到的电磁辐射的至少一部分从对象反射到一个或多个接收器203。例如,在发射器202以低能量的功率等级发射电磁辐射之后,如果对象在视场内,则电磁辐射可能会被对象反射回去。反射的电磁辐射可以到达一些接收器203,但是不能到达其他接收器203,这意味着一些接收器203可以获取数据采样,而其他接收器203则不能。然后该方法可以基于在一些接收器203处接收到的数据采样来检测对象的存在或对象的运动。
特定实施例可以在适当的情况下重复图11的方法的一个或多个步骤。尽管本公开将图11的方法的特定步骤描述并示出为以特定顺序发生,但是本公开设想了图11的方法的任何合适步骤以任何合适的顺序发生。此外,尽管本公开描述并示出了用于基于电磁辐射感测对象的示例方法,包括图11的方法的特定步骤,但是本公开设想了用于基于电磁辐射感测对象的任何合适的方法,其在适当的情况下可以包括图11的方法的所有、一些或全部步骤。此外,尽管本公开描述和示出了执行图11的方法的特定步骤的特定组件、设备或系统,但是本公开设想了执行图11的方法的任何合适步骤的任何合适组件、设备或系统的任何合适组合。
图12示出了示例计算机系统1200。在特定实施例中,一个或多个计算机系统1200执行本文描述或示出的一种或多种方法的一个或多个步骤。在特定实施例中,一个或多个计算机系统1200提供本文描述或示出的功能。在特定实施例中,在一个或多个计算机系统1200上运行的软件执行本文描述或示出的一种或多种方法的一个或多个步骤,或者提供本文描述或示出的功能。特定实施例包括一个或多个计算机系统1200的一个或多个部分。本文中,在适当的情况下,对计算机系统的引用可以包括计算设备,反之亦然。此外,在适当的情况下,对计算机系统的引用可以包括一个或多个计算机系统。
本公开设想了任何合适数量的计算机系统1200。本公开设想了采用任何合适物理形式的计算机系统1200。作为示例而非限制,计算机系统1200可以是嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(诸如例如,模块上计算机(COM)或模块上系统(SOM))、台式计算机系统、便携式计算机或笔记本电脑系统、交互式信息亭、大型机、计算机系统网格、移动电话、个人数字助理(PDA)、服务器、平板计算机系统、增强/虚拟现实设备或其中两个或多个的组合。在适当的情况下,计算机系统1200可以包括一个或多个计算机系统1200;单一的或分布式的;跨多个位置;跨多台机器;跨多个数据中心;或驻留在云中,云可以包括一个或多个网络中的一个或多个云组件。在适当的情况下,一个或多个计算机系统1200可以在没有实质性的空间或时间限制的情况下执行本文描述或示出的一种或多种方法的一个或多个步骤。作为示例而非作为限制,一个或多个计算机系统1200可以实时或以批处理模式执行本文描述或示出的一种或多种方法的一个或多个步骤。在适当的情况下,一个或多个计算机系统1200可以在不同的时间或在不同的位置执行本文描述或示出的一种或多种方法的一个或多个步骤。
在特定实施例中,计算机系统1200包括处理器1202、存储器1204、存储装置1206、输入/输出(I/O)接口1208、通信接口1210和总线1212。尽管本公开描述和示出了在特定布置中具有特定数量的特定组件的特定计算机系统中,但是本公开设想了在任何合适布置中具有任何合适数量的任何合适组件的任何合适计算机系统。
在特定实施例中,处理器1202包括用于执行指令(例如构成计算机程序的指令)的硬件。作为示例而非限制,为了执行指令,处理器1202可以从内部寄存器、内部高速缓存、存储器1204或存储装置1206中检索(或取出)指令;解码并执行它们;然后将一个或多个结果写入内部寄存器、内部高速缓存、存储器1204或存储装置1206。在特定实施例中,处理器1202可以包括用于数据、指令或地址的一个或多个内部高速缓存。在适当的情况下,本公开设想了包括任何合适数量的任何合适内部缓存的处理器1202。作为示例而非限制,处理器1202可以包括一个或多个指令高速缓存、一个或多个数据高速缓存以及一个或多个转换后备缓冲器(TLB)。指令高速缓存中的指令可以是存储器1204或存储装置1206中的指令的副本,并且指令高速缓存可以加速处理器1202对那些指令的检索。数据高速缓存中的数据可以是用于在处理器1202处执行以进行操作的指令的存储器1204或存储装置1206中的数据副本;在处理器1202处执行以供在处理器1202处执行的后续指令进行访问或写入存储器1204或存储装置1206的先前指令的结果;或其他合适的数据。数据高速缓存可以加快处理器1202的读取或写入操作。TLB可以加快处理器1202的虚拟地址转换。在特定实施例中,处理器1202可以包括用于数据、指令或地址的一个或多个内部寄存器。在适当的情况下,本公开设想了包括任何合适数量的任何合适内部寄存器的处理器1202。在适当的情况下,处理器1202可以包括一个或多个算术逻辑单元(ALU);可以是多核处理器;或包括一个或多个处理器1202。尽管本公开描述和示出了特定的处理器,但是本公开设想了任何合适的处理器。
在特定实施例中,存储器1204包括主存储器,该主存储器用于存储供处理器1202执行的指令或供处理器1202对其进行操作的数据。作为示例而非限制,计算机系统1200可以将来自存储装置1206或另一源(例如,另一计算机系统1200)的指令加载到存储器1204。然后处理器1202可以将来自存储器1204的指令加载到内部寄存器或内部高速缓存。为了执行指令,处理器1202可以从内部寄存器或内部高速缓存检索指令并对其进行解码。在指令执行期间或之后,处理器1202可以将一个或多个结果(可以是中间或最终结果)写入内部寄存器或内部高速缓存。然后,处理器1202可以将那些结果中的一个或多个写入存储器1204。在特定实施例中,处理器1202仅执行一个或多个内部寄存器或内部高速缓存或存储器1204(与存储装置1206相反或其他位置)中的指令,并且仅对一个或多个内部寄存器或内部高速缓存或存储器1204(与存储装置1206相反或其他位置)中的数据进行操作。一个或多个存储器总线(可以各自包括地址总线和数据总线)可以将处理器1202耦合到存储器1204。总线1212可以包括一个或多个存储器总线,如下所述。在特定实施例中,一个或多个存储器管理单元(MMU)驻留在处理器1202与存储器1204之间,并利于对处理器1202所请求的存储器1204的访问。在特定实施例中,存储器1204包括随机存取存储器(RAM)。该RAM可以是易失性存储器,在适当的情况下,该RAM可以是动态RAM(DRAM)或静态RAM(SRAM)。而且,在适当的情况下,该RAM可以是单端口或多端口RAM。本公开设想了任何合适的RAM。在适当的情况下,存储器1204可以包括一个或多个存储器1204。尽管本公开描述并示出了特定的存储器,但是本公开设想了任何合适的存储器。
在特定实施例中,存储装置1206包括用于数据或指令的大容量存储装置。作为示例而非限制,存储装置1206可以包括硬盘驱动器(HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器,或这些中的两个或多个的组合。在适当的情况下,存储装置1206可以包括可拆卸或不可拆卸(或固定)介质。在适当的情况下,存储装置1206可以在计算机系统1200的内部或外部。在特定实施例中,存储装置1206是非易失性固态存储器。在特定实施例中,存储装置1206包括只读存储器(ROM)。在适当的情况下,该ROM可以是掩码编程ROM、可编程ROM(PROM)、可擦PROM(EPROM)、电可擦PROM(EEPROM)、电可更改ROM(EAROM)或闪存,或者这些中的两个或多个的组合。本公开设想了采用任何合适的物理形式的大容量存储装置1206。在适当的情况下,存储装置1206可以包括一个或多个存储装置控制单元,以利于处理器1202与存储装置1206之间的通信。在适当的情况下,存储装置1206可以包括一个或多个存储装置1206。尽管本公开描述并示出了特定的存储装置,但是本公开设想了任何合适的存储装置。
在特定实施例中,I/O接口1208包括硬件、软件或两者,其提供用于在计算机系统1200与一个或多个I/O设备之间进行通信的一个或多个接口。在适当的情况下,计算机系统1200可以包括这些I/O设备中的一个或多个。这些I/O设备中的一个或多个可以实现人与计算机系统1200之间的通信。作为示例而非作为限制,I/O设备可以包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、相机、手写笔、平板计算机、触摸屏、轨迹球、摄像机、另一个合适的I/O设备或这些中的两个或多个的组合。I/O设备可以包括一个或多个传感器。本公开设想了任何合适的I/O设备以及用于它们的任何合适的I/O接口1208。在适当的情况下,I/O接口1208可以包括一个或多个设备或软件驱动器,使得处理器1202能够驱动这些I/O设备中的一个或多个。在适当的情况下,I/O接口1208可以包括一个或多个I/O接口1208。尽管本公开描述并示出了特定的I/O接口,但是本公开设想了任何合适的I/O接口。
在特定实施例中,通信接口1210包括硬件、软件或两者,提供一个或多个接口用于计算机系统1200与一个或多个其他计算机系统1200或一个或多个网络之间的通信(例如,基于分组的通信)。作为示例而非限制,通信接口1210可以包括用于与以太网或其他基于有线的网络进行通信的网络接口控制器(NIC)或网络适配器,或者用于与无线网络(诸如WI-FI网络)进行通信的无线NIC(WNIC)或无线适配器。本公开设想了任何合适的网络和用于它的任何合适的通信接口1210。作为示例而非限制,计算机系统1200可以与自组织网络、个人局域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN),或互联网的一个或多个部分,或这些中的两个或多个的组合进行通信。这些网络中的一个或多个的一个或多个部分可以是有线或无线的。作为示例,计算机系统1200可以与无线PAN(WPAN)(例如,蓝牙WPAN)、WI-FI网络,WI-MAX网络、蜂窝电话网络(例如全球移动通信系统(GSM)网络),或其他合适的无线网络或这些中的两个或多个的组合进行通信。在适当的情况下,计算机系统1200可以包括用于这些网络中的任何一个的任何合适的通信接口1210。在适当的情况下,通信接口1210可以包括一个或多个通信接口1210。尽管本公开描述并示出了特定的通信接口,但是本公开设想了任何合适的通信接口。
在特定实施例中,总线1212包括硬件、软件或两者,其使计算机系统1200的组件彼此耦合。作为示例而非限制,总线1212可以包括加速图形端口(AGP)或其他图形总线、增强型工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线,或另一种合适的总线,或这些中两种或多种的组合。在适当的情况下,总线1212可以包括一个或多个总线1212。尽管本公开描述并示出了特定的总线,但是本公开设想了任何合适的总线或互连。
在本文中,一种或多种计算机可读非暂时性存储介质可以包括一个或多个基于半导体或其他集成电路(IC)(例如,现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字卡或驱动器,任何其他合适的计算机可读非暂时性存储介质,或者在适当的情况下,是这些中两种或多种的任何合适组合。在适当的情况下,计算机可读非暂时性存储介质可以是易失性、非易失性,或易失性和非易失性的组合。
在本文中,“或”是包含性的,而不是排他性的,除非另外明确指出或上下文另外指出。因此,在本文中,“A或B”意味着“A、B或两者”,除非另外明确指出或上下文另外指出。此外,“和”既是共同的又是个别的,除非另外明确指出或上下文另外指出。因此,在本文中,“A和B”意味着“A和B,共同地或个别地”,除非另外明确指出或上下文另外指出。
在本文中,“自动”及其派生词意味着“无需人工干预”,除非另外明确指出或上下文另外指出。
本公开的范围涵盖本领域普通技术人员将理解的对本文描述或示出的示例实施例的所有改变、替换、变化、变更和修改。本公开的范围不限于本文描述或示出的示例实施例。此外,尽管本公开将本文的各个实施例描述和示出为包括特定的组件、元件、特征、功能、操作或步骤,但是这些实施例中的任何一个可以包括本领域普通技术人员将理解的本文任何地方所描述或示出的任何组件、元件、特征、功能、操作或步骤的任何组合或置换。此外,所附权利要求中的装置或系统或装置或系统的组件被调适成,布置成,能够,配置成,启用,可操作或进行操作以执行涵盖了该装置、系统、组件的特定功能,无论是否激活,接通或解锁该装置或系统或该特定功能,只要该装置、系统或组件如此调适,如此布置,能够如此,如此配置,如此启用,可如此操作或进行如此操作即可。另外,尽管本公开将特定实施例描述或示出为提供特定优点,但是特定实施例可以不提供这些优点,提供一些或全部优点。

Claims (15)

1.一种使用电磁辐射检测对象的装置,包括:
多个电磁辐射发射器,其中每个发射器对应于不同的视场;
多个电磁辐射接收器,其中每个接收器对应于不同的视场;以及
实现指令的一个或多个非暂时性存储介质和一个或多个处理器,所述一个或多个处理器操作于执行所述指令以:
确定包括在多个预定义功率等级中的第一功率等级和第二功率等级;
以所述第一功率等级激活所述多个发射器中的至少一个;
以所述第二功率等级激活所述多个发射器中的至少一个,其中所述第二功率等级不同于所述第一功率等级;并且
至少基于作为以所述第一功率等级发射电磁辐射的结果而由一个或多个接收器检测到的电磁辐射和基于作为以所述第二功率等级发射电磁辐射的结果而由一个或多个接收器检测到的电磁辐射,在所述多个接收器中的至少一个接收器的视场中检测对象的存在或对象的运动,其中由所述一个或多个接收器检测到的所述电磁辐射的至少一部分是由所述对象反射到所述一个或多个接收器的。
2.根据权利要求1所述的装置,其中所述一个或多个处理器进一步被配置成执行所述指令以确定所述对象的位置或执行所述指令以追踪所述对象的运动或执行所述指令以识别所述对象的运动,或执行所述指令以生成多个照明模式。
3.根据权利要求1所述的装置,其中所述第二功率等级大于所述第一功率等级。
4.根据权利要求1所述的装置,其中每个发射器包括一个或多个发光二极管(LED)。
5.根据权利要求1所述的装置,其中每个接收器包括一个或多个光电二极管。
6.根据权利要求1所述的装置,其中所述一个或多个处理器还操作于执行所述指令以:
确定包括在多个预定义功率等级中的第三功率等级;
以所述第三功率等级激活所述多个发射器中的至少一个,其中所述第三功率等级不同于所述第一功率等级;以及
还至少基于作为以所述第三功率等级发射电磁辐射的结果而由一个或多个接收器检测到的电磁辐射,检测对象的存在或对象的运动。
7.根据权利要求6所述的装置,其中所述多个预定义功率等级对应于与所述装置有关的多个预定义深度。
8.根据权利要求1所述的装置,还包括多个感测模块,其中所述多个感测模块中的每一个包括:
所述多个电磁辐射发射器中的一个或多个发射器,其中感测模块中的每个发射器具有相同的视场;
所述多个电磁辐射接收器中的一个或多个接收器;以及
一个或多个微控制器。
9.根据权利要求8所述的装置,其中所述一个或多个微控制器被配置成:
与所述一个或多个处理器通信;
调制对应的感测模块的一个或多个发射器发射的电磁辐射;
调节所述对应的感测模块的所述一个或多个发射器的发射功率;并且
处理所述对应的感测模块的一个或多个接收器接收的电磁辐射。
10.根据权利要求8所述的装置,其中针对所述第一功率等级和所述第二功率等级中的每一个,所述一个或多个处理器还被配置成:
顺序地激活所述多个感测模块中的每一个感测模块的一个或多个发射器,以相应功率等级发射电磁辐射,使得一次仅一个感测模块的发射器处于活动状态;并且
在激活任何感测模块的一个或多个发射器中的任何一个之后:
每次在为所述多个感测模块中的每一个感测模块激活一个或多个发射器之后,在所述多个接收器中的一个或多个处接收对应于相应功率等级的反射电磁辐射,其中所述多个接收器中的所述一个或多个是基于所述反射电磁辐射是否到达所述多个接收器中的所述一个或多个来选择的。
11.根据权利要求10所述的装置,其中所述一个或多个处理器还被配置成:
生成包括与所述多个感测模块的所述多个接收器中的一个或多个接收器相对应的多个字节的数据矢量;
基于所生成的数据矢量,生成多个数据矩阵,所述多个数据矩阵对应于由所述多个感测模块的所述多个接收器中的一个或多个接收器接收到的电磁辐射到虚拟物理空间的映射;并且
基于所述多个感测模块中的每一个与所述虚拟物理空间中的一个或多个区域之间的关联,确定分别对应于所述多个预定义功率等级中的每一个的激活发射器的数量。
12.根据权利要求11所述的装置,其中所述一个或多个处理器还被配置成:
执行所述指令以:通过基于在由所述多个感测模块的所述多个接收器中的一个或多个接收器在一组坐标中的多个点处接收到的电磁辐射而对所述多个点加权,基于所生成的数据矩阵和所确定的激活发射器的数量来确定所述对象的位置,或者
如果多于阈值数量的发射器被激活超过阈值时间量,则执行所述指令以:通过确定所述对象的稳定性,基于所生成的数据矩阵和所确定的激活发射器的数量来跟踪所述对象的运动,或者
如果多于阈值数量的发射器在预定义时间范围内的持续时间被激活,则执行所述指令以:通过分析所生成的数据矩阵的电磁辐射的时间变化,基于所生成的数据矩阵和所确定的激活发射器的数量识别所述对象的运动。
13.一种或多种非暂时性计算机可读存储介质,其实现指令,所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作:
确定包括在多个预定义功率等级中的第一功率等级和第二功率等级;
以所述第一功率等级激活多个电磁辐射发射器中的至少一个,其中每个发射器对应于不同的视场;
以所述第二功率等级激活所述多个发射器中的至少一个,其中所述第二功率等级不同于所述第一功率等级;并且
至少基于作为以所述第一功率等级发射电磁辐射的结果而由多个电磁辐射接收器中的一个或多个接收器检测到的电磁辐射和基于作为以所述第二功率等级发射电磁辐射的结果而由一个或多个接收器检测到的电磁辐射,在所述一个或多个接收器的视场中检测对象的存在或对象的运动,其中接收器中的每一个对应于不同的视场。
14.根据权利要求13所述的介质,其中所述操作还包括:生成多个照明模式。
15.一种使用电磁辐射检测对象的方法,包括:
确定包括在多个预定义功率等级中的第一功率等级和第二功率等级;
以所述第一功率等级激活多个电磁辐射发射器中的至少一个,其中每个发射器对应于不同的视场;
以所述第二功率等级激活所述多个发射器中的至少一个,其中所述第二功率等级不同于所述第一功率等级;并且
至少基于作为以所述第一功率等级发射电磁辐射的结果而由多个电磁辐射接收器中的一个或多个接收器检测到的电磁辐射和基于作为以所述第二功率等级发射电磁辐射的结果而由一个或多个接收器检测到的电磁辐射,在所述一个或多个接收器的视场中检测对象的存在或对象的运动,其中接收器中的每一个对应于不同的视场。
CN201880041600.9A 2017-06-21 2018-05-21 使用电磁辐射的对象检测和运动识别 Expired - Fee Related CN110785728B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762523153P 2017-06-21 2017-06-21
US62/523,153 2017-06-21
US15/885,497 US10481736B2 (en) 2017-06-21 2018-01-31 Object detection and motion identification using electromagnetic radiation
US15/885,497 2018-01-31
PCT/KR2018/005768 WO2018236056A1 (en) 2017-06-21 2018-05-21 OBJECT DETECTION AND MOTION IDENTIFICATION USING ELECTROMAGNETIC RADIATION

Publications (2)

Publication Number Publication Date
CN110785728A CN110785728A (zh) 2020-02-11
CN110785728B true CN110785728B (zh) 2022-04-29

Family

ID=64693180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880041600.9A Expired - Fee Related CN110785728B (zh) 2017-06-21 2018-05-21 使用电磁辐射的对象检测和运动识别

Country Status (5)

Country Link
US (1) US10481736B2 (zh)
EP (1) EP3639122B1 (zh)
JP (1) JP7226888B2 (zh)
CN (1) CN110785728B (zh)
WO (1) WO2018236056A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107788992B (zh) * 2016-08-29 2022-03-08 松下知识产权经营株式会社 识别生物体的装置以及识别生物体的方法
US11461907B2 (en) * 2019-02-15 2022-10-04 EchoPixel, Inc. Glasses-free determination of absolute motion
JP7457625B2 (ja) * 2020-10-07 2024-03-28 パラマウントベッド株式会社 ベッドシステム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US4672364A (en) * 1984-06-18 1987-06-09 Carroll Touch Inc Touch input device having power profiling
EP0438057B1 (en) * 1990-01-16 1996-10-23 Carroll Touch Incorporated Infrared touch input device and light emitter activation circuit
US7876424B2 (en) * 2008-08-20 2011-01-25 Microsoft Corporation Distance estimation based on image contrast
CN101609647A (zh) * 2009-07-30 2009-12-23 友达光电股份有限公司 触控式有机发光二极管显示装置及影像单元
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
EP2475182A3 (en) * 2011-01-04 2013-04-03 Samsung Electronics Co., Ltd. Display apparatus, 3D glasses, and control method thereof
US20140035812A1 (en) 2011-05-05 2014-02-06 Maxim Integrated Products, Inc. Gesture sensing device
US20120293404A1 (en) 2011-05-19 2012-11-22 Panasonic Corporation Low Cost Embedded Touchless Gesture Sensor
US9679215B2 (en) * 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9674436B2 (en) 2012-06-18 2017-06-06 Microsoft Technology Licensing, Llc Selective imaging zones of an imaging sensor
EP2872966A1 (en) 2012-07-12 2015-05-20 Dual Aperture International Co. Ltd. Gesture-based user interface
GB2504291A (en) * 2012-07-24 2014-01-29 St Microelectronics Ltd A proximity and gesture detection module
TW201415291A (zh) 2012-10-08 2014-04-16 Pixart Imaging Inc 基於物件追蹤的手勢辨識方法及系統
DE102012110460A1 (de) 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
US9285893B2 (en) * 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
EP2738647B1 (en) 2012-11-30 2018-08-29 BlackBerry Limited Method And Device For Identifying Contactless Gestures
WO2014093334A2 (en) * 2012-12-10 2014-06-19 Invisage Technologies, Inc. Capture of scenes and events in space and time
US9304594B2 (en) 2013-04-12 2016-04-05 Microsoft Technology Licensing, Llc Near-plane segmentation using pulsed light source
US20140376773A1 (en) 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
JP2015032101A (ja) * 2013-08-01 2015-02-16 株式会社東芝 情報端末装置
KR102138510B1 (ko) * 2013-08-27 2020-07-28 엘지전자 주식회사 근접 터치 기능을 구비한 전자 장치 및 그 제어 방법
US9029780B2 (en) 2013-09-11 2015-05-12 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
US20150139483A1 (en) * 2013-11-15 2015-05-21 David Shen Interactive Controls For Operating Devices and Systems
WO2015139002A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
EP3525524B1 (en) * 2014-05-30 2021-03-10 Apple Inc. Determination of device body location
KR102294945B1 (ko) 2014-06-11 2021-08-30 삼성전자주식회사 기능 제어 방법 및 그 전자 장치
KR102278880B1 (ko) 2014-11-14 2021-07-20 삼성디스플레이 주식회사 백라이트 유닛, 이를 포함하는 표시 장치, 및 영상 표시 시스템
WO2016089306A1 (en) * 2014-12-01 2016-06-09 Singapore University Of Technology And Design Gesture recognition devices, gesture recognition methods, and computer readable media
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US10168193B2 (en) * 2015-01-07 2019-01-01 Infineon Technologies Ag Sensor with switching matrix switch
WO2016138178A1 (en) 2015-02-25 2016-09-01 Brian Mullins Visual gestures for a head mounted device
US9910275B2 (en) 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices

Also Published As

Publication number Publication date
JP2020524856A (ja) 2020-08-20
JP7226888B2 (ja) 2023-02-21
WO2018236056A1 (en) 2018-12-27
US20180373391A1 (en) 2018-12-27
CN110785728A (zh) 2020-02-11
US10481736B2 (en) 2019-11-19
EP3639122B1 (en) 2023-08-23
EP3639122A4 (en) 2020-04-22
EP3639122A1 (en) 2020-04-22

Similar Documents

Publication Publication Date Title
Zhang et al. Extending mobile interaction through near-field visible light sensing
US11237625B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
KR102510402B1 (ko) 터치 및 인-더-에어 인터랙션들을 위한 레이더 기반 감지 시스템
KR102406327B1 (ko) 출력 장치를 제어하는 방법 및 장치
US9063577B2 (en) User input using proximity sensing
TWI509274B (zh) 被動紅外測距接近偵測器
CN110785728B (zh) 使用电磁辐射的对象检测和运动识别
JP6877642B2 (ja) レーダーベースのアプリケーションのためのレーダー画像シェイパー
KR101976605B1 (ko) 전자기기 및 그 동작 방법
US20110205151A1 (en) Methods and Systems for Position Detection
CA2937700A1 (en) Dynamic assignment of possible channels in a touch sensor
BR112015007261B1 (pt) Método, meio de armazenamento legível por computador não transitório, e aparelho
CN108027684B (zh) 电磁干扰信号检测
JP2023536434A (ja) 融合データを使用するオブジェクトトラッキングのためのシステム及び方法
US12099112B2 (en) Systems and methods for managing sensors of an electronic device, and associated electronic devices
Czuszyński et al. Analysis of properties of an active linear gesture sensor
JP7562867B2 (ja) 電子デバイスの動き検知を管理するためのシステムおよび方法、ならびに関連する電子デバイス
WO2018044233A1 (en) Method and device for determining position of a target
US11782149B2 (en) Systems and methods for managing motion detection of an electronic device, and associated electronic devices
KR102063903B1 (ko) 기계 학습을 이용한 전자기 간섭 신호의 처리

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220429

CF01 Termination of patent right due to non-payment of annual fee