CN103502911A - 使用多个传感器的手势识别 - Google Patents
使用多个传感器的手势识别 Download PDFInfo
- Publication number
- CN103502911A CN103502911A CN201280021975.1A CN201280021975A CN103502911A CN 103502911 A CN103502911 A CN 103502911A CN 201280021975 A CN201280021975 A CN 201280021975A CN 103502911 A CN103502911 A CN 103502911A
- Authority
- CN
- China
- Prior art keywords
- sensor
- signal
- user interface
- sensors
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000010295 mobile communication Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000001052 transient effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 230000001276 controlling effect Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 2
- 238000006529 Prey cleavage reaction Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 244000062804 prey Species 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种装置，包括：处理器；用户界面，使用户能够与关联于所述处理器的一个或多个软件应用进行交互；第一传感器和第二传感器，被配置为检测位于远离所述装置的相应的第一感测区和第二感测区内的物体，并且分别生成对应于所述物体的信号，其中所述传感器被配置使得它们相应的感测区在空间上重叠，以界定所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及手势识别系统，用于从传感器接收信号，所述手势识别系统响应于在所述重叠区内部检测到物体，来根据从两个传感器接收的信号控制第一用户界面功能。
Description
技术领域
本发明总体上涉及手势识别，并且具体地但非排他地涉及识别由设备或终端的第一传感器和第二传感器检测到的手势。
背景技术
已经知道，使用由通信终端的摄像头接收的视频数据来使得用户能够控制与该终端关联的应用。应用存储有使用摄像头检测到的预定用户手势和与应用关联的一个或多个命令之间的映射。例如，一个已知的照片浏览应用允许使用在终端的前置摄像头前进行的挥手手势来控制如何在用户界面上显示照片，从右到左的手势通常致使应用按照照片的顺序前进。
然而，摄像头趋向于具有有限的光学感测区或视场，并且，因为其操作方式，它们对解释某些手势、尤其涉及朝向或远离摄像头运动的手势有困难。因此解释三维手势的能力非常有限。
进一步的，能够以这种方式来控制的功能的数目受限于系统能够区分的不同手势的数目。
在视频游戏领域中，已经知道，使用由雷达收发器发射的无线电波来在比摄像头更大的视场上标识物体运动。
发明内容
本发明的第一方面提供了一种装置，包括：
处理器；
用户界面，使用户能够与关联于所述处理器的一个或多个软件应用进行交互；
第一传感器和第二传感器，被配置为检测位于远离所述装置的相应的第一感测区和第二感测区内的物体，并且生成对应于所述物体的信号，其中所述传感器被配置使得它们相应的感测区在空间上重叠，以界定所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
手势识别系统，用于从所述传感器接收信号，所述手势识别系统响应于在所述重叠区内部检测到物体，来根据从两个传感器接收的信号控制第一用户界面功能。
所述手势识别系统可以进一步响应于在所述重叠区外部检测到物体，来根据仅从所述传感器中的一个传感器接收的信号控制不同的第二用户界面功能。
所述手势识别系统可以进一步响应于在所述重叠区内部检测到物体，来根据检测到的物体的运动从两个传感器接收的信号标识出一个或多个预定的手势，并且根据每个标识的手势来控制所述第一用户界面功能。
所述第一传感器可以是光学传感器，以及所述第二传感器可以使用电磁谱的不同部分来感测接收的无线电波并且可选的是雷达传感器。该装置可以进一步包括：图像处理装置，与所述光学传感器关联，所述图像处理装置被配置为标识从所述光学传感器的不同区接收的图像信号，并且其中所述手势识别系统被配置为根据物体在其中被检测到的区域来控制不同的相应的用户界面功能。所述雷达传感器可以被配置为以界定比所述光学传感器的空间感测区更宽的空间感测区的方式来发射或接收无线电信号。所述手势识别系统可以被配置为从接收的图像信号和无线电感测信号中标识平移移动和径向移动二者、和/或物体相对于所述装置的径向距离，以及可以被配置为从中确定用于控制所述第一用户界面功能的一个或多个预定的手势。所述手势识别系统可以被配置为从接收的所述图像信号中标识与在随后的图像帧之间的前景物体的位置变化关联的运动向量，以及可以被配置为从中获得所述平移运动。
所述装置可以是移动通信终端。所述移动通信终端可以包括在所述移动通信终端的一侧或一面的显示器，用于显示借助于从所述第一传感器和所述第二传感器二者接收的信号来控制的图像数据。所述光学传感器可以是在所述显示器同侧或同面提供的摄像头。所述雷达传感器可以被配置为接收来自所述显示器同侧或同面的反射的无线电信号。
所述手势识别系统可以用于检测手形物体。
本发明的第二方面提供了一种方法，包括：
从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
该方法还可以包括：响应于在所述重叠区外部检测到物体，仅从所述传感器中的一个传感器接收信号；以及根据接收的所述信号来控制不同的第二用户界面功能。
该方法还可以包括：响应于在所述重叠区外部检测到物体，仅从所述第二传感器接收信号；以及根据接收的所述信号来控制不同的第三用户界面功能。
该方法还可以包括：基于检测到的所述物体的运动，从两个传感器接收的信号中标识出一个或多个预定的手势；以及根据该标识出的手势来控制所述第一用户界面功能。
该方法还可以包括：标识从光学传感器的不同区域接收的图像信号，以及根据物体在其中被检测到的区域来控制不同的相应的用户界面功能。
本发明的第三方面提供了一种计算机程序，包括当被计算机装置执行时，用于控制所述计算机装置执行上述方法的指令。
本发明的第四方面提供了一种非瞬态计算机可读存储介质，包括存储在其上的计算机可读代码，当被计算装置执行时致使所述计算装置执行包括以下的方法：
从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
响应于在所述重叠区内检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
本发明的第五方面提供了一种装置，所述装置具有至少一个处理器和至少一个其上存储有计算机可读代码的存储器，当所述代码被执行时，控制所述至少一个控制器：
从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
附图说明
现在，将仅通过示例的方式，参照附图来描述本发明各实施例，其中：
图1是体现本发明的各方面的移动终端的透视图；
图2a和图2b是能够在图1示出的移动终端中使用的雷达传感器类型的不同示例的电路图；
图3是图示图1移动终端的部件和它们的连接关系的示意图；
图4a和图4b是与针对第一传感器和第二传感器相应的感测区（包括重叠区）一起示出的图1移动终端的示意图；
图5是图示作为图1示出的移动终端的一部分提供的手势控制模块的功能部件的示意图；
图6示出了将来自传感器的签名数据与针对图1示出的终端的关联的软件的一个或多个控制功能进行相关的控制映射；
图7a、图7b和图7c示出了如何可以采用多种控制功能的图像表示，这有助于理解本发明；以及
图8是摄像头传感器被分成多个传感区的移动终端的第二实施例的示意图。
具体实施方式
这里描述的实施例包括设备或终端，尤其包括通信终端，其使用补充传感器来提供体现终端周围环境的特征的信息。具体而言，该传感器提供信息以标识手势，其中该信息被处理来标识传感器的相应感测区中的物体以及该物体运动。
取决于仅由一个传感器还是由两个传感器检测到物体，使用相应的命令或命令组来控制终端的用户界面功能，例如控制终端的操作系统或与操作系统关联的应用的一些方面。与仅由一个传感器检测到的物体对应的信息被处理来执行第一命令或第一命令组，反之，与由两个或多个传感器检测到的物体对应的信息被处理来执行第二命令或第二命令组。在第二种情况下，这一处理基于来自不同传感器的信息的融合。
另外，可以基于由一个或两个传感器感测到物体的运动而处理由传感器提供的信息来标识用户手势。因此，将要执行的特定命令组取决于哪个或哪些传感器检测到手势以及进一步地取决于标识与该组内不同命令对应的特定手势。
首先参考图1，示出了终端100。终端100的外部具有触敏显示器102、硬件键104,、前置摄像头105a、雷达传感器105b、扬声器118以及耳机口120。雷达传感器105b可以内置并且因此在终端100外部不可见。终端100可以是智能电话、移动电话、个人数字助理、平板电脑、手提电脑等。终端100可代之为诸如电视机或台式电脑等非便携式设备。非便携式设备是需要连接至主电源来运行的设备。
前置摄像头105a设在终端100的第一侧上，其与触敏显示器102是同侧。
虽然这并不是必要的，但是雷达传感器105b设在终端与前置摄像头105a的同侧上。雷达传感器105b可以设在终端100的另一侧、后侧。仍可替换地，虽然未示出，但是可以连同雷达传感器105b一起在终端100的后侧上设有后置摄像头105。
将理解，雷达是使用电磁波尤其是无线电波来检测物体的存在、它们的速度和运动方向以及它们到雷达传感器105b的距离的物体检测系统。从物体上反弹回来（即，反射）的发射波被传感器检测。在复杂雷达系统中，可以根据发射波和反射波之间的时间差来确定物体的距离。在简单系统中，能够确定物体的存在但是不能确定物体的距离。不论哪种情况，都能够通过检测多普勒频移来检测朝向还是远离传感器105b的物体的运动。在复杂系统中，虽然在当前最适于在手持设备中实现的系统中缺少方向发现能力，但是可以通过波束赋形来确定物体的方向。
现在简要描述当前的雷达技术及其局限性如下。一般而言，雷达能够检测到存在、运动的径向速度和方向（朝向或远离），或者它能够检测物体自雷达传感器的距离。非常简单的多普勒雷达仅能够检测到运动的速度。如果多普勒雷达具有正交下变频，那么它还可以检测到运动的方向。脉冲多普勒雷达能够测量运动的速度。它还能够测量距离。调频连续波（FMCW）雷达或脉冲/超宽带雷达能够测量至物体的距离并且还能够使用测量到的实时的距离的变化来测量运动的速度。然而，如果只需要速度测量，多普勒雷达很可能是最适合的设备。将理解，多普勒雷达根据运动检测存在而FMCW或脉冲雷达根据距离信息检测存在。
这里，雷达传感器105b包括无线电波发射器和检测器部分二者，以及能够采用任何已知的适于位于手持终端上的雷达系统。图2a和2b分别图示了使用多普勒雷达前端和与正交下变频一起的多普雷雷达前端的基本操作原理。两个示例都包括用于根据IQ相位信息将反射波信息转换和处理为指示物体移动的径向方向、即朝向或远离雷达传感器105b的数字信号的模数（ADC）转换装置和快速傅里叶变换（FFT）和数字信号处理（DSP）装置。并且，可以将US6492933中公开的多普勒雷达系统使用和布置在终端100上。
图3示出了终端100的选定部件的示意图。终端100具有控制器106、包括显示部分108和触觉接口部分110的触敏显示器102、硬件键104、前置摄像头105a、雷达传感器105b、存储器112、扬声器118、耳机口120、无线通信模块122、天线124和电池116。
进一步地，手势控制模块130被提供用于处理从摄像头105a和雷达传感器105b接收的数据信号，以便标识用于终端100的用户界面的手势控制的命令或命令组。关于这点，用户界面意思是与终端100关联的软件的任何输入界面。
再进一步地，通常由盒132指示的其它传感器被提供为终端100的一部分。它们包括加速计、陀螺仪、扩音器、背景光传感器等中的一个或多个。正如随后将描述的那样，得自这些其它传感器的信息能够用来调整上述手势控制模块130中的权重，还能够用于检测或帮助手势检测，或者甚至用于启用或禁用手势检测。
控制器106连接至其它部件（除电池116之外）中的每个部件，以便控制其操作。
存储器112可以是诸如只读存储器（ROM）、硬盘驱动器（HDD）或固态驱动器（SDD）的非易失性存储器。存储器112存储操作系统126并且可以存储软件应用128以及其它内容。控制器106使用RAM114用于数据的暂时存储。操作系统126可以包含如下代码，当控制器106结合RAM114来执行该代码时，该代码控制终端的每个硬件部件的操作。
控制器106可以采用任何适当形式。例如，它可以是微控制器、多个微控制器、处理器或多个处理器。
终端100可以是移动电话或智能电话、个人数字助理（PDA）、便携媒体播放器（PMP）、便携计算机或者能够运行软件应用以及提供音频和/或视频输出的任何其它设备。在一些实施例中，终端100可以使用无线通信模块122和天线124来参与蜂窝通信。该无线通信模块122可以被配置为经由诸如GSM、CDMA、UMTS、蓝牙和IEEE802.11（Wi-Fi）的若干协议进行通信。
触敏显示器102的显示部分108用于向终端的用户显示图像和文本，触觉接口部分110用于从用户接收触摸输入。
除了存储操作系统126和软件应用128，存储器112还可以存储诸如音乐和视频文件的多媒体文件。可以在终端上安装多种多样的软件应用128，包括网页浏览器、无线电和音乐播放器、游戏和实用应用。在终端上存储的这些软件应用的部分或全部可以提供音频输出。可以通过终端的（多个）扬声器将这些应用提供的音频转换成声音，或者，如果耳机或扬声器已经连接至耳机口120则可以通过连接至耳机口120的耳机或扬声器将这些应用提供的音频转换成声音。
在一些实施例中，终端110还可以与未存储在终端上的外部的软件应用相关联。这些应用可以是存储在远程服务器设备上的应用并且可以部分或全部在该远程服务器设备上运行。这些应用可以被称为云托管应用。终端100可以与远程服务器设备通信以便利用在其存储的软件应用。这可以包括接收由外部软件应用提供的音频输出。
在一些实施例中，硬件键104是专用音量控制键或开关。硬件键可以例如包括两个相邻键、单个摇杆开关或旋转转盘。在一些实施例中，硬件键104位于终端100的侧面。
摄像头105a是数字摄像头，能够生成代表摄像头的传感器接收到的场景的图像数据。图像数据能够被用来使用图像数据的单一帧来提取静止图像，或者被用来记录一连串帧作为视频数据。
参照图4a和图4b，摄像头105a和雷达传感器105b具有各自的感测区134和132。至于雷达传感器105b，感测区132是远离终端100的空间量，来自感测区132的发射的无线电波能够被反射并由传感器检测。在图4a的情况下，雷达传感器105b发射并检测终端100周围的无线电波，从而有效界定了各向同性的感测区132。在图4b中，雷达的感测区更集中，具体而言，具有比各向同性的感测区的一半更小的视场。至于摄像头105a，感测区是通常的矩形视场，其中由该摄像头的光学传感器检测从物体反射或由物体发射的光波。
因此，摄像头105a和雷达传感器105b在电磁谱的不同频段上操作。摄像头105a在这一实施例中检测波谱的可视部分的光，但是该摄像头105a也可以是红外摄像头。
摄像头105a和雷达传感器105b布置在终端100上使得它们各自的感测区重叠以界定出第三重叠区136，在该第三重叠区136中两个传感器都能够检测到共同物体。如示出了终端100的侧视图的图4a和图4b二者所指示，该重叠是雷达传感器的感测区132根据其径向空间覆盖延伸到摄像头的感测区134之外的部分。其中，雷达传感器的感测区132的范围是有限的，摄像头的光学范围（即，摄像头能够检测到物体的自该摄像头的最远距离）可能延伸到雷达的光学范围之外。另外，摄像头的感测区134可能比更聚焦的雷达传感器105b的感测区更宽。
参照图5，示出了手势控制模块130的部件。
手势控制模块130包括分别与雷达传感器105b和摄像头105a相关联的第一手势识别模块（i）142和第二手势识别模块（j）144。
第一手势识别模块142从雷达传感器105b接收数字化的数据（见图2），从该数据中可以得到与以下内容有关的签名信息：（i）在感测区132内的物体140的存在，（ii）可选地，物体相对于传感器的径向距离，以及（iii）物体的移动，包括运动的速度和方向（基于检测到的多普勒频移）。总体而言，签名信息被称为R（i），能够用来识别在雷达感测区132内对终端100远程操作的一个或多个预定的用户手势。这能够通过将得到的信息R（i）与参考信息Ref（i）比较来执行，其中，参考信息Ref（i）将R（i）与针对不同手势的预定的参考签名相关。
第二手势识别模块144从摄像头105a接收数字化的图像数据，从该数据中可以得出与在其感测区134内的物体140的存在、形状、大小和移动有关的签名信息。物体140的移动可以是基于物体关于水平和垂直轴（x，y）的位置的变化的平移运动。物体140的移动朝向还是远离摄像头105a（堪比物体140自终端100的距离）能够基于物体的大小随时间的变化来估计。总体而言，该签名信息被称为R（j），能够用来识别在摄像头感测区134内对终端100远程操作的一个或多个预定的用户手势。这能够通过将得到的签名信息R（j）与参考信息Ref（j）比较来执行，其中，参考信息Ref（j）将R（j）与针对不同手势的预定的参考签名相关。
手势控制模块130还包括融合模块146，将R（i）和R（j）二者作为输入，并基于R（i）和R（j）二者的融合生成另一签名信息组R（f）。具体地，当在图4a和图4b所指示的重叠区136中检测到物体140时，融合模块146从R（i）和R（j）进行检测。如果是这样，它生成另一融合签名R（f），等于w1*R（i）+w2*R（j），其中，w1和w2是加权因子。此外，R（f）能够与参考信息Ref（f）相比较，其中，参考信息Ref（f）将R（f）与针对不同手势的预定的参考签名相关。
可以在产品设计阶段将参考信息Ref（i）、Ref（j）和Ref（f）输入手势控制模块130，但是也可以将新的多模手势教授或存储在该模块中。
将理解，融合签名R（f）能够基于来自摄像头105a和雷达传感器105b的数据的协作组合而提供更精确的手势识别。例如，针对精确地确定物体是否在径向移动（即，朝向还是远离终端100），摄像头105a具有有限的能力，但是，从雷达传感器105b接收到的数据能够提供精确的径向运动的指示。然而，雷达传感器105b不具有精确标识物体140的形状和大小的能力；可以通过处理从摄像头105a接收到的图像数据来实现高精确度的识别物体140的形状和大小。此外，雷达传感器105b不具有精确标识物体140的平移运动（即，跨雷达传感器105b的视场的运动）的能力，但是，可以通过处理从摄像头105a接收到的图像数据来实现高精确度的识别物体140的平移运动。
根据标识特定手势，加权因子w1和w2能用来为任何签名提供更大的重要性从而实现更高的精确性。例如，如果两个签名R（i）和R（j）都指示关于终端100的径向运动，则考虑到与摄像头固有的精确确定径向运动的能力相比的雷达的该能力，能够对R（i）实施更大的权重。能够基于学习算法自动计算加权因子w1和w2，该算法能够使用与用户上下文有关的信息来检测诸如周围照度、设备振动等的信息。例如，（如图3的盒132中所设想的）加速剂、陀螺仪、扩音器和光学传感器中的一个或多个的上述用法能够提供信息来调整上述手势控制模块130中的权重，并且也能够用于检测或帮助手势检测，或者甚至启用或禁用手势检测。
此外，通过识别物体140在重叠区136内部还是外部，能够将共同的或类似的手势分配给不同用户界面功能。
签名R（i）、R（j）和R（f）被输出至手势到命令映射（下面称为“命令映射”）148，下面将进行描述。
命令映射148的目的在于标识接收到的签名R（i）、R（j）或R（f）对应哪个命令。标识出的命令然后被输出至控制器106以便控制与终端100关联的软件。
参照图6，示出了简化的命令映射148。这里假设使得三组界面控制功能能够用于远程手势控制，分别标签为CS#1、CS#2和CS#3。
在仅在雷达感测区132内检测到物体的情况下，雷达签名R（i）用来控制CS#1。类似的，在仅在摄像头感测区134内检测到物体的情况下，摄像头签名R（j）用来控制CS#2。如果在重叠区136内检测到物体，则融合签名R（f）用来控制CS#3。
在每组CS#1、CS#2和CS#3中，标识出的特定手势用来控制界面控制功能的进一步的特性。
例举实用示例，CF#1涉及音量控制命令，其中物体140仅在雷达感测区内的存在启用了音量控制。在这种情况下，随着物体的移动，响应于物体距离的增加和减少，相应地增加和减少音量控制。图7a生动地指示了操作原理。
原则上，有许多种使用距离来控制音量的方式。例如，音量水平可以取决于物体自设备的测量距离。可替换地，如图7a中示出的情况，（基于多普勒或距离对时间）基于运动是朝向还是远离设备相应地增加和减少音量水平。音量的变化率能够取决于运动的速度。第二种选择（即多普勒选择）更容易实施。在这两种情况下，一旦设置了期望的音量水平，则有需要提供允许用户的手从设备离开的方式。这可以通过按压按钮或通过以某些方式触摸终端100来启用该控制而实现。一种选项是仅当雷达105b检测到运动同时摄像头105a在其可视区134中检测到物体时启用音量控制。另一种选项是物体已经保持静止持续某一时间段之后使该水平冻结（例如，3秒）。
CF#2涉及GUI选择滚动命令，其中物体140仅在摄像头感测区134的存在启用了选择光标。随着物体在视场中移动，光标在可选项之间移动，例如在桌面上的应用图标之间移动或在照片浏览应用中的各照片之间移动。图7b生动地指示了操作原理。
CF#3可以涉及三维GUI交互命令，其中物体140在重叠区136中的存在引起了在X-Y空间内的平移移动、以及基于物体的径向运动引起了放大/缩小操作。缩放操作可采用从摄像头105a和雷达传感器105b接收到的信息，但是，正如前面所指示，从雷达传感器接收的签名可能是更高的加权。图7c生动地指示了操作原理。
CF#3还可以满足有径向运动但没有平移运动的情形，例如，为了控制放大和缩小功能而无需GUI上的转化，反之亦然。
其它能够通过命令映射被识别的手势包括由有序运动形成的手势。例如，以下运动的顺序可以被解释为与用户界面沿逆时针方向旋转相对应：（i）远离该设备的径向运动（使用雷达105b检测），（ii）从右到左的平移运动（使用摄像头105a检测），（iii）朝向设备的径向运动（使用雷达检测），（iv）从左到右的平移运动（使用摄像头检测）。其它这样有序手势也能够被供应。
手势控制模块130能够以软件、硬件或二者的结合的方式体现。
现在将参考图8描述本发明的第二实施例。在本实施例中，摄像头105a的视场被有效地分成两个或多个子区N，在本情况中摄像头105a的视场被分成4个子区。更具体地，与摄像头105a相关联的处理软件分别为不同的子区N分配相应的像素组。以和第一实施例（其中在雷达/摄像头重叠区的外部检测到的物体被分配给另一功能）的方式相同，在N个子区的不同子区中检测到的物体被分配给不同的用户界面功能。因此，能够使用手势来便利地区分的用户界面功能的数目进一步增加。
假定上述物体140是人手，尽管手指、指针或其它用户可操作物体也能够被摄像头105a和雷达传感器105b标识为可识别的物体。其它适当的物体包括：人头、脚、手套或鞋。系统也可以操作使得终端100相对于固定物体运动。
将理解，上面描述的实施例仅仅是说明性的并且不限定本发明的范围。在阅读本申请的基础上，其它变形和修改对本领域技术人员而言是显而易见的。例如，尽管已经说明雷达传感器105b具有比摄像头105a的视场更大的视场，但是反之也是可以的。
系统可以包括多于一个雷达传感器105b或多于一个摄像头105a或者二者。雷达传感器105b可以基于超声技术。
在另一实施例中，不需要总是保持传感器105a和105b都激活。为了节约能量，一个传感器一检测到运动或存在，就打开另一个传感器。例如，雷达传感器105b可以用相对低的工作周期（短接通时间而更长断开时间）来监控终端100的周围，并且一旦它检测到运动，控制器106可以接通摄像机105a，反之亦然。此外，雷达传感器105b和摄像头都可以例如通过声音/语音来激活。也可以通过针对每个应用来设计摄像头105a和雷达传感器105b的使用使得它们只在需要时被激活而使功耗最小化。
进一步地，可能使用来自某些通信无线电设备的部件作为感测无线电设备来有效地进行雷达检测。各示例包括蓝牙和Wi-Fi部件。
再进一步地，在上述实施例中，尽管摄像头105a和雷达传感器105b被描述成终端100内集成的部件，但是在备选实施例中，一种或两种类型的传感器可以被提供为通过例如USB或蓝牙的有线或无线接口连接至终端的分离的配件。手势控制模块130包括处理器并且手势控制模块130用于接收和解释来自该配件的信息。
此外，本申请的公开内容应当被理解为包括这里显式或隐式公开的特征的任何新的特征或新的特征的组合、或其任何概括、或在本申请的审查期间由此衍生的任何申请，可以规划新的权利要求来覆盖任何这样的特征和/或这样特征的组合。
Claims (21)
1.一种装置，包括：
处理器；
用户界面，使用户能够与关联于所述处理器的一个或多个软件应用进行交互；
第一传感器和第二传感器，被配置为检测位于远离所述装置的相应的第一感测区和第二感测区内的物体，并且生成对应于所述物体的信号，其中所述传感器被配置使得它们相应的感测区在空间上重叠，以界定所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
手势识别系统，用于从所述传感器接收信号，所述手势识别系统响应于在所述重叠区内部检测到物体，来根据从两个传感器接收的信号控制第一用户界面功能。
2.根据权利要求1所述的装置，其中所述手势识别系统进一步响应于在所述重叠区外部检测到物体，来根据仅从所述传感器中的一个传感器接收的信号控制不同的第二用户界面功能。
3.根据权利要求1或2所述的装置，其中所述手势识别系统进一步响应于在所述重叠区内部检测到物体，来基于检测到的物体的运动从两个传感器接收的信号标识出一个或多个预定的手势，并且根据每个标识的手势来控制所述第一用户界面功能。
4.根据任一前述权利要求所述的装置，其中所述第一传感器是光学传感器，以及所述第二传感器使用电磁谱的不同部分来感测接收的无线电波并且可选的是雷达传感器。
5.根据权利要求4所述的装置，进一步包括：图像处理装置，与所述光学传感器关联，所述图像处理装置被配置为标识从所述光学传感器的不同区域接收的图像信号，并且其中所述手势识别系统被配置为根据物体在其中被检测到的区域来控制不同的相应的用户界面功能。
6.根据权利要求4或5所述的装置，其中所述雷达传感器被配置为以界定比所述光学传感器的空间感测区更宽的空间感测区的方式来发射或接收无线电信号。
7.根据权利要求4至6中任一项所述的装置，其中所述手势识别系统被配置为从接收的图像信号和无线电感测信号中标识平移运动和径向运动二者、和/或物体相对于所述装置的径向距离，以及被配置为从中确定用于控制所述第一用户界面功能的一个或多个预定的手势。
8.根据权利要求7所述的装置，其中所述手势识别系统被配置为从接收的所述图像信号中标识与在随后的图像帧之间的前景物体的位置变化关联的运动向量，以及被配置为从中获得所述平移运动。
9.根据任一前述权利要求所述的装置，其中所述装置是移动通信终端。
10.根据权利要求9所述的装置，其中所述移动通信终端包括在所述移动通信终端的一侧或一面的显示器，用于显示借助于从所述第一传感器和所述第二传感器二者接收的信号来控制的图像数据。
11.根据权利要求9或10所述的装置，当引用权利要求4时，其中，所述光学传感器是在所述显示器同侧或同面提供的摄像头。
12.根据权利要求11所述的装置，其中所述雷达传感器被配置为接收来自所述显示器同侧或同面的反射的无线电信号。
13.根据任一前述权利要求所述的装置，其中所述手势识别系统被配置为检测手形物体。
14.一种方法，包括：
从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
15.根据权利要求14所述的方法，进一步包括：响应于在所述重叠区外部检测到物体，仅从所述传感器中的一个传感器接收信号；以及根据接收的所述信号来控制不同的第二用户界面功能。
16.根据权利要求15或16所述的方法，进一步包括：响应于在所述重叠区外部检测到物体，仅从所述第二传感器接收信号；以及根据接收的所述信号来控制不同的第三用户界面功能。
17.根据权利要求15或16所述的方法，包括：基于检测到的所述物体的运动，从两个传感器接收的信号中标识出一个或多个预定的手势；以及根据该标识出的手势来控制所述第一用户界面功能。
18.根据权利要求15至17中任一项所述的方法，包括：标识从光学传感器的不同区域接收的图像信号，以及根据物体在其中被检测到的区域来控制不同的相应的用户界面功能。
19.一种计算机程序，包括当被计算机装置执行时，用于控制所述计算机装置执行权利要求14至19中任一项所述的方法的指令。
20.一种非瞬态计算机可读存储介质，包括存储在其上的计算机可读代码，当被计算装置执行时致使所述计算装置执行包括以下的方法：
从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
响应于在所述重叠区内检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
21.一种装置，所述装置具有至少一个处理器和至少一个其上存储有计算机可读代码的存储器，当所述代码被执行时，控制所述至少一个处理器：
从第一传感器和第二传感器接收信号，所述第一传感器和所述第二传感器具有相应的第一物体感测区和第二物体感测区并且提供所述第一传感器和所述第二传感器都能在其中检测到共同物体的第三重叠区；以及
响应于在所述重叠区中检测到物体，根据从两个传感器接收的信号来控制第一用户界面功能。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/102,658 US20120280900A1 (en) | 2011-05-06 | 2011-05-06 | Gesture recognition using plural sensors |
| US13/102,658 | 2011-05-06 | ||
| PCT/IB2012/052149 WO2012153227A1 (en) | 2011-05-06 | 2012-04-30 | Gesture recognition using plural sensors |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103502911A true CN103502911A (zh) | 2014-01-08 |
Family
ID=47089919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280021975.1A Pending CN103502911A (zh) | 2011-05-06 | 2012-04-30 | 使用多个传感器的手势识别 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20120280900A1 (zh) |
| EP (1) | EP2710446A4 (zh) |
| CN (1) | CN103502911A (zh) |
| BR (1) | BR112013028658A2 (zh) |
| WO (1) | WO2012153227A1 (zh) |
Cited By (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104731257A (zh) * | 2015-03-24 | 2015-06-24 | 惠州Tcl移动通信有限公司 | 一种具有多功能按键的电子设备 |
| CN105094298A (zh) * | 2014-05-13 | 2015-11-25 | 华为技术有限公司 | 终端以及基于该终端的手势识别方法 |
| CN105759642A (zh) * | 2014-09-18 | 2016-07-13 | 现代自动车株式会社 | 通过分析无线电信号来识别动作的系统和方法 |
| CN106062777A (zh) * | 2014-03-28 | 2016-10-26 | 英特尔公司 | 基于雷达的姿势识别 |
| CN106062666A (zh) * | 2014-02-10 | 2016-10-26 | 苹果公司 | 使用光学传感器检测到的运动手势输入 |
| CN106339618A (zh) * | 2015-07-13 | 2017-01-18 | 广州杰赛科技股份有限公司 | 一种基于手动作的认证方法 |
| CN106339089A (zh) * | 2016-08-30 | 2017-01-18 | 武汉科领软件科技有限公司 | 一种人机交互动作识别系统及方法 |
| CN106355061A (zh) * | 2015-07-13 | 2017-01-25 | 广州杰赛科技股份有限公司 | 基于毫米波的手势认证装置 |
| CN106465003A (zh) * | 2014-05-05 | 2017-02-22 | 哈曼国际工业有限公司 | 扬声器 |
| CN106489080A (zh) * | 2014-08-07 | 2017-03-08 | 谷歌公司 | 基于雷达的手势感测和数据传输 |
| CN106527670A (zh) * | 2015-09-09 | 2017-03-22 | 广州杰赛科技股份有限公司 | 一种手势动作互动装置 |
| CN106527671A (zh) * | 2015-09-09 | 2017-03-22 | 广州杰赛科技股份有限公司 | 一种设备隔空控制方法 |
| CN106527669A (zh) * | 2015-09-09 | 2017-03-22 | 广州杰赛科技股份有限公司 | 基于无线信号的交互控制系统 |
| CN106527672A (zh) * | 2015-09-09 | 2017-03-22 | 广州杰赛科技股份有限公司 | 一种隔空的文字输入方法 |
| CN106570368A (zh) * | 2015-10-12 | 2017-04-19 | 广州杰赛科技股份有限公司 | 一种基于手势的信息认证装置 |
| CN106709300A (zh) * | 2015-07-13 | 2017-05-24 | 广州杰赛科技股份有限公司 | 一种基于手势的加密方法 |
| CN108430821A (zh) * | 2015-11-20 | 2018-08-21 | 奥迪股份公司 | 具有至少一个雷达单元的机动车 |
| CN108519812A (zh) * | 2018-03-21 | 2018-09-11 | 电子科技大学 | 一种基于卷积神经网络的三维微多普勒手势识别方法 |
| US10310621B1 (en) | 2015-10-06 | 2019-06-04 | Google Llc | Radar gesture sensing using existing data protocols |
| US10409385B2 (en) | 2014-08-22 | 2019-09-10 | Google Llc | Occluded gesture recognition |
| US10469998B2 (en) | 2015-06-25 | 2019-11-05 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Interaction method and communication device |
| US10496182B2 (en) | 2015-04-30 | 2019-12-03 | Google Llc | Type-agnostic RF signal representations |
| CN111108408A (zh) * | 2017-06-27 | 2020-05-05 | 苹果公司 | 手势识别雷达系统和方法 |
| US10664061B2 (en) | 2015-04-30 | 2020-05-26 | Google Llc | Wide-field radar-based gesture recognition |
| US10664059B2 (en) | 2014-10-02 | 2020-05-26 | Google Llc | Non-line-of-sight radar-based gesture recognition |
| US10735068B2 (en) | 2015-06-25 | 2020-08-04 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Interaction method and communication device |
| CN111521999A (zh) * | 2019-02-01 | 2020-08-11 | 立积电子股份有限公司 | 位置侦测系统 |
| CN111522436A (zh) * | 2014-06-03 | 2020-08-11 | 谷歌有限责任公司 | 通过穿戴式设备的基于雷达的手势识别 |
| US10778319B2 (en) | 2015-06-25 | 2020-09-15 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Interaction method and communication device |
| US10817070B2 (en) | 2015-04-30 | 2020-10-27 | Google Llc | RF-based micro-motion tracking for gesture tracking and recognition |
| US10936085B2 (en) | 2015-05-27 | 2021-03-02 | Google Llc | Gesture detection and interactions |
| CN112655188A (zh) * | 2019-07-26 | 2021-04-13 | 谷歌有限责任公司 | 由用户设备进行的鲁棒的基于雷达的姿势识别 |
| CN112753005A (zh) * | 2019-08-30 | 2021-05-04 | 谷歌有限责任公司 | 移动设备的输入方法 |
| US11140787B2 (en) | 2016-05-03 | 2021-10-05 | Google Llc | Connecting an electronic component to an interactive textile |
| US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
| US11169615B2 (en) | 2019-08-30 | 2021-11-09 | Google Llc | Notification of availability of radar-based input for electronic devices |
| US11281303B2 (en) | 2019-08-30 | 2022-03-22 | Google Llc | Visual indicator for paused radar gestures |
| US11288895B2 (en) | 2019-07-26 | 2022-03-29 | Google Llc | Authentication management through IMU and radar |
| US11360192B2 (en) | 2019-07-26 | 2022-06-14 | Google Llc | Reducing a state based on IMU and radar |
| US11385722B2 (en) | 2019-07-26 | 2022-07-12 | Google Llc | Robust radar-based gesture-recognition by user equipment |
| US11467672B2 (en) | 2019-08-30 | 2022-10-11 | Google Llc | Context-sensitive control of radar-based gesture-recognition |
| US11531459B2 (en) | 2016-05-16 | 2022-12-20 | Google Llc | Control-article-based control of a user interface |
| CN116279237A (zh) * | 2023-02-21 | 2023-06-23 | 惠州市科宇汽车精密配件有限公司 | 一种车载非接触式开关控制系统及其控制方法 |
| US11841933B2 (en) | 2019-06-26 | 2023-12-12 | Google Llc | Radar-based authentication status feedback |
| US11868537B2 (en) | 2019-07-26 | 2024-01-09 | Google Llc | Robust radar-based gesture-recognition by user equipment |
| US11946996B2 (en) | 2020-06-30 | 2024-04-02 | Apple, Inc. | Ultra-accurate object tracking using radar in multi-object environment |
| US12093463B2 (en) | 2019-07-26 | 2024-09-17 | Google Llc | Context-sensitive control of radar-based gesture-recognition |
Families Citing this family (143)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7148879B2 (en) | 2000-07-06 | 2006-12-12 | At&T Corp. | Bioacoustic control system, method and apparatus |
| US9857868B2 (en) * | 2011-03-19 | 2018-01-02 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system for ergonomic touch-free interface |
| GB2490108B (en) * | 2011-04-13 | 2018-01-17 | Nokia Technologies Oy | A method, apparatus and computer program for user control of a state of an apparatus |
| WO2012171190A1 (zh) * | 2011-06-15 | 2012-12-20 | 青岛海信信芯科技有限公司 | 电视机及其控制方法和装置 |
| US8908894B2 (en) | 2011-12-01 | 2014-12-09 | At&T Intellectual Property I, L.P. | Devices and methods for transferring data through a human body |
| US9389681B2 (en) * | 2011-12-19 | 2016-07-12 | Microsoft Technology Licensing, Llc | Sensor fusion interface for multiple sensor input |
| KR101855141B1 (ko) * | 2012-02-08 | 2018-05-09 | 삼성전자 주식회사 | 사용자 디바이스의 옵션 설정 방법 및 장치 |
| US9389690B2 (en) * | 2012-03-01 | 2016-07-12 | Qualcomm Incorporated | Gesture detection based on information from multiple types of sensors |
| US9122354B2 (en) * | 2012-03-14 | 2015-09-01 | Texas Instruments Incorporated | Detecting wave gestures near an illuminated surface |
| JP5970937B2 (ja) * | 2012-04-25 | 2016-08-17 | ソニー株式会社 | 表示制御装置および表示制御方法 |
| TW201423484A (zh) | 2012-12-14 | 2014-06-16 | Pixart Imaging Inc | 動態偵測系統 |
| US20140181710A1 (en) * | 2012-12-26 | 2014-06-26 | Harman International Industries, Incorporated | Proximity location system |
| US20140282280A1 (en) * | 2013-03-14 | 2014-09-18 | Samsung Electronics Co., Ltd. | Gesture detection based on time difference of movements |
| US20140267142A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Extending interactive inputs via sensor fusion |
| US9971414B2 (en) | 2013-04-01 | 2018-05-15 | University Of Washington Through Its Center For Commercialization | Devices, systems, and methods for detecting gestures using wireless communication signals |
| US9367137B2 (en) | 2013-07-01 | 2016-06-14 | Blackberry Limited | Alarm operation by touch-less gesture |
| US9342671B2 (en) | 2013-07-01 | 2016-05-17 | Blackberry Limited | Password by touch-less gesture |
| EP2821852B1 (en) * | 2013-07-01 | 2019-09-04 | BlackBerry Limited | Camera control using ambient light sensors |
| US9423913B2 (en) | 2013-07-01 | 2016-08-23 | Blackberry Limited | Performance control of ambient light sensors |
| US9489051B2 (en) | 2013-07-01 | 2016-11-08 | Blackberry Limited | Display navigation using touch-less gestures |
| US9398221B2 (en) | 2013-07-01 | 2016-07-19 | Blackberry Limited | Camera control using ambient light sensors |
| US9323336B2 (en) | 2013-07-01 | 2016-04-26 | Blackberry Limited | Gesture detection using ambient light sensors |
| US9256290B2 (en) | 2013-07-01 | 2016-02-09 | Blackberry Limited | Gesture detection using ambient light sensors |
| US9405461B2 (en) | 2013-07-09 | 2016-08-02 | Blackberry Limited | Operating a device using touchless and touchscreen gestures |
| EP2829947B1 (en) * | 2013-07-23 | 2019-05-08 | BlackBerry Limited | Apparatus and method pertaining to the use of a plurality of 3D gesture sensors to detect 3D gestures |
| US9817565B2 (en) * | 2013-07-23 | 2017-11-14 | Blackberry Limited | Apparatus and method pertaining to the use of a plurality of 3D gesture sensors to detect 3D gestures |
| US9304596B2 (en) | 2013-07-24 | 2016-04-05 | Blackberry Limited | Backlight for touchless gesture detection |
| US9465448B2 (en) | 2013-07-24 | 2016-10-11 | Blackberry Limited | Backlight for touchless gesture detection |
| CN103402156B (zh) * | 2013-07-25 | 2016-05-25 | 瑞声科技（南京）有限公司 | 声学系统 |
| US11199906B1 (en) | 2013-09-04 | 2021-12-14 | Amazon Technologies, Inc. | Global user input management |
| US9194741B2 (en) | 2013-09-06 | 2015-11-24 | Blackberry Limited | Device having light intensity measurement in presence of shadows |
| US10108984B2 (en) | 2013-10-29 | 2018-10-23 | At&T Intellectual Property I, L.P. | Detecting body language via bone conduction |
| US9594433B2 (en) * | 2013-11-05 | 2017-03-14 | At&T Intellectual Property I, L.P. | Gesture-based controls via bone conduction |
| US9349280B2 (en) | 2013-11-18 | 2016-05-24 | At&T Intellectual Property I, L.P. | Disrupting bone conduction signals |
| US10678322B2 (en) | 2013-11-18 | 2020-06-09 | At&T Intellectual Property I, L.P. | Pressure sensing via bone conduction |
| US9715774B2 (en) | 2013-11-19 | 2017-07-25 | At&T Intellectual Property I, L.P. | Authenticating a user on behalf of another user based upon a unique body signature determined through bone conduction signals |
| US9405892B2 (en) | 2013-11-26 | 2016-08-02 | At&T Intellectual Property I, L.P. | Preventing spoofing attacks for bone conduction applications |
| US9547070B2 (en) | 2013-12-26 | 2017-01-17 | International Business Machines Corporation | Radar integration with handheld electronic devices |
| EP2916209B1 (en) | 2014-03-03 | 2019-11-20 | Nokia Technologies Oy | Input axis between an apparatus and a separate apparatus |
| US9811311B2 (en) | 2014-03-17 | 2017-11-07 | Google Inc. | Using ultrasound to improve IMU-based gesture detection |
| US9417704B1 (en) | 2014-03-18 | 2016-08-16 | Google Inc. | Gesture onset detection on multiple devices |
| CN103995637B (zh) * | 2014-04-28 | 2015-08-12 | 京东方科技集团股份有限公司 | 基于多普勒效应的触控识别装置、方法和触摸屏 |
| CN106415454A (zh) * | 2014-04-30 | 2017-02-15 | Lg伊诺特有限公司 | 触控设备、具有该触控设备的可穿戴设备及触控识别方法 |
| US10436888B2 (en) * | 2014-05-30 | 2019-10-08 | Texas Tech University System | Hybrid FMCW-interferometry radar for positioning and monitoring and methods of using same |
| US9921660B2 (en) * | 2014-08-07 | 2018-03-20 | Google Llc | Radar-based gesture recognition |
| US9588625B2 (en) | 2014-08-15 | 2017-03-07 | Google Inc. | Interactive textiles |
| US10268321B2 (en) | 2014-08-15 | 2019-04-23 | Google Llc | Interactive textiles within hard objects |
| KR102214194B1 (ko) * | 2014-08-19 | 2021-02-09 | 삼성전자 주식회사 | Rf센서를 가진 디스플레이장치 및 디스플레이장치의 사용자 감지방법 |
| US9882992B2 (en) | 2014-09-10 | 2018-01-30 | At&T Intellectual Property I, L.P. | Data session handoff using bone conduction |
| US9589482B2 (en) | 2014-09-10 | 2017-03-07 | At&T Intellectual Property I, L.P. | Bone conduction tags |
| US9582071B2 (en) | 2014-09-10 | 2017-02-28 | At&T Intellectual Property I, L.P. | Device hold determination using bone conduction |
| US10045732B2 (en) | 2014-09-10 | 2018-08-14 | At&T Intellectual Property I, L.P. | Measuring muscle exertion using bone conduction |
| US9600079B2 (en) | 2014-10-15 | 2017-03-21 | At&T Intellectual Property I, L.P. | Surface determination via bone conduction |
| US9817109B2 (en) * | 2015-02-27 | 2017-11-14 | Texas Instruments Incorporated | Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution |
| US10168785B2 (en) * | 2015-03-03 | 2019-01-01 | Nvidia Corporation | Multi-sensor based user interface |
| US10016162B1 (en) | 2015-03-23 | 2018-07-10 | Google Llc | In-ear health monitoring |
| US9983747B2 (en) | 2015-03-26 | 2018-05-29 | Google Llc | Two-layer interactive textiles |
| US9848780B1 (en) | 2015-04-08 | 2017-12-26 | Google Inc. | Assessing cardiovascular function using an optical sensor |
| US10080528B2 (en) | 2015-05-19 | 2018-09-25 | Google Llc | Optical central venous pressure measurement |
| US9693592B2 (en) | 2015-05-27 | 2017-07-04 | Google Inc. | Attaching electronic components to interactive textiles |
| US10376195B1 (en) | 2015-06-04 | 2019-08-13 | Google Llc | Automated nursing assessment |
| US10261584B2 (en) | 2015-08-24 | 2019-04-16 | Rambus Inc. | Touchless user interface for handheld and wearable computers |
| WO2017079484A1 (en) | 2015-11-04 | 2017-05-11 | Google Inc. | Connectors for connecting electronics embedded in garments to external devices |
| US9898143B2 (en) | 2015-12-24 | 2018-02-20 | Intel Corporation | Predicting touch events to improve touchscreen usage accuracy |
| DE102016204274A1 (de) | 2016-03-15 | 2017-09-21 | Volkswagen Aktiengesellschaft | System und Verfahren zum Erfassen einer Eingabegeste eines Nutzers |
| US10163282B2 (en) | 2016-03-30 | 2018-12-25 | Intermec, Inc. | Systems and methods for authentication |
| WO2017200570A1 (en) | 2016-05-16 | 2017-11-23 | Google Llc | Interactive object with multiple electronics modules |
| CN106227336B (zh) * | 2016-07-15 | 2019-07-12 | 深圳奥比中光科技有限公司 | 体感映射的建立方法以及建立装置 |
| US10181653B2 (en) | 2016-07-21 | 2019-01-15 | Infineon Technologies Ag | Radio frequency system for wearable device |
| US10218407B2 (en) | 2016-08-08 | 2019-02-26 | Infineon Technologies Ag | Radio frequency system and method for wearable device |
| US10572024B1 (en) * | 2016-09-28 | 2020-02-25 | Facebook Technologies, Llc | Hand tracking using an ultrasound sensor on a head-mounted display |
| KR101836742B1 (ko) | 2016-12-05 | 2018-03-08 | 연세대학교 산학협력단 | 제스쳐를 판단하는 장치 및 방법 |
| US10579150B2 (en) * | 2016-12-05 | 2020-03-03 | Google Llc | Concurrent detection of absolute distance and relative movement for sensing action gestures |
| US10466772B2 (en) * | 2017-01-09 | 2019-11-05 | Infineon Technologies Ag | System and method of gesture detection for a remote device |
| US10505255B2 (en) | 2017-01-30 | 2019-12-10 | Infineon Technologies Ag | Radio frequency device packages and methods of formation thereof |
| KR101892650B1 (ko) | 2017-02-15 | 2018-08-28 | (주)더블유알티랩 | 레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치 |
| KR101883228B1 (ko) * | 2017-02-16 | 2018-07-30 | (주)더블유알티랩 | 제스처 인식 방법 및 장치 |
| KR102316024B1 (ko) * | 2017-03-02 | 2021-10-26 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법 |
| WO2018183546A1 (en) * | 2017-03-28 | 2018-10-04 | Sri International | Identification system for subject or activity identification using range and velocity data |
| US10845477B2 (en) | 2017-05-10 | 2020-11-24 | Google Llc | Power management using a low-power radar |
| US10782390B2 (en) | 2017-05-31 | 2020-09-22 | Google Llc | Full-duplex operation for radar sensing using wireless communication chipset |
| US10754005B2 (en) | 2017-05-31 | 2020-08-25 | Google Llc | Radar modulation for radar sensing using a wireless communication chipset |
| US10602548B2 (en) | 2017-06-22 | 2020-03-24 | Infineon Technologies Ag | System and method for gesture sensing |
| CN110050249B (zh) * | 2017-08-31 | 2020-08-25 | 华为技术有限公司 | 一种输入方法及智能终端设备 |
| US11204647B2 (en) | 2017-09-19 | 2021-12-21 | Texas Instruments Incorporated | System and method for radar gesture recognition |
| US10746625B2 (en) | 2017-12-22 | 2020-08-18 | Infineon Technologies Ag | System and method of monitoring a structural object using a millimeter-wave radar sensor |
| US11346936B2 (en) | 2018-01-16 | 2022-05-31 | Infineon Technologies Ag | System and method for vital signal sensing using a millimeter-wave radar sensor |
| US11278241B2 (en) | 2018-01-16 | 2022-03-22 | Infineon Technologies Ag | System and method for vital signal sensing using a millimeter-wave radar sensor |
| US10795012B2 (en) | 2018-01-22 | 2020-10-06 | Infineon Technologies Ag | System and method for human behavior modelling and power control using a millimeter-wave radar sensor |
| US10576328B2 (en) | 2018-02-06 | 2020-03-03 | Infineon Technologies Ag | System and method for contactless sensing on a treadmill |
| US10705198B2 (en) | 2018-03-27 | 2020-07-07 | Infineon Technologies Ag | System and method of monitoring an air flow using a millimeter-wave radar sensor |
| US10775482B2 (en) | 2018-04-11 | 2020-09-15 | Infineon Technologies Ag | Human detection and identification in a setting using millimeter-wave radar |
| US10761187B2 (en) | 2018-04-11 | 2020-09-01 | Infineon Technologies Ag | Liquid detection using millimeter-wave radar sensor |
| US10794841B2 (en) | 2018-05-07 | 2020-10-06 | Infineon Technologies Ag | Composite material structure monitoring system |
| US10399393B1 (en) | 2018-05-29 | 2019-09-03 | Infineon Technologies Ag | Radar sensor system for tire monitoring |
| US10903567B2 (en) | 2018-06-04 | 2021-01-26 | Infineon Technologies Ag | Calibrating a phased array system |
| US11416077B2 (en) * | 2018-07-19 | 2022-08-16 | Infineon Technologies Ag | Gesture detection system and method using a radar sensor |
| US10831316B2 (en) | 2018-07-26 | 2020-11-10 | At&T Intellectual Property I, L.P. | Surface interface |
| US10794997B2 (en) * | 2018-08-21 | 2020-10-06 | Google Llc | Smartphone-based power-efficient radar processing and memory provisioning for detecting gestures |
| US10890653B2 (en) | 2018-08-22 | 2021-01-12 | Google Llc | Radar-based gesture enhancement for voice interfaces |
| US10770035B2 (en) | 2018-08-22 | 2020-09-08 | Google Llc | Smartphone-based radar system for facilitating awareness of user presence and orientation |
| US10698603B2 (en) | 2018-08-24 | 2020-06-30 | Google Llc | Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface |
| US10928501B2 (en) | 2018-08-28 | 2021-02-23 | Infineon Technologies Ag | Target detection in rainfall and snowfall conditions using mmWave radar |
| US11183772B2 (en) | 2018-09-13 | 2021-11-23 | Infineon Technologies Ag | Embedded downlight and radar system |
| US11125869B2 (en) | 2018-10-16 | 2021-09-21 | Infineon Technologies Ag | Estimating angle of human target using mmWave radar |
| US10788880B2 (en) | 2018-10-22 | 2020-09-29 | Google Llc | Smartphone-based radar system for determining user intention in a lower-power mode |
| US11397239B2 (en) | 2018-10-24 | 2022-07-26 | Infineon Technologies Ag | Radar sensor FSM low power mode |
| US11360185B2 (en) | 2018-10-24 | 2022-06-14 | Infineon Technologies Ag | Phase coded FMCW radar |
| US10761611B2 (en) | 2018-11-13 | 2020-09-01 | Google Llc | Radar-image shaper for radar-based applications |
| EP3654053A1 (en) | 2018-11-14 | 2020-05-20 | Infineon Technologies AG | Package with acoustic sensing device(s) and millimeter wave sensing elements |
| CN113330390A (zh) | 2018-11-30 | 2021-08-31 | 奇跃公司 | 用于化身运动的多模态手的位置和取向 |
| US11087115B2 (en) | 2019-01-22 | 2021-08-10 | Infineon Technologies Ag | User authentication using mm-Wave sensor for automotive radar systems |
| US11630569B2 (en) * | 2019-02-20 | 2023-04-18 | Carnegie Mellon University | System, method and devices for touch, user and object sensing for IoT experiences |
| US11355838B2 (en) | 2019-03-18 | 2022-06-07 | Infineon Technologies Ag | Integration of EBG structures (single layer/multi-layer) for isolation enhancement in multilayer embedded packaging technology at mmWave |
| US11126885B2 (en) | 2019-03-21 | 2021-09-21 | Infineon Technologies Ag | Character recognition in air-writing based on network of radars |
| US11454696B2 (en) | 2019-04-05 | 2022-09-27 | Infineon Technologies Ag | FMCW radar integration with communication system |
| US11442550B2 (en) * | 2019-05-06 | 2022-09-13 | Samsung Electronics Co., Ltd. | Methods for gesture recognition and control |
| EP3928181B1 (en) | 2019-06-17 | 2024-09-18 | Google LLC | Mobile device-based radar system for applying different power modes to a multi-mode interface |
| US11327167B2 (en) | 2019-09-13 | 2022-05-10 | Infineon Technologies Ag | Human target tracking system and method |
| US11774592B2 (en) | 2019-09-18 | 2023-10-03 | Infineon Technologies Ag | Multimode communication and radar system resource allocation |
| US11435443B2 (en) | 2019-10-22 | 2022-09-06 | Infineon Technologies Ag | Integration of tracking with classifier in mmwave radar |
| CN112860053B (zh) * | 2019-11-28 | 2024-02-20 | 京东方科技集团股份有限公司 | 手势识别装置、手势识别方法、计算机设备和存储介质 |
| US11567580B2 (en) * | 2020-01-29 | 2023-01-31 | Samsung Electronics Co., Ltd. | Adaptive thresholding and noise reduction for radar data |
| US11513603B2 (en) | 2020-01-30 | 2022-11-29 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for interpreting gestures |
| US11808883B2 (en) | 2020-01-31 | 2023-11-07 | Infineon Technologies Ag | Synchronization of multiple mmWave devices |
| US11614516B2 (en) | 2020-02-19 | 2023-03-28 | Infineon Technologies Ag | Radar vital signal tracking using a Kalman filter |
| CN113496171A (zh) * | 2020-04-03 | 2021-10-12 | 北京小米移动软件有限公司 | 手势检测方法、装置、移动终端及存储介质 |
| US11585891B2 (en) | 2020-04-20 | 2023-02-21 | Infineon Technologies Ag | Radar-based vital sign estimation |
| US11567185B2 (en) | 2020-05-05 | 2023-01-31 | Infineon Technologies Ag | Radar-based target tracking using motion detection |
| US11774553B2 (en) | 2020-06-18 | 2023-10-03 | Infineon Technologies Ag | Parametric CNN for radar processing |
| US11704917B2 (en) | 2020-07-09 | 2023-07-18 | Infineon Technologies Ag | Multi-sensor analysis of food |
| US11614511B2 (en) | 2020-09-17 | 2023-03-28 | Infineon Technologies Ag | Radar interference mitigation |
| US11719787B2 (en) | 2020-10-30 | 2023-08-08 | Infineon Technologies Ag | Radar-based target set generation |
| US11719805B2 (en) | 2020-11-18 | 2023-08-08 | Infineon Technologies Ag | Radar based tracker using empirical mode decomposition (EMD) and invariant feature transform (IFT) |
| US11662430B2 (en) | 2021-03-17 | 2023-05-30 | Infineon Technologies Ag | MmWave radar testing |
| US11804077B2 (en) * | 2021-04-01 | 2023-10-31 | KaiKuTek Inc. | Generic gesture detecting method and generic gesture detecting device |
| WO2022251825A1 (en) * | 2021-05-24 | 2022-12-01 | Google Llc | Radar application programming interface |
| US11950895B2 (en) | 2021-05-28 | 2024-04-09 | Infineon Technologies Ag | Radar sensor system for blood pressure sensing, and associated method |
| US20220381898A1 (en) * | 2021-06-01 | 2022-12-01 | Qualcomm Incorporated | Controlling device and processing settings based on radio frequency sensing |
| US12026319B2 (en) * | 2022-04-13 | 2024-07-02 | Samsung Electronics Co., Ltd. | Dynamic gesture recognition using mmWave radar |
| DE102022116737A1 (de) * | 2022-07-05 | 2024-01-11 | Friedrich-Alexander-Universität Erlangen-Nürnberg, Körperschaft des öffentlichen Rechts | System, Verfahren, Computerprogramm und computerlesbares Medium |
| EP4336310A1 (en) * | 2022-09-06 | 2024-03-13 | Nokia Technologies Oy | Device orientation detection |
| GB2624916A (en) * | 2022-11-30 | 2024-06-05 | Sony Interactive Entertainment Inc | Dynamic user input system and method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000021023A1 (en) * | 1998-10-07 | 2000-04-13 | Intel Corporation | Controlling a pointer using digital video |
| WO2007019443A1 (en) * | 2005-08-05 | 2007-02-15 | Reactrix Systems, Inc. | Interactive video display system |
| CN100340952C (zh) * | 2003-03-10 | 2007-10-03 | 皇家飞利浦电子股份有限公司 | 多视图显示器 |
| US20100019922A1 (en) * | 2006-10-18 | 2010-01-28 | Koninklijke Philips Electronics N.V. | Electronic system control using surface interaction |
| US20100063672A1 (en) * | 2008-09-11 | 2010-03-11 | Noel Wayne Anderson | Vehicle with high integrity perception system |
| WO2010056023A2 (en) * | 2008-11-14 | 2010-05-20 | Microinfinity, Inc. | Method and device for inputting a user's instructions based on movement sensing |
| US20100202656A1 (en) * | 2009-02-09 | 2010-08-12 | Bhiksha Raj Ramakrishnan | Ultrasonic Doppler System and Method for Gesture Recognition |
| EP2284655A2 (en) * | 2009-07-27 | 2011-02-16 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling electronic device using user interaction |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8086971B2 (en) * | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
| KR100917527B1 (ko) * | 2008-04-28 | 2009-09-16 | 엘지전자 주식회사 | 사용자의 제스쳐를 검출하여 사용자 인터페이스를 제어하는방법 |
| US9030418B2 (en) * | 2008-06-24 | 2015-05-12 | Lg Electronics Inc. | Mobile terminal capable of sensing proximity touch |
| US8626672B2 (en) * | 2008-07-23 | 2014-01-07 | I-Property Holding Corp. | Secure tracking of tablets |
| US8344325B2 (en) * | 2009-05-22 | 2013-01-01 | Motorola Mobility Llc | Electronic device with sensing assembly and method for detecting basic gestures |
-
2011
- 2011-05-06 US US13/102,658 patent/US20120280900A1/en not_active Abandoned
-
2012
- 2012-04-30 BR BR112013028658A patent/BR112013028658A2/pt not_active IP Right Cessation
- 2012-04-30 EP EP20120782629 patent/EP2710446A4/en not_active Withdrawn
- 2012-04-30 WO PCT/IB2012/052149 patent/WO2012153227A1/en active Application Filing
- 2012-04-30 CN CN201280021975.1A patent/CN103502911A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000021023A1 (en) * | 1998-10-07 | 2000-04-13 | Intel Corporation | Controlling a pointer using digital video |
| CN100340952C (zh) * | 2003-03-10 | 2007-10-03 | 皇家飞利浦电子股份有限公司 | 多视图显示器 |
| WO2007019443A1 (en) * | 2005-08-05 | 2007-02-15 | Reactrix Systems, Inc. | Interactive video display system |
| US20100019922A1 (en) * | 2006-10-18 | 2010-01-28 | Koninklijke Philips Electronics N.V. | Electronic system control using surface interaction |
| US20100063672A1 (en) * | 2008-09-11 | 2010-03-11 | Noel Wayne Anderson | Vehicle with high integrity perception system |
| WO2010056023A2 (en) * | 2008-11-14 | 2010-05-20 | Microinfinity, Inc. | Method and device for inputting a user's instructions based on movement sensing |
| US20100202656A1 (en) * | 2009-02-09 | 2010-08-12 | Bhiksha Raj Ramakrishnan | Ultrasonic Doppler System and Method for Gesture Recognition |
| EP2284655A2 (en) * | 2009-07-27 | 2011-02-16 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling electronic device using user interaction |
Cited By (91)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106062666A (zh) * | 2014-02-10 | 2016-10-26 | 苹果公司 | 使用光学传感器检测到的运动手势输入 |
| CN106062666B (zh) * | 2014-02-10 | 2019-03-15 | 苹果公司 | 使用光学传感器检测到的运动手势输入 |
| CN106062777A (zh) * | 2014-03-28 | 2016-10-26 | 英特尔公司 | 基于雷达的姿势识别 |
| CN106465003A (zh) * | 2014-05-05 | 2017-02-22 | 哈曼国际工业有限公司 | 扬声器 |
| CN105094298B (zh) * | 2014-05-13 | 2018-06-26 | 华为技术有限公司 | 终端以及基于该终端的手势识别方法 |
| CN105094298A (zh) * | 2014-05-13 | 2015-11-25 | 华为技术有限公司 | 终端以及基于该终端的手势识别方法 |
| CN111522436A (zh) * | 2014-06-03 | 2020-08-11 | 谷歌有限责任公司 | 通过穿戴式设备的基于雷达的手势识别 |
| US10948996B2 (en) | 2014-06-03 | 2021-03-16 | Google Llc | Radar-based gesture-recognition at a surface of an object |
| US10642367B2 (en) | 2014-08-07 | 2020-05-05 | Google Llc | Radar-based gesture sensing and data transmission |
| CN106489080B (zh) * | 2014-08-07 | 2019-11-05 | 谷歌有限责任公司 | 基于雷达的手势感测和数据传输 |
| CN106489080A (zh) * | 2014-08-07 | 2017-03-08 | 谷歌公司 | 基于雷达的手势感测和数据传输 |
| US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
| US11816101B2 (en) | 2014-08-22 | 2023-11-14 | Google Llc | Radar recognition-aided search |
| US10409385B2 (en) | 2014-08-22 | 2019-09-10 | Google Llc | Occluded gesture recognition |
| US10936081B2 (en) | 2014-08-22 | 2021-03-02 | Google Llc | Occluded gesture recognition |
| US11221682B2 (en) | 2014-08-22 | 2022-01-11 | Google Llc | Occluded gesture recognition |
| CN105759642B (zh) * | 2014-09-18 | 2019-08-06 | 现代自动车株式会社 | 通过分析无线电信号来识别动作的系统和方法 |
| CN105759642A (zh) * | 2014-09-18 | 2016-07-13 | 现代自动车株式会社 | 通过分析无线电信号来识别动作的系统和方法 |
| US10664059B2 (en) | 2014-10-02 | 2020-05-26 | Google Llc | Non-line-of-sight radar-based gesture recognition |
| US11163371B2 (en) | 2014-10-02 | 2021-11-02 | Google Llc | Non-line-of-sight radar-based gesture recognition |
| CN104731257A (zh) * | 2015-03-24 | 2015-06-24 | 惠州Tcl移动通信有限公司 | 一种具有多功能按键的电子设备 |
| US10664061B2 (en) | 2015-04-30 | 2020-05-26 | Google Llc | Wide-field radar-based gesture recognition |
| US10817070B2 (en) | 2015-04-30 | 2020-10-27 | Google Llc | RF-based micro-motion tracking for gesture tracking and recognition |
| US10496182B2 (en) | 2015-04-30 | 2019-12-03 | Google Llc | Type-agnostic RF signal representations |
| US11709552B2 (en) | 2015-04-30 | 2023-07-25 | Google Llc | RF-based micro-motion tracking for gesture tracking and recognition |
| US10936085B2 (en) | 2015-05-27 | 2021-03-02 | Google Llc | Gesture detection and interactions |
| US10469998B2 (en) | 2015-06-25 | 2019-11-05 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Interaction method and communication device |
| US10778319B2 (en) | 2015-06-25 | 2020-09-15 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Interaction method and communication device |
| US10735068B2 (en) | 2015-06-25 | 2020-08-04 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Interaction method and communication device |
| CN106709300A (zh) * | 2015-07-13 | 2017-05-24 | 广州杰赛科技股份有限公司 | 一种基于手势的加密方法 |
| CN106339618A (zh) * | 2015-07-13 | 2017-01-18 | 广州杰赛科技股份有限公司 | 一种基于手动作的认证方法 |
| CN106355061A (zh) * | 2015-07-13 | 2017-01-25 | 广州杰赛科技股份有限公司 | 基于毫米波的手势认证装置 |
| CN106527670A (zh) * | 2015-09-09 | 2017-03-22 | 广州杰赛科技股份有限公司 | 一种手势动作互动装置 |
| CN106527671A (zh) * | 2015-09-09 | 2017-03-22 | 广州杰赛科技股份有限公司 | 一种设备隔空控制方法 |
| CN106527669A (zh) * | 2015-09-09 | 2017-03-22 | 广州杰赛科技股份有限公司 | 基于无线信号的交互控制系统 |
| CN106527672A (zh) * | 2015-09-09 | 2017-03-22 | 广州杰赛科技股份有限公司 | 一种隔空的文字输入方法 |
| US10823841B1 (en) | 2015-10-06 | 2020-11-03 | Google Llc | Radar imaging on a mobile computing device |
| US10310621B1 (en) | 2015-10-06 | 2019-06-04 | Google Llc | Radar gesture sensing using existing data protocols |
| US11481040B2 (en) | 2015-10-06 | 2022-10-25 | Google Llc | User-customizable machine-learning in radar-based gesture detection |
| US11656336B2 (en) | 2015-10-06 | 2023-05-23 | Google Llc | Advanced gaming and virtual reality control using radar |
| US10540001B1 (en) | 2015-10-06 | 2020-01-21 | Google Llc | Fine-motion virtual-reality or augmented-reality control using radar |
| US10768712B2 (en) | 2015-10-06 | 2020-09-08 | Google Llc | Gesture component with gesture library |
| US11693092B2 (en) | 2015-10-06 | 2023-07-04 | Google Llc | Gesture recognition using multiple antenna |
| US10503883B1 (en) | 2015-10-06 | 2019-12-10 | Google Llc | Radar-based authentication |
| US10459080B1 (en) | 2015-10-06 | 2019-10-29 | Google Llc | Radar-based object detection for vehicles |
| US10908696B2 (en) | 2015-10-06 | 2021-02-02 | Google Llc | Advanced gaming and virtual reality control using radar |
| US10401490B2 (en) | 2015-10-06 | 2019-09-03 | Google Llc | Radar-enabled sensor fusion |
| US10379621B2 (en) | 2015-10-06 | 2019-08-13 | Google Llc | Gesture component with gesture library |
| US11698438B2 (en) | 2015-10-06 | 2023-07-11 | Google Llc | Gesture recognition using multiple antenna |
| US10705185B1 (en) | 2015-10-06 | 2020-07-07 | Google Llc | Application-based signal processing parameters in radar-based detection |
| US12117560B2 (en) | 2015-10-06 | 2024-10-15 | Google Llc | Radar-enabled sensor fusion |
| US11132065B2 (en) | 2015-10-06 | 2021-09-28 | Google Llc | Radar-enabled sensor fusion |
| US11385721B2 (en) | 2015-10-06 | 2022-07-12 | Google Llc | Application-based signal processing parameters in radar-based detection |
| US11592909B2 (en) | 2015-10-06 | 2023-02-28 | Google Llc | Fine-motion virtual-reality or augmented-reality control using radar |
| US11698439B2 (en) | 2015-10-06 | 2023-07-11 | Google Llc | Gesture recognition using multiple antenna |
| US12085670B2 (en) | 2015-10-06 | 2024-09-10 | Google Llc | Advanced gaming and virtual reality control using radar |
| CN113655471A (zh) * | 2015-10-06 | 2021-11-16 | 谷歌有限责任公司 | 用于支持雷达的传感器融合的方法、装置和片上系统 |
| US11175743B2 (en) | 2015-10-06 | 2021-11-16 | Google Llc | Gesture recognition using multiple antenna |
| CN113655471B (zh) * | 2015-10-06 | 2024-03-29 | 谷歌有限责任公司 | 用于支持雷达的传感器融合的方法、装置和片上系统 |
| US11256335B2 (en) | 2015-10-06 | 2022-02-22 | Google Llc | Fine-motion virtual-reality or augmented-reality control using radar |
| CN106570368A (zh) * | 2015-10-12 | 2017-04-19 | 广州杰赛科技股份有限公司 | 一种基于手势的信息认证装置 |
| CN108430821A (zh) * | 2015-11-20 | 2018-08-21 | 奥迪股份公司 | 具有至少一个雷达单元的机动车 |
| US10528148B2 (en) | 2015-11-20 | 2020-01-07 | Audi Ag | Motor vehicle with at least one radar unit |
| US11140787B2 (en) | 2016-05-03 | 2021-10-05 | Google Llc | Connecting an electronic component to an interactive textile |
| US11531459B2 (en) | 2016-05-16 | 2022-12-20 | Google Llc | Control-article-based control of a user interface |
| CN106339089A (zh) * | 2016-08-30 | 2017-01-18 | 武汉科领软件科技有限公司 | 一种人机交互动作识别系统及方法 |
| CN106339089B (zh) * | 2016-08-30 | 2019-06-28 | 武汉科领软件科技有限公司 | 一种人机交互动作识别系统及方法 |
| CN111108408A (zh) * | 2017-06-27 | 2020-05-05 | 苹果公司 | 手势识别雷达系统和方法 |
| CN108519812A (zh) * | 2018-03-21 | 2018-09-11 | 电子科技大学 | 一种基于卷积神经网络的三维微多普勒手势识别方法 |
| CN111521999A (zh) * | 2019-02-01 | 2020-08-11 | 立积电子股份有限公司 | 位置侦测系统 |
| US11841933B2 (en) | 2019-06-26 | 2023-12-12 | Google Llc | Radar-based authentication status feedback |
| CN112655188A (zh) * | 2019-07-26 | 2021-04-13 | 谷歌有限责任公司 | 由用户设备进行的鲁棒的基于雷达的姿势识别 |
| CN112655188B (zh) * | 2019-07-26 | 2022-04-08 | 谷歌有限责任公司 | 由用户设备进行的鲁棒的基于雷达的姿势识别 |
| US12093463B2 (en) | 2019-07-26 | 2024-09-17 | Google Llc | Context-sensitive control of radar-based gesture-recognition |
| CN114827344B (zh) * | 2019-07-26 | 2024-05-14 | 谷歌有限责任公司 | 由用户设备进行的鲁棒的基于雷达的姿势识别 |
| US11868537B2 (en) | 2019-07-26 | 2024-01-09 | Google Llc | Robust radar-based gesture-recognition by user equipment |
| CN114827344A (zh) * | 2019-07-26 | 2022-07-29 | 谷歌有限责任公司 | 由用户设备进行的鲁棒的基于雷达的姿势识别 |
| US11385722B2 (en) | 2019-07-26 | 2022-07-12 | Google Llc | Robust radar-based gesture-recognition by user equipment |
| US11360192B2 (en) | 2019-07-26 | 2022-06-14 | Google Llc | Reducing a state based on IMU and radar |
| US11790693B2 (en) | 2019-07-26 | 2023-10-17 | Google Llc | Authentication management through IMU and radar |
| US11288895B2 (en) | 2019-07-26 | 2022-03-29 | Google Llc | Authentication management through IMU and radar |
| US11467672B2 (en) | 2019-08-30 | 2022-10-11 | Google Llc | Context-sensitive control of radar-based gesture-recognition |
| US11402919B2 (en) | 2019-08-30 | 2022-08-02 | Google Llc | Radar gesture input methods for mobile devices |
| CN112753005B (zh) * | 2019-08-30 | 2024-03-01 | 谷歌有限责任公司 | 移动设备的输入方法 |
| US11281303B2 (en) | 2019-08-30 | 2022-03-22 | Google Llc | Visual indicator for paused radar gestures |
| US11687167B2 (en) | 2019-08-30 | 2023-06-27 | Google Llc | Visual indicator for paused radar gestures |
| US12008169B2 (en) | 2019-08-30 | 2024-06-11 | Google Llc | Radar gesture input methods for mobile devices |
| US11169615B2 (en) | 2019-08-30 | 2021-11-09 | Google Llc | Notification of availability of radar-based input for electronic devices |
| CN112753005A (zh) * | 2019-08-30 | 2021-05-04 | 谷歌有限责任公司 | 移动设备的输入方法 |
| US11946996B2 (en) | 2020-06-30 | 2024-04-02 | Apple, Inc. | Ultra-accurate object tracking using radar in multi-object environment |
| CN116279237A (zh) * | 2023-02-21 | 2023-06-23 | 惠州市科宇汽车精密配件有限公司 | 一种车载非接触式开关控制系统及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120280900A1 (en) | 2012-11-08 |
| BR112013028658A2 (pt) | 2017-06-13 |
| EP2710446A4 (en) | 2015-03-04 |
| EP2710446A1 (en) | 2014-03-26 |
| WO2012153227A1 (en) | 2012-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103502911A (zh) | 使用多个传感器的手势识别 | |
| US10649552B2 (en) | Input method and electronic device using pen input device | |
| CN102238282B (zh) | 能够提供多层游戏的移动终端及其操作方法 | |
| US8878775B2 (en) | Display device and control method thereof | |
| US11112872B2 (en) | Method, apparatus and computer program for user control of a state of an apparatus | |
| US20140191998A1 (en) | Non-contact control method of electronic apparatus | |
| US20140053079A1 (en) | Apparatus and method for proximity based input | |
| US11513676B2 (en) | Method and system for controlling device | |
| US20130241832A1 (en) | Method and device for controlling the behavior of virtual objects on a display | |
| US8938558B2 (en) | Modifying functionality based on distances between devices | |
| US20140218309A1 (en) | Digital device for recognizing double-sided touch and method for controlling the same | |
| CN104137045A (zh) | 用户手势识别 | |
| US20140245229A1 (en) | Method and apparatus for operating object in user device | |
| CN103210366A (zh) | 用于基于邻近的输入的装置和方法 | |
| US20110319130A1 (en) | Mobile terminal and method of operation | |
| US20150058793A1 (en) | Method, apparatus and recording medium for a scrolling screen | |
| CN113535055A (zh) | 一种基于虚拟现实播放点读物的方法、设备及存储介质 | |
| US20200326786A1 (en) | Device and method of controlling device | |
| KR102292619B1 (ko) | 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템 | |
| KR102306535B1 (ko) | 디바이스를 제어하는 방법 및 디바이스 | |
| KR102057936B1 (ko) | 차량에 탑재 가능한 단말 장치 및 이와 연동하는 모바일 디바이스와, 이들의 서비스 제공 방법 | |
| KR101612821B1 (ko) | 차선 인식 장치 및 그 방법 | |
| CN103069364A (zh) | 用于辨别输入物体的系统和方法 | |
| KR101961786B1 (ko) | 터치스크린을 포함하는 단말을 이용한 마우스 기능의 제공 방법 및 장치 | |
| KR102466219B1 (ko) | 사용자 행위에 기반한 컨텐츠 연관 정보를 제공하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160115 Address after: Espoo, Finland Applicant after: Technology Co., Ltd. of Nokia Address before: Espoo, Finland Applicant before: Nokia Oyj |
|
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140108 |
|
| WD01 | Invention patent application deemed withdrawn after publication |