CN113853567B - 基于imu和雷达降低状态 - Google Patents
基于imu和雷达降低状态 Download PDFInfo
- Publication number
- CN113853567B CN113853567B CN201980096592.2A CN201980096592A CN113853567B CN 113853567 B CN113853567 B CN 113853567B CN 201980096592 A CN201980096592 A CN 201980096592A CN 113853567 B CN113853567 B CN 113853567B
- Authority
- CN
- China
- Prior art keywords
- user
- state
- power
- radar
- user device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002829 reductive effect Effects 0.000 title description 21
- 238000000034 method Methods 0.000 claims abstract description 180
- 230000003993 interaction Effects 0.000 claims abstract description 137
- 238000005259 measurement Methods 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims description 106
- 230000004044 response Effects 0.000 claims description 59
- 230000008859 change Effects 0.000 claims description 27
- 230000007423 decrease Effects 0.000 claims description 12
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 31
- 230000001815 facial effect Effects 0.000 description 26
- 238000001228 spectrum Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 239000003638 chemical reducing agent Substances 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 235000019580 granularity Nutrition 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004622 sleep time Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000013078 crystal Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3231—Monitoring the presence, absence or movement of users
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
- G01S13/56—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
- G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
- G01S13/726—Multiple target tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/003—Bistatic radar systems; Multistatic radar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/08—Systems for measuring distance only
- G01S13/10—Systems for measuring distance only using transmission of interrupted, pulse modulated waves
- G01S13/26—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave
- G01S13/28—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave with time compression of received pulses
- G01S13/282—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave with time compression of received pulses using a frequency modulated carrier wave
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
- G01S13/44—Monopulse radar, i.e. simultaneous lobing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
- G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
- G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/03—Details of HF subsystems specially adapted therefor, e.g. common to transmitter and receiver
- G01S7/038—Feedthrough nulling circuits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/2813—Means providing a modification of the radiation pattern for cancelling noise, clutter or interfering signals, e.g. side lobe suppression, side lobe blanking, null-steering arrays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/292—Extracting wanted echo-signals
- G01S7/2921—Extracting wanted echo-signals based on data belonging to one radar period
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/292—Extracting wanted echo-signals
- G01S7/2923—Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/3827—Portable transceivers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本文档描述了基于来自惯性测量单元(IMU)的传感器数据和雷达降低状态的技术和系统。该技术和系统使用来自IMU的惯性传感器数据以及雷达数据来降低用户设备的状态,诸如功率、访问和信息状态。这些状态代表使用的功率、允许的访问量或用户设备提供的信息量。该技术管理用户设备的状态以对应于用户与用户设备的交互,这可以节省功率,减少无正当访问,并减少当用户未与用户设备交互时提供的信息量,从而保护用户的隐私。
Description
背景技术
诸如智能电话、可穿戴计算机和平板电脑的用户设备在设备的用户与设备脱离交互时经常无法准确地降低该设备的状态。例如,用户可能会停止与他们的用户设备交互,但除非他们明确选择取消认证(例如,锁定)或关闭设备电源,否则设备可能需要五分钟才能自行锁定并降低功率。
然而,这种经常使用的计时器的长度不能简单地缩短而不给设备和用户带来附加成本。这部分是由于两个因素,这两个因素都阻碍了短时间段的使用。首先,认证用户的过程对于用户来说可能是耗时的并且需要来自设备的大量电力。由于这些成本,许多传统的认证技术不希望过快地取消对用户的认证,因此将定时器设置在更长的时间段,诸如三、五或十分钟。其次,用户越来越频繁地与他们的设备进行互动,一些用户每天要对他们的设备进行数十次甚至数百次的认证。正因为如此,传统技术在承认许多用户可能会经常与他们的设备重新交互,并且在使用之间几乎没有长时间的中断的情况下不希望快速取消认证或关闭设备,因为这会损害用户经验。
发明内容
该文档描述了用于基于IMU和雷达降低状态的技术和系统。该技术和系统使用来自惯性测量单元(IMU)的惯性传感器数据以及雷达数据来降低计算设备的状态。通过这样做,这些技术可以节省功率、节省用户时间或更好地保护用户的隐私。
例如,描述了一种方法,该方法确定在其间用户正在与用户设备互动或最近已经与用户设备互动期间的用户设备的高级别状态中的同时的所述用户设备的移动,所述移动指示所述用户设备正在或已经被移动,基于通过与所述用户设备集成的惯性测量单元接收的惯性数据进行所述确定。所述方法还通过用户设备基于雷达数据确定脱离交互的意图,所述脱离交互的意图表示所述用户打算脱离与所述用户设备的交互。响应于所述移动和所述脱离交互的意图的所述确定,所述方法将所述用户设备的所述高级别状态从所述高级别状态降低到中间级别状态或低级别状态,所述高级别状态为高状态、高功率或高信息状态,所述中间级别状态分别为中间访问、中间功率或中间信息状态,所述低级别状态分别为低访问、低功率或低信息状态。
本文档还描述了具有用于执行上面总结的方法和本文阐述的其他方法的指令的计算机可读介质以及用于执行这些方法的系统和装置。
提供本发明内容以介绍用于基于IMU和雷达降低状态的简化概念,在下面的详细描述和附图中进一步描述这一点。本发明内容无意确定要求保护的主题的必要特征,也不旨在用于确定要求保护的主题的范围。
附图说明
在本文件中参考以下附图描述了基于IMU和雷达来降低状态的一个或多个方面的细节。在整个附图中使用相同的数字来引用相似的特征和组件:
图1图示了示例环境,其中可以实现基于IMU和雷达降低状态的技术。
图2图示了图1中阐述的认证系统的示例。
图3图示了由图2的认证系统认证的示例用户。
图4图示了图1的用户设备的实施方式,其可以响应于用户与用户设备交互的意图的确定而改变状态,包括认证系统的功率状态。
图5图示了用户设备的示例信息、功率和访问状态。
图6-1图示了作为计算设备一部分的示例雷达系统。
图6-2图示了示例收发器和处理器。
图6-3图示了功耗、姿势帧更新率和响应延迟之间的示例关系。
图6-4图示了示例帧结构。
图7图示了图6-1的雷达系统的接收天线元件的示例布置。
图8图示了图6-1的雷达系统的示例实施方式的附加细节。
图9图示了可以由图6-1的雷达系统实现的示例方案。
图10图示了通过IMU和/或雷达进行认证管理的示例方法。
图11图示了认证管理的示例场景。
图12图示了用于减少用户设备的状态的示例方法。
图13图示了用于减少用户设备的状态的示例场景。
图14图示了用于保持认证状态的示例方法。
图15图示了用于保持认证状态的示例场景。
图16图示了用于保持认证状态的另一示例场景。
具体实施方式
概述
本文档描述了用于基于来自惯性测量单元(IMU)和雷达的传感器数据来降低状态的技术和系统。这些技术和系统使用来自IMU的惯性传感器数据以及雷达数据来降低用户设备的状态,诸如功率、访问和信息状态。这些状态代表使用的功率、允许的访问量或用户设备提供的信息量。该技术管理用户设备的状态以对应于用户与用户设备的交互,这可以节省功率,减少不必要的访问,并减少当用户未与用户设备交互时提供的信息量,从而保护用户的隐私.
与所公开的技术相比,传统的用户设备通常不能准确地确定用户与用户设备(UE)的交互。由于这些UE无法这样做,但仍需要解除对UE的认证以保证其安全,当前的技术在时间段期满时锁定UE。对于许多传统技术而言,该时间段是其间用户没有按下任何按钮或触摸移动设备上的诸如触摸触敏显示器的传感器的时间段。因此,传统技术通常在没有接收到来自用户的明显输入时启动定时器,然后在没有任何明显输入的情况下定时器期满时解除对UE的认证。
但是,该解决方案充其量是不精确的,并且在最坏的情况下,在用户实际脱离交互时和定时器期满时之间的时间段期间允许未经授权的人拿起设备并具有完全访问权。此外,在该时间段期间,在用户在定时器期满之前脱离交互的情况下,功率被浪费并且信息被暴露。例如,即使用户不再存在,显示器也会继续向能够看到设备显示器的任何人提供信息。
作为一个示例,假设用户将他们的智能手机放在桌子上然后走开。传统技术通常启动计时器,然后在计时器期满而没有来自用户的任何明显输入之后,解除认证并以其他方式改变设备的状态。如果通常情况下该时间段是五分钟,则用户的设备保持认证(例如解锁)五分钟,在此期间恶意第三方可能会拿起并完全访问设备以及用户的私人账户和数据。此外,在这五分钟期间,一些传统技术保持显示器供电并继续呈现可能是私密的通知,例如自动显示在显示器上的电子邮件和文本消息内容。非用户,无论是否恶意,可以简单地路过并看到仅意欲供用户使用的信息。然而,相比之下,文档中描述的技术可以在用户将他们的设备放在办公桌上并走开的几秒钟甚至几分之一秒内减少设备的访问、功率和信息。
这只是所描述的技术和设备可以如何用于基于IMU和雷达降低状态的一个示例。贯穿本文件描述了其他示例和实施方式。该文档现在转向示例操作环境,其后描述示例设备、方法和系统。
操作环境
图1图示了示例环境100,其中可以实现基于IMU和雷达来降低状态的技术。示例环境100包括用户设备(UE)102(例如,智能手机),其包括或关联于雷达系统104、雷达管理器106、惯性测量单元(IMU)108、移动管理器110、状态管理器112、认证系统114和显示器116。
在示例环境100中,雷达系统104通过发送一个或多个雷达信号或波形来提供雷达场118,如下面参照图7-9所述。雷达场118是空间体积,雷达系统104可以从该空间体积检测雷达信号和波形的反射(例如,从空间体积中的物体反射的雷达信号和波形,在本文中也统称为雷达数据)。雷达系统104还使UE 102或另一电子设备能够从雷达场118内的反射感测和分析该雷达数据。雷达场118可以采用多种形状和形式中的任一种。例如,雷达场118可以具有如参考图1和7所描述的形状。在其他情况下,雷达场118可以采取从雷达系统104延伸的半径的形状、雷达系统104周围的体积(例如,球体、半球、部分球体、波束或锥形)或非均匀形状(例如,以适应来自雷达场118中的障碍物的干扰)。雷达场118可以从雷达系统104延伸各种距离中的任何距离,例如几英寸到十二英尺(小于三分之一米到四米)。雷达场118可以是预定义的、用户可选择的或经由另一种方法(例如,基于功率要求、剩余电池寿命或另一种因素)确定的。
在雷达场118中来自用户120的反射使雷达系统104能够确定关于用户120的各种信息,诸如用户120的身体位置和姿势,其可以指示各种不同的非语言肢体语言提示、身体位置或身体姿势。提示、位置和姿势可以包括用户120相对于UE 102的绝对位置或距离、用户120相对于UE 102的位置或距离的改变(例如,用户120或用户的手或用户120握住的物体正在靠近还是远离UE 102)、当靠近或远离UE 102移动时用户120(例如,手或非用户物体)的速度、用户120是朝向还是背向UE 102转动、以及用户120是否向UE 102倾斜、向其挥手、伸向或指向UE 102等等。还可以分析这些反射来通过分析雷达数据(例如,用户面部的散射中心)来确定诸如人的身份的认证或增加对认证的置信度。
雷达管理器106被配置为基于来自雷达系统104的雷达数据确定用户与UE 102交互、脱离或保持交互的意图。可以诸如基于手或手臂的伸向UE 102、眼睛移动以查看UE 102或朝向UE 102定向的头部或面部的移动,从如上所述的各种提示、位置、姿势和距离/速度推断出用户的意图。对于手或手臂伸向,雷达管理器106确定用户将他们的手伸向或将他们的手臂定向为使得指示触摸或拿起UE 102的可能意图。示例包括用户伸向无线附接的扬声器上的音量按钮、伸向与平板计算机相关联的无线或有线鼠标或伸向UE 102本身。可以基于单独的手部移动、手臂和手部移动、或以允许手臂的手接触或抓住UE 102的方式弯曲或伸直手臂来确定该伸向。如在下面的图14-16中所述,这种交互意图确定可以针对非用户或用户,无论是否经过认证。
还可以基于用户的头部或眼睛的移动以查看或将他们的脸朝向UE 102定向或在一些情况下UE 102的相关联的外围设备来推断用户的交互意图。对于用户的眼睛看向UE102的移动,雷达管理器106诸如通过跟踪用户的眼睛确定用户的眼睛正在看向UE 102的方向。对于用户头部以将他们的脸朝向UE 102定向的移动(例如,面部定向),雷达管理器106确定各个点(例如,如下所述的散射中心)现在被定向成使得用户的脸指向UE 102。因此,用户不需要执行被设计为控制或激活UE 102的动作,诸如激活(按压)UE 102上的按钮,或依赖于(例如,在触摸板或屏幕上的)触摸的姿势或独立于触摸的姿势(例如,使用雷达系统104),以便雷达管理器106确定用户打算与UE 102交互(或脱离交互或保持交互)。
如上所述,雷达管理器106还被配置为确定用户与UE 102脱离交互的意图。类似于用户的交互意图,雷达管理器106确定用户的脱离交互意图,尽管是从指示用户的手或手臂正从UE 102移开(例如,缩回)、眼睛移开UE 102的移动或者头部或面部移离UE 102(例如,面部朝向从查看UE 102移开的改变)的雷达数据推断出来的。确定用户的脱离交互意图的其他方式不仅是上述交互的相反或停止,还有指示用户已经走开、将他们的身体移开或已经与不同的、未关联的对象交互的雷达数据或设备。因此,雷达管理器106可以基于确定用户与某个其他对象、设备或用户设备交互的意图来确定与UE 102脱离交互的意图。例如,假设用户正在查看智能手机并与之互动。表明与该智能手机脱离交互的意图的示例交互意图包括用户看着电视屏幕而不是看着智能手机、开始与附近的实际存在的人交谈或伸向诸如电子书或媒体播放器的另一个设备——与其的交互可能取代与智能手机的交互。
雷达管理器106还被配置为确定用户保持与UE 102的交互的意图。这种保持交互可以是主动的或被动的。对于主动交互,雷达管理器106可以基于雷达数据确定用户正在通过与触摸无关的姿势等进行互动。雷达管理器106还可以或替代地通过(例如,在来自UE102的其他组件的帮助下执行的)非雷达数据来确定主动交互。这些非雷达数据包括用户正在向UE 102或外围设备输入数据或控制UE 102或外围设备的指示。因此,通过触摸、打字或音频数据,确定用户正在通过显示器116的触摸屏输入进行触摸(例如,轻敲软键盘或执行姿势)、在外围键盘上打字或者被确定为是口述音频输入。为了保持被动交互,雷达管理器106独立地或通过UE 102的其他组件的帮助确定用户正在消费内容或向其他人提供UE 102以消费内容,诸如正在将他们的脸指向UE 102、正在查看显示器116或者正在拿着UE 102使得将UE 102的显示器定向为由用户或第三方可见。保持被动交互的其他示例包括用户的存在,例如通过雷达管理器106确定用户120在UE 102的可及范围内(例如,距其两米、1.5米、一米或二分之一米)。下面描述了雷达管理器106被动地和主动地确定用户交互、脱离交互或保持交互的意图的示例方式的细节。
此外,雷达管理器106还可以使用来自雷达系统104的雷达数据来确定用户执行的姿势。这些姿势可以涉及:用户触摸某个表面,诸如桌子、显示器116或他们的衬衫袖子;或与触摸无关的姿势。可以在空中、三维和/或不需要手或手指触摸输入设备的情况下执行与触摸无关的姿势,但其不排除触摸某些对象。这些姿势可以基于雷达数据来确定,然后用作到UE 102的输入或用于指示与UE 102的交互。示例姿势包括类似于手语(例如,ASL或美国手语)的那些姿势,它们是变化的、复杂的单手或多手姿势,或简单的多手或单手姿势,例如向左、向右、向上或向下滑动、平举或降低(例如,提高或降低UE 102的音乐音量或通过UE102控制的电视或立体声音响),或向前或向后滑动(例如,从左到右或从右到左)以改变音乐和视频轨道、暂停闹钟、关闭电话或者甚至玩游戏。这些只是许多示例姿势和可通过这些姿势控制并且通过雷达系统104和雷达管理器106启用的功能中的一小部分。因此,虽然本文件涉及交互和状态管理,但本文档中的任何内容都不应该是被误解为指示雷达系统104和雷达管理器106也不能被配置用于姿势识别。
IMU 108可以是被配置为测量移动的多种设备中的任一种,移动在此处被定义为包括比力、角速率、定向、振动、加速度、速度和位置,包括三个轴中的每一个(例如,X、Y和Z)的俯仰、滚转和偏航。IMU 108可以是UE 102内的一个或多个设备,诸如加速度计、陀螺仪和/或磁力计。
移动管理器110被配置为基于来自IU 108的惯性数据确定UE 102的移动。示例移动包括UE 102被抬起M(例如,拿起)、朝向或远离用户120定向以及振动。示例移动可以指示用户120停止物理接触UE 102、将UE 102放置在无生命物体(例如,桌子、汽车控制台、沙发扶手、枕头、地板、扩展坞)上以及放置UE 102在封闭容器(例如,口袋、包或钱包)内。
这些移动可以指示用户与UE 102的潜在交互、脱离交互或保持交互。例如,UE 102的移动可以指示用户设备正在移动朝向用户120或朝向用户120定向,或正被移动远离用户120/背离用户120定向,正在移动得太快或改变移动太快以致于无法与许多可能类型的用户交互互动,被用户120握住(经由自然的人类移动、呼吸、心跳),或者由于机械或非用户源(例如,车辆的振动、使UE 102振动的环境声音、导致UE 102振动的音乐)而振动。因此,将指示与UE 102的潜在脱离交互的背离定向可以包括UE 102的定向改变使得用户120可以查看显示器116的先前定向现在不太可能使用户查看显示器116。用户120在一个定向上打字或阅读,然后将电话翻转或侧向翻转或放入口袋等只是指示背离定向并因此指示潜在脱离交互的移动的一个示例。可以指示保持的交互的示例移动包括指示用户正拿着或放置UE 102或保持其相对于UE 102的定向的振动,其中该定向先前指示与UE 102的交互或和与UE 102的交互一致。
显示器116可以包括任何合适的显示设备,例如触摸屏、液晶显示器(LCD)、薄膜晶体管(TFT)LCD、就地切换(IPS)LCD、电容式触摸屏显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AMOLED)显示器和超级AMOLED显示器等。如所指出的,显示器116可以以各种电平供电,该各种电平例如是在触摸输入供电的情况下完全饱和、在没有触摸输入被供电的情况下以及在低饱和和低功率(例如,灰度时钟)或无功率的情况下的降低饱和。
状态管理器112管理UE 102的状态,诸如功率、访问和信息状态。UE 102及其组件的这种管理是基于雷达管理器106和移动管理器110做出的确定来执行的。例如,状态管理器112可以诸如通过下述方式管理对认证系统114的组件供电:改变UE 102的显示器116以针对预期接收来自用户120的触摸输入以输入密码而增加功率,改变计算机处理器以执行在认证中使用的计算或改变成像系统以执行基于图像的面部认证,改变雷达(例如,雷达系统104),或改变其他组件。
如上所述,UE 102的这种管理基于雷达管理器106和移动管理器110的确定,它们分别确定交互意图、脱离交互意图或保持UE 102的交互和移动的意图。状态管理器112可以单独基于这些确定或者也基于其他信息来这样做,该其他信息诸如是当前状态、当前交互以及运行的应用程序和由这些应用程序显示的内容等等。此外,虽然雷达管理器106可以确定用户的意图并且移动管理器110可以确定移动——其中一些被确定为指示用户与UE 102进行交互的意图,但是状态管理器112通过使用它们的确定两者可以提高用户的意图是与UE 102交互、脱离交互或保持交互的整体确定的准确度、鲁棒性和/或速度。
雷达管理器106和移动管理器110的这两种确定的使用可以作为管理UE 102的状态的一部分一起或分阶段执行,或者可以单独使用其中之一。例如,假设UE 102对于用于认证的组件处于低功率状态。雷达管理器106可以基于朝向UE 102的移动或到达来确定用户120打算向UE 102认证。在一些情况下,这单独被状态管理器112认为不足以对于状态管理器112使UE 102改变为高功率状态。因此,状态管理器112可以使一些认证组件上电到中间状态,而不是高功率状态(例如,图5的高功率状态504-1)。例如,在认证系统114使用红外传感器来执行面部识别的情况下,状态管理器112可以为这些传感器和显示器116提供更高的功率,以预期认证用户,并且在显示器116的情况下,向用户指示UE 102正在“醒来”并且因此增加响应。作为附加步骤,状态管理器112可以等到移动管理器110确定用户已经将UE102移动、拿起和抬起等,然后才对认证组件——这里是红外传感器——进行完全供电。虽然不是必需的,但状态管理器112可以使组件在没有来自用户的进一步输入的情况下尝试认证,从而使对于用户120而言认证是无缝的。
然而,在一些情况下,响应于惯性数据和雷达数据两者,例如雷达管理器106确定用户打算进行交互并且移动管理器110确定用户正在拿起UE 102,状态管理器112确定增加功率或以其他方式准备UE 102的状态。
因此,状态管理器112可以等待直到用户的意图是通过拿起UE 102进行交互的更高置信水平,诸如移动管理器110指示用户刚刚开始触摸UE 102。在这种情况下,状态管理器112可以仅基于雷达管理器106的确定来增加功率,但可以增加到显示器或认证系统114或其组件的中间功率水平,相反等到移动管理器110指示用户触摸以为这些组件完全供电。然而,如上所述,状态管理器112可以仅在基于雷达数据确定交互意图时将状态改变为更高的功率水平,或者仅在基于雷达数据确定脱离交互时降低这些水平。
图1中在示例环境100-1、100-2和100-3处示出了状态管理器112可以管理UE 102的状态的许多示例方式中的一种。
在环境100-1中,假设用户120被认证,并且UE 102处于功率、接入和信息的高级别状态。该认证通过显示高饱和度和高亮度星形符号(在环境100-1中以122显示)的显示器116指示给用户120。在环境100-1处,用户120将UE 102放在桌子上。UE 102在桌子上的这种放置导致IMU 108感测并且然后向移动管理器110提供惯性数据。移动管理器110基于该惯性数据确定UE 102已经移动。此时,移动管理器110可以将此移动确定传递给雷达管理器106或状态管理器112,但在任一情况下,这是用于确定是否将状态从高级别降低到中间级别或低级别的数据点。如上所述,减少这些状态可以节省功率、保持信息私密和访问安全,并且仍然为用户120提供无缝的用户体验。
继续该示例,考虑环境100-2,其中用户120从UE 102收回他们的手。该收回分别由雷达系统104和雷达管理器106感测和分析。通过这样做,雷达管理器106确定用户120打算与UE 102脱离交互。基于来自雷达管理器106的这一确定和来自运动管理器110的移动确定,状态管理器112可以降低UE 102的一个或多个状态。这里,这种降低旨在对应于用户120与UE 102的交互级别。状态管理器112的这种降低是通过降低显示器116的饱和度和亮度而达到中间功率水平,以低亮度和饱和度的星形符号显示(在124处显示)。注意,状态管理器112可以将状态降低到功率、访问和/或信息的低级别,但是这里状态管理器112将状态降低到中间级别,因为来自雷达管理器106的脱离交互意图指示:用户120正在缩回他们的手臂,但他们的身体仍然朝向UE 102定向并且他们仍然看着UE 102。这是根据用户的交互定制状态的一个示例,因为缩回指示特定级别的脱离交互,但其本身可以指示雷达管理器106在脱离交互确定中的某种持续交互或某种程度的不确定性。
结束这个示例,考虑环境100-3。这里用户120正在阅读他们的书,而UE 102躺在桌子上。用户120使他们的身体以偏离UE 102并朝向他们的书的某个角度定向,并且他们正在看书,而不是UE 102。基于关于用户120的定向的该附加信息,雷达管理器106确定用户120打算从UE 102脱离交互(或已经脱离交互)。在这一点上,雷达管理器106向状态管理器112提供脱离交互确定的该附加意图,状态管理器112然后将UE 102的状态降低到低级别,在显示器116处以较低的功率使用显示(仅在126处以低亮度和饱和度显示一天的时间)。虽然未示出,但状态管理器112还解除对用户120的认证(例如,锁定UE 102)。
如该示例中所示,这里描述的技术可以管理用户设备的状态以提供无缝的用户体验、降低的功耗、以及更大的隐私和安全性。这种管理还可以包括保持或提高功率、访问和信息的级别。在下面描述该系统之后提供了增加认证系统的功率状态的示例。
更详细地,考虑图2中所示的认证系统114的一个示例。这只是一个示例,因为考虑了可由状态管理器112控制的其他认证系统,诸如通过触敏显示器输入密码、使用雷达系统104的雷达认证或指纹读取器,仅举几例。
认证系统114的这个示例被图示为示出了UE 102(示出为智能电话)的内部200。在所描绘的配置中,UE 102包括雷达系统104的雷达集成电路202、扬声器204、前置相机206、接近传感器208和环境光传感器210。UE 102还包括面部解锁传感器212,其包括近红外(NIR)泛光照明器214和近红外(NIR)点投影仪216,两者都向用户投射红外或近红外光。面部解锁传感器212还包括两个NIR相机218-1和218-2,它们位于UE 102的相对侧。NIR相机218-1和218-2感测用户反射的红外和近红外光。这种反射的近红外光可用于确定面部特征,并利用这些特征根据与先前存储的面部特征信息进行比较来确定用户是否真实。例如,NIR泛光照明器214用NIR光“泛光”环境,其在接收到来自用户(和其他物体)的反射时提供图像。即使在低环境光或没有环境光下,该图像也包括用户的面部,因此可用于确定面部特征。NIR点投影仪216提供NIR光反射,可以对其进行分析以确定物体的深度,包括用户面部的特征。因此,(例如,先前在设置面部认证时)可以为用户创建深度图(例如,频谱深度图),并且可以确定当前深度图并将其与存储的、之前创建的深度图进行比较。该深度图有助于防止对用户面部的图片或其他二维呈现(而不是人的实际面部)进行认证。
用户面部特征的这种映射可以安全地存储在UE 102上,并且基于用户的偏好,在UE 102上是安全的并且被防止被外部实体可用。
认证系统114包括面部解锁传感器212,但也可以包括其他组件,例如前置相机206、接近传感器208和环境光传感器210以及用于分析数据的处理器、内存(其也可能有多种功率状态)来存储、缓存或缓冲传感器数据等等。
面部解锁传感器212感测IR(红外)和NIR(近红外)数据以执行面部识别,这是技术可以认证用户并因此改变访问状态(例如,解锁UE 102)的一种方式,如以下描述的方法中所述。为了节省功率,面部解锁传感器212在不使用时在低功率状态下操作(也可以简单地关闭)。特别地,NIR泛光照明器214和NIR点投影仪216在关闭状态下不辐射。然而,与从低功率或无功率状态转换到中间功率状态和/或高功率状态相关联的预热序列可以用于NIR泛光照明器214和NIR点投影仪216。通过增加这些组件中的一个或两个的功率级别,认证用户的延迟可以减少,有时可以减少半秒或更长时间。鉴于每天用户对其设备进行认证数十或甚至数百次,这可以节省用户时间并改善他们的体验。如本文所指出的,该时间延迟通过雷达管理器106基于雷达系统104提供的雷达数据确定用户打算与他们的设备交互而减少。这由状态管理器112管理。实际上,这些技术主动检测用户的交互意图并启动预热序列。该技术甚至可以在用户触摸UE 102之前这样做,尽管这不是必需的。因此,这些技术使NIR泛光照明器214和NIR点投影仪216能够被充分供电以用于认证用户,这减少了用户等待面部识别完成所花费的时间。
在转到UE 102中的其他组件之前,考虑面部解锁传感器212的一个方面。认证系统114的这个示例组件可以在相对于显示器116的平面小至十度的范围内使用面部识别来认证用户。因此,用户不需要拿起电话并将传感器例如以70到110或80到100度的角度转向他们的面部,而是使用面部解锁传感器212的认证系统114被配置为在用户甚至拿起UE 102之前对用户进行认证。这在图3中图示,图3示出了用户120,包括以角度302的用于面部识别的其面部的部分(例如,他们的下巴、鼻子或颧骨),该角度可以相对于显示器116的平面304小至十度。还示出,当用户120的面部距离面部解锁传感器212超过一米(在面部距离306示出)时,用户120被认证。通过这样做,技术允许几乎无缝和即时的认证,即使UE 102颠倒或以奇怪的角度定向。
更详细地,考虑图4,其图示了UE 102(包括雷达管理器106、移动管理器110和状态管理器112)的示例实施方式400,其可以实现用于基于IMU、雷达和其他技术降低状态的技术。图4的UE 102被图示为具有多种示例设备,包括UE 102-1、平板电脑1022、膝上型计算机102-3、台式计算机102-4、计算手表102-5、计算眼镜102-6、游戏系统102-7、家庭自动化和控制系统102-8以及微波炉102-9。UE 102还可以包括其他设备,诸如电视、娱乐系统、音频系统、汽车、无人机、触控板、绘图板、上网本、电子阅读器、家庭安全系统和其他家用电器。请注意,UE 102可以是可穿戴的、不可穿戴但可移动或相对固定的(例如,台式机和电器)。
UE 102的示例性总体横向尺寸可以是例如大约八厘米乘大约十五厘米。雷达系统104的示例性覆盖区甚至可以受到更多限制,诸如包括天线的大约四毫米乘六毫米。雷达系统104需要这种有限的占地面积——其需要在结合功率和处理限制下的这种空间有限的封装中容纳UE 102的许多其他期望特征——可能导致在雷达姿势检测准确性和功效上的折衷,鉴于本文的教导,可以克服其中的至少一些。
UE 102还包括一个或多个计算机处理器402和一个或多个计算机可读介质404,其包括存储器介质和存储介质。实现为计算机可读介质404上的计算机可读指令的应用程序和/或操作系统(未示出)可以由计算机处理器402执行以提供这里描述的一些或所有功能,例如雷达管理器106、移动管理器110和状态管理器112的一些或所有功能(示出在计算机可读介质404内,但这不是必需的)。
UE 102还可以包括网络接口406。UE 102可以使用网络接口406来通过有线、无线或光网络传送数据。作为示例而非限制,网络接口406可以通过局域网(LAN)、无线局域网(WLAN)、个域网(PAN)、广域网(WAN)、内联网、互联网、对等网络、点对点网络或网状网络来传送数据。
在一些方面,雷达系统104至少部分地以硬件实现。雷达系统104的各种实现可以包括片上系统(SoC)、一个或多个集成电路(IC)、具有嵌入式处理器指令或被配置为访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、带有各种硬件组件的印刷电路板或其任意组合。雷达系统104通过发送和接收它自己的雷达信号而作为单基地雷达工作。在一些实施方式中,雷达系统104还可以与外部环境内的其他雷达系统104协作以实现双基地雷达、多基地雷达或网络雷达。然而,UE 102的约束或限制可能影响雷达系统104的设计。例如,UE 102可能具有有限的可用于操作雷达的功率、有限的计算能力、尺寸限制、布局限制和使雷达信号衰减或失真的外壳等。雷达系统104包括使得能够在存在这些限制的情况下实现高级雷达功能和高性能的若干特征,如下文进一步描述的。
在阐述状态管理器112可以起作用的附加示例方式之前,考虑图5,其图示了UE102可以在其中操作以及其可以由状态管理器112管理的许多信息、功率和访问状态。
图5图示了UE 102可以在其中操作的访问、信息和功率状态,其中的每一个都可以通过所描述的技术来管理。为了视觉简洁,以三个粒度级别示出这些示例级别和类型的设备状态500,尽管对于访问状态502、功率状态504和信息状态506考虑了其每个的许多级别。以三个示例粒度级别——高访问状态502-1、中间访问状态502-2和低访问状态502-3——示出访问状态502。类似地,功率状态504被示出为三个示例粒度级别:高功率状态504-1、中间功率状态504-2和低功率状态504-3。同样地,信息状态506被示出为三个示例粒度级别:高信息状态506-1、中间信息状态506-2和低信息状态506-3。
更详细地,访问状态502涉及设备的用户对UE 102的数据、应用、功能、账户或组件可用的访问权限。该访问可以是高的,有时被称为UE 102的“解锁”状态。这种高访问级别可以仅包括设备的应用程序和功能,或者还可以包括对各种账户的访问,例如可通过UE 102访问的银行账户和社交媒体账户等。诸如UE 102的许多计算设备需要认证以提供高访问,例如高访问状态502-1。
然而,UE 102可以在具有或不具有认证的情况下允许各种中间级别的访问(例如,502-2)(例如,取决于用户偏好或操作系统默认设置)。该中间访问状态502-2允许用户访问UE 102的一些但不是全部账户、服务或组件的状态。示例包括允许用户拍照但不允许访问先前捕获的图片。其他示例包括允许用户在拨打电话时接听电话但不允许访问联系人列表。这些只是UE 102可以允许的许多中间权利中的一些,如中间访问状态502-2所示。
最后,访问状态502可以制止允许访问,示出为低访问状态502-3。在这种情况下,设备可以打开和发送如警报的通知以唤醒用户等,但不允许访问UE 102的功能(或者UE102可能简单的被关闭,因此不允许访问)。
功率状态504被示出为具有三个示例粒度级别:高功率状态504-1、中间功率状态504-2和低功率状态504-3。功率状态504与对于UE 102的一个或多个组件——诸如雷达系统104、显示器116——或其他耗电组件——诸如处理器、相机、麦克风、语音助手、触摸屏、传感器、雷达和作为认证系统114一部分的组件(其也可以包括前面列出的组件)的功率量相关。在给组件上电以及总体上的功率状态504的上下文中,术语供电、上电、增加功率和降低功率等可以包括:对功率管理集成电路(PMIC)的控制;管理从PMIC延伸的电源轨;导通和关断电源轨、PMIC和一个或多个电路组件(例如,上述NIR组件、相机、显示器和雷达)之间的开关;以及,提供电源电压以准确和安全地操作组件,这可以包括斜坡化或分配施加的电压或管理涌入电流。
关于雷达系统104,可以通过下述方式来降低功率状态504:收集不同占空比的雷达数据(例如,较低的频率可以使用较少的功率并且较高的频率可以使用更多的功率),当组件未激活时关闭各种组件,或调整功率放大级别。通过这样做,雷达系统104可以在高功率状态504-1使用大约90mW的功率,在中间功率状态504-2使用30到60mW,或者在低功率状态504-3使用小于30mW的功率(例如,雷达系统104可以从2到20mW操作,同时仍然提供一些可用的雷达数据,诸如用户存在)。这些功率使用级别中的每一个都允许不同的分辨率和距离。参考图6-1描述了关于雷达系统104(和UE 102)的功率管理的附加细节。
在改变上述状态的上下文中,状态管理器112基于雷达管理器106和移动管理器110的确定可以将对于UE 102的各种组件的功率增加或减少。
例如,状态管理器112可以将认证系统114或显示器116的功率从低功率状态改变(例如,从低功率状态504-3到中间功率状态504-2或从这些状态中的任一个到高功率状态504-1)。通过这样做,UE 102可以更快速或更容易地与用户互动或认证用户。因此,状态管理器112可以将功率状态504更改为比UE 102的系统或与UE 102相关联的特定耗电实体的当前情况更高或更低的功率。作为上述图2的一部分进一步描述示例组件,包括对面部解锁传感器212及其组件、NIR泛光照明器214和NIR点投影仪216以及NIR相机218-1和218-2上电(或掉电),降低对于这些组件、显示器、麦克风和触摸输入传感器等的功率。
UE 102的第三示例状态是信息状态506,其用高信息状态506-1、中间信息状态506-2和低信息状态506-3示出。更详细地,信息状态506与提供给例如图1的用户120的用户的信息量有关。在通知的上下文中,高信息状态506-1提供最高级别的信息,并且通常假设UE 102被解锁或以其他方式被认证,或者即使没有认证也具有用于提供高级信息的用户偏好。对于高信息状态506-1,示例包括,在收到呼叫时显示呼叫者的姓名、号码和甚至相关图像。类似地,当接收到文本或电子邮件或其他类型的消息时,内容通过显示器116或音频扬声器和外围设备等被自动呈现。这假设了高水平的交互,尽管用户的偏好可以确定需要什么交互。这里假设用户的交互和提供的信息量之间存在某种相关性,因此,通过确定交互,这些技术可以定制呈现给该确定的信息。减少的信息的示例,例如中间信息状态506-2,包括在接收到呼叫时呈现铃声但不呈现呼叫者的姓名/身份,指示已接收文本消息或电子邮件但仅接收主题行,或只有地址,或正文中的部分内容,而不是全部内容等等。低信息状态506-3几乎不呈现与用户120个人相关的信息,但可以包括通用的或广泛认为是常识或非敏感的信息,诸如示出当前日期、时间、天气状况、电池电量状态或UE 102开启的显示器116。低信息状态506-3的其他示例包括当接收到文本消息时出现空白或黑色屏幕,并带有仅仅指示已收到消息的可听的“ping”或来电铃声,而不是姓名、号码或有关来电者的其他信息。
图6-1图示了雷达系统104的示例实施方式600。在示例600中,雷达系统104包括以下组件中的每一个中的至少一个:通信接口602、天线阵列604、收发器606、处理器608和系统介质610(例如,一个或多个计算机可读存储介质)。处理器608可被实现为数字信号处理器、控制器、应用处理器、另一处理器(例如,UE 102的计算机处理器402)或其某种组合。可以被包括在UE 102的计算机可读介质404内或与其分离的系统介质610包括以下模块中的一个或多个:衰减减轻器614、数字波束形成器616、角度估计器618或者电源管理模块620。这些模块可以补偿或减轻在UE 102内集成雷达系统104的影响,从而使雷达系统104能够识别小的或复杂的姿势,区分用户的不同定向(例如,“伸向”),持续监控外部环境,或实现目标误报率。有了这些特征,雷达系统104可以实现在各种不同的设备中,例如图4中所示的设备。
使用通信接口602,雷达系统104可以向雷达管理器106提供雷达数据。通信接口602可以是基于雷达系统104与UE102分离地实现或集成在内部UE 102的无线或有线接口。根据应用,雷达数据可以包括原始数据或最少处理的数据、同相和正交(I/Q)数据、距离多普勒数据、包括目标位置信息(例如,距离、方位角、仰角)的处理数据和杂波地图数据等。通常,雷达数据包含可由雷达管理器106用于向状态管理器112提供用户的交互意图、脱离交互意图或保持交互意图的信息。
天线阵列604包括至少一个发送天线元件(未示出)和至少两个接收天线元件(如图7所示)。在一些情况下,天线阵列604可以包括多个发送天线元件以实现能够一次发送多个不同波形(例如,每个发送天线元件的不同波形)的多输入多输出(MIMO)雷达。多个波形的使用可以增加雷达系统104的测量精度。对于包括三个或更多接收天线元件的实施方式,接收天线元件可以以一维形状(例如,线)或二维形状定位。一维形状使雷达系统104能够测量一个角度维度(例如,方位角或仰角),而二维形状使得能够测量两个角度维度(例如,方位角和仰角两者)。将参照图7进一步描述接收天线元件的示例二维布置。
图6-2图示了示例收发器606和处理器608。收发器606包括多个组件,这些组件可以根据雷达系统104的操作状态经由电源管理模块620单独接通或关断。注意,例如在状态管理器112正在为用于认证用户的组件(例如,认证系统114)上电或掉电情况下,电源管理模块620可以与状态管理器112分开、集成或在其控制下。收发器606被示为包括以下组件中的每个的至少一个:有源组件622、压控振荡器(VCO)和压控缓冲器624、多路复用器626、模数转换器(ADC))628、锁相环(PLL)630和晶体振荡器632。如果接通,这些组件中的每一个都会消耗功率,即使雷达系统104没有在主动使用这些组件来发送或接收雷达信号。例如,有源组件622可以包括耦合到电源电压的放大器或滤波器。VCO 624基于由PLL 630提供的控制电压生成调频雷达信号。晶体振荡器632生成用于信号生成、频率转换(例如,上变频或下变频)或雷达系统104内的定时操作的参考信号。通过接通或关断这些组件,电源管理模块620使雷达系统104能够在活动和不活动操作状态之间快速切换并在各种不活动时间段期间节省功率。这些不活动的时间段可以是微秒(μs)、毫秒(ms)或秒(s)的量级。
处理器608被示为包括消耗不同功率量的多个处理器,例如低功率处理器608-1和高功率处理器608-2。作为示例,低功率处理器608-1可以包括嵌入在雷达系统104内的处理器并且高功率处理器可以包括计算机处理器402或在雷达系统104外部的一些其他处理器。功耗的差异可能是由于可用内存或计算能力的不同量造成的。例如,相对于高功率处理器608-2,低功率处理器608-1可以使用更少的存储器、执行更少的计算或者使用更简单的算法。尽管有这些限制,但是低功率处理器608-1可以处理不太复杂的基于雷达的应用的数据,例如接近检测或移动检测(基于雷达数据而不是惯性数据)。相反,高功率处理器608-2可以利用大量内存、执行大量计算或执行复杂的信号处理、跟踪或机器学习算法。高功率处理器608-2可以处理高调的基于雷达的应用的数据,诸如姿势识别、面部识别(用于认证系统114),并且通过角模糊度的解决或区分多个用户及其特征而提供准确的高分辨率数据。
为了节省功率,电源管理模块620可以控制是使用低功率处理器608-1还是高功率处理器608-2来处理雷达数据。在一些情况下,低功率处理器608-1可以执行一部分分析并将数据传递到高功率处理器608-2。示例数据可以包括杂波图、原始或最少处理的雷达数据(例如,同相和正交数据或距离多普勒数据)或数字波束成形数据。低功率处理器608-1还可以执行一些低级分析以确定环境中是否有任何感兴趣的以供高功率处理器608-2分析。以此方式,可以通过在将高功率处理器608-2用于基于雷达的应用请求高保真或准确的雷达数据的情况的同时限制高功率处理器608-2的操作来节省功率。关于图6-1进一步描述可影响雷达系统104内的功耗的其他因素。
下面更详细地阐述这些和其他能力和配置以及图1、2、4和6-9的的实体作为和互动的方式。这些实体可以被进一步划分和组合等。图1的环境100和图2至图9的详细图示图示了能够采用所描述的技术的许多可能的环境和设备中的一些。图6-9描述了雷达系统104的附加细节和特征。在图6-9中,在UE 102的上下文中描述了雷达系统104,但是如上所述,所描述的系统和技术的特征和优点的适用性不必如此受限,并且涉及其他类型的电子设备的其他实施例也可以在本教导的范围内。
图7图示了接收天线元件702的示例布置700。例如,如果天线阵列604包括至少四个接收天线元件702,则接收天线元件702可以布置成如图7中部所描绘的矩形布置704-1。替选地,如果天线阵列604包括至少三个接收天线元件702,则可以使用三角形布置704-2或L形布置704-3。
由于UE 102的尺寸或布局限制,接收天线元件702之间的元件间距或接收天线元件702的数量对于雷达系统104要监控的角度可能不是理想的。特别地,元件间距可能会导致存在角度模糊,这使得传统雷达难以估计目标的角度位置。因此,传统雷达可能会限制视场(例如,要监控的角度)以避免具有角度模糊的模糊区域,从而减少错误检测。例如,传统雷达可以将视场限制在大约-45度到45度之间的角度,以避免使用8毫米(mm)的波长和6.5毫米的元件间距(例如,元件间距为波长的90%)出现的角度模糊。因此,传统雷达可能无法检测超出视场的45度限制的目标。相比之下,雷达系统104包括数字波束形成器616和角度估计器618,其解决角度模糊并且使雷达系统104能够监控超过45度限制的角度,例如大约-90度到90度之间的角度,或高达大约-180度和180度。这些角度范围可以应用于一个或多个方向(例如,方位角和/或仰角)。因此,雷达系统104可以实现各种不同天线阵列设计的低误报率,包括小于、大于或等于雷达信号中心波长的一半的元件间距。
使用天线阵列604,雷达系统104可以形成转向或非转向、宽或窄、或成形(例如,作为半球、立方体、扇形、圆锥体或圆柱体)的波束。作为示例,一个或多个发送天线元件(未示出)可以具有未转向的全向辐射图或者能够产生宽波束,诸如宽发送波束706。这些技术中的任一种使雷达系统104能够照亮大量的空间。然而,为了实现目标角精度和角分辨率,接收天线元件702和数字波束形成器616可用于生成数千个窄且可控的波束(例如,3000个波束、7000个波束或9000个波束),诸如窄接收波束708。这样,雷达系统104可以有效地监控外部环境并准确地确定外部环境内反射的到达角。
返回到图6-1,收发器606包括用于通过天线阵列604发送和接收雷达信号的电路和逻辑。收发器606的组件可以包括用于调节雷达信号的放大器、混频器、交换器、模数转换器和滤波器等。收发器606还可包括执行同相/正交(I/Q)操作——例如调制或解调——的逻辑。收发器606可以被配置用于连续波雷达操作或脉冲雷达操作。可以使用多种调制来产生雷达信号,包括线性频率调制、三角频率调制、步进频率调制或相位调制。
收发器606可以产生在频率范围内(例如,频谱)的雷达信号,例如在1吉赫兹(GHz)和400GHz之间、在4GHz和100GHz之间、或者在57GHz和63GHz之间。频谱可以分为多个具有相似带宽或不同带宽的子频谱。带宽可以在500兆赫(MHz)、1GHz和2GHz等量级上。例如,不同的频率子频谱可以包括大约57GHz和59GHz之间、59GHz和61GHz之间或61GHz和63GHz之间的频率。也可以针对相干性选择具有相同带宽并且可以是连续或不连续的多个频率子频谱。可以使用单个雷达信号或多个雷达信号同时或在时间上分开传输多个频率子频谱。连续频率子频谱使雷达信号能够具有更宽的带宽,而非连续频率子频谱可以进一步强调幅度和相位差,这使得角度估计器618能够解决角度模糊。衰减减轻器614或角度估计器618可以使收发器606利用一个或多个频率子频谱来改进雷达系统104的性能,如关于图8和9进一步描述的。这些技术的一些实施例是特别有利的,例如当UE 102是手持智能手机时,雷达信号在57Ghz-64Ghz频带中,峰值有效各向同性辐射功率(EIRP)在10dBm-20dBm(10mW-100mW)的范围内,且平均功率谱密度约为13dBm/MHz,其已被发现可以适当地解决辐射健康和共存问题,同时还提供在智能手机和用户周围的雷达检测的尺寸合适的“气泡”(例如,至少一米,通常可达或超过两米),其中,所描述的通过IMU和雷达进行认证管理的方法在省电的同时提供了特别好的省时便利。
电源管理模块620管理功率使用以平衡性能和功耗。例如,电源管理模块620与雷达管理器106通信以使雷达系统104使用预定义的雷达功率状态来收集数据。每个预定义的雷达功率状态可以与特定的帧结构、特定的发送功率电平或特定的硬件(例如,图6-2的低功率处理器608-1或高功率处理器608-2)相关联。调整这些的一项或多项会影响雷达系统104的功耗。然而,降低功耗会影响性能,诸如姿势帧更新率和响应延迟,如下所述。
图6-3图示了功耗、姿势帧更新率634和响应延迟之间的示例关系。在曲线图636中,雷达功率状态638-1、638-2和638-3与不同级别的功耗和不同的姿势帧更新率634相关联。姿势帧更新率634表示雷达系统104通过发送和接收一个或多个雷达信号来主动监控外部环境的频率。一般而言,功耗与姿势帧更新率634成正比。因此,较高的姿势帧更新率634导致雷达系统104消耗的功率量更大。
在曲线图636中,雷达功率状态638-1利用最小量的功率,而雷达功率状态638-3消耗最大量的功率。作为示例,雷达功率状态638-1消耗几毫瓦(mW)量级的功率(例如,大约在2mW和4mW之间),而雷达功率状态638-3消耗几毫瓦(例如,在大约6mW和20mW之间)量级的功率。就姿势帧更新率634而言,雷达功率状态638-1使用几赫兹(例如,大约1Hz或小于5Hz)量级的更新率,而雷达功率状态638-3使用数十赫兹(例如,大约20Hz或大于10Hz)量级的姿势帧更新率634。
曲线图640描绘了对于不同雷达功率状态638-1至638-3而言的响应延迟和姿势帧更新率634之间的关系。一般而言,响应延迟与姿势帧更新率634和功耗成反比。特别地,响应延迟在姿势帧更新率634增加的同时呈指数减少。与雷达功率状态638-1相关联的响应延迟可能在数百毫秒(ms)(例如,1000ms或超过200ms)的量级,而与雷达功率状态638-3相关联的响应延迟可能是几毫秒(例如,50毫秒或小于100毫秒)的量级。对于雷达功率状态638-2,功耗、姿势帧更新率634和响应延迟介于雷达功率状态638-1和雷达功率状态638-3之间。例如,雷达功率状态的638-2功耗约为5mW,姿势帧更新速率约为8Hz,且响应延迟在约100ms至200ms之间。
代替在雷达功率状态638-1或雷达功率状态638-3下操作,电源管理模块620在雷达功率状态638-1、638-2和638-3(以及这些雷达功率状态中的每一个之间的子状态638)之间动态切换,使得基于环境内的活动一起管理响应延迟和功耗。作为示例,电源管理模块620激活雷达功率状态638-1以监控外部环境或检测接近的用户。稍后,如果雷达系统104确定用户正表现出交互的意图或可能开始这样做,或开始执行姿势,则电源管理模块620激活雷达功率状态638-3。不同的触发器可以使电源管理模块620在不同的雷达功率状态638-1到638-3之间切换。示例触发器包括移动或缺乏移动、用户的出现或消失、用户移入或移出指定区域(例如,由范围、方位角或仰角定义的区域)、与用户相关联的移动速度的变化、由雷达管理器106确定的交互意图(例如,“伸向”,尽管某些交互意图需要附加的功率,诸如面部特征跟踪)或反射信号强度的变化(例如,由于在雷达截面上的变化)。一般而言,指示用户与UE 102互动的较低概率或使用较长响应延迟来收集数据的偏好的触发可以导致雷达功率状态638-1被激活以节省功率。
一般而言,电源管理模块620确定何时以及如何可以节省功率,并且递增地调整功耗以使雷达系统104能够在UE 102的功率限制内操作。在一些情况下,电源管理模块620可以监控剩余的可用功率量并相应地调整雷达系统104的操作(例如,由于低电池电量)。例如,如果剩余功率量低,则电源管理模块620可以继续在雷达功率状态638-1下操作而不是切换到雷达功率状态638-2或638-3中的任一个。
每个功率状态638-1到638-3可以与特定的帧结构相关联。帧结构指定了与雷达信号的发送和接收相关的配置、调度和信号特性。一般情况下,设置帧结构使得可以根据外部环境收集适当的雷达数据。可以定制帧结构,以便于为不同应用(例如,接近检测、特征识别或姿势识别)收集不同类型的雷达数据。在贯穿帧结构的每个级别的不活动时间期间,电源管理模块620可以关闭在图6-2中收发器606内的组件以节省功率。关于图6-4进一步描述了示例帧结构。
图6-4图示了示例帧结构642。在所描绘的配置中,帧结构642包括三种不同类型的帧。在顶部级别,帧结构642包括一系列姿势帧644,其可以处于活动状态或不活动状态。一般来说,活动状态相对于不活动状态消耗更多的电量。在中间级别,帧结构642包括一系列特征帧(FF)646,其可以类似地处于活动状态或不活动状态。不同类型的特征帧包括脉冲模式特征帧648(在图6-4的左下角示出)和突发模式特征帧650(在图6-4的右下角示出)。在低级别,帧结构642包括一系列雷达帧(RF)652,其也可以处于活动状态或不活动状态。
雷达系统104在活动雷达帧(RF)652期间发送和接收雷达信号。在一些情况下,雷达帧652被单独分析用于基本雷达操作,诸如搜索和跟踪、杂波图生成和用户位置确定等。在每个活动的雷达帧652期间收集的雷达数据可以在雷达帧652完成之后保存到缓冲器或直接提供给图6-1的处理器608。
雷达系统104分析跨越多个雷达帧652(例如,跨越与活动特征帧646相关联的一组雷达帧652)的雷达数据以识别与一个或多个姿势相关联的特定特征。特征的示例类型包括特定类型的移动、与特定附肢(例如,手或单个手指)相关联的移动以及与姿势的不同部分相关联的特征。为了识别用户120在活动姿势帧644期间执行的姿势,雷达系统104分析与一个或多个活动特征帧646相关联的雷达数据。
取决于姿势的类型,姿势帧644的持续时间可以是毫秒或秒的量级(例如,在大约10毫秒和10秒之间)。在活动姿势帧644出现之后,雷达系统104不活动,如不活动姿势帧644-3和644-4所示。不活动姿势帧644的持续时间以深度睡眠时间654为特征,其可以在数十毫秒或更多的量级(例如,大于50毫秒)。在示例实施方式中,雷达系统104可以关闭收发器606内的所有组件以在深度睡眠时间654期间节省功率。
在所描绘的帧结构642中,每个姿势帧644包括K个特征帧646,其中,K是正整数。如果姿势帧644处于不活动状态,则与该姿势帧644相关联的所有特征帧646也处于不活动状态。相比之下,活动姿势帧644包括J个活动特征帧646和K-J个不活动特征帧646,其中,J是小于或等于K的正整数。特征帧646的数量可以基于姿势的复杂度并且可以包括几个到一百个特征帧646(例如,K可以等于2、10、30、60或100)。每个特征帧646的持续时间可以是毫秒的量级(例如,在大约1ms和50ms之间)。
为了节省功率,活动特征帧646-1至646-J出现在不活动特征帧646-(J+1)至646-K之前。不活动特征帧646-(J+1)至646-K的持续时间以休眠时间656表征。以此方式,不活动特征帧646-(J+1)至646-K被连续执行以使得相对于将不活动特征帧646-(J+1)至646-K与活动特征帧646-1至646-J交错的其他技术,雷达系统104可以处于掉电状态达更长的持续时间。一般而言,增加休眠时间656的持续时间使雷达系统104能够关闭收发器606内的需要更长启动时间的组件。
每个特征帧646包括L个雷达帧652,其中,L是可以等于或不等于J或K的正整数。在一些实施方式中,雷达帧652的数量可以跨不同特征帧646而变化并且可以包括几个帧或数百个帧(例如,L可以等于5、15、30、100或500)。雷达帧652的持续时间可以在数十或数千微秒的量级(例如,在大约30μs和5ms之间)。可以针对预定检测范围、距离分辨率或多普勒灵敏度定制特定特征帧646内的雷达帧652,这有助于特定特征和姿势的检测。例如,雷达帧652可以利用特定类型的调制、带宽、频率、发送功率或定时。如果特征帧646处于不活动状态,则与该特征帧646相关联的所有雷达帧652也处于不活动状态。
脉冲模式特征帧648和突发模式特征帧650包括不同序列的雷达帧652。一般来说,活动脉冲模式特征帧648内的雷达帧652发送在时间上间隔预定量的脉冲。相比之下,活动突发模式特征帧650内的雷达帧652跨突发模式特征帧650的一部分连续地发送脉冲(例如,脉冲没有在时间上间隔预定量)。
在每个活动脉冲模式特征帧648内,雷达帧序列652在活动状态和不活动状态之间交替。每个活动雷达帧652发送雷达信号(例如,线性调频脉冲),其由三角形示出。雷达信号的持续时间由活动时间658表征。在活动时间658期间,收发器606内的组件被上电。在包括活动雷达帧652内的剩余时间和随后的不活动雷达帧652的持续时间的短空闲时间660期间,雷达系统104通过关闭收发机606内的、具有在短空闲时间660的持续时间内的启动时间的组件来节省功率。
活动突发模式特征帧650包括M个活动雷达帧652和L-M不活动雷达帧652,其中,M是小于或等于L的正整数。为了节省功率,活动雷达帧652-1到652-M出现在不活动的雷达帧652-(M+1)到652-L之前。不活动雷达帧652-(M+1)到652-L的持续时间以长空闲时间662为特征。通过将不活动雷达帧652(M+1)到652-L分组在一起,雷达系统104相对于在脉冲模式特征帧648期间出现的短空闲时间660,可以在更长的持续时间处于断电状态。此外,电源管理模块620可以关闭收发器606内具有长于短空闲时间660且短于长空闲时间662的启动时间的附加组件。
主动突发模式特征帧650内的每个主动雷达帧652发送雷达信号的一部分。在该示例中,活动雷达帧652-1至652-M在发送频率增加的雷达信号的部分和频率降低的雷达信号的部分之间交替。
帧结构642使得能够通过每个帧类型内的可调节占空比来节省功率。第一占空比664基于相对于特征帧646(K)的总量的活动特征帧646(J)的数量。第二占空比665基于相对于雷达帧652(L)的总量的活动雷达帧652的数量(例如,L/2或M)。第三占空比668基于相对于雷达帧652的持续时间的雷达信号的持续时间。
考虑用于功率状态638-1的示例帧结构642,其消耗大约2mW的功率并且具有在大约1Hz和4Hz之间的姿势帧更新率634。在该示例中,帧结构642包括持续时间在大约250毫秒和1秒之间的姿势帧644。姿势帧644包括三十一个脉冲模式特征帧648(例如,L等于31)。三十一个脉冲模式特征帧648之一处于活动状态。这导致占空比664大约等于3.2%。每个脉冲模式特征帧648的持续时间在大约8ms和32ms之间。每个脉冲模式特征帧648由八个雷达帧652组成。在活动脉冲模式特征帧648内,所有八个雷达帧652都处于活动状态。这导致占空比665等于100%。每个雷达帧652的持续时间在大约1ms和4ms之间。每个活动雷达帧652内的活动时间658在大约32微秒和128微秒之间。因此,所得占空比668约为3.2%。已经发现该示例帧结构642产生良好的性能结果。这些良好的性能结果在于良好的姿势识别和存在检测方面,同时也在低功率状态(例如,低功率状态504-3)的手持智能手机的应用环境中产生良好的功率效率结果。
基于帧结构642,电源管理模块620可以确定雷达系统104不主动收集雷达数据的时间。基于该不活动时间段,电源管理模块620可以通过调整雷达系统104的操作状态和关闭收发器606的一个或多个组件来节省功率,如下文进一步描述的。
如上所述,电源管理模块620可以通过在不活动时间段内关闭收发器606内的一个或多个组件(例如,压控振荡器、多路复用器、模数转换器、锁相环或晶体振荡器)来节省功率。如果雷达系统104不主动地发送或接收雷达信号,则这些不活动时间段发生,其可以是微秒(μs)、毫秒(ms)或秒(s)的量级。此外,电源管理模块620可以通过调整信号放大器提供的放大量来修改雷达信号的发送功率。此外,电源管理模块620可以控制雷达系统104内不同硬件组件的使用以节省功率。例如,如果处理器608包括低功率处理器和高功率处理器(例如,具有不同数量的内存和计算能力的处理器),则电源管理模块620可以在使用低功率处理器用于低级别分析(例如,检测移动、确定用户的位置或监控环境)和使用高功率处理器用于其中雷达管理器106请求高保真或准确雷达数据(例如,用于实现用于使用雷达数据认证用户的认证系统114的高功率状态504-1)的情形之间进行切换。
除了上述的内部节省功率技术之外,电源管理模块620还可以通过单独地或在认证系统114的命令时激活或去激活位于UE 102内的其他外部组件或传感器来节省UE 102内的功率。这些外部组件可以包括扬声器、相机传感器、全球定位系统、无线通信收发器、显示器、陀螺仪或加速度计。因为雷达系统104可以使用少量功率来监控环境,所以电源管理模块620可以基于用户所在的位置或用户正在做什么来适当地打开或关闭这些外部组件。以此方式,UE 102可以无缝地响应用户并节省功率,而无需使用自动关闭定时器或用户物理接触或口头控制UE 102。
图8图示了UE 102内的雷达系统104的示例实施方式800的附加细节。在示例800中,天线阵列604位于诸如玻璃盖或外壳的UE 102的外壳下方。根据其材料特性,外壳可以充当衰减器802,其衰减或扭曲由雷达系统104发送和接收的雷达信号。衰减器802可以包括不同类型的玻璃或塑料,其中一些可以存在于UE 102的显示屏、外壳或其他组件内并且具有大约在四和十之间的介电常数(例如,相对介电常数)。因此,衰减器802对于雷达信号806是不透射的或半透射的并且可以导致发送或接收的雷达信号806的一部分被反射(如反射部分804所示)。对于传统雷达,衰减器802可能会减少可监控的有效范围,防止小目标被检测到,或降低整体精度。
假设雷达系统104的发送功率是有限的,并且不希望重新设计外壳,雷达信号806的一个或多个衰减相关属性(例如,频率子频谱808或转向角810)或衰减器802的衰减相关特性(例如,衰减器802和雷达系统104之间的距离812或衰减器802的厚度814)被调整以减轻衰减器802的影响。这些特性中的一些可以在制造期间被设置或在雷达系统104的操作期间由衰减减轻器614调整。例如,衰减减轻器614可以使收发器606使用选择的频率子频谱808或转向角810发送雷达信号806,使平台将雷达系统104移近或远离衰减器802以改变距离812,或提示用户应用另一个衰减器以增加衰减器802的厚度814。
衰减减轻器614可以基于衰减器802的预定特性(例如,存储在UE 102的计算机可读介质404中或系统介质610内的特性)或通过处理雷达信号806的返回来进行适当的调整以测量衰减器802的一个或多个特性。即使衰减相关特性中的一些是固定的或受限的,衰减减轻器614也可以考虑这些限制以平衡每个参数并实现目标雷达性能。结果,衰减减轻器614使雷达系统104能够实现用于检测和跟踪位于衰减器802相对侧的用户的增强的准确度和更大的有效范围。这些技术提供了增加发送功率或改变衰减器802的材料特性的替代方案,增加发送功率增加了雷达系统104的功耗,改变衰减器802的材料特性在一旦设备投入生产时可能是困难和昂贵的。
图9图示了由雷达系统104实现的示例方案900。方案900的部分可以由处理器608、计算机处理器402或其他硬件电路来执行。方案900可以被定制以支持不同类型的电子设备和基于雷达的应用(例如,雷达管理器106),并且尽管存在设计限制,也使雷达系统104能够实现目标角精度。
收发器606基于接收天线元件702对接收到的雷达信号的单独响应来产生原始数据902。接收到的雷达信号可以与由角度估计器618选择的一个或多个频率子频谱904相关联以促进角度模糊度解决。例如,可以选择频率子频谱904以减少旁瓣的数量或减少旁瓣的幅度(例如,将幅度减小0.5dB、1dB或更多)。可以基于雷达系统104的目标角精度或计算限制来确定频率子频谱的数量。
原始数据902包含一段时间的数字信息(例如,同相和正交数据)、不同波数和分别与接收天线元件702相关联的多个信道。对原始数据902执行快速傅立叶变换(FFT)906以生成预处理数据908。预处理数据908包括跨时间段、针对不同范围(例如,距离区间)和针对多个信道的数字信息。对预处理数据908执行多普勒滤波过程910以生成距离-多普勒数据912。多普勒滤波过程910可以包括另一个FFT,它为多个距离区间、多个多普勒频率和多个信道生成幅度和相位信息。数字波束成形器616基于距离-多普勒数据912产生波束成形数据914。波束成形数据914包含用于一组方位角和/或仰角的数字信息,其代表视场,对于该视场,通过数字波束形成器616形成不同的转向角或波束。虽然未描绘,但数字波束形成器616可替代地基于预处理数据908生成波束形成数据914,并且多普勒滤波过程910可基于波束形成数据914生成距离-多普勒数据912。为了减少计算量,数字波束形成器616可以基于感兴趣的距离、时间或多普勒频率间隔来处理距离多普勒数据912或预处理数据908的一部分。
可以使用单视波束形成器916、多视干涉仪918或多视波束形成器920来实现数字波束形成器616。通常,单视波束形成器916可以用于确定性对象(例如,具有单相位中心的点源目标)。对于非确定性目标(例如,具有多个相位中心的目标),使用多视干涉仪918或多视波束成形器920来提高相对于单视波束成形器916的准确度。如924-1和924-2所示,人类是非确定性目标的示例,且具有多个相位中心922,这些相位中心可以基于不同的纵横角而改变。由多个相位中心922产生的相长或相消干扰的变化可能使常规雷达系统难以准确地确定角位置。然而,多视干涉仪918或多视波束成形器920执行相干平均以增加波束成形数据914的准确度。多视干涉仪918相干地平均两个信道以产生可用于准确确定角度信息的相位信息。另一方面,多视波束形成器920可以使用诸如傅立叶、Capon、多信号分类(MUSIC)或最小方差失真小响应(MVDR)的线性或非线性波束形成器相干地平均两个或多个信道。经由多视波束形成器920或多视干涉仪918提供的增加的精度使雷达系统104能够识别小姿势或区分用户的多个部分(例如,面部特征)。
角度估计器618分析波束成形数据914以估计一个或多个角位置。角度估计器618可以利用信号处理技术、模式匹配技术或机器学习。角度估计器618还解决可能由雷达系统104的设计或雷达系统104监控的视场引起的角度模糊。在幅度图926(例如,幅度响应)内示出了示例角度模糊。
幅度曲线926描绘了对于目标的不同角位置和不同转向角810可能出现的幅度差异。针对位于第一角位置930-1处的目标示出了第一幅度响应928-1(用实线示出)。同样,针对位于第二角位置930-2处的目标示出了第二幅度响应928-2(用虚线示出)。在此示例中,考虑了-180度和180度之间的角度上的差异。
如幅度曲线926所示,对于两个角位置930-1和930-2存在模糊区域。第一幅度响应928-1在第一角位置930-1处具有最高峰值并且在第二角位置930-2处具有较小峰值。虽然最高峰值对应于目标的实际位置,但较小的峰值导致第一角位置930-1模糊,因为它在针对于其常规雷达可能无法有信心地确定目标是否在第一角位置930-1或第二角位置930-2的某个阈值内。相反,第二幅度响应928-2在第二角位置930-2处具有较小的峰值而在第一角位置930-1处具有较高的峰值。在这种情况下,较小的峰值对应于目标的位置。
虽然常规雷达可能限于使用最高峰值幅度来确定角位置,但是角度估计器618反而分析幅度响应928-1和928-2的形状的细微差别。形状的特性可以包括例如滚降、峰值或零点宽度、峰值或零点的角度位置、峰值和零点的高度或深度、旁瓣的形状、幅度响应928-1或928-2内的对称性或幅度响应928-1或928-2内缺乏对称性。可以在相位响应中分析相似的形状特征,这可以为解决角度模糊提供附加的信息。因此,角度估计器618将独特的角度签名或图案映射到角度位置。
角度估计器618可以包括可以根据UE 102的类型(例如,计算能力或功率约束)或雷达管理器106的目标角分辨率来选择的一套算法或工具。在一些实施方式中,角度估计器618可包括神经网络932、卷积神经网络(CNN)934或长短期存储器(LSTM)网络936。神经网络932可具有各种深度或数量的隐藏层(例如,三个隐藏层、五个隐藏层或十个隐藏层)并且还可以包括不同数量的连接(例如,神经网络932可以包括完全连接的神经网络或部分连接的神经网络)。在一些情况下,CNN 934可用于提高角度估计器618的计算速度。LSTM网络936可用于使角度估计器618能够跟踪目标。使用机器学习技术,角度估计器618采用非线性函数来分析幅度响应928-1或928-2的形状并生成角概率数据938,其指示用户或用户的一部分位于角度区间内的可能性。角度估计器618可以提供用于诸如两个角度区间的几个角度区间的角概率数据938,以提供目标在UE 102的左侧或右侧的概率,或者角度估计器618可以提供用于数千个角度区间的角概率数据938(例如,以提供用于连续角度测量的角概率数据938)。
基于角概率数据938,跟踪器模块940产生角位置数据942,其识别目标的角位置。跟踪器模块940可基于角概率数据938中具有最高概率的角度区间或基于预测信息(例如,先前测量的角位置信息)来确定目标的角位置。跟踪器模块940还可跟踪一个或多个移动目标以使雷达系统104能够自信地区分或识别目标。其他数据也可用于确定角位置,包括距离、多普勒、速度或加速度。在一些情况下,跟踪器模块940可以包括α-β跟踪器、卡尔曼滤波器和多假设跟踪器(MHT)等。
量化器模块944获得角位置数据942并且量化该数据以产生量化的角位置数据946。可以基于雷达管理器106的目标角分辨率来执行量化。在一些情况下,可以使用较少的量化级别使得量化的角位置数据946指示目标是在UE 102的右侧还是左侧,或者识别目标所在的90度象限。这对于诸如用户接近检测的一些基于雷达的应用来说可能就足够了。在其他情况下,可以使用更大量的量化级别,使得量化的角位置数据946指示在几分之一度、一度和五度等的精度内的目标的角位置。该分辨率可用于更高分辨率的基于雷达的应用,诸如姿势识别,或用于如本文所述的注意力状态或交互状态的实施方式。在一些实施方式中,数字波束形成器616、角度估计器618、跟踪器模块940和量化器模块944一起实现在单个机器学习模块中。
在所描述的实施方式的优点中——实施方式包括使用雷达来确定用户交互意图、脱离交互意图或保持交互的意图的实施方式,并且进一步包括使用雷达来检测被归类为用户与电子设备交互或互动的意图的指示的用户行为的实施方式,其中的任何一种可能都可以使用大多数现代智能手机提供的设备上的相机来实现,雷达系统的功率使用极大地低于相机系统的功率使用,同时雷达系统的结果的适当性通常比相机系统更好。例如,使用上文描述的雷达系统104,可以在范围从个位数毫瓦到仅仅几十毫瓦(例如,10mW、20mW、30mW或40mW)的平均功率下实现期望的用户意图检测,甚至包括处理雷达矢量数据以做出确定的处理功率。在这些低功率级别下,使雷达系统104能随时启用将是容易接受的。因此,例如,在智能手机雷达系统104处于始终启用状态的情况下,仍然可以为已经相距他们的智能手机坐在房间对面达许多小时的用户提供当前描述的期望的愉快和无缝体验。
相比之下,当今大多数智能手机配备的光学相机通常以数百毫瓦的功率运行(例如,高于40mW的量级,即400mW)。在这样的功率比率下,光学相机将是不利的,因为它们会显著缩短当今大多数智能手机的电池寿命,以至于让光学相机始终处于开启状态是非常不切实际的,甚至是应该被禁止的。雷达系统的另一个优点是视场可以非常大,即使在桌子上平躺并面朝上时(对于其中雷达芯片在与自拍相机相同的总体方向上朝外的许多典型实施方式),也很容易检测到从任何方向走上来的用户,且此外,凭借其多普勒处理能力,视场可以非常有效地(尤其是在接近60GHz的工作频率下)检测各种移动物体从多种方向的相对细微的移动。
此外,雷达系统104可以在其中相机系统的性能降低或受限的环境中操作。例如,在光线不足的环境中,相机系统检测形状或移动的能力可能会降低。相比之下,雷达系统104在低光下与在全光下执行得一样好。雷达系统104还可以通过一些障碍物检测存在和姿势。例如,如果智能手机在夹克或裤子的口袋里,相机系统就无法检测到用户或姿势。然而,雷达系统104即使是通过会阻挡相机系统的织物仍然可以检测其视场中的物体。使用雷达系统104比智能手机的车载相机系统更进一步的优势是隐私,因为用户可以拥有这里描述的愉快和无缝体验的优势,同时无需担心存在出于此类目的拍摄他们的视频的摄像机。
图1、2、4和6-9的实体可以被进一步划分、组合以及与其他传感器或组件一起使用等等。以此方式,具有雷达系统104和IMU 108的不同配置的UE 102的不同实施方式可用于实现基于IMU和雷达降低状态。图1的示例操作环境100和图2-9的详细图示图示了能够采用所描述的技术的许多可能的环境和设备中的一些。
示例方法
本节说明了示例方法,其可以单独地或一起整体或部分地操作。描述了各种示例方法,为了便于阅读,每个示例方法都在一个小节中阐述;这些小节标题并非旨在限制这些方法中的每一种的互操作性。
认证管理
图10描绘了用于通过IMU和雷达管理认证的示例方法1000,并且是管理用户设备的功率状态的一个示例。方法1000被示为一组框,其指定所执行的操作但不一定限于所示出的用于由各个框执行操作的顺序或组合。此外,一个或多个操作中的任何一个可以被重复、组合、重组或链接以提供广泛的附加和/或替代方法(例如,方法1200和1400)。在以下讨论的部分中,可参考图1的示例操作环境100或参考其他图中详述的实体或过程,对于其的参考仅作为示例。这些技术不限于由在一个设备上运行的一个实体或多个实体的执行。
在1002,由用户设备基于雷达数据确定用户的交互意图,交互意图指示用户打算与用户设备进行交互。如上所述,可以通过确定用户120正朝向UE 102、查看UE 102、或将他们的身体倾斜或朝向UE 102定向来指示交互意图,仅举三个例子。
在1004,替代地或补充通过雷达数据确定交互意图,基于惯性数据确定用户设备的移动。该移动可以指示用户120拿起UE 102、触摸UE 102以及如上所述的其他移动。
在1006,响应于交互意图的确定以及在一些情况下用户设备的移动的确定,认证系统的耗电组件的功率状态被改变。耗电组件的功率状态从第一功率状态改变为第二功率状态,第二功率状态比第一功率状态消耗更大的功率。这种改变可以仅基于使用雷达数据确定的交互意图,也可以基于通过惯性数据确定的移动。此外,还可以根据移动确定进一步提升耗电组件的功率状态或为其他组件供电。如上所述,该移动确定可以确认用户120的交互意图,还提供交互意图,或以其他方式向该确定增加速度和/或鲁棒性以向认证系统增加功率或资源等。注意,在某些情况下,即使尚未确定用户有意交互,认证系统的组件仍会保持供电。在这种情况下,这些技术响应于确定交互意图来执行认证过程。在这种情况下,即使没有为该过程节省功率,延迟也会减少。然而,这些技术可以避免使用与认证系统无关的资源,从而以其他方式节省功率。
认证系统的耗电组件改变到的功率状态可能足以或可能不足以使认证系统能够对用户执行认证过程。在一些情况下,耗电组件的第二功率状态不是高功率状态504-1。在这种情况下,第二功率状态是如上所述的中间功率状态504-2。在某些情况下,这种中间功率状态504-2足以满足耗电组件的性能,耗电组件是诸如包括中间功率状态的相机,该状态仍然能够提供传感器数据以进行认证而无需完全上电(例如,在全光下而不是在黑暗中捕获用户的图像等)。另一个示例是显示器116,它可以被供电以接受密码的触摸输入,而无需将显示器的亮度供电至全功率。另一种情况包括雷达系统104,其中,在用户面部与雷达系统104相当近的范围内,不需要全功率来向认证系统114提供足够准确的面部特征。
在一些情况下,组件的上电是中间步骤,诸如预热序列,其可以准备组件或通过给予组件附加的时间来简单地减少等待时间。在这种情况下,诸如如果在组件准备好认证而用户120移动UE 102从而阻止认证(例如,进入口袋)等等之前确定了脱离交互的意图,则状态管理器112可以确定不行进到高功率。在一些情况下,供电是中间步骤,然后响应于确定用户120已经移动了UE 102,如1004所示,并因此响应于足以执行认证过程的功率而完全供电。该预热序列将组件供电至中间功率状态504-2,然后在一些较短的时间段之后,该组件被供电至足以用于认证过程(例如,至高功率状态504-1)。在这种情况下,组件处于高功率(或几乎如此)且同时处于预热序列之后的后预热序列。对于在不需要时打开会消耗大量功率,但也需要明显的用于上增加功率到用于完全功能性的足够水平的时间量的组件,诸如一些红外或近红外(IR、NIR)传感器,在其期间执行预热序列的中间功率状态可以节省大量功率或减少明显的和潜在的用户体验损害延迟。
上面描述了认证系统的示例性耗电组件,例如图1的认证系统114的面部解锁传感器212、显示器116的触摸屏、雷达系统104和处理器608(例如,高功率处理器608-2)。对于用于认证的面部识别系统的许多潜在耗电组件的具体细节,参见图2及其说明。
在1008,由认证系统执行认证过程。在这样做时,认证系统114使用改变的功率状态(例如,第二功率状态或第三、更高功率状态)下的功耗组件。认证过程有效地认证用户或确定用户未被认证,指示不应允许对UE 102的访问。如所述,认证过程可以通过面部识别、指纹读取以及通过触摸或音频接口(例如,显示器116的触摸屏数据输入组件)的密码或其他凭证输入等等。认证过程将用户的识别特征或凭证与可比较特征或凭证的一些安全存储进行比较以确定用户的身份是真实的,从而允许对UE 102的访问。这可以简单至比较通过显示器的触摸屏输入的六位密码,或者需要更大的计算和系统复杂性,例如给予从耗电组件接收到的传感器数据确定面部特征,并将确定的面部特征与面部特征库进行比较。虽然不是必需的,但该面部特征库可以存储在UE 102本地,并在UE 102使用认证系统114进行面部特征初始化期间创建。此外,该库可以例如以嵌入在与UE 102集成的安全芯片上的形式安全地存储在UE 102处。这是可以维护用户120的隐私的一种方式。
贯穿本公开描述了示例,其中,计算系统(例如,UE 102、客户端设备、服务器设备、计算机或其他类型的计算系统)可以分析与用户相关联的信息(例如,雷达、惯性和面部-识别传感器数据),诸如在操作1008中刚刚提到的面部特征。然而,计算系统可以被配置为仅在计算系统从计算系统的用户接收到使用数据的明确许可之后才使用该信息。例如,在UE102分析面部特征的传感器数据以认证用户120的情况下,可以向个体用户提供机会以提供输入控制UE 102的程序或特征是否可以收集和使用数据。个体用户可以具有对程序可以或不能对传感器数据做什么的持续控制。此外,收集的信息可以在其被传输、存储或以其他方式被使用之前以一种或多种方式进行预处理,以便移除个人身份信息。例如,在UE 102与另一个设备共享传感器数据(例如,以训练在另一个设备上执行的模型)之前,UE 102可以预处理传感器数据以确保在数据中嵌入的任何用户识别信息或设备识别信息被移除。因此,用户可以具有对是否收集关于用户和用户设备的信息,以及如果收集到这些信息,计算设备和/或远程计算系统可以如何使用这些信息的控制。
返回到方法1000,在1010,替代地或另外地,响应于确定用户设备已经移动或正在移动,显示器的功率状态被改变。这种改变可以是增加功率至足以启用显示器的触摸输入接收能力或简单地改变显示器的视觉呈现。一个示例包括向显示器116添加亮度,使得当用户触摸UE 102时,用户看到UE 102知道用户的意图并且因此大概准备与用户120互动。类似地,UE 102可以响应于在1002确定的交互意图而这样做。
在一些情况下,对于没有成功的一些时间段或迭代(例如,一些预设数量或时间段)执行认证过程。在这种情况下,方法1000可以通过重新执行认证过程来继续,或者响应于在1004处移动的确定来继续,如1012所示。该替代方案在图10中用一些虚线箭头示出。
在1014,响应于在1008处的用户的认证过程(或在1012处的重新执行)成功,用户被认证并且UE 102的访问状态被改变。这种改变可以将UE 102的访问从低、无或中间访问状态增加到高访问状态,并且在这种情况下,UE 102被“解锁”。然而,不需要这种高访问状态(例如,图5的高访问状态502-1)。一些级别的认证可以为后续认证保留访问、功率或信息。示例包括认证用户以使用UE 102的一些但不是全部的应用和/或账户(例如,购买音乐的账户、银行账户等),并且要求对那些保留的访问账户和应用进行附加认证。例如,除了高访问状态502-1之外,状态管理器112可以使UE 102被置于高信息状态506-1。对信息状态的这种改变的示例包括呈现最后交互的应用程序或网页,包括在最后交互的部分,诸如在网页上的十页文章的第四页上,或再现用户120上次与UE 102互动或认证的位置的歌曲或视频的中途。响应于用户120的认证,状态管理器112可以快速且无缝地改变这些状态。
举例来说,考虑将方法1000的应用应用于图11所示的场景1100的一种实施方式。场景1100包括五个部分,每个部分按时间顺序跟随在前部分之后。在场景1100的第一部分,如在场景部分1100-1所示,用户1102没有注视、触摸智能手机1104或以其他方式与智能手机1104交互。这里假设智能手机1104分别处于低访问、低功率和低信息状态502-3、504-3和506-3(例如,智能电话1104看起来“关闭”,但有足够的功率来确定交互的意图)。该场景部分1100-1被假定为在图10中的1002处的方法的操作之前的情况。第二部分在1100-2处示出,在此期间用户1102转向并注视,但没有触摸智能手机1104。此时,在操作1002,技术基于雷达数据确定用户1102打算与智能手机1104交互。该交互意图是在不使用伸手移动的情况下代替地基于用户1102看向智能手机1104并将他们的身体朝向智能手机1104定向来确定的。这些技术在操作1002通过雷达管理器106进行该确定,其将确定传递给状态管理器112。在此之后,状态管理器112在操作1006改变认证系统114的耗电组件(面部解锁传感器212)的功率状态。注意,这在用户伸向或拿起智能电话1104之前完成,减少在使认证系统114准备好认证用户的等待时间。
还假设,在接下来的半秒内,当耗电组件正被上电时,用户1102移动得更靠近智能电话1104并伸向智能电话1104(以手1106示出的伸向)。这在第三部分1100-3处示出。此时,认证系统114执行认证过程(操作1008),但假设认证过程在一些次数的迭代和/或时间段内不成功。该技术可以停止对用户1102进行认证的尝试,从而节省功率。然而,这里,如部分1100-4所示,用户1102触摸智能手机1104。在操作1004,这通过由图1的IMU 108感测到的惯性数据被确定为智能手机1104的移动。该移动确定被传递到状态管理器112。基于该移动,状态管理器112继续使认证系统114尝试认证用户1102,如方法1000的操作1012所示。更进一步,在操作1010,并且还基于移动,状态管理器112点亮智能电话1104的显示器1108。可以在场景部分1100-2、1100-3或1100-4处执行显示器1108的点亮或增加其功率级别,但是这里示出响应于确定用户1102对智能电话1104的触摸(在1110处以时间和通知信息示出)。通过这样做,向用户1102给予智能电话1104知道他们打算交互的反馈。
如所述,状态管理器112使认证系统114继续认证过程,并且通过这些连续的尝试来认证用户1102。这在部分1100-5处示出,导致智能电话1104处于不同的状态,其分别是高访问、高功率和高信息状态501-1、504-1和506-1,其中,以显示器1108呈现解锁图标1112示出高访问状态502-1。这些状态级别可以由状态管理器112自动提升,为用户1102提供无缝的用户体验。
在该示例场景1100中,由IMU 108提供的惯性数据使状态管理器112以更高的置信度确定用户1102打算与智能手机1104互动并因此他们想要被认证,且因此证明附加功率合理。这只是一个示例场景,展示了如何使用来自IMU的惯性数据和来自雷达系统的雷达数据快速、轻松并以降低的功耗来认证用户。
降低高级别状态
图12描绘了用于通过IMU和雷达降低高级别状态的示例方法1200。方法1200被示为一组框,其指定所执行的操作但不一定限于所示出的用于由各个框执行操作的顺序或组合。此外,一个或多个操作中的任何一个可以被重复、组合、重组或链接以提供广泛的附加和/或替代方法,包括本文件中阐述的其他方法(例如,方法1000和1400)。在以下讨论的部分中,可参考图1的示例操作环境100或参考其他图中详述的实体或过程,参考这些仅作为示例。这些技术不限于由在一个设备上运行的一个实体或多个实体执行。
可选地,在1202处并且在操作1204或1206之前,确定不活动时间段已经期满。与仅依赖于时间段期满的一些其他常规技术相比,方法1200可以使用或避免使用不活动时间段来降低用户设备的高级别状态。虽然不需要此不活动计时器,但使用计时器,即使是短计时器,在某些情况下也能节省电量。更详细地,当接收到对用户设备的最后用户动作时,例如当用户设备接收到对触摸屏或按钮的最后触摸、音频命令或姿势输入时,不活动定时器开始。注意,虽然一些常规技术单独使用定时器,并且由于该常规定时器通常持续几分钟(例如,一、三、五或十分钟),但是方法1200可以使用相对较短的时间段,例如半秒、一秒、三秒、五秒、十秒或二十秒。通过这样做,用户设备暴露信息和使不适当的访问可用等的可能性非常低,同时使用较短的不活动时间段可以通过避免在不活动时间段内执行1204和/或1206来操作以存储一些功率量。
在1204,在用户设备的高级别状态期间确定移动,在其期间用户正在与用户设备互动或最近已经与用户设备互动。移动管理器110基于从与UE 102集成的IMU 108接收的惯性数据确定该移动。如虚线箭头所示,该操作可以可选地响应于操作1206和/或1202(未示出)。该确定的移动可以是上述各种移动中的一个或多个,这样的移动指示用户120正在拿起UE 102、走动、放下、放入口袋或外壳中,或者简单地靠近或触摸UE 102。在一些情况下,移动管理器110确定移动足以或不足以改变UE 102的状态,并因此传递给状态管理器112。示例包括上面提到的那些,诸如不克服阈值移动、由环境振动引起的移动以及在移动时不足以改变到正在进行的移动。因此,移动管理器110可以确定UE 102随着用户120与UE 102一起行走而正在移动,但是可以确定该移动不是足以指示用户120可能正在与UE 102脱离交互的可能性的改变。看待这种情形的另一种方式是移动可以基于变化而不仅仅是UE 102的当前移动。示例变化包括移动然后不移动,例如用户与UE 102一起行走并将它放置在桌子上。虽然来自IMU 108的惯性数据可能无法捕捉到用户120将UE 102放在桌子上,但是当紧接之前存在移动时(用户120与UE 102一起行走)惯性数据显示很少或没有移动的确定可以在操作1204处仍然基于该紧接在先的移动被确定为移动。
更详细地,这些技术可以针对用户的交互定制用户设备的状态。因此,在一些情况下,由于用户与用户设备高度交互,用户设备处于高级别状态。例如,方法1200可以在操作1204或1206之前确定用户正在与用户设备交互。用户交互的这种确定可以基于指示用户交互意图的先前雷达数据、基于来自用户的音频或触摸输入、从用户接收并且通过音频或触摸传感器的命令或输入、和成功的认证过程等。
在1206,由用户设备基于雷达数据确定脱离交互意图。雷达管理器106从雷达系统104接收雷达数据并且使用该雷达数据确定用户是否打算与UE 102脱离交互。该脱离交互意图包括上述的各种类型,诸如用户120从UE 102将手收回、面部相对于UE 102的朝向改变、以及用户120从UE 102转离或将他们的背部朝向UE 102定向等等。
如虚线箭头所示,该操作1206可以可选地响应于操作1204(和/或1202,未示出)。在这些情况下,状态管理器112或雷达管理器106通过在确定移动之前避免确定用户120的脱离交互的意图来节省功率,对于在1204处的移动确定反之亦然。通过如此进行,可以节省功率。因此,电源管理模块620可以被技术引导以将雷达系统104保持在降低的功率直到在1204确定移动。一旦确定移动,状态管理器112使电源管理模块620增加雷达系统104的功率以准备确定用户120是否以指示脱离交互的意图的方式作为。
在1208处,响应于移动和/或脱离交互意图的确定,用户设备的高级别状态被降低到中间级别或低级别状态。更详细地,参见示例高级别状态1208-1,其可以是涉及访问、功率或信息的一个或多个状态,例如图5中所示的那些(高级别访问状态502-1,高功率504-1或高信息状态506-1)。状态管理器112响应于移动或脱离交互的意图或两者的确定,确定降低UE 102的一个或多个状态。这在图12中用箭头示出,该箭头示出了从高级别1208-1到中间级别1208-2或低级别1208-3的降低。这些只是功率、访问和信息的各种粒度中的两个。如图5所示,中间级别1208-2和低级别1208-3包括中间访问状态502-2、中间功率状态504-2和中间信息状态506-2,其中每个如上所述。低级别1208-3被示为具有三个低状态:低访问状态502-3、低功率状态504-3和低信息状态506-3。上面详细描述了这些状态。注意,在操作1208,状态管理器112可以将这些状态中的任何一个、两个或所有三个的每个降低到相同的级别或不同的级别。因此,状态管理器112可以将高访问状态502-1降低到中间或低状态,并将功率状态和信息状态保持在高或混合级别。类似地,状态管理器112可以将功率状态504降低到低功率状态504-3,同时将UE 102保持在高访问状态502-1(例如,“解锁”)。
举例来说,考虑将方法1200应用于图13所示的场景1300。场景1300包括三个部分,每个部分按时间顺序跟随在前部分之后。在场景1300的第一部分之前,假设用户1302积极与智能电话1304交互并且智能电话1304处于高级别状态,即高功率、访问和信息状态。在第一部分,如场景部分1300-1所示,用户1302走到一张桌子,并将智能手机1304放在桌子上。在操作1204,IMU 108接收对于触摸在桌子上的智能手机1304的惯性数据,或者当在被放置在桌子上之前惯性数据指示移动时(基于用户1302与智能手机1304一起走动)的缺少惯性数据。基于这些惯性数据中的一个或这两者,移动管理器110确定智能电话1304的移动并将该确定传递给雷达管理器106和/或状态管理器112。
假设雷达管理器106响应于移动数据立即提供雷达场118(为了视觉简洁未示出,示例参见图1)或者已经这样做,并且因此接收指示用户1302的体位等的雷达数据。基于该雷达数据,雷达管理器106针对第一迭代(以及可能的多个其他迭代)确定,在用于身体、手臂和手放置的操作1206处,用户1302不打算在场景部分1300-1处脱离交互。这是由于用户1302的身体朝向智能手机1304并且用户的手和手臂朝向智能手机1304。因此,高信息状态1306-1没有改变。
然而,在场景部分1300-2处,假设大约两秒后,用户1302拿起他们的咖啡杯并开始走开,同时将他们的身体转离智能手机1304。此时,雷达管理器图106基于用户1302的身体朝向部分地转离智能电话1304的定向以及用户1302的手臂和手朝向咖啡杯而不是智能手机1304定向来确定用户1302打算与智能手机1304脱离交互。雷达管理器106将此确定传递给状态管理器112。
在操作1208处,响应于接收到移动和脱离交互的意图的确定,状态管理器112将智能电话1304的信息状态从场景部分1300-1处所示的高信息状态1306-1降低到中间信息状态1306-2。这些示例信息状态与在场景部分1300-1处显示的信息一起示出,示出来自两个文本消息和一天中的时间的内容。在用户1302转动他们的身体并拿起他们的咖啡杯的同时,信息状态立即降低到中间信息状态1306-2,显示一天中的时间和关于文本消息的减少信息(显示为发件人的姓名但没有上下文)。该中间信息量对用户1302可能有用,因为他们可能改变关于交互的想法,或者想要回看智能手机1304以查看新通知是否已经到达,诸如来自不同人的文本。
补充或代替显示中间信息状态1306-2,并且作为操作1208的一部分,状态管理器112可以立即或在首先处于中间状态之后进行到低级别。这里假设状态管理器112响应于雷达管理器106的指示用户1302打算脱离交互或其更高的置信水平(例如,这里以高置信度示出,因为用户1302现在在几米远并将他们的背部完全转向智能手机1304)的附加确定,将信息状态进一步降低到低信息状态1306-3,其被示出为仅呈现一天中的当前时间的场景部分1300-3。
虽然该示例示出了对信息状态的改变,但也可以或替代地改变访问和功率。这部分地用在场景部分1300-1处示出的解锁图标1310示出,指示高级别访问(例如,图5的高级别访问502-1)。在状态管理器112接收到移动数据和脱离交互的意图之后的场景部分1300-2处,状态管理器112将访问降低到低级别,这通过锁定图标1312向用户指示。此外,可以改变功率状态,诸如通过在场景部分1300-2和/或1300-3处降低智能电话1304的显示器(未示出)的亮度。
保持认证状态
图14描绘了用于保持认证状态的示例方法1400。方法1400被示为一组框,其指定所执行的操作但不一定限于所示出的用于由各个框执行操作的顺序或组合。此外,一个或多个操作中的任何一个可以被重复、组合、重组或链接以提供广泛的附加和/或替代方法,包括本文件中阐述的其他方法(例如,方法1000和1200)。在以下讨论的部分中,可参考图1的示例操作环境100或参考其他图中详述的实体或过程,参考这些仅作为示例。这些技术不限于由在一台设备上运行的一个实体或多个实体的执行。
在讨论方法1400之前,注意上述方法中的任何一个全部或部分地可以与方法1400组合。例如,考虑图10中方法1000的执行。该方法1000描述导致用户设备的用户的认证的认证管理的一个示例。响应于该认证,用户设备进入认证状态。上面更详细地描述了这种状态。因此,方法1000(或一些其他的用户认证方式)在方法1400之前执行。
在1402处,在用户设备的认证状态期间,确定用户设备的用户的潜在脱离交互。用户可能脱离交互的这种确定可以包括:确定用户脱离交互的意图,如上所述;以及下面阐述的其他确定。此外,如上所述,认证状态允许用户访问用户设备的数据、应用、功能、账户或组件中的一个或多个。认证状态的示例包括上面图5中提到的高访问状态502-1和中间访问状态502-2。虽然这些访问状态中的任一个在处于认证状态时(通常基于用户偏好或操作系统默认设置)可以被UE 102允许,但认证状态假定用户的先前认证。然而,用户选择的偏好或设置可以在没有认证的情况下允许UE 102的高或中间访问。因此,虽然认证状态可以包括上述高和中间访问状态所允许的访问,但高和中间访问不一定是认证状态。
如图14所示,可以可选地响应于(或通过执行)操作1404或操作1406以及本文描述的其他方式,例如通过在方法1200的操作1206处确定脱离交互意图来执行潜在脱离交互的确定。在1404处,确定不活动时间段的期满。如上所述,该不活动时间段可以在接收到最后一个用户动作、与用户设备的主动交互结束(或最后接收)时或在确定最后交互意图时开始。例如,不活动计时器(例如,时间段)在用户最后触摸触敏显示器或按钮、说出最后接收的音频命令或执行最后确定的触摸无关姿势(例如,使用上述雷达系统104确定的姿势)时开始。
在1406,基于与用户设备集成的惯性测量单元(IMU)的惯性数据确定用户设备的移动。上面描述了示例移动和惯性数据,例如从图1的IMU 108接收的惯性数据。因此,移动确定是该方法可以诸如通过下述方式确定用户可能正在脱离交互的一种方式:将UE 102放置在储物柜、包或口袋中(尽管放置在包或口袋中稍后可能被确定为被动交互,如下所述)。
在1408,基于雷达数据确定用户与用户设备的被动交互。被动交互的这种确定可以响应于在1402处的潜在脱离交互的确定(用虚线箭头示出),或者它可以独立于该确定或与该确定一致。在一些情况下,响应于潜在脱离交互的确定而执行操作1408可以节省功率或减少等待时间。例如,方法1400可以响应于潜在脱离交互的确定而增加雷达系统104的组件的功率(也参见图6-1和6-2)。这可以如上所述节省功率或给予雷达系统104附加的时间来准备确定用户是否被动地与雷达系统104交互。
在图1的上下文中,雷达管理器106确定用户120与UE 102被动地交互。这种被动交互可以由雷达管理器106以多种方式确定,这些方式可以是唯一的或与彼此重叠的。例如,雷达管理器106可以基于指示用户120的手正以保持用户设备102的显示器116的方向握住用户设备102的雷达数据来确定用户被动交互。因此,如果用户120保持UE 102稳定(或足够稳定以查看内容或允许另一个人查看内容),则用户120被动地交互。上面描述了确定被动交互的其他示例,包括用户120看着UE 102或将他们的身体朝向UE 102。
此外,雷达管理器106可以基于指示诸如在UE 102的两米内用户120存在的雷达数据来确定被动交互。也可以或替代地使用其他距离,诸如1.5米、一米或甚至一米的一又二分之一。实际上,雷达管理器106可以通过大致在UE 102的范围内来确定用户120被动地交互。雷达管理器106可以通过指示用户120被动地交互来明确地这样做,或者简单地向状态管理器112传递指示相距UE 102的距离。状态管理器112然后基于用户120的接近度以及在一些情况下,诸如其他人(或缺少其他人)、是否用户120在交通工具(汽车、公共汽车、火车)中和在办公桌前等等的上下文来确定被动交互。例如,坐在家里的用户可能比坐在拥挤的咖啡店或火车上的用户具有更大的允许距离。
在1410,响应于用户与用户设备的被动交互的确定,认证状态被保持。认证状态的这种保持可以继续直到确定另一个潜在的脱离交互,或者持续一段时间,之后可以再次执行方法1400。认证状态的一个示例是图5的高访问状态502-1。在许多情况下,此认证状态是UE 102的解锁状态,但在一些其他情况下,认证状态允许对于UE 102的部分而非全部访问,例如上述中间访问状态502-2。
为UE 102的这种保持认证状态不需要保持其他状态。例如,在用户120在UE 102的两米内,但可能正在或可能不在注视或面向UE 102的情况下,状态管理器112可以降低UE102的功率状态或信息状态,例如图5中指出的从高功率状态504-1和高信息状态506-1到中间或低功率或信息状态。然而,如果被动交互包括用户注视UE 102,还可以保持功率或信息状态,以例如继续通过显示器116向用户120呈现内容。
可选地,方法1400可以进行到操作1412,其中,基于雷达数据确定非用户的存在或交互的意图。该雷达数据可以是相同的或稍后接收的雷达数据,诸如在被动交互所基于的雷达数据之后若干秒或几分钟接收到的来自雷达系统104的雷达数据。因此,在1412,雷达管理器106确定非用户存在或打算与UE 102接触。因此,如果非用户到达UE 102,或查看UE102的显示器116,雷达管理器106可以确定这种存在或意图,并将其传递给状态管理器112。
在1414,响应于确定非用户存在或打算与用户设备交互,停止对认证状态的保持。因此,如果非用户走上、伸向或查看UE 102的显示器116,则状态管理器112停止保持认证状态(或主动解除认证)UE 102。随着这种停止,状态管理器112还可以降低其他状态,诸如有效降低或消除呈现给非用户的信息的信息状态。例如,假设认证用户正在地铁列车上阅读私人电子邮件。如果坐在用户后面的人查看着显示器而可能阅读私人电子邮件,则状态管理器112可以锁定UE 102并停止显示私人电子邮件。这可以快速无缝地执行,进一步改善用户的隐私。
A1416,可选地在停止保持认证状态之后,响应于非用户不再存在或不再打算交互的确定,该方法可以返回到认证状态。继续上面的示例,当地铁列车中的非用户将视线从UE102的显示器116移开时,状态管理器112可以通过认证过程或简单地通过切换回认证状态来重新认证用户120,无需重新认证。因此,用户120可以在导致解除认证的条件停止时立即简单地返回到先前状态。虽然一些认证过程(例如这里描述的系统和过程)既快速又节能,但不执行认证过程可以更快和更节能。在返回到认证状态时,状态管理器112可以将信息状态返回到先前级别并且返回在与最后呈现给用户120的内容匹配的内容上。在该示例中,当非用户移开视线时,显示器116在UE 102最后向用户120呈现的同一位置呈现私人电子邮件。通过这样做,向用户提供了认证的无缝管理和改进的信息隐私。注意,用户120的选择可以覆盖技术的操作,诸如用户选择解除认证。在一些情况下,用户120简单地关闭UE 102,这是这里描述的方法所允许的。
考虑图15中通过场景1500图示的另一个示例。场景1500包括四个部分。在第一部分1500-1,假设用户1502诸如通过凭证或面部特征分析已通过智能手机1504的认证,因此智能手机1504处于认证状态1506。该认证状态1506允许用户1502访问智能电话1504,这通过用户1502通过观看关于火山爆发的电视节目访问智能电话1504的内容来示出。
场景1500被示为沿着两条不同的路径发散。在一个路径中,当用户120停止触摸智能电话1504或停止向智能电话1504提供输入时,此处即当他们放松观看电视节目时,不活动定时器开始。在另一种情况下,不活动计时器可以开始也可以不开始,但是潜在的脱离交互将在其没有期满的情况下被确定。因此,在场景部分1500-2,在三分钟不活动之后,不活动定时器期满。返回到图14,操作1402确定由于不活动时间段在操作1404处期满而发生了用户的潜在脱离交互。对于场景部分1500-3处所示的第二路径,操作1402通过下述方式确定用户的潜在脱离交互已经发生:基于惯性数据通过执行操作1406确定智能手机1504的移动已经发生。该移动的原因是用户1502将他们的脚放在智能手机1504所在的桌子的边缘。
雷达管理器106响应于这些潜在脱离交互的确定中的任一个,基于雷达数据确定用户1502被动地与智能电话1504交互。该操作在1408处执行。这里假设用户的1502存在或他们看着智能电话1504被确定,这两者中的任何一个指示用户1502被动交互。
作为响应,在操作1410,状态管理器112保持认证状态。所有这些都可以无缝地执行并且用户1502不会注意到它已经被执行。如场景部分1500-4所示,智能电话1504简单地通过任一路径继续呈现电视节目。
考虑图16的另一个场景1600,其可以跟随场景1500或者是替代的、独立的场景。场景1600包括三个场景部分,在第一场景部分1600-1中,用户1502正在观看关于火山的电视节目,类似于图15所示,这里标记为智能手机1504的内容1602。智能手机1504在该节目呈现期间处于认证状态,例如图15中标注的认证状态1506。
然而,在场景部分1600-2处,非用户1604与用户1502一起坐在沙发上。该非用户1604是用户1502的同事,因此用户1502将他们的头转向他们并且开始和他们说话。如上所述,用户1502的这些动作,转动他们的头或说话或两者,可以被认为是潜在的脱离交互。如果认为用户1502潜在的脱离交互,则状态管理器112降低智能电话1504的状态,例如降低访问状态或信息状态,如图5和12所示(例如,方法1200的操作1206和1208)。
然而,假设雷达管理器106通过方法1400的操作1412并基于雷达数据确定非用户1604的存在。基于非用户1604的这种存在,在状态管理器112先前采取行动以保持智能电话1504的认证状态之后(例如,通过图15中所示的操作1410),状态管理器112停止保持认证状态1506。因此,状态管理器112可以使智能电话1504降低到未认证状态1604,如场景部分1600-2的展开图所示。通过锁定图标1606以及通过停止呈现内容1602向用户1502示出该改变。
在场景部分1600-3处,非用户1604已经离开并且用户1502返回查看智能电话1504。雷达管理器106确定非用户1604不再存在,将该确定指示给状态管理器112,然后状态管理器112将智能电话1504返回到认证状态1506。注意,状态管理器112还可能需要确定用户1502打算与智能电话1504互动,或者可以基于非用户1604离开智能电话1504的存在简单地返回到认证状态。还要注意,本文件中描述的技术可以将用户无缝地返回到他们离开的点,从而提供出色的用户体验。这在图16中以状态管理器112将智能电话1504返回到相同的电视节目并位于最后呈现给用户1502的相同或几乎相同的点来示出。对于一些实施例,该技术允许用户在设置画面或类似的设备配置画面指示在步骤1416智能电话1504是否将响应于非用户不再存在或打算交互的确定而返回到认证状态,相对于智能电话1504是否将停留处于未认证状态,直到执行使用认证系统的耗电组件的更严格的认证过程(例如,上述步骤1006)。换句话说,这些技术可以通过设置或类似的设备配置提供用户选择的设置,其一旦存在非用户的污染则使得智能电话1504保持解除认证,即使污染不再存在。
示例
在以下部分中,提供了示例。
示例1:一种方法,包括:在用户设备处于在其期间用户正在与用户设备互动或最近已经与用户设备互动的高级别状态中的同时确定所述用户设备的移动,所述移动指示所述用户设备正在或已经被移动,所述确定基于通过与所述用户设备集成的惯性测量单元接收的惯性数据;由所述用户设备基于雷达数据,确定脱离交互意图,所述脱离交互意图指示所述用户打算与所述用户设备脱离交互;以及,响应于所述移动和所述脱离交互意图的所述确定,将所述用户设备的高级别状态从所述高级别状态降低到中间级别状态或低级别状态,所述高级别状态为高访问状态、高功率状态或高信息状态,所述中间级别状态分别为中间访问状态、中间功率状态或中间信息状态,并且所述低级别状态分别为低访问状态、低功率状态或低信息状态。
示例2:根据示例1所述的方法,其中,所述高级别状态是所述高功率状态,并且降低所述高级别状态将所述高功率状态降低到所述中间功率状态或所述低功率状态,所述中间功率状态比所述高功率状态使用更少的功率,并且所述低功率状态比所述中间功率状态使用更少的功率。
示例3:根据示例2所述的方法,其中,将所述高功率状态降低到所述中间功率状态或所述低功率状态降低认证系统的耗电组件的功率状态,所述中间功率状态或所述低功率状态对于所述功耗组件不足以使与所述用户设备相关联的认证系统能够对所述用户进行认证。
示例4:根据示例1所述的方法,其中,所述高级别状态是高访问状态并且降低所述高级别状态将所述高访问状态降低到所述中间访问状态或所述低访问状态,所述中间访问状态允许比所述高访问状态对所述用户设备的功能、组件或账户的更少访问,并且所述低访问状态允许比所述中间访问状态对所述用户设备的所述功能、组件或账户的更少访问。
示例5:根据示例4所述的方法,其中,所述高访问状态其中是所述用户通过所述用户设备被认证的解锁状态,并且所述低级别状态是其中所述用户未被所述用户设备认证的锁定状态。
示例6:根据示例1所述的方法,其中,所述高级别状态是所述高信息状态并且降低所述高级别状态将所述高信息状态降低到所述中间信息状态或所述低信息状态,所述中间信息状态在与所述用户设备相关联的显示器上呈现比所述高信息状态更少的信息,并且所述低信息状态在所述显示器上呈现比所述中间信息状态更少的信息。
示例7:根据示例6所述的方法,其中,所述高信息状态被配置为呈现与所述用户个人相关联的信息,并且所述低信息状态被配置为不呈现与所述用户个人相关联的信息。
示例8:根据示例7所述的方法,其中,所述低信息状态被配置为呈现当前时间、日期、天气状况或电池功率状态。
示例9:根据前述示例中任一项所述的方法,所述方法还包括:在确定所述移动之前,确定所述用户正在与所述用户设备互动或最近已经与所述用户设备互动,对用户正在或最近已经互动的所述确定基于:指示所述用户的交互意图的先前雷达数据;指示通过麦克风从所述用户接收的命令或输入的音频数据;或指示所述用户通过触敏显示器或其他传感器进行的输入或互动的触摸数据。
示例10:根据前述示例中任一项所述的方法,其中,所述移动是相对于所述用户设备的紧接在前的移动的移动变化。
示例11:根据前述示例中任一项所述的方法,其中,基于所述雷达数据对所述脱离交互意图的所述确定是响应于从移动管理器接收到对所述用户设备的所述移动的所述确定。
示例12:根据前述示例中任一项所述的方法,其中,所述高级别状态包括所述高级别访问、功率或信息状态中的两个或更多个,并且其中,降低所述用户设备的所述高级别状态将所述高级别状态的所述两个或更多个降低到相应的中间级别状态或低级别状态。
示例13:根据前述示例中任一项所述的方法,所述方法还包括,在基于来自所述惯性测量单元的所述惯性数据确定所述用户设备的所述移动之前以及在基于来自所述雷达系统的所述雷达数据确定所述脱离交互意图之前,确定不活动时间段已经期满,所述不活动时间段从接收到所述用户设备的最后触摸、音频或姿势输入开始。
示例14:根据前述示例中任一项所述的方法,其中,基于指示所述用户正将手臂或手从所述用户设备收回、视线离开所述用户设备、将所述用户的身体从所述用户设备转开或者从所述用户设备走开的雷达数据来确定所述脱离交互意图。
示例15:根据前述示例中任一项所述的方法,其中,基于指示所述用户与另一对象、人、另一设备或另一用户设备进行交互的意图的雷达数据来确定所述脱离交互意图。
示例16:一种被配置为执行示例1至15中任一项的方法的装置。
结论
虽然已经以特定于特征和/或方法的语言描述了用于使得能够通过IMU和雷达降低状态的技术和装置的实施方式,但应当理解,所附权利要求的主题不一定限于描述的具体特征或方法。相反,特定特征和方法被公开为使得能够基于IMU和雷达来降低状态的示例实施方式。
Claims (20)
1.一种用于降低状态的方法,包括:
在用户设备处于用户正在与所述用户设备互动或最近已经与所述用户设备互动期间的高级别状态中的同时确定所述用户设备的移动,所述移动指示所述用户设备正在或已经被移动,所述确定基于通过与所述用户设备集成的惯性测量单元接收的惯性数据;
由所述用户设备基于雷达数据确定脱离交互意图,所述脱离交互意图指示所述用户打算与所述用户设备脱离交互,所述脱离交互意图是基于指示所述用户正将手臂或手从所述用户设备收回、视线离开所述用户设备、将所述用户的身体从所述用户设备转开或者从所述用户设备走开的雷达数据来确定的;以及
响应于所述移动和所述脱离交互意图的所述确定,将所述用户设备的高级别状态从高级别状态降低到中间级别状态或低级别状态,所述高级别状态为高访问状态、高功率状态或高信息状态,所述中间级别状态分别为中间访问状态、中间功率状态或中间信息状态,并且所述低级别状态分别为低访问状态、低功率状态或低信息状态,其中:
访问状态对应于所述用户设备的锁定状态或解锁装置以及所述用户需要所述用户的认证的所述设备的数据、应用或账户中的至少一个的访问权限;
功率状态对应于与所述用户设备相关联的认证系统认证所述用户的一个或多个耗电组件的功率量;以及
信息状态对应于在与所述用户设备相关联的显示器上呈现的与所述用户相关联的信息量。
2.根据权利要求1所述的方法,其中,所述高级别状态是所述高功率状态,并且降低所述高级别状态将所述高功率状态降低到所述中间功率状态或所述低功率状态,所述中间功率状态比所述高功率状态使用更少的功率,并且所述低功率状态比所述中间功率状态使用更少的功率。
3.根据权利要求2所述的方法,其中,将所述高功率状态降低到所述中间功率状态或所述低功率状态降低所述认证系统的耗电组件的功率状态,所述中间功率状态或所述低功率状态对于所述耗电组件不足以使与所述用户设备相关联的所述认证系统能够对所述用户进行认证。
4.根据权利要求1所述的方法,其中,所述高级别状态是高访问状态,并且降低所述高级别状态将所述高访问状态降低到所述中间访问状态或所述低访问状态,所述中间访问状态允许比所述高访问状态对需要所述用户的认证的所述用户设备的数据、应用或账户中的至少所述一个的更少访问,并且所述低访问状态允许比所述中间访问状态对需要所述用户的认证的所述用户设备的数据、应用或账户中的至少一个的更少访问。
5.根据权利要求4所述的方法,其中,所述高访问状态是其中所述用户通过所述用户设备被认证的解锁状态,并且所述低访问状态是其中所述用户未被所述用户设备认证的所述锁定状态。
6.根据权利要求5所述的方法,还包括:
在所述高访问状态期间,确定所述用户设备的用户的潜在脱离交互;
基于所述雷达数据并且通过所述用户设备,确定所述用户与所述用户设备的被动交互;以及
响应于所述用户与所述用户设备的所述被动交互的所述确定,保持所述高访问状态。
7.根据权利要求6所述的方法,还包括:确定不活动时间段已经期满,并且其中,确定所述潜在脱离交互基于所述不活动时间段已经期满的所述确定或所述移动的所述确定。
8.根据权利要求6所述的方法,其中,确定所述用户设备的所述用户的被动交互包括以下中的至少一项:
基于所述雷达数据,确定所述用户的手正在以所述用户设备的显示器被保持的定向握住所述用户设备;
基于所述雷达数据,确定所述用户被定向朝向或正在看向所述用户设备;以及
基于所述雷达数据,确定所述用户在所述用户设备的两米内。
9.根据权利要求6所述的方法,还包括:
基于所述雷达数据或稍后接收的雷达数据确定非用户的交互的意图或存在,并且,响应于非用户的所述交互的意图或所述存在的所述确定,停止保持所述高访问状态;以及
响应于确定所述非用户不再存在,返回到所述高访问状态。
10.根据权利要求1所述的方法,其中,所述高级别状态是所述高信息状态,并且降低所述高级别状态将所述高信息状态降低到所述中间信息状态或所述低信息状态,所述中间信息状态在与所述用户设备相关联的所述显示器上呈现比所述高信息状态少的与所述用户相关联的信息,并且所述低信息状态在所述显示器上呈现比所述中间信息状态少的与所述用户相关联的信息。
11.根据权利要求10所述的方法,其中,所述高信息状态被配置为呈现与所述用户个人相关联的信息,并且所述低信息状态被配置为不呈现与所述用户个人相关联的信息。
12.根据权利要求11所述的方法,其中,所述低信息状态被配置为呈现当前时间、日期、天气状况或电池功率状态。
13.根据权利要求1-12中的任一项所述的方法,还包括:
在确定所述用户设备的所述移动之前,在不活动时间段期满之前确定所述用户正在与所述用户设备互动或最近已经与所述用户设备互动,确定所述用户正在与所述用户设备互动或最近已经与所述用户设备互动是基于以下中的至少一项:
指示所述用户的交互意图的先前雷达数据;
指示通过麦克风从所述用户接收的命令或输入的音频数据;或
指示所述用户通过触敏显示器或其他传感器进行的输入或互动的触摸数据。
14.根据权利要求1所述的方法,其中,所述移动是相对于所述用户设备的紧接在前的移动的移动变化。
15.根据权利要求1所述的方法,其中,基于所述雷达数据确定所述脱离交互意图是响应于从移动管理器接收到对所述用户设备的所述移动的所述确定。
16.根据权利要求1所述的方法,其中,所述高级别状态包括所述高访问、所述高功率状态以及所述高信息状态中的两个或更多个状态,并且其中,降低所述用户设备的所述高级别状态将所述两个或更多个状态降低到相应的中间级别状态或低级别状态。
17.根据权利要求1所述的方法,还包括,在基于来自所述惯性测量单元的所述惯性数据确定所述用户设备的所述移动之前以及在基于来自所述雷达系统的所述雷达数据确定所述脱离交互意图之前,确定不活动时间段已经期满,所述不活动时间段从通过所述用户设备接收到最后触摸、音频或姿势输入开始。
18.根据权利要求1所述的方法,其中,基于指示以下中的至少两个的所述雷达数据来确定所述脱离交互意图:所述用户正将手臂或手从所述用户设备收回、视线离开所述用户设备、将所述用户的身体从所述用户设备转开或者从所述用户设备走开。
19.根据权利要求1所述的方法,其中,基于指示所述用户与另一对象、人、另一设备或另一用户设备进行交互的意图的雷达数据来确定所述脱离交互意图。
20.一种被配置为执行权利要求1至19中的任一项所述的方法的装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962879361P | 2019-07-26 | 2019-07-26 | |
US62/879,361 | 2019-07-26 | ||
PCT/US2019/049212 WO2021021219A1 (en) | 2019-07-26 | 2019-08-30 | Reducing a state based on imu and radar |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113853567A CN113853567A (zh) | 2021-12-28 |
CN113853567B true CN113853567B (zh) | 2024-03-29 |
Family
ID=74189681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980096592.2A Active CN113853567B (zh) | 2019-07-26 | 2019-08-30 | 基于imu和雷达降低状态 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11360192B2 (zh) |
EP (1) | EP3966662B1 (zh) |
JP (1) | JP7292437B2 (zh) |
KR (1) | KR20220005081A (zh) |
CN (1) | CN113853567B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017200571A1 (en) | 2016-05-16 | 2017-11-23 | Google Llc | Gesture-based control of a user interface |
US11379016B2 (en) | 2019-05-23 | 2022-07-05 | Intel Corporation | Methods and apparatus to operate closed-lid portable computers |
CN113924568A (zh) | 2019-06-26 | 2022-01-11 | 谷歌有限责任公司 | 基于雷达的认证状态反馈 |
CN113906367B (zh) | 2019-07-26 | 2024-03-29 | 谷歌有限责任公司 | 通过imu和雷达的认证管理 |
US11385722B2 (en) | 2019-07-26 | 2022-07-12 | Google Llc | Robust radar-based gesture-recognition by user equipment |
US11868537B2 (en) | 2019-07-26 | 2024-01-09 | Google Llc | Robust radar-based gesture-recognition by user equipment |
CN113892072A (zh) | 2019-08-30 | 2022-01-04 | 谷歌有限责任公司 | 用于暂停的雷达姿势的视觉指示器 |
EP3936980A1 (en) | 2019-08-30 | 2022-01-12 | Google LLC | Input methods for mobile devices |
WO2021040742A1 (en) | 2019-08-30 | 2021-03-04 | Google Llc | Input-mode notification for a multi-input node |
US11543873B2 (en) | 2019-09-27 | 2023-01-03 | Intel Corporation | Wake-on-touch display screen devices and related methods |
US11733761B2 (en) * | 2019-11-11 | 2023-08-22 | Intel Corporation | Methods and apparatus to manage power and performance of computing devices based on user presence |
US11809535B2 (en) | 2019-12-23 | 2023-11-07 | Intel Corporation | Systems and methods for multi-modal user device authentication |
US11360528B2 (en) | 2019-12-27 | 2022-06-14 | Intel Corporation | Apparatus and methods for thermal management of electronic user devices based on user activity |
US20220357959A1 (en) * | 2021-05-04 | 2022-11-10 | Tricklestar Limited | Keyboard |
US20220381898A1 (en) * | 2021-06-01 | 2022-12-01 | Qualcomm Incorporated | Controlling device and processing settings based on radio frequency sensing |
US11805380B2 (en) | 2021-08-31 | 2023-10-31 | Qualcomm Incorporated | Augmented audio for communications |
TWI825488B (zh) * | 2021-10-01 | 2023-12-11 | 緯創資通股份有限公司 | 都卜勒雷達裝置及其省電方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105404466A (zh) * | 2015-12-11 | 2016-03-16 | 联想(北京)有限公司 | 一种电子设备 |
CN106662639A (zh) * | 2014-10-02 | 2017-05-10 | 谷歌公司 | 非视距的基于雷达的姿势识别 |
Family Cites Families (163)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5670987A (en) | 1993-09-21 | 1997-09-23 | Kabushiki Kaisha Toshiba | Virtual manipulating apparatus and method |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6727892B1 (en) | 1999-05-20 | 2004-04-27 | Micron Technology, Inc. | Method of facilitating the selection of features at edges of computer touch screens |
US7088343B2 (en) | 2001-04-30 | 2006-08-08 | Lenovo (Singapore) Pte., Ltd. | Edge touchpad input device |
US20030095154A1 (en) | 2001-11-19 | 2003-05-22 | Koninklijke Philips Electronics N.V. | Method and apparatus for a gesture-based user interface |
DE60229348D1 (de) | 2001-12-28 | 2008-11-27 | Matsushita Electric Works Ltd | Verwendung eines elektronischen Schlüssels und elektronisches Sicherheitssystem |
US6990335B1 (en) | 2004-11-18 | 2006-01-24 | Charles G. Shamoon | Ubiquitous connectivity and control system for remote locations |
KR100597798B1 (ko) | 2005-05-12 | 2006-07-10 | 삼성전자주식회사 | 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법 |
JP2007080219A (ja) * | 2005-09-16 | 2007-03-29 | Navitime Japan Co Ltd | 携帯端末装置および携帯端末装置における省電力制御方法 |
US7770136B2 (en) | 2007-01-24 | 2010-08-03 | Microsoft Corporation | Gesture recognition interactive feedback |
US9317110B2 (en) | 2007-05-29 | 2016-04-19 | Cfph, Llc | Game with hand motion control |
WO2009008411A1 (ja) * | 2007-07-09 | 2009-01-15 | Sony Corporation | 電子機器及びその制御方法 |
US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
EP2203865A2 (en) | 2007-09-24 | 2010-07-07 | Apple Inc. | Embedded authentication systems in an electronic device |
US9545571B2 (en) | 2008-01-25 | 2017-01-17 | Nintendo Co., Ltd. | Methods and apparatus for a video game magic system |
KR101506488B1 (ko) | 2008-04-04 | 2015-03-27 | 엘지전자 주식회사 | 근접센서를 이용하는 휴대 단말기 및 그 제어방법 |
US8943560B2 (en) * | 2008-05-28 | 2015-01-27 | Microsoft Corporation | Techniques to provision and manage a digital telephone to authenticate with a network |
US20100008031A1 (en) | 2008-07-08 | 2010-01-14 | Emblaze Mobile Ltd | Ergonomic handheld device |
US8237666B2 (en) | 2008-10-10 | 2012-08-07 | At&T Intellectual Property I, L.P. | Augmented I/O for limited form factor user-interfaces |
US9134798B2 (en) | 2008-12-15 | 2015-09-15 | Microsoft Technology Licensing, Llc | Gestures, interactions, and common ground in a surface computing environment |
US20100192102A1 (en) | 2009-01-29 | 2010-07-29 | International Business Machines Corporation | Displaying radial menus near edges of a display area |
EP2394235A2 (en) | 2009-02-06 | 2011-12-14 | Oculis Labs, Inc. | Video-based privacy supporting system |
US8254670B2 (en) | 2009-02-25 | 2012-08-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Self-learning object detection and classification systems and methods |
US9684521B2 (en) | 2010-01-26 | 2017-06-20 | Apple Inc. | Systems having discrete and continuous gesture recognizers |
US20100306716A1 (en) | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Extending standard gestures |
US8488413B2 (en) | 2009-10-16 | 2013-07-16 | Casio Computer Co., Ltd. | Indicated position detecting apparatus and indicated position detecting method |
US20110181510A1 (en) | 2010-01-26 | 2011-07-28 | Nokia Corporation | Gesture Control |
US9335825B2 (en) | 2010-01-26 | 2016-05-10 | Nokia Technologies Oy | Gesture control |
US8239785B2 (en) | 2010-01-27 | 2012-08-07 | Microsoft Corporation | Edge gestures |
EP2534554B1 (en) | 2010-02-11 | 2020-06-10 | Hewlett-Packard Development Company, L.P. | Input command |
US20120194551A1 (en) | 2010-02-28 | 2012-08-02 | Osterhout Group, Inc. | Ar glasses with user-action based command and control of external devices |
EP2385450A1 (en) | 2010-05-07 | 2011-11-09 | Research In Motion Limited | Portable electronic device and method of controlling same |
US20110304541A1 (en) | 2010-06-11 | 2011-12-15 | Navneet Dalal | Method and system for detecting gestures |
US20110310005A1 (en) | 2010-06-17 | 2011-12-22 | Qualcomm Incorporated | Methods and apparatus for contactless gesture recognition |
US8508347B2 (en) | 2010-06-24 | 2013-08-13 | Nokia Corporation | Apparatus and method for proximity based input |
US20120032834A1 (en) | 2010-08-09 | 2012-02-09 | Weeks Steven V | Use of accelerometer and ability to disable power switch for tamper protection and theft tracking |
US9195345B2 (en) | 2010-10-28 | 2015-11-24 | Microsoft Technology Licensing, Llc | Position aware gestures with visual feedback as input method |
US8898793B2 (en) * | 2011-01-14 | 2014-11-25 | Nokia Corporation | Method and apparatus for adjusting context-based factors for selecting a security policy |
US8761437B2 (en) | 2011-02-18 | 2014-06-24 | Microsoft Corporation | Motion recognition |
US9104239B2 (en) | 2011-03-09 | 2015-08-11 | Lg Electronics Inc. | Display device and method for controlling gesture functions using different depth ranges |
US8994499B2 (en) | 2011-03-16 | 2015-03-31 | Apple Inc. | Locking and unlocking a mobile device using facial recognition |
US20120280900A1 (en) | 2011-05-06 | 2012-11-08 | Nokia Corporation | Gesture recognition using plural sensors |
US20130038564A1 (en) | 2011-08-10 | 2013-02-14 | Google Inc. | Touch Sensitive Device Having Dynamic User Interface |
US20130106898A1 (en) | 2011-10-26 | 2013-05-02 | Google Inc. | Detecting object moving toward or away from a computing device |
US9207852B1 (en) | 2011-12-20 | 2015-12-08 | Amazon Technologies, Inc. | Input mechanisms for electronic devices |
DE102012000201A1 (de) | 2012-01-09 | 2013-07-11 | Daimler Ag | Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt |
US9619038B2 (en) | 2012-01-23 | 2017-04-11 | Blackberry Limited | Electronic device and method of displaying a cover image and an application image from a low power condition |
JP6002836B2 (ja) | 2012-05-09 | 2016-10-05 | アップル インコーポレイテッド | ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース |
US9392421B2 (en) * | 2012-05-23 | 2016-07-12 | Qualcomm Incorporated | Systems and methods for group communication using a mobile device with mode depending on user proximity or device position |
DE102012014910A1 (de) | 2012-07-27 | 2014-01-30 | Volkswagen Aktiengesellschaft | Bedienschnittstelle, Verfahren zum Anzeigen einer eine Bedienung einer Bedienschnittstelle erleichternden Information und Programm |
US9235241B2 (en) | 2012-07-29 | 2016-01-12 | Qualcomm Incorporated | Anatomical gestures detection system using radio signals |
KR102051418B1 (ko) | 2012-09-28 | 2019-12-03 | 삼성전자주식회사 | 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치 |
US20140118257A1 (en) | 2012-10-29 | 2014-05-01 | Amazon Technologies, Inc. | Gesture detection systems |
TW201419036A (zh) * | 2012-11-06 | 2014-05-16 | Pixart Imaging Inc | 感測元件陣列、控制感測裝置的方法以及相關電子裝置 |
US9477313B2 (en) | 2012-11-20 | 2016-10-25 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving outward-facing sensor of device |
US8996516B2 (en) | 2013-01-02 | 2015-03-31 | Google Inc. | Adjacent search results exploration |
US9448634B1 (en) | 2013-03-12 | 2016-09-20 | Kabam, Inc. | System and method for providing rewards to a user in a virtual space based on user performance of gestures |
US11017069B2 (en) | 2013-03-13 | 2021-05-25 | Lookout, Inc. | Method for changing mobile communications device functionality based upon receipt of a second code and the location of a key device |
US10121049B2 (en) | 2013-04-01 | 2018-11-06 | AMI Research & Development, LLC | Fingerprint based smart phone user verification |
US9389641B2 (en) | 2013-05-10 | 2016-07-12 | Blackberry Limited | Carrying case with peek functionality |
US9065932B2 (en) | 2013-05-10 | 2015-06-23 | Blackberry Limited | Device for providing notifications while mated with a carrying case |
US9231765B2 (en) | 2013-06-18 | 2016-01-05 | Arm Ip Limited | Trusted device |
CN105593787B (zh) | 2013-06-27 | 2019-07-05 | 视力移动科技公司 | 用于与数字设备交互的直接指向检测的系统和方法 |
US9338116B2 (en) | 2013-06-28 | 2016-05-10 | Blackberry Limited | Device and method for displaying and interacting with display objects |
KR101641091B1 (ko) | 2013-09-23 | 2016-07-20 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 모션 인식방법 |
EP3050260A2 (en) | 2013-09-24 | 2016-08-03 | Fibar Group S.A. | Touch-less swipe control |
US10591969B2 (en) | 2013-10-25 | 2020-03-17 | Google Technology Holdings LLC | Sensor-based near-field communication authentication |
JP2015103020A (ja) * | 2013-11-25 | 2015-06-04 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9851896B2 (en) | 2013-12-17 | 2017-12-26 | Google Inc. | Edge swiping gesture for home navigation |
DE102014202490A1 (de) | 2014-02-12 | 2015-08-13 | Volkswagen Aktiengesellschaft | Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe |
EP3090352A4 (en) * | 2014-02-24 | 2017-10-25 | Sony Corporation | Proximity based and data exchange and user authentication between smart wearable devices |
CN106068201B (zh) | 2014-03-07 | 2019-11-01 | 大众汽车有限公司 | 用户界面和在手势检测时将输入件3d位置信号化的方法 |
KR102222561B1 (ko) | 2014-03-27 | 2021-03-05 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
US9921657B2 (en) | 2014-03-28 | 2018-03-20 | Intel Corporation | Radar-based gesture recognition |
US10409382B2 (en) | 2014-04-03 | 2019-09-10 | Honda Motor Co., Ltd. | Smart tutorial for gesture control system |
JP6468883B2 (ja) * | 2014-04-10 | 2019-02-13 | キヤノン株式会社 | 情報処理装置、及びその制御方法、コンピュータプログラム、記録媒体 |
US11039314B2 (en) | 2014-04-29 | 2021-06-15 | Taliware, Inc. | Method for passive authentication of an individual using an individual's geo-location via a communication network and blockchain associated recording of individual's authentication data |
WO2015167260A1 (en) | 2014-04-30 | 2015-11-05 | Lg Innotek Co., Ltd. | Touch device, wearable device having the same and touch recognition method |
KR20150129423A (ko) | 2014-05-12 | 2015-11-20 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치 |
US9575560B2 (en) | 2014-06-03 | 2017-02-21 | Google Inc. | Radar-based gesture-recognition through a wearable device |
KR101598771B1 (ko) | 2014-06-11 | 2016-03-02 | 주식회사 슈프리마에이치큐 | 얼굴 인식 생체 인증 방법 및 장치 |
WO2015196063A1 (en) | 2014-06-19 | 2015-12-23 | Robert Bosch Gmbh | System and method for speech-enabled personalized operation of devices and services in multiple operating environments |
US9921660B2 (en) | 2014-08-07 | 2018-03-20 | Google Llc | Radar-based gesture recognition |
US9811164B2 (en) | 2014-08-07 | 2017-11-07 | Google Inc. | Radar-based gesture sensing and data transmission |
US9778749B2 (en) | 2014-08-22 | 2017-10-03 | Google Inc. | Occluded gesture recognition |
WO2016036155A1 (en) * | 2014-09-04 | 2016-03-10 | Samsung Electronics Co., Ltd. | Method of providing user with battery power notification in mobile device and mobile device therefor |
US9633497B2 (en) | 2014-09-05 | 2017-04-25 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd. | Systems and methods for medical monitoring device gesture control lockout |
JP6249919B2 (ja) | 2014-10-06 | 2017-12-20 | 三菱電機株式会社 | 操作入力装置 |
US10061509B2 (en) | 2014-10-09 | 2018-08-28 | Lenovo (Singapore) Pte. Ltd. | Keypad control |
US20160150124A1 (en) | 2014-11-24 | 2016-05-26 | Kyocera Document Solutions Inc. | Image Forming Apparatus with User Identification Capabilities |
US9830073B2 (en) | 2014-12-12 | 2017-11-28 | Alpine Electronics, Inc. | Gesture assistive zoomable selector for screen |
WO2016099026A1 (ko) | 2014-12-15 | 2016-06-23 | 주식회사 진진 | 사용자의 모션을 인식하는 레이더 디텍터 |
US10613637B2 (en) | 2015-01-28 | 2020-04-07 | Medtronic, Inc. | Systems and methods for mitigating gesture input error |
US9817109B2 (en) | 2015-02-27 | 2017-11-14 | Texas Instruments Incorporated | Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution |
JP6524717B2 (ja) | 2015-03-04 | 2019-06-05 | 株式会社リコー | 電子機器、通信モード制御方法および通信モード制御プログラム |
US20160275348A1 (en) | 2015-03-17 | 2016-09-22 | Motorola Mobility Llc | Low-power iris authentication alignment |
US20160282934A1 (en) * | 2015-03-25 | 2016-09-29 | Motorola Mobility Llc | Presence detection for gesture recognition and iris authentication |
US20200364967A1 (en) | 2015-04-15 | 2020-11-19 | Richard SPICE | Contactless payment terminal |
US9904409B2 (en) | 2015-04-15 | 2018-02-27 | Samsung Electronics Co., Ltd. | Touch input processing method that adjusts touch sensitivity based on the state of a touch object and electronic device for supporting the same |
WO2016170854A1 (ja) | 2015-04-22 | 2016-10-27 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6517356B2 (ja) | 2015-04-30 | 2019-05-22 | グーグル エルエルシー | タイプに依存しないrf信号表現 |
CN107430443B (zh) | 2015-04-30 | 2020-07-10 | 谷歌有限责任公司 | 基于宽场雷达的手势识别 |
US10088908B1 (en) | 2015-05-27 | 2018-10-02 | Google Llc | Gesture detection and interactions |
DE102015210130A1 (de) | 2015-06-02 | 2016-12-08 | Volkswagen Aktiengesellschaft | Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zur Unterstützung eines Anwenders bei Interaktion mit einer Anwenderschnittstelle |
KR20170025570A (ko) | 2015-08-28 | 2017-03-08 | 엘지전자 주식회사 | 와치 타입 이동 단말기 및 그의 동작 방법 |
CN106503004B (zh) | 2015-09-07 | 2020-09-11 | 腾讯科技(深圳)有限公司 | 一种信息处理方法及装置、终端 |
US9629201B2 (en) | 2015-09-21 | 2017-04-18 | Qualcomm Incorporated | Using Wi-Fi as human control interface |
US10817065B1 (en) | 2015-10-06 | 2020-10-27 | Google Llc | Gesture recognition using multiple antenna |
US20170097684A1 (en) | 2015-10-06 | 2017-04-06 | Google, Inc. | Compressed Sensing for Gesture Tracking and Recognition with Radar |
CN106339076B (zh) | 2015-10-22 | 2019-11-15 | 北京智谷睿拓技术服务有限公司 | 基于动作识别的控制方法及控制装置 |
DE102016100064B4 (de) | 2016-01-04 | 2017-11-23 | Volkswagen Aktiengesellschaft | Adative Anzeige in B-Säule |
US10095876B2 (en) * | 2016-02-09 | 2018-10-09 | Rovi Guides, Inc. | Systems and methods for allowing a user to access blocked media |
CN105607745A (zh) | 2016-03-16 | 2016-05-25 | 京东方科技集团股份有限公司 | 显示控制电路、显示控制方法和显示装置 |
US20170289766A1 (en) * | 2016-03-29 | 2017-10-05 | Microsoft Technology Licensing, Llc | Digital Assistant Experience based on Presence Detection |
US10022613B2 (en) * | 2016-05-02 | 2018-07-17 | Bao Tran | Smart device |
CN107404628B (zh) | 2016-05-18 | 2020-09-01 | 佳能株式会社 | 图像处理装置及方法以及监视系统 |
DK179186B1 (en) | 2016-05-19 | 2018-01-15 | Apple Inc | REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION |
US20170336220A1 (en) * | 2016-05-20 | 2017-11-23 | Daqri, Llc | Multi-Sensor Position and Orientation Determination System and Device |
KR102620138B1 (ko) | 2016-06-02 | 2024-01-03 | 삼성전자주식회사 | 화면 출력 방법 및 이를 지원하는 전자 장치 |
US10306051B2 (en) * | 2016-06-14 | 2019-05-28 | Hand Held Products, Inc. | Managing energy usage in mobile devices |
EP3674851A1 (en) | 2016-07-07 | 2020-07-01 | David Franklin | Gesture-based user interface |
US20180046255A1 (en) | 2016-08-09 | 2018-02-15 | Google Inc. | Radar-based gestural interface |
US10086267B2 (en) | 2016-08-12 | 2018-10-02 | Microsoft Technology Licensing, Llc | Physical gesture input configuration for interactive software and video games |
WO2018035129A1 (en) | 2016-08-15 | 2018-02-22 | Georgia Tech Research Corporation | Electronic device and method of controlling the same |
US10416777B2 (en) | 2016-08-16 | 2019-09-17 | Microsoft Technology Licensing, Llc | Device manipulation using hover |
US10934764B2 (en) | 2016-09-08 | 2021-03-02 | Magna Closures Inc. | Radar detection system for non-contact human activation of powered closure member |
US10754417B2 (en) | 2016-11-14 | 2020-08-25 | Logitech Europe S.A. | Systems and methods for operating an input device in an augmented/virtual reality environment |
US10579150B2 (en) | 2016-12-05 | 2020-03-03 | Google Llc | Concurrent detection of absolute distance and relative movement for sensing action gestures |
US10372260B2 (en) | 2016-12-12 | 2019-08-06 | Microsoft Technology Licensing, Llc | Apparatus and method of adjusting power mode of a display of a device |
US10356617B2 (en) | 2017-02-08 | 2019-07-16 | Qualcomm Incorporated | Mobile device to provide continuous authentication based on contextual awareness |
US10914834B2 (en) * | 2017-05-10 | 2021-02-09 | Google Llc | Low-power radar |
US20200372239A1 (en) | 2017-05-15 | 2020-11-26 | Microsoft Technology Licensing, Llc | Device wake-up based on fingerprint sensor |
EP3602366A1 (en) | 2017-05-15 | 2020-02-05 | Microsoft Technology Licensing, LLC | Headset with fingerprint authentication |
WO2019027422A1 (en) | 2017-07-31 | 2019-02-07 | Hewlett-Packard Development Company, L.P. | HEURISTIC-BASED ACOUSTIC EMISSION AND ENERGY CONSERVATION |
EP3640782A4 (en) | 2017-08-03 | 2020-07-15 | Huawei Technologies Co., Ltd. | METHOD AND TERMINAL AVOIDING HANDLING ERRORS |
US10592718B2 (en) | 2017-08-09 | 2020-03-17 | The Board Of Trustees Of The Leland Stanford Junior University | Interactive biometric touch scanner |
US10612936B2 (en) | 2017-09-01 | 2020-04-07 | Telenav, Inc. | Navigation system with delivery mechanism and method of operation thereof |
CN109491496A (zh) | 2017-09-12 | 2019-03-19 | 精工爱普生株式会社 | 头部佩戴型显示装置和头部佩戴型显示装置的控制方法 |
US10725161B2 (en) | 2017-12-15 | 2020-07-28 | Google Llc | Seamless authentication using radar |
JP6900133B2 (ja) | 2018-01-25 | 2021-07-07 | 三菱電機株式会社 | ジェスチャー操作装置およびジェスチャー操作方法 |
US11558626B2 (en) * | 2018-02-20 | 2023-01-17 | Netgear, Inc. | Battery efficient wireless network connection and registration for a low-power device |
CN112235452B (zh) * | 2018-04-28 | 2022-04-12 | 华为技术有限公司 | 一种灭屏显示的方法及电子设备 |
US11027822B2 (en) | 2018-06-21 | 2021-06-08 | Rockwell Collins, Inc. | Control system for touchless operation of mechanical input devices |
US10284541B1 (en) | 2018-07-09 | 2019-05-07 | Capital One Services, Llc | System and method for generating enhanced distributed online registry |
US11269428B2 (en) | 2018-09-09 | 2022-03-08 | Microsoft Technology Licensing, Llc | Changing a mode of operation of a computing device by a pen device |
US11310226B2 (en) | 2018-12-19 | 2022-04-19 | Paypal, Inc. | Gesture and motion detection using a device radar component for user authentication |
US11417163B2 (en) | 2019-01-04 | 2022-08-16 | Byton North America Corporation | Systems and methods for key fob motion based gesture commands |
US11379016B2 (en) | 2019-05-23 | 2022-07-05 | Intel Corporation | Methods and apparatus to operate closed-lid portable computers |
US11496387B2 (en) | 2019-06-11 | 2022-11-08 | Zscaler, Inc. | Auto re-segmentation to assign new applications in a microsegmented network |
CN113924568A (zh) | 2019-06-26 | 2022-01-11 | 谷歌有限责任公司 | 基于雷达的认证状态反馈 |
US11604891B2 (en) | 2019-07-17 | 2023-03-14 | Motorola Mobility Llc | Displaying sensitive content based on whether others are around user |
US11385722B2 (en) | 2019-07-26 | 2022-07-12 | Google Llc | Robust radar-based gesture-recognition by user equipment |
CN113906367B (zh) | 2019-07-26 | 2024-03-29 | 谷歌有限责任公司 | 通过imu和雷达的认证管理 |
WO2021021219A1 (en) | 2019-07-26 | 2021-02-04 | Google Llc | Reducing a state based on imu and radar |
KR102639579B1 (ko) | 2019-07-26 | 2024-02-26 | 구글 엘엘씨 | 인증된 상태 유지하기 |
WO2021021224A1 (en) | 2019-07-26 | 2021-02-04 | Google Llc | Context-sensitive control of radar-based gesture-recognition |
CN113892072A (zh) | 2019-08-30 | 2022-01-04 | 谷歌有限责任公司 | 用于暂停的雷达姿势的视觉指示器 |
WO2021040742A1 (en) | 2019-08-30 | 2021-03-04 | Google Llc | Input-mode notification for a multi-input node |
EP3936980A1 (en) | 2019-08-30 | 2022-01-12 | Google LLC | Input methods for mobile devices |
WO2021040749A1 (en) | 2019-08-30 | 2021-03-04 | Google Llc | Detecting and processing unsuccessfully recognized or unsuccessfully utilized non-contact gestures for a computing system |
WO2021040747A1 (en) | 2019-08-30 | 2021-03-04 | Google Llc | Methods for reliable acceptance of user non-contact gesture inputs for a mobile device |
US20210103348A1 (en) | 2019-10-03 | 2021-04-08 | Google Llc | Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device |
US11640208B2 (en) | 2019-11-21 | 2023-05-02 | Infineon Technologies Ag | Gesture feedback in distributed neural network system |
-
2019
- 2019-08-30 EP EP19769329.4A patent/EP3966662B1/en active Active
- 2019-08-30 KR KR1020217039823A patent/KR20220005081A/ko not_active Application Discontinuation
- 2019-08-30 CN CN201980096592.2A patent/CN113853567B/zh active Active
- 2019-08-30 JP JP2021572929A patent/JP7292437B2/ja active Active
-
2020
- 2020-05-11 US US16/871,945 patent/US11360192B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106662639A (zh) * | 2014-10-02 | 2017-05-10 | 谷歌公司 | 非视距的基于雷达的姿势识别 |
CN105404466A (zh) * | 2015-12-11 | 2016-03-16 | 联想(北京)有限公司 | 一种电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US11360192B2 (en) | 2022-06-14 |
JP7292437B2 (ja) | 2023-06-16 |
EP3966662A1 (en) | 2022-03-16 |
CN113853567A (zh) | 2021-12-28 |
US20210025976A1 (en) | 2021-01-28 |
KR20220005081A (ko) | 2022-01-12 |
JP2022542534A (ja) | 2022-10-05 |
EP3966662B1 (en) | 2024-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113853567B (zh) | 基于imu和雷达降低状态 | |
CN113906367B (zh) | 通过imu和雷达的认证管理 | |
US11385722B2 (en) | Robust radar-based gesture-recognition by user equipment | |
KR102639579B1 (ko) | 인증된 상태 유지하기 | |
EP3791563B1 (en) | Robust radar-based gesture-recognition by user equipment | |
WO2021021220A1 (en) | Authentication management through imu and radar | |
US11687167B2 (en) | Visual indicator for paused radar gestures | |
US20210342008A1 (en) | Context-Sensitive Control of Radar-Based Gesture-Recognition | |
CN112753005B (zh) | 移动设备的输入方法 | |
JP7433397B2 (ja) | 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム | |
US11868537B2 (en) | Robust radar-based gesture-recognition by user equipment | |
JP7346595B2 (ja) | レーダーベースのジェスチャー認識の状況感知型制御 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |