CN111819523A - 电子设备中实现的智能手机、系统和方法 - Google Patents

电子设备中实现的智能手机、系统和方法 Download PDF

Info

Publication number
CN111819523A
CN111819523A CN201980017923.9A CN201980017923A CN111819523A CN 111819523 A CN111819523 A CN 111819523A CN 201980017923 A CN201980017923 A CN 201980017923A CN 111819523 A CN111819523 A CN 111819523A
Authority
CN
China
Prior art keywords
user
orientation
smartphone
radar
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980017923.9A
Other languages
English (en)
Other versions
CN111819523B (zh
Inventor
莱昂纳多·朱斯蒂
伊万·波派列夫
布兰登·巴贝尔洛
帕特里克·M·阿米胡德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111819523A publication Critical patent/CN111819523A/zh
Application granted granted Critical
Publication of CN111819523B publication Critical patent/CN111819523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本文描述了使能在电子设备中实现的智能手机、系统和方法的技术和系统。所述技术和系统使用雷达场来准确地确定用户相对于诸如智能手机等电子设备的位置和身体定向。所述雷达场还使所述设备能够从所述用户接收3D手势,以与所述设备交互。所述技术允许所述设备基于所述用户的存在和定向提供功能,并且适当地调整所述设备与所述用户的交互的定时、内容和格式。

Description

电子设备中实现的智能手机、系统和方法
背景技术
智能手机和其他电子设备上的应用提供了不断增长的几乎已变得至关重要的各种生产力、娱乐和通信功能。我们收听音乐,观看视频,并共享演示文稿和文档。这些应用提醒我们预约(并且有时甚至安排预约),在有人发短信或打电话时通知我们,并保持跟踪工作、学校和家庭中的项目。此外,随着这些应用以及运行应用的设备越来越熟悉我们的日程安排和偏好,它们会建议替代交通路线,建议餐馆并且以其它方式与我们进行独立通信。但是,在我们的应用为我们提供的所有帮助下,针对它们具有所有的计算能力和人工智能,它们仍然在社会上不为人所知,并且可能变得具有侵入性。也就是说,无论智能手机多么“智能”,当显示或播放提醒、警报或建议时,它都不知道其用户在做什么(或甚至用户是否在设备附近)。因此,如果我们移向设备的另一侧,或尝试跨桌子与其他人共享显示的内容,内容可能会颠倒。如果我们旋转设备,其可能不能识别我们想要做什么,直到拿起设备,将其定向到我们想要的位置并再次将其放下。在其他情况下,设备可能会在不方便的时间打扰我们,或在不适当的位置或以令人尴尬的音量或亮度显示提醒或通知,其可能包括个人和私人信息。因此,利用我们的应用的强大而有趣的特征可能会带来不便、令人尴尬和沮丧,并且由于电子设备和应用的意识有限,我们可能无法实现电子设备和应用的全部潜力。
发明内容
本文档描述了使能够在电子设备中实现智能手机、系统和方法的技术和系统。这些技术和系统使用雷达场来准确确定用户相对于诸如智能手机的电子设备的位置和身体定向。雷达场还使设备能够从用户接收三维(3D)手势以与设备进行交互。这些技术允许设备基于用户的存在和定向提供功能,并允许适当地调整设备与用户交互的定时、内容和格式。
以下描述的各方面包括一种系统,该系统包括智能手机、显示器、雷达系统、一个或多个计算机处理器以及一个或多个计算机可读介质。雷达系统至少部分地以硬件实现,并提供雷达场。雷达系统还感测来自雷达场中的对象的反射,并分析来自雷达场中的对象的反射。雷达系统进一步基于对反射的分析来提供雷达数据。一个或多个计算机处理器包括存储的指令,当这些指令由一个或多个计算机处理器执行时,可以执行操作。该操作包括基于雷达数据的第一子集,确定智能手机相对于对象的定向,并且响应于确定智能手机的定向,提供智能手机的基于定向的功能。该操作还包括基于雷达数据的第二子集,确定智能手机相对于对象的定向的变化,并且响应于定向的变化,修改智能手机的基于定向的功能。
以下描述的方面还包括一种系统,该系统包括电子设备、雷达系统、一个或多个计算机处理器以及一个或多个计算机可读介质。雷达系统至少部分地以硬件实现,并提供雷达场。雷达系统还感测来自雷达场中对象的反射,并分析来自雷达场中对象的反射。雷达系统进一步基于反射的分析来提供雷达数据。一种或多种计算机可读介质包括所存储的指令,当这些指令由一个或多个计算机处理器执行时,执行操作。该操作包括基于雷达数据的第一子集确定电子设备的感知距离内的对象的存在,以及响应于确定感知距离内的对象的存在,提供电子设备的基于存在的功能。该操作还包括基于雷达数据的第二子集确定对象在电子设备的感知距离之外,以及响应于确定对象在感知距离之外,停止提供基于存在的功能。
以下描述的各方面还包括一种方法,该方法在包括雷达系统和基于雷达的应用的电子设备中实现。该方法包括由雷达系统提供雷达场,以及由雷达系统感测来自雷达场中对象的反射。该方法还包括分析来自雷达场中对象的反射,以及基于对反射的分析来提供雷达数据。该方法进一步包括,基于雷达数据的第一子集,确定电子设备相对于对象的定向;以及响应于确定电子设备的定向,提供电子设备的基于定向的功能。该方法还包括基于雷达数据的第二子集,确定电子设备相对于对象的定向变化,以及响应于定向的变化,修改电子设备的基于定向的功能。
以下描述的方面还包括一种系统,该系统包括电子设备,该电子设备包括用于提供提供雷达数据的雷达场的装置或与该装置相关联,该雷达数据基于感测和分析来自雷达场中对象的反射。该系统还包括用于确定电子设备相对于雷达场中的对象的定向以及响应于确定定向提供电子设备的基于定向的功能的装置。该系统还包括用于确定电子设备相对于雷达场中的对象的定向的变化并且响应于确定定向的变化,修改电子设备的基于定向的功能的装置。
提供本发明内容以介绍与电子设备中实现的智能手机、系统和方法有关的简化概念,这将在下面的具体实施方式和附图中进一步描述。本发明内容不旨在标识所要求保护的主题的必要特征,也不旨在用于确定所要求保护的主题的范围。
附图说明
在本文档中参考以下附图描述电子设备中实现的智能手机、系统和方法的一个或多个方面的细节。在所有附图中,相同的数字用于引用相似的特征和组件:
图1图示其中可以实现使能在电子设备中实现的智能手机、系统和方法的技术的示例环境。
图2图示包括雷达系统并且可以实现电子设备中实现的智能手机、系统和方法的图1的智能手机的示例实施方式。
图3图示图1和图2的雷达系统的示例实施方式。
图4图示图3的雷达系统的接收天线元件的示例布置。
图5图示图1和图2的雷达系统的示例实施方式的附加细节。
图6图示可以由图1和图2的雷达系统实现的示例方案。
图7图示其中可以实现使能在电子设备中实现的智能手机、系统和方法的技术的另一示例环境。
图8-12图示可以与如图7中所描述的用于电子设备中实现的智能手机、系统和方法的技术一起使用的基于存在的功能的示例。
图13和图14图示对如在图7-12中描述的基于存在的功能的修改的示例。
图15-20图示可以与如图7-14中所描述的用于电子设备中实现的智能手机、系统和方法的技术一起使用的3D手势的示例。
图21和22描绘使能在电子设备中实现的智能手机、系统和方法的示例方法。
图23-25图示实施图21和图22的方法的附加细节的电子设备的示例性实施方式。
图26图示可以被实现为如参考图1至25所描述的任何类型的客户端、服务器和/或电子设备以实现在电子设备中实现智能手机、系统和方法或其中可以实现使能在电子设备中实现智能手机、系统和方法的技术的示例计算系统的各种组件。
具体实施方式
本文档描述了使能在电子设备中实现的智能手机、系统和方法的技术和系统。如上所述,因为智能手机和其他电子设备不知道用户是否在设备附近,或者用户相对于设备(以及设备的显示器)如何定位,所以设备可能不会始终以方便用户的方式呈现内容。此外,并且同样因为缺乏意识,电子设备可能通过在不适当或不便的时间和地点或以令人尴尬的音量显示提醒或通知(还可能包括个人和私人信息)来打扰用户。使设备正确地定向以显示内容(尤其是针对多个用户)或记住将设备置于“静音”模式可能会令人沮丧和充满挑战。此外,用户有时会忘记关闭静音模式,这可能会导致丢失重要的提醒。因此,由于设备对周围环境的有限识别,所以用户可能无法实现其智能手机和其他设备的全部潜力。
所描述的技术和系统采用雷达系统来准确确定用户相对于电子设备的位置和物理定向。雷达场还使设备能够准确地确定来自用户的三维(3D)手势(例如,包括在由雷达场110照亮的3D空间内任何方向上的一个或多个移动手势),其可以用于与设备进行交互。除非通过特定上下文另外指示,否则增加的准确性是指增加的改进的程度、增加的对真理的符合性、或增加的改进的程度和增加的对真理的符合性两者。通过适当地定向显示器并调整设备与用户互动的定时、内容和格式,这些技术使设备基于用户的存在和定向提供功能。因此,所描述的技术和系统可以改进用户体验的质量和有效性,并且从而增加用户的效率、工作流程和娱乐性。
考虑一种包括免打扰(DND)特征的电子设备,该特征可以通过以特定方式定向电子设备来激活。例如,可以通过将设备的显示器定向为面向设备所坐落的表面来激活DND特征。在此示例中,将电子设备屏幕朝下放置以进入一种模式,在该模式下,该设备不提供打扰,诸如日历提醒、电子邮件或文本通知等。这种类型的基于定向的DND模式通常会阻止用户甚至在屏幕上看到时钟或计时器(例如,提醒用户何时退出DND模式)。此外,要退出DND模式,用户必须拿起设备,将其倾斜直到显示器定向是正确的,并且然后放回设备(这可能会再次更改显示器定向)。当存在多个查看器时,其中的一些定向可能仍然是错误的。与基于定向的特征(诸如DND模式或显示器定向)的交互始终不便或令人沮丧,可能会降低效率和用户对基于定向的特征的体验质量,甚至降低用户与这些特征进行交互的可能性。
将这些常规技术与本文档中描述的系统和技术进行对比,本文档中描述的系统和技术可以在多个领域提高效率和可用性。例如,在以上示例中,用户将电子设备置于DND模式,并且可能难以以简单方便的方式退出DND模式。在这种情况下,电子设备可以包括雷达系统,该雷达系统可以提供雷达场,该雷达场延伸到设备周围的区域中(例如,设备周围的五、八或十三英尺半径)。雷达传感器可以使用从进入雷达场的对象反射的雷达信号来检测用户的存在和位置以及设备相对于用户的定向。然后,用户可以通过将显示器面向上的设备转向到特定定向(例如,横向定向)来进入DND模式。在这种情况下,用户可以使用简单的定向变化(诸如将设备旋转到纵向定向)退出DND模式。这种轻松的移动可以使设备处于相对于用户的正确定向,而无需用户必须拿起设备或使其倾斜,因为雷达场允许设备基于用户的位置知道所需的定向。
以这种方式,所描述的技术和系统允许与基于定向的特征的简单和方便的交互。用户可以享受这些特征的优势和便利,而不会因在没有所描述的技术的情况下尝试使用基于定向的特征而造成的扰乱和打扰。这可以提高效率并减少用户的挫败感,诸如不得不调整和重新调整设备的定向以实现所需的结果,从而增加用户体验的质量。
这仅仅是本文中所描述的技术和设备可以如何被用于允许用户享受基于定向或存在的特征的一个示例。在本文档中描述其其他示例和实施方式。现在,本文转向示例环境,之后描述示例系统、装置、方法和组件。
操作环境
图1图示其中可以实现使能在电子设备中实现的智能手机、系统和方法的技术的示例环境100。示例环境100包括智能手机102,其包括雷达系统104和基于雷达的应用106或者与其相关联。在一些实施方式中,智能手机102可以包括显示器108。雷达系统104的一些实施方式在下述智能手机(诸如,智能手机102)的场境下应用时特别有利:对于该智能手机102,同时存在诸如低功率需求、处理效率的需求、天线单元的间距和布局的限制之类的问题以及其他问题,并且雷达系统104的某些实施例甚至在下述智能手机的特定场境下更为有利:该智能手机需要精细手势的雷达检测。尽管这些实施例在需要精细的雷达检测的手势的智能手机的场境下特别有利,但是应当理解,本发明的特征和优点的适用性并不必限于此,并且涉及其他类型的电子设备的其他实施例也可以在本教导的范围内。
在示例环境100中,雷达系统104通过发送一个或多个雷达信号或波形来提供雷达场110,如下面参考图3至图6所述。雷达场110是空间的体积,雷达系统104可以从该空间体积中检测雷达信号和波形的反射(例如,从该空间体积中的对象反射的雷达信号和波形)。雷达系统104还使智能手机102能够感测和分析来自雷达场110中的对象112的反射。在关于图1描述的示例中,尽管在智能手机102中实现所描述的特征和技术,但是所描述的特征和技术可以与多种电子设备中的任何电子设备一起使用(例如,如参考图2所描述的)。
对象112可以是雷达系统104可以感测和分析来自其的反射的各种对象(诸如,木材、塑料、金属、织物或人体部位(例如,智能手机102的用户的手))中的任何一种。如图1中所示,对象112是人或智能手机102的用户(例如,人112或用户112)。基于对反射的分析,雷达系统104可以提供雷达数据,该雷达数据包括与雷达场110和来自对象112的反射相关联的各种类型的信息,如下文参考图3-6所描述的(例如,雷达系统104可以将雷达数据发送到其他实体,诸如,基于雷达的应用106)。
应该注意的是,可以基于感测和分析的来自雷达场110中的对象112的反射,随时间连续或周期性地提供雷达数据。对象112的位置可以随时间变化(例如,对象112可以在雷达场110内移动),并且因此,雷达数据可以与改变的位置、反射和分析相对应随时间变化。因为雷达数据可以随时间变化,所以雷达系统104可以提供包括对应于不同时间段的雷达数据的一个或多个子集的雷达数据。例如,雷达系统104可以提供对应于第一时间段的雷达数据的第一子集、对应于第二时间段的雷达数据的第二子集,等等。
基于雷达的应用106可以是可以使用雷达数据以确定智能手机102相对于对象112的定向并为智能手机102(例如,经由显示器108)提供基于定向的特征或功能的各种基于雷达的应用中的任何一个。另外,基于雷达的应用106可以使用雷达数据来确定智能手机102相对于对象的定向的变化,并基于定向的变化来修改基于定向的特征或功能。以这种方式,雷达场110内的对象112的定向可以用于提供输入或指令以与智能手机102交互。
基于雷达的应用106可以包括定向模块114或与定向模块114通信,该定向模块114可以在内部或外部存储器中存储与(基于雷达数据)确定智能手机102相对于对象112的定向有关的信息以及与对应于智能手机102关于对象112的特定定向的特征和功能有关的信息。在一些实施方式中,基于雷达的应用106可以使用定向模块114所存储的信息确定智能手机102相对于对象112的定向。在其他实施方式中,定向模块114本身可以确定智能手机102相对于对象112的定向。如图1中所示,定向模块114被包括在基于雷达的应用106中,但是定向模块114可以是作为基于雷达的应用106或智能手机102的一部分或与其分离的单独实体。
基于雷达的应用106还可以包括3D手势模块116或与其通信,该3D手势模块116可以存储与基于雷达数据(例如,通过对象112的3D手势)确定3D手势有关的信息以及与对应于3D手势的动作有关的信息两者。因此,基于雷达的应用106可以检测对象112的3D手势并确定与3D手势相对应的动作。
在图1中,智能手机102相对于对象112(在这种情况下,用户112)的基于定向的功能是免打扰(DND)模式(例如,提醒、通知或其他设备发起的通信均被静音的模式)。因为显示器108仍然可见,所以非侵入性内容(例如,时钟、日历或媒体播放器界面)仍可以显示。如详细视图100-1中所示,通过将智能手机102定位在相对于用户112的第一定向(在这种情况下为横向定向)而将智能手机102置于DND模式。如参考图3-6所描述的,雷达系统104可以使用雷达场110以使得能够以高分辨率和高精度来识别设备定向的方式来感测和分析来自雷达场110中的对象的反射。例如,因为智能手机102知道其自身相对于雷达场的定向,所以如上所述的雷达数据可以被使用(例如,由基于雷达的应用106使用)以确定智能手机102相对于用户112的第一定向并提供DND模式。
在详细视图100-2中,用户112已经相对于用户112将智能手机102旋转至第二定向(在这种情况下,纵向定向)。智能手机102的旋转由箭头118所示。同样,基于雷达的应用106(或另一个应用)可以使用雷达数据来确定从横向定向到纵向定向的变化,并响应于定向的变化,退出DND模式。
注意,用户112没有必要倾斜或拿起智能手机102。例如,在一些实施方式中,旋转可以是表面上的平面旋转、基本上平行于显示器108的查看表面的平面内的旋转、或围绕基本垂直于包含智能手机102的平面的轴的旋转,并且仍然有效地使智能手机102相对于用户112处于纵向(第二)定向。另外,一旦退出DND模式,基于雷达的应用106可以显示在智能手机102处于DND模式时被静音的任何提醒、通知或其他设备发起的通信。在一些实施方式中,如果旋转超过阈值距离,则基于雷达的应用106可以确定旋转有效地引起基于定向的功能的修改。阈值距离可以是任何适当的距离,诸如25度、45度、90度或180度,并且可以是预定义的、用户可选择的或经由包括在雷达系统104或基于雷达的应用106或者与其相关联的机器学习模块来确定的。
考虑三个另外的示例(未被图示),其示出所描述的技术如何能够实现基于定向的功能。在第一示例中,智能手机102的基于定向的功能是以面向用户的定向在显示器108上呈现内容。以这种方式,智能手机102可以经由基于雷达的应用106或另一应用来提供视频、照片、游戏和自动面向用户112定向的其他媒体,而用户112不必拿起智能手机102。用户112可以改变智能手机102的定向,并且智能手机102可以经由基于雷达的应用106或另一应用来确定该定向已经改变为另一定向,并且当智能手机102相对于用户112处于另一种定向时自动地保持内容的面向用户的定向。
例如,用户112可以通过移向另一位置或通过旋转智能手机102来改变智能手机102的定向。如上所述,用户不必倾斜或拿起设备。而是,智能手机102相对于用户112的定向的变化可以是表面上的平面旋转、基本平行于显示器108的查看表面的平面内的旋转、或者智能手机112围绕基本垂直于包含智能手机102的平面的轴的旋转,并且仍然有效地导致智能手机102相对于用户112处于另一个定向中。
在第二示例中,存在两个用户112。例如,第一用户(Sam)是智能手机102的所有者,而第二用户(Chris)是Sam的同事。在此示例中,假设Sam拥有Chris想要审查的演示文稿。智能手机102的基于定向的功能将以面向Sam的定向(例如,面向第一用户的定向,类似于在先前示例中描述的基于定向的功能)在显示器108上呈现内容。进一步假设Chris和Sam坐在桌子的两边,并且Sam同意让Chris审查演示文稿。Sam可以通过将智能手机102移向Chris来让Chris查看演示文稿。如上所述,可以使用雷达数据(例如,通过基于雷达的应用106)来确定智能手机102的定向的变化。在这种情况下,该变化是智能手机102离Sam更远并且离Chris更近(例如,智能手机102相对于Sam的定向变化是智能手机102的位移,其导致智能手机102离Sam更远并且离Chris更近)。
在确定定向的变化时,智能手机102经由基于雷达的应用106或另一个应用,可以自动修改基于定向的功能,以在面向Chris的定向(例如,第二面向用户的定向)上将内容呈现在显示器上。因此,Sam可以与Chris共享演示文稿,而不必旋转或翻转智能手机102。更准确地说,当Sam将设备移向Chris时,显示的内容可以自动朝向Chris重定向。以此方式,智能手机102可以提供在适当方向上自动定向的视频、照片、游戏和其他媒体,而用户112不必手动调整定向。
在第三示例中,基于雷达的应用106或另一应用可以使用注意提示来确定智能手机102相对于用户112的定向。如参考图3-6所描述的,雷达系统104可以使用雷达场110以能够以高分辨率和准确性来识别雷达场110中的人的数目和姿势的方式来感测和分析来自雷达场110中的对象的反射。例如,通过使用角分辨率和数字波束成形,雷达系统104可以区分倾斜和站立。以这种方式,智能手机102可以检测来自用户112的注意提示。注意提示是用户112的身体姿势或位置,诸如向前或向后倾斜,或者用户112的躯干或头部的定向(例如,朝向或远离智能手机102)。注意提示可以用于确定用户112在使用智能手机102阅读文档、听音乐、看照片等时是否正在注意。
如上所述,可以使用雷达数据确定注意提示。例如,雷达数据可用于通过确定以下几个方面来确定注意提示:用户112的躯干或头部相对于与显示器108的观看表面基本平行的平面(诸如在其上智能手机102静止的桌子)的角度(例如,用户112是否朝向智能手机102倾斜)、或用户112的躯干或头部的角度位置(例如,用户112是否转身远离智能手机102),或者在智能手机102的阈值距离内用户112的存在。
在该示例中,智能手机102的基于定向的功能是以基于注意提示的内容显示模式(例如,第一内容显示模式)在显示器108上呈现内容。例如,内容显示模式可以是媒体暂停模式或媒体播放模式、锁屏模式、睡眠或唤醒模式、全屏或幻灯片放映模式,或包括特定的屏幕亮度级别或音量级别。使用基于雷达的应用106或另一应用的智能手机102可以确定注意提示的变化(例如,用户112和智能手机102之间的定向的变化),诸如从向前倾斜到向后倾斜的变化或者用户112的头部从看着显示器108到不看显示器的转向。
响应于确定注意提示的变化,基于雷达的应用106(或另一应用)可以以另一内容显示模式来呈现内容(例如,修改智能手机102的基于定向的功能以在第二内容显示模式下呈现内容)。与第一内容显示模式一样,其他内容显示模式可以是媒体暂停模式或媒体播放模式、锁屏模式、睡眠或唤醒模式、全屏或幻灯片放映模式,或包括特定的屏幕亮度级别或音量级别。继续上面的示例,假设用户112正在以全屏模式观看视频并且然后朝向智能手机102向前倾斜。作为响应,基于雷达的应用106可以确定用户112将会与视频播放器进行交互并退出全屏模式。
以这种方式,智能手机102可以使用注意提示来帮助确定用户112正在使用智能手机102的场境,从而提供改善的用户体验。例如,如果智能手机102诸如通过确定用户112已经转身离开显示器108(或已经离开房间)来确定用户112没有注意正在播放的视频,则智能手机102可以暂停视频并调暗屏幕亮度,使得用户不会错过任何内容并节省电池电量。
在一些实施方式中,包括上述示例的实施方式,基于雷达的应用106可以确定如果旋转超过阈值则旋转(例如,智能手机102或用户112的躯干或头部的旋转)有效地引起对基于定向的功能的修改。阈值可以是任何适当的旋转,例如(25度、45度、90度或180度)。类似地,如果该位移有效地引起智能手机102变得离Sam更远且离Chris更近至少一个阈值距离,则该位移可以有效地引起对基于定向的功能的修改。阈值距离可以是任何适当的距离,诸如六、十二或十八英寸。此外,如果角度(例如,用户112向前或向后倾斜的角度)超过阈值角度,则该角度可以有效地引起基于定向的功能的修改。阈值角度可以是任何适当的角度,诸如15度、25度、35度或45度。阈值旋转、距离或角度可以是预定义的、用户可选择的、或者是经由包括在雷达系统104或基于雷达的应用106中或与其相关联的机器学习模块确定的。
另外,如果至少在阈值时间内保持定向变化,则基于雷达的应用106可以确定有效地引起基于定向的功能的修改的定向改变。阈值时间可以是任何适当的时间(例如,0.5、1.5或2.5秒),并且可以是预定义的、用户可选择的或经由包括在雷达系统104或基于雷达的应用106或与其相关联的机器学习模块确定的。
更详细地,考虑图2,其图示智能手机102(包括雷达系统104、基于雷达的应用106并且可选地包括显示器108)的示例实施方式200,其可以实现在电子设备中实现的智能手机、系统以及方法。图2的智能手机102被图示为包括可以实现在电子设备中实现的智能手机、系统和方法的其他非限制性示例设备,包括移动电话102-1、平板电脑102-2、膝上型计算机102-3、台式计算机102-4、计算手表102-5、计算眼镜102-6、游戏系统102-7、家庭自动化控制系统102-8和车辆102-9。其他设备可能还包括电视、娱乐系统、音频系统、无人机、触控板、绘图板、上网本、电子阅读器、家庭安全系统以及其他家用电器。注意,可以实现所描述的技术的电子设备可以是可穿戴的、不可穿戴但移动的或相对不移动的(例如,台式机和电器)。
智能手机102的示例性整体横向尺寸可以是例如大约八厘米乘以大约十五厘米。雷达系统104的示例性占用空间可以被进一步限制,诸如包括天线在内的大约四毫米乘六毫米。雷达系统104的示例性功耗可以在几毫瓦(mW)到数mW的量级(例如,在大约2mW和20mW之间)。需要其以在结合功率和处理限制的这样的空间受限的封装中容纳智能手机102的许多其他期望的特征(例如,相机、指纹传感器、显示器108等等))的雷达系统104的这样有限的占用空间的要求可能会导致雷达手势检测的准确性和有效性的折衷,其中至少一些可以基于本文的教导而被克服。
智能手机102还包括一个或多个计算机处理器202和一个或多个计算机可读介质204,计算机可读介质204包括内存介质和存储介质。在计算机可读介质204上实现为计算机可读指令的应用和/或操作系统(未示出)可以由计算机处理器202执行以提供本文描述的一些功能。智能手机102还可以包括网络接口206。智能手机102可以使用网络接口206来通过有线、无线或光网络传送数据。作为示例而非限制,网络接口206可以通过局域网(LAN)、无线局域网(WLAN)、个人局域网(PAN)、广域网(WAN)、内部网、互联网、对等网络、点对点网络或网状网络来传送数据。
雷达系统104的各种实施方式可以包括片上系统(SoC)、一个或多个集成电路(IC)、具有嵌入式处理器指令或被配置成访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、具有各种硬件组件的印刷电路板或其任意组合。雷达系统104通过发送和接收其自身的雷达信号而作为单基地雷达工作。在一些实施方式中,雷达系统104还可以与外部环境内的其他雷达系统104合作以实现双基地雷达、多基地雷达或网络雷达。如所指出的,智能手机102的约束或限制可能影响雷达系统104的设计。例如,智能手机102可能具有可用于操作雷达的有限功率、有限的计算能力、尺寸约束、布局限制、使雷达信号衰减或失真的外部壳体等等。雷达系统104包括数个特征,这些特征使得在存在这些约束的情况下能够实现先进的雷达功能和高性能,如下面关于图3进一步描述的。注意,在图2中,雷达系统104被图示为智能手机102的一部分。在其他实施方式中,雷达系统104可以与智能手机102分离或远离智能手机102。
这些和其他能力和配置以及图1的实体动作和交互的方式将在下面更详细地阐述。这些实体可以进一步划分、合并等等。图1的环境100和图2至图25的详细图示示出能够采用所描述的技术的许多可能的环境和设备中的一些。图3至图6描述雷达系统104的附加细节和特征。在图3至图6中,雷达系统104是在智能手机102的场境下描述的,但是如上所述,所描述的系统和技术的特征和优点的适用性并不一定限于此,并且涉及其他类型的电子设备的其他实施例也可以在本教导的范围内。
图3图示雷达系统104的示例实施方式300,其可以用于能够在电子设备中实现智能手机、系统和方法。在示例300中,雷达系统104包括以下组件中的每个中的至少一个:通信接口302、天线阵列304、收发器306、处理器308和系统介质310(例如,一个或多个计算机可读存储介质)。处理器308可以被实现为数字信号处理器、控制器、应用处理器、另一处理器(例如,智能手机102的计算机处理器202)或其某种组合。可以包括在智能手机102的计算机可读介质204中或与之分离的系统介质310包括以下模块中的一个或多个:衰减缓解器314、数字波束形成器316、角度估计器318或功率管理器320。这些模块可以补偿或减轻将雷达系统104集成到智能手机102中的影响,从而使雷达系统104能够识别小或复杂的手势,区分用户的不同定向,持续监测外部环境,或实现目标虚警率。通过这些特征,可以在诸如图2所示的设备的各种不同设备中实现雷达系统104。
使用通信接口302,雷达系统104可以将雷达数据提供给基于雷达的应用106。基于雷达系统104与智能手机102分离实现或集成在其中实现,通信接口302可以是无线接口或有线接口。取决于应用,雷达数据可以包括原始或经过最少处理的数据、同相和正交(I/Q)数据、距离-多普勒数据、包括目标位置信息(例如,距离、方位角、仰角)的已处理数据、杂乱的地图数据等。通常,雷达数据包含由基于雷达的应用106可用于在电子设备中实现的智能手机、系统和方法的信息。
天线阵列304包括至少一个发射天线单元(未示出)和至少两个接收天线单元(如图4所示)。在一些情况下,天线阵列304可以包括多个发射天线单元,以实现能够一次发射多个不同波形(例如,每个发射天线单元不同的波形)的多输入多输出(MIMO)雷达。多个波形的使用可以提高雷达系统104的测量精度。对于包括三个或更多个接收天线单元的实施方式,接收天线单元可以以一维形状(例如,线)或二维形状定位。一维形状使得雷达系统104能够测量一个角度维度(例如,方位角或仰角),而二维形状使得能够测量两个角度维度(例如,方位角和仰角两者)。参考图4进一步描述接收天线单元的示例二维布置。
图4图示接收天线单元402的示例布置400。例如,如果天线阵列304包括至少四个接收天线单元402,则接收天线单元402可以布置成矩形布置404-1,如图4的中间所描绘的。可替代地,如果天线阵列304包括至少三个接收天线单元402,则可以使用三角形布置404-2或L形布置404-3。
由于智能手机102的大小或布局约束,接收天线单元402之间的单元间距或接收天线单元402的数量对于雷达系统104将要监测的角度可能不是理想的。特别地,单元间距可能导致存在角度模糊,这给常规雷达估计目标的角位置带来挑战。因此,常规雷达可以限制视场(例如,要监测的角度),以避免具有角度模糊的模糊区域,从而减少错误检测。例如,常规雷达可将视场限制在大约-45度至45度之间的角度,以避免使用5毫米(mm)的波长和3.5mm的单元间距(例如,单元间距为波长的70%)发生的角度模糊。因此,常规雷达可能无法检测到超出45度视场限制的目标。相比之下,雷达系统104包括数字波束形成器316和角度估计器318,其解析角度模糊并使雷达系统104能够监测超过45度限制的角度,诸如,大约-90度至90度之间的角度,或直到大约-180度和180度。可以在一个或多个方向(例如,方位角和/或仰角)上应用这些角度范围。因此,雷达系统104可以为各种不同的天线阵列设计(包括小于、大于或等于雷达信号的中心波长的一半的单元间距)实现低虚警率。
使用天线阵列304,雷达系统104可以形成被转向或未被转向、宽或窄或被成形(例如,作为半球、立方体、扇形、圆锥体或圆柱体)的波束。作为示例,一个或多个发射天线单元(未示出)可以具有未转向的全向辐射方向图,或者可以能够产生诸如宽发射波束406的宽波束。这些技术中的任何一种都使得雷达系统104能够照射大体积的空间。然而,为了获得目标角精度和角分辨率,接收天线单元402和数字波束形成器316可以用于生成数千个窄且转向的波束(例如,2000个波束、4000个波束或6000个波束),诸如,窄接收波束408。以这种方式,雷达系统104可以有效地监测外部环境并且准确地确定外部环境内的反射的到达角。
返回图3,收发器306包括用于经由天线阵列304发送和接收雷达信号的电路和逻辑。收发器306的组件可以包括放大器、混频器、开关、模数转换器、滤波器等等,以调节雷达信号。收发器306还可以包括逻辑以执行同相/正交(I/Q)操作,诸如,调制或解调。收发器306可以被配置用于连续波雷达操作或脉冲雷达操作。可以使用各种调制来产生雷达信号,包括线性频率调制、三角频率调制、步进频率调制或相位调制。
收发器306可以在诸如1吉赫兹(GHz)与400GHz之间、在4GHz与100GHz之间、或者在57GHz与63GHz之间的频率范围(例如,频谱)内生成雷达信号。频谱可以被划分为具有相似带宽或不同带宽的多个子频谱。带宽可以在500兆赫兹(MHz)、1GHz、2GHz等的数量级上。作为示例,不同的频率子频谱可以包括大约57GHz和59GHz之间、59GHz和61GHz之间或61GHz和63GHz之间的频率。具有相同带宽并且可以是连续的或非连续的多个频率子频谱也可以被选择用于相干性。多个频率子频谱可以使用单个雷达信号或多个雷达信号同时发送或在时间上分开地发送。连续频率子频谱使雷达信号能够具有更宽的带宽,而非连续频率子频谱可以进一步强调幅度和相位差,这使得角度估计器318能够解决角度模糊。衰减缓解器314或角度估计器318可以使收发器306利用一个或多个频率子频谱来改善雷达系统104的性能,如关于图5和图6进一步描述的。
功率管理器320使雷达系统104能够在智能手机102内部或外部节省功率。例如,在内部,功率管理器320可以使雷达系统104使用预定功率模式或特定的占空比来收集数据。代替在低功率模式或高功率模式下操作,功率管理器320动态地在不同功率模式之间切换,使得基于环境内的活动来一起管理响应延迟和功耗。通常,功率管理器320确定何时以及如何节省功率,并且递增地调整功耗以使雷达系统104能够在智能手机102的功率限制内工作。在某些情况下,功率管理器320可以监测剩余可用功率的量并相应地调整雷达系统104的操作。例如,如果剩余功率量低,则功率管理器320可以继续以低功率模式操作而不是切换到较高功率模式。
例如,低功率模式可以使用几赫兹量级(例如,大约1Hz或小于5Hz)的低占空比,这将功耗降低到几毫瓦(mW)(例如,大约2mW和5mW之间)。另一方面,高功率模式可以使用几十赫兹(Hz)量级的高占空比(例如,大约20Hz或大于10Hz),这导致雷达系统104消耗数毫瓦量级(例如,大约在8mW和20mW之间)的功率。虽然低功率模式可以用于监测外部环境或检测接近的用户,但是,如果雷达系统104确定用户正开始执行手势,则功率管理器320可以切换到高功率模式。不同的触发可以使功率管理器320在不同的功率模式之间切换。示例性触发包括运动或缺少运动、用户的出现或消失(例如,用户的存在或者不存在)、用户移入或移出指定区域(例如,由距离、方位角或仰角定义的区域)、诸如如上所述的感知距离706的用户离智能手机102的距离、与用户关联的运动的速度变化或反射的信号强度的变化(例如,由于雷达横截面的变化)。通常,指示用户与智能手机102交互的低可能性或使用较长的响应延迟来收集数据的偏好的触发可导致激活较低功率模式以节省功率。
功率管理器320还可以通过在不活动的时间段期间关闭收发器306内的一个或多个组件(例如,压控振荡器、多路复用器、模数转换器、锁相环或晶体振荡器)来节省功率。如果雷达系统104不活跃地发送或接收雷达信号,则会出现这些不活动的时间段,该时间段可能在微秒(μs)、毫秒(ms)或秒(s)的量级。例如,当不存在用户时或当存在用户但确定未注意智能手机102时(例如,基于本说明书中描述的一个或多个注意提示),可能发生不活动时间段。另外,功率管理器320可以控制雷达系统104内的不同硬件组件的使用以节省功率。例如,如果处理器308包括低功率处理器和高功率处理器(例如,具有不同数量的存储器和计算能力的处理器),则功率管理器320可以在将低功率处理器用于低级别分析(例如,检测运动,确定用户的位置或监测环境)和将高功率处理器用于基于雷达的应用106请求高保真或准确的雷达数据的情况(例如,对于手势识别或用户定向)之间进行切换。
除了上述内部功率节省技术外,功率管理器320还可以通过激活或停用智能手机102内的其他外部组件或传感器来节省功率。这些外部组件可以包括扬声器、相机传感器、全球定位系统、无线通信收发器、显示器、陀螺仪或加速度计。因为雷达系统104可以使用少量的功率来监测环境,所以功率管理器320可以基于用户所在的位置或用户正在做什么而适当地打开或关闭这些外部组件。以此方式,智能手机102可以无缝地响应用户并且节省功率,而无需使用自动关闭定时器或者用户物理地触摸或口头控制智能手机102。
图5图示智能手机102内的雷达系统104的示例实施方式500的附加细节。在示例500中,天线阵列304位于智能手机102的外部壳体(诸如,玻璃盖或外壳)的下方。取决于其材料特性,外部壳体可以充当衰减器502,其使由雷达系统104发送和接收的雷达信号衰减或失真。衰减器502可以包括不同类型的玻璃或塑料,其中一些可以在智能手机102的显示屏、外部壳体或其他组件内发现并且具有在大约四到十之间的介电常数(例如,相对介电常数)。因此,衰减器502对于雷达信号506是不透明的或半透明的,并且可以使发送或接收的雷达信号506的一部分被反射(如反射部分504所示)。对于常规雷达,衰减器502可以减小可以被监测的有效范围,防止检测到小的目标,或者降低整体精度。
假设雷达系统104的发射功率受到限制,并且不希望重新设计外部壳体,则雷达信号506的一个或多个衰减相关特性(例如,频率子频谱508或转向角度510)或衰减器502的衰减相关特性(例如,衰减器502与雷达系统104之间的距离512或衰减器502的厚度514)被调整以减轻衰减器502的影响。这些特性中的一些可以在制造期间设置或在雷达系统104的操作期间由衰减缓解器314调整。例如,衰减缓解器314可以使收发器306使用所选择的频率子频谱508或转向角度510来发送雷达信号506,使平台将雷达系统104移近或远离衰减器502以改变距离512,或提示用户应用另一个衰减器以增加衰减器502的厚度514。
可以由衰减缓解器314基于衰减器502的预定特性(例如,存储在智能手机102的计算机可读介质204中或系统介质310内的特性)或通过处理雷达信号506的返回以测量雷达信号506的一个或多个特性来进行适当的调整。即使某些衰减相关特性是固定的或受约束的,衰减缓解器314仍可以考虑这些限制,以平衡每个参数并实现目标雷达性能。结果,衰减缓解器314使雷达系统104能够实现增强的精度和更大的有效范围,以检测和跟踪位于衰减器502的相对侧的用户。这些技术提供增加发射功率(这增加雷达系统104的发射功率)或改变衰减器502的材料特性(一旦设备投入生产,这可能既困难又昂贵)的替代方案。
图6图示由雷达系统104实现的示例方案600。方案600的部分可以由处理器308、计算机处理器202或其他硬件电路执行。可以定制方案600以支持不同类型的智能手机102和基于雷达的应用106,并且,尽管设计有限制,但也使雷达系统104能够实现目标角度精度。
收发器306基于接收天线单元402对接收到的雷达信号的单独响应来产生原始数据602。接收到的雷达信号可以与由角度估计器318选择的一个或多个频率子频谱604相关联,以促进角度模糊分辨率。例如,可以选择频率子频谱604以减小旁瓣的数量或减小旁瓣的幅度(例如,将幅度减小0.5dB、1dB或更多)。可以基于目标角度精度或雷达系统104的计算限制来确定频率子频谱的数量。
原始数据602包含针对时间段、不同的波数以及分别与接收天线单元402相关联的多个信道的数字信息(例如,同相和正交数据)。对原始数据602执行快速傅立叶变换(FFT)606以生成预处理数据608。预处理数据608包括针对不同距离(例如,距离网格)以及针对多个信道的跨时间段的数字信息。对预处理数据608执行多普勒滤波过程610以生成距离-多普勒数据612。多普勒滤波过程610可以包括另一FFT,该FFT生成针对多个距离网格、多个多普勒频率以及针对多个信道的幅度和相位信息。数字波束形成器316基于距离-多普勒数据612产生波束形成数据614。波束形成数据614包含针对方位角和/或仰角的集合的数字信息,其表示针对其由数字波束形成器316形成不同的转向角或波束的视场。尽管未描绘,但数字波束形成器316可以可替换地基于预处理数据608生成波束形成数据614,并且多普勒滤波过程610可以基于波束形成数据614生成距离-多普勒数据612。为了减少计算量,数字波束形成器316可以基于感兴趣的距离、时间或多普勒频率间隔来处理距离-多普勒数据612或预处理数据608的一部分。
数字波束形成器316可使用单视波束形成器616、多视干涉仪618或多视波束形成器620来实现。通常,单视波束形成器616可用于确定性对象(例如,具有单相位中心的点源目标)。对于非确定性目标(例如,具有多相位中心的目标),多视干涉仪618或多视波束形成器620用于相对于单视波束形成器616提高精度。人是非确定性目标的示例并且具有多相位中心622,这些相位中心可以基于不同的视线角(如624-1和624-2所示)而变化(例如,由于用户相对于智能手机102的定向的变化,诸如朝下或远离转身、向前倾斜、或者更近或者更远地移动)。由多相位中心622生成的相长或相消干涉的变化可能给常规雷达准确地确定角位置带来挑战。然而,多视干涉仪618或多视波束形成器620执行相干平均以增加波束形成数据614的精度。多视干涉仪618相干地对两个信道进行平均以生成可用于准确确定角度信息的相位信息。另一方面,多视波束形成器620可以使用线性或非线性波束形成器(诸如,傅立叶、Capon、多信号分类(MUSIC)或最小方差无失真响应(MVDR))相干地平均两个或更多个信道。经由多视波束形成器620或多视干涉仪618提供的增加的精度使雷达系统104能够识别小手势或在用户的多个部分之间进行区分。
角度估计器318分析波束形成数据614以估计一个或多个角位置。角度估计器318可以利用信号处理技术、模式匹配技术或机器学习。角度估计器318还解决了可能由于雷达系统104的设计或雷达系统104监测的视场而导致的角度模糊。在幅度图626(例如,幅度响应)内示出了示例角度模糊。
幅度图626描绘针对目标的不同角位置以及针对不同转向角510可能发生的幅度差。针对位于第一角位置630-1的目标示出第一幅度响应628-1(用实线示出)。同样,针对位于第二角位置630-2的目标示出第二幅度响应628-2(用虚线示出)。在此示例中,在-180度和180度之间的角度上考虑差异。
如幅度图626所示,对于两个角位置630-1和630-2,存在模糊区域。第一幅度响应628-1在第一角位置630-1处具有最高峰,而在第二角度位置630-2处具有较小峰。尽管最高峰对应于目标的实际位置,但较小峰会导致第一角位置630-1模糊,因为它在某个阈值之内,常规雷达可能无法有把握地确定该目标是在第一角位置630-1还是第二角位置630-2。相比之下,第二幅度响应628-2在第二角位置630-2处具有较小峰,而在第一角位置630-1处具有较高峰。在这种情况下,较小峰对应于目标的位置。
尽管常规雷达可能限于使用最高峰值幅度来确定角位置,但是角度估计器318替代地分析幅度响应628-1和628-2的形状的细微差异。形状的特性可以包括例如滚降、峰值或零陷宽度、峰值或零陷的角位置、峰值和零陷的高度或深度、旁瓣形状、幅度响应628-1或628-2中的对称性、或幅度响应628-1或628-2内缺乏对称性。可以在相位响应中分析相似的形状特性,这可以提供附加信息来解决角度模糊。因此,角度估计器318将唯一的角度签名或方向图映射到角位置。
角度估计器318可以包括算法或工具套件,其可以根据智能手机102的类型(例如,计算能力或功率限制)或基于雷达的应用106的目标角度分辨率进行选择。在某些实施方式中,角度估计器318可包括神经网络632、卷积神经网络(CNN)634或长短期记忆(LSTM)网络636。神经网络632可具有各种深度或数量的隐藏层(例如,三个隐藏层、五个隐藏层或十个隐藏层),并且还可以包括不同数量的连接(例如,神经网络632可以包括完全连接的神经网络或部分连接的神经网络)。在某些情况下,CNN 634可用于增加角度估计器318的计算速度。LSTM网络636可用于使角度估计器318跟踪目标。使用机器学习技术,角度估计器318采用非线性函数来分析幅度响应628-1或628-2的形状并生成角度概率数据638,该数据指示用户或用户的一部分处于在角度网格内的可能性。角度估计器318可以提供一些角度网格(诸如,两个角度网格)的角度概率数据638,以提供目标位于智能手机102左侧或右侧的概率,或者提供数千个角度网格的角度概率数据638(例如,提供用于连续角度测量的角度概率数据638)。
基于角度概率数据638,跟踪器模块640产生角位置数据642,其识别目标的角位置。跟踪器模块640可以基于在角度概率数据638中具有最高概率的角度网格或基于预测信息(例如,先前测量的角度位置信息)来确定目标的角位置。跟踪器模块640还可以跟踪一个或多个移动目标,以使雷达系统104能够置信地区分或识别目标。其他数据也可以用于确定角位置,包括距离、多普勒、速度或加速度。在某些情况下,跟踪器模块640可以包括α-β跟踪器、卡尔曼滤波器、多重假设跟踪器(MHT)等等。
量化器模块644获取角位置数据642,并对该数据进行量化以产生量化的角位置数据646。可以基于用于基于雷达的应用106的目标角分辨率执行量化。在某些情况下,可以使用较少的量化级别,使得量化的角位置数据646指示目标是在智能手机102的右侧还是左侧,或者识别目标位于90度象限内。对于某些基于雷达的应用106,诸如,用户接近检测,这可能足够了。在其他情况下,可以使用大量的量化级别,使得量化的角位置数据646在几分之一度、一度、五度等的精度内指示目标的角位置。该分辨率可以用于更高分辨率的基于雷达的应用106,诸如,手势识别。在某些实施方式中,数字波束形成器316、角度估计器318、跟踪器模块640和量化器模块644一起被实现在单个机器学习模块中。
这些和其他能力和配置以及图1至图6的实体动作和互动的方式被阐述如下。所描述的实体可以被进一步划分、组合、与其他传感器或组件一起使用等等。以此方式,具有雷达系统104和非雷达传感器的不同配置的智能手机102的不同实施方式可以用于实现在电子设备中实现的智能手机、系统和方法。图1的示例操作环境100和图2至图6的详细图示仅示出能够采用所描述的技术的许多可能的环境和设备中的一些。
示例系统
如上所述,本文描述的技术和系统还可以使智能手机102能够基于用户的存在来提供功能并且从用户接收3D手势以与设备交互。图7图示其中可以实现使能在电子设备中实现的智能手机、系统和方法的技术的另一示例环境700。示例操作环境700包括智能手机102,其包括雷达系统104和基于雷达的应用702或与其相关联。在一些实施方式中,智能手机102可以包括显示器,诸如显示器108。尽管示例操作环境700是在智能手机102的场境下示出的,但其他电子设备(如上面参考图1和2所描述的)也可以用于实现参考图7至图20描述的特征和技术。在示例环境700中,雷达系统104提供雷达场110,如上面参考图1至图6所描述的。雷达系统104还使智能手机102能够感测和分析来自雷达场110中的对象704的反射。在关于图7至图20所描述的示例中,智能手机102是智能手机102,尽管所描述的特征和技术可以与多种电子设备中的任何一种(例如,如参考图2所描述的)一起使用。
如图7所示,对象704是人或智能手机102的用户(人704或者用户704),但是对象704可以是雷达系统104可以感测和分析来自其的反射的多种对象(诸如,木材、塑料、金属、织物或有机材料(例如,用户704))中的任何一种。基于对反射的分析,雷达系统104可以提供雷达数据,如上面参考图1至图6所描述的,并且可以将雷达数据传递给其他实体,诸如,基于雷达的应用702。
基于雷达的应用702可以是能够使用雷达数据确定用户704在智能手机102的感知距离706内的存在的各种基于雷达的应用中的任何一种。感知距离可以是任何适当的距离,诸如三英尺、七英尺、十英尺或十四英尺(或一米、两米、三米或四米),并且与雷达区域110的范围一致,如图7的详细视图700-1所示。在其他情况下,感知距离706可以小于雷达区域110的最大范围。感知距离706可以是预先定义的、用户可选择的或通过机器学习模块确定的,该机器学习模块包括在雷达系统104或基于雷达的应用702中或与其相关联。
基于用户704在智能手机102的感知距离706内的存在,基于雷达的应用702可以为智能手机102提供基于存在的特征或功能(例如经由显示器108)。例如,如图7的详细视图700-2所示,用户704已经朝向智能手机12移动(由箭头710表示),并且在感知距离706内。作为回应,智能手机102提供基于存在的功能,诸如包括语音界面(被示出为文本框(“你好”)712)的电子助手。另外,基于雷达的应用702可以使用雷达数据确定用户704在感知距离706之外,并且基于用户704在感知距离706内的存在的改变,修改或停止提供基于存在的特征或功能。以这种方式,用户704在感知距离706内的存在可以用于提供输入或指令,以与智能手机102交互。
基于雷达的应用702可以包括存在模块708或与其通信,该存在模块708可以将与(基于雷达数据)确定用户704在感知距离706内的存在有关的信息和与基于用户704在感知距离706内的存在的特征和功能有关的信息两者存储在内部或外部存储器中。在一些实施方式中,基于雷达的应用702可以使用存在模块708所存储的信息确定用户704在感知距离706内的存在或不存在。在其他实施方式中,存在模块708本身可以确定用户704在感知距离706内的存在或不存在。如图7所示,存在模块708包括在基于雷达的应用702中,但是存在模块708可以是单独实体,该单独实体是基于雷达的应用702或智能手机102的部分或与其分离。在示例100或700中的任何一个的一些实施方式中,存在模块708和(图1的)定向模块114可以是单模块,该单模块可以执行参考存在模块708和定向模块114两者描述或与基于雷达的应用106或702中的任何一个组合的操作。
基于雷达的应用106也可以包括3D手势模块(例如,3D手势模块116)或与其通信,该3D手势模块可以存储与基于雷达数据确定3D手势(例如,用户704的3D手势)相关的信息和与对应于3D手势的动作相关的信息两者。因此,基于雷达的应用702可以检测用户704的3D手势并且确定与3D手势对应的动作。3D手势可以是各种手势中的任何一种,包括手在智能手机102上面沿水平方向(例如,从智能手机102的左侧到智能手机102的右侧)移动而做出的滚动手势、用户的手臂绕着肘部旋转而做出的挥手手势、用户的手在智能手机102上面沿垂直方向(例如,从智能手机102的底侧到智能手机102的顶侧)移动而做出的推动手势。也可以做出其他类型的3D手势或动作,诸如用户的手朝向智能手机102移动而做出的伸手手势、用户的手的手指弯曲抓住虚构的门把手并且以顺时针或逆时针的方式旋转以模仿转动虚构的门把手而做出的门把手转动手势以及通过将拇指和至少一个其他手指摩擦在一起而做出的锭子加捻手势。这些示例手势类型中的每一种都可以由雷达系统104检测。当检测到这些手势中的每一种时,智能手机102可以执行动作,诸如显示新内容、移动光标、激活一个或多个传感器、打开应用、控制游戏、将内容钉到屏幕上、使闹钟静音、控制用户界面或操纵AR元素。以这种方式,雷达系统104提供对智能手机102的无触控控制。
如参考详细视图700-2所描述的,当用户704在感知距离706内时,基于存在的功能可以是用于提供电子助手或语音界面特征。在其他实施方式中,基于存在的功能可以是另一种功能,如参考图8至图12所描述的。
图8图示了示例800,其中,基于存在的功能是对铃声、警报或通知的音量的调整。在详细视图800-1中,用户802离智能手机102相对较远并且在感知距离706(由虚线椭圆706表示)之外,并且铃声音量是用户802所设置的默认水平的百分之百,如铃声图标804所示。相反,在详细视图800-2中,用户806相对靠近智能手机102并且在感知距离706(再次由虚线椭圆706表示)内,并且音量减小,如较小的铃声图标808所示。音量可以减小任何适当的数量(例如,25%、50%或75%),并且减小可以是基于各种因素中的任何一种,诸如用户804与智能手机102之间的距离或预先设置或用户选择的数量。
图9图示了示例900,其中,基于存在的功能是对智能手机102包括的电子助手所使用的通信模式的调整。电子助手可以按照各种模式进行通信,以提供文本、音频、视频等(例如在显示器108上)。在详细视图900-1中,用户902离智能手机102相对较远并且在感知距离706(由虚线椭圆706表示)之外,并且电子助手以语音模式进行交互,而不打开显示器108(如智能手机102的铃声图标904和变暗的显示器102所示)。接下来,详细视图900-2示出了相对靠近智能手机102并且在感知距离706(再次由虚线椭圆706表示)内的用户902,并且电子助手用如显示器108上所示的可瞥见的显示信息906(例如,一眼就能读取或理解的信息,诸如大型文本、符号或动画)补充详细视图900-1(铃声图标904)的音频通信模式。以这种方式,所描述的技术可以通过将显示器108的使用限制在适合于用户902的存在的水平来降低智能手机102的功耗。
在一些实施方式中,对通信模式的调整也可以包括对呈现在显示器108上的内容的调整。例如,在详细视图900-3中,用户902拿起智能手机102。如前所述,基于雷达的应用702能够确定3D手势和相应的动作(例如,使用3D手势模块116)。因此,当用户902向智能手机102伸手时,基于雷达的应用702可以确定伸手是3D手势,并且电子助手的相应动作是使用户902能够进行文本输入并且提供更丰富的视觉信息908(例如,更多且更小的文本、嵌入式链接和视频),如显示器108上所示。
图10图示了示例1000,其中,基于存储的功能是提供对象在感知距离内的存在的通知。如上所述,智能手机102(例如,通过雷达系统104)可以检测用户是否在智能手机102的感知距离内并且用户是独自一人还是与他人在一起。使用此信息,智能手机102(例如,通过基于雷达的应用702)可以提供关于智能手机102的用户的状态的通知(例如,用户的“空间关系上下文”,诸如用户是否有空(独自一人)、与人一起、离开等)。通知可以提供给存储在智能手机102上或可由其访问的一个或多个联系人,并且可以各种方式中的任何一种提供,诸如通过在另一方看用户的联系人信息时显示的文本消息或状态指示器。
例如,在详细视图1000-1中,其电话包括基于存在的特征的用户1002查看联系人列表1004(用虚线括号表示),该联系人列表1004包括具有电话(或其他电子设备)的一些联系人,这些电话也包括基于存在的特征。在详细视图1000-1中,顶部四个联系人是提供与联系人相关联的用户的存在的通知(例如,乔治不在,苏西和玛丽与人在一起,以及英格丽有空),并且底部两个联系人不提供通知(例如,因为联系人已经关闭了基于存在的特征,所以联系人的电话不支持基于存在的特征,或出于其他原因)。在详细视图1000-2中,用户1002选择苏西的联系人图标,并且基于存在的功能提供联系苏西的选项1006。如上所述,苏西的通知指示有其他人与苏西在一起,因此,选项1006可能包括发送消息(MESSAGE(消息)),现在呼叫(CALL(呼叫))或在苏西不再与其他人在一起的时候呼叫(CALL WHEN ALONE(独自一人时呼叫))。
在详细视图1000-3中,假设用户1002选择选项1006,以在苏西不再与其他人在一起的时候呼叫。通过使用选项1006,当联系时机合适时,用户1002和苏西(如另一个用户1008所示)两者同时接收电话呼叫,由智能手机102和苏西电话周围的振动指示器说明。在一些实施方式中,多少联系人接收到通知以及哪些联系人接收到通知可以由用户选择或基于默认设置。另外,选项1006可以由用户1008(例如,苏西)选择,以便用户1008可以确定在被提供通知时呼叫方(例如,用户1002)有哪些选项。
通过广播存在信息或将其发送给特定联系人,提供对象在感知距离内的存在的通知的基于存在的功能也可以增强远程协作工具。例如,在文档共享应用中,通知可以帮助远程用户确定另一个用户是否实际上在计算机前面或只是让文档共享应用打开。在一些情况下,基于雷达的应用702可以在通知中提供附加细节。例如,通过使用附加传感器或特征(例如,地理定位特征或免提驾驶特征),通知可以包括允许用户理解呼叫的潜在接收者在汽车中、正在驾驶(或没在驾驶)以及与其他人在一起的信息。基于雷达的应用702也可以在通知指示潜在接收者与其他人在一起时建议其他通信方法,诸如通过建议电子邮件作为避免转移与其他人在一起的人(例如,可能正在开会的人)的注意力的方式。
图11图示了示例1100,其中,基于存在的功能是提供之前呈现的提醒的通知。在详细视图1100-1中,用户1102通过电子助手使用语音命令(被示出为文本框1104)设置提醒。在详细视图1100-2中,假设用户1102在感知距离706之外的位置做家务。当用户1102在感知距离706之外时间期间,提醒的时间过去,并且提醒会在用户1102离开时呈现。在一些实施方式中,因为智能手机102知道用户离开,所以提醒可能根本不会被呈现,或提醒可能以较低的音量或以不同的模式(例如,文本而不是语音)呈现。在详细视图1100-3中,假设用户1102在认为提醒已经呈现之后的30分钟返回。当智能手机102确定用户1102在感知距离706内时,呈现提醒(被示出为文本框1106)。在一些实施方式中,提醒可以包括能够帮助用户1102的附加信息。例如,通过干衣机将洗好的衣服晾几分钟以减少起皱现象的建议,或改变餐厅预订的建议等。
图12图示了示例1200,其中,基于存在的功能是提供增强的媒体体验。例如,壁纸、地图和其他数字内容可以包括动画和深度。在详细视图1200-1中,用户1202正在看书,然后伸手去拿智能手机102。显示器108自动打开并且呈现短的壁纸动画1204。在详细视图1200-1中,壁纸动画1204是显示用户1202已经阅读了多长时间的时钟面,但是也可以呈现其他壁纸动画1204(最喜欢的影片剪辑、用户录制的视频等)。壁纸动画1204可以是任何适当的长度(例如,1秒、2秒或3秒),并且可以是用户选择的或由基于雷达的应用702选择。在一些实施方式中,当用户1202撤回伸出的手时,壁纸动画1204被反向显示(例如,时钟面倒转以显示用户1202开始阅读的时间)。基于雷达的应用702可以基于用户的存在呈现其他内容。例如,在详细视图1200-2中,用户1206在感知距离706内,并且作为回应,基于雷达的应用702呈现最喜欢的图像1208。
进一步地,通过使用数字波束形成和其他技术,如参考图3至图6所描述的,雷达系统104可以确定用户的视角。基于雷达的应用702然后可以动态调整呈现在显示器108上的图像,以适应用户的视点,从而在显示器108上创建三维空间的错觉。例如(图2中未示出),假设用户的智能手机放在桌子上,并且三维(3D)对象(地图、雕塑、建筑等)呈现在显示器上。当用户在桌子周围移动时,3D对象的呈现改变以适应用户的视点,从而通过给用户围绕真实对象移动的外观来使三维错觉丰富。在一些实施方式中,用户可以旋转设备,而不是在固定的设备周围移动,并且从不同的角度观看3D对象。
在其他实施方式中,智能手机102可以使用例如基于雷达的应用702或另一个实体,确定在对象704位于感知距离内的同时一个以上的对象会呈现(例如,确定另一个对象在感知距离706内的存在)。作为回应,基于雷达的应用702可以修改智能手机102的基于存在的功能。这种实施方式的几个示例在下面参考图13和图14进行描述。
图13图示了示例1300,其中,基于另一对象在感知距离706内的存在,对基于存在的功能的修改是对智能手机102所使用的通知模式的调整。在详细视图1300-1中,用户1302和另一个用户1304一起坐在桌子旁。因为基于雷达的应用702可以确定用户1302和另一个用户1304都在感知距离706内,所以基于雷达的应用702修改智能手机102的通知模式。在一些实施方式中,通知可以完全静音(例如,显示器108上什么也没有呈现)。在其他实施方式中,如详细视图1300-1所示,可以修改通知模式,以便只显示通知指示器1306,而不是完整的通知。例如,图标指示通知(例如,日历事件的通知、任务或其他用户自定义的通知)是可用于查看的,而不是指示通知本身。以这种方式,智能手机102在商业或社交场合的干扰性更低,而且可能会在完整通知中显示的潜在私人信息不会被公开显示。
智能手机102可以通过多种方式返回到默认通知模式,或返回到在另一个用户1304进入感知距离706之前运行的通知模式。例如,如详细视图1300-2所示,用户1302可以朝向智能手机102伸手,以返回到之前的通知模式(如箭头1308所示)。在返回到之前的通知模式之后,接收到的通知的内容1310可以由智能手机102呈现。在其他实施方式中,不同的3D手势可以用于返回到之前的通知模式,或当确定其他用户1304不再在感知距离706内时,智能手机可以自动返回到之前的通知模式。
图14图示了示例1400,其中,基于另一个对象在感知距离706内的存在,对基于存在的功能的修改是对智能手机102所使用的电子助手模式的调整。例如,电子助手可以在用户独自一人时提供包括潜在私人信息(例如个人提醒或工作相关事件的内容)的提醒和通知,但是在其他人在场时限制内容。
考虑详细视图1400-1,其中,用户1402独自一人,并且在感知距离706内。因为用户1402独自一人,所以电子助手可以使用语音界面为用户1402提供服药的音频提醒(由文本框1404示出,该文本框1404指示10分钟后将提供另一个音频提醒)。假设几分钟之后(不到10分钟之后),另一个用户1406顺道来访,如另一个详细视图1400-2所示。另一个用户1406在感知距离706内坐下,并且基于雷达的应用702修改电子助手模式,以便不提供音频(如静音图标1408所示)。除了音频之外,可以使通知静音,直到其他用户1406离开,或可以以提供更多隐私的另一种模式(诸如,振动模式、文本模式或通知指示器模式)提供提醒,如参考图3描述的。
在另一个示例(未示出)中,当另一个用户1406进入感知距离706时,用户1402可能正在观看或收听内容。即使用户1402没有注意到另一个用户1406已经来到感知距离706内,智能手机102(通过基于雷达的应用或另一个实体,诸如语音助手)也可以识别其他用户的存在并且暂时暂停或隐藏内容(例如,在私人或机密内容的情况下)。
在包括上述示例中的任何一个的实施方式的其他实施方式中,智能手机102(使用基于雷达的应用702或另一个实体)可以结合其他传感器确定用户是否独自一人。例如,智能手机102可以使用麦克风来确定用户周围的环境噪音水平。基于存在和环境噪声水平,智能手机102然后可以将电话铃声、通知和语音助手的音量调整到适当水平,以吸引用户的注意。另外,基于雷达的应用702可以与其他传感器(例如,麦克风)通信,以便在检测到另一个用户的语音时(即使其他人在感知距离706之外),仍然执行对基于存在的特征的修改。进一步地,通过使用上述3D手势模块116,当用户朝向智能手机102伸手时,智能手机102可以使铃声、通知和语音助手变得更安静(或完全静音),因为智能手机102可以确定用户伸手是指示用户将做出响应的3D手势。
在其他实施方式中,智能手机102可以确定(使用雷达数据)感知距离内的对象的3D手势并且执行与3D手势对应的动作。3D手势的确定可以由各种实体(诸如,基于雷达的应用702或3D手势模块116)或这些或其他实体的组合执行。下面参考图15至图20描述这种实施方式的几个示例。
图15图示了示例1500,其中,3D手势是智能手机102的显示器上的手挥动,该手挥动会激活钉住模式,这会锁定屏幕上的内容并且阻止传入的通知,直到用户退出钉住模式。有时,即使另一个人在感知距离706内时,用户也可能想要限制什么信息可以透露给其他人。示例1500中所描述的技术允许用户与另一个人共享屏幕内容,而不暴露其他内容以及提醒和通知的细节。
在详细视图1500-1中,假设用户1502想要将智能手机102递给另一个用户1504以共享照片。用户1502想要保护个人信息(诸如提醒和通知中的其他照片或内容),以免不小心泄露给其他用户1504。用户1502执行从右到左的手挥动,如箭头1506所示,并且基于雷达的应用702或另一个实体将智能手机102置于钉住模式。在增加了个人信息将不会泄露给其他用户1504的信心的情况下,用户1502然后可以将智能手机102递给其他用户1504,如另一个详细视图1500-2所示。
在另一种实施方式(未示出)中,基于雷达的应用702可以通过使用雷达数据确定设备被递给另一个人,自动将智能手机102置于钉住模式。如上所述,雷达系统104可以使基于雷达的应用702能够确定有两个用户存在。通过确定第一用户与设备之间的相对距离以及设备相对于两个用户的定向,钉住模式可以自动激活,而无需故意的手势。如上所述,这些技术为用户提供了一种使用简单而谨慎的3D手势来保护个人信息同时仍然允许其他人查看所选的内容的方式。
图16图示了示例1600,其中,3D手势是朝向智能手机102伸手以使铃声静音。如上所述,基于雷达的应用702可以基于用户与设备之间的距离调整铃声音量。有时,当用户在感知距离706内时,用户可能想要在接听呼叫之前使铃声静音(或在确定呼叫者是谁时,不接听呼叫)。在详细视图1600-1中,用户1602正坐在智能手机102旁边。智能手机102正在响铃,如铃音音量图标1604所示。假设用户1602想要在决定是否接听之前使铃声静音。如详细视图1600-2所示,用户1602朝向智能手机102伸手,如箭头1606所示。基于雷达的应用702将伸手确定为使铃声静音(由静音图标1608示出)的相应动作的3D手势。以这种方式,示例1600中所描述的技术允许用户通过伸手去拿电话使铃声静音,而不必接听呼叫或与设备控件交互。
图17图示了示例1700,其中,3D手势是朝向智能手机102伸手以退出全屏模式并且访问用户界面上的控件。如上所述,基于雷达的应用702可以使用感知距离706和注意提示将应用保持在特定模式(例如,没有可见控件的全屏模式),即使用户没有与设备交互。在一些情况下,当用户在感知距离706内时,用户可能想要在不拿起设备或点击菜单的情况下与应用的控件交互。
在详细视图1700-1中,用户1702正坐在智能手机102旁边。在该示例中,假设用户1702正在观看视频并且想要暂停视频。如详细视图1700-2所示,用户1702朝向智能手机102伸手,如箭头1704所示。基于雷达的应用702将伸手确定为退出全屏模式和提供用户界面或其他控件(由暂停图标1706示出)的相应动作的3D手势。在一些实施方式中,如果用户1702结束3D手势(例如,停止伸手并且收回手),则全屏模式恢复。如示例1700所示和所述,这些技术允许用户通过伸手去拿电话来退出全屏模式并且与用界面户交互,而不必点击或激活用户界面。
图18图示了示例1800,其中,3D手势是在照片被取景之后朝向智能手机102伸手以访问相机控件。如上所述,基于雷达的应用702可以使用感知距离706(未示出)和注意提示将应用保持在特定模式(例如,没有可见控件的全屏模式)。在一些情况下,许多相机控件是不必要的,并且只会在显示器上制造阻碍和混乱。因此,感知距离706内的用户可能想要在一段时间内没有控件的全屏环境,(诸如当为照片取景时),然后在完成取景之后与完全控件交互。
在详细视图1800-1中,用户1802正在使用智能手机102上的相机为日落的照片取景。在该示例中,假设用户1802试图为照片取景以包括特定的风景特征和日落,并且想要在没有控件(或最小控件,诸如快门按钮1804)的全屏模式下为照片取景。如详细视图1800-1所示,用户1802使用一只手为照片取景,使得更多的显示可见。在详细视图1800-2中,用户1802朝向智能手机102伸手,如箭头1806所示。基于雷达的应用702将伸手确定为提供用户界面或其他控件(诸如裁剪窗口1808)的相应动作的3D手势。在一些实施方式中,如果用户1802结束3D手势(例如,停止伸手并且收回手),则全屏模式恢复。在其他实施方式中,基于雷达的应用702可以确定用户1802只伸手点击快门按钮1804(例如,通过确定用户1802正将手伸向哪里),然后仅呈现快门按钮1804,而不是所有附加控件。如示例1800所示和所述,这些技术允许用户通过伸手去拿电话来享受全屏模式以为照片取景并且与用户界面交互,而不必点击或激活用户界面。
图19图示了示例1900,其中,3D手势是朝向智能手机102伸手以激活背光或其他光源,使得在弱光环境下智能手机102更容易定位。如上所述,基于雷达的应用702可以使用感知距离706(未示出)和注意提示将应用保持在特定模式(例如,省电的暗屏模式)。在一些情况下,用户甚至可能希望屏幕完全关闭,诸如在故意黑暗的环境中。因此,感知距离706内的用户可能会在睡觉或看电影时将智能手机102的屏幕关闭或使其处于昏暗模式,然后需要少量的光线来帮助在黑暗的环境中定位智能手机102。
在详细视图1900-1中,用户1902正准备去睡觉。在该示例中,假设用户1902忘记设置闹钟,并且想找到智能手机102并设置闹钟。如详细视图1900-1所示,用户1902朝向智能手机102伸手(由箭头1904示出)。基于雷达的应用将伸手确定为提供暗光(例如,背光)(由阴影区1906示出)的相应动作的3D手势。在详细视图1900-2中,假设用户1902已经将智能手机102掉在剧院的地板上并且在黑暗中无法看到它以找回它。用户1902朝向智能手机102伸手,如另一个箭头1908所示。基于雷达的应用702再次将伸手确定为提供光(由另一个阴影区1910示出)的相应动作的3D手势。
相似地,在详细视图1900-3中,假设用户1902已将智能手机102放在包里。用户1902朝向智能手机102伸手,如另一个箭头1912所示。基于雷达的应用702再次将伸手确定为提供光(由另一个阴影区1914示出)的相应动作的3D手势。在一些实施方式中,如果用户结束3D手势(例如,停止伸手并且收回手),则暗屏模式恢复。如示例1900中所示和所述,这些技术允许用户通过朝向电话伸手来使用暗屏模式以节省电量或减少在黑暗的环境下因亮屏而造成的分心,并且能够定位电话。在其他实施方式(未示出)中,基于雷达的应用702将伸手确定为打开振动模式的相应动作的3D手势,随着用户1902离智能手机102越来越近,该振动模式会变得更强(例如,以增加的频率、振幅或两者来振动)。
另外,参考图15至图19描述的技术,即3D手势可以用于提供图17至图19中未示出的其他特征。例如,浏览器(诸如导航栏)中的用户界面元素可以在用户伸手去拿智能手机102时提供,然后在用户把手移开时消失。在另一个示例中,当用户朝向智能手机102伸手时,锁屏或主页屏可以自动呈现(例如,用户不必按下开始按钮或主页按钮来显示锁屏)。在其他实施方式中,智能手机102可以检测靠近的手的形状或定向,并且相应地改变界面。例如,输入表面可以在用户伸出一只手(或伸出一根手指)时提供触摸板界面,或在用户伸出两只手时提供完整的键盘。
在其他实施方式中,智能手机102可以使用基于雷达的应用702或另一个实体,确定在对象704位于感知距离内的同时一个以上的对象会呈现(例如,确定在对象在感知距离706内的同时另一个对象在感知距离706内的存在)。响应于确定对象在感知距离706内的存在,基于雷达的应用702可以通过感知距离内的对象确定3D手势(例如使用雷达数据),并且执行与确定的手势对应的动作。智能手机102还可以将对象彼此区分开,并且保持跟踪哪些对象做出了哪些3D手势。
图20图示了示例2000,其中,感知距离706内的对象(未示出)是使用智能手机(在这种情况下为智能手机102)玩游戏的用户,并且3D手势被用来控制游戏。考虑详细视图2000-1所示的示例,其中,用户2002和用户2004正在智能手机102上玩双人游戏。在详细视图2000-1中,用户2004做出3D手势(由从左到右的箭头2006示出)。响应于3D手势,基于雷达的应用702可以使游戏能够执行与3D手势对应的动作(例如,从穿过中心线返回游戏环境中的对象,如显示器108上所示)。以这种方式,用户2002和用户2004可以控制智能手机102上的游戏玩法,而不会遮挡游戏的视图。
在详细视图2000-2所示的另一个示例中,用户2008在智能手机102上玩单人游戏。在详细视图2000-2中,用户2008做出3D手势(由从右到左的箭头2010示出),并且基于雷达的应用702可以使游戏能够执行与3D手势对应的动作(例如,从左到右移动游戏环境中的对象)。因此,基于雷达的应用702可以使用3D手势与应用(诸如,游戏)交互,而不遮挡用户的视野。以这种方式,因为基于雷达的应用702可以区分多个用户以及他们的手势,所以可以扩展游戏环境,甚至在单一的小屏幕或设备上提供更好且更身临其境的多人游戏体验。
示例方法
图21和图22描绘了使能在电子设备中实现的智能手机、系统和方法的示例方法2100。方法2100可以用包括提供雷达场的雷达系统的电子设备(例如,上述智能手机102)来执行。电子设备还可以包括显示器,诸如显示器108。雷达场可以用于确定电子设备相对于雷达场中的对象的定向,并且提供电子设备的基于定向的功能。雷达场还可以用于确定电子设备的定向的改变,并且基于改变的定向修改基于定向的功能。
方法2100被示出为一组框,该一组框指定所执行的操作,但是该方法并不一定受限于示出的用于执行各个框的操作的顺序或组合。进一步地,一个或多个操作中的任何操作都可以重复、组合、重新组织或链接以提供多种附加和/或替代方法。在下面的讨论的部分中,可以参考图1的示例操作环境100和图2至图20中详述的实体和过程,对它们的参考仅仅是示例性的。技术并不限于由一个实体或一个设备上操作的多个实体来执行。
在2102中,提供雷达场。雷达场可以由各种电子设备中的任何一种(例如,上述智能手机102)提供,这些电子设备包括雷达系统(例如,雷达系统104)和基于雷达的应用(例如,基于雷达的应用106或702中的任何一个或两个,该基于雷达的应用可以包括定向模块114、3D手势模块116或存在模块708中的一个或多个,以及它们的任何组合)。进一步地,雷达场可以是各种类型的雷达场中的任何一种,诸如上述雷达场110。
在2104中,通过雷达系统感测来自雷达场中的对象的反射。对象可以是各种对象中的任何一种,诸如木材、塑料、金属、织物或有机材料。例如,对象可以是人或人的身体部分(例如,手),诸如上述对象112或704。
在2106中,分析来自雷达场中的对象的反射。分析可以由各种实体中的任何一种(例如,雷达系统104或本文所描述的基于雷达的应用中的任何一个)执行,并且可以包括各种操作或确定,诸如参考图3至图6描述的操作或确定。
在2108中,基于对反射的分析,提供雷达数据,诸如上述雷达数据。雷达数据可以由各种实体中的任何一种提供,诸如雷达系统104或本文所描述的基于雷达的应用中的任何一个。在一些实施方式中,雷达系统可以提供雷达数据,并且将雷达数据传递给其他实体(例如,参考图1至图20描述的基于雷达的应用和其他模块中的任何一种)。对方法2100的描述在图22中继续,如图21的框2108之后的字母“A”(其与图22的框2110之前的字母“A”对应)所示。
在2110中,确定电子设备相对于对象的定向。确定是基于雷达数据,并且可以由各种实体中的任何一种提供,诸如雷达系统104或本文所描述的基于雷达的应用或其他模块中的任何一个。
在2112中,响应于确定电子设备的定向,提供电子设备的基于定向的功能。基于定向的功能可以由各种实体中的任何一种提供,诸如雷达系统104、基于雷达的应用106或702中的任何一个或本文所描述的其他模块中的任何一个。
在2114中,确定电子设备相对于对象的定向的改变。确定是基于雷达数据,并且可以由各种实体中的任何一种执行,诸如雷达系统104、基于雷达的应用106或702中的任何一个或本文所描述的其他模块中的任何一个。
在2116中,响应于确定电子设备相对于对象的定向的改变,修改基于定向的功能。对基于定向的功能的修改可以由各种实体中的任何一种执行,诸如雷达系统104、基于雷达的应用106或702中的任何一个或本文所描述的其他模块中的任何一个。
如参考图1所描述的,基于定向的功能的一个示例是免打扰(DND)模式(例如,使提醒、通知或其他设备发起的通信静音的模式)。在该示例中,激活DND模式的初始定向可以是横向定向。应当注意,横向定向是相对于用户所在的位置,而不是电子设备的先前位置。因此,用户不必先对电子设备进行定向,然后将其置于横向模式。相反,用户仅将电子设备旋转到横向定向,并且DND模式被激活。
在该示例中,电子设备相对于对象的定向的改变是电子设备的旋转。旋转可以在与显示器108的观看表面大体上平行的平面内(例如,表面上的平旋转)。此外,用户不必为了改变要确定的定向而拿起电子设备。一旦确定电子设备的定向的改变已使电子设备进入相对于对象的另一个定向(例如,纵向定向),电子设备便会退出DND模式。一旦DND模式停用,便会显示静音的任何消息或通知,以便用户可以对它们进行处理。
考虑图23至图25所示的以下附加示例,这些附加示例描述了电子设备102的示例实施方式,该电子设备可以实施方法2100的附加细节。在关于图23至图25描述的示例中,所描述的特征和技术在智能手机102中实现,尽管所描述的特征和技术可以与各种电子设备中的任何一种(例如,如,参考图2所描述的)一起使用。图23描绘了示例实施方式2300,其中,智能手机102的基于定向的功能是以面向用户的定向呈现内容(例如,通过显示器108)。在该示例中,智能手机102提供雷达场110(例如,通过雷达系统104)。在详细视图2300-1中,用户2302(雷达场中的对象)正在以纵向方向查看智能手机102上的内容。智能手机102(使用例如基于雷达的应用106)确定智能手机102相对于用户2302的定向,并且以用户面向的定向在显示器上呈现内容,如武士图像2304所示。
在详细视图2300-2中,用户2302将智能手机102的定向改变成相对于用户2302的另一个定向(例如,横向定向),如箭头2306所示。在该示例中,定向的改变是智能手机102所在的桌子上的平旋转(例如,智能手机相对于用户的定向的改变是智能手机在与显示器108的观看表面大体上平行的平面内的旋转)。智能手机102(使用例如基于雷达的应用106)然后可以确定,定向的改变已导致智能手机102处于相对于用户2302的另一个定向,并且作为回应,保持内容的面向用户的定向,而智能手机处于其他定向。因此,武士图像2304保持在详细视图23001的面向用户的定向,即使智能手机102已经旋转,并且用户2302既没有拿起设备,也没有手动改变定向。
图24描绘了示例实施方式2400,其中,智能手机102的基于定向的功能是以面向正在看显示器的用户的定向呈现内容(例如,通过显示器108)。以这种方式,用户可以将智能手机递给另一个用户,该用户会自动得到适当定向的显示。在该示例中,智能手机102提供雷达场110(例如,通过雷达系统104)。在该示例中,假设用户2402和另一个用户2404(例如,雷达场中的对象包括第一用户和第二用户)正在以横向定向(例如,面向用户的定向)观看智能手机102上的内容。智能手机102(使用例如基于雷达的应用106)确定智能手机102相对于用户2402的定向,并且以面向用户的定向在显示器上呈现内容,其中,内容朝向用户2402定向(这种视图在图24中未示出)。
继续示例,假设用户2402决定让另一个用户2404更仔细地查看内容,并且将智能手机102移向另一个用户2404,如箭头2406所示(例如,通过使智能手机102移位,用户2402改变智能手机102相对于用户2402的定向,这会导致智能手机102离第一用户更远,而离第二用户更近)。智能手机102(使用例如基于雷达的应用106)然后可以确定,定向的改变已导致智能手机102处于相对于用户2402的另一个定向,并且作为回应,以面向另一个用户2404的定向在显示器上呈现内容。因此,内容自动定向以面向另一个用户2404,即使智能手机102已经旋转,并且用户2402既没有拿起设备,也没有手动改变定向。
图25描绘了示例实施方式2500,其中,基于雷达的应用106或另一个实体可以使用注意提示来确定内容显示模式,以将内容呈现在智能手机102的显示器(例如,显示器108)上。基于雷达的应用106使用注意提示来确定智能手机102相对于用户112的定向,并且还使用注意提示的改变来确定智能手机102相对于用户112的定向的改变。以这种方式,注意提示可以用于确定用户112是否正在关注智能手机102。
注意提示是用户112的身体姿势或位置,诸如前倾或后倾、或左转或右转,这可以使用雷达数据来检测,如关于图1描述的。例如,雷达数据可以用于通过确定用户的躯干或头部相对于与智能手机102的观看表面(例如,显示器的观看表面)大体上平行的平面(诸如,智能手机102所在的桌子)的角度(例如,注意提示是用户112是否朝向智能手机102倾斜)或用户112的躯干或头部的角位置(例如,注意提示是用户112是否离开智能手机102)或用户112在智能手机102的阈值距离内的存在,来确定注意提示。
在示例实施方式2500中,智能手机102的基于定向的功能是以基于注意提示的内容显示模式(例如,第一内容显示模式)在显示器上呈现内容。内容显示模式可以是在显示或呈现内容时智能手机102可以使用的各种模式中的任何一种,诸如媒体暂停模式或媒体播放模式、锁屏模式、睡眠或清醒模式、全屏或幻灯片模式,或包括特定的屏幕亮度水平或音量水平。
在详细视图2500-1中,假设用户112在看书的同时通过智能手机102听音乐。该示例中的第一内容显示模式是变暗的亮度水平,如智能手机102的显示器上的阴影区2502所示。该示例中的注意提示是用户112的头部的角位置,如阴影箭头2504所示,这表明用户112正在看书,而不是在看屏幕。以这种方式,智能手机102可以通过基于注意提示,在用户112看向别处时自动调暗屏幕,但是继续播放音乐,从而节省电池电量。
继续另一个详细视图2500-2中的示例,用户112继续听音乐,但是已经转向智能手机102,如弯曲箭头2506所示。用户112的头部的转动表明用户112现在正在看智能手机102,而不是书,如另一个阴影箭头2508所示。用户112的头部的转动是注意提示的改变。响应于确定注意提示的改变,智能手机102(通过基于雷达的应用106或另一个实体)可以按照另一种内容显示模式呈现内容(例如,修改智能手机102的基于定向的功能,以按照第二内容显示模式呈现内容)。在示例2500中,第二内容显示模式是在显示器上呈现用户界面,由音乐图标2510示出。用户112可以与用户界面交互(例如,通过触摸、语音或3D手势输入),以控制音乐播放器用于播放音乐。
如上所述,在包括上述示例的实施方式的一些实施方式中,通过使用基于雷达的应用106或另一个实体,智能手机102可以确定,如果旋转(例如,智能手机102或用户112的躯干或头部的旋转)超过阈值,则该旋转对引起基于定向的功能的修改是有效的。阈值可以是任何适当的旋转,诸如(25度、45度、90度或180度)。相似地,如果位移导致智能手机102与第一用户之间至少有阈值距离,则位移对引起基于定向的功能的修改可能是有效的。阈值距离可以是任何适当的距离,诸如6英寸、12英寸或18英寸。进一步地,如果角度(例如,用户112向前或向后倾斜的角度)超过阈值角度,则该角度对引起基于定向的功能的修改可能是有效的。阈值角度可以是任何适当的角度,诸如(15度、25度、35度或45度)。阈值旋转、距离或角度可以是预先定义的、用户可选择的或通过机器学习模块确定,该机器学习模块包括在雷达系统104或基于雷达的应用106中或与其相关联。
另外,如果位置、角度、旋转和其他定向改变保持至少一段阈值时间,则这些改变对引起基于定向的功能的修改可能是有效的。阈值时间可以是任何适当的时间(例如0.5秒、1.5秒或2.5秒),并且可以是预先定义的、用户可选择的或通过机器学习模块确定,该机器学习模块包括在雷达系统104或基于雷达的应用106中或与其相关联。
应当注意,用于电子设备中实现的智能手机、系统和方法的这些技术可能比可以提供类似功能的其他技术更安全。不仅是未经授权的人通常无法获得用户的位置、定向或3D手势(尤其是用户定义的手势、微手势以及基于姿势或基于位置的手势)(例如,不同于密码),而且用户的雷达图像(即使用户的雷达图像包括用户的面部)也无法像照片或视频那样在视觉上识别用户。即便如此,除了上述描述之外,还可以给用户提供允许用户做出关于下述选择的控件:本文献中描述的系统、程序、管理器、模块或特征中的任一个是否且何时可以使得能够收集用户信息(例如,关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前位置的信息),以及是否从服务器向用户发送内容或通信。此外,某些数据可以在它被存储或使用之前以一种或多种方式来处理,使得个人可识别的信息被移除。例如,可以处理用户的身份,使得对该用户来说不能确定个人可识别的信息,或者可以在获得定位信息的情况下使用户的地理定位一般化(诸如为城市、邮政编码或州级别),使得不能够确定用户的特定位置。因此,用户可以控制关于用户收集什么信息、如何使用该信息以及向用户或关于用户提供什么信息。
示例计算系统
图26图示示例计算系统2600的各种组件,该示例计算系统2600可以被实现为参考先前的图1至图25所描述的任何类型的客户端、服务器和/或电子设备以实现在电子设备实现的智能手机、系统和方法,或者在该示例计算系统2600中可以实现使能在电子设备实现的智能手机、系统和方法的技术。
计算系统2600包括通信设备2602,其使得能够进行设备数据2604(例如,雷达数据、3D手势数据、认证数据、参考数据、接收到的数据、正在接收的数据、调度用于广播的数据、数据的数据分组)的有线和/或无线通信。设备数据2604或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容和/或与设备的用户相关联的信息(例如,雷达场内的人的方位、定向、或者身份)。存储在计算系统2600上的媒体内容可以包括任何类型的雷达、生物特征、音频、视频和/或图像数据。计算系统2600包括一个或多个数据输入2606,经由该一个或多个数据输入2606,可以接收任何类型的数据、媒体内容和/或输入,诸如,人的言语、与雷达场的交互、触摸输入、用户可选择的输入(显式或隐式)、消息、音乐、电视媒体内容、录制的视频内容以及从任何内容和/或数据源接收到的任何其他类型的音频、视频和/或图像数据。数据输入2606可以包括例如基于雷达的应用106和702、定向模块114、3D手势模块116或者存在模块708。
计算系统2600还包括通信接口2608,其可以被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器中的任何一个或多个,以及任何其他类型的通信接口。通信接口2608提供计算系统2600与通信网络之间的连接和/或通信链路,其他电子、计算和通信设备通过该通信网络与计算系统2600传送数据。
计算系统2600包括一个或多个处理器2610(例如,微处理器、控制器或其他控制器中的任何一个),其可以处理各种计算机可执行指令以控制计算系统2600的操作并使能用于电子设备中实现的智能手机、系统和方法的技术,或在其中可以实现用于电子设备中实现的智能手机、系统和方法的技术。可替代地或附加地,计算系统2600可以利用硬件、固件或结合处理和控制电路实现的固定逻辑电路中的任何一种或组合来实现,所述处理和控制电路通常在2612处被标识。尽管未示出,但是计算系统2600可以包括系统总线或数据传输系统,其耦合设备内的各种组件。系统总线可以包括不同总线结构(诸如,存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任何一种的处理器或本地总线)中的任何一种或不同总线结构的组合。
计算系统2600还包括计算机可读介质2614,诸如,使得能够进行持久和/或非暂时性数据存储(即,与仅信号传输相反)的一个或多个存储器设备,其示例包括随机存取存储器(RAM)、非易失性存储器(例如,只读存储器(ROM)、闪存、EPROM、EEPROM等中的任何一个或多个)和磁盘存储设备。磁盘存储设备可以实现为任何类型的磁或光存储设备,诸如,硬盘驱动器、可记录和/或可重写光盘(CD)、任何类型的数字多功能光盘(DVD)等。计算系统2600还可包括大容量存储介质设备(存储介质)2616。
计算机可读介质2614提供数据存储机制以存储设备数据2604以及各种设备应用2618和与计算系统2600的操作方面有关的任何其他类型的信息和/或数据。例如,操作系统2620可以维护为具有计算机可读介质2614的计算机应用,并在处理器2610上执行。设备应用2618可以包括设备管理器(诸如,任何形式的控制应用)、软件应用、信号处理和控制模块、特定设备的本机代码、抽象模块、手势识别模块和其他模块。设备应用2618还可以包括用于实现在电子设备中实现的智能手机、系统和方法的系统组件、引擎或管理器,诸如,雷达系统104、基于雷达的应用106、基于雷达的应用702、定向模块114、3D手势模块116、或者存在模块708。计算系统2600还可包括或有权访问一个或多个机器学习模块或者系统。
在下面描述了一些示例。
示例1.一种智能手机,所述智能手机包括:显示器;雷达系统,所述雷达系统至少部分地以硬件实现,所述雷达系统被配置成:提供雷达场;感测来自所述雷达场中的对象的反射;分析来自所述雷达场中的所述对象的反射;以及基于对所述反射的分析,提供雷达数据;一个或多个计算机处理器;以及一个或多个计算机可读介质,所述一个或多个计算机可读介质具有存储在其上的指令,所述指令响应于由所述一个或多个计算机处理器执行来执行操作,所述操作包括:基于所述雷达数据的第一子集,确定所述智能手机相对于所述对象的定向;响应于确定所述智能手机的定向,提供所述智能手机的基于定向的功能;基于所述雷达数据的第二子集,确定所述智能手机相对于所述对象的定向的改变;以及响应于所述定向的改变,修改所述智能手机的所述基于定向的功能。
示例2.根据示例1所述的智能手机,其中:当所述智能手机被确定为处于相对于所述对象的第一定向时,所述智能手机的所述基于定向的功能是进入免打扰(DND)模式,尤其是使设备发起的通信静音的DND模式;所述智能手机相对于所述对象的定向的改变是所述智能手机在与所述显示器的观看表面大体上平行的平面内的旋转,所述旋转对导致所述智能手机处于相对于所述对象的第二定向有效;以及对所述基于定向的功能的修改是退出所述DND模式。
示例3.根据示例1或2所述的智能手机,其中:所述对象是用户;所述智能手机的所述基于定向的功能是以面向用户的定向在所述显示器上呈现内容;所述智能手机相对于所述用户的定向的改变是所述智能手机在与所述显示器的观看表面大体上平行的平面内的旋转,所述旋转对导致所述智能手机处于相对于所述用户的另一个定向有效;以及对所述基于定向的功能的修改是保持所述内容的所述面向用户的定向,而所述智能手机处于相对于所述用户的所述另一个定向。
示例4.根据前述示例中至少一项所述的智能手机,其中:所述对象至少包括第一用户和第二用户;所述智能手机的所述基于定向的功能是以面向第一用户的定向在所述显示器上呈现内容;所述智能手机相对于所述第一用户的定向的改变是所述智能手机的位移,所述位移对导致所述智能手机离所述第一用户更远而离所述第二用户更近有效;以及对所述基于定向的功能的修改是以面向第二用户的定向在所述显示器上呈现内容。
示例5.根据前述示例中至少一项所述的智能手机,其中:所述对象是用户;基于所述雷达数据确定所述智能手机相对于所述用户的定向进一步包括检测来自所述用户的注意提示;所述智能手机的所述基于定向的功能是以第一内容显示模式在所述显示器上呈现内容,所述第一内容显示模式基于所述注意提示;所述智能手机相对于所述用户的定向的改变是所述注意提示的改变;以及对所述智能手机的所述基于定向的功能的修改是以第二内容显示模式在所述显示器上呈现内容,所述第二内容显示模式基于所述注意提示的改变。
示例6.根据示例5所述的智能手机,其中:所述第一内容显示模式和所述第二内容显示模式包括以下项中的一个或多个:媒体暂停模式、媒体播放模式、锁屏模式、睡眠模式、唤醒模式、全屏模式、幻灯片模式、屏幕亮度水平或音量水平。
示例7.根据示例5或6所述的智能手机,其中,所述注意提示是所述用户的身体姿势,所述身体姿势包括以下项中的一个或多个:所述用户的躯干相对于与所述显示器的观看表面大体上平行的平面的角度;所述用户的头部相对于与所述显示器的观看表面大体上平行的平面的角度;所述用户的所述躯干的角位置;所述用户的头部的角位置;或者所述用户在所述智能手机的阈值距离内的存在。
示例8.一种系统,所述系统包括:电子设备;雷达系统,所述雷达系统至少部分地以硬件实现,所述雷达系统被配置成:提供雷达场;感测来自所述雷达场中的对象的反射;分析来自所述雷达场中的所述对象的反射;以及基于对所述反射的分析,提供雷达数据;一个或多个计算机处理器;以及一个或多个计算机可读介质,所述一个或多个计算机可读介质具有存储在其上的指令,所述指令响应于由所述一个或多个计算机处理器执行来执行操作,所述操作包括:基于所述雷达数据的第一子集,确定所述对象在所述电子设备的感知距离内的存在;响应于确定所述对象在所述感知距离内的存在,提供所述电子设备的基于存在的功能;基于所述雷达数据的第二子集,确定所述对象在所述电子设备的所述感知距离之外;以及响应于确定所述对象在所述感知距离之外,停止提供所述基于存在的功能。
示例9.根据示例8所述的系统,其中,所述基于存在的功能是以下项中的一个或多个:对铃声、闹钟或通知的音量的调整;对包括在电子设备中的电子助手所使用的通信模式的调整;对呈现在用户界面上的内容的调整;提供所述对象在所述感知距离内的存在的通知,所述通知被提供给存储在所述电子设备上或可由所述电子设备访问的一个或多个联系人;或者当所述对象不在所述感知距离内时,提供之前呈现的提醒的通知。
示例10.根据示例8或9所述的系统,其中,所述电子设备包括显示器,并且所述基于雷达的应用被进一步配置成:在所述对象在所述感知距离内的同时,确定另一个对象在所述感知距离内的存在;以及响应于确定所述另一个对象在所述感知距离内的存在,修改所述电子设备的所述基于存在的功能。
示例11.根据示例8至10中至少一项所述的系统,其中,所述基于雷达的应用被进一步配置成:基于所述雷达数据,确定所述电子设备的所述感知距离内的所述对象的3D手势;以及执行与所确定的3D手势对应的动作。
示例12.根据示例8至11中至少一项所述的系统,其中,所述电子设备包括显示器,并且所述基于雷达的应用被进一步配置成:在所述对象在所述感知距离内的同时,确定另一个对象在所述感知距离内的存在;以及响应于所述另一个对象在所述感知距离内的存在并且基于所述雷达数据,确定:所述电子设备的所述感知距离内的所述对象的手势;以及所述电子设备的所述感知距离内的所述另一个对象的另一个手势;执行与所确定的手势对应的动作;以及执行与所确定的另一个手势对应的动作。
示例13.根据示例8所述的系统,其中,所述雷达系统进一步包括数字波束形成器和角度估计器,并且所述雷达系统被配置成监测视野中约-90度到约90度之间的角度。
示例14.一种方法,所述方法实施在电子设备中,所述电子设备包括雷达系统和基于雷达的应用,所述方法包括:通过所述雷达系统提供雷达场;通过所述雷达系统感测来自所述雷达场中的对象的反射;分析来自所述雷达场中的所述对象的反射;基于对所述反射的分析,提供雷达数据;基于所述雷达数据的第一子集,确定所述电子设备相对于所述对象的定向;响应于确定所述电子设备的定向,提供所述电子设备的基于定向的功能;基于所述雷达数据的第二子集,确定所述电子设备相对于所述对象的定向的改变;以及响应于所述定向的改变,修改所述电子设备的所述基于定向的功能。
示例15.根据示例14所述的方法,其中,所述电子设备包括显示器,所述电子设备相对于所述对象的定向的改变是所述电子设备在与所述显示器的观看表面大体上平行的平面内的旋转,并且所述方法进一步包括:响应于确定所述电子设备相对于所述对象的定向,使所述电子设备进入免打扰(DND)模式,尤其是使设备发起的通信静音的DND模式;确定所述电子设备的定向的改变对导致所述电子设备处于相对于所述对象的另一个定向有效;以及响应于确定所述电子设备处于相对于所述对象的另一个定向,使所述电子设备退出所述DND模式。
示例16.根据示例14或15所述的方法,其中:所述电子设备包括显示器;所述对象是用户;所述电子设备相对于所述用户的定向的改变是所述电子设备在与所述显示器的观看表面大体上平行的平面内的旋转;以及所述方法进一步包括:响应于确定所述电子设备相对于所述用户的定向,以面向用户的定向在所述显示器上呈现内容;确定所述电子设备的定向的改变对导致所述电子设备处于相对于所述用户的另一个定向有效;以及响应于确定所述电子设备处于所述另一个定向,当所述电子设备处于相对于所述用户的所述另一个定向时,保持所述内容的所述面向用户的定向。
示例17.根据示例14至16中至少一项所述的方法,其中:所述电子设备包括显示器;所述对象至少包括第一用户和第二用户;确定所述电子设备相对于所述对象的定向包括确定所述电子设备相对于所述第一用户的定向;确定所述电子设备相对于所述对象的定向的改变包括确定所述电子设备相对于所述第一用户的定向的改变;所述电子设备相对于所述第一用户的定向的改变是所述电子设备的位移,所述位移对导致所述电子设备离所述第一用户更远而离所述第二用户更近有效;以及所述方法进一步包括:响应于确定所述第一用户的定向,以第一面向用户的定向在所述显示器上呈现内容;响应于确定所述电子设备相对于所述第一用户的定向的改变,以第二面向用户的定向在所述显示器上呈现内容。
示例18.根据示例14至17中至少一项所述的方法,其中:所述电子设备包括显示器;所述对象是用户;基于所述雷达数据确定所述电子设备相对于所述用户的定向进一步包括检测来自所述用户的注意提示;所述电子设备相对于所述用户的定向的改变是所述注意提示的改变;以及所述方法进一步包括:以第一内容显示模式在所述显示器上呈现内容,所述第一内容显示模式基于所述注意提示;以及响应于确定所述注意提示的改变,以第二内容显示模式在所述显示器上呈现内容,所述第二内容显示模式基于所述注意提示的改变。
示例19.根据示例18所述的方法,其中:所述第一内容显示模式和所述第二内容显示模式包括以下项中的一个或多个:媒体暂停模式、媒体播放模式、屏幕亮度水平、锁屏模式、睡眠模式、全屏模式、幻灯片模式或音量水平。
示例20.根据示例18或19所述的方法,其中,所述注意提示是所述用户的身体姿势,所述身体姿势包括以下项中的一个或多个:所述用户的躯干相对于与所述显示器的查看表面大体上平行的平面或与包含所述电子设备的所述平面大体上垂直的轴的角度;所述用户的躯干的角位置;所述用户的头部相对于与所述显示器的查看表面大体上平行的平面或与包含所述电子设备的所述平面大体上垂直的轴的角度;所述用户的头部的角位置;或者所述用户在所述电子设备的阈值距离内的存在。
结论
尽管已经以专用于特征和/或方法的语言描述了用于使能在电子设备中实现的智能手机、系统和方法的技术和装置的实施方式,但是应该理解,所附权利要求的主题并不一定限于所描述的特定特征或方法。相反,公开了特定的特征和方法作为使能在电子设备中实现的智能手机、系统和方法的示例实施方式。

Claims (20)

1.一种智能手机,包括:
显示器;
雷达系统,所述雷达系统至少部分地以硬件实现,所述雷达系统被配置成:
提供雷达场;
感测来自所述雷达场中的对象的反射;
分析来自所述雷达场中的所述对象的反射;以及
基于对所述反射的分析,提供雷达数据;
一个或多个计算机处理器;以及
一个或多个计算机可读介质,所述一个或多个计算机可读介质具有存储在其上的指令,所述指令响应于由所述一个或多个计算机处理器执行而执行操作,所述操作包括:
基于所述雷达数据的第一子集,确定所述智能手机相对于所述对象的定向;
响应于确定所述智能手机的定向,提供所述智能手机的基于定向的功能;
基于所述雷达数据的第二子集,确定所述智能手机相对于所述对象的定向的改变;以及
响应于所述定向的改变,修改所述智能手机的所述基于定向的功能。
2.根据权利要求1所述的智能手机,其中:
当所述智能手机被确定为处于相对于所述对象的第一定向时,所述智能手机的所述基于定向的功能是进入免打扰DND模式,具体地是使设备发起的通信被静音的DND模式;
所述智能手机相对于所述对象的定向的改变是所述智能手机在与所述显示器的观看表面大体上平行的平面内的旋转,所述旋转对导致所述智能手机处于相对于所述对象的第二定向有效;以及
对所述基于定向的功能的修改是退出所述DND模式。
3.根据权利要求1或2所述的智能手机,其中:
所述对象是用户;
所述智能手机的所述基于定向的功能是以面向用户的定向在所述显示器上呈现内容;
所述智能手机相对于所述用户的定向的改变是所述智能手机在与所述显示器的观看表面大体上平行的平面内的旋转,所述旋转对导致所述智能手机处于相对于所述用户的另一个定向有效;以及
对所述基于定向的功能的修改是在所述智能手机处于相对于所述用户的所述另一个定向时保持所述内容的所述面向用户的定向。
4.根据前述权利要求中的至少一项所述的智能手机,其中:
所述对象至少包括第一用户和第二用户;
所述智能手机的所述基于定向的功能是以第一面向用户的定向在所述显示器上呈现内容;
所述智能手机相对于所述第一用户的定向的改变是所述智能手机的位移,所述位移对导致所述智能手机离所述第一用户更远而离所述第二用户更近有效;以及
对所述基于定向的功能的修改是以第二面向用户的定向在所述显示器上呈现内容。
5.根据前述权利要求中的至少一项所述的智能手机,其中:
所述对象是用户;
基于所述雷达数据确定所述智能手机相对于所述用户的定向进一步包括检测来自所述用户的注意提示;
所述智能手机的所述基于定向的功能是以第一内容显示模式在所述显示器上呈现内容,所述第一内容显示模式基于所述注意提示;
所述智能手机相对于所述用户的定向的改变是所述注意提示的改变;以及
对所述智能手机的所述基于定向的功能的修改是以第二内容显示模式在所述显示器上呈现内容,所述第二内容显示模式基于所述注意提示的改变。
6.根据权利要求5所述的智能手机,其中:
所述第一内容显示模式和所述第二内容显示模式包括以下项中的一个或多个:媒体暂停模式、媒体播放模式、锁屏模式、睡眠模式、唤醒模式、全屏模式、幻灯片模式、屏幕亮度水平或音量水平。
7.根据权利要求5或6所述的智能手机,其中,所述注意提示是所述用户的身体姿势,所述身体姿势包括以下项中的一个或多个:
所述用户的躯干相对于与所述显示器的观看表面大体上平行的平面的角度;
所述用户的头部相对于与所述显示器的观看表面大体上平行的平面的角度;
所述用户的躯干的角位置;
所述用户的头部的角位置;或者
所述用户在所述智能手机的阈值距离内的存在。
8.一种系统,包括:
电子设备;
雷达系统,所述雷达系统至少部分地以硬件实现,所述雷达系统被配置成:
提供雷达场;
感测来自所述雷达场中的对象的反射;
分析来自所述雷达场中的所述对象的反射;以及
基于对所述反射的分析,提供雷达数据;
一个或多个计算机处理器;以及
一个或多个计算机可读介质,所述一个或多个计算机可读介质具有存储在其上的指令,所述指令响应于由所述一个或多个计算机处理器执行而执行操作,所述操作包括:
基于所述雷达数据的第一子集,确定所述对象在所述电子设备的感知距离内的存在;
响应于确定所述对象在所述感知距离内的存在,提供所述电子设备的基于存在的功能;
基于所述雷达数据的第二子集,确定所述对象在所述电子设备的所述感知距离之外;以及
响应于确定所述对象在所述感知距离之外,停止提供所述基于存在的功能。
9.根据权利要求8所述的系统,其中,所述基于存在的功能是以下项中的一个或多个:
对铃声、闹钟或通知的音量的调整;
对包括在所述电子设备中的电子助手所使用的通信模式的调整;
对呈现在用户界面上的内容的调整;
提供所述对象在所述感知距离内的存在的通知,所述通知被提供给存储在所述电子设备上或可由所述电子设备访问的一个或多个联系人;或者
当所述对象不在所述感知距离内时,提供之前呈现的提醒的通知。
10.根据权利要求8或9所述的系统,其中,所述电子设备包括显示器,并且所述基于雷达的应用被进一步配置成:
在所述对象在所述感知距离内的同时,确定另一个对象在所述感知距离内的存在;以及
响应于确定所述另一个对象在所述感知距离内的存在,修改所述电子设备的所述基于存在的功能。
11.根据权利要求8至10中的至少一项所述的系统,其中,所述基于雷达的应用被进一步配置成:
基于所述雷达数据,确定所述电子设备的所述感知距离内的所述对象的3D手势;以及
执行与所确定的3D手势对应的动作。
12.根据权利要求8至11中的至少一项所述的系统,其中,所述电子设备包括显示器,并且所述基于雷达的应用被进一步配置成:
在所述对象在所述感知距离内的同时,确定另一个对象在所述感知距离内的存在;以及
响应于确定所述另一个对象在所述感知距离内的存在并且基于所述雷达数据,确定:
所述电子设备的所述感知距离内的所述对象的手势;以及
所述电子设备的所述感知距离内的所述另一个对象的另一个手势;
执行与所确定的手势对应的动作;以及
执行与所确定的另一个手势对应的动作。
13.根据权利要求8所述的系统,其中,所述雷达系统进一步包括数字波束形成器和角度估计器,并且所述雷达系统被配置成监测视野中约-90度到约90度之间的角度。
14.一种实施在电子设备中的方法,所述电子设备包括雷达系统和基于雷达的应用,所述方法包括:
通过所述雷达系统提供雷达场;
通过所述雷达系统感测来自所述雷达场中的对象的反射;
分析来自所述雷达场中的所述对象的反射;
基于对所述反射的分析,提供雷达数据;
基于所述雷达数据的第一子集,确定所述电子设备相对于所述对象的定向;
响应于确定所述电子设备的定向,提供所述电子设备的基于定向的功能;
基于所述雷达数据的第二子集,确定所述电子设备相对于所述对象的定向的改变;以及
响应于所述定向的改变,修改所述电子设备的所述基于定向的功能。
15.根据权利要求14所述的方法,其中,所述电子设备包括显示器,所述电子设备相对于所述对象的定向的改变是所述电子设备在与所述显示器的观看表面大体上平行的平面内的旋转,并且所述方法进一步包括:
响应于确定所述电子设备相对于所述对象的定向,使所述电子设备进入免打扰DND模式,具体地是使设备发起的通信被静音的DND模式;
确定所述电子设备的定向的改变对导致所述电子设备处于相对于所述对象的另一个定向有效;以及
响应于确定所述电子设备处于相对于所述对象的所述另一个定向,使所述电子设备退出所述DND模式。
16.根据权利要求14或15所述的方法,其中:
所述电子设备包括显示器;
所述对象是用户;
所述电子设备相对于所述用户的定向的改变是所述电子设备在与所述显示器的观看表面大体上平行的平面内的旋转;以及
所述方法进一步包括:
响应于确定所述电子设备相对于所述用户的定向,以面向用户的定向在所述显示器上呈现内容;
确定所述电子设备的定向的改变对导致所述电子设备处于相对于所述用户的另一个定向有效;以及
响应于确定所述电子设备处于所述另一个定向,在所述电子设备处于相对于所述用户的所述另一个定向时保持所述内容的所述用户面向的定向。
17.根据权利要求14至16中的至少一项所述的方法,其中:
所述电子设备包括显示器;
所述对象至少包括第一用户和第二用户;
确定所述电子设备相对于所述对象的定向包括确定所述电子设备相对于所述第一用户的定向;
确定所述电子设备相对于所述对象的定向的改变包括确定所述电子设备相对于所述第一用户的定向的改变;
所述电子设备相对于所述第一用户的定向的改变是所述电子设备的位移,所述位移对导致所述电子设备离所述第一用户更远而离所述第二用户更近有效;以及
所述方法进一步包括:
响应于确定所述第一用户的定向,以第一面向用户的定向在所述显示器上呈现内容;
响应于确定所述电子设备相对于所述第一用户的定向的改变,以第二面向用户的定向在所述显示器上呈现内容。
18.根据权利要求14至17中的至少一项所述的方法,其中:
所述电子设备包括显示器;
所述对象是用户;
基于所述雷达数据确定所述电子设备相对于所述用户的定向进一步包括检测来自所述用户的注意提示;
所述电子设备相对于所述用户的定向的改变是所述注意提示的改变;以及
所述方法进一步包括:
以第一内容显示模式在所述显示器上呈现内容,所述第一内容显示模式基于所述注意提示;以及
响应于确定所述注意提示的改变,以第二内容显示模式在所述显示器上呈现内容,所述第二内容显示模式基于所述注意提示的改变。
19.根据权利要求18所述的方法,其中:
所述第一内容显示模式和所述第二内容显示模式包括以下项中的一个或多个:媒体暂停模式、媒体播放模式、屏幕亮度水平、锁屏模式、睡眠模式、全屏模式、幻灯片模式或音量水平。
20.根据权利要求18或19所述的方法,其中,所述注意提示是所述用户的身体姿势,所述身体姿势包括以下项中的一个或多个:
所述用户的躯干相对于与所述显示器的查看表面大体上平行的平面或与包含所述电子设备的所述平面大体上垂直的轴的角度;
所述用户的躯干的角位置;
所述用户的头部相对于与所述显示器的查看表面大体上平行的平面或与包含所述电子设备的所述平面大体上垂直的轴的角度;
所述用户的头部的角位置;或者
所述用户在所述电子设备的阈值距离内的存在。
CN201980017923.9A 2018-08-22 2019-08-05 电子设备中实现的智能手机、系统和方法 Active CN111819523B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/109,534 US10770035B2 (en) 2018-08-22 2018-08-22 Smartphone-based radar system for facilitating awareness of user presence and orientation
US16/109,534 2018-08-22
PCT/US2019/045144 WO2020040970A1 (en) 2018-08-22 2019-08-05 Smartphone, system and method implemented in an electronic device

Publications (2)

Publication Number Publication Date
CN111819523A true CN111819523A (zh) 2020-10-23
CN111819523B CN111819523B (zh) 2024-09-10

Family

ID=67770566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980017923.9A Active CN111819523B (zh) 2018-08-22 2019-08-05 电子设备中实现的智能手机、系统和方法

Country Status (5)

Country Link
US (4) US10770035B2 (zh)
EP (1) EP3743792A1 (zh)
CN (1) CN111819523B (zh)
TW (2) TWI781479B (zh)
WO (1) WO2020040970A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399642A (zh) * 2020-03-09 2020-07-10 深圳大学 手势的识别方法、装置、移动终端和存储介质
CN112817552A (zh) * 2021-02-26 2021-05-18 北京小米移动软件有限公司 屏幕控制方法、装置、设备及存储介质

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US11231975B2 (en) 2018-09-29 2022-01-25 Apple Inc. Devices, methods, and user interfaces for providing audio notifications
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN111314597B (zh) * 2018-12-11 2021-07-23 北京小米移动软件有限公司 终端、对焦方法及装置
DE102019102943A1 (de) * 2019-02-06 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit verstellbarem Bildschirm
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
US11810587B2 (en) 2019-07-26 2023-11-07 Hewlett-Packard Development Company, L.P. Noise filtrations based on radar
US10955933B2 (en) * 2019-07-29 2021-03-23 Cirque Corporation Hybrid circuit for a touch pad keyboard
EP4010894A1 (en) 2019-12-11 2022-06-15 Google LLC Color calibration of display modules using a reduced number of display characteristic measurements
EP4168819A1 (en) 2020-06-17 2023-04-26 Google LLC Multi-radar system
US11747441B2 (en) * 2020-07-29 2023-09-05 Apple Inc. Indoor/outdoor detection using wireless signals
TWI786493B (zh) * 2020-12-18 2022-12-11 開酷科技股份有限公司 具有機器學習加速器的手勢收集以及辨識系統
CN114647302A (zh) * 2020-12-18 2022-06-21 开酷科技股份有限公司 具有机器学习加速器的手势收集以及识别系统
US11809641B2 (en) 2021-02-05 2023-11-07 Nokia Technologies Oy Orientation of visual content rendered on a display of a mobile device
US11543890B2 (en) 2021-03-22 2023-01-03 KaiKuTek Inc. Custom gesture collection and recognition system having machine learning accelerator
CN113407028B (zh) * 2021-06-24 2023-07-18 上海科技大学 多用户运动手势控制方法、装置、智能音箱和介质
US11442608B1 (en) 2021-08-06 2022-09-13 Google Llc Preserving engagement state based on contextual signals
US11734462B2 (en) 2021-08-17 2023-08-22 Optum, Inc. Preventing sensitive information from being screen shared with untrusted users
US11842678B2 (en) 2021-10-12 2023-12-12 Google Llc High-brightness mode on an OLED display
US20230306968A1 (en) * 2022-02-04 2023-09-28 Apple Inc. Digital assistant for providing real-time social intelligence
US11775057B1 (en) * 2022-05-25 2023-10-03 Microsoft Technology Licensing, Llc Head-mounted display operation based on face tracking
EP4336310A1 (en) * 2022-09-06 2024-03-13 Nokia Technologies Oy Device orientation detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2637079A1 (en) * 2012-03-08 2013-09-11 Samsung Electronics Co., Ltd Electronic device for measuring angle of face and rotating screen content thereof and method thereof
CN106537173A (zh) * 2014-08-07 2017-03-22 谷歌公司 基于雷达的姿势识别
CN107391004A (zh) * 2016-05-16 2017-11-24 谷歌公司 用户界面的基于姿势的控制

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228305B2 (en) 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
JPH11338120A (ja) 1998-05-27 1999-12-10 Dainippon Screen Mfg Co Ltd レイアウト装置
US7511630B2 (en) * 1999-05-04 2009-03-31 Intellimat, Inc. Dynamic electronic display system with brightness control
US6971072B1 (en) * 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
JP3518431B2 (ja) 1999-07-21 2004-04-12 トヨタ自動車株式会社 物体検出装置及びシステム
US7085253B2 (en) 2001-11-02 2006-08-01 Samsung Electronics Co., Ltd. System and method for notifying a user of the status of other mobile terminals
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US7434169B2 (en) * 2002-11-25 2008-10-07 Aol Llc, A Delaware Limited Liability Company Facilitating communications between computer users across a network
IL156629A0 (en) * 2003-06-25 2004-01-04 A method and a system for control over unauthorized persons
US7199749B2 (en) * 2003-12-12 2007-04-03 Georgia Tech Research Corporation Radar detection device employing a scanning antenna system
US7301494B2 (en) * 2004-05-03 2007-11-27 Jeffrey Waters Combination cellular telephone and radar detector
JP2006013819A (ja) 2004-06-24 2006-01-12 Fujitsu Ltd レーダ用レフレクタ
EP2764899A3 (en) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
EP2293172A3 (en) 2005-10-26 2011-04-13 Sony Computer Entertainment Inc. System and method for interfacing and computer program
TW200731743A (en) * 2006-02-15 2007-08-16 Asustek Comp Inc Mobile device capable of adjusting volume dynamically and related method
US20080029316A1 (en) 2006-08-07 2008-02-07 Denny Jaeger Method for detecting position of input devices on a screen using infrared light emission
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8723811B2 (en) 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
US20090322690A1 (en) * 2008-06-30 2009-12-31 Nokia Corporation Screen display
JP2010038607A (ja) 2008-08-01 2010-02-18 Hitachi Ltd 検出装置および鉄道車両
TWI384850B (zh) * 2008-12-25 2013-02-01 Inventec Appliances Corp 手機及自動切換手機來電提示之方法
WO2010096546A1 (en) 2009-02-18 2010-08-26 MBTE Holdings Sweden AB Telephone call scheduling and initiation system
US7924212B2 (en) * 2009-08-10 2011-04-12 Robert Bosch Gmbh Method for human only activity detection based on radar signals
US9335825B2 (en) * 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US20110181510A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
KR20110101585A (ko) * 2010-03-09 2011-09-16 삼성전자주식회사 휴대용 단말기의 화면 전환 장치 및 방법
US20110237274A1 (en) * 2010-03-25 2011-09-29 Palm, Inc. Mobile computing device having relative positioning circuit
US8860672B2 (en) 2010-05-26 2014-10-14 T-Mobile Usa, Inc. User interface with z-axis interaction
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
KR101330811B1 (ko) 2010-08-25 2013-11-18 주식회사 팬택 인스턴트 마커를 이용한 증강 현실 장치 및 방법
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US8723986B1 (en) 2010-11-04 2014-05-13 MCube Inc. Methods and apparatus for initiating image capture on a hand-held device
TW201228332A (en) 2010-12-20 2012-07-01 Hui-Chuan Chien Mobile electronic device
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US8803697B2 (en) 2011-05-13 2014-08-12 Nokia Corporation Detecting movement for determining characteristics of user notification
KR101853277B1 (ko) * 2011-07-18 2018-04-30 삼성전자 주식회사 통화 중 응용 프로그램 실행 방법 및 이를 지원하는 모바일 단말기
EP2560145A3 (en) 2011-08-18 2017-03-15 Layar B.V. Methods and systems for enabling the creation of augmented reality content
US20130053007A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
US20130057571A1 (en) * 2011-09-02 2013-03-07 Nokia Siemens Networks Oy Display Orientation Control
KR20140069124A (ko) 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US20180032997A1 (en) 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
JP2014534405A (ja) * 2011-10-21 2014-12-18 ネスト・ラブズ・インコーポレイテッド ユーザフレンドリーな、ネットワーク接続された学習サーモスタットならびに関連するシステムおよび方法
US20130120458A1 (en) * 2011-11-16 2013-05-16 Microsoft Corporation Detecting screen orientation by using one or more proximity sensors
JP2013125328A (ja) 2011-12-13 2013-06-24 Stella Green Corp 拡張現実感表示方法
US9494973B2 (en) * 2012-05-09 2016-11-15 Blackberry Limited Display system with image sensor based display orientation
JP5477424B2 (ja) * 2012-07-02 2014-04-23 沖電気工業株式会社 物体検知装置、物体検知方法及びプログラム
US9632584B2 (en) 2013-01-08 2017-04-25 2236008 Ontario Inc. On-demand user control
US20150370443A1 (en) 2013-02-12 2015-12-24 Inuitive Ltd. System and method for combining touch and gesture in a three dimensional user interface
US20140267130A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
JP5790692B2 (ja) 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US20140315531A1 (en) 2013-04-17 2014-10-23 Donald Joong System & method for enabling or restricting features based on an attention challenge
US9075435B1 (en) * 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
WO2014181326A1 (en) 2013-05-08 2014-11-13 Geva Ran Motion-based message display
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US20140347188A1 (en) * 2013-05-22 2014-11-27 Motorola Mobility Llc Auto-adjust of indication characteristics based on user proximity
TWI547626B (zh) 2013-05-31 2016-09-01 原相科技股份有限公司 具有手勢感測器的裝置
KR102160767B1 (ko) 2013-06-20 2020-09-29 삼성전자주식회사 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
US9589565B2 (en) 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
US20140380249A1 (en) 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
US9058738B1 (en) 2013-07-26 2015-06-16 SkyBell Technologies, Inc. Doorbell communication systems and methods
US20150036999A1 (en) 2013-07-30 2015-02-05 Texas Instruments Incorporated Viewer Attention Controlled Video Playback
EP2887092A1 (en) 2013-12-18 2015-06-24 BAE SYSTEMS plc Computing radar cross section
US20150187137A1 (en) 2013-12-31 2015-07-02 Daqri, Llc Physical object discovery
JP5899251B2 (ja) 2014-01-29 2016-04-06 本田技研工業株式会社 車両用入力装置
US20160118036A1 (en) 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
US10338800B2 (en) 2014-02-21 2019-07-02 FLIR Belgium BVBA Enhanced pilot display systems and methods
US9921657B2 (en) 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US9575560B2 (en) * 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10367950B2 (en) 2014-06-11 2019-07-30 Lenovo (Singapore) Pte. Ltd. Device notification adjustment dependent on user proximity
US20150370472A1 (en) 2014-06-19 2015-12-24 Xerox Corporation 3-d motion control for document discovery and retrieval
US9497592B2 (en) 2014-07-03 2016-11-15 Qualcomm Incorporated Techniques for determining movements based on sensor measurements from a plurality of mobile devices co-located with a person
US9600177B2 (en) 2014-07-17 2017-03-21 Google Technology Holdings LLC Electronic device with gesture display control and corresponding methods
KR20160012410A (ko) 2014-07-24 2016-02-03 삼성전자주식회사 전자 장치 및 이의 출력 제어 방법
WO2016017978A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
US9811164B2 (en) * 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9778749B2 (en) * 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
DE202015005999U1 (de) * 2014-08-26 2015-11-26 Apple Inc. Benutzerschnittstelle zum Einschränken von Meldungen und Alarmen
CN204145834U (zh) 2014-09-26 2015-02-04 生迪光电科技股份有限公司 智能照明装置及照明系统
US9600080B2 (en) * 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9911235B2 (en) 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
TWI514193B (zh) * 2014-12-25 2015-12-21 Univ Nat Sun Yat Sen 動作感測裝置
CN104793731A (zh) 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备
KR102256676B1 (ko) * 2015-02-06 2021-05-26 삼성전자주식회사 전파 기반 센서 모듈을 이용하는 센싱 장치 및 이동 단말을 포함하는 다목적 디바이스
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US10168785B2 (en) 2015-03-03 2019-01-01 Nvidia Corporation Multi-sensor based user interface
JP2016205907A (ja) 2015-04-20 2016-12-08 株式会社Ihiエアロスペース コーナーリフレクタ、及び該コーナーリフレクタを備えたデコイシステム。
WO2016176574A1 (en) * 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
US10134368B2 (en) 2015-06-04 2018-11-20 Paypal, Inc. Movement based graphical user interface
US9691361B2 (en) * 2015-08-03 2017-06-27 International Business Machines Corporation Adjusting presentation of content on a display
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
JP6515028B2 (ja) 2015-12-18 2019-05-15 本田技研工業株式会社 車両用操作装置
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US11558848B2 (en) 2016-03-30 2023-01-17 Lenovo (Singapore) Pte. Ltd. Intelligent notification delivery
US10687184B2 (en) 2016-05-13 2020-06-16 Google Llc Systems, methods, and devices for utilizing radar-based touch interfaces
US10613213B2 (en) 2016-05-13 2020-04-07 Google Llc Systems, methods, and devices for utilizing radar with smart devices
US20170349184A1 (en) 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
US10353478B2 (en) 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
US20180018965A1 (en) 2016-07-12 2018-01-18 Bose Corporation Combining Gesture and Voice User Interfaces
US20180052520A1 (en) 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
US10299290B2 (en) 2016-09-30 2019-05-21 Intel IP Corporation Apparatus, system and method of radar detection
KR101847295B1 (ko) 2016-10-31 2018-05-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치
US10726835B2 (en) 2016-12-23 2020-07-28 Amazon Technologies, Inc. Voice activated modular controller
JP2018116653A (ja) 2017-01-20 2018-07-26 株式会社デンソーテン 識別装置、識別システム、および識別方法
US11243293B2 (en) 2017-02-07 2022-02-08 Samsung Electronics Company, Ltd. Radar-based system for sensing touch and in-the-air interactions
US10914834B2 (en) 2017-05-10 2021-02-09 Google Llc Low-power radar
US10719870B2 (en) 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
WO2019056393A1 (zh) 2017-09-25 2019-03-28 华为技术有限公司 一种终端界面的显示方法及终端
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
CN108334199A (zh) 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置
US10796157B2 (en) 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
US10579154B1 (en) 2018-08-20 2020-03-03 Google Llc Smartphone-based radar system detecting user gestures using coherent multi-look radar processing
US10794997B2 (en) 2018-08-21 2020-10-06 Google Llc Smartphone-based power-efficient radar processing and memory provisioning for detecting gestures
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2637079A1 (en) * 2012-03-08 2013-09-11 Samsung Electronics Co., Ltd Electronic device for measuring angle of face and rotating screen content thereof and method thereof
CN106537173A (zh) * 2014-08-07 2017-03-22 谷歌公司 基于雷达的姿势识别
CN107391004A (zh) * 2016-05-16 2017-11-24 谷歌公司 用户界面的基于姿势的控制

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399642A (zh) * 2020-03-09 2020-07-10 深圳大学 手势的识别方法、装置、移动终端和存储介质
CN112817552A (zh) * 2021-02-26 2021-05-18 北京小米移动软件有限公司 屏幕控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
TWI726349B (zh) 2021-05-01
EP3743792A1 (en) 2020-12-02
TWI781479B (zh) 2022-10-21
CN111819523B (zh) 2024-09-10
US20200193942A1 (en) 2020-06-18
US10930251B2 (en) 2021-02-23
US20200066236A1 (en) 2020-02-27
US11176910B2 (en) 2021-11-16
US10770035B2 (en) 2020-09-08
TW202121130A (zh) 2021-06-01
US20220036863A1 (en) 2022-02-03
TW202009654A (zh) 2020-03-01
US20200372879A1 (en) 2020-11-26
WO2020040970A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
CN111819523B (zh) 电子设备中实现的智能手机、系统和方法
CN111868664B (zh) 用于在较低功率模式下确定用户意图的基于智能电话的雷达系统
KR102479012B1 (ko) 일시정지된 레이더 제스처에 대한 시각적 표시자
US11169615B2 (en) Notification of availability of radar-based input for electronic devices
US20210064144A1 (en) Methods for Reliable Acceptance of User Non-Contact Gesture Inputs for a Mobile Device
US20210064145A1 (en) Detecting and Processing Unsuccessfully Recognized or Unsuccessfully Utilized Non-Contact Gestures for a Computing System
JP7270070B2 (ja) モバイルデバイスのための入力方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant