CN111788821A - 使用超声检测电子设备的环境 - Google Patents

使用超声检测电子设备的环境 Download PDF

Info

Publication number
CN111788821A
CN111788821A CN201980014962.3A CN201980014962A CN111788821A CN 111788821 A CN111788821 A CN 111788821A CN 201980014962 A CN201980014962 A CN 201980014962A CN 111788821 A CN111788821 A CN 111788821A
Authority
CN
China
Prior art keywords
audio signal
transducer
received
determining
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980014962.3A
Other languages
English (en)
Other versions
CN111788821B (zh
Inventor
菲利普·索斯勒
博格达纳·拉科瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111788821A publication Critical patent/CN111788821A/zh
Application granted granted Critical
Publication of CN111788821B publication Critical patent/CN111788821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/895—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques characterised by the transmitted frequency spectrum
    • G01S15/8952—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques characterised by the transmitted frequency spectrum using discrete, multiple frequencies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/041—Analysing solids on the surface of the material, e.g. using Lamb, Rayleigh or shear waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/12—Analysing solids by measuring frequency or resonance of acoustic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/34—Generating the ultrasonic, sonic or infrasonic waves, e.g. electronic circuits specially adapted therefor
    • G01N29/348—Generating the ultrasonic, sonic or infrasonic waves, e.g. electronic circuits specially adapted therefor with frequency characteristics, e.g. single frequency signals, chirp signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4454—Signal recognition, e.g. specific values or portions, signal events, signatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/46—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by spectral analysis, e.g. Fourier analysis or wavelet analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/48—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by amplitude comparison
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/895—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques characterised by the transmitted frequency spectrum
    • G01S15/8956—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques characterised by the transmitted frequency spectrum using frequencies at or above 20 MHz
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52085—Details related to the ultrasound signal acquisition, e.g. scan sequences
    • G01S7/5209—Details related to the ultrasound signal acquisition, e.g. scan sequences using multibeam transmission
    • G01S7/52092—Details related to the ultrasound signal acquisition, e.g. scan sequences using multibeam transmission using frequency diversity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/10—Number of transducers
    • G01N2291/102—Number of transducers one emitter, one receiver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S15/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S15/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

在一个实施方式中，方法包括从电子设备的第一换能器向电子设备附近的表面发射第一音频信号。第一音频信号基于频率范围内的频率扫描而生成。该方法还包括在电子设备的第二换能器处接收至少部分地反射离开表面的第二音频信号。然后，该方法基于所接收的第二音频信号来确定表面的属性。

Description

使用超声检测电子设备的环境
技术领域
本公开概括地涉及使用超声检测电子设备的环境。
背景技术
许多电子设备在正常操作期间会遇到若干不同对象。例如，智能手机在一天中可能放置在许多不同的表面上或不同表面附近。这种表面可包括厨房桌子、车辆座位或车辆中的电话支架、工作桌、背包、咖啡桌、躺椅以及床头柜。其它设备也可能在其操作期间遇到多个对象。例如，机器人真空吸尘器在其真空时可能遇到不同的地板表面，例如木材、地毯、瓷砖、层压板等。机器人真空装置也可能遇到许多障碍，例如家具、墙壁、门道和楼梯。甚至非移动设备也可能在其操作期间遇到多个对象。例如，微波炉可能遇到多种不同类型的食品容器，例如塑料、陶瓷、玻璃、甚至金属。
发明内容
问题的解决方案
在一个实施方式中，方法包括：从电子设备的第一换能器向电子设备附近的表面发射第一音频信号，其中第一音频信号基于频率范围内的频率扫描而生成；在电子设备的第二换能器处接收第二音频信号，其中第二音频信号的至少一部分被反射离开表面；以及基于所接收的第二音频信号来确定表面的属性。
在另一实施方式中，装置包括第一换能器、第二换能器、以及包含指令和一个或多个处理器的一个或多个非暂时性存储介质，处理器可操作为执行指令以启动将第一音频信号从第一换能器向装置附近的表面发射，其中第一音频信号基于在频率范围内的频率扫描而生成；处理第二音频信号。其中第二音频信号由第二换能器接收并且第二音频信号的至少一部分被反射离开表面；以及基于第二音频信号确定表面的属性。
在另一实施方式中，一个或多个非暂时性计算机可读存储介质包含指令，指令在由一个或多个处理器执行时使一个或多个处理器启动将第一音频信号从电子设备的第一换能器向装置附近的表面发射，其中第一音频信号基于频率范围内的频率扫描而生成；处理第二音频信号，其中第二音频信号由电子设备的第二换能器接收，并且第二音频信号的至少一部分被反射离开表面；以及基于第二音频信号确定表面的属性。
附图说明
图1示出了用于发射和感测超声扫描的示例性部件。
图2示出了与从示例性超声扫描接收的音频信号相对应的示例性材料标记。
图3示出了用于机器学习训练和预测的示例图。
图4示出了用于发射和感测超声扫描的示例性方法。
图5示出了示例性计算机系统。
具体实施方式
本公开的电子设备提供使用至少一个换能器精确地感测设备的不同表面、对象或环境的能力。例如，电子设备可以是电话或平板，并且换能器可以是电话或平板的扬声器和麦克风。使用换能器，设备发射超声扫描并解释由换能器接收的声波。如本文所描述的，设备解释所接收的声波以感测设备附近的表面或对象。然后，如本文更全面地描述的，设备可以检测并识别表面或对象，并且可使用该信息来启用或增强宽范围的功能。
如本文所使用的，“超声扫描(ultrasonic sweep)”是指一定范围的超声频率。换句话说，通过发射超声扫描，设备发射一定范围的超声频率。一定范围的超声频率与附近的对象相互作用并从附近的对象反射(即，来自附近的对象的回波)。因为不同的材料(例如，木材、布料)与不同的声学特性相关联，所以回波是扫描频率和超声频率与其相互作用的材料的特性二者的函数。通过分析时域和频域中的一个或两个中的回波，电子设备可以使用回波来确定其所处的环境。例如，电子设备可以使用回波来检测其所处的特定表面或其附近的对象。该设备还可以检测其环境中的变化。例如，该设备可以最初检测其所定位的特定表面。如果另一对象随后被放置在设备附近，则接收到的超声波可指示对象已经在其附近移动。如本文所解释的，检测对象的属性可以包括检测对象接近、检测接近的对象的类型或识别接近的特定对象、检测对象的一些性质(例如，材料性质)、和/或检测对象与设备的距离、或关于对象的任何其它合适的信息。此外，来自其它传感器(例如GPS传感器或加速度计)的信息可以与来自超声换能器的信息组合以确定与电子设备的环境有关的附加信息。例如，设备可以使用位置信息和回波信息来确定其在用户工作场所的桌子上而不是在用户家中的桌子上。
与传统的超声成像技术不同，本文使用的超声扫描不必限于小范围的频率。例如，超声扫描可以包括从18kHz到24kHz的频率。超声扫描可以仅包括听不见的频率，使得设备附近的人无法听到超声扫描。此外，如前面的示例所示，本公开的实施方式可以使用比在超声成像技术中使用的那些更低的超声频率。此外，与超声成像技术不同，来自本文描述的超声扫描的实施方式的声波不一定被注入到附近的对象中。相反，声波与这些对象的表面相互作用。因此，在那些实施方式中，电子设备在发射换能器与被检测对象之间无需耦合剂。此外，可以显著地节省功率，因为与将声波发送到对象体积中所需的功率相比，将声波耦合到对象的表面需要较小的量(即较小功率)。此外，根据本文所述的实施方式，不必需要专门的换能器来发射和检测声波。因此，具有例如扬声器和麦克风的现有电子设备可以利用本文描述的技术来增加该设备的功能。
电子设备的换能器接收来自发射的超声扫描的声波。接收到的声波可以包括来自超声扫描的已从附近对象反射的声波，以及已耦合到换能器的声波。不同材料具有不同的声学特性，可以通过与那些特性相关联的回波特征来检测。例如，不同材料具有不同的声学特性和阻抗，并且可以不同地吸收、反射或扩散进入的声音。在某些频率或频率范围内，通过在发射超声扫描的设备处接收的声波的振幅和频率来表现这些差异。
图1示出了用于发射、感测和处理超声扫描的示例性部件。部件可以包括频率扫描生成器110，频率扫描生成器110通过扫过特定范围的频率来生成声波的短脉冲串或“线性调频脉冲(chirp)”。线性调频脉冲可以是任何合适的长度，例如20毫秒。线性调频脉冲的量决定被发射的声波的振幅。例如，如果在智能电话中使用，则发射线性调频脉冲的扬声器的量可以是最大量的75％。在特定实施方式中，线性调频脉冲的量可以基于被检测的对象而改变。例如，如果设备在线性调频脉冲之后没有检测到任何对象，则该设备可以增加量并发射另一线性调频脉冲。该过程可以继续，直到检测到对象，或者直到达到预定的功率电平或不成功的尝试次数。
本公开考虑扫过任何合适范围的频率。一个示例性范围可以是18kHz到24kHz。在特定实施方式中，可以使用下限，使得换能器120A不发射可听频率，或者在可听频率中发射非常少的功率。在特定实施方式中，所使用的频率范围以及该范围的上限可以取决于换能器120A的能力，下面描述的采样系统的能力，和/或取决于超声感测系统的使用情况(例如，需要更多细节的系统可以利用具有相对较高频率范围的扫描)。例如，在特定实施方式中，可以使用48kHz的较高频率。
在特定实施方式中，频率扫描生成器110可以利用每个线性调频脉冲扫描整个频率范围。在特定实施方式中，频率扫描生成器110可以扫过较大频率范围的子范围。例如，在特定实施方式中，线性调频脉冲生成器可以使用六个5kHz宽的线性调频脉冲来扫过20kHz到50kHz的频率范围。在特定实施方式中，频率扫描生成器110可以在整个频率范围内初始扫描，随后在该范围的子部分通过线性调频脉冲扫描。例如，频率扫描生成器110可以在进行整个(或至少较大)范围扫描并检测到对象的某一方面之后调谐到特定子范围。例如，初始扫描可以跨越对应于各种材料的声学特性的频率范围。如果检测到金属，则频率扫描生成器110可以调谐到证明为金属的特定子范围。因此，频率扫描生成器的扫描频率可调谐以利用不同的材料获得最佳的结果。
换能器120A发射由频率扫描生成器110生成的线性调频脉冲(即音频信号)。换能器120B接收由线性调频脉冲产生的回波。在特定实施方式中，换能器120A和120B可以是物理分离的换能器。例如，换能器120A可以是传统的智能电话扬声器，而换能器120B可以是传统的智能电话麦克风。在特定实施方式中，两个换能器可以并行操作(即，在麦克风接收时扬声器发射)。在特定实施方式中，换能器120A和120B可以是单个换能器。例如，换能器120A-B可以使用既发射线性调频脉冲又接收相应回波的单个换能器(例如压电)来实现。在特定实施方式中，换能器120A-B可以串行操作(即，发送然后接收压电)。如上所述，由换能器120B接收的信号可以包括由表面115反射或发射的声波以及直接从换能器120A接收的声波。
模数转换器(ADC)130可用于数字化由换能器120B接收的原始信号。ADC 130可以实现为硬件或软件(例如，在可编程芯片中)。在特定实施方式中，ADC系统可尽可能快地采样所接收的信号。在任何情况下，为了满足奈奎斯特极限，采样速率必须是系统解析的最高频率的两倍。例如，如果换能器120A扫过18-24kHz的范围，并且系统将解析24kHz信号，则应该至少在48kHz处对接收到的信号进行采样。
经采样的接收信号被置于适当大小的缓冲器中。例如，特定实施方式可以使用2048字节的缓冲器大小。本公开预期可使用任何合适的缓冲器大小来收集经采样的接收信号。例如，如下所述，在快速傅立叶变换(FFT)处理期间，可以使用更大的缓冲器大小来确定更详细的特征。如下所述，可以使用一个具有缓冲器的数据值作为预测或分类样本。
在特定实施方式中，来自ADC130的输出(或接收信号的任何其它合适的变体)被馈送到FFT模块140。FFT模块140可以将接收的信号分成多个频率仓(bin)。在特定实施方式中，所使用的仓的数目可以是基于缓冲器大小和奈奎斯特极限可能的仓的最大数目。例如，如果使用2048的缓冲器大小来缓存接收的信号，则FFT模块140可将接收的信号划分成多达1024个仓。
在特定实施方式中，每个仓可以包含相同的频率带宽。例如，假设设备分析高达24kHz的超声扫描并使用2048位的缓冲器。采样频率必须至少为48kHz，并且所使用的仓的数量可以高达1024。如果使用最大数量的仓，并且如果每个仓包含相同的带宽，则每个仓包含48,000/2,048Hz＝23.4375Hz的带宽。如下面更全面地描述的，每个仓可以表示频率空间中的特征。
FFT模块140可以使用接收信号的整个频谱，或者其可关注于一个或多个感兴趣区域。例如，如果超声扫描发射不可听的18kHz到24kHz频带中的频率，则感兴趣区域可对应于18kHz到24kHz以及与那些频率相关联的相应仓。因此，使用以上示例，感兴趣区域可以对应于仓号768(即，18,000/23.4375)到仓号1024(24,000/23.4375)。本公开考虑在接收信号中可能存在多个感兴趣区域和相应的频率仓。
在特定实施方式中，每个仓可以表示特征向量中的特征，该特征向量具有与所使用的仓的数量相对应的维度。例如，使用以上实施例，可以使用对应于仓768-1024的原始特征向量(即，257维原始特征向量)来表示作为超声扫描的结果而接收到的信号(或者，在特定实施方式中，信号的感兴趣区域)。在特定实施方式中，FFT模块140可使用原始特征向量的具有一定窗口尺寸(例如10)个样本的滑动移动平均值。例如，滑动移动平均值可以计算初始10个样本(即，10个缓冲器的数据值)的平均值。下一平均计算值使用附加样本(例如，样本2-11)并计算那些样本的滑动移动平均值。类似地，下一平均计算值使用附加样本(例如，样本3-12)并计算那些样本的滑动移动平均值。移动平均值(也称为滚动均值)可使用有限脉冲响应滤波器来消除相对短期波动并突出较长期(例如，超过10个样本)的趋势。虽然本公开讨论了使用10个样本的窗口尺寸，但是本公开也考虑使用任何合适的窗口尺寸以用于滑动移动平均值。
在特定实施方式中，可以对FFT模块140的输出执行预处理。作为一个实施例，数字信号处理器(“DSP”)150可将所得特征向量归一化，例如将FFT样本归一化，使得其具有零均值和单位方差。例如，归一化可以包括从向量中的每个特征(即，从上述的每个仓中)减去样本的均值(或者，如果适用的话，样本中的感兴趣区域)，并将该结果除以样本的标准偏差(或者，如果适用的话，样本中的感兴趣区域)。本公开考虑任何适当的处理可由可执行任何适当预处理软件的、适当硬件部件的任何适当组合来执行。图2示出了由频谱图输出的示例性归一化接收信号。如图所示，不同的材料在18kHz到24kHz的频率范围内具有不同的特征。
DSP 150的输出(即，预处理的原始特征向量)可输入到机器学习分类器中。图3示出了由示例性机器学习分类器160执行的示例步骤。如图3所示，在步骤302中，分类器可以接收预处理数据。
如图3所示，机器学习分类器160可以执行训练、预测或两者。训练和预测中的一者或二者可以使用适当数量样本的滑动移动平均值作为输入，例如上述10个样本的滑动移动平均值。为了训练，机器学习分类器可以训练特定的机器学习分类器。本公开考虑可以使用任何合适的机器学习技术来训练机器学习分类器160。例如，支持向量机(SVM)可以是用于训练分类器160的一种机器学习技术。在特定实施方式中，SVM分类器是在特征向量的高维空间中的数据样本之间建立最佳超平面的区别分类器。
为了训练机器学习分类器160，可收集适当数量的训练样本(其可以是一个缓冲器的数据值或者可以是适当数量的样本的滑动移动平均值)，并将其用于训练分类器，如步骤304和306所示。例如，可以使用300个样本来训练分类器。在特定实施方式中，可以对较大频率范围的多个特定子范围中的每一个执行训练。在特定实施方式中，可以使用作为扫过整个频率范围的结果而获得的样本来执行训练。
在特定实施方式中，如步骤308所示，可以通过向经训练的分类器呈现测试样本或样本集并评估分类器的预测来确定经训练的分类器的性能。训练可继续直到分类器以高于阈值率的速率(例如90％、95％、99％、99.5％或更高或更低)实现准确的分类。
在特定实施方式中，可由电子设备的制造商或电子设备上的特定软件应用程序来执行训练。例如，机器人真空装置的制造商可以在出售真空装置之前针对一系列表面材料训练真空装置的分类器。在特定实施方式中，当电子设备遇到未知表面时，可以进行训练。例如，设备可以使用来自表面的样本进行训练，然后向设备的用户或后端(例如，基于云或基于服务器)数据库查询设备的身份。在特定实施方式中，分类器可以根据用户的请求进行训练。例如，用户可以在设备的图形用户界面(GUI)上选择交互元素，或者选择使设备进行训练的物理交互元素(例如按钮)。
本公开考虑训练和分类数据可以存储在任何合适的位置并由任何合适的设备访问。例如，训练和分类数据可以存储在用户设备(例如智能电话)的本地存储器中。训练和分类数据可以是或可以不是其它设备可访问的。例如，被训练来检测用户的特定床头柜的设备可不与其他设备共享，或者可只与用户授权的设备共享。作为另一示例，可以与其他设备共享对用户并非唯一的表面的训练。在特定实施方式中，训练和分类数据可以存储在可由电子设备访问的服务器设备上。在特定实施方式中，训练的结果可用于更新与用户、设备、表面或材料、产品或其任何合适的组合相关联的简档。例如，针对由特定类型的木材制成的特定桌子的训练可以用于更新“桌子”、“木材”和特定类型的桌子(例如桌子的制造者和制造商)的简档。
如图3所示，分类器可以包括预测能力。图3示出了预测器可以执行的示例性步骤。如上所述，预测器可以接收预测输入，该预测输入可以是缓冲器的数据值或样本集的滑动移动平均值。作为步骤310的输出，预测器输出以概率或分类分数形式的分类结果。步骤312可以对那些输出执行后处理。例如，在步骤312中的后处理可以包括通过应用适当的统计过滤器进一步校准分类分数或概率。过滤器可以类似于作为预处理步骤的一部分所应用的滤波器，并且可以包括应用移动平均、归一化或其它合适的滤波器。步骤312应用一种或多种统计技术以基于概率或分类分数的集合来选择在步骤310中输出的适当分类结果。例如，步骤312可以输出与最高概率相关联的分类输出的标签。因此，在这种情况下，步骤312的输出是预测的类别标签(例如“木材”)。在步骤314中，预测器可以通过要求一行中的特定阈值数量N个样本(或Y个样本中的样本N的特定部分)被分类为相同的事情，将接收的预测输出样本“去抖动”。例如，预测器可以要求在对电子设备附近的对象或表面进行分类之前，将10个样本(不论是适当数量的数据样本的10个缓冲器数据值还是10个滑动移动平均值)分类为相同的事物(例如，“木材”)。在步骤316中，由预测器输出预测。
图4示出用于发射和感测声波扫描的示例方法。在步骤402中，该方法包括从电子设备的第一换能器向电子设备附近的表面发送第一音频信号。如步骤402所示，可以基于频率范围内的频率扫描来生成第一音频信号。在步骤404中，该方法包括在电子设备的第二换能器处接收第二音频信号。如步骤404所示，第二音频信号的至少一部分可反射离开表面。在步骤406中，该方法包括基于所接收的第二音频信号来确定表面的属性，诸如该表面的材料、表面为其一部分的对象的标识、对象与设备之间的距离的标识等。如图4所示，虽然本公开的实施方式涉及超声扫描，但是本公开考虑音频信号可通过本文描述的某些实施方式更普遍地使用。例如，图1的组件可用于生成、发送、接收和分析扫过频率范围的音频信号。
在适当的情况下，特定实施方式可以重复图4的方法中的一个或多个步骤。尽管本公开描述并说明了以特定顺序发生的图4的方法的特定步骤，但是本公开考虑以任何适当顺序发生的图4的方法的任何适当步骤。此外，尽管本公开描述并说明了基于发送和接收音频信号来确定关于对象表面的一些内容的示例性方法，但是本公开考虑基于发送和接收音频信号来确定关于对象表面的一些内容的任何合适的方法，在适当的情况下，该方法可以包括图4的方法的所有步骤、一些步骤或不包括图4的方法的任何步骤。此外，尽管本公开描述并说明了执行图4的方法的特定步骤的特定组件、设备或系统，但是本公开考虑执行图4的方法的任何合适步骤的任何合适的组件、设备或系统的任何合适组合。
在特定实施方式中，超声扫描可以例如以预定间隔周期性地发生。在特定实施方式中，超声扫描可以仅在设备相对静止时发生。例如，智能电话可以具有传感器，例如检测设备的运动的加速度计。超声扫描可以仅在智能电话静止时执行，例如预定时间段。在特定实施方式中，只要电子设备中的状态机被触发，就可执行超声扫描。例如，当设备静止特定时间量或者在特定时间量内处于特定取向时，可以触发状态机。作为另一示例，当设备处于特定位置(例如，家或工作)时，可以触发状态机。作为另一示例，可以基于任何合适的传感器来触发状态机。例如，每当用于移动真空装置的功率量改变(例如，如果真空装置从地毯移动到层压地板)时，机器人真空清洁器可以产生超声扫描。
在特定实施方式中，本文所描述的超声系统可与来自其它传感器(例如加速度计、陀螺仪、GPS传感器、Wi-Fi传感器、蓝牙等)的输出结合。例如，如果处于两个不同物理位置的桌子由相同材料制成，则电子设备可以使用超声扫描来识别桌子，并且使用GPS信号或Wi-Fi SSID来识别该设备附近的特定桌子(例如，家或工作)。作为另一示例，陀螺仪可以用于识别设备的方位，其可以提供与设备的情境有关的信息。例如，如果智能电话放在塑料表面上，则智能电话可以推断出其在家具的塑料件上。相反，如果电话靠近塑料表面竖立，则电话可能不位于家具上，而可估计为例如在车辆中的塑料电话底座中。
在特定实施方式中，从电子设备到对象的距离可以通过来自从设备发射的超声扫描的接收声波的振幅来估计。例如，如果苹果放置在智能电话的前面并移离或移向电话，则特定频率仓中的振幅将以特定方式改变，例如振幅分别线性或近似线性地降低或增加。因此，特征向量中的提取特征的振幅可以用于估计到对象的距离，以及对象本身或对象的材料。
在特定实施方式中，对象或对象的一个或多个方面可以通过超声系统检测。如本文所使用的，这种检测可称为检测表面的属性。可检测的属性包括对象表面上使用的材料类型、对象的形状、或对象的接近度，所有这些都基于对象的声学特性，当超声扫描被传递到对象时，这些特性导致唯一标记(signature)。在特定实施方式中，可以使用偏离基线扫描的偏差来确定对象的存在。例如，智能电话可以检测到其位于桌子上作为接收的超声波的结果以及“桌子”的结果预测。如果来自相同频率范围内的后续扫描的标记改变但智能电话并未检测到其已移动，则改变的标记可理解为指示另一对象的存在或者对象已移动到更靠近或更远离设备。基线标记可以从改变的标记中去除，从而留下表示智能电话的环境中的变化(例如，对象的存在或对象的距离变化)的信号。在特定实施方式中，如果使用具有足够功率的超声扫描，则可以检测表面的厚度。可以基于来自超声扫描的标记来检测对象的其它属性。例如，水果和蔬菜中的组织随着水果或蔬菜成熟而发生弹性变化。因此，来自特定扫描的回波可以识别水果或蔬菜的成熟。
在特定实施方式中，可以使用超声扫描来估计设备与对象之间的距离。如上所述，可以使用接收信号的一个或多个特征的振幅变化来估计距离。在特定实施方式中，超声系统能够检测的距离可以取决于超声扫描中使用的频率、发射信号的功率、对象的尺寸或体积、以及对象相对于超声发射器的取向。例如，可以检测到诸如平板之类的对象达到15厘米远，并可以检测到诸如墙壁或大显示器之类的较大表面达到几英尺远。
在特定实施方式中，用户可以将特定标记或标记类别(例如，标识某种类型的材料)与特定环境相关联。例如，如果用户的智能电话识别大理石柜台并且用户将标记与“厨房”相关联，则随后对标记的检测(例如，该特定标记，或者在特定实施方式中，预测为从大理石表面产生的任何标记)将指示电话处于厨房中。在特定实施方式中，用户可指定标记(例如，“大理石”或“该特定大理石柜台”或“该特定大理石柜台上的特定位置”)的粒度以与特定环境相关联。在特定实施方式中，用户可以以训练命令(例如语音命令“厨房、训练”)指定环境，这将导致电话训练并将接收到的标记与环境“厨房”相关联。在特定实施方式中，环境可以自动地与特定标记相关联。例如，如咖啡桌的制造商可以将其标记提供给数据库，可以访问该数据库的电子设备可以将相应标记与“起居室”相关联。作为另一示例，对应于瓷器的标记可以与环境“浴室”相关联。如本文别处所述，其它传感器数据可与标记组合使用以确定特定环境。
对象、表面、环境或其组合的检测可以用于方便多个功能。例如，如果基于超声扫描(在特定实施方式中，来自其它传感器的输出)，通过智能电话或计算机检测到办公桌，则可将生产力应用程序放在计算机的前景，并且可以将通知静音或过滤，从而仅允许与工作相关的通知。
作为另一示例，如果智能电话检测到用户在汽车中，则电话可以禁用电话呼叫、打开地图应用、限制或禁止分散通知、自动配对或启用蓝牙或其他合适的功能。
作为另一示例，如果智能电话检测到床头柜，则电话可以设置其闹钟并激活由电话发出的噪声受到限制的模式。作为另一示例，如果通过智能电话检测到厨房桌子，则电话可以自动地配对到智能电话范围内的扬声器。电话还可在其他智能设备处触发事件，例如，如果智能设备通过因特网或本地网络与电话联网的话。例如，如果电话检测到咖啡桌或登录表，则电话可以启动打开电视、打开灯、设置恒温器等。
作为另一示例，如果诸如电话的设备检测到其浸没在液体中(例如，如果电话落入玻璃制品或湖中)，则其可以自动关闭自身以防止对内部电子设备的损坏。作为另一示例，如果电话检测到其处于背包或其它类型的携带袋(例如钱包)中，则电话可以自动进入节能模式。作为另一示例，如果诸如电话的设备检测到其接近表面的边缘，则其可以通知用户以使用户可以防止设备掉落。在特定实施方式中，当设备围绕表面移动时，设备可以使用多个扫描来映射表面。
在特定实施方式中，与正被检测的特定对象、表面、环境或其组合相关联的功能性可至少部分地由用户确定。例如，用户可以定义应响应于特定检测事件而发生的事件。此外，用户可以在其他设备上定义应该发生的事件，如果其他设备连接到包含超声系统的设备的话。例如，当用户的电话检测到与用户的家相关联的标记时，用户可以选择激活用户家中与用户的智能电话(例如，通过Wi-Fi网络)联网的智能恒温器。
在特定实施方式中，超声扫描可用于帮助设备的室内定位和/或确定设备的位置。例如，电话可以使用来自例如Wi-Fi信号的信息，以使用Wi-Fi信号和来自超声扫描的标记来定位电话。因此，例如，设备可以参考房屋的特定部分(例如，楼上或楼下)来定位自身；特定房间(例如，厨房或卧室)；和/或参考特定房间中的特定位置(例如，沙发上或床上)。在特定实施方式中，如果放错位置，用户可以更准确地定位他/她的电话。此外或替代地，电话可以基于其位置来显示目标通知。例如，如果在起居室中，电话可以提供关于电视上播放什么的通知。该检测可用于实现附加的功能，例如打开电话被检测到处于其中的房间/区域的灯。
根据各种实施方式，方法包括：从电子设备的第一换能器向电子设备附近的表面发射第一音频信号，其中第一音频信号基于频率范围内的频率扫描而生成；在电子设备的第二换能器处接收第二音频信号，其中第二音频信号的至少一部分被反射离开表面；以及基于接收到的第二音频信号，确定表面的属性。
在一些实施方式中，频率范围包括超声频率。
在一些实施方式中，第一换能器与表面之间没有超声耦合剂。
在一些实施方式中，频率范围包括18kHz到24kHz。
在一些实施方式中，频率范围包括多个子范围，并且方法还包括基于接收的第二音频信号来调谐第一换能器以在多个子范围中的一个或多个子范围处进行发射。
在一些实施方式中，第一换能器包括扬声器，第二换能器包括麦克风。
在一些实施方式中，第一换能器是第二换能器。
在一些实施方式中，第二音频信号的至少一部分是第一换能器与第二换能器之间耦合的结果，并且基于接收的第二音频信号来确定表面的属性包括：至少基于第二音频信号的作为第一换能器与第二换能器之间耦合的结果的一部分；以及第二音频信号的反射离开表面的一部分，来确定表面的属性。
在一些实施方式中，基于接收的第二音频信号来确定表面的属性包括：分析频率空间中的接收的第二音频信号；将频率空间划分成多个仓，每个仓对应于频带；将接收的第二音频信号的振幅在多个仓中的一个或多个仓中与标记中的一个或多个对应仓进行比较，每个标记对应于一个或多个对象的一个或多个声学特性；以及基于比较，确定表面的属性。
在一些实施方式中，基于接收的第二音频信号确定表面的属性包括：通过机器学习分类器确定接收的第二音频信号的一个或多个属性，并将接收的第二音频信号的一个或多个属性与表面的属性相关联。
在一些实施方式中，将接收的第二音频信号的一个或多个属性与表面的属性相关联包括：从电子设备的用户接收表面的属性的标识。
在一些实施方式中，将接收的第二音频信号的一个或多个属性与表面的属性相关联包括：从标记数据库访问与对应于接收的第二音频信号的一个或多个属性的标记相关联的、表面的属性的标识，其中每个标记对应于一个或多个对象的一个或多个声学特性。
在一些实施方式中，确定表面的属性包括确定表面的材料的类型。
在一些实施方式中，方法还包括基于表面的属性来确定电子设备的环境。
在一些实施方式中，电子设备包括一个或多个传感器，并且基于来自传感器中的至少一个的输出和表面的属性来确定设备的环境。
在一些实施方式中，环境包括电子设备的位置。
在一些实施方式中，方法还包括基于电子设备的位置来启用或禁用电子设备的一个或多个功能。
在一些实施方式中，功能包括电子设备上的应用的功能。
在一些实施方式中，功能包括电子设备的特定模式。
在一些实施方式中，确定表面的属性包括确定包括表面的对象的存在。
在一些实施方式中，方法还包括基于接收的第二音频信号来确定对象与电子设备之间的距离。
在一些实施方式中，确定表面的属性包括识别包括表面的对象。
虽然本公开描述了电话或手写板中超声扫描的环境的若干实施方式，但是本公开考虑可以在任何合适的设备中实现用于发射和感测超声扫描的系统。例如，在机器人真空吸尘器中，系统可以识别当前正在清洁的表面，并且在特定实施方式中，基于检测到何种表面来应用不同的清洁设置。作为另一示例，系统可以在诸如手表的可佩戴设备中实现，并且可以用于例如确定可佩戴设备是否正被用户佩戴(即，基于检测衣服或人皮肤的存在)。实际上，特定实施方式可以基于例如唯一地对应于用户的衣服或身体的标记来自动识别佩戴该设备的用户。作为另一示例，系统可以在微波炉中实现，其可以用于例如确定用户是否已将不可微波的材料(例如金属或某些塑料)放置到微波炉中。当这种材料存在时，微波炉可以禁止通电。
图5示出了示例计算机系统500。在特定实施方式中，一个或多个计算机系统500执行本文所描述或说明的一种或多种方法的一个或多个步骤。在特定实施方式中，一个或多个计算机系统500提供本文所描述或说明的功能。在特定实施方式中，运行在一个或多个计算机系统500上的软件执行本文所描述或说明的一种或多种方法的一个或多个步骤，或提供本文所描述或说明的功能。特定实施方式包括一个或多个计算机系统500的一个或多个部分。在本文中，在适当的情况下，对计算机系统的引用可以包括计算设备，反之亦然。此外，在适当的情况下，对计算机系统的引用可以包括一种或多种计算机系统。
本公开考虑任何适当数量的计算机系统500。本公开考虑采用任何合适的物理形式的计算机系统500。作为示例而非限制，计算机系统500可以是嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(例如，计算机模块(COM)或系统模块(SOM))、台式计算机系统、膝上型或笔记本计算机系统、交互式信息亭、主机、计算机系统的网格、移动电话、个人数字助理(PDA)、服务器、平板计算机系统、增强/虚拟现实设备、或这些设备中的两个或更多个的组合。在适当的情况下，计算机系统500可以包括一个或多个计算机系统500；是单一式的或分布式的；跨越多个位置；跨多台机器；跨越多个数据中心；或者驻留在云中，云可以包括一个或多个网络中的一个或多个云组件。在适当的情况下，一个或多个计算机系统500可以在没有实质空间或时间限制的情况下执行本文描述或说明的一个或多个方法的一个或多个步骤。作为示例而非作为限制，一个或多个计算机系统500可以实时地或以批量模式执行本文描述或说明的一个或多个方法的一个或多个步骤。一个或多个计算机系统500可以在不同的时间或者在不同的位置执行本文描述或说明的一个或多个方法的一个或多个步骤。
在特定实施方式中，计算机系统500包括处理器502、内存504、存储器506、输入/输出(I/O)接口508、通信接口510和总线512。尽管本公开描述并示出了在特定布置中具有特定数量的特定组件的特定计算机系统，但是本公开考虑在任何适当布置中具有任何适当数量的任何适当组件的任何适当计算机系统。
在特定实施方式中，处理器502包括用于执行指令的硬件，例如组成计算机程序的那些指令。作为示例而非限制，为了执行指令，处理器502可以从内部寄存器、内部缓存、内存504或存储器506获取(或提取)指令；解码并执行指令；然后将一个或多个结果写入内部寄存器、内部缓存、内存504或存储器506。在特定实施方式中，处理器502可包含用于数据，指令或地址的一个或多个内部缓存。本公开考虑处理器502在适当的情况下包括任何适当数目的任何适当内部缓存。作为示例而非限制，处理器502可以包括一个或多个指令缓存、一个或多个数据缓存、以及一个或多个转换后备缓冲器(TLB)。指令缓存中的指令可以是内存504或存储器506中的指令的副本，并且指令缓存可以加速处理器502对这些指令的获取。数据缓存中的数据可以是内存504或存储器506中用于在处理器502处执行以进行操作的指令的数据副本；在处理器502处执行的先前指令的结果，以用于通过在处理器502处执行的后续指令访问或用于写入内存504或存储器506；或其它合适的数据。数据缓存可加速处理器502的读取或写入操作。TLB可加速处理器502的虚拟地址转换。在特定实施方式中，处理器502可包括用于数据、指令或地址的一个或多个内部寄存器。在适当的情况下，本公开考虑处理器502包括任何适当数目的任何适当的内部寄存器。在适当的情况下，处理器502可以包括一个或多个算术逻辑单元(ALU)；为多核处理器；或者包括一个或多个处理器502。尽管本公开描述并说明了特定的处理器，但是本公开考虑任何合适的处理器。
在特定实施方式中，内存504包括用于存储供处理器502执行的指令或供处理器502操作的数据的主存储器。作为示例而非限制，计算机系统500可将指令从存储器506或另一源(例如，另一计算机系统500)加载到内存504。然后，处理器502可以将来自内存504的指令加载到内部寄存器或内部缓存。为了执行指令，处理器502可从内部寄存器或内部缓存获取指令并对其进行解码。在执行指令期间或之后，处理器502可将一个或多个结果(其可为中间或最终结果)写入到内部寄存器或内部缓存。然后，处理器502可以将这些结果中的一个或多个写入内存504。在特定实施方式中，处理器502仅执行一个或多个内部寄存器或内部缓存或内存504(相对于存储器506或别处)中的指令，且仅对一个或多个内部寄存器或内部缓存或内存504(相对于存储器506或别处)中的数据进行操作。一个或多个存储器总线(其可各自包括地址总线和数据总线)可将处理器502耦合到内存504。总线512可包括一个或多个存储器总线，如下文所述。在特定实施方式中，一个或多个存储器管理单元(MMU)驻留在处理器502与内存504之间，并且便于对处理器502所请求的内存504的访问。在特定实施方式中，内存504包括随机存取存储器(RAM)。在适当的情况下，RAM可以是易失性存储器。在适当的情况下，RAM可以是动态RAM(DRAM)或静态RAM(SRAM)。此外，在适当的情况下，RAM可以是单端口或多端口RAM。本公开考虑任何合适的RAM。在适当的情况下，内存504可以包括一个或多个内存504。尽管本公开描述并说明了特定的存储器，但是本公开考虑任何合适的存储器。
在特定实施方式中，存储器506包括用于数据或指令的大容量存储器。作为示例而非限制，存储器506可以包括硬盘驱动器(HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带、或通用串行总线(USB)驱动器、或这些中的两个或更多个的组合。在适当的情况下，存储器506可以包括可移动或不可移动(或固定)介质。在适当的情况下，存储器506可以在计算机系统500的内部或外部。在特定实施方式中，存储器506是非易失性固态存储器。在特定实施方式中，存储器506包括只读存储器(ROM)。在适当的情况下，ROM可以是掩模编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可变ROM(EAROM)、或闪存或这些中的两个或更多个的组合。本公开考虑采用任何合适的物理形式的大容量存储器506。在适当的情况下，存储器506可以包括一个或多个便于在处理器502与存储器506之间进行通信的存储控制单元。在适当的情况下，存储器506可以包括一个或多个存储器506。尽管本公开描述并说明了特定的存储器，但是本公开考虑任何合适的存储器。
在特定实施方式中，I/O接口508包括硬件、软件或两者，只要是用于计算机系统500与一个或一个以上I/O设备之间通信的一个或多个接口即可。在适当的情况下，计算机系统500可以包括这些I/O设备中的一个或多个。这些I/O设备中的一个或多个可以实现人与计算机系统500之间的通信。作为示例而非限制，I/O设备可以包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态照相机、触笔、输入板、触摸屏、跟踪球、摄像机、其他合适的I/O设备或这些设备中的两个或更多个的组合。I/O设备可以包括一个或多个传感器。本公开考虑任何合适的I/O设备和用于它们的任何合适的I/O接口508。在适当的情况下，I/O接口508可以包括一个或多个设备或软件驱动器，使得处理器502能够驱动这些I/O设备中的一个或多个。在适当的情况下，I/O接口508可以包括一个或多个I/O接口508。尽管本公开描述并说明了特定的I/O接口，但是本公开考虑任何合适的I/O接口。
在特定实施方式中，通信接口510包括硬件、软件或两者，只要用于在计算机系统500与一个或多个其它计算机系统500或一个或多个网络之间通信(例如，基于分组的通信)的一个或多个接口。作为示例而非限制，通信接口510可以包括用于与以太网或其它基于有线的网络通信的网络接口控制器(NIC)或网络适配器、或者用于与无线网络(例如WI-FI网络)通信的无线NIC(WNIC)或无线适配器。本公开考虑任何合适的网络和用于它的任何合适的通信接口510。作为示例而非限制，计算机系统500可以与自组织网络、个人区域网络(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、或因特网的一个或多个部分，或这些中的两个或多个的组合进行通信。这些网络中的一个或多个中的一个或多个部分可以是有线的或无线的。作为示例，计算机系统500可以与无线PAN(WPAN)(例如蓝牙WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(例如全球移动通信系统(GSM)网络)或其它合适的无线网络或这些网络中的两个或更多个的组合进行通信。在适当的情况下，计算机系统500可以包括用于这些网络中的任何一个的任何适当的通信接口510。在适当的情况下，通信接口510可以包括一个或多个通信接口510。尽管本公开描述并说明了特定的通信接口，但是本公开考虑任何合适的通信接口。
在特定实施方式中，总线512包括将计算机系统500的组件彼此耦合的硬件、软件或两者。作为示例而非限制，总线512可包括加速图形端口(AGP)或其它图形总线、增强型工业标准体系结构(EISA)总线、前侧总线(FSB)、超传输(HT)互连、工业标准体系结构(ISA)总线、INFINIBAND互连、低引脚计数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线、或其它合适的总线或这些中的两个或更多个的组合。在适当的情况下，总线512可以包括一个或多个总线512。尽管本公开描述并图示了特定总线，但是本公开考虑任何合适的总线或互连。
根据各种实施方式，装置包括第一换能器、第二换能器和一个或多个非暂时性存储介质，非暂时性存储介质包含指令和一个或多个处理器，处理器可操作为执行指令以启动第一音频信号从第一换能器向装置附近的表面传输，其中第一音频信号是基于频率范围内的频率扫描而产生；处理第二音频信号，其中第二音频信号由第二换能器接收，并且第二音频信号的至少一部分被反射离开表面；以及基于第二音频信号确定表面的属性。
根据各种实施方式，一个或多个非暂时性计算机可读存储介质包括指令，指令在由一个或多个处理器执行时使一个或多个处理器启动第一音频信号从电子设备的第一换能器向装置附近的表面传输，其中第一音频信号是基于频率范围内的频率扫描而产生；处理第二音频信号，其中第二音频信号由电子设备的第二换能器接收，并且第二音频信号的至少一部分被反射离开表面；以及基于第二音频信号确定表面的属性。
在本文中，计算机可读非暂时性存储介质可以包括一个或多个基于半导体的电路或其它集成电路(IC)(例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ORD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字卡或驱动器、任何其它合适的计算机可读非暂时性存储介质、或其中两个或多个的任何合适的组合，如果合适的话。在适当的情况下，计算机可读非暂时性存储介质可以是易失性、非易失性或易失性与非易失性的组合。
在本文中，“或”是包含性的且不是排他性的，除非另外明确地指示或由上下文另外指示。因此，在本文中，“A或B”是指“A、B或两者”，除非另外明确指示或另外通过上下文指示。此外，“和”是共同且连带的，除非另外明确指出或另外通过上下文指出。因此，在本文中，“A和B”是指“A和B，共同地或连带地”，除非另外明确地指示或另外通过上下文指示。
在本文中，“自动地”及其派生词意指“没有人类干预”，除非另外明确地指示或另外通过上下文指示。
本公开的范围包括本领域普通技术人员将理解的对本文中描述或说明的示例性实施方式的所有改变、替换、变化、变更和修改。本公开的范围不限于本文描述或说明的示例性实施方式。此外，尽管本公开将相应的实施方式描述和图示为包括特定的组件、元件、特征、功能、操作或步骤，但是这些实施方式中的任一个可以包括本文中本领域普通技术人员将理解的任何地方描述或图示的任何组件、元件、特征、功能、操作或步骤的任何组合或置换。此外，在所附权利要求中提及的装置或系统或装置或系统的部件适于、布置为、能够、配置成、被使能、可操作为或可操作地执行特定功能包括装置、系统、部件的特定功能，无论它或该特定功能是否被激活、开启或解锁，只要该装置、系统或部件如此适配、布置、能够、配置、使能、可操作或可操作执行即可。此外，尽管本公开描述或说明了提供特定优点的特定实施方式，但是特定实施方式可以不提供这些优点、或提供这些优点中的一些或全部。

Claims (15)

1.一种方法，包括：
从电子设备的第一换能器向所述电子设备附近的表面发射第一音频信号，其中所述第一音频信号基于频率范围内的频率扫描而生成；
在所述电子设备的第二换能器处接收第二音频信号，其中所述第二音频信号的至少一部分反射离开所述表面；以及
基于接收到的第二音频信号确定所述表面的属性。
2.根据权利要求1所述的方法，其中：
所述频率范围包括多个子范围；以及
所述方法还包括：基于接收到的第二音频信号调谐所述第一换能器以在所述多个子范围中的一个或多个处发射。
3.根据权利要求1所述的方法，其中：
所述第二音频信号的至少一部分是所述第一换能器与所述第二换能器之间耦合的结果；以及
基于接收到的第二音频信号确定所述表面的属性包括：至少基于以下各项确定所述表面的属性：
所述第二音频信号的作为所述第一换能器与所述第二换能器之间耦合的结果的一部分；以及
所述第二音频信号的反射离开所述表面的一部分。
4.根据权利要求1所述的方法，其中，基于接收到的第二音频信号确定所述表面的属性包括：
在频率空间中分析所述接收到的第二音频信号；
将所述频率空间划分成多个仓，每个仓对应于一频带；
将所述接收到的第二音频信号的振幅在所述多个仓中的一个或多个仓中与标记的一个或多个对应仓进行比较，每个标记对应于一个或多个对象的一个或多个声学特性；以及
基于所述比较确定所述表面的属性。
5.根据权利要求1所述的方法，其中基于接收到的第二音频信号确定所述表面的属性包括：
通过机器学习分类器确定所述接收到的第二音频信号的一个或多个属性；以及
将所述接收到的第二音频信号的一个或多个属性与所述表面的属性相关联。
6.根据权利要求5所述的方法，其中，将所述接收到的第二音频信号的一个或多个属性与所述表面的属性相关联包括：从所述电子设备的用户接收所述表面的属性的标识。
7.根据权利要求5所述的方法，其中，将所述接收到的第二音频信号的一个或多个属性与所述表面的属性相关联包括：
从标记数据库访问与对应于所述接收到的第二音频信号的一个或多个属性的标记相关联的、所述表面的属性的标识，其中每个标记对应于一个或多个对象的一个或多个声学特性。
8.根据权利要求1所述的方法，其中，确定所述表面的属性包括确定所述表面的材质的类型。
9.根据权利要求1所述的方法，还包括基于所述表面的属性来确定所述电子设备的环境。
10.根据权利要求9所述的方法，其中：
所述电子设备包括一个或多个传感器；以及
基于来自所述传感器中的至少一个的输出以及所述表面的属性来确定所述设备的环境。
11.根据权利要求9所述的方法，其中，所述环境包括所述电子设备的位置。
12.根据权利要求11所述的方法，还包括基于所述电子设备的位置来启用或禁用所述电子设备的一个或多个功能。
13.根据权利要求1所述的方法，其中确定所述表面的属性包括确定包括所述表面的对象的存在。
14.根据权利要求1所述的方法，其中确定所述表面的属性包括识别包括所述表面的对象。
15.一种装置，包括：
第一换能器；
第二换能器；以及
一个或多个非暂时性存储介质，包括指令和一个或多个处理器，所述处理器可操作为执行所述指令以：
启动从所述第一换能器向所述装置附近的表面发射第一音频信号，其中所述第一音频信号基于频率范围内的频率扫描而生成；
处理第二音频信号，其中所述第二音频信号由所述第二换能器接收并且所述第二音频信号的至少一部分反射离开所述表面；以及
基于所述第二音频信号确定所述表面的属性。
CN201980014962.3A 2018-03-09 2019-03-07 一种用于检测电子设备附近的表面的方法和装置 Active CN111788821B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/917,512 US10802142B2 (en) 2018-03-09 2018-03-09 Using ultrasound to detect an environment of an electronic device
US15/917,512 2018-03-09
PCT/KR2019/002670 WO2019172686A1 (en) 2018-03-09 2019-03-07 Detecting an environment of an electronic device using ultrasound

Publications (2)

Publication Number Publication Date
CN111788821A true CN111788821A (zh) 2020-10-16
CN111788821B CN111788821B (zh) 2022-07-12

Family

ID=67844507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980014962.3A Active CN111788821B (zh) 2018-03-09 2019-03-07 一种用于检测电子设备附近的表面的方法和装置

Country Status (4)

Country Link
US (1) US10802142B2 (zh)
EP (1) EP3732872A4 (zh)
CN (1) CN111788821B (zh)
WO (1) WO2019172686A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201804129D0 (en) * 2017-12-15 2018-05-02 Cirrus Logic Int Semiconductor Ltd Proximity sensing
US10802142B2 (en) * 2018-03-09 2020-10-13 Samsung Electronics Company, Ltd. Using ultrasound to detect an environment of an electronic device
DE102018206741A1 (de) * 2018-05-02 2019-11-07 Robert Bosch Gmbh Ultraschallsystem eines Fahrzeugs
US10754475B2 (en) * 2018-12-21 2020-08-25 Intel Corporation Near ultrasound based proximity sensing for mobile devices
US10928889B1 (en) * 2019-01-22 2021-02-23 Facebook Technologies, Llc Apparatus, system, and method for directional acoustic sensing via wearables donned by users of artificial reality systems
US10725588B2 (en) 2019-03-25 2020-07-28 Intel Corporation Methods and apparatus to detect proximity of objects to computing devices using near ultrasonic sound waves
WO2021059995A1 (ja) * 2019-09-25 2021-04-01 日本電気株式会社 状態推定装置、状態推定方法、及び、記録媒体
US20220057498A1 (en) * 2020-08-21 2022-02-24 Chirp Microsystems, Inc. Detecting presence of a moving object with an ultrasonic transducer
US12111712B2 (en) 2021-03-24 2024-10-08 Intel Corporation Methods and apparatus to detect proximity of objects to computing devices using near ultrasonic sound waves

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3987403A (en) * 1974-01-18 1976-10-19 Russell Peter Smith Sensory aids for the blind
WO1995031719A1 (en) * 1994-05-12 1995-11-23 Southern Research Institute Apparatus and method for ultrasonic spectroscopy testing of materials
CN1820213A (zh) * 2004-04-28 2006-08-16 松下电器产业株式会社 超声波测距装置
US20090114021A1 (en) * 2008-07-16 2009-05-07 Den Boer Peter Christiaan Ultrasonic inspection method and device for plastics walls
US20130096881A1 (en) * 2011-10-14 2013-04-18 Vibrant Corporation Systems and methods for nondestructive testing of parts
US20140214205A1 (en) * 2013-01-29 2014-07-31 Samsung Electronics Co., Ltd. Robot cleaner and control method thereof
US20150107361A1 (en) * 2013-10-17 2015-04-23 Battelle Memorial Institute Container screening system and method
CN105959547A (zh) * 2016-05-25 2016-09-21 努比亚技术有限公司 拍照处理装置及方法
CN107202559A (zh) * 2017-05-08 2017-09-26 西北工业大学 基于室内声学信道扰动分析的物体识别方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644299A (en) 1993-07-29 1997-07-01 Bindicator Company Ultrasonic material level measurement
US8176783B2 (en) * 2007-09-25 2012-05-15 Los Alamos National Security, Llc Non-contact fluid characterization in containers using ultrasonic waves
US7963165B2 (en) * 2007-09-25 2011-06-21 Los Alamos National Security, Llc Non-contact feature detection using ultrasonic Lamb waves
US9473580B2 (en) 2012-12-06 2016-10-18 Cisco Technology, Inc. System and associated methodology for proximity detection and device association using ultrasound
US9542787B2 (en) 2013-03-15 2017-01-10 De La Rue North America Inc. Systems and methods for detecting a document attribute using acoustics
JP6293259B2 (ja) 2013-04-01 2018-03-14 杭州惠道科技有限公司Ｈａｎｇｚｈｏｕ Ｋｉｎｄ−Ｔａｏ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． スマートウォッチ
US20160217578A1 (en) 2013-04-16 2016-07-28 Red Lotus Technologies, Inc. Systems and methods for mapping sensor feedback onto virtual representations of detection surfaces
US20140378184A1 (en) 2013-06-25 2014-12-25 Nvidia Corporation Mobile communications device having a distance sensor and a method of manufacturing the same
CN103344959B (zh) 2013-07-22 2016-04-20 苏州触达信息技术有限公司 一种超声定位系统和具有定位功能的电子装置
US20150097674A1 (en) 2013-10-07 2015-04-09 Recon Dynamics, Llc System and method for automatic tool tracking, monitoring, and inventory management
US20150294656A1 (en) 2014-04-12 2015-10-15 Gregor Z. Hanuschak Method and system for generating sounds using portable and inexpensive hardware and a personal computing device such as a smart phone
US10182118B2 (en) 2014-04-12 2019-01-15 Gregor Z. Hanuschak Method and apparatus for interacting with a personal computing device such as a smart phone using portable and self-contained hardware that is adapted for use in a motor vehicle
JP2015228580A (ja) 2014-05-30 2015-12-17 キヤノンマーケティングジャパン株式会社 携帯端末、その制御方法、及びプログラム
US20160044394A1 (en) 2014-08-07 2016-02-11 Nxp B.V. Low-power environment monitoring and activation triggering for mobile devices through ultrasound echo analysis
US20160127867A1 (en) 2014-11-04 2016-05-05 Iadea Corporation Location-based service delivering system and location-based service delivering method for person carrying energy-emitting mobile device
BR112018000692A2 (pt) 2015-07-14 2018-09-18 Driving Man Systems Inc detecção da localização de um telefone mediante o uso de sinais de rf sem fio e ultrassônicos
US20170103440A1 (en) 2015-08-01 2017-04-13 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US9786100B2 (en) 2015-11-02 2017-10-10 Cubic Corporation Integration of position sensor with RF reader
US20170257682A1 (en) 2016-03-01 2017-09-07 Yaniv SHTALRYD Monitoring Device, System and Method for Monitoring an Individual
US10591593B2 (en) 2016-03-19 2020-03-17 Hipscience, Llc Point of reference displacement and motion sensor
US10802142B2 (en) * 2018-03-09 2020-10-13 Samsung Electronics Company, Ltd. Using ultrasound to detect an environment of an electronic device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3987403A (en) * 1974-01-18 1976-10-19 Russell Peter Smith Sensory aids for the blind
WO1995031719A1 (en) * 1994-05-12 1995-11-23 Southern Research Institute Apparatus and method for ultrasonic spectroscopy testing of materials
US5591913A (en) * 1994-05-12 1997-01-07 Southern Research Institute Apparatus and method for ultrasonic spectroscopy testing of materials
CN1820213A (zh) * 2004-04-28 2006-08-16 松下电器产业株式会社 超声波测距装置
US20090114021A1 (en) * 2008-07-16 2009-05-07 Den Boer Peter Christiaan Ultrasonic inspection method and device for plastics walls
US20130096881A1 (en) * 2011-10-14 2013-04-18 Vibrant Corporation Systems and methods for nondestructive testing of parts
WO2013055728A1 (en) * 2011-10-14 2013-04-18 Vibrant Corporation Systems and methods for nondestructive testing of parts
US20140214205A1 (en) * 2013-01-29 2014-07-31 Samsung Electronics Co., Ltd. Robot cleaner and control method thereof
US20150107361A1 (en) * 2013-10-17 2015-04-23 Battelle Memorial Institute Container screening system and method
CN105959547A (zh) * 2016-05-25 2016-09-21 努比亚技术有限公司 拍照处理装置及方法
CN107202559A (zh) * 2017-05-08 2017-09-26 西北工业大学 基于室内声学信道扰动分析的物体识别方法

Also Published As

Publication number Publication date
US10802142B2 (en) 2020-10-13
EP3732872A1 (en) 2020-11-04
CN111788821B (zh) 2022-07-12
US20190277966A1 (en) 2019-09-12
WO2019172686A1 (en) 2019-09-12
EP3732872A4 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
CN111788821B (zh) 一种用于检测电子设备附近的表面的方法和装置
US10671231B2 (en) Electromagnetic interference signal detection
KR101819682B1 (ko) 다수의 디바이스들 상에서 핫워드 검출
US10642370B2 (en) Proximity detection
US20160261268A1 (en) Processing Electromagnetic Interference Signal Using Machine Learning
US11899885B2 (en) Methods and apparatus to detect proximity of objects to computing devices using near ultrasonic sound waves
US10976432B2 (en) Acoustic locationing for smart environments
US10101869B2 (en) Identifying device associated with touch event
WO2011123833A1 (en) Immersive multimedia terminal
CN108027684B (zh) 电磁干扰信号检测
US9582121B2 (en) Signal processing for acoustic user input
WO2018077713A4 (en) Capturing and processing sound signals
US20160090293A1 (en) Microelectromechanical systems (mems) audio sensor-based proximity sensor
US20160178748A1 (en) Active Indoor Location Sensing For Mobile Devices
US20240142615A1 (en) Acoustic proximity detection for computers with reduced power consumption
EP3350681B1 (en) Electromagnetic interference signal detection
EP3335317B1 (en) Processing electromagnetic interference signal using machine learning
Saez et al. Ultrasound technology for touchless HMI system: finger tracker
NO20211335A1 (en) Presence detecting device
WO2023079005A1 (en) Proximity and distance detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant