CN110880320A - 用于虚拟助理的方法、数据处理系统以及代理设备 - Google Patents

用于虚拟助理的方法、数据处理系统以及代理设备 Download PDF

Info

Publication number
CN110880320A
CN110880320A CN201910838106.1A CN201910838106A CN110880320A CN 110880320 A CN110880320 A CN 110880320A CN 201910838106 A CN201910838106 A CN 201910838106A CN 110880320 A CN110880320 A CN 110880320A
Authority
CN
China
Prior art keywords
sensor
mode
virtual assistant
user
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910838106.1A
Other languages
English (en)
Other versions
CN110880320B (zh
Inventor
J·科祖比
R·彼得斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN110880320A publication Critical patent/CN110880320A/zh
Application granted granted Critical
Publication of CN110880320B publication Critical patent/CN110880320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G01C5/06—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels by using barometric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开的实施例涉及用于虚拟助理的方法、数据处理系统以及代理设备。提供了一种用于虚拟助理的方法。该方法包括：在第一操作模式下，控制至少一个传感器以感测物理量。进一步地，该方法包括：在第一操作模式下，从至少一个传感器接收指示该物理量的传感器数据。附加地，该方法包括：在第一操作模式下，处理传感器数据以检测传感器数据是否表现出预先确定的特征。如果在传感器数据中检测到预先确定的特征，则该方法包括：将虚拟助理的操作模式设置为指派给预先确定的特征的第二操作模式。

Description

用于虚拟助理的方法、数据处理系统以及代理设备
技术领域
示例涉及用户的虚拟助理。具体地，示例涉及用于虚拟助理的方法、托管用户的虚拟助理的数据处理系统以及用于使得用户能够与虚拟助理交互的代理设备。
背景技术
话音控制的数字助理/虚拟助理正变得越来越普及。然而，这些助理易受例如第三人、儿童或音频文件的不期望的操纵的影响。为了防止对虚拟助理的这些不期望的操纵，可以使用人类用户的认证、验证和预检测。同时，要确保用户的隐私，以使通常不能用相机和/或话音识别进行全面监测。
发明内容
因此，可能需要改进人类存在的预检测。
所附权利要求的主题可以满足该要求。
示例涉及一种用于虚拟助理的方法。该方法包括：在第一操作模式下，控制至少一个传感器以感测物理量。进一步地，该方法包括：在第一操作模式下，从至少一个传感器接收指示该物理量的传感器数据。附加地，该方法包括：在第一操作模式下，处理传感器数据以检测传感器数据是否表现出预先确定的特征。如果在传感器数据中检测到预先确定的特征，则该方法包括：将虚拟助理的操作模式设置为指派给预先确定的特征的第二操作模式。
另一示例涉及一种非暂态机器可读介质，其上存储有程序，该程序具有程序代码，该程序代码用于当在处理器上执行该程序时，执行本文中所描述的方法。
另一示例涉及一种托管用户的虚拟助理的数据处理系统。该数据处理系统包括一个或多个处理器，其被配置为在第一操作模式下，控制至少一个传感器以感测物理量。进一步地，该一个或多个处理器被配置为在第一操作模式下，从至少一个传感器接收指示该物理量的传感器数据。附加地，该一个或多个处理器被配置为在第一操作模式下，处理传感器数据以检测传感器数据是否表现出预先确定的特征。如果在传感器数据中检测到预先确定的特征，则该一个或多个处理器被配置为将虚拟助理的操作模式设置为指派给预先确定的特征的第二操作模式。
附加地，示例涉及用于一种使得用户能够与虚拟助理交互的代理设备。该代理设备包括至少一个麦克风，其被配置为从用户接收针对虚拟助理的话音命令；以及至少一个扬声器，其被配置为将虚拟助理提供的声音数据输出给用户。进一步地，代理设备包括网络接口，其被配置为在代理设备和托管虚拟助理的数据处理系统之间交换数据。代理设备还包括以下各项中的一项或多项：至少一个压力传感器，其被配置为感测代理设备的环境中的气压；至少一个雷达传感器，其被配置为感测用户在代理设备的环境中的存在或运动；第一传感器接口，其被配置为耦合到至少一个外部压力传感器，该至少一个外部压力传感器感测感兴趣区域中的气压；第二传感器接口，其被配置为耦合到至少一个外部雷达传感器，该至少一个外部雷达传感器感测用户在感兴趣区域中的存在或运动。
又一示例涉及一种用于虚拟助理的装置。该装置包括用于在第一操作模式下控制至少一个传感器以检测物理量的器件。附加地，该装置包括用于在第一操作模式下从至少一个传感器接收指示该物理量的传感器数据的器件。附加地，该装置包括用于在第一操作模式下处理传感器数据以检测传感器数据是否表现出预先确定的特征的器件。该装置还包括用于如果在传感器数据中检测到预先确定的特征，则将虚拟助理的操作模式设置为指派给预先确定的特征的第二操作模式的器件。
附图说明
以下将仅通过示例并且参考附图对装置和/或方法的一些示例进行描述，其中
图1图示了虚拟助理的方法的示例的流程图；以及
图2图示了用于使得用户能够与虚拟助理交互的代理设备的示例。
具体实施方式
现在，参考附图对各种示例进行更全面的描述，附图中示出了一些示例。在附图中，为了清楚起见，可以夸大线、层和/或区域的厚度。
因而，虽然其他示例能够具有各种修改和备选形式，但是其一些特定示例在附图中示出并且随后将进行详细描述。然而，该具体实施方式并不将其他示例局限于所描述的特定形式。其他示例可以涵盖落入本公开范围内的所有修改、等同物和备选物。在整个附图的描述中，相同或相似的数字是指相同或相似的元件，当相互比较时，这些元件可以相同或以修改的形式实现，同时提供相同或相似的功能。
应当理解，当一个元件被称为“连接”或“耦合”到另一元件时，这些元件可以直接或经由一个或多个中间元件连接或耦合。如果使用“或”组合两个元件A和B，则应当理解，如果没有另外明确地或隐含地限定，则这是要公开所有可能组合，即仅A、仅B、以及A和B。对于相同组合的备选措辞是“A和B中的至少一个”或“A和/或B”。已作必要的修正，这种情况同样适用于两个以上元件的组合。
本文中用于描述特定示例的术语不旨在限制其他示例。无论何时使用诸如“一”、“一个”和“该”之类的单数形式以及仅使用单个元件，既不明确地也不隐含地限定为强制性的，其他示例都可以使用多个元件来实现相同的功能。同样，当将功能随后描述为使用多个元件实现时，其他示例可以使用单个元件或处理实体来实现相同的功能。应当进一步理解，术语“包括(comprises)”、“包括(comprising)”、“包含(includes)”和/或“包含(including)”在使用时指定所述特征、整数、步骤、操作、过程、动作、元件和/或部件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、过程、动作、元件、部件和/或其任何组。
除非另外定义，否则所有术语(包括技术术语和科学术语)在本文中以其示例所属领域的普通含义使用。
图1图示了用于虚拟助理的方法100。虚拟助理是计算机实现的代理，其可以为个人执行任务或服务。比如，虚拟助理本质上是软件，至少部分是软件。它还可能包括硬件部件。例如，虚拟助理可以提供诸如天气或事实之类的信息、设置警报、制作待办事项清单或购物清单、播放来自流媒体服务的音乐或视频、或者在在线销售平台上购买物品。虚拟助理被托管在数据处理系统上。例如，数据处理系统可以包括一个或多个处理器，该一个或多个处理器执行用于托管虚拟助理的专用软件。用户可以经由代理设备与虚拟助理进行交互。例如，用户可以经由话音、手势和/或文本与虚拟助理进行交互。代理设备可以实现为各种类型的物理平台，诸如智能扬声器、移动电话(例如，智能电话)、平板电脑、膝上型电脑或车辆。也就是说，代理设备用作使得用户能够与虚拟助理交互的用户界面。应当指出，虚拟助理可以由代理设备本身部分或全部托管。可替代地，虚拟助理托管在代理设备以外的地点。
方法100包括：在第一操作模式下，控制102至少一个传感器以感测物理量，即，物理现象。至少一个传感器可以布置在多种地点中。例如，至少一个传感器可以布置在物理代理设备中。可替代地，至少一个传感器可以布置在感兴趣区域中的物理代理设备外部。物理代理设备可以例如包括用于耦合到外部传感器的网络接口。物理量可以是允许表征感兴趣区域的任何量。例如，物理量可以是代理设备的环境中的气压，或者是感兴趣区域中的气压。换句话说，至少一个传感器可以是压力传感器(例如，实现为MicroElectroMechanicalSystem(MEMS)传感器)。在其他示例中，至少一个传感器可以是雷达传感器。因此，物理量可以是由雷达传感器接收的(反射的)电磁波。在一些示例中，至少一个传感器可以与用于接收用户的话音命令的物理代理设备的麦克风不同。
在第一操作模式下，方法100还包括：从至少一个传感器接收104指示该物理量的传感器数据。例如，托管虚拟助理的数据处理系统可以经由网络(例如，互联网)从物理代理设备接收传感器数据。通过使用至少一个传感器感测环境，可以在第一操作模式下收集关于环境或环境的改变的数据。
附加地，方法100包括：在第一操作模式下，处理106传感器数据以检测传感器数据是否表现出预先确定的特征。该预先确定的特征是传感器数据中的“指纹”，其特征在于感测区域的某个状态或改变。预先确定的特征可以是例如典型绝对气压、典型气压改变(变化)、或接收电磁波的典型模式。例如，预先确定的特征可以指示人类的存在、至少一个传感器和/或代理设备的特定地点、打开门等。可以扫描传感器数据例如以获得预先确定的特征。
在一些示例中，预先确定的特征可以基于使用至少一个传感器的一个或多个参考测量。换句话说，虚拟助理可以针对预先确定的特征进行校准。例如，可以测量用户的人类呼吸以便确定允许确定人类存在的典型气压改变。此外，可以测量由关闭或打开房间中的门或窗所引起的压力改变，以确定允许确定人类存在(不存在)的典型气压改变。在一些示例中，可以测量绝对气压以确定物理代理设备的特定位置(例如，在地面/地板上或桌面上)的典型气压。
如果在传感器数据中检测到预先确定的特征，则方法100包括：将虚拟助理的操作模式设置108为指派给预先确定的特征的第二操作模式。第二操作模式与第一操作模式不同。在检测到预先确定的特征时，改变操作模式可以允许将虚拟助理的功能和/或行为调整到给定状况。
同样，如果在传感器数据中检测到其他预先确定的特征，则可以将虚拟助理的操作模式改变为其他操作模式。例如，在第一操作模式下，方法100还可以包括：处理传感器数据以检测传感器数据是否表现出另一预先确定的特征。如果在传感器数据中检测到其他预先确定的特征，则方法100包括：将虚拟助理的操作模式设置为指派给另一预先确定的特征的第三操作模式。第三操作模式与第二操作模式不同。
第一操作模式可以例如是虚拟助理的集线器模式或待机模式。然而，应当指出，第一操作模式通常可以是虚拟助理支持的任何操作模式。
如上所述，预先确定的特征可以指示人类呼吸。检测人类呼吸可以允许避免借助于音频文件或任何第三方声源来操纵虚拟助理。如果人类用户正在在至少一个传感器周围的区域中(例如，在大约1米的距离内)讲话，则由人类用户生成可检测的气压变化。因而，人类呼吸的检测可以允许检测与虚拟助理交互的真人。因而，虚拟助理可以被配置为在第二操作模式下处理用户的话音命令。
另一方面，如果接收到话音命令但是在传感器数据中未检测到用于人类呼吸的预先确定的特征，则虚拟助理可以被配置为不处理话音命令。例如，虚拟助理可以保持处于第一操作模式。在一些示例中，在接收话音命令的同时未检测到人类呼吸可以进一步触发虚拟助理启动警报例程(例如，发送通知、播放警报声音等)。
如果接收到敏感的用户命令，则检测人类呼吸的存在可以例如增加安全性。例如，如果用户命令指示启动或执行基于费用的过程(例如，启动视频流或经由在线平台购买物品)，则检测人类呼吸可以允许避免第三方经由操纵的音频文件利用用户的账户。
在一些示例中，虚拟助理可以被配置为在第二操作模式下，确定是否在物理代理设备周围的预先确定的范围内给出话音命令。例如，虚拟设备可以分析话音命令的音量并且将其与记录的环境音量水平或用户的参考音量水平进行比较。虚拟助理还可以被配置为如果在预先确定的范围内给出话音命令，则仅在第二操作模式下处理话音命令。因而，虚拟助理可以仅处理在物理代理设备附近由用户实际发出的话音命令。
如上所述，传感器数据可以用于确定代理设备的位置(地点)。例如，预先确定的特征可以指示将代理设备相对于地面(地板)定位在预先确定的高度(例如，0.5或1米)以下。预先确定的特征可以例如指示物理代理设备在地面(地板)上的定位。如果代理设备位于地面(地板)上，则儿童可以尝试与代理设备交互，或者代理设备可以在儿童的紧邻处输出声音。因此，第二操作模式可以是儿童模式，与虚拟助理的完全操作模式相比，该儿童模式具有有限功能和/或专用声音简档。例如，如果传感器数据指示物理代理设备位于地面上，则可以将虚拟助理设置为儿童模式并且仅接受选择的话音命令或不接受话音命令。可替代地或附加地，可以使用儿童友好的声音简档(例如，对于由代理设备输出的声音，减小音量或降低低音)。同样，如果在传感器数据中检测到指示将代理设备定位在另一预先确定的高度(例如，0.8米)之上的另一预先确定的特征，则方法100可以将虚拟助理的操作模式改变为另一操作模式。
在其他示例中，预先确定的特征可以例如指示在代理设备的环境中或在由至少一个传感器监测的感兴趣区域中打开或关闭门。打开门可以是用户进入代理设备所在的房间的指示符。同样，关闭门可以是用户离开代理设备所在的房间的指示符。例如，至少一个传感器可以位于房屋或公寓的入口门附近，使得在检测到入口门打开时，虚拟助理的操作模式从待机模式变为欢迎模式(例如，虚拟助理可以控制接通房屋/公寓内的灯，启动经由一个或多个扬声器输出声音等)。
门的打开还可以指示第三人进入代理设备所在的房间。为了保护由虚拟助理管理的用户数据的隐私或者为了防止第三人操纵虚拟助理，可以在检测到门打开时将虚拟助理改变为访客模式。授权级别可以被理解为确定人可以使用或访问的虚拟助理的功能、数据等的量。不同授权级别可以允许访问不同类型的功能和数据。
门的关闭可以用于检测用户离开房屋或公寓。因而，第二操作模式可以是虚拟助理的警报模式，其中激活一个或多个安全功能(例如，激活用于调查房屋/公寓的一个或多个传感器并且分析它们的传感器数据)。
换句话说，在检测到打开或关闭门时，可以在第二模式下激活许多不同的特征。例如，与第一操作模式相比较，用于向用户输出声音的声音简档在第二操作模式下可以不同，与第一操作模式相比较，虚拟助理的功能范围或授权级别在第二操作模式下可以不同，或者，第二操作模式可以是警报模式。然而，应当指出，上述示例是示例性的，并且第二操作模式表现出许多其他特征(并且例如，省略了一些或所有上述特征)。
换句话说，监测例如在智能扬声器的近声场和远声场中的气压可以允许虚拟助理的智能应用。示例性第二操作模式可以包括：
-当用户离开房屋时的警报模式。这样，不仅可以检测到访客，还可以检测到入侵者。
-当检测到高度位置改变时，可以使用切换到定制父母设置的保姆(儿童)模式。
-隐私/夜间模式，其中仅接受扬声器附近(例如，小于1米)的命令。
同样，监测气压可以实现智能声音控制。示例性第二操作模式可以包括/表现出：
-当检测到位置改变时的较低的最大音量(例如，由于儿童安全)。
-对人类话音音量的音量适应(例如，对于用户的非常接近的说话距离)。
-仅经由信号源旁边的扬声器输出的声音(例如，当检测到门打开时)
如上所述，至少一个传感器还可以是雷达传感器，使得感测的物理量是由雷达传感器接收的电磁波。对于用户预先确定，预先确定的特征可以指示用户的存在(例如，没有运动)或运动。例如，可以基于用户在电磁波中感应的微多普勒来确定没有运动的用户的存在。预先确定的特征可以例如是从先前参考(校准)测量学习的电磁波的接收模式。
在一些示例中，压力传感器和雷达传感器可以一起使用。例如，可以使用由具有以MEMS设计的高灵敏度气压传感器和雷达传感器的集成电路组成的模块。传感器组合和信号处理期间传感器的相互反馈可以使得能够监测房屋或公寓中的重要改变。
上述传感器可以共享不同的任务。例如，气压传感器可以测量其自身的高度位置，并且当气压波通常发生时主动搜索它们，并且当例如打开门或窗时，气压波在整个房屋中传播。如果发生这种情况，雷达传感器将切换到活动模式并且永久扫描环境以获得移动本体。如果还触发了该传感器，则将信号发送到(例如，话音控制的)虚拟助理，使得虚拟助理可以从标识该人开始工作或给出警报。然而，一旦气压传感器被触发，话音控制的助理也可以变得活跃，并且例如通过播放音乐，话音控制的助理也变得明显，该音乐同样用于欢迎房屋的居住者而阻止任何入侵者。
雷达传感器的访问确认可以进一步允许气压传感器自动校准到正确的灵敏度，尤其是在正常乘客交通开始时。可以有效地防止未来的错误信号。更进一步地，依据信号的顺序，可以区分进入和离开房间并且相应地做出反应。无论访问监测选项如何，都可以以这种方式训练虚拟助理以仅在人存在的情况下切换到窃听模式。附加地，可以使得人的纯语言认证更加安全，使得操作员的可自由选择的地点也可以在雷达传感器的帮助下进行编程并且每次都进行调整。如果传感器自身的地点改变，则压力传感器可以用作运动传感器。
随着虚拟助理变得越来越能够统治用户的日常生活，在隐私和相应的用户(授权)级别方面对人类用户的认证、验证和预检测正在变得越来越重要。所提出的概念可以允许安全地预先检测人类存在而不需要完全监测。
在第二操作模式下，虚拟助理在一些示例中可以被配置为经由应用编程接口(API)向第三方应用提供关于预先确定的特征的检测的信息。与智能手机上的应用程序一样，数字助理内部也有第三方应用程序(也称为“技巧”)。技巧是定制的数字应用程序，其实现可以利用传感器数据的特殊服务。例如，当在酒店中使用时，以下示例性使用情况可以从传感器数据中受益：
-当检测到有人正在打开房门时，技巧可以询问计划的房间服务。
-可以检测自己的楼层位置以获得更好的酒店指导技巧。
-只有在直接通过扬声器说出最终“OK”(并且经由人体呼吸由气压传感器检测到)之后，才能接受带有费用的酒店服务预订。
换句话说，业务应用程序可以从所提出的概念中受益。
图2中图示了用于使得用户能够与本文中所提出的虚拟助理交互的示例性代理设备200。该代理设备200可以例如是智能扬声器或移动电话。代理设备200包括至少一个麦克风210，其被配置为从用户接收虚拟助理的话音命令201。进一步地，代理设备200包括至少一个扬声器220，其被配置为将由虚拟助理提供的声音数据202输出到用户。为了将代理设备200耦合到虚拟助理，代理设备200包括网络接口230，其被配置为在代理设备200和托管虚拟助理的数据处理系统之间交换数据。
为了根据所提出的概念监测环境，代理设备200可以包括至少一个压力传感器240，其被配置为感测代理设备200的环境中的气压。可替代地或附加地，代理设备200可以包括至少一个雷达传感器250，其被配置为感测用户在代理设备200的环境中的存在(例如，没有运动)或运动。即，代理设备可以包括一个或多个内置传感器，其用于监测代理设备200的环境。
例如，为了以高精度确定代理设备的高度位置，代理设备可以包括两个气压传感器，即，一个具有高绝对精度，一个具有高相对精度。为了以高分辨率监测代理设备的近场，代理设备可以例如在顶部包括一个气压传感器，而在底部包括第二气压传感器以供参考。如果要确定声源的方向，则可以在代理设备内布置具有每秒1000或更多读出的几个气压传感器。附加地，气压测量可以与其他传感器测量(例如，磁传感器)组合。在一些示例中，气压传感器还可以与麦克风210的对齐耦合。
代理设备200可以进一步或可替代地包括一个或多个传感器接口，其用于耦合到外部传感器以监测感兴趣区域。传感器接口可以是有线接口或无线接口。例如，代理设备200可以包括第一传感器接口260，其被配置为耦合到至少一个外部压力传感器280，该外部压力传感器280感测感兴趣区域中(例如，入口门附近)的气压。同样，代理设备200可以包括第二传感器接口270，其被配置为耦合到至少一个外部雷达传感器290，其感测用户在感兴趣区域中(例如，在入口门附近)的存在(例如，没有运动)或运动。
传感器数据由虚拟助理处理，以确定指示感兴趣情况的预先确定的特征。因此，网络接口230被配置为将关于气压和/或用户的存在(例如，没有运动)或运动的数据发送到托管虚拟助理的数据处理系统。
进一步地，用于控制代理设备200的控制数据由虚拟助理提供。例如，网络接口230可以被配置为从托管虚拟助理的数据处理系统接收指示虚拟助理的操作模式的改变的控制数据。控制数据可以例如基于关于气压和/或先前由代理设备200收集的用户的存在或运动的数据。
本文中所描述的示例可以总结如下：
一些示例涉及一种用于虚拟助理的方法。该方法包括：在第一操作模式下，控制至少一个传感器以感测物理量。进一步地，该方法包括：在第一操作模式下，从至少一个传感器接收指示物理量的传感器数据。附加地，该方法包括：在第一操作模式下，处理传感器数据以检测传感器数据是否表现出预先确定的特征。该方法包括：如果在传感器数据中检测到预先确定的特征，则将虚拟助理的操作模式设置为指派给预先确定的特征的第二操作模式。
在一些示例中，该方法还包括：在第一操作模式下，处理传感器数据以检测传感器数据是否表现出另一预先确定的特征。该方法附加地包括：如果在传感器数据中检测到其他预先确定的特征，则将虚拟助理的操作模式设置为指派给另一预先确定的特征的第三操作模式。第三操作模式与第二操作模式不同。
在一些示例中，预先确定的特征基于使用至少一个传感器的一个或多个参考测量。
在第二操作模式下，根据某些示例，虚拟助理被配置为经由应用编程接口向第三方应用提供关于预先确定的特征的检测的信息。
在一些示例中，至少一个传感器布置在物理代理设备中，用于使得用户能够与虚拟助理交互，并且物理量是代理设备环境中的气压。可替代地，至少一个传感器可以布置在感兴趣区域中和物理代理设备的外部，并且物理量可以是感兴趣区域中的气压。
根据一些示例，预先确定的特征指示人类呼吸，其中虚拟助理被配置为在第二操作模式下，处理用户的话音命令。
如果接收到话音命令并且在传感器数据中未检测到预先确定的特征，则在一些示例中，虚拟助理被配置为不处理话音命令。
在一些示例中，虚拟助理被配置为在第二操作模式下，确定是否在物理代理设备周围的预先确定的范围内给出话音命令。进一步地，虚拟助理被配置为如果在预先确定的范围内给出话音命令，则仅在第二操作模式下，处理话音命令。
根据一些示例，预先确定的特征指示将代理设备相对于地面定位在预先确定的高度以下，并且与虚拟助理的完全操作模式相比较，第二操作模式是具有有限功能和/或专用声音简档的儿童模式。
在一些示例中，预先确定的特征指示在代理设备的环境中或在感兴趣区域中打开或关闭门。
根据一些示例，与第一操作模式相比较，用于向用户输出声音的声音简档在第二操作模式下不同。附加地或可替代地，与第一操作模式相比较，虚拟助理的功能范围或授权级别在第二操作模式下不同。进一步地，附加地或可替代地，第二操作模式可以是警报模式。
在一些示例中，至少一个传感器是雷达传感器，其中物理量是由雷达传感器接收的电磁波，并且其中预先确定的特征指示用户的存在或运动。
其他示例涉及一种非暂态机器可读介质，其上存储有程序，该程序具有程序代码，该程序代码用于当在处理器上执行程序时，执行本文中所描述的方法。
其他示例涉及一种托管用户的虚拟助理的数据处理系统。数据处理系统包括一个或多个处理器，该一个或多个处理器被配置为：在第一操作模式下，控制至少一个传感器以感测物理量。进一步地，该一个或多个处理器被配置为：在第一操作模式下，从至少一个传感器接收指示物理量的传感器数据。附加地，该一个或多个处理器被配置为：在第一操作模式下，处理传感器数据以检测传感器数据是否表现出预先确定的特征。如果在传感器数据中检测到预先确定的特征，则该一个或多个处理器被配置为：将虚拟助理的操作模式设置为指派给预先确定的特征的第二操作模式。
附加地，示例涉及一种用于使得用户能够与虚拟助理交互的代理设备。该代理设备包括至少一个麦克风，其被配置为从用户接收虚拟助理的话音命令；以及至少一个扬声器，其被配置为将虚拟助理提供的声音数据输出到用户。该代理设备还包括网络接口，其被配置为在代理设备和托管虚拟助理的数据处理系统之间交换数据。该代理设备附加地包括：
以下各项中的一项或多项：至少一个压力传感器，其被配置为感测代理设备的环境中的气压；至少一个雷达传感器，其被配置为感测用户在代理设备的环境中的存在或运动；第一传感器接口，其被配置为耦合到至少一个外部压力传感器，该至少一个外部压力传感器感测感兴趣区域中的气压；以及第二传感器接口，其被配置为耦合到至少一个外部雷达传感器，该至少一个外部雷达传感器感测用户在感兴趣区域中的存在或运动。
在一些示例中，网络接口被配置为将关于气压和/或用户的存在或运动的数据传输到数据处理系统，其中网络接口进一步被配置为从数据处理系统接收指示虚拟助理的操作模式的改变的控制数据，其中控制数据基于关于气压和/或用户的存在或运动的数据。
其他示例涉及一种用于虚拟助理的装置。该装置包括用于在第一操作模式下，控制至少一个传感器以检测物理量的器件。进一步地，该装置包括用于在第一操作模式下，从至少一个传感器接收指示该物理量的传感器数据的器件。附加地，该装置包括用于在第一操作模式下，处理传感器数据以检测传感器数据是否表现出预先确定的特征的器件。该装置还包括用于如果在传感器数据中检测到预先确定的特征，则将虚拟助理的操作模式设置为指派给预先确定的特征的第二操作模式的器件。
与一个或多个先前所详述的示例和附图一起提及和描述的各方面和特征也可以与一个或多个其他示例组合，以便替换另一示例的相同特征或者以便附加地将特征引入另一示例。
说明书和附图仅说明了本公开的原理。更进一步地，本文中所阐述的所有示例主要旨在明确地仅用于说明目的，以帮助读者理解本公开的原理和一个或多个发明人为深化该领域所贡献的概念。本文中阐述本公开的原理、方面和示例的所有陈述以及其具体示例旨在涵盖其等同物。
比如，框图可以图示了实现本公开的原理的高级电路图。同样，流程图表、流程图、状态转换图、伪代码等可以表示各种过程、操作或步骤，其可以比如基本上在计算机可读介质中表示，因此无论是否明确示出计算机或处理器，都由这些计算机或处理器执行。说明书或权利要求中公开的方法可以通过具有用于执行这些方法的相应动作中的每个动作的器件的设备来实现。
应当理解，除非明确地或隐含地另外说明，比如出于技术原因，否则说明书或权利要求中公开的多个动作、过程、操作、步骤或功能的公开内容可以不被解释为在特定顺序内。因此，多个动作或功能的公开内容不会将这些局限于特定顺序，除非由于技术原因导致这些动作或功能不可互换。更进一步地，在一些示例中，单个动作、功能、过程、操作或步骤可以包括或可以分别分成多个子动作、功能、过程、操作或步骤。除非明确排除，否则可以包括这种子动作，并且作为该单个动作的公开内容的一部分。
更进一步地，以下权利要求在此并入到具体实施方式中，其中每个权利要求可以作为单独的示例独立存在。虽然每个权利要求可以作为单独的示例独立存在，但是应当指出，尽管从属权利要求可以在权利要求中是指与一个或多个其他权利要求的特定组合，但是其他示例还可以包括从属权与从属权利要求或独立权利要求的主题相互的组合。除非声明不旨在特定组合，否则本文中明确提出了这样的组合。更进一步地，即使权利要求没有直接从属于独立权利要求，也旨在包括该权利要求从属于任何其他独立权利要求的特征。

Claims (15)

1.一种用于虚拟助理的方法(100)，包括：
在第一操作模式下，控制(102)至少一个传感器以感测物理量；
在所述第一操作模式下，从所述至少一个传感器接收(104)指示所述物理量的传感器数据；
在所述第一操作模式下，处理(106)所述传感器数据以检测所述传感器数据是否表现出预先确定的特征；以及
如果在所述传感器数据中检测到所述预先确定的特征，则将所述虚拟助理的所述操作模式设置(108)为指派给所述预先确定的特征的第二操作模式。
2.根据权利要求1所述的方法，还包括：
在所述第一操作模式下，处理所述传感器数据以检测所述传感器数据是否表现出另一预先确定的特征；以及
如果在所述传感器数据中检测到其他预先确定的特征，则将所述虚拟助理的所述操作模式设置为指派给其他预先确定的特征的第三操作模式，其中所述第三操作模式与所述第二操作模式不同。
3.根据权利要求1或2所述的方法，其中所述预先确定的特征基于使用所述至少一个传感器的一个或多个参考测量。
4.根据权利要求1至3中任一项所述的方法，其中
所述至少一个传感器布置在物理代理设备中，用于使得用户能够与所述虚拟助理交互，并且所述物理量是所述代理设备的环境中的气压；或者
所述至少一个传感器布置在感兴趣区域中和所述物理代理设备的外部，并且所述物理量是所述感兴趣区域中的气压。
5.根据权利要求4所述的方法，其中所述预先确定的特征指示人类呼吸，并且其中所述虚拟助理被配置为在所述第二操作模式下，处理所述用户的话音命令。
6.根据权利要求5所述的方法，其中如果接收到所述话音命令并且在所述传感器数据中未检测到所述预先确定的特征，则所述虚拟助理被配置为不处理所述话音命令。
7.根据权利要求4所述的方法，其中所述预先确定的特征指示将所述代理设备相对于地面定位在预先确定的高度以下，并且其中与所述虚拟助理的完全操作模式相比较，所述第二操作模式是具有有限功能和/或专用声音简档的儿童模式。
8.根据权利要求4所述的方法，其中所述预先确定的特征指示在所述代理设备的所述环境中或在所述感兴趣区域中打开或关闭门。
9.根据权利要求8所述的方法，其中
与所述第一操作模式相比较，用于向所述用户输出声音的声音简档在所述第二操作模式下不同；
与所述第一操作模式相比较，所述虚拟助理的功能范围或授权级别在所述第二操作模式下不同；或者
所述第二操作模式是警报模式。
10.根据权利要求1至3中任一项所述的方法，其中所述至少一个传感器是雷达传感器，其中所述物理量是由所述雷达传感器接收的电磁波，并且其中所述预先确定的特征指示所述用户的存在或运动。
11.根据权利要求1至10中任一项所述的方法，其中在所述第二操作模式下，所述虚拟助理被配置为经由应用编程接口向第三方应用提供关于所述预先确定的特征的所述检测的信息。
12.一种非暂态机器可读介质，其上存储有程序，所述程序具有程序代码，所述程序代码用于当在处理器上执行所述程序时，执行根据权利要求1至11中任一项所述的方法。
13.一种托管用户的虚拟助理的数据处理系统，其中所述数据处理系统包括一个或多个处理器，所述一个或多个处理器被配置为：
在第一操作模式下，控制至少一个传感器以感测物理量；
在所述第一操作模式下，从所述至少一个传感器接收指示所述物理量的传感器数据；
在所述第一操作模式下，处理所述传感器数据以检测所述传感器数据是否表现出预先确定的特征；以及
如果在所述传感器数据中检测到所述预先确定的特征，则将所述虚拟助理的所述操作模式设置为指派给所述预先确定的特征的第二操作模式。
14.一种用于使得用户能够与虚拟助理交互的代理设备(200)，包括：
至少一个麦克风(210)，被配置为从所述用户接收针对所述虚拟助理的话音命令；
至少一个扬声器(220)，被配置为将所述虚拟助理提供的声音数据输出给所述用户；
网络接口(230)，被配置为在所述代理设备和托管所述虚拟助理的数据处理系统之间交换数据；以及
以下各项中的一项或多项：
至少一个压力传感器(240)，被配置为感测所述代理设备的环境中的气压；
至少一个雷达传感器(250)，被配置为感测所述用户在所述代理设备的环境中的存在或运动；
第一传感器接口(260)，被配置为耦合到感测感兴趣区域中的气压的至少一个外部压力传感器(280)；以及
第二传感器接口(270)，被配置为耦合到感测所述用户在所述感兴趣区域中的存在或运动的至少一个外部雷达传感器(290)。
15.根据权利要求14所述的代理设备，其中所述网络接口(230)被配置为将关于所述气压和/或所述用户的所述存在或运动的数据传输到所述数据处理系统，其中所述网络接口(230)还被配置为从所述数据处理系统接收指示所述虚拟助理的操作模式的改变的控制数据，并且其中所述控制数据基于关于所述气压和/或所述用户的所述存在或运动的所述数据。
CN201910838106.1A 2018-09-06 2019-09-05 用于虚拟助理的方法、数据处理系统以及代理设备 Active CN110880320B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18193044.7 2018-09-06
EP18193044.7A EP3620909B1 (en) 2018-09-06 2018-09-06 Method for a virtual assistant, data processing system hosting a virtual assistant for a user and agent device for enabling a user to interact with a virtual assistant

Publications (2)

Publication Number Publication Date
CN110880320A true CN110880320A (zh) 2020-03-13
CN110880320B CN110880320B (zh) 2024-08-23

Family

ID=63720453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910838106.1A Active CN110880320B (zh) 2018-09-06 2019-09-05 用于虚拟助理的方法、数据处理系统以及代理设备

Country Status (3)

Country Link
US (1) US11276401B2 (zh)
EP (1) EP3620909B1 (zh)
CN (1) CN110880320B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1619121A1 (en) * 2004-07-22 2006-01-25 Honeywell International Inc. Cabin pressure control system and method
CN102194300A (zh) * 2010-03-09 2011-09-21 陈新伟 一种具有室内导航功能的系统及监护器
US20150215350A1 (en) * 2013-08-27 2015-07-30 Persais, Llc System and method for distributed virtual assistant platforms
US20160085367A1 (en) * 2014-09-23 2016-03-24 Thales Systeme d'entree de donnee multimode
CN105809877A (zh) * 2014-12-31 2016-07-27 陈奎发 一种进门通知系统
CN107613254A (zh) * 2017-09-26 2018-01-19 云丁网络技术(北京)有限公司 一种检测门外来访者、识别来访者身份的方法及装置
CN107850936A (zh) * 2015-01-28 2018-03-27 Ccp公司 用于提供物理环境的虚拟显示的方法和系统
KR20180042050A (ko) * 2016-10-17 2018-04-25 엘지이노텍 주식회사 체중 및 키 측정 장치 및 이를 이용한 체중 측정 방법
CN108099784A (zh) * 2017-12-25 2018-06-01 南京工程学院 车内滞留人员报警降温系统及其降温方法
US20180232902A1 (en) * 2017-02-14 2018-08-16 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9257133B1 (en) * 2013-11-26 2016-02-09 Amazon Technologies, Inc. Secure input to a computing device
US10408625B2 (en) * 2016-04-19 2019-09-10 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist systems with room scanners to detect and notify users of out-of-order room states
US20180018965A1 (en) * 2016-07-12 2018-01-18 Bose Corporation Combining Gesture and Voice User Interfaces
WO2019209255A1 (en) * 2018-04-23 2019-10-31 Google Llc Transferring an automated assistant routine between client devices during execution of the routine
US10964186B2 (en) * 2018-05-04 2021-03-30 Shiv Prakash Verma Web server based 24/7 care management system for better quality of life to alzheimer, dementia,autistic and assisted living people using artificial intelligent based smart devices

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1619121A1 (en) * 2004-07-22 2006-01-25 Honeywell International Inc. Cabin pressure control system and method
CN102194300A (zh) * 2010-03-09 2011-09-21 陈新伟 一种具有室内导航功能的系统及监护器
US20150215350A1 (en) * 2013-08-27 2015-07-30 Persais, Llc System and method for distributed virtual assistant platforms
US20160085367A1 (en) * 2014-09-23 2016-03-24 Thales Systeme d'entree de donnee multimode
CN105809877A (zh) * 2014-12-31 2016-07-27 陈奎发 一种进门通知系统
CN107850936A (zh) * 2015-01-28 2018-03-27 Ccp公司 用于提供物理环境的虚拟显示的方法和系统
KR20180042050A (ko) * 2016-10-17 2018-04-25 엘지이노텍 주식회사 체중 및 키 측정 장치 및 이를 이용한 체중 측정 방법
US20180232902A1 (en) * 2017-02-14 2018-08-16 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
CN107613254A (zh) * 2017-09-26 2018-01-19 云丁网络技术(北京)有限公司 一种检测门外来访者、识别来访者身份的方法及装置
CN108099784A (zh) * 2017-12-25 2018-06-01 南京工程学院 车内滞留人员报警降温系统及其降温方法

Also Published As

Publication number Publication date
EP3620909B1 (en) 2022-11-02
US11276401B2 (en) 2022-03-15
CN110880320B (zh) 2024-08-23
US20200082821A1 (en) 2020-03-12
EP3620909A1 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
US20240078527A1 (en) Transitioning of devices from their primary function to providing security system functionality
TWI757201B (zh) 門硬體總成及門方位系統
US8120459B2 (en) Access authentication system and method using smart communicator
CN104742140B (zh) 状态判定系统、状态判定方法及移动机器人
CN111862524B (zh) 一种基于智能家居系统的监控报警方法及装置
KR102034559B1 (ko) 음장 스펙트럼의 상관계수의 변화 패턴을 이용한 보안 감시 장치 및 그것의 보안 감시 방법
US20210031724A1 (en) Security system
US11984007B2 (en) Mobile device as a security system component
US20230290236A1 (en) Adaptation of a security control panel
US10320347B2 (en) Light sensor readout system and method of converting light into electrical signals
KR102251931B1 (ko) 가정용 통신 장치를 이용한 사용자 보안 시스템 및 그 방법
KR101182986B1 (ko) 영상결합기를 이용한 보안감시시스템과 그 방법
CN110880320B (zh) 用于虚拟助理的方法、数据处理系统以及代理设备
US20050068177A1 (en) Security device for detecting change of air pressure and method thereof
US9881492B2 (en) Security system with shielded devices
US11725998B2 (en) Method and corresponding circuit for detecting an opening or closing event
JP2005141571A (ja) サービス提供装置、サービス提供プログラム、コンピュータ読み取り可能な記録媒体、サービス提供方法、およびキーユニット
Chaurasia et al. Design of a Sensor-Based Door Opening and Closing System Using Arduino for Women's Safety
KR101899244B1 (ko) 보안 시스템 작동 방법
JP2023004369A (ja) 制御システム、及び、制御方法
JP6666152B2 (ja) 警備業務支援システムおよび警備装置
KR100397610B1 (ko) 음성 인식 및 처리 장치 및 방법
Ykhlef et al. Efficient parking lot management system for parking attendants based on real-time impulsive sound detection and voice command recognition
RU2575083C2 (ru) Устройство дверного замка
CN118397805A (zh) 一种智能门锁震动检测与智能设备联动提醒方法及系统

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant