CN111819560A - 通过与始终侦听辅助设备解耦的安全附件的信息安全性/私密性 - Google Patents

通过与始终侦听辅助设备解耦的安全附件的信息安全性/私密性 Download PDF

Info

Publication number
CN111819560A
CN111819560A CN201880086432.5A CN201880086432A CN111819560A CN 111819560 A CN111819560 A CN 111819560A CN 201880086432 A CN201880086432 A CN 201880086432A CN 111819560 A CN111819560 A CN 111819560A
Authority
CN
China
Prior art keywords
computing device
data
electronic sensor
gatekeeper
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880086432.5A
Other languages
English (en)
Other versions
CN111819560B (zh
Inventor
麦晓鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomas Stahula
Original Assignee
Thomas Stahula
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/812,679 external-priority patent/US10002259B1/en
Application filed by Thomas Stahula filed Critical Thomas Stahula
Publication of CN111819560A publication Critical patent/CN111819560A/zh
Application granted granted Critical
Publication of CN111819560B publication Critical patent/CN111819560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision

Abstract

公开了具有始终侦听能力的计算设备家族，每个计算设备包括用于用户输入的电子传感器和关守模块，该关守模块在被启用时可以防止通信模块向该设备外部发送数据。设备确定用户输入包括第一唤醒短语；响应于该确定，在该短语之后发送用户输入的表示；激活始终接收模式以发送在短语之后捕获的用户输入流；禁用始终接收模式，以防止传输在短语之后接收的用户输入，除非也在第二唤醒短语之前；或启用关守模块以阻止向设备外部传输数据。还公开了用于处理针对除设备之外的接收者的用户输入以及通过控制设备的网络访问来确保数据安全性的其他方法。

Description

通过与始终侦听辅助设备解耦的安全附件的信息安全性/私 密性
发明领域
本申请涉及用于包括可听语音或可见手势输入的用户输入的安全性和私密性，和经由“始终侦听”介质对用户输入执行辅助响应的方法和系统。
背景技术
许多设备或软件解决方案目前销售给消费者作为“始终侦听”，包括Amazon
Figure BDA0002582948810000011
(又名AlexaTM)、Google HomeTM、Apple HomePodTM和
Figure BDA0002582948810000012
设备上的
Figure BDA0002582948810000013
但是，这些设备配置为始终侦听其各自的“唤醒”词，一旦接收到这些字，设备将仅继续记录其他语音一段时间(例如单个完整的命令，字符串或查询继续其唤醒词，最后停顿一下)。这些唤醒词使设备知道命令或查询何时指向这些设备，以便立即进行语音数据的捕获和处理；并且不会以任何方式、形状或形式将其他语音数据记录或发送到云中，以保护安全性并保护用户所说的可听数据的私密性。
当前的“始终侦听”设备将更恰当地称为“唤醒词的始终侦听”，并且实际上响应大多数语音而处于非活动和休眠状态，而不是“始终”分析和确定对收到语音的响应和命令。
此外，这些设备仅通过遵从单个命令或响应单个查询来进行响应；由于当前系统和“侦听”方法的局限性，他们无法遵守或直观地遵循一系列命令或查询。
当前市场上用于保护数据的解决方案使用设备表面上的物理按钮为用户提供对麦克风以及这些设备是否可以侦听的完全控制。当消费者期望仅语音控制时，需要手动按钮来确保启用和禁用麦克风很不方便，并且这不是令人满意的解决方案。设备制造商主要为了用户的安心提供它。
某些系统通过软件方式控制“始终侦听”状态，这始终有外部数字入侵者入侵和窃取麦克风中可听或语音数据的风险。
消费者不太可能相信这些设备和安全协议将完全保护其隐私，尤其是如果没有通过“始终侦听”功能提供直接语音控制的情况下。
当前使用“唤醒”词和安全软件协议的方法需要花费大量时间和精力，以不断开发、维护和改进，而仍然无法在用户期望时实现保证静音的安全性。
当前大多数技术重点都放在改善检测可觉语音的机制或“操作方法”，提高准确性和提供“更快的响应”，其中后者的重点是预先定义规则和程序以响应查询或鉴于数百万用户可能拥有的各种各样的查询和命令或期望的帮助而预先分析极为有限的过去行为，而每一个用户都可能是独一无二的。
设备制造商和其他广告商竞争，以根据用户的需求和接受度，在最适用的时机和最相关的主题之间平衡提供最理想的帮助，同时被用户视为是无干扰和无破坏的。
发明内容
公开了一种具有始终侦听能力的计算设备，其包括：第一接收器，其被配置为从用户接收包括话语或手势的输入；通信模块，其被配置为向远程服务器发送数据并从远程服务器接收数据；关守模块；以及非暂时性存储器。关守模块由处理器实现，使得在禁用关守功能时，通信模块基于来自第一接收器的数据接收的所有数据均通过关守模块，而在启用关守功能时没有基于来自第一接收器的数据的数据通过通信模块，关守模块的所有数据输入通过专用输入引线从第一接收器接收，并且关守模块的所有数据输出通过专用输出引线传输到第一接收器以外的组件。该非暂时性存储器存储指令，该指令在由处理器执行时使处理器：确定第一接收器接收的输入包括第一唤醒短语；以及响应于确定输入包括第一唤醒短语，自动执行以下至少一项：在第一唤醒短语之后发送用户输入的表示；激活始终接收模式以发送在第一唤醒短语之后捕获的用户输入流；停用始终接收模式，以防止传输在第一唤醒短语之后接收到的用户输入，除非也在第二唤醒短语之前；或启用关守模块以阻止所有的数据传输到具有始终侦听功能的计算设备外部。
公开了一种用于提供始终侦听辅助响应的计算机实现的方法。该方法包括经由接收器接收包括一个或多个话语或手势的用户输入；将基于接收到的用户输入的数据通过处理器实现的关守模块传递给通信模块，确定所述用户输入包括第一唤醒短语；和响应于确定用户输入包括第一唤醒短语，自动执行以下至少一项：在第一唤醒短语之后发送用户输入的表示；激活始终接收模式以发送在第一唤醒短语之后捕获的用户输入流；停用始终接收模式，以防止传输在第一唤醒短语之后接收到的用户输入，除非也在第二唤醒短语之前；或启用关守模块以阻止通信模块所有的数据传输。在禁用关守功能时，通信模块接收的基于来自接收器的数据的所有数据均通过关守模块，而在启用关守功能时没有基于来自接收器的数据的数据通过通信模块，关守模块的所有数据输入通过专用输入引线从接收器接收，并且关守模块的所有数据输出通过专用输出引线传输到接收器以外的组件。
公开了一种具有始终侦听能力的计算设备，其包括：第一电子传感器，其被配置为记录视频数据；通信模块，其被配置为向远程服务器发送数据和从远程服务器接收数据；关守模块；和非暂时性存储器。关守模块由处理器实现，其中在禁用关守功能时，通信模块接收的基于来自第一接收器的数据的所有数据均通过关守模块，其中在启用关守功能时没有基于来自第一接收器的数据的数据通过通信模块，其中关守模块的所有数据输入通过专用输入引线从第一接收器接收，并且其中关守模块的所有数据输出通过专用输出引线传输到第一接收器以外的组件。非暂时性存储器存储指令，该指令在由处理器执行时使处理器：确定第一电子传感器记录的视频数据包括第一输入内容；以及响应于确定视频数据包括第一输入内容，自动生成并发送消息以供人类用户接收。
一种用于提供始终侦听辅助响应的计算机实现的方法，包括：经由第一电子传感器记录视频数据；将基于记录的视频数据的数据通过处理器实现的关守模块传递给通信模块；确定第一电子传感器记录的视频数据包括第一输入内容；和响应于确定视频数据包括第一输入内容，自动生成并发送消息以供人类用户接收。在禁用关守功能时，通信模块接收的基于记录的视频数据的所有数据均通过关守模块，而在启用关守功能时没有基于记录的视频数据的数据通过通信模块，关守模块的所有数据输入通过专用输入引线从电子传感器接收，并且关守模块的所有数据输出通过专用输出引线传输到电子传感器以外的组件。
用于具有通信模块的计算设备的具有始终侦听能力的解耦附件，其包括第一电子传感器，其被配置为记录包括话语或手势的用户输入；与计算设备的数据连接；由处理器实现的关守模块；和非暂时性存储器。在禁用关守功能时，通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块，而在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块，关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。非暂时性存储器存储指令，该指令在由处理器执行时使处理器：确定第一电子传感器记录的用户输入包括第一输入内容；以及响应于确定用户输入包括第一输入内容，自动生成并发送消息至计算设备。
公开了一种使用具有始终侦听能力的解耦附件来控制具有通信模块的计算设备的方法。该方法包括确定由附件的第一电子传感器记录的用户输入包括第一输入内容；以及响应于确定用户输入包括第一输入内容，自动生成消息并将消息发送到计算设备。附件包括到计算设备的数据连接以及由处理器实现的关守模块，其中在禁用关守功能时，通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块，其中关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
公开了一种具有始终侦听能力的解耦帽，其被配置为与具有通信模块的计算设备进行物理接合，其包括被配置为记录包括话语或手势的用户输入的第一电子传感器、非暂时性存储器以及由处理器实现的关守模块。在禁用关守功能时，通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块，而在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块，关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。所述帽干扰了计算设备的功能，并且非暂时性存储器存储指令，这些指令在由处理器执行时使处理器：确定由第一电子传感器记录的用户输入包括第一输入内容；以及改变对计算设备的功能的干扰性质。
公开了一种通过具有始终侦听能力的解耦帽在具有通信模块的计算设备中提供信息安全性的方法，该解耦帽被配置为与之物理接合。该方法包括：确定包括话语或手势并且由帽的第一电子传感器记录的用户输入包括第一输入内容；以及改变所述帽对计算设备的功能的干扰性质。所述帽包括由处理器实现的关守模块，其中在禁用关守功能时，通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块，其中关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
公开了一种具有始终侦听能力的解耦帽，其被配置为与具有通信模块的计算设备进行物理接合，其包括被配置为记录包括话语或手势的用户输入的第一电子传感器；非暂时性存储器；以及由处理器实现的关守模块。在禁用关守功能时，通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块，而在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块，关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。所述帽干扰了计算设备的功能，并且非暂时性存储器存储指令，这些指令在由处理器执行时使处理器：确定由第一电子传感器记录的用户输入包括第一输入内容；以及从不同于第一服务器的第二服务器获取对用户输入的响应，计算设备将已经从第一服务器获取数据但是是因为计算设备的功能被干扰。
一种通过配置为与计算设备物理接合的具有始终侦听能力的解耦帽在具有通信模块的计算设备中提供信息安全性的方法，包括：确定包括话语或手势并由帽的第一电子传感器记录的用户输入包括第一输入内容；以及从不同于第一服务器的第二服务器获取对用户输入的响应，计算设备将已经从第一服务器获取数据但是是因为计算设备的功能被干扰。所述帽包括由处理器实现的关守模块，其中在禁用关守功能时，通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块，其中关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
公开了具有通信模块并在同一计算网络中的与第二计算设备解耦的具有始终侦听能力的第一计算设备，其包括：第一电子传感器，其被配置为记录包括话语或手势的用户输入；由处理器实现的关守模块；和非暂时性存储器，其存储指令，该指令在由处理器执行时使处理器：确定由第一电子传感器记录的用户输入包括第一输入内容；以及从不同于第二服务器的第一服务器获取对用户输入的响应，第二计算设备将已经从第二服务器获取数据但是是因为第一计算设备阻止了从第二计算设备向第二数据源发送电子通信。在禁用关守功能时，通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块，而在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块，关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
公开了经由与第二计算设备解耦并在同一计算网络中的具有始终侦听能力的第一计算设备在具有通信模块的第二计算设备中提供信息安全性的方法，包括：确定包括话语或手势的并且由第一计算设备的第一电子传感器记录的用户输入包括第一输入内容；以及从不同于第二服务器的第一服务器获取对用户输入的响应，第二计算设备将已经从第二服务器获取数据但是是因为第一计算设备阻止了从第二计算设备向第二数据源发送电子通信。第一计算设备包括由处理器实现的关守模块，其中在禁用关守功能时，通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块，其中关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
本文公开了一种计算设备，其包括电子传感器、关守模块和存储指令的非暂时性存储器，所述指令在由处理器执行时允许用户经由被电子传感器感知的用户输入控制由关守模块执行的始终侦听模式。
附图说明
图1描述了现有技术中的软件控制，其用于
Figure BDA0002582948810000071
上唤醒词“HeySiri”的“始终侦听”的静音功能；
图2描述了现有技术中的软件控制，其用于
Figure BDA0002582948810000072
OS设备上唤醒词“OkGoogle”的“始终侦听”的静音功能；
图3描述了现有技术中的软件控制，其用于对
Figure BDA0002582948810000073
10 OS上的麦克风静音；
图4描绘了第三方软件的现有技术功能，其用于设置唤醒词以命令软件开始口述；
图5以简化的形式描绘了现有技术的个人数字助理中组件的常规关系；
图6以简化形式示出了具有“始终侦听”能力的电子设备的实施例；
图7以简化形式描绘了具有“始终侦听”能力的电子设备的替代实施例；
图8以简化形式描绘了具有“始终侦听”能力的电子设备的替代实施例；
图9描绘了处理第二不同的唤醒词的说明性方法的流程图；
图10描绘了用于始终侦听设备的附加特征的程序逻辑的替代流程图；
图11描绘了解耦的关守附件，其可以被附接到现有的侦听设备以提供安全的始终侦听功能；
图12A、图12B和图12C示出了用于帮助提供安全的始终侦听功能的解耦的隔音或其他隔离屏障；和
图13描绘了包括解耦的网络设备的系统，其用于提供安全的始终侦听功能，同时有选择地将用户的生成的网络流量的一部分绕道到替代目的地。
具体实施方式
本文公开了一种改进的技术方法、设备和系统，供用户控制其语音或动作(包括但不限于单词、音调、命令手势、手语通信、面部表情、移动方式或其任何组合)何时由电子设备记录，同时最小化或消除对安全性编程的需求，有机地创建对电子设备和可听语音和/或视频数据的受控访问系统，并为用户和协助传递服务提供商均提供接收、分析、解密、计算、访问或评估数据的渠道，以向用户提供实时相关的帮助。
本发明提供了对固定接收的数据的当前技术和方法的显著改进，如本文针对提供用户使用基于语音或手势的动作的装置在侦听介质或设备(例如Amazon
Figure BDA0002582948810000081
移动设备、计算设备、网络摄像头、安全摄像系统等)中控制始终侦听模式而无需依赖于要固定的软件进一步描述的，因此提高了用户选择允许介质始终侦听对话的可接受性；在完整的始终侦听模式有效时，几乎实时地提供这些定向或间接的语音、动作/手势和/或命令/查询，以便对其进行解密、处理和提供非定向和未经请求的帮助或无需“唤醒”词下的帮助。手势包括(但不限于)自定义手势或基于语言的手势，例如美国手语。
本文公开的用于保护可听数据的改进的方法、装置和系统包括不能从设备外部来源接收电信号(但是仍然能够发送电信号和数据)的麦克风或摄像头(在本文中称为“接收器”)，以及可以是一个或多个无法接收外部电信号(但能够接收数据)的独立处理器，或嵌入在双向处理器中的关守模块，关守模块位于其中，其中关守模块无法接收外部电信号(仍然能够发送电信号并从接收器接收数据)，其中关守模块或独立处理器(其无法接收外部电信号)可以充当本地化预处理器，以在启用或禁用电子设备的真正“始终侦听”之前对用户的语音命令进行预处理。因此，提供了通过语音命令打开和关闭真正的始终侦听的本地化的不可破解的控件。该预处理器或预处理(或关守)功能可以能够将可听数据直接中继到无线通信模块，或中继到主处理器，以执行其他处理功能，例如端到端加密，然后再将随后加密的可听数据中继到无线通信模块；然后它可以连接到远程计算机(例如云服务器或计算平台)。本质上，预处理器/关守模块充当单向通信的不可破解的“阀门”，其将从接收器接收到的数据馈送到主处理器或无线通信组件。
本文所述的方法利用了不能接收外部电信号的处理器上的本地化预处理器或预处理功能，将“始终侦听”功能与控制权隔离给了本地用户，其中关守模块的控制实际上没有外部数据访问，因此不容易受到黑客攻击。
图1-4描绘了现有技术中用于控制数字个人助理设备的侦听和响应的各种软件控件。例如，图1的接口10示出了拨动开关11，用于允许唤醒词“Hey Siri”触发侦听而无需与设备进行物理交互。同样，图2显示了
Figure BDA0002582948810000091
界面20，其允许词“OK Google”触发侦听。图3显示
Figure BDA0002582948810000092
操作系统的界面30，按钮31用于禁止麦克风输入到系统。最后，图4显示在第三方软件“
Figure BDA0002582948810000093
Dictation”中的界面40，用于在按钮41中总体控制口述和设置特定的唤醒短语42以触发记录和动作。
图5以简化的形式描绘了现有技术的个人数字助理中组件的常规关系。用户可以按下按钮100以物理上禁止(静音)麦克风101“始终侦听唤醒”词。在正常操作条件下(未静音)，麦克风101被动地侦听唤醒词以进行检测，一旦检测到，将在前体唤醒词发送到处理器/或无线I/O组件103之后立即记录语音字符串、查询或命令。一旦字符串被处理器或无线I/O组件103接收，在大多数情况下单个字符串就被传输到云服务器104，或者如果处理器存储了一组预编程的可执行指令(例如“关闭<名称>灯”，则本地处理。然后，处理器/始终侦听设备返回以被动监听前体唤醒词。如果字符串被发送而不是本地处理，则云服务器104处理字符串、查询或命令，并通过无线I/O组件103将响应返回到第一处理器。然后处理响应以实际上遵守命令，或者通过扬声器105播放可听见的响应。
图6以简化形式示出了具有真正“始终侦听”能力的电子设备的实施例。该设备可以替代地在其他实施例中描述为“始终接收”、“始终观看”、“始终记录”、“始终发送”和/或感测和记录来自传感器的输入的任何其他方法，无论那些传感器是麦克风、摄像头或其他能够捕获有关环境信息的电子设备。
麦克风(或摄像头或其他接收器)200可以配置为始终侦听(或记录或监视除音频输入以外的)来自用户的潜在指令的感觉馈送，包括但不限于激活始终侦听模式，停用始终聆听模式，激活或停用基础数字个人助理系统的功能，或提供数字个人助理服务(例如响应口头查询)。记录的音频、视频或其他数据可以从接收器200发送到预处理器和/或关守模块201。
在一些实施例中，该设备可以包括两个或更多个不同的接收器。只要设备被加电，第一接收器200就可以被加电并监视用户输入，但是其可以不具有通往设备的通信模块202的数据引线，因此可以防止与远程服务器或其他外部设备进行通信。从第一接收器输出的数据可以仅发送到语言处理能力有限的处理器和/或关守模块201。第二接收器206通常可以断电或断开数据传输，只有在关守模块201允许的情况下才恢复电力或恢复数据传输功能。
关守模块201可以控制或限制在电子设备的关键路径、组件或功能处的入站(包括但不限于授权和未授权电信号)或出站数据(音频、视频、语音、手势或其他数据)的手段。可选地，关守模块201可以允许或拒绝从电源205(例如可以是电池或到A/C电源的连接)到设备的特定组件的电力，所述组件包括(但不限于)麦克风、处理器和/或通信模块(例如Wi-Fi、ZigBee、蓝牙、近场通信(NFC)、蜂窝电话连接等)。在一些实施例中，各种组件总是直接连接到电源205(在图中用实线表示)，而其他组件可以直接连接或通过关守模块201连接(在图中用虚线表示)。
关守模块201可以被实现为集成电路、母板上的芯片或任何其他形式的硬件解决方案。可选地，关守模块201可以采用存储在非暂时性存储器上的安全编程或协议的实施方案，所述非暂时性存储器例如(但不限于)EPROM(只能通过照射紫外线到存储器芯片上的设计/指定区域在本地和物理上擦除并且无法远程重新编程的存储器)。应当理解，本领域普通技术人员将能够在任何数量的替代硬件和/或软件实施方案中应用如本文所述的关守方法。
编程/协议可以具有将接收的入站电信号限制为预设大小或时间段或基于最近的活动的功能(例如向服务器发送请求以加载网页可能会允许电子设备接收数据一段时间或直到加载网页为止，但是当在预设的时间段内没有最近的数据请求时，EPROM中的关守模块可阻止电子设备通过无线接收器接收其他数据)以防止电子设备被黑客入侵。
可选地，如果关守模块处理器没有来自用户的本地输入许可以连续发送，则关守模块可以被设置为“阻止(或限制)无线发射机上的连续音频传输”。
关守模块可以设置为允许在时间间隔(例如从皮秒到秒、到分钟的任何时间)内的入站数据微爆发，以使设备可以下载预期的数据流，从而允许检查推送通知，并允许配置为处理用户数据的服务器接收响应，但使获得未经授权的访问或“破解”安全漏洞、上传恶意数据或进行拒绝服务攻击所需的连续连接变得困难或不可能。间隔的长度或间隔之间禁用通信的时间长度可以随机选择或以固定间隔选择(例如，每20毫秒禁用通信一毫秒，或者从每一秒中禁用通信随机选择的一毫秒)。间隔的长度也可以与比例相关(例如，与禁用入站数据的时间间隔相比，允许入站数据的时间长五倍，长二十倍或任何其他时间倍数)。
关守模块可以设计为仅允许通过物理、有线方式或更有限范围的无线方式例如(但不限于)蓝牙、NFC等在本地将传入的数据连接到功能本身。可以通过修改设备上所需的一个或多个密码、数字指纹(例如Cookie或令牌)保护该功能，或通过需要由用户的个人电子设备(例如智能手机或其他移动设备上的应用程序)进行物理标识或验证用户身份的软件保护该功能，然后允许修改该功能的软件。允许对关守模块进行某种程度的编程或重新编程的这种方法将允许有益的安全协议和更新，而不必进行“入侵防御”，也可以进行“中转”相关的安全性和定制。例如，关守模块可以被编程以连接到另一个云计算平台而不是由原始制造商硬指定和编码的平台(例如AlexaTM/
Figure BDA0002582948810000121
可以被重新配置，以通过识别新的语音可发送到的IP地址连接到
Figure BDA0002582948810000122
平台)。
关守模块还可以通过预定的软件例如(但不限于)智能手机“app”定期编程和/或更新。在一些实施例中，设备可以被重新编程为使用VPN(虚拟专用网络)来将可听语音或手势数据中继到云中的服务器处理器。可替代地，可以基于负载平衡或流量平衡考虑对设备进行编程以从一组可能的IP地址中进行选择。可以添加安全特征，以对加密和/或恶意代码进行两点验证，这些加密和/或恶意代码是作为上传的音频数据或手势数据通过或经过。
可替代地，可以对关守模块或处理器进行编程以将接收到的数据转发到本地预处理器。例如，可以将接收到的语音或手势数据转发到与该设备相同的无线网络上的本地服务器207，或者转发到智能手机应用程序，而不是转发到远程服务器。这样，可以确保信息的私密性和安全性，并且即使无线网络与更大互联网的连接丢失，也可以允许以某种容量进行操作。
在另一个实施例中，数字个人助理可以包括多个处理器，其中无线通信组件被限制为接收外部来源的入站数据并且仅将入站信号发送到第一处理器，第一处理器不能向无线组件发送信号，并且只能将信号传输到显示器或扬声器。此外，无线通信组件可以被限制为仅从第二处理器(从一个或多个接收器接收)接收出站(接收的输入)数据以发送到远程计算设备；因此，使得接收器无法被数字入侵者所取代。
语音和手势数据的纯本地处理可以启用与安全性和私密性相关的更安全的应用程序。例如，如果家庭安全系统由语音、手势、面部识别或其他需要处理的视频或音频输入控制，则本地处理可能比远程处理更优选，远程处理可能允许远程黑客禁用房屋的安全性。可以添加私有和安全的“对讲机”或其他通信功能，以在本地网络之外运行并允许本地网络上的多个设备之间进行通信。
在一些实施例中，预处理器201可以被编程为默认允许连续传输由接收器接收的所有音频或视频数据，并且仅响应于特定用户输入而对数据传输施加限制。
在预处理器及其功能的另一个实施例中，预处理器201可以包含嵌入在非暂时性存储器中的本地化自然语言处理(NLP)程序，其负责将用户接收的输入的连续字符串预先解析为单个最容易理解的子字符串。
例如，用户可能更喜欢做出一系列命令而没有停顿，始终侦听设备和/或其云计算单元可能无法破译一系列复杂的命令，如：“
Figure BDA0002582948810000131
上播放古典音乐设定音量为四，一小时内停止播放，关闭卧室灯光，在上午7点设置闹钟”。但是，利用包含预解析NLP的预处理器201可以在将字符串传输到云计算单元之前将字符串分析和转换为五个单独的命令：
“
Figure BDA0002582948810000132
播放古典音乐”，
“将音量设置为4”，
“在1小时内停止播放”，
“关闭卧室灯光”，和
“在上午7点设置闹钟”。
作为响应，云计算服务器203可能够分别按顺序响应，如其原始功能正常的和/或连续地：
“
Figure BDA0002582948810000141
播放古典音乐”。
(在设置中默默具体化的变化-即，
Figure BDA0002582948810000142
AlexaTM不对变化的体积提供声音反馈)
“我将在1小时内停止播放。”
(自动更改设置)“好的”。
“闹钟设置为上午7点。”
字符串的预分析也可以在远程云计算单元203处完成；或在引入实际的NLP或ASR(自动语音识别)之前已完成的任何其他配置中。
在另一个实施例中，关守模块和/或其相关联的硬件可以在与“始终侦听”电子设备分开的设备中是独立的。
关守模块201可以包括自然语言处理(NLP)以本地处理来自用户的输入。
在图6中，箭头描绘了电子设备内的无线和有线之间数据传输的定向流。如图所示，预处理器和/或关守模块201限于单向出站传输。关守功能201可以被嵌入在单向处理器(即仅具有来自接收器的输入并且仅具有至下游处理器的输出的设备或组件)或双向处理器中，只要关守模块仅限于单向出站传输。如果不由数据输入/输出端口本身强制执行单向功能，则可以由例如存储在只读存储器(ROM)中并由关守模块201中的处理器执行的软件强制执行。
在所示的实施例中，预处理器和/或关守模块201中继并保护接收器200接收到的语音或其他视频或音频数据，然后将其发送到主处理器和/或无线输入/输出通信组件202，其将语音数据发送到云或其他远程服务器203。
主处理器202可以在传输之前加密语音数据或以其他方式确保数据传输通道的安全性。可替代地，加密可以在预处理器级别201处进行；或两者兼而有之，以获得多层加密特征。
系统/组件/方法可以集成到各种类型的电子设备中，例如(但不限于)：移动电话，平板电脑，笔记本电脑，计算机，智能手表，电视，照明设备，媒体播放器(例如DVD播放器、蓝光播放器、iPod等)，家庭安全系统，智能家居设备(例如智能恒温器、智能冰箱、智能锁/门铃等)。本领域普通技术人员将能够将本发明应用于整合将为用户、设备制造商、内容(和/或广告)交付提供者或其组合提供附加值的实施例的许多其他方案、应用和方法。
在一些实施例中，没有外部数据输入的集成的关守模块可以用于保护用户可能会发现敏感并希望保持安全和私密的视频或其他类型的数据馈送。
在一些实施例中，设备可以包括一个或多个发光二极管(LED)，其发光/不发光状态、颜色或闪烁模式允许用户视觉确定始终侦听模式是打开还是关闭。其他视觉或听觉效果可用于指示始终侦听状态，包括例如在设备的屏幕或显示屏上的符号、图标或闪烁的图标，偶尔的蜂鸣声或预先录制的声音，以提醒用户处于始终侦听模式，或者通过该用户的感官输入以其他任何方式警告或提醒用户正在发生录制。
尽管用于向用户输出设备的扬声器是优选的，但是在一些实施例中，设备可能不包括用于输出的扬声器，而是可以由光、振动、视频屏幕或其他视觉指示器中的一个或多个提供。可替代地，设备可以是完全无声的并且在视觉外观上不变，仅在后台执行数据传输和更新而无需反馈给用户。
在一些实施例中，除了麦克风或摄像头之外，该设备还可以包括一个或多个传感器，其包括(但不限于)振动传感器(例如地震仪)、全球定位系统(GPS)、加速度计或用于确定方向的陀螺仪、温度计、湿度传感器等。附加传感器可以甚至在没有话语或手势的情况下也用于确定可能的用户意图，例如，检测跌倒的用户的振动、起居区中的不安全温度或其他紧急情况。
用户在何地以及何时启用功能的“始终侦听”模式、设备和/或其异地功能(例如云计算、逻辑、自然语言处理器或人工智能)可以侦听/接收/记录、处理、记录有用的数据并确定适当的时间来响应和/或提供辅助性详细信息。例如，如果用户选择打开“始终侦听”，则该设备可能能够基于音频输入提供许多有用的服务：
·如果用户口头安排约会(与另一个物理上在场或通过电话)，则设备可以将该约会添加到与该用户关联的软件日历中。
·如果在观看电影时用户通过对话询问第二个用户，“那个演员是谁？”，设备可尝试确定正在观看的电影和场景，检查有关电影的信息的数据存储库，并以演员的身份的最佳猜测/估计做出响应。
·如果用户与第二个用户或家庭成员交谈以“提醒他们”即将发生的事件或分配的任务，则设备可以通过在其数字或云笔记中添加有关事件或任务的提醒来做出适当响应，或者添加移动电话提醒该第二个用户。
·如果用户与另一位用户或家庭成员就去哪里吃饭或吃什么的话题进行交谈，则设备可以响应附近餐馆的建议，这些餐馆已经付费做广告、促销等。
·如果用户询问建议的餐厅有多远，则设备可以确定用户的位置(通过设备中的GPS单元，用户个人资料中的地址或其他估算方式(例如，手机信号塔三角测量))，并以用户到餐厅的大致距离做出响应。
·如果用户说餐厅(到设备或另一个用户)太远，则设备可以查询是否有用户想要停留的时间或距离参数。
·如果用户在最后一次时间或距离对话结束后讨论并暂停一段时间，则设备可以在任何提供的参数或从用户的讨论中接收或确定的参数范围内提出替代建议。
·如果用户在用户想要的某种食物之后讨论并暂停一段时间，则设备可以在用户讨论或指令的参数范围内提出建议。
·如果用户在一段时间后讨论并暂停他/她/他们想观看的电影，则该设备可以提供有关放映时间、位置、距离或其组合的信息。
·如果用户通过对话将环境条件描述为不舒服，则设备可以连接到一个或多个恒温器、冷却系统、加热系统、风扇或其他外部环境控制设备，并将电子命令传输到设备以将设置修改为更理想的水平。同样，如果用户说“这里太亮了”，则设备可能会向电动窗帘发送信号以使其关闭或稍微关闭，或者向调光开关发送信号以将灯光调暗至较低的设置。
·如果用户描述了疾病的症状，则设备可以建议治疗方法，自动更新用户的病历以在将来的医疗预约期间进行咨询，和/或插话，建议立即就医。
·用户可以对系统和/或设备进行预编程，以识别特定的“安全”和“紧急发送帮助”代码字或手势，以增强用户的安全性。例如，在进入装备了武装安全系统的住宅时，诸如“蓝象”之类的代码字可以用作“所有安全”字/短语(并可以通过语音ID进行验证)。或者，用户可以配置特定的短语或手势来表示“用户受胁迫-发送帮助！”如果入侵者随后强迫用户停用安全系统，则说出该短语可导致安全系统在警告当局的同时进入错误的撤防状态。当用户试图逃避或躲藏时，第三短语或手势可被用作“紧急”命令立即触发安全系统。
音频处理功能可以另外配置为警告用户潜在的伪造或恶意输入。例如，如果用户正在侦听广播中的音频或正在通过网络流式传输的音频，其中包含隐藏消息的频率超过或低于正常人的听力范围(大约20Hz-40kHz)。可以不给设备配置对麦克风录制的音频的操作，而是将设备配置为通过听觉或以其他方式警告用户正在感知到发出不可听见命令的尝试，并且可以提供进入更安全的模式以禁用一种或多种命令类型、暂时禁用设备的音频输入、或暂时禁用由生成音频的任何设备输出的音频。类似地，可以训练该系统以识别家庭的许多成员的声音，并确定接收到的口头命令要么来自当前播放的音频娱乐中的录制语音，要么来自未经授权的家庭中的访客向设备发出命令。系统可能会要求确认或拒绝对无法确认为源自设备的授权或正常用户的输入进行操作。
类似地，包括摄像头的系统可能能够仅基于视频数据或基于音频和视频数据的组合来提供许多有用的功能。
·如果用户无法讲话或不愿意讲话(例如用户聋、沉默、正在吃东西、处于大声环境且不想大声喊叫等)，则用户仍然可以享受安全和通过与设备的基于自定义或基于语言的手势通信、个人助理设备的帮助。该系统可以被配置为识别微表情(例如微笑、皱眉、喘着粗气、撅嘴、鼻孔张开、眉毛的移动、眼睑的移动、舌头的移动、脸颊的移动等)以及宏观表情(挥手、一个或多个抬起的手指的组合、美国手语或其他手语的传统交流方式等)。可以将微表情和宏观表情与确定的语音量或语音内容信息结合起来，以确定可能的用户情绪或意图。从情绪或意图的这些确定中收集的信息可以用于更新用户个人资料(例如，如果在团队获胜时用户欢呼，记住该用户喜欢运动队，或者如果用户吃完后做鬼脸，则记住该用户不喜欢食物)。
·甚至可以在音频数据不可用或听不清的情况下，还可以训练该系统以通过处理视频数据来“阅读嘴唇”或通过微观或宏观表情表达的其他用户意图。语音单词可以转换为查询或命令，并可以通过单独分析视频数据，或通过用视频数据补充可用的音频数据以读取说话者的嘴唇，而由系统采取行动。
·如果用户跌倒在地板上和/或发出痛苦或不适的叫声，则系统可能会询问用户的健康状况，联系第三方例如家庭成员或朋友或联系紧急服务以向用户提供医疗帮助。如果用户跌倒或受伤后无反应，则系统(如果用户事先在系统设置范围内允许)可能会覆盖并访问其他视频供稿，以确定用户的状态，和/或将视频供稿转发至第三方或紧急服务。该系统可以基于诸如跌倒楼梯或从梯子上跌倒的跌倒特征，而不是仅仅从站立位置跌落或下床，立即升级情况。该系统还能够使用视频数据来检测血液、可能的骨折骨头或其他受伤迹象，以确定受伤的可能性或严重程度。
·系统可以通过使用摄像头来建立一个位置中的多个物体的位置的模型(或者经由多个摄像头对精确的位置进行三角测量)，并且可以使用该信息来辅助用户。例如，如果用户在夜间走动，则系统可以确定对象不在用户所在的路径中，而该路径通常不在该位置，并发出声音警告“您将碰到放错位置的椅子！”以帮助用户避免在黑暗中绊脚或绊倒。类似地，系统可能自己跟踪用户的位置，并警告用户该用户正在与平常不同的路径上行走，并且可能与墙壁或家具发生碰撞。
·该系统还能够通过确定一个或多个物体(例如珠宝、电子产品、绘画、家具等)不在该模型的典型位置中来生成可能已发生盗窃的警告。可能的盗窃的确定还可以基于面部识别和确定是否存在陌生面孔后物体消失，或者基于不存在陌生面孔时在不存在居民家庭的情况下主动生成，即使没有其他物体还没有搬动。
·系统可以使用对象识别来确定正在发生危险或不期望的情况。例如，可以确定儿童拿着刀、枪械、其他锋利或爆炸性物体、窒息危险、昂贵且易碎的物品，或儿童不应接触的其他物体。作为响应，可以生成警报并将其发送给孩子的父母或其他看护人。自动检测其他不良或不安全的情况，例如拥有吸毒用具的青少年或运动表明他在握住车钥匙时可能受到酒精影响的成年人，可能会向适当的接收者发出警报，该接收者可以采取行动解决该情况。
·该系统可以确定正在进行的用户动作的最终意图，并且如果该动作花费了确定为该动作类型异常的时间长度，则该系统提供联系帮助。例如，一个小时后，可能会提示确定要在浴室或洗手池下使用工具工作的人本地的水管工的联系信息。在预定时间段过后，可能会提示在客厅或卧室里拿着锤子、扳手、螺丝起子或其他手动工具的人本地杂工或木匠的联系信息。可向靠近汽车一段时间且未进入汽车并离开的人提示机械师、拖车服务或其他汽车服务公司的联系信息。
·系统还可在正在进行的过程中提供帮助。例如，一个人在烹饪食谱时可以跟踪他们在厨房里的活动，这样，如果他们停顿了一段时间，便会自动听到菜谱的下一步提示，而不必查阅食谱或他们正在使用其食谱的网站。食谱的当前步骤可以通过将用户动作的视频识别与用户的搜索历史交叉索引或确定用户先前查阅的菜谱页面来确定。在另一个实施例中，班级的老师或多个孩子的父母可以指示一群学生/孩子进行特定的任务或工艺项目。系统可以跟踪每个人的当前动作，并准备好在其表达困惑、沮丧或似乎正在采取与可能输入或预先配置的活动描述不一致的动作的情况下，在帮助下进行干预或通知老师/父母进入系统。
·该系统可以使用观察到的用户动作来生成提醒、更新购物清单或将项目添加到在线购物车。例如，如果用户倒了一碗谷物，然后找不到牛奶并表示惊讶、悲伤或厌恶，则可以自动将牛奶添加到购物清单中，或者当用户在杂货店中时可以生成自动提醒并将其发送到用户的移动设备，或者消息可能会发送给当前不在家的并且可能会在回程中购买牛奶的另一家庭成员。可以做出类似的确定，即家庭需要购买灯泡(响应于视频确定照明减少和/或无意中听到用户说他们找不到灯泡)、尿布或其他婴儿用品或任何其他可能由家庭定期购买和消耗的物品。
可以给予用户关于如何将设备或系统接收的视频数据提供给第三方的更细微的控制。例如，关守模块可以被配置为在允许外部传输之前总是使整个身体、或脸部、或者除脸部之外的身体的任何部位或任何裸露的皮肤模糊。身体的特定部分例如手、脚和/或脸可以保留或隔离以进行传输，以便不传输其他背景信息。诸如房间、家具、视频屏幕、文档或其他对象之类的背景信息可被明确排除或包含在设备外部传输的任何视频中。
控制视频内容的连续传输的实施例在工业/商业场景中可能是有用的，例如，在其中可能发生盗窃或关注安全/责任的情况。在实施始终侦听或观看系统的仓库中，可以对数据源(音频、视频或两者)进行连续处理、解密和/或分析，以制定、检索、计算、访问、评估或其组合最合适的对数据的响应，例如通过显示器提供视觉反馈或通过扬声器提供音频反馈，以帮助工人，增强安全性或发现不安全行为，或提醒商店或官方当局有闯入、入店行窃或盗窃。另外，系统可以保存关于违规的接收数据以用于训练目的。
可替代地，用于监视违规的接收数据可以进一步用于确定不移动违规，例如非法停车或超过停车计时器的时间限制等。
该系统和方法的响应可以是被动的或主动的。例如，被动响应是响应于无意听到的对话，对用户日历进行约会；积极的回应是向餐厅就餐地点或下单的无意听到的对话提供建议。
一些实施例可以包含一个或多个显示器，以提供视频点播或辅助递送，例如，可视的使用方法、广告、促销、优惠券或期望使设备感兴趣或通知用户的类似视频内容。
在一些实施例中，在对话中出现的关于用户的其他数据，例如用户最喜欢的颜色，对主题的好还是不好的意见，或者在对话、辩论或争论中出现的其他评论，可以被处理器识别为而不是可以提供协助的查询或请求。但是，仍然可以将信息存储在数据库中，以在将来提供更好的帮助，例如，根据用户以前的评论，响应于在线购买商品、购买用户喜欢的颜色的商品或建议观看书或电视节目的请求。在一些实施例中，该系统可以学习和存储用户的年龄、性别、家庭人口统计学、所拥有的产品以及与用户的品味有关的其他信息中的一个或多个。关于家庭中用户的数据可以匿名化，以防止在数据泄露或其他未经授权访问数据存储的情况下识别和尊重用户的隐私。
通过始终侦听设备从用户那里收集的声音数据以及援助的响应可能不仅限于家庭。例如，在工业或商业应用中，可以解密和分析通过始终侦听设备收集的可听数据。如果一个雇员问另一个，“我们是否有某种物品库存？”，系统可能会插入对话并以声音回答，“是的，新泽西仓库有123件，纽约仓库有234件”或“不是，但预计将于7月7日发货。”通过建立模型并学习在特定设备位置举行的对话的背景，可以准确地提供对普通问题的响应。
图7以简化形式描绘了“始终侦听”设备的另一实施例。
在一些实施例中，只要预处理器和/或关守模块301被限制为仅具有单方向出站传输能力，则预处理器和/或关守模块301可以与主处理器306和无线I/O通信模块302集成在一起。在该实施例中，主处理器无线发送器/接收器302将语音数据发送到云或其他远程服务器设备303，并依次接收响应，该响应可以通过一个或多个扬声器304以听觉反馈的形式进行中继。在一些实施例中，来自电源305的电力仍可以仅经由集成的关守模块/处理器/通信模块传递到麦克风300，而在其他实施例中，麦克风300可以具有不可切断的直接电力链路。
图8以简化形式描绘了具有“始终侦听”能力的电子设备的替代实施例。
在一些实施例中，第一预处理器和/或关守模块401和第二预处理器和/或关守模块402可以各自被动地“始终侦听”其自身独特的唤醒短语。例如，预处理器和/或关守模块401可以具有唤醒短语是单词“Alex”，而主处理器唤醒词可以是“AlexaTM”(按通常用于Amazon
Figure BDA0002582948810000221
)。
在其他实施例中，唤醒短语可以是特定单词、特定系列单词、手势、面部姿势、身体运动、音调、哨声、声音模式、动作模式、敲击模式，或以上的任何组合。唤醒短语可以被预先配置到设备，或者可以由用户根据用户的喜好来设置。
在一个实例中，如果用户说“Alex”，随后是诸如“允许始终侦听”之类的单个字符串，则系统可以通过允许连续侦听和传输语音数据来做出响应。类似地，“Alex”然后是“停止侦听”可中断语音数据的侦听和发送。
在完成“停止侦听”命令之后，系统可以返回到被动模式。预处理器和/或关守模块也可以集成或保持独立于第二或主处理器。此外，无线I/O或发送器/接收器可以被集成或保持独立于处理器。
在一些实施例中，第一关守模块401可以控制第二关守模块402或与第二关守模块402通信。例如，如果将关守模块401添加到不完全受信任的现有系统中，则用户可能能够使用第一个唤醒短语来控制现有系统是否完全能够侦听，并阻止现有系统将记录的数据报告给中央服务器。
图9描绘了处理第二不同的唤醒词的改进方法的说明性流程图。
例如，在Amazon
Figure BDA0002582948810000231
的情况，除了默认词“AlexaTM”还可以使用第二唤醒词，如“Alex”。在侦听时(步骤900)，如果使用第一默认唤醒词(步骤901)，则遵循标准设备行为。
在接收到的唤醒词之后的下一个可听短语被接收(步骤903)并被发送到云或其他远程服务器(步骤904)以进行自然语言处理(NLP)，并由远程服务器确定最佳的直接或间接响应于用户的每个口头输入或手势(步骤905)。如果正确的响应是信息、语音、音乐等，则通过设备的扬声器输出；如果正确的响应是动作(例如下载文件，与另一设备的API通信等)，则执行该动作(步骤906)。然后，该设备继续再次侦听第一唤醒词或手势(步骤900)，处理任何其他口头输入，并将任何后续帮助传递给用户。
相反，如果接收到第二唤醒词(步骤902)，则进入“始终侦听”模式(步骤907)。始终侦听周期(步骤908-911)反映了常规的一系列步骤(接收用户输入、传输到云、确定最佳响应并进行响应)，但是为恒定的周期或者甚至多个并行周期的恒定序列(即接收第二个用户输入并甚至在服务器基于第一个输入做出响应之前就将其发送)，而不是返回对唤醒词、短语或手势等待、休眠。多个异步系列的步骤(步骤908-911)可以同时进行处理，并且可以基于感知到的用户需求实时确定响应的优先级。例如，如果用户说“我想知道最近的墨西哥餐厅在哪里。实际上……我想我要中餐，”系统可能已经开始处理确定墨西哥餐厅位置的请求，但是在做出确定之前就收到了第二条陈述。响应于接收到第二条陈述，可以代替墨西哥餐厅而处理和输出中餐厅查询。
可以根据以下中的任何一项或多项来确定响应的优先级：感知到的紧急性指示(例如语气、音量、用于表示重要性或危险的词汇)，紧急情况或安全问题，内容和主题相关性，确定用户当前的意图或兴趣，确定用户不再需要帮助，在一组用户中对用户进行排名(例如首先对设备的所有者做出响应，或对成年人比对孩子先做出响应)，主题相关性或广告的最高出价者。因此，在通过接收第二个唤醒词而进入“始终侦听”模式之后，系统可以成为会话中的被动或主动参与者，插话以查询或提供信息，或者作为对无意听到的响应被动地更新日历或其他数据存储。
图10描绘了用于始终侦听设备的附加特征的程序逻辑的替代流程图。
如在图9中，系统监听输入(步骤1000)；如果使用第一唤醒短语，则可以遵循正常的单查询过程(步骤903-906)，并且如果使用第二唤醒短语，结合使用始终侦听模式的命令，可以触发对输入具有连续响应的始终侦听模式(步骤908-911)。此特征可以防止用户仅通过说出第二个唤醒短语而无需确认他们的意图，以及在不知不觉中让设备在后台侦听和/或执行动作的情况下意外触发始终侦听模式。
另外，始终侦听模式应该一直在侦听用户的指令以结束始终侦听模式(步骤1005)，在这种情况下，系统可以返回其正常的侦听功能(步骤1000)，以便输入单查询周期或多查询、始终侦听周期。
在一些实施例中，系统可以侦听附加命令以禁用系统功能的一个或多个部分(步骤1002)。涉及的功能可包括禁用设备的麦克风或其他接收器，禁用关守模块(以使数据或电源不受阻碍地通过关守模块传输)，禁用多个处理器中的一个处理器或禁用与云或本地设备通信的通信模块。然后，系统可以侦听命令(步骤1003)以重新启用禁用的功能，如果接收到该命令(步骤1004)，则系统将返回其先前的功能。
禁用功能/启用功能周期(步骤1002-1004)可以改为包含在单查询周期(例如，在步骤903和904之间)或多查询始终侦听模式(例如，在步骤908和909之间)的流程中。
例如，在始终侦听模式下，例如，如果用户不信任基础数字个人助理从第一接收机接收数据，但确实信任添加到数字个人助理并由第二接收机输入控制的关守模块，则可以发出命令以关闭多接收器设备使用的一个麦克风或其他接收器，同时保持另一个麦克风或接收器的功能。
与上述实施例相反，将关守模块或芯片集成到向用户提供辅助响应的同一设备中，涉及为多接收器系统中的一个麦克风或其他接收器提供控制同一系统的其他接收器和子系统的输入和输出的手段的上述功能(步骤1002-1004)可以在解耦的设备中实现，该解耦的设备被引入到现有的始终侦听系统中，以提供添加解耦的设备之前系统中不存在的附加功能，而无需直接修改始终侦听系统的设备的软件或硬件。
图11描绘了解耦的关守附件，其可以被附接到现有的侦听设备1150以提供安全的始终侦听功能。
现有的侦听设备1150可以是例如具有内置在电话的操作系统中的麦克风和辅助语音搜索的移动电话，或者可以是诸如亚马逊的Echo或谷歌的家庭设备之类的可商购且预先配置的数字助理。
附件1100被配置为插入现有设备1150的外部端口，并且可以包括例如先前描述的关守模块201和麦克风200，以及被配置为适合于外部端口的输入/输出耦合链路1105。
在优选实施例中，输入/输出耦合链路1105可以是适合于插入设备1150的3.5mm插孔(传统的“耳机”插孔)的电缆。在其他实施例中，输入/输出耦合链路1105可以是使用另一种连接协议或电缆终端类型的电缆，例如(但不限于)USB(通用串行总线，类型A、B、C，“迷你”或“微型”)、HDMI(高清多媒体接口)、VGA、DVI(数字视觉接口)、Firewire或其他形式的数据总线、物理电缆连接类型和/或用于数据传输和接收的关联协议。在其他实施例中，输入/输出耦合链路1105可以包括无线发射机并无线地建立连接，诸如通过蓝牙、WiFi、NFC(近场通信)或其他连接。附件1100可以包括多个输入/输出耦合链接1105，以允许附件与多种不同类型的现有侦听设备1150一起工作。类似地，它可以允许移除和插入新的输入/输出耦合链路1105，以经由尚未发明但通过软件更新来建立与无线发射器或电缆连接的外部端口类型或通信协议来与新开发的现有监听设备1150一起工作，所述无线发射器或电缆在其一端具有新的外部链接类型，在另一端具有附件1100的熟悉的外部链接类型。
现有设备1150可以具有一个或多个系统API，其允许电子通信直接禁用(例如向个人数字助理应用程序本身发出命令以暂停执行，或终止，或停止侦听或直到发出命令以重新启用等)或间接禁用(例如在操作系统级别，关闭设备1150的麦克风或其他接收器或禁用应用程序访问麦克风的权限等)设备1150的侦听功能。类似地，系统API可以允许重新启用系统或应用程序特征，或者允许修改用于操作设备1150的侦听功能的配置数据或其他规则。
响应于麦克风200感知到的停止侦听的用户命令，关守模块201可以使API命令通过输入/输出耦合链接1105发送，以供设备1150的操作系统或设备1150的软件接收，该设备正提供个人数字助理功能，用于根据API进行处理，以终止设备1150的进一步侦听(或使其不可能)。因此，安全性由附件1100强制执行，因为重新启用侦听的API命令不会由设备1150本身的侦听软件发送，而仅由附件1100发送，附件1100仍由链接1105链接，并将发送API命令，以仅当用户与附件1100交互并且直接或隐式请求重新启用设备1150的功能时才重新启用。
用户可能不信任设备1150而拒绝秘密地重新启用自身或拥有无法被其他向该设备1150发送API调用的代理或设备破解的API。因此，如下所述，使用在设备1150中不信任的解耦设备可能是优选的。
图12A、图12B和图12C示出了用于帮助提供安全的始终侦听功能的解耦的隔音帽或其他隔离屏障。
帽1200(其类似于附件1100，至少包括接收器200和关守模块201)可以被固定到独立的始终侦听设备1150，使得帽1200遮盖或干扰设备1150的第二接收器1250。
在一个实施例中(在图12A中示出)，帽1200可以覆盖设备1150的外表面的最小部分，如仅遮盖或阻挡第二接收器1250而不会影响装置的其余部分所需的。例如，如图所示，移动电话1150的摄像头1250可以被帽1200覆盖，而不会显著干扰移动电话1150的其他功能。在另一个实施例中(在图12B中示出)，帽1200可以是围绕设备1150的大部分的套筒或盖子，同时仍然使设备1150的至少一些表面暴露。例如，如图12B所示，套筒1200装配在移动电话1150的整个顶部上。在第三实施例中(在图12C中示出)，帽1200可以是完全封闭设备1150的容器。
在一个优选实施例中，帽1200使设备1150的接收器1250完全隔绝，以免接收至少一种形式的用户输入。隔绝可以采取以下形式：在麦克风周围创建隔音屏障，或在摄像头或其他光学传感器上方创建不透明屏障，在无线接收器上方创建法拉第笼，以防止信号传输等。作为非限制性示例，隔音可以采取以下形式：通过隔音材料直接阻挡，通过消声(产生破坏性地干扰输入声音的波形)或通过较大声的噪声、白噪声或其他随机或伪随机噪声干扰输入声音来不完全阻挡。
帽1200的接收器200可以与被阻挡的接收器1250的类型相同，例如包括一个或多个全向麦克风，同时阻止向麦克风的声音，或者包括摄像头，同时阻止光被摄像头或光学传感器接收。可替代地，接收器200可以是不同类型的，使得帽1200被用于同时阻挡摄像头同时允许用户经由麦克风200和看关守模块201进行口头控制，或者阻挡麦克风同时允许用户经由摄像头200和关守模块201进行手势控制。
帽1200可以具有位于帽1200内的输出系统，该输出系统对应于被接收器1250阻止感知的输入。因此，输出系统可用于将接收器200接收到的声音、视频或其他数据选择性地重新发送到帽200内的接收器1250。
例如，帽1200可能具有三种操作模式：允许接收器1250不接收数据(帽达到的默认状态)；允许接收器1250接收所有数据(例如，通过用麦克风200接收音频数据，然后通过帽中的扬声器重新创建接收到的数据)；或仅在前面有来自设备1150使用的单独的唤醒词/短语/手势/输入的数据时才将数据传递给接收器1250。如果提供了第二唤醒输入，则数据可以经过一段时间传送通过(例如直到由设备1150执行下一个用户命令，直到经过了一分钟，直到经过了其他预定时间段，等等)或基于另一种标准传送通过(例如，仅通过讨论特定主题的口头输入，仅通过由特定说话者的口头输入，仅通过在人不讲话时的音频数据等)，以允许用户更好地控制设备1150可以访问什么数据。
帽1200还可以具有将设备1150的电源线插入其中的电源插座，或者可以具有插入设备1150以提供电力的其自己的内部电缆(例如，USB电缆)。因此，关守模块201可以使用这些或其他方式(包括但不限于切断电源，致动电源按钮或开关，或与设备的API接合)来使设备断电或重新通电。
帽1200的关守模块201可以具有独立的NLP处理器或其他处理器，该处理器能够提供对用户输入的辅助响应而无需传输到远程服务器203进行分析和信息提供(例如，用于控制房屋中的智能设备，或者用于存储和获取提醒)。关守模块201还可以被配置为向与远程服务器203不同的服务器计算设备发送，用于分析、实现表达为输入的用户意图或更新所存储的数据。例如，如果设备1150被编程为传输到由特定私人卖方操作的服务器，则帽1200可以用于将输入重定向到由替代卖方或用户本人操作的服务器，以保护一些或所有用户输入数据的私密性。
帽1200可以包括附件1100的全部或一些功能，包括链接1105，使得它不仅阻止或向设备1150的接收器提供输入，而且还可以直接向设备1150发送数据。因此，帽1200可以使用设备1150的扬声器或屏幕或与设备1150相关联的扬声器或屏幕(例如，设备1150正在向其投射内容的远程扬声器或屏幕)，以通过链接1105传递接收到的信息或通过链接1105播放广告，使得帽1200可能不需要自己的扬声器或屏幕。除了或代替由设备1150提供的广告，帽1200还可用于从远程服务器获取和显示(单独地或经由设备1150)广告或其他内容，播放那些广告。
图13描绘了包括解耦的网络设备的系统，其用于提供安全的始终侦听功能，同时有选择地将用户的生成的网络流量的一部分绕道到替代目的地。
始终侦听设备1150可以配置为仅通过网络路径连接到基于云的远程服务器203，该网络路径必须/专有地通过特定的接入点1300，例如(仅作为示例)无线路由器、经栓系提供热点的移动计算设备、无线信号中继器、机顶盒、台式计算机或其他计算设备、网络防火墙、网络切换器/多路复用器/多路分配器或电缆调制解调器、电话调制解调器或卫星或其他调制解调器。
接入点1300可以基于设备1150的用户所接收的一个或多个命令或用于解释用户所接收的输入数据的规则，防止始终侦听设备1150所传输的一些或全部数据的通过到达外部网络和远程设备203，或者将设备1150传输的数据的子集重定向到单独的服务器1350，而不是远程设备203。
例如，用户可以将设备1150配置为仅通过由其中包含关守模块201的移动电话1300提供的热点来连接到互联网。然后，用户可以下载并安装使用关守模块201的移动应用程序，以允许用户向其电话发出语音命令，以禁用或重新启用设备1150的功能，在没有数据通过关守模块201的情况下其无法从外部网络发送或接收数据。
接入点1300可以联系广告服务器1350以检索上下文广告、以用户为目标的广告或其他广告，并将它们提供给设备1150的用户。替代地，接入点1300可以拦截和删除或替换将从远程服务器203或另一服务器传递到设备1150并由设备1150显示的广告。接入点1300也可以用于选择用于诸如文本搜索之类的服务的另一供应商，而不是默认供应商。
接入点1300可以用于对设备1150对用户输入数据的传输实施基于时间的控制。例如，接入点1300可用于在诸如聚会之类的社交事件的持续时间内，而用户正在从事特定的活动或消费特定内容，或者在用户发出命令停止侦听后持续一段预定义或用户定义的时间，防止用户输入数据从每晚的特定时间传输到每天的特定时间。
接入点1300还可用于实现对特定用户输入数据的过滤。例如，接入点1300可以用于过滤出不包括故意用户命令的所有数据，确实包括故意用户命令的所有数据，所有数据代表来自特定用户的输入，代表来自除特定用户以外的人的输入的所有数据，与特定主题有关的所有数据，与特定主题无关的所有数据，特定应用程序(日历应用程序、Web浏览器、文本消息传递应用程序等)将处理的所有数据，除特定应用程序要处理的数据以外的所有数据，等等。
接入点1300的特征也可以被结合到帽1200和/或附件1100中(例如，选择性地或完全地重定向/替换来自计算设备的网络流量，同时还遮盖了计算设备的传感器的帽，或选择性或完全重定向/替换来自计算设备的网络流量的插入式附件)。
作为前述解耦设备的结果，可以向用户提供对谁有权访问用户动作和设备1150感知的数据的附加控制，而不必信任设备1150的制造者或在其上执行软件的程序员。
本发明的各个实施例的描述已经呈现用于说明的目的，但不旨在穷尽或限制所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是明显的。本文所使用的术语被选择来最佳解释实施例的原理、在市场中可找到的技术之上的实践应用或技术改进、或使本领域的普通技术人员中的其他技术人员能够理解本文公开的实施例。
本发明可以是处于任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可包括计算机可读存储介质(或媒介)，在其上具有计算机可读程序指令用于致使处理器实行本发明的各方面。
计算机可读存储介质可以是可以保持和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以是，例如，但不限于，电子存储设备、磁存储设备、光存储装设备、电磁存储设备、半导体存储设备或上述的任何合适的组合。计算机可读存储介质的更多具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用盘(DVD)、存储棒、软盘、机械编码设备(诸如其上记录有指令的打孔卡或在槽中的凸起结构)，以及上述的任何合适的组合。计算机可读存储介质(如本文所使用)不被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输媒体的电磁波(例如通过光纤电缆的光脉冲)或通过电线传输的电信号。
本文所述的计算机可读程序指令可从计算机可读存储介质被下载到相应的计算/处理设备，或经由网络，例如互联网、局域网、广域网和/或无线网络被下载到外部计算机或外部存储设备。网络可包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。在每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令并且转发计算机可读程序指令用于存储在相应的计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编程序指令，指令集架构(ISA)指令，机器指令，机器相关指令，微码，固件指令，状态设置数据，集成电路的配置数据，或以一种或多种编程语言(包括面向对象的编程语言，例如Smalltalk、C++等)和过程编程语言(例如“C”编程语言或类似编程)的任意组合编写的源代码或目标代码语言。计算机可读程序指令可完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立软件包部分在用户的计算机上执行和部分在远程计算机上执行或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或可(例如，使用互联网服务提供者通过互联网)连接到外部计算机。在一些实施例中，包括(例如)可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息标记电子电路来执行计算机可读程序指令，以便执行本发明的各方面。
在本文中参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图说明和/或框图描述本发明的各方面。将理解，流程图说明和框图的每个块以及在流程图说明和/或框图中的块的组合可以通过计算机可读程序指令实现。
这些计算机可读程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图块(或多个块)中指定的功能/行为的方式。这些计算机程序指令还可被存储在可以指示计算机、可编程数据处理装置和/或其他设备以特定方式操作的计算机可读存储介质中，使得在其中存储有指令的计算机可读存储介质包括包含实现在流程图和/或框图块(或多个块)中指定的功能/行为的各方面的指令的制造品。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备以致使要在计算机、其他可编程装置或其他设备上执行的一系列操作步骤产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现在流程图和/或框图块(或多个块)中指定的功能/行为。
在附图中的流程图和框图图示根据本发明的各实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，在流程图或框图中的每个块可表示指令的模块、片段或部分，所述指令包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些备选实现方式中，在块中指出的功能可以不同于在附图中指出的次序发生。例如，事实上可大体上同时执行相继示出的两个块，或有时可以相反次序执行块，这取决于所涉及的功能。还将指出，框图和/或流程图说明的每个块以及在框图和/或流程图说明中的块的组合可由执行指定功能或行为或者实行专用硬件和计算机指令的组合的专用基于硬件的系统实现。

Claims (91)

1.一种具有始终侦听能力的计算设备，其包括：
第一电子传感器，其被配置为从用户接收包括话语或手势的输入；
通信模块，其被配置为向远程服务器发送数据和从远程服务器接收数据；
由处理器实现的关守模块，其中在禁用关守功能时，所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件；和
非暂时性存储器，其存储指令，所述指令在由处理器执行时导致处理器：
确定第一电子传感器接收到的输入包括第一输入内容；和
响应于确定所述输入包括第一输入内容，自动执行以下至少一项：
在第一输入内容之后发送用户输入的表示；
激活始终接收模式以在第一输入内容之后发送捕获的用户输入流；
禁用所述始终接收模式，以防止传输在第一输入内容之后接收到的用户输入，除非还先于第二输入内容；或者
启用所述关守模块以阻止具有始终侦听能力的计算设备外部的所有数据传输。
2.一种具有始终侦听能力的计算设备，其包括：
第一电子传感器，其配置为记录视频数据；
通信模块，其被配置为向远程服务器发送数据和从远程服务器接收数据；
由处理器实现的关守模块，其中在禁用关守功能时，所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件；和
非暂时性存储器，其存储指令，所述指令在由处理器执行时导致处理器：
确定第一电子传感器记录的所述视频数据包括第一输入内容；和
响应于确定所述视频数据包括第一输入内容，自动生成并发送消息以供人类用户接收。
3.根据权利要求1或2所述的具有始终侦听能力的计算设备，其中所述第一电子传感器包括一个或多个电源输入引线以及一个或多个数据输出引线至所述关守模块，并且其中所述第一电子传感器不包括来自所述具有始终侦听能力的计算设备的其他组件的任何输入引线或至其的输出引线。
4.根据权利要求1或2所述的具有始终侦听能力的计算设备，其中所述关守模块包括一个或多个电源输入引线。
5.根据权利要求1或2所述的具有始终侦听能力的计算设备，还包括两个或更多个关守模块，其中所述两个或更多个关守模块中的第一关守模块由所述两个或更多个关守模块中的第二门保持启用或禁用。
6.根据权利要求1或2所述的具有始终侦听能力的计算设备，还包括第二电子传感器，其中所述关守模块响应于所述第一电子传感器接收到第一唤醒输入内容而激活所述第二电子传感器，并且其中处理器响应于由任何电子传感器接收的输入而发送数据，该输入包括与第一唤醒输入内容不同的第二唤醒输入内容。
7.根据权利要求1或2所述的具有始终侦听能力的计算设备，其中所述关守模块被配置为通过防止电源为所述通信模块供电而防止所述通信模块向所述具有始终侦听能力的计算设备的外部发送数据。
8.根据权利要求1所述的具有始终听能力的计算设备，其中所述始终接收模式包括：
通过所述远程服务器分析所传输的数据以确定包括以下至少一种的响应：
激发确定的可能的用户需求；
向所述用户请求其他信息以进行响应；
归档来自所述用户的非识别数据；和
向所述用户提供响应信息。
9.根据权利要求2所述的具有始终侦听能力的计算设备，其中供人类用户接收的所述消息部分地由所述远程服务器分析发送的数据以确定包括以下至少一项的响应来确定：
激发确定的可能的用户需求；
向所述用户请求其他信息以进行响应；和
向所述用户提供响应信息。
10.根据权利要求1或2所述的具有始终侦听能力的计算设备，其中所述非暂时性存储器存储指令，所述指令在由处理器执行时还使所述处理器：
在第一时间间隔内，启用所述通信模块接收数据；
在比第一时间间隔短的第二时间间隔中，禁用所述通信模块接收所有传入的无线数据；和
重新启用所述通信模块以接收传入的无线数据。
11.根据权利要求1或2所述的具有始终侦听能力的计算设备，其包括两个或更多个电子传感器，并且其中所述两个或更多个电子传感器既包括麦克风又包括摄像头。
12.根据权利要求1或2所述的具有始终侦听能力的计算设备，其中所述非暂时性存储器还存储指令，所述指令在由处理器执行时使所述处理器：
确定正在以人类听觉以外的频率范围播放消息；和
提醒人类用户正在播放所述消息。
13.一种用于提供始终侦听辅助响应的计算机实现的方法，包括：
经由第一电子传感器接收第一用户输入，所述第一用户输入包括人类用户的一个或多个话语或手势；
将基于接收到的用户输入的数据通过处理器实现的关守模块传递给通信模块，使得在禁用关守功能时，所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件；
确定所述用户输入包括第一唤醒短语；和
响应于确定所述用户输入包括第一唤醒短语，自动执行以下至少一项：
在第一唤醒短语之后发送用户输入的表示；
激活始终接收模式以发送在第一唤醒短语之后捕获的用户输入流；
停用所述始终接收模式，以防止传输在第一唤醒短语之后接收到的用户输入，除非也在第二唤醒短语之前；或者
启用所述关守模块以阻止所述通信模块的所有数据传输。
14.一种用于提供始终侦听辅助响应的计算机实现的方法，包括：
通过第一电子传感器记录视频数据；
将基于记录的视频数据的数据通过处理器实现的关守模块传递给通信模块，使得在禁用关守功能时，所述通信模块接收的基于记录的视频数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于记录的视频数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件；和
确定第一电子传感器记录的所述视频数据包括第一输入内容；和
响应于确定所述视频数据包括第一输入内容，自动生成并发送消息以供人类用户接收。
15.根据权利要求13或14所述的计算机实现的方法，其中用户输入包括来自多个用户的话语、手势或表情。
16.根据权利要求13所述的计算机实现的方法，其还包括：
在发送在第一唤醒短语之后捕获的用户输入之后，向用户显示以下一项：网页的一部分；事实；计算；营销协助；与主题相关的适用时间的广告；音乐；包括来自第三方的实时通信的数据流，或已执行动作的通知。
17.根据权利要求13或14所述的计算机实现的方法，其中所述设备跟踪对话状态，并通过一个或多个澄清查询来提示用户以确定更合适的信息以满足用户的需求。
18.根据权利要求13或14所述的计算机实现的方法，还包括静默地使得与所述用户相关联的远程数据存储被更新。
19.根据权利要求13或14所述的计算机实现的方法，其中所述关守模块被结合到数字个人助理系统中，并且其中所述数字个人助理系统的电子传感器被禁用，直到由所述关守模块处理唤醒话语或手势为止，所述唤醒短语不同于预先配置用于激活所述数字个人助理系统的第二唤醒短语。
20.根据权利要求19所述的计算机实施的方法，其中通过使配置为接收用户输入的电子传感器断电来禁用所述数字个人助理系统。
21.根据权利要求19所述的计算机实现的方法，其中通过所述关守模块禁用所述数字个人助理系统，以防止向所述数字个人助理系统传输数据。
22.根据权利要求13或14所述的计算机实现的方法，其中所述第一电子传感器包括一个或多个电源输入引线以及一个或多个数据输出引线至所述关守模块，并且其中所述第一电子传感器不包括来自所述具有始终侦听能力的计算设备的其他组件的任何输入引线或至其的输出引线。
23.根据权利要求13或14所述的计算机实现的方法，其还包括：
响应于第一电子传感器接收到第一唤醒输入，经由所述关守模块激活第二电子传感器，以及
响应于由第二电子传感器接收的输入而发送数据，该输入包括与第一唤醒输入不同的第二唤醒输入。
24.根据权利要求13或14所述的计算机实现的方法，其中所述关守模块被配置为通过防止电源为所述通信模块供电而防止所述通信模块向所述具有始终侦听能力的计算设备的外部发送数据。
25.根据权利要求14所述的计算机实现的方法，其中供人类用户接收的所述消息部分地由所述远程服务器分析发送的数据以确定包括以下至少一项的响应来确定：
激发确定的可能的用户需求；
向所述用户请求其他信息以进行响应；或者
向所述用户提供响应信息。
26.根据权利要求13或14所述的计算机实现的方法，其还包括：
在第一时间间隔内，启用所述通信模块接收数据；
在比第一时间间隔短的第二时间间隔中，禁用所述通信模块接收所有传入的无线数据；和
重新启用所述通信模块以接收传入的无线数据。
27.根据权利要求13或14所述的计算机实现的方法，其中视频数据和音频数据都被记录。
28.根据权利要求13或14所述的计算机实现的方法，其还包括：
确定正在人类听觉之外的频率范围内播放消息；和
提醒人类用户正在播放所述消息。
29.一种用于具有通信模块的计算设备的具有始终侦听能力的解耦附件，其包括：
第一电子传感器，其被配置为记录包括话语或手势的用户输入；
与所述计算设备的数据连接；
由处理器实现的关守模块，其中在禁用关守功能时，所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件；和
非暂时性存储器，其存储指令，所述指令在由处理器执行时导致处理器：
确定第一电子传感器记录的用户输入包括第一输入内容；和
响应于确定所述用户输入包括第一输入内容，自动生成消息并将消息发送到所述计算设备。
30.根据权利要求29所述的附件，其中所述第一电子传感器包括一个或多个电源输入引线以及一个或多个数据输出引线至所述关守模块，并且其中所述第一电子传感器不包括来自所述计算设备的所述附件的其他组件的任何输入引线或至其的输出引线。
31.根据权利要求29所述的附件，其中所述关守模块包括一个或多个电源输入引线。
32.根据权利要求29所述的附件，其中到所述计算设备的消息包括用于禁用或重新启用所述计算设备的功能的指令。
33.根据权利要求29所述的附件，其中到所述计算设备的所述数据连接包括电缆。
34.根据权利要求33所述的附件，其中所述电缆被配置为进入所述计算设备的3.5mm插孔。
35.根据权利要求33所述的附件，其中所述电缆被配置为进入所述计算设备的USB(通用串行总线)端口。
36.根据权利要求33所述的附件，其中所述电缆被配置为进入所述计算设备的HDMI(高清多媒体接口)端口。
37.根据权利要求32所述的附件，其中所述消息根据由所述计算设备的操作系统提供的API(应用编程接口)格式化。
38.根据权利要求32所述的附件，其中所述消息根据由所述计算设备执行的应用程序提供的API格式化。
39.一种使用具有始终侦听能力的解耦附件来控制具有通信模块的计算设备的方法，包括：
确定由所述附件的第一电子传感器记录的用户输入包括第一输入内容；以及
响应于确定所述用户输入包括第一输入内容，自动生成消息并将消息发送到所述计算设备；和
其中所述附件包括：
与所述计算设备的数据连接；和
由处理器实现的关守模块，其中在禁用关守功能时，所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
40.根据权利要求39所述的方法，其中所述第一电子传感器包括一个或多个电源输入引线以及一个或多个数据输出引线至所述关守模块，并且其中所述第一电子传感器不包括来自所述计算设备的所述附件的其他组件的任何输入引线或至其的输出引线。
41.根据权利要求39所述的方法，其中所述关守模块包括一个或多个电源输入引线。
42.根据权利要求39所述的方法，其中到所述计算设备的消息包括用于禁用或重新启用所述计算设备的功能的指令。
43.根据权利要求39所述的方法，其中到所述计算设备的所述数据连接包括电缆。
44.根据权利要求43所述的方法，其中所述电缆被配置为进入所述计算设备的3.5mm插孔。
45.根据权利要求43所述的方法，其中所述电缆被配置为进入所述计算设备的USB(通用串行总线)端口。
46.根据权利要求43所述的方法，其中所述电缆被配置为进入所述计算设备的HDMI(高清多媒体接口)端口。
47.根据权利要求42所述的方法，其中所述消息根据由所述计算设备的操作系统提供的API(应用编程接口)格式化。
48.根据权利要求42所述的方法，其中所述消息根据由所述计算设备执行的应用程序提供的API格式化。
49.一种具有始终侦听能力的解耦帽，其被配置为与具有通信模块的计算设备进行物理接合，其包括：
第一电子传感器，其被配置为记录包括话语或手势的用户输入；
由处理器实现的关守模块，其中在禁用关守功能时，所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件；
其中所述帽干扰所述计算设备的功能；和
其中非暂时性存储器存储指令，所述指令在由处理器执行时导致所述处理器：
确定第一电子传感器记录的用户输入包括第一输入内容；和
改变对所述计算设备的功能的干扰性质。
50.一种具有始终侦听能力的解耦帽，其被配置为与具有通信模块的计算设备进行物理接合，其包括：
第一电子传感器，其被配置为记录包括话语或手势的用户输入；
由处理器实现的关守模块，其中在禁用关守功能时，所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件；
其中所述帽干扰所述计算设备的功能；和
其中非暂时性存储器存储指令，所述指令在由处理器执行时导致所述处理器：
确定第一电子传感器记录的用户输入包括第一输入内容；和
从不同于第一服务器的第二服务器获取对所述用户输入的响应，计算设备将已经从第一服务器获取数据但是是因为所述计算设备的功能被干扰。
51.根据权利要求49或50所述的帽，其中所述帽通过在所述计算设备周围形成基本隔音的屏障而进行干扰。
52.根据权利要求49或50所述的帽，其中所述帽通过产生声学抵消声音来干扰所述计算设备可感知的声波。
53.根据权利要求49或50所述的帽，其中所述帽通过在第一体积处产生第一声音进行干扰，所述第一声音阻止所述计算设备在小于所述第一体积的第二体积处感知第二声音。
54.根据权利要求49或50所述的帽，其中所述帽通过产生由所述计算设备感知的白噪声进行干扰。
55.根据权利要求49或50所述的帽，其中所述帽通过对光波不透明而进行干扰，否则所述光波将被所述计算设备感知。
56.根据权利要求49或50所述的帽，其中所述帽重新创建所接收的用户输入数据的子集以供所述计算设备感知。
57.根据权利要求49或50所述的帽，其中所述帽是覆盖所述计算设备的大部分表面的套筒。
58.根据权利要求49或50所述的帽，其中所述帽是完全封闭所述计算设备的容器。
59.根据权利要求49或50所述的帽，其中所述帽耦接到所述计算设备以使得能够向所述计算设备提供电力，并且其中所述帽通过拒绝给所述计算设备供电进行干扰。
60.一种通过具有始终侦听能力的解耦帽在具有通信模块的计算设备中提供信息安全性的方法，所述解耦帽被配置为与计算设备物理接合，所述方法包括：
确定包括话语或手势并且由所述帽的第一电子传感器记录的用户输入包括第一输入内容；和
改变所述帽对所述计算设备的功能的干扰性质；
其中所述帽包括由处理器实现的关守模块，其中在禁用关守功能时，所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
61.一种通过具有始终侦听能力的解耦帽在具有通信模块的计算设备中提供信息安全性的方法，所述解耦帽被配置为与计算设备物理接合，所述方法包括：
确定包括话语或手势并且由所述帽的第一电子传感器记录的用户输入包括第一输入内容；和
从不同于第一服务器的第二服务器获取对所述用户输入的响应，所述计算设备将已经从第一服务器获取数据但是是因为所述计算设备的功能被干扰；
其中所述帽包括由处理器实现的关守模块，其中在禁用关守功能时，所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
62.根据权利要求60或61所述的方法，其中所述帽通过在所述计算设备周围形成基本隔音的屏障而进行干扰。
63.根据权利要求60或61所述的方法，其中所述帽通过产生声学抵消声音来干扰所述计算设备可感知的声波。
64.根据权利要求60或61所述的方法，其中所述帽通过在第一体积处产生第一声音进行干扰，所述第一声音阻止所述计算设备在小于所述第一体积的第二体积处感知第二声音。
65.根据权利要求60或61所述的方法，其中所述帽通过产生由所述计算设备感知的白噪声进行干扰。
66.根据权利要求60或61所述的方法，其中所述帽通过对光波不透明而进行干扰，否则所述光波将被所述计算设备感知。
67.根据权利要求60或61所述的方法，还包括：重新创建由所述第一电子传感器接收的用户输入数据的子集，以供所述计算设备感知。
68.根据权利要求60或61所述的方法，其中所述帽是覆盖所述计算设备的大部分表面的套筒。
69.根据权利要求60或61所述的方法，其中所述帽是完全封闭所述计算设备的容器。
70.根据权利要求60或61所述的方法，其中所述帽耦接到所述计算设备以使得能够向所述计算设备提供电力，并且其中所述帽还通过拒绝给所述计算设备供电进行干扰。
71.与具有通信模块并且在同一计算网络中的第二计算设备解耦的具有始终侦听能力的第一计算设备，其包括：
第一电子传感器，其被配置为记录包括话语或手势的用户输入；
由处理器实现的关守模块，其中在禁用关守功能时，所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件；和
非暂时性存储器，其存储指令，所述指令在由处理器执行时导致所述处理器：
确定第一电子传感器记录的用户输入包括第一输入内容；和
从不同于第二服务器的第一服务器获取对所述用户输入的响应，所述第二计算设备将已经从第二服务器获取数据但是是因为第一计算设备阻止了从第二计算设备向第二数据源发送电子通信。
72.根据权利要求71所述的第一计算设备，其中所述计算设备是无线路由器。
73.根据权利要求71所述的第一计算设备，其中所述计算设备提供无线热点。
74.根据权利要求71所述的第一计算设备，其中所述计算设备是网络防火墙。
75.根据权利要求71所述的第一计算设备，其中从所述第二计算设备到所述第二服务器的唯一网络路径经过所述第一计算设备。
76.根据权利要求71所述的第一计算设备，其中来自所述第一服务器的响应包括针对所述第一计算设备的用户的一个或多个广告。
77.根据权利要求71所述的第一计算设备，其中所述第一计算设备被配置为基于当前时间选择性地将通信从所述第二计算设备转移到所述第一服务器。
78.根据权利要求71所述的第一计算设备，其中所述第一计算设备被配置为在有限的时间窗内选择性地将通信从所述第二计算设备转移到所述第一服务器。
79.根据权利要求71所述的第一计算设备，其中所述第一计算设备被配置为基于由所述第一计算设备感知的用户输入的主题来选择性地将通信从所述第二计算设备转移到所述第一服务器。
80.根据权利要求71所述的第一计算设备，其中所述第一计算设备被配置为基于所述第二服务器处的应用是用户输入的预期接收者，选择性地将通信从所述第二计算设备转移到所述第一服务器。
81.根据权利要求71所述的第一计算设备，其中所述第一计算设备被配置为基于提供用户输入的用户的身份来选择性地将通信从所述第二计算设备转移到所述第一服务器。
82.一种通过与第二计算设备解耦以及在同一计算网络中的具有始终侦听能力的第一计算设备在具有通信模块的第二计算设备中提供信息安全性的方法，包括：
确定包括话语或手势并且由所述第一计算设备的第一电子传感器记录的用户输入包括第一输入内容；和
从不同于第二服务器的第一服务器获取对所述用户输入的响应，所述第二计算设备将已经从第二服务器获取数据但是是因为第一计算设备阻止了从第二计算设备向第二数据源发送电子通信；
其中第一计算设备包括由处理器实现的关守模块，其中在禁用关守功能时，所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块，其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块，其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收，并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
83.根据权利要求82所述的方法，其中所述计算设备提供无线热点。
84.根据权利要求82所述的方法，其中从所述第二计算设备到所述第二服务器的唯一网络路径经过所述第一计算设备。
85.根据权利要求82所述的方法，其中来自所述第一服务器的响应包括针对所述第一计算设备的用户的一个或多个广告。
86.根据权利要求82所述的方法，其中所述第一计算设备被配置为基于当前时间选择性地将通信从所述第二计算设备转移到所述第一服务器。
87.根据权利要求82所述的方法，其中所述第一计算设备被配置为在有限的时间窗内选择性地将通信从所述第二计算设备转移到所述第一服务器。
88.根据权利要求82所述的方法，其中所述第一计算设备被配置为基于第一计算设备感知到的用户输入的主题选择性地将通信从所述第二计算设备转移到所述第一服务器。
89.根据权利要求82所述的方法，其中所述第一计算设备被配置为基于所述第二服务器处的应用是用户输入的预期接收者，选择性地将通信从所述第二计算设备转移到所述第一服务器。
90.根据权利要求82所述的方法，其中所述第一计算设备被配置为基于提供用户输入的用户的身份来选择性地将通信从所述第二计算设备转移到所述第一服务器。
91.一种计算设备，其包括电子传感器、关守模块和存储指令的非暂时性存储器，所述指令在由处理器执行时允许用户经由被所述电子传感器感知的用户输入控制由所述关守模块执行的始终侦听模式。
CN201880086432.5A 2017-11-14 2018-11-09 具有关守功能的计算设备、解耦附件及其计算机实现方法 Active CN111819560B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/812,679 2017-11-14
US15/812,679 US10002259B1 (en) 2017-11-14 2017-11-14 Information security/privacy in an always listening assistant device
US16/010,725 2018-06-18
US16/010,725 US10867623B2 (en) 2017-11-14 2018-06-18 Secure and private processing of gestures via video input
PCT/US2018/060110 WO2019099302A1 (en) 2017-11-14 2018-11-09 Information security/privacy via a decoupled security accessory to an always listening assistant device

Publications (2)

Publication Number Publication Date
CN111819560A true CN111819560A (zh) 2020-10-23
CN111819560B CN111819560B (zh) 2024-01-09

Family

ID=66432383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880086432.5A Active CN111819560B (zh) 2017-11-14 2018-11-09 具有关守功能的计算设备、解耦附件及其计算机实现方法

Country Status (6)

Country Link
US (1) US10867623B2 (zh)
EP (1) EP3710971A4 (zh)
JP (2) JP7209006B2 (zh)
CN (1) CN111819560B (zh)
CA (1) CA3083745A1 (zh)
WO (1) WO2019099302A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999733B2 (en) 2017-11-14 2021-05-04 Thomas STACHURA Information security/privacy via a decoupled security accessory to an always listening device
US10685666B2 (en) * 2018-04-06 2020-06-16 Intel Corporation Automatic gain adjustment for improved wake word recognition in audio systems
US11189275B2 (en) * 2018-08-02 2021-11-30 Polycom, Inc. Natural language processing while sound sensor is muted
US11138334B1 (en) * 2018-10-17 2021-10-05 Medallia, Inc. Use of ASR confidence to improve reliability of automatic audio redaction
US11570016B2 (en) * 2018-12-14 2023-01-31 At&T Intellectual Property I, L.P. Assistive control of network-connected devices
CN113728380A (zh) 2019-02-07 2021-11-30 托马斯·斯塔胡拉 用于智能扬声器的隐私装置
US11462220B2 (en) * 2020-03-04 2022-10-04 Accenture Global Solutions Limited Infrastructure automation platform to assist in performing actions in response to tasks
US11438313B2 (en) 2020-05-07 2022-09-06 Mastercard International Incorporated Privacy filter for internet-of-things (IOT) devices
US11361062B1 (en) 2021-03-02 2022-06-14 Bank Of America Corporation System and method for leveraging microexpressions of users in multi-factor authentication

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175095A (ja) * 1997-12-11 1999-07-02 Hitachi Medical Corp 医用診断装置
CA2256781A1 (en) * 1998-09-14 2000-03-14 Northern Telecom Limited Method and apparatus for automatically dialling a desired telephone number using speech commands
JP2001520820A (ja) * 1997-02-03 2001-10-30 エムシーアイ・ワールドコム・インコーポレーテッド 通信システム構造
US20030171928A1 (en) * 2002-02-04 2003-09-11 Falcon Stephen Russel Systems and methods for managing interactions from multiple speech-enabled applications
US20050025124A1 (en) * 2003-07-29 2005-02-03 Derek Mitsumori System and method for monitoring communications in a network
US7069271B1 (en) * 2000-11-03 2006-06-27 Oracle International Corp. Methods and apparatus for implementing internet storefronts to provide integrated functions
CN1808966A (zh) * 2004-10-01 2006-07-26 美国博通公司 安全数据处理方法及其系统
US20070143115A1 (en) * 2002-02-04 2007-06-21 Microsoft Corporation Systems And Methods For Managing Interactions From Multiple Speech-Enabled Applications
WO2007121570A1 (en) * 2006-04-20 2007-11-01 Iq Life, Inc. Interactive patient monitoring system using speech recognition
US20100046842A1 (en) * 2008-08-19 2010-02-25 Conwell William Y Methods and Systems for Content Processing
CN102024454A (zh) * 2009-09-10 2011-04-20 三菱电机株式会社 基于语音输入激活多种功能的系统和方法
CN102483915A (zh) * 2009-06-25 2012-05-30 蓝蚁无线股份有限公司 具有包括导引配对和语音触发操作的语音控制功能的电信装置
CN102893327A (zh) * 2010-03-19 2013-01-23 数字标记公司 直觉计算方法和系统
CN103391354A (zh) * 2012-05-09 2013-11-13 富泰华工业（深圳）有限公司 信息保密系统及信息保密方法
CN103517191A (zh) * 2012-06-18 2014-01-15 三星电子株式会社 面向讲话者的助听功能提供方法和装置
US8655307B1 (en) * 2012-10-26 2014-02-18 Lookout, Inc. System and method for developing, updating, and using user device behavioral context models to modify user, device, and application state, settings and behavior for enhanced user security
US20140119531A1 (en) * 2012-10-30 2014-05-01 Kenneth D. Tuchman Method for providing support using answer engine and dialog rules
US20140244273A1 (en) * 2013-02-27 2014-08-28 Jean Laroche Voice-controlled communication connections
WO2014201366A2 (en) * 2013-06-13 2014-12-18 Motorola Mobility Llc Smart volume control of device audio output based on received audio input
US20150221307A1 (en) * 2013-12-20 2015-08-06 Saurin Shah Transition from low power always listening mode to high power speech recognition mode
US20150279366A1 (en) * 2014-03-28 2015-10-01 Cubic Robotics, Inc. Voice driven operating system for interfacing with electronic devices: system, method, and architecture
WO2015148693A1 (en) * 2014-03-26 2015-10-01 Publicover Mark W Computerized method and system for providing customized entertainment content
US20150382047A1 (en) * 2014-06-30 2015-12-31 Apple Inc. Intelligent automated assistant for tv user interactions
US20160077794A1 (en) * 2014-09-12 2016-03-17 Apple Inc. Dynamic thresholds for always listening speech trigger
US20160148615A1 (en) * 2014-11-26 2016-05-26 Samsung Electronics Co., Ltd. Method and electronic device for voice recognition
US20160381053A1 (en) * 2015-06-23 2016-12-29 The Boeing Company Device and a method for detecting and analyzing signals in the ultrasounds frequency spectrum for electronic communications devices
CN106371384A (zh) * 2016-09-07 2017-02-01 深圳市中科智诚科技有限公司 一种基于无线通讯技术的智能监控系统
US20170148444A1 (en) * 2015-11-24 2017-05-25 Intel IP Corporation Low resource key phrase detection for wake on voice
US20170162205A1 (en) * 2015-12-07 2017-06-08 Semiconductor Components Industries, Llc Method and apparatus for a low power voice trigger device

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448646A (en) 1993-11-01 1995-09-05 Unex Corporation Headset interface assembly
US7106843B1 (en) 1994-04-19 2006-09-12 T-Netix, Inc. Computer-based method and apparatus for controlling, monitoring, recording and reporting telephone access
JPH08241098A (ja) * 1995-03-03 1996-09-17 Hitachi Ltd メディア認識制御システム
US6760463B2 (en) 1995-05-08 2004-07-06 Digimarc Corporation Watermarking methods and media
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
US6252544B1 (en) 1998-01-27 2001-06-26 Steven M. Hoffberg Mobile communication device
US7760905B2 (en) 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US7010332B1 (en) 2000-02-21 2006-03-07 Telefonaktiebolaget Lm Ericsson(Publ) Wireless headset with automatic power control
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7751111B2 (en) 2005-06-02 2010-07-06 Konica Minolta Holdings, Inc. Display element
US8814810B2 (en) 2005-12-01 2014-08-26 Orthosensor Inc. Orthopedic method and system for mapping an anatomical pivot point
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US7890778B2 (en) 2007-01-06 2011-02-15 Apple Inc. Power-off methods for portable electronic devices
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
WO2008090537A2 (en) 2007-01-22 2008-07-31 Simon Yoffe Security switch
US8522309B2 (en) 2007-01-22 2013-08-27 Simon Yoffe Security switch
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
CN101604447B (zh) 2009-07-09 2011-06-01 上海交通大学 无标记人体运动捕捉方法
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US20130038458A1 (en) 2010-04-23 2013-02-14 Nokia Corporation Apparatus and a method for causing a change in the state of a headset
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US8723789B1 (en) 2011-02-11 2014-05-13 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US8558759B1 (en) 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US20130159939A1 (en) 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US20130231930A1 (en) 2012-03-01 2013-09-05 Adobe Systems Inc. Method and apparatus for automatically filtering an audio signal
US9448636B2 (en) 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US9317721B2 (en) * 2012-10-31 2016-04-19 Google Inc. Privacy aware camera and device status indicator system
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US9361885B2 (en) 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9472206B2 (en) 2013-06-17 2016-10-18 Google Technology Holdings LLC Privacy mode for always-on voice-activated information assistant
US9697828B1 (en) 2014-06-20 2017-07-04 Amazon Technologies, Inc. Keyword detection modeling using contextual and environmental information
US9357320B2 (en) 2014-06-24 2016-05-31 Harmon International Industries, Inc. Headphone listening apparatus
US9747884B2 (en) 2014-10-06 2017-08-29 Green Swan, Inc. Battery-equipped cellular telephone case with internal sound generator and layered sound blockage for privacy
US9318107B1 (en) * 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US9489172B2 (en) 2015-02-26 2016-11-08 Motorola Mobility Llc Method and apparatus for voice control user interface with discreet operating mode
US10509476B2 (en) 2015-07-02 2019-12-17 Verizon Patent And Licensing Inc. Enhanced device authentication using magnetic declination
CN106997236B (zh) 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 基于多模态输入进行交互的方法和设备
US10911860B2 (en) 2016-03-23 2021-02-02 Intel Corporation Automated and body driven headset audio control
US10313782B2 (en) 2017-05-04 2019-06-04 Apple Inc. Automatic speech recognition triggering system
US20190043466A1 (en) 2017-08-04 2019-02-07 Cone Of Silence Llc Active listening privacy device and method
US10616411B1 (en) 2017-08-21 2020-04-07 Wells Fargo Bank, N.A. System and method for intelligent call interception and fraud detecting audio assistant
US11244678B2 (en) 2017-09-07 2022-02-08 Insight Holding Group, Inc. System and method for securing electronic devices
US10354648B2 (en) * 2017-09-07 2019-07-16 Strategic Data Systems System and method for securing intelligent automated assistant devices

Patent Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001520820A (ja) * 1997-02-03 2001-10-30 エムシーアイ・ワールドコム・インコーポレーテッド 通信システム構造
JPH11175095A (ja) * 1997-12-11 1999-07-02 Hitachi Medical Corp 医用診断装置
CA2256781A1 (en) * 1998-09-14 2000-03-14 Northern Telecom Limited Method and apparatus for automatically dialling a desired telephone number using speech commands
US7069271B1 (en) * 2000-11-03 2006-06-27 Oracle International Corp. Methods and apparatus for implementing internet storefronts to provide integrated functions
US20070143115A1 (en) * 2002-02-04 2007-06-21 Microsoft Corporation Systems And Methods For Managing Interactions From Multiple Speech-Enabled Applications
US20030171928A1 (en) * 2002-02-04 2003-09-11 Falcon Stephen Russel Systems and methods for managing interactions from multiple speech-enabled applications
US20050025124A1 (en) * 2003-07-29 2005-02-03 Derek Mitsumori System and method for monitoring communications in a network
CN1808966A (zh) * 2004-10-01 2006-07-26 美国博通公司 安全数据处理方法及其系统
WO2007121570A1 (en) * 2006-04-20 2007-11-01 Iq Life, Inc. Interactive patient monitoring system using speech recognition
US20100046842A1 (en) * 2008-08-19 2010-02-25 Conwell William Y Methods and Systems for Content Processing
US20110280447A1 (en) * 2008-08-19 2011-11-17 Digimarc Corp. Methods and systems for content processing
US8194986B2 (en) * 2008-08-19 2012-06-05 Digimarc Corporation Methods and systems for content processing
CN102483915A (zh) * 2009-06-25 2012-05-30 蓝蚁无线股份有限公司 具有包括导引配对和语音触发操作的语音控制功能的电信装置
CN102024454A (zh) * 2009-09-10 2011-04-20 三菱电机株式会社 基于语音输入激活多种功能的系统和方法
CN102893327A (zh) * 2010-03-19 2013-01-23 数字标记公司 直觉计算方法和系统
CN103391354A (zh) * 2012-05-09 2013-11-13 富泰华工业（深圳）有限公司 信息保密系统及信息保密方法
CN103517191A (zh) * 2012-06-18 2014-01-15 三星电子株式会社 面向讲话者的助听功能提供方法和装置
US8655307B1 (en) * 2012-10-26 2014-02-18 Lookout, Inc. System and method for developing, updating, and using user device behavioral context models to modify user, device, and application state, settings and behavior for enhanced user security
US20140119531A1 (en) * 2012-10-30 2014-05-01 Kenneth D. Tuchman Method for providing support using answer engine and dialog rules
US20140244273A1 (en) * 2013-02-27 2014-08-28 Jean Laroche Voice-controlled communication connections
WO2014201366A2 (en) * 2013-06-13 2014-12-18 Motorola Mobility Llc Smart volume control of device audio output based on received audio input
US20150221307A1 (en) * 2013-12-20 2015-08-06 Saurin Shah Transition from low power always listening mode to high power speech recognition mode
WO2015148693A1 (en) * 2014-03-26 2015-10-01 Publicover Mark W Computerized method and system for providing customized entertainment content
US20150279366A1 (en) * 2014-03-28 2015-10-01 Cubic Robotics, Inc. Voice driven operating system for interfacing with electronic devices: system, method, and architecture
US20150382047A1 (en) * 2014-06-30 2015-12-31 Apple Inc. Intelligent automated assistant for tv user interactions
US20160077794A1 (en) * 2014-09-12 2016-03-17 Apple Inc. Dynamic thresholds for always listening speech trigger
US20160148615A1 (en) * 2014-11-26 2016-05-26 Samsung Electronics Co., Ltd. Method and electronic device for voice recognition
US20160381053A1 (en) * 2015-06-23 2016-12-29 The Boeing Company Device and a method for detecting and analyzing signals in the ultrasounds frequency spectrum for electronic communications devices
US20170148444A1 (en) * 2015-11-24 2017-05-25 Intel IP Corporation Low resource key phrase detection for wake on voice
US20170162205A1 (en) * 2015-12-07 2017-06-08 Semiconductor Components Industries, Llc Method and apparatus for a low power voice trigger device
CN106371384A (zh) * 2016-09-07 2017-02-01 深圳市中科智诚科技有限公司 一种基于无线通讯技术的智能监控系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Networked Gatekeeping and Networked Framing on Egypt", THE INTERNATIONAL JOURNAL OF PRESS/POLITICS, vol. 18, no. 2, pages 138 - 166 *
教育网@迪克猪: "Gatekeeper Pattern 把关（守门人）模式", Retrieved from the Internet <URL:https://www.cnblogs.com/zsy/p/5709284.html> *
朱庆;张衡阳;毛玉泉;肖蕾蕾;: "基于Ad Hoc网络的应急通信系统设计与实现", 电子科技, no. 10, pages 55 - 58 *
林宇, 杨霞, 张光昭: "IP电话系统语音终端的设计及实现", 电讯技术, no. 06, pages 42 - 47 *
袁占亭, 张秋余, 孙为: "基于VoIP的电话终端设备的研究与设计", 微计算机信息, no. 09, pages 87 - 88 *

Also Published As

Publication number Publication date
JP7209006B2 (ja) 2023-01-19
JP2023021965A (ja) 2023-02-14
US10867623B2 (en) 2020-12-15
CA3083745A1 (en) 2019-05-23
EP3710971A4 (en) 2021-10-06
CN111819560B (zh) 2024-01-09
WO2019099302A1 (en) 2019-05-23
JP2021503148A (ja) 2021-02-04
US20190147905A1 (en) 2019-05-16
EP3710971A1 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
CN111819560B (zh) 具有关守功能的计算设备、解耦附件及其计算机实现方法
US10867054B2 (en) Information security/privacy via a decoupled security accessory to an always listening assistant device
US10872607B2 (en) Information choice and security via a decoupled router with an always listening assistant device
US10002259B1 (en) Information security/privacy in an always listening assistant device
US11838745B2 (en) Information security/privacy via a decoupled security accessory to an always listening assistant device
US11100913B2 (en) Information security/privacy via a decoupled security cap to an always listening assistant device
US11711662B2 (en) Privacy device for smart speakers
JP6475386B2 (ja) 機器の制御方法、機器、及びプログラム
US10455342B2 (en) Sound event detecting apparatus and operation method thereof
Gray Always on: privacy implications of microphone-enabled devices
CN109074035A (zh) 多功能的每房间自动化系统
TW201535156A (zh) 執行與個人的存在相關聯的動作
US20200234710A1 (en) Automatic dialogue design
US20190147848A1 (en) Information choice and security via a decoupled security cap to an always listening assistant device
KR20200005741A (ko) 검출된 이벤트들에 관한 정보를 제공하기 위한 방법들, 시스템들 및 매체들
US20230214525A1 (en) Security management of health information using artificial intelligence assistant
US20220020387A1 (en) Interrupt for noise-cancelling audio devices
US20230360507A1 (en) In-home event intercom and notifications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant