CN112436856A - 保密传感器装置 - Google Patents
保密传感器装置 Download PDFInfo
- Publication number
- CN112436856A CN112436856A CN201910778259.1A CN201910778259A CN112436856A CN 112436856 A CN112436856 A CN 112436856A CN 201910778259 A CN201910778259 A CN 201910778259A CN 112436856 A CN112436856 A CN 112436856A
- Authority
- CN
- China
- Prior art keywords
- feature extraction
- microphone
- sensor device
- signal
- extraction circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本文描述了一种保密传感器装置。所述保密传感器装置包括麦克风,所述麦克风配置为输出指示环境中的音频的信号。该保密传感器装置还包括集成在该装置中的特征提取电路和麦克风,特征提取电路配置为提取特征。来自可用于检测环境中事件发生的麦克风输出的信号,其中麦克风输出的信号无法仅基于这些特征进行重构。
Description
技术领域
本发明涉及一种保密传感器装置。所述保密传感器装置包括麦克风,所述麦克风配置为输出指示环境中的音频的信号。
背景技术
传感器设备正迅速普及。例如,传统的移动电话可以包括麦克风、摄像机、加速度计、GPS传感器等。但是,在家庭环境中可以找到的一些传感器可能会引起家庭环境中用户的隐私问题。例如,传统电视(或电视附件)可以配备摄像机和麦克风。视频摄像机或麦克风输出的信号可以由处理设备处理,电视可以基于对该信号的处理向观众呈现内容。例如,观众可以听到“给我看汉弗莱鲍嘉主演的电影”这句话,电视可以提供一个可选的瓦片列表,其中每个瓦片代表由上述演员主演的各自的电影。同样,摄像机输出的信号可以指示观看者执行了一个特定的手势,内容可以基于被识别的手势呈现给观看者。例如,手腕的轻击可以导致频道更改,也可以导致电视或相关音频系统的音频输出音量更改等。
通常,当包括传感器的设备打开时,传感器本身打开并生成指示传感器周围状态的数据。参考上面提到的示例场景,电视的麦克风可以在电视打开时捕获音频,通常观众不知道。此外,一些常规设备被配置为将捕获的信号(或其代表的特征)传输到云服务中使用的计算设备,其中该计算设备出于语音识别、面部识别、手势识别等目的对信号进行分析,并在识别单词、识别人脸等时执行操作。然后云服务丢弃接收到的信号。
如上所述,当这些传感器能够捕捉到用户的行为时,用户可能会有隐私问题。例如,恶意黑客可能会对与传感器通信的处理器重新编程,从而导致捕获的信号传输到恶意黑客选择的数据存储区。(例如,可以在不知情的情况下保留和审查信号,而这些人的行为是在传感器流中捕获的)。此外,从设备(包括传感器)传输到云服务中使用的计算设备的数据可能包括足够的信息,以允许重建查看器所说的话,允许识别查看器等。这再次引起隐私问题,因为数据可以在传输过程中被拦截。
发明内容
以下是本文更详细描述的主题的简要概述。本摘要并不旨在限制权利要求的范围。
本文所描述的是与传感器设备有关的各种技术,所述传感器设备可以配置为在家庭环境(家)中捕获信号并处理这些信号,同时保留在家中的人的隐私。传感器装置包括至少一个传感器,该传感器可以是任何合适的传感器,该传感器输出可用于检测期望检测到的事件的数据。因此,所述至少一个传感器可以是或包括麦克风、摄像头、加速度计、振动传感器等。所述传感器紧密耦合到特征提取电路,所述特征提取电路配置为从所述传感器的信号输出中提取特征。出于解释目的,传感器将被描述为麦克风,尽管本文所述的方面不限于麦克风。在示例性实施例中,麦克风可以与特征提取电路集成。因此,例如,麦克风可以与特征提取电路一起嵌入集成电路(IC)。因此,根据一个例子,所述麦克风可以是嵌入在硅片中的嵌入式微电子机械系统(MEMS)麦克风以及特征提取电路。相应地,传感器装置的设计使得修改硬件的尝试(允许截获麦克风的信号输出)导致麦克风或相关特征提取电路损坏,以致传感器装置无法工作。
所述特征提取电路配置成接收所述麦克风输出的信号并从中提取特征,所述特征可用于检测期望检测到的事件,但不能用于重构所述麦克风输出的信号。例如,传感器装置可用于检测儿童哭闹的事件。可以确定,从麦克风输出的信号中提取的特征可以指示孩子是否在哭。然而,传感器设备的所有者可能希望不分析麦克风附近发出的单词的语义(例如,当分析其对话的语义时,传感器设备的所有者可能会感觉到侵犯了她的隐私)。特征提取电路可以从麦克风输出的信号中提取特征,允许检测到期望检测到的事件(例如,儿童哭闹)。但这些功能不能用于语义分析或重建麦克风输出的信号。
在另一示例性实施例中,传感器装置可配置为提取可用于在传感器装置所有者的语言中执行预定义单词集的机器翻译的特征。因此,特征提取电路可以从麦克风输出的信号中提取特征,该特征可被机器翻译系统用于检测某人在预定义的一组单词中说出了一个单词。然而,由特征提取电路提取的特征可能不包括足够的信息,以使机器翻译系统能够识别预定义集合之外的单词。未被特征提取电路提取的信号特征将立即丢弃。
传感器设备还可以包括无线收发器,该无线收发器可以将从信号中提取的特征(例如,由麦克风输出)传输到云服务中使用的计算设备(直接或间接)。云服务的计算设备可以接收这些特征,例如,基于这些特征检测到期望检测到的事件的发生。继续上面的例子,云服务中的计算设备可以识别出孩子在哭。输出信号可以传输到通知装置,该通知装置可以位于传感器装置所在的环境中。通知设备可以配置为通知事件发生者。
在一个示例性实施例中,传感器设备中的特征提取电路是预配置和静态的。因此,黑客无法重新编程特征提取电路,以从麦克风输出的信号中提取其他特征。在另一个示例性实施例中,传感器设备可以配置多个预定义的特征提取模式。例如,在第一模式中,特征提取电路可配置为从麦克风输出的信号中提取第一组特征,其中第一组特征可用于检测口语中的语义。在第二模式中,特征提取电路可以配置为从麦克风输出的信号中提取第二组特征,其中第二组特征包括可用于确定扬声器身份的信息。在第三模式中,特征提取电路可以配置为从麦克风输出的信号中提取第三组特征,其中第三组特征包括可用于检测儿童何时哭泣的信息。然而,第一组特征可能不包括足够的信息,以允许检测说话者的身份或检测儿童何时哭泣。同样,第二组特征可能不包括足够的信息,不允许检测所说单词的语义或儿童哭泣时。同样,第三组特征可能不包括足够的信息,不允许检测口语的语义或检测说话人的身份。因此,特征提取电路可以包括三个单独的电路,其中只有一个电路可以在给定的时间点激活。
这种传感器装置特别适用于各种不同的应用。在一个示例性实施例中,传感器装置可用于与电视、游戏机等连接。例如,对于支持语音命令识别的电视,可以配置传感器装置以提取语音识别系统可用于识别相对较少的单词(语音命令)的特征;但是,语音识别系统可能无法使用这些功能检测其他单词。此外,传感器装置特别适合家庭安全应用,其中传感器装置被配置为从音频信号中提取特征,该音频信号可用于识别窗户破碎、门被打开等。
然而,提取的特征可能无法用于重建麦克风输出的信号,并且可能进一步无法用于识别语音中的单词。传感器装置还可以特别适用于人员可能需要帮助的应用。例如,对于一个有点老的人来说,在家里安装这样一个传感器装置来检测跌倒、求救的哭声或类似的情况可能是有利的,同时可以减轻该人的隐私问题。
上述概要提供了一个简化的概要,以便对本文讨论的系统或方法的某些方面提供基本了解。本概要不是对本文讨论的系统或方法的广泛概述。其目的不在于识别关键/关键要素,也不在于界定此类系统或方法的范围。它的唯一目的是以简化的形式呈现一些概念,作为后面更详细描述的前奏。
附图说明
图1说明了一个示例性环境,其中包括一个保密传感器装置。
图2说明了一种示例性的隐私保护传感器装置。
图3说明了一个示例性的服务器计算设备,该设备可以从保密传感器设备接收特征,并基于这些特征检测事件。
图4是说明用于构造隐私保护传感器装置的示例性方法的流程图。
图5是说明与隐私保护传感器装置的操作有关的示例性方法的流程图。
图6是说明可由保护隐私的传感器装置执行的示例性方法的流程图。
图7是一个流程图,说明了一种可由计算设备执行的示例性方法,该计算设备配置为基于从传感器的信号输出中提取的特征检测事件。
图8是一个示例性的计算装置。
具体实施方式
关于隐私保护传感器装置的各种技术现在参考图纸进行描述,其中,相同的参考数字被用来表示相同的元素。在下面的描述中,为了解释的目的,为了提供对一个或多个方面的透彻理解,列出了许多具体细节。然而,很明显,在没有这些具体细节的情况下,这些方面可能会被实践。在其他情况下,为了便于描述一个或多个方面,著名的结构和设备以方框图的形式显示。此外,应理解,描述为由单个系统组件执行的功能可由多个组件执行。类似地,例如,可以将单个组件配置为执行被描述为由多个组件执行的功能。
此外,术语“或”的意思是包容性的“或”而不是排他性的“或”。也就是说,除非另有规定,或从上下文中清楚地说明,“x使用a或b”一词的意思是任何自然的包容性排列。也就是说,“X雇用A或B”一词满足于以下任何情况:X雇用A;X雇用B;或X同时雇用A和B。此外,本申请书和随附权利要求书中使用的条款“a”和“an”一般应理解为“一个或多个”,除非另有规定或上下文中另有明确规定,否则应理解为单数形式。
此外,如本文所用,术语“组件”和“系统”旨在包括配置有计算机可执行指令的计算机可读数据存储。当由处理器执行时,会导致某些功能的执行。计算机可执行指令可以包括一个程序、一个函数等。也可以理解,组件或系统可以定位在单个设备上,或者分布在多个设备上。此外,如中所用,“示范性”一词的意思是用作某物的说明或例子,而不是表示偏好。
现在参考图1,说明了一个示例性环境100,其中人们的隐私受到关注。因此,环境100可以是家中的房间、一般的家、会议室、办公室、医院房间或其他人们认为有隐私权的区域。在环境100中,第一人称102和第二人称104显示为彼此交谈。在环境100是一个家的情况下,第一人102和第二人104可以希望他们的谈话和相关行动保持私密(例如,仅在第一人102和第二人104之间保持私密)。环境100包括隐私保护传感器装置106,其在本文中称为传感器装置106。通常,传感器装置106被配置成生成可用于检测环境100中期望检测到的事件的发生的数据,例如儿童哭泣、呼救、闯入环境100、说出特定单词、执行特定手势等。传感器装置106的操作,然而,与第一人称102和第二人称104所持有的隐私概念相比,这一点是可取的。
下文将更详细地描述,传感器装置106可包括传感器,例如摄像机、麦克风、惯性传感器、光传感器、温度计等,其中,传感器可以输出指示与环境100相关的参数的信号,例如第一人称102执行的操作、第二人称104说出的单词等。因此,信号可以包括第一人称102或第二人称104认为是私有的内容。为便于解释,传感器装置106中的传感器被描述为麦克风;然而,要理解的是,本文所述的方面不限于麦克风。
传感器装置106中的麦克风被配置成输出表示环境中音频的信号,该信号可以包括第一人称102和第二人称104之间的对话。传感器装置106还包括从麦克风输出的信号中提取特征的电路,该特征可用于检测期望检测到的事件的发生,但不能用于重建麦克风输出的原始信号(或检测第一人称102或第二人称104不希望检测的事件)。例如,从麦克风输出的信号中提取的特征可能包括不足以理解会话语义的信息(例如,通过机器翻译系统)。可能包括不足以确定说话者身份的信息(例如,通过语音识别系统),等等。在一个例子中,期望检测到的事件可能是一个孩子哭;因此,可以从麦克风输出的信号中提取一组特征,其中该组特征包括使计算机实现的检测系统能够检测到孩子在哭的信息,但这组功能包含的信息不足,无法使计算机实现的机器翻译系统对所说的单词进行语义分析(例如)。未从麦克风的信号输出中提取用于检测期望检测到的事件的特征将立即丢弃。
在示例性环境100中,传感器装置106可以包括收发器,并且可以将模糊信号发送到无线接入点108。模糊信号基于麦克风输出的信号,包括从麦克风输出的信号中提取的(可能被压缩或编码的)特征。虽然显示为在环境100中,但应理解,无线接入点108可以是环境100外部的(例如,无线接入点108可以是蜂窝天线)。然后,无线接入点108将模糊信号发送到配置为执行基于云的服务的计算设备110,其中,基于云的服务基于从接入点108接收到的模糊信号检测期望检测到的事件是否发生。继续上述例子,计算装置110可配置为分析模糊信号,并基于该分析确定孩子是否在哭泣。
当计算设备110检测到期望检测到的事件的发生时,在示例性实施例中,计算设备110可以将输出信号发送到环境100中的接入点108。输出信号可以识别环境100中的特定通知设备112,该设备配置为在期望检测到的事件发生时通知人(例如,第一人102或第二人104)。无线接入点108随后可将输出信号发送到通知设备112,该通知设备112可生成一个输出,该输出通知所述人员已检测到期望检测到的事件的发生。通知设备112可以是或包括警报、计算设备(例如移动电话、平板电脑(Slate)计算设备、笔记本电脑计算设备、可穿戴计算设备等);一种电视、游戏机或其它设备,配置成通知被检测到事件的人。第一人102或第二人104通过收到事件发生的通知而获得利益,不存在与传统家庭传感器相关的隐私问题。
如图所示,在另一个示例性实施例中,可以将云服务110配置为将输出信号输出到外部通知设备114。该实施例特别适用于需要将事件在环境100中的发生通知环境100之外的人的情况。例如,如果环境100是老人或病人的家,则传感器装置106可用于检测坠落或求救电话。计算装置110可以基于传感器装置106输出的模糊信号检测到该事件,并且可以将输出信号发送到外部通知装置114,该外部通知装置114可以与医院、警察、远程看护人等关联。
在另一个示例性实施例中,传感器设备106不将模糊信号发送到计算设备110,而是将信号发送到传感器设备106的所有者指定的计算设备,例如环境100中的计算设备。所述计算装置可配置为基于模糊信号检测期望检测到的事件的发生。
现在阐述了传感器装置106特别适合的应用。然而,应理解,本文所述的示例性应用并非旨在限制,而是阐明与传感器装置106相对应的各种优点。传感器装置106可包括一个麦克风,该麦克风产生指示环境100中的音频的信号。传感器装置106可以包括在设备中或与该设备相关联,该设备被配置为向响应于接收来自此人的语音命令的人提供多媒体内容。因此,该设备可以是电视、机顶盒、流媒体设备、游戏机等。在本例中,希望检测到的事件是此人已发出语音命令,输出信号使内容呈现给该人,从而通知该人该事件已被检测到。
语音命令可以预先定义,传感器设备106中的电路可以配置为从传感器设备106中麦克风的信号输出中提取特征。其中,计算装置110可以根据提取的特征确定该人是否发出了口语。然而,这些特征不能用来再现话筒输出的原始信号,并且可能包含的信息不足,无法识别发出讲话的人。在另一个例子中,从麦克风输出的信号中提取的特征可能包括不足以识别该人何时在预先定义的语音命令集之外说出了单词的信息。因此,人102或人104可以相互作用于电视、游戏机和彼此,而不必担心传感器装置106保留或传输由麦克风输出的清晰(不模糊)信号。
此外,传感器装置106特别适合用于家庭安全。因此,传感器装置106中的电路可以配置为从麦克风输出的信号中提取特征,其中可以分析这些特征以确定是否发生了车窗玻璃破裂的声音。然而,在这种实施例中,提取的特征包括不足以使机器翻译系统重建第一人称102和第二人称104之间的私人对话的信息。在类似的应用中,传感器装置106可用于与远程患者监测相关的应用,其中需要检测诸如跌倒、呼救等事件的发生。与其他应用一样,传感器装置106中的电路提取包括足够信息的特征,使计算机实现的检测系统能够检测到期望检测到的事件的发生,而提取的特征包括信息不足,无法重建原始麦克风信号或机器翻译系统来识别口语。
现在参考图2,说明了传感器装置106的功能框图。传感器装置106包括麦克风202,其配置为检测环境100中的声音振动并输出代表此类振动的信号。根据实例,传感器装置106可包括在防篡改外壳中,该外壳可配置为在受到篡改时损坏麦克风202。
传感器装置106还包括特征提取电路204,其接收麦克风202输出的信号并从中提取某些特征,其中特征可由计算设备(例如,计算设备)用于检测期望检测到的事件。特征提取电路204与麦克风202紧密耦合,其中紧密耦合用于防止恶意硬件黑客试图截获或以其他方式获取信号输出。在特征提取电路204接收到信号之前,通过麦克风202。因此,麦克风202和特征提取电路204集成在传感器设备106中。在示例性实施例中,麦克风202和特征提取电路204可以位于半导体芯片上。因此,麦克风202可以是嵌入在包含特征提取电路204的硅片中的微电子机械系统(MEMS)麦克风。在这种配置中,硬件黑客试图在信号到达特征提取电路204之前提取麦克风202的信号输出,可能会严重损坏传感器设备106,导致麦克风202不可用。
在示例性实施例中,特征提取电路204可以是特定于应用的集成电路(ASIC)或其他在制造后不可重新配置的预配置电路。在这样一个实施例中,没有可以被黑客攻击的软件。因此,不必担心恶意黑客会修改软件以导致特征提取电路204提取其他特征或未能丢弃期望丢弃的特征。在另一个示例性实施例中,当传感器设备106的所有者认为可配置性的好处大于软件黑客的风险时,特征提取电路204可以在现场可编程门阵列(FPGA)、通用处理器等中实现。特征提取电路204的输出可能是模糊信号。在另一个示例性实施例中,密码电路可用于加密特征提取电路204提取的特征。
此外,在一个示例性实施例中,特征提取电路204可配置为及时“模糊”信号中的数据,使得拦截信号的实体将难以根据其中的时间模式解码信号的内容。在该实施例中,特征提取电路204可配置有指示分析提取特征所需的时间精度的信息,特征提取电路204可以修改与提取特征相对应的时序,以允许在“模糊”信号中编码的事件的时间特征的同时进行事件检测。在另一个例子中,特征提取电路204可以加密提取的特征,并将时间戳分配给各自的数据包。然后,收件人应用程序可以解密提取的功能。在另一个例子中,处理提取特征的电路或应用程序可以不时地轮询传感器设备106以获取提取的特征。还考虑了其他及时模糊特征的技术。
传感器装置106还任选地包括基于特征提取电路204输出的特征来执行事件检测(例如,而不是执行事件检测的计算装置110)的特征处理电路206。在一些实施例中,根据一个示例,当与网络相关的延迟对于使用传感器设备206的应用不可接受时,可能需要在传感器设备106的局部发生事件检测,例如当这样做更经济时,等等。,特征处理电路206可以与特征提取电路204和麦克风202一起位于硅基板上。
传感器装置106还包括收发器208,该收发器208可将特征提取电路204输出的模糊信号传输到接入点108。收发器208可配置为Wi-Fi无线芯片、蓝牙芯片、可发射光信号的光发射器、声发射器等。当传感器装置包括特征处理电路206时,收发器208可配置为将输出信号发送到通知装置112或外部通知装置114。传感器装置106还可以任选地包括硬件指示器210,其与特征处理电路206通信,其中硬件指示器210指示特征处理电路206已检测到事件的发生。例如,硬件指示器210可以是发光二极管(LED),当特征处理电路206基于特征提取电路204输出的模糊信号检测到事件的发生时,发光二极管(LED)发出光信号。在另一个示例中,硬件指示器210可以是在检测到期望检测到的事件发生时输出音频信号的扬声器。在又一个例子中,硬件指示器210可能导致传感器装置106振动。
在另一个示例性实施例中,传感器装置106可以是多模传感器装置。尽管未显示,特征提取电路204可包括多个不同的特征提取电路,每个电路对应于传感器装置106的不同操作模式(以及各自不同的期望检测事件)。例如,在第一操作模式中,可以配置传感器设备106以便于检测会话的语义。在第二操作模式中,传感器装置106可配置为方便在特定人员讲话时进行检测(例如,识别扬声器)。在第三种操作模式中,传感器装置106可配置为方便检测儿童何时离开家中的“安全区”。还考虑了其他模式,以上仅作为示例阐述。
为了允许用户切换传感器设备106的操作模式,传感器设备106可以任选地包括接口212,
它可以是按钮、点击轮、滑块等。传感器装置106的用户可以通过与接口212的交互选择传感器装置106的所需操作模式。可选包括的模式选择电路214可以基于用户与接口212的交互(例如,用户选择的操作模式),选择特征提取电路204中的特征提取电路。例如,模式选择电路214可以在选择第一操作模式时(同时防止其他功能选择电路接收到该信号),将麦克风输出的信号导向第一特征提取电路。当选择第二种工作模式时(同时防止其他功能选择电路接收到该信号),可以将信号导向第二功能提取电路,等等。
在一个例子中,界面212可以是一个按钮,一个人可以按下该按钮来选择第一种操作模式。因此,传感器装置产生模糊信号,可被机器翻译系统用于检测人类语言的语义,但其中包括的信息不足,无法使语音识别系统检测到说话者的身份,或由计算机实现的检测系统检测到儿童的哭声。用户随后可以再次选择该按钮,使传感器装置106的操作模式变为第二模式。因此,可以确定传感器装置106是多模态的。
传感器装置106还可以任选地包括消息生成器216,该消息生成器216可以生成消息以提供给计算设备(供人最终消费)。消息生成器216可以与特征处理电路206通信,并且可以从特征处理电路206接收到传感器设备106已检测到特定事件的指示。然后,消息生成器216可以生成一条消息,该消息将被发送到将被通知事件发生的人的计算设备。例如,消息生成器216可以生成文本消息,并且收发器208可以配置为将文本消息发送到人的指定移动设备。在另一个示例中,消息生成器216可以生成电子邮件、语音消息或其他适当的通知。
现在参考图3,说明了一种示例性计算装置300,其可以配置为基于传感器装置106接收到的模糊信号输出检测到期望检测到的事件的发生。例如,计算设备300可以是计算设备110。在另一个示例中,计算设备300可以是位于环境100中的计算设备(例如,桌面计算设备、游戏机、平板计算设备、可穿戴设备等)。计算装置300包括信号接收器组件302,其接收由传感器装置106(例如,直接或通过接入点108)输出的模糊信号。计算设备300还包括事件检测器组件304,该组件接收模糊信号并配置为确定是否基于模糊信号发生了预定义事件。举例来说,事件检测器组件304可检测到的示例性事件包括,例如,老人是否跌倒或需要帮助,儿童是否停留在房屋的特定区域,窃贼是否企图闯入房屋等。以上提到了其他典型事件。计算设备300还包括输出组件306,当事件检测器组件304根据信号接收器组件302接收到的模糊信号检测到事件已经发生时,该输出组件306可以输出信号。例如,输出组件306可以将指示事件已发生的信号发送到通知设备112或外部通知设备114。
图4-5说明了与隐私保护传感器的构造和使用相关的示例性方法。虽然这些方法被展示和描述为一系列按顺序执行的行为,但要理解和理解的是,这些方法不受顺序的限制。例如,某些行为可能以与本文所述不同的顺序发生。此外,一个行为可以与另一个行为同时发生。此外,在某些情况下,并非所有行为都需要实施本文所述的方法。
此外,本文所述的行为可以是计算机可执行指令,可以由一个或多个处理器实现或存储在计算机可读介质或介质上。计算机可执行指令可以包括例程、子例程、程序、执行线程或类似的指令。此外,方法学行为的结果可以存储在计算机可读介质中,显示在显示设备上或类似设备上。
现在参考图4,说明了有助于构造保密传感器装置的示例性方法400。方法400从402开始,在404,传感器与特征提取电路集成。例如,传感器和特征提取电路可以包括在集成电路中(例如,一个芯片可以包括传感器和特征提取电路)。在406,集成电路与无线收发器耦合。在另一个示例性实施例中,无线收发器也可包括在集成电路中,以便与传感器和特征提取电路集成。在408处,集成电路(和可选的无线收发器)封装在防篡改外壳中。如上所述,特征提取电路被配置为从传感器信号中提取一组特征,其中这些特征可用于检测事件。
但不能用于重建原始信号(从而在部署隐私保护传感器的位置保留人的隐私)。在示例性实施例中,可从信号中提取的特征包括除相位信息以外的特征(表示口语中的单词)。在另一个例子中,可以从麦克风输出的信号中提取出韵律特征,例如音调和子带能量,而信号的其余部分则被丢弃。方法400完成于410。
现在参考图4,说明了有助于构造保密传感器装置的示例性方法400。方法400从402开始,在404,传感器与特征提取电路集成。例如,传感器和特征提取电路可以包括在集成电路中(例如,一个芯片可以包括传感器和特征提取电路)。在406,集成电路与无线收发器耦合。在另一个示例性实施例中,无线收发器也可包括在集成电路中,以便与传感器和特征提取电路集成。在408处,集成电路(和可选的无线收发器)封装在防篡改外壳中。如上所述,特征提取电路被配置为从传感器信号中提取一组特征,其中这些特征可用于检测事件。
但不能用于重建原始信号(从而在部署隐私保护传感器的位置保留人的隐私)。在示例性实施例中,可从信号中提取的特征包括除相位信息以外的特征(表示口语中的单词)。在另一个例子中,可以从麦克风输出的信号中提取出韵律特征,例如音调和子带能量,而信号的其余部分则被丢弃。方法400完成于410。
现在转到图5,说明了一种示例性方法500,它促进了模糊信号的生成和传输。模糊信号包括从传感器输出的信号中提取的特征,其中传感器输出的原始信号不能通过使用模糊信号重建。方法500从502开始,在504开始,通过一个嵌入硅中的麦克风和特征提取电路来捕获音频。506时,传感器从信号输出中提取特征。在508,这些特征被传输到无线接入点(例如,模糊信号的特征形式)。随后,模糊信号可以传输到云服务用于检测部署隐私保护传感器的环境中事件发生的计算设备。方法500完成于510。
参考图6,提出了一种可由保密传感器装置执行的示例性方法600。方法600从602开始,在604,传感器装置中的传感器产生一个信号,该信号指示包括传感器装置的环境参数。例如,信号可以是视频信号(包括多个图像)、音频信号、温度信号等。
在606,从传感器产生的信号中提取特征集。如上所述,特征集可用于检测事件,但不能用于重建上述信号。此外,该特征集可用于检测事件,但可包括不足以检测期望未检测到的事件的信息。此外,用于提取特征的电路可以与传感器紧密集成。
在608,响应从信号中提取的特征集,信号被丢弃(这样,只有特征集仍然保留信号)。例如,传感器装置可以包括缓冲器,该缓冲器可用于保持一个或多个帧。特征提取电路可以从缓冲区的内容中提取特征,然后可以使用最新的帧(或帧)更新缓冲区。因此,恶意硬件黑客无法通过解构传感器设备来检索或重新创建原始信号。
在610处,传感器装置被配置为分析在608处提取的特征。例如,传感器装置可以包括事件检测电路,该电路被配置为分析提取的特征并根据特征确定是否发生了事件(传感器装置被配置为检测的事件)。在612,确定是否已检测到事件。当未检测到事件时,方法600返回604。当检测到事件时,输出614数据,表示已检测到事件。数据可以是传输到计算设备的信号、音频信号、视觉信号等。
现在参考图7,说明了一种可由计算设备执行的示例性方法700,该计算设备配置为基于从信号输出中提取的特征检测事件。方法700从702开始,704从保密传感器装置接收模糊信号。如上所述,模糊信号可以包括从传感器信号中提取的特征,计算设备可以使用这些特征来确定是否发生了特定类型的事件(例如,儿童哭闹)。虽然这些特性没有包含足够的信息,使得计算设备无法确定是否发生了期望的未检测到的事件(例如,识别说话人)。在706,根据模糊信号中的特征,确定在隐私保护传感器装置的环境中是否发生了期望检测到的事件。如果确定事件没有发生,那么方法700返回704。如果在706时确定事件已发生,则在708时输出一个信号,指示事件已发生。例如,可以发送信号,通知事件发生人,将事件记录在数据存储中(例如,用于将来的分析)等。在另一个示例中,可以根据事件的检测(例如,语音命令、手势等)向用户显示媒体内容。
现参照图8,对可根据本文所公开的系统和方法使用的示例性计算设备800进行了高级说明。例如,计算设备800可用于支持检测事件发生、向用户显示多媒体内容等的系统中。计算设备800包括至少一个处理器802,该处理器802执行存储在存储器804中的指令。例如,指令可以是用于实现上述一个或多个组件正在执行的功能的指令,或者用于实现上述一个或多个方法的指令。处理器802可以通过系统总线806访问存储器804。除了存储可执行指令外,存储器804还可以存储功能、多媒体内容等。
计算设备800还包括数据存储808,处理器802可通过系统总线806访问该数据存储808。数据存储808可以包括可执行指令、功能、多媒体内容等。计算设备800还包括允许外部设备与计算设备800通信的输入接口810。例如,输入接口810可用于接收来自外部计算机设备、用户等的指令。计算设备800还包括输出接口812,其将计算设备800与一个或多个外部设备连接起来。例如,计算设备800可以通过输出接口812显示文本、图像等。
预期通过输入接口810和输出接口812与计算设备800通信的外部设备可以包括在提供用户可以与之交互的任何类型用户界面的环境中。用户界面类型的示例包括图形用户界面、自然用户界面等。例如,图形用户界面可以接受使用输入设备(如键盘、鼠标、遥控器等)的用户的输入,并在输出设备(如显示器)上提供输出。此外,自然用户界面可使用户以不受输入设备(例如键盘、鼠标、遥控器等)施加的约束的方式与计算设备800交互。相反,一个自然的用户界面可以依赖于语音识别、触摸和触笔识别、屏幕上和屏幕附近的手势识别、空中手势、头部和眼睛跟踪、语音和语音、视觉、触摸、手势、机器智能等。
此外,虽然作为一个单一的系统进行说明,但应理解计算设备800可能是一个分布式系统。因此,例如,一些设备可以通过网络连接进行通信,并且可以集体执行被描述为由计算设备800执行的任务。
本文所述的各种功能可以在硬件、软件或其任何组合中实现。如果在软件中实现,这些功能可以作为一个或多个指令或代码在计算机可读介质上存储或传输。计算机可读介质包括计算机可读存储介质。计算机可读存储媒体可以是计算机可以访问的任何可用存储媒体。例如,但不限于,这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁盘存储设备,或任何其他可用于以指令或数据结构的形式携带或存储所需程序代码并可由计算机访问的媒体。本文所用的磁盘和光盘包括光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘(BD),其中磁盘通常以磁方式复制数据,而光盘通常用激光以光学方式复制数据。此外,传播的信号不包括在计算机可读存储介质的范围内。计算机可读介质还包括通信介质,包括便于计算机程序从一个地方传输到另一个地方的任何介质。例如,连接可以是通信媒介。例如,如果软件使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术(如红外、无线电和微波)从网站、服务器或其他远程来源传输,则同轴电缆、光纤电缆、双绞线,DSL,或红外、无线电和微波等无线技术包含在通信介质的定义中。上述组合也应包括在计算机可读媒体的范围内。
另外,本文所述的功能可以至少部分地由一个或多个硬件逻辑组件执行。例如,可以使用的硬件逻辑部件的说明性类型包括现场可编程门阵列(FPGA)、程序特定集成电路(ASIC)、程序特定标准产品(ASSP)。片上系统(SOCS)、复杂可编程逻辑器件(CPLD)等。
Claims (10)
1.一种保密传感器装置,包括:麦克风,其配置成输出代表用户的口语表达的信号;以及特征提取电路,其电耦合到麦克风,其中,所述特征提取电路被配置为从所述信号中提取一组特征,所述语音识别系统被配置为使用所述特征组识别预先定义的一组字中的第一个字;当第一个词包含在口语中,并且语音识别系统未配置为使用一组功能来识别第二个词时,当第二个词包含在口语中时,该第二个词不在预先定义的词组之外,其中特征提取电路被配置成丢弃对从信号中提取特征集立即作出响应的信号,并且进一步地,在语音识别系统中既不提供信号也不提供除特征集以外的任何特征。
2.根据权利要求1所述的保密传感器装置,其中所述麦克风和特征提取电路位于半导体芯片上。
3.根据权利要求2所述的保密传感器装置,其中所述麦克风是嵌入在硅片中的微型机电系统麦克风。
4.根据权利要求1所述的保密传感器装置,进一步包括无线收发器,所述无线收发器配置为将特征提取电路提取的特征集发送到执行所述语音识别系统的计算设备。
5.根据权利要求1所述的保密传感器装置,其中计算系统不能仅基于一组特征重构信号。
6.根据权利要求1所述的保密传感器装置,还包括容纳麦克风和特征提取电路的防篡改外壳。
7.根据权利要求1所述的保密传感器装置,其中特征提取电路是预先配置的特定于应用的集成电路。
8.根据权利要求1所述的保密传感器装置,其进一步包括:第二特征提取电路,其配置为从麦克风输出的信号中提取第二组特征,其中只有一个特征提取电路或第二特征提取电路在任何一个时间点电耦合到麦克风。
9.根据权利要求8所述的保密传感器装置,其进一步包括:将特征提取电路或第二特征提取电路中的一个耦合到麦克风的模式选择电路,并将特征提取电路或第二特征提取电路中的另一个与麦克风分离。
10.根据权利要求1所述的保密传感器装置,进一步包括语音识别系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910778259.1A CN112436856A (zh) | 2019-08-22 | 2019-08-22 | 保密传感器装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910778259.1A CN112436856A (zh) | 2019-08-22 | 2019-08-22 | 保密传感器装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112436856A true CN112436856A (zh) | 2021-03-02 |
Family
ID=74689743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910778259.1A Pending CN112436856A (zh) | 2019-08-22 | 2019-08-22 | 保密传感器装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112436856A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4231200A1 (en) * | 2022-02-17 | 2023-08-23 | Plantronics, Inc. | Distributed machine learning inference |
-
2019
- 2019-08-22 CN CN201910778259.1A patent/CN112436856A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4231200A1 (en) * | 2022-02-17 | 2023-08-23 | Plantronics, Inc. | Distributed machine learning inference |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10341857B2 (en) | Privacy preserving sensor apparatus | |
US10867025B2 (en) | Opportunistically collecting sensor data from a mobile device to facilitate user identification | |
US9529439B2 (en) | Multi device pairing and sharing via gestures | |
Schönherr et al. | Unacceptable, where is my privacy? exploring accidental triggers of smart speakers | |
US20170094018A1 (en) | Facilitating dynamic filtering and local and/or remote processing of data based on privacy policies and/or user preferences | |
US20150249718A1 (en) | Performing actions associated with individual presence | |
US9330267B2 (en) | Filtering confidential information in voice and image data | |
US10425403B2 (en) | Method and device for accessing smart camera | |
US11537360B2 (en) | System for processing user utterance and control method of same | |
CN106664301B (zh) | 移动设备及其控制方法 | |
CN109842612B (zh) | 基于图库模型的日志安全分析方法、装置及存储介质 | |
CN111819560A (zh) | 通过与始终侦听辅助设备解耦的安全附件的信息安全性/私密性 | |
WO2019095861A1 (zh) | 数据处理方法和装置、终端设备、服务器 | |
CN106203125A (zh) | 操作系统及其安全检测方法、安全检测装置和终端 | |
Zhang et al. | Using AI to attack VA: a stealthy spyware against voice assistances in smart phones | |
WO2023273063A1 (zh) | 乘员说话检测方法及装置、电子设备和存储介质 | |
US10956607B2 (en) | Controlling non-owner access to media content on a computing device | |
KR20200005476A (ko) | 소급 소리 식별 시스템 | |
CN112436856A (zh) | 保密传感器装置 | |
CN105637851B (zh) | 用于外围控制的计算系统、方法及计算机可读介质 | |
KR20170001423A (ko) | 전자 장치 및 전자 장치에서 메시지를 제공하는 방법 | |
US11405778B2 (en) | User confidentiality protection system | |
CN106411640A (zh) | 视频通信故障检测方法、装置及源通信终端 | |
EP3629146A1 (en) | Monitoring of one or more audio/video collection devices | |
CN111210589A (zh) | 一种实现报警的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210302 |
|
WD01 | Invention patent application deemed withdrawn after publication |