CN110555357A - 数据安全传感器系统 - Google Patents

Abstract

本发明题为“数据安全传感器系统”。在一些实施方案中，数据安全传感器系统包括一个或多个处理器，一个或多个处理器被配置为接收传感器数据(例如，图像数据、音频数据等)，并且基于对应于物理区域的传感器数据生成描述性数据，描述性数据对应于关于物理区域中的所识别的对象或活动的信息；输入/输出(I/O)端口；以及I/O扼流圈，I/O扼流圈通信地耦合在一个或多个处理器和I/O端口之间，I/O扼流圈被配置为将I/O端口的通信带宽限制为最大数据速率。一个或多个处理器可被配置为防止经由数据安全相机系统的任何外部端口可访问传感器数据，任何外部端口包括I/O端口；以及允许经由I/O端口可访问描述性数据。

Description

数据安全传感器系统

相关申请的交叉引用

本申请要求于2019年3月20日提交的美国非临时专利申请号16/359,896的益处，该美国非临时专利申请要求于2018年6月4日提交的美国临时专利申请号62/680,359的优先权的权益，这两个申请的全文以引用方式并入本文用于所有目的。

技术领域

本公开整体涉及家庭安全系统，并且特别地涉及被配置用于监测数据敏感环境的摄像机系统。

背景技术

智能家庭技术近年来在功率和功能中具有很大改进，并且可提供增强的用户体验，增强的用户体验可被特制以满足独立用户的特定需要。例如，智能灯、智能安全系统、智能娱乐系统、环境控制系统(HVAC)等变得越来越可定制和集成，因为物联网(IoT)设定立足于现代家庭设计。

特别地，家庭安全相机更为普遍，并且提供复杂的能力，以帮助用户更好地保障他们的家庭。在一些系统中，用户可具有经由膝上型电脑、智能电话或其他移动设备远程查看和控制其安全相机的方面的方便。那样，用户可无危险地调查家庭中的想不到的活动，监测访问者或客人，检查邮件递送等。然而，安全相机、传感器等可易受到黑客攻击或其他网络犯罪的伤害，黑客攻击或其他网络犯罪可使未授权的个体访问关于用户的家庭的敏感图像或细节。出于该原因，用户通常不会在敏感或私人区域(诸如卧室或浴室)或安全是最重要的区域(例如，保险箱或贵重物品的位置)安装相机，尽管事实是这些区域中的活动对于用户可为很重要。例如，知道某人何时访问保险箱或脆弱个体(例如，小孩或老人)是否需要辅助可为非常重要的。

因此，在过去十年中，家庭安全相机和智能家庭一般已经改进了许多，但是仍然存在许多限制和缺陷。需要用于这些问题的更好的另选解决方案。

发明内容

在某些实施方案中，数据安全系统包括一个或多个处理器，一个或多个处理器被配置为：接收对应于物理区域的传感器数据；以及基于传感器数据生成描述性数据，描述性数据不同于传感器数据，并且描述性数据对应于关于物理区域中的识别的对象或活动的信息；以及输入/输出(I/O)端口，其中一个或多个处理器还被配置为：防止经由数据安全系统的任何外部端口可访问传感器数据，任何外部端口包括I/O端口；以及允许经由I/O端口可访问描述性数据。数据安全系统还可包括I/O扼流圈，I/O扼流圈通信地耦合在一个或多个处理器和I/O端口之间，I/O扼流圈被配置为限制I/O端口的通信带宽。I/O扼流圈可将通信带宽限制为任何合适的最大数据速率(例如，包括但不限于设定在5kbps和100kbps之间的最大数据速率)。在一些方面，传感器数据可包括图像数据，其中描述性数据不包括图像数据。数据安全系统还可包括存储块，存储块由一个或多个处理器控制且仅由一个或多个处理器可访问，存储块被配置为存储图像数据和对应的图像分析数据，其中存储块是经由包括I/O端口的隐私安全相机系统的任何外部端口不可访问的，并且其中仅一个或多个处理器具有对存储块的读写访问。

在一些实施方案中，一个或多个处理器可包括机器学习(ML)处理器，机器学习(ML)处理器被配置为生成描述性数据，其中数据安全系统还包括：输入端口；以及第二存储块，第二存储块通信地耦合在输入端口和一个或多个处理器之间，其中第二存储块被配置为存储经由输入端口接收的配置数据，配置数据被配置为更新ML处理器，并且其中第二存储块仅经由输入端口可写入且仅经由一个或多个处理器可读取。在一些具体实施中，数据安全系统还可包括数据监测处理器，数据监测处理器耦合到I/O端口，并且被配置为：检测经过I/O端口的传感器数据；以及响应于检测经过I/O端口的传感器数据，采取补救动作。在一些情况下，补救动作可包括以下中的至少一个：发起警示；在预先确定的时间内中止进出I/O端口的所有数据流量；请求安全授权；将预设固件配置恢复到可信环境；或关闭隐私安全相机系统。在一些方面，一个或多个处理器、I/O端口和I/O扼流圈可被包含在单个集成电路上。

某些实施方案可包括有形地体现在机器可读非暂态存储介质中的非暂态计算机程序产品，非暂态计算机程序产品包括被配置为引起数据安全系统的一个或多个处理器执行以下操作的指令：接收和分析对应于物理区域的传感器数据；基于传感器数据生成描述性数据，描述性数据包括关于物理区域中的识别的对象或活动的信息，其中描述性数据不同于传感器数据；接收对对应于物理区域的信息的请求；响应于接收请求，将描述性数据发送到I/O端口；以及防止经由数据安全系统的任何外部通信端口可访问传感器数据，任何外部通信端口包括I/O端口。在一些方面，防止经由数据安全系统的任何外部通信端口可访问传感器数据可包括经由I/O扼流圈限制I/O端口的通信带宽。在一些具体实施中，I/O扼流圈将进出I/O端口的最大数据速率限制为(例如，小于100kbps或其他合适的值，如将由得益于本公开的本领域普通技术人员了解的)。计算机程序产品的指令还可被配置为引起数据安全系统的一个或多个处理器用于：监测I/O端口以获得包含结构化图像数据或视频数据的数据流量；以及在检测到具有结构化图像数据或视频数据的数据流量时采取补救动作。在一些情况下，请求可为关于物理区域中的所识别的对象或活动的用户发起的查询。数据安全系统可集成在单个集成电路上。

在一些实施方案中，数据安全系统包括存储块，存储块被配置为存储传感器数据和描述性数据，其中存储块经由包括I/O端口的集成电路上的任何外部可访问的电触点为不可访问的。在一些方面，仅一个或多个处理器具有对存储块的读写访问。一个或多个处理器可包括机器学习(ML)处理器，机器学习(ML)处理器被配置为生成描述性数据，其中数据安全系统还包括：输入端口；以及第二存储块，第二存储块通信地耦合在输入端口和一个或多个处理器之间，其中第二存储块被配置为存储经由输入端口接收的配置数据，配置数据被配置为更新ML处理器，其中第二存储块仅经由输入端口可写入且仅经由一个或多个处理器可读取。在某些实施方案中，一个或多个处理器可包括被配置在I/O端口外部的处理器，处理器包括机器学习能力且被配置为：分析经过I/O端口的数据流量；实行数据流量的数据类型分类；以及在检测到包含对应于未授权数据类型分类的数据的数据流量时采取补救动作。数据类型分类可包括图像数据分类、视频数据分类、音频数据分类或文本数据分类。

本发明内容并非旨在确定所要求保护的主题的关键特征或基本特征，也并非旨在被孤立地用于确定所要求保护的主题的范围。应当通过参考本公开的整个说明书的适当部分、任何或所有附图和每个权利要求来理解该主题。

上述连同其它特征和实施例将在下面在以下说明书、权利要求书和附图中更详细地描述。

附图说明

从参考附图的实施方案的以下描述，本公开的实施方案的方面、特征和优点将变得显而易见。

图1示出了传统相机系统可如何用于私人位置中。

图2示出了根据某些实施方案的数据安全传感器系统可如何用于私人位置中。

图3示出了根据某些实施方案的数据安全传感器系统中的可信环境的简化框图。

图4示出了根据某些实施方案的与正常环境接口连接的数据安全传感器系统的可信环境的简化框图。

图5示出了根据某些实施方案的带有增强图像传送监测系统(SEP)的数据安全传感器系统的简化框图，增强图像传送监测系统(SEP)带有高带宽通信能力。

图6示出了根据某些实施方案的用于将数据传送到可信环境中的数据安全传感器系统和从数据安全传感器系统传送数据的简化流程图。

图7示出了根据某些实施方案的数据安全传感器系统中的可信环境的简化框图的另选实施方案。

图8示出了根据某些实施方案的用于操作本文描述的“正常环境”的方面的系统。

具体实施方式

本公开的方面整体涉及家庭安全系统，并且特别地涉及被配置用于监测数据敏感环境的摄像机系统。

在以下描述中，将描述用于配置智能家庭系统的系统的各种实施方案。为了解释的目的，阐述了很多具体配置和细节以便提供对实施方案的彻底理解。然而，对本领域的技术人员而言将显而易见的是，某些实施方案可在没有所公开的每个细节的情况下被实践或实施。此外，可省略或简化熟知的特征部以防止对本文所述的新型特征部造成任何混淆。

作为一般的非限制性概述，本发明的某些实施方案涉及一种数据安全传感器系统，数据安全传感器系统可实行视频监视且将视频分析信息提供到授权用户，同时保卫视频内容(例如，视频或图像)不被外面实体外部访问。以举例的方式，系统可拍摄区域的视频影像，实行图像分析以确定区域中的人或对象的存在或姿势(例如，位置和/或取向)，并且回答与图像分析相关的用户基于文本的查询(例如，房间里有人吗？)，而不用将图像发布到任何外部实体。一些实施方案可通过在传感器系统和提供低速数据总线(例如，15kbps)的任何输入/输出(I/O)引脚之间配置硬件扼流圈来确保该不可访问性，使得下载原始视频数据的任何尝试将严重减慢到下载单个视频图像可花费几天下载的地步。另选地或除此之外，一些实施方案还可监测结构化图像数据的数据流量，使得即使用户尝试下载原始视频，也可快速识别图像数据，并且可采取补救动作。一些补救动作可包括(1)报告对系统的攻击，(2)破坏数据安全传感器系统和任何外部实体之间的数据连接，(3)关闭整个系统，(4)等，(5)或它们的任何组合。在另一具体实施中，可信环境中的处理器(参见例如图4的处理器310)可与传入传感器数据(以及存储数据的任何存储器)隔离，使得该处理器不具有访问原始传感器数据的能力。简而言之，一些实施方案可被描述为传感器系统(例如，摄像机系统)，传感器系统(例如，摄像机系统)仅提供关于原始传感器数据(例如，视频数据)的信息，而不提供对原始数据本身的访问。除了使用人工智能之外，一些具体实施可采用机器学习来改进系统识别特定个体或其他对象或活动的能力。可响应于用户查询或自动地提供关于存储的视频的信息(例如，响应于某些检测的活动，周期性地报告房间状态或自动警示)。因此，用户可监测高度敏感的区域，诸如卧室或保险箱的位置，并且通过查询或自动报告获得关于区域的信息(例如，有人吗？、有人与保险箱进行交互吗？等)，而不曾公开任何实际的视频内容。在一些情况下，诸如麦克风、传感器(例如，触摸或力传感器)的其他输入可并入基于查询的报告方案中，所有这些在以下的示例性非限制性实施方案中更详细地描述。

图1示出了传统相机系统可如何用于私人位置100中。私人位置100是带有水槽、厕所和淋浴的浴室。示出用户110在水槽中洗手。相机120记录私人位置100的区域125的视频，相机120耦合到相机系统130。相机系统130可包括用于处理原始视频数据，实行图像分析以识别对象和/或活动的电路；用于存储原始视频和图像分析数据的存储器；以及用于与基于云的网络140、局域网(LAN)150和本地主机服务器160(或其他外部实体)通信的通信系统。在所示的实施例中，相机系统130从基于云的网络140上的实体接收关于私人位置100的数据请求145。作为响应，相机系统130经由网络140将对应于区域125的记录视频的图像数据147提供给请求实体。

与大多数检测方法相比，摄像机经常提供最有用和最可信赖的数据，这在某些应用中可为重要的。例如，如上所述，知道脆弱个体(例如，小孩、发育性残疾的或受赡养的老人)在通常不受护理提供者无危险监督的区域中是否无危险或是否需要辅助可为非常重要的。然而，考虑到经由数据安全漏洞(例如，黑客攻击)的未授权访问的风险，特别是在如图1所示的广泛可访问的非封闭网络中，许多人将感觉风险胜于益处，并且选择不在隐私是最重要的高度敏感区域中包括基于视频的安全系统。

图2示出了根据某些实施方案的数据安全传感器系统200可如何用于私人位置200中。私人位置200是带有水槽、厕所和淋浴的浴室。示出用户210在水槽中洗手。传感器(例如，相机)220记录私人位置100的区域225的视频，传感器(例如，相机)220耦合到相机系统230。出于解释的目的，一个或多个传感器和对应的系统被示出且描述为“相机”系统，但是本领域普通技术人员将理解，其他类型的传感器(例如，音频、振动、触摸等或它们的组合)可用于本文所述的实施方案中。相机系统230可包括用于处理原始视频数据，实行图像分析以识别对象和/或活动的电路；用于存储原始视频和图像分析数据的存储器；用于与基于云的网络140、局域网(LAN)150和本地主机服务器160(或其他外部实体)通信的通信系统；以及一个或多个硬件、固件和/或基于软件的具体实施，一个或多个硬件、固件和/或基于软件的具体实施用于防止由“可信环境”外部的任何实体可访问图像数据。在一些情况下，可信环境(例如，如图3-图5中所示)可被限制为相机系统230或其子集的界限(例如，不包括网络140、LAN 150或本地主机服务器160)。下面相对于图3-图6描述了相机系统230和对应的可信环境的一些具体实施。

再次参考图2，相机系统230从基于云的网络240上的实体接收关于私人位置200的数据请求245。如下面另外详细描述的，相机系统230可被配置为响应于关于视频内容的查询，但是不将任何视频数据提供到可信环境外部的任何实体或位置。在一些实施方案中，硬件扼流圈可被配置在相机系统230的一个或多个输入/输出(I/O)端口上，并且可操作为通过硬件扼流圈(也称为“I/O扼流圈”)将通信带宽限制为被设定在10kbps和20kbps之间的最大数据速率。其他最大数据速率是可能的(例如，可用的最大数据速率可在5kbps到100kbps的范围内)，但是应当被设定为使得硬件扼流圈允许相对未受阻地发生低带宽通信(例如，字母数字文本)，同时停止或有效地停止在相机系统230外面传播高带宽通信(诸如传送图像数据)。另选地或除此之外，一些实施方案还可监测结构化图像数据的数据流量，使得即使用户尝试通过硬件扼流圈下载原始视频，也可快速识别图像数据，并且可采取补救动作。一些补救动作可包括破坏相机系统230和任何外部实体之间的数据连接、使相机系统230掉电、将警示发送到系统230的授权用户等。

再次参考图2，响应于接收到请求245，相机系统230阻止任何图像数据(无论是否是请求的)的传输，并且将描述性响应247发送到请求者。描述性响应(也称为“描述性数据”)可为对数据请求245的任何查询的任何合适的非基于图像的响应，该响应包括识别私人位置200是否被占用、谁在场、正在发生什么活动等的响应。也就是说，描述性响应可为由相机系统(或其它类型的传感器系统诸如音频系统)捕获的内容的描述，该内容不同于内容(例如，视频数据或其它传感器数据)。描述性响应的实施例可为基于文本的响应。相机系统230可包括控制装置以限制可被询问的问题的类型和问题可被回答的程度。例如，使用图像分析，相机系统230可确定用户210正在使用水槽，但是可仅报告浴室被占用，而不是给出更特定的信息。在一些情况下，可存在授权请求者的分级结构，使得一些实体(例如，家庭的所有者)可比其他实体对更详细的信息知情。例如，对关于传感器数据的信息的请求可包括一些加密指示，一些加密指示识别请求/请求者的授权级别。然而，在每种情况下，图像数据(或更一般地，传感器数据)没有被呈现给请求者(如图所示)。

图3示出了根据某些实施方案的数据安全相机系统中的可信环境300的简化框图。可信环境300可包括处理器310、传感器处理器360(例如，图像信号处理器)、人工智能(AI)处理器330、存储器(或“存储块”)340和外部访问存储器350。传感器305可耦合到传感器处理器360。一些实施方案可采用附加的传感器(例如，麦克风-未示出)和对应的传感器处理块，如下面相对于图4另外讨论的。低带宽接口370可耦合到处理器310，并且可作为用于接收关于从传感器305接收的内容的基于外部的查询且对该基于外部的查询作出响应的专有接口操作。在本文描述的实施方案中，传感器305经常被描述为摄影机(图像传感器)，但是可使用任何合适的一个传感器或多个传感器，包括不限于音频传感器、热传感器、摇摆传感器(例如，加速度计)的不同类型的传感器；或如将由得益于本公开的本领域的普通技术人员了解的任何其他一个传感器或多个传感器。类似地，传感器处理器360可为被配置为处理由一个或多个传感器305提供的数据的任何合适的专用或一般处理器，诸如图像信号处理器、音频信号处理器等。

传感器305可包括任何合适的图像传感器技术，包括但不限于基于互补金属氧化物半导体(CMOS)的深度感测相机和变体，以及电荷耦合器件(CCD)相机。在一些实施方案中，多个相机可与应用于可信环境300的多个视频馈送一起使用。另选地或除此之外，相机115可经由控制传感器305的光学特性的软件来聚焦和定向(例如，瞄准)。传感器305可电耦合到传感器处理器360，如下面另外讨论的。传感器305可集成在可信环境300内，使得没有到传感器305的外部连接是可能的或实际上可行的，以另外确保封闭和安全的数据环境。在一些情况下，传感器305通过任何合适的耦合装置耦合到传感器处理器360，任何合适的耦合装置包括嵌入式显示端口、低压差分信令(LVDS)、移动工业处理器接口(MIPI)或其他合适的格式，如将由得益于本公开的本领域普通技术人员了解的。

传感器处理器360可被配置为从传感器305接收原始视频数据，并且实行图像传感器处理。图像传感器处理可包括颜色过滤(例如，去马赛克)、自动对焦、曝光、白平衡、渐晕、颜色阴影、降噪、视频编码等，如将由得益于本公开的本领域普通技术人员了解的。

根据某些实施方案，传感器处理器360可被配置为将处理的视频馈送馈送到AI处理器330。AI处理器330可为专门的机器学习(ML)协处理器或核心，以分析用于面部辨识的视频数据，理解语音命令(例如，用于麦克风输入的)，理解自然语言请求，基于言语模式和音频特性、另外的图像处理等辨识用户的语音。在一些实施方案中，AI处理器330可为推理引擎、训练引擎或它们的组合。AI处理器330可为卷积神经网络，但是预期了其他ML类型神经网络。在一些情况下，在AI处理器330或传感器处理器360处处理的视频数据可经由处理器310存储在存储器340中。在另选的实施方案中，图像/视频数据没有被存储在存储器中，该存储器是由处理器310直接可访问的。在此类情况下，可存在仅连接到AI处理器330的带有读/写访问的第三(或更多个)存储块。

处理器310可包括一个或多个处理器或处理核心。在一些实施方案中，处理器310可包括通用主处理器以及一个或多个专用协处理器诸如图形处理器、数字信号处理器等。另选地或除此之外，处理器310可使用诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的定制电路来实施。在一些实施方案中，此类集成电路执行存储在电路本身上和/或存储器340、存储器350中的指令，如下面另外描述的。

处理器310可操作以接收和处理来自外部来源的查询，控制来自存储器340的图像数据和/或图像上下文分析数据的存储和检索，控制存储器340的读/写过程，从存储器350读取固件更新、训练数据等。通常通过低带宽接口370从外部来源接收查询，并且查询可与存储在存储器340中的分析的图像/视频数据相关。例如，查询可包括问题诸如“房间里有人吗”、“谁在房间里”、“在过去24小时内有人在该房间里吗”等。查询的非限制性列表可与以下有关：房间占用、什么辨识的对象在房间里、是否存在移动或一种类型的移动(例如，人/对象姿势、手势、检测的多个对象/人等)、房间的环境条件(例如，灯开着吗)、是否已经发生具体动作和/或事件(例如，有人跌倒吗或有人表现出指示痛苦的行为吗？)等。在一些具体实施中，处理器310、AI处理器330和传感器处理器360可为单独的实体，或者可以任何合适的组合组合在一起作为单个集成电路。在某些实施方案中，处理器310可解译来自用户的请求。另选地或除此之外，API(应用编程接口)可(例如，结合处理器310)使用以允许对特定类型的信息的请求(例如，对传感器内容的描述的请求)。

与其他实施方案相比，一些实施方案可对与存储的图像或视频内容相关的问题更具限定性，但是在每种情况下，实际图像或视频不被共享或导出到可信环境之外。一些实施方案可采用分级结构，其中某些用户(例如，家庭所有者)可询问相对于在房间中检测的活动具有更高特殊性的具体问题(例如，识别房间中的特定人、识别房间中的人或物的姿势、识别手势或手/身体配置等)，并且较低层次的用户可具有可用问题或特殊性的更有限的范围(例如，报告的活动，但没有识别的个体)。姿势可为人或对象的位置、人或对象的取向，或它们的组合。位置可与人或对象位于的地方，例如，在房间或区域中相关。取向可与人或对象在一维、二维或三维中面对的方向相关。在一些情况下，当较低层次的用户询问受限定的问题时系统响应的方式可能改变。例如，在一些实施方案中，没有任何许可的用户可询问“特定用户在房间中吗？”，并且系统可用“您没有询问该问题的许可”进行响应。在另一实施方案中，相同用户可询问相同的问题，但是这次响应可为“房间里没有人”或“房间里有两个人”。换句话讲，带有较低层次的分级结构的用户可不被给出响应，或者被给出带有一些细节抽象的有限响应，如上面的场景中所举例说明的。另选地或除此之外，可对响应进行编码(例如，二进制代码、查找表的代码等)，并且/或者响应可以特定方式分门别类。例如，一些系统可将合适的响应划分为类别诸如“存在的人”、“检测到的活动”、“检测到的手势类型1”等。在一些情况下，使用上面描述的分级结构方法，一些用户可接收更具体的和详细的反馈(例如，“Travis在过去的3.5个小时一直坐在沙发上，并且正在访问媒体内容且已经变更HVAC设定)，而其他人可得到一般响应(例如，“房间里有人”)。得益于本公开的本领域普通技术人员将了解其许多修改、变型和另选实施方案。

在一些情况下，处理器310可结合AI处理器330操作以回答关于记录或现场视频的查询。例如，用户可通过传感器305得到房间中存在运动的警示。用户可询问人是否在房间中，并且询问可信环境300以识别用户。AI处理器330可访问先前存储的视频(例如，存储在存储器340中的)或实时接收的现场视频以实行面部辨识算法，处理语音命令和自然语言查询、另外的图像处理或其他学习或训练的活动以确定对查询的适当回答。如上面指示的，AI处理器330可为单独的实体，或者可被归入到处理器310中。

在另选的实施方案中，在系统已经被配置为评估具体问题或任务的情况下，AI处理器330可将该问题的答案输出到处理器310，处理器310可将该输出存储在存储器340中的日志中。然后，当用户稍后询问系统的该问题时，处理器310可访问日志且用先前存储的结果进行响应。因此，可回答关于过去发生的动作或活动的问题，而不依赖于以任何方式存储图像或视频数据。在一些具体实施中，视频和/或图像数据可用于评估问题(在一些情况下，问题的自动电池)，并且将结果存储在存储器340中，从而允许视频/图像数据之后(或其他合适的时间帧)立即被删除以另外改进可信环境中数据安全的稳健性。

处理器310还可控制存储器340上的读/写功能。例如，处理器310可作为存储器控制器操作。处理器310可将图像数据和/或上下文分析数据(也称为“图像分析数据”)写入存储器340。可从传感器处理器360接收图像数据和图像分析数据(例如，对于没有上下文的图像)，或者可从AI处理器330接收图像数据和图像分析数据(例如，包括在监视的房间中的识别的占用者的带有上下文分析的图像)。处理器310也可从存储器340读取。例如，处理器310可访问(读取)将路由到AI处理器330的图像数据用于另外的分析。在另一实施例中，处理器310可访问存储的图像分析数据以响应于用户查询。接收的查询及其响应经过低带宽接口370，如下面另外讨论的。根据某些实施方案，处理器310可为被配置为与存储器340接口连接(例如，对存储器340进行读/写)，以确保敏感数据(例如，视频数据)不能经由任何其他实体、I/O端口等外部可访问的仅有实体。在一些实施方案中，处理器310可被配置为读取外部访问存储器350，如下面另外描述的。处理器310还可被配置为忽略对图像数据的请求，响应于此类请求关闭(例如，通过低带宽接口270)与外面实体的通信链路，向某些实体警示此类请求(例如，警示用户、家庭所有者等)，或者辨识经过I/O端口315的图像数据的结构且采取适当的动作(例如，关闭通信链路、发出警示、完全关闭可信环境和重新启动等)，如将由得益于本公开的本领域普通技术人员了解的。

存储器340可包括一个或多个存储器单元，一个或多个存储器单元可操作为存储数据(例如，图像数据)和由处理器310或可信环境300内的一个或多个其他处理单元可执行的指令。存储器340可为读写存储器设备或易失性读写存储器，诸如动态随机访问存储器。存储器340可包括计算机可读存储介质的任何组合，计算机可读存储介质包括各种类型的半导体存储器芯片(DRAM、SRAM、SDRAM、闪存存储器、可编程只读存储器)等等。计算机可读存储介质不包括无线地或通过有线连接传送的载波和暂态电子信号。

根据某些实施方案，外部访问存储器350可被配置为存储固件更新数据、训练数据等。外部访问存储器350可由处理器130作为只读接口访问，并且可经由I/O引脚355作为只写接口访问。限制处理器130以仅将命令读取到外部访问存储器350可帮助防止图像数据经由I/O引脚355离开可信环境300。另外，通过I/O引脚355将写入命令限制到外部访问存储器350允许外部访问存储器350从外部来源接收对固件、配置数据等的各种更新，以更新可信环境300，而不用创建用于外部实体的新的数据访问点。因此，外部访问存储器350作为单向输入(例如，通过I/O引脚355的外部写入命令)和单向输出(例如，经由处理器310的内部读取命令)操作。在一些情况下，固件和/或配置数据更新可修改处理器310、AI处理器330、传感器处理器360或可信环境300内的任何实体的方面，如将由得益于本公开的本领域普通技术人员了解的。

在一些实施方案中，外部访问存储器350可主要用作隔离工具以另外抑制非预定图像/视频数据离开设备的可能性。通过使存储器350与存储器340物理地隔离且防止处理器310写入存储器350，这可用于保证图像/视频数据不会意外地或有意地存储在存储器350上。在此类配置中，即使未授权的用户以允许在外部(例如，从可信环境外面)读取存储器350的内容的方式使存储器350受到损害，也将不存在泄漏传感器数据的风险。某些配置(例如，其中与设备共享的训练数据被加密)也可允许从存储器350到处理器420的端口355具有双向通信。在一些情况下，外部访问存储器可被用于允许训练数据在不同的特征级别下进行抽象，并且然后传播到多个设备。例如，一些产品化系统可附带被设计为辨识面部特征的训练数据。一旦用户开始使用系统且将系统配置为具体对训练数据进行训练，系统就可生成辨识用户的具体面部的新训练数据。该新的训练数据可被传播到其他设备(例如，由用户拥有的设备)，并且可存储在外部访问存储器中。

根据某些实施方案，低带宽接口370可操作为将进出I/O引脚315的数据速率限制为值，该值易于允许基于文本的查询相对未受阻地传递，但是可严重限制或有效中断高带宽数据(例如，图像数据)的传送。例如，假设处理器310可被配置为尝试将所述图像数据路由到I/O端口315(例如，经由未授权访问(黑客攻击)，一些高分辨率图像可花费许多小时或可能几天在15kbps接口上进行传送。在一些情况下，低带宽接口370(也称为“I/O扼流圈370”)通常具有可在5kbps和100kbps的范围内的最大数据速率。其他最大数据速率(例如，高于或低于5-100kbps)是可能的。在示例性实施方案中，最大数据速率可为大约15kbps。在一些情况下，I/O扼流圈370可为单线。另选地或除此之外，实施方案可包括对通信总线(参见例如下面的SPI通信总线实施例)的时钟速度创建硬件限制、限制处理器310的时钟速度、限制存储器340的读取速度(例如，即使端口315能够具有更高的数据速率，端口315也受限于端口315可从存储器340多快地抽取信息)。

在一些情况下，可在I/O端口315上实施1线式总线，并且I/O扼流圈370可为该总线的功能/物理限制。在I/O扼流圈370是单线的情况下，这可被理解为(I/O端口315/IO扼流圈370)1线式通信总线，1线式通信总线可被配置为通过移除具有单独时钟的可能性而是要求时钟被嵌入在数据线内(并且随后在接收侧上复原)来限制可能的数据速率。该配置可设定最大可能时钟速率，并且因而设定最大带宽。典型的1线式接口在～15kbps下操作，其中绝对最大数据速率在～150kbps下达到极限，但是其他范围是可能的，如上所述。在此类情况下，即使IO端口315将受到损害且实施定制通信协议，仍然存在强制执行的最大数据速率，该最大数据速率仍然足够慢以被认为是以在整个本公开中描述的方式对图像/视频数据的充分扼止。

为了示出此类系统的某些优点，考虑以使得I/O端口315实施SPI通信总线(例如，时钟、Miso、Mosi)且通过强制执行10kHz的最大时钟速率实施IO扼流圈的方式配置的系统。这可以可比较的方式限制系统的最大数据速率。但是，如果系统受到损害，并且未授权的用户能够将最大时钟速率改变为高值(例如，20MHz)，则数据速率将不再被充分限制以针对图像/视频数据的传输进行保护。对具有多线通信端口的系统的潜在保护可包括使用电熔丝来固定时钟速度的配置设定(例如，设定某些电熔丝，某些电熔丝在熔断时与电接地短接，使得系统然后使用熔断的电熔丝的数量作为时钟频率的分频值)。因此，如果未授权的用户能够包括系统，则他们将具有对其可用的仅有操作是熔断更多的电熔丝，这将继续降低时钟频率，从而降低可用带宽。

在一些实施方案中，I/O扼流圈370可位于可信环境外面，并且耦合到I/O端口315，如图所示。另选地，I/O扼流圈370可与(例如，处理器310的I/O端口)或可信环境300的一部分集成。I/O扼流圈370可耦合到安全处理器410，如下面相对于图4另外描述的。另选地或除此之外，I/O扼流圈370可与安全处理器集成，如图5所示(参见SEP 510中的I/O扼流圈515)。在一些情况下，可实施多个I/O扼流圈或可调节带宽I/O扼流圈。应当注意，虽然在可信环境300中示出了特定数量的离散实体，但是可添加附加功能和/或部件(例如，附加处理器、存储器资源、音频/传感器处理单元等)，或者可已经包括但是未示出该附加功能和/或部件(例如，数据总线)，以便不会用可不一定与本公开的焦点密切相关的细节混淆本发明的焦点，如将由得益于所述公开的本领域普通技术人员了解的。在某些具体实施中，一些部件可与其他部件组合。例如，处理器310、传感器处理器360和AI处理器330或它们的任何组合可形成在公共集成电路上。

如上所述，可信环境300提供数据安全相机系统，数据安全相机系统可提供关于感兴趣区域中的记录图像数据的有用监视信息，同时通过防止对所述图像数据的外部访问来维持原始图像数据本身的保密性。因此，可无危险地监视可具有高度敏感信息或活动的区域，诸如浴室、带有保险箱的房间、卧室、婴儿房等，而没有任何重大的数据漏洞的风险，因为使得图像数据对可信环境300的任何外部I/O端口不可用。

图4示出了根据某些实施方案的与正常环境400接口连接的数据安全相机系统的可信环境300的简化框图。可信环境300可类似于图3中所示的可信环境，其中包括一个或多个附加输入和一个或多个对应的传感器处理器。例如，除了传感器305之外，可信环境300可包括一个或多个麦克风或一个或多个其他传感器(例如，温度传感器、湿度传感器等)和一个或多个传感器处理器360以处理来自一个或多个附加输入的数据。在一些实施方案中，传感器处理器360可被归入到传感器处理器360、处理器310、AI处理器330或它们的组合中。传感器305可通信地耦合到传感器处理器360。一个或多个麦克风305(2)和一个或多个传感器305(3)可通信地耦合到传感器处理器360。传感器处理器360可通信地耦合到AI处理器330和/或处理器310(未示出连接)。

正常环境400可为请求访问来自可信环境300的数据的任何计算接口。例如，正常环境400可包括移动设备(例如，平板电脑、智能电话、智能可穿戴设备、遥控器、膝上型计算机等)、台式计算机、服务器计算机或其他合适的计算设备，如将由得益于本公开的本领域普通技术人员了解的。参考图5，正常环境400可包括处理器420和网络接口430。处理器420可包括一个或多个处理器或处理核心。在一些实施方案中，处理器420可包括通用主处理器以及一个或多个专用协处理器诸如图形处理器、数字信号处理器等。在一些实施方案中，处理器420可使用诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的定制电路来实施。

在一些实施方案中，网络接口430可为处理器420提供语音和/或数据通信能力。在一些实施方案中，通信接口430可包括：用于访问无线语音和/或数据网络(例如，使用蜂窝电话技术、数据网络技术诸如3G、4G/LTE、Wi-Fi、其他IEEE 802.11系列标准或其他移动通信技术，或它们的任何组合)的射频(RF)收发器部件、用于近程无线通信(例如，使用蓝牙标准和/或蓝牙LE标准、NFC等)的部件和/或其他部件。在一些实施方案中，除了无线接口之外或代替无线接口，网络接口430可提供有线网络连接性(例如，以太网)。网络接口430可使用硬件部件(例如，驱动电路、天线、调制器/解调器、编码器/解码器，以及其他模拟信号处理电路和/或数字信号处理电路)与软件部件的组合来实施。在一些实施方案中，网络接口430可使用相同运输或不同运输同时或在不同时间支持多个通信信道。在某些实施方案中，正常环境400表示可信环境300的外面的任何通信来源。

在一些实施方案中，关于由传感器305生成的图像数据的内容和/或来自输入305(2)和(3)的传感器数据的查询可源自正常环境400。更特别地，用户可经由耦合到处理器420的用户界面(未示出)、通过经由网络接口430到处理器420的无线连接、或其他合适的通信手段，请求关于在可信环境300中捕获的图像数据的信息(例如，“有人在浴室中吗？”)。在一些情况下，可自动生成查询。例如，响应于特定事件(例如，家庭警报已被激活或去激活)等，一些查询可被自动化来以特定频率(例如，每10分钟、每天等)请求关于图像数据的信息。

安全处理器410可作为用于经由I/O端口315到和来自可信环境300的任何通信的监测器操作，并且可通过识别从可信环境300传递到正常环境400的任何结构化图像数据且响应于识别图像数据，采取适当动作，在外面世界(例如，处理器420)和可信环境300之间强制执行基于文本的通信协议。可基于查询的内容(例如，对原始图像数据的请求)或从在可信环境300和正常环境400之间移动的数据的内容来检测图像数据。例如，图像数据通常被结构化使得某些启发式和统计模型可应用于通信数据(或任何数据)，以用高置信度识别图像数据(例如，离散的或与复合数据集成的/用复合数据调制的)，如将由得益于本公开的本领域普通技术人员理解的。

例如，相对于启发式和统计模型，一些具体实施可利用聚类分类或聚类，聚类分类或聚类是采取未分配的信息聚类且将它们放入不同类别的过程。用于文件类型识别的一些技术是关键字/模式匹配、指纹识别、统计分析和机器学习。关键字/模式匹配可与搜索特殊字节序列及其在文件中的位置相关。这可为有用的，因为许多文件类型可具有描述其格式的页眉/页脚(像幻数)，页眉/页脚是文件开始时的字节序列。例如，JPEG图像以0xFFD8开始，0xFFD8被称作图像开始标记(SOI)。

在指纹识别中，可从不同的文件类型生成唯一的指纹，并且然后将未知数据与这些指纹进行比较。指纹系统的类型包括字节频率分布(BFD)和字节频率互相关性(BFC)。在统计分析中，一些方面包括分析超过文件的页眉/页脚。使用上面描述的技术构建文件类型的统计模型可包括使用BFD的均值和标准偏差对质心模型进行排版。在机器学习中，可在基于机器学习的具体实施中使用聚类和特征提取，基于机器学习的具体实施可被配置为将上面实施例中的一些或所有并入奇异模型中。

在一些实施方案中，安全处理器(SEP)410可以多种不同方式监测和强制执行通信协议(例如，纯文本通信)。因此，即使图像数据绕过处理器310的保护(例如，实例化纯文本通信协议)且经由I/O引脚315横穿低带宽接口370，SEP410也可在任何材料量(例如，足以渲染单个图像)被传送到外部目的地(例如，正常环境400的处理器420)之前易于识别图像数据，并且采取动作。例如，SEP 410可引起可信环境300和正常环境400之间的通信信道立即关闭。一些实施方案可在一段时间(例如，1分钟、10分钟等)之后自动关闭所述通信信道，因为大多数基于文本的通信将花费少于1分钟以进行处理，并且任何未识别的图像数据传送将被打断。自动关闭可是使用定义的，默认设定的，或基于历史数据流量内容、传送时间等计算的。另选地或除此之外，在检测到图像数据时或响应于超出阈值时间值的数据传送，SEP 410可关掉可信环境300的一些或所有方面，从安全启动程序(例如，存储在外部访问存储器350中的)对可信环境300的可信的一些或所有方面进行重新编程，发出警示(例如，警示用户图像数据已经或正在受到损害)，重写固件且重新启动系统，请求来自授权用户(例如，家庭所有者)的数据传送的验证，请求数据传送请求者重新发出请求且重新开始，临时封闭通信信道且请求来源重申查询等，如将由得益于本公开的本领域普通技术人员了解的。

以举例的方式，在一些具体实施中，如果触发SEP，则这可引起可信环境擦除一些或所有配置/固件改变，并且重置为附带设备的初始签名固件/配置。这可为响应于SEP确定可信环境已经具有或具有可信环境已经受到损害且由可信环境实行的任何后续操作(在重置之前)将不被信任和/或允许的高概率(例如，70％改变-可使用其他概率阈值)。

在另一实施例中，如果SEP被触发并且怀疑请求(即使仅针对文本回答)可来自不可验证的或不允许的来源(例如，外部网络上的对手(黑客)或无特权的或未授权的用户)，则系统可中断与可信环境的通信。在一些情况下，然后系统可联系管理员(例如，所有者的授权/配对设备等)，请求确认请求是有效的且应当被履行。这可类似于暂停动作并实例化要求“管理员”提供口令以实施所期望的动作的弹出消息的一些个人计算机上的过程。

在一些具体实施中，可信环境中的处理器(例如，处理器310)可与传感器数据(以及存储数据的任何存储器)隔离，使得该处理器不具有访问原始传感器数据的能力。

SEP 410还可经由I/O引脚355将安全启动数据安全提供到外部访问存储器350，存储安全密钥，并且作为可信环境300和正常环境400之间的密码安全接口操作。在一些实施方案中，SEP 410可被配置为扫描通过I/O端口355从处理器420到外部访问存储器350的通信数据(例如，只写数据)，如图4所示。以类似的方式，SEP 410可搜索结构化图像数据，并且可在检测到图像数据时或针对来自外部访问存储器355的尝试的读取请求，关闭通信或其他合适的动作(如上所述)。SEP 410可为单独的实体，如图所示，或者可为可信环境300的一部分(例如，归入处理器310中)、正常环境400的一部分或它们的组合。得益于本公开的本领域的普通技术人员将理解其许多变型、修改和另选的实施方案。

在某些实施方案中，SEP 410和/或外部访问存储器350可为可安全地存储可信环境300的密码信息的集成电路等，如上面提到的。可存储在SEP 410和/或外部访问存储器350内的信息的实施例包括长期公钥和密钥(LTPKC、LTSKC)，以及配对附件的列表(例如，将附件ID映射到已经完成配对设置或配对添加过程的附件的附件长期公钥LTPKA的查找表)等，如将由得益于本公开的本领域的普通技术人员了解的。在一些实施方案中，密码操作可在密码逻辑模块415中实施。密码逻辑模块415可包括实施或支持密码操作(包括上面描述的任何或所有密码操作)的各种逻辑电路(根据期望是固定的或可编程的)。得益于本公开的本领域的普通技术人员将理解其许多变型、修改和另选的实施方案。应当注意，在典型实施方案中，SEC 410可被配置在“可信环境”内(但是不一定在图中以该方式描绘)，因为SEC410可在可信环境的其余部分上发挥监督作用，如本文所述。在一些情况下，相对于可信环境内的其他实体(例如，处理器310、传感器处理器360、AI处理器330、存储器340、存储器350等)中的一些或所有，SEC 410可存在于单独的硅(例如，单独的IC封装)上，但是可仍然在可信环境300内。

图5示出了根据某些实施方案的带有增强图像传送监测系统(SEP510)的数据安全相机系统的简化框图，增强图像传送监测系统(SEP510)带有高带宽通信能力。为了简化本文的各种实施方案的解释，图5的可信环境300和正常环境400可在如上面相对于图3和图4描述的系统拓扑和操作上类似，然而得益于本公开的本领域普通技术人员将理解其许多变型、修改和另选实施方案。还有，在一些实施方案中，图2的相机系统230可涵盖本文呈现的图(例如，图3-图5)的可信环境，并且还可包括一个或多个对应的传感器和低带宽接口，如将由得益于本公开的本领域普通技术人员了解的。

一些具体实施可采用附加的无约束高带宽数据总线520，附加的无约束高带宽数据总线520可将可信环境300的元件耦合到正常环境400。例如，处理器310可被配置为经由在SEP 510的监督下的通信信道(数据总线520)与处理器420、网络接口430或其他外部实体通信。因此，响应于检测数据总线520中的结构化图像数据，缓解响应(例如，信道关闭、可信环境关闭和重新启动等)中的任一个可由SEP 510实例化。在一些情况下，仅授权用户(例如，家庭所有者、系统管理员等)可通过提供适当的授权凭据、密钥等，利用数据总线520。

图6示出了根据某些实施方案的用于将数据传送到可信环境300中的数据安全相机系统和从数据安全相机系统传送数据的简化流程图。方法600可通过处理逻辑来实行，处理逻辑可包括硬件(电路、专用逻辑等)、在适当的硬件(诸如通用计算系统或专用机器)上操作的软件、固件(嵌入式软件)或它们的任何组合。在某些实施方案中，方法600可由处理器310、AI处理器330或它们的任何组合实行，如图3-图5中所示。

根据某些实施方案，在框610处，方法600可包括由一个或多个处理器(例如，处理器310、AI处理器330)接收和分析图像数据。例如，图像数据可为由传感器305生成(或捕获)的像素信息(例如，一个或多个像素的红色、绿色和蓝色值，强度数据，像素阵列数据等)。图像数据可为原始图像数据或处理的图像数据(经由传感器处理器360)。另选地或除此之外，可接收和分析附加数据，附加数据包括来自一个或多个麦克风305(2)和其他附加传感器305(3)的音频数据，音频数据可或可不由传感器处理器360另外处理。其他传感器数据的一些实施例可包括雷达图像数据、声纳图像数据、超声数据或可例如用于辨识模式和/或可具有安全问题的其他数据。

根据某些实施方案，在框620处，方法600可包括基于所分析的图像数据生成图像分析数据。在一些情况下，图像分析数据可包括关于区域中识别的对象或活动的信息。例如，图像分析数据可包括关于识别的人的信息，诸如这个人是谁、他们在被监视的区域中已经多久(例如，经由传感器305)、正在实行什么活动(例如，用户正站在水槽的前面)、所识别的人是否具有对该区域的访问特权、(例如，基于特权分级结构)是否正在发生未授权的活动(例如，篡改保险箱)等。通常，图像分析数据仅包括关于图像数据的信息(通常，基于文本的信息)，但是不包括图像数据本身，图像数据本身通常被保障在可信环境内(例如，在存储器340中)，如上面相对于图3-图5示出和描述的。在一些实施方案中，图像/视频数据和图像/视频分析数据可存储在单独的存储器中(无论是在物理上单独的集成电路(IC)上还是在单个IC上)，但是彼此隔离。参考这些实施例，处理器310、AI处理器330或单独或以任何合适组合采取的其他处理器可生成用于所接收的图像数据的图像分析数据中的一些或所有。在某些实施方案中，可信环境中的数据安全相机系统可集成在单个集成电路上，并且存储块可经由包括I/O端口的集成电路上的任何外部可访问的电触点不可访问。在一些情况下，仅一个或多个处理器可具有对存储块的读写访问。

根据某些实施方案，在框630处，方法600可包括将图像数据和图像分析数据存储在非暂态存储块中。在图3-图5的实施方案中，图像数据和图像分析数据可存储在存储器340中。在另选的实施方案中，图像/视频数据可存储在仅从AI处理器330可访问的存储块中。应当理解，存储器340可包括存储器阵列、多个存储器阵列、不同类型的存储器(例如，DRAM、PCM、SRAM等)、不同的电路拓扑、不同硅基板上(但是在相同的封装中)的存储器等，如将由得益于本公开的本领域的普通技术人员了解的。

根据某些实施方案，在框640处，方法600可包括经由外部来源接收关于图像数据的查询。在一些情况下，查询可由通信I/O端口(例如，I/O端口315)接收。查询通常被限制为基于文本的信息请求，因为由于顺着通信数据路径放置的I/O扼流圈，所以通信路径可被限制为低带宽(例如，小于15kbps)。以举例的方式且参考图3，查询可询问是否有人在过去24小时内进入带有视频传感器305的无危险房间、是否有人在无危险房间中且他们的身份是什么等，如上面相对于图3-图5另外讨论的。查询可为关于区域中的识别的对象或活动的用户发起的查询。在一些方面，查询可由自动过程(例如，对安全位置(诸如保险箱的位置)的自动周期性检查)发起，并且查询可源自本地或远程。

根据某些实施方案，在框650处，方法600可包括从存储块中检索对应于查询的图像分析数据的一部分。例如，响应于查询(例如，在过去24小时内有人进入无危险房间吗？)，处理器310可访问与过去24小时内的图像数据相关联的任何对应的图像分析数据以回答问题(例如，是或否)。

根据某些实施方案，在框660处，方法600可包括将图像分析数据的所检索的部分路由到I/O端口，I/O端口包括I/O扼流圈，该I/O扼流圈被配置为将I/O端口的通信带宽限制为被设定在5kbps和100kbps之间的最大数据速率。在特定实施方案中，I/O扼流圈可将数据速率限制为15kbps。上面相对于图3将I/O扼流圈的一个实施例示出和描述为I/O扼流圈370。在一些情况下，路由包括将对应的检索部分(例如，肯定或否认在过去24个小时内有人在无危险房间中)从可信环境300(例如，从处理器310)发送到可信环境300外部的目的地(例如，请求处理器420)，如上面相对于图3-图5描述的。

在框670处，方法600可包括持久地防止经由数据安全相机系统的任何外部通信端口(包括I/O端口)可访问图像数据。这可以多种不同方式实现。例如，可信环境中的一个或多个处理器可在通信协议下操作，出于将所述图像数据传达到外面实体的目的，该通信协议不允许从存储的存储器中检索图像数据。在一些实施方案中，安全处理器(例如，SEP410、SEP 510)可被配置为监测数据流量以识别经过I/O端口(I/O端口315)的任何图像数据，并且在检测到图像数据的情况下采取对应的动作，如上面相对于图4另外描述的。在一些情况下，数据安全相机系统可集成在单个集成电路上，并且存储块可经由包括I/O端口的集成电路上的任何外部可访问的电触点不可访问。

应当了解，图6所示的具体步骤提供了根据某些实施方案的用于将数据传送到可信环境和从可信环境传送数据的特定方法600。根据另选的实施方案也可以执行其他步骤序列。还有，取决于特定应用，可添加或移除附加步骤。例如，方法600还可包括监测I/O端口以获得包含结构化图像数据或视频数据的数据流量，并且在检测到具有结构化图像数据或视频数据的数据流量时采取补救动作。在带有限制的情况下，补救动作可包括：发起警示；在预先确定的时间内中止进出I/O端口的所有数据流量；请求安全授权；将预设固件配置恢复到可信环境；以及关闭数据安全相机系统。

另选地或除此之外，一个或多个处理器可包括机器学习(ML)处理器，机器学习(ML)处理器被配置为生成图像分析数据。在此类情况下，数据安全相机系统还可包括输入端口和第二存储块，第二存储块通信地耦合在输入端口和一个或多个处理器之间，并且第二存储块可被配置为存储经由输入端口接收的配置数据，其中配置数据可操作以更新ML处理器。在一些方面，第二存储块可仅经由输入端口可写入，并且仅经由一个或多个处理器可读取，如上面至少相对于图3-图4描述的。

在另外的实施方案中，一个或多个处理器可包括被配置在I/O端口外部的处理器，处理器包括机器学习能力且被配置为：分析经过I/O端口的数据流量；实行数据流量的数据类型分类；以及在检测到包含对应于未授权数据类型分类的数据的数据流量时采取补救动作。在一些情况下，数据类型分类可包括图像数据分类、视频数据分类、音频数据分类、文本数据分类等。可使用如上所述的方法600的任何改变的组合，并且得益于本公开的本领域的普通技术人员将理解其许多变型、修改形式和另选的实施方案。

可信环境的另选的实施方案

图7示出了根据某些实施方案的数据安全相机系统700中的可信环境的简化框图的另选的实施方案。系统700描绘了由传感器720检测到的用户710的存在和/或运动。传感器720可为任何合适类型的传感器，包括一个或多个图像传感器、音频传感器、振动传感器、温度传感器等，如将由得益于本公开的本领域普通技术人员了解的。出于解释且非限制的目的，这里描述的实施方案利用图像传感器，并且被称为此。传感器720将场景图像馈送到传感器处理器730，传感器处理器730可应用预处理以渲染适合于馈送到由AI处理器330操作的(例如，预训练的)神经网络的图像。预处理可包括例如级别控制、均值移除、对比度增强等。AI处理器330可为用于简单图像辨识的前馈类型，或者可包括用于序列辨识的内部反馈，该内部反馈可用于识别手势、特定移动等，反馈(如果存在的话)可严格在AI处理器330的内部。AI处理器330的输出745可为一组图像或姿势概率，一组图像或姿势概率在严格向前方向上被馈送到编码器接口750，编码器接口750例如可在输出755处提供高级姿势抽象。例如，如果由系统700辨识出预编程的手势(例如，人的右手到左手波浪状)，则可发出输出(例如，简短的二进制代码或其他合适的输出)，该输出指示辨识出手势(或更具体地，手势的类型)，以及在一些情况下辨识的正确性的置信度级别。系统700的部件可类似于系统300的方面。例如，传感器处理器730可实行类似于传感器处理器360和/或传感器处理器360的功能，AI处理器330可实行类似于AI处理器330的功能，并且编码器接口750可实行类似于处理器310的功能。在一些实施方案中，系统700可不包括可编程接口(像外部访问存储器350)以确保从传感器到编码器接口750的单向数据路径。

在某些实施方案中，由于硬件的架构和构造(例如，系统700的架构)，所以在高级姿势抽象级别(输出755)处不存在可用的图像像素，并且仅存在简短的二进制代码(或其他基于非图像的上下文输出，如上所述)。一些具体实施没有从应用软件回到传感器720的物理或软件连接。在此类情况下，不存在从输出755的高级姿势抽象中得到且以任何方式、形状或形式导出初始图像的可能性。

在系统通过坏人的成功黑客攻击受到损害的情况下，最可能泄漏的是输出755的上下文输出(例如，识别手势的二进制代码)。例如，黑客可发现存在手势，但是在物理上无法得到做出手势的手、人、他们的住所的图像或任何图像数据。

系统700可在定制硬件中(例如，在单一和/或公共基板集成电路上)实施，定制硬件可不是现场可编程的或变更的。因此，某些实施方案可在物理上不可能被任何软件矢量(例如，病毒)攻击，任何软件矢量可重新利用系统700的功能以得到对图像的访问。在一些情况下，系统700可并入图2-图6的实施方案的一些或所有方面。另选地或除此之外，图2-图6的实施方案可并入图7的系统700的一些或所有方面。得益于本公开的本领域普通技术人员将了解其许多修改、变型和另选实施方案。

可使用任何合适类型的神经网络，诸如深度卷积网络。可使用多个层和多个抽象级别来分析传感器数据。例如，第一层可分析用于边缘检测的图像数据，并且后续层可分析形状检测、对象/人类/手势/移动检测、人类/对象特征检测、不同对象/人类检测等，之后进行对所检测和所识别的对象、人、活动等进行编码的过程。出于解释的目的，用可以类似的方式处理任何合适的传感器输入数据的理解，所检测的对象/手势/移动/人类等在这里将被称为“图像”，如上所述。

一旦神经网络识别图像且对图像进行编码(例如，经由自然语言描述、输出二进制代码等)，就可移除、擦除或以其他方式丢弃图像信息。因此，仅保留图像数据的某些特性(例如，上下文信息-不是图像数据本身)。在一些实施方案中，神经网络一分析图像数据，图像数据就可用新的传入图像数据改写。在一些情况下，可以特定间隔(例如，每秒)清除缓冲区，该特定间隔可为对于将处理的图像足够长且少到没有附加时间以防止坏人访问图像数据的间隔。在一些情况下，图像缓冲区可被锁定，直到分析通过神经网络继续进行，并且然后图像缓冲区可被清除或用新的图像数据改写。另外的实施方案可采用先进先出(FIFO)类型数据堆栈，其中你移动来自堆栈的图像数据以AI处理器330中进行处理，并且随后(立即)从缓冲区中删除图像数据。一些实施方案可使用多种方法来保障图像数据。例如，一些实施方案可采用带有基于时间的数据清空的FIFO堆栈，基于时间的数据清空发生在大于通过AI处理器330馈送图像数据的时间的时间帧。因此，当处理数据时从缓冲区中移除数据，并且在应当完成图像数据分析时发生第二删除故障保护(擦除)。另选地或除此之外，可采用图像保护的其他方面，诸如硬件扼流圈、安全处理器、系统和/或传感器关闭等，如上面相对于图3-图6另外描述的。得益于本公开的本领域普通技术人员将了解其许多修改、变型和另选实施方案。

图8示出了根据某些实施方案的用于操作本文描述的“正常环境”的方面的系统800。系统800可包括一个或多个处理器802，一个或多个处理器802可经由总线子系统804与多个外围设备(例如，输入设备)通信。这些外围设备可包括存储子系统806(包括存储器子系统808和文件存储子系统810)、用户界面输入设备814、用户界面输出设备816和网络接口子系统812。用户输入设备814可为本文所述的输入设备类型中的任一种(例如，键盘、计算机鼠标、遥控器等)。用户输出设备816可为任何类型的显示器，包括计算机监测器、手持设备(例如，智能电话、游戏系统)上的显示器等，如将由本领域的普通技术人员理解的。另选地或除此之外，显示器可包括虚拟现实(VR)显示器、增强现实显示器、全息显示器等，如将由本领域的普通技术人员理解的。

在一些实施例中，内部总线子系统804可提供用于让计算机系统800的各种部件和子系统按预定彼此通信的机构。虽然内部总线子系统804被示意性地示出为单个总线，但是总线子系统的另选实施方案可利用多个总线。除此之外，网络接口子系统812可用作用于在计算机系统800和其他计算机系统或网络之间传达数据的接口。网络接口子系统812的实施方案可包括有线接口(例如，以太网、CAN、RS232、RS485等)或无线接口(例如，BLE、Wi-Fi、蜂窝协议等)。

在一些情况下，用户界面输入设备814可包括键盘、呈现器、指向设备(例如，鼠标、轨迹球、触控板等)、并入显示器中的触摸屏、音频输入设备(例如，语音辨识系统、麦克风等)、人机界面(HMI)和其他类型的输入设备。一般来讲，使用术语“输入设备”旨在包括用于将信息输入到计算机系统800中的所有可能类型的设备和机构。除此之外，用户界面输出设备816可包括显示子系统、打印机或诸如音频输出设备的非视觉显示器等。显示子系统可为任何已知类型的显示设备。一般来讲，使用术语“输出设备”旨在包括用于从计算机系统800输出信息的所有可能类型的设备和机构。

存储子系统806可包括存储器子系统808和文件存储子系统810。存储器子系统808和文件存储子系统810表示可存储提供本公开的实施方案的功能的程序代码和/或数据的非暂态计算机可读存储介质。在一些实施方案中，存储器子系统808可包括多个存储器，多个存储器包括：用于在程序执行期间存储指令和数据的主随机访问存储器(RAM)818，和可存储固定指令的只读存储器(ROM)820。文件存储子系统810可为程序和数据文件提供持久(例如，非易失性)存储，并且可包括磁性或固态硬盘驱动器、光学驱动器以及相关联的可移除介质(例如，CD-ROM、DVD、Blu-Ray等)、基于可移除闪存存储器的驱动器或卡，和/或本领域中已知的其他类型的存储介质。

应当了解，计算机系统800是例示性的且不旨在限制本公开的实施方案。比图800中的具有更多或更少部件的许多其他配置是可能的。还可在各种各样的操作环境中实施各种实施方案，在一些情况下，操作环境可包括可用于操作多个应用程序中的任一个的一个或多个用户计算机、计算设备或处理设备。用户设备或客户端设备可包括多个通用个人计算机中的任一个，诸如运行标准或非标准操作系统的台式计算机或膝上型计算机，以及运行移动软件并能够支持多个联网协议和消息传递协议的蜂窝设备、无线设备和手持设备。这样的系统也可包括运行多种可商购获得的操作系统和用于目的诸如开发和数据库管理的其他已知应用程序中的任一个的多个工作站。这些设备还可包括其他电子设备，诸如虚拟终端、瘦客户端、游戏系统以及能够经由网络进行通信的其他设备。

大多数实施方案利用本领域技术人员熟悉的至少一个网络来支持使用多种可商购获得的协议中的任一个诸如TCP/IP、UDP、OSI、FTP、UPnP、NFS、CIFS等的通信。网络可以是例如局域网、广域网、虚拟专用网络、互联网、内联网、外联网、公共交换电话网、红外网络、无线网络及其任何组合。

在利用网络服务器的实施方案中，网络服务器可运行各种服务器或中间层应用程序中的任何一者，包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器和业务应用程序服务器。一个或多个服务器也可能够响应于来自用户设备的请求执行程序或脚本，诸如通过执行一个或多个应用程序，一个或多个应用程序可被实施为以任何编程语言包括但不限于C、C#或C++或任何脚本语言诸如Perl、Python或TCL以及它们的组合编写的一个或多个脚本或程序。一个或多个服务器还可包括数据库服务器，包括但不限于可从和商购获得的那些。

此类设备也可包括如上所述的计算机可读存储介质读取器、通信设备(例如，调制解调器、网卡(无线或有线)、红外通信设备等)和工作存储器。计算机可读存储介质读取器可连接至或配置为接收表示远程、本地、固定和/或可移除的存储设备的非暂态计算机可读存储介质，以及用于临时和/或更永久地包含、存储、传输和检索计算机可读信息的存储介质。系统和各种设备通常还将包括位于至少一个工作存储器设备内的多个软件应用程序、模块、服务或其他元件，包括操作系统和应用程序，诸如客户端应用程序或浏览器。应当理解的是，另选实施方案可具有根据上文所述的许多变型形式。例如，还可使用定制硬件，和/或可在硬件、软件(包括便携式软件，诸如小应用程序)或两者中实现特定元件。另外，可采用与其他计算设备诸如网络输入/输出设备的连接。

如上所述，本技术的一个方面是采集和使用从各种来源可获得的数据，并且控制在可信环境中所述数据的无危险和安全的传送和/或存储。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身级别相关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期、或任何其他识别或个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，该个人信息数据可用于递送用户较感兴趣的目标内容。因此，使用此类个人信息数据使得用户能够对所递送的内容进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。

本公开设想负责采集，分析，公开，传输，存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类策略应该能被用户方便地访问，并应应当随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，在收到用户知情同意后，应进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和做法。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险转移和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。

不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，在用于可信环境的用户界面平台上的广告递送服务的情况下，本技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。在另一实施例中，用户可选择不为目标内容递送服务提供情绪相关数据。在另一个示例中，用户可选择限制情绪相关数据被保持的时间长度，或完全禁止基础情绪状况的开发。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除具体标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户上聚集数据)、和/或其他方法来促进去标识。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低数量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好，从而选择内容并将该内容递送至用户。

本文档提供了例示和描述，但是不旨在为穷举性的或将本发明的范围限制于所公开的精确形式。鉴于上面的教导内容，修改和变型是可能的，或者可从本公开的各种具体实施的实践中获取修改和变型。

Claims (20)

1.一种数据安全系统，包括：

一个或多个处理器，所述一个或多个处理器被配置为：

接收对应于物理区域的传感器数据；以及

基于所述传感器数据生成描述性数据，所述描述性数据不同于所述传感器数据，并且所述描述性数据对应于关于所述物理区域中的所识别的对象或活动的信息；以及

输入/输出(I/O)端口，

其中所述一个或多个处理器还被配置为：

防止经由所述数据安全系统的任何外部端口可访问所述传感器数据，所述任何外部端口包括所述I/O端口；以及

允许经由所述I/O端口可访问所述描述性数据。

2.根据权利要求1所述的数据安全系统，还包括：

I/O扼流圈，所述I/O扼流圈通信地耦合在所述一个或多个处理器和所述I/O端口之间，所述I/O扼流圈被配置为限制所述I/O端口的通信带宽。

3.根据权利要求2所述的数据安全系统，其中所述I/O扼流圈将所述通信带宽限制为设定在5kbps和100kbps之间的最大数据速率。

4.根据权利要求1所述的数据安全系统，其中所述传感器数据是图像数据，其中所述描述性数据不包括所述图像数据。

5.根据权利要求1所述的数据安全系统，还包括：

存储块，所述存储块由所述一个或多个处理器控制且仅由所述一个或多个处理器可访问，所述存储块被配置为存储所述图像数据和对应的图像分析数据，

其中所述存储块是经由包括所述I/O端口的隐私安全相机系统的任何外部端口不可访问的，并且其中仅所述一个或多个处理器具有对所述存储块的读写访问。

6.根据权利要求1所述的数据安全系统，其中所述一个或多个处理器包括机器学习(ML)处理器，所述机器学习(ML)处理器被配置为生成所述描述性数据，其中所述数据安全系统还包括：

输入端口；以及

第二存储块，所述第二存储块通信地耦合在输入端口和所述一个或多个处理器之间，其中所述第二存储块被配置为存储经由所述输入端口接收的配置数据，所述配置数据被配置为更新所述ML处理器，并且

其中所述第二存储块仅经由所述输入端口可写入且仅经由所述一个或多个处理器可读取。

7.根据权利要求1所述的数据安全系统，还包括：

数据监测处理器，所述数据监测处理器耦合到所述I/O端口，并且被配置为：

检测经过所述I/O端口的传感器数据；以及

响应于检测经过所述I/O端口的所述传感器数据，采取补救动作。

8.根据权利要求7所述的数据安全系统，其中所述补救动作包括以下中的至少一个：

发起警示；

在预先确定的时间内中止进出所述I/O端口的所有数据流量；

请求安全授权；

将预设固件配置恢复到可信环境；或者

关闭所述隐私安全相机系统。

9.根据权利要求2所述的数据安全系统，其中所述一个或多个处理器、所述I/O端口和所述I/O扼流圈被包含在单个集成电路上。

10.一种非暂态计算机程序产品，所述非暂态计算机程序产品有形地体现在机器可读非暂态存储介质中，所述非暂态计算机程序产品包括被配置为引起数据安全系统的一个或多个处理器用于执行以下动作的指令：

接收和分析对应于物理区域的传感器数据；

基于所述传感器数据生成描述性数据，所述描述性数据包括关于所述物理区域中的所识别的对象或活动的信息，其中所述描述性数据不同于所述传感器数据；

接收对对应于所述物理区域的信息的请求；

响应于接收所述请求，将所述描述性数据发送到I/O端口；以及

防止经由所述数据安全系统的任何外部通信端口可访问所述传感器数据，所述任何外部通信端口包括所述I/O端口。

11.根据权利要求10所述的计算机程序产品，其中所述防止经由所述数据安全系统的任何外部通信端口可访问所述传感器数据包括经由I/O扼流圈限制所述I/O端口的通信带宽。

12.根据权利要求11所述的计算机程序产品，其中所述I/O扼流圈将进出所述I/O端口的最大数据速率限制为小于100kbps。

13.根据权利要求10所述的计算机程序产品，其中所述指令还被配置为引起所述数据安全系统的所述一个或多个处理器用于：

监测所述I/O端口以获得包含结构化图像数据或视频数据的数据流量；以及

在检测到具有结构化图像数据或视频数据的数据流量时采取补救动作。

14.根据权利要求10所述的计算机程序产品，其中所述请求是关于所述物理区域中的所识别的对象或活动的用户发起的查询。

15.根据权利要求10所述的计算机程序产品，其中所述数据安全系统被集成在单个集成电路上。

16.根据权利要求15所述的计算机程序产品，其中所述数据安全系统包括存储块，所述存储块被配置为存储所述传感器数据和描述性数据，其中所述存储块经由包括所述I/O端口的所述集成电路上的任何外部可访问的电触点是不可访问的。

17.根据权利要求16所述的计算机程序产品，其中仅所述一个或多个处理器具有对所述存储块的读写访问。

18.根据权利要求16所述的计算机程序产品，其中所述一个或多个处理器包括机器学习(ML)处理器，所述机器学习(ML)处理器被配置为生成所述描述性数据，其中所述数据安全系统还包括：

输入端口；以及

第二存储块，所述第二存储块通信地耦合在输入端口和所述一个或多个处理器之间，其中所述第二存储块被配置为存储经由所述输入端口接收的配置数据，所述配置数据被配置为更新所述ML处理器，

其中所述第二存储块仅经由所述输入端口可写入且仅经由所述一个或多个处理器可读取。

19.根据权利要求10所述的计算机程序产品，其中所述一个或多个处理器包括被配置在所述I/O端口外部的处理器，所述处理器包括机器学习能力且被配置为：

分析经过所述I/O端口的数据流量；

实行所述数据流量的数据类型分类；以及

在检测到包含对应于未授权数据类型分类的数据的数据流量时采取补救动作。

20.根据权利要求19所述的计算机程序产品，其中所述数据类型分类包括图像数据分类、视频数据分类、音频数据分类或文本数据分类。