CN112106075A - 扩展先前训练的深度神经网络 - Google Patents

扩展先前训练的深度神经网络 Download PDF

Info

Publication number
CN112106075A
CN112106075A CN201980029170.3A CN201980029170A CN112106075A CN 112106075 A CN112106075 A CN 112106075A CN 201980029170 A CN201980029170 A CN 201980029170A CN 112106075 A CN112106075 A CN 112106075A
Authority
CN
China
Prior art keywords
neural network
feature
deep neural
physical environment
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980029170.3A
Other languages
English (en)
Inventor
E-S·芬克尔斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN112106075A publication Critical patent/CN112106075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

传感器数据被提供给先前被训练以检测物理环境内的特征的深度神经网络。从神经网络接收结果信号，并且计算系统基于结果信号确定特征是否存在于物理环境内。响应于确定特征存在，计算系统实现被指派给特征的规则的功能。响应于确定特征不存在，计算系统确定神经网络的一个或多个激活参数是否已经满足，以指示替代特征存在于物理环境内。由计算系统输出关于激活参数已经满足的指示，使得能够将规则扩展到替代特征。

Description

扩展先前训练的深度神经网络
背景技术
计算系统可以使用人工神经网络(ANN)来学习任务，诸如标识图像内是否存在特定对象。神经网络包括互连节点的集合，这些节点从上游节点或源接收输入信号，通过应用函数来处理输入信号以获取结果，并且将结果提供给下游节点或过程。可以通过向网络提供训练数据以生成可以与期望结果进行比较的结果来训练神经网络。在有监督训练的情况下，训练数据可以预先被标记有作为监督信号的期望结果。可以根据可学习参数对在节点处应用的函数进行参数化，并且可以通过基于监督信号调节可学习参数来将由网络生成的结果调节为更接近期望结果。
发明内容
提供本“发明内容”以便以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。
根据本公开的一方面，一种计算系统从监测物理环境的一个或多个传感器接收传感器数据。将传感器数据提供给深度神经网络，深度神经网络先前被训练以检测物理环境内的特征。深度神经网络具有多个连接节点，包括接收传感器数据的一个或多个输入节点和响应于传感器数据而输出结果信号的一个或多个输出节点。从神经网络接收结果信号，并且计算系统基于结果信号确定特征是否存在于物理环境内。
响应于基于结果信号确定特征存在于物理环境内，计算系统实现分配给特征的规则的功能。响应于基于结果信号确定特征不存在于物理环境内，计算系统确定神经网络的一个或多个激活参数是否已经满足以指示替代特征存在于物理环境内。计算系统输出关于激活参数已经满足的指示，使得能够将指派的规则和将其对应功能扩展到替代特征。
附图说明
图1描绘了其中计算系统监测物理环境的示例。
图2是描绘由计算系统执行的示例方法的流程图。
图3是描绘示例神经网络的示意图。
图4是描绘已修改形式的图3的神经网络的示意图。
图5描绘了使得用户能够定义规则，查看事件和修改规则的图形用户界面的示例序列。
图6是描绘示例计算系统的示意图。
具体实施方式
计算系统可以支持用于人类用户的个人助理服务，这些服务响应于各种自然语言输入、身体姿势输入和其他形式的输入。个人助理服务可以用于例如监测物理环境，诸如家庭或工作场所中物理环境内的特征的存在。这样的特征可以包括可见、可听和直接形式的用户输入、以及用于各种目的(包括记录、控制其他设备或报告)的在监测中可能感兴趣的其他事件。
提供个人助理服务的计算系统可以利用人工神经网络(ANN)来实现或改善服务。神经网络可以与个人助理服务的基于规则的控制结合使用，以使得用户能够将具有功能的规则指派到由神经网络检测的物理环境内的特定特征。
根据本公开的一个方面，由神经网络输出的指示特征存在于物理环境内的结果信号可以被扩展到先前建立的规则，该规则被指派给神经网络先前被训练为检测的现有特征。神经网络包括互连节点的集合，这些节点从上游节点或源接收输入信号，通过应用函数来处理输入信号以获取结果信号，并且将结果信号输出到下游节点或过程。通常，每个节点将具有固定功能(例如，“S型激活”或“长短期记忆节点”)，但是功能通过可学习参数被参数化，从而通过改变参数来改变神经网络的整体功能。深度神经网络是指使用很多中间节点，这些中间节点布置在网络的输入节点与输出节点之间的连续层中。通过放宽深度神经网络的一个或多个中间节点的激活阈值，放宽激活阈值可以使得深度神经网络能够检测深度神经网络先前未被训练为检测的替代特征(例如，通过满足原始激活阈值)。中间节点处的激活阈值的选择性放宽可以使得深度神经网络能够检测与神经网络先前被训练为检测的特征不同但仍与之相关的替代特征。例如，通过选择性地放宽激活阈值而检测到的替代特征可以是指原始特征的种的属或该属的另一个种。这些替代特征对于用户将规则及其相关功能从先前训练的特征扩展到替代特征可能是有价值的。
图1描绘了其中计算系统监测物理环境100的示例。在物理环境100内，人类对象110从事一项活动，诸如接球或掷球112。计算系统经由一个或多个传感器观察该活动，一个或多个传感器包括第一设备(例如，平板电脑)的相机120和麦克风122、第二设备(例如，个人助理计算机)的相机124和麦克风126、以及第三设备(例如，智能电视)的相机128。上面列出的任何一个或多个相机/设备可以用于单独或协作地监测物理环境，并且描绘三个单独的设备不是必需的。
相机120、124和/或128从不同角度捕获物理环境的图像数据，并且它们各自可以捕获其他相机未捕获的物理环境的不同区域的图像数据。类似地，麦克风122和126从不同角度捕获物理环境的音频数据，并且它们各自可以捕获另一麦克风未捕获的物理环境的不同区域的音频数据。但是，可以改为使用单个设备。
图2是描绘可以由计算系统执行的示例方法200的流程图。可以执行方法200的示例计算系统参考图6进一步详细描述，可选地，该计算系统可以采用图1的平板计算机、个人助理计算机和/或智能电视的形式。在一些实现中，方法200可以由经由计算机网络提供基于云的人工智能服务的远程计算设备来制定。
在210处，该方法包括从监测物理环境的一个或多个传感器接收传感器数据。如先前参考图1所述，传感器可以包括一个或多个相机和一个或多个麦克风。替代地或另外地，传感器可以包括环境条件传感器(例如，温度、亮度、湿度等)、对应IoT设备上的IoT(物联网)传感器、或其他合适的传感器。传感器数据可以由计算系统通过有线和/或无线通信链路从传感器接收。
在至少一些实现中，在将传感器数据提供给深度神经网络以进行进一步处理之前，可以对从传感器接收的原始传感器数据进行预处理。这样的预处理可以用于从提供给神经网络的传感器数据中过滤过滤掉不怎么感兴趣的传感器数据。例如，从相机接收的原始视频数据可以被分割成具有特定持续时间的一个或多个图像帧。预处理还可以用于以适合于神经网络的一个或多个输入节点的格式(诸如在神经网络的先前训练期间使用的格式)将传感器数据提供给这些输入节点。
在212处，该方法包括将原始和/或经预处理形式的传感器数据提供给深度神经网络，该深度神经网络先前被训练以检测物理环境内的一个或多个特征。深度神经网络可以具有多个连接节点，这些节点包括布置在输入层中的接收传感器数据的一个或多个输入节点、布置在一个或多个中间层中的从输入节点接收输出信号的一个或多个中间节点、以及布置在输出层中的从中间层接收输出信号并且响应于传感器数据被一个或多个输入节点接收而输出一个或多个结果信号的一个或多个输出节点。
在214处，该方法包括从深度神经网络接收一个或多个结果信号。一个或多个结果信号可以指示也可以不指示先前训练的特征存在于由传感器监测的物理环境内。操作210、212和214可以以合适的(在一些情况下预定的)采样间隔重复，以提供对物理环境的连续或半连续监测，以了解先前训练的特征的存在。
在216处，该方法包括基于从神经网络输出的一个或多个结果信号来确定先前训练的特征是否存在于物理环境内。在至少一些实现中，可以执行对来自神经网络的结果信号的后处理，以确定特征是否存在于物理环境内。作为示例，来自神经网络的每个结果信号可以采用结果权重或置信度值的形式，并且后处理可以用于将权重值与节点的激活阈值进行比较，以确定权重值是否已经满足它。在来自神经网络的多个结果信号的情况下，后处理可以包括将函数应用于每个结果信号的权重值的组合，以获取来自神经网络的组合结果，该组合结果然后可以与针对特征的激活阈值进行比较，以确定组合结果是否已经满足激活阈值。在这些示例中的每个中，激活阈值的满足可以用于指示特征是否存在于物理环境内。
在检测先前训练的特征的上下文中，神经网络的被激活的输出层是指输出指示先前训练的特征的存在的结果信号的一个或多个输出节点。因此，如果由神经网络检测到一个或多个先前训练的特征(如由相对较高的输出权重或置信度所指示的)，则输出层可以被称为被激活。相反，如果由神经网络的输出节点输出的一个或多个结果信号未指示先前训练的特征存在于物理环境内(如相对较低的输出权重或置信度所指示的)，则输出层可以被称为未激活。参考是否检测到先前训练的特征是基于由神经网络输出的一个或多个结果信号的，相似的术语可以应用于神经网络的中间层和输入层以及神经网络的输出层、中间层或输入层内的个体节点。
在至少一些实现中，可以将规则指派给检测到的特征或指示特征存在于物理环境内的神经网络的结果信号。例如，在218处，该方法包括经由输入设备的用户接口接收输入，该输入指示用于将规则指派给一个或多个结果信号的指令，该一个或多个结果信号与特征存在于物理环境内相对应。
特征可以是指可以由一个或多个传感器观察到的物理环境内的物理特征或物理现象的任何可测量方面。特征的非限制性示例包括物理对象(例如，球)或物理现象(例如，声音)、物理对象或物理现象的物理状态(例如，位置、速度、加速度、外观、内容、音量水平等)、两个或更多个物理对象之间的物理相互作用的存在、两个或更多个物理现象的发生等。
规则可以定义一个或多个先前训练的特征与当检测到该一个或多个先前训练的特征时将由计算系统实现的一个或多个功能之间的关联。作为示例，规则可以定义第一特征(例如，足球)和第二特征(例如，第一特征以足够高的速率移动)与第一功能(例如，经由扬声器输出可听见的通知)和第二功能(例如，通过通信网络将通知传输到远程计算系统)之间的关联。该规则可以进一步与诸如“在房子里投掷足球”等语义标签相关联，以为该规则提供人类可读的描述符。
在220处，该方法包括将规则与对应于检测到的特征的一个或多个结果信号的对应值的关联存储在数据存储机器中。例如，每个规则可以由规则简档在程序数据中表示，该规则简档进一步定义所指派的特征、相关联的功能、以及响应于检测到这样的特征而由神经网络输出的结果信号。
在222处，该方法包括响应于基于一个或多个结果信号确定特征存在于物理环境内，实现被指派给该特征的规则的功能。如先前参考操作218和220所述，具有功能的规则可以先前已经被指派给特征。
功能的非限制性示例包括将检测到的特征的指示输出到目标设备或目标程序。作为示例，功能可以包括通过通信网络向目标接收方传输通信，该通信包括关于特征存在于物理环境内的指示。作为另一示例，功能可以包括经由计算系统的输出设备输出关于特征存在于物理环境内的指示。作为又一示例，功能可以包括存储导致结果信号指示特征存在于物理环境内的传感器数据的片段，以便随后经由输出设备进行播放。
在224处，该方法包括：响应于基于一个或多个结果信号确定特征不存在于物理环境内，确定神经网络的一个或多个激活参数是否已经满足。换言之，即使未检测到先前训练的特征/场景(例如，在房子里踢足球)，神经网络也可以被充分激活以指示相关替代特征可能存在于物理环境内(例如，踢足球)。
作为示例，即使神经网络输出的结果信号没有足够的权重或置信度来肯定地标识先前训练的特征，神经网络也可以具有若干个“激活”节点，这些“激活”节点将展示什么是阈值置信度。可以针对如何形成节点激活和/或激活多少节点和哪些节点能够满足神经网络的激活参数来设置各种要求。如果激活参数满足(例如，相对较大数目的节点被激活)，则替代特征可以负责。
在至少一些实现中，可以通过放宽神经网络的一个或多个节点的激活阈值来定义一个或多个激活参数。对于每个这样的节点，可以放宽该节点的激活阈值以获取相对于该节点的激活阈值的放宽激活阈值，通过该激活阈值，神经网络输出的一个或多个结果信号指示特征存在。例如，可以将节点的激活阈值放宽预定义级别或缩放以获取用于该节点的放宽激活阈值。取决于实现，一个或多个节点的激活阈值的放宽可以在神经网络的中间层处、在输入节点处和/或在输出节点处执行。
替代地或另外地，可以在节点层上执行放宽。例如，一个或多个激活参数可以包括用于神经网络的中间层的放宽激活阈值，该中间层包含多个中间节点，放宽激活阈值相对于由深度神经网络输出的一个或多个结果信号指示特征存在的用于该中间层的激活阈值而被放宽。例如，在层级别，放宽可以采取与由深度神经网络输出的一个或多个结果信号指示特征存在的该层的节点的阈值数量相比要激活的该层的节点的放宽的阈值数量的形式。
应用于激活阈值以获取放宽激活阈值的预定水平或缩放可以取决于一个或多个因素，包括神经网络内的节点或层的深度、学习到的值、和/或用户设置。作为示例，与更远离输出节点或输出层的上游的节点或层相比，更接近输出节点或输出层的节点或层可以更多或更少地被放宽。这种方法认识到，随着输入数据通过神经网络的节点在下游被处理为由神经网络输出的最终结果信号，要由神经网络检测的特征的各个方面变得更加具体和更少泛化。
在226处，该方法包括输出关于一个或多个激活参数已经满足的指示。在至少一些实现中，可以经由输出设备的用户接口输出关于一个或多个激活参数已经满足的指示。例如，该指示可以包括人类可读的通知。替代地或另外地，该指示可以包括或伴随有导致一个或多个激活参数已经满足的传感器数据的视频片段和/或音频片段，以使得用户能够查看由神经网络检测到的替代特征。例如，在228处，可以经由输出设备呈现通知和/或视频片段/音频片段，以使得用户能够查看导致一个或多个激活参数已经满足的输入数据(例如，来自相机的视频和/或来自麦克风的音频)。
在230处，该方法包括经由输入设备的用户接口接收输入，该输入指示用于将规则(例如，先前指派的规则)分配给替代特征和/或一个或多个激活参数已经满足的神经网络的一个或多个结果信号的指令。例如，该操作可以类似于先前在218处描述的操作。
在232处，该方法包括将规则与替代特征和/或一个或多个激活参数已经满足的一个或多个结果信号的关联存储在数据存储机器中，以将规则的指派扩展到替代特征。例如，该操作可以类似于先前在220处描述的操作。在至少一些实现中，规则、替代特征和/或一个或多个结果信号与神经网络的对应放宽阈值的关联可以作为操作232的一部分而存储在数据存储机器中。
在234处，该方法包括在处理后续传感器数据之后，基于从神经网络接收的一个或多个后续结果信号来确定替代特征是否存在于物理环境内。如先前参考操作210所述，可以接收后续传感器数据，并且可以关于神经网络类似地执行操作212和214以获取一个或多个后续结果信号。
在236处，方法200包括响应于基于一个或多个后续结果信号确定替代特征存在于物理环境内，实现被指派给替代特征的规则的功能。可以与先前描述的操作222类似地执行操作236，以实现被指派给替代特征和原始的先前训练的特征两者的规则的功能。
在至少一些示例中，替代特征可以表示原始的先前训练的特征的种的属或该属的种。例如，如果原始的先前训练的特征是具有椭球形的足球，则替代特征可以是具有球形的球。通过向用户提供将规则扩展到与先前训练的特征相似或相关的替代特征的机会，计算系统可以提供更直观的方法来使用基于规则的服务和与之交互。
图3是描绘包含深度神经网络302的示例处理流水线300的示意图。源自一个或多个传感器的传感器数据304可以在被提供给深度神经网络302之前在306处进行预处理，例如，先前参考图2所述。
深度神经网络302具有多个连接节点，包括一个或多个输入节点和一个或多个输出节点。在该示例中，深度神经网络302包括以原始和/或已处理形式接收传感器数据的输入节点310-316。一个或多个输入节点可以被称为属于输入层。同样，在该示例中，深度神经网络302包括输出节点350-354，输出节点350-354响应于传感器数据被一个或多个输入节点接收而输出一个或多个结果信号。一个或多个输出节点可以被称为属于输出层。
深度神经网络302还可以包括布置在一个或多个中间层中的多个中间节点，在一个或多个输入节点与一个或多个输出节点之间该多个中间节点下降通过该网络。例如，第一中间层包括中间节点320-328，第二中间层包括中间节点330-338，另一中间层(“层X”)包括中间节点340-348。在深度神经网络的上下文中，可以在神经网络的输入层与输出层之间布置数十、数百、数千或更多的中间层，并且每个层可以包括任何合适数目的节点。
“深度神经网络”在本文中可以用来指代在神经网络的输入节点与输出节点之间具有至少一层中间节点(例如，一个或多个“隐藏”层)的任何神经网络架构。深度神经网络的特定隐藏层中的节点可以被配置为基于深度神经网络的上游层(例如，基于输入层和输入层与特定隐藏层之间的其他层)来评估激活参数。在一些示例中，节点可以是被配置为基于上游层的激活参数的加权和来评估激活参数的加权和节点。在一些示例中，由加权和节点输出的激活参数可以基于将非线性函数应用于加权和的结果。深度神经网络可以基于任何合适的非线性函数，例如，诸如双曲线正切或逻辑Sigmoid函数等的Sigmoid激活函数、和/或线性整流函数。
在深度神经网络的实现中的功能(例如，如上所述的用于计算加权和的功能、和非线性功能)可以是可微分函数，例如，使得这些函数的导数和/或梯度可以根据深度神经网络的参数和训练数据进行评估(例如，在监督训练中标记的示例)。因此，可以使用反向传播算法来评估深度神经网络每一层的梯度，例如，通过重复应用导数的“链式法则”以基于隐藏层的激活和下游层处的梯度来计算隐藏层处的梯度。针对每一层评估的梯度可以用于迭代地调节深度神经网络的可学习参数。例如，深度神经网络可以通过任何合适的基于梯度的优化方法关于任务(例如，关于对有标记示例进行准确分类)来优化，诸如梯度下降或共轭梯度方法。
深度神经网络可以合并任何其他合适的层和/或节点。在一些示例中，深度神经网络可以被配置为包括一个或多个卷积层和/或一个或多个池化层(例如，最大池化层)的深度卷积神经网络。被配置为深度卷积神经网络的深度神经网络可以适用于评估输入特征和/或中间特征的空间和/或时间关系。例如，当输入特征包括图像数据时，深度卷积神经网络可以被配置为将图像数据与多个不同的卷积核进行卷积，其中每个卷积核被配置为使得卷积的结果可以指示在图像数据中识别的多个不同的特定视觉特征(例如，直线、曲线、拐角)。因此，深度卷积神经网络的池化层可以被配置为汇总卷积的结果，例如，以指示较小的多个显著视觉特征。类似地，当输入特征包括时间数据(例如，视频和/或音频数据的连续帧)时，深度卷积神经网络可以被配置为标识显著的时间特征(例如，标识帧之间的时序关系)。
在一些示例中，深度神经网络可以包括重复和/或递归神经网络结构，其中神经网络的节点被配置为基于同一节点的先前激活参数来评估激活参数。例如，深度神经网络可以被配置为包括一个或多个长短期记忆(LSTM)层，该LSTM层包括一个或多个LSTM节点。替代地或另外地，深度神经网络可以包括被配置为访问关联记忆的一个或多个记忆访问节点，其中基于记忆访问节点的激活参数来确定要从中检索数据的关联记忆中的位置。例如，这样的关联记忆可以基于神经图灵机和/或神经随机存取机。包括重复和/或递归结构的深度神经网络可以被配置为识别输入数据之间的潜在的复杂的时间关系，例如时间、顺序和/或因果关系。因此，深度神经网络可以适合于识别事件序列。
替代地或另外地，例如，通过结合其他当前和/或将来的最先进的机器学习技术，深度神经网络还可以包括任何其他合适的节点和/或层。
深度神经网络302的每个中间节点可以从一个或多个上游节点接收一个或多个输入信号，响应于一个或多个输入信号而确定一个或多个结果信号，并且将一个或多个结果信号输出到一个或多个下游节点。例如，中间节点322可以从上游节点312接收输入信号，并且响应于输入信号，可以将结果信号提供给下游节点330和332。在至少一些实现中，神经网络内的输入和结果信号可以采用由节点确定的在值域内的置信度值或权重值的形式。作为非限制性示例，来自节点322的结果信号可以包括像素的特定颜色是否存在于图像帧内的置信度值。从节点322接收该结果信号作为输入信号的下游节点330可以输出关于像素的特定颜色的连续区域是否在图像帧内具有特定尺寸和/或形状的置信度值。
在362处，可以对由输出层的输出节点350-354输出的结果信号进行后处理，诸如先前参考图2所述。在364处，可以输出基于一个或多个结果信号的关于特征是否存在的检测输出364，诸如先前参考图2的操作216所述。
图4是描绘已修改形式的图3的神经网络的示意图。在该示例中，中间节点344和346的激活阈值已经被放宽以潜在地使得神经网络能够检测与先前训练的特征有关的替代特征。已经放宽用于中间节点344的激活阈值(例如，“0.9”)以获取放宽激活阈值(例如，“0.85”)。对于中间节点346，已经放宽其激活阈值(例如，“0.1”)以获取与激活阈值的值域内的任何值相对应的放宽激活阈值。
图5描绘了图形用户界面(GUI)的示例序列，该GUI使得用户能够定义规则，查看事件以及修改规则。图5的GUI可以例如由计算系统经由一个或多个显示设备来呈现。作为非限制性示例，图5的GUI可以由管理用户经由计算系统的个人计算设备来访问。
GUI 510描绘了示例规则查看和修改工具512。示例规则(例如，“规则1”)的各方面被GUI 510呈现以供查看，其语义上的标题为“禁止在房子里投掷足球”。该规则包括诸如在指定位置(例如，“在位置处(@location)”)具有指定主题(例如，“听觉提示”)的指定任务(例如，“输出”)等功能，该任务可以用于指示计算系统经由扬声器在指代用户家里的位置处可听地输出提醒(例如，“禁止在房子里投掷足球”)；以及具有到指定身份(例如，“在名称处(@name)”)的指定主题(例如，“通知”)的另一指定任务(例如，“发送”)，该任务可以用于指示计算系统向用户发送通信以向用户通知在物理环境内检测到的特征(例如，“正在房子里投掷足球”)。在至少一些实现中，该通知可以包括或链接到工具，该工具使得接收通知的用户能够将他们的个人设备连接到被监测位置处的输入设备和/或输出设备，以直接实时观察该位置处的人和/或与其通信(例如，通过输出用户的语音通信——“我看到您正在房子里投掷足球，请停下来”)。该示例规则被指派给由深度神经网络可检测的一个或多个特征，该一个或多个特征在该示例中可以包括代表足球的物理对象“椭球”；以及例如，该物理对象的状态“速度大于X”，其指示正在投掷足球。规则的语义标题、特征和功能中的每个可以通过工具512修改，例如，通过访问对应的“修改”链接。
GUI 510还描绘了事件查看工具514，该事件查看工具514使得用户能够查看由计算系统观察到的事件，诸如“事件1”，该事件发生在与用户的房子相对应的特定日期、时间和位置。在该示例中，该事件未导致检测到已经被指派规则1的先前训练的特征，诸如在房子里投掷足球。在训练神经网络以检测足球的过程中，神经网络可能已经被馈送一组标记为椭球的图像(作为有监督信号，表示足球的形状)和另一组标记为球形的图像(表示与足球不同的形状)，以使得神经网络能够在训练之后更好地将具有椭球形状的足球与具有球形形状的其他对象区分开。但是，由于神经网络的一个或多个激活参数已经满足，因此该事件确实导致检测到规则1的先前训练的特征的替代特征。例如，计算系统可能已经检测到另一球形形状的物体以大于规则1的阈值“X”的速度运动。
经由计算系统的相机捕获的视频片段可以由用户例如在GUI 530内查看。通过查看描绘人投掷或接取球形球的视频片段，用户可以确认规则将被扩展为包括球形球作为规则的特征及其相关功能。替代地或另外地，用户可以通过与工具512的交互将与球形球相对应的检测到的特征指派给新规则。
在图5中，用户已经扩展规则以包括球形球作为特征，如GUI 550所示。例如，用户已经将规则1的语义标题修改为“禁止在房子里扔球”，以反映已修改形式的规则1比其先前形式的规则1更一般化。被指派规则的特征已经被修改为除“椭球”之外还包括对象“球形”。此后，神经网络对球形或椭球的检测可以满足规则，从而指导计算系统实现与规则相关联的功能。
在至少一些实现中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统联系在一起。特别地，这样的方法和过程可以被实现为计算机应用程序或服务、应用程序编程接口(API)、库和/或其他计算机程序产品。
图6示意性地示出了可以实施上述方法和过程中的一个或多个的计算系统600的非限制性实施例。计算系统600以简化形式示出。计算系统600可以采取一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备的形式。例如，图1中描绘的各种设备可以形成计算系统600的一部分，其中由一个或多个远程计算设备(例如，云计算配置的服务器系统)提供附加处理。替代地，在至少一些实现中，所有处理可以在单独的设备(例如，个人计算机)上执行。
计算系统600包括逻辑机器612和数据存储机器614。计算系统600还可以包括输入子系统614、输出子系统616、通信子系统618、和/或图6中未示出的其他组件。
逻辑机器612包括被配置为执行指令的一个或多个物理设备。例如，逻辑机器可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。可以实现这样的指令以执行任务，实现数据类型，转换一个或多个组件的状态，达到技术效果，或以其他方式达到期望结果。
逻辑机器可以包括被配置为执行软件指令的一个或多个处理器。另外地或替代地，逻辑机器可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑机器的处理器可以是单核或多核的，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑机器的个体组件可选地可以分布在两个或更多个单独的设备中，这些设备可以位于远程和/或被配置用于协调处理。逻辑机器的各方面可以由以云计算配置进行配置的远程可访问的联网计算设备来虚拟化和执行。
存储机器612包括被配置为保存由逻辑机器可执行以实现本文中描述的方法和过程的指令的一个或多个物理设备。当实现这样的方法和过程时，存储机器612的状态可以被变换，例如以保存不同的数据。在图6中，例如，存储机器612具有存储在其上的程序组件620，程序组件620可以包括深度神经网络622、具有一个或多个相关联的用户接口626的管理模块624、以及程序数据628。程序组件620可以由逻辑机器610共同执行和/或引用来实现本文中描述的方法和过程。
管理模块624可以提供对提供给神经网络622或从神经网络622获取的数据或信号的预处理和/或后处理。管理模块624还可以维持和修改由神经网络622可检测的特征之间的关联、以及可以响应于检测到这样的特征而实现的规则及其功能。这些关联例如可以存储在程序数据628中。用户接口626可以使得用户能够访问管理模块624的工具，该工具指示管理模块修改或实现规则，诸如先前参考图5的GUI所述。管理模块624还可以支持放宽神经网络622的激活阈值。在至少一些实现中，管理模块624可以获取、分析或存储神经网络的每个节点和/或层的输入和/或输出值或信号。存储机器612可以包括驻留在程序组件620外部的存储在其上的其他程序和/或数据630。
存储机器612可以包括可移动和/或内置设备。存储机器612可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)、和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等。存储机器612可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址的设备。
将理解，存储机器612包括一个或多个物理设备。然而，替代地，本文中描述的指令的各方面可以由在有限或很长的持续时间内未被物理设备保存的通信介质(例如，电磁信号、光信号等)传播。
逻辑机器610和存储机器612的各方面可以集成在一起成为一个或多个硬件逻辑组件。这样的硬件逻辑组件可以包括现场可编程门阵列(FPGA)、程序和专用集成电路(PASIC/ASIC)、程序和专用标准产品(PSSP/ASSP)、系统级芯片(SOC)和复杂的可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可以用于描述被实现为执行特定功能的计算系统600的一方面。在某些情况下，模块、程序或引擎可以经由逻辑机器610执行由存储机器612保存的指令来实例化。将理解，不同的模块、程序和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等实例化。同样，相同的模块、程序和/或引擎可以由不同的应用、服务、代码块、对象、例程、API、函数等实例化。术语“模块”、“程序”和“引擎”可以包含可执行文件、数据文件、库、驱动程序、脚本、数据库记录等的个体或组。
将理解，如本文中使用的，“服务”是跨多个用户会话可执行的应用程序。服务可以对一个或多个系统组件、程序和/或其他服务可用。在一些实现中，服务可以在一个或多个服务器计算设备上运行。
当被包括时，输入子系统614可以包括一个或多个传感器(诸如一个或多个相机634、麦克风636等)和/或用户输入设备638(诸如键盘、鼠标、触摸屏、游戏控制器等)以及在640处描绘的其他合适的传感器和/或输入设备，或者与之接口。在至少一些实现中，输入子系统可以包括所选择的自然用户输入(NUI)组件，或者与之交互。这样的组件可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外进行。示例NUI组件可以包括用于声音和/或语音识别的麦克风(例如，636)；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机(例如，634)；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪(例如，作为其他传感器/输入设备640的示例)；以及用于评估大脑活动的电场感应组件。
当被包括时，输出子系统616可以包括显示子系统的一个或多个图形显示器650和/或音频子系统的音频扬声器652。图形显示器650和/或音频扬声器652可以用于呈现视频/图像和/或音频数据以供用户查看，诸如关于检测到的特征或规则可以扩展到的替代特征。当被包括时，显示子系统可以用于呈现由存储机器612保存的数据的视觉表示。例如，该视觉表示可以采取诸如先前参考图5描述的图形用户界面(GUI)(例如，用户接口626)的形式。当本文中描述的方法和过程改变了由存储机器保存的数据，并且因此改变了存储机器的状态时，显示子系统的状态同样可以被变换以可视地表示基础数据中的改变。显示子系统可以包括实际上利用任何类型的技术的一个或多个图形显示器650。这样的显示设备可以与逻辑机器610和/或存储机器612在共享外壳中组合，或者这样的显示设备可以是外围显示设备。类似地，逻辑机器610和/或存储机器612可以与音频扬声器652在共享外壳中组合，或者这样的音频扬声器可以是外围设备。
当被包括时，通信子系统618可以被配置为将计算系统600与一个或多个其他计算系统或计算设备(诸如示例计算系统690)通信地耦合。通信子系统618可以包括与一种或多种不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络或者有线或无线局域网或广域计算机网络的通信。在至少一些实现中，通信子系统可以允许计算系统600经由诸如因特网或其一部分等网络692向其他设备传输消息和/或从其他设备接收消息。
在至少一些实现中，计算系统600可以向远程计算系统690(例如，以服务器系统的形式)提供程序数据，包括由计算系统600的用户建立的规则、它们的相关功能和特征、以及由神经网络为这样的特征而输出的结果信号。程序数据的这种共享可以使得神经网络或其他程序组件(例如，在另一客户端计算系统处)的远程实例能够被更新或重新训练以检测与先前训练的特征相似或相关的替代特征，并且使得其他计算系统的用户能够更轻松地将规则扩展到这样的替代特征。
根据本公开的一方面，一种示例计算系统包括：一个或多个传感器，至少包括用于监测物理环境的相机；逻辑机器；以及其上存储有指令的数据存储机器，包括先前被训练以检测物理环境内的特征的深度神经网络，指令由逻辑机器可执行以：从监测物理环境的一个或多个传感器接收传感器数据；将传感器数据提供给深度神经网络，深度神经网络具有多个连接节点，包括：一个或多个输入节点，接收传感器数据，以及一个或多个输出节点，响应于传感器数据被一个或多个输入节点接收而输出一个或多个结果信号；从深度神经网络接收一个或多个结果信号；基于一个或多个结果信号确定特征是否存在于物理环境内；响应于基于一个或多个结果信号确定特征存在于物理环境内，实现被指派给特征的规则的功能；响应于基于一个或多个结果信号确定特征不存在于物理环境内，确定深度神经网络的一个或多个激活参数是否已经满足，以指示替代特征存在于物理环境内；以及输出关于一个或多个激活参数已经满足的指示。在该示例或本文中公开的任何其他示例中，一个或多个激活参数是通过放宽深度神经网络的一个或多个节点的激活阈值以获取激活阈值而放宽激活阈值来定义的，其中，通过该激活阈值，深度神经网络输出的一个或多个结果信号指示特征存在。在该示例或本文中公开的任何其他示例中，激活阈值被放宽的深度神经网络的一个或多个节点包括位于一个或多个输入节点与一个或多个输出节点之间的深度神经网络的一个或多个中间节点。在该示例或本文中公开的任何其他示例中，一个或多个激活参数还包括用于包含深度神经网络的多个中间节点的中间层的放宽激活阈值，放宽激活阈值相对于用于中间层的激活阈值被放宽，其中，通过用于中间层的激活阈值，深度神经网络输出的一个或多个结果信号指示所述特征存在。在该示例或本文中公开的任何其他示例中，关于一个或多个激活参数已经满足的指示经由输出设备的用户接口被输出。在该示例或本文中公开的任何其他示例中，指示包括或伴随有导致一个或多个激活参数已经满足的传感器数据的视频片段和/或音频片段。在该示例或本文中公开的任何其他示例中，指令还由逻辑机器可执行以：经由输入设备的用户接口接收输入，该输入指示用于将规则指派给一个或多个激活参数已经满足的一个或多个结果信号的指令的输入；以及将规则与一个或多个激活参数已经满足的一个或多个结果信号的对应的放宽阈值的关联存储在数据存储机器中，以将规则的指派扩展到替代特征。在该示例或本文中公开的任何其他示例中，指令还由逻辑机器可执行以：基于针对提供给深度神经网络的后续传感器数据的从深度神经网络接收的一个或多个后续结果信号，确定替代特征是否存在于物理环境内；以及响应于基于一个或多个后续结果信号确定替代特征存在于物理环境内，实现被指派给替代特征的规则的功能。在该示例或本文中公开的任何其他示例中，功能包括通过通信网络向目标接收方传输通信，通信包括关于特征存在于物理环境内的指示。在该示例或本文中公开的任何其他示例中，功能包括经由计算系统的输出设备输出关于特征存在于物理环境内的指示。在该示例或本文中公开的任何其他示例中，功能包括存储导致结果信号指示特征存在于物理环境内的传感器数据的片段以经由输出设备进行后续播放。在该示例或本文中公开的任何其他示例中，替代特征表示该特征的种的属。
根据本公开的另一方面，一种由计算系统执行的示例方法包括：从监测物理环境的一个或多个传感器接收传感器数据；将传感器数据提供给先前被训练以检测物理环境内的特征的深度神经网络，深度神经网络具有多个连接节点，包括：一个或多个输入节点，接收传感器数据，以及一个或多个输出节点，响应于传感器数据被一个或多个输入节点接收而输出一个或多个结果信号；从深度神经网络接收一个或多个结果信号；基于一个或多个结果信号确定特征是否存在于物理环境内；响应于基于一个或多个结果信号确定特征存在于物理环境内，实现被指派给特征的规则的功能；响应于基于一个或多个结果信号确定特征不存在于物理环境内，确定深度神经网络的一个或多个激活参数是否已经满足，以指示替代特征存在于物理环境内；以及输出关于一个或多个激活参数已经满足的指示。在该示例或本文中公开的任何其他示例中，该方法还包括通过放宽深度神经网络的一个或多个节点的激活阈值以获取相对于激活阈值的放宽激活阈值来定义一个或多个激活参数，其中，通过该激活阈值，深度神经网络输出的一个或多个结果信号指示特征存在。在该示例或本文中公开的任何其他示例中，激活阈值被放宽的深度神经网络的一个或多个节点包括位于一个或多个输入节点与一个或多个输出节点之间的深度神经网络的一个或多个中间节点。在该示例或本文中公开的任何其他示例中，一个或多个激活参数还包括用于包含深度神经网络的多个中间节点的中间层的放宽激活阈值，放宽激活阈值相对于由深度神经网络输出的一个或多个结果信号指示特征存在的用于中间层的激活阈值被放宽。在该示例或本文中公开的任何其他示例中，输出关于一个或多个激活参数已经满足的指示包括经由输出设备的用户接口输出该指示，其中指示包括或伴随有导致一个或多个激活参数已经满足的传感器数据的视频片段和/或音频片段。在该示例或本文中公开的任何其他示例中，该方法还包括：经由输入设备的用户接口接收指示用于将规则指派给一个或多个激活参数已经满足的一个或多个结果信号的指令的输入；以及将规则与一个或多个激活参数已经满足的一个或多个结果信号的对应值的关联存储在数据存储机器中，以将规则的指派扩展到替代特征。在该示例或本文中公开的任何其他示例中，该方法还包括：基于用于提供给深度神经网络的后续传感器数据的从深度神经网络接收的一个或多个后续结果信号来确定替代特征是否存在于物理环境内；以及响应于基于一个或多个后续结果信号确定替代特征存在于物理环境内，实现被指派给替代特征的规则的功能。
根据本公开的另一方面，一种示例计算系统包括：一个或多个计算设备，被配置为：从监测物理环境的一个或多个传感器接收传感器数据；将传感器数据提供给深度神经网络，深度神经网络先前被训练以检测特征，并且具有多个连接节点，包括：一个或多个输入节点，接收传感器数据，以及一个或多个输出节点，响应于传感器数据被一个或多个输入节点接收而输出一个或多个结果信号；以及一个或多个中间节点，从一个或多个输入节点接收输出信号并且通过一个或多个中间节点的一个或多个中间层向一个或多个输出节点提供输出信号；从深度神经网络接收一个或多个结果信号；基于一个或多个结果信号确定特征是否存在于物理环境内；响应于基于一个或多个结果信号确定特征存在于物理环境内，实现被指派给特征的规则的功能；响应于基于一个或多个结果信号确定特征不存在于物理环境内，确定一个或多个激活参数是否已经满足，以指示替代特征存在于物理环境内的深度神经网络，替代特征包括以下中的一项或多项：用于深度神经网络的一个或多个中间节点的放宽激活阈值和/或用于深度神经网络的一个或多个中间层的放宽激活阈值；以及输出关于一个或多个激活参数已经满足的指示。
将理解的是，本文中描述的配置和/或方法本质上是示例性的，并且这些特定的实施例或示例不应当被认为是限制性的，因为很多变化是可能的。本文中描述的特定例程或方法可以代表任何数目的处理策略中的一个或多个。这样，所示出和/或描述的各种动作可以按照所示出和/或描述的顺序执行，以其他顺序执行，并行执行，或者省略。同样，可以改变上述处理的顺序。
本公开的主题包括本文中公开的各种过程、系统和配置、以及其他特征、功能、动作和/或特性的所有新颖且非很清楚的组合和子组合、及其任何所有等效项。

Claims (15)

1.一种计算系统，包括：
一个或多个传感器，至少包括用于监测物理环境的相机；
逻辑机器；以及
其上存储有指令的数据存储机器，包括先前被训练以检测所述物理环境内的特征的深度神经网络，所述指令由所述逻辑机器可执行以：
从监测所述物理环境的所述一个或多个传感器接收传感器数据；
将所述传感器数据提供给所述深度神经网络，所述深度神经网络具有多个连接节点，包括：
一个或多个输入节点，所述一个或多个输入节点接收所述传感器数据，以及
一个或多个输出节点，所述一个或多个输出节点响应于所述传感器数据被所述一个或多个输入节点接收而输出一个或多个结果信号；
从所述深度神经网络接收所述一个或多个结果信号；
基于所述一个或多个结果信号来确定所述特征是否存在于所述物理环境内；
响应于基于所述一个或多个结果信号确定所述特征存在于所述物理环境内，实现被指派给所述特征的规则的功能；
响应于基于所述一个或多个结果信号确定所述特征不存在于所述物理环境内，确定所述深度神经网络的一个或多个激活参数是否已经满足，以指示替代特征存在于所述物理环境内；以及
输出所述一个或多个激活参数已经满足的指示。
2.根据权利要求1所述的计算系统，其中所述一个或多个激活参数通过以下被定义：放宽所述深度神经网络的一个或多个节点的激活阈值以获取相对于所述激活阈值的放宽激活阈值，其中通过所述激活阈值，由所述深度神经网络输出的所述一个或多个结果信号指示所述特征存在。
3.根据权利要求2所述的计算系统，其中所述深度神经网络中所述激活阈值被放宽的所述一个或多个节点包括所述深度神经网络中位于所述一个或多个输入节点与所述一个或多个输出节点之间的一个或多个中间节点。
4.根据权利要求1所述的计算系统，其中所述一个或多个激活参数还包括针对中间层的放宽激活阈值，所述中间层包含所述深度神经网络的多个中间节点，所述放宽激活阈值相对于针对所述中间层的激活阈值被放宽，其中通过针对所述中间层的所述激活阈值，由所述深度神经网络输出的所述一个或多个结果信号指示所述特征存在。
5.根据权利要求1所述的计算系统，其中所述一个或多个激活参数已经满足的所述指示经由输出设备的用户接口被输出。
6.根据权利要求5所述的计算系统，其中所述指示包括或伴随有导致所述一个或多个激活参数已经满足的所述传感器数据的视频片段和/或音频片段。
7.根据权利要求6所述的计算系统，其中所述指令还由所述逻辑机器可执行以：
经由输入设备的用户接口接收指示如下指令的输入，所述指令用于将所述规则指派给针对其所述一个或多个激活参数已经满足的所述一个或多个结果信号；以及
将所述规则与针对其所述一个或多个激活参数已经满足的所述一个或多个结果信号的对应放宽阈值的关联存储在数据存储机器中，以将所述规则的指派扩展到所述替代特征。
8.根据权利要求7所述的计算系统，其中所述指令还由所述逻辑机器可执行以：
基于从所述深度神经网络接收到的针对被提供给所述深度神经网络的后续传感器数据的一个或多个后续结果信号，确定所述替代特征是否存在于所述物理环境内；以及
响应于基于所述一个或多个后续结果信号确定所述替代特征存在于所述物理环境内，实现指派给所述替代特征的所述规则的功能。
9.根据权利要求1所述的计算系统，其中所述功能包括通过通信网络向目标接收方传输通信，所述通信包括所述特征存在于所述物理环境内的指示。
10.根据权利要求1所述的计算系统，其中所述功能包括经由所述计算系统的输出设备输出所述特征存在于所述物理环境内的指示。
11.根据权利要求1所述的计算系统，其中所述功能包括存储导致所述结果信号指示所述特征存在于所述物理环境内的所述传感器数据的片段，以用于经由输出设备的后续播放。
12.根据权利要求1所述的计算系统，其中所述替代特征表示所述特征的种的属。
13.一种由计算系统执行的方法，所述方法包括：
从监测物理环境的一个或多个传感器接收传感器数据；
将所述传感器数据提供给先前被训练以检测所述物理环境内的特征的深度神经网络，所述深度神经网络具有多个连接节点，包括：
一个或多个输入节点，所述一个或多个输入节点接收所述传感器数据，以及
一个或多个输出节点，所述一个或多个输出节点响应于所述传感器数据被所述一个或多个输入节点接收而输出一个或多个结果信号；
从所述深度神经网络接收所述一个或多个结果信号；
基于所述一个或多个结果信号确定所述特征是否存在于所述物理环境内；
响应于基于所述一个或多个结果信号确定所述特征存在于所述物理环境内，实现被指派给所述特征的规则的功能；
响应于基于所述一个或多个结果信号确定所述特征不存在于所述物理环境内，确定所述深度神经网络的一个或多个激活参数是否已经满足，以指示替代特征存在于所述物理环境内；以及
输出所述一个或多个激活参数已经满足的指示。
14.根据权利要求13所述的方法，还包括：
通过放宽所述深度神经网络的一个或多个节点的激活阈值以获取相对于所述激活阈值的放宽激活阈值，来定义所述一个或多个激活参数，其中通过所述激活阈值，由所述深度神经网络输出的所述一个或多个结果信号指示所述特征存在。
15.根据权利要求14所述的方法，其中所述深度神经网络中所述激活阈值被放宽的所述一个或多个节点包括所述深度神经网络中位于所述一个或多个输入节点与所述一个或多个输出节点之间的一个或多个中间节点。
CN201980029170.3A 2018-05-01 2019-04-22 扩展先前训练的深度神经网络 Pending CN112106075A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/968,694 US10559088B2 (en) 2018-05-01 2018-05-01 Extending previously trained deep neural networks
US15/968,694 2018-05-01
PCT/US2019/028426 WO2019212776A1 (en) 2018-05-01 2019-04-22 Extending previously trained deep neural networks

Publications (1)

Publication Number Publication Date
CN112106075A true CN112106075A (zh) 2020-12-18

Family

ID=66677200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980029170.3A Pending CN112106075A (zh) 2018-05-01 2019-04-22 扩展先前训练的深度神经网络

Country Status (4)

Country Link
US (1) US10559088B2 (zh)
EP (1) EP3788553A1 (zh)
CN (1) CN112106075A (zh)
WO (1) WO2019212776A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378804A (zh) * 2021-08-12 2021-09-10 中国科学院深圳先进技术研究院 一种自助采样的检测方法、装置、终端设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019209463A1 (de) * 2019-06-27 2020-12-31 Robert Bosch Gmbh Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
US11568180B2 (en) * 2019-09-13 2023-01-31 Rohde & Schwarz Gmbh & Co. Kg Method and cloud server for training a neural network for triggering an input signal in a measurement device and method for autonomous determining a trigger type/parameter
KR20210058418A (ko) * 2019-11-14 2021-05-24 엘지전자 주식회사 가전기기 및 가전기기 제어 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7980997B2 (en) 2008-10-23 2011-07-19 University Of Southern California System for encouraging a user to perform substantial physical activity
US20100241600A1 (en) * 2009-03-20 2010-09-23 Nokia Corporation Method, Apparatus and Computer Program Product for an Instruction Predictor for a Virtual Machine
US20110151974A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Gesture style recognition and reward
US9639746B2 (en) 2011-07-28 2017-05-02 Arb Labs Inc. Systems and methods of detecting body movements using globally generated multi-dimensional gesture data
US11026600B2 (en) 2012-01-09 2021-06-08 Invensense, Inc. Activity classification in a multi-axis activity monitor device
US9031812B2 (en) 2014-02-27 2015-05-12 Fitbit, Inc. Notifications on a user device based on activity detected by an activity monitoring device
US10379873B2 (en) 2014-02-28 2019-08-13 Tyco Fire & Security Gmbh Distributed processing system
US9819617B2 (en) 2015-03-03 2017-11-14 Apple Inc. Dynamic rule-based notifications
US10019631B2 (en) 2015-11-05 2018-07-10 Qualcomm Incorporated Adapting to appearance variations when tracking a target object in video sequence
US10657364B2 (en) 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
WO2018098120A1 (en) * 2016-11-22 2018-05-31 Genetic Intelligence, Inc. Methods for identifying genetic causation of complex traits
US11132604B2 (en) * 2017-09-01 2021-09-28 Facebook, Inc. Nested machine learning architecture
US20190188285A1 (en) * 2017-12-19 2019-06-20 Facebook, Inc. Image Search with Embedding-based Models on Online Social Networks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378804A (zh) * 2021-08-12 2021-09-10 中国科学院深圳先进技术研究院 一种自助采样的检测方法、装置、终端设备和存储介质

Also Published As

Publication number Publication date
US10559088B2 (en) 2020-02-11
EP3788553A1 (en) 2021-03-10
US20190340779A1 (en) 2019-11-07
WO2019212776A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
KR102643027B1 (ko) 전자 장치, 그의 제어 방법
CN112106075A (zh) 扩展先前训练的深度神经网络
KR102497042B1 (ko) 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
US10628714B2 (en) Entity-tracking computing system
JP6592183B2 (ja) モニタリング
US11010601B2 (en) Intelligent assistant device communicating non-verbal cues
US10992839B2 (en) Electronic device and method for controlling the electronic device
Zdebskyi et al. An Application Development for Recognizing of View in Order to Control the Mouse Pointer.
EP3523709B1 (en) Electronic device and controlling method thereof
JP2024012583A (ja) ニューラルネットワークを用いたビデオ監視
US11681950B2 (en) Method for categorizing a scene comprising a sub-scene with machine learning
Srivastava et al. UAV surveillance for violence detection and individual identification
US20220351218A1 (en) Smart Contract Based User Feedback for Event Contexts
US20230281813A1 (en) Medical device for transcription of appearances in an image to text with machine learning
CN112214606A (zh) 从图像中检测和预测对象事件
CN107111363B (zh) 用于监视的方法、装置和系统
US11586942B2 (en) Granular binarization for extended reality
US20230085195A1 (en) Enhanced learning content in an interconnected environment
JP2023500037A (ja) 少数ショット時間的行動局所化を容易化するシステム、方法、プログラム
KR20210048270A (ko) 복수 객체에 대한 오디오 포커싱 방법 및 장치
WO2019190812A1 (en) Intelligent assistant device communicating non-verbal cues
Andrejevic Automated surveillance
KR20230070700A (ko) 인공지능 감시카메라를 이용한 이벤트 발생 감지

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination