CN109002891A - 神经网络的基于特征的选择性控制 - Google Patents
神经网络的基于特征的选择性控制 Download PDFInfo
- Publication number
- CN109002891A CN109002891A CN201810778985.9A CN201810778985A CN109002891A CN 109002891 A CN109002891 A CN 109002891A CN 201810778985 A CN201810778985 A CN 201810778985A CN 109002891 A CN109002891 A CN 109002891A
- Authority
- CN
- China
- Prior art keywords
- neural network
- node
- information
- output
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000008859 change Effects 0.000 claims abstract description 19
- 230000006399 behavior Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000006467 substitution reaction Methods 0.000 claims description 2
- 210000005036 nerve Anatomy 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 210000004027 cell Anatomy 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 241001061225 Arcos Species 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010000234 Abortion spontaneous Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 208000015994 miscarriage Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009329 sexual behaviour Effects 0.000 description 1
- 208000000995 spontaneous abortion Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
一种用于控制神经网络输出的方法，该方法包括：接收或训练神经网络；其中所述神经网络是在计算机上执行的应用，所述计算机接收来自传感器的输入并基于所述输入提供包括预测和/或决定的输出；识别所述神经网络中包含感兴趣信息的区域；在所识别的区域内找到包含特定感兴趣信息的特定节点或节点组；以及应用所述神经网络外部的操控应用，以对所述神经网络内的特定节点或节点组的输出执行操作并进行改变；其中所述特定节点的改变的输出影响所述神经网络的输出，而不改变所述神经网络的输入。
Description
背景技术
预测神经网络通常用于预测系统的未来状态并基于预测做出决定。预测神经网络通常被配置为接收一系列或子系列的数据单元作为输入，并基于输入来生成预测信息，该预测信息用于预测关于一个或多个连续数据单元的信息。例如，Lotter等人在“DeepPredictive Coding Networks for Video Prediction and Unsupervised Learning”(arXiv：1605.08104v5)中描述了这种网络。
已知的图像和视频处理工具通常利用静态图像帧来分析图像，比较、识别对象和操控图像数据。当使用机器学习技术时，这些工具应用预先训练的神经网络以识别事先定义的特定类型的对象。因此，这样的系统非常受限且不灵活。
发明内容
根据本公开的实施例的一方面，提供了一种用于生成神经网络的可选输出的方法，该方法包括：识别神经网络中处理感兴趣信息的区域，找到控制神经网络的特定参数的特定节点，安装外部开关或外部应用来操控特定节点以选择性地操作所识别的区域的节点。
因此，根据本公开的示例性实施例，提供了一种用于控制神经网络的输出的方法，所述方法包括：
接收或训练神经网络，其中所述神经网络是在计算机上执行的应用，所述计算机接收来自传感器的输入并基于所述输入提供包括预测和/或决定的输出；
识别所述神经网络中包含感兴趣信息的区域；
在所识别的区域内找到包含特定感兴趣信息的特定节点或节点组；以及
应用所述神经网络外部的操控应用，以对所述神经网络内的特定节点或节点组的输出执行操作并进行改变，其中所述特定节点的改变的输出影响所述神经网络的输出，而不改变所述神经网络的输入。
在本公开的示例性实施例中，识别区域包括：当所述神经网络正在处理来自传感器的输入数据流时，从所述神经网络中的多个位置获得数据；以及分析所述数据的相关性。可选地，该方法进一步包括：经由通信网络和/或用户接口接收指令，并基于所述指令动态地识别所述神经网络中包含感兴趣信息的区域。在本公开的示例性实施例中，所述执行操作包括：从特定节点或节点组中提取信息。替代地或另外地，所述执行操作包括：改变，替换或以其他方式控制在所述节点中执行的数学运算符。
在本公开的示例性实施例中，该方法进一步包括：对所找到的节点的组合进行操作，以从具有特定属性组合的元素中提取信息或操控具有特定属性组合的元素。可选地，所述执行操作的操作行为选自由运动操控、对象移除、频率改变、图像填充和色彩操控组成的组。在本公开的示例性实施例中，该方法进一步还包括：生成所识别的区域的多个实例，并选择性地控制所述实例以获得期望的输出。可选地，所述执行操作包括：计算每个节点的梯度，所述梯度表示针对改变该节点的活动以获得所述神经网络的期望输出的要求；并将计算得到的梯度应用于节点。替代地或另外地，所述执行操作包括：在特定节点中设置期望值。
在本公开的示例性实施例中，通过具有遗忘门的电子电路来实现节点，所述遗忘门决定是保留还是遗忘历史信息，并且所述执行操作包括：改变所述遗忘门的激活。
根据本公开的示例性实施例，还提供了一种用于生成神经网络的替代输出的系统，所述系统包括：
包括处理器和存储器的计算机；
一个或多个传感器，用于提供数据流作为计算机的输入；
神经网络应用，其中所述神经网络应用接收来自传感器的输入并基于所述输入提供包括预测和/或决定的输出；
所述神经网络应用外部的操控应用，其中所述操控应用被配置为执行：
识别所述神经网络中包含感兴趣信息的区域；在所识别的区域内找到包含特定感兴趣信息的特定节点或节点组；以及对所述神经网络内的特定节点或节点组的输出执行操作并进行改变，其中所述特定节点的改变的输出影响所述神经网络的输出，而不改变所述神经网络的输入。
附图说明
在以下附图中，图示了所公开的主旨的一些非限制性示例性实施例或特征。
在附图中：
图1是根据本公开的一些实施例的用于选择性控制预测神经网络的这一系统的示意图；
图2是根据本公开的一些实施例的示例性预测神经网络的更详细的示意图；
图3是根据本公开的一些实施例的用于选择感兴趣的网络部分的这一方法的流程图；
图4是根据本公开的一些实施例的示例性网络节点的示意图；
图5A是根据本公开的一些实施例的镜像复制视频帧和经处理图像的图像分析的示意图；
图5B是根据本公开的一些实施例的如关于图5A所说明地处理的实际图像的示例；以及
图5C是根据本公开的一些实施例的数据分类图的示意图，该数据分类图呈现了在网络的特定部分中生成的信息的可由处理器计算的分离。
现在详细参考附图，强调的是，所示出的细节是作为示例并且出于对本公开的实施例的说明性讨论的目的。就此而言，结合附图的描述使本领域技术人员明了可以如何实践本公开的实施例。
出现在一个或多个附图中的相同或重复或等同或类似的结构、元件或部件通常使用相同的附图标记标出，可选地，使用附加的一个或多个字母来区分类似的实体或实体的变体，并且可能不会被重复标记和/或描述。对先前呈现的元素的参考是隐含的，而不必进一步引用其出现的图或描述。
附图中所示的组件和特征的尺寸是为了方便或清楚的呈现而选择的，并不一定按比例或以真实的视角来示出。为了方便或清楚，一些元件或结构未被示出或仅部分地示出和/或以不同的视角或从不同的视点来示出。
具体实施方式
在详细说明本发明的至少一个实施例之前，应当理解，本发明并不一定限于其应用在以下描述中阐明和/或在附图和/或示例中示出的组件和/或方法的构造和布置的细节中。本发明能够具有其他实施例或以各种方式来实践或实施。
图1是系统100的示意图，根据本公开的一些实施例，该系统用于选择性控制预测神经网络20。根据本公开的一些实施例，本发明提供了一种用于选择性控制神经网络20的系统100和方法。所提供的系统100可以接收来自相机/传感器40的数据流(例如视频或音频流)或来自传感器40(例如相机、雷达、音量检测器和/或其他检测器)的其他类型的串行数据作为输入30。所述数据通过神经网络20处理，例如，通过神经网络20对网络的各种区域21中的预测数据进行编码。例如，神经网络20可以在各种区域21中生成、计算或包括未来一段时间的预测，例如，预测响应于输入30的未来视频帧、运动或声音。
根据本公开的一些实施例，提供了一种灵活且可调节地操控数据，并且无需操控神经网络20的输入30或输出32的解决方案。这是通过控制系统100检测神经网络20中控制某些感兴趣信息的特定区域21或一组节点22来提供，例如，其中区域21处理输入30的某一个方面，例如确定和/或分析某个对象的移动、事件的周期性发生、深度信息、对象的类型或组的划分，以及确定某个对象的特征等。在一些实施例中，被检测到的区域21已经被训练以生成关于感兴趣信息的最佳预测。因此，所提供的控制系统100可以通过神经网络20从输入30中提取特定信息。在本公开的一些实施例中，控制系统100可以被配置为检测输入30中的某个事件或属性，并且通过干预该事件或属性来操控预测结果，例如通过使用其他数据对神经网络20的区域21或特定节点22的输入或输出进行变形或替换。
在本公开的示例性实施例中，所提供的控制系统100可以识别并改变由输入30提供的数据集或流产生的特定特征。例如，控制系统100可以检测神经网络20中的对视频数据中的人的运动方向进行处理的节点或节点组，例如识别出向左走的人。然后，控制系统100可以指示区域21的节点改变这些正在向左走的特定人员的移动方向。另外，在从安装在卫生间中的安全摄像头(摄像头/传感器40)接收视频数据的神经网络20中，控制系统100可以识别具有人体图像数据的部分并操控区域21的节点来覆盖输出32中的人体，以保持人的隐私。在另一示例中，所提供的控制系统100可以在提供输出32之前识别损坏和毁坏的图像并修正它们。在另一示例中，控制系统100可以通过识别神经网络20中的负责区域并操控这些区域，来替换、隐藏、模糊图像的元素并使图像的元素消失，或在图像中执行孔洞填充。
在本公开的一些实施例中，神经网络20以具有处理器10和存储器12的计算机15上的应用软件实现。可选地，神经网络20的输出32被提供给显示器/设备42，例如，以提供图像供用户查看或操控执行特定物理任务的设备。可选地，计算机15还执行可以与用户交互的操控应用25，使用户能够提供指令以操控神经网络20的特定节点22或区域21。
替代地或另外地，计算机15可以连接到通信网络(图未示)并且能够直接从远程计算机(例如，与执行神经网络20的计算机不同的计算机)操控节点22。
在本公开的示例性实施例中，通过实现可调整的图像操控，本公开的一些实施例可以提供灵活和动态的多选控制，其可以使得用户能够现场决定如何操控图像以生成不同的输出。
在本公开的一些实施例中，记录频率信号的神经网络20部分的识别可使控制系统能够识别人类和动物中的生命信号，或者改变场景照明颜色和/或亮度。
在本公开的一些实施例中，神经网络20被配置为或被训练为接收一系列或子系列的数据单元作为输入30，并基于该输入生成输出32。该输出32可以包括预测信息，该预测信息根据输入30预测续接该信息的序列中的一个或多个接续数据单元。例如，在视频流输入中，数据单元可以是未来图像的单个帧。这种神经网络20被描述过，例如，在Lotter等人的“Deep Predictive Coding Networks for Video Prediction and UnsupervisedLearning”(arXiv：1605.08104v5)中。然而，本公开并不限于特定种类的神经网络20，并且可以利用任何合适种类的神经网络20来执行。
因此，神经网络20可以接收输入流30，例如视频流或任何其他合适种类的串行数据单元流。在一些实施例中，输入流30是较长数据流的特定段或子流。神经网络20处理输入流30并生成输出32。在一些实施例中，输出32包括关于流的数据单元或潜在的或实际的连续数据单元的经处理的信息。例如，输出32可以包括预测的连续数据单元或预测的连续数据单元序列。在生成输出的过程中，网络20可以获取关于输入数据单元的不同方面的信息。在一些情况下，所获取的信息可以包括数据的不同方面如何从一个数据单元改变为下一数据单元。在一些实施例中，关于数据的不同方面的信息通过无监督学习(即，无初步数据集地)获得。
存储器12可以包括其上具有计算机可读程序指令的有形的一个或多个非暂时性计算机可读存储介质。例如，处理器10执行指令使处理器10执行本文所述的方法和步骤。
现在参考图2，图2是根据本公开的一些实施例的示例性神经网络20的更详细的示意图。例如，神经网络20可以包括一系列组或层l1-ln中的多个节点22。在一些实施例中，节点22可以以已知时间间隔接收例如来自先前层的节点的数据输入，并例如通过无监督或部分监督学习来生成信息、决定和/或预测接下来(即，在下一时间间隔中)接收到的输入。
在本公开的一些实施例中，处理器10可以在预测过程期间分析神经网络20的操作，以识别网络20中可能产生感兴趣信息(例如关于输入数据的某方面的信息)的相关部分。例如，部分23可以是作为一层神经网络20、一组层或一组节点22的区域21。基于分析，处理器10可以识别神经网络体系架构和各种活动，例如网络20的各部分中的信息流和数学运算。如下文更详细描述的，根据本公开的一些实施例，在识别期望的部分之后，处理器10可以在所识别的部分内找到产生感兴趣信息的特定相关神经元(节点22)和/或神经元(节点22)组。在一些实施例中，如本文所述，可以通过计算所识别的神经网络部分在与感兴趣信息相关的参数子空间上的投影来找到特定节点22或组23。
现在参考图3，其是根据本公开的一些实施例的用于选择感兴趣的网络部分的这一方法300的流程图。最初，被接收或被训练(305)的神经网络20来接受输入30并提供输出32。如(310)所示，处理器10(图1)可以在处理输入数据流30的同时检查神经网络20。例如，处理器10可以接收并分析来自网络20中的各节点22(图2)的信息。可选地，处理器10可以识别这些节点中执行的特定数学运算。例如，处理器10可以识别(320)信息如何或哪些信息在节点22之间传递或在网络20的各部分/区域中变化。可选地，处理器10可以基于分析的信息来识别(320)网络20中可能会产生感兴趣信息的区域21。例如，处理器10根据数学限制可以通过如进行计算或接收到的指令来决定或者可以被指示哪些网络区域21是相关的、哪些是不相关的。例如，某个网络区域21的编码能力应匹配感兴趣信息的特征。可选地，处理器10可以决定针对某个感兴趣对象(如猫或电话)生成预测的节点22不位于第一或第二卷积层l1,l2。在本公开的示例性实施例中，前一个或前两个层计算低层特征，而感兴趣对象由高层特征表示，例如较高层可以是低层特征的组合。例如，处理器10可以计算出由在特定层li中的特定节点22处理的图像区域(例如，特定节点22的可接受域)对于感兴趣对象来说太小或太大。
参考图4描述的另一示例，图4是根据本公开的一些实施例的示例性网络节点400的示意图。网络节点400可以包括长-短期存储器(“LSTM”)块，其包括用于决定是保留还是遗忘历史信息c(t-1)的遗忘门f，输入门i×g(i和g的乘积)和输出门o。i和g的乘积与遗忘门的决定相加。在一些实施例中，处理器10可以决定(例如，计算或被指示)：由于在LSTM块的该部分中执行的计算类型，运动矢量信息不在遗忘门f中生成，而是在输入门i×g中生成。
如框330所示，处理器10可以在所识别的区域21内找到计算特定感兴趣信息的特定节点22或节点组。例如，为了找到特定节点，处理器10例如通过提取相应参数的误差并优化适合的成本函数，以在与感兴趣信息相对应的参数子空间上投影所识别的区域。
例如，处理器10可以寻找神经网络20中预测特定对象(例如区域23)的运动的区域21。替代地或另外地，处理器10可以寻找神经网络20中预测特定周期性事件的区域21(例如区域24)。为了找到预测对象的运动的一个特定节点22或多个特定节点22，处理器10可以从区域23的节点22中提取速度和加速度参数的误差。类似地，为了找到预测周期性事件的一个特定节点22或多个特定节点22，处理器10可以从区域24的节点22中提取频率和相位参数的误差。然后，处理器10可以优化成本函数以找到节点中的参数误差最小的节点22(例如节点22a)，该节点22最可能是用于预测关于这些参数的信息的节点22。
在本公开的一些实施例中，一旦处理器10识别出网络20的潜在相关区域，处理器10就对这些区域的操作应用无监督降维方法，例如主成分分析(PCA)或t-分布式随机相邻嵌入(t-SNE)，以找出感兴趣信息的线索。
相应地，处理器10可以被配置为(例如，被预配置为和/或经由通信网络和/或用户接口接收指令)找到神经网络20中的节点22或一组节点22a，其包含信息和/或计算针对数据流中的特定属性的预测，例如该节点22或该组节点22a在节点22a的输入上应用特定数学运算符。
另外，在本公开的一些实施例中，处理器10可以从网络20的相关节点22中提取特定信息。例如，处理器10可以获得关于视频帧中的某些对象(例如运动、颜色变化、频率、旋转和/或用于各种应用的任何其他合适的数据)的信息。例如，处理器10可以获得关于帧捕获相机和/或相机操作者的信息。
在本公开的示例性实施例中，控制神经网络20的节点22允许独立地操控图像的对象。现在参考图5A，图5A是根据本公开的示例性实施例的图像的操控的示意图。可选地，每个对象/元素及其特征都可以被控制。例如，帧50包括图像51b，图像51b具有由神经网络20的节点22识别的元素：汽车54、卡车56和人52。帧50还包括水平翻转(镜像)图像51b，其由操控应用25利用处理器10通过翻转各个元素生成具有水平翻转元素的图像51b来形成。类似地，51c表示垂直翻转元素的示意图。翻转图像51b可以由x2＝-x1和y2＝y1表示，作为各像素的坐标，其中x1和y1是原始图像51a中相同像素的坐标。
图5B是上述关于图5A所说明地处理实际图像的示例。帧50包括图像51a和51b，它们是水平翻转的图像，使得在图像51a中向左移动的对象会在图像51b中向右移动，反之亦然。
应该注意，节点22的操控可以允许如被处理过的图像60和62所示的更多预操控。例如，处理器10可以被配置为识别向左走的行人。神经网络20的各部分可以处理视频帧50的不同方面。例如，图像60、62显示分割，其以白色(或模糊形状)标记以特定方向(例如左)移动的元素。可选地，可以使用操控应用25来改变元素的运动速度/方向或其他特性。可选地，可以使用操控应用25来模糊元素，使其消失或被不同的元素替换。
在本公开的示例性实施例中，对神经网络20中感兴趣区域21的识别，可以在处理输入30数据流的同时通过图形地映射来自神经网络20的节点22的信息来执行。现在参考图5C，图5C是根据本公开的一些实施例的数据分类图70和72的示意图，该数据分类图70和72呈现了基于帧50在网络20的特定部分中生成的信息的可由处理器10计算的分割线。例如，数据分类图70可以呈现基于在神经网络20的特定部分中生成的信息来识别的不同种类的移动物体(例如，汽车和行人)之间的分割线。例如，数据分类图72可以呈现基于在网络20的特定部分中生成的信息来识别的向左的移动对象和向右的移动对象之间的分割线。
在本公开的一些实施例中，一旦处理器10观察到网络20的特定区域中生成的数据的相关分割线，处理器10就识别出在哪个特定节点22(神经元)中计算感兴趣信息。
如本文所示，处理器10可以例如通过提取相应参数的误差并优化适合的成本函数来将识别的区域21投影到与感兴趣信息相对应的参数子空间上。例如，为了优化运动方向的检测精度，处理器10可以寻找这里描述的用于帧50的最好满足x1＝-x2、y1＝y2的区域。另外，对于垂直翻转图像51a和51c，翻转图像51c可以由作为各像素坐标的x3＝x1和y3＝-y1表示。相应地，处理器10可以寻找这里描述的用于帧50的最好满足x1＝x3、y1＝-y3的区域21。例如，处理器10可以使成本函数f＝x1+x2+y1-y2+x1-x3+y1+y3最小化，其中所有矢量归一化为单位圆，以便零解x1＝x2＝x3＝y1＝y2＝y3＝0将无效。
如本文所提及的，在一些情况下，处理器10被配置为识别神经网络20的包含频率信息(例如，特定图像元素)的区域21。为了识别神经网络20的相关区域21，处理器10可以要求帧序列中的特定像素沿着数据单元序列具有某种变化属性的重复频率。例如，重复由余弦函数表示：
y(t|A＝1)＝cos(ωt)
其中t是分配给帧的时间，ω是频率(2πf)，y是阶或相位，以及A是余弦波幅，其可以归一化为1。由于两个帧y1＝cos(ωt1)与y2＝cos(ωt2)之间的时间差t2-t1是已知的，处理器10可以使用以下成本函数f：
arcos(y2)-arcos(y1)＝ω(t2-t1)
f＝arcos(y2)-arcos(y1)-ωdt＝0
因此，处理器10可以在优化过程期间使f最小化，以便识别网络20的包括f的最小值的区域21，例如，网络20的包含期望的频率信息的区域21。
如块340所示，应用25可指示处理器10选择性地对已找到的节点22或一组节点22a进行操作。举例来说，处理器10可以被配置为操控、改变、替换、提取信息或以其他方式控制在已找到的节点22a中执行的数学运算符，以便获得特定的修改后的输出。例如，选择性操作包括由以下各项组成的列表中的至少一者：运动操控、对象移除、频率改变和图像孔洞填充、颜色操控和/或任何其他合适的操作。例如，通过在特定节点22中设置期望值，改变特定节点中的遗忘门的激活和/或在特定节点上执行选择性操作的任何其他合适方式来执行选择性操作。
在一些实施例中，操控应用25可以指示处理器10识别并操控用于计算第二属性的预测的第二节点22或一组节点22b，以控制满足两个属性组合的数据的元素。类似地，处理器10可以控制节点的组合以控制满足特定属性组合的元素。例如，处理器10可以被配置为在某个视频流中将被识别为向南走的黄色汽车的颜色改变为红色。替代地或另外地，处理器10可以计算所识别的区域21中的每个节点22的梯度，所计算的梯度是改变所识别的区域的活动以获得期望输出所需的。然后，处理器10可以将计算得到的梯度应用于各个节点。在一些实施例中，处理器10可以生成网络20的所识别或选择的区域的多个实例，并选择性地控制这些实例以获得期望输出。
在一些实施例中，处理器10由软件指令动态地控制，以根据指令定位预测特定属性的节点并提取信息和/或操控所定位的节点。本公开的系统和方法在不需要预先设置对网络20上的处理器10操作的情况下实现这样的动态控制。
本公开的一些实施例可以包括系统、方法和/或计算机程序产品。计算机程序产品可以包括有形的一个或多个非暂时性计算机可读存储介质，其上具有用于使处理器执行本公开的各方面的计算机可读程序指令。用于执行本公开的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或以一种或多种编程语言的任何组合编写的源代码或对象代码，该编程语言包括任何面向对象的编程语言和/或常规的过程编程语言。
在本公开的一些实施例的上下文中，作为示例而非限制性地，诸如“操作”或“执行”的术语分别暗指诸如“可操作的”或“可执行的”的能力。
作为示例，诸如“事物属性”等结合术语暗指事物的属性，除非从其上下文另外明显可知。
术语“处理器”或“计算机”或其系统在本文中被用作本领域的一般上下文，如通用处理器，或诸如智能电话或平板电脑等便携式设备，或微处理器，或RISC处理器，或DSP，该术语可能包括诸如存储器或通信端口等附加元件。可选地或附加地，术语“处理器”或“计算机”或其衍生物表示装置，该装置能够执行所提供的或合并的程序和/或能够控制和/或访问数据存储装置和/或诸如输入和输出端口等其他装置。术语“处理器”或“计算机”还表示连接和/或链接和/或以其他方式进行通信的多个处理器或计算机，其可能共享一个或多个其他资源，例如存储器。
术语“软件”、“程序(program)”、“软件程序(software procedure)”或“程序(procedure)”或“软件代码”或“代码”或“应用”可根据其上下文互换使用，并且表示用于执行一般表示算法和/或其他过程或方法的操作序列的一个或多个指令或指示或电子电路。程序存储在诸如RAM、ROM或盘等介质中或介质上，或者植入在可由诸如处理器或其他电路等装置访问和执行的电路中。处理器和程序可以至少部分地构成同一装置，如被设计为执行编程的操作序列的电子门阵列(如FPGA或ASIC)，该装置可选地包括或链接处理器或其他电路。
对于目标或其变体的术语“配置”和/或“适应”意味着至少使用被设计和/或被实现和/或可操作或操作为实现该目标的软件和/或电子电路和/或辅助装置。
存储和/或包括程序和/或数据的设备构成制造品。除非另有说明，否则程序和/或数据存储在非暂时性介质中或上。
在公开电气或电子设备的情况下，假定适合的电源用于其操作。
流程图和框图图示了根据本公开主题的各种实施例的系统，方法和计算机程序产品的可能实现的架构、功能或操作。就这一点而言，流程图或框图中的各框可表示程序代码的模块、段或部分，该程序代码包括用于实现指定的逻辑功能的一个或多个可执行指令。还应该注意的是，在一些替代实施方式中，所示或所描述的操作可以以不同顺序或组合或作为同时的操作而不是顺序的操作来出现，以实现相同或等同的效果。
随附权利要求中的所有装置或步骤加功能元件的对应结构、材料、动作和等同物旨在包括用于与具体请求保护的其他请求保护的元件组合执行功能的任何结构、材料或动作。如本文所使用的，除非上下文另外清楚地指出，否则单数形式“一”，“一个”和“该”也旨在包括复数形式。将进一步理解的是，当在本说明书中使用时，术语“包括”、“包含”和/或“具有”以及这些术语的其他结合指定存在所述特征、整数、步骤、操作、元件和/或组件，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合的存在或添加。
除非另有说明，否则本文使用的术语不应理解为限制性的，并且仅用于描述特定实施例的目的，而不意图限制所公开的主旨。虽然已经说明和描述了所公开的主旨的某些实施例，但将清楚的是，本公开不限于在此描述的实施例。不排除许多修改、改变、变体、替代和等同物。
Claims (20)
1.一种用于控制神经网络的输出的方法，所述方法包括：
接收或训练神经网络，其中所述神经网络是在计算机上执行的应用，所述计算机接收来自传感器的输入并基于所述输入提供包括预测和/或决定的输出；
识别所述神经网络中包含感兴趣信息的区域；
在所识别的区域内找到包含特定感兴趣信息的特定节点或节点组；以及
应用所述神经网络外部的操控应用，以对所述神经网络内的特定节点或节点组的输出执行操作并进行改变，其中所述特定节点的改变的输出影响所述神经网络的输出，而不改变所述神经网络的输入。
2.根据权利要求1所述的方法，其中识别区域包括：
当所述神经网络正在处理来自传感器的输入数据流时，从所述神经网络中的多个位置获得数据；以及
分析所述数据的相关性。
3.根据权利要求1所述的方法，包括：经由通信网络和/或用户接口接收指令，并基于所述指令动态地识别所述神经网络中包含感兴趣信息的区域。
4.根据权利要求1所述的方法，其中所述执行操作包括：从所述特定节点或节点组中提取信息。
5.根据权利要求1所述的方法，其中所述执行操作包括：改变、替换或以其他方式控制在所述节点中执行的数学运算符。
6.根据权利要求1所述的方法，包括：对所找到的节点的组合进行操作，以从具有特定属性组合的元素中提取信息或操控具有特定属性组合的元素。
7.根据权利要求1所述的方法，其中所述执行操作的操作行为选自由运动操控、对象移除、频率改变、图像填充和色彩操控组成的组。
8.根据权利要求1所述的方法，包括：生成所识别的区域的多个实例，并选择性地控制所述实例以获得期望的输出。
9.根据权利要求1所述的方法，其中所述执行操作包括：计算每个节点的梯度，所述梯度表示针对改变该节点的活动以获得所述神经网络的期望输出的要求；并将计算得到的梯度应用于节点。
10.根据权利要求1所述的方法，其中所述执行操作包括：在特定节点中设置期望值。
11.根据权利要求1所述的方法，其中，通过具有遗忘门的电子电路来实现节点，所述遗忘门决定是保留还是遗忘历史信息，并且操作包括：改变所述遗忘门的激活。
12.一种用于生成神经网络的替代输出的系统，所述系统包括：
包括处理器和存储器的计算机；
一个或多个传感器，用于提供数据流作为计算机的输入；
神经网络应用，其中所述神经网络应用接收来自传感器的输入并基于所述输入提供包括预测和/或决定的输出；
所述神经网络应用外部的操控应用，其中所述操控应用被配置为执行：
识别所述神经网络中包含感兴趣信息的区域；在所识别的区域内找到包含特定感兴趣信息的特定节点或节点组；以及对所述神经网络内的特定节点或节点组的输出执行操作并进行改变，其中所述特定节点的改变的输出影响所述神经网络的输出，而不改变所述神经网络的输入。
13.根据权利要求12所述的系统，其中所述操控应用还被配置为：
当所述神经网络正在处理输入数据流时，从所述神经网络中的多个位置获得数据；以及
基于所获得的信息来识别所述神经网络中包含感兴趣信息的区域。
14.根据权利要求12所述的系统，其中所述操控应用还被配置为：经由通信网络和/或用户接口接收指令，并基于所述指令动态地识别所述神经网络中包含感兴趣信息的区域。
15.根据权利要求12所述的系统，其中所述执行操作包括：从所述特定节点或节点组中提取信息。
16.根据权利要求12所述的系统，其中所述执行操作包括：改变、替换或以其他方式控制在所述节点中执行的数学运算符。
17.根据权利要求12所述的系统，其中所述操控应用还被配置为：对所找到的节点的组合进行操作，以从具有特定属性组合的元素中提取信息或操控具有特定属性组合的元素。
18.根据权利要求12所述的系统，其中用于所述执行操作的操作行为选自由运动操控、对象移除、频率改变、图像填充和色彩操控组成的组。
19.根据权利要求12所述的系统，其中所述操控应用还被配置为：生成所识别的区域的多个实例，并选择性地控制所述实例以获得期望的输出。
20.根据权利要求12所述的系统，其中通过具有遗忘门的电子电路来实现节点，所述遗忘门决定是保留还是遗忘历史信息，并且操作包括：改变所述遗忘门的激活。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/921,737 US20190286988A1 (en) | 2018-03-15 | 2018-03-15 | Feature-based selective control of a neural network |
| US15/921,737 | 2018-03-15 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109002891A true CN109002891A (zh) | 2018-12-14 |
Family
ID=64600285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810778985.9A Pending CN109002891A (zh) | 2018-03-15 | 2018-07-16 | 神经网络的基于特征的选择性控制 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20190286988A1 (zh) |
| CN (1) | CN109002891A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115016275B (zh) * | 2022-06-17 | 2023-06-06 | 淮阴工学院 | 智能化饲喂与畜禽舍大数据物联网系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1514318A (zh) * | 2002-09-11 | 2004-07-21 | ����-��˹â��ϵͳ�ɷ�����˾ | 过程控制系统中的集成模型预测控制与优化 |
| CN101171598A (zh) * | 2005-03-31 | 2008-04-30 | 法国电信公司 | 采用神经网络定位对象图像中的感兴趣点的系统和方法 |
| CN103150595A (zh) * | 2011-12-06 | 2013-06-12 | 腾讯科技（深圳）有限公司 | 数据处理系统中的自动配对选择方法和装置 |
| CN104145281A (zh) * | 2012-02-03 | 2014-11-12 | 安秉益 | 神经网络计算装置和系统及其方法 |
| CN105359186A (zh) * | 2013-06-04 | 2016-02-24 | 赫尔实验室有限公司 | 用于检测场景中的感兴趣的对象的系统 |
| US20160217367A1 (en) * | 2015-01-27 | 2016-07-28 | Google Inc. | Sub-matrix input for neural network layers |
| CN106529511A (zh) * | 2016-12-13 | 2017-03-22 | 北京旷视科技有限公司 | 图像结构化方法及装置 |
| CN107169476A (zh) * | 2017-06-20 | 2017-09-15 | 电子科技大学 | 一种基于神经网络的频率识别系统 |
| CN107479368A (zh) * | 2017-06-30 | 2017-12-15 | 北京百度网讯科技有限公司 | 一种基于人工智能的训练无人机控制模型的方法及系统 |
| KR20180022288A (ko) * | 2016-08-24 | 2018-03-06 | 한국과학기술원 | 부분구조 학습기법과 영상데이터를 이용한 신경망 학습 방법 및 장치 |
-
2018
- 2018-03-15 US US15/921,737 patent/US20190286988A1/en not_active Abandoned
- 2018-07-16 CN CN201810778985.9A patent/CN109002891A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1514318A (zh) * | 2002-09-11 | 2004-07-21 | ����-��˹â��ϵͳ�ɷ�����˾ | 过程控制系统中的集成模型预测控制与优化 |
| CN101171598A (zh) * | 2005-03-31 | 2008-04-30 | 法国电信公司 | 采用神经网络定位对象图像中的感兴趣点的系统和方法 |
| CN103150595A (zh) * | 2011-12-06 | 2013-06-12 | 腾讯科技（深圳）有限公司 | 数据处理系统中的自动配对选择方法和装置 |
| CN104145281A (zh) * | 2012-02-03 | 2014-11-12 | 安秉益 | 神经网络计算装置和系统及其方法 |
| CN105359186A (zh) * | 2013-06-04 | 2016-02-24 | 赫尔实验室有限公司 | 用于检测场景中的感兴趣的对象的系统 |
| US20160217367A1 (en) * | 2015-01-27 | 2016-07-28 | Google Inc. | Sub-matrix input for neural network layers |
| KR20180022288A (ko) * | 2016-08-24 | 2018-03-06 | 한국과학기술원 | 부분구조 학습기법과 영상데이터를 이용한 신경망 학습 방법 및 장치 |
| CN106529511A (zh) * | 2016-12-13 | 2017-03-22 | 北京旷视科技有限公司 | 图像结构化方法及装置 |
| CN107169476A (zh) * | 2017-06-20 | 2017-09-15 | 电子科技大学 | 一种基于神经网络的频率识别系统 |
| CN107479368A (zh) * | 2017-06-30 | 2017-12-15 | 北京百度网讯科技有限公司 | 一种基于人工智能的训练无人机控制模型的方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| WILLIAM LOTTER等: "DEEP PREDICTIVE CODING NETWORKS FOR VIDEO PREDICTION AND UNSUPERVISED LEARNING", 《ARXIV：1605.08104V5》 * |
| 吴浩和陈涛: "多神经网络在超声图像感兴趣区域检测中的应用", 《激光杂志》 * |
| 王宁宁: "具有输出约束的非线性系统自适应输出反馈控制研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190286988A1 (en) | 2019-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3735625B1 (en) | Method and system for training the navigator of an object tracking robot | |
| JP7335274B2 (ja) | ジオロケーションの予測のためのシステムおよび方法 | |
| US10970559B2 (en) | People flow estimation device, people flow estimation method, and recording medium | |
| EP3319016B1 (en) | Control systems using deep reinforcement learning | |
| US11232286B2 (en) | Method and apparatus for generating face rotation image | |
| CN107977706B (zh) | 模块化分布式人工神经网络 | |
| US9111375B2 (en) | Evaluation of three-dimensional scenes using two-dimensional representations | |
| CN108154236A (zh) | 用于评估群组层面的认知状态的技术 | |
| CN109964237A (zh) | 图像深度预测神经网络 | |
| CN107273782A (zh) | 使用递归神经网络的在线动作检测 | |
| US20190347388A1 (en) | User image verification | |
| CN110991444B (zh) | 面向复杂场景的车牌识别方法及装置 | |
| JP6397379B2 (ja) | 変化領域検出装置、方法、及びプログラム | |
| Laskowski | A novel hybrid-maximum neural network in stereo-matching process | |
| CN111886600A (zh) | 一种用于图像的实例级别分割的设备和方法 | |
| CN113781519A (zh) | 目标跟踪方法和目标跟踪装置 | |
| Craye et al. | Exploring to learn visual saliency: The RL-IAC approach | |
| CN109002891A (zh) | 神经网络的基于特征的选择性控制 | |
| KR102063408B1 (ko) | 가상 객체와의 상호 작용을 위한 방법 및 장치 | |
| Cai et al. | Deep representation and stereo vision based vehicle detection | |
| WO2011085819A1 (en) | A machine-learning system and a method for determining different operating points in such a system | |
| Nevalainen et al. | Image analysis and development of graphical user interface for pole vault action | |
| Singh et al. | Prediction of Depth Maps using Semi-Supervised Learning | |
| Elachhab et al. | Obstacle Detection Algorithm by Stereoscopic Image Processing: Navigation Assistance for the Blind and Visually Impaired | |
| Chakrabarty et al. | Q-learning elicited disaster management system using intelligent mapping approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181214 |
|
| WD01 | Invention patent application deemed withdrawn after publication |