CN112055861A - 用于人工神经网络系统和方法的低延迟中断警报 - Google Patents

用于人工神经网络系统和方法的低延迟中断警报 Download PDF

Info

Publication number
CN112055861A
CN112055861A CN201980026872.6A CN201980026872A CN112055861A CN 112055861 A CN112055861 A CN 112055861A CN 201980026872 A CN201980026872 A CN 201980026872A CN 112055861 A CN112055861 A CN 112055861A
Authority
CN
China
Prior art keywords
ann
data
data input
processing
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980026872.6A
Other languages
English (en)
Inventor
R·L·克莱恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lattice Semiconductor Corp
Original Assignee
Lattice Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lattice Semiconductor Corp filed Critical Lattice Semiconductor Corp
Publication of CN112055861A publication Critical patent/CN112055861A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3877—Concurrent instruction execution, e.g. pipeline or look ahead using a slave processor, e.g. coprocessor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供了各种技术来为神经网络提供更高的效率。在一个示例中，一种系统包括第一人工神经网络(ANN)、第二ANN和逻辑器件。第一ANN被配置为接收与数据流相关联的第一多个数据输入，并且在第一延迟之后处理第一数据输入以生成第一推理输出。第二ANN被配置为接收与数据流相关联的第二多个数据输入，并且在小于第一延迟的第二延迟之后处理第二数据输入以生成第二推理输出。逻辑器件被配置为在第一推理输出被生成之前接收第二推理输出。还提供了其他系统和方法。

Description

用于人工神经网络系统和方法的低延迟中断警报
相关申请的交叉引用
本申请是于2019年3月1日提交的美国专利申请No.16/290,811的继续，该美国专利申请又要求于2018年3月9日提交的美国临时专利申请No.62/640,741的权益，其全部通过引用整体并入本文。
技术领域
本公开总体上涉及人工神经网络，并且更具体地涉及此类具有减少延迟的网络。
背景技术
人工神经网络(ANN)通常被实现为用于执行复杂数据分析的可训练系统。ANN通常包括多个节点(例如，也称为神经元)。节点被配置为接收数据，对所接收的数据进行加权，处理加权的数据(例如，通过应用传递函数、偏差、激活函数、设置阈值和/或其他过程)，并且将经处理的数据传递给其他节点。节点可以布置在包括以下各项的层中：输入层，其接收提供给ANN的数据；隐藏层，其执行大部分ANN数据处理；以及输出层，其提供来自ANN的结果(例如，也称为推理)。
在某些情况下，ANN用于复杂的图像分析，诸如对图像数据(例如，视频帧或单个图像)执行对象表征(例如，对象识别)。由这样的ANN生成的结果推理可以是数据的表征，诸如图像中出现的特定对象的标识。
不幸的是，为了执行这样的分析，常规的ANN可能包括很多隐藏的节点层。因为任何数据输入都可能影响隐藏层的任何节点的处理，所以在生成推理之前，输入数据(例如，整个视频帧)通常必须由ANN的所有层完全处理。这引起这样的ANN从输入层接收数据的时间到输出层提供推理的时间为止表现出显著的延迟。不幸的是，这样的延迟对于可能需要快速响应于各种类型的推理的系统可能会是有问题的。
附图说明
图1示出了根据本公开的实施例的提供多个人工神经网络(ANN)的系统的框图。
图2示出了根据本公开的实施例的示例硬件实现的框图。
图3示出了根据本公开的实施例的主ANN、低延迟ANN的框图、以及相关联的时序图。
图4示出了根据本公开的实施例的在顺序操作中主ANN和低延迟ANN的框图。
图5示出了根据本公开的实施例的在并行操作中主ANN和低延迟ANN的框图。
图6示出了根据本公开的实施例的具有预处理操作的主ANN和低延迟ANN的框图。
图7示出了根据本公开的实施例的操作主ANN和低延迟ANN的过程。
图8示出了根据本公开的实施例的主ANN和低延迟ANN的其他时序图。
通过参考下面的详细描述，将能够最好地理解本公开的实施例及其优点。应当理解，相同的附图标记用于标识在一个或多个附图中示出的相同的元素。
具体实施方式
根据本文中公开的实施例，提供了利用主人工神经网络(ANN)和低延迟ANN来促进不同处理需求的各种系统和方法。例如，图1示出了根据本公开的实施例的提供多个ANN的系统100的框图。如图1所示，主ANN 110(例如，第一ANN)和低延迟ANN 120(例如，第二ANN)接收数据输入140，并且响应于此而分别生成相关联的推理150和160。推理150和160被提供给应用130，应用130可以响应于推理150和/或推理160而选择性地调节其操作。
值得注意的是，与主ANN 110相比，低延迟ANN 120表现了减少的延迟。在这点上，即使ANN 110和120同时都接收数据输入140，低延迟ANN 120也会在主ANN 110生成推理150之前生成推理160。如进一步讨论的，这种减少的延迟可以与例如低延迟ANN 120中包括的更少的层和/或节点、和/或由低延迟ANN 120正在处理的更少的数据输入140(例如，或不同的数据输入)相关联。
数据输入140可以是期望由系统100分析的任何类型的数据。尽管本文中总体上关于图像数据讨论数据输入140以及推理150和160，但是任何适当类型的数据输入和推理可以用于本文中提供的各种实施例。在一些实施例中，ANN 110和120都可以处理相同的数据输入140。在其他实施例中，与主ANN 110相比，低延迟ANN 120可以处理数目减少的数据输入140(例如，其子集)。在一些实施例中，可以向低延迟ANN 120提供更少的数据输入140，和/或在由低延迟ANN 120处理之前，可以对数据输入140进行预处理以减少其数目，降低其分辨率(例如，在图像处理的情况下降低像素分辨率)，和/或减小其位深(例如，在图像处理的情况下减小像素深度)。
在一些实施例中，数据输入140可以包括诸如视频帧的数据流等图像数据，其中每个帧构成将由ANN 110和120处理的一组数据输入140。例如，数据输入140可以由视频文件、实时视频馈送和/或其他适当的来源提供。在该示例中，主ANN 110可以被配置为对数据输入140执行特征分析，以生成标识在数据输入140中识别的对象的推理。
同样，在该示例中，低延迟ANN 120可以被配置为对数据输入140执行不太复杂的分析，以生成标识在数据输入140中识别的事件的发生的推理。在这点上，由低延迟ANN 120执行的分析可能不如由主ANN 110执行的分析那样复杂(例如，由于低延迟ANN 120执行的处理减少)。例如，由低延迟ANN 120的示例推理160提供的事件(例如，视频图像的场景中对象的突然出现)的检测可能比由主ANN 110的示例推理150提供的事件(例如，出现在视频图像的场景中的对象的类型的识别)的进一步表征需要更少处理。
例如，由低延迟ANN 120提供的推理160可以对应于对需要应用130的快速响应的事件(例如，成像视频场景中的突然改变、场景中新对象的出现、和/或其他事件)的检测。如果推理160与这样的高优先级事件相关联，则低延迟ANN 120和/或应用130可以将其标识为触发应用130以调节其操作的中断警报。与由来自主ANN 110的推理150提供的复杂表征相比，这样的中断警报可能构成应用130更高优先级。例如，在视频图像处理的情况下，如果低延迟ANN 120检测到对象的突然出现，则可能优选的是，应用130响应于推理160(例如，在这种情况下为中断警报)而执行一个或多个快速动作(例如，指示包括系统100的车辆的引导系统操纵车辆以避免撞到检测到的对象)，而不是等待附加的时间段过去，直到主ANN 110对特定类型的对象执行更具体的标识并且最终提供推理150。
系统100的各种特征可以在适当的硬件中实现。例如，图2示出了根据本公开的实施例的可以用于提供主ANN 110、低延迟ANN120、应用130和数据输入140中的一个或多个的示例硬件实现的框图。如图所示，图2所示的实现提供了包括逻辑器件210、存储器220、通信接口230、显示器240、用户控件250和其他组件260的硬件系统。
逻辑器件210可以被实现为用于数据处理的任何适当的器件，诸如处理器(例如，微处理器、单核处理器和/或多核处理器)、微控制器、可编程逻辑器件(PLD)(例如，现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)、片上现场可编程系统(FPSC)或其他类型的可编程器件)、图形处理单元(GPU)、和/或其他器件。存储器220可以由提供机器可读介质的一个或多个存储器设备来实现，诸如易失性存储器(例如，随机存取存储器)、非易失性非暂态存储器(例如，只读存储器、电可擦除只读存储器、闪存)、或其他类型的存储器。在各种实施例中，存储器220可以存储根据本文中讨论的各种操作由逻辑器件120执行(例如，或用于配置逻辑器件120)的软件指令、与数据输入140相对应的数据、与推理150和160相对应的数据、和/或其他适当的信息。
通信接口230可以用适当的硬件来实现，以提供系统100的各个组件之间和/或系统100与其他设备之间的有线和/或无线数据通信。例如，在一些实施例中，通信接口230可以是网络接口(例如，以太网接口、Wi-Fi接口和/或其他网络接口)、串行接口、并行接口、和/或其他适当的类型。例如，可以提供一个或多个通信接口230以从外部设备(例如，从联网的相机或文件系统)接收数据输入140，在系统100的各个组件之间传递通信，和/或向外部设备提供数据输出。
显示器140可以用适当的硬件来实现以向系统100的用户呈现信息。例如，在一些实施例中，显示器140可以通过屏幕、触摸屏和/或其他适当的硬件来实现。可以用适当的硬件来实现用户控件250，以允许用户与系统100交互和/或操作系统100。例如，在一些实施例中，用户控件可以通过各种组件来实现，诸如键盘、鼠标、触控板、触摸屏(例如，在某些情况下与显示器140集成在一起)、按钮、滑杆、旋钮、和/或其他适当的硬件。可以提供其他组件260以实现适合于特定实现的任何其他硬件特征。
图3示出了根据本公开的实施例的主ANN 110、低延迟ANN 120的框图、以及相关联的时序图310和320。如先前讨论的，主ANN 110和低延迟ANN 120接收数据输入140并且响应于此而提供推理150和160。
如图所示，主ANN 110包括布置在包括输入层112、隐藏层114和输出层116在内的多层中的各种节点300。低延迟ANN 120包括布置在包括输入层122、隐藏层124和输出层126在内的多层中的各种节点301。然而，与主ANN 110相比，低延迟ANN 120可以包括减少数目的隐藏层124、以及输入层122、隐藏层124和输出层126中减少数目的节点301。与主ANN 110的节点300相比，与低延迟ANN 120的节点301相关联的处理可以减少。例如，在某些实施例中，低延迟ANN 120的节点301可以用二进制权重来实现(例如，低延迟ANN 120可以被实现为二进制ANN和/或三进制ANN)，而主ANN 110的节点300可以被实现为非二进制权重。
尽管示出了特定数目的隐藏层114和124，但是在各种实施例中，可以提供任何期望数目的隐藏层。而且，尽管在层112、114、116、122、124和126中示出了特定数目的节点300/301，但是在各种实施例中，可以提供任何期望数目的节点300/301。
在一些实施例中，主ANN 110和低延迟ANN 120可以被实现为在复杂度和/或处理能力不同以适应ANN 110和120的不同处理特征的单独的硬件设备上并行运行。例如，在一些实施例中，主ANN 110可以在高性能逻辑器件(例如，GPU或其他处理器)中实现，而低延迟ANN 120可以在低功耗逻辑器件(例如，PLD)中实现。在其他实施例中，主ANN 110和低延迟ANN 120可以被实现为顺序地(例如，使用单个处理核心)或并行地(例如，使用多个处理核心)在同一逻辑器件上运行。在各种实施例中，应用130可以在与主ANN110和低延迟ANN 120中的一者或两者相同的逻辑器件上运行，或者在单独的逻辑器件上运行。
在主ANN 110的情况下，在提供推理150之前，通过所有层112、114和116处理全部数据输入140。在低延迟ANN 110的情况下，在提供推理160之前，可以通过所有层122、124和126处理数目减少的数据输入140。然而，与低延迟ANN 120的节点301的数目相比，主ANN110利用数目更多的节点300来实现(例如，由于比隐藏层124数目更多的隐藏层114和/或比节点301数目更多的节点300)。结果，主ANN 110将表现出比低延迟ANN 120更大的延迟。因此，在主ANN 110生成推理150之前，将由低延迟ANN 120生成推理160。
这些不同的延迟分别在与主ANN 110和低延迟ANN 120相关联的时序图310和320中进一步说明。在时序图310和320的情况下，数据输入140对应于多个视频帧的数据流。在这点上，可以在时间330将第一视频帧f0作为数据输入140提供给主ANN 110和低延迟ANN120。
响应于所接收的数据输入140，低延迟ANN 120在从时间330持续到生成推理160的时间340的时间段332期间处理视频帧f0。同样响应于所接收的数据输入140，主ANN 110在从时间330持续到生成推理150的时间350的时间段334期间处理视频帧f0。
如图所示，低延迟ANN 120表现出与时间段332相对应的从时间330延伸到时间340的延迟。主ANN 110表现出与时间段334相对应的从时间330延伸到时间350的延迟。因此，应当理解，低延迟ANN 120和主ANN 110表现出与从时间340持续到时间350的时间段336相对应的延迟差。结果，推理160将比推理150更早地可用于应用130。
如所讨论的，应用130可以响应于推理150和/或推理160而选择性地调节其操作。有利地，通过实现与主ANN 110相比具有减小的延迟的低延迟ANN 120，应用130将迅速地接收与中断警报相对应的任何推理160，并且可以响应于此而调节其操作，而不必等待主ANN110生成其推理150。
如图3进一步所示，可以由ANN 110和120提供并且处理连续的视频帧(例如，视频帧f0，然后是视频帧f1，以此类推)。此外，在一些实施例中，由于低延迟ANN 120提供的延迟大大减少，应用130可以在处理当前视频帧(例如，f0)期间并且甚至在数据输入140处接收下一视频帧(例如，f1)之前响应于中断警报而调节其操作。
设想了用于主ANN 110和低延迟ANN 120的各种配置。例如，图4示出了根据本公开的实施例的在顺序操作中的主ANN 110和低延迟ANN 120的框图。在图4中，主ANN 110和低延迟ANN 120在共享逻辑器件400上实现，并且被配置用于所讨论的顺序操作。在这点上，在时间t0接收到数据输入140之后，低延迟ANN 120开始处理数据输入140并且在时间t1提供推理160(例如，表现出从时间t0到时间t1的延迟)。主ANN 110在时间t1接收并且开始处理数据输入140，并且在时间t2提供推理150(例如，表现出从时间t1到时间t2的延迟)。因此，在图4所示的顺序处理实施例中，推理160在时间t1较早到达，而推理150在时间t2较晚到达。
图5示出了根据本公开的实施例的在并行操作中主ANN 110和低延迟ANN 120的框图。在图5中，主ANN 110和低延迟ANN 120并行操作，并且可以在共享逻辑器件500上(例如，具有与ANN 110和120中的每个相关联的不同处理器核心)和/或在分离的逻辑器件上实现，如所讨论的。在图5中，主ANN 110和低延迟ANN都在时间t0接收数据输入140并且开始处理。低延迟ANN 120在时间t1提供推理160，并且主ANN 110随后在时间t2提供推理150，这是因为其延迟较长。
图6示出了根据本公开的实施例的利用预处理操作实现的主ANN 110和低延迟ANN120的框图。如所讨论的，在一些实施例中，可以在将数据输入140提供给低延迟ANN 120之前对数据输入140进行预处理。例如，可以对数据输入140进行预处理以减少其数目，降低其分辨率，降低其位深，和/或其他方式适当地修改以提供将由低延迟ANN 120进一步处理的经处理的数据输入630。
在图6中，主ANN 110由逻辑器件600实现，并且低延迟ANN120由逻辑器件610实现。此外，预处理操作由逻辑器件620执行。尽管示出了各种逻辑器件600、610和620，但是可以适当地使用任何期望数目的共享和/或分离的逻辑器件来实现图6的各种特征。
如图所示，数据输入140最初被提供给逻辑器件620，该逻辑器件620对其进行预处理以提供经处理的数据输入630，以供低延迟ANN 120使用，如所讨论的。在一些实施例中，如图所示，如果需要，还可以将经处理的数据输入630提供给主ANN 110以进行处理。
在一些实施例中，可以在由主ANN 110执行的处理之前执行逻辑器件620的预处理操作，使得在时间t0分别将数据输入140和经处理的数据输入630提供给主ANN 110和低延迟ANN 120。如针对各种实施例所讨论的，低延迟ANN 120然后可以在时间t1处理数据输入630以提供推理160，并且主ANN 110可以在稍后的时间t2处理数据输入630以提供推理150。在其他实施例中，数据输入140可以被同时提供给主ANN 110和逻辑器件620的预处理操作，使得主ANN 110可以在由逻辑器件620执行预处理操作的同时开始处理数据输入140。
图7示出了根据本公开的实施例的操作主ANN 110和低延迟ANN 120的过程。在框701中，在适当的数据集上训练主ANN 110和低延迟ANN 120。在这点上，可以将已知数据集作为数据输入140提供给主ANN 110和低延迟ANN 120。权重、传递函数和与其各种节点300/301相关联的其他处理可以以迭代的方式进行调节(例如，通过适当的反馈、反向传播和/或其他技术)，直到主ANN 110和低延迟ANN 120生成适当的推理150和160。例如，在将要分析视频帧的一些实施例中，可以在包括具有全分辨率和全位深的视频帧的数据集上训练主ANN110，并且可以在包括分辨率降低和位深减小的视频帧的数据集上训练低延迟ANN 120(例如，提供给主ANN 110的视频帧的经预处理的版本，如图6所示)。在训练完成之后，主ANN110和低延迟ANN 120可以开始正常操作。因此，在框702中，系统100接收数据输入140，诸如将由主ANN 110和低延迟ANN 120分析的视频帧。
如所讨论的，在各个实施例中，主ANN 110和低延迟ANN 120可以以并行或顺序方式操作。在图7中，示出了并行操作，其中组710的框通常与低延迟ANN 120相关联，而组730的框通常与主ANN110相关联。然而，也可以提供顺序操作，其中组710的所有框中的一些框在组730的框之前执行。
图8示出了根据本公开的实施例的与主ANN 110和低延迟ANN120相关联的组710和730的各种操作的附加时序图。特别地，图8示出了与分析在提供给数据输入140的数据流中接收的顺序视频帧f0和f1相关联的操作。
参考组710的框，在框712中，可选地对数据输入140执行预处理以生成经处理的数据输入630。在框714中，将数据输入140(或经处理的数据输入630)提供给低延迟ANN 120并且由其接收。在框716中，低延迟ANN 120处理数据输入140/630。在框718中，低延迟ANN 120生成推理160并且将其提供给应用130。
如所讨论的，在某些情况下，低延迟ANN 120和/或应用130可以将推理160标识为用于触发应用130以调节其操作的中断警报。因此，在框720中，如果低延迟ANN 120和/或应用130确定推理160与中断警报相关联，则该过程继续进行到框722。否则，该过程继续进行到框736，如图所示，其中主ANN 110继续其处理。
在框722中，应用130响应于中断警报而调节其操作。在一些实施例中，应用130可能不需要接收随后由主ANN 120提供的附加推理150，并且因此可以在最终生成推理150时忽略推理150。在其他实施例中，应用130可以在进一步处理中利用推理150。
现在参考组730的框，在框732中，数据输入140被提供给主ANN 110并且由其接收。如图所示，在一些实施例中，主ANN 110可以在预处理框712被执行的同时接收数据输入140，使得主ANN110不需要等待就可以开始处理数据输入140。在框734中，主ANN110开始处理数据输入140。在这点上，如前所述，在主ANN 110提供推理150之前，低延迟ANN 120可以提供推理160(框718)，如图7和8所示。因此，即使在组710的框已经完成之后，主ANN110也可以继续在框736中处理数据输入140。
在框738中，主ANN 110生成推理150并且将其提供给应用130。在框740中，应用130响应于推理150而调节其操作。
对于附加数据输入，诸如对于如图8所示的附加视频帧f1，可以重复框702至740，因此，系统100可以根据需要继续处理提供新数据输入140的集合的数据流，诸如以用于处理视频数据。
在适用的情况下，本公开提供的各种实施例可以使用硬件、软件或硬件和软件的组合来实现。同样，在适用的情况下，在不脱离本公开的精神的情况下，本文中阐述的各种硬件组件和/或软件组件可以被组合成包括软件、硬件和/或两者的复合组件。在适用的情况下，在不脱离本公开的精神的情况下，本文中阐述的各种硬件组件和/或软件组件可以被分成包括软件、硬件或两者的子组件。另外，在适用的情况下，可以预期，软件组件可以被实现为硬件组件，反之亦然。
根据本公开的软件(诸如程序代码和/或数据)可以存储在一个或多个计算机可读介质上。还预期，本文中标识的软件可以使用联网和/或以其他方式的一个或多个通用或专用计算机和/或计算机系统来实现。在适用的情况下，本文中描述的各个步骤的顺序可以改变，组合成复合步骤和/或分成子步骤以提供本文中描述的特征。
以上描述的实施例说明但不限制本发明。还应当理解，根据本发明的原理，可以进行多种修改和变化。因此，本发明的范围仅由所附权利要求书限定。

Claims (20)

1.一种方法，包括：
在第一人工神经网络(ANN)处接收第一多个数据输入并且在第二ANN处接收第二多个数据输入，其中所述第一数据输入和所述第二数据输入与数据流相关联；
在第一延迟之后，由所述第一ANN处理所述第一数据输入以生成第一推理输出；
在小于所述第一延迟的第二延迟之后，由所述第二ANN处理所述第二数据输入以生成第二推理输出；以及
在所述第一推理输出被生成之前，将所述第二推理输出提供给逻辑器件。
2.根据权利要求1所述的方法，其中：
所述第二推理输出包括与由所述第二ANN在所述数据流中检测到的事件相关联的中断警报；以及
所述方法还包括在所述第一推理输出被生成之前，响应于所述中断警报而调节所述逻辑器件的操作。
3.根据权利要求1所述的方法，还包括预处理所述第一数据输入以生成所述第二数据输入。
4.根据权利要求3所述的方法，其中：
所述第一数据输入包括所述数据流的视频帧；
所述第二数据输入包括分辨率降低的视频帧；以及
所述预处理包括处理所述数据流的所述视频帧以生成所述分辨率降低的视频帧。
5.根据权利要求1所述的方法，其中：
所述第一推理输出是所述数据流中对象的分类；以及
所述第二推理输出是在所述数据流中检测到的事件。
6.根据权利要求1所述的方法，还包括：
利用第一组视频帧训练所述第一ANN；
利用从所述第一组生成的第二组视频帧训练所述第二ANN；以及
其中所述第二组相对于所述第一组具有减小的像素分辨率和/或减小的像素深度。
7.根据权利要求1所述的方法，其中：
所述第一组数据输入大于所述第二组数据输入；以及
所述第一ANN比所述第二ANN包括更多数目的隐藏层。
8.根据权利要求7所述的方法，其中所述第二ANN的所述隐藏层包括利用二进制权重的节点。
9.根据权利要求1所述的方法，其中：
由所述第一ANN和所述第二ANN执行的所述处理被并行执行；
所述第一ANN由图形处理单元(GPU)实现；以及
所述第二ANN由可编程逻辑器件(PLD)实现。
10.根据权利要求1所述的方法，其中由所述第一ANN和所述第二ANN执行的所述处理由所述逻辑器件顺序地执行。
11.一种系统，包括：
第一人工神经网络(ANN)，被配置为：
接收与数据流相关联的第一多个数据输入，以及
在第一延迟之后，处理所述第一数据输入以生成第一推理输出；
第二ANN，被配置为：
接收与所述数据流相关联的第二多个数据输入，以及
在小于所述第一延迟的第二延迟之后，处理所述第二数据输入以生成第二推理输出；以及
逻辑器件，被配置为在所述第一推理输出被生成之前接收所述第二推理输出。
12.根据权利要求11所述的系统，其中：
所述第二推理输出包括与由所述第二ANN在所述数据流中检测到的事件相关联的中断警报；以及
所述逻辑器件被配置为在所述第一推理输出被生成之前，响应于所述中断警报而调节所述逻辑器件的操作。
13.根据权利要求11所述的系统，其中所述第二数据输入是从所述第一数据输入生成的。
14.根据权利要求13所述的系统，其中：
所述第一数据输入包括所述数据流的视频帧；以及
所述第二数据输入包括分辨率降低的视频帧。
15.根据权利要求11所述的系统，其中：
所述第一推理输出是所述数据流中对象的分类；以及
所述第二推理输出是在所述数据流中检测到的事件。
16.根据权利要求11所述的系统，其中：
所述第一ANN被配置为利用第一组视频帧来被训练；
所述第二ANN被配置为利用从所述第一组生成的第二组视频帧来被训练；以及
所述第二组相对于所述第一组具有减小的像素分辨率和/或减小的像素深度。
17.根据权利要求11所述的系统，其中：
所述第一组数据输入大于所述第二组数据输入；以及
所述第一ANN比所述第二ANN包括更多数目的隐藏层。
18.根据权利要求17所述的系统，其中所述第二ANN的所述隐藏层包括利用二进制权重的节点。
19.根据权利要求11所述的系统，其中：
由所述第一ANN和所述第二ANN执行的所述处理被并行执行；
所述第一ANN由图形处理单元(GPU)实现；以及
所述第二ANN由可编程逻辑器件(PLD)实现。
20.根据权利要求11所述的系统，其中由所述第一ANN和所述第二ANN执行的所述处理由所述逻辑器件顺序地执行。
CN201980026872.6A 2018-03-09 2019-03-05 用于人工神经网络系统和方法的低延迟中断警报 Pending CN112055861A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862640741P 2018-03-09 2018-03-09
US62/640,741 2018-03-09
US16/290,811 US20190279100A1 (en) 2018-03-09 2019-03-01 Low latency interrupt alerts for artificial neural network systems and methods
US16/290,811 2019-03-01
PCT/US2019/020826 WO2019173392A1 (en) 2018-03-09 2019-03-05 Low latency interrupt alerts for artificial neural network systems and methods

Publications (1)

Publication Number Publication Date
CN112055861A true CN112055861A (zh) 2020-12-08

Family

ID=67842728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026872.6A Pending CN112055861A (zh) 2018-03-09 2019-03-05 用于人工神经网络系统和方法的低延迟中断警报

Country Status (4)

Country Link
US (1) US20190279100A1 (zh)
EP (1) EP3762874A4 (zh)
CN (1) CN112055861A (zh)
WO (1) WO2019173392A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551058B2 (en) * 2019-06-27 2023-01-10 Intel Corporation Wireless feedback control loops with neural networks to predict target system states
US11129117B2 (en) 2019-06-27 2021-09-21 Intel Corporation Predictive wireless feedback control loops
TW202236843A (zh) * 2020-10-30 2022-09-16 日商索尼半導體解決方案公司 固態攝像裝置及電子機器
US20220398433A1 (en) * 2021-06-15 2022-12-15 Cognitiv Corp. Efficient Cross-Platform Serving of Deep Neural Networks for Low Latency Applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130318018A1 (en) * 2012-05-23 2013-11-28 General Electric Company Neural network-based turbine monitoring system
CN104410822A (zh) * 2014-11-24 2015-03-11 深圳市华宝电子科技有限公司 视频监控方法和车载视频监控设备
CN107220581A (zh) * 2016-03-21 2017-09-29 福特全球技术公司 通过后置摄像机的行人检测和运动预测
US20170294186A1 (en) * 2014-09-11 2017-10-12 Nuance Communications, Inc. Method for scoring in an automatic speech recognition system
CN107766839A (zh) * 2017-11-09 2018-03-06 清华大学 基于神经网络的动作识别方法和装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840482B2 (en) * 2006-06-19 2010-11-23 Exegy Incorporated Method and system for high speed options pricing
US8463025B2 (en) * 2011-04-26 2013-06-11 Nec Laboratories America, Inc. Distributed artificial intelligence services on a cell phone
SG10201601697SA (en) * 2012-10-05 2016-04-28 Tactual Labs Co Hybrid systems and methods for low-latency user input processing and feedback
US20140101761A1 (en) * 2012-10-09 2014-04-10 James Harlacher Systems and methods for capturing, replaying, or analyzing time-series data
US9508347B2 (en) * 2013-07-10 2016-11-29 Tencent Technology (Shenzhen) Company Limited Method and device for parallel processing in model training
US9526430B2 (en) * 2014-09-02 2016-12-27 Apple Inc. Method and system to estimate day-long calorie expenditure based on posture
US10387794B2 (en) * 2015-01-22 2019-08-20 Preferred Networks, Inc. Machine learning with model filtering and model mixing for edge devices in a heterogeneous environment
US10246753B2 (en) * 2015-04-13 2019-04-02 uBiome, Inc. Method and system for characterizing mouth-associated conditions
US9552547B2 (en) * 2015-05-29 2017-01-24 Sas Institute Inc. Normalizing electronic communications using a neural-network normalizer and a neural-network flagger
US11072067B2 (en) * 2015-11-16 2021-07-27 Kindred Systems Inc. Systems, devices, and methods for distributed artificial neural network computation
US20170178346A1 (en) 2015-12-16 2017-06-22 High School Cube, Llc Neural network architecture for analyzing video data
US20170206434A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US20170262996A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Action localization in sequential data with attention proposals from a recurrent network
US11080616B2 (en) * 2016-09-27 2021-08-03 Clarifai, Inc. Artificial intelligence model and data collection/development platform
US10276187B2 (en) * 2016-10-19 2019-04-30 Ford Global Technologies, Llc Vehicle ambient audio classification via neural network machine learning
CN106650655A (zh) * 2016-12-16 2017-05-10 北京工业大学 一种基于卷积神经网络的动作检测模型

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130318018A1 (en) * 2012-05-23 2013-11-28 General Electric Company Neural network-based turbine monitoring system
US20170294186A1 (en) * 2014-09-11 2017-10-12 Nuance Communications, Inc. Method for scoring in an automatic speech recognition system
CN104410822A (zh) * 2014-11-24 2015-03-11 深圳市华宝电子科技有限公司 视频监控方法和车载视频监控设备
CN107220581A (zh) * 2016-03-21 2017-09-29 福特全球技术公司 通过后置摄像机的行人检测和运动预测
CN107766839A (zh) * 2017-11-09 2018-03-06 清华大学 基于神经网络的动作识别方法和装置

Also Published As

Publication number Publication date
EP3762874A4 (en) 2022-08-03
WO2019173392A1 (en) 2019-09-12
EP3762874A1 (en) 2021-01-13
US20190279100A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
CN112055861A (zh) 用于人工神经网络系统和方法的低延迟中断警报
Xiong et al. From open set to closed set: Counting objects by spatial divide-and-conquer
EP3540652B1 (en) Method, device, chip and system for training neural network model
US20190188537A1 (en) Effective building block design for deep convolutional neural networks using search
US20190258932A1 (en) Method of performing learning of deep neural network and apparatus thereof
US20180240010A1 (en) Technologies for optimized machine learning training
JP6182242B1 (ja) データのラベリングモデルに係る機械学習方法、コンピュータおよびプログラム
CN111444878A (zh) 一种视频分类方法、装置及计算机可读存储介质
US11200648B2 (en) Method and apparatus for enhancing illumination intensity of image
CN109964238A (zh) 使用神经网络生成视频帧
KR20210018527A (ko) 인공 지능을 위한 병렬 신경 프로세서
KR20210045828A (ko) 영상 처리 장치 및 방법
KR20200076461A (ko) 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치
KR20190091806A (ko) 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템 및 그 방법
US20210012194A1 (en) Method and system for implementing a variable accuracy neural network
KR20240148819A (ko) 시맨틱 이미지 분할을 수행하기 위한 시스템 및 방법
KR20190064862A (ko) 서버와의 연계를 통해 기계학습의 효율성을 높이는 클라이언트 단말 및 이를 포함한 기계학습 시스템
CN110555334A (zh) 人脸特征确定方法、装置、存储介质及电子设备
US11449720B2 (en) Image recognition device, operating method of image recognition device, and computing device including image recognition device
CN114066899A (zh) 图像分割模型训练、图像分割方法、装置、设备及介质
KR20200038072A (ko) 엔트로피 기반 신경망(Neural Networks) 부분학습 방법 및 시스템
US11823052B2 (en) Configurable MAC for neural network applications
EP4075343A1 (en) Device and method for realizing data synchronization in neural network inference
CN112389452A (zh) 用于基于视觉的驾驶员辅助系统和方法
KR20200088198A (ko) 뉴럴 네트워크의 레이어 축소를 이용하여 입력 데이터를 처리하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination