CN111587436A - 用于使用神经网络进行对象辨识的系统和方法 - Google Patents

Abstract

用于使用人工神经网络提供对象辨识的系统和方法。该方法包括利用与通信网络上的边缘节点相关联的相机捕捉多个基准图像。基准图像被通信网络上的集中式服务器接收。利用集中式服务器的父神经网络分析基准图像以确定基准图像中由父神经网络识别的对象子集。从父神经网络中选择对于对象子集作出响应的一个或多个滤波器。仅根据一个或多个滤波器创建经修剪神经网络。经修剪神经网络被部署到边缘节点。利用边缘节点的相机捕捉实时图像并且利用经修剪神经网络识别实时图像中的对象。

Description

用于使用神经网络进行对象辨识的系统和方法

技术领域

本公开总体上涉及本公开总体上涉及对象辨识系统，尤其涉及使用人工神经网络的对象辨识系统。

背景技术

针对所捕捉图像和视频的对象分类或辨识正在成为各种智能系统日益重要的能力。现有技术中针对计算辅助对象辨识的图像和视频处理使用深度学习人工神经网络（ANN）来实施。特别地，卷积神经网络（CNN）已经表现出在计算机辅助的对象辨识应用中的巨大应用前景。

根据对象辨识系统的当前现有技术，使用卷积层（即，CNN）构建的深度学习模型能够以近乎完美的准确性辨识出大约一千或更多的不同对象类别。尽管在准确执行上述技术的方面表现突出，但是要可行地实现这样的性能水平要求数量庞大的计算资源。出于该原因，在性能（在速度和准确性方面）不作出大幅妥协的情况下，就无法使得CNN和其它神经网络能够扩展至资源受限的计算设备。

因此，本领域始终都需要一种能够使用较少计算资源准确地对对象分类的图像处理计算机系统。

发明内容

本公开涉及一种发明性系统和方法，用于尤其是在通信网络中资源受限的边缘节点上经由使用经修剪神经网络的对象辨识而提升行人安全和/或执行监控。该经修剪神经网络由通信网络的集中式服务器所创建以便针对该服务器上边缘节点的每一个进行定制。该经修剪神经网络的创建包括识别父（parent）神经网络的对象（或类别）的主题并且选择对那些对象作出高度响应的滤波器。对象的子集通过分析在每个边缘节点处实际捕捉的基准图像而被确定，使得该经修剪神经网络专门针对每个特定边缘节点进行定制。此外，基准图像的分析由父神经网络来进行，所述父神经网络是未经修剪、经完全训练而且综合性的。最终，这使得能够根据该父神经网络的结果逐个滤波器地创建较小的神经网络。

由于该父神经网络被用来针对基准图像中的对象提供图像辨识和使得能够滤波器选择，经修剪神经网络的准确性下降最小，但是在推演速度和计算要求下降方面增收益显著。通过针对每个边缘节点部署仅包括与每个具体边缘节点相关的对象子集的经修剪神经网络，能力弱或资源受限的计算设备（例如，消费者电子器件）可以利用最少资源快速地以非常高的准确性检测某些相关对象。

总体上，在一个方面，提供了一种用于使用神经网络辨识对象的方法。该方法包括步骤：利用与通信网络上的边缘节点相关联的相机捕捉多个基准图像；利用该通信网络上的集中式服务器接收该基准图像；利用该集中式服务器的父神经网络分析该基准图像以确定该基准图像中由该父神经网络识别的对象子集；在该父神经网络中选择对该对象子集作出响应的一个或多个滤波器；根据该选择步骤所产生的一个或多个滤波器创建经修剪神经网络；将该经修剪神经网络部署到该边缘节点；利用该边缘节点的相机捕捉实时图像；并且利用该经修剪神经网络识别该实时图像中的对象。

根据一个实施例，该方法针对各自连接至该通信网络的多个边缘节点中的每一个被执行。根据一个实施例，第一边缘节点和第二边缘节点的相机被配置为观察共同的地理区域，该方法进一步包括将该对象子集划分为第一部分和第二部分，使得该第一边缘节点的经修剪神经网络根据对应于第一部分的那些滤波器创建，并且该第二边缘节点的经修剪神经网络根据对应于第二部分的那些滤波器创建。

根据一个实施例，边缘节点的每一个包括连网照明系统的发光器。根据另外的实施例，该连网照明系统包括一个或多个灯柱、街灯或交通灯，并且其中该方法被用来提升行人安全。

根据一个实施例，该父神经网络和经修剪神经网络是卷积神经网络（CNN）。根据一个实施例，该选择步骤包括利用该父神经网络分析多个已知训练图像（68）。根据一个实施例，选择一个或多个滤波器包括选择对已知训练图像展现出最大响应的滤波器。根据一个实施例，其中该多个基准图像由一个或多个视频所形成。根据一个实施例，该分析包括通过对每个对象类别被该父神经网络识别的次数进行计数而创建频率图（62），和根据频率图确定对象子集。

总体上，在一个方面，提供了一种用于具有多个边缘节点的通信网络的对象辨识系统。该系统包括用于该通信网络的集中式服务器，该集中式服务器具有：父神经网络，其被配置为分析该集中式服务器从边缘节点中的每一个接收的基准图像以确定对应于边缘节点中的每一个的基准图像中的对象子集；和修剪应用，其被配置为选择该父神经网络中对于对象的每个子集作出响应的一个或多个滤波器，并且针对每个边缘节点根据对应于每个特定边缘节点的一个或多个滤波器创建经修剪神经网络。

根据一个实施例，该边缘节点包括一个或多个发光器。根据一个实施例，该一个或多个发光器包括一个或多个灯柱、街灯或交通灯。根据一个实施例，该系统被实施以提升行人安全。根据一个实施例，该集中式服务器包括存储器和处理器，并且该父神经网络和该修剪应用被安装在该存储器中并且由该处理器执行。

借助于“边缘节点”意指并非网络的集中式基础设施的一部分但是连接至该网络并且可能会或可能不会对网络的功能性有所辅助的设备。边缘节点的示例包括智能电话、膝上计算机、消费者电子器件或电器，诸如用于照明、恒温器、安保或其它电器的智能/连网管理系统，支持蜂窝或网络的汽车等，或者用于随它们一起使用的配件。

如本文所使用的“人工神经网络”、“ANN”或简单地“神经网络”包括计算机系统，与以特定于任务的方式编程的软件应用相反，所述计算机系统包括根据给予神经网络学习能力（基于已知示例的输入逐步改善的性能）的任何已知或已发现范例的软件和/或硬件组件。ANN通常被布置为“神经元”的互连群组，其在总体上仿真人脑的部署形式和工作方式。“神经元”被布置于各个分层中，所述分层包括根据输入至每个神经元的数据而作出不同响应的滤波器。ANN的训练可以通过将ANN输入已知示例来完成，这使得ANN能够调节不同神经元的权重从而更紧密地对应于已知示例。以这种方式，ANN能够通过基于作出响应的滤波器比较未知输入与哪些已知示例最为相似而准确地处理未知输入。

卷积神经网络（CNN）是在随本文所公开实施例一起使用时表现出特定前景的一种类型的ANN。CNN通常被构建为不同分层的叠层，其最终将输入（例如，图像）变换为输出（例如，CNN在图像中所识别的（多个）对象的类别）。卷积层是CNN的核心构造模块并且包括可学习滤波器的集合。在被呈现以图像时，这些滤波器中的不同滤波器将响应于图像中的不同模式而激活，所述模式进而对应于不同的对象。在这样的神经网络中所作出的决策的基础由被激活分层的响应——也就是哪些滤波器激活——所衡量。基于滤波器的响应，CNN的分类分层通常指派分数，所述分数对应于图像中的（多个）对象属于哪个（哪些）类别的概率可能性。Softmax函数是可以被CNN的分类层所使用的函数的一个示例，其中来自该函数的较大结果关联于图像中的（多个）对象已经被正确分类的增加的可能性。

诸如CNN之类的一些ANN的一种有利属性在于它们学习与对象的所感知表示相关联的滤波器权重的能力，该信息可以被送至ANN中更高级的分层（更接近输出）以细化ANN对于该对象的理解。ANN学习对象的抽象表示形式的能力可以通过增加附加滤波器和分层而被进一步改善。然而，增加滤波器和分层导致计算复杂度有所提高以及相对应的性能（例如，分析图像所需的时间和/或识别/分类对象的准确性）下降。包括一个或多个指定处理器——诸如图形处理单元（GPU）——的强力机器通常被用来实施CNN所需的处理。基于边缘的计算系统的边缘节点是可能并不包括GPU和/或具有相对低的计算资源量的设备，并且因此无法可行地被用来提供综合CNN的处理需求。

在本文所公开的各个实施例中，边缘节点包括具有在通信网络中连接在一起的多个发光设施或发光器的连网照明系统。术语“发光设施”或“发光器”在本文被用来指代特定外形尺寸、组装或封装的一个或多个发光单元的实施方式或布置。术语“发光单元”在本文被用来指代包括相同或不同类型的一个或多个光源的装置。给定发光单元可以具有针对（多个）光源、壳体/外壳布置和形状和/或电气和机械连接配置的各种安装布置中的任何一种。此外，给定发光单元可选地可以与涉及（多个）光源的操作的各种其它组件（例如，控制电路）相关联（例如，包括、与之耦合和/或与之封装在一起）。

术语“光源”应当被理解为是指任意一个或多个的各种辐射源，包括但并不局限于基于LED的源（包括一个或多个如以上所定义的LED）、白炽源（例如，灯丝灯、卤素灯）、荧光源、磷光源、高强度放电源（例如，钠蒸气、水银蒸气和金属卤化物灯）、激光、其它类型的电致发光源、火致发光源（例如，火焰）、烛光发光源（例如，汽灯罩、碳弧辐射源）、光致发光源（例如，气体放电源）、使用电子饱和的阴极发光源、电流发光源、晶体发光源、显像管发光源、热发光源、摩擦发光源、声致发光源、辐射发光源和发光聚合体，但并不局限于此。

如这里所使用的术语“网络”是指促进耦合至网络的任意两个或更多设备之间和/或多个设备之间的信息传输（例如，用于设备控制、数据存储、数据交换等）的两个或更多设备（包括控制器或处理器）的任意互连。如应当很容易意识到的是，适于将多个设备进行互连的网络的各种实施方式可以包括任意的各种网络拓扑并且采用任意的各种通信协议。此外，在根据本公开的各种网络中，两个设备之间的任意一个连接可以表示两个系统之间的专用连接，或者可替换地表示非专用连接。除了承载意在用于两个设备的信息之外，这样的非专用连接可以承载并非必然意在用于两个设备中的任一个的信息（例如，开放式网络连接）。此外，应当很容易意识到的是，如这里所讨论的各种设备网络可以采用一个或多个无线、有线/线缆和/或光纤链路来促进贯穿网络的信息传输。

在各种实施方式中，处理器或控制器可以与一个或多个存储媒体（在这里一般被称作“存储器”，例如易失性和非易失性计算机存储器，诸如RAM、PROM、EPROM和EEPROM、软盘、紧致盘、光盘、磁带等）相关联。在一些实施方式中，存储媒体可以利用一个或多个程序进行编码，当在一个或多个处理器和/或控制器上执行时，该程序实施这里所讨论的至少一些功能。各种存储媒体可以固定在处理器或控制器之内或者可以是可转移的，以使得其中所存储的一个或多个程序能够被加载到处理器或控制器中以便实施这里所讨论的本发明的各个方面。术语“程序”或“计算机程序”在这里以一般含义被用来指代能够被用来对一个或多个处理器或控制器进行编程的任意类型的计算机代码（例如，软件或微代码）。

应当意识到的是，以上概念和以下更为详细地讨论的附加概念（假设这样的概念并不互相矛盾）的所有组合形式被构想为这里所公开的发明主题的一部分。特别地，在本公开结尾处出现的请求保护的主题的所有组合被构想为这里所公开的发明主题的一部分。还应当意识到的是，这里明确采用的、也可以出现在通过引用而结合的任意公开中所出现的术语应当赋予与这里所公开的特定概念最为一致的含义。

附图说明

在附图中，同样的附图标记通常贯穿不同视图而指代相同的部分。而且，附图并不必然依比例绘制，而是一般强调图示出本发明的原理。

图1示意性图示了根据本文所公开的一个实施例的对象辨识系统。

图2示意性图示了根据本文所公开的一个实施例的在示例场景中布置的对象辨识系统。

图3是训练和操作诸如图1的系统的对象辨识系统的方法的流程图。

图4是进一步描述根据本文所公开的一个实施例的用于创建经修剪神经网络的修剪例程的流程图。

具体实施方式

本公开描述了具有多个边缘节点的对象辨识系统的各个实施例。更一般地，申请人已经认识且意识到，提供具有修剪应用的集中式服务器会是有利的，所述修剪应用用于基于每个边缘节点实际捕捉的图像中的被识别对象针对每个边缘节点创建定制的经修剪神经网络。采用本公开的某些实施例的特定目标是使得能够在具有有限计算资源的边缘节点上使用神经网络进行准确和实时的图像辨识。

考虑到上文，各种实施例和实施方式涉及尤其是在通信网络中资源受限的边缘节点上经由使用经修剪神经网络所进行的对象辨识来提升行人安全和/或执行监管的系统和方法。该经修剪神经网络由该通信网络的集中式服务器所创建以便针对该服务器上的每个边缘节点进行定制。该经修剪神经网络由通信网络的集中式服务器所创建以便针对该服务器上边缘节点的每一个进行定制。该经修剪神经网络的创建包括识别父神经网络的对象（或类别）的主题并且选择对那些对象作出高度响应的滤波器。对象的子集通过分析在每个边缘节点处实际捕捉的基准图像而被确定，使得该经修剪神经网络专门针对每个特定边缘节点进行定制。此外，基准图像的分析由父神经网络来进行，所述父神经网络是未经修剪、经完全训练而且综合性的。最终，这使得能够根据该父神经网络的结果逐个滤波器地创建较小的神经网络。

由于该父神经网络被用来针对基准图像中的对象提供图像辨识和使得能够滤波器选择，经修剪神经网络的准确性下降最小，但是在推演速度和计算要求下降方面增收益显著。通过针对每个边缘节点部署仅包括与每个具体边缘节点相关的对象子集的经修剪神经网络，能力弱或资源受限的计算设备（例如，消费者电子器件）可以利用最少资源快速地以非常高的准确性检测某些相关对象。

参考图1，在一个实施例中，对象辨识系统10被提供以多个边缘节点12，所述边缘节点12与通过虚线所表示的通信网络15（或者简单的“网络”）的一部分的集中式服务器14进行通信。网络15可以包括任何所期望的有线和/或无线通信技术、协议或标准，包括以蓝牙、Wi-Fi、ZigBee、LTE等或者它们的组合的名义市售的那些技术、协议或标准。边缘节点12可以直接连接至集中式服务器14，或者通过一个或多个其它节点（未图示）间接连接，特别是在通信网络15被体现为无线网状网络的情况下。

每个节点12采用计算机化的设备的通用形式，所述设备包括处理器16、存储器18和网络接口20。处理器16可以采用任何电子电路、控制单元和/或逻辑单元的形式，其被配置为执行由被传输至处理器16的软件指令所指定的操作。处理器16可以是或者包括计算行业中已知或已研发的任何集中式处理器（CPU）或图形处理单元（GPU）。处理器16所执行的软件（例如，应用、程序、编程代码等）以及由处理器执行的操作所产生或者在所述操作期间被使用的数据可以被存储在存储器18中。网络接口20可以包括发射器、接收器、无线电，或者使得边缘节点12能够在网络15上进行通信所需的任何其它硬件或软件组件。

虽然仅图示了三个边缘节点12，但是所要理解的是，可以包括任何数量的三个边缘节点12。边缘节点12与集中式服务器14的通信可以直接完成，或者经由一个或多个中间节点（边缘节点或其它）间接完成，所述中间节点进行操作以在边缘节点12和集中式服务器14之间转发或中继通信。

每个节点12被提供以相机22。相机22可以是或者包括能够捕捉一个或多个图像——静态拍摄或视频——的任何设备。每个相机22的功能性可以由相对应的处理器16以及相对应存储器18所存储的图像所支持。例如，处理器16可以被部署为使得它们的相应相机22以规律间隔（例如，每分钟或者每隔其它时间单位一次）拍摄照片，响应于所感应到的触发条件或事件（例如，检测到移动）拍摄照片，或者以任何其它所期望的方式拍摄照片。

每个边缘节点12还被提供以人工神经网络24（可互换地，“ANN”或简单的为“神经网络”）。神经网络24可以包括根据任何已知或所公开范例的软件和/或硬件组件。特别地，能够应用于本文所公开实施例的神经网络被配置为分析（例如，相机22所捕捉的）图像，检测该图像中的对象并对其进行分类。为此，ANN 24可以包括安装在存储器18上的能够由处理器16所执行的软件。在一个实施例中，ANN 24采用卷积神经网络（CNN）的形式，因为CNN在被用于图像辨识时已经表现出特别出色的结果。适当CNN的示例包括AlexNet、ImageNet、微软上下文中常见的对象 (COCO)等，但是其它示例也可以被使用。

在一个实施例中，系统10是或者包括连网或“智能”照明系统，其包括作为被联网在一起的多个发光器的节点12。由于照明系统的发光器并非始终都主动计算（例如，发光器在并未接收或实施具体指令时通常是空闲的），所以连网照明系统提供了能够被投入以供ANN 24所使用的闲置计算资源。此外，连网照明系统有利地被安装或者能够被安装在能够从监视或监控获益的各种位置，例如在建筑物中、房间、城市景观、道路、交通路口、公园、田野、室内、室外，等等。

在一个实施例中，系统10被布置为监视一个位置以提供有所提升的行人安全。例如，系统10可以被用来检测在诸如交通路口之类的位置车辆和/或行人的出现。在这样的实施例中，系统10可以被布置为基于计算得到的所辨识车辆和/或行人的邻近度或接近度来检测诸如接近相撞（near-crash）之类的事件。系统10还可以通过辨识行人、车辆或其它对象的出现或位置来识别其它危险或麻烦的情形。例如，系统10可以确定车辆是否未停留在停止标志处，路口是否将受益于增加的交通控制设备（例如，交通灯、停止标志），行人是否使用非指定区域过马路，等等。如果检测到这样的危险或麻烦的情形，则系统10可以被布置为通过网络15向指定计算机、系统、地址（例如，电子邮件地址）或者负责交通安全的人员发送信号（例如，消息或警告）。

在另一个实施例中，系统10是自行驾驶或交通管理系统，其中每个节点12采用汽车或者用于汽车的配件（例如，行车记录仪、倒车摄像头等）的形式。在一个实施例中，系统10被布置用于诸如银行、仓库、政府建筑物等的建筑物，并且被布置为识别表明入侵或安全威胁的对象或个人。在一个实施例中，系统10被用于监视特定环境栖息地的野生动物。本领域技术人员将很容易认识到系统10的多种其它用途。

集中式服务器14是使得集中式服务器14能够为网络15、边缘节点12或者网络15上的其它设备或节点提供功能性的软件和/或硬件的任意组合。在一个实施例中，集中式服务器14包括处理器26、存储器28和网络接口30，它们总体上分别类似于处理器16、存储器18和网络接口20。然而，边缘节点12的计算资源与集中式服务器14的计算资源相比是相对有限的。也就是说，处理器16的速度、存储器18的数据存储大小等明显小于集中式服务器14的相对应组件。在一个实施例中，集中式服务器14是或者包括“云端”或者能够从基于云的计算解决方案获得的一组计算机或计算资源。因此，集中式服务器14可以执行无法由边缘节点12可行地执行的复杂计算任务。

由于边缘节点12相对有限的计算能力，以及如下文更详细讨论的，所公开实施例中的ANN 24均是集中式服务器1414所包括的父ANN 32的修剪版本。为此，集中式服务器14可以包括修剪应用34，其被部署用于将经修剪的ANN委派给每个边缘节点12，并且ANN 24可以被称作是“经修剪的”。父ANN 32可以采用以上所提到的任意形式，诸如CNN，或者根据能够检测图像中的对象并对其进行分类的另一种深度学习模型的ANN。

在当前实施例中已经认识到的是，每个边缘节点12位于特定的物理位置，并且因此相机22仅捕捉对应于与边缘节点中特定的一个相关联的地理区域的图像。例如，图2图示了可以受益于当前所公开实施例的一种示例情形，其中边缘节点12各自是连网照明系统中的发光器（例如，街灯、灯柱、交通灯等）。图2中边缘节点12中的每一个被提供以附加至数字12的字母标识符（即，‘a’、‘b’、‘c’、‘d’）从而促进关于不同的边缘节点12的讨论。图2的情形包括被布置为观察道路路口的边缘节点12中的三个（边缘节点12a、12b和12c），以及被布置为观察通过公园的人行道边缘节点12中的一个（边缘节点12d）。

对应于边缘节点12的每个相机22具有某个视场，通常是从该相机延伸的圆锥体的形式。图2中图示了对应于边缘节点12a的相机的视场35。因此，该视场35定义了对应于边缘节点12a的地理区域。其它边缘节点12中的每一个将包括定义对应于边缘节点12中各个相应边缘节点的地理位置的类似视场。必要情况下，每个边缘节点12的相机所捕捉的图像对应于由对应于该相机的视场所界定的地理区域。

预期处于不同位置的不同边缘节点将会遇到不同的对象，并且不会有边缘节点将遇到综合ANN——例如父ANN 32——已经针对其进行过训练的所有对象（例如，当前ANN可以针对超过一千个不同对象类别进行过训练）。例如，边缘节点12d（其俯瞰公园中的人行道）可以看到通常在公园中发现的对象，诸如狗、人、骑车者或者球。作为对比，俯瞰交通路口的边缘节点12a可以看到诸如小汽车、卡车、摩托车等的对象。图2的场景中的任何边缘节点12a-12d都不太可能会遇到对应于当前ANN已经针对其进行过训练的全体分类的甚至一部分的对象，诸如各种异域动物（例如，黄貂鱼、北极熊等）、食品（例如，香蕉、菠萝等）、家居对象（例如，厕纸、电视机等）。由于边缘节点可能在任何位置提供，所以遇到的对象将随着边缘节点的不同而大幅变化。具有被定位而俯瞰北极景观的相机的边缘节点可能永远不会看到小汽车（就如同边缘节点12a-12d永远不会看到北极熊那样），但是确可以用来帮助识别和追踪北极熊种群（就如同边缘节点12a-12d可以被用来跟踪交通流量那样）。

图3中提供了方法40，其使得每个边缘节点12的ANN 24能够基于在相对应边缘节点的相机22处实际捕捉的图像而针对每个特定边缘节点12进行定制。该定制导致仅与每个边缘节点12实际遇到的对象相对应的那些滤波器才被包括在该边缘节点的ANN 24中。以这种方式，方法40可以被认为是“自下而上的”修剪方法，原因在于所选择的滤波器基于在每个边缘节点处的相机所捕捉的实际图像中被识别的对象被确定，并且经修剪的ANN 24是仅使用这些滤波器在逐个滤波器的基础上所构建的。这导致每个ANN 24针对其相对应的边缘节点而以可定制的方式得以精简。

方法40在步骤42处开始，在步骤42中针对每个相关边缘节点12，由该边缘节点12的相机22捕捉多个图像（它们在本文被称作基准图像）。如考虑上文而应当意识到的，基准图像的重要目的是创建在每个边缘节点12的地理邻近度内实际遇到的对象的主题。因此，应当在充分时间周期上采集基准图像从而采集对应于每个边缘节点12的地理区域中的不同对象的代表性样本。在一个实施例中，这以至少数天的周期来进行。

在步骤44，基准图像被发送至集中式服务器14。随后在步骤46，基准图像被集中式服务器14的父ANN 32进行分析。随后在步骤48，基于在步骤46的分析中识别出的被识别对象/滤波器创建父ANN 32的修剪副本（即，ANN 24之一）。经修剪的ANN 24随后在步骤50被发送至原本捕捉该基准图像的边缘节点。边缘节点12随后在步骤52实时地捕捉图像，并且在步骤54处使用经修剪的ANN识别该图像中的对象。借助于“实时地”是表示该图像由边缘节点所捕捉并且随后由该边缘节点进行分析，这与被捕捉、发送至另一个设备（诸如集中式服务器14）进行处理，接着结果被传回边缘节点是形成对照。图像的分析可以在图像的捕捉之后立刻进行或者与图像的捕捉同时进行，或者在适当延迟之后进行（例如，在一天中安排的时间或者在边缘节点12检测到其已经进入空闲状态和/或具有可供使用的闲置处理能力时）。

步骤42-50可以被称作或者理解为修剪例程56，而步骤52-51则可以被称作或理解为操作例程58。在一个实施例中，修剪例程56仅在边缘节点12的初始设置时进行一次，而操作例程58则在随后反复且无限期地进行。在一个实施例中，系统10被配置为随时间偶尔地（例如，每周一次、每月一次、每年一次，等等）或者在用户输入（例如，经由从集中式服务器14发出的命令）时运行修剪例程56，以确保边缘节点12的ANN 24保持正确配置（例如，用于从针对父ANN 32所进行的提升而获益，用于容纳每个边缘节点12周围的地理区域中的变化，等等）。

图4图示了根据一个实施例的进一步描述系统10的操作以及方法40的修剪例程56的流程图。依据上文所讨论的方法40中的步骤44，在图4中被指定以附图标记60的基准图像首先被例如从边缘节点12中的一个提供至父ANN 32。父ANN 32随后例如根据步骤46分析该基准图像。除了存储在分析期间所进行的推导之外，父ANN 32可以创建或者将信息传递给被指定以附图标记62的频率图或直方图。频率图62对每个不同对象类别在父ANN 32所进行的分析期间被识别的次数进行统计或计数（tally）。频率图62可以被用来确定在基准图像中被识别（并且因此被捕捉该基准图像的边缘节点实际看到）的对象子集——其被指定以附图标记64。

父ANN 32和子集64随后在步骤66被传输至修剪应用34。修剪应用34可以是特别被配置为执行步骤48——例如被安装在存储器28中并且由处理器26执行——的软件应用。此外，训练图像68可以在步骤69被提供至修剪应用。训练图像68包括子集64中的每个对象的已知或经验证示例。例如，如果“汽车”是子集64中的对象之一，则训练图像68将包含汽车的已知图像。在一个实施例中，训练图像68已经被人类人工审核并标记为属于特定的对象类别。

修剪应用34通过在步骤70经父ANN运行训练图像68来执行步骤48。修剪应用34在步骤72识别对应于训练图像68中的对象的滤波器。在一个实施例中，仅选择例如利用最大响应以充分强烈的方式作出响应的滤波器。所识别的滤波器在步骤74被编译为列表。在步骤76，针对子集64中的每个对象重复该过程。一旦对应于所有对象的基准图像都在步骤76被处理，并且它们相对应的滤波器被识别，则步骤48完成，并且通过仅使用在步骤74中识别的那些滤波器构建经修剪的ANN 24而创建经修剪的ANN 24。经修剪的ANN 24随后在步骤78中通过将经修剪的ANN 24发送至捕捉基准图像60的相对应的一个边缘节点12而被部署。该过程针对每个边缘节点12被单独重复以针对每个边缘节点12定制经修剪的ANN 24。

ANN 24——作为仅根据父ANN 32的所识别滤波器构建的定制的经修剪ANN——使得资源相对有限的边缘节点12能够及时且可行地使用ANN 24对在边缘节点12的相机22所捕捉的图像中识别的对象进行推导。返回参考图2的情形，应当意识到的是，边缘节点12a、12b和12c的ANN如果不是相同的也应当是相似的，原因在于这些边缘节点中的每一个都观察基本上相同的地理区域。然而，边缘节点12d并未观察交通路口，并且因此其经修剪的ANN可能与边缘节点12a、12b和12c的经修剪的ANN并不相似。有利的是，每一个边缘节点12的ANN因此被定制从而使得每个边缘节点12能够在不牺牲ANN 24的准确性的情况下获得最大计算速度。

同样返回参考图2，可以关于边缘节点12a、12b和12c意识到另外的实施例。也就是说，这些节点均观察相似的区域，也就是所图示的交通路口。对应于边缘节点12a、12b和12c中的每一个的对象子集（例如，子集64）被预期是相似的（因为全部都观察相同区域）并且因此能够被进一步划分，使得边缘节点12a、12b和12c中的每一个仅负责该对象子集的一部分。例如，如果对应于节点12a、12b和12c的对象子集包括“汽车”、“行人”和“摩托车”，则边缘节点12a的ANN可以被构建为仅包括对应于“汽车”部分的滤波器，而边缘节点12b的ANN仅包括“行人”的滤波器，并且边缘节点12c的ANN应当被构建为仅包括对应于“摩托车”的滤波器。由于边缘节点12是例如网络15的通信网络的一部分，所以边缘节点12a、12b和12c可以将它们各自分析的结果进行彼此交流。

虽然本文已描述和图示了几个发明性实施例，但本领域技术人员将容易设想用于执行功能和/或获取本文描述的结果和/或一个或多个优点的各种各样其他装置和/或结构，并且这样的变例和/或修改中的每一项被看作为在本文描述的发明性实施例的范围内。更一般地，本领域技术人员将容易领会，本文描述的所有参数、尺度、材料、和配置都意味着是示例性的，以及实际的参数、尺度、材料、或/或配置将取决于本发明性技术被用于的特定一个或者多个应用。本领域技术人员将认识或能够通过使用不多于例程的实验，确认对于本文描述的特定发明性实施例的许多等价物。因此，应当理解，上述的实施例仅仅作为示例呈现，以及在所附权利要求及其等价物的范围内，本发明性实施例可以以不同于具体描述和要求保护的那样被实践。本公开内容的发明性实施例针对本文描述的每个单独的特征、系统、物品、材料、套件、和/或方法。另外，两个或更多个这样的特性、系统、物品、材料、套件、和/或方法的任何组合都被包括在本公开内容的发明性范围内，如果这样的特性、系统、物品、材料、套件、和/或方法不是互相不一致的话。

如本文定义的和使用的所有定义应当被看作为控制了字典定义、在此作为参考引用的文档中的定义和/或所定义术语的普通意义。

如本文在说明书和权利要求中使用的不定冠词“一”或“一个”应当被看作为是指“至少一个”，除非明确指出是相反的。

如本文在说明书和权利要求中使用的词组“和/或”，应当被理解为是指这样结合的元素的“任一个或二者”，即，在某些情况下共同存在和在其他情况下分离地存在的元素。通过“和/或”列出的多个元素应当以相同方式解读，即，这样结合的元素的“一个或多个”。除了由“和/或”子句具体标识的元件以外的其他元件可以可选地存在，不管与具体地标识的那些元件有关还是无关。因此，作为非限制性示例，对于“A和/或B”的引用，当结合诸如“包括”那样的开放式语言被使用时，在一个实施例中指只有A（可选地包括除了B以外的元素）；在另一个实施例中指只有B（可选地包括除了A以外的元素）；以及在再一个实施例中指A和B（可选地包括其他元素）等等。

如本文在说明书和权利要求中使用的，“或”应当被理解为具有与上面定义的“和/或”相同的意义。例如，当分开列表中的项目时，“或”或“和/或”应当被解译为包括性的，即，包括在许多元素或元素列表中的至少一个，但也可以包括多于一个的元素，以及可选地，包括另外未列出的项目。明确指示相反的术语，诸如“仅仅一个”或“正好一个”，或当在权利要求中用时的“由…组成”将指包括在许多元素或元素列表中的刚好一个元素。一般地，如在本文使用的术语“或”当处于诸如“任一项”、“一个”、“仅一个”或“正好一个”那样的排除性术语的前面时，将只被解译为指示排除性替换项（即，“一个或另一个，但不是二者”）。当在权利要求中使用时，“基本上由…组成”将具有如其在专利法领域中使用的普通意义。

如本文在说明书和权利要求中使用的，词组“至少一个”在对一个或多个元素的引用时应当被理解为是指从在元素列表中的元素中的任何一个或多个元素中选择的至少一个元素，但不一定包括在元素列表内具体地列出的每个元素的至少一个元素，以及不排除在元素列表中的元素的任何组合。这个定义也允许除了对于词组“至少一个”所指的在元素列表内具体地标识的元素以外的元素可以可选地存在，无论与具体地标识的那些元素有关还是无关。因此，作为非限制性示例，“A和B的至少一个”（或，等价地，“A或B的至少一个”，或，等价地，“A和/或B的至少一个”）可以是：在一个实施例中指代至少一个（可选地包括多于一个的）A，并且不存在B（和可选地包括除了B以外的元素）；在另一个实施例中，指代至少一个（可选地包括多于一个的）B，并且不存在A（和可选地包括除了A以外的元素）；在再一个实施例中，指代至少一个（可选地包括多于一个的）A，和至少一个（可选地包括多于一个的）B（和可选地包括其他元素）等等。

还应当理解，除非明确指示相反，在本文所要求保护的包括多于一个的步骤或动作的任何方法中，所述方法的步骤或动作的次序不一定限于所述方法的步骤或动作被引述的次序。

在权利要求以及以上说明书中，诸如“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“持有”、“由…组成”等之类的所有过渡短语要被理解为是开放式的，即意味着包括但并不局限于此。如美国专利局的专利审查程序手册第2111.03节中所提出的，仅过渡短语“由…构成”和“基本上由…构成”应当分别是封闭或半封闭的过渡短语。

Claims (15)

1.一种对象辨识的方法，包括步骤：

利用与通信网络（15）上的边缘节点（12）相关联的相机（22）捕捉多个基准图像（60）；

利用所述通信网络上的集中式服务器（14）接收所述基准图像；

利用所述集中式服务器的父神经网络（32）分析所述基准图像以确定所述基准图像中由所述父神经网络识别的对象子集（64）；

在所述父神经网络中选择对所述对象子集作出响应的一个或多个滤波器；

根据所述选择步骤所产生的一个或多个滤波器创建经修剪神经网络（24）；

将所述经修剪神经网络部署到所述边缘节点；

利用所述边缘节点的相机捕捉实时图像；和

利用所述经修剪神经网络识别所述实时图像中的对象。

2.根据权利要求1所述的方法，其中所述方法针对各自连接至所述通信网络的多个边缘节点中的每一个被执行。

3.根据权利要求2所述的方法，其中第一边缘节点（12a）和第二边缘节点（12b）的相机被配置为观察共同的地理区域，所述方法进一步包括将所述对象子集划分为第一部分和第二部分，使得所述第一边缘节点的经修剪神经网络根据对应于所述第一部分的那些滤波器创建，和所述第二边缘节点的经修剪神经网络根据对应于所述第二部分的那些滤波器创建。

4.根据权利要求2所述的方法，其中边缘节点中的每一个包括连网照明系统的发光器（12a-12d）。

5.根据权利要求4所述的方法，其中所述连网照明系统包括一个或多个灯柱、街灯或交通灯，并且其中所述方法被用来提升行人安全。

6.根据权利要求1所述的方法，其中所述父神经网络和经修剪神经网络是卷积神经网络（CNN）。

7.根据权利要求1所述的方法，其中所述选择步骤包括利用所述父神经网络分析多个已知训练图像（68）。

8.根据权利要求1所述的方法，其中选择一个或多个滤波器包括选择对已知训练图像展现出最大响应的滤波器。

9.根据权利要求1所述的方法，其中所述多个基准图像由一个或多个视频所形成。

10.根据权利要求1所述的方法，其中所述分析包括通过对每个对象类别被所述父神经网络识别的次数进行计数而创建频率图（62），和根据所述频率图确定对象子集。

11.一种用于具有多个边缘节点（12）的通信网络（15）的对象辨识系统（10），包括：

用于所述通信网络的集中式服务器（14），所述集中式服务器具有：

父神经网络（32），其被配置为分析所述集中式服务器从边缘节点中的每一个接收的基准图像以确定对应于边缘节点中的每一个的基准图像中的对象子集（64）；和

修剪应用（34），其被配置为选择所述父神经网络中对于对象的每个子集作出响应的一个或多个滤波器，并且针对边缘节点中的每一个根据对应于每个特定边缘节点的一个或多个滤波器创建经修剪神经网络（24）。

12.根据权利要求11所述的系统，其中所述边缘节点包括一个或多个发光器。

13.根据权利要求12所述的系统，其中所述一个或多个发光器包括一个或多个灯柱、街灯或交通灯。

14.根据权利要求13所述的系统，其中所述系统被实施以提升行人安全。

15.根据权利要求11所述的系统，其中所述集中式服务器包括存储器和处理器，并且所述父神经网络和所述修剪应用被安装在所述存储器中并且由所述处理器执行。

Images