CN111656356A - 利用分布式神经网络的对象识别系统 - Google Patents

Abstract

本发明涉及一种利用分布式神经网络的对象识别系统，其中该神经网络的资源密集部分设置在基站上(位于地面上)，而该神经网络的资源密集度较低的部分，特别是该神经网络的其余部分，设置在前端(例如远程控制交通工具)上。由此可以减少前端方以及基站与前端之间的数据传输的技术工作量。

Description

利用分布式神经网络的对象识别系统

技术领域

本发明涉及一种利用分布式神经网络的对象识别系统。

背景技术

基本上，经典卷积神经网络(Convolutional Neural Network-CNN)的结构由一个或多个卷积层组成，然后是池化层。这种单元原则上可以重复任意多次；在重复足够多次的情况下就称之为深度卷积神经网络，属于深度学习领域。

用于高分辨率视频中的实时对象识别的卷积神经网络需要足够的计算能力、存储空间和特殊的复杂图形模块的支持。上述计算机资源通常有相当大的功率需求和空间需求，并且相应地也很沉重。

在中小型远程控制交通工具(在此特别是无人驾驶飞行器)上，对于尺寸、重量和功率需求的要求可能无法得到满足。

另一个问题是这种解决方案在交通工具上的成本。对于中小型交通工具，这既针对单位成本，也针对未来改进的成本。

此外，必须通过例子来训练这样的网络，并且在训练阶段之后(无反馈)不能独立地继续学习。

发明内容

本发明的任务在于，提出一种利用神经网络技术的实时对象识别，用于具有有限计算机资源和有限链路带宽的远程控制交通工具。对此，应借助于分布式网络来改进利用神经网络技术的实时对象识别。此外，在特定情况下，应当实现已训练神经网络的连续自动的继续学习。

该任务通过具有权利要求1的特征的系统来实现。在从属权利要求中给出了有利的实施方案。

在利用分布式神经网络进行对象识别的系统中，神经网络的资源密集部分转移到了基站(地面上)，该基站在大小、重量和功耗方面没有明显限制，而在前端(例如远程控制交通工具)仅处理特征映射或表征。

在一个变形方案中，高性能神经网络可以设置在基站(位于地面上)上，而较低性能神经网络则可以设置在前端上，特别是在交通工具，例如飞行器上。

在此，可以在前端上设置高分辨率摄像机设备，以生成高分辨率视频。前端方神经网络可以设计用于在视频中识别和标记“感兴趣的”图像区域。“感兴趣的”图像区域在此应理解为包含特征(根据对象识别使命的任务)的图像区域，该特征有可能可以表明待识别对象，但是最终的评估和表征尚不可行。

可以设置视频处理设备，用于基于先前识别的感兴趣的图像区域选择和定义ROI(“Region of Interest”感兴趣区域)，并将该ROI编码到视频中。在这方面，ROI是先前表征为“感兴趣的”图像区域的区域的延续。

此外，可以设置数据无线连接，用于将视频从视频处理设备传输到基站。

基站方神经网络可以设计用于评估从接收到的视频中提取的ROI，并识别ROI中存在的对象。在基站中，从接收到的视频中提取ROI，并将其提供给神经网络。

基站方神经网络设计得比前端方神经网络要深得多。因此基站方的神经网络可以有近乎无限的资源用于分析和对象识别。最后，委托AI计算机(人工智能)重新编译整个视频，并特别是补充由基站方神经网络所识别的对象。视频可以包含具有新对象边界和已识别对象的分类的ROI以及未编码为ROI的其他区域的符号。

可以设置显示设备，用于显示由基站方神经网络识别的对象或由此产生的视频。

可以设置用于改变系统参数的操作设备；其中，至少一个参数选自以下组：

+ROI的位置

+ROI的大小

+对ROI的评估

+ROI的显示

+定义新的ROI

+确定彩色显示还是黑白显示

借助该操作设备，地面上的操作员可以动态改变显示。

此外，提出一种用于对象识别的方法，其包括以下步骤：

-在基站上装备高性能神经网络；

-在前端上装备较低性能神经网络；

-在前端生成高分辨率视频；

-通过前端方神经网络识别视频中的感兴趣的图像区域并标记这些图像区域；

-基于先前识别的感兴趣的图像区域选择和定义ROI(“Region of Interest”感兴趣区域)，并将这些ROI编码到视频中。

-从前端向基站传输该视频；

-从接收到的视频提取ROI；

-通过基站方神经网络评估所提取的ROI并识别这些ROI中存在的对象。

由此可以减少前端方以及基站与前端之间的数据传输的技术工作量。

建议的解决方案有助于改进所有利用视频处理方式(例如远程控制应用程序)寻址对象识别的系统。

这样的系统例如可以用于无人驾驶飞行器(例如无人机)。应用领域之一可以是无人机辅助的自然灾害受害者搜索。无人机就可以借助于分配在无人机自身和基站上的神经网络形式的人工智能，寻找和识别需要帮助的受害者。以这种方式可以大大简化并加快救助服务的工作。

附图说明

下面借助实施例参照附图说明本发明。其中：

图1示出了对象识别系统的示意图，分为特征映射层和全连接层；

图2示出了图1的图表的不同表示形式；

图3示出了特征映射层和全连接层中的学习参数的比例的概况的表格；

图4以另一表示形式示出了对象识别系统；

图5再以另外的表示形式示出了对象识别系统；

图6示出了对象识别系统的变形。

具体实施方式

提出的解决方案允许将神经网络的资源密集部分转移到基站(地面上)，该基站在大小、重量和功耗方面没有明显限制。

另一方面，在前端(例如远程控制交通工具)仅处理特征映射或表征(见图1和2)。

如图3中的表格所示，网络的后续的“全连接”部分中的学习参数数量大大增加，而特征映射层(卷积和池化层)中的参数数量却很少。

同时，像素/数据数量减少到原始(视频)图像的最小部分。

信息在特征映射层和“全连接层”之间序列化，即高度和宽度＝1，且深度对应于上一层的场/像素的最大数量。

该解决方案设置为，在“传输参数”数量最小的位置(例如在“卷积层”和“全连接层”之间)将网络分为在交通工具中保留的部分和基站中的部分。全连接的巨大连接数和相关参数的巨大数量就可以通过基站的计算机实现，而具有少量学习参数的卷积层和池化层则在交通工具上计算。

取代压缩视频流的数兆字节/秒的传输(时常由于数据链路的带宽波动而无法提供稳定的图像质量)，所说明的方法仅需要进行千字节/秒范围内的传输，即使对于高分辨率视频中的对象识别也是如此。

所说明的分为两个部分(例如基站、交通工具)的对象识别的方法原理可以用于持续地改进对象识别的质量(参见图4)，以及实现该技术在计算机资源有限的环境中的使用。

通过使用多个交通工具或附加的固定传感器，可以将不同源的特征表征作为序列化的代表集中到基站，并通过共同的全连接网络进行处理。其前提是同步图像源。

这导致了预测质量的提高，尤其是在对象识别方面。

实现多个并行网络也是可能的，它们从不同的角度或以不同的网络结构来分析相同的对象，或者使用不同的训练图像集进行训练，可以通过比较结果为输出节点相互提供反馈，并由此可以自动地继续学习。

与已知系统相比，所说明的解决方案还可用于远程控制或自动驾驶的中小型交通工具。

该系统也可以根据载具(交通工具)的能力进行继续学习，而无需修改交通工具。改进可以在基站进行(另参见图5)。

与已知系统相比，所说明的解决方案可以从不同角度自动分析对象，并通过通用分类层改进结果(另参见图5)。

图6以功能和操作原理的形式示出了变形方案。下面编号的段落涉及的是图6中的序号(圆圈中的数字)。

(1)为了分析大面积的场景，例如地震后的灾区，以使用无人机为例，除现有的日光传感器和红外传感器外，还配备有群集摄像机。该群集摄像机由多个单独的摄像机(摄像机1-3)组成，它们共同确保了非常宽的视角。以这种方式可以完全覆盖更大的区域或地形。

(2)群集摄像机的各个视频在无人机上的视频处理单元中合并(所谓的“Stitching拼接”)成4k分辨率的单个视频(例如UHD视频)。该视频的规范化(缩放)版本传输到嵌入式神经网络以进行分析和对象识别，而完整的视频则以全分辨率并行传输到视频处理单元。因此，该嵌入式神经网络是前端方的神经网络，即在飞行器(例如无人机)上。

(3)嵌入式神经网络能够识别“感兴趣的”图像区域或对象(例如自然灾害的可能受害者、被毁的房屋等)，并输出所找到的对象的边界的坐标(所谓的“边界框”)以及评估预测概率的相关权重(“得分”)。

由此，该嵌入式神经网络已经可以对得出的视频数据进行一定的预评估，并借助于现有的人工智能标记可能的感兴趣的图像区域或对象。

在此，嵌入式神经网络的计算能力通常不足以以足够的安全性和准确性来鉴别识别为“感兴趣”的图像区域或在那里找到的对象。

(4)由神经网络识别的坐标和概率被视频处理单元用来定义所谓的ROI(ROI-“感兴趣区域”)。ROI的面积可以大于先前定义的对象边界，并且还可以包含多个这种标记。如果例如神经网络识别出了彼此紧挨着的多个“感兴趣的”对象，则这些对象可以合并成一个ROI。

根据概率参数，将最重要的ROI直接编码到视频中，而低概率的区域则可以通过具有颜色代码的符号进行标记。

为了进一步提高压缩率，可以选择以黑白格式传输ROI之外的区域，如图6所示。在相应的无线带宽的情况下，当然也可以完全以彩色格式传输。

(5)通过无人机的数据无线连接将编码视频以符号坐标和ROI的形式发送到地面控制站，然后在那里再次解码。因此，视频具有高分辨率区域(具有ROI)和低分辨率区域(可能只是黑白的)(根据无人机与地面站之间连接的带宽)。

(6)为了对ROI进行详细分析，会自动将这些ROI从视频中剪切并传输到地面支持的神经网络。该网络在具有高性能处理器和多个GPU的专用AI计算机上运行。

地面上的处理最终通过ROI的机制实现，即使在无线带宽波动的情况下，ROI仍提供这些区域的稳定的高质量视频材料。

(7)设置于地面的AI计算机使用的神经网络比飞行器上的机载组件所使用的深得多，并为分析和对象识别提供了近乎无限的资源。

(8)最后，AI计算机在地面的显示单元上显示完整的视频。该视频包含具有新对象边界和已识别对象的分类的ROI以及未编码为ROI的其他区域的符号。

地面上的操作员可以动态更改显示。他例如可以：

·动态移动显示的ROI，和/或

·更改ROI的大小

·选择符号并使其作为ROI显示(得分最低的ROI则消失并成为符号)

·自己定义ROI

·选择彩色显示或黑白显示。

Claims (8)

1.一种利用分布式神经网络的对象识别系统。

2.根据权利要求1所述的系统，其中，

-所述神经网络的资源密集部分设置在基站上(位于地面上)；并且其中，

-所述神经网络的资源密集度较低的部分，特别是所述神经网络的其余部分，设置在前端(例如远程控制交通工具)上。

3.根据权利要求2所述的系统，其中，在所述前端上仅提供或能够处理特征映射或表征。

4.根据权利要求1所述的系统，其中，

-高性能神经网络设置在基站上(位于地面上)；并且其中，

-较低性能神经网络设置在前端上，特别是在交通工具上。

5.根据权利要求4所述的系统，其中，

-在所述前端上设置高分辨率摄像机设备，以生成高分辨率视频；

-所述前端方神经网络设计用于在所述视频中识别和标记感兴趣的图像区域；

-设置视频处理设备，用于基于先前识别的所述感兴趣的图像区域选择和定义ROI(ROI-“Region ofInterest”感兴趣区域)，并将所述ROI编码到所述视频中；

-设置数据无线连接，用于将所述视频从所述视频处理设备传输到所述基站；

-所述基站方神经网络设计用于评估从接收到的所述视频中提取的ROI，并识别所述ROI中存在的对象。

6.根据权利要求5所述的系统，其中，

-设置显示设备，用于显示由所述基站方神经网络识别的对象。

7.根据权利要求4至6中任一项所述的系统，其中，

-设置用于改变所述系统的参数的操作设备；其中，

-至少一个所述参数选自以下组：

+ROI的位置

+ROI的大小

+对ROI的评估

+ROI的显示

+定义新的ROI

+确定彩色显示还是黑白显示。

8.一种用于对象识别的方法，其具有以下步骤：

-在基站上装备高性能神经网络；

-在前端上装备较低性能神经网络；

-在所述前端生成高分辨率视频；

-通过所述前端方神经网络识别所述视频中的感兴趣的图像区域并标记所述图像区域；

-基于先前识别的所述感兴趣的图像区域选择和定义ROI(ROI-“Region of Interest”感兴趣区域)，并将所述ROI编码到所述视频中；

-从所述前端向所述基站传输所述视频；

-从接收到的所述视频提取ROI；

-通过所述基站方神经网络评估所提取的所述ROI并识别所述ROI中存在的对象。

Images