CN112749779A - 神经网络的处理方法及装置、电子设备和计算机存储介质 - Google Patents

神经网络的处理方法及装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN112749779A
CN112749779A CN201911042525.0A CN201911042525A CN112749779A CN 112749779 A CN112749779 A CN 112749779A CN 201911042525 A CN201911042525 A CN 201911042525A CN 112749779 A CN112749779 A CN 112749779A
Authority
CN
China
Prior art keywords
neural network
network layer
image
target network
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911042525.0A
Other languages
English (en)
Inventor
何逸纬
程光亮
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201911042525.0A priority Critical patent/CN112749779A/zh
Publication of CN112749779A publication Critical patent/CN112749779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种神经网络的处理方法及装置、电子设备和计算机存储介质，其中，方法包括：基于图像的标注结果，确定神经网络在对所述图像进行处理时所述神经网络中目标网络层中各通道的权重；其中，所述目标网络层为所述神经网络中的任意一个中间网络层；根据所述目标网络层中各通道的权重以及所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果。本公开实施例可以加强神经网络的可解释性，使神经网络的信息能够被更好的使用。

Description

神经网络的处理方法及装置、电子设备和计算机存储介质
技术领域
本公开涉及计算机视觉技术，尤其是一种神经网络的处理方法及装置、电子设备和计算机存储介质。
背景技术
车道线检测是自动驾驶中最重要的问题之一，需要对第一视角场景做出像素级别的预测。卷积神经网络在车道线检测中具有重要的作用，相比于经典的机器学习方法，基于卷积神经网络的车道线检测方法在预测的准确率上具有很大的提升。
然而，当前基于卷积神经网络的车道线检测方法存在着如下问题：由于神经网络不同于经典的机器学习模型，缺少泛化误差等理论支撑，且难以解释，不利于对检测原理的理解，造成神经网络的信息不能被很好的使用。
发明内容
本公开实施例提供一种神经网络的处理的技术方案。
根据本公开实施例的一个方面，提供一种神经网络的处理方法，包括：
基于图像的标注结果，确定神经网络在对所述图像进行处理时所述神经网络中目标网络层中各通道的权重；其中，所述目标网络层为所述神经网络中的任意一个中间网络层；
根据所述目标网络层中各通道的权重以及所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果。
可选地，所述方法还包括：
根据所述目标网络层的可视化结果以及所述图像，对所述神经网络进行处理。
可选地，所述根据所述目标网络层的可视化结果，对所述神经网络进行处理，包括：
根据所述目标网络层的可视化结果，对所述神经网络的超参数进行调整。
可选地，所述根据所述目标网络层的可视化结果，对所述神经网络进行处理，包括：
根据所述目标网络层的可视化结果，在所述神经网络中加入调整网络结构的模块。
可选地，所述基于图像的标注结果，确定神经网络在对所述图像进行处理时所述神经网络中目标网络层中各通道的权重，包括：
基于由所述图像的标注结果确定的所述神经网络中目标网络层中各通道的特征图的梯度，得到所述目标网络层中各通道的权重。
可选地，所述基于由所述图像的标注结果确定的所述神经网络中目标网络层中各通道的特征图的梯度，得到所述目标网络层中各通道的权重，包括：
基于所述图像的标注结果确定所述目标网络层中各通道的特征图中每个像素的梯度；
基于每个通道的特征图中像素的梯度的平均值，得到所述目标网络层中各通道的权重。
可选地，所述根据所述目标网络层中各通道的权重以及所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果，包括：
根据所述目标网络层中各通道的权重，对所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图进行加权求和；
通过激活函数对所述加权求和的结果进行处理，得到所述目标网络层的特征的可视化结果。
可选地，所述激活函数包括以下中的一种：S型函数、线性整流函数。
可选地，所述神经网络包括多任务神经网络；
所述基于图像的标注结果，确定神经网络在对所述图像进行处理时所述神经网络中目标网络层中各通道的权重，包括：
基于所述图像对应的多种标注结果中的一种标注结果，确定所述多任务神经网络中一个任务分支在对所述图像进行处理时所述任务分支中目标网络层中各通道的权重；其中，所述目标网络层为所述任务分支中任意一个中间网络层；
所述根据所述目标网络层中各通道的权重以及所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果，包括：
根据所述任务分支中目标网络层中各通道的权重以及所述任务分支在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果。
根据本公开实施例的另一个方面，提供一种神经网络的处理装置，包括：
权重确定单元，用于基于图像的标注结果，确定神经网络在对所述图像进行处理时所述神经网络中目标网络层中各通道的权重；其中，所述目标网络层为所述神经网络中的任意一个中间网络层；
可视化获取单元，用于根据所述目标网络层中各通道的权重以及所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果。
可选地，所述装置还包括：
网络处理单元，用于根据所述目标网络层的可视化结果以及所述图像，对所述神经网络进行处理。
可选地，所述网络处理单元，用于根据所述目标网络层的可视化结果，对所述神经网络的超参数进行调整。
可选地，所述网络处理单元，用于根据所述目标网络层的可视化结果，在所述神经网络中加入调整网络结构的模块。
可选地，所述权重确定单元，用于基于由所述图像的标注结果确定的所述神经网络中目标网络层中各通道的特征图的梯度，得到所述目标网络层中各通道的权重。
可选地，所述权重确定单元，用于基于所述图像的标注结果确定所述目标网络层中各通道的特征图中每个像素的梯度；基于每个通道的特征图中像素的梯度的平均值，得到所述目标网络层中各通道的权重。
可选地，所述可视化获取单元，用于根据所述目标网络层中各通道的权重，对所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图进行加权求和；通过激活函数对所述加权求和的结果进行处理，得到所述目标网络层的特征的可视化结果。
可选地，所述激活函数包括以下中的一种：S型函数、线性整流函数。
可选地，所述神经网络包括多任务神经网络；
所述权重确定单元，用于基于所述图像对应的多种标注结果中的一种标注结果，确定所述多任务神经网络中一个任务分支在对所述图像进行处理时所述任务分支中目标网络层中各通道的权重；其中，所述目标网络层为所述任务分支中任意一个中间网络层；
所述可视化获取单元，用于根据所述任务分支中目标网络层中各通道的权重以及所述任务分支在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果。
根据本公开实施例的再一个方面，提供的一种电子设备，包括上述任一实施例所述的装置。
根据本公开实施例的再一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
处理器，用于执行所述可执行指令从而完成上述任一实施例所述的方法。
根据本公开实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现上述任一实施例所述方法的指令。
根据本公开实施例的再一个方面，提供的一种计算机存储介质，用于存储计算机可读指令，所述指令被执行时实现上述任一实施例所述的方法。
基于本公开上述实施例提供的神经网络的处理方法及装置、电子设备和计算机存储介质，基于图像的标注结果，确定神经网络在对所述图像进行处理时所述神经网络中目标网络层中各通道的权重；其中，所述目标网络层为所述神经网络中的任意一个中间网络层；根据所述目标网络层中各通道的权重以及所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果，利用对图像处理的神经网络的中间网络层进行可视化输出结合处理的图像，对神经网络的中间层的结果进行监测，并解释中间层的作用，从而加强神经网络的可解释性，有利于对检测原理的理解，可以使神经网络的信息能够被更好的使用。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开实施例提供的神经网络的处理方法的一个流程示意图；
图2A至图2C为本公开实施例提供的神经网络的处理方法的一个应用示例的示意图；
图3为本公开实施例根据标注结果得到目标网络层中各通道的权重的流程示意图；
图4为本公开实施例通过激活函数得到神经网络的可视化目标结果的流程示意图；
图5为基于用于语义分割的神经网络实现本公开实施例提供的方法车道线检测的一个示意图；
图6A至图6C本公开实施例提供的方法应用于车道线检测的另一个示例的示意图；
图7为本公开实施例提供的神经网络的处理方法的另一流程示意图；
图8A至图8C为本公开实施例提供的方法应用于车道线检测的又一个示例的示意图；
图9为本公开实施例提供的神经网络的处理装置的一个结构示意图；
图10为本公开实施例提供的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、第三程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本公开实施例提供的神经网络的处理方法的一个流程示意图。该方法可以由终端设备执行，例如：车载电脑、手机、机器人等移动终端设备。如图1所示，该方法包括：
102，基于图像的标注结果，确定神经网络在对图像进行处理时所述神经网络中目标网络层中各通道的权重。
其中，目标网络层为神经网络中的任意一个中间网络层。
在本公开实施例中，神经网络可以为训练好的神经网络，例如：神经网络可以为规模较小的神经网络，以便于在移动终端设备上使用，但本公开实施例对此不作限定。可选地，神经网络可以为卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep Neural Network，DNN)等，本公开实施例对神经网络的类型不作限定。可选地，神经网络的网络结构可以根据车道线检测任务设计，或者可以采用现有的网络结构的至少一部分，例如：SqueezeNet、MobileNet或ShuffleNet等轻量型网络结构，本公开实施例对神经网络的网络结构不作限定。在一个可选的例子中，神经网络可以为用于实现语义分割的全卷积神经网络(Fully convolutional networks，FCN)。
在本公开实施例中，神经网络处理图像的任务可以为任意任务，如，结构化任务或非结构化任务等。可选地，以车道线的检测为例时，图像的标注结果可以为车道线的位置信息等，图像可以为道路图像，其中，道路图像可以为图像采集设备采集的图像，例如：图像采集设备可以摄像头、照相机、摄像机、摄像模块、照相单元等中的至少一种，本公开实施例对图像采集设备的类型不作限定。可选地，在采集道路图像前可以先对图像采集设备的畸变进行校准，例如：利用棋盘图计算图像采集设备畸变的校正参数，再将校正参数应用到图像采集设备采集的道路图像，对道路图像进行校正，本公开实施例对实现道路图像畸变校正的方法不作限定。可选地，在获得图像采集设备采集的道路图像后，可以先对道路图像进行预处理，然后基于神经网络对预处理后的道路图像进行车道线检测。可选地，预处理可以包括下列处理中的至少一种：去噪处理、增强处理、裁剪处理、尺度调整、亮度调整等。例如，神经网络对输入图像的尺寸有要求，此时，如果图像采集设备采集的车道图像的尺寸符合神经网络对输入图像的尺寸要求，可以将从图像采集设备采集的车道图像直接输入神经网络，而如果图像采集设备采集的车道图像的尺寸与神经网络对输入图像的尺寸要求不符，可以对图像采集设备采集的车道图像进行尺寸调整处理后再输入神经网络，本公开实施例对预处理的实现方式不作限定。
在一个可选示例中，神经网络对道路图像进行处理，得到的车道线检测结果可以为以结构化信息描述的车道线，例如：可以包括车道线的边缘、距离、角度等之间具有相关性的信息，但本公开实施例对此不作限定。本公开实施例的方法实现了结构化输出任务的神经网络可视化，使得可视化技术不只局限于图像级别的预测问题，同时也适用于像素级别的预测问题。
可选地，可以根据对神经网络可视化的需求，在神经网络中确定可视化的目标网络层，例如：目标网络层可以为神经网络中的任意一个或多个网络层，然后根据基于神经网络得到车道线检测结果，确定神经网络中目标网络层中各通道的权重。例如，可以根据车道线检测结果对目标网络层中各通道的特征图的梯度，确定目标网络层中各通道的权重。再例如，可以根据车道线检测结果通过预设函数，确定目标网络层中各通道的权重，本公开实施例对确定目标网络层中各通道的权重的实现方式不作限定。
104，根据目标网络层中各通道的权重以及神经网络在对图像进行处理时目标网络层中各通道的特征图，确定目标网络层的特征的可视化结果。
在本公开实施例中，可以根据目标网络层中各通道的权重，对神经网络在对图像进行处理时目标网络层中各通道的特征图进行处理(例如，加权求和等)，得到该目标网络层的特征的可视化结果。可选地，可以根据目标网络层中各通道的特征图加权求和的结果，直接得到该目标网络层的特征的可视化结果；或者可以在得到目标网络层中各通道的特征图加权求和的结果后，对目标网络层中各通道的特征图加权求和的结果进行处理，根据处理后的加权求和的结果得到该目标网络层的特征的可视化结果，本公开实施例对根据目标网络层中各通道的权重得到目标网络层的可视化目标结果的实现方式不作限定。可选地，目标网络层的特征的可视化结果可以是一张热力图，其中通过不同颜色来区分关注的焦点，与神经网络处理的图像结合对比，即可确定关注的焦点；例如，得到的可视化结果为车道图像的热力图结合车道图像的原图的形式展现，例如：对于图像中重点关注的区域以偏红色显示，对于图像中关注较少的区域以偏蓝显示，或对于图像中重点关注的区域以较深颜色显示，对于图像中关注较少的区域以较浅颜色显示，或者对于图像中重点关注的区域以较浅颜色显示，对于图像中关注较少的区域以较深颜色显示等。
基于本公开实施例提供的神经网络的处理方法，基于图像的标注结果，确定神经网络在对所述图像进行处理时所述神经网络中目标网络层中各通道的权重；其中，所述目标网络层为所述神经网络中的任意一个中间网络层；根据所述目标网络层中各通道的权重以及所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果，利用对图像处理任务的神经网络的中间网络层进行可视化输出结合处理的图像，对神经网络的中间层的结果进行监测，并解释中间层的作用，从而加强神经网络的可解释性，有利于对检测原理的理解，可以使神经网络的信息能够被更好的使用，可以应用于车道线检测等场景感知的相关任务。同时，本公开实施例的方法并不需要对图像处理任务的神经网络重新进行训练，只需要利用图像的标注结果就可以得到神经网络的中间网络层的可视化输出，可以高效、快捷的得到神经网络的可视化目标结果。
如图2A至图2C所示，图2A至图2C为本公开实施例提供的神经网络的处理方法的一个应用示例的示意图，该实施例中图像为车道图像，对应的处理任务为车道线检测任务，其中，图2A至图2C均为根据本公开实施例提供的神经网络的处理方法获得的热力图结合原图的车道线检测的可视化目标结果，并且由图2A至图2C对应的网络层在神经网络中的层数逐渐加深，在图2A至图2C的可视化目标结果中，以同一颜色的不同深度表示图像中不同的关注度，例如，从图2A中可以看到，由于层数相对较浅，即离神经网络的输入端较近，网络层的关注点较散，车道线附近的区域非常模糊；从图2B中可以看到，随着层数的加深，网络层的关注点逐渐聚焦于车道线上，车道线区域附近的区域逐渐清晰；从图2C中可以看到，随着层数的进一步加深，网络层的关注点已经基本完全聚焦于车道线上，车道线已经基本完全清晰；可见随着神经网络网络层的深度逐渐加深，神经网络将逐渐聚焦于目标像素。因此，根据本公开实施例的神经网络的处理方法，得到的车道检测任务的神经网络中任意网络层的可视化结果，可以利用神经网络中不同网络层的可视化结果，对神经网络实现车道检测的过程进行解释，从而有利于对神经网络实现车道检测的原理的理解。
在一些实施例中，步骤102基于图像的标注结果，确定神经网络在对图像进行处理时神经网络中目标网络层中各通道的权重，可以基于图像的标注结果确定的神经网络中目标网络层中各通道的特征图的梯度，得到目标网络层中各通道的权重。下面将结合图3所示的例子，详细描述根据车道线检测结果得到目标网络层中各通道的权重的流程。
如图3所示，其包括：
302，基于图像的标注结果确定目标网络层中各通道的特征图中每个像素的梯度。
可选地，可以利用目标网络层中每个通道的特征图，通过图像的标注结果对目标网络层中每个通道的特征图中的每个像素进行求导，得到目标网络层中每个通道的特征图中每个像素的梯度。例如：图像的标注结果为特征向量，可以通过该特征向量对目标网络层中每个通道的特征图中的每个像素进行求导(也就是对图像的标注结果进行反向回传求导)，得到目标网络层中每个通道的特征图中每个像素的梯度。
304，基于每个通道的特征图中像素的梯度的平均值，得到目标网络层中各通道的权重。
可选地，在得到目标网络层中每个通道的特征图中每个像素的梯度后，可以针对每个通道的特征图计算特征图中所有像素的梯度的平均值，从而得到目标网络层中每个通道的特征图的梯度，目标网络层中每个通道的特征图的梯度作为目标网络层中每个通道的权重，例如：该平均值可以为算术平均值或者集合平均值，本公开实施例对此不做限定。
本公开实施例利用图像的标注结果确定目标网络层中各通道的特征图中所有像素的梯度，以梯度确定目标网络层中各通道的权重，可以使所得到的权重能够全面可靠地反映目标网络层的各通道对最终得到的图像的处理结果的贡献。
在一些实施例中，步骤104可以包括：根据目标网络层中各通道的权重，对神经网络在对图像进行处理时目标网络层中各通道的特征图进行加权求和，通过激活函数对加权求和的结果进行处理，得到目标网络层的特征的可视化结果。下面将结合图4所示的例子，详细描述通过激活函数得到目标网络层的特征的可视化结果的流程。
如图4所示，其包括：
402，根据目标网络层中各通道的权重，对目标网络层中各通道的特征图进行加权求和。
在本公开实施例中，在得到目标网络层每个通道的权重后，可以根据目标网络层每个通道的特征图与相应通道的权重进行加权求和，以根据该加权求和的结果得到目标网络层的特征的可视化结果。可选地，可以根据该加权求和的结果直接得到目标网络层的可视化结果，或者可以对该加权求和的结果进行处理，根据处理后的结果得到目标网络层的可视化结果。
404，通过激活函数对加权求和的结果进行处理，得到目标网络层的特征的可视化结果。
可选地，在得到目标网络层中各通道的特征图加权求和的结果后，可以通过激活函数对该加权求和的结果进行处理，并根据激活函数处理后的加权求和的结果得到目标网络层的特征的可视化结果。可选地，激活函数包括以下中的一种：S型函数、线性整流函数(Rectified Linear Unit，ReLU)等，本公开实施例对激活函数的类型不作限定。
本公开实施例利用目标网络层中各通道的特征图与反映各通道对神经网络处理图像得到的图像处理结果的贡献的权重加权求和，可以得到能够反映目标网络层的特征的可视化结果。同时，利用激活函数进行处理，有利于将本公开实施例的方法应用于任何神经网络的可视化。
在一些实施例中，操作102和操作104可以分别通过下面的公式1和公式2进行表达：
Figure BDA0002253255080000121
Figure BDA0002253255080000131
其中，yc为车道线检测结果，(i，j)为特征图中像素的坐标，
Figure BDA0002253255080000132
为第k个通道的特征图中坐标为(i，j)的位置的像素，Z为特征图中像素的数量，
Figure BDA0002253255080000133
为第k个通道的权重，Ak表示第k个通道的特征图中的所有像素，
Figure BDA0002253255080000134
为可视化目标结果。
在一些实施例中，本公开实施例的神经网络的处理方法在操作102之前，还可以通过神经网络对图像进行处理，得到图像处理结果，例如，通过神经网络对道路图像进行车道线检测可以基于语义分割实现。以车道线检测任务为例，如图5所述，图5为基于用于语义分割的神经网络实现本公开实施例提供的方法应用于车道线检测的一个示意图。其中，用于语义分割的神经网络采用编码器-解码器的网络结构，道路图像由神经网络的编码器端输入，经编码器和解码器处理后在解码器端得到输出的车道线检测结果，在得到车道线检测结果后，在神经网络中选取目标网络层，例如，在图5中选取解码器中的一个网络层作为目标网络层，然后根据车道线标注结果确定目标网络层中各通道的特征图的梯度，得到目标网络层中各通道的权重w1至W6，根据目标网络层中各通道的特征图与相应通道的权重进行加权求和，并通过ReLU函数对加权求和的结果进行处理，得到目标网络层的可视化结果，作为神经网络车道线检测的可视化目标结果。
在一些实施例中，本公开实施例的神经网络的处理方法，还可以通过对神经网络中不同的目标网络层进行可视化，找到图像处理结果发生错误的根源，并利用可视化目标结果辅助误判分析，给出发生错误的原因。如图6A至图6C所示，图6A至图6C本公开实施例提供的方法应用于车道线检测的另一个示例的示意图，其中，图6A至图6C均为根据本公开实施例的车道检测方法获得的热力图结合原图的车道线检测的可视化目标结果，并且由图6A至图6C分别对应神经网络中的不同网络层，根据在图像中以同一颜色的不同深度表示图像中不同的关注度可确定图像中的关注点聚焦位置。从图6A中可以看到网络层的关注点聚焦到了电线和路边，而并未聚焦于车道线，从图6B和图6C中均不能明显看到网络层的关注点聚焦到了电线和路边，也并未聚焦于车道线，因此找到的车道线检测结果发生误判的根源为图6A对应的网络层，根据图6A显示的结果分析发生图6A中情况的原因，可能是由于电线和路边与车道线的形状都较为相似，并且图像中各位置对于车道线检测的概率均相同。
可选地，本公开实施例的神经网络的处理方法，还可以根据可视化结果以及图像，对神经网络进行处理，可选地，对神经网络的处理可以包括但不限于：对目标网络层进行解释和/或评估；调整训练神经网络之前的一些超参数，根据调整后的超参数对神经网络重新进行训练；改变神经网络的结构，重新训练等。以车道线检测任务为例，经过对神经网络的处理可以解决车道线检测发生误判的问题，例如：可以根据神经网络车道线检测的可视化目标结果，对神经网络的超参数进行调整，和/或，可以根据神经网络车道线检测的可视化目标结果，在神经网络中加入调整网络结构的模块。对于图6A，可以通过设定道路图像中偏下方的位置概率较大，来克服天线和路边对车道线检测产生的影响，例如：通过在神经网络中加入具有相应功能的先验知识模块来辅助车道线检测。
可选地，根据可视化结果以及图像，对神经网络进行处理，可以包括：
根据目标网络层的可视化结果，对神经网络的超参数进行调整。
其中，在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。在本公开实施例中，超参数指神经网络的初始化参数。
可选地，根据可视化结果以及图像，对神经网络进行处理，可以包括：
根据目标网络层的可视化结果，在神经网络中加入调整网络结构的模块。
本公开实施例中，通过可视化结果在神经网络中加入调整网络结构的模块，该模块可对神经网络的结构进行改变，例如，改变目标网络层的结构或对神经网络中增加或减少一定数量的网络层等。
在一些实施例中，本公开实施例中的神经网络可以包括多任务神经网络，图7为本公开实施例提供的神经网络的处理方法的另一流程示意图。如图7所示，该实施例中，神经网络为多任务神经网络，本实施例方法包括：
步骤702，基于图像对应的多种标注结果中的一种标注结果，确定多任务神经网络中一个任务分支在对图像进行处理时任务分支中目标网络层中各通道的权重。
其中，目标网络层为任务分支中任意一个中间网络层。
在本公开实施例中，图像具有多个标注结果，其中，每种标注结果对应多任务神经网络中的一个任务分支；每次基于一种标注结果对多任务神经网络中的一个任务分支进行处理。
步骤704，根据任务分支中目标网络层中各通道的权重以及任务分支在对图像进行处理时目标网络层中各通道的特征图，确定目标网络层的特征的可视化结果。
在本公开实施例中，可以根据目标网络层中各通道的权重，对该任务分支在对图像进行处理时目标网络层中各通道的特征图进行处理(例如，加权求和等)，得到该目标网络层的特征的可视化结果。
多任务神经网络是指一个神经网络可以适用于多任务场景，同时执行多个任务，并且取得了良好的效果，本实施例通过对多任务神经网络中的每个任务分支进行处理，利用对图像处理任务的任务分支的中间网络层进行可视化输出结合处理的图像，对多任务神经网络的中间层的结果进行监测，并解释中间层的作用，从而加强了多任务神经网络的可解释性，有利于对检测原理的理解。
如图8A至图8C所示，图8A至图8C为本公开实施例提供的方法应用于车道线检测的又一个示例的示意图，其中，图8A至图8C均为根据本公开实施例的车道检测方法获得的热力图结合原图的车道线检测的可视化目标结果，并且图8A至图8C分别对应多任务神经网络的三个任务的三个不同网络层，即依次为空闲区域任务的可视化结果、边界线任务的可视化结果和停止线任务的可视化结果。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图9为本公开实施例提供的神经网络的处理装置的一个结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图9所示，该实施例的装置包括：
权重确定单元91，用于基于图像的标注结果，确定神经网络在对图像进行处理时神经网络中目标网络层中各通道的权重。
其中，目标网络层为神经网络中的任意一个中间网络层。
可视化获取单元92，用于根据目标网络层中各通道的权重以及神经网络在对图像进行处理时目标网络层中各通道的特征图，确定目标网络层的特征的可视化结果。
基于本公开实施例提供的神经网络的处理装置，基于图像的标注结果，确定神经网络在对所述图像进行处理时所述神经网络中目标网络层中各通道的权重；其中，所述目标网络层为所述神经网络中的任意一个中间网络层；根据所述目标网络层中各通道的权重以及所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果，利用对图像处理任务的神经网络的中间网络层进行可视化输出结合处理的图像，对神经网络的中间层的结果进行监测，并解释中间层的作用，从而加强神经网络的可解释性，有利于对检测原理的理解，可以使神经网络的信息能够被更好的使用，可以应用于车道线检测等场景感知的相关任务。同时，本公开实施例的方法并不需要对图像处理任务的神经网络重新进行训练，只需要利用图像的标注结果就可以得到神经网络的中间网络层的可视化输出，可以高效、快捷的得到神经网络的可视化目标结果。
在一些可选的实施例中，本公开实施例提供的装置还包括：
网络处理单元，用于根据目标网络层的可视化结果以及图像，对神经网络进行处理。
可选地，网络处理单元，用于根据目标网络层的可视化结果，对神经网络的超参数进行调整。
可选地，网络处理单元，用于根据目标网络层的可视化结果，在神经网络中加入调整网络结构的模块。
在一些可选实施例中，权重确定单元91，用于基于由图像的标注结果确定的神经网络中目标网络层中各通道的特征图的梯度，得到目标网络层中各通道的权重。可选地，权重确定单元，用于基于图像的标注结果确定目标网络层中各通道的特征图中每个像素的梯度；基于每个通道的特征图中像素的梯度的平均值，得到目标网络层中各通道的权重。
可选地，可视化获取单元92，用于根据目标网络层中各通道的权重，对神经网络在对图像进行处理时目标网络层中各通道的特征图进行加权求和；通过激活函数对加权求和的结果进行处理，得到目标网络层的特征的可视化结果。
可选地，激活函数可以包括但不限于以下中的一种：S型函数、线性整流函数。
可选地，神经网络包括多任务神经网络；
权重确定单元，用于基于图像对应的多种标注结果中的一种标注结果，确定多任务神经网络中一个任务分支在对图像进行处理时任务分支中目标网络层中各通道的权重。
其中，目标网络层为任务分支中任意一个中间网络层。
可视化获取单元，用于根据任务分支中目标网络层中各通道的权重以及任务分支在对图像进行处理时目标网络层中各通道的特征图，确定目标网络层的特征的可视化结果。
本公开实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图10，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备100的结构示意图：如图10所示，电子设备100包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)1001，和/或一个或多个加速单元1013等，加速单元1013可包括但不限于GPU、FPGA、其他类型的专用处理器等，处理器可以根据存储在只读存储器(ROM)1002中的可执行指令或者从存储部分1008加载到随机访问存储器(RAM)1003中的可执行指令而执行各种适当的动作和处理。通信部1012可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器1002和/或随机访问存储器1003中通信以执行可执行指令，通过总线1004与通信部1012相连、并经通信部1012与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，基于图像的标注结果，确定神经网络在对图像进行处理时神经网络中目标网络层中各通道的权重；其中，目标网络层为神经网络中的任意一个中间网络层；根据目标网络层中各通道的权重以及神经网络在对图像进行处理时目标网络层中各通道的特征图，确定目标网络层的特征的可视化结果。
此外，在RAM 1003中，还可存储有装置操作所需的各种程序和数据。CPU1001、ROM1002以及RAM1003通过总线1004彼此相连。在有RAM1003的情况下，ROM1002为可选模块。RAM1003存储可执行指令，或在运行时向ROM1002中写入可执行指令，可执行指令使中央处理单元1001执行上述通信方法对应的操作。输入/输出(I/O)接口1005也连接至总线1004。通信部1012可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
需要说明的，如图10所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图10的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元1013和CPU1001可分离设置或者可将加速单元1013集成在CPU1001上，通信部1009可分离设置，也可集成设置在CPU1001或加速单元1013上，等等。这些可替换的实施方式均落入本公开公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，基于图像的标注结果，确定神经网络在对图像进行处理时神经网络中目标网络层中各通道的权重；其中，目标网络层为神经网络中的任意一个中间网络层；根据目标网络层中各通道的权重以及神经网络在对图像进行处理时目标网络层中各通道的特征图，确定目标网络层的特征的可视化结果。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的方法中限定的上述功能。
在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，该指令被执行时使得计算机执行上述任一可能的实现方式中的方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，该计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，该计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
在一个或多个可选实施方式中，本公开实施例还提供了一种车道线检测方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品。
在一些实施例中，该车道线检测指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行车道线检测，相应地，响应于接收到调用指令，第二装置可以执行上述车道线检测方法中的任意实施例中的步骤和/或流程。
应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。
还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
可能以许多方式来实现本公开的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种神经网络的处理方法，其特征在于，包括：
基于图像的标注结果，确定神经网络在对所述图像进行处理时所述神经网络中目标网络层中各通道的权重；其中，所述目标网络层为所述神经网络中的任意一个中间网络层；
根据所述目标网络层中各通道的权重以及所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述目标网络层的可视化结果以及所述图像，对所述神经网络进行处理。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标网络层的可视化结果，对所述神经网络进行处理，包括：
根据所述目标网络层的可视化结果，对所述神经网络的超参数进行调整。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述目标网络层的可视化结果，对所述神经网络进行处理，包括：
根据所述目标网络层的可视化结果，在所述神经网络中加入调整网络结构的模块。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述基于图像的标注结果，确定神经网络在对所述图像进行处理时所述神经网络中目标网络层中各通道的权重，包括：
基于由所述图像的标注结果确定的所述神经网络中目标网络层中各通道的特征图的梯度，得到所述目标网络层中各通道的权重。
6.根据权利要求5所述的方法，其特征在于，所述基于由所述图像的标注结果确定的所述神经网络中目标网络层中各通道的特征图的梯度，得到所述目标网络层中各通道的权重，包括：
基于所述图像的标注结果确定所述目标网络层中各通道的特征图中每个像素的梯度；
基于每个通道的特征图中像素的梯度的平均值，得到所述目标网络层中各通道的权重。
7.一种神经网络的处理装置，其特征在于，包括：
权重确定单元，用于基于图像的标注结果，确定神经网络在对所述图像进行处理时所述神经网络中目标网络层中各通道的权重；其中，所述目标网络层为所述神经网络中的任意一个中间网络层；
可视化获取单元，用于根据所述目标网络层中各通道的权重以及所述神经网络在对所述图像进行处理时所述目标网络层中各通道的特征图，确定所述目标网络层的特征的可视化结果。
8.一种电子设备，其特征在于，包括权利要求7所述的装置。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及
处理器，用于执行所述可执行指令从而完成权利要求1至6中任意一项所述的方法。
10.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时实现权利要求1至6中任意一项所述的方法。
CN201911042525.0A 2019-10-30 2019-10-30 神经网络的处理方法及装置、电子设备和计算机存储介质 Pending CN112749779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911042525.0A CN112749779A (zh) 2019-10-30 2019-10-30 神经网络的处理方法及装置、电子设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911042525.0A CN112749779A (zh) 2019-10-30 2019-10-30 神经网络的处理方法及装置、电子设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN112749779A true CN112749779A (zh) 2021-05-04

Family

ID=75640513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911042525.0A Pending CN112749779A (zh) 2019-10-30 2019-10-30 神经网络的处理方法及装置、电子设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN112749779A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376641A (zh) * 2018-10-16 2019-02-22 长安大学 一种基于无人机航拍视频的运动车辆检测方法
CN109859204A (zh) * 2019-02-22 2019-06-07 厦门美图之家科技有限公司 卷积神经网络模型检验方法及装置
CN110163077A (zh) * 2019-03-11 2019-08-23 重庆邮电大学 一种基于全卷积神经网络的车道识别方法
CN110176001A (zh) * 2019-06-03 2019-08-27 浙江大学 一种基于Grad-CAM算法的高铁接触网绝缘子破损精确定位方法
CN110348572A (zh) * 2019-07-09 2019-10-18 上海商汤智能科技有限公司 神经网络模型的处理方法及装置、电子设备、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376641A (zh) * 2018-10-16 2019-02-22 长安大学 一种基于无人机航拍视频的运动车辆检测方法
CN109859204A (zh) * 2019-02-22 2019-06-07 厦门美图之家科技有限公司 卷积神经网络模型检验方法及装置
CN110163077A (zh) * 2019-03-11 2019-08-23 重庆邮电大学 一种基于全卷积神经网络的车道识别方法
CN110176001A (zh) * 2019-06-03 2019-08-27 浙江大学 一种基于Grad-CAM算法的高铁接触网绝缘子破损精确定位方法
CN110348572A (zh) * 2019-07-09 2019-10-18 上海商汤智能科技有限公司 神经网络模型的处理方法及装置、电子设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAMPRASAATH R. SELVARAJU等: "Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization", 《ARXIV》 *

Similar Documents

Publication Publication Date Title
CN109325972B (zh) 激光雷达稀疏深度图的处理方法、装置、设备及介质
US11734572B2 (en) Spatial transformer modules
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
US10769487B2 (en) Method and device for extracting information from pie chart
CN108122234B (zh) 卷积神经网络训练及视频处理方法、装置和电子设备
US11823443B2 (en) Segmenting objects by refining shape priors
CN108154222B (zh) 深度神经网络训练方法和系统、电子设备
WO2018121737A1 (zh) 关键点预测、网络训练及图像处理方法和装置、电子设备
CN106548192B (zh) 基于神经网络的图像处理方法、装置和电子设备
US20200175700A1 (en) Joint Training Technique for Depth Map Generation
US20230230275A1 (en) Inverting Neural Radiance Fields for Pose Estimation
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN110222641B (zh) 用于识别图像的方法和装置
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN108154153B (zh) 场景分析方法和系统、电子设备
JP2022185144A (ja) 対象検出方法、対象検出モデルのレーニング方法および装置
US10282596B2 (en) Facial recognition encode analysis
CN109242882B (zh) 视觉跟踪方法、装置、介质及设备
CN109241930B (zh) 用于处理眉部图像的方法和装置
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
CN112861940A (zh) 双目视差估计方法、模型训练方法以及相关设备
CN116229584A (zh) 一种人工智能领域的文本分割识别方法、系统、设备及介质
US10235786B2 (en) Context aware clipping mask
CN112749779A (zh) 神经网络的处理方法及装置、电子设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210504

RJ01 Rejection of invention patent application after publication