CN114821513B - 一种基于多层网络的图像处理方法及装置、电子设备 - Google Patents

Abstract

本发明提供一种基于多层网络的图像处理方法及装置、电子设备，涉及图像处理技术领域。图像处理方法，包括：获取待处理图像；所述待处理图像为道路图像；根据所述待处理图像和预先训练好的多层网络确定第一识别结果和第二识别结果；基于所述待处理图像的识别需求，根据所述第一图像、所述第二图像、所述第一识别结果和所述第二识别结果输出对象识别结果。该图像处理方法用以提高道路图像的识别结果的准确性。

Description

一种基于多层网络的图像处理方法及装置、电子设备

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于多层网络的图像处理方法及装置、电子设备。

背景技术

随着图像处理技术的发展，图像处理被应用到道路图像的分析与处理中。常见的情况为，对道路图像中的特定对象进行识别，例如：识别出道路图像中的人或者车辆。

现有的识别技术，预先训练用于道路图像识别的神经网络模型，然后将需要识别的图像输入该神经网络模型中，便可获得神经网络模型输出的识别结果。

但是，现有的这种图像处理方式，对于神经网络模型的应用过于简单，导致最终的识别结果的准确性难以得到保证。

发明内容

本发明实施例的目的在于提供一种基于多层网络的图像处理方法及装置、电子设备，用以提高道路图像的识别结果的准确性。

第一方面，本发明实施例提供一种基于多层网络的图像处理方法，包括：获取待处理图像；所述待处理图像为道路图像；根据所述待处理图像和预先训练好的多层网络确定第一识别结果和第二识别结果；所述第一识别结果中标注有第一目标对象，所述第二识别结果中标注有第二目标对象，所述第一目标对象为人，所述第二目标对象为环境物体；所述预先训练好的多层网络包括：第一神经网络模型、第二神经网络模型和第三神经网络模型；第一神经网络模型的输入层为所述多层网络的输入层，第一神经网络模型的输出层分别与第二神经网络模型的输入层和第三神经网络模型的输入层连接，第二神经网络模型的输出层和第三神经网络模型的输出层为所述多层网络的输出层；其中，所述第一神经网络模型用于对所述待处理图像进行区块划分，输出标注有第一类型区块的第一图像和标注有第二类型区块的第二图像；所述第一类型区块为所述第一目标对象对应的区块，所述第二类型区块为所述第二目标对象对应的区块；所述第二神经网络模型用于基于所述第一图像获得所述第一识别结果，所述第三神经网络模型用于基于所述第二图像获得所述第二识别结果；基于所述待处理图像的识别需求，根据所述第一图像、所述第二图像、所述第一识别结果和所述第二识别结果输出对象识别结果。

在本发明实施例中，利用多层网络实现道路图像的识别，在该多层网络中，包括第一神经网络模型、第二神经网络模型和第三神经网络模型，通过第一神经网络模型，确定标注第一类型区块的第一图像和标注第二类型区块的第二图像；通过第二神经网络模型和第一图像，确定标注第一目标对象的第一识别结果，通过第三神经网络模型和第二图像，确定标注第二目标对象的第二识别结果；进而，基于待处理图像的识别需求，根据第一图像、第二图像、第一识别结果和第二识别结果输出对象识别结果。一方面，利用多层网络实现特定对象的识别，可以提高特定对象识别的准确度；另一方面，结合不同的特定对象的识别结果和其对应的标注有区块的图像，对识别结果进行校正，进一步提高对象识别结果的准确性。

作为一种可能的实现方式，所述识别需求为识别所述第一目标对象，所述根据所述第一图像、所述第二图像、所述第一识别结果和所述第二识别结果输出对象识别结果，包括：将所述第一识别结果与所述第一图像进行比较，判断所述第一类型区块的标注信息与所述第一目标对象的标注信息是否一致；若所述第一类型区块的标注信息与所述第一目标对象的标注信息一致，输出所述第一识别结果；若所述第一类型区块的标注信息与所述第一目标对象的标注信息不一致，将所述第一识别结果、所述第一图像和所述第二图像进行比较，并根据比较结果对所述第一识别结果进行校正。

在本发明实施例中，将特定对象的识别结果和其对应的标注有区块的图像进行比较，根据比较结果对特定对象的识别结果进行校正，实现识别结果的有效校正。

作为一种可能的实现方式，所述将所述第一识别结果、所述第一图像和所述第二图像进行比较，并根据比较结果对所述第一识别结果进行校正，包括：确定所述第一目标对象分别与所述第一类型区块和所述第二类型区块之间的从属关系；根据所述从属关系对所述第一识别结果进行校正。

在本发明实施例中，通过特定的对象和两种类型区块之间的从属关系，对特定的目标对象的识别结果进行有效校正。

作为一种可能的实现方式，所述根据所述从属关系对所述第一识别结果进行校正，包括：若所述第一目标对象包括第一目标部分，将所述第一目标部分的特征与预设的第一目标对象特征进行比较；所述第一目标部分属于所述第一类型区块，且属于所述第二类型区块；若所述第一目标部分的特征属于所述预设的第一目标对象特征，输出所述第一识别结果；若所述第一目标部分的特征不属于所述预设的第一目标对象特征，在所述第一目标对象中删除所述第一目标部分，获得校正后的第一识别结果并输出。

在本发明实施例中，若特定的对象包括既属于第一类型区块的部分，也属于第二类型区块的部分，则，可以结合预设的目标对象特征判断该部分到底属于哪个区块，以实现特定对象的识别结果的有效校正。

作为一种可能的实现方式，所述根据所述从属关系对所述第一识别结果进行校正，包括：若所述第一目标对象包括第二目标部分，确定所述第二目标部分的特征与所述第二类型区块中的特征之间的第一匹配度；所述第二目标部分不属于所述第一类型区块，且属于所述第二类型区块；若所述第一匹配度满足预设的匹配度条件，在所述第一目标对象中删除所述第二目标部分，获得校正后的第一识别结果并输出。

在本发明实施例中，若特定对象包括不属于第一类型区块，且属于第二类型区块的部分，则，可以结合其与第二类型区块的特征之间的匹配度对特定对象的识别结果进行有效校正。

作为一种可能的实现方式，所述图像处理方法还包括：若所述第一匹配度不满足预设的匹配度条件，确定所述第二目标部分的特征与所述第一类型区块中的特征之间的第二匹配度；若所述第二匹配度大于所述第一匹配度，且所述第二匹配度大于预设的匹配度阈值，输出所述第一识别结果；所述预设的匹配度阈值大于所述第一匹配度。

在本发明实施例中，除了结合其与第二类型区块的特征之间的匹配度，还可以进一步结合其与第一类型区块的特征之间的匹配度，实现更准确和更全面的校正。

作为一种可能的实现方式，所述识别需求为识别所述第一目标对象，所述图像处理方法还包括：判断所述对象识别结果与所述第一识别结果是否一致；若所述对象识别结果与所述第一识别结果不一致，将所述对象识别结果、所述第一图像、所述第二图像、所述第一识别结果和所述第二识别结果对应存储到预设的训练数据集中；若所述预设的训练数据集中的数据达到预设的数据量，基于所述预设的训练数据集对初始的第四神经网络模型进行训练，获得训练好的第四神经网络模型；基于所述多层网络和所述训练好的第四神经网络模型获得更新的多层网络。

在本发明实施例中，在校正对象的识别结果之后，还可以结合校正所用到的数据，生成训练数据集，并基于该训练数据集训练用于校正的第四神经网络模型，并对多层网络进行更新，以实现多层网络的自动优化。

作为一种可能的实现方式，所述图像处理方法还包括：获取第一训练数据集；所述第一训练数据集中包括多对样本图像，每对样本图像中的两张样本图像为基于同一原始图像，分别进行所述第一类型区块的标注和所述第二类型区块的标注所得到的图像；根据所述第一训练数据集和初始的第一神经网络模型获得训练好的第一神经网络模型；对所述多对样本图像对应的多张原始图像中的所述第一目标对象和所述第二目标对象分别进行标注，获得第二训练数据集和第三训练数据集；根据所述第二训练数据集和初始的第二神经网络模型获得训练好的第二神经网络模型，以及根据所述第三训练数据集和初始的第三神经网络模型获得训练好的第三神经网络模型；根据所述训练好的第一神经网络模型、所述训练好的第二神经网络模型和所述训练好的第三神经网络模型获得训练好的多层网络。

在本发明实施例中，通过三个神经网络模型分别对应的训练数据集，实现对应神经网络模型的训练，进而结合训练好的三个神经网络模型生成多层网络，以基于多层网络实现第一识别结果和第二识别结果的确定。

第二方面，本发明实施例提供一种基于多层网络的图像处理装置，包括：用于实现第一方面以及第一方面的任意一种可能的实现方式中所述的基于多层网络的图像处理方法的各个功能模块。

第三方面，本发明实施例提供一种电子设备，包括：处理器和与所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行第一方面以及第一方面的任意一种可能的实现方式中所述的基于多层网络的图像处理方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行第一方面以及第一方面的任意一种可能的实现方式中所述的基于多层网络的图像处理方法。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的处理后的第一类型区块的示例图；

图2为本发明实施例提供的处理后的第二类型区块的示例图；

图3为本发明实施例提供的基于多层网络的图像处理方法的流程图；

图4为本发明实施例提供的多层网络的结构示意图；

图5为本发明实施例提供的基于多层网络的图像处理装置的结构示意图；

图6为本发明实施例提供的电子设备的结构示意图。

图标：500-基于多层网络的图像处理装置；510-获取模块；520-处理模块；600-电子设备；610-处理器；620-存储器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

本发明实施例提供的技术方案可以应用于各类基于图像处理技术对道路图像中的特定对象进行检测的应用场景中，最终得到的特定对象的识别结果是经过校正的识别结果。

在一些实施例中，道路图像中可以分为两类对象，一类为人，另一类为除人以外的环境物体，例如：车辆、道路、建筑物、植物、动物等。

在大部分应用场景中，所需识别的特定对象为人；在另一些应用场景中，所需识别的特定对象为车辆、道路、建筑物等；在还有一些应用场景中，所需识别的特定对象既包括人，还包括车辆、道路、建筑物中的一者或者多者。

在上述的特定对象的识别场景中，可以理解，假设将一张道路图像分为多个区块，这多个区块分别用于划分不同的特定对象所在的大概位置。

举例来说，如图1和图2所示，为道路图像的区块划分示意图，在图1中，所划分的区块1，可以理解为上述的第一类对象所在的区块，在区块1内，包含第一类对象。在图2中，所划分的区块2和区块3，可以理解为上述的第二类对象所在的区块，在区块2和区块3中，包含第二类对象。

由于上述的区块划分只是一种较为宽泛的处理，针对实际的识别情况，第一类对象的部分区块可能在区块1之外，或者区块1中可能包含了第二类对象的部分区块；同理，第二类对象的部分区块可能在区块2之外，或者区块2中可能包含了第一类对象的部分区块。

因此，利用两类对象分别的识别结果，和两类区块之间的关系，可以对两类对象分别的识别结果进行校正，以提高识别结果的准确度。例如：在第一类对象的识别结果中，有的区块超出了区块1，那么需要判断该超出部分是否真正属于第一类对象。

本发明实施例所提供的技术方案对应的硬件运行环境可以是图像处理设备，如：服务器、计算机等，在此不作限定。

此外，在后续实施例中所涉及的神经网络模型，可以是本领域所常用的多种神经网络模型，可以涉及不同的神经网络模型算法，在此不作限定。

以及，在本发明实施例中，所采用的网络为多层网络，对于多层网络，可以理解为将多个神经网络模型的输入输出层进行对应的连接，所构建的网络，其中涉及到的多层网络技术，也采用本领域成熟的技术，在本发明实施例不作详细介绍。

接下来请参照图3，为本发明实施例提供的基于多层网络的图像处理方法的流程图，包括：

步骤310：获取待处理图像。待处理图像为道路图像。

步骤320：根据待处理图像和预先训练好的多层网络确定第一识别结果和第二识别结果。

第一识别结果中标注有第一目标对象，第二识别结果中标注有第二目标对象，第一目标对象为人，第二目标对象为环境物体。

如图4所示，为多层网络的模型结构示意图，预先训练好的多层网络包括：第一神经网络模型、第二神经网络模型和第三神经网络模型；第一神经网络模型的输入层为多层网络的输入层，第一神经网络模型的输出层分别与第二神经网络模型的输入层和第三神经网络模型的输入层连接，第二神经网络模型的输出层和第三神经网络模型的输出层为多层网络的输出层。

其中，第一神经网络模型用于对待处理图像进行区块划分，输出标注有第一类型区块的第一图像和标注有第二类型区块的第二图像；第一类型区块为第一目标对象对应的区块，第二类型区块为第二目标对象对应的区块；第二神经网络模型用于基于第一图像获得第一识别结果，第三神经网络模型用于基于第二图像获得所述第二识别结果。

步骤330：基于待处理图像的识别需求，根据第一图像、第二图像、第一识别结果和第二识别结果输出对象识别结果。

在本发明实施例中，利用多层网络实现道路图像的识别，在该多层网络中，包括第一神经网络模型、第二神经网络模型和第三神经网络模型，通过第一神经网络模型，确定标注第一类型区块的第一图像和标注第二类型区块的第二图像；通过第二神经网络模型和第一图像，确定标注第一目标对象的第一识别结果，通过第三神经网络模型和第二图像，确定标注第二目标对象的第二识别结果；进而，基于待处理图像的识别需求，根据第一图像、第二图像、第一识别结果和第二识别结果输出对象识别结果。一方面，利用多层网络实现特定对象的识别，可以提高特定对象识别的准确度；另一方面，结合不同的特定对象的识别结果和其对应的标注有区块的图像，对识别结果进行校正，进一步提高对象识别结果的准确性。

接下来对该图像处理方法的详细实施方式进行介绍。

在步骤310中，待处理图像的数量可以是一张，也可以是多张，如果是多张，则多张待处理图像均按照步骤320-步骤330的处理方式进行处理。

待处理图像为道路图像，该道路图像可以是通过各种图像采集设备所采集的图像。图像采集设备例如：监控设备（例如球机）、各种摄像头等，在此不作限定。

在步骤320中，将待处理图像输入到预先训练好的多层网络中，多层网络便可输出第一识别结果和第二识别结果。结合前述实施例的介绍，可以理解，第一识别结果为基于第一图像进一步进行处理的结果，在第一图像中，标注有第一类型区块（即第一目标对象对应的区块），那么，第一识别结果本质上为，既标注有第一类型区块，还标注有第一目标对象的图像。进而，第一目标对象的标记信息与第一类型区块的标记信息之间的关系有几种，具有重叠（或者交叉）部分关系，包含关系，没有重叠（或者交叉）部分关系。

同理，对于第二识别结果来说，也是既标注有第二类型区块，还标注有第二目标对象的图像，第二类型区块的标记信息与第一类型区块的标记信息之间的关系参照第一类型区块的标记信息与第一目标对象的标记信息的关系。

为了便于理解本发明实施例提供的技术方案，接下来对多层网络的训练过程进行介绍。

作为一种可选的实施方式，多层网络的训练过程包括：获取第一训练数据集；第一训练数据集中包括多对样本图像，每对样本图像中的两张样本图像为基于同一原始图像，分别进行第一类型区块的标注和第二类型区块的标注所得到的图像；根据第一训练数据集和初始的第一神经网络模型获得训练好的第一神经网络模型；对多对样本图像对应的多张原始图像中的第一目标对象和第二目标对象分别进行标注，获得第二训练数据集和第三训练数据集；根据第二训练数据集和初始的第二神经网络模型获得训练好的第二神经网络模型，以及根据第三训练数据集和初始的第三神经网络模型获得训练好的第三神经网络模型；根据训练好的第一神经网络模型、训练好的第二神经网络模型和训练好的第三神经网络模型获得训练好的多层网络。

在这种实施方式中，通过三个神经网络模型分别对应的训练数据集，实现对应神经网络模型的训练，进而结合训练好的三个神经网络模型生成多层网络，以基于多层网络实现第一识别结果和第二识别结果的确定。

其中，各个神经网络模型的训练，以及结合各个训练好的神经网络模型生成多层网络的实施方式，可参照本领域成熟的技术，在此不作详细介绍。

多对样本图像对应的原始图像，均为道路图像。道路图像的标注，不管是目标对象的标注，还是目标对象对应的区块的标注，可以通过人工标注实现，也可以通过一些标注模型实现，在此不作限定。

结合上述训练过程的介绍，在一些实施例中，第一目标对象对应的区块，即第一类型区块可以大于第一目标对象所在的区域，同样的，第二类型区块可以大于第二目标对象所在的区域。

进一步地，在步骤320中，多层网络最终可以输出第一识别结果和第二识别结果。

在步骤330中，基于待处理图像的识别需求，根据第一图像、第二图像、第一识别结果和第二识别结果输出对象识别结果。

在该步骤中，需要先获取待处理图像的识别需求，该识别需求可以同待处理图像一并上传。还需要获取第一图像和第二图像，对于第一图像和第二图像，属于多层网络的中间输出结果，在一些实施例中，可以在多层网络中再设置第一图像和第二图像的输出层，该输出层与第一神经网络模型的输出层连接，进而，通过获取该输出层的输出结果，便可以获得第一图像和第二图像。

在一些实施例中，待处理图像的识别需求为：识别第一目标对象、识别第二目标对象或者识别第一目标对象和第二目标对象。其中，如果仅识别第一目标对象或者仅识别第二目标对象，则只需要对第一识别结果或者第二识别结果进行校正；如果需要识别第一目标对象和第二目标对象，则需要分别校正第一识别结果和第二识别结果。

接下来，先介绍第一识别结果的校正方式，对于第二识别结果的校正方式，可以参照第一识别结果的校正方式。在大部分实施例中，需要识别的对象通常为第一目标对象。

假设识别需求为识别第一目标对象，作为一种可选的实施方式，步骤330包括：将第一识别结果与第一图像进行比较，判断第一类型区块的标注信息与第一目标对象的标注信息是否一致；若第一类型区块的标注信息与第一目标对象的标注信息一致，输出第一识别结果；若第一类型区块的标注信息与第一目标对象的标注信息不一致，将第一识别结果、第一图像和第二图像进行比较，并根据比较结果对第一识别结果进行校正。

其中，第一类型区块的标注信息可以理解为第一类型区块的标注框或者标注线等，第一目标对象的标注信息同样的可以为标注框或者标注线等。

以标注框为例，若第一目标对象的标注框全部在第一类型区块的标注框内，则确定两个标注信息一致。否则，两个标注信息不一致，例如：第一目标对象的标注框有超出第一类型区块的标记框的部分。

进而，如果两个标注信息一致，可说明不管是第一类型区块的标注结果，还是第一目标对象的标注结果，均较为准确，无需对第一识别结果进行校正。

如果两个标注信息不一致，则说明第一目标对象或者第一类型区块的标注结果存在偏差，但是，由于第一类型区块是更大范围的标注结果，其出现偏差的可能性相较于第一目标对象来说更小，因此，在本发明实施例中，主要对第一目标对象的标注结果进行校正。

进而，若第一类型区块的标注信息与第一目标对象的标注信息不一致，将第一识别结果、第一图像和第二图像进行比较，并根据比较结果对第一识别结果进行校正。

在本发明实施例中，将特定对象的识别结果和其对应的标注有区块的图像进行比较，根据比较结果对特定对象的识别结果进行校正，实现识别结果的有效校正。

作为一种可选的实施方式，将第一识别结果、第一图像和第二图像进行比较，并根据比较结果对所述第一识别结果进行校正，包括：确定第一目标对象分别与第一类型区块和第二类型区块之间的从属关系；根据从属关系对第一识别结果进行校正。

可以理解，第一目标对象可能有属于第一类型区块的部分，还可能有不属于第一类型区块的部分，还可能有既属于第一类型区块的部分，还属于第二类型区块的部分，这些都是第一目标对象与两个区块之间的从属关系，根据不同的从属关系，可采用不同的校正方式。

在本发明实施例中，将第一目标对象或者第二目标对象中，与第一类型区块和/或第二类型区块具有从属关系的部分，定义为目标部分。

例如：第一目标对象中，属于第一类型区块，且属于第二类型区块的目标部分，定义为第一目标部分；第一目标对象中，不属于第二类型区块，且属于第二类型区块的目标部分，定义为第二目标部分。再例如：第二目标对象中，属于第一类型区块，且属于第二类型区块的目标部分，定义为第三目标部分；第二目标对象中，不属于第二类型区块，且属于第一类型区块的目标部分，定义为第四目标部分。

在判断从属关系时，可以结合第一识别结果和第二识别结果分别确定各个区块中的各个像素点，然后判断第一目标对象的各个像素点是否包含各个区块中的各个像素点，来确定从属关系。例如：若第一目标对象的某几个像素点也是第二类型区块中的几个像素点，则第一目标对象包括属于第二类型区块的部分。

在本发明实施例中，通过特定的对象和两种类型区块之间的从属关系，对特定的目标对象的识别结果进行有效校正。

作为第一种可选的实施方式，若第一目标对象包括第一目标部分，将第一目标部分的特征与预设的第一目标对象特征进行比较；第一目标部分属于第一类型区块，且属于第二类型区块；若第一目标部分的特征属于所述预设的第一目标对象特征，输出第一识别结果；若第一目标部分的特征不属于预设的第一目标对象特征，在第一目标对象中删除第一目标部分，获得校正后的第一识别结果并输出。

在这种实施方式中，第一目标对象包括第一目标部分，该第一目标部分属于两个区块，此时，需要区分该第一目标部分到底属于哪个区块。

因此，可以将第一目标部分的特征与预设的第一目标对象特征进行比较，来决定第一目标部分属于哪个区块。

可以理解，预设的第一目标对象特征，可以理解为第一目标对象的标准特征。此处的特征为图像特征，例如：像素点色度、像素点亮度、像素点深度等，在此不作限定。

若第一目标部分的特征属于预设的目标对象特征，可将其划分到第一目标对象中，此时，无需对第一识别结果进行校正，可直接输出。

若第一目标部分的特征不属于预设的目标对象特征，可将其从第一目标对象中删除，以实现第一识别结果的校正。

此外，若要求最终的识别结果中不能包括标注的区块，则还需要将第一类型区块删除。

在本发明实施例中，若特定的对象包括既属于第一类型区块的部分，也属于第二类型区块的部分，则，可以结合预设的目标对象特征判断该部分到底属于哪个区块，以实现特定对象的识别结果的有效校正。

作为第二种可选的实施方式，若第一目标对象包括第二目标部分，确定第二目标部分的特征与第二类型区块中的特征之间的第一匹配度；第二目标部分不属于第一类型区块，且属于第二类型区块；若第一匹配度满足预设的匹配度条件，在第一目标对象中删除所述第二目标部分，获得校正后的第一识别结果并输出。

在这种实施方式中，第一目标对象包括第二目标部分，该第二目标部分不属于第一类型区块，且属于第二类型区块，那么，此时需要判断该第二目标部分到底属于哪个区块。

进而，计算第二目标部分的特征与第二类型区块中的其他特征之间的匹配度，即第一匹配度，该第一匹配度可以是局部特征匹配度，也可以是全局特征匹配度，在此不作限定。

预设的匹配度条件，可以是匹配度范围，也可以是匹配度阈值，或者其他条件。

若第一匹配度满足预设的匹配度条件，说明第二目标部分属于第二类型区块，此时可从第一目标对象中删除该第二目标部分，以实现第一识别结果的校正。同样的，若最终的校正结果中要求不包含第一类型区块，还需要将第一类型区块的标注信息删除。

在本发明实施例中，若特定对象包括不属于第一类型区块，且属于第二类型区块的部分，则，可以结合其与第二类型区块的特征之间的匹配度对特定对象的识别结果进行有效校正。

作为第三种可选的实施方式，若第一匹配度不满足预设的匹配度条件，确定第二目标部分的特征与第一类型区块中的特征之间的第二匹配度；若第二匹配度大于所述第一匹配度，且第二匹配度大于预设的匹配度阈值，输出第一识别结果；预设的匹配度阈值大于第一匹配度。

在这种实施方式中，如果第一匹配度不满足预设的匹配度条件，不一定说明第二目标部分一定不属于第一目标对象，此时，可以进一步确定该部分特征与第一目标对象的特征之间的匹配度，若第二匹配度大于第一匹配度，且第二匹配度大于预设的匹配度阈值，则确定该第二目标部分属于第一目标对象，无需对第一识别结果进行校正。

在本发明实施例中，除了结合其与第二类型区块的特征之间的匹配度，还可以进一步结合其与第一类型区块的特征之间的匹配度，实现更准确和更全面的校正。

在一些实施例中，若第一目标对象与第一类型区块和第二类型区块是其他的从属关系，可默认为无需校正，或者对应的采用其他的校正方式，在此不作限定。

对于第二目标对象来说，校正方式与第一目标对象一致，接下来只对校正过程进行对应说明，其中具体的实施方式参照第一目标对象的校正方式。

假设识别需求为识别第二目标对象，步骤330包括：将第二识别结果与第二图像进行比较，判断第二类型区块的标注信息与第二目标对象的标注信息是否一致；若第二类型区块的标注信息与第二目标对象的标注信息一致，输出第二识别结果；若第二类型区块的标注信息与第二目标对象的标注信息不一致，将第二识别结果、第一图像和第二图像进行比较，并根据比较结果对第二识别结果进行校正。

作为一种可选的实施方式，将第二识别结果、第一图像和第二图像进行比较，并根据比较结果对第二识别结果进行校正，包括：确定第二目标对象分别与第一类型区块和第二类型区块之间的从属关系；根据从属关系对第二识别结果进行校正。

作为第一种可选的实施方式，若第二目标对象包括第三目标部分，将第三目标部分的特征与预设的第二目标对象特征进行比较；第三目标部分属于第一类型区块，且属于第二类型区块；若第三目标部分的特征属于所述预设的第二目标对象特征，输出第二识别结果；若第三目标部分的特征不属于预设的第二目标对象特征，在第二目标对象中删除第三目标部分，获得校正后的第二识别结果并输出。

作为第二种可选的实施方式，若第二目标对象包括第四目标部分，确定第四目标部分的特征与第一类型区块中的特征之间的第三匹配度；第四目标部分不属于第二类型区块，且属于第一类型区块；若第三匹配度满足预设的匹配度条件，在第二目标对象中删除所述第四目标部分，获得校正后的第二识别结果并输出。

作为第三种可选的实施方式，若第三匹配度不满足预设的匹配度条件，确定第四目标部分的特征与第二类型区块中的特征之间的第四匹配度；若第四匹配度大于所述第三匹配度，且第四匹配度大于预设的匹配度阈值，输出第二识别结果；预设的匹配度阈值大于第三匹配度。

在本发明实施例中，在获得校正后的识别结果之后，还可以结合校正后的识别结果对多层网络进行更新。

假设识别需求为第一目标对象，该图像处理方法还包括：判断对象识别结果与第一识别结果是否一致；若对象识别结果与第一识别结果不一致，将对象识别结果、第一图像、第二图像、第一识别结果和第二识别结果对应存储到预设的训练数据集中；若预设的训练数据集中的数据达到预设的数据量，基于预设的训练数据集对初始的第四神经网络模型进行训练，获得训练好的第四神经网络模型；基于多层网络和训练好的第四神经网络模型获得更新的多层网络。

在这种实施方式中，将校正后的对象识别结果、第一图像、第二图像、第一识别结果和第二识别结果作为用于校正的第四神经网络模型的训练数据集，使训练好的第四神经网络模型可直接基于第一神经网络模型、第二神经网络模型和第三神经网络模型的输出结果实现识别结果的校正。

那么对应的，在生成更新的多层网络时，将第四神经网络模型的输入层连接到第一神经网络模型、第二神经网络模型已经第三神经网络模型的输出层，第四神经网络模型的输出层作为整个多层网络的输出层。

在本发明实施例中，在校正对象的识别结果之后，还可以结合校正所用到的数据，生成训练数据集，并基于该训练数据集训练用于校正的第四神经网络模型，并对多层网络进行更新，以实现多层网络的自动优化。

在一些实施例中，预设的训练数据集中，可以包括：校正后的识别结果和校正后的识别结果对应的第一图像、第二图像、以及校正前的识别结果。此处的校正后的识别结果可以是校正后的第一识别结果和/或者第二识别结果。

基于同一发明构思，请参照图5，本发明实施例中还提供一种基于多层网络的图像处理装置500，包括：获取模块510和处理模块520。

获取模块510用于：获取待处理图像；所述待处理图像为道路图像。处理模块520用于：根据所述待处理图像和预先训练好的多层网络确定第一识别结果和第二识别结果；所述第一识别结果中标注有第一目标对象，所述第二识别结果中标注有第二目标对象，所述第一目标对象为人，所述第二目标对象为环境物体；所述预先训练好的多层网络包括：第一神经网络模型、第二神经网络模型和第三神经网络模型；第一神经网络模型的输入层为所述多层网络的输入层，第一神经网络模型的输出层分别与第二神经网络模型的输入层和第三神经网络模型的输入层连接，第二神经网络模型的输出层和第三神经网络模型的输出层为所述多层网络的输出层；其中，所述第一神经网络模型用于对所述待处理图像进行区块划分，输出标注有第一类型区块的第一图像和标注有第二类型区块的第二图像；所述第一类型区块为所述第一目标对象对应的区块，所述第二类型区块为所述第二目标对象对应的区块；所述第二神经网络模型用于基于所述第一图像获得所述第一识别结果，所述第三神经网络模型用于基于所述第二图像获得所述第二识别结果；基于所述待处理图像的识别需求，根据所述第一图像、所述第二图像、所述第一识别结果和所述第二识别结果输出对象识别结果。

在本发明实施例中，处理模块520具体用于：将所述第一识别结果与所述第一图像进行比较，判断所述第一类型区块的标注信息与所述第一目标对象的标注信息是否一致；若所述第一类型区块的标注信息与所述第一目标对象的标注信息一致，输出所述第一识别结果；若所述第一类型区块的标注信息与所述第一目标对象的标注信息不一致，将所述第一识别结果、所述第一图像和所述第二图像进行比较，并根据比较结果对所述第一识别结果进行校正。

在本发明实施例中，处理模块520具体用于：确定所述第一目标对象分别与所述第一类型区块和所述第二类型区块之间的从属关系；根据所述从属关系对所述第一识别结果进行校正。

在本发明实施例中，处理模块520具体用于：若所述第一目标对象包括第一目标部分，将所述第一目标部分的特征与预设的第一目标对象特征进行比较；所述第一目标部分属于所述第一类型区块，且属于所述第二类型区块；若所述第一目标部分的特征属于所述预设的第一目标对象特征，输出所述第一识别结果；若所述第一目标部分的特征不属于所述预设的第一目标对象特征，在所述第一目标对象中删除所述第一目标部分，获得校正后的第一识别结果并输出。

在本发明实施例中，处理模块520具体用于：若所述第一目标对象包括第二目标部分，确定所述第二目标部分的特征与所述第二类型区块中的特征之间的第一匹配度；所述第二目标部分不属于所述第一类型区块，且属于所述第二类型区块；若所述第一匹配度满足预设的匹配度条件，在所述第一目标对象中删除所述第二目标部分，获得校正后的第一识别结果并输出。

在本发明实施例中，处理模块520具体用于：若所述第一匹配度不满足预设的匹配度条件，确定所述第二目标部分的特征与所述第一类型区块中的特征之间的第二匹配度；若所述第二匹配度大于所述第一匹配度，且所述第二匹配度大于预设的匹配度阈值，输出所述第一识别结果；所述预设的匹配度阈值大于所述第一匹配度。

在本发明实施例中，处理模块520还用于：判断所述对象识别结果与所述第一识别结果是否一致；若所述对象识别结果与所述第一识别结果不一致，将所述对象识别结果、所述第一图像、所述第二图像、所述第一识别结果和所述第二识别结果对应存储到预设的训练数据集中；若所述预设的训练数据集中的数据达到预设的数据量，基于所述预设的训练数据集对初始的第四神经网络模型进行训练，获得训练好的第四神经网络模型；基于所述多层网络和所述训练好的第四神经网络模型获得更新的多层网络。

在本发明实施例中，该装置还包括训练模块，用于：获取第一训练数据集；所述第一训练数据集中包括多对样本图像，每对样本图像中的两张样本图像为基于同一原始图像，分别进行所述第一类型区块的标注和所述第二类型区块的标注所得到的图像；根据所述第一训练数据集和初始的第一神经网络模型获得训练好的第一神经网络模型；对所述多对样本图像对应的多张原始图像中的所述第一目标对象和所述第二目标对象分别进行标注，获得第二训练数据集和第三训练数据集；根据所述第二训练数据集和初始的第二神经网络模型获得训练好的第二神经网络模型，以及根据所述第三训练数据集和初始的第三神经网络模型获得训练好的第三神经网络模型；根据所述训练好的第一神经网络模型、所述训练好的第二神经网络模型和所述训练好的第三神经网络模型获得训练好的多层网络。

基于多层网络的图像处理装置500与前述的图像处理方法对应，因此，各个功能模块的实施方式参照前述实施例中的介绍，在此不再重复介绍。

请结合参照图6，本发明实施例提供一种电子设备600，该电子设备600可作为前述的图像处理方法的执行主体。

电子设备600包括：处理器610和存储器620；处理器610和存储器620通信连接；其中，存储器620存储有可被处理器610执行的指令，指令被处理器610执行，以使处理器610能够执行前述实施例中的图像处理方法。

处理器610和存储器620可以通过通信总线连接。

可以理解，电子设备600还可以包括更多自身所需的通用模块，在本发明实施例不作一一介绍。

本发明实施例还提供一种计算机可读介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行前述实施例中所述的图像处理方法。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本发明的实施例而已，并不用于限制本发明的保护范围，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多层网络的图像处理方法，其特征在于，包括：

获取待处理图像；所述待处理图像为道路图像；

根据所述待处理图像和预先训练好的多层网络确定第一识别结果和第二识别结果；所述第一识别结果中标注有第一目标对象，所述第二识别结果中标注有第二目标对象，所述第一目标对象为人，所述第二目标对象为环境物体；

所述预先训练好的多层网络包括：第一神经网络模型、第二神经网络模型和第三神经网络模型；第一神经网络模型的输入层为所述多层网络的输入层，第一神经网络模型的输出层分别与第二神经网络模型的输入层和第三神经网络模型的输入层连接，第二神经网络模型的输出层和第三神经网络模型的输出层为所述多层网络的输出层；

其中，所述第一神经网络模型用于对所述待处理图像进行区块划分，输出标注有第一类型区块的第一图像和标注有第二类型区块的第二图像；所述第一类型区块为所述第一目标对象对应的区块，所述第二类型区块为所述第二目标对象对应的区块；所述第二神经网络模型用于基于所述第一图像获得所述第一识别结果，所述第三神经网络模型用于基于所述第二图像获得所述第二识别结果；

基于所述待处理图像的识别需求，根据所述第一图像、所述第二图像、所述第一识别结果和所述第二识别结果输出对象识别结果；

所述识别需求为识别所述第一目标对象，所述根据所述第一图像、所述第二图像、所述第一识别结果和所述第二识别结果输出对象识别结果，包括：

将所述第一识别结果与所述第一图像进行比较，判断所述第一类型区块的标注信息与所述第一目标对象的标注信息是否一致；

若所述第一类型区块的标注信息与所述第一目标对象的标注信息不一致，确定所述第一目标对象分别与所述第一类型区块和所述第二类型区块之间的从属关系；

若所述第一目标对象包括第一目标部分，将所述第一目标部分的特征与预设的第一目标对象特征进行比较；所述第一目标部分属于所述第一类型区块，且属于所述第二类型区块；若所述第一目标部分的特征属于所述预设的第一目标对象特征，输出所述第一识别结果；若所述第一目标部分的特征不属于所述预设的第一目标对象特征，在所述第一目标对象中删除所述第一目标部分，获得校正后的第一识别结果并输出；

若所述第一目标对象包括第二目标部分，确定所述第二目标部分的特征与所述第二类型区块中的特征之间的第一匹配度；所述第二目标部分不属于所述第一类型区块，且属于所述第二类型区块；若所述第一匹配度满足预设的匹配度条件，在所述第一目标对象中删除所述第二目标部分，获得校正后的第一识别结果并输出。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

若所述第一类型区块的标注信息与所述第一目标对象的标注信息一致，输出所述第一识别结果。

3.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

若所述第一匹配度不满足预设的匹配度条件，确定所述第二目标部分的特征与所述第一类型区块中的特征之间的第二匹配度；

若所述第二匹配度大于所述第一匹配度，且所述第二匹配度大于预设的匹配度阈值，输出所述第一识别结果；所述预设的匹配度阈值大于所述第一匹配度。

4.根据权利要求1所述的图像处理方法，其特征在于，所述识别需求为识别所述第一目标对象，所述图像处理方法还包括：

判断所述对象识别结果与所述第一识别结果是否一致；

若所述对象识别结果与所述第一识别结果不一致，将所述对象识别结果、所述第一图像、所述第二图像、所述第一识别结果和所述第二识别结果对应存储到预设的训练数据集中；

若所述预设的训练数据集中的数据达到预设的数据量，基于所述预设的训练数据集对初始的第四神经网络模型进行训练，获得训练好的第四神经网络模型；

基于所述多层网络和所述训练好的第四神经网络模型获得更新的多层网络。

5.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

获取第一训练数据集；所述第一训练数据集中包括多对样本图像，每对样本图像中的两张样本图像为基于同一原始图像，分别进行所述第一类型区块的标注和所述第二类型区块的标注所得到的图像；

根据所述第一训练数据集和初始的第一神经网络模型获得训练好的第一神经网络模型；

对所述多对样本图像对应的多张原始图像中的所述第一目标对象和所述第二目标对象分别进行标注，获得第二训练数据集和第三训练数据集；

根据所述第二训练数据集和初始的第二神经网络模型获得训练好的第二神经网络模型，以及根据所述第三训练数据集和初始的第三神经网络模型获得训练好的第三神经网络模型；

根据所述训练好的第一神经网络模型、所述训练好的第二神经网络模型和所述训练好的第三神经网络模型获得训练好的多层网络。

6.一种基于多层网络的图像处理装置，其特征在于，包括：

获取模块，用于获取待处理图像；所述待处理图像为道路图像；

处理模块，用于：根据所述待处理图像和预先训练好的多层网络确定第一识别结果和第二识别结果；所述第一识别结果中标注有第一目标对象，所述第二识别结果中标注有第二目标对象，所述第一目标对象为人，所述第二目标对象为环境物体；

所述预先训练好的多层网络包括：第一神经网络模型、第二神经网络模型、第三神经网络模型以及第四神经网络模型；第一神经网络模型的输入层为所述多层网络的输入层，第一神经网络模型的输出层分别与第二神经网络模型的输入层和第三神经网络模型的输入层连接，第二神经网络模型的输出层和第三神经网络模型的输出层为所述多层网络的输出层；

其中，所述第一神经网络模型用于对所述待处理图像进行区块划分，输出标注有第一类型区块的第一图像和标注有第二类型区块的第二图像；所述第一类型区块为所述第一目标对象对应的区块，所述第二类型区块为所述第二目标对象对应的区块；所述第二神经网络模型用于基于所述第一图像获得所述第一识别结果，所述第三神经网络模型用于基于所述第二图像获得所述第二识别结果；

基于所述待处理图像的识别需求，根据所述第一图像、所述第二图像、所述第一识别结果和所述第二识别结果输出对象识别结果；

所述识别需求为识别所述第一目标对象，所述处理模块具体用于：

将所述第一识别结果与所述第一图像进行比较，判断所述第一类型区块的标注信息与所述第一目标对象的标注信息是否一致；

若所述第一类型区块的标注信息与所述第一目标对象的标注信息不一致，确定所述第一目标对象分别与所述第一类型区块和所述第二类型区块之间的从属关系；

若所述第一目标对象包括第一目标部分，将所述第一目标部分的特征与预设的第一目标对象特征进行比较；所述第一目标部分属于所述第一类型区块，且属于所述第二类型区块；若所述第一目标部分的特征属于所述预设的第一目标对象特征，输出所述第一识别结果；若所述第一目标部分的特征不属于所述预设的第一目标对象特征，在所述第一目标对象中删除所述第一目标部分，获得校正后的第一识别结果并输出；

若所述第一目标对象包括第二目标部分，确定所述第二目标部分的特征与所述第二类型区块中的特征之间的第一匹配度；所述第二目标部分不属于所述第一类型区块，且属于所述第二类型区块；若所述第一匹配度满足预设的匹配度条件，在所述第一目标对象中删除所述第二目标部分，获得校正后的第一识别结果并输出。

7.一种电子设备，其特征在于，包括：处理器和与所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行权利要求1-5任一项所述的基于多层网络的图像处理方法。

Images