CN110674877B - 图像处理方法和装置 - Google Patents

Abstract

本公开提供了一种图像处理方法，该方法包括：获取目标图像；获取图像处理模型，图像处理模型可识别图像中的N类对象；向图像处理模型输入目标图像，以便图像处理模型执行以下操作：扫描目标图像，以确定目标图像中包含的至少一个对象；针对至少一个对象中的每个对象，确定对象是否是N类对象中的一类；如果确定对象是N类对象中的一类，则对对象标注第一标签；并且/或者如果确定对象不是N类对象中的一类，则对对象标注第二标签。本公开还提供了一种图像处理装置、一种电子设备以及一种计算机可读存储介质。

Description

图像处理方法和装置

技术领域

本公开涉及一种图像处理方法和装置。

背景技术

目前，广泛应用于模型训练的有监督机器学习通常需要大量的图像标注支持才能达到更好的训练效果。而目前图像标注主要依靠人工完成，非常地耗时耗力。

对此，相关技术中提供了一种通过神经网络训练的模型。这种模型能够识别并标注指定数量的物体或场景类型。比如ImageNet有1000种类型，在这个数据集上训练完成后，模型就可以认识并标注这1000种类型的场景或物体。当新增加N种类型的场景或物体时，模型就无法识别了。此时需要采集大量的关于这N种新类型的图片，然后与已知的1000种类型的数据集一起进行训练，模型才会认识并标注这新来的N种类型的场景或物体。以此类推，当再新增加M种类型的场景或物体时，还需要再次将之前已经训练好的1000+N种类型的数据集与新增加的M种类型的数据集一起进行训练，才能得到能够识别并标注这1000+N+M种类型的场景或物体的分类器。

可见，相关技术中已经训练好的模型无法识别并标注新增加的场景或物体类型。为了能够识别并标注新增加的场景或物体类型，每增加一次新类型，就需要重新训练一次模型。并且在这个过程中之前已经训练过的类型需要一直反复训练。

发明内容

本公开的一个方面提供了一种图像处理方法，包括：获取目标图像；获取图像处理模型，上述图像处理模型可识别图像中的N类对象；向上述图像处理模型输入上述目标图像，以便上述图像处理模型执行以下操作：扫描上述目标图像，以确定上述目标图像中包含的至少一个对象；针对上述至少一个对象中的每个对象，确定上述对象是否是上述N类对象中的一类；如果确定上述对象是上述N类对象中的一类，则对上述对象标注第一标签；并且/或者如果确定上述对象不是上述N类对象中的一类，则对上述对象标注第二标签。

可选地，上述方法还包括：提取上述对象的特征信息；获取上述第二标签的标签数据；通过上述对象的特征信息和上述标签数据，确定与上述对象对应的对象类别的模式信息；保存与上述对象对应的对象类别的模式信息，以便再次训练上述图像处理模型时使用。

可选地，上述确定上述对象是否是上述N类对象中的一类，包括：提取上述对象的特征信息；获取上述N类对象中每类对象的特征信息；以及通过计算上述对象的特征信息与上述每类对象的特征信息的相似度来确定上述对象是否是上述N类对象中的一类。

可选地，上述方法还包括：获取第一训练集，上述第一训练集中包含多张已标注上述第一标签的第一图像和多张未做标注的第二图像，且上述第一训练集中包含的图像中包含上述N类对象；以及向神经网络输入多张上述第一图像和多张上述第二图像，以训练上述图像处理模型。

可选地，上述方法还包括在训练上述图像处理模型的过程中：获取上述第一标签的标签数据；获取每张上述第一图像和每张上述第二图像对应于上述神经网络的预设网络层的第一响应值；根据上述第一响应值和上述第一标签的标签数据确定上述N类对象中每类对象的模式信息；以及保存上述每类对象的模式信息。

可选地，上述方法还包括：获取第二训练集，上述第二训练集中包含多张已标注第三标签的第三图像和多张未做标注的第四图像，且上述第二训练集中包含的图像中包含M类对象，上述M类对象不同于上述N类对象；以及向上述神经网络输入多张上述第三图像、多张上述第四图像以及上述每类对象的模式信息，以再次训练上述图像处理模型，其中，经再次训练后上述图像处理模型可识别图像中的上述N类对象和上述M类对象。

可选地，上述方法还包括在再次训练上述图像处理模型的过程中：获取上述第三标签的标签数据；获取每张上述第三图像和每张上述第四图像对应于上述神经网络的上述预设网络层的第二响应值；根据上述第二响应值和上述第三标签的标签数据确定上述M类对象中每类对象的模式信息；以及保存上述M类对象中每类对象的模式信息。

本公开的另一个方面提供了一种图像处理装置，包括：第一获取模块，用于获取目标图像；第二获取模块，用于获取图像处理模型，上述图像处理模型可识别图像中的N类对象；输入模块，用于向上述图像处理模型输入上述目标图像，以便上述图像处理模型执行以下操作：扫描上述目标图像，以确定上述目标图像中包含的至少一个对象；针对上述至少一个对象中的每个对象，确定上述对象是否是上述N类对象中的一类；如果确定上述对象是上述N类对象中的一类，则对上述对象标注第一标签；并且/或者如果确定上述对象不是上述N类对象中的一类，则对上述对象标注第二标签。

本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现本公开实施例的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现本公开实施例的方法。

本公开的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现本公开实施例的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1A和图1B示意性示出了根据本公开实施例的图像处理方法和装置的应用场景；

图2示意性示出了根据本公开实施例的图像处理方法的流程图；

图3A～3C示意性示出了根据本公开实施例的标注标签的示意图；

图4示意性示出了根据本公开实施例的图像处理装置的框图；以及

图5示意性示出了根据本公开实施例的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

本公开的实施例提供了一种针对已学习的和未学习的对象进行标注的图像处理方法以及能够应用该方法的图像处理装置。该方法包括获取目标图像和图像处理模型，其中该图像处理模型可识别图像中的N类对象。向该图像处理模型输入该目标图像，以便该图像处理模型执行以下操作。扫描该目标图像，以确定该目标图像中包含的至少一个对象；针对该至少一个对象中的每个对象，确定该对象是否是该N类对象中的一类；如果确定该对象是该N类对象中的一类，则对该对象标注第一标签。并且/或者如果确定该对象不是该N类对象中的一类，则对该对象标注第二标签。

图1A和图1B示意性示出了根据本公开实施例的图像处理方法和装置的应用场景。需要注意的是，图1A和图1B所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1A所示，图片中有一只黑猫、一只花猫和一只小狗，如图1B所示，图片中有一只花猫和一个人。如果使用相关技术中提供的已经训练好的且能够识别猫和狗但无法识别人物的模型进行图片标注，则只能标注出如图1A所示的猫和狗以及如图1B所示的猫，但无法标注出如图1B所示的人。而本公开实施例通过在已经训练好的且能够识别猫和狗但无法识别人物的模型中添加记忆模块，虽然只能识别出如图1A所示的猫和狗以及如图1B所示的猫，但是却能标注出如图1A所示的猫和狗以及如图1B所示的猫和人。可见，通过本公开实施例，对于已经训练好的模型而言，虽然无法识别出新增加的场景或物体类型，但是却可以标注出新增加的场景或物体类型。此外，为了能够识别新增加的场景或物体类型，只需要针对新增加的类型进行模型训练，而无需对之前已经训练过的类型进行反复训练。因此，本公开实施例可以更高效地对图片进行标注，从而解放大量的劳动力，同时节省劳动成本。

以下将参考附图并结合具体实施例详细阐述本公开。

图2示意性示出了根据本公开实施例的图像处理方法的流程图。

如图2所示，该方法包括操作S210～S270，其中：

在操作S210，获取目标图像。

需要说明的是，在本公开实施例中，每一张待标注标签的图像都可以作为目标图像。并且标注一张图像之前可以从存储该图像的存储模块直接读取该图像，或者通过网络下载该图像。

接下来，在操作S220，获取图像处理模型，该图像处理模型可识别图像中的N类对象。

需要说明的是，在本公开实施例中，图像处理模型是已经通过神经网络训练好的能够识别并能够对已知的N类对象进行标注的模型。其中，N≥1且N为任意整数。此外，该图像处理模型对除前述的N类对象之外的新增类型的对象只能进行标注，无法进行识别。

接下来，在操作S230，向该图像处理模型输入该目标图像，以便该图像处理模型执行以下操作S240～S270。

接下来，在操作S240，扫描该目标图像，以确定该目标图像中包含的至少一个对象。

需要说明的是，在本公开实施例中，在扫描目标图像的过程中，可以确定该目标图像中包含的所有对象或者部分对象。

接下来，在操作S250，针对该至少一个对象中的每个对象，确定该对象是否是该N类对象中的一类。

需要说明的是，在本公开实施例中，在确定每个对象的类别时，可以根据每个对象的特征信息与已知的N类对象中每一类对象的特征信息的相似度进行确定。

具体地，作为一种可选的实施例，操作S250确定该对象是否是该N类对象中的一类例如可以包括如下操作。提取该对象的特征信息。获取该N类对象中每类对象的特征信息。通过计算该对象的特征信息与该每类对象的特征信息的相似度来确定该对象是否是该N类对象中的一类。

需要说明的是，在本公开实施例中，在训练前述图像处理模型的过程中，可以先针对训练集中的每幅图像提取该模型能够识别的N类对象中的每类对象的特征信息，最终再针对每类对象进行特征信息汇总，并将汇总的特征信息按照对象类别存储在该模型的记忆模块中。因此，在确定一个对象的类别时，可以从目标图像中提取该对象的特征信息，并从记忆模块中依次读取各个类别的对象的特征信息，进而计算该对象的特征信息与每类对象的特征信息之间的相似度，并比较各相似度是否满足预先设定的相似度阈值范围。其中如果该对象的特征信息与某类对象的特征信息之间的相似度满足该预先设定的相似度阈值范围，则认为该对象属于该类对象。否则，如果该对象的特征信息与已存的任何一类对象的特征信息之间的相似度都不满足该预先设定的相似度阈值范围，则认为该模型无法识别该对象。

接下来，在操作S260，如果确定该对象是该N类对象中的一类，则对该对象标注第一标签。并且/或者

然后，在操作S270，如果确定该对象不是该N类对象中的一类，则对该对象标注第二标签。

需要说明的是，在本公开实施例中，第一标签例如可以包括一个或者多个标签，如“黑猫”、“花猫”、“白猫”、“狗”等。第二标签例如也可以包括一个或者多个标签，如“人”、“蓝天”、“白云”、“花”、“草”等。其中，在本公开实施例中，第二标签例如可以根据用户的确认信息和用户输入的标注数据进行标注。

返回参考图1A和图1B，如果一个图像处理模型被训练为能够识别并标注图片中的黑猫、白猫、花猫和狗的模型，则对于图1A而言，通过本公开实施例可以确定图片中包含3个对象，对于图1B而言，通过本公开实施例可以确定图片中包含2个对象。进一步，对于图1A而言，经前述图像处理模型识别后标注效果如图3A所示，对于图1B而言，经前述图像处理模型识别后标注效果如图3B所示。

需要说明的是，在本公开实施例中，在确定一个对象不是已知的模型能够识别的一类对象时，可以提醒用户是否需要标注。如果用户确定需要标注，则获取用户想要标注的数据进行标注。例如。对于图1B而言，在通过模型进行识别时，如果发现图像中存在无法识别的对象，则可以像如图3C那样通过方框标出并提醒用户“是否标注？”。如果用户确认标注，则根据用户输入的“人”对其进行标注，最终的标注效果如图3B所示。

与现有技术通过神经网络训练的模型一旦确定，只能识别并标注已学习过的N类对象，对于其他类别的没学习过的对象则既不能识别也不能进行标注相比，通过本公开实施例，不仅可以识别并标注已学习过的N类对象，而且对于其他类别的没学习过的对象虽然不能识别但是可以进行标注。

作为一种可选的实施例，该方法例如还可以包括如下操作。提取该对象的特征信息。获取该第二标签的标签数据。通过该对象的特征信息和该标签数据，确定与该对象对应的对象类别的模式信息。保存与该对象对应的对象类别的模式信息，以便再次训练该图像处理模型时使用。

具体地，对于已知的模型无法识别的对象而言，例如可以从包含该对象的目标图像中提取该对象的特征信息。该对象的标签数据则可以通过读取用户输入的标签数据得到。在确定该对象对应的类别的模式信息时，除了参考该对象自身的特征信息之外，还可以结合用户在其他目标图像中标注了相同标签数据的对象的特征信息。具体地，将这些对象的特征信息进行汇总并添加相应的标签数据可以归纳出该对象对应的类别的模式信息。例如，通过本公开实施例，在N幅目标图像中对无法识别的对象标注了“蓝天”，这种情况下，可以针对这N副目标图像中的每幅目标图像中的“蓝天”提取特征信息，并对所有的蓝天信息进行汇总，同时在汇总结果中添加“蓝天”这一标注数据作为“蓝天”这类对象的模式信息。

需要说明的是，在本公开实施例中，可以在前述的图像处理模型中添加记忆模块，并将上述模式信息(如“蓝天”的模式信息)保存在该模块中，以便后续训练能够识别“蓝天”的图像处理模型时直接从记忆模块中读取。

通过本公开实施例，通过增加记忆模块，在识别并标注图像时神经网络可以记忆图像中包含的未知对象的模式信息，以便后续再次训练模型时直接使用。

作为一种可选的实施例，该方法例如还可以包括如下操作。获取第一训练集，该第一训练集中包含多张已标注该第一标签的第一图像和多张未做标注的第二图像，且该第一训练集中包含的图像中包含该N类对象。向神经网络输入多张该第一图像和多张该第二图像，以训练该图像处理模型。

需要说明的是，在本公开实施例中，用于训练图像处理模型的训练集中既可以包括已标注标签的图像，又可以包括未标注标签的图像。其中对于已标注标签的图像在训练过程中进行的是强监督学习，对于未标注标签的图像在训练过程中进行的是弱监督学习。

需要说明的是，在本公开实施例中，在初次训练一个图像处理模型时，可以使用上述训练集进行训练，比如训练一个能够识别并标注1000类对象的模型。但在新增N种类型的对象后，可以只针对新增的N种类型的对象进行训练，而无需重复训练这已知的1000种类型。其中这可以通过在记忆模块中保存这已知的1000种类型的对象的模式信息实现。

具体地，作为一种可选的实施例，该方法例如还可以包括在训练该图像处理模型的过程中执行以下操作。获取该第一标签的标签数据。获取每张该第一图像和每张该第二图像对应于该神经网络的预设网络层的第一响应值。根据该第一响应值和该第一标签的标签数据确定该N类对象中每类对象的模式信息。保存该每类对象的模式信息。

具体地，在本公开实施例中，可以从图像中标注的标签中读取各标签的标签数据。此外，在本公开实施例中，第一响应值可以是一个特征矩阵，用于表征对应图像的特征信息。因而图像中各对象的特征信息可以从该特征矩阵中提取。此外，此外，在本公开实施例中，例如可以将每类对象的模式信息保存在图像处理模型的记忆模块中。

通过本公开实施例，由于图像处理模型即神经网络可以记忆已学习的N类对象的模式信息，因而后续再次训练模型时可以直接使用，而无需重复训练这N类对象。

更进一步，作为一种可选的实施例，该方法例如还可以包括如下操作。获取第二训练集，该第二训练集中包含多张已标注第三标签的第三图像和多张未做标注的第四图像，且该第二训练集中包含的图像中包含M类对象，该M类对象不同于该N类对象。向该神经网络输入多张该第三图像、多张该第四图像以及该每类对象的模式信息，以再次训练该图像处理模型，其中，经再次训练后该图像处理模型可识别图像中的该N类对象和该M类对象。

具体地，在本公开实施例中，对于已经训练好的能够识别N类对象的图像处理模型，在新增M类对象时，只需要提供新增的M类对象的训练集和已有的N类对象的模式信息进行训练即可，无需重新提供已有的N类对象的训练集对这N类对象进行重复训练。

通过本公开实施例，基于神经网络的记忆功能，对于已经训练好的图像识别模型可以进行增量训练，以节约训练时间。

更进一步，作为一种可选的实施例，该方法例如还可以包括在再次训练该图像处理模型的过程中执行以下操作。获取该第三标签的标签数据。获取每张该第三图像和每张该第四图像对应于该神经网络的该预设网络层的第二响应值。根据该第二响应值和该第三标签的标签数据确定该M类对象中每类对象的模式信息。保存该M类对象中每类对象的模式信息。

具体地，在本公开实施例中，对于新增的M类对象，在基于已经训练好的能够识别N类对象的图像处理模型进行增量训练得到一个能够同时识别并标注M+N类对象的新模型的过程中，还可以根据训练集中每张图像在网络层的响应值(可以是特征矩阵)，提取这M类对象中各类对象的特征信息，进而将提取的特征信息与对应的标注数据结合，得到各类对象的模式信息，同时将这M类对象中各类对象的模式信息也保存在神经网络的记忆模块中，以便再有新增对象加入时，可以直接利用这些模式信息，而无需重复训练这M类对象。

通过本公开实施例，基于神经网络的记忆功能，可以无限次地进行增量迭代训练，以节约训练时间。

图4示意性示出了根据本公开实施例的图像处理装置的框图。

如图4所示，图像处理装置400包括第一获取模块410、第二获取模块420和输入模块430。

具体地，第一获取模块410用于获取目标图像。

第二获取模块420用于获取图像处理模型，该图像处理模型可识别图像中的N类对象。

输入模块430用于向该图像处理模型输入该目标图像，以便该图像处理模型执行以下操作S1～S4。

在操作S1，扫描该目标图像，以确定该目标图像中包含的至少一个对象。

接下来，在操作S2，针对该至少一个对象中的每个对象，确定该对象是否是该N类对象中的一类。

接下来，在操作S3，如果确定该对象是该N类对象中的一类，则对该对象标注第一标签。并且/或者

然后，在操作S4，如果确定该对象不是该N类对象中的一类，则对该对象标注第二标签。

与现有技术通过神经网络训练的模型一旦确定，只能识别并标注已学习过的N类对象，对于其他类别的没学习过的对象则既不能识别也不能进行标注相比，通过本公开实施例，不仅可以识别并标注已学习过的N类对象，而且对于其他类别的没学习过的对象虽然不能识别但是可以进行标注。

需要说明的是，本公开的装置部分实施例与本公开的方法部分实施例对应相同或类似，装置部分的描述具体参考方法部分的描述，在此不再赘述。

根据本公开的实施例的模块中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，第一获取模块410、第二获取模块420和输入模块430中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块410、第二获取模块420和输入模块430中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块410、第二获取模块420和输入模块430中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图5示意性示出了根据本公开实施例的电子设备的框图。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500包括处理器510、计算机可读存储介质520。该电子设备500可以执行根据本公开实施例的方法。

具体地，处理器510例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器510还可以包括用于缓存用途的板载存储器。处理器510可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质520，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

计算机可读存储介质520可以包括计算机程序521，该计算机程序521可以包括代码/计算机可执行指令，其在由处理器510执行时使得处理器510执行根据本公开实施例的方法或其任何变形。

计算机程序521可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序521中的代码可以包括一个或多个程序模块，例如包括521A、模块521B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器510执行时，使得处理器510可以执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例，第一获取模块410、第二获取模块420和输入模块430中的至少一个可以实现为参考图5描述的计算机程序模块，其在被处理器510执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (9)

1.一种图像处理方法，包括：

获取目标图像；

获取图像处理模型，所述图像处理模型可识别图像中的N类对象；

向所述图像处理模型输入所述目标图像，以便所述图像处理模型执行以下操作：

扫描所述目标图像，以确定所述目标图像中包含的至少一个对象；

针对所述至少一个对象中的每个对象，确定所述对象是否是所述N类对象中的一类；

如果确定所述对象是所述N类对象中的一类，则对所述对象标注第一标签；并且/或者

如果确定所述对象不是所述N类对象中的一类，则对所述对象标注第二标签，所述第二标签用于标注训练所述图像处理模型的新增对象；

其中，对于不是所述N类对象中的一类的对象，所述方法还包括：

提取所述对象的特征信息；

获取所述第二标签的标签数据；

通过所述对象的特征信息、所述标签数据和除所述对象以外的标注所述标签数据的对象的特征信息，确定与所述对象对应的对象类别的模式信息；

保存与所述对象对应的对象类别的模式信息，以便再次训练所述图像处理模型时使用。

2.根据权利要求1所述的方法，其中，所述确定所述对象是否是所述N类对象中的一类，包括：

提取所述对象的特征信息；

获取所述N类对象中每类对象的特征信息；以及

通过计算所述对象的特征信息与所述每类对象的特征信息的相似度来确定所述对象是否是所述N类对象中的一类。

3.根据权利要求1所述的方法，还包括：

获取第一训练集，所述第一训练集中包含多张已标注所述第一标签的第一图像和多张未做标注的第二图像，且所述第一训练集中包含的图像中包含所述N类对象；以及

向神经网络输入多张所述第一图像和多张所述第二图像，以训练所述图像处理模型。

4.根据权利要求3所述的方法，还包括在训练所述图像处理模型的过程中：

获取所述第一标签的标签数据；

获取每张所述第一图像和每张所述第二图像对应于所述神经网络的预设网络层的第一响应值；

根据所述第一响应值和所述第一标签的标签数据确定所述N类对象中每类对象的模式信息；以及

保存所述每类对象的模式信息。

5.根据权利要求4所述的方法，还包括：

获取第二训练集，所述第二训练集中包含多张已标注第三标签的第三图像和多张未做标注的第四图像，且所述第二训练集中包含的图像中包含M类对象，所述M类对象不同于所述N类对象；以及

向所述神经网络输入多张所述第三图像、多张所述第四图像以及所述每类对象的模式信息，以再次训练所述图像处理模型，其中，经再次训练后所述图像处理模型可识别图像中的所述N类对象和所述M类对象。

6.根据权利要求5所述的方法，还包括在再次训练所述图像处理模型的过程中：

获取所述第三标签的标签数据；

获取每张所述第三图像和每张所述第四图像对应于所述神经网络的所述预设网络层的第二响应值；

根据所述第二响应值和所述第三标签的标签数据确定所述M类对象中每类对象的模式信息；以及

保存所述M类对象中每类对象的模式信息。

7.一种图像处理装置，包括：

第一获取模块，用于获取目标图像；

第二获取模块，用于获取图像处理模型，所述图像处理模型可识别图像中的N类对象；

输入模块，用于向所述图像处理模型输入所述目标图像，以便所述图像处理模型执行以下操作：

扫描所述目标图像，以确定所述目标图像中包含的至少一个对象；

针对所述至少一个对象中的每个对象，确定所述对象是否是所述N类对象中的一类；

如果确定所述对象是所述N类对象中的一类，则对所述对象标注第一标签；并且/或者

如果确定所述对象不是所述N类对象中的一类，则对所述对象标注第二标签，所述第二标签用于标注训练所述图像处理模型的新增对象；

其中，对于不是所述N类对象中的一类的对象，所述图像处理装置还用于：提取所述对象的特征信息；获取所述第二标签的标签数据；通过所述对象的特征信息、所述标签数据和除所述对象以外的标注所述标签数据的对象的特征信息，确定与所述对象对应的对象类别的模式信息；保存与所述对象对应的对象类别的模式信息，以便再次训练所述图像处理模型时使用。

8.一种电子设备，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至6中任一项所述的方法。

Images