CN114063858A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种图像处理的方法和装置，涉及图像处理领域，尤其涉及图像标注领域。实现方案为：获取包括待标注的目标区域的待处理图像；响应于对目标区域的第一点击，执行第一操作以基于第一点击的点击位置而增加针对目标区域的预测区域；响应于在预测区域超出目标区域的位置处的第二点击，执行第二操作以基于第二点击的点击位置而缩减预测区域；响应于确定预测区域和目标区域的差值符合预设条件，获取预测区域的轮廓以标注目标区域。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及图像标注领域，具体涉及一种图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

在现有的图像标注方法中，主要依赖于人工选点和拉线，利用闭合曲线将所选的目标与背景区分。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种图像处理方法，所述方法包括：获取待处理图像，所述待处理图像包括待标注的目标区域；响应于对所述目标区域的第一点击，执行第一操作，其中，所述第一操作用于基于所述第一点击的点击位置而增加针对所述目标区域的预测区域，以使得所述目标区域的尚未被所述预测区域覆盖的面积变小；响应于在所述预测区域超出所述目标区域的位置处的第二点击，执行第二操作，其中，所述第二操作用于基于所述第二点击的点击位置而缩减所述预测区域，以使得所述预测区域超出所述目标区域的面积变小；以及响应于确定所述预测区域和所述目标区域的差值符合预设条件，获取所述预测区域的轮廓以标注所述目标区域。

根据本公开的另一方面，提供了一种图像处理模型的训练方法，所述方法包括：获取样本数据集，其中，所述样本数据集中的每个样本数据包括图像和所述图像中的第一采样点，并且其中，所述图像中包括待标注的目标区域，且所述第一采样点位于所述目标区域中；对于每个样本数据，执行如下操作：将所述图像和所述第一采样点输入到所述图像处理模型，以得到针对所述目标区域的第一预测区域；在所述第一预测区域与所述目标区域的偏差区域处，获取第二采样点；将所述图像、所述第一采样点和所述第二采样点输入到所述图像处理模型，以得到针对所述目标区域的第二预测区域；基于所述第二预测区域和所述目标区域的差值，计算损失函数；以及基于所述损失函数调整所述图像处理模型的多个参数。

根据本公开的另一方面，提供了一种图像处理装置，所述装置包括：图像获取单元，被配置为获取待处理图像，所述待处理图像包括待标注的目标区域；第一执行单元，被配置为响应于对所述目标区域的第一点击，执行第一操作，其中，所述第一操作用于基于所述第一点击的点击位置而增加针对所述目标区域的预测区域，以使得所述目标区域的尚未被所述预测区域覆盖的面积变小；第二执行单元，被配置为响应于在所述预测区域超出所述目标区域的位置处的第二点击，执行第二操作，其中，所述第二操作用于基于所述第二点击的点击位置而缩减所述预测区域，以使得所述预测区域超出所述目标区域的面积变小；以及轮廓获取单元，被配置为响应于确定所述预测区域和所述目标区域的差值符合预设条件，获取所述预测区域的轮廓以标注所述目标区域。

根据本公开的另一方面，提供了一种图像处理模型的训练装置，所述装置包括：样本获取单元，被配置为获取样本数据集，其中，所述样本数据集中的每个样本数据包括图像和所述图像中的第一采样点，并且其中，所述图像中包括待标注的目标区域，且所述第一采样点位于所述目标区域中；第一预测单元，被配置为将所述图像和所述第一采样点输入到所述图像处理模型，以得到针对所述目标区域的第一预测区域；第二采样点获取单元，被配置为在所述第一预测区域超出所述目标区域的位置处，获取第二采样点；第二预测单元，被配置为将所述图像、所述第一采样点和所述第二采样点输入到所述图像处理模型，以得到针对所述目标区域的第二预测区域；损失函数计算单元，被配置为基于所述第二预测区域和所述目标区域的差值，计算损失函数；以及参数更新单元，被配置基于所述损失函数调整所述图像处理模型的多个参数。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行上述任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述任一项所述的方法。

根据本公开的一个或多个实施例，用户能够通过较少次数的点击实现交互式图像标注，提高了标注精度和效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本公开的实施例的图像处理方法的流程图；

图2A-2E示出了根据本公开的实施例的对图像进行标注的一个示例；

图3示出了根据本公开的实施例的图像处理模型的训练方法的流程图；

图4示出了根据本公开的实施例的图像处理装置的框图；

图5示出了根据本公开的实施例的图像处理模型的训练装置的框图；以及

图6示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个要素与另一要素区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

下面将结合附图详细描述本公开的实施例。

图1是示出根据本公开示例性实施例的图像处理方法的流程图。

如图1所示，该方法包括：步骤S101、获取待处理图像，所述待处理图像包括待标注的目标区域；步骤S102、响应于对所述目标区域的第一点击，执行第一操作，其中，所述第一操作用于基于所述第一点击的点击位置而增加针对所述目标区域的预测区域，以使得所述目标区域的尚未被所述预测区域覆盖的面积变小；步骤S103、响应于在所述预测区域超出所述目标区域的位置处的第二点击，执行第二操作，其中，所述第二操作用于基于所述第二点击的点击位置而缩减所述预测区域，以使得所述预测区域超出所述目标区域的面积变小；步骤S104、响应于确定所述预测区域和所述目标区域的差值符合预设条件，获取所述预测区域的轮廓以标注所述目标区域。

通过该方法，用户能够通过较少次数的几次点击，高效且准确地完成对图像的标注。与现有技术相比，用户不再需要沿着待标注对象的轮廓手动标注大量的点，而是能够通过在图像上不特定的位置进行点击操作即可完成标注，既减少了需要标注的点的数量，又降低了对用户点击精度的要求，从而大幅度提高了效率。根据本公开实施例的方法，用户在希望被标注的对象上进行一次点击，即可自动生成一个旨在覆盖所述对象的预测区域。进一步地，用户还可以视所述预测区域的具体情况，通过对所述预测区域和待标注对象之间的偏差区域进行较少的几次点击操作，完善所述预测区域，使其和待标注对象之间的偏差满足标注要求。

通常，待处理图像由前景区域(即，目标区域)和背景区域构成。待处理图像中超出所述目标区域的部分也可被视为是背景区域的一部分。目标区域可以是同一类别的多个物体整体(对应于“语义分割”)，也可以是同一类别的多个物体中的单个个体(对应于“实例分割”)。例如，目标区域可以是图像中的所有车辆，也可以是其中的单个车辆。其中，预测区域和目标区域的差值是两个区域的面积的差。

用户在图像上的点击操作可以区分为两种类型。具体的，旨在增加预测区域(即，位于待标注对象所对应的目标区域内)的点击点可以视为正点，旨在缩减预测区域(即，位于背景区域)的点击点可以视为负点。根据一种实施方式，用户使用鼠标左键输入正点，使用鼠标右键输入负点。此外，为了便于区分，也可以在待标注图像中用不同的颜色区分正点和负点，例如，可以用绿色或黑色代表正点，用红色或白色代表负点。可以理解，其它区分点击操作类型的方式也是可行的，本公开在此不做限定。

其中，第一点击或第二点击经由用户点击而获取。例如，当用户通过鼠标等设备对图像进行点击操作时，通过函数拾取鼠标点击处的坐标位置。以拾取到的该坐标位置为圆心，获取半径为5个像素点的圆，收集该圆内所有像素点的信息，生成像素点集，该像素点集作为第一点击或第二点击。

为了方便用户区分预测区域和目标区域，可以用单色显示预测区域，而不改变目标区域的显示，但本公开并不限于此，例如，可以通过调节参数来改变预测区域的透明度。

根据一些实施例，重复点击以执行对应的第一操作和/或第二操作，直至确定所述预测区域和所述目标区域的差值符合所述预设条件。

可见，根据本公开的方法对用户标注对象时的点击次数不做限制。在预测区域与目标区域偏差不符合预设条件的情况下，用户可以通过后续的多次点击，不断完善预测区域，直至得到高精度的标注结果。

根据一些实施例，所述获取所述预测区域的轮廓以标注所述目标区域包括沿所述轮廓生成多边形。例如，沿所述获取所述预测区域的轮廓生成多边形，该多边形包括线段和角点。

在例如遥感图像的建筑物这样存在大量的直线边缘的场景下，使预测区域显示为多边形，能方便用户更有效地比对预测区域和目标区域。

根据一些实施例，通过执行下列操作中的至少一者，调整所述多边形，包括：为所述多边形添加角点；删除所述多边形的角点；和拖曳所述多边形的角点，例如，用户拖曳所述多边形的角点，线段的矢量随着角点位置改变而变换，若将某一角点拖离相邻的角点，则该两点间的线段长度增加。通过执行所述操作，减少预测区域与目标区域之间的差值。

这样，用户无需进行复杂的操作，只需通过简单的三种操作，就能够改变预测区域的轮廓，实现对预测区域的微调。

根据一些实施例，图像处理方法还包括：基于JSON格式或COCO格式导出针对所述目标区域的标注结果。用户在预测区域和目标区域的差值小于预设条件并希望导出预测区域时，可以选择JSON格式或COCO格式，以生成不同格式的针对所述目标区域的标注结果，从而满足用户对于标注格式的不同要求，方便用户根据自己的需求导出标注结果。

根据一些实施例，所述获取待处理图像包括：加载所述标注结果，以获得包括在先标注信息的待处理图像。

这样，可以再次导入已经过标注的待处理图像，从而支持在之前标注结果的基础上进行再次标注。

根据一些实施例，用户可以选择是否自动保存标注结果，而无需进行保存标注结果的操作，从而使标注过程流畅。

根据一些实施例，可以为已标注的所述目标区域添加标签，其中，所述标签能够被导出，以用于标注其他待处理图像中的与所述目标区域同类型的区域。

这样，不同用户间能够共享相同的标签，从而方便多人协作标注的场景。其中，用户可以选择将标签存储在硬盘、云端等存储设备中，其他的用户可以通过访问这些存储设备而获取标签。

图2A-2E示出了根据本公开的实施例的对图像进行标注的一个示例。以下，参照图2A-2E，对用户通过点击完成图像标注的过程进行说明。

如图2A所示，用户导入待处理图像。其中，待处理图像所包括的待标注的目标区域为熊，熊以外的区域为背景区域。用户可以通过移动鼠标光标在目标区域或背景区域上进行点击。如图2B-2E所示，例如，若用户点击鼠标左键，则此时鼠标光标位置处产生一个代表正点的黑点P1。若用户点击鼠标右键，则此时鼠标光标位置处产生一个代表负点的白点P2。

标注时，首先将鼠标光标移动至熊这一目标区域上，点击鼠标左键，添加代表正点的黑点P1，即进行了第一点击。

如图2B所示，响应于所述用户进行的第一点击，生成灰色阴影的预测区域。生成灰色阴影与熊大部分重叠，即目标区域的尚未被所述预测区域覆盖的面积与第一点击之前的状态相比已经变小。可以注意到，此时，灰色阴影的预测区域包含熊头部下方的岩石部分。因此，需要去除该岩石部分，即减小预测区域超出目标区域的面积。

为此，需要进行第二点击。将鼠标光标移动至岩石上，点击鼠标右键，添加代表负点的白点P2，即进行第二点击。如图2C所示，响应于第二点击，灰色阴影的预测区域发生改变，即从灰色阴影中除去了岩石部分。可以注意到，此时，灰色阴影的预测区域还不包括熊的右耳部分。

为使灰色阴影包括熊的右耳部分，需要再次进行第一点击。用户需要在熊的右耳上添加一个正点。为此，用户将鼠标光标移动至熊的右耳上，点击鼠标左键，添加代表正点的黑点P3，再次完成了第一点击，即重复点击以执行对应的第一操作。

如图2D所示，响应于用户再次进行的第一点击，灰色阴影的预测区域增加以致包括了熊的右耳。此时，灰色阴影的预测区域与目标区域基本重合，响应于确定两者的差值符合预设条件，图像标注完成。需要说明，前述基于图2A-2D说明的实施例只是示例性的，根据本公开的方法对第一操作和第二操作的重复次数不做限制，即，用户可以重复点击以执行对应的第一操作和/或第二操作，直至确定预测区域和目标区域的差值符合所述预设条件。

如图2E所示，沿预测区域轮廓生成有多边形，其中，在熊与背景区域的交界处，形成有由角点和线段构成的灰色点线。其中，每个角点可以被拖曳，以对多边形进行微调。此外，也可以新增或删除多边形的角点。

图2E示例性地描述拖曳角点的情形。为辅助理解，图中增加了两条黑色虚线表示在角点P4(拖曳前)、P4’(拖曳前后)在高度方向的位置变化。如图2E所示，在高度方向上，将虚线上方的角点P4拖曳至虚线下方P4’处，与之相随，角点P4、P4’与其相应的连接角点P5之间的点线也发生变化(为说明清楚起见，相关的灰色线段用黑色表示)，预测区域的轮廓发生改变。用户通过执行拖曳所述多边形的角点的操作，调整所述多边形，以使所述多边形与目标区域更加吻合。

图3是示出根据一个示例性实施例的图像处理模型的训练方法的流程图。

如图3所示，该图像处理模型的训练方法包括：步骤301、获取样本数据集，其中，所述样本数据集中的每个样本数据包括图像和所述图像中的第一采样点，并且其中，所述图像中包括待标注的目标区域，且所述第一采样点位于所述目标区域中；对于获取样本数据集中的每个样本数据，执行如下操作：步骤302、将图像和第一采样点输入到所述图像处理模型，以得到针对目标区域的第一预测区域；步骤303、在所述第一预测区域与所述目标区域的偏差区域处，获取第二采样点；步骤304、将图像、第一采样点和第二采样点输入到图像处理模型，以得到针对目标区域的第二预测区域；步骤305、基于第二预测区域和目标区域的差值，计算损失函数；以及步骤306、基于损失函数调整图像处理模型的多个参数。

根据一些实施例，样本数据集可以选择用于图像分割的训练数据，例如Berkeleydataset，所述图像处理模型可以是基于HRNet+OCR模型。

根据一种实施方式，第一采样点和/或第二采样点可以以距离地图(distancemap)的形式与样本数据所包括的图像一起输入到所述图像处理模型中。其中，对于每一个样本数据所包括的图像，可以分别设置一个正点distance map和一个负点distance map。其中，正点distance map和负点distance map分别具有和与其对应的图像相同的尺寸。区别在于，在正点distance map中，仅在与采样的一个或多个正点对应的一个或多个位置处的值为1，其余的值均为0；相应的，在负点distance map中，仅在与采样的一个或多个负点对应的一个或多个位置处的值为1，其余的值均为0。

根据一种实施方法，第一采样点中可以只包含正点。因此，在对第一采样点编码过程中，只有相应的正点distance map上的值发生改变，而负点distance map为零。例如，若第一采样点中包含1个正点，则正点distance map上与该1个正点对应位置处的值变为1；相应的，若第一采样点中包含多个，例如24个，正点，则正点distance map上与该24个正点对应位置处的值变为1。

基于第一采样点，完成所述训练过程中的第一次正向传播。需要指出，用于实现所述第一次正向传播的输入包括样本数据中的图像(即，原图)、正点distance map以及负点distance map。例如，对于没有负点作为采样点的情况下，负点distance map全取0值。

根据一种实施方式，基于与原图对应的RGB向量、正点distance map和负点distance map，得到五通道的3维向量的输入向量，输入至所述图像处理模型中，进行第一次正向传播，并得到第一预测区域。

根据一些实施例，在所述第一预测区域超出所述目标区域的位置处，获取所述第二采样点。

通过使第二采样点由负点构成，增加了关于负点的训练数据，强化经过预训练的图像处理模型响应负点的能力，提高模型泛化能力。

由于第一预测区域错误地包括了目标区域以外的区域，因此第二采样点由负点构成，以缩减所述第一预测区域超出目标区域的面积。此时，正点distance map保持不变，负点distance map的值响应于新增的作为第二采样点的负点而改变。随后，基于与原图对应的RGB向量、正点distance map和更新的负点distance map，得到五通道的3维向量的输入向量，输入至所述图像处理模型中，进行第二次正向传播，并得到第二预测区域。

基于第二次预测区域和目标区域的差值，进行反向传播，以调整所述模型的多个参数。可见，根据本公开的训练方法，在基于一个样本数据的训练过程中，包括两次正向传播和一次方向传播。

根据一些实施例，在所述第一预测区域的未覆盖所述目标区域的位置处，获取所述第二采样点。

通过使第二采样点由正点构成，增加了关于正点的训练数据，进一步强化经过预训练的图像处理模型响应正点的能力，提高响应正点的预测区域的精度。

由于第一预测区域未能很好地覆盖目标区域，因此第二采样点由正点构成，以增加所述第一预测区域覆盖目标区域的面积。此时，响应于新增的作为第二采样点的正点，正点distance map的值改变；由于第一采样点和第二采样点中都不包括负点，负点distancemap的值仍保持为初始值的零。随后，基于与原图对应的RGB向量、更新的正点distance map和负点distance map，得到五通道的3维向量的输入向量，输入至所述图像处理模型中，进行第二次正向传播，并得到第二预测区域。基于第二次预测区域和目标区域的差值，进行反向传播，以调整所述模型的多个参数。

根据一些实施例，第一采样点和第二采样点是基于所述目标区域对应的真值图像而随机获取的。其中，所述目标区域对应的真值(Ground truth)图像是在模型训练前已知的，其用于将图像中的待标注的目标区域与背景区域进行明确区分。

在获取第一采用点之前，可以对所述目标区域对应的真值图像进行腐蚀，例如腐蚀至原真值图像的1/4，并在经腐蚀后的区域内随机选取第一采样点。其中，第一采样点可以是一个正点，也可以包括多个正点。此外，在获取第二采样点之前，也可以对预测区域与真值图像的偏差区域进行图像腐蚀，并在经腐蚀后的区域内随机选取第二采样点，其中，第二采样点的个数优选为1个。通过在经腐蚀的区域处随机取点，能够增加系统的鲁棒性。

根据一些实施例，所述方法可用于训练两个预训练的模型，其中一个为高精度模型，另一个为轻量化模型，两者因参数数量不同而用于实现不同的性能。针对不同的模型，响应于鼠标点击而生成的预测区域的面积也有不同，例如，在高精度模型中，随着鼠标点击而生成的预测区域的面积以较小幅度改变，从而可以实现实例分割。相应的，在轻量化模型中，随着鼠标点击而生成的预测区域的面积以较大幅度改变，从而以高效率进行语义分割。

根据一些实施例，通过调整模型中参数的值，提供适用于通用、人像、遥感、自动驾驶等多个场景的模型。由此，用户可以根据需要选择模型，满足不同用户使用场景的需求。

根据一些实施例，对待处理图像进行预处理，例如，在待处理图片存在块状噪声情况下，优选直接屏蔽离散的块状的噪声区域，只保留最大联通区域。其中，噪声区域和最大联通区域可以通过边缘检测、最大类间方差等求出。

根据本公开的一个方面，还公开了一种图像处理装置400，所述装置包括：图像获取单元401，被配置为获取待处理图像，所述待处理图像包括待标注的目标区域；第一执行单元402，被配置为响应于对所述目标区域的第一点击，执行第一操作，其中，所述第一操作用于基于所述第一点击的点击位置而增加针对所述目标区域的预测区域，以使得所述目标区域的尚未被所述预测区域覆盖的面积变小；第二执行单元403，被配置为响应于在所述预测区域超出所述目标区域的位置处的第二点击，执行第二操作，其中，所述第二操作用于基于所述第二点击的点击位置而缩减所述预测区域，以使得所述预测区域超出所述目标区域的面积变小；以及轮廓获取单元404，被配置为响应于确定所述预测区域和所述目标区域的差值符合预设条件，获取所述预测区域的轮廓以标注所述目标区域。

根据本公开的一个方面，还公开了一种图像处理模型的训练装置500，所述装置包括：样本获取单元501，被配置为获取样本数据集，其中，所述样本数据集中的每个样本数据包括图像和所述图像中的第一采样点，并且其中，所述图像中包括待标注的目标区域，且所述第一采样点位于所述目标区域中；第一预测单元502，被配置为将所述图像和所述第一采样点输入到所述图像处理模型，以得到针对所述目标区域的第一预测区域；第二采样点获取单元503，被配置为在所述第一预测区域超出所述目标区域的位置处，获取第二采样点；第二预测单元504，被配置为将所述图像、所述第一采样点和所述第二采样点输入到所述图像处理模型，以得到针对所述目标区域的第二预测区域；损失函数计算单元505，被配置为基于所述第二预测区域和所述目标区域的差值，计算损失函数；以及参数更新单元506，被配置基于所述损失函数调整所述图像处理模型的多个参数。

根据本公开的一个方面，还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。

根据本公开的一个方面，还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行上述方法。

根据本公开的一个方面，还公开了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述方法。

参考图6，现将描述可以作为本公开的服务器或客户端的电子设备600的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

电子设备600中的多个部件连接至I/O接口605，包括：输入单元606、输出单元607、存储单元608以及通信单元609。输入单元606可以是能向电子设备600输入信息的任何类型的设备，输入单元606可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元607可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元608可以包括但不限于磁盘、光盘。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙^TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (16)

1.一种图像处理方法，所述方法包括：

获取待处理图像，所述待处理图像包括待标注的目标区域；

响应于对所述目标区域的第一点击，执行第一操作，其中，所述第一操作用于基于所述第一点击的点击位置而增加针对所述目标区域的预测区域，以使得所述目标区域的尚未被所述预测区域覆盖的面积变小；

响应于在所述预测区域超出所述目标区域的位置处的第二点击，执行第二操作，其中，所述第二操作用于基于所述第二点击的点击位置而缩减所述预测区域，以使得所述预测区域超出所述目标区域的面积变小；以及

响应于确定所述预测区域和所述目标区域的差值符合预设条件，获取所述预测区域的轮廓以标注所述目标区域。

2.如权利要求1所述的方法，还包括：

重复点击以执行对应的第一操作和/或第二操作，直至确定所述预测区域和所述目标区域的差值符合所述预设条件。

3.如权利要求1或2所述的方法，其中，所述获取所述预测区域的轮廓以标注所述目标区域包括沿所述轮廓生成多边形。

4.如权利要求3所述的方法，还包括：

通过执行下列操作中的至少一者，调整所述多边形：

为所述多边形添加角点；

删除所述多边形的角点；和

拖曳所述多边形的角点。

5.如权利要求1至4中任一项所述的方法，还包括：

基于JSON格式或COCO格式导出针对所述目标区域的标注结果。

6.如权利要求5所述的方法，其中，所述获取待处理图像包括：

加载所述标注结果，以获得包括在先标注信息的待处理图像。

7.如权利要求1至6中任一项所述的方法，还包括：

为已标注的所述目标区域添加标签，其中，所述标签能够被导出，以用于标注其他待处理图像中的与所述目标区域同类型的区域。

8.一种图像处理模型的训练方法，所述方法包括：

获取样本数据集，其中，所述样本数据集中的每个样本数据包括图像和所述图像中的第一采样点，并且其中，所述图像中包括待标注的目标区域，且所述第一采样点位于所述目标区域中；

对于每个样本数据，执行如下操作：

将所述图像和所述第一采样点输入到所述图像处理模型，以得到针对所述目标区域的第一预测区域；

在所述第一预测区域与所述目标区域的偏差区域处，获取第二采样点；

将所述图像、所述第一采样点和所述第二采样点输入到所述图像处理模型，以得到针对所述目标区域的第二预测区域；

基于所述第二预测区域和所述目标区域的差值，计算损失函数；以及

基于所述损失函数调整所述图像处理模型的多个参数。

9.如权利要求8所述的方法，其中，所述在所述第一预测区域与所述目标区域的偏差区域处，获取第二采样点包括：

在所述第一预测区域超出所述目标区域的位置处，获取所述第二采样点。

10.如权利要求8所述的方法，其中，所述在所述第一预测区域与所述目标区域的偏差区域处，获取第二采样点包括：

在所述第一预测区域的未覆盖所述目标区域的位置处，获取所述第二采样点。

11.如权利要求8至10中任一项所述的方法，其中，所述第一采样点和所述第二采样点是基于所述目标区域对应的真值图像而随机获取的。

12.一种图像处理装置，所述装置包括：

图像获取单元，被配置为获取待处理图像，所述待处理图像包括待标注的目标区域；

第一执行单元，被配置为响应于对所述目标区域的第一点击，执行第一操作，其中，所述第一操作用于基于所述第一点击的点击位置而增加针对所述目标区域的预测区域，以使得所述目标区域的尚未被所述预测区域覆盖的面积变小；

第二执行单元，被配置为响应于在所述预测区域超出所述目标区域的位置处的第二点击，执行第二操作，其中，所述第二操作用于基于所述第二点击的点击位置而缩减所述预测区域，以使得所述预测区域超出所述目标区域的面积变小；以及

轮廓获取单元，被配置为响应于确定所述预测区域和所述目标区域的差值符合预设条件，获取所述预测区域的轮廓以标注所述目标区域。

13.一种图像处理模型的训练装置，所述装置包括：

样本获取单元，被配置为获取样本数据集，其中，所述样本数据集中的每个样本数据包括图像和所述图像中的第一采样点，并且其中，所述图像中包括待标注的目标区域，且所述第一采样点位于所述目标区域中；

第一预测单元，被配置为将所述图像和所述第一采样点输入到所述图像处理模型，以得到针对所述目标区域的第一预测区域；

第二采样点获取单元，被配置为在所述第一预测区域超出所述目标区域的位置处，获取第二采样点；

第二预测单元，被配置为将所述图像、所述第一采样点和所述第二采样点输入到所述图像处理模型，以得到针对所述目标区域的第二预测区域；

损失函数计算单元，被配置为基于所述第二预测区域和所述目标区域的差值，计算损失函数；以及

参数更新单元，被配置基于所述损失函数调整所述图像处理模型的多个参数。

14.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至11中任一项所述的方法。

15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1至11中任一项所述的方法。

16.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1至11中任一项所述的方法。

Images