CN111768405A - 处理标注图像的方法、装置、设备和存储介质 - Google Patents

处理标注图像的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111768405A
CN111768405A CN202010776312.7A CN202010776312A CN111768405A CN 111768405 A CN111768405 A CN 111768405A CN 202010776312 A CN202010776312 A CN 202010776312A CN 111768405 A CN111768405 A CN 111768405A
Authority
CN
China
Prior art keywords
image
marked
area
labeling
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010776312.7A
Other languages
English (en)
Other versions
CN111768405B (zh
Inventor
汪进
陈睿
林真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Severson Guangzhou Medical Technology Service Co ltd
Original Assignee
Severson Guangzhou Medical Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Severson Guangzhou Medical Technology Service Co ltd filed Critical Severson Guangzhou Medical Technology Service Co ltd
Priority to CN202010776312.7A priority Critical patent/CN111768405B/zh
Publication of CN111768405A publication Critical patent/CN111768405A/zh
Application granted granted Critical
Publication of CN111768405B publication Critical patent/CN111768405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理技术领域，提供一种处理标注图像的方法、装置、计算机设备和存储介质，获取包括第一标注区域的标注图像；所述第一标注区域用于标注所述标注图像中的第一目标物；基于所述第一标注区域在所述标注图像中的位置，对所述标注图像进行裁剪，得到包括第二标注区域的裁剪图像；所述第二标注区域来源于所述第一标注区域，且与所述第一标注区域之间的区域面积比值大于或等于预设比值；利用所述第二标注区域对应的外接矩形区域，标注所述裁剪图像中位于所述第二标注区域的第二目标物，所述第二目标物来源于所述标注图像的第一目标物，通过上述方法实现对标注图像的处理，保证利用标注后的裁剪图像训练得到的网络模型的检测精度。

Description

处理标注图像的方法、装置、设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种处理标注图像的方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，在检测图像的目标物(如细胞、汽车等)时，可以利用目标物检测网络等网络模型进行。为实现网络模型对图像的目标物进行检测，需要先利用对应的训练样本图像对网络模型进行训练。在训练前，一般涉及对训练样本图像的标注处理，然后基于已标注的训练样本图像对网络模型进行训练；在此过程中，若直接基于已标注的训练样本图像进行训练，则会导致网络模型的检测精度损失；因此，如何对已标注的训练样本图像进行处理，以避免训练后的网络模型的检测精度损失是有必要解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种处理标注图像的方法、装置、计算机设备和存储介质。
一种处理标注图像的方法，所述方法包括：
获取包括第一标注区域的标注图像；所述第一标注区域用于标注所述标注图像中的第一目标物；
基于所述第一标注区域在所述标注图像中的位置，对所述标注图像进行裁剪，得到包括第二标注区域的裁剪图像；所述第二标注区域来源于所述第一标注区域，且与所述第一标注区域之间的区域面积比值大于或等于预设比值；
利用所述第二标注区域对应的外接矩形区域，标注所述裁剪图像中位于所述第二标注区域的第二目标物；所述第二目标物来源于所述标注图像的第一目标物。
一种处理标注图像的装置，所述装置包括：
标注图像获取模块，用于获取包括第一标注区域的标注图像；所述第一标注区域用于标注所述标注图像中的第一目标物；
图像裁剪模块，用于基于所述第一标注区域在所述标注图像中的位置，对所述标注图像进行裁剪，得到包括第二标注区域的裁剪图像；所述第二标注区域来源于所述第一标注区域，且与所述第一标注区域之间的区域面积比值大于或等于预设比值；
标注图像标注模块，用于利用所述第二标注区域对应的外接矩形区域，标注所述裁剪图像中位于所述第二标注区域的第二目标物；所述第二目标物来源于所述标注图像的第一目标物。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述方法的步骤。
上述处理标注图像的方法、装置、计算机设备和存储介质，计算机设备获取包括第一标注区域的标注图像；第一标注区域用于对标注图像中的第一目标物进行标注；基于第一标注区域在标注图像中的位置，对标注图像进行裁剪，得到包括第二标注区域的裁剪图像；第二标注区域来源于第一标注区域，且与第一标注区域之间的区域面积比值大于或等于预设比值；利用第二标注区域对应的外接矩形区域，标注裁剪图像中位于第二标注区域的第二目标物；第二目标物来源于标注图像的第一目标物。计算机设备在对标注图像进行裁剪后，得到裁剪图像，并基于裁剪图像中的第二标注区域，确定对应的外接矩形区域，并利用外接矩形区域标注裁剪图像中的第二目标物，也就是说，利用外接矩形区域重新进行标注，进而实现对标注图像的处理，保证利用标注后的裁剪图像训练得到的网络模型的检测精度。
附图说明
图1为一个实施例中计算机设备的内部结构图；
图2为一个实施例中处理标注图像方法的流程示意图；
图3为再一个实施例中处理标注图像方法的流程示意图；
图4为一个实施例中对窗口进行滑动的示意图；
图5为另一个实施例中处理标注图像方法的流程示意图；
图6为一个实施例中处理标注图像装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
本申请提供的处理标注图像的方法，可以应用于如图1所示的计算机设备中，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种细胞图像处理方法。该计算机设备的输入装置可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，如图2所示，提供了一种处理标注图像的方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤S201，计算机设备获取包括第一标注区域的标注图像；第一标注区域用于对标注图像中的第一目标物进行标注。
其中，在对原始图像中的目标物进行标注后可以得到标注图像，标注内容包括利用标注区域框选目标物且将目标物与对应的标注文字进行关联；示例性地，原始图像若为细胞图像，标注文字可以为细胞类型，在标注过程中，可以利用标注区域(可以是闭合多边形轮廓)框选细胞图像中的细胞，且将被框选的细胞与对应的细胞类型进行关联，得到标注的细胞图像(也可以称为标注图像)。
以细胞图像为子宫颈液薄层细胞图像为例进行介绍，该子宫颈液薄层细胞图像可以是放大扫描仪采集的扫描切片，采集时使用的显微放大倍率可以不同，例如20倍率、40倍率等；对子宫颈液薄层细胞图像中的细胞进行闭合多边形轮廓框选，并确定细胞类型，将细胞类型与被框选的细胞进行关联后，可以得到标注图像，并将以上标注信息(组成多边形轮廓的边界点的边界坐标和对应的细胞类型)存储为与子宫颈液薄层细胞图像对应的标注文件。
步骤S202，计算机设备基于第一标注区域在标注图像中的位置，对标注图像进行裁剪，得到包括第二标注区域的裁剪图像；第二标注区域来源于第一标注区域，且与第一标注区域之间的区域面积比值大于或等于预设比值。
计算机设备在得到标注图像后，基于第一标注区域在标注图像中的位置，对标注图像进行裁剪，得到裁剪图像(也可以称为补丁图像)；其中，裁剪图像包括第二标注区域和第二目标物；第二标注区域来源于第一标注区域，且第二标注区域与第一标注区域之间的区域面积比值大于或等于预设比值，预设比值可以是50％；第二目标物来源于标注图像的第一标注区域中的第一目标物。
步骤S203，计算机设备利用第二标注区域对应的外接矩形区域，标注裁剪图像中位于第二标注区域的第二目标物；第二目标物来源于标注图像的第一目标物。
计算机设备在得到裁剪图像后，确定第二标注区域的外接矩形区域，并利用外接矩形标注区域，标注裁剪图像中位于第二标注区域的第二目标物，得到标注后的裁剪图像，进而可以利用标注后的裁剪图像训练目标物检测网络模型，训练后的目标物检测网络模型可以用于检测待检测图像中的第三目标物。
进一步地，为了保证训练的正常进行，在步骤S202中，计算机设备可以基于第一标注区域在标注图像中的位置，按照目标物检测网络模型预设的输入图像尺寸，对标注图像进行裁剪，也就是说，得到的裁剪图像的图像尺寸与目标物检测网络模型预设的输入图像尺寸一致。
进一步地，计算机设备在确定第二标注区域的外接矩形区域时，为了提高标注裁剪图像中的第二目标物的准确性，可以执行如下步骤：获取第二标注区域在裁剪图像的第一方向上对应的第一最小坐标值和第一最大坐标值，以及在裁剪图像的与第一方向正交的第二方向上对应的第二最小坐标值和第二最大坐标值；将第一最小坐标值和第二最大坐标值作为第一对角点，将第一最大坐标值和第二最小坐标值作为与第一对角点位于同一对角线上的第二对角点；基于第一对角点和第二对角点，确定外接矩形区域。
其中，第一方向可以是裁剪图像的横轴方向，第二方向可以是裁剪图像的纵轴方向。以第一标注区域为闭合多边形轮廓为例介绍，计算机设备可以遍历闭合多边形轮廓的多个边界点的边界坐标，确定在多个边界坐标中在横轴方向上的最小值和最大值，以及在纵轴方向上的最小值和最大值，并作为外接矩形区域的左上点和右下点，进而根据外接矩形区域的左上点和右下点确定外接矩形区域。
上述处理标注图像的方法中，计算机设备获取包括第一标注区域的标注图像；第一标注区域用于对标注图像中的第一目标物进行标注；基于第一标注区域在标注图像中的位置，对标注图像进行裁剪，得到包括第二标注区域的裁剪图像；第二标注区域来源于第一标注区域，且与第一标注区域之间的区域面积比值大于或等于预设比值；利用第二标注区域对应的外接矩形区域，标注裁剪图像中位于第二标注区域的第二目标物；第二目标物来源于标注图像的第一目标物。计算机设备在对标注图像进行裁剪后，得到裁剪图像，并基于裁剪图像中的第二标注区域，确定对应的外接矩形区域，并利用外接矩形区域标注裁剪图像中的第二目标物，也就是说，利用外接矩形区域重新进行标注，进而实现对标注图像的处理，保证利用标注后的裁剪图像训练得到的网络模型的检测精度。
在一个实施例中，为保证目标物检测网络模型对图像中目标物的检测精度，目标物检测网络模型可以包括多个并联组合的子检测网络模型，各个子检测网络模型预设有不同的子输入图像尺寸，也就是说目标物检测网络模型的输入图像尺寸包括多个子输入图像尺寸，对应地，裁剪图像也包括与各子输入图像尺寸对应的多张子裁剪图像。
计算机设备在利用标注后的裁剪图像对目标物检测网络模型进行训练时，可以包括以下步骤：计算机设备将标注后的多张子裁剪图像输入至目标物检测网络模型，以使目标物检测网络模型将标注后的多张子裁剪图像分别输入至对应的子检测网络模型，以对各个子检测网络模型进行训练。
以子检测网络模型为RetinaNet模型进行介绍，图5示出目标物检测网络模型由多个RetinaNet模型并联组合而成，且RetinaNet模型A、B和C对应的子输入图像尺寸分别为512x512、1024x1024、2048x2048。
计算机设备按照512x512、1024x1024、2048x2048三个子输入图像尺寸对标注图像进行裁剪，得到对应的多张子裁剪图像；计算机设备将多张子裁剪图像输入至目标物检测网络模型后，将多张子裁剪图像分别输入至对应的RetinaNet模型A、B、C中，以对RetinaNet模型A、B、C进行训练。
在一个实施例中，为了进一步提高目标物检测网络模型对目标物的检测精度，计算机设备可以在利用标注后的裁剪图像对目标物检测网络模型进行训练之前，计算机设备可以对标注后的裁剪图像进行图像增广处理，以增加训练集图像的多样性，提高目标物检测网络模型的检测精度；图像增广处理可以包括像素上的图像增广处理和方位上的图像增广处理；其中，像素上的图像增广处理可以包括亮度、对比度和色阶通道(即r/g/b通道)，方位上的图像增广处理可以包括图像旋转和图像翻转。
计算机可以执行如下步骤：基于从预设亮度变化范围中随机选择的亮度变化值，对标注后的裁剪图像进行亮度上的图像增广处理；和/或，基于从预设对比度变化范围中随机选择的对比度变化值，对标注后的裁剪图像进行对比度上的图像增广处理；和/或，基于从预设色阶通道变化范围中随机选择的色阶通道变化值，对标注后的裁剪图像进行色阶通道上的图像增广处理；和/或，若用于对目标物检测网络模型进行训练的标注后的裁剪图像需要进行图像旋转上的图像增广处理，则在对标注图像进行裁剪前，旋转标注图像；和/或，若用于对目标物检测网络模型进行训练的标注后的裁剪图像需要进行图像翻转上的图像增广处理，则在将标注后的裁剪图像输入至目标物检测网络模型之前，翻转标注后的裁剪图像。
示例性地，计算机设备对上述标注后的裁剪图像(也可以称为训练集图像)进行图像增广处理：
a.对训练集图像进行方位上的图像增广处理：
a1.对训练集图像进行随机左右翻转；
a2.对训练集图像进行随机度数旋转(0度～359度)(此处旋转在裁剪前，即对标注图像进行旋转，然后对旋转后的标注图像进行裁剪，并按照多边形标注的标签生成对应矩形标注框)；
b.对训练集图像进行像素上的图像增广处理：
b1.对图像进行基于亮度的随机像素值变化，比值变化随机取值为-0.1～0.1；
b2.对图像进行基于对比度的随机像素值变化，比值变化随机取值为-0.1～0.1；
b3.对图像进行基于r/g/b通道的随机像素值变化，比值变化随机取值为-0.2～0.2。
在一个实施例中，为了保证目标物检测网络模型对目标物的检测精度，计算机设备可以在利用标注后的裁剪图像对目标物检测网络模型进行训练之前，计算机设备还可以对标注后的裁剪图像的像素值进行归一化处理，保证目标物检测网络模型的检测精度。
具体地，计算机设备可以执行以下步骤，以实现对标注后的裁剪图像的像素值进行归一化处理：基于原始图像的各色阶通道像素值的平均值和标准差，计算机设备对标注后的裁剪图像的各色阶通道像素值进行归一化处理；其中，与对原始图像进行标注对应的图像为标注图像；将归一化处理后的标注后的裁剪图像输入至目标物检测网络模型。其中，与对原始图像进行标注对应的图像为标注图像，也就是说，对原始图像进行标注，可以对应得到标注图像。
示例性地，计算机设备可以执行以下步骤，以实现对标注后的裁剪图像的像素值进行归一化处理：
a.对输入至模型的训练集图像进行归一化处理，具体包括：
a1.计算原始图像的RGB通道中各通道像素值的平均值和标准差，计算公式参见b1和b2；
a2.对输入至模型的训练集图像进行归一化处理，处理公式详见b3；
b.公式：
b1.平均值公式：
Figure BDA0002618550030000081
b2.标准差公式：
Figure BDA0002618550030000082
b3.归一化公式：
Figure BDA0002618550030000083
其中，p为原始图像像素值，np为归一化之后的图像像素值。
在一个实施例中，本申请提供一种处理标注图像的方法，在实现上述方法时，如图3所示，计算机设备可以执行以下步骤：
步骤S301，获取包括第一标注区域的标注图像；第一标注区域用于对标注图像中的第一目标物进行标注；
步骤S302，基于第一标注区域在标注图像中的位置，对标注图像进行裁剪，得到包括第二标注区域的裁剪图像；第二标注区域来源于第一标注区域，且与第一标注区域之间的区域面积比值大于或等于预设比值；
步骤S303，获取第二标注区域在裁剪图像的第一方向上对应的第一最小坐标值和第一最大坐标值，以及在裁剪图像的与第一方向正交的第二方向上对应的第二最小坐标值和第二最大坐标值；
步骤S304，将第一最小坐标值和第二最大坐标值作为第一对角点，将第一最大坐标值和第二最小坐标值作为与第一对角点位于同一对角线上的第二对角点；
步骤S305，基于第一对角点和第二对角点，确定外接矩形区域；
步骤S306，利用第二标注区域对应的外接矩形区域，标注裁剪图像中位于第二标注区域的第二目标物；第二目标物来源于标注图像的第一目标物；，裁剪图像包括多张子裁剪图像，各张子裁剪图像与目标物检测网络模型的各个子检测网络模型预设的子输入图像尺寸对应
步骤S307，对标注后的裁剪图像进行方位上的图像增广处理；
步骤S308，对标注后的裁剪图像进行像素上的图像增广处理；
步骤S309，基于原始图像的各色阶通道像素值的平均值和标准差，对标注后的裁剪图像的各色阶通道像素值进行归一化处理；
步骤S310，将归一化处理后的标注后的裁剪图像输入至目标物检测网络模型，以使目标物检测网络模型将标注后的多张子裁剪图像分别输入至对应的子检测网络模型，以对各个子检测网络模型进行训练。
为了更好地理解上述方法，以下详细阐述一个本申请处理标注图像的方法的应用实例。在本应用实例中，标注图像是对子宫颈液基薄层细胞图像进行标注后得到的图像，本申请处理标注图像的方法可以包括数据集构建、对训练数据进行图像增广处理、对数据进行归一化的预处理、目标物检测网络模型的构建以及目标物检测网络模型的前向推理。
一、数据集构建：
a.选取一定数量的子宫颈液基薄层细胞图像(来源于20倍率和/或40倍率扫描切片)，对图像中的目标细胞进行闭合多边形轮廓标注，并给出细胞类型，以及将标注信息存储为与对应液基细胞切片对应的标注文件；
b.将上述数据分为训练集图像、验证集图像、测试集图像，并且训练集图像、验证集图像、测试集图像的数量比例为(7～8)：(0.5～1)：(1～2.5)；
c.对上述训练集图像及验证集图像进行预处理：
c1.获得图像中各个坐标位置，并对图像进行基于标签位置的随机裁剪，并保证裁剪出的图像包含标签所对应的多边形，且所裁剪的图像中所包含的对应的标签多边形占完整多边形面积的50％以上；裁剪出的图像尺寸长宽为256～2048之间，且裁剪出的图像可以称为补丁图像；
c2.对标签的所对应的多边形各个点进行处理生成标注框标签，标注框为方型，由左上右下两个点确定。于是可以通过遍历多边形各个点，找到横轴最小与最大值，纵轴最小最大值，作为标注框的左上点与右下点，生成对应的标注框标签。
二、对上述训练数据进行图像增广处理：
a.对训练集图像进行图像方位增广：
a1.对训练集图像进行随机左右翻转；
a2.对训练集图像进行随机度数旋转(0度～359度)(此处旋转在裁剪前，即对标注图像进行旋转，然后对旋转后的标注图像进行裁剪，并按照多边形标注的标签生成对应矩形标注框)；
b.对训练集图像进行图像像素增广：
b1.对图像进行基于亮度的随机像素值变化，比值变化随机取值为-0.1～0.1；
b2.对图像进行基于对比度的随机像素值变化，比值变化随机取值为-0.1～0.1；
b3.对图像进行基于r/g/b通道的随机像素值变化，比值变化随机取值为-0.2～0.2。
三、对数据进行归一化的预处理
a.对输入至模型的图像进行归一化处理，具体包括：
a1.对全部切片图像的RGB通道进行各通道像素值的平均值，及标准差计算并得出结果；
a2.对进入模型的补丁图像进行归一化处理，处理公式详见b3；
b.公式：
b1.平均值公式：
Figure BDA0002618550030000101
b2.标准差公式：
Figure BDA0002618550030000111
b3.归一化公式：
Figure BDA0002618550030000112
其中，p为原始图像像素值，np为归一化之后的图像像素值。
四、目标物检测网络模型的构建：
a.目标物检测网络模型由多个RetinaNet模型组成，可参考图5。每个RetinaNet模型使用不同尺寸源(长宽为256～2048)的补丁图像，并且所有补丁图像均统一缩放为固定尺寸(长宽为256～1024之间)的图像作为各自对应的RetinaNet模型的输入图像；
其中，RetinaNet模型由特征提取及特征检测两个部分组成。特征提取部分可以使用但不限于ResNet(残差网络，如ResNet34)，VGG，ResNeXt等网络结构，并在后续与特征检测部分的FPN(feature pyramid net，特征金字塔网络)相结合以高模型的检测性能。
可以理解的是，本领域技术人员可以根据实际情况对ResNet网络结构进行修改，以修改过的ResNet34为例，在输入的图像尺寸为512x512时，ResNet34网络结构对应的结构表如表1所示：
Figure BDA0002618550030000113
表1
特征检测部分的FPN由多个class-box(类别-方位)子特征检测网络模型组成，FPN通过class-box子特征检测网络模型且基于特征网络模型从细胞图像中提取得到的各尺度下的细胞特征，对细胞图像进行细胞分类和方位回归，也就是说，各个class-box子特征检测网络模型分别对应特征提取网络中的不同尺度特征，其作用在于对不同尺度的目标细胞进行方位回归，及对该位置的细胞进行分类；。
b.进行RetinaNet模型训练时，对于图像中细胞的方位损失计算，使用L1损失值的计算方式(计算方式为：
Figure BDA0002618550030000121
)；对于图像中细胞的类别损失值计算，则使用Focal Loss(焦点损失函数)的计算方式(计算方式为：FL(pt)＝-αt(1-pt)γlog(pt))，因为此种计算方式可以很好的解决复杂样本及样本分类不均的问题；
c.在进行RetinaNet模型训练时，相关(超)参数选择可以包括：
(1)模型训练使用随机梯度下降法(SGD，Stochastic Gradient Descent)；
(2)其学习率(Learning Rate)为0.01到0.0001之间；
(3)动量参数(Momentum)为0.9～0.99之间；
(4)重衰减值(Weight Decay)为0.0001～0.00001之间；
(5)训练时使用热身(Warmup)学习率调整，从0开始线性上升至初始学习率；
(6)训练时，在热身学习率调整之后，使用循环余弦递减(Cyclic Cosine)的方式进行学习率调整，以提高训练效率，循环周期为10000～100000之间。
(7)Focal Loss中的参数
Figure BDA0002618550030000122
为2，α为0.25。
五、目标物检测网络模型的前向推理：
a.在多个RetinaNet模型训练完成后，按照图5的结构组成目标物检测网络模型，目标物检测网络模型及其RetinaNet模型的输出为目标细胞的分类及其对应位置。每个RetinaNet模型对应不同尺寸源的图像，示例分别使用512x512，1024x1024，2048x2048三个截取尺寸，并统一缩放为大小为512x512的图像，然后分别输入所对应的子模型中进行前向推理，并得出各自尺寸所对应的完整切片的前向推理结果。将所获得的结果中置信度低于0.1的全部过滤不做保留，对剩下的细胞候选框，进行类内非最大值抑制处理(NMS，Non-Maximal Suppression)；
其中，对于非最大值抑制说明：
i.对每个类别的细胞候选框按置信度从大到小排序。
ii.从最大置信度的细胞候选框开始，计算与比其置信度小的细胞候选框的重叠面积。
iii.对重叠面积百分比大于设定阈值(0.3～0.5，例如使用0.5)的置信度较小的细胞候选框进行删除。
iv.重复上述操作，直到所有保留的细胞候选框都已进行过上述i-iii的操作。
b.前向过程中滑窗裁剪补丁图像说明：
如图4所示，窗口在细胞图像上沿横向和纵向滑动时，与细胞图像存在重叠的尺寸；裁剪图像的尺寸与RetinaNet模型所需尺寸一致；为确保准确性不使问题细胞被遗漏，滑窗时的重叠尺寸为裁剪尺寸的二分之一，以保证细胞全面被覆盖，例如使用512x512时，其横向重叠部分为256，纵向重叠部分为256。
在上述应用实例中，计算机设备获取包括第一标注区域的标注图像；第一标注区域用于对标注图像中的第一目标物进行标注；基于第一标注区域在标注图像中的位置，对标注图像进行裁剪，得到包括第二标注区域的裁剪图像；第二标注区域来源于第一标注区域，且与第一标注区域之间的区域面积比值大于或等于预设比值；利用第二标注区域对应的外接矩形区域，标注裁剪图像中位于第二标注区域的第二目标物；第二目标物来源于标注图像的第一目标物。计算机设备在对标注图像进行裁剪后，得到才将图像，并基于裁剪图像中的第二标注区域，确定对应的外接矩形区域，并利用外接矩形区域标注裁剪图像中的第二目标物，也就是说，利用外接矩形区域重新进行标注，进而实现对标注图像的处理，保证利用标注后的裁剪图像训练得到的网络模型的检测精度。
应该理解的是，虽然图2-图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种处理标注图像的装置，包括：
标注图像获取模块601，用于获取包括第一标注区域的标注图像；第一标注区域用于对标注图像中的第一目标物进行标注；
图像裁剪模块602，用于基于第一标注区域在标注图像中的位置，对标注图像进行裁剪，得到包括第二标注区域的裁剪图像；第二标注区域来源于第一标注区域，且与第一标注区域之间的区域面积比值大于或等于预设比值；
标注图像标注模块603，用于利用第二标注区域对应的外接矩形区域，标注裁剪图像中位于第二标注区域的第二目标物；第二目标物来源于标注图像的第一目标物。
在一个实施例中，裁剪图像的图像尺寸与目标物检测网络模型预设的输入图像尺寸一致；
上述装置还用于利用标注后的裁剪图像对目标物检测网络模型进行训练；训练后的目标物检测网络模型用于检测待检测图像中的第三目标物。
在一个实施例中，目标物检测网络模型包括多个并联组合的子检测网络模型，各个子检测网络模型预设有不同的子输入图像尺寸；裁剪图像包括与各子输入图像尺寸对应的多张子裁剪图像；
上述装置还用于将标注后的多张子裁剪图像输入至目标物检测网络模型，以使目标物检测网络模型将标注后的多张子裁剪图像分别输入至对应的子检测网络模型，以对各个子检测网络模型进行训练。
在一个实施例中，上述装置还用于基于从预设亮度变化范围中随机选择的亮度变化值，对标注后的裁剪图像进行亮度上的图像增广处理；
和/或，
上述装置还用于基于从预设对比度变化范围中随机选择的对比度变化值，对标注后的裁剪图像进行对比度上的图像增广处理；
和/或，
上述装置还用于基于从预设色阶通道变化范围中随机选择的色阶通道变化值，对标注后的裁剪图像进行色阶通道上的图像增广处理；
和/或，
上述装置还用于若用于对目标物检测网络模型进行训练的标注后的裁剪图像需要进行图像旋转上的图像增广处理，则在对标注图像进行裁剪前，旋转标注图像；
和/或，
上述装置还用于若用于对目标物检测网络模型进行训练的标注后的裁剪图像需要进行图像翻转上的图像增广处理，则在将标注后的裁剪图像输入至目标物检测网络模型之前，翻转标注后的裁剪图像。
在一个实施例中，上述装置还用于基于标注后的裁剪图像的各色阶通道像素值的平均值和标准差，对标注后的裁剪图像的各色阶通道像素值进行归一化处理；将归一化处理后的标注后的裁剪图像输入至目标物检测网络模型。
在一个实施例中，上述装置还用于获取第二标注区域在裁剪图像的第一方向上对应的第一最小坐标值和第一最大坐标值，以及在裁剪图像的与第一方向正交的第二方向上对应的第二最小坐标值和第二最大坐标值；将第一最小坐标值和第二最大坐标值作为第一对角点，将第一最大坐标值和第二最小坐标值作为与第一对角点位于同一对角线上的第二对角点；基于第一对角点和第二对角点，确定外接矩形区域。
在一个实施例中，标注图像为细胞图像。
关于处理标注图像的装置的具体限定可以参见上文中对于处理标注图像的方法的限定，在此不再赘述。上述处理标注图像的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种处理标注图像的方法，其特征在于，包括：
获取包括第一标注区域的标注图像；所述第一标注区域用于标注所述标注图像中的第一目标物；
基于所述第一标注区域在所述标注图像中的位置，对所述标注图像进行裁剪，得到包括第二标注区域的裁剪图像；所述第二标注区域来源于所述第一标注区域，且与所述第一标注区域之间的区域面积比值大于或等于预设比值；
利用所述第二标注区域对应的外接矩形区域，标注所述裁剪图像中位于所述第二标注区域的第二目标物；所述第二目标物来源于所述标注图像的第一目标物。
2.根据权利要求1所述的方法，其特征在于，所述裁剪图像的图像尺寸与目标物检测网络模型预设的输入图像尺寸一致；
在所述利用所述第二标注区域对应的外接矩形区域，标注所述裁剪图像中位于所述第二标注区域的第二目标物之后，所述方法还包括：
利用标注后的裁剪图像对所述目标物检测网络模型进行训练；训练后的目标物检测网络模型用于检测待检测图像中的第三目标物。
3.根据权利要求2所述的方法，其特征在于，所述目标物检测网络模型包括多个并联组合的子检测网络模型，各个子检测网络模型预设有不同的子输入图像尺寸；所述裁剪图像包括与各子输入图像尺寸对应的多张子裁剪图像；
所述利用标注后的裁剪图像对所述目标物检测网络模型进行训练，包括：
将标注后的多张子裁剪图像输入至所述目标物检测网络模型，以使所述目标物检测网络模型将标注后的多张子裁剪图像分别输入至对应的子检测网络模型，以对各个子检测网络模型进行训练。
4.根据权利要求2所述的方法，其特征在于，
所述利用标注后的裁剪图像对所述目标物检测网络模型进行训练之前，所述方法还包括：
基于从预设亮度变化范围中随机选择的亮度变化值，对标注后的裁剪图像进行亮度上的图像增广处理；
和/或，
基于从预设对比度变化范围中随机选择的对比度变化值，对标注后的裁剪图像进行对比度上的图像增广处理；
和/或，
基于从预设色阶通道变化范围中随机选择的色阶通道变化值，对标注后的裁剪图像进行色阶通道上的图像增广处理；
和/或，
若用于对所述目标物检测网络模型进行训练的所述标注后的裁剪图像需要进行图像旋转上的图像增广处理，则在对所述标注图像进行裁剪前，旋转所述标注图像；
和/或，
若用于对所述目标物检测网络模型进行训练的所述标注后的裁剪图像需要进行图像翻转上的图像增广处理，则在将所述标注后的裁剪图像输入至所述目标物检测网络模型之前，翻转所述标注后的裁剪图像。
5.根据权利要求2所述的方法，其特征在于，所述利用标注后的裁剪图像对所述目标物检测网络模型进行训练，包括：
基于原始图像的各色阶通道像素值的平均值和标准差，对标注后的裁剪图像的各色阶通道像素值进行归一化处理；其中，与对所述原始图像进行标注对应的图像为所述标注图像；
将归一化处理后的所述标注后的裁剪图像输入至所述目标物检测网络模型。
6.根据权利要求1所述的方法，其特征在于，所述利用所述第二标注区域对应的外接矩形区域，标注所述裁剪图像中位于所述第二标注区域的第二目标物之前，所述方法还包括：
获取所述第二标注区域在所述裁剪图像的第一方向上对应的第一最小坐标值和第一最大坐标值，以及在所述裁剪图像的与所述第一方向正交的第二方向上对应的第二最小坐标值和第二最大坐标值；
将所述第一最小坐标值和所述第二最大坐标值作为第一对角点，将所述第一最大坐标值和所述第二最小坐标值作为与所述第一对角点位于同一对角线上的第二对角点；
基于所述第一对角点和所述第二对角点，确定所述外接矩形区域。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述标注图像为细胞图像。
8.一种处理标注图像的装置，其特征在于，所述装置包括：
标注图像获取模块，用于获取包括第一标注区域的标注图像；所述第一标注区域用于标注所述标注图像中的第一目标物；
图像裁剪模块，用于基于所述第一标注区域在所述标注图像中的位置，对所述标注图像进行裁剪，得到包括第二标注区域的裁剪图像；所述第二标注区域来源于所述第一标注区域，且与所述第一标注区域之间的区域面积比值大于或等于预设比值；
标注图像标注模块，用于利用所述第二标注区域对应的外接矩形区域，标注所述裁剪图像中位于所述第二标注区域的第二目标物；所述第二目标物来源于所述标注图像的第一目标物。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010776312.7A 2020-08-05 2020-08-05 处理标注图像的方法、装置、设备和存储介质 Active CN111768405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010776312.7A CN111768405B (zh) 2020-08-05 2020-08-05 处理标注图像的方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010776312.7A CN111768405B (zh) 2020-08-05 2020-08-05 处理标注图像的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111768405A true CN111768405A (zh) 2020-10-13
CN111768405B CN111768405B (zh) 2024-02-13

Family

ID=72729402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010776312.7A Active CN111768405B (zh) 2020-08-05 2020-08-05 处理标注图像的方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111768405B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580739A (zh) * 2020-12-28 2021-03-30 上海明略人工智能(集团)有限公司 一种训练样本集的确定方法和装置
CN113962975A (zh) * 2021-01-20 2022-01-21 赛维森(广州)医疗科技服务有限公司 基于梯度信息对病理玻片数字图像进行质量评估的系统
CN116596867A (zh) * 2023-05-05 2023-08-15 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622497A (zh) * 2017-09-29 2018-01-23 广东欧珀移动通信有限公司 图像裁剪方法、装置、计算机可读存储介质和计算机设备
CN109685078A (zh) * 2018-12-17 2019-04-26 浙江大学 基于自动标注的红外图像识别方法
CN109829457A (zh) * 2019-01-04 2019-05-31 平安科技（深圳）有限公司 一种图像数据处理方法、设备及计算机可读存储介质
CN110110684A (zh) * 2019-05-14 2019-08-09 深圳供电局有限公司 输电线设备的外来物识别方法、装置及计算机设备
DE102018205409A1 (de) * 2018-04-11 2019-10-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Annotieren eines Bildes
CN110517759A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 一种待标注图像确定的方法、模型训练的方法及装置
CN111259772A (zh) * 2020-01-13 2020-06-09 广州虎牙科技有限公司 图像标注方法、装置、设备和介质
CN111275080A (zh) * 2020-01-14 2020-06-12 腾讯科技（深圳）有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
CN111353059A (zh) * 2020-03-02 2020-06-30 腾讯科技（深圳）有限公司 图片处理方法和装置、计算机可读的存储介质及电子装置
CN111405197A (zh) * 2020-03-19 2020-07-10 北京海益同展信息科技有限公司 一种视频裁剪方法、图像处理方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622497A (zh) * 2017-09-29 2018-01-23 广东欧珀移动通信有限公司 图像裁剪方法、装置、计算机可读存储介质和计算机设备
DE102018205409A1 (de) * 2018-04-11 2019-10-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Annotieren eines Bildes
CN109685078A (zh) * 2018-12-17 2019-04-26 浙江大学 基于自动标注的红外图像识别方法
CN109829457A (zh) * 2019-01-04 2019-05-31 平安科技（深圳）有限公司 一种图像数据处理方法、设备及计算机可读存储介质
CN110110684A (zh) * 2019-05-14 2019-08-09 深圳供电局有限公司 输电线设备的外来物识别方法、装置及计算机设备
CN110517759A (zh) * 2019-08-29 2019-11-29 腾讯科技（深圳）有限公司 一种待标注图像确定的方法、模型训练的方法及装置
CN111259772A (zh) * 2020-01-13 2020-06-09 广州虎牙科技有限公司 图像标注方法、装置、设备和介质
CN111275080A (zh) * 2020-01-14 2020-06-12 腾讯科技（深圳）有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
CN111353059A (zh) * 2020-03-02 2020-06-30 腾讯科技（深圳）有限公司 图片处理方法和装置、计算机可读的存储介质及电子装置
CN111405197A (zh) * 2020-03-19 2020-07-10 北京海益同展信息科技有限公司 一种视频裁剪方法、图像处理方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580739A (zh) * 2020-12-28 2021-03-30 上海明略人工智能(集团)有限公司 一种训练样本集的确定方法和装置
CN112580739B (zh) * 2020-12-28 2024-02-27 上海明略人工智能(集团)有限公司 一种训练样本集的确定方法和装置
CN113962975A (zh) * 2021-01-20 2022-01-21 赛维森(广州)医疗科技服务有限公司 基于梯度信息对病理玻片数字图像进行质量评估的系统
CN113962975B (zh) * 2021-01-20 2022-09-13 赛维森(广州)医疗科技服务有限公司 基于梯度信息对病理玻片数字图像进行质量评估的系统
CN116596867A (zh) * 2023-05-05 2023-08-15 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法
CN116596867B (zh) * 2023-05-05 2024-02-13 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法

Also Published As

Publication number Publication date
CN111768405B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN111768405B (zh) 处理标注图像的方法、装置、设备和存储介质
CN111595850B (zh) 切片缺陷检测方法、电子装置及可读存储介质
US11010883B2 (en) Automated analysis of petrographic thin section images using advanced machine learning techniques
CN107886082B (zh) 图像中数学公式检测方法、装置、计算机设备及存储介质
CN111814905A (zh) 目标检测方法、装置、计算机设备和存储介质
CN112990180B (zh) 判题方法、装置、设备及存储介质
CN110188495B (zh) 一种基于深度学习的二维户型图生成三维户型图的方法
CN112613553B (zh) 图片样本集生成方法、装置、计算机设备和存储介质
CN111368638A (zh) 电子表格的创建方法、装置、计算机设备和存储介质
CN110796663B (zh) 图片剪裁方法、装置、设备和存储介质
CN112396047B (zh) 训练样本生成方法、装置、计算机设备和存储介质
WO2022134354A1 (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN109165654B (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN112381081A (zh) 公章文字自动识别方法、装置、计算机设备及存储介质
CN111161274A (zh) 腹部图像分割方法、计算机设备
CN111310800A (zh) 图像分类模型生成方法、装置、计算机设备和存储介质
CN111768406A (zh) 细胞图像处理方法、装置、设备和存储介质
CN111553431A (zh) 图片清晰度检测方法、装置、计算机设备及存储介质
EP4174769A1 (en) Method and apparatus for marking object outline in target image, and storage medium and electronic apparatus
CN113780116A (zh) 发票分类方法、装置、计算机设备和存储介质
CN113298161A (zh) 图像识别模型测试方法、装置、计算机设备及存储介质
CN111583264A (zh) 图像分割网络的训练方法、图像分割方法和存储介质
CN113705270B (zh) 识别二维码定位码区的方法、装置、设备和存储介质
CN114463613A (zh) 基于残差网络与Faster R-CNN的断层检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant