CN117115117A - 基于小样本下的病理图像识别方法、电子设备及存储介质 - Google Patents

基于小样本下的病理图像识别方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117115117A
CN117115117A CN202311109181.7A CN202311109181A CN117115117A CN 117115117 A CN117115117 A CN 117115117A CN 202311109181 A CN202311109181 A CN 202311109181A CN 117115117 A CN117115117 A CN 117115117A
Authority
CN
China
Prior art keywords
image
pixel
marking
pathological
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311109181.7A
Other languages
English (en)
Other versions
CN117115117B (zh
Inventor
蔡惠明
李长流
朱淳
潘洁
胡学山
卢露
倪轲娜
王玉叶
张岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202311109181.7A priority Critical patent/CN117115117B/zh
Publication of CN117115117A publication Critical patent/CN117115117A/zh
Application granted granted Critical
Publication of CN117115117B publication Critical patent/CN117115117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供基于小样本下的病理图像识别方法、电子设备及存储介质，涉及病理图像识别技术领域，包括如下步骤：步骤S1，获取病理图像；步骤S2，以图像块的重心坐标为锚定点；步骤S3，训练局部特征提取网络；步骤S4，对若干图像块进行局部特征提取；步骤S5，构建图神经网络的全局图；步骤S6，构建图神经主邻域聚合层；步骤S7，对宫颈病理图像全局图的分类；步骤S8，对神经网络以及小样本识别网络进行训练；步骤S9，将未知特征发送至工作人员；本发明通过对现有技术进行改进，以解决现有技术对病理图像的标注较慢，病理诊断效率较低的问题。

Description

基于小样本下的病理图像识别方法、电子设备及存储介质
技术领域
本发明涉及病理图像识别技术领域，尤其涉及基于小样本下的病理图像识别方法、电子设备及存储介质。
背景技术
病理图像识别是指对病理学图像进行自动分析和诊断，图像识别技术可以用于病理图像识别中的特征提取、分类和分割等方面，例如，图像识别可以用于病理学图像中肿瘤边界的自动分割和分析，可以帮助医生更准确地确定肿瘤的位置和范围，指导手术治疗和放疗方案；
现有的病理图像的识别方法在运行过程中，通常是对病理图像分析时的准确性进行改进，例如在公开号为CN107665491A的中国专利中公开了病理图像的识别方法及系统，该方案就是通过改进识别病理图像中病变特征的位置的准确性以提高辅助诊断的准确性，同时在临床实践中对于宫颈类的癌病理图像，初步标注诊断标签通常是较为容易获取的，其通常通过病人活检时病理科医生给出初步诊断及标注得到，但是，通过病理科医生的初步诊断标注，其病理诊断的速度较慢，无法对病理图像进行及时的标注，鉴于此，有必要对现有的宫颈癌病理图像识别进行改进，提高病理图像的分析速度以及病理诊断速度。
发明内容
针对现有技术存在的不足，本发明通过对现有的宫颈癌病理图像识别技术进行改进，优化对病理图像中异常区域以及正常区域的划分方法，基于训练的批量残差网络以及小样本识别网络，能够对病理图像中的提取特征以及图神经网络进行自动识别，提高了病理诊断的速度，以解决现有技术对病理图像的标注较慢，病理诊断效率较低的问题。
为实现上述目的，第一方面，本发明提供基于小样本下的病理图像识别方法，包括如下步骤：
步骤S1，获取病理图像，对病理图像进行下采样，对进行下采样后的病理图像记为下采样图像，对下采样图像进行分块处理，通过分块处理得到若干个图像块；
步骤S2，以图像块的重心坐标为锚定点，查询病理图像中对应的坐标点，基于病理图像中对应的坐标点对病理图像进行裁剪，将裁剪得到的若干图像记为裁剪块；
步骤S3，训练局部特征提取网络，对采集的若干裁剪块中的异常区域以及正常区域进行标注，所述局部特征提取网络为批量残差网络；
步骤S4，使用批量残差网络对若干裁切块进行局部特征提取，将局部特征提取后的特征记为提取特征；
步骤S5，基于裁剪块的提取特征以及图像块的重心构建图神经网络的全局图；
步骤S6，构建图神经主邻域聚合层；
步骤S7，通过多层感知机来实现对宫颈病理图像全局图的分类；
步骤S8，对神经网络以及小样本识别网络进行训练，初始学习率小于等于第一学习阈值，使用自适应梯度方法来进行参数的更新，训练的次数大于等于第一训练阈值；
步骤S9，将未能识别的提取特征记为未知特征，将未知特征发送至工作人员进行标注和初步诊断，基于未知特征的诊断结果使用步骤S4以及步骤S5搭建图神经网络的全局图，基于使用小样本识别网络对图神经网络的识别得到识别结果。
进一步地，所述步骤S1包括如下子步骤：
步骤S101，以第一比例阈值作为采样系数对病理图像进行下采样，将下采样后的病理图像记为下采样图像；
步骤S102，对下采样图像进行高通滤波处理，将进行高通滤波处理后的采样图像记为高频图像；
步骤S103，对高频图像使用二值化处理，将二值化处理后的图像记为二值化病理图像；
步骤S104，对二值化病理图像进行分块处理，通过分块处理得到若干图像块，所述图像块的大小为第一标准长度乘以第一标准长度；
步骤S105，使用矩计算法计算每个图像块的矩，基于每个图像块的矩，通过重心算法计算得到每个图像块的重心，将计算结果记为第一重心坐标至第N重心坐标。
进一步地，所述步骤S105包括如下子步骤：
步骤S1051，将二值化病理图像放入平面直角坐标系中，获取每个图像块在平面直角坐标系中的坐标，将(x，y)记为图像块中任意一个像素点的坐标，将L(x，y)记为图像块中(x，y)点上的灰度值，所述矩计算法包括：
计算图像块的零阶矩，所述零阶矩为Moo＝∑x∑yL(x,y)；
计算图像块的一阶矩，所述一阶矩为M01＝∑x∑yyL(x,y)，M10＝∑x∑yxL(x,y)；
步骤S1052，基于图像块的零阶矩以及图像块的一阶矩，使用重心算法计算图像块的重心，将图像块的重心坐标记为(Cx，Cy)；
所述重心算法为
步骤S1053，对所有图像块使用矩计算法以及重心算法，将得到的重心坐标记为第一重心坐标至第N重心坐标。
进一步地，所述步骤S2包括如下子步骤：
步骤S201，基于第一比例阈值将若干图像块的重心坐标转换为病理图像中对应的若干坐标，将病理图像中对应的坐标点记为(x0，y0)，则x0＝s*Cx，y0＝s*Cy，其中s为第一比例阈值；
步骤S202，将病理图像中与重心坐标对应的若干坐标记为裁剪坐标，以若干裁剪坐标为中心，裁剪得到若干裁剪块，所述裁剪块的大小为第二标准长度乘以第二标准长度；
进一步地，所述步骤S3包括如下子步骤：
步骤S301，使用残差训练法训练局部特征提取网络，所述局部特征提取网络为批量残差网络；
残差训练法包括：对局部特征提取网络进行一次训练，获取基础的残差网络，使用第一标准长度乘以K的图片截取第二标准长度乘以第二标准长度的样品图片，所述样品图片为用于训练的图片；
使用截取后的图片随机翻转对局部特征提取网络进行二次训练，当残差网络训练至具备优选特征时结束训练；
步骤S302，对若干裁剪块使用二值化处理，将二值化处理后得到的裁剪块记为二值化裁剪块；
步骤S303，对二值化裁剪块中的像素点使用边缘追踪算法，得到若干像素轮廓，记为像素轮廓1至像素轮廓Z；
步骤S304，获取网络中存储的病理图像中的若干异常图像，对异常图像使用像素消除法，所述像素消除法包括：获取异常图像中的任意一点，标记为异常参照点，获取异常参照点八邻域中的若干像素值以及异常参照点的像素值，获取邻域中的若干像素值与异常参照点的像素值的差值的绝对值，记为像素差值1至像素差值P，当像素差值1至像素差值P均小于等于标准像素值时，将异常参照点的像素值记为0，以此类推，对异常图像中的所有像素点使用像素消除法；
步骤S305，将使用像素消除法后的若干异常图像记为比对图像，使用图像比对算法将若干比对图像与像素轮廓1至像素轮廓Z进行比对，将比对值大于等于标准比对值的像素轮廓记为异常轮廓，将比对值小于标准比对值的像素轮廓记为正常轮廓；
步骤S306，获取裁剪块中与异常轮廓以及正常轮廓对应的区域，记为异常区域以及正常区域。
进一步地，所述步骤S5包括如下子步骤：
步骤S501，在病理图像中以每个图像块的重心坐标作为图节点；
步骤S502，以图节点之间坐标的欧式距离作为边的权值；
步骤S503，对于每个图像块，取图像块第一邻域数邻域范围之内的节点作为有效边，将不是图像块第一邻域数邻域的节点忽略；
步骤S504，获取图像块所占的裁剪块的提取特征，以提取特征作为图像块中图节点的特征系数。
进一步地，所述步骤S6包括如下子步骤：
步骤S601，将主邻域聚合层采用三层PNA层进行构建；
步骤S602，将PNA层采用PNA网络执行聚合操作，所述聚合操作包括若干邻域聚合器，对于每个邻域聚合器均配置有若干个基于节点度的缩放器。
第二方面，本申请提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上所述方法中的步骤。
第三方面，本申请提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，运行如上所述方法中的步骤。
本发明的有益效果：本发明通过获取病理图像，对病理图像进行下采样，对下采样图像进行分块处理，通过分块处理得到若干个图像块，以图像块的重心坐标为锚定点，查询病理图像中对应的坐标点，基于病理图像中对应的坐标点对病理图像进行裁剪，这样的好处在于在对病理图像进行下采样后，分块处理得到的图像更具有代表性，通过获取分块处理后得到的图像块的重心，能够更加均匀地得到具有代表性的图像块的锚定点，通过锚定点查询病理图像中的坐标点，基于坐标点对病理图像进行裁剪，有利于后续对裁剪块的分析；
本发明还通过训练局部特征提取网络，对采集的若干裁剪块中的异常区域以及正常区域进行标注，使用批量残差网络对若干裁切块进行局部特征提取，基于裁剪块的提取特征以及图像块的重心构建图神经网络的全局图，这样的好处在于，使用局部特征提取网络对裁剪块采集的特征更加准确有效，有利于对病理图像中异常区域和正常区域进行标注，并基于正常区域以及异常区域进行分析处理，提高了特征筛选的区分准确性；
本发明还通过对神经网络以及小样本识别网络进行训练，将未能识别的提取特征记为未知特征，将未知特征发送至工作人员进行标注和初步诊断，这样的好处在于能够及时对未知特征进行标记，有利于提醒工作人员对未知特征进行及时处理。
本发明附加方面的优点将在下面的具体实施方式的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：
图1为本发明的方法的原理框图；
图2为本发明的电子设备的连接框图；
图3为本发明的图像块提取过程的示意图；
图4为本发明的重心坐标计算时的参考示例图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1
请参阅图1所示，本发明提供基于小样本下的病理图像识别方法，包括如下步骤：
步骤S1，获取病理图像，对病理图像进行下采样，对进行下采样后的病理图像记为下采样图像，对下采样图像进行分块处理，通过分块处理得到若干个图像块；
所述步骤S1包括如下子步骤：
步骤S101，以第一比例阈值作为采样系数对病理图像进行下采样，将下采样后的病理图像记为下采样图像；
在具体实施过程中，第一比例阈值为20，通过第一比例阈值作为系数得到下采样后的病理图像，这样可以提高采样得到的图像信号的信噪比，有利于后续对采样图像进行特征提取以及分析；
步骤S102，对下采样图像进行高通滤波处理，所述高通滤波处理为将采样图像进行过滤处理从而消除低频噪声，过滤处理的方法为使采样图像中的高频信号能够正常通过，而小于等于标准频率的低频信号会被阻隔，将进行高通滤波处理后的采样图像记为高频图像；
在具体实施过程中，标准频率为10GHz，通过高通滤波处理，会有效降低采样图像中的低频信号的出现，有利于在后续的特征提取时更好地发现特征并对特征进行分析处理；
步骤S103，对高频图像使用二值化处理，将二值化处理后的图像记为二值化病理图像；
在具体实施过程中，使用二值化处理后的图像中的像素值只有0或255，可以有效地获取高频图像中的轮廓；
请参阅图3所示，图3中，T1为二值化病理图像，T2为图像块，步骤S104，对二值化病理图像进行分块处理，通过分块处理得到若干图像块，所述图像块的大小为第一标准长度乘以第一标准长度；
在具体实施过程中，第一标准长度为256，通过将二值化病理图像分成若干个256×256的图像块，有利于将较大的病理图像进行拆分，提高对图像的分析效率，对于任意边长小于256的二值化病理图像，则不对其进行分块处理；
步骤S105，使用矩计算法计算每个图像块的矩，基于每个图像块的矩，通过重心算法计算得到每个图像块的重心，将计算结果记为第一重心坐标至第N重心坐标，N为图像块个数；
所述步骤S105包括如下子步骤：
步骤S1051，将二值化病理图像放入平面直角坐标系中，获取每个图像块在平面直角坐标系中的坐标，将(x，y)记为图像块中任意一个像素点的坐标，将L(x，y)记为图像块中(x，y)点上的灰度值，所述矩计算法包括：
计算图像块的零阶矩，所述零阶矩为Moo＝∑x∑yL(x,y)；
计算图像块的一阶矩，所述一阶矩为M01＝∑x∑yyL(x,y)，M10＝∑x∑yxL(x,y)；
步骤S1052，基于图像块的零阶矩以及图像块的一阶矩，使用重心算法计算图像块的重心，将图像块的重心坐标记为(Cx，Cy)；
所述重心算法为
在具体实施过程中，通过将图像块的坐标代入矩计算法可以得到图像块的重心坐标，图像块的重心坐标可以反映图像块在图中的重心，有利于后续对图像进行裁剪；
在具体实施过程中，请参阅图4所示，将示例图像录入平面直角坐标系中，对示例图像使用矩计算法以及重心算法，可得到示例图像的重心坐标为(298.041，243.023)；
步骤S1053，对所有图像块使用矩计算法以及重心算法，将得到的重心坐标记为第一重心坐标至第N重心坐标；
步骤S2，以图像块的重心坐标为锚定点，查询病理图像中对应的坐标点，基于病理图像中对应的坐标点对病理图像进行裁剪，将裁剪得到的若干图像记为裁剪块；
所述步骤S2包括如下子步骤：
步骤S201，基于第一比例阈值将若干图像块的重心坐标转换为病理图像中对应的若干坐标，将病理图像中对应的坐标点记为(x0，y0)，则x0＝s*Cx，y0＝s*Cy，其中s为第一比例阈值；
在具体实施过程中，通过第一比例阈值可以找到被下采样的图像块在病理图像中对应的原本的图像，通过将重心坐标转换后，可以在病理图像中找到与图像块中的重心坐标对应的坐标；
步骤S202，将病理图像中与重心坐标对应的若干坐标记为裁剪坐标，以若干裁剪坐标为中心，裁剪得到若干裁剪块，所述裁剪块的大小为第二标准长度乘以第二标准长度；
在具体实施过程中，第二标准长度为224，基于图像块的重心坐标将病理图像裁剪成224×224的裁剪块，可以更加均匀地对病理图像进行分析，分析得到的结果更具有普遍性以及代表性，有利于对遗漏的图像区域的特征进行采集；
步骤S3，训练局部特征提取网络，对采集的若干裁剪块中的异常区域以及正常区域进行标注，所述局部特征提取网络为批量残差网络；
所述步骤S3包括如下子步骤：
步骤S301，使用残差训练法训练局部特征提取网络，所述局部特征提取网络为批量残差网络；
残差训练法包括：对局部特征提取网络进行一次训练，获取基础的残差网络，使用第一标准长度乘以K的图片截取第二标准长度乘以第二标准长度的样品图片，所述样品图片为用于训练的图片；
使用截取后的图片随机翻转对局部特征提取网络进行二次训练，当残差网络训练至具备优选特征时结束训练；
所述优选特征为残差网络输入第一标准数个分支的第二标准数维张量，将其缩小为第三标准数个通道，然后使用第四标准数乘以第四标准数积卷变换数据，通过合并方式转化，将分支的输出通过连接模块将其连接在一起，得到第五标准数个通道，并通过第六标准数乘以第六标准数积卷将通道加倍后输出；
在具体实施过程中，K为1-256中的任意一个数字，可以理解为使用256×1至256×256的图片均截取224×224的样品图片，第一标准数为32，第二标准数为256，第三标准数为4，第四标准数为3，第五标准数为128，第六标准数为1；
步骤S302，对若干裁剪块使用二值化处理，将二值化处理后得到的裁剪块记为二值化裁剪块；
步骤S303，对二值化裁剪块中的像素点使用边缘追踪算法，得到若干像素轮廓，记为像素轮廓1至像素轮廓Z；
步骤S304，获取网络中存储的病理图像中的若干异常图像，对异常图像使用像素消除法，所述像素消除法包括：获取异常图像中的任意一点，标记为异常参照点，获取异常参照点八邻域中的若干像素值以及异常参照点的像素值，获取邻域中的若干像素值与异常参照点的像素值的差值的绝对值，记为像素差值1至像素差值P，当像素差值1至像素差值P均小于等于标准像素值时，将异常参照点的像素值记为0，以此类推，对异常图像中的所有像素点使用像素消除法；
步骤S305，将使用像素消除法后的若干异常图像记为比对图像，使用图像比对算法将若干比对图像与像素轮廓1至像素轮廓Z进行比对，将比对值大于等于标准比对值的像素轮廓记为异常轮廓，将比对值小于标准比对值的像素轮廓记为正常轮廓；
在具体实施过程中，标准比对值为40％，为了防止漏掉可能出现异常的异常区域，将标准比对值设置为40％可以对多种异常图像可能对应的轮廓进行更细致的筛选，防止漏掉病理图像中隐藏的异常区域；
步骤S306，获取裁剪块中与异常轮廓以及正常轮廓对应的区域，记为异常区域以及正常区域；
步骤S4，使用批量残差网络对若干裁切块进行局部特征提取，将局部特征提取后的特征记为提取特征；
步骤S5，基于裁剪块的提取特征以及图像块的重心构建图神经网络的全局图；
所述步骤S5包括如下子步骤：
步骤S501，在病理图像中以每个图像块的重心坐标作为图节点；
步骤S502，以图节点之间坐标的欧式距离作为边的权值；
步骤S503，对于每个图像块，取图像块第一邻域数邻域范围之内的节点作为有效边，将不是图像块第一邻域数邻域的节点忽略；
步骤S504，获取图像块所占的裁剪块的提取特征，以提取特征作为图像块中图节点的特征系数；
步骤S6，构建图神经主邻域聚合层；
所述步骤S6包括如下子步骤：
步骤S601，将主邻域聚合层采用三层PNA层进行构建；
步骤S602，将PNA层采用PNA网络执行聚合操作，所述聚合操作包括若干邻域聚合器，对于每个邻域聚合器均配置有若干个基于节点度的缩放器；
PNA的聚合层更新与聚合的表达式为：
其中，是张量积，/>表示第i个节点的第t层的节点特征，M表示感知机预测层，U表示节点聚合操作，Q表示所有节点的集合，|Q|表示节点集合的元素数量，E表示任意节点间的边，D表示节点的度，S(d，α)表示为节点度缩放器，α为可变参数，对衰减设置为负，对放大设置为正，对无缩放设置为零，d表示结点，i为节点系数，I为缩放器，/>为主邻域聚合，δ为单射函数，μ、σ、max以及min为聚合器中的信息；
步骤S7，通过多层感知机来实现对宫颈病理图像全局图的分类；
步骤S8，对神经网络以及小样本识别网络进行训练，初始学习率小于等于第一学习阈值，使用自适应梯度方法来进行参数的更新，训练的次数大于等于第一训练阈值；
在具体实施过程中，第一学习阈值为0.00005，第一训练阈值为100，对于初始学习率小于0.00005的神经网络以及小样本识别网络，训练的次数不小于100次；
步骤S9，将未能识别的提取特征记为未知特征，将未知特征发送至工作人员进行标注和初步诊断，基于未知特征的诊断结果使用步骤S4以及步骤S5搭建图神经网络的全局图，基于使用小样本识别网络对图神经网络的识别得到识别结果。
实施例2
请参阅图2所示，第二方面，本申请提供一种电子设备1000，包括处理器1001以及存储器1002，存储器1002存储有计算机可读取指令，当计算机可读取指令由处理器1001执行时，运行如上任意一项方法中的步骤。通过上述技术方案，处理器1001和存储器1002通过通信总线和/或其他形式的连接机构(未标出)互连并相互通讯，存储器1002存储有处理器可执行的计算机程序，当电子设备1000运行时，处理器1001执行该计算机程序，以执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：通过获取病理图像，对病理图像进行下采样，对下采样图像进行分块处理，通过分块处理得到若干个图像块，以图像块的重心坐标为锚定点，查询病理图像中对应的坐标点，基于病理图像中对应的坐标点对病理图像进行裁剪，本发明还通过训练局部特征提取网络，对采集的若干裁剪块中的异常区域以及正常区域进行标注，使用批量残差网络对若干裁切块进行局部特征提取，基于裁剪块的提取特征以及图像块的重心构建图神经网络的全局图，本发明还通过对神经网络以及小样本识别网络进行训练，将未能识别的提取特征记为未知特征，将未知特征发送至工作人员进行标注和初步诊断。
实施例3
第三方面，本申请提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，运行如上任意一项方法中的步骤。通过上述技术方案，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：通过获取病理图像，对病理图像进行下采样，对下采样图像进行分块处理，通过分块处理得到若干个图像块，以图像块的重心坐标为锚定点，查询病理图像中对应的坐标点，基于病理图像中对应的坐标点对病理图像进行裁剪，本发明还通过训练局部特征提取网络，对采集的若干裁剪块中的异常区域以及正常区域进行标注，使用批量残差网络对若干裁切块进行局部特征提取，基于裁剪块的提取特征以及图像块的重心构建图神经网络的全局图，本发明还通过对神经网络以及小样本识别网络进行训练，将未能识别的提取特征记为未知特征，将未知特征发送至工作人员进行标注和初步诊断。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-OnlyMemory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.基于小样本下的病理图像识别方法，其特征在于，包括如下步骤：
步骤S1，获取病理图像，对病理图像进行下采样，对进行下采样后的病理图像记为下采样图像，对下采样图像进行分块处理，通过分块处理得到若干个图像块；
步骤S2，以图像块的重心坐标为锚定点，查询病理图像中对应的坐标点，基于病理图像中对应的坐标点对病理图像进行裁剪，将裁剪得到的若干图像记为裁剪块；
步骤S3，训练局部特征提取网络，对采集的若干裁剪块中的异常区域以及正常区域进行标注，所述局部特征提取网络为批量残差网络；
步骤S4，使用批量残差网络对若干裁切块进行局部特征提取，将局部特征提取后的特征记为提取特征；
步骤S5，基于裁剪块的提取特征以及图像块的重心构建图神经网络的全局图；
步骤S6，构建图神经主邻域聚合层；
步骤S7，通过多层感知机来实现对宫颈病理图像全局图的分类；
步骤S8，对神经网络以及小样本识别网络进行训练，初始学习率小于等于第一学习阈值，使用自适应梯度方法来进行参数的更新，训练的次数大于等于第一训练阈值；
步骤S9，将未能识别的提取特征记为未知特征，将未知特征发送至工作人员进行标注和初步诊断，基于未知特征的诊断结果使用步骤S4以及步骤S5搭建图神经网络的全局图，基于使用小样本识别网络对图神经网络的识别得到识别结果。
2.根据权利要求1所述的基于小样本下的病理图像识别方法、电子设备及存储介质，其特征在于，所述步骤S1包括如下子步骤：
步骤S101，以第一比例阈值作为采样系数对病理图像进行下采样，将下采样后的病理图像记为下采样图像；
步骤S102，对下采样图像进行高通滤波处理，将进行高通滤波处理后的采样图像记为高频图像；
步骤S103，对高频图像使用二值化处理，将二值化处理后的图像记为二值化病理图像；
步骤S104，对二值化病理图像进行分块处理，通过分块处理得到若干图像块，所述图像块的大小为第一标准长度乘以第一标准长度；
步骤S105，使用矩计算法计算每个图像块的矩，基于每个图像块的矩，通过重心算法计算得到每个图像块的重心，将计算结果记为第一重心坐标至第N重心坐标。
3.根据权利要求2所述的基于小样本下的病理图像识别方法、电子设备及存储介质，其特征在于，所述步骤S105包括如下子步骤：
步骤S1051，将二值化病理图像放入平面直角坐标系中，获取每个图像块在平面直角坐标系中的坐标，将(x，y)记为图像块中任意一个像素点的坐标，将L(x，y)记为图像块中(x，y)点上的灰度值，所述矩计算法包括：
计算图像块的零阶矩，所述零阶矩为Moo＝∑x∑yL(x,y)；
计算图像块的一阶矩，所述一阶矩为M01＝∑x∑yyL(x,y)，M10＝∑x∑yxL(x,y)；
步骤S1052，基于图像块的零阶矩以及图像块的一阶矩，使用重心算法计算图像块的重心，将图像块的重心坐标记为(Cx，Cy)；
所述重心算法为
步骤S1053，对所有图像块使用矩计算法以及重心算法，将得到的重心坐标记为第一重心坐标至第N重心坐标。
4.根据权利要求3述的基于小样本下的病理图像识别方法、电子设备及存储介质，其特征在于，所述步骤S2包括如下子步骤：
步骤S201，基于第一比例阈值将若干图像块的重心坐标转换为病理图像中对应的若干坐标，将病理图像中对应的坐标点记为(x0，y0)，则x0＝s*Cx，y0＝s*Cy，其中s为第一比例阈值；
步骤S202，将病理图像中与重心坐标对应的若干坐标记为裁剪坐标，以若干裁剪坐标为中心，裁剪得到若干裁剪块，所述裁剪块的大小为第二标准长度乘以第二标准长度。
5.根据权利要求4所述的基于小样本下的病理图像识别方法、电子设备及存储介质，其特征在于，所述步骤S3包括如下子步骤：
步骤S301，使用残差训练法训练局部特征提取网络，所述局部特征提取网络为批量残差网络；
残差训练法包括：对局部特征提取网络进行一次训练，获取基础的残差网络，使用第一标准长度乘以K的图片截取第二标准长度乘以第二标准长度的样品图片，所述样品图片为用于训练的图片；
使用截取后的图片随机翻转对局部特征提取网络进行二次训练，当残差网络训练至具备优选特征时结束训练；
步骤S302，对若干裁剪块使用二值化处理，将二值化处理后得到的裁剪块记为二值化裁剪块；
步骤S303，对二值化裁剪块中的像素点使用边缘追踪算法，得到若干像素轮廓，记为像素轮廓1至像素轮廓Z；
步骤S304，获取网络中存储的病理图像中的若干异常图像，对异常图像使用像素消除法，所述像素消除法包括：获取异常图像中的任意一点，标记为异常参照点，获取异常参照点八邻域中的若干像素值以及异常参照点的像素值，获取邻域中的若干像素值与异常参照点的像素值的差值的绝对值，记为像素差值1至像素差值P，当像素差值1至像素差值P均小于等于标准像素值时，将异常参照点的像素值记为0，以此类推，对异常图像中的所有像素点使用像素消除法；
步骤S305，将使用像素消除法后的若干异常图像记为比对图像，使用图像比对算法将若干比对图像与像素轮廓1至像素轮廓Z进行比对，将比对值大于等于标准比对值的像素轮廓记为异常轮廓，将比对值小于标准比对值的像素轮廓记为正常轮廓；
步骤S306，获取裁剪块中与异常轮廓以及正常轮廓对应的区域，记为异常区域以及正常区域。
6.根据权利要求5所述的基于小样本下的病理图像识别方法、电子设备及存储介质，其特征在于，所述步骤S5包括如下子步骤：
步骤S501，在病理图像中以每个图像块的重心坐标作为图节点；
步骤S502，以图节点之间坐标的欧式距离作为边的权值；
步骤S503，对于每个图像块，取图像块第一邻域数邻域范围之内的节点作为有效边，将不是图像块第一邻域数邻域的节点忽略；
步骤S504，获取图像块所占的裁剪块的提取特征，以提取特征作为图像块中图节点的特征系数。
7.根据权利要求6所述的基于小样本下的病理图像识别方法、电子设备及存储介质，其特征在于，所述步骤S6包括如下子步骤：
步骤S601，将主邻域聚合层采用三层PNA层进行构建；
步骤S602，将PNA层采用PNA网络执行聚合操作，所述聚合操作包括若干邻域聚合器，对于每个邻域聚合器均配置有若干个基于节点度的缩放器。
8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。
CN202311109181.7A 2023-08-31 2023-08-31 基于小样本下的病理图像识别方法、电子设备及存储介质 Active CN117115117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311109181.7A CN117115117B (zh) 2023-08-31 2023-08-31 基于小样本下的病理图像识别方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311109181.7A CN117115117B (zh) 2023-08-31 2023-08-31 基于小样本下的病理图像识别方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117115117A true CN117115117A (zh) 2023-11-24
CN117115117B CN117115117B (zh) 2024-02-09

Family

ID=88801820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311109181.7A Active CN117115117B (zh) 2023-08-31 2023-08-31 基于小样本下的病理图像识别方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117115117B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372439A (zh) * 2023-12-08 2024-01-09 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于核磁和ct融合的子宫病变位置识别方法、系统及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598167A (zh) * 2020-05-18 2020-08-28 中国科学院自动化研究所 基于图学习的小样本图像识别方法及系统
CN111784671A (zh) * 2020-06-30 2020-10-16 天津大学 基于多尺度深度学习的病理图像病灶区域检测方法
CN113947607A (zh) * 2021-09-29 2022-01-18 电子科技大学 一种基于深度学习的癌症病理图像生存预后模型构建方法
CN113989556A (zh) * 2021-10-27 2022-01-28 南京大学 一种小样本医学影像分类方法和系统
CN114037699A (zh) * 2021-12-07 2022-02-11 中国医学科学院北京协和医院 一种病理图像分类方法、设备、系统及存储介质
CN115294126A (zh) * 2022-10-08 2022-11-04 南京诺源医疗器械有限公司 一种病理图像的癌细胞智能识别方法
CN115410216A (zh) * 2022-10-31 2022-11-29 天津恒达文博科技股份有限公司 古籍文本信息化处理方法、系统、电子设备及存储介质
CN115641317A (zh) * 2022-10-28 2023-01-24 哈尔滨工业大学 面向病理图像的动态知识回溯多示例学习及图像分类方法
CN116012353A (zh) * 2023-02-07 2023-04-25 中国科学院重庆绿色智能技术研究院 一种基于图卷积神经网络的数字病理组织图像识别方法
CN116310466A (zh) * 2022-09-08 2023-06-23 电子科技大学 基于局部无关区域筛选图神经网络的小样本图像分类方法
WO2023137627A1 (zh) * 2022-01-19 2023-07-27 深圳先进技术研究院 基于数字病理图像的肿瘤微环境空间关系建模系统与方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598167A (zh) * 2020-05-18 2020-08-28 中国科学院自动化研究所 基于图学习的小样本图像识别方法及系统
CN111784671A (zh) * 2020-06-30 2020-10-16 天津大学 基于多尺度深度学习的病理图像病灶区域检测方法
CN113947607A (zh) * 2021-09-29 2022-01-18 电子科技大学 一种基于深度学习的癌症病理图像生存预后模型构建方法
CN113989556A (zh) * 2021-10-27 2022-01-28 南京大学 一种小样本医学影像分类方法和系统
CN114037699A (zh) * 2021-12-07 2022-02-11 中国医学科学院北京协和医院 一种病理图像分类方法、设备、系统及存储介质
WO2023137627A1 (zh) * 2022-01-19 2023-07-27 深圳先进技术研究院 基于数字病理图像的肿瘤微环境空间关系建模系统与方法
CN116310466A (zh) * 2022-09-08 2023-06-23 电子科技大学 基于局部无关区域筛选图神经网络的小样本图像分类方法
CN115294126A (zh) * 2022-10-08 2022-11-04 南京诺源医疗器械有限公司 一种病理图像的癌细胞智能识别方法
CN115641317A (zh) * 2022-10-28 2023-01-24 哈尔滨工业大学 面向病理图像的动态知识回溯多示例学习及图像分类方法
CN115410216A (zh) * 2022-10-31 2022-11-29 天津恒达文博科技股份有限公司 古籍文本信息化处理方法、系统、电子设备及存储介质
CN116012353A (zh) * 2023-02-07 2023-04-25 中国科学院重庆绿色智能技术研究院 一种基于图卷积神经网络的数字病理组织图像识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PUSHPAK PATI等: "Hierarchical graph representations in digital pathology", MEDICAL IMAGE ANALYSIS, vol. 75, pages 1 - 16 *
孟婷等: "一种基于增强卷积神经网络的病理图像诊断算法", 激光与光电子学进展, no. 08, pages 91 - 97 *
李凡: "基于图神经网络的小样本图像分类算法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 2, pages 138 - 1882 *
李文斌: "基于度量的小样本图像分类", 中国博士学位论文全文数据库 信息科技辑, no. 1, pages 138 - 157 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372439A (zh) * 2023-12-08 2024-01-09 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于核磁和ct融合的子宫病变位置识别方法、系统及介质
CN117372439B (zh) * 2023-12-08 2024-03-12 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于核磁和ct融合的子宫病变位置识别方法、系统及介质

Also Published As

Publication number Publication date
CN117115117B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN115861135B (zh) 一种应用于箱体全景探测的图像增强及识别方法
US10839510B2 (en) Methods and systems for human tissue analysis using shearlet transforms
CN109154978A (zh) 用于检测植物疾病的系统和方法
Liu et al. Digital image forgery detection using JPEG features and local noise discrepancies
CN110415208A (zh) 一种自适应目标检测方法及其装置、设备、存储介质
US20120213440A1 (en) Systems and Methods for Automatically Identifying Shadows in Images
CN117115117B (zh) 基于小样本下的病理图像识别方法、电子设备及存储介质
JP7253573B2 (ja) マッチング方法、装置、電子機器及びコンピュータ可読記憶媒体
CN112991345A (zh) 图像真伪检测方法、装置、计算机设备和存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
CN115994870B (zh) 一种用于增强去噪的图像处理方法
CN111488811A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN111126248A (zh) 一种遮挡下的车辆识别方法及装置
CN113313124B (zh) 基于图像分割算法识别车牌号码的方法、装置和终端设备
CN113780421B (zh) 基于人工智能的脑部pet影像识别方法
CN111753723B (zh) 一种基于密度校准的指纹识别方法及装置
CN112085683B (zh) 一种显著性检测中的深度图可信度检测方法
CN110796684B (zh) 目标跟踪方法以及相关装置
CN114529570A (zh) 图像分割方法、图像识别方法、用户凭证补办方法及系统
CN114359332A (zh) 基于深度图像的目标跟踪方法、装置、设备和介质
CN113920147A (zh) 基于深度学习的遥感影像建筑物提取方法及设备
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN117275130B (zh) 基于人脸识别的智慧门禁验证系统
Hassan et al. Texture based Image Splicing Forgery Recognition using a Passive Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant