CN109903284B - 一种her2免疫组化图像自动判别方法及系统 - Google Patents
一种her2免疫组化图像自动判别方法及系统 Download PDFInfo
- Publication number
- CN109903284B CN109903284B CN201910159411.8A CN201910159411A CN109903284B CN 109903284 B CN109903284 B CN 109903284B CN 201910159411 A CN201910159411 A CN 201910159411A CN 109903284 B CN109903284 B CN 109903284B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- area
- positive
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种HER2免疫组化图像自动判别方法及系统，通过对低倍放大视野图像粗分割完成了切片中阳性对照区域和有效组织区域的定位功能，不仅全面利用了切片中的有效组织区域图像信息，也考虑了阳性对照区域的信息，尽可能的消除不同切片之间因为染色、时间等可能造成的误差。同时利用神经网络模型尽可能的挖掘着色情况不同的HER2免疫组化图像的差异性，完成图像的分类，还可以生成分类结果构建的伪彩色图像。本发明还提出一种基于上述HER2免疫组化图像自动判别系统，可视化分类伪彩色图和相关统计量帮助医生快速准确完成HER2免疫组化诊断。
Description
技术领域
本发明属于医疗病理分析技术领域，涉及一种运用计算机图像处理技术分析病理图像的方法，具体涉及一种HER2免疫组化图像自动判别方法及系统。
背景技术
免疫组化技术由于其成本相对较低、染色切片易于保存和使用常规光学显微镜被广泛应用于肿瘤的病理诊断领域，可供病理医生给出综合准确判断。正确检测和评定乳腺癌的HER2蛋白表达和基于扩增状态对乳腺癌的临床治疗和预后判断极为重要。目前国内外一般采用免疫组织化学(IHC)法检测HER2受体蛋白表达状态，应用荧光原位杂交和显色原位杂交法检测HER2基因扩增水平。HER2免疫组化检测评估结果分为四种，其中-、+为阴性，+++为阳性、++为可疑。乳腺癌标本一般可先经IHC检测，检测结果为3+者，可作为建议患者接受曲妥珠单抗等药物治疗的依据；检测结果2+者需重复IHC检查或者荧光原位杂交和显色原位杂交法检测或者送去其他质量有保证的实验室进行检测。
传统病理诊断中，需要病理医生根据免疫组化图像中的阳性区域的细胞数目及染色强度做出半定量判定，对病理医生的专业经验要求较高，且病理诊断结果易受医生主观影响。随着计算机的快速发展，为了提高病理学家判读HER2免疫组化图像的效率，尽可能的减少不同病理医生的主观差异性，使用计算机分析HER2免疫组化图像是一大研究热门。
现有研究中通过分析HER2免疫组化图像主要包括三个阶段：图像预处理、图像特征提取构建特征向量、构建分类器。由于病理图像数字化扫描设备的缺少，使得获取到的病理图像数据仅仅是切片标本中的一部分，使得最终计算机分析给出的结果并不能很好地对当前病理切片做出辅助诊断，仍然需要医生再次复核得到相应病理诊断结果，同时构建的分类器存在再学习训练代价太大等问题，在计算机辅助诊断时未能很好地考虑对照区域的信息，并不适宜在临床病理诊断进行推广。
发明内容
针对现有研究中HER2免疫组化图像判别技术中由于上述缺点造成的临床不易推广使用等问题，本发明提出了一种HER2免疫组化图像自动判别方法，可以自动提取全切片数字化图像中的有效组织图像及对照组阳性图像，然后将其切分成互不重叠的小图像后，经过神经网络模型确认小图像的判断结果构建结果伪彩色图像，经由图像后处理后确定当前切片中阳性细胞的比例，从而做出相应病理结果诊断。同时提出一种基于上述HER2免疫组化图像自动判别方法的系统，用于录入相应病理切片信息、辅助医生快速完成HER2免疫组化结果判读并生成相应HER2免疫组化检测结果报告。
本发明的方法所采用的技术方案是：一种HER2免疫组化图像自动判别方法，其特征在于，包括以下步骤：
步骤1：提取全切片数字化图像ImageSlide中低倍放大图像LowMagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像；
步骤2：阳性对照区域提取得到阳性掩码图像PositiveMask；
步骤3：有效组织区域提取得到组织掩码图像TissueMask；
步骤4：根据阳性掩码图像PositiveMask和组织掩码图像TissueMask在全切片数字化图像ImageSlide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像ContrastImages，有效组织图像ValidImages，有效组织图像总数记为NumALL；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像；
步骤5：将阳性对照图像ContrastImages送入预设神经网络模型，当输出结果为阳性的比例超过预设值PercentHigh时转至步骤7，否则转至步骤6；
步骤6：将当前阳性对照图像ContrastImages随机划分为新增训练集和验证集，从现有的HER2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过PercentHigh停止训练，保存为新神经网络模型；
步骤7：将有效组织图像ValidImages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图FakeImage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；
步骤8：统计检测结果为3的图像数目记为强着色数目StrongNum，检测结果为2的图像数目记为中等着色数目MedianNum，检测结果为1的图像数目记为微着色数目WeakNum，检测结果为0的图像数目记为无着色数目NoNum；当StrongNum/NumALL超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当NoNum/NumALL>90％时，表示基本无着色，检测结果为-；当MedianNum/NumALL>10％且StrongNum/NumALL<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+。
本发明的系统所采用的技术方案是：一种HER2免疫组化图像自动判别系统，其特征在于：包括低倍图像提取模块、阳性对照区域提取模块、有效组织区域提取模块、高倍图像提取模块、阳性对照测试模块、预设模型优化模块、分析模块、结果可视化模块、数据回传模块和报告生成模块；
所述低倍图像提取模块，用于提取全切片数字化图像ImageSlide中低倍放大图像LowMagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像；
所述阳性对照区域提取模块，用于阳性对照区域提取得到阳性掩码图像PositiveMask；
所述有效组织区域提取模块，用于有效组织区域提取得到组织掩码图像TissueMask；
所述高倍图像提取模块，用于根据阳性掩码图像PositiveMask和组织掩码图像TissueMask在全切片数字化图像ImageSlide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像ContrastImages，有效组织图像ValidImages，有效组织图像总数记为NumALL；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像；
所述阳性对照测试模块，用于将阳性对照图像ContrastImages送入预设神经网络模型进行测试，当输出结果为阳性的比例超过预设值PercentHigh时转至步骤7，否则转至步骤6；
所述预设模型优化模块，用于将当前阳性对照图像ContrastImages随机划分为新增训练集和验证集，从现有的HER2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过PercentHigh停止训练，保存为新神经网络模型；
所述分析模块：将有效组织图像ValidImages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图FakeImage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；
所述分析模块，还用于统计检测结果为3的图像数目记为强着色数目StrongNum，检测结果为2的图像数目记为中等着色数目MedianNum，检测结果为1的图像数目记为微着色数目WeakNum，检测结果为0的图像数目记为无着色数目NoNum；当StrongNum/NumALL超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当NoNum/NumALL>90％时，表示基本无着色，检测结果为-；当MedianNum/NumALL>10％且StrongNum/NumALL<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+；
所述结果可视化模块，用于显示有效组织区域的图像经过预设模型后生成的结果伪彩色图像，方便病理医生直观快速复核计算机辅助诊断结果；
所述数据回传模块，用于将医生复核后无误的结果及相关结果标记图像回传到服务器存档以及扩充相关HER2免疫组化标记图像数据库方便后期进一步研究和挖掘相关有效信息；
所述报告生成模块，用于生成HER2免疫组化结果相关报告并存档。
本发明和以前的技术相比，具有如下优点和显著优势：
本发明针对全切片图像从低倍放大视野图像粗分割后到高倍放大视野图像分析，可以完整的利用到整个切片组织的信息，同时粗分割可以准确定位对照区域及有效组织区域，增加了对照区域信息的利用并且有效减少切片中无效区域，加快计算机分析全切片的速度。本发明通过预设的神经网络模型高效准确的对待检测组织区域图像进行分类，利用分类结果可视化伪彩色图像及相关统计量帮助病理医生快速准确复核HER2免疫组化结果，优化病理医生诊疗效率，更适宜于在临床上进行推广使用。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例全切片数字化图像的低倍放大图像；
图3-A为本发明实施例中给定低倍放大图像从RGB颜色空间转换到HSV颜色空间后的明度图像；
图3-B为本发明实施例的给定低倍放大图像转换为明度图像后二值化得到的明度二值图像；
图3-C为本发明实施例的给定低倍放大图像得到的阳性候选图像；
图4-A为本发明实施例的给定低倍放大图像得到的阳性区域闭合椭圆图像；
图4-B为本发明实施例的给定低倍放大图像得到的阳性区域填充图像；
图4-C为本发明实施例中给定低倍放大图像得到的阳性区域彩色图像；
图5-A为本发明实施例中给定低倍放大图像得到的阳性区域二值图像；
图5-B为本发明实施例中给定低倍放大图像得到的阳性掩码图像；
图5-C为本发明实施例中给定低倍放大图像得到的阳性膨胀区域图像；
图6-A为本发明实施例中给定低倍放大图像得到的有效组织区域图像；
图6-B为本发明实施例中给定低倍放大图像得到的有效二值图像；
图6-C为本发明实施例中给定低倍放大图像得到的有效组织掩码图像；
图7为本发明实施例中给定全切片图像中阳性对照区域的部分阳性对照示意图；
图8为本发明实施例中给定全切片图像中有效组织区域的部分待检测区域示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种HER2免疫组化图像自动判别方法，包括以下步骤：
步骤1：提取全切片数字化图像ImageSlide中低倍放大图像LowMagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像。
步骤2：阳性对照区域提取得到阳性掩码图像PositiveMask(图5-B)；
具体实现包括以下子步骤：
步骤2.1：将低倍放大图像LowMagnification从RGB颜色空间转换到HSV颜色空间，得到明度图像ValueImage(图3-A)；
步骤2.2：将明度图像ValueImage二值化得到明度二值图像ValueBw(图3-B)；
步骤2.3：计算明度二值图像ValueBw中所有连通域的面积Area及其最小凸多边形面积ConvexArea；
步骤2.4：遍历明度二值图像ValueBw中所有连通域，当其ConvexArea/Area<预设值Limit(本实施例取值为4)时，去除该连通域；最终得到阳性候选图像PositiveCandidate(图3-C)
步骤2.5：由于阳性候选图像PositiveCandidate中，类圆外圈多数情况没有闭合，采用椭圆拟合得到其闭合椭圆图像CloseImage(图4-A)；
步骤2.6：对闭合椭圆图像CloseImage进行孔洞填充，得到填充图像FillImage(图4-B)；
步骤2.7：将低倍放大图像LowMagnification中填充图像FillImage为0的像素值清零，去除阳性对照区之外的区域得到阳性区域图像PositiveRGB(图4-C)；
步骤2.8：阳性区域图像PositiveRGB二值化得到二值图像PositiveBw(图5-A)；
步骤2.9：将二值图像PositiveBw后处理，保留面积在预设区间[low,high](本实施例取值为[500,50000])中的连通域得到阳性掩码图像PositiveMask(图5-B)。
步骤3：有效组织区域提取得到组织掩码图像TissueMask(图6-C)；
具体实现包括以下子步骤：
步骤3.1：对阳性区域图像PositiveRGB做半径为R(本实施例取值为5)的圆形结构元素的形态学膨胀操作得到膨胀区域DilateImage(图5-C)；
步骤3.2：将低倍放大图像LowMagnification中膨胀区域DilateImage为1的像素值清零，去除阳性对照区域得到有效组织区域图像ValidRGB(图6-A)；
步骤3.3：将有效组织区域图像ValidRGB二值化得到有效二值图像ValidBw(图6-B)；
步骤3.4：将有效二值图像ValidBw后处理，去除上下左右切片边缘的噪点及面积小于预设值S(本实施例取值为500)的噪点后，用膨胀操作平滑，得到组织掩码图像TissueMask(图6-C)。
步骤4：根据阳性掩码图像PositiveMask和组织掩码图像TissueMask在全切片数字化图像ImageSlide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像ContrastImages，有效组织图像ValidImages，有效组织图像总数记为NumALL；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像。
步骤5：将阳性对照图像ContrastImages送入预设神经网络模型进行测试，当输出结果为阳性的比例超过预设值PercentHigh时转至步骤7，否则转至步骤6；其中，PercentHigh取值为95％。
本实施例中预设神经网络模型为四分类，神经网络模型结构如下：卷积层、卷积层、池化层、卷积层、卷积层、池化层、卷积层、池化层、卷积层、池化层、全连接层、dropout、softmax。输入图像大小归一化到256*256，四分类的结果中，0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色。第一次训练集使用数据数量如下——(0,6000)、(1,3000)、(2,2000)、(3,8000)。数据增强方法包括：镜像、[0,45,90,135,180]旋转、平移。通过数据增强使得每一类别的图像数量均等，在训练过程中使用在线增强方法：镜像、0-360°旋转、平移、噪声来防止训练过拟合。保留验证集效果最好的模型作为预设分类模型。
步骤6：将当前阳性对照图像ContrastImages随机划分为新增训练集和验证集，从现有的HER2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过PercentHigh停止训练，保存为新神经网络模型；
步骤7：将有效组织图像ValidImages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图FakeImage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；
步骤8：统计检测结果为3的图像数目记为强着色数目StrongNum，检测结果为2的图像数目记为中等着色数目MedianNum，检测结果为1的图像数目记为微着色数目WeakNum，检测结果为0的图像数目记为无着色数目NoNum；当StrongNum/NumALL超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当NoNum/NumALL>90％时，表示基本无着色，检测结果为-；当MedianNum/NumALL>10％且StrongNum/NumALL<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+。
本实施例还提供了一种HER2免疫组化图像自动判别系统，包括低倍图像提取模块、阳性对照区域提取模块、有效组织区域提取模块、高倍图像提取模块、阳性对照测试模块、预设模型优化模块、分析模块、结果可视化模块、数据回传模块和报告生成模块；
低倍图像提取模块，用于提取全切片数字化图像ImageSlide中低倍放大图像LowMagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像。
阳性对照区域提取模块，用于阳性对照区域提取得到阳性掩码图像PositiveMask；
有效组织区域提取模块，用于有效组织区域提取得到组织掩码图像TissueMask；
高倍图像提取模块，用于根据阳性掩码图像PositiveMask和组织掩码图像TissueMask在全切片数字化图像ImageSlide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像ContrastImages，有效组织图像ValidImages，有效组织图像总数记为NumALL；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像。
阳性对照测试模块，用于将阳性对照图像ContrastImages送入预设神经网络模型进行测试，当输出结果为阳性的比例超过预设值PercentHigh时转至步骤7，否则转至步骤6；其中，PercentHigh取值为95％。
预设模型优化模块，用于将当前阳性对照图像ContrastImages随机划分为新增训练集和验证集，从HER2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过PercentHigh停止训练，保存为新神经网络模型；
分析模块，用于将有效组织图像ValidImages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图FakeImage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；
分析模块，还用于统计检测结果为3的图像数目记为强着色数目StrongNum，检测结果为2的图像数目记为中等着色数目MedianNum，检测结果为1的图像数目记为微着色数目WeakNum，检测结果为0的图像数目记为无着色数目NoNum；当StrongNum/NumALL超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当NoNum/NumALL>90％时，表示基本无着色，检测结果为-；当MedianNum/NumALL>10％且StrongNum/NumALL<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+。
结果可视化模块，用于显示有效组织区域的图像经过预设模型后生成的结果伪彩色图像，方便病理医生直观快速复核计算机辅助诊断结果；
数据回传模块，用于将医生复核后无误的结果及相关结果标记图像回传到服务器存档以及扩充相关HER2免疫组化标记图像数据库方便后期进一步研究和挖掘相关有效信息；
报告生成模块，用于生成HER2免疫组化结果相关报告并存档。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (8)
1.一种HER2免疫组化图像自动判别方法，其特征在于，包括以下步骤：
步骤1：提取全切片数字化图像ImageSlide中低倍放大图像LowMagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像；
步骤2：阳性对照区域提取得到阳性掩码图像PositiveMask；
步骤2的具体实现包括以下子步骤：
步骤2.1：将低倍放大图像LowMagnification从RGB颜色空间转换到HSV颜色空间，得到明度图像ValueImage；
步骤2.2：将明度图像ValueImage二值化得到明度二值图像ValueBw；
步骤2.3：计算明度二值图像ValueBw中所有连通域的面积Area及其最小凸多边形面积ConvexArea；
步骤2.4：遍历明度二值图像ValueBw中所有连通域，当其ConvexArea/Area<预设值Limit时，去除该连通域；最终得到阳性候选图像PositiveCandidate；
步骤2.5：由于阳性候选图像PositiveCandidate中，类圆外圈多数情况没有闭合，采用椭圆拟合得到其闭合椭圆图像CloseImage；
步骤2.6：对闭合椭圆图像CloseImage进行孔洞填充，得到填充图像FillImage；
步骤2.7：将低倍放大图像LowMagnification中填充图像FillImage为0的像素值清零，去除阳性对照区之外的区域得到阳性区域图像PositiveRGB；
步骤2.8：阳性区域图像PositiveRGB二值化得到二值图像PositiveBw；
步骤2.9：将二值图像PositiveBw后处理，保留面积在预设区间[low,high]中的连通域得到阳性掩码图像PositiveMask；
步骤3：有效组织区域提取得到组织掩码图像TissueMask；
步骤3的具体实现包括以下子步骤：
步骤3.1：对阳性区域图像PositiveRGB做半径为R的圆形结构元素的形态学膨胀操作得到膨胀区域DilateImage；其中，R取值为5；
步骤3.2：将低倍放大图像LowMagnification中膨胀区域DilateImage为1的像素值清零，去除阳性对照区域得到有效组织区域图像ValidRGB；
步骤3.3：将有效组织区域图像ValidRGB二值化得到有效二值图像ValidBw；
步骤3.4：将有效二值图像ValidBw后处理，去除上下左右切片边缘的噪点及面积小于预设值S的噪点后，用膨胀操作平滑，得到组织掩码图像TissueMask；
步骤4：根据阳性掩码图像PositiveMask和组织掩码图像TissueMask在全切片数字化图像ImageSlide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像ContrastImages，有效组织图像ValidImages，有效组织图像总数记为NumALL；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像；
步骤5：将阳性对照图像ContrastImages送入预设神经网络模型，当输出结果为阳性的比例超过预设值PercentHigh时转至步骤7，否则转至步骤6；
步骤6：将当前阳性对照图像ContrastImages随机划分为新增训练集和验证集，从现有的HER2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过PercentHigh停止训练，保存为新神经网络模型；
步骤7：将有效组织图像ValidImages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图FakeImage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；
步骤8：统计检测结果为3的图像数目记为强着色数目StrongNum，检测结果为2的图像数目记为中等着色数目MedianNum，检测结果为1的图像数目记为微着色数目WeakNum，检测结果为0的图像数目记为无着色数目NoNum；当StrongNum/NumALL超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当NoNum/NumALL>90％时，表示基本无着色，检测结果为-；当MedianNum/NumALL>10％且StrongNum/NumALL<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+。
2.根据权利要求1所述的HER2免疫组化图像自动判别方法，其特征在于：步骤2.4中，Limit的取值为4。
3.根据权利要求1所述的HER2免疫组化图像自动判别方法，其特征在于：步骤2.4中，步骤2.9中[low,high]的取值为[500,50000]。
4.根据权利要求1所述的HER2免疫组化图像自动判别方法，其特征在于：步骤3.4中，预设值S取值为500。
5.根据权利要求1所述的HER2免疫组化图像自动判别方法，其特征在于：步骤5中，PercentHigh的取值为95％。
6.根据权利要求1所述的HER2免疫组化图像自动判别方法，其特征在于：步骤5中，预设神经网络模型为4分类，神经网络模型结构能任意变化，并不仅仅局限于是某一特定模型结构。
7.根据权利要求1所述的HER2免疫组化图像自动判别方法，其特征在于：步骤7中，检测结果为0、1、2、3是神经网络模型为4分类的结果表示，0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色。
8.一种HER2免疫组化图像自动判别系统，其特征在于：包括低倍图像提取模块、阳性对照区域提取模块、有效组织区域提取模块、高倍图像提取模块、阳性对照测试模块、预设模型优化模块、分析模块、结果可视化模块、数据回传模块和报告生成模块；
所述低倍图像提取模块，用于提取全切片数字化图像ImageSlide中低倍放大图像LowMagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像；
所述阳性对照区域提取模块，用于阳性对照区域提取得到阳性掩码图像PositiveMask；
所述阳性对照区域提取模块具体包括以下子模块：
模块2.1，用于将低倍放大图像LowMagnification从RGB颜色空间转换到HSV颜色空间，得到明度图像ValueImage；
模块2.2，用于将明度图像ValueImage二值化得到明度二值图像ValueBw；
模块2.3，用于计算明度二值图像ValueBw中所有连通域的面积Area及其最小凸多边形面积ConvexArea；
模块2.4，用于遍历明度二值图像ValueBw中所有连通域，当其ConvexArea/Area<预设值Limit时，去除该连通域；最终得到阳性候选图像PositiveCandidate；
模块2.5，用于由于阳性候选图像PositiveCandidate中，类圆外圈多数情况没有闭合，采用椭圆拟合得到其闭合椭圆图像CloseImage；
模块2.6，用于对闭合椭圆图像CloseImage进行孔洞填充，得到填充图像FillImage；
模块2.7，用于将低倍放大图像LowMagnification中填充图像FillImage为0的像素值清零，去除阳性对照区之外的区域得到阳性区域图像PositiveRGB；
模块2.8，用于阳性区域图像PositiveRGB二值化得到二值图像PositiveBw；
模块2.9，用于将二值图像PositiveBw后处理，保留面积在预设区间[low,high]中的连通域得到阳性掩码图像PositiveMask；
所述有效组织区域提取模块，用于有效组织区域提取得到组织掩码图像TissueMask；
所述有效组织区域提取模块具体包括以下子模块：
模块3.1，用于对阳性区域图像PositiveRGB做半径为R的圆形结构元素的形态学膨胀操作得到膨胀区域DilateImage；其中，R取值为5；
模块3.2，用于将低倍放大图像LowMagnification中膨胀区域DilateImage为1的像素值清零，去除阳性对照区域得到有效组织区域图像ValidRGB；
模块3.3，用于将有效组织区域图像ValidRGB二值化得到有效二值图像ValidBw；
模块3.4，用于将有效二值图像ValidBw后处理，去除上下左右切片边缘的噪点及面积小于预设值S的噪点后，用膨胀操作平滑，得到组织掩码图像TissueMask；
所述高倍图像提取模块，用于根据阳性掩码图像PositiveMask和组织掩码图像TissueMask在全切片数字化图像ImageSlide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像ContrastImages，有效组织图像ValidImages，有效组织图像总数记为NumALL；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像；
所述阳性对照测试模块，用于将阳性对照图像ContrastImages送入预设神经网络模型进行测试，当输出结果为阳性的比例超过预设值PercentHigh时转至步骤7，否则转至步骤6；
所述预设模型优化模块，用于将当前阳性对照图像ContrastImages随机划分为新增训练集和验证集，从现有的HER2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过PercentHigh停止训练，保存为新神经网络模型；
所述分析模块：将有效组织图像ValidImages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图FakeImage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；
所述分析模块，还用于统计检测结果为3的图像数目记为强着色数目StrongNum，检测结果为2的图像数目记为中等着色数目MedianNum，检测结果为1的图像数目记为微着色数目WeakNum，检测结果为0的图像数目记为无着色数目NoNum；当StrongNum/NumALL超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当NoNum/NumALL>90％时，表示基本无着色，检测结果为-；当MedianNum/NumALL>10％且StrongNum/NumALL<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+；
所述结果可视化模块，用于显示有效组织区域的图像经过预设模型后生成的结果伪彩色图像，方便病理医生直观快速复核计算机辅助诊断结果；
所述数据回传模块，用于将医生复核后无误的结果及相关结果标记图像回传到服务器存档以及扩充相关HER2免疫组化标记图像数据库方便后期进一步研究和挖掘相关有效信息；所述报告生成模块，用于生成HER2免疫组化结果相关报告并存档。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910159411.8A CN109903284B (zh) | 2019-03-04 | 2019-03-04 | 一种her2免疫组化图像自动判别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910159411.8A CN109903284B (zh) | 2019-03-04 | 2019-03-04 | 一种her2免疫组化图像自动判别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109903284A CN109903284A (zh) | 2019-06-18 |
| CN109903284B true CN109903284B (zh) | 2022-07-05 |
Family
ID=66946151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910159411.8A Active CN109903284B (zh) | 2019-03-04 | 2019-03-04 | 一种her2免疫组化图像自动判别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109903284B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110736748A (zh) * | 2019-09-12 | 2020-01-31 | 杭州迪英加科技有限公司 | 免疫组化核浆染色切片诊断方法及系统 |
| CN110763678A (zh) * | 2019-09-12 | 2020-02-07 | 杭州迪英加科技有限公司 | 一种病理切片判读方法及系统 |
| CN110853005A (zh) * | 2019-11-06 | 2020-02-28 | 杭州迪英加科技有限公司 | 一种免疫组化膜染色切片诊断方法及装置 |
| CN110853022B (zh) | 2019-11-14 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 病理切片图像的处理方法、装置、系统及存储介质 |
| CN110767312A (zh) * | 2019-12-26 | 2020-02-07 | 杭州迪英加科技有限公司 | 人工智能辅助病理诊断系统及方法 |
| CN111751371B (zh) * | 2020-06-24 | 2021-01-08 | 武汉中纪生物科技有限公司 | 一种免疫组化数字玻片阅片系统及方法 |
| CN112001329B (zh) * | 2020-08-26 | 2021-11-30 | 深圳太力生物技术有限责任公司 | 蛋白表达量的预测方法、装置、计算机设备和存储介质 |
| CN112560968B (zh) * | 2020-12-21 | 2022-08-19 | 齐鲁工业大学 | 一种基于卷积和残差网络的her2图像分类方法及系统 |
| CN112270683B (zh) * | 2020-12-23 | 2021-04-02 | 宁波兰茜生物科技有限公司 | 一种ihc数字预览图识别和组织前景分割方法及系统 |
| CN113237881B (zh) * | 2021-05-10 | 2023-09-12 | 博奥生物集团有限公司 | 一种特定细胞的检测方法、装置和病理切片检测系统 |
| CN113469939B (zh) * | 2021-05-26 | 2022-05-03 | 透彻影像(北京)科技有限公司 | 一种基于特性曲线的her-2免疫组化自动判读系统 |
| CN115100474B (zh) * | 2022-06-30 | 2023-04-07 | 武汉兰丁智能医学股份有限公司 | 基于拓扑特征分析的甲状腺穿刺图像分类方法 |
| CN116030017B (zh) * | 2023-01-10 | 2024-01-26 | 四川大学 | 基于多模态卷积神经网络的病理预后分析方法及系统 |
| CN117670895B (zh) * | 2024-02-01 | 2024-04-19 | 华南理工大学 | 基于切片重染色技术的免疫组化病理图像细胞分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358611A (zh) * | 2017-06-28 | 2017-11-17 | 南京信息工程大学 | 一种全景扫描病理图像转移区域的自动分割方法 |
| CN108230339A (zh) * | 2018-01-31 | 2018-06-29 | 浙江大学 | 一种基于伪标签迭代标注的胃癌病理切片标注补全方法 |
| CN108305253A (zh) * | 2018-03-08 | 2018-07-20 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于多倍率深度学习的病理全切片诊断方法 |
| CN109034208A (zh) * | 2018-07-03 | 2018-12-18 | 怀光智能科技（武汉）有限公司 | 一种高低分辨率组合的宫颈细胞病理切片分类方法 |
| CN109086836A (zh) * | 2018-09-03 | 2018-12-25 | 淮阴工学院 | 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9224106B2 (en) * | 2012-12-21 | 2015-12-29 | Nec Laboratories America, Inc. | Computationally efficient whole tissue classifier for histology slides |
-
2019
- 2019-03-04 CN CN201910159411.8A patent/CN109903284B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358611A (zh) * | 2017-06-28 | 2017-11-17 | 南京信息工程大学 | 一种全景扫描病理图像转移区域的自动分割方法 |
| CN108230339A (zh) * | 2018-01-31 | 2018-06-29 | 浙江大学 | 一种基于伪标签迭代标注的胃癌病理切片标注补全方法 |
| CN108305253A (zh) * | 2018-03-08 | 2018-07-20 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于多倍率深度学习的病理全切片诊断方法 |
| CN109034208A (zh) * | 2018-07-03 | 2018-12-18 | 怀光智能科技（武汉）有限公司 | 一种高低分辨率组合的宫颈细胞病理切片分类方法 |
| CN109086836A (zh) * | 2018-09-03 | 2018-12-25 | 淮阴工学院 | 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Richard Chen等.《Identifying Metastases in Sentinel Lymph Nodes with Deep Convolutional Neural Networks》.《ARXIV》.2016,第1-5页. * |
| 南洋.《基于深度学习的粗标记胃癌病理切片图像分割算法》.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,第I138-2852页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109903284A (zh) | 2019-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903284B (zh) | 一种her2免疫组化图像自动判别方法及系统 | |
| US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
| CN107274386B (zh) | 一种宫颈细胞液基涂片人工智能辅助阅片系统 | |
| Man et al. | Classification of breast cancer histopathological images using discriminative patches screened by generative adversarial networks | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
| US20200388033A1 (en) | System and method for automatic labeling of pathology images | |
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| Mi et al. | Deep learning-based multi-class classification of breast digital pathology images | |
| CN108305249A (zh) | 基于深度学习的全尺度病理切片的快速诊断和评分方法 | |
| CN109815888B (zh) | 一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法 | |
| CN108334909A (zh) | 基于ResNet的宫颈癌TCT数字切片数据分析方法 | |
| JP2019095212A (ja) | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム | |
| CN108416379A (zh) | 用于处理宫颈细胞图像的方法和装置 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
| CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| US9785752B1 (en) | Method for stratifying and selecting candidates for receiving a specific therapeutic approach | |
| Anari et al. | Computer-aided detection of proliferative cells and mitosis index in immunohistichemically images of meningioma | |
| CN115206495A (zh) | 基于CoAtNet深度学习的肾癌病理图像分析方法、系统及智能显微装置 | |
| CN114743672A (zh) | 一种nsclc淋巴结转移风险的智能预测方法及系统 | |
| CN114387596A (zh) | 细胞病理涂片自动判读系统 | |
| CN112508860B (zh) | 一种免疫组化图像核阳性的人工智能判读方法及系统 | |
| Galton et al. | Ontological Levels in Histological Imaging. | |
| CN113762395A (zh) | 一种胰胆管型壶腹癌分类模型生成方法及图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |