CN113299372B - 一种光声病理影像的处理方法、存储介质及终端设备 - Google Patents

一种光声病理影像的处理方法、存储介质及终端设备 Download PDF

Info

Publication number
CN113299372B
CN113299372B CN202110527639.5A CN202110527639A CN113299372B CN 113299372 B CN113299372 B CN 113299372B CN 202110527639 A CN202110527639 A CN 202110527639A CN 113299372 B CN113299372 B CN 113299372B
Authority
CN
China
Prior art keywords
photoacoustic
image
pathological
wsi
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110527639.5A
Other languages
English (en)
Other versions
CN113299372A (zh
Inventor
李光
周凌霄
袁小聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110527639.5A priority Critical patent/CN113299372B/zh
Publication of CN113299372A publication Critical patent/CN113299372A/zh
Application granted granted Critical
Publication of CN113299372B publication Critical patent/CN113299372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种光声病理影像的处理方法、存储介质及终端设备，其中，方法包括步骤：利用数字病理扫描仪和光声成像扫描仪分别获取病理组织样本的WSI病理影像与光声病理影像；对所述WSI病理影像进行标注，得到标注后WSI病理影像；获取同一病理组织样本的标注后WSI病理影像和光声病理影像，并以标注后WSI病理影像为基准，采用监督式自动标注模型对所述光声病理影像进行标注处理，得到标注后光声病理影像；基于所述标注后光声病理影像训练生成式对抗网络模型，实现目标区域在跨模态影像中的交互、关联与相互转换。本发明实现了直接从光声图像中识别病理组织的良恶性、病灶区域和边界等信息。

Description

一种光声病理影像的处理方法、存储介质及终端设备
技术领域
本发明涉及病理影像观测技术领域，尤其涉及一种光声病理影像的处理方法、存储介质及终端设备。
背景技术
肝癌严重威胁着人民的生命健康，但缺乏及时有效的诊断方法，只有30-40％肝癌患者可以提前得到诊断。根据现有的分期方法，肝癌大致可以分为早期和中晚期两个阶段，早期肝癌主要治疗方式包括肝移植、肝癌切除术及射频消融术，但术后复发率极高，且缺乏有效的预防术后福大的辅助化学治疗方案；中晚期肝癌以经导管动脉化学治疗栓塞术、全身系统治疗及支持治疗为主要治疗方式，近几年来随着生物医学研究的迅猛发展多个靶向药物及免疫治疗方法也进入了临床实践，有效改变了晚期肝癌的治疗格局，延长了了肝癌患者的生存期。因此，准确快速的确认病灶区域和癌症分期，进而建立行之有效的治疗策略，仍是治疗肝癌的最重要步骤之一。
病理活组织检查被称为肝肿瘤疾病的良恶性鉴别诊断的金标准。它通过显微镜对离体的肝组织进行细胞层面的观察，来准确判断肝肿瘤的良恶性与恶性程度。常规病理活组织一般需要超声引导下穿刺或术中获取组织标本，之后经过固定、脱水、浸蜡包埋、切片和染色等一系列繁琐的样本制备操作步骤，最终在显微镜下观察薄层切片样本，获得细胞核和微血管等关键要素的形态特征，实现组织病理状态的鉴别和诊断。然而，这一方法的诊断周期相对较长，通常为2-3天，难以满足术中决策的需求。
与传统的病理检测不同，快速冰冻病理检测能够大幅提高样本的诊断速度(约为30分钟)，可以为术中决策提供较快的病理信息支持。然而，这一技术同样需要包埋、冷冻、切片和染色等操作程序，在制片过程容易引起组织标本的损伤和污染，从而导致病理判断结果的准确性和重复性较低，其指导意义尚不足以满足术中诊疗的需求。因此，在肝癌的临床病理诊断中，迫切需要建立一种快速、高效、准确的病理诊断技术。
针对当前临床病理诊断技术的不足，国际学界将光学相干层析成像(OCT)、双光子显微成像、受激拉曼散射等光学影像手段用于病理样本观测，以提高病理诊断的速度和精准度。利用OCT技术的高纵向分辨能力，圣路易斯华盛顿大学于2009年将这一技术用于心脏样本的组织学成像。结果证实，无需对组织进行染色，OCT即可获得心脏的组织学图像。然而，由于OCT依赖于组织的散射光子成像，缺乏足够的对比度，难以识别组织内细胞核、微血管等要素的形态结构，从而无法准确区分病灶的位置。2018年，深圳先进技术研究院郑炜团队利用双光子显微成像技术(结合荧光寿命技术)观察了人体新鲜胃黏膜样本。同样，这一技术不需要对组织进行染色，能够采集样本的组织学图像。但是，由于NADH等物质的自发荧光很弱，该成像技术的穿透深度有限，仅适用于较为透明组织的浅表区域。此外，双光子荧光寿命成像需要在同一位置多次采集荧光信号，导致成像时间延长。近年来，哈佛大学谢晓亮团队将受激拉曼散射成像技术用于新鲜人脑部肿瘤的观察，经“虚拟染色”后，获得了与常规H&E染色相似的结果。遗憾的是，该技术未能展示样本在深度维度上的形态结构，该信息的缺失影响了病灶空间位置的准确定位。
基于光声效应的光声成像是一门蓬勃发展的生物医学成像技术，它有机结合了光学激发和声学探测两种物理手段，通过探测色素物质吸收短脉冲激光后，因瞬时热弹性效应产生的宽带超声波(即光声信号)，实现组织光学吸收特性的特异性观测。利用生物组织内固有的DNA/RNA、血红蛋白、黑色素和脂质等色素物质的光吸收作用，光声成像无需外源标记，即可观察细胞核、血液微循环和黑色素等众多元素的复合结构特征。发挥光声成像特有的纵向层析分辨率、大深度穿透能力、以及光吸收对比成像机制的优势，有望实现病理组织样本微观形态结构的无标记、三维观测，从而有效简化(或避免)病理样本的制备程序，提高诊断的效率和准确性。尽管光声病理检测技术具有良好的应用前景，但是传统光声成像的声学信号探测技术普遍存在灵敏度低和带宽窄的缺陷，制约了这一技术在病理观测中的应用，主要原因在于：1)图像的信噪比较差，难以识别病灶的位置和结构，容易导致肿瘤/非肿瘤边界的划分不正确；2)深度分辨率较低，往往限制在>20微米，无法实现单细胞水平的层析精度。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种光声病理影像的处理方法、存储介质及终端设备，旨在解决现有光声成像的声学信号探测技术普遍存在灵敏度低和带宽窄的问题。
本公开的技术方案如下：
一种光声病理影像的处理方法，其中，包括步骤：
利用数字病理扫描仪和光声成像扫描仪分别获取病理组织样本的WSI病理影像与光声病理影像；
对所述WSI病理影像进行标注，得到标注后WSI病理影像；
获取同一病理组织样本的标注后WSI病理影像和光声病理影像，并以标注后WSI病理影像为基准，采用监督式自动标注模型对所述光声病理影像进行标注处理，得到标注后光声病理影像；
基于所述标注后光声病理影像训练生成式对抗网络模型，实现目标区域在跨模态影像中的交互、关联与相互转换。
所述光声病理影像的处理方法，其中，所述监督式自动标注模型的构建包括步骤：
通过人工对WSI病理影像与光声病理影像进行标注，得到人工标注WSI病理影像与人工标注光声病理影像；
以至少50例人工标注WSI病理影像以及至少50例人工标注光声病理影像为基础，训练基于U-net网络模型的监督式自动标注模型。
所述光声病理影像的处理方法，其中，所述U-net网络模型的损失函数为E＝∑x∈Ωω(x)log(Pl(x)(x))，其中Pl(x)(x)表示softmax，L(x)表示像素点的标签值，ω(x)表示像素点的权值，目的是为了给图像中贴近边界点的像素更高的权值，
Figure BDA0003066704420000031
ωc(x)是平衡类别比例的权值，d1是像素到距离最近的边界的距离，d2是像素到距离第二近的边界的距离，ω0和σ是根据实际模型需求设定的常数值。
所述光声病理影像的处理方法，其中，所述通过人工对WSI病理影像与光声病理影像进行标注的步骤中，标注方式为采用直线、矩形、圆形、箭头、曲线或多边形图形勾勒影像中感兴趣区域。
所述光声病理影像的处理方法，其中，所述生成式对抗网络模型包括用于对整幅影像进行转换的wGAN和用于对特定感兴趣区域进行影像转换的cGAN。
所述光声病理影像的处理方法，其中，所述wGAN包括辨别器网络和生成器网络，所述wGAN的损失函数为：W(Pr，Pθ)＝sup Ex～Pr[f(x)]-Ex～Pθ[f(x)]，||f||L＜1是一个条件，要求|f(x1)-f(x2)|＜|x1-x2|，Pr指辨别器网络判别生成器网络所生成的虚假图像为真的概率，Pθ指辨别器网络判别真实图像为真的概率，f(x)函数采用交叉熵，经过优化后，wGAN网络的Pr与Pθ之间的距离是平滑的，其中生成器网络的损失函数为：LG＝-Ex～Pθ[f(x)]，LD＝Ex～Pθ[fω(x)]-Ex～Pr[f(x)]，目标是使LG与LD都达到最小。
所述光声病理影像的处理方法，其中，所述cGAN包括辨别器网络和生成网络，所述cGAN的损失函数为：
Figure BDA0003066704420000041
式中，D表示辨别器网络，G表示生成器网络，x表示真实数据集，z表示随机输入噪声，y表示输入标签，D表示采用交叉熵，E表示这是概率公式，看做是每一个类别y都对应一个属于自己的目标函数，计算目的是使该式子达到纳什均衡。
所述光声病理影像的处理方法，其中，采用监督式自动标注模型对所述光声病理影像进行标注处理之前还包括步骤：
对所述光声病理影像进行对比和整合处理。
一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明所述光声病理影像的处理方法中的步骤。
一种终端设备，其特征在于，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明所述光声病理影像的处理方法中的步骤。
有益效果：相较于现有技术，本发明为加速光声成像先进新技术的落地临床应用、提升病理样本检测时效、减轻病理科医生阅片工作量，通过监督式自动标注模型对所述WSI病理影像与光声病理影像进行标注，并基于标注后WSI病理影像与标注后光声病理影像构建生成式对抗网络模型，完成目标区域在跨模态影像中的交互、关联与相互转换，从而实现直接从光声图像中识别病理组织的良恶性、病灶区域和边界等信息。
附图说明
图1为本发明一种光声病理影像的处理方法较佳实施例的流程图。
图2为本发明终端设备的原理框图。
具体实施方式
本发明提供一种光声病理影像的处理方法、存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
目前人工智能在组织学病理领域的应用主要有包含肿瘤组织病理学分型区分、淋巴结转移细胞检测和肿瘤患者预后预测等几个方面。病理人工智能的核心是算法，其实现的主要5个阶段分别是：数据标注、数据预处理、算法设计、算法训练、算法测试，但基础和必要条件是有效数据。病理人工智能如果源于不完整或有偏移的数据基础，最终决策会产生偏差甚至错误，进而导致人们失去对人工智能的信心。同其他领域的人工智能一样，简洁、完整和准确的数据是医学领域人工智能的必要前提。然而，与其他图像相比，病理图像还有自己独特的特点。第一是高质量图像的获取和合适的图片尺寸；与显微镜和数字切片扫描仪合作可以解决图像质量问题，而对于大尺寸病理切片的图片处理则需要根据算法来不断训练和调整。第二就是数据的标注置信度；病理人工智能算法精准与否完全取决于标注的可靠程度，但数字病理切片的标注十分烦琐，工作量大，而且特殊病理需要多个专家和特殊染色来审核和辅助标注；此外，病理诊断病种繁多，每个病种可能都需要一个模型，由于疾病的亚专科化，每位专家可能仅对部分病种特别熟悉，因此标注过程中每个病种都要有专门的专家团队以及标准化的流程。
同时随着人工智能技术走进病理分析领域，病理分析不再局限于传统的定性分析，逐渐向定量分析过渡。定性分析的结果受主观因素影响较大，不容易复现。定量分析是指依据统计数据，建立数学模型，从而计算出与病变相关的各项定量化指标；并根据定量指标给出病理诊断，其诊断结果更加客观。准确性和特异性高的计算模型必须有大量的病理切片数据支持，依靠这些数据进行后续的深度学习。
基于此，本发明提供了一种光声病理影像的处理方法，如图1所示，其包括步骤：
S10、利用数字病理扫描仪和光声成像扫描仪分别获取病理组织样本的WSI病理影像与光声病理影像；
S20、对所述WSI病理影像进行标注，得到标注后WSI病理影像；
S30、获取同一病理组织样本的标注后WSI病理影像和光声病理影像，并以标注后WSI病理影像为基准，采用监督式自动标注模型对所述光声病理影像进行标注处理，得到标注后光声病理影像；
S40、基于所述标注后光声病理影像训练生成式对抗网络模型，实现目标区域在跨模态影像中的交互、关联与相互转换。
本实施例为加速光声成像先进新技术的落地临床应用、提升病理样本检测时效、减轻病理科医生阅片工作量，通过监督式自动标注模型对所述WSI病理影像与光声病理影像进行标注，并基于标注后WSI病理影像与标注后光声病理影像构建生成式对抗网络模型，完成目标区域在跨模态影像中的交互、关联与相互转换，从而实现直接从光声图像中识别病理组织的良恶性、病灶区域和边界等信息。
在一些实施方式中，所述监督式自动标注模型的构建包括步骤：通过人工对WSI病理影像与光声病理影像进行标注，得到人工标注WSI病理影像与人工标注光声病理影像；以至少50例人工标注WSI病理影像以及至少50例人工标注光声病理影像为基础，训练基于U-net和异构领域适应学习方法的监督式自动标注模型。
具体来讲，对于繁重的影像数据标注任务，如果全由人工进行，不仅费时费力，并且由于个人的主观性会导致标注过程和精度无法完全统一。因此本实施例前期将在以前工作的基础上研发一种基于区域生长(Region Growing)的监督式自动标注模型，通过人机耦合对病灶完成分割工作并提交病理科医生和光声成像专家进行双盲审核与修改，从而解决海量影像数据的标注难题，不仅可以节省人力提升效率，还可保证在同一的标注规范下进行标注工作。在收集到至少50例人工标注WSI病理影像与至少50例人工标注光声病理影像后，可结合PAIP2019中的公开数据集为基础，研发基于U-net网络模型的监督式自动标注模型，以最大限度减轻人工标注量的情况下获取更为精准、规范的标注数据。
本实施例所使用的区域生长算法是根据同种生物组织区域内像素的相似性质来聚集像素点的方法，从随机的初始区域开始，将相邻的具有同样性质的像素归并到目前的区域中从而逐步增长区域，直至没有可以归并的点为止，区域内像素的相似性度量可以包括平均灰度值、文丽、颜色等信息。其具体实现步骤为：1、对图像进行顺序扫描，找到第一个没有归属的像素点，设其坐标为(x0，y0)，同时开辟一个堆栈，(x0，y0)为栈底；2、以(x0，y0)为中心，考虑其四领域的像素，若有像素点(x，y)满足相似准则，则将其与(x0，y0)合并，并将(x，y)入栈；3、从当前堆栈中取出像素点，把它当做(x0，y0)，返回步骤2；4、当堆栈为空的时候返回步骤1；当图像中的每一个像素点都有归属时，生长结束。该算法能在模型缺乏标注样本或标注样本数量不足的情况下进行粗分割，通过辅助U-net分割网络能实现监督式的自动标注模型。
区域生长是一种以一定准则为基础，根据初始像素点，逐步加入临近相似像素点的算法，但满足阈值时便停止生长，从而得到一定区域的算法。该算法能在训练集较少的情况下进行粗分割，因此使用区域生长算法辅助U-net来实现监督模型的训练。
本实施例所使用的U-net网络模型，用于构建自动标注模型，是一个全对称的全卷积网络，主体有下采样网络和上采用网络，并且在下采样和上采用之间用跳跃连接的方式进行连接。本实施例所使用的U-net模型具有分离边界的能力，其具体损失函数为E＝∑x∈Ωω(x)log(Pl(x)(x))，其中Pl(x)(x)表示softmax，L(x)表示像素点的标签值，ω(x)表示像素点的权值，目的是为了给图像中贴近边界点的像素更高的权值，
Figure BDA0003066704420000081
ωc(x)是平衡类别比例的权值，d1是像素到距离最近的边界的距离，d2是像素到距离第二近的边界的距离，ω0和σ是根据实际模型需求设定的常数值。在本实施例中，网络的高层部分捕捉图像的高频信息，网络下层捕捉图像的低频信息，再通过跳跃连接的方式叠加两种信息，使得U-net网络能够很好的分析整张图片的信息，因此使用U-net网络用来进行自动标注。
本实施例构建的监督式自动标注模型提供对于WSI病理影像与光声病理影像的细胞识别、分割、肿瘤区域分割等功能，标注方式提供直线、矩形、圆形、箭头、曲线、多边形等图形方式勾勒图中感兴趣区域，同时还提供基于区域生长的一点式标注方法。其主要意义在于在标注数据不足够的时候，无需医生对每个感兴趣区域手动标注，算法能够自动的通过对感兴趣区域的统计学分析进行分割，同时也应用于三维分割，从而减轻标注者的工作压力。
在一些实施方式中，为了实现基于光声成像的精准快速病理识别，并降低病理科医生对于新影像的不适应性，本实施例拟通过获取同一病理组织样本的光声病理影像和标注后WSI病理影像，并以标注后WSI病理影像为基准，对光声病理影像进行对比、整合、标注处理，得到标注后光声病理影像，基于所述标注后光声病理影像数据训练生成式对抗网络模型，完成目标区域在跨模态影像中的交互、关联与相互转换，从而实现直接从光声图像中识别病理组织的良恶性、病灶区域和边界等信息。
在本实施例中，以标注后WSI病理影像为基准，利用PSNR对获得的光声病理影像进行对比处理，其中，
Figure BDA0003066704420000091
Figure BDA0003066704420000092
其中，MSE表示当前图像X和参考图像Y的均方误差，H、W分别为图像的高度和宽度，n为每像素的比特数，一般取8，即像素灰阶数为256；PSNR的单位是dB，数值越大表示失真越小。
在本实施例中，以标注后WSI病理影像为基准，对光声病理影像进行整合处理的步骤为：按照WSI病理影像中对应细胞的排列确定光声病理影像的排列顺序，一张完整的WSI病理影像可对应多张光声病理影像，因此需要整合光声病理影像。
在本实施例中，利用给自主研发的标注工具对其中的感兴趣区域和细胞进行半自动标注。
在一些具体的实施方式中，本实施例将分别构建两种生成式对抗网络分别用于整张影像的转换与局部感兴趣区域的影像转换。生成式对抗网络其主要包含一个生成器网络和一个辨别器网络。Wasserstein GAN(wGAN)的优点在于其解决的传统GAN训练不稳定的问题，这里将主要用于对整幅影像的转换；Conditional GAN(cGAN)可以控制生成数据的一些属性，例如大小和位置等，因此在项目中被用于特定感兴趣区域的影像转换。
具体来讲，所述生成式对抗网络(Generative Adversarial Networks，GAN)由两个部分组成，分别是生成器网络(generator)和辨别器网络(discriminator)，通过两个网络相互对抗来达到最好的生成效果。首先向生成器网络输入一组随机噪声，生成器网络输出第一组虚假图像，然后向辨别器网络输入虚假图像组和真实图像组，并训练辨别器网络正确鉴别两组图像，再将学习到的参数更新到生成器网络和辨别器网络中，使生成器网络生成的假图像能够欺骗鉴别器，鉴别器能够更好地区分真实图像与虚假图像，让此过程迭代直到生成器网络与辨别器网络达到纳什平衡，即两个网络都达到了自己的最大期望。其中生成式对抗网络的损失函数为：V(G,D)＝Ex～Pdata[logD(x)]+Ex～PG[log(1-D(x))]，x为生成器网络输出的假图像，可以理解为x＝G(z)，z为输入噪声，G函数为生成器网络，D为辨别器网络，E表示这是概率公式，具体式子为JS散度，训练目标为使Ex～Pdata[logD(x)]最大，即辨别器网络能够鉴别出假图像，同时要使Ex～PG[log(1-D(x))]最小，即生成器网络能生成出能欺骗过辨别器网络的假图像。
本实施例中所使用的wGAN，采用Wassestein距离来代替一般GAN网络的JS散度，JS散度的公式为JS(P1||P2)＝0.5KL(P1||(P1+P2)/2)+0.5KL(P2||(P1+P2)/2)，KL(P||Q)＝-∑P(x)log(1/P(x))+∑P(x)log(1/Q(x))，其中，P1指辨别器网络判别生成器网络所生成的虚假图像为真的概率，P2指辨别器网络判别真实图像为真的概率，当P1与P2达到纳什均衡，则网络训练完毕。但JS散度的缺点在于，当两个P1,P2离得很远，或者里的很近时，计算结果为一个常数，使GAN网络出现梯度消失的问题。因此本发明使用wGAN，其损失函数为：W(Pr；Pθ)＝sup Ex～Pr[f(x)]-Ex～Pθ[f(x)]，||f||L<1是一个条件，要求|f(x1)-f(x2)|<|x1-x2|，Pr指辨别器网络判别生成器网络所生成的虚假图像为真的概率，Pθ指辨别器网络判别真实图像为真的概率，f(x)函数采用交叉熵，经过优化后，wGAN网络的Pr与Pθ之间的距离是平滑的，其中生成器网络的损失函数为：LG＝-E x～Pθ[f(x)]，LD＝E x～Pθ[fω(x)]-Ex～Pr[f(x)]，目标是使LG与LD都达到最小。
本实施例使用Wasserstein距离来代替一般GAN网络的Jensen-Shannon(JS散度)，使其克服了一般GAN网络容易出现模式崩塌、梯度消失等问题，使网络训练更有效率且更加稳定，因此用wGAN来对整幅影像进行转换。
本实施例中所使用的cGAN是用于特定感兴趣区域的算法，相比于普通的GAN函数，其在生成器网络和辨别器网络的输入端都加入了一组标签，损失函数的表达式为：
Figure BDA0003066704420000111
，式中，D表示辨别器网络，G表示生成器网络，x表示真实数据集，z表示随机输入噪声，y表示输入标签，D表示采用交叉熵，E表示这是概率公式，可以看做是每一个类别y都对应一个属于自己的目标函数，计算目的是使该式子达到纳什均衡。在本实施例中，输入不再只是原始噪声，还包含一组标签数据，能约束网络输出，使得GAN的输出变得可控，能够根据标签输出特定的图像，因此cGAN用来对特定感兴趣区域进行影像转换。
在一些实施方式中，综合病人信息、光声成像信息和关联转换所得的常规病理图像信息等大量病理信息，利用统计学模型进行筛选，从而可获得进行病理诊断的关键评价因子。再运用混合专家模型(MoE)构建方法，将广义线性模型和机器学习模型等不同模型融合到同一模型中，以获得正确率、敏感度和特异度更高的诊断模型，为最终的光声成像智能病理诊断打下坚实的基础。
下面通过具体实施例对本发明一种光声病理影像的处理方法做进一步的解释说明：
所述光声病理影像的处理方法主要可划分为四个部分，第一部分是数据获取，本实施例使用的数据主要来源于小鼠肝癌模型，通过50例HBV-TG肝癌小鼠模型获取肝癌组织样本，之后利用光声成像扫描仪与数字病理扫描仪分别获取肝癌组织样本的光声病理影像与WSI病理影像。第二部分是数据层，本实施例使用的数据包括从小鼠实验中获取的WSI影像与光声影像数据、通过监督式自动标注模型获取的标注数据、通过算法训练出来的辅助诊断模型和从医院获取的患者信息模型。第三部分是算法层，此层描述了在完成本实施例所需要的使用到的主要算法，其中涵盖了人工智能计算机视觉技术中的Region Growing、U-Net、CNN、GAN和异构领域适应学习等。第四部分是应用层，这里主要阐述了本项目主要研究形成的两个模型，包括监督式自动标注模型和生成式对抗网络模型。
在一些实施方式中，还提供一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明任意一项光声病理影像的处理方法中的步骤。
在一些实施方式中，还提供一种终端设备，如图2所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(CommunicationsInterface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中光声病理影像的处理方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
应当理解的是，本公开的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本公开所附权利要求的保护范围。

Claims (10)

1.一种光声病理影像的处理方法，其特征在于，包括步骤：
利用数字病理扫描仪和光声成像扫描仪分别获取病理组织样本的WSI病理影像与光声病理影像；
对所述WSI病理影像进行标注，得到标注后WSI病理影像；
获取同一病理组织样本的标注后WSI病理影像和光声病理影像，并以标注后WSI病理影像为基准，采用监督式自动标注模型对所述光声病理影像进行标注处理，得到标注后光声病理影像；
基于所述标注后光声病理影像训练生成式对抗网络模型，实现目标区域在跨模态影像中的交互、关联与相互转换。
2.根据权利要求1所述光声病理影像的处理方法，其特征在于，所述监督式自动标注模型的构建包括步骤：
通过人工对WSI病理影像与光声病理影像进行标注，得到人工标注WSI病理影像与人工标注光声病理影像；
以至少50例人工标注WSI病理影像以及至少50例人工标注光声病理影像为基础，训练基于U-net网络模型的监督式自动标注模型。
3.根据权利要求2所述光声病理影像的处理方法，其特征在于，所述U-net网络模型的损失函数为E＝∑x∈Ωω(x)log(Pl(x)(x))，其中Pl(x)(x)表示softmax，L(x)表示像素点的标签值，ω(x)表示像素点的权值，目的是为了给图像中贴近边界点的像素更高的权值，
Figure FDA0003834506350000011
ωc(x)是平衡类别比例的权值，d1是像素到距离最近的边界的距离，d2是像素到距离第二近的边界的距离，ω0和σ是根据实际模型需求设定的常数值。
4.根据权利要求2所述光声病理影像的处理方法，其特征在于，所述通过人工对WSI病理影像与光声病理影像进行标注的步骤中，标注方式为采用直线、矩形、圆形、箭头、曲线勾勒影像中感兴趣区域。
5.根据权利要求1所述光声病理影像的处理方法，其特征在于，所述生成式对抗网络模型包括用于对整幅影像进行转换的wGAN和用于对特定感兴趣区域进行影像转换的cGAN。
6.根据权利要求5所述光声病理影像的处理方法，其特征在于，所述wGAN包括辨别器网络和生成器网络，所述wGAN的损失函数为：
W(Pr，Pθ)＝sup Ex～Pr[f(x)]-Ex～Pθ[f(x)]，||f||L<1是一个条件，要求|f(x1)-f(x2)|<|x1-x2|，Pr指辨别器网络判别生成器网络所生成的虚假图像为真的概率，Pθ指辨别器网络判别真实图像为真的概率，f(x)函数采用交叉熵，经过优化后，wGAN网络的Pr与Pθ之间的距离是平滑的，其中生成器网络的损失函数为：LG＝-E x～Pθ[f(x)]，LD＝E x～Pθ[fω(x)]-Ex～Pr[f(x)]，目标是使LG与LD都达到最小。
7.根据权利要求5所述光声病理影像的处理方法，其特征在于，所述cGAN包括辨别器网络和生成网络，所述cGAN的损失函数为：
Figure FDA0003834506350000021
式中，D表示辨别器网络，G表示生成器网络，x表示真实数据集，z表示随机输入噪声，y表示输入标签，log表示采用交叉熵，E表示这是概率公式，看做是每一个类别y都对应一个属于自己的目标函数，计算目的是使该式子达到纳什均衡。
8.根据权利要求1所述光声病理影像的处理方法，其特征在于，采用监督式自动标注模型对所述光声病理影像进行标注处理之前还包括步骤：
对所述光声病理影像进行对比和整合处理。
9.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-8任意一项所述光声病理影像的处理方法中的步骤。
10.一种终端设备，其特征在于，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行权利要求1-8任意一项所述光声病理影像的处理方法中的步骤。
CN202110527639.5A 2021-05-14 2021-05-14 一种光声病理影像的处理方法、存储介质及终端设备 Active CN113299372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110527639.5A CN113299372B (zh) 2021-05-14 2021-05-14 一种光声病理影像的处理方法、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110527639.5A CN113299372B (zh) 2021-05-14 2021-05-14 一种光声病理影像的处理方法、存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN113299372A CN113299372A (zh) 2021-08-24
CN113299372B true CN113299372B (zh) 2023-02-03

Family

ID=77322117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110527639.5A Active CN113299372B (zh) 2021-05-14 2021-05-14 一种光声病理影像的处理方法、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN113299372B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116797612B (zh) * 2023-08-24 2024-03-29 天津医科大学第二医院 基于弱监督深度活动轮廓模型的超声图像分割方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986150A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种数字病理图像的交互式标注精细化方法
CN112244779A (zh) * 2020-10-22 2021-01-22 电子科技大学 一种基于声光成像的医疗检测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10568586B2 (en) * 2012-10-05 2020-02-25 Volcano Corporation Systems for indicating parameters in an imaging data set and methods of use

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986150A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种数字病理图像的交互式标注精细化方法
CN112244779A (zh) * 2020-10-22 2021-01-22 电子科技大学 一种基于声光成像的医疗检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
不同扫描仪构建的结直肠癌全切片数字病理图像中人工标注迁移的研究;李江涛等;《中华结直肠疾病电子杂志》;20201025(第05期);第475-481页 *

Also Published As

Publication number Publication date
CN113299372A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
US11756675B2 (en) Systems and methods for analysis and remote interpretation of optical histologic images
Garnavi et al. Border detection in dermoscopy images using hybrid thresholding on optimized color channels
NL2010613C2 (en) Systems, apparatus and processes for automated medical image segmentation using a statistical model field of the disclosure.
CN112396621B (zh) 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法
Luck et al. An image model and segmentation algorithm for reflectance confocal images of in vivo cervical tissue
WO2013028926A2 (en) Label-free, knowledge-based, high-specificity, coherent, anti-stokes raman scattering imaging system and related methods
CN113299372B (zh) 一种光声病理影像的处理方法、存储介质及终端设备
CN117036343B (zh) 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置
Wang et al. Automated ovarian cancer identification using end-to-end deep learning and second harmonic generation imaging
Do et al. Supporting thyroid cancer diagnosis based on cell classification over microscopic images
CN114360718B (zh) 一种基于特征拟合的pet/ct自动肺癌诊断分类系统及构建方法
CN114998644B (zh) 肿瘤诊断系统及其构建方法、终端设备及存储介质
EP4290529A1 (en) Method for training artificial neural network having use for detecting prostate cancer from turp pathological images, and computing system performing same
EP4202827A1 (en) System and method for classifying lesions
Scholler et al. Automatic diagnosis and classification of breast surgical samples with dynamic full-field OCT and machine learning
Thouvenin et al. Automatic diagnosis and biopsy classification with dynamic full-field OCT and machine learning
Feng et al. Atherosclerotic Plaque Pathological Analysis by Unsupervised $ K $-Means Clustering
Machireddy et al. Robust segmentation of cellular ultrastructure on sparsely labeled 3d electron microscopy images using deep learning
IT201900020200A1 (it) Metodo per la generazione di modelli per classificare automaticamente in almeno una classe di interesse immagini medicali o veterinarie derivate da immagini originarie
CN117218419B (zh) 一种胰胆肿瘤分型分级分期的评估系统和评估方法
Di Leo et al. A web-based application for dermoscopic measurements and learning
CN116415649B (zh) 基于多模态超声影像自监督学习的乳腺微小癌分析方法
CN116958072A (zh) 基于abvs的乳腺癌her2基因突变预测方法及设备
CN117831757B (zh) 基于病理ct多模态先验知识引导的肺癌诊断方法及系统
Oztan et al. Biologically-driven cell-graphs for breast tissue grading

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant