CN114240836A - 一种鼻息肉病理切片分析方法、系统和可读存储介质 - Google Patents

一种鼻息肉病理切片分析方法、系统和可读存储介质 Download PDF

Info

Publication number
CN114240836A
CN114240836A CN202111340924.2A CN202111340924A CN114240836A CN 114240836 A CN114240836 A CN 114240836A CN 202111340924 A CN202111340924 A CN 202111340924A CN 114240836 A CN114240836 A CN 114240836A
Authority
CN
China
Prior art keywords
nasal polyp
pathological section
cells
feature
pathological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111340924.2A
Other languages
English (en)
Other versions
CN114240836B (zh
Inventor
杨钦泰
李涵生
罗新
邵春奎
陈健宁
刘子锋
吴晓琦
杨林
黄雪琨
张雅娜
郑瑞
吴庆武
吴硕
邱惠军
王心悦
林明珍
屠佳杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Diyingjia Technology Co ltd
Original Assignee
Hangzhou Diyingjia Technology Co ltd
Third Affiliated Hospital Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Diyingjia Technology Co ltd, Third Affiliated Hospital Sun Yat Sen University filed Critical Hangzhou Diyingjia Technology Co ltd
Priority to CN202111340924.2A priority Critical patent/CN114240836B/zh
Publication of CN114240836A publication Critical patent/CN114240836A/zh
Application granted granted Critical
Publication of CN114240836B publication Critical patent/CN114240836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种鼻息肉病理切片分析方法、系统和可读存储介质,通过图像采集器实时采集实体切片的显微镜下的病理图像信息,并发送给处理器。处理器接对所述鼻息肉病理图像上所有细胞进行有效区域检测,去除当前视野中上皮区域、血管区域、腺体区域后再统计当前视野下的浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞数量;并统计上述四类炎症细胞总和作为当前视野下总体炎症细胞数目;然后计算浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的百分比,通过当前玻片中随机10个高倍镜视野及热点视野下上述四类炎症细胞的数目及比例,最终判断当前切片患者鼻息肉炎症类别,最后将统计结果进行存储。本发明有助于鼻窦炎患者个体化诊疗及预后改善。

Description

一种鼻息肉病理切片分析方法、系统和可读存储介质
技术领域
本发明涉及病理图像处理领域,更具体的,涉及一种鼻息肉病理切片分析方法、系统和可读存储介质。
背景技术
鼻息肉(nasal polyp)为鼻部常见病,是由于极度水肿的鼻腔鼻窦粘膜在重力作用下逐渐下垂而形成。多数认为慢性感染和变态反应是致病的可能原因。鼻息肉由高度水肿的鼻粘膜构成,好发于鼻腔的外侧壁及鼻顶部。上皮为假复层柱纤毛上皮,也有部分上皮化生为鳞状上皮,系长期外界刺激所致。上皮下为水肿的疏松结缔组织,其间有浸润的炎性细胞,包括浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞等,其中嗜酸性粒细胞浸润是鼻息肉组织学的一个明显特点。
鼻息肉的检测主要通过三种方式,(1)鼻内镜检查:观察来源于中鼻道、嗅裂的黏性或黏脓性分泌物,鼻黏膜充血、水肿或有息肉。通常此种方式只能作为初筛方式。(2)影像学检查:鼻窦CT扫描可显示窦口鼻道复合体和(或)鼻窦黏膜炎性病变。(3)病理检查:是各种检查的金标准,可具体判断鼻息肉的病理类型。
据《中国慢性鼻窦炎诊断和治疗指南2018》的标准,鼻息肉的病理检查需要统计包括浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞等类别的细胞数量,并计算组织嗜酸性粒细胞占总炎性细胞的百分比,以此确定组织的炎症类型,并对预后治疗提供最主要的依据。
然而临床病理医生工作任务极重,具体体现在以下几个方面,其一单张切片包含数十万计的各种类型的染色细胞,使得对于单张切片进行细胞寻找与计数是一项复杂的工作,容易产生视觉疲劳。其二,据权威媒体报道,病理医生日均阅片达到200张。因此病理科医生亟需一种自动化的鼻息肉切片分析工具予以辅助。
但是,由于生物体的内部复杂性,鼻息肉内部的各种细胞除了常见的组织形态外,还可出现不典型或少见的细胞形态,这体现了病理图像中鼻息肉细胞形态的多样性特点。本申请将感兴趣类别的细胞定义为前景细胞,其余细胞称为背景细胞。由于背景细胞的数量通常远大于前景细胞的数量,这使得背景细胞具有更为丰富的多样性。背景细胞的多样性会带来两类难点。其一,由于背景细胞的丰富多样性,使得背景细胞难以避免地会与正实例特征相似,深度学习模型容易产生假阳性预测;其二,训练样本难以完全将众多的背景细胞纳入,因此多样性背景细胞引入了不可避免的偶然性噪声,在临床使用中将带来预测的偏差,降低了模型的临床可用性。因此,如何使得深度学习算法可以应对病理图像的背景细胞的多样性具有重大的意义。
针对病理图像的背景细胞多样性难点,即深度学习模型对多样的背景细胞极为敏感,造成特征提取混乱,影响分析精度的问题。本申请提出一种适用于鼻息肉病理图像的特征校正检测模型,在编码过程中提取有效前景特征的同时滤除背景细胞特征,并在解码过程中使用前景特征进行补充,以更充分的校正解码过程。为达到此目的,需要分两步进行探索与研究,其一是在编码过程中如何把有效的前景细胞特征分离出来(特征提纯);其二是如何将不同阶段分离出来的前景特征再补充到编码的不同阶段(特征消化)。
发明内容
鉴于上述问题,本发明的目的是提供一种鼻息肉病理切片分析方法、系统和可读存储介质,在不改变医生原有工作流程的基础上,使用人工智能方法提高医生的诊断效率的同时准确更准确地进行鼻息肉炎症分类。
本发明第一方面提供了一种鼻息肉病理切片分析方法,所述方法包括以下步骤:
采集鼻息病理切片图像,对鼻息病理切片图像进行预处理,使鼻息肉病理切片图像各参数符合数字病理切片图像各参数的要求;
将预处理后的鼻息病理切片图像切分成若干个小图,再输入训练好的特征校正检测模型进行处理,,去除当前视野中上皮区域、血管区域、腺体区域后再统计当前视野下的浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞数量;并统计上述四类炎症细胞总和作为当前视野下总体炎症细胞数目;然后计算浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的百分比。
通过当前玻片中随机10个高倍镜视野及热点视野下上述四类炎症细胞的数目及比例,最终判断当前切片患者鼻息肉炎症类别。
本方案中,所述预处理为调节鼻息病理切片图像的白平衡、色相、明度和彩度参数。
本方案中,所述特征校正检测模型,具体为:在深度学习模型的编码器和解码器之间建立了特征解耦通路;
特征解耦通路首先通过合并多个尺度的特征来连接编码器中的图层并将其重新组合;
然后从全局视图中消除背景噪声,以获得自动选择的特征,自动选择的特征将重点更多地放在前景细胞上,之后,将自动选择的特征选择性的补充到解码器;
此外,在深度学习模型的训练过程中,通过添加特征解耦通路将原始梯度反向传播优化为网状反向传播,以指导编码器和解码器提取前景细胞的更多语义特征;
最后,在特征解耦通路的指导下,编码器和解码器将更多的精力放在前景细胞上,并减少来自模糊背景的干扰。
本方案中,所述特征解耦通路由三部分组成:
1)保管库层(Vault Layer),存储精心选择的全局特征图,其中包含不同尺度的前景细胞的特征;
2)增益层(Gain Layer),使用卷积从金库层有选择地提取增益层,并包含特定尺度的前景细胞的特征;
3)校准层(Calibration Layer),是解码器中的特定特征图,通过相应的增益层进行增强和校准,并且更多地关注前景细胞的特征。
本方案中,所述网状反向传播是指:特征校正检测模型中编码器-解码器体系结构是网状的,其梯度反向传播是非顺序的。
本方案中,所述特征校正检测模型的训练数据为至少200张经医生标注详细标注了所有上皮区域、血管区域、腺体区域和浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的鼻息肉染色切片图像。
本方案中,所述特征校正检测模型的训练具体为:将所有训练图像按照全场图的顺序,依次送入特征校正检测模型中进行训练,采用交叉熵为损失函数, Adam为优化方法,训练直到损失函数不再明显变化为止。
本发明第二方面提供一种鼻息肉病理切片分析系统,所述系统包括:图像采集器、处理器、存储器、显示器;
图像采集器实时采集实体切片的当前视野的病理图像信息,并发送给处理器;
所述存储器中包括鼻息肉病理切片分析方法程序;
所述鼻息肉病理切片分析方法程序被所述处理器执行时实现如下步骤:
采集鼻息病理切片图像,对鼻息病理切片图像进行预处理,使鼻息肉病理切片图像各参数符合数字病理切片图像各参数的要求;
将预处理后的鼻息病理切片图像切分成若干个小图,再输入训练好的特征校正检测模型进行处理,去除当前视野中上皮区域、血管区域、腺体区域后再统计当前视野下的浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞数量;并统计上述四类炎症细胞总和作为当前视野下总体炎症细胞数目;然后计算浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的百分比。通过当前玻片中随机10个高倍镜视野及热点视野下上述四类炎症细胞的数目及比例,最终判断当前切片患者鼻息肉炎症类别,最后将统计结果发送给存储器进行存储。
本方案中,所述特征校正检测模型,具体为:在深度学习模型的编码器和解码器之间建立了特征解耦通路;
特征解耦通路首先通过合并多个尺度的特征来连接编码器中的图层并将其重新组合;
然后从全局视图中消除背景噪声,以获得自动选择的特征,自动选择的特征将重点更多地放在前景细胞上,之后,将自动选择的特征选择性的补充到解码器;
此外,在深度学习模型的训练过程中,通过添加特征解耦通路将原始梯度反向传播优化为网状反向传播,以指导编码器和解码器提取前景细胞的更多语义特征;
最后,在特征解耦通路的指导下,编码器和解码器将更多的精力放在前景细胞上,并减少来自模糊背景的干扰。
本发明第三方面一种计算机可读存储介质,所述计算机可读存储介质中包括一种鼻息肉病理切片分析方法程序,所述鼻息肉病理切片分析方法程序被处理器执行时,实现一种鼻息肉病理切片分析方法的步骤。
本发明提供一种鼻息肉病理切片分析方法、系统和可读存储介质,通过图像采集器实时采集实体切片的当前视野的病理图像信息,并发送给处理器。处理器接收来自图像采集器的鼻息肉切片图像信息,对所述鼻息肉病理图像上所有细胞进行有效区域检测,去除当前视野中上皮区域、血管区域、腺体区域后再统计当前视野下的浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞数量;并统计上述四类炎症细胞总和作为当前视野下总体炎症细胞数目;然后计算浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的百分比。
通过当前玻片中随机10个高倍镜视野及热点视野下上述四类炎症细胞的数目及比例,最终判断当前切片患者鼻息肉炎症类别,最后将统计结果进行存储。本发明可在不改变医生原有工作流程的基础上,使用人工智能方法提高医生的诊断效率的同时准确更准确地进行鼻息肉炎症分类。
附图说明
图1示出了本申请一种鼻息肉病理切片分析方法的流程图;
图2示出了发明所述特征校正检测模型架构图;
图3示出了梯度反向传播顺序结构示意图。
图4示出了梯度反向传播非顺序结构示意图。
图5示出了梯度反向传播网络结构示意图。
图6示出了本申请一种鼻息肉病理切片分析系统结构框图。
图中,6-鼻息肉病理切片分析系统、61-图像采集器、62-处理器、63-存储器、 64-显示器。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本申请一种鼻息肉病理切片分析方法流程图。
如图1所示,本申请公开了一种鼻息肉病理切片分析方法,所述方法包括以下步骤:
S102:采集鼻息病理切片图像,对鼻息病理切片图像进行预处理,使鼻息肉病理切片图像各参数符合数字病理切片图像各参数的要求;
S104:将预处理后的鼻息病理切片图像切分成若干个小图,再输入训练好的特征校正检测模型进行处理,去除当前视野中上皮区域、血管区域、腺体区域后再统计当前视野下的浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞数量;并统计上述四类炎症细胞总和作为当前视野下总体炎症细胞数目;然后计算浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的百分比;
S106:通过当前玻片中随机10个高倍镜视野及热点视野下上述四类炎症细胞的数目及比例,最终判断当前切片患者鼻息肉炎症类别,最后将统计结果进行存储。
需要说明的是,S102所采集的鼻息病理切片图像为图像采集器视野范围内的图像。
需要说明的是,将预处理后的鼻息病理切片图像切分成若干个小图,所述小图优选512*512的小图,切分成其他尺寸,且符合检测要求的,也在本申请保护范围之内。
根据本发明实施例,所述预处理为调节鼻息病理切片图像的白平衡、色相、明度和彩度参数。使得图像的色彩接近于高通量扫描仪扫描得到的数字病理切片。这是因为我们的细胞检测和细胞分类模型都是使用数字病理切片进行训练的,显微镜摄像头采集到的图像数据的白平衡、色相,明度和彩度等和数字病理切片很不一样,我们通过缩小这些不同,来确保后面检测算法的准确性尽可能不会受此影响。
需要说明的是,所述特征校正检测模型是针对病理图像的背景细胞多样性难点,即深度学习模型对多样的背景细胞极为敏感,造成特征提取混乱,影响分析精度的问题而提出的,所述特征校正检测模型在编码过程中提取有效前景特征的同时滤除背景细胞特征,并在解码过程中使用前景特征进行补充,以更充分的校正解码过程。为达到此目的,通过分两步进行探索与研究,其一是在编码过程中如何把有效的前景细胞特征分离出来(特征提纯);其二是如何将不同阶段分离出来的前景特征再补充到编码的不同阶段(特征消化)。
根据本发明实施例,所述特征校正检测模型,具体为:在深度学习模型的编码器和解码器之间建立了特征解耦通路;以校准编码器和解码器,并进一步指导编码器和解码器将重点更多地放在前景细胞上。
特征解耦通路首先通过合并多个尺度的特征来连接编码器中的图层并将其重新组合;
然后从全局视图中消除背景噪声,以获得自动选择的特征,自动选择的特征将重点更多地放在前景细胞上,之后,将自动选择的特征选择性的补充到解码器;
此外,在深度学习模型的训练过程中,以校准编码器和解码器,并进一步指导编码器和解码器将重点更多地放在前景细胞上。它可以指导编码器和解码器提取前景细胞的更多语义特征;
最后,在特征解耦通路的指导下,编码器和解码器将更多的精力放在前景细胞上,并减少来自模糊背景的干扰。
根据本发明实施例,所述特征解耦通路由三部分组成:
1)保管库层(Vault Layer),存储精心选择的全局特征图,其中包含不同尺度的前景细胞的特征;
2)增益层(Gain Layer),使用卷积从金库层有选择地提取增益层,并包含特定尺度的前景细胞的特征;
3)校准层(Calibration Layer),是解码器中的特定特征图,通过相应的增益层进行增强和校准,并且更多地关注前景细胞的特征。
本发明所述特征校正检测模型架构如图2所示。
根据本发明实施例,所述网状反向传播是指:特征校正检测模型中编码器- 解码器体系结构是网状的,其梯度反向传播是非顺序的。
图3-图5展示了不同梯度反向传播方式。
需要说明的是,在经典的编码器-解码器体系结构中,梯度反向传播是顺序的,如图3所示,这可能会导致梯度消失问题。先前的研究者已经提出了基于跳过连接和注意力机制的方法来解决这一难题,这些方法可以看作是编码器和解码器之间的路径。此时梯度反向传播是非顺序的,梯度可以直接从解码器最后阶段流向编码器开始阶段,如图4所示。
本申请提出的算法框架中对原始梯度的反向传播进行了优化,优化后其结构是网状的,如图5所示。网状梯度反向传播方式继承了非顺序反向传播的优点,这也使编码器中的每一层都可以接收到多个解码阶段的梯度。进一步促进了编码器中的卷积核提取前景细胞的更多语义特征。这种网状反向传播方式在实验中已被证实可加快网络训练速度。
根据本发明实施例,所述特征校正检测模型的训练数据为至少200张经医生标注详细标注了所有上皮区域、血管区域、腺体区域和浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的鼻息肉染色切片图像。
根据本发明实施例,所述特征校正检测模型的训练具体为:将所有训练图像按照全场图的顺序,依次送入特征校正检测模型中进行训练,采用交叉熵为损失函数,Adam为优化方法,训练直到损失函数不再明显变化为止。
图6示出了本申请一种鼻息肉病理切片分析系统结构框图。
如图6所示,本申请公开了一种鼻息肉病理切片分析系统,所述鼻息肉病理切片分析系统6包括:图像采集器61、处理器62、存储器63、显示器64;
图像采集器61实时采集实体切片的当前视野的病理图像信息,并发送给处理器62;
所述存储器63中包括鼻息肉病理切片分析方法程序;
所述鼻息肉病理切片分析方法程序被所述处理器62执行时实现如下步骤:
S102:采集鼻息病理切片图像,对鼻息病理切片图像进行预处理,使鼻息肉病理切片图像各参数符合数字病理切片图像各参数的要求;
S104:将预处理后的鼻息病理切片图像输入训练好的特征校正检测模型进行处理,去除当前视野中上皮区域、血管区域、腺体区域后再统计当前视野下的浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞数量;并统计上述四类炎症细胞总和作为当前视野下总体炎症细胞数目;然后计算浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的百分比。并将结果进行统计后发送给显示器64予以显示;
S106:通过当前玻片中随机10个高倍镜视野及热点视野下上述四类炎症细胞的数目及比例,最终判断当前切片患者鼻息肉炎症类别,最后将统计结果发送给存储器63进行存储。
需要说明的是,作为一个具体的实施例,本实施例中所述图像采集器61包括显微镜和显微镜摄像头;
将显微镜高清镜头与显微镜摄像头的C接口相连接,组成电子目镜,并将电子目镜插入到直插式显微镜的第三镜筒,用于实时采集显微镜下实体切片的当前视野的病理图像信息。
所述显微镜摄像头通过USB数据线与处理器62相连,并在处理器62上安装配套的驱动软件,安装完成后,处理器62即可接收来自显微镜摄像头传入的视频流,视频流经解码后,使用配套开发的视频显示软件将所采集的视频实时显示在显示器64上。
所述显示器64,与所述处理器62连接,用于接收并显示所述处理器62从图像采集器61接收到的图像,并将算法分析的结果显示在图像上面;所述显示器64与显微镜同步显示同一部位的病理图像信息。
需要说明的是,所述鼻息肉病理切片分析方法被部署在存储器63上,所述处理器62使用简单的web后端服务启动,此服务接收传入的图像,对图像进行分析判读后,将分析结果返回到视频显示软件,并由视频显示软件将分析结果实时地显示到显示器64上。分析过程由特征校正检测模型所进行,所述特征校正检测模型是基于深度学习模型所开发,深度学习模型需要使用大量预先标注的数据进行训练,待训练完成之后才可以使用该模型进行预测。
需要说明的是,所述深度学习模型优选CNN神经网络模型。
需要说明的是,将预处理后的鼻息病理切片图像切分成若干个小图,所述小图优选512*512的小图,切分成其他尺寸,且符合检测要求的,也在本申请保护范围之内。
根据本发明实施例,所述预处理为调节鼻息病理切片图像的白平衡、色相、明度和彩度参数。使得图像的色彩接近于高通量扫描仪扫描得到的数字病理切片。这是因为我们的细胞检测和细胞分类模型都是使用数字病理切片进行训练的,显微镜摄像头采集到的图像数据的白平衡、色相,明度和彩度等和数字病理切片很不一样,我们通过缩小这些不同,来确保后面检测算法的准确性尽可能不会受此影响。
需要说明的是,所述特征校正检测模型是针对病理图像的背景细胞多样性难点,即深度学习模型对多样的背景细胞极为敏感,造成特征提取混乱,影响分析精度的问题而提出的,所述特征校正检测模型在编码过程中提取有效前景特征的同时滤除背景细胞特征,并在解码过程中使用前景特征进行补充,以更充分的校正解码过程。为达到此目的,通过分两步进行探索与研究,其一是在编码过程中如何把有效的前景细胞特征分离出来(特征提纯);其二是如何将不同阶段分离出来的前景特征再补充到编码的不同阶段(特征消化)。
根据本发明实施例,所述特征校正检测模型,具体为:在深度学习模型的编码器和解码器之间建立了特征解耦通路;以校准编码器和解码器,并进一步指导编码器和解码器将重点更多地放在前景细胞上。
特征解耦通路首先通过合并多个尺度的特征来连接编码器中的图层并将其重新组合;
然后从全局视图中消除背景噪声,以获得自动选择的特征,自动选择的特征将重点更多地放在前景细胞上,之后,将自动选择的特征选择性的补充到解码器;
此外,在深度学习模型的训练过程中,通过添加特征解耦通路将原始梯度反向传播优化为网状反向传播,以指导编码器和解码器提取前景细胞的更多语义特征;
最后,在特征解耦通路的指导下,编码器和解码器将更多的精力放在前景细胞上,并减少来自模糊背景的干扰。
根据本发明实施例,所述特征解耦通路由三部分组成:
1)保管库层(Vault Layer),存储精心选择的全局特征图,其中包含不同尺度的前景细胞的特征;
2)增益层(Gain Layer),使用卷积从金库层有选择地提取增益层,并包含特定尺度的前景细胞的特征;
3)校准层(Calibration Layer),是解码器中的特定特征图,通过相应的增益层进行增强和校准,并且更多地关注前景细胞的特征。
根据本发明实施例,所述网状反向传播是指:特征校正检测模型中编码器- 解码器体系结构是网状的,其梯度反向传播是非顺序的。
根据本发明实施例,所述特征校正检测模型的训练数据为至少200张经医生标注详细标注了所有上皮区域、血管区域、腺体区域和浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的鼻息肉染色切片图像。
需要说明的是,训练数据为医生标注,本实施例中医生先在200余张的鼻息肉染色切片全场图上进行了所有上皮区域、血管区域、腺体区域和浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的穷尽标注。
根据本发明实施例,所述特征校正检测模型的训练具体为:将所有训练图像按照全场图的顺序,依次送入特征校正检测模型中进行训练,采用交叉熵为损失函数,Adam为优化方法,训练直到损失函数不再明显变化为止。
本发明第三方面一种计算机可读存储介质,所述计算机可读存储介质中包括一种鼻息肉病理切片分析方法程序,所述鼻息肉病理切片分析方法程序被处理器执行时,实现如上所述任意一项所述的一种鼻息肉病理切片分析方法的步骤。
本发明公开了一种鼻息肉病理切片分析方法、系统和可读存储介质,通过图像采集器实时采集实体切片的显微镜400倍高倍镜视野下的病理图像信息,并发送给处理器。处理器接收来自图像采集器的鼻息肉切片显微镜高倍镜视野病理图像信息,对所述鼻息肉病理图像上所有细胞进行有效区域检测,去除当前视野中上皮区域、血管区域、腺体区域后再统计当前视野下的浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞数量;并统计上述四类炎症细胞总和作为当前视野下总体炎症细胞数目;然后计算浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的百分比,通过当前玻片中随机10个高倍镜视野及热点视野下上述四类炎症细胞的数目及比例,最终判断当前切片患者鼻息肉炎症类别,最后将统计结果进行存储。本发明可在不改变医生原有工作流程的基础上,使用人工智能方法提高医生的工作效率的同时快速进行鼻息肉炎症分类,有助于鼻窦炎患者个体化诊疗及预后改善
通过当前玻片中随机10个高倍镜视野及热点视野下上述四类炎症细胞的数目及比例,最终判断当前切片患者鼻息肉炎症类别,最后将统计结果进行存储。本发明可在不改变医生原有工作流程的基础上,使用人工智能方法提高医生的诊断效率的同时更准确地进行鼻息肉炎症分类。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种鼻息肉病理切片分析方法,其特征在于,所述方法包括以下步骤:
采集鼻息病理切片图像,对鼻息病理切片图像进行预处理,使鼻息肉病理切片图像各参数符合数字病理切片图像各参数的要求;
将预处理后的鼻息病理切片图像切分成若干个小图,再输入训练好的特征校正检测模型进行处理,去除当前视野中上皮区域、血管区域、腺体区域后再统计当前视野下的浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞数量;并统计上述四类炎症细胞总和作为当前视野下总体炎症细胞数目;然后计算浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的百分比;
通过当前玻片中随机10个高倍镜视野及热点视野下上述四类炎症细胞的数目及比例,最终判断当前切片患者鼻息肉炎症类别。
2.根据权利要求1所述的一种鼻息肉病理切片分析方法,其特征在于,所述预处理为调节鼻息病理切片图像的白平衡、色相、明度和彩度参数。
3.根据权利要求1或2所述的一种鼻息肉病理切片分析方法,其特征在于,所述特征校正检测模型,具体为:在深度学习模型的编码器和解码器之间建立了特征解耦通路;
特征解耦通路首先通过合并多个尺度的特征来连接编码器中的图层并将其重新组合;
然后从全局视图中消除背景噪声,以获得自动选择的特征,自动选择的特征将重点更多地放在前景细胞上,之后,将自动选择的特征选择性的补充到解码器;
此外,在深度学习模型的训练过程中,通过添加特征解耦通路将原始梯度反向传播优化为网状反向传播,以指导编码器和解码器提取前景细胞的更多语义特征;
最后,在特征解耦通路的指导下,编码器和解码器将更多的精力放在前景细胞上,并减少来自模糊背景的干扰。
4.根据权利要求3所述的一种鼻息肉病理切片分析方法,其特征在于,所述特征解耦通路由三部分组成:
1)保管库层,存储精心选择的全局特征图,其中包含不同尺度的前景细胞的特征;
2)增益层,使用卷积从金库层有选择地提取增益层,并包含特定尺度的前景细胞的特征;
3)校准层,是解码器中的特定特征图,通过相应的增益层进行增强和校准,并且更多地关注前景细胞的特征。
5.根据权利要求4所述的一种鼻息肉病理切片分析方法,其特征在于,所述网状反向传播是指:特征校正检测模型中编码器-解码器体系结构是网状的,其梯度反向传播是非顺序的。
6.根据权利要求1或5所述的一种鼻息肉病理切片分析方法,其特征在于,所述特征校正检测模型的训练数据为至少200张经医生标注详细标注了所有上皮区域、血管区域、腺体区域和浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的鼻息肉染色切片图像。
7.根据权利要求6所述的一种鼻息肉病理切片分析方法,其特征在于,所述特征校正检测模型的训练具体为:将所有训练图像按照全场图的顺序,依次送入特征校正检测模型中进行训练,采用交叉熵为损失函数,Adam为优化方法,训练直到损失函数不再明显变化为止。
8.一种鼻息肉病理切片分析系统,其特征在于,所述系统包括:图像采集器、处理器、存储器、显示器;
图像采集器实时采集实体切片的当前视野的病理图像信息,并发送给处理器;
所述存储器中包括鼻息肉病理切片分析方法程序;
所述鼻息肉病理切片分析方法程序被所述处理器执行时实现如下步骤:
采集鼻息病理切片图像,对鼻息病理切片图像进行预处理,使鼻息肉病理切片图像各参数符合数字病理切片图像各参数的要求;
将预处理后的鼻息病理切片图像切分成若干个小图,再输入训练好的特征校正检测模型进行处理,去除当前视野中上皮区域、血管区域、腺体区域后再统计当前视野下的浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞数量;并统计上述四类炎症细胞总和作为当前视野下总体炎症细胞数目;然后计算浆细胞、中性粒细胞、嗜酸性粒细胞和淋巴细胞的百分比。
通过当前玻片中随机10个高倍镜视野及热点视野下上述四类炎症细胞的数目及比例,最终判断当前切片患者鼻息肉炎症类别,最后将统计结果发送给存储器进行存储。
9.根据权利要求8所述的一种鼻息肉病理切片分析系统,其特征在于,所述特征校正检测模型,具体为:在深度学习模型的编码器和解码器之间建立了特征解耦通路;
特征解耦通路首先通过合并多个尺度的特征来连接编码器中的图层并将其重新组合;
然后从全局视图中消除背景噪声,以获得自动选择的特征,自动选择的特征将重点更多地放在前景细胞上,之后,将自动选择的特征选择性的补充到解码器;
此外,在深度学习模型的训练过程中,通过添加特征解耦通路将原始梯度反向传播优化为网状反向传播,以指导编码器和解码器提取前景细胞的更多语义特征;
最后,在特征解耦通路的指导下,编码器和解码器将更多的精力放在前景细胞上,并减少来自模糊背景的干扰。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括一种鼻息肉病理切片分析方法程序,所述鼻息肉病理切片分析方法程序被处理器执行时,实现如权利要求1至7中任一项所述的一种鼻息肉病理切片分析方法的步骤。
CN202111340924.2A 2021-11-12 2021-11-12 一种鼻息肉病理切片分析方法、系统和可读存储介质 Active CN114240836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111340924.2A CN114240836B (zh) 2021-11-12 2021-11-12 一种鼻息肉病理切片分析方法、系统和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111340924.2A CN114240836B (zh) 2021-11-12 2021-11-12 一种鼻息肉病理切片分析方法、系统和可读存储介质

Publications (2)

Publication Number Publication Date
CN114240836A true CN114240836A (zh) 2022-03-25
CN114240836B CN114240836B (zh) 2024-06-25

Family

ID=80749509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111340924.2A Active CN114240836B (zh) 2021-11-12 2021-11-12 一种鼻息肉病理切片分析方法、系统和可读存储介质

Country Status (1)

Country Link
CN (1) CN114240836B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511559A (zh) * 2022-04-18 2022-05-17 杭州迪英加科技有限公司 染色鼻息肉病理切片质量多维评价方法、系统及介质
CN116258197A (zh) * 2023-05-16 2023-06-13 之江实验室 基于参数计算和通信调度的分布式训练加速方法和系统
CN117994595A (zh) * 2024-04-07 2024-05-07 首都医科大学附属北京儿童医院 一种鼻窦炎的分析方法和相关设备

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统
CN110111344A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 病理切片图像分级方法、装置、计算机设备和存储介质
CN110490840A (zh) * 2019-07-11 2019-11-22 平安科技(深圳)有限公司 一种肾小球病理切片图像的细胞检测方法、装置及设备
CN110728666A (zh) * 2019-10-08 2020-01-24 中山大学附属第三医院 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN110739051A (zh) * 2019-10-08 2020-01-31 中山大学附属第三医院 利用鼻息肉病理图片建立嗜酸性粒细胞占比模型的方法
CN110763678A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 一种病理切片判读方法及系统
US10650520B1 (en) * 2017-06-06 2020-05-12 PathAI, Inc. Systems and methods for training a statistical model to predict tissue characteristics for a pathology image
CN111444844A (zh) * 2020-03-26 2020-07-24 苏州腾辉达网络科技有限公司 一种基于变分自编码器的液基细胞人工智能检测方法
CA3130616A1 (en) * 2019-02-20 2020-08-27 Bluerock Therapeutics Lp Detecting cells of interest in large image datasets using artificial intelligence
CN111724379A (zh) * 2020-06-24 2020-09-29 武汉互创联合科技有限公司 基于组合视图的显微图像细胞计数与姿态识别方法及系统
CN111798464A (zh) * 2020-06-30 2020-10-20 天津深析智能科技有限公司 基于深度学习的淋巴瘤病理图像智能识别方法
CN111798416A (zh) * 2019-06-20 2020-10-20 太原理工大学 基于病理图像与深度学习的肾小球智能检测方法及系统
CN112200773A (zh) * 2020-09-17 2021-01-08 苏州慧维智能医疗科技有限公司 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法
CN112669288A (zh) * 2020-12-30 2021-04-16 中国科学院自动化研究所 基于数字病理图像的细胞靶点表达预测方法、系统及装置
CN112950583A (zh) * 2021-03-01 2021-06-11 北京小白世纪网络科技有限公司 病理图像中细胞计数模型训练方法及装置
CN113269799A (zh) * 2021-05-18 2021-08-17 哈尔滨理工大学 一种基于深度学习的宫颈细胞分割方法
WO2021196632A1 (zh) * 2020-03-30 2021-10-07 中国科学院深圳先进技术研究院 一种全景数字病理图像智能分析系统及方法
CN113591919A (zh) * 2021-06-29 2021-11-02 复旦大学附属中山医院 基于ai对早期肝细胞癌术后复发预后的分析方法及系统
CN113628201A (zh) * 2021-08-19 2021-11-09 西安电子科技大学 基于深度学习的病理切片分析方法、电子设备及可读存储介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650520B1 (en) * 2017-06-06 2020-05-12 PathAI, Inc. Systems and methods for training a statistical model to predict tissue characteristics for a pathology image
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统
CA3130616A1 (en) * 2019-02-20 2020-08-27 Bluerock Therapeutics Lp Detecting cells of interest in large image datasets using artificial intelligence
CN110111344A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 病理切片图像分级方法、装置、计算机设备和存储介质
CN111798416A (zh) * 2019-06-20 2020-10-20 太原理工大学 基于病理图像与深度学习的肾小球智能检测方法及系统
CN110490840A (zh) * 2019-07-11 2019-11-22 平安科技(深圳)有限公司 一种肾小球病理切片图像的细胞检测方法、装置及设备
CN110763678A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 一种病理切片判读方法及系统
CN110739051A (zh) * 2019-10-08 2020-01-31 中山大学附属第三医院 利用鼻息肉病理图片建立嗜酸性粒细胞占比模型的方法
CN110728666A (zh) * 2019-10-08 2020-01-24 中山大学附属第三医院 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN111444844A (zh) * 2020-03-26 2020-07-24 苏州腾辉达网络科技有限公司 一种基于变分自编码器的液基细胞人工智能检测方法
WO2021196632A1 (zh) * 2020-03-30 2021-10-07 中国科学院深圳先进技术研究院 一种全景数字病理图像智能分析系统及方法
CN111724379A (zh) * 2020-06-24 2020-09-29 武汉互创联合科技有限公司 基于组合视图的显微图像细胞计数与姿态识别方法及系统
CN111798464A (zh) * 2020-06-30 2020-10-20 天津深析智能科技有限公司 基于深度学习的淋巴瘤病理图像智能识别方法
CN112200773A (zh) * 2020-09-17 2021-01-08 苏州慧维智能医疗科技有限公司 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法
CN112669288A (zh) * 2020-12-30 2021-04-16 中国科学院自动化研究所 基于数字病理图像的细胞靶点表达预测方法、系统及装置
CN112950583A (zh) * 2021-03-01 2021-06-11 北京小白世纪网络科技有限公司 病理图像中细胞计数模型训练方法及装置
CN113269799A (zh) * 2021-05-18 2021-08-17 哈尔滨理工大学 一种基于深度学习的宫颈细胞分割方法
CN113591919A (zh) * 2021-06-29 2021-11-02 复旦大学附属中山医院 基于ai对早期肝细胞癌术后复发预后的分析方法及系统
CN113628201A (zh) * 2021-08-19 2021-11-09 西安电子科技大学 基于深度学习的病理切片分析方法、电子设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QINGWU WU 等: "Artificial intelligence for cellular phenotyping diagnosis of nasal polyps by whole-slide imaging", EBIOMEDICINE, vol. 66, 12 April 2021 (2021-04-12), pages 103336 *
吴庆武,杨钦泰: "深度学习在耳鼻咽喉头颈外科的应用", 中华耳鼻咽喉头颈外科杂志, vol. 55, no. 10, 31 October 2020 (2020-10-31), pages 980 - 984 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511559A (zh) * 2022-04-18 2022-05-17 杭州迪英加科技有限公司 染色鼻息肉病理切片质量多维评价方法、系统及介质
CN116258197A (zh) * 2023-05-16 2023-06-13 之江实验室 基于参数计算和通信调度的分布式训练加速方法和系统
CN116258197B (zh) * 2023-05-16 2023-09-08 之江实验室 基于参数计算和通信调度的分布式训练加速方法和系统
CN117994595A (zh) * 2024-04-07 2024-05-07 首都医科大学附属北京儿童医院 一种鼻窦炎的分析方法和相关设备

Also Published As

Publication number Publication date
CN114240836B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN114240836A (zh) 一种鼻息肉病理切片分析方法、系统和可读存储介质
Matek et al. Highly accurate differentiation of bone marrow cell morphologies using deep neural networks on a large image data set
CN109872328B (zh) 一种脑部图像分割方法、装置和存储介质
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
KR20200140301A (ko) 딥 러닝을 이용한 무-표지 형광 영상들의 디지털 염색을 위한 방법 및 시스템
CN110763678A (zh) 一种病理切片判读方法及系统
Li et al. Single image super-resolution for whole slide image using convolutional neural networks and self-supervised color normalization
CN111798425B (zh) 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法
CN113781440A (zh) 超声视频病灶检测方法及装置
CN111160135A (zh) 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和系统
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
EP3535685A1 (en) Systems and methods for encoding image features of high-resolution digital images of biological specimens
CN110838094A (zh) 病理切片染色风格转换方法和电子设备
Wu et al. Information entropy-based strategy for the quantitative evaluation of extensive hyperspectral images to better unveil spatial heterogeneity in mass spectrometry imaging
CN112885464B (zh) 一种基于Att-Res2-CE-Net的鼻内部疾病实时辅助诊疗系统
Krishna et al. An interpretable decision-support model for breast cancer diagnosis using histopathology images
CN113724235A (zh) 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法
CN111798426B (zh) 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统
Liu et al. HFANet: hierarchical feature fusion attention network for classification of glomerular immunofluorescence images
Gao et al. Lightweight and multi-lesion segmentation model for diabetic retinopathy based on the fusion of mixed attention and ghost feature mapping
Adeyemo et al. Impact of pixel scaling on classification accuracy of dermatological skin disease detection
Liu et al. A gastric cancer recognition algorithm on gastric pathological sections based on multistage attention‐DenseNet
Ao et al. Segmentation of renal cell carcinoma using stain normalization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240410

Address after: Room b501-b508, 5 / F, block B, Hangzhou future research and Innovation Park, 7 Longtan Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: HANGZHOU DIYINGJIA TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: Room b501-b508, 5 / F, block B, future research and Innovation Park, 7 Longtan Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province, 311121

Applicant before: HANGZHOU DIYINGJIA TECHNOLOGY CO.,LTD.

Country or region before: China

Applicant before: THE THIRD AFFILIATED HOSPITAL SUN YAT SEN University (LIVER DISEASE HOSPITAL SUN YAT SEN UNIVERSITY)

TA01 Transfer of patent application right
GR01 Patent grant