CN111430011B - 细胞染色图像的显示方法、处理方法及存储介质 - Google Patents

细胞染色图像的显示方法、处理方法及存储介质 Download PDF

Info

Publication number
CN111430011B
CN111430011B CN202010244352.7A CN202010244352A CN111430011B CN 111430011 B CN111430011 B CN 111430011B CN 202010244352 A CN202010244352 A CN 202010244352A CN 111430011 B CN111430011 B CN 111430011B
Authority
CN
China
Prior art keywords
cells
display
slice
image
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010244352.7A
Other languages
English (en)
Other versions
CN111430011A (zh
Inventor
石磊
石鑫
刘永亮
刘培超
陈宏�
周秉亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yitu Healthcare Technology Co ltd
Original Assignee
Hangzhou Yitu Healthcare Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yitu Healthcare Technology Co ltd filed Critical Hangzhou Yitu Healthcare Technology Co ltd
Priority to CN202010244352.7A priority Critical patent/CN111430011B/zh
Publication of CN111430011A publication Critical patent/CN111430011A/zh
Application granted granted Critical
Publication of CN111430011B publication Critical patent/CN111430011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本公开涉及细胞染色图像的显示方法，包括：基于至少两张切片数字图像，确定每张切片数字图像所表征的细胞的种类和位置；通过一张细胞染色图像，对应于确定出的所述细胞的位置，在相应的显示区域中以不同的显示方式呈现确定出的所述细胞。细胞染色图像的处理方法，其中，获取至少两张切片数字图像，不同的切片数字图像包含有不同细胞的种类和位置信息；确定每张切片数字图像所表征的细胞的种类和位置；重建一张细胞染色图像，通过重建的种类和位置信息表征不同的切片数字图像中不同细胞。通过本公开的各实施例，能够实现在同一图像上表征更加丰富的病理信息，以切实有效提升病理医生的阅片效率和阅片效果。

Description

细胞染色图像的显示方法、处理方法及存储介质
技术领域
本公开涉及医疗影像处理、识别、显示技术领域，具体涉及一种细胞染色图像的显示方法、细胞染色图像的处理方法及计算机可读存储介质。
背景技术
现有技术中，人工在显微镜下寻找癌巢耗时耗力，导致检测效率低，对于某一视野，由于频繁更换不同的免疫组织化学片，导致阅片流程繁琐。目前相关的辅助分析系统都无法在同一病理图像中完整的呈现多张病理染色片中各类细胞的相关信息，只能根据单张图像的染色结果给出较单一的结果，免疫组化片因为染色原理是抗原抗体的特异性结合，这使得一张免疫组化染色片子中只能显示一类细胞的信息，这无法有效实现对肿瘤微环境的评价，且尚未提出有效的解决方案。
发明内容
本公开意图提供一种细胞染色图像的显示方法、细胞染色图像的处理方法及计算机可读存储介质，通过采集多重免疫组化病理图像的染色信息，并在一张图像集中显示，能够实现在同一图像上表征更加丰富的病理信息，以切实有效提升病理医生的阅片效率和阅片效果。
根据本公开的方案之一，提供一种细胞染色图像的显示方法，包括：
基于至少两张切片数字图像，确定每张切片数字图像所表征的细胞的种类和位置；
通过一张细胞染色图像，对应于确定出的所述细胞的位置，在相应的显示区域中以不同的显示方式呈现确定出的所述细胞。
在一些实施例中，其中，所述在相应的显示区域中以不同的显示方式呈现确定出的所述细胞，包括：
通过N组显示区域，以N种色彩要素一一对应地呈现N类细胞；N为大于等于2的正整数。
在一些实施例中，其中，所述在相应的显示区域中以不同的显示方式呈现确定出的所述细胞，还包括：
响应于界面操作：
在N组显示区域中分别呈现各类确定出的所述细胞，或者
在N组显示区域中同时呈现各类确定出的所述细胞。
在一些实施例中，其中，所述在N组显示区域中分别呈现各类确定出的所述细胞，包括：
响应于选取操作，在一组显示区域中同时呈现与该组显示区域对应的所述细胞；
提供可操作的勾勒线，以勾勒该组显示区域中所有的所述细胞。
在一些实施例中，其中，还包括：
响应于对于勾勒线的操作，更新该组显示区域的显示方式，以调整与该组显示区域对应的所述细胞的呈现。
在一些实施例中，其中，还包括：
响应于切换操作，通过所述一张细胞染色图像单独地显示一张切片数字图像中所表征的细胞信息。
在一些实施例中，其中，所述至少两张切片数字图像包括连续切片的两张切片数字图像，该两张切片数字图像的源图像来自于同一蜡块或冰冻组织的连续切片。
根据本公开的方案之一，提供一种细胞染色图像的处理方法，其中，
获取至少两张切片数字图像，不同的切片数字图像包含有不同细胞的种类和位置信息；
确定每张切片数字图像所表征的细胞的种类和位置；
重建一张细胞染色图像，通过重建的种类和位置信息表征不同的切片数字图像中不同细胞。
在一些实施例中，其中，所述至少两张切片数字图像包括连续切片的两张切片数字图像，该两张切片数字图像的源图像来自于同一蜡块或冰冻组织的连续切片；且
两张切片数字图像分别表征阳性肿瘤细胞和免疫细胞。
根据本公开的方案之一，提供计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现：
根据上述的细胞染色图像的显示方法；或者
根据上述的细胞染色图像的处理方法。
本公开的各种实施例的细胞染色图像的显示方法、细胞染色图像的处理方法及计算机可读存储介质，至少通过基于至少两张切片数字图像，确定每张切片数字图像所表征的细胞的种类和位置；通过一张细胞染色图像，对应于确定出的所述细胞的位置，在相应的显示区域中以不同的显示方式呈现确定出的所述细胞，以采集多重免疫组化病理图像的染色信息，并在一张图像集中显示，实现在同一图像上表征更加丰富的病理信息，以切实有效提升病理医生的阅片效率和阅片效果。
应当理解，前面的大体描述以及后续的详细描述只是示例性的和说明性的，并非对所要求保护的本公开的限制。
附图说明
在未必按照比例绘制的附图中，不同视图中相似的附图标记可以表示相似的构件。具有字母后缀的相似附图标记或具有不同字母后缀的相似附图标记可以表示相似构件的不同实例。附图通常作为示例而非限制地图示各种实施例，并且与说明书和权利要求书一起用于解释所公开的实施例。
图1示出本公开实施例涉及的细胞染色图像的显示方法的一种流程图；
图2示出本公开实施例涉及的一种实施例的可交互显示界面；
图3示出本公开实施例涉及的细胞染色图像的处理方法的一种流程图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。
本公开实施例的技术方案中细胞染色图像，涉及了免疫检查和结果判读。免疫检查点抑制剂作为一种新的抗癌手段，通过激活患者自身的免疫系统，从而实现对癌细胞的识别和杀伤。作为此类药物的伴随诊断或补充诊断，病理免疫组化检测在确定患者是否适用该治疗方法上有着关键作用。对免疫检查点（以PD-1/PD-L1为例）的免疫组化染色结果判读，是通过在显微镜下选择若干视野，以大致计算全片的阳性肿瘤细胞、免疫细胞的比例，得出检测结果。这一检测方法需要兼顾阳性肿瘤细胞和免疫细胞在同一视野下进行判读。
数字切片系统将整个载玻片全信息、全方位快速扫描，使传统物质化的载玻片变成数字化病理切片，可使病理医生脱离显微镜，随时随地通过电子设备解决病理诊断，实现在线同步远程会诊或离线远程会诊。由于提供全切片信息，使诊断价值等同显微镜观察。其可用于病理临床诊断、病理教学、组织学细胞成像、荧光分析、免疫组化数字成像。数字切片(即虚拟切片)并非一张静态图片，它是包含了玻璃切片上的所有病变信息，此数字切片(超大空间、高分辨率图片)可以在电脑上进行任意的放大和缩小，并切片利用数字切片可以观测到玻璃切片上的任何一个位置，也可以将相应的位置放大到5倍、10倍、20倍、40倍，如同在显微镜上的放大缩小一样。
作为方案之一，如图1所示，本公开的实施例提供了一种细胞染色图像的显示方法，包括：
S101：基于至少两张切片数字图像，确定每张切片数字图像所表征的细胞的种类和位置；
S102：通过一张细胞染色图像，对应于确定出的所述细胞的位置，在相应的显示区域中以不同的显示方式呈现确定出的所述细胞。
本公开各实施例所涉及数字切片图像的源图像来自对需要检查的组织进行切片，切片是通过冰冻切片机，需要检查的一块组织切片厚度范围可以是0.5~100μm，因此可以切的非常薄，连续的两层切片，几乎相似。具体实施方式可以是，所述至少两张切片数字图像包括连续切片的两张切片数字图像，该两张切片数字图像的源图像来自于同一蜡块或冰冻组织的连续切片。相应的，对切片进行染色操作，得到各种染色图像，诸如免疫组化染色图像，用一抗与被检测组织中目的蛋白抗原结合，然后HRP等标记的二抗与一抗进行结合，最后通过DAB显色反应，进而确认所要检测蛋白抗原的定位、半定量等目的；HE染色图像，用苏木素和伊红分别染上胞核和胞浆，可以区分出一般细胞的形态，在实际应用中可以鉴定组织细胞坏死、水肿、变性和炎性细胞浸润等异常病理学改变，在临床上是诊断恶性肿瘤和肿瘤的很好的方法。
结合图2，本公开的实施例具体可以提供一显示界面，优选地，提供一可交互操作的显示界面。在该显示界面，本公开旨在通过一个视窗为用户集中呈现出不同物理染色后的图像中的细胞，即通过一张细胞染色图像，对应于确定出的所述细胞的位置，在相应的显示区域中以不同的显示方式呈现确定出的所述细胞。图2中，分别以不同的显示框和不同的颜色明暗度，在一个显示平台中，以同一视野表征了不同细胞的种类和位置信息。
作为进一步的实施方案，本公开的实施例可以为：所述在相应的显示区域中以不同的显示方式呈现确定出的所述细胞，包括：
通过N组显示区域，以N种色彩要素一一对应地呈现N类细胞；N为大于等于2的正整数。
如图2所示，通过深色显示区域，即大致呈方形框中表征了一类细胞，例如可以是阳性肿瘤细胞。而在浅色显示区域，即大致呈长方形框中表征了一类细胞，例如可以是免疫细胞（包括淋巴细胞等）。可以理解的是，深色显示区域可以有多处，从而被配置为一组显示区域，对应地表征一类细胞。浅色显示区域可以有多处，如图2已经示出的，从而被配置为一组显示区域，对应地表征一类细胞。应当理解的是，本公开所述的“以N种色彩要素一一对应地呈现N类细胞”并非仅限定通过有限的色系、色相、明暗度、饱和度等颜色要素呈现不同的细胞，而是旨在能够通过不同的显示方式来区别不同的细胞，从而为用户在同一视野中提供足够的辨识度，从而提高用户对于染色细胞的判读效率。因此，本公开实施例中所限定的“一张细胞染色图像”中，N种色彩要素可以与切片数字图像各细胞的原染色情况一致，也可以通过图像重建的方式提供与其不一致的判读视觉。
在用户判读过程中，为了满足用户甄别、选取不同细胞进行判读的实际需求，本公开实施例中可以具体为：所述在相应的显示区域中以不同的显示方式呈现确定出的所述细胞，还包括：
响应于界面操作：
在N组显示区域中分别呈现各类确定出的所述细胞，或者
在N组显示区域中同时呈现各类确定出的所述细胞。
具体的，本公开的实施例可以提供选取操作栏，通过选取操作，例如选取“阳性肿瘤细胞”选项的操作，呈现所有集中在本公开实施例的细胞染色图像中的阳性肿瘤细胞的情况，包括位置、形态等等。也可以通过点选操作，例如用户点选图像中颜色较深或者颜色较浅的区域，在该区域为对应有一类细胞时，所有其他区域中包含该类细胞都同时能够进行呈现。
为了便于用户对各类细胞全景判读和/或局部判读的实际需求，本公开实施例可以提供类似于切换模式的交互操作，例如界面上提供切换软开关等方式，通过用户的该交互操作，可以直接在N组显示区域中同时呈现各类确定出的所述细胞，或者切换到在N组显示区域中同时呈现各类确定出的所述细胞。
当存在用户需要对某一些区域的细胞进行细致判读的情况，例如勾勒细胞形态，优化切片图像中细胞的表征，本公开实施例可以进一步的包括：所述在N组显示区域中分别呈现各类确定出的所述细胞，包括：
响应于选取操作，在一组显示区域中同时呈现与该组显示区域对应的所述细胞；
提供可操作的勾勒线，以勾勒该组显示区域中所有的所述细胞。
本公开实施例提供可操作的勾勒线旨在为用户提供可交互的方式，从而能够修改本公开实施例的细胞染色图像中的细胞表征情况，甚至重新确定细胞表征情况。具体的，可以通过操作体实现相应的勾勒功能，可以是鼠标、触控笔、用户手等。例如在激活勾勒状态下：
一种方式可以是，点击鼠标，捕捉鼠标的点击动作即可完成边缘勾勒的描点确定；移动鼠标，分析系统捕捉鼠标的点击动作即可形成描点和鼠标所在位的勾勒线。勾勒过程中，系统可以实时判定鼠标的动作是否标准，即，判断操作体的点击动作和移动动作所确定的路径满足预设条件。一般来讲可以将这一判断过程定义为“判定是否标准”，标准判定条件至少包括该路径不存在交叉，具体实施过程可以为：勾勒线间不相交，和/或描点不在勾勒线上。在判断操作体的点击动作和移动动作所确定的路径满足预设条件下，确定勾勒线，提供给用户待查。进一步地，可以供用户设置描点密度，例如，描点的密度可在设置窗口中做配置（较密、适中、较稀）。
另一种在修改勾勒线中，可以为：鼠标移动到相应的显示区域的勾勒线上，勾勒线呈点选状态（勾勒线可以变色、加粗，并显示勾勒描点）。鼠标移动到描点，拖拽鼠标可移动描点，从而修改边缘标记的形状；当鼠标移动描点使标记不标准时，例如勾勒线间相交、勾勒线重合，等等，操作无效，描点回到最初位置，弹出轻提示提示用户此操作非法。本公开实施例中轻提示的显示方式，以不影响用户操作界面、观察图像内容为宗旨，可以是轻闪信息、浮动记号、弹示信息等显示方式。
作为一种对本公开实施例的细胞染色图像的优化方案，可以基于上述勾勒过程，响应于对于勾勒线的操作，更新该组显示区域的显示方式，以调整与该组显示区域对应的所述细胞的呈现，从而更新本公开实施例的细胞染色图像。
在实现同一视野下，综合判读各类细胞的情况下，用户也存在需要调取原切片图像进行判读的需求，因此，本公开的实施例可以进一步包括：
响应于切换操作，通过所述一张细胞染色图像单独地显示一张切片数字图像中所表征的细胞信息。
具体的，可以在界面上提供相应的切换操作，使得用户通过该操作，在图2所示的界面中，在相同的视窗视野中，单独地观察某一张原始的切片数字图像中的细胞情况。可以理解为，通过本公开实施例的“一张细胞染色图像”提供一张向用户展示图像内容的画布，在该画布上以可切换的方式单独提供不同切片数字图像中的细胞情况，或者综合呈现不同切片数字图像的不同细胞的情况。
作为方案之一，如图3所示，本公开的实施例提供了一种细胞染色图像的处理方法，其中，
S201：获取至少两张切片数字图像，不同的切片数字图像包含有不同细胞的种类和位置信息；
S202：确定每张切片数字图像所表征的细胞的种类和位置；
S203：重建一张细胞染色图像，通过重建的种类和位置信息表征不同的切片数字图像中不同细胞。
结合前文所述内容，获取的至少两张切片数字图像，或者称之为一组切片数字图像，其上传顺序没有先后区分，只需在图像分析前完成一组图像的上传。该一组切片数字图像优选于是来自同一蜡块或冰冻组织的连续切片；选择在一张图像上呈现染色重建结果，可根据需求选择该组图像中的某一张。本公开的实施例中，数字切片图像是对需要检查的组织进行切片，切片是通过冰冻切片机，需要检查的一块组织切片厚度范围可以是0.5~100μm，因此可以切的非常薄，连续的两层切片，几乎相似，将切片进行染色处理，如：第一层对“肿瘤细胞”进行染色，染色以后第一层中的“肿瘤细胞”呈现第一颜色，例如粉色；对第二层切片进行“免疫细胞”染色，染色后第二层中的“免疫细胞”呈现第二颜色，例如褐色。完成这些物理操作过程，对染色后的两层图片扫描输入到本公开涉及的辅助判读系统中，系统获取上述信息以后，在第一层图像中获取“肿瘤细胞”的位置和颜色等信息，在第二层图像中获取“免疫细胞”的位置和颜色等信息；在配合所述两种细胞的位置和颜色信息，获得一张即包括“肿瘤细胞”和“免疫细胞”位置和颜色信息的图像。当然还可以用更多的切片，进行更多的染色。
具体的，在第一层图像中获取“肿瘤细胞”的位置和颜色等信息，在第二层图像中获取“免疫细胞”的位置和颜色等信息，可以借助AI系统实现，例如，以GoogLeNet 和AlexNet 两种深度学习网络模型为基础实现对细胞染色情况的自动判读。针对不同的细胞种类，例如阳性肿瘤细胞、免疫细胞等的病理图像，以及物理染色后的特点，可以对两种模型中GoogLeNet模型进行优化，然后将两种模型相融合，综合两种不同的网络模型提取到的不同特征，来提高不同部位判读的准确率。GoogLeNet可以采用稀疏连接操作，设计Iception的模块化网络结构，将稀疏矩阵聚类成为比较密集的子矩阵，极大地降低了参数量，提高了计算效率。Iception是一种稀疏性的结构，它采用了３种不同大小的卷积核学习图像的特征。由于采用了不同大小的卷积核， Iception 既能够捕捉到小范围内的相关性单元的特征，也能捕捉到距离较远的相关性特征。同时，由于较大的卷积核会带来参数量增加的问题，Iception在卷积层前增加了１＊１的卷积核对数据进行降维，从而提高了计算效率。GoogLeNet 模型中使用了多个 Iception 模块，随着网络层数的增加，图片的视野将会增大，因此在更深的网络层次上，模型增加了卷积核的个数以更有效地把握图像特征。在卷积操作完成后执行全连接操作，GoogLeNet的全连接操作采用与 AlexNet相似的结构，最后使用Softmax分类器进行分类，得到最终的分类结果。
另一方面，本公开实施例可以为：所述至少两张切片数字图像包括连续切片的两张切片数字图像，该两张切片数字图像的源图像来自于同一蜡块或冰冻组织的连续切片；且两张切片数字图像分别表征阳性肿瘤细胞和免疫细胞。其中具体的，获得一张即包括“阳性肿瘤细胞”和“免疫细胞”位置和颜色信息的图像，可以通过图像重建的方式构建本公开各实施例中所涉及的“一张细胞染色图像”。基于两张切片图像几乎完全相似的基础，根据阳性肿瘤细胞和免疫细胞相应的位置，可以将图像进行叠置，从而保证各类细胞的相对位置精确。在针对原始切片图像的颜色重建方面，结合前文所述内容，“以N种色彩要素一一对应地呈现N类细胞”并非仅限定通过有限的色系、色相、明暗度、饱和度等颜色要素呈现不同的细胞，而是旨在能够通过不同的显示方式来区别不同的细胞，从而为用户在同一视野中提供足够的辨识度，从而提高用户对于染色细胞的判读效率。因此，本公开实施例中所限定的“一张细胞染色图像”中，N种色彩要素可以与切片数字图像各细胞的原染色情况一致，也可以通过图像重建的方式提供与其不一致的判读视觉。
根据本公开实施例的另一方面，还能够提供一种数字病理切片图像细胞标注方法，在经过重建后的一张细胞染色图像中，以不同的颜色标注不同类型的细胞，并提供选择全部或者部分显示不同的细胞情况。具体的，本公开实施例可以为：在不同显示模式中，对相应的阳性肿瘤细胞和免疫细胞渲染不同的色彩，进一步提升病理医生的阅片感受和阅片效果。为了能够更为简洁、直观地呈现染色强度，本公开实施例可以以热图显示的方式标识本公开各实施例中所涉及的细胞染色图像中的细胞染色强度。本公开的实施例的热图生成步骤可以通过如下步骤实现：
（1）为离散点设定一个半径，创建一个缓冲区；
（2）对每个离散点的缓冲区，使用渐进的色带（如：完整的灰度带是0~255）从内而外，由浅至深地填充；
（3）以灰度为例（彩色热图原理相似），由于对以细胞染色图像中的染色强度的灰度值可以叠加（值越大颜色越亮，在灰度带中则显得越白。在实际中，可以选择RGB模型中任一通道作为叠加灰度值），从而对于有缓冲区交叉的区域，可以叠加灰度值，因而缓冲区交叉的越多，灰度值越大，这块区域也就越“热”；
（4）以叠加后的灰度值为索引，从一条有256种颜色的色带中（例如彩虹色）映射颜色，并对图像重新着色，从而实现热点图。
本领域技术人员应当理解，针对不同显示场景，本公开各实施例针对可交互的界面的显示，其所依附的显示界面，可以是通过现分析系统界面的显示界面、显示区域中进行显示，也可以是独立于现有分析系统界面的显示界面、显示区域，这些显示界面、显示区域可以被认为是当前操作所配置的当前显示界面。即，可以理解为，以区别于当前显示界面的显示界面为显示载体实现显示，以显示本公开各实施例的可交互的显示界面。
本领域技术人员应当理解，本公开的实施例还能够提供了一种病理图像分析系统，包括位于后台的图像处理模块和位于前端的病理信息显示模块；所述病理信息显示模块用于对细胞染色情况识别后的显示，其包括信息列表显示界面、分析结果显示界面、工具栏界面，还包括：
显示界面，优选为可交互显示界面，其基于至少两张切片数字图像，确定每张切片数字图像所表征的细胞的种类和位置；通过一张细胞染色图像，对应于确定出的所述细胞的位置，在相应的显示区域中以不同的显示方式呈现确定出的所述细胞。
具体来说，本公开的发明构思之一，旨在能够至少：基于至少两张切片数字图像，确定每张切片数字图像所表征的细胞的种类和位置；通过一张细胞染色图像，对应于确定出的所述细胞的位置，在相应的显示区域中以不同的显示方式呈现确定出的所述细胞；或者获取至少两张切片数字图像，不同的切片数字图像包含有不同细胞的种类和位置信息；确定每张切片数字图像所表征的细胞的种类和位置；重建一张细胞染色图像，通过重建的种类和位置信息表征不同的切片数字图像中不同细胞，以有效解决现有技术中存在的技术缺陷，采集多重免疫组化病理图像的染色信息，并在一张图像集中显示，以实现在同一图像上表征更加丰富的病理信息，以切实有效提升病理医生的阅片效率和阅片效果。通过辅助于细胞染色片分析的图像处理和显示技术，作为免疫检查点抑制剂此类药物的伴随诊断或补充诊断的辅助技术方案，对于病理免疫组化检测在确定患者是否适用该治疗方法上的评估起到了关键作用，从而有效地遏制癌症发病率和死亡率的上升，减轻社会经济和公共健康负担。
通过本公开的细胞染色图像的显示方法，基于本领域技术人员常识性了解，可以知晓同时公开了：
一种显示设备，包括显示单元和处理器，配置为：
基于至少两张切片数字图像，确定每张切片数字图像所表征的细胞的种类和位置；
通过一张细胞染色图像，对应于确定出的所述细胞的位置，在相应的显示区域中以不同的显示方式呈现确定出的所述细胞。
本公开各实施例所涉及的如上所述的显示设备，与上述各实施例中的细胞染色图像的显示方法属于同一构思，能够通过采集多重免疫组化病理图像的染色信息，并在一张图像集中显示，能够实现在同一图像上表征更加丰富的病理信息，以切实有效提升病理医生的阅片效率和阅片效果。
在一些实施例中，本公开各实施例所涉及的如上所述的显示设备可以采用各种方式整合在影像的现有处理平台上。例如，可以在胸部影像的现有处理平台上利用开发接口编写上述程序模块，从而实现与现有处理平台的兼容及对其的更新，从而降低硬件成本，更有助于显示设备的推广和应用。
本公开还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，主要实现根据上述的细胞染色图像的显示方法；至少包括：基于至少两张切片数字图像，确定每张切片数字图像所表征的细胞的种类和位置；
通过一张细胞染色图像，对应于确定出的所述细胞的位置，在相应的显示区域中以不同的显示方式呈现确定出的所述细胞。
本公开还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，主要实现根据上述的细胞染色图像的处理方法；至少包括：获取至少两张切片数字图像，不同的切片数字图像包含有不同细胞的种类和位置信息；
确定每张切片数字图像所表征的细胞的种类和位置；
重建一张细胞染色图像，通过重建的种类和位置信息表征不同的切片数字图像中不同细胞。
在一些实施例中，执行算机可执行指令处理器可以是包括一个以上通用处理设备的处理设备，诸如微处理器、中央处理单元（CPU）、图形处理单元（GPU）等。更具体地，该处理器可以是复杂指令集计算（CISC）微处理器、精简指令集计算（RISC）微处理器、超长指令字（VLIW）微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备，诸如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、数字信号处理器（DSP）、片上系统（SoC）等。
在一些实施例中，计算机可读存储介质可以为存储器，诸如只读存储器（ROM）、随机存取存储器（RAM）、相变随机存取存储器（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、电可擦除可编程只读存储器（EEPROM）、其他类型的随机存取存储器（RAM）、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器（CD-ROM）、数字通用光盘（DVD）或其他光学存储器、盒式磁带或其他磁存储设备，或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。
在一些实施例中，计算机可执行指令可以实现为多个程序模块，多个程序模块共同实现根据本公开中任何一项所述的医学影像的显示方法。
本公开描述了各种操作或功能，其可以实现为软件代码或指令或者定义为软件代码或指令。显示单元可以实现为在存储器上存储的软件代码或指令模块，其由处理器执行时可以实现相应的步骤和方法。
这样的内容可以是可以直接执行（“对象”或“可执行”形式）的源代码或差分代码（“delta”或“patch”代码）。这里描述的实施例的软件实现可以通过其上存储有代码或指令的制品提供，或者通过操作通信接口以通过通信接口发送数据的方法提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器（例如，计算显示设备、电子系统等）访问的形式存储信息的任何机制，例如可记录/不可记录介质（例如，只读存储器（ROM）、随机存取存储器（RAM）、磁盘存储介质、光存储介质、闪存显示设备等）。通信接口包括与硬连线、无线、光学等介质中的任何一种接口以与其他显示设备通信的任何机制，例如存储器总线接口、处理器总线接口、因特网连接、磁盘控制器等。通信接口可以通过提供配置参数和/或发送信号来配置以准备通信接口，以提供描述软件内容的数据信号。可以通过向通信接口发送一个或多个命令或信号来访问通信接口。
本公开的实施例的计算机可执行指令可以组织成一个或多个计算机可执行组件或模块。可以用这类组件或模块的任何数量和组合来实现本公开的各方面。例如，本公开的各方面不限于附图中示出的和本文描述的特定的计算机可执行指令或特定组件或模块。其他实施例可以包括具有比本文所示出和描述的更多或更少功能的不同的计算机可执行指令或组件。
以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本公开的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本公开的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上实施例仅为本公开的示例性实施例，不用于限制本公开，本公开的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内，对本公开做出各种修改或等同替换，这种修改或等同替换也应视为落在本公开的保护范围内。

Claims (3)

1.细胞染色图像的显示方法，包括：
基于至少两张切片数字图像，确定每张切片数字图像所表征的细胞的种类和位置；
通过一张细胞染色图像，对应于确定出的所述细胞的位置，在相应的显示区域中以不同的显示方式呈现确定出的所述细胞；
所述在相应的显示区域中以不同的显示方式呈现确定出的所述细胞，包括：
通过N组显示区域，以N种色彩要素一一对应地呈现N类细胞；N为大于等于2的正整数；
所述在相应的显示区域中以不同的显示方式呈现确定出的所述细胞，还包括：
响应于界面操作：
在N组显示区域中分别呈现各类确定出的所述细胞，或者
在N组显示区域中同时呈现各类确定出的所述细胞；
所述在N组显示区域中分别呈现各类确定出的所述细胞，包括：
响应于选取操作，在一组显示区域中同时呈现与该组显示区域对应的所述细胞；
提供可操作的勾勒线，以勾勒该组显示区域中所有的所述细胞；
还包括：响应于对于勾勒线的操作，更新该组显示区域的显示方式，以调整与该组显示区域对应的所述细胞的呈现。
2.根据权利要求1所述的显示方法，其中，还包括：
响应于切换操作，通过所述一张细胞染色图像单独地显示一张切片数字图像中所表征的细胞信息。
3.根据权利要求1所述的显示方法，其中，所述至少两张切片数字图像包括连续切片的两张切片数字图像，该两张切片数字图像的源图像来自于同一蜡块或冰冻组织的连续切片。
CN202010244352.7A 2020-03-31 2020-03-31 细胞染色图像的显示方法、处理方法及存储介质 Active CN111430011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010244352.7A CN111430011B (zh) 2020-03-31 2020-03-31 细胞染色图像的显示方法、处理方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010244352.7A CN111430011B (zh) 2020-03-31 2020-03-31 细胞染色图像的显示方法、处理方法及存储介质

Publications (2)

Publication Number Publication Date
CN111430011A CN111430011A (zh) 2020-07-17
CN111430011B true CN111430011B (zh) 2023-08-29

Family

ID=71557334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010244352.7A Active CN111430011B (zh) 2020-03-31 2020-03-31 细胞染色图像的显示方法、处理方法及存储介质

Country Status (1)

Country Link
CN (1) CN111430011B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135935A (zh) * 2012-02-13 2014-11-05 霍罗吉克公司 用于利用合成图像数据导航层析堆的系统和方法
WO2016104308A1 (ja) * 2014-12-25 2016-06-30 コニカミノルタ株式会社 細胞画像解析方法及び細胞画像解析装置
CN109544561A (zh) * 2018-11-07 2019-03-29 杭州迪英加科技有限公司 细胞标注方法、系统和装置
CN110736748A (zh) * 2019-09-12 2020-01-31 杭州迪英加科技有限公司 免疫组化核浆染色切片诊断方法及系统
CN110853005A (zh) * 2019-11-06 2020-02-28 杭州迪英加科技有限公司 一种免疫组化膜染色切片诊断方法及装置
CN110853022A (zh) * 2019-11-14 2020-02-28 腾讯科技（深圳）有限公司 病理切片图像的处理方法、装置、系统及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013024600A1 (ja) * 2011-08-18 2013-02-21 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
US9740912B2 (en) * 2011-12-20 2017-08-22 Definiens Ag Evaluation of co-registered images of differently stained tissue slices
JP6861717B2 (ja) * 2015-11-03 2021-04-21 ベンタナ メディカル システムズ， インコーポレイテッド リアル・タイムで調節可能なインターフェースを有するコンピュータ実装複合組織画像
US9990713B2 (en) * 2016-06-09 2018-06-05 Definiens Ag Detecting and visualizing correlations between measured correlation values and correlation reference values of a pathway

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135935A (zh) * 2012-02-13 2014-11-05 霍罗吉克公司 用于利用合成图像数据导航层析堆的系统和方法
WO2016104308A1 (ja) * 2014-12-25 2016-06-30 コニカミノルタ株式会社 細胞画像解析方法及び細胞画像解析装置
CN109544561A (zh) * 2018-11-07 2019-03-29 杭州迪英加科技有限公司 细胞标注方法、系统和装置
CN110736748A (zh) * 2019-09-12 2020-01-31 杭州迪英加科技有限公司 免疫组化核浆染色切片诊断方法及系统
CN110853005A (zh) * 2019-11-06 2020-02-28 杭州迪英加科技有限公司 一种免疫组化膜染色切片诊断方法及装置
CN110853022A (zh) * 2019-11-14 2020-02-28 腾讯科技（深圳）有限公司 病理切片图像的处理方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN111430011A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
US11232354B2 (en) Histopathological image analysis
JP7197584B2 (ja) デジタル病理学分析結果の格納および読み出し方法
JP2021063819A (ja) 包括的なマルチアッセイ組織分析のためのシステムおよび方法
CN112348082B (zh) 深度学习模型构建方法、影像处理方法及可读存储介质
US11631171B2 (en) Automated detection and annotation of prostate cancer on histopathology slides
JP6336391B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN108140249A (zh) 用于显示生物标本的多个图像的图像处理系统和方法
CN109903284A (zh) 一种her2免疫组化图像自动判别方法及系统
CN109949304B (zh) 图像检测学习网络的训练和获取方法、图像检测装置和介质
CN112263217B (zh) 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
Nurzynska et al. CAS: Cell annotation software–research on neuronal tissue has never been so transparent
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
Halicek et al. Detection of squamous cell carcinoma in digitized histological images from the head and neck using convolutional neural networks
Priego-Torres et al. Deep learning-based instance segmentation for the precise automated quantification of digital breast cancer immunohistochemistry images
WO2021261323A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
Kabir et al. The utility of a deep learning-based approach in Her-2/neu assessment in breast cancer
CN111492368A (zh) 用于基于膜特征对组织图像中的细胞进行分类的系统和方法
CN111430011B (zh) 细胞染色图像的显示方法、处理方法及存储介质
US20230237658A1 (en) Method and system for analyzing pathological image
CN111290685A (zh) 细胞染色图像的显示方法、病理图像分析系统及存储介质
CN111353435A (zh) 细胞图像的显示方法、病理图像分析系统及存储介质
CN111273840A (zh) 细胞染色图像的显示方法、病理图像分析系统及存储介质
CN115063360A (zh) 基于虚拟染色的智能判读方法和系统
Guerrero et al. Improvements in lymphocytes detection using deep learning with a preprocessing stage

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant