CN111290685A - 细胞染色图像的显示方法、病理图像分析系统及存储介质 - Google Patents

细胞染色图像的显示方法、病理图像分析系统及存储介质 Download PDF

Info

Publication number
CN111290685A
CN111290685A CN202010130020.6A CN202010130020A CN111290685A CN 111290685 A CN111290685 A CN 111290685A CN 202010130020 A CN202010130020 A CN 202010130020A CN 111290685 A CN111290685 A CN 111290685A
Authority
CN
China
Prior art keywords
display
display mode
image
interface
cell staining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010130020.6A
Other languages
English (en)
Inventor
石磊
石鑫
刘永亮
刘培超
陈宏�
周秉亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yitu Medical Technology Co ltd
Original Assignee
Hangzhou Yitu Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yitu Medical Technology Co ltd filed Critical Hangzhou Yitu Medical Technology Co ltd
Priority to CN202010130020.6A priority Critical patent/CN111290685A/zh
Publication of CN111290685A publication Critical patent/CN111290685A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本公开涉及细胞染色图像的显示方法,包括:在可交互的显示界面中配置第一显示模式或第二显示模式;响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,以显示标识后的细胞染色图像,所述标识后的细胞染色图像为对目标细胞染色强度进行标识后的细胞染色图像。病理图像分析系统,其病理信息显示模块包括:可交互的显示界面,响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,以显示标识后的细胞染色图像,所述标识后的细胞染色图像为对目标细胞染色强度进行标识后的细胞染色图像。通过本公开的各实施例,提高了判读结果的准确性,另一方面有利于提高判读效率,给医学影像的分析提供了极大的便利。

Description

细胞染色图像的显示方法、病理图像分析系统及存储介质
技术领域
本公开涉及医疗影像处理、识别、显示技术领域,具体涉及一种细胞染色图像的显示方法、病理图像分析系统及计算机可读存储介质。
背景技术
现有技术中,人工在显微镜下寻找癌巢耗时耗力,导致检测效率低,更为重要的是无法很好的兼顾阳性细胞比例和染色强度给出全面的结果。目前相关的辅助分析系统仅对染色阳性/阴性进行了区分,仅提供阳性肿瘤细胞的比例而没有其相应的染色强度,判读结果不够全面。并且尚未提出有效的解决方案。
发明内容
本公开意图提供一种细胞染色图像的显示方法、病理图像分析系统及计算机可读存储介质,能够对免疫组化病理图像的染色强度进行展示、标识,直观判断图像中目标蛋白质表达的强度,以切实有效提升病理医生的阅片效果。
根据本公开的方案之一,提供一种细胞染色图像的显示方法,用于对细胞染色情况识别后的显示;所述显示方法包括:
在可交互的显示界面中配置第一显示模式或第二显示模式;
响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,以显示标识后的细胞染色图像,所述标识后的细胞染色图像为对目标细胞染色强度进行标识后的细胞染色图像。
在一些实施例中,其中,所述在可交互的显示界面中配置第一显示模式或第二显示模式,包括:
在调取对细胞染色情况的识别结果的状态下,在可交互的显示界面中配置第一显示模式或第二显示模式。
在一些实施例中,其中,所述响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,包括:
响应于第一界面交互操作,调取对细胞染色情况的识别结果并在第一显示模式或第二显示模式之间切换。
在一些实施例中,其中,其中:
所述第一显示模式的显示方式,至少包括:以标识全部目标细胞染色强度的方式显示细胞染色图像;
所述第二显示模式的显示方式,至少包括:
呈现细胞染色图像;
响应于在可交互的显示界面上的第二界面交互操作,界定出第一区域,以标识所述第一区域内的目标细胞的染色强度的方式显示细胞染色图像。
在一些实施例中,其中,所述界定出第一区域,包括:
通过操作体在可交互的显示界面上框选出第一区域,或者
通过操作体在可交互的显示界面上勾勒出第一区域;
其中:
所述通过操作体在可交互的显示界面上勾勒出第一区域,包括:
基于操作体在可交互的显示界面中连续的移动轨迹确定勾勒线,以界定第一区域,或者
基于操作体在可交互的显示界面中的点击操作和/或移动操作确定勾勒线,以界定第一区域;
其中:
所述第一区域包括存疑区域;所述勾勒线包括不规则形状的勾勒线。
在一些实施例中,其中,
所述第一显示模式的显示方式,是以热图显示的方式标识所述细胞染色图像中全部的目标细胞的染色强度,以显示标识后的细胞染色图像。
在一些实施例中,其中,
所述第二显示模式的显示方式,是以热图显示的方式标识所述细胞染色图像中被界定出的第一区域内的目标细胞的染色强度,以显示标识后的细胞染色图像。
在一些实施例中,其中,所述细胞染色图像包括免疫组化染色图像;
所述目标细胞包含于免疫组化染色图像中的癌巢区域。
根据本公开的方案之一,提供一种病理图像分析系统,包括位于后台的图像处理模块和位于前端的病理信息显示模块;
所述病理信息显示模块用于对细胞染色情况识别后的显示,其包括信息列表显示界面、分析结果显示界面、工具栏界面,还包括:
可交互的显示界面,基于所配置的第一显示模式或第二显示模式,响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,以显示标识后的细胞染色图像,所述标识后的细胞染色图像为对目标细胞染色强度进行标识后的细胞染色图像。
根据本公开的方案之一,提供计算机可读存储介质,其上存储有计算机可执行指令,所述计算机可执行指令由处理器执行时,实现:
根据上述的细胞染色图像的显示方法。
本公开的各种实施例的细胞染色图像的显示方法、病理图像分析系统及计算机可读存储介质,在基于对细胞染色的识别结果通过细胞染色图像进行阅片过程中,响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换进行显示,从而显示标识后的细胞染色图像。根据阅片需求进行灵活地呈现相应的染色强度,解决现有仅对染色阳性/阴性进行了区分、仅提供阳性肿瘤细胞比例而没有其相应的染色强度的技术问题,使得判读结果更加全面和准确,直观判断图像中目标蛋白质表达的强度,以切实有效提升病理医生的阅片效率和阅片效果。
应当理解,前面的大体描述以及后续的详细描述只是示例性的和说明性的,并非对所要求保护的本公开的限制。
附图说明
在未必按照比例绘制的附图中,不同视图中相似的附图标记可以表示相似的构件。具有字母后缀的相似附图标记或具有不同字母后缀的相似附图标记可以表示相似构件的不同实例。附图通常作为示例而非限制地图示各种实施例,并且与说明书和权利要求书一起用于解释所公开的实施例。
图1示出本公开实施例涉及的细胞染色图像的显示方法的一种流程图;
图2示出本公开实施例涉及的一种实施例的可交互显示界面,包括热图和勾勒线(框选标记),热图可以是灰色或者彩色,其中细胞图像指细胞染色图像。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
为了保持本公开实施例的以下说明清楚且简明,本公开省略了已知功能和已知部件的详细说明。
本公开实施例的技术方案中细胞染色图像,涉及了免疫检查和结果判读。免疫检查点抑制剂作为一种新的抗癌手段,通过激活患者自身的免疫系统,从而实现对癌细胞的识别和杀伤。作为此类药物的伴随诊断或补充诊断,病理免疫组化检测在确定患者是否适用该治疗方法上有着关键作用。对免疫检查点(以PD-1/PD-L1为例)的免疫组化染色结果判读,是通过在显微镜下选择若干视野,以大致计算全片的阳性肿瘤细胞、免疫细胞的比例,得出检测结果。这一检测方法需要兼顾阳性细胞比例和染色强度给出全面的结果。
数字切片系统将整个载玻片全信息、全方位快速扫描,使传统物质化的载玻片变成数字化病理切片,可使病理医生脱离显微镜,随时随地通过电子设备解决病理诊断,实现在线同步远程会诊或离线远程会诊。由于提供全切片信息,使诊断价值等同显微镜观察。其可用于病理临床诊断、病理教学、组织学细胞成像、荧光分析、免疫组化数字成像。数字切片(即虚拟切片)并非一张静态图片,它是包含了玻璃切片上的所有病变信息,此数字切片(超大空间、高分辨率图片)可以在电脑上进行任意的放大和缩小,并切片利用数字切片可以观测到玻璃切片上的任何一个位置,也可以将相应的位置放大到5倍、10倍、20倍、40倍,如同在显微镜上的放大缩小一样。
作为方案之一,如图1所示,本公开的实施例提供了一种细胞染色图像的显示方法,用于对细胞染色情况识别后的显示;所述显示方法包括:
在可交互的显示界面中配置第一显示模式或第二显示模式;
响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,以显示标识后的细胞染色图像,所述标识后的细胞染色图像为对目标细胞染色强度进行标识后的细胞染色图像。
本公开各实施例所涉及了对全部区域以及第一区域内细胞染色情况的识别。第一区域可以是用户在判读和分析中,通过对其操作以满足自身观察、判读、分析等需求的区域,可以包括存疑区域,也可以被作为存疑区域。存疑区域,可以被定义为待分析的区域,对应于病理切片中癌巢、癌巢内各种类细胞等,包括待查细胞、待查组织等部位。具体识别过程,可以借助AI系统实现,例如,以GoogLeNet和AlexNet两种深度学习网络模型为基础实现对癌巢和细胞染色情况的自动判读。针对不同部位、不同器官的病理图像的特点,可以对两种模型中GoogLeNet模型进行优化,然后将两种模型相融合,综合两种不同的网络模型提取到的不同特征,来提高不同部位判读的准确率。GoogLeNet可以采用稀疏连接操作,设计Iception的模块化网络结构,将稀疏矩阵聚类成为比较密集的子矩阵,极大地降低了参数量,提高了计算效率。Iception是一种稀疏性的结构,它采用了3种不同大小的卷积核学习图像的特征。由于采用了不同大小的卷积核,Iception既能够捕捉到小范围内的相关性单元的特征,也能捕捉到距离较远的相关性特征。同时,由于较大的卷积核会带来参数量增加的问题,Iception在卷积层前增加了1*1的卷积核对数据进行降维,从而提高了计算效率。GoogLeNet模型中使用了多个Iception模块,随着网络层数的增加,图片的视野将会增大,因此在更深的网络层次上,模型增加了卷积核的个数以更有效地把握图像特征。在卷积操作完成后执行全连接操作,GoogLeNet的全连接操作采用与AlexNet相似的结构,最后使用Softmax分类器进行分类,得到最终的分类结果。
本公开实施例提供可交互的显示界面,对识别的细胞染色图像显示,可以为免疫组化染色图像。用户通过第一界面交互操作,切换第一显示模式或第二显示模式,从而通过“显示软开关”的方式选择是否呈现全部癌巢,以及全部癌巢内的目标细胞的染色强度,旨在实现在细胞染色图像显示区域中,基于预先设计的图像处理方式,可以将不同染色强度的细胞在免疫组化染色图像中以直观的形式表现。用户在判读和分析细胞染色图像过程,对于免疫组化染色图像癌巢内的目标细胞的染色强度能够通过本公开实施例的显示方法予以呈现、标识,进而可以对患者对于治疗反应的预测快速、准确地了解,对于判读结果及后续治疗选择具有重要的作用。
本公开各实施例所涉及的细胞染色图像,诸如免疫组化染色图像,用一抗与被检测组织中目的蛋白抗原结合,然后HRP等标记的二抗与一抗进行结合,最后通过DAB显色反应,进而确认所要检测蛋白抗原的定位、半定量等目的;HE染色图像,用苏木素和伊红分别染上胞核和胞浆,可以区分出一般细胞的形态,在实际应用中可以鉴定组织细胞坏死、水肿、变性和炎性细胞浸润等异常病理学改变,在临床上是诊断恶性肿瘤和肿瘤的很好的方法。
作为基于对细胞染色情况识别后的显示方案之一,所述在可交互的显示界面中配置第一显示模式或第二显示模式,包括:
在调取对细胞染色情况的识别结果的状态下,在可交互的显示界面中配置第一显示模式或第二显示模式。
本方案可以理解为,系统在加载细胞染色图像通过第一显示模式或第二显示模式显示的过程中,调用对细胞染色情况的识别结果,在第一显示模式或第二显示模式中,基于已经被调用的细胞染色情况的识别结果,将对目标细胞染色强度进行标识后的细胞染色图像作为待呈现的内容。
作为基于对细胞染色情况识别后的显示方案之一,所述响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,包括:
响应于第一界面交互操作,调取对细胞染色情况的识别结果并在第一显示模式或第二显示模式之间切换。
本方案可以理解为,第一界面交互操作可以视为触发对细胞染色情况的识别,并调取识别结果,响应本实施例的第一界面交互操作,在第一显示模式或第二显示模式中呈现、对目标细胞染色强度进行标识后的细胞染色图像。
作为优选方案,本公开实施例可以为:其中:
所述第一显示模式的显示方式,至少包括:以标识全部目标细胞染色强度的方式显示细胞染色图像;
所述第二显示模式的显示方式,至少包括:
呈现细胞染色图像;
响应于在可交互的显示界面上的第二界面交互操作,界定出第一区域,以标识所述第一区域内的目标细胞的染色强度的方式显示细胞染色图像。具体的,可以通过第一界面交互操作进一步实现“显示软开关“的功能,即在第二显示模式中提供待确定的存疑区域,例如癌巢等。在第二显示模式中,可以消隐掉第一显示模式中全部存疑区域相关内容的显示,提供全图细胞染色图像从而供用户确定需要呈现的存疑区域。具体的,本公开的实施例可以响应于在可交互的显示界面上对于细胞染色图像的第二界面交互操作,在细胞染色图像中界定出存疑区域,标识被界定出的存疑区域内的目标细胞的染色强度,进而显示标识后的细胞染色图像。
本领域技术人员可以理解,基于上述对细胞染色情况识别的基础上,在第一显示模式中,本公开的显示方法抓取识别数据从而通过全图显示的方式在整幅细胞染色图像中呈现出目标细胞的染色强度信息。在第二显示模式中,本公开的显示方法进一步通过交互操作,来获取一些识别数据从而在整幅细胞染色图像中标识示出被界定为存疑区域的目标细胞的染色强度。
本公开实施例中的一方面提供便利的阅片操作,另一方面作为主要发明构思之一,能够根据实际判读和分析需要,确定出适合阅片的存疑区域。作为进一步优选方案,本公开实施例可以为:所述界定出第一区域,包括:
通过操作体在可交互的显示界面上框选出第一区域,或者
通过操作体在可交互的显示界面上勾勒出第一区域;
其中:
所述通过操作体在可交互的显示界面上勾勒出第一区域,包括:
基于操作体在可交互的显示界面中连续的移动轨迹确定勾勒线,以界定第一区域,或者
基于操作体在可交互的显示界面中的点击操作和/或移动操作确定勾勒线,以界定第一区域;
其中:
所述第一区域包括存疑区域;所述勾勒线包括不规则形状的勾勒线。
本公开实施例的操作体,可以是鼠标、触控笔、用户手等。其中,一种界定存疑区域的方式可以是,例如通过鼠标在可交互的显示界面中点击并拖动,借助在可交互的显示界面中形成的矩形框、椭圆框、圆形框等常规的框选标记选出存疑区域,也可以点击并拖动借助形成的不规则框来选出存疑区域。根据输入设备的功能不同,也可以在不点击的状态拖动鼠标,从而形成能够界定存疑区域的框选标记。
另一种方式可以是:所述通过操作体在可交互的显示界面中勾勒出存疑区域,包括:
基于操作体在可交互的显示界面中连续的移动轨迹确定勾勒线,以界定存疑区域,或者
基于操作体在可交互的显示界面中的点击操作和/或移动操作确定勾勒线,以界定存疑区域。
具体的,点击鼠标,捕捉鼠标的点击动作即可完成边缘勾勒的描点确定;移动鼠标,分析系统捕捉鼠标的点击动作即可形成描点和鼠标所在位的勾勒线。在存疑区域的边缘勾勒过程中,系统可以实时判定鼠标的动作是否合法,即,判断操作体的点击动作和移动动作所确定的路径满足预设条件。一般来讲可以将这一判断过程定义为“判定是否合法”,合法判定条件至少包括该路径不存在交叉,具体实施过程可以为:勾勒线间不相交,和/或描点不在勾勒线上。在判断操作体的点击动作和移动动作所确定的路径满足预设条件下,确定勾勒线,提取由该勾勒线在可交互的显示界面上所界定的存疑区域,以将该存疑区域提供给用户待查。通过手动勾勒出边缘勾勒的存疑区域,相比一些常规的框选标记,可以更贴合存疑区域边缘。进一步来说,当存疑区域标记呈现点选状态时,将显示相应的描点。进一步地,可以供用户设置描点密度,例如,描点的密度可在设置窗口中做配置(较密、适中、较稀)。
进一步的在修改勾勒线中,可以为:鼠标移动到存疑区域的边缘勾勒线上,存疑区域边缘勾勒线呈点选状态(勾勒线可以变色、加粗,并显示勾勒描点)。鼠标移动到描点,拖拽鼠标可移动描点,从而修改边缘标记的形状;当鼠标移动描点使标记不合法时,例如勾勒线间相交、勾勒线重合,等等,操作无效,描点回到最初位置,弹出轻提示提示用户此操作非法。本公开实施例中轻提示的显示方式,以不影响用户操作界面、观察图像内容为宗旨,可以是轻闪信息、浮动记号、弹示信息等显示方式。
作为优选方案,本公开还可以向用户直观地提供提供存疑区域内目标细胞的分布情况、比例情况等。可以为:所述第一显示模式还配置为标注全部存疑区域(可以为细胞染色图像中的全部癌巢区域)内的目标细胞的病理信息,所述病理信息至少包括第一类目标细胞占第一类目标细胞与第二类目标细胞总量的比例。举例来说,根据不同的统计标的,可以根据目标细胞的临床意义进行归类,例如划分为具有良性意义的目标细胞和存在恶性意义的目标细胞,当然也存在其他不具有更多临床意义的细胞。本公开实施例在显示目标细胞比例的过程中,优选以具有更大临床意义的目标细胞作为统计总量,从而通过提供第一类目标细胞占第一类目标细胞与第二类目标细胞总量的比例,其中,第一类目标细胞可以为阳性肿瘤细胞、第二类目标细胞可以为阴性肿瘤细胞,这样的呈现方式,为用户决策提供更准确的信息。同样的理解,在第二显示模式中也可以标注被界定出的存疑区域内的目标细胞的病理信息,所述病理信息至少包括第一类目标细胞占第一类目标细胞与第二类目标细胞总量的比例,类似的,所述第一类目标细胞可以为阳性肿瘤细胞,所述第二类目标细胞可以为阴性肿瘤细胞。
当然,具体临床中针对癌巢,所述第一类目标细胞包括肿瘤细胞,所述第二类目标细胞包括免疫细胞和其他细胞。即,符合标注示出阳性肿瘤细胞占总的肿瘤细胞的比例,或者阳性肿瘤细胞占总细胞数的比例等方式,均符合本公开实施例的显示方法的发明构思之一。
根据本公开实施例的另一方面,还能够提供一种数字病理切片图像细胞标注方法,在图像显示区域,以不同的颜色标注不同类型的细胞,并提供选择是否在装置界面全部显示。具体的,本公开实施例可以为:在所述第一显示模式或第二显示模式中,对相应的的目标细胞渲染不同的色彩,进一步提升病理医生的阅片感受和阅片效果。
作为优选方案,为了能够更为简洁、直观地呈现染色强度,本公开实施例可以为:所述第一显示模式的显示方式,是以热图显示的方式标识所述细胞染色图像中的目标细胞的染色强度,以显示标识后的细胞染色图像。
结合图2,通过热图(HeatMap),可以聚合大量细胞染色图像中包含的染色强度数据,并使用一种渐进的色带来直观表现,最终效果一般优于离散点的直接显示,可以很直观地展现染色强度的疏密程度或频率高低。本公开的实施例的热图生成步骤可以通过如下步骤实现:
(1)为离散点设定一个半径,创建一个缓冲区;
(2)对每个离散点的缓冲区,使用渐进的色带(如:完整的灰度带是0~255)从内而外,由浅至深地填充;
(3)以灰度为例(彩色热图原理相似),由于对以细胞染色图像中的染色强度的灰度值可以叠加(值越大颜色越亮,在灰度带中则显得越白。在实际中,可以选择RGB模型中任一通道作为叠加灰度值),从而对于有缓冲区交叉的区域,可以叠加灰度值,因而缓冲区交叉的越多,灰度值越大,这块区域也就越“热”;
(4)以叠加后的灰度值为索引,从一条有256种颜色的色带中(例如彩虹色)映射颜色,并对图像重新着色,从而实现热点图。
与上述第一显示模式同理,本公开实施例可以为:所述第二显示模式的显示方式,是以热图显示的方式标识所述细胞染色图像中被界定出的第一区域内的目标细胞的染色强度,以显示标识后的细胞染色图像。
在临床中,免疫组化染色的结果判读不仅要考虑阳性肿瘤细胞的比例,也需同时考虑其染色强度。目前结果判读将阳性强弱分为三个等级,分别是弱阳性,中等强度阳性和强阳性(对应评分为1+,2+,和3+),其中染色为浅棕色的评价为弱阳性,染色为棕色的评价为中等强度阳性,深棕色的评价为强阳性。染色强度对于判读结果及后续治疗选择同样有重要作用。进一步优选实施例方案,针对现有技术中无法很好的兼顾阳性细胞比例和染色强度给出全面的结果,并且现行的各类评价软件都仅对染色阳性/阴性进行了区分,仅提供阳性肿瘤细胞的比例而没有其相应的染色强度,导致判读结果不够全面,本公开实施例的显示方法可以为:基于免疫组化染色图像作为细胞染色图像,所述存疑区域包含癌巢,所述目标细胞包含于免疫组化染色图像中的癌巢区域。本实施例的显示方法,通过热图表征染色强度,有效解决了现有技术中“仅对染色阳性/阴性进行了区分,仅提供阳性肿瘤细胞的比例而没有其相应的染色强度”的技术缺陷和诊断误差,从而在图像处理和图像信息显示的技术方案上,最大程度辅助于用户的医学图像分析,得出全面的判读结果。
本领域技术人员应当理解,针对不同显示场景,本公开各实施例针对可交互的界面的显示,其所依附的显示界面,可以是通过现分析系统界面的显示界面、显示区域中进行显示,也可以是独立于现有分析系统界面的显示界面、显示区域,这些显示界面、显示区域可以被认为是当前操作所配置的当前显示界面。即,可以理解为,以区别于当前显示界面的显示界面为显示载体实现显示,以显示本公开各实施例的可交互的显示界面。
作为方案之一,如图2所示,本公开的实施例提供了一种病理图像分析系统,包括位于后台的图像处理模块和位于前端的病理信息显示模块;所述病理信息显示模块用于对细胞染色情况识别后的显示,其包括信息列表显示界面、分析结果显示界面、工具栏界面,还包括:
可交互的显示界面,基于所配置的第一显示模式或第二显示模式,响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,以显示标识后的细胞染色图像,所述标识后的细胞染色图像为对目标细胞染色强度进行标识后的细胞染色图像。
本公开实施例的病理图像分析系统,提供可交互的显示界面,对细胞染色情况识别后的细胞染色图像显示。用户通过第一界面交互操作,切换第一显示模式或第二显示模式,从而通过“显示软开关”的方式选择是否呈现全部癌巢,以及全部癌巢内的目标细胞的染色强度,旨在实现在细胞图像显示区域中,基于预先设计的图像处理方式,可以将不同染色强度的细胞在免疫组化染色图像中以直观的形式表现。用户在分析细胞图像过程,对于癌巢内免疫组化病理图像的染色强度能够通过本公开实施例的显示方法予以呈标识,对患者对于治疗反应的预测快速、准确地了解,对于判读结果及后续治疗选择具有重要的作用。
为了结合数字切片系统实现在线同步远程会诊或离线远程会诊,本公开实施例的病理图像分析系统优选为,所述病理信息显示模块配置为终端设备,远程链接于所述图像处理模块;所述病理信息显示模块通过触控屏提供各界面。
具体来说,本公开的发明构思之一,旨在能够在通过显示识别后的细胞染色图像进行阅片过程中,用户通过第一界面交互操作,切换第一显示模式或第二显示模式,从而通过“显示软开关”的方式选择是否呈现全部癌巢,以及全部癌巢内的目标细胞的染色强度,旨在实现在细胞图像显示区域中,基于预先设计的图像处理方式,可以将不同染色强度的细胞在免疫组化染色图像中以直观的形式表现。通过辅助于细胞染色片分析的图像处理和显示技术,作为免疫检查点抑制剂此类药物的伴随诊断或补充诊断的辅助技术方案,对于病理免疫组化检测在确定患者是否适用该治疗方法上的评估起到了关键作用,从而有效地遏制癌症发病率和死亡率的上升,减轻社会经济和公共健康负担。
通过本公开的细胞染色图像的显示方法,基于本领域技术人员常识性了解,可以知晓同时公开了:
一种显示设备,包括显示单元和处理器,配置为用于对细胞染色情况识别后的显示;
在可交互的显示界面中配置第一显示模式或第二显示模式;
响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,以显示标识后的细胞染色图像,所述标识后的细胞染色图像为对目标细胞染色强度进行标识后的细胞染色图像。
本公开各实施例所涉及的如上所述的显示设备,与上述各实施例中的细胞染色图像的显示方法属于同一构思,能够基于对细胞染色情况识别后的结果,以标识后的细胞染色图像呈现、标识全部目标细胞、相应的存疑区域内的目标细胞的染色强度,以切实有效提升病理医生的阅片效率和阅片效果。
在一些实施例中,本公开各实施例所涉及的如上所述的显示设备可以采用各种方式整合在影像的现有处理平台上。例如,可以在胸部影像的现有处理平台上利用开发接口编写上述程序模块,从而实现与现有处理平台的兼容及对其的更新,从而降低硬件成本,更有助于显示设备的推广和应用。
本公开还提供了一种计算机可读存储介质,其上存储有计算机可执行指令,所述计算机可执行指令由处理器执行时,主要实现根据上述的细胞染色图像的显示方法,用于对细胞染色情况识别后的显示;至少包括:在可交互的显示界面中配置第一显示模式或第二显示模式;
响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,以显示标识后的细胞染色图像,所述标识后的细胞染色图像为对目标细胞染色强度进行标识后的细胞染色图像。
在一些实施例中,执行算机可执行指令处理器可以是包括一个以上通用处理设备的处理设备,诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地,该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。
在一些实施例中,计算机可读存储介质可以为存储器,诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、盒式磁带或其他磁存储设备,或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。
在一些实施例中,计算机可执行指令可以实现为多个程序模块,多个程序模块共同实现根据本公开中任何一项所述的医学影像的显示方法。
本公开描述了各种操作或功能,其可以实现为软件代码或指令或者定义为软件代码或指令。显示单元可以实现为在存储器上存储的软件代码或指令模块,其由处理器执行时可以实现相应的步骤和方法。
这样的内容可以是可以直接执行(“对象”或“可执行”形式)的源代码或差分代码(“delta”或“patch”代码)。这里描述的实施例的软件实现可以通过其上存储有代码或指令的制品提供,或者通过操作通信接口以通过通信接口发送数据的方法提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作,并且包括以可由机器(例如,计算显示设备、电子系统等)访问的形式存储信息的任何机制,例如可记录/不可记录介质(例如,只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存显示设备等)。通信接口包括与硬连线、无线、光学等介质中的任何一种接口以与其他显示设备通信的任何机制,例如存储器总线接口、处理器总线接口、因特网连接、磁盘控制器等。通信接口可以通过提供配置参数和/或发送信号来配置以准备通信接口,以提供描述软件内容的数据信号。可以通过向通信接口发送一个或多个命令或信号来访问通信接口。
本公开的实施例的计算机可执行指令可以组织成一个或多个计算机可执行组件或模块。可以用这类组件或模块的任何数量和组合来实现本公开的各方面。例如,本公开的各方面不限于附图中示出的和本文描述的特定的计算机可执行指令或特定组件或模块。其他实施例可以包括具有比本文所示出和描述的更多或更少功能的不同的计算机可执行指令或组件。
以上描述旨在是说明性的而不是限制性的。例如,上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外,在上述具体实施方式中,各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反,本公开的主题可以少于特定的公开的实施例的全部特征。从而,以下权利要求书作为示例或实施例在此并入具体实施方式中,其中每个权利要求独立地作为单独的实施例,并且考虑这些实施例可以以各种组合或排列彼此组合。本公开的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上实施例仅为本公开的示例性实施例,不用于限制本公开,本公开的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内,对本公开做出各种修改或等同替换,这种修改或等同替换也应视为落在本公开的保护范围内。

Claims (10)

1.细胞染色图像的显示方法,用于对细胞染色情况识别后的显示;所述显示方法包括:
在可交互的显示界面中配置第一显示模式或第二显示模式;
响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,以显示标识后的细胞染色图像,所述标识后的细胞染色图像为对目标细胞染色强度进行标识后的细胞染色图像。
2.根据权利要求1所述的显示方法,其中,所述在可交互的显示界面中配置第一显示模式或第二显示模式,包括:
在调取对细胞染色情况的识别结果的状态下,在可交互的显示界面中配置第一显示模式或第二显示模式。
3.根据权利要求1所述的显示方法,其中,所述响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,包括:
响应于第一界面交互操作,调取对细胞染色情况的识别结果并在第一显示模式或第二显示模式之间切换。
4.根据权利要求2或3所述的显示方法,其中:
所述第一显示模式的显示方式,至少包括:以标识全部目标细胞染色强度的方式显示细胞染色图像;
所述第二显示模式的显示方式,至少包括:
呈现细胞染色图像;
响应于在可交互的显示界面上的第二界面交互操作,界定出第一区域,以标识所述第一区域内的目标细胞的染色强度的方式显示细胞染色图像。
5.根据权利要求4所述的显示方法,其中,所述界定出第一区域,包括:
通过操作体在可交互的显示界面上框选出第一区域,或者
通过操作体在可交互的显示界面上勾勒出第一区域;
其中:
所述通过操作体在可交互的显示界面上勾勒出第一区域,包括:
基于操作体在可交互的显示界面中连续的移动轨迹确定勾勒线,以界定第一区域,或者
基于操作体在可交互的显示界面中的点击操作和/或移动操作确定勾勒线,以界定第一区域;
其中:
所述第一区域包括存疑区域;所述勾勒线包括不规则形状的勾勒线。
6.根据权利要求2或3所述的显示方法,其中,
所述第一显示模式的显示方式,是以热图显示的方式标识所述细胞染色图像中的目标细胞的染色强度,以显示标识后的细胞染色图像。
7.根据权利要求4所述的显示方法,其中,
所述第二显示模式的显示方式,是以热图显示的方式标识所述细胞染色图像中被界定出的第一区域内的目标细胞的染色强度,以显示标识后的细胞染色图像。
8.根据权利要求1所述的显示方法,其中,
所述细胞染色图像包括免疫组化染色图像;
所述目标细胞包含于免疫组化染色图像中的癌巢区域。
9.病理图像分析系统,包括位于后台的图像处理模块和位于前端的病理信息显示模块;
所述病理信息显示模块用于对细胞染色情况识别后的显示,其包括信息列表显示界面、分析结果显示界面、工具栏界面,还包括:
可交互的显示界面,基于所配置的第一显示模式或第二显示模式,响应于第一界面交互操作,在第一显示模式或第二显示模式之间切换,以显示标识后的细胞染色图像,所述标识后的细胞染色图像为对目标细胞染色强度进行标识后的细胞染色图像。
10.一种计算机可读存储介质,其上存储有计算机可执行指令,所述计算机可执行指令由处理器执行时,实现:
根据权利要求1至8中任一项所述的显示方法。
CN202010130020.6A 2020-02-28 2020-02-28 细胞染色图像的显示方法、病理图像分析系统及存储介质 Pending CN111290685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010130020.6A CN111290685A (zh) 2020-02-28 2020-02-28 细胞染色图像的显示方法、病理图像分析系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010130020.6A CN111290685A (zh) 2020-02-28 2020-02-28 细胞染色图像的显示方法、病理图像分析系统及存储介质

Publications (1)

Publication Number Publication Date
CN111290685A true CN111290685A (zh) 2020-06-16

Family

ID=71021281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010130020.6A Pending CN111290685A (zh) 2020-02-28 2020-02-28 细胞染色图像的显示方法、病理图像分析系统及存储介质

Country Status (1)

Country Link
CN (1) CN111290685A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035518A (zh) * 2022-08-11 2022-09-09 珠海横琴圣澳云智科技有限公司 细胞核图像中荧光染色信号点的识别方法和装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005045734A1 (en) * 2003-10-30 2005-05-19 Bioimagene, Inc. Method and system for automatically determinig diagnostic saliency of digital images
WO2012043499A1 (ja) * 2010-09-30 2012-04-05 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
US20140185891A1 (en) * 2011-07-12 2014-07-03 Definiens Ag Generating Image-Based Diagnostic Tests By Optimizing Image Analysis and Data Mining Of Co-Registered Images
US20150199121A1 (en) * 2014-01-15 2015-07-16 Samsung Electronics Co., Ltd. Medical image providing apparatus and medical image processing method of the same
CN105122114A (zh) * 2012-12-06 2015-12-02 克拉里安特诊断服务公司 用于生物样本的分屏显示和用于捕捉其记录的系统和方法
US20160063308A1 (en) * 2014-08-29 2016-03-03 Definiens Ag Learning Pixel Visual Context from Object Characteristics to Generate Rich Semantic Images
US20160098589A1 (en) * 2014-08-29 2016-04-07 Definiens Ag Applying Pixelwise Descriptors to a Target Image that are Generated by Segmenting Objects in Other Images
CN106802346A (zh) * 2017-01-19 2017-06-06 宁波江丰生物信息技术有限公司 一种基于免疫组化技术的病理辅助分析方法
CN107111874A (zh) * 2014-12-30 2017-08-29 文塔纳医疗系统公司 用于免疫分数计算中的共表达分析的系统和方法
CN109712217A (zh) * 2018-12-21 2019-05-03 上海联影医疗科技有限公司 一种医学图像可视化方法和系统
CN109791693A (zh) * 2016-10-07 2019-05-21 文塔纳医疗系统公司 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程
WO2019168980A1 (en) * 2018-02-27 2019-09-06 Northwestern University Nanopatterning for controlling cell cytoskeleton
CN110736748A (zh) * 2019-09-12 2020-01-31 杭州迪英加科技有限公司 免疫组化核浆染色切片诊断方法及系统
CN110763678A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 一种病理切片判读方法及系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005045734A1 (en) * 2003-10-30 2005-05-19 Bioimagene, Inc. Method and system for automatically determinig diagnostic saliency of digital images
WO2012043499A1 (ja) * 2010-09-30 2012-04-05 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
US20140185891A1 (en) * 2011-07-12 2014-07-03 Definiens Ag Generating Image-Based Diagnostic Tests By Optimizing Image Analysis and Data Mining Of Co-Registered Images
CN105122114A (zh) * 2012-12-06 2015-12-02 克拉里安特诊断服务公司 用于生物样本的分屏显示和用于捕捉其记录的系统和方法
US20150199121A1 (en) * 2014-01-15 2015-07-16 Samsung Electronics Co., Ltd. Medical image providing apparatus and medical image processing method of the same
CN106725571A (zh) * 2014-01-15 2017-05-31 三星电子株式会社 医学图像提供设备及其医学图像处理方法
US20170337415A1 (en) * 2014-08-29 2017-11-23 Definiens Ag Learning Pixel Visual Context from Object Characteristics to Generate Rich Semantic Images
US20160063308A1 (en) * 2014-08-29 2016-03-03 Definiens Ag Learning Pixel Visual Context from Object Characteristics to Generate Rich Semantic Images
US20160098589A1 (en) * 2014-08-29 2016-04-07 Definiens Ag Applying Pixelwise Descriptors to a Target Image that are Generated by Segmenting Objects in Other Images
CN107111874A (zh) * 2014-12-30 2017-08-29 文塔纳医疗系统公司 用于免疫分数计算中的共表达分析的系统和方法
CN109791693A (zh) * 2016-10-07 2019-05-21 文塔纳医疗系统公司 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程
CN106802346A (zh) * 2017-01-19 2017-06-06 宁波江丰生物信息技术有限公司 一种基于免疫组化技术的病理辅助分析方法
WO2019168980A1 (en) * 2018-02-27 2019-09-06 Northwestern University Nanopatterning for controlling cell cytoskeleton
CN109712217A (zh) * 2018-12-21 2019-05-03 上海联影医疗科技有限公司 一种医学图像可视化方法和系统
CN110736748A (zh) * 2019-09-12 2020-01-31 杭州迪英加科技有限公司 免疫组化核浆染色切片诊断方法及系统
CN110763678A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 一种病理切片判读方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035518A (zh) * 2022-08-11 2022-09-09 珠海横琴圣澳云智科技有限公司 细胞核图像中荧光染色信号点的识别方法和装置
CN115035518B (zh) * 2022-08-11 2022-11-01 珠海横琴圣澳云智科技有限公司 细胞核图像中荧光染色信号点的识别方法和装置
WO2024032623A1 (zh) * 2022-08-11 2024-02-15 珠海圣美生物诊断技术有限公司 细胞核图像中荧光染色信号点的识别方法和装置

Similar Documents

Publication Publication Date Title
Duran et al. ProstAttention-Net: A deep attention model for prostate cancer segmentation by aggressiveness in MRI scans
US11232354B2 (en) Histopathological image analysis
JP7558242B2 (ja) デジタル病理学分析結果の格納および読み出し方法
Gertych et al. Machine learning approaches to analyze histological images of tissues from radical prostatectomies
US11631171B2 (en) Automated detection and annotation of prostate cancer on histopathology slides
JP5490568B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
JP2018502279A (ja) 組織学画像中の核の分類
US11645753B2 (en) Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images
Xie et al. Interpretable classification from skin cancer histology slides using deep learning: A retrospective multicenter study
CN112348082B (zh) 深度学习模型构建方法、影像处理方法及可读存储介质
Lo et al. Cycle-consistent GAN-based stain translation of renal pathology images with glomerulus detection application
CN111353435A (zh) 细胞图像的显示方法、病理图像分析系统及存储介质
CN111290685A (zh) 细胞染色图像的显示方法、病理图像分析系统及存储介质
de Bel et al. Automated quantification of levels of breast terminal duct lobular (TDLU) involution using deep learning
CN117670794A (zh) 一种基于深度学习的tls病理检测方法、装置及介质
Molin et al. Scale Stain: Multi-resolution feature enhancement in pathology visualization
CN111273840A (zh) 细胞染色图像的显示方法、病理图像分析系统及存储介质
CN111430011B (zh) 细胞染色图像的显示方法、处理方法及存储介质
US20220277451A1 (en) Systems, methods and apparatuses for visualization of imaging data
US20220050996A1 (en) Augmented digital microscopy for lesion analysis
Speier et al. Image-based patch selection for deep learning to improve automated Gleason grading in histopathological slides
RU2757256C1 (ru) Способ и система диагностирования патологических изменений в биоптате предстательной железы
Ibrahim et al. Using trainable segmentation and watershed transform for identifying unilocular and multilocular cysts from ultrasound images of ovarian tumour
Rana et al. High accuracy tumor diagnoses and benchmarking of hematoxylin and eosin stained prostate core biopsy images generated by explainable deep neural networks
Luzio Evaluation of image registration performance and study of classification algorithm on histopathological images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200616

RJ01 Rejection of invention patent application after publication