基于显微图像的细胞分割方法、装置、设备及存储介质
技术领域
本申请实施例涉及人工智能中的图像处理技术领域,特别涉及一种基于显微图像的细胞分割方法、装置、设备及存储介质。
背景技术
IHC(Immunohistochemistry,免疫组织化学)是一种辅助病理诊断的方法,其通过化学呈色反应对细胞样本群中的细胞进行染色,以在显微镜下突出细胞样本群中的阳性细胞。
在基于IHC的病理诊断中,细胞样本群中的阳性细胞的数量或比例是病理诊断的重要依据,因此,如何准确区分阴性细胞和阳性细胞就极为重要了,区分阴性细胞和阳性细胞需要先确定出细胞的连通区域。在相关技术中,通过如下方式确定细胞的连通区域:对经过染色的细胞样本群在显示镜视野下的显微图像进行处理,得到细胞样本群中的各个细胞的中心点;对各个细胞的中心点进行形态学膨胀处理,得到膨胀处理后的显微图像,该膨胀处理后的显微图像中包括各个细胞的连通区域。
然而,上述相关技术中基于细胞的中心点进行形态学膨胀处理得到的各个细胞的连通区域不够准确。
发明内容
本申请实施例提供了一种基于显微图像的细胞分割方法、装置、设备及存储介质,提高了最终确定的各个细胞的连通区域的准确性。技术方案如下:
一方面,本申请实施例提供一种基于显微图像的细胞分割方法,所述方法包括:
获取经过染色的细胞样本群在显微镜视野下的显微图像;
对所述显微图像进行中心点识别处理,得到中心点图像,所述中心点图像中包括所述细胞样本群中的各个细胞的中心点;
基于所述中心点图像对所述显微图像进行分割处理,得到细胞核初始分割图像,所述细胞核初始分割图像中包括所述各个细胞的初始细胞核区域;
基于所述中心点图像和所述细胞核初始分割图像,得到细胞核最终分割图像和细胞膨胀图像;其中,所述细胞核最终分割图像中包括所述各个细胞的最终细胞核区域,所述细胞膨胀图像中包括所述各个细胞的细胞核膨胀区域;
基于所述细胞最终分割图像和所述细胞膨胀图像,得到细胞分割图像,所述细胞分割图像中包括所述各个细胞的细胞膜区域。
另一方面,本申请实施例提供一种基于显微图像的细胞分割装置,所述装置包括:
图像获取模块,用于获取经过染色的细胞样本群在显微镜视野下的显微图像;
图像识别模块,用于对所述显微图像进行中心点识别处理,得到中心点图像,所述中心点图像中包括所述细胞样本群中的各个细胞的中心点;
图像分割模块,用于基于所述中心点图像对所述显微图像进行分割处理,得到细胞核初始分割图像,所述细胞核初始分割图像中包括所述各个细胞的初始细胞核区域;
所述图像分割模块,还用于基于所述中心点图像和所述细胞核初始分割图像,得到细胞核最终分割图像和细胞膨胀图像;其中,所述细胞核最终分割图像中包括所述各个细胞的最终细胞核区域,所述细胞膨胀图像中包括所述各个细胞的细胞核膨胀区域;
图像确定模块,用于基于所述细胞最终分割图像和所述细胞膨胀图像,得到细胞分割图像,所述细胞分割图像中包括所述各个细胞的细胞膜区域。
另一方面,本申请实施例提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述基于显微图像的细胞分割方法。
再一方面,本申请实施例提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述基于显微图像的细胞分割方法。
再一方面,本申请实施例提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述基于显微图像的细胞分割方法。
本申请实施例提供的技术方案可以带来如下有益效果:
通过基于各个细胞的中心点对经过染色的细胞样本群在显微镜视野下的显微图像进行分割处理,得到各个细胞的初始细胞核区域;然后再基于各个细胞的中心点和初始细胞核区域,得到最终细胞核区域和细胞核膨胀区域;最后基于最终细胞核区域和细胞核膨胀区域,得到细胞的细胞膜区域。本申请实施例最终确定出了细胞膜区域,细胞膜区域能更准确代表一个细胞的连通区域,从而能更准确地反映实际细胞的大小,本申请实施例提高了最终确定的各个细胞的连通区域的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的细胞分割系统的系统架构图;
图2是本申请一个实施例提供的基于显微图像的细胞分割方法的流程图;
图3是本申请一个实施例提供的中心点图像的示意图;
图4是本申请一个实施例提供的细胞核初始分割图像的示意图;
图5是本申请另一个实施例提供的基于显微图像的细胞分割方法的流程图;
图6是本申请一个实施例提供的最终细胞核区域和细胞膜区域的示意图;
图7是本申请一个实施例提供的细胞标记图像的示意图;
图8是本申请另一个实施例提供的细胞标记图像的示意图;
图9是本申请一个实施例提供的基于显微图像的细胞分割方法的流程框架图;
图10是本申请一个实施例提供的基于显微图像的细胞分割装置的框图;
图11是本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及智能医疗技术领域,利用计算机视觉技术对经过染色的细胞样本群在显微镜视野下的显微图像进行图像处理和分析,最终确定出该显微图像对应的细胞分割图像,从而辅助医生进行疾病的诊断与治疗。
首先,对本申请实施例涉及的几个名词进行介绍:
1、IHC(Immunohistochemistry,免疫组织化学):免疫组织化学又称免疫细胞化学,是指基于带显色剂标记的特异性抗体在组织细胞原位通过抗原抗体反应和组织化学的呈色反应,对相应抗原进行定性、定位、定量测定的一项新技术。
2、细胞染色:细胞染色是IHC中的一项常用的应用。细胞染色先破坏细胞膜的选择透过性,再使用染色剂,将生物组织进入染色剂内,使组织细胞的某一部分染上与其他部分不同的颜色或深度不同的颜色,产生不同的折射率,以便观察。最常用的是苏木精和伊红染色法,苏木精为碱性染料,将细胞质和胞质内某些结构,如龙胆紫溶液把染色体染成蓝紫色、甲基绿与DNA(Deoxyribonucleic Acid,脱氧核糖核酸)结合使线粒体染成蓝色。我们称这种能被苏木精染蓝的性质为嗜碱性。伊红为酸性染料,将细胞质和细胞间质,如细胞质中的RNA(Ribonucleic Acid,核糖核酸)染成红色。我们称这种能被伊红染红的性质为嗜酸性。染色深浅可反映嗜碱性和嗜酸性强弱。若对两种染料缺乏亲和力,则称为嗜中性。有些组织成分可以显示与染料颜色不同的颜色,当用蓝色碱性染料甲苯胺进行染色时,组织中的糖胺多糖成分被染成紫红色,此种显色与染料颜色不同的现象称为异染性。
请参考图1,其示出了本申请实施例提供的细胞分割系统的系统架构图。如图1所示,该系统包括显微镜120和终端140。可选地,该系统还包括服务器160。
显微镜120可以是普通的光学显微镜,显微镜120的操作人员可以通过图像采集组件(比如照相机或者集成有摄像头的其它设备)采集显微镜120的目镜中的显微图像。
例如,上述显微镜120上可以集成有照相暗盒,显微镜120的操作人员可以通过安装在照相暗盒上的照相机拍摄显微镜120的目镜中的显微图像,然后通过照相机中集成的图像输出接口,将照相机拍摄的显微图像导入至终端140或者服务器160。
或者,上述显微镜120也可以是集成有图像采集组件的电子显微镜,该电子显微镜还对外提供图像输出接口,显微镜120的操作人员通过操作电子显微镜的图像采集功能采集显微镜120的目镜中的显微图像,并通过图像输出接口将显微图像导入至终端140。
其中,上述图像输出接口可以是有线接口,比如USB(Universal Serial Bus,通用串行总线)接口、HDMI(High Definition Multimedia Interface,高清多媒体接口)接口或者以太网接口等等;或者,上述图像输出接口也可以是无线接口,比如WLAN(WirelessLocal Area Network,无线局域网)接口、蓝牙接口等等。
相应地,根据上述图像输出接口的类型的不同,操作人员将照相机拍摄的显微图像导出的方式也可以由多种,比如,通过有线或者短距离无线方式将显微图像导入至终端140,或者,也可以通过局域网或者互联网将显微图像导入至终端140或者服务器160。
终端140中可以安装有获取显微图像的处理结果并呈现的应用程序,终端140获取到显微镜140的目镜中的显微图像后,可以通过上述应用程序获取对显微图像进行处理得到的处理结果,并对处理结果进行呈现,以便医生进行病理诊断等操作。
其中,终端140可以是具有一定的处理能力以及界面展示功能的终端设备,比如,终端140可以是手机、平板电脑、电子书阅读器、智能眼镜、膝上型便携计算机和台式计算机等等。
在图1所示的系统中,终端140和显微镜120是物理上分离的实体设备。在可能的实现方式中,终端140和显微镜120也可以集成为单个实体设备;比如,显微镜120可以是具有终端140的计算和界面展示功能的智能显微镜,或者,显微镜120可以是具有终端140的计算能力的智能显微镜,该智能显微镜可以通过有线或无线接口输出图像处理结果。
其中,服务器160是一台服务器,或者由若干台服务器,或者是一个虚拟化平台,或者是一个云计算服务中心。
其中,上述服务器160可以是为终端140或显微镜120中安装的应用程序提供后台服务的服务器,该后台服务器可以对应用程序的版本进行管理、对应用程序获取到的显微图像进行后台处理并返回处理结果等等。
可选地,终端140与服务器160之间通过通信网络相连。可选地,显微镜120与服务器160之间通过通信网络相连。可选地,该通信网络是有线网络或无线网络。
可选地,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于LAN(Local Area Network,局域网)、MAN(Metropolitan Area Network,城域网)、WAN(Wide Area Network,广域网)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。
为了便于介绍,下面将以本申请实施例由计算机设备执行为例进行介绍说明,计算机设备是具备计算和处理能力的电子设备。该计算机设备可以是单个设备,比如,可以是图1所示系统中的终端140或者服务器160;或者,该计算机设备也可以是多个设备的集合,比如,该计算机设备可以包括上述图1所示系统中的终端140和服务器160,即本申请实施例可以由上述终端140和服务器160交互执行。
下面,通过几个实施例对本申请进行介绍说明。
请参考图2,其示出了本申请一个实施例提供的基于显微图像的细胞分割方法的流程图,该方法可以包括如下几个步骤。
步骤201,获取经过染色的细胞样本群在显微镜视野下的显微图像。
细胞样本群是显微镜的物镜下的细胞标本中包含的各个细胞组成的样本群。医护人员将细胞样品从待诊断对象的体内取出,然后将其置于固定剂中制作成用于在显微镜下观察的细胞标本,固定剂用于稳定细胞以防止腐烂,为了在显微镜下观察,细胞的不同成分用不同的染色剂染色,然后应用不同的染色技术以在显微镜下显示特定的细胞成分。示例性地,显微图像也可以称之为病理图像。
示例性地,细胞样本群中可以包括以下任意一种成分:PR(ProgesteroneReceptor,孕酮受体)、ER(Estrogen Receptor,雌激素受体)、Ki-67、PD-L1(ProgrammedDeath Ligand-1,程序性死亡受体配体1)。PR也称为NR3C3(Nuclear Receptor Subfamily3,group C,member 3,核受体第三亚族C组成员3),是一种细胞内蛋白质,由甾体激素孕酮激活。ER是一种蛋白质分子,它们较多地存在于靶器官的细胞内,可与激素发生特异性结合而形成激素-受体复合物,使激素发挥其生物学效应。ER可位于细胞膜、细胞质或细胞核。Ki-67是一种由人类MKI67基因编码的蛋白质,同时也是病理学中广泛应用的免疫组织化学一种。该蛋白与细胞的增殖密切相关,在有丝分裂期以及分裂间期的细胞中都能检出Ki-67蛋白,有丝分裂停止的细胞中则无Ki-67蛋白质存在。PD-L1是PD-1(Programmed CellDeath 1,程序性死亡受体1)的配体。PD-L1属于细胞膜上的一个跨膜蛋白。
在一种可能的实现方式中,显微图像可以通过有线或者无线网络导入至终端中的应用程序,该应用程序向服务器发送包含该显微图像的分割请求,服务器接收到分割请求后,对该显微图像执行后续处理流程。
在另一种可能的实现方式中,显微图像可以通过有线或者无线网络导入至终端中的应用程序,后续由终端通过该应用程序对该显微图像直接进行处理处理。
步骤202,对显微图像进行中心点识别处理,得到中心点图像,中心点图像中包括细胞样本群中的各个细胞的中心点。
在可能的实现方式中,通过细胞检测模型对显微图像进行中心点识别处理,得到中心点图像。细胞检测模型是指用于对显微图像进行识别处理的模型,细胞检测模型的输入是显微图像,输出是中心点图像。细胞检测模型的训练过程使用自研标注数据集,自研标注数据集中包括至少一个训练图像以及该训练图像对应的标准中心点图像,训练图像的尺寸可以为2000*2000像素。对训练图像进行数据增强处理(数据增强处理可以包括以下至少一种操作:翻转、旋转、缩放比例、裁剪、移位、高斯白噪声等),得到输入图像;通过细胞检测模型对输入图像进行处理,得到训练图像的预测中心点图像;根据预测中心点图像和标准中心点图像对细胞检测模型进行训练。输入图像的尺寸可以为512*512像素,批处理大小可以为8,学习率可以为0.0001,最大迭代次数可以为200epoch(一代训练)。示例性地,细胞检测模型的权重初始化使用Image NET(计算机视觉系统识别项目名称)数据集。细胞检测模型可以采用LinkNet模型。
在可能的实现方式中,中心点图像中各个细胞的中心点的像素值为1,其余位置的像素值为0。
如图3所示,其示出了本申请一个实施例提供的中心点图像的示意图。计算机设备对显微图像31进行中心点识别处理,得到中心点图像32。
步骤203,基于中心点图像对显微图像进行分割处理,得到细胞核初始分割图像,细胞核初始分割图像中包括各个细胞的初始细胞核区域。
细胞的初始细胞核区域,是指细胞核初始分割图像中,对应细胞核的边缘所围成的区域。初始细胞核区域可以用于指示对应细胞核的初始大小。
基于中心点图像可以确定出显微图像中各个细胞的细胞核的大致位置,因而计算机设备可以基于各个细胞的细胞核的大致位置对显微图像进行分割处理,得到细胞核初始分割图像。
如图4所示,其示出了本申请一个实施例提供的细胞核初始分割图像的示意图。计算机设备基于中心点图像41对显微图像42进行分割处理,得到细胞核初始分割图像43。
步骤204,基于中心点图像和细胞核初始分割图像,得到细胞核最终分割图像和细胞膨胀图像。
在本申请实施例中,细胞核最终分割图像中包括各个细胞的最终细胞核区域。细胞的最终细胞核区域,是指细胞核最终分割图像中,对应细胞核的边缘所围成的区域。最终细胞核区域可以用于指示对应细胞核的最终大小。由于细胞核初始分割图像中可能会存在细胞黏连的情况,影响最终确定的细胞的连通区域。为了避免这种情况,本申请实施例使用中心点图像和细胞核初始分割图像作为输入,基于中心点图像对细胞核初始分割图像进行分割处理,得到细胞核最终分割图像,细胞核最终分割图像中包括的最终细胞核区域相较于细胞核初始分割图像中包括的初始细胞核区域,更能准确表示实际细胞的细胞核范围,因为最终细胞核区域中存在细胞黏连的情况较少,每个细胞核和细胞核之间的界面更清晰。
在本申请实施例中,细胞膨胀图像中包括各个细胞的细胞核膨胀区域。细胞的细胞核膨胀区域,是指细胞膨胀图像中,对应膨胀处理后的细胞核的边缘所围成的区域。对细胞核初始分割图像进行区域膨胀处理,得到细胞膨胀图像。
步骤205,基于细胞最终分割图像和细胞膨胀图像,得到细胞分割图像,细胞分割图像中包括各个细胞的细胞膜区域。
细胞的细胞膜区域,是指细胞分割图像中,对应细胞膜的边缘所围成的区域。细胞膜区域可以用于指示对应细胞膜的大小。由于细胞膜是细胞结构中分隔细胞内、外不同介质和组成成分的界面,因此,本申请实施例中可以将细胞膜区域看作为细胞的连通区域,细胞的连通区域是指一个完整的细胞的边缘所围成的区域。
在可能的实现方式中,以细胞核最终分割图像中的各个细胞的最终细胞核区域为基准,在细胞膨胀图像中的各个细胞的细胞核膨胀区域内进行像素点迭代,得到细胞分割图像。
在可能的实现方式中,计算机设备确定出细胞分割图像后,可以基于该细胞分割图像进行后续的处理流程,例如,可以基于该细胞分割图像确定显微图像中包括的所有细胞的数量;或者,可以基于该细胞分割图像确定显微图像中包括的各个细胞的细胞类型,本申请实施例对基于细胞分割图像进行的后续处理流程不作限定。
综上所述,本申请实施例提供的技术方案中,通过基于各个细胞的中心点对经过染色的细胞样本群在显微镜视野下的显微图像进行分割处理,得到各个细胞的初始细胞核区域;然后再基于各个细胞的中心点和初始细胞核区域,得到最终细胞核区域和细胞核膨胀区域;最后基于最终细胞核区域和细胞核膨胀区域,得到细胞的细胞膜区域。本申请实施例最终确定出了细胞膜区域,细胞膜区域能更准确代表一个细胞的连通区域,从而能更准确地反映实际细胞的大小,本申请实施例提高了最终确定的各个细胞的连通区域的准确性。
请参考图5,其示出了本申请另一个实施例提供的基于显微图像的细胞分割方法的流程图,该方法可以包括如下几个步骤。
步骤501,获取经过染色的细胞样本群在显微镜视野下的显微图像。
步骤502,对显微图像进行中心点识别处理,得到中心点图像,中心点图像中包括细胞样本群中的各个细胞的中心点。
有关步骤501和步骤502的介绍说明可参见上文实施例,此处不再赘述。
步骤503,通过细胞分割模型基于中心点图像确定各个细胞的中心点在显微图像中的位置。
在本申请实施例中,细胞的中心点在显微图像中的位置,可以是细胞的中心点在显微图像中的像素位置。
通过细胞分割模型基于中心点图像确定各个细胞的中心点在显微图像中的位置,是为了对所有检测到的细胞位置都得到细胞分割响应,减少漏检情况。
步骤504,基于各个细胞的中心点在显微图像中的位置,对显微图像进行分割处理,得到细胞核初始分割图像。
细胞核初始分割图像中包括各个细胞的初始细胞核区域。细胞的初始细胞核区域,是指细胞核初始分割图像中,对应细胞核的边缘所围成的区域。初始细胞核区域可以用于指示对应细胞核的初始大小。
细胞分割模型的输入为显微图像和中心点图像,输出为细胞核初始分割图像。细胞分割模型的训练过程中的训练数据使用公开数据集Monuseg(医学影像数据库)和PanNuke(医学影像数据库),训练过程中将细胞分割标注的连通域中心点作为训练中心点图像;分别对训练数据中的训练图像和训练中心点图像进行数据增强处理之后,得到数据增强后的训练图像和数据增强后的训练中心点图像;通过细胞分割模型对数据增强后的训练图像和数据增强后的训练中心点图像进行处理,得到训练细胞核初始分割图像;根据标准细胞核初始分割图像和训练细胞核初始分割图像,对细胞分割模型进行训练。示例性地,数据增强后的训练图像的尺寸为512*512像素,数据增强后的训练中心点图像的尺寸为512*512像素,批处理大小可以为8,学习率可以为0.0001,最大迭代次数可以为200epoch。细胞分割模型可以采用LinkNet模型或者可以采用densenet模型。
步骤505,以中心点图像中的各个细胞的中心点为基准,在细胞核初始分割图像中的各个细胞的初始细胞核区域内进行像素点迭代,得到细胞核最终分割图像;其中,细胞核最终分割图像中包括各个细胞的最终细胞核区域。
在可能的实现方式中,细胞核最终分割图像满足第一迭代停止条件,第一迭代停止条件包括以下至少一项:最终细胞核区域的边缘像素点为至少两个细胞的中心点在第n次迭代过程中存在的相同的迭代像素点、最终细胞核区域的边缘像素点与初始细胞核区域的边缘像素点存在重叠,n为正整数。
在可能的实现方式中,各个细胞的中心点同时进行像素点迭代,当存在至少两个细胞的中心点在同一次迭代过程中存在相同的迭代像素点时,将该相同的迭代像素点作为最终细胞核区域的边缘像素点;或者,当各个细胞的中心点在迭代过程中与初始细胞核区域的边缘像素点存在重叠像素点时,将该重叠像素点作为最终细胞核区域的边缘像素点。
在可能的实现方式中,以中心点图像中的各个细胞的中心点为分水岭算法的种子点,将细胞核初始分割图像中的各个细胞的初始细胞核区域作为分水岭算法的查找范围,得到细胞核最终分割图像。分水岭算法是一种基于拓扑理论的数学形态学的分割方法,其基本思想是把图像看作是测地学上的拓扑地貌,图像中每一像素的灰度值表示该点的海拔高度,每一个局部极值点及其影响区域称为集水盆地,而集水盆地的边界则形成分水岭。分水岭算法的优点是能够对微弱的边缘有良好的响应,以保证得到闭合连续的边缘。在本申请实施例中,计算机设备通过分水岭算法,在初始细胞核区域内,对每个细胞进行实例分割,将每个细胞的细胞核边缘完整分割出来,从而避免对非细胞区域和非肿瘤细胞计数区域进行无用分割,减少细胞分割的假阳数量。
步骤506,对细胞核初始分割图像进行区域膨胀处理,获得细胞膨胀图像,细胞膨胀图像中包括各个细胞的细胞核膨胀区域。
在可能的实现方式中,对细胞核初始分割图像进行二值化处理,得到二值化处理后的细胞核初始分割图像;按照预设膨胀距离对二值化处理后的细胞核初始分割图像进行区域膨胀处理,获得细胞膨胀图像。示例性地,预设膨胀距离可以是预设倍数的细胞尺寸,例如,可以是0.1倍的细胞直径大小。
步骤507,以细胞核最终分割图像中的各个细胞的最终细胞核区域为基准,在细胞膨胀图像中的各个细胞的细胞核膨胀区域内进行像素点迭代,得到细胞分割图像。
由于有些染色是对细胞膜进行着色,而上述分割流程只对细胞核进行了分割,因此,为了得到细胞中细胞膜的范围,首先对细胞核初始分割图像进行区域膨胀处理,得到细胞膨胀图像;然后以细胞核最终分割图像中的各个细胞的最终细胞核区域为基准,在细胞膨胀图像中的各个细胞的细胞核膨胀区域内进行像素点迭代,得到细胞分割图像。
在可能的实现方式中,细胞分割图像满足第二迭代停止条件,第二迭代停止条件包括以下至少一项:细胞膜区域的边缘像素点为至少两个细胞的最终细胞核区域在第m次迭代过程中存在的相同的迭代像素点、细胞膜区域的边缘像素点与细胞核膨胀区域的边缘像素点存在重叠,m为正整数。
在可能的实现方式中,将细胞的最终细胞核区域看作为一个像素点,各个细胞的最终细胞核区域同时进行像素点迭代,当存在至少两个细胞的最终细胞核区域在同一次迭代过程中存在相同的迭代像素点时,将该相同的迭代像素点作为细胞膜区域的边缘像素点;或者,当各个细胞的最终细胞核区域在迭代过程中与细胞核膨胀区域的边缘像素点存在重叠像素点时,将该重叠像素点作为细胞膜区域的边缘像素点。
在可能的实现方式中,以细胞的最终细胞核区域为分水岭算法的种子点,将各个细胞的细胞核膨胀区域作为分水岭算法的查找范围,得到细胞分割图像。
本申请实施例以细胞核最终分割图像中的各个细胞的最终细胞核区域为基准确定各个细胞的细胞膜区域,因为确定的最终细胞核区域较为准确,所以最终的细胞膜区域也较为准确。
为了更直观地看出最终细胞核区域和细胞膜区域的区别,将最终细胞核区域和细胞膜区域同时体现在一张示意图中。如图6所示,其示出了本申请实施例提供的最终细胞核区域和细胞膜区域的示意图。最终细胞核区域61位于细胞膜区域62内部,细胞膜区域62的范围大于最终细胞核区域61的范围,因此,细胞膜区域62更能体现实际细胞的连通区域。
步骤508,对显微图像进行色彩通道分解,获得目标色彩空间对应的目标通道图像。
色彩通道分解是指通过每个RGB(Red Green Blue,红绿蓝)通道的光密度矩阵,也称为吸光度(Optical Density,OD)矩阵,对显微图像的RGB信息进行正交变换,将显微图像从RGB色彩空间转成苏木精Hematoxylin(H)、伊红Eosin(E)和二氨基联苯胺(DAB)染色剂的H-E-DAB色彩空间。
以对包含PD-L1的细胞样本群进行处理为例,计算机设备可以从色彩通道分解得到的H-E-DAB色彩空间的图像中提取DAB通道图像作为后续处理用图,该DAB通道即为上述目标色彩空间,该DAB通道图像即为上述目标通道图像。
当然,在其它可能的实现方式中,根据分割场景的不同(即分割的细胞样本群的不同),计算机设备可以提取其它色彩空间对应的通道图像进行后续处理。例如,当细胞样本群中包括为Ki-67时,计算机设备可以从色彩通道分解得到的H-E-DAB色彩空间的图像中提取DAB通道图像作为后续处理用图。
需要说明的是,步骤508和步骤502可以同时执行;也可以先执行步骤508,再执行步骤502;或者还可以先执行步骤502,再执行步骤508,本申请实施例对此不作限定。
步骤509,根据目标通道图像中的各个像素点的像素值,确定细胞分割图像中各个细胞的细胞膜区域对应的像素值。
细胞膜区域对应的像素值,是指目标通道图像中与细胞膜区域对应的区域的像素值。
在可能的实现方式中,此步骤包括如下几个子步骤:
1、基于像素映射关系和目标通道图像中的各个像素点的像素值,确定各个细胞的细胞膜区域中的各个像素点的染色像素值,像素映射关系是指目标通道图像中的各个像素点与细胞分割图像中的各个像素点之间的映射关系。
在一种可能的实现方式中,如果在对显微图像进行色彩通道分解或分割等处理的过程中保持图像的分辨率不变,也就是,此时目标通道图像中的各个像素点与细胞分割图像中的各个像素点之间是一一对应的关系,则计算机设备可以直接将目标通道图像中的各个像素点的像素值,作为细胞分割图像中各个细胞的细胞膜区域中的各个像素点的染色像素值。
在另一种可能的实现方式中,如果在对显微图像进行色彩通道分解或分割等处理的过程中改变了图像的分辨率,比如降低了分辨率,则计算机设备可以根据分辨率改变前后的比例关系,确定目标通道图像中的各个像素点与细胞分割图像中的各个像素点之间的映射关系,然后根据确定的映射关系,以及目标通道图像中各个像素点的像素值,确定细胞分割图像中各个细胞的细胞膜区域中的各个像素点的染色像素值。
2、对各个细胞的细胞膜区域中的各个像素点的染色像素值进行目标运算,得到各个细胞的细胞膜区域对应的像素值。
示例性地,目标运算可以包括以下任意一种运算:取最大值、取平均值、取均方差等。当目标运算为取最大值时,计算机设备将细胞膜区域中的各个像素点的染色像素值中最大的染色像素值作为细胞膜区域对应的像素值;当目标运算为取平均值时,计算机设备将根据细胞膜区域中的各个像素点的染色像素值计算得到的平均值,作为细胞膜区域对应的像素值;当目标运算为取均方差时,计算机设备将根据细胞膜区域中的各个像素点的染色像素值计算得到的均方差,作为细胞膜区域对应的像素值。
步骤510,根据各个细胞的细胞膜区域对应的像素值,确定各个细胞的细胞类型。
在可能的实现方式中,细胞类型包括阳性细胞或者阴性细胞。计算机设备通过如下方式确定各个细胞的细胞类型:在细胞的细胞膜区域对应的像素值大于第一阈值的情况下,确定该细胞为阳性细胞;在细胞的细胞膜区域对应的像素值小于第一阈值的情况下,确定该细胞为阴性细胞。
在可能的实现方式中,细胞类型包括弱阳性细胞、强阳性细胞、中性细胞、弱阴性细胞、强阴性细胞。此时,计算机设备可以通过如下方式确定各个细胞的细胞类型:在细胞的细胞膜区域对应的像素值等于第二阈值的情况下,确定该细胞为中性细胞;在细胞的细胞膜区域对应的像素值大于第二阈值,且小于第三阈值的情况下,确定该细胞为弱阳性细胞;在细胞的细胞膜区域对应的像素值大于第二阈值,且大于第三阈值的情况下,确定该细胞为强阳性细胞;在细胞的细胞膜区域对应的像素值小于第二阈值,且小于第四阈值的情况下,确定该细胞为强阴性细胞;在细胞的细胞膜区域对应的像素值小于第二阈值,且大于第四阈值的情况下,确定该细胞为弱阴性细胞。其中,第四阈值小于第二阈值小于第三阈值。
当然,在其它可能的实现方式中,细胞类型还可以包括其它类型,本申请实施例对此不作限定。例如,细胞类型包括弱阳性细胞、强阳性细胞、弱阴性细胞、强阴性细胞。
在可能的实现方式中,计算机设备还可以按照各个细胞的细胞类型,对显微图像中的各个细胞进行颜色标记,获得细胞标记图像;并输出该细胞标记图像。示例性地,服务器可以使用红色标记显微图像中的阳性细胞,用绿色标记显微图像中的阴性细胞,得到细胞标记图像。如图7所示,其示出了本申请一个实施例提供的细胞标记图像的示意图。本申请实施例中,可以对显微图像71进行处理,得到细胞标记图像72(附图中仅是以黑白图像进行示例,但是在实际应用过程中,细胞标记图像72为彩色图像)进行输出。
在可能的实现方式中,本申请实施例可以对癌症细胞和淋巴细胞进行处理,如图8中的a部分所示,其示出了对癌症细胞的显微图像81进行处理,得到癌症细胞相关的细胞标记图像82的示意图;如图8中的b部分所示,其示出了对淋巴细胞的显微图像83进行处理,得到淋巴细胞相关的细胞标记图像84的示意图。
在可能的实现方式中,计算机设备还可以统计细胞样本群中的阳性细胞的个数,以及细胞样本群中的阴性细胞的个数;根据细胞样本群中的阳性细胞的个数以及细胞样本群中的阴性细胞的个数,确定细胞样本群中的阳性细胞的比例;并输出该细胞样本群中的阳性细胞的比例。示例性地,细胞样本群中包括a个阳性细胞和b个细胞;则阳性细胞的比例可以通过如下公式确定:a/(a+b),阴性细胞的比例可以通过如下公式确定:b/(a+b)。
在可能的实现方式中,计算机设备同时输出细胞标记图像和阳性细胞的比例。在一个示例中,服务器可以使用红色标记显微图像中的阳性细胞,用绿色标记显微图像中的阴性细胞,得到细胞标记图像;将计算出的阳性细胞的比例叠加在上述细胞标记图像上。服务器将上述叠加了阳性细胞的比例的细胞标记图像发送给终端,由终端进行展示;在另一个示例中,终端可以使用红色标记显微图像中的阳性细胞,用绿色标记显微图像中的阴性细胞,得到细胞标记图像;将计算出的阳性细胞的比例叠加在上述细胞标记图像上,然后直接展示该图像。
综上所述,本申请实施例提供的技术方案中,通过细胞膜区域确定细胞类型,使得最终确定的细胞类型更准确,进而使得最终确定的阳性细胞的比例更准确,提高了医学诊断的准确率。
在可能的实现方式中,上述图2或者图5所示的方案可以实现为通过软件接口的方式对外提供服务,也就是说,用户(比如医生)可以通过终端访问提供细胞分割服务的软件接口,向该软件接口输入显微图像,并接收该细胞分割服务通过软件接口返回的细胞分割图像。
其中,上述细胞分割服务可以运行在终端侧(即终端单独执行上述图2或图5所示的步骤),也可以在服务器端执行(即服务器端执行上述图2或者图5所示的步骤,并将细胞分割图像返回给终端)。
以上述图2或者图5所示的方案应用于细胞样本群中包括PD-L1的场景为例,请参考图9,其示出了本申请一个实施例提供的基于显微图像的细胞分割方法的流程框架图。如图9所示,其包括如下几个步骤:
步骤901,通过细胞检测模型对显微图像进行处理,得到中心点图像,中心点图像中包括细胞样本群中的各个细胞的中心点。
步骤902,通过细胞分割模型基于中心点图像对显微图像进行分割处理,得到细胞核初始分割图像,细胞核初始分割图像中包括各个细胞的初始细胞核区域。
步骤903,通过分水岭分割算法基于中心点图像对细胞核初始分割图像进行分割处理,得到细胞分割图像。
步骤904,对显微图像进行色彩通道分解,获得目标色彩空间对应的目标通道图像。
步骤905,根据目标通道图像和细胞分割图像,确定各个细胞的细胞类型。
需要说明的是,步骤901和步骤904可以同时执行;也可以先执行步骤904,再执行步骤901;或者还可以先执行步骤901再执行步骤904,本申请实施例对此不作限定。
在可能的实现方式中,本申请实施例还提供了一种基于显微图像的细胞分割系统,该系统可以包括显微镜以及计算机设备。
其中,该计算机设备可以用于执行上述图2、图5或者图9所示的基于显微图像的细胞分割方法中的全部或部分步骤。
示例性地,上述显微镜可以是在传统的光学显微镜上整合了计算处理、网络通信、图像采集以及图形显示等功能的执行显微镜。例如,该显微镜可以是图1所示系统中的显微镜120,计算机设备可以是如图1所示系统中的终端140或者服务器160。
在示意性实施例中,计算机设备可以对外提供软件接口,上述显微镜与计算机设备之间通过软件接口进行数据交互,即计算机设备通过软件接口的形式对显微镜提供服务。
例如,上述显微镜可以通过上述软件接口向计算机设备发送显微图像,相应地,计算机设备通过该软件接口接收显微镜发送的显微图像。计算机设备识别对该显微图像进行分割,得到细胞分割图像后,通过软件接口向该显微镜返回细胞分割图像;相应地,显微镜通过该软件接口接收上述细胞分割图像之后,即可以在显微镜的目镜中展示该细胞分割图像。
又例如,计算机设备可以通过软件接口向显微镜返回叠加有阳性细胞的比例的细胞标记图像,细胞标记图像是按照细胞类型对显微图像中的各个细胞进行颜色标记获得的图像;相应地,显微镜通过软件接口接收上述叠加有阳性细胞的比例的细胞标记图像之后,在显微镜的目镜中展示该叠加有阳性细胞的比例的细胞标记图像。
以细胞样本群中包括PD-L1为例,医生将细胞样本群置于显微镜的物镜上,并将显微镜的切片视野切换至PD-L1切片视野,此时,显微镜通过目镜内的图像采集组件采集PD-L1切片视野下的显微图像,并将显微图像通过软件接口传输给计算机设备,计算机设备通过上述各个方法实施例所示的方案进行细胞分割,获得细胞标记图像和阳性细胞的比例后,将细胞标记图像和阳性细胞的比例返回给显微镜,显微镜即可以在目镜中展示叠加有阳性细胞的比例的细胞标记图像。医生可以在通过显微镜观察细胞样本群时,在较短的延时内即可以观察到阳性细胞的识别结果,医生可以对细胞样本群以及细胞分割结果进行同步查看,从而实现“所见即所得”的效果,能够极大的提高医生的诊断效率。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图10,其示出了本申请一个实施例提供的基于显微图像的细胞分割装置的框图。该装置具有实现上述方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置1000可以包括:图像获取模块1010、图像识别模块1020、图像分割模块1030、图像确定模块1040。
图像获取模块1010,用于获取经过染色的细胞样本群在显微镜视野下的显微图像;
图像识别模块1020,用于对所述显微图像进行中心点识别处理,得到中心点图像,所述中心点图像中包括所述细胞样本群中的各个细胞的中心点;
图像分割模块1030,用于基于所述中心点图像对所述显微图像进行分割处理,得到细胞核初始分割图像,所述细胞核初始分割图像中包括所述各个细胞的初始细胞核区域;
所述图像分割模块1030,还用于基于所述中心点图像和所述细胞核初始分割图像,得到细胞核最终分割图像和细胞膨胀图像;其中,所述细胞核最终分割图像中包括所述各个细胞的最终细胞核区域,所述细胞膨胀图像中包括所述各个细胞的细胞核膨胀区域;
图像确定模块1040,用于基于所述细胞最终分割图像和所述细胞膨胀图像,得到细胞分割图像,所述细胞分割图像中包括所述各个细胞的细胞膜区域。
综上所述,本申请实施例提供的技术方案中,通过基于各个细胞的中心点对经过染色的细胞样本群在显微镜视野下的显微图像进行分割处理,得到各个细胞的初始细胞核区域;然后再基于各个细胞的中心点和初始细胞核区域,得到最终细胞核区域和细胞核膨胀区域;最后基于最终细胞核区域和细胞核膨胀区域,得到细胞的细胞膜区域。本申请实施例最终确定出了细胞膜区域,细胞膜区域能更准确代表一个细胞的连通区域,从而能更准确地反映实际细胞的大小,本申请实施例提高了最终确定的各个细胞的连通区域的准确性。
在示意性实施例中,所述图像分割模块1030,用于:
以所述中心点图像中的所述各个细胞的中心点为基准,在所述细胞核初始分割图像中的所述各个细胞的初始细胞核区域内进行像素点迭代,得到所述细胞核最终分割图像;
对所述细胞核初始分割图像进行区域膨胀处理,获得所述细胞膨胀图像。
在示意性实施例中,所述图像确定模块1040,用于:
以所述细胞核最终分割图像中的所述各个细胞的最终细胞核区域为基准,在所述细胞膨胀图像中的所述各个细胞的细胞核膨胀区域内进行像素点迭代,得到所述细胞分割图像。
在示意性实施例中,所述细胞核最终分割图像满足第一迭代停止条件,所述第一迭代停止条件包括以下至少一项:所述最终细胞核区域的边缘像素点为至少两个细胞的中心点在第n次迭代过程中存在的相同的迭代像素点、所述最终细胞核区域的边缘像素点与所述初始细胞核区域的边缘像素点存在重叠,所述n为正整数。
在示意性实施例中,所述细胞分割图像满足第二迭代停止条件,所述第二迭代停止条件包括以下至少一项:所述细胞膜区域的边缘像素点为至少两个细胞的最终细胞核区域在第m次迭代过程中存在的相同的迭代像素点、所述细胞膜区域的边缘像素点与所述细胞核膨胀区域的边缘像素点存在重叠,所述m为正整数。
在示意性实施例中,所述图像分割模块1030,用于:
通过细胞分割模型基于所述中心点图像确定所述各个细胞的中心点在所述显微图像中的位置;
基于所述各个细胞的中心点在所述显微图像中的位置,对所述显微图像进行分割处理,得到所述细胞核初始分割图像。
在示意性实施例中,所述方法,还包括:图像分解模块、像素值确定模块和类型确定模块(图中未示出)。
图像分解模块,用于对所述显微图像进行色彩通道分解,获得目标色彩空间对应的目标通道图像;
像素值确定模块,用于根据所述目标通道图像中的各个像素点的像素值,确定所述细胞分割图像中所述各个细胞的细胞膜区域对应的像素值;
类型确定模块,用于根据所述各个细胞的细胞膜区域对应的像素值,确定所述各个细胞的细胞类型。
在示意性实施例中,所述细胞类型包括阳性细胞和阴性细胞;
所述类型确定模块,用于:
在所述细胞的细胞膜区域对应的像素值大于第一阈值的情况下,确定所述细胞为所述阳性细胞;
在所述细胞的细胞膜区域对应的像素值小于第一阈值的情况下,确定所述细胞为所述阴性细胞。
在示意性实施例中,所述像素值确定模块,用于:
基于像素映射关系和所述目标通道图像中的各个像素点的像素值,确定所述各个细胞的细胞膜区域中的各个像素点的染色像素值,所述像素映射关系是指所述目标通道图像中的各个像素点与所述细胞分割图像中的各个像素点之间的映射关系;
对所述各个细胞的细胞膜区域中的各个像素点的染色像素值进行目标运算,得到所述各个细胞的细胞膜区域对应的像素值。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内容结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图11,其示出了本申请一个实施例提供的服务器1100的结构示意图。该服务器1100可用于实施上述实施例中提供的基于显微图像的细胞分割方法。该服务器1100可以是图1实施例中介绍的服务器160。具体来讲:
所述服务器1100包括中央处理单元(Central Processing Unit,CPU)1101、包括RAM(Random Access Memory,随机存取存储器)1102和ROM(Read-Only Memory,只读存储器)1103的系统存储器1104,以及连接系统存储器1104和中央处理单元1101的系统总线1105。所述服务器1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统,Input/Output系统)1106,和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
所述基本输入/输出系统1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中所述显示器1108和输入设备1109都通过连接到系统总线1105的输入输出控制器1110连接到中央处理单元1101。所述基本输入/输出系统1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1107通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为服务器1100提供非易失性存储。也就是说,所述大容量存储设备1107可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory,只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存(Flash Memory)或其他固态存储设备,CD-ROM、DVD(Digital Versatile Disc,数字通用光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。
根据本申请的各种实施例,所述服务器1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1100可以通过连接在所述系统总线1105上的网络接口单元1111连接到网络1112,或者说,也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于实现上述基于显微图像的细胞分割方法的指令。
在示意性实施例中,还提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行,以实现上述基于显微图像的细胞分割方法。
在示意性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时实现上述基于显微图像的细胞分割方法。
可选地,上述计算机可读存储介质可以是ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、CD-ROM(Compact Disc Read-OnlyMemory,只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述基于显微图像的细胞分割方法。
应当理解的是,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。