获取生物组织图像的方法、装置、电子设备及存储介质
技术领域
本公开涉及医疗技术领域,具体涉及一种获取生物组织图像的方法、装置、电子设备及存储介质。
背景技术
现有技术中,基于电子显微镜观察生物组织样本的一般操作流程为:将生物组织样本通过特定方法制作为超薄样品切片,并将多组样品切片放置于特制电镜载网上,通过透射电镜以低倍数观察并定位感兴趣区域,然后以高倍数观察或拍图对相关组织进行定性定量的分析。上述操作流程一般为人工操作,耗费时间长且对操作人员操作电镜具有较高的要求,例如,需要操作人员具备电镜原理等相关知识以及熟练操作电镜等相关经验。
发明内容
为了解决相关技术中的问题,本公开实施例提供一种获取生物组织图像的方法、装置、电子设备及存储介质。
第一方面,本公开实施例中提供了一种获取生物组织图像的方法。
具体地,所述获取生物组织图像的方法,包括:
控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在所述第一扫描图像中定位一个或多个目标生物样品切片,输出所述目标生物样品切片的位置信息和尺寸信息;
根据所述目标生物样品切片的位置信息和尺寸信息,控制所述扫描透射电镜通过扫描模式以中放大倍数获取针对所述一个或多个目标生物样品切片的第二扫描图像,在所述第二扫描图像中定位一个或多个目标生物组织,输出所述目标生物组织的位置信息;
根据所述目标生物组织的位置信息,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取针对所述目标生物组织的第三扫描图像,所述第三扫描图像包括所述目标生物组织的内部组织特征。
可选地,所述控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在所述第一扫描图像中定位一个或多个目标生物样品切片,输出所述目标生物样品切片的位置信息和尺寸信息,包括:
将所述扫描透射电镜载网中心位置确定为第一成像中心位置;
根据所述第一成像中心位置,以低放大倍数获取所述第一扫描图像,其中,所述第一扫描图像包括第一预设范围的预选生物样品切片;
通过第一图像处理算法确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接图形;
根据所述第一成像中心位置以及所述预选生物样品切片的中心像素位置,定位一组或多组所述目标生物样品切片;
基于所述目标生物样品切片的中心像素位置以及包含所述目标生物样品切片的最小外接图形,输出所述目标生物样品切片的位置信息和尺寸信息。
可选地,所述通过第一图像处理算法确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接图形,包括:
基于灰度直方图的多阈值分割算法对所述第一扫描图像进行阈值分割处理,获取第一处理扫描图像;
通过Canny边缘检测算法对所述第一处理扫描图像进行边缘检测处理,获取第二处理扫描图像;
基于所述第二处理扫描图像,提取所述预选生物样品切片;
基于所述预选生物样品切片的边缘像素位置,确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接矩形。
可选地,所述基于灰度直方图的多阈值分割算法对所述第一扫描图像进行阈值分割处理,获取第一处理扫描图像,包括:
根据所述第一扫描图像的灰度直方图分布数据,确定所述第一扫描图像的初始阈值以及对应的初始区域;
基于预设合并标准,根据所述初始阈值合并所述初始阈值对应的初始区域,获取候选阈值以及对应的候选区域;
比较所述候选阈值的数量与预设阈值的数量;
响应于所述候选阈值的数量小于或等于所述预设阈值的数量,停止合并操作,获取阈值分割后的第一扫描图像;
将所述阈值分割后的第一扫描图像进行图像二值化处理,获取第一处理扫描图像。
可选地,所述通过Canny边缘检测算法对所述第一处理扫描图像进行边缘检测处理,获取第二处理扫描图像,包括:
通过高斯滤波器对所述第一处理扫描图像进行去噪处理;
计算去燥处理后的所述第一处理扫描图像中的每个像素点的梯度强度和方向;
根据所述像素点的梯度方向,对所述像素点的梯度强度进行非极大值抑制,获取所述第二处理扫描图像。
可选地,所述基于所述第二处理扫描图像,提取所述预选生物样品切片,包括:
基于所述第二处理扫描图像,确定多个轮廓信息,所述轮廓信息包括轮廓面积;
比较所述轮廓面积与预设轮廓面积,所述预设轮廓面积大于铜网内圆轮廓面积,小于所述预选生物样品切片的轮廓面积;
响应于所述轮廓面积大于或等于预设轮廓面积,将所述轮廓信息确定为所述预选生物样品切片的轮廓信息;
基于所述预选生物样品切片的轮廓信息提取所述预选生物样品切片。
可选地,所述根据所述第一成像中心位置以及所述预选生物样品切片的中心像素位置,定位一组或多组所述目标生物样品切片,包括:
计算所述第一成像中心位置以及所述预选生物样品切片的中心像素位置之间的距离;
将所述距离小于预设距离的所述预选生物样品切片确定为所述目标生物样品切片。
可选地,所述根据所述目标生物样品切片的位置信息和尺寸信息,控制所述扫描透射电镜通过扫描模式以中放大倍数获取针对所述一个或多个目标生物样品切片的第二扫描图像,在所述第二扫描图像中定位一个或多个目标生物组织,输出所述目标生物组织的位置信息,包括:
将所述目标生物样品切片中心像素位置确定为第二成像中心位置;
根据所述第二成像中心位置和所述目标生物样品切片的最小外接图形,控制所述扫描透射电镜通过扫描模式以中放大倍数获取所述第二扫描图像,其中,所述第二扫描图像包括所述目标生物样品切片的最小外接图形;
在所述第二扫描图像中定位一个或多个所述目标生物组织;
通过第二图像处理算法确定所述目标生物组织的位置信息;
输出所述目标生物组织的位置信息。
可选地,所述通过第二图像处理算法确定所述目标生物组织的位置信息,包括:
通过训练好的Mask R-CNN模型确定所述目标生物组织的边缘像素坐标;
基于所述目标生物组织的边缘像素坐标确定所述目标生物组织的中心位置。
可选地,所述Mask R-CNN模型训练过程包括:
获取训练样本,所述训练样本包括生物组织以及所述生物组织的边缘像素坐标;
基于所述训练样本训练所述Mask R-CNN模型,获取训练好的所述Mask R-CNN模型。
可选地,所述根据所述目标生物组织的位置信息,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取针对所述目标生物组织的第三扫描图像,包括:
将所述目标生物组织的中心位置确定为第三成像中心位置;
在所述第三成像中心位置周围确定预设数量网格位置;
根据所述预设数量网格位置,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取多张所述第三扫描图像。
第二方面,本公开实施例中提供了一种获取生物组织图像的装置。
具体地,所述获取生物组织图像的装置,包括:
第一定位模块,被配置为控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在所述第一扫描图像中定位一个或多个目标生物样品切片,输出所述目标生物样品切片的位置信息和尺寸信息;
第二定位模块,被配置为根据所述目标生物样品切片的位置信息和尺寸信息,控制所述扫描透射电镜通过扫描模式以中放大倍数获取针对所述一个或多个目标生物样品切片的第二扫描图像,在所述第二扫描图像中定位一个或多个目标生物组织,输出所述目标生物组织的位置信息;
获取模块,被配置为根据所述目标生物组织的位置信息,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取针对所述目标生物组织的第三扫描图像,所述第三扫描图像包括所述目标生物组织的内部组织特征。
可选地,所述控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在所述第一扫描图像中定位一个或多个目标生物样品切片,输出所述目标生物样品切片的位置信息和尺寸信息,包括:
将所述扫描透射电镜载网中心位置确定为第一成像中心位置;
根据所述第一成像中心位置,以低放大倍数获取所述第一扫描图像,其中,所述第一扫描图像包括第一预设范围的预选生物样品切片;
通过第一图像处理算法确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接图形;
根据所述第一成像中心位置以及所述预选生物样品切片的中心像素位置,定位一组或多组所述目标生物样品切片;
基于所述目标生物样品切片的中心像素位置以及包含所述目标生物样品切片的最小外接图形,输出所述目标生物样品切片的位置信息和尺寸信息。
可选地,所述通过第一图像处理算法确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接图形,包括:
基于灰度直方图的多阈值分割算法对所述第一扫描图像进行阈值分割处理,获取第一处理扫描图像;
通过Canny边缘检测算法对所述第一处理扫描图像进行边缘检测处理,获取第二处理扫描图像;
基于所述第二处理扫描图像,提取所述预选生物样品切片;
基于所述预选生物样品切片的边缘像素位置,确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接矩形。
可选地,所述基于灰度直方图的多阈值分割算法对所述第一扫描图像进行阈值分割处理,获取第一处理扫描图像,包括:
根据所述第一扫描图像的灰度直方图分布数据,确定所述第一扫描图像的初始阈值以及对应的初始区域;
基于预设合并标准,根据所述初始阈值合并所述初始阈值对应的初始区域,获取候选阈值以及对应的候选区域;
比较所述候选阈值的数量与预设阈值的数量;
响应于所述候选阈值的数量小于或等于所述预设阈值的数量,停止合并操作,获取阈值分割后的第一扫描图像;
将所述阈值分割后的第一扫描图像进行图像二值化处理,获取第一处理扫描图像。
可选地,所述通过Canny边缘检测算法对所述第一处理扫描图像进行边缘检测处理,获取第二处理扫描图像,包括:
通过高斯滤波器对所述第一处理扫描图像进行去噪处理;
计算去燥处理后的所述第一处理扫描图像中的每个像素点的梯度强度和方向;
根据所述像素点的梯度方向,对所述像素点的梯度强度进行非极大值抑制,获取所述第二处理扫描图像。
可选地,所述基于所述第二处理扫描图像,提取所述预选生物样品切片,包括:
基于所述第二处理扫描图像,确定多个轮廓信息,所述轮廓信息包括轮廓面积;
比较所述轮廓面积与预设轮廓面积,所述预设轮廓面积大于铜网内圆轮廓面积,小于所述预选生物样品切片的轮廓面积;
响应于所述轮廓面积大于或等于预设轮廓面积,将所述轮廓信息确定为所述预选生物样品切片的轮廓信息;
基于所述预选生物样品切片的轮廓信息提取所述预选生物样品切片。
可选地,所述根据所述第一成像中心位置以及所述预选生物样品切片的中心像素位置,定位一组或多组所述目标生物样品切片,包括:
计算所述第一成像中心位置以及所述预选生物样品切片的中心像素位置之间的距离;
将所述距离小于预设距离的所述预选生物样品切片确定为所述目标生物样品切片。
可选地,所述根据所述目标生物样品切片的位置信息和尺寸信息,控制所述扫描透射电镜通过扫描模式以中放大倍数获取针对所述一个或多个目标生物样品切片的第二扫描图像,在所述第二扫描图像中定位一个或多个目标生物组织,输出所述目标生物组织的位置信息,包括:
将所述目标生物样品切片中心像素位置确定为第二成像中心位置;
根据所述第二成像中心位置和所述目标生物样品切片的最小外接图形,控制所述扫描透射电镜通过扫描模式以中放大倍数获取所述第二扫描图像,其中,所述第二扫描图像包括所述目标生物样品切片的最小外接图形;
在所述第二扫描图像中定位一个或多个所述目标生物组织;
通过第二图像处理算法确定所述目标生物组织的位置信息;
输出所述目标生物组织的位置信息。
可选地,所述通过第二图像处理算法确定所述目标生物组织的位置信息,包括:
通过训练好的Mask R-CNN模型确定所述目标生物组织的边缘像素坐标;
基于所述目标生物组织的边缘像素坐标确定所述目标生物组织的中心位置。
可选地,所述Mask R-CNN模型训练过程包括:
获取训练样本,所述训练样本包括生物组织以及所述生物组织的边缘像素坐标;
基于所述训练样本训练所述Mask R-CNN模型,获取训练好的所述Mask R-CNN模型。
可选地,所述根据所述目标生物组织的位置信息,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取针对所述目标生物组织的第三扫描图像,包括:
将所述目标生物组织的中心位置确定为第三成像中心位置;
在所述第三成像中心位置周围确定预设数量网格位置;
根据所述预设数量网格位置,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取多张所述第三扫描图像。
第三方面,本公开实施例提供了一种电子设备,包括存储器和处理器,其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现如第一方面、第一方面的第一种实现方式至第十一种实现方式任一项所述的方法。
第四方面,本公开实施例中提供了一种计算机可读存储介质,其上存储有计算机指令,该计算机指令被处理器执行时实现如第一方面、第一方面的第一种实现方式至第十一种实现方式任一项所述的方法。
根据本公开实施例提供的技术方案,控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在第一扫描图像中定位一个或多个目标生物样品切片,并输出目标生物样品切片的位置信息和尺寸信息,然后根据目标生物样品切片的位置信息和尺寸信息,控制扫描透射电镜通过扫描模式以中放大倍数获取针对一个或多个目标生物样品切片的第二扫描图像,在第二扫描图像中定位一个或多个目标生物组织,并输出目标生物组织的位置信息,根据目标生物组织的位置信息,控制扫描透射电镜通过扫描透射模式以高放大倍数获取针对目标生物组织的第三扫描图像,第三扫描图像包括目标生物组织的内部组织特征。本公开实施例可以实现自动定位目标生物样品切片和目标生物组织,并且自动获取包括目标生物组织的内部组织特征的图像,从而实现了自动化的操作流程,避免了人工操作所引起的人工成本以及耗时长的技术问题。同时,采用扫描模式自动定位目标生物样品切片和目标生物组织,避免了获取的目标生物样品切片和目标生物组织信息中包括载网的信息,从而实现了快速且准确的生物组织自动化定位。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
结合附图,通过以下非限制性实施方式的详细描述,本公开的其它特征、目的和优点将变得更加明显。在附图中:
图1示出根据本公开实施例的获取生物组织图像的方法的流程图;
图2示出根据本公开的实施例控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在所述第一扫描图像中定位一个或多个目标生物样品切片,输出所述目标生物样品切片的位置和尺寸信息的流程图;
图3示出根据本公开的实施例通过第一图像处理算法确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接图形的流程图;
图4示出根据本公开的实施例基于灰度直方图的多阈值分割算法对所述第一扫描图像进行阈值分割处理,获取第一处理扫描图像的流程图;
图5示出根据本公开的实施例通过Canny边缘检测算法对所述第一处理扫描图像进行边缘检测处理,获取第二处理扫描图像的流程图;
图6示出根据本公开的实施例基于所述第二处理扫描图像,提取所述预选生物样品切片的流程图;
图7示出根据本公开的实施例根据所述第一成像中心位置以及所述预选生物样品切片的中心像素位置,定位一组或多组所述目标生物样品切片的流程图;
图8示出根据本公开的实施例根据所述目标生物样品切片的位置信息和尺寸信息,控制所述扫描透射电镜通过扫描模式以中放大倍数获取针对所述一个或多个目标生物样品切片的第二扫描图像,在所述第二扫描图像中定位一个或多个目标生物组织,输出所述目标生物组织的位置信息的流程图;
图9示出根据本公开的实施例通过第二图像处理算法确定所述目标生物组织的位置信息的流程图;
图10示出根据本公开的实施例Mask R-CNN模型训练过程的流程图;
图11示出根据本公开的实施例根据所述目标生物组织的位置信息,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取针对所述目标生物组织的第三扫描图像的流程图;
图12A-12C示出根据本公开的实施例的获取生物组织图像的方法的示意图;
图13示出根据本公开的实施例的获取生物组织图像的装置1300的结构框图;
图14示出根据本公开的实施例的电子设备的结构框图;
图15示出适于用来实现根据本公开实施例的获取生物组织图像的方法的计算机系统的结构示意图。
具体实施方式
下文中,将参考附图详细描述本公开的示例性实施例,以使本领域技术人员可容易地实现它们。此外,为了清楚起见,在附图中省略了与描述示例性实施例无关的部分。
在本公开中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
如上文所述,现有技术在对生物组织样本进行观察的过程中,人工操作耗时较长,且对操作人员操作电镜具有较高的要求。此外,针对生物组织样本采用载网放置,而载网在透射电镜观察中会造成生物组织样本信息丢失,从而难以实现自动化定位生物组织。
为解决发明人发现的现有技术中的问题而提出本公开。
图1示出根据本公开实施例的获取生物组织图像的方法的流程图。如图1所示,所述获取生物组织图像的方法包括以下步骤S101-S103:
在步骤S101中,控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在所述第一扫描图像中定位一个或多个目标生物样品切片,输出所述目标生物样品切片的位置信息和尺寸信息;
在步骤S102中,根据所述目标生物样品切片的位置信息和尺寸信息,控制所述扫描透射电镜通过扫描模式以中放大倍数获取针对所述一个或多个目标生物样品切片的第二扫描图像,在所述第二扫描图像中定位一个或多个目标生物组织,输出所述目标生物组织的位置信息;
在步骤S103中,根据所述目标生物组织的位置信息,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取针对所述目标生物组织的第三扫描图像,所述第三扫描图像包括所述目标生物组织的内部组织特征。
根据本公开的实施例,可以将多组生物组织样品切片放置于扫描透射电镜的载网上,其中扫描透射电镜包括扫描模式和扫描透射模式。由于生物组织样品切片尺寸大于载网中的铜网内圆尺寸,为了避免载网对生物组织样品切片成像的影响,可以控制扫描透射电镜通过扫描模式对载网正面进行扫描成像,以低放大倍数获取大视野的第一扫描图像。通过第一扫描图像定位一个或多个目标生物样品切片,确定并输出每个目标生物样品切片的位置信息和尺寸信息,从而实现自动定位目标生物样品切片。
根据本公开的实施例,由于目标生物样品切片尺寸大于铜网内圆尺寸,为了避免载网对目标生物组织样品切片成像的影响,可以控制扫描透射电镜通过扫描模式对载网正面进行扫描成像,以中放大倍数获取针对一个或多个目标生物样品切片的第二扫描图像。具体地,可以根据目标生物样品切片的位置信息确定扫描透射电镜的成像中心,可以根据目标生物样品切片的尺寸信息确定成像视野,即第二扫描图像可以包括一个或多个目标生物样品切片的完整尺寸信息,且通过目标生物样品切片可以定位一个或多个目标生物组织,其中,目标生物组织可以包括以下任意一种:肾小球组织、神经元组织或肌纤维组织等。可以根据不同目标生物组织的不同特点,采用相应的图像处理算法确定目标生物组织的位置信息,并输出目标生物组织的位置信息,从而实现自动定位目标生物组织。
根据本公开的实施例,由于目标生物组织的尺寸小于铜网内圆尺寸,且相较于扫描模式,扫描透射模式具有更高的分辨率,因此,可以控制扫描透射电镜通过扫描透射模式以高放大倍数获取针对目标生物组织的第三扫描图像。具体地,可以根据目标生物组织的位置信息确定扫描透射电镜的成像中心,并根据目标生物组织的位置信息,对定位的目标生物组织进行放大成像并自动获取多张第三扫描图像,其中,第三扫描图像包括目标生物组织的内部组织特征,以便于相关工作人员可以根据第三扫描图像中的内部组织特征对目标生物组织进行进一步的观察和分析。
根据本公开实施例提供的技术方案,控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在第一扫描图像中定位一个或多个目标生物样品切片,并输出目标生物样品切片的位置信息和尺寸信息,然后根据目标生物样品切片的位置信息和尺寸信息,控制扫描透射电镜通过扫描模式以中放大倍数获取针对一个或多个目标生物样品切片的第二扫描图像,在第二扫描图像中定位一个或多个目标生物组织,并输出目标生物组织的位置信息,根据目标生物组织的位置信息,控制扫描透射电镜通过扫描透射模式以高放大倍数获取针对目标生物组织的第三扫描图像,第三扫描图像包括目标生物组织的内部组织特征。本公开实施例可以实现自动定位目标生物样品切片和目标生物组织,并且自动获取包括目标生物组织的内部组织特征的图像,从而实现了自动化的操作流程,避免了人工操作所引起的人工成本以及耗时长的技术问题。同时,采用扫描模式自动定位目标生物样品切片和目标生物组织,避免了获取的目标生物样品切片和目标生物组织信息中包括载网的信息,从而实现了快速且准确的生物组织自动化定位和成像。
图2示出根据本公开的实施例控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在所述第一扫描图像中定位一个或多个目标生物样品切片,输出所述目标生物样品切片的位置和尺寸信息的流程图。如图2所示,所述步骤S101,即控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在所述第一扫描图像中定位一个或多个目标生物样品切片,输出所述目标生物样品切片的位置和尺寸信息,包括以下步骤S201-S205:
在步骤S201中,将所述扫描透射电镜载网中心位置确定为第一成像中心位置;
在步骤S202中,根据所述第一成像中心位置,以低放大倍数获取所述第一扫描图像,其中,所述第一扫描图像包括第一预设范围的预选生物样品切片;
在步骤S203中,通过第一图像处理算法确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接图形;
在步骤S204中,根据所述第一成像中心位置以及所述预选生物样品切片的中心像素位置,定位一组或多组所述目标生物样品切片;
在步骤S205中,基于所述目标生物样品切片的中心像素位置以及包含所述目标生物样品切片的最小外接图形,输出所述目标生物样品切片的位置和尺寸信息。
根据本公开的实施例,在确定扫描透射电镜的第一成像中心时,可以选择扫描透射电镜载网中心位置作为第一成像中心,也可以选择扫描透射电镜载网中心周围第一预设距离的任意一点作为第一成像中心,其中,第一预设距离可以根据实际需要进行选择,本公开对其不做具体限定。可以根据第一成像中心位置,控制扫描透射电镜以低放大倍数获取第一扫描图像,其中,扫描透射电镜的成像视野内包括第一预设范围的预选生物样品切片,且第一扫描图像中的预选生物样品切片的边缘清晰可见。本公开对第一预设范围不做具体限定,例如,第一预设范围可以为60%~80%。
根据本公开的实施例,可以根据不同的生物组织样品切片,采用相应的第一图像处理算法确定预选生物样品切片的中心像素位置以及包含预选生物样品切片的最小外接图形,本公开对第一图像处理算法不做具体限定,例如,可以为深度学习算法或传统形态学图像算法等;本公开对最小外接图形不做具体限定,例如,可以为最小外接矩形。
根据本公开的实施例,确定预选生物样品切片的中心像素位置之后,可以根据第一成像中心位置以及预选生物样品切片的中心像素位置的距离关系,在多组预选生物样品切片中选择一组或多组预选生物样品切片,确定为目标生物样品切片。确定了目标生物样品切片之后,可以基于目标生物样品切片的中心像素位置,确定并输出目标生物样品切片的位置信息;可以基于包含目标生物样品切片的最小外接图形,确定并输出目标生物样品切片的尺寸信息。
图3示出根据本公开的实施例通过第一图像处理算法确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接图形的流程图。如图3所示,所述步骤S203,即通过第一图像处理算法确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接图形,包括以下步骤S301-S304:
在步骤S301中,基于灰度直方图的多阈值分割算法对所述第一扫描图像进行阈值分割处理,获取第一处理扫描图像;
在步骤S302中,通过Canny边缘检测算法对所述第一处理扫描图像进行边缘检测处理,获取第二处理扫描图像;
在步骤S303中,基于所述第二处理扫描图像,提取所述预选生物样品切片;
在步骤S304中,基于所述预选生物样品切片的边缘像素位置,确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接矩形。
由于第一扫描图像为灰度图像,且预选生物样品切片与载网之间的灰度差不明显,倘若采用传统的阈值分割算法,比如,迭代法或双峰法等,很难实现预选生物样品切片与背景的分离。根据本公开的实施例,可以采用灰度直方图的多阈值分割算法对第一扫描图像进行阈值分割处理,从而获取第一处理扫描图像。
根据本公开的实施例,经过上述多阈值分割算法获取的第一处理扫描图像中,部分预选生物样品切片的边缘可能存在锯齿现象,可以采用Canny边缘检测算法对第一处理扫描图像进行边缘检测处理,获取第二处理扫描图像,并基于第二处理扫描图像提取一组或多组预选生物样品切片。
根据本公开的实施例,提取一组或多组预选生物样品切片之后,可以分别确定任意一组预选生物样品切片的边缘像素位置。可以对预选生物样品切片的边缘像素位置求均值,从而确定预选生物样品切片的中心像素位置,还可以根据预选生物样品切片的边缘像素位置确定包含预选生物样品切片的最小外接矩形。
图4示出根据本公开的实施例基于灰度直方图的多阈值分割算法对所述第一扫描图像进行阈值分割处理,获取第一处理扫描图像的流程图。如图4所示,所述步骤S301,即基于灰度直方图的多阈值分割算法对所述第一扫描图像进行阈值分割处理,获取第一处理扫描图像,包括以下步骤S401-S405:
在步骤S401中,根据所述第一扫描图像的灰度直方图分布数据,确定所述第一扫描图像的初始阈值以及对应的初始区域;
在步骤S402中,基于预设合并标准,根据所述初始阈值合并所述初始阈值对应的初始区域,获取候选阈值以及对应的候选区域;
在步骤S403中,比较所述候选阈值的数量与预设阈值的数量;
在步骤S404中,响应于所述候选阈值的数量小于或等于所述预设阈值的数量,停止合并操作,获取阈值分割后的第一扫描图像;
在步骤S405中,将所述阈值分割后的第一扫描图像进行图像二值化处理,获取第一处理扫描图像。
根据本公开的实施例,由于第一扫描图像为灰度图,根据第一扫描图像的灰度直方图分布数据,可以将第一扫描图像的256个灰度级别确定为原始阈值,直方图被初始化为256个大小为1的初始区域。
根据本公开的实施例,可以确定区域的预设合并标准。由于第一扫描图像的灰度直方图分布数据采用概率代表灰度直方图中的信息量,即区域中包含的信息量越少,概率越小,因此,选择信息量少的区域实际上就是选取概率小的区域。可以采用方差和概率相结合的方式,用此信息作为选择要合并区域的标准,比如,定义预设合并标准条件值F为方差和概率的乘积。
根据本公开的实施例,基于预设合并标准,计算256个初始区域的F值,确定最小F值所对应的原始阈值以及原始区域,在第一次迭代中减少一个原始阈值,即最小F值所对应的原始阈值,可以获取255个候选阈值。比较最小F值所对应的原始区域的相邻两个区域,将次小F值所对应的初始区域与最小F值所对应的原始区域进行合并,并重新计算合并之后新区域的F值,可以获取255个候选区域。重复上述步骤,在每一次迭代过程中减少一个最小F值所对应的候选阈值,并将该减少的候选阈值所对应的候选区域与次小F值所对应的候选区域进行合并,同时比较剩下的候选阈值的数量与预设阈值的数量,本公开对预设阈值的数量不做具体限定,可以根据实际需要进行确定。
根据本公开的实施例,若剩下的候选阈值的数量大于预设阈值的数量,继续执行上述迭代操作,即合并操作;若剩下的候选阈值的数量小于或等于预设阈值的数量,停止合并操作,获取阈值分割后的第一扫描图像。可以将阈值分割后的第一扫描图像进行图像二值化处理,获取第一处理扫描图像,其中,第一处理扫描图像为黑白图像。
图5示出根据本公开的实施例通过Canny边缘检测算法对所述第一处理扫描图像进行边缘检测处理,获取第二处理扫描图像的流程图。如图5所示,所述步骤S302,即通过Canny边缘检测算法对所述第一处理扫描图像进行边缘检测处理,获取第二处理扫描图像,包括以下步骤S501-S503:
在步骤S501中,通过高斯滤波器对所述第一处理扫描图像进行去噪处理;
在步骤S502中,计算去燥处理后的所述第一处理扫描图像中的每个像素点的梯度强度和方向;
在步骤S503中,根据所述像素点的梯度方向,对所述像素点的梯度强度进行非极大值抑制,获取所述第二处理扫描图像。
根据本公开的实施例,可以通过高斯滤波器对第一处理扫描图像进行去噪处理,获取平滑的第一处理扫描图像。可以计算平滑的第一处理扫描图像中每个像素点的梯度强度和方向,并根据像素点的梯度方向,应用非极大值消除边缘检测带来的杂散响应,完成第一处理扫描图像的边缘检测,即去掉第一处理扫描图像中预选生物样品切片的边缘存在的锯齿现象,从而获取平滑的第二处理扫描图像。
图6示出根据本公开的实施例基于所述第二处理扫描图像,提取所述预选生物样品切片的流程图。如图6所示,所述步骤S303,即基于所述第二处理扫描图像,提取所述预选生物样品切片,包括以下步骤S601-S604:
在步骤S601中,基于所述第二处理扫描图像,确定多个轮廓信息,所述轮廓信息包括轮廓面积;
在步骤S602中,比较所述轮廓面积与预设轮廓面积,所述预设轮廓面积大于铜网内圆轮廓面积,小于所述预选生物样品切片的轮廓面积;
在步骤S603中,响应于所述轮廓面积大于或等于预设轮廓面积,将所述轮廓信息确定为所述预选生物样品切片的轮廓信息;
在步骤S604中,基于所述预选生物样品切片的轮廓信息提取所述预选生物样品切片。
根据本公开的实施例,第二处理扫描图像中包括多个轮廓信息,比如,预选生物样品切片的轮廓信息、载网中的铜网内圆轮廓信息以及背景轮廓信息等。可以基于上述多个轮廓信息确定多个轮廓对应的轮廓面积,由于预选生物样品切片的尺寸信息基本保持一致,且铜网内圆轮廓为规则的圆形,因此,预选生物样品切片的轮廓与铜网内圆轮廓具有明显的面积差,即预选生物样品切片的轮廓面积大于铜网内圆轮廓面积。
根据本公开的实施例,可以设置预设轮廓面积,其中,预设轮廓面积大于铜网内圆轮廓面积,且小于预选生物样品切片的轮廓面积。然后可以分别比较每个轮廓面积与预设轮廓面积的大小,若某个轮廓面积小于预设轮廓面积,可以将当前轮廓信息确定为铜网内圆轮廓信息;若某个轮廓面积大于或等于预设轮廓面积,可以将当前轮廓信息确定为预选生物样品切片的轮廓信息,并基于预选生物样品切片的轮廓信息提取预选生物样品切片,从而实现自动精准提取预选生物样品切片。
图7示出根据本公开的实施例根据所述第一成像中心位置以及所述预选生物样品切片的中心像素位置,定位一组或多组所述目标生物样品切片的流程图。如图7所示,所述步骤S204,即根据所述第一成像中心位置以及所述预选生物样品切片的中心像素位置,定位一组或多组所述目标生物样品切片,包括以下步骤S701-S702:
在步骤S701中,计算所述第一成像中心位置以及所述预选生物样品切片的中心像素位置之间的距离;
在步骤S702中,将所述距离小于预设距离的所述预选生物样品切片确定为所述目标生物样品切片。
根据本公开的实施例,可以根据实际应用需要,从预选生物样品切片中确定一组或者多组目标生物样品切片。具体地,可以计算第一成像中心位置以及每个预选生物样品切片的中心像素位置之间的距离,当需要确定一组目标生物样品切片时,可以将上述计算出的距离最小的一组预选生物样品切片确定为目标生物样品切片。当需要确定多组目标生物样品切片时,可以设置预设距离,本公开对预设距离不做具体限定,可以根据实际需要进行确定,然后分别比较上述计算出的距离与预设距离的大小,并将上述计算出的距离小于预设距离的多组预选生物样品切片确定为目标生物样品切片。
图8示出根据本公开的实施例根据所述目标生物样品切片的位置信息和尺寸信息,控制所述扫描透射电镜通过扫描模式以中放大倍数获取针对所述一个或多个目标生物样品切片的第二扫描图像,在所述第二扫描图像中定位一个或多个目标生物组织,输出所述目标生物组织的位置信息的流程图。如图8所示,所述步骤S102,即根据所述目标生物样品切片的位置信息和尺寸信息,控制所述扫描透射电镜通过扫描模式以中放大倍数获取针对所述一个或多个目标生物样品切片的第二扫描图像,在所述第二扫描图像中定位一个或多个目标生物组织,输出所述目标生物组织的位置信息,包括以下步骤S801-S805:
在步骤S801中,将所述目标生物样品切片中心像素位置确定为第二成像中心位置;
在步骤S802中,根据所述第二成像中心位置和所述目标生物样品切片的最小外接图形,控制所述扫描透射电镜通过扫描模式以中放大倍数获取所述第二扫描图像,其中,所述第二扫描图像包括所述目标生物样品切片的最小外接图形;
在步骤S803中,在所述第二扫描图像中定位一个或多个所述目标生物组织;
在步骤S804中,通过第二图像处理算法确定所述目标生物组织的位置信息;
在步骤S805中,输出所述目标生物组织的位置信息。
根据本公开的实施例,在确定扫描透射电镜的第二成像中心时,可以选择目标生物样品切片中心像素位置作为第二成像中心,也可以选择目标生物样品切片中心像素位置周围第二预设距离的任意一点作为第二成像中心,其中,第二预设距离可以根据实际需要进行选择,本公开对其不做具体限定。可以根据第二成像中心位置和目标生物样品切片的最小外接图形,控制扫描透射电镜以中放大倍数获取第二扫描图像,其中,扫描透射电镜的成像视野大于目标生物样品切片的最小外接图形,从而使第二扫描图像包括目标生物样品切片的最小外接图形,且第二扫描图像中的目标生物样品切片内感兴趣目标生物组织的内部组织特征清晰可见。例如,用户期望基于扫描透射电镜观察到肾小球的内部组织特征,则感兴趣目标生物组织为肾小球组织;又例如,用户期望基于扫描透射电镜观察到神经元的内部组织特征,则感兴趣目标生物组织为神经元组织。
根据本公开的实施例,一张目标生物样品切片包括多个生物组织,可以将目标生物样品切片中包括的所有生物组织确定为目标生物组织,也可以将目标生物样品切片中包括的部分生物组织确定为目标生物组织,还可以将目标生物样品切片中包括的某一个生物组织确定为目标生物组织,例如,将尺寸最大的生物组织确定为目标生物组织,有例如,将距离第二成像中心距离最近的生物组织确定为目标生物组织。
根据本公开的实施例,当在第二扫描图像中定位一个或多个目标生物组织之后,可以根据不同的目标生物组织,采用相应的第二图像处理算法确定目标生物组织的位置信息,并输出目标生物组织的位置信息,其中,目标生物组织的位置信息包括目标生物组织的边缘像素坐标和/或中心位置,本公开对第二图像处理算法不做具体限定,例如,可以为深度学习算法或传统形态学图像算法等。
图9示出根据本公开的实施例通过第二图像处理算法确定所述目标生物组织的位置信息的流程图。如图9所示,所述步骤S803,即通过第二图像处理算法确定所述目标生物组织的位置信息,包括以下步骤S901-S902:
在步骤S901中,通过训练好的Mask R-CNN模型确定所述目标生物组织的边缘像素坐标;
在步骤S902中,基于所述目标生物组织的边缘像素坐标确定所述目标生物组织的中心位置。
应理解,本公开的实施例将以目标生物组织为肾小球组织,第二图像处理算法为Mask R-CNN算法为例进行说明,但本公开不限于此,而是也适用于其他目标生物组织以及对应的图像处理算法。
根据本公开的实施例,可以采用传统图像处理算法对第二扫描图像进行去噪处理和/或增强对比度等预处理,获取预处理后的第二扫描图像。然后基于训练好的ResNet101+FPN网络的实例分割算法Mask R-CNN模型确定预处理后的第二扫描图像中的目标生物组织(肾小球组织)的边缘像素坐标,并对肾小球组织的边缘像素坐标求均值,从而确定肾小球组织的中心位置。
图10示出根据本公开的实施例Mask R-CNN模型训练过程的流程图。如图10所示,所述Mask R-CNN模型训练过程,包括以下步骤S1001-S1002:
在步骤S1001中,获取训练样本,所述训练样本包括生物组织以及所述生物组织的边缘像素坐标;
在步骤S1002中,基于所述训练样本训练所述Mask R-CNN模型,获取训练好的所述Mask R-CNN模型。
根据本公开的实施例,本公开对获取训练样本的具体方法不做具体限定。当生物组织为肾小球组织时,训练样本包括肾小球组织以及肾小球组织的边缘像素坐标,可以基于肾小球组织的训练样本训练Mask R-CNN模型,并确定Mask R-CNN模型中的各个参数,从而获取训练好的Mask R-CNN模型,以便于将第二扫描图像中的目标生物组织(肾小球组织)输入至训练好的Mask R-CNN模型之后,可以获取肾小球组织的边缘像素坐标。
图11示出根据本公开的实施例根据所述目标生物组织的位置信息,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取针对所述目标生物组织的第三扫描图像的流程图。如图11所示,所述步骤S103,即根据所述目标生物组织的位置信息,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取针对所述目标生物组织的第三扫描图像,包括以下步骤S1101-S1103:
在步骤S1101中,将所述目标生物组织的中心位置确定为第三成像中心位置;
在步骤S1102中,在所述第三成像中心位置周围确定预设数量网格位置;
在步骤S1103中,根据所述预设数量网格位置,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取多张所述第三扫描图像。
根据本公开的实施例,在确定扫描透射电镜的第三成像中心时,可以选择目标生物组织中心位置作为第三成像中心,也可以选择目标生物组织中心位置周围第三预设距离的任意一点作为第三成像中心位置,其中,第三预设距离可以根据实际需要进行选择,本公开对其不做具体限定。可以以第三成像中心位置为中心,在第三成像中心位置周围等间隔网格状选取预设数量网格位置进行拍图,其中,预设数量网格可以根据实际需要进行确定,需要使拍图范围覆盖整个目标生物组织,且目标生物组织的内部组织特征清晰可见,例如,预设数量网格可以为6~15个网格。若目标生物组织的尺寸大小超出视野范围,可以依次调整多组第三成像中心位置,并依次进行拍图。
根据本公开的实施例,可以根据预设数量网格位置,控制扫描透射电镜通过扫描透射模式以高放大倍数获取多张第三扫描图像,其中,第三扫描图像包括目标生物组织的内部组织特征,从而实现了对目标生物组织的自动定位与拍图,以便于相关工作人员可以根据第三扫描图像中的内部组织特征对目标生物组织进行进一步的观察和分析。
图12A-12C示出根据本公开的实施例的获取生物组织图像的方法的示意图。应当了解的是,本公开实施例将生物组织样本切片为肾脏病理样本切片,生物组织为肾小球组织为例进行说明,该示例仅为示例使用,并非是对于本公开的限制。
根据本公开的实施例,可以选用30KV的扫描透射电镜,采图大小为1024*768。待观测样本切片为放置于直径为3mm的载网上的多组肾脏病理样本切片,其中,每组肾脏病理样本切片约为400um*250um的长方形,每组肾脏病理样本切片厚度约为100nm。
如图12A所示,首先控制扫描透射电镜选用扫描模式,落点能量为3KeV~5KeV,发射电流为300PA~500PA,在100x~150x放大倍数,视场大小约为2mm~2.5mm时获得第一扫描图像,此时第一扫描图像内可观察到约80%的肾脏病理样本切片,且肾脏病理样本切片边缘信息清晰。
通过第一图像处理算法,定位视野内结构完整且靠近第一成像中心位置的三组肾脏病理样本切片,并将该三组肾脏病理样本切片确定为目标生物样品切片,并输出目标生物样品切片的位置信息和尺寸信息。
为了描述的方便,下文中,将以距离第一成像中心位置最近的一组目标生物样品切片为例进行说明。
如图12B所示,基于目标生物样品切片的位置信息和尺寸信息,控制扫描透射电镜选用扫描模式进行进一步放大扫描,调整放大倍数至500x~550x,视场大小约为450~600um时获得第二扫描图像,此时视野内可观察到完整的目标生物样品切片,且目标生物样品切片内部组织特征清晰可见。在第二扫描图像中定位视野内结构完整且靠近第二成像中心位置的1~3个目标生物组织,即目标肾小球组织。
为了描述的方便,下文中,将以面积最大的肾小球组织为目标生物组织为例进行说明。
由于肾小球组织具有较强的多样性,可以通过第二图像处理算法确定目标肾小球组织的位置信息,并输出目标肾小球组织的位置信息。
如图12C所示,可以根据目标肾小球组织的位置信息,控制扫描透射电镜选用扫描透射模式,落点能量增加至30KeV~60KeV,为了可以清楚地观察到目标肾小球组织的内部组织特征,可以将扫描透射电镜调整放大倍数至6kx~8kx,视场大小约为30um~40um,由于肾小球多为150um~180um的椭圆形,可以根据目标肾小球组织的位置信息,例如,可以以目标肾小球组织的中心位置为第三成像中心位置,在附近等间隔网格选取8组位置进行拍图,自动获取8张第三扫描图像,使得拍图范围覆盖整个目标肾小球组织。
每张第三扫描图像均包括目标肾小球组织的内部组织特征,相关工作人员可以根据8张第三扫描图像中的内部组织特征对肾脏病理样本切片中的目标肾小球组织进行进一步的观察与分析。
图13示出根据本公开的实施例的获取生物组织图像的装置1300的结构框图。其中,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图13所示,所述获取生物组织图像的装置包括第一定位模块1310、第二定位模块1320和获取模块1330。
所述第一定位模块1310被配置为控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在所述第一扫描图像中定位一个或多个目标生物样品切片,输出所述目标生物样品切片的位置信息和尺寸信息;
所述第二定位模块1320被配置为根据所述目标生物样品切片的位置信息和尺寸信息,控制所述扫描透射电镜通过扫描模式以中放大倍数获取针对所述一个或多个目标生物样品切片的第二扫描图像,在所述第二扫描图像中定位一个或多个目标生物组织,输出所述目标生物组织的位置信息;
所述获取模块1330被配置为根据所述目标生物组织的位置信息,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取针对所述目标生物组织的第三扫描图像,所述第三扫描图像包括所述目标生物组织的内部组织特征。
根据本公开的实施例,所述控制扫描透射电镜通过扫描模式以低放大倍数获取第一扫描图像,在所述第一扫描图像中定位一个或多个目标生物样品切片,输出所述目标生物样品切片的位置信息和尺寸信息,包括:
将所述扫描透射电镜载网中心位置确定为第一成像中心位置;
根据所述第一成像中心位置,以低放大倍数获取所述第一扫描图像,其中,所述第一扫描图像包括第一预设范围的预选生物样品切片;
通过第一图像处理算法确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接图形;
根据所述第一成像中心位置以及所述预选生物样品切片的中心像素位置,定位一组或多组所述目标生物样品切片;
基于所述目标生物样品切片的中心像素位置以及包含所述目标生物样品切片的最小外接图形,输出所述目标生物样品切片的位置信息和尺寸信息。
根据本公开的实施例,所述通过第一图像处理算法确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接图形,包括:
基于灰度直方图的多阈值分割算法对所述第一扫描图像进行阈值分割处理,获取第一处理扫描图像;
通过Canny边缘检测算法对所述第一处理扫描图像进行边缘检测处理,获取第二处理扫描图像;
基于所述第二处理扫描图像,提取所述预选生物样品切片;
基于所述预选生物样品切片的边缘像素位置,确定所述预选生物样品切片的中心像素位置以及包含所述预选生物样品切片的最小外接矩形。
根据本公开的实施例,所述基于灰度直方图的多阈值分割算法对所述第一扫描图像进行阈值分割处理,获取第一处理扫描图像,包括:
根据所述第一扫描图像的灰度直方图分布数据,确定所述第一扫描图像的初始阈值以及对应的初始区域;
基于预设合并标准,根据所述初始阈值合并所述初始阈值对应的初始区域,获取候选阈值以及对应的候选区域;
比较所述候选阈值的数量与预设阈值的数量;
响应于所述候选阈值的数量小于或等于所述预设阈值的数量,停止合并操作,获取阈值分割后的第一扫描图像;
将所述阈值分割后的第一扫描图像进行图像二值化处理,获取第一处理扫描图像。
根据本公开的实施例,所述通过Canny边缘检测算法对所述第一处理扫描图像进行边缘检测处理,获取第二处理扫描图像,包括:
通过高斯滤波器对所述第一处理扫描图像进行去噪处理;
计算去燥处理后的所述第一处理扫描图像中的每个像素点的梯度强度和方向;
根据所述像素点的梯度方向,对所述像素点的梯度强度进行非极大值抑制,获取所述第二处理扫描图像。
根据本公开的实施例,所述基于所述第二处理扫描图像,提取所述预选生物样品切片,包括:
基于所述第二处理扫描图像,确定多个轮廓信息,所述轮廓信息包括轮廓面积;
比较所述轮廓面积与预设轮廓面积,所述预设轮廓面积大于铜网内圆轮廓面积,小于所述预选生物样品切片的轮廓面积;
响应于所述轮廓面积大于或等于预设轮廓面积,将所述轮廓信息确定为所述预选生物样品切片的轮廓信息;
基于所述预选生物样品切片的轮廓信息提取所述预选生物样品切片。
根据本公开的实施例,所述根据所述第一成像中心位置以及所述预选生物样品切片的中心像素位置,定位一组或多组所述目标生物样品切片,包括:
计算所述第一成像中心位置以及所述预选生物样品切片的中心像素位置之间的距离;
将所述距离小于预设距离的所述预选生物样品切片确定为所述目标生物样品切片。
根据本公开的实施例,所述根据所述目标生物样品切片的位置信息和尺寸信息,控制所述扫描透射电镜通过扫描模式以中放大倍数获取针对所述一个或多个目标生物样品切片的第二扫描图像,在所述第二扫描图像中定位一个或多个目标生物组织,输出所述目标生物组织的位置信息,包括:
将所述目标生物样品切片中心像素位置确定为第二成像中心位置;
根据所述第二成像中心位置和所述目标生物样品切片的最小外接图形,控制所述扫描透射电镜通过扫描模式以中放大倍数获取所述第二扫描图像,其中,所述第二扫描图像包括所述目标生物样品切片的最小外接图形;
在所述第二扫描图像中定位一个或多个所述目标生物组织;
通过第二图像处理算法确定所述目标生物组织的位置信息;
输出所述目标生物组织的位置信息。
根据本公开的实施例,所述通过第二图像处理算法确定所述目标生物组织的位置信息,包括:
通过训练好的Mask R-CNN模型确定所述目标生物组织的边缘像素坐标;
基于所述目标生物组织的边缘像素坐标确定所述目标生物组织的中心位置。
根据本公开的实施例,所述Mask R-CNN模型训练过程包括:
获取训练样本,所述训练样本包括生物组织以及所述生物组织的边缘像素坐标;
基于所述训练样本训练所述Mask R-CNN模型,获取训练好的所述Mask R-CNN模型。
根据本公开的实施例,所述根据所述目标生物组织的位置信息,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取针对所述目标生物组织的第三扫描图像,包括:
将所述目标生物组织的中心位置确定为第三成像中心位置;
在所述第三成像中心位置周围确定预设数量网格位置;
根据所述预设数量网格位置,控制所述扫描透射电镜通过扫描透射模式以高放大倍数获取多张所述第三扫描图像。
本公开还公开了一种电子设备,图14示出根据本公开的实施例的电子设备的结构框图。
如图14所示,所述电子设备1400包括存储器1401和处理器1402;其中,
所述存储器1401用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器1402执行以实现根据本公开的实施例的方法。
图15示出适于用来实现根据本公开实施例的获取生物组织图像的方法的计算机系统的结构示意图。
如图15所示,计算机系统1500包括中央处理单元(CPU)1501,其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(RAM)1503中的程序而执行上述实施例中的各种处理。在RAM1503中,还存储有系统1500操作所需的各种程序和数据。CPU1501、ROM1502以及RAM1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。
以下部件连接至I/O接口1505:包括键盘、鼠标等的输入部分1506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507;包括硬盘等的存储部分1508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1510上,以便于从其上读出的计算机程序根据需要被安装入存储部分1508。
特别地,根据本公开的实施例,上文描述的方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行上述对象类别确定方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1509从网络上被下载和安装,和/或从可拆卸介质1511被安装。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。