CN109948429A - 图像分析方法、装置、电子设备及计算机可读介质 - Google Patents

图像分析方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN109948429A
CN109948429A CN201910081593.1A CN201910081593A CN109948429A CN 109948429 A CN109948429 A CN 109948429A CN 201910081593 A CN201910081593 A CN 201910081593A CN 109948429 A CN109948429 A CN 109948429A
Authority
CN
China
Prior art keywords
image
cell
training
input
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910081593.1A
Other languages
English (en)
Inventor
倪浩
郑永升
石磊
沈庆
印宏坤
杨俊�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI YIZHI MEDICAL TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI YIZHI MEDICAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI YIZHI MEDICAL TECHNOLOGY Co Ltd filed Critical SHANGHAI YIZHI MEDICAL TECHNOLOGY Co Ltd
Priority to CN201910081593.1A priority Critical patent/CN109948429A/zh
Publication of CN109948429A publication Critical patent/CN109948429A/zh
Pending legal-status Critical Current

Links

Abstract

本申请实施例公开了图像分析方法、装置、电子设备及计算机可读介质。该方法的一具体实施方式包括:获取目标图像;将目标图像输入预先训练的细胞识别模型,得到目标图像中的细胞图像的识别结果,其中,细胞识别模型为深度神经网络;根据识别结果,对目标图像中所包含的各类细胞进行统计分析,输出分析结果。该实施方式通过将目标图像输入预先训练的细胞识别模型,可以实现细胞图像的自动识别。这样有助于提高图像分析的效率以及分析结果的准确度,可以降低人工劳动强度。

Description

图像分析方法、装置、电子设备及计算机可读介质
技术领域
本申请实施例涉及计算机技术领域,尤其涉及图像分析方法、装置、电子设备及计算机可读介质。
背景技术
细胞形态学是研究细胞及各组成部分的显微结构和亚显微结构,包括表现细胞生物现象的生物大分子结构的科学。细胞形态学检验更多地是在基于图像分析和处理技术的基础上,为其他学科提供研究对象和信息。
细胞形态学检验内容是多方面的。如对于血液常规来说,主要是指外周血细胞涂片的形态分类。对于一些特定的细胞的形态、成分,需要通过特定载体、特定显示环境下进行细胞分类和形态观察。
然而,目前的细胞形态学检验通常都是需要人工完成的。即需要人工在显微镜下观察细胞形态,并统计不同形态的细胞的数量。因此,需要提高这一过程的可靠性和有效性,以提升相关分析结果的质量。
发明内容
本申请实施例提供了图像分析方法、装置、电子设备及计算机可读介质。
第一方面,本申请实施例提供了一种图像分析方法,包括:获取目标图像;将目标图像输入预先训练的细胞识别模型,得到目标图像中的细胞图像的识别结果,其中,细胞识别模型为深度神经网络;根据识别结果,对目标图像中所包含的各类细胞进行统计分析,输出分析结果。
在一些实施例中,细胞识别模型通过以下训练步骤得到:获取训练数据,其中,训练数据包括训练图像和与训练图像对应的细胞标注信息;将训练数据中的训练图像作为输入,将与输入的训练图像对应的细胞标注信息作为输出,对初始模型进行训练得到细胞识别模型。
在一些实施例中,对初始模型进行训练得到细胞识别模型,包括:执行以下训练过程:识别输入的训练图像中的细胞图像,并确定细胞图像的位置信息;提取细胞图像的特征向量,确定细胞图像的识别结果;根据识别结果以及与输入的训练图像对应的细胞标注信息,确定损失函数,并确定损失函数是否达到目标阈值;响应于确定损失函数达到目标阈值,将训练后的初始模型确定为细胞识别模型;响应于确定损失函数未达到目标阈值,采用反向传播算法优化初始模型中的相关参数;将优化后的初始模型作为初始模型,继续执行训练过程。
在一些实施例中,识别输入的训练图像中的细胞图像,并确定细胞图像的位置信息,包括:根据预设阈值,对输入的训练图像中各像素点的灰度值进行二值化,生成二值化图像;根据二值化图像中用于表征细胞图像的像素点的分布密度,确定细胞核图像的位置信息;根据细胞核图像的位置信息,确定与二值化图像对应的训练图像中细胞核图像的核心位置信息;根据核心位置信息,采用分水岭算法对训练图像中的细胞图像进行划分,确定细胞图像的位置信息。
在一些实施例中,获取训练数据,包括:采集整张样本图像;根据预设方法,对整张样本图像进行分割,生成多张预设尺寸的样本子图像;根据生成的样本子图像,获取训练图像。
在一些实施例中,根据预设方法,对整张样本图像进行分割,生成多张预设尺寸的样本子图像,包括:对整张样本图像进行变形处理,生成变形样本图像;根据预设方法,对整张样本图像和生成的变形样本图像进行分割,生成多张预设尺寸的样本子图像。
在一些实施例中,变形处理包括以下至少一种:将整张样本图像旋转预设角度;或者对整张样本图像进行镜像、平移或缩放;或者调整整张样本图像的对比度和/或亮度参数。
在一些实施例中,获取目标图像,包括:根据预设方法,对整张待分析图像进行分割,生成多张预设尺寸的待分析子图像;根据生成的待分析子图像,获取目标图像。
第二方面,本申请实施例提供了一种图像分析装置,包括:获取单元,被配置成获取目标图像;识别单元,被配置成将目标图像输入预先训练的细胞识别模型,得到目标图像中的细胞图像的识别结果,其中,细胞识别模型为深度神经网络;分析单元,被配置成根据识别结果,对目标图像中所包含的各类细胞进行统计分析,输出分析结果。
在一些实施例中,该装置还包括训练单元,包括:获取子单元,被配置成获取训练数据,其中,训练数据包括训练图像和与训练图像对应的细胞标注信息;训练子单元,被配置成将训练数据中的训练图像作为输入,将与输入的训练图像对应的细胞标注信息作为输出,对初始模型进行训练得到细胞识别模型。
在一些实施例中,训练子单元包括:执行模块,被配置成执行以下训练过程:识别输入的训练图像中的细胞图像,并确定细胞图像的位置信息;提取细胞图像的特征向量,确定细胞图像的识别结果;根据识别结果以及与输入的训练图像对应的细胞标注信息,确定损失函数,并确定损失函数是否达到目标阈值;响应于确定损失函数达到目标阈值,将训练后的初始模型确定为细胞识别模型;优化模块,被配置成响应于确定损失函数未达到目标阈值,采用反向传播算法优化初始模型中的相关参数;将优化后的初始模型作为初始模型,继续执行训练过程。
在一些实施例中,执行模块进一步被配置成:根据预设阈值,对输入的训练图像中各像素点的灰度值进行二值化,生成二值化图像;根据二值化图像中用于表征细胞图像的像素点的分布密度,确定细胞核图像的位置信息;根据细胞核图像的位置信息,确定与二值化图像对应的训练图像中细胞核图像的核心位置信息;根据核心位置信息,采用分水岭算法对训练图像中的细胞图像进行划分,确定细胞图像的位置信息。
在一些实施例中,获取子单元进一步被配置成:采集整张样本图像;根据预设方法,对整张样本图像进行分割,生成多张预设尺寸的样本子图像;根据生成的样本子图像,获取训练图像。
在一些实施例中,获取子单元还被配置成:对整张样本图像进行变形处理,生成变形样本图像;根据预设方法,对整张样本图像和生成的变形样本图像进行分割,生成多张预设尺寸的样本子图像。
在一些实施例中,变形处理包括以下至少一种:将整张样本图像旋转预设角度;或者对整张样本图像进行镜像、平移或缩放;或者调整整张样本图像的对比度和/或亮度参数。
在一些实施例中,获取单元进一步被配置成:根据预设方法,对整张待分析图像进行分割,生成多张预设尺寸的待分析子图像;根据生成的待分析子图像,获取目标图像。
第三方面,本申请实施例提供了一种电子设备,包括:处理器;存储装置,其上存储有计算机程序;当处理器执行存储装置上的计算机程序时,使得该电子设备实现如上述第一方面中任一实施例所描述的图像分析方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述第一方面中任一实施例所描述的图像分析方法。
本申请实施例提供的图像分析方法、装置、电子设备及计算机可读介质,通过将获取的目标图像输入预先训练的细胞识别模型,可以得到目标图像中的细胞图像的识别结果。在这里,细胞识别模型可以为深度神经网络。这样,根据识别结果,可以对目标图像中所包含的各类细胞进行统计分析,进而输出分析结果。也就是说,通过将目标图像输入预先训练的细胞识别模型,可以实现细胞图像的自动识别。这样一来,可以有助于提高图像分析的效率以及分析结果的准确度,降低人工劳动强度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本申请的一个实施例可以应用于其中的示例性系统架构图;
图2为本申请提供的图像分析方法的一个实施例的流程图;
图3为本申请提供的细胞识别模型的训练步骤的一个实施例的流程图;
图4为本申请提供的图像分析方法的又一个实施例的流程图;
图5为本申请提供的图像分析装置的一个实施例的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的图像分析方法或图像分析装置的示例性系统架构100。
如图1所示,系统架构100可以包括客户端101、数据库服务器102、服务器103和网络104。网络104可以用以在客户端101、数据库服务器102以及服务器103之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用客户端101通过网络104与服务器103进行交互,以接收或发送消息等。例如用户可以通过客户端101向服务器103发送图像分析请求。客户端101上可以安装有各种客户端应用,例如细胞图像分析类应用、浏览器、购物类应用和即时通讯工具等。
这里的客户端101可以是硬件,也可以是软件。当客户端101为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑和台式计算机等等。当客户端101为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
数据库服务器102可以是提供各种服务的服务器。例如,可以用于存储细胞识别模型。又例如,还可以用于存储目标图像和训练数据等数据信息。
服务器103也可以是提供各种服务的服务器,例如可以是对客户端101所安装的应用提供支持的后台服务器。后台服务器在接收到客户端101发送的图像分析请求时,可以从数据库服务器102中获取目标图像。从而可以对目标图像进行分析处理,并可以将分析处理结果(对各类细胞的统计分析结果)发送给客户端101。
这里的数据库服务器102和服务器103同样可以是硬件,也可以是软件。当数据库服务器102和服务器103为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当数据库服务器102和服务器103为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本申请实施例所提供的图像分析方法一般由服务器103执行。相应地,图像分析装置一般也设置于服务器103中。
应该理解,图1中的客户端、数据库服务器、服务器和网络的数目仅仅是示意性的。根据实现需要,可以具有任意数目的客户端、数据库服务器、服务器和网络。
请参见图2,其示出了本申请提供的图像分析方法的一个实施例的流程200。该图像分析方法可以包括以下步骤:
步骤201,获取目标图像。
在本实施例中,图像分析方法的执行主体(例如图1中所示的服务器103)可以通过多种方式来获取目标图像。例如,执行主体可以通过有线连接方式或无线连接方式,从其他电子设备(如图1中所示的客户端101或数据库服务器102)来获取目标图像。又例如,执行主体还可以从云端等网上资源来获取目标图像。目标图像的存储位置以及获取方式在本申请中并不限制。
在本实施例中,目标图像可以是用于表征生物特征的各种图像。其中,目标图像可以是彩色图像,也可以是灰度图像等。其图像格式在本申请中并不限制,可以被执行主体读取识别即可。这里的生物特征主要是指生物体的微观结构特征,如细胞的结构和分布等。这里的生物体可以是动物、植物、人体、微生物等等。作为示例,目标图像可以是包含生物体的细胞图像的图像。在这里,目标图像可以是数据库中现有图像,也可以是对涂片进行扫描而得到的。可以理解的是,涂片可以是通过从生物体标本或活体上采集样本而制成的,也可以是通过人工培育样本而制成的。
步骤202,将目标图像输入预先训练的细胞识别模型,得到目标图像中的细胞图像的识别结果。
在本实施例中,执行主体可以将步骤201中获取的目标图像,输入预先训练的细胞识别模型中。其中,细胞识别模型可以是用于识别细胞图像的模型。其存储位置在本申请中并不限制。这样,通过细胞识别模型,执行主体可以得到目标图像中的细胞图像的识别结果。这里的识别结果可以包括(但不限于)以下至少一项:细胞图像中细胞轮廓、细胞核、细胞质的位置信息,以及细胞图像所属的细胞类别或所属类别的概率等。其中,位置信息的表示方式在本申请中并不限制,如可以是位置坐标和/或图像标注等。
需要说明的是,基于传统机器学习方法训练得到的模型,例如支持向量机SVM(Support Vector Machine),往往仅能够对少数几类细胞进行识别分类。然而骨髓或血液细胞的种类一般可以多达几十种。因此,为了扩大细胞识别模型的使用范围,在本实施例中,细胞识别模型可以是通过深度学习方法训练得到的深度神经网络。这样能够提取更多维度的特征,从而可以对一些形态非常接近的细胞进行分类,有利于提高分类结果的准确度。
作为示例,细胞识别模型中可以包括输入部分、特征提取部分、细胞分类部分和输出部分。其中,特征提取部分可以包括四个卷积模块。前一卷积模块的输出即为后一卷积模块的输入。每个卷积模块可以包含卷积层、归一化层(BN,Batch Normal ization)、激活函数层(ReLU,Rectified Linear Unit)以及最大池化层(Max Pooling)。其中,细胞分类部分可以包含两个全连接层和softmax层。这样,在输入部分输入目标图像后,经特征提取部分可以得到目标图像中细胞图像的特征向量。进而可以输入细胞分类部分进行分类。最后,经输出部分输出识别分析结果。
可选地,细胞识别模型也可以通过以下训练步骤得到:获取训练数据,其中,训练数据包括训练图像和与训练图像对应的细胞标注信息;将训练数据中的训练图像作为输入,将与输入的训练图像对应的细胞标注信息作为输出,对初始模型进行训练得到细胞识别模型。具体可以参见图3实施例的相关描述,此处不再赘述。
步骤203,根据识别结果,对目标图像中所包含的各类细胞进行统计分析,输出分析结果。
在本实施例中,执行主体可以根据细胞识别模型输出的识别结果,对目标图像中所包含的各类细胞进行统计分析。例如可以统计各类细胞的数量和所占比例等。并且执行主体可以输出分析结果。这里的输出可以是存储输出,如将分析结果存储在本地或数据库服务器等。这里的输出也可以是传输输出,如发送给客户端。这样,用户可以对客户端显示的分析结果做进一步分析处理,如与标准数据进行比较。或者也可以将客户端显示的分析结果作为参考数据。
本实施例提供的图像分析方法,通过将获取的目标图像输入预先训练的细胞识别模型,可以得到目标图像中的细胞图像的识别结果。从而根据识别结果,可以对目标图像中所包含的各类细胞进行统计分析,进而输出分析结果。也就是说,通过将目标图像输入预先训练的细胞识别模型,可以实现细胞图像的自动识别。这样一来,可以有助于提高图像分析的效率以及分析结果的准确度,降低人工劳动强度。
继续参见图3,其示出了本申请提供的细胞识别模型的训练步骤的一个实施例的流程300。该训练步骤可以包括以下步骤:
步骤301,获取训练数据。
在本实施例中,训练数据可以包括训练图像和与训练图像对应的细胞标注信息。其中,训练图像可以是包含各种生物体的细胞图像的图像。在这里,同样可以通过多种方式来获取训练数据。例如可以从网上资源获取训练图像和与之对应的细胞标注信息。
在本实施例的一些可选地实现方式中,为了扩大训练数据的数据量,可以根据预设方法,对采集的整张样本图像进行分割。从而可以生成多张预设尺寸的样本子图像。这样根据生成的样本子图像,可以获取到训练图像,具体可以参见图4实施例中步骤401和步骤402的相关描述,此处不再赘述。之后,可以采用人工或机器标注方式,对获取到的训练图像中的细胞图像进行标注,来获取与之对应的细胞标注信息。
可选地,为了进一步扩大训练数据的数据量,提高模型的适用范围,还可以对采集的整张样本图像进行变形处理。从而可以生成至少一张变形样本图像。进而可以对整张样本图像和生成的变形样本图像进行分割,以生成更多预设尺寸的样本子图像。这样,有助于丰富训练数据的内容,有利于提升模型的识别结果的准确度。
在这里,变形处理可以包括(但不限于)以下至少一种:将整张样本图像旋转预设角度(如以中心或某边角为参考点旋转一定角度);或者对整张样本图像进行镜像(如水平镜像)、平移(如上下左右至少任一方向平移一定像素)或缩放(如缩放0.85或1.15倍);或者调整整张样本图像的对比度和/或亮度参数。
步骤302,识别输入的训练图像中的细胞图像,并确定细胞图像的位置信息。
在本实施例中,可以将步骤301中获取的训练数据中的训练图像作为输入,将与输入的训练图像对应的细胞标注信息作为输出,对初始模型进行训练,从而可以得到细胞识别模型。这里的初始模型可以是采用现有的各种深度学习方法而构建的神经网络。且初始模型的训练过程可以采用现有的各种模型训练方法,在本申请中并不限制。
作为示例,初始模型的训练过程可以包括步骤302至步骤305。首先,初始模型可以识别输入的训练图像中的细胞图像,并可以确定细胞图像的位置信息。例如,可以直接对输入的训练图像中的细胞图像进行识别,并在训练图像上圈出细胞图像。
可选地,首先,可以根据预设阈值,对输入的训练图像中各像素点的灰度值进行二值化,生成二值化图像。可以理解的是,通常情况下,背景图像与前景图像之间会存在较为明显的强度跳跃。因此可以采用一种自适应阈值方法将原图像转换为二值化图像。例如,若训练图像中某像素点的灰度值大于预设阈值,或者训练图像中某像素点的灰度值与预设背景图像灰度值的差大于预设阈值,则可以将该像素点确定为细胞图像的一部分。此时,可以将该像素点的灰度值确定为255。反之则可以将该像素点确定为背景图像的一部分。此时,可以将该像素点的灰度值确定为0。
需要说明的是,上述预设阈值以及预设背景图像灰度值可以根据实际需求进行设置。例如可以根据用户经验进行设置。还可以根据不同输入图像的实际情况进行调整设置。此外,采用二值化方法有利于减少数据量,提高处理效率。同时,也有助于提高后续确定位置信息的准确度。
接着,可以根据二值化图像中用于表征细胞图像的像素点的分布密度,来确定细胞核图像的位置信息。也就是说,在上述二值化图像中,可以将灰度值为255的像素点所形成的各局部区域,初步确定为细胞图像区域。在该局部区域内,可以将像素点分布密度最大的区域确定细胞核所在的位置区域。可以理解的是,若上述预设阈值设置的较高(如用于表征细胞核图像的像素点的灰度值),则可以直接将二值化图像中灰度值为255的像素点所形成的区域,确定为细胞核图像的位置区域。
之后,根据细胞核图像的位置信息,可以确定与二值化图像对应的训练图像中细胞核图像的核心位置信息。可以理解的是,在确定了细胞核图像在二值化图像中的位置信息后,相当于确定了细胞核图像在训练图像中的位置信息。其中,训练图像与二值化图像是一一对应的。这样,根据细胞核图像在训练图像中的位置区域,可以将该位置区域内灰度值最大的像素点确定为该细胞核图像的核心。而核心在训练图像中的位置即为核心位置。
最后,根据核心位置信息,可以采用分水岭算法对训练图像中的细胞图像进行划分,从而可以确定细胞图像的位置信息。也就是说,在确定各细胞核图像的核心位置信息的情况下,可以采用分水岭算法对训练图像中的细胞图像进行划分。从而可以确定各细胞图像的位置信息。这里的位置信息可以包括细胞整体的轮廓区域、细胞核区域以及细胞质区域。
步骤303,提取细胞图像的特征向量,确定细胞图像的识别结果。
在本实施例中,初始模型可以根据步骤302中确定的细胞图像的位置信息,来提取细胞图像(即位置信息所指示的图像)的特征向量。根据提取的特征向量,可以对细胞图像进行判断识别,从而确定其识别结果。
步骤304,根据识别结果以及与输入的训练图像对应的细胞标注信息,确定损失函数,并确定损失函数是否达到目标阈值。
在本实施例中,根据初始模型对输入的训练图像的识别结果,以及与输入的训练图像对应的细胞标注信息,可以确定训练后模型的损失(loss)函数。并可以将该损失函数与设定的目标阈值进行比较,以确定该损失函数是否达到目标阈值。即确定训练后的模型是否达到预期要求。若达到目标阈值,则可以执行步骤305。若未达到目标阈值,则可以执行步骤306。
步骤305,响应于确定损失函数达到目标阈值,将训练后的初始模型确定为细胞识别模型。
在本实施例中,若确定损失函数达到目标阈值,说明此时训练得到的模型达到预期要求。则可以停止训练,并可以将训练后的初始模型确定为细胞识别模型。
步骤306,响应于确定损失函数未达到目标阈值,采用反向传播算法优化初始模型中的相关参数;将优化后的初始模型作为初始模型,继续执行训练过程。
在本实施例中,若确定损失函数未达到目标阈值,说明此时训练得到的模型还未达到预期要求。则可以采用反向传播算法优化初始模型中的相关参数。作为示例,这里的优化过程可以采用带有动量和阶梯衰减的SGD(Stochastic Gradient Descent)算法。这样,可以将优化后的初始模型作为初始模型,并将训练图像重新输入初始模型,从而返回至步骤302,继续执行上述训练过程。
本实施例提供的细胞识别模型的训练步骤,采用大量的训练数据进行初始模型的训练。这样,不仅有助于提高模型的识别结果的准确度,还可以提升模型的通用性。同时,采用二值化方法对输入图像进行处理,有利于提高模型整体的处理效率。另外,通过对整张图像进行分割,不仅可以扩大训练图像的数量,还可以实现整张图像的识别分析。
可以理解的是,上述目标图像可以是整张图像。但由于整张图像通常会包含较多特征,因此为了提高图像分析效率,可以对整张图像进行分割。也就是说,上述目标图像也可以是整张图像的一部分。进一步参见图4,其示出了本申请提供的图像分析方法的又一个实施例的流程400。该图像分析方法可以包括以下步骤:
步骤401,根据预设方法,对整张待分析图像进行分割,生成多张预设尺寸的待分析子图像。
在本实施例中,图像分析方法的执行主体(例如图1中所示的服务器103)可以通过多种方式来获取整张待分析图像。这里的待分析图像可以是用于表征生物特征的各种图像。可以参见图2实施例中步骤201的相关描述,此处不再赘述。
在本实施例中,执行主体可以根据预设方法,对整张待分析图像进行分割。从而可以生成多张预设尺寸的待分析子图像。这里的预设方法可以是各种能够实现图像分割的方法。例如可以采用预设尺寸的滑窗,来分割整张待分析图像。又例如,执行主体可以根据用户输入的预设尺寸和/或分割份数,来均分整张待分析图像。其中,预设尺寸可以根据实际情况进行设置。例如可以根据细胞识别模型对输入图像的尺寸要求,来确定预设尺寸(如分辨率为512×512)。
步骤402,根据生成的待分析子图像,获取目标图像。
在本实施例中,执行主体可以根据步骤401中生成的待分析子图像,来获取目标图像。作为示例,执行主体可以将生成的各待分析子图像,分别作为整张待分析图像的目标图像。又例如,执行主体可以先对各待分析子图像中的细胞图像进行预处理,如去除重叠细胞图像和/或破碎细胞(非完整细胞)图像。之后,可以将预处理后的待分析子图像作为目标图像。这样可以有助于提高后续细胞识别模型的识别效率,也有利于改善识别结果的准确度。
步骤403,将目标图像输入预先训练的细胞识别模型,得到目标图像中的细胞图像的识别结果。可以参见图2实施例中步骤202的相关描述,此处不再赘述。
步骤404,根据识别结果,对目标图像中所包含的各类细胞进行统计分析,输出分析结果。可以参见图2实施例中步骤203的相关描述,此处不再赘述。
在本实施例中,执行主体还可以根据各目标图像的统计分析结果,来确定整张待分析图像中所包含的各类细胞的统计分析结果。从而可以输出整张图像的分析结果。这样,可以降低局部图像分析可能产生的偏差,有助于进一步地提高分析结果的准确度。
本实施例提供的图像分析方法,通过将整张待分析图像分割成多张目标图像,从而可以实现整张待分析图像中所包含的各类细胞的统计分析。这样,可以降低局部图像分析可能产生的偏差,有助于进一步地提高分析结果的准确度。同时,也有利于扩大方法的适用范围。
下面参见图5,作为对上述各图所示方法的实现,本申请还提供了一种图像分析装置的一个实施例。该装置实施例与上述各实施例所示的方法实施例相对应。该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的图像分析装置500可以包括:获取单元501,被配置成获取目标图像;识别单元502,被配置成将目标图像输入预先训练的细胞识别模型,得到目标图像中的细胞图像的识别结果,其中,细胞识别模型为深度神经网络;分析单元503,被配置成根据识别结果,对目标图像中所包含的各类细胞进行统计分析,输出分析结果。
在一些实施例中,该装置500还可以包括训练单元(图5中未示出),包括:获取子单元,被配置成获取训练数据,其中,训练数据包括训练图像和与训练图像对应的细胞标注信息;训练子单元,被配置成将训练数据中的训练图像作为输入,将与输入的训练图像对应的细胞标注信息作为输出,对初始模型进行训练得到细胞识别模型。
可选地,训练子单元可以包括:执行模块,被配置成执行以下训练过程:识别输入的训练图像中的细胞图像,并确定细胞图像的位置信息;提取细胞图像的特征向量,确定细胞图像的识别结果;根据识别结果以及与输入的训练图像对应的细胞标注信息,确定损失函数,并确定损失函数是否达到目标阈值;响应于确定损失函数达到目标阈值,将训练后的初始模型确定为细胞识别模型;优化模块,被配置成响应于确定损失函数未达到目标阈值,采用反向传播算法优化初始模型中的相关参数;将优化后的初始模型作为初始模型,继续执行训练过程。
进一步地,执行模块可以进一步被配置成:根据预设阈值,对输入的训练图像中各像素点的灰度值进行二值化,生成二值化图像;根据二值化图像中用于表征细胞图像的像素点的分布密度,确定细胞核图像的位置信息;根据细胞核图像的位置信息,确定与二值化图像对应的训练图像中细胞核图像的核心位置信息;根据核心位置信息,采用分水岭算法对训练图像中的细胞图像进行划分,确定细胞图像的位置信息。
可选地,获取子单元可以进一步被配置成:采集整张样本图像;根据预设方法,对整张样本图像进行分割,生成多张预设尺寸的样本子图像;根据生成的样本子图像,获取训练图像。
在一些应用场景中,获取子单元还可以被配置成:对整张样本图像进行变形处理,生成变形样本图像;根据预设方法,对整张样本图像和生成的变形样本图像进行分割,生成多张预设尺寸的样本子图像。
在一些实施例中,变形处理可以包括以下至少一种:将整张样本图像旋转预设角度;或者对整张样本图像进行镜像、平移或缩放;或者调整整张样本图像的对比度和/或亮度参数。
可选地,获取单元可以进一步被配置成:根据预设方法,对整张待分析图像进行分割,生成多张预设尺寸的待分析子图像;根据生成的待分析子图像,获取目标图像。
可以理解的是,该装置500中记载的诸单元与参考图2至图4描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于该装置500及其中包含的单元,在此不再赘述。
可以理解的是,附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。例如,获取单元还可以被描述为“获取目标图像的单元”。
作为另一方面,本申请还提供了一种计算机可读介质。这里的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。该计算机可读介质可以是上述各实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有计算机程序,当计算机程序被该电子设备执行时,使得该电子设备可以实现如上述任一实施例所描述的图像分析方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种图像分析方法,包括:
获取目标图像;
将所述目标图像输入预先训练的细胞识别模型,得到所述目标图像中的细胞图像的识别结果,其中,所述细胞识别模型为深度神经网络;
根据所述识别结果,对所述目标图像中所包含的各类细胞进行统计分析,输出分析结果。
2.根据权利要求1所述的方法,其中,所述细胞识别模型通过以下训练步骤得到:
获取训练数据,其中,所述训练数据包括训练图像和与训练图像对应的细胞标注信息;
将所述训练数据中的训练图像作为输入,将与输入的训练图像对应的细胞标注信息作为输出,对初始模型进行训练得到细胞识别模型。
3.根据权利要求2所述的方法,其中,所述对初始模型进行训练得到细胞识别模型,包括:
执行以下训练过程:识别输入的训练图像中的细胞图像,并确定细胞图像的位置信息;提取细胞图像的特征向量,确定细胞图像的识别结果;根据识别结果以及与输入的训练图像对应的细胞标注信息,确定损失函数,并确定损失函数是否达到目标阈值;响应于确定损失函数达到目标阈值,将训练后的初始模型确定为细胞识别模型;
响应于确定损失函数未达到目标阈值,采用反向传播算法优化初始模型中的相关参数;将优化后的初始模型作为初始模型,继续执行所述训练过程。
4.根据权利要求3所述的方法,其中,所述识别输入的训练图像中的细胞图像,并确定细胞图像的位置信息,包括:
根据预设阈值,对输入的训练图像中各像素点的灰度值进行二值化,生成二值化图像;
根据二值化图像中用于表征细胞图像的像素点的分布密度,确定细胞核图像的位置信息;
根据细胞核图像的位置信息,确定与二值化图像对应的训练图像中细胞核图像的核心位置信息;
根据核心位置信息,采用分水岭算法对训练图像中的细胞图像进行划分,确定细胞图像的位置信息。
5.根据权利要求2所述的方法,其中,所述获取训练数据,包括:
采集整张样本图像;
根据预设方法,对所述整张样本图像进行分割,生成多张预设尺寸的样本子图像;
根据生成的样本子图像,获取训练图像。
6.根据权利要求5所述的方法,其中,所述根据预设方法,对所述整张样本图像进行分割,生成多张预设尺寸的样本子图像,包括:
对所述整张样本图像进行变形处理,生成变形样本图像;
根据预设方法,对所述整张样本图像和生成的变形样本图像进行分割,生成多张预设尺寸的样本子图像。
7.根据权利要求6所述的方法,其中,所述变形处理包括以下至少一种:
将所述整张样本图像旋转预设角度;或者
对所述整张样本图像进行镜像、平移或缩放;或者
调整所述整张样本图像的对比度和/或亮度参数。
8.根据权利要求1-7之一所述的方法,其中,所述获取目标图像,包括:
根据预设方法,对整张待分析图像进行分割,生成多张预设尺寸的待分析子图像;
根据生成的待分析子图像,获取目标图像。
9.一种电子设备,包括:
处理器;
存储装置,其上存储有计算机程序;
当所述处理器执行所述存储装置上的计算机程序时,使得所述电子设备实现如权利要求1-8之一所述的图像分析方法。
10.一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-8之一所述的图像分析方法。
CN201910081593.1A 2019-01-28 2019-01-28 图像分析方法、装置、电子设备及计算机可读介质 Pending CN109948429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910081593.1A CN109948429A (zh) 2019-01-28 2019-01-28 图像分析方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910081593.1A CN109948429A (zh) 2019-01-28 2019-01-28 图像分析方法、装置、电子设备及计算机可读介质

Publications (1)

Publication Number Publication Date
CN109948429A true CN109948429A (zh) 2019-06-28

Family

ID=67006616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910081593.1A Pending CN109948429A (zh) 2019-01-28 2019-01-28 图像分析方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN109948429A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110530779A (zh) * 2019-08-09 2019-12-03 上海依智医疗技术有限公司 一种白细胞检测方法及装置
CN112017730A (zh) * 2020-08-26 2020-12-01 东莞太力生物工程有限公司 基于表达量预测模型的细胞筛选方法和装置
CN112233082A (zh) * 2020-10-13 2021-01-15 深圳市瑞沃德生命科技有限公司 细胞图像自动曝光方法及其装置
CN112465904A (zh) * 2019-09-06 2021-03-09 上海晶赞融宣科技有限公司 图像目标定位方法、装置、计算机设备和存储介质
CN112926612A (zh) * 2019-12-06 2021-06-08 中移(成都)信息通信科技有限公司 病理图像分类模型训练方法、病理图像分类方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机
CN108074243A (zh) * 2018-02-05 2018-05-25 志诺维思(北京)基因科技有限公司 一种细胞定位方法以及细胞分割方法
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109102515A (zh) * 2018-07-31 2018-12-28 浙江杭钢健康产业投资管理有限公司 一种基于多列深浅卷积神经网络的细胞计数方法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN109190441A (zh) * 2018-06-21 2019-01-11 丁彦青 女性生殖道细胞病理智能分类方法、诊断仪及存储介质
CN109190567A (zh) * 2018-09-10 2019-01-11 哈尔滨理工大学 基于深度卷积神经网络的异常宫颈细胞自动检测方法
CN109191434A (zh) * 2018-08-13 2019-01-11 阜阳师范学院 一种细胞分化中的图像检测系统及检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机
CN108074243A (zh) * 2018-02-05 2018-05-25 志诺维思(北京)基因科技有限公司 一种细胞定位方法以及细胞分割方法
CN109190441A (zh) * 2018-06-21 2019-01-11 丁彦青 女性生殖道细胞病理智能分类方法、诊断仪及存储介质
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN109102515A (zh) * 2018-07-31 2018-12-28 浙江杭钢健康产业投资管理有限公司 一种基于多列深浅卷积神经网络的细胞计数方法
CN109191434A (zh) * 2018-08-13 2019-01-11 阜阳师范学院 一种细胞分化中的图像检测系统及检测方法
CN109190567A (zh) * 2018-09-10 2019-01-11 哈尔滨理工大学 基于深度卷积神经网络的异常宫颈细胞自动检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110530779A (zh) * 2019-08-09 2019-12-03 上海依智医疗技术有限公司 一种白细胞检测方法及装置
CN112465904A (zh) * 2019-09-06 2021-03-09 上海晶赞融宣科技有限公司 图像目标定位方法、装置、计算机设备和存储介质
CN112926612A (zh) * 2019-12-06 2021-06-08 中移(成都)信息通信科技有限公司 病理图像分类模型训练方法、病理图像分类方法及装置
CN112017730A (zh) * 2020-08-26 2020-12-01 东莞太力生物工程有限公司 基于表达量预测模型的细胞筛选方法和装置
CN112233082A (zh) * 2020-10-13 2021-01-15 深圳市瑞沃德生命科技有限公司 细胞图像自动曝光方法及其装置

Similar Documents

Publication Publication Date Title
CN109948429A (zh) 图像分析方法、装置、电子设备及计算机可读介质
CN109949316A (zh) 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
EP3006551B1 (en) Image processing device, image processing method, program, and storage medium
CN110796661B (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
Chamidah et al. Identification the number of Mycobacterium tuberculosis based on sputum image using local linear estimator
CN110659601A (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN111709941A (zh) 一种面向病理图像的轻量级自动化深度学习系统及方法
CN110807754B (zh) 基于深度语义分割的真菌显微图像分割检测方法及系统
Shao et al. Research on automatic identification system of tobacco diseases
CN110599514A (zh) 图像分割的方法、装置、电子设备及存储介质
CN112084913B (zh) 一种端到端的人体检测与属性识别方法
CN112560925A (zh) 一种复杂场景目标检测数据集构建方法及系统
CN112200862A (zh) 目标检测模型的训练方法、目标检测方法及装置
CN107563327B (zh) 一种基于自步反馈的行人重识别方法及系统
CN114913523B (zh) 基于yolox的植物气孔多功能实时智能识别系统
CN116385957A (zh) 一种x光图像违禁品检测方法、装置、设备及介质
CN114863189A (zh) 一种基于大数据的图像智能识别方法
CN109934045B (zh) 行人检测方法和装置
Gois et al. Malaria Blood Smears Object Detection Based on Convolutional DCGAN and CNN Deep Learning Architectures
CN112116598A (zh) 一种花卉种类识别方法及系统
Ramarolahy et al. Classification and generation of microscopy images with plasmodium falciparum via artificial neural networks using low cost settings
CN109902598A (zh) 一种针对复杂背景的图像预处理技术
CN117809124B (zh) 基于多特征融合的医学图像关联调用方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190628

RJ01 Rejection of invention patent application after publication