CN113591791A - 基于自学习人工智能的肺癌自动化识别系统 - Google Patents

Abstract

本发明提出基于自学习人工智能的肺癌自动化识别系统，包括图像采集子系统：获取肺癌穿刺样本后进行图像采集，获得彩色显微图像；颜色处理子系统：对彩色显微图像执行颜色识别分析，通过颜色识别分析获得多个潜在肺癌区域图像块；形状处理子系统：执行图像区块形状分析，通过图像区块形状分析获得多个可疑肺癌区域图像块；组合处理子系统：将多个潜在肺癌区域图像块和多个可疑肺癌区域图像块作为人工智能识别模型的输入，并输出识别结果；结果显示子系统：用于将所述识别结果包含的多个区域分层次显示。本发明的技术方案通过双重预处理技术，分别针对图像和形状特征执行队列和堆栈组合作为AI识别输入，提升了肺癌自动化识别的准确度。

Description

基于自学习人工智能的肺癌自动化识别系统

技术领域

本发明属于人工智能与肺癌识别技术领域，尤其涉及一种基于自学习人工智能的肺癌自动化识别系统、方法以及实现所述方法的计算机程序指令介质。

背景技术

肺癌是目前发病率最高的癌症，也是癌症性死亡的主要病因，每年近 180 多万人因肺癌死亡。随着我国人口规模和人口老龄化的增加，肺癌的患病率将不断上升。虽然各种各样新的肺癌诊治方式不断应用于临床，但是目前肺癌患者的生存结果仍不乐观。归根结底是肺癌的早期诊断率低，大多数患者确诊时已到达晚期（晚期 5 年生存率为18%），对肺癌早期有效诊断并给予相应的治疗措施，患者生存率可以提高 20%。

目前，对癌细胞的识别一般选择以下几种有代表的特征来进行：癌细胞的细胞核很大，一般核、质比例与正常细胞恰好相反；癌细胞的外形不规则，而正常细胞外形规整，多为圆形或椭圆形；癌细胞核内染色质出现团块，正常细胞核内染色质均匀等等．上述特征在图像处理过程中可以抽取出来，根据抽取出的癌细胞的特征，找出正确的识别分类的规则，从而可以从细胞涂片中判别出是否有癌细胞。

计算机辅助诊断系统（computer-aided diagnosis，CAD）是一种可被用来检测肺结节并能区分良恶性的医学影像 AI 系统，具有不疲劳性和高效性。CAD 系统是基于数据纹理提取、预处理、分割，结节检测和良恶性判断这几个基本步骤来实现肺结节的诊断。

申请号为CN202110438450.9的中国发明专利申请提出肺部医学图像分析方法，从获取的肺部医学图像中分割出肺野和肺部病变区域，计算包含肺野和肺部病变区域的感兴趣区域ROI，根据感兴趣区域ROI在所述肺部医学图像中裁剪出用于图像识别的输入图片。将所述输入图片输入第二阶段检测模型，可进一步提取特征参数，得到预设语义分割模型输出的最终病变分析结果，能够同时对多种肺部病变进行识别和分类判断。

中国发明专利公开CN113066576A则提出基于三维掩模-区域卷积神经网络的肺癌筛查方法，用于肺癌的筛查。由两个步骤组成，第一步找到疑似肺结节的回归框，第二步对疑似结节进行分类，找到疑似为癌症病灶的结节。方法基于三维掩模-区域卷积神经网络对肺结节进行检测，并使之能够适用于CT数据。由于并非所有结节都是癌症，因此需要综合考虑患者影像征象来推断其罹患癌症的可能性。为了提高分类的准确率，适用三维数据获取疑似结节的周围结构，综合判断疑似结节属于癌症病灶的概率。

然而，发明人发现，虽然现有技术存在各种可用于癌症（肺癌）自动识别、诊断、分类的人工智能模型（深度学习模型、神经网络模型等），但是其识别效率和识别准确度均有待提到；同时，不同的识别模型需要的输入识别样本不同，如果只考虑单一的样本输入，不能适应模型特点；并且，静态模型也无法实现自学习和自适应更新。

发明内容

为解决上述技术问题，本发明提出一种基于自学习人工智能的肺癌自动化识别系统、方法以及实现所述方法的计算机程序指令介质。

在系统结构上，本发明包括：

图像采集子系统：获取肺癌穿刺样本后进行图像采集，获得彩色显微图像；

颜色处理子系统：对彩色显微图像执行颜色识别分析，通过颜色识别分析获得多个潜在肺癌区域图像块；

形状处理子系统：执行图像区块形状分析，通过图像区块形状分析获得多个可疑肺癌区域图像块；

组合处理子系统：将多个潜在肺癌区域图像块和多个可疑肺癌区域图像块作为人工智能识别模型的输入，并输出识别结果；

结果显示子系统：用于将所述识别结果包含的多个区域分层次显示。

更具体的，为便于描述，本发明将上述各个子系统以序号排列，即在本发明的第一个方面，所述系统包括第一图像采集子系统、第二颜色处理子系统、第三形状处理子系统、第四组合处理子系统以及第五结果显示子系统；

所述第一图像采集子系统获取肺癌穿刺样本后进行图像采集，获得彩色显微图像；

所述第二颜色处理子系统对所述彩色显微图像执行颜色识别分析，通过所述颜色识别分析获得多个潜在肺癌区域图像块；

所述第三形状处理子系统执行图像区块形状分析，通过所述图像区块形状分析获得多个可疑肺癌区域图像块；

所述第四组合处理子系统将所述多个潜在肺癌区域图像块和所述多个可疑肺癌区域图像块作为人工智能识别模型的输入，并输出识别结果；

所述第五结果显示子系统，用于将所述识别结果包含的多个区域分层次显示。

作为进一步的改进之一，所述系统还包括图像预处理子系统，所述图像预处理子系统连接所述第二颜色处理子系统和所述第三形状处理子系统；

所述第一图像采集子系统获得所述彩色显微图像之后，将所述彩色显微图像发送至所述图像预处理子系统执行第一预处理操作后，获得第一预处理图像，将所述第一预处理图像作为所述第二颜色处理子系统的输入；

将所述第二颜色处理子系统输出的所述多个潜在肺癌区域图像块发送至所述图像预处理子系统执行第二预处理操作后，获得第二预处理图像；

所述第三形状处理子系统对所述第二预处理图像执行图像区块形状分析获得多个可疑肺癌区域图像块。

所述第一预处理操作不同于所述第二预处理操作。

基于上述第一个方面的所述子系统，在本发明的第二个方面，提供基于自学习人工智能的肺癌自动化识别方法。

在本发明中，所述肺癌自动化识别方法可以对目标患者的采样彩色显微图像执行自动化识别后输出识别结果，所述识别结果包括肺癌分类概率，从而辅助医生进行诊断；

在另一个方面，所述肺癌自动化识别方法可以用于各种离体样本，执行人工智能识别模型训练和教学演示，即用于非诊断目的。

第二个方面的所述方法可以通过包含处理器和存储器的终端设备，尤其是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行，因此，在本发明的第三个方面，还提供一种计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现所述方法的全部或者部分步骤。所述处理器和存储器通过总线连接，构成终端设备的内部通信。

本发明的技术方案，针对彩色显微图像，进行有序的双重图像预处理，先后获得颜色特征图片和形状特征图片，并且基于堆栈和队列的配合，形成组合的输入图像块输入到所述人工智能识别模型中，从而能够提升相关人工智能肺癌识别模型的准确度。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种基于自学习人工智能的肺癌自动化识别系统的结构示意图

图2是图1所述基于自学习人工智能的肺癌自动化识别系统涉及的双重有序预处理系统的结构示意图

图3是图2所述预处理系统的处理效果示意图

图4是图1所述基于自学习人工智能的肺癌自动化识别系统的AI识别模型的输入数据块组合示意图

图5是图1所述基于自学习人工智能的肺癌自动化识别系统中结果显示子系统的分层显示示意图

图6是实现肺癌自动化识别过程的计算机可读存储介质与终端设备的示意图

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述。

参照图1，是本发明一个实施例的一种基于自学习人工智能的肺癌自动化识别系统的结构示意图。

在图1中，所述系统包括第一图像采集子系统、第二颜色处理子系统、第三形状处理子系统、第四组合处理子系统以及第五结果显示子系统。

所述第一图像采集子系统、第二颜色处理子系统、第三形状处理子系统依次连接，而所述第四组合处理子系统同时连接所述二颜色处理子系统和第三形状处理子系统。

在具体子系统功能实现上，所述第一图像采集子系统获取肺癌穿刺样本后进行图像采集，获得彩色显微图像。

作为具体的例子，可通过 CCD 和图像采集卡对肺癌穿刺标本进行图像采集，得到一幅优质 BMP 格式的彩色显微细胞图像。

所述第二颜色处理子系统对所述彩色显微图像执行颜色识别分析，通过所述颜色识别分析获得多个潜在肺癌区域图像块。

不同于现有技术都只能针对二值化灰度操作信息进行处理的做法，本发明的实施例在第一阶段，要充分利用颜色信息，因此，在这个阶段的，处理的依旧是彩色图像。

作为示例，例如，对于鳞癌，其标记部分通常染色较深，呈现紫色偏蓝；对于腺癌，染色一般呈现淡蓝紫色等。

所述第三形状处理子系统执行图像区块形状分析，通过所述图像区块形状分析获得多个可疑肺癌区域图像块；

作为示例，形状分析包括边界、边界周长、边界直径，进而识别出细胞形状和得到各种描述子，例如傅里叶描述因子等，可以识别出异常细胞区域，准确度达到80%。

具体的基于所述颜色识别分析获得多个潜在肺癌区域图像块的异常识别方法可参见已有的现有技术，本发明对此不做展开，例如，可参见如下文献：

杨晓敏罗立民．血液白细胞计算机分类中的特征提取研究 ［Ｊ］．应用科学学报199412（4）：120－126．

史颜玲, 王忠义. 基于形状特征的图像特征提取方法及其在医学图像分析中的应用[J]. 许昌学院学报, 2011, 030(002):69-71.

在此基础上，所述第四组合处理子系统将所述多个潜在肺癌区域图像块和所述多个可疑肺癌区域图像块作为人工智能识别模型的输入，并输出识别结果；

所述第五结果显示子系统，用于将所述识别结果包含的多个区域分层次显示。

需要注意的是，这里的人工智能识别模型可以是各种自学习进化的肺癌识别模型，包括深度学习模型、神经网络模型、粗糙集识别分类模型、支持向量机模型等，本发明对此不作具体限制，仅对其原理做简单介绍，具体实现可参见相关的现有技术。

肺癌的人工智能识别，可称为计算机辅助诊断（computer-aided diagnosis，

CAD），是一种可被用来检测肺结节并能区分良恶性的医学影像 AI 系统，具有不疲劳性和高效性。一般来说，CAD 系统是基于数据纹理提取、预处理、分割，结节检测和良恶性判断这几个基本步骤来实现肺结节的诊断，在本领域，相关研究证明和支持肺癌的自动化识别具有较高的准确性，并且存在各种已知的智能识别模型，包括：

S R SC, Rajaguru H. Lung cancer detection using probabilistic neuralnetwork with modified crow-search algorithm. Asian Pac J Cancer Prev, 2019,20(7): 2159-2166.

吕晴. 基于人工智能的肺癌辅助诊断系统的设计与实现[D]. 中国科学院大学(中国科学院沈阳计算技术研究所), 2020.

Sayed G, Hassanien AE, Azar AT. Feature selection via a novel chaoticcrow search algorithm. Neu Comput Appl, 2019, 31(1):171-188.

Nasrullah N, Sang J, Alam MS, et al. Automated lung nodule detectionand classification using deep learning combined with multiple strategies.Sensors (Basel), 2019, 19(17): 3722.

邵佩儒. 基于深度学习的肺癌自动识别系统的研究与开发[D]. 中南民族大学。

李博. 基于BP神经网络的肺癌细胞图像处理系统的研究[D]. 吉林大学.

本发明的各个实施例将上述作为本发明的一部分引入。

但是，可以理解，本发明的重点并不是对已有的人工智能识别模型进行改进，而是可以应用于各种已知的人工智能识别模型，因此，上述现有技术并不是本发明的重点。

本发明的重点是，基于已有的人工智能识别模型，如何提升其准确性。具体来说，本发明改变了现有技术的单一模型输入，而是采用组合输入，并且所述组合输入并非简单的将已知的影响元素或者影响因子输入，而是采用双重有序的不同预处理过程之后，再进行组合；并且，不同与处理过程对应的数据存储方式不同，与相应的数据过程密切相关，从而更加适应肺癌的自动化识别和模型自学习过程。

图2-图5的实施例将进一步阐述上述本发明的具体改进和优点。

具体来说，在图1基础上参见图2。

在图2中，所述系统还包括图像预处理子系统，所述图像预处理子系统连接所述第二颜色处理子系统和所述第三形状处理子系统；

所述第一图像采集子系统获得所述彩色显微图像之后，将所述彩色显微图像发送至所述图像预处理子系统执行第一预处理操作后，获得第一预处理图像，将所述第一预处理图像作为所述第二颜色处理子系统的输入；

将所述第二颜色处理子系统输出的所述多个潜在肺癌区域图像块发送至所述图像预处理子系统执行第二预处理操作后，获得第二预处理图像；

将所述第二预处理图像作为所述第三形状处理子系统的输入。

所述第三形状处理子系统对所述第二预处理图像执行图像区块形状分析获得多个可疑肺癌区域图像块。

在该实施例中，所述第一预处理操作不同于所述第二预处理操作。

具体的， 所述第一预处理包括去噪和平滑操作，需要注意的是，此时需要保留图像的彩色特征，因此，第一预处理操作不包含二值化或者灰度化处理；

所述第二预处理为锐化操作，由于所述第二预处理操作后，获得第二预处理图像将作为第三形状处理子系统的输入，此时，不需要彩色颜色特征，因此，所述第二预处理操作还包括二值化操作，将所述第二颜色处理子系统输出的所述多个潜在肺癌区域图像块变化为二值化灰度图像后，再执行锐化操作。

图3是图2所述预处理系统的处理效果示意图，包括二值化灰度图片的锐化操作后的形状概括。

接下来参见图4。图4是图1所述基于自学习人工智能的肺癌自动化识别系统的AI识别模型的输入数据块组合示意图。

在图4中，所述第三形状处理子系统对所述第二预处理图像执行图像区块形状分析获得多个可疑肺癌区域图像块。

所述第三形状处理子系统包括第一图像存储队列；

所述第三形状处理子系统将获得的所述多个可疑肺癌区域图像块依次存储到所述第一图像存储队列中。

所述第二颜色处理子系统包括第二图像存储堆栈；

所述第二颜色处理子系统将获得的多个潜在肺癌区域图像块依次存储到所述第二图像存储堆栈。

在具体实现时，所述第一图像存储队列具有第一预定大小；所述第二图像存储堆栈具有第二预定大小。

因此，在图4的实施例中，当所述第一图像存储队列队满时，从所述第一图像存储队列中取出所有可疑肺癌区域图像块；

当所述第二图像存储堆栈满栈时，从所述第二图像存储堆栈取出所有潜在肺癌区域图像块；

将所述所有可疑肺癌区域图像块和所述所有潜在肺癌区域图像块作为组合图像块，输入至所述人工智能识别模型。

在本实施例中，由于针对形状特征采用队列存储，而针对颜色特征采用堆栈存储，充分考虑不同图像特征的处理单位和处理顺序，使得组合出来的输入图像快能够囊括每一个潜在/可疑图像块的所有主要特征，从而使得模型接收的特征样本量足够，识别准确性得到了提高。

同时，本实施例也并不是将形状和颜色简单组合，而是采用双重有序的不同预处理过程之后，再进行组合；并且，不同与处理过程对应的数据存储方式不同，与相应的数据过程密切相关，从而更加适应肺癌的自动化识别和模型自学习过程。

具体来说，队列是一种特殊的线性表，特殊之处在于它只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作，队列最大的特点就是先进先出（FIFO），而在本实施例中针对形状特征的处理是在颜色特征之后，因此，针对形状特征的输出，采用队列；

相反，堆栈是一个特定的存储区或寄存器，它的一端是固定的，另一端是浮动的 。堆这个存储区存入的数据，是一种特殊的数据结构。所有的数据存入或取出，只能在浮动的一端（称栈顶）进行，严格按照“先进后出”（FILO）的原则存取，位于其中间的元素，必须在其栈上部（后进栈者）诸元素逐个移出后才能取出，因此，针对颜色特征，由于其在形状特征之前获取，需要等待后续的形状特征全部确定之后，才能判断应该与哪一个组合，因此，针对颜色特征的输出，采用堆栈存储。

可见，上述存储方式是发明人充分考虑到本发明技术方案的各个整体先后顺序，结合具体的数据产生和后续利用方式确定的，是本发明的改进之一。

作为优选，在该实施例中，所述第一图像存储队列具有第一预定大小；所述第二图像存储堆栈具有第二预定大小；而所述第二预定大小不低于所述第一预定大小，并且，所述第一预定大小和所述第二预定大小基于所述人工智能识别模型的训练参数确定。

最后，参见图5，图5是图1所述基于自学习人工智能的肺癌自动化识别系统中结果显示子系统的分层显示示意图。

在图5的实施例中，所述第五结果显示子系统的所述多个区域分层次显示，具体包括：

将不同可疑肺癌区域图像块及其对应的潜在肺癌区域图像块关联显示，所述关联显示包括显示可疑肺癌区域图像块及其对应的潜在肺癌区域图像块之间的关联度以及分类概率。

需要注意的是，图5仅仅是示意性的表示，上半部分的阴影部分示出了多个可疑区域，对于每一个可疑区域（例如圈出的部分），下图可疑继续显示其对应的潜在肺癌区域图像块之间的关联度以及分类概率（示意性）。

基于上述硬件架构与原理，本发明还可以实现为一种基于自学习人工智能的肺癌自动化识别方法。

在实践中，一方面，所述肺癌自动化识别方法可以对目标患者的采样彩色显微图像执行自动化识别后输出识别结果，所述识别结果包括肺癌分类概率，从而辅助医生进行诊断；

在另一个方面，所述肺癌自动化识别方法可以用于各种离体样本，执行人工智能识别模型训练和教学演示，即用于非诊断目的。

具体的，所述方法可以通过包含处理器和存储器的终端设备，尤其是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行。

具体的实现步骤，可以参照图1所述子系统的功能实现，例如，方法包括：

S1：获取肺癌穿刺样本后进行图像采集，获得彩色显微图像；

S2：对所述彩色显微图像执行颜色识别分析，通过所述颜色识别分析获得多个潜在肺癌区域图像块；

S3：执行图像区块形状分析，通过所述图像区块形状分析获得多个可疑肺癌区域图像块；

S4：将所述多个潜在肺癌区域图像块和所述多个可疑肺癌区域图像块作为人工智能识别模型的输入，并输出识别结果；

S5：将所述识别结果包含的多个区域分层次显示。

因此，参见图6，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现所述方法的全部或者部分步骤。所述处理器和存储器通过总线连接，构成终端设备的内部通信。

本发明的技术方案，针对彩色显微图像，进行有序的双重图像预处理，先后获得颜色特征图片和形状特征图片，并且基于堆栈和队列的配合，形成组合的输入图像块输入到所述人工智能识别模型中，从而能够提升相关人工智能肺癌识别模型的准确度。

本发明改变了现有技术的单一模型输入，而是采用组合输入，并且所述组合输入并非简单的将已知的影响元素或者影响因子输入，而是采用双重有序的不同预处理过程之后，再进行组合；并且，不同与处理过程对应的数据存储方式不同，与相应的数据过程密切相关，从而更加适应肺癌的自动化识别和模型自学习过程。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于自学习人工智能的肺癌自动化识别系统，所述系统包括第一图像采集子系统、第二颜色处理子系统、第三形状处理子系统、第四组合处理子系统以及第五结果显示子系统；

所述第一图像采集子系统获取肺癌穿刺样本后进行图像采集，获得彩色显微图像；

所述第二颜色处理子系统对所述彩色显微图像执行颜色识别分析，通过所述颜色识别分析获得多个潜在肺癌区域图像块；

所述第三形状处理子系统执行图像区块形状分析，通过所述图像区块形状分析获得多个可疑肺癌区域图像块；

所述第四组合处理子系统将所述多个潜在肺癌区域图像块和所述多个可疑肺癌区域图像块作为人工智能识别模型的输入，并输出识别结果；

所述第五结果显示子系统，用于将所述识别结果包含的多个区域分层次显示。

2.如权利要求1所述的一种基于自学习人工智能的肺癌自动化识别系统，其特征在于：

所述系统还包括图像预处理子系统，所述图像预处理子系统连接所述第二颜色处理子系统和所述第三形状处理子系统；

所述第一图像采集子系统获得所述彩色显微图像之后，将所述彩色显微图像发送至所述图像预处理子系统执行第一预处理操作后，获得第一预处理图像，将所述第一预处理图像作为所述第二颜色处理子系统的输入；

将所述第二颜色处理子系统输出的所述多个潜在肺癌区域图像块发送至所述图像预处理子系统执行第二预处理操作后，获得第二预处理图像；

所述第一预处理操作不同于所述第二预处理操作。

3.如权利要求2所述的一种基于自学习人工智能的肺癌自动化识别系统，其特征在于：

所述第三形状处理子系统对所述第二预处理图像执行图像区块形状分析获得多个可疑肺癌区域图像块。

4.如权利要求2所述的一种基于自学习人工智能的肺癌自动化识别系统，其特征在于：

所述第三形状处理子系统包括第一图像存储队列；

所述第三形状处理子系统将获得的所述多个可疑肺癌区域图像块依次存储到所述第一图像存储队列中。

5.如权利要求4所述的一种基于自学习人工智能的肺癌自动化识别系统，其特征在于：

所述第二颜色处理子系统包括第二图像存储堆栈；

所述第二颜色处理子系统将获得的多个潜在肺癌区域图像块依次存储到所述第二图像存储堆栈。

6.如权利要求5所述的一种基于自学习人工智能的肺癌自动化识别系统，其特征在于：

当所述第一图像存储队列队满时，从所述第一图像存储队列中取出所有可疑肺癌区域图像块；

当所述第二图像存储堆栈满栈时，从所述第二图像存储堆栈取出所有潜在肺癌区域图像块；

将所述所有可疑肺癌区域图像块和所述所有潜在肺癌区域图像块作为组合图像块，输入至所述人工智能识别模型。

7.如权利要求1-6任一项所述的一种基于自学习人工智能的肺癌自动化识别系统，其特征在于：

所述第五结果显示子系统的所述多个区域分层次显示，具体包括：

将不同可疑肺癌区域图像块及其对应的潜在肺癌区域图像块关联显示，所述关联显示包括显示可疑肺癌区域图像块及其对应的潜在肺癌区域图像块之间的关联度以及分类概率。

8.如权利要求1-6任一项所述的一种基于自学习人工智能的肺癌自动化识别系统，其特征在于：

所述第一预处理包括去噪和平滑操作；

所述第二预处理为锐化操作。

9.如权利要求5所述的一种基于自学习人工智能的肺癌自动化识别系统，其特征在于：

所述第一图像存储队列具有第一预定大小；

所述第二图像存储堆栈具有第二预定大小；

所述第二预定大小不低于所述第一预定大小。

10.一种用于人工智能识别模型训练的肺癌自动化识别方法，所述方法基于权利要求1-9任一项所述的一种基于自学习人工智能的肺癌自动化识别系统实现。

Images