CN111950595A - 肝脏病灶图像处理方法、系统、存储介质、程序、终端 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种肝脏病灶图像处理方法、系统、存储介质、程序、终端，信息处理服务器从安全端口获取做过胸部CT的检查者的基本信息和CT图像；通过gRPC，信息处理服务器将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，建立RESTful规范接口将数据暴露；前端网页进而展示肝脏和可能的病灶信息。本发明在现有经典神经网络u‑net架构基础上，在不断反馈增大的肝脏病灶数据集的支持上，经过模型全面改进，能够将识别肝脏的准确度提高到97％，而肝脏占位识别准确度提高到98％。

Description

肝脏病灶图像处理方法、系统、存储介质、程序、终端

技术领域

本发明属于图像处理技术领域，尤其涉及一种肝脏病灶图像处理方法、系统、存储介质、程序、终端。

背景技术

目前，在人工智能的各大产业中，医疗加人工智能方向已然成为瞩目焦点、备受关注。人工智能和医疗的结合具有非凡的发展潜力和想象空间。计算机视觉和医学影像一直联系非常紧密，在AI技术大发展的推动下，市场上涌现了大量的影像诊断产品，如肺结节检测，骨关节骨折和骨龄检测，脑出血和脑肿瘤检测，眼底病筛查，心血管检查，甚至最近的新冠肺炎检测等等。经过几十年的发展，人工智能的主要技术，卷积神经网络能训练更深的网络带来更高的准确度，其中FCN，U-net等神经网络更是让语义分割任务中目标实体显得更为清楚。现在的医学影像人工智能产品大多以此类算法为核心，即分割出病变实体然后分析病变情况。尤其是U-net，将常见的卷积神经网络变成U型结构让左右对应网络层桥接。其深度依然是整个网络的层数，保证能够学习到更好的类别特征。医学CT影像是经过物理和化学的方式形成的特殊图像，它们一般都是基于Hu值的数字信息，映射到计算机数字图像上是灰度图片。各个器官或病变因为吸收物理光线能力的不同或者化学剂的影响而表现密度上的不同，视觉上因此能够分辨人体内部结构。但是它们给人的感觉还是朦胧不清的，而U-net特别适合这种图像的处理。

在中国患病人数较多的肝病相关影像检测分析产品则没有。据研究估计，中国超过五分之一的人群受到肝脏疾病的困扰，尤其是乙肝(HBV)、丙肝(HCV)、肝硬化、肝癌、非酒精脂肪肝(NAFLD)、酒精性肝病(ALD)和药物性肝损伤(DILI)，使得肝病成为中国发病率和死亡率高的主要影响因素之一。根据2018年国际癌症研究中心报告，中国的肝癌发病率位居男性癌症第三、死亡率第二，基于人口规模估计，中国的肝癌患者人数全球最多。据估计，中国有多达700万人(或0.5％的人)患有肝硬化，9000万和1000万人分别受HBV和HCV影响，约1.73亿-3.38亿人受NAFLD影响，至少6200万人受ALD影响。在美国、欧盟、日本等发达国家，HBV的患病率要比中国低很多(0.71-1.17％)。肝病诊断主要通过影像、生化检测指标、病理切片等技术确诊。然而，肝脏病变在早期器质性变化并不明显，肉眼识别难度很大，并且每个患者影像数量从200到2000张左右不等，对医生诊断提出了很大挑战。肝脏影像表现尤甚复杂，首先肝脏病灶种类多，有肿瘤、囊肿、血管瘤等等，它们的影像在密度表现上有差别但是不大；其次它们形态各异且有大有小，不是固定形态；再次病灶和肝脏正常部分往往密度阴影程度很接近，给识别任务造成困难；最后是肝脏密度阴影表现复杂，一些形变如肝裂造成了密度阴影很接近病灶阴影；另外血管在肝脏中穿过造成挤压等也给影像密度表现造成了错觉；最后仪器设备的差异和操作带来的影像密度表现不一定是恒定的。这些复杂因素造成了算法在识别上的困难。人工智能算法的成功是基于大数据的，这些复杂情况更为数据的多样性和数量带来了挑战。据了解，目前国内还没有相关成熟技术公布。

通过上述分析，现有技术存在的问题及缺陷为：目前国内外还没有相关成熟的基于深度学习的人工智能算法技术解决在肝脏图像识别上的困难。由于缺乏大量带标注的、差异显著的肝脏影像数据，目前没有基于深度学习开发的肝脏影像分析系统在市面上应用。传统的方法在小数据集上依靠特征工程进行病变识别，效果没有基于深度学习的好。

解决以上问题及缺陷的难度为：算法优化方面，第一点，肝脏及占位差异小，难以识别，需要放大数据的差异性，让网络一开始更鲜明的学习图像特征；第二点，多数病灶较小，对模型不敏感，需要放大病灶的敏感性，增加类别平衡来保证精确学习小病灶特征；第三点，病灶多样且类别不平衡，需要通过反转图像解决。基于此本研究提出三种不同的改进方法：一是利用负样本填充；二是大大增加正样本；三是增加数据样本自身的多样性。数据集的持续扩展为算法持续增加动力，用与算法相互反馈的系统不断拓展其规模。

解决以上问题及缺陷的意义为：一是快速准确定位肝脏及肝脏病变位置，减轻医务人员工作负担；二是深入分析肝脏及病变形态，将肉眼不可解释的图像信息转化为医生可理解的专业信息，便于医疗决策；三是综合不同部位、不同时期的图像信息进行综合研判，辅助疑难病变的诊断。

发明内容

针对现有技术存在的问题，本发明提供了一种肝脏病灶图像处理方法、系统、存储介质、程序、终端。

本发明是这样实现的，一种肝脏病灶图像处理方法，所述肝脏病灶图像处理方法包括：

第一步，信息处理服务器从安全端口获取做过胸部CT的检查者的基本信息和CT图像，基本信息主要是患者在医疗信息系统里的唯一标示码、姓名、性别、年龄等，CT图像则是原始的DICOM格式；

第二步，通过gRPC，信息处理服务器将图像传输给算法服务器，算法服务器先将存储Hu值的DICOM格式的图像根据肝脏、肝占位不同任务设定特定的窗宽、窗位，然后将其转化为JPG格式的灰度图像。识别肝脏的窗宽设置范围在2000以内，窗位200以内；肝占位的窗宽设置范围在500以内，窗位在300以内。转换后的图像经过灰度值直方图统计，通过改进的z-score对像素灰度值进行校正，获得像素级增强差异后的图像。利用经过百万级别影像训练后的肝脏人工智能识别模型获得肝脏(包括肝占位)图像。对肝脏图像进一步通过直方图均衡化、伪影消除等技术获得校正后的肝脏图像，进而对肝脏部分通过反射、平移等变换，获得待分析肝占位图像。利用已充分训练好的肝脏识别模型获得包含肝占位的肝脏影像中正常肝脏区域，然后通过反转获得肝占位区域，进而对肝占位区域的影像进行分析，获得其病变类型、大小、密度、形态等信息，最后算法服务器再将结果传回给信息处理服务器；

第三步，信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，主要包括肝脏和肝占位的位置信息(JSON格式)、肝脏形态、肝占位形态、肝占位类型、肝占位大小、肝占位密度等，然后建立RESTful接口将数据暴露；

第四步，前端网页在原始肝脏DICOM格式的基础上高亮展示肝脏轮廓和可能的肝占位轮廓，并且详细展示肝脏和肝占位的形态、大小、类型等信息，并可以通过鼠标键盘等输入设备连续查看、放大、缩小、度量影像等操作。

进一步，所述肝脏病灶图像处理方法将表现不好的数据集收集，通过专家校正后放入的数据集再进行训练。

进一步，所述肝脏及肝脏病灶图像处理方法采用计算机敏感的信息保真的图像转换，即基本保持原始数据蕴含信息，而不采用肉眼敏感的图像转换。

进一步，所述肝脏病灶图像处理方法对于单个图片，根据图像上病变和肝脏像素直方图分布，建立统计方法，自动构建像素级别的自适应增强方法。

进一步，所述肝脏病灶图像处理方法通过反射、平移、旋转提高病变样本在数据上的占比；改变正负样本的比例，在负样本中大量随机嵌入正样本。

进一步，所述肝脏病灶图像处理方法使用u-net基础架构网络，通过调整基本计算模块结构、损失函数等更加准确的识别肝脏和肝脏病变。

进一步，所述肝脏病灶图像处理方法改变传统识别病灶的低效且类型有限的问题，转而采用识别肝脏的方法然后反转的策略提高准确度。

进一步，所述肝脏病灶图像处理方法通过肝脏识别、肝脏病变识别、病变分析三步走策略，提升识别和分析的准确性。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

第一步，信息处理服务器从安全端口获取做过胸部CT的检查者的基本信息和CT图像；

第二步，通过gRPC，信息处理服务器将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；

第三步，信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露；

第四步，前端网页进而展示肝脏和可能的病灶信息。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

第一步，信息处理服务器从安全端口获取做过胸部CT的检查者的基本信息和CT图像；

第二步，通过gRPC，信息处理服务器将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；

第三步，信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露；

第四步，前端网页进而展示肝脏和可能的病灶信息。

本发明的另一目的在于提供一种实施所述肝脏病灶图像处理方法的肝脏病灶图像处理系统，所述肝脏病灶图像处理系统包括：

信息和图像获取模块，用于获取做过胸部CT的检查者的基本信息和CT图像；

图像信息处理模块，用于将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；

数据库存储模块，用于将信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露；

信息展示模块，用于前端网页进而展示肝脏和可能的病灶信息。

本发明的另一目的在于提供一种肝脏病灶图像处理装置，所述肝脏病灶图像处理装置搭载所述的肝脏病灶图像处理系统，所述肝脏病灶图像处理装置包括：

信息处理服务器，用于从安全端口获取做过胸部CT的检查者的基本信息和CT图像；

算法服务器，通过gRPC，信息处理服务器将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；

MySQL和MongoDB数据库，信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露。

本发明的另一目的在于提供一种终端，所述终端搭载所述的肝脏病灶图像处理系统。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明经过一系列调研和技术尝试，开发出了肝脏病变影像辅助检测AI，即通过人工智能算法将肝脏中的病变给标注出来并检测出其属于哪种病变。本发明的系统算法在现有经典神经网络u-net架构的基础上，在不断反馈增大的肝脏病灶数据集的支持上，经过模型全面改进，能够将识别肝脏的准确度提高到97％，而肝脏占位(癌症、肿瘤、囊肿等)识别准确度提高到98％。在此基础上，结合本院医疗信息系统开发了一套自动识别肝脏和肝占位的人工智能系统。据调查所知，国内目前还没有类似的产品在任何一家医院成功部署。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍。显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的肝脏病灶图像处理方法流程图。

图2是本发明实施例提供的肝脏病灶图像处理系统的结构示意图；

图中：1、信息和图像获取模块；2、图像信息处理模块；3、数据库存储模块；4、信息展示模块。

图3是本发明实施例提供的肝脏病灶图像处理系统整体架构示意图。

图4是本发明实施例提供的肝脏病灶图像处理系统功能示意图。

图5是本发明实施例提供的肝脏病灶图像数据处理流程图。

图6是本发明实施例提供的两级级联u-net架构识别肝脏病变模型示意图。

图7是本发明实施例提供的不同算法对图像处理结果对比示意图；

图中：(a)原图；(b)像素级自适应增强算法处理结果；(c)OpenCV自带工具处理结果。

图8是本发明实施例提供的系统对接示意图。

图9是本发明实施例提供的病变分析结果展示示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种肝脏病灶图像处理方法、系统、存储介质、程序、终端，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的肝脏病灶图像处理方法包括以下主要步骤：

S101：信息处理服务器通过安全端口从医疗信息系统(如PACS、RIS等)获取做过胸部CT的检查者的基本信息和DICOM格式的CT图像；

S102：通过gRPC，信息处理服务器将图像传输给算法服务器进行计算，获得肝脏、肝脏病变位置以及病变的类型、形态等分析结构，算法服务器再将结果传回给信息处理服务器；

S103：信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露出来，前端网页进而展示肝脏和可能的病灶信息。

如图2所示，本发明提供的肝脏病灶图像处理系统包括：

信息和图像获取模块1，用于获取做过胸部CT的检查者的基本信息和CT图像。

图像信息处理模块2，用于将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器。

数据库存储模块3，用于将信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露出来。

信息展示模块4，用于前端网页进而展示肝脏和可能的病灶信息。

下面结合附图对本发明的技术方案作进一步的描述。

本发明是基于自改进算法的肝脏病灶图像处理AI分析系统，并且携带算法数据集持续反馈增长系统。基于医院的信息系统，自主开发了该系统。

本发明的系统的主体算法基于团队的自研算法，在保证医院数据安全性的基础上，通过常见的计算机技术构造了一系列的系统。首先信息处理服务器从安全端口获取即时的做过胸部CT的检查者的基本信息和CT图像；然后通过gRPC，信息处理服务器将图像传输给有GPU具有快速计算的算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，这里会建立一个RESTful接口将数据暴露出来，前端网页进而展示肝脏和可能的病灶信息。其中一些表现不好的数据集会收集起来，通过改进的标注软件，专业标注团队会改进结果并放入的数据集再进行训练。算法的核心如图5所示。为了提高算法性能，本发明提出了一系列先进技术，包括自适应Hu值转化为灰度值、自适应像素级灰度值增强、反射模式的图像增强及结果重构、逆向肝脏病变位置识别等。

本发明检测肝脏病变的算法基本思想是典型的两段式，首先将肝脏部分提取出来，再识别该肝脏区域内的病变部分。算法框架采用u-net架构，该级联算法如图6。

在算法创新上本发明改进并发现使用了多种方法。

(1)自适应Hu值转换为灰度值。

肝脏CT原始DICOM图像存储的是Hu值，不同窗宽窗位定义的图像表现差异极大，为了能更好的识别肝脏和肝脏病变，本发明提出了自适应定义窗宽窗位的算法。根据自适应的窗宽窗位将DICOM图像转换为灰度图像，进而对肝脏和占位进行有效的识别。

(2)自适应像素级图像特征增强方法。

对于单个图片，根据图像上病变和肝脏像素直方图分布，建立统计方法，自动构建像素级别的自适应增强方法，能够自动将病变跟肝脏的差异增强，便于识别。图7是原图、经过改进的像素级自适应方法生成的图像以及采用OpenCV处理后生成的图像对比。明显可见，经过改进像素级自适应增强算法处理结果明显增强了对比度，而OpenCV自带方法因为过多0值的影响而效果不佳。

(3)样本增强

针对病变部分样本在像素级上普遍占比较小，造成正样本数目较少，本发明提出两个解决方法：从输入数据入手，通过反射、平移、旋转等手段提高病变样本在数据上的占比，这样可以明显增强模型对病灶部分的敏感性；从识别类别出发，改变正负样本的比例。在负样本中大量增加正样本，使得类别相对较平衡。

(4)病变位置重构

样本增强后的图像结果往往有多个，为了达到最佳识别效果，本发明通过多数投票机制将不同位置的判定结果映射到相同位置进行综合判定，降低单次识别造成的偶然误差。

(5)病变逆向分析

针对病变位置、形态、大小、类型等复杂多样，而实际训练数据在某些类型上可能较少不能充分训练的缺陷，本发明采用逆向思维，确定正常肝脏的位置，然后反转获得病变的位置，大大提高发现病变位置的准确性和敏感度。

本发明自项目实施以来累积收集肝病患者超过CT影像超过2100例，通过影像学专家和模型多次迭代标注肝脏和肝病病变影像超过50万张，肝脏识别准确度超过97％(DICE)，肝脏病变位置识别准确度超过98％(DICE)，肝脏病变类型判别准确度超过96％。对于肝脏病变识别来说，弥漫性病变识别难度最大，而本发明所实现的算法可以非常准确的定位弥漫性病变，并且肝脏内的多个病变位置也可以准确的定位(见图9)。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种肝脏病灶图像处理方法，其特征在于，所述肝脏病灶图像处理方法包括：

第一步，信息处理服务器从安全端口获取做过胸部CT的检查者的基本信息和CT图像；

第二步，通过gRPC，信息处理服务器将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；

第三步，信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露；

第四步，前端网页进而展示肝脏和可能的病灶信息。

2.如权利要求1所述的肝脏病灶图像处理方法，其特征在于，所述肝脏病灶图像处理方法将表现不好的数据集收集，经过专家校正后放入数据集再进行训练；此过程重复迭代，直至结果性能满足预设目标；

所述肝脏病灶图像处理方法以u-net架构为基础的深度学习网络通过全面改进模块结构、损失函数、训练策略提升肝脏及病变识别效能。

3.如权利要求1所述的肝脏病灶图像处理方法，其特征在于，所述肝脏病灶图像处理方法对于单个图片，根据图像上病变和肝脏像素的灰度值直方图分布，建立统计方法，自动构建像素级别的自适应增强方法。

4.如权利要求1所述的肝脏病灶图像处理方法，其特征在于，所述肝脏病灶图像处理方法通过反射、平移、旋转提高病变样本的数量和多样性；在负样本中通过随机嵌入正样本的方式改变正负样本的比例。

5.如权利要求1所述的肝脏病灶图像处理方法，其特征在于，所述肝脏病灶识别经过肝脏识别、肝占位识别、肝占位分析三步；所述肝脏病灶识别经过正常肝脏识别反转而得到。

6.如权利要求1所述的肝脏病灶图像处理方法，其特征在于，所述肝脏及肝脏病灶识别基于计算机敏感而非人眼敏感的图像信息的灰度值定义。

7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

第一步，信息处理服务器从安全端口获取做过胸部CT的检查者的基本信息和CT图像；

第二步，通过gRPC，信息处理服务器将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；

第三步，信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露；

第四步，前端网页进而展示肝脏和可能的病灶信息。

8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

第一步，信息处理服务器从安全端口获取做过胸部CT的检查者的基本信息和CT图像；

第二步，通过gRPC，信息处理服务器将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；

第三步，信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露；

第四步，前端网页进而展示肝脏和可能的病灶信息。

9.一种实施权利要求1～7任意一项所述肝脏病灶图像处理方法的肝脏病灶图像处理系统，其特征在于，所述肝脏病灶图像处理系统包括：

信息和图像获取模块，用于获取做过胸部CT的检查者的基本信息和CT图像；

图像信息处理模块，用于将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；

数据库存储模块，用于将信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露；

信息展示模块，用于前端网页进而展示肝脏和可能的病灶信息。

10.一种肝脏病灶图像处理装置，其特征在于，所述肝脏病灶图像处理装置搭载权利要求9所述的肝脏病灶图像处理系统，所述肝脏病灶图像处理装置包括：

信息处理服务器，用于从安全端口获取做过胸部CT的检查者的基本信息和CT图像；

算法服务器，通过gRPC，信息处理服务器将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；

MySQL和MongoDB数据库，信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露。

Images