CN113420826A - 一种肝脏病灶图像处理系统及图像处理方法 - Google Patents

一种肝脏病灶图像处理系统及图像处理方法 Download PDF

Info

Publication number
CN113420826A
CN113420826A CN202110770193.9A CN202110770193A CN113420826A CN 113420826 A CN113420826 A CN 113420826A CN 202110770193 A CN202110770193 A CN 202110770193A CN 113420826 A CN113420826 A CN 113420826A
Authority
CN
China
Prior art keywords
liver
image
information
focus
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110770193.9A
Other languages
English (en)
Other versions
CN113420826B (zh
Inventor
赵亮
徐霖
罗杰
陈文�
高瞻
何强
王克军
胡瑞
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiyan Taihe Hospital
Original Assignee
Shiyan Taihe Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiyan Taihe Hospital filed Critical Shiyan Taihe Hospital
Publication of CN113420826A publication Critical patent/CN113420826A/zh
Application granted granted Critical
Publication of CN113420826B publication Critical patent/CN113420826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种肝脏病灶图像处理系统及图像处理方法，包括用于获取做过腹部CT的检查者基本信息和CT图像的信息和图像获取模块、用于将图像传输给算法服务器进行分析计算的图像信息处理模块、用于将信息和计算结果写入MySQL和MongoDB数据库建立RESTful接口将数据暴露的数据库存储模块和用于前端网页展示肝脏和可能病灶信息的信息展示模块。本发明的系统算法在现有经典神经网络u‑net架构的基础上，在不断反馈增大的肝脏病灶数据集的支持上，经过模型全面改进，能够识别并分割平扫和增强肝脏CT中的微小病灶、模糊病灶、弥漫病灶、边缘上病灶、异质型病灶等，并将识别肝脏的准确度提高到98％，而肝脏病灶(癌症、肿瘤、囊肿等)识别准确度提高到97％。

Description

一种肝脏病灶图像处理系统及图像处理方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人工智能辅助肝脏病灶图像处理系统及图像处理方法。
背景技术
目前，在人工智能的各大产业中，医疗加人工智能方向已然成为瞩目焦点、备受关注。人工智能和医疗的结合具有非凡的发展潜力和想象空间。计算机视觉和医学影像一直联系非常紧密，在AI技术大发展的推动下，市场上涌现了大量的影像诊断产品，如肺结节检测、骨关节骨折和骨龄检测、脑出血和脑肿瘤检测、眼底病筛查、心血管检查，甚至最近的新冠肺炎检测等等。经过几十年的发展，人工智能的主要技术，卷积神经网络能训练更深的网络带来更高的准确度，其中FCN，U-net等神经网络更是让语义分割任务中目标实体显得更为清楚。现在的医学影像人工智能产品大多以此类算法为核心，即分割出病变实体然后分析病变情况。尤其是U-net，将常见的卷积神经网络变成U型结构让左右对应网络层桥接。其深度依然是整个网络的层数，保证能够学习到更好的类别特征。医学CT影像是经过物理和化学的方式形成的特殊图像，它们一般都是基于Hu值的数字信息，映射到计算机数字图像上是灰度图片。各个器官或病变因为吸收物理光线能力的不同或者化学剂的影响而表现密度上的不同，视觉上因此能够分辨人体内部结构。但是它们给人的感觉还是朦胧不清的，而U-net特别适合这种图像的处理。
在中国患病人数较多的肝病相关影像检测分析产品则没有。据研究估计，中国超过五分之一的人群受到肝脏疾病的困扰，尤其是乙肝(HBV)、丙肝(HCV)、肝硬化、肝癌、非酒精脂肪肝(NAFLD)、酒精性肝病(ALD)和药物性肝损伤(DILI)，使得肝病成为中国发病率和死亡率高的主要影响因素之一。根据2020年国际癌症研究中心报告，中国的肝癌发病率位居男性癌症第三、死亡率第二，基于人口规模估计，中国的肝癌患者人数全球最多。据估计，中国有多达700万人(或0.5％的人)患有肝硬化，9000万和1000万人分别受HBV和HCV影响，约1.73亿-3.38亿人受NAFLD影响，至少6200万人受ALD影响。在美国、欧盟、日本等发达国家，HBV的患病率要比中国低很多(0.71-1.17％)。肝病诊断主要通过影像、生化检测指标、病理切片等技术确诊。然而，肝脏病变在早期器质性变化并不明显，肉眼识别难度很大，并且每个患者影像数量从200到2000张左右不等，对医生诊断提出了很大挑战。肝脏影像表现尤甚复杂，首先肝脏病灶种类多，有肿瘤、囊肿、血管瘤等等，它们的影像在密度表现上有差别但是不大；其次它们形态各异且有大有小，不是固定形态；再次病灶和肝脏正常部分往往密度阴影程度很接近，给识别任务造成困难；最后是肝脏密度阴影表现复杂，一些形变如肝裂造成了密度阴影很接近病灶阴影；另外血管在肝脏中穿过造成挤压等也给影像密度表现造成了错觉；最后仪器设备的差异和操作带来的影像密度表现不一定是恒定的。这些复杂因素造成了算法在识别上的困难。人工智能算法的成功是基于大数据的，这些复杂情况更为数据的多样性和数量带来了挑战。据了解，目前国内还没有相关成熟技术公布。通过上述分析，现有技术存在的问题及缺陷为：目前国内外还没有相关成熟的基于深度学习的人工智能算法技术解决肝脏微小病灶、模糊病灶、弥漫病灶、异质病灶、边界病灶等图像分割上的困难。由于缺乏大量带标注的、差异显著的肝脏影像数据，目前没有基于深度学习开发的肝脏影像分析系统在市面上应用。传统的方法在小数据集上依靠特征工程进行病变识别由于受到病灶异质性的影响效果远没有基于深度学习的好。
解决以上问题及缺陷的难度为：算法优化方面，第一点，肝脏及占位差异小，难以识别，需要放大数据的差异性，让网络一开始更鲜明的学习图像特征；第二点，多数病灶较小，对模型不敏感，需要放大病灶的敏感性，保证精确学习小病灶特征；第三点，病灶多样且类别不平衡，需要通过图像增强解决；第四点，大量在肝脏边界上的病灶不能通过传统的方法解决，需要融入边界信息。基于此本研究提出五种不同的改进方法：一是放大病灶增强微小病灶的识别能力；二是增强病灶和正常组织的对比度，降低模糊、弥漫病灶的识别难度；三是融合多个特异性模型保证病灶识别的准确度和完整性；四是采用计算机敏感的数据处理方式保障有效信息的保留；五是对数据进行多样式的增强，尤其是小病灶嵌入，提高算法的准确度。另外，数据集的持续扩展为算法优化增加动力，用与算法相互反馈的系统不断拓展其规模和准确度。
解决以上问题及缺陷的意义为：一是快速准确定位肝脏及肝脏病变位置，减轻医务人员工作负担；二是深入分析肝脏及病变形态，将肉眼不可解释的图像信息转化为医生可理解的专业信息，便于医疗决策；三是综合不同部位、不同时期的图像信息进行综合研判，辅助疑难病变的诊断。
发明内容
本发明的目的就在于为了解决上述问题而提供一种肝脏病灶图像处理系统及图像处理方法。
本发明通过以下技术方案来实现上述目的：
本发明提出一种肝脏病灶图像处理系统，包括用于获取做过腹部CT的检查者基本信息和CT图像信息的图像获取模块、用于将图像传输给算法服务器进行计算的图像信息处理模块、用于将信息和计算结果写入MySQL和MongoDB数据库建立RESTful接口将数据暴露的数据库存储模块和用于前端网页展示肝脏和可能病灶信息的信息展示模块；所述信息和图像获取模块的信息输出端与所述图像信息处理模块的信息输入端连接，所述算法服务器将计算结果回传至所述图像信息处理模块，所述图像信息处理模块的数据输出端与所述数据库存储模块连接，所述数据库存储模块的显示信号输出端与所述信息展示模块连接。
本发明所述肝脏病灶图像处理系统的图像处理方法，包括以下步骤：
S1：信息和图像获取模块从安全端口获取做过腹部CT的检查者的基本信息和CT图像；
S2：图像信息处理模块将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理模块；
S3：数据库存储模块将信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露；
S4：最后信息展示模块将前端网页进行展示肝脏和可能的病灶信息。
所述步骤S1中基本信息主要是患者在医疗信息系统里的唯一标示码、姓名、性别、年龄，CT图像是原始的DICOM格式。
所述步骤S2中图像信息处理模块通过gRPC将图像传输给算法服务器，算法服务器先将存储Hu值的DICOM格式的图像根据肝脏、肝占位不同任务经过800-4000窗宽截取后转化为高精度矩阵，然后将该矩阵及其转换后的图像灰度值经过直方图统计，并通过改进的z-score算法进行校正，获得增强差异后的图像，肝脏病灶图像处理方法采用两阶段病灶识别和独立病灶识别融合方法，两阶段病灶识别是利用经过百万级别影像训练后的肝脏人工智能识别模型获得肝脏图像，包括肝占位图像，两阶段病灶识别准确的分割肝脏内部病灶，独立病灶识别作为补充，识别和发现边界病灶。对肝脏图像进一步通过直方图均衡化、伪影消除等技术获得校正后的肝脏图像，以其为掩码取出肝脏区域的高精度矩阵，进而对肝脏部分通过反射、平移等变换，获得待分析肝占位图像，再利用精细设计的微小病灶、模糊病灶增强分割和常规病灶分割等已充分训练好的肝占位识别模型获得肝占位分割结果，然后通过反转获得原始图像对应的肝占位区域；独立病灶识别只在原始图像上直接进行肝占位识别，图像处理过程同上述两阶段处理方法，识别出肝脏边缘病灶，进而对肝占位区域的影像进行分析，获得其病变类型、大小、密度、形态等信息，最后算法服务器再将结果传回给信息处理服务器。
所述步骤S3中数据库存储模块将检查者信息和计算结果写入MySQL和MongoDB数据库，包括肝脏和肝占位的位置JSON格式信息、肝脏形态、肝占位形态、肝占位类型、肝占位大小、肝占位密度、肝占位分期，然后建立RESTful接口将数据暴露。
所述步骤4中前端网页在原始肝脏DICOM格式的基础上高亮展示肝脏轮廓和可能的肝占位轮廓，并且详细展示肝脏和肝占位的形态、大小、类型信息，并能够通过鼠标键盘输入设备连续查看、放大、缩小、度量影像操作。
所述肝脏病灶图像处理方法将表现不好的数据集收集，通过专家校正后放入的数据集再进行训练。采用计算机敏感的信息保真的高精度图像转换，即基本保持原始数据蕴含信息，而不采用肉眼敏感的图像转换。对于单个图像，根据对应矩阵上病变和肝脏数值直方图分布进行统计学分析，构建图像的自适应增强方法，并根据梯度信息、超分辨率融合等，增强模糊边界的分辨率。通过反射、平移、旋转提高病变样本在数据上的占比，肝脏病灶数据随机嵌入改变正负样本的比例。使用u-net基础架构网络，通过调整基本计算模块结构、损失函数等更加准确的识别肝脏和肝脏病变。本发明肝脏病灶图像处理方法改变传统识别病灶的低效且类型有限的问题，转而采用识别肝脏的方法然后反转的策略提高准确度。肝脏病灶识别方法通过病灶大小分布模型对肝占位分割结果进行后处理，排除假阳性。肝脏病灶图像处理方法采用放大和缩小相融合的分析技术，有效发现5毫米以下微小病灶。肝脏病灶图像处理方法通过肝脏识别、肝脏病变识别、病变分析三步策略，提升识别和分析的准确性。
本发明的有益效果在于：
本发明是一种肝脏病灶图像处理系统及图像处理方法，与现有技术相比，本发明经过一系列调研和技术尝试，开发出了肝脏病变影像辅助检测AI，即通过人工智能算法将肝脏中的病变标注出来并检测出其属于哪种病变。本发明的系统算法在现有经典神经网络u-net架构的基础上，在不断反馈增大的肝脏病灶数据集的支持上，经过模型全面改进，能够识别并分割平扫和增强肝脏CT中的微小病灶、模糊病灶、弥漫病灶、边缘上病灶、异质型病灶等，并将识别肝脏的准确度提高到98％，而肝脏病灶(癌症、肿瘤、囊肿等)识别准确度提高到97％。在此基础上，结合本院医疗信息系统开发了一套自动识别肝脏和肝占位的人工智能系统。据调查所知，国内目前还没有类似的产品在任何一家医院成功部署。
附图说明
图1是本发明实施例提供的肝脏病灶图像处理系统的结构示意图；
图中：1、信息和图像获取模块；2、图像信息处理模块；3、数据库存储模块；4、信息展示模块。
图2是本发明实施例提供的肝脏病灶图像处理方法流程图。
图3是本发明实施例提供的肝脏病灶图像处理系统整体架构示意图。
图4是本发明实施例提供的肝脏病灶图像处理系统功能示意图。
图5是本发明实施例提供的肝脏病灶图像数据处理流程图。
图6是本发明实施例提供的两级级联u-net架构识别肝脏病变模型示意图。
图7是本发明实施例提供的第一阶段肝脏识别模型对不同复杂场景下的肝脏分割结果示意图；
图中：(a)肝脏被其它器官截断成两部分；(b)含有肝裂的情形；(c)含有弥漫型肝病情形；(d)肝脏内含有非肝脏区域。
图8是本发明实施例提供的第二阶段肝占位识别模型对不同复杂病灶的分割结果示意图。
图中：(a)微小型病灶分割实例；(b)边缘型病灶分割实例；(c)异质型病灶分割实例；(d)弥漫型病灶分割实例。
图9是本发明实施例提供的肝脏病灶图像处理方法采用两阶段病灶识别和独立病灶识别融合技术，识别肝脏内部和边缘病灶系统展示结果示意图。
图10是本发明实施例提供的系统对接示意图。
图11是本发明实施例提供的病变分析结果展示示意图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示：本发明提供的肝脏病灶图像处理系统包括：
信息和图像获取模块1，用于获取做过腹部CT的检查者的基本信息和CT图像。
图像信息处理模块2，用于将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理服务器。
数据库存储模块3，用于将信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露出来。
信息展示模块4，用于前端网页进而展示肝脏和可能的病灶信息。
如图2所示，本发明提供的肝脏病灶图像处理方法包括以下主要步骤：
S1：信息处理服务器通过安全端口从医疗信息系统(如PACS、RIS等)获取做过腹部CT的检查者的基本信息和DICOM格式的CT图像；
S2：通过gRPC，信息处理服务器将图像传输给算法服务器进行计算，获得肝脏、肝脏病变位置以及病变的类型、形态等分析结构，算法服务器再将结果传回给信息处理服务器；
S3：信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露出来，前端网页进而展示肝脏和可能的病灶信息。
本发明是基于自改进算法的肝脏病灶图像处理AI分析系统，并且携带算法数据集持续反馈增长系统。基于医院的信息系统，开发了该系统。
本发明的系统主体算法基于团队的自研算法，在保证医院数据安全性的基础上，通过常见的计算机技术构造了一系列的系统。首先信息处理服务器从安全端口获取即时的做过腹部CT的检查者的基本信息和CT图像；然后通过gRPC，信息处理服务器将图像传输给有GPU具有快速计算的算法服务器进行计算，算法服务器再将结果传回给信息处理服务器；信息处理服务器将检查者信息和计算结果写入MySQL和MongoDB数据库，这里会建立一个RESTful接口将数据暴露出来，前端网页进而展示肝脏和可能的病灶信息，系统整体架构如图3所示。系统功能包含：CT图像转换、数据增强、模型训练、肝脏和肝占位识别、各类信息存储、患者信息展示与交互、影像中肝脏和肝占位描画与结构化描述等，如图4所示。
本发明的系统识别结果反馈机制，可以将一些表现不好的数据集会收集起来，通过改进的标注软件，专业标注团队会改进结果并放入数据集再进行训练。算法的核心如图5所示。为了提高算法性能，本发明提出了一系列先进技术，包括DICOM格式数据经过大窗宽截取后转化为高精度矩阵、涵盖像素级灰度值的图像自适应增强方法、反射模式的图像增强及结果重构、逆向肝脏病变位置识别、两阶段病灶识别和独立病灶识别融合技术分割边缘病灶、肝占位假阳性过滤策略等。
本发明检测肝脏病变采用两阶段病灶识别和独立病灶识别融合技术，其中两阶段病灶识别如图6所示，算法框架采用U-net架构，首先将肝脏部分提取出来，再识别该肝脏区域内的病变部分。在算法创新上本发明改进并发现使用了多种方法。
(1)DICOM格式数据转化为高精度矩阵。
肝脏CT原始DICOM图像存储的是Hu值，经过大窗宽(800＜窗宽＜4000)截取后转化为高精度矩阵，该矩阵对计算机敏感而非人眼敏感。该方法保证原始有效信息最大化的保留，同时去除噪声和干扰数据。模型训练以转换后的矩阵为基础。
(2)涵盖像素级灰度值的图像自适增强方法。
对于单个图片，根据图像上病变和肝脏像素直方图分布，建立统计方法，自动构建像素级别的自适应增强方法，作用于对应的高精矩阵，能够自动将病变跟肝脏的差异增强，便于识别。
令f(x，y)表示在图像任意坐标(x，y)处的像素值，g(x，y)表示该坐标处的相应的增强像素值，则有
Figure BDA0003152692410000091
其中，k是局部范围内核的大小，
Figure BDA0003152692410000092
是以坐标(x，y)为中心、核大小为k的局部像素灰度值高精度转换后的平均值，
Figure BDA0003152692410000093
是该范围内转换后像素值的标准差，k通常为奇数。
(3)样本增强
针对病变部分样本在图像上普遍占比较小，造成正样本数目较少，本发明提出两个解决方法：从输入数据入手，通过反射、平移、旋转等手段提高病变样本在数据上的占比，这样可以明显增强模型对病灶部分的敏感性；从识别类别出发，改变正负样本的比例。在负样本中大量增加正样本，使得类别相对较平衡。
(4)局部对比度增强技术分割微小病灶和模糊病灶
针对微小病灶和较模糊病灶难以识别和分割的问题，本发明构造多种对比度增强算法，包括在目标检测后的局部区域重建超分辨率图像，在保证算法效率的同时进而增大待检测目标；利用滤波后的图像计算梯度的策略突出目标区域对比度差异，便于后续分割。
令f(x，y)表示在图像任意坐标(x，y)处的像素值，g(x，y)表示该坐标处对应超分辨率重建后的像素值，则有
g(x，y)＝σ(W*f(x，y)+B)L#(2)
其中W是神经网络参数矩阵，B是网络偏置矩阵，L是网络层数。W和B通过损失函数后向传播学习，其中损失函数定义为：
Figure BDA0003152692410000101
式中poolingk(gi(x，y))是将位置为(x，y)、核大小为k的区域下采样为一个值，Z，M，N三个值分别代表批大小、图片宽和高。采用poolingk(·)函数下采样的原因是超分辨率重建后的图片大小跟原始输入之间存在k倍差距。
对于图片滤波后的梯度增强，则采用如下公式进行计算：
g(x，y)＝H(f(x，y)-γfLP(x，y))#(4)
式中fLP(x，y)是对f(x，y)在频域上的低通滤波，通过以下公式计算：
Figure BDA0003152692410000111
dis(x，y)是任意像素(x，y)到中心点(x0，y0)的距离，d0是以点(x0，y0)为中心的局部区域半径。H(g(x，y))是以(x，y)为中心的局部区域数值的二阶导数。
通过上述增强后的图像和原始图像一起以多通道的形式输入到神经网络进行模型训练，从而提高局部病灶识别的准确度。该处理方式不等同于对原始图像经过神经网络对原始图像的非线性变换得到的目标图像，因为以上操作都是在原始图像的局部进行，而不是全局进行的变换。
(5)病变位置重构
样本增强后的图像结果往往有多个，为了达到最佳识别效果，本发明通过多数投票机制将不同位置的判定结果映射到相同位置进行综合判定，降低单次识别造成的偶然误差，即
Figure BDA0003152692410000112
式中wi是第i个模型的权重，I(·)是指示函数。
(6)病变逆向分析
针对病变位置、形态、大小、类型等复杂多样，而实际训练数据在某些类型上可能较少不能充分训练的缺陷，本发明采用逆向思维，确定正常肝脏的位置，然后反转获得病变的位置，大大提高发现病变位置的准确性和敏感度。
(7)两阶段病灶识别和独立病灶识别融合技术分割边缘病灶
两阶段病灶识别是在肝脏分割的基础上进行病灶识别，该方法可以非常准确的识别肝脏内部病灶，但是对于肝脏边沿病灶无能为力；独立病灶识别可以发现边界病灶，但是识别准确度较两阶段算法有所下降。融合这两个算法可以非常准确的识别肝脏内部以及边界上的病灶。融合通过以下公式实现：
Figure BDA0003152692410000121
式中f2(x，y)和f1(x，y)分别代表两阶段模型和单阶段模型在图像位置(x，y)处生成的分割概率值，C0为病灶质心到最近的肝脏边界的距离，K为病灶的大小(取长和宽中的最大值)。
(8)肝占位假阳性后处理策略
针对少量肝脏病变的错误分割，利用识别的肝占位在其前后连续几张影像切片上具有相同或相近的特征进行过滤，排除识别结果中的假阳性。
令P(X)表示病灶X＝<x1，x2，…，xn>的联合概率分布，a(xi)为第i张病灶xi的图像面积，则
Figure BDA0003152692410000122
其中pn(xi)表示xi的概率，计算公式为
Figure BDA0003152692410000123
式中
Figure BDA0003152692410000124
和
Figure BDA0003152692410000125
为所有病灶大小为n的第i个病灶断层面积的均值和标准差。通过P(X)计算P(X)的概率分布
Figure BDA0003152692410000126
式中μ和δ分别为长度为n的所有病灶块联合概率分布的均值和方差。P(X)分布在2δ范围内定义为正常的病灶，否则为假阳性。
本发明自项目实施以来累积收集肝病患者CT影像超过5100例，通过影像学专家和模型多次迭代标注肝脏和肝病病变影像超过60万张，肝脏识别准确度超过98％(DICE)，肝脏病变位置识别准确度超过97％(DICE)，肝脏病变类型判别准确度超过96％。
为了体现本发明对肝脏、肝占位的识别效果和准确度，进一步结合以下三个实施例进行说明：
实施例一，模型第一阶段对于CT影像中肝脏的识别。随机挑选模型在复杂场景下对肝脏的分割结果，如图7所示，模型能够很好的处理识别难度非常大的各类情形，如：图7(a)原图肝脏被其它器官截断成两部分；图7(b)肝脏中含有肝裂的情形；图7(c)肝脏中含有弥漫型病变的情形；图7(d)肝脏内含有非肝脏区域。
实施例二，模型第二阶段对于肝脏图像中肝占位的识别。随机挑选模型在不同肝脏病变下对肝占位的分割结果，如图8所示，模型能够很好的处理识别难度大、隐秘性强的各类情形，主要包含：图8(a)微小型病灶；图8(b)边缘型病灶；图8(c)异质型病灶；图8(d)弥漫型病灶。
实施例三，两阶段病灶识别和独立病灶识别融合技术的肝占位识别效果。系统应用效果，如图9所示，两阶段病灶识别方法在肝脏分割的基础上识别病灶，可以非常准确的识别肝脏内部病灶，但是容易遗漏肝脏边沿病灶；独立病灶识别可以识别超出肝脏分割区域以外的边界病灶，融合这两个算法对于各类情形的肝占位识别效果非常显著。
本发明专利对应的肝脏影像AI系统自2019年7月在十堰市某大型三甲医院影像科上线测试运行，系统稳定、高效，反响非凡，系统主要呈现效果如图10、11所示。
以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种肝脏病灶图像处理系统，其特征在于：包括用于获取做过腹部CT的检查者基本信息和CT图像信息的图像获取模块、用于将图像传输给算法服务器进行计算的图像信息处理模块、用于将信息和计算结果写入MySQL和MongoDB数据库建立RESTful接口将数据暴露的数据库存储模块和用于前端网页展示肝脏和可能病灶信息的信息展示模块；所述信息和图像获取模块的信息输出端与所述图像信息处理模块的信息输入端连接，所述算法服务器将计算结果回传至所述图像信息处理模块，所述图像信息处理模块的数据输出端与所述数据库存储模块连接，所述数据库存储模块的显示信号输出端与所述信息展示模块连接。
2.一种如权利要求1所述肝脏病灶图像处理系统的图像处理方法，其特征在于，包括以下步骤：
S1：信息和图像获取模块从安全端口获取做过腹部CT的检查者的基本信息和CT图像；
S2：图像信息处理模块将图像传输给算法服务器进行计算，算法服务器再将结果传回给信息处理模块；
S3：数据库存储模块将信息和计算结果写入MySQL和MongoDB数据库，建立RESTful接口将数据暴露；
S4：最后信息展示模块将前端网页进行展示肝脏和可能的病灶信息。
3.根据权利要求2所述的肝脏病灶图像处理系统的图像处理方法，其特征在于：所述步骤S1中基本信息主要是患者在医疗信息系统里的唯一标示码、姓名、性别、年龄，CT图像是原始的DICOM格式。
4.根据权利要求2所述的肝脏病灶图像处理系统的图像处理方法，其特征在于：所述步骤S2中图像信息处理模块通过gRPC将图像传输给算法服务器，算法服务器先将存储Hu值的DICOM格式的图像根据肝脏、肝占位不同任务经过800-4000窗宽截取后转化为高精度矩阵，然后将该矩阵及其转换后的图像灰度值经过直方图统计，并通过改进的z-score算法进行校正，获得增强差异后的图像，肝脏病灶图像处理方法采用两阶段病灶识别和独立病灶识别融合方法，两阶段病灶识别是利用经过百万级别影像训练后的肝脏人工智能识别模型获得肝脏图像，包括肝占位图像，对肝脏图像进一步通过直方图均衡化、伪影消除技术获得校正后的肝脏图像，以其为掩码取出肝脏区域的高精度矩阵，进而对肝脏部分通过反射、平移变换，获得待分析肝占位图像，再利用精细设计的微小病灶、模糊病灶增强分割和常规病灶分割已充分训练好的肝占位识别模型获得肝占位分割结果，然后通过反转获得原始图像对应的肝占位区域；独立病灶识别只在原始图像上直接进行肝占位识别，图像处理过程同上述两阶段处理方法，识别出肝脏边缘病灶，进而对肝占位区域的影像进行分析，获得其病变类型、大小、密度、形态信息，最后算法服务器再将结果传回给信息处理服务器。
5.根据权利要求2所述的肝脏病灶图像处理系统的图像处理方法，其特征在于：所述步骤S3中数据库存储模块将检查者信息和计算结果写入MySQL和MongoDB数据库，包括肝脏和肝占位的位置JSON格式信息、肝脏形态、肝占位形态、肝占位类型、肝占位大小、肝占位密度、肝占位分期，然后建立RESTful接口将数据暴露。
6.根据权利要求2所述的肝脏病灶图像处理系统的图像处理方法，其特征在于：所述步骤4中前端网页在原始肝脏DICOM格式的基础上高亮展示肝脏轮廓和可能的肝占位轮廓，并且详细展示肝脏和肝占位的形态、大小、类型信息，并能够通过鼠标键盘输入设备连续查看、放大、缩小、度量影像操作。
CN202110770193.9A 2020-07-14 2021-07-07 一种肝脏病灶图像处理系统及图像处理方法 Active CN113420826B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020106742231 2020-07-14
CN202010674223.1A CN111950595A (zh) 2020-07-14 2020-07-14 肝脏病灶图像处理方法、系统、存储介质、程序、终端

Publications (2)

Publication Number Publication Date
CN113420826A true CN113420826A (zh) 2021-09-21
CN113420826B CN113420826B (zh) 2022-08-23

Family

ID=73341100

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010674223.1A Withdrawn CN111950595A (zh) 2020-07-14 2020-07-14 肝脏病灶图像处理方法、系统、存储介质、程序、终端
CN202110770193.9A Active CN113420826B (zh) 2020-07-14 2021-07-07 一种肝脏病灶图像处理系统及图像处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010674223.1A Withdrawn CN111950595A (zh) 2020-07-14 2020-07-14 肝脏病灶图像处理方法、系统、存储介质、程序、终端

Country Status (1)

Country Link
CN (2) CN111950595A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116759052A (zh) * 2023-06-20 2023-09-15 华平祥晟(上海)医疗科技有限公司 一种基于大数据的图像存储管理系统及方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330731A (zh) * 2020-11-30 2021-02-05 深圳开立生物医疗科技股份有限公司 图像处理装置、方法、设备、超声系统及可读存储介质
CN112735568A (zh) * 2021-01-26 2021-04-30 杭州联众医疗科技股份有限公司 一种基于医学影像和临床需求的人工智能辅助诊断平台
CN112967291B (zh) * 2021-03-01 2021-11-16 北京安德医智科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113229936A (zh) * 2021-05-06 2021-08-10 卫飞鹏 一种提高肝脏介入靶向定位精确度的方法及系统
CN116309593B (zh) * 2023-05-23 2023-09-12 天津市中西医结合医院（天津市南开医院） 基于数学模型的肝脏穿刺活检b超图像处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171709A (zh) * 2018-01-30 2018-06-15 北京青燕祥云科技有限公司 肝占位性病灶区域的检测方法、装置和实现装置
CN109447969A (zh) * 2018-10-29 2019-03-08 北京青燕祥云科技有限公司 肝占位性病变识别方法、装置和实现装置
CN110009599A (zh) * 2019-02-01 2019-07-12 腾讯科技（深圳）有限公司 肝占位检测方法、装置、设备及存储介质
CN110085288A (zh) * 2019-04-19 2019-08-02 四川大学华西医院 一种基于互联网的肝胆外科治疗信息共享系统及共享方法
US20190392584A1 (en) * 2018-06-26 2019-12-26 Sony Corporation Internal organ localization in computed tomography (ct) images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
CN108805858A (zh) * 2018-04-10 2018-11-13 燕山大学 基于数据挖掘的肝病ct图像计算机辅助诊断系统及方法
CN108875734B (zh) * 2018-05-23 2021-07-23 平安科技（深圳）有限公司 肝脏癌变定位方法、装置及存储介质
CN111402268B (zh) * 2020-03-16 2023-05-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171709A (zh) * 2018-01-30 2018-06-15 北京青燕祥云科技有限公司 肝占位性病灶区域的检测方法、装置和实现装置
US20190392584A1 (en) * 2018-06-26 2019-12-26 Sony Corporation Internal organ localization in computed tomography (ct) images
CN109447969A (zh) * 2018-10-29 2019-03-08 北京青燕祥云科技有限公司 肝占位性病变识别方法、装置和实现装置
CN110009599A (zh) * 2019-02-01 2019-07-12 腾讯科技（深圳）有限公司 肝占位检测方法、装置、设备及存储介质
CN110085288A (zh) * 2019-04-19 2019-08-02 四川大学华西医院 一种基于互联网的肝胆外科治疗信息共享系统及共享方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116759052A (zh) * 2023-06-20 2023-09-15 华平祥晟(上海)医疗科技有限公司 一种基于大数据的图像存储管理系统及方法
CN116759052B (zh) * 2023-06-20 2024-04-05 华平祥晟(上海)医疗科技有限公司 一种基于大数据的图像存储管理系统及方法

Also Published As

Publication number Publication date
CN111950595A (zh) 2020-11-17
CN113420826B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
CN110310281B (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
Su et al. Lung nodule detection based on faster R-CNN framework
Xu et al. DW-Net: A cascaded convolutional neural network for apical four-chamber view segmentation in fetal echocardiography
CN111539930B (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN107909585B (zh) 一种血管内超声影像的血管中内膜分割方法
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN110946619B (zh) 血管内超声自动影像组学分析系统及分析方法
CN111667478A (zh) Cta到mra跨模态预测的颈动脉斑块识别方法及系统
Rajee et al. Gender classification on digital dental x-ray images using deep convolutional neural network
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
Han et al. Skeletal bone age prediction based on a deep residual network with spatial transformer
CN111161287A (zh) 基于对称双向级联网络深度学习的视网膜血管分割方法
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN112990344B (zh) 一种肺结节多视图分类方法
CN109003280B (zh) 一种双通道血管内超声影像的血管中内膜分割方法
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
CN111784701A (zh) 结合边界特征增强和多尺度信息的超声图像分割方法及系统
CN113298830A (zh) 一种基于自监督的急性颅内ich区域图像分割方法
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
CN112508869A (zh) 颅内血管图像融合方法和计算机可读存储介质
CN114332910A (zh) 一种面向远红外图像的相似特征计算的人体部位分割方法
CN111986216B (zh) 一种基于神经网络改进的rsg肝脏ct图像交互式分割算法
CN112508943A (zh) 基于超声影像的乳腺肿瘤识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant