CN110600122B - 一种消化道影像的处理方法、装置、以及医疗系统 - Google Patents

一种消化道影像的处理方法、装置、以及医疗系统 Download PDF

Info

Publication number
CN110600122B
CN110600122B CN201910782632.0A CN201910782632A CN110600122B CN 110600122 B CN110600122 B CN 110600122B CN 201910782632 A CN201910782632 A CN 201910782632A CN 110600122 B CN110600122 B CN 110600122B
Authority
CN
China
Prior art keywords
image
digestive tract
focus
segmentation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910782632.0A
Other languages
English (en)
Other versions
CN110600122A (zh
Inventor
陈豪
尚鸿
付星辉
孙钟前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN201910782632.0A priority Critical patent/CN110600122B/zh
Publication of CN110600122A publication Critical patent/CN110600122A/zh
Application granted granted Critical
Publication of CN110600122B publication Critical patent/CN110600122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本申请提供一种消化道影像的处理方法、装置、以及医疗系统，涉及人工智能技术领域。该方法包括：获取待处理的消化道影像；获得所述消化道影像中各个病灶像素点的病灶类别；根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别的消化道分割影像；其中，病灶区域是由相同病灶类别的病灶像素点形成的，病灶区域的病灶类别为形成该病灶区域的像素点的病灶类别。该方法通过以像素点为处理单位，确定各个病灶像素点的病灶类别，提高病灶类型的准确率。

Description

一种消化道影像的处理方法、装置、以及医疗系统
技术领域
本申请涉及人工智能技术领域，尤其涉及一种消化道影像的处理方法、装置、以及医疗系统。
背景技术
随着人工智能的不断发展，人工智能被逐渐应用到医疗影像处理中，通过人工智能辅助医生进行诊断，以提高医生诊断速度和准确度。
目前，一般是通过大量标注息肉位置的医疗影像样本，训练目标检测模型，利用训练好的目标检测模型，提取待处理医疗影像样本中的息肉特征，根据确定出的息肉特征，在待处理医疗影像样本确定出的息肉处标注对应的矩形框。
但是这种方式只能对特征明显的息肉进行识别，识别病灶类型的准确性较低。
发明内容
本申请实施例提供一种消化道影像的处理方法、装置、以及医疗系统，用于提高识别病灶类型的准确率。
第一方面，提供一种消化道影像的处理方法，包括：
获取待处理的消化道影像；
获得所述消化道影像中各个病灶像素点的病灶类别；
根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别的消化道分割影像；其中，病灶区域是由相同病灶类别的病灶像素点形成的，病灶区域的病灶类别为形成该病灶区域的像素点的病灶类别。
第二方面，提供一种消化道影像的处理装置，所述处理装置，包括：
获取单元，用于获取待处理的消化道影像；
识别单元，用于通过已训练的消化道影像分割模型，获得所述消化道影像中各个病灶像素点的病灶类别，所述消化道影像分割模型是根据标识有病灶区域和病灶类别的消化道影像样本训练得到的；
分割单元，用于根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别的消化道分割影像；其中，病灶区域是由相同病灶类别的病灶像素点形成的，病灶区域的病灶类别为形成该病灶区域的像素点的病灶类别。
在一种可能的实施方式中，所述处理装置包括生成单元，其中：
所述生成单元，用于在根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别消化道分割影像之后，将消化道分割影像叠加至所述消化道影像中，生成包括确定出的病灶区域和病灶类别的消化道影像。
在一种可能的实施方式中，所述处理装置包括第一确定单元和标记单元，其中：
所述第一确定单元，用于在根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别消化道分割影像之后，确定所述消化道分割影像与针对所述消化道影像前后预设个消化道影像的消化道分割影像中每个消化道分割影像的交叠率，以及根据确定出的交叠率，确定所述消化道分割影像的可信度；
所述标记单元，用于在所述消化道分割影像上标记确定出的可信度。
在一种可能的实施方式中，所述处理装置还包括训练单元，消化道影像样本集包括训练集、验证集和测试集，消化道影像样本集中各个消化道影像样本标注有病灶区域和病灶类别，所述训练单元用于：
根据所述训练集中的消化道影像样本，训练消化道影像分割模型；
根据所述验证集确定针对所述消化道影像分割模型在多组模型参数下不同分割结果的评价指标结果，确定出针对所述消化道影像分割模型在多组模型参数下不同分割结果的评价指标结果的多个优选值；
根据所述测试集确定所述多个优选值中每个优选值对应的模型参数的评价指标结果，确定出所述多个优选值中对应的模型参数的评价指标结果的最优值；
将确定出的最优值所对应的模型参数确定为所述消化道影像分割模型的模型参数，获得训练完成的消化道影像分割模型。
在一种可能的实施方式中，所述训练单元具体用于：
以预设误差函数收敛的方向，调整消化道影像分割模型的模型参数；
其中，所述预设误差函数是根据交叉熵误差函数的值和最小化混合误差函数的值加权得到的，所述最小化混合误差函数用于表示分割模型针对消化道影像样本中每个像素点的病灶类别的预测结果和针对消化道影像样本每个像素点的所属病灶类别的真实结果之间的相似度。
在一种可能的实施方式中，述消化道影像分割模型包括多个针对不同图像类型的消化道影像样本集分别训练的消化道影像分割模型，所述处理装置还包括第二确定单元，所述第二确定单元用于：
在通过已训练的消化道影像分割模型，获得所述消化道影像中各个病灶像素点的病灶类别之前，识别所述消化道影像对应的图像类型；
根据所述消化道影像对应的图像类型，确定与所述图像类型关联的消化道影像分割模型；其中，不同的图像类型所关联的消化道影像分割模型不同。
第三方面，提供一种医疗系统，包括：内窥镜，输出模块，以及第二方面中论述的任一处理装置，其中：
所述内窥镜，用于采集待处理的消化道影像，并发送给所述处理装置；
所述输出模块，用于输出所述处理装置获得的所述消化道分割影像。
在一种可能的实施方式中，所述系统还包括图像筛选模块，其中：
所述图像筛选模块，用于从所述内窥镜采集的多个消化道影像中，根据已训练的消化道影像筛选识别模型，过滤不符合预设条件的消化道影像，获得待处理的消化道影像，并发送给所述处理装置。
在一种可能的实施方式中，所述系统还包括器官部位识别模块，其中：
所述器官部位识别模块，用于从所述图像筛选模块获得所述待处理的消化道影像，并根据已训练的器官分类识别模型，获得所述消化道影像对应的器官识别结果，并将所述器官识别结果发送给所述输出模块。
第四方面，提供一种计算机设备，包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面及任一可能的实施方式中任一项所述的方法。
第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面及任一可能的实施方式中任一项所述的方法。
相较于现有技术中利用目标检测模型检测息肉的方式，本申请实施例中通过消化道影像分割模型，确定各个病灶像素点的病灶类别，由于是以像素点为处理单元来确定的各个病灶像素点的病灶类别，因此能够识别出即使整体特征不明显的病灶，提高识别病灶类型的准确率。且，由于确定的是各个病灶像素点的病灶类别，因此可以精确地确定出病灶区域，提高识别病灶区域的精度，便于医生后期对病灶进行治疗和观察等。
附图说明
图1为本申请实施例提供的一种医疗系统的结构示意图；
图2为本申请实施例提供的医疗系统的处理消化道影像的过程示例图；
图3为本申请实施例提供的一种消化道影像的处理设备的结构示意图；
图4为本申请实施例提供的一种医疗系统中各个设备部署的示意图；
图5为本申请实施例提供的一种消化道影像的处理方法的流程示意图；
图6为本申请实施例提供的一种训练消化道影像分割模型的流程示意图；
图7为本申请实施例提供的调整消化道影像分割模型的模型参数的过程示意图；
图8为本申请实施例提供的真实结果和预测结果的示例图；
图9为本申请实施例提供的不同图像类型的消化道图像的示例图；
图10为本申请实施例提供的确定消化道分割影像的可信度的方法流程示意图；
图11为本申请实施例提供的确定消化道分割影像的可信度的示例图；
图12为本申请实施例提供的从消化道影像到叠加后的消化道分割影像的示例图；
图13为本申请实施例提供的一种处理装置的结构图；
图14为本申请实施例提供的一种医疗系统的结构图；
图15为本申请实施例提供的一种计算机设备的结构图。
具体实施方式
为了更好的理解本申请实施例提供的技术方案，下面将结合说明书附图以及具体的实施方式进行详细的说明。
下面对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员更好地理解本申请实施例中的技术方案。
消化道：是连接口腔和肛门的管道，由许多负责处理食物的构造组成。消化腺能分泌消化液以消化食物。消化道包括上消化道和下消化道。上消化道由口腔、咽、食道和胃组成。下消化道包括肠和肛门。肠包括小肠、大肠和结肠等。
内窥镜：又称为内镜，是一种多学科通用的工具，其功能是能对有机体管道探查，通常用于观察肉眼不能直视到的部位，能在空腔内观察内部空间结构与状态，能实现远距离观察与操作。内窥镜可以包括多种成像模式，在不同的成像模式下，获得的医疗影像特征有所区别。内窥镜包括肠镜、胃镜等。
消化道影像：实质是用于表示消化道的图像，是对视觉感知的消化道的再现。由于消化道在人体内部，消化道影像一般可以由内窥镜获取。
病灶：有机体上发生病变或可能发生病变的部位。病灶可散布病原体和毒素，扩大病变。病灶可以具体可以划分为多种类别，以病灶分布方式划分为弥散性病灶等，以病灶的病发程度可以划分为良性病灶或恶性病灶等。如果按照两种不同维度划分病灶的类别，一个病灶所属的类别可以包括多类，例如一个病灶可以既属于弥散性病灶又属于良性病灶。
图像类型：用于表示消化道影像的类型，例如成像类型以及染色类型等，成像类型例如内镜窄带成像术(Narrow Band Imaging，NBI)、白光成像、红外光成像。染色类型例如碘染等。
机器学习(Machine Learning，ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
卷积神经网络(Convolutional Neural Network，CNN)：在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。
深度神经网络：是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。深度神经网络通常都是前馈神经网络，但也有语言建模等方面的研究将其拓展到递归神经网络。
消化道影像分割模型：本申请采用标注了病变区域和病灶类别的消化道影像样本，对基于神经网络建立的模型进行训练后获得的。
编码-解码分割模型(encoder-decoder)：分割模型的一种，Encoder包括卷积层和池化层，decoder通过反卷积操作实现。
掩模区域卷积神经网络(mask Region-Convolutional Neural Network，Mask-RCNN)：分割算法的一种，Mask-RCNN包括候选区域选择、CNN特征提取、分类与边界回归和预测mask四个部分。
图像类型识别模型：本申请采用标注了图像类型的消化道影像样本，对基于深度神经网络建立的模型进行训练后获得的。
消化道影像筛选识别模型：本申请采用标注了不符合预设条件的消化道影像样本，对基于深度神经网络建立的模型进行训练后获得的。
器官分类识别模型：本申请采用标注了器官类型的消化道影像样本，对基于深度神经网络建立的模型进行训练后获得的。
交叠率：可以理解为两个消化道分割影像的重合程度。交叠率越大，表示两个消化道分割影像的重合程度越大。如果两个消化道分割影像中病灶区域和对应病灶区域的病灶类别完全相同，那么这两个消化道分割影像的交叠率为1。交叠率可以用交并比(Intersection-over-Union，IoU)或平均交并比(Mean Intersection over Union，MIoU)等表征。
下面对本申请实施例的设计思想进行说明。
据统计，食道癌，胃癌和结肠癌，这三大消化道恶性肿瘤具有极高的发病率和极高的死亡率，常年居于恶性肿瘤类型榜前列。一方面，随着我国的老龄化现象加重，满足老年人的医疗需求是巨大的社会难题，再者专业医生人数有限，每天面对病人的大量影像，容易造成漏诊或误诊，另一方面，医生水平参差不齐，消化道疾病的症状较为复杂，因此无法保证对患者都能进行准确诊断。
近年来，ML在医疗影像领域中的发挥着越来越大的作用，通过ML辅助医生对医疗影像进行诊断，大大提高了医生的诊断速度和准确度，对于缓解我国的医疗需求有重要意义。
现有技术中一般是目标检测模型检测息肉特征，以确定出息肉位置。
本申请发明人发现现有这种方式是基于息肉整体特征进行目标识别和诊断，发明人发现息肉较大，形状轮廓特征明显，且形状较为规则，目标检测模型能够识别出消化道上的大部分的息肉。但是病灶形状轮廓特征不明确，且相对较为分散，因此，本申请发明人发现现有的目标检测模型很难识别直接消化道上的病灶，导致识别消化道上的病灶类别的准确率较低。
本申请发明人进一步发现现有这种方式是基于息肉的整体特征进行目标识别，识别出的息肉的轮廓与息肉的真实轮廓的重合度并不高，确定出的息肉的位置不够精确。
本申请发明人进一步发现现有这种方式通常还会针对消化道的不同器官部位进行分别处理，导致医生使用时可能需要根据病人的器官部位进行不同的诊断处理，操作较为麻烦。
鉴于此，本申请发明人基于ML设计一种消化道影像的处理方法，利用消化道影像分割模型先确定各个病灶像素点属于的病灶类别，再基于各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别的消化道分割影像。由于是针对以像素点为单元进行处理，可以提高确定病灶区域和病灶类别的准确性，以及精确定位各个病灶区域的位置。
本申请发明人进一步发现，消化道中各个器官部位的性质相差较小，检查病人的身体时，通常是对病人进行消化道的进行整体检查，因此本发明人发现可以训练一种消化道各个器官通用的消化道影像分割模型，用于对分割消化道影像中的各个器官上的病灶，一方面不会影响分割的准确性，另一方面可以避免在检查不同器官时，需要进行来回切换不同模型的情况，以减少医生或设备的处理量。
本申请发明人进一步发现，在医生诊断过程中，可能会切换内窥镜的成像模式，以便于更清晰地检测病灶，例如医生刚开始诊断时可能会采用白光，当医生发现可疑病灶时，可能会将内窥镜切换到NBI。由于不同图像类型的图像色彩、纹路等细节差异很大，因此，发明人发现如果针对不同图像类型，采用不同的消化道影像分割模型，可以进一步提高识别病灶类型和位置的准确性。
本申请发明人进一步发现内窥镜会不断地采集消化道影像，消化道影像分割模型会针对每个消化道影像进行处理，以确定每个消化道影像的病灶区域和病灶类型，发明人发现针对同一位置的两个相同的消化道影像，消化道影像分割模型也可能存在分割出不同结果的情况，且医生需要关注的消化道分割影像可能会较多。因此，本申请发明人进一步发现如果在得到消化道分割影像之后，可以基于该消化道分割影像的前后的消化道分割影像，对该消化道分割影像的可信度进行验证，为每个消化道分割影像标注可信度。标注消化道分割影像的可信度之后，一方面可以筛掉一些可信度较低的消化道分割影像，另外一方面可以使得医生可以根据可信度高的消化道分割影像进行诊断，以减少医生处理量，提高医生诊断的效率和准确性。
在介绍完本申请实施例的设计思想之后，下面对本申请实施例的医疗系统的架构进行说明。请参照图1，图1表示本申请实施例涉及的医疗系统100，图1也可以理解为本申请实施例涉及的一种消化道影像的处理方法的应用场景示意图。
图1所示的医疗系统100包括内窥镜110和消化道影像的处理设备120。
具体的，内窥镜110可以参照前文论述内容，此处不再赘述。消化道影像的处理设备120可以通过具有图形处理器(Graphics Processing Unit，GPU)的设备实现，例如终端设备或服务器等，终端设备例如个人计算机等。服务器可以是实体服务器或者虚拟服务器等。消化道影像的处理设备120包括消化道影像的处理装置121，消化道影像的处理装置121可以理解为消化道影像的处理设备120中的一部分，主要用于分割消化道影像。
其中，内窥镜110可以与消化道影像的处理设备120集成在一起，例如在内窥镜110中安装相应的处理芯片，实现消化道影像的处理设备120的功能。窥镜110可以与消化道影像的处理设备120也可以相对独立设置，例如内窥镜110可以通过接口与消化道影像的处理设备120通信，以实现医疗系统100的功能。
在介绍完医疗系统100的基本构成之后，下面对该医疗系统100中各个设备的功能进行介绍。
内窥镜110：用于采集消化道影像。
具体的，内窥镜110采集的消化道影像很多。多个消化道影像中可能包括不同图像类型的消化道影像。多个消化道影像中可能包括不同图像质量的消化道影。多个消化道影像中可能包括针对病人不同器官部位的消化道影像。
消化道影像的处理设备120：用于获得内窥镜110采集的消化道影像，通过消化道影像筛选识别模型对消化道影像进行筛选，筛掉不符合预设条件的消化道影像，以获得符合预设条件的消化道影像。
消化道影像的处理设备120再通过已训练的器官分类识别模型对符合预设条件的消化道影像进行器官部位识别，识别出各个消化道影像对应的器官部位，并输出器官部位识别结果。
消化道影像的处理设备120通过已训练的图像类型识别模型识别符合预设条件的消化道影像的图像类型。消化道影像的处理设备120中的处理装置121确定与图像类型关联的消化道影像分割模型，通过消化道影像分割模型获得标识有消病灶区域和病灶分类的消化道分割影像。处理装置121还用于将消化道分割影像叠加至消化道影像中，获得包括消病灶区域和病灶分类的消化道影像。
例如，请参照图2，消化道影像的处理设备120确定a、b、c、e和d中a、b、c和d有模糊、色彩异常、过曝等情况，因此确定a、b、c和d不符合预设条件，确定e符合预设条件。
消化道影像的处理设备120在获得e之后，确定e所对应的器官部位。器官部位例如胃部、食部、咽部或肠等，并输出确定出的器官部位识别结果。
消化道影像的处理设备120确定e的图像类型。消化道影像的处理设备120确定与该图像类型关联的消化道影像分割模型，并根据该消化道影像分割模型获得e对应的消化道分割影像f。消化道影像的处理设备120消化道分割影像f之后，叠加至消化道影像中，并输出包括病灶区域和病灶类型的消化道影像。
在介绍完医疗系统100之后，下面对消化道影像的处理设备120的结构进行介绍。
请参照图3，消化道影像的处理设备120包括处理器310、存储器320、显示面板330和I/O接口340。
具体的，存储器320中存储有程序指令，处理器310用于执行存储器320中的程序指令，实现前文论述的消化道影像的处理设备120的功能，I/O接口340用于实现与内窥镜110之间的交互。显示面板330可以用于显示分割消化道影像或包括病灶区域和病灶类型的消化道影像。
作为一种实施例，显示面板330为可选的部件。在这种情况下，消化道影像的处理设备120可以不显示分割消化道影像或包括病灶区域和病灶类型的消化道影像，而是经过处理获得分割消化道影像或包括病灶区域和病灶类型的消化道影像对应的数据之后，再在其他成像设备上进行显示，便于医生查看。
在图1论述的医疗系统100的基础上，下面对医疗系统100中各个设备的场景部署示意图进行示例说明。
请参照图4，医生将内窥镜110插入病人消化道中，内窥镜110采集病人的消化道影像。内窥镜110将采集到的消化道影像发送给消化道影像的处理设备120，消化道影像的处理设备120处理消化道影像，生成消化道分割影像。
图4中是以消化道影像的处理设备120是个人计算机为例，但是实际上不限制消化道影像的处理设备120的具体形式。图4中是以有线通信方式为例进行说明，实际上内窥镜110与消化道影像的处理设备120之间可以通过任意方式进行通信，例如有线通信方式或无线通信方式，无线通信方式例如蓝牙或无线保真等。
在介绍完本申请实施例涉及的医疗系统以及设备部署示例之后，下面对本申请实施例涉及的消化道影像的处理方法进行介绍。该方法由前文论述的消化道影像的处理装置121来执行。该方法涉及机器学习中的图像分割(Image segmentation)技术，具体通过如下实施例进行说明。
请参照图5，图5为本申请实施例中的一种消化道影像的处理方法的流程图，该方法具体包括：
S510，获取待处理的消化道影像。
待处理的消化道影像可以是从内窥镜110中获取的消化道影像，也可以消化道影像的处理设备120筛选之后的符合预设条件的消化道影像。
S520，获得所述消化道影像中各个病灶像素点的病灶类别。
在获得消化道影像之后，消化道影像中可能所有像素点均为病灶像素点，也可能部分像素点为病灶像素点，也可能没有病灶像素点。如果消化道影像中存在病灶像素点，可以确定消化道影像中各个病灶像素点对应的病灶类别。例如可以通过消化道影像分割模型确定各个病灶像素点对应的病灶类别，消化道影像分割模型可以参照前文论述内容，此处不再赘述。
在一种可能的实施例中，将待处理的消化道影像输入已训练的消化道影像分割模型，消化道影像分割模型输出该消化道影像中各个像素点属于各个类别的概率，类别包括背景或者是各类病灶，可以将该像素点对应的类别概率最高的灶类别确定为该像素点的类别，确定出各个病灶像素点对应的病灶类别。
S530，根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别的消化道分割影像。
在获得各个病灶像素点对应的分类之后，可以将属于一类病灶的像素点划分在一起，确定出该类病灶所对应的病灶区域。如果属于一类病灶的像素点均是集中在一起的，那么该类病灶的病灶区域包括一个，属于一类病灶的像素点也可能分散多个区域，那么该类病灶对应的病灶区域包括多个。以此类推，获得各个病灶区域和各个病灶区域所对应的病灶类别，也就相当于获得消化道分割影像。
在一种可能的实施例中，消化道分割影像中不同类别的病灶区域采用不同的标识进行区分。
具体的，消化道影像可能包括多类病灶区域，在识别出对应的病灶区域之后，可以为不同类别的病灶区域标记不同的标识，以便于区分各类病灶。不同的标识例如不同颜色，不同符号等。
图5所示的实施例中，由于是以像素点为单位去确定各个病灶像素点对应的病灶类别，因此相较于现有技术中基于息肉的整体特征检测息肉位置的方式，即使是病灶形状特征不明显，本申请实施例中的处理方法也能够确定出对应的病灶区域，提高识别病灶的准确率。且由于是确定各个病灶像素点的病灶分类，因此可以更精确地确定出各个病灶区域，提高了定位病灶的位置的精确度。
在介绍图5中的处理方法的总体思想之后，下面对各个步骤中涉及的具体实施方式进行说明。
在本申请实施例S520中可以通过已训练的消化道影像分割模型确定各个病灶像素点的病灶类别，其中在执行S520之前，需要获得已训练的消化道影像分割模型，下面对消化道影像分割模型的训练过程进行示例说明。
请参照图6，该训练过程包括：
S610，根据训练集中的消化道影像样本，训练消化道影像分割模型。
具体的，可以从现有的数据库中获得符合需求的消化道样本影像集，也可以通过人工标注，获得消化道样本影像集。消化道样本影像集中包括多个消化道影像样本，每个消化道影像样本标注有病灶区域和病灶类别。在获得消化道样本影像集之后，将消化道影像样本集划分为训练集、验证集和测试集。训练集用于训练消化道影像分割模型，验证集用于选择出消化道影像分割模型的模型参数中的多个优选的模型参数，测试集用于评价多个优选的模型参数，并确定出最优的模型参数。
S620，根据验证集确定针对消化道影像分割模型在多组模型参数下不同分割结果的评价指标结果，确定出针对消化道影像分割模型在多组模型参数下不同分割结果的评价指标结果的多个优选值。
具体的，消化道影像分割模型例如可以采用encoder-decoder分割模型或Mask-RCNN。无论消化道影像分割模型采用哪一种，训练集在训练消化道影像分割模型过程中，均需要不断地调整模型参数，再利用验证集去验证消化道影像分割模型在多个模型参数下不同分割结果的评价指标结果，找出评价指标结果中的多个优选值。多个优选值可以实际的分割质量需求确定的，每个优选值可以用于表示在本次训练中相对最符合分割质量需求的值。
S630，根据测试集确定多个优选值中每个优选值对应的模型参数的评价指标结果，直到确定出多个优选值中对应的模型参数的评价指标结果的最优值；
具体的，在根据获得多个优选值所对应的模型参数之后，根据测试集以及预设的评价指标确定出多个优选值对应的模型参数的评价结果，从而确定出最优值。其中，测试集所对应的评价指标与测试集所选用的评价指标可以相同。
S640，将确定出的最优值所对应的模型参数确定为消化道影像分割模型，获得训练完成的消化道影像分割模型。
图6论述的实施例中，采用评价指标对消化道影像分割模型的模型参数进行验证，将最优的评价指标结果作为训练完成的消化道影像分割模型的模型参数，保证了训练完成的消化道影像分割模型的分割结果质量。且，在验证集获得优选的多组模型参数之后，利用测试集再去获得最优的模型参数，使得最后得到的最优的模型参数适用性广，避免训练得到的消化道影像分割模型过拟合的情况。
在一种可能的实施例中，为了保证训练出的消化道影像分割模型的准确性，消化道影像样本集可以包括消化道各个器官部位的消化道影像样本，以及各类病灶所对应的消化道影像样本。
在一种可能的实施例中，S610训练消化道影像分割模型过程中，涉及到具体如何调整参数，请参照图7，图7表示一种调整模型参数的流程图，本申请实施例中利用训练集确定消化道分割模型在不同模型参数下对应的预设误差函数的值；根据验证集确定消化道分割模型在不同模型参数下对应的评估指标结果；根据测试集确定最优的模型参数；在训练过程中朝着预设误差函数的收敛方向调整消化道分割模型的模型参数，直到确定出的最优的评价指标结果。
预设误差函数用于表示训练集中标注的真实结果与消化道分割模型在不同模型参数下对应的预测结果的误差值，预设误差函数的构造方式有多种，下面进行示例说明。
一种预设误差函数为：
Ltotal＝Ldice+λ*Lce (1)
式(1)中的Ldice表示最小化混合(Dice Similarity Coefficient，dice)误差函数，Lce表示交叉熵误差函数。λ表示用于平衡dice误差函数和交叉误差函数的权重值，该权重值是一个常数。
Ldice可以表示为：
式(2)中的A表示消化道分割模型对消化道影像样本中属于某个病灶类别的预测结果的所有像素点的集合，B表示真实结果中属于的该病灶类别的所有像素点的集合。最小化混合误差函数表示预测结果和真实结果之间的相似性。
例如，请参照图8，图8中的(1)包括a，b和c三个消化道影像样本，图8中的(1)表示消化道影像样本真实结果中每个像素点属于的类别，图8中的(1)中每个小矩形框表示一个像素点，图8中的(1)中“1”表示该像素点属于该病灶类别，“0”表示该像素点不属于该病灶类别。图8中的(2)表示对应消化道影像样本经过消化道影像分割模型之后输出的结果，图8中的(2)中每个小矩形框中的数据表示每个像素点属于病灶类别的概率。
以图8中的a所示的消化道影像样本为例，A则可以表示为：
B可以表示为：由此可以得到消化道影像样本a对应的Ldice的值。
交叉熵误差函数Lce可以表示为：
Lce＝∑(yilog(pi)+(1-yi)log(1-pi)) (3)
式(3)中的yi表示消化道影像样本真实结果中每个像素点属于的类别，pi表示消化道影像分割模型输出的消化道影像样本中每个像素点属于的类别概率。交叉熵误差函数用于预测像素点概率分布(在所有类上)和实际的所有像素点概率分布的差异。
在消化道影像分割模型对各个消化道影像样本进行处理之后，例如可以通过前文中的公式(1)、(2)和(3)计算出该模型参数下的消化道分割模型所对应的预设误差函数的值。在获得预设误差函数的值之后，朝着预设误差函数收敛的方向，调整消化道影像分割模型的模型参数。
利用验证集中的消化道影像样本输入至该模型参数下的消化道影像分割模型中，并根据消化道影像分割模型的预测结果和真实结果，利用评价指标计算出该模型参数下的消化道分割模型所对应的评价指标结果。
在获得多组模型参数，以及对应的多个评价指标结果之后，可以选择最优的评价指标结果对应的模型参数作为消化道影像分割模型的模型参数。
例如，评价指标可以采用均交并比(Mean Intersection over Union，MIoU)：
式(4)中，k表示病灶的所有类别对应的总数量，pii真实像素类别为i的像素被预测为类别i的总数量。pij真实像素类别为i的像素被预测为类别j的总数量。MIoU用于表示消化道影像样本中真实结果和预测结果的重叠率。
在获得训练完成的消化道影像分割模型之后，可以直接根据训练完成的消化道影像分割模型执行步骤502。
或者在一种可能的实施例中，由于不同图像类型的图像差别较大，因此，为了提高消化道影像分割模型分割消化道影像的准确度，本申请实施例中消化道影像分割模型是针对图像类型的消化道影像样本集分别训练得到的。
具体的，采用同一图像类型的消化道影像样本集训练得到该类图像类型的消化道影像分割模型，获得不同图像类型对应的消化道影像分割模型。也就是说，不同图像类型所关联的消化道影像分割模型是不同的，不同可以理解为不同图像类型所对应的消化道影像分割模型不完全相同，可以是对应的消化道影像分割模型的网络结构不完全相同，也可以是消化道影像分割模型的模型参数不同。在获得不同的图像类型对应的消化道影像分割模型之后，可以保存不同的图像类型对应的消化道影像分割模型之间的关联关系。
例如，不同图像类型对应的消化道影像分割模型相同，但是由于分别训练的，不同图像类型对应的消化道影像分割模型的模型参数不同。例如图像类型与确定的消化道影像分割模型的模型参数的关联关系具体如下表1所示。
表1
进一步，如果消化道影像分割模型是通过不同图像类型的消化道影像样本集分别训练得到的，在执行S520之前，需要先根据该消化道影像的图像类型，确定与该图像类型关联的消化道影像分割模型。
具体的，可以是通过前文论述中的图像类型识别模型确定该消化道影像对应的图像类型，图像类型可以参照前文论述的内容，此处不再赘述。识别出该消化道影像对应的图像类型之后，可以根据该图像类型以及前文中论述的关联关系，从而确定出该图像类型对应的消化道影像分割模型。
例如，请参照图9，确定图9中的a、b和c所示的消化道影像的图像类型分别为白光、NBI和碘染三种图像类型，继续以表1所示的关联关系为例，因此，从而确定图9中的a、b和c对应采用的模型参数分别为第一组模型参数、第二组模型参数和第三组模型参数。
针对同一部位，内窥镜在预设时间段内可以采集多个消化道影像，针对同一部位的消化道影像，理论上得到的消化道分割影像应该是相同的，但是可能由于某些原因，导致确定出的消化道分割影像差异较大，过多的消化道分割影像会增加医生诊断的工作量，还可能会导致医生误判。因此，在一种可能的实施例中，确定各个消化道分割影像的可信度。下面对确定消化道分割影像的可信度的方式进示例说明。
请参照图10，确定可信度的方式具体包括：
S1001，确定消化道分割影像与针对消化道影像前后预设个消化道影像的消化道分割影像中每个消化道分割影像的交叠率。
S1002，根据确定出的交叠率，确定消化道分割影像的可信度，并在消化道分割影像上标记确定出的可信度。
本申请实施例中，根据消化道分割影像的前后预设个消化道分割影像，确定该消化道分割影像的可信度，并在消化道分割影像上标记上可信度，便于医生根据确定出的可信度高的消化道分割影像进行判断。
在介绍本申请实施例的总体思路之后，下面对执行S1001的具体方式进行说明：
内窥镜110采集消化道影像时，通常是连续进行采集的，在预设时间段内，内窥镜110会针对同一部位采集多个相同的消化道影像，因此可以根据前后预设个数消化道影像对应的消化道分割影像来确定该消化道分割影像的可信度。前后预设个数可以理解为该消化道影像前预设个数的消化道影像，以及后预设个数的消化道影像。针对内窥镜110采集的第一个消化道影像，由于第一个消化道影像不存在前几个，因此，可以采用相对于第一个消化道影像的后预设个数消化道影像进行处理。在对多个消化道影像经过前文图5中论述的处理方法进行分割处理之后，可以获得多个消化道影像对应的多个消化道分割影像。
确定该消化道影像与其它消化道分割影像中每个消化道分割影像的重合率，如果重合率越高，表示误分割的概率越小，如果重合率越低，表示误分割的概率越大。其它消化道分割影像可以理解为多个消化道分割影像中除了该消化道分割影像之外的消化道分割影像。
例如，待确定可信度的消化道分割影像为c，前后预设个数消化道影像对应的多个消化道分割影像包括a、b、d和e，如图11所示的a、b、c、d和e的消化道分割影像。
一种确定交叠率的方法为：
确定某个消化道分割影像的交叠率的时候，可以采用前文中的MIoU来白表征某个消化道分割影像与其它消化道分割影像的交叠率,下面进行具体说明。
其中，TP表示真正值，具体表示该消化道分割影像与其它消化道分割影像中每个消化道分割影像的交集；FP表示假正值，具体表示其它消化道分割影像中每个消化道分割影像减掉TP的部分；FN表示假负值，具体表示该消化道分割影像减掉TP的部分。k表示病灶类别的总数量。
一种确定交叠率的方法为：
可以采用交并比(Intersection over Union，IoU)表征交叠率，具体计算公式如下：
TP、FP和FN可以参照前文论述的内容，此处不再赘述。
例如，继续参照图11，获得图11中c和a的交叠率为m1，c和b的交叠率为m2，c和d之间的交叠率为m3，c和e之间的交叠率为m4。
在获得该消化道分割影像与其它消化道分割影像中每个消化道分割影像的交叠率之后，可以获得多个交叠率，执行S1002，可以根据多个交叠率确定该消化道分割影像的可信度。下面执行S1002的方式进行说明。
方式一：
确定多个交叠率大于预设阈值的交叠率的个数，如果确定出的个数大于预设个数，确定该消化道分割影像的可信度为高，如果确定出的个数小于或等于预设个数，确定该消化道分割影像的可信度为低。
具体的，该方式中根据交叠率大于预设阈值的个数对可信度的高低进行评价，确定该消化道分割影像的可信度为高或者为低。该方式只需确定满足阈值的交叠率即可，确定方式简单。且后期只需标注可信度高或者低，便于后期进行筛选查看等。
例如，继续参照图11，预设个数为3，确定m1，m2和m3大于预设阈值，进而确定该消化道分割影像的可信度为高。
方式二：
确定多个交叠率的平均值，以平均值作为该消化道分割影像的可信度。
该方式中，以平均值作为消化道分割影像的可信度，便于比较各个消化道分割影像的可信度的高低。
例如，继续参照图11，确定m1，m2，m4和m3的平均值，进而确定该消化道分割影像的平均值。
在确定该消化道分割影像的可信度之后，可以将该消化道分割影像的可信度标注在消化道分割影像上，便于后期医生查看各个消化道分割影像。
在一种可能的实施例中，在确定可信度之后，可以删除可信度小于或等于预设可信度的消化道分割影像，可以输出可信度大于预设可信度的消化道分割影像，使得医生查看到的所有消化道分割影像均是可信度较高的消化道分割影像。
在获得消化道分割影像之后，或者在获得标注有可信度的消化道分割影像之后，在本申请实施例中，还可以对消化道分割影像进行叠加处理。
具体的，叠加可以理解为整合两种影像中的有效信息，可以进一步理解为将消化道分割影像中的病灶区域和病灶类别对照叠加在消化道分割影像中的相应区域中，获得包括病灶区域和病灶类别的消化道影像。
例如，请参照图12，图12中a表示内窥镜采集的消化道影像，b表示对a中的病灶进行放大之后的示意图，c表示通过encoder-decoder分割模型对b所示的病灶区域进行分割处理后得到的病灶区域，将c叠加至a中，获得如图d所示的包括病灶区域和病灶类别的消化道分割影像。
基于同一发明构思，本申请实施例提供一种消化道影像的处理装置，请参照图13，该处理装置121包括：
获取单元1301，用于获取待处理的消化道影像；
识别单元1302，用于通过已训练的消化道影像分割模型，获得消化道影像中各个病灶像素点的病灶类别，消化道影像分割模型是根据标识有病灶区域和病灶类别的消化道影像样本训练得到的；
分割单元1303，用于根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别的消化道分割影像；其中病灶区域是由相同病灶类别的病灶像素点形成的，病灶区域的病灶类别为形成该病灶区域的像素点的病灶类别。
在一种可能的实施例中，处理装置121包括生成单元1304，其中：
生成单元1304，用于在根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别消化道分割影像之后，将消化道分割影像叠加至消化道影像中，生成包括确定出的病灶区域和病灶类型的消化道影像。
在一种可能的实施例中，处理装置121包括第一确定单元1305和标记单元1306，其中：
第一确定单元1305，用于在根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别消化道分割影像之后，确定消化道分割影像与针对消化道影像前后预设个消化道影像的消化道分割影像中每个消化道分割影像的交叠率，以及根据确定出的交叠率，确定消化道分割影像的可信度；
标记单元1306，用于在消化道分割影像上标记确定出的可信度。
在一种可能的实施例中，处理装置121还包括训练单元1307，消化道影像样本集包括训练集、验证集和测试集；消化道影像样本集中各个消化道影像样本标注有病灶区域和病灶类别，训练单元1307用于：
根据训练集中的消化道影像样本，训练消化道影像分割模型；
根据验证集确定针对消化道影像分割模型在多组模型参数下不同分割结果的评价指标结果，确定出针对消化道影像分割模型在多组模型参数下不同分割结果的评价指标结果的多个优选值；
根据测试集确定多个优选值中每个优选值对应的模型参数的评价指标结果，直到确定出多个优选值中对应的模型参数的评价指标结果的最优值；
将确定出的最优值所对应的模型参数确定为消化道影像分割模型不同的参数，获得训练完成的消化道影像分割模型。
在一种可能的实施例中，训练单元1307具体用于：
以预设误差函数收敛的方向，调整消化道影像分割模型的模型参数；
其中，预设误差函数是根据交叉熵误差函数和最小化混合误差函数加权得到的，最小化混合误差函数用于表示分割模型针对样本消化道影像中每个像素点的病灶类别的预测结果和针对样本消化道影像每个像素点的所属病灶类别的真实结果之间的相似度。
在一种可能的实施例中，消化道影像分割模型包括多个针对不同图像类型的消化道影像样本集分别训练的消化道影像分割模型，处理装置121还包括第二确定单元1308，第二确定单元1308用于：
在通过已训练的消化道影像分割模型，获得消化道影像中各个病灶像素点的病灶类别之前，识别待处理的消化道影像的图像类型，以及根据消化道影像的图像类型，确定与图像类型关联的消化道影像分割模型；其中，不同的图像类型所关联的消化道影像分割模型不同。
作为一种实施例，图13中的生成单元1304、第一确定单元1305、标记单元1306、训练单元1307和第二确定单元1308属于可选的单元。
基于同一发明构思，本申请实施例提供一种医疗系统100，请参照图14，该医疗系统100包括前文论述的内窥镜110、输出模块1401、以及前文论述的处理装置121，处理装置121可以参照前文图13论述的内容，此处不再赘述，其中：
内窥镜110，用于采集待处理的消化道影像，并发送给处理装置121；
输出模块1401，用于输出处理装置获得的消化道分割影像。
在一种可能的实施例中，医疗系统100中的消化道图像的处理设备120还包括图像筛选模块1402，其中：
图像筛选模块1402，用于从内窥镜采集的多个消化道影像中，根据已训练的消化道影像筛选识别模型，过滤不符合预设条件的消化道影像，获得待处理的消化道影像，并输出给图像类型识别模块。
具体的，图像筛选模块1402用于从内窥镜110获得消化道影像，通过预先训练的消化道影像筛选识别模块，将多个消化道影像中不满足预设条件的消化道影像筛掉，可以减少后续处理量，且可以避免这些低质量的影像影响判断结果。消化道影像筛选识别模型可以参照前文论述论述的内容，此处不再赘述。预设条件例如消化道影像的分辨率在预设分辨率范围内、消化道影像的饱和度在预设饱和度范围内，或消化道影像的亮度在预设亮度范围。
在一种可能的实施例中，医疗系统100中的消化道图像的处理设备120还包括器官部位识别模块1403，其中：
器官部位识别模块1403，用于从图像筛选模块获得待处理的消化道影像，并根据已训练的器官分类识别模型，获得消化道影像对应的器官识别结果，并将器官识别结果发送给输出模块1401。
器官部位识别模块1403用于从图像筛选模块1402获得筛选之后剩余的消化道影像，并根据预先训练的消化道影像器官分类识别模型，识别各个消化道影像对应的器官，并输出器官识别结果，识别出对应的器官，便于医生后续针对不同器官进行诊断。
作为一种实施例，器官部位识别模块1403也可以在获得器官识别结果之后，将标注有器官识别结果的消化道影像发送给处理装置121，处理装置121在对标注有器官识别结果的消化道影像处理之后，输出携带有器官识别结果、病灶区域、病灶类别的消化道分割影像。
作为一种实施例，医疗系统100中的图像筛选模块1402和器官部位识别模块1403为可选的模块。
基于同一发明构思，本申请实施例提供一种计算机设备1500，请参照图15，该计算机设备包括处理器1501和存储器1502。
处理器1501可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元等等。本申请实施例中不限定上述存储器1502和处理器1501之间的具体连接介质。本申请实施例在图15中以存储器1502和处理器1501之间通过总线1503连接，总线1503在图15中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1503可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1502可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1502也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1502可以是上述存储器的组合。
处理器1501，用于调用存储器1502中存储的计算机程序时执行如图5～图12中所示的实施例中各设备涉及的方法。
基于同样的发明构思，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如图5～图12中所示的实施例中各设备涉及的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种消化道影像的处理方法，其特征在于，包括：
获取待处理的消化道影像；
识别所述消化道影像对应的图像类型；所述图像类型用于表征所述消化道影像的成像类型或染色类型；
根据所述消化道影像对应的图像类型，确定与所述图像类型关联的消化道影像分割模型；其中，不同的图像类型所关联的消化道影像分割模型不同，所述消化道影像分割模型包括多个针对不同图像类型的消化道影像样本集分别训练的消化道影像分割模型；
通过确定的所述消化道影像分割模型获得所述消化道影像中各个病灶像素点的病灶类别；
根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别的消化道分割影像；其中，病灶区域是由相同病灶类别的病灶像素点形成的，病灶区域的病灶类别为形成该病灶区域的像素点的病灶类别。
2.如权利要求1所述的方法，其特征在于，在根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别消化道分割影像之后，包括：
将消化道分割影像叠加至所述消化道影像中，生成包括确定出的病灶区域和病灶类别的消化道影像。
3.如权利要求1所述的方法，其特征在于，在根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别的消化道分割影像之后，包括：
确定所述消化道分割影像与针对所述消化道影像前后预设个消化道影像的消化道分割影像中每个消化道分割影像的交叠率；
根据确定出的交叠率，确定所述消化道分割影像的可信度，并在所述消化道分割影像上标记确定出的可信度。
4.如权利要求1-3任一所述的方法，其特征在于，消化道影像样本集包括训练集、验证集和测试集，所述消化道影像样本集中各个消化道影像样本标注有病灶区域和病灶类别，所述消化道影像分割模型是通过下述方法训练的：
根据所述训练集中的消化道影像样本，训练消化道影像分割模型；
根据所述验证集确定针对所述消化道影像分割模型在多组模型参数下不同分割结果的评价指标结果，确定出针对所述消化道影像分割模型在多组模型参数下不同分割结果的评价指标结果的多个优选值；
根据所述测试集确定所述多个优选值中每个优选值对应的模型参数的评价指标结果，确定出所述多个优选值中对应的模型参数的评价指标结果的最优值；
将确定出的最优值所对应的模型参数确定为所述消化道影像分割模型的模型参数，获得训练完成的消化道影像分割模型。
5.如权利要求4所述的方法，其特征在于，根据所述训练集，训练消化道影像分割模型，包括：
以预设误差函数收敛的方向，调整消化道影像分割模型的模型参数；
其中，所述预设误差函数是根据交叉熵误差函数和最小化混合误差函数加权得到的，所述最小化混合误差函数用于表示分割模型针对消化道影像样本中每个像素点的病灶类别的预测结果和针对消化道影像样本每个像素点的所属病灶类别的真实结果之间的相似度。
6.一种消化道影像的处理装置，其特征在于，所述处理装置，包括：
获取单元，用于获取待处理的消化道影像；
识别单元，用于识别所述消化道影像对应的图像类型；根据所述消化道影像对应的图像类型，确定与所述图像类型关联的消化道影像分割模型；通过确定的所述消化道影像分割模型，获得所述消化道影像中各个病灶像素点的病灶类别；其中，所述图像类型用于表征所述消化道影像的成像类型或染色类型；不同的图像类型所关联的消化道影像分割模型不同，所述消化道影像分割模型包括多个针对不同图像类型的消化道影像样本集分别训练的消化道影像分割模型，所述消化道影像样本集中各个消化道影像样本标注有病灶区域和病灶类别；
分割单元，用于根据确定出的各个病灶像素点的病灶类别，获得标识有病灶区域和病灶类别的消化道分割影像；其中，病灶区域是由相同病灶类别的病灶像素点形成的，病灶区域的病灶类别为形成该病灶区域的像素点的病灶类别。
7.如权利要求6所述的处理装置，其特征在于，所述处理装置还包括训练单元，消化道影像样本集包括训练集、验证集和测试集，所述训练单元用于：
根据所述训练集中的消化道影像样本，训练消化道影像分割模型；
根据所述验证集确定针对所述消化道影像分割模型在多组模型参数下不同分割结果的评价指标结果，确定出针对所述消化道影像分割模型在多组模型参数下不同分割结果的评价指标结果的多个优选值；
根据所述测试集确定所述多个优选值中每个优选值对应的模型参数的评价指标结果，直到确定出所述多个优选值中对应的模型参数的评价指标结果的最优值；
将确定出的最优值所对应的模型参数确定为所述消化道影像分割模型的模型参数，获得训练完成的消化道影像分割模型。
8.一种医疗系统，其特征在于，包括：内窥镜，输出模块，以及如权利要求6或7所述的处理装置，其中：
所述内窥镜，用于采集待处理的消化道影像并发送给所述处理装置；
所述输出模块，用于输出所述处理装置获得的所述消化道分割影像。
9.如权利要求8所述的医疗系统，其特征在于，所述医疗系统还包括图像筛选模块，其中：
所述图像筛选模块，用于从所述内窥镜采集的多个消化道影像中，根据已训练的消化道影像筛选识别模型，过滤不符合预设条件的消化道影像，获得待处理的消化道影像，并发送给所述处理装置。
10.如权利要求9所述的医疗系统，其特征在于，所述医疗系统还包括器官部位识别模块，其中：
所述器官部位识别模块，用于从所述图像筛选模块获得所述待处理的消化道影像，并根据已训练的器官分类识别模型，获得所述消化道影像对应的器官识别结果，并将所述器官识别结果发送给所述输出模块。
11.一种计算机设备，其特征在于，包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-5中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的方法。
CN201910782632.0A 2019-08-23 2019-08-23 一种消化道影像的处理方法、装置、以及医疗系统 Active CN110600122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910782632.0A CN110600122B (zh) 2019-08-23 2019-08-23 一种消化道影像的处理方法、装置、以及医疗系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910782632.0A CN110600122B (zh) 2019-08-23 2019-08-23 一种消化道影像的处理方法、装置、以及医疗系统

Publications (2)

Publication Number Publication Date
CN110600122A CN110600122A (zh) 2019-12-20
CN110600122B true CN110600122B (zh) 2023-08-29

Family

ID=68855497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910782632.0A Active CN110600122B (zh) 2019-08-23 2019-08-23 一种消化道影像的处理方法、装置、以及医疗系统

Country Status (1)

Country Link
CN (1) CN110600122B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415741B (zh) * 2020-03-05 2023-09-26 北京深睿博联科技有限责任公司 基于隐式表观学习的乳腺x射线影像分类模型训练方法
CN111899848B (zh) * 2020-08-05 2023-07-07 中国联合网络通信集团有限公司 图像识别方法及设备
CN112348774A (zh) * 2020-09-29 2021-02-09 深圳市罗湖区人民医院 一种适用于膀胱癌的ct影像分割方法、终端以及存储介质
CN112418263A (zh) * 2020-10-10 2021-02-26 上海鹰瞳医疗科技有限公司 一种医学图像病灶分割标注方法及系统
US11749401B2 (en) 2020-10-30 2023-09-05 Guerbet Seed relabeling for seed-based segmentation of a medical image
US11688063B2 (en) 2020-10-30 2023-06-27 Guerbet Ensemble machine learning model architecture for lesion detection
US11436724B2 (en) * 2020-10-30 2022-09-06 International Business Machines Corporation Lesion detection artificial intelligence pipeline computing system
US11688517B2 (en) 2020-10-30 2023-06-27 Guerbet Multiple operating point false positive removal for lesion identification
CN115311188B (zh) * 2021-05-08 2023-12-22 数坤科技股份有限公司 一种图像识别方法、装置、电子设备及存储介质
TWI789932B (zh) * 2021-10-01 2023-01-11 國泰醫療財團法人國泰綜合醫院 大腸瘜肉影像偵測方法、裝置及其系統
CN114305690B (zh) * 2021-12-31 2023-12-26 杭州三坛医疗科技有限公司 一种手术导航定位方法及装置
CN114429493B (zh) * 2022-01-26 2023-05-09 数坤(北京)网络科技股份有限公司 影像序列处理方法、装置、电子设备及存储介质
CN114565611B (zh) * 2022-04-28 2022-07-19 武汉大学 医学信息获取方法及相关设备
CN116703798B (zh) * 2023-08-08 2023-10-13 西南科技大学 基于自适应干扰抑制的食管多模态内镜图像增强融合方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007078764A2 (en) * 2005-12-29 2007-07-12 Carestream Health, Inc. Cad detection system for multiple organ systems
WO2013111101A1 (en) * 2012-01-27 2013-08-01 Koninklijke Philips N.V. Tumor segmentation and tissue classification in 3d multi-contrast
WO2016032398A2 (en) * 2014-08-25 2016-03-03 Singapore University Of Technology And Design Method and device for analysing an image
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术（武汉）有限公司 消化道病灶图像识别系统及识别方法
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
CN108682015A (zh) * 2018-05-28 2018-10-19 科大讯飞股份有限公司 一种生物图像中的病灶分割方法、装置、设备及存储介质
CN108776823A (zh) * 2018-07-06 2018-11-09 武汉兰丁医学高科技有限公司 基于细胞图像识别的宫颈癌病灶分析方法
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN108961296A (zh) * 2018-07-25 2018-12-07 腾讯科技（深圳）有限公司 眼底图像分割方法、装置、存储介质和计算机设备
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN109785300A (zh) * 2018-12-27 2019-05-21 华南理工大学 一种癌症医学图像数据处理方法、系统、装置和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9277902B2 (en) * 2013-11-22 2016-03-08 General Electric Company Method and system for lesion detection in ultrasound images

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007078764A2 (en) * 2005-12-29 2007-07-12 Carestream Health, Inc. Cad detection system for multiple organ systems
WO2013111101A1 (en) * 2012-01-27 2013-08-01 Koninklijke Philips N.V. Tumor segmentation and tissue classification in 3d multi-contrast
WO2016032398A2 (en) * 2014-08-25 2016-03-03 Singapore University Of Technology And Design Method and device for analysing an image
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术（武汉）有限公司 消化道病灶图像识别系统及识别方法
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
CN108682015A (zh) * 2018-05-28 2018-10-19 科大讯飞股份有限公司 一种生物图像中的病灶分割方法、装置、设备及存储介质
CN108776823A (zh) * 2018-07-06 2018-11-09 武汉兰丁医学高科技有限公司 基于细胞图像识别的宫颈癌病灶分析方法
CN108961296A (zh) * 2018-07-25 2018-12-07 腾讯科技（深圳）有限公司 眼底图像分割方法、装置、存储介质和计算机设备
CN109785300A (zh) * 2018-12-27 2019-05-21 华南理工大学 一种癌症医学图像数据处理方法、系统、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合纹理特征与形状特征的病灶CT图像识别;高静雅;张荣国;赵健;刘小君;;太原科技大学学报(第03期);第4-9页 *

Also Published As

Publication number Publication date
CN110600122A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
Cai et al. Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video)
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
Pogorelov et al. Deep learning and hand-crafted feature based approaches for polyp detection in medical videos
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
US20200279373A1 (en) Ai systems for detecting and sizing lesions
CN111899229A (zh) 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN109635871B (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
CN110189303B (zh) 一种基于深度学习和图像增强的nbi图像处理方法及其应用
CN103945755B (zh) 图像处理装置
JP2022505205A (ja) 腸の病理学のための画像スコアリング
CN103458765B (zh) 图像处理装置
CN111179252B (zh) 基于云平台的消化道病灶辅助识别与正反馈系统
CN111488912B (zh) 一种基于深度学习神经网络的喉部疾病诊断系统
Huang et al. Gastroesophageal reflux disease diagnosis using hierarchical heterogeneous descriptor fusion support vector machine
Sun et al. A novel gastric ulcer differentiation system using convolutional neural networks
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
CN112071418B (zh) 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法
CN115049666A (zh) 基于彩色小波协方差深度图模型的内镜虚拟活检装置
Bejakovic et al. Analysis of Crohn's disease lesions in capsule endoscopy images
CN117095815A (zh) 基于磁共振图像和病理全景扫描切片预测带有同源重组缺陷的前列腺癌患者的系统
Ratheesh et al. Advanced algorithm for polyp detection using depth segmentation in colon endoscopy
US20240062904A1 (en) Tumor diagnosis system and construction method thereof, terminal device and storage medium
CN113538344A (zh) 区分萎缩性胃炎和胃癌的图像识别系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018665

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant