CN111754473A - 用于3d图像的异常图像筛查方法、装置、设备及存储介质 - Google Patents

用于3d图像的异常图像筛查方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111754473A
CN111754473A CN202010554979.2A CN202010554979A CN111754473A CN 111754473 A CN111754473 A CN 111754473A CN 202010554979 A CN202010554979 A CN 202010554979A CN 111754473 A CN111754473 A CN 111754473A
Authority
CN
China
Prior art keywords
focus
screening
image information
data
prediction result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010554979.2A
Other languages
English (en)
Inventor
陈凯星
周鑫
吕传峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010554979.2A priority Critical patent/CN111754473A/zh
Priority to PCT/CN2020/099526 priority patent/WO2021120589A1/zh
Publication of CN111754473A publication Critical patent/CN111754473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例属于人工智能领域，涉及一种异常图像筛查方法、装置、设备及存储介质，该方法包括：接收病灶筛查请求，病灶筛查请求至少携带有原始图像信息以及与原始图像信息相对应的病灶预测结果；创建与病灶预测结果相对应的感受性曲线数据；获取与感受性曲线数据相对应的高阈值数据；获取与感受性曲线数据相对应的低阈值数据；基于高阈值数据、低阈值数据以及原始图像信息的连通性对病灶预测结果进行筛选操作，获得病灶筛选结果；输出病灶筛选结果。此外，本发明还涉及区块链技术，病灶筛选结果可存储于区块链中。本申请不仅有效的兼顾病灶漏检和假阳性引入问题，而且还利用了图像相邻层间病灶相关性信息，可以起到对网络学习方式的补充和优化。

Description

用于3D图像的异常图像筛查方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种用于3D图像的异常图像筛查方法、装置、计算机设备及存储介质。
背景技术
随着高性能计算的产生和信息计算的飞速发展，利用AI技术实现在医学影像上的智能诊辅，已是当前一大热点。
现有一种异常图像筛查方法，通过对单一图像的分析处理，在DR，眼底彩照等2D图像模态大量使用，因为每次检查只能产生单个2D图像，也因此，应用于此类数据的算法的最优化的参数选择上，通常采用人工经验或者ROC曲线等方式进行参数确定，从而实现异常图像的筛查检测目的。
然而，传统的异常图像筛查方法普遍不适用于CT，MRI，PET等3D图像模态。
发明内容
本申请实施例的目的旨在解决传统的异常图像筛查方法普遍不适用于CT，MRI，PET等3D图像模态的问题。
为了解决上述技术问题，本申请实施例提供一种用于3D图像的异常图像筛查方法，采用了如下所述的技术方案：
接收病灶筛查请求，所述病灶筛查请求至少携带有原始图像信息以及与所述原始图像信息相对应的病灶预测结果；
创建与所述病灶预测结果相对应的感受性曲线数据；
获取与所述感受性曲线数据相对应的高阈值数据；
获取与所述感受性曲线数据相对应的低阈值数据；
基于所述高阈值数据、低阈值数据以及所述原始图像信息的连通性对所述病灶预测结果进行筛选操作，获得病灶筛选结果；
输出所述病灶筛选结果。
为了解决上述技术问题，本申请实施例还提供一种用于3D图像的异常图像筛查装置，采用了如下所述的技术方案：
请求接收模块，用于接收病灶筛查请求，所述病灶筛查请求至少携带有原始图像信息以及与所述原始图像信息相对应的病灶预测结果；
曲线创建模块，用于创建与所述病灶预测结果相对应的感受性曲线数据；
高阈值获取模块，用于获取与所述感受性曲线数据相对应的高阈值数据；
低阈值获取模块，用于获取与所述感受性曲线数据相对应的低阈值数据；
筛选结果获取模块，用于基于所述高阈值数据、低阈值数据以及所述原始图像信息的连通性对所述病灶预测结果进行筛选操作，获得病灶筛选结果；
筛选结果输出模块，用于输出所述病灶筛选结果。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
包括存储器和处理器；
所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的用于3D图像的异常图像筛查方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的用于3D图像的异常图像筛查方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
基于3D图像模态的图像相邻层间病灶相关性信息，本申请实施例提供的用于3D图像的异常图像筛查方法不仅有效的兼顾病灶漏检和假阳性引入问题，而且还利用了图像相邻层间病灶相关性信息，可以起到对网络学习方式的补充和优化；相比通过3D神经网络-+学习相邻层间病灶相关性信息，本发明并不受限于显存，运行速度，扫描层厚，和医生使用习惯等多种因素，具有较好的可推广性和可用性；本申请实施例是可以接在任意病灶检测网络后，作为对网络输出结果的简单补充，因此具有普适性和即插即用的优点。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的用于3D图像的异常图像筛查方法的实现流程图；
图2是本发明实施例一提供的获取病灶预测结果的实现流程图；
图3是图1中步骤S103的一种具体实施方式的流程图；
图4是图1中步骤S104的一种具体实施方式的流程图；
图5是本发明实施例二提供的用于3D图像的异常图像筛查装置的结构示意图；
图6是本发明实施例二提供的病灶预测结果获取模块的结构示意图；
图7是本图5中高阈值获取模块的一种具体实施方式的结构示意图；
图8是本图5中低阈值获取模块的一种具体实施方式的结构示意图；
图9是本发明实施例三提供的计算机设备的的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
实施例一
参考图1，示出了本发明实施例一提供的用于3D图像的异常图像筛查方法的实现流程图，为了便于说明，仅示出与本发明相关的部分。
在步骤S101中，接收病灶筛查请求，所述病灶筛查请求至少携带有原始图像信息以及与所述原始图像信息相对应的病灶预测结果。
在本发明实施例中，原始图像信息用于表示实例的医学影像，在本发明实施例中，主要指的是以3D图像模态形式的医学图像，作为示例，例如CT，MRI，PET等，每次检查能产生一个序列的图像，其不同层面图像信息不仅存在连续性而且内容也具有高相关性。
在本发明实施例中，以脑CT中蛛网膜下腔出血为例，其病灶主要出现在蛛网膜下腔，而蛛网膜下腔又分布于CT序列中不同层面上，因此，在现实阅片过程中，医生通常不会仅凭某一图像层面出现可疑病灶就下定论，而往往是通过查看分析其相邻层面信息来做进一步诊断，区分真假病灶。这也进一步说明了3D图像模态的图像相邻层间病灶相关性信息对于病灶诊断的重要性。
在本发明实施例中，病灶预测结果指的是将上述原始图像信息输入至训练好的病灶预测模型中进行病灶预测，从而得到的预测结果，具体包括真阳性(TP)、假阳性(FP)、真阴性(TN)、假阴性(FN)以及其相对应的置信度。
在步骤S102中，创建与所述病灶预测结果相对应的感受性曲线数据。
在本发明实施例中，感受性曲线，即接受者操作特性曲线，目前在临床诊断性实验中，用于正常值临界点的合理选择，其横坐标用FPR表示，代表预测的阳性实例中实际为阴性的实例数占所有阴性实例数的比例，如公式(1)所示；其纵坐标用TPR表示，代表预测的阳性实例中实际为阳性的实例数占所有阳性实例的比例，如公式(2)所示。
FPR＝FP/(FP+TN) (1)
TPR＝TP/(TP+FN) (2)
其中，FP表示预测的阳性实例中实际为阴性的实例数，即假阳性实例数，TN表示预测的阴性实例中实际为阴性的实例数，TP表示预测的阳性实例中实际为阳性的实例数，FN表示预测的阴性实例中实际为阳性实例数，即漏检实例数。
在步骤S103中，获取与所述感受性曲线数据相对应的高阈值数据。
在本发明实施例中，高阈值数据用于筛选上述各个图像是否存在真正的病灶，将检出各类病灶按其置信度进行划分，如果检出结果中某类病灶存在置信度大于等于高阈值的实例，则可认定此图像存在该类病灶。
在本发明实施例中，根据模型输出结果，利用上述公式，我们计算在不同的置信度下各类病灶在case层面的TPR和FPR值，并从中确定各类病灶的最佳临界点，将此值作为病灶的高阈值。
在步骤S104中，获取与所述感受性曲线数据相对应的低阈值数据。
在本发明实施例中，低阈值数据用于筛选上述各个图像是否不存在病灶，将检出各类病灶按其置信度进行划分，如果检出结果中某类病灶存在置信度小于该低阈值数据，则可认定此图像不存在该类病灶。
在本发明实施例中，获取低阈值数据的方法与上述获取高阈值的方法策略不同，低阈值是以检出病灶优先为前提条件，在确保尽可能少的漏诊的情况下再寻求尽可能少的误诊，通过对ROC曲线的观察分析可发现，这类点往往位于曲线曲率趋于0或者曲率变化趋于0的位置，此位置即为基于病灶ROC的最佳平衡点。
在步骤S105中，基于所述高阈值数据、低阈值数据以及所述原始图像信息的连通性对所述病灶预测结果进行筛选操作，获得病灶筛选结果。
在本发明实施例中，首先基于以上步骤求得的高、低阈值，我们将检出各类病灶按其置信度进行划分，如果检出结果中某类病灶存在置信度大于等于高阈值的实例，则可认定此case存在该类病灶，而将此类病灶置信度小于高阈值且大于低阈值的病灶设定为病灶的candidate，小于低阈值的病灶则直接从结果中删除；然后我们借助相邻层面病灶存在相关性这一特性，围绕置信度大于高阈值病灶，可通过连通域分析或者简单判断其相邻层面是否存在candidate病灶，如果存在则将该病灶纳入高阈值病灶行列，以此迭代查找，最后将高阈值行列病灶作为模型的病灶筛选结果。
在本发明实施例中，该病灶筛选结果可存储于区块链中，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在步骤S106中，输出所述病灶筛选结果。
在本发明实施例中，提供了一种用于3D图像的异常图像筛查方法，接收病灶筛查请求，所述病灶筛查请求至少携带有原始图像信息以及与所述原始图像信息相对应的病灶预测结果；创建与所述病灶预测结果相对应的感受性曲线数据；获取与所述感受性曲线数据相对应的高阈值数据；获取与所述感受性曲线数据相对应的低阈值数据；基于所述高阈值数据、低阈值数据以及所述原始图像信息的连通性对所述病灶预测结果进行筛选操作，获得病灶筛选结果；输出所述病灶筛选结果。基于3D图像模态的图像相邻层间病灶相关性信息，本申请实施例提供的用于3D图像的异常图像筛查方法不仅有效的兼顾病灶漏检和假阳性引入问题，而且还利用了图像相邻层间病灶相关性信息，可以起到对网络学习方式的补充和优化；相比通过3D神经网络-+学习相邻层间病灶相关性信息，本发明并不受限于显存，运行速度，扫描层厚，和医生使用习惯等多种因素，具有较好的可推广性和可用性；本申请实施例是可以接在任意病灶检测网络后，作为对网络输出结果的简单补充，因此具有普适性和即插即用的优点。
继续参阅图2，示出了本发明实施例一提供的获取病灶预测结果的实现流程图，为了便于说明，仅示出与本发明相关的部分。
在步骤S201中，读取系统数据库，在所述系统数据库中获取训练图像信息以及与所述训练图像信息相对应的训练预测结果。
在本发明实施例中，系统数据库主要用于预先存储训练图像信息以及训练预测结果，该训练图像信息与训练预测结果建立有对应关联关系。
在步骤S202中，将所述训练图像信息以及训练预测结果输入至深度神经网络模型进行模型训练操作，得到病灶预测模型。
在本发明实施例中，深度神经网络模型可基于已经预测好的训练图像信息以及训练预测结果进行模型训练，使得病灶预测模型的预测结果更加接近于最初的目标。
在步骤S203中，接收用户终端发送的病灶预测请求，所述病灶预测请求至少携带有所述原始图像信息。
在本发明实施例中，用户终端可以是诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端，应当理解，此处对用户终端的举例仅为方便理解，不用于限定本发明。
在步骤S204中，将所述原始图像信息输入至所述病灶预测模型进行病灶预测操作，获得所述病灶预测结果。
继续参阅图3，示出了图1中步骤S103的一种具体实施方式的流程图，为了便于说明，仅示出与本发明相关的部分。
在步骤S301中，获取与所述感受性曲线数据相对应的最佳临界点。
在本发明实施例中，最佳临界点表示为：
P＝max(TPR-FPR)
P＝max(TPR*(1-FPR))
其中，P表示为所述感受性曲线上最近左上角的点。
在步骤S302中，将所述最佳临界点作为所述高阈值数据。
继续参阅图4，示出了图1中步骤S104的一种具体实施方式的流程图，为了便于说明，仅示出与本发明相关的部分。
在步骤S401中，基于最小二乘法对所述感受性曲线进行方程拟合操作，获得曲线坐标方程。
在本发明实施例中，最小二乘法指的是通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
在本发明实施例中，曲线坐标方程表示为：
y＝f(x)
在步骤S402中，获取与所述曲线坐标方程相对应的曲率。
在本发明实施例中，曲率表示为：
Figure BDA0002543909730000081
在本发明实施例中，该公式为“ROC曲线”的曲率计算公式，其中y＝f(x)，K表示该ROC曲线在横坐标为X位置的曲率。
在步骤S403中，将曲率趋近于0或者曲率变化较小的点作为所述低阈值数据。
在本发明实施例中，根据上述曲率的公式(5)可以计算出曲线上每个点的曲率，然后选取曲率趋近于0或者曲率变化较小的位置的点作为最佳平衡点，即可确定低阈值。
综上所述，本发明实施例提供的用于3D图像的异常图像筛查方法，接收病灶筛查请求，所述病灶筛查请求至少携带有原始图像信息以及与所述原始图像信息相对应的病灶预测结果；创建与所述病灶预测结果相对应的感受性曲线数据；获取与所述感受性曲线数据相对应的高阈值数据；获取与所述感受性曲线数据相对应的低阈值数据；基于所述高阈值数据、低阈值数据以及所述原始图像信息的连通性对所述病灶预测结果进行筛选操作，获得病灶筛选结果；输出所述病灶筛选结果。基于3D图像模态的图像相邻层间病灶相关性信息，本申请实施例提供的用于3D图像的异常图像筛查方法不仅有效的兼顾病灶漏检和假阳性引入问题，而且还利用了图像相邻层间病灶相关性信息，可以起到对网络学习方式的补充和优化；相比通过3D神经网络-+学习相邻层间病灶相关性信息，本发明并不受限于显存，运行速度，扫描层厚，和医生使用习惯等多种因素，具有较好的可推广性和可用性；本申请实施例是可以接在任意病灶检测网络后，作为对网络输出结果的简单补充，因此具有普适性和即插即用的优点。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
进一步参考图5，作为对上述图1所示方法的实现，本申请提供了一种用于3D图像的异常图像筛查装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例所述的用于3D图像的异常图像筛查装置500包括：请求接收模块501、曲线创建模块502、高阈值获取模块503、低阈值获取模块504、结果获取模块505以及结果输出模块506。其中：
请求接收模块501，用于接收病灶筛查请求，所述病灶筛查请求至少携带有原始图像信息以及与所述原始图像信息相对应的病灶预测结果；
曲线创建模块502，用于创建与所述病灶预测结果相对应的感受性曲线数据；
高阈值获取模块503，用于获取与所述感受性曲线数据相对应的高阈值数据；
低阈值获取模块504，用于获取与所述感受性曲线数据相对应的低阈值数据；
筛选结果获取模块505，用于基于所述高阈值数据、低阈值数据以及所述原始图像信息的连通性对所述病灶预测结果进行筛选操作，获得病灶筛选结果；
筛选结果输出模块506，用于输出所述病灶筛选结果。
在本发明实施例中，原始图像信息用于表示实例的医学影像，在本发明实施例中，主要指的是以3D图像模态形式的医学图像，作为示例，例如CT，MRI，PET等，每次检查能产生一个序列的图像，其不同层面图像信息不仅存在连续性而且内容也具有高相关性。
在本发明实施例中，以脑CT中蛛网膜下腔出血为例，其病灶主要出现在蛛网膜下腔，而蛛网膜下腔又分布于CT序列中不同层面上，因此，在现实阅片过程中，医生通常不会仅凭某一图像层面出现可疑病灶就下定论，而往往是通过查看分析其相邻层面信息来做进一步诊断，区分真假病灶。这也进一步说明了3D图像模态的图像相邻层间病灶相关性信息对于病灶诊断的重要性。
在本发明实施例中，病灶预测结果指的是将上述原始图像信息输入至训练好的病灶预测模型中进行病灶预测，从而得到的预测结果，具体包括真阳性(TP)、假阳性(FP)、真阴性(TN)、假阴性(FN)以及其相对应的置信度。
在本发明实施例中，感受性曲线，即接受者操作特性曲线，目前在临床诊断性实验中，用于正常值临界点的合理选择，其横坐标用FPR表示，代表预测的阳性实例中实际为阴性的实例数占所有阴性实例数的比例，如公式(1)所示；其纵坐标用TPR表示，代表预测的阳性实例中实际为阳性的实例数占所有阳性实例的比例，如公式(2)所示。
FPR＝FP/(FP+TN) (1)
TPR＝TP/(TP+FN) (2)
其中，FP表示预测的阳性实例中实际为阴性的实例数，即假阳性实例数，TN表示预测的阴性实例中实际为阴性的实例数，TP表示预测的阳性实例中实际为阳性的实例数，FN表示预测的阴性实例中实际为阳性实例数，即漏检实例数。
在本发明实施例中，高阈值数据用于筛选上述各个图像是否存在真正的病灶，将检出各类病灶按其置信度进行划分，如果检出结果中某类病灶存在置信度大于等于高阈值的实例，则可认定此图像存在该类病灶。
在本发明实施例中，根据模型输出结果，利用上述公式，我们计算在不同的置信度下各类病灶在case层面的TPR和FPR值，并从中确定各类病灶的最佳临界点，将此值作为病灶的高阈值。
在本发明实施例中，低阈值数据用于筛选上述各个图像是否不存在病灶，将检出各类病灶按其置信度进行划分，如果检出结果中某类病灶存在置信度小于该低阈值数据，则可认定此图像不存在该类病灶。
在本发明实施例中，获取低阈值数据的方法与上述获取高阈值的方法策略不同，低阈值是以检出病灶优先为前提条件，在确保尽可能少的漏诊的情况下再寻求尽可能少的误诊，通过对ROC曲线的观察分析可发现，这类点往往位于曲线曲率趋于0或者曲率变化趋于0的位置，此位置即为基于病灶ROC的最佳平衡点。
在本发明实施例中，首先基于以上步骤求得的高、低阈值，我们将检出各类病灶按其置信度进行划分，如果检出结果中某类病灶存在置信度大于等于高阈值的实例，则可认定此case存在该类病灶，而将此类病灶置信度小于高阈值且大于低阈值的病灶设定为病灶的candidate，小于低阈值的病灶则直接从结果中删除；然后我们借助相邻层面病灶存在相关性这一特性，围绕置信度大于高阈值病灶，可通过连通域分析或者简单判断其相邻层面是否存在candidate病灶，如果存在则将该病灶纳入高阈值病灶行列，以此迭代查找，最后将高阈值行列病灶作为模型的病灶筛选结果。
在本发明实施例中，提供了一种用于3D图像的异常图像筛查装置，基于3D图像模态的图像相邻层间病灶相关性信息，本申请实施例提供的用于3D图像的异常图像筛查方法不仅有效的兼顾病灶漏检和假阳性引入问题，而且还利用了图像相邻层间病灶相关性信息，可以起到对网络学习方式的补充和优化；相比通过3D神经网络-+学习相邻层间病灶相关性信息，本发明并不受限于显存，运行速度，扫描层厚，和医生使用习惯等多种因素，具有较好的可推广性和可用性；本申请实施例是可以接在任意病灶检测网络后，作为对网络输出结果的简单补充，因此具有普适性和即插即用的优点。
继续参考图6，示出了本发明实施例二提供的病灶预测结果获取模块的结构示意图，为了便于说明，仅示出与本发明相关的部分。
在本发明实施例二的一些可选的实现方式中，上述用于3D图像的异常图像筛查装置500还包括：训练数据获取子模块507、预测模型获取子模块508、请求接收子模块509以及预测结果获取子模块510。其中：
训练数据获取子模块507，用于读取系统数据库，在所述系统数据库中获取训练图像信息以及与所述训练图像信息相对应的训练预测结果；
预测模型获取子模块508，用于将所述训练图像信息以及训练预测结果输入至深度神经网络模型进行模型训练操作，得到病灶预测模型；
请求接收子模块509，用于接收用户终端发送的病灶预测请求，所述病灶预测请求至少携带有所述原始图像信息；
预测结果获取子模块510，用于将所述原始图像信息输入至所述病灶预测模型进行病灶预测操作，获得所述病灶预测结果。
在本发明实施例中，系统数据库主要用于预先存储训练图像信息以及训练预测结果，该训练图像信息与训练预测结果建立有对应关联关系。
在本发明实施例中，深度神经网络模型可基于已经预测好的训练图像信息以及训练预测结果进行模型训练，使得病灶预测模型的预测结果更加接近于最初的目标。
在本发明实施例中，用户终端可以是诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端，应当理解，此处对用户终端的举例仅为方便理解，不用于限定本发明。
继续参阅图7，示出了高阈值获取模块的结构示意图，为了便于说明，仅是出与本发明相关的部分。
在本发明实施例二的一些可选的实现方式中，上述高阈值获取模块503包括：临界点获取子模块5031以及高阈值确定子模块5032。其中：
临界点获取子模块5031，用于获取与所述感受性曲线数据相对应的最佳临界点，所述最佳临界点表示为：
P＝max(TPR-FPR)
P＝max(TPR*(1-FPR))
其中，P表示为所述感受性曲线上最近左上角的点；
高阈值确定子模块5032，用于将所述最佳临界点作为所述高阈值数据。
继续参阅图8，示出了低阈值获取模块的结构示意图，为了便于说明，仅是出与本发明相关的部分。
在本发明实施例二的一些可选的实现方式中，上述低阈值获取模块504包括：曲线获取子模块5041、曲率获取子模块5042以及低阈值确定子模块5043。其中：
曲线获取子模块5041，用于基于最小二乘法对所述感受性曲线进行方程拟合操作，获得曲线坐标方程：
y＝f(x)；
曲率获取子模块5042，用于获取与所述曲线坐标方程相对应的曲率，所述曲率表示为：
Figure BDA0002543909730000141
低阈值确定子模块5043，用于将曲率趋近于0或者曲率变化较小的点作为所述低阈值数据。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。
所述计算机设备9包括通过系统总线相互通信连接存储器91、处理器92、网络接口93。需要指出的是，图中仅示出了具有组件91-93的计算机设备9，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器91至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器91可以是所述计算机设备9的内部存储单元，例如该计算机设备9的硬盘或内存。在另一些实施例中，所述存储器91也可以是所述计算机设备9的外部存储设备，例如该计算机设备9上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器91还可以既包括所述计算机设备9的内部存储单元也包括其外部存储设备。本实施例中，所述存储器91通常用于存储安装于所述计算机设备9的操作系统和各类应用软件，例如X方法的程序代码等。此外，所述存储器91还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器92在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器92通常用于控制所述计算机设备9的总体操作。本实施例中，所述处理器92用于运行所述存储器91中存储的程序代码或者处理数据，例如运行所述X方法的程序代码。
所述网络接口93可包括无线网络接口或有线网络接口，该网络接口93通常用于在所述计算机设备9与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有X程序，所述X程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的X方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种用于3D图像的异常图像筛查方法，其特征在于，包括下述步骤：
接收病灶筛查请求，所述病灶筛查请求至少携带有原始图像信息以及与所述原始图像信息相对应的病灶预测结果；
创建与所述病灶预测结果相对应的感受性曲线数据；
获取与所述感受性曲线数据相对应的高阈值数据；
获取与所述感受性曲线数据相对应的低阈值数据；
基于所述高阈值数据、低阈值数据以及所述原始图像信息的连通性对所述病灶预测结果进行筛选操作，获得病灶筛选结果；
输出所述病灶筛选结果。
2.如权利要求1所述的用于3D图像的异常图像筛查方法，其特征在于，在所述接收病灶筛查请求的步骤之前，还包括下述步骤：
读取系统数据库，在所述系统数据库中获取训练图像信息以及与所述训练图像信息相对应的训练预测结果；
将所述训练图像信息以及训练预测结果输入至深度神经网络模型进行模型训练操作，得到病灶预测模型；
接收用户终端发送的病灶预测请求，所述病灶预测请求至少携带有所述原始图像信息；
将所述原始图像信息输入至所述病灶预测模型进行病灶预测操作，获得所述病灶预测结果。
3.如权利要求1所述的用于3D图像的异常图像筛查方法，其特征在于，所述获取与所述感受性曲线数据相对应的高阈值数据的步骤，包括下述步骤：
获取与所述感受性曲线数据相对应的最佳临界点，所述最佳临界点表示为：
P＝max(TPR-FPR)
P＝max(TPR*(1-FPR))
其中，P表示为所述感受性曲线上最近左上角的点，TPR表示为预测的阳性实例中实际为阳性的实例数占所有阳性实例的比例，FPR表示为预测的阳性实例中实际为阴性的实例数占所有阴性实例数的比例；
将所述最佳临界点作为所述高阈值数据。
4.如权利要求1所述的用于3D图像的异常图像筛查方法，其特征在于，所述获取与所述感受性曲线数据相对应的低阈值数据的步骤，包括下述步骤：
基于最小二乘法对所述感受性曲线进行方程拟合操作，获得曲线坐标方程：
y＝f(x)；
其中，f(x)表示为拟合后的曲线坐标方程；
获取与所述曲线坐标方程相对应的曲率，所述曲率表示为：
Figure FDA0002543909720000021
其中，y＝f(x)，K表示该ROC曲线在横坐标为X位置的曲率；
将曲率趋近于0或者曲率变化较小的点作为所述低阈值数据。
5.一种用于3D图像的异常图像筛查装置，其特征在于，所述装置包括：
请求接收模块，用于接收病灶筛查请求，所述病灶筛查请求至少携带有原始图像信息以及与所述原始图像信息相对应的病灶预测结果；
曲线创建模块，用于创建与所述病灶预测结果相对应的感受性曲线数据；
高阈值获取模块，用于获取与所述感受性曲线数据相对应的高阈值数据；
低阈值获取模块，用于获取与所述感受性曲线数据相对应的低阈值数据；
筛选结果获取模块，用于基于所述高阈值数据、低阈值数据以及所述原始图像信息的连通性对所述病灶预测结果进行筛选操作，获得病灶筛选结果；
筛选结果输出模块，用于输出所述病灶筛选结果。
6.如权利要求5所述的用于3D图像的异常图像筛查装置，其特征在于，所述装置还包括：
训练数据获取子模块，用于读取系统数据库，在所述系统数据库中获取训练图像信息以及与所述训练图像信息相对应的训练预测结果；
预测模型获取子模块，用于将所述训练图像信息以及训练预测结果输入至深度神经网络模型进行模型训练操作，得到病灶预测模型；
请求接收子模块，用于接收用户终端发送的病灶预测请求，所述病灶预测请求至少携带有所述原始图像信息；
预测结果获取子模块，用于将所述原始图像信息输入至所述病灶预测模型进行病灶预测操作，获得所述病灶预测结果。
7.如权利要求5所述的用于3D图像的异常图像筛查装置，其特征在于，所述高阈值获取模块包括：
临界点获取子模块，用于获取与所述感受性曲线数据相对应的最佳临界点，所述最佳临界点表示为：
P＝max(TPR-FPR)
P＝max(TPR*(1-FPR))
其中，P表示为所述感受性曲线上最近左上角的点；
高阈值确定子模块，用于将所述最佳临界点作为所述高阈值数据。
8.如权利要求5所述的用于3D图像的异常图像筛查装置，其特征在于，所述低阈值获取模块包括：
曲线获取子模块，用于基于最小二乘法对所述感受性曲线进行方程拟合操作，获得曲线坐标方程：
y＝f(x)；
曲率获取子模块，用于获取与所述曲线坐标方程相对应的曲率，所述曲率表示为：
Figure FDA0002543909720000031
低阈值确定子模块，用于将曲率趋近于0或者曲率变化较小的点作为所述低阈值数据。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的用于3D图像的异常图像筛查方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的用于3D图像的异常图像筛查方法的步骤。
CN202010554979.2A 2020-06-17 2020-06-17 用于3d图像的异常图像筛查方法、装置、设备及存储介质 Pending CN111754473A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010554979.2A CN111754473A (zh) 2020-06-17 2020-06-17 用于3d图像的异常图像筛查方法、装置、设备及存储介质
PCT/CN2020/099526 WO2021120589A1 (zh) 2020-06-17 2020-06-30 用于3d图像的异常图像筛查方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010554979.2A CN111754473A (zh) 2020-06-17 2020-06-17 用于3d图像的异常图像筛查方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111754473A true CN111754473A (zh) 2020-10-09

Family

ID=72675320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010554979.2A Pending CN111754473A (zh) 2020-06-17 2020-06-17 用于3d图像的异常图像筛查方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111754473A (zh)
WO (1) WO2021120589A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465819A (zh) * 2020-12-18 2021-03-09 平安科技（深圳）有限公司 图像异常区域检测方法、装置、电子设备及存储介质
WO2022077720A1 (zh) * 2020-10-15 2022-04-21 深圳技术大学 一种医疗数据共享方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612192A (zh) * 2023-07-19 2023-08-18 山东艺术学院 一种基于数字视频的病虫害区目标定位方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108231194A (zh) * 2018-04-04 2018-06-29 苏州医云健康管理有限公司 一种疾病诊断系统
CN109191451B (zh) * 2018-09-11 2020-10-23 百度在线网络技术（北京）有限公司 异常检测方法、装置、设备和介质
CN110689518A (zh) * 2019-08-15 2020-01-14 平安科技（深圳）有限公司 宫颈细胞图像筛查方法、装置、计算机设备及存储介质
CN111081372B (zh) * 2019-12-14 2023-06-20 中国科学院深圳先进技术研究院 疾病诊断装置、终端设备及计算机可读存储介质
CN111275121B (zh) * 2020-01-23 2023-07-18 北京康夫子健康技术有限公司 一种医学影像处理方法、装置和电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022077720A1 (zh) * 2020-10-15 2022-04-21 深圳技术大学 一种医疗数据共享方法及装置
CN112465819A (zh) * 2020-12-18 2021-03-09 平安科技（深圳）有限公司 图像异常区域检测方法、装置、电子设备及存储介质
WO2022126903A1 (zh) * 2020-12-18 2022-06-23 平安科技（深圳）有限公司 图像异常区域检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021120589A1 (zh) 2021-06-24

Similar Documents

Publication Publication Date Title
CN111754473A (zh) 用于3d图像的异常图像筛查方法、装置、设备及存储介质
KR101818074B1 (ko) 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템
JP4542591B2 (ja) 画像処理システム、画像保管装置、および、画像処理装置、並びに、画像処理方法、プログラム
EP3258415A1 (en) Fingerprint identification method and apparatus
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
US9224066B2 (en) Object detection via validation with visual search
KR20120109591A (ko) 콘텐츠 기반 이미지 검색을 가능하게 하는 방법 및 장치
CN108460346B (zh) 指纹识别方法及装置
EP4181059A1 (en) Medical image processing method, apparatus, device, storage medium, and product
CN111325714A (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
US11941838B2 (en) Methods, apparatuses, devices and storage medium for predicting correlation between objects
Wang et al. An interpretable deep neural network for colorectal polyp diagnosis under colonoscopy
CN111210465A (zh) 图像配准方法、装置、计算机设备和可读存储介质
CN113409928A (zh) 一种医疗信息共享系统
CN110689518A (zh) 宫颈细胞图像筛查方法、装置、计算机设备及存储介质
CN115331071A (zh) 一种基于多尺度特征图的结核性脑膜脑炎预测方法及系统
CN111275699A (zh) 医学图像的处理方法、装置、设备及存储介质
US20210295016A1 (en) Living body recognition detection method, medium and electronic device
CN113557546B (zh) 图像中关联对象的检测方法、装置、设备和存储介质
CN112418191A (zh) 指纹识别模型构建方法、存储介质及计算机设备
CN110288668B (zh) 图像生成方法、装置、计算机设备及存储介质
CN112699811A (zh) 活体检测方法、装置、设备、储存介质及程序产品
CN114694257A (zh) 多人实时三维动作识别评估方法、装置、设备及介质
CN114141358A (zh) 基于知识图谱的疾病诊断装置、计算机设备及存储介质
CN114639056A (zh) 直播内容的识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination