CN109544534A - 一种病灶图像检测装置、方法和计算机可读存储介质 - Google Patents

一种病灶图像检测装置、方法和计算机可读存储介质 Download PDF

Info

Publication number
CN109544534A
CN109544534A CN201811417230.2A CN201811417230A CN109544534A CN 109544534 A CN109544534 A CN 109544534A CN 201811417230 A CN201811417230 A CN 201811417230A CN 109544534 A CN109544534 A CN 109544534A
Authority
CN
China
Prior art keywords
neural network
lesion
network structure
image
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811417230.2A
Other languages
English (en)
Other versions
CN109544534B (zh
Inventor
高耀宗
陈彦博
王季勇
谢未央
詹翊强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201811417230.2A priority Critical patent/CN109544534B/zh
Publication of CN109544534A publication Critical patent/CN109544534A/zh
Priority to US16/600,960 priority patent/US11188773B2/en
Application granted granted Critical
Publication of CN109544534B publication Critical patent/CN109544534B/zh
Priority to US17/455,923 priority patent/US11694086B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明提供一种病灶图像检测装置，所述病灶图像检测装置包括：图像获取模块，获取待检测的医学图像；检测模块，根据经训练的神经网络模型对所述医学图像进行病灶检测；其中，所述神经网络模型包括M级依次级联的神经网络结构，在训练时，输入到第二级至第M级神经网络结构的负样本包括上一级神经网络结构的假阳性样本，M为大于1的正整数。

Description

一种病灶图像检测装置、方法和计算机可读存储介质
技术领域
本发明主要涉及医学图像领域，特别涉及一种病灶检测装置、方法和计算机可读存储介质。
背景技术
癌症是当今对人类身体健康危害最大的疾病之一，许多癌症的早期诊断与治疗可以起到防治的效果，或者可以提升病人5年的存活率。随着医疗影像设备的普及以及国民健康意识的提升，越来越多的人选择医疗影像(如低剂量CT)来进行癌症的早期筛查。癌症早期在影像上往往表现为小型的病灶，需要花费医生很多时间进行筛查。随着医疗影像设备的普及，医疗影像数据几何倍增长，而放射科医生的数量增长缓慢，这导致了医生工作量大幅的增加，对计算机辅助检测(Computer-Aided Detection,CAD)系统的需求也变得非常迫切。使用CAD系统可以减少医生病灶漏检率，提升医生阅片的效率。在整个阅片流程中，CAD系统可以充当第二阅片人的作用。
目前CAD系统依据是否采用深度学习技术，可分为两大类。第一类的CAD系统是基于传统机器学习的方法，一般包括三个步骤：1)图像预处理，如去噪，去伪影以及图像滤波等操作，主要是用来提升病灶在影像中的对比度，提升后续步骤病灶检出率；2)针对图像中每一个位置，设计并提取图像特征，然后训练分类器(如支持向量机，随机森林等)来区分当前位置是否存在病灶；3)利用先验知识来去除假阳性病灶，如在肺结节筛查中，可以利用肺分割来去掉算法在肺外检测到的假阳性病灶。基于传统及其学习的CAD系统需要手动设计影像特征，在病灶检测敏感性和特异性上效果不佳。第二类的CAD系统是基于深度学习的方法，与传统方法不同的是在第二步，深度学习方法将特征提取与分类器混合在神经网络的训练过程中，通过在大量带有病灶标注的影像数据上进行迭代训练，深度学习的方法可以自适应地学习到有用的影像特征来帮助病灶的检测，从而省去了手动设计影像特征这一步。相比于第一类传统的CAD系统，基于深度学习的CAD系统在病灶检测敏感性和特异性上都有了显著的提高。
现有的基于深度学习的CAD系统，如肺部CAD系统，采用二维U-Net网络筛查出可疑肺结节，然后通过三维的卷积神经网络根据可疑肺结节局部图像特征来减少假阳性；或者使用二维的Faster R-CNN网络筛查出可疑肺结节，然后同样地通过三维的卷积神经网络来减少假阳性。现有的深度学习的CAD系统在病灶检出率上有显著的提高，但是仍然存在下列问题：1)当前CAD系统都是针对单一病灶进行开发，没有很好的普适性，无法适用于其他病灶或者其他模态上的病灶检测问题；2)当前CAD系统只能检测单一尺度的病灶。同一种病灶的大小往往差异很大，以肺结节为例，小的肺结节仅有3-5毫米，而大的肺结节可能有30毫米。使用单一尺度的深度学习网络来检测这类病灶，所训练的网络往往只能针对某一尺度的病灶有很强的敏感性，无法适用于不同大小的病灶检测。3)目前的CAD系统在提高病灶检出率的同时，存在大量的假阳性，降低了临床使用的用户体验。
发明内容
本发明要解决的技术问题是提供一种病灶检测装置、方法和计算机可读存储介质，以提高病灶检测的普适性，降低病灶检测的假阳性率。
为了解决上述技术问题，本发明的一方面提供一种病灶图像检测方法，所述病灶图像检测方法包括：获取待检测的医学图像；根据经训练的神经网络模型对所述医学图像进行病灶检测；其中，所述神经网络模型包括M级依次级联的神经网络结构，在训练时，输入到第二级至第M级神经网络结构的负样本包括上一级神经网络结构的假阳性样本，M为大于1的正整数。
在本发明的一实施例中，第一级神经网络结构至第M-1级神经网络结构配置为将检测到的疑似病灶传递给下一级神经网络结构。
在本发明的一实施例中，输入到每一级神经网络结构的负样本和正样本的数量是均衡的。
在本发明的一实施例中，在训练时，所述神经网络模型中M的值满足下述条件之一：使得所述神经网络模型的检测假阳性率低于第一阈值；M的值达到第二阈值。
在本发明的一实施例中，所述神经网络结构包括N个依次连接的神经网络结构块，其中第1个至第N-1个神经网络结构块对图像特征数据进行降采样之后输入下一个神经网络结构块中，N为大于1的正整数。
在本发明的一实施例中，所述神经网络结构还配置为：对第2个至第N个神经网络结构块中的至少一个的图像特征数据进行升采样，将升采样的图像特征数据与上一级神经网络结构块的图像特征数据进行融合，根据融合的结果对病灶进行检测。
在本发明的一实施例中，所述M的值和/或N的值为2-5。
本发明的另一方面还提供一种病灶图像检测装置，所述病灶图像检测装置包括：图像获取模块，获取待检测的医学图像；检测模块，根据经训练的神经网络模型对所述医学图像进行病灶检测；其中，所述神经网络模型包括M级依次级联的神经网络结构，在训练时，输入到第二级至第M级神经网络结构的负样本包括上一级神经网络结构的假阳性样本，M为大于1的正整数。
在本发明的一实施例中，第一级神经网络结构至第M-1级神经网络结构配置为将检测到的疑似病灶传递给下一级神经网络结构。
在本发明的一实施例中，输入到每一级神经网络结构的负样本和正样本的数量是均衡的。
在本发明的一实施例中，在训练时，所述神经网络模型中M的值满足下述条件之一：使得所述神经网络模型的检测假阳性率低于第一阈值；M的值达到第二阈值。
在本发明的一实施例中，所述神经网络结构包括N个依次连接的神经网络结构块，其中第1个至第N-1个神经网络结构块对图像特征数据进行降采样之后输入下一级神经网络结构块中，N为大于1的正整数。
在本发明的一实施例中，所述神经网络结构还配置为：对第2个至第N个神经网络结构块中的至少一个的图像特征数据进行升采样，将升采样的图像特征数据与上一个神经网络结构块的图像特征数据进行融合，根据融合的结果对病灶进行检测。
在本发明的一实施例中，所述M的值和/或N的值为2-5。
本发明的又一方面提供一种计算机可读存储介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行如上所述的方法。
与现有技术相比，本发明具有以下优点：本发明提供了一种病灶检测装置、方法和计算机可读存储介质，使用的神经网络模型包括M级依次级联的神经网络结构，在训练时，输入到第二级至第M级神经网络结构的负样本包括上一级神经网络结构的假阳性样本，在级联的不同阶段使用不同的检测网络过滤掉非病灶的区域，可以有效地降低病灶检测的假阳性率；神经网络结构将高分辨率和低分辨率的医学图像进行融合，实现了病灶的多尺度检测，提高了病灶检测的普适性。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：
图1是本发明一些实施例的计算机设备的结构示意图。
图2是根据本发明一些实施例描述的示例性的处理引擎的方框图。
图3是根据本发明一些实施例描述的示例性的神经网络确定模块的方框图。
图4是本发明一实施例的病灶图像检测方法的流程图。
图5是本发明一实施例的级联神经网络模型的结构示意图。
图6是本发明一实施例的级联神经网络模型的示例性过程的示意图。
图7是现有技术中单一尺度病灶检测的神经网络结构的示意图。
图8是本发明一实施例的多尺度病灶检测的神经网络结构的示意图。
图9是根据本发明一些实施例描述的示例性的神经网络模型的示意图。
图10是本发明一实施例的病灶图像检测装置。
具体实施方式
为了更清楚地说明本发明的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本发明应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本发明对根据本发明的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在计算设备和/或处理器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
应当理解的是，当单元或模块被描述为“连接”、“耦接”其它单元、模块或块时，其可以指直接连接或耦接，或者与其它单元、模块或块通信，或者可以存在中间的单元、模块或块，除非上下文明确指明其它方式。本文所使用的术语“和/或”可包括一个或多个相关列出项目的任意与所有组合。
本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
本发明的一些描述是结合计算机断层扫描(CT)图像二提供。应当理解，这是为了说明的目的，而不是旨在限制本发明的范围。在此发明的装置和方法可以用于处理来自其他成像模态的图像或图像数据，其他成像模态包括例如数字射线照相(DR)系统、磁共振成像(MRI)系统、医学超声成像系统、多模态系统、或类似物，或其任何组合。示例性的多模态系统可以包括计算机断层扫描-正电子发射断层扫描(CT-PET)系统、计算机断层扫描-磁共振成像(CT-MRI)系统等。
图1是本发明一些实施例的计算机设备的结构示意图。计算机100可以被用于实现实施本发明一些实施例中披露的特定方法和装置。本实施例中的特定装置利用功能框图展示了一个包含显示模块的硬件平台。在一些实施例中，计算机100可以通过其硬件设备、软件程序、固件以及它们的组合来实现本发明一些实施例的具体实施。在一些实施例中，计算机100可以是一个通用目的的计算机，或一个有特定目的的计算机。
参考图1所示，计算机100可以包括内部通信总线101、处理器(processor)102、只读存储器(ROM)103、随机存取存储器(RAM)104、通信端口105、输入/输出组件106、硬盘107以及用户界面108。内部通信总线101可以实现计算机100组件间的数据通信。处理器102可以进行判断和发出提示。在一些实施例中，处理器102可以由一个或多个处理器组成。通信端口105可以实现计算机100与其他部件(图中未示出)例如：外接设备、图像采集设备、数据库、外部存储以及图像处理工作站等之间进行数据通信。在一些实施例中，计算机100可以通过通信端口105从网络发送和接受信息及数据。输入/输出组件106支持计算机100与其他部件之间的输入/输出数据流。用户界面108可以实现计算机100和用户之间的交互和信息交换。计算机100还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘107，只读存储器(ROM)103和随机存取存储器(RAM)104，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器102所执行的可能的程序指令。
作为举例，输入/输出组件106可以包括以下的组件的一种或多种：鼠标、轨迹球、键盘、触控组件、声音接收器等。
本发明中的处理器102可设置为处理引擎。图2是根据本发明一些实施例的处理引擎的方框图。参考图2所示，处理引擎200可包括获取模块210、控制模块220、神经网络确定模块230、图像数据处理模块240和存储模块250。处理引擎200可被实施于各种部件上(例如图1所示的计算机100的处理器102)。
获取模块210可接收图像数据。获取模块210可从成像系统或者存储装置(例如硬盘107、ROM 103或者RAM 104)获取图像数据。图像数据可包括扫描数据、重建图像等。扫描数据可以是k空间数据。在一些实施例中，获取模块210可将获取的图像数据发送到处理引擎200的其它模块或单元以用于进一步处理。例如，获取的图像数据可发送到存储模块250存储。作为另一个示例，获取模块210可发送图像数据(例如扫描数据)到图像数据处理模块240以重建图像。
控制模块220可通过例如产生一个或多个控制参数，来控制获取模块210、神经网络确定模块230、图像数据处理模块240和/或存储模块250的操作。例如，控制模块220可控制获取模块210获取图像数据。作为另一个示例，控制模块220可控制图像数据处理模块240处理由获取模块210获取的图像数据。作为又一个示例，控制模块220可控制神经网络确定模块230来训练神经网络模型。在一些实施例中，控制模块220可接收实时命令或取回由例如用户(例如医生)或计算机100提供的预定命令，以控制获取模块210、神经网络确定模块230和/或图像数据处理模块240的一个或多个操作。例如，控制模块220能根据实时指令和/或预定指令调节图像数据处理模块240以生成对象图像。在一些实施例中，控制模块220可与处理引擎200的一个或多个其它模块通信以交换信息和/或数据。
神经网络确定模块230可确定一个或多个神经网络模型。例如，神经网络确定模块230可确定神经网络模型，神经网络模型被配置为根据欠采样图像生成预测图像。在一些实施例中，神经网络确定模块230可将确定的神经网络模型发送到一个或多个其他模块用于进一步的处理或应用。例如，神经网络确定模块230可向存储模块250发送神经网络模型用于存储。作为另一个示例，神经网络确定模块230可将神经网络模型发送到图像数据处理模块240用于图像处理。
图像数据处理模块240可处理由处理引擎200的各个模块提供的信息。图像数据处理模块240可处理由获取模块210获取的图像数据，从存储模块250取回的图像数据等。在一些实施例中，图像数据处理模块240可根据重建技术基于图像数据来重建图像，生成包括一个或多个图像和/或其他相关信息的报告，和/或执行根据本发明的各种实施例的任何其它用于图像重建的功能。
存储模块250可存储图像数据、模型、控制参数、经处理的图像数据或其组合。在一些实施例中，存储模块250可存储可由处理引擎200的处理器执行的一个或多个程序和/或指令，以执行在本发明中描述的示例性方法。例如，存储模块250可存储由处理引擎200的处理器执行的程序和/或指令以获取图像数据、基于图像数据重建图像、训练神经网络模型和/或显示任何中间结果或结果图像。
在一些实施例中，神经网络确定模块230可独立于处理引擎200设置。由另一设备确定的一个或多个神经网络模型可存储在计算机100中(例如，硬盘107、ROM 103或者RAM104等)或者在外部设备上，该外部设备可通过处理引擎200经由例如网络存取。在一些实施例中，这种设备可包括与神经网络确定模块230相同或相似的部分。在一些实施例中，神经网络确定模块230可存储一个或多个神经网络模型，该神经网络模型由另外的设备确定，并且可被计算机100的一个或多个部件(例如处理器102等)访问。在一些实施例中，本发明中可应用的神经网络模型可由计算机100(或包括例如处理引擎200的一部分)或可由计算机100访问的外部设备(或包括例如处理引擎200的一部分)确定。
图3是根据本发明的一些实施例描述的示例性的神经网络确定模块230的框图。参考图3所示，神经网络确定模块230可包括图像重建单元320，神经网络训练单元340和存储单元360。神经网络确定模块230可在各种组件(例如，如图1所示的计算机的处理器102)上实施。
图像重建单元320可基于一个或多个重建技术来重建一个或多个图像。在一些实施例中，图像重建单元320可将重建的图像发送到神经网络确定模块230的其他单元或块，用于进一步处理。例如，图像重建单元320可以将重建的图像发送到神经网络训练单元340，以训练神经网络模型。作为另一示例，图像重建单元320可以将重建的图像发送到存储单元360以进行存储。
神经网络训练单元340可训练神经网络模型。在一些实施例中，神经网络训练单元340可训练神经网络模型，神经网络模型被配置为根据欠采样图像生成预测图像。可以使用一些图像和针对这些图像的感兴趣区域选框来获得这样的神经网络模型。
在一些实施例中，神经网络训练单元340还可包括用于初始化的参数确定块342、提取块344、计算块346和判断块348。参数确定块342可初始化神经网络模型。例如，参数确定块342可构建初始神经网络模型。作为另一示例，参数确定块342可初始化初始神经网络模型的一个或多个参数值。提取块344可以从一个或多个训练图像(例如，欠采图像、参考图像和目标图像)中提取信息。例如，提取块344可以从这些训练图像中提取关于一个或多个区域的特征。计算块346可以在例如训练神经网络模型的过程中执行计算功能。例如，计算块346可以计算在迭代训练过程中更新的神经网络模型的一个或多个参数值。判断块348可以在例如训练神经网络模型的过程中执行判断功能。例如，判断块348可以确定在神经网络模型的训练过程中条件是否满足。
存储单元360可以存储关于例如训练神经网络模型的信息。在一些实施例中，与训练神经网络模型有关的信息可以包括用于训练神经网络模型的图像，用于训练神经网络模型的算法，神经网络模型的参数等。例如，存储单元360可以根据一定的标准来存储训练图像。可以基于训练图像的维度将训练图像存储或上传到存储单元360中。为了说明的目的，二维(2D)图像或三维(3D)图像可以被存储为包括多个元素(例如，像素或体素)的2D或3D矩阵。2D矩阵的元素以每行元素被顺序地存储在存储单元360中的方式被布置在存储单元360中，每行元素与2D图像的长度相对应，因此相同行中的元素在存储单元360中彼此相邻。3D矩阵的元素以构成3D矩阵的多个2D矩阵顺序地存储在存储单元360中的方式布置在存储单元360中，然后每个2D矩阵的行和/或列顺序地存储在存储单元360中。存储单元360可以是存储要由诸如CPU、GPU等处理设备处理的数据的存储器。在一些实施例中，存储单元360可以是由一个或多个GPU访问的存储器，或者是只由特定GPU访问的存储器。
应当注意的是，对神经网络确定模块230的以上描述仅仅是为了说明的目的而提供的，而并非旨在限定本发明的范围。对于本领域普通技术人员而言，可在本发明的教导下做出多种变形或修改。这些变形和修改并不背离本发明的范围。
图4是本发明一实施例的病灶图像检测方法的流程图。本发明的病灶图像检测方法可以用于肺结节检测，也可以用于纵膈病变检测、肝癌检测、前列腺癌检测、乳腺癌检测、脑出血检测、食道癌检测等。该方法主要包括以下两个步骤：
步骤401：获取待检测的医学图像。该医学图像可以表示病人身体某一区域图像的数据帧。该医学图像表示病人身体的一维、二维或三维区域。例如：医学数据为病人身体中某一切片图像或某一区域的三维图像。该医学图像可以是任何格式，如bmp、JPEG、TIFF、PNG、DICOM、VTK等。医学图像也可以是图像的实际显示之前的格式，或被称为数据集。例如，医学图像可以是一维、二维、三维或多维的数据格式。医学图像可以是被输出到显示器用以显示数据生成图像的多个红、绿、蓝(RGB)值。该医学图像可以是任何类型，如CT图像、MRI图像、X射线图像、光学相干断层成像(OTC)、超声(US)、血管内超声(IVUS)以及近红外光谱(NIRS)等。
该医学图像的获取可以通过对病人的扫描获取的。该获取作为扫描过程中的一个步骤。该获取也可以是来自于存储器，如从PACS系统中已经存在的数据集中提取需要的医学图像数据。
步骤402：根据经训练的神经网络模型对所述医学图像进行病灶检测。在一实施例中，该经过训练的神经网络模型包括M级依次级联的神经网络结构(如图5所示)，M为大于1的正整数。在病灶检测的神经网络训练过程中，正样本是指医学影像中医生标注的病灶信息，负样本则是影像中不是病灶的其他信息。在训练步骤402中的神经网络模型时，经过第一级神经网络模型之后，存在被检测为病灶的非病灶信息，即假阳性样本，该假阳性样本会作为负样本的一部分输入到第二级神经网络模型中继续参与第二级神经网络模型的深度学习过程。依次类推，从第二级至第M级神经网络结构的负样本都包括上一级神经网络结构的假阳性样本。
病灶信息可以是病灶的位置信息、病灶的尺寸大小、病灶图像的特征信息等中的一个或多个。
病灶检测的最终结果可以是被判断为病灶的图像数据、病灶的位置信息、病灶的尺寸大小等。
在另一实施例中，步骤402中所采用的神经网络结构是一种多尺度病灶检测的神经网络结构，包括N级依次连接的神经网络结构块，其中第1级至第N-1级神经网络结构块对图像数据进行降采样之后输入到下一级神经网络结构块中，N为大于1的正整数。该神经网络结构还配置为，对第2级至第N级神经网络结构块中的至少一个的图像数据进行升采样，将升采样的图像数据与上一级神经网络结构块的图像数据进行融合，根据融合的结果对病灶进行检测。
可以理解的是，该级联的神经网络结构和多尺度病灶检测的神经网络结构可以单独使用，也可以结合起来使用。例如，级联的神经网络结构中，每一级的神经网络结构中都包括一多尺度病灶检测的神经网络结构。
本发明的技术方案还包括一种计算机可读存储介质，其上存储有计算机指令，当该计算机指令被处理器执行时，执行上述的病灶检测方法。
图5是本发明一实施例的级联神经网络模型的结构示意图。参考图5所示，该级联神经网络模型包括M级神经网络结构。整个级联神经网络模型的输入为待检测的医学图像，该医学图像可能包含有病灶，输出为该医学图像中真实病灶的信息。在该级联神经网络模型中，每一级神经网络结构负责将其输入部分的疑似病灶与真实的病灶进行区分，每一级的结果中包含的假阳性样本作为疑似病灶的一部分输入到下一级的神经网络结构中，通过多级神经网络结构的串联，实现非病灶与病灶的完全区分。
具体地，应用该级联神经网络模型进行医学图像中的病灶检测过程如下：
第一级神经网络结构501首先会在待检测的医学图像中搜寻病灶的信息，并把疑似病灶信息传递给下一层的级联网络，即第二级神经网络结构502。当收到疑似病灶信息后，第二级神经网络结构502会根据图像特征对这些疑似病灶信息做出第二次判断，如果仍然认为这个确实是病灶，就会把这些疑似病灶的信息继续传递给第三级神经网络结构503，如果根据图像特征判断该疑似病灶为非病灶，则不传递该非病灶信息。以此类推，直到最后一级的第M级神经网络结构504。如果经过第M级神经网络结构504进行判断之后仍然存在疑似病灶信息，则这些信息被认为是最终输出的病灶信息；反之，则表明该待检测的医学图像中不存在病灶。
从上面所述的病灶检出的过程可以看出，该级联网络中每一级神经网络结构都可以独立地做出自己的判断。在本实施例中，每一级神经网络结构都是相同的。在其他实施例中，各级神经网络结构也可以是不同的，每一级神经网络结构可以是任意的网络结构，如CNN等，并不局限于某一特定的网络结构。对于相同结构的每一级神经网络结构来说，其侧重点可以是不同的。
本实施例所采用的级联神经网络模型，将模型中每一级神经网络结构的判断手段综合起来，可以有效地过滤掉大量非病灶的疑似信息，解决当前CAD系统假阳性过多的问题。此类方法在机器学习中被称为集成学习，即将多个检测网络/分类网络进行联合，在性能上相对比使用单个检测网络/分类网络而言，可以得到很大程度的提高。
该级联神经网络模型的训练过程如下：
通常所获得的医学图像(如CT，MR)中病灶的信息(正样本)是非常少的，比如低剂量胸部CT中可能只有1-2个肺结节病灶。由此导致在利用医学图像对神经网络进行训练的过程中正负样本极不平衡(正负样本比例1:106)，给深度学习带来了很大的困难。针对现实中存在的正负样本不均衡的问题，本实施例在训练每一级神经网络结构时，是在负样本中随机选取与正样本数量等比例的负样本，以保证训练过程中正负样本数量的均衡。
当一级神经网络结构训练完成后，使用当前训练好的神经网络结构在所有带有病灶标注的训练图像上进行病灶检测，再调整病灶检出所采用的阈值，以确保所有在训练图像上的病灶都能被正确检出。在所有的病灶都被检出的情况下，一些不是病灶的假阳性病灶信息也被作为病灶被检测出来。通过和训练图像上的病灶信息进行比较，可以得到这些假阳性病灶的信息，将这些假阳性病灶的信息作为下一级神经网络结构训练用的负样本，并结合所有正样本来训练新一级神经网络结构。
这个训练过程持续进行，直到从训练图像中得到的假阳性率低于预先设置的一第一阈值，或者该级联神经网络模型的级数M达到了预先设置的一第二阈值。优选地，M的值为3-5之间的整数。
通过上述的训练过程可以理解，级联网络的思想是将一个复杂的不均衡分类问题拆分成一系列均衡的分类问题。通过串行训练一系列用于病灶检测的神经网络，级联中的每一级网络可以有效地区分级联中的上一级网络所无法区分的假阳性病灶。理想的情况下，通过不断地累加网络结构，整个级联网络可以最终将假阳性与真实病灶完全区分开来。
图6是本发明一实施例的级联神经网络模型的示例性过程的示意图。参考图6所示，待检测的医学图像为一具有肺结节的胸部CT图像611，该级联神经网络模型具有三级结构，即M＝3。每一级神经网络结构都是已经被训练好的检测网络。所要检测的病灶即为包含肺结节的部位。图6中，实线边框表示病灶，虚线边框表示非病灶。
第一级检测网络601在该胸部CT图像611中搜寻病灶的信息，从中检测出了第一级非病灶621和第一级疑似病灶612。在图6中，胸部CT图像611经过第一级检测网络601之后被分割成了若干图块，若干图块可以是疑似病灶的坐标值。可以理解，胸部CT图像611经过第一级检测网络601之后也可以被分割成概率图，概率图中每一个像素的值表示该位置出现疑似病灶的概率。经过第一级检测网络得到的第一级疑似病灶612中共有3*3个图块信息，其中既包括真实的病灶信息(第一行的三个图块)，也包括假阳性病灶信息(第二行和第三行共六个图块)。
第一级疑似病灶612经过第二级检测网络602之后，第一级疑似病灶612中的一部分假阳性病灶信息(第三行的三个图块)被判断为第二级非病灶622，第一级疑似病灶612中剩余的部分作为第二级疑似病灶613。第二级疑似病灶613中共有2*2个图块信息，其中包括真实的病灶信息(第一行的三个图块)和假阳性病灶信息(第二行的三个图块)。
第二级疑似病灶613经过第三级检测网络603之后，第二级疑似病灶613中的一部分假阳性病灶信息(第二行的三个图块)被判断为第三级非病灶623，第二级疑似病灶612中剩余的部分就是最终确定的病灶部分。
图7是现有技术中单一尺度病灶检测的神经网络结构的示意图。单一尺度病灶检测的神经网络一般是由用于图像分类的网络延伸而来，如VGG,AlexNet,ResNet等。参考图7所示，单一尺度病灶检测的神经网络包括N级依次连接的神经网络结构块，N为大于1的正整数。图7中示例性的示出了N＝4的四层结构。医学图像信息通过第一神经网络结构块701之后的结果被降采样再作为第二神经网络结构块702的输入，依次类推。这类检测网络通过降采样以及卷积操作将输入的图像映射到粗尺度特征空间，最后在粗尺度特征空间进行病灶的检测。其优点在于在降采样以及卷积的过程中，神经网络提取了大范围的上下文图像信息，这些全局信息结合局部的影像特征可以更好地检测病灶。然而，在降采样的过程中，势必会损失图像空间的尺度信息，造成在粗尺度特征空间上无法检测小型的病灶，从而造成漏检。
图8是本发明一实施例的多尺度病灶检测的神经网络结构的示意图。本发明为了解决单一尺度病灶检测的神经网络结构无法检测小型病灶的问题，借鉴了U-Net的网络结构，提出了一种多尺度的病灶检测网络。参考图8所示，该多尺度病灶检测的神经网络结构包括N级依次连接的神经网络结构块，N为大于1的正整数。图8中示例性的示出了N＝4的四层结构。其中，第1级至第N-1级神经网络结构块对图像数据进行降采样之后输入到下一级神经网络结构块中。优选地，N的值为2-5之间的整数。
该多尺度病灶检测的神经网络结构在单一尺度病灶检测的神经网络结构的基础上，增加了升采样处理。不仅如此，该多尺度病灶检测的神经网络结构还增加了融合处理，将细尺度的特征与粗尺度的特征融合起来，用来更好地增强特征空间的精确性，提升对小型病灶的检测敏感性。
具体地，当医学图像信息经过第四神经网络结构块804的处理之后得到具有较粗尺度病灶信息的第一检测结果811。进一步地，对该较粗尺度的特征信息进行升采样处理，并与第三神经网络结构块803输出的较细尺度的特征信息一起经过第一融合模块805的融合处理，得到较细尺度病灶信息的第二检测结果812。再进一步地，对该第二检测结果812经过升采样处理之后，与第二神经网络结构块802输出的较细尺度的特征信息一起经过第二融合模块806的融合处理，得到更细尺度病灶信息的第三检测结果813。
在该多尺度病灶检测的神经网络结构中可以根据用户的需要增加或减少融合模块的个数，以及设计融合模块的位置，以满足不同的图像检测的需求。在该多尺度病灶检测的神经网络结构中包括至少一个融合模块。
该多尺度病灶检测的神经网络结构中升采样处理的个数可以根据用户的需要来确定，至少是一个。例如，如果目标病灶比较大，则升采样个数不需要太多，如果目标病灶比较小，则需要升采样到比较细的尺度进行病灶检测。
不同于图7所示的单一尺度病灶检测的神经网络结构，多尺度病灶检测的神经网络结构在图像特征的不同尺度都会输出检测结果。粗尺度的图像特征用来检测大型的病灶，细尺度的图像特征用来检测小型的病灶。通过对不同大小的病灶进行分层检测，多尺度的检测网络可以在不影响检测敏感性的同时，检测不同大小的病灶，解决当前单一尺度病灶检测网络所存在的问题，提高了病灶检测的普适性。
可选地，该多尺度病灶检测的神经网络结构在每个尺度的输出可以开关。如果病灶的大小集中在几个尺度，则只需要在这几个尺度检测病灶，并不需要在所有尺度输出病灶位置。
另外，该多尺度病灶检测的神经网络结构中在每个尺度的网络结构可以相同，也可以不同。每一个网络结构可以是任意的网络结构，如卷积的串联，残差网络，全连接网络等。
图9是根据本发明一些实施例描述的示例性的神经网络模型的示意图。
CNN模型可以包括输入层920、多个隐藏层940和输出层960。多个隐藏层940可以包括一个或多个卷积层、一个或多个修正线性单元层(ReLU层)、一个或多个池化层、一个或多个完全连接层、或类似物，或其组合。
为了说明的目的，示出了CNN模型的多个示例性隐藏层940，其包括卷积层940-1、池化层940-2和完全连接层940-N。如结合图4的步骤所述，神经网络训练单元340可以获取图像信息作为CNN模型的输入。图像信息可以表示为包括多个元素(例如像素或体素)的二维(2D)或三维(3D)矩阵。矩阵中的多个元素中的每一个可以具有表示元素的特征的值。
卷积层940-1可以包括多个内核(例如A，B，C和D)。可以使用该多个内核来提取图像信息的特征。在一些实施例中，多个内核中的每一个可以对图像信息的一部分(例如区域)进行滤波，以产生对应于图像信息的该部分的特定特征。该特征可以包括基于内核计算的低级别特征(例如边缘特征、纹理特征)，高级别特征或复杂特征。
池化层940-2可以将卷积层940-1的输出作为输入。池化层940-2可以包括多个池化节点(例如E，F，G和H)。可以使用该多个池化节点对卷积层940-1的输出进行采样，并且因此可以减少计算机100的数据处理的计算负担并且增加数据处理速度。在一些实施例中，神经网络训练单元340可以减小对应于池化层940-2中的图像信息的矩阵的规模。
完全连接层940-N可以包括多个神经元(例如O，P，M和N)。该多个神经元可以连接到来自诸如池化层的先前层的多个节点。在完全连接的层940-N中，神经网络训练单元340可以基于图像信息的特征来确定与多个神经元相对应的多个向量，并且用多个加权系数进一步加权该多个向量。
在输出层960中，神经网络训练单元340可以基于完全连接层940获得的多个向量和权重系数确定输出，例如第二图像信息。
在一些实施例中，神经网络训练单元340可以访问计算机100中的多个处理单元，例如GPU。多个处理单元可以执行CNN模型的某些层中的并行处理。可以以这样的方式执行并行处理，即可以将CNN模型的层中的不同节点的计算分配给两个或更多个处理单元。例如，一个GPU可以运行与内核A和B相对应的计算，另一个(或多个)GPU可以运行卷积层940-1中与内核C和D相对应的计算。类似地，对应于CNN模型中其他类型层中的不同节点的计算可以由多个GPU并行执行。
图10是本发明一实施例的病灶图像检测装置。参考图10所示，该病灶图像检测装置包括图像获取模块1001和检测模块1002。该图像获取模块1001用于获取待检测的医学图像。该检测模块1002用于根据经训练的神经网络模型对图像获取模块1001所获取的医学图像进行病灶检测。
该医学图像的获取可以通过对病人的扫描获取的。该获取作为扫描过程中的一个步骤。该获取也可以是来自于存储器，如从PACS系统中已经存在的数据集中提取需要的医学图像数据。图像获取模块1001与检测模块1002之间相互连接。图像获取模块1001将其获取的医学图像发送到检测模块1002。
该检测模块1002根据上文所述的病灶图像检测方法，对医学图像中的病灶进行检测。
本发明该实施例中的病灶图像检测装置，使用的神经网络模型包括M级依次级联的神经网络结构，在训练时，输入到第二级至第M级神经网络结构的负样本包括上一级神经网络结构的假阳性样本，在级联的不同阶段使用不同的检测网络过滤掉非病灶的区域，可以有效地降低病灶检测的假阳性率；神经网络结构将高分辨率和低分辨率的医学图像进行融合，实现了病灶的多尺度检测，提高了病灶检测的普适性。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本发明的限定。虽然此处并没有明确说明，本领域技术人员可能会对本发明进行各种修改、改进和修正。该类修改、改进和修正在本发明中被建议，所以该类修改、改进、修正仍属于本发明示范实施例的精神和范围。
同时，本发明使用了特定词语来描述本发明的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本发明至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本发明的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本发明的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本发明的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本发明的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
本发明各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本发明所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本发明流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本发明实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本发明披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本发明实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本发明对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本发明一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本发明的权利要求书的范围内。

Claims (10)

1.一种病灶图像检测装置，所述病灶图像检测装置包括：
图像获取模块，获取待检测的医学图像；
检测模块，根据经训练的神经网络模型对所述医学图像进行病灶检测；
其中，所述神经网络模型包括M级依次级联的神经网络结构，在训练时，输入到第二级至第M级神经网络结构的负样本包括上一级神经网络结构的假阳性样本，M为大于1的正整数。
2.根据权利要求1所述的病灶图像检测装置，其特征在于，第一级神经网络结构至第M-1级神经网络结构配置为将检测到的疑似病灶传递给下一级神经网络结构。
3.根据权利要求1所述的病灶图像检测装置，其特征在于，输入到每一级神经网络结构的负样本和正样本的数量是均衡的。
4.根据权利要求1所述的病灶图像检测装置，其特征在于，在训练时，所述神经网络模型中M的值满足下述条件之一：
使得所述神经网络模型的检测假阳性率低于第一阈值；
M的值达到第二阈值。
5.根据权利要求1或4所述的病灶图像检测装置，其特征在于，所述神经网络结构包括N个依次连接的神经网络结构块，其中第1个至第N-1个神经网络结构块对图像特征数据进行降采样之后输入下一级神经网络结构块中，N为大于1的正整数。
6.根据权利要求5所述的病灶图像检测装置，其特征在于，所述神经网络结构还配置为：对第2个至第N个神经网络结构块中的至少一个的图像特征数据进行升采样，将升采样的图像特征数据与上一个神经网络结构块的图像特征数据进行融合，根据融合的结果对病灶进行检测。
7.根据权利要求5所述的病灶图像检测装置，其特征在于，所述M的值和/或N的值为2-5。
8.一种病灶图像检测方法，所述病灶图像检测方法包括：
获取待检测的医学图像；
根据经训练的神经网络模型对所述医学图像进行病灶检测；
其中，所述神经网络模型包括M级依次级联的神经网络结构，在训练时，输入到第二级至第M级神经网络结构的负样本包括上一级神经网络结构的假阳性样本，M为大于1的正整数。
9.根据权利要求8所述的病灶图像检测方法，其特征在于，所述神经网络结构包括N个依次连接的神经网络结构块，其中第1个至第N-1个神经网络结构块对图像特征数据进行降采样之后输入下一个神经网络结构块中，N为大于1的正整数。
10.一种计算机可读存储介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行如权利要求8-9任一项所述的方法。
CN201811417230.2A 2018-11-26 2018-11-26 一种病灶图像检测装置、方法和计算机可读存储介质 Active CN109544534B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811417230.2A CN109544534B (zh) 2018-11-26 2018-11-26 一种病灶图像检测装置、方法和计算机可读存储介质
US16/600,960 US11188773B2 (en) 2018-11-26 2019-10-14 Systems and methods for detecting region of interset in image
US17/455,923 US11694086B2 (en) 2018-11-26 2021-11-22 Systems and methods for detecting region of interset in image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811417230.2A CN109544534B (zh) 2018-11-26 2018-11-26 一种病灶图像检测装置、方法和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109544534A true CN109544534A (zh) 2019-03-29
CN109544534B CN109544534B (zh) 2020-10-16

Family

ID=65849762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811417230.2A Active CN109544534B (zh) 2018-11-26 2018-11-26 一种病灶图像检测装置、方法和计算机可读存储介质

Country Status (2)

Country Link
US (2) US11188773B2 (zh)
CN (1) CN109544534B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070129A (zh) * 2019-04-23 2019-07-30 上海联影智能医疗科技有限公司 一种图像检测方法、装置及存储介质
CN110095742A (zh) * 2019-05-13 2019-08-06 上海东软医疗科技有限公司 一种基于神经网络的平面回波成像方法和装置
CN110111313A (zh) * 2019-04-22 2019-08-09 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
CN110276755A (zh) * 2019-06-25 2019-09-24 广东工业大学 一种肿瘤位置定位系统及相关装置
CN110335248A (zh) * 2019-05-31 2019-10-15 上海联影智能医疗科技有限公司 医学图像病灶检测方法、装置、计算机设备和存储介质
CN110647947A (zh) * 2019-09-30 2020-01-03 杭州依图医疗技术有限公司 一种病灶融合的方法及装置
CN110853021A (zh) * 2019-11-13 2020-02-28 江苏迪赛特医疗科技有限公司 一种病理鳞状上皮细胞的检测分类模型的构建
CN110992373A (zh) * 2019-11-25 2020-04-10 杭州电子科技大学 一种基于深度学习的胸腔器官分割方法
CN111242926A (zh) * 2020-01-13 2020-06-05 北京妙医佳健康科技集团有限公司 病灶检测方法、装置及电子设备
CN111242897A (zh) * 2019-12-31 2020-06-05 北京深睿博联科技有限责任公司 胸部x射线影像分析方法和装置
CN111369530A (zh) * 2020-03-04 2020-07-03 浙江明峰智能医疗科技有限公司 一种基于深度学习的ct图像肺结节快速筛查方法
CN111402218A (zh) * 2020-03-11 2020-07-10 北京深睿博联科技有限责任公司 脑出血检测方法和装置
CN111507964A (zh) * 2020-04-17 2020-08-07 中山仰视科技有限公司 新冠肺炎的集成学习定级方法、电子设备及存储介质
CN111915556A (zh) * 2020-06-22 2020-11-10 杭州深睿博联科技有限公司 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质
CN112396560A (zh) * 2019-08-16 2021-02-23 通用电气精准医疗有限责任公司 用于使用深度神经网络对医疗图像进行去模糊的系统和方法
CN112562847A (zh) * 2019-09-26 2021-03-26 北京赛迈特锐医疗科技有限公司 在mpMRI图像上自动检出前列腺癌转移的系统及方法
WO2021081839A1 (zh) * 2019-10-30 2021-05-06 未艾医疗技术(深圳)有限公司 基于vrds 4d的病情分析方法及相关产品
CN112785562A (zh) * 2021-01-13 2021-05-11 北京智拓视界科技有限责任公司 一种基于神经网络模型进行评估的系统和相关产品
CN112884706A (zh) * 2021-01-13 2021-06-01 北京智拓视界科技有限责任公司 一种基于神经网络模型的图像评估系统和相关产品
CN113421263A (zh) * 2021-08-24 2021-09-21 深圳市信润富联数字科技有限公司 零件缺陷检测方法、设备、介质及计算机程序产品
CN113438482A (zh) * 2020-03-23 2021-09-24 阿里巴巴集团控股有限公司 基于感兴趣区域的视频编码
WO2021259393A3 (zh) * 2021-01-08 2022-02-17 北京安德医智科技有限公司 图像处理方法及装置、电子设备
CN114170221A (zh) * 2021-12-23 2022-03-11 深圳市铱硙医疗科技有限公司 一种基于图像确认脑部疾病方法与系统
WO2022089473A1 (en) * 2020-10-30 2022-05-05 International Business Machines Corporation Multiple operating point false positive removal for lesion identification
US11436724B2 (en) 2020-10-30 2022-09-06 International Business Machines Corporation Lesion detection artificial intelligence pipeline computing system
US11587236B2 (en) 2020-10-30 2023-02-21 International Business Machines Corporation Refining lesion contours with combined active contour and inpainting
CN116258717A (zh) * 2023-05-15 2023-06-13 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质
US11688063B2 (en) 2020-10-30 2023-06-27 Guerbet Ensemble machine learning model architecture for lesion detection
US11694329B2 (en) 2020-10-30 2023-07-04 International Business Machines Corporation Logistic model to determine 3D z-wise lesion connectivity
US11749401B2 (en) 2020-10-30 2023-09-05 Guerbet Seed relabeling for seed-based segmentation of a medical image
CN111915556B (zh) * 2020-06-22 2024-05-14 杭州深睿博联科技有限公司 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903280B (zh) * 2019-02-27 2020-09-29 上海联影智能医疗科技有限公司 肿瘤确定系统、方法及存储介质
US20210334955A1 (en) * 2020-04-24 2021-10-28 Nvidia Corporation Image annotation using one or more neural networks
US11488020B2 (en) * 2020-06-02 2022-11-01 Sap Se Adaptive high-resolution digital image processing with neural networks
US11804042B1 (en) * 2020-09-04 2023-10-31 Scale AI, Inc. Prelabeling of bounding boxes in video frames
US11883687B2 (en) 2020-09-08 2024-01-30 Shanghai United Imaging Healthcare Co., Ltd. X-ray imaging system for radiation therapy
CN112132093B (zh) * 2020-09-30 2024-01-05 湖南省气象科学研究所 高分辨率遥感图像目标检测方法、装置和计算机设备
US20220108204A1 (en) * 2020-10-01 2022-04-07 Google Llc Scale-Permuted Machine Learning Architecture
CN112418290B (zh) * 2020-11-17 2024-03-26 中南大学 实时oct图像的roi区域预测方法及显示方法
KR102270834B1 (ko) * 2020-12-24 2021-06-30 한국해양과학기술원 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템
CN112906621A (zh) * 2021-03-10 2021-06-04 北京华捷艾米科技有限公司 一种手部检测方法、装置、存储介质和设备
CN112700445B (zh) * 2021-03-23 2021-06-29 上海市东方医院（同济大学附属东方医院） 图像处理方法、装置及系统
CN113240708B (zh) * 2021-04-22 2022-03-25 中国人民解放军32802部队 一种用于跟踪无人机的双边流语义一致性方法
CN113657482A (zh) * 2021-08-14 2021-11-16 北京百度网讯科技有限公司 模型训练方法、目标检测方法、装置、设备以及存储介质
WO2023060181A1 (en) * 2021-10-06 2023-04-13 Qualcomm Incorporated Beamforming multipath wireless channels using neural networks
CN114399719B (zh) * 2022-03-25 2022-06-17 合肥中科融道智能科技有限公司 一种变电站火灾视频监测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150347822A1 (en) * 2014-05-29 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Facial Landmark Localization Using Coarse-to-Fine Cascaded Neural Networks
CN105232081A (zh) * 2014-07-09 2016-01-13 无锡祥生医学影像有限责任公司 医学超声辅助自动诊断装置及方法
CN106022300A (zh) * 2016-06-02 2016-10-12 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US20180060723A1 (en) * 2016-08-23 2018-03-01 International Business Machines Corporation Cascaded neural networks
CN108230323A (zh) * 2018-01-30 2018-06-29 浙江大学 一种基于卷积神经网络的肺结节假阳性筛选方法
CN108615237A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种肺部图像处理方法及图像处理设备
CN108830826A (zh) * 2018-04-28 2018-11-16 四川大学 一种检测肺结节的系统及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9668699B2 (en) 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9717417B2 (en) * 2014-10-29 2017-08-01 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US11094058B2 (en) * 2015-08-14 2021-08-17 Elucid Bioimaging Inc. Systems and method for computer-aided phenotyping (CAP) using radiologic images
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US10296794B2 (en) * 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
US11364013B2 (en) * 2017-01-05 2022-06-21 Koninklijke Philips N.V. Ultrasound imaging system with a neural network for image formation and tissue characterization
CN107016665B (zh) 2017-02-16 2021-05-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
US20220240783A1 (en) * 2017-03-02 2022-08-04 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
EP3392832A1 (en) * 2017-04-21 2018-10-24 General Electric Company Automated organ risk segmentation machine learning methods and systems
US10713783B2 (en) * 2017-06-01 2020-07-14 International Business Machines Corporation Neural network classification
EP3432263B1 (en) 2017-07-17 2020-09-16 Siemens Healthcare GmbH Semantic segmentation for cancer detection in digital breast tomosynthesis
CN112292691A (zh) * 2018-06-18 2021-01-29 谷歌有限责任公司 用于使用深度学习提高癌症检测的方法与系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150347822A1 (en) * 2014-05-29 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Facial Landmark Localization Using Coarse-to-Fine Cascaded Neural Networks
CN105232081A (zh) * 2014-07-09 2016-01-13 无锡祥生医学影像有限责任公司 医学超声辅助自动诊断装置及方法
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
CN106022300A (zh) * 2016-06-02 2016-10-12 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统
US20180060723A1 (en) * 2016-08-23 2018-03-01 International Business Machines Corporation Cascaded neural networks
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
CN108230323A (zh) * 2018-01-30 2018-06-29 浙江大学 一种基于卷积神经网络的肺结节假阳性筛选方法
CN108830826A (zh) * 2018-04-28 2018-11-16 四川大学 一种检测肺结节的系统及方法
CN108615237A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种肺部图像处理方法及图像处理设备

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215984A1 (zh) * 2019-04-22 2020-10-29 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
US11861829B2 (en) 2019-04-22 2024-01-02 Tencent Technology (Shenzhen) Company Limited Deep learning based medical image detection method and related device
CN110111313A (zh) * 2019-04-22 2019-08-09 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
CN110111313B (zh) * 2019-04-22 2022-12-30 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
CN110070129B (zh) * 2019-04-23 2021-07-16 上海联影智能医疗科技有限公司 一种图像检测方法、装置及存储介质
CN110070129A (zh) * 2019-04-23 2019-07-30 上海联影智能医疗科技有限公司 一种图像检测方法、装置及存储介质
CN110095742A (zh) * 2019-05-13 2019-08-06 上海东软医疗科技有限公司 一种基于神经网络的平面回波成像方法和装置
CN110095742B (zh) * 2019-05-13 2022-02-08 上海东软医疗科技有限公司 一种基于神经网络的平面回波成像方法和装置
CN110335248B (zh) * 2019-05-31 2021-08-17 上海联影智能医疗科技有限公司 医学图像病灶检测方法、装置、计算机设备和存储介质
CN110335248A (zh) * 2019-05-31 2019-10-15 上海联影智能医疗科技有限公司 医学图像病灶检测方法、装置、计算机设备和存储介质
CN110276755B (zh) * 2019-06-25 2021-07-06 广东工业大学 一种肿瘤位置定位系统及相关装置
CN110276755A (zh) * 2019-06-25 2019-09-24 广东工业大学 一种肿瘤位置定位系统及相关装置
CN112396560A (zh) * 2019-08-16 2021-02-23 通用电气精准医疗有限责任公司 用于使用深度神经网络对医疗图像进行去模糊的系统和方法
CN112562847B (zh) * 2019-09-26 2024-04-26 北京赛迈特锐医疗科技有限公司 在mpMRI图像上自动检出前列腺癌转移的系统及方法
CN112562847A (zh) * 2019-09-26 2021-03-26 北京赛迈特锐医疗科技有限公司 在mpMRI图像上自动检出前列腺癌转移的系统及方法
CN110647947B (zh) * 2019-09-30 2022-04-15 杭州依图医疗技术有限公司 一种病灶融合的方法及装置
CN110647947A (zh) * 2019-09-30 2020-01-03 杭州依图医疗技术有限公司 一种病灶融合的方法及装置
WO2021081839A1 (zh) * 2019-10-30 2021-05-06 未艾医疗技术(深圳)有限公司 基于vrds 4d的病情分析方法及相关产品
CN110853021A (zh) * 2019-11-13 2020-02-28 江苏迪赛特医疗科技有限公司 一种病理鳞状上皮细胞的检测分类模型的构建
CN110992373A (zh) * 2019-11-25 2020-04-10 杭州电子科技大学 一种基于深度学习的胸腔器官分割方法
CN110992373B (zh) * 2019-11-25 2022-04-01 杭州电子科技大学 一种基于深度学习的胸腔器官分割方法
CN111242897A (zh) * 2019-12-31 2020-06-05 北京深睿博联科技有限责任公司 胸部x射线影像分析方法和装置
CN111242926A (zh) * 2020-01-13 2020-06-05 北京妙医佳健康科技集团有限公司 病灶检测方法、装置及电子设备
CN111369530B (zh) * 2020-03-04 2021-04-02 浙江明峰智能医疗科技有限公司 一种基于深度学习的ct图像肺结节快速筛查方法
CN111369530A (zh) * 2020-03-04 2020-07-03 浙江明峰智能医疗科技有限公司 一种基于深度学习的ct图像肺结节快速筛查方法
CN111402218A (zh) * 2020-03-11 2020-07-10 北京深睿博联科技有限责任公司 脑出血检测方法和装置
CN113438482B (zh) * 2020-03-23 2024-04-19 阿里巴巴集团控股有限公司 基于感兴趣区域的视频编码
CN113438482A (zh) * 2020-03-23 2021-09-24 阿里巴巴集团控股有限公司 基于感兴趣区域的视频编码
CN111507964A (zh) * 2020-04-17 2020-08-07 中山仰视科技有限公司 新冠肺炎的集成学习定级方法、电子设备及存储介质
CN111507964B (zh) * 2020-04-17 2021-03-19 中山仰视科技有限公司 新冠肺炎的集成学习定级方法、电子设备及存储介质
CN111915556B (zh) * 2020-06-22 2024-05-14 杭州深睿博联科技有限公司 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质
CN111915556A (zh) * 2020-06-22 2020-11-10 杭州深睿博联科技有限公司 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质
US11694329B2 (en) 2020-10-30 2023-07-04 International Business Machines Corporation Logistic model to determine 3D z-wise lesion connectivity
US11688065B2 (en) 2020-10-30 2023-06-27 Guerbet Lesion detection artificial intelligence pipeline computing system
US11436724B2 (en) 2020-10-30 2022-09-06 International Business Machines Corporation Lesion detection artificial intelligence pipeline computing system
US11749401B2 (en) 2020-10-30 2023-09-05 Guerbet Seed relabeling for seed-based segmentation of a medical image
US11587236B2 (en) 2020-10-30 2023-02-21 International Business Machines Corporation Refining lesion contours with combined active contour and inpainting
US11688517B2 (en) 2020-10-30 2023-06-27 Guerbet Multiple operating point false positive removal for lesion identification
US11688063B2 (en) 2020-10-30 2023-06-27 Guerbet Ensemble machine learning model architecture for lesion detection
WO2022089473A1 (en) * 2020-10-30 2022-05-05 International Business Machines Corporation Multiple operating point false positive removal for lesion identification
WO2021259393A3 (zh) * 2021-01-08 2022-02-17 北京安德医智科技有限公司 图像处理方法及装置、电子设备
CN112884706A (zh) * 2021-01-13 2021-06-01 北京智拓视界科技有限责任公司 一种基于神经网络模型的图像评估系统和相关产品
CN112785562A (zh) * 2021-01-13 2021-05-11 北京智拓视界科技有限责任公司 一种基于神经网络模型进行评估的系统和相关产品
CN113421263A (zh) * 2021-08-24 2021-09-21 深圳市信润富联数字科技有限公司 零件缺陷检测方法、设备、介质及计算机程序产品
CN113421263B (zh) * 2021-08-24 2021-11-30 深圳市信润富联数字科技有限公司 零件缺陷检测方法、设备、介质及计算机程序产品
CN114170221A (zh) * 2021-12-23 2022-03-11 深圳市铱硙医疗科技有限公司 一种基于图像确认脑部疾病方法与系统
CN116258717A (zh) * 2023-05-15 2023-06-13 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质
CN116258717B (zh) * 2023-05-15 2023-09-08 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US20200167586A1 (en) 2020-05-28
US11694086B2 (en) 2023-07-04
CN109544534B (zh) 2020-10-16
US11188773B2 (en) 2021-11-30
US20220083804A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
CN109544534A (zh) 一种病灶图像检测装置、方法和计算机可读存储介质
Su et al. Lung nodule detection based on faster R-CNN framework
Ueda et al. Technical and clinical overview of deep learning in radiology
CN110930367B (zh) 多模态超声影像分类方法以及乳腺癌诊断装置
Guan et al. Thigh fracture detection using deep learning method based on new dilated convolutional feature pyramid network
CN109583440A (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN109753866A (zh) 机器学习中具有密集特征金字塔网络架构的医学图像对象检测
CN110148142A (zh) 图像分割模型的训练方法、装置、设备和存储介质
Liu et al. Automatic detection of pulmonary nodules on CT images with YOLOv3: development and evaluation using simulated and patient data
CN109754394A (zh) 三维医学图像处理装置及方法
US11893729B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
Gao et al. Bone age assessment based on deep convolution neural network incorporated with segmentation
US10956635B1 (en) Radiologist-assisted machine learning with interactive, volume subtending 3D cursor
Kamiya Deep learning technique for musculoskeletal analysis
US20080260217A1 (en) System and method for designating a boundary of a vessel in an image
Dong et al. Identifying carotid plaque composition in MRI with convolutional neural networks
Davamani et al. Biomedical image segmentation by deep learning methods
Jerbi et al. Automatic classification of ultrasound thyroids images using vision transformers and generative adversarial networks
Yang et al. Dual-path network for liver and tumor segmentation in CT images using Swin Transformer encoding approach
Xiao et al. PET and CT image fusion of lung cancer with siamese pyramid fusion network
WO2008024359A2 (en) Method for detection and visional enhancement of blood vessels and pulmonary emboli
Carmo et al. Open-source tool for airway segmentation in computed tomography using 2.5 d modified efficientdet: Contribution to the atm22 challenge
EP3965117A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
Liu et al. Multislice left ventricular ejection fraction prediction from cardiac MRIs without segmentation using shared SptDenNet
Li et al. Design of an incremental music Teaching and assisted therapy system based on artificial intelligence attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant