CN108022238A - 对3d图像中对象进行检测的方法、计算机存储介质和系统 - Google Patents

对3d图像中对象进行检测的方法、计算机存储介质和系统 Download PDF

Info

Publication number
CN108022238A
CN108022238A CN201711249474.XA CN201711249474A CN108022238A CN 108022238 A CN108022238 A CN 108022238A CN 201711249474 A CN201711249474 A CN 201711249474A CN 108022238 A CN108022238 A CN 108022238A
Authority
CN
China
Prior art keywords
rendering
detected
feature mapping
size
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711249474.XA
Other languages
English (en)
Other versions
CN108022238B (zh
Inventor
宋麒
孙善辉
陈翰博
白军杰
高峰
尹游兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ke Ya Medical Technology Co Ltd
Original Assignee
Shenzhen Ke Ya Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ke Ya Medical Technology Co Ltd filed Critical Shenzhen Ke Ya Medical Technology Co Ltd
Publication of CN108022238A publication Critical patent/CN108022238A/zh
Application granted granted Critical
Publication of CN108022238B publication Critical patent/CN108022238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供一种对3D图像中对象进行检测的方法、计算机存储介质和系统。所述方法包括以下步骤：利用处理器，使用3D学习网络基于3D图像得到一组特征映射，每个特征映射针对相应的对象尺寸，特征映射的栅格表示所述3D图像中与该栅格对应的区域内包含相应尺寸的对象的概率相关参数；利用处理器，基于对应于同个区域的栅格，来确定该区域中包含的对象的尺寸；以及利用处理器，将所确定的对象的位置从特征映射的第一坐标系转换到3D图像的第二坐标系中，以得到所述第二坐标系中各个尺寸的对象的定位。本发明能够充分考虑3D空间信息，有助于改善医生的效率、减少对象的漏检率和由于混淆不同类型的对象所导致的错检率，且能够加快检测速度。

Description

对3D图像中对象进行检测的方法、计算机存储介质和系统
技术领域
本发明涉及图像处理领域，具体涉及一种对3D图像中的对象进行检测的方法、计算机存储介质和系统。
背景技术
诸如容积CT扫描的成像手段会得到数量可观的2D图像，在日常肺部放射科工作中，放射科医师通常对所得到的数百幅2D图像进行筛选，以识别出对象(例如病灶、器官、组织、血管等)。为了将不同对象区分开，通常医师需要来回观察相邻的2D图像，来近乎在头脑中重建3D空间关系，或者观察矢状或冠状视图(较低分辨率)以作参考。目前使用计算机辅助方法来试图改善放射科医师的效率并减少其工作量，并引入了学习网络比如卷积神经网络来进行图像的分割，这些学习神经网络通常是2D网络。
发明内容
本发明人发现，放射科医师的筛选工作因为缺乏3D空间信息，受医师的专业水平和人为判断影响较大，筛选质量不稳定；并且来回观察相邻的2D图像、在头脑中重建3D空间关系的操作，是沉闷乏味、耗时长且容易出错的。对于空间想象能力较差的医师，操作难度更大，更易出错。在2D图像中，不同的对象可能呈现出类似的形状，以肺部CT扫描的2D图像为例，血管的截面是圆形或椭圆形的，肺结节是肺中的高密度肿块，两者在2D图像中看起来相似，极大地增加了错检率，也增加了医师的工作难度和强度。
本发明人还发现，例如2D卷积神经网络的2D网络的构建和训练没有考虑到3D空间信息，因此不能受益于3D空间信息对不同类型的对象进行准确区分。很多情况下，为了准确区分对象，3D空间信息是非常重要的。
但是很多技术问题阻碍了3D学习网络的应用，3D学习网络相较现有的2D学习网络至少存在以下技术难题：高维度，容易产生过拟合；3D数据、特征映射及相关的运算导致计算资源消耗很大，现在GPU往往不够用；计算耗时较多，给临床运用造成了障碍。这些挑战导致了现有技术对3D卷积网络在3D图像中对象的检测上的应用讨论较少。
本发明旨在提供一种计算机实现的对3D图像中的对象进行自动检测的方法、计算机存储介质和系统，其能够以端到端的方式实现从3D图像到不同尺寸的对象在3D图像中的自动化检测。
根据本发明的第一方案，提供一种计算机实现的对3D图像中对象进行检测的方法，其特征在于，所述方法包括以下步骤：
利用处理器，使用3D学习网络基于所述3D图像得到一组特征映射，每个特征映射针对相应的对象尺寸，所述特征映射的栅格表示所述3D图像中与该栅格对应的区域内包含相应尺寸的对象的概率相关参数；
利用处理器，基于对应于同个区域的栅格，来确定该区域中包含的对象的尺寸；以及
利用处理器，将所确定的对象的位置从特征映射的第一坐标系转换到3D图像的第二坐标系中，以得到所述第二坐标系中各个尺寸的对象的定位。
优选地，所述3D学习网络是3D卷积网络。
优选地，所述3D图像是完整的3D图像。
优选地，所述3D图像是3D图像的部分。
优选地，所述方法还包括：将为3D图像的各个部分得到的对象的检测结果进行拼合。
优选地，使用3D学习网络基于所述3D图像得到一组特征映射的步骤包括：
利用滑动窗口从所述3D图像生成图像块；
利用3D学习网络对所生成的图像块分别进行计算，以得到所述一组特征映射。
优选地，所述3D学习网络是3D全卷积网络。
优选地，所述3D图像的所述部分是通过沿纵轴对所述3D图像划分所得的组块。
优选地，所述对象包括结节，所述3D图像包括容积CT图像。
优选地，所利用的滑动窗口具有不同尺寸，使得所得到的特征映射是多尺度的。
优选地，基于对应于同个区域的栅格来确定该区域中包含的对象的尺寸的步骤包括：
对所得到的一组特征映射进行下采样，以得到可变尺度的特征映射的组；
基于可变尺度的特征映射的组中一组或更多组特征映射对应于同个区域的数个栅格，来确定该区域中包含的对象的尺寸。
优选地，所述3D学习网络包括用于第一尺度的特征映射的第一网络和用于至少第二尺度的特征映射的至少第二网络，所述第一网络和至少第二网络顺序串联。
优选地，使用3D学习网络基于所述3D图像得到多个特征映射的步骤包括：对所述3D图像进行分割；利用分割的结果作为约束条件来执行该步骤。
根据本发明的第二方案，提供一种计算机存储介质，其上存储有计算机可执行指令，所述计算机可执行指令被处理器执行时，实现根据上述的对3D图像中对象进行检测的任何一种方法。
根据本发明的第三方案，提供一种对3D图像中对象进行检测的系统，包括：
存储器，其存储计算机可执行指令；
处理器装置，其通信地连接到所述存储器，并被配置为执行所述计算机可执行指令，以执行如下步骤：
使用3D学习网络基于所述3D图像得到一组特征映射，每个特征
映射针对相应的对象尺寸，所述特征映射的栅格表示所述3D图像中
与该栅格对应的区域内包含相应尺寸的对象的概率相关参数；
基于对应于同个区域的数个栅格，来确定该区域中包含的对象的
尺寸；以及
将所确定的对象的位置从特征映射的第一坐标系转换到3D图像
的第二坐标系中，以得到所述第二坐标系中各个尺寸的对象的定位。
优选地，所述3D学习网络是3D卷积网络。
优选地，所述3D图像是完整的3D图像。
优选地，所述3D图像是3D图像的部分。
优选地，所述计算机可执行指令被处理器装置执行还执行以下步骤：将为3D图像的各个部分得到的对象的检测结果进行拼合。
优选地，使用3D学习网络基于所述3D图像得到一组特征映射的步骤包括：
利用滑动窗口从所述3D图像生成图像块；
利用3D学习网络对所生成的图像块分别进行计算，以得到所述一组特征映射。
优选地，所述3D学习网络是3D全卷积网络。
优选地，所述3D图像的所述部分是通过沿纵轴对所述3D图像划分所得的组块。
优选地，所述对象包括肺结节，所述3D图像包括容积CT图像。
优选地，所利用的滑动窗口具有不同尺寸，使得所得到的特征映射是多尺度的。
优选地，使用3D学习网络基于所述3D图像得到一组特征映射的步骤包括：对所得到的一组特征映射进行下采样，以得到可变尺度的特征映射的组。
优选地，所述3D学习网络包括用于第一尺度的特征映射的第一网络和用于至少第二尺度的特征映射的至少第二网络，所述第一网络和至少第二网络顺序串联。
优选地，使用3D学习网络基于所述3D图像得到多个特征映射的步骤包括：对所述3D图像进行分割；利用分割的结果作为约束条件来执行该步骤。
本发明利用3D学习网络，如此能够充分考虑3D空间信息，从而有助于改善医生的效率、减少对象的漏检率和例如由于混淆不同类型的对象所导致的错检率。其使用3D学习网络，且能够解决现有技术中阻碍其用于3D图像中的对象检测的技术问题，并且其能够得到对象在3D图像中的分布位置以及所分布的对象的尺寸。
附图说明
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
图1示出根据本发明第一实施例的对3D图像中的对象进行检测的方法的流程图。
图2示出根据本发明第二实施例的对3D图像中的对象进行检测的单元的框图。
图3示出根据本发明第三实施例的对3D图像中的对象进行检测的方法所利用的3D卷积网络的第一网络的第一示例，所述第一网络是全连接卷积网络。
图4示出根据本发明第四实施例的对3D图像中的对象进行检测的方法所利用的3D卷积网络的第一网络的第二示例，所述第一网络是全卷积网络。
图5示出将全连接层转换为全卷积层的图示。
图6示出根据本发明第五实施例的利用3D卷积网络对3D图像进行计算以得到多组特征映射的步骤的示例，其中，所得到的特征映射是多尺度的，所述3D卷积网络包括用于第一尺度的特征映射的第一网络和用于至少第二尺度的特征映射的至少第二网络。
图7示出根据本发明第六实施例的对3D图像中的对象进行检测的系统的框图。
具体实施方式
此处参考附图描述本公开的各种方案以及特征。首先，本文中所述的对象表示检测的生理学目标，例如肺结节、肿瘤、血管等等，3D图像则是通过容积成像手段所得到的3D图像，容积成像手段包括容积CT扫描、三维超声成像等，也包括先进行2D成像随后进行3D重建从而实现容积成像的手段等等。
为了便利理解，下文中以肺结节作为对象、容积CT扫描作为3D图像的成像手段进行例示性说明，要注意，对象和3D图像并不仅限于这些示例，实际上，在各种3D图像中形状近似的各种对象的分类和定位上，本发明的方法、计算机存储介质和系统都表现出良好的效果。
图1示出根据本发明第一实施例的计算机实现的对3D图像中的对象进行检测的方法的流程图。
如图1所示，所述方法包括，利用处理器执行步骤102、步骤103和步骤104。在步骤102中，使用3D学习网络对所述肺部的容积CT图像进行计算以得到对应于肺结节的各个尺寸的一组特征映射C1，C2，…，Cn(步骤102)，尺寸包括从0到上限尺寸的多个尺寸S1，S2……Sn，例如，肺结节的该多个尺寸包括尺寸为0(也就是没有肺结节，该尺寸的肺结节称为第一类对象)、尺寸为3mm-5mm(该尺寸的肺结节称为第二类对象)、尺寸为5mm-7mm(该尺寸的肺结节称为第三类对象)、尺寸为7mm-9mm(该尺寸的肺结节称为第四类对象)、尺寸为9mm-11mm(该尺寸的肺结节称为第五类对象)以及尺寸为11mm-13mm(该尺寸的肺结节称为第六类对象),n为尺寸的类数，如上设置，则n为6。各个特征映射Cm(m＝1到n的自然数)的每个栅格Gm(xf,yf,zf)(xf,yf,zf表示该栅格在相应特征映射的坐标系中的坐标)表示该栅格所对应的图像区域内包含相应尺寸为Sm的肺结节的概率相关参数，例如得分、概率值等。如图1所示，Gm(1,1,1)表示该栅格所对应的肺部的容积CT图像中的图像区域内包含尺寸为Sm的肺结节(也就是第m类肺结节)的得分。如此，对于同一个图像区域会得到该图像区域中包含各个尺寸的肺结节的得分，例如，该图像区域中包含第一尺寸的肺结节的得分为0.3，包含第二尺寸的肺结节的得分为0.6，……包含第三尺寸的肺结节的得分为0.01，可以基于这些得分来确定该图像区域中包含的肺结节的尺寸为Sd(步骤103)。接着，将所确定的Sd尺寸的肺结节在特征映射的坐标系(Xf,Yf,Zf)中的坐标转换到3D图像的原始坐标系(Xori,Yori,Zori)中，以得到所确定的尺寸Sd的肺结节在图像坐标系中的定位(xori,yori,zori)(步骤104)。3D图像由若干图像区域构成，基于各个特征映射Cm的相应栅格G(xf,yf,zf)，能够得到该栅格所对应的3D图像中的图像区域中的肺结节的定位和尺寸；通过移动栅格G(xf,yf,zf)遍历整个特征映射，能够得到3D图像中的肺结节的定位和尺寸。
所述方法还可以包括：对上述3D学习网络进行训练的步骤(步骤101)。该训练步骤可以利用标注好的3D训练数据集进行训练，且可以离线执行。可以采用单纯的监督性学习，也可以将训练程序分为非监督性学习和监督性学习两个阶段来进行，利用非监督性学习对监督网络的权值进行初始化，以加速监督性学习的进程。
可以采用多种方式基于同个图像区域中包含各个尺寸的肺结节的得分来确定该图像区域中包含的肺结节的尺寸Sd，例如，该图像区域中包含第一尺寸的肺结节的得分为0.3，包含第二尺寸的肺结节的得分为0.6，……包含第三尺寸的肺结节的得分为0.01，最大得分值为0.6，则确定该图像区域包含的是第二尺寸的肺结节。
除此之外，还有其他尺寸确定方法。例如，基于上述得分，确定该图像区域包括接近第二尺寸的肺结节，然后采用回归方法来得到肺结节的尺寸。作为示例，还可以为每个特征空间下的像素点设置若干个锚框，每个锚框对应一个具体尺寸，通过回归方式找到锚框对应的精确尺寸，然后利用非极大抑制的方法得到肺结节的最终的尺寸。
如图2所示，根据本发明第二实施例，对3D图像中的对象进行检测的检测单元201实现为执行上述步骤102-104的程序模块，该检测单元201接收3D图像，并直接输出在3D图像的坐标系中的肺结节的定位和尺寸，例如检测到i个肺结节，这些肺结节的定位和尺寸分别是：肺结节1(x1,y1,z1,Size1)，肺结节2(x2,y2,z2,Size2)，…肺结节i(xi,yi,zi,Sizei)。该检测单元201实现完全自动化的、端到端且准确的肺结节检测，给临床医疗带来极大的便利；其能够直接应用于3D图像并且大大降低了放射科医生的工作强度。
通常的3D医学图像数据量较大，3D数据、特征映射及相关的运算导致计算资源消耗很大，现在GPU往往不够用。可以将整个3D图像划分为多个部分，分别对各个部分应用上述检测单元201，以得到各个部分中肺结节的定位和尺寸，并将各个部分中肺结节的定位和尺寸进行拼合，以得到整个3D图像中肺结节的定位及尺寸。如此使得本发明的方法得以利用现代GPU内存来实现，便利了在临床上的广泛运用。
所述部分可以是3D图像的图像块，也可以是对3D图像进行划分所得到的组块。虽然可以沿着若干方向将3D图像划分为组块，优选地，沿着3D成像手段的成像设备相对于受检体的进给方向来进行划分，例如，对于容积CT扫描来说，优选沿着纵向来划分出组块，如此划分出的组块保留更多的原始信息，且这种划分操作更方便，计算成本更低。
所述3D学习网络可以包括3D卷积神经网络、递归神经网络、各种深度学习神经网络等中的一种或多种。优选采用3D卷积神经网络，如此有效利用了GPU的快速卷积计算，能够获得可观的加速。
可以利用滑动窗口从3D图像生成相同尺寸的图像块，并将上述检测单元201应用于这些图像块；通过将步长设置为一个体素，通过在每个体素处执行网络前向计算，以确保不会遗漏任何肺结节的检测。下面以维度为64*64*64的图像块为例，示出应用于其的卷积神经网络的示例。
图3示出根据本发明第三实施例的对维度为64*64*64的图像块中的对象进行检测的方法所利用的3D卷积网络的第一示例(第一网络)，所述第一网络是全连接3D卷积网络。如图3中所示，其中，用虚线框表示神经网络层，用长方体(或长方形)表示特征映射，用长方体的组表示特征映射的组，在神经网络层和长方体的组的下方，标识出了其维度。所述第一网络依序包括卷积层C1-1、卷积层C1-2、池化层1、卷积层C2-1、卷积层C2-2、池化层2、卷积层2、卷积层C3-1、卷积层C3-2、池化层3、全连接层FC1、全连接层FC2和全连接层FC3，并输出预测结果，所述预测结果包括所述图像块中的对象在10类尺寸上的得分。其中，卷积层C1-1、卷积层C1-2、卷积层C2-1、卷积层C2-2、卷积层C3-1、卷积层C3-2具有3*3*3的核，且步长均为1；如图3所示的所述图像块中的对象在10类尺寸上的得分构成相应尺寸类别的特征映射的栅格。
可以在3D图像中利用滑动窗口来生成所述图像块，值得注意的是，这种基于滑动窗口的方法因搜索空间大而变得非常缓慢。在优选实施例中，可以将最后的三个全连接层转换为卷积层。
图5示出将全连接层转换为全卷积层的图示。如图5所示，全连接层FC1接收2*2的特征映射作为输入，该特征映射中的元素分别乘以权重系数w00、w01、w10、w11并求和馈送到全连接层FC1的神经元。可以基于权重系数w00、w01、w10、w11生成卷积层FC1-conv，如图5所示，元素乘以权重系数并求和的运算也可以由图5所示的卷积层FC1-conv实现，由此，可以将全连接层转换为卷积层。
通过将转换过程应用于图3所示的第一网络，就可以得到图4示出的根据本发明第四实施例的对3D图像中的对象进行检测的方法所利用的3D卷积网络的第一网络的第二示例，所述第一网络是全卷积网络。
卷积的跨步如同滑动窗口的跨步，这两种操作是等效的。由于GPU上的快速卷积计算功能，通过将3D全连接神经网络转换成3D全卷积神经网络，能够获得巨大的加速，从而能够适用于对耗时有严苛要求的临床运用。
每个栅格位置可以携带标签，该标签标识该栅格对应的图像区域中所包含的肺结节的尺寸类型，例如，标签0表示3D图像中不含有肺结节，标签1-9表示3D图像中含有肺结节，且含有的肺结节具有第一到第九类尺寸中的相应一种尺寸。每个栅格位置与3D图像的坐标系中的位置相对应。由于最大池化和卷积操作，所得到的图像尺寸相较原始图像尺寸缩减，对应位置取决于具体的3D学习网络的结构。没有边界填充的卷积操作将为最终得到的图像带来位置偏移，该偏移量可以如下计算得到：将卷积层的核尺寸-1得到差，将该差除以2然后进行向下取整运算。
下面以图4所示的3D全卷积神经网络为例，说明如何将所确定的肺结节的位置(例如坐标)从特征映射的第一坐标系转换到3D图像的第二坐标系。当卷积层C1-1、卷积层C1-2、卷积层C2-1、卷积层C2-2、卷积层C3-1、卷积层C3-2都没有边界填充时，利用公式1来计算肺结节在第二坐标系中的坐标。
其中，xf是特征映射的第一坐标系中的坐标，xori是3D图像的第二坐标系中的坐标，缩放因子s1＝s2＝s3＝2，c1_1、c1_2、c2_1、c2_2、c3_1、c3_2分别是下角标所标识的卷积层的核尺寸，且均等于3，c4＝8，c5＝1，c6＝1，表示向下取整运算。
当卷积层C1-1、卷积层C1-2、卷积层C2-1、卷积层C2-2、卷积层C3-1、卷积层C3-2都具有边界填充时，利用公式2来计算肺结节在第二坐标系中的坐标。
以上采用了用于单个尺度的特征映射的基础网络进行说明，单个尺度的基础网络能够满足一些对象的检测需求。但是，有些对象需要在多个尺度上进行检测，可变尺度可为对象的检测提供适合的视野。为了进一步提高检测精度，通常可以使用金字塔输入图像。然而，对于基于卷积神经网络的方法来说，图像金字塔的计算量非常大。而对于3D深度学习，使用金字塔是不切实际的。
为了解决这一问题，我们扩展了上文中所述的基础网络，以提供基于多尺度的特征映射的神经网络，如图6所示，输入的3D图像经过基础网络601的处理后，得到第一尺度的特征映射，其后可以设置有从第二网络到第i网络的若干网络，分别对应于第2尺度到第i尺度。尺度的数量i基于具体的任务需求，一般来说，尺寸变化范围较大的对象需要较多的尺度，通常说来，定位变化较大的对象需要较多的尺度。多尺度具有多种实现方式。例如，我们可以使用卷积过滤器或池化过滤器或者两者均使用，来将特征映射下采样到不同的尺度。再例如，在基于滑动窗口的卷积神经网络的检测方法中，特征映射的尺度可以具有相同的大小，但采用不同大小的滑动窗口。
在临床应用中，放射科医生需要对对象进行定量分析，但是可能存在大量的虚假警报，我们可以获得较高的招回率但精度会受影响。优选地，为了提高检测准确度，我们可以预先执行分割，利用分割的结果作为约束条件，来执行使用3D学习网络基于所述3D图像得到多个特征映射的步骤。如此可以针对对象会出现的区域进行对象检测。对于肺部中的肺结节进行检测的应用中，可以采用各种肺部分割的方法。因为肺结节永远出现在肺部内，应用肺部分割可以进一步排除虚假警报。例如，我们可以从肺部分割中产生肺凸包，然后利用凸包限制结节的检测。由于我们不需要准确的肺部边界，而仅仅利用分割结果作为结节检测的约束条件，为了将3D网络和特征映射装入GPU内存中，并加快分割程序，我们可以以较低分辨率的扫描进行肺部分割，并对结果进行上采样至原始分辨率，如此可以大大加快分割速度并节省分割所需的计算资源。优选地，可以采用3D版的U-Net(参见O.Ronneberger,P.Fischer,T.Brox,U-Net:Convolutional networks for BiomedicalImage Segmentation,MICCAI 2015)进行肺部分割。
上文所描述的各种步骤、操作或功能，可以被实现或定义为软件代码或指令。这样的内容可以是直接可执行的(“对象”或“可执行”形式)、源代码或差分代码(“增量(delta)”或“补丁(patch)”代码)。可以经由具有存储在其上的代码或指令的制品或者经由操作通信接口以经由通信接口发送数据的方法来提供本文所述的实施例的软件实现。机器或计算机可读存储介质可以使得机器执行所描述的功能或操作，并且包括以机器(例如，计算装置、电子系统等等)可访问的形式存储信息的任何机构，诸如可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置等)。通信接口包括与硬连线、无线、光学等介质中的任何一个交互的任何机构以与诸如存储器总线接口、处理器总线接口、因特网连接、磁盘控制器等的另一装置进行通信。通信接口可以被配置为通过提供配置参数和/或发送信号来准备通信接口以提供描述软件内容的数据信号。可以经由发送到通信接口的一个或多个命令或信号来访问通信接口。
图7示出根据本发明第六实施例的对3D图像中的对象进行检测的系统的框图。如图7所示，该系统包括：存储器707，其存储计算机可执行指令；处理器703，其通信地连接到所述存储器，并被配置为执行所述计算机可执行指令，以执行如下步骤：使用3D学习网络基于所述3D图像得到一组特征映射，每个特征映射针对相应的对象尺寸，所述特征映射的栅格表示所述3D图像中与该栅格对应的区域内包含相应尺寸的对象的概率相关参数；基于对应于同个区域的栅格，来确定该区域中包含的对象的尺寸；以及将所确定的对象的位置从特征映射的第一坐标系转换到3D图像的第二坐标系中，以得到所述第二坐标系中各个尺寸的对象的定位。所存储的计算机可执行指令可以包括操作系统705和对象检测程序模块706，后者用于执行上述检测步骤。可选地，所述系统还可以包括：输入装置701，用于接收来自用户的输入；输出装置702，例如显示器，用于展现对象检测的结果；还有通信接口704。
通信接口704可以可通信地连接到数据库708，以向其传输检测结果，可选地，可以将标有检测结果的3D图像传输到数据库708，以供其他用户调用和查看。通信接口704可以可通信地连接到数据库708，以从其接收需要进行对象检测的3D医学图像。
通信接口704可以可通信地连接到医学成像装置709，以从其接收需要进行对象检测的3D医学图像；或者，也可以从其接收需要进行对象检测的2D医学图像的序列，并将2D医学图像的序列重建为3D医学图像，以供进行对象检测。该重建步骤可以利用上述计算机可执行指令中的程序模块来执行，该程序模块可以包含在对象检测模块706中，也可以与之彼此分离。
上述系统可以是为了所需目的而专门构造的，或者其可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机，或者，也可以整合在医学成像装置自带的系统中。这样的计算机程序可以存储在计算机可读存储介质中，计算机可读存储介质例如是：包括软盘、光盘、CDROM以及磁光盘的任何类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、或适于存储电子指令的任何类型的介质，每个介质耦合到计算机系统总线，但并不限于此。
除非另有说明，本文示出和描述的本发明的实施例的执行顺序或操作的执行不是必要的。也就是说，除非另有说明，操作可以以任何顺序执行，并且本发明的实施例可以包括比本文公开的操作更多或更少的操作。例如，在另一操作之前、同时或之后执行或实施特定操作被预期在本发明的方案的范围内。
本发明的实施例可以利用计算机可执行指令来实现。计算机可执行指令可以被组织成一个或多个计算机可执行组件或模块。本发明的各方案可以利用任何数量和组织的这种组件或模块来实现。例如，本发明的各方案不限于图中所示和本文所描述的特定计算机可执行指令或特定组件或模块。本发明的其它实施例可以包括具有比本文所示出和描述的更多或更少功能的不同的计算机可执行指令或组件。
已经对本发明的各方案进行了详细描述，显而易见的是，在不背离如所附权利要求中限定的本发明的方案的范围的情况下，修改和变化是可能的。由于可以在不背离本发明的方案的范围的情况下对上述结构、产品和方法进行各种改变，因此意图在于上述说明书中包含的和附图中所示的所有内容应当被解释为示例性的，而不具有限制性意义。

Claims (27)

1.一种计算机实现的对3D图像中对象进行检测的方法，其特征在于，所述方法包括以下步骤：
利用处理器，使用3D学习网络基于所述3D图像得到一组特征映射，每个特征映射针对相应的对象尺寸，所述特征映射的栅格表示所述3D图像中与该栅格对应的区域内包含相应尺寸的对象的概率相关参数；
利用处理器，基于对应于同个区域的栅格，来确定该区域中包含的对象的尺寸；以及
利用处理器，将所确定的对象的位置从特征映射的第一坐标系转换到3D图像的第二坐标系中，以得到所述第二坐标系中各个尺寸的对象的定位。
2.根据权利要求1所述的对3D图像中对象进行检测的方法，其特征在于，其特征在于，所述3D学习网络是3D卷积网络。
3.根据权利要求1所述的对3D图像中对象进行检测的方法，其特征在于，所述3D图像是完整的3D图像。
4.根据权利要求1所述的对3D图像中对象进行检测的方法，其特征在于，所述3D图像是3D图像的部分。
5.根据权利要求4所述的对3D图像中对象进行检测的方法，其特征在于，所述方法还包括：将为3D图像的各个部分得到的对象的检测结果进行拼合。
6.根据权利要求1所述的对3D图像中对象进行检测的方法，其特征在于，使用3D学习网络基于所述3D图像得到一组特征映射的步骤包括：
利用滑动窗口从所述3D图像生成图像块；
利用3D学习网络对所生成的图像块分别进行计算，以得到所述一组特征映射。
7.根据权利要求1所述的对3D图像中对象进行检测的方法，其特征在于，所述3D学习网络是3D全卷积网络。
8.根据权利要求5所述的对3D图像中对象进行检测的方法，其特征在于，所述3D图像的所述部分是通过沿纵轴对所述3D图像划分所得的组块。
9.根据权利要求1所述的对3D图像中对象进行检测的方法，其特征在于，所述对象包括结节，所述3D图像包括容积CT图像。
10.根据权利要求6所述的对3D图像中对象进行检测的方法，其特征在于，所利用的滑动窗口具有不同尺寸，使得所得到的特征映射是多尺度的。
11.根据权利要求7所述的对3D图像中对象进行检测的方法，其特征在于，基于对应于同个区域的栅格来确定该区域中包含的对象的尺寸的步骤包括：
对所得到的一组特征映射进行下采样，以得到可变尺度的特征映射的组；
基于可变尺度的特征映射的组中一组或更多组特征映射对应于同个区域的数个栅格，来确定该区域中包含的对象的尺寸。
12.根据权利要求1所述的对3D图像中对象进行检测的方法，其特征在于，所述3D学习网络包括用于第一尺度的特征映射的第一网络和用于至少第二尺度的特征映射的至少第二网络，所述第一网络和至少第二网络顺序串联。
13.根据权利要求1-4中任何一项所述的对3D图像中对象进行检测的方法，其特征在于，使用3D学习网络基于所述3D图像得到多个特征映射的步骤包括：对所述3D图像进行分割；利用分割的结果作为约束条件来执行该步骤。
14.一种计算机存储介质，其上存储有计算机可执行指令，所述计算机可执行指令被处理器执行时，实现根据权利要求1-12中任何一项所述的对3D图像中对象进行检测的方法。
15.一种对3D图像中对象进行检测的系统，包括：
存储器，其存储计算机可执行指令；
处理器装置，其通信地连接到所述存储器，并被配置为执行所述计算机可执行指令，以执行如下步骤：
使用3D学习网络基于所述3D图像得到一组特征映射，每个特征映射针对相应的对象尺寸，所述特征映射的栅格表示所述3D图像中与该栅格对应的区域内包含相应尺寸的对象的概率相关参数；
基于对应于同个区域的栅格，来确定该区域中包含的对象的尺寸；
以及
将所确定的对象的位置从特征映射的第一坐标系转换到3D图像的第二坐标系中，以得到所述第二坐标系中各个尺寸的对象的定位。
16.根据权利要求15所述的对3D图像中对象进行检测的系统，其特征在于，所述3D学习网络是3D卷积网络。
17.根据权利要求15所述的对3D图像中对象进行检测的系统，其特征在于，所述3D图像是完整的3D图像。
18.根据权利要求15所述的对3D图像中对象进行检测的系统，其特征在于，所述3D图像是3D图像的部分。
19.根据权利要求18所述的对3D图像中对象进行检测的系统，其特征在于，所述计算机可执行指令被处理器装置执行还执行以下步骤：将为3D图像的各个部分得到的对象的检测结果进行拼合。
20.根据权利要求15所述的对3D图像中对象进行检测的系统，其特征在于，使用3D学习网络基于所述3D图像得到一组特征映射的步骤包括：
利用滑动窗口从所述3D图像生成图像块；
利用3D学习网络对所生成的图像块分别进行计算，以得到所述一组特征映射。
21.根据权利要求15所述的对3D图像中对象进行检测的系统，其特征在于，所述3D学习网络是3D全卷积网络。
22.根据权利要求19所述的对3D图像中对象进行检测的系统，其特征在于，所述3D图像的所述部分是通过沿纵轴对所述3D图像划分所得的组块。
23.根据权利要求15所述的对3D图像中对象进行检测的系统，其特征在于，所述对象包括肺结节，所述3D图像包括容积CT图像。
24.根据权利要求20所述的对3D图像中对象进行检测的系统，其特征在于，所利用的滑动窗口具有不同尺寸，使得所得到的特征映射是多尺度的。
25.根据权利要求21所述的对3D图像中对象进行检测的系统，其特征在于，使用3D学习网络基于所述3D图像得到一组特征映射的步骤包括：对所得到的一组特征映射进行下采样，以得到可变尺度的特征映射的组。
26.根据权利要求15所述的对3D图像中对象进行检测的系统，其特征在于，所述3D学习网络包括用于第一尺度的特征映射的第一网络和用于至少第二尺度的特征映射的至少第二网络，所述第一网络和至少第二网络顺序串联。
27.根据权利要求15-18中任何一项所述的对3D图像中对象进行检测的系统，其特征在于，使用3D学习网络基于所述3D图像得到多个特征映射的步骤包括：对所述3D图像进行分割；利用分割的结果作为约束条件来执行该步骤。
CN201711249474.XA 2017-08-09 2017-12-01 对3d图像中对象进行检测的方法、计算机存储介质和系统 Active CN108022238B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762542890P 2017-08-09 2017-08-09
US62/542,890 2017-08-09

Publications (2)

Publication Number Publication Date
CN108022238A true CN108022238A (zh) 2018-05-11
CN108022238B CN108022238B (zh) 2020-07-03

Family

ID=62078009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711249474.XA Active CN108022238B (zh) 2017-08-09 2017-12-01 对3d图像中对象进行检测的方法、计算机存储介质和系统

Country Status (2)

Country Link
US (1) US10867384B2 (zh)
CN (1) CN108022238B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805976A (zh) * 2018-05-31 2018-11-13 武汉中观自动化科技有限公司 一种三维扫描系统及方法
CN109063710A (zh) * 2018-08-09 2018-12-21 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN110880035A (zh) * 2019-11-14 2020-03-13 北京推想科技有限公司 卷积神经网络的训练方法、装置及结节征象识别方法、装置
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
CN111311655A (zh) * 2020-02-13 2020-06-19 东软医疗系统股份有限公司 多模态图像配准方法、装置、电子设备、存储介质
CN113256600A (zh) * 2021-06-10 2021-08-13 浙江华睿科技有限公司 基于人工智能的相机灰尘检测方法、装置及电子设备
JP2021531565A (ja) * 2018-12-07 2021-11-18 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 病巣検出方法、装置、機器および記憶媒体
CN114862850A (zh) * 2022-07-06 2022-08-05 深圳科亚医疗科技有限公司 一种血管医学图像的目标检测方法、装置及介质

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043101B2 (en) * 2014-11-07 2018-08-07 Adobe Systems Incorporated Local feature representation for image recognition
US10607135B2 (en) 2017-10-19 2020-03-31 General Electric Company Training an auto-encoder on a single class
US10460440B2 (en) * 2017-10-24 2019-10-29 General Electric Company Deep convolutional neural network with self-transfer learning
US10346728B2 (en) * 2017-10-26 2019-07-09 Hitachi, Ltd. Nodule detection with false positive reduction
US10885400B2 (en) * 2018-07-03 2021-01-05 General Electric Company Classification based on annotation information
US20200012884A1 (en) 2018-07-03 2020-01-09 General Electric Company Classification based on annotation information
US10755147B2 (en) 2018-07-03 2020-08-25 General Electric Company Classification and localization based on annotation information
DE102018214325A1 (de) * 2018-08-24 2020-02-27 Siemens Healthcare Gmbh Verfahren und Bereitstellungseinheit zum Bereitstellen eines virtuellen tomographischen Schlaganfall-Nachfolgeuntersuchungsbildes
US11164329B2 (en) * 2018-11-01 2021-11-02 Inpixon Multi-channel spatial positioning system
US10733727B2 (en) * 2018-11-14 2020-08-04 Qure.Ai Technologies Private Limited Application of deep learning for medical imaging evaluation
CN109670532B (zh) * 2018-11-23 2022-12-09 腾讯医疗健康(深圳)有限公司 生物体器官组织图像的异常识别方法、装置及系统
US20200202622A1 (en) * 2018-12-19 2020-06-25 Nvidia Corporation Mesh reconstruction using data-driven priors
JP7105918B2 (ja) * 2018-12-27 2022-07-25 富士フイルム株式会社 領域特定装置、方法およびプログラム
US10339424B1 (en) * 2019-01-22 2019-07-02 StradVision, Inc. Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
US10325371B1 (en) * 2019-01-22 2019-06-18 StradVision, Inc. Method and device for segmenting image to be used for surveillance using weighted convolution filters for respective grid cells by converting modes according to classes of areas to satisfy level 4 of autonomous vehicle, and testing method and testing device using the same
US10387754B1 (en) * 2019-01-23 2019-08-20 StradVision, Inc. Learning method and learning device for object detector based on CNN using 1×H convolution to be used for hardware optimization, and testing method and testing device using the same
US10402695B1 (en) * 2019-01-23 2019-09-03 StradVision, Inc. Learning method and learning device for convolutional neural network using 1×H convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same
US10410352B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
US10402977B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same
EP3933764A4 (en) * 2019-02-28 2022-04-27 FUJIFILM Corporation AREA DETERMINATION DEVICE, METHOD, PROGRAM, LEARNING DEVICE, METHOD, PROGRAM AND IDENTIFICATION DEVICE
CN111626087A (zh) * 2019-02-28 2020-09-04 北京市商汤科技开发有限公司 神经网络训练及眼睛睁闭状态检测方法、装置及设备
CN111814514A (zh) * 2019-04-11 2020-10-23 富士通株式会社 号码识别装置、方法以及电子设备
CN110032980B (zh) * 2019-04-18 2023-04-25 天津工业大学 一种基于深度学习的器官检测与识别定位方法
CN110188607B (zh) * 2019-04-23 2022-10-21 深圳大学 一种多线程并行计算的交通视频目标检测方法及装置
CN110245710B (zh) * 2019-06-18 2022-11-29 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
CN110517221B (zh) * 2019-07-05 2022-05-03 银河水滴科技（北京）有限公司 基于现实坐标的缝隙定位方法、装置和存储介质
CN110427915B (zh) * 2019-08-14 2022-09-27 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN111325084A (zh) * 2019-08-29 2020-06-23 西安铱食云餐饮管理有限公司 一种基于yolo神经网络的菜品信息识别方法、终端
CN112711972A (zh) * 2019-10-26 2021-04-27 上海海思技术有限公司 一种目标检测方法及装置
US11200455B2 (en) * 2019-11-22 2021-12-14 International Business Machines Corporation Generating training data for object detection
CN111144236B (zh) * 2019-12-10 2024-04-26 华南师范大学 一种蜚蠊交配行为分析的方法、系统及存储介质
CN111028224B (zh) * 2019-12-12 2020-12-01 广西医准智能科技有限公司 数据标注、模型训练和图像处理方法、装置及存储介质
US10902551B1 (en) * 2019-12-17 2021-01-26 X Development Llc True positive transplant
CN111241969A (zh) * 2020-01-06 2020-06-05 北京三快在线科技有限公司 目标检测方法、装置及相应模型训练方法、装置
CN111223113B (zh) * 2020-01-07 2023-04-18 宁波大学 基于双重密集上下文感知网络的核磁共振海马体分割算法
CN111339861A (zh) * 2020-02-17 2020-06-26 南京工程学院 一种座位占用状态检测方法
CN111340768B (zh) * 2020-02-21 2021-03-09 之江实验室 一种基于pet/ct智能诊断系统的多中心效应补偿方法
WO2021173489A1 (en) * 2020-02-28 2021-09-02 Nokia Technologies Oy Apparatus, method, and system for providing a three-dimensional texture using uv representation
JP7389233B2 (ja) 2020-04-09 2023-11-29 富士フイルム株式会社 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル
CN111738306B (zh) * 2020-06-01 2022-05-13 山东省人工智能研究院 基于块卷积神经网络的多视图三维模型检索方法
CN111739035B (zh) * 2020-06-30 2022-09-30 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、设备及存储介质
KR102532006B1 (ko) * 2020-07-24 2023-05-12 한국전자기술연구원 Self-Spatial Adaptive Normalization 기법을 적용한 영상 영역 분할 방법 및 시스템
CN112101205A (zh) * 2020-09-15 2020-12-18 东软睿驰汽车技术（沈阳）有限公司 基于多任务网络的训练方法和装置
CN112184657A (zh) * 2020-09-24 2021-01-05 上海健康医学院 一种肺结节自动检测方法、装置及计算机系统
CN112365507B (zh) * 2020-10-30 2024-02-02 沈阳东软智能医疗科技研究院有限公司 Ct图像处理方法、装置、存储介质及电子设备
CN112329863B (zh) * 2020-11-09 2022-04-22 西南交通大学 一种牵引变电所内隔离开关状态识别方法
US11620748B2 (en) * 2021-01-11 2023-04-04 International Business Machines Corporation Systems and methods for generating a 2D image from a 3D medical image
CN112861858A (zh) * 2021-02-19 2021-05-28 首都师范大学 显著性真值图的生成方法及显著性检测模型的训练方法
CN113591363B (zh) * 2021-07-29 2023-12-12 云南电网有限责任公司保山供电局 一种基于多频超声检测的变压器油介质损耗回归预测方法
CN115222930B (zh) * 2022-09-02 2022-11-29 四川蜀天信息技术有限公司 一种基于WebGL的3D模型的编排组合的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230320B2 (en) * 2012-03-30 2016-01-05 University Of Louisville Research Foundation, Inc. Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules
CA2884167C (en) * 2012-09-13 2020-05-12 The Regents Of The University Of California System and method for automated detection of lung nodules in medical images
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
EP3582151A1 (en) * 2015-08-15 2019-12-18 Salesforce.com, Inc. Three-dimensional (3d) convolution with 3d batch normalization
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
US9760807B2 (en) * 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
US9972092B2 (en) * 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
US10157462B2 (en) * 2016-06-27 2018-12-18 University Of Central Florida Research Foundation, Inc. System and method for image-based quantification of white and brown adipose tissue at the whole-body, organ and body-region levels
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US20180039853A1 (en) * 2016-08-02 2018-02-08 Mitsubishi Electric Research Laboratories, Inc. Object Detection System and Object Detection Method
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
US10467459B2 (en) * 2016-09-09 2019-11-05 Microsoft Technology Licensing, Llc Object detection based on joint feature extraction
US10453200B2 (en) * 2016-11-02 2019-10-22 General Electric Company Automated segmentation using deep learned priors
US10621747B2 (en) * 2016-11-15 2020-04-14 Magic Leap, Inc. Deep learning system for cuboid detection
US10635927B2 (en) * 2017-03-06 2020-04-28 Honda Motor Co., Ltd. Systems for performing semantic segmentation and methods thereof
US10621725B2 (en) * 2017-04-12 2020-04-14 Here Global B.V. Small object detection from a large image
EP3392832A1 (en) * 2017-04-21 2018-10-24 General Electric Company Automated organ risk segmentation machine learning methods and systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIN HUANG 等: "MSFCN-multiple supervised fully convolutional networks for the osteosarcoma segmentation of CT images", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》 *
李健 等: "基于多尺度卷积神经网络的磁共振成像脑肿瘤分割研究", 《中国医学装备》 *
颜伟鑫: "深度学习及其在工件缺陷自动检测中的应用研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805976A (zh) * 2018-05-31 2018-11-13 武汉中观自动化科技有限公司 一种三维扫描系统及方法
CN108805976B (zh) * 2018-05-31 2022-05-13 武汉中观自动化科技有限公司 一种三维扫描系统及方法
CN109063710A (zh) * 2018-08-09 2018-12-21 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN109063710B (zh) * 2018-08-09 2022-08-16 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
JP2021531565A (ja) * 2018-12-07 2021-11-18 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 病巣検出方法、装置、機器および記憶媒体
JP7061225B2 (ja) 2018-12-07 2022-04-27 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 病巣検出方法、装置、機器および記憶媒体
CN110880035A (zh) * 2019-11-14 2020-03-13 北京推想科技有限公司 卷积神经网络的训练方法、装置及结节征象识别方法、装置
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
CN111311655A (zh) * 2020-02-13 2020-06-19 东软医疗系统股份有限公司 多模态图像配准方法、装置、电子设备、存储介质
CN113256600A (zh) * 2021-06-10 2021-08-13 浙江华睿科技有限公司 基于人工智能的相机灰尘检测方法、装置及电子设备
CN114862850A (zh) * 2022-07-06 2022-08-05 深圳科亚医疗科技有限公司 一种血管医学图像的目标检测方法、装置及介质

Also Published As

Publication number Publication date
CN108022238B (zh) 2020-07-03
US10867384B2 (en) 2020-12-15
US20190050981A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN108022238A (zh) 对3d图像中对象进行检测的方法、计算机存储介质和系统
US10950026B2 (en) Systems and methods for displaying a medical image
Lösel et al. Introducing Biomedisa as an open-source online platform for biomedical image segmentation
CN109377496A (zh) 用于分割医学图像的系统和方法及介质
NL2003805A (en) Systems, apparatus and processes for automated medical image segmentation using a statistical model.
CN1973298A (zh) 显示气管支气管树
CN107924580A (zh) 在医学成像中的表面体积混合模块的可视化
Grigoryan et al. Probabilistic surfaces: Point based primitives to show surface uncertainty
CN102074039A (zh) 一种体绘制裁剪面绘制方法
CN102096939B (zh) 面向医学海量数据的多分辨率体绘制方法
CN109949304B (zh) 图像检测学习网络的训练和获取方法、图像检测装置和介质
CN110993067A (zh) 医学影像标注系统
CN110148129A (zh) 3d图像的分割学习网络的训练方法、分割方法、分割装置和介质
CN111081352A (zh) 医学影像的显示方法、信息处理方法及存储介质
Govyadinov et al. Robust tracing and visualization of heterogeneous microvascular networks
CN101947103A (zh) 全光学生物发光断层成像方法
Zhang et al. Symmetry GAN detection network: an automatic one-stage high-accuracy detection network for various types of lesions on CT images
US20220101521A1 (en) Providing a classification explanation and a generative function
Holzhüter et al. Visualizing uncertainty in biological expression data
AU2022200601A1 (en) Apparatus and method for visualizing digital breast tomosynthesis and anonymized display data export
Gobron et al. GPGPU computation and visualization of three-dimensional cellular automata
CN106204623A (zh) 多对比度图像同步显示和定位标定的方法及装置
Wu et al. 3D texture reconstruction of abdominal cavity based on monocular vision SLAM for minimally invasive surgery
CN102074051B (zh) 一种体绘制平行投影的数据包围体快速定位方法
CN114387380A (zh) 用于生成3d医学图像数据的基于计算机的可视化的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant