CN113874910A - 用于预测非对比头部计算机断层扫描图像中血肿扩大的二维半卷积神经网络 - Google Patents

用于预测非对比头部计算机断层扫描图像中血肿扩大的二维半卷积神经网络 Download PDF

Info

Publication number
CN113874910A
CN113874910A CN202080034992.3A CN202080034992A CN113874910A CN 113874910 A CN113874910 A CN 113874910A CN 202080034992 A CN202080034992 A CN 202080034992A CN 113874910 A CN113874910 A CN 113874910A
Authority
CN
China
Prior art keywords
hematoma
images
cnn
roi
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080034992.3A
Other languages
English (en)
Inventor
黄超
钱真
谭辉
谢于晟
林斯姚
王堃
陈宪中
韩连漪
霍志敏
范伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN113874910A publication Critical patent/CN113874910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)

Abstract

一种方法和装置包括：接收包括血肿的头部的三维(3D)非对比计算机断层扫描(NCCT)图像。使用包括血肿的头部的3D NCCT图像来生成包括血肿的头部的多个二维(2D)图像。使用第一2D卷积神经网络(CNN)，基于多个2D图像生成多个2D血肿图像。基于多个2D血肿图像来识别包含血肿的3D感兴趣区域(ROI)。生成对应于ROI的多个2D图像。使用第二CNN，基于对应于ROI的多个2D图像来确定血肿扩大(HE)预测分数。提供HE预测分数。

Description

用于预测非对比头部计算机断层扫描图像中血肿扩大的二维 半卷积神经网络
相关申请的交叉引用
本申请要求于2019年10月31日在美国专利商标局提交的美国专利申请No.16/670,133的优先权，该美国专利申请的公开内容通过引用整体并入本文。
背景技术
卷积神经网络(CNN，Convolutional neural network)已用于各种医学成像应用中，包括分类、分割、配准等。然而，在大多数应用中，CNN基于二维(2D，two dimensional)图像，原因是三维(3D，three dimensional)模型大体上需要更多的计算、存储器空间和训练数据。此外，许多医学成像模态生成固有的3D图像，诸如计算机断层扫描(CT，computedtomography)、磁共振成像(MRI，magnetic resonance imaging)、正电子发射断层扫描(PET，positron emission tomography)等。为了处理3D图像，已提出许多3D CNN架构。
发明内容
根据一些可能的实现方式，一种方法包括：接收包括血肿的头部的三维(3D)非对比计算机断层扫描(NCCT，non-contrast computed tomography)图像；使用包括血肿的头部的3D NCCT图像来生成包括血肿的头部的多个二维(2D)图像；使用第一2D卷积神经网络(CNN)，基于多个2D图像生成多个2D血肿图像；基于多个2D血肿图像来识别包含血肿的3D感兴趣区域(ROI，region of interest)；生成对应于ROI的多个2D图像；使用第二CNN，基于对应于ROI的多个2D图像来确定血肿扩大(HE，hematoma expansion)预测分数；以及提供HE预测分数。
根据一些可能的实现方式，一种设备包括：至少一个存储器，配置成存储程序代码；以及至少一个处理器，配置成读取程序代码并按照程序代码的指令进行操作，程序代码包括：接收代码，配置成使得至少一个处理器接收包括血肿的头部的三维(3D)非对比计算机断层扫描(NCCT)图像；第一生成代码，配置成使得至少一个处理器使用包括血肿的头部的3D NCCT图像来生成包括血肿的头部的多个二维(2D)图像；第二生成代码，配置成使得至少一个处理器使用第一2D卷积神经网络(CNN)，基于多个2D图像生成多个2D血肿图像；识别代码，配置成使得至少一个处理器基于多个2D血肿图像来识别包含血肿的3D感兴趣区域(ROI)；第三生成代码，配置成使得至少一个处理器生成对应于ROI的多个2D图像；确定代码，配置成使得至少一个处理器使用第二CNN，基于对应于ROI的多个2D图像来确定血肿扩大HE预测分数；以及提供代码，配置成使得至少一个处理器提供HE预测分数。
根据一些可能的实现方式，一种非暂时性计算机可读介质存储指令，该指令包括一个或多个指令，一个或多个指令在由设备的一个或多个处理器运行时，使得一个或多个处理器：接收包括血肿的头部的三维(3D)非对比计算机断层扫描(NCCT)图像；使用包括血肿的头部的3D NCCT图像来生成包括血肿的头部的多个二维(2D)图像；使用第一2D卷积神经网络(CNN)，基于多个2D图像生成多个2D血肿图像；基于多个2D血肿图像来识别包含血肿的3D感兴趣区域(ROI)；生成对应于ROI的多个2D图像；使用第二CNN，基于对应于ROI的多个2D图像来确定血肿扩大(HE)预测分数；以及提供HE预测分数。
附图说明
图1A和图1B是本文描述的示例实现方式的概略图；
图2是可实现本文描述的系统和/或方法的示例环境的图；
图3是图2的一个或多个设备的示例组件的图；以及
图4是使用2.5维卷积神经网络来提供血肿扩大预测分数的示例过程的流程图。
具体实施方式
虽然上文提到的模型基于3D CNN，但是这些模型仍然存在繁重的计算负担和深受维数之害。例如，由于图形处理单元(GPU，graphics processing unit)存储器有限，导致用于训练3D U-Net或V-Net以用于分割任务的批量大小通常被设置成“1”。这些限制制约着3DCNN的应用。
卷积神经网络(CNN)已广泛用于包括二维(2D)模型和三维(3D)模型的医学成像应用，且由于计算强度和训练数据可用性，使得2D CNN通常比3D CNN更常见。
然而，许多医学图像本质上是3D图像，例如用于颅内出血(ICH，intracranialhemorrhage)检测的非对比计算机断层扫描(NCCT)图像。本公开提供一种使用2D CNN来处理用于ICH检测和血肿扩大(HE)预测的3D NCCT图像的方法。
具体地，本公开在NCCT图像的每个2D切片上应用2D U-Net来对血肿进行分割。然后，从血肿膜片(mask)中确定包含血肿和一些周围环境的、固定尺寸的3D子体积(称为“感兴趣区域(ROI)”)，最后利用ROI中的每个切片作为2D分类CNN的输入的通道来预测HE。以这种方式，规避3D CNN的计算限制，并实现与放射学专家的性能基本上相似的HE预测精度。
U-Net是用于图像分割，特别是用于生物医学图像分割的2D CNN模型。本公开提供一种通过在NCCT图像中利用U-Net对血肿进行分割而生成血肿膜片的技术。U-Net的体系结构如图1A所示。例如，
如图1B所示，在生成所有切片的血肿膜片之后，可确定包含血肿的边界框。边界框的尺寸取决于血肿的体积，因此可从边界框中识别称为ROI的、固定尺寸的子体积，使得边界框和子体积的中心重合，且ROI的尺寸可包含几乎所有可能的血肿(例如，用于512×512×30个NCCT图像的192×192×14个ROI)。
一旦从整个体积中提取ROI，则使用ROI中的每个切片作为2D图像的分类CNN(例如，NASNet模型)的输入的特征通道，来预测HE。
本公开允许通过2D CNN来处理医学应用中常见的3D图像。此外，本公开通过规避3D CNN的密集计算来提高效率。
图2是可实现本文描述的系统和/或方法的示例环境200的图。如图2所示，环境200可包括用户设备210、平台220和网络230。环境200的设备可通过有线连接、无线连接或者有线连接和无线连接的组合来互连。
用户设备210包括能够接收、生成、存储、处理和/或提供与平台220相关联的信息的一个或多个设备。例如，用户设备210可包括计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴设备(例如，一对智能眼镜或智能手表)或类似设备。在一些实现方式中，用户设备210可从平台220接收信息和/或向平台220发送信息。
平台220包括能够使用2.5维卷积神经网络来提供血肿扩大预测分数的一个或多个设备，如在本文的其他地方所描述的。在一些实现方式中，平台220可包括云服务器或一组云服务器。在一些实现方式中，平台220可设计成模块化平台，使得某些软件组件可根据特定需要而换入或换出。因此，平台220可容易地和/或快速地针对不同用途来重新配置。
在一些实现方式中，如图所示，平台220可托管在云计算环境222中。应注意，虽然本文描述的实现方式将平台220描述成托管在云计算环境222中，但是在一些实现方式中，平台220不基于云(即，可以在云计算环境之外实现)或者可部分地基于云。
云计算环境222包括托管平台220的环境。云计算环境222可提供不需要终端用户(例如，用户设备210)知道托管平台220的系统和/或设备的物理位置和配置的计算、软件、数据访问、存储等服务。如图所示，云计算环境222可包括一组计算资源224(这一组计算资源统称为“计算资源224”，单独一个计算资源称为“计算资源224”)。
计算资源224包括一个或多个个人计算机、工作站计算机、服务器设备或其他类型的计算和/或通信设备。在一些实现方式中，计算资源224可控制平台220。云资源可包括在计算资源224中运行的计算实例、在计算资源224中提供的存储设备、由计算资源224提供的数据传输设备等。在一些实现方式中，计算资源224可通过有线连接、无线连接或者有线连接和无线连接的组合与其他计算资源224通信。
进一步如图2所示，计算资源224包括一组云资源，例如一个或多个应用(“APP”)224-1、一个或多个虚拟机(“VM”)224-2、虚拟化存储器(“VS”)224-3、一个或多个管理程序(“HYP”)224-4等。
应用224-1包括可提供给用户设备210和/或传感器设备220或者由用户设备210和/或传感器设备220访问的一个或多个软件应用。应用224-1可消除在用户设备210上安装和运行软件应用的需要。例如，应用224-1可包括与平台220相关联的软件和/或能够通过云计算环境222提供的任何其他软件。在一些实现方式中，一个应用224-1可通过虚拟机224-2向一个或多个其他应用224-1发送信息/从一个或多个其他应用224-1接收信息。
虚拟机224-2包括运行程序的机器(例如，计算机)的软件实现，类似于物理机。根据虚拟机224-2对任何实际机器的对应程度和用途，虚拟机224-2可以是系统虚拟机或过程虚拟机。系统虚拟机可提供支持完整操作系统(“OS”)的运行的完整系统平台。过程虚拟机可运行单个程序，且可支持单个过程。在一些实现方式中，虚拟机224-2可代表用户(例如，用户设备210)运行，且可管理云计算环境222的基础设施，例如数据管理、同步或长时间数据传输。
虚拟化存储器224-3包括在计算资源224的存储系统或设备内使用虚拟化技术的一个或多个存储系统和/或一个或多个设备。在一些实现方式中，在存储系统的环境中，虚拟化的类型可包括块虚拟化和文件虚拟化。块虚拟化可指的是逻辑存储与物理存储的抽象化(或分离)，使得可以在不考虑物理存储或异构结构的情况下访问存储系统。分离可允许存储系统的管理员在管理员如何管理终端用户的存储方面具有灵活性。文件虚拟化可消除以文件级别访问的数据与物理地存储文件的位置之间的依赖性。这可使得存储器使用、服务器整合和/或无干扰文件迁移性能得到优化。
管理程序224-4可提供硬件虚拟化技术，硬件虚拟化技术允许多个操作系统(例如，“客户操作系统”)在主控计算机例如计算资源224上同时运行。管理程序224-4可给客户操作系统呈现虚拟操作平台，且可管理客户操作系统的运行。各操作系统的多个实例可共享虚拟化硬件资源。
网络230包括一个或多个有线网络和/或无线网络。例如，网络230可包括蜂窝网络(例如，第五代(5G)网络、长期演进(LTE，long-term evolution)网络、第三代(3G)网络、码分多址(CDMA，code division multiple access)网络等)、公共陆地移动网络(PLMN，public land mobile network)、局域网(LAN，local area network)、广域网(WAN，widearea network)、城域网(MAN，metropolitan area network)、电话网(例如，公共交换电话网(PSTN，Public Switched Telephone Network))、专用网络、自组织网络、内部网、因特网、基于光纤的网络等，和/或这些或其他类型网络的组合。
图2所示的设备和网络的数量和布置作为示例来提供。在实践中，可存在额外的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或与图2所示的设备和/或网络不同地布置的设备和/或网络。此外，图2所示的两个或更多个设备可以在单个设备内实现，或者图2所示的单个设备可实现为多个分布式设备。另外或者替代地，环境200的一组设备(例如，一个或多个设备)可执行被描述成由环境200的另一组设备执行的一个或多个功能。
图3是设备300的示例组件的图。设备300可对应于用户设备210和/或平台220。如图3所示，设备300可包括总线310、处理器320、存储器330、存储组件340、输入组件350、输出组件360和通信接口370。
总线310包括允许设备300的组件之间进行通信的组件。处理器320以硬件、固件或者硬件和软件的组合来实现。处理器320是中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU，accelerated processing unit)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC，application-specificintegrated circuit)或另一类型的处理组件。在一些实现方式中，处理器320包括能够被编程以执行功能的一个或多个处理器。存储器330包括随机存取存储器(RAM)、只读存储器(ROM)和/或另一类型的动态或静态存储设备(例如，闪存、磁性存储器和/或光学存储器)，其存储供处理器320使用的信息和/或指令。
存储组件340存储与设备300的操作和使用相关的信息和/或软件。例如，存储组件340可包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、光碟(CD)、数字通用盘(DVD)、软盘、盒式磁带、磁带和/或另一类型的非暂时性计算机可读介质、以及相应的驱动器。
输入组件350包括允许设备300接收信息的组件，该信息例如通过用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)输入。另外或者替代地，输入组件350可包括用于感测信息的传感器(例如，全球定位系统(GPS)组件、加速计、陀螺仪和/或致动器)。输出组件360包括提供来自设备300的输出信息的组件(例如，显示器、扬声器和/或一个或多个发光二极管(LED))。
通信接口370包括类似收发器的组件(例如，收发机和/或单独的接收机和发射机)，其使得设备300能够与其他设备通信，例如通过有线连接、无线连接或者有线连接和无线连接的组合与其他设备通信。通信接口370可允许设备300从另一设备接收信息和/或向另一设备提供信息。例如，通信接口370可包括以太网接口、光学接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、Wi-Fi接口、蜂窝网络接口等。
设备300可执行本文描述的一个或多个过程。设备300可响应于处理器320运行由诸如存储器330和/或存储组件340的非暂时性计算机可读介质存储的软件指令，来执行这些过程。在本文中，计算机可读介质定义为非暂时性存储器设备。存储器设备包括单个物理存储设备内的存储器空间或者分布在多个物理存储设备上的存储器空间。
软件指令可通过通信接口370从另一计算机可读介质读入存储器330和/或存储组件340中，或者从另一设备读入存储器330和/或存储组件340中。当运行时，存储在存储器330和/或存储组件340中的软件指令可使得处理器320执行本文描述的一个或多个过程。另外或者替代地，可使用硬连线电路来代替软件指令或者与软件指令组合，来执行本文描述的一个或多个过程。因此，本文描述的实现方式不限于硬件电路和软件的任何特定组合。
图3所示的组件的数量和布置作为示例来提供。在实践中，设备300可包括额外的组件、更少的组件、不同的组件、或与图3所示的组件不同地布置的组件。另外或者替代地，设备300的一组组件(例如，一个或多个组件)可执行被描述成由设备300的另一组组件执行的一个或多个功能。
图4是使用2.5维卷积神经网络来提供血肿扩大预测分数的示例过程400的流程图。在一些实现方式中，可由平台220执行图4的一个或多个过程块。在一些实现方式中，可由与平台220分离或包括平台220的另一设备或一组设备(例如，用户设备210)执行图4的一个或多个过程块。
如图4所示，过程400可包括接收包括血肿的头部的三维(3D)非对比计算机断层扫描(NCCT)图像(框410)。
进一步如图4所示，过程400可包括使用包括血肿的头部的3D NCCT图像来生成包括血肿的头部的多个二维(2D)图像(框420)。
进一步如图4所示，过程400可包括使用第一2D卷积神经网络(CNN)，基于多个2D图像生成多个2D血肿图像(框430)。
进一步如图4所示，过程400可包括基于多个2D血肿图像来识别包含血肿的3D感兴趣区域(ROI)(框440)。
进一步如图4所示，过程400可包括生成对应于ROI的多个2D图像(框450)。
进一步如图4所示，过程400可包括使用第二CNN，基于对应于ROI的多个2D图像来确定血肿扩大(HE)预测分数(框460)。
进一步如图4所示，过程400可包括提供HE预测分数(框470)。
虽然图4示出了过程400的示例块，但是在一些实现方式中，过程400可包括额外的块、更少的块、不同的块、或与图4所描绘的块不同地布置的块。另外或者替代地，可并行地执行过程400的两个或更多个块。
前述公开内容提供了说明和描述，但是不旨在穷举或将实现方式限制为所公开的精确形式。可根据上述公开内容进行修改和变化，或者可从实现方式的实践中获得修改和变化。
如本文所使用的，术语“组件”旨在广义地解释为硬件、固件或者硬件和软件的组合。
显然，本文描述的系统和/或方法可以以不同形式的硬件、固件或者硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制实现方式。因此，在本文中未参考特定的软件代码来描述系统和/或方法的操作和行为-应理解，软件和硬件可设计成实现基于本文的描述的系统和/或方法。
即使在权利要求中记载和/或在说明书中公开特征的特定组合，这些组合并不旨在限制可能的实现方式的公开。实际上，这些特征中的许多特征可以以未在权利要求中具体记载和/或在说明书中公开的方式组合。虽然下面列出的每个从属权利要求可仅直接从属于一个权利要求，但是可能的实现方式的公开包括每个从属权利要求与权利要求集中的每一个其他权利要求的组合。
除非本身明确地描述，否则本文使用的元素、动作或指令不应理解为至关重要或必要的。此外，如本文所使用的，冠词“一”和“一个”旨在包括一个或多个项目，且可与“一个或多个”互换地使用。此外，如本文所使用的，术语“集”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关项目和不相关项目的组合等)，且可与“一个或多个”互换地使用。在意图仅是一个项目的情况下，使用术语“一”或类似的语言。此外，如本文所使用的，术语“具有”、“有”、“含有”或类似术语旨在是开放式术语。此外，短语“基于”的意思旨在是“至少部分地基于”，除非另有明确说明。

Claims (20)

1.一种方法，包括：
接收包括血肿的头部的三维3D非对比计算机断层扫描NCCT图像；
使用包括血肿的头部的所述3D NCCT图像来生成包括血肿的头部的多个二维2D图像；
使用第一2D卷积神经网络CNN，基于所述多个2D图像生成多个2D血肿图像；
基于所述多个2D血肿图像来识别包含血肿的3D感兴趣区域ROI；
生成对应于所述ROI的多个2D图像；
使用第二CNN，基于对应于所述ROI的所述多个2D图像来确定血肿扩大HE预测分数；以及
提供所述HE预测分数。
2.根据权利要求1所述的方法，其中，所述第一2D CNN是U-Net模型。
3.根据权利要求1所述的方法，其中，所述第二CNN是NASNet模型。
4.根据权利要求1所述的方法，所述方法进一步包括：
使用所述第一2D CNN，基于所述多个2D图像来识别血肿；以及
生成所述多个2D血肿图像，其中基于所述多个2D图像对血肿进行分割。
5.根据权利要求4所述的方法，所述方法进一步包括：
基于识别血肿来识别血肿的体积；以及
基于血肿的体积来确定所述3D ROI的尺寸。
6.根据权利要求1所述的方法，其中，所述多个2D图像对应于所述头部的完整图像。
7.根据权利要求6所述的方法，其中，所述多个2D血肿图像对应于小于所述头部的完整图像。
8.一种设备，包括：
至少一个存储器，配置成存储程序代码；
至少一个处理器，配置成读取所述程序代码并按照所述程序代码的指令进行操作，所述程序代码包括：
接收代码，配置成使得所述至少一个处理器接收包括血肿的头部的三维3D非对比计算机断层扫描NCCT图像；
第一生成代码，配置成使得所述至少一个处理器使用包括血肿的头部的所述3D NCCT图像来生成包括血肿的头部的多个二维2D图像；
第二生成代码，配置成使得所述至少一个处理器使用第一2D卷积神经网络CNN，基于所述多个2D图像生成多个2D血肿图像；
识别代码，配置成使得所述至少一个处理器基于所述多个2D血肿图像来识别包含血肿的3D感兴趣区域ROI；
第三生成代码，配置成使得所述至少一个处理器生成对应于所述ROI的多个2D图像；
确定代码，配置成使得所述至少一个处理器使用第二CNN，基于对应于所述ROI的所述多个2D图像来确定血肿扩大HE预测分数；以及
提供代码，配置成使得所述至少一个处理器提供所述HE预测分数。
9.根据权利要求8所述的设备，其中，所述第一2D CNN是U-Net模型。
10.根据权利要求8所述的设备，其中，所述第二CNN是NASNet模型。
11.根据权利要求8所述的设备，所述设备进一步包括：
第二识别代码，配置成使得所述至少一个处理器使用所述第一2D CNN，基于所述多个2D图像来识别血肿；以及
第四生成代码，配置成使得所述至少一个处理器生成所述多个2D血肿图像，其中基于所述多个2D图像对血肿进行分割。
12.根据权利要求11所述的设备，所述设备进一步包括：
第二识别代码，配置成使得所述至少一个处理器基于识别血肿来识别血肿的体积；以及
第二确定代码，配置成使得所述至少一个处理器基于血肿的体积来确定所述3D ROI的尺寸。
13.根据权利要求8所述的设备，其中，所述多个2D图像对应于所述头部的完整图像。
14.根据权利要求13所述的设备，其中，所述多个2D血肿图像对应于小于所述头部的完整图像。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储指令，所述指令包括一个或多个指令，所述一个或多个指令在由设备的一个或多个处理器运行时，使得所述一个或多个处理器：
接收包括血肿的头部的三维3D非对比计算机断层扫描NCCT图像；
使用包括血肿的头部的所述3D NCCT图像来生成包括血肿的头部的多个二维2D图像；
使用第一2D卷积神经网络CNN，基于所述多个2D图像生成多个2D血肿图像；
基于所述多个2D血肿图像来识别包含血肿的3D感兴趣区域ROI；
生成对应于所述ROI的多个2D图像；
使用第二CNN，基于对应于所述ROI的所述多个2D图像来确定血肿扩大HE预测分数；以及
提供所述HE预测分数。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述第一2DCNN是U-Net模型。
17.根据权利要求15所述的非暂时性计算机可读介质，其中，所述第二CNN是NASNet模型。
18.根据权利要求15所述的非暂时性计算机可读介质，其中，所述一个或多个指令进一步配置成使得所述一个或多个处理器：
使用所述第一2D CNN，基于所述多个2D图像来识别血肿；以及
生成所述多个2D血肿图像，其中基于所述多个2D图像对血肿进行分割。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，所述多个2D图像对应于所述头部的完整图像。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述多个2D血肿图像对应于小于所述头部的完整图像。
CN202080034992.3A 2019-10-31 2020-08-22 用于预测非对比头部计算机断层扫描图像中血肿扩大的二维半卷积神经网络 Pending CN113874910A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/670,133 2019-10-31
US16/670,133 US11410302B2 (en) 2019-10-31 2019-10-31 Two and a half dimensional convolutional neural network for predicting hematoma expansion in non-contrast head computerized tomography images
PCT/US2020/047543 WO2021086476A1 (en) 2019-10-31 2020-08-22 A two and a half dimensional convolutional neural network for predicting hematoma expansion in non-contrast head computerized tomography images

Publications (1)

Publication Number Publication Date
CN113874910A true CN113874910A (zh) 2021-12-31

Family

ID=75686533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080034992.3A Pending CN113874910A (zh) 2019-10-31 2020-08-22 用于预测非对比头部计算机断层扫描图像中血肿扩大的二维半卷积神经网络

Country Status (3)

Country Link
US (1) US11410302B2 (zh)
CN (1) CN113874910A (zh)
WO (1) WO2021086476A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220189011A1 (en) * 2020-12-16 2022-06-16 Nvidia Corporation End-to-end training for a three-dimensional tomography reconstruction pipeline
US11861835B2 (en) * 2021-03-25 2024-01-02 Siemens Healthcare Gmbh Automatic hemorrhage expansion detection from head CT images
CN113349810B (zh) * 2021-05-27 2022-03-01 北京安德医智科技有限公司 脑出血病灶识别及血肿扩大预测系统及装置
WO2023097362A1 (en) * 2021-12-03 2023-06-08 Annalise-Ai Pty Ltd Systems and methods for analysis of computed tomography (ct) images

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046616A1 (en) * 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization
CN107292884A (zh) * 2017-08-07 2017-10-24 北京深睿博联科技有限责任公司 一种识别mri图像中水肿和血肿的方法及装置
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging
CN109003299A (zh) * 2018-07-05 2018-12-14 北京推想科技有限公司 一种基于深度学习的计算脑出血量的方法
CN109978888A (zh) * 2019-02-18 2019-07-05 平安科技（深圳）有限公司 一种图像分割方法、装置及计算机可读存储介质
US20200320751A1 (en) * 2019-04-06 2020-10-08 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965075B2 (en) * 2002-09-16 2015-02-24 Imatx, Inc. System and method for predicting future fractures
WO2010117573A2 (en) 2009-04-07 2010-10-14 Virginia Commonwealth University Automated measurement of brain injury indices using brain ct images, injury data, and machine learning
US9989539B2 (en) 2012-06-26 2018-06-05 Temple University—Of the Commonwealth System of Higher Education Method for detecting injury to the brain
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
NL2019410B1 (en) * 2017-08-10 2019-02-21 Aidence B V Computer-aided diagnostics using deep neural networks
US20190313963A1 (en) * 2018-04-17 2019-10-17 VideaHealth, Inc. Dental Image Feature Detection
US10878564B2 (en) * 2019-04-12 2020-12-29 Zebra Medical Vision Ltd. Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046616A1 (en) * 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging
CN107292884A (zh) * 2017-08-07 2017-10-24 北京深睿博联科技有限责任公司 一种识别mri图像中水肿和血肿的方法及装置
CN109003299A (zh) * 2018-07-05 2018-12-14 北京推想科技有限公司 一种基于深度学习的计算脑出血量的方法
CN109978888A (zh) * 2019-02-18 2019-07-05 平安科技（深圳）有限公司 一种图像分割方法、装置及计算机可读存储介质
US20200320751A1 (en) * 2019-04-06 2020-10-08 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
褚晶辉;李晓川;张佳祺;吕卫;: "一种基于级联卷积网络的三维脑肿瘤精细分割", 激光与光电子学进展, no. 10, 25 December 2018 (2018-12-25) *

Also Published As

Publication number Publication date
WO2021086476A1 (en) 2021-05-06
US20210133957A1 (en) 2021-05-06
US11410302B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
US11410302B2 (en) Two and a half dimensional convolutional neural network for predicting hematoma expansion in non-contrast head computerized tomography images
US11538171B2 (en) Generating synthetic images as training dataset for a machine learning network
US11250563B2 (en) Hierarchical processing technique for lesion detection, classification, and segmentation on microscopy images
US11328485B2 (en) Method and apparatus for displaying an augmented-reality image corresponding to a microscope view
US11113817B2 (en) System and method for identifying target regions prior to organs at risk segmentation
US11103142B2 (en) System and method for predicting vertebral artery dissection
CN111831834A (zh) 基于网络的媒体处理（nbmp）中处理媒体内容的方法和装置
CN113994371B (zh) 图像分析的方法和设备
JP7416482B2 (ja) ネットワークベースのメディア処理ワークフローを管理するための方法、ワークフローマネージャおよびコンピュータプログラム
US11544569B2 (en) Feature map sparsification with smoothness regularization
US11295751B2 (en) Multi-band synchronized neural vocoder
US11131842B2 (en) Method and apparatus for displaying information ring and augmented reality display for microscope
JP7515614B2 (ja) データフローにおいて連続性を持たせかつ途切れることなしにワークフローをスイッチングする又はワークフローを更新するための方法、ワークフローマネージャ、およびコンピュータプログラム
WO2023059371A1 (en) Method and apparatus for signaling net-zero workflow modifications on cloud platforms
CN116264848A (zh) 用于使用元数据和开始代码在云上用信号指示对媒体段的独立处理的方法和装置
WO2023163809A1 (en) Enhancement process for video coding for machines
CN111831842A (zh) Nbmp中处理媒体内容的方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB03 Change of inventor or designer information

Inventor after: Huang Chao

Inventor after: Fan Wei

Inventor after: Qian Zhen

Inventor after: Tang Hui

Inventor after: Xie Yucheng

Inventor after: Lin Siyao

Inventor after: Wang Kun

Inventor after: Chen Xianzhong

Inventor after: Han Lianyi

Inventor after: Huo Zhimin

Inventor before: Huang Chao

Inventor before: Fan Wei

Inventor before: Qian Zhen

Inventor before: Tan Hui

Inventor before: Xie Yucheng

Inventor before: Lin Siyao

Inventor before: Wang Kun

Inventor before: Chen Xianzhong

Inventor before: Han Lianyi

Inventor before: Huo Zhimin

CB03 Change of inventor or designer information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination