CN116205864A - 医学图像的语义分析方法、装置、设备、介质及程序产品 - Google Patents

医学图像的语义分析方法、装置、设备、介质及程序产品 Download PDF

Info

Publication number
CN116205864A
CN116205864A CN202310109294.0A CN202310109294A CN116205864A CN 116205864 A CN116205864 A CN 116205864A CN 202310109294 A CN202310109294 A CN 202310109294A CN 116205864 A CN116205864 A CN 116205864A
Authority
CN
China
Prior art keywords
semantic analysis
image
medical image
medical
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310109294.0A
Other languages
English (en)
Inventor
吕岩
王纯亮
张超
毛益进
赵清华
白萱
董嘉慧
田明
高唱
吴碧波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Yuanjing Technology Service Co ltd
Original Assignee
Tianjin Yuanjing Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Yuanjing Technology Service Co ltd filed Critical Tianjin Yuanjing Technology Service Co ltd
Priority to CN202310109294.0A priority Critical patent/CN116205864A/zh
Publication of CN116205864A publication Critical patent/CN116205864A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供了一种医学图像的语义分析方法、装置、设备、介质及产品，包括：获取血管组织对应的三维医学图像，并按照血管组织的平均管径，对三维医学图像中各体素进行标准化处理，得到标准医学图像；对标准医学图像进行切分处理，得到多个医学子图像，并对各医学子图像进行图像语义分析，得到各医学子图像的语义分析结果；获取医学子图像与三维医学图像的映射关系，并基于映射关系，将各语义分析结果映射至三维医学图像中，得到三维医学图像对应的目标语义分析结果。如此，能提高对医学图像进行语义分析时的准确率。

Description

医学图像的语义分析方法、装置、设备、介质及程序产品
技术领域
本申请涉及人工智能技术领域，尤其涉及一种医学图像的语义分析方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
在相关技术中，在对医学图像进行检测的过程中，如对心脏中的冠状动脉进行狭窄检测时，通常都是在冠脉的曲面重建(CPR，Curved Projection Reformation)拉直图上进行狭窄检测，或者依据多任务模型来同时实现对输入的待检测图像进行语义分析以及狭窄检测，然而，直接在冠脉的CPR拉直图上进行狭窄检测可能存在定位不准确，而依据多任务模型来实现狭窄检测，则只是在待检测图像上判断是否存在狭窄，而不能定位狭窄区域，如此，导致对狭窄检测的结果不够精确，也即医学图像检测的准确率较低。
发明内容
本申请实施例提供一种医学图像的语义分析方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，能提高对医学图像进行语义分析时的准确率。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种医学图像的语义分析方法，所述方法包括：
获取包括血管组织对应的三维医学图像，并按照所述血管组织的平均管径，对所述三维医学图像中各体素进行标准化处理，得到标准医学图像，所述标准医学图像中的各所述体素的尺寸相同；
对所述标准医学图像进行切分处理，得到多个医学子图像，并对各所述医学子图像进行图像语义分析，得到各所述医学子图像的语义分析结果；
其中，所述多个医学子图像中存在至少一个目标医学子图像集，所述目标医学子图像集中包括：存在至少部分重合区域的至少两个医学子图像；
获取所述医学子图像与所述三维医学图像的映射关系，并基于所述映射关系，将各所述语义分析结果映射至所述三维医学图像中，得到所述三维医学图像对应的目标语义分析结果；
其中，所述目标语义分析结果，用于指示当所述血管组织包括存在冠状动脉狭窄的冠状动脉时，所述冠状动脉在所述三维医学图像中所处的位置、所述冠状动脉的狭窄位置，以及所述狭窄位置的狭窄程度。
本申请实施例提供一种医学图像的语义分析装置，所述装置包括：
获取模块，用于获取包括血管组织对应的三维医学图像，并按照所述血管组织的平均管径，对所述三维医学图像中各体素进行标准化处理，得到标准医学图像，所述标准医学图像中的各所述体素的尺寸相同；
切分模块，用于对所述标准医学图像进行切分处理，得到多个医学子图像，并对各所述医学子图像进行图像语义分析，得到各所述医学子图像的语义分析结果；其中，所述多个医学子图像中存在至少一个目标医学子图像集，所述目标医学子图像集中包括：存在至少部分重合区域的至少两个医学子图像；
映射模块，用于获取所述医学子图像与所述三维医学图像的映射关系，并基于所述映射关系，将各所述语义分析结果映射至所述三维医学图像中，得到所述三维医学图像对应的目标语义分析结果；其中，所述目标语义分析结果，用于指示当所述血管组织包括存在冠状动脉狭窄的冠状动脉时，所述冠状动脉在所述三维医学图像中所处的位置、所述冠状动脉的狭窄位置，以及所述狭窄位置的狭窄程度。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的医学图像的语义分析方法。
本申请实施例提供一种计算机可读存储介质，其中存储有计算机可执行指令，当计算机可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的医学图像的语义分析方法。
本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机可执行指令，该计算机程序或计算机可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令，处理器执行该计算机可执行指令，使得该电子设备执行本申请实施例提供的医学图像的语义分析方法。
本申请实施例具有以下有益效果：
通过获取血管组织对应的三维医学图像，按照血管组织的平均尺寸，对三维医学图像中各体素进行标准化处理，得到标准医学图像，对标准医学图像进行切分处理，得到多个医学子图像，对各医学子图像进行图像语义分析，得到各医学子图像的语义分析结果，按照医学子图像与三维医学图像的映射关系，将语义分析结果进行映射，得到三维医学图像中冠状动脉的目标语义分析结果。如此，通过按照血管组织的平均尺寸，对三维医学图像中各体素的大小进行调整，得到标准医学图像，从而使得标准医学图像中体素的大小与血管组织的平均尺寸适配，从而有效提高了图像语义分析效率；通过医学子图像与三维医学图像的映射关系，将各医学子图像的语义分析结果映射至三维医学图像中，从而确定三维医学图像中冠状动脉的狭窄区域的精确位置，提高了对医学图像进行语义分析时的准确率。
附图说明
图1是本申请实施例提供的医学图像的语义分析系统100的架构示意图；
图2是本申请实施例提供的电子设备的结构示意图；
图3是本申请实施例提供的医学图像的语义分析方法的流程示意图；
图4是本申请实施例提供的医学图像的语义分析方法的流程示意图；
图5是本申请实施例提供的目标语义分析网络的结构示意图；
图6是本申请实施例提供的目标语义分析结果的示意图；
图7是本申请实施例提供的语义分析网络训练过程的流程示意图；
图8是本申请实施例提供的医学图像的语义分析方法的流程示意图；
图9是本申请实施例提供的医学图像的语义分析过程的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)人工智能(AI，Artificial Intelligence)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。
2)卷积神经网络(CNN，Convolutional Neural Networks)：是一类包含卷积计算且具有深度结构的前馈神经网络(FNN，Feed forward Neural Networks)，是深度学习(Deep Learning)的代表算法之一。卷积神经网络具有表征学习(RepresentationLearning)能力，能够按其阶层结构对输入图像进行平移不变分类(Shift-InvariantClassification)。
3)卷积层：卷积神经网络中每层卷积层(Convolutional Layer)由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
4)池化层：在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制。
5)全连接层(Fully-Connected Layer)：卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层。全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数。
6)客户端(Client)：又称用户端，是指与服务器相对应的为用户提供本地服务的程序，除了一些只能在本地运行的应用程序之外，一般安装在普通的客户机上，需要与服务器相互配合运行，即需要网络中有相应的服务器和服务程序来提供相应的服务，这样在客户端和服务器端，需要建立特定的通信连接，来保证应用程序的正常运行。
7)损失(Loss)：用于衡量模型的实际结果和目标结果之间的差距，以进行模型的训练和优化。
参见图1，图1是本申请实施例提供的医学图像的语义分析系统100的架构示意图，为实现医学图像的语义分析的应用场景，终端(示例性示出了终端400)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，终端400用于供用户使用客户端401，在显示界面(示例性示出了显示界面401-1)显示，终端400和服务器200通过有线或者无线网络相互连接。
其中，终端400用于，获取目标对象的血管组织对应的三维医学图像，并将三维医学图像发送至服务器200；
服务器200用于，获取血管组织对应的三维医学图像，并按照血管组织的平均管径，对三维医学图像中各体素进行标准化处理，得到标准医学图像，标准医学图像中的各体素的尺寸相同；对标准医学图像进行切分处理，得到多个医学子图像，并对各医学子图像进行图像语义分析，得到各医学子图像的语义分析结果；其中，多个医学子图像中存在至少一个目标医学子图像集，目标医学子图像集中包括：存在至少部分重合区域的至少两个医学子图像；获取医学子图像与三维医学图像的映射关系，并基于映射关系，将各语义分析结果映射至三维医学图像中，得到三维医学图像对应的目标语义分析结果；其中，目标语义分析结果，用于指示当血管组织包括存在冠状动脉狭窄的冠状动脉时，冠状动脉在三维医学图像中所处的位置、冠状动脉的狭窄位置，以及狭窄位置的狭窄程度；将目标语义分析结果发送至终端400；
终端400还用于，基于显示界面，展示目标语义分析结果。
一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，ContentDeliver Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是医学终端，例如，医学终端是指单独或者组合使用于人体的仪器、设备、器具、材料或者其他物品，也包括所需要的软件。医疗设备是医疗、科研、教学、机构、临床学科工作最基本要素，即包括专业医疗设备，也包括家用医疗设备等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
参见图2，图2是本申请实施例提供的电子设备的结构示意图，在实际应用中，电子设备可以为图1示出的服务器200或终端400，参见图2，图2所示的电子设备包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他电子设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图2示出了存储在存储器450的医学图像的语义分析装置455，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块4551、切分模块4552以及映射模块4553，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的医学图像的语义分析装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的医学图像的语义分析方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
在一些实施例中，终端或服务器可以通过运行计算机程序来实现本申请实施例提供的医学图像的语义分析方法。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，如即时通信APP、网页浏览器APP；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
基于上述对本申请实施例提供的医学图像的语义分析系统及电子设备的说明，下面说明本申请实施例提供的医学图像的语义分析方法。在实际实施时，本申请实施例提供的医学图像的语义分析方法可以由终端或服务器单独实现，或者由终端及服务器协同实现，以由图1中的服务器200单独执行本申请实施例提供的医学图像的语义分析方法为例进行说明。参见图3，图3是本申请实施例提供的医学图像的语义分析方法的流程示意图，下面，将结合图3和图4对示出的步骤进行说明。
步骤101，服务器获取包括血管组织对应的三维医学图像，并按照所述血管组织的平均管径，对所述三维医学图像中各体素进行标准化处理，得到标准医学图像，所述标准医学图像中的各所述体素的尺寸相同。
在一些实施例中，三维医学图像是反映解剖区域内部结构或内部功能的三维图像，它是由一组图像元素——立体像素(体素)组成的。医学图像是由采样或重建产生的离散性图像表征，它能将数值映射到不同的空间位置上。三维医学图像的图像指标包括像素深度、光度表示、元数据和像素数据。这些成分与图像大小和图像分辨率有关。
在一些实施例中，这里的血管组织可以是目标对象的血管组织，而目标对象的血管组织对应三维医学图像可以是包括目标对象的心脏血管如冠状动脉对应的心脏医学影像，心脏医学影像是指为了医疗或医学研究，以非侵入方式取得的心脏组织的图像，比如，通过电子计算机断层扫描(Computed Tomography，CT)，磁共振成像(Magnetic ResonanceImaging，MRI)、超声(Ultrasonic，US)等医学设备生成的图像。
在实际实施时，这里的三维医学图像可以是预先存储于终端本地的，也可以是从外界(如互联网)中获取到的，还可以是实时采集的，例如通过医学影像设备实时采集到的。
需要说明的是，在本申请实施例中，涉及到实时采集、目标对象的三维医学图像等相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
在一些实施例中，按照血管组织的平均管径，对三维医学图像中各体素进行标准化处理，得到标准医学图像的过程，具体包括，按照血管组织的平均管径，对三维医学图像中各体素的体素大小进行调整，得到标准医学图像。
需要说明的是，体素是体积元素(Volume Pixel)的简称，包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来。一如其名，是数字数据于三维空间语义分析上的最小单位，体素用于三维成像、科学数据与医学影像等领域。概念上类似二维空间的最小单位——像素，像素用在二维计算机图像的影像数据上。如同像素，体素本身并不含有空间中位置的数据即(它们的坐标)，却可以从它们相对于其它体素的位置来推敲，意即它们在构成单一张体积影像的数据结构中的位置。体素用恒定的标量或者向量表示一个立体的区域，体素的边界在于相邻晶格的中间位置。这样，体素这个术语仅仅用来表示最邻近的插值，而不用来表示如三次线性、立方等等高次插值，这些情况可以用单元体积分支来表示。体素的数值可以表示不同的特性。在CT扫描中，这些值是Hounsfield单位，表示身体对于X光的不透光性。在MRI或者超声诊断学中会得到不同类型的数值。体素可以包含本质上是向量的多个标量数值。在B模式超声扫描以及多普勒数据中，在同一个体素位置的密度与流速经过独立通道获取。这里，标准医学图像中的各体素的尺寸相同，上述尺寸包括尺寸长度、尺寸宽度以及尺寸高度。
在实际实施时，参见图4，图4是本申请实施例提供的医学图像的语义分析方法的流程示意图，基于图4，按照血管组织的平均管径，对三维医学图像中各体素进行标准化处理，得到标准医学图像的过程，可以通过步骤1021至1022实现。
步骤1021，获取三维医学图像中体素的体素尺寸、以及对应血管组织的平均管径的标准尺寸，并将体素尺寸调整为与标准尺寸相适配的尺寸，得到调整后的三维医学图像；其中，体素尺寸包括体素长度、体素宽度以及体素高度，标准尺寸包括尺寸长度、尺寸宽度以及尺寸高度。
在实际实施时，针对三维医学图像中的各体素，将三维医学图像中体素的体素长度、体素宽度以及体素高度，分别调整为与尺寸长度、尺寸宽度以及尺寸高度适配的尺寸，得到调整后的三维医学图像。
作为示例，将三维医学图像中体素的体素长度、体素宽度以及体素高度，分别调整为：0.25mm、0.25mm和0.25mm，这样既能保证语义分析效果，又可以极大地减小图像处理器的计算量。
步骤1022，将调整后的三维医学图像，确定为标准医学图像；其中，标准医学图像的尺寸与三维医学图像的尺寸相同，标准医学图像和所述三维医学图像各自包括的像素点的数量不同，标准医学图像中体素的数量，与三维医学图像中体素的数量不同。
在实际实施时，标准医学图像的尺寸与三维医学图像的尺寸相同，标准医学图像与三维医学图像各自包括的像素点的数量不同，标准医学图像中体素的数量，与三维医学图像中体素的数量不同。
如此，通过按照血管组织的平均尺寸，对三维医学图像中各体素的大小进行调整，得到标准医学图像，从而便于后续基于标准医学图像进行图像语义分析，从而有效减小图像处理器的计算量，提高语义分析效率，并保证图像语义分析效果。
步骤102，对标准医学图像进行切分处理，得到多个医学子图像，并对各医学子图像进行图像语义分析，得到各医学子图像的语义分析结果；其中，多个医学子图像中存在至少一个目标医学子图像集，目标医学子图像集中包括：存在至少部分重合区域的至少两个医学子图像。
需要说明的是，两个医学子图像存在重合区域用于指示两个医学子图像存在重合体素，也即两个医学子图像各自所包括的体素中存在相同体素。示例性地，存在医学子图像A、医学子图像B、医学子图像C以及医学子图像D，这里，医学子图像A和C之间存在相同体素即医学子图像A和C之间存在重合区域，从而这里存在包括医学子图像A和C的目标医学子图像集。
在实际实施时，对标准医学图像进行切分处理，得到多个医学子图像的过程，具体包括，按照标准医学图像中各体素的大小，对标准医学图像进行均匀切分，得到多个医学子图像；其中，各医学子图像中体素的数量相同。
在实际实施时，对各医学子图像进行图像语义分析，得到各医学子图像的语义分析结果的过程，具体包括，调用目标语义分析网络，对各医学子图像进行图像语义分析，得到医学子图像中的各体素分别对应的预测概率；其中，预测概率表征体素归属于存在冠状动脉狭窄的冠状动脉的概率；针对各体素，当体素对应的预测概率大于预测概率阈值时，将体素确定为目标体素，目标体素归属于存在冠状动脉狭窄的冠状动脉；针对各医学子图像，当医学子图像中存在目标体素时，将医学子图像的各目标体素在医学子图像中的位置，确定为医学子图像的语义分析结果。
需要说明的是，这里的预测概率表征体素点存在冠状动脉狭窄的冠状动脉的概率，示例性地，以医学子图像中的一个像素点为例进行说明，这里的预测概率阈值可以是0.8，当体素点归属于存在冠状动脉狭窄的冠状动脉的概率为0.9时，该体素对应的预测概率大于预测概率阈值，即该体素为目标体素；当体素点归属于存在冠状动脉狭窄的冠状动脉的概率为0.7时，该体素对应的预测概率小于预测概率阈值，即该体素不为目标体素。
在一些实施例中，在调用目标语义分析网络之前，还可以获取目标语义分析网络针对各医学子图像的平均处理时长；基于平均处理时长，确定医学子图像之间的处理时间间隔，其中，处理时间间隔小于平均处理时长；按照处理时间间隔，依次调用目标语义分析网络，依次调用所述目标语义分析网络，对各所述医学子图像进行图像语义分析，得到所述医学子图像中的各体素分别对应的预测概率。
在一些实施例中，通过将医学子图像之间的处理时间间隔设置为小于医学子图像的平均处理时长，从而在通过目标语义分析网络对医学子图像进行图像语义分析时，在不等到目标语义分析网络将一幅医学子图像处理完，就处理下一幅医学子图像，从而有效提高目标语义分析网络的处理效率，从而能够提高医学子图像的语义分析效率，有效减少医学子图像的语义分析处理时长。
需要说明的是，目标语义分析网络包括多个卷积层，以及与各卷积层通道数相同的反卷积层，不同的卷积层的所述通道数不同，通道数与平均管径适配。示例性地，参见图5，图5是本申请实施例提供的目标语义分析网络的结构示意图，基于图5，目标语义分析网络包括多个卷积层1和与各卷积层通道数相同的反卷积层2，不同的卷积层1的通道数不同，通道数与平均尺寸适配。
在一些实施例中，调用所述语义分析网络，对各所述三维医学图像样本进行图像语义分析，得到所述三维医学图像样本中各体素的样本预测概率的过程，具体包括，按照所述通道数从大至小的顺序，依次调用各所述卷积层，对各所述三维医学图像样本进行图像卷积，得到各所述三维医学图像样本的卷积结果；按照所述通道数从小至大的顺序，依次调用各所述反卷积层，对各所述三维医学图像样本的卷积结果进行图像反卷积，得到所述三维医学图像样本中各所述体素的样本预测概率。
示例性地，参见图5，按照通道数从大至小的顺序，依次调用各卷积层1，对各三维医学图像样本进行图像卷积，得到各三维医学图像样本的卷积结果；按照通道数从小至大的顺序，依次调用各反卷积层2，对各三维医学图像样本的卷积结果进行图像反卷积，得到所述三维医学图像样本中各所述体素的样本预测概率。
步骤103，获取医学子图像与三维医学图像的映射关系，并基于映射关系，将各语义分析结果映射至三维医学图像中，得到三维医学图像对应的目标语义分析结果；其中，目标语义分析结果，用于指示当所述血管组织包括存在冠状动脉狭窄的冠状动脉时，冠状动脉在三维医学图像中所处的位置、冠状动脉的狭窄位置，以及狭窄位置的狭窄程度。
需要说明的是，这里的三维医学图像对应的目标语义分析结果，可以是三维医学图像中的冠状动脉的目标语义分析结果。
在实际实施时，医学子图像与三维医学图像的映射关系是在对三维医学图像进行切分时确定的，从而基于映射关系，将各语义分析结果映射至三维医学图像中，得到三维医学图像中冠状动脉的目标语义分析结果的过程，具体包括，基于映射关系，将各语义分析结果映射至三维医学图像中，得到对应每个单位长度的冠状动脉的单位语义分析结果；基于各单位长度的冠状动脉在三维医学图像中的位置，将各单位语义分析结果进行拼接，得到三维医学图像中冠状动脉的目标语义分析结果。
需要说明的是，这里单位语义分析结果用于指示最小单位长度的冠状动脉的语义分析结果。从而，对基于各单位长度的冠状动脉在三维医学图像中的位置，将各单位语义分析结果进行拼接，得到三维医学图像中冠状动脉的目标语义分析结果。示例性地，参见图6，图6是本申请实施例提供的目标语义分析结果的示意图，基于图6，将各单位语义分析结果进行拼接后，得到如图6所示的目标语义分析结果，从而基于目标语义分析结果，精确定位狭窄区域的位置以及相应狭窄程度。
在一些实施例中，在基于所述映射关系，将各语义分析结果映射至三维医学图像中，得到对应每个单位长度的冠状动脉的单位语义分析结果之后，还可以，对各单位长度的冠状动脉对应的单位语义分析结果进行检测，得到检测结果；基于检测结果，确定各单位长度的冠状动脉对应的目标单位语义分析结果；从而，基于各单位长度的冠状动脉在三维医学图像中的位置，将各单位语义分析结果进行拼接，得到三维医学图像中冠状动脉的目标语义分析结果的过程，可以是，基于各单位长度的冠状动脉在三维医学图像中的位置，将各目标单位语义分析结果进行拼接，得到三维医学图像中冠状动脉的目标语义分析结果。
需要说明的是，对各单位长度的冠状动脉对应的单位语义分析结果进行检测的过程为对各单位长度的冠状动脉所对应的单位语义分析结果的数量进行检测，接下来，针对不同单位语义分析结果的数量，对基于检测结果，确定各单位长度的冠状动脉对应的目标单位语义分析结果的过程进行说明。
在一些实施例中，当检测结果表征单位长度的冠状动脉对应多个单位语义分析结果时，基于各单位语义分析结果所指示的、相应单位长度的冠状动脉的狭窄程度，将多个单位语义分析结果进行比对，得到比对结果；基于比对结果，从多个单位语义分析结果中选取最大狭窄程度对应的单位语义分析结果，作为单位长度的冠状动脉的目标单位语义分析结果。在另一些实施例中，当检测结果表征单位长度的冠状动脉对应一个单位语义分析结果时，将单位语义分析结果，作为单位长度的冠状动脉的目标单位语义分析结果。
示例性地，针对同一位置的单位长度的冠状动脉，当存在两个单位语义分析结果时，如一个单位语义分析结果指示相应单位长度的冠状动脉的狭窄程度为轻度狭窄，另一个单位语义分析结果指示相应单位长度的冠状动脉的狭窄程度为重度狭窄，将这两个单位语义分析结果进行比对，基于比对结果，从两个单位语义分析结果中选取重度狭窄对应的单位语义分析结果，作为该单位长度的冠状动脉的目标单位语义分析结果。
在一些实施例中，在调用目标语义分析网络，对各医学子图像进行图像语义分析，得到医学子图像中的各体素分别对应的预测概率之前，还可以对语义分析网络进行训练，从而确定目标语义分析网络，接下来，参见图7，图7是本申请实施例提供的语义分析网络训练过程的流程示意图，基于图7，对对语义分析网络进行训练的过程进行说明。
步骤201，服务器获取多个样本对象的血管组织分别对应的三维医学图像样本、以及语义分析网络；其中，各三维医学图像样本携带标签，标签用于指示相应三维医学图像样本中各所述体素的真实概率。
在一些实施例中，上述获取多个样本对象的血管组织分别对应的三维医学图像样本，可以理解的是，样本对象与三维医学图像样本一一对应，一个样本对应一个三维医学图像样本，样本对象的数量与语义分析网络的训练效果成正比，即，样本对象的数量越多、三维医学图像样本的样本多样性越强，通过三维医学图像样本训练得到的目标语义分析网络的图像检测性能越强。
在一些实施例中，获取多个样本对象的血管组织分别对应的三维医学图像样本之后，还可以，对各三维医学图像样本进行裁剪处理，得到各三维医学图像样本对应的多个候选子图像样本；从各三维医学图像样本对应的多个候选子图像样本中，选取目标子图像样本，其中，目标子图像样本中的背景区域和前景区域的比例大于比例阈值；从而基于目标子图像样本进行后续的训练过程。
上述从各三维医学图像样本对应的多个候选子图像样本中，选取目标子图像样本，可以通过如下方式实现：针对各候选子图像样本，确定候选子图像样本中的背景区域和前景区域的比例，当比例大于比例阈值时，将候选子图像样本确定为目标子图像样本。
如此，通过从候选子图像样本中，选取背景区域和前景区域的比例，大于比例阈值的目标子图像样本，从而使得后续用于语义分析网络训练的目标子图像样本，背景区域和前景区域的比例，能够更加清晰分明，避免目标子图像样本中仅有背景区域或仅有前景区域，这样会导致该目标子图像样本缺失前景区域或者背景区域，导致语义分析效果较差。通过从候选子图像样本中，选取背景区域和前景区域的比例，大于比例阈值的目标子图像样本，从而使得后续用于语义分析网络训练的目标子图像样本，背景区域和前景区域的比例，能够更加清晰分明，有效提高语义分析网络的训练效果。
步骤202，调用语义分析网络，对各三维医学图像样本进行图像语义分析，得到三维医学图像样本中各体素的样本预测概率。
需要说明的是，这里调用语义分析网络，对各三维医学图像样本进行图像语义分析的过程，与上述调用目标语义分析网络，对各三维医学图像样本进行图像语义分析的过程相似，对此，本申请实施例不做赘述。
步骤203，针对各三维医学图像样本，获取标签以及对应的样本预测概率之间的损失，并基于损失，对语义分析网络的网络参数进行更新，得到目标语义分析网络。
在实际实施时，获取标签以及对应的样本预测概率之间的损失的过程，具体包括，确定三维医学图像样本中各体素的标签对应的参考标签，以及体素的样本预测概率对应的参考预测概率；其中，参考标签与对应的标签的加和为1，参考预测概率和对应的样本预测概率的加和为1；基于标签、参考标签、样本预测概率和参考预测概率，确定损失。
在实际实施时，基于标签、参考标签、样本预测概率和参考预测概率，确定损失的过程，具体包括，将各标签分别与对应的样本预测概率相乘，得到各标签对应的第一概率乘积；将各参考标签分别与对应的参考预测概率相乘，得到各参考标签对应的第二概率乘积；将各第一概率乘积和各第二概率乘积进行求和，得到加和概率乘积；将加和概率乘积与体素的数量相除，得到损失，即
Figure BDA0004076232760000121
其中，Ti表示三维医学图像样本中第i个体素的标签，Pi表示三维医学图像样本中第i个体素的样本预测概率，1-Ti示三维医学图像样本中第i个体素的参考标签，1-Pi表示三维医学图像样本中第i个体素的参考预测概率，total表示三维医学图像样本中总的体素的个数。
从而，基于损失，对语义分析网络的网络参数进行更新，得到目标语义分析网络。
应用本申请上述实施例，通过获取血管组织对应的三维医学图像，按照血管组织的平均尺寸，对三维医学图像中各体素进行标准化处理，得到标准医学图像，对标准医学图像进行切分处理，得到多个医学子图像，对各医学子图像进行图像语义分析，得到各医学子图像的语义分析结果，按照医学子图像与三维医学图像的映射关系，将语义分析结果进行映射，得到三维医学图像中冠状动脉的目标语义分析结果。如此，通过按照血管组织的平均尺寸，对三维医学图像中各体素的大小进行调整，得到标准医学图像，从而使得标准医学图像中体素的大小与血管组织的平均尺寸适配，从而有效提高了图像语义分析效率；通过医学子图像与三维医学图像的映射关系，将各医学子图像的语义分析结果映射至三维医学图像中，从而确定三维医学图像中冠状动脉的狭窄区域的精确位置，提高了对医学图像进行语义分析时的准确率。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。人工智能是计算机学科的一个分支，是一个多学科交叉的技术，除了计算机科学以外，人工智能还涉及信息论、控制论、自动化、仿生学、生物学、心理学、数理逻辑、语言学、医学和哲学等多门学科。
医疗是医生围绕患者的生命状态和病情进展形成思辨，并进行干涉性操作和观察性总结的过程。然而在临床上仅凭医疗工作者的能力完成一系列诊治过程和步骤并不现实。随着新兴的技术日趋增多，人工智能在医学领域中的应用越来越广泛，包括大数据技术，主要通过在数据中制定一系列规则，从而对数据进行有效分类，再与临床医生的医嘱相结合，充分体现了具有可靠性和精确性的智能诊疗模式。在这一智能系统的辅助下，医疗工作人员可检查系统举出的病症和推论是否合理，然后将更多的信息加入，对大量的医疗数据进行整理总结，得出最佳治疗建议。这种新型的方式可以更好的处理信息，辅助医生进行诊疗。
冠状动脉狭窄是粥样硬化所致，当狭窄到一定程度是导致心肌缺血就是冠心病了。冠状动脉粥样硬化为最常见的狭窄性冠状动脉疾病，特别是肌壁外冠状动脉支的动脉粥样硬化。冠状动脉近侧段之所以好发动脉粥样硬化是由于它比所有器官动脉都靠近心室，因而承受最大的收缩压撞击。再者，冠状动脉血管树由于心脏的形状而有多数方向改变，因此亦承受较大的血流剪应力。好发部位：据6352例尸检统计，病变的总检出率、狭窄检出率和平均级别均以前降支最高，其余依次为右主干、左主干或左旋支、后降支。性别差异：20～50岁病变检出率，男性显著高于女性；60岁以后男女无明显差异。病变特点：粥样硬化斑块的分布多在近侧段，且在分支口处较重；早期，斑块分散，呈节段性分布，随着疾病的进展，相邻的斑块可互相融合。在横切面上斑块多呈新月形，管腔呈不同程度的狭窄。有时可并发血栓形成，使管腔完全阻塞。根据斑块引起管腔狭窄的程度可将其分为4级：Ⅰ级，管腔狭窄在25％以下；Ⅱ级，狭窄在26％～50％；Ⅲ级，狭窄51％～75％；Ⅳ级，管腔狭窄在76％以上。通过人工智能方法检测出狭窄的位置，以及狭窄程度，有助于医生对患者实施有效的治疗方案，可以起到关键的辅助作用。
相关技术对于冠状动脉的狭窄检测主要存在两种方案，第一种是在CTA影像上提取相应冠脉的CPR拉直图，将拉直图切割成固定数量的立方体块，使用3D-CNN提取每个体块的特征。通过Flattening操作将所有特征拉直成一维的向量，然后使用Transformer对每个体块进行分类操作，获取到每个体块是否存在狭窄；而第二种是将待检测图像输入至冠脉狭窄检测模型，得到检测结果；冠脉狭窄检测模型包括主干网络、语义分析网络和狭窄分析网络，狭窄分析网络包括分类网络和回归网络；主干网络的输出分别与所述语义分析网络和所述狭窄分析网络的输入连接，检测结果包括冠脉语义分析结果和冠脉狭窄结果，分类网络用于对所述主干网络的输出结果进行分类处理，得到狭窄分类，回归网络用于对所述主干网络的输出结果进行狭窄程度估计，得到狭窄程度。
然而，对于上述第一种方案，由于需要定位每个体块的中间点，而狭窄的位置和长度都不是一层不变，因此，狭窄定位不准确，同时未能判断狭窄的等级，影响医生的诊断；而对于上述第二种方案，由于只是对待检测图像进行狭窄分类，也即只是在待检测图像上判断是否存在狭窄，因此，不能定位狭窄，无法为医生提供狭窄的位置信息。
基于此，本申请实施例提供一种医学图像的语义分析方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够同时检测出狭窄的位置以及狭窄的程度，而且狭窄的定位也比较精确，预测狭窄的准确率较高，同时可以准确提供最狭窄点，供医生参考，另外鲁棒性也较好，适用性较广。
参见图8，图8是本申请实施例提供的医学图像的语义分析方法的流程示意图，基于图8，接下来，将从输入图像、图像处理、训练网络以及推理方式这四个步骤，对本申请实施例提供的医学图像的语义分析方法进行说明。
对于输入图像的过程，本申请使用了总共329例不同医院的心脏图像，提取出总共3398例对应的冠脉拉直图(三维医学图像)，并由专业的医学影像人员进行标注，分别标注起点、终点、最狭窄点以及狭窄程度。由于每一例数据的所有冠脉拉直图可能存在公共段，此处将329例数据中的64例作为测试集，剩余的265例数据采用交叉验证的方式划分为5个fold，即212例作为训练集，53例作为验证集。
对于图像处理的过程，本申请将输入拉直图像(三维医学图像)的Spacing统一设置成X轴为0.25，Y轴为0.25，Z轴为0.25，即图像(标准医学图像)的每个体素的体积大小为0.25mm*0.25mm*0.25mm，这样既能保证语义分析效果，同时会极大地减小运算量，然后将拉直图(标准医学图像)的CT值范围[-200，800]归一化到[0.0，1.0]。针对不同长度的拉直图，分别采用不同的步长，在拉直图上平均地采集到50个图像块(医学子图像)，其中每个图像块的大小为49*49*49个体素。于是每个拉直图可以得到一个四维的数组，该数组大小为50*49*49*49。在采集图像块的过程中，每个图像块分别在x，y，z的维度上随机进行0-5个像素的移动，另外在x和y两个维度上，随机的旋转90度。
对于训练网络，本申请首先使用一个4层网络，卷积核为3×3的卷积提取50个图像块的特征，将最后输出的128通道的4*4*4的特征图拉直成一维大小为8192的特征。然后使用Transformer对特征进行降维，并学习深层的特征信息。最后通过全连接层进行分类，将每个图像块分类成无狭窄、轻度狭窄、重度狭窄以及重度狭窄。优化器使用了Adam的优化器，同时采用了余弦降火的学习率策略，使学习率随着训练过程也随之变化，有助于网络模型收敛到最优值，有效地避免发生梯度消失或爆炸。损失函数使用了交叉熵损失函数，如公式(1)所示。
对于推理方式，参见图9，图9是本申请实施例提供的医学图像的语义分析过程的示意图，基于图9，本申请的推理过程使用了overlap的方式，将输入的冠脉拉直图(三维医学图像)分成50个图像块(医学子图像)，通过神经网络的预测，获取到一个一维的长度为50的分类结果(语义分析结果)，该结果表示狭窄的程度。然后再将50的分类结果映射回原始拉直图上，会在原始拉直图上每个位置得到一个预测结果，如果同一个位置有不同的预测结果，取最大值作为最终结果，即同一点被预测为轻度狭窄和重度狭窄，则将该点预测为重度狭窄。这样通过遍历原始拉直图的结果，取每个预测的起点和终点作为狭窄的起点和终点，以这段预测的最大值作为狭窄程度的预测。最终输出冠脉拉直图上存在几个狭窄，狭窄的起点、终点、最狭窄点以及狭窄程度(目标语义分析结果)。
应用本申请上述实施例，通过获取血管组织对应的三维医学图像，按照血管组织的平均尺寸，对三维医学图像中各体素进行标准化处理，得到标准医学图像，对标准医学图像进行切分处理，得到多个医学子图像，对各医学子图像进行图像语义分析，得到各医学子图像的语义分析结果，按照医学子图像与三维医学图像的映射关系，将语义分析结果进行映射，得到三维医学图像中冠状动脉的目标语义分析结果。如此，通过按照血管组织的平均尺寸，对三维医学图像中各体素的大小进行调整，得到标准医学图像，从而使得标准医学图像中体素的大小与血管组织的平均尺寸适配，从而有效提高了图像语义分析效率；通过医学子图像与三维医学图像的映射关系，将各医学子图像的语义分析结果映射至三维医学图像中，从而确定三维医学图像中冠状动脉的狭窄区域的精确位置，提高了对医学图像进行语义分析时的准确率。
下面继续说明本申请实施例提供的医学图像的语义分析装置455的实施为软件模块的示例性结构，如图2所示，存储在存储器450的医学图像的语义分析装置455中的软件模块可以包括：
获取模块4551，用于获取模块，用于获取包括血管组织对应的三维医学图像，并按照所述血管组织的平均管径，对所述三维医学图像中各体素进行标准化处理，得到标准医学图像，所述标准医学图像中的各所述体素的尺寸相同；
切分模块4552，用于对所述标准医学图像进行切分处理，得到多个医学子图像，并对各所述医学子图像进行图像语义分析，得到各所述医学子图像的语义分析结果；其中，所述多个医学子图像中存在至少一个目标医学子图像集，所述目标医学子图像集中包括：存在至少部分重合区域的至少两个医学子图像；
映射模块4553，用于获取所述医学子图像与所述三维医学图像的映射关系，并基于所述映射关系，将各所述语义分析结果映射至所述三维医学图像中，得到所述三维医学图像中所述冠状动脉的目标语义分析结果；其中，所述目标语义分析结果，用于指示所述冠状动脉在所述三维医学图像中所处的位置、所述冠状动脉的狭窄位置，以及所述狭窄位置的狭窄程度。
在一些实施例中，所述调整模块4552，还用于获取所述三维医学图像中所述体素的体素尺寸、以及对应所述血管组织的平均管径的标准尺寸，并将所述体素尺寸调整为与所述标准尺寸相适配的尺寸，得到调整后的三维医学图像；其中，所述体素尺寸包括体素长度、体素宽度以及体素高度，所述标准尺寸包括尺寸长度、尺寸宽度以及尺寸高度；将所述调整后的三维医学图像，确定为所述标准医学图像；其中，所述标准医学图像的尺寸与所述三维医学图像的尺寸相同，所述标准医学图像和所述三维医学图像各自包括的像素点的数量不同，所述标准医学图像中所述体素的数量，与所述三维医学图像中所述体素的数量不同。
在一些实施例中，所述切分模块4552，还用于按照所述标准医学图像中各所述体素的大小，对所述标准医学图像进行均匀切分，得到多个医学子图像；其中，各所述医学子图像中所述体素的数量相同。
在一些实施例中，所述映射模块4553，还用于基于所述映射关系，将各所述语义分析结果映射至所述三维医学图像中，得到对应每个单位长度的冠状动脉的单位语义分析结果；基于各所述单位长度的冠状动脉在所述三维医学图像中的位置，将各所述单位语义分析结果进行拼接，得到所述三维医学图像中所述冠状动脉的目标语义分析结果。
在一些实施例中，所述装置还包括检测模块，所述检测模块，用于对各所述单位长度的冠状动脉对应的单位语义分析结果进行检测，得到检测结果；基于所述检测结果，确定各所述单位长度的冠状动脉对应的目标单位语义分析结果；所述映射模块4553，还用于基于各所述单位长度的冠状动脉在所述三维医学图像中的位置，将各所述目标单位语义分析结果进行拼接，得到所述三维医学图像中所述冠状动脉的目标语义分析结果。
在一些实施例中，所述检测模块，还用于当所述检测结果表征所述单位长度的冠状动脉对应多个单位语义分析结果时，基于各所述单位语义分析结果所指示的、相应所述单位长度的冠状动脉的狭窄程度，将多个所述单位语义分析结果进行比对，得到比对结果；基于所述比对结果，从多个所述单位语义分析结果中选取最大狭窄程度对应的单位语义分析结果，作为所述单位长度的冠状动脉的目标单位语义分析结果；当所述检测结果表征所述单位长度的冠状动脉对应一个单位语义分析结果时，将所述单位语义分析结果，作为所述单位长度的冠状动脉的目标单位语义分析结果。
在一些实施例中，所述切分模块4552，还用于调用目标语义分析网络，对各所述医学子图像进行图像语义分析，得到所述医学子图像中的各体素分别对应的预测概率；其中，所述预测概率表征所述体素归属于所述存在冠状动脉狭窄的冠状动脉的概率；针对各所述体素，当所述体素对应的所述预测概率大于预测概率阈值时，将所述体素确定为目标体素，所述目标体素归属于所述存在冠状动脉狭窄的冠状动脉；针对各所述医学子图像，当所述医学子图像中存在所述目标体素时，将所述医学子图像的各所述目标体素在所述医学子图像中的位置，确定为所述医学子图像的语义分析结果。
在一些实施例中，所述切分模块4552，还用于获取所述目标语义分析网络针对各所述医学子图像的平均处理时长；基于所述平均处理时长，确定所述医学子图像之间的处理时间间隔，其中，所述处理时间间隔小于所述平均处理时长；按照所述处理时间间隔，依次调用所述目标语义分析网络，对各所述医学子图像进行图像语义分析，得到所述医学子图像中的各体素分别对应的预测概率。
在一些实施例中，所述语义分析网络包括多个卷积层，以及与各所述卷积层通道数相同的反卷积层，不同的所述卷积层的所述通道数不同，所述通道数与所述平均管径适配；所述切分模块4552，还用于按照所述通道数从大至小的顺序，依次调用各所述卷积层，对各所述三维医学图像样本进行图像卷积，得到各所述三维医学图像样本的卷积结果；按照所述通道数从小至大的顺序，依次调用各所述反卷积层，对各所述三维医学图像样本的卷积结果进行图像反卷积，得到所述三维医学图像样本中各所述体素的样本预测概率。
在一些实施例中，所述装置还包括训练模块，所述训练模块，用于获取多个样本对象的血管组织分别对应的三维医学图像样本、以及语义分析网络；其中，各所述三维医学图像样本携带标签，所述标签用于指示相应所述三维医学图像样本中各所述体素的真实概率；调用所述语义分析网络，对各所述三维医学图像样本进行图像语义分析，得到所述三维医学图像样本中各体素的样本预测概率；针对各所述三维医学图像样本，获取所述标签以及对应的所述样本预测概率之间的损失，并基于所述损失，对所述语义分析网络的网络参数进行更新，得到所述目标语义分析网络。
在一些实施例中，所述训练模块，还用于确定所述三维医学图像样本中各所述体素的标签对应的参考标签，以及所述体素的样本预测概率对应的参考预测概率；其中，所述参考标签与对应的所述标签的加和为1，所述参考预测概率和对应的所述样本预测概率的加和为1；基于所述标签、所述参考标签、所述样本预测概率和所述参考预测概率，确定所述损失。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行本申请实施例上述的医学图像的语义分析方法，或三维网络模型的训练方法，例如，如图3示出的医学图像的语义分析方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的医学图像的语义分析方法，或三维网络模型的训练方法，例如，如图3示出的医学图像的语义分析方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (15)

1.一种医学图像的语义分析方法，其特征在于，所述方法包括：
获取包括血管组织对应的三维医学图像，并按照所述血管组织的平均管径，对所述三维医学图像中各体素进行标准化处理，得到标准医学图像，所述标准医学图像中的各所述体素的尺寸相同；
对所述标准医学图像进行切分处理，得到多个医学子图像，并对各所述医学子图像进行图像语义分析，得到各所述医学子图像的语义分析结果；
其中，所述多个医学子图像中存在至少一个目标医学子图像集，所述目标医学子图像集中包括：存在至少部分重合区域的至少两个医学子图像；
获取所述医学子图像与所述三维医学图像的映射关系，并基于所述映射关系，将各所述语义分析结果映射至所述三维医学图像中，得到所述三维医学图像对应的目标语义分析结果；
其中，所述目标语义分析结果，用于指示当所述血管组织包括存在冠状动脉狭窄的冠状动脉时，所述冠状动脉在所述三维医学图像中所处的位置、所述冠状动脉的狭窄位置，以及所述狭窄位置的狭窄程度。
2.如权利要求1所述的方法，其特征在于，所述按照所述血管组织的平均管径，对所述三维医学图像中各体素进行标准化处理，得到标准医学图像，包括：
获取所述三维医学图像中所述体素的体素尺寸、以及对应所述血管组织的平均管径的标准尺寸，并将所述体素尺寸调整为与所述标准尺寸相适配的尺寸，得到调整后的三维医学图像；
其中，所述体素尺寸包括体素长度、体素宽度以及体素高度，所述标准尺寸包括尺寸长度、尺寸宽度以及尺寸高度；
将所述调整后的三维医学图像，确定为所述标准医学图像；
其中，所述标准医学图像的尺寸与所述三维医学图像的尺寸相同，所述标准医学图像和所述三维医学图像各自包括的像素点的数量不同，所述标准医学图像中所述体素的数量，与所述三维医学图像中所述体素的数量不同。
3.如权利要求1所述的方法，其特征在于，所述对所述标准医学图像进行切分处理，得到多个医学子图像，包括：
按照所述标准医学图像中各所述体素的大小，对所述标准医学图像进行均匀切分，得到多个医学子图像；
其中，各所述医学子图像中所述体素的数量相同。
4.如权利要求1所述的方法，其特征在于，所述基于所述映射关系，将各所述语义分析结果映射至所述三维医学图像中，得到所述三维医学图像对应的目标语义分析结果，包括：
基于所述映射关系，将各所述语义分析结果映射至所述三维医学图像中，得到对应每个单位长度的冠状动脉的单位语义分析结果；
基于各所述单位长度的冠状动脉在所述三维医学图像中的位置，将各所述单位语义分析结果进行拼接，得到所述三维医学图像中所述冠状动脉的目标语义分析结果。
5.如权利要求4所述的方法，其特征在于，所述基于所述映射关系，将各所述语义分析结果映射至所述三维医学图像中，得到对应每个单位长度的冠状动脉的单位语义分析结果之后，所述方法还包括：
对各所述单位长度的冠状动脉对应的单位语义分析结果进行检测，得到检测结果；
基于所述检测结果，确定各所述单位长度的冠状动脉对应的目标单位语义分析结果；
所述基于各所述单位长度的冠状动脉在所述三维医学图像中的位置，将各所述单位语义分析结果进行拼接，得到所述三维医学图像中所述冠状动脉的目标语义分析结果，包括：
基于各所述单位长度的冠状动脉在所述三维医学图像中的位置，将各所述目标单位语义分析结果进行拼接，得到所述三维医学图像中所述冠状动脉的目标语义分析结果。
6.如权利要求5所述的方法，其特征在于，所述基于所述检测结果，确定各所述单位长度的冠状动脉对应的目标单位语义分析结果，包括：
当所述检测结果表征所述单位长度的冠状动脉对应多个单位语义分析结果时，基于各所述单位语义分析结果所指示的、相应所述单位长度的冠状动脉的狭窄程度，将多个所述单位语义分析结果进行比对，得到比对结果；基于所述比对结果，从多个所述单位语义分析结果中选取最大狭窄程度对应的单位语义分析结果，作为所述单位长度的冠状动脉的目标单位语义分析结果；
当所述检测结果表征所述单位长度的冠状动脉对应一个单位语义分析结果时，将所述单位语义分析结果，作为所述单位长度的冠状动脉的目标单位语义分析结果。
7.如权利要求1所述的方法，其特征在于，所述对各所述医学子图像进行图像语义分析，得到各所述医学子图像的语义分析结果，包括：
调用目标语义分析网络，对各所述医学子图像进行图像语义分析，得到所述医学子图像中的各体素分别对应的预测概率；
其中，所述预测概率表征所述体素归属于所述存在冠状动脉狭窄的冠状动脉的概率；
针对各所述体素，当所述体素对应的所述预测概率大于预测概率阈值时，将所述体素确定为目标体素，所述目标体素归属于所述存在冠状动脉狭窄的冠状动脉；
针对各所述医学子图像，当所述医学子图像中存在所述目标体素时，将所述医学子图像的各所述目标体素在所述医学子图像中的位置，确定为所述医学子图像的语义分析结果。
8.如权利要求7所述的方法，其特征在于，所述调用目标语义分析网络，对各所述医学子图像进行图像语义分析，得到所述医学子图像中的各体素分别对应的预测概率，包括：
获取所述目标语义分析网络针对各所述医学子图像的平均处理时长；
基于所述平均处理时长，确定所述医学子图像之间的处理时间间隔，其中，所述处理时间间隔小于所述平均处理时长；
按照所述处理时间间隔，依次调用所述目标语义分析网络，对各所述医学子图像进行图像语义分析，得到所述医学子图像中的各体素分别对应的预测概率。
9.根据权利要求7所述的方法，其特征在于，所述语义分析网络包括多个卷积层，以及与各所述卷积层通道数相同的反卷积层，不同的所述卷积层的所述通道数不同，所述通道数与所述平均管径适配；
所述调用所述语义分析网络，对各所述三维医学图像样本进行图像语义分析，得到所述三维医学图像样本中各体素的样本预测概率，包括：
按照所述通道数从大至小的顺序，依次调用各所述卷积层，对各所述三维医学图像样本进行图像卷积，得到各所述三维医学图像样本的卷积结果；
按照所述通道数从小至大的顺序，依次调用各所述反卷积层，对各所述三维医学图像样本的卷积结果进行图像反卷积，得到所述三维医学图像样本中各所述体素的样本预测概率。
10.如权利要求7所述的方法，其特征在于，所述调用目标语义分析网络，对各所述医学子图像进行图像语义分析，得到所述医学子图像中的各体素分别对应的预测概率之前，所述方法还包括：
获取多个样本对象的血管组织分别对应的三维医学图像样本、以及语义分析网络；其中，各所述三维医学图像样本携带标签，所述标签用于指示相应所述三维医学图像样本中各所述体素的真实概率；
调用所述语义分析网络，对各所述三维医学图像样本进行图像语义分析，得到所述三维医学图像样本中各体素的样本预测概率；
针对各所述三维医学图像样本，获取所述标签以及对应的所述样本预测概率之间的损失，并基于所述损失，对所述语义分析网络的网络参数进行更新，得到所述目标语义分析网络。
11.根据权利要求10所述的方法，其特征在于，所述获取所述标签以及对应的所述样本预测概率之间的损失，包括：
确定所述三维医学图像样本中各所述体素的标签对应的参考标签，以及所述体素的样本预测概率对应的参考预测概率；
其中，所述参考标签与对应的所述标签的加和为1，所述参考预测概率和对应的所述样本预测概率的加和为1；
基于所述标签、所述参考标签、所述样本预测概率和所述参考预测概率，确定所述损失。
12.一种医学图像的语义分析装置，其特征在于，所述装置包括：
获取模块，用于获取包括血管组织对应的三维医学图像，并按照所述血管组织的平均管径，对所述三维医学图像中各体素进行标准化处理，得到标准医学图像，所述标准医学图像中的各所述体素的尺寸相同；
切分模块，用于对所述标准医学图像进行切分处理，得到多个医学子图像，并对各所述医学子图像进行图像语义分析，得到各所述医学子图像的语义分析结果；其中，所述多个医学子图像中存在至少一个目标医学子图像集，所述目标医学子图像集中包括：存在至少部分重合区域的至少两个医学子图像；
映射模块，用于获取所述医学子图像与所述三维医学图像的映射关系，并基于所述映射关系，将各所述语义分析结果映射至所述三维医学图像中，得到所述三维医学图像对应的目标语义分析结果；其中，所述目标语义分析结果，用于指示当所述血管组织包括存在冠状动脉狭窄的冠状动脉时，所述冠状动脉在所述三维医学图像中所处的位置、所述冠状动脉的狭窄位置，以及所述狭窄位置的狭窄程度。
13.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11任一项所述的医学图像的语义分析方法。
14.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至11任一项所述的医学图像的语义分析方法。
15.一种计算机程序产品，包括计算机程序或计算机可执行指令，其特征在于，所述计算机程序或计算机可执行指令被处理器执行时，实现权利要求1至11任一项所述的医学图像的语义分析方法。
CN202310109294.0A 2023-02-13 2023-02-13 医学图像的语义分析方法、装置、设备、介质及程序产品 Pending CN116205864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310109294.0A CN116205864A (zh) 2023-02-13 2023-02-13 医学图像的语义分析方法、装置、设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310109294.0A CN116205864A (zh) 2023-02-13 2023-02-13 医学图像的语义分析方法、装置、设备、介质及程序产品

Publications (1)

Publication Number Publication Date
CN116205864A true CN116205864A (zh) 2023-06-02

Family

ID=86507318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310109294.0A Pending CN116205864A (zh) 2023-02-13 2023-02-13 医学图像的语义分析方法、装置、设备、介质及程序产品

Country Status (1)

Country Link
CN (1) CN116205864A (zh)

Similar Documents

Publication Publication Date Title
EP3306500A1 (en) Method for analysing medical treatment data based on deep learning, and intelligent analyser thereof
JP5222082B2 (ja) 情報処理装置およびその制御方法、データ処理システム
WO2018119766A1 (zh) 多模态图像处理系统及方法
US20220284584A1 (en) Computerised tomography image processing
CN110517238B (zh) Ct医学影像ai三维重建与人机交互可视化网络系统
AU2019205013B2 (en) Method and system for identification of cerebrovascular abnormalities
EP3654343A1 (en) Application of deep learning for medical imaging evaluation
US20220284583A1 (en) Computerised tomography image processing
Jadhav et al. COVID-view: Diagnosis of COVID-19 using Chest CT
CN112529834A (zh) 病理图像模式在3d图像数据中的空间分布
US20190130067A1 (en) Intelligent agents for patient management
WO2016038159A1 (en) Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir).
KR20220124665A (ko) 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법
JP5539478B2 (ja) 情報処理装置および情報処理方法
WO2006119340A2 (en) Dynamic tumor diagnostic and treatment system
US20140153795A1 (en) Parametric imaging for the evaluation of biological condition
Irene et al. Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method
Davamani et al. Biomedical image segmentation by deep learning methods
CN116309346A (zh) 医学图像的检测方法、装置、设备、存储介质及程序产品
CN112381822B (zh) 一种用于处理肺部病灶区图像的方法和相关产品
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
Chacón et al. Computational assessment of stomach tumor volume from multi-slice computerized tomography images in presence of type 2 cancer
WO2020099941A1 (en) Application of deep learning for medical imaging evaluation
US8675941B2 (en) Method for visualization of airway anatomical changes
CN112884706B (zh) 一种基于神经网络模型的图像评估系统和相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination