CN114119446A - 图像处理方法及装置、医学图像处理方法及装置 - Google Patents

图像处理方法及装置、医学图像处理方法及装置 Download PDF

Info

Publication number
CN114119446A
CN114119446A CN202010888192.XA CN202010888192A CN114119446A CN 114119446 A CN114119446 A CN 114119446A CN 202010888192 A CN202010888192 A CN 202010888192A CN 114119446 A CN114119446 A CN 114119446A
Authority
CN
China
Prior art keywords
target
vertebral body
initial
image
central point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010888192.XA
Other languages
English (en)
Inventor
江涛
王宇
迟颖
張磊
华先胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010888192.XA priority Critical patent/CN114119446A/zh
Publication of CN114119446A publication Critical patent/CN114119446A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供图像处理方法及装置、医学图像处理方法及装置,其中,所述医学图像处理方法包括获取包含椎体的医学图像,并对所述医学图像进行图像特征提取;基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。

Description

图像处理方法及装置、医学图像处理方法及装置
技术领域
本说明书实施例涉及图像处理技术领域,特别涉及图像处理方法。本说明书一个或者多个实施例同时涉及图像处理装置、医学图像处理方法、医学图像处理装置,一种计算设备,以及一种计算机可读存储介质。
背景技术
在计算机辅助脊柱手术的背景下,椎体定位、分段和分割是脊柱自动化分析的重要组成部分。由于外形相似、视野受限、病理性病变等困难,以往的方法通常是将定位、分段和分割任务分别解决,以达到较高的精度;但是通过此种方式会使得整个分析流程特别复杂,并且现有的脊柱自动化分析模型主要依靠脊柱先验信息(例如统计形状、外观和结果)对椎体进行分段,对先验信息极度依赖,使得模型的健壮性受到限制。
因此,急需提供一种可以将定位、分段和分割统一到一个网络中,以简单快捷的方式实现脊柱的每个椎体识别的医学图像处理方法。
发明内容
有鉴于此,本说明书施例提供了图像处理方法。本说明书一个或者多个实施例同时涉及图像处理装置、医学图像处理方法、医学图像处理装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种图像处理方法,包括:
获取包含预定形状目标对象的图像,并对所述图像进行图像特征提取;
基于所述图像特征确定所述每个预定形状目标对象的初始中心点、调整向量以及初始类别;
根据所述调整向量对所述每个预定形状目标对象的初始中心点进行调整,以获得所述每个预定形状目标对象的目标中心点以及所述目标中心点的连接关系;
基于所述目标中心点的连接关系对所述每个预定形状目标对象的初始类别进行调整,以获得所述每个预定形状目标对象的目标类别和目标标签。
根据本说明书实施例的第二方面,提供了一种医学图像处理方法,包括:
获取包含椎体的医学图像,并对所述医学图像进行图像特征提取;
基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。
根据本说明书实施例的第三方面,提供了一种图像处理装置,包括:
第一图像获取模块,被配置为获取包含预定形状目标对象的图像,并对所述图像进行图像特征提取;
第一确定模块,被配置为基于所述图像特征确定所述每个预定形状目标对象的初始中心点、调整向量以及初始类别;
第一调整模块,被配置为根据所述调整向量对所述每个预定形状目标对象的初始中心点进行调整,以获得所述每个预定形状目标对象的目标中心点以及所述目标中心点的连接关系;
第一获得模块,被配置为基于所述目标中心点的连接关系对所述每个预定形状目标对象的初始类别进行调整,以获得所述每个预定形状目标对象的目标类别和目标标签。
根据本说明书实施例的第四方面,提供了一种医学图像处理装置,包括:
第二图像获取模块,被配置为获取包含椎体的医学图像,并对所述医学图像进行图像特征提取;
第二确定模块,被配置为基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
第二调整模块,被配置为根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
第二获得模块,被配置为基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。
根据本说明书实施例的第五方面,提供了一种医学图像处理方法,包括:
基于用户的调用请求为所述用户展示图像输入界面;
接收所述用户基于所述图像输入界面输入的包含椎体的医学图像,并对所述医学图像进行图像特征提取;
基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签;
根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
根据本说明书实施例的第六方面,提供了一种医学图像处理装置,包括:
界面展示模块,被配置为基于用户的调用请求为所述用户展示图像输入界面;
图像接收模块,被配置为接收所述用户基于所述图像输入界面输入的包含椎体的医学图像,并对所述医学图像进行图像特征提取;
第三确定模块,被配置为基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
第三调整模块,被配置为根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
第三获得模块,被配置为基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签;
第一分割模块,被配置为根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
根据本说明书实施例的第七方面,提供了一种医学图像处理方法,包括:
接收用户发送的携带有包含椎体的医学图像的调用请求,并对所述医学图像进行图像特征提取;
基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签;
根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
根据本说明书实施例的第八方面,提供了一种医学图像处理装置,包括:
请求接收模块,被配置为接收用户发送的携带有包含椎体的医学图像的调用请求,并对所述医学图像进行图像特征提取;
第四确定模块,被配置为基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
第四调整模块,被配置为根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
第四获得模块,被配置为基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签;
第二分割模块,被配置为根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
根据本说明书实施例的第九方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,其中,所述处理器执行所述计算机可执行指令时实现所述图像处理方法或所述医学图像处理方法的步骤。
根据本说明书实施例的第十方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述图像处理方法或所述医学图像处理方法的步骤。
本说明书一个实施例实现了图像处理方法及装置、医学图像处理方法及装置,其中,所述医学图像处理方法包括获取包含椎体的医学图像,并对所述医学图像进行图像特征提取;基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签;
所述医学图像处理方法通过提取的图像特征对椎体的目标中心点、调整向量以及初始类别进行获取,然后通过调整向量进行椎体的目标中心点位置精调和类别关系的重建操作,从而获得椎体的目标中心的精确定位,再利用重建的椎体的类别关系得到椎体的分段结果,进而获得椎体的目标类别和目标标签,最后通过该椎体的目标类别和目标标签极大的提升该椎体的分类准确性。
附图说明
图1是本说明书一个实施例提供的应用于对椎体识别的一种医学图像处理方法的具体示意图;
图2是本说明书一个实施例提供的一种医学图像处理方法的流程图。
图3是本说明书一个实施例提供的第一种医学图像处理方法的流程图;
图4是本说明书一个实施例提供的一种医学图像处理方法中的椎体的目标中心点的链式结构示意图;
图5是本说明书一个实施例提供的一种医学图像处理方法的处理过程示意图;
图6是本说明书一个实施例提供的一种医学图像处理方法中具体的椎体分割示意图;
图7是本说明书一个实施例提供的一种医学图像处理装置的结构示意图。
图8是本说明书一个实施例提供的第一种医学图像处理装置的结构示意图;
图9是本说明书一个实施例提供的第二种医学图像处理方法的流程图;
图10是本说明书一个实施例提供的第二种医学图像处理装置的结构示意图;
图11是本说明书一个实施例提供的第三种医学图像处理方法的流程图;
图12是本说明书一个实施例提供的第三种医学图像处理装置的结构示意图;
图13是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
脊柱:由多个依次相连的椎体构成。
定位:要求定位每个椎体的中心点。
分段:椎体从上到下依次类别为C1-C7(颈椎),T1-T12(胸椎),L1-L5(腰椎),S1-S2(骶椎)共26个,分段要求给出每个椎体对应的类别。
分割:在3D的CT(Computed Tomography,电子计算机断层扫描)影像中将每一个椎体分离出来。
Vnet:虚拟网络,一种基于体积、基于FCN(Fully Convolutional Networks,完全卷积网络)的三维图像分割网络。
在本说明书中,提供了图像处理方法。本说明书一个或者多个实施例同时涉及图像处理装置、医学图像处理方法、医学图像处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了本说明书一个实施例提供的应用于对椎体识别的一种医学图像处理方法的具体示意图。
图1的应用场景中包括图像采集终端102和服务器104,具体的,图像采集终端102采集包含椎体的3D的CT影像,然后将该CT影像发送至服务器104,服务器104接收到该CT影像后,首先将该CT影像输入Vnet中以获得该CT影像的基础图像特征,再将基础图像特征输入多层卷积层进行卷积,以获得卷积后的基础图像特征,然后分别将卷积后的基础图像特征输入第一特征提取器、第二特征提取器、第三特征提取器、第四特征提取器、第五特征提取器中进行目标图像特征提取,获得第一目标图像特征、第二目标图像特征、第三目标图像特征、第四目标图像特征、第五目标图像特征,其中,第一特征提取器、第二特征提取器、第三特征提取器、第四特征提取器、第五特征提取器针对其对应的任务不同,其提取的特征也是不同的,但是实际应用中,由于热图网络、关系向量场网络、偏移向量场网络以及椎体识别网络的输出结果均与椎体的中心点相关,因此热图网络、关系向量场网络、偏移向量场网络以及椎体识别网络可以共享一个分支的特征,即可以共享第一目标图像特征、第二目标图像特征、第三目标图像特征或第四目标图像特征。
将第一目标图像特征输入热图网络,获得该CT影像中椎体的初始中心点;将第二目标图像特征输入关系向量场网络,获得该CT影像中椎体的关系向量;将第三目标图像特征输入偏移向量场网络,获得该CT影像中椎体的偏移向量;将第四目标图像特征输入椎体识别网络,获得该CT影像中椎体的初始类别以及初始分段结果;将第五目标图像特征输入二值分割网络,获得该CT影像中椎体的二值化图像;其中,热图网络、关系向量场网络、偏移向量场网络、椎体识别网络以及二值分割网络的网络结构可以与Vnet的网络相同,但是由于网络层数较少,体量较小,在实际应用中,也可以称为head,例如热图网络为热图head、关系向量场网络为关系向量场head,偏移向量场网络为偏移向量场head,椎体识别网络为椎体识别head以及二值分割网络为二值分割head。
在获得该CT影像中椎体的初始中心点、关系向量、偏移向量、初始类别以及二值化图像之后,通过关系向量和偏移向量对该CT影像中椎体的初始中心点的位置进行精调和类别关系重建,以获得该CT影像中椎体的精确定位,即目标中心点,然后利用最大化似然算法进一步得到该CT影像中各椎体的目标中心点的分段结果,最后根据偏移向量,将二值化图像中的椎体的前景像素点分配给特定的椎体的目标中心点,从而生成该CT影像中各椎体的分割图,通过此种将椎体的定位、识别、分割统一到一个网络中的模式,可以简单明确的实现对CT影像中各椎体的分割。
实际应用中,本说明书实施例提供的图像处理方法不仅可以应用在对椎体进行识别和/或分割的医学图像领域,也可以应用在对医学领域的医学图像中的其他器官进行识别和/或分割的过程,例如对血管的识别、对手骨脚骨的识别以及对胸腔、口腔、头腔的识别等;此外,该图像处理方法还可以应用于任何非医学领域,例如可以应用在一些管道领域,基于该图像处理方法实现对一段段管道的识别等。
参见图2,图2示出了根据本说明书一个实施例提供的一种医学图像处理方法的流程图,具体包括以下步骤。
步骤202:获取包含预定形状目标对象的图像,并对所述图像进行图像特征提取。
其中,预定形状目标对象包括但不限于任何领域的特定形状的目标对象,例如管道领域的一些特殊形状的管道,或者是医学领域的不规则的头骨、手骨等。
具体实施时,在获取包含预定形状目标对象的图像后,需要对该图像进行图像特征提取,以该图像的图像特征进行后续图像处理,具体实现方式如下所述:
所述对所述图像进行图像特征提取包括:
基于特征提取模型对所述图像进行初始图像特征提取,获得所述初始图像特征;
通过多层卷积层对所述初始图像特征进行卷积处理,获得卷积处理后的图像特征;
根据预设任务对所述卷积处理后的图像特征进行再次提取,获得第一图像特征和第二图像特征,所述预设任务包括第一任务、第二任务和第三任务。
步骤204:基于所述图像特征确定所述每个预定形状目标对象的初始中心点、调整向量以及初始类别。
步骤206:根据所述调整向量对所述每个预定形状目标对象的初始中心点进行调整,以获得所述每个预定形状目标对象的目标中心点以及所述目标中心点的连接关系。
步骤208:基于所述目标中心点的连接关系对所述每个预定形状目标对象的初始类别进行调整,以获得所述每个预定形状目标对象的目标类别和目标标签。
可选的,所述获得所述每个预定形状目标对象的目标类别和目标标签之后,还包括:
根据所述图像特征确定所述每个预定形状目标对象的二值化结果,并基于所述每个预定形状目标对象的二值化结果、目标类别、目标标签以及目标中心点对所述每个预定形状目标对象进行分割。
可选的,所述第一任务由第一网络、第二网络实现,所述第二任务由第三网络实现;
相应的,所述基于所述图像特征确定所述每个预定形状目标对象的初始中心点、调整向量以及初始类别包括:
将所述第一图像特征输入所述第一网络,获得所述每个预定形状目标对象的初始中心点;
将所述第一图像特征输入所述第二网络,获得所述每个预定形状目标对象的调整向量;以及
将所述第一图像特征输入所述第三网络,获得所述每个预定形状目标对象的初始类别。
可选的,所述将所述第一图像特征输入所述第一网络,获得所述每个预定形状目标对象的初始中心点包括:
将所述第一图像特征输入所述第一网络,获得所述每个预定形状目标对象中每个像素为初始中心点的概率,并根据所述概率确定所述每个预定形状目标对象的初始中心点。
可选的,所述根据所述概率确定所述每个预定形状目标对象的初始中心点之后,还包括:
基于所述每个预定形状目标对象中的每个像素、初始中心点以及预设半径确定所述每个预定形状目标对象的初始中心点区域。
可选的,所述将所述第一图像特征输入所述第二网络,获得所述每个预定形状目标对象的调整向量包括:
将所述第一图像特征输入关系向量网络,获得相邻两个预定形状目标对象的初始中心点的关系向量;以及
将所述第一图像特征输入偏移向量网络,获得所述每个预定形状目标对象的初始中心点区域中每个像素,对应于所述每个预定形状目标对象的初始中心点的偏移向量。
可选的,所述根据所述调整向量对所述每个预定形状目标对象的初始中心点进行调整,以获得所述每个预定形状目标对象的目标中心点以及所述目标中心点的连接关系包括:
将所述每个预定形状目标对象的初始中心区域中每个像素的值以及所述偏移向量输入预设计算公式,获得所述每个预定形状目标对象的初始中心区域中每个像素为中心点的概率,以及将所述概率最大的像素作为所述每个预定形状目标对象的候选中心点;
基于所述每个预定形状目标对象的候选中心点以及相邻两个预定形状目标对象的初始中心点的关系向量,获得所述每个预定形状目标对象的目标中心点以及所述目标中心点的连接关系。
可选的,所述基于所述目标中心点的连接关系对所述每个预定形状目标对象的初始类别进行调整,以获得所述每个预定形状目标对象的目标类别包括:
基于所述目标中心点的连接关系采用最大化似然算法对所述每个预定形状目标对象的初始类别进行调整,以获得所述每个预定形状目标对象的目标类别和目标标签。
可选的,所述第三任务由第四网络实现;
相应的,所述根据所述图像特征确定所述每个预定形状目标对象的二值化结果包括:
将所述第二图像特征输入所述第四网络,获得所述每个预定形状目标对象的二值化结果。
可选的,所述基于所述每个预定形状目标对象的二值化结果、目标类别、目标标签以及目标中心点对所述每个预定形状目标对象进行分割包括:
获取所述每个预定形状目标对象的二值化后的每个像素的坐标,并基于所述每个像素的坐标、所述偏移向量以及所述每个预定形状目标对象的目标中心点,确定所述每个像素最近的目标中心点;
基于所述每个像素最近的目标中心点的目标类别以及目标标签,确定所述每个像素的目标类别以及目标标签,并根据所述每个像素的目标类别以及目标标签实现对所述每个预定形状目标对象进行分割。
需要说明的是,本说明书实施例提供的图像处理方法中与下述实施例的第一种医学图像处理方法的实施例相对应的部分,可以参见上述第一种医学图像处理方法的实施例中的详细描述,在此不再赘述。
本说明书实施例提供的所述图像处理方法,通过提取的图像特征对预定形状目标对象的目标中心点、调整向量、初始类别以及二值化结果进行获取,然后通过调整向量进行预定形状目标对象的目标中心点位置精调和类别关系的重建操作,从而获得预定形状目标对象的目标中心的精确定位,再利用重建的椎体的类别关系得到预定形状目标对象的分段结果,最后根据调整向量将预定形状目标对象的二值化结果中的像素点分配给对应的预定形状目标对象的目标中心点,,以生成各个预定形状目标对象的分割图,通过将预定形状目标对象的定位、识别以及分割统一到一个网络中完成,简单、高效的实现对图像中预定形状目标对象的分割。
参见图3,图3示出了根据本说明书一个实施例提供的第一种医学图像处理方法的流程图,具体包括以下步骤。
步骤302:获取包含椎体的医学图像,并对所述医学图像进行图像特征提取。
其中,包含椎体的医学图像包括但不限于包含椎体的3D的CT影像,本说明书实施例中,包含椎体的医学图像可以从医学影像库中进行获取,也可以直接获取CT机即时扫描出的医学图像。
具体实施时,在获取包含椎体的医学图像后,需要对该医学图像进行图像特征提取,以该医学图像的图像特征进行后续图像处理,具体实现方式如下所述:
所述对所述医学图像进行图像特征提取包括:
基于特征提取模型对所述医学图像进行初始图像特征提取,获得所述初始图像特征;
通过多层卷积层对所述初始图像特征进行卷积处理,获得卷积处理后的图像特征;
根据预设任务对所述卷积处理后的图像特征进行再次提取,获得第一图像特征和第二图像特征,所述预设任务包括第一任务、第二任务和第三任务。
其中,特征提取模型可以为预设的、可以实现椎体的医学图像的图像特征提取的任意一种特征提取模型,例如Vnet模型等。
以特征提取模型为Vnet模型,医学图像为3D脊柱volume图像为例,首先基于Vnet模型对该3D脊柱volume图像进行初始图像特征提取,获得该3D脊柱volume图像的初始图像特征,然后再通过多层卷积层对该3D脊柱volume图像特征进行卷积,以获得卷积处理后的图像特征,最后再基于不同的预设任务对卷积处理后的图像特征进行再次提取,以实现获得第一图像特征和第二图像特征。
实际应用中,Vnet模型通常会输出医学图像的初始图像特征,这些初始图像特征的应用范围比较宽泛,例如可以应用在一些对图像的识别、检测中,但是识别效率以及检测效果并不是很好,在此种情况下,本说明书实施例会对初始图像特征进行卷积之后,根据预设任务进行特征提取,其中,预设任务可以理解为后续具体需要利用医学图像的图像特征要完成的事项,例如定位任务、分段任务等,可以理解的是,预设任务的不同,需要的图像特征也是不同的,那么基于预设任务再次提取出的图像特征可以较为贴合后续处理任务,使得后续的任务处理更加的精确,并且由于本说明书实施例的医学图像处理方法是由整个大的预测网络实现,那么在本说明书实施例的预测网络的具体训练阶段,通过此种方式,利用再次提取出的样本图像的图像特征对该预测网络进行训练时,预测网络的学习效果和优化效果也更好。
具体实施时,多层卷积层可以理解为三层或三层以上,初始图像特征通过多层卷积处理后再次输入到特征提取器中,根据预设任务实现对卷积处理后的图像特征的进一步特征提取,以获得再次特征提取后的第一图像特征和第二图像特征,其中,预设任务包括但不限于第一任务,第二任务以及第三任务,而在具体应用过程中,第一任务可以理解为椎体的中心点获取任务,第二任务可以理解为椎体的分段任务,第三任务可以理解为椎体的分割任务。
具体应用时,为了可以捕捉多尺度的特征,本说明书实施例的特征提取模型选择V-Net[9]作为特征提取器,V-Net[9]能够同时保持高层语义和底层图像细节,以保证图像特征的完成性。此外,V-Net采用编解码模式,其解码器输出的特征图与原始椎体具有相同的分辨率,这对后续对椎体进行准确的3D分割很重要,具体的,提取出的初始图像特征再通过三个级联卷积进一步处理,以获得第一图像特征和第二图像特征。
本说明书实施例中,通过基础特征提取模型实现对医学图像的初次图像特征提取,再将初次提取出的初始图像特征经过卷积处理后,基于预设任务进行再次的图像特征提取,以使得图像特征与后续待实现的任务之间建立关联关系,使得后续对待实现的任务可以基于图像特征进行更为准确、高效的处理。
步骤304:基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别。
在获得医学图像的第一图像特征和第二图像特征之后,则需要基于第一图像特征实现对每个椎体的初始中心点、调整向量以及初始类别的获得,具体实现方式如下所述:
所述第一任务由第一网络、第二网络实现,所述第二任务由第三网络实现;
相应的,所述基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别包括:
将所述第一图像特征输入所述第一网络,获得所述每个椎体的初始中心点;
将所述第一图像特征输入所述第二网络,获得所述每个椎体的调整向量;以及
将所述第一图像特征输入所述第三网络,获得所述每个椎体的初始类别。
其中,第一网络、第二网络、第三网络均为本说明书实施例的预测网络中的一部分,实际应用中每个网络也可以理解为一个head,那么第一网络则可以为热图head,第二网络则可以为向量场head,第三网络则可以为椎体识别head。
具体的,第一任务由第一网络和第二网络实现,第二任务由第三网络实现,仍以上述为例,若第一任务为椎体的中心点获取任务,第二任务为椎体的分段任务的情况下,那么椎体的中心点的获取任务则是由热图head以及向量场head实现,椎体的分段任务则是由椎体识别head实现。
实际应用中,由于第一任务和第二任务均是与椎体的中心点相关,因此第一任务和第二任务的实现可以共享一个特征,即第一图像特征。
具体实施时,将第一图像特征输入热图head,可以获得每个椎体的初始中心点,将第一图像特征输入向量场head,可以获得每个椎体的调整向量,将第一图像特征输入椎体识别head可以获得每个椎体的初始类别以及初始标签。
本说明书实施例中,通过不同的head对预设任务进行实现,以获得每个椎体的初始中心点、调整向量、初始类别以及初始标签,以使得后续可以通过每个椎体的初始中心点、调整向量、初始类别以及初始标签等精确的获得每个椎体的目标中心点以及分段结果。
本说明书另一实施例中,所述将所述第一图像特征输入所述第一网络,获得所述每个椎体的初始中心点包括:
将所述第一图像特征输入所述第一网络,获得所述每个椎体中每个像素为初始中心点的概率,并根据所述概率确定所述每个椎体的初始中心点。
实际应用中,要根据每个椎体的目标中心点来实现椎体的定位,为了有效的实现这一点,本说明书实施例通过热图head来预测每个椎体的像素对应椎体的中心点的概率,并且可以使用二值热图代替传统的高斯热图作为监督图像,在具体应用中,椎体的真实热图图像h(x,x*)通过公式1获得:
Figure BDA0002656172980000191
其中,x*表示椎体的初始中心点,x表示3D脊柱volume图像中的像素,R表示试验中选择的半径,可以设置为6。
热图head预测像素位于以相应椎体中心点为中心的半径R的球体内的概率,然后将概率最大的像素作为相应的椎体的初始中心点。目标激活在球体内部等于1,在其他地方等于0,即球体内部的像素以1表示,球体外部的像素以0表示;因此,椎体的中心点检测可以看做一项二值分类任务,后续还可以通过过滤预测热图中每个区域的局部最大值来确定椎体的目标中心点。
具体的,将第一图像特征输入热图head,通过热图head可以预测出每个椎体的初始中心点,基于椎体的初始中心点、3D脊柱volume图像中的像素以及预设半径,利用上述公式1可以获得每个椎体的热图,而每个椎体的热图可以理解为下述实施例中每个椎体的初始中心点区域。
本说明书实施例中,通过热图head有效的确定每个椎体的初始中心区域,并且基于每个椎体的初始中心区域获取每个椎体的热图,以使得后续通过每个椎体的热图中的像素实现对每个椎体的初始中心点的精确调整。
具体实施时,所述根据所述概率确定所述每个椎体的初始中心点之后,还包括:
基于所述每个椎体中的每个像素、初始中心点以及预设半径确定所述每个椎体的初始中心点区域。
具体的,基于每个椎体中的每个像素、初始中心点以及预设半径,利用上述公式1,以计算获得每个椎体的初始中心点区域,也可以称为每个椎体的热图,在准确的确定了每个椎体的初始中心点区域的情况下,后续可以基于每个初始中心点区域中的像素实现对每个椎体的目标中心点的精确调整,以提升椎体的定位准确性。
本说明书另一实施例中,所述将所述第一图像特征输入所述第二网络,获得所述每个椎体的调整向量包括:
将所述第一图像特征输入关系向量网络,获得相邻两个椎体的初始中心点的关系向量;以及
将所述第一图像特征输入偏移向量网络,获得所述每个椎体的初始中心点区域中每个像素对应于所述每个椎体的初始中心点的偏移向量。
具体的,第二网络包括关系向量网络和偏移向量网络,在第二网络为向量场head的情况下,关系向量网络可以理解为关系向量场head,偏移向量网络可以理解为偏移向量场head。
实际应用中,在将第一图像特征输入第一网络获取每个椎体的初始中心点的同时,也会将第一图像特征输入关系向量场head,以获得相邻两个椎体的初始中心点的关系向量,以及将第一图像特征输入偏移向量场head,以获得每个椎体的初始中心点区域中每个像素对应于每个椎体的初始中心点的偏移向量。
具体实施时,为了得到椎体的准确定位和识别,本说明书实施例通过向量场head来预测两种类型的向量:一个三维局部偏移向量用于确定每个椎体的精确的关键点坐标,一个三维关系向量来得到正确的各椎体之间的拓扑关系,即通过偏移向量场head获得三维局部偏移向量,用于确定每个椎体的精确的目标中心点坐标,通过关系向量场head获得三维关系向量,用户获得正确的各椎体之间的拓扑关系。而获得的偏移向量构成偏移矢量图,偏移矢量图有三个通道,用于表示三维空间中椎体如公式1所规定的球形区域内各像素对应于各椎体的各中心点的偏移向量;同时获得的关系向量构成关系向量图,关系向量图有2*3通道,用于表示指向两个相邻椎体的中心点的向量,代表脊柱的链式结构,而顶部和底部的椎体的关系向量仅指向它们自己的中心,因为顶部和底部的椎体是链的起点和终点。并且向量场head预先训练时,可以使用L1损失函数来惩罚矢量场上的误差,并且只在圆盘内部反向传播。
本说明书实施例中,通过关系向量场head和偏移向量场head获得椎体的关系向量以及偏移向量,使得后续可以通过该关系向量和偏移向量对椎体的初始中心点进行调整,以获得每个椎体的初始中心点的准确定位和识别。
步骤306:根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系。
其中,调整向量包括关系向量和偏移向量,那么根据关系向量和偏移向量对每个椎体的初始中心点进行调整,以获得每个椎体的目标中心点以及目标中心点的连接关系的具体实现方式如下所述:
所述根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系包括:
将所述每个椎体的初始中心区域中每个像素的值以及所述偏移向量输入预设计算公式获得所述每个椎体的初始中心区域中每个像素为中心点的概率,以及将所述概率最大的像素作为所述每个椎体的候选中心点;
基于所述每个椎体的候选中心点以及相邻两个椎体的初始中心点的关系向量,获得所述每个椎体的目标中心点以及所述目标中心点的连接关系。
具体的,可以在偏移向量场可进行Hough-voting(霍夫投票),使用热图中相应的激活值作为投票权重来生成得分图,通过得分图可以确定热图中每个椎体的球形区域内每个像素点为中心点的概率。
实际应用中,预设计算公式可以为公式2,通过公式2可以获得热图中每个椎体的球形区域内每个像素点的投票结果:
Figure BDA0002656172980000221
其中,F(x+V(x)-y)表示三线性插值核,x表示3D脊柱volume图像中的像素,H(x)表示像素的坐标,V(x)表示像素的偏移向量,y表示所有满足||x+V(x)-y||<1条件的值,即可以理解为投票结果。
具体的,通过公式2可以计算得到每个椎体的球形区域内每个像素的投票结果,然后将投票结果转化为概率值,将概率值以得分图的形式体现在每个椎体的球形区域的每个像素上,最后将得分图中与每个椎体的球形区域的像素的局部最大值相对应的位置确定为候选中心点。
在获得候选中心点之后,将这些候选中心点形成脊柱链式结构并将这些候选中心点形成队列,具体的,首先选择候选中心点中的最高分点作为广度优选搜索的初始种子,接下来,出队列的点加上它们的关系向量将指向它们相邻椎体的潜在位置,当最小距离大于阈值(例如阈值设置为50像素)或预测的相邻点为其本身时,将终止搜索,将候选中心点队列中剩余的候选中心点作为假阳点被丢弃,最终基于保留下来的这些候选重点形式准确的脊柱链式结构,该脊柱链式结构即可表示所有椎体的目标中心点的连接关系。
参见图4,图4为本说明实施例的医学图像处理方法中的椎体的目标中心点的链式结构示意图。
具体的,图4为根据上述获得椎体的目标中心点的处理方式生成的最终的椎体的目标中心点的流程示意图,其中,图4(a)表示椎体的初始中心点的热图,图4(b)表示使用偏移向量场对椎体的初始中心点的位置细化后的候选中心点图,图4(c)表示使用关系向量场重建脊柱的链式结构的示意图。
本说明书实施例中,利用偏移向量能够得到更准确的每个椎体的中心点的位置,利用关系向量能够得到更可靠的脊柱空间链式结构,能够有效的过滤掉假阳点,使得后续在椎体分段的时候可以基于重建的脊柱链式结构实现对椎体的精确分段。
步骤308:基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。
实际应用中,由于相邻椎体的相似性,即使人为也很难直接识别单个椎体的类别以及标签,现有技术中,经验丰富的医生一般会首先定位具有明显骨性特征的椎体,然后根据其相对位置推断出其余椎体,因此,本说明书实施中,会预先根据脊柱的解剖特征将脊柱分为5个独立的类别,例如C2类、T1类、T11类、L5类、S1等,然后基于上述5个独立类别训练第三网络,即椎体识别head,使得椎体识别head成为一个分类子网,在本说明书实施例中可以预测上述脊柱椎体的五种类别,并且生成与原始体积具有相同分辨率的概率图;在具体训练过程中,只在位于椎体中心半径为R的球体内计算并反向传播交叉熵损失。
具体实施时,采用上述椎体识别head,一个给定椎体的目标中心点的类别可以由具有最大响应的通道来确定,但是此种方式完全忽略了相邻椎体的约束,在许多情况下会出现不现实的冲突。因此,考虑到每个椎体的目标中心点的连接关系,即链式结构可以由公式3中的关系向量构造,实际应用中,选择最大总体似然算法对通过椎体识别head识别的每个椎体的初始类别进行准确调整,具体实现方式如下所述:
所述基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别包括:
基于所述目标中心点的连接关系采用最大化似然算法对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。
其中,最大化似然算法采用公式4表示:
Figure BDA0002656172980000241
其中,M(j)表示从一个类到相应通道的映射,p表示概率,k表示椎体。
具体的,通过椎体识别head识别出五类的椎体,然后基于最大化似然算法计算出每个椎体的初始类别,最后基于目标中心点的链式结构图对每个椎体的初始类别进行调整,以获得每个椎体的目标类别和目标标签;例如椎体1的初始类别为L1,椎体2的初始类别为L5,但是椎体的链式结构中可以明确看出椎体1和椎体1是两个相邻的椎体,那么此时就可以基于椎体的链式结构对椎体1或椎体2的初始类别类别进行调整,以获得椎体1和椎体2的准确的目标类别,然后基于目标类别获得准确的目标标签,例如椎体1具体为哪个椎体,椎体2具体为哪个椎体。
本说明书实施例提供的所述医学图像处理方法,通过提取的图像特征对椎体的目标中心点、调整向量以及初始类别进行获取,然后通过调整向量进行椎体的目标中心点位置精调和类别关系的重建操作,从而获得椎体的目标中心的精确定位,再利用重建的椎体的类别关系得到椎体的分段结果,进而获得椎体的目标类别和目标标签,最后通过该椎体的目标类别和目标标签极大的提升该椎体的分类准确性。
本说明书另一实施例中,所述获得所述每个预定形状目标对象的目标类别和目标标签之后,还包括:
根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割。
具体的,所述第三任务由第四网络实现;
相应的,所述根据所述图像特征确定所述每个椎体的二值化结果包括:
将所述第二图像特征输入所述第四网络,获得所述每个椎体的二值化结果。
其中,第四网络可以理解为二值化head,将第二图像特征输入二值化head中,可以获得每个椎体的二值化结果,即二值化前景像素,最后再基于每个椎体的二值化结果、目标类别、目标标签以及目标中心点对每个椎体进行分割。
本说明书实施例中将具有挑战性的椎体分割问题分解为二值分割问题和实例分配问题。首先通过二值分割将整个脊柱的区域的像素点分割出来,再通过上述获得的每个椎体的目标标签和目标类别获得每个像素点的类别和标签,以实现每个椎体的准确轮廓确定。
具体实施时,二值化head将输出两通道的结果,对应于将整个脊柱分割出来,脊柱区域的每个像素从其预测的目标中心点最近的目标中心点获取其目标类别和目标标签,其计算依据欧几里德距离计算:d(x+v,x*i),其中x是像素的坐标,v是向量场head预测的偏移向量,x*i是椎骨中心;具体实现方式如下所述:
所述基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割包括:
获取所述每个椎体的二值化后的每个像素的坐标,并基于所述每个像素的坐标、所述偏移向量以及所述每个椎体的目标中心点,确定所述每个像素最近的目标中心点;
基于所述每个像素最近的目标中心点的目标类别以及目标标签确定所述每个像素的目标类别以及目标标签,并根据所述每个像素的目标类别以及目标标签实现对所述每个椎体进行分割。
具体的,将第二图像特征输入二值化head,可以获得整个脊柱区域的像素以及每个像素的坐标,然后通过上述欧几里德距离计算出每个像素距离最近的目标中心点,然后将给距离最近的目标中心点的椎体的目标类别和目标标签作为其像素的目标类别和目标标签,以此类推,通过上述方式可以获得整个脊柱区域的每个像素的目标类别和目标标签,通过每个像素的目标类别和目标标签可以确定脊柱的每个椎体的准确轮廓,最后基于每个椎体的准确轮廓可以实现对脊柱的椎体的准确、便捷的分割,以获得该医学图像中每个椎体的分割图。
本说明书实施例提供的所述医学图像处理方法通过使用统一框架同时实现定位、分段和分割几个任务,且任务之间相互关联,通过定位获得的偏移向量场可以调整得到更加准确的椎体的目标中心点的位置,以及通过定位获得的关系向量场得到脊柱各椎体的链式结构,能够显著过滤掉假阳的椎体中心点,最后通过准确的椎体的目标中心点对椎体进行分段以及分割等,通过本说明书实施例的医学图像处理方法极大的提高了对医学图像中的椎体进行分割的性能。
下述结合附图5,以本说明书提供的医学图像处理方法在对脊柱CT影像中的椎体分割的应用为例,对所述医学图像处理方法进行进一步说明。其中,图5示出了本说明书一个实施例提供的一种医学图像处理方法的处理过程示意图,具体包括以下步骤。
步骤一:获取一张脊柱CT影像,且将该脊柱CT影像处理为多张3D脊柱volume图像。
步骤二:将每张3D脊柱volume图像分别输入Vnet中进行初次特征提取。
步骤三:将初次特征提取后的3D脊柱volume图像特征通过三个级联卷积进行卷积处理,然后将卷积处理后的3D脊柱volume图像特征基于预设任务进行再次的特征提取。
本说明书实施例中,预设任务可以看作椎体的中心点获取任务、椎体的偏移向量获取任务、椎体的关系向量获取任务、椎体的类别获取任务以及椎体的二值化结果获取任务,实际应用中,除椎体的二值化结果获取任务之外,其他的预设任务由于都与中心点相关,因此其他的预设任务可以共享一个分支的特征,而二值化结果的获取任务使用一个分支的特征。
步骤四:将卷积处理后的3D脊柱volume图像特征分别输入热图head、关系向量场head、偏移向量场head、椎体识别head以及二值分割head,以获得3D脊柱volume图像中每个椎体的初始中心点、关系向量、偏移向量、初始类别以及二值化结果。
步骤五:通过3D脊柱volume图像中每个椎体的关系向量、偏移向量对椎体的初始中心点以及初始类别进行调整,以获得每个椎体的目标中心点和目标类别。
步骤六:根据偏移向量,将二值分割head输出的椎体的二值化结果中椎体的每个像素点分配给其距离最近的椎体的目标中心点,基于距离最近的椎体的目标中心点的目标类别为每个像素点匹配对应的目标类别,且基于每个像素点的目标类别生成3D脊柱volume图像中每个椎体的分割图。
参见图6,图6示出了本说明书实施例提供的医学图像处理方法中具体的椎体分割示意图,即具体的对3D脊柱volume图像中每个椎体处理后获得的初始中心点、目标中心点以及分割的示意图。
具体的,图6(a)可以看作3D脊柱volume图像中每个椎体的侧面的初始中心点的示意图,图6(b)可以看作3D脊柱volume图像中每个椎体的正面的初始中心点的示意图,图6(c)可以看作3D脊柱volume图像中每个椎体的侧面的目标中心点的示意图,图6(d)可以看作3D脊柱volume图像中每个椎体的正面的目标中心点的示意图,图6(e)可以看作3D脊柱volume图像中每个椎体的分割示意图。
本说明书实施例提供的所述医学图像处理方法中采用的网络框架主要由六部分组成:(1)特征提取器;(2)热图head;(3)关系向量场head;(4)偏移向量场head;(5)椎体识别head;(6)二值分割head。实际应用中,在对该框架的训练期间,将以多任务的方式向五个head提供不同的监督信号,而在推理阶段,即实际应用阶段,首先将3D脊柱volume图像输入到特征提取器中,生成的特征被不同的head部同时使用,在具体的后处理阶段,通过对偏移向量场和关系向量场进行椎体的中心点位置精调和类别关系重建操作,从热图中获得椎体中心点的精确的定位,然后利用最大化似然算法,进一步从得到各椎体中心点的分段结果,最后,根据偏移向量场,将二值分割中椎体的前景像素点分配给特定的椎体中心点(即每个像素点距离最近的椎体中心点),从而生成各椎体的分割图。本说明书实施例的医学图像处理方法采用的此网络框架是完全卷积和端到端的方式,通过此种端到端的方式将椎体定位、识别和分割统一到一个网络中,其次,提供了一种更简单、更明确的方法,将脊柱的解剖先验信息嵌入到卷积神经网络中,能够实现更好的定位和分段,因此通过本说明书实施例的医学图像处理方法可以提供一个简单而高效的椎体分割实现。
与上述方法实施例相对应,本说明书还提供了图像处理装置实施例,图7示出了本说明书一个实施例提供的一种图像处理装置的结构示意图。如图7所示,该装置包括:
第一图像获取模块702,被配置为获取包含预定形状目标对象的图像,并对所述图像进行图像特征提取;
第一确定模块704,被配置为基于所述图像特征确定所述每个预定形状目标对象的初始中心点、调整向量以及初始类别;
第一调整模块706,被配置为根据所述调整向量对所述每个预定形状目标对象的初始中心点进行调整,以获得所述每个预定形状目标对象的目标中心点以及所述目标中心点的连接关系;
第一获得模块708,被配置为基于所述目标中心点的连接关系对所述每个预定形状目标对象的初始类别进行调整,以获得所述每个预定形状目标对象的目标类别和目标标签。
可选的,所述装置,还包括:
第三分割模块,被配置为根据所述图像特征确定所述每个预定形状目标对象的二值化结果,并基于所述每个预定形状目标对象的二值化结果、目标类别、目标标签以及目标中心点对所述每个预定形状目标对象进行分割。
可选的,所述第一图像获取模块702,进一步被配置为:
基于特征提取模型对所述图像进行初始图像特征提取,获得所述初始图像特征;
通过多层卷积层对所述初始图像特征进行卷积处理,获得卷积处理后的图像特征;
根据预设任务对所述卷积处理后的图像特征进行再次提取,获得第一图像特征和第二图像特征,所述预设任务包括第一任务、第二任务和第三任务。
可选的,所述第一任务由第一网络、第二网络实现,所述第二任务由第三网络实现;
相应的,所述第一确定模块704,进一步被配置为:
将所述第一图像特征输入所述第一网络,获得所述每个预定形状目标对象的初始中心点;
将所述第一图像特征输入所述第二网络,获得所述每个预定形状目标对象的调整向量;以及
将所述第一图像特征输入所述第三网络,获得所述每个预定形状目标对象的初始类别。
可选的,所述第一确定模块704,进一步被配置为:
将所述第一图像特征输入所述第一网络,获得所述每个预定形状目标对象中每个像素为初始中心点的概率,并根据所述概率确定所述每个预定形状目标对象的初始中心点。
可选的,所述装置,还包括:
第五确定模块,被配置为基于所述每个预定形状目标对象中的每个像素、初始中心点以及预设半径确定所述每个预定形状目标对象的初始中心点区域。
可选的,所述第一确定模块704,进一步被配置为:
将所述第一图像特征输入关系向量网络,获得相邻两个预定形状目标对象的初始中心点的关系向量;以及
将所述第一图像特征输入偏移向量网络,获得所述每个预定形状目标对象的初始中心点区域中每个像素,对应于所述每个预定形状目标对象的初始中心点的偏移向量。
可选的,所述第一调整模块706,进一步被配置为:
将所述每个预定形状目标对象的初始中心区域中每个像素的值以及所述偏移向量输入预设计算公式,获得所述每个预定形状目标对象的初始中心区域中每个像素为中心点的概率,以及将所述概率最大的像素作为所述每个预定形状目标对象的候选中心点;
基于所述每个预定形状目标对象的候选中心点以及相邻两个预定形状目标对象的初始中心点的关系向量,获得所述每个预定形状目标对象的目标中心点以及所述目标中心点的连接关系。
可选的,所述第一获得模块708,进一步被配置为:
基于所述目标中心点的连接关系采用最大化似然算法对所述每个预定形状目标对象的初始类别进行调整,以获得所述每个预定形状目标对象的目标类别和目标标签。
可选的,所述第三任务由第四网络实现;
相应的,所述第三分割模块,进一步被配置为:
将所述第二图像特征输入所述第四网络,获得所述每个预定形状目标对象的二值化结果。
可选的,所述第三分割模块,进一步被配置为:
获取所述每个预定形状目标对象的二值化后的每个像素的坐标,并基于所述每个像素的坐标、所述偏移向量以及所述每个预定形状目标对象的目标中心点,确定所述每个像素最近的目标中心点;
基于所述每个像素最近的目标中心点的目标类别以及目标标签,确定所述每个像素的目标类别以及目标标签,并根据所述每个像素的目标类别以及目标标签实现对所述每个预定形状目标对象进行分割。
上述为本实施例的一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
与上述方法实施例相对应,本说明书还提供了医学图像处理装置实施例,图8示出了本说明书一个实施例提供的第一种医学图像处理装置的结构示意图。如图8所示,该装置包括:
第二图像获取模块802,被配置为获取包含椎体的医学图像,并对所述医学图像进行图像特征提取;
第二确定模块804,被配置为基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
第二调整模块806,被配置为根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
第二获得模块808,被配置为基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。
可选的,所述装置,还包括:
第四分割模块,被配置为根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割。
可选的,所述第二图像获取模块802,进一步被配置为:
基于特征提取模型对所述医学图像进行初始图像特征提取,获得所述初始图像特征;
通过多层卷积层对所述初始图像特征进行卷积处理,获得卷积处理后的图像特征;
根据预设任务对所述卷积处理后的图像特征进行再次提取,获得第一图像特征和第二图像特征,所述预设任务包括第一任务、第二任务和第三任务。
可选的,所述第一任务由第一网络、第二网络实现,所述第二任务由第三网络实现;
相应的,所述第二确定模块804,进一步被配置为:
将所述第一图像特征输入所述第一网络,获得所述每个椎体的初始中心点;
将所述第一图像特征输入所述第二网络,获得所述每个椎体的调整向量;以及
将所述第一图像特征输入所述第三网络,获得所述每个椎体的初始类别。
可选的,所述第二确定模块804,进一步被配置为:
将所述第一图像特征输入所述第一网络,获得所述每个椎体中每个像素为初始中心点的概率,并根据所述概率确定所述每个椎体的初始中心点。
可选的,所述装置,还包括:
区域确定模块,被配置为基于所述每个椎体中的每个像素、初始中心点以及预设半径确定所述每个椎体的初始中心点区域。
可选的,所述第二确定模块804,进一步被配置为:
将所述第一图像特征输入关系向量网络,获得相邻两个椎体的初始中心点的关系向量;以及
将所述第一图像特征输入偏移向量网络,获得所述每个椎体的初始中心点区域中每个像素对应于所述每个椎体的初始中心点的偏移向量。
可选的,所述第二调整模块806,进一步被配置为:
将所述每个椎体的初始中心区域中每个像素的值以及所述偏移向量输入预设计算公式获得所述每个椎体的初始中心区域中每个像素为中心点的概率,以及将所述概率最大的像素作为所述每个椎体的候选中心点;
基于所述每个椎体的候选中心点以及相邻两个椎体的初始中心点的关系向量,获得所述每个椎体的目标中心点以及所述目标中心点的连接关系。
可选的,所述第二获得模块808,进一步被配置为:
基于所述目标中心点的连接关系采用最大化似然算法对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。
可选的,所述第三任务由第四网络实现;
相应的,所述第四分割模块,进一步被配置为:
将所述第二图像特征输入所述第四网络,获得所述每个椎体的二值化结果。
可选的,所述第四分割模块,进一步被配置为:
获取所述每个椎体的二值化后的每个像素的坐标,并基于所述每个像素的坐标、所述偏移向量以及所述每个椎体的目标中心点,确定所述每个像素最近的目标中心点;
基于所述每个像素最近的目标中心点的目标类别以及目标标签确定所述每个像素的目标类别以及目标标签,并根据所述每个像素的目标类别以及目标标签实现对所述每个椎体进行分割。
本说明书实施中,所述医学图像处理装置通过提取的图像特征对椎体的目标中心点、调整向量、初始类别以及二值化结果进行获取,然后通过调整向量进行椎体的目标中心点位置精调和类别关系的重建操作,从而获得椎体的目标中心的精确定位,再利用重建的椎体的类别关系得到椎体的分段结果,最后根据调整向量将椎体的二值化结果中的像素点分配给特定的椎体的目标中心点,以生成各个椎体的分割图,通过将椎体的定位、识别以及分割统一到一个网络中完成,简单、高效的实现对医学图像中椎体的分割。
上述为本实施例的一种医学图像处理装置的示意性方案。需要说明的是,该医学图像处理装置的技术方案与上述的第一种医学图像处理方法的技术方案属于同一构思,医学图像处理装置的技术方案未详细描述的细节内容,均可以参见上述医学图像处理方法的技术方案的描述。
参见图9,图9示出了根据本说明书一个实施例提供的第二种医学图像处理方法的流程图,具体包括以下步骤。
步骤902:基于用户的调用请求为所述用户展示图像输入界面。
具体的,在接收用户的调用请求的情况下,根据该调用请求确定图像输入界面,且将该图像输入界面展示给用户,用户可以通过该图像输入界面进行包含椎体的医学图像的输入。
实际应用中,用户包括但不限于商户或者个体用户等。
步骤904:接收所述用户基于所述图像输入界面输入的包含椎体的医学图像,并对所述医学图像进行图像特征提取。
步骤906:基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别。
步骤908:根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系。
步骤910:基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。
步骤912:根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
需要说明的是,本说明书实施例提供的第二种医学图像处理方法中与上述第一种医学图像处理方法的实施例相对应的部分,可以参见上述第一种医学图像处理方法的实施例中的详细描述,在此不再赘述。
本说明书实施中,所述医学图像处理方法通过提取的图像特征对椎体的目标中心点、调整向量、初始类别以及二值化结果进行获取,然后通过调整向量进行椎体的目标中心点位置精调和类别关系的重建操作,从而获得椎体的目标中心的精确定位,再利用重建的椎体的类别关系得到椎体的分段结果,最后根据调整向量将椎体的二值化结果中的像素点分配给特定的椎体的目标中心点,以生成各个椎体的分割图,通过将椎体的定位、识别以及分割统一到一个网络中完成,简单、高效的实现对医学图像中椎体的分割。
与上述方法实施例相对应,本说明书还提供了医学图像处理装置实施例,图10示出了本说明书一个实施例提供的第二种医学图像处理装置的结构示意图。如图10所示,该装置包括:
界面展示模块1002,被配置为基于用户的调用请求为所述用户展示图像输入界面;
图像接收模块1004,被配置为接收所述用户基于所述图像输入界面输入的包含椎体的医学图像,并对所述医学图像进行图像特征提取;
第三确定模块1006,被配置为基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
第三调整模块1008,被配置为根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
第三获得模块1010,被配置为基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签;
第一分割模块1012,被配置为根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
本说明书实施中,所述医学图像处理装置通过提取的图像特征对椎体的目标中心点、调整向量、初始类别以及二值化结果进行获取,然后通过调整向量进行椎体的目标中心点位置精调和类别关系的重建操作,从而获得椎体的目标中心的精确定位,再利用重建的椎体的类别关系得到椎体的分段结果,最后根据调整向量将椎体的二值化结果中的像素点分配给特定的椎体的目标中心点,以生成各个椎体的分割图,通过将椎体的定位、识别以及分割统一到一个网络中完成,简单、高效的实现对医学图像中椎体的分割。
上述为本实施例的第二种医学图像处理装置的示意性方案。需要说明的是,该医学图像处理装置的技术方案与上述的第二种医学图像处理方法的技术方案属于同一构思,该医学图像处理装置的技术方案未详细描述的细节内容,均可以参见上述第二种医学图像处理方法的技术方案的描述。
参见图11,图11示出了根据本说明书一个实施例提供的第三种医学图像处理方法的流程图,具体包括以下步骤。
步骤1102:接收用户发送的携带有包含椎体的医学图像的调用请求,并对所述医学图像进行图像特征提取。
步骤1104:基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别。
步骤1106:根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系。
步骤1108:基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。
步骤1110:根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
需要说明的是,本说明书实施例提供的第三种医学图像处理方法中与上述第一种医学图像处理方法的实施例相对应的部分,可以参见上述第一种医学图像处理方法的实施例中的详细描述,在此不再赘述。
实际应用中,医学图像处理方法应用于本地服务端,且为用户提供API接口,在接收到用户发送的API调用请求后,基于用户的调用请求中携带的包含椎体的医学图像,通过所述医学图像处理方法快速准确的对该医学图像中的椎体进行分割,以提升用户体验。
与上述方法实施例相对应,本说明书还提供了医学图像处理装置实施例,图12示出了本说明书一个实施例提供的第三种医学图像处理装置的结构示意图。如图12所示,该装置包括:
请求接收模块1202,被配置为接收用户发送的携带有包含椎体的医学图像的调用请求,并对所述医学图像进行图像特征提取;
第四确定模块1204,被配置为基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
第四调整模块1206,被配置为根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
第四获得模块1208,被配置为基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签;
第二分割模块1210,被配置为根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
本说明书实施中,所述医学图像处理装置通过提取的图像特征对椎体的目标中心点、调整向量、初始类别以及二值化结果进行获取,然后通过调整向量进行椎体的目标中心点位置精调和类别关系的重建操作,从而获得椎体的目标中心的精确定位,再利用重建的椎体的类别关系得到椎体的分段结果,最后根据调整向量将椎体的二值化结果中的像素点分配给特定的椎体的目标中心点,以生成各个椎体的分割图,通过将椎体的定位、识别以及分割统一到一个网络中完成,简单、高效的实现对医学图像中椎体的分割。
上述为本实施例的第三种医学图像处理装置的示意性方案。需要说明的是,该医学图像处理装置的技术方案与上述的第三种医学图像处理方法的技术方案属于同一构思,医学图像处理装置的技术方案未详细描述的细节内容,均可以参见上述第三种医学图像处理方法的技术方案的描述。
参见图13,图13示出了根据本说明书一个实施例提供的一种计算设备1300的结构框图。该计算设备1300的部件包括但不限于存储器1310和处理器1320。处理器1320与存储器1310通过总线1330相连接,数据库1350用于保存数据。
计算设备1300还包括接入设备1340,接入设备1340使得计算设备1300能够经由一个或多个网络1360通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备1340可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备1300的上述部件以及图13中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图13所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1300可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备1300还可以是移动式或静止式的服务器。
其中,处理器1320用于执行如下计算机可执行指令,其中,所述处理器执行所述计算机可执行指令时实现所述图像处理方法及所述医学图像处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的图像处理方法及医学图像处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述图像处理方法及医学图像处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述医学图像处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的图像处理方法及医学图像处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图像处理方法及医学图像处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (30)

1.一种图像处理方法,包括:
获取包含预定形状目标对象的图像,并对所述图像进行图像特征提取;
基于所述图像特征确定所述每个预定形状目标对象的初始中心点、调整向量以及初始类别;
根据所述调整向量对所述每个预定形状目标对象的初始中心点进行调整,以获得所述每个预定形状目标对象的目标中心点以及所述目标中心点的连接关系;
基于所述目标中心点的连接关系对所述每个预定形状目标对象的初始类别进行调整,以获得所述每个预定形状目标对象的目标类别和目标标签。
2.根据权利要求1所述的图像处理方法,所述获得所述每个预定形状目标对象的目标类别和目标标签之后,还包括:
根据所述图像特征确定所述每个预定形状目标对象的二值化结果,并基于所述每个预定形状目标对象的二值化结果、目标类别、目标标签以及目标中心点对所述每个预定形状目标对象进行分割。
3.根据权利要求2所述的图像处理方法,所述对所述图像进行图像特征提取包括:
基于特征提取模型对所述图像进行初始图像特征提取,获得所述初始图像特征;
通过多层卷积层对所述初始图像特征进行卷积处理,获得卷积处理后的图像特征;
根据预设任务对所述卷积处理后的图像特征进行再次提取,获得第一图像特征和第二图像特征,所述预设任务包括第一任务、第二任务和第三任务。
4.根据权利要求3所述的图像处理方法,所述第一任务由第一网络、第二网络实现,所述第二任务由第三网络实现;
相应的,所述基于所述图像特征确定所述每个预定形状目标对象的初始中心点、调整向量以及初始类别包括:
将所述第一图像特征输入所述第一网络,获得所述每个预定形状目标对象的初始中心点;
将所述第一图像特征输入所述第二网络,获得所述每个预定形状目标对象的调整向量;以及
将所述第一图像特征输入所述第三网络,获得所述每个预定形状目标对象的初始类别。
5.根据权利要求4所述的图像处理方法,所述将所述第一图像特征输入所述第一网络,获得所述每个预定形状目标对象的初始中心点包括:
将所述第一图像特征输入所述第一网络,获得所述每个预定形状目标对象中每个像素为初始中心点的概率,并根据所述概率确定所述每个预定形状目标对象的初始中心点。
6.根据权利要求5所述的图像处理方法,所述根据所述概率确定所述每个预定形状目标对象的初始中心点之后,还包括:
基于所述每个预定形状目标对象中的每个像素、初始中心点以及预设半径确定所述每个预定形状目标对象的初始中心点区域。
7.根据权利要求6所述的图像处理方法,所述将所述第一图像特征输入所述第二网络,获得所述每个预定形状目标对象的调整向量包括:
将所述第一图像特征输入关系向量网络,获得相邻两个预定形状目标对象的初始中心点的关系向量;以及
将所述第一图像特征输入偏移向量网络,获得所述每个预定形状目标对象的初始中心点区域中每个像素,对应于所述每个预定形状目标对象的初始中心点的偏移向量。
8.根据权利要求7所述的图像处理方法,所述根据所述调整向量对所述每个预定形状目标对象的初始中心点进行调整,以获得所述每个预定形状目标对象的目标中心点以及所述目标中心点的连接关系包括:
将所述每个预定形状目标对象的初始中心区域中每个像素的值以及所述偏移向量输入预设计算公式,获得所述每个预定形状目标对象的初始中心区域中每个像素为中心点的概率,以及将所述概率最大的像素作为所述每个预定形状目标对象的候选中心点;
基于所述每个预定形状目标对象的候选中心点以及相邻两个预定形状目标对象的初始中心点的关系向量,获得所述每个预定形状目标对象的目标中心点以及所述目标中心点的连接关系。
9.根据权利要求1所述的图像处理方法,所述基于所述目标中心点的连接关系对所述每个预定形状目标对象的初始类别进行调整,以获得所述每个预定形状目标对象的目标类别包括:
基于所述目标中心点的连接关系采用最大化似然算法对所述每个预定形状目标对象的初始类别进行调整,以获得所述每个预定形状目标对象的目标类别和目标标签。
10.根据权利要求6所述的图像处理方法,所述第三任务由第四网络实现;
相应的,所述根据所述图像特征确定所述每个预定形状目标对象的二值化结果包括:
将所述第二图像特征输入所述第四网络,获得所述每个预定形状目标对象的二值化结果。
11.根据权利要求10所述的图像处理方法,所述基于所述每个预定形状目标对象的二值化结果、目标类别、目标标签以及目标中心点对所述每个预定形状目标对象进行分割包括:
获取所述每个预定形状目标对象的二值化后的每个像素的坐标,并基于所述每个像素的坐标、所述偏移向量以及所述每个预定形状目标对象的目标中心点,确定所述每个像素最近的目标中心点;
基于所述每个像素最近的目标中心点的目标类别以及目标标签,确定所述每个像素的目标类别以及目标标签,并根据所述每个像素的目标类别以及目标标签实现对所述每个预定形状目标对象进行分割。
12.一种医学图像处理方法,包括:
获取包含椎体的医学图像,并对所述医学图像进行图像特征提取;
基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。
13.根据权利要求12所述的医学图像处理方法,所述获得所述每个椎体的目标类别和目标标签之后,还包括:
根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割。
14.根据权利要求13所述的医学图像处理方法,所述对所述医学图像进行图像特征提取包括:
基于特征提取模型对所述医学图像进行初始图像特征提取,获得所述初始图像特征;
通过多层卷积层对所述初始图像特征进行卷积处理,获得卷积处理后的图像特征;
根据预设任务对所述卷积处理后的图像特征进行再次提取,获得第一图像特征和第二图像特征,所述预设任务包括第一任务、第二任务和第三任务。
15.根据权利要求14所述的医学图像处理方法,所述第一任务由第一网络、第二网络实现,所述第二任务由第三网络实现;
相应的,所述基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别包括:
将所述第一图像特征输入所述第一网络,获得所述每个椎体的初始中心点;
将所述第一图像特征输入所述第二网络,获得所述每个椎体的调整向量;以及
将所述第一图像特征输入所述第三网络,获得所述每个椎体的初始类别。
16.根据权利要求15所述的医学图像处理方法,所述将所述第一图像特征输入所述第一网络,获得所述每个椎体的初始中心点包括:
将所述第一图像特征输入所述第一网络,获得所述每个椎体中每个像素为初始中心点的概率,并根据所述概率确定所述每个椎体的初始中心点。
17.根据权利要求16所述的医学图像处理方法,所述根据所述概率确定所述每个椎体的初始中心点之后,还包括:
基于所述每个椎体中的每个像素、初始中心点以及预设半径确定所述每个椎体的初始中心点区域。
18.根据权利要求17所述的医学图像处理方法,所述将所述第一图像特征输入所述第二网络,获得所述每个椎体的调整向量包括:
将所述第一图像特征输入关系向量网络,获得相邻两个椎体的初始中心点的关系向量;以及
将所述第一图像特征输入偏移向量网络,获得所述每个椎体的初始中心点区域中每个像素对应于所述每个椎体的初始中心点的偏移向量。
19.根据权利要求18所述的医学图像处理方法,所述根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系包括:
将所述每个椎体的初始中心区域中每个像素的值以及所述偏移向量输入预设计算公式获得所述每个椎体的初始中心区域中每个像素为中心点的概率,以及将所述概率最大的像素作为所述每个椎体的候选中心点;
基于所述每个椎体的候选中心点以及相邻两个椎体的初始中心点的关系向量,获得所述每个椎体的目标中心点以及所述目标中心点的连接关系。
20.根据权利要求12所述的医学图像处理方法,所述基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别包括:
基于所述目标中心点的连接关系采用最大化似然算法对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。
21.根据权利要求17所述的医学图像处理方法,所述第三任务由第四网络实现;
相应的,所述根据所述图像特征确定所述每个椎体的二值化结果包括:
将所述第二图像特征输入所述第四网络,获得所述每个椎体的二值化结果。
22.根据权利要求21所述的医学图像处理方法,所述基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割包括:
获取所述每个椎体的二值化后的每个像素的坐标,并基于所述每个像素的坐标、所述偏移向量以及所述每个椎体的目标中心点,确定所述每个像素最近的目标中心点;
基于所述每个像素最近的目标中心点的目标类别以及目标标签确定所述每个像素的目标类别以及目标标签,并根据所述每个像素的目标类别以及目标标签实现对所述每个椎体进行分割。
23.一种图像处理装置,包括:
第一图像获取模块,被配置为获取包含预定形状目标对象的图像,并对所述图像进行图像特征提取;
第一确定模块,被配置为基于所述图像特征确定所述每个预定形状目标对象的初始中心点、调整向量以及初始类别;
第一调整模块,被配置为根据所述调整向量对所述每个预定形状目标对象的初始中心点进行调整,以获得所述每个预定形状目标对象的目标中心点以及所述目标中心点的连接关系;
第一获得模块,被配置为基于所述目标中心点的连接关系对所述每个预定形状目标对象的初始类别进行调整,以获得所述每个预定形状目标对象的目标类别和目标标签。
24.一种医学图像处理装置,包括:
第二图像获取模块,被配置为获取包含椎体的医学图像,并对所述医学图像进行图像特征提取;
第二确定模块,被配置为基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
第二调整模块,被配置为根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
第二获得模块,被配置为基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签。
25.一种医学图像处理方法,包括:
基于用户的调用请求为所述用户展示图像输入界面;
接收所述用户基于所述图像输入界面输入的包含椎体的医学图像,并对所述医学图像进行图像特征提取;
基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签;
根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
26.一种医学图像处理装置,包括:
界面展示模块,被配置为基于用户的调用请求为所述用户展示图像输入界面;
图像接收模块,被配置为接收所述用户基于所述图像输入界面输入的包含椎体的医学图像,并对所述医学图像进行图像特征提取;
第三确定模块,被配置为基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
第三调整模块,被配置为根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
第三获得模块,被配置为基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签;
第一分割模块,被配置为根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
27.一种医学图像处理方法,包括:
接收用户发送的携带有包含椎体的医学图像的调用请求,并对所述医学图像进行图像特征提取;
基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签;
根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
28.一种医学图像处理装置,包括:
请求接收模块,被配置为接收用户发送的携带有包含椎体的医学图像的调用请求,并对所述医学图像进行图像特征提取;
第四确定模块,被配置为基于所述图像特征确定所述每个椎体的初始中心点、调整向量以及初始类别;
第四调整模块,被配置为根据所述调整向量对所述每个椎体的初始中心点进行调整,以获得所述每个椎体的目标中心点以及所述目标中心点的连接关系;
第四获得模块,被配置为基于所述目标中心点的连接关系对所述每个椎体的初始类别进行调整,以获得所述每个椎体的目标类别和目标标签;
第二分割模块,被配置为根据所述图像特征确定所述每个椎体的二值化结果,并基于所述每个椎体的二值化结果、目标类别、目标标签以及目标中心点对所述每个椎体进行分割,并将分割后的医学图像返回给所述用户。
29.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,其中,所述处理器执行所述计算机可执行指令时实现权利要求1-11任意一项所述图像处理方法或12-22、25、27任意一项所述医学图像处理方法的步骤。
30.一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现权利要求1-11任意一项所述图像处理方法或12-22、25、27任意一项所述医学图像处理方法的步骤。
CN202010888192.XA 2020-08-28 2020-08-28 图像处理方法及装置、医学图像处理方法及装置 Pending CN114119446A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010888192.XA CN114119446A (zh) 2020-08-28 2020-08-28 图像处理方法及装置、医学图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010888192.XA CN114119446A (zh) 2020-08-28 2020-08-28 图像处理方法及装置、医学图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN114119446A true CN114119446A (zh) 2022-03-01

Family

ID=80375010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010888192.XA Pending CN114119446A (zh) 2020-08-28 2020-08-28 图像处理方法及装置、医学图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN114119446A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797337A (zh) * 2023-02-02 2023-03-14 慧影医疗科技(北京)股份有限公司 一种ct影像椎体实例分割方法、系统、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797337A (zh) * 2023-02-02 2023-03-14 慧影医疗科技(北京)股份有限公司 一种ct影像椎体实例分割方法、系统、设备及存储介质
CN115797337B (zh) * 2023-02-02 2023-05-12 慧影医疗科技(北京)股份有限公司 一种ct影像椎体实例分割方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
Xia et al. Liver semantic segmentation algorithm based on improved deep adversarial networks in combination of weighted loss function on abdominal CT images
CN110807495B (zh) 多标签分类方法、装置、电子设备及存储介质
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
Pinaya et al. Unsupervised brain imaging 3D anomaly detection and segmentation with transformers
Costa et al. End-to-end adversarial retinal image synthesis
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
Vo et al. New deep neural nets for fine-grained diabetic retinopathy recognition on hybrid color space
CN112819076B (zh) 基于深度迁移学习的医学图像分类模型的训练方法及装置
US20200327721A1 (en) Autonomous level identification of anatomical bony structures on 3d medical imagery
Sridar et al. Decision fusion-based fetal ultrasound image plane classification using convolutional neural networks
CN107437252B (zh) 用于黄斑病变区域分割的分类模型构建方法和设备
CN110009656B (zh) 目标对象的确定方法、装置、存储介质及电子装置
Bourbakis Detecting abnormal patterns in WCE images
CN109313802B (zh) 生物对象检测
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
Yang et al. A robust iris segmentation using fully convolutional network with dilated convolutions
Feng et al. Supervoxel based weakly-supervised multi-level 3D CNNs for lung nodule detection and segmentation
Shao et al. Application of an improved u2-net model in ultrasound median neural image segmentation
CN110956157A (zh) 基于候选框选择的深度学习遥感影像目标检测方法及装置
Chatterjee et al. A survey on techniques used in medical imaging processing
CN114119446A (zh) 图像处理方法及装置、医学图像处理方法及装置
Holzinger et al. On the generation of point cloud data sets: Step one in the knowledge discovery process
Kamencay et al. 3D image reconstruction from 2D CT slices
Mahapatra Learning of Inter-Label Geometric Relationships Using Self-Supervised Learning: Application To Gleason Grade Segmentation
Hilles et al. Image Segmentation and Classification Using CNN Model to Detect Brain Tumors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination