CN116310627A - 模型训练方法、轮廓预测方法、装置、电子设备及介质 - Google Patents

模型训练方法、轮廓预测方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN116310627A
CN116310627A CN202310077172.8A CN202310077172A CN116310627A CN 116310627 A CN116310627 A CN 116310627A CN 202310077172 A CN202310077172 A CN 202310077172A CN 116310627 A CN116310627 A CN 116310627A
Authority
CN
China
Prior art keywords
contour
area image
pixel
predicted
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310077172.8A
Other languages
English (en)
Other versions
CN116310627B (zh
Inventor
张佳琦
丁佳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yizhun Medical AI Co Ltd
Original Assignee
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhun Medical AI Co Ltd filed Critical Beijing Yizhun Medical AI Co Ltd
Priority to CN202310077172.8A priority Critical patent/CN116310627B/zh
Publication of CN116310627A publication Critical patent/CN116310627A/zh
Application granted granted Critical
Publication of CN116310627B publication Critical patent/CN116310627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供了一种模型训练方法、轮廓预测方法、装置、电子设备及介质。该模型训练方法包括获得病灶区域图像以及病灶轮廓线，所述病灶区域图像由多个像素组成；确定所述病灶轮廓线经过的像素为目标像素；确定所述病灶轮廓线在所述目标像素内的曲线段的中点为目标点；基于所述病灶区域图像和所述目标点训练轮廓预测模型。

Description

模型训练方法、轮廓预测方法、装置、电子设备及介质
技术领域
本说明书涉及医学图像处理领域，尤其涉及一种模型训练方法、轮廓预测方法、装置、电子设备及介质。
背景技术
CT(Computed Tomography)，即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。
胸部CT检查是诊断肺部和心脏疾病的的关键技术，是体检筛查肺部疾病的主要手段，如肺炎、肿块结节、气胸、肋骨骨折等等。
肺结节是常见的肺部疾病，肺结节的尽早发现对于病人的预后和生存起到了至关重要的作用，而这其中肺结节的大小测量对于肺结节的后续随访管理起到了至关重要的作用。
在影像医师的日常工作中，测量肺结节大小的方式为，选择轴位视角的最大层面，首先标记出肺结节内部的最大的长度称为长径(一般目测估计)，然后在垂直于最长径的方向上找到尽可能长的一条径线(称为短径)，结节的大小则表达为长径x短径(mm)的形式，如图12所示。
在计算机自动测量结节大小的问题中，为了计算长短径的长度和位置，首先需要计算机基于结节的图像预测一条结节的轮廓线，在有了轮廓线的基础上有比较固定的数学方法来计算一条闭合曲线内的长短径。所以对于计算机而言，主要的问题在于如何准确地预测结节的轮廓线。
目前的一些做法是，使计算机学习预测结节的掩膜(一般称为mask，下同)，然后将该掩膜的轮廓作为结节的轮廓，对该掩膜的轮廓计算得到长短径。如图13所示，每个方格代表一个像素，虚线代表标注的结节轮廓。如图14所示，有填充的方块区域表示结节的mask，是计算机在像素粒度下对结节区域的近似。
但是，一般而言在肺结节的勾画过程中，医师会直接勾画该结节的轮廓线进行保存，而不会去选择画结节的mask，因为准确性较差且勾画效率低下。所以现有技术在学习如何预测mask之前，需要将医师勾画的金标准轮廓线转换为mask，这一步存在误差。对于本身只占3，4个像素大小的肺小结节而言，这一步引入的误差就很大了。
因此，对于诸如肺结节等小型病灶，这类病灶占据像素的数量很少，如何更准确地预测这类病灶的轮廓线，是亟待解决的问题。
发明内容
为解决相关技术中的问题，本公开实施例提供了一种模型训练方法、轮廓预测方法、装置、电子设备及介质。
本公开实施例的一个方面提供了一种模型训练方法，包括获得病灶区域图像以及病灶轮廓线，病灶区域图像由多个像素组成；确定病灶轮廓线经过的像素为目标像素；确定病灶轮廓线在目标像素内的曲线段的中点为目标点；基于病灶区域图像和目标点训练轮廓预测模型。
根据本公开实施例，获得病灶轮廓线包括获得标注轮廓线，标注轮廓线由有限个标注点组成；通过插值的方式处理标注点生成病灶轮廓线。
根据本公开实施例，目标像素的数量少于标注点的数量。
根据本公开实施例，轮廓预测模型的输出层用于输出预测像素以及预测点在预测像素中的位置，基于病灶区域图像和目标点训练轮廓预测模型包括，获得目标点在目标像素中的位置；基于病灶区域图像、目标像素以及目标点在目标像素中的位置训练轮廓预测模型。
根据本公开实施例，基于病灶区域图像、目标像素以及目标点在目标像素中的位置训练轮廓预测模型包括，将病灶区域图像输入轮廓预测模型，得到预测像素和预测点在预测像素中的位置；基于预测像素和目标像素确定第一损失项；基于预测点在预测像素中的位置和目标点在目标像素中的位置确定第二损失项；基于第一损失项和第二损失项优化轮廓预测模型的参数。
本公开实施例的另一个方面提供了一种轮廓预测方法，包括获得病灶区域图像；通过如上所述的轮廓预测模型处理病灶区域图像，得到多个预测点；基于预测点生成预测轮廓线。
本公开实施例的另一个方面提供了一种模型训练装置，包括第一获得模块、第一确定模块、第二确定模块以及训练模块。第一获得模块，被配置为获得病灶区域图像以及病灶轮廓线，病灶区域图像由多个像素组成；第一确定模块，被配置为确定病灶轮廓线经过的像素为目标像素；第二确定模块，被配置为确定病灶轮廓线在目标像素内的曲线段的中点为目标点；训练模块，被配置为基于病灶区域图像和目标点训练轮廓预测模型。
本公开实施例的另一个方面提供了一种轮廓预测装置，包括第二获得模块、预测模块以及生成模块。第二获得模块，被配置为获得病灶区域图像；预测模块，被配置为通过如上所述的轮廓预测模型处理病灶区域图像，得到多个预测点；生成模块，被配置为基于预测点生成预测轮廓线。
本公开实施例的另一个方面提供了一种电子设备，包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行以使得处理器实现如上所述的方法。
本公开实施例的另一个方面提供了一种计算机可读存储介质，其上存储有计算机可读指令，指令被处理器执行时使得处理器实现如上所述的方法。
本公开实施例的另一个方面提供了一种计算机程序，其被处理器执行时使得处理器实现如上所述的方法。
根据本公开实施例的技术方案，通过获得病灶区域图像以及病灶轮廓线，病灶区域图像由多个像素组成；确定病灶轮廓线经过的像素为目标像素；确定病灶轮廓线在目标像素内的曲线段的中点为目标点；基于病灶区域图像和目标点训练轮廓预测模型，从而重新定义了问题，将对轮廓线的预测转化为对目标点的预测，避开了掩膜与轮廓线互相转换带来的系统误差，提高了测量小型病灶轮廓线的准确度。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示意性示出应用本公开实施例的模型训练方法和轮廓预测方法的系统架构示意图；
图2示意性示出本公开实施例的模型训练方法的流程图；
图3示意性示出本公开实施例的病灶轮廓线和目标点的示意图；
图4示意性示出本公开实施例的获得病灶轮廓线的流程图；
图5示意性示出本公开实施例的训练轮廓预测模型的流程图；
图6示意性示出本公开另一实施例的训练轮廓预测模型的流程图；
图7示意性示出本公开实施例的轮廓预测模型的结构示意图；
图8示意性示出本公开实施例的轮廓预测方法的流程图；
图9示意性示出本公开实施例的模型训练装置的框图；
图10示意性示出本公开实施例的轮廓预测装置的框图；
图11示意性示出适于实现本公开实施例的模型训练方法和轮廓预测方法的计算机系统的结构示意图；
图12示出病灶区域图像的示意图；
图13示意性示出了标注轮廓线的示意图；以及
图14示意性示出了基于标注轮廓线生成的掩膜的示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员更容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
应当注意的是，本公开中数据的获取或展示均经用户授权、确认、或由用户主动选择。
本公开实施例提供了一种模型训练方法，包括获得病灶区域图像以及病灶轮廓线，所述病灶区域图像由多个像素组成；确定所述病灶轮廓线经过的像素为目标像素；确定所述病灶轮廓线在所述目标像素内的曲线段的中点为目标点；基于所述病灶区域图像和所述目标点训练轮廓预测模型，从而避开了掩膜与轮廓线互相转换带来的系统误差，提高了测量小型病灶轮廓线的准确度。
以下结合附图，详细说明本公开各实施例提供的技术方案。
图1示意性示出应用本公开实施例的模型训练方法和轮廓预测方法的系统架构示意图。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如具有医学影像显示、病灶显示和编辑、报告生成等功能的专用应用程序。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种专用或通用的电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。
服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上所安装的客户端应用提供服务的后端服务器。例如，服务器可以训练并运行轮廓预测模型，实现轮廓预测功能，以便将自动测量的结果显示在终端设备101、102、103上。
服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现为多个服务器组成的分布式服务器集群，也可以实现为单个服务器。当服务器105为软件时，可以实现为多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现为单个软件或软件模块。
本公开实施例提供的模型训练方法例如可以由服务器105执行，也可以由终端设备101、102、103执行。或者，本公开实施例的模型训练方法可以部分地由终端设备101、102、103执行，其他部分由服务器105执行。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出本公开实施例的模型训练方法的流程图。
如图2所示，该模型训练方法包括操作S210-S240。
在操作S210，获得病灶区域图像以及病灶轮廓线，所述病灶区域图像由多个像素组成。
在操作S220，确定所述病灶轮廓线经过的像素为目标像素。
在操作S230，确定所述病灶轮廓线在所述目标像素内的曲线段的中点为目标点。
在操作S240，基于所述病灶区域图像和所述目标点训练轮廓预测模型。
根据本公开实施例，病灶区域图像可以是从医学影像中分割得到的。医学影像包括例如电子计算机断层扫描(CT)、核磁共振(MRI)、超声影像等。
医学图像可以是二维影像，也可以是三维影像。对于二维影像，截取的病灶区域图像也是二维图像。对于三维影像，可以将每一层图像作为病灶区域图像进行处理，从而转化成二维图像。
例如，病灶区域图像可以是在肺部CT影像中进行病灶检测，并根据检测结果从肺部CT影像中分割得到的图像，每个病灶区域图像通常包含一个病灶。
CT影像包含三维信息。该影像由三维的体素构成，每个体素表示一个具有固定长宽高尺寸的组织的区域。CT影像可以在三维中的一个维度上划分为多个层，每层的影像是一个二维图像。相应地，对于来自CT影像的病灶区域图像，可以是来自多个相邻层的二维图像。
例如，病灶区域图像可以是64×64×16的尺寸，其中16表示层数，64×64表示二维图像的尺寸，即每层具有64×64个像素。对于大多数的肺小结节而言，其在通常的CT扫描中只占5层左右，这里取16层是一个保守的做法。
特别地，CT影像对于不同组织的测量值的量程大于1000，为了更好地展示特定组织的特征，通常需要针对性进行加窗处理，选择适合该组织的窗宽窗位。例如，对于肺部而言，可以选择窗位为-600Hu，窗宽为1500Hu。还可以对加窗后的结果进行归一化处理，以适应轮廓预测模型的运算需要。例如，可以将每个体素的CT值减去窗位值后，再除以窗宽的一半，从而将所有体素的CT值映射到[-1,1]的范围内。
根据本公开实施例，病灶轮廓线是基于医生对病灶区域图像进行标注而产生的结果，是一条连续的曲线。
图3示意性示出本公开实施例的病灶轮廓线和目标点的示意图。
如图3所示，每一个方格表示一个像素，每个像素例如可以表示一个0.5mm×0.5mm的组织区域，或者其他尺寸的区域。病灶轮廓线即图中的光滑曲线，其经过了多个像素。
根据本公开实施例，如果终端设备可以将医生的标注的动作直接地识别为一条连续的曲线，则该曲线即是病灶轮廓线。然而，大多数设备通过读取医生的标注动作只能识别为一系列离散的标注点。该些标注点及其连接关系构成标注轮廓线。标注轮廓线不同与上述病灶轮廓线，标注轮廓线由有限个标注点组成。
根据本公开实施例，相对于扫描的精度，屏幕对于标注动作的识别精度通常更高，也就是说，标注点的数量远大于标注轮廓线经过的像素的数量，亦或者说，在同一个像素中很可能存在多个标注点。
图4示意性示出本公开实施例的获得病灶轮廓线的流程图。
如图4所示，操作S210可以包括操作S410-S420。
在操作S410，获得标注轮廓线。
在操作S420，通过插值的方式处理所述标注点生成病灶轮廓线。
根据本公开实施例，对于标注轮廓线，可以通过插值的方式生成连续的病灶轮廓线。插值的方法例如可以选用B-样条插值。
根据本公开实施例的技术方案，通过插值的方式，尤其是B-样条插值的方式，可以将离散的标注轮廓线很好地转化为连续的病灶轮廓线。
根据本公开实施例，获得病灶区域图像及病灶轮廓线后，确定病灶轮廓线经过的像素为目标像素，并取病灶轮廓线在每个目标像素内的曲线段中点为目标点，如图3所示。进而可以基于病灶区域图像和目标点训练轮廓预测模型。之后模型学习的任务就变为对目标点的位置的预测，从而可以根据预测的目标点生成预测轮廓线。
如上所述，目标像素的数量少于标注点的数量，由于每个目标像素对应于一个目标点，因此，目标点的数量少于标注点的数量。
根据本公开实施例的技术方案，通过定义目标点，从而重新定义了问题，将对轮廓线的预测转化为对目标点的预测，避开了掩膜与轮廓线互相转换带来的系统误差，提高了测量小型病灶轮廓线的准确度。
图5示意性示出本公开实施例的训练轮廓预测模型的流程图。
如图5所示，操作S240可以包括操作S510和S520。
在操作S510，获得目标点在所述目标像素中的位置。
在操作S520，基于所述病灶区域图像、所述目标像素以及所述目标点在所述目标像素中的位置训练轮廓预测模型。
根据本公开实施例，对于目标点的预测可以分解为两个问题，一是预测哪些像素为目标像素，二是预测目标像素中目标点的位置。本公开实施例通过目标像素和目标点在目标像素中的位置训练轮廓预测模型，可以简化问题，达到更好的预测效果。
图6示意性示出本公开另一实施例的训练轮廓预测模型的流程图。
如图6所示，操作S520可以包括操作S610-S640。
在操作S610，将所述病灶区域图像输入所述轮廓预测模型，得到预测像素和预测点在所述预测像素中的位置。
在操作S620，基于所述预测像素和所述目标像素确定第一损失项。
在操作S630，基于所述预测点在所述预测像素中的位置和所述目标点在目标像素中的位置确定第二损失项。
在操作S640，基于所述第一损失项和第二损失项优化所述轮廓预测模型的参数。
图7示意性示出本公开实施例的轮廓预测模型的结构示意图。
如图7所示，可以使用经典的卷积网络Unet作为主体结构，用于特征提取。除Unet外，其他全卷积分割网络也是可行的，例如ResUnet,Vnet，Unet++等。
本公开实施例的轮廓预测模型的输出层与传统神经网络不同。本公开实施例的轮廓预测模型的输出层可以采用3通道输出，分为两个部分。
根据本公开实施例，第一部分可以包括一个通道，用于预测哪些像素落在轮廓线边界上，即预测哪些像素含有目标点。该通道的末端可以包括sigmoid层，对运算后的图像使用sigmoid函数处理，并可以使用阈值筛选结果。例如，可以将大于0.5的像素确定为预测像素。
根据本公开实施例，第二部分可以包括两个通道，用于预测目标点在预测像素中的位置(或称为预测点在预测像素中的位置)，包括横纵两个方向上的位置(x，y)。
根据本公开实施例，在训练过程中，可以将病灶区域图像输入轮廓预测模型，得到预测像素和预测点在预测像素中的位置。
关于上述两个部分的输出，本公开实施例针对性地设计了损失函数，以更好地训练模型参数。本公开实施例的损失函数包括第一损失项和第二损失项。第一损失项基于预测像素和目标像素确定；第二损失项基于预测点在预测像素中的位置和目标点在目标像素中的位置确定。
根据本公开实施例，第一损失项Lc例如可以表示为如下形式：
Figure BDA0004066692650000091
其中，N为病灶区域图像的总像素数量，例如64×64×16；ti表示第i个像素是否为目标像素；pi表示模型对于第i个像素是否为目标像素的预测概率。
根据本公开实施例，第二损失项Lp例如可以表示为如下形式：
Figure BDA0004066692650000092
Figure BDA0004066692650000093
其中，M为目标像素的数量。xi，yi为预测点在预测像素中的位置，
Figure BDA0004066692650000094
表示目标点在目标像素中的位置。
综上，损失函数可以表示为L＝Lc+Lp。通过不断优化损失函数L，可以更新模型参数，实现训练目的。
本公开实施例的技术方案通过定义轮廓线上的目标点，提出了一种全新的分割问题表示方法，进而设计了一套直接学习预测小病灶轮廓线的方案，避开了掩膜与轮廓线互相转换的步骤带来的系统误差，提高了测量小病灶尺寸的准确度。
图8示意性示出本公开实施例的轮廓预测方法的流程图。
如图8所示，该轮廓预测方法包括操作S810-S830。
在操作S810，获得病灶区域图像。
在操作S820，通过如上所述的模型训练方法训练的轮廓预测模型处理所述病灶区域图像，得到多个预测点。
在操作S830，基于所述预测点生成预测轮廓线。
根据本公开实施例，预测阶段获得的病灶区域图像与训练阶段获得的病灶区域图像类似，只是不包括标注数据，需要预测该病灶区域图像的轮廓线。与训练阶段的处理方式类型，对于预测阶段获得的病灶区域图像，可以采用同样的加窗和归一化处理方式进行预处理。
根据本公开实施例，使用如上文所述的模型训练方法训练的轮廓预测模型处理病灶区域图像，可以得到多个预测点，作为对目标点的预测结果。例如，轮廓预测模型处理病灶区域图像可以得到预测像素以及预测点在预测像素中的位置信息，从而定位预测点，并基于预测点生成预测轮廓线。
例如，可以通过预测点的位置信息，对所有预测点按顺时针或逆时针的按顺序排列，作为预测轮廓线。可选地，可以使用插值的方式生成连续的预测轮廓线。
根据本公开实施例的技术方案，通过定义目标点和预测点，从而重新定义了问题，将对轮廓线的预测转化为对目标点的预测，避开了掩膜与轮廓线互相转换带来的系统误差，提高了测量小型病灶轮廓线的准确度。
基于同一发明构思，本公开还提供了一种模型训练装置和轮廓预测装置，下面参照图9和图10进行说明。
图9示意性示出本公开实施例的模型训练装置900的框图。其中，该装置900可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图9所示，该模型训练装置900包括第一获得模块910、第一确定模块920、第二确定模块930和训练模块940。该模型训练装置900可以执行上文描述的各种方法。
第一获得模块910，被配置为获得病灶区域图像以及病灶轮廓线，所述病灶区域图像由多个像素组成。
第一确定模块920，被配置为确定所述病灶轮廓线经过的像素为目标像素。
第二确定模块930，被配置为确定所述病灶轮廓线在所述目标像素内的曲线段的中点为目标点。
训练模块940，被配置为基于所述病灶区域图像和所述目标点训练轮廓预测模型。
图10示意性示出本公开实施例的轮廓预测装置1000的框图。其中，该装置1000可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图10所示，该轮廓预测装置1000包括第二获得模块1010、预测模块1020和生成模块1030。该轮廓预测装置1000可以执行上文描述的各种方法。
第二获得模块1010，被配置为获得病灶区域图像。
预测模块1020，被配置为通过如上所述的模型训练方法训练的轮廓预测模型处理病灶区域图像，得到多个预测点。
生成模块1030，被配置为基于预测点生成预测轮廓线。
图11示意性示出适于实现本公开实施例的模型训练方法和轮廓预测方法的计算机系统的结构示意图。
如图11所示，计算机系统1100包括处理单元1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行上述实施例中的各种处理。在RAM 1103中，还存储有系统1100操作所需的各种程序和数据。处理单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。其中，所述处理单元1101可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行本公开实施例的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种模型训练方法，其特征在于，包括：
获得病灶区域图像以及病灶轮廓线，所述病灶区域图像由多个像素组成；
确定所述病灶轮廓线经过的像素为目标像素；
确定所述病灶轮廓线在所述目标像素内的曲线段的中点为目标点；
基于所述病灶区域图像和所述目标点训练轮廓预测模型。
2.根据权利要求1所述的方法，其特征在于，所述获得病灶轮廓线，包括：
获得标注轮廓线，所述标注轮廓线由有限个标注点组成；
通过插值的方式处理所述标注点生成病灶轮廓线。
3.根据权利要求2所述的方法，其特征在于，所述目标像素的数量少于所述标注点的数量。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述轮廓预测模型的输出层用于输出预测像素以及预测点在所述预测像素中的位置，所述基于所述病灶区域图像和所述目标点训练轮廓预测模型，包括：
获得目标点在所述目标像素中的位置；
基于所述病灶区域图像、所述目标像素以及所述目标点在所述目标像素中的位置训练轮廓预测模型。
5.根据权利要求4所述的方法，其特征在于，基于所述病灶区域图像、所述目标像素以及所述目标点在所述目标像素中的位置训练轮廓预测模型，包括：
将所述病灶区域图像输入所述轮廓预测模型，得到预测像素和预测点在所述预测像素中的位置；
基于所述预测像素和所述目标像素确定第一损失项；
基于所述预测点在所述预测像素中的位置和所述目标点在目标像素中的位置确定第二损失项；
基于所述第一损失项和第二损失项优化所述轮廓预测模型的参数。
6.一种轮廓预测方法，其特征在于，包括：
获得病灶区域图像；
通过如权利要求1-5任一项所述的模型训练方法训练的轮廓预测模型处理所述病灶区域图像，得到多个预测点；
基于所述预测点生成预测轮廓线。
7.一种模型训练装置，其特征在于，包括：
第一获得模块，被配置为获得病灶区域图像以及病灶轮廓线，所述病灶区域图像由多个像素组成；
第一确定模块，被配置为确定所述病灶轮廓线经过的像素为目标像素；
第二确定模块，被配置为确定所述病灶轮廓线在所述目标像素内的曲线段的中点为目标点；
训练模块，被配置为基于所述病灶区域图像和所述目标点训练轮廓预测模型。
8.一种轮廓预测装置，其特征在于，包括：
第二获得模块，被配置为获得病灶区域图像；
预测模块，被配置为通过如权利要求1-5任一项所述的模型训练方法训练的轮廓预测模型处理所述病灶区域图像，得到多个预测点；
生成模块，被配置为基于所述预测点生成预测轮廓线。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行如权利要求1-6任一项所述的方法。
CN202310077172.8A 2023-01-16 2023-01-16 模型训练方法、轮廓预测方法、装置、电子设备及介质 Active CN116310627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310077172.8A CN116310627B (zh) 2023-01-16 2023-01-16 模型训练方法、轮廓预测方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310077172.8A CN116310627B (zh) 2023-01-16 2023-01-16 模型训练方法、轮廓预测方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN116310627A true CN116310627A (zh) 2023-06-23
CN116310627B CN116310627B (zh) 2024-02-02

Family

ID=86785883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310077172.8A Active CN116310627B (zh) 2023-01-16 2023-01-16 模型训练方法、轮廓预测方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116310627B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN110827294A (zh) * 2019-10-31 2020-02-21 北京推想科技有限公司 网络模型训练方法及装置、病灶区域确定方法及装置
US20200258192A1 (en) * 2018-05-31 2020-08-13 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, electronic device, and storage medium
CN113298754A (zh) * 2021-04-12 2021-08-24 西安理工大学 一种前列腺组织轮廓线控制点的检测方法
US20210279892A1 (en) * 2019-01-29 2021-09-09 Beijing Sensetime Technology Development Co., Ltd. Image processing method and device, and network training method and device
CN114332858A (zh) * 2021-12-31 2022-04-12 重庆金山医疗技术研究院有限公司 病灶检测方法及装置、病灶检测模型获取方法
CN114913183A (zh) * 2021-02-07 2022-08-16 上海交通大学 基于约束的图像分割方法、系统、装置和介质
CN114937025A (zh) * 2022-06-10 2022-08-23 联仁健康医疗大数据科技股份有限公司 图像分割方法、模型训练方法、装置、设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
US20200258192A1 (en) * 2018-05-31 2020-08-13 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, electronic device, and storage medium
US20210279892A1 (en) * 2019-01-29 2021-09-09 Beijing Sensetime Technology Development Co., Ltd. Image processing method and device, and network training method and device
CN110827294A (zh) * 2019-10-31 2020-02-21 北京推想科技有限公司 网络模型训练方法及装置、病灶区域确定方法及装置
CN114913183A (zh) * 2021-02-07 2022-08-16 上海交通大学 基于约束的图像分割方法、系统、装置和介质
CN113298754A (zh) * 2021-04-12 2021-08-24 西安理工大学 一种前列腺组织轮廓线控制点的检测方法
CN114332858A (zh) * 2021-12-31 2022-04-12 重庆金山医疗技术研究院有限公司 病灶检测方法及装置、病灶检测模型获取方法
CN114937025A (zh) * 2022-06-10 2022-08-23 联仁健康医疗大数据科技股份有限公司 图像分割方法、模型训练方法、装置、设备及介质

Also Published As

Publication number Publication date
CN116310627B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN110321920B (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
EP3511942B1 (en) Cross-domain image analysis using deep image-to-image networks and adversarial networks
JP7069359B2 (ja) 深層学習を使用して癌検出を改善するための方法およびシステム
EP3391284B1 (en) Interpretation and quantification of emergency features on head computed tomography
CN111210897B (zh) 处理医学图像
CN110619945B (zh) 针对机器学习网络的输入的训练的量的表征
US10997475B2 (en) COPD classification with machine-trained abnormality detection
CN111210401B (zh) 根据医学图像的主动脉自动检测和量化
US20230386026A1 (en) Spatial analysis of cardiovascular imaging
US10366488B2 (en) Image processing used to estimate abnormalities
US10878564B2 (en) Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof
US20220101034A1 (en) Method and system for segmenting interventional device in image
CN114093522A (zh) 利用人工智能诊断冠状病毒疾病covid-19的方法和系统
CN114037651A (zh) 根据x射线图像的与covid-19相关联的异常模式的评估
US20220301156A1 (en) Method and system for annotation efficient learning for medical image analysis
CN116310627B (zh) 模型训练方法、轮廓预测方法、装置、电子设备及介质
CN115423836A (zh) 三维脑中线分割方法、装置、设备、存储介质及程序产品
CN113129297B (zh) 基于多期相肿瘤影像的直径自动测量方法及系统
US11872069B2 (en) Method for providing fracture-detection tool
CN115393246A (zh) 图像分割系统及图像分割方法
CN115984229B (zh) 模型训练方法、乳腺测量方法、装置、电子设备及介质
CN115578564B (zh) 实例分割模型的训练方法、装置、电子设备及存储介质
Jain et al. SumNet Convolution Neural network based Automated pulmonary nodule detection system
US20230342928A1 (en) Detecting ischemic stroke mimic using deep learning-based analysis of medical images
US20220351000A1 (en) Method and apparatus for classifying nodules in medical image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Applicant after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: No. 301, 3rd Floor, Zhizhen Building, No. 7 Zhichun Road, Haidian District, Beijing, 100000

Applicant before: Beijing Yizhun Intelligent Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant