CN111353975A - 网络模型训练方法及装置、病灶定位方法及装置 - Google Patents

网络模型训练方法及装置、病灶定位方法及装置 Download PDF

Info

Publication number
CN111353975A
CN111353975A CN202010113706.4A CN202010113706A CN111353975A CN 111353975 A CN111353975 A CN 111353975A CN 202010113706 A CN202010113706 A CN 202010113706A CN 111353975 A CN111353975 A CN 111353975A
Authority
CN
China
Prior art keywords
lesion
information
positioning
determining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010113706.4A
Other languages
English (en)
Inventor
邹彤
王瑜
周越
王慧芳
班允峰
钏兴炳
宋晓媛
赵朝炜
李新阳
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Infervision Technology Co Ltd
Infervision Co Ltd
Original Assignee
Infervision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Co Ltd filed Critical Infervision Co Ltd
Priority to CN202010113706.4A priority Critical patent/CN111353975A/zh
Publication of CN111353975A publication Critical patent/CN111353975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

公开了一种网络模型训练方法及装置、病灶定位方法及装置、计算机可读存储介质及电子设备。该网络模型训练方法包括：确定包括病灶的医学图像，其中，医学图像为胸部正位片图像；基于医学图像确定医学图像对应的病灶定位信息和组织定位信息；基于病灶定位信息、组织定位信息和医学图像生成训练数据；确定初始网络模型，并基于训练数据训练初始网络模型，以生成定位模型，其中，定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。本公开实施例能够提高所生成的定位模型的精准度和鲁棒性，进而提高后续的病灶定位的定位精准度和鲁棒性。此外，能够极大提高训练速度。

Description

网络模型训练方法及装置、病灶定位方法及装置
技术领域
本公开涉及图像处理技术领域，具体涉及网络模型训练方法及装置、病灶定位方法及装置、计算机可读存储介质及电子设备。
背景技术
随着医学影像技术和图像处理技术的快速发展，基于医学影像的病灶定位技术日益成为辅助治疗的重要手段。然而，由于现有病灶定位方法主要通过对大量的高精度医学图像(比如包括数百张的CT图像序列)进行连续预测的方式来实现病灶定位，因此其定位速度较低。并且，由于现有病灶定位方法极易受到图像对比度、亮度等因素影响，因此其定位精准度和鲁棒性均较差。尤其当将现有病灶定位方法应用到包含肺器官的医学图像时，呼吸运动伪影会直接影响定位精准度，甚至直接导致定位失败。
因此，如何提高病灶定位方法的定位速度、定位精准度以及鲁棒性是亟待解决的问题。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种网络模型训练方法及装置、病灶定位方法及装置、计算机可读存储介质及电子设备。
在一方面，本公开实施例提供了一种网络模型训练方法，该网络模型训练方法包括：确定包括病灶的医学图像，其中，医学图像为胸部正位片图像；基于医学图像确定医学图像对应的病灶定位信息和组织定位信息；基于病灶定位信息、组织定位信息和医学图像生成训练数据；确定初始网络模型，并基于训练数据训练初始网络模型，以生成定位模型，其中，定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。
在本公开一实施例中，初始网络模型包括病灶区域定位模块和组织定位模块，基于训练数据训练初始网络模型，包括：基于病灶定位信息和医学图像训练病灶区域定位模块；基于组织定位信息和医学图像训练组织定位模块。
在本公开一实施例中，病灶区域定位模块包括特征提取单元、与特征提取单元信号连接的病灶识别单元以及与病灶识别单元信号连接的病灶定位单元，其中，特征提取单元用于提取多尺度的特征图，并基于多尺度的特征图进行特征融合操作，以获取图像融合信息；病灶识别单元用于基于多尺度的特征图和图像融合信息确定多尺度的特征图对应的病灶预测框；病灶定位单元用于确定病灶预测框对应的坐标信息。
在本公开一实施例中，病灶识别单元还用于对多尺度的特征图对应的病灶预测框进行非极大值抑制操作。
在本公开一实施例中，病灶区域定位模块和/或组织定位模块基于ResNext-50网络模型和特征金字塔网络模型确定。
在本公开一实施例中，胸部正位片图像为CT定位片图像，病灶为具备肺部炎症特征的病灶，肺部炎症特征包括密度特征、透亮度特征、实变特征、渗出特征和感染特征中的至少一种。
在本公开一实施例中，组织定位信息包括肺野关键点定位信息，肺野关键点定位信息包括肺尖轮廓关键点信息、膈面轮廓关键点信息、肺尖至肋膈角轮廓关键点信息和肺尖至心膈角轮廓关键点信息中的至少一种。
在另一方面，本公开实施例提供了一种病灶定位方法，应用于包括病灶的胸部正位片图像，该病灶定位方法包括：将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，其中，定位信息包括组织定位信息和第一病灶定位信息，定位模型基于上述任一实施例所述的网络模型训练方法获得；基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息。
在本公开一实施例中，组织定位信息包括肺野关键点定位信息，基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息，包括：基于肺野关键点定位信息确定胸部正位片图像对应的肺野区域信息；基于第一病灶定位信息确定胸部正位片图像对应的病灶区域信息；基于肺野区域信息和病灶区域信息确定第二病灶定位信息。
在本公开一实施例中，基于肺野区域信息和病灶区域信息确定第二病灶定位信息，包括：基于病灶区域信息确定病灶区域对应的中心点信息；基于中心点信息和肺野区域信息确定中心点与肺野区域的相对位置关系；基于相对位置关系确定第二病灶定位信息。
在另一方面，本公开实施例提供了一种网络模型训练装置，该网络模型训练装置包括：医学图像确定模块，用于确定包括病灶的医学图像，其中，医学图像为胸部正位片图像；定位信息确定模块，用于基于医学图像确定医学图像对应的病灶定位信息和组织定位信息；训练数据生成模块，用于基于病灶定位信息、组织定位信息和医学图像生成训练数据；定位模型生成模块，用于确定初始网络模型，并基于训练数据训练初始网络模型，以生成定位模型，其中，定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。
在另一方面，本公开实施例提供了一种病灶定位装置，应用于包括病灶的胸部正位片图像，该病灶定位装置包括：第一确定模块，用于将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，其中，定位信息包括组织定位信息和第一病灶定位信息，定位模型基于上述任一实施例所述的网络模型训练方法获得；第二确定模块，用于基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息。
在另一方面，本公开实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述实施例所提及的网络模型训练方法或病灶定位方法。
在另一方面，本公开实施例提供了一种电子设备，该电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，处理器用于执行上述实施例所提及的网络模型训练方法或病灶定位方法。
本公开实施例提供的网络模型训练方法，通过基于包括病灶的医学图像确定医学图像对应的病灶定位信息和组织定位信息，基于病灶定位信息、组织定位信息和医学图像生成训练数据，并基于训练数据训练初始网络模型以生成定位模型的方式，实现了生成能够用于确定包括病灶的胸部正位片图像对应的定位信息的定位模型的目的。由于训练数据是基于病灶定位信息、组织定位信息和医学图像确定的，因此，本公开实施例提及的定位模型不仅能够确定包括病灶的胸部正位片图像的病灶定位信息，而且还能够确定包括病灶的胸部正位片图像的组织定位信息。与利用单一定位信息训练生成定位模型相比，本公开实施例能够确定具备关联关系的多维度定位信息，进而利用关联关系和多维度定位信息提高后续的病灶定位的定位精准度和鲁棒性。此外，本公开实施例基于包括病灶的胸部正位片图像进行模型训练操作，与现有采用CT图像序列进行模型训练操作相比，本公开实施例能够极大提高训练速度。并且，本公开实施例基于深度学习模型提取病灶特征，避免了人工特征提取的局限性，进而提高了所生成的定位模型的精准度和鲁棒性。
本公开实施例提供的病灶定位方法，通过将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，并基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息的方式，实现了确定包括病灶的胸部正位片图像对应的第二病灶特征信息的目的。由于本公开实施例只需将待定位的胸部正位片图像输入至定位模型即可确定待定位的胸部正位片图像对应的第二病灶定位信息，因此，与现有技术相比，本公开实施例能够极大提高病灶定位信息的确定速度，进而实现了快速地辅助医生进行病灶定位工作的目的。此外，由于本公开实施例中利用的定位模型为深度学习模型，该深度学习模型基于深度学习框架提取病灶特征，能够避免人工特征提取的局限性，因此，本公开实施例能够提高病灶定位操作的定位精准度和鲁棒性。并且，本公开实施例利用定位模型实现了基于病灶定位信息和组织定位信息之间的关联关系提升病灶定位的可靠性的目的。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1所示为本公开实施例所适用的一场景示意图。
图2所示为本公开实施例所适用的另一场景示意图。
图3所示为本公开一示例性实施例提供的网络模型训练方法的流程示意图。
图4所示为本公开一示例性实施例提供的标记有肺野关键点的胸部正位片图像的示意图。
图5所示为本公开一示例性实施例提供的基于训练数据训练初始网络模型的流程示意图。
图6所示为本公开一示例性实施例提供的病灶区域定位模块对应的算法流程示意图。
图7所示为本公开一示例性实施例提供的组织定位模块对应的算法流程示意图。
图8所示为本公开一示例性实施例提供的病灶定位方法的流程示意图。
图9所示为本公开一示例性实施例提供的基于肺野关键点定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息的流程示意图。
图10所示为本公开一示例性实施例提供的基于肺野区域信息和病灶区域信息确定第二病灶定位信息的流程示意图。
图11所示为本公开一示例性实施例提供的标记有定位信息的胸部正位片图像的示意图。
图12所示为本公开一示例性实施例提供的网络模型训练装置的结构示意图。
图13所示为本公开一示例性实施例提供的定位模型生成模块的结构示意图。
图14所示为本公开一示例性实施例提供的病灶定位装置的结构示意图。
图15所示为本公开一示例性实施例提供的第二确定模块的结构示意图。
图16所示为本公开一示例性实施例提供的第二病灶定位信息确定单元的结构示意图。
图17所示为本公开一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
申请概述
医学影像是借助某种介质(如X射线、电磁场、超声波等)与人体或动物体相互作用，把人体或动物体内部组织器官结构、密度等信息以影像方式呈现的图像。在现代医学中，医学影像是辅助治疗的重要工具。
肺器官是人体组织中非常重要的器官，是实现呼吸功能的必要器官。根据人体肺器官的结构，可将人体肺器官划分为左肺和右肺，并且左肺和右肺共包括5个肺叶和18个肺段。由于人体肺器官的结构非常复杂，并且咳嗽和呼吸均会直接改变肺器官的形态和密度，因此，现有针对肺器官的病灶定位方法定位精准度极低且鲁棒性极差。尤其是针对新型冠状病毒肺炎的病灶定位操作，由于新型冠状病毒肺炎的病灶区域的密度与胸膜下脂肪和肌肉的密度非常接近，并且病灶区域的面积比较大，在很大程度上直接影响肺器官的形状和结构，因此，很难依赖于现有技术实现病灶区域的检测和识别，进而很难实现病灶区域的定位。比如，基于CT(Computed Tomography)断层扫描图像对新型冠状状病毒肺炎的病灶区域进行定位操作时，由于CT断层扫描图像为切片图像，因此极易出现层面检出不全或无检出等问题，进而降低定位操作的定位精准度。
因此，如何提高病灶定位方法的定位速度、定位精准度以及鲁棒性是亟待解决的问题。
基于上述提及的技术问题，本公开的基本构思是提出一种网络模型训练方法及装置、病灶定位方法及装置、计算机可读存储介质及电子设备。该网络模型训练方法通过基于包括病灶的医学图像确定医学图像对应的病灶定位信息和组织定位信息，基于病灶定位信息、组织定位信息和医学图像生成训练数据，并基于训练数据训练初始网络模型以生成定位模型的方式，实现了生成能够用于确定包括病灶的胸部正位片图像对应的定位信息的定位模型的目的。由于训练数据是基于病灶定位信息、组织定位信息和医学图像确定的，因此，本公开实施例提及的定位模型不仅能够确定包括病灶的胸部正位片图像的病灶定位信息，而且还能够确定包括病灶的胸部正位片图像的组织定位信息。与利用单一定位信息训练生成定位模型相比，本公开实施例能够确定具备关联关系的多维度定位信息，进而利用关联关系和多维度定位信息提高后续的病灶定位的定位精准度和鲁棒性。此外，本公开实施例基于包括病灶的胸部正位片图像进行模型训练操作，与现有采用CT图像序列进行模型训练操作相比，本公开实施例能够极大提高训练速度。并且，本公开实施例基于深度学习模型提取病灶特征，避免了人工特征提取的局限性，进而提高了所生成的定位模型的精准度和鲁棒性。
该病灶定位方法通过将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，并基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息的方式，实现了确定包括病灶的胸部正位片图像对应的第二病灶特征信息的目的。由于本公开实施例只需将待定位的胸部正位片图像输入至定位模型即可确定待定位的胸部正位片图像对应的第二病灶定位信息，因此，与现有技术相比，本公开实施例能够极大提高病灶定位信息的确定速度，进而实现了快速地辅助医生进行病灶定位工作的目的。此外，由于本公开实施例中利用的定位模型为深度学习模型，该深度学习模型基于深度学习框架提取病灶特征，能够避免人工特征提取的局限性，因此，本公开实施例能够提高病灶定位操作的定位精准度和鲁棒性。并且，本公开实施例利用定位模型实现了基于病灶定位信息和组织定位信息之间的关联关系提升病灶定位的可靠性的目的。
在介绍了本公开的基本原理之后，下面将参考附图来具体介绍本公开的各种非限制性实施例。
示例性系统
图1所示为本公开实施例所适用的一场景示意图。如图1所示，本公开实施例所适用的场景中包括服务器1和图像采集设备2，其中，服务器1和图像采集设备2之间存在通信连接关系。
具体而言，图像采集设备2用于采集包括病灶的医学图像，其中，医学图像为胸部正位片图像，服务器1用于基于医学图像确定医学图像对应的病灶定位信息和组织定位信息；基于病灶定位信息、组织定位信息和医学图像生成训练数据；确定初始网络模型，并基于训练数据训练初始网络模型，以生成定位模型，其中，定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。即，该场景实现了一种网络模型训练方法。
或者，图像采集设备2用于采集包括病灶的胸部正位片图像，服务器1用于将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，其中，定位信息包括组织定位信息和第一病灶定位信息；基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息。即，该场景实现了一种病灶定位方法。其中，此场景提及的定位模型可为上述场景中生成的定位模型。
由于图1所示的上述场景利用服务器1实现了网络模型训练方法和/或病灶定位方法，因此，不但能够提高场景的适应能力，而且能够有效降低图像采集设备2的计算量。
需要说明的是，本公开还适用于另一场景。图2所示为本公开实施例所适用的另一场景示意图。具体地，该场景中包括图像处理设备3，并且，图像处理设备3中包括图像采集模块301和计算模块302，图像采集模块301和计算模块302之间存在通信连接关系。
具体而言，图像处理设备3中的图像采集模块301可用于执行图1所示各场景中的图像采集设备2的功能，图像处理设备3中的计算模块302可用于执行图1所示各场景中的服务器1的功能。本公开实施例不再赘述。
由于图2所示的上述场景利用图像处理设备3实现了网络模型训练方法和/或病灶定位方法，无需与服务器等相关装置进行数据传输操作，因此，图2所示的上述场景能够保证网络模型训练方法和/或病灶定位方法的实时性。
需要说明的是，图1和图2所示的上述场景中提及的图像采集设备2和图像采集模块301，包括但不限于为X线机、CT扫描仪等医学图像采集装置。
示例性方法
图3所示为本公开一示例性实施例提供的网络模型训练方法的流程示意图。如图3所示，本公开实施例提供的网络模型训练方法包括如下步骤。
步骤10，确定包括病灶的医学图像，其中，医学图像为胸部正位片图像。
示例性地，胸部正位片图像指的是基于X射线拍摄的胸部冠状位图像，比如CT定位片图像。应当理解，胸部正位片图像能够清楚、全面地显示扫描部位的组织结构。尤其是CT定位片图像，能够弥补CT断层扫描图像的缺陷(比如割裂病灶区域等)。
应当理解，本公开实施例提及的病灶为肺部病灶。示例性地，步骤10中提及的病灶为肺部炎症病灶，比如，新型冠状病毒肺炎病灶。
步骤20，基于医学图像确定医学图像对应的病灶定位信息和组织定位信息。
示例性地，步骤20中提及的病灶定位信息，指的是在医学图像中框选出病灶区域，以生成病灶定位信息。
示例性地，步骤20中提及的组织定位信息，指的是与肺器官对应的定位信息。比如，组织定位信息为能够表征肺器官的轮廓的肺野关键点定位信息。即，在医学图像中标记出肺野关键点，以生成肺野关键点定位信息。又比如，组织定位信息为能够表征肺器官的轮廓的分割信息。即，将医学图像中的肺器官分割出来，以生成分割定位信息。
步骤30，基于病灶定位信息、组织定位信息和医学图像生成训练数据。
在本公开一实施例中，训练数据包括框选出病灶区域的医学图像和标记出肺野关键点的医学图像。
步骤40，确定初始网络模型，并基于训练数据训练初始网络模型，以生成定位模型，其中，定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。
示例性地，初始网络模型为卷积神经网络(Convolutional Neural Networks,CNN)模型。由于卷积神经网络中的隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量应对格点化(grid-like topology)特征(比如像素)，因此，效果稳定且对数据没有额外的特征工程(feature engineering)要求。
示例性地，初始网络模型和定位模型的模型结构是相同的，初始网络模型和定位模型之间的差异为模型的网络参数差异。即，初始网络模型中的网络参数为初始网络参数，然后利用训练数据对初始网络模型进行训练，训练过程中会调整初始网络参数，以最终生成定位模型中的网络参数。比如，基于梯度下降法不断调节初始网络模型的网络参数，以最终生成定位模型中的网络参数。
在本公开一实施例中，步骤40中提及的包括病灶的胸部正位片图像对应的定位信息，指的是框选的病灶区域信息和标记的肺野关键点信息。
在实际应用过程中，首先确定包括病灶的医学图像，基于医学图像确定医学图像对应的病灶定位信息和组织定位信息，然后基于病灶定位信息、组织定位信息和医学图像生成训练数据，进而确定初始网络模型，并基于训练数据训练初始网络模型，以生成定位模型。
本公开实施例提供的网络模型训练方法，通过基于包括病灶的医学图像确定医学图像对应的病灶定位信息和组织定位信息，基于病灶定位信息、组织定位信息和医学图像生成训练数据，并基于训练数据训练初始网络模型以生成定位模型的方式，实现了生成能够用于确定包括病灶的胸部正位片图像对应的定位信息的定位模型的目的。由于训练数据是基于病灶定位信息、组织定位信息和医学图像确定的，因此，本公开实施例提及的定位模型不仅能够确定包括病灶的胸部正位片图像的病灶定位信息，而且还能够确定包括病灶的胸部正位片图像的组织定位信息。与利用单一定位信息训练生成定位模型相比，本公开实施例能够确定具备关联关系的多维度定位信息，进而利用关联关系和多维度定位信息提高后续的病灶定位的定位精准度和鲁棒性。此外，本公开实施例基于包括病灶的胸部正位片图像进行模型训练操作，与现有采用CT图像序列进行模型训练操作相比，本公开实施例能够极大提高训练速度。并且，本公开实施例基于深度学习模型提取病灶特征，避免了人工特征提取的局限性，进而提高了所生成的定位模型的精准度和鲁棒性。
下面基于图4给出当组织定位信息为肺野关键点定位信息时，肺野关键点的标记实施例。
图4所示为本公开一示例性实施例提供的标记有肺野关键点的胸部正位片图像的示意图。如图4所示，本公开实施例提供的胸部正位片图像中，共标记有16个肺野关键点，即关键点1至16。其中，关键点1、2、9和10为肺尖轮廓关键点。具体地，关键点1和2分别位于一肺尖轮廓曲线的1/3处和2/3处，同样地，关键点9和10分别位于另一肺尖轮廓曲线的1/3处和2/3处。关键点5、6、13和14为膈面轮廓关键点。具体地，关键点5和6分别位于一膈面轮廓曲线的1/3处和2/3处，同样地，关键点13和14分别位于另一膈面轮廓曲线的1/3处和2/3处。并且，肺尖轮廓关键点和膈面轮廓关键点之间存在一一对应关系。
继续参照图4所示，关键点3、4、11和12为肺尖至肋膈角轮廓关键点。具体地，具体地，关键点3和4分别位于一肺尖至肋膈角轮廓曲线(即肺外缘)的1/3处和2/3处，同样地，关键点11和12分别位于另一肺尖至肋膈角轮廓曲线的1/3处和2/3处。关键点7、8、15和16为肺尖至心膈角轮廓关键点。具体地，关键点8和7分别位于一肺尖至心膈角轮廓曲线的1/3处和2/3处，同样地，关键点16和15分别位于另一肺尖至心膈角轮廓曲线的1/3处和2/3处。并且，肺尖至肋膈角轮廓关键点和肺尖至心膈角轮廓关键点之间存在一一对应关系。
至此，依次连接关键点1、2、3、4、5、6、7和8，并依次连接关键点9、10、11、12、13、14、15和16，便可将肺野区域圈定出来。
需要说明的是，关键点不局限于图4所示的种类和数量，只要能够利用所标记的关键点将肺野区域圈定出来即可。换言之，肺野关键点定位信息包括肺尖轮廓关键点信息、膈面轮廓关键点信息、肺尖至肋膈角轮廓关键点信息和肺尖至心膈角轮廓关键点信息中的至少一种即可，以提高标记灵活性。
比如，在本公开一实施例中，只标记关键点1、2、3、4、5、6、9、10、11、12、13和14，并依次连接关键点1、2、3、4、5、6、14、13、12、11、10和9，便可大致将肺野区域圈定出来。
图5所示为本公开一示例性实施例提供的基于训练数据训练初始网络模型的流程示意图。在本公开图3所示实施例的基础上延伸出本公开图5所示实施例，下面着重叙述图5所示实施例与图3所示实施例的不同之处，相同之处不再赘述。
如图5所示，在本公开实施例提供的网络模型训练方法中，初始网络模型包括病灶区域定位模块和组织定位模块。其中，基于训练数据训练初始网络模型步骤包括如下步骤。
步骤41，基于病灶定位信息和医学图像训练病灶区域定位模块。
步骤42，基于组织定位信息和医学图像训练组织定位模块。
示例性地，本公开实施例提及的病灶区域定位模块和组织定位模块，均基于ResNext-50网络模型和特征金字塔网络(Feature Pyramid Networks,FPN)模型确定。
在实际应用过程中，首先确定包括病灶的医学图像，基于医学图像确定医学图像对应的病灶定位信息和组织定位信息，然后基于病灶定位信息、组织定位信息和医学图像生成训练数据，进而确定初始网络模型，基于病灶定位信息和医学图像训练病灶区域定位模块，并基于组织定位信息和医学图像训练组织定位模块，以生成定位模型。
本公开实施例提供的网络模型训练方法，通过基于病灶定位信息和医学图像训练病灶区域定位模块，并基于组织定位信息和医学图像训练组织定位模块的方式，实现了基于训练数据训练初始网络模型的目的。由于本公开实施例分别基于病灶定位信息和组织定位信息训练了病灶区域定位模块和组织定位模块，并且病灶区域和器官组织之间具备关联关系，因此，训练而成的定位模型具备分别确定病灶定位信息和组织定位信息的能力，并行且各自独立的训练方式能够进一步提高训练速度，节省训练时间。
下面参照图6和图7分别介绍本公开上述实施例提及的病灶区域定位模块和组织定位模块。
图6所示为本公开一示例性实施例提供的病灶区域定位模块对应的算法流程示意图。如图6所示，在本公开实施例中，病灶区域定位模块包括特征提取单元81、与特征提取单元81信号连接的病灶识别单元82以及与病灶识别单元82信号连接的病灶定位单元83。
具体地，特征提取单元81用于提取多尺度的特征图，并基于多尺度的特征图进行特征融合操作，以获取图像融合信息。在本公开实施例中，特征提取单元81采用ResNext-50+FPN的网络结构实现。
病灶识别单元82用于基于多尺度的特征图和图像融合信息确定多尺度的特征图对应的病灶预测框。在本公开实施例中，基于特征连接和分类步骤实现病灶识别单元82的功能。其中，特征连接的作用是将多尺度的特征图进行融合，以便有利于获取不同尺度下图像信息。分类的作用是为了确定所检测的病灶是否为符合预设要求的病灶。
病灶定位单元83用于确定病灶预测框对应的坐标信息，并对多尺度的特征图对应的病灶预测框进行非极大值抑制操作。在本公开实施例中，基于多尺度检测和非极大值抑制步骤实现病灶定位单元83的功能。其中，多尺度检测的作用是在多尺度的特征图上回归出病灶预测框的坐标信息，以便有利于检测不同尺度的病灶。非极大值抑制的作用是去除掉不同尺度下输出的、重合度较高的病灶预测框，以提高所确定的病灶预测框的精准度。
在实际训练过程中，首先将病灶区域定位模块的网络参数初始化，其中，网络参数包括学习率、梯度下降方式、输入图像大小和batch等。示例性地，采用ImageNet预训练参数初始化网络，学习率设为0.001，优化器选择随机梯度下降法，输入图像大小640*640，每批次训练32张图像。然后将标注有病灶预测框的医学图像(即上述提及的病灶定位信息和医学图像)输入初始病灶区域定位模块进行“训练”，基于梯度下降法，不断调整病灶区域定位模块的网络参数，缩小病灶预测框与真实框之间的差异。在经过若干论迭代后满足回归精度要求，最终实现病灶的自动定位。应当理解，训练过程中，相关算法会根据输出结果与金标准之间的差距调整参数进行不断迭代，直到达到满足要求的训练结果。
需要说明的是，病灶区域定位模块的算法流程不局限于上述实施例提及的流程，比如可删除病灶识别单元83的非极大值抑制功能，以充分提高病灶区域定位模块的适应能力和应用广泛性。
图7所示为本公开一示例性实施例提供的组织定位模块对应的算法流程示意图。具体地，本公开实施例提供的组织定位模块用于确定肺野关键点定位信息。如图7所示，在本公开实施例中，组织定位模块包括ResNext-50单元91、与ResNext-50单元91信号连接的FPN单元92和与FPN单元92信号连接的关键点预测及可视化单元93。其中，FPN单元92包括特征融合子单元921，关键点预测及可视化单元93包括关键点预测子单元931和与关键点预测子单元931信号连接的可视化结果输出子单元932。
在实际应用过程中，首先将待进行肺野关键点预测的胸部定位片医学图像输入至ResNext-50单元91，利用ResNext-50单元91对该胸部定位片医学图像进行图像特征提取操作，以生成四个尺度的特征图，然后将该四个尺度的特征图输入至FPN单元92进行特征融合操作，以生成一融合特征图，最后将该融合特征图输入至关键点预测及可视化单元93，以进行肺野关键点的坐标预测及可视化输出操作。
需要说明的是，本公开实施例提及的组织定位模块的训练原理和训练步骤与上述病灶区域定位模块的训练原理和训练步骤相同，因此不再赘述。
图8所示为本公开一示例性实施例提供的病灶定位方法的流程示意图。如图8所示，本公开实施例提供的病灶定位方法应用于包括病灶的胸部正位片图像，具体包括如下步骤。
步骤50，将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，其中，定位信息包括组织定位信息和第一病灶定位信息。
示例性地，步骤50中提及的定位模型基于上述任一实施例所述的网络模型训练方法获得。
示例性地，组织定位信息指的是肺器官定位信息，比如肺野关键点定位信息。
应当理解，步骤50中提及的第一病灶定位信息，指的是利用定位模型预测的病灶定位信息。
步骤60，基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息。
示例性地，步骤60中提及的第二病灶定位信息，指的是利用组织定位信息对第一病灶定位信息进行进一步筛选后，得到的精准度更高的病灶定位信息。
在实际应用过程中，首先将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，然后基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息。
本公开实施例提供的病灶定位方法，通过将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，并基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息的方式，实现了确定包括病灶的胸部正位片图像对应的第二病灶特征信息的目的。由于本公开实施例只需将待定位的胸部正位片图像输入至定位模型即可确定待定位的胸部正位片图像对应的第二病灶定位信息，因此，与现有技术相比，本公开实施例能够极大提高病灶定位信息的确定速度，进而实现了快速地辅助医生进行病灶定位工作的目的。此外，由于本公开实施例中利用的定位模型为深度学习模型，该深度学习模型基于深度学习框架提取病灶特征，能够避免人工特征提取的局限性，因此，本公开实施例能够提高病灶定位操作的定位精准度和鲁棒性。并且，本公开实施例利用定位模型实现了基于病灶定位信息和组织定位信息之间的关联关系提升病灶定位的可靠性的目的。
图9所示为本公开一示例性实施例提供的基于肺野关键点定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息的流程示意图。在本公开图8所示实施例的基础上延伸出本公开图9所示实施例，下面着重叙述图9所示实施例与图8所示实施例的不同之处，相同之处不再赘述。
如图9所示，在本公开实施例提供的病灶定位方法中，组织定位信息包括肺野关键点定位信息。其中，基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息步骤包括如下步骤。
步骤61，基于肺野关键点定位信息确定胸部正位片图像对应的肺野区域信息。
步骤62，基于第一病灶定位信息确定胸部正位片图像对应的病灶区域信息。
示例性地，步骤62中提及的第一病灶定位信息，指的是基于定位模型预测的病灶定位信息。对应地，步骤62中提及的病灶区域信息，指的是基于预测的病灶定位信息确定的预测病灶区域信息。
步骤63，基于肺野区域信息和病灶区域信息确定第二病灶定位信息。
应当理解，本公开实施例提及的病灶指的是肺器官对应的病灶，比如肺结节病灶、肺部炎症病灶等。
在实际应用过程中，首先将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，然后基于肺野关键点定位信息确定胸部正位片图像对应的肺野区域信息，并基于第一病灶定位信息确定胸部正位片图像对应的病灶区域信息，基于肺野区域信息和病灶区域信息确定第二病灶定位信息。
本公开实施例提供的病灶定位方法，通过基于肺野关键点定位信息确定胸部正位片图像对应的肺野区域信息，基于第一病灶定位信息确定胸部正位片图像对应的病灶区域信息，并基于肺野区域信息和病灶区域信息确定第二病灶定位信息的方式，实现了基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息的目的。由于预测的病灶定位信息可能包括非病灶区域信息，因此，本公开实施例利用肺野区域信息进一步滤除预测的病灶定位信息中的非病灶区域信息，以得到精准度更高的第二病灶定位信息，从而有效提高所确定的病灶定位信息的精准度。
图10所示为本公开一示例性实施例提供的基于肺野区域信息和病灶区域信息确定第二病灶定位信息的流程示意图。在本公开图9所示实施例的基础上延伸出本公开图10所示实施例，下面着重叙述图10所示实施例与图9所示实施例的不同之处，相同之处不再赘述。
如图10所示，在本公开实施例提供的病灶定位方法中，基于肺野区域信息和病灶区域信息确定第二病灶定位信息步骤包括如下步骤。
步骤631，基于病灶区域信息确定病灶区域对应的中心点信息。
示例性地，当病灶区域具有规则几何形状时，中心点为几何形状的中心点。比如，病灶区域为矩形，则中心点为矩形的对角线的交点。当病灶区域具有非规则几何形状时，中心点为非几何形状的重心点。
步骤632，基于中心点信息和肺野区域信息确定中心点与肺野区域的相对位置关系。
示例性地，步骤632中提及的相对位置关系包括但不限于中心点位于肺野区域之外、中心点位于肺野区域之内等。
步骤633，基于相对位置关系确定第二病灶定位信息。
在实际应用过程中，首先将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，然后基于肺野关键点定位信息确定胸部正位片图像对应的肺野区域信息，并基于第一病灶定位信息确定胸部正位片图像对应的病灶区域信息，继而基于病灶区域信息确定病灶区域对应的中心点信息，基于中心点信息和肺野区域信息确定中心点与肺野区域的相对位置关系，并基于相对位置关系确定第二病灶定位信息。
本公开实施例提供的病灶定位方法，通过基于病灶区域信息确定病灶区域对应的中心点信息，并基于中心点信息和肺野区域信息确定中心点与肺野区域的相对位置关系，进而基于相对位置关系确定第二病灶定位信息的方式，实现了基于肺野区域信息和病灶区域信息确定第二病灶定位信息的目的。本公开实施例能够基于中心点和肺野区域之间的相对位置关系提高病灶的定位精准度。尤其当预测的病灶区域与肺野区域部分交叠时，本公开实施例能够基于中心点信息精准地确定所预测的病灶区域是否为真正的病灶区域，进一步提高病灶的定位精准度。
下面结合图11给出的标记有定位信息的胸部正位片图像进一步解释图10所示实施例。
图11所示为本公开一示例性实施例提供的标记有定位信息的胸部正位片图像的示意图。如图11所示，本公开实施例通过依次连接肺野关键点1、2、3、4、5、6、9、10、11、12、13和14圈定了肺野区域范围。其中，相关肺野关键点的详细内容可参见图4所示实施例，本公开实施例不再详细赘述。并且，在本公开实施例中，基于定位模型预测的病灶定位信息中包括预测的矩形的病灶区域M和N。其中，病灶区域M的中心点为m，病灶区域N的中心点为n。
继续参照图11所示，由于病灶区域M的中心点m落在了肺野区域之外，病灶区域N的中心点n落在了肺野区域之内，因此，可判定病灶区域M为非病灶区域，病灶区域N为真正的病灶区域。
在本公开一实施例中，胸部正位片图像为CT定位片图像，病灶为具备肺部炎症特征的病灶，比如新型冠状病毒肺炎病灶。那么，基于上述任一实施例提及的网络模型训练方法训练出用于确定CT定位片图像对应的定位信息的定位模型，并且，基于上述任一实施例提及的病灶定位方法确定CT定位片图像中的具备肺炎特征的病灶定位信息。
具体地，上述提及的肺部炎症特征包括密度特征、透亮度特征、实变特征、渗出特征和感染特征中的至少一种。应当理解，具备肺部炎症特征的病灶很难基于现有的病灶定位方法实现精准定位。尤其是新型冠状病毒肺炎病灶，新型冠状病毒肺炎病灶的面积较大，并且病灶区域的密度与胸膜下脂肪和肌肉的密度非常接近，在很大程度上直接影响肺器官的形状和结构，因此病灶定位难度更大。
本公开实施例利用上述实施例提供的网络模型训练方法和病灶定位方法实现了肺部炎症特征的病灶的精准定位操作。尤其对于新型冠状病毒肺炎病灶，本公开实施例不但具备较高的定位精准度和鲁棒性，而且具备较高的定位速度。
示例性装置
图12所示为本公开一示例性实施例提供的网络模型训练装置的结构示意图。如图12所示，本公开实施例提供的网络模型训练装置包括：
医学图像确定模块100，用于确定包括病灶的医学图像，其中，医学图像为胸部正位片图像；
定位信息确定模块200，用于基于医学图像确定医学图像对应的病灶定位信息和组织定位信息；
训练数据生成模块300，用于基于病灶定位信息、组织定位信息和医学图像生成训练数据；
定位模型生成模块400，用于确定初始网络模型，并基于训练数据训练初始网络模型，以生成定位模型，其中，定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。
图13所示为本公开一示例性实施例提供的定位模型生成模块的结构示意图。在本公开图12所示实施例的基础上延伸出本公开图13所示实施例，下面着重叙述图13所示实施例与图12所示实施例的不同之处，相同之处不再赘述。
如图13所示，在本公开实施例提供的网络模型训练装置中，定位模型生成模块400包括：
第一训练单元410，用于基于病灶定位信息和医学图像训练病灶区域定位模块；
第二训练单元420，用于基于组织定位信息和医学图像训练组织定位模块。
图14所示为本公开一示例性实施例提供的病灶定位装置的结构示意图。如图14所示，本公开实施例提供的病灶定位装置包括：
第一确定模块500，用于将胸部正位片图像输入至定位模型，以确定胸部正位片图像对应的定位信息，其中，定位信息包括组织定位信息和第一病灶定位信息；
第二确定模块600，用于基于组织定位信息和第一病灶定位信息确定胸部正位片图像对应的第二病灶定位信息。
图15所示为本公开一示例性实施例提供的第二确定模块的结构示意图。在本公开图14所示实施例的基础上延伸出本公开图15所示实施例，下面着重叙述图15所示实施例与图14所示实施例的不同之处，相同之处不再赘述。
如图15所示，在本公开实施例提供的病灶定位装置中，第二确定模块600包括：
肺野区域信息确定单元610，用于基于肺野关键点定位信息确定胸部正位片图像对应的肺野区域信息；
病灶区域信息确定单元620，用于基于第一病灶定位信息确定胸部正位片图像对应的病灶区域信息；
第二病灶定位信息确定单元630，用于基于肺野区域信息和病灶区域信息确定第二病灶定位信息。
图16所示为本公开一示例性实施例提供的第二病灶定位信息确定单元的结构示意图。在本公开图15所示实施例的基础上延伸出本公开图16所示实施例，下面着重叙述图16所示实施例与图15所示实施例的不同之处，相同之处不再赘述。
如图16所示，在本公开实施例提供的病灶定位装置中，第二病灶定位信息确定单元630包括：
中心点信息确定子单元6310，用于基于病灶区域信息确定病灶区域对应的中心点信息；
相对位置关系确定子单元6320，用于基于中心点信息和肺野区域信息确定中心点与肺野区域的相对位置关系；
第二病灶定位信息确定子单元6330，用于基于相对位置关系确定第二病灶定位信息。
应当理解，图12和图13提供的网络模型训练装置中的医学图像确定模块100、定位信息确定模块200、训练数据生成模块300和定位模型生成模块400，以及定位模型生成模块400中包括的第一训练单元410和第二训练单元420的操作和功能可以参考上述图3至图5提供的网络模型训练方法，为了避免重复，在此不再赘述。
此外，应当理解，图14至图16提供的病灶定位装置中的第一确定模块500和第二确定模块600，以及第二确定模块600中包括的肺野区域信息确定单元610、病灶区域信息确定单元620和第二病灶定位信息确定单元630，以及第二病灶定位信息确定单元630中包括的中心点信息确定子单元6310、相对位置关系确定子单元6320和第二病灶定位信息确定子单元6330的操作和功能可以参考上述图8至图10提供的病灶定位方法，为了避免重复，在此不再赘述。
示例性电子设备
下面，参考图17来描述根据本公开实施例的电子设备。图17所示为本公开一示例性实施例提供的电子设备的结构示意图。
如图17所示，电子设备70包括一个或多个处理器701和存储器702。
处理器701可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备70中的其他组件以执行期望的功能。
存储器702可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器701可以运行所述程序指令，以实现上文所述的本公开的各个实施例的网络模型训练方法、病灶定位方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如医学图像等各种内容。
在一个示例中，电子设备70还可以包括：输入装置703和输出装置704，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置703可以包括例如键盘、鼠标等等。
该输出装置704可以向外部输出各种信息，包括确定出的病灶的定位信息等。该输出装置704可以包括例如显示器、通信网络及其所连接的远程输出设备等等。
当然，为了简化，图17中仅示出了该电子设备70中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备70还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的网络模型训练方法和病灶定位方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的网络模型训练方法和病灶定位方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种网络模型训练方法，其特征在于，包括：
确定包括病灶的医学图像，其中，所述医学图像为胸部正位片图像；
基于所述医学图像确定所述医学图像对应的病灶定位信息和组织定位信息；
基于所述病灶定位信息、所述组织定位信息和所述医学图像生成训练数据；
确定初始网络模型，并基于所述训练数据训练所述初始网络模型，以生成定位模型，其中，所述定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。
2.根据权利要求1所述的方法，其特征在于，所述初始网络模型包括病灶区域定位模块和组织定位模块，所述基于所述训练数据训练所述初始网络模型，包括：
基于所述病灶定位信息和所述医学图像训练所述病灶区域定位模块；
基于所述组织定位信息和所述医学图像训练所述组织定位模块。
3.根据权利要求2所述的方法，其特征在于，所述病灶区域定位模块包括特征提取单元、与所述特征提取单元信号连接的病灶识别单元以及与所述病灶识别单元信号连接的病灶定位单元，其中，
所述特征提取单元用于提取多尺度的特征图，并基于所述多尺度的特征图进行特征融合操作，以获取图像融合信息；
所述病灶识别单元用于基于所述多尺度的特征图和所述图像融合信息确定所述多尺度的特征图对应的病灶预测框；
所述病灶定位单元用于确定所述病灶预测框对应的坐标信息。
4.根据权利要求3所述的方法，其特征在于，所述病灶识别单元还用于对所述多尺度的特征图对应的病灶预测框进行非极大值抑制操作。
5.根据权利要求2至4任一所述的方法，其特征在于，所述病灶区域定位模块和/或所述组织定位模块基于ResNext-50网络模型和特征金字塔网络模型确定。
6.根据权利要求1至4任一所述的方法，其特征在于，所述胸部正位片图像为CT定位片图像，所述病灶为具备肺部炎症特征的病灶，所述肺部炎症特征包括密度特征、透亮度特征、实变特征、渗出特征和感染特征中的至少一种。
7.根据权利要求1至4任一所述的方法，其特征在于，所述组织定位信息包括肺野关键点定位信息，所述肺野关键点定位信息包括肺尖轮廓关键点信息、膈面轮廓关键点信息、肺尖至肋膈角轮廓关键点信息和肺尖至心膈角轮廓关键点信息中的至少一种。
8.一种病灶定位方法，其特征在于，应用于包括病灶的胸部正位片图像，包括：
将所述胸部正位片图像输入至定位模型，以确定所述胸部正位片图像对应的定位信息，其中，所述定位信息包括组织定位信息和第一病灶定位信息，所述定位模型基于上述权利要求1至7任一所述的网络模型训练方法获得；
基于所述组织定位信息和所述第一病灶定位信息确定所述胸部正位片图像对应的第二病灶定位信息。
9.根据权利要求8所述的方法，其特征在于，所述组织定位信息包括肺野关键点定位信息，所述基于所述组织定位信息和所述第一病灶定位信息确定所述胸部正位片图像对应的第二病灶定位信息，包括：
基于所述肺野关键点定位信息确定所述胸部正位片图像对应的肺野区域信息；
基于所述第一病灶定位信息确定所述胸部正位片图像对应的病灶区域信息；
基于所述肺野区域信息和所述病灶区域信息确定所述第二病灶定位信息。
10.根据权利要求9所述的方法，其特征在于，所述基于所述肺野区域信息和所述病灶区域信息确定所述第二病灶定位信息，包括：
基于所述病灶区域信息确定病灶区域对应的中心点信息；
基于所述中心点信息和所述肺野区域信息确定中心点与肺野区域的相对位置关系；
基于所述相对位置关系确定所述第二病灶定位信息。
11.一种网络模型训练装置，其特征在于，包括：
医学图像确定模块，用于确定包括病灶的医学图像，其中，所述医学图像为胸部正位片图像；
定位信息确定模块，用于基于所述医学图像确定所述医学图像对应的病灶定位信息和组织定位信息；
训练数据生成模块，用于基于所述病灶定位信息、所述组织定位信息和所述医学图像生成训练数据；
定位模型生成模块，用于确定初始网络模型，并基于所述训练数据训练所述初始网络模型，以生成定位模型，其中，所述定位模型用于确定包括病灶的胸部正位片图像对应的定位信息。
12.一种病灶定位装置，其特征在于，应用于包括病灶的胸部正位片图像，包括：
第一确定模块，用于将所述胸部正位片图像输入至定位模型，以确定所述胸部正位片图像对应的定位信息，其中，所述定位信息包括组织定位信息和第一病灶定位信息，所述定位模型基于上述权利要求1至7任一所述的网络模型训练方法获得；
第二确定模块，用于基于所述组织定位信息和所述第一病灶定位信息确定所述胸部正位片图像对应的第二病灶定位信息。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至7任一所述的网络模型训练方法或上述权利要求8至10任一所述的病灶定位方法。
14.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至7任一所述的网络模型训练方法或上述权利要求8至10任一所述的病灶定位方法。
CN202010113706.4A 2020-02-24 2020-02-24 网络模型训练方法及装置、病灶定位方法及装置 Pending CN111353975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010113706.4A CN111353975A (zh) 2020-02-24 2020-02-24 网络模型训练方法及装置、病灶定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010113706.4A CN111353975A (zh) 2020-02-24 2020-02-24 网络模型训练方法及装置、病灶定位方法及装置

Publications (1)

Publication Number Publication Date
CN111353975A true CN111353975A (zh) 2020-06-30

Family

ID=71197190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010113706.4A Pending CN111353975A (zh) 2020-02-24 2020-02-24 网络模型训练方法及装置、病灶定位方法及装置

Country Status (1)

Country Link
CN (1) CN111353975A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311232A (zh) * 2022-08-09 2022-11-08 北京医准智能科技有限公司 一种肺部病灶类型检测方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564578A (zh) * 2018-04-13 2018-09-21 上海商汤智能科技有限公司 病理诊断辅助方法、装置及系统
CN109447966A (zh) * 2018-10-26 2019-03-08 科大讯飞股份有限公司 医学图像的病灶定位识别方法、装置、设备及存储介质
CN109919013A (zh) * 2019-01-28 2019-06-21 浙江英索人工智能科技有限公司 视频图像中基于深度学习的人脸检测方法及装置
CN110136829A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 乳腺钼靶图像的辅助诊断方法、装置、系统及介质
CN110766701A (zh) * 2019-10-31 2020-02-07 北京推想科技有限公司 网络模型训练方法及装置、区域划分方法及装置
CN110827294A (zh) * 2019-10-31 2020-02-21 北京推想科技有限公司 网络模型训练方法及装置、病灶区域确定方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564578A (zh) * 2018-04-13 2018-09-21 上海商汤智能科技有限公司 病理诊断辅助方法、装置及系统
CN109447966A (zh) * 2018-10-26 2019-03-08 科大讯飞股份有限公司 医学图像的病灶定位识别方法、装置、设备及存储介质
CN109919013A (zh) * 2019-01-28 2019-06-21 浙江英索人工智能科技有限公司 视频图像中基于深度学习的人脸检测方法及装置
CN110136829A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 乳腺钼靶图像的辅助诊断方法、装置、系统及介质
CN110766701A (zh) * 2019-10-31 2020-02-07 北京推想科技有限公司 网络模型训练方法及装置、区域划分方法及装置
CN110827294A (zh) * 2019-10-31 2020-02-21 北京推想科技有限公司 网络模型训练方法及装置、病灶区域确定方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311232A (zh) * 2022-08-09 2022-11-08 北京医准智能科技有限公司 一种肺部病灶类型检测方法、装置、电子设备及存储介质
CN115311232B (zh) * 2022-08-09 2023-09-12 北京医准智能科技有限公司 一种肺部病灶类型检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US9684961B2 (en) Scan region determining apparatus
US8121362B2 (en) Registration of medical images using learned-based matching functions
US10318839B2 (en) Method for automatic detection of anatomical landmarks in volumetric data
US10362941B2 (en) Method and apparatus for performing registration of medical images
US9155470B2 (en) Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography
US11672505B2 (en) Correcting probe induced deformation in an ultrasound fusing imaging system
US8948484B2 (en) Method and system for automatic view planning for cardiac magnetic resonance imaging acquisition
JP2009273597A (ja) 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
JP7467348B2 (ja) 医用画像データの表示
US9135696B2 (en) Implant pose determination in medical imaging
WO2014120727A2 (en) Method and apparatus for generating a derived image using images of different types
JP2009119133A (ja) 画像処理装置、画像処理方法及びプログラム
EP2976737B1 (en) View classification-based model initialization
US11327773B2 (en) Anatomy-aware adaptation of graphical user interface
CN110895812A (zh) Ct图像的检测方法、装置、存储介质及电子设备
KR102036834B1 (ko) 이미지 처리 방법
US11361407B2 (en) Motion correction systems and methods for improving medical image data
CN111353975A (zh) 网络模型训练方法及装置、病灶定位方法及装置
US20240099692A1 (en) Guided acquisition of a 3d representation of an anatomical structure
US11837352B2 (en) Body representations
CN110349151B (zh) 一种目标识别方法及装置
CN112288708A (zh) Ct图像中淋巴结的检测方法、装置、介质及电子设备
CN117530708B (zh) 手术配准方法和手术配准设备
JP2013248466A (ja) 処理装置および処理方法、プログラム
CN114727800A (zh) 用于对象检测或识别的图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant before: Beijing Tuoxiang Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200630