CN111667457B - 一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质 - Google Patents
一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质 Download PDFInfo
- Publication number
- CN111667457B CN111667457B CN202010357050.0A CN202010357050A CN111667457B CN 111667457 B CN111667457 B CN 111667457B CN 202010357050 A CN202010357050 A CN 202010357050A CN 111667457 B CN111667457 B CN 111667457B
- Authority
- CN
- China
- Prior art keywords
- segment
- model
- data
- training
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请所提供的一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质,所述方法包括:获取脊椎部位放射平片并进行预处理;根据专家对脊椎部位放射平片的标注结果确定标准标注数据;将标准标注数据输入至预设的深度学习网络模型中进行训练得到椎体节段识别模型;将标准标注数据输入至预设深度学习网络模型中进行训练得到椎体节段分类推断联合模型;采用交叉验证训练上述椎体节段识别模型与椎体节段分类推断联合模型,得到交叉训练椎体节段分类推断联合模型;将预处理的待标注数据输入至椎体节段识别模型、交叉训练椎体节段分类推断联合模型,预测得到椎体的节段框、节段类型和位置编号;可实现椎体节段节段类型和位置编号预测识别。
Description
技术领域
本申请涉及医学影像和计算机辅助技术领域,尤其是涉及一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质。
背景技术
随着计算机和医疗技术的飞速发展,深度学习在辅助放射科诊断的应用是目前人工智能领域的研究热点之一,运用深度学习技术的自动化识别方法已被应用于给医生检测病灶可疑区域的提示。骨折作为高发病种,在日常临床工作中,骨科医生往往需要审阅大量的放射影像,椎体识别和撰写报告的过程较耗时间,且诊断质量受主观性和精力的影响。使用人工智能技术的智能化报告系统有助于医生节省报告撰写时间,在阅片过程中,医生只需确认根据人工智能系统给出的推荐结果,点击确认即可自动生成所需的诊断报告。因此,在骨折检测相关智能化报告系统中,自动识别椎体节段类型和位置编号至关重要。
目前基于深度学习,可通过物体检测或关键点检测等方法进行人体关节检测和姿态估计,但该技术运用于椎体节段类型和位置编号检测存在重大缺陷,识别椎体节段信息的准确率不足10%,完全不适用。其缺陷主要在于两点:其一,关键点检测是让计算机去识别关键点本身及其周围的图像特征从而推断关键点的位置,但对于同一种类型的椎体节段,每一个节段本身的图像特征几乎是一样的(例如颈椎4节段和颈椎第5节段在图像上看起来几乎没有区别),对于某一些节段也无法根据其周围的图像特征确定节段编号。其二,物体检测和关键点检测技术都没有顺序的概念,它们从图像中识别到多个“推荐区域”或者“推荐点”是无序的,因此若采用已有技术椎体的第2节段可能被推荐在一个椎体第1节段上方的区域。这样的错误对于产品的鲁棒性有非常大的伤害。目前对于识别脊椎椎体节段类型和位置编号,均未有合适的方法被提出和使用。
因此,亟需一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及,以解决现有技术中脊椎椎体节段类型和位置编号无法自动识别检测的问题。
发明内容
针对现有技术的不足,本申请提供一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质,解决了现有技术中脊椎椎体节段类型和位置编号无法自动识别检测的问题。
为解决上述技术问题,第一方面,本申请提供一种基于医学影像的脊椎椎体信息自动识别方法,包括:
获取脊椎部位放射平片并进行预处理;
根据专家对脊椎部位放射平片的标注结果,确定标准标注数据;
将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段识别模型;
将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段分类推断联合模型,其中,所述椎体节段分类推断联合模型包括:节段位置和编号向上推断模型、节段位置和编号分类模型、节段位置和编号向下推断模型;
采用交叉验证训练上述椎体节段识别模型与椎体节段分类推断联合模型,得到交叉训练椎体节段分类推断联合模型;
将预处理的脊椎部位放射平片中待标注数据输入至椎体节段识别模型、交叉训练椎体节段分类推断联合模型,预测得到椎体的节段框、节段类型和位置编号。
可选的,所述获取脊椎部位放射平片并进行预处理,包括:
收集DICOM规范数据;
从收集到的DICOM规范数据中,筛选出符合数据标注要求、质量完善、属于脊椎部位的放射平片;
将DICOM图像进行像素值覆盖范围(窗宽)、像素值分布中心(窗位)、对比度增强算法、图片尺寸的标准化预处理得到待标注数据。
可选的,所述根据专家对脊椎部位放射平片的标注结果,确定标准标注数据,包括:
获取预设数目的专家对同一脊椎部位放射平片的标注结果;
将多组标注结果进行对比,判断标注结果是否有异议;
若无异议,则将标注结果视为标准标注结果;
若有异议,则由其他主任级专家进行重新审核标注,得到标准标注结果;
将所述标准标注结果的标签整理为计算机可识别的格式,同时对标签进行延伸得到标准标注数据;
其中,所述标注内容包括:每个椎体节段的位置、节段框、节段类型及位置编号。
可选的,所述将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段识别模型,包括:
将标准标注数据作为训练数据输入至预设的物体检测同类型网络模型中进行训练,对各椎体节段不做区分的进行学习,得到可预测椎体节段的节段框的椎体节段识别模型。
可选的,所述将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段分类推断联合模型,其中,所述椎体节段分类推断联合模型包括:节段位置和编号向上推断模型、节段位置和编号分类模型、节段位置和编号向下推断模型,包括:
将标准标注数据作为训练数据输入至节段位置和编号分类模型,对每各椎体节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向上推断模型对节段的上一个节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向下推断模型对节段的下一个节段的位置、分类及编号进行学习,得到训练好的椎体节段分类推断联合模型。
第二方面,本申请还提供一种基于医学影像的脊椎椎体信息自动识别系统,包括:
获取单元,配置用于获取脊椎部位放射平片并进行预处理;
标注单元,配置用于根据专家对脊椎部位放射平片的标注结果,确定标准标注数据;
识别模型训练单元,配置用于将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段识别模型;
分类推断联合模型训练单元,配置用于将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段分类推断联合模型,其中,所述椎体节段分类推断联合模型包括:节段位置和编号向上推断模型、节段位置和编号分类模型、节段位置和编号向下推断模型;
模型交叉训练单元,配置用于采用交叉验证训练上述椎体节段识别模型与椎体节段分类推断联合模型,得到交叉训练椎体节段分类推断联合模型;
模型预测单元,配置用于将预处理的脊椎部位放射平片中待标注数据输入至椎体节段识别模型、交叉训练椎体节段分类推断联合模型,预测得到椎体的节段框、节段类型和位置编号。
可选的,所述获取单元包括:
数据收集单元,配置用于收集DICOM规范数据;
数据合规筛选单元,配置用于从收集到的DICOM规范数据中,筛选出符合数据标注要求、质量完善、属于脊椎部位的放射平片;
图像数据预处理单元,配置用于将DICOM图像进行像素值覆盖范围(窗宽)、像素值分布中心(窗位)、对比度增强算法、图片尺寸的标准化预处理得到待标注数据。
可选的,所述标注单元包括:
交叉标注单元,配置用于获取预设数目的专家对同一脊椎部位放射平片的标注结果;
标注审核单元,配置用于将多组标注结果进行对比,判断标注结果是否有异议;若无异议,则将标注结果视为标准标注结果;若有异议,则由其他主任级专家进行重新审核标注,得到标准标注结果;
标签格式整理单元,配置用于将所述标准标注结果的标签整理为计算机可识别的格式,同时对标签进行延伸得到标准标注数据。
可选的,所述识别模型训练单元具体用于:
将标准标注数据作为训练数据输入至预设的物体检测同类型网络模型中进行训练,对各椎体节段不做区分的进行学习,得到可预测椎体节段的节段框的椎体节段识别模型。
可选的,所述分类推断联合模型训练单元具体用于:
将标准标注数据作为训练数据输入至节段位置和编号分类模型,对每各椎体节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向上推断模型对节段的上一个节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向下推断模型对节段的下一个节段的位置、分类及编号进行学习,得到训练好的椎体节段分类推断联合模型。
第三方面,本申请提供一种终端,包括:
处理器、存储器,其中,
该存储器用于存储计算机程序,
该处理器用于从存储器中调用并运行该计算机程序,使得终端执行上述的终端的方法。
第四方面,本申请提供了一种计算机存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
与现有技术相比,本申请具有如下有益效果:
本申请利用深度学习训练技术,以物体检测框架构建基础模型,并在该框架上添加用于推断下一个椎体节段位置和上一个椎体节段位置的两个辅助推断模型并进行交叉训练,两辅助模型与基础模型互相增强学习,使得模型具有除了识别功能以外的推理能力,可精确的框画出放射平片上每一个椎体节段的位置,并输出该节段的节段类型和位置编号,能够大幅改进椎体信息预测识别的精确性和可信度。
在训练过程中除了对物体检测网络输出的节段类型进行纠正,还会将物体检测网络的输出送给两个推断网络,进行多次的迭代推断,同时对所有的多级推断,训练器也会对其进行纠正和回传损失梯度。因此,本申请的网络模型不仅能学到椎体图像及其周围的特征还能学到从其它节段到目标节段的逻辑推理特征,该网络就同时具有图像识别和排序推理的能力,也因此适用于输出节段类型和位置编号这一技术问题。
此外,本申请使用严格的数据管控和标注标准,以及计算机的训练学习和预测,能够在辅助临床诊断的过程中一定程度上排除医生主观性和工作状态的干扰,提升诊断的质量和效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种基于医学影像的脊椎椎体信息自动识别方法的流程图;
图2为本申请实施例所提供的另一种基于医学影像的脊椎椎体信息自动识别方法的流程图;
图3为本申请另一实施例所提供的一种基于医学影像的脊椎椎体信息自动识别系统的结构示意图;
图4为本申请实施例所提供的一种终端系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参考图1,图1为本申请实施例所提供的一种基于医学影像的脊椎椎体信息自动识别方法的流程图,该方法100包括:
S101:获取脊椎部位放射平片并进行预处理;
S102:根据专家对脊椎部位放射平片的标注结果,确定标准标注数据;
S103:将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段识别模型;
S104:将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段分类推断联合模型,其中,所述椎体节段分类推断联合模型包括:节段位置和编号向上推断模型、节段位置和编号分类模型、节段位置和编号向下推断模型;
S105:采用交叉验证训练上述椎体节段识别模型与椎体节段分类推断联合模型,得到交叉训练椎体节段分类推断联合模型;
S106:将预处理的脊椎部位放射平片中待标注数据输入至椎体节段识别模型、交叉训练椎体节段分类推断联合模型,预测得到椎体的节段框、节段类型和位置编号。
需要说明的是,脊椎椎体包括颈椎、胸椎、腰椎和骶尾椎四种类型,成人脊柱一般有颈椎7块、胸椎12块、腰椎5块、骶椎1块、尾椎1块,每个脊椎椎体都对应特定的节段类型和位置编号。
基于上述实施例,作为可选的实施例,所述S101获取脊椎部位放射平片并进行预处理,包括:
收集DICOM规范数据;
从收集到的DICOM规范数据中,筛选出符合数据标注要求、质量完善、属于脊椎部位的放射平片;
将DICOM图像进行像素值覆盖范围(窗宽)、像素值分布中心(窗位)、对比度增强算法、图片尺寸的标准化预处理得到待标注数据。
基于上述实施例,作为可选的实施例,所述S102根据专家对脊椎部位放射平片的标注结果,确定标准标注数据,包括:
获取预设数目的专家对同一脊椎部位放射平片的标注结果;
将多组标注结果进行对比,判断标注结果是否有异议;
若无异议,则将标注结果视为标准标注结果;
若有异议,则由其他主任级专家进行重新审核标注,得到标准标注结果;
将所述标准标注结果的标签整理为计算机可识别的格式,同时对标签进行延伸得到标准标注数据;
其中,所述标注内容包括:每个椎体节段的位置、节段框、节段类型及位置编号。
需要注意的是,专家仅需要标注节段的位置、节段框(以正方形框紧密包裹椎体节段所在区域)、节段类型及编号,该节段的上一节段和下一节段所处位置及相关信息,程序可自动整理得出。
基于上述实施例,作为可选的实施例,所述S103将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段识别模型,包括:
将标准标注数据作为训练数据输入至预设的物体检测同类型网络模型中进行训练,对各椎体节段不做区分的进行学习,得到可预测椎体节段的节段框的椎体节段识别模型。
基于上述实施例,作为可选的实施例,所述S104将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段分类推断联合模型,其中,所述椎体节段分类推断联合模型包括:节段位置和编号向上推断模型、节段位置和编号分类模型、节段位置和编号向下推断模型,包括:
将标准标注数据作为训练数据输入至节段位置和编号分类模型,对每各椎体节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向上推断模型对节段的上一个节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向下推断模型对节段的下一个节段的位置、分类及编号进行学习,得到训练好的椎体节段分类推断联合模型。
需要说明的是,该模型同时对每一个椎体节段的该节段及其上一个和下一个节段的位置、分类及编号进行学习,并对上下推断器进行循环迭代,更远的学习上两个和下两个节段、上三个和下三个节段的位置、分类及编号,达到不断强化模型排序推理能力的目的。该模型可从不同的节段出发进行推理的一致性进行训练,例如胸椎第2节段,既是从胸椎第3节段推理的上一节段,也是从胸椎第4节段推理的上两个节段,这两个推理结果理应一致,模型会对这样的一致性进行学习从而进一步强化其推理能力。
具体的,请参考图2,图2为本申请实施例所提供的另一种基于医学影像的脊椎椎体信息自动识别方法的流程图,该方法包括三个阶段:放射平片图像管理、标注标签管理和椎体节段识别训练:放射平片图像管理包括:数据收集、数据合规筛选、图像数据预处理三个步骤,标注标签管理包括:专家团队交叉数据标注、专家主任标注审核、标签格式整理三个步骤,椎体节段识别训练包括:椎体节段识别模型训练、节段位置和编号向上推断模型+节段位置和编号分类模型+节段位置和编号向下推断模型训练、模型交叉训练,主要过程如下:
数据收集:收集DICOM规范数据;
数据合规筛选:从收集到的DICOM规范数据中,筛选出符合数据标注要求、质量完善、属于脊椎部位的放射平片;
图像数据预处理:将DICOM图像进行像素值覆盖范围(窗宽)、像素值分布中心(窗位)、对比度增强算法、图片尺寸的标准化预处理得到待标注数据;
专家团队交叉数据标注:获取预设数目的专家对同一脊椎部位放射平片的标注结果;
专家主任标注审核:将多组标注结果进行对比,判断标注结果是否有异议;若无异议,则将标注结果视为标准标注结果;若有异议,则由其他主任级专家进行重新审核标注,得到标准标注结果;
标签格式整理:将所述标准标注结果的标签整理为计算机可识别的格式,同时对标签进行延伸得到标准标注数据;
椎体节段识别模型训练:将标准标注数据作为训练数据输入至预设的物体检测同类型网络模型中进行训练,得到可预测椎体节段的节段框的椎体节段识别模型;
节段位置和编号向上推断模型+节段位置和编号分类模型+节段位置和编号向下推断模型训练:将标准标注数据作为训练数据输入至节段位置和编号分类模型、节段位置和编号向上推断模型、节段位置和编号向下推断模型进行训练,得到训练好的椎体节段分类推断联合模型;
模型交叉训练:采用交叉验证训练上述椎体节段识别模型与椎体节段分类推断联合模型,得到交叉训练椎体节段分类推断联合模型;
模型预测:将预处理的待标注数据输入至椎体节段识别模型、交叉训练椎体节段分类推断联合模型,预测得到椎体的节段框、节段类型和位置编号。
请参考图3,图3为本申请实施例所提供的一种基于医学影像的脊椎椎体信息自动识别系统的结构示意图,该系统300,包括:
获取单元301,配置用于获取脊椎部位放射平片并进行预处理;
标注单元302,配置用于根据专家对脊椎部位放射平片的标注结果,确定标准标注数据;
识别模型训练单元303,配置用于将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段识别模型;
分类推断联合模型训练单元304,配置用于将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段分类推断联合模型,其中,所述椎体节段分类推断联合模型包括:节段位置和编号向上推断模型、节段位置和编号分类模型、节段位置和编号向下推断模型;
模型交叉训练单元305,配置用于采用交叉验证训练上述椎体节段识别模型与椎体节段分类推断联合模型,得到交叉训练椎体节段分类推断联合模型;
模型预测单元306,配置用于将预处理的脊椎部位放射平片中待标注数据输入至椎体节段识别模型、交叉训练椎体节段分类推断联合模型,预测得到椎体的节段框、节段类型和位置编号。
基于上述实施例,作为可选的实施例,所述获取单元301,包括:
数据收集单元,配置用于收集DICOM规范数据;
数据合规筛选单元,配置用于从收集到的DICOM规范数据中,筛选出符合数据标注要求、质量完善、属于脊椎部位的放射平片;
图像数据预处理单元,配置用于将DICOM图像进行像素值覆盖范围(窗宽)、像素值分布中心(窗位)、对比度增强算法、图片尺寸的标准化预处理得到待标注数据。
基于上述实施例,作为可选的实施例,所述标注单元302,包括:
交叉标注单元,配置用于获取预设数目的专家对同一脊椎部位放射平片的标注结果;
标注审核单元,配置用于将多组标注结果进行对比,判断标注结果是否有异议;若无异议,则将标注结果视为标准标注结果;若有异议,则由其他主任级专家进行重新审核标注,得到标准标注结果;
标签格式整理单元,配置用于将所述标准标注结果的标签整理为计算机可识别的格式,同时对标签进行延伸得到标准标注数据。
基于上述实施例,作为可选的实施例,所述识别模型训练单元303具体用于:
将标准标注数据作为训练数据输入至预设的物体检测同类型网络模型中进行训练,对各椎体节段不做区分的进行学习,得到可预测椎体节段的节段框的椎体节段识别模型。
基于上述实施例,作为可选的实施例,所述分类推断联合模型训练单元304具体用于:
将标准标注数据作为训练数据输入至节段位置和编号分类模型,对每各椎体节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向上推断模型对节段的上一个节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向下推断模型对节段的下一个节段的位置、分类及编号进行学习,得到训练好的椎体节段分类推断联合模型。
请参考图4,图4为本申请实施例所提供的一种终端系统400的结构示意图,该终端系统400可以用于执行本申请实施例提供的软件多语言显示及输入同步切换方法。
其中,该终端系统400可以包括:处理器401、存储器402及通信单元403。这些组件通过一条或多条总线进行通信,本领域技术人员可以理解,图中示出的服务器的结构并不构成对本申请的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,该存储器402可以用于存储处理器401的执行指令,存储器402可以由任何类型的易失性或非易失性存储终端或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。当存储器402中的执行指令由处理器401执行时,使得终端系统400能够执行以下上述方法实施例中的部分或全部步骤。
处理器401为存储终端的控制中心,利用各种接口和线路连接整个电子终端的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器内的数据,以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit,简称IC)组成,例如可以由单颗封装的IC所组成,也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器401可以仅包括中央处理器(Central Processing Unit,简称CPU)。在本申请实施方式中,CPU可以是单运算核心,也可以包括多运算核心。
通信单元403,用于建立通信信道,从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本申请还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本申请提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
本申请利用深度学习训练技术,以物体检测框架构建基础模型,并在该框架上添加用于推断下一个椎体节段位置和上一个椎体节段位置的两个辅助推断模型并进行交叉训练,两辅助模型与基础模型互相增强学习,使得模型具有除了识别功能以外的推理能力,可精确的框画出放射平片上每一个椎体节段的位置,并输出该节段的节段类型和位置编号,能够大幅改进椎体信息预测识别的精确性和可信度。
在训练过程中除了对物体检测网络输出的节段类型进行纠正,还会将物体检测网络的输出送给两个推断网络,进行多次的迭代推断,同时对所有的多级推断,训练器也会对其进行纠正和回传损失梯度。因此,本申请的网络模型不仅能学到椎体图像及其周围的特征还能学到从其它节段到目标节段的逻辑推理特征,该网络就同时具有图像识别和排序推理的能力,也因此适用于输出节段类型和位置编号这一技术问题。换言之,该网络不仅思考“该区域是否为胸椎第1节段”还会思考“该区域是否为胸椎第2节段的上一节段”、“该区域是否为胸椎第3节段的上两个节段”、“该区域是否为颈椎第7节段的下一个节段”。
此外,本申请使用严格的数据管控和标注标准,以及计算机的训练学习和预测,能够在辅助临床诊断的过程中一定程度上排除医生主观性和工作状态的干扰,提升诊断的质量和效率。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言,由于其与实施例提供的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (8)
1.一种基于医学影像的脊椎椎体信息自动识别方法,其特征在于,包括:
获取脊椎部位放射平片并进行预处理;
根据专家对脊椎部位放射平片的标注结果,确定标准标注数据;
将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段识别模型;
将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段分类推断联合模型,其中,所述椎体节段分类推断联合模型包括:节段位置和编号向上推断模型、节段位置和编号分类模型、节段位置和编号向下推断模型;
采用交叉验证训练上述椎体节段识别模型与椎体节段分类推断联合模型,得到交叉训练椎体节段分类推断联合模型;
将预处理的脊椎部位放射平片中待标注数据输入至椎体节段识别模型、交叉训练椎体节段分类推断联合模型,预测得到椎体的节段框、节段类型和位置编号;
其中:
所述将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段识别模型,包括:
将标准标注数据作为训练数据输入至预设的物体检测同类型网络模型中进行训练,对各椎体节段不做区分的进行学习,得到可预测椎体节段的节段框的椎体节段识别模型;
所述将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段分类推断联合模型,其中,所述椎体节段分类推断联合模型包括:节段位置和编号向上推断模型、节段位置和编号分类模型、节段位置和编号向下推断模型,包括:
将标准标注数据作为训练数据输入至节段位置和编号分类模型,对每各椎体节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向上推断模型对节段的上一个节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向下推断模型对节段的下一个节段的位置、分类及编号进行学习,得到训练好的椎体节段分类推断联合模型。
2.根据权利要求1所述的基于医学影像的脊椎椎体信息自动识别方法,其特征在于,所述获取脊椎部位放射平片并进行预处理,包括:
收集DICOM规范数据;
从收集到的DICOM规范数据中,筛选出符合数据标注要求、质量完善、属于脊椎部位的放射平片;
将DICOM图像进行像素值覆盖范围、像素值分布中心、对比度增强算法、图片尺寸的标准化预处理得到待标注数据。
3.根据权利要求1所述的基于医学影像的脊椎椎体信息自动识别方法,其特征在于,所述根据专家对脊椎部位放射平片的标注结果,确定标准标注数据,包括:
获取预设数目的专家对同一脊椎部位放射平片的标注结果;
将多组标注结果进行对比,判断标注结果是否有异议;
若无异议,则将标注结果视为标准标注结果;
若有异议,则由其他主任级专家进行重新审核标注,得到标准标注结果;
将所述标准标注结果的标签整理为计算机可识别的格式,同时对标签进行延伸得到标准标注数据;
其中,所述标注内容包括:每个椎体节段的位置、节段框、节段类型及位置编号。
4.一种基于医学影像的脊椎椎体信息自动识别系统,其特征在于,包括:
获取单元,配置用于获取脊椎部位放射平片并进行预处理;
标注单元,配置用于根据专家对脊椎部位放射平片的标注结果,确定标准标注数据;
识别模型训练单元,配置用于将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段识别模型;
分类推断联合模型训练单元,配置用于将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段分类推断联合模型,其中,所述椎体节段分类推断联合模型包括:节段位置和编号向上推断模型、节段位置和编号分类模型、节段位置和编号向下推断模型;
模型交叉训练单元,配置用于采用交叉验证训练上述椎体节段识别模型与椎体节段分类推断联合模型,得到交叉训练椎体节段分类推断联合模型;
模型预测单元,配置用于将预处理的脊椎部位放射平片中待标注数据输入至椎体节段识别模型、交叉训练椎体节段分类推断联合模型,预测得到椎体的节段框、节段类型和位置编号;
其中:
所述识别模型训练单元,通过如下方式将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段识别模型:
将标准标注数据作为训练数据输入至预设的物体检测同类型网络模型中进行训练,对各椎体节段不做区分的进行学习,得到可预测椎体节段的节段框的椎体节段识别模型;
所述分类推断联合模型训练单元,通过如下方式将标准标注数据作为训练数据输入至预设的深度学习网络模型中进行训练,得到椎体节段分类推断联合模型,其中,所述椎体节段分类推断联合模型包括:节段位置和编号向上推断模型、节段位置和编号分类模型、节段位置和编号向下推断模型:
将标准标注数据作为训练数据输入至节段位置和编号分类模型,对每各椎体节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向上推断模型对节段的上一个节段的位置、分类及编号进行学习;
将标准标注数据作为训练数据输入至节段位置和编号向下推断模型对节段的下一个节段的位置、分类及编号进行学习,得到训练好的椎体节段分类推断联合模型。
5.根据权利要求4所述的基于医学影像的脊椎椎体信息自动识别系统,其特征在于,所述获取单元包括:
数据收集单元,配置用于收集DICOM规范数据;
数据合规筛选单元,配置用于从收集到的DICOM规范数据中,筛选出符合数据标注要求、质量完善、属于脊椎部位的放射平片;
图像数据预处理单元,配置用于将DICOM图像进行像素值覆盖范围、像素值分布中心、对比度增强算法、图片尺寸的标准化预处理得到待标注数据。
6.根据权利要求4所述的基于医学影像的脊椎椎体信息自动识别系统,其特征在于,所述标注单元包括:
交叉标注单元,配置用于获取预设数目的专家对同一脊椎部位放射平片的标注结果;
标注审核单元,配置用于将多组标注结果进行对比,判断标注结果是否有异议;若无异议,则将标注结果视为标准标注结果;若有异议,则由其他主任级专家进行重新审核标注,得到标准标注结果;
标签格式整理单元,配置用于将所述标准标注结果的标签整理为计算机可识别的格式,同时对标签进行延伸得到标准标注数据。
7.一种终端,其特征在于,包括:
处理器;
用于存储处理器的执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-3任一项所述的方法。
8.一种存储有计算机程序的计算机可读存储介质,其特征在于,该程序被处理器执行时实现如权利要求1-3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010357050.0A CN111667457B (zh) | 2020-04-29 | 2020-04-29 | 一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010357050.0A CN111667457B (zh) | 2020-04-29 | 2020-04-29 | 一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111667457A CN111667457A (zh) | 2020-09-15 |
CN111667457B true CN111667457B (zh) | 2023-07-18 |
Family
ID=72383078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010357050.0A Active CN111667457B (zh) | 2020-04-29 | 2020-04-29 | 一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111667457B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114494192B (zh) * | 2022-01-26 | 2023-04-25 | 西南交通大学 | 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法 |
CN115147686B (zh) * | 2022-09-06 | 2022-11-25 | 杭州健培科技有限公司 | 一种脊柱椎体校正识别方法、装置及应用 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014236912A (ja) * | 2013-06-10 | 2014-12-18 | 株式会社島津製作所 | 画像処理装置およびその方法 |
WO2019051356A1 (en) * | 2017-09-08 | 2019-03-14 | The General Hospital Corporation | SYSTEM AND METHOD FOR AUTOMATICALLY LABELING AND ANNOUNTING NON-STRUCTURED MEDICAL DATA SETS |
CN109934824A (zh) * | 2019-03-27 | 2019-06-25 | 清华大学 | 颈椎脊髓高信号的检测方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8081811B2 (en) * | 2007-04-12 | 2011-12-20 | Fujifilm Corporation | Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein |
-
2020
- 2020-04-29 CN CN202010357050.0A patent/CN111667457B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014236912A (ja) * | 2013-06-10 | 2014-12-18 | 株式会社島津製作所 | 画像処理装置およびその方法 |
WO2019051356A1 (en) * | 2017-09-08 | 2019-03-14 | The General Hospital Corporation | SYSTEM AND METHOD FOR AUTOMATICALLY LABELING AND ANNOUNTING NON-STRUCTURED MEDICAL DATA SETS |
CN109934824A (zh) * | 2019-03-27 | 2019-06-25 | 清华大学 | 颈椎脊髓高信号的检测方法及系统 |
Non-Patent Citations (2)
Title |
---|
Lessmann N, et al.Iterative fully convolutional neural networks for automatic vertebra segmentation and identification.Medical image analysis.2019,第142-155页. * |
惠宇.人体脊椎腰骶段三维模型特征识别及其力学特性分析研究.西北工业大学.2020,第1-132页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111667457A (zh) | 2020-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11341639B2 (en) | Three-dimensional medical image analysis method and system for identification of vertebral fractures | |
Ypsilantis et al. | Learning what to look in chest X-rays with a recurrent visual attention model | |
CN110334722B (zh) | 图像分类方法、装置、计算机设备和存储介质 | |
CN108446621A (zh) | 票据识别方法、服务器及计算机可读存储介质 | |
WO2020102914A1 (en) | System and method for assessing medical images | |
JP2021535484A (ja) | 自動的な腫瘍検出及び分類のためのシステム | |
CN111667457B (zh) | 一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质 | |
CN109919903A (zh) | 一种脊椎检测定位标记方法、系统及电子设备 | |
CN113065609B (zh) | 图像分类方法、装置、电子设备及可读存储介质 | |
CN110569856A (zh) | 样本标注方法及装置、损伤类别的识别方法及装置 | |
CN114414935A (zh) | 基于大数据的配电网馈线故障区域自动化定位方法和系统 | |
CN109147883A (zh) | 应用于临床试验数据的原始文件映射、管理方法及其系统 | |
CN112884060A (zh) | 图像标注方法、装置、电子设备及存储介质 | |
CN111008953B (zh) | 一种数字病理图像质控的方法及装置 | |
CN116434266A (zh) | 一种医疗检验单的数据信息自动提取分析方法 | |
CN112465231A (zh) | 地区人口健康状态预测方法、设备和可读存储介质 | |
CN115862831A (zh) | 一种智能在线预约诊疗管理系统及方法 | |
CN113240699B (zh) | 图像处理方法及装置,模型的训练方法及装置,电子设备 | |
Li et al. | Automatic bone age assessment of adolescents based on weakly-supervised deep convolutional neural networks | |
CN116350203B (zh) | 一种体质测试数据处理方法及系统 | |
CN116052848B (zh) | 一种医学成像质控的数据编码方法及系统 | |
CN113516639A (zh) | 基于全景x光片的口腔异常检测模型的训练方法及装置 | |
CN111414930B (zh) | 深度学习模型训练方法及装置、电子设备及存储介质 | |
CN116309459A (zh) | 基于改进网络的肺结节检测方法、装置、设备和存储介质 | |
CN116228660A (zh) | 胸部正片异常部位检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |