CN116072255B - 基于人工智能的颈椎退行性疾病ct检查结构化报告系统 - Google Patents
基于人工智能的颈椎退行性疾病ct检查结构化报告系统 Download PDFInfo
- Publication number
- CN116072255B CN116072255B CN202310362764.4A CN202310362764A CN116072255B CN 116072255 B CN116072255 B CN 116072255B CN 202310362764 A CN202310362764 A CN 202310362764A CN 116072255 B CN116072255 B CN 116072255B
- Authority
- CN
- China
- Prior art keywords
- module
- cervical vertebra
- classification
- image
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种基于人工智能的颈椎退行性疾病CT检查结构化报告系统,该系统包括身份核对模块、含一校正单元的特征识别模块、报告生成模块和存储模块;所述的身份核对模块用于从影像归档和通信系统中获取当前检查患者的身份信息;所述的特征识别模块用于对当前颈椎退行性病变患者的各项CT图像特征进行识别,并以文字选项的形式进行可视化,所包含的校正单元用于供报告医师及审核医师对识别错误的内容进行修改;所述的报告生成模块用于将特征识别模块识别并校正后的内容以自然语言的形式生成结构化报告;所述的存储模块用于存储特征识别模块中最新一次的修正后的识别内容。
Description
技术领域
本发明涉及医学影像分析处理技术领域,具体涉及一种基于影像归档和通信系统(Picture Archiving and Communication Systems,PACS)的自动化的颈椎退行性疾病CT检查结构化报告系统。
背景技术
颈椎退行性疾病是一种以退行性病理变化为基础的常见病、多发病,患者常因增生物压迫脊髓、神经根及椎动脉而产生一系列临床症状,严重影响患者的生活质量。随着现代工作节奏的加快,生活方式的改变,因颈椎退行性疾病产生的症状而就诊的患者不断增加,有年轻化趋势。影像学方法是临床诊断和评价颈椎退行性疾病严重程度的重要手段。其中CT检查能够多方位地展现颈椎的形状及相邻结构的解剖关系,能较容易地断定病变的程度和范围,还可以避免X线检查的重叠效应及MR易受金属伪影影响等问题。因此,CT在颈椎退行性疾病的影像学评价中发挥着重要作用。
目前,PACS系统(Picture Archiving and Communication Systems)报告管理功能以生成传统的文本式报告为主,容易受到报告书写者个人经验及表达习惯的影响,会存在语言、篇幅和风格差异性,甚至对特征及病变有不同程度的夸大或遗漏,进而导致不必要的医疗纠纷。相较于传统的文本式报告,结构化报告采用系统化、层次化的报告结构模式,使用系统、规范,标准的词汇,按照固定的病变特征顺序描述,包含以证据为基础的建议,可以减少语法和语义错误,提高影像结果的清晰度和交流能力、减少歧义,提高放射学报告的整体质量。还有助于实现自动化功能,与其他临床数据整合和数据共享。
随着医学影像技术的不断发展以及人民对高质量医疗服务需求的增长,目前我国医学影像行业的体量与日俱增,年增长率在30%左右,而影像科的医师数量年增长率仅为4.1%。医疗行业日益增长的影像检查数量同稀缺的影像科医生数量的矛盾,导致医生处理影像数据的压力会越来越大。因此开发辅助放射科医师识别诊断颈椎病的自动化工具是必要且迫切的。
发明内容
本发明旨在提供一种基于人工智能的颈椎退行性疾病CT检查结构化报告系统,所要解决的技术问题至少包括颈椎退行性疾病CT检查传统文本式报告的不规范性,容易遗漏病变,不能为临床提供全面的病情评价信息,难以进行信息检索的问题。
为了实现上述目的,本发明提供一种基于人工智能的颈椎退行性疾病CT检查结构化报告系统,包括身份核对模块、含一校正单元的特征识别模块、报告生成模块和存储模块;所述的身份核对模块用于从影像归档和通信系统(Picture Archiving andCommunication Systems,PACS)中获取当前检查患者的身份信息;所述的特征识别模块用于对当前颈椎退行性病变患者的各项CT图像特征进行识别,并以文字选项的形式进行可视化,所包含的校正单元用于供报告医师及审核医师对识别错误的内容进行修改;所述的报告生成模块用于将特征识别模块识别并校正后的内容以自然语言的形式生成结构化报告;所述的存储模块用于存储特征识别模块中最新一次的修正后的识别内容。
优选地,所述的身份核对模块获取的当前检查患者的身份信息包括患者的姓名、性别、年龄、ID、检查项目和检查时间。
优选地,所述的身份核对模块以Socket网络通信的方式向PACS系统的身份信息请求接口发送基本信息请求命令,该基本信息请求命令中包含参数“MsgType:0”和“PatientID:患者ID”;PACS系统通过所述的参数“MsgType:0”和“PatientID:患者ID”筛选出该患者ID在相关检查项目下的患者姓名、患者性别、患者年龄、检查项目和检查时间,并将筛选出的信息返回给身份核对模块的身份信息返回接口。
优选地,所述的身份信息请求接口接收的数据中,包括标识接口类型的标识符、请求的具体参数和请求的具体参数的长度;其中所述的请求的具体参数中包括被检者ID。
优选地,所述的身份信息返回接口接收的数据中,包括标识接口类型的标识符、返回的具体信息和返回的具体信息的长度;其中所述的返回的具体信息中包括被检者的各种身份信息。
优选地,所述的特征识别模块包含术前特征描述界面和术后特征描述界面,所述的术前特征描述界面用于描述术前颈椎退行性病变的各项CT特征,包括曲度、顺列、椎间隙变窄部位、骨质增生硬化部位、椎间盘改变、后纵韧带骨化部位、黄韧带骨化部位、是否继发椎管狭窄、前纵韧带是否骨化以及项韧带是否骨化;所述的术后特征描述界面用于描述术后颈椎退行性病变的各项CT特征,包括曲度、顺列、椎体金属内固定物位置、附件金属内固定物位置、椎间盘植入物位置、骨质缺如部位、骨性椎管开大部位、术区软组织改变以及复查邻近节段退变情况。
优选地,所述的特征识别模块进一步用于基于人工智能技术识别颈椎退行性疾病的术前术后CT特征,识别步骤包括数据集准备、模型构建和训练以及模型性能评估。
优选地,所述数据集准备的过程中,对待识别的颈椎CT特征进行整体评估,总结需要人工智能技术完成的具体任务,根据具体任务的难易程度对数据集的下限大小做出合理估计,并将数据集划分为训练集、验证集和测试集;将待识别的颈椎退变术前术后CT特征归纳为病变的诊断、病变位置的定位和病变程度的分级,在人工智能领域将其视为分类问题,同时对钩椎关节和椎小关节做相应的特征识别,采用分割任务和分类任务相结合的技术路线;在数据集中需要进行的人工标注包括勾画颈椎三维轮廓和标注疾病特征的分类标签。
优选地,所述模型构建和训练的过程中,构建基于深度学习的多标签三维椎体分割网络和分类网络,并在训练集中训练网络模型,在验证集中验证模型性能和调整超参数;其中,分类网络的构建有两种模式,一种是以待识别的特征为基础,每个特征训练一个相应二分类模型,输出为有病变或无病变;另一种是以解剖位置为基础,每个解剖位置训练一个多分类模型,输出为当前解剖位置对应的多个特征的预测结果;利用分割网络输出的椎体分割结果,能够精确定位颈椎解剖位置和对应阶段,进而根据解剖位置精准裁剪相应的图像块,输入分类网络进行有无疾病的分类。
优选地,所述模型性能评估的过程中,利用数据集中的测试集对训练好的深度学习模型进行性能评估,对于分割任务利用dice系数作为评价指标,对于分类任务则利用ACC参数或Recall参数评价;基于测试集对模型的性能进行定量评价,为后续的后处理算法提供参考,同时对整个基于人工智能的颈椎退变特征识别系统的泛化性和鲁棒性提供基本的性能指标。
优选地,所述的特征识别模块进行特征识别的整体流程包括:将颈椎CT图像输入椎体分割模型,得到初步多标签的椎体分割结果,应用基于CPR的方法或基于外接矩形框(bounding box)的方法对分割结果进行计算,将分割结果和对应的CT图像在空间中摆正;基于摆正后的多标签椎体分割结果和颈椎各解剖结构的空间关系,定位识别颈椎退变特征所需的解剖位置,并截取相应的图像块,包括椎体区域、椎管区域、椎间盘区域、椎小关节区域和钩椎关节区域;将截取到的特定区域的图像块输入对应的分类网络,对其有无病变进行分类,采用多个用于病变特征分类的模型进行并行计算,得到所有特征人工智能识别的预测结果。
优选地,所述的报告生成模块在系统数据库中预设每个特征对应一段部分为固定描述、部分能够自动生成的自然语言。
优选地,所述的存储模块利用关系型数据库表存储医师校正后的特征识别模块上的内容。
本发明还提供一种基于人工智能的颈椎退行性疾病CT检查结构化报告系统的生成结构化报告的方法,包括以下步骤:
S1:医师打开用户界面后,身份核对模块以Socket网络通信的方式向PACS系统的身份信息请求接口发送基本信息请求命令,该基本信息请求命令中包含参数“MsgType:0”和“PatientID:患者ID”;PACS系统通过参数“MsgType:0”和“PatientID:患者ID”筛选出该患者ID在相关检查项目下的患者姓名、患者性别、患者年龄、检查项目和检查时间,并将筛选出的信息返回给身份核对模块的身份信息返回接口;
从PACS系统中获取的患者的姓名、ID、报告医师的姓名和工号,以控件的形式布局在结构化报告书写界面的相应位置上;报告医师对从PACS系统中获取的内容进行核对,如果抓取信息有误,报告医师能够进行手动更改;
S2:特征识别模块基于人工智能技术构建,用于识别颈椎退行性疾病的相关术前术后CT特征,主要实施步骤包括数据集的准备、模型的构建和训练以及模型性能的评估;由于CT特征识别过程都能够视为分类问题,同时考虑到需要对钩椎关节和椎小关节的解剖结构进行识别,采用一致的分割任务和分类任务相结合的技术方案实现相关特征识别;
S3:报告生成模块在系统数据库中预设每个特征对应一段部分为固定描述、部分可自动生成的自然语言;利用分号分隔开各段特征描述的自然语言即能够组成通顺的结构化报告;随后报告医师点击报告生成模块的“生成”按钮,特征识别模块中的内容以自然语言的形式被显示在结构化报告编辑区域;报告医修改确认后点击“复制”按钮,编辑区域的内容将被复制在剪贴板上;
S4:与此同时储存模块利用关系型数据库表存储医师描述的报告内容;
S5: 当再次打开该结构化报告时存储模块将医师先前书写的报告描述按数据库表中存储的信息,对应还原到结构化报告书写界面的相应位置。
优选地,所述的特征识别模块识别特征的技术流程包括多标签椎体的分割和优化、椎体的摆正、椎管区域的定位和处理、构建椎管狭窄分类模型并预测结果,具体包括:
S2.1. 基于深度学习的多标签颈椎椎体图像分割:
1)生成训练数据集:通过人工标注的方法对含有颈椎的图像进行多标签标注,包括对颈椎椎体各节段、横突和棘突的标注;每一个标注部位均有对应的标注值,将原图与标注结果配对组成训练数据集;
2)构建深度学习多标签图像分割模型:该深度学习多标签图像分割模型的输入是上述训练数据集中的原图,输出为多通道的分割结果,通道数量取决于标签数量;
3)训练多标签图像分割模型:使用步骤1)中得到的训练集数据训练步骤2)中构建的深度学习多标签图像分割模型,根据需要调整和设置网络超参数,达到最佳的图像分割结果并保存训练模型;
4)将待测图像输入训练完的网络模型中,得到多标签颈椎椎体图像分割结果;
S2.2. 椎体的摆正:对分割结果和对应的颈椎CT图像在空间上进行摆正,采用的方法包括CPR方法或基于分割结果的最小外接体摆正;
S2.3. 椎管区域的定位和处理:基于摆正后的多标签椎体分割结果和颈椎各解剖结构的空间关系,定位颈椎椎管的解剖位置;具体的操作过程为首先根据椎体的分割结果定位椎体中心点,然后根据椎体中心和椎管之间的空间关系,截取包含椎管的空间三维图像块即可;
S2.4. 获取椎管狭窄分类标签:椎管狭窄分类标签可预先通过结构化报告书写软件来标注获得,其中界面Button为“有狭窄”和“无狭窄”,对应标签为1和0;
S2.5. 构建椎管狭窄分类模型:将椎管图像块和对应的分类标签配准组成分类训练数据集,输入分类网络,输出的结果是2分类,即是否椎管狭窄;根据需要调整和设置网络的超参数,达到最佳的图像分类结果并保存训练模型;
S2.6.对于待判断图像,通过上述步骤S2.1-S2.5的处理方法直接得到椎管是否狭窄的判断结果,并输出。
有益效果
与现有技术相比,本发明的有益效果是:
本发明所述的基于人工智能的颈椎退行性疾病CT检查结构化报告系统可以帮助医生规范、系统、全面地书写颈椎退行性疾病CT检查报告。结合临床需要,有针对性地书写术前及术后颈椎病报告的内容。帮助低年资医生理解和掌握颈椎病CT表现,纠正不合理的图像观察顺序、不恰当的表达习惯,避免漏写误写,提高报告书写质量以及书写效率。避免患者、家属以及临床医生的理解偏差,减少医患矛盾。采用规范化的语言进行描述,有助于后期报告的检索与查询,能够提高CT报告质量,减少不必要的医疗纠纷。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的具体实施方式一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1是本发明所述的基于人工智能的颈椎退行性疾病CT检查结构化报告系统生成报告的方法的流程图。
具体实施方式
在下文中更详细地描述了本发明以有助于对本发明的理解。
本发明所述的基于人工智能的颈椎退行性疾病CT检查结构化报告系统包括身份核对模块、含一校正单元的特征识别模块、报告生成模块和存储模块;所述的身份核对模块用于从影像归档和通信系统(Picture Archiving and Communication Systems,PACS)中获取当前检查患者的身份信息;所述的特征识别模块用于对当前颈椎退行性病变患者的各项CT图像特征进行识别,并以文字选项的形式进行可视化,所包含的校正单元用于供报告医师及审核医师对识别错误的内容进行修改;所述的报告生成模块用于将特征识别模块识别并校正后的内容以自然语言的形式生成结构化报告;所述的存储模块用于存储特征识别模块中最新一次的修正后的识别内容。
优选地,所述的身份核对模块获取的当前检查患者的身份信息包括患者的姓名、性别、年龄、ID、检查项目和检查时间。这些信息会自动显示在用户界面的对应位置上。
身份核对模块以Socket网络通信的方式向PACS系统发送基本信息请求命令,其中包含“MsgType:0”,“PatientID:患者ID”给PACS系统(接口1)。PACS系统通过这个参数筛选出该患者ID在相关检查项目下的患者姓名,患者性别,患者年龄、检查项目、检查时间。并将上述信息返回给身份核对模块(接口2)。
接口1:身份信息请求接口int send(int sockfd, const void *msg, int len,int flags)
其中sockfd是标识接口类型的标识符,msg是请求的具体参数,其中包括被检者ID。len 是接口msg的长度,flags可以置空。
接口2:身份信息返回接口int recv(int sockfd, void *buf, int len,unsigned int flags)
其中sockfd是标识接口类型的标识符,msg是返回的具体信息,其中包括被检者各种身份信息。len 是接口msg的长度,flags可以置空。
进一步的,如果返回的病人身份验证信息有误,医师可以手动更改。
所述的特征识别模块包含术前特征描述和术后特征描述两种界面。
术前颈椎退行性病变的各项CT特征为:曲度、顺列、椎间隙变窄部位、骨质增生硬化部位、椎间盘改变、后纵韧带骨化部位、黄韧带骨化部位、是否继发椎管狭窄、前纵韧带是否骨化、项韧带是否骨化。
可选地,上述术前特征的具体描述如下:
1)曲度:正常、直、反弓。
2)顺列:可、差、部位(C2-3、C3-4、C4-5、C5-6、C6-7、C7-T1)。
3)椎间隙变窄部位:C2-3、C3-4、C4-5、C5-6、C6-7。
4)骨质增生硬化部位:椎体缘、钩椎关节、椎小关节。
5)椎间盘改变:
①C2-3(正常、膨出、突出、脱出、无法评估);
②C3-4(正常、膨出、突出、脱出、无法评估);
③C4-5(正常、膨出、突出、脱出、无法评估);
④C5-6(正常、膨出、突出、脱出、无法评估);
⑤C6-7(正常、膨出、突出、脱出、无法评估);
⑥C7-T1(正常、膨出、突出、脱出、无法评估);
⑦T1-2(正常、膨出、突出、脱出、无法评估);
⑧T2-3(正常、膨出、突出、脱出、无法评估)。
6)后纵韧带骨化部位:C2、C3、C4、C5、C6、C7、T1、T2、T3。
7)黄韧带骨化部位:C2、C3、C4、C5、C6、C7、T1、T2、T3。
8)继发椎管狭窄:是、否。
9)前纵韧带骨化:是、否。
10)项韧带骨化:是、否。
所述术后颈椎退行性病变的各项CT特征为:曲度、顺列、椎体金属内固定物位置、附件金属内固定物位置、椎间盘植入物位置、骨质缺如部位、骨性椎管开大部位、术区软组织改变、复查邻近节段退变情况。
可选地,上述术后特征的具体描述如下:
1)曲度:正常、直、反弓。
2)顺列:可、差、部位(C2-3、C3-4、C4-5、C5-6、C6-7、C7-T1)。
3)椎体内固定物位置:C1、C2、C3、C4、C5、C6、C7、T1、T2、T3。
4)附件内固定物位置:C1、C2、C3、C4、C5、C6、C7、T1、T2、T3。
5)椎间盘植入物位置:C1、C2、C3、C4、C5、C6、C7、T1、T2、T3。
6)骨质缺如部位:C1、C2、C3、C4、C5、C6、C7、T1、T2、T3。
7)骨性椎管开大部位:C1、C2、C3、C4、C5、C6、C7、T1、T2、T3。
8)术区软组织改变:有、无
9)复查内固定物松脱部位:
①椎体:C1、C2、C3、C4、C5、C6、C7、T1、T2、T3。
②附件:C1、C2、C3、C4、C5、C6、C7、T1、T2、T3。
10)复查内固定物断裂部位:
①椎体:C1、C2、C3、C4、C5、C6、C7、T1、T2、T3。
②附件:C1、C2、C3、C4、C5、C6、C7、T1、T2、T3。
11)复查邻近节段退变情况:
①C2-3(正常、膨出、突出、脱出、无法评估);
②C3-4(正常、膨出、突出、脱出、无法评估);
③C4-5(正常、膨出、突出、脱出、无法评估);
④C5-6(正常、膨出、突出、脱出、无法评估);
⑤C6-7(正常、膨出、突出、脱出、无法评估);
⑥C7-T1(正常、膨出、突出、脱出、无法评估);
⑦T1-2(正常、膨出、突出、脱出、无法评估);
⑧T2-3(正常、膨出、突出、脱出、无法评估)。
所述的基于人工智能技术识别颈椎退行性疾病的术前术后CT特征,主要步骤包括数据集准备、模型构建和训练、模型性能评估。
所述的数据集准备阶段,需要对待识别的颈椎CT特征进行整体评估,总结需要人工智能技术完成的具体任务,根据任务的难易程度对数据集的下限大小做出合理估计,并将数据集划分为训练集、验证集、测试集。所述的待识别颈椎退变术前术后CT特征可归纳为病变的诊断、病变位置的定位、病变程度的分级等,在人工智能领域均可将其视为分类问题,同时考虑到需要对钩椎关节、椎小关节等精细解剖结构做相应的特征识别,为了进一步提高识别的精细度,本发明采用分割任务和分类任务相结合的技术路线。在数据集中需要进行的人工标注包括勾画颈椎三维轮廓和标注疾病特征的分类标签。
所述的模型构建和训练阶段,构建基于深度学习的多标签三维椎体分割网络和分类网络,并在训练集中训练网络模型,在验证集中验证模型性能和调整超参数。其中,由于同一个解剖位置可能对应多个待识别特征,因此分类网络的构建有两种模式,一种是以待识别的特征为基础,每个特征训练一个相应二分类模型,输出为有病变或无病变;另一种以解剖位置为基础,每个解剖位置训练一个多分类模型,输出为当前解剖位置对应的多个特征的预测结果。利用分割网络输出的椎体分割结果,可精确定位颈椎解剖位置和对应阶段,进而根据解剖位置精准裁剪相应的图像块,输入分类网络进行有无疾病的分类。
所述的模型性能评估阶段,利用数据集中的测试集对训练好的深度学习模型进行性能评估,对于分割任务可利用包括但不限于dice系数等评价指标,对于分类任务可利用包括但不限于ACC、Recall等参数评价。基于测试集对模型的性能进行定量评价,可以对后续的后处理算法提供参考,同时也可对整个基于人工智能的颈椎退变特征识别系统的泛化性和鲁棒性提供基本的性能指标。
所述的特征识别的整体流程如图1所示,将颈椎CT图像输入椎体分割模型,得到初步多标签的椎体分割结果,应用基于CPR、基于外接矩形框(bounding box)等方法对分割结果进行计算,将分割结果和对应的CT图像在空间中摆正;基于摆正后的多标签椎体分割结果和颈椎各解剖结构的空间关系,定位识别颈椎退变特征所需的解剖位置,并截取相应的图像块,包括但不限于椎体区域、椎管区域、椎间盘区域、椎小关节区域、钩椎关节区域等;将截取到的特定区域的图像块输入对应的分类网络,对其有无病变进行分类,多个用于病变特征分类的模型可并行计算,得到所有特征人工智能识别的预测结果。
所述的报告生成模块在系统数据库中预设每个特征对应一段部分为固定描述部分可自动生成的自然语言。例如曲度描述的三个特征分别对应“曲度正常”、“曲度直”、“曲度反弓”,其中“曲度”是固定描述,“正常”,“直”,“反弓”为从特征识别模块的选择动态读取。在例如顺列描述这一特征描述中,自然语言的组成为动态读取的顺列位置,如“C3-4”,“C4-5”等 + “顺列”+ “可”或者“差”,最终输出为“C3-4顺列差”。由于各个特征之间关联性不强,利用分号分隔开各段特征描述的自然语言即可组成通顺的结构化报告,例如该患者颈椎曲度直;C3-4顺列差;C4-5椎间隙变窄;椎体缘、钩椎关节骨质增生。
所述的存储模块利用关系型数据库表存储医师校正后的特征识别模块上的内容,具体结构如表一所示。
表一 系统数据库中格式化报告存储方式
被检查者姓名 | ID | 检查项目 | 检查日期 | 曲度 | 顺列描述 | 顺列部位 |
xxxx | 123123 | CT平扫 | 1223123 | 差 | C2-3 | C4-5 |
在下面的具体实施例中,描述了颈椎退行性疾病CT术前结构化报告的生成过程,包括以下步骤:
S1:医师打开用户界面后,身份核对模块以Socket网络通信的方式向PACS系统发送基本信息请求命令,其中包含“MsgType:0”,“PatientID:患者ID”给PACS系统(接口1)。PACS系统通过这个参数筛选出该患者ID在相关检查项目下的患者姓名、患者性别、患者年龄、检查项目、检查时间。并将上述信息返回给身份核对模块(接口2)。
接口1:身份信息请求接口int send(int sockfd, const void *msg, int len,int flags)
其中sockfd是标识接口类型的标识符,msg是请求的具体参数,其中包括被检者ID。len 是接口msg的长度,flags可以置空。
接口2:身份信息返回接口int recv(int sockfd, void *buf, int len,unsigned int flags)
其中sockfd是标识接口类型的标识符,msg是返回的具体信息,其中包括被检者各种身份信息。len 是接口msg的长度,flags可以置空。
从PACS系统中获取患者的姓名、ID、报告医师的姓名、工号,以控件的形式布局在结构化报告书写界面的相应位置上。此时报告医师对上述内容进行核对,如抓取信息有误,报告医师可进行手动更改。
S2:特征识别模块基于人工智能技术构建,可用于识别颈椎退行性疾病的相关术前术后CT特征,主要实施步骤包括数据集的准备、模型的构建和训练、模型性能的评估。由于所述CT特征识别过程都可以视为分类问题,同时考虑到需要对钩椎关节、椎小关节等精细解剖结构进行识别,本发明采用一致的分割任务和分类任务相结合的技术方案实现相关特征识别。
下面将以“颈椎椎管狭窄检测”为示例,结合附图对本发明中特征识别的技术方案进行清楚、完整地描述。主要技术流程包括多标签椎体的分割和优化、椎体的摆正、椎管区域的定位和处理、构建椎管狭窄分类模型并预测结果。
S2.1. 基于深度学习的多标签颈椎椎体图像分割:
1)生成训练数据集:通过人工标注的方法对含有颈椎的图像进行多标签标注,包括但不仅限于对颈椎椎体各节段、横突、棘突等解剖结构的标注。每一个标注部位均有对应的标注值,如颈椎C2椎体为2,C3椎体为3(颈椎共有7块椎体)。将原图与标注结果配对组成训练数据集。
2)构建深度学习多标签图像分割模型:该深度学习多标签图像分割模型的输入是上述训练数据集中的原图,输出为多通道的分割结果,通道数量取决于标签数量。
3)训练多标签图像分割模型:使用步骤1)中得到的训练集数据训练步骤2)中构建的分割模型,根据需要调整和设置网络超参数,达到最佳的图像分割结果并保存训练模型。
4)将待测图像输入训练完的网络模型中,得到多标签颈椎椎体图像分割结果。
S2.2. 椎体的摆正:对分割结果和对应的颈椎CT图像在空间上进行摆正,采用的方法包括但不限于CPR方法、基于分割结果的最小外接体摆正等。
S2.3. 椎管区域的定位和处理:基于摆正后的多标签椎体分割结果和颈椎各解剖结构的空间关系,定位颈椎椎管的解剖位置。具体的操作过程为首先根据椎体的分割结果定位椎体中心点,然后根据椎体中心和椎管之间的空间关系,截取包含椎管的空间三维图像块即可。
S2.4. 获取椎管狭窄分类标签:椎管狭窄分类标签可预先通过S1中的结构化报告书写软件来标注获得,其中界面Button为“有狭窄”和“无狭窄”,对应标签可为1和0。需要说明的是本发明所述其他术前术后CT特征标签均在前期使用结构化报告软件获得。
S2.5. 构建椎管狭窄分类模型:将步骤3)中的椎管图像块和步骤4)中对应的分类标签配准组成分类训练数据集,输入分类网络(分类网络包括但不限于ResNet、Vnet等网络),输出的结果是2分类,即是否椎管狭窄。根据需要调整和设置网络的超参数,达到最佳的图像分类结果并保存训练模型。
S2.6.对于待判断图像,可通过上述步骤S2.1-S2.5的处理方法直接得到椎管是否狭窄的判断结果,并输出。
需要说明的是,上述技术流程适用于所有颈椎退行性疾病的术前术后CT特征识别,而且由于深度学习分割模型和分类模型可以提前构建,多个病变特征分类可以并行计算,得到所有特征人工智能识别的预测结果。
S3:报告生成模块在系统数据库中预设每个特征对应一段部分为固定描述、部分可自动生成的自然语言。例如曲度描述的三个特征分别对应“曲度正常”、“曲度直”、“曲度反弓”,其中“曲度”是固定描述,“正常”,“直”,“反弓”为从系统中特征识别模块中的选择动态读取。在例如顺列描述这一特征描述中,自然语言的组成为动态读取的顺列位置,如“C2-3”,“C4-5”等 + “顺列”+ “可“或者“差”,最终输出为“颈椎顺列可”。由于各个特征之间关联性不强,利用分号分隔开各段特征描述的自然语言即可组成通顺的结构化报告,例如该患者颈椎曲度正常;颈椎顺列可;C4-T1附件见金属内固定物伪影;C4-7相应部位骨质缺如;C4-7骨性椎管开大;术区软组织结构紊乱。随后报告医师点击报告生成模块的“生成”按钮,特征识别模块中的内容以自然语言的形式被显示在结构化报告编辑区域。报告医修改确认后点击“复制”按钮,编辑区域的内容将被复制在剪贴板上。
S4:与此同时储存模块利用关系型数据库表存储医师描述的报告内容,具体结构如表二所示。
表二 系统数据库中格式化报告存储方式
被检查者姓名 | ID | 检查项目 | 检查日期 | 曲度 | 顺列描述 | 顺列部位 |
xxxx | 123123 | CT平扫 | 1223123 | 差 | C2-3 | C4-5 |
S5: 当再次打开该检查时存储模块将医师先前书写的报告描述按数据库表中存储的信息,对应还原到结构化报告书写界面的相应位置。
以上描述了本发明优选实施方式,然其并非用以限定本发明。本领域技术人员对在此公开的实施方案可进行并不偏离本发明范畴和精神的改进和变化。
Claims (6)
1.一种基于人工智能的颈椎退行性疾病CT检查结构化报告系统,其特征在于,所述的基于人工智能的颈椎退行性疾病CT检查结构化报告系统包括身份核对模块、含一校正单元的特征识别模块、报告生成模块和存储模块;所述的身份核对模块用于从影像归档和通信系统中获取当前检查患者的身份信息;所述的特征识别模块用于对当前颈椎退行性疾病患者的各项CT图像特征进行识别,并以文字选项的形式进行可视化,所包含的校正单元用于供报告医师及审核医师对识别错误的内容进行修改;所述的报告生成模块用于将特征识别模块识别并校正后的内容以自然语言的形式生成结构化报告;所述的存储模块用于存储特征识别模块中最新一次的修正后的识别内容;
所述的身份核对模块获取的当前检查患者的身份信息包括患者的姓名、性别、年龄、ID、检查项目和检查时间;
所述的身份核对模块以Socket网络通信的方式向PACS系统的身份信息请求接口发送基本信息请求命令,该基本信息请求命令中包含参数“MsgType:0”和“PatientID:患者ID”;PACS系统通过所述的参数“MsgType:0”和“PatientID:患者ID”筛选出该患者ID在相关检查项目下的患者姓名、患者性别、患者年龄、检查项目和检查时间,并将筛选出的信息返回给身份核对模块的身份信息返回接口;
所述的特征识别模块包含术前特征描述界面和术后特征描述界面,所述的术前特征描述界面用于描述术前颈椎退行性疾病的各项CT特征,包括曲度、顺列、椎间隙变窄部位、骨质增生硬化部位、椎间盘改变、后纵韧带骨化部位、黄韧带骨化部位、是否继发椎管狭窄、前纵韧带是否骨化以及项韧带是否骨化;所述的术后特征描述界面用于描述术后颈椎退行性疾病的各项CT特征,包括曲度、顺列、椎体金属内固定物位置、附件金属内固定物位置、椎间盘植入物位置、骨质缺如部位、骨性椎管开大部位、术区软组织改变以及复查邻近节段退变情况;
所述的特征识别模块识别特征的步骤包括多标签颈椎椎体图像分割、椎体的摆正、椎管区域的定位和处理、构建椎管狭窄分类模型并预测结果,具体包括:
S2.1. 基于深度学习的多标签颈椎椎体图像分割:
1)生成训练数据集:通过人工标注的方法对含有颈椎的图像进行多标签标注,包括对颈椎椎体各节段、横突和棘突的标注;每一个标注部位均有对应的标注值,将原图与标注结果配对组成训练数据集;
2)构建深度学习多标签图像分割模型:该深度学习多标签图像分割模型的输入是上述训练数据集中的原图,输出为多通道的分割结果,通道数量取决于标签数量;
3)训练多标签图像分割模型:使用步骤1)中得到的训练集数据训练步骤2)中构建的深度学习多标签图像分割模型,根据需要调整和设置网络超参数,达到最佳的图像分割结果并保存训练模型;
4)将待测图像输入训练完的网络模型中,得到多标签颈椎椎体图像分割结果;
S2.2. 椎体的摆正:对多标签颈椎椎体图像分割结果和对应的颈椎CT图像在空间上进行摆正,采用的方法包括CPR方法或基于多标签颈椎椎体图像分割结果的最小外接体摆正;
S2.3. 椎管区域的定位和处理:基于摆正后的多标签颈椎椎体图像分割结果和颈椎各解剖结构的空间关系,定位颈椎椎管的解剖位置;具体的操作过程为首先根据多标签颈椎椎体图像分割结果定位椎体中心点,然后根据椎体中心和椎管之间的空间关系,截取包含椎管的空间三维图像块;
S2.4. 获取椎管狭窄分类标签:椎管狭窄分类标签预先通过结构化报告书写软件来标注获得,其中界面Button为“有狭窄”和“无狭窄”,对应标签为1和0;
S2.5. 构建椎管狭窄分类模型:将包含椎管的空间三维图像块和对应的分类标签配准组成分类训练数据集,输入分类网络,输出的结果是2分类,即是否椎管狭窄;根据需要调整和设置网络的超参数,达到最佳的图像分类结果并保存训练模型;
S2.6.对于待判断图像,通过上述步骤S2.1-S2.5的处理方法直接得到椎管是否狭窄的判断结果,并输出。
2.根据权利要求1所述的基于人工智能的颈椎退行性疾病CT检查结构化报告系统,其特征在于,所述的特征识别模块进一步用于基于人工智能技术识别颈椎退行性疾病的术前术后CT特征,识别步骤包括数据集准备、模型构建和训练以及模型性能评估。
3.根据权利要求2所述的基于人工智能的颈椎退行性疾病CT检查结构化报告系统,其特征在于,所述数据集准备的过程中,对待识别的颈椎退行性疾病的术前术后CT特征进行整体评估,将待识别的颈椎退行性疾病的术前术后CT特征归纳为病变的诊断、病变位置的定位和病变程度的分级,采用分割任务和分类任务相结合对钩椎关节和椎小关节做相应的特征识别,数据集中进行的人工标注包括勾画颈椎三维轮廓和标注疾病特征的分类标签。
4.根据权利要求2所述的基于人工智能的颈椎退行性疾病CT检查结构化报告系统,其特征在于,所述模型构建和训练的过程中,构建基于深度学习的多标签三维椎体分割网络和分类网络,并在训练集中训练网络模型,在验证集中验证模型性能和调整超参数;其中,分类网络的构建有两种模式,一种是以待识别的特征为基础,每个特征训练一个相应二分类模型,输出为有病变或无病变;另一种是以解剖位置为基础,每个解剖位置训练一个多分类模型,输出为当前解剖位置对应的多个特征的预测结果;利用分割网络输出的椎体分割结果,精确定位颈椎解剖位置,进而根据颈椎解剖位置精准裁剪相应的图像块,输入分类网络进行有无疾病的分类。
5.根据权利要求2所述的基于人工智能的颈椎退行性疾病CT检查结构化报告系统,其特征在于,所述模型性能评估的过程中,利用数据集中的测试集对训练好的深度学习模型进行性能评估,对于分割任务利用dice系数作为评价指标,对于分类任务则利用ACC参数或Recall参数评价;基于测试集对模型的性能进行定量评价。
6.根据权利要求1至5任一项所述的基于人工智能的颈椎退行性疾病CT检查结构化报告系统生成结构化报告的方法,其特征在于,包括以下步骤:
S1:医师打开用户界面后,身份核对模块以Socket网络通信的方式向PACS系统的身份信息请求接口发送基本信息请求命令,该基本信息请求命令中包含参数“MsgType:0”和“PatientID:患者ID”;PACS系统通过参数“MsgType:0”和“PatientID:患者ID”筛选出该患者ID在相关检查项目下的患者姓名、患者性别、患者年龄、检查项目和检查时间,并将筛选出的信息返回给身份核对模块的身份信息返回接口;
从PACS系统中获取的患者的姓名、ID、报告医师的姓名和工号,以控件的形式布局在结构化报告书写界面的相应位置上;报告医师对从PACS系统中获取的内容进行核对,如果抓取信息有误,报告医师能够进行手动更改;
S2:特征识别模块基于人工智能技术构建,用于识别颈椎退行性疾病的术前术后CT特征,主要实施步骤包括数据集的准备、模型的构建和训练以及模型性能的评估;采用分割任务和分类任务相结合对钩椎关节和椎小关节的解剖结构进行识别;
S3:报告生成模块在系统数据库中预设每个特征对应一段部分为固定描述、部分可自动生成的自然语言;利用分号分隔开各段特征描述的自然语言即能够组成通顺的结构化报告;随后报告医师点击报告生成模块的“生成”按钮,特征识别模块中的内容以自然语言的形式被显示在结构化报告编辑区域;报告医修改确认后点击“复制”按钮,编辑区域的内容将被复制在剪贴板上;
S4:与此同时储存模块利用关系型数据库表存储医师描述的报告内容;
S5: 当再次打开结构化报告时存储模块将医师先前书写的报告内容按数据库表中存储的信息,对应还原到结构化报告书写界面的相应位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310362764.4A CN116072255B (zh) | 2023-04-07 | 2023-04-07 | 基于人工智能的颈椎退行性疾病ct检查结构化报告系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310362764.4A CN116072255B (zh) | 2023-04-07 | 2023-04-07 | 基于人工智能的颈椎退行性疾病ct检查结构化报告系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116072255A CN116072255A (zh) | 2023-05-05 |
CN116072255B true CN116072255B (zh) | 2023-06-27 |
Family
ID=86170123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310362764.4A Active CN116072255B (zh) | 2023-04-07 | 2023-04-07 | 基于人工智能的颈椎退行性疾病ct检查结构化报告系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116072255B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117393100B (zh) * | 2023-12-11 | 2024-04-05 | 安徽大学 | 诊断报告的生成方法、模型训练方法、系统、设备及介质 |
CN117743957B (zh) * | 2024-02-06 | 2024-05-07 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于机器学习的Th2A细胞的数据分选方法及相关设备 |
CN117830307B (zh) * | 2024-03-04 | 2024-05-14 | 南充市中心医院 | 基于人工智能的骨骼图像识别方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107767928A (zh) * | 2017-09-15 | 2018-03-06 | 深圳市前海安测信息技术有限公司 | 基于人工智能的医学影像报告生成系统及方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010029482A (ja) * | 2008-07-29 | 2010-02-12 | Univ Of Tsukuba | Mriを用いた脊椎・椎体病変の経過観察レポート自動作成診断支援システム |
WO2020236847A1 (en) * | 2019-05-22 | 2020-11-26 | Theseus Al, Inc. | Method and system for analysis of spine anatomy and spine disease |
CN110379492A (zh) * | 2019-07-24 | 2019-10-25 | 复旦大学附属中山医院青浦分院 | 一种全新的ai+pacs系统及其检查报告构建方法 |
CN111833981A (zh) * | 2020-04-30 | 2020-10-27 | 宁波市科技园区明天医网科技有限公司 | 结构化报告制作编写方法 |
CN111652862A (zh) * | 2020-05-27 | 2020-09-11 | 联影智能医疗科技(北京)有限公司 | 脊柱顺列分类方法、计算机设备和存储介质 |
CN115206478A (zh) * | 2022-04-28 | 2022-10-18 | 上海商汤智能科技有限公司 | 医学报告生成方法以及装置、电子设备、可读存储介质 |
-
2023
- 2023-04-07 CN CN202310362764.4A patent/CN116072255B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107767928A (zh) * | 2017-09-15 | 2018-03-06 | 深圳市前海安测信息技术有限公司 | 基于人工智能的医学影像报告生成系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116072255A (zh) | 2023-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116072255B (zh) | 基于人工智能的颈椎退行性疾病ct检查结构化报告系统 | |
US11938030B1 (en) | Artificial neural network for aligning joint replacement implants | |
US20210158531A1 (en) | Patient Management Based On Anatomic Measurements | |
US11436801B2 (en) | Method for generating a 3D printable model of a patient specific anatomy | |
US8334878B2 (en) | Medical image processing apparatus and medical image processing program | |
JP5186269B2 (ja) | 画像認識結果判定装置、方法、およびプログラム | |
US20210174503A1 (en) | Method, system and storage medium with a program for the automatic analysis of medical image data | |
CN108309334B (zh) | 一种脊柱x线影像的数据处理方法 | |
JP2008259682A (ja) | 部位認識結果修正装置、方法、およびプログラム | |
JP2009503634A (ja) | デジタル画像計画を使用する移植物在庫管理システムおよび方法 | |
Korez et al. | A deep learning tool for fully automated measurements of sagittal spinopelvic balance from X-ray images: performance evaluation | |
CN112263236B (zh) | 全身肿瘤mri智能化评估系统及方法 | |
EP1778073A4 (en) | NON-INVASIVE JOINT ASSESSMENT | |
CN113781382B (zh) | 脊椎压迫性骨折检测方法与系统 | |
CN110448270B (zh) | 人工智能腰椎间盘突出诊断及分型系统 | |
CN114287915A (zh) | 一种基于背部彩色图像的无创脊柱侧弯筛查方法及系统 | |
WO2008135740A2 (en) | Scanner data collection | |
Simmons-Ehrhardt et al. | Evaluation of the suitability of cranial measurements obtained from surface-rendered CT scans of living people for estimating sex and ancestry | |
CN112263269B (zh) | 泌尿系x线平片结石智能检测系统及方法 | |
US8068702B2 (en) | System, method and computer instructions for aiding image analysis | |
Koompairojn et al. | Automatic classification system for lumbar spine X-ray images | |
CN114581395A (zh) | 一种基于深度学习的脊椎医学图像的关键点检测方法 | |
CN118229543A (zh) | 基于ct与mri图像的脊柱多模态影像融合方法 | |
JP2024011476A (ja) | 医療データ処理システム、医療データ処理装置、医療データ処理方法、プログラム、及び記録媒体 | |
CN113628154A (zh) | 图像分析方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |