CN113345578A - 基于cest骨科康复临床体系的骨科康复信息处理系统 - Google Patents

基于cest骨科康复临床体系的骨科康复信息处理系统 Download PDF

Info

Publication number
CN113345578A
CN113345578A CN202110682244.2A CN202110682244A CN113345578A CN 113345578 A CN113345578 A CN 113345578A CN 202110682244 A CN202110682244 A CN 202110682244A CN 113345578 A CN113345578 A CN 113345578A
Authority
CN
China
Prior art keywords
information
convolution
rehabilitation
feature
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110682244.2A
Other languages
English (en)
Inventor
马燕红
徐义明
陈康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sixth Peoples Hospital
Original Assignee
Shanghai Sixth Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sixth Peoples Hospital filed Critical Shanghai Sixth Peoples Hospital
Priority to CN202110682244.2A priority Critical patent/CN113345578A/zh
Publication of CN113345578A publication Critical patent/CN113345578A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于CEST骨科康复临床体系的骨科康复信息处理系统,包括骨骼信息采集模块、骨骼损伤程度鉴定模块和技术选择模块;骨骼信息采集模块包括通过特定设备扫描的骨骼信息,由医师采集的病患个人信息和病状描述信息,医师对病患的骨骼反应试验信息;骨骼损伤程度鉴定模块确认骨骼具体处于哪一阶段;技术选择模块包括供选择的消炎镇痛技术、关节活动技术、肌肉增强技术、整合运动技术和功能增强技术;且还包括医师信息,医师信息包括其擅长的骨科康复技术信息;本发明提供了使用方便、能对大量信息进行精准处理定位,提供精确受损部位,供医师判定疾病阶段和提供推荐相应医师的基于CEST骨科康复临床体系的骨科康复信息处理系统。

Description

基于CEST骨科康复临床体系的骨科康复信息处理系统
技术领域
本发明涉及骨科康复信息处理领域,更具体的说,它涉及基于CEST骨科康复临床体系的骨科康复信息处理系统。
背景技术
骨科康复涉及的基础知识、骨科临床知识、康复技术繁多且复杂,严重影响骨科康复的教学和临床水平,迫切需要将松散的知识和技术,凝炼出能骨科康复必备知识和临床应用知识的方法,形成骨科康复专业人员易于学习掌握和临床应用的理论与技术体系。建立骨科康复理论与技术体系的必要性如下:
1.骨科康复是康复医学领域中一个重要分支,临床问题复杂,医疗风险较大,专业人员的知识广度和深度要求高,对应用知识来分析临床问题的能力要求也高。
2.骨科康复的复杂性和多样性表现在3个方面。
(1)骨科康复面对206块骨,639块肌肉和至少100多个关节。骨科疾病诊断有200多个,手术方法众多而且还在发展中,这对骨科康复专业人员的骨科临床知识要求很高;
(2)骨科疾病表现出来的功能障碍也是复杂多样,相同疾病在不同的疾病阶段,或接受了不同手术方法,其功能障碍表现不同;而且,同一个疾病,采用不同的康复策略,获得的功能结果也可能大相径庭,这使得骨科康复需要较高的经验和技术;
(3)骨科康复技术也是复杂多样,相关的理论和技术非常多,一方面使得骨科康复专业人员需要掌握的技术非常多,另一方面,在临床应用过程中,在众多的康复技术中如何选择正确的康复技术也充满挑战。
面对大量的纷繁复杂的基础知识、临床知识、康复技能。哪些是必备的知识和技术,面对临床问题时,又该如何准确有效地选择出所需的知识与技术成为重要的问题之一。
发明内容
本发明克服了现有技术的不足,本发明提供了使用方便、能对大量信息进行精准处理定位,提供精确受损部位,供医师判定疾病阶段和提供推荐相应医师的基于CEST骨科康复临床体系的骨科康复信息处理系统。
本发明的技术方案如下:
基于CEST骨科康复临床体系的骨科康复信息处理系统,包括骨骼信息采集模块、骨骼损伤程度鉴定模块和技术选择模块;
骨骼信息采集模块包括通过特定设备扫描的骨骼信息,由医师采集的病患个人信息和病状描述信息,医师对病患的骨骼反应试验信息;
骨骼损伤程度鉴定模块,其根据骨骼信息采集模块输入的信息输出骨骼具体处于哪一阶段;
技术选择模块包括供选择的消炎镇痛技术、关节活动技术、肌肉增强技术、整合运动技术和功能增强技术;其还包括医师信息,医师信息包括其擅长的骨科康复技术信息;
具体包括如下步骤:
1)信息评估步骤:医生将病患信息输入骨骼信息采集模块,由特定设备扫描的骨骼信息和病状描述信息,以此明确病变部位与组织、病理改变和功能障碍情况;
2)疾病阶段确认步骤:将步骤1)采集的信息传输给骨骼损伤程度鉴定模块,由骨骼损伤程度鉴定模块提供给系统其目前处于哪一阶段,并由医师进行最终选择;其中,骨骼损伤程度分为4个阶段包括急性炎症期、组织修复期、功能恢复期和功能增强期;
3)采用骨科康复技术步骤:将步骤2)的所有信息传输给技术选择模块,由技术选择模块提供给系统选择采用的骨科康复技术,并将相应医师信息进行推荐;其中骨科康复技术包括消炎镇痛技术、关节活动技术、肌肉增强技术、整合运动技术和功能增强技术。
进一步的,骨骼损伤程度鉴定模块的信息判断步骤如下:
201)卷积网络处理步骤:将特定设备扫描的骨骼信息图像,通过在ResNet101网络中加入小型轻量级单元SK形成的图像过滤模型,使得过滤模型自适应地融合不同尺寸卷积核得到的不同感受野下的特征信息,动态地选取权重更高的感受野信息;
202)特征融合步骤:将步骤201)过滤后的图像,通过基于改进FPN的骨干网络进行特征融合;改进FPN的骨干网络包括Bottom-Up、Top-Down和Lateral connection模块,Bottom-Up模块实现输入图片在Backbone中提取特征的过程;Top-Down模块将提取特征的高层特征图采用最近邻插值法进行上采样,且与低层特征图保持相同大小;Lateralconnection模块,首先通过1*1的卷积调整特征维度使Bottom-up和Top-down模块处理过程中与对应特征层维度保持一致,然后将特征层对应元素相加,实现特征融合;其中通过3*3的卷积操作来消除特征融合过程中产生的混叠效应;
203)网络锚框优化步骤:将步骤202)中改进FPN的骨干网络的检测层设定为原图大小的1/4,即只采用融合后的Level2作为检测层,并在原分阶融合的基础上添加反卷积的上采样方式,将Level5直接与Level2进行融合,增强Level2中的语义信息;Level2检测层结合目标的位置及长宽比特点,将Level2检测层的锚框的尺度增加为[8,16,32]三种,长宽比为[1∶1],其对应原图的面积是(322,642,1282),达到提升对小目标受损部位的定位准确性,从而提供更好的判断依据数据。
进一步的,将步骤201)中的ResNet101网络中的每个卷积核大小为3×3的卷积层由一个小型轻量级单元SK替换,且将小型轻量级单元SK中M设置为2,M表示分路数量,采用扩张率为2的3×3空洞卷积替代原网络中的5×5卷积,在每条分路中采用G=32的分组卷积,r=16来控制小型轻量级单元SK中fuse全连接层的参数。
进一步的,小型轻量级单元SK包括Split、Fuse、Select三部分;
split对输入的特定设备采集的图像采用多种不同大小卷积来提取其中的特征,对于其中的特征映射X∈RH′×W′×C′,先进行两个转换F1:X→U1∈RH×W×C和F2:X→U2∈RH×W×C,H图像的高,W代表图像的宽,C代表通道数;即分别采用卷积核大小为3*3和5*5的卷积,并进行批归一化和ReLU函数处理;其中这两个转换卷积内部采用分组卷积的形式;
Fuse将多路卷积特征聚合后通过全局平均池化,通过全连接和Softmax函数获取各路卷积权重的综合表示;具体如下:
首先通过特征层对应元素相加的方式融合U1和U2
U=U1+U2 公式(1)
其次,通过全局平均池化的方式对U在空间维度上的特征进行压缩生成全局信息S∈RC;即输入尺寸为H×W,则其单个通道的全局平均池化公式如下:
Figure BDA0003123260730000051
其中H、W为输入图像的长、宽,i、j为对应的获取图像的像素点,
Figure BDA0003123260730000052
为U在空间维度上的单个通道的全局平均池化函数;
再通过一个全连接层生成一个维数较小的特征z∈Rd×1作为指导卷积核感受野的选择性参数;
Figure BDA0003123260730000053
其中δ为ReLU函数,B表示批归一化,W∈Rd×C
最后softmax函数根据前面的结果z在通道上进行权重分配,分别得到不同卷积核通道的权重表示:
Figure BDA0003123260730000054
其中A,B∈RC×d和a,b分别表示U1和U2的软注意力向量,Ac∈R1×d是A的第c行,ac表示a的第c个元素,Bc∈R1×d是B的第c行,bc表示b的第c个元素;
Select根据卷积核权重重新聚合多种不同大小内核的特征映射;通过将上述两种不同卷积核上的注意力权值与对应通道元素相乘得到的特征图V:
Vc=ac·U1c+bc·U2c,ac+bc=1 公式(9)
其中V=[V1,V2,...,Vc],Vc∈RH×W
进一步的,基于改进FPN的骨干网络为FPN结构应用于Faster R-CNN网络中,该网络将生成的多个融合特征图分别输入Faster R-CNN中的RPN网络,在RPN网络中为每种尺度的特征图生成对应长宽比的锚框,然后根据锚框尺度为目标选择合适的检测层。
本发明相比现有技术优点在于:
1.本发明模块化设计,模块设计合理,使用方便,易于推广使用。
2.本发明的系统符合临床上应用相关知识治疗疾病的方法即临床思路,以临床思路为主线、构建合理的理论和技术体系的流程系统。并把相关专业知识(基础知识、临床知识、康复技能)模块化,而模块化的专业知识与框架化的应用知识的思路有机结合,能更好的区分医师的技术能力和努力的方向。
3.本发明对骨骼信息采集模块,尤其是特定设备扫描的骨骼信息进行精准定位受损部位,明确什么部位的什么组织,并带出发生了什么样的病理改变,表现出怎样的功能障碍的信息,提供有效的病理改变和功能障碍,更好的供医师判断处于疾病的哪个阶段。因为不同组织修复阶段,骨骼关节结构对康复训练的耐受程度不同。能更好的根据疾病所处阶段和阶段性策略,提供选择更好的康复治疗技术。
4.本发明实现高质量的骨骼损伤检测结果,聚焦于检测精度较高两级检测器Faster R-CNN,并对其作出改进,采用嵌入内核自适应选择单元SK的方法加强骨干网络对目标的特征提取能力;设计适合于骨骼损伤检测目标的特征金子塔结构(FPN)使网络用于检测的特征层具有适当的分辨率和较强的语义特征;为降低漏检率提高计数的准确性,在区域建议网络RPN中针对损伤密集部分的区域圈定长宽比特点,优化损伤区域锚框的选取。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中
图1为本发明的整体流程示意图;
图2为本发明的SK单元流程图;
图3为本发明的FPN结构图;
图4为本发明的ResNet101+FPN结构图;
图5为本发明的SK加强和多重特征融合FPN的Backbone结构图。
具体实施方式
下面结合附图和具体实施方式对本发明进一步说明。
如图1至图5所示,基于CEST骨科康复临床体系的骨科康复信息处理系统(其中,CEST即CE临床评估(Clinical Evaluation)、S疾病阶段(Stage)、T骨科康复技术(Technology)的合并简称),故本系统包括骨骼信息采集模块、骨骼损伤程度鉴定模块和技术选择模块。
骨骼信息采集模块包括通过特定设备扫描的骨骼信息,由医师采集的病患个人信息和病状描述信息,医师对病患的骨骼反应试验信息;
骨骼损伤程度鉴定模块,其根据骨骼信息采集模块输入的信息输出骨骼具体处于哪一阶段;
技术选择模块包括供选择的消炎镇痛技术、关节活动技术、肌肉增强技术、整合运动技术和功能增强技术;其还包括医师信息,医师信息包括其擅长的骨科康复技术信息;
具体包括如下步骤:
1)信息评估步骤:医生将病患信息输入骨骼信息采集模块,由特定设备扫描的骨骼信息和病状描述信息,以此明确病变部位与组织、病理改变和功能障碍情况。一般通过结构评定和功能评定的临床评估来明确病变部位与组织、病理改变和功能障碍。结构评定的三个方面包括,主诉与症状、诊断性试验、影像学结果。功能评定包括三个方面,关节功能、肌肉功能、整合运动。这些信息都有医师进行录入。
目前依据功能特点还可以分为骨伤基础模块、上肢模块、下肢模块和脊柱模块4个大模块。其中上肢模块,下肢模块和脊柱模块中有常见疾病的结构评定和功能评定所需的必备知识模块、以及必备康复技术模块。结构评定与功能评定的知识模块化:
在4个大模块下又分多个子模块。上肢和下肢模块又分为肌腱、韧带、关节和生物力学测量4个板块,板块中,从结构评定、功能评定的角度凝练出上肢或下肢的常见肌腱疾病,韧带疾病,关节疾病的必备知识、以及整个上肢和下肢生物力学测量知识与方法;脊柱模块包括骨与关节、软组织、生物力学测量,从结构评定、功能评定的角度凝练出常见脊柱骨与关节损伤疾病,软组织损伤疾病的必备基础与临床知识,以及脊柱生物力学测量方法。在这之中未做详细说明的,以本领域技术人员通过常规方式进行获取相应信息和判定即可。
2)疾病阶段确认步骤:将步骤1)采集的信息传输给骨骼损伤程度鉴定模块,由骨骼损伤程度鉴定模块提供给系统其目前处于哪一阶段,并由医师进行最终选择,即为医师提供相应可能选择,减少了为医师提供判断的干扰数据。其中,骨骼损伤程度分为4个阶段包括急性炎症期、组织修复期、功能恢复期和功能增强期。
3)采用骨科康复技术步骤:将步骤2)的所有信息传输给技术选择模块,由技术选择模块提供给系统选择采用的骨科康复技术,并将相应医师信息进行推荐;其中骨科康复技术包括消炎镇痛技术、关节活动技术、肌肉增强技术、整合运动技术和功能增强技术。骨科康复技术包括消炎镇痛技术、关节活动技术、肌肉功能促进技术、整合运动技术与功能增强技术。
其中,消炎镇痛技术包括物理因子治疗、冲击波、肌内效贴技术模块等。上肢、下肢和脊柱的关节活动技术包括被动关节活动技术、助动关节活动技术、主动关节活动技术;肌肉功能促进技术包括放松技术、牵张技术、肌肉激活技术、肌力增强技术、肌肉增围技术、耐力训练技术;整合运动技术包括运动模式训练技术、平衡与协调技术、灵活性训练技术;功能增强技术运动功能恢复技术、体育运动恢复技术。在这之中未做详细说明的,以本领域技术人员通过常规方式进行获取相应信息和判定即可。
综上,其形成了有效的信息定位和相应信息的推送,大大降低了医师的错误判断率,且能为患者提供更好的医师服务。本系统还能有效督促医师进行合理的规划提升自身的骨科康复学习技能。本系统的所有信息都将上传至云端服务器,供整个骨科医师学习和分析相应骨骼受损情况,推动骨科康复技术的提升。
其中步骤2)中的骨骼损伤程度鉴定模块针对特定设备扫描的骨骼信息,其进行的具体提取和分析如下:
为了针对骨骼成像质量低、噪点多,以及损伤部分产生堆叠或分布集中等情况,容易产生受损目标的漏检和误检问题,有效的解决方案是增强卷积网络的特征提取能力,使网络能够更精准的抓取损伤部位的特征。本方案采用一种基于Faster R-CNN的骨骼损伤部位定位检测方法,其是在ResNet101网络中加入小型轻量级单元SK(Selective KernelConvolution),小型轻量级单元SK是一种软注意力机制。
在ResNet101网络中加入小型轻量级单元SK形成的图像过滤模型,使得过滤模型可以自适应地融合不同尺寸卷积核得到的不同感受野下的特征信息,动态地选取权重更高的感受野信息。同时结合特征金字塔FPN特征融合的方法,在实现特征融合的基础上减少原结构中冗余的多分辨率特征图检测,并同时采用最近邻上采样和反卷积上采样两种方式将网络浅层位置信息和深层语义信息进行融合,最后在RPN网络中优化锚框的选取,进一步提升骨骼损伤的定位准确度。具体分为如下步骤处理:
201)卷积网络处理步骤:将特定设备扫描的骨骼信息图像,通过在ResNet101网络中加入小型轻量级单元SK形成的图像过滤模型,使得过滤模型自适应地融合不同尺寸卷积核得到的不同感受野下的特征信息,动态地选取权重更高的感受野信息。即其中SK单元是一种动态内核选择机制,在CNN网络卷积过程中将多个不同卷积核大小的分支通过注意力机制的思想融合在一起,最终得到多重感受野融合特征层,通过这种自适应感受野的方法,不仅实现了卷积核大小的自适应选择,同时对各卷积通道也有权重分配,使得网络对有用的特征更加敏感,从而提升卷积网络的性能。
将加入SK内核选择单元的ResNet101网络,在不改变网络各层输出参数的情况下,将源网络中每个卷积核大小为3×3的卷积层由一个小型轻量级单元SK替换,且将小型轻量级单元SK中M设置为2,M表示分路数量。同时为了提高效率,采用扩张率为2的3×3空洞卷积替代原网络中的5×5卷积,在每条分路中采用G=32的分组卷积,r=16来控制小型轻量级单元SK中fuse全连接层的参数。SK-ResNet101网络参数如表1所示。
Figure BDA0003123260730000101
Figure BDA0003123260730000111
表1
其中,小型轻量级单元SK包括Split、Fuse、Select三部分。
split对输入的水下采集的图像采用多种不同大小卷积来提取其中的特征,对于其中的特征映射X∈RH′×W′×C′,先进行两个转换F1:X→U1∈RH×W×C和F2:X→U2∈RH×W×C,即分别采用卷积核大小为3*3和5*5的卷积,并进行批归一化和ReLU函数处理。其中为了减少训练参数,这两个转换卷积内部采用分组卷积的形式。
Fuse将多路卷积特征聚合后通过全局平均池化,通过全连接和Softmax函数获取各路卷积权重的综合表示。具体如下:
首先通过特征层对应元素相加的方式融合U1和U2
U=U1+U2 公式(1)
其次,通过全剧平均池化的方式对U在空间维度上的特征进行压缩生成全局信息S∈RC。即输入尺寸为H×W,则其单个通道的全局平均池化公式如下:
Figure BDA0003123260730000112
其中H、W为输入图像的长、宽,i、j为对应的获取图像的像素点,
Figure BDA0003123260730000113
为U在空间维度上的单个通道的全局平均池化函数。
再通过一个全连接层生成一个维数较小的特征z∈Rd×1作为指导卷积核感受野的选择性参数。
Figure BDA0003123260730000114
其中δ为ReLU函数,B表示批归一化,W∈Rd×C
最后softmax函数根据前面的结果z在通道上进行权重分配,分别得到不同卷积核通道的权重表示:
Figure BDA0003123260730000121
其中A,B∈RC×d和a,b分别表示U1和U2的软注意力向量,Ac∈R1×d是A的第c行,ac表示a的第c个元素,Bc∈R1×d是B的第c行,bc表示b的第c个元素。
Select根据卷积核权重重新聚合多种不同大小内核的特征映射。通过将上述两种不同卷积核上的注意力权值与对应通道元素相乘得到的特征图V:
Vc=ac·U1c+bc·U2c,ac+bc=1 公式(9)
其中V=[V1,V2,...,Vc],Vc∈RH×W
202)特征融合步骤:将步骤201)过滤后的图像,通过基于改进FPN的骨干网络进行特征融合。因为卷积网络浅层特征图分辨率较大具有较强的细节信息,深层特征图分辨率较低具有更强的语义信息,Faster R-CNN采用网络最深层的特征进行检测的方法虽然有效保留了较强的语义信息,但是却缺乏了浅层特征中包含的位置等细节信息,不利于检测图像中的小目标,尤其骨骼损伤很多都是很小的,难以有效捕捉。改进FPN的骨干网络则针对这一问题,提供包括Bottom-Up、Top-Down以及Lateral connection横向连接结构模块,实现浅层与深层特征的融合,并使得网络可以从不同分辨率的多尺度特征图进行预测。
Bottom-Up模块实现输入图片在Backbone中提取特征的过程。Top-Down模块将提取特征的高层特征图采用最近邻插值法进行上采样,且与低层特征图保持相同大小。Lateral connection模块,首先通过1*1的卷积调整特征维度使Bottom-up和Top-down模块处理过程中与对应特征层维度保持一致,然后将特征层对应元素相加,实现特征融合。其中通过3*3的卷积操作来消除特征融合过程中产生的混叠效应。
将FPN特征金子塔网络结构应用于Faster R-CNN中,网络将生成的多个融合特征图分别输入RPN网络,在RPN网络中为每种尺度的特征图生成对应长宽比的锚框,然后根据锚框尺度为目标选择合适的检测层。深浅特征的融合使得FPN结构有效提高了对小目标的检测率,多分辨率特征图检测的设计使得Faster R-CNN针对不同尺度受损部位的目标具有更好的检测效果。
根据常规锚框尺度匹配检测层的方法,会造成不同检测层样本分布不均匀,检测层没有被充分利用的问题,同时每个检测层均包含检测分支的设计也额外增加了计算成本和运行时间。本方案采用以ResNet101+FPN为Backbone的Faster R-CNN对骨骼损伤数据集进行锚框分配验证。即只采用最浅层较大分辨率的特征图做检测更加合理,在不影响检测率的情况下可以减少网络参数并提高检测速度。融合后的特征图分辨率越高,其对目标的细节信息保存得越完整,能实现更加精准的检测,如基于Encoder-Decoder结构的FCN等网络,将高层特征图上采样到原图大小后进行像素级分割。但是较大的特征图检测同时也会产生性能损失,因此,为了平衡性能以及考虑样本的普遍大小,本方案将最终的检测特征层设定为原图大小的1/4,即只采用融合后的Level2作为检测层,同时考虑到FPN网络中多次简单的最近邻插值上采样融合传播的方式,可能会导致在传播过程中由于较远的传播距离使得高层的小目标语义信息不一定能有效传播,为了有效利用高层的语义信息,在原分阶融合的基础上添加反卷积的上采样方式,将Level5直接与Level2进行融合,增强Level2中的语义信息。经过SK加强和多重特征融合FPN改进后的特征提取Backbone网络结构图。
203)网络锚框优化步骤:因在原始基于FPN骨干网络Faster R-CNN网络中,RPN网络分别连接在ResNet101网络的conv_2、conv_3、conv_4、conv_5中,每层网络中Stride为2的卷积会使得每个特征层尺度减小为前一层的1/2,,因此根据Pascal VOC数据集的目标大小在每层网络对应的RPN中设置一种对应大小的锚框,从conv2到conv5分别为[32,64,128,256],每种锚框对应3种长宽比(1:1、1:2、2:1)。但是经过改进后的本方案网络只采用Level2做检测层,因此原始这样的锚框设计并不合理,为了加快网络的收敛速度,结合骨骼受损数据集目标的尺度及长宽比特点,将Level2检测层的锚框的尺度增加为[8,16,32]三种,长宽比为[1:1],其对应原图的面积是(322,642,1282)。从而通过优化RPN网络锚框的选取提升对小目标的定位准确性从而达到良好的定量结果。
实验表明,经过改进后的Faster R-CNN更适合用于对骨骼损伤部位的定量检测工作。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。

Claims (5)

1.基于CEST骨科康复临床体系的骨科康复信息处理系统,其特征在于,包括骨骼信息采集模块、骨骼损伤程度鉴定模块和技术选择模块;
骨骼信息采集模块包括通过特定设备扫描的骨骼信息,由医师采集的病患个人信息和病状描述信息,医师对病患的骨骼反应试验信息;
骨骼损伤程度鉴定模块,其根据骨骼信息采集模块输入的信息输出骨骼具体处于哪一阶段;
技术选择模块包括供选择的消炎镇痛技术、关节活动技术、肌肉增强技术、整合运动技术和功能增强技术;其还包括医师信息,医师信息包括其擅长的骨科康复技术信息;
具体包括如下步骤:
1)信息评估步骤:医生将病患信息输入骨骼信息采集模块,由特定设备扫描的骨骼信息和病状描述信息,以此明确病变部位与组织、病理改变和功能障碍情况;
2)疾病阶段确认步骤:将步骤1)采集的信息传输给骨骼损伤程度鉴定模块,由骨骼损伤程度鉴定模块提供给系统其目前处于哪一阶段,并由医师进行最终选择;其中,骨骼损伤程度分为4个阶段包括急性炎症期、组织修复期、功能恢复期和功能增强期;
3)采用骨科康复技术步骤:将步骤2)的所有信息传输给技术选择模块,由技术选择模块提供给系统选择采用的骨科康复技术,并将相应医师信息进行推荐;其中骨科康复技术包括消炎镇痛技术、关节活动技术、肌肉增强技术、整合运动技术和功能增强技术。
2.根据权利要求1所述的基于CEST骨科康复临床体系的骨科康复信息处理系统,其特征在于:骨骼损伤程度鉴定模块的信息判断步骤如下:
201)卷积网络处理步骤:将特定设备扫描的骨骼信息图像,通过在ResNet101网络中加入小型轻量级单元SK形成的图像过滤模型,使得过滤模型自适应地融合不同尺寸卷积核得到的不同感受野下的特征信息,动态地选取权重更高的感受野信息;
202)特征融合步骤:将步骤201)过滤后的图像,通过基于改进FPN的骨干网络进行特征融合;改进FPN的骨干网络包括Bottom-Up、Top-Down和Lateral connection模块,Bottom-Up模块实现输入图片在Backbone中提取特征的过程;Top-Down模块将提取特征的高层特征图采用最近邻插值法进行上采样,且与低层特征图保持相同大小;Lateral connection模块,首先通过1*1的卷积调整特征维度使Bottom-up和Top-down模块处理过程中与对应特征层维度保持一致,然后将特征层对应元素相加,实现特征融合;其中通过3*3的卷积操作来消除特征融合过程中产生的混叠效应;
203)网络锚框优化步骤:将步骤202)中改进FPN的骨干网络的检测层设定为原图大小的1/4,即只采用融合后的Level2作为检测层,并在原分阶融合的基础上添加反卷积的上采样方式,将Level5直接与Level2进行融合,增强Level2中的语义信息;Level2检测层结合目标的位置及长宽比特点,将Level2检测层的锚框的尺度增加为[8,16,32]三种,长宽比为[1:1],其对应原图的面积是(322,642,1282),达到提升对小目标受损部位的定位准确性,从而提供更好的判断依据数据。
3.根据权利要求2所述的基于CEST骨科康复临床体系的骨科康复信息处理系统,其特征在于:将步骤201)中的ResNet101网络中的每个卷积核大小为3×3的卷积层由一个小型轻量级单元SK替换,且将小型轻量级单元SK中M设置为2,M表示分路数量,采用扩张率为2的3×3空洞卷积替代原网络中的5×5卷积,在每条分路中采用G=32的分组卷积,r=16来控制小型轻量级单元SK中fuse全连接层的参数。
4.根据权利要求3所述的基于CEST骨科康复临床体系的骨科康复信息处理系统,其特征在于:小型轻量级单元SK包括Split、Fuse、Select三部分;
split对输入的特定设备采集的图像采用多种不同大小卷积来提取其中的特征,对于其中的特征映射X∈RH′×W′×C′,先进行两个转换F1:X→U1∈RH×W×C和F2:X→U2∈RH×W×C,H图像的高,W代表图像的宽,C代表通道数;即分别采用卷积核大小为3*3和5*5的卷积,并进行批归一化和ReLU函数处理;其中这两个转换卷积内部采用分组卷积的形式;
Fuse将多路卷积特征聚合后通过全局平均池化,通过全连接和Softmax函数获取各路卷积权重的综合表示;具体如下:
首先通过特征层对应元素相加的方式融合U1和U2
U=U1+U2 公式(1)
其次,通过全局平均池化的方式对U在空间维度上的特征进行压缩生成全局信息S∈RC;即输入尺寸为H×W,则其单个通道的全局平均池化公式如下:
Figure FDA0003123260720000031
其中H、W为输入图像的长、宽,i、j为对应的获取图像的像素点,
Figure FDA0003123260720000032
为U在空间维度上的单个通道的全局平均池化函数;
再通过一个全连接层生成一个维数较小的特征z∈Rd×1作为指导卷积核感受野的选择性参数;
Figure FDA0003123260720000033
其中δ为ReLU函数,B表示批归一化,W∈Rd×C
最后softmax函数根据前面的结果z在通道上进行权重分配,分别得到不同卷积核通道的权重表示:
Figure FDA0003123260720000041
其中A,B∈Rc×d和a,b分别表示U1和U2的软注意力向量,Ac∈R1×d是A的第c行,ac表示a的第c个元素,Bc∈R1×d是B的第c行,bc表示b的第c个元素;
Select根据卷积核权重重新聚合多种不同大小内核的特征映射;通过将上述两种不同卷积核上的注意力权值与对应通道元素相乘得到的特征图V:
Vc=ac·U1c+bc·U2c,ac+bc=1 公式(9)
其中V=[V1,V2,...,Vc],Vc∈RH×W
5.根据权利要求2所述的基于CEST骨科康复临床体系的骨科康复信息处理系统,其特征在于:基于改进FPN的骨干网络为FPN结构应用于Faster R-CNN网络中,该网络将生成的多个融合特征图分别输入Faster R-CNN中的RPN网络,在RPN网络中为每种尺度的特征图生成对应长宽比的锚框,然后根据锚框尺度为目标选择合适的检测层。
CN202110682244.2A 2021-06-20 2021-06-20 基于cest骨科康复临床体系的骨科康复信息处理系统 Withdrawn CN113345578A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110682244.2A CN113345578A (zh) 2021-06-20 2021-06-20 基于cest骨科康复临床体系的骨科康复信息处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110682244.2A CN113345578A (zh) 2021-06-20 2021-06-20 基于cest骨科康复临床体系的骨科康复信息处理系统

Publications (1)

Publication Number Publication Date
CN113345578A true CN113345578A (zh) 2021-09-03

Family

ID=77477790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110682244.2A Withdrawn CN113345578A (zh) 2021-06-20 2021-06-20 基于cest骨科康复临床体系的骨科康复信息处理系统

Country Status (1)

Country Link
CN (1) CN113345578A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649701A (zh) * 2024-01-29 2024-03-05 江西科技学院 一种基于多尺度注意力机制的人体行为识别方法及系统
CN117710827A (zh) * 2024-02-06 2024-03-15 华东交通大学 基于改进RetinaNet的遥感图像目标检测模型

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649701A (zh) * 2024-01-29 2024-03-05 江西科技学院 一种基于多尺度注意力机制的人体行为识别方法及系统
CN117710827A (zh) * 2024-02-06 2024-03-15 华东交通大学 基于改进RetinaNet的遥感图像目标检测模型

Similar Documents

Publication Publication Date Title
CN113345578A (zh) 基于cest骨科康复临床体系的骨科康复信息处理系统
CN108596904B (zh) 生成定位模型的方法及对脊柱矢状位图像进行处理的方法
CN112668531A (zh) 一种基于动作识别的运动姿态矫正方法
CN109255354A (zh) 面向医用ct的计算机图像处理方法和装置
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
CN110400618B (zh) 一种基于人体运动结构特征的三维步态生成方法
CN116342516A (zh) 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
Peng et al. Biomechanics analysis of real-time tennis batting images using Internet of Things and deep learning
CN110264456A (zh) 一种基于深度学习的足底压力图像配准方法
Iio et al. Deep learning-based screening tool for rotator cuff tears on shoulder radiography
KR20220137215A (ko) 인공지능 기반의 의료 영상 변환 장치 및 방법
CN116645346A (zh) 肩袖扫描图像的处理方法、电子设备及存储介质
TW202027680A (zh) 足畸形檢測模型、足畸形檢測系統及足畸形檢測方法
Cheng et al. Diagnosis of metacarpophalangeal synovitis with musculoskeletal ultrasound images
CN113796850A (zh) 甲状旁腺mibi图像分析系统、计算机设备及存储介质
KR102258070B1 (ko) 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스
Hafthorsdottir et al. Automatic extraction of muscle fascicle pennation angle from raw ultrasound data
CN116433607B (zh) 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统
CN116994067B (zh) 基于冠状动脉钙化的血流储备分数的预测方法及系统
CN116798635B (zh) 运动功能障碍程度评价模型、评价装置及评价系统
Qin et al. MPFracNet: A Deep Learning Algorithm for Metacarpophalangeal Fracture Detection with Varied Difficulties
Rao et al. The value of visual attention for covid-19 classification in ct scans
US20240070854A1 (en) Tracking, analysing and assessment of huamn body movements using a subject-specific digital twin model of the human body
Jahangard et al. DoubleU-Net++: Architecture with exploit multiscale features for vertebrae segmentation
Debalaxmi et al. An Analytical Comparison of Deep Learning Frameworks for 2D Image-Based Hatha-Yoga Pose Identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210903