CN114264628A - 一种基于太赫兹谱学成像的银屑病关节炎成像系统 - Google Patents
一种基于太赫兹谱学成像的银屑病关节炎成像系统 Download PDFInfo
- Publication number
- CN114264628A CN114264628A CN202111542275.4A CN202111542275A CN114264628A CN 114264628 A CN114264628 A CN 114264628A CN 202111542275 A CN202111542275 A CN 202111542275A CN 114264628 A CN114264628 A CN 114264628A
- Authority
- CN
- China
- Prior art keywords
- terahertz
- finger
- layer
- imaging system
- domain signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 82
- 201000004681 Psoriasis Diseases 0.000 title claims abstract description 18
- 206010003246 arthritis Diseases 0.000 title claims abstract description 17
- 238000004611 spectroscopical analysis Methods 0.000 title claims abstract description 14
- 210000001145 finger joint Anatomy 0.000 claims abstract description 76
- 238000004458 analytical method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 28
- 239000000523 sample Substances 0.000 claims description 31
- 238000011176 pooling Methods 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 28
- 230000003595 spectral effect Effects 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 9
- 230000005855 radiation Effects 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 8
- 210000000988 bone and bone Anatomy 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000005452 bending Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 2
- 201000001263 Psoriatic Arthritis Diseases 0.000 description 16
- 208000036824 Psoriatic arthropathy Diseases 0.000 description 16
- 238000001514 detection method Methods 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 210000004872 soft tissue Anatomy 0.000 description 8
- 210000001503 joint Anatomy 0.000 description 7
- 206010061218 Inflammation Diseases 0.000 description 5
- 230000004054 inflammatory process Effects 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 230000006378 damage Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 102000004169 proteins and genes Human genes 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 208000010201 Exanthema Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 201000005884 exanthem Diseases 0.000 description 3
- 230000002757 inflammatory effect Effects 0.000 description 3
- 206010037844 rash Diseases 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 210000001258 synovial membrane Anatomy 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 238000010146 3D printing Methods 0.000 description 2
- 241000521257 Hydrops Species 0.000 description 2
- 208000012659 Joint disease Diseases 0.000 description 2
- 206010030113 Oedema Diseases 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000004553 finger phalanx Anatomy 0.000 description 2
- 206010020718 hyperplasia Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010040882 skin lesion Diseases 0.000 description 2
- 231100000444 skin lesion Toxicity 0.000 description 2
- 230000008961 swelling Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 210000002517 zygapophyseal joint Anatomy 0.000 description 2
- 208000008822 Ankylosis Diseases 0.000 description 1
- 206010005963 Bone formation increased Diseases 0.000 description 1
- 206010006322 Breath holding Diseases 0.000 description 1
- 108010074051 C-Reactive Protein Proteins 0.000 description 1
- 102100032752 C-reactive protein Human genes 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 206010017076 Fracture Diseases 0.000 description 1
- 206010023198 Joint ankylosis Diseases 0.000 description 1
- 206010029719 Nonspecific reaction Diseases 0.000 description 1
- 208000026062 Tissue disease Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004159 blood analysis Methods 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009266 disease activity Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009878 intermolecular interaction Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000000440 neutrophil Anatomy 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001185 psoriatic effect Effects 0.000 description 1
- 206010039073 rheumatoid arthritis Diseases 0.000 description 1
- 208000007442 rickets Diseases 0.000 description 1
- 208000002203 sacroiliac arthritis Diseases 0.000 description 1
- 238000004062 sedimentation Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000001179 synovial fluid Anatomy 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于太赫兹谱学成像的银屑病关节炎成像系统，包括依次连接的机械臂控制模块、太赫兹时域信号获取模块、太赫兹时域信号处理模块和数据结果分析模块。通过本发明的技术方案，提供太赫兹反射时域信息，可以实现手指关节的三维结构，直观体现关节结构改变，可以多视角展示指关节改变。
Description
技术领域
本发明属于太赫兹谱学成像技术与人工智能技术领域，尤其涉及一种基于太赫兹谱学成像的银屑病关节炎成像系统。
背景技术
银屑病关节炎(Psoriatic arthritis，PsA)是一种与银屑病相关的炎性关节病，患病表现为银屑病皮疹并伴有关节和周围软组织疼痛、肿胀、压痛、僵硬和运动障碍。部分患者可有骶髂关节炎和(或)脊柱炎，病程迁延，易复发。晚期可发展为关节强直。约75％的患者皮疹出现在关节炎之前，同时出现者约15％，皮疹出现在关节炎后的患者约10％。该病可发生于任何年龄，高峰年龄为30～50岁，无性别差异，但脊柱受累以男性居多。
根据研究表明，由于PsA的关节表现具有很大的个体差异，导致银屑病患者常常漏诊，漏诊比例为4.2％～33.6％。除此之外，PsA还存在严重的延迟诊断时间的问题。根据一项研究表明，皮肤科医师检查仅发现17.7％的PsA，再由风湿科医师检查，诊断出30％的银屑病患者患有PsA。
在我国，皮肤科医师更加关注皮肤病变的改变而忽略了关节炎的诊断，极少数患者是先出现关节病变后出现皮肤病变，又极易造成关节炎医师的误诊，耽误PsA的早期治疗。目前，PsA的早期筛查多选用问卷调查的方法。例如：银屑病与关节炎的筛查问卷表(PASQ)、银屑病患者筛查早期关节炎问卷表(EARP)、银屑病流行病学筛查工具问卷(PEST)以及银屑病关节炎筛查与评价问卷(PASE)。采用调查问卷的方法部分研究得到了验证，但存在不同研究结果(界值、敏感度和特异度)的差异较大的问题。PsA的早期诊断依靠实验室检查和影像学相结合方式。95％的PsA患者类风湿因子和抗环瓜氨酸肽抗体阴性，当其中一项检测结果为阳性时，需结合影像学特征来鉴别PsA和类风湿关节炎。
PsA无特异性实验室检查，在病情活动时期，会出现血沉加快，C反应蛋白增加，IgA、IgE增高，补体水平增高等现象。滑液呈非特异性反应，白细胞轻度增加，以中性粒细胞为主。实验室检查需要采集患者血液，无法做到无损检测，并且血液检查需要较长时间得出结果。各种血液检查花费较多。
传统的影像学检查有多种方式，包括X光片、高频超声和磁共振(MRI)检查等。X线及CT检查表现为皮肤缺损处关节周围炎症，使软组织肿胀。关节间隙因为炎症影响狭窄或增大，指骨骨性增生和指尖指骨缩短吸收，远端小关节骨性强直变形，也有指端变尖和骨性增生，形成特殊的“带帽铅笔”样畸形影响。这两种检测方法均简便易行，可以检测局部病灶，但是针对发病前期不具备诊断意义，只有在患病程度较重造成关节损伤后才能诊断出，并且对人体会造成电离损伤，在治疗前后不能长期跟踪检查。同时，X线检测观测角度单一，容易造成误判。高频超声可显示发生炎症反应的软组织结构，但是超声检查需要机体改变体位，并配合屏气等，因此对骨折或者其他不能配合的患者无法使用。除此之外，超声诊断的结果受医师临床知识和技能水平影响较大。MRI和超声检测主要观测的是关节滑膜、软骨、肌腱、软组织等炎症病变和关节腔外及外周小关节病变。MRI对软组织诊断优于其他检查，所以利用MRI进行脂肪抑制，增强扫描，对PsA早期炎症引起的周围软组织及关节腔改变具有重要意义。但由于价格昂贵，在推广运用上明显不足。超声则是关节病变后的高频影像，滑膜增厚，回声降低可见丰富血流信号及关节腔积液，关节表面骨质增生出现毛糙样改变，对PsA患者初期的炎症及周围组织病变有诊断价值。在诊断特点上，主要体现关节周围软组织及伴发的炎性病理产物和骨质改变，出现关节腔积液，周围软组织回声降低，血流信号增强，关节面毛糙或连续性降低等。主要存在的问题是观测范围狭窄，设备要求高，检测昂贵。
发明内容
为了解决上述已有技术存在的不足，本发明提出一种基于太赫兹谱学成像的银屑病关节炎成像系统，利用太赫兹时域成像技术实现手指表皮下关节成像，具体技术方案为：
一种基于太赫兹谱学成像的银屑病关节炎成像系统，包括依次连接的机械臂控制模块、太赫兹时域信号获取模块、太赫兹时域信号处理模块和数据结果分析模块，其中，
所述机械臂控制模块包括手指支具和深度相机，所述手指支具固定在成像系统外部，用于固定手指关节的位置，所述深度相机设置在所述手指支具上方，用于获取手指关节三维点云，利用所述深度相机获取手指关节的位置进而控制成像系统探头的位置；
所述太赫兹时域信号获取模块用于获取包含手指关节信息的太赫兹脉冲信号，将所述太赫兹时域信号获取模块封装形成成像系统探头；
所述太赫兹时域信号处理模块用于对所述太赫兹时域信号获取模块采集的太赫兹时域信号平滑处理，提取时域信号包含的信息，根据机械臂扫描顺序重新排序，二维重构显示太赫兹图像；
所述数据结果分析模块用于将平滑后的太赫兹时域信号进行傅里叶变换得到对应的频域信号，截取0.2-2THz频率范围内的信号输入光谱模型，分析是否需要成像处理，如果需要成像处理则将所述太赫兹时域信号处理模块得到的太赫兹图像输入图像模型，得到手指关节的分割图像。
进一步地，所述太赫兹时域信号获取模块包括太赫兹辐射源、太赫兹探测器、两个TPX透镜、分束片、离轴抛物面镜，样品窗口，其中，
所述太赫兹辐射源产生的太赫兹脉冲依次经过第一TPX透镜、分束片、第二TPX透镜汇聚到样品窗口，其中，所述第一TPX透镜起准直光路作用，所述分束片透过太赫兹脉冲，所述第二TPX透镜起汇聚作用；
太赫兹脉冲透过所述样品窗口，再经过手指关节表面反射后携带手指关节信息，携带手指关节信息的太赫兹脉冲依次经过所述第二TPX透镜、所述分束片、所述离轴抛物面镜汇聚到所述太赫兹探测器表面，所述太赫兹探测器探测到太赫兹脉冲，其中，所述第二TPX透镜起准直光路的作用，所述分束片反射太赫兹脉冲到所述离轴抛物面镜。
进一步地，所述手指支具包括用于放置手掌的掌托和用于放置手指的指托，其中，所述指托通过滑轨和支撑杆与所述掌托连接，能够自由移动以适应不同手指；
所述指托包括一个用于放置手指关节部位的主支撑件、在其两侧设置用于放置手指关节两侧指骨的两个副支撑件，所述主支撑件和两个所述副支撑件沿同一直线设置在与所述掌托相连的支撑杆上，在所述主支撑件和两个所述副支撑件的两侧设置角度可调节的夹板；
使用时，先将手掌放置在所述掌托上调整位置，将需要被拍摄的手指关节放置在所述主支撑件上，调节两个所述副支撑件的高度以贴合手指指骨位置并固定高度，最后夹紧所述夹板完成手指固定。
进一步地，所述主支撑件和两个所述副支撑件的高度均能通过转轴和支撑杆调节，两个所述副支撑件能够通过转轴调节角度以适应手指弯曲程度，通过铰链调节所述夹板的角度，两个所述副支撑件上端设置平板，并通过转轴调整角度使其贴合手指指骨面。
进一步地，所述机械臂控制模块的处理过程为：
S1：以所述手指支具的主支撑件的中心为原点建立世界坐标系；
S2：利用所述深度相机获得的三维点云数据分析得到手指关节的上表面坐标(x,y,z)；
S3：以手指关节的上表面的横坐标x和纵坐标y的最小值和最大值为手指关节边界，确定探头移动范围；
S4：根据手指关节边界和机械臂移动步长，控制机械臂在手指关节表面上方移动，使得探头扫描整个手指关节。
进一步地，所述太赫兹时域信号处理模块的处理过程为：
S1：对太赫兹时域信号采用smooth函数平滑处理；
S2：提取时域信号包含的信息，包括：最大值/最小值、最大值/最小值对应的延迟时间、峰峰值、太赫兹主峰值脉冲宽度；
S3：选择时间切片点，将边界内信号相加得到积分切片值，将边界内最大值和最小值相减得到边界峰峰值；
S4：根据所述机械臂控制模块的扫描顺序，对信号的最大值/最小值、最大值/最小值对应的延迟时间、峰峰值、太赫兹主峰值脉冲宽度、积分切片值、边界峰峰值进行重新排序，二维重构显示不同模式太赫兹图像。
进一步地，所述数据结果分析模块包括光谱模型和图像模型，其中，
所述光谱模型即太赫兹光谱分类模型，包括依次连接的第一卷积层、第二卷积层、最大池化层、第三卷积层、第四卷积层、平均池化层、Dropout层和全连接层，四个卷积层用于提取频域光谱特征，所述最大池化层和平均池化层用于减少模型参数增加鲁棒性防止过拟合，所述Dropout层随机赋予神经元零权重，用于减少网络对数据微小变化的敏感性，所述全连接层将特征信息转化为类别概率并输出结果；
太赫兹频域信号输入所述第一卷积层和所述第二卷积层训练学习，将学习到的特征输入所述最大池化层，减少输出的复杂性和防止数据过拟合，再将结果输入第三卷积层和第四卷积层，学习更高层次的特征，然后再输入到平均池化层获取权重平均值，进一步避免过拟合，最后输入所述Dropout层和所述全连接层，得到分类结果；
所述图像模型即太赫兹图像分割模型，包括特征提取网络、特征分析网络和两者之间的连接模块，其中，所述特征提取网络包括至少一个特征提取模块，所述特征提取模块由卷积层、BN层和池化层构成；所述特征分析网络包括至少一个特征分析模块，所述特征分析模块包括上采样和卷积层；所述连接模块将所述特征提取模块中的卷积层裁剪后拼接到所述特征分析模块的卷积层；
太赫兹图像输入所述特征提取模块，提取图像特征，所述特征分析模块通过复制和拼接整合图像特征，最终获得特征图，将所有提取出的特征分类，实现太赫兹图像的语义分割。
进一步地，所述成像系统集合成一个整体，所述成像系统集合成一个整体，所述成像系统探头、所述手指支具和所述深度相机裸露在外，其余部分通过3D打印外壳封装。
进一步地，所述太赫兹探测器采用柔性纳米尺度多探针模式，以提高成像分辨率和成像速度。
本发明的有益效果在于：
1.本发明提供一种基于太赫兹谱学技术的银屑病关节炎成像系统，能够用于PsA早期关节成像，得益于太赫兹辐射的低电离特性可以长期多次对手指关节成像。
2.本发明的太赫兹频段的振动可以反映蛋白质改变，提供太赫兹反射时域信息，根据反射峰的时间延迟、反射峰幅值峰值损耗及频域信号特征吸收峰判断手指关节情况。
3.本发明的太赫兹成像可以实现手指关节的三维结构，直观体现关节结构改变，可以多视角展示患者指关节改变。
4.本发明的深度学习算法，可以判断手指关节是否需要进行成像检测以及对手指关节成像结果实现语义分割。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1是本发明的系统结构示意图；
图2是本发明的机械臂控制模块结构示意图；
图3是本发明的太赫兹时域信号获取模块示意图；
图4是本发明的太赫兹时域信号处理模块示意图；
图5是本发明的数据结果分析模块示意图；
图6是本发明的光谱模型结构图；
图7是本发明的图像模型结构图；
图8是本发明的特征提取模块、特征分析模块结构图；
图9是本发明的手指支具示意图；
图10是本发明的另一个角度的手指支具示意图。
附图标号说明：
1-太赫兹辐射源，2-第一TPX透镜，3-分束片，4-第二TPX透镜，5-样品窗口，6-离轴抛物面镜，7-太赫兹探测器，8-副支撑件，9-主支撑件，10-副支撑件，11-掌托，12-夹板。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本发明提供一种基于太赫兹谱学成像技术的银屑病关节炎成像分类系统，开发设计时融合了深度学习算法，可实现银屑病关节炎成像结果语义分割。本发明的关键点在于：
存在以太赫兹频率谐振的分子间振动；这些分子间相互作用具有弱、低的能量振动，具有与分子结构相关的广泛特性，手指关节结构改变有可能是蛋白质发生改变造成的，可以利用太赫兹特征谱检测其中的区别，提供有用的信息。
相较于X辐射的电离损伤，一个光子的能量在1THz约等于4.1meV，不会对人体产生电离辐射损伤。因此，可以利用太赫兹谱学成像系统对手指关节进行长期跟踪观察。
将深度学习集成在成像系统软件设计中，实现手指关节成像自动分割，区分手指关节不同部位。
具体地，如图1所示，一种基于太赫兹谱学成像的银屑病关节炎成像系统，包括依次连接的机械臂控制模块、太赫兹时域信号获取模块、太赫兹时域信号处理模块和数据结果分析模块，其中，
如图2所示，机械臂控制模块包括手指支具和深度相机，手指支具固定在成像系统外部，用于固定手指关节的位置，深度相机设置在手指支具上方，用于获取手指关节三维点云，利用深度相机获取手指关节的位置进而控制成像系统探头的位置；
太赫兹时域信号获取模块用于获取包含手指关节信息的太赫兹脉冲信号，将太赫兹时域信号获取模块封装形成成像系统探头；
太赫兹时域信号处理模块用于对太赫兹时域信号获取模块采集的太赫兹时域信号平滑处理，提取时域信号包含的信息，根据机械臂扫描顺序重新排序，二维重构显示太赫兹图像；
数据结果分析模块用于将平滑后的太赫兹时域信号进行傅里叶变换得到对应的频域信号，截取0.2-2THz频率范围内的信号输入光谱模型，分析是否需要成像处理，如果需要成像处理则将太赫兹时域信号处理模块得到的太赫兹图像输入图像模型，得到手指关节的分割图像。
如图3所示，太赫兹时域信号获取模块包括太赫兹辐射源1、太赫兹探测器7、两个TPX透镜2、4、分束片3、离轴抛物面镜6，样品窗口5，其中，
太赫兹辐射源1产生的太赫兹脉冲依次经过第一TPX透镜2、分束片3、第二TPX透镜4汇聚到样品窗口5，其中，第一TPX透镜2起准直光路作用，分束片3透过太赫兹脉冲，第二TPX透镜4起汇聚作用；
太赫兹脉冲透过样品窗口5，再经过手指关节表面反射后携带手指关节信息，携带手指关节信息的太赫兹脉冲依次经过第二TPX透镜4、分束片3、离轴抛物面镜6汇聚到太赫兹探测器7表面，太赫兹探测器7探测到太赫兹脉冲，其中，第二TPX透镜4起准直光路的作用，分束片3反射太赫兹脉冲到离轴抛物面镜6。
如图8-9所示，手指支具包括用于放置手掌的掌托11和用于放置手指的指托，其中，指托通过滑轨和支撑杆与掌托11连接，能够自由移动以适应不同手指；
指托包括一个用于放置手指关节部位的主支撑件9、在其两侧设置用于放置手指关节两侧指骨的两个副支撑件8、10，主支撑件9和两个副支撑件8、10沿同一直线设置在与掌托11相连的支撑杆上，在主支撑件9和两个副支撑件8、10的两侧设置角度可调节的夹板12；
使用时，先将手掌放置在掌托11上调整位置，将需要被拍摄的手指关节放置在主支撑件9上，调节两个副支撑件8、10的高度以贴合手指指骨位置并固定高度，最后夹紧夹板12完成手指固定。
较佳地，主支撑件9和两个副支撑件8、10的高度均能通过转轴和支撑杆调节，两个副支撑件8、10能够通过转轴调节角度以适应手指弯曲程度，通过铰链调节夹板12的角度，两个副支撑件8、10上端设置平板，并通过转轴调整角度使其贴合手指指骨面。
较佳地，机械臂控制模块能够实时获取成像系统探头和手指关节相对位置，精准控制成像系统探头位移，均匀获取手指关节处太赫兹时域信号；机械臂控制模块的处理过程为：
S1：以手指支具的主支撑件的中心为原点建立世界坐标系；
S2：利用深度相机获得的三维点云数据分析得到手指关节的上表面坐标(x,y,z)；
S3：以手指关节的上表面的横坐标x和纵坐标y的最小值和最大值为手指关节边界，确定探头移动范围；
S4：根据手指关节边界和机械臂移动步长，控制机械臂在手指关节表面上方移动，使得探头扫描整个手指关节。
在一些实施方式中，利用近红外激光器，将具有一定结构特征的光线(如平行光线)投射到手指关节上，再由专门的红外摄像头进行采集，这种具备一定结构的光线，会因手指关节的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得手指关节三维结构。
如图4所示，太赫兹频段是介于宏观电子学和微观光子学之间，对分子间相互作用十分敏感，太赫兹光谱可以检测到分子结构和蛋白质浓度的微小变化，可以利用太赫兹光谱学表征蛋白质，获取手指关节信息。太赫兹时域信号处理模块的处理过程为：
S1：对太赫兹时域信号采用smooth函数平滑处理；
S2：提取时域信号包含的信息，包括：最大值/最小值、最大值/最小值对应的延迟时间、峰峰值、太赫兹主峰值脉冲宽度；
S3：选择时间切片点，将边界内信号相加得到积分切片值，将边界内最大值和最小值相减得到边界峰峰值；
S4：根据机械臂控制模块的扫描顺序，对信号的最大值/最小值、最大值/最小值对应的延迟时间、峰峰值、太赫兹主峰值脉冲宽度、积分切片值、边界峰峰值进行重新排序，二维重构显示不同模式太赫兹图像。
如图5-8所示，数据结果分析模块包括光谱模型和图像模型，其中，
光谱模型即太赫兹光谱分类模型，包括依次连接的第一卷积层、第二卷积层、最大池化层、第三卷积层、第四卷积层、平均池化层、Dropout层和全连接层，四个卷积层用于提取频域光谱特征，最大池化层和平均池化层用于减少模型参数增加鲁棒性防止过拟合，Dropout层随机赋予神经元零权重，用于减少网络对数据微小变化的敏感性，全连接层将特征信息转化为类别概率并输出结果；
太赫兹频域信号输入第一卷积层和第二卷积层训练学习，将学习到的特征输入最大池化层，减少输出的复杂性和防止数据过拟合，再将结果输入第三卷积层和第四卷积层，学习更高层次的特征，然后再输入到平均池化层获取权重平均值，进一步避免过拟合，最后输入Dropout层和全连接层，得到分类结果；
图像模型即太赫兹图像分割模型，包括特征提取网络、特征分析网络和两者之间的连接模块，其中，特征提取网络包括至少一个特征提取模块，特征提取模块由卷积层、BN层和池化层构成；特征分析网络包括至少一个特征分析模块，特征分析模块包括上采样和卷积层；连接模块将特征提取模块中的卷积层裁剪后拼接到特征分析模块的卷积层；
太赫兹图像输入特征提取模块，提取图像特征，特征分析模块通过复制和拼接整合图像特征，最终获得特征图，将所有提取出的特征分类，实现太赫兹图像的语义分割。
较佳地，成像系统集合成一个整体，成像系统探头、手指支具和深度相机裸露在外，其余部分通过3D打印外壳封装。
较佳地，太赫兹探测器采用柔性纳米尺度多探针模式，以提高成像分辨率和成像速度。
综上，本发明的太赫兹谱学成像系统具有便携性，硬件设备集成化可便携安装。成像精准度高，设计手指支具，减少个体差异和手指摆放位置造成的成像误差。利用深度相机获取手指关节的三维位置，控制机械臂移动，使得成像系统探头精准扫描手指关节部位。
采用本发明公开的系统的进行银屑病关节炎成像分类的方法为：
首先，利用手指支具固定需要拍摄的手指关节，利用深度相机获取手指关节三维坐标，控制机械臂移动扫描手指关节。
同时，太赫兹时域信号获取模块所获得的手指关节反射时域信号数据，具体为，将时域信号数据存储为txt文件中，需要成像处理标记为1，不需要成像处理数据标记为2，此文件即光谱模型的训练标签。
其次，太赫兹时域信号处理模块提取信号的最大值/最小值、最大值/最小值对应的延迟时间、峰峰值、太赫兹主峰值脉冲宽度、积分切片值、边界峰峰值进行重新排序，二维重构显示不同成像模式太赫兹图像；获得的太赫兹图像需专业医生的关节结果标注，具体为，太赫兹图像存储为jpg文件，分别标注骨关节、滑膜和皮肤。
其次，如图6所示，光谱模型包括依次连接的第一卷积层、第二卷积层、最大池化层、第三卷积层、第四卷积层、平均池化层、Dropout层和全连接层。
其中，卷积层均为一维卷积，内核数目为5，卷积核维度为10，步长为1，激活函数为Relu；池化层采用same模式填充，池化尺寸为2；Dropout层权重赋值为零的比例为50％；全连接层激活函数为softmax，神经元个数为50；迭代次数为500次。
如图7所示，图像模型包括特征提取网络、特征分析网络和两者之间的连接模块，其中，特征提取网络包括四个特征提取模块，特征提取模块由卷积层、BN层和池化层构成；特征分析网络包括四个特征分析模块，特征分析模块包括上采样和卷积层；连接模块将特征提取模块中的卷积层裁剪后拼接到特征分析模块的卷积层；
其中，特征提取模块包括3层卷积层、一个BN层和一个池化层；特征分析模块包括一个上采样层和4个卷积层；其中，卷积层均为二维卷积，卷积内核为3×3，步长为2，激活函数为Relu；池化层采用same模式填充，池化尺寸为2×2。上采样采用反卷积方式，卷积内核为2×2；迭代次数为5000次。
将现有光谱数据和图像数据按照6：3：1的比例分为训练集、验证集和测试集进行模型的训练和效果验证。
最后将光谱数据输入光谱模型由模型判断得出是否需要进行成像检测，若需要成像检测则将太赫兹图像输入图像模型获得手指关节语义分割图像。在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于太赫兹谱学成像的银屑病关节炎成像系统，其特征在于，包括依次连接的机械臂控制模块、太赫兹时域信号获取模块、太赫兹时域信号处理模块和数据结果分析模块，其中，
所述机械臂控制模块包括手指支具和深度相机，所述手指支具固定在成像系统外部，用于固定手指关节的位置，所述深度相机设置在所述手指支具上方，用于获取手指关节三维点云，利用所述深度相机获取手指关节的位置进而控制成像系统探头的位置；
所述太赫兹时域信号获取模块用于获取包含手指关节信息的太赫兹脉冲信号，将所述太赫兹时域信号获取模块封装形成成像系统探头；
所述太赫兹时域信号处理模块用于对所述太赫兹时域信号获取模块采集的太赫兹时域信号平滑处理，提取时域信号包含的信息，根据机械臂扫描顺序重新排序，二维重构显示太赫兹图像；
所述数据结果分析模块用于将平滑后的太赫兹时域信号进行傅里叶变换得到对应的频域信号，截取0.2-2THz频率范围内的信号输入光谱模型，分析是否需要成像处理，如果需要成像处理则将所述太赫兹时域信号处理模块得到的太赫兹图像输入图像模型，得到手指关节的分割图像。
2.根据权利要求1所述的成像系统，其特征在于，所述太赫兹时域信号获取模块包括太赫兹辐射源(1)、太赫兹探测器(7)、两个TPX透镜(2、4)、分束片(3)、离轴抛物面镜(6)，样品窗口(5)，其中，
所述太赫兹辐射源(1)产生的太赫兹脉冲依次经过第一TPX透镜(2)、分束片(3)、第二TPX透镜(4)汇聚到样品窗口(5)，其中，所述第一TPX透镜(2)起准直光路作用，所述分束片(3)透过太赫兹脉冲，所述第二TPX透镜(4)起汇聚作用；
太赫兹脉冲透过所述样品窗口(5)，再经过手指关节表面反射后携带手指关节信息，携带手指关节信息的太赫兹脉冲依次经过所述第二TPX透镜(4)、所述分束片(3)、所述离轴抛物面镜(6)汇聚到所述太赫兹探测器(7)表面，所述太赫兹探测器(7)探测到太赫兹脉冲，其中，所述第二TPX透镜(4)起准直光路的作用，所述分束片(3)反射太赫兹脉冲到所述离轴抛物面镜(6)。
3.根据权利要求1或2所述的成像系统，其特征在于，所述手指支具包括用于放置手掌的掌托(11)和用于放置手指的指托，其中，所述指托通过滑轨和支撑杆与所述掌托(11)连接，能够自由移动以适应不同手指；
所述指托包括一个用于放置手指关节部位的主支撑件(9)、在其两侧设置用于放置手指关节两侧指骨的两个副支撑件(8、10)，所述主支撑件(9)和两个所述副支撑件(8、10)沿同一直线设置在与所述掌托(11)相连的支撑杆上，在所述主支撑件(9)和两个所述副支撑件(8、10)的两侧设置角度可调节的夹板(12)；
使用时，先将手掌放置在所述掌托(11)上调整位置，将需要被拍摄的手指关节放置在所述主支撑件(9)上，调节两个所述副支撑件(8、10)的高度以贴合手指指骨位置并固定高度，最后夹紧所述夹板(12)完成手指固定。
4.根据权利要求3所述的成像系统，其特征在于，所述主支撑件(9)和两个所述副支撑件(8、10)的高度均能通过转轴和支撑杆调节，两个所述副支撑件(8、10)能够通过转轴调节角度以适应手指弯曲程度，通过铰链调节所述夹板(12)的角度，两个所述副支撑件(8、10)上端设置平板，并通过转轴调整角度使其贴合手指指骨面。
5.根据权利要求3所述的成像系统，其特征在于，所述机械臂控制模块的处理过程为：
S1：以所述手指支具的主支撑件的中心为原点建立世界坐标系；
S2：利用所述深度相机获得的三维点云数据分析得到手指关节的上表面坐标(x,y,z)；
S3：以手指关节的上表面的横坐标x和纵坐标y的最小值和最大值为手指关节边界，确定成像系统探头移动范围；
S4：根据手指关节边界和机械臂移动步长，控制机械臂在手指关节表面上方移动，使得成像系统探头扫描整个手指关节。
6.根据权利要求1或2所述的成像系统，其特征在于，所述太赫兹时域信号处理模块的处理过程为：
S1：对太赫兹时域信号采用smooth函数平滑处理；
S2：提取时域信号包含的信息，包括：最大值/最小值、最大值/最小值对应的延迟时间、峰峰值、太赫兹主峰值脉冲宽度；
S3：选择时间切片点，将边界内信号相加得到积分切片值，将边界内最大值和最小值相减得到边界峰峰值；
S4：根据所述机械臂控制模块的扫描顺序，对信号的最大值/最小值、最大值/最小值对应的延迟时间、峰峰值、太赫兹主峰值脉冲宽度、积分切片值、边界峰峰值进行重新排序，二维重构显示不同模式太赫兹图像。
7.根据权利要求1或2所述的成像系统，其特征在于，所述数据结果分析模块包括光谱模型和图像模型，其中，
所述光谱模型即太赫兹光谱分类模型，包括依次连接的第一卷积层、第二卷积层、最大池化层、第三卷积层、第四卷积层、平均池化层、Dropout层和全连接层，四个卷积层用于提取频域光谱特征，所述最大池化层和平均池化层用于减少模型参数增加鲁棒性防止过拟合，所述Dropout层随机赋予神经元零权重，用于减少网络对数据微小变化的敏感性，所述全连接层将特征信息转化为类别概率并输出结果；
太赫兹频域信号输入所述第一卷积层和所述第二卷积层训练学习，将学习到的特征输入所述最大池化层，减少输出的复杂性和防止数据过拟合，再将结果输入第三卷积层和第四卷积层，学习更高层次的特征，然后再输入到平均池化层获取权重平均值，进一步避免过拟合，最后输入所述Dropout层和所述全连接层，得到分类结果；
所述图像模型即太赫兹图像分割模型，包括特征提取网络、特征分析网络和两者之间的连接模块，其中，所述特征提取网络包括至少一个特征提取模块，所述特征提取模块由卷积层、BN层和池化层构成；所述特征分析网络包括至少一个特征分析模块，所述特征分析模块包括上采样和卷积层；所述连接模块将所述特征提取模块中的卷积层裁剪后拼接到所述特征分析模块的卷积层；
太赫兹图像输入所述特征提取模块，提取图像特征，所述特征分析模块通过复制和拼接整合图像特征，最终获得特征图，将所有提取出的特征分类，实现太赫兹图像的语义分割。
8.根据权利要求1-7之一所述的成像系统，其特征在于，所述成像系统集合成一个整体，所述成像系统探头、所述手指支具和所述深度相机裸露在外，其余部分通过3D打印外壳封装。
9.根据权利要求1-7之一所述的成像系统，其特征在于，所述太赫兹探测器采用柔性纳米尺度多探针模式，以提高成像分辨率和成像速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111542275.4A CN114264628A (zh) | 2021-12-16 | 2021-12-16 | 一种基于太赫兹谱学成像的银屑病关节炎成像系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111542275.4A CN114264628A (zh) | 2021-12-16 | 2021-12-16 | 一种基于太赫兹谱学成像的银屑病关节炎成像系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114264628A true CN114264628A (zh) | 2022-04-01 |
Family
ID=80827504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111542275.4A Pending CN114264628A (zh) | 2021-12-16 | 2021-12-16 | 一种基于太赫兹谱学成像的银屑病关节炎成像系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114264628A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100225897A1 (en) * | 2009-03-06 | 2010-09-09 | Imra America, Inc. | Optical scanning and imaging systems based on dual pulsed laser systems |
| CN102824244A (zh) * | 2012-08-31 | 2012-12-19 | 邹旭 | 无创动态指骨牵引支具 |
| JP2013092496A (ja) * | 2011-10-27 | 2013-05-16 | Toshiba Corp | テラヘルツ波を用いた検査装置、及び検査方法 |
| US20150223959A1 (en) * | 2012-08-28 | 2015-08-13 | Scuola Superiore S.Anna | Wearable exoskeleton device for hand rehabilitation |
| CN105784634A (zh) * | 2016-03-31 | 2016-07-20 | 电子科技大学 | 垂直入射同时测透射和反射的太赫兹时域光谱仪 |
| CN106769995A (zh) * | 2017-01-25 | 2017-05-31 | 长春理工大学 | 原型离线编程机器人太赫兹时域光谱成像装置及方法 |
| CN108883023A (zh) * | 2016-02-15 | 2018-11-23 | 利姆医疗有限公司 | 手指运动导轨及其支架，以及包括手指运动导轨及其支架的治疗装置 |
| CN110251844A (zh) * | 2019-05-15 | 2019-09-20 | 深圳市太赫兹科技创新研究院有限公司 | 基于太赫兹成像的光热治疗方法、系统及工控机 |
| CN110579483A (zh) * | 2019-09-24 | 2019-12-17 | 清华大学深圳国际研究生院 | 基于太赫兹波的内部缺陷成像装置、方法及可读存储介质 |
| CN110991268A (zh) * | 2019-11-13 | 2020-04-10 | 华中科技大学 | 一种基于深度图像的帕金森手部运动量化分析方法和系统 |
| CN111247420A (zh) * | 2017-08-25 | 2020-06-05 | 新加坡国立大学 | 先进的太赫兹系统及方法 |
| CN111227832A (zh) * | 2020-02-13 | 2020-06-05 | 重庆邮电大学 | 一种用于手指关节疾病诊断的热声层析成像系统及方法 |
| CN111311574A (zh) * | 2020-02-14 | 2020-06-19 | 山西大学 | 基于人工智能的太赫兹病变检测方法及系统 |
-
2021
- 2021-12-16 CN CN202111542275.4A patent/CN114264628A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100225897A1 (en) * | 2009-03-06 | 2010-09-09 | Imra America, Inc. | Optical scanning and imaging systems based on dual pulsed laser systems |
| JP2013092496A (ja) * | 2011-10-27 | 2013-05-16 | Toshiba Corp | テラヘルツ波を用いた検査装置、及び検査方法 |
| US20150223959A1 (en) * | 2012-08-28 | 2015-08-13 | Scuola Superiore S.Anna | Wearable exoskeleton device for hand rehabilitation |
| CN102824244A (zh) * | 2012-08-31 | 2012-12-19 | 邹旭 | 无创动态指骨牵引支具 |
| CN108883023A (zh) * | 2016-02-15 | 2018-11-23 | 利姆医疗有限公司 | 手指运动导轨及其支架，以及包括手指运动导轨及其支架的治疗装置 |
| CN105784634A (zh) * | 2016-03-31 | 2016-07-20 | 电子科技大学 | 垂直入射同时测透射和反射的太赫兹时域光谱仪 |
| CN106769995A (zh) * | 2017-01-25 | 2017-05-31 | 长春理工大学 | 原型离线编程机器人太赫兹时域光谱成像装置及方法 |
| CN111247420A (zh) * | 2017-08-25 | 2020-06-05 | 新加坡国立大学 | 先进的太赫兹系统及方法 |
| CN110251844A (zh) * | 2019-05-15 | 2019-09-20 | 深圳市太赫兹科技创新研究院有限公司 | 基于太赫兹成像的光热治疗方法、系统及工控机 |
| CN110579483A (zh) * | 2019-09-24 | 2019-12-17 | 清华大学深圳国际研究生院 | 基于太赫兹波的内部缺陷成像装置、方法及可读存储介质 |
| CN110991268A (zh) * | 2019-11-13 | 2020-04-10 | 华中科技大学 | 一种基于深度图像的帕金森手部运动量化分析方法和系统 |
| CN111227832A (zh) * | 2020-02-13 | 2020-06-05 | 重庆邮电大学 | 一种用于手指关节疾病诊断的热声层析成像系统及方法 |
| CN111311574A (zh) * | 2020-02-14 | 2020-06-19 | 山西大学 | 基于人工智能的太赫兹病变检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| CHEN H等: "Diagnose human colonic tissues by terahertz near-field imaging", JOURNAL OF BIOMEDICAL OPTICS, 27 March 2015 (2015-03-27) * |
| 杨晴等: "自旋太赫兹源发展及其在生物医学的应用前景分析", 中国材料进展, 15 December 2021 (2021-12-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hendriks | Mechanical behaviour of human epidermal and dermal layers in vivo | |
| EP2510382B1 (en) | Image generating apparatus, image generating method, and program | |
| JP5460000B2 (ja) | イメージング装置およびイメージング方法 | |
| US7601120B2 (en) | Method and device for the non-invasive assessment of bones | |
| CN106264573B (zh) | 便携式肌肉力学参数及肌肉力在体超声检测装置及方法 | |
| US8419643B2 (en) | Ultrasonic method and apparatus for assessment of bone | |
| US20110130660A1 (en) | System and method for detection, characterization and imaging of heterogeneity using shear wave induced resonance | |
| Tristam et al. | Application of Fourier analysis to clinical study of patterns of tissue movement | |
| CN1792335A (zh) | 基于声透镜的光声成像和层析成像方法及其装置 | |
| CN106560160A (zh) | 被检体信息获取装置及其控制方法 | |
| CN108445077B (zh) | 一种光学弹性测试方法 | |
| Virén et al. | Minimally invasive ultrasound method for intra-articular diagnostics of cartilage degeneration | |
| US20210215642A1 (en) | Systems and Methods For Imaging Cortical Bone And Soft Tissue | |
| Virén et al. | Ultrasound evaluation of mechanical injury of bovine knee articular cartilage under arthroscopic control | |
| Moilanen et al. | Photo-acoustic excitation and optical detection of fundamental flexural guided wave in coated bone phantoms | |
| Ramaraj et al. | Sensors for bone mineral density measurement to identify the level of osteoporosis: a study | |
| Goldbach‐Mansky et al. | Magnetic resonance imaging in the evaluation of bone damage in rheumatoid arthritis: a more precise image or just a more expensive one? | |
| Li et al. | Fourier-domain ultrasonic imaging of cortical bone based on velocity distribution inversion | |
| Phelps et al. | Ultrasound elastography: is there a shear wave speed cutoff for pediatric liver fibrosis and inflammation? | |
| CN108601536A (zh) | 信息获取装置和控制方法 | |
| Lasaygues et al. | Cancellous and cortical bone imaging by reflected tomography | |
| CN114264628A (zh) | 一种基于太赫兹谱学成像的银屑病关节炎成像系统 | |
| Kaleva et al. | In-vitro comparison of time-domain, frequency-domain and wavelet ultrasound parameters in diagnostics of cartilage degeneration | |
| Li et al. | Diagnosis of renal diseases based on machine learning methods using ultrasound images | |
| Vlaanderen et al. | Low back pain, the stiffness of the sacroiliac joint: a new method using ultrasound |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |