CN117731244A - 一种基于红外热成像的脊柱侧弯风险预警系统 - Google Patents
一种基于红外热成像的脊柱侧弯风险预警系统 Download PDFInfo
- Publication number
- CN117731244A CN117731244A CN202410182961.2A CN202410182961A CN117731244A CN 117731244 A CN117731244 A CN 117731244A CN 202410182961 A CN202410182961 A CN 202410182961A CN 117731244 A CN117731244 A CN 117731244A
- Authority
- CN
- China
- Prior art keywords
- image
- thermal imaging
- infrared thermal
- dimensional
- scoliosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001931 thermography Methods 0.000 title claims abstract description 109
- 206010039722 scoliosis Diseases 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012502 risk assessment Methods 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000010191 image analysis Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000013136 deep learning model Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 238000011002 quantification Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 206010073306 Exposure to radiation Diseases 0.000 description 1
- 206010072610 Skeletal dysplasia Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000008338 local blood flow Effects 0.000 description 1
- 230000007102 metabolic function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明涉及一种基于红外热成像的脊柱侧弯风险预警系统，采用双目红外热成像仪获取背部图像，并通过结构光投射器进行三维校准。系统整合了采集控制与数据处理模块，前者负责图像预处理，后者利用深度学习神经网络模型对热成像图像进行分析。该模型能从二维图像中反演出三维脊柱线并提取二维脊柱特征，进而生成脊柱侧弯风险评价指标。此系统集成了高精度成像、三维重建和智能分析技术，实现了无创、实时的风险评估，有助于早期发现并精准量化脊柱侧弯风险，为医疗诊断与干预提供了先进手段。
Description
技术领域
本发明涉及医疗红外热成像图像分析领域，具体涉及基于红外热成像的脊柱侧弯风险预警系统。
背景技术
随着社会生活节奏加快，脊柱健康问题日益引起人们的关注，其中脊柱侧弯（Scoliosis）是一种常见的、影响青少年及成年人健康的骨骼发育异常疾病。传统的脊柱侧弯检测方法多依赖于X线拍片、CT或MRI等影像学检查手段，虽能直观展示脊柱形态，但存在辐射暴露风险、成本较高以及无法实时监测等问题。
红外热成像技术作为一种非接触、无创的生物医学成像技术，近年来在医疗诊断领域展现出了巨大潜力。它通过捕捉人体表面的红外辐射，能够反映身体各部位的温度分布情况，而脊柱侧弯区域往往伴随有局部血流动力学和代谢功能的改变，这使得红外热成像有可能用于早期发现并评估脊柱侧弯的风险程度。
然而，单一的红外热成像图像受限于其二维特性，难以准确提供脊柱三维空间结构信息。双目红外热成像技术的发展为此提供了新的解决方案，利用视差原理进行立体匹配与三维重建，可以构建出具有深度信息的脊柱模型。此外，结合深度学习等人工智能算法对采集到的红外热成像数据进行分析处理，能够从复杂的热图像中提取关键特征，实现对脊柱侧弯风险的精准量化评估。
发明内容
设计了一种基于红外热成像技术的脊柱侧弯风险预警系统，结合双目成像、图像校准、三维反演和深度学习分析等先进技术，旨在提高脊柱侧弯的早期检测准确率和诊疗效率，为患者提供更为安全、便捷且高效的筛查与监测方案。
本发明提供一种基于红外热成像的脊柱侧弯风险预警系统，包括图像采集模块、采集控制模块和数据处理模块；
图像采集模块连接采集控制模块和数据处理模块；
图像采集模块包括双目红外热成像仪，双目红外热成像仪用于获取患者背部热成像图像，并将图像发送至采集控制模块；
采集控制模块设置图像预处理模块，对图像进行预处理，并将预处理前后的图像发送至数据处理模块；
采集控制模块将预处理前后的热成像图像发送至数据处理模块，数据处理模块设置有图像分析模型，图像分析模型为基于深度学习的神经网络模型，对图像进行分析获取脊柱侧弯风险评价指标。
双目红外热成像仪设置有热成像传感器和位移驱动模块，热成像传感器的数量为两个；位移驱动模块设置在热成像传感器的底部，并带动热成像传感器移动；
双目红外热成像仪上设置有结构光投射器，结构光投射器发出网格光，网格光的波长为可见光波段，且网格光投射器的投射范围与热成像传感器的成像范围相同，两个热成像传感器共用一个结构光投射器。
双目红外热成像仪采集网格光投射器投射的到患者背部的网格光图像，并将图像发送至采集控制模块；每个热成像传感器采集一张网格光图像，共采集两张网格光图像；采集控制模块将网格光图像进行保存，并基于网格光图像对双目红外热成像图像进行图像校准。
基于网格光图像对双目红外热成像图像进行图像校准具体为：
采集控制模块内存储有标准网格光图像，标准网格光图像即网格光投射到标准平面上所形成的图像；采集控制模块对获取的网格光图像和标准网格光图像之间的偏差进行比较，并获取图像中每一个网格交点的偏移量，从而偏移量矩阵A，偏移量矩阵A中每一个元素对应一个标准网格图像中网格交点的偏移量，该偏移量包括水平偏移量和竖直偏移量；标准网格光图像的网格交点坐标加上偏移量矩阵A中与其对应的元素的偏移量后得到实际获取的网格光图像网格交点坐标；
对偏移量矩阵A内的元素进行元素插值，将偏移量矩阵A的行列数扩展为与采集的红外热成像图像的像素的行列数相等，从而使得每一个红外热成像图像的像素坐标都对应有一个偏移量，得到扩展后的偏移量矩阵B；
将红外热成像图像的像素位置坐标减偏移量矩阵B中对应的元素的偏移量，从而得到该像素在的标准坐标；通过该处理手段对红外热成像图像的全部像素的坐标进行重新排布，从而获得红外热成像标准图像；对两个红外热成像图像均按照上述方式进行校准后完成双目红外热成像图像的图像校准。
标准平面为平行于两个红外热成像传感器之间连线的竖直面，标准网格光图像为在实际检测前采集的将网格光投射到标准平面上所形成的图像。
数据处理模块设置有图像处理子模块和风险分析子模块；
图像处理子模块对图像进行处理，处理过程包括根据红外热成像图像进行三维反演，得到三维脊柱线，还包括对红外热成像图像进行切割、降噪、二值化并提取二维脊柱线；
风险分析子模块内存储有图像分析模型，将三维脊柱线和提取的二维脊柱线输入图像分析模型获得脊柱侧弯风险评价指标。
根据红外热成像图像进行三维反演的方法具体如下：
首先对左右两张预处理前的双目红外热成像图像进行归一化：具体为调节左右两张图像的RGB通道的色阶，将左右两张图像的RGB三个通道的像素的最大值、最小值和平均值相等；
之后识别和提取左右两张图像中关键特征点或强度变化明显的区域；然后采用算法或者人工标记的方式将左右两张图像中的对应特征点进行匹配；
根据匹配成功的特征点，计算左右两张图像间的相对位置差异，计算出每个像素的视差值；
利用三角测距原理，结合相机参数，计算出每一个像素对应的深度值，构建三维点云模型；将温度信息映射到相应的三维空间点上，形成带有温度属性的三维点云；
使用主成分分析方法提取点云数据的主方向，该主方向即为提取的三维脊柱线方向。
对红外热成像图像进行切割、降噪、二值化并提取二维脊柱线的方式具体为：
根据所需分析的区域，将原始红外热成像图像裁剪至包含脊柱部分的小范围图像；
采用中值滤波器或自适应滤波器来消除椒盐噪声和平滑热图像数据；
根据脊柱区域的温度特点设定合适的阈值，高于阈值的像素置为白色，低于阈值的像素置为黑色，或者采用自适应阈值算法，基于局部邻域的统计特性动态调整阈值，对图像进行二值化处理；
在二值化后的图像中识别出脊柱轮廓，并提取其线条特征：应用Canny算子或Sobel算子来找出图像中的边缘，通过区域生长算法来完整地勾勒出脊柱线，利用Hough变换进一步精确提取脊柱的中心线，从而完成提取二维脊柱线。
将三维脊柱线和提取的二维脊柱线输入图像分析模型获得脊柱侧弯风险评价指标具体为：
构建图像分析模型，图像分析模型的输入为三维脊柱线和二维脊柱线，输出为脊柱侧弯风险系数；系数的最大值为1，最小值为0；
将三维脊柱线和二维脊柱线作为输入直接输入图像分析模型，获得脊柱侧弯风险系数。
构建图像分析模型具体为：
基于全连接神经网络、卷积神经网络或长短时记忆网络构建深度学习模型，其能够接受三维数据和二维图形作为输入；
使用均方误差或者逻辑回归的交叉熵损失函数设计损失函数，确保模型预测结果在0到1之间；
使用带有脊柱侧弯风险系数值标签的训练集对模型进行训练，训练过程中，根据验证集的表现调整模型参数，优化模型性能；
训练完成后，在独立的验证集和测试集上评估模型表现。
本发明的有益效果为：
该系统通过捕捉患者背部的红外热成像图像，能够实时、非接触地获取脊柱区域的温度分布信息，有助于在疾病早期阶段发现潜在的脊柱侧弯问题。结合深度学习模型对图像进行分析，能够精确评估脊柱侧弯的风险程度，有利于提前介入治疗，防止病情进一步恶化。
通过双目红外热成像技术实现三维反演，构建带有温度属性的三维脊柱模型，相较于传统的二维影像诊断手段，能提供更直观、立体的脊柱形态信息，有助于医生更准确地判断脊柱侧弯的程度和类型。
利用网格光投射器和位移驱动模块提高图像采集的准确性，同时通过图像校准算法，确保了红外热成像数据的精确度，减少了由于传感器位置变化、环境因素等引起的误差，提高了诊断结果的可靠性。
从图像采集到预处理、再到风险分析，整个过程实现了高度自动化，极大地减轻了医护人员的工作负担，提高了诊疗效率，并且降低了人为操作导致的误判可能性。
此系统可以定期对患者进行无创性检查，便于长期追踪脊柱健康状况的变化，为制定个性化的康复计划和干预措施提供了科学依据，有利于促进患者的康复进程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
附图1为本发明整体架构示意图；
附图2为本发明采集图像时的原理图；
附图3为本发明中图像处理过程的示意图。
其中：1为患者，2为红外热成像传感器。
具体实施方式
实施例1
参见图1至图3，本发明提供一种基于红外热成像的脊柱侧弯风险预警系统，包括图像采集模块、采集控制模块和数据处理模块；
图像采集模块连接采集控制模块和数据处理模块；
图像采集模块包括双目红外热成像仪，双目红外热成像仪用于获取患者背部热成像图像，并将图像发送至采集控制模块；
采集控制模块设置图像预处理模块，对图像进行预处理，并将预处理前后的图像发送至数据处理模块；
采集控制模块将预处理前后的热成像图像发送至数据处理模块，数据处理模块设置有图像分析模型，图像分析模型为基于深度学习的神经网络模型，对图像进行分析获取脊柱侧弯风险评价指标。
双目红外热成像仪设置有热成像传感器和位移驱动模块，热成像传感器的数量为两个；位移驱动模块设置在热成像传感器的底部，并带动热成像传感器移动；
双目红外热成像仪上设置有结构光投射器，结构光投射器发出网格光，网格光的波长为可见光波段，且网格光投射器的投射范围与热成像传感器的成像范围相同，两个热成像传感器共用一个结构光投射器。
双目红外热成像仪采集网格光投射器投射的到患者背部的网格光图像，并将图像发送至采集控制模块；每个热成像传感器采集一张网格光图像，共采集两张网格光图像；采集控制模块将网格光图像进行保存，并基于网格光图像对双目红外热成像图像进行图像校准。
基于网格光图像对双目红外热成像图像进行图像校准具体为：
采集控制模块内存储有标准网格光图像，标准网格光图像即网格光投射到标准平面上所形成的图像；采集控制模块对获取的网格光图像和标准网格光图像之间的偏差进行比较，并获取图像中每一个网格交点的偏移量，从而偏移量矩阵A，偏移量矩阵A中每一个元素对应一个标准网格图像中网格交点的偏移量，该偏移量包括水平偏移量和竖直偏移量；标准网格光图像的网格交点坐标加上偏移量矩阵A中与其对应的元素的偏移量后得到实际获取的网格光图像网格交点坐标；
对偏移量矩阵A内的元素进行元素插值，将偏移量矩阵A的行列数扩展为与采集的红外热成像图像的像素的行列数相等，从而使得每一个红外热成像图像的像素坐标都对应有一个偏移量，得到扩展后的偏移量矩阵B；
将红外热成像图像的像素位置坐标减偏移量矩阵B中对应的元素的偏移量，从而得到该像素在的标准坐标；通过该处理手段对红外热成像图像的全部像素的坐标进行重新排布，从而获得红外热成像标准图像；对两个红外热成像图像均按照上述方式进行校准后完成双目红外热成像图像的图像校准。
标准平面为平行于两个红外热成像传感器之间连线的竖直面，标准网格光图像为在实际检测前采集的将网格光投射到标准平面上所形成的图像。
数据处理模块设置有图像处理子模块和风险分析子模块；
图像处理子模块对图像进行处理，处理过程包括根据红外热成像图像进行三维反演，得到三维脊柱线，还包括对红外热成像图像进行切割、降噪、二值化并提取二维脊柱线；
风险分析子模块内存储有图像分析模型，将三维脊柱线和提取的二维脊柱线输入图像分析模型获得脊柱侧弯风险评价指标。
根据红外热成像图像进行三维反演的方法具体如下：
首先对左右两张预处理前的双目红外热成像图像进行归一化：具体为调节左右两张图像的RGB通道的色阶，将左右两张图像的RGB三个通道的像素的最大值、最小值和平均值相等；
之后识别和提取左右两张图像中关键特征点或强度变化明显的区域；然后采用算法或者人工标记的方式将左右两张图像中的对应特征点进行匹配；
根据匹配成功的特征点，计算左右两张图像间的相对位置差异，计算出每个像素的视差值；
利用三角测距原理，结合相机参数，计算出每一个像素对应的深度值，构建三维点云模型；将温度信息映射到相应的三维空间点上，形成带有温度属性的三维点云；
使用主成分分析方法提取点云数据的主方向，该主方向即为提取的三维脊柱线方向。
对红外热成像图像进行切割、降噪、二值化并提取二维脊柱线的方式具体为：
根据所需分析的区域，将原始红外热成像图像裁剪至包含脊柱部分的小范围图像；
采用中值滤波器或自适应滤波器来消除椒盐噪声和平滑热图像数据；
根据脊柱区域的温度特点设定合适的阈值，高于阈值的像素置为白色，低于阈值的像素置为黑色，或者采用自适应阈值算法，基于局部邻域的统计特性动态调整阈值，对图像进行二值化处理；
在二值化后的图像中识别出脊柱轮廓，并提取其线条特征：应用Canny算子或Sobel算子来找出图像中的边缘，通过区域生长算法来完整地勾勒出脊柱线，利用Hough变换进一步精确提取脊柱的中心线，从而完成提取二维脊柱线。
将三维脊柱线和提取的二维脊柱线输入图像分析模型获得脊柱侧弯风险评价指标具体为：
构建图像分析模型，图像分析模型的输入为三维脊柱线和二维脊柱线，输入时输入一个三维脊柱线和两个二维脊柱线，输出为脊柱侧弯风险系数；系数的最大值为1，最小值为0；
将三维脊柱线和二维脊柱线作为输入直接输入图像分析模型，输入时输入一个三维脊柱线和两个二维脊柱线，获得脊柱侧弯风险系数。
构建图像分析模型具体为：
基于全连接神经网络、卷积神经网络或长短时记忆网络构建深度学习模型，其能够接受三维数据和二维图形作为输入；
使用均方误差或者逻辑回归的交叉熵损失函数设计损失函数，确保模型预测结果在0到1之间；
使用带有脊柱侧弯风险系数值标签的训练集对模型进行训练，训练过程中，根据验证集的表现调整模型参数，优化模型性能；
训练完成后，在独立的验证集和测试集上评估模型表现。
实施例2
本实施例介绍本发明系统的具体使用方法：
1）图像采集与预处理：
使用系统中的双目红外热成像仪对患者背部进行拍摄，获取两张红外热成像图像。同时，双目红外热成像仪上的结构光投射器发射网格光到患者背部，生成网格光图像。
采集前通过位移驱动模块调整热成像传感器的位置以优化图像质量，并确保两个传感器共用的结构光投射器覆盖范围与成像范围一致。
采集控制模块接收并保存双目红外热成像图像以及两张网格光图像，并基于标准网格光图像对所采集的网格光图像进行校准，计算出每个像素的偏移量，应用插值法扩展至整个红外热成像图像大小，从而得到校准后的红外热成像标准图像。
2）图像校准过程：
根据存储的标准网格光图像和实际采集的网格光图像之间的偏差计算偏移量矩阵A；对偏移量矩阵A内的元素进行元素插值，将偏移量矩阵A的行列数扩展为与采集的红外热成像图像的像素的行列数相等，从而使得每一个红外热成像图像的像素坐标都对应有一个偏移量，得到扩展后的偏移量矩阵B；
将红外热成像图像的像素位置坐标减偏移量矩阵B中对应的元素的偏移量，从而得到该像素在的标准坐标；通过该处理手段对红外热成像图像的全部像素的坐标进行重新排布，从而获得红外热成像标准图像；对两个红外热成像图像均按照上述方式进行校准后完成双目红外热成像图像的图像校准。
3）数据处理与分析：
数据处理模块的图像处理子模块首先对校准后的红外热成像图像进行三维反演，通过对左右图像进行归一化、特征点匹配计算视差值，进而构建带有温度属性的三维点云模型，提取三维脊柱线方向。
同时，对图像进行切割、降噪和二值化处理，提取二维脊柱线信息。
将三维脊柱线信息和二维脊柱线信息输入到风险分析子模块内的深度学习神经网络图像分析模型中。
4）脊柱侧弯风险预警：
图像分析模型将结合三维脊柱线和二维脊柱线特征进行分析，输出一个介于0到1之间的脊柱侧弯风险评价指标。
指标越高代表脊柱侧弯的风险越大，医生或系统根据该风险系数为患者提供相应的治疗建议和随访计划。
综上所述，本系统通过一系列精密的图像采集、预处理、校准、反演及分析流程，实现了对脊柱侧弯风险的准确预测和评估，为临床诊断和干预提供了有力的技术支持。
至此，以说明和描述的目的提供上述实施例的描述。不意指穷举或者限制本公开。特定的实施例的单独元件或者特征通常不受到特定的实施例的限制，但是在适用时，即使没有具体地示出或者描述，其可以互换和用于选定的实施例。在许多方面，相同的元件或者特征也可以改变。这种变化不被认为是偏离本公开，并且所有的这种修改意指为包括在本公开的范围内。
提供示例实施例，从而本公开将变得透彻，并且将会完全地将该范围传达至本领域内技术人员。为了透彻理解本公开的实施例，阐明了众多细节，诸如特定零件、装置和方法的示例。显然，对于本领域内技术人员，不需要使用特定的细节，示例实施例可以以许多不同的形式实施，而且两者都不应当解释为限制本公开的范围。在某些示例实施例中，不对公知的工序、公知的装置结构和公知的技术进行详细地描述。
在此，仅为了描述特定的示例实施例的目的使用专业词汇，并且不是意指为限制的目的。除非上下文清楚地作出相反的表示，在此使用的单数形式“一个”和“该”可以意指为也包括复数形式。术语“包括”和“具有”是包括在内的意思，并且因此指定存在所声明的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或额外地具有一个或以上的其他特征、整体、步骤、操作、元件、组件和/或其组合。除非明确地指示了执行的次序，在此描述的该方法步骤、处理和操作不解释为一定需要按照所论述和示出的特定的次序执行。还应当理解的是，可以采用附加的或者可选择的步骤。
Claims (10)
1.一种基于红外热成像的脊柱侧弯风险预警系统，包括图像采集模块、采集控制模块和数据处理模块；其特征在于：
图像采集模块连接采集控制模块和数据处理模块；
图像采集模块包括双目红外热成像仪，双目红外热成像仪用于获取患者背部热成像图像，并将图像发送至采集控制模块；
采集控制模块设置图像预处理模块，对图像进行预处理，并将预处理前后的图像发送至数据处理模块；
采集控制模块将预处理前后的热成像图像发送至数据处理模块，数据处理模块设置有图像分析模型，图像分析模型为基于深度学习的神经网络模型，对图像进行分析获取脊柱侧弯风险评价指标。
2.根据权利要求1所述的基于红外热成像的脊柱侧弯风险预警系统，其特征在于：
双目红外热成像仪设置有热成像传感器和位移驱动模块，热成像传感器的数量为两个；位移驱动模块设置在热成像传感器的底部，并带动热成像传感器移动；
双目红外热成像仪上设置有结构光投射器，结构光投射器发出网格光，网格光的波长为可见光波段，且网格光投射器的投射范围与热成像传感器的成像范围相同，两个热成像传感器共用一个结构光投射器。
3.根据权利要求2所述的基于红外热成像的脊柱侧弯风险预警系统，其特征在于：
双目红外热成像仪采集网格光投射器投射的到患者背部的网格光图像，并将图像发送至采集控制模块；每个热成像传感器采集一张网格光图像，共采集两张网格光图像；采集控制模块将网格光图像进行保存，并基于网格光图像对双目红外热成像图像进行图像校准。
4.根据权利要求3所述的基于红外热成像的脊柱侧弯风险预警系统，其特征在于：
基于网格光图像对双目红外热成像图像进行图像校准具体为：
采集控制模块内存储有标准网格光图像，标准网格光图像即网格光投射到标准平面上所形成的图像；采集控制模块对获取的网格光图像和标准网格光图像之间的偏差进行比较，并获取图像中每一个网格交点的偏移量，从而偏移量矩阵A，偏移量矩阵A中每一个元素对应一个标准网格图像中网格交点的偏移量，该偏移量包括水平偏移量和竖直偏移量；标准网格光图像的网格交点坐标加上偏移量矩阵A中与其对应的元素的偏移量后得到实际获取的网格光图像网格交点坐标；
对偏移量矩阵A内的元素进行元素插值，将偏移量矩阵A的行列数扩展为与采集的红外热成像图像的像素的行列数相等，从而使得每一个红外热成像图像的像素坐标都对应有一个偏移量，得到扩展后的偏移量矩阵B；
将红外热成像图像的像素位置坐标减偏移量矩阵B中对应的元素的偏移量，从而得到该像素在的标准坐标；通过该处理手段对红外热成像图像的全部像素的坐标进行重新排布，从而获得红外热成像标准图像；对两个红外热成像图像均进行校准后完成双目红外热成像图像的图像校准。
5.根据权利要求4所述的基于红外热成像的脊柱侧弯风险预警系统，其特征在于：
标准平面为平行于两个红外热成像传感器之间连线的竖直面，标准网格光图像为在实际检测前采集的将网格光投射到标准平面上所形成的图像。
6.根据权利要求4所述的基于红外热成像的脊柱侧弯风险预警系统，其特征在于：
数据处理模块设置有图像处理子模块和风险分析子模块；
图像处理子模块对图像进行处理，处理过程包括根据红外热成像图像进行三维反演，得到三维脊柱线，还包括对红外热成像图像进行切割、降噪、二值化并提取二维脊柱线；
风险分析子模块内存储有图像分析模型，将三维脊柱线和提取的二维脊柱线输入图像分析模型获得脊柱侧弯风险评价指标。
7.根据权利要求6所述的基于红外热成像的脊柱侧弯风险预警系统，其特征在于：
根据红外热成像图像进行三维反演的方法具体如下：
首先对左右两张预处理前的双目红外热成像图像进行归一化：具体为调节左右两张图像的RGB通道的色阶，将左右两张图像的RGB三个通道的像素的最大值、最小值和平均值相等；
之后识别和提取左右两张图像中关键特征点或强度变化明显的区域；然后采用算法或者人工标记的方式将左右两张图像中的对应特征点进行匹配；
根据匹配成功的特征点，计算左右两张图像间的相对位置差异，计算出每个像素的视差值；
利用三角测距原理，结合相机参数，计算出每一个像素对应的深度值，构建三维点云模型；将温度信息映射到相应的三维空间点上，形成带有温度属性的三维点云；
使用主成分分析方法提取点云数据的主方向，该主方向即为提取的三维脊柱线方向。
8.根据权利要求7所述的基于红外热成像的脊柱侧弯风险预警系统，其特征在于：
对红外热成像图像进行切割、降噪、二值化并提取二维脊柱线的方式具体为：
根据所需分析的区域，将原始红外热成像图像裁剪至包含脊柱部分的小范围图像；
采用中值滤波器或自适应滤波器来消除椒盐噪声和平滑热图像数据；
根据脊柱区域的温度特点设定合适的阈值，高于阈值的像素置为白色，低于阈值的像素置为黑色，或者采用自适应阈值算法，基于局部邻域的统计特性动态调整阈值，对图像进行二值化处理；
在二值化后的图像中识别出脊柱轮廓，并提取其线条特征：应用Canny算子或Sobel算子来找出图像中的边缘，通过区域生长算法来完整地勾勒出脊柱线，利用Hough变换进一步精确提取脊柱的中心线，从而完成提取二维脊柱线。
9.根据权利要求8所述的基于红外热成像的脊柱侧弯风险预警系统，其特征在于：
将三维脊柱线和提取的二维脊柱线输入图像分析模型获得脊柱侧弯风险评价指标具体为：
构建图像分析模型，图像分析模型的输入为三维脊柱线和二维脊柱线，输出为脊柱侧弯风险系数；系数的最大值为1，最小值为0；
将三维脊柱线和二维脊柱线作为输入直接输入图像分析模型，获得脊柱侧弯风险系数。
10.根据权利要求9所述的基于红外热成像的脊柱侧弯风险预警系统，其特征在于：
构建图像分析模型具体为：
基于全连接神经网络、卷积神经网络或长短时记忆网络构建深度学习模型，其能够接受三维数据和二维图形作为输入；
使用均方误差或者逻辑回归的交叉熵损失函数设计损失函数，确保模型预测结果在0到1之间；
使用带有脊柱侧弯风险系数值标签的训练集对模型进行训练，训练过程中，根据验证集的表现调整模型参数，优化模型性能；
训练完成后，在独立的验证集和测试集上评估模型表现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410182961.2A CN117731244B (zh) | 2024-02-19 | 2024-02-19 | 一种基于红外热成像的脊柱侧弯风险预警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410182961.2A CN117731244B (zh) | 2024-02-19 | 2024-02-19 | 一种基于红外热成像的脊柱侧弯风险预警系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117731244A true CN117731244A (zh) | 2024-03-22 |
| CN117731244B CN117731244B (zh) | 2024-05-10 |
Family
ID=90254883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410182961.2A Active CN117731244B (zh) | 2024-02-19 | 2024-02-19 | 一种基于红外热成像的脊柱侧弯风险预警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117731244B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101470080A (zh) * | 2007-12-26 | 2009-07-01 | 南京理工大学 | 基于结构光投射的表面形状图象检测系统 |
| KR20130102784A (ko) * | 2012-03-08 | 2013-09-23 | 관동대학교산학협력단 | 척추측만증 진단 시스템 및 척추측만증 진단방법 |
| US20150313566A1 (en) * | 2012-11-23 | 2015-11-05 | Diers Engineering Gmbh | Determining the Spatial Position and Orientation of the Vertebrae in the Spinal Column |
| US20170325687A1 (en) * | 2014-10-30 | 2017-11-16 | Bae Systems Information And Electronic Systems Integration Inc. | Three-dimensional thermal imaging for medical applications |
| JP2018068362A (ja) * | 2016-10-24 | 2018-05-10 | 株式会社エーアンドエーシステム | 測定装置、及び測定方法 |
| KR101863648B1 (ko) * | 2017-01-11 | 2018-06-04 | 대양의료기(주) | 척추 측만 정도 측정 장치 및 방법 |
| CN109480788A (zh) * | 2018-09-11 | 2019-03-19 | 广州市妇女儿童医疗中心 | 一种人体皮肤表皮与皮下肌肉层三维红外热成像检测方法 |
| CN111524083A (zh) * | 2020-05-07 | 2020-08-11 | 桂林电子科技大学 | 基于结构光的主被动相结合水下对空成像图像恢复方法 |
| CN114081471A (zh) * | 2021-11-11 | 2022-02-25 | 宜宾显微智能科技有限公司 | 一种基于三维图像与多层感知的脊柱侧弯cobb角测量方法 |
| KR20220057321A (ko) * | 2020-10-29 | 2022-05-09 | 이희공 | 구조광 3차원 스캐닝을 위한 캘리브레이션 방법 및 그 시스템 |
| CN114767067A (zh) * | 2022-04-20 | 2022-07-22 | 深圳市辰未时光科技有限公司 | 一种用于脊柱侧弯类型识别智能影像检测设备 |
| US20220378365A1 (en) * | 2019-12-17 | 2022-12-01 | Emma Ruccio | Method and Apparatus for Detecting Scoliosis |
| CN116807452A (zh) * | 2023-06-21 | 2023-09-29 | 中科融合感知智能研究院(苏州工业园区)有限公司 | 一种脊柱侧弯3d检测方法、系统、设备及介质 |
-
2024
- 2024-02-19 CN CN202410182961.2A patent/CN117731244B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101470080A (zh) * | 2007-12-26 | 2009-07-01 | 南京理工大学 | 基于结构光投射的表面形状图象检测系统 |
| KR20130102784A (ko) * | 2012-03-08 | 2013-09-23 | 관동대학교산학협력단 | 척추측만증 진단 시스템 및 척추측만증 진단방법 |
| US20150313566A1 (en) * | 2012-11-23 | 2015-11-05 | Diers Engineering Gmbh | Determining the Spatial Position and Orientation of the Vertebrae in the Spinal Column |
| US20170325687A1 (en) * | 2014-10-30 | 2017-11-16 | Bae Systems Information And Electronic Systems Integration Inc. | Three-dimensional thermal imaging for medical applications |
| JP2018068362A (ja) * | 2016-10-24 | 2018-05-10 | 株式会社エーアンドエーシステム | 測定装置、及び測定方法 |
| KR101863648B1 (ko) * | 2017-01-11 | 2018-06-04 | 대양의료기(주) | 척추 측만 정도 측정 장치 및 방법 |
| CN109480788A (zh) * | 2018-09-11 | 2019-03-19 | 广州市妇女儿童医疗中心 | 一种人体皮肤表皮与皮下肌肉层三维红外热成像检测方法 |
| US20220378365A1 (en) * | 2019-12-17 | 2022-12-01 | Emma Ruccio | Method and Apparatus for Detecting Scoliosis |
| CN111524083A (zh) * | 2020-05-07 | 2020-08-11 | 桂林电子科技大学 | 基于结构光的主被动相结合水下对空成像图像恢复方法 |
| KR20220057321A (ko) * | 2020-10-29 | 2022-05-09 | 이희공 | 구조광 3차원 스캐닝을 위한 캘리브레이션 방법 및 그 시스템 |
| CN114081471A (zh) * | 2021-11-11 | 2022-02-25 | 宜宾显微智能科技有限公司 | 一种基于三维图像与多层感知的脊柱侧弯cobb角测量方法 |
| CN114767067A (zh) * | 2022-04-20 | 2022-07-22 | 深圳市辰未时光科技有限公司 | 一种用于脊柱侧弯类型识别智能影像检测设备 |
| CN116807452A (zh) * | 2023-06-21 | 2023-09-29 | 中科融合感知智能研究院(苏州工业园区)有限公司 | 一种脊柱侧弯3d检测方法、系统、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| WANG Y， ET AL: "Detection of cervical vertebrae from infrared thermal imaging based on improved Yolo v3", CSSE2022：2022 5TH INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND SOFTWARE ENGINEERING, 23 October 2022 (2022-10-23), pages 312 - 8 * |
| 王磊，等: "基于深感光学对脊柱侧凸筛查的摄影测量技术", 中国医疗设备, vol. 38, no. 11, 30 November 2023 (2023-11-30) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117731244B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200268339A1 (en) | System and method for patient positioning | |
| CN107909622B (zh) | 模型生成方法、医学成像的扫描规划方法及医学成像系统 | |
| US11576578B2 (en) | Systems and methods for scanning a patient in an imaging system | |
| Bhalodia et al. | DeepSSM: a deep learning framework for statistical shape modeling from raw images | |
| CN114820494B (zh) | 用于可视化流动的使用机器学习的散斑对比度分析 | |
| US11257213B2 (en) | Tumor boundary reconstruction using hyperspectral imaging | |
| US20190311478A1 (en) | System and Method for Automatic Detection, Localization, and Semantic Segmentation of Anatomical Objects | |
| Ryan et al. | Registration of digital retinal images using landmark correspondence by expectation maximization | |
| CN105027163A (zh) | 扫描区域确定装置 | |
| US20180182091A1 (en) | Method and system for imaging and analysis of anatomical features | |
| US11779309B2 (en) | Method and system for generating a three-dimensional ultrasound image of a tissue volume from two-dimensional ultrasound images | |
| Reyes et al. | Automatic digital biometry analysis based on depth maps | |
| CN112349391A (zh) | 一种优化肋骨自动标号方法 | |
| WO2021117013A1 (en) | Determination of medical condition risk using thermographic images | |
| Li et al. | BrainK for structural image processing: creating electrical models of the human head | |
| Reddy et al. | Anatomical landmark detection using deep appearance-context network | |
| CN117731244B (zh) | 一种基于红外热成像的脊柱侧弯风险预警系统 | |
| CN115444355B (zh) | 一种内窥镜病变尺寸信息确定方法、电子设备及存储介质 | |
| CN116807452A (zh) | 一种脊柱侧弯3d检测方法、系统、设备及介质 | |
| CN116975779A (zh) | 基于神经网络的口腔全景片特征识别方法、系统及终端 | |
| US20210345945A1 (en) | Detecting spinal shape from optical scan | |
| WO2023036243A1 (en) | Medical devices, methods and systems for monitoring the medical devices | |
| CN117351489B (zh) | 面向全身pet/ct扫描的头颈肿瘤靶区的勾画系统 | |
| CN113781453B (zh) | 一种基于x线片的脊柱侧凸进展预测及方法和装置 | |
| CN114882098B (zh) | 生物体的特定区域的面积测量方法、系统和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |