CN117854700A - 基于可穿戴监控设备的术后管理方法和系统 - Google Patents
基于可穿戴监控设备的术后管理方法和系统 Download PDFInfo
- Publication number
- CN117854700A CN117854700A CN202410079502.1A CN202410079502A CN117854700A CN 117854700 A CN117854700 A CN 117854700A CN 202410079502 A CN202410079502 A CN 202410079502A CN 117854700 A CN117854700 A CN 117854700A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- pixel
- wearable monitoring
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002980 postoperative effect Effects 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 238000007726 management method Methods 0.000 title claims description 34
- 210000001747 pupil Anatomy 0.000 claims abstract description 58
- 238000012806 monitoring device Methods 0.000 claims abstract description 53
- 210000001525 retina Anatomy 0.000 claims abstract description 47
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 53
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 18
- 208000024891 symptom Diseases 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000011521 glass Substances 0.000 claims description 6
- 210000003128 head Anatomy 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 230000004256 retinal image Effects 0.000 description 14
- 210000001508 eye Anatomy 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000002207 retinal effect Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000017442 Retinal disease Diseases 0.000 description 2
- 206010038923 Retinopathy Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本申请涉及涉及智能穿戴技术领域，具体涉及基于可穿戴监控设备的术后管理方法和系统，方法包括：基于可穿戴监控设备上的多个光学传感器，透过用户的眼睛的瞳孔采集用户的视网膜的多个图像；对多个图像进行合并得到合并图像；将合并图像输入经过训练的卷积神经网络，通过卷积神经网络识别合并图像中是否存在与目标病症匹配的区域；在合并图像中存在与目标病症匹配的区域时，基于用户的信息、目标病症的信息以及合并图像中存在与目标病症匹配的区域生成告警信息，将告警信息发送至预设的服务器。通过本发明的技术方案，能够借助可穿戴监控设备监控做过手术的用户的视网膜情况以分析其病症情况。
Description
技术领域
本发明涉及智能穿戴技术领域，且更为具体地，涉及一种基于可穿戴监控设备的术后管理方法和系统。
背景技术
可穿戴设备即直接穿在身上或是整合到用户的衣服或配件的一种便携式设备，其可以通过软件支持以及数据交互、云端交互来实现强大的功能，可穿戴设备将会对生活、感知带来很大的转变。随着可穿戴设备携带传感器的精度提高，其也逐渐应用到医疗健康领域，对人体的体征数据进行监测。视网膜视部常简称视网膜，为一层柔软而透明的膜，紧贴在眼球脉络膜内面，有感受光刺激的作用。高血压、糖尿病等多种疾病，均能够导致视网膜发生病变，相反观察视网膜的病变情况也成为判断用户，尤其是做过手术的用户的病症演变程度的重要依据。而目前，现有技术方案中还无法借助可穿戴监控设备监控做过手术的用户的视网膜情况以分析其病症情况。
发明内容
为了解决上述技术问题，提出了本申请，以提供一种借助可穿戴监控设备监控做过手术的用户的视网膜情况以分析其病症情况的基于可穿戴监控设备的术后管理方法和系统。
第一方面，本发明提供了一种基于可穿戴监控设备的术后管理方法，包括：基于可穿戴监控设备上的多个光学传感器，透过用户的眼睛的瞳孔采集用户的视网膜的多个图像，其中，所述用户经历用于治疗目标病症的手术，所述可穿戴监控设备为眼镜状，用于佩戴在所述用户的头部，环境光线通过所述可穿戴监控设备上安装的镜片进入所述瞳孔，所述多个光学传感器设置在所述可穿戴监控设备上的不同位置，采集得到的所述多个图像覆盖所述视网膜的区域相互不一致；对所述多个图像进行合并得到合并图像，其中，对所述多个图像中的第i个图像和第j个图像进行合并时，从所述第i个图像中选取第一像素集合，从所述第j个图像选取第二像素集合，所述第一像素集合与所述第二像素集合中的像素一一对应，基于所述第一像素集合为所述第i个图像绘制第一边界，基于所述第二像素集合为所述第j个图像绘制第二边界，将所述第i个图像的所述第一边界与所述第j个图像的第二边界对接，以实现所述第i个图像与所述第j个图像的合并；将所述合并图像输入经过训练的卷积神经网络，通过所述卷积神经网络识别所述合并图像中是否存在与所述目标病症匹配的区域，其中，所述卷积神经网络基于预设的样本图像集合进行训练，所述样本图像为患有所述目标病症的用户群体的视网膜图像，所述样本图像集合上具有标注框，所述标注框用于对所述样本图像集合上的与所述目标病症匹配的区域进行标注；在所述合并图像中存在与所述目标病症匹配的区域时，基于所述用户的信息、所述目标病症的信息以及所述合并图像中存在与所述目标病症匹配的区域生成告警信息，将所述告警信息发送至预设的服务器。
可选地，前述的基于可穿戴监控设备的术后管理方法，“将所述第i个图像的所述第一边界与所述第j个图像的第二边界对接”包括：构建中介曲线，选取第一权重矩阵/>、第一偏置矩阵/>使得所述第一边界对应的曲线/>符合条件，以及选取第二权重矩阵/>、第二偏置矩阵/>使得所述第二边界对应的曲线/>符合条件/>；基于所述第一权重矩阵/>、所述第一偏置矩阵/>对所述第i个图像的每个像素进行转换，使所述第一边界对应的曲线转换为/>，以及基于所述第二权重矩阵/>、所述第二偏置矩阵/>对所述第j个图像的每个像素进行转换，使所述第二边界对应的曲线/>转换为/>；基于转换后的所述第i个图像和所述第j个图像进行合并。
可选地，前述的基于可穿戴监控设备的术后管理方法，“从所述第i个图像中选取第一像素集合，从所述第j个图像选取第二像素集合”包括：从所述第i个图像中取任一点，从所述第j个图像中取任一点/>；计算所述点/>与所述点/>之间的差异/>，其中，/>为所述点/>的像素颜色值，/>为所述点/>的像素颜色值，/>表示以所述第i个图像中以所述点/>为中心的n维像素矩阵，/>表示以所述第i个图像中以所述点/>为中心的n维像素矩阵，n为奇数，/>函数用于计算两个矩阵间的梯度差异；在所述差异/>小于预设的第一阈值时，将所述点/>处的像素置入所述第一像素集合，将所述点/>处的像素置入所述第二像素集合。
可选地，前述的基于可穿戴监控设备的术后管理方法，所述镜片通过调节颜色以控制通过所述镜片的光线的亮度，在“对所述多个图像进行合并得到合并图像”之前，还包括：从所述多个图像中的每个图像中检测所述瞳孔的直径；判断从所述多个图像中检测的所述瞳孔的直径平均值是否高于预设的第二阈值；在从所述多个图像中检测的所述瞳孔的直径平均值高于所述第二阈值时，执行“对所述多个图像进行合并得到合并图像”；在从所述多个图像中检测的所述瞳孔的直径平均值低于所述第二阈值时，调节所述镜片的颜色以降低通过所述镜片的光线的亮度，使所述瞳孔的直径扩大并重新执行“从所述多个图像中的每个图像中检测所述瞳孔的直径”。
可选地，前述的基于可穿戴监控设备的术后管理方法，在“对所述多个图像进行合并得到合并图像”之前，还包括：从所述多个图像中的每个图像中检测所述瞳孔的中心位置；计算从所述多个图像中检测的所述瞳孔的中心位置平均值；判断从所述多个图像中检测的所述瞳孔的中心位置平均值与已记录的历史时刻的瞳孔中心位置平均值的差值是否高于预设的第三阈值；在所述差值高于所述第三阈值时，执行“对所述多个图像进行合并得到合并图像”，并使用从所述多个图像中检测的所述瞳孔的中心位置平均值更新所述已记录的历史时刻的瞳孔中心位置平均值。
可选地，前述的基于可穿戴监控设备的术后管理方法，在“对所述多个图像进行合并得到合并图像”之前，还包括：检测所述多个图像中的每个图像中每个像素的亮度；检测所述多个图像中的每个图像的面积；计算基准像素亮度，其中，/>为所述多个图像中第i个图像的面积，/>为所述第i个图像的所有像素的平均亮度；根据所述基准像素亮度/>对所述多个图像的像素亮度进行调整，其中，对所述第i个图像中每个像素的亮度调整比例为/>。
可选地，前述的基于可穿戴监控设备的术后管理方法，在“根据所述基准亮度对所述多个图像的像素亮度进行调整”之前，还包括：基于所述样本图像集合的像素的平均亮度/>对所述基准像素亮度/>进行修正，则修正后新的基准像素亮度/>，其中，t为样本图像集合中的图像数量。
可选地，前述的基于可穿戴监控设备的术后管理方法，“基于所述用户的信息、所述目标病症的信息以及所述合并图像中存在与所述目标病症匹配的区域生成告警信息”包括：根据所述合并图像中与所述目标病症匹配的区域数量，设置所述告警信息的告警级别；在所述告警信息中标注告警级别后，发送至所述服务器。
第二方面，本发明提供了一种基于可穿戴监控设备的术后管理系统，包括：图像检测模块，基于可穿戴监控设备上的多个光学传感器，透过用户的眼睛的瞳孔采集用户的视网膜的多个图像，其中，所述用户经历用于治疗目标病症的手术，所述可穿戴监控设备为眼镜状，用于佩戴在所述用户的头部，环境光线通过所述可穿戴监控设备上安装的镜片进入所述瞳孔，所述多个光学传感器设置在所述可穿戴监控设备上的不同位置，采集得到的所述多个图像覆盖所述视网膜的区域相互不一致；图像合并模块，对所述多个图像进行合并得到合并图像，其中，对所述多个图像中的第i个图像和第j个图像进行合并时，从所述第i个图像中选取第一像素集合，从所述第j个图像选取第二像素集合，所述第一像素集合与所述第二像素集合中的像素一一对应，基于所述第一像素集合为所述第i个图像绘制第一边界，基于所述第二像素集合为所述第j个图像绘制第二边界，将所述第i个图像的所述第一边界与所述第j个图像的第二边界对接，以实现所述第i个图像与所述第j个图像的合并；图像识别模块，将所述合并图像输入经过训练的卷积神经网络，通过所述卷积神经网络识别所述合并图像中是否存在与所述目标病症匹配的区域，其中，所述卷积神经网络基于预设的样本图像集合进行训练，所述样本图像为患有所述目标病症的用户群体的视网膜图像，所述样本图像集合上具有标注框，所述标注框用于对所述样本图像集合上的与所述目标病症匹配的区域进行标注；告警模块，在所述合并图像中存在与所述目标病症匹配的区域时，基于所述用户的信息、所述目标病症的信息以及所述合并图像中存在与所述目标病症匹配的区域生成告警信息，将所述告警信息发送至预设的服务器。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
通过可穿戴监控设备来采集用户的视网膜图像，最大的困难在于用户的眼睛的瞳孔太小，则透过瞳孔所采集的视网膜图像面积太小，难以用于对手术用户的病症情况进行分析，根据本发明的技术方案，在可穿戴监控设备集成了多个光学传感器，则同时可以采集多个视网膜图像，通过将多个视网膜图像进行图像合并，合并后得到的图像具有足够大的面积，即能够覆盖用户视网膜大面积的区域，此时本发明采用计算机视觉领域应用较多的卷积神经网络对合并后的图像进行分析，能够识别出用户的视网膜图像中是否存在与病症匹配的区域，如发现此类区域则生成报警信息并向外发出，可见通过本发明的技术方案，能够借助可穿戴监控设备监控做过手术的用户的视网膜情况以分析其病症情况。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的一种基于可穿戴监控设备的术后管理方法的流程图；
图2为根据本申请实施例的一种基于可穿戴监控设备的术后管理方法的局部流程图；
图3为根据本申请实施例的一种基于可穿戴监控设备的术后管理方法的另一局部流程图；
图4为根据本申请实施例的一种基于可穿戴监控设备的术后管理方法的又一局部流程图；
图5为根据本申请实施例的一种基于可穿戴监控设备的术后管理方法的局部原理图；
图6为根据本申请实施例的一种基于可穿戴监控设备的术后管理方法的另一局部原理图；
图7为根据本申请实施例的一种基于可穿戴监控设备的术后管理系统的框图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
如图1所示，本发明的一个实施例中提供了一种基于可穿戴监控设备的术后管理方法，包括：
步骤S110，基于可穿戴监控设备上的多个光学传感器，透过用户的眼睛的瞳孔采集用户的视网膜的多个图像，其中，用户经历用于治疗目标病症的手术，可穿戴监控设备为眼镜状，用于佩戴在用户的头部，环境光线通过可穿戴监控设备上安装的镜片进入瞳孔，多个光学传感器设置在可穿戴监控设备上的不同位置，采集得到的多个图像覆盖视网膜的区域相互不一致。
本领域技术人员应当理解，采集用户的视网膜图像时的主要困难在于用户的眼睛的瞳孔太小，则透过瞳孔所采集的视网膜图像面积太小，难以用于对手术用户的病症情况进行分析。本实施例中，通过可穿戴监控设备上的了多个光学传感器同时采集多个视网膜图像，则多个视网膜图像合并后的图像具有足够大的面积，能够覆盖用户视网膜大面积的区域。
步骤S120，对多个图像进行合并得到合并图像，其中，对多个图像中的第i个图像和第j个图像进行合并时，从第i个图像中选取第一像素集合，从第j个图像选取第二像素集合，第一像素集合与第二像素集合中的像素一一对应，基于第一像素集合为第i个图像绘制第一边界，基于第二像素集合为第j个图像绘制第二边界，将第i个图像的第一边界与第j个图像的第二边界对接，以实现第i个图像与第j个图像的合并。
本实施例中，第一像素集合与第二像素集合中的像素一一对应，即表示第一像素集合与第二像素集合中的像素所反映的事物相同，则基于第一像素集合绘制第一边界、基于第二像素集合绘制第二边界，实际上是将第i个图像与第j个图像中反映相同事物的边界线条进行连接，能够使第i个图像与第j个图像实现无缝合并。
步骤S130，将合并图像输入经过训练的卷积神经网络，通过卷积神经网络识别合并图像中是否存在与目标病症匹配的区域，其中，卷积神经网络基于预设的样本图像集合进行训练，样本图像为患有目标病症的用户群体的视网膜图像，样本图像集合上具有标注框，标注框用于对样本图像集合上的与目标病症匹配的区域进行标注。
本实施例中，本领域技术人员应当理解，在人工智能领域，卷积神经网络常用于进行图像识别及分析，对医学图像的识别分析能力也逐渐提升。
步骤S140，在合并图像中存在与目标病症匹配的区域时，基于用户的信息、目标病症的信息以及合并图像中存在与目标病症匹配的区域生成告警信息，将告警信息发送至预设的服务器。
此时还可以根据合并图像中与目标病症匹配的区域数量，设置告警信息的告警级别，在告警信息中标注告警级别后，发送至服务器。
本实施例中，本领域技术人员应当理解，视网膜图形中与病症匹配的区域数量往往与病症严重程度正相关，因此可以根据视网膜图形中与病症匹配的区域数量设置告警信息的告警级别，以对处理该告警信息的人员进行提示。
根据本实施例的技术方案，在可穿戴监控设备集成了多个光学传感器，则同时可以采集多个视网膜图像，通过将多个视网膜图像进行图像合并，合并后得到的图像具有足够大的面积，即能够覆盖用户视网膜大面积的区域，此时本发明采用计算机视觉领域应用较多的卷积神经网络对合并后的图像进行分析，能够识别出用户的视网膜图像中是否存在与病症匹配的区域，如发现此类区域则生成报警信息并向外发出，即本实施例的技术方案能够借助可穿戴监控设备监控做过手术的用户的视网膜情况以分析其病症情况。
如图2所示，本发明的一个实施例中提供了一种基于可穿戴监控设备的术后管理方法，相比于前述的实施例，本实施例的基于可穿戴监控设备的术后管理方法，步骤S120包括：
步骤S210，构建中介曲线，选取第一权重矩阵/>、第一偏置矩阵/>使得第一边界对应的曲线/>符合条件/>，以及选取第二权重矩阵/>、第二偏置矩阵/>使得第二边界对应的曲线/>符合条件/>。
由于不同光学传感器采集视网膜图像的角度不同，因此采集得到的图像相对于真实的视网膜情况发生不同程度上的形变，导致在第i个图像上绘制的第一边界与在第j个图像上绘制的第二边界存在线条形状不匹配的情况，影响两个图像实现无缝合并。本实施例中，为第一边界的曲线和第二边界的曲线选取了一条中介曲线，即借助权重矩阵、偏置矩阵，第一边界的曲线和二边界的曲线均能够转换为该中介曲线，从而实现第一边界与第二边界的无缝合并。
步骤S220，基于第一权重矩阵、第一偏置矩阵/>对第i个图像的每个像素进行转换，使第一边界对应的曲线/>转换为/>，以及基于第二权重矩阵/>、第二偏置矩阵/>对第j个图像的每个像素进行转换，使第二边界对应的曲线/>转换为/>。
步骤S230，基于转换后的第i个图像和第j个图像进行合并。
根据本实施例的技术方案，基于计算得到的权重矩阵、偏置矩阵对第i个图像、第j个图像的每个像素均做了转换，实际上是消除了第i个图像、第j个图像在采集过程中发生的形变，从而使得第i个图像、第j个图像更接近视网膜的真实情况，更适于进行无缝合并。
如图3所示，本发明的一个实施例中提供了一种基于可穿戴监控设备的术后管理方法，相比于前述的实施例，本实施例的基于可穿戴监控设备的术后管理方法，步骤S120包括：
步骤S310，从第i个图像中取任一点，从第j个图像中取任一点/>。
本实施例的技术方案，旨在从第i个图像以及第j个图像发现反映同一事物的像素集合。
步骤S320，计算点与点/>之间的差异，其中，/>为点/>的像素颜色值，/>为点/>的像素颜色值，/>表示以第i个图像中以点为中心的n维像素矩阵，/>表示以第i个图像中以点/>为中心的n维像素矩阵，n为奇数，/>函数用于计算两个矩阵间的梯度差异。
本领域技术人员应当理解，反映同一事物的像素一方面在颜色上接近，另一方面在结构上接近，因此本实施例的技术方案提出了一种判断两点像素是否反映同一事物的公式，在考虑到了两点像素颜色差距的同时，还借助梯度计算函数计算出两点像素的结构差异，能够准确识别两点像素是否互相匹配，即反映同一事物。
步骤S330，在差异小于预设的第一阈值时，将点/>处的像素置入第一像素集合，将点/>处的像素置入第二像素集合。
根据本实施例的技术方案，第来源于第i个图像以及第j个图像的两点像素做了充分比较，以准确判断两点像素是否互相匹配，即反映同一事物。
如图4所示，本发明的一个实施例中提供了一种基于可穿戴监控设备的术后管理方法，相比于前述的实施例，本实施例的基于可穿戴监控设备的术后管理方法，镜片通过调节颜色以控制通过镜片的光线的亮度，在步骤S120之前，还包括：
步骤S410，从多个图像中的每个图像中检测瞳孔的直径。
步骤S420，判断从多个图像中检测的瞳孔的直径平均值是否高于预设的第二阈值。
步骤S430，在从多个图像中检测的瞳孔的直径平均值高于第二阈值时，执行步骤S120，即对多个图像进行合并得到合并图像。
根据本实施例的技术方案，当用户瞳孔的直径较大时，此时透过瞳孔采集的视网膜区域也较大，可以有效地合并成为面积更大的合并图像。
步骤S440，在从多个图像中检测的瞳孔的直径平均值低于第二阈值时，调节镜片的颜色以降低通过镜片的光线的亮度，使瞳孔的直径扩大并重新执行步骤S410，即从多个图像中的每个图像中检测瞳孔的直径。
根据本实施例的技术方案，当用户瞳孔的直径较小时，此时透过瞳孔采集的视网膜区域也较小，而较小的视网膜图像相互之间重叠的区域较小或不存在，导致采集的视网膜图像无法合并成面积足够大且连贯、适于分析的合并图像，此时调节镜片的颜色使用户的瞳孔放大，从而扩大透过瞳孔所能够采集的图像。
如图5所示，本发明的一个实施例中提供了一种基于可穿戴监控设备的术后管理方法，相比于前述的实施例，本实施例的基于可穿戴监控设备的术后管理方法，在步骤S120之前，还包括：
步骤S510，从多个图像中的每个图像中检测瞳孔的中心位置。
步骤S520，计算从多个图像中检测的瞳孔的中心位置平均值。
步骤S530，判断从多个图像中检测的瞳孔的中心位置平均值与已记录的历史时刻的瞳孔中心位置平均值的差值是否高于预设的第三阈值。
根据本实施例的技术方案，当本次检测到的瞳孔中心位置与历史时刻的瞳孔中心位置相距较小时，说明用户的眼球未发生明显运动，此时采集的图像与历史时刻采集的图像接近，此时不需合并图像并进行分析。
步骤S540，在差值高于第三阈值时，执行步骤S120，并使用从多个图像中检测的瞳孔的中心位置平均值更新已记录的历史时刻的瞳孔中心位置平均值。
根据本实施例的技术方案，当本次检测到的瞳孔中心位置与历史时刻的瞳孔中心位置相距较大时，说明用户的眼球已发生明显运动，此时采集的图像与历史时刻采集的图像差距较大，此时应当合并图像并进行病症分析。
如图6所示，本发明的一个实施例中提供了一种基于可穿戴监控设备的术后管理方法，相比于前述的实施例，本实施例的基于可穿戴监控设备的术后管理方法，在步骤S120之前，还包括：
步骤S610，检测多个图像中的每个图像中每个像素的亮度。
步骤S620，检测多个图像中的每个图像的面积。
步骤S630，计算基准像素亮度，其中，/>为多个图像中第i个图像的面积，/>为第i个图像的所有像素的平均亮度。
本实施例中，通过不同光学传感器采集的图像在亮度上往往有所差异，存在亮度差异的图像合并后不利于进行图像分析，因此本实施例的技术方案中提出了上述公式，相比于现有技术方案中计算平均亮度的方式，还考虑了不同图像的面积差异，使得确定的基准像素亮度更接近面积最大的图像像素平均亮度，则调节图像像素亮度时面积最大的图像调整幅度最小，有利于减少像素亮度调节的工作量。
步骤S640，基于样本图像集合的像素的平均亮度对基准像素亮度/>进行修正，则修正后新的基准像素亮度/>，其中，t为样本图像集合中的图像数量。
本实施例中，还借助样本图像集合的像素的平均亮度对基准像素亮度进行修正，使得基准像素亮度向样本图像集合的像素的平均亮度倾斜，而样本图像集合中的图像数量一定程度上反映了样本图像集合的像素亮度等特征的普遍程度，因此本实施例的技术方案根据样本图像集合中的图像数量控制基准像素亮度向样本图像集合的像素的平均亮度倾斜的程度，使得最终确定的基准像素亮度更加合理。
步骤S650，根据基准像素亮度对多个图像的像素亮度进行调整，其中，对第i个图像中每个像素的亮度调整比例为/>。
根据本实施例的技术方案，综合不同图像的像素亮度计算得到了基准像素亮度，基于该基准像素亮度对不同图像的像素亮度进行调整，有利于保证合并后得到的合并图像的像素亮度更加平滑、合理，有利于输入卷积神经网络进行分析识别。
如图7所示，本发明的一个实施例中提供了一种基于可穿戴监控设备的术后管理系统，包括：
图像检测模块710，基于可穿戴监控设备上的多个光学传感器，透过用户的眼睛的瞳孔采集用户的视网膜的多个图像，其中，用户经历用于治疗目标病症的手术，可穿戴监控设备为眼镜状，用于佩戴在用户的头部，环境光线通过可穿戴监控设备上安装的镜片进入瞳孔，多个光学传感器设置在可穿戴监控设备上的不同位置，采集得到的多个图像覆盖视网膜的区域相互不一致。
本领域技术人员应当理解，采集用户的视网膜图像时的主要困难在于用户的眼睛的瞳孔太小，则透过瞳孔所采集的视网膜图像面积太小，难以用于对手术用户的病症情况进行分析。本实施例中，通过可穿戴监控设备上的了多个光学传感器同时采集多个视网膜图像，则多个视网膜图像合并后的图像具有足够大的面积，能够覆盖用户视网膜大面积的区域。
图像合并模块720，对多个图像进行合并得到合并图像，其中，对多个图像中的第i个图像和第j个图像进行合并时，从第i个图像中选取第一像素集合，从第j个图像选取第二像素集合，第一像素集合与第二像素集合中的像素一一对应，基于第一像素集合为第i个图像绘制第一边界，基于第二像素集合为第j个图像绘制第二边界，将第i个图像的第一边界与第j个图像的第二边界对接，以实现第i个图像与第j个图像的合并。
本实施例中，第一像素集合与第二像素集合中的像素一一对应，即表示第一像素集合与第二像素集合中的像素所反映的事物相同，则基于第一像素集合绘制第一边界、基于第二像素集合绘制第二边界，实际上是将第i个图像与第j个图像中反映相同事物的边界线条进行连接，能够使第i个图像与第j个图像实现无缝合并。
图像识别模块730，将合并图像输入经过训练的卷积神经网络，通过卷积神经网络识别合并图像中是否存在与目标病症匹配的区域，其中，卷积神经网络基于预设的样本图像集合进行训练，样本图像为患有目标病症的用户群体的视网膜图像，样本图像集合上具有标注框，标注框用于对样本图像集合上的与目标病症匹配的区域进行标注。
本实施例中，本领域技术人员应当理解，在人工智能领域，卷积神经网络常用于进行图像识别及分析，对医学图像的识别分析能力也逐渐提升。
告警模块740，在合并图像中存在与目标病症匹配的区域时，基于用户的信息、目标病症的信息以及合并图像中存在与目标病症匹配的区域生成告警信息，将告警信息发送至预设的服务器。
此时还可以根据合并图像中与目标病症匹配的区域数量，设置告警信息的告警级别，在告警信息中标注告警级别后，发送至服务器。
本实施例中，本领域技术人员应当理解，视网膜图形中与病症匹配的区域数量往往与病症严重程度正相关，因此可以根据视网膜图形中与病症匹配的区域数量设置告警信息的告警级别，以对处理该告警信息的人员进行提示。
根据本实施例的技术方案，在可穿戴监控设备集成了多个光学传感器，则同时可以采集多个视网膜图像，通过将多个视网膜图像进行图像合并，合并后得到的图像具有足够大的面积，即能够覆盖用户视网膜大面积的区域，此时本发明采用计算机视觉领域应用较多的卷积神经网络对合并后的图像进行分析，能够识别出用户的视网膜图像中是否存在与病症匹配的区域，如发现此类区域则生成报警信息并向外发出，即本实施例的技术方案能够借助可穿戴监控设备监控做过手术的用户的视网膜情况以分析其病症情况。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (9)
1.一种基于可穿戴监控设备的术后管理方法，其特征在于，包括：
基于可穿戴监控设备上的多个光学传感器，透过用户的眼睛的瞳孔采集用户的视网膜的多个图像，其中，所述用户经历用于治疗目标病症的手术，所述可穿戴监控设备为眼镜状，用于佩戴在所述用户的头部，环境光线通过所述可穿戴监控设备上安装的镜片进入所述瞳孔，所述多个光学传感器设置在所述可穿戴监控设备上的不同位置，采集得到的所述多个图像覆盖所述视网膜的区域相互不一致；
对所述多个图像进行合并得到合并图像，其中，对所述多个图像中的第i个图像和第j个图像进行合并时，从所述第i个图像中选取第一像素集合，从所述第j个图像选取第二像素集合，所述第一像素集合与所述第二像素集合中的像素一一对应，基于所述第一像素集合为所述第i个图像绘制第一边界，基于所述第二像素集合为所述第j个图像绘制第二边界，将所述第i个图像的所述第一边界与所述第j个图像的第二边界对接，以实现所述第i个图像与所述第j个图像的合并；
将所述合并图像输入经过训练的卷积神经网络，通过所述卷积神经网络识别所述合并图像中是否存在与所述目标病症匹配的区域，其中，所述卷积神经网络基于预设的样本图像集合进行训练，所述样本图像为患有所述目标病症的用户群体的视网膜图像，所述样本图像集合上具有标注框，所述标注框用于对所述样本图像集合上的与所述目标病症匹配的区域进行标注；
在所述合并图像中存在与所述目标病症匹配的区域时，基于所述用户的信息、所述目标病症的信息以及所述合并图像中存在与所述目标病症匹配的区域生成告警信息，将所述告警信息发送至预设的服务器。
2.根据权利要求1所述的基于可穿戴监控设备的术后管理方法，其特征在于，将所述第i个图像的所述第一边界与所述第j个图像的第二边界对接包括：
构建中介曲线，选取第一权重矩阵/>、第一偏置矩阵/>使得所述第一边界对应的曲线/>符合条件/>，以及选取第二权重矩阵、第二偏置矩阵/>使得所述第二边界对应的曲线/>符合条件；
基于所述第一权重矩阵、所述第一偏置矩阵/>对所述第i个图像的每个像素进行转换，使所述第一边界对应的曲线/>转换为/>，以及基于所述第二权重矩阵/>、所述第二偏置矩阵/>对所述第/>个图像的每个像素进行转换，使所述第二边界对应的曲线/>转换为/>；
基于转换后的所述第i个图像和所述第j个图像进行合并。
3.根据权利要求2所述的基于可穿戴监控设备的术后管理方法，其特征在于，从所述第i个图像中选取第一像素集合，从所述第j个图像选取第二像素集合包括：
从所述第i个图像中取任一点，从所述第j个图像中取任一点/>；
计算所述点与所述点/>之间的差异，其中，/>为所述点的像素颜色值，/>为所述点/>的像素颜色值，表示以所述第i个图像中以所述点/>为中心的n维像素矩阵，表示以所述第i个图像中以所述点/>为中心的n维像素矩阵，n为奇数，/>函数用于计算两个矩阵间的梯度差异；
在所述差异小于预设的第一阈值时，将所述点/>处的像素置入所述第一像素集合，将所述点/>处的像素置入所述第二像素集合。
4.根据权利要求1所述的基于可穿戴监控设备的术后管理方法，其特征在于，所述镜片通过调节颜色以控制通过所述镜片的光线的亮度，在对所述多个图像进行合并得到合并图像之前，还包括：
从所述多个图像中的每个图像中检测所述瞳孔的直径；
判断从所述多个图像中检测的所述瞳孔的直径平均值是否高于预设的第二阈值；
在从所述多个图像中检测的所述瞳孔的直径平均值高于所述第二阈值时，执行对所述多个图像进行合并得到合并图像；
在从所述多个图像中检测的所述瞳孔的直径平均值低于所述第二阈值时，调节所述镜片的颜色以降低通过所述镜片的光线的亮度，使所述瞳孔的直径扩大并重新执行从所述多个图像中的每个图像中检测所述瞳孔的直径。
5.根据权利要求1所述的基于可穿戴监控设备的术后管理方法，其特征在于，在对所述多个图像进行合并得到合并图像之前，还包括：
从所述多个图像中的每个图像中检测所述瞳孔的中心位置；
计算从所述多个图像中检测的所述瞳孔的中心位置平均值；
判断从所述多个图像中检测的所述瞳孔的中心位置平均值与已记录的历史时刻的瞳孔中心位置平均值的差值是否高于预设的第三阈值；
在所述差值高于所述第三阈值时，执行对所述多个图像进行合并得到合并图像，并使用从所述多个图像中检测的所述瞳孔的中心位置平均值更新所述已记录的历史时刻的瞳孔中心位置平均值。
6.根据权利要求1所述的基于可穿戴监控设备的术后管理方法，其特征在于，在对所述多个图像进行合并得到合并图像之前，还包括：
检测所述多个图像中的每个图像中每个像素的亮度；
检测所述多个图像中的每个图像的面积；
计算基准像素亮度，其中，/>为所述多个图像中第i个图像的面积，为所述第i个图像的所有像素的平均亮度；
根据所述基准像素亮度对所述多个图像的像素亮度进行调整，其中，对所述第i个图像中每个像素的亮度调整比例为/>。
7.根据权利要求6所述的基于可穿戴监控设备的术后管理方法，其特征在于，在根据所述基准亮度对所述多个图像的像素亮度进行调整之前，还包括：
基于所述样本图像集合的像素的平均亮度对所述基准像素亮度/>进行修正，则修正后新的基准像素亮度/>，其中，t为样本图像集合中的图像数量。
8.根据权利要求1所述的基于可穿戴监控设备的术后管理方法，其特征在于，基于所述用户的信息、所述目标病症的信息以及所述合并图像中存在与所述目标病症匹配的区域生成告警信息包括：
根据所述合并图像中与所述目标病症匹配的区域数量，设置所述告警信息的告警级别；
在所述告警信息中标注告警级别后，发送至所述服务器。
9.一种基于可穿戴监控设备的术后管理系统，其特征在于，包括：
图像检测模块，基于可穿戴监控设备上的多个光学传感器，透过用户的眼睛的瞳孔采集用户的视网膜的多个图像，其中，所述用户经历用于治疗目标病症的手术，所述可穿戴监控设备为眼镜状，用于佩戴在所述用户的头部，环境光线通过所述可穿戴监控设备上安装的镜片进入所述瞳孔，所述多个光学传感器设置在所述可穿戴监控设备上的不同位置，采集得到的所述多个图像覆盖所述视网膜的区域相互不一致；
图像合并模块，对所述多个图像进行合并得到合并图像，其中，对所述多个图像中的第i个图像和第j个图像进行合并时，从所述第i个图像中选取第一像素集合，从所述第j个图像选取第二像素集合，所述第一像素集合与所述第二像素集合中的像素一一对应，基于所述第一像素集合为所述第i个图像绘制第一边界，基于所述第二像素集合为所述第j个图像绘制第二边界，将所述第i个图像的所述第一边界与所述第j个图像的第二边界对接，以实现所述第i个图像与所述第j个图像的合并；
图像识别模块，将所述合并图像输入经过训练的卷积神经网络，通过所述卷积神经网络识别所述合并图像中是否存在与所述目标病症匹配的区域，其中，所述卷积神经网络基于预设的样本图像集合进行训练，所述样本图像为患有所述目标病症的用户群体的视网膜图像，所述样本图像集合上具有标注框，所述标注框用于对所述样本图像集合上的与所述目标病症匹配的区域进行标注；
告警模块，在所述合并图像中存在与所述目标病症匹配的区域时，基于所述用户的信息、所述目标病症的信息以及所述合并图像中存在与所述目标病症匹配的区域生成告警信息，将所述告警信息发送至预设的服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410079502.1A CN117854700B (zh) | 2024-01-19 | 2024-01-19 | 基于可穿戴监控设备的术后管理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410079502.1A CN117854700B (zh) | 2024-01-19 | 2024-01-19 | 基于可穿戴监控设备的术后管理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117854700A true CN117854700A (zh) | 2024-04-09 |
| CN117854700B CN117854700B (zh) | 2024-05-28 |
Family
ID=90534654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410079502.1A Active CN117854700B (zh) | 2024-01-19 | 2024-01-19 | 基于可穿戴监控设备的术后管理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117854700B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010139929A2 (en) * | 2009-06-02 | 2010-12-09 | University Court Of The University Of Aberdeen | Lesion detection |
| US20160078622A1 (en) * | 2014-09-16 | 2016-03-17 | National Taiwan University | Method and wearable apparatus for disease diagnosis |
| CN109493954A (zh) * | 2018-12-20 | 2019-03-19 | 广东工业大学 | 一种基于类别判别定位的sd-oct图像视网膜病变检测系统 |
| CN110853009A (zh) * | 2019-11-11 | 2020-02-28 | 北京端点医药研究开发有限公司 | 基于机器学习的视网膜病理图像分析系统 |
| CN113643184A (zh) * | 2021-10-18 | 2021-11-12 | 广东唯仁医疗科技有限公司 | 基于光学相干断层扫描的眼底血管展示方法、系统及介质 |
| CN114862760A (zh) * | 2022-03-30 | 2022-08-05 | 中山大学中山眼科中心 | 一种早产儿视网膜病变检测方法及装置 |
| CN115153422A (zh) * | 2022-05-30 | 2022-10-11 | 清华大学 | 基于元成像的眼底成像方法及系统 |
| CN115775210A (zh) * | 2022-09-08 | 2023-03-10 | 南京瞳芯慧图医疗技术有限公司 | 一种广域眼底相机图像融合方法、系统及存储介质 |
| CN116664464A (zh) * | 2023-05-29 | 2023-08-29 | 广州市奥威亚电子科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN116703915A (zh) * | 2023-08-07 | 2023-09-05 | 天津医科大学眼科医院 | 基于多种图像融合的糖尿病视网膜病变会诊方法及系统 |
| CN117132515A (zh) * | 2023-02-20 | 2023-11-28 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
| US20240013514A1 (en) * | 2021-03-30 | 2024-01-11 | Terumo Kabushiki Kaisha | Information processing device, information processing method, and program |
-
2024
- 2024-01-19 CN CN202410079502.1A patent/CN117854700B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010139929A2 (en) * | 2009-06-02 | 2010-12-09 | University Court Of The University Of Aberdeen | Lesion detection |
| US20160078622A1 (en) * | 2014-09-16 | 2016-03-17 | National Taiwan University | Method and wearable apparatus for disease diagnosis |
| CN109493954A (zh) * | 2018-12-20 | 2019-03-19 | 广东工业大学 | 一种基于类别判别定位的sd-oct图像视网膜病变检测系统 |
| CN110853009A (zh) * | 2019-11-11 | 2020-02-28 | 北京端点医药研究开发有限公司 | 基于机器学习的视网膜病理图像分析系统 |
| US20240013514A1 (en) * | 2021-03-30 | 2024-01-11 | Terumo Kabushiki Kaisha | Information processing device, information processing method, and program |
| CN113643184A (zh) * | 2021-10-18 | 2021-11-12 | 广东唯仁医疗科技有限公司 | 基于光学相干断层扫描的眼底血管展示方法、系统及介质 |
| CN114862760A (zh) * | 2022-03-30 | 2022-08-05 | 中山大学中山眼科中心 | 一种早产儿视网膜病变检测方法及装置 |
| CN115153422A (zh) * | 2022-05-30 | 2022-10-11 | 清华大学 | 基于元成像的眼底成像方法及系统 |
| CN115775210A (zh) * | 2022-09-08 | 2023-03-10 | 南京瞳芯慧图医疗技术有限公司 | 一种广域眼底相机图像融合方法、系统及存储介质 |
| CN117132515A (zh) * | 2023-02-20 | 2023-11-28 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
| CN116664464A (zh) * | 2023-05-29 | 2023-08-29 | 广州市奥威亚电子科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN116703915A (zh) * | 2023-08-07 | 2023-09-05 | 天津医科大学眼科医院 | 基于多种图像融合的糖尿病视网膜病变会诊方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| HUNKYU SEO ET.AL: "Smart Contact Lenses as Wearable Ophthalmic Devices for Disease Monitoring and Health Management", 《CHEMICAL REVIEWS》, no. 123, 25 September 2023 (2023-09-25), pages 11488 * |
| NEELAMKAUSHIK ET.AL: "MEMS-based wearable eyeglasses for eye health monitoring", 《BIOMED.PHYS.ENG.EXPRESS6(2020)》, 1 April 2020 (2020-04-01) * |
| 孟永安: "糖尿病视网膜病变多模影像人工智能识别模型的构建", 《中国博士学位论文全文数据库（电子期刊）医药卫生科技辑》, no. 12, 15 December 2023 (2023-12-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117854700B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108427503B (zh) | 人眼追踪方法及人眼追踪装置 | |
| CN101730500B (zh) | 用于客观地测试视野的设备和方法 | |
| US11633096B2 (en) | Ophthalmologic image processing device and non-transitory computer-readable storage medium storing computer-readable instructions | |
| JP5080492B2 (ja) | コンピュータを利用したシステム | |
| JP2020533701A (ja) | 対象者の識別のためのカメラ及び画像校正 | |
| US11659988B2 (en) | Vision testing via prediction-based setting of an initial stimuli characteristic for user interface locations | |
| US11947717B2 (en) | Gaze estimation systems and methods using relative points of regard | |
| CN114648354A (zh) | 一种基于眼动追踪和情绪状态的广告测评方法和系统 | |
| Hernandez et al. | Early detection of Alzheimer’s using digital image processing through iridology, an alternative method | |
| KR20210134069A (ko) | 시각적 결함 결정 및 향상 | |
| CN115171024A (zh) | 一种基于视频序列的面部多特征融合疲劳检测方法及系统 | |
| US20220125299A1 (en) | Vision testing via prediction-based setting of initial stimuli characteristics for user interface locations | |
| CN117854700B (zh) | 基于可穿戴监控设备的术后管理方法和系统 | |
| WO2024038134A1 (en) | Methods and devices in performing a vision testing procedure on a person | |
| KR102208508B1 (ko) | 복합적인 안과 진료를 수행하는 시스템 및 방법 | |
| Nishimura et al. | Eye interface for physically impaired people by genetic eye tracking | |
| JPWO2020116351A1 (ja) | 診断支援装置、および診断支援プログラム | |
| CN113180647B (zh) | 一种ai肢体功能康复预干涉的行为采集系统及方法 | |
| WO2021182455A1 (ja) | 情報処理方法、コンピュータプログラム、情報処理装置及び情報処理システム | |
| JP7328489B2 (ja) | 眼科画像処理装置、および眼科撮影装置 | |
| CN114341871A (zh) | 分类方法 | |
| US20230298328A1 (en) | Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon | |
| US20220211267A1 (en) | Device navigation and capture of media data | |
| US20210393120A1 (en) | Vision screening systems and methods | |
| JIN et al. | A novel trial frame for evaluating eye movements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |