CN116385447B - 一种甲襞白细胞的监测方法、装置、设备及介质 - Google Patents
一种甲襞白细胞的监测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116385447B CN116385447B CN202310664447.8A CN202310664447A CN116385447B CN 116385447 B CN116385447 B CN 116385447B CN 202310664447 A CN202310664447 A CN 202310664447A CN 116385447 B CN116385447 B CN 116385447B
- Authority
- CN
- China
- Prior art keywords
- white blood
- blood cells
- nail fold
- video image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000265 leukocyte Anatomy 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 title claims abstract description 21
- 230000004089 microcirculation Effects 0.000 claims abstract description 54
- 238000003384 imaging method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 230000003068 static effect Effects 0.000 claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 238000002583 angiography Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 9
- 210000003743 erythrocyte Anatomy 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000011084 recovery Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000013213 extrapolation Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 abstract description 4
- 210000004369 blood Anatomy 0.000 description 17
- 239000008280 blood Substances 0.000 description 17
- 210000004027 cell Anatomy 0.000 description 12
- 238000010521 absorption reaction Methods 0.000 description 10
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 208000032839 leukemia Diseases 0.000 description 6
- 230000017531 blood circulation Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 206010012601 diabetes mellitus Diseases 0.000 description 4
- 238000001727 in vivo Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 208000015181 infectious disease Diseases 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000000601 blood cell Anatomy 0.000 description 2
- 230000009087 cell motility Effects 0.000 description 2
- 239000000306 component Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000987 immune system Anatomy 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010064091 Iatrogenic infection Diseases 0.000 description 1
- 241000748457 Melampodium Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000002565 arteriole Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004159 blood analysis Methods 0.000 description 1
- 239000012503 blood component Substances 0.000 description 1
- 238000004820 blood count Methods 0.000 description 1
- 210000001185 bone marrow Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000003345 hyperglycaemic effect Effects 0.000 description 1
- 201000001421 hyperglycemia Diseases 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 206010022000 influenza Diseases 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 210000004324 lymphatic system Anatomy 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008343 sublingual microcirculation Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000264 venule Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
- Y02A50/30—Against vector-borne diseases, e.g. mosquito-borne, fly-borne, tick-borne or waterborne diseases whose impact is exacerbated by climate change
Abstract
本发明公开了一种甲襞白细胞的监测方法、装置、设备及介质，所述方法包括如下步骤：获取并对甲襞微循环视频图像进行处理，获得稳定的甲襞微循环视频图像；基于IFM算法对处理后的甲襞微循环视频图像进行血管造影；基于IFM算法对血管造影图像进行白细胞衬比成像；采用YOLOx网络识别衬比成像图中的白细胞；采用卡尔曼滤波和交并比IOU方法处理YOLOx网络的识别结果，获得白细胞运动轨迹，并根据白细胞运动轨迹测量白细胞流速与白细胞个数。本发明利用IFM算法进行甲襞微循环血管造影和白细胞衬比成像，实现高精度的动态信息和静态信息的提取，采用YOLOx网络进行白细胞的识别，实现白细胞计数与测速。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种甲襞白细胞的监测方法、装置、设备及介质。
背景技术
微循环通常是指位于血液循环系统的末梢部分（即微动脉和微静脉之间）的血液循环，微循环是血液与组织之间物质交换的场所。在人体微循环中，常见的观察和监测部位包括甲襞微循环、舌下微循环、眼球微循环、牙龈微循环等。甲襞微循环血管位于指甲末梢皮肤下约200微米处，大致平行与皮肤表面，在显微镜下容易看见，而且手指容易固定，可防止过度抖动对观测所造成的影响，因此是最常用的观察微循环的部位。通过对甲襞微血管形态的研究，可以辅助诊断黑足、心脏病、高血压或糖尿病等病症，对基础和临床医学均具有重要意义。
白细胞（WBC）也称白血球，是机体防御系统的重要组成部分。它是临床工作中重要的化验指标，当人体出现流行性感冒和白血病等与免疫系统相关的疾病时，血液中的白细胞数目会发生变化。通过分析血液中的白细胞数目及所占比例，可以帮助医生对疾病进行诊断。白细胞流速是血液中白细胞通过血管时的速度，可以反映出人体微循环系统的状况。通过分析白细胞流速可以帮助医生判断患者的身体状况，并对疾病的诊断和治疗提供帮助。比如对糖尿病患者的身体状态评估提供参考，由于高血糖会影响血流速度，高血糖患者血液浓稠度增加，血流速度较慢，可以通过监测糖尿病患者的白细胞流速得知糖尿病患者的情况，有助于及早发现可能的感染和并发症。因此，对甲襞微循环中的白细胞进行计数与测速具有重要意义。
目前，医学界普遍采用血液分析法来分析白细胞参数。血液分析法是通过检测采集自患者的静脉血样对血液成分进行分析和测量的一种医学检验方法。这种方法通常由专业实验室技术人员操作自动化设备，可以快速准确地分析血样，检查结果往往可以在短时间内得出。同时，检查结果也会受到多种因素干扰，如技术问题、患者饮食情况和患者药物情况等，这些因素都可能会导致检查结果不准确。
专利《一种人体微循环血流速度检测的方法及系统》（申请号CN201910288803.4）公开了一种人体微循环血流速度检测的方法及系统，首先对采集到的甲襞微循环视频进行去抖处理、背景建模和血管分割；利用背景差分法对运动目标进行检测跟踪，得到运动轨迹图，通过投影方法计算运动目标速度。相较于传统方法，该专利提供的方法解决了测量过程中的侵入性和高成本等问题，但该方法并未设计到白细胞领域，无法清晰观察细胞形态，只能测量血细胞的速度，无法深入到白细胞层面进行计数和速度测量
当人体免疫系统产生反应时，血液中的白细胞数量会发生变化，通过分析血液中比啊细胞数量，医生可以对疾病有进一步的判断。但目前医学上常用的白细胞参数分析方法通常具有侵入性，需要标记，会对人体造成一定的损伤，并且成本昂贵，需要高度专业技能。例如，白血病是与白细胞异常相关的最常见疾病之一，它是一种由于骨髓或淋巴系统异常而引起的白血球恶性增生的疾病。白血病患者的白细胞数量可能会异常增高，可能处于正常值，也可能是减少的，为了监测白血病患者治疗的疗效和病情进展，医生需要每天抽取患者血液进行血液分析以获得白细胞数目，该方法具有侵入性，可能会使得已经免疫底下的白血病患者增加医源性感染的风险，并且抽血需要专业人员操作，对专业技能有一定的要求。
发明内容
为了克服上述技术缺陷，本发明提供了一种甲襞白细胞的监测方法，对人体在体白细胞的流速和数量进行监测。
为了解决上述问题，第一方面，本发明提供了一种甲襞白细胞的监测方法，包括如下步骤：
获取并对甲襞微循环视频图像进行处理，获得稳定的甲襞微循环视频图像；
基于IFM算法对处理后的甲襞微循环视频图像进行血管造影；
基于IFM算法对血管造影图像进行白细胞衬比成像；
采用YOLOx网络识别衬比成像图中的白细胞；
采用卡尔曼滤波和交并比IOU方法处理YOLOx网络的识别结果，获得白细胞运动轨迹，并根据白细胞运动轨迹测量白细胞流速与白细胞个数。
进一步的，步骤获取并对甲襞微循环视频图像进行处理，获得稳定的甲襞微循环视频图像，包括如下步骤：
采用绿色光源对测试部位进行照射；
采集测试部位经绿色光源照射后反射的信号，获得甲襞微循环的原始视频图像；
采用中值滤波器对原始视频图像进行降噪；
对降噪后的图像进行偏移补偿，并进行平滑降噪，获得稳定的甲襞微循环视频图像。
进一步的，步骤对降噪后的图像进行偏移补偿，并进行平滑降噪，获得稳定的甲襞微循环视频图像，包括如下步骤：
采用相对偏移函数判断某两帧图像是否发生相对偏移；
若发生相对偏移，采用FFT算法计算偏移量；
对FFT算法计算获得的偏移量进行求和平均，计算恢复偏移量；
采用恢复偏移量对发生相对偏移的图像进行补偿；
对补偿后的图像进行平滑降噪，获得稳定的甲襞微循环视频图像。
进一步的，步骤基于IFM算法对处理后的甲襞微循环视频图像进行血管造影，包括如下步骤：
对连续采集的时域信号进行快速傅里叶变换，获得频域信号及频域信号强度谱；
设置滤波窗口，分别获取动态频域信号和静态频域信号/>；
根据动态频域信号和静态频域信号/>的比值，得到平均调制深度AMD，即血管造影图像的各点像素值，获得血管造影图像：
。
进一步的，步骤基于IFM算法对血管造影图像进行白细胞衬比成像，包括如下步骤：
对连续采集的时序信号进行快速傅里叶变换，获得频域信号及频域信号的强度谱；
设置滤波窗口，分别获取动态频域信号和静态频域信号/>；
对动态频域信号和静态频域信号/>进行逆傅里叶变换，获得白细胞运动引起的动态时域信号/>和红细胞运动引起的静态时域信号/>：
；
根据动态时域信号和静态时域信号/>的比值，得到瞬时调制深度/>，即血管造影图像中白细胞的像素值，获得白细胞衬比成像：
。
进一步的，步骤采用YOLOx网络识别衬比成像图中的白细胞，包括如下步骤：
将白细胞衬比成像图分为训练组与测试组，并对训练组进行数据处理；
将处理后的训练组输入到YOLOx网络进行训练；
将测试组输入到训练好的YOLOx网络中，对YOLOx网络进行测试；
将新获得的白细胞衬比成像图输入到通过测试的YOLOx网络中，识别衬比成像图每一帧中的白细胞；
当白细胞识别结果的正确率大于预设的正确率阈值时，保存该白细胞识别结果。
进一步的，步骤采用卡尔曼滤波和交并比IOU方法处理YOLOx网络的识别结果，获得白细胞运动轨迹，并根据白细胞运动轨迹测量白细胞流速与白细胞个数，包括步骤：
获取甲襞微循环视频图像在白细胞衬比成像状态下的mp4视频；
根据mp4视频的某帧图像及该帧对应的白细胞识别结果，采用交并比计算方法对相邻的白细胞进行匹配；
若匹配成功，记为同一个白细胞；
否则采用卡尔曼滤波进行外推，与下一帧的白细胞识别结果进行匹配；
当外推次数超过预设阈值且未匹配成功时，遗弃该帧图像；
根据匹配结果，获得白细胞的运动轨迹，并根据白细胞的运动轨迹计算获得白细胞流速。
与现有技术相比，本发明具有以下有益效果：
本发明公开了一种甲襞白细胞监测方法，利用IFM算法进行甲襞微循环血管造影和白细胞衬比成像，实现高精度的动态信息和静态信息的提取，采用YOLOx网络进行白细胞的识别，实现白细胞计数与测速；本发明能够实现人体在体的白细胞监测，对白血病患者和糖尿病患者而言无需抽血检测也可进行在体的测速与计算，能够避免抽血检测带来的感染风险。
第二方面，本发明还提供了一种甲襞白细胞的监测装置，包括：
手指固定装置，用于固定被测试者的手指；
绿色光源，用于产生绿色光，并对被测试者的手指进行照射；
信号采集模块，用于获取被测试者手指照射后的甲襞微循环视频图像；
数据处理模块，用于对甲襞微循环视频图像进行IFM算法处理、YOLOx网络识别及卡尔曼滤波和交并比IOU方法处理。
第三方面，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：
图1为实施例1 所述的甲襞白细胞的监测方法的流程图；
图2为实施例1 所述的甲襞白细胞的监测方法的白细胞衬比成像图；
图3为实施例1 所述的甲襞白细胞的监测方法的白细胞识别结果示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
本实施例公开了一种甲襞白细胞的监测方法，对人体在体白细胞进行“无创”、“可视化”、“无标记”识别。
如图1，甲襞白细胞的监测方法包括如下步骤；
S1、获取并对甲襞微循环视频图像进行处理，获得稳定的甲襞微循环视频图像。
具体的，步骤S1包括如下步骤：
S11、采用绿色光源对测试部位进行照射。由于红细胞和白细胞对绿光的吸收存在差异，红细胞对绿光的吸收率较高，白细胞对绿光的吸收率较低，当采用绿色光源对测试部位进行照射时，红细胞吸收了大部分绿光，只有少量绿光被反射，而白细胞则反射了大部分绿光。
S12、采集测试部位经绿色光源照射后反射的信号，获得甲襞微循环的原始视频图像。根据红细胞和白细胞对绿光吸收的差异，能够获得清晰的甲襞微循环原始视频图像。
S13、采用中值滤波器对原始视频图像进行降噪处理，减少噪声对后续处理的影响。当原始视频图像为彩色图像时，将原始视频图像转换为灰度图，采用中值滤波器对原始视频图像进行降噪处理。
S14、对降噪后的图像进行偏移补偿，并进行平滑降噪，获得稳定的甲襞微循环视频图像。
在上述实施例中，步骤S14包括如下步骤：
以第一帧为参考帧，采用相对偏移函数判断某两帧图像是否发生相对偏移。假设有两帧图像和/>，若这两帧图像之间偏移了/>，通过相对偏移函数判断图像是否发生相对偏移，相对偏移函数：
其中，为图像/>的像素强度，/>为图像/>的像素强度；Y为图像的高度，X为图像的宽度。若没有发送其他几何变换，则确定两帧图像发生相对偏移。
若发生相对偏移，采用FFT（快速傅里叶变换）算法计算偏移量。采用FFT（快速傅里叶变换）算法计算互相关场，即计算相对于参考帧的偏移量：
求得互相关场最大值，即为相关性最强。互相关场的最大值与互相关场中心的位移与图像的位移相匹配。
对FFT算法计算获得的偏移量进行求和平均，计算恢复偏移量。取所有偏移量的平均值作为帧的恢复偏移量：
其中，N为视频序列中的帧数；、/>是恢复第n帧的平均偏移量；/>和/>是使用相位相关法得到的第n帧相比于第m帧的偏移量。
采用恢复偏移量对发生相对偏移的图像进行补偿，补偿原始数据中的毛细血管偏移，获得配准帧的组合序列。
对补偿后的图像进行平滑降噪，获得稳定的甲襞微循环视频图像。
S2、基于IFM算法对处理后的甲襞微循环视频图像进行血管造影。
具体的，步骤S2包括如下步骤：
对连续采集的时域信号进行快速傅里叶变换，获得频域信号及频域信号强度谱。
由于红细胞对绿光的吸收率较高，背景组织对绿光的吸收率较低，在绿光的照射下当有红细胞经过时，采集到的光强会因红细胞的高吸收而相应降低；当没有红细胞经过时，采集到的光强为背景组织低吸收所产生的光强，光强值较高。当红细胞通过毛细血管中的某一位置时，能够采集到红细胞对应的高吸收信号和背景组织对应的低吸收信号，红细胞产生高频涨落的动态光信号主要分布在高频部分，为交流信号；背景组织产生的静态光信号主要分布在低频部分，为直流信号。对连续采集的时域信号进行快速傅里叶变换（FFT），将时序信号转换为频域信号，并得到频域信号强度谱/>。
设置滤波窗口，分别获取动态频域信号和静态频域信号/>。
通常选择较高的频率范围（如10Hz-50Hz）来获取动态频域信号，选择较低的频率范围（如10Hz以下）来获取静态频域信号/>，也就是说频域信号强度谱/>为：
。
根据动态频域信号和静态频域信号/>的比值，得到平均调制深度AMD，即血管造影图像的各点像素值，获得血管造影图像：
。
通过动态频域信号和静态频域信号的比值获得平均调制深度AMD，实现甲襞毛细血管的血管造影成像。
S3、基于IFM算法对血管造影图像进行白细胞衬比成像。
具体的，步骤S3包括如下步骤：
与步骤S2同理，对连续采集的时序信号进行快速傅里叶变换，获得频域信号及频域信号的强度谱/>。
设置滤波窗口，分别获取动态频域信号和静态频域信号/>。频域信号的强度谱/>为：
对动态频域信号和静态频域信号/>进行逆傅里叶变换，获得白细胞运动引起的动态时域信号/>和红细胞运动引起的静态时域信号/>：
；
根据动态时域信号和静态时域信号/>的比值，得到瞬时调制深度/>，即血管造影图像中白细胞的像素值，获得白细胞衬比成像：
。
如图2，通过瞬时调制深度可以突出显示白细胞，使得白细胞在甲襞微循环视频图像中呈现为亮度远高于毛细血管中其他成分的亮点，实现白细胞衬比成像。
S4、采用YOLOx网络识别衬比成像图中的白细胞。
具体的，步骤S4包括如下步骤：
将白细胞衬比成像图按照9:1的比例分为训练组与测试组，并对训练组进行数据处理获得640*60*3的图片大小，数据处理包括mosaic数据增强。
将处理后的训练组输入到YOLOx网络进行训练。
将测试组输入到训练好的YOLOx网络中，对YOLOx网络进行测试。通过测试来评估训练好的YOLOx网络的白细胞识别效果。若YOLOx网络的白细胞识别效果不理想，则修改YOLOx网络的网络参数并重新训练与测试YOLOx网络，直至训练后的YOLOx网络通过测试。
将新获得的白细胞衬比成像图输入到通过测试的YOLOx网络中，识别衬比成像图每一帧中的白细胞。
当白细胞识别结果的正确率大于预设的正确率阈值时，保存该白细胞识别结果。如图3，当白细胞识别结果的正确率大于预设的正确率阈值时，用矩形框框出该白细胞并标注该白细胞识别结果的准确率，同时将分类情况和坐标值以txt的形式保存，命名格式与帧号对应。
YOLOx网络的主要部分采用了CSPDarknet53网络结构，其中使用了Focus、Resblock_body和SPP等模块进行特征提取。对输入的图像进行处理时，通过Focus网络结构对每隔一个像素取一个像素作为同一组，得到四个独立的特征层，最终从高分辨率的feature map拆分得到多个低分辨率的feature map。CSPnet网络结构则采用了多个残差块堆叠，将梯度的变化从头到尾集成到特征图中，减少了计算量同时保证了准确率。同时，SiLU激活函数的使用使得网络更加光滑，SPP结构则使用多个不同大小的池化核进行特征提取，提高了网络的感受野。在数据增强方面，YOLOx网络在主干部分的中间层、中下层、底层三个CSPdarknet分别提取了三个特征层，进行上采样与浅层的特征进行融合，并将融合后的浅层特征层进行下采样后与深层特征层进行堆叠，以更好地提取出特征。而在解耦头方面，YOLOx网络使用了类似于FCOS的解耦头，将物体类别和物体位置的预测识别进行解耦，并分为两部分实现，最后预测识别的时候再整合在一起。
S5、采用卡尔曼滤波和交并比IOU方法处理YOLOx网络的识别结果，获得白细胞运动轨迹，并根据白细胞运动轨迹测量白细胞流速与白细胞个数。
具体的，步骤S5包括如下步骤：
对没有识别结果的帧补上txt，获取甲襞微循环视频图像在白细胞衬比成像状态下的mp4视频。
根据mp4视频的某帧图像及该帧对应的txt格式保存的白细胞识别结果，采用交并比计算方法对相邻的白细胞进行匹配。
若匹配成功，将该帧的白细胞与相邻的白细胞记为同一个白细胞，同时记录到白细胞数量中。
若匹配失败，采用卡尔曼滤波进行外推，与下一帧的白细胞识别结果进行匹配。
当外推次数超过预设阈值且未匹配成功时，遗弃该帧图像。
根据匹配结果，获得白细胞的运动轨迹，在白细胞的运动轨迹的基础上读取以csv格式保存的计数和测速范围，遍历每一个白细胞轨迹实现白细胞流速测量。
记测速的白细胞在时刻的位置为(/>)，其在/>时刻的位置为(/>)。因此该白细胞在/>时刻到/>时刻的血流速度可表示为：
其中，是距离校正系数，其大小主要取决于相机的像素大小和镜头的放大倍数。通过相机的像素大小和显微镜的放大倍数计算，可以得到相应的校正系数。在实际测量中，时刻到/>时刻的时间差足够小，因此可以将该白细胞在/>时刻到/>时刻的平均速度视为其在/>时刻的瞬时速度，即/>。因此，平均流速/>可以表示为：
。
本发明根据红细胞和白细胞对绿光的吸收差异，采用IFM算法进行血管造影和白细胞衬比成像，采用YOLOx网络进行白细胞的识别，并通过卡尔曼滤波和交并比IOU方法实现白细胞的计数与流速测量。本发明通过对甲襞微循环视频图像处理即可实现人体在体白细胞的监测，不仅无需抽血检测，为免疫力低下的患者避免了抽血检测的感染风险；而且是非接触成像，对人体没有辐射，也无需注射造影剂，能够实现无损成像。
实施例2
本实施例公开了一种甲襞白细胞的监测装置，包括手指固定装置、绿色光源、信号采集模块和数据处理模块，手指固定装置用于固定被测试者的手指；绿色光源用于产生绿色光，并对被测试者的手指进行照射；信号采集模块用于获取被测试者手指照射后的甲襞微循环视频图像；数据处理模块用于对甲襞微循环视频图像进行IFM算法处理、YOLOx网络识别及卡尔曼滤波和交并比IOU方法处理。
在上述实施例中，手指固定装置可以将被测试者的手指固定在10度，其凹槽宽度为2cm。
在上述实施例中，信号采集模块包括显微镜和高帧率相机，高帧率相机采集高帧率的灰度图像。
在上述实施例中，还包括光学系统，高帧率相机与光学系统连接，并设置相机参数。将手指固定在手指固定装置上，调整手指使得甲襞固定在显微镜正下方，打开绿色光源，调整显微镜，通过高帧率相机进行拍摄。将采集到的数据传输到数据处理模块进行处理。
数据处理模块的其他具体实施步骤请参见实施例1。
实施例3
本实施例公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现实施例1所述的方法的步骤。
实施例4
本实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (6)
1.一种甲襞白细胞的监测方法，其特征在于，包括如下步骤：
获取并对甲襞微循环视频图像进行处理，获得稳定的甲襞微循环视频图像；
基于IFM算法对处理后的甲襞微循环视频图像进行血管造影；
基于IFM算法对血管造影图像进行白细胞衬比成像；
采用YOLOx网络识别衬比成像图中的白细胞；
采用卡尔曼滤波和交并比IOU方法处理YOLOx网络的识别结果，获得白细胞运动轨迹，并根据白细胞运动轨迹测量白细胞流速与白细胞个数；
步骤基于IFM算法对处理后的甲襞微循环视频图像进行血管造影，包括如下步骤：
对连续采集的时域信号进行快速傅里叶变换，获得频域信号及频域信号强度谱；
设置滤波窗口，分别获取动态频域信号和静态频域信号/>；
根据动态频域信号和静态频域信号/>的比值，得到平均调制深度AMD，即血管造影图像的各点像素值，获得血管造影图像：
；
步骤基于IFM算法对血管造影图像进行白细胞衬比成像，包括如下步骤：
对连续采集的时序信号进行快速傅里叶变换，获得频域信号及频域信号的强度谱；
设置滤波窗口，分别获取动态频域信号和静态频域信号/>；
对动态频域信号和静态频域信号/>进行逆傅里叶变换，获得白细胞运动引起的动态时域信号/>和红细胞运动引起的静态时域信号/>：
；
根据动态时域信号和静态时域信号/>的比值，得到瞬时调制深度/>，即血管造影图像中白细胞的像素值，获得白细胞衬比成像：
；
步骤采用YOLOx网络识别衬比成像图中的白细胞，包括如下步骤：
将白细胞衬比成像图分为训练组与测试组，并对训练组进行数据处理；
将处理后的训练组输入到YOLOx网络进行训练；
将测试组输入到训练好的YOLOx网络中，对YOLOx网络进行测试；
将新获得的白细胞衬比成像图输入到通过测试的YOLOx网络中，识别衬比成像图每一帧中的白细胞；
当白细胞识别结果的正确率大于预设的正确率阈值时，保存该白细胞识别结果；
步骤采用卡尔曼滤波和交并比IOU方法处理YOLOx网络的识别结果，获得白细胞运动轨迹，并根据白细胞运动轨迹测量白细胞流速与白细胞个数，包括步骤：
获取甲襞微循环视频图像在白细胞衬比成像状态下的mp4视频；
根据mp4视频的某帧图像及该帧对应的白细胞识别结果，采用交并比计算方法对相邻的白细胞进行匹配；
若匹配成功，记为同一个白细胞；
否则采用卡尔曼滤波进行外推，与下一帧的白细胞识别结果进行匹配；
当外推次数超过预设阈值且未匹配成功时，遗弃该帧图像；
根据匹配结果，获得白细胞的运动轨迹，并根据白细胞的运动轨迹计算获得白细胞流速。
2.根据权利要求1所述的甲襞白细胞的监测方法，其特征在于，步骤获取并对甲襞微循环视频图像进行处理，获得稳定的甲襞微循环视频图像，包括如下步骤：
采用绿色光源对测试部位进行照射；
采集测试部位经绿色光源照射后反射的信号，获得甲襞微循环的原始视频图像；
采用中值滤波器对原始视频图像进行降噪；
对降噪后的图像进行偏移补偿，并进行平滑降噪，获得稳定的甲襞微循环视频图像。
3.根据权利要求2所述的甲襞白细胞的监测方法，其特征在于，步骤对降噪后的图像进行偏移补偿，并进行平滑降噪，获得稳定的甲襞微循环视频图像，包括如下步骤：
采用相对偏移函数判断某两帧图像是否发生相对偏移；
若发生相对偏移，采用FFT算法计算偏移量；
对FFT算法计算获得的偏移量进行求和平均，计算恢复偏移量；
采用恢复偏移量对发生相对偏移的图像进行补偿；
对补偿后的图像进行平滑降噪，获得稳定的甲襞微循环视频图像。
4.一种甲襞白细胞的监测装置，用于实现权利要求1-3任一项所述的监测方法，其特征在于，包括：
手指固定装置，用于固定被测试者的手指；
绿色光源，用于产生绿色光，并对被测试者的手指进行照射；
信号采集模块，用于获取被测试者手指照射后的甲襞微循环视频图像；
数据处理模块，用于对甲襞微循环视频图像进行IFM算法处理、YOLOx网络识别及卡尔曼滤波和交并比IOU方法处理。
5.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310664447.8A CN116385447B (zh) | 2023-06-07 | 2023-06-07 | 一种甲襞白细胞的监测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310664447.8A CN116385447B (zh) | 2023-06-07 | 2023-06-07 | 一种甲襞白细胞的监测方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385447A CN116385447A (zh) | 2023-07-04 |
| CN116385447B true CN116385447B (zh) | 2023-11-24 |
Family
ID=86975467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310664447.8A Active CN116385447B (zh) | 2023-06-07 | 2023-06-07 | 一种甲襞白细胞的监测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385447B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001022741A2 (en) * | 1999-09-23 | 2001-03-29 | Nadeau Richard G | Medical applications of orthogonal polarization spectral imaging |
| CN110501278A (zh) * | 2019-07-10 | 2019-11-26 | 同济大学 | 一种基于YOLOv3和密度估计的细胞计数方法 |
| CN113939730A (zh) * | 2019-05-13 | 2022-01-14 | 荷语布鲁塞尔自由大学 | 用于颗粒表征的方法和系统 |
| CN115581445A (zh) * | 2022-09-09 | 2023-01-10 | 华侨大学 | 一种基于能量调制的激光散斑血流成像方法及装置 |
| CN116051423A (zh) * | 2023-03-07 | 2023-05-02 | 华侨大学 | 基于空间频域滤波的激光散斑衬比血流成像方法及系统 |
-
2023
- 2023-06-07 CN CN202310664447.8A patent/CN116385447B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001022741A2 (en) * | 1999-09-23 | 2001-03-29 | Nadeau Richard G | Medical applications of orthogonal polarization spectral imaging |
| CN113939730A (zh) * | 2019-05-13 | 2022-01-14 | 荷语布鲁塞尔自由大学 | 用于颗粒表征的方法和系统 |
| CN110501278A (zh) * | 2019-07-10 | 2019-11-26 | 同济大学 | 一种基于YOLOv3和密度估计的细胞计数方法 |
| CN115581445A (zh) * | 2022-09-09 | 2023-01-10 | 华侨大学 | 一种基于能量调制的激光散斑血流成像方法及装置 |
| CN116051423A (zh) * | 2023-03-07 | 2023-05-02 | 华侨大学 | 基于空间频域滤波的激光散斑衬比血流成像方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 徐宁 等 .血液白细胞图像自动识别系统开发与应用.实验技术与管理.2012,(第12期),全文. * |
| 血液白细胞图像自动识别系统开发与应用;徐宁 等;实验技术与管理(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385447A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cao et al. | Hierarchical method for cataract grading based on retinal images using improved Haar wavelet | |
| JP4849755B2 (ja) | イメージング装置および試料分析方法 | |
| US20160228008A1 (en) | Image diagnosis device for photographing breast by using matching of tactile image and near-infrared image and method for aquiring breast tissue image | |
| CN111128382B (zh) | 一种人工智能多模成像分析装置 | |
| US10682054B2 (en) | Apparatus for angiographic optical coherence tomography in retina or choroid, and method for diagnosing diseases by using same | |
| CN111785363A (zh) | 一种基于ai引导的慢性病辅助诊断系统 | |
| CN111950388B (zh) | 一种易损性斑块跟踪识别系统及方法 | |
| CN114419181A (zh) | Cta图像的重建方法及重建装置、显示方法及显示装置 | |
| CN114209278B (zh) | 一种基于光学相干层析成像的深度学习皮肤病诊断系统 | |
| CN116385447B (zh) | 一种甲襞白细胞的监测方法、装置、设备及介质 | |
| CN112950555A (zh) | 一种基于深度学习的2型糖尿病心血管病变图像分类方法 | |
| Hennersperger et al. | Vascular 3D+ T freehand ultrasound using correlation of doppler and pulse-oximetry data | |
| WO2021017112A1 (zh) | 一种皮下血管光学视频图像的成像方法 | |
| CN106073801A (zh) | 一种体外鼻咽腔体静脉血氧饱和度成像方法和装置 | |
| CN111292285A (zh) | 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法 | |
| CN112155511A (zh) | 一种基于深度学习补偿oct采集过程中人眼抖动的方法 | |
| Preity et al. | Automated computationally intelligent methods for ocular vessel segmentation and disease detection: a review | |
| CN114209299B (zh) | 一种基于ippg技术的人体生理参数检测通道选择的方法 | |
| Agostini et al. | Evaluation of feature-based registration in dynamic infrared imaging for breast cancer diagnosis | |
| Moore et al. | Automatic optic nerve sheath measurement in point-of-care ultrasound | |
| Wang et al. | Evaluation of retinal sfs reconstruction with oct images | |
| Mohamed et al. | Measurement of haemoglobin using digital photographs of mucous membrane of eye. | |
| Talib et al. | A General Overview of Retinal Lesion Detecting Devices | |
| Singh et al. | Development and Validation of Artery-Vein Ratio Measurement Based on Deep Learning Architectures | |
| Saeed et al. | Simplifying vein detection for intravenous procedures: A comparative assessment through near‐infrared imaging system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |