CN117058139B - 一种下消化道病灶跟踪与关键病灶选取方法和系统 - Google Patents
一种下消化道病灶跟踪与关键病灶选取方法和系统 Download PDFInfo
- Publication number
- CN117058139B CN117058139B CN202311310540.5A CN202311310540A CN117058139B CN 117058139 B CN117058139 B CN 117058139B CN 202311310540 A CN202311310540 A CN 202311310540A CN 117058139 B CN117058139 B CN 117058139B
- Authority
- CN
- China
- Prior art keywords
- focus
- frame
- track
- tracking track
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 210000001035 gastrointestinal tract Anatomy 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 168
- 230000003902 lesion Effects 0.000 claims abstract description 28
- 230000008859 change Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 24
- 238000012790 confirmation Methods 0.000 claims description 23
- 238000000338 in vitro Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000001727 in vivo Methods 0.000 claims description 14
- 210000003750 lower gastrointestinal tract Anatomy 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 11
- 238000013145 classification model Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000010186 staining Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 231100001014 gastrointestinal tract lesion Toxicity 0.000 claims description 4
- KHLVKKOJDHCJMG-QDBORUFSSA-L indigo carmine Chemical compound [Na+].[Na+].N/1C2=CC=C(S([O-])(=O)=O)C=C2C(=O)C\1=C1/NC2=CC=C(S(=O)(=O)[O-])C=C2C1=O KHLVKKOJDHCJMG-QDBORUFSSA-L 0.000 claims description 4
- 229960003988 indigo carmine Drugs 0.000 claims description 4
- 235000012738 indigotine Nutrition 0.000 claims description 4
- 239000004179 indigotine Substances 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims 4
- 230000037430 deletion Effects 0.000 claims 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000001839 endoscopy Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 1
- 235000006629 Prosopis spicigera Nutrition 0.000 description 1
- 240000000037 Prosopis spicigera Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本发明属于医疗设备和计算机领域，具体的，涉及一种下消化道病灶跟踪与关键病灶选取方法和系统，将多目标跟踪引入下消化道辅助诊断中，使用改进的deepsort将低置信度框引入来提高跟踪轨迹的连续性，加入手术状态模型来判断当前手术环境，减少因为病灶外观剧烈变化导致的匹配错误或跟踪丢失，同时通过手术状态模型自动判断手术的结束，并选取多个病灶跟踪轨迹中关键的清晰病灶图。本方案技术效果包括可以进行多目标跟踪，准确对下消化道病灶进行跟踪统计，结合低置信度检测框提高对严重形变病灶的跟踪连续性，使用手术状态模型判断当前手术状态的变化，利用跟踪轨迹中成功匹配帧数来自动统计关键病灶，并自动选取清晰合适的病灶图。
Description
技术领域
本发明属于医疗设备和计算机领域，具体的，涉及一种下消化道病灶跟踪与关键病灶选取方法和系统。
背景技术
目前深度学习技术被广泛应用于下消化道的息肉检测中，有效降低内镜医生的漏检率。然而在一场内镜检查中，目标检测会得到许多张病灶的图片，不利于内镜医生统计病灶的个数以及筛选合适的图片用于诊断报告的显示。
同时由于下消道内镜检查中，镜头频繁旋转、切换不同光源以及对病灶进行染色等原因造成病灶严重形变、外观剧烈变化，使得传统的多目标跟踪方法经常匹配错误或跟踪丢失，导致统计计数不准确。
发明内容
根据本发明第一实施例，本发明请求保护一种下消化道病灶跟踪与关键病灶选取方法，包括：
获取肠镜视频流，根据手术状态模型决策所述肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪；
依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定所述当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征；
基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果；
根据所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取所述病灶轨迹中满足预设条件的病灶图。
具体的，所述获取肠镜视频流，根据手术状态模型决策所述肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪，具体包括：
获取所述肠镜视频流图像，根据手术状态模型判断所述肠镜视频流中当前帧图像是否为体内类别帧，若为体内类别帧，则开启下消化道病灶检测模型执行病灶轨迹跟踪；
所述手术状态模型为分类模型，使用mobilenetv2轻量级分类模型，模型数据集类别包含体外、白光、NBI、靛胭脂染色。
具体的，所述依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定所述当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征，具体包括：
所述下消化道病灶检测模型采用单阶段检测模型yolov3-yolov8，或两阶段检测模型Faster RCNN、DetectoRS中的一个或多个，其中检测模型数据集为下消化道的主要病变，其数据集格式为COCO数据集的格式；
所述病灶运动特征采用卡尔曼滤波算法对所述病灶检测框的下一帧位置进行预测与更新；
所述卡尔曼滤波预测根据上一帧的位置和速度信息，预测当前帧的位置和速度；
所述病灶外观特征采用训练好的卷积神经网络提取特征，通过制作病灶重识别数据集，将同一个病灶在不同时刻下的图像裁剪下来，得到多例不同的病灶图像；
采用MobileNetV2，使用已收集的所述病灶重识别数据集训练MobileNetV2分类网络，提取MobileNetV2的输出特征作为外观特征。
具体的，所述基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果，具体包括：
根据所述病灶运动特征和病灶外观特征，采用改进的deepsort对前后帧检测到的病灶进行匹配；
结合所述当前手术状态特征，当病灶跟踪轨迹发生手术状态变化时，对当前轨迹失配删除的帧数进行动态调整。
具体的，该方法还包括：
根据所述下消化道病灶检测模型得到当前帧的检测框，在初始化阶段不存在确认状态的病灶跟踪轨迹，取每个高置信度检测框初始化为未确认状态的病灶跟踪轨迹；
其中病灶跟踪轨迹有未确认状态、确认状态、删除三个状态；
通过卡尔曼滤波预测所述病灶跟踪轨迹下一帧的目标位置，即病灶跟踪轨迹的预测框；
当未确认状态的病灶跟踪轨迹通过IOU匹配连续命中3帧，则状态转为确认状态；
其中IOU匹配是使用匈牙利算法求解所述当前帧的检测框与所述病灶跟踪轨迹的预测框的IOU代价矩阵，得到检测框与预测框的关联关系；
当所述病灶跟踪轨迹中存在确认状态的病灶跟踪轨迹，将当前高置信度检测框与确认状态的病灶跟踪轨迹进行级联匹配，得到未匹配的病灶跟踪轨迹、未匹配的检测框以及匹配成功的检测框；
其中级联匹配使用所述运动特征与所述外观特征作为病灶跟踪轨迹的预测框与当前帧的检测框的关联关系；
将未匹配的病灶跟踪轨迹与低置信度检测框进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，在当前阶段未匹配的检测框直接删除；
将之前未匹配的检测框与未确认状态的病灶跟踪轨迹进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，对于当前未匹配的病灶跟踪轨迹，若为未确认状态则直接修改状态为删除，若为确认状态，判断当前病灶跟踪轨迹失配是否超过N帧，若超过则状态也改为删除。
对于当前未匹配的检测框初始化新病灶跟踪轨迹，对于匹配成功的病灶跟踪轨迹进行卡尔曼滤波更新。
具体的，所述根据所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取所述病灶轨迹中满足预设条件的病灶图，具体包括：
当所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时表明内镜检查结束；
统计下消化道检查过程中跟踪到的关键的病灶跟踪轨迹ID数，设置病灶跟踪轨迹ID在内镜检查过程中匹配成功的帧数大于匹配帧数阈值时，认定该病灶跟踪轨迹为关键病灶，进行病灶计数；
采用清晰度结合病灶面积作为评估指标，其中当前帧的清晰度D采用无参考图像的清晰度评价方法，当前帧的病灶大小以检测框长宽的乘积：作为指标，/>为检测框的长，/>为检测框的宽，同时对同一病灶跟踪轨迹下的清晰度和病灶大小做归一化操作。
根据本发明第二方面，本发明请求保护一种下消化道病灶跟踪与关键病灶选取系统，包括：
手术状态识别模块，获取肠镜视频流，根据手术状态模型决策所述肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪；
特征提取模块，依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定所述当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征；
跟踪匹配模块，基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果；
病灶选取模块，根据所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取所述病灶轨迹中满足预设条件的病灶图。
进一步的，所述跟踪匹配模块，具体包括：
根据所述病灶运动特征和病灶外观特征，采用改进的deepsort对前后帧检测到的病灶进行匹配；
结合所述当前手术状态特征，当病灶跟踪轨迹发生手术状态变化时，对当前轨迹失配删除的帧数进行动态调整。
进一步的，所述跟踪匹配模块还包括：
根据所述下消化道病灶检测模型得到当前帧的检测框，在初始化阶段不存在确认状态的病灶跟踪轨迹，取每个高置信度检测框初始化为未确认状态的病灶跟踪轨迹；
其中病灶跟踪轨迹有未确认状态、确认状态、删除三个状态；
通过卡尔曼滤波预测所述病灶跟踪轨迹下一帧的目标位置，即病灶跟踪轨迹的预测框；
当未确认状态的病灶跟踪轨迹通过IOU匹配连续命中3帧，则状态转为确认状态；
其中IOU匹配是使用匈牙利算法求解所述当前帧的检测框与所述病灶跟踪轨迹的预测框的IOU代价矩阵，得到检测框与预测框的关联关系；
当所述病灶跟踪轨迹中存在确认状态的病灶跟踪轨迹，将当前高置信度检测框与确认状态的病灶跟踪轨迹进行级联匹配，得到未匹配的病灶跟踪轨迹、未匹配的检测框以及匹配成功的检测框；
其中级联匹配使用所述运动特征与所述外观特征作为病灶跟踪轨迹的预测框与当前帧的检测框的关联关系；
将未匹配的病灶跟踪轨迹与低置信度检测框进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，在当前阶段未匹配的检测框直接删除；
将之前未匹配的检测框与未确认状态的病灶跟踪轨迹进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，对于当前未匹配的病灶跟踪轨迹，若为未确认状态则直接修改状态为删除，若为确认状态，判断当前病灶跟踪轨迹失配是否超过N帧，若超过则状态也改为删除。
对于当前未匹配的检测框初始化新病灶跟踪轨迹，对于匹配成功的病灶跟踪轨迹进行卡尔曼滤波更新。
进一步的，所述根据所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中，具体包括：
当所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时表明内镜检查结束；
统计下消化道检查过程中跟踪到的关键的病灶跟踪轨迹ID数，设置病灶跟踪轨迹ID在内镜检查过程中匹配成功的帧数大于匹配帧数阈值时，认定该病灶跟踪轨迹为关键病灶，进行病灶计数；
采用清晰度结合病灶面积作为评估指标，其中当前帧的清晰度D采用无参考图像的清晰度评价方法，当前帧的病灶大小以检测框长宽的乘积：作为指标，/>为检测框的长，/>为检测框的宽，同时对同一病灶跟踪轨迹下的清晰度和病灶大小做归一化操作。
本发明属于医疗设备和计算机领域，具体的，涉及一种下消化道病灶跟踪与关键病灶选取方法和系统，将多目标跟踪引入下消化道辅助诊断中，使用改进的deepsort将低置信度框引入来提高跟踪轨迹的连续性，加入手术状态模型来判断当前手术环境，减少因为病灶外观剧烈变化导致的匹配错误或跟踪丢失，同时通过手术状态模型自动判断手术的结束，并选取多个病灶跟踪轨迹中关键的清晰病灶图。本方案技术效果包括可以进行多目标跟踪，准确对下消化道病灶进行跟踪统计，结合低置信度检测框提高对严重形变病灶的跟踪连续性，使用手术状态模型判断当前手术状态的变化，利用跟踪轨迹中成功匹配帧数来自动统计关键病灶，并自动选取清晰合适的病灶图。
附图说明
图1为本发明所请求保护的一种下消化道病灶跟踪与关键病灶选取方法的工作流程图；
图2为本发明所请求保护的一种下消化道病灶跟踪与关键病灶选取方法的手术状态模型图片样例示意图；
图3为本发明所请求保护的一种下消化道病灶跟踪与关键病灶选取方法的同一病变不同光源染色情况示意图；
图4为本发明所请求保护的一种下消化道病灶跟踪与关键病灶选取方法的跟踪匹配工作流程图；
图5为为本发明所请求保护的一种下消化道病灶跟踪与关键病灶选取系统的结构模块图。
具体实施方式
根据本发明第一实施例，参照图1，本发明请求保护一种下消化道病灶跟踪与关键病灶选取方法，包括步骤：
S100，获取肠镜视频流，根据手术状态模型决策肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪；
S200，依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征；
S300，基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果；
S400，根据手术状态模型决策肠镜视频流中当前帧图像为体外类别帧时结束病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取病灶轨迹中满足预设条件的病灶图。
具体的，步骤S100，具体包括：
获取肠镜视频流图像，根据手术状态模型判断肠镜视频流中当前帧图像是否为体内类别帧，若为体内类别帧，则开启下消化道病灶检测模型执行病灶轨迹跟踪；
手术状态模型为分类模型，使用mobilenetv2轻量级分类模型，模型数据集类别包含体外、白光、NBI、靛胭脂染色。
手术状态模型是一个分类模型，可以使用mobilenetv2等轻量级分类模型，模型数据集类别包含体外、白光、NBI（narrow band imaging）、靛胭脂染色。除体外为内镜镜头拍摄的体外图像，其他3个类别均为下消化道体内拍摄的图片，各类别样例如图2所示。
具体的，步骤S200，具体包括：
下消化道病灶检测模型采用单阶段检测模型yolov3-yolov8，或两阶段检测模型Faster RCNN、DetectoRS中的一个或多个，其中检测模型数据集为下消化道的主要病变，其数据集格式为COCO数据集的格式；
病灶运动特征采用卡尔曼滤波算法对病灶检测框的下一帧位置进行预测与更新；
卡尔曼滤波预测根据上一帧的位置和速度信息，预测当前帧的位置和速度；
病灶外观特征采用训练好的卷积神经网络提取特征，通过制作病灶重识别数据集，将同一个病灶在不同时刻下的图像裁剪下来，得到多例不同的病灶图像；
采用MobileNetV2，使用已收集的病灶重识别数据集训练MobileNetV2分类网络，提取MobileNetV2的输出特征作为外观特征。
其中，在该实施例中，卡尔曼滤波主要由卡尔曼滤波预测和卡尔曼滤波更新两个阶段，其状态参数为，其中各状态值分别为位置框的中心位置/>、纵横比/>、高度/>以及以上四个变量对应的变化速度。卡尔曼滤波预测是根据上一帧的位置和速度信息，预测当前帧的位置和速度，可表示为：
其中为状态转移矩阵，/>为协方差矩阵，/>为系统的噪声矩阵，k表示第k帧，即当前帧。卡尔曼滤波更新阶段是根据当前的预测值和观测值更新当前系统的状态，可表示为：
其中为测量矩阵，/>是检测器的噪声矩阵，得到的/>为卡尔曼增益，/>为当前帧观测值，即为匹配的检测框，由框的中心位置/>、纵横比/>、高度/>组成，/>为单位矩阵。
其中外观特征采用训练好的卷积神经网络提取特征。具体地，首先制作病灶重识别数据集，将同一个病灶在不同时刻下的图像裁剪下来，共采集500例不同的病灶图像，如图3所示为同一病灶在不同光源、染色情况的示例。
以MobileNetV2为例，使用已收集的病灶重识别数据集训练MobileNetV2分类网络。在跟踪阶段提取MobileNetV2的输出特征作为外观特征，模型结构如表1和2所示，最终对检测到的病灶区域提取得到128维的外观特征向量。
表1 外观特征模型结构表
其中瓶颈层结构如表2所示，t为表1的扩展因子，s为步长：
表2 外观特征网络结构提取说明表
进一步的，运动特征和外观特征，采用改进的deepsort对前后帧检测到的病灶进行匹配。不同于传统deepsort只取高置信度检测框，改进的deepsort同时兼顾低置信度检测框来提高跟踪轨迹的连续性。
同时由于内镜手术中切换光源和染色时内镜图像外观会发生剧烈变化，且染料的喷洒会导致病灶在一段时间内不可见。因此，结合当前手术状态的变化，当病灶跟踪轨迹发生手术状态变化时，对当前轨迹失配删除的帧数进行动态调整，调整的策略如表3所示，其中本方案N取120，α为1.3，β取2。当手术状态连续3N帧保持不变时，失配删除的帧数重新置为N。
表3 失配删除帧数调整表
具体的，步骤S300，具体包括：
根据病灶运动特征和病灶外观特征，采用改进的deepsort对前后帧检测到的病灶进行匹配；
结合当前手术状态特征，当病灶跟踪轨迹发生手术状态变化时，对当前轨迹失配删除的帧数进行动态调整。
具体的，参照图4，步骤S300还包括：
根据下消化道病灶检测模型得到当前帧的检测框，在初始化阶段不存在确认状态的病灶跟踪轨迹，取每个高置信度检测框初始化为未确认状态的病灶跟踪轨迹；
其中病灶跟踪轨迹有未确认状态、确认状态、删除三个状态；
通过卡尔曼滤波预测病灶跟踪轨迹下一帧的目标位置，即病灶跟踪轨迹的预测框；
当未确认状态的病灶跟踪轨迹通过IOU匹配连续命中3帧，则状态转为确认状态；
其中IOU匹配是使用匈牙利算法求解当前帧的检测框与病灶跟踪轨迹的预测框的IOU代价矩阵，得到检测框与预测框的关联关系；
当病灶跟踪轨迹中存在确认状态的病灶跟踪轨迹，将当前高置信度检测框与确认状态的病灶跟踪轨迹进行级联匹配，得到未匹配的病灶跟踪轨迹、未匹配的检测框以及匹配成功的检测框；
其中级联匹配使用运动特征与外观特征作为病灶跟踪轨迹的预测框与当前帧的检测框的关联关系；
将未匹配的病灶跟踪轨迹与低置信度检测框进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，在当前阶段未匹配的检测框直接删除；
将之前未匹配的检测框与未确认状态的病灶跟踪轨迹进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，对于当前未匹配的病灶跟踪轨迹，若为未确认状态则直接修改状态为删除，若为确认状态，判断当前病灶跟踪轨迹失配是否超过N帧，若超过则状态也改为删除。
对于当前未匹配的检测框初始化新病灶跟踪轨迹，对于匹配成功的病灶跟踪轨迹进行卡尔曼滤波更新。
其中，在该实施例中根据病灶检测模型得到当前帧的检测框。在初始化阶段没有确认状态的跟踪轨迹，因此取每个高置信度检测框初始化为未确认状态的跟踪轨迹，此处高置信度图像取置信度为0.3为高置信度图像。其中跟踪轨迹有未确认状态、确认状态、删除三个状态。跟踪轨迹通过卡尔曼滤波预测下一帧的目标位置，即跟踪轨迹的预测框。当未确认状态的跟踪轨迹通过IOU匹配连续命中3帧，则状态转为确认状态。其中IOU匹配是使用匈牙利算法求解当前检测框与跟踪轨迹的预测框的IOU代价矩阵，从而得到检测框与预测框的关联关系。
在该实施例中，当跟踪轨迹中存在确认状态的轨迹，将当前高置信度检测框与其进行级联匹配，得到未匹配的轨迹、未匹配的检测框以及匹配成功的检测框。其中级联匹配使用运动特征与外观特征作为轨迹的预测框与当前帧检测框的关联关系。具体地，使用马氏距离来计算第i个病灶跟踪轨迹的预测框与第j个当前帧的检测框/>之间的距离，即：
其中为病灶跟踪轨迹的预测框与检测框的协方差矩阵，上标/>表示转置运算。当两者距离小于给定阈值/>则表示两者关联，记为1，则该关联关系/>可表示为
类似地，使用余弦距离来计算当前帧的检测框与病灶跟踪轨迹的预测框对应图像区域的外观特征的距离，当两者距离小于给定阈值则表示两者关联，即：
其中为检测框的外观特征，/>为第i个轨迹之前匹配成功的外观特征向量的集合，则结合运动特征和外观特征的代价矩阵和关联矩阵可以分别表示为
级联匹配过程表示为以下流程：
输入：跟踪轨迹， 检测框/>, 失配删除帧数N；
计算所有病灶跟踪轨迹i与检测框j之间代价矩阵和关联矩阵/>；
初始化匹配集合，初始化未匹配检测框集合/>；
For n in [1, … , N] do：
根据病灶跟踪轨迹失配次数选择病灶跟踪轨迹 />，其中/>表示当前轨迹失配帧数；
使用匈牙利匹配计算轨迹与待匹配的检测框的最小代价集合/>；
更新匹配成功的集合；
从中删除已经匹配成功的检测目标j；
End；
具体的，步骤S400，具体包括：
当手术状态模型决策肠镜视频流中当前帧图像为体外类别帧时表明内镜检查结束；
统计下消化道检查过程中跟踪到的关键的病灶跟踪轨迹ID数，设置病灶跟踪轨迹ID在内镜检查过程中匹配成功的帧数大于匹配帧数阈值时，认定该病灶跟踪轨迹为关键病灶，进行病灶计数；
采用清晰度结合病灶面积作为评估指标，其中当前帧的清晰度D采用无参考图像的清晰度评价方法，当前帧的病灶大小以检测框长宽的乘积：作为指标，/>为检测框的长，/>为检测框的宽，同时对同一病灶跟踪轨迹下的清晰度和病灶大小做归一化操作；
归一化操作为：
其中、/>分别为同一病灶跟踪轨迹下匹配成功图片的清晰度中的最大值和最小值,/>、/>分别为同一病灶跟踪轨迹下匹配成功图片的病灶面积中的最大值和最小值，得到归一化后的清晰度/>、面积/>，最终选取这两项的加权平均值最大的病灶图像作为当前病灶跟踪轨迹的关键帧：
其中，取0.6。
根据本发明第二实施例，参照附图5，本发明请求保护一种下消化道病灶跟踪与关键病灶选取系统，其特征在于，包括：
手术状态识别模块，获取肠镜视频流，根据手术状态模型决策肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪；
特征提取模块，依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征；
跟踪匹配模块，基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果；
病灶选取模块，根据手术状态模型决策肠镜视频流中当前帧图像为体外类别帧时结束病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取病灶轨迹中满足预设条件的病灶图。
进一步的，跟踪匹配模块，具体包括：
根据病灶运动特征和病灶外观特征，采用改进的deepsort对前后帧检测到的病灶进行匹配；
结合当前手术状态特征，当病灶跟踪轨迹发生手术状态变化时，对当前轨迹失配删除的帧数进行动态调整。
进一步的，跟踪匹配模块还包括：
根据下消化道病灶检测模型得到当前帧的检测框，在初始化阶段不存在确认状态的病灶跟踪轨迹，取每个高置信度检测框初始化为未确认状态的病灶跟踪轨迹；
其中病灶跟踪轨迹有未确认状态、确认状态、删除三个状态；
通过卡尔曼滤波预测病灶跟踪轨迹下一帧的目标位置，即病灶跟踪轨迹的预测框；
当未确认状态的病灶跟踪轨迹通过IOU匹配连续命中3帧，则状态转为确认状态；
其中IOU匹配是使用匈牙利算法求解当前帧的检测框与病灶跟踪轨迹的预测框的IOU代价矩阵，得到检测框与预测框的关联关系；
当病灶跟踪轨迹中存在确认状态的病灶跟踪轨迹，将当前高置信度检测框与确认状态的病灶跟踪轨迹进行级联匹配，得到未匹配的病灶跟踪轨迹、未匹配的检测框以及匹配成功的检测框；
其中级联匹配使用运动特征与外观特征作为病灶跟踪轨迹的预测框与当前帧的检测框的关联关系；
将未匹配的病灶跟踪轨迹与低置信度检测框进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，在当前阶段未匹配的检测框直接删除；
将之前未匹配的检测框与未确认状态的病灶跟踪轨迹进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，对于当前未匹配的病灶跟踪轨迹，若为未确认状态则直接修改状态为删除，若为确认状态，判断当前病灶跟踪轨迹失配是否超过N帧，若超过则状态也改为删除。
对于当前未匹配的检测框初始化新病灶跟踪轨迹，对于匹配成功的病灶跟踪轨迹进行卡尔曼滤波更新。
进一步的，根据手术状态模型决策肠镜视频流中当前帧图像为体外类别帧时结束病灶轨迹跟踪，筛选得到的跟踪匹配结果中，具体包括：
当手术状态模型决策肠镜视频流中当前帧图像为体外类别帧时表明内镜检查结束；
统计下消化道检查过程中跟踪到的关键的病灶跟踪轨迹ID数，设置病灶跟踪轨迹ID在内镜检查过程中匹配成功的帧数大于匹配帧数阈值时，认定该病灶跟踪轨迹为关键病灶，进行病灶计数；
采用清晰度结合病灶面积作为评估指标，其中当前帧的清晰度D采用无参考图像的清晰度评价方法，当前帧的病灶大小以检测框长宽的乘积：作为指标，/>为检测框的长，/>为检测框的宽，同时对同一病灶跟踪轨迹下的清晰度和病灶大小做归一化操作。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (4)
1.一种下消化道病灶跟踪与关键病灶选取方法，其特征在于，包括：
获取肠镜视频流，根据手术状态模型决策所述肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪；
依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定所述当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征；
基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果；
根据所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取所述病灶轨迹中满足预设条件的病灶图；
所述基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果，具体包括：
根据所述病灶运动特征和病灶外观特征，采用改进的deepsort对前后帧检测到的病灶进行匹配；
结合所述当前手术状态特征，当病灶跟踪轨迹发生手术状态变化时，对当前轨迹失配删除的帧数进行动态调整；
根据所述下消化道病灶检测模型得到当前帧的检测框，在初始化阶段不存在确认状态的病灶跟踪轨迹，取每个高置信度检测框初始化为未确认状态的病灶跟踪轨迹；
其中病灶跟踪轨迹有未确认状态、确认状态、删除三个状态；
通过卡尔曼滤波预测所述病灶跟踪轨迹下一帧的目标位置，即病灶跟踪轨迹的预测框；
当未确认状态的病灶跟踪轨迹通过IOU匹配连续命中3帧，则状态转为确认状态；
其中IOU匹配是使用匈牙利算法求解所述当前帧的检测框与所述病灶跟踪轨迹的预测框的IOU代价矩阵，得到检测框与预测框的关联关系；
当所述病灶跟踪轨迹中存在确认状态的病灶跟踪轨迹，将当前高置信度检测框与确认状态的病灶跟踪轨迹进行级联匹配，得到未匹配的病灶跟踪轨迹、未匹配的检测框以及匹配成功的检测框；
其中级联匹配使用所述运动特征与所述外观特征作为病灶跟踪轨迹的预测框与当前帧的检测框的关联关系；
将未匹配的病灶跟踪轨迹与低置信度检测框进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，在当前阶段未匹配的检测框直接删除；
将之前未匹配的检测框与未确认状态的病灶跟踪轨迹进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，对于当前未匹配的病灶跟踪轨迹，若为未确认状态则直接修改状态为删除，若为确认状态，判断当前病灶跟踪轨迹失配是否超过N帧，若超过则状态也改为删除；
对于当前未匹配的检测框初始化新病灶跟踪轨迹，对于匹配成功的病灶跟踪轨迹进行卡尔曼滤波更新；
所述当所述病灶跟踪轨迹中存在确认状态的病灶跟踪轨迹，将当前高置信度检测框与确认状态的病灶跟踪轨迹进行级联匹配，得到未匹配的病灶跟踪轨迹、未匹配的检测框以及匹配成功的检测框，具体包括：
使用马氏距离来计算第i个病灶跟踪轨迹的预测框与第j个当前帧的检测框/>之间的距离/>，即：
；
其中为病灶跟踪轨迹的预测框与检测框的协方差矩阵，上标/>表示转置运算，当两者距离小于给定阈值/>则表示两者关联，记为1，则该关联关系/>可表示为：
；
使用余弦距离来计算当前帧的检测框与病灶跟踪轨迹的预测框对应图像区域的外观特征的距离，当两者距离小于给定阈值则表示两者关联：
；
；
其中为检测框的外观特征，/>为第i个轨迹之前匹配成功的外观特征向量的集合，则结合运动特征和外观特征的代价矩阵和关联矩阵分别表示为：
；
；
所述根据所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取所述病灶轨迹中满足预设条件的病灶图，具体包括：
当所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时表明内镜检查结束；
统计下消化道检查过程中跟踪到的关键的病灶跟踪轨迹ID数，设置病灶跟踪轨迹ID在内镜检查过程中匹配成功的帧数大于匹配帧数阈值时，认定该病灶跟踪轨迹为关键病灶，进行病灶计数；
采用清晰度结合病灶面积作为评估指标，其中当前帧的清晰度D采用无参考图像的清晰度评价方法，当前帧的病灶大小以检测框长宽的乘积：作为指标，/>为检测框的长，/>为检测框的宽，同时对同一病灶跟踪轨迹下的清晰度和病灶大小做归一化操作。
2.如权利要求1所述一种下消化道病灶跟踪与关键病灶选取方法，其特征在于，所述获取肠镜视频流，根据手术状态模型决策所述肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪，具体包括：
获取所述肠镜视频流图像，根据手术状态模型判断所述肠镜视频流中当前帧图像是否为体内类别帧，若为体内类别帧，则开启下消化道病灶检测模型执行病灶轨迹跟踪；
所述手术状态模型为分类模型，使用mobilenetv2轻量级分类模型，模型数据集类别包含体外、白光、NBI、靛胭脂染色。
3.如权利要求1所述一种下消化道病灶跟踪与关键病灶选取方法，其特征在于，所述依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定所述当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征，具体包括：
所述下消化道病灶检测模型采用单阶段检测模型yolov3-yolov8，或两阶段检测模型Faster RCNN、DetectoRS中的一个或多个，其中检测模型数据集为下消化道的主要病变，其数据集格式为COCO数据集的格式；
所述病灶运动特征采用卡尔曼滤波算法对所述病灶检测框的下一帧位置进行预测与更新；
所述卡尔曼滤波预测根据上一帧的位置和速度信息，预测当前帧的位置和速度；
所述病灶外观特征采用训练好的卷积神经网络提取特征，通过制作病灶重识别数据集，将同一个病灶在不同时刻下的图像裁剪下来，得到多例不同的病灶图像；
采用MobileNetV2，使用已收集的所述病灶重识别数据集训练MobileNetV2分类网络，提取MobileNetV2的输出特征作为外观特征。
4.一种下消化道病灶跟踪与关键病灶选取系统，其特征在于，包括：
手术状态识别模块，获取肠镜视频流，根据手术状态模型决策所述肠镜视频流中当前帧图像为体内类别帧，执行病灶轨迹跟踪；
特征提取模块，依据手术状态模型，结合下消化道病灶检测模型得到病灶检测框，确定所述当前帧图像中的病灶运动特征、病灶外观特征和当前手术状态特征；
跟踪匹配模块，基于病灶运动特征、病灶外观特征和当前手术状态特征得到对应的代价矩阵，采用改进的deepsort算法得到跟踪匹配结果；
病灶选取模块，根据所述手术状态模型决策所述肠镜视频流当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中的病灶轨迹，选取所述病灶轨迹中满足预设条件的病灶图；
所述跟踪匹配模块，具体包括：
根据所述病灶运动特征和病灶外观特征，采用改进的deepsort对前后帧检测到的病灶进行匹配；
结合所述当前手术状态特征，当病灶跟踪轨迹发生手术状态变化时，对当前轨迹失配删除的帧数进行动态调整；
所述跟踪匹配模块还包括：
根据所述下消化道病灶检测模型得到当前帧的检测框，在初始化阶段不存在确认状态的病灶跟踪轨迹，取每个高置信度检测框初始化为未确认状态的病灶跟踪轨迹；
其中病灶跟踪轨迹有未确认状态、确认状态、删除三个状态；
通过卡尔曼滤波预测所述病灶跟踪轨迹下一帧的目标位置，即病灶跟踪轨迹的预测框；
当未确认状态的病灶跟踪轨迹通过IOU匹配连续命中3帧，则状态转为确认状态；
其中IOU匹配是使用匈牙利算法求解所述当前帧的检测框与所述病灶跟踪轨迹的预测框的IOU代价矩阵，得到检测框与预测框的关联关系；
当所述病灶跟踪轨迹中存在确认状态的病灶跟踪轨迹，将当前高置信度检测框与确认状态的病灶跟踪轨迹进行级联匹配，得到未匹配的病灶跟踪轨迹、未匹配的检测框以及匹配成功的检测框；
其中级联匹配使用所述运动特征与所述外观特征作为病灶跟踪轨迹的预测框与当前帧的检测框的关联关系；
将未匹配的病灶跟踪轨迹与低置信度检测框进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，在当前阶段未匹配的检测框直接删除；
将之前未匹配的检测框与未确认状态的病灶跟踪轨迹进行IOU匹配，得到未匹配的检测框、未匹配的病灶跟踪轨迹以及匹配成功的病灶跟踪轨迹，对于当前未匹配的病灶跟踪轨迹，若为未确认状态则直接修改状态为删除，若为确认状态，判断当前病灶跟踪轨迹失配是否超过N帧，若超过则状态也改为删除；
对于当前未匹配的检测框初始化新病灶跟踪轨迹，对于匹配成功的病灶跟踪轨迹进行卡尔曼滤波更新；
所述当所述病灶跟踪轨迹中存在确认状态的病灶跟踪轨迹，将当前高置信度检测框与确认状态的病灶跟踪轨迹进行级联匹配，得到未匹配的病灶跟踪轨迹、未匹配的检测框以及匹配成功的检测框，具体包括：
使用马氏距离来计算第i个病灶跟踪轨迹的预测框与第j个当前帧的检测框/>之间的距离/>，即：
；
其中为病灶跟踪轨迹的预测框与检测框的协方差矩阵，上标/>表示转置运算，当两者距离小于给定阈值/>则表示两者关联，记为1，则该关联关系/>可表示为：
；
使用余弦距离来计算当前帧的检测框与病灶跟踪轨迹的预测框对应图像区域的外观特征的距离，当两者距离小于给定阈值则表示两者关联：
；
；
其中为检测框的外观特征，/>为第i个轨迹之前匹配成功的外观特征向量的集合，则结合运动特征和外观特征的代价矩阵和关联矩阵分别表示为：
；
；
所述根据所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时结束所述病灶轨迹跟踪，筛选得到的跟踪匹配结果中，具体包括：
当所述手术状态模型决策所述肠镜视频流中当前帧图像为体外类别帧时表明内镜检查结束；
统计下消化道检查过程中跟踪到的关键的病灶跟踪轨迹ID数，设置病灶跟踪轨迹ID在内镜检查过程中匹配成功的帧数大于匹配帧数阈值时，认定该病灶跟踪轨迹为关键病灶，进行病灶计数；
采用清晰度结合病灶面积作为评估指标，其中当前帧的清晰度D采用无参考图像的清晰度评价方法，当前帧的病灶大小以检测框长宽的乘积：作为指标，/>为检测框的长，/>为检测框的宽，同时对同一病灶跟踪轨迹下的清晰度和病灶大小做归一化操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311310540.5A CN117058139B (zh) | 2023-10-11 | 2023-10-11 | 一种下消化道病灶跟踪与关键病灶选取方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311310540.5A CN117058139B (zh) | 2023-10-11 | 2023-10-11 | 一种下消化道病灶跟踪与关键病灶选取方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117058139A CN117058139A (zh) | 2023-11-14 |
| CN117058139B true CN117058139B (zh) | 2024-01-26 |
Family
ID=88659426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311310540.5A Active CN117058139B (zh) | 2023-10-11 | 2023-10-11 | 一种下消化道病灶跟踪与关键病灶选取方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058139B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522924A (zh) * | 2023-11-22 | 2024-02-06 | 重庆大学 | 基于检测定位置信度指导的深度关联多目标跟踪方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553302A (zh) * | 2020-05-08 | 2020-08-18 | 深圳前海微众银行股份有限公司 | 关键帧选取方法、装置、设备及计算机可读存储介质 |
| CN111754615A (zh) * | 2020-05-07 | 2020-10-09 | 清华大学 | 高质量纹理的实时重建方法及装置 |
| CN113379693A (zh) * | 2021-06-01 | 2021-09-10 | 大连东软教育科技集团有限公司 | 基于视频摘要技术的胶囊内镜关键病灶图像检测方法 |
| CN116596927A (zh) * | 2023-07-17 | 2023-08-15 | 浙江核睿医疗科技有限公司 | 一种内镜视频处理方法、系统及装置 |
| CN116645402A (zh) * | 2023-03-30 | 2023-08-25 | 重庆邮电大学 | 一种基于改进目标检测网络的在线行人跟踪方法 |
-
2023
- 2023-10-11 CN CN202311310540.5A patent/CN117058139B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754615A (zh) * | 2020-05-07 | 2020-10-09 | 清华大学 | 高质量纹理的实时重建方法及装置 |
| CN111553302A (zh) * | 2020-05-08 | 2020-08-18 | 深圳前海微众银行股份有限公司 | 关键帧选取方法、装置、设备及计算机可读存储介质 |
| CN113379693A (zh) * | 2021-06-01 | 2021-09-10 | 大连东软教育科技集团有限公司 | 基于视频摘要技术的胶囊内镜关键病灶图像检测方法 |
| CN116645402A (zh) * | 2023-03-30 | 2023-08-25 | 重庆邮电大学 | 一种基于改进目标检测网络的在线行人跟踪方法 |
| CN116596927A (zh) * | 2023-07-17 | 2023-08-15 | 浙江核睿医疗科技有限公司 | 一种内镜视频处理方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117058139A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10885372B2 (en) | Image recognition apparatus, learning apparatus, image recognition method, learning method, and storage medium | |
| Li et al. | Colonoscopy polyp detection and classification: Dataset creation and comparative evaluations | |
| WO2021017291A1 (zh) | 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质 | |
| JP5312807B2 (ja) | 画像処理装置および画像処理プログラム | |
| CN117058139B (zh) | 一种下消化道病灶跟踪与关键病灶选取方法和系统 | |
| Li et al. | Learning to associate: Hybridboosted multi-target tracker for crowded scene | |
| US8290280B2 (en) | Image processing device, image processing method, and computer readable storage medium storing image processing program | |
| US8977109B2 (en) | Human interaction trajectory-based system | |
| AU2007327875B2 (en) | A multiple target tracking system incorporating merge, split and reacquisition hypotheses | |
| CN113379693B (zh) | 基于视频摘要技术的胶囊内镜关键病灶图像检测方法 | |
| Xing et al. | Bleeding detection in wireless capsule endoscopy image video using superpixel-color histogram and a subspace KNN classifier | |
| JP5784404B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| US20220172828A1 (en) | Endoscopic image display method, apparatus, computer device, and storage medium | |
| WO2009070560A1 (en) | Efficient multi-hypothesis multi-human 3d tracking in crowded scenes | |
| Fujita et al. | A practical plant diagnosis system for field leaf images and feature visualization | |
| CN111968091A (zh) | 一种临床图像中病变区域的检测和分类方法 | |
| CN113469985A (zh) | 内镜图像特征点提取方法 | |
| CN114372951A (zh) | 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 | |
| CN109241898B (zh) | 腔镜视像的目标定位方法和系统、存储介质 | |
| Naik et al. | YOLOv3-SORT: detection and tracking player/ball in soccer sport | |
| CN112529892A (zh) | 消化道内镜病变图像检测方法、系统和计算机存储介质 | |
| Huang et al. | Extracting keyframes of breast ultrasound video using deep reinforcement learning | |
| WO2023165033A1 (zh) | 识别医学图像中的目标的模型训练、方法、设备及介质 | |
| CN112967276A (zh) | 对象检测方法、装置、内窥镜系统、电子设备及存储介质 | |
| Alagarsamy et al. | Identifying the Missing People using Deep Learning Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |