CN111080676A - 一种通过在线分类跟踪内窥镜图像序列特征点的方法 - Google Patents
一种通过在线分类跟踪内窥镜图像序列特征点的方法 Download PDFInfo
- Publication number
- CN111080676A CN111080676A CN201911327239.9A CN201911327239A CN111080676A CN 111080676 A CN111080676 A CN 111080676A CN 201911327239 A CN201911327239 A CN 201911327239A CN 111080676 A CN111080676 A CN 111080676A
- Authority
- CN
- China
- Prior art keywords
- feature point
- feature
- feature points
- tracking
- endoscope image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
本发明公开了一种通过在线分类跟踪内窥镜图像序列特征点的方法,在基于常规特征提取算法与基于样本与核的相似性度量的动态聚类算法相结合的基础上,引入适度的人工检视,构造了一种无标记少样本的在线软组织表面特征点的分类模型,来实现在线跟踪,这样解决了以往各种特征跟踪中或者目标跟踪中需要大量的标记样本的问题,符合当前临床医疗发展的需要。
Description
技术领域
本发明属于视觉跟踪技术领域,更为具体地讲,涉及一种通过在线分类跟踪内窥镜图像序列特征点的方法。
背景技术
近年来,机器人技术越来越多的用于微创手术领域,用于减轻患者痛苦,降低手术医生的工作强度,提高手术精度和降低手术难度。很多先进的机器人辅助手术技术,都需要建立在对手术器官软组织表面特征点的精确跟踪上。此外,对内窥镜图像序列软组织表面特征点的跟踪,在术后手术效果分析、手术培训和教学、虚拟现实软组织3D建模等领域也有重要应用。
传统上,医学工程领域实现软组织表面的三维重构和跟踪,是通过构建各种模型实现跟踪软组织表面的运动。例如R.R i c ha等在文献《Three-dimensional motiontracking for beating heart surgery using a thin-plate spline deformablemodel》中使用薄板样条模型跟踪跳动心脏表面的运动。W.Lau等在文献《Stereo-basedendoscopic tracking of cardiac surface deformation》中利用B样条模型基于立体内窥镜影像对心脏表面形变进行三维跟踪,D.Stoyanov等在文献《A practical approachtowards accurate dense 3-D depth recovery for robotic laparoscopic surgery》中则使用分片双线性映射模型在机器人辅助内窥镜手术中对心脏表面进行三维重构和跟踪。
然而,这些传统的方法所采用的形变模型通常较为复杂,在对每一帧模型参数求解时,往往无法获得最优的参数解,甚至导致迭代求优算法无法收敛,容易导致跟踪失败。而现有的简单形变模型,如线性仿射变换模型,在用于跟踪时通常可以满足实时性要求,但由于无法准确描述软组织表面的非线性形变,因而无法获得精确的三维跟踪结果。
近期,有学者将深度学习技术应用到目标跟踪领域,但是对于软组织图像序列,很难建立深度学习技术所需的训练数据集,在目标跟踪中的正样本只有初始帧中的目标,没有大量的标记样本难以训练出性能优良的分类器;并且随着卷积层数量的提高以及训练网络的复杂,算法的实效性很低。
发明内容
本发明的目的在于克服现有技术的不足,提供一种通过在线分类跟踪内窥镜图像序列特征点的方法,能够准确的分类图像特征点,实现在线跟踪。
为实现上述发明目的,本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法,其特征在于,包括以下步骤:
(1)、图像采集;
在线采集内窥镜图像并将内窥镜图像进行灰度转换;
(2)、构建特征点向量集合;
(3)、利用动态聚类算法对特征点向量集合进行在线聚类,得到初始分类模型;
(3.1)、利用模糊C均值算法对V进行计算,将V划分为c类;
(3.4)、同理,计算特征点向量集合V中剩余特征点到每类核的距离,从而实现剩余特征点的类别划分,并记录下剩余特征点对应的核;
(3.5)、将步骤(3.3)-(3.4)中记录的所有类的核Kj组成初始分类模型A;
(4)、修正初始分类模型A;
(4.2)、利用初始分类模型A对特征点向量集合V(T+1)中的特征点进行分类;
(4.3)、设置“看门狗”,用符号g表示,初始时刻g=0;
(4.4)、通过人工检视的方式检视步骤(4.2)的分类结果是否全部正确,如果分类结果全部正确,则利用第T+1帧中的特征点修正初始分类模型A,且g增加1,然后返回步骤(4.1),进行下一帧内窥镜图像的处理;否则,将g重新置为0,然后返回步骤(4.1),进行下一帧内窥镜图像的处理;
(4.5)、当g的数值达到预设阈值ρ时,则初始分类模型A修正结束,即得到最终的分类模型;
(5)、利用最终的分类模型对下一帧即将到来的内窥镜图像的特征点进行在线分类,实现内窥镜图像序列软组织特点的实时跟踪。
本发明的发明目的是这样实现的:
本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法,在基于常规特征提取算法与基于样本与核的相似性度量的动态聚类算法相结合的基础上,引入适度的人工检视,构造了一种无标记少样本的在线软组织表面特征点的分类模型,来实现在线跟踪,这样解决了以往各种特征跟踪中或者目标跟踪中需要大量的标记样本的问题,符合当前临床医疗发展的需要。
同时,本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法还具有以下有益效果:
(1)、运算量小:由于所构造的跟踪算法是特征提取算法与聚类算法的结合,而后者的成熟度很高;再加上所需要的样本量少,因此可以迅速求出聚类参数,具有简单、灵活等特点,符合当前临床医疗发展的需要。
(2)、不需要标记样本:在分类器初始训练阶段,聚类算法本身属于无监督算法,所有的视频帧均不需要标记;在分类器再训练阶段,由于我们加入了人工干预,所以不需要标记样本,进而整个模型的所有样本都不要标记。
(3)、跟踪准确性好且在线跟踪:由于在分类器再训练阶段,为了提高跟踪准确性,我们使用较少的人工干预,以此提高聚类模型的分类准确性(即跟踪准确性),内窥镜图像是随着采集一帧一帧的进入我们的系统,并且在线聚类,最终实现在线跟踪。
附图说明
图1是本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法流程图;
图2是获取初始分类模型的流程图;
图3是修正初始分类模型的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
图1是本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法流程图。
在本实施例中,如图1所示,本发明一种通过在线分类跟踪内窥镜图像序列特征点的方法,包括以下步骤:
S1、图像采集;
在线采集内窥镜图像并将内窥镜图像进行灰度转换;
S2、构建特征点向量集合;
S3、如图2所示,利用动态聚类算法对特征点向量集合进行在线聚类,得到初始分类模型;
S3.1、利用模糊C均值算法对V进行计算,将V划分为c类;
其中,d表示特征点向量的维度,λj表示Kj的参数集,参数集λj={mj,Uj},mj是特征点均值,Uj为特征点协方差矩阵;定义特征点到核Kj的距离为: 采用正态核函数的目的在于,我们的软组织中某一部位的特征点的分布呈正态分布。
S3.4、同理,计算特征点向量集合V中剩余特征点到每类核的距离,从而实现剩余特征点的类别划分,并记录下剩余特征点对应的核;
S3.5、将步骤S3.3-S3.4中记录的所有类的核Kj组成初始分类模型A;
S4、如图3所示,修正初始分类模型A;
S4.2、利用初始分类模型A对特征点向量集合V(T+1)中的特征点进行分类;
S4.3、设置“看门狗”,用符号g表示,初始时刻g=0;
S4.4、通过人工检视的方式检视步骤S4.2的分类结果是否全部正确,如果分类结果全部正确,则利用第T+1帧中的特征点修正初始分类模型A,且g增加1,然后返回步骤S4.1,进行下一帧内窥镜图像的处理;否则,将g重新置为0,然后返回步骤S4.1,进行下一帧内窥镜图像的处理;
S4.5、当g的数值达到预设阈值ρ=20时,则初始分类模型A修正结束,即得到最终的分类模型;将预设阈值设置到20的目的在于,可以将更多的正样本帧的特征点加入到修正分类模型A的过程中,并且最终正样本数远远超过阈值20,这样有利于修改模型达到我们的标准。
S5、利用最终的分类模型对下一帧即将到来的内窥镜图像的特征点进行在线分类,实现内窥镜图像序列软组织特点的实时跟踪。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (3)
1.一种通过在线分类跟踪内窥镜图像序列特征点的方法,其特征在于,包括以下步骤:
(1)、图像采集;
在线采集内窥镜图像并将内窥镜图像进行灰度转换;
(2)、构建特征点向量集合;
(3)、利用动态聚类算法对特征点向量集合进行在线聚类,得到初始分类模型;
(3.1)、利用模糊C均值算法对V进行计算,将V划分为c类;
(3.4)、同理,计算特征点向量集合V中剩余特征点到每类核的距离,从而实现剩余特征点的类别划分,并记录下剩余特征点对应的核;
(3.5)、将步骤(3.3)-(3.4)中记录的所有类的核Kj组成初始分类模型A;
(4)、修正初始分类模型A;
(4.2)、利用用初始分类模型A对特征点向量集合V(T+1)中的特征点进行分类;
(4.3)、设置“看门狗”,用符号g表示,初始时刻g=0;
(4.4)、通过人工检视的方式检视步骤(4.2)的分类结果是否全部正确,如果分类结果全部正确,则利用第T+1帧中的特征点修正初始分类模型A,且g增加1,然后返回步骤(4.1),进行下一帧内窥镜图像的处理;否则,将g重新置为0,然后返回步骤(4.),进行下一帧内窥镜图像的处理;
(4.5)、当g的数值达到预设阈值ρ时,则初始分类模型A修正结束,即得到最终的分类模型;
(5)、利用最终的分类模型对下一帧即将到来的内窥镜图像的特征点进行在线分类,实现内窥镜图像序列软组织特点的实时跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911327239.9A CN111080676B (zh) | 2019-12-20 | 2019-12-20 | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911327239.9A CN111080676B (zh) | 2019-12-20 | 2019-12-20 | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111080676A true CN111080676A (zh) | 2020-04-28 |
CN111080676B CN111080676B (zh) | 2022-03-25 |
Family
ID=70316292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911327239.9A Active CN111080676B (zh) | 2019-12-20 | 2019-12-20 | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111080676B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112614152A (zh) * | 2020-12-22 | 2021-04-06 | 电子科技大学 | 一种基于深度特征学习的软组织表面运动跟踪方法 |
CN113786239A (zh) * | 2021-08-26 | 2021-12-14 | 哈尔滨工业大学(深圳) | 胃部消化道下手术器械追踪和实时预警的方法和系统 |
CN117204950A (zh) * | 2023-09-18 | 2023-12-12 | 普密特(成都)医疗科技有限公司 | 基于图像特征的内窥镜位置引导方法、装置、设备及介质 |
CN117204950B (zh) * | 2023-09-18 | 2024-05-10 | 普密特(成都)医疗科技有限公司 | 基于图像特征的内窥镜位置引导方法、装置、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103948361A (zh) * | 2014-04-14 | 2014-07-30 | 中国人民解放军总医院 | 无标志点的内窥镜定位跟踪方法和系统 |
CN105160649A (zh) * | 2015-06-30 | 2015-12-16 | 上海交通大学 | 基于核函数非监督聚类的多目标跟踪方法及系统 |
US20180247107A1 (en) * | 2015-09-30 | 2018-08-30 | Siemens Healthcare Gmbh | Method and system for classification of endoscopic images using deep decision networks |
CN109711454A (zh) * | 2018-12-21 | 2019-05-03 | 电子科技大学 | 一种基于卷积神经网络的特征匹配方法 |
CN109977971A (zh) * | 2019-03-29 | 2019-07-05 | 苏州大学 | 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统 |
CN110046555A (zh) * | 2019-03-26 | 2019-07-23 | 合肥工业大学 | 内窥镜系统视频稳像方法及装置 |
CN110335266A (zh) * | 2019-07-04 | 2019-10-15 | 五邑大学 | 一种智能中医目诊图像处理方法及装置 |
-
2019
- 2019-12-20 CN CN201911327239.9A patent/CN111080676B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103948361A (zh) * | 2014-04-14 | 2014-07-30 | 中国人民解放军总医院 | 无标志点的内窥镜定位跟踪方法和系统 |
CN105160649A (zh) * | 2015-06-30 | 2015-12-16 | 上海交通大学 | 基于核函数非监督聚类的多目标跟踪方法及系统 |
US20180247107A1 (en) * | 2015-09-30 | 2018-08-30 | Siemens Healthcare Gmbh | Method and system for classification of endoscopic images using deep decision networks |
CN109711454A (zh) * | 2018-12-21 | 2019-05-03 | 电子科技大学 | 一种基于卷积神经网络的特征匹配方法 |
CN110046555A (zh) * | 2019-03-26 | 2019-07-23 | 合肥工业大学 | 内窥镜系统视频稳像方法及装置 |
CN109977971A (zh) * | 2019-03-29 | 2019-07-05 | 苏州大学 | 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统 |
CN110335266A (zh) * | 2019-07-04 | 2019-10-15 | 五邑大学 | 一种智能中医目诊图像处理方法及装置 |
Non-Patent Citations (6)
Title |
---|
BINGXIONG LIN .ETC: ""Efficient Vessel Feature Detection for Endoscopic Image Analysis"", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 * |
CHUN-JU CHEN .ETC: ""Image Tracking of Laparoscopic Instrument Using Spiking Neural Networks"", 《13TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS (ICCAS 2013)》 * |
DANAIL STOYANOV .ETC: ""A practical approach towards accurate dense 3D depth recovery for robotic laparoscopic surgery"", 《COMPUTER AIDED SURGERY》 * |
JUN-YAN HE .ETC: ""Hookworm Detection in Wireless Capsule Endoscopy Images With Deep Learning"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
尤素萍 等: ""基于光场成像数字重聚焦过程的性能分析"", 《系统仿真学报》 * |
强俊 等: ""基于核学习算法的内窥镜图像的识别"", 《第十二届全国图象图形学学术会议论文集》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112614152A (zh) * | 2020-12-22 | 2021-04-06 | 电子科技大学 | 一种基于深度特征学习的软组织表面运动跟踪方法 |
CN112614152B (zh) * | 2020-12-22 | 2022-03-25 | 电子科技大学 | 一种基于深度特征学习的软组织表面运动跟踪方法 |
CN113786239A (zh) * | 2021-08-26 | 2021-12-14 | 哈尔滨工业大学(深圳) | 胃部消化道下手术器械追踪和实时预警的方法和系统 |
CN117204950A (zh) * | 2023-09-18 | 2023-12-12 | 普密特(成都)医疗科技有限公司 | 基于图像特征的内窥镜位置引导方法、装置、设备及介质 |
CN117204950B (zh) * | 2023-09-18 | 2024-05-10 | 普密特(成都)医疗科技有限公司 | 基于图像特征的内窥镜位置引导方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111080676B (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mahmood et al. | Unsupervised reverse domain adaptation for synthetic medical images via adversarial training | |
CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
CN111047594B (zh) | 肿瘤mri弱监督学习分析建模方法及其模型 | |
WO2021088747A1 (zh) | 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法 | |
Ibragimov et al. | Segmentation of pathological structures by landmark-assisted deformable models | |
CN107993221B (zh) | 心血管光学相干断层oct图像易损斑块自动识别方法 | |
Mountney et al. | Soft tissue tracking for minimally invasive surgery: Learning local deformation online | |
Rezaei et al. | Whole heart and great vessel segmentation with context-aware of generative adversarial networks | |
Li et al. | Dual-teacher++: Exploiting intra-domain and inter-domain knowledge with reliable transfer for cardiac segmentation | |
CN111430025B (zh) | 一种基于医疗影像数据扩增的疾病诊断模型训练方法 | |
CN111080676B (zh) | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 | |
CN112184720B (zh) | 一种ct图像的内直肌和视神经分割方法及系统 | |
CN113096137A (zh) | 一种oct视网膜图像领域适应分割方法及系统 | |
CN110570430B (zh) | 基于体配准的眼眶骨组织分割方法 | |
CN108898601B (zh) | 基于随机森林的股骨头图像分割装置及分割方法 | |
Yang et al. | Efficient catheter segmentation in 3D cardiac ultrasound using slice-based FCN with deep supervision and f-score loss | |
Rieke et al. | Computer vision and machine learning for surgical instrument tracking: Focus: random forest-based microsurgical tool tracking | |
Huang et al. | Multi-target osteosarcoma MRI recognition with texture context features based on CRF | |
Miao et al. | Agent-based methods for medical image registration | |
Lajkó et al. | Surgical skill assessment automation based on sparse optical flow data | |
Schwab et al. | Multimodal medical image registration using particle swarm optimization with influence of the data's initial orientation | |
Urschler et al. | Assessing breathing motion by shape matching of lung and diaphragm surfaces | |
Deligianni et al. | Non-rigid 2d-3d registration with catheter tip em tracking for patient specific bronchoscope simulation | |
Yan et al. | Segmentation of pulmonary parenchyma from pulmonary CT based on ResU-Net++ model | |
CN114359309A (zh) | 基于标定点检测和形状灰度模型匹配的医学图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |