CN115131396A - 一种基于帧间差改进的医学影像中目标跟踪方法 - Google Patents

一种基于帧间差改进的医学影像中目标跟踪方法 Download PDF

Info

Publication number
CN115131396A
CN115131396A CN202110323497.0A CN202110323497A CN115131396A CN 115131396 A CN115131396 A CN 115131396A CN 202110323497 A CN202110323497 A CN 202110323497A CN 115131396 A CN115131396 A CN 115131396A
Authority
CN
China
Prior art keywords
target
medical
tracking
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110323497.0A
Other languages
English (en)
Inventor
秦国锋
夏秋芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai City First Rehabilitation Hospital (shanghai Yangpu District Geriatric Hospital)
Tongji University
Original Assignee
Shanghai City First Rehabilitation Hospital (shanghai Yangpu District Geriatric Hospital)
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai City First Rehabilitation Hospital (shanghai Yangpu District Geriatric Hospital), Tongji University filed Critical Shanghai City First Rehabilitation Hospital (shanghai Yangpu District Geriatric Hospital)
Priority to CN202110323497.0A priority Critical patent/CN115131396A/zh
Publication of CN115131396A publication Critical patent/CN115131396A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于帧间差改进的医学影像中目标跟踪方法,在医学造影领域中,运动目标跟踪一直是研究的重点。目前,很多对于医学影像中目标跟踪的研究主要是基于医学图像分割的结果之上的,为了更好的研究药物作用效果,医学研究人员需要了解药物在体内的扩散机理,得到相关目标的运动状态。目标跟踪技术是医学造影中流动目标路径追踪的关键科学问题,利用流动目标的帧间运动信号,进行差分分析和图像识别,达到流动目标轨迹跟踪和区域定位的目的。本发明针对于医学造影影像的改进帧间差分法,在经典差分算法的基础上,针对造影影像这种特殊场景进行改进,利用随机分布点在帧间的传输,准确定位目标轮廓,实现目标跟踪。

Description

一种基于帧间差改进的医学影像中目标跟踪方法
技术领域
本发明涉及医学造影领域。
背景技术
医学影像学作为医学研究领域的重要研究方向,多年来很多学者科研人员都致力于医学图像的研究。对于医学图像当中的目标识别、检测问题一直受到很大的关注,传统的很多医学图像的识别工作都是基于人工的处理方法,费时费力,而且准确率很大程度上依赖于医学人员的专业知识,所以在计算机技术迅速发展的当今,我们希望能够实现计算机快速有效的辅助识别医学图像;目标跟踪技术是医学造影中流动目标路径追踪的关键科学问题,利用流动目标的帧间运动信号,进行差分分析和图像识别,达到流动目标轨迹跟踪和区域定位的目的。
医学图像中的运动跟踪旨在得出随时间推移的运动器官和身体部位的轨迹,在某些情况下还可以得出医疗器械的轨迹。目前,很多对于医学影像中目标跟踪的研究主要是基于医学图像分割的结果之上的给出基于可调阈值、区域和边缘的分割方法和对比。相应的已经提出了许多用于医学图像处理和分析的对象跟踪方法,但医学图像种类众多,尚未有比较强大的方法应对于各个场景的考验。
经典的帧间差分法
帧间差分法是一种通过对视频图像序列的连续两帧图像做差分运算获取运动目标轮廓的方法。当监控场景中出现异常目标运动时,相邻两帧图像之间会出现较为明显的差别,两帧相减,求得图像对应位置像素值差的绝对值,判断其是否大于某一预设阈值,进而分析视频或图像序列的物体运动特性。其数学公式描述如下:
Figure BDA0002993674450000011
D(x,y)为连续两帧图像之间的差分图像,F(t)和F(t-1)分别为t和t-1时刻的图像,T为差分图像二值化时选取的预设阈值,D(x,y)=1表示前景,D(x,y)=0表示背景。
该算法的优点是:算法实现简单,程序设计复杂度低,运行速度快;动态环境自适应性强,对场景光线变化不敏感。但是也存在着明显的缺点:“空洞”现象(运动物体内部灰度值相近);“双影”现象(差分图像物体边缘轮廓较粗);不能提取出运动对象的完整区域,仅能提取轮廓;算法效果严重依赖所选取的帧间时间间隔和分割阈值。
最接近现有技术及问题阐述
帧间差分法对于对于微弱形变的物体的跟踪有一定的优点,但对于有明显形变的目标,跟踪效果并不乐观,特别是在医学影像中,往往灰度特征不够明显。在诊断病人的吞咽障碍的过程中,医生会通过X射线透视检查,来观察吞咽物在病人的口腔及喉道的运动情况,进而判断吞咽是否有问题。Mosher首次提出并采用了吞咽X线荧光透视检查(VFSS),被称为诊断吞咽障碍、确定口咽功能紊乱机制的“金标准”。
在X线得到的医学影像中,医生通过喂食病人钡餐,使其在影像中显影。跟踪钡餐的轨迹,获取钡餐的运动学数据对医学的研究有着重要的意义。基于经典的帧间差分法可以得到某些片段中钡餐的运动情况,但是误差较大,常常标定到器官部位。
发明内容
本发明目的在于克服现有技术之不足,针对吞咽造影的视频序列,提出了一种改进的帧间差分法,结合离散点和钡餐流域分割的优点,可以较有效的进行视频图像中移动目标的跟踪识别。
技术方案
一种基于帧间差改进的医学影像中目标跟踪方法,其特征是,数据来源为DICOM格式的医学数据,过程为:
第一部分,图像预处理过程
步骤1,读取数据并利用simpleITK开源软件库将其转换成矩阵,方便后续的处理;
步骤2,在读取数据之后,利用灰度信息找到第一帧中目标的准确位置,截取合适的搜索框使其包含整个目标区域,相对于对整幅图像进行处理,聚焦于特定区域将大大提高处理效率以及减少误差的影响;
步骤3,对目标区域进行双边滤波,可以有效地减小噪声对图像处理的影响;
步骤4,灰度拉伸使得灰度相近的区域跨度增加,便于判定和分割;
第二部分,吞咽物目标定位过程
步骤5,对预处理后的图像利用改进的帧间差分方法,对得到的目标区域采用形态学中的开闭运算,去除空洞和线区域,并结合离散点位置和灰度信息,确定目标的位置。
附图说明
图1为实施例改进帧间差分方法目标跟踪流程图;
图2为实施例改进帧间差分方法目标跟踪结果图;
图3为本发明帧间差分法算法描述图;
图4为区域截取灰度拉伸图;
图5为目标跟踪效果图(a)单目标分裂成多目标(b)不完整区域(c)钡餐流域跟踪分割效果。
具体实施方式
以下结合附图和实施例对本发明技术方案做进一步说明。
本实施例的数据来源为DICOM格式的医学数据。
第一部分,图像预处理过程
步骤1,读取数据并利用simpleITK开源软件库将其转换成矩阵,方便后续的处理。
步骤2,在读取数据之后,利用灰度信息找到第一帧中目标的准确位置,截取合适的搜索框使其包含整个目标区域,相对于对整幅图像进行处理,聚焦于特定区域将大大提高处理效率以及减少误差的影响。
步骤3,对目标区域进行双边滤波,可以有效地减小噪声对图像处理的影响。
步骤4,灰度拉伸使得灰度相近的区域跨度增加,便于判定和分割。
第二部分,吞咽物目标定位过程
步骤5,对预处理后的图像利用改进的帧间差分方法,对得到的目标区域采用形态学中的开闭运算,去除空洞和线区域,并结合离散点位置和灰度信息,确定目标的位置。
上述整体处理过程如图1,结果展示如图2。
第一部分中:
一般来说,医学图像的噪声比较大,为了提高轮廓提取的精度,采用双边滤波进行去噪。双边滤波(Bilateral filter)是一种非线性的滤波方法,是结合图像的空间邻近度和像素值相似度的一种折衷处理,同时考虑空域信息和灰度相似性,达到保边去噪的目的。双边滤波器的好处是可以做边缘保存(edge preserving),高斯滤波去降噪,都会较明显地模糊边缘,对于高频细节的保护效果并不明显。双边滤波器顾名思义比高斯滤波多了一个高斯方差,它是基于空间分布的高斯滤波函数,所以在边缘附近,离的较远的像素不会太多影响到边缘上的像素值,这样就保证了边缘附近像素值的保存。但是由于保存了过多的高频信息,对于彩色图像里的高频噪声,双边滤波器不能够干净的滤掉,只能够对于低频信息进行噪声滤波。
灰度拉伸又叫对比度拉伸,它是最基本的一种灰度变换,使用的是最简单的分段线性变换函数,它的主要思想是提高图像处理时灰度级的动态范围。灰度拉伸对于医学图像处理效果较为明显,因为医学图像往往是灰度图像且分辨率不高,所以目标的边缘信息难以捕捉,利用灰度拉伸可以很好的减少灰度接近的影响。
使用灰度拉伸首先要截取关键区域,选择合适的灰度上限t_u和下限t_d,对区域内的像素进行范围限制。
Figure BDA0002993674450000041
假如此区域的点的灰度范围在10和150之间,而目标的灰度范围大约在30和50之间,那么可以取t_u=100,因为灰度大于100的点对于目标的识别影响较小,此时目标区域灰度值变成了10到100,将其拉伸到0和255的区间后,如图4,目标区域更好判定,边缘更容易提取。
在第二部分中:
改进的帧间差分法原理:
在步骤5中,本发明采用改进的帧间差分法,采用了流域分割,离散点跟踪,并利用动态跟踪框(包含目标区域的长方形区域)法,改进了差分法的不足,在吞咽造影视频序列中多次尝试,取得了相对于经典差分法更好的效果。算法主体如下:
针对第一帧的感兴趣区域,取得一个长方形搜索框包含这个区域,这样做的目的是减少数据量和噪声,加快处理速度。当前帧截取与前一帧搜索框位置大小相同的区域,然后与前一帧进行差值,得到差值矩阵d_frame,进行二值化处理:
Figure BDA0002993674450000051
其中T_diff为预设的二值化阈值,小于该值表示帧间变化较小,矩阵d_frame在此点的值为0,判定为背景点;抽取d_frame中值为1的区域为seg,这个区域内的点虽然是相对于前一帧变化较大的点,但不能直接判定为前景点,因为存在目标移动后,原来的位置也存在灰度值变化较大的情况。这时候将seg中的点投影到当前帧原图像的位置,原图像对应的点Image[x,y]如果大于预设的投影阈值T_p,令seg[x,y]=1,表示此点是背景点,在下面的步骤中要减除,反之令seg[x,y]=0,将该矩阵取名d_seg;将前一帧的感兴趣区域seg_p与d_frame相加,然后再减去d_seg就可以得到当前帧中的感兴趣区域seg_c:
segc=(dframe+segp)-d_seg (3)
取得当前感兴趣区域的中心,更新seg_p=seg_c,并得到新的搜索框及感兴趣区域的平均阈值,继续进行步骤下一帧,图3展示了算法思路。采用此方法进行帧间差分,可以很好的消除残影的影响,结合流域分割可以较为准确地得到运动目标的轮廓和区域。
在病人吞咽过程中,会出现多次吞咽和吞咽残留的情况,造成单目标转变成多目标,为解决视频序列中多目标的跟踪识别,本发明提出了一种离散点定位目标区域的方法,当某一帧的目标区域分裂成了若干区域,将小区域内的点分别记录下来,在下一帧中对每个小区域进行单目标识别的操作。离散点除了在多目标跟踪上有帮助,还可以结合流域分割修正目标边缘信息。本实施例选取的离散点基于目标所占像素点的个数,选取目标区域1/3数量的像素点并计算其中心位置(用于记录目标的移动轨迹)。在帧间差分得到的d_frame中利用opencv的findtours方法可以很容易找到各个区域的集合S并进行编号,删掉S中区域面积小于预设阈值k的区域(例如:在480*480的医学图像中,k取20可以很好的去除小块区域)。因为吞咽过程并不是无规则的运动,往往是如图5a的两种方式(虚线框为原始位置,图案为运动目标,纯色为其他区域),通过提取集合S中前五个较大的区域就可以判断目标的主要运动方向,然后可以根据当前帧与上一帧离散点的位置关系,去除非关键运动方向上的区域,如图5a中的纯色区域。针对于目标可能超出搜索框的情况(当前帧目标区域的离散点数量明显小于上一帧的离散点数量),结合流域分割找到离散点的流域在区域外的部分如图5b、5c,之后需要重新定位搜索框的位置和大小使其完全包含目标区域。
动态阈值调整
在医学影像分析中,很多视频序列会出现目标分裂或者目标面积变化的情况,这是目标的灰度值也随之变化,采用固定的阈值参数可能会将目标和背景区域错误划分,产生连续不断的误差,误差的堆积使得目标的跟踪变得尤为困难。所以当有噪声或者背景变化较大时,需要动态的调节阈值。
目前应用较广泛的是一种基于全局的二值化算法。它是根据图像的灰度特性,求出其最大类间方差,将图像分为前景和背景两个部分。当取最佳阈值时,两部分之间的差别应该是最大的,在OTSU算法中所采用的衡量差别的标准就是较为常见的最大类间方差。基于此本发明提出了一种针对于医学图像的动态阈值调整方法,为了减小运算量,结合搜索框和离散点跟踪方法的优点,并把前一帧中目标区域离散点的平均灰度作为当前帧的阈值的参考。假如前一帧离散点的平均灰度值为G1,对当前帧搜索框内的像素灰度拉伸,将G1也按相同尺度拉伸得到G2,搜索框内采用OTSU算法找出最佳阈值T,考虑到存在单目标分裂的情况,对平均灰度低于阈值T且在区间[G2-k,G2+k]的区域判定为前景目标区域,k一般取10。记录这些区域的离散点和平均灰度,带入下一帧的运算。实施例性能分析和验证
为了更好的验证算法的性能,本实施例选择了GMM和VIBE两种算法进行对比研究。Z.Yaniv,B.C.Lowekamp,H.J.Johnson,R.Beare,"SimpleITK Image-Analysis Notebooks:a Collaborative Environment for Education and Reproducible Research",J DigitImaging.,31(3):290-303,2018.中提出的增强型高斯混合模型(EGMM)具有代表性,是一种用于背景减除的确定性参数方法。B.C.Lowekamp,D.T.Chen,L.
Figure BDA0002993674450000073
D.Blezek,"TheDesign of SimpleITK",Front.Neuroinform.,7:45.,2013.中提出的VIBE算法对前景物体的边界描述更加清晰。此次没有和经典算法(帧间差,光流法等)进行对比,因为经典算法对背景的变化不够敏感,只有少数数据有参考价值,故不做比较。此次选择的数据样本来自医院放射科吞咽造影视频序列。具体如下表1
表1样本信息
Figure BDA0002993674450000071
评价指标的选择为:平均像素误差Average Pixel Error(APE),就是根据预测目标中心位置与真实位置的像素距离作为误差值,该值越大,说明误差越大。平均重叠率Average Overlap Rate(AOR),用目标区域和原始标注区域的重叠率来表示。表2给出了三种算法在侧视图和正视图的性能比较。
表2算法性能对比
Figure BDA0002993674450000072
注:AOR=AO/(A1+A2-AO),AO为两区域的重叠部分
三种算法速度都较快,但是VIBE和EGMM算法对残留的静止目标不敏感,容易出现识别不完整的情况,导致他们在精度和准确度上不如本发明改进的帧间差分法。对于医学图像的灰度图,前景和背景颜色相近,后两种算法可能会将前景误判为背景,导致出现较大的误差。特别是正视图,其中的运动目标的面积较小,而且存在长时间没有明显移动的情况,一旦发生移动又比较剧烈,这使得三种算法得到的结果都不理想。本发明提出的改进帧间差分法考虑到了运动物体的残留,在正视图中的结果仍有较大的优势。EGMM和VIBE都是需要对整个背景进行建模,而改进帧间差分法在搜索框中进行处理图像,不需要保存背景信息,大大节省了内存量,提高了性能,更适合对实时性有要求的场合。

Claims (1)

1.一种基于帧间差改进的医学影像中目标跟踪方法,其特征是,数据来源为DICOM格式的医学数据,过程为:
第一部分,图像预处理过程
步骤1,读取数据并利用simpleITK开源软件库将其转换成矩阵,方便后续的处理;
步骤2,在读取数据之后,利用灰度信息找到第一帧中目标的准确位置,截取合适的搜索框使其包含整个目标区域,相对于对整幅图像进行处理,聚焦于特定区域将大大提高处理效率以及减少误差的影响;
步骤3,对目标区域进行双边滤波,可以有效地减小噪声对图像处理的影响;
步骤4,灰度拉伸使得灰度相近的区域跨度增加,便于判定和分割;
第二部分,吞咽物目标定位过程
步骤5,对预处理后的图像利用改进的帧间差分方法,对得到的目标区域采用形态学中的开闭运算,去除空洞和线区域,并结合离散点位置和灰度信息,确定目标的位置。
CN202110323497.0A 2021-03-26 2021-03-26 一种基于帧间差改进的医学影像中目标跟踪方法 Pending CN115131396A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110323497.0A CN115131396A (zh) 2021-03-26 2021-03-26 一种基于帧间差改进的医学影像中目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110323497.0A CN115131396A (zh) 2021-03-26 2021-03-26 一种基于帧间差改进的医学影像中目标跟踪方法

Publications (1)

Publication Number Publication Date
CN115131396A true CN115131396A (zh) 2022-09-30

Family

ID=83374751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110323497.0A Pending CN115131396A (zh) 2021-03-26 2021-03-26 一种基于帧间差改进的医学影像中目标跟踪方法

Country Status (1)

Country Link
CN (1) CN115131396A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909302A (zh) * 2023-03-09 2023-04-04 菏泽学院 一种用于药物崩解性能识别的数据处理方法
CN115953327A (zh) * 2023-03-09 2023-04-11 极限人工智能有限公司 一种图像增强方法、系统、可读存储介质及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909302A (zh) * 2023-03-09 2023-04-04 菏泽学院 一种用于药物崩解性能识别的数据处理方法
CN115953327A (zh) * 2023-03-09 2023-04-11 极限人工智能有限公司 一种图像增强方法、系统、可读存储介质及电子设备
CN115953327B (zh) * 2023-03-09 2023-09-12 极限人工智能有限公司 一种图像增强方法、系统、可读存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN108292366B (zh) 在内窥镜手术中检测可疑组织区域的系统和方法
CN110772286B (zh) 一种基于超声造影识别肝脏局灶性病变的系统
JP5113841B2 (ja) 内視鏡からの映像を用いるコンピュータ支援解析
US8131054B2 (en) Computerized image analysis for acetic acid induced cervical intraepithelial neoplasia
KR100889014B1 (ko) 그래프 기반 접근 방법을 이용한 설진 영역 추출 방법
CN113723573B (zh) 基于自适应比例学习的肿瘤组织病理分类系统及方法
Tsai et al. Nucleus and cytoplast contour detector of cervical smear image
CN109635871B (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
Abd Halim et al. Nucleus segmentation technique for acute leukemia
CN115131396A (zh) 一种基于帧间差改进的医学影像中目标跟踪方法
AU2020100044A4 (en) Method of tracking of Surgical Target and Tool
Andrade-Miranda et al. An automatic method to detect and track the glottal gap from high speed videoendoscopic images
KR101436988B1 (ko) 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법
CN113362280B (zh) 一种基于医学造影的动态目标跟踪方法
Arnold et al. Indistinct frame detection in colonoscopy videos
CN115719307A (zh) 细胞玻片样本图片区域识别提取方法
CN110751673B (zh) 一种基于集成学习的目标跟踪方法
CN110599518B (zh) 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法
CN113940702A (zh) 一种甲状腺结节回声分析装置
Bhargavi et al. A comparison of image segmentation techniques, Otsu and watershed for X-ray images
Lebedev et al. Convolutional neural network for early detection of gastric cancer by endoscopic video analysis
CN112488036A (zh) 基于人工智能的舌头震颤程度评估系统
Arnold et al. Quality improvement of endoscopy videos
CN117893742B (zh) 一种葡萄膜炎影像特征识别方法
Borole et al. Study of various DIP Techniques used for Brain Tumor detection and tumor area calculation using MRI images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination