CN113808105A - 一种基于超声扫查的病灶检测方法 - Google Patents

一种基于超声扫查的病灶检测方法 Download PDF

Info

Publication number
CN113808105A
CN113808105A CN202111091516.8A CN202111091516A CN113808105A CN 113808105 A CN113808105 A CN 113808105A CN 202111091516 A CN202111091516 A CN 202111091516A CN 113808105 A CN113808105 A CN 113808105A
Authority
CN
China
Prior art keywords
focus
frame
tracking
track
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111091516.8A
Other languages
English (en)
Other versions
CN113808105B (zh
Inventor
程栋梁
洪洋
刘振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Hebin Intelligent Robot Co ltd
Original Assignee
Hefei Hebin Intelligent Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Hebin Intelligent Robot Co ltd filed Critical Hefei Hebin Intelligent Robot Co ltd
Priority to CN202111091516.8A priority Critical patent/CN113808105B/zh
Publication of CN113808105A publication Critical patent/CN113808105A/zh
Application granted granted Critical
Publication of CN113808105B publication Critical patent/CN113808105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于超声扫查的病灶检测方法,包括:对第t帧图像进行目标检测即病灶识别,识别出各个病灶以及各个病灶的区间位置,构成第t帧病灶集合Dt;将第t帧病灶集合Dt中的各个病灶分别与上一帧跟踪队列即第t‑1帧跟踪队列Pt‑1中的各个跟踪轨迹进行关联匹配,得到第t帧跟踪队列Pt;依次类推,直至读取完超声扫查视频中的最后一帧图像,得到最后一帧跟踪队列,该最后一帧跟踪队列即为超声扫查视频的完整跟踪队列。本发明对超声扫查视频进行疑似病灶区域的跟踪,能够实现病灶区域的实时定位,克服仅利用单帧图像信息的片面性,提升对超声图像的时空维度的全面利用,从而提高病灶检测的准确度。

Description

一种基于超声扫查的病灶检测方法
技术领域
本发明涉及超声检查的技术领域,尤其是一种基于超声扫查的病灶检测方法。
背景技术
超声诊断是腹部肾脏、肝脏、胰腺、脾脏、胆囊等器官首选影像学检查和术前评估方法。但病灶识别仍欠缺定量、稳定的分析手段,严重依赖医生的临床经验。近年来,基于计算机技术的医疗影像分析水平快速发展,超声影像分析取得了一系列里程碑式的突破,为医疗提供有效的诊断决策支持。医学超声图像通常包含较多标记和背景信息,而病灶区即发生病变的区域往往仅占小部分,对病灶区检测可以将有效信息从周围组织及标记中分离出来,进而提高后续特征分析的准确度。相对通用目标检测问题,病灶区域通常因人、因病而异,没有固定的形态及纹理特征,并且受限于超声图像采集原理及设备的影响,对比度低、斑点噪声一直影响着超声图像的质量。目前病灶识别方法需要医生手动截取超声扫查视频的单张图像,上传到云端进行识别,单张图像病灶信息并不充分,超声图像经常会有某些切面的一些脂肪、血管、组织等看起来与病灶无异,必须结合前后的影像综合判断,所以基于单张图像的病灶识别不完全准确,通常会有很高的假阳性。
现有技术中,利用深度学习方法对单张图像的病灶识别进行优化,但是,深度学习方法依赖于大量经过高质量标注的数据,然而医疗数据需要具有专业临床经验的医生进行标注,这就形成了医疗数据的产出与算法需求之间的矛盾,目前病灶检测模型都是基于单张图像而不是完整扫查视频的序列图像进行训练的,由于参与训练的背景数据有限,当目标检测算法应用在视频中时,定位误差会引起预测框前后帧突变或者跳跃性的假阳性检测,进而引发预测框不稳定现象。由于超声扫查的视频场景是实时性的,因此模型的复杂度必须较低,但因超声运动受到操作者动作的影响,病灶区域变化较大且不稳定,要获得鲁棒的跟踪效果难度较大。
发明内容
为了克服上述现有技术中的缺陷,本发明提供一种基于超声扫查的病灶检测方法,提高了病灶检测的准确度。
为实现上述目的,本发明采用以下技术方案,包括:
一种基于超声扫查的病灶检测方法,包括以下步骤:
S1,读取超声扫查视频中的当前帧图像即第t帧图像,对第t帧图像进行目标检测即病灶识别,从第t帧图像中识别出nt个病灶以及各个病灶的区间位置,此nt个病灶即构成第t帧病灶集合Dt
Figure BDA0003267672700000021
Figure BDA0003267672700000022
表示第t帧病灶集合Dt中的第it个病灶,it=1,2,…,nt;nt表示第t帧图像中的病灶总个数;
S2,将第t帧病灶集合Dt中的各个病灶分别与上一帧跟踪队列即第t-1帧跟踪队列Pt-1中的各个跟踪轨迹进行关联匹配,得到第t帧跟踪队列Pt
其中,第t-1帧跟踪队列Pt-1为基于前t-1帧图像的识别结果所形成,第t-1帧跟踪队列Pt-1中包括mt-1个跟踪轨迹,每个跟踪轨迹分别对应跟踪一个病灶;
Figure BDA0003267672700000023
Figure BDA0003267672700000024
表示第t-1帧跟踪队列Pt-1中的第jt-1个跟踪轨迹,jt-1=1,2,…mt-1
S3,按照步骤S1~S2的方式,依次读取超声扫查视频中的下一帧图像,对下一帧图像进行病灶识别,从下一帧图像中识别出若干个病灶以及各个病灶的区间位置,得到下一帧病灶集合,将下一帧病灶集合中的各个病灶分别与上一帧跟踪队列中的各个跟踪轨迹进行关联匹配,得到下一帧跟踪队列;
直至读取完超声扫查视频中的最后一帧图像,得到最后一帧跟踪队列,该最后一帧跟踪队列即为超声扫查视频的完整跟踪队列。
步骤S2中,关联匹配的具体方式如下所示:
S21,将第t帧病灶集合Dt中的各个病灶分别与第t-1帧跟踪队列Pt-1中的各个跟踪轨迹进行IOU计算;
其中,第t帧病灶集合Dt中的第it个病灶
Figure BDA0003267672700000031
与第t-1帧跟踪队列Pt-1中第jt-1个跟踪轨迹
Figure BDA0003267672700000032
的IOU计算如下所示:
Figure BDA0003267672700000033
Figure BDA0003267672700000034
表示病灶
Figure BDA0003267672700000035
的面积;
Figure BDA0003267672700000036
表示跟踪轨迹
Figure BDA0003267672700000037
所对应跟踪的病灶的面积;病灶的面积基于病灶的区间位置计算;
Figure BDA0003267672700000038
为病灶
Figure BDA0003267672700000039
与跟踪轨迹
Figure BDA00032676727000000310
之间的IOU值;
S22,针对第t帧病灶集合Dt中的各个病灶,分别找出各个病灶的最大IOU值,并判断病灶的最大IOU值是否大于设定的阈值σIOU,其中,
S221,若病灶
Figure BDA00032676727000000311
的最大IOU值大于设定的阈值σIOU,则将该病灶
Figure BDA00032676727000000312
关联至最大IOU值所对应的跟踪轨迹
Figure BDA00032676727000000313
上,并对最大IOU值所对应的该跟踪轨迹
Figure BDA00032676727000000314
进行更新,得到更新后的跟踪轨迹;
S222,若病灶
Figure BDA00032676727000000315
的最大IOU值不大于设定的阈值σIOU,则判断该病灶
Figure BDA00032676727000000316
的真实性;其中,若该病灶
Figure BDA00032676727000000317
的真实性值大于设定的阈值σg,则为该病灶新建立一个跟踪轨迹,若该病灶
Figure BDA00032676727000000318
的真实性值不大于设定的阈值σg,则将该病灶视为虚假病灶,后续不进行处理;
S23,根据新建立的跟踪轨迹、更新后的跟踪轨迹、历史跟踪轨迹即未更新的跟踪轨迹,构成第t帧跟踪队列Pt
步骤S221中,病灶
Figure BDA00032676727000000319
关联至最大IOU值所对应的跟踪轨迹
Figure BDA00032676727000000320
得到更新后的跟踪轨迹后,还对更新后的跟踪轨迹所对应跟踪的病灶的区间位置进行更新,具体如下所示:
最大IOU值所对应的跟踪轨迹
Figure BDA00032676727000000321
所对应跟踪的病灶在x轴上的区间范围为x1t-1~x2t-1,在y轴上的区间范围为y1t-1~y2t-1
病灶
Figure BDA00032676727000000322
在x轴上的区间范围为x1t~x2t,在y轴上的区间范围为y1t~y2t
更新后的跟踪轨迹所对应跟踪的病灶在x轴上的区间范围为αx1t-1+βx1t~αx2t-1+βx2t,在y轴上的区间范围为αy1t-1+βy1t~αy2t-1+βy2t
Figure BDA00032676727000000410
Figure BDA0003267672700000041
其中,
Figure BDA0003267672700000042
为病灶
Figure BDA0003267672700000043
的置信度,
Figure BDA0003267672700000044
为最大IOU值所对应的跟踪轨迹
Figure BDA0003267672700000045
中所关联的最后一个病灶的置信度;α、β均为系数;
病灶的置信度为目标检测即病灶识别过程中所获取的该病灶的参数,用于表征目标检测所识别的该病灶可信度。
步骤S222中,病灶
Figure BDA0003267672700000046
的真实性计算方式为:
Figure BDA0003267672700000047
其中,g为病灶的真实性值;
Figure BDA0003267672700000048
为病灶
Figure BDA0003267672700000049
的置信度;
病灶的置信度为目标检测即病灶识别过程中所获取的该病灶的参数,用于表征目标检测所识别的该病灶可信度。
读取超声扫查视频中的第1帧图像,对第1帧图像进行目标检测即病灶识别,得到第1帧病灶集合D1,第1帧病灶集合D1中的各个病灶不进行关联匹配,根据第1帧病灶集合D1生成第1帧跟踪队列P1,且第1帧病灶集合D1中的每一个病灶均对应一个跟踪轨迹,即第1帧跟踪队列P1中跟踪轨迹的数量与第1帧病灶集合D1中病灶的数量相同。
最后一帧跟踪队列即为超声扫查视频的完整跟踪队列,分别计算最后一帧跟踪队列中的每个跟踪轨迹的累计置信度∑conf,将累计置信度∑conf超过设定阈值σ∑conf的跟踪轨迹作为真实跟踪轨迹,真实跟踪轨迹所对应跟踪的病灶即为病灶检测的结果;
所述累计置信度∑conf为:跟踪轨迹中所关联的各个病灶的置信度之和;
病灶的置信度为目标检测即病灶识别过程中所获取的该病灶的参数,用于表征目标检测所识别的该病灶可信度。
病灶的区间位置是指目标检测过程中该病灶检测框的大小和位置。
本发明的优点在于:
(1)本发明对超声扫查视频进行疑似病灶区域的跟踪,能够实现病灶区域的实时定位,克服仅利用单帧图像信息的片面性,提升对超声图像的时空维度的全面利用,从而提高病灶检测的准确度。
(2)超声图像有别于自然场景图像,病灶的形状不规则、边界不明确,病灶内部特征多样,其次与周围组织、器官区分性不明显,极易出现假阳性误检,因此在超声扫查过程中,出现大量只出现一次的突变性假阳性误检,非常影响医生的观察与判断,降低了辅助诊断的体验。突变性假阳性误检通常置信度较低,在实际的检测中大多方法采用提高置信度阈值来过滤这些误检,但是单一性的阈值不能够过滤高置信度误检,同时会降低微小病灶的检出率。由于病灶作为占位性病变,在多角度扫查过程中,通常会连续多帧被检测到,受到这种先验的启发,因此,本发明提出了IOU跟踪策略来捕获能够被连续多帧检测到的病灶,大大降低突变性假阳性误检。
(3)微小病灶的图像占比小,特征信息少,通常置信度偏低,并且尺度远小于突变性误检,受扫查医生扫查手法的影响,微小病灶以极低的概率出现,IOU跟踪策略在降低误检的同时,也过滤掉了微小病灶。本发明为了提高微小病灶的检出率,提出了置信度与矩形框面积平方根比值的策略,提高微小病灶的权重,提高微小病灶的检出率。
(4)受噪声和检测网络模型性能的影响,同一个跟踪轨迹所对应跟踪的病灶的区间位置即病灶检测框的大小、位置和置信度变化不稳定,本发明提出了一种对同一跟踪轨迹前后帧的病灶检测框进行加权融合策略,提高了病灶检测框的稳定性;
(5)本发明对于跟踪轨迹,利用跟踪轨迹的累计置信度对轨迹质量进行评估,判断真实跟踪轨迹,从而检测出真实病灶。
附图说明
图1为本发明的一种基于超声扫查的病灶检测方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由图1所示,一种基于超声扫查的病灶检测方法,包括以下步骤:
S1,读取超声扫查视频中的第1帧图像,对第1帧图像进行目标检测即病灶识别,从第1帧图像中识别出n1个病灶以及各个病灶的区间位置,根据此n1个病灶构建得到第1帧病灶集合D1
Figure BDA0003267672700000061
Figure BDA0003267672700000062
表示第1帧病灶集合D1中的第i1个病灶,i1=1,2,…,n1
病灶的区间位置是指目标检测过程中该病灶检测框的大小和位置。
S2,基于第1帧图像的识别结果,形成第1帧跟踪队列P1,第1帧跟踪队列P1中包括m1个跟踪轨迹,
Figure BDA0003267672700000063
Figure BDA0003267672700000064
表示第1帧跟踪队列P1中的第j1个跟踪轨迹,j1=1,2,…m1
每个跟踪轨迹分别对应跟踪一个病灶,因此,第1帧病灶集合D1中的每一个病灶均对应一个跟踪轨迹,第1帧跟踪队列P1中跟踪轨迹的数量与第1帧病灶集合D1中病灶的数量相同,即m1=n1
S3,读取超声扫查视频中的第2帧图像,对第2帧图像进行病灶识别,从第2帧图像中识别出n2个病灶以及各个病灶的区间位置,根据此n2个病灶构建得到第2帧病灶集合D2
Figure BDA0003267672700000065
Figure BDA0003267672700000066
表示第2帧病灶集合D2中的第i2个病灶,i2=1,2,…,n2
S4,将第2帧病灶集合D2中的各个病灶分别与第1帧跟踪队列P1中的各个跟踪轨迹进行关联匹配,得到第2帧跟踪队列P2;具体方式如下所示:
S41,将第2帧病灶集合D2中的各个病灶分别与第1帧跟踪队列P1中的各个跟踪轨迹进行IOU计算;
其中,第2帧病灶集合D2中的第i2个病灶
Figure BDA0003267672700000071
与第1帧跟踪队列P1中的第j1个跟踪轨迹
Figure BDA0003267672700000072
的IOU计算如下所示:
Figure BDA0003267672700000073
i2=1,2,…,n2
j1=1,2,…m1
Figure BDA0003267672700000074
表示第2帧病灶集合D2中病灶
Figure BDA0003267672700000075
的面积;
Figure BDA0003267672700000076
表示第1帧跟踪队列P1中跟踪轨迹
Figure BDA0003267672700000077
所对应跟踪的病灶的面积;病灶的面积根据病灶的区间位置计算得到;
Figure BDA0003267672700000078
为第2帧病灶集合D2中病灶
Figure BDA0003267672700000079
与第1帧跟踪队列P1中跟踪轨迹
Figure BDA00032676727000000710
之间的IOU值。
S42,针对第2帧病灶集合D2中的各个病灶,分别找出各个病灶的最大IOU值,判断病灶的最大IOU值是否大于设定的阈值σIOU;其中,
S421,若病灶
Figure BDA00032676727000000711
的最大IOU值大于设定的阈值σIOU,则将该病灶
Figure BDA00032676727000000712
关联至最大IOU值所对应的跟踪轨迹
Figure BDA00032676727000000713
上,并对最大IOU值所对应的跟踪轨迹
Figure BDA00032676727000000714
进行更新,得到更新后的跟踪轨迹;
病灶
Figure BDA00032676727000000715
关联至最大IOU值所对应的跟踪轨迹
Figure BDA00032676727000000716
得到更新后的跟踪轨迹后,还对更新后的跟踪轨迹所对应跟踪的病灶的区间位置进行更新,具体如下所示:
最大IOU值所对应的跟踪轨迹
Figure BDA00032676727000000717
所对应跟踪的病灶在x轴上的区间范围为x11~x21,在y轴上的区间范围为y11~y21
病灶
Figure BDA00032676727000000718
在x轴上的区间范围为x12~x22,在y轴上的区间范围为y12~y22
更新后的跟踪轨迹所对应跟踪的病灶在x轴上的区间范围为αx11+βx12~αx21+βx22,在y轴上的区间范围为αy11+βy12~αy21+βy22
Figure BDA0003267672700000081
Figure BDA0003267672700000082
其中,
Figure BDA0003267672700000083
为病灶
Figure BDA0003267672700000084
的置信度,
Figure BDA0003267672700000085
为跟踪轨迹
Figure BDA0003267672700000086
中所关联的最后一个病灶的置信度;α、β均为系数;
所述置信度为目标检测即病灶识别过程中的目标参数,用于表征目标检测的可信度,取值范围为0~1,数值越大,可信度越高。
S422,若病灶
Figure BDA0003267672700000087
的最大IOU值不大于设定的阈值σIOU,则判断该病灶
Figure BDA0003267672700000088
的真实性;其中,若该病灶
Figure BDA0003267672700000089
的真实性值大于设定的阈值σg,则为该病灶新建立一个跟踪轨迹,否则,将该病灶视为虚假病灶,后续不进行处理;
病灶
Figure BDA00032676727000000810
的真实性计算方式为:
Figure BDA00032676727000000811
其中,g为病灶
Figure BDA00032676727000000812
的真实性值;
Figure BDA00032676727000000813
为病灶
Figure BDA00032676727000000814
的置信度;
Figure BDA00032676727000000815
为病灶
Figure BDA00032676727000000816
的面积。
S43,根据新建立的跟踪轨迹、更新后的跟踪轨迹、历史跟踪轨迹即未更新的跟踪轨迹,构成第2帧跟踪队列P2
S5,读取超声扫查视频中的下一帧图像即第t帧图像,对第t帧图像进行目标检测即病灶识别,从第t帧图像中识别出nt个病灶以及各个病灶的区间位置,此nt个病灶即构成第t帧病灶集合Dt
Figure BDA00032676727000000817
Figure BDA00032676727000000818
表示第t帧病灶集合Dt中的第it个病灶,it=1,2,…,nt
S6,将第t帧病灶集合Dt中的各个病灶分别与上一帧跟踪队列即第t-1帧跟踪队列Pt-1中的各个跟踪轨迹进行关联匹配,得到第t帧跟踪队列Pt
其中,第t-1帧跟踪队列Pt-1为基于前t-1帧图像的识别结果所形成,第t-1帧跟踪队列Pt-1中包括mt-1个跟踪轨迹,每个跟踪轨迹分别对应跟踪一个病灶;
Figure BDA0003267672700000091
Figure BDA0003267672700000092
表示第t-1帧跟踪队列Pt-1中的第jt-1个跟踪轨迹,jt-1=1,2,…mt-1
步骤S6中,关联匹配的具体方式如下所示:
S61,将第t帧病灶集合Dt中的各个病灶分别与第t-1帧跟踪队列Pt-1中的各个跟踪轨迹进行IOU计算;
其中,第t帧病灶集合Dt中的第it个病灶
Figure BDA0003267672700000093
与第t-1帧跟踪队列Pt-1中第jt-1个跟踪轨迹
Figure BDA0003267672700000094
的IOU计算如下所示:
Figure BDA0003267672700000095
Figure BDA0003267672700000096
表示病灶
Figure BDA0003267672700000097
的面积;
Figure BDA0003267672700000098
表示跟踪轨迹
Figure BDA0003267672700000099
中所对应跟踪的病灶的面积;
Figure BDA00032676727000000910
为病灶
Figure BDA00032676727000000911
与跟踪轨迹
Figure BDA00032676727000000912
之间的IOU值。
S62,针对第t帧病灶集合Dt中的各个病灶,分别找出各个病灶的最大IOU值,并判断病灶的最大IOU值是否大于设定的阈值σIOU;其中,
S621,若病灶
Figure BDA00032676727000000913
的最大IOU值大于设定的阈值σIOU,则将该病灶
Figure BDA00032676727000000914
关联至最大IOU值所对应的跟踪轨迹
Figure BDA00032676727000000915
上,并对最大IOU值所对应的该跟踪轨迹
Figure BDA00032676727000000916
进行更新,得到更新后的跟踪轨迹。
病灶
Figure BDA00032676727000000917
关联至最大IOU值所对应的跟踪轨迹
Figure BDA00032676727000000918
得到更新后的跟踪轨迹后,还对更新后的跟踪轨迹所对应跟踪的病灶的区间位置进行更新,具体如下所示:
最大IOU值所对应的跟踪轨迹
Figure BDA00032676727000000919
所对应跟踪的病灶在x轴上的区间范围为x1t-1~x2t-1,在y轴上的区间范围为y1t-1~y2t-1
病灶dit在x轴上的区间范围为x1t~x2t,在y轴上的区间范围为y1t~y2t
更新后的跟踪轨迹所对应跟踪的病灶在x轴上的区间范围为αx1t-1+βx1t~αx2t-1+βx2t,在y轴上的区间范围为αy1t-1+βy1t~αy2t-1+βy2t
Figure BDA0003267672700000101
Figure BDA0003267672700000102
其中,
Figure BDA0003267672700000103
为病灶
Figure BDA0003267672700000104
的置信度,
Figure BDA0003267672700000105
为最大IOU值所对应的跟踪轨迹
Figure BDA0003267672700000106
中所关联的最后一个病灶的置信度;α、β均为系数。
S622,若病灶
Figure BDA0003267672700000107
的最大IOU值不大于设定的阈值σIOU,则判断该病灶
Figure BDA0003267672700000108
的真实性;其中,若该病灶
Figure BDA0003267672700000109
的真实性值大于设定的阈值σg,则为该病灶新建立一个跟踪轨迹,若该病灶
Figure BDA00032676727000001010
的真实性值不大于设定的阈值σg,则将该病灶视为虚假病灶,后续不进行处理。
病灶
Figure BDA00032676727000001011
的真实性计算方式为:
Figure BDA00032676727000001012
其中,g为病灶的真实性值;
Figure BDA00032676727000001013
为病灶
Figure BDA00032676727000001014
的置信度,所述置信度为目标检测即病灶识别过程中所获取的病灶置信度,用于表征目标检测的可信度;
Figure BDA00032676727000001015
为病灶
Figure BDA00032676727000001016
的面积。
S63,根据新建立的跟踪轨迹、更新后的跟踪轨迹、历史跟踪轨迹即未更新的跟踪轨迹,构成第t帧跟踪队列Pt
S7,按照步骤S5~S6的方式,依次读取超声扫查视频中的下一帧图像,对该下一帧图像进行病灶识别,从下一帧图像中识别出若干个病灶以及各个病灶的区间位置,得到该下一帧病灶集合,将该下一帧病灶集合中的各个病灶分别与上一帧跟踪队列中的各个跟踪轨迹进行关联匹配,得到该下一帧跟踪队列;
直至读取完超声扫查视频中的最后一帧图像,得到该最后一帧跟踪队列,该最后一帧跟踪队列即为超声扫查视频的完整跟踪队列。
S8,分别计算最后一帧跟踪队列中的各个跟踪轨迹的累计置信度∑conf,将累计置信度∑conf超过设定阈值σ∑conf的跟踪轨迹作为真实跟踪轨迹,累计置信度∑conf未超过设定阈值σ∑conf的跟踪轨迹即为虚假跟踪轨迹;真实跟踪轨迹所对应跟踪的病灶即为病灶检测的结果即真实病灶。
所述累计置信度∑conf为:跟踪轨迹中所关联的各个病灶的置信度之和。
以上仅为本发明创造的较佳实施例而已,并不用以限制本发明创造,凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明创造的保护范围之内。

Claims (7)

1.一种基于超声扫查的病灶检测方法,其特征在于,包括以下步骤:
S1,读取超声扫查视频中的当前帧图像即第t帧图像,对第t帧图像进行目标检测即病灶识别,从第t帧图像中识别出nt个病灶以及各个病灶的区间位置,此nt个病灶即构成第t帧病灶集合Dt
Figure FDA0003267672690000011
Figure FDA0003267672690000012
表示第t帧病灶集合Dt中的第it个病灶,it=1,2,…,nt;nt表示第t帧图像中的病灶总个数;
S2,将第t帧病灶集合Dt中的各个病灶分别与上一帧跟踪队列即第t-1帧跟踪队列Pt-1中的各个跟踪轨迹进行关联匹配,得到第t帧跟踪队列Pt
其中,第t-1帧跟踪队列Pt-1为基于前t-1帧图像的识别结果所形成,第t-1帧跟踪队列Pt-1中包括mt-1个跟踪轨迹,每个跟踪轨迹分别对应跟踪一个病灶;
Figure FDA0003267672690000013
Figure FDA0003267672690000014
表示第t-1帧跟踪队列Pt-1中的第jt-1个跟踪轨迹,jt-1=1,2,…mt-1
S3,按照步骤S1~S2的方式,依次读取超声扫查视频中的下一帧图像,对下一帧图像进行病灶识别,从下一帧图像中识别出若干个病灶以及各个病灶的区间位置,得到下一帧病灶集合,将下一帧病灶集合中的各个病灶分别与上一帧跟踪队列中的各个跟踪轨迹进行关联匹配,得到下一帧跟踪队列;
直至读取完超声扫查视频中的最后一帧图像,得到最后一帧跟踪队列,该最后一帧跟踪队列即为超声扫查视频的完整跟踪队列。
2.根据权利要求1所述的一种基于超声扫查的病灶检测方法,其特征在于,步骤S2中,关联匹配的具体方式如下所示:
S21,将第t帧病灶集合Dt中的各个病灶分别与第t-1帧跟踪队列Pt-1中的各个跟踪轨迹进行IOU计算;
其中,第t帧病灶集合Dt中的第it个病灶
Figure FDA0003267672690000015
与第t-1帧跟踪队列Pt-1中第jt-1个跟踪轨迹
Figure FDA0003267672690000016
的IOU计算如下所示:
Figure FDA0003267672690000021
Figure FDA0003267672690000022
表示病灶
Figure FDA00032676726900000221
的面积;
Figure FDA0003267672690000023
表示跟踪轨迹
Figure FDA0003267672690000024
所对应跟踪的病灶的面积;病灶的面积基于病灶的区间位置计算;
Figure FDA0003267672690000025
为病灶
Figure FDA0003267672690000026
与跟踪轨迹
Figure FDA0003267672690000027
之间的IOU值;
S22,针对第t帧病灶集合Dt中的各个病灶,分别找出各个病灶的最大IOU值,并判断病灶的最大IOU值是否大于设定的阈值σIOU,其中,
S221,若病灶
Figure FDA0003267672690000028
的最大IOU值大于设定的阈值σIOU,则将该病灶
Figure FDA0003267672690000029
关联至最大IOU值所对应的跟踪轨迹
Figure FDA00032676726900000210
上,并对最大IOU值所对应的该跟踪轨迹
Figure FDA00032676726900000211
进行更新,得到更新后的跟踪轨迹;
S222,若病灶
Figure FDA00032676726900000212
的最大IOU值不大于设定的阈值σIOU,则判断该病灶
Figure FDA00032676726900000213
的真实性;其中,若该病灶
Figure FDA00032676726900000214
的真实性值大于设定的阈值σg,则为该病灶新建立一个跟踪轨迹,若该病灶
Figure FDA00032676726900000215
的真实性值不大于设定的阈值σg,则将该病灶视为虚假病灶,后续不进行处理;
S23,根据新建立的跟踪轨迹、更新后的跟踪轨迹、历史跟踪轨迹即未更新的跟踪轨迹,构成第t帧跟踪队列Pt
3.根据权利要求2所述的一种基于超声扫查的病灶检测方法,其特征在于,步骤S221中,病灶
Figure FDA00032676726900000216
关联至最大IOU值所对应的跟踪轨迹
Figure FDA00032676726900000217
得到更新后的跟踪轨迹后,还对更新后的跟踪轨迹所对应跟踪的病灶的区间位置进行更新,具体如下所示:
最大IOU值所对应的跟踪轨迹
Figure FDA00032676726900000218
所对应跟踪的病灶在x轴上的区间范围为x1t-1~x2t-1,在y轴上的区间范围为y1t-1~y2t-1
病灶
Figure FDA00032676726900000219
在x轴上的区间范围为x1t~x2t,在y轴上的区间范围为y1t~y2t
更新后的跟踪轨迹所对应跟踪的病灶在x轴上的区间范围为αx1t-1+βx1t~αx2t-1+βx2t,在y轴上的区间范围为αy1t-1+βy1t~αy2t-1+βy2t
Figure FDA00032676726900000220
Figure FDA0003267672690000031
其中,
Figure FDA0003267672690000032
为病灶
Figure FDA0003267672690000039
的置信度,
Figure FDA0003267672690000033
为最大IOU值所对应的跟踪轨迹
Figure FDA0003267672690000034
中所关联的最后一个病灶的置信度;α、β均为系数;
病灶的置信度为目标检测即病灶识别过程中所获取的该病灶的参数,用于表征目标检测所识别的该病灶可信度。
4.根据权利要求2所述的一种基于超声扫查的病灶检测方法,其特征在于,步骤S222中,病灶
Figure FDA0003267672690000035
的真实性计算方式为:
Figure FDA0003267672690000036
其中,g为病灶的真实性值;
Figure FDA0003267672690000037
为病灶
Figure FDA0003267672690000038
的置信度;
病灶的置信度为目标检测即病灶识别过程中所获取的该病灶的参数,用于表征目标检测所识别的该病灶可信度。
5.根据权利要求1所述的一种基于超声扫查的病灶检测方法,其特征在于,读取超声扫查视频中的第1帧图像,对第1帧图像进行目标检测即病灶识别,得到第1帧病灶集合D1,第1帧病灶集合D1中的各个病灶不进行关联匹配,根据第1帧病灶集合D1生成第1帧跟踪队列P1,且第1帧病灶集合D1中的每一个病灶均对应一个跟踪轨迹,即第1帧跟踪队列P1中跟踪轨迹的数量与第1帧病灶集合D1中病灶的数量相同。
6.根据权利要求1所述的一种基于超声扫查的病灶检测方法,其特征在于,最后一帧跟踪队列即为超声扫查视频的完整跟踪队列,分别计算最后一帧跟踪队列中的每个跟踪轨迹的累计置信度∑conf,将累计置信度∑conf超过设定阈值σ∑conf的跟踪轨迹作为真实跟踪轨迹,真实跟踪轨迹所对应跟踪的病灶即为病灶检测的结果;
所述累计置信度∑conf为:跟踪轨迹中所关联的各个病灶的置信度之和;
病灶的置信度为目标检测即病灶识别过程中所获取的该病灶的参数,用于表征目标检测所识别的该病灶可信度。
7.根据权利要求1所述的一种基于超声扫查的病灶检测方法,其特征在于,病灶的区间位置是指目标检测过程中该病灶检测框的大小和位置。
CN202111091516.8A 2021-09-17 2021-09-17 一种基于超声扫查的病灶检测方法 Active CN113808105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111091516.8A CN113808105B (zh) 2021-09-17 2021-09-17 一种基于超声扫查的病灶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111091516.8A CN113808105B (zh) 2021-09-17 2021-09-17 一种基于超声扫查的病灶检测方法

Publications (2)

Publication Number Publication Date
CN113808105A true CN113808105A (zh) 2021-12-17
CN113808105B CN113808105B (zh) 2024-03-19

Family

ID=78895687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111091516.8A Active CN113808105B (zh) 2021-09-17 2021-09-17 一种基于超声扫查的病灶检测方法

Country Status (1)

Country Link
CN (1) CN113808105B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764786A (zh) * 2022-03-14 2022-07-19 什维新智医疗科技(上海)有限公司 一种基于超声视频流的病灶区域实时检测装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2599844A1 (en) * 2005-04-06 2006-10-12 Carl Zeiss Meditec Ag Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system
CN105046220A (zh) * 2015-07-10 2015-11-11 华为技术有限公司 一种多目标跟踪方法、装置及设备
US20160063727A1 (en) * 2014-08-26 2016-03-03 Qualcomm Incorporated Systems and methods for image scanning
CN106770747A (zh) * 2016-12-09 2017-05-31 广州迈达康医药科技有限公司 一种他克莫司制剂评价方法
CN111126235A (zh) * 2019-12-18 2020-05-08 浙江大华技术股份有限公司 一种船只违章停泊检测处理方法及装置
CN112837296A (zh) * 2021-02-05 2021-05-25 深圳瀚维智能医疗科技有限公司 基于超声视频的病灶检测方法、装置、设备及存储介质
CN113240718A (zh) * 2021-07-13 2021-08-10 萱闱(北京)生物科技有限公司 多目标识别及跟踪方法、系统、介质和计算设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2599844A1 (en) * 2005-04-06 2006-10-12 Carl Zeiss Meditec Ag Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system
US20160063727A1 (en) * 2014-08-26 2016-03-03 Qualcomm Incorporated Systems and methods for image scanning
CN105046220A (zh) * 2015-07-10 2015-11-11 华为技术有限公司 一种多目标跟踪方法、装置及设备
CN106770747A (zh) * 2016-12-09 2017-05-31 广州迈达康医药科技有限公司 一种他克莫司制剂评价方法
CN111126235A (zh) * 2019-12-18 2020-05-08 浙江大华技术股份有限公司 一种船只违章停泊检测处理方法及装置
CN112837296A (zh) * 2021-02-05 2021-05-25 深圳瀚维智能医疗科技有限公司 基于超声视频的病灶检测方法、装置、设备及存储介质
CN113240718A (zh) * 2021-07-13 2021-08-10 萱闱(北京)生物科技有限公司 多目标识别及跟踪方法、系统、介质和计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WILLIAM PERKINS, ET AL: "Computing the confidence levels for a root-mean-square test of goodness-of-fit", 《APPLIED MATHEMATICS AND COMPUTATION》, 15 July 2011 (2011-07-15), pages 9072 - 9084, XP028215794, DOI: 10.1016/j.amc.2011.03.124 *
周苏,等: "基于车载视频图像的车辆检测与跟踪算法", 《同济大学学报》, 15 December 2019 (2019-12-15), pages 191 - 198 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764786A (zh) * 2022-03-14 2022-07-19 什维新智医疗科技(上海)有限公司 一种基于超声视频流的病灶区域实时检测装置

Also Published As

Publication number Publication date
CN113808105B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110021025B (zh) 感兴趣区域的匹配和显示方法、装置、设备及存储介质
US8411927B2 (en) Marker detection in X-ray images
WO2022037548A1 (zh) 一种基于深度学习的脊椎mri影像关键点检测方法
US9082158B2 (en) Method and system for real time stent enhancement on live 2D fluoroscopic scene
CN111340827A (zh) 一种肺部ct影像数据处理分析方法及系统
Hsu et al. Deep hierarchical network with line segment learning for quantitative analysis of facial palsy
CN113298830B (zh) 一种基于自监督的急性颅内ich区域图像分割方法
CN111275686A (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
US20240005494A1 (en) Methods and systems for image quality assessment
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
CN111754485A (zh) 一种用于肝脏的人工智能超声辅助系统
CN112348883A (zh) 血管介入手术中介入器械端点实时定位系统、方法、装置
CN113808105B (zh) 一种基于超声扫查的病灶检测方法
CN117274603A (zh) 基于语义分割网络的肝脏病灶图像描述方法
CN116152492A (zh) 基于多重注意力融合的医学图像分割方法
CN113469942B (zh) 一种ct图像病变检测方法
CN115661193A (zh) 基于时间上下文和信息瓶颈的超声运动跟踪方法及系统
CN114332858A (zh) 病灶检测方法及装置、病灶检测模型获取方法
CN115222651A (zh) 一种基于改进Mask R-CNN的肺结节检测系统
CN111281387B (zh) 基于人工神经网络的左心房与心房瘢痕的分割方法及装置
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN113763309A (zh) 一种基于改进U-net网络和LSTM网络的肝脏血管超声图像目标识别与跟踪方法
CN116385756B (zh) 基于增强标注和深度学习的医学图像识别方法及相关装置
CN116309593B (zh) 基于数学模型的肝脏穿刺活检b超图像处理方法及系统
CN113674261B (zh) 骨骼检测方法、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant