CN118071746B - 基于人工智能的超声影像数据管理系统及方法 - Google Patents
基于人工智能的超声影像数据管理系统及方法 Download PDFInfo
- Publication number
- CN118071746B CN118071746B CN202410473244.5A CN202410473244A CN118071746B CN 118071746 B CN118071746 B CN 118071746B CN 202410473244 A CN202410473244 A CN 202410473244A CN 118071746 B CN118071746 B CN 118071746B
- Authority
- CN
- China
- Prior art keywords
- target
- ultrasonic image
- classification
- frame
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 17
- 238000013523 data management Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 12
- 230000035790 physiological processes and functions Effects 0.000 claims description 10
- 238000002604 ultrasonography Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 210000003484 anatomy Anatomy 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 230000036285 pathological change Effects 0.000 claims description 7
- 231100000915 pathological change Toxicity 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 5
- 206010028980 Neoplasm Diseases 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 206010061218 Inflammation Diseases 0.000 claims description 3
- 230000003187 abdominal effect Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000017531 blood circulation Effects 0.000 claims description 3
- 230000000747 cardiac effect Effects 0.000 claims description 3
- 208000031513 cyst Diseases 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004217 heart function Effects 0.000 claims description 3
- 230000004054 inflammatory process Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000002792 vascular Effects 0.000 claims description 3
- 230000002980 postoperative effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000007726 management method Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 15
- 238000004590 computer program Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种基于人工智能的超声影像数据管理系统及方法,涉及影像管理技术领域。本发明通过将待处理的超声影像生成候选区,在候选区中定位目标的类别概率、边界框坐标以及模型置信度实现目标定位;将定位的目标与预先定义的目标种类进行匹配实现目标分类;通过处理获得表达目标的纹理特征,根据纹理特征建立直方图构成纹理模型;设置跟踪窗口,预测目标模板与候选区进行匹配的过程中两区域密度之间的相似程度,迭代新的目标中心位置,实现对目标的跟踪。本发明基于深度学习等人工智能技术通过应用目标检测跟踪技术,可以准确识别并突出显示超声图像中的关键区域使得目标检测与跟踪技术在超声影像中的应用更加广泛和深入。
Description
技术领域
本发明属于影像管理技术领域,具体涉及一种基于人工智能的超声影像数据管理系统及方法。
背景技术
在医疗领域,超声影像可以帮助医生观察患者体内的器官、组织、血管等结构,从而进行疾病的诊断、治疗方案的制定以及手术导航等。
目标检测与跟踪是超声影像处理中的关键步骤,旨在自动识别定位出图像中的特定目标并进行跟踪,如肿瘤、血管病变等。它主要依赖于超声成像技术,利用超声波的方向性和高穿透性等特点,从探头设备中发射超声并在待检测物体中传播,通过采集透过材料的信号或回声信号,进行相关内容的成像。这种方法可以在不破坏物体的情况下,对物体内部结构进行观察,因此在工业、医疗等领域有着广泛的应用。
然而,传统的超声影像目标跟踪方法存在一些不足。首先,由于超声影像的成像原理与可见光图像存在很大差异,导致超声影像的分辨率和对比度相对较低,这给目标检测与跟踪带来了很大的挑战。其次,超声影像中的噪声和伪影也会影响目标检测的准确性。此外,传统的目标检测跟踪方法往往需要消耗大量时间,并且依赖于专业且富有经验的人员进行操作和分析确定结果,这增加了诊断的成本和不确定性。
发明内容
为了克服上述现有技术存在的缺点与不足,本发明第一目的是提供一种基于人工智能的超声影像数据管理系统;本发明第二目的是提供一种基于人工智能的超声影像数据管理方法。
本发明第一目的采用如下技术方案:
一种基于人工智能的超声影像数据管理系统,包括候选生成模块、目标定位模块、目标分类模块和目标跟踪模块。
候选生成模块用于将待处理的超声影像进行特征提取,生成有用特征图,对有用特征图进行处理生成候选区;
目标定位模块用于在候选区中处理获得目标的类别概率、边界框坐标以及模型置信度来实现目标定位,目标包括病变组织和器官;
目标分类模块用于将定位的目标与预先定义的目标种类进行匹配实现目标分类,预先定义的目标种类包括解剖结构分类、病变异常分类、生理状态功能分类和其他特定分类;
目标跟踪模块用于构建纹理模型表达目标的纹理特征,设置跟踪窗口,预测目标模板与候选区进行匹配的过程中两区域密度之间的相似程度,迭代新的目标中心位置,结合纹理模型与跟踪算法实现对目标的跟踪;根据不同超声影像序列中目标的基本面积和所处的位置变化情况来判断目标的状态,当目标处于非正常状态时产生异常信号。
本发明第二目的采用如下技术方案:
一种基于人工智能的超声影像数据管理方法,流程如下:
S1、获取待目标检测处理的超声影像,将其进行分帧提取,获得超声影像序列,将超声影像序列进行特征提取,生成有用特征图;根据有用特征图生成候选区;
S2、在候选区中定位目标的类别概率、边界框坐标以及模型置信度实现目标定位;
S3、将定位的目标与预先定义的目标种类进行匹配实现目标分类,预先定义的目标种类包括解剖结构分类、病变异常分类、生理状态功能分类和其他特定分类;
S4、通过处理获得表达目标的纹理特征,根据纹理特征建立直方图构成纹理模型;
S5、设置跟踪窗口,预测目标模板与候选区进行匹配的过程中两区域密度之间的相似程度,迭代新的目标中心位置,结合纹理模型与跟踪算法实现对目标的跟踪;根据不同超声影像序列中目标的基本面积和所处的位置变化情况来判断目标的状态,当目标处于非正常状态时产生异常信号。
作为优选,S1具体流程如下:
获取待目标检测处理的超声影像,将其进行分帧提取,获得超声影像序列P,P={p1,p2,…,pn},其中p1,p2,…,pn表示在时间序列上的第1,2,…,n帧超声图像,将超声影像序列pn输入到CNN中进行特征提取,生成有用特征图;
在有用特征图上以每个像素为中心,生成大小和宽高比不同的锚框,计算锚框与
真实目标框之间的并交比值,将并交比值按照从大到小进行排序,将并交比值最高的锚框
标记为关键锚框,将并交比值大于等于设定阈值并且小于关键锚框的锚框标记为正样本
锚框,将并交比值小于设定阈值的锚框标记为负样本锚框;
计算关键锚框与真实目标框之间的偏移量:
关键锚框的中心坐标为(xa, ya),宽度为wa,高度为ha,真实目标框的中心坐标为(xg, yg),宽度为wg,高度为hg;
中心坐标偏移量的计算公式为:
;
;
宽度和高度偏移量的计算公式为:
;
;
计算关键锚框与真实目标框之间的尺度差异,尺度差异的计算公式为:
;
将上述计算得到的偏移量和尺度差异组合成一个向量,将中心坐标偏移量和尺度差异作为回归目标的前两个元素,宽度和高度偏移量作为回归目标的后两个元素,将其编码为回归目标:
编码后的回归目标为(Δx, Δy, Δw, Δh, Δs);
计算正样本锚框和负样本锚框的概率,根据输出的正样本锚框和负样本锚框的概率,对锚框进行筛选去除高度重叠的候选框,然后根据概率从大到小的顺序进行排序,只保留大于设定阈值的部分锚框,将它们映射回有用特征图,形成候选区。
作为优选,S2具体流程如下:
在候选区中定位目标的类别概率、边界框坐标以及模型置信度实现目标定位:将候选区输入到YOLO模型中,进行前向传播和推理,模型输出每个候选区中目标的边界框坐标、类别概率以及模型置信度;
对YOLO模型的输出进行后处理,利用非极大值抑制算法,消除重叠的边界框;
过滤掉置信度低于设置阈值的检测结果;
最后,将处理后的目标定位结果输出,结果包括目标的类别概率、边界框坐标以及模型置信度。
作为优选,S3具体流程如下:
通过目标的类别概率、边界框坐标以及模型置信度将目标与预先定义的目标种类进行匹配实现目标分类,预先定义的目标种类包括解剖结构分类、病变异常分类、生理状态功能分类和其他特定分类;解剖结构分类包括心脏结构、腹部结构、妇产科结构和血管结构;病变异常分类包括肿瘤、囊肿、结石、炎症和血栓;生理状态功能分类包括血流状态和心脏功能;其他特定分类包括妊娠阶段、手术治疗后的状态。
作为优选,S4具体流程如下:
通过分类后的目标,构建纹理模型表达目标的纹理特征,选择一个邻域窗口,为8邻域,将邻域内的像素值与中心像素值进行比较,当邻域像素值大于等于中心像素值,则将该位置的二进制编码置为1,否则置为0;将邻域内的二进制编码按顺时针顺序排列,得到一个二进制数;将二进制数转换为十进制数,作为该像素点的LBP特征值;对图像中的每个像素点都进行上述操作,得到整幅图像的LBP特征图;
图像的LBP纹理特征计算公式如下:
;
其中,为阈值函数,是中心像素与其邻像素的距离,反映了纹理
在空间上的分辨率;m为邻域像素的数目,gc 表示中心点的灰度值,gm表示以gc为中心点、
以R为半径的圆环上的第m个等分点的灰度值;
对上述获得的纹理特征建立直方图,构成 LBP 纹理模型。
作为优选,S5具体流程如下:
设置跟踪窗口,将跟踪窗口宽度的1/2标记为hx,跟踪窗口宽度的1/2,标记为wy,
xi为第i个像素点的位置,n为目标区域像素的总个数,目标的特征向量的概率计算为:
;
由此可得,以y为候选窗口中心的候选目标的特征向量的概率为:
;
;
其中,和为归一化常数;为目标的特征函数在像素点 的值;函数的
作用是判断的索引值是否为特征值,为核函数;
采用Bhattacharyya系数来预测目标模板与候选区进行匹配的过程中两区域密度之间的相似程度:
;
其中,m为特征向量的总个数,值越大,两密度之间的分布越相似;
目标中心y的计算公式为:
;
其中,为加权系数,;
采用迭代方式求解y的解析式,解析过程如下:
设置初始值为,令,利用目标中心y的计算公式进行迭代,直到达到设定的最大迭代次数,得到新的目标中心;
通过以上算法,找到新的目标中心位置,实现对目标的跟踪;根据不同超声影像序列中目标的基本面积和所处的位置变化情况来判断目标的状态,当目标处于非正常状态时产生异常信号。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明通过生成候选区,可以快速地在图像中提取包含目标的区域,减少了对整个图像进行滑动窗口搜索的计算量,提高处理速度,通过生成候选区,可以更准确地定位和识别目标,有助于减少误检和漏检的情况,提高目标检测的精度,在候选区中定位目标的类别概率、边界框坐标以及模型置信度实现目标定位。
2、本发明通过处理获得表达目标的纹理特征,根据纹理特征建立直方图构成纹理模型能够精确地描述图像的纹理特征,可以简化后续图像处理和分析的计算过程,避免了对整个图像进行复杂计算的需要,从而提高了计算效率,通过建立稳健的纹理模型,可以减小噪声对图像分析的影响,提高分析的准确性,增强鲁棒性。
3、本发明通过设置跟踪窗口,预测目标模板与候选区进行匹配的过程中两区域密度之间的相似程度,迭代新的目标中心位置,结合纹理模型与跟踪算法实现对目标的跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明一种基于人工智能的超声影像数据管理系统的模块图;
图2示出了本发明一种基于人工智能的超声影像数据管理方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1
结合图1所示,本发明的一个具体实施例,公开了一种基于人工智能的超声影像数据管理系统,包括候选生成模块、目标定位模块、目标分类模块和目标跟踪模块。
候选生成模块用于将待处理的超声影像进行特征提取,生成有用特征图,对有用特征图进行处理生成候选区。
目标定位模块用于在候选区中处理获得目标的类别概率、边界框坐标以及模型置信度来实现目标定位,目标包括病变组织和器官。
目标分类模块用于将定位的目标与预先定义的目标种类进行匹配实现目标分类,预先定义的目标种类包括解剖结构分类、病变异常分类、生理状态功能分类和其他特定分类。
目标跟踪模块用于构建纹理模型表达目标的纹理特征,设置跟踪窗口,预测目标模板与候选区进行匹配的过程中两区域密度之间的相似程度,迭代新的目标中心位置,结合纹理模型与跟踪算法实现对目标的跟踪;根据不同超声影像序列中目标的基本面积和所处的位置变化情况来判断目标的状态,当目标处于非正常状态时产生异常信号。
本实施例通过候选生成模块生成候选区,目标定位模块与目标分类模块实现目标检测,目标跟踪模块结合纹理模型与跟踪算法实现对目标的跟踪。
实施例2
结合图2所示,本发明的一个具体实施例,公开了一种基于人工智能的超声影像数据管理方法,流程如下:
S1、获取待目标检测处理的超声影像,将其进行分帧提取,获得超声影像序列P,P={p1,p2,…,pn},其中p1,p2,…,pn表示在时间序列上的第1,2,…,n帧超声图像,将超声影像序列pn输入到CNN中进行特征提取,生成有用特征图;
在有用特征图上以每个像素为中心,生成大小和宽高比不同的锚框,计算锚框与
真实目标框之间的并交比值,将并交比值按照从大到小进行排序,将并交比值最高的锚框
标记为关键锚框,将并交比值大于等于设定阈值并且小于关键锚框的锚框标记为正样本
锚框,将并交比值小于设定阈值的锚框标记为负样本锚框;其中,并交比是指锚框和真实
目标框之间的交集面积与并集面积的比值,取值范围在 [0, 1],其中0表示两个框没有重
叠,1表示两个框完全重合。
计算关键锚框与真实目标框之间的偏移量:
关键锚框的中心坐标为(xa, ya),宽度为wa,高度为ha,真实目标框的中心坐标为(xg, yg),宽度为wg,高度为hg。
中心坐标偏移量的计算公式为:
;
;
宽度和高度偏移量的计算公式为:
;
;
计算关键锚框与真实目标框之间的尺度差异,尺度差异的计算公式为:
;
将上述计算得到的偏移量和尺度差异组合成一个向量,将中心坐标偏移量和尺度差异作为回归目标的前两个元素,宽度和高度偏移量作为回归目标的后两个元素,将其编码为回归目标:
编码后的回归目标为(Δx, Δy, Δw, Δh, Δs);
计算正样本锚框和负样本锚框的概率,正样本锚框的概率即该锚框包含目标物体的概率,负样本锚框的概率即该锚框不包含目标物体的概率;
根据输出的正样本锚框和负样本锚框的概率,对锚框进行筛选去除高度重叠的候选框,然后根据概率从大到小的顺序进行排序,只保留大于设定阈值的部分锚框,将它们映射回有用特征图,形成候选区。
S2、在候选区中定位目标的类别概率、边界框坐标以及模型置信度实现目标定位:将候选区输入到YOLO模型中,进行前向传播和推理,模型输出每个候选区中目标的边界框坐标、类别概率以及模型置信度;
对YOLO模型的输出进行后处理,利用非极大值抑制算法,消除重叠的边界框;过滤掉置信度低于设置阈值的检测结果;
最后,将处理后的目标定位结果输出,结果包括目标的类别概率、边界框坐标以及模型置信度。
S3、通过目标的类别概率、边界框坐标以及模型置信度将该目标与预先定义的目标种类进行匹配实现目标分类,预先定义的目标种类包括但不限于解剖结构分类、病变异常分类、生理状态功能分类和其他特定分类。解剖结构分类包括心脏结构、腹部结构、妇产科结构和血管结构;病变异常分类包括肿瘤、囊肿、结石、炎症和血栓;生理状态功能分类包括血流状态和心脏功能;其他特定分类包括妊娠阶段、手术或治疗后的状态。
S4、通过分类后的目标,构建纹理模型表达目标的纹理特征,选择一个邻域窗口,为8邻域,将邻域内的像素值与中心像素值进行比较,若邻域像素值大于等于中心像素值,则将该位置的二进制编码置为1,否则置为0;将邻域内的二进制编码按顺时针顺序排列,得到一个二进制数;将二进制数转换为十进制数,作为该像素点的LBP特征值;对图像中的每个像素点都进行上述操作,得到整幅图像的LBP特征图;
图像的LBP纹理特征计算公式如下:
;
其中,为阈值函数,是中心像素与其邻像素的距离,反映了纹理
在空间上的分辨率。m为邻域像素的数目,gc 表示中心点的灰度值,gm表示以gc为中心点、
以R为半径的圆环上的第m个等分点的灰度值。
对上述获得的纹理特征建立直方图,构成 LBP 纹理模型。
S5、设置跟踪窗口,将跟踪窗口宽度的1/2标记为hx,跟踪窗口宽度的1/2,标记为
wy,xi为第i个像素点的位置,n为目标区域像素的总个数,目标的特征向量的概率计算为:
;
由此可得,以y为候选窗口中心的候选目标的特征向量的概率为:
;
;
其中,和为归一化常数;为目标的特征函数在像素点的值;函数的
作用是判断的索引值是否为特征值,为核函数。
采用Bhattacharyya系数来预测目标模板与候选区进行匹配的过程中两区域密度之间的相似程度:
;
其中,m为特征向量的总个数。值越大,两密度之间的分布越相似。
目标中心y的计算公式为:
;
其中,为加权系数,。
采用迭代方式求解y的解析式,解析过程如下:
设置初始值为,令,利用目标中心y的计算公式进行迭代,直到达到设定的最大迭代次数,得到新的目标中心。
通过以上算法,找到新的目标中心位置,实现对目标的跟踪;根据不同超声影像序列中目标的基本面积和所处的位置变化情况来判断目标的状态。
本实施例通过生成候选区,可以快速地在图像中提取包含目标的区域,提高处理速度,同时提高目标检测的精度;在候选区中定位目标的类别概率、边界框坐标以及模型置信度实现目标定位;通过建立稳健的纹理模型,可以减小噪声对图像分析的影响,提高分析的准确性,增强鲁棒性;设置跟踪窗口,预测目标模板与候选区进行匹配的过程中两区域密度之间的相似程度,迭代新的目标中心位置,结合纹理模型与跟踪算法实现对目标的跟踪。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一些逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(randomaccessmemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (4)
1.一种基于人工智能的超声影像数据管理方法,其特征在于,流程如下:
S1、获取待目标检测处理的超声影像,将其进行分帧提取,获得超声影像序列,将超声影像序列进行特征提取,生成有用特征图;根据有用特征图生成候选区;
S2、在候选区中定位目标的类别概率、边界框坐标以及模型置信度实现目标定位;
S3、将定位的目标与预先定义的目标种类进行匹配实现目标分类,预先定义的目标种类包括解剖结构分类、病变异常分类、生理状态功能分类和其他特定分类;
S4、通过处理获得表达目标的纹理特征,根据纹理特征建立直方图构成纹理模型;
S5、设置跟踪窗口,预测目标模板与候选区进行匹配的过程中两区域密度之间的相似程度,迭代新的目标中心位置,结合纹理模型与跟踪算法实现对目标的跟踪;根据不同超声影像序列中目标的基本面积和所处的位置变化情况来判断目标的状态,当目标处于非正常状态时产生异常信号;
所述S1具体流程如下:
获取待目标检测处理的超声影像,将其进行分帧提取,获得超声影像序列P,P={p1,p2,…,pn},其中p1,p2,…,pn表示在时间序列上的第1,2,…,n帧超声图像,将超声影像序列P输入到CNN中进行特征提取,生成有用特征图;
在有用特征图上以每个像素为中心,生成大小和宽高比不同的锚框,计算锚框与真实目标框之间的并交比值,将并交比值按照从大到小进行排序,将并交比值最高的锚框标记为关键锚框,将并交比值大于等于设定阈值并且小于关键锚框的锚框标记为正样本锚框,将并交比值小于设定阈值的锚框标记为负样本锚框;
计算关键锚框与真实目标框之间的偏移量:
关键锚框的中心坐标为(xa, ya),宽度为wa,高度为ha,真实目标框的中心坐标为(xg,yg),宽度为wg,高度为hg;
中心坐标偏移量的计算公式为:
;
;
宽度和高度偏移量的计算公式为:
;
;
计算关键锚框与真实目标框之间的尺度差异,尺度差异的计算公式为:
;
将上述计算得到的偏移量和尺度差异组合成一个向量,将中心坐标偏移量和尺度差异作为回归目标的前两个元素,宽度和高度偏移量作为回归目标的后两个元素,将其编码为回归目标:
编码后的回归目标为(Δx, Δy, Δw, Δh, Δs);
计算正样本锚框和负样本锚框的概率,根据输出的正样本锚框和负样本锚框的概率,对锚框进行筛选去除高度重叠的候选框,然后根据概率从大到小的顺序进行排序,只保留大于设定阈值的部分锚框,将它们映射回有用特征图,形成候选区;
所述S2具体流程如下:
在候选区中定位目标的类别概率、边界框坐标以及模型置信度实现目标定位:将候选区输入到YOLO模型中,进行前向传播和推理,模型输出每个候选区中目标的边界框坐标、类别概率以及模型置信度;
对YOLO模型的输出进行后处理,利用非极大值抑制算法,消除重叠的边界框;
过滤掉置信度低于设置阈值的检测结果;
最后,将处理后的目标定位结果输出,结果包括目标的类别概率、边界框坐标以及模型置信度。
2.根据权利要求1所述的一种基于人工智能的超声影像数据管理方法,其特征在于,所述S3具体流程如下:
通过目标的类别概率、边界框坐标以及模型置信度将目标与预先定义的目标种类进行匹配实现目标分类,预先定义的目标种类包括解剖结构分类、病变异常分类、生理状态功能分类和其他特定分类;解剖结构分类包括心脏结构、腹部结构、妇产科结构和血管结构;病变异常分类包括肿瘤、囊肿、结石、炎症和血栓;生理状态功能分类包括血流状态和心脏功能;其他特定分类包括妊娠阶段、手术治疗后的状态。
3.根据权利要求1所述的一种基于人工智能的超声影像数据管理方法,其特征在于,所述S4具体流程如下:
通过分类后的目标,构建纹理模型表达目标的纹理特征,选择一个邻域窗口,为8邻域,将邻域内的像素值与中心像素值进行比较,当邻域像素值大于等于中心像素值,则将该位置的二进制编码置为1,否则置为0;将邻域内的二进制编码按顺时针顺序排列,得到一个二进制数;将二进制数转换为十进制数,作为像素点的LBP特征值;对图像中的每个像素点都进行上述操作,得到整幅图像的LBP特征图;
图像的LBP纹理特征计算公式如下:
;
其中,为阈值函数,是中心像素与其邻像素的距离,反映了纹理在空间上的分辨率;m为邻域像素的数目,表示中心点的灰度值,表示以为中心点、以R为半径的圆环上的第m个等分点的灰度值;
对上述获得的纹理特征建立直方图,构成 LBP 纹理模型。
4.根据权利要求1所述的一种基于人工智能的超声影像数据管理方法,其特征在于,所述S5具体流程如下:
设置跟踪窗口,将跟踪窗口宽度的1/2标记为hx,跟踪窗口高度的1/2标记为wy,xi为第i个像素点的位置,n为目标区域像素的总个数,目标的特征向量的概率预测为:
;
由此可得,以y为候选窗口中心的候选目标的特征向量的概率为:
;
;
其中,和为归一化常数;为目标的特征函数在像素点 的值;函数的作用是判断的索引值是否为特征值;为核函数;
采用Bhattacharyya系数来预测目标模板与候选区进行匹配的过程中两区域密度之间的相似程度:
;
其中,m为特征向量的总个数,值越大,两密度之间的分布越相似;
目标中心y的计算公式为:
;
其中,为加权系数,;
采用迭代方式求解y的解析式,解析过程如下:
设置初始值为,令,利用目标中心y的计算公式进行迭代,直到达到设定的最大迭代次数,得到新的目标中心;
通过以上算法,找到新的目标中心位置,实现对目标的跟踪;根据不同超声影像序列中目标的基本面积和所处的位置变化情况来判断目标的状态,当目标处于非正常状态时产生异常信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410473244.5A CN118071746B (zh) | 2024-04-19 | 2024-04-19 | 基于人工智能的超声影像数据管理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410473244.5A CN118071746B (zh) | 2024-04-19 | 2024-04-19 | 基于人工智能的超声影像数据管理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118071746A CN118071746A (zh) | 2024-05-24 |
CN118071746B true CN118071746B (zh) | 2024-08-30 |
Family
ID=91099269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410473244.5A Active CN118071746B (zh) | 2024-04-19 | 2024-04-19 | 基于人工智能的超声影像数据管理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118071746B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106570887A (zh) * | 2016-11-04 | 2017-04-19 | 天津大学 | 结合LBP特征自适应Mean Shift目标跟踪方法 |
KR102222547B1 (ko) * | 2020-07-15 | 2021-03-04 | 주식회사 웨이센 | 인공지능 기반의 대장내시경 영상 분석 방법 |
WO2022134464A1 (zh) * | 2020-12-25 | 2022-06-30 | 平安科技(深圳)有限公司 | 目标检测定位置信度确定方法、装置、电子设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105631899B (zh) * | 2015-12-28 | 2019-01-04 | 哈尔滨工业大学 | 一种基于灰度纹理特征的超声图像运动目标跟踪方法 |
US20180330518A1 (en) * | 2017-05-11 | 2018-11-15 | Verathon Inc. | Probability map-based ultrasound scanning |
JP7379065B2 (ja) * | 2019-10-08 | 2023-11-14 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN113344976B (zh) * | 2021-06-29 | 2024-01-23 | 常州工学院 | 一种基于目标物表征点估计的视觉跟踪方法 |
CN116934807A (zh) * | 2023-07-20 | 2023-10-24 | 中国地质大学(武汉) | 一种孪生网络单目标跟踪方法及装置 |
-
2024
- 2024-04-19 CN CN202410473244.5A patent/CN118071746B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106570887A (zh) * | 2016-11-04 | 2017-04-19 | 天津大学 | 结合LBP特征自适应Mean Shift目标跟踪方法 |
KR102222547B1 (ko) * | 2020-07-15 | 2021-03-04 | 주식회사 웨이센 | 인공지능 기반의 대장내시경 영상 분석 방법 |
WO2022134464A1 (zh) * | 2020-12-25 | 2022-06-30 | 平安科技(深圳)有限公司 | 目标检测定位置信度确定方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN118071746A (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4999163B2 (ja) | 画像処理方法および装置ならびにプログラム | |
JP6710373B2 (ja) | 超音波画像診断支援方法、およびシステム | |
US7602965B2 (en) | Object detection using cross-section analysis | |
US20230070200A1 (en) | Gabor wavelet-fused multi-scale local level set ultrasonic image segmentation method | |
US9082158B2 (en) | Method and system for real time stent enhancement on live 2D fluoroscopic scene | |
CN105809175B (zh) | 一种基于支持向量机算法的脑水肿分割方法及系统 | |
US11896407B2 (en) | Medical imaging based on calibrated post contrast timing | |
Simaiya et al. | MRI brain tumour detection & image segmentation by hybrid hierarchical K-means clustering with FCM based machine learning model | |
CN110458859B (zh) | 一种基于多序列mri的多发性骨髓瘤病灶的分割系统 | |
US9129412B2 (en) | Image processing apparatus, image processing method, and computer-readable recording device | |
CN113989407B (zh) | Ct影像中肢体部位识别模型训练方法及系统 | |
Koundal et al. | Advanced neutrosophic set-based ultrasound image analysis | |
CN115965750B (zh) | 血管重建方法、装置、计算机设备和可读存储介质 | |
Ansari et al. | Advancements in Deep Learning for B-Mode Ultrasound Segmentation: A Comprehensive Review | |
Li et al. | EchoEFNet: multi-task deep learning network for automatic calculation of left ventricular ejection fraction in 2D echocardiography | |
Ciompi et al. | Computer‐aided detection of intracoronary stent in intravascular ultrasound sequences | |
Armya et al. | Medical images segmentation based on unsupervised algorithms: a review | |
Nallasivan et al. | A Novel Approaches for Detect Liver Tumor Diagnosis using Convolution Neural Network | |
CN118071746B (zh) | 基于人工智能的超声影像数据管理系统及方法 | |
Mendizabal-Ruiz et al. | Probabilistic segmentation of the lumen from intravascular ultrasound radio frequency data | |
Song et al. | Two-path augmented directional context aware ultrasound image segmentation | |
Vasanthselvakumar et al. | Detection and classification of kidney disorders using deep learning method | |
CN115439423A (zh) | 一种基于ct图像的识别方法、装置、设备及存储介质 | |
de Melo et al. | Gradient boosting decision trees for echocardiogram images | |
Liu et al. | Novel Approach for Automatic Region of Interest and Seed Point Detection in CT Images Based on Temporal and Spatial Data. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |