CN115937219B - 一种基于视频分类的超声图像部位识别方法及系统 - Google Patents

一种基于视频分类的超声图像部位识别方法及系统 Download PDF

Info

Publication number
CN115937219B
CN115937219B CN202310238246.1A CN202310238246A CN115937219B CN 115937219 B CN115937219 B CN 115937219B CN 202310238246 A CN202310238246 A CN 202310238246A CN 115937219 B CN115937219 B CN 115937219B
Authority
CN
China
Prior art keywords
image
frame image
current frame
ultrasonic
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310238246.1A
Other languages
English (en)
Other versions
CN115937219A (zh
Inventor
程栋梁
王晨
刘振
黄琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Hebin Intelligent Robot Co ltd
Original Assignee
Hefei Hebin Intelligent Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Hebin Intelligent Robot Co ltd filed Critical Hefei Hebin Intelligent Robot Co ltd
Priority to CN202310238246.1A priority Critical patent/CN115937219B/zh
Publication of CN115937219A publication Critical patent/CN115937219A/zh
Application granted granted Critical
Publication of CN115937219B publication Critical patent/CN115937219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于视频分类的超声图像部位识别方法及系统,涉及目标识别技术领域,该方法为:实时检测当前帧图像的超声扫查区域;根据当前帧的超声扫查区域图像和前一帧的超声扫查区域图像,计算当前帧图像的扫查速度;根据当前帧图像的扫查速度计算当前采样频率;从当前帧图像的前n帧图像开始至当前帧图像结束,提取一段帧图像;根据当前采样频率,对该段帧图像进行采样,得到一系列采样点图像;根据每个采样点的超声扫查区域图像进行视频分类,输出结果即为当前帧图像的部位类别。本发明基于当前帧图像的扫查速度动态调整当前帧采样频率,基于视频分类对采样得到的帧图像序列进行分类,提高了当前帧图像的部位识别精度。

Description

一种基于视频分类的超声图像部位识别方法及系统
技术领域
本发明涉及目标识别技术领域,尤其是一种基于视频分类的超声图像部位识别方法及系统。
背景技术
图像分类是根据单张图片信息,对图片上的内容做预设性分类的任务。视频分类是综合一段视频信息,对视频中的内容做预设性分类的任务。相比图像分类,视频分类的优点是,视频分类模型的输入是一个图像序列,模型不仅能获得每个图像内的信息,还能获取图像与图像之间的信息,获得的信息量更大。
现阶段基于人工智能开发的超声算法不是通用算法,需要根据不同的超声扫查部位做具体的部位超声算法的调整和开发,特定的部位超声算法需要特定的部位信息作为输入参数。
因此,如何设计一个能够自动识别超声扫查部位的算法有很大的意义。医生在实际扫查时,如常规检查中,一般会按顺序扫查患者的不同部位,如甲状腺,乳腺,肝脏,肾脏等部位。这就需要部位识别算法能够根据实时获得的超声视频判断目前具体扫查部位,然后自动切换到相应的部位超声算法中,避免部位和部位超声算法不匹配产生的误检信息。相比迫使医生手动通过UI界面交互切换部位算法的方式,使用部位识别算法能大大减轻医生在交互上的负担。部位识别算法识别出部位后,可以供后续的部位超声算法使用,满足全流程自动化超声视频数据处理的需求。
经了解,经验丰富的超声医生能通过观看短时超声视频,准确的判断出当前超声扫查的部位,如甲状腺、乳腺、腹部等。通过与许多超声医生交流,发现超声医生判断超声扫查部位的依据主要是,不同组织和部位在超声成像下有它们独特的成像特点,如:甲状腺组织成像均匀;乳腺组织分层;腹部有各种大器官轮廓以及各种腔室的轮廓信息。但如果只给一张超声图像,超声扫查部位的判断准确率就会有所下降,主要原因是单张超声图像只是对某个部位的一个局部进行成像,信息量有限。不同的部位在超声探头动态扫查过程中,成像会根据各自部位特点,发生一些有规律的图像变化。这些动态信息对医生判断扫查部位具有重要的作用。
一般的超声设备会在操作界面上,通过文字的形式显示扫查的部位信息,如“甲状腺”、“乳腺”等字样。但市面上超声仪器厂家很多,不同厂家设计的操作界面上显示部位信息的位置和内容各有不同,如果通过传统的OCR字符检测识别技术对部位信息进行提取,以识别部位,有很大的局限性,这种方法主要存在以下缺点:
首先,检测精度不仅受字符检测模型精度的约束,还会受到不同超声设备厂商设置字符字体,颜色等限制。
其次,操作界面上显示的部位信息字符占UI界面的比例往往很小,对字符检测模型来说,属于小目标检测任务,要想达到较高的检测精度,需要在大尺度下对整图进行检测,或者采用分块检测方式,然而这些方式往往具有高耗时的特点,在需要进行实时分析的任务中,就意味着需要性能更强的硬件作为支撑,不利于模型在边缘设备上部署和产品成本的降低。
发明内容
为了克服上述现有技术中的缺陷,本发明提供一种基于视频分类的超声图像部位识别方法,基于当前帧图像的扫查速度动态调整当前帧采样频率,基于视频分类对采样得到的帧图像序列进行分类,提高了当前帧图像的部位识别精度。
为实现上述目的,本发明采用以下技术方案,包括:
一种基于视频分类的超声图像部位识别方法,包括以下步骤:
S1,输入超声视频,实时检测当前帧图像的超声扫查区域,从当前帧图像中提取当前帧的超声扫查区域图像;
S2,根据当前帧的超声扫查区域图像和前一帧的超声扫查区域图像,计算当前帧图像的扫查速度v;
S3,根据当前帧图像的扫查速度v,计算当前采样频率f;
S4,从当前帧图像的前n帧图像开始至当前帧图像结束,提取一段帧图像;根据当前采样频率f,对所提取的该一段帧图像进行采样,得到一系列采样点图像;若当前帧图像为采样点图像,则进入步骤S5;若当前帧图像不为采样点图像,则当前帧图像的部位类别沿用前一帧图像的部位类别;
S5,根据每个采样点的超声扫查区域图像进行视频分类,输出结果即为当前帧图像的部位类别。
优选的,还包括以下步骤:
S6,按照步骤S1-S5的方式得到超声视频中每一帧图像的部位类别后,对超声视频进行划分,每m秒划分为一段子视频,根据子视频中每一帧图像的部位类别,选择帧数量占比最多的部位类别作为子视频的部位类别。
优选的,步骤S1中,采用基于深度学习的目标检测模型实时检测当前帧图像的超声扫查区域;
所述目标检测模型的训练数据为已标注有包围框的超声图像,包围框内即为超声扫查区域。
优选的,步骤S1中,还对当前帧图像中检测出的超声扫查区域进行校验,并根据超声扫查区域的校验结果进行后处理:
若检验通过,即超声扫查区域检测正确,则提取当前帧的超声扫查区域图像;
若检验不通过,即超声扫查区域检测错误,则跳过当前帧图像,继续检测下一帧图像的超声扫查区域,后续在步骤S4中提取一段帧图像时,不对所跳过的帧图像进行提取。
优选的,对当前帧图像中检测出的超声扫查区域的位置进行校验,校验方式具体如下所示:
超声视频中当前帧图像的宽度为W,高度为H;当前帧图像中检测出的超声扫查区域的中心点坐标为(x,y);
若x>0.8W或x<0.2W或y>0.8H或y<0.2H,则当前帧图像中检测出的超声扫查区域为校验不通过;若0.2W≤x≤0.8W且0.2H≤y≤0.8H,则当前帧图像中检测出的超声扫查区域为校验通过。
优选的,步骤S2中,当前帧图像的扫查速度v的计算方式具体如下所示:
img=abs(pre_img–cur_img);
v=Count(img>0)/(img_w×img_h);
其中,pre_img表示前一帧图像,cur_img表示当前帧图像,img表示差分图像,abs(·)函数表示对前一帧图像pre_img的像素值和当前帧图像cur_img的像素值的差值取绝对值;
Count(img>0)表示统计差分图像img中像素值大于0的像素点数量,img_w为差分图像中沿宽度方向的像素点数量,img_h为差分图像中沿高度方向的像素点数量,img_w×img_h为差分图像的像素点总数量;
v为当前帧图像的扫查速度。
优选的,步骤S3中,当前采样频率f的计算方式具体如下所示:
设定:采样频率的取值范围为[f_low,f_high],扫查速度的取值范围为[v_low,v_high];
f=round[f_high-(v-v_low)×(f_high–f_low)/(v_high–v_low)];
其中,round[·]为向上取整函数,f为当前采样频率。
优选的,步骤S5中,视频分类采用Temporal Shift Module模型,模型的训练数据为不同部位的超声视频。
本发明还提供了一种基于视频分类的超声图像部位识别系统,系统包括如下组成部分:超声ROI区域提取模块、速度评价模块、采样策略模块、视频分类模块;
所述超声ROI区域提取模块用于检测超声视频中当前帧图像的超声扫查区域,并提取当前帧的超声扫查区域图像;
所述速度评价模块用于根据当前帧的超声扫查区域图像和前一帧的超声扫查区域图像,计算当前帧图像的扫查速度;
所述采样策略模块用于根据当前帧图像的扫查速度,实时计算当前采样频率;并根据当前采样频率,对从当前帧图像的前n帧图像开始至当前帧图像结束的一段帧图像进行采样,得到一系列采样点图像;
所述视频分类模块将各个采样点的超声扫查区域图像作为输入,输出为当前帧图像的部位类别。
优选的,系统还包括:分类结果后处理模块;
所述分类结果后处理模块用于对超声视频的视频分类结果进行平滑滤波,具体方式为:
得到超声视频的视频分类结果后,即得到超声视频中每一帧图像的部位类别后,采用一个时长为m秒的时间窗口对超声视频进行平滑处理,在每个时间窗口内,统计不同部位类别对应的帧数量,将帧数量占比最多的部位类别作为该时间窗口所对应的子视频的部位类别。
本发明的优点在于:
(1)本发明提供一种基于视频分类的超声图像部位识别方法,基于当前帧图像的扫查速度动态调整当前帧采样频率,基于视频分类对采样得到的帧图像序列进行分类,提高了当前帧图像的部位识别精度。
(2)本发明得到超声视频中每一帧图像的部位类别后,最后采用投票方式对视频分类结果再次进行平滑滤波,最终得到一个相对长时、更加稳定的部位类别输出结果。后续可以将各个部位类别的子视频分别输入对应的部位超声算法中进行处理,获取关于该部位的有用信息。
(3)受超声医生根据短时超声视频就能识别超声扫查部位的经验启发,本发明首先采用目标检测模型将实时超声扫查区域的包围框提取出来,然后将检测到的实时超声扫查区域图像按滑窗的方式送入到一个视频分类模型中,从而输出每一帧图像的部位类别。
(4)由于绝大多数超声扫查设备的超声扫查区域只占整个操作界面即整个超声图像的40%空间,其他区域还包含UI部分,如功能菜单,参数显示区域等。这些非超声扫查区域对判断扫查部位类别意义不大,因此准确提取出超声扫查区域具有很强的意义。
(5)本发明在检测超声扫查区域后,还根据先验知识对检测出的超声扫查区域进行校验和后处理,进一步提高了超声扫查区域图像的提取精度。
(6)虽然现有技术中,检测目标类别直接使用目标检测器就能实现,但是本发明并没有直接使用目标检测器输出图像的部位类别,原因是使用目标检测器根据单帧图像输出部位类别的准确性类似于医生根据单张超声图像判断超声扫查部位的准确性,分类精度并不高。因此,本发明利用视频分类的方式对采样得到的帧图像序列进行分类输出部位类别,使得分类精度提高很多,且采用视频分类的方式还能够变相吸收超声视频中的低质量超声图像,防止某个低质量超声图像对部位类别的判断产生干扰。
(7)本发明考虑超声视频的独特性,医生在给患者做超声扫查时,一般先是在大范围上快速扫查找到待扫查部位的大致区域,出现候选扫查部位后,降低扫查速度,在小范围内反复缓慢的扫查,最后定位到目标扫查部位的特定扫查切面,固定画面,进行后续诊断。因此,当超声视频扫查速度越慢,超声视频中的帧与帧之间的信息冗余就越多,当超声视频扫查速度越快,超声视频中的帧与帧之间的信息冗余就越少,即扫查速度在很大概率上表示着医生扫查的过程信息,对后续算法有很大的指导意义。针对超声视频的这一特点,本发明为了进一步提高视频分类模型的效率,根据扫查速度动态调整采样频率,根据动态采样策略调整视频分类模型输入的帧图像序列,进一步提高视频分类的效率。
附图说明
图1为一种基于视频分类的超声图像部位识别方法的流程图。
图2为一种基于视频分类的超声图像部位识别系统的架构图。
附图标记说明:
1-超声ROI区域提取模块;2-速度评价模块;3-采样策略模块;4-视频分类模块;5-分类结果后处理模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
由图1所示,本实施例1提供了一种基于视频分类的超声图像部位识别方法,具体包括以下步骤:
S1,输入超声视频,实时检测当前帧图像的超声扫查区域,从当前帧图像中提取当前帧的超声扫查区域图像。
本发明中,采用基于深度学习的目标检测模型实时检测当前帧图像的超声扫查区域,如YOLO,Faster-rcnn等模型。
所述目标检测模型的训练数据为从实时扫查的超声视频中截取的超声图像,且超声图像已标注有包围框,在超声图像中使用包围框标注超声扫查区域;经过模型训练和模型测试后得到的目标检测模型能够直接将当前帧图像中的超声扫查区域用包围框标注出来。
目标检测为现有技术,关于目标检测模型的详细架构可以参见现有技术。
由于目标检测模型的检测精度不可能是100%正确,会出小概率的误检,因此需要使用一些先验知识对目标检测模型的检测结果进行校验和过滤,提高超声扫查区域的检测精度。通常使用的先验知识有:一般超声扫查区域只占整个超声扫查界面即超声图像的40%,且一般位于超声扫查界面的中间部分。
本发明利用这一先验知识对检测出的超声扫查区域进行校验,校验方式具体如下所示:
超声视频中当前帧图像的宽度为W,高度为H;当前帧图像中检测出的超声扫查区域的中心点坐标为(x,y);
若x>0.8W或x<0.2W或y>0.8H或y<0.2H,则当前帧图像中检测出的超声扫查区域为校验不通过;若0.2W≤x≤0.8W且0.2H≤y≤0.8H,则当前帧图像中检测出的超声扫查区域为校验通过。
本发明还根据超声扫查区域的校验结果进行后处理,具体如下所示:
若检验通过,即超声扫查区域检测正确,则从当前帧图像中提取当前帧的超声扫查区域图像;
若检验不通过,即超声扫查区域检测错误,则跳过当前帧图像,继续检测下一帧图像的超声扫查区域,后续在步骤S4中提取一段帧图像时,不对所跳过的帧图像进行提取,以避免无法提取超声扫查区域的帧图像对部位类别的判断产生干扰。
S2,根据当前帧的超声扫查区域图像和前一帧的超声扫查区域图像,计算当前帧图像的扫查速度v。
本发明中,利用当前帧图像中运动像素点数量占像素点总数量的比例,作为扫查速度v,具体采用图像前后帧差法进行计算,当前帧图像的扫查速度v的计算方式具体如下所示:
img=abs(pre_img–cur_img);
v=Count(img>0)/(img_w×img_h);
其中,pre_img表示前一帧图像,cur_img表示当前帧图像,img表示差分图像,abs(·)函数表示对前一帧图像pre_img的像素值和当前帧图像cur_img的像素值的差值取绝对值;
Count(img>0)表示统计差分图像img中像素值大于0的像素点数量,img_w为差分图像img中沿宽度方向的像素点数量,img_h为差分图像img中沿高度方向的像素点数量,img_w×img_h为差分图像img的像素点总数量;
v为当前帧图像的扫查速度;
根据上述公式可以看出扫查速度v的取值范围为[0,1]。
S3,根据当前帧图像的扫查速度v,计算当前采样频率f。
当前采样频率f的计算方式具体如下所示:
设定:采样频率的取值范围为[f_low,f_high],扫查速度的取值范围为[v_low,v_high];
f=round[f_high-(v-v_low)×(f_high–f_low)/(v_high–v_low)];
其中,round[·]为向上取整函数,f为当前采样频率。
S4,从当前帧图像的前n帧图像开始至当前帧图像结束,提取一段帧图像,根据当前采样频率f,对所提取的该一段帧图像进行采样,得到一系列采样点图像,一般会采样得到3-5帧图像;若当前帧图像为采样点图像,则进入步骤S5;若当前帧图像不为采样点图像,则当前帧图像的部位类别直接沿用前一帧图像的部位类别。
其中,若当前帧图像为整个超声视频的前n帧图像,则从超声视频的第一帧图像开始至当前帧图像结束,提取一段帧图像;若当前帧图像为整个超声视频的第1帧图像,则仅提取该第1帧图像。
S5,根据所提取的一系列采样点图像进行视频分类,输出结果即为当前帧图像的部位类别;具体为:将各个采样点的超声扫查区域图像作为视频分类模型的输入,输出部位类别。
本发明中,视频分类模型采用Temporal Shift Module模型。视频分类模型的训练数据为不同部位的超声视频,具体为:从不同部位的超声视频中截取的多个1-3秒的短视频作为训练数据。本实施例中,包括甲状腺、乳腺、腹部、其他部位的四个部位类别。
视频分类为现有技术,关于视频分类模型的详细架构可以参见现有技术。本发明使用Temporal Shift Module模型相比于其他基于3D卷积的视频分类模型,其速度更快,有利于部署在边缘设备上。
由于医生在扫查过程中不可能全过程都输出的高质量超声图像,会有一定比例的低质量超声图像存在于超声视频中,例如:耦合剂较少、扫查时手法间歇性抬起,部位之间切换均会导致超声图像质量较低,此时无法根据该低质量超声图像判断其部位类别,低质量超声图像广泛分布在各个部位的超声视频中。因此本发明采用视频分类的目的也是为了在实时检查过程中,变相吸收低质量超声图像,防止某个低质量超声图像对部位类别的判断产生干扰。
一般情况下,视频分类是采用稀疏均匀采样的方式,即对一段时间内的视频进行稀疏均匀采样得到一个帧图像序列,然后根据采样得到的帧图像序列进行分类。但是,本发明考虑超声视频的独特性,医生在给患者做超声扫查时,一般先是在大范围上快速扫查找到待扫查部位的大致区域,出现候选扫查部位后,降低扫查速度,在小范围内反复缓慢的扫查,最后定位到目标扫查部位的特定扫查切面,固定画面,进行后续诊断,因此,当超声视频扫查速度越慢,超声视频中的帧与帧之间的信息冗余就越多,当超声视频扫查速度越快,超声视频中的帧与帧之间的信息冗余就越少。针对超声视频的这一特点,本发明为了进一步提高视频分类模型的效率,根据扫查速度动态调整采样频率,根据动态采样策略调整视频分类模型输入的帧图像序列,进一步提高视频分类的效率。
S6,按照步骤S1-S5的方式,得到超声视频中每一帧图像的部位类别后,对超声视频进行划分,每m秒划分为一段子视频,例如每20秒划分为一段子视频,根据子视频中每一帧图像的部位类别,选择帧数量占比最多的部位类别作为子视频的部位类别,从而获得一个相对长时、更加稳定的部位类别输出结果,后续可以将各个部位类别的子视频分别输入对应的部位超声算法中进行处理,获取关于该部位的有用信息,或者将连续的属于同一个部位类别的子视频作为整体输入对应的部位超声算法中进行处理,获取关于该部位的有用信息。
实施例2
由图2所示,本实施例2还提供了一种基于视频分类的超声图像部位识别系统,用于实现实施例1的超声图像部位识别方法。系统包括如下组成部分:超声ROI区域提取模块1、速度评价模块2、采样策略模块3、视频分类模块4、分类结果后处理模块5。
超声ROI区域提取模块1用于检测超声视频中当前帧图像的超声扫查区域,并从当前帧图像中提取当前帧的超声扫查区域图像。
超声ROI区域提取模块1中包括:目标检测模型、检测后处理单元。
所述目标检测模型用于实时检测当前帧图像的超声扫查区域,目标检测模型可采用现有技术中的基于深度学习的YOLO,Faster-rcnn等模型,目标检测模型的训练数据为从实时扫查的超声视频中截取的超声图像,且超声图像已标注有包围框,在超声图像中使用包围框标注超声扫查区域。经过模型训练和模型测试后得到的目标检测模型能够直接将当前帧图像中的超声扫查区域用包围框标注出来。
所述检测后处理单元用于对目标检测模型检测出的超声扫查区域进行校验和后处理,以避免目标检测模型的误检。
所述检测后处理单元的检验方式为:超声视频中当前帧图像的宽度为W,高度为H;当前帧图像中检测出的超声扫查区域的中心点坐标为(x,y);若x>0.8W或x<0.2W或y>0.8H或y<0.2H,则当前帧图像中检测出的超声扫查区域为校验不通过;若0.2W≤x≤0.8W且0.2H≤y≤0.8H,则当前帧图像中检测出的超声扫查区域为校验通过。
所述检测后处理单元的后处理方式为:若检验通过,即超声扫查区域检测正确,则从当前帧图像中提取当前帧的超声扫查区域图像;若检验不通过,即超声扫查区域检测错误,则跳过当前帧图像,继续检测下一帧图像的超声扫查区域,后续在采样策略模块3中提取一段帧图像时,不对所跳过的帧图像进行提取。
所述速度评价模块2用于根据超声视频中当前帧的超声扫查区域图像和前一帧的超声扫查区域图像,计算当前帧图像的扫查速度v。
所述采样策略模块3用于根据当前帧图像的扫查速度v,实时计算当前采样频率f;并根据当前采样频率f,对从当前帧图像的前n帧图像开始至当前帧图像结束的一段帧图像序列进行采样,得到一系列采样点图像。
所述视频分类模块4将各个采样点的超声扫查区域图像作为视频分类模型输入,输出为当前帧图像的部位类别。
所述视频分类模块4包括视频分类模型,视频分类模型采用Temporal ShiftModule模型。视频分类模型的训练数据为不同部位的短时超声视频,具体为:从不同部位的超声视频中截取的多个1-3秒的短视频作为训练数据。
所述分类结果后处理模块5对超声视频的视频分类结果进行平滑滤波,具体方式为:采用一个时长为m秒的时间窗口对超声视频进行平滑处理,在每个时间窗口内,统计不同部位类别出现的帧数量,将帧数量占比最多的部位类别作为该时间窗口内的子视频的输出结果,从而获得一个相对长时、更加稳定的部位类别输出结果。
以上仅为本发明创造的较佳实施例而已,并不用以限制本发明创造,凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明创造的保护范围之内。

Claims (6)

1.一种基于视频分类的超声图像部位识别方法,其特征在于,包括以下步骤:
S1,输入超声视频,实时检测当前帧图像的超声扫查区域,从当前帧图像中提取当前帧的超声扫查区域图像;
S2,根据当前帧的超声扫查区域图像和前一帧的超声扫查区域图像,计算当前帧图像的扫查速度v;
S3,根据当前帧图像的扫查速度v,计算当前采样频率f;
S4,从当前帧图像的前n帧图像开始至当前帧图像结束,提取一段帧图像;根据当前采样频率f,对上述所提取的一段帧图像进行采样,得到一系列采样点图像;若当前帧图像为采样点图像,则进入步骤S5;若当前帧图像不为采样点图像,则当前帧图像的部位类别沿用前一帧图像的部位类别;
S5,根据每个采样点的超声扫查区域图像进行视频分类,输出结果即为当前帧图像的部位类别;
步骤S1中,还对当前帧图像中检测出的超声扫查区域进行校验,并根据超声扫查区域的校验结果进行后处理:
若检验通过,即超声扫查区域检测正确,则提取当前帧的超声扫查区域图像;
若检验不通过,即超声扫查区域检测错误,则跳过当前帧图像,继续检测下一帧图像的超声扫查区域,后续在步骤S4中提取一段帧图像时,不对所跳过的帧图像进行提取;
对当前帧图像中检测出的超声扫查区域的位置进行校验,校验方式具体如下所示:
超声视频中当前帧图像的宽度为W,高度为H;当前帧图像中检测出的超声扫查区域的中心点坐标为(x,y);
若x>0.8W或x<0.2W或y>0.8H或y<0.2H,则当前帧图像中检测出的超声扫查区域为校验不通过;若0.2W≤x≤0.8W且0.2H≤y≤0.8H,则当前帧图像中检测出的超声扫查区域为校验通过;
步骤S2中,当前帧图像的扫查速度v的计算方式具体如下所示:
img=abs(pre_img–cur_img);
v=Count(img>0)/(img_w×img_h);
其中,pre_img表示前一帧图像,cur_img表示当前帧图像,img表示差分图像,abs(·)函数表示对前一帧图像pre_img的像素值和当前帧图像cur_img的像素值的差值取绝对值;
Count(img>0)表示统计差分图像img中像素值大于0的像素点数量,img_w为差分图像中沿宽度方向的像素点数量,img_h为差分图像中沿高度方向的像素点数量,img_w×img_h为差分图像的像素点总数量;
v为当前帧图像的扫查速度;
步骤S3中,当前采样频率f的计算方式具体如下所示:
设定:采样频率的取值范围为[f_low,f_high],扫查速度的取值范围为[v_low,v_high];
f=round[f_high-(v-v_low)×(f_high–f_low)/(v_high–v_low)];
其中,round[·]为向上取整函数,f为当前采样频率。
2.根据权利要求1所述的一种基于视频分类的超声图像部位识别方法,其特征在于,还包括以下步骤:
S6,按照步骤S1-S5的方式得到超声视频中每一帧图像的部位类别后,对超声视频进行划分,每m秒划分为一段子视频,根据子视频中每一帧图像的部位类别,选择帧数量占比最多的部位类别作为子视频的部位类别。
3.根据权利要求1所述的一种基于视频分类的超声图像部位识别方法,其特征在于,步骤S1中,采用基于深度学习的目标检测模型实时检测当前帧图像的超声扫查区域;
所述目标检测模型的训练数据为已标注有包围框的超声图像,包围框内即为超声扫查区域。
4.根据权利要求1所述的一种基于视频分类的超声图像部位识别方法,其特征在于,步骤S5中,视频分类采用Temporal Shift Module模型,模型的训练数据为不同部位的超声视频。
5.适用于权利要求1-4任意一项所述的一种基于视频分类的超声图像部位识别方法的系统,其特征在于,系统包括如下组成部分:超声ROI区域提取模块(1)、速度评价模块(2)、采样策略模块(3)、视频分类模块(4);
所述超声ROI区域提取模块(1)用于检测超声视频中当前帧图像的超声扫查区域,并提取当前帧的超声扫查区域图像;
所述速度评价模块(2)用于根据当前帧的超声扫查区域图像和前一帧的超声扫查区域图像,计算当前帧图像的扫查速度;
所述采样策略模块(3)用于根据当前帧图像的扫查速度,实时计算当前采样频率;并根据当前采样频率,对从当前帧图像的前n帧图像开始至当前帧图像结束的一段帧图像进行采样,得到一系列采样点图像;
所述视频分类模块(4)将各个采样点的超声扫查区域图像作为输入,输出为当前帧图像的部位类别。
6.根据权利要求5所述的一种基于视频分类的超声图像部位识别方法的系统,其特征在于,系统还包括:分类结果后处理模块(5);
所述分类结果后处理模块(5)用于对超声视频的视频分类结果进行平滑滤波,具体方式为:
得到超声视频的视频分类结果后,即得到超声视频中每一帧图像的部位类别后,采用一个时长为m秒的时间窗口对超声视频进行平滑处理,在每个时间窗口内,统计不同部位类别对应的帧数量,将帧数量占比最多的部位类别作为该时间窗口所对应的子视频的部位类别。
CN202310238246.1A 2023-03-14 2023-03-14 一种基于视频分类的超声图像部位识别方法及系统 Active CN115937219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310238246.1A CN115937219B (zh) 2023-03-14 2023-03-14 一种基于视频分类的超声图像部位识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310238246.1A CN115937219B (zh) 2023-03-14 2023-03-14 一种基于视频分类的超声图像部位识别方法及系统

Publications (2)

Publication Number Publication Date
CN115937219A CN115937219A (zh) 2023-04-07
CN115937219B true CN115937219B (zh) 2023-05-12

Family

ID=85838721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310238246.1A Active CN115937219B (zh) 2023-03-14 2023-03-14 一种基于视频分类的超声图像部位识别方法及系统

Country Status (1)

Country Link
CN (1) CN115937219B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536964A (zh) * 2021-06-25 2021-10-22 合肥合滨智能机器人有限公司 一种超声视频的分类提取方法
CN113793316A (zh) * 2021-09-13 2021-12-14 合肥合滨智能机器人有限公司 一种超声扫查区域提取方法、装置、设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100490564B1 (ko) * 2002-07-23 2005-05-19 주식회사 메디슨 초음파 영상 신호로부터 장기를 인식하는 장치 및 방법
JP5191167B2 (ja) * 2007-06-06 2013-04-24 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
EP2790587B1 (en) * 2011-12-18 2018-04-11 Metritrack, Inc. Three dimensional mapping display system for diagnostic ultrasound machines
JP2014102810A (ja) * 2012-10-22 2014-06-05 Nippon Telegr & Teleph Corp <Ntt> 被写体認識装置、被写体認識方法および被写体認識プログラム
GB2507987A (en) * 2012-11-15 2014-05-21 Imp Innovations Ltd Method of automatically processing an ultrasound image
JP6664163B2 (ja) * 2015-08-05 2020-03-13 キヤノン株式会社 画像識別方法、画像識別装置及びプログラム
CN106199610B (zh) * 2016-06-29 2018-11-27 江苏引拓电力科技有限公司 一种具有识别功能的超声波探测装置
JP7104810B2 (ja) * 2019-01-15 2022-07-21 オリンパス株式会社 画像処理システム、学習済みモデル及び画像処理方法
CN113545800B (zh) * 2021-07-13 2022-12-30 上海深至信息科技有限公司 一种颈动脉超声扫查视频的质量筛查方法和系统
CN113855067A (zh) * 2021-08-23 2021-12-31 谈斯聪 视觉图像与医疗图像融合识别、自主定位扫查方法
CN113995435A (zh) * 2021-10-25 2022-02-01 上海杏脉信息科技有限公司 基于超声图像的测量设备、方法、介质及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536964A (zh) * 2021-06-25 2021-10-22 合肥合滨智能机器人有限公司 一种超声视频的分类提取方法
CN113793316A (zh) * 2021-09-13 2021-12-14 合肥合滨智能机器人有限公司 一种超声扫查区域提取方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN115937219A (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US6055295A (en) Method and apparatus for automatic collimation in x-ray peripheral imaging
CN103528617B (zh) 一种座舱仪表自动识别和检测方法及装置
US8343053B2 (en) Detection of structure in ultrasound M-mode imaging
CN109671068B (zh) 一种基于深度学习的腹部肌肉标注方法及装置
CN111214255B (zh) 一种医学超声图像计算机辅助方法
US20030174890A1 (en) Image processing device and ultrasonic diagnostic device
CN111374708B (zh) 一种胎儿心率检测方法及超声成像装置、存储介质
US20200245969A1 (en) Ultrasound Needle Positioning System and Ultrasound Needle Positioning Method Utilizing Convolutional Neural Networks
CN112164043A (zh) 一种用于多眼底图像拼接的方法及系统
CN110301940A (zh) 一种基于机器学习的腹腔彩超仪
CN113066064A (zh) 基于人工智能的锥束ct图像生物结构识别及三维重建系统
CN111062953A (zh) 一种超声图像中甲状旁腺增生的识别方法
EP2085931A2 (en) Method and system for characterizing prostate images
CN111242921A (zh) 一种医学超声图像辅助诊断系统自动更新的方法及系统
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN115937219B (zh) 一种基于视频分类的超声图像部位识别方法及系统
CN117350979A (zh) 一种基于医疗超声影像的任意病灶分割和追踪系统
CN112741651A (zh) 一种内窥镜超声影像的处理方法及系统
JP7352261B2 (ja) 学習装置、学習方法、プログラム、学習済みモデルおよび骨転移検出装置
CN116168328A (zh) 一种甲状腺结节超声检查系统及方法
CN114938971A (zh) 一种超声影像质量控制方法及系统
US11315251B2 (en) Method of operation of an artificial intelligence-equipped specimen scanning and analysis unit to digitally scan and analyze pathological specimen slides
CN113989588A (zh) 一种基于自学习的五边形绘图测试智能评价系统及方法
CN113034451A (zh) 一种基于深度学习的胸部dr图像识别方法
CN114503166A (zh) 三维体数据的测量方法、测量系统、医疗器械及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant