超声扫描方法及装置
技术领域
本发明涉及超声技术领域,尤其涉及一种超声扫描方法及装置。
背景技术
众所周知超声设备正在逐渐成为外科、急诊等科室必不可少的检测设备,它拥有实时、连续、多切面、多角度等优势,有利于医疗的快速诊断和检测。然而超声检查不同于其他的影像学检查方法,超声设备使用范围需要专业的超声医生使用应用受到限制。现有的超声检查需要专业的超声医生基于其以往的经验及手法,通过超声探头采集标注的超声切片,以便于诊断病患。对于经验不足或者非超声医生而言,无法快速且准确的利用超声探头采用标注的超声切片,从而延误诊断。
发明内容
鉴于上述问题,本发明的目的在于提供一种可以辅助经验不足或非超声医生使用超声探头采集标注的超声切片的超声扫描方法及装置。
本发明提供了一种超声扫描方法,包括:
获取超声探头采集的超声图像及当前所述超声探头的姿态数据;
识别所述超声图像确定目标轮廓信息;
将所述目标轮廓信息与预设切面信息匹配获取偏移数据;
基于所述偏移数据及所述姿态数据确定所述超声探头的调节数据。
优选的,获取超声探头采集的超声图像及当前所述超声探头的姿态数据,包括:
通过所述超声探头向目标对象发送超声波,获取所述超声图像;
基于当前所述超声探头的加速度确定所述姿态数据。
优选的,基于当前所述超声探头的加速度确定所述姿态数据,包括:
获取当前所述超声探头在空间坐标系下每个坐标轴的加速度,分别对每个坐标轴的加速度积分确定所述姿态数据。
优选的,识别所述超声图像确定目标轮廓信息,包括:
采用卷积神经网络模型对所述超声图像识别,获取目标轮廓信息。
优选的,采用卷积神经网络模型对所述超声图像识别,获取目标轮廓信息,包括:
获取所述超声图像的类别,基于所述类别确定相应的类别卷积神经网络模型;
通过所述类别卷积神经网络模型对所述超声图像识别,获取所述目标轮廓信息。
优选的,将所述目标轮廓信息与预设切面信息匹配获取偏移数据,包括:
采用边缘匹配算法对所述目标轮廓信息与预设切面信息匹配获取所述偏移数据。
优选的,基于所述偏移数据及所述姿态数据确定所述超声探头的调节数据,包括:
将所述偏移数据与所述姿态数据进行运算,获取所述调节数据。
本发明还提供了一种超声扫描装置,包括:
获取单元,用于获取超声探头采集的超声图像及当前所述超声探头的姿态数据;
识别单元,用于识别所述超声图像确定目标轮廓信息;
匹配单元,用于将所述目标轮廓信息与预设切面信息匹配获取偏移数据;
确定单元,用于基于所述偏移数据及所述姿态数据确定所述超声探头的调节数据。
本发明还提供了一种计算机设备,所述计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现上述方法的步骤。
本发明的有益效果是:本发明中,通过识别超声探头采集的超声图像确定目标轮廓信息,将目标轮廓信息与预设切面信息(如:标准切片)匹配,进而获取目标轮廓信息与预设切面信息之间的偏移数据(如:偏移量);根据偏移数据以及采集超声图像时超声探头的姿态数据,计算调节数据(建议超声探头调节的角度及位置数据),可以辅助超声医生根据所述调节数据调节超声探头的位置,获取精准有效的超声图像,从而方便患者诊断或检查。
附图说明
图1为本发明所述的超声扫描方法的一种实施例的方法流程图;
图2为本发明采用卷积神经网络模型对所述超声图像识别获取目标轮廓信息的一种实施例的方法流程图;
图3为本发明所述的超声扫描方法的另一种实施例的方法流程图;
图4为本发明所述的超声扫描装置的一种实施例的模块图
图5为本发明所述的计算机设备一实施例的硬件架构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
贯穿说明书,超声图像是指基于发送到对象并从其反射的超声信号处理的对象的图像。
实施例一
如图1所示,本发明提供了一种超声扫描方法,包括:
S1.获取超声探头采集的超声图像及当前所述超声探头的姿态数据;
需要说明的是,超声扫描方法可应用于超声图像处理装置中,超声图像处理装置可以是便携的、可挪动的、移动的和/或手持的推车式或便携式超声图像处理装置。便携式超声图像处理装置的示例可以包括智能电话、膝上型计算机、个人数字助理(PDA)和平板个人电脑(PC)、以上中的每个可以包括探头和软件应用程序,但实施例不限于此。
进一步地,步骤S1中获取超声探头采集的超声图像及当前所述超声探头的姿态数据可包括:
通过所述超声探头向目标对象发送超声波,获取所述超声图像;
基于当前所述超声探头的加速度确定所述姿态数据。
在本发明中,作为要被成像的事物的“目标对象”可以包括人、动物或其一部分。例如,目标对象可以包括人的一个部位,即器官、组织或幻影等。
在实际应用中,可采用超声探头采集超声图像,利用设置于超声探头上的重力感应单元采集当前超声探头的姿态数据。在超声探头采集超声图像之前,可对超声探头的重力感应单元初始化,以便于采集当前的姿态数据。
具体地,基于当前所述超声探头的加速度确定所述姿态数据可包括:
获取当前所述超声探头在空间坐标系下每个坐标轴的加速度,分别对每个坐标轴的加速度积分确定所述姿态数据。姿态数据为超声探头在空间坐标系下的每个坐标轴的加速度的积分坐标。
S2.识别所述超声图像确定目标轮廓信息;
在执行步骤S2之前,可对所述超声图像进行预处理,以便于后续识别。
其中,预处理可采用三次样条插值法(Cubic Spline Interpolation,简称Spline插值)、平滑处理、中值滤波处理中的至少一种方式对所述超声图像进行预处理。
采用平滑处理、中值滤波处理的方式对超声图像进行预处理,可达到消除图像中的无关信息,增强相关信息的可检测性,以及最大限度简化数据的目的;采用三次样条插值法可对超声图像进行缩放(调整图像的大小),通过索贝尔算子(sobel算子)对压缩过的图像进行边缘提取,获取图像边界。
具体地,步骤S2可采用卷积神经网络模型对所述超声图像识别,获取目标轮廓信息。
作为举例而非限定,采用卷积神经网络模型对所述超声图像识别,获取目标轮廓信息可包括:
获取所述超声图像的类别,基于所述类别确定相应的类别卷积神经网络模型;通过所述类别卷积神经网络模型对所述超声图像识别,获取所述目标轮廓信息。
需要说明的是:超声图像的类别可以是根据用户输入的类别信息的方式获取。超声图像的类别与目标对象的类型相对应。例如:甲状腺类超声图像、胎儿类超声图像、心脏类超声图像、肾脏类超声图像、肝脏类超声图像等。每一类超声图像对应一个卷积神经网络模型。例如:用于肝脏部位的卷积神经网络模型、用于甲状腺部位的卷积神经网络模型、用于胎儿的卷积神经网络模型、用于心脏的卷积神经网络模型、用于肾脏的卷积神经网络模型等。
在本实施例中,所述卷积神经网络模型可包括:第一特征提取模块、第二特征提取模块和分类模块;
参考图2所示,采用卷积神经网络模型对所述超声图像进行识别,获取目标轮廓信息可包括:
S21.通过所述第一特征提取模块提取第一特征信息;
S22.通过所述第二特征提取模块基于所述第一特征信息进行特征提取获取第二特征信息,将所述第一特征信息与所述第二特征信息逐级融合,生成第三特征信息;
S23.通过所述分类模块根据所述第三特征信息的像素预测语义分割结果,确定所述轮廓信息;
S24.采用二值化方法对轮廓信息进行处理,获取所述目标轮廓信息。
采用二值化方法对提取到的轮廓信息进行处理,通过闭运算(如:膨胀-腐蚀的闭运算)合并相邻的独立特征,增加图像关联性,提取轮廓,还可依据预处理的缩放值将轮廓坐标通过逆运算到原图像的大小,采用边界追踪算法获取目标轮廓信息。
需要说明的是:卷积神经网络模型是由U-Net的全卷积神经网络构建的,根据卷积神经网络模型对超声图像进行分割,从中分割出感兴趣区域。卷积神经网络模型的第一特征提取模块用于下采样提取感兴趣区域的深层特征,以此实现对主要脏器切面的自动语义分割。
第一特征提取模块包括用于下采样的八次卷积层(卷积conv)。其中,前两次卷积conv均由2个3×3的卷积层组成,以增加特征提取的速度和精确度;第二个卷积层stride(步长)为2以代替池化效果,第三次至第五次卷积层有4个3×3的卷积层;其中,第四个卷积层stride为2以代替池化效果,多层卷积使决策函数更灵敏对不同的区域识别能力更强,每个卷积层均经过Batch Normalization并使用LeakeyReLU作为激活函数。
第二特征提取模块包括用于上采样的五次上采样层。其中,五次上采样层均为反卷积层(deconv1、deconv2、deconv3、deconv4、deconv5),使用Relu作为激活函数。
分类模块包括三层全连接层,分别为:8×8×4096、1×1×4096和1×1×2的卷积层,最后一层卷积深度为2是由于部位切面分割是一个像素的二分类问题(例如:是否为部位脏器像素)。每个卷积层均经过Batch Normalization并使用Leakey ReLu作为激活函数。
本实施例的卷积神经网络模型采用类VGG16网络作为主干网络用于下采样层提取感兴趣区域的深层特征,以此实现对感兴趣的部位切面自动语义分割。类VGG16网络通过5次反卷积从第5层开始逐步向上采样5次,每次分别与BN层进行插值从而补充下采样过程中丢掉的细节信息,最后一次上采样还原到掩码图像。
下表为类VGG16全卷积神经网络:
S3.将所述目标轮廓信息与预设切面信息匹配获取偏移数据;
作为举例而非限定,可提供多个预设切面信息。在执行步骤S3之前,可自动获取预设切面信息,也可根据用户输入的指令选择预设切面信息。
自动获取预设切面信息的过程为:将目标轮廓信息分别与每个预设切面信息比较,确定相似度最大的预设切面信息,再将目标轮廓信息与相似度最大的预设切面信息匹配获取偏移数据。
根据用户输入的指令选择预设切面信息的过程为:获取用户输入的选择指令,选择相应的预设切面信息,再将目标轮廓信息与预设切面信息匹配获取偏移数据。
进一步地,在步骤S3中将所述目标轮廓信息与预设切面信息匹配获取偏移数据可包括:
采用边缘匹配算法(例如:豪斯多夫距离算法)对所述目标轮廓信息与预设切面信息匹配获取所述偏移数据。
需要说明的是,预设切面信息为经过二值化处理的标注切面。
具体地,将目标轮廓信息与预设切面信息通过豪斯多夫距离算法对所述目标轮廓信息和预设切面信息匹配进行计算,获取目标轮廓信息与预设切面信息之间的偏移数据,该偏移数据包括位置偏移量和角度偏移量。
S4.基于所述偏移数据及所述姿态数据确定所述超声探头的调节数据。
在步骤S4中可将所述偏移数据与所述姿态数据进行运算,获取所述调节数据。
具体地,将偏移数据中的位置偏移量(二维坐标)与姿态数据中相应的坐标轴(如:X轴和Y轴)的加速度积分值进行运算(如:相应的坐标轴的值进行相减运算),进而获取调节探头的调节距离(如:上下、左右移动距离);将偏移数据中角度偏移量与姿态数据中相应的坐标轴(如:Z轴)的加速度积分值进行运算(如:相减),进而获取调节探头的偏移角度。
在本实施例中,通过识别超声探头采集的超声图像确定目标轮廓信息,将目标轮廓信息与预设切面信息(如:标准切片)匹配,进而获取目标轮廓信息与预设切面信息之间的偏移数据(如:偏移量);根据偏移数据以及采集超声图像时超声探头的姿态数据,计算调节数据(建议超声探头调节的角度及位置数据),可以辅助超声医生根据所述调节数据调节超声探头的位置,获取精准有效的超声图像,从而方便患者诊断或检查。
实施例二
如图3所示,本发明提供的一种超声扫描方法可包括:
S1.获取超声探头采集的超声图像及当前所述超声探头的姿态数据;
S2.识别所述超声图像确定目标轮廓信息;
S3.将所述目标轮廓信息与预设切面信息匹配获取偏移数据;
S4.基于所述偏移数据及所述姿态数据确定所述超声探头的调节数据。
S5.基于所述调节数据和所述姿态数据生成三维模型,以供使用者根据该三维模型调整超声探头的姿态,获取精准有效的超声图像。
在实际应用中,可利用三维软件建模、图像或者视频构建三维模型。
实施例三
如图4所示,一种超声扫描装置1可包括:获取单元11、识别单元12、匹配单元13和确定单元14。
获取单元11,用于获取超声探头采集的超声图像及当前所述超声探头的姿态数据;
需要说明的是,超声扫描方法可应用于超声图像处理装置中,超声图像处理装置可以是便携的、可挪动的、移动的和/或手持的推车式或便携式超声图像处理装置。便携式超声图像处理装置的示例可以包括智能电话、膝上型计算机、个人数字助理(PDA)和平板个人电脑(PC)、以上中的每个可以包括探头和软件应用程序,但实施例不限于此。
获取单元11可包括:超声探头和采集模块;
超声探头,用于向目标对象发送超声波,获取所述超声图像;
采集模块,设置于所述超声探头上,用于采集当前超声探头姿态数据。
采集模块可以是设置于超声探头上的重力感应单元采集当前超声探头的姿态数据。采集模块获取当前所述超声探头在空间坐标系下每个坐标轴的加速度,分别对每个坐标轴的加速度积分确定所述姿态数据。姿态数据为超声探头在空间坐标系下的每个坐标轴的加速度的积分坐标。
识别单元12,用于识别所述超声图像确定目标轮廓信息;
具体地,识别单元12可包括预处理模块,预处理模块用于可对所述超声图像进行预处理,以便于后续识别。
其中,预处理可采用三次样条插值法、平滑处理、中值滤波处理中的至少一种方式对所述超声图像进行预处理。
采用平滑处理、中值滤波处理的方式对超声图像进行预处理,可达到消除图像中的无关信息,增强相关信息的可检测性,以及最大限度简化数据的目的;采用三次样条插值法可对超声图像进行缩放(调整图像的大小),通过索贝尔算子(sobel算子)对压缩过的图像进行边缘提取,获取图像边界。
识别单元12可采用卷积神经网络模型对所述超声图像识别,获取目标轮廓信息。识别单元12获取所述超声图像的类别,基于所述类别确定相应的类别卷积神经网络模型;识别单元12通过所述类别卷积神经网络模型对所述超声图像识别,获取所述目标轮廓信息。
在本实施例中,所述卷积神经网络模型可包括:第一特征提取模块、第二特征提取模块和分类模块;
通过所述第一特征提取模块提取第一特征信息;通过所述第二特征提取模块基于所述第一特征信息进行特征提取获取第二特征信息,将所述第一特征信息与所述第二特征信息逐级融合,生成第三特征信息;通过所述分类模块根据所述第三特征信息的像素预测语义分割结果,确定所述轮廓信息;采用二值化方法对轮廓信息进行处理,获取所述目标轮廓信息。
采用二值化方法对提取到的轮廓信息进行处理,通过闭运算(如:膨胀-腐蚀的闭运算)合并相邻的独立特征,增加图像关联性,提取轮廓,还可依据预处理的缩放值将轮廓坐标通过逆运算到原图像的大小,采用边界追踪算法获取目标轮廓信息。
匹配单元13,用于将所述目标轮廓信息与预设切面信息匹配获取偏移数据;
进一步地,匹配单元13可采用边缘匹配算法(例如:豪斯多夫距离算法)对所述目标轮廓信息与预设切面信息匹配获取所述偏移数据。
需要说明的是,预设切面信息为经过二值化处理的标注切面。
具体地,将目标轮廓信息与预设切面信息通过豪斯多夫距离算法对所述目标轮廓信息和预设切面信息匹配进行计算,获取目标轮廓信息与预设切面信息之间的偏移数据,该偏移数据包括位置偏移量和角度偏移量。
确定单元14,用于基于所述偏移数据及所述姿态数据确定所述超声探头的调节数据。
具体地,确定单元14可将偏移数据中的位置偏移量(二维坐标)与姿态数据中相应的坐标轴(如:X轴和Y轴)的加速度积分值进行运算(如:相应的坐标轴的值进行相减运算),进而获取调节探头的调节距离(如:上下、左右移动距离);将偏移数据中角度偏移量与姿态数据中相应的坐标轴(如:Z轴)的加速度积分值进行运算(如:相减),进而获取调节探头的偏移角度。
在本实施例中,通过识别超声探头采集的超声图像确定目标轮廓信息,将目标轮廓信息与预设切面信息(如:标准切片)匹配,进而获取目标轮廓信息与预设切面信息之间的偏移数据(如:偏移量);根据偏移数据以及采集超声图像时超声探头的姿态数据,计算调节数据(建议超声探头调节的角度及位置数据),可以辅助超声医生根据所述调节数据调节超声探头的位置,获取精准有效的超声图像,从而方便患者诊断或检查。
实施例四
如图5所示,一种计算机设备2,所述计算机设备2包括:
存储器21,用于存储可执行程序代码;以及
处理器22,用于调用所述存储器21中的所述可执行程序代码,执行步骤包括上述的超声扫描方法。
图5中以一个处理器22为例。
存储器21作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的超声扫描方法对应的程序指令/模块(例如,图4所示的获取单元11、识别单元12、匹配单元13和确定单元14)。处理器22通过运行存储在存储器21中的非易失性软件程序、指令以及模块,从而执行计算机设备2的各种功能应用以及数据处理,即实现上述实施例用于超声扫描方法。
存储器21可以包括存储程序区和存储数据区,其中,存储程序区可存储搡作系统、至少一个功能所需要的应用程序;存储数据区可存储用户在计算机设备2的播放信息。此外,存储器21可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器21可选包括相对于处理器22远程设置的存储器21,这些远程存储器21可以通过网络连接至超声扫描装置1。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器21中,当被所述一个或者多个处理器22执行时,执行上述任意方法实施例中的超声扫描方法,例如,执行以上描述的图1中的方法步骤S1至步骤S4,实现图4所示的获取单元11、识别单元12、匹配单元13和确定单元14的功能。
本申请实施例的计算机设备2以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
实施例五
本申请实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图5中的一个处理器22,可使得上述一个或多个处理器22可执行上述任意方法实施例中的超声扫描方法,例如,执行以上描述的图1中的方法步骤S1至步骤S4,实现图4所示的超声扫描方法的功能。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。