CN116153172A - 一种超声标准切面的扫查效果评估方法及超声成像设备 - Google Patents
一种超声标准切面的扫查效果评估方法及超声成像设备 Download PDFInfo
- Publication number
- CN116153172A CN116153172A CN202111391463.1A CN202111391463A CN116153172A CN 116153172 A CN116153172 A CN 116153172A CN 202111391463 A CN202111391463 A CN 202111391463A CN 116153172 A CN116153172 A CN 116153172A
- Authority
- CN
- China
- Prior art keywords
- image
- evaluation result
- section
- time
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Medical Informatics (AREA)
- Medicinal Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Algebra (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请提供了一种超声标准切面的扫查效果评估方法以及超声成像设备,该方法包括:在检测到启动切面扫查时开始计时;在检测到终止切面扫查时停止计时,得到开始计时到停止计时之间的切面扫查时间;获取目标对象在计时过程中的至少一帧切面图像;根据至少一帧切面图像,获取用于反映切面图像与标准切面之间相符程度的图像评估结果,一帧切面图像对应一个图像评估结果;根据切面扫查时间,获取用于反映切面扫查效率的时间评估结果;根据时间评估结果和各帧切面图像对应的图像评估结果,输出综合评估结果,综合评估结果用于确定切面扫查的扫查效果。上述评估方法有效结合了图像本身以及扫查时间来确定切面扫查的扫查效果。
Description
技术领域
本发明涉及超声技术领域,具体涉及一种超声标准切面的扫查效果评估方法,以及一种超声成像设备。
背景技术
目前超声图像扫查的教学产品多种多样,教学产品的作用在于帮助低年资医生更好地掌握超声打图技巧,这些教学产品的出现,使得低年资医生有了更多的自学途径。
尽管目前已有了多种教学产品,但是在临床中初学者学习超声扫查仍面临以下问题:
(1)初学时练习需要独自反复慢慢扫查,这一过程中老师不可能总在身边指导每个切面的扫查并评价效果,导致独自学习的效率偏低,并且总是慢慢扫查可能会习惯了效率偏低的工作方式。(2)不熟悉标准切面的扫查要求,在完成图像扫查后无法独立评价得到的图像是否符合标准,也不熟悉超声图像质量规范要求,导致获取的图像存在模糊、出现网纹等现象。
发明内容
根据第一方面,一种实施例中提供了超声标准切面的扫查效果评估方法,包括:
在检测到启动切面扫查时开始计时;
在检测到终止切面扫查时停止计时,得到开始计时到停止计时之间的切面扫查时间;
获取目标对象在计时过程中的至少一帧切面图像;
根据所述至少一帧切面图像,获取用于反映所述切面图像与标准切面之间相符程度的图像评估结果,一帧切面图像对应一个图像评估结果;
根据所述切面扫查时间,获取用于反映切面扫查效率的时间评估结果;
根据所述时间评估结果和各帧切面图像对应的图像评估结果,输出综合评估结果,所述综合评估结果用于确定切面扫查的扫查效果。
根据第二方面,一种实施例中提供了一种超声成像设备,包括:
超声探头,用于向目标对象发射超声波,并接收由目标对象返回的回波数据,
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现上述第一方面所述的方法。
上述实施例中从两个方面评价用户进行切面扫查的扫查效果,一方面记录了切面扫查所花费的时间,另一方面识别切面图像与标准切面之间的相符程度,两方面结合能够很好地评价用户是否独立且又快又标准地获得了合适的切面图像,此外,整个过程自动化程度高且重复性好,不需要老师的介入就可以判断出切面图像是否符合标准,非常适用于用户独立多次学习,对于超声扫查的临床培训具有重要意义。
附图说明
图1为一种实施例的超声成像设备的结构示意图;
图2为一种实施例的综合评估结果的显示界面示意图;
图3为一种实施例的超声标准切面的扫查效果评估方法的流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
本发明最重要的构思在于,将切面扫查时间作为衡量切面扫查效果的依据之一,通常人们只注意到图像本身是否与标准切面足够接近,发明人发现,这样会导致对切面扫查效果的评估不准,例如某位医生在自我练习时花了很长时间得到的切面图像A,另一位医生在自我练习花了极短的时间得到了切面图像B,切面图像A只比切面图像B的质量高一点点,依照目前的评价标准,容易得出前者比后者切面扫查效果好的结论。由于切面扫查的练习通常是独自完成,因此本领域的技术人员都还未意识到扫查时间这一衡量过程的指标也是评估切面扫查效果的重要依据之一,发明人的贡献在于发现了这一点,并将这一点与图像评价进行结合,来综合评价切面扫查效果。
请参照图1,图1提供了一种超声成像设备,该超声成像设备包括超声探头101、发射接收序列控制模块102、回波处理模块103、数据处理模块104、人机交互模块105以及计时模块106。发射接收序列控制模块102与超声探头101信号连接,超声探头101与回波处理模块103信号连接,回波处理模块103的输出端与数据处理模块104连接,数据处理模块104的输入端和输出端分别与人机交互模块105连接。
超声探头101包括由阵列式排布的多个阵元组成的换能器(图中未示出),多个阵元排列成一排构成线阵,或排布成二维矩阵构成面阵,多个阵元也可以构成凸阵列。阵元用于根据激励电信号发射超声波,或将接收的超声波变换为电信号。因此每个阵元可用于实现电脉冲信号和超声波的相互转换,从而实现向目标对象200(例如人体或动物体中的生物组织)发射超声波、也可用于接收经组织反射回的超声波回波。在进行超声检测时,可通过发射序列和接收序列控制哪些阵元用于发射超声波,哪些阵元用于接收超声波,或者控制阵元分时隙用于发射超声波或接收超声波的回波。参与超声波发射的阵元可以同时被电信号激励,从而同时发射超声波;或者参与超声波束发射的阵元也可以被具有一定时间间隔的若干电信号激励,从而持续发射具有一定时间间隔的超声波。
发射接收序列控制模块102用于产生发射序列和接收序列,发射序列用于提供超声探头101中发射用的换能器数和向生物组织发射超声波的参数(例如幅度、频率、发波次数、发波角度、波型等),接收序列用于提供超声探头101中接收用的换能器数以及其接收回波的参数(例如接收的角度、深度等)。不同用途,或生成的图像不同,发射序列和接收序列也有所不同。
回波处理模块103用于对超声回波进行处理,例如对超声回波进行滤波、放大、波束合成等处理。
人机交互模块105作为用户和超声成像装置100之间的交互接口,在本实施例中,人机交互模块105包括显示器105a,在有的实施例中,人机交互模块105还包括输入模块105b,输入模块105b例如可以是键盘、操作按钮(包括开关)、鼠标、轨迹球等,也可以是与显示器105a集成在一起的触控屏。当输入模块105b是键盘或操作按钮时,用户可直接通过输入模块105b输入操作信息或操作指令;当输入模块105b是鼠标、轨迹球或触控屏时,用户可以将输入模块105b与显示界面上的软键盘、操作图标、选项卡、菜单选项等结合以完成操作信息或操作指令的输入,还可以通过在显示界面上所作的标记、框定等完成操作信息的输入。
数据处理模块104接收回波处理模块103输出端处理后的回波信号,并采用相关算法得到所需要的参数或图像。本实施例中,数据处理模块104还用于检测用户是否启动切面扫查以及是否终止切面扫查,当检测到启动切面扫查时控制计时模块106开始计时,检测到终止切面扫查时控制计时模块106停止计时,从而得到开始计时到停止计时之间的切面扫查时间,例如,当用户要进行心脏部位的切面扫描时,可以点击显示器105a上的“开始扫查”按键使计时模块106开始计时,当完成扫查后可以点击显示器105a上的“停止扫查”按键使计时模块106停止计时,用户在该切面扫查时间内可以手持超声探头101对目标对象进行扫查,从而获取目标对象的多帧切面图像。本实施例中,用户可以从多帧切面图像中选择一帧切面图像或至少两帧切面图像进行存储,也就是说,用户可以对扫查结果先自我筛选,从中选出自认为满意的切面图像进行后续的评估,例如,用户在获取多帧切面图像后,可以点击图像冻结按键,然后来回查看获取的切面图像,对于满意的切面图像可以点击存储按键进行存储。用户挑选自认为满意的切面图像的时长也会被计入切面扫查时间内,故在本实施例中也相当于可以对用户的自我认知能力进行了评估。在其他实施例中,也可以直接根据多帧切面图像进行后续的效果评估。
数据处理模块104可以根据上述用户自我筛选的至少一帧切面图像得到图像评估结果,图像评估结果可以从图像本身这一维度评价切面扫查的扫查效果。得到的切面图像与标尺切面越接近,自然切面扫查的效果越好。本实施例中,可以从两个方面来评价图像本身,也就是说,上述图像评估结果包括了以下两方面的内容:一是图像解剖评估结果,二是图像质量评估结果,其中,图像解剖评估结果用于反映切面图像所包括的目标解剖结构与标准切面对应至少一个目标解剖结构的匹配程度,目标解剖结构指的是标准切面应该包括的解剖结构,根据标准切面的不同,目标解剖结构也会不同。图像质量评估结果用于反映切面图像的图像质量。在其他实施例中,图像评估结果也可以只包括图像解剖评估结果和图像质量评估结果中的一个,下面做具体说明对于一帧切面图像,如何获得该帧切面图像的图像评估结果。
要得到图像评估结果,首先要获取切面图像中目标解剖结构的识别结果,该识别结果指的是切面图像包括了多少目标解剖结构,还可以进一步包括这些目标解剖结构具体的名称等。
在一些实施例中,可以将得到的切面图像输入预先训练好的解剖结构检测神经网络模型中,从而识别切面图像中包括的目标解剖结构。以心脏为例说明如何建立解剖结构检测神经网络模型,首先具体需要构建一个超声图像数据库,其中每张图像标记了超声心动图的解剖结构区域,具体可以包括以下信息:解剖结构是否存在,若存在的话,解剖结构是在什么位置。而后使用构建的超声图像数据库对解剖结构检测神经网络模型进行训练。当训练结束后,如果输入一张超声心动图像(对应切面图像)就会输出以下结果:是否包含目标解剖结构,如果包含目标解剖结构,还会输出该目标解剖结构的在超声心动图像中的具体位置,例如如图2所示,左上角的切面图像包括的目标解剖结构在下方以勾选的方式展示,表示左上角的切面图像识别出了全部六个目标解剖结构。在上述检测目标解剖结构的过程中,可以使用深度学习目标检测方法、深度学习图像分割方法、基于机器学习的目标检测方法以及基于机器学习的图像分割方法。上述各方法为本领域成熟的方法,在此不进行赘述。
在一些实施例中,除了采用机器来检测切面图像包括了多少目标解剖结构,又分别是哪些目标解剖结构外,还可以由用户进行自我评价,例如,在进行心脏的切面扫查练习时,显示器105a上可以显示有目标解剖结构的名称,用户观察切面图像后可以勾选自认为已经扫查到的目标解剖结构。
得到目标解剖结构的识别结果后,可以以评分制的方式根据识别结果得到图像解剖评估结果。一些实施例中,每个目标解剖结构的分数相同,例如均为1分,那么切面图像所包括的目标解剖结构越多,图像解剖评估结果越高,切面图像对应的图像解剖评估结果越好,也就是说,图像解剖评估结果与所包括目标解剖结构的数量正相关。在其他实施例中,各目标解剖结构具有对应的优先级,优先级高的目标解剖结构代表重要程度更高,在临床中具有更高的价值等。可以以对应评价分的高低来量化目标解剖结构的优先级,例如,优先级高的目标解剖结构的分数大于1分,故在识别了相同数量的目标解剖结构时,包含优先级高的目标解剖结构的切面图像的图像解剖评估结果更好。
由上述描述看出,本实施例中的图像解剖评估结果的评价标准不但重量也重质,可以全面地评价扫查解剖结构的能力。
在一些实施例中,图像质量评估结果与图像解剖评估结果类似,可以将切面图像输入预先训练好的图像质量检测神经网络模型中,获取切面图像的图像质量评估结果。以心脏为例,其中采用了深度学习质量评估方法,具体的,首先需要构建一个超声图像数据库,其中每个图像标记了超声心动图的切面质量,深度学习方法中可以选用EfficientNet、Mobi leNet、VGG、ResNet及AlexNet等模型作为图像质量检测神经网络模型。而后使用构建的超声图像数据库对模型进行训练,在训练结束后,当用户输入一张超声心动图像(对应切面图像)就会输出该超声心动图像的切面质量。
在另一些实施例中,还可以通过传统的图像质量评价方法来得到图像质量评估结果,传统的方法包括但不限于包括:全参考图像质量评价方法、无参考图像质量评价方法、半参考图像质量评价方法以及机器学习图像质量评价方法等。全参考图像质量评价方法需要先设定一张标准的参考图像(例如可以用资深医生获得的同一切面的切面图像作为参考图像),然后计算待评价图像(本实施例中为切面图像)与参考图像之间的距离/误差(可以是信噪比、均方误差、结构相似度等),通过对得到的误差/距离进行分析,即可得到待评价图像的图像质量评估结果。半参考图像质量评价方法指的是利用待评价图像的特征信息,通过对比参考图像和待评价图像之间关键特征信息,即可得到待评价图像的质量。无参考图像质量评价方法指的是只使用待评价图像自身的特征(方差、图像熵、空间频率、对比度、平均梯度)进行评价,进行综合分析得到图像质量评估结果。机器学习图像质量评价方法一般是先使用SVM建立分类模型,对图像进行分类,然后再对需评估的图像质量进行回归,得到待评价图像的图像质量评估结果。本实施例中,同样可以以评分的方式来衡量图像质量评估结果,例如,切面图像的信噪比越低,图像质量评估结果的得分越高。
在得到图像解剖评估结果和图像质量评估结果后,可以将图像解剖评估结果对应的评分和图像质量评估结果对应的评分进行相加,从而以分数的形式衡量图像评估结果。在其他实施例中,也可以分别对图像解剖评估结果和图像质量评估结果赋予一定的权重,然后对图像解剖评估结果和图像质量评估结果进行加权求和,从而得到图像评估结果。
本实施例中另一重要的构思在于,数据处理模块104可以根据得到的切面扫查时间,获取用于反映切面扫查效率的时间评估结果。通常来说,切面扫查时间越短,时间评估结果越好。具体到本实施例中,可以根据预先设置的时长与时间评估结果的对应关系,确定切面扫查时间对应的时间评估结果。该对应关系可以是预先设置的函数关系,例如,可以设置一个初始时间质量,以时间为变量,使用特定的函数计算得到时间评估结果(以计算得到的时间质量衡量)。这里的函数可以是指数函数、阶梯函数、正余弦函数等。以指数函数为例,具体公式为:
P=P0*(α)t;
其中,P是最终计算的时间质量,P0是初始时间质量,α是常数系数(0<α<1),t是时间。
在其他实施例中,还可以根据先验知识及临床经验,设置一个时间和分数之间的映射表。不同的切面扫查时间与映射表中的分数进行一一对应,从而可以得到以分数衡量的时间评估结果。
在得到切面图像的时间评估结果和图像评估结果后,数据处理模块104可以根据综合评估结果,综合评估结果用于确定切面扫查的扫查效果。如果用户选择了一帧切面图像来确定本次切面扫查的扫查效果,那么综合评估结果就是只针对一帧切面图像的,如果用户选择了一段电影(包括至少两帧切面图像)来确定本次切面扫查的扫查效果,那么综合评估结果就是针对一段电影的,下面具体说明。
如果用户选择了一帧切面图像,那么数据处理模块104可以根据时间评估结果对应的权重和图像评估结果对应的权重,将时间评估结果和图像评估结果进行加权求和,得到作为综合评估结果的加权求和值,该加权求和值可以用于表征扫查效果。显示器105a上既可以直接显示加权求和值,也可以根据加权求和值显示可视化的图形和/或图案,例如在图2中,可以规定当加权求和值在某一数值范围内时评价为5星,表示综合考虑时间和图像两者的因素后,切面扫查的扫查效果相当好。当然的,图2仅为示例,本实施例最重要的构思为从时间和图像两个维度来评价切面扫查效果,还可以用其他定量显示方式展示综合评估结果。
如果用户选择了一段电影,那么数据处理模块104可以根据时间评估结果对应的权重以及该段电影中各帧切面图像的图像评估结果对应的权重,将时间评估结果分别与和各帧切面图像的图像评估结果进行加权求和,得到各帧切面图像对应的加权求和值,例如该段电影包括三帧切面图像,数据处理模块104可以根据时间评估结果和第一帧切面图像的图像评估结果,得到第一帧切面图像的加权求和值,再以此类推分别得到第二帧切面图像的加权求和值、第三帧切面图像的加权求和值。然后,数据处理模块104可以对各帧切面图像对应的加权求和值进行统计计算,得到作为综合评估结果的统计值,该统计值可以用于表征切面扫查的扫查效果,例如,可以选择该段电影中各帧图像的加权求和值的平均数或者中位数作为统计值。
上述例子中,时间评估结果和图像评估结果均为定量结果。在其他实施例中,时间评估结果和图像评估结果也可以分别为定性结果。例如,时间评估结果可以分为三个档次,分别是及格、良好和优秀,图像评估结果也可以分为三个档次,分别是及格、良好和优秀,同样的,如果用户选择了一帧切面图像来确定本次切面扫查的扫查效果,那么综合评估结果就是只针对一帧切面图像的,如果用户选择了一段电影(包括至少两帧切面图像)来确定本次切面扫查的扫查效果,那么综合评估结果就是针对一段电影的,下面具体说明。
如果用户选择了一帧切面图像,那么数据处理模块104可以根据时间评估结果、图像评估结果以及预先设置的映射关系,得到并输出用于反映一帧切面图像的综合评估结果的评估信息,映射关系用于表征时间评估结果和图像评估结果两者与预先设置的评估信息间的关系,例如,当时间评估结果与图像评估结果均为优秀时,输出的评估信息可以是“本次扫查效果优秀”,当时间评估结果与图像评估结果两者中一个为优秀,另一个为良好时,输出的评估信息可以是“本次扫查效果较为优秀”,而当时间评估结果与图像评估结果两者均为及格时,输出的评估信息可以是“本次扫查效果不佳”。
如果用户选择了一段电影,那么数据处理模块104可以根据时间评估结果、各帧切面图像的图像评估结果以及预先设置的第一映射关系,得到各帧切面图像对应的评估子结果,第一映射关系用于表征时间评估结果和图像评估结果两者与预先设置的评估子结果间的关系,评估子结果的获取过程与上述对一帧切面图像的扫查效果的评价过程类似,例如,当某一帧切面图像的时间评估结果和图像评估结果均为优秀时,该帧切面图像对应的评估子结果可以同样为优秀。接着,可以根据各帧切面图像对应的评估子结果以及预先设置的第二映射关系,得到并输出用于反映至少两帧切面图像的综合评估结果的评估信息,第二映射关系用于表征至少两个评估子结果与预先设置的评估信息之间的关系,例如,在得到的切面图像中,如果优秀的评估子结果的比例超过三分之二,则输出的评估信息为“本次扫查效果优秀”。
上述评估信息仅为示例,在其他实施例中,评估信息的内容和/或规则还可以进行灵活设置,评估信息也不限于文字的方式。
请参照图3,图3提供了一种超声标准切面的扫查效果评估方法,包括步骤
步骤S100、获取切面扫查时间。具体的,当检测到启动切面扫查时开始计时,检测到终止切面扫查时停止计时,从而得到开始计时到停止计时之间的切面扫查时间,例如,当用户要进行心脏部位的切面扫描时,可以点击“开始扫查”按键开始计时,当完成扫查后可以点击“停止扫查”按键停止计时。
步骤S200、获取目标对象在切面扫查过程中的切面图像。
用户在该切面扫查时间内可以手持超声探头101对目标对象进行扫查,从而获取目标对象的多帧切面图像。本实施例中,用户可以从多帧切面图像中选择一帧切面图像或至少两帧切面图像进行存储,也就是说,用户可以对扫查结果先自我筛选,从中选出自认为满意的切面图像进行后续的评估,例如,用户在获取多帧切面图像后,可以点击图像冻结按键,然后来回查看获取的切面图像,对于满意的切面图像可以点击存储按键进行存储。用户挑选自认为满意的切面图像的时长也会被计入切面扫查时间内,故在本实施例中也相当于可以对用户的自我认知能力进行了评估。在其他实施例中,也可以直接根据多帧切面图像进行后续的效果评估。
步骤S300、根据至少一帧切面图像,获取用于反映切面图像与标准切面之间相符程度的图像评估结果。其中,一帧切面图像对应一个图像评估结果。
图像评估结果可以从图像本身这一维度评价切面扫查的扫查效果。得到的切面图像与标尺切面越接近,自然切面扫查的效果越好。本实施例中,可以从两个方面来评价图像本身,也就是说,上述图像评估结果包括了以下两方面的内容:一是图像解剖评估结果,二是图像质量评估结果,其中,图像解剖评估结果用于反映切面图像所包括的目标解剖结构与标准切面对应至少一个目标解剖结构的匹配程度,目标解剖结构指的是标准切面应该包括的解剖结构,根据标准切面的不同,目标解剖结构也会不同。图像质量评估结果用于反映切面图像的图像质量。在其他实施例中,图像评估结果也可以只包括图像解剖评估结果和图像质量评估结果中的一个,下面做具体说明对于一帧切面图像,如何获得该帧切面图像的图像评估结果。
要得到图像评估结果,首先要获取切面图像中目标解剖结构的识别结果,该识别结果指的是切面图像包括了多少目标解剖结构,还可以进一步包括这些目标解剖结构具体的名称等。
在一些实施例中,可以将得到的切面图像输入预先训练好的解剖结构检测神经网络模型中,从而识别切面图像中包括的目标解剖结构。以心脏为例说明如何建立解剖结构检测神经网络模型,首先具体需要构建一个超声图像数据库,其中每张图像标记了超声心动图的解剖结构区域,具体可以包括以下信息:解剖结构是否存在,若存在的话,解剖结构是在什么位置。而后使用构建的超声图像数据库对解剖结构检测神经网络模型进行训练。当训练结束后,如果输入一张超声心动图像(对应切面图像)就会输出以下结果:是否包含目标解剖结构,如果包含目标解剖结构,还会输出该目标解剖结构的在超声心动图像中的具体位置,例如如图2所示,左上角的切面图像包括的目标解剖结构在下方以勾选的方式展示,表示左上角的切面图像识别出了全部六个目标解剖结构。在上述检测目标解剖结构的过程中,可以使用深度学习目标检测方法、深度学习图像分割方法、基于机器学习的目标检测方法以及基于机器学习的图像分割方法。上述各方法为本领域成熟的方法,在此不进行赘述。
在一些实施例中,除了采用机器来检测切面图像包括了多少目标解剖结构,又分别是哪些目标解剖结构外,还可以由用户进行自我评价,例如,在进行心脏的切面扫查练习时,可以显示有目标解剖结构的名称,用户观察切面图像后可以勾选自认为已经扫查到的目标解剖结构。
得到目标解剖结构的识别结果后,可以以评分制的方式根据识别结果得到图像解剖评估结果。一些实施例中,每个目标解剖结构的分数相同,例如均为1分,那么切面图像所包括的目标解剖结构越多,图像解剖评估结果越高,切面图像对应的图像解剖评估结果越好,也就是说,图像解剖评估结果与所包括目标解剖结构的数量正相关。在其他实施例中,各目标解剖结构具有对应的优先级,优先级高的目标解剖结构代表重要程度更高,在临床中具有更高的价值等。可以以对应评价分的高低来量化目标解剖结构的优先级,例如,优先级高的目标解剖结构的分数大于1分,故在识别了相同数量的目标解剖结构时,包含优先级高的目标解剖结构的切面图像的图像解剖评估结果更好。
由上述描述看出,本实施例中的图像解剖评估结果的评价标准不但重量也重质,可以全面地评价扫查解剖结构的能力。
在一些实施例中,图像质量评估结果与图像解剖评估结果类似,可以将切面图像输入预先训练好的图像质量检测神经网络模型中,获取切面图像的图像质量评估结果。以心脏为例,其中采用了深度学习质量评估方法,具体的,首先需要构建一个超声图像数据库,其中每个图像标记了超声心动图的切面质量,深度学习方法中可以选用EfficientNet、MobileNet、VGG、ResNet及AlexNet等模型作为图像质量检测神经网络模型。而后使用构建的超声图像数据库对模型进行训练,在训练结束后,当用户输入一张超声心动图像(对应切面图像)就会输出该超声心动图像的切面质量。
在另一些实施例中,还可以通过传统的图像质量评价方法来得到图像质量评估结果,传统的方法包括但不限于包括:全参考图像质量评价方法、无参考图像质量评价方法、半参考图像质量评价方法以及机器学习图像质量评价方法等。全参考图像质量评价方法需要先设定一张标准的参考图像(例如可以用资深医生获得的同一切面的切面图像作为参考图像),然后计算待评价图像(本实施例中为切面图像)与参考图像之间的距离/误差(可以是信噪比、均方误差、结构相似度等),通过对得到的误差/距离进行分析,即可得到待评价图像的图像质量评估结果。半参考图像质量评价方法指的是利用待评价图像的特征信息,通过对比参考图像和待评价图像之间关键特征信息,即可得到待评价图像的质量。无参考图像质量评价方法指的是只使用待评价图像自身的特征(方差、图像熵、空间频率、对比度、平均梯度)进行评价,进行综合分析得到图像质量评估结果。机器学习图像质量评价方法一般是先使用SVM建立分类模型,对图像进行分类,然后再对需评估的图像质量进行回归,得到待评价图像的图像质量评估结果。本实施例中,同样可以以评分的方式来衡量图像质量评估结果,例如,切面图像的信噪比越低,图像质量评估结果的得分越高。
在得到图像解剖评估结果和图像质量评估结果后,可以将图像解剖评估结果对应的评分和图像质量评估结果对应的评分进行相加,从而以分数的形式衡量图像评估结果。在其他实施例中,也可以分别对图像解剖评估结果和图像质量评估结果赋予一定的权重,然后对图像解剖评估结果和图像质量评估结果进行加权求和,从而得到图像评估结果。
步骤S400、根据切面扫查时间,获取用于反映切面扫查效率的时间评估结果。
通常来说,切面扫查时间越短,时间评估结果越好。具体到本实施例中,可以根据预先设置的时长与时间评估结果的对应关系,确定切面扫查时间对应的时间评估结果。该对应关系可以是预先设置的函数关系,例如,可以设置一个初始时间质量,以时间为变量,使用特定的函数计算得到时间评估结果(以计算得到的时间质量衡量)。这里的函数可以是指数函数、阶梯函数、正余弦函数等。以指数函数为例,具体公式为:
P=P0*(α)t;
其中,P是最终计算的时间质量,P0是初始时间质量,α是常数系数(0<α<1),t是时间。
在其他实施例中,还可以根据先验知识及临床经验,设置一个时间和分数之间的映射表。不同的切面扫查时间与映射表中的分数进行一一对应,从而可以得到以分数衡量的时间评估结果。
步骤S500、根据时间评估结果和各帧切面图像对应的图像评估结果,输出综合评估结果。综合评估结果用于确定切面扫查的扫查效果。
如果用户选择了一帧切面图像来确定本次切面扫查的扫查效果,那么综合评估结果就是只针对一帧切面图像的,如果用户选择了一段电影(包括至少两帧切面图像)来确定本次切面扫查的扫查效果,那么综合评估结果就是针对一段电影的,下面具体说明。
如果用户选择了一帧切面图像,那么可以根据时间评估结果对应的权重和图像评估结果对应的权重,将时间评估结果和图像评估结果进行加权求和,得到作为综合评估结果的加权求和值,该加权求和值可以用于表征扫查效果。既可以直接显示加权求和值,也可以根据加权求和值显示可视化的图形和/或图案,例如在图2中,可以规定当加权求和值在某一数值范围内时评价为5星,表示综合考虑时间和图像两者的因素后,切面扫查的扫查效果相当好。当然的,图2仅为示例,本实施例最重要的构思为从时间和图像两个维度来评价切面扫查效果,还可以用其他定量的显示方式展示综合评估结果。
如果用户选择了一段电影,那么可以根据时间评估结果对应的权重以及该段电影中各帧切面图像的图像评估结果对应的权重,将时间评估结果分别与和各帧切面图像的图像评估结果进行加权求和,得到各帧切面图像对应的加权求和值,例如该段电影包括三帧切面图像,可以根据时间评估结果和第一帧切面图像的图像评估结果,得到第一帧切面图像的加权求和值,再以此类推分别得到第二帧切面图像的加权求和值、第三帧切面图像的加权求和值。然后,可以对各帧切面图像对应的加权求和值进行统计计算,得到作为综合评估结果的统计值,该统计值可以用于表征切面扫查的扫查效果,例如,可以选择该段电影中各帧图像的加权求和值的平均数或者中位数作为统计值。
上述例子中,时间评估结果和图像评估结果均为定量结果。在其他实施例中,时间评估结果和图像评估结果也可以分别为定性结果。例如,时间评估结果可以分为三个档次,分别是及格、良好和优秀,图像评估结果也可以分为三个档次,分别是及格、良好和优秀,同样的,如果用户选择了一帧切面图像来确定本次切面扫查的扫查效果,那么综合评估结果就是只针对一帧切面图像的,如果用户选择了一段电影(包括至少两帧切面图像)来确定本次切面扫查的扫查效果,那么综合评估结果就是针对一段电影的,下面具体说明。
如果用户选择了一帧切面图像,那么可以根据时间评估结果、图像评估结果以及预先设置的映射关系,得到并输出用于反映一帧切面图像的综合评估结果的评估信息,映射关系用于表征时间评估结果和图像评估结果两者与预先设置的评估信息间的关系,例如,当时间评估结果与图像评估结果均为优秀时,输出的评估信息可以是“本次扫查效果优秀”,当时间评估结果与图像评估结果两者中一个为优秀,另一个为良好时,输出的评估信息可以是“本次扫查效果较为优秀”,而当时间评估结果与图像评估结果两者均为及格时,输出的评估信息可以是“本次扫查效果不佳”。
如果用户选择了一段电影,那么可以根据时间评估结果、各帧切面图像的图像评估结果以及预先设置的第一映射关系,得到各帧切面图像对应的评估子结果,第一映射关系用于表征时间评估结果和图像评估结果两者与预先设置的评估子结果间的关系,评估子结果的获取过程与上述对一帧切面图像的扫查效果的评价过程类似,例如,当某一帧切面图像的时间评估结果和图像评估结果均为优秀时,该帧切面图像对应的评估子结果可以同样为优秀。接着,可以根据各帧切面图像对应的评估子结果以及预先设置的第二映射关系,得到并输出用于反映至少两帧切面图像的综合评估结果的评估信息,第二映射关系用于表征至少两个评估子结果与预先设置的评估信息之间的关系,例如,在得到的切面图像中,如果优秀的评估子结果的比例超过三分之二,则输出的评估信息为“本次扫查效果优秀”。上述评估信息仅为示例,在其他实施例中,评估信息的内容和/或规则还可以进行灵活设置,评估信息也不限于文字的方式。
上述实施例从图像和时间两个维度来对切面扫查效果进行评价,整个过程自动化程度高且重复性好,不需要老师的介入就可以判断出切面图像是否符合标准,对于超声扫查的临床培训具有重要意义。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。
Claims (14)
1.一种超声标准切面的扫查效果评估方法,其特征在于,包括:
在检测到启动切面扫查时开始计时;
在检测到终止切面扫查时停止计时,得到开始计时到停止计时之间的切面扫查时间;
获取目标对象在计时过程中的至少一帧切面图像;
根据所述至少一帧切面图像,获取用于反映所述切面图像与标准切面之间相符程度的图像评估结果,一帧切面图像对应一个图像评估结果;
根据所述切面扫查时间,获取用于反映切面扫查效率的时间评估结果;
根据所述时间评估结果和各帧切面图像对应的图像评估结果,输出综合评估结果,所述综合评估结果用于确定切面扫查的扫查效果。
2.如权利要求1所述的方法,其特征在于,所述切面图像对应的图像评估结果包括图像解剖评估结果和/或图像质量评估结果,所述图像解剖评估结果用于反映所述切面图像所包括的目标解剖结构与所述标准切面对应至少一个目标解剖结构的匹配程度,所述至少一个目标解剖结构基于所述标准切面确定,所述图像质量评估结果用于反映所述切面图像的图像质量。
3.如权利要求2所述的方法,其特征在于,获取所述切面图像的图像解剖评估结果,包括:
获取所述切面图像中目标解剖结构的识别结果;
根据所述识别结果,获取所述切面图像的图像解剖评估结果。
4.如权利要求3所述的方法,其特征在于,获取所述切面图像中解剖结构的识别结果,包括:
将所述切面图像输入预先训练好的解剖结构检测神经网络模型中,识别所述切面图像中包括的目标解剖结构;或
接收用户输入的目标解剖结构的对应标识,根据接收到的标识确定所述切面图像中包括的目标解剖结构。
5.如权利要求3或4所述的方法,其特征在于,所述根据所述识别结果,获取所述切面图像的图像解剖评估结果,包括:
根据所述切面图像中所包括目标解剖结构的数量,确定所述图像解剖评估结果,所述图像解剖评估结果与所包括目标解剖结构的数量正相关。
6.如权利要求3或4所述的方法,其特征在于,所述标准切面对应的至少一个目标解剖结构中各目标解剖结构具有对应的优先级,所述根据所述识别结构,获取所述切面图像的图像解剖评估结果,包括:
根据所述切面图像中所包括目标解剖结构的数量,以及所包括目标解剖结构对应的优先级,确定所述图像解剖评估结果,所述图像解剖评估结果与所包括目标解剖结构的数量正相关,并且,在包括相同数量目标解剖结构的情况下,所述切面图像中所包括目标解剖结构的优先级越高,所述切面图像的图像解剖评估结果越好。
7.如权利要求2所述的方法,其特征在于,获取所述切面图像的图像质量评估结果,包括:
将所述切面图像输入预先训练好的图像质量检测神经网络模型中,获取所述切面图像的图像质量评估结果;或者
采用无参考图像质量评价方法、半参考图像质量评价方法以及全参考图像质量评价方法中的至少一个获取所述切面图像的图像质量评估结果。
8.如权利要求1所述的方法,其特征在于,根据所述切面扫查时间,获取所述时间评估结果,包括:
根据预先设置的时长与时间评估结果的对应关系,确定所述切面扫查时间对应的时间评估结果。
9.如权利要求1所述的方法,其特征在于,所述获取目标对象在计时过程中的至少一帧切面图像,包括:
在计时过程中控制超声探头向目标对象发射超声波,接收从目标对象返回的超声波的回波数据,根据所述回波数据生成目标对象的若干帧切面图像;
在计时过程中接收用户输入的图像选择指令,从所述若干帧切面图像中获取所述至少一帧切面图像。
10.如权利要求1至9中任一项所述的方法,其特征在于,所述切面图像为一帧,所述时间评估结果和所述图像评估结果分别为定量结果,所述时间评估结果和所述图像评估结果分别具有对应的权重,所述根据所述时间评估结果和各帧切面图像对应的图像评估结果,输出综合评估结果,包括:
根据所述时间评估结果对应的权重和所述图像评估结果对应的权重,将所述时间评估结果和所述图像评估结果进行加权求和,输出用于表征切面扫查的扫查效果的加权求和值。
11.如权利要求1至9中任一项所述的方法,其特征在于,所述切面图像包括至少两帧,所述时间评估结果和所述图像评估结果分别为定量结果,所述时间评估结果和所述图像评估结果分别具有对应的权重,所述根据所述时间评估结果和各帧切面图像对应的图像评估结果,输出综合评估结果,包括:
根据所述时间评估结果对应的权重和各帧切面图像的图像评估结果对应的权重,将所述时间评估结果分别与和各帧切面图像的图像评估结果进行加权求和,得到各帧切面图像对应的加权求和值;
对各帧切面图像对应的加权求和值进行统计计算,输出用于表征切面扫查的扫查效果的统计值。
12.如权利要求1至9中任一项所述的方法,其特征在于,所述切面图像为一帧,所述时间评估结果和所述图像评估结果分别为定性结果,所述根据所述时间评估结果和各帧切面图像对应的图像评估结果,输出综合评估结果,包括:
根据所述时间评估结果、所述图像评估结果以及预先设置的映射关系,得到并输出用于反映一帧切面图像的综合评估结果的评估信息,所述映射关系用于表征所述时间评估结果和所述图像评估结果两者与预先设置的评估信息间的关系。
13.如权利要求1至9中任一项所述的方法,其特征在于,所述切面图像包括至少两帧,所述时间评估结果和所述图像评估结果分别为定性结果,所述根据所述时间评估结果和各帧切面图像对应的图像评估结果,输出综合评估结果,包括:
根据所述时间评估结果、各帧切面图像的图像评估结果以及预先设置的第一映射关系,得到各帧切面图像对应的评估子结果,所述第一映射关系用于表征所述时间评估结果和所述图像评估结果两者与预先设置的评估子结果间的关系;
根据各帧切面图像对应的评估子结果以及预先设置的第二映射关系,得到并输出用于反映至少两帧切面图像的综合评估结果的评估信息,所述第二映射关系用于表征至少两个评估子结果与预先设置的评估信息之间的关系。
14.一种超声成像设备,其特征在于,包括:
超声探头,用于向目标对象发射超声波,并接收由目标对象返回的回波数据,
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现如权利要求1-13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111391463.1A CN116153172A (zh) | 2021-11-23 | 2021-11-23 | 一种超声标准切面的扫查效果评估方法及超声成像设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111391463.1A CN116153172A (zh) | 2021-11-23 | 2021-11-23 | 一种超声标准切面的扫查效果评估方法及超声成像设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116153172A true CN116153172A (zh) | 2023-05-23 |
Family
ID=86352963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111391463.1A Pending CN116153172A (zh) | 2021-11-23 | 2021-11-23 | 一种超声标准切面的扫查效果评估方法及超声成像设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116153172A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116452899A (zh) * | 2023-06-20 | 2023-07-18 | 四川省医学科学院·四川省人民医院 | 一种基于深度学习的超声心动图标准切面识别及评分方法 |
-
2021
- 2021-11-23 CN CN202111391463.1A patent/CN116153172A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116452899A (zh) * | 2023-06-20 | 2023-07-18 | 四川省医学科学院·四川省人民医院 | 一种基于深度学习的超声心动图标准切面识别及评分方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109758178A (zh) | 超声成像中的机器辅助工作流 | |
JP6841907B2 (ja) | Bラインを自動的に検出し、超音波スキャンの画像をスコア付けすることによる代表超音波画像の向上された視覚化および選択のための方法、システム及び非一時的コンピュータ可読媒体 | |
JP2012506283A (ja) | 3次元超音波画像化 | |
EP3554379B1 (en) | Prenatal ultrasound imaging | |
US11931201B2 (en) | Device and method for obtaining anatomical measurements from an ultrasound image | |
US11593933B2 (en) | Systems and methods for ultrasound image quality determination | |
WO2019191059A1 (en) | Method for objective, noninvasive staging of diffuse liver disease from ultrasound shear-wave elastography | |
US20180042578A1 (en) | Automated ultrasound image measurement system and method | |
US11532084B2 (en) | Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification | |
CN112603374A (zh) | 颈动脉超声影像处理方法、装置、存储介质及超声设备 | |
CN116153172A (zh) | 一种超声标准切面的扫查效果评估方法及超声成像设备 | |
KR102617857B1 (ko) | 초음파 의료 이미징을 사용한 간 질환 활성도 추정 | |
CN114680929A (zh) | 一种测量膈肌的超声成像方法和系统 | |
CN109640831A (zh) | 超声诊断装置 | |
US11896434B2 (en) | Systems and methods for frame indexing and image review | |
CN112494072A (zh) | 定量医学诊断超声的肌肉收缩状态触发 | |
CN114271850B (zh) | 超声检测数据的处理方法及超声检测数据的处理装置 | |
Gilbert et al. | User-Intended Doppler Measurement Type Prediction Combining CNNs With Smart Post-Processing | |
CN109589140B (zh) | 一种超声测量多项目处理方法和超声诊断系统 | |
CN114652353A (zh) | 超声成像系统以及颈动脉斑块稳定性评估方法 | |
CN113545806A (zh) | 前列腺弹性成像方法和超声弹性成像系统 | |
KR102661893B1 (ko) | 물리적 양에 대한 초음파-도출된 프록시 | |
WO2020082229A1 (zh) | 一种检查模式的确定方法及超声设备 | |
US20230121619A1 (en) | System and methods for exam suggestions using a clustered database | |
CN115990029A (zh) | 用于使用数据库的检查建议的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |