CN117132587B - 超声扫描导航方法、装置、计算机设备和存储介质 - Google Patents

超声扫描导航方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN117132587B
CN117132587B CN202311361635.XA CN202311361635A CN117132587B CN 117132587 B CN117132587 B CN 117132587B CN 202311361635 A CN202311361635 A CN 202311361635A CN 117132587 B CN117132587 B CN 117132587B
Authority
CN
China
Prior art keywords
probe
information
sample
standard
probe operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311361635.XA
Other languages
English (en)
Other versions
CN117132587A (zh
Inventor
陈凌
蒋逸韬
陈鹏
洪坤磊
石思远
崔晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Minimally Invasive Heart Operator Medical Technology Co ltd
Original Assignee
Shenzhen Minimally Invasive Heart Operator Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minimally Invasive Heart Operator Medical Technology Co ltd filed Critical Shenzhen Minimally Invasive Heart Operator Medical Technology Co ltd
Priority to CN202311361635.XA priority Critical patent/CN117132587B/zh
Publication of CN117132587A publication Critical patent/CN117132587A/zh
Application granted granted Critical
Publication of CN117132587B publication Critical patent/CN117132587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请涉及一种超声扫描导航方法、装置、计算机设备和存储介质。所述方法包括:获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;在所述超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对所述超声扫描图像进行分类处理,输出针对所述探头操作动作的探头操作导航信息;展示所述探头操作导航信息,直至所述超声扫描图像满足所述图像质控条件。采用本方法能够使得非超声专业人士也能轻松使用超声波机器获得感兴趣切面的超声扫描图像,提高目标对象的感兴趣区域的实时动态的成像的效率。

Description

超声扫描导航方法、装置、计算机设备和存储介质
技术领域
本申请涉及医学图像技术领域,特别是涉及一种超声扫描导航方法、装置、计算机设备和存储介质。
背景技术
随着医学图像技术的发展,对超声波在目标对象的反射的信号进行实时接收和处理,以获得实时动态的成像。因此,通过连续的超声波对任意感兴趣区域的液体和固体运动速度与幅度进行实时的成像,能够表征任意感兴趣区域中的各个不同组织、腔室的声阻抗,具有实时、安全、价廉、方便等特点。
由于操作超声检查设备需要具备熟悉的操作经验,传统技术中,对目标对象的感兴趣区域进行超声波成像会通过选取有经验的操作对象进行操作,并且获得实时动态的成像。由于目标对象的人数远超于操作对象,且目标对象存在紧急情况,在不存在操作对象的时候,容易错过最佳处理时间,因此采用传统技术导致获得目标对象的感兴趣区域的实时动态的成像的效率低下。
本发明中的操作对象是指进行超声扫描操作的人员(例如医生),目标对象是指接受超声扫描操作的人或动物(例如病人)。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高目标对象的感兴趣区域的实时动态的成像的效率的超声扫描导航方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种超声扫描导航方法,包括:获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;在所述超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对所述超声扫描图像进行分类处理,输出针对所述探头操作动作的探头操作导航信息;展示所述探头操作导航信息,直至所述超声扫描图像满足所述图像质控条件。
第二方面,本申请还提供了一种超声扫描导航装置,包括:扫描图像获取模块,用于获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;导航信息生成模块,用于在所述超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对所述超声扫描图像进行分类处理,输出针对所述探头操作动作的探头操作导航信息;扫描图像质控模块,用于展示所述探头操作导航信息,直至所述超声扫描图像满足所述图像质控条件。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;在所述超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对所述超声扫描图像进行分类处理,输出针对所述探头操作动作的探头操作导航信息;展示所述探头操作导航信息,直至所述超声扫描图像满足所述图像质控条件。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;在所述超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对所述超声扫描图像进行分类处理,输出针对所述探头操作动作的探头操作导航信息;展示所述探头操作导航信息,直至所述超声扫描图像满足所述图像质控条件。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;在所述超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对所述超声扫描图像进行分类处理,输出针对所述探头操作动作的探头操作导航信息;展示所述探头操作导航信息,直至所述超声扫描图像满足所述图像质控条件。
上述一种超声扫描导航方法、装置、计算机设备、存储介质和计算机程序产品,通过获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;在超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对超声扫描图像进行分类处理,输出针对探头操作动作的探头操作导航信息;展示探头操作导航信息,直至超声扫描图像满足图像质控条件。
通过利用探头操作导航模型中针对超声扫描图像的处理权重,在超声扫描图像未能满足预设的图像质控条件的情况下,输出探头操作动作的探头操作导航信息,对下一步的扫描操作给予导航,从而使得非超声专业人士也能轻松使用超声波机器获得感兴趣切面的超声扫描图像,提高目标对象的感兴趣区域的实时动态的成像的效率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中一种超声扫描导航方法的应用环境图;
图2为一个实施例中一种超声扫描导航方法的流程示意图;
图3为一个实施例中探头操作导航信息得到方法的流程示意图;
图4为一个实施例中切面阴影等级得到方法的流程示意图;
图5为一个实施例中候选探头操作动作得到方法的流程示意图;
图6为另一个实施例中探头操作导航信息得到方法的流程示意图;
图7为一个实施例中探头操作导航模型训练方法的流程示意图;
图8为一个实施例中相对位移计算方法的流程示意图;
图9为一个实施例中相对角度计算方法的流程示意图;
图10为一个实施例中相对仿射矩阵得到方法的流程示意图;
图11为一个实施例中一种基于并联模型的超声扫描导航方法的实现逻辑示意图;
图12为一个实施例中一种基于串联模型的超声扫描导航方法的实现逻辑示意图;
图13为一个实施例中训练数据采集方法的实现过程示意图;
图14为一个实施例中一种超声扫描导航装置的结构框图;
图15为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的一种超声扫描导航方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。服务器104获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;在超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对超声扫描图像进行分类处理,输出针对探头操作动作的探头操作导航信息;展示探头操作导航信息,直至超声扫描图像满足图像质控条件。其中,终端102可以但不限于是各种探头和传感器等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个示例性的实施例中,如图2所示,提供了一种超声扫描导航方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤202至步骤206。其中:
步骤202,获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像。
其中,扫描对象可以是需要进行超声扫描的人或者动物。
其中,感兴趣切面可以是能够准确了解目标区域的具体情况的标准切面,其中,目标区域可以是心脏组织、腔室的声阻抗。
其中,超声扫描图像可以是超声波机器在目标对象的目标区域的感兴趣切面附近进行超声扫描而得到的图像。
具体地,服务器104在终端102对扫描对象的目标区域进行超声扫描的情况下,从终端102中获取在感兴趣切面之间过渡或者在感兴趣切面附近寻找感兴趣切面的进行超声扫描过程中采集到的超声扫描图像。其中,超声扫描图像中包括感兴趣切面的视频帧和非感兴趣切面的视频帧。
步骤204,在超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对超声扫描图像进行分类处理,输出针对探头操作动作的探头操作导航信息。
其中,图像质控条件可以是判断超声扫描图像中的各个不同的视频帧是否满足预设的标准,如果视频帧满足预设的标准,则为感兴趣切面的视频帧。
其中,探头操作动作可以是超声波机器的探头的操作动作,例如:向上移动探头、向下移动探头、逆时针旋转探头、顺时针旋转探头、向上倾斜探头、向下倾斜探头、向左移动探头、向右移动探头、向左摇摆探头、向右摇摆探头和保持。
其中,探头操作导航模型可以是根据超声扫描图像中的各个不同的视频帧,判断具体采用哪一个探头操作动作的神经网络模型,其中,探头操作导航模型包括上下移动操作导航模型、旋转探头操作导航模型、倾斜探头操作导航模型、左右摇摆操作导航模型和左右移动操作导航模型。
其中,探头操作导航信息可以是根据具体采用哪一个探头操作动作,以视觉与文字提示的方式向外进行提示。
具体地,将超声扫描图像输入到图像质控模型中,通过图像质控模型的计算,得到图像质控分数,如果图像质控分数表示超声扫描图像不满足预设的图像质控条件的情况下,则通过与至少一种探头操作动作对应的探头操作导航模型,对超声扫描图像进行分类处理,并且输出探头操作导航模型针对至少一种探头操作动作对应的探头操作导航信息。例如:针对需要进行上下移动探头动作而调用上下移动操作导航模型,而上下移动操作导航模型输出针对上下移动探头动作的探头操作导航信息(向上移动探头或者向下移动探头)。
步骤206,展示探头操作导航信息,直至超声扫描图像满足图像质控条件。
具体地,将探头操作导航信息通过终端102进行展示,并根据超声波机器的探头移动,如果经过探头操作导航信息的导航后,从超声波机器的探头得到的超声扫描图像依然未能满足图像质控条件的情况下,则对后续的超声扫描图像重新实现上述步骤的处理,直到超声扫描图像满足图像质控条件,确定超声扫描图像为目标扫描图像,其中,目标扫描图像为用于展示扫描对象的感兴趣切面的超声图像。
上述一种超声扫描导航方法中,通过获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;在超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对超声扫描图像进行分类处理,输出针对探头操作动作的探头操作导航信息;展示探头操作导航信息,直至超声扫描图像满足图像质控条件。
通过利用探头操作导航模型中针对超声扫描图像的处理权重,在超声扫描图像未能满足预设的图像质控条件的情况下,输出探头操作动作的探头操作导航信息,对下一步的扫描操作给予导航,从而使得非超声专业人士也能轻松使用超声波机器获得感兴趣切面的超声扫描图像,提高目标对象的感兴趣区域的实时动态的成像的效率。
在一个示例性的实施例中,如图3所示,通过与探头操作动作对应的探头操作导航模型对超声扫描图像进行分类处理,输出针对探头操作动作的探头操作导航信息,包括:
步骤302,通过各候选探头操作导航模型分别对超声扫描图像进行分类处理,得到各候选探头操作动作。
其中,候选探头操作导航模型可以是用于对超声扫描图像进行分类处理,并输出引导超声波机器的探头进行运动的模型。
其中,候选探头操作动作可以是用于对超声扫描图像进行分类处理后输出引导超声波机器的探头进行运动的指引动作。
具体地,将超声扫描图像分别输入至各个不同的候选探头操作导航模型,通过各个不同的候选探头操作导航模型分别对超声扫描图像进行分类处理,可以得到任意一个候选探头操作导航模型对应的候选探头操作动作。例如:通过候选探头操作导航模型1对超声扫描图像进行分类处理,其中,候选探头操作导航模型可以分类出候选探头操作动作1-1,候选探头操作动作1-2,候选探头操作动作1-3三种,然而对于候选探头操作导航模型,选择针对超声扫描图像最为合适的候选探头操作动作作为候选探头操作动作。
步骤304,获取超声扫描图像的切面阴影等级,将切面阴影等级以及各候选探头操作动作输入至探头操作动作决策模型,在多种候选探头操作动作中确定目标探头操作动作。
其中,切面阴影等级可以是将超声扫描图像按照黑色覆盖的面积进行分类得到的等级。
其中,探头操作动作决策模型可以是从多种候选探头操作动作选取最适合的候选探头操作动作的模型。
其中,目标探头操作动作可以是被探头操作动作决策模型选定的候选探头操作动作。
具体地,将超声扫描图像输入至用于计算该超声扫描图像对应的切面阴影等级的阴影切面过滤模型,通过阴影切面过滤模型的计算,确定该超声扫描图像的切面阴影等级;然后,进一步将上述的切面阴影等级以及各个不同的候选探头操作导航模型进行分类得到对应的候选探头操作动作输入至探头操作动作决策模型,通过探头操作动作决策模型从各个候选探头操作动作中选取针对当前的超声扫描图像进行超声波机器的探头的移动的动作,并作为目标探头操作动作。例如:候选探头操作导航模型1对应的候选探头操作动作1,候选探头操作导航模型2对应的候选探头操作动作2,候选探头操作导航模型3对应的候选探头操作动作3,候选探头操作导航模型4对应的候选探头操作动作4,候选探头操作导航模型5对应的候选探头操作动作5等,则将候选探头操作动作1、候选探头操作动作2、候选探头操作动作3、候选探头操作动作4、候选探头操作动作5以及切面阴影等级输入至探头操作动作决策模型,通过探头操作动作决策模型的计算,从候选探头操作动作1、候选探头操作动作2、候选探头操作动作3、候选探头操作动作4、候选探头操作动作5选取候选探头操作动作2作为目标探头操作动作。
步骤306,输出目标探头操作动作的探头操作导航信息。
具体地,将目标探头操作动作转化为以视觉图像与文字提示的数据,生成探头操作导航信息,并通过终端102进行展示。
本实施例中,通过多个候选探头操作导航模型进行分类处理,同时结合阴影切面过滤模型确定切面阴影等级,并最终通过探头操作动作决策模型选取最合适的探头移动动作。这种综合利用多模型的方法可以有效提高超声波机器的操作效率和精度,通过视觉图像和文字提示生成探头操作导航信息,为医疗人员提供更直观和准确的引导,进一步优化超声扫描过程,提升医学诊断的水平。
在一个示例性的实施例中,如图4所示,获取超声扫描图像的切面阴影等级,包括:
步骤402,获取阴影切面过滤模型。
具体地,通过训练用的超声扫描图像,对待训练阴影切面过滤模型进行训练,在待训练阴影切面过滤模型的切面阴影等级的分类结果满足预设条件的情况下,得到已经训练好阴影切面过滤模型,作为后续进行导航所应用到的阴影切面过滤模型。
步骤404,将超声扫描图像输入至阴影切面过滤模型,得到切面阴影等级。
具体地,将超声扫描图像输入至阴影切面过滤模型,通过阴影切面过滤模型对超声扫描图像按照正常、半黑、全黑三种分类等级进行分类,得到针对超声扫描图像的切面阴影等级。
本实施例中,通过使用训练数据对阴影切面过滤模型进行训练,以获得经过预设条件验证的已训练模型。通过将超声扫描图像输入这一训练后的阴影切面过滤模型,成功实现对图像的分类。这有效地为后续导航提供了可靠的切面阴影等级信息,为医学影像处理提供了更准确和可靠的基础,有助于优化超声扫描结果的解读和医学诊断的准确性。
在一个示例性的实施例中,如图5所示,通过各候选探头操作导航模型分别对超声扫描图像进行分类处理,得到各候选探头操作动作,包括:
步骤502,将超声扫描图像输入上下移动探头动作对应的候选探头操作导航模型,得到针对上下移动探头动作的候选探头操作动作。
具体地,如果将各个不同的候选探头操作导航模型进行并联布置的情况下,将超声扫描图像输入上下移动探头动作对应的上下移动操作导航模型中,通过上下移动操作导航模型进行分类处理,得到针对上下移动探头动作的候选探头操作动作,此时上下移动操作导航模型给出的候选探头操作动作为“向上移动探头”或者“向下移动探头”的动作输出数据。
在另外一个实施例中,如果将各个不同的候选探头操作导航模型进行串联布置的情况下,则将超声扫描图像输入到图像质控模型中,通过图像质控模型的计算,得到图像质控分数,如果图像质控分数大于或者等于图像质控条件,则表明已到达了感兴趣切面;如果图像质控分数小于图像质控条件,则表明需要进入上下位移导航,将超声扫描图像输入上下移动探头动作对应的上下移动操作导航模型中,通过上下移动操作导航模型进行分类处理,得到针对上下移动探头动作的探头操作导航信息,此时上下移动操作导航模型给出的探头操作导航信息为“向上移动探头”或者“向下移动探头”的导航提示,此时用户需要一直调整探头上下位置,直到探头操作导航信息提示“保持”位置。其中,图像质控条件和第二质控条件为图像质控条件的子条件,且图像质控条件的质控要求大于第二质控条件的质控要求。
在上下移动操作导航模型给出针对上下移动探头动作的探头操作导航信息为“保持”,以及超声扫描图像满足图像质控条件的情况下,确定超声扫描图像为目标扫描图像,并将目标扫描图像为用于展示扫描对象的感兴趣切面的超声图像。
以及,步骤504,将超声扫描图像输入旋转探头动作对应的候选探头操作导航模型,得到针对旋转探头动作的候选探头操作动作。
具体地,如果将各个不同的候选探头操作导航模型进行并联布置的情况下,将超声扫描图像输入旋转探头动作对应的旋转探头操作导航模型中,通过旋转探头操作导航模型进行分类处理,得到针对旋转探头动作的候选探头操作动作,此时旋转探头操作导航模型给出的候选探头操作动作为“逆时针旋转探头”或者“顺时针旋转探头”的动作输出数据。
在另外一个实施例中,如果将各个不同的候选探头操作导航模型进行串联布置的情况下,在上下移动操作导航模型给出针对上下移动探头动作的探头操作导航信息为“保持”,但是超声扫描图像不满足图像质控条件的情况下,将超声扫描图像保持到图像质控模型中,再次通过图像质控模型的计算,再次得到图像质控分数,如果图像质控分数大于或者等于图像质控条件,则表明已到达了感兴趣切面;如果图像质控分数小于图像质控条件,则表明需要进入旋转探头导航,将超声扫描图像输入旋转探头动作对应的旋转探头操作导航模型中,通过旋转探头操作导航模型进行分类处理,得到针对旋转探头动作的探头操作导航信息,此时旋转探头操作导航模型给出的探头操作导航信息为“逆时针旋转探头”或者“顺时针旋转探头”的导航提示,此时用户需要一直调整探头旋转角度,直到探头操作导航信息提示“保持”位置。
在旋转探头操作导航模型给出针对旋转探头动作的探头操作导航信息为“保持”,以及超声扫描图像满足图像质控条件的情况下,确定超声扫描图像为目标扫描图像,并将目标扫描图像为用于展示扫描对象的感兴趣切面的超声图像。
以及,步骤506,将超声扫描图像输入倾斜探头动作对应的候选探头操作导航模型,得到针对倾斜探头动作的候选探头操作动作。
具体地,如果将各个不同的候选探头操作导航模型进行并联布置的情况下,将超声扫描图像输入倾斜探头动作对应的倾斜探头操作导航模型中,通过倾斜探头操作导航模型进行分类处理,得到针对倾斜探头动作的候选探头操作动作,此时倾斜探头操作导航模型给出的候选探头操作动作为“向上倾斜探头”或者“向下倾斜探头”的动作输出数据。
在另外一个实施例中,如果将各个不同的候选探头操作导航模型进行串联布置的情况下,在旋转探头操作导航模型给出针对旋转探头动作的探头操作导航信息为“保持”,但是超声扫描图像不满足图像质控条件的情况下,将超声扫描图像保持到图像质控模型中,再次通过图像质控模型的计算,再次得到图像质控分数,如果图像质控分数大于或者等于图像质控条件,则表明已到达了感兴趣切面;如果图像质控分数小于图像质控条件,则表明需要进入倾斜探头导航,将超声扫描图像输入倾斜探头动作对应的倾斜探头操作导航模型中,通过倾斜探头操作导航模型进行分类处理,得到针对倾斜探头动作的探头操作导航信息,此时倾斜探头操作导航模型给出的探头操作导航信息为“向上倾斜探头”或者“向下倾斜探头”的导航提示,此时用户需要一直调整探头倾斜角度,直到探头操作导航信息提示“保持”位置。
在倾斜探头操作导航模型给出针对倾斜探头动作的探头操作导航信息为“保持”,以及超声扫描图像满足图像质控条件的情况下,确定超声扫描图像为目标扫描图像,并将目标扫描图像为用于展示扫描对象的感兴趣切面的超声图像。
以及,步骤508,将超声扫描图像输入左右摇摆探头动作对应的候选探头操作导航模型,得到针对左右摇摆探头动作的候选探头操作动作。
具体地,如果将各个不同的候选探头操作导航模型进行并联布置的情况下,将超声扫描图像输入左右摇摆探头动作对应的左右移动摇摆操作导航模型中,通过左右移动摇摆操作导航模型进行分类处理,得到针对左右摇摆探头动作的候选探头操作动作,此时左右摇摆操作导航模型给出的候选探头操作动作为“向左摇摆探头”或者“向右摇摆探头”的动作输出数据。
在另外一个实施例中,如果将各个不同的候选探头操作导航模型进行串联布置的情况下,在倾斜探头操作导航模型给出针对倾斜探头动作的探头操作导航信息为“保持”,但是超声扫描图像不满足图像质控条件的情况下,将超声扫描图像保持到图像质控模型中,再次通过图像质控模型的计算,再次得到图像质控分数,如果图像质控分数大于或者等于第二质控条件,则表明已到达了感兴趣切面;如果图像质控分数小于第二质控条件,则表明需要进入左右移动摇摆导航,将超声扫描图像输入左右摇摆探头动作对应的左右移动摇摆操作导航模型中,通过左右移动摇摆操作导航模型进行分类处理,得到针对左右摇摆探头动作的探头操作导航信息,此时左右摇摆操作导航模型给出的探头操作导航信息为“向左摇摆探头”或者“向右摇摆探头”的导航提示,此时用户需要一直调整探头左右摇摆角度,直到探头操作导航信息提示“保持”位置。
在左右摇摆操作导航模型给出针对左右移动摇摆探头动作的探头操作导航信息为“保持”,以及超声扫描图像满足第二质控条件的情况下,确定超声扫描图像为目标扫描图像,并将目标扫描图像为用于展示扫描对象的感兴趣切面的超声图像。
以及,步骤510,将超声扫描图像输入左右移动摇摆探头动作对应的探头操作导航模型,得到针对左右移动摇摆探头动作的探头操作导航信息。
具体地,如果将各个不同的候选探头操作导航模型进行并联布置的情况下,将超声扫描图像输入左右移动探头动作对应的左右移动操作导航模型中,通过左右移动操作导航模型进行分类处理,得到针对左右移动探头动作的候选探头操作动作,此时左右移动操作导航模型给出的候选探头操作动作为“向左移动探头”或者“向右移动探头”的动作输出数据。
在另外一个实施例中,如果将各个不同的候选探头操作导航模型进行串联布置的情况下,在倾斜探头操作导航模型给出针对倾斜探头动作的探头操作导航信息为“保持”,但是超声扫描图像不满足图像质控条件的情况下,将超声扫描图像保持到图像质控模型中,再次通过图像质控模型的计算,再次得到图像质控分数,如果图像质控分数大于或者等于第二质控条件,则表明已到达了感兴趣切面;如果图像质控分数小于第二质控条件,则表明需要进入左右移动导航,将超声扫描图像输入左右移动探头动作对应的左右移动操作导航模型中,通过左右移动操作导航模型进行分类处理,得到针对左右移动探头动作的探头操作导航信息,此时左右移动操作导航模型给出的探头操作导航信息为“左移动探头”或者“向右移动探头”的导航提示,此时用户需要一直调整探头左右位移量,直到探头操作导航信息提示“保持”位置。
在左右移动操作导航模型给出针对左右移动探头动作的探头操作导航信息为“保持”,以及超声扫描图像满足第二质控条件的情况下,确定超声扫描图像为目标扫描图像,并将目标扫描图像为用于展示扫描对象的感兴趣切面的超声图像。
在另外一个实施例中,如图6所示,在将目标扫描图像为用于展示扫描对象的感兴趣切面的超声图像的步骤之后,还可以包括:
步骤602,在各探头操作动作中确定目标动作。
其中,目标动作可以是各个探头操作动作对应的探头操作导航信息中置信概率最大的探头操作动作。
具体地,获取各个探头操作动作对应的探头操作导航信息的置信概率,将各个探头操作导航信息的置信概率进行对比,选取探头操作导航信息的置信概率为最大值的探头操作动作作为目标动作。
步骤604,将超声扫描图像输入目标动作对应的探头操作导航模型,通过目标动作对应的探头操作导航模型对超声扫描图像进行分类处理,输出针对目标动作的探头操作导航信息。
具体地,将超声扫描图像输入目标动作对应的探头操作导航模型中,其中,目标动作对应的探头操作导航模型可以是上下移动操作导航模型、旋转探头操作导航模型、倾斜探头操作导航模型和左右移动摇摆操作导航模型的其中一个,通过目标动作对应的探头操作导航模型进行分类处理,得到针对目标动作的探头操作导航信息,此时目标动作对应的探头操作导航模型给出对应的探头操作导航信息作为导航提示,此时用户需要一直调整探头的位置或者角度,直到探头操作导航信息提示“保持”位置。
在目标动作对应的探头操作导航模型给出针对左右移动摇摆探头动作的探头操作导航信息为“保持”,以及超声扫描图像满足图像质控条件或者第二质控条件(根据不同的目标动作对应的探头操作导航模型进行选择)的情况下,确定超声扫描图像为目标扫描图像,并将目标扫描图像为用于展示扫描对象的感兴趣切面的超声图像。
在目标动作对应的探头操作导航模型给出针对左右移动摇摆探头动作的探头操作导航信息为“保持”,以及超声扫描图像不满足图像质控条件或者第二质控条件(根据不同的目标动作对应的探头操作导航模型进行选择)的情况下,则将超声扫描图像输入目标动作对应的下一个的探头操作导航模型,直到确定超声扫描图像为目标扫描图像,并将目标扫描图像为用于展示扫描对象的感兴趣切面的超声图像。对于步骤202至步骤704对应的一种超声扫描导航方法的实现逻辑示意图如图12所示。
本实施例中,通过在将不同的候选探头操作导航模型并联布置的情况下,针对不同的探头动作进行分类处理的场景。通过上下移动、旋转、倾斜、左右摇摆和左右移动等操作导航模型,成功地获得了针对每种动作的候选探头操作动作。这种并联布置的模型架构使得系统能够根据超声扫描图像自动识别最合适的探头动作,例如向上或向下移动、逆时针或顺时针旋转、向上或向下倾斜、向左或向右摇摆、向左或向右移动等,为医学影像操作提供了更灵活和智能的导航引导,从而提高了超声波机器的操作效率和准确性;进一步,使用并联设置各个候选探头操作导航模型并行推理,基于神经决策模型汇总推理结果,大大减少了推理时间。
在一个示例性的实施例中,如图7所示,方法还包括:
步骤702,获取样本标准切面视频帧和样本标准切面视频帧对应的样本标准切面传感器信息,以及,获取各样本非标准切面视频帧和各样本非标准切面视频帧对应的样本非标准切面传感器信息。
其中,样本标准切面视频帧可以是训练用的感兴趣切面的视频帧。
其中,样本标准切面传感器信息可以是训练用的感兴趣切面的视频帧对应的特性参数。
其中,样本非标准切面视频帧可以是训练用的非感兴趣切面的视频帧。
其中,样本非标准切面传感器信息可以是训练用的非感兴趣切面的视频帧对应的特性参数。
具体地,服务器104通过终端102获取样本标准切面视频帧和样本标准切面视频帧对应的样本标准切面传感器信息,以及,获取各样本非标准切面视频帧和各样本非标准切面视频帧对应的样本非标准切面传感器信息。其中,样本标准切面视频帧为操作对象对样本扫描对象的标准切面进行超声扫描时采集到的视频帧;样本非标准切面视频帧为操作对象对样本扫描对象的非标准切面进行超声扫描时采集到的视频帧;样本标准切面传感器信息用于表征在对标准切面进行超声扫描时对超声探头的运动追踪信息;非样本标准切面传感器信息用于表征在对非标准切面进行超声扫描时对超声探头的运动追踪信息。其中,样本标准切面视频帧和样本标准切面视频帧对应的样本标准切面传感器信息,以及,各样本非标准切面视频帧和各样本非标准切面视频帧对应的样本非标准切面传感器信息的采集过程示意图如图13所示。
在一个实施例中,把跟踪6DOF第一传感器固定在被扫描对象的右边胸骨上,把跟踪6DOF第二传感器与超声探头进行绑定,并与电脑的输入端进行连接,其次配置采集卡使其连接超声设备的输出端与电脑的输入端,使电脑上可实时保存超声设备的成像与两个跟踪6DOF传感器的输出。对被采集对象在进行超声心动图的扫描时,利用捆绑在探头上的跟踪6DOF传感器记录该探头在扫描时候的运动情况,且记录被扫描对象的相对运动情况,并保存对应的实时超声视频帧,从而得到不同声窗不同标准切面在该被采集对象上的相对三维空间方位。
对采集得到的样本标准切面视频帧中的标准切面,例如:剑突下四腔心、胸骨旁长轴左心室、胸骨旁短轴大动脉、胸骨旁短轴二尖瓣、胸骨旁短轴乳头肌、胸骨旁短轴心尖、四腔心、两腔心和三腔心等进行标注,对于该标准切面视频帧的第一传感器记录与该标准切面视频帧的第二传感器记录用于后续的相对6DOF计算。
步骤704,使用样本标准切面传感器信息对样本标准切面视频帧进行标注,得到样本标注标准切面信息,以及,使用各样本非标准切面传感器信息对相应的样本非标准切面视频帧进行标注,得到各样本标注非标准切面信息。
其中,样本标注标准切面信息可以是采用本标准切面传感器信息对样本标准切面视频帧进行标注得到的已标注图像。
其中,样本标注非标准切面信息可以是采用样本非标准切面传感器信息对样本非标准切面视频帧进行标注得到的已标注图像。
具体地,使用样本标准切面传感器信息对样本标准切面视频帧进行标注,得到样本标注标准切面信息;同理,使用各样本非标准切面传感器信息对相应的样本非标准切面视频帧进行标注,得到各样本标注非标准切面信息。
在一个实施例中,对采集得到的样本标准切面视频帧中的标准切面如:剑突下四腔心、胸骨旁长轴左心室、胸骨旁短轴大动脉、胸骨旁短轴二尖瓣、胸骨旁短轴乳头肌、胸骨旁短轴心尖、四腔心、两腔心和三腔心等进行标注,该标准切面视频帧的第一传感器记录与第二传感器记录/>用于后续的相对6DOF计算,其中,s为标准切面的视频帧。
在一个实施例中,对采集得到的样本标准切面视频帧中的非标准切面进行标注,该非标准切面视频帧的第一传感器记录与第二传感器记录/>用于后续的相对6DOF计算,其中,C为除s以外的所有视频帧。/>
步骤706,计算样本标注标准切面信息与各样本标注非标准切面信息之间的各相对位移和各相对角度。
其中,相对位移可以是标准切面与非标准切面之间的相对位移。
其中,相对角度可以是标准切面与非标准切面之间的相对角度。
具体地,根据相对位移坐标公式,计算样本标注标准切面信息分别与各个样本标注非标准切面信息之间的相对位移;以及,根据相对欧拉角度计算公式,计算样本标注标准切面信息分别与各个样本标注非标准切面信息之间的相对角度。
步骤708,根据各相对位移和各相对角度,对样本标注标准切面信息以及各样本标注非标准切面信息进行分类,得到角度导航手法标注信息以及位移导航手法标注信息。
其中,角度导航手法标注信息可以是用于训练角度导航的样本数据,其中包括保持样本数据、上倾样本数据、下倾斜样本数据、顺时针旋转样本数据、逆时针旋转样本数据、左摇样本数据、右摇样本数据。
其中,位移导航手法标注信息可以是用于训练位移导航的样本数据,其中包括保持样本数据、上移样本数据、下移样本数据、左摇样本数据、右摇样本数据。
具体地,根据计算每个视频帧关于相对角度,也就每个视频帧的欧拉角度
中的/>的二维高斯分布,通过计算半高宽对样本标注标准切面信息以及各样本标注非标准切面信息进行分类,确定对应的角度导航手法标注信息,即保持样本数据、上倾样本数据、下倾斜样本数据、顺时针旋转样本数据、逆时针旋转样本数据、左摇样本数据、右摇样本数据;另外,根据相对位移,对样本标注标准切面信息以及各样本标注非标准切面信息进行分类,确定位移导航手法标注信息,即保持样本数据、上移样本数据、下移样本数据、左摇样本数据、右摇样本数据。
步骤710,根据角度导航手法标注信息以及根据位移导航手法标注信息,对待训练的探头操作导航模型进行训练,得到探头操作导航模型。
其中,待训练的探头操作导航模型可以是准备被训练的探头操作导航模型。
具体地,根据设计的需要进行导航的探头操作动作的顺序,即上下移动、旋转、倾斜、左右移动摇摆,对角度导航手法标注信息的保持样本数据、上倾样本数据、下倾斜样本数据、顺时针旋转样本数据、逆时针旋转样本数据、左摇样本数据、右摇样本数据,以及位移导航手法标注信息中的保持样本数据、上移样本数据、下移样本数据、左摇样本数据、右摇样本数据进行划分为四个部分,用于训练四个分类的探头操作导航模型用于导航;其中,上下移动分类、旋转分类、和倾斜分类为三分类,左右移动摇摆为五分类。损失函数为交叉熵,模型可为任意用于分类的卷积神经网络(CNN)或Transformer。对于模型的选择,除了四个分类模型以外,还可以针对每个声窗单独训练模型;对于角度导航部分(旋转与倾斜),可以基于同一个模型但不同的输出头进行训练。通过样本数据对待训练的探头操作导航模型进行训练,得到探头操作导航模型。
本实施例中,通过利用样本标注标准切面信息以及样本标注非标准切面信息,计算相对位移和相对角度,并进一步利用相对位移和相对角度得到角度导航手法标注信息以及位移导航手法标注信息,用于训练待训练的探头操作导航模型,能够将不同非标准切面到达标准切面的过程,通过设计的方法把导航分解为四个分类问题,降低获取感兴趣切面的门槛。
在一个示例性的实施例中,如图8所示,计算样本标注标准切面信息与各样本标注非标准切面信息之间的各相对位移,包括:
步骤802,针对任一非标准切面,将第二传感器对应的非标准切面信息与第一传感器对应的非标准切面信息相减,得到非标准切面差异信息。
其中,非标准切面差异信息可以是不同传感器的非标准切面信息差值。
具体地,针对同一个非标准切面,将该非标准切面的第二传感器对应的非标准切面信息中的三维坐标与第一传感器对应的非标准切面信息中的三维坐标相减,得到非标准切面差异信息。
步骤804,将第二传感器对应的标准切面信息与第一传感器对应的标准切面信息相减,得到准切面差异信息。
其中,准切面差异信息可以是不同传感器的标准切面信息差值。
具体地,将标准切面的第二传感器对应的标准切面信息中的三维坐标与第一传感器对应的标准切面信息中的三维坐标相减,得到标准切面差异信息。
步骤806,根据非标准切面差异信息和准切面差异信息,得到相对位移。
具体地,针对不同方向的坐标轴,分别计算非标准切面差异信息和准切面差异信息之间的差值,将各个方向的坐标轴的差值进行汇总,得到相对位移。针对相对位移的计算公式,如下式所示。
其中,为非标准切面差异信息和准切面差异信息之间的相对位移,/>、/>、/>分别为非标准切面差异信息和准切面差异信息在x轴、y轴和z轴上的相对位移。
本实施例中,通过利用非标准切面差异信息和准切面差异信息之间的差异确定相对位移,能够避免目标对象在超声扫描过程中的因为活动而导致超声扫描图像失真。
在一个示例性的实施例中,如图9所示,计算样本标注标准切面信息与各样本标注非标准切面信息之间的各相对角度,包括:
步骤902,针对任一非标准切面,根据第一传感器对应的标准切面信息,和/或第二传感器对应的标准切面信息,和/或第一传感器对应的非标准切面信息,和/或第二传感器对应的非标准切面信息,构建旋转矩阵。
其中,旋转矩阵可以是在乘以一个向量的时候有改变向量的方向但不改变大小的效果并保持了手性的矩阵。
具体地,针对同一个非标准切面,根据第一传感器对应的标准切面信息中的欧拉角度,和/或第二传感器对应的标准切面信息中的欧拉角度,和/或第一传感器对应的非标准切面信息中的欧拉角度,和/或第二传感器对应的非标准切面信息中的欧拉角度,构建旋转矩阵。其中,旋转矩阵的构建公式如下。
步骤904,根据样本标注标准切面信息以及样本标注非标准切面信息,构建相对仿射矩阵。
其中,相对仿射矩阵可以是不同的标准仿射矩阵之间的相对关系的矩阵。
具体地,对于非标准切面信息,使用第一传感器对应的非标准切面信息构建第一非标准仿射矩阵,以及根据第二传感器对应的非标准切面信息构建第二非标准仿射矩阵;同理,对于标准切面,使用第一传感器对应的标准切面信息构建第一标准仿射矩阵,以及根据第二传感器对应的标准切面信息构建第二标准仿射矩阵,根据第一非标准仿射矩阵、第二非标准仿射矩阵、第一标准仿射矩阵和第二标准仿射矩阵之间的线性关系,得到第一相对仿射矩阵和第二相对仿射矩阵,作为相对仿射矩阵。
步骤906,根据旋转矩阵和相对仿射矩阵,得到相对角度。
具体地,根据旋转矩阵和相对仿射矩阵,计算相对角度,其中,相对角度的计算公式如下。
相对角度
本实施例中,通过旋转矩阵和相对仿射矩阵计算相对角度,有利于后续根据二维高斯分布的半高宽确定对应的角度导航手法标注信息,提高了角度导航手法标注信息的准确度。
在一个示例性的实施例中,如图10所示,根据样本标注标准切面信息以及样本标注非标准切面信息,构建相对仿射矩阵,包括:
步骤1002,根据第一传感器对应的非标准切面信息构建第一非标准仿射矩阵,以及根据第二传感器对应的非标准切面信息构建第二非标准仿射矩阵。
其中,第一非标准仿射矩阵和第二非标准仿射矩阵分别为第一传感器和第二传感器对应的非标准切面信息进行仿射变换后得到的矩阵。
具体地,针对第一传感器,使用第一传感器对应的非标准切面信息构建第一非标准仿射矩阵;同理,针对第二传感器,使用第二传感器对应的非标准切面信息构建第二非标准仿射矩阵。
步骤1004,根据第一传感器对应的标准切面信息构建第一标准仿射矩阵,以及根据第二传感器对应的标准切面信息构建第二标准仿射矩阵。
其中,第一标准仿射矩阵和第二标准仿射矩阵分别为第一传感器和第二传感器对应的标准切面信息进行仿射变换后得到的矩阵。
具体地,针对第一传感器,使用第一传感器对应的标准切面信息构建第一标准仿射矩阵;同理,针对第二传感器,使用第二传感器对应的标准切面信息构建第二标准仿射矩阵。
步骤1006,根据第一非标准仿射矩阵、第二非标准仿射矩阵、第一标准仿射矩阵以及第二标准仿射矩阵,得到第一相对仿射矩阵和第二相对仿射矩阵,作为相对仿射矩阵。
具体地,根据第一非标准仿射矩阵、第二非标准仿射矩阵、第一标准仿射矩阵以及第二标准仿射矩阵之间的线性关系,构建第一相对仿射矩阵和第二相对仿射矩阵,其中,第一相对仿射矩阵和第二相对仿射矩阵的构建共识分别如下。
本实施例中,通过利用第一非标准仿射矩阵、第二非标准仿射矩阵、第一标准仿射矩阵以及第二标准仿射矩阵的线性关系,构建相对仿射矩阵,能够使得专业导航技术用以分类模型形式进行表达,保证了探头操作导航模型的性能。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的超声扫描导航方法的一种超声扫描导航装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个超声扫描导航装置实施例中的具体限定可以参见上文中对于一种超声扫描导航方法的限定,在此不再赘述。
在一个示例性的实施例中,如图14所示,提供了一种超声扫描导航装置,包括:扫描图像获取模块1402、导航信息生成模块1404和扫描图像质控模块1406,其中:
扫描图像获取模块1402,用于获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;
导航信息生成模块1404,用于在超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对超声扫描图像进行分类处理,输出针对探头操作动作的探头操作导航信息;
扫描图像质控模块1406,用于展示探头操作导航信息,直至超声扫描图像满足图像质控条件。
导航信息生成模块1404,还用于通过各候选探头操作导航模型分别对超声扫描图像进行分类处理,得到各候选探头操作动作;获取超声扫描图像的切面阴影等级,将切面阴影等级以及各候选探头操作动作输入至探头操作动作决策模型,在多种候选探头操作动作中确定目标探头操作动作;输出目标探头操作动作的探头操作导航信息。
导航信息生成模块1404,还用于获取阴影切面过滤模型;将超声扫描图像输入至阴影切面过滤模型,得到切面阴影等级。
导航信息生成模块1404,还用于将超声扫描图像输入上下移动探头动作对应的候选探头操作导航模型,得到针对上下移动探头动作的候选探头操作动作;候选探头操作动作包括向上移动探头、向下移动探头或保持的其中一种。
导航信息生成模块1404,还用于将超声扫描图像输入旋转探头动作对应的候选探头操作导航模型,得到针对旋转探头动作的候选探头操作动作;候选探头操作动作包括逆时针旋转探头、顺时针旋转探头或保持的其中一种。
导航信息生成模块1404,还用于将超声扫描图像输入倾斜探头动作对应的候选探头操作导航模型,得到针对倾斜探头动作的候选探头操作动作;候选探头操作动作包括向上倾斜探头、向下倾斜探头或保持的其中一种。
导航信息生成模块1404,还用于将超声扫描图像输入左右摇摆探头动作对应的候选探头操作导航模型,得到针对左右摇摆探头动作的候选探头操作动作;候选探头操作动作包括向左摇摆探头、向右摇摆探头或保持的其中一种。
导航信息生成模块1404,还用于将超声扫描图像输入左右移动探头动作对应的候选探头操作导航模型,得到针对左右移动探头动作的候选探头操作动作;候选探头操作动作包括向左移动探头、向右移动探头或保持的其中一种。
扫描图像获取模块1402,还用于获取样本标准切面视频帧和样本标准切面视频帧对应的样本标准切面传感器信息,以及,获取各样本非标准切面视频帧和各样本非标准切面视频帧对应的样本非标准切面传感器信息;样本标准切面视频帧为操作对象对样本扫描对象的标准切面进行超声扫描时采集到的视频帧;样本非标准切面视频帧为操作对象对样本扫描对象的非标准切面进行超声扫描时采集到的视频帧;样本标准切面传感器信息用于表征在对标准切面进行超声扫描时对超声探头的运动追踪信息;样本非标准切面传感器信息用于表征在对非标准切面进行超声扫描时对超声探头的运动追踪信息;使用样本标准切面传感器信息对样本标准切面视频帧进行标注,得到样本标注标准切面信息,以及,使用各样本非标准切面传感器信息对相应的样本非标准切面视频帧进行标注,得到各样本标注非标准切面信息;计算样本标注标准切面信息与各样本标注非标准切面信息之间的各相对位移和各相对角度;根据各相对位移和各相对角度,对样本标注标准切面信息以及各样本标注非标准切面信息进行分类,得到角度导航手法标注信息以及位移导航手法标注信息;根据角度导航手法标注信息以及位移导航手法标注信息,对待训练的探头操作导航模型进行训练,得到探头操作导航模型。
扫描图像获取模块1402,还用于针对任一非标准切面,将第二传感器对应的非标准切面信息与第一传感器对应的非标准切面信息相减,得到非标准切面差异信息;将第二传感器对应的标准切面信息与第一传感器对应的标准切面信息相减,得到标准切面差异信息;根据非标准切面差异信息和标准切面差异信息,得到相对位移。
扫描图像获取模块1402,还用于针对任一非标准切面,根据第一传感器对应的标准切面信息,和/或第二传感器对应的标准切面信息,和/或第一传感器对应的非标准切面信息,和/或第二传感器对应的非标准切面信息,构建旋转矩阵;根据样本标注标准切面信息以及样本标注非标准切面信息,构建相对仿射矩阵;根据旋转矩阵和相对仿射矩阵,得到相对角度。
扫描图像获取模块1402,还用于根据第一传感器对应的非标准切面信息构建第一非标准仿射矩阵,以及根据第二传感器对应的非标准切面信息构建第二非标准仿射矩阵;根据第一传感器对应的标准切面信息构建第一标准仿射矩阵,以及根据第二传感器对应的标准切面信息构建第二标准仿射矩阵;根据第一非标准仿射矩阵、第二非标准仿射矩阵、第一标准仿射矩阵以及第二标准仿射矩阵,得到第一相对仿射矩阵和第二相对仿射矩阵,作为相对仿射矩阵。
上述一种超声扫描导航装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储服务器数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种超声扫描导航方法。
本领域技术人员可以理解,图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种超声扫描导航方法,其特征在于,所述方法包括:
获取样本标准切面视频帧和所述样本标准切面视频帧对应的样本标准切面传感器信息,以及,获取各样本非标准切面视频帧和各所述样本非标准切面视频帧对应的样本非标准切面传感器信息;所述样本标准切面视频帧为操作对象对样本扫描对象的标准切面进行超声扫描时采集到的视频帧;所述样本非标准切面视频帧为所述操作对象对所述样本扫描对象的非标准切面进行超声扫描时采集到的视频帧;所述样本标准切面传感器信息用于表征在对所述标准切面进行超声扫描时对超声探头的运动追踪信息;所述样本非标准切面传感器信息用于表征在对所述非标准切面进行超声扫描时对超声探头的运动追踪信息;
使用所述样本标准切面传感器信息对所述样本标准切面视频帧进行标注,得到样本标注标准切面信息,以及,使用各所述样本非标准切面传感器信息对相应的所述样本非标准切面视频帧进行标注,得到各样本标注非标准切面信息;
计算所述样本标注标准切面信息与各所述样本标注非标准切面信息之间的各相对位移和各相对角度;
根据各所述相对位移和各所述相对角度,对所述样本标注标准切面信息以及各所述样本标注非标准切面信息进行分类,得到角度导航手法标注信息以及位移导航手法标注信息;
根据所述角度导航手法标注信息以及所述位移导航手法标注信息,对待训练的探头操作导航模型进行训练,得到所述探头操作导航模型;
其中,所述样本标注标准切面信息包括第一传感器对应的标准切面信息和第二传感器对应的标准切面信息,所述样本标注非标准切面信息包括所述第一传感器对应的非标准切面信息和所述第二传感器对应的非标准切面信息,所述第一传感器为固定设置在所述样本扫描对象上的运动追踪传感器,所述第二传感器为固定设置在所述超声探头上的运动追踪传感器,所述计算所述样本标注标准切面信息与各所述样本标注非标准切面信息之间的各相对位移,包括:
针对任一所述非标准切面,将所述第二传感器对应的非标准切面信息与所述第一传感器对应的非标准切面信息相减,得到非标准切面差异信息;
将所述第二传感器对应的标准切面信息与所述第一传感器对应的标准切面信息相减,得到标准切面差异信息;
根据所述非标准切面差异信息和所述标准切面差异信息,得到所述相对位移;
获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;
在所述超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对所述超声扫描图像进行分类处理,输出针对所述探头操作动作的探头操作导航信息;
展示所述探头操作导航信息,直至所述超声扫描图像满足所述图像质控条件。
2.根据权利要求1所述的方法,其特征在于,在所述探头操作动作包括多种候选探头操作动作,以及所述探头操作导航模型包括多种候选探头操作导航模型的情况下,所述通过与探头操作动作对应的探头操作导航模型对所述超声扫描图像进行分类处理,输出针对所述探头操作动作的探头操作导航信息,包括:
通过各所述候选探头操作导航模型分别对所述超声扫描图像进行分类处理,得到各所述候选探头操作动作;
获取所述超声扫描图像的切面阴影等级,将所述切面阴影等级以及各所述候选探头操作动作输入至探头操作动作决策模型,在所述多种候选探头操作动作中确定目标探头操作动作;
输出所述目标探头操作动作的探头操作导航信息。
3.根据权利要求2所述的方法,其特征在于,所述获取所述超声扫描图像的切面阴影等级,包括:
获取阴影切面过滤模型;
将所述超声扫描图像输入至所述阴影切面过滤模型,得到所述切面阴影等级。
4.根据权利要求2所述的方法,其特征在于,所述通过各所述候选探头操作导航模型分别对所述超声扫描图像进行分类处理,得到各所述候选探头操作动作,包括:
将所述超声扫描图像输入上下移动探头动作对应的候选探头操作导航模型,得到针对所述上下移动探头动作的候选探头操作动作;所述候选探头操作动作包括向上移动探头、向下移动探头或保持的其中一种。
5.根据权利要求2所述的方法,其特征在于,所述通过各所述候选探头操作导航模型分别对所述超声扫描图像进行分类处理,得到各所述候选探头操作动作还包括:
将所述超声扫描图像输入旋转探头动作对应的候选探头操作导航模型,得到针对所述旋转探头动作的候选探头操作动作;所述候选探头操作动作包括逆时针旋转探头、顺时针旋转探头或保持的其中一种。
6.根据权利要求2所述的方法,其特征在于,所述通过各所述候选探头操作导航模型分别对所述超声扫描图像进行分类处理,得到各所述候选探头操作动作还包括:
将所述超声扫描图像输入倾斜探头动作对应的候选探头操作导航模型,得到针对所述倾斜探头动作的候选探头操作动作;所述候选探头操作动作包括向上倾斜探头、向下倾斜探头或保持的其中一种。
7.根据权利要求2所述的方法,其特征在于,所述通过各所述候选探头操作导航模型分别对所述超声扫描图像进行分类处理,得到各所述候选探头操作动作还包括:
将所述超声扫描图像输入左右摇摆探头动作对应的候选探头操作导航模型,得到针对所述左右摇摆探头动作的候选探头操作动作;所述候选探头操作动作包括向左摇摆探头、向右摇摆探头或保持的其中一种。
8.根据权利要求2所述的方法,其特征在于,所述通过各所述候选探头操作导航模型分别对所述超声扫描图像进行分类处理,得到各所述候选探头操作动作还包括:
将所述超声扫描图像输入左右移动探头动作对应的候选探头操作导航模型,得到针对所述左右移动探头动作的候选探头操作动作;所述候选探头操作动作包括向左移动探头、向右移动探头或保持的其中一种。
9.根据权利要求1所述的方法,其特征在于,所述计算所述样本标注标准切面信息与各所述样本标注非标准切面信息之间的各相对角度,包括:
针对任一所述非标准切面,根据所述第一传感器对应的标准切面信息,和/或所述第二传感器对应的标准切面信息,和/或所述第一传感器对应的非标准切面信息,和/或所述第二传感器对应的非标准切面信息,构建旋转矩阵;
根据所述样本标注标准切面信息以及所述样本标注非标准切面信息,构建相对仿射矩阵;
根据所述旋转矩阵和所述相对仿射矩阵,得到所述相对角度。
10.根据权利要求9所述的方法,其特征在于,所述根据所述样本标注标准切面信息以及所述样本标注非标准切面信息,构建相对仿射矩阵,包括:
根据所述第一传感器对应的非标准切面信息构建第一非标准仿射矩阵,以及根据所述第二传感器对应的非标准切面信息构建第二非标准仿射矩阵;
根据所述第一传感器对应的标准切面信息构建第一标准仿射矩阵,以及根据所述第二传感器对应的标准切面信息构建第二标准仿射矩阵;
根据所述第一非标准仿射矩阵、所述第二非标准仿射矩阵、所述第一标准仿射矩阵以及所述第二标准仿射矩阵,得到第一相对仿射矩阵和第二相对仿射矩阵,作为所述相对仿射矩阵。
11.一种超声扫描导航装置,其特征在于,所述装置包括:
导航模型获取模块,用于获取样本标准切面视频帧和所述样本标准切面视频帧对应的样本标准切面传感器信息,以及,获取各样本非标准切面视频帧和各所述样本非标准切面视频帧对应的样本非标准切面传感器信息;所述样本标准切面视频帧为操作对象对样本扫描对象的标准切面进行超声扫描时采集到的视频帧;所述样本非标准切面视频帧为所述操作对象对所述样本扫描对象的非标准切面进行超声扫描时采集到的视频帧;所述样本标准切面传感器信息用于表征在对所述标准切面进行超声扫描时对超声探头的运动追踪信息;所述样本非标准切面传感器信息用于表征在对所述非标准切面进行超声扫描时对超声探头的运动追踪信息;
使用所述样本标准切面传感器信息对所述样本标准切面视频帧进行标注,得到样本标注标准切面信息,以及,使用各所述样本非标准切面传感器信息对相应的所述样本非标准切面视频帧进行标注,得到各样本标注非标准切面信息;
计算所述样本标注标准切面信息与各所述样本标注非标准切面信息之间的各相对位移和各相对角度;
根据各所述相对位移和各所述相对角度,对所述样本标注标准切面信息以及各所述样本标注非标准切面信息进行分类,得到角度导航手法标注信息以及位移导航手法标注信息;
根据所述角度导航手法标注信息以及所述位移导航手法标注信息,对待训练的探头操作导航模型进行训练,得到所述探头操作导航模型;
其中,所述样本标注标准切面信息包括第一传感器对应的标准切面信息和第二传感器对应的标准切面信息,所述样本标注非标准切面信息包括所述第一传感器对应的非标准切面信息和所述第二传感器对应的非标准切面信息,所述第一传感器为固定设置在所述样本扫描对象上的运动追踪传感器,所述第二传感器为固定设置在所述超声探头上的运动追踪传感器,所述计算所述样本标注标准切面信息与各所述样本标注非标准切面信息之间的各相对位移,包括:
针对任一所述非标准切面,将所述第二传感器对应的非标准切面信息与所述第一传感器对应的非标准切面信息相减,得到非标准切面差异信息;
将所述第二传感器对应的标准切面信息与所述第一传感器对应的标准切面信息相减,得到标准切面差异信息;
根据所述非标准切面差异信息和所述标准切面差异信息,得到所述相对位移;
扫描图像获取模块,用于获取在对扫描对象的感兴趣切面进行超声扫描过程中采集到的超声扫描图像;
导航信息生成模块,用于在所述超声扫描图像不满足预设的图像质控条件的情况下,通过与探头操作动作对应的探头操作导航模型对所述超声扫描图像进行分类处理,输出针对所述探头操作动作的探头操作导航信息;
扫描图像质控模块,用于展示所述探头操作导航信息,直至所述超声扫描图像满足所述图像质控条件。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202311361635.XA 2023-10-20 2023-10-20 超声扫描导航方法、装置、计算机设备和存储介质 Active CN117132587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311361635.XA CN117132587B (zh) 2023-10-20 2023-10-20 超声扫描导航方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311361635.XA CN117132587B (zh) 2023-10-20 2023-10-20 超声扫描导航方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN117132587A CN117132587A (zh) 2023-11-28
CN117132587B true CN117132587B (zh) 2024-03-01

Family

ID=88860294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311361635.XA Active CN117132587B (zh) 2023-10-20 2023-10-20 超声扫描导航方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117132587B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238902A1 (zh) * 2019-05-29 2020-12-03 腾讯科技(深圳)有限公司 图像分割方法、模型训练方法、装置、设备及存储介质
CN112288742A (zh) * 2019-12-31 2021-01-29 无锡祥生医疗科技股份有限公司 用于超声探头的导航方法、装置、存储介质以及电子设备
CN112807025A (zh) * 2021-02-08 2021-05-18 威朋(苏州)医疗器械有限公司 超声扫查引导方法、装置、系统、计算机设备和存储介质
CN115067993A (zh) * 2022-05-11 2022-09-20 香港中文大学深圳研究院 超声探头控制方法、装置、终端设备及存储介质
CN115105118A (zh) * 2021-03-22 2022-09-27 通用电气精准医疗有限责任公司 用于医学成像的自适应引导的系统和方法
CN116671957A (zh) * 2022-02-22 2023-09-01 深圳市理邦精密仪器股份有限公司 一种超声探头的扫查引导方法及超声成像设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238902A1 (zh) * 2019-05-29 2020-12-03 腾讯科技(深圳)有限公司 图像分割方法、模型训练方法、装置、设备及存储介质
CN112288742A (zh) * 2019-12-31 2021-01-29 无锡祥生医疗科技股份有限公司 用于超声探头的导航方法、装置、存储介质以及电子设备
CN112807025A (zh) * 2021-02-08 2021-05-18 威朋(苏州)医疗器械有限公司 超声扫查引导方法、装置、系统、计算机设备和存储介质
CN115105118A (zh) * 2021-03-22 2022-09-27 通用电气精准医疗有限责任公司 用于医学成像的自适应引导的系统和方法
CN116671957A (zh) * 2022-02-22 2023-09-01 深圳市理邦精密仪器股份有限公司 一种超声探头的扫查引导方法及超声成像设备
CN115067993A (zh) * 2022-05-11 2022-09-20 香港中文大学深圳研究院 超声探头控制方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN117132587A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN109493328B (zh) 医学图像显示方法、查看设备以及计算机设备
Van Sloun et al. Localizing B-lines in lung ultrasonography by weakly supervised deep learning, in-vivo results
CN109886933B (zh) 一种医学图像识别方法、装置和存储介质
US11200693B2 (en) Image processing
CN102460471B (zh) 用于胸腔层析x射线合成成像中的计算机辅助肺结节检测的系统
US11488298B2 (en) System and methods for ultrasound image quality determination
JP2009072593A (ja) 3次元心臓エコーグラフデータからの平面の自動検出方法
KR20220032067A (ko) 데이터 처리 방법, 장치, 기기 및 저장매체
US11903760B2 (en) Systems and methods for scan plane prediction in ultrasound images
BR112020014733A2 (pt) Método implementado por computador para a obtenção de medições anatômicas em uma imagem de ultrassom, meios de programa de computador, dispositivo de análise de imagem e método de imageamento por ultrassom
WO2021231230A1 (en) Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured
KR20130016942A (ko) 3차원 볼륨 파노라마 영상 생성 방법 및 장치
CN117132587B (zh) 超声扫描导航方法、装置、计算机设备和存储介质
CN113570594A (zh) 超声图像中目标组织的监测方法、装置及存储介质
US20230137369A1 (en) Aiding a user to perform a medical ultrasound examination
CN108024789A (zh) 容积间病变检测和图像准备
US20220296219A1 (en) System and methods for adaptive guidance for medical imaging
JP2019162314A (ja) 情報処理装置、情報処理方法、及びプログラム
Zhao et al. Memory-based unsupervised video clinical quality assessment with multi-modality data in fetal ultrasound
CN114373029A (zh) 一种pet图像的运动校正方法和系统
CN115409952B (zh) 一种结核性脑膜脑炎重建系统、方法及存储器
KR102655325B1 (ko) 수술 도구 및 장기 인식 학습 훈련을 위한 학습 데이터 수집 장치 및 방법
CN116912258B (zh) 一种肺部ct图像病灶参数自效估计方法
US20230186477A1 (en) System and methods for segmenting images
US11786212B1 (en) Echocardiogram classification with machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant