CN113870636B - 超声模拟培训方法、超声设备和存储介质 - Google Patents
超声模拟培训方法、超声设备和存储介质 Download PDFInfo
- Publication number
- CN113870636B CN113870636B CN202010615295.9A CN202010615295A CN113870636B CN 113870636 B CN113870636 B CN 113870636B CN 202010615295 A CN202010615295 A CN 202010615295A CN 113870636 B CN113870636 B CN 113870636B
- Authority
- CN
- China
- Prior art keywords
- ultrasonic
- characteristic image
- model
- image data
- ultrasonic probe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/56—Simulation of sonar
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E30/00—Energy generation of nuclear origin
- Y02E30/30—Nuclear fission reactors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及医疗成像技术领域,提供一种超声模拟培训方法,所述方法包括:利用超声探头对检测对象进行扫查;获取所述超声探头相对于所述检测对象的空间位置信息,根据所述空间位置信息确定所述超声探头扫查的扫查部位;根据培训模型获得所述检测对象的扫查部位的超声影像,并将所述超声影像进行显示;至少基于所述超声探头相对于所述检测对象的空间位置信息,根据所述培训模型生成所述超声探头的移动路径,引导所述超声探头基于所述移动路径进行移动扫查,通过本发明超声模拟培训方法,有助于使用者进行超声模拟培训,提高培训效果及效率。
Description
技术领域
本发明涉及医疗成像技术领域,具体涉及超声模拟培训方法、超声设备和存储介质。
背景技术
随着科技的进步和超声医学的不断发展,超声设备已经变得更加易于使用,但是仍然需要使用者经过培训,提高操作技能,获得高质量的超声影像。为了提高医生和超声技术人员的技能,超声模拟训练是必须的,然而,传统的超声教学模型已经不适应现代医疗的需求。
发明内容
有鉴于此,本发明实施例提供了一种超声模拟培训方法,以解决对医生进行超声培训的问题。所述方法包括:
通过超声探头对检测对象进行扫查;
获取所述超声探头相对于所述检测对象的空间位置信息,根据所述空间位置信息确定所述超声探头扫查的扫查部位;
根据培训模型获得所述检测对象的扫查部位的超声影像,并将所述超声影像进行显示,所述培训模型包括根据所述检测对象中的器官或组织创建的三维数据模型;
至少基于所述超声影像或所述超声探头相对于所述检测对象的空间位置信息中的一种,根据所述培训模型生成所述超声探头的移动路径,引导所述超声探头基于所述移动路径进行移动扫查。
在一些实施例中,所述获取所述超声探头相对于所述检测对象的扫查部位的空间位置信息,包括:
通过一个或多个传感器,识别所述超声探头相对于所述检测对象的位置和/或角度信息。
在一些实施例中,所述传感器的种类至少包括视觉传感器、位置传感器、压力传感器、红外传感器中的一种。
在一些实施例中,还包括:根据所述培训模型获得所述检测对象的扫查部位对应的三维数据模型,并将所述三维数据模型进行显示。
在一些实施例中,还包括:至少基于所述检测对象的扫查部位的超声影像,根据所述培训模型获得所述扫查部位对应的标准切面,并基于所述标准切面,对所述超声影像进行质量评估;和/或基于生成所述超声探头的移动路径,对所述超声探头实际移动路径进行评估。
在一些实施例中,还包括:至少基于超声影像的质量评估值和/或超声探头实际移动路径评估值的一种,更新培训模型。
在一些实施例中,所述引导所述超声探头基于所述移动路径进行移动,包括:
基于视觉的方法引导所述超声探头进行移动,或者,
基于听觉的方法引导所述超声探头进行移动,或者,
基于力的反馈的方法引导所述超声探头进行移动。
在一些实施例中,所述基于视觉的方法包括影像引导、视频引导、标识引导、文字引导、光线引导、投影引导中的一种或多种。
在一些实施例中,所述基于力的反馈的方法包括触觉引导、震动引导、牵引引导中的一种或多种。
本发明通过获取探头与检测对象的扫查部位之间的空间信息,从而可以生成所述扫查部位对应的超声影像并进行显示,使得使用者可以直观的了解到探头的操作与超声影像之间的关联,从而更加便于使用者进行获取高质量超声影像的训练。
本发明实施例还提供了一种超声设备,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行本发明第一方面,或第一方面任一项实施方式中所述的超声模拟培训方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行本发明第一方面,或第一方面任一项实施方式中所述的超声模拟培训方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的超声模拟培训方法的流程图。
图2是本发明另一实施例提供的超声模拟培训方法的流程图。
图3是本发明另一实施例提供的超声模拟培训方法的流程图。
图4是本发明另一实施例第一卷积神经网络模型结构。
图5是本发明另一实施例第二卷积神经网络模型结构。
图6是本发明另一实施在显示器上生成移动路径的引导示意图。
图7为本发明另一实施在检测对象表面生成移动路径的引导示意图。
图8是本发明另一实施例培训模型生成移动路径系统示意图。
图9是本发明另一实施例第三卷积神经网络模型结构。
图10是本发明实施例提供的超声设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
根据本发明实施例,提供了一种超声模拟训练方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示,本实施例中提供了一种超声模拟训练方法,可以应用于超声设备中,所述方法可以包括步骤:
S100,通过超声探头对检测对象进行扫查;
在一些实施例中,超声探头可以是真实的超声探头或者虚拟的超声探头,用于对检测对象进行扫查。在一些实施例中,可以针对不同人体部位配套不同种类的超声探头,真实的超声探头种类可以包括线阵探头、凸阵探头、相控阵、面阵等。在一些实施例中,所述检测对象可以是真实的动物或者医学模拟使用的体模,还可以是真实动物的某一部位,例如某个组织或器官;或者一个器官或组织的体模;或者多个组织或器官的联合体模。例如,可以是女性孕妇体征的体模,来进行女性妇科类的超声检测,又例如,可以是普通的正常成年男性,来进行浅表层器官的超声检测。
S200,获取所述超声探头相对于所述检测对象的空间位置信息,根据所述空间位置信息确定所述超声探头扫查的扫查部位;
在一些实施例中,可以利用一个或多个传感器,从而来识别所述超声探头相对于所述检测对象的扫查部位的位置和/或角度信息。在一些实施例中,采用多个传感器可以提高计算的精度,或者可以测量更多的位置或角度信息。在一些实施例中,可以通过传感器识别探头的变化的位置,从而识别探头的运动轨迹和速度。在一些实施例中,所述传感器可以是运动或者静止的。在一些实施例中,所述传感器的种类至少包括视觉传感器、位置传感器、压力传感器、红外传感器、速度传感器、加速度传感器、磁传感器中的一种或者任意几种的组合。
在一些实施例中,超声探头外设置有摄像头,用于采集超声探头相对于与待检测对象的相对空间位置信息,摄像头可以是三维摄像头。三维摄像头采集超声探头的空间位置信息及待检测对象的空间位置信息,得到超声探头相对于与待检测对象的相对空间位置信息。
在一些实施例中,超声探头内设有惯性传感器(IMU),其可以获取超声探头的实时空间位置信息,例如超声探头的实时X轴、Y轴、Z轴的坐标信息。超声探头外设置有摄像头,用于采集超声探头相对于与检测对象的空间位置信息,摄像头可以是三维摄像头。这样能够更加精确的判断超声探头相对于待检测对象被扫查部位之间的相对空间位置信息。
在一些实施例中,可以在超声探头外壳上的四个边角的位置处分别设置至少1个红外发射器,用于发射红外光线,同时在体模上及体模外设有红外传感器,用于接收红外发射器发射的红外光线,发射器可以向各个方向发射红外光线。从而可以根据接到红外光线,得到超声探头相对于待检测对象被扫查部位之间的相对空间位置信息。
在一些实施例中,可以通过磁传感器与摄像头结合的方式判断超声探头相对于待检测对象被扫查部位之间的相对空间位置信息。
在一些实施例中,可以在体模上设有柔性触摸屏或柔性触摸层,可以在柔性触摸屏或柔性触摸层上设置压力传感器,从而来识别超声探头相对于柔性触摸屏或柔性触摸层的位置信息以及施加在检测对象上的压力信息。
又例如,传感器可以根据实际的应用情况设置在体模任何位置上,比如体模的内部;或者脱离于体模,在与体模模块相连接的某个部件;又或者,传感器可以通过远程连接的方式与体模相连。
S300,根据培训模型获得所述检测对象的扫查部位的超声影像,并将所述超声影像进行显示,所述培训模型包括根据所述检测对象中的器官或组织创建的三维数据模型;
超声影像包括二维或三维的超声影像、超声视频、或器官模型中的一种。
在一些实施例中,超声影像显示包括同时显示二维超声影像、三维超声影像、二维超声视频、三维超声视频、器官模型中的一种;还可以显示出探头相对器官模型中位置信息、超声影像相对于器官模型中的位置信息、超声影像在超声视频中的时序信息,用于更加直观展现。
培训模型用于基于超声探头对应于待检测对象的扫查部位,输出超声探头相对于检测对象对应扫查部位的超声影像;和/或生成超声探头的移动路径。
培训模型包括超声影像单元、路径规划单元。超声影像单元用于基于超声探头对应于待检测对象的扫查部位,输出超声探头相对于检测对象对应扫查部位的超声影像;路径规划单元用于生成超声探头的移动路径。
培训模型的超声影像单元可以是预先训练出的深度学习网络模型,在一些实施例中,超声影像单元可以通过下列方式预先获得:探头沿预设方向对待建模的检测对象进行超声扫查,获取检测对象的每个切面的超声影像;通过超声探头沿预设方向均匀的对待检测对象进行超声扫查,获取待检测对象每个切面对应的超声影像。探头扫查的组织为心脏、肾脏、肝脏、血管、胆囊、子宫、乳腺、胎儿、甲状腺等。获取探头扫查不同切面的超声影像所对应的相对空间位置信息;获取所述探头相对于待建模的检测对象的相对空间位置信息,步骤包括:通过磁场发生器生成包含所述探头以及待检测对象的世界坐标系;通过安装在探头上的磁定位器获取所述探头的空间位置信息,包括探头的位置参数和角度参数。在另一实施例中,也可以通过摄像头获取探头相对于待建模的检测对象的相对空间位置信息。可以理解的是超声影像三维重建过程中需要每个切面的超声影像的位置信息和角度信息。将每个切面的超声影像以及对应的相对空间位置信息输入训练好的深度神经网络模型得到待建超声影像单元的三维超声模型中,得到经过训练的超声影像单元模型。
具体地,生成三维超声模型步骤如下:
第一步:通过第一卷积神经网络,获取待检测对象的超声影像特征:该网络输入的是超声探头对检测对象扫查后得到的超声影像,接着是两层卷积+池化的模块,卷积核大小为3×3,步长为1,卷积的核数量以32的倍数递增,池化层的核大小为2×2,步长为2,此模块的数量与后续的双线性插值+卷积的模块相一致,可依据训练测试效果增加或减少模块的数量。在两个模块间会有两层卷积(卷积核3×3,步长1)用于连接,增强特征提取。双线性插值+卷积层输出的通道数为特征增强提取后的影像,并在卷积后加入ReLU激活函数,用于缓解梯度消失的问题。在前面池化层后接着一层卷积层,卷积核大小为1×1,目的是融合提取特征,同时也增加了非线性,增加网络的拟合能力,此部分会与前者相加作为下一次上采样的输入,起到改善网络分类的能力。在最后的双线性插值+卷积层里,在输出的通道数上做卷积,并输出提取后的与输入超声影像同尺寸的特征影像数据。
第二步:将所述超声探头相对于检测对象的相对空间位置信息、及特征影像对齐到三维数据模型:该步骤对第一步输出的特征影像在三维数据模型中超声探头相对于检测对象的相对空间位置信息对应的空间位置处进行查询,如三维数据模型在对应的空间位置不存在特征影像数据,则插入特征影像数据到对应的空间位置;如对应的空间位置存在已有特征影像数据,则提取三维数据模型在该对应的空间位置处已有特征影像数据,并与所述第一神经网络输出的当前特征影像数据,共同通过输入第二神经网络模型计算得到融合后新的特征影像数据;再插入融合后新的特征影像数据到对应的空间位置处,用于更新原有特征影像数据;具体地,第二卷积神经网络,该网络用于融合后新的特征影像数据到三维数据模型中,更新对应的空间位置处已有特征影像数据。如图5所示,该网络输入包括两个输入回路,即当前特征影像数据回路、已有特征影像数据回路;1)当前特征影像数据回路(上层回路),由超声探头输入影像通过第一神经网络处理后的特征影像数据;2)已有特征影像数据回路(下层回路),通过超声探头相对空间位置信息在三维超声模型中对应的空间位置处查询得到的已有特征影像数据。第二卷积神经网络模型对这两路特征影像数据经过第一次卷积后数据进行复制、融合形成中间层的融合数据处理回路。三路数据处理回路采用相同的处理方式进行处理,分别两层卷积+池化的模块,卷积核大小为3×3,步长为1,卷积的核数量以32的倍数递增,池化层的核大小为2×2,步长为2,此模块的数量与后续的双线性插值+卷积的模块相一致,可依据训练测试效果增加或减少模块的数量。三条处理回路的差异是,当前特征影像数据回路针对第一神经网络输出的当前特征影像数据进行处理,已有特征影像数据回路针对三维数据模型中已有特征影像数据进行处理,中间层融合了当前特征影像数据、已有特征影像数据,模型最后使用双线性插值+卷积层来从提取特征中融合出融合影像。第二卷积神经网络模型采用多回路的形式,增强了特征提取。并分别融合了多尺度特征,以不同分辨率分别添加到中部回路上,最终形成了综合多尺度信息融合特征影像,用于更新三维数据模型中原有超声影像,最终生成三维超声模型。
在一些实施例中,本发明通过能够通过训练好的深度神经网络模型对待建模组织若干切面的超声影像进行重建,并采集对应探头的相对空间位置信息,提高了三维重建准确性。可以理解的是,在检查颈动脉的时候,颈动脉可以在单帧超声影像中完全显示,而在心脏或者乳腺病灶筛查时,超声探头在某个位置单次扫查无法显示完整的心脏或者乳腺,需要操作人员多次移动探头的位置,以扫查整个组织。若所述探头有效探测尺寸小于待建模组织,则探头沿横向方向偏移预设距离后继续沿预设方向对待建模组织进行超声扫查。优选地,所述预设距离为所述探头的二分之一宽度。
在一些实施例中,针对建模过程中可能存在的漏检情况,本发明还通过训练好的匹配模型判断重建后的三维超声模型是完整,具体包括步骤:
通过CT扫查或MRI扫查获取待检测对象的三维轮廓模型;
通过训练好的匹配模型将所述三维超声模型与所述三维组织模型进行匹配,判断所述探头是否漏扫待建模检测对象;若探头存在漏扫查,则发出漏扫查提示。漏扫查提示为语音提示、振动提示或者指示灯中一种或多种。匹配模型通过匹配三维超声模型与所述三维组织模型的轮廓进行匹配。
在一些实施例中,超声影像包括单纯的超声影像、超声视频、器官模型;或者还包括测量信息、诊断信息、器官信息、待检测对象属性等信息中的至少一种。待检测对象属性信息可以是:真实的动物或者医学模拟使用的体模属性信息,例如待检测对象为女性、男性、老人、小孩、身高、体重等。
在一些实施例中,可以通过获取到的所述超声探头与所述检测对象的扫查部位之间的位置信息,来获取超声探头对应的位置能够扫查到的所述检测对象的扫查部位的超声影像。例如,当使用者手持真实探头或者虚拟探头扫查体模的手臂时,可以通过传感器来获取到该探头实时的空间位置信息,传感器包括视觉传感器、位置传感器、压力传感器、红外传感器、速度传感器、加速度传感器、磁传感器中的一种或者任意几种的组合。从而根据该空间位置信息,来生成该体模的手臂通过超声探头扫查得到的超声影像。
S400,至少基于所述超声探头相对于所述检测对象的空间位置信息中的一种,根据所述培训模型生成所述超声探头的移动路径,引导所述超声探头基于所述移动路径进行移动扫查。
在一些实施例中,可以利用培训模型来将获取到的超声影像与所述超声影像对应扫查的部位的标准切面进行匹配,从而生成探头移动到标准切面时的移动路径。
在一些实施例中,利用培训模型生成移动路径的步骤包括:培训模型根据当前扫查得到的超声影像以及医护人员想要打图的目标位置,生成移动路径。其中,目标位置可以为医护人员输入的位置,也可以为根据超声探头当前扫查的扫查部位智能推荐的位置。
以目标位置为医护人员输入的位置来举例说明,在一种可能的实现方式中,医护人员在打图之前,可以输入该目标位置。目标位置的输入方式包括:医护人员通过交互设备输入该目标位置,交互设备包括键盘、鼠标、语言传感器、光线传感器、触摸屏等;或者,医护人员从显示的各个位置中选择的位置;或者,医护人员语音输入的目标位置,比如,医护人员可以说出“扫查胎儿双顶径”。可选的,使用者在使用超声探头扫查检测对象的扫查部位之后,显示该扫查部位存储的的m个超声影像切面,m为正整数,医护人员从m个切面中选择自己所需目标器官或组织的超声影像切面,将选择的超声影像切面确定为目标位置;当然,实际实现时,在扫查该检测对象的扫查部位之后,医护人员可以语音输入目标位置,比如,在扫查血管时,可以语音输入“扫查血管的横截面”。
以目标位置为智能推荐的位置方式来举例,在确定扫查部位之后,可以根据大数据确定医护人员扫查该扫查部位时,大概率扫查的位置,进而将该位置确定为目标位置。并且,实际实现时,目标位置可以有至少两个,可以根据该超声探头的移动路径,确定超声探头移动方向上的首个位置为目标位置;比如,医护人员在打肾脏时,其通常打图的位置有A、B、C、D和E5个位置,当前超声探头所处的位置为A和B之间,并且根据超声探头的移动方向可知,超声探头朝向B位置移动,则可以将B位置确定为目标位置。或者,将距离当前扫查位置最近的位置确定为目标位置。
在确定得到目标位置之后,即可生成超声探头的移动路径。其中,该移动路径包括位置和/或角度上的移动。比如,移动路径为超声探头顺时针偏转30度或逆时针偏转30度;向左平移1cm或向右平移1cm等。
在一些实施例中,所述引导所述超声探头基于所述移动路径进行移动,包括:基于视觉的方法引导所述超声探头进行移动,或者,基于听觉的方法引导所述超声探头进行移动,或者,基于力的反馈的方法引导所述超声探头进行移动。在一些实施例中,可以通过影像引导、视频引导、标识引导、文字引导、光线引导、投影引导中的一种或多种的方式来对使用者进行引导。在一些实施例中,可以通过语音的方法来对使用者进行引导。例如,如果使用者这次摆放正确,探头到达目标位置,或者通过培训模型,引导使用者到达目标位置后,可以通过各种方式进行提示,例如,发出滴滴的提示音。在一些实施例中,可以通过触觉的方法,例如,触觉引导、震动引导、牵引引导中的一种或多种来对使用者进行引导。在一些实施例中,可以根据实际的应用情况选择对应的引导方式。
由上述实施例可知,本发明的实施例可以通过视觉、听觉、触觉的不同方式引导使用者寻找到标准切面,从而让使用者可以在被引导的过程中获得训练,引导的方式也可以根据实际的应用情况进行选择,更加提高了使用者的体验感,也提高了使用者的培训效果。
在一些实施例中,培训模型根据当前超声探头相对于所述检测对象的空间位置信息、以及目标位置的标准扫查。
具体地,超声探头相对于所述检测对象的空间位置信息,包括位置信息和角度信息(x, y, z, ax, ay, az),以及输入或自动选取地标准切面对应探头的位置信息和角度信息(X, Y, Z, AX, AY, AZ)。根据所述当前超声探头与所述标准切面对应探头的位置信息和角度信息,生成所述超声探头移动至所述标准切面的引导移动路径,所述位置信息和角度信息为六自由度坐标。如图6所示,显示器上显示的扫查引导区1000至少包括第一引导区1600和第二引导区1700,其中第一引导区1600至少显示当前超声探头的位置信息和角度信息、标准切面对应探头位置信息和角度信息,以及操作提示信息。本发明的操作提示信息至少包括平移的距离以及选择的角度,也可以是超声探头下压的压力。第二引导区包括待检测对象1100、在检测对象1100上突出显示的目标扫查对象1500、当前超声探头1200、移动路径1400,以及目标虚拟探头1300,需要理解的是,突出显示可以是高亮显示整个目标扫查对象1500或目标扫查对象1500的轮廓。当前超声探头1200根据其实时位置进行移动,目标虚拟探头1300为获得标准切面对应的超声探头需要移动到的位置。
为了提高虚拟培训的效率,本发明还实时显示所述移动路径、标准切面以及所述超声探头。可以理解的是,使用者可以操作超声探头沿着移动路径移动至标准切面。需要理解的是所述移动路径、标准切面以及所述超声探头可以显示在显示器上,也可以通过投影装置投影在检测对象对应的位置处。如图7所示,还包括投影装置3000,投影装置可以在标准扫查前面对应的超声探头位置处生成目标虚拟探头1300,以引导超声探头移动至所述标准切面处,其中摄像机2000为至少包含检测对象以及超声探头的环境影像。需要理解的是,移动路径和操作提示信息也都可以显示在检测对象体表处。
在一些实施例中,如图8所示,超声模型培训生成移动路径方法如下:采用真实超声探头对检测对象进行扫查,获取当前超声影像,将当前超声影像输入至第一神经网络处理得到当前超声特征影像,将当前超声特征影像输入至第三卷积神经网络得到简化后的当前超声特征影像;基于超声探头相对于检测对象扫查部位的空间位置信息及培训模型,得到在培训模型中对应空间位置处的已有超声影像,将已有超声影像输入至第三卷积神经网络得到简化后已有超声影像;将简化后的当前超声特征影像与简化后已有超声影像全连接处理,回归计算出超声探头相对于检测对象扫查部位的空间位置与超声探头在培训模型中对应空间位置处的差值M;通过输入或培训模型自动判断得到的目标切面,得到目标切面在培训模型中的空间位置信息;基于差值M、目标切面在培训模型中的空间位置信息计算出超声探头的移动路径(ΔX, ΔY, ΔZ, ΔAX, ΔAY, ΔAZ)。第三卷积神经网络,如图9所示,第三卷积神经网络结构用于对超声特征影像进行处理,简化输入影像中的特征分布。该结构采用三个3x3尺寸的卷积核对输入特征影像采用“SAME”形式进行卷积计算,简化输入特征影像数据中冗余特征,本结构中不使用下采样层,保证了计算的精度,便于用于更精细的对齐操作。
如图2所示,本发明的超声模拟训练方法,还包括:
S500,根据所述培训模型获得所述检测对象的扫查部位对应的三维数据模型,并将所述三维数据模型进行显示。
在一些实施例中,可以至少基于真实的超声探头相对于检测对象的相对空间位置信息,及相对应相对空间位置信息时的超声图像,并通过培训模型生成所述检测对象的扫查部位对应的三维数据模型,并将所述三维数据模型进行显示。
在一些实施例中,可以基于使用者的培训过程产生的信息,例如探头移动路径、超声探头相对于检测对象的相对空间位置信息、及相对应相对空间位置信息时的超声图像,获取到该部位对应的三维数据模型,该三维数据模型可以是一个器官的模型,或者是多个器官模型或者是多个关联器官集合的模型。
在一些实施例中,也可以根据使用者的输入信息,例如虚拟的超声探头的虚拟空间位置信息、待扫查部位的超声影像,生成虚拟的三维数据模型。
本发明的超声模拟训练方法,如图6所示,还包括:
S600,至少基于所述检测对象的扫查部位的超声影像,根据所述培训模型获得所述扫查部位对应的标准切面,并基于所述标准切面,对所述超声影像进行质量评估;和/或基于生成所述超声探头的移动路径,对所述超声探头实际移动路径进行评估。
在一些实施例中,可以根据使用者获得的超声影像进行质量评估,例如:根据所述培训模型获得所述扫查部位对应的标准切面,并基于所述标准切面,对所述超声影像进行质量评估;和/或基于生成所述超声探头的移动路径,对所述超声探头实际移动路径进行评估,进行对使用者操作能力的评估。
本发明的超声模拟训练方法,如图6所示,还包括:
S700,至少基于超声影像的质量评估值和/或超声探头实际移动路径评估值的一种,更新培训模型。
从而不断生成新的模型,提高培训模拟难度或纠正使用者的使用方式(例如,探头的位置、角度、力度等)。例如,当评估使用者的能力提升时,则可以不断给使用者提供难度更高的训练题目,比如,从手臂的血管调整至进行劲动脉血管扫查、或者从体型偏瘦的血管扫查调整至体型肥胖人员的血管扫查。
在一些实施例中,可以根据人机互动信息产生新的三维数据模型,例如,比如首先使用者使用超声探头检测待检测对象的某个部位或组织,比如手臂上的血管,获取血管的超声影像,使用者可以对超声影像进行测量操作。若当前血管的超声影像或测量结果不符合临床要求,则移动探头生成一个新的超声影像。培训模型根据用者的测量操作、移动操作,产生一个相关联的新的三维数据模型,用于提高培训难度、纠正使用者错误的操作动作、调整使用者操作手法,来提高培训效果。
在一些实施例中,可以采集各个人种的组织或器官的超声影像、及超声探头相对组织或器官的相对空间位置信息输入到深度学习的训练模型中,从而建成培训模型。在一些实施例中,所述培训模型可以根据实际培训情况进行更新。例如,针对对血管的穿刺、内径测量的操作,可以获取各种类型血管、各个年龄段的血管、不同性别的血管、人群的血管,从而建立血管的培训模型,使得使用者可以在不同位置或角度进行扫查。
本发明通过获取超声探头与检测对象的扫查部位之间的相对空间位置信息,从而可以生成所述扫查部位对应的超声影像并进行显示,使得使用者可以直观的了解到探头的操作与超声影像之间的关联,从而更加便于使用者进行获取高质量超声影像的训练。
由上述实施例可知,本发明的实施例可以通过获取到使用者当前训练的超声影像,对使用者的能力进行评估,从而根据使用者的实际情况调整训练内容,更加具有针对性,提高了培训效果。
本发明实施例还提供一种超声设备,所述超声设备的结构示意图如图10所示,该超声设备可以包括:至少一个处理器41,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口43,存储器44,至少一个通信总线42。其中,通信总线22用于实现这些组件之间的连接通信。其中,通信接口43可以包括显示屏(Display)、键盘(Keyboard),可选通信接口43还可以包括标准的有线接口、无线接口。存储器44可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器44可选的还可以是至少一个位于远离前述处理器41的存储装置。其中,存储器44中存储应用程序,且处理器41调用存储器44中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线42可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线42可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器44可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器44还可以包括上述种类的存储器的组合。
其中,处理器41可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器41还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic, 缩写:GAL)或其任意组合。
可选地,存储器44还用于存储程序指令。处理器41可以调用程序指令,实现如本申请图1至图3实施例中所示的超声模拟培训方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的超声模拟培训方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种超声模拟培训方法,其特征在于,所述方法包括:
通过超声探头对检测对象进行扫查;
获取所述超声探头相对于所述检测对象的空间位置信息,根据所述空间位置信息确定所述超声探头扫查的扫查部位;
根据培训模型获得所述检测对象的扫查部位的超声影像,并将所述超声影像进行显示,所述培训模型包括所述检测对象中的器官或组织创建的三维数据模型;
至少基于所述超声探头相对于所述检测对象的空间位置信息,根据所述培训模型生成所述超声探头的移动路径,引导所述超声探头基于所述移动路径进行移动扫查;
至少基于所述检测对象的扫查部位的超声影像,根据所述培训模型获得所述扫查部位对应的标准切面,并基于所述标准切面,对所述超声影像进行质量评估;和/或基于生成所述超声探头的移动路径,对所述超声探头实际移动路径进行评估;
其中,生成三维超声模型步骤包括:
第一步:通过第一卷积神经网络,获取待检测对象的超声影像特征:该第一卷积神经网络输入的是超声探头对检测对象扫查后得到的超声影像,接着是两层卷积+池化的模块,卷积核大小为3×3,步长为1,卷积的核数量以32的倍数递增,池化层的核大小为2×2,步长为2,且两层卷积+池化的模块的数量与后续的双线性插值+卷积的模块相一致;
第二步:将所述超声探头相对于检测对象的相对空间位置信息及特征影像对齐到三维数据模型:该步骤对第一步输出的特征影像在三维数据模型中超声探头相对于检测对象的相对空间位置信息对应的空间位置处进行查询,如三维数据模型在对应的空间位置不存在特征影像数据,则插入特征影像数据到对应的空间位置;如对应的空间位置存在已有特征影像数据,则提取三维数据模型在该对应的空间位置处已有特征影像数据,并与所述第一卷积神经网络输出的当前特征影像数据,共同通过输入第二卷积神经网络模型计算得到融合后新的特征影像数据;再插入融合后新的特征影像数据到对应的空间位置处,用于更新原有特征影像数据;其中第二卷积神经网络用于融合后新的特征影像数据到三维数据模型中,更新对应的空间位置处已有特征影像数据;
该第二卷积神经网络输入包括两个输入回路:当前特征影像数据回路和已有特征影像数据回路;其中当前特征影像数据回路为由超声探头输入影像通过第一卷积神经网络处理后的特征影像数据;已有特征影像数据回路为通过超声探头相对空间位置信息在三维超声模型中对应的空间位置处查询得到的已有特征影像数据;
第二卷积神经网络模型对当前特征影像数据回路和已有特征影像数据回路经过第一次卷积后的数据进行复制和融合形成中间层的融合数据处理回路;
当前特征影像数据回路、已有特征影像数据回路和融合数据处理回路均采用相同的处理方式进行处理,分别进入两层卷积+池化的模块,卷积核大小为3×3,步长为1,卷积的核数量以32的倍数递增,池化层的核大小为2×2,步长为2,且两层卷积+池化的模块的数量与后续的双线性插值+卷积的模块相一致;
当前特征影像数据回路针对第一卷积神经网络输出的当前特征影像数据进行处理,已有特征影像数据回路针对三维数据模型中已有特征影像数据进行处理,融合数据处理回路融合当前特征影像数据和已有特征影像数据,最后使用双线性插值+卷积层从提取特征中融合出融合影像;第二卷积神经网络模型采用多回路的形式分别融合多尺度特征,以不同分辨率分别添加到融合数据处理回路上,最终形成综合多尺度信息融合特征影像,用于更新三维数据模型中原有超声影像,最终生成三维超声模型;
超声模型培训生成移动路径方法包括:采用真实超声探头对检测对象进行扫查,获取当前超声影像,将当前超声影像输入至第一卷积神经网络处理得到当前超声特征影像,将当前超声特征影像输入至第三卷积神经网络得到简化后的当前超声特征影像;基于超声探头相对于检测对象扫查部位的空间位置信息及培训模型,得到在培训模型中对应空间位置处的已有超声影像,将已有超声影像输入至第三卷积神经网络得到简化后已有超声影像;将简化后的当前超声特征影像与简化后已有超声影像全连接处理,回归计算出超声探头相对于检测对象扫查部位的空间位置与超声探头在培训模型中对应空间位置处的差值M;通过输入或培训模型自动判断得到的目标切面,得到目标切面在培训模型中的空间位置信息;基于差值M、目标切面在培训模型中的空间位置信息计算出超声探头的移动路径。
2.根据权利要求1所述的方法,其特征在于,所述获取所述超声探头相对于所述检测对象的扫查部位的空间位置信息,包括:
通过一个或多个传感器,识别所述超声探头相对于所述检测对象的位置和/或角度信息。
3.根据权利要求2所述的方法,其特征在于,所述传感器的种类至少包括视觉传感器、位置传感器、压力传感器、红外传感器中的一种。
4.根据权利要求1所述的方法,其特征在于,还包括:
根据所述培训模型获得所述检测对象的扫查部位对应的三维数据模型,并将所述三维数据模型进行显示。
5.根据权利要求1所述的方法,其特征在于,至少基于超声影像的质量评估值和/或超声探头实际移动路径评估值的一种,更新培训模型。
6.根据权利要求1所述的方法,其特征在于,所述引导所述超声探头基于所述移动路径进行移动,包括:
基于视觉的方法引导所述超声探头进行移动,或者,
基于听觉的方法引导所述超声探头进行移动,或者,
基于力的反馈的方法引导所述超声探头进行移动。
7.根据权利要求6所述的方法,其特征在于,所述基于视觉的方法包括影像引导、视频引导、标识引导、文字引导、光线引导、投影引导中的一种或多种。
8.根据权利要求6所述的方法,其特征在于,所述基于力的反馈的方法包括触觉引导、震动引导、牵引引导中的一种或多种。
9.一种超声设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-8中任一项所述的超声模拟培训方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的超声模拟培训方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010615295.9A CN113870636B (zh) | 2020-06-30 | 2020-06-30 | 超声模拟培训方法、超声设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010615295.9A CN113870636B (zh) | 2020-06-30 | 2020-06-30 | 超声模拟培训方法、超声设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113870636A CN113870636A (zh) | 2021-12-31 |
CN113870636B true CN113870636B (zh) | 2023-08-15 |
Family
ID=78981341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010615295.9A Active CN113870636B (zh) | 2020-06-30 | 2020-06-30 | 超声模拟培训方法、超声设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113870636B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102016957A (zh) * | 2008-02-25 | 2011-04-13 | 发明医药有限公司 | 医疗训练方法及设备 |
CN104303075A (zh) * | 2012-04-01 | 2015-01-21 | 艾里尔大学研究与开发有限公司 | 用于训练超声成像装置用户的装置 |
CN107578662A (zh) * | 2017-09-01 | 2018-01-12 | 北京大学第医院 | 一种虚拟产科超声训练方法及系统 |
CN109447940A (zh) * | 2018-08-28 | 2019-03-08 | 天津医科大学肿瘤医院 | 卷积神经网络训练方法、超声图像识别定位方法及系统 |
CN110967730A (zh) * | 2019-12-09 | 2020-04-07 | 深圳开立生物医疗科技股份有限公司 | 一种超声图像处理方法、系统、设备及计算机存储介质 |
CN110960262A (zh) * | 2019-12-31 | 2020-04-07 | 上海杏脉信息科技有限公司 | 超声扫查系统、方法及介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160328998A1 (en) * | 2008-03-17 | 2016-11-10 | Worcester Polytechnic Institute | Virtual interactive system for ultrasound training |
US9754512B2 (en) * | 2009-09-30 | 2017-09-05 | University Of Florida Research Foundation, Inc. | Real-time feedback of task performance |
WO2017039663A1 (en) * | 2015-09-03 | 2017-03-09 | Siemens Healthcare Gmbh | Multi-view, multi-source registration of moving anatomies and devices |
-
2020
- 2020-06-30 CN CN202010615295.9A patent/CN113870636B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102016957A (zh) * | 2008-02-25 | 2011-04-13 | 发明医药有限公司 | 医疗训练方法及设备 |
CN104303075A (zh) * | 2012-04-01 | 2015-01-21 | 艾里尔大学研究与开发有限公司 | 用于训练超声成像装置用户的装置 |
CN107578662A (zh) * | 2017-09-01 | 2018-01-12 | 北京大学第医院 | 一种虚拟产科超声训练方法及系统 |
CN109447940A (zh) * | 2018-08-28 | 2019-03-08 | 天津医科大学肿瘤医院 | 卷积神经网络训练方法、超声图像识别定位方法及系统 |
CN110967730A (zh) * | 2019-12-09 | 2020-04-07 | 深圳开立生物医疗科技股份有限公司 | 一种超声图像处理方法、系统、设备及计算机存储介质 |
CN110960262A (zh) * | 2019-12-31 | 2020-04-07 | 上海杏脉信息科技有限公司 | 超声扫查系统、方法及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113870636A (zh) | 2021-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112331049B (zh) | 一种超声模拟培训方法、装置、存储介质及超声设备 | |
JP6312898B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN110090069B (zh) | 超声穿刺引导方法、引导装置和存储介质 | |
CN112215843B (zh) | 超声智能成像导航方法、装置、超声设备及存储介质 | |
EP3003161B1 (en) | Method for 3d acquisition of ultrasound images | |
JP4676021B2 (ja) | 診断支援装置、診断支援プログラムおよび診断支援方法 | |
CN106659473B (zh) | 超声成像装置 | |
CN111629670B (zh) | 用于超声系统的回波窗口伪影分类和视觉指示符 | |
US20200375546A1 (en) | Machine-guided imaging techniques | |
WO2009136461A1 (ja) | 超音波診断装置 | |
JP7362354B2 (ja) | 情報処理装置、検査システム及び情報処理方法 | |
CN110418610A (zh) | 确定引导信号和用于为手持式超声换能器提供引导的系统 | |
KR20090078487A (ko) | 3/4차원 초음파 진단기술 습득용 시뮬레이터 및 그시뮬레이션 방법 | |
CN113870636B (zh) | 超声模拟培训方法、超声设备和存储介质 | |
JP7043363B2 (ja) | 超音波診断システム | |
CN113116384A (zh) | 超声扫查引导方法、超声设备及存储介质 | |
CN112545551A (zh) | 用于医学成像设备的方法和系统 | |
CN113129342A (zh) | 多模态融合成像方法、装置及存储介质 | |
Al et al. | Reinforcement learning-based automatic diagnosis of acute appendicitis in abdominal ct | |
Tanaiutchawoot et al. | A path generation algorithm for biopsy needle insertion in a robotic breast biopsy navigation system | |
CN111568469A (zh) | 用于显示超声图像的方法和设备以及计算机程序产品 | |
KR102617378B1 (ko) | 의료지표 측정방법 및 이를 위한 초음파 진단장치 | |
JP7165541B2 (ja) | ボリュームデータ処理装置、方法及びプログラム | |
CN112862944B (zh) | 人体组织超声建模方法、超声设备及存储介质 | |
CN114631841A (zh) | 超声扫查反馈装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |